No programa de hoje, estamos falando sobre streaming de dados e streaming de aplicativos com o Apache Kafka. Recebem a ajuda de Kries Jenkins, consultor de desenvolvedores da Confluent, e de Rob Changers, gerente de produto do MongoDB, que discutirão como você pode aproveitar essa tecnologia a seu favor e usá-la em seus aplicativos.

O Kafka é Tradicionalmente usado para construir pipelines de dados de streaming em tempo real e aplicativos de streaming em tempo real. Ele começou sua vida em 2010 no LinkedIn e chegou ao espaço público de código aberto por meio de um relacionamento com a Apache, a Apache Federation, em 2011. Desde então, o uso do Kafka aumentou massivamente e estima-se que aproximadamente 30% de todas as empresas da lista de operações da Fortune 500 já estejam usando o Kafka de uma forma ou de outra.

Um ótimo exemplo de por que você pode querer usar o Kafka seria talvez capturar toda a atividade do usuário que acontece em seu site. Quando os usuários visitam o seu site, eles interagem com os links na página e rolam a página para cima e para baixo. Isso é potencialmente grandes volumes de dados. Talvez você queira armazenar isso para entender como os usuários estão interagindo com seu website em tempo real. O Kafka ajudará nesse processo ingerindo e armazenando todos os dados dessa atividade enquanto fornece leituras para aplicativos do outro lado.

Os destaques da conversa incluem:

• [03:38] O que é Kafka?
• [05:29] No centro de cada banco de dados
• [08:03] A diferença entre o Kafka e um banco de dados
• [09:03] Como é a arquitetura do Kafka
• [12:03] Kafka como backsons de dados da arquitetura de sistemas
• [14:06] MongoDB e Kafka trabalhando juntos
• [15:40] O que são "Tópicos" no Kafka?
• [17:53] Eventos de transmissão em cadeia
• [19:58] A história do Kafka
• [22:07] MongoDB connector e Kafka via Confluent Cloud
• [25:53] Casos de uso populares usando Kafka e MongoDB
• [27:48] Kafka e Atlas Stream Processing com jogos e dados de eventos
• [29:13] KSQL e processamento em relação ao fluxo de dados
• [30:59] Developer.Confluence.io, um lugar para aprender tudo sobre Kafka