Ep. 115 Explorando o Kafka com Gris Jenkins e Rob Changers
No programa de hoje, estamos falando sobre streaming de dados e streaming de aplicativos com o Apache Kafka. Recebem a ajuda de Kries Jenkins, consultor de desenvolvedores da Confluent, e de Rob Changers, gerente de produto do MongoDB, que discutirão como você pode aproveitar essa tecnologia a seu favor e usá-la em seus aplicativos.
O Kafka é Tradicionalmente usado para construir pipelines de dados de streaming em tempo real e aplicativos de streaming em tempo real. Ele começou sua vida em 2010 no LinkedIn e chegou ao espaço público de código aberto por meio de um relacionamento com a Apache, a Apache Federation, em 2011. Desde então, o uso do Kafka aumentou massivamente e estima-se que aproximadamente 30% de todas as empresas da lista de operações da Fortune 500 já estejam usando o Kafka de uma forma ou de outra.
Um ótimo exemplo de por que você pode querer usar o Kafka seria talvez capturar toda a atividade do usuário que acontece em seu site. Quando os usuários visitam o seu site, eles interagem com os links na página e rolam a página para cima e para baixo. Isso é potencialmente grandes volumes de dados. Talvez você queira armazenar isso para entender como os usuários estão interagindo com seu website em tempo real. O Kafka ajudará nesse processo ingerindo e armazenando todos os dados dessa atividade enquanto fornece leituras para aplicativos do outro lado.
Os destaques da conversa incluem:
- [03:38] O que é Kafka?
- [05:29] No centro de cada banco de dados
- [08:03] A diferença entre o Kafka e um banco de dados
- [09:03] Como é a arquitetura do Kafka
- [12:03] Kafka como backsons de dados da arquitetura de sistemas
- [14:06] MongoDB e Kafka trabalhando juntos
- [15:40] O que são "Tópicos" no Kafka?
- [17:53] Eventos de transmissão em cadeia
- [19:58] A história do Kafka
- [22:07] MongoDB connector e Kafka via Confluent Cloud
- [25:53] Casos de uso populares usando Kafka e MongoDB
- [27:48] Kafka e Atlas Stream Processing com jogos e dados de eventos
- [29:13] KSQL e processamento em relação ao fluxo de dados
- [30:59] Developer.Confluence.io, um lugar para aprender tudo sobre Kafka