Atlas Stream Processing explicado em 3 minutos
Avalie esse Vídeo
00:00:00Introdução ao MongoDB Atlas Stream Processing
00:00:14similaridades entre documentos e eventos
00:00 28Desafios com sistemas de esquema fixo
00:00:50Benefícios do MongoDB do document model
00:01:00Aproveite o Atlas para o processamento de Atlas Streams
00:01:18Visão geral da arquitetura de alto nível
00:01 27Integração do com Kafka e Change Streams
00:01:50Processamento de Atlas Streams e Roteamento de Dados
00:02:07Conectividade do Kafka e Aterrissagem de Dados
00:02:22Concentre-se na produção do programador
O tema principal do vídeo é a comparação entre bancos de dados de documentos e fluxos de eventos, e como o MongoDB Atlas facilita o Atlas Stream Processing com foco na simplicidade e integração com sistemas existentes, como o Kafka.
} Pontos-chave
- Documentos e eventos têm estruturas semelhantes, com IDs e carimbos de data/hora.
- Os sistemas de processamento de eventos precisam lidar com esquemas flexíveis.
- O processamento do MongoDB Atlas Stream é projetado em torno do document model.
- O Atlas Stream Processing pode se integrar a fontes externas como o Kafka.
- O processamento do MongoDB Atlas Stream enfatiza a simplicidade e a produtividade do programador.
Links relacionados
Transcrição completa do vídeo
[Música] mas em sua essência, um documento e um evento em um fluxo de eventos são muito semelhantes, então dê uma olhada aqui, temos um ID à esquerda, um documento no banco de dados e temos um tempo carimbo à direita em um caso, temos um armazenamento de dados mutável e, no outro lado, temos um fluxo de dados imutável, caso contrário, as coisas parecem praticamente as mesmas se o sistema de processamento de eventos não tiver a capacidade de lidar com esse tipo de significado de dados tem um esquema fixo você terá dificuldade em ou terá que pré-processar os dados e forçar algum tipo de esquema rígido antes de colocar os dados no sistema normalmente está cheio de riscos Atlas Stream Processing é construído em torno do document model ele lida com o processamento contínuo de dados ele aproveita o Atlas então, como seria de se esperar processamento robusto na nuvem vários centros de dados capacidade de dimensionar coisas assim essa é uma arquitetura de alto nível de como parece essa quantidade de um modelo humano para você meio que pensar sobre as coisas, então temos às fontes esquerda, como Kafka e, obviamente, o MongoDB change streams, o que faz sentido corretamente esses streamers de cadeia seriam um primitivo que usamos logo de saída ele permite que você agregue a rota de filtro e processe esses dados em fluxos do Atlas e, em seguida, escrevê-lo no MongoDB Por meio dessa mesclagem contínua ou de volta ao Kafka agora, gostaria de destacar que esse Kafka não está hospedado no Atlas , mas sim no Kafka de outra pessoa, seja ele autogerenciado do seu lado na sua organização, talvez é a nuvem confluent ou um dos outros fornecedores de nuvem, de modo que ele se conecta onde seus dados já estão no Kafka , processando-os e, em seguida, conectando-os em [ __ ] ou lendo-os a partir de [ __ ] processando-os e distribuindo-os para esses tópicos do Kafka então um das coisas que realmente nos movem é garantir que o desenvolvedor seja produtivo desde o primeiro dia, então esse é o processador de fluxo inteiro isso não é apenas como pseudocódigo esse é o processador de fluxo inteiro o que eu procurava É importante apontar aqui que não são necessárias páginas e páginas de código que não sejam necessárias andaimes e, como você sabe, incluir outras bibliotecas e não é uma confusão, é apenas a estrutura de agregação que é simples [Música] estrangeira [Música]
Avalie esse Vídeo