BLOGAtlas Stream Processing agora oferece suporte a regiões adicionais da AWS, peering VPC e muito mais! Saiba mais >

ATLAS

Atlas Stream Processing. Unifique dados em movimento e dados em repouso.

Transforme a construção de aplicativos orientados a eventos processando continuamente fluxos de dados com uma experiência de desenvolvedor familiar.
Explorar o tutorial
Image explicativa do Atlas Stream Processing
Atlas Stream Processing explicado em 3 minutos
Saiba como o Atlas Stream Processing combina modelo de documento, esquemas flexíveis e a estrutura de agregação avançada para fornecer potência e praticidade criando aplicativos que exigem processamento de dados de eventos complexos em grande volume.Assista ao vídeo
Ilustração de um pipeline representando o Atlas Stream Processing.

Processamento de streaming como nunca antes

No trabalho com dados de streaming, o gerenciamento de esquemas é fundamental para a correção dos dados e a produtividade do desenvolvedor. O modelo de documento do MongoDB e a estrutura de agregação oferecem aos desenvolvedores recursos poderosos e ganhos de produtividade que você não encontrará em nenhum outro lugar no processamento de fluxo.
Ilustração com formas e gráficos de dados indo para uma caixa verde.

Processe e managed todos os seus dados em uma única plataforma

Pela primeira vez, os desenvolvedores podem usar uma plataforma — entre API, linguagem de consulta e modelo de dados — para processar continuamente dados de streaming junto com os dados críticos de aplicativos armazenados em seu banco de dados.
Ilustração de um banco de dados, interface e data bucket.

Totalmente gerenciado no Atlas

O Atlas Stream Processing baseia-se em nossa plataforma robusta e integrada de dados de desenvolvedores. Com apenas algumas chamadas de API e linhas de código, um desenvolvedor pode criar um processador de fluxo, um banco de dados e uma camada de serviço de API, tudo totalmente gerenciado no Atlas.

Atlas Stream Processing

Como isso unifica a experiência de trabalhar com dados em movimento e dados em repouso?
Diagrama do Atlas Stream Processing

características
atlas_dataapi

Integrado ao Atlas

Um serviço Atlas totalmente gerenciado com flexibilidade de modelo de documento.

atlas_query_api

Criado com base na API de consulta

Use a API de consulta e a estrutura de agregação - uma interface familiar e avançada - para lidar com o processamento de fluxo.

atlas_global_deployments

Disponível globalmente

Disponível em 11 regiões de AWS nos EUA, Europa e APAC, com mais fornecedores e regiões em breve.

general_features_build_faster

Processamento com estado

Crie janelas baseadas em tempo e outras operações para processamento complexo de múltiplos eventos.

connectors_kafka_connector

Oferece suporte para Kafka e MongoDB

Conecte-se facilmente às suas principais fontes/difusores de streaming no Kafka e no Atlas e mescle dados continuamente.

atlas_keyword_highlighting

Valide continuamente

Suporte integrado à validação para garantir a exatidão dos dados e o tratamento intuitivo de erros. Use coleções do Atlas como uma fila de mensagens não entregues (DLQ) de mensagens não entregues (DLQ).

general_action_checkmark

Ponto de verificação

Em caso de falha, os pontos de verificação reiniciam automaticamente os processadores de stream, evitando o reprocessamento desnecessário de dados.

atlas_stream_processing

Desenvolva de forma interativa

O processamento de dados de streaming pode ser opaco. Use .process() para explorar iterativamente à medida que você cria.

INSIGHTS CONTÍNUOS
" Na Acoustic, nosso foco principal é capacitar as marcas com insights comportamentais que lhes permitam criar experiências envolventes e personalizadas para os clientes. Com o Atlas Stream Processing, nossos engenheiros podem aproveitar as habilidades que já possuem ao trabalhar com dados no Atlas para processar novos dados continuamente, garantindo que nossos clientes tenham acesso a percepções do cliente em tempo real."
John Riewerts
EVP de Engenharia, Acústica
Saiba mais
Aplicativo EVENT-DRIVEN
"O Atlas Stream Processing nos permite processar, validar e transformar dados antes de enviá-los para nossa arquitetura de mensagens no AWS, fornecendo atualizações orientadas por eventos em toda a plataforma. A confiabilidade e o desempenho do Atlas Stream Processing aumentaram nossa produtividade, melhoraram a experiência do desenvolvedor e reduziram os custos de infraestrutura.
Cody Perry
Engenheiro de software, Meltwater
Mãos digitando em notebook.
Aplicativos orientados a eventos
Preparando o caminho para um negócio responsivo e reativo em tempo real.Baixe o artigo

Processamento nativo de stream no MongoDB Atlas

Use o Atlas Stream Processing para processar e validar facilmente dados de eventos complexos, mesclando-os para uso exatamente onde você precisar.
Consulte a documentação
Consultando fluxos de dados do Apache Kafka
O Atlas Stream Processing torna a consulta de dados do Apache Kafka tão fácil quanto a consulta do MongoDB. Basta definir uma fonte, os estágios de agregação desejados e um coletor para processar rapidamente seus fluxos de dados do Apache Kafka.
Análise avançada com funções de janelas
Operadores de blocos no Atlas Stream Processing permitem que você analise e processe janelas específicas de tamanho fixo de dados dentro de um fluxo contínuo de dados, facilitando a descoberta de padrões e tendências.
Validação de esquema de eventos complexos
A validação contínua é essencial para garantir que os eventos sejam formados corretamente antes do processamento para detectar o corrompimento da mensagem e se os dados que chegam tarde perderam uma janela de processamento.
Consultando fluxos de dados do Apache Kafka
O Atlas Stream Processing torna a consulta de dados do Apache Kafka tão fácil quanto a consulta do MongoDB. Basta definir uma fonte, os estágios de agregação desejados e um coletor para processar rapidamente seus fluxos de dados do Apache Kafka.
API de Consulta do MongoDB
Análise avançada com funções de janelas
Operadores de blocos no Atlas Stream Processing permitem que você analise e processe janelas específicas de tamanho fixo de dados dentro de um fluxo contínuo de dados, facilitando a descoberta de padrões e tendências.
API de Consulta do MongoDB
Validação de esquema de eventos complexos
A validação contínua é essencial para garantir que os eventos sejam formados corretamente antes do processamento para detectar o corrompimento da mensagem e se os dados que chegam tarde perderam uma janela de processamento.
API de Consulta do MongoDB
API de Consulta do MongoDB

Aproveite ao máximo o Atlas

Potencialize mais experiências e insights baseados em dados com o restante de nossa plataforma de dados de desenvolvedor.
atlas_database

Banco de dados

Comece com o serviço de banco de dados multinuvem criado para resiliência, escala e os mais altos níveis de privacidade e segurança de dados.

atlas_triggers

Triggers

Execute código automaticamente para atender às alterações feitas no banco de dados, eventos do usuário ou intervalos predefinidos.

connectors_kafka

Conector Kafka

Integre de forma nativa os dados do MongoDB ao ecossistema do Kafka.


Perguntas frequentes

Quer saber mais sobre processamento de stream?
Ver mais recursos
O que é streaming de dados?
Os dados de streaming são gerados continuamente a partir de uma ampla variedade de fontes. Sensores IoT, microsserviços e dispositivos móveis são fontes comuns de fluxos de dados de alto volume. A natureza contínua dos dados de streaming, bem como sua imutabilidade, tornam-nos únicos em relação aos dados estáticos em repouso em um banco de dados.
O que é processamento de fluxo?
O processamento de fluxo está ingerindo e transformando continuamente dados de eventos de uma plataforma de mensagens de eventos (como Apache Kafka) para executar várias funções. Isso pode MEAN a criação de filtros simples para remover dados desnecessários, a realização de agregações para contar ou somar dados conforme necessário, a criação Windows com estado e muito mais. O processamento de fluxo pode ser uma característica diferenciadora em aplicações orientadas a eventos, permitindo experiências do cliente mais reativas e responsivas.
Qual a diferença entre o streaming de eventos e o processamento de stream?

O streaming de dados reside dentro de plataformas de streaming de eventos (como Apache Kafka) e esses sistemas são essencialmente log distribuído imutável. Os dados de eventos são publicados e consumidos em plataformas de streaming de eventos por meio de API.

Os desenvolvedores precisam usar um processador de fluxo para realizar processamentos mais avançados, como agregações com estado, operações de janela, mutações e criação de visualizações materializadas. Elas são semelhantes às operações realizadas ao executar consultas em um banco de dados, exceto que o processamento de fluxo consulta constantemente um fluxo infinito de dados. Essa área de streaming é mais incipiente; no entanto, tecnologias como Apache Flink e Spark Streaming estão ganhando força rapidamente.

Com o Atlas Stream Processing, o MongoDB oferece aos desenvolvedores uma maneira melhor de processar fluxos para uso em seus aplicativos, alavancando a estrutura de agregação.

Por que o MongoDB construiu o Atlas Stream Processing?
O processamento de fluxo é um componente cada vez mais crítico para a construção de aplicações responsivas e baseadas em eventos. Adicionando a funcionalidade de processamento de fluxo como um recurso nativo no Atlas, estamos ajudando mais desenvolvedores a criar aplicações inovadoras utilizando nossa plataforma de dados para desenvolvedores multinuvem, o MongoDB Atlas.
Como posso começar a utilizar o Atlas Stream Processing?
O Atlas Stream Processing encontra-se disponível para todos os usuários do Atlas. Basta iniciar a sessão e clicar na aba Stream Processing (processamento de fluxo) para começar.
Como o processamento de fluxo difere do processamento em lote?

O processamento do fluxo é contínuo. No contexto da criação de aplicativos baseados em eventos, o processamento de fluxo permite experiências reativas e atraentes, como notificações em tempo real, personalização, planejamento de rotas ou manutenção preditiva.

O processamento em lote não funciona em dados produzidos continuamente. Em vez disso, o processamento em lote funciona coletando dados durante um período de tempo especificado e, em seguida, processando esses dados estáticos conforme o necessário. Um exemplo de processamento em lote é uma empresa de varejo que coleta vendas no fechamento do negócio todos os dias para fins de relatório e/ou atualização dos níveis de estoque.

Qual é a diferença entre um pipeline de processamento de fluxo e um aggregation pipeline?
Atlas Stream Processing amplia o site aggregation pipeline com estágios para o processamento de fluxos de dados contínuos. Esses estágios se combinam com os estágios de agregação existentes incorporados ao processo padrão do mongod, permitindo que você execute muitas das mesmas operações em dados contínuos que você pode executar em dados em repouso.
Saiba mais

Pronto para começar?

Começar
Ilustração de um pipeline representando o Atlas Stream Processing.