O Atlas Stream Processing está agora em pré-visualização pública

Hoje temos o prazer de anunciar que o Atlas Stream Processing está em pré-visualização pública. A pré-visualização pública abre o acesso a qualquer desenvolvedor do Atlas interessado em experimentá-la. Saiba mais em nossos documentos ou comece hoje mesmo.

Os desenvolvedores adoram a flexibilidade e facilidade de uso do modelo de documento, juntamente com a API de consulta, que permite trabalhar com dados como código. Com o Atlas Stream Processing, estamos trazendo estes mesmos princípios fundamentais para o processamento de stream. Revelado na .local NYC 2023, o Atlas Stream Processing está redefinindo a experiência de agregar e enriquecer streams de alta velocidade, alterar rapidamente os dados de evento e unificar os métodos de trabalho com dados em movimento e em repouso.

Como os desenvolvedores estão usando o produto? E o que aprendemos?

Durante a pré-visualização privada, milhares de equipes de desenvolvimento solicitaram acesso, e centenas de equipes engajadas compartilharam feedback útil. Os casos de uso incluem:

• Uma companhia aérea líder global que usa agregações complexas para processar rapidamente dados de manutenção e operações, garantindo voos pontuais para seus milhares de clientes diários;

• Um grande fabricante de equipamentos de energia usa o Atlas Stream Processing para permitir o monitoramento contínuo de dados de bomba de alto volume para evitar interrupções e otimizar seus rendimentos; e

• Um provedor SaaS corporativo inovador que aproveita os recursos avançados de processamento do Atlas Stream Processing para fornecer alertas no produto oportunos e contextuais para melhorar o envolvimento com o produto.

Estes são apenas alguns dos muitos exemplos de casos de uso do Atlas Stream Processing que observamos em diferentes indústrias. Além dos casos de uso que já vimos, os desenvolvedores estão compartilhando vários insights sobre as novidades que querem ter no Atlas Stream Processing algum dia.

Além de permitir o processamento contínuo de dados em bancos de dados Atlas através de change streams, foi impactante ver os desenvolvedores usarem o Atlas Stream Processing com seus dados Kafka hospedados por parceiros importantes, como Confluent, Amazon MSK, Azure Event Hubs e Redpanda. Nosso objetivo com os recursos da plataforma de dados do desenvolvedor é sempre proporcionar uma melhor experiência com as principais tecnologias usadas no desenvolvimento.

Quais são as novidades da pré-visualização pública?

E agora vamos falar as novidades. Agora que temos mais equipes no projeto, fizemos o possível para adicionar os recursos mais solicitados na pré-visualização pública. Dos muitos comentários recebidos, surgiram três temas comuns:

1. Refinamento da experiência do desenvolvedor;

2. Expansão de recursos e funcionalidades avançadas; e

3. Melhoria das operações e da segurança.

Refinamento da experiência do desenvolvedor;

Na pré-visualização privada, estabelecemos o alicerce da experiência do desenvolvedor para tornar o Atlas Stream Processing uma solução natural para equipes de desenvolvimento. E, na pré-visualização pública, resolvemos fortalecer ainda mais esse aspecto com duas melhorias:

• Integração com o VS Code
  O plug-in MongoDB VS Code adicionou suporte para conexão com instâncias de processamento de stream. Para desenvolvedores que já utilizam o plug-in, isso permite que as equipes criem e gerenciem processadores em um ambiente de desenvolvimento familiar. Assim, você perde menos tempo alternando entre ferramentas e fica com mais tempo para desenvolver seus aplicativos!

• Recursos aprimorados de Dead Letter Queue (DLQ)
  O suporte a DLQ é um elemento-chave para um processamento de stream potente e, na pré-visualização pública, estamos expandindo os recursos de DLQ no Atlas Stream Processing. As mensagens da Dead Letter Queue agora serão exibidas ao executar pipelines com sp.process() e ao executar .sample() nos processadores em execução, permitindo uma experiência de desenvolvimento mais simplificada que não exige a configuração de uma coleção-alvo para atuar como DLQ.

Expansão de recursos e funcionalidades avançadas

O Atlas Stream Processing já dava suporte a muitos dos principais operadores de agregação, com os quais os desenvolvedores estão familiarizados na API de consulta usada com dados em repouso, e agora tem recursos avançados de janelas e a capacidade de mesclar e emitir dados facilmente para o banco de dados Atlas ou para um tópico Kafka. A pré-visualização pública adicionará ainda mais funcionalidades exigidas pelas equipes mais avançadas que dependem do processamento em stream para proporcionar experiências ao cliente:

• $lookup
  Agora os desenvolvedores podem enriquecer documentos sendo processados em um processador de stream com dados de Clusters remotos do Atlas, realizando uniões em campos do documento e da collection de destino.

• Change streams pré e pós-imagens
  Muitos desenvolvedores utilizam o Atlas Stream Processing para processar continuamente dados nos bancos de dados do Atlas como uma fonte através de streams de mudança. Aprimoramos o change stream $source na pré-visualização pública com suporte para pré e pós-imagens. Isso permite casos de uso comuns em que os desenvolvedores precisam calcular deltas entre campos em documentos, bem como casos de uso que exigem acesso ao conteúdo completo de um documento excluído.

• Roteamento condicional com expressões dinâmicas em estágios de mesclagem e emissão
  O roteamento condicional permite aos desenvolvedores utilizar o valor dos campos em documentos sendo processados no Atlas Stream Processing para enviar mensagens específicas dinamicamente para diferentes collections do Atlas ou tópicos do Kafka. Os estágios $merge e $emit também agora suportam o uso de expressões dinâmicas. Isso torna possível usar a API de consulta para casos de uso que exigem a capacidade de encaminhar mensagens para diferentes collections ou tópicos conforme necessário.

• Tempo limite de stream ocioso
  Streams sem encaminhamento de marcas d'água devido à falta de dados de entrada agora podem ser configurados para serem fechados após um período emitindo os resultados das janelas. Isso pode ser fundamental para as fontes de streaming que têm streams inconsistentes de dados.

Melhoria das operações e da segurança.

Por fim, investimos fortemente nos últimos meses na melhoria de outros aspectos operacionais e de segurança do Atlas Stream Processing. Alguns dos destaques incluem:

• Ponto de verificação
  O Atlas Stream Processing agora executa pontos de controle para salvar o estado durante o processamento. Os processadores de streams são processos em execução contínua, então eles exigem um mecanismo de recuperação inteligente, seja devido a um problema de dados, seja devido a uma falha de infraestrutura. Os pontos de controle facilitam a retomada dos seus processadores de stream do ponto onde os dados pararam de ser coletados e processados.

• Suporte ao provedor Terraform
  O suporte para a criação de Conexões e Instâncias de Processamento de Stream (SPIs) agora está disponível com Terraform. Isso permite que a infraestrutura seja criada como código para implantações repetíveis.

• Funções de segurança
  O Atlas Stream Processing adicionou uma função de nível de projeto, dando aos usuários permissão necessária para executar suas tarefas de processamento de stream. Processadores de stream podem ser executados sob o contexto de uma função específica com uma configuração de privilégio mínimo.

• Suporte ao grupo de consumidores Kafka
  Os processadores de stream no Atlas Stream Processing agora usam grupos de consumidores Kafka para rastreamento de deslocamento. Isso permite que os usuários alterem com facilidade a posição do processador no stream para operações e monitorem sem esforço possíveis atrasos no processador.

Uma nota final sobre as novidades é que, na pré-visualização pública, começaremos a implementar preços promocionais no Atlas Stream Processing até o lançamento geral. Para saber mais sobre os preços do Atlas Stream Processing, consulte a documentação.

Crie seu primeiro processador de stream hoje

A pré-visualização pública é um grande passo para nós. Expandimos a plataforma de dados do desenvolvedor e levamos a mais equipes uma solução de processamento de stream que simplifica a complexidade operacional da criação de aplicativos reativos, responsivos e orientados a eventos, ao mesmo tempo em que oferecemos uma experiência aprimorada ao desenvolvedor.

Mal podemos esperar para ver suas criações!