Apresentando o Atlas Stream Processing - simplificando o caminho para aplicativos reativos, responsivos e orientados a eventos

Kenny Gorman and Clark Gates-George
October 2, 2023

Hoje, temos o prazer de anunciar a prévia privada do Atlas Stream Processing!

O mundo está cada vez mais acelerado e seus aplicativos precisam acompanhar. Aplicativos responsivos e orientados a eventos dão vida às experiências digitais para seus clientes e aceleram o tempo de obtenção de insights e ações para os negócios. Pensar:

  • notificar seus usuários assim que o status de entrega mudar

  • bloquear transações fraudulentas durante o processamento de pagamentos

  • analisando a telemetria do sensor à medida que ela é gerada para detectar e remediar possíveis falhas de equipamentos antes de interrupções dispendiosas.

Em cada um desses exemplos, os dados perdem seu valor com o passar dos segundos. Ele precisa ser consultado e acionado continuamente e com baixa latência. Para fazer isso, os desenvolvedores estão recorrendo cada vez mais a aplicativos orientados a eventos, alimentados por streaming de dados, para que possam React e responder instantaneamente ao mundo em constante mudança ao seu redor. O Atlas Stream Processing ajudará os desenvolvedores a migrar mais rapidamente para aplicativos orientados a eventos.

Ao longo dos anos, os desenvolvedores adotaram o banco de dados MongoDB porque adoram a flexibilidade e facilidade de uso do modelo de documento, juntamente com a MongoDB Query API, que lhes permite trabalhar com dados como código. Esses princípios fundamentais eliminam drasticamente o atrito no desenvolvimento de software e aplicativos. Agora, estamos trazendo esses mesmos princípios para o streaming de dados. O Atlas Stream Processing está redefinindo a experiência do desenvolvedor para trabalhar com fluxos complexos de alta velocidade, dados que mudam rapidamente e unificando a forma como os desenvolvedores trabalham com dados em movimento e em repouso.

Embora os produtos e tecnologias existentes tenham oferecido muitas inovações para streaming e processamento de stream, acreditamos que o MongoDB é naturalmente adequado para ajudar os desenvolvedores com alguns desafios importantes restantes. Esses desafios incluem a dificuldade de trabalhar com dados variáveis, de alto volume e alta velocidade; a sobrecarga contextual do aprendizado de novas ferramentas, linguagens e APIs; e a manutenção operacional adicional e a fragmentação que podem ser introduzidas por meio de tecnologias pontuais em pilhas de aplicativos complexos.

Apresentando o Processamento Atlas Stream

O Atlas Stream Processing permite o processamento de fluxos de alta velocidade de dados complexos com algumas vantagens exclusivas para a experiência do desenvolvedor:

  • Ele é baseado no modelo de documento, permitindo flexibilidade ao lidar com estruturas de dados complexas e aninhadas, comuns em fluxos de eventos. Isso alivia a necessidade de etapas de pré-processamento e permite que os desenvolvedores trabalhem de maneira natural e fácil com dados que possuem estruturas complexas. Assim como o banco de dados permite.

  • Ele unifica a experiência de trabalhar com todos os dados, oferecendo uma plataforma única – entre API, linguagem de consulta e ferramentas – para processar dados de streaming ricos e complexos junto com os dados críticos de aplicativos em seu banco de dados.

  • E é totalmente managed no MongoDB Atlas, com base em um conjunto já robusto de serviços integrados. Com apenas algumas chamadas de API e linhas de código, você pode criar um processador de fluxo, um banco de dados e uma camada de serviço de API em qualquer um dos principais provedores cloud.

Como funciona o processamento do Atlas Stream?

O Atlas Stream Processing se conecta aos seus dados críticos, sejam eles armazenados no MongoDB (por meio de change stream) ou em uma plataforma de streaming de eventos como o Apache Kafka. Os desenvolvedores podem conectar-se de maneira fácil e contínua à cloud Confluent, Amazon MSK, Redpanda, Azure Event Hubs ou Kafkamanaged usando o protocolo Kafka wire. E ao integrar-se ao driver Kafka nativo, o Atlas Stream Processing oferece desempenho nativo de baixa latência em sua base.

Além de nossa parceria estratégica de longa data com a Confluent, também temos o prazer de anunciar parcerias com AWS, Microsoft, Redpanda e Google, no lançamento.

O Atlas Stream Processing fornece três recursos principais necessários para transformar seu conjunto de dados de streaming em experiências diferenciadas para o cliente. Vamos examinar isso um por um.

Processamento Contínuo

Primeiro, os desenvolvedores agora podem usar a estrutura de agregação do MongoDB para processar continuamente fluxos de dados ricos e complexos de plataformas de streaming de eventos, como o Apache Kafka. Isso abre novas maneiras poderosas de consultar, analisar e React continuamente ao streaming de dados sem nenhum dos atrasos inerentes ao processamento em lote. Com a estrutura de agregação, você pode filtrar e agrupar dados, agregando fluxos de eventos de alta velocidade em insights acionáveis em tempo de estado Windows, proporcionando experiências de aplicativos mais ricas e em tempo real.

Validação Contínua

Em seguida, o Atlas Stream Processing oferece aos desenvolvedores mecanismos robustos e nativos para lidar com problemas de dados incorretos que, de outra forma, poderiam causar estragos nos aplicativos. Os possíveis problemas incluem a transmissão de resultados imprecisos ao aplicativo, perda de dados e tempo de inatividade do aplicativo. O Atlas Stream Processing resolve esses problemas para garantir que os dados de streaming possam ser processados e compartilhados de forma confiável entre aplicativos orientados a eventos.

Processamento de fluxo Atlas:

  • Fornece validação contínua de esquema para verificar se os eventos estão formados corretamente antes do processamento – por exemplo, rejeitando eventos com campos ausentes ou contendo intervalos de valores inválidos

  • Detecta corrupção de mensagens

  • Detecta dados que chegam atrasados e que perderam uma janela de processamento.

Os pipelines do Atlas Stream Processing podem ser configurados com uma Dead Letter Queue (DLQ) integrada na qual os eventos que falham na validação são roteados. Isso evita que os desenvolvedores tenham que construir e manter suas próprias implementações personalizadas. Os problemas podem ser depurados rapidamente, enquanto o risco de dados perdidos ou corrompidos, derrubando todo o aplicativo, é minimizado.

Mesclagem Contínua

Seus dados processados podem então ser continuamente materializados em visualizações mantidas na collection de banco de dados Atlas. Podemos pensar nisso como uma consulta push. Os aplicativos podem recuperar resultados (por meio de consultas pull) da visualização usando a API de consulta do MongoDB ou a interface Atlas SQL. A mesclagem contínua de atualizações com collection é uma maneira realmente eficiente de manter novas visões analíticas de dados que dão suporte à tomada de decisões e ações automatizadas e humanas. Além das visualizações materializadas, os desenvolvedores também têm a flexibilidade de publicar eventos processados de volta em sistemas de streaming como o Apache Kafka.

Criando um Processador de Stream

Vamos mostrar como é fácil construir um processador de stream no MongoDB Atlas. Com o Atlas Stream Processing, você pode usar a mesma sintaxe aggregation pipeline para um processador de fluxo com o qual você está familiarizado no banco de dados. Abaixo, apresentamos uma instância simples de processamento de fluxo do início ao fim. São necessárias apenas algumas linhas de código.

Primeiro, escreveremos um aggregation pipeline que defina uma fonte para seus dados, execute a validação garantindo que os dados não venham do endereço IP localhost/​127.0.0.1, crie uma janela em cascata para coletar dados de mensagens agrupadas a cada minuto e depois mescle esses dados. dados recém-processados em uma collection MongoDB no Atlas.

Em seguida, criaremos nosso Stream Processor chamado “netattacks” especificando nosso pipeline recém-definido p, bem como dlq como argumentos. Isso executará o processamento desejado e, usando uma Dead Letter Queue (DLQ), armazenará quaisquer dados inválidos com segurança para inspeção, depuração ou reprocessamento posterior.

Por último, podemos iniciá-lo. Isso é tudo o que é necessário para construir um processador de stream no MongoDB Atlas.

Solicitar visualização privada

Estamos entusiasmados em colocar este produto em suas mãos e ver o que você constrói com ele. Saiba mais sobre o Atlas Stream Processing e solicite acesso antecipado aquipara participar da visualização privada assim que for aberta aos desenvolvedores.

Novo no MongoDB? Comece gratuitamente hoje inscrevendo-se no MongoDB Atlas.

Porto Seguro

O desenvolvimento, lançamento e cronograma de quaisquer recursos ou funcionalidades descritos para nossos produtos permanecem a nosso exclusivo critério. Estas informações destinam-se apenas a delinear a orientação geral do nosso produto e não devem ser utilizadas para tomar uma decisão de compra, nem constituem um compromisso, promessa ou obrigação legal de fornecer qualquer material, código ou funcionalidade.

← Previous

Presentamos Atlas Stream Processing: simplificando el camino hacia aplicaciones reactivas, responsivas y basadas en eventos

¡Hoy nos complace anunciar la vista previa privada de Atlas Stream Processing! El mundo avanza cada vez más rápido y sus aplicaciones deben mantenerse al día. Las aplicaciones responsivas basadas en eventos dan vida a las experiencias digitales para sus clientes y aceleran el tiempo de obtención de conocimientos y acción para el negocio. Pensar: notificar a sus usuarios tan pronto como cambie el estado de su entrega bloquear transacciones fraudulentas durante el procesamiento de pagos analizar la telemetría del sensor a medida que se genera para detectar y remediar posibles fallas del equipo antes de costosas interrupciones. En cada uno de estos ejemplos, los datos pierden su valor a medida que pasan los segundos. Es necesario consultarlo y actuar de forma continua y con baja latencia. Para hacer esto, los desarrolladores recurren cada vez más a aplicaciones impulsadas por eventos alimentadas por transmisión de datos para que puedan reaccionar y responder instantáneamente al mundo en constante cambio que los rodea. Atlas Stream Processing ayudará a los desarrolladores a hacer el cambio más rápido hacia aplicaciones basadas en eventos. A lo largo de los años, los desarrolladores han adoptado la base de datos MongoDB porque les encanta la flexibilidad y facilidad de uso del modelo de documento, junto con la MongoDB Query API que les permite trabajar con datos como código. Estos principios fundamentales eliminan drásticamente la fricción en el desarrollo de software y aplicaciones. Ahora, estamos incorporando esos mismos principios a la transmisión de datos. Atlas Stream Processing está redefiniendo la experiencia de los desarrolladores para trabajar con flujos complejos de alta velocidad, datos que cambian rápidamente y unificando la forma en que los desarrolladores trabajan con datos en movimiento y en reposo. Si bien los productos y tecnologías existentes han ofrecido muchas innovaciones para la transmisión y el procesamiento de transmisiones, creemos que MongoDB es naturalmente muy adecuado para ayudar a los desarrolladores con algunos desafíos clave pendientes. Estos desafíos incluyen la dificultad de trabajar con datos variables, de gran volumen y alta velocidad; la sobrecarga contextual de aprender nuevas herramientas, lenguajes y API; y el mantenimiento operativo adicional y la fragmentación que se pueden introducir a través de tecnologías puntuales en pilas de aplicaciones complejas. Presentamos el procesamiento Atlas Stream Atlas Stream Processing permite procesar flujos de datos complejos a alta velocidad con algunas ventajas únicas para la experiencia del desarrollador: Está construido sobre el modelo de documento, lo que permite flexibilidad al tratar con estructuras de datos complejas y anidadas comunes en flujos de eventos. Esto alivia la necesidad de pasos de preprocesamiento y al mismo tiempo permite a los desarrolladores trabajar de forma natural y sencilla con datos que tienen estructuras complejas. Tal como lo permite la base de datos. Unifica la experiencia de trabajar con todos los datos, ofreciendo una única plataforma (a través de API, lenguaje de consulta y herramientas) para procesar datos de transmisión ricos y complejos junto con los datos de aplicaciones críticas en su base de datos. Y se administra completamente en MongoDB Atlas , basándose en un conjunto ya sólido de servicios integrados. Con solo unas pocas llamadas API y líneas de código, puede implementar un procesador de flujo, una base de datos y una capa de servicio API en cualquiera de los principales proveedores de nube. ¿Cómo funciona el procesamiento Atlas Stream? Atlas Stream Processing se conecta a sus datos críticos, ya sea que se encuentren en MongoDB (a través de change streams ) o en una plataforma de transmisión de eventos como Apache Kafka. Los desarrolladores pueden conectarse fácil y sin problemas a Confluent Cloud, Amazon MSK, Redpanda, Azure Event Hubs o Kafka autoadministrado mediante el protocolo de conexión Kafka. Y al integrarse con el controlador nativo Kafka, Atlas Stream Processing ofrece un rendimiento nativo de baja latencia como base. Además de nuestra asociación estratégica de larga data con Confluent, también nos complace anunciar asociaciones con AWS, Microsoft, Redpanda y Google en el lanzamiento. Luego, Atlas Stream Processing proporciona tres capacidades clave necesarias para convertir su fuente de transmisión de datos en experiencias diferenciadas para el cliente. Repasemos estos uno por uno. Procesamiento continuo En primer lugar, los desarrolladores ahora pueden utilizar el marco de agregación de MongoDB para procesar continuamente flujos de datos ricos y complejos desde plataformas de transmisión de eventos como Apache Kafka. Esto desbloquea nuevas y poderosas formas de consultar, analizar y reaccionar continuamente a la transmisión de datos sin ninguno de los retrasos inherentes al procesamiento por lotes. Con el marco de agregación, puede filtrar y agrupar datos, agregando flujos de eventos de alta velocidad en información procesable a través de ventanas de tiempo con estado, impulsando experiencias de aplicaciones más ricas en tiempo real. Validación continua A continuación, Atlas Stream Processing ofrece a los desarrolladores mecanismos nativos y sólidos para manejar problemas de datos incorrectos que, de otro modo, podrían causar estragos en las aplicaciones. Los posibles problemas incluyen pasar resultados inexactos a la aplicación, pérdida de datos y tiempo de inactividad de la aplicación. Atlas Stream Processing resuelve estos problemas para garantizar que los datos de transmisión se puedan procesar y compartir de manera confiable entre aplicaciones controladas por eventos. Procesamiento de corriente Atlas: Proporciona validación continua de esquemas para verificar que los eventos estén formados correctamente antes de procesarlos; por ejemplo, rechazar eventos a los que les faltan campos o que contienen rangos de valores no válidos. Detecta corrupción de mensajes Detecta datos que llegan tarde y que han perdido una ventana de procesamiento. Las canalizaciones de Atlas Stream Processing se pueden configurar con una cola de mensajes fallidos (DLQ) integrada a la que se enrutan los eventos que no superan la validación. Esto evita que los desarrolladores tengan que crear y mantener sus propias implementaciones personalizadas. Los problemas se pueden depurar rápidamente mientras se minimiza el riesgo de que falten datos o que se dañen toda la aplicación. Fusión continua Sus datos procesados pueden luego materializarse continuamente en vistas mantenidas en las colecciones de la base de datos Atlas. Podemos pensar en esto como una consulta push. Las aplicaciones pueden recuperar resultados (mediante consultas de extracción) de la vista utilizando MongoDB Query API o la interfaz Atlas SQL. La fusión continua de actualizaciones de las colecciones es una forma realmente eficiente de mantener nuevas vistas analíticas de los datos que respaldan la toma de decisiones y la acción humana y automatizada. Además de las vistas materializadas, los desarrolladores también tienen la flexibilidad de publicar eventos procesados en sistemas de transmisión como Apache Kafka. Creando un procesador de flujo Le mostraremos lo fácil que es construir un procesador de flujo en MongoDB Atlas. Con Atlas Stream Processing, puede utilizar la misma sintaxis de canalización de agregación para un procesador de flujo con el que está familiarizado en la base de datos. A continuación mostramos una instancia de procesamiento de flujo simple de principio a fin. Sólo se necesitan unas pocas líneas de código. Primero, escribiremos un canal de agregación que defina una fuente para sus datos, realice una validación para garantizar que los datos no provengan de la dirección IP localhost/​127.0.0.1, cree una ventana giratoria para recopilar datos de mensajes agrupados cada minuto y luego los fusionaremos. datos recién procesados en una colección de MongoDB en Atlas. Luego, crearemos nuestro Stream Processor llamado “netattacks” especificando nuestra canalización p recién definida así como dlq como argumentos. Esto realizará el procesamiento deseado y, mediante el uso de una cola de mensajes fallidos (DLQ), almacenará de forma segura los datos no válidos para su inspección, depuración o reprocesamiento posterior. Por último, podemos iniciarlo. Eso es todo lo que se necesita para construir un procesador de flujo en MongoDB Atlas. Solicitar vista previa privada Estamos emocionados de tener este producto en sus manos y ver qué construye con él. Obtenga más información sobre Atlas Stream Processing y solicite acceso temprano aquí para participar en la vista previa privada una vez que esté abierta a los desarrolladores. ¿Nuevo en MongoDB? Comience gratis hoy registrándose en MongoDB Atlas . Puerto seguro El desarrollo, lanzamiento y calendario de cualquier característica o funcionalidad descrita para nuestros productos queda a nuestro exclusivo criterio. Esta información tiene como único objetivo describir la dirección general de nuestro producto y no se debe confiar en ella para tomar una decisión de compra ni es un compromiso, promesa u obligación legal de entregar ningún material, código o funcionalidad.

October 2, 2023
Next →

Hanabi Technologies Uses MongoDB to Power AI Assistant, Hana

For all the hype surrounding generative AI, cynics tend to view the few real-world implementations as little more than “fancy chatbots.” But for Abhinav Aggarwal, CEO of Hanabi Technologies, the idea of a generative AI-powered bot that is more than just an assistant was intriguing. “I’d been using ChatGPT since it launched,” said Aggarwal. “That got me thinking: How could we make a chatbot that was like a team member?” And with that concept, Hana was born. The problem with bots “Most generative AI chatbots do not act like people; they wait for a command and give a response,” said Aggarwal. “We wanted to create a human-like chatbot that would proactively help people based on what they wanted—automating reminders, for example, or fetching time zones from your calendar to correctly schedule meetings.” Hanabi’s flagship product, Hana, is an AI assistant designed to enhance team collaboration within Google Chat, working in concert with Google Workspace and its suite of products. “Our target customers are smaller companies of between 10 and 50 people. At this size you’re not going to build your own agent from scratch,” he said. Hana integrates with Google APIs to deliver a human-like assistant that chimes in with helpful interventions, such as automatically setting reminders and making sure meetings are booked in the right time zone for each participant. “Hana is designed to bring AI to smaller companies and help them collaborate in a space where they are already working—Google Workspace,” Aggarwal explained. The MongoDB Atlas solution For Hana to act like a member of the team, Hanabi needed to process massive amounts of data to support advanced features like retrieval-augmented generation (RAG) for better information retrieval across Google Docs and many other sources. And with a rapidly growing user base of over 600 organizations and 17,000+ installs, Hanabi also required a secure, scalable, and high-performing data storage solution. MongoDB Atlas provided a flexible document model, built-in vector database, and scalable cloud-based infrastructure, freeing Hanabi engineers to build new features for Hana rather than focusing on rote tasks like data extract, transform, and load processes or manual scaling and provisioning. Now, MongoDB Atlas handles a variety of responsibilities: Scalability and security: MongoDB Atlas’s auto-scaling and automatic backup features have enabled Hanabi to seamlessly grow its user base without the need for manual database management. RAG: MongoDB Atlas plays a critical role in Hana’s RAG functionality. The platform enables Hanabi to split Google Docs into small sections, create embeddings, and store these sections in Atlas’s vector database. Development Processes: According to Aggarwal, MongoDB’s flexibility in managing changing schemas has been essential to the company’s fast-paced development cycle. Data Visualization: Using MongoDB Atlas Charts has enabled Hanabi to create comprehensive dashboards for real-time data visualization. This has helped the team track usage, set reminders, and optimize performance without needing to build a manual dashboard. Impact and results With MongoDB Atlas, Hanabi can successfully scale Hana to meet the demands of its rapidly expanding user base. The integration is also enabling Hana to offer powerful features like automatic interactions with customers, advanced information retrieval from Google Docs, and manually added memory snippets, making it an essential tool for teams around the world. Next steps Hanabi plans to continue integrating more tools into Hana while expanding its reach to personal Gmail users. The company is also rolling out a new automatic-interaction feature, further enhancing Hana’s ability to proactively assist users without direct commands. MongoDB Atlas remains a key component of Hanabi’s stack, alongside Google Kubernetes Engine, NestJS, and LangChain, enabling Hanabi to focus on innovating to improve the customer experience. Tech Stack MongoDB Atlas Google Kubernetes Engine NestJS LangChain Are you building AI apps? Join the MongoDB AI Innovators Program today! Successful participants gain access to free MongoDB Atlas credits, technical enablement, and invaluable connections within the broader AI ecosystem. If your company is interested in being featured, we’d love to hear from you. Connect with us at ai_adopters@mongodb.com.

November 21, 2024