Apresentando o Atlas Stream Processing - simplificando o caminho para aplicativos reativos, responsivos e orientados a eventos

Kenny Gorman and Clark Gates-George
October 2, 2023

Hoje, temos o prazer de anunciar a prévia privada do Atlas Stream Processing!

O mundo está cada vez mais acelerado e seus aplicativos precisam acompanhar. Aplicativos responsivos e orientados a eventos dão vida às experiências digitais para seus clientes e aceleram o tempo de obtenção de insights e ações para os negócios. Pensar:

  • notificar seus usuários assim que o status de entrega mudar

  • bloquear transações fraudulentas durante o processamento de pagamentos

  • analisando a telemetria do sensor à medida que ela é gerada para detectar e remediar possíveis falhas de equipamentos antes de interrupções dispendiosas.

Em cada um desses exemplos, os dados perdem seu valor com o passar dos segundos. Ele precisa ser consultado e acionado continuamente e com baixa latência. Para fazer isso, os desenvolvedores estão recorrendo cada vez mais a aplicativos orientados a eventos, alimentados por streaming de dados, para que possam React e responder instantaneamente ao mundo em constante mudança ao seu redor. O Atlas Stream Processing ajudará os desenvolvedores a migrar mais rapidamente para aplicativos orientados a eventos.

Ao longo dos anos, os desenvolvedores adotaram o banco de dados MongoDB porque adoram a flexibilidade e facilidade de uso do modelo de documento, juntamente com a MongoDB Query API, que lhes permite trabalhar com dados como código. Esses princípios fundamentais eliminam drasticamente o atrito no desenvolvimento de software e aplicativos. Agora, estamos trazendo esses mesmos princípios para o streaming de dados. O Atlas Stream Processing está redefinindo a experiência do desenvolvedor para trabalhar com fluxos complexos de alta velocidade, dados que mudam rapidamente e unificando a forma como os desenvolvedores trabalham com dados em movimento e em repouso.

Embora os produtos e tecnologias existentes tenham oferecido muitas inovações para streaming e processamento de stream, acreditamos que o MongoDB é naturalmente adequado para ajudar os desenvolvedores com alguns desafios importantes restantes. Esses desafios incluem a dificuldade de trabalhar com dados variáveis, de alto volume e alta velocidade; a sobrecarga contextual do aprendizado de novas ferramentas, linguagens e APIs; e a manutenção operacional adicional e a fragmentação que podem ser introduzidas por meio de tecnologias pontuais em pilhas de aplicativos complexos.

Apresentando o Processamento Atlas Stream

O Atlas Stream Processing permite o processamento de fluxos de alta velocidade de dados complexos com algumas vantagens exclusivas para a experiência do desenvolvedor:

  • Ele é baseado no modelo de documento, permitindo flexibilidade ao lidar com estruturas de dados complexas e aninhadas, comuns em fluxos de eventos. Isso alivia a necessidade de etapas de pré-processamento e permite que os desenvolvedores trabalhem de maneira natural e fácil com dados que possuem estruturas complexas. Assim como o banco de dados permite.

  • Ele unifica a experiência de trabalhar com todos os dados, oferecendo uma plataforma única – entre API, linguagem de consulta e ferramentas – para processar dados de streaming ricos e complexos junto com os dados críticos de aplicativos em seu banco de dados.

  • E é totalmente managed no MongoDB Atlas, com base em um conjunto já robusto de serviços integrados. Com apenas algumas chamadas de API e linhas de código, você pode criar um processador de fluxo, um banco de dados e uma camada de serviço de API em qualquer um dos principais provedores cloud.

Como funciona o processamento do Atlas Stream?

O Atlas Stream Processing se conecta aos seus dados críticos, sejam eles armazenados no MongoDB (por meio de change stream) ou em uma plataforma de streaming de eventos como o Apache Kafka. Os desenvolvedores podem conectar-se de maneira fácil e contínua à cloud Confluent, Amazon MSK, Redpanda, Azure Event Hubs ou Kafkamanaged usando o protocolo Kafka wire. E ao integrar-se ao driver Kafka nativo, o Atlas Stream Processing oferece desempenho nativo de baixa latência em sua base.

Além de nossa parceria estratégica de longa data com a Confluent, também temos o prazer de anunciar parcerias com AWS, Microsoft, Redpanda e Google, no lançamento.

O Atlas Stream Processing fornece três recursos principais necessários para transformar seu conjunto de dados de streaming em experiências diferenciadas para o cliente. Vamos examinar isso um por um.

Processamento Contínuo

Primeiro, os desenvolvedores agora podem usar a estrutura de agregação do MongoDB para processar continuamente fluxos de dados ricos e complexos de plataformas de streaming de eventos, como o Apache Kafka. Isso abre novas maneiras poderosas de consultar, analisar e React continuamente ao streaming de dados sem nenhum dos atrasos inerentes ao processamento em lote. Com a estrutura de agregação, você pode filtrar e agrupar dados, agregando fluxos de eventos de alta velocidade em insights acionáveis em tempo de estado Windows, proporcionando experiências de aplicativos mais ricas e em tempo real.

Validação Contínua

Em seguida, o Atlas Stream Processing oferece aos desenvolvedores mecanismos robustos e nativos para lidar com problemas de dados incorretos que, de outra forma, poderiam causar estragos nos aplicativos. Os possíveis problemas incluem a transmissão de resultados imprecisos ao aplicativo, perda de dados e tempo de inatividade do aplicativo. O Atlas Stream Processing resolve esses problemas para garantir que os dados de streaming possam ser processados e compartilhados de forma confiável entre aplicativos orientados a eventos.

Processamento de fluxo Atlas:

  • Fornece validação contínua de esquema para verificar se os eventos estão formados corretamente antes do processamento – por exemplo, rejeitando eventos com campos ausentes ou contendo intervalos de valores inválidos

  • Detecta corrupção de mensagens

  • Detecta dados que chegam atrasados e que perderam uma janela de processamento.

Os pipelines do Atlas Stream Processing podem ser configurados com uma Dead Letter Queue (DLQ) integrada na qual os eventos que falham na validação são roteados. Isso evita que os desenvolvedores tenham que construir e manter suas próprias implementações personalizadas. Os problemas podem ser depurados rapidamente, enquanto o risco de dados perdidos ou corrompidos, derrubando todo o aplicativo, é minimizado.

Mesclagem Contínua

Seus dados processados podem então ser continuamente materializados em visualizações mantidas na collection de banco de dados Atlas. Podemos pensar nisso como uma consulta push. Os aplicativos podem recuperar resultados (por meio de consultas pull) da visualização usando a API de consulta do MongoDB ou a interface Atlas SQL. A mesclagem contínua de atualizações com collection é uma maneira realmente eficiente de manter novas visões analíticas de dados que dão suporte à tomada de decisões e ações automatizadas e humanas. Além das visualizações materializadas, os desenvolvedores também têm a flexibilidade de publicar eventos processados de volta em sistemas de streaming como o Apache Kafka.

Criando um Processador de Stream

Vamos mostrar como é fácil construir um processador de stream no MongoDB Atlas. Com o Atlas Stream Processing, você pode usar a mesma sintaxe aggregation pipeline para um processador de fluxo com o qual você está familiarizado no banco de dados. Abaixo, apresentamos uma instância simples de processamento de fluxo do início ao fim. São necessárias apenas algumas linhas de código.

Primeiro, escreveremos um aggregation pipeline que defina uma fonte para seus dados, execute a validação garantindo que os dados não venham do endereço IP localhost/​127.0.0.1, crie uma janela em cascata para coletar dados de mensagens agrupadas a cada minuto e depois mescle esses dados. dados recém-processados em uma collection MongoDB no Atlas.

Em seguida, criaremos nosso Stream Processor chamado “netattacks” especificando nosso pipeline recém-definido p, bem como dlq como argumentos. Isso executará o processamento desejado e, usando uma Dead Letter Queue (DLQ), armazenará quaisquer dados inválidos com segurança para inspeção, depuração ou reprocessamento posterior.

Por último, podemos iniciá-lo. Isso é tudo o que é necessário para construir um processador de stream no MongoDB Atlas.

Solicitar visualização privada

Estamos entusiasmados em colocar este produto em suas mãos e ver o que você constrói com ele. Saiba mais sobre o Atlas Stream Processing e solicite acesso antecipado aquipara participar da visualização privada assim que for aberta aos desenvolvedores.

Novo no MongoDB? Comece gratuitamente hoje inscrevendo-se no MongoDB Atlas.

Porto Seguro

O desenvolvimento, lançamento e cronograma de quaisquer recursos ou funcionalidades descritos para nossos produtos permanecem a nosso exclusivo critério. Estas informações destinam-se apenas a delinear a orientação geral do nosso produto e não devem ser utilizadas para tomar uma decisão de compra, nem constituem um compromisso, promessa ou obrigação legal de fornecer qualquer material, código ou funcionalidade.

← Previous

Presentamos Atlas Stream Processing: simplificando el camino hacia aplicaciones reactivas, responsivas y basadas en eventos

¡Hoy nos complace anunciar la vista previa privada de Atlas Stream Processing! El mundo avanza cada vez más rápido y sus aplicaciones deben mantenerse al día. Las aplicaciones responsivas basadas en eventos dan vida a las experiencias digitales para sus clientes y aceleran el tiempo de obtención de conocimientos y acción para el negocio. Pensar: notificar a sus usuarios tan pronto como cambie el estado de su entrega bloquear transacciones fraudulentas durante el procesamiento de pagos analizar la telemetría del sensor a medida que se genera para detectar y remediar posibles fallas del equipo antes de costosas interrupciones. En cada uno de estos ejemplos, los datos pierden su valor a medida que pasan los segundos. Es necesario consultarlo y actuar de forma continua y con baja latencia. Para hacer esto, los desarrolladores recurren cada vez más a aplicaciones impulsadas por eventos alimentadas por transmisión de datos para que puedan reaccionar y responder instantáneamente al mundo en constante cambio que los rodea. Atlas Stream Processing ayudará a los desarrolladores a hacer el cambio más rápido hacia aplicaciones basadas en eventos. A lo largo de los años, los desarrolladores han adoptado la base de datos MongoDB porque les encanta la flexibilidad y facilidad de uso del modelo de documento, junto con la MongoDB Query API que les permite trabajar con datos como código. Estos principios fundamentales eliminan drásticamente la fricción en el desarrollo de software y aplicaciones. Ahora, estamos incorporando esos mismos principios a la transmisión de datos. Atlas Stream Processing está redefiniendo la experiencia de los desarrolladores para trabajar con flujos complejos de alta velocidad, datos que cambian rápidamente y unificando la forma en que los desarrolladores trabajan con datos en movimiento y en reposo. Si bien los productos y tecnologías existentes han ofrecido muchas innovaciones para la transmisión y el procesamiento de transmisiones, creemos que MongoDB es naturalmente muy adecuado para ayudar a los desarrolladores con algunos desafíos clave pendientes. Estos desafíos incluyen la dificultad de trabajar con datos variables, de gran volumen y alta velocidad; la sobrecarga contextual de aprender nuevas herramientas, lenguajes y API; y el mantenimiento operativo adicional y la fragmentación que se pueden introducir a través de tecnologías puntuales en pilas de aplicaciones complejas. Presentamos el procesamiento Atlas Stream Atlas Stream Processing permite procesar flujos de datos complejos a alta velocidad con algunas ventajas únicas para la experiencia del desarrollador: Está construido sobre el modelo de documento, lo que permite flexibilidad al tratar con estructuras de datos complejas y anidadas comunes en flujos de eventos. Esto alivia la necesidad de pasos de preprocesamiento y al mismo tiempo permite a los desarrolladores trabajar de forma natural y sencilla con datos que tienen estructuras complejas. Tal como lo permite la base de datos. Unifica la experiencia de trabajar con todos los datos, ofreciendo una única plataforma (a través de API, lenguaje de consulta y herramientas) para procesar datos de transmisión ricos y complejos junto con los datos de aplicaciones críticas en su base de datos. Y se administra completamente en MongoDB Atlas , basándose en un conjunto ya sólido de servicios integrados. Con solo unas pocas llamadas API y líneas de código, puede implementar un procesador de flujo, una base de datos y una capa de servicio API en cualquiera de los principales proveedores de nube. ¿Cómo funciona el procesamiento Atlas Stream? Atlas Stream Processing se conecta a sus datos críticos, ya sea que se encuentren en MongoDB (a través de change streams ) o en una plataforma de transmisión de eventos como Apache Kafka. Los desarrolladores pueden conectarse fácil y sin problemas a Confluent Cloud, Amazon MSK, Redpanda, Azure Event Hubs o Kafka autoadministrado mediante el protocolo de conexión Kafka. Y al integrarse con el controlador nativo Kafka, Atlas Stream Processing ofrece un rendimiento nativo de baja latencia como base. Además de nuestra asociación estratégica de larga data con Confluent, también nos complace anunciar asociaciones con AWS, Microsoft, Redpanda y Google en el lanzamiento. Luego, Atlas Stream Processing proporciona tres capacidades clave necesarias para convertir su fuente de transmisión de datos en experiencias diferenciadas para el cliente. Repasemos estos uno por uno. Procesamiento continuo En primer lugar, los desarrolladores ahora pueden utilizar el marco de agregación de MongoDB para procesar continuamente flujos de datos ricos y complejos desde plataformas de transmisión de eventos como Apache Kafka. Esto desbloquea nuevas y poderosas formas de consultar, analizar y reaccionar continuamente a la transmisión de datos sin ninguno de los retrasos inherentes al procesamiento por lotes. Con el marco de agregación, puede filtrar y agrupar datos, agregando flujos de eventos de alta velocidad en información procesable a través de ventanas de tiempo con estado, impulsando experiencias de aplicaciones más ricas en tiempo real. Validación continua A continuación, Atlas Stream Processing ofrece a los desarrolladores mecanismos nativos y sólidos para manejar problemas de datos incorrectos que, de otro modo, podrían causar estragos en las aplicaciones. Los posibles problemas incluyen pasar resultados inexactos a la aplicación, pérdida de datos y tiempo de inactividad de la aplicación. Atlas Stream Processing resuelve estos problemas para garantizar que los datos de transmisión se puedan procesar y compartir de manera confiable entre aplicaciones controladas por eventos. Procesamiento de corriente Atlas: Proporciona validación continua de esquemas para verificar que los eventos estén formados correctamente antes de procesarlos; por ejemplo, rechazar eventos a los que les faltan campos o que contienen rangos de valores no válidos. Detecta corrupción de mensajes Detecta datos que llegan tarde y que han perdido una ventana de procesamiento. Las canalizaciones de Atlas Stream Processing se pueden configurar con una cola de mensajes fallidos (DLQ) integrada a la que se enrutan los eventos que no superan la validación. Esto evita que los desarrolladores tengan que crear y mantener sus propias implementaciones personalizadas. Los problemas se pueden depurar rápidamente mientras se minimiza el riesgo de que falten datos o que se dañen toda la aplicación. Fusión continua Sus datos procesados pueden luego materializarse continuamente en vistas mantenidas en las colecciones de la base de datos Atlas. Podemos pensar en esto como una consulta push. Las aplicaciones pueden recuperar resultados (mediante consultas de extracción) de la vista utilizando MongoDB Query API o la interfaz Atlas SQL. La fusión continua de actualizaciones de las colecciones es una forma realmente eficiente de mantener nuevas vistas analíticas de los datos que respaldan la toma de decisiones y la acción humana y automatizada. Además de las vistas materializadas, los desarrolladores también tienen la flexibilidad de publicar eventos procesados en sistemas de transmisión como Apache Kafka. Creando un procesador de flujo Le mostraremos lo fácil que es construir un procesador de flujo en MongoDB Atlas. Con Atlas Stream Processing, puede utilizar la misma sintaxis de canalización de agregación para un procesador de flujo con el que está familiarizado en la base de datos. A continuación mostramos una instancia de procesamiento de flujo simple de principio a fin. Sólo se necesitan unas pocas líneas de código. Primero, escribiremos un canal de agregación que defina una fuente para sus datos, realice una validación para garantizar que los datos no provengan de la dirección IP localhost/​127.0.0.1, cree una ventana giratoria para recopilar datos de mensajes agrupados cada minuto y luego los fusionaremos. datos recién procesados en una colección de MongoDB en Atlas. Luego, crearemos nuestro Stream Processor llamado “netattacks” especificando nuestra canalización p recién definida así como dlq como argumentos. Esto realizará el procesamiento deseado y, mediante el uso de una cola de mensajes fallidos (DLQ), almacenará de forma segura los datos no válidos para su inspección, depuración o reprocesamiento posterior. Por último, podemos iniciarlo. Eso es todo lo que se necesita para construir un procesador de flujo en MongoDB Atlas. Solicitar vista previa privada Estamos emocionados de tener este producto en sus manos y ver qué construye con él. Obtenga más información sobre Atlas Stream Processing y solicite acceso temprano aquí para participar en la vista previa privada una vez que esté abierta a los desarrolladores. ¿Nuevo en MongoDB? Comience gratis hoy registrándose en MongoDB Atlas . Puerto seguro El desarrollo, lanzamiento y calendario de cualquier característica o funcionalidad descrita para nuestros productos queda a nuestro exclusivo criterio. Esta información tiene como único objetivo describir la dirección general de nuestro producto y no se debe confiar en ella para tomar una decisión de compra ni es un compromiso, promesa u obligación legal de entregar ningún material, código o funcionalidad.

October 2, 2023
Next →

Top 4 Reasons to Use MongoDB 8.0

We’re excited to announce that MongoDB 8.0 —the newest version of the world’s most popular document database, used by millions of developers and more than 50,000 customers around the world—is now generally available. MongoDB 8.0 builds upon MongoDB’s industry-leading capabilities to provide significant performance improvements, reduced costs, and greater ease of use, from local deployments to globally distributed applications at enterprise scale. Developers have long loved building with MongoDB, so we've ensured that 8.0 kept the bar extremely high for developer usability. MongoDB 8.0 was also built to exceed our customers’ most stringent security, resiliency, availability, and performance requirements, and is the most impressive version of MongoDB yet. MongoDB 8.0 gives customers the strongest possible foundation for building a wide range of applications, now and in the future. Jim Scharf, Chief Technology Officer, MongoDB For MongoDB 8.0, we focused our engineering efforts around four core goals: Optimize performance for the widest variety of applications Deliver innovative encryption to unlock new use cases Reduce costs and increase scale with rapid and intuitive horizontal scaling for high availability Ensure resilience for unexpected application demand So how do these goals actually benefit teams as they build and manage applications? We’ll start by looking at why you should use MongoDB 8.0. Whether you’re a seasoned MongoDB veteran or are new to the database, MongoDB 8.0 is a great foundation for new applications and supercharging existing ones alike. Version 8.0 combines the things developers love most about MongoDB—like an intuitive and cohesive developer experience, support for a broad set of use cases, and operational ease of use—with unparalleled performance improvements. Top reasons to switch to MongoDB 8.0 1. MongoDB 8.0 is over 30% faster than before As the data applications generate and use grows, minor inefficiencies can lead to disproportionate increases in infrastructure costs. Because many customers primarily interact with businesses through their applications, poor or inconsistent application performance can lead to customer unhappiness, lost opportunities, and declines in revenue. So it’s imperative for organizations to ensure that their applications perform consistently well. MongoDB 8.0 significantly improves performance by allowing applications to rapidly and efficiently query and transform data, with up to 36% better throughput. Architectural optimizations in MongoDB 8.0 have reduced memory usage and query times, and a combination of more efficient batch processing and optimizations has enabled 56% faster bulk writes and 20% faster concurrent writes during data replication. Additionally, optimizations in MongoDB 8.0 mean the database can handle higher volumes of time series data and perform operations over 200% faster—with lower resource usage and costs. 2. MongoDB 8.0 is more secure than ever Data protection and security are essential. With the increasing complexity and volume of data being transmitted, stored, and processed across environments, safeguarding sensitive information with robust encryption is more critical than ever. Organizations must protect their data throughout its lifecycle—in transit over networks, at rest where it is stored, and while it’s in use for querying and processing. However, it can be challenging to encrypt data while it is queried and processed, leaving data vulnerable to exposure or exfiltration by malicious actors. MongoDB Queryable Encryption is an industry-first innovation developed by the MongoDB Cryptography Research Group. It allows customers to encrypt sensitive data on the client side, store it securely as fully randomized encrypted data in the MongoDB database, and to run expressive queries on the encrypted data for processing. MongoDB 8.0 now includes support for range queries—in addition to equality queries—to expand secure data retrieval with greater flexibility for common searches. With Queryable Encryption, the required data remains encrypted until it reaches an authorized end user using a customer-controlled decryption key—with no cryptography expertise required. 3. MongoDB 8.0 makes it cheaper and easier to scale As organizations grow, their applications’ requirements tend to evolve. For example, scaling to support millions of users can be challenging for organizations that originally designed their applications for thousands of users. This is because implementing architectural changes in production applications can involve significant effort that can be costly and time-consuming. With MongoDB 8.0, horizontal scaling is now faster and easier, and at a lower cost. With horizontal scaling, applications can scale beyond the limits of traditional database resources by splitting data across multiple servers known as shards—without having to pre-provision increasing amounts of compute resources for a single server. New sharding capabilities in MongoDB 8.0 distribute data across shards up to 50 times faster and at up to 50% lower cost to get started. 4. MongoDB 8.0 gives you more control to help your applications run smoothly End-users expect consistent application experiences, even during periods of high demand and usage spikes. Organizations without a highly durable operational database risk poor customer experiences, with lagging application behavior (or even downtime) during times of high demand. MongoDB 8.0 provides greater control for teams optimizing database performance for unpredictable spikes in usage and sustained periods of high demand. MongoDB 8.0 includes new capabilities to set a default maximum time limit for running queries, to reject recurring types of problematic queries, and to set query settings to persist through events like database restarts. These capabilities help deliver consistent application behavior and high performance, irrespective of demand spikes or unexpected events. Ready to try MongoDB 8.0? If you are building a new application, the easiest way to get started with MongoDB 8.0 is by going to mongodb.com/try , where you can sign up for a free Atlas account, download the Community edition, and learn more about self-managing MongoDB with an Enterprise Advanced subscription. If you are running a previous version of MongoDB, there are helpful upgrade tutorials for MongoDB Atlas and self-managed deployments . Additionally, documentation and expert help from the MongoDB professional services team are on hand. If you have an existing application that is not currently using MongoDB as the database, check out the MongoDB Relational Migrator tool . Relational Migrator can help you map existing relational schemas to a MongoDB schema, perform data migrations, and convert existing relational queries, triggers, and stored procedures to work with MongoDB. The MongoDB engineering and product teams listened attentively to developer feedback , and MongoDB 8.0 was built with developer usability—as well as security, durability, availability, and performance—top of mind. We’re excited for you to give it a try, and are sure you’ll enjoy the performance gains and other benefits of MongoDB 8.0!

October 2, 2024