Atlas Stream Processing ahora está en vista previa pública.

Hoy, nos complace anunciar que Atlas Stream Processing ya está en versión preliminar pública. La vista previa pública abre el acceso a cualquier desarrollador en Atlas interesado en probarlo. Obtenga más información en nuestros docs o comienza hoy mismo.

A los desarrolladores les encanta la flexibilidad y facilidad de uso del modelo de documentos, junto con la API de consultas, que les permite trabajar con datos como código. Con Atlas Stream Processing, trasladamos estos mismos principios fundamentales al procesamiento de flujos. Anunciado por primera vez en .local NYC 2023, Atlas Stream Processing está redefiniendo la experiencia de agregar y enriquecer flujos de datos de transmisiones de alta velocidad y que cambian con rapidez, y unificando cómo trabajar con datos en movimiento y en reposo.

¿Cómo usan el producto los desarrolladores hasta ahora? ¿Y qué aprendimos?

Durante la vista previa privada, vimos que miles de equipos de desarrollo solicitan acceso y recopilamos comentarios útiles de cientos de equipos comprometidos. Entre los casos de uso se incluyen los siguientes:

• Una aerolínea líder mundial que utiliza agregaciones complejas para procesar rápidamente los datos de mantenimiento y operaciones, lo que garantiza la puntualidad de los vuelos para sus miles de clientes diarios

• Un gran fabricante de equipos de energía que utilizan Atlas Stream Processing para permitir el monitoreo continuo de datos de bombas de alto volumen para evitar interrupciones y optimizar sus rendimientos

• Un innovador proveedor de SaaS empresarial que aprovecha las capacidades de procesamiento enriquecidas en Atlas Stream Processing para ofrecer alertas oportunas y contextuales en el producto para impulsar una mejor interacción con el producto

Estos son solo algunos de los muchos ejemplos de casos de uso que vemos en todas las industrias para Atlas Stream Processing. Más allá de los casos de uso que ya vimos, los desarrolladores nos dan toneladas de información sobre lo que les gustaría que agregáramos a Atlas Stream Processing en el futuro.

Además de permitir el procesamiento continuo de los datos en las bases de datos de Atlas a través de change stream, fue impactante ver a los desarrolladores utilizar Atlas Stream Processing con sus datos de Kafka alojados por socios valiosos como Confluent, Amazon MSK, Azure Event Hubs y Redpanda. Nuestro objetivo con las capacidades de la plataforma de datos para desarrolladores siempre es lograr una mejor experiencia en todas las tecnologías clave en las que confían los desarrolladores.

¿Qué hay de nuevo en la vista previa pública?

Eso nos trae a las novedades. Y a medida que escalamos a más equipos, expandimos la funcionalidad para incluir los comentarios más solicitados recopilados en nuestra vista previa privada. De los muchos comentarios recibidos, surgieron tres temas comunes:

1. Cómo refinar la experiencia del desarrollador

2. Ampliar las características y funcionalidades avanzadas, y

3. Mejorar las operaciones y la seguridad

Cómo refinar la experiencia del desarrollador

En la vista previa privada, establecimos el núcleo de la experiencia del desarrollador esencial para hacer de Atlas Stream Processing una solución natural para los equipos de desarrollo. Y en la vista previa pública, publicamos esto haciendo 2 mejoras adicionales:

• Integración de VS Code
  El complemento MongoDB VS Code agregó soporte para conectarse a instancias de procesamiento de flujo. Para los desarrolladores que ya utilizan el complemento, esto permite a los equipos crear y gestionar procesadores en un entorno de desarrollo familiar. ¡Pase menos tiempo cambiando entre herramientas y más tiempo creando sus aplicaciones!

• Capacidades mejoradas de cola de mensajes fallidos (DLQ)
  La compatibilidad con DLQ es un elemento clave para un potente procesamiento de transmisiones y, en vista previa pública, estamos expandiendo las capacidades de DLQ en Atlas Stream Processing. Los mensajes de la cola de letras muertas ahora se mostrarán al ejecutar tuberías con sp.proceso() y al ejecutar .muestra() en procesadores en ejecución, lo que permite una experiencia de desarrollo más optimizada que no requiere configurar una collection objetivo para actuar como DLQ.

Ampliación de características y funcionalidades avanzadas

Atlas Stream Processing ya admitía muchos de los operadores de agregación clave con los que los desarrolladores están familiarizados en la API de consulta utilizada con datos en reposo, y agregaba potentes funciones de ventanas y la capacidad de fusionar y emitir datos fácilmente a la base de datos Atlas o a un tema Kafka. La vista previa pública agregará aún más funcionalidades exigidas por los equipos más avanzados que confían en el procesamiento de stream para ofrecer experiencias de cliente:

• $lookup
  Los desarrolladores ahora pueden enriquecer los documentos que se procesan en un procesador de transmisión con datos del Atlas cluster remoto, y realizar uniones con campos del documento y la collection de destino.

• change stream antes y después de la creación de imágenes
  Muchos desarrolladores están utilizando Atlas Stream Processing para procesar continuamente datos en bases de datos Atlas como fuente a través de change streams. Mejoramos el $source de change stream en vista previa pública con asistencia técnica para imágenes previas y posteriores. Esto permite casos de uso comunes en los que los desarrolladores necesitan calcular deltas entre campos en documentos, así como casos de uso que requieren acceso al contenido completo de un documento eliminado.

• Enrutamiento condicional con expresiones dinámicas en las etapas de fusión y emisión
  El enrutamiento condicional permite a los desarrolladores utilizar el valor de los campos de los documentos que se procesan en Atlas Stream Processing para enviar dinámicamente mensajes específicos a diferentes collections de Atlas o temas de Kafka. Las etapas $merge y $emit ahora también admiten el uso de expresiones dinámicas. Esto permite utilizar la API de consultas para casos de uso que requieren la capacidad de bifurcar mensajes a diferentes collections o temas, según sea necesario.

• Tiempos de espera de transmisión inactiva
  Las reproducciones sin avanzar en las marcas de agua debido a la falta de datos entrantes ahora se pueden configurar para cerrar después de un período de tiempo que emita los resultados de las ventanas. Esto puede ser fundamental para las fuentes de transmisión que tienen flujos de datos inconsistentes.

Mejorar las operaciones y la seguridad

Por último, invertimos mucho en los últimos meses en mejorar otros aspectos operativos y de seguridad de Atlas Stream Processing. Entre los aspectos destacados se incluyen los siguientes:

• Punto de control
  Atlas Stream Processing ahora realiza puntos de control para guardar el estado durante el procesamiento. Los procesadores de flujos son procesos en ejecución continua, por lo que, ya sea por un problema de datos o por un fallo de la infraestructura, requieren un mecanismo de recuperación inteligente. Los puntos de control facilitan la reanudación de sus procesadores de transmisión desde cualquier lugar donde los datos dejaron de recopilarse y procesarse.

• Asistencia técnica para proveedores de Terraform
  El soporte para la creación de Conexiones e Instancias de Procesamiento de Transmisión (SPI) ahora está disponible con Terraform. Esto permite crear la infraestructura como código para implementaciones repetibles.

• Funciones de seguridad
  Atlas Stream Processing agregó una función a nivel de proyecto, que otorga a los usuarios los permisos necesarios para realizar sus tareas de procesamiento de transmisiones. Los procesadores de transmisiones pueden ejecutarse bajo el contexto de una función específica, lo que permite una configuración de mínimos privilegios.

• Asistencia técnica del grupo de consumidores de Kafka
  Los procesadores de transmisión en Atlas Stream Processing ahora usan grupos de consumidores Kafka para el seguimiento compensatorio. Esto permite a los usuarios cambiar fácilmente la posición del procesador en la transmisión de operaciones y controlar fácilmente el posible retraso del procesador.

Una nota final sobre las novedades es que, en la vista previa pública, comenzaremos a cobrar por Atlas Stream Processing, utilizando precios promocionales hasta nuestra versión de disponibilidad general. Puede obtener más información sobre los precios de Atlas Stream Processing en nuestra documentación.

Crea tu primer procesador de transmisión hoy

La vista previa pública es un gran avance para nosotros a medida que ampliamos la plataforma de datos para desarrolladores y permitimos más equipos con una solución de procesamiento de transmisiones que simplifica la complejidad operativa de crear aplicaciones reactivas, receptivas y basadas en eventos, al tiempo que también ofrece una mejor experiencia de desarrollador.

¡Estamos ansiosos por ver lo que desarrollas!