O Atlas Stream Processing está agora em pré-visualização pública

Clark Gates-George and Joe Niemiec
February 13, 2024

Hoje temos o prazer de anunciar que o Atlas Stream Processing está em pré-visualização pública. A pré-visualização pública abre o acesso a qualquer desenvolvedor do Atlas interessado em experimentá-la. Saiba mais em nossos documentos ou comece hoje mesmo.

Ouça o MongoDB Podcast para saber mais sobre a pré-visualização pública do Atlas Stream Processing nas palavras do Chefe de Produtos de Streaming, Kenny Gorman.

Os desenvolvedores adoram a flexibilidade e facilidade de uso do modelo de documento, juntamente com a API de consulta, que permite trabalhar com dados como código. Com o Atlas Stream Processing, estamos trazendo estes mesmos princípios fundamentais para o processamento de stream. Revelado na .local NYC 2023, o Atlas Stream Processing está redefinindo a experiência de agregar e enriquecer streams de alta velocidade, alterar rapidamente os dados de evento e unificar os métodos de trabalho com dados em movimento e em repouso.

Como os desenvolvedores estão usando o produto? E o que aprendemos?

Durante a pré-visualização privada, milhares de equipes de desenvolvimento solicitaram acesso, e centenas de equipes engajadas compartilharam feedback útil. Os casos de uso incluem:

Uma companhia aérea líder global que usa agregações complexas para processar rapidamente dados de manutenção e operações, garantindo voos pontuais para seus milhares de clientes diários;
Um grande fabricante de equipamentos de energia usa o Atlas Stream Processing para permitir o monitoramento contínuo de dados de bomba de alto volume para evitar interrupções e otimizar seus rendimentos; e
Um provedor SaaS corporativo inovador que aproveita os recursos avançados de processamento do Atlas Stream Processing para fornecer alertas no produto oportunos e contextuais para melhorar o envolvimento com o produto.

Estes são apenas alguns dos muitos exemplos de casos de uso do Atlas Stream Processing que observamos em diferentes indústrias. Além dos casos de uso que já vimos, os desenvolvedores estão compartilhando vários insights sobre as novidades que querem ter no Atlas Stream Processing algum dia.

Além de permitir o processamento contínuo de dados em bancos de dados Atlas através de change streams, foi impactante ver os desenvolvedores usarem o Atlas Stream Processing com seus dados Kafka hospedados por parceiros importantes, como Confluent, Amazon MSK, Azure Event Hubs e Redpanda. Nosso objetivo com os recursos da plataforma de dados do desenvolvedor é sempre proporcionar uma melhor experiência com as principais tecnologias usadas no desenvolvimento.

Quais são as novidades da pré-visualização pública?

E agora vamos falar as novidades. Agora que temos mais equipes no projeto, fizemos o possível para adicionar os recursos mais solicitados na pré-visualização pública. Dos muitos comentários recebidos, surgiram três temas comuns:

Refinamento da experiência do desenvolvedor;
Expansão de recursos e funcionalidades avançadas; e
Melhoria das operações e da segurança.

Refinamento da experiência do desenvolvedor;

Na pré-visualização privada, estabelecemos o alicerce da experiência do desenvolvedor para tornar o Atlas Stream Processing uma solução natural para equipes de desenvolvimento. E, na pré-visualização pública, resolvemos fortalecer ainda mais esse aspecto com duas melhorias:

Integração com o VS Code
O plug-in MongoDB VS Code adicionou suporte para conexão com instâncias de processamento de stream. Para desenvolvedores que já utilizam o plug-in, isso permite que as equipes criem e gerenciem processadores em um ambiente de desenvolvimento familiar. Assim, você perde menos tempo alternando entre ferramentas e fica com mais tempo para desenvolver seus aplicativos!
Recursos aprimorados de Dead Letter Queue (DLQ)
O suporte a DLQ é um elemento-chave para um processamento de stream potente e, na pré-visualização pública, estamos expandindo os recursos de DLQ no Atlas Stream Processing. As mensagens da Dead Letter Queue agora serão exibidas ao executar pipelines com sp.process() e ao executar .sample() nos processadores em execução, permitindo uma experiência de desenvolvimento mais simplificada que não exige a configuração de uma coleção-alvo para atuar como DLQ.

Expansão de recursos e funcionalidades avançadas

O Atlas Stream Processing já dava suporte a muitos dos principais operadores de agregação, com os quais os desenvolvedores estão familiarizados na API de consulta usada com dados em repouso, e agora tem recursos avançados de janelas e a capacidade de mesclar e emitir dados facilmente para o banco de dados Atlas ou para um tópico Kafka. A pré-visualização pública adicionará ainda mais funcionalidades exigidas pelas equipes mais avançadas que dependem do processamento em stream para proporcionar experiências ao cliente:

$lookup
Agora os desenvolvedores podem enriquecer documentos sendo processados em um processador de stream com dados de Clusters remotos do Atlas, realizando uniões em campos do documento e da collection de destino.
Change streams pré e pós-imagens
Muitos desenvolvedores utilizam o Atlas Stream Processing para processar continuamente dados nos bancos de dados do Atlas como uma fonte através de streams de mudança. Aprimoramos o change stream $source na pré-visualização pública com suporte para pré e pós-imagens. Isso permite casos de uso comuns em que os desenvolvedores precisam calcular deltas entre campos em documentos, bem como casos de uso que exigem acesso ao conteúdo completo de um documento excluído.
Roteamento condicional com expressões dinâmicas em estágios de mesclagem e emissão
O roteamento condicional permite aos desenvolvedores utilizar o valor dos campos em documentos sendo processados no Atlas Stream Processing para enviar mensagens específicas dinamicamente para diferentes collections do Atlas ou tópicos do Kafka. Os estágios $merge e $emit também agora suportam o uso de expressões dinâmicas. Isso torna possível usar a API de consulta para casos de uso que exigem a capacidade de encaminhar mensagens para diferentes collections ou tópicos conforme necessário.
Tempo limite de stream ocioso
Streams sem encaminhamento de marcas d'água devido à falta de dados de entrada agora podem ser configurados para serem fechados após um período emitindo os resultados das janelas. Isso pode ser fundamental para as fontes de streaming que têm streams inconsistentes de dados.

Melhoria das operações e da segurança.

Por fim, investimos fortemente nos últimos meses na melhoria de outros aspectos operacionais e de segurança do Atlas Stream Processing. Alguns dos destaques incluem:

Ponto de verificação
O Atlas Stream Processing agora executa pontos de controle para salvar o estado durante o processamento. Os processadores de streams são processos em execução contínua, então eles exigem um mecanismo de recuperação inteligente, seja devido a um problema de dados, seja devido a uma falha de infraestrutura. Os pontos de controle facilitam a retomada dos seus processadores de stream do ponto onde os dados pararam de ser coletados e processados.
Suporte ao provedor Terraform
O suporte para a criação de Conexões e Instâncias de Processamento de Stream (SPIs) agora está disponível com Terraform. Isso permite que a infraestrutura seja criada como código para implantações repetíveis.
Funções de segurança
O Atlas Stream Processing adicionou uma função de nível de projeto, dando aos usuários permissão necessária para executar suas tarefas de processamento de stream. Processadores de stream podem ser executados sob o contexto de uma função específica com uma configuração de privilégio mínimo.
Suporte ao grupo de consumidores Kafka
Os processadores de stream no Atlas Stream Processing agora usam grupos de consumidores Kafka para rastreamento de deslocamento. Isso permite que os usuários alterem com facilidade a posição do processador no stream para operações e monitorem sem esforço possíveis atrasos no processador.

Uma nota final sobre as novidades é que, na pré-visualização pública, começaremos a implementar preços promocionais no Atlas Stream Processing até o lançamento geral. Para saber mais sobre os preços do Atlas Stream Processing, consulte a documentação.

Crie seu primeiro processador de stream hoje

A pré-visualização pública é um grande passo para nós. Expandimos a plataforma de dados do desenvolvedor e levamos a mais equipes uma solução de processamento de stream que simplifica a complexidade operacional da criação de aplicativos reativos, responsivos e orientados a eventos, ao mesmo tempo em que oferecemos uma experiência aprimorada ao desenvolvedor.

Mal podemos esperar para ver suas criações!

Faça login hoje mesmo para começar ou saber mais sobre o Atlas Stream Processing em nossa documentação, recursos, tutoriais ou Learning Byte na MongoDB University.

← Previous

Atlas Stream Processing est désormais en aperçu public

Aujourd'hui, nous sommes ravis d'annoncer qu'Atlas Stream Processing est désormais disponible en aperçu public. Tous les développeurs qui travaillent avec Atlas peuvent ainsi l'essayer. Pour en savoir plus, consultez notre documentation ou lancez-vous dès aujourd'hui. Écoutez le podcast MongoDB pour en savoir plus sur l'aperçu public d'Atlas Stream Processing avec Kenny Gorman, chef de produit Streaming. Les développeurs aiment tout particulièrement la flexibilité et la facilité d'utilisation du modèle basé sur les documents, ainsi que la Requête API, qui leur permet de travailler avec des données en tant que code. Avec Atlas Stream Processing, nous appliquons ces mêmes principes fondamentaux au traitement des flux. Annoncé pour la première fois lors de la conférence .local NYC 2023 , Atlas Stream Processing redéfinit l'expérience de l'agrégation et de l'enrichissement des flux de données d'événements à grande vitesse et à évolution rapide, et unifie les méthodes de travail des développeurs avec les données en mouvement et au repos. Comment les développeurs utilisent-ils le produit jusqu'à présent ? Qu'avons-nous appris ? Lors de l'aperçu privé, des milliers d'équipes de développement ont demandé à accéder à notre solution et nous avons recueilli des commentaires utiles de la part de centaines d'équipes engagées. Voici nos cas client : Une compagnie aérienne internationale de premier plan utilise des agrégations complexes pour traiter rapidement les données relatives à la maintenance et aux opérations afin d'éviter les retards pour ses milliers de clients quotidiens. Un grand fabricant d'équipements énergétiques qui utilise Atlas Stream Processing pour surveiller continuellement des données de pompe à volume élevé afin d'éviter les pannes et optimiser leurs rendements. Un fournisseur SaaS innovant qui tire parti des capacités de traitement évoluées d’Atlas Stream Processing pour fournir des alertes contextuelles et dans les délais sur les produits afin d’améliorer l’engagement. Ce ne sont que quelques exemples des nombreux cas d'utilisation observés dans différents secteurs d'activité. En outre, les développeurs nous donnent de nombreuses informations sur d'autres fonctionnalités d'Atlas Stream Processing qu'ils aimeraient utiliser. Les développeurs ont non seulement pu bénéficier du traitement continu des données dans les bases de données Atlas via des change streams, mais ils ont aussi utilisé Atlas Stream Processing avec leurs données Kafka hébergées par des partenaires de renom tels que Confluent , Amazon MSK , Azure Event Hubs et Redpanda . Concernant les fonctionnalités de la developer data platform, nous nous sommes donné pour objectif d'améliorer continuellement l'expérience grâce aux technologies clés utilisées par les développeurs. Quelles nouveautés offre l'aperçu public ? Ce qui nous amène à évoquer les nouveautés. Plus nous adaptons nos solutions à d’autres équipes, plus nous étendons les fonctionnalités afin d'inclure celles qui sont le plus demandées dans notre aperçu privé. Parmi les nombreux commentaires reçus, trois problématiques sont ressorties : Améliorer l'expérience des développeurs Développer les fonctionnalités et fonctionnalités avancées Améliorer les opérations et la sécurité Améliorer l'expérience des développeurs En avant-première privée, nous avons mis en place le cœur de l'expérience développeur, un enjeu clé pour faire d'Atlas Stream Processing une solution de choix pour les équipes de développement. Dans l'aperçu public, nous avons intégré deux améliorations supplémentaires : Intégration du VS Code Le plugin MongoDB VS Code intègre désormais la connexion aux instances de traitement des flux. Pour les développeurs qui utilisent déjà le plugin, cela permet aux équipes de créer et de gérer des processeurs dans un environnement de développement familier. Ainsi, vous perdez moins de temps à basculer entre les outils et consacrez plus de temps à la création de vos applications ! Amélioration des fonctionnalités de la Dead Letter Queue (DLQ) La prise en charge de DLQ optimise le traitement des flux. Dans l'aperçu public, nous avons étendu ces fonctionnalités dans Atlas Stream Processing. Les messages Dead Letter Queue s'affichent désormais lors de l'exécution de pipelines avec sp.process () et lors de l'exécution de .sample () sur des processeurs en cours d'exécution. L'expérience de développement est ainsi plus rationalisée et ne nécessite pas la configuration d'une collection cible faisant office de DLQ. Extension des fonctionnalités et fonctionnalités avancées Atlas Stream Processing prenait déjà en charge la plupart des opérateurs d'agrégation clés maîtrisés par les développeurs dans la Requête API utilisée avec des données au repos. De puissantes fonctionnalités de fenêtrage et la possibilité de fusionner et d'émettre facilement des données vers la base de données Atlas ou vers un sujet Kafka ont également été ajoutées. L'aperçu public intégrera encore plus de fonctionnalités demandés par les équipes les plus expérimentées qui s'appuient sur le traitement des flux pour offrir des expériences client, à savoir : $lookup Les développeurs peuvent désormais enrichir les documents traités dans un processeur de flux avec des données provenant de clusters Atlas distants, en effectuant des liaisons entre les champs du document et de la collection cible. Modifier les flux avant et après l'émission d'images De nombreux développeurs utilisent Atlas Stream Processing pour traiter en continu les données des bases de données Atlas en tant que source via les change streams. Nous avons amélioré le change stream $source dans l'aperçu public avec la prise en charge des images avant et après. Les développeurs peuvent ainsi calculer les deltas entre les champs des documents et les cas d'utilisation nécessitant l'accès au contenu complet d'un document supprimé. Routage conditionnel avec expressions dynamiques dans les étapes de fusion et d'émission Le routage conditionnel permet aux développeurs d'utiliser la valeur des champs des documents traités dans Atlas Stream Processing pour envoyer dynamiquement des messages spécifiques à différentes collections Atlas ou sujets Kafka. Les étapes $merge et $emit prennent également désormais en charge l'utilisation d'expressions dynamiques. Il est ainsi possible d'utiliser l'API de requête pour des cas d'utilisation nécessitant la possibilité de faire basculer des messages vers différentes collections ou différents sujets, selon les besoins. Délais d'inactivité des flux Les flux sans filigrane avancé en raison d'un manque de données entrantes peuvent désormais être configurés pour se fermer automatiquement lorsque les résultats des fenêtres ont été émis depuis un certain temps. Cela peut s'avérer essentiel pour les sources de streaming dont les flux de données sont incohérents. Améliorer les opérations et la sécurité Enfin, nous avons beaucoup investi ces derniers mois en vue d'améliorer d'autres aspects opérationnels et sécuritaires d'Atlas Stream Processing. Voici quelques exemples : Points de contrôle Atlas Stream Processing effectue désormais des points de contrôle pour enregistrer l'état pendant le traitement. Les processeurs de flux exécutent continuellement des processus. Par conséquent, si un problème de données ou une défaillance de l'infrastructure surviennent, ils doivent disposer d'un mécanisme de récupération intelligent. Les points de contrôle facilitent la reprise des processeurs de flux à partir de l'endroit où les données ont cessé d'être collectées et traitées. Prise en charge du fournisseur Terraform La prise en charge de la création de connexions et d'instances de traitement de flux (SPI) est désormais disponible avec Terraform. Vous pouvez ainsi créer l’infrastructure sous forme de code pour reproduire les déploiements. Rôles de sécurité Atlas Stream Processing a ajouté un rôle au niveau du projet. Les utilisateurs disposent ainsi uniquement de l'autorisation nécessaire pour effectuer leurs tâches de traitement de flux. Les processeurs de flux peuvent s'exécuter dans le contexte d'un rôle spécifique, ce qui permet de configurer le modèle de moindre privilège. Prise en charge des groupes de consommateurs Kafka Les processeurs de flux dans Atlas Stream Processing utilisent désormais les groupes de consommateurs Kafka pour le suivi des décalages. Les utilisateurs peuvent ainsi changer facilement la position du processeur dans le flux pour les opérations et surveiller facilement les éventuels retards du processeur. Dernière remarque concernant les nouveautés : des tarifs promotionnels vous seront offerts dans l'aperçu public d'Atlas Stream Processing en attendant le lancement en disponibilité générale. Pour en savoir plus sur la tarification d'Atlas Stream Processing, consultez notre documentation. Créez votre premier processeur de stream dès aujourd'hui L'aperçu public marque une avancée majeure pour nous, car nous développons la developer data platform et offrons à un plus grand nombre d'équipes une solution de traitement des flux qui simplifie la complexité opérationnelle de la création d'applications réactives, adaptées et événementielles, tout en offrant une expérience améliorée aux développeurs. Nous avons hâte de voir vos créations ! Connectez-vous dès aujourd'hui pour commencer ou pour obtenir de plus amples informations sur Atlas Stream Processing dans notre documentation , nos ressources , nos tutoriels ou Learning Byte sur MongoDB University.

February 13, 2024

Next →

AI-Powered Call Centers: A New Era of Customer Service

Customer satisfaction is critical for insurance companies. Studies have shown that companies with superior customer experiences consistently outperform their peers. In fact, McKinsey found that life and property/casualty insurers with superior customer experiences saw a significant 20% and 65% increase in Total Shareholder Return , respectively, over five years. A satisfied customer is a loyal customer. They are 80% more likely to renew their policies, directly contributing to sustainable growth. However, one major challenge faced by many insurance companies is the inefficiency of their call centers. Agents often struggle to quickly locate and deliver accurate information to customers, leading to frustration and dissatisfaction. This article explores how Dataworkz and MongoDB can transform call center operations. By converting call recordings into searchable vectors (numerical representations of data points in a multi-dimensional space), businesses can quickly access relevant information and improve customer service. We'll dig into how the integration of Amazon Transcribe, Cohere, and MongoDB Atlas Vector Search—as well as Dataworkz's RAG-as-a-service platform— is achieving this transformation. From call recordings to vectors: A data-driven approach Customer service interactions are goldmines of valuable insights. By analyzing call recordings, we can identify successful resolution strategies and uncover frequently asked questions. In turn, by making this information—which is often buried in audio files— accessible to agents, they can give customers faster and more accurate assistance. However, the vast volume and unstructured nature of these audio files make it challenging to extract actionable information efficiently. To address this challenge, we propose a pipeline that leverages AI and analytics to transform raw audio recordings into vectors as shown in Figure 1: Storage of raw audio files: Past call recordings are stored in their original audio format Processing of the audio files with AI and analytics services (such as Amazon Transcribe Call Analytics ): speech-to-text conversion, summarization of content, and vectorization Storage of vectors and metadata: The generated vectors and associated metadata (e.g., call timestamps, agent information) are stored in an operational data store Figure 1: Customer service call insight extraction and vectorization flow Once the data is stored in vector format within the operational data store, it becomes accessible for real-time applications. This data can be consumed directly through vector search or integrated into a retrieval-augmented generation (RAG) architecture, a technique that combines the capabilities of large language models (LLMs) with external knowledge sources to generate more accurate and informative outputs. Introducing Dataworkz: Simplifying RAG implementation Building RAG pipelines can be cumbersome and time-consuming for developers who must learn yet another stack of technologies. Especially in this initial phase, where companies want to experiment and move fast, it is essential to leverage tools that allow us to abstract complexity and don’t require deep knowledge of each component in order to experiment with and realize the benefits of RAG quickly. Dataworkz offers a powerful and composable RAG-as-a-service platform that streamlines the process of building RAG applications for enterprises. To operationalize RAG effectively, organizations need to master five key capabilities: ETL for LLMs: Dataworkz connects with diverse data sources and formats, transforming the data to make it ready for consumption by generative AI applications. Indexing: The platform breaks down data into smaller chunks and creates embeddings that capture semantics, storing them in a vector database. Retrieval: Dataworkz ensures the retrieval of accurate information in response to user queries, a critical part of the RAG process. Synthesis: The retrieved information is then used to build the context for a foundational model, generating responses grounded in reality. Monitoring: With many moving parts in the RAG system, Dataworkz provides robust monitoring capabilities essential for production use cases. Dataworkz's intuitive point-and-click interface (as seen in Video 1) simplifies RAG implementation, allowing enterprises to quickly operationalize AI applications. The platform offers flexibility and choice in data connectors, embedding models, vector stores, and language models. Additionally, tools like A/B testing ensure the quality and reliability of generated responses. This combination of ease of use, optionality, and quality assurance is a key tenet of Dataworkz's "RAG as a Service" offering. Diving deeper: System architecture and functionalities Now that we’ve looked at the components of the pre-processing pipeline, let’s explore the proposed real-time system architecture in detail. It comprises the following modules and functions (see Figure 2): Amazon Transcribe , which receives the audio coming from the customer’s phone and converts it into text. Cohere ’s embedding model, served through Amazon Bedrock , vectorizes the text coming from Transcribe. MongoDB Atlas Vector Search receives the query vector and returns a document that contains the most semantically similar FAQ in the database. Figure 2: System architecture and modules Here are a couple of FAQs we used for the demo: Q: “Can you explain the different types of coverage available for my home insurance?” A: “Home insurance typically includes coverage for the structure of your home, your personal belongings, liability protection, and additional living expenses in case you need to temporarily relocate. I can provide more detailed information on each type if you'd like.” Q: “What is the process for adding a new driver to my auto insurance policy?" A: “To add a new driver to your auto insurance policy, I'll need some details about the driver, such as their name, date of birth, and driver's license number. We can add them to your policy over the phone, or you can do it through our online portal.” Note that the question is reported just for reference, and it’s not used for retrieval. The actual question is provided by the user through the voice interface and then matched in real-time with the answers in the database using Vector Search. This information is finally presented to the customer service operator in text form (see Fig. 3). The proposed architecture is simple but very powerful, easy to implement, and effective. Moreover, it can serve as a foundation for more advanced use cases that require complex interactions, such as agentic workflows , and iterative and multi-step processes that combine LLMs and hybrid search to complete sophisticated tasks. Figure 3: App interface, displaying what has been asked by the customer (left) and how the information is presented to the customer service operator (right) This solution not only impacts human operator workflows but can also underpin chatbots and voicebots, enabling them to provide more relevant and contextual customer responses. Building a better future for customer service By seamlessly integrating analytical and operational data streams, insurance companies can significantly enhance both operational efficiency and customer satisfaction. Our system empowers businesses to optimize staffing, accelerate inquiry resolution, and deliver superior customer service through data-driven, real-time insights. To embark on your own customer service transformation, explore our GitHub repository and take advantage of the Dataworkz free tier .

November 27, 2024