Atlas Vector Search comanda o maior NPS para desenvolvedores na pesquisa Retool State of AI 2023

Mat Keep and Rachelle Palmer
November 30, 2023 | Updated: January 31, 2024

A Retool acabou de publicar seu primeiro relatório State of AI, e vale a pena ler.Modelada em seu relatório State of Internal Tools extremamente popular, a pesquisa State of AI tomou o pulso de mais de 1.500 pessoas de tecnologia abrangendo engenharia de software, liderança, gerentes de produto, designers e muito mais, em uma grande variedade de setores.O objetivo da pesquisa é entender como essas pessoas de tecnologia usam e constroem com inteligência artificial (IA).

Como parte da pesquisa, a Retool analisou quais ferramentas eram populares, incluindo os bancos de dados vetoriais usados com mais frequência com IA.A pesquisa descobriu que o MongoDB Atlas Vector Search fez juz ao mais alto Net Promoter Score (NPS) e foi o segundo banco de dados vetorial mais amplamente usado - em apenas cinco meses após seu lançamento.Isso o coloca à frente de soluções da concorrência que já existem há anos.

Nesta publicação do blog, examinaremos o aumento fenomenal dos bancos de dados vetoriais e como os desenvolvedores estão usando soluções como o Atlas Vector Search para construir aplicativos baseados em IA. Também abordaremos outros destaques importantes do relatório da Retool.

Confira nossa página de recursos de IA para saber mais sobre como criar aplicativos baseados em IA com MongoDB.

Adoção do banco de dados vetorial: fora dos gráficos (bem, quase...)

De curiosidade matemática a superpoder por trás da IA generativa e dos LLMs, as incorporações de vetores e os bancos de dados que os gerenciam percorreram um longo caminho em um período muito curto.

Confira as tendências do DB-Engines nos modelos de banco de dados nos últimos 12 meses, e você verá que os bancos de dados vetoriais são superiores a todos os demais em mudança de popularidade. Basta olhar para a trajetória "para cima e para a direita" da linha rosa no gráfico abaixo.

Captura de tela cortesia do DB-Engines, 8 de novembro de 2023

Mas por que os bancos de dados vetoriais se tornaram tão populares?

Eles são um componente essencial em um novo padrão arquitetônico chamado de geração aumentada de recuperação, também conhecido como RAG, uma combinação potente que combina os recursos de raciocínio de LLMs pré-treinados e de uso geral e os alimenta com dados específicos da empresa em tempo real. Os resultados são aplicativos baseados em IA que atendem exclusivamente à empresa, seja criando novos produtos, reimaginando as experiências dos clientes ou levando a produtividade e a eficiência internas a níveis sem precedentes.

As incorporações vetoriais são um dos componentes fundamentais necessários para desbloquear a potência da RAG.Os modelos de incorporação vetorial codificam dados empresariais, não importa se são texto, código, vídeo, imagens, fluxos de áudio ou tabelas, como vetores.Esses vetores são armazenados, indexados e consultados em um banco de dados vetorial ou mecanismo de pesquisa vetorial, fornecendo os dados de entrada relevantes como contexto para o LLM escolhido.O resultado são aplicativos de IA baseados em dados empresariais e conhecimento relevantes para os negócios, precisos, confiáveis e atualizados.

Como mostra a pesquisa da Retool, o cenário dos bancos de dados vetoriais ainda é amplamente inexplorado. Menos de 20% dos entrevistados estão usando bancos de dados vetoriais atualmente, mas com a crescente tendência de personalizar modelos e infraestrutura de IA, é garantido que a adoção crescerá.

Por que os desenvolvedores estão adotando o Atlas Vector Search?

A pesquisa State of AI da Retool apresenta alguns excelentes bancos de dados vetoriais que abriram caminho nos últimos anos, especialmente em aplicações que exigem pesquisa semântica sensível ao contexto. Pense em catálogos de produtos ou descoberta de conteúdo.

No entanto, o desafio que os desenvolvedores enfrentam ao usar esses bancos de dados vetoriais é que eles precisam integrá-los junto com outros bancos de dados em sua pilha de tecnologia da aplicação.

Cada camada adicional de banco de dados na pilha de tecnologia da aplicação adiciona mais uma fonte de complexidade, latência e sobrecarga operacional. Isso significa que eles têm outro banco de dados para adquirir, aprender, integrar (para desenvolvimento, testes e produção), proteger e certificar, escalar, monitorar e fazer backup, tudo isso mantendo os dados sincronizados entre esses vários sistemas.

O MongoDB adota uma abordagem diferente, que evita totalmente esses desafios:

Os desenvolvedores armazenam e pesquisam incorporações vetoriais nativas no mesmo sistema que usam como seu banco de dados operacional.
Usando a arquitetura distribuída do MongoDB, eles podem isolar esses diferentes volumes de trabalho e, ao mesmo tempo, manter os dados totalmente sincronizados.
Os Search Nodes fornecem computação dedicada e isolamento dos volumes de trabalho, o que é vital para volumes de trabalho de pesquisa vetorial com uso intensivo de memória, permitindo, assim, melhor desempenho e maior disponibilidade
Com o esquema de documentos flexível e dinâmico do MongoDB, os desenvolvedores podem modelar e desenvolver relações entre vetores, metadados e dados de aplicações de formas que outros bancos de dados não conseguem.
Eles podem processar e filtrar dados vetoriais e operacionais de qualquer forma que a aplicação precise com uma API de query expressiva e drivers que suportam todas as linguagens de programação mais populares.
O uso da plataforma de dados do desenvolvedor MongoDB Atlas totalmente gerenciada permite que os desenvolvedores alcancem a escala, a segurança e o desempenho esperados pelos usuários de aplicações.

O que essa abordagem unificada significa para os desenvolvedores? Ciclos de desenvolvimento mais rápidos, aplicativos de maior desempenho que fornecem menor latência com dados mais recentes, juntamente com menor sobrecarga e custo operacional. Resultados refletidos na pontuação NPS do MongoDB, a melhor de sua classe.

Atlas Vector Search é robusto, econômico e incrivelmente rápido!
Saravana Kumar, CEO, Kovai discutindo o desenvolvimento do assistente de IA de sua empresa

Confira nossa série de blogs Construindo IA com o MongoDB (vá para a seção Introdução para ver as edições anteriores). Aqui você verá o Atlas Vector Search usado para aplicações com tecnologia GenAI que abrangem IA conversacional com chatbots e voicebots, copilotos, inteligência contra ameaças e segurança cibernética, gerenciamento de contratos, resposta a perguntas, conformidade com a área de saúde e assistentes de tratamento, descoberta e monetização de conteúdo e muito mais.

O MongoDB já estava armazenando metadados sobre artefatos em nosso sistema. Com a introdução do Atlas Vector Search, agora temos um banco de dados abrangente de metadados vetoriais que foi testado durante uma década e que soluciona nossas necessidades de recuperação densa. Não é necessário implantar um novo banco de dados que precisaríamos gerenciar e aprender. Nossos metadados de vetores e artefatos podem ser armazenados um ao lado do outro.
Pierce Lamb, Engenheiro Sênior de Software na equipe de dados e aprendizado de máquina da VISO TRUST

O que você pode aprender sobre o estado da IA no relatório da Retool?

Além de descobrir os bancos de dados vetoriais mais populares, a pesquisa abrange IA de uma variedade de perspectivas. Ela começa explorando as percepções dos entrevistados sobre a IA. (Sem nenhuma surpresa, a diretoria é mais otimista do que os contribuintes individuais.) Em seguida, explora as prioridades de investimento, o impacto da IA nas perspectivas de emprego futuro e como isso provavelmente afetará os desenvolvedores e as habilidades das quais eles precisam no futuro.

Em seguida, a pesquisa explora o nível de adoção e maturidade da IA. Mais de 75% dos entrevistados dizem que suas empresas estão fazendo esforços para começar com a IA, com cerca de metade dizendo que esses ainda eram projetos iniciais e, principalmente, voltados para aplicações internas. A pesquisa passa a examinar quais são essas aplicações e o quanto os entrevistados as acham úteis para a empresa. Ela descobre que quase todos estão usando a IA no trabalho, quer tenham permissão ou não, e então identifica os principais pontos problemáticos. Não é nenhuma surpresa que a precisão, a segurança e as alucinações do modelo estejam no topo dessa lista.

A pesquisa termina explorando os principais modelos em uso. Novamente, não é surpresa que as ofertas da Open AI estejam liderando, mas também indica uma intenção crescente de usar modelos de código aberto junto com infraestrutura de IA e ferramentas para personalização no futuro.

Você pode se aprofundar em todos os detalhes da pesquisa lendo o relatório.

Introdução ao Atlas Vector Search

Quer dar uma olhada em nossas ofertas do Vector Search? Acesse nossa página do produto Atlas Vector Search. Lá você encontrará links para tutoriais, documentação e as principais integrações do ecossistema de IA para que você possa mergulhar diretamente na criação de seus próprios aplicativos com tecnologia genAI.

Se você quiser saber mais sobre as possibilidades de alto nível da pesquisa vetorial, baixe nosso whitepaper Incorporação de IA generativa.

Confira nossa apresentação Construa seu roteiro de IA para 2024 para saber mais sobre diferentes casos de uso de IA e como as organizações estão fazendo alterações para apoiá-los!

← Previous

Atlas Vector Search obtiene el NPS más alto para desarrolladores en la encuesta Retool State of AI 2023

Retool acaba de publicar su primer informe sobre el estado de la IA y merece la pena leerlo. Inspirada en su popular informe State of Internal Tools, la encuesta State of AI tomó el pulso de más de 1,500 técnicos que abarcan ingeniería de software, liderazgo, gerentes de producto, diseñadores y más provenientes de una variedad de industrias. El propósito de la encuesta es entender cómo esta gente de tecnología usa y construye con inteligencia artificial (IA). Como parte de la encuesta, Retool averiguó qué herramientas eran populares, incluidas las bases de datos vectoriales que se utilizan con mayor frecuencia con IA. La encuesta encontró que MongoDB Atlas Vector Search tenía el Net Promoter Score (NPS) más alto y era la segunda base de datos de vectores más utilizada, tan solo cinco meses después de su versión. Esto lo coloca por delante de las soluciones de la competencia que han existido durante años. En esta publicación de blog, examinaremos el fenomenal aumento de las bases de datos vectoriales y cómo los desarrolladores están utilizando soluciones como Atlas Vector Search para crear aplicaciones impulsadas por IA. También cubriremos otros aspectos destacados clave del informe Retool. Consulte nuestra página de recursos de IA para obtener más información sobre cómo crear aplicaciones basadas en IA con MongoDB. Adopción de bases de datos vectoriales: fuera de Charts (bueno, casi...) Desde la curiosidad matemática hasta la superpotencia detrás de la IA generativa y los LLM, las incorporaciones de vectores y las bases de datos que las managed han recorrido un largo camino en muy poco tiempo. Consulte las tendencias de DB-Engines en modelos de bases de datos durante los últimos 12 meses y verá que las bases de datos vectoriales están muy por encima de todas las demás en cuanto a cambios de popularidad. Basta con mirar la trayectoria "hacia arriba y hacia la derecha" de la línea rosa en los gráficos a continuación. Captura de pantalla cortesía de DB-engines, 8 de noviembre de 2023 Pero, ¿por qué las bases de datos vectoriales se han vuelto tan populares? Son un componente clave en un nuevo patrón arquitectónico llamado generación aumentada de recuperación, también conocida como RAG , una mezcla potente que combina las capacidades de razonamiento de LLM pre-entrenadas y de propósito general y les proporciona datos específicos de la compañía en tiempo real. Los resultados son una aplicación impulsada por IA que sirven de manera única al negocio, ya sea creando nuevos productos, reinventando la experiencia del cliente o impulsando la productividad y eficiencia internas a niveles sin precedentes. Las incrustaciones vectoriales son uno de los componentes fundamentales necesarios para liberar el poder de RAG. Los modelos de incrustación de vectores codifican datos de la empresa, ya sean texto, código, vídeo, imágenes, transmisión de audio o tablas, como vectores. Luego, esos vectores se almacenan, clasifican y consultan en una base de datos de vectores o en un motor de búsqueda de vectores, proporcionando los datos de entrada relevantes como contexto para el LLM elegido. El resultado es una aplicación de IA (en este contexto móvil); también válido: aplicación basada en datos y conocimientos de la empresa que sean relevantes para el negocio, precisos, confiables y actualizados. Como muestra la encuesta de Retool, el panorama de la base de datos vectorial sigue siendo en gran medida un campo nuevo. Menos del 20% de los encuestados utilizan bases de datos vectoriales hoy en día, pero con la tendencia creciente hacia la personalización de modelos e infraestructura de IA, se garantiza que la adopción crecerá. ¿Por qué los desarrolladores están adoptando Atlas Vector Search? La encuesta sobre el estado de la IA de Retool presenta algunas excelentes bases de datos vectoriales que han abierto un camino en los últimos años, especialmente en aplicaciones que requieren búsqueda semántica consciente del contexto. Piense en catálogos de productos o descubrimiento de contenido. Sin embargo, el desafío que enfrentan los desarrolladores al utilizar esas bases de datos vectoriales es que tienen que integrarlas junto con otras bases de datos en la pila tecnológica de su aplicación. Cada capa de base de datos adicional en la pila tecnológica de la aplicación agrega otra fuente de complejidad, latencia y gastos operativos generales. Esto significa que tienen otra base de datos para adquirir, aprender, integrar (para desarrollo, pruebas y producción), proteger y certificar, escalar, monitorear y realizar copias de seguridad, y todo esto mientras mantienen los datos sincronizados en estos múltiples sistemas. MongoDB adopta un enfoque diferente que evita estos desafíos por completo: Los desarrolladores almacenan y buscan incrustaciones de vectores nativos en el mismo sistema que utilizan como base de datos operativa. Al utilizar la arquitectura distributed de MongoDB, pueden aislar estas diferentes cargas de trabajo mientras mantienen los datos completamente sincronizados. Search Nodes proporcionan computación dedicada y aislamiento de cargas de trabajo que es vital para cargas de trabajo de búsqueda vectorial con uso intensivo de memoria, lo que permite un mejor rendimiento y una mayor disponibilidad. Con el esquema de documento dinámico y flexible de MongoDB, los desarrolladores pueden modelar y desarrollar relaciones entre vectores, metadatos y datos de aplicaciones de maneras que otras bases de datos no pueden. Pueden procesar y filtrar datos vectoriales y operativos de cualquier forma que la aplicación necesite con una API de consulta expresiva y controladores que brindan asistencia técnica a todos los lenguajes de programación más populares. El uso de la plataforma de datos para desarrolladores MongoDB Atlas , totalmente gestionada, permite a los desarrolladores lograr la escalabilidad, la seguridad y el rendimiento que esperan los usuarios de sus aplicaciones. ¿Qué significa este enfoque unificado para los desarrolladores? Ciclos de desarrollo más rápidos, aplicaciones de mayor rendimiento que proporcionan menor latencia con datos más actualizados, junto con menores costos y gastos operativos generales. Resultados que se reflejan en la mejor puntuación NPS de su clase de MongoDB. ¡Atlas Vector Search es sólido, rentable e increíblemente rápido! Saravana Kumar, CEO, Kovai , habla sobre el desarrollo del asistente de inteligencia artificial de su empresa Consulte nuestra serie blog Construyendo IA con MongoDB (diríjase a la sección Introducción para ver los números anteriores). Aquí verá Atlas Vector Search utilizado para aplicaciones impulsadas por GenAI que abarcan IA conversacional con chatbots y voicebots, copilotos, inteligencia de amenazas y ciberseguridad, gestión de contratos, respuesta a preguntas, asistentes de tratamiento y cumplimiento de atención médica, descubrimiento de contenido y monetización, y más. MongoDB ya estaba almacenando metadatos sobre artefactos en nuestro sistema. Con la introducción de Atlas Vector Search, ahora contamos con una base de datos integral de metadatos vectoriales que ha sido probada durante más de una década y que resuelve nuestras densas necesidades de recuperación. No es necesario implementar una nueva base de datos, tendríamos que administrar y aprender. Nuestros vectores y metadatos de artefactos se pueden almacenar uno al lado del otro. Pierce Lamb, ingeniero sénior de software del equipo de datos y aprendizaje automático de VISO TRUST ¿Qué puede aprender sobre el estado de la IA en el informe de Retool? Más allá de descubrir las bases de datos vectoriales más populares, la encuesta cubre la IA desde una variedad de perspectivas. Comienza explorando las percepciones de los encuestados sobre la IA. (Como era de esperar, el C-suite es más alcista que los contribuyentes individuales). Luego explora las prioridades de inversión, el impacto de la IA en las perspectivas laborales futuras y cómo afectará probablemente a los desarrolladores y las habilidades que necesitan en el futuro. Luego, la encuesta explora el nivel de adopción y madurez de la IA. Más del 75% de los encuestados dicen que sus empresas están haciendo esfuerzos para comenzar con la IA, y alrededor de la mitad dice que estos todavía eran proyectos iniciales, y principalmente orientados a aplicaciones internas. La encuesta continúa para examinar cuáles son esas aplicaciones y qué tan útiles piensan los encuestados que son para el negocio. Encuentra que casi todo el mundo usa IA en el trabajo, ya sea que se les permita o no, y luego identifica los principales puntos débiles. No es de extrañar que la precisión del modelo, la seguridad y las alucinaciones encabecen esa lista. La encuesta concluye explorando los mejores modelos en uso. Una vez más, no sorprende que las ofertas de Open AI estén liderando el camino, pero también indica una creciente intención de utilizar modelos de código abierto junto con infraestructura de AI y herramientas para personalización en el futuro. Puedes profundizar en todos los detalles de la encuesta leyendo el informe . Introducción con Atlas Vector Search ¿Deseas echar un vistazo a nuestra oferta de búsqueda vectorial? Dirígete a nuestra página de productos Atlas Vector Search . Allí encontrarás enlaces a tutoriales, documentación e integraciones clave del ecosistema de IA para que puedas sumergirte directamente en la creación de tu propia aplicación impulsada por GenAI . Si desea obtener más información sobre las posibilidades de alto nivel de la búsqueda vectorial, descargue nuestro documento técnico de " Embedding Generative AI ."

November 30, 2023

Next →

MongoDB Database Observability: Integrating with Monitoring Tools

This post is the final in a three-part series on leveraging database observability. Welcome back to our series on Leveraging Database Observability! Our previous post showcased a real-world use case highlighting how MongoDB Atlas’s observability tools effectively tackle database performance challenges. Whether you’re a developer, DBA, or DevOps engineer, our mission is to empower you to harness the full potential of your data through our observability suite . Integrating Atlas metrics with your central enterprise observability tools can simplify your operations. By seamlessly working with popular observability tools, our approach helps teams streamline workflows and enhance visibility across systems. Integrating MongoDB Atlas with third-party monitoring tools MongoDB’s developer data platform combines all essential data services for building modern applications within a unified experience. Our purpose-built observability tools for Atlas environments offer automatic monitoring and optimization, guiding diagnostics tailored specifically for MongoDB. Additionally, we extend Atlas metrics into your existing enterprise observability stack, enabling seamless integration without replacing your current tools. This creates a consolidated, single-pane view that unifies Atlas telemetry with other tech and application metrics, ensuring comprehensive visibility into both database and full-stack performance. This integration empowers you to monitor, receive alerts, and make data-driven decisions within your existing workflows, driving greater efficiency. Below is a quick guide to modifying integration settings through the Atlas UI and the popular integrations we support: Navigate to the Project Integrations page in Atlas. Choose the organization and project you want to configure from the navigation bar. On the Project Integrations page, select the third-party services you’d like to integrate. Configure the chosen services with the required API keys and regions. Critical integrations for your observability platform With Atlas’s Datadog and Prometheus integrations, you can send critical MongoDB metrics to these platforms, empowering detailed, real-time monitoring. Through Datadog , you can track database operation counts, query efficiency, and resource usage, ideal for pinpointing bottlenecks and managing resources. Similarly, Prometheus enables you to monitor essential metrics like query times, connection rates, and memory usage, supporting flexible tracking of database health and performance. Both integrations facilitate proactive detection of issues, alert configuration for resource thresholds, and a cohesive view of Atlas data when visualized in Grafana. Atlas’s integration with PagerDuty streamlines incident management by sending metrics like performance alerts, billing anomalies, and security events directly to PagerDuty. This integration records incidents automatically, notifies teams upon alerts, and supports two-way syncing, ensuring resolved alerts in Atlas are reflected in PagerDuty. It enables efficient incident response and resource allocation to maintain system stability. With Atlas integrations for Microsoft Teams and Slack, you can route key metrics—such as query latency, disk usage, and throughput—to these channels for timely updates. Teams can use these insights for real-time performance monitoring, incident response, and collaboration. Notifications through these platforms ensure your team stays informed on database performance, storage health, and user activity changes as they occur. Use case: Centralized observability with MongoDB Atlas, Datadog, and Slack Let’s walk through a hypothetical scenario for ShopSmart, an e-commerce company that leverages MongoDB Atlas to manage its product catalog and customer data. As traffic surges, the DevOps team faces challenges in monitoring application performance and database health effectively. To tackle these challenges, the team leverages MongoDB Atlas’ integration with Datadog and Slack, creating a powerful observability ecosystem. Integrating MongoDB Atlas with Datadog: The team pushes key MongoDB Atlas metrics into Datadog, such as query performance, connection counts, and Atlas Vector Search metrics. With Datadog, they can visualize these metrics and correlate overall MongoDB performance with their other applications. Out-of-the-box monitors and dedicated dashboards allow the team to track metrics like throughput, average read/write latency, and current connections. This visibility helps pinpoint bottlenecks in real time, ensuring optimal database performance and improving overall application responsiveness. Setting up alerts in Datadog: The team configures alerts for critical metrics like high query latency and increased error rates. When thresholds are breached, Datadog instantly notifies the team. This proactive approach allows the team to address potential performance issues before they impact customers. Integrating Datadog with Slack: To ensure fast communication, alerts are sent directly to the dedicated Slack channel, “ShopSmart-Alerts.” This integration fosters seamless collaboration, enabling the team to discuss and resolve issues in real-time. With these integrations, ShopSmart’s engineering team can monitor performance quickly and address issues efficiently. The unified observability approach enhances operational efficiency, improves the customer experience, and supports ShopSmart’s competitive edge in the e-commerce industry. By leveraging MongoDB Atlas, Datadog, and Slack, the team ensures scalable performance and drives continuous innovation. Conclusion MongoDB Atlas empowers developers and organizations to achieve unparalleled observability and control over their database environments. By seamlessly integrating with central enterprise observability tools, Atlas enhances your ability to monitor performance metrics and ensures you can do so within your existing workflows. This means you can focus on building modern applications confidently, knowing you have the insights and alerts necessary to maintain optimal performance. Embrace the power of MongoDB Atlas and transform your approach to database management—because your applications can thrive when your data is observable. And that wraps up our Leveraging Database Observability series! We hope you learned something new and found value in these discussions. Sign up for MongoDB Atlas , our cloud database service, to see database observability in action. To dive deeper and expand your knowledge, check out this learning byte for more insights on the MongoDB observability suite and how it can enhance your database performance.

November 14, 2024