Fireworks AI y MongoDB: las aplicaciones de IA más rápidas con los mejores modelos, impulsadas por sus datos

Mat Keep and Angela Lee
March 26, 2024 | Updated: April 11, 2024

Nos complace anunciar que Fireworks AI y MongoDB ahora son socios para hacer que la innovación con IA Generativa sea más rápida, más eficiente y más segura. Fireworks AI fue fundada a finales de 2022 por veteranos de la industria del equipo PyTorch de Meta, donde se centraron en la optimización del rendimiento, la mejora de la experiencia del desarrollador y la ejecución de aplicaciones de IA a escala.

Es esta la experiencia que Fireworks AI aporta a su plataforma de IA de producción, seleccionando y optimizando los modelos abiertos líderes de la industria. Las pruebas comparativas realizadas por la empresa demuestran que los modelos de IA Generativa que se ejecutan en Fireworks AI ofrecen velocidades de inferencia hasta 4 veces superiores a las de las plataformas alternativas, con un rendimiento y una escala hasta 8 veces superiores.

Los modelos son una parte de la pila de aplicaciones. Pero para que los desarrolladores desbloqueen el poder de la IA Generativa, también deben incorporar datos empresariales a esos modelos. Es por eso que Fireworks AI se ha asociado con MongoDB, abordando uno de los desafíos más difíciles para la adopción de la IA. Con MongoDB Atlas, los desarrolladores pueden unificar de forma segura datos operativos, datos no estructurados e incrustaciones de vectores para crear de forma segura aplicaciones y experiencias de IA consistentes, correctas y diferenciadas.

Conjuntamente, Fireworks AI y MongoDB proporcionan una solución para los desarrolladores que desean aprovechar modelos de código abierto altamente seleccionados y optimizados, y combinarlos con los datos patentados de su organización, y hacerlo todo con una velocidad y seguridad inigualables.

Modelos ultrarrápidos de Fireworks AI: velocidad, eficacia y valor añadido

Con su plataforma de inferencia ultrarrápida, Fireworks AI selecciona, optimiza e implementa más de 40 modelos diferentes de IA. Estas optimizaciones pueden suponer al mismo tiempo un importante ahorro de costos, una reducción de la latencia y una mejora del rendimiento. Su plataforma ofrece esto a través de:

  • Modelos estándar, modelos optimizados y complementos: Fireworks AI proporciona una collection de modelos de texto, incrustación y base de imágenes de máxima calidad. Los desarrolladores pueden aprovechar estos modelos o afinar e implementar los suyos propios, emparejándolos con sus propios datos patentados mediante MongoDB Atlas.

  • Capacidades de ajuste fino: Para mejorar aún más la precisión y velocidad del modelo, Fireworks AI también ofrece un servicio de ajuste fino utilizando su CLI para ingerir objetos con formato JSON de bases de datos como MongoDB Atlas.

  • Interfaces y API simples para desarrollo y producción: El patio de juegos de Fireworks AI permite a los desarrolladores interactuar con modelos directamente en un navegador. También se puede acceder mediante programación a través de una conveniente REST API. Esto es compatible con la API de OpenAI y, por lo tanto, interopera con el ecosistema LLM más amplio.

  • Manual: una guía simple y fácil de usar proporciona un conjunto completo de recetas listas para usar que se pueden adaptar para varios casos de uso, incluido el ajuste, la generación y la evaluación.

Fireworks AI y MongoDB: cómo establecer el estándar para la IA con modelos seleccionados, optimizados y rápidos

Con Fireworks AI y MongoDB Atlas, las aplicaciones se ejecutan en entornos aislados que garantizan el tiempo de actividad y la privacidad, protegidos por controles de seguridad sofisticados que cumplen con los estándares regulatorios más estrictos:

  • Como uno de los principales proveedores de API de modelos de código abierto, Fireworks AI sirve a 66 mil millones de tokens por día (y sigue creciendo).

  • Con Atlas, ejecuta sus aplicaciones en una plataforma probada que atiende a decenas de miles de clientes, desde startups de alto crecimiento hasta las empresas y gobiernos más grandes.

Juntos, la solución conjunta de Fireworks AI y MongoDB permiten:

  • Generación aumentada de recuperación (RAG) o preguntas y respuestas a partir de un amplio conjunto de documentos: procese una gran cantidad de documentos para producir resúmenes y datos estructurados que luego puedan impulsar la IA conversacional.

  • Clasificación mediante búsqueda semántica/similar: clasifique y analice conceptos y emociones de llamadas de ventas, videoconferencias y mucho más para proporcionar mejor inteligencia y estrategias. O bien, organice y clasifique un catálogo de productos utilizando imágenes de productos y texto.

  • Imágenes para extracción de datos estructurados: extraiga significado de las imágenes para producir datos estructurados que puedan procesarse y buscarse en una variedad de aplicaciones de visión, desde fotos de stock, moda, detección de objetos, hasta diagnósticos médicos.

  • Inteligencia de alertas: procese grandes cantidades de datos en tiempo real para detectar y alertar automáticamente sobre instancias de fraude, amenazas de ciberseguridad y más.

Figura 1: el tutorial de Fireworks muestra cómo llevar sus propios datos a los LLM con generación aumentada de recuperación (RAG) y MongoDB Atlas

Primeros pasos con Fireworks AI y MongoDB Atlas

Para ayudarte a comenzar, revisa la Optimización RAG con el tutorial de MongoDB Atlas y Fireworks AI, que te muestra cómo crear una aplicación de recomendación de películas e involucra

  • la base de datos de MongoDB Atlas que indexa películas utilizando incrustaciones. (Almacén de vectores)

  • Un sistema para la generación de incrustación de documentos. Usaremos la API de incrustación de Fireworks para crear incrustaciones a partir de datos de texto. (Vectorización)

  • MongoDB Atlas Vector Search responde a las consultas de los usuarios convirtiendo la consulta en una incrustación y obteniendo las películas correspondientes. (Motor de recuperación)

  • El modelo Mixtral utiliza la API de inferencia de Fireworks para generar las recomendaciones. También puede usar Llama, Gemma y otros excelentes modelos de OSS si lo desea. (LLM)

  • Cargar el conjunto de datos Mflix de muestra de MongoDB Atlas para generar incrustaciones (conjunto de datos)

También podemos ayudarle a diseñar la mejor arquitectura para las necesidades de su organización. No dude en comunicarse con su equipo de cuentas o póngase en contacto con nosotros aquí para programar una sesión de colaboración y explorar cómo Fireworks AI y MongoDB pueden optimizar su proceso de desarrollo de IA.

← Previous

Fireworks AI et MongoDB : les applications d'IA les plus rapides avec les meilleurs modèles, alimentées par vos données

Nous sommes heureux d'annoncer que Fireworks AI et MongoDB s'associent désormais pour rendre l'innovation avec l'IA générative plus rapide, plus efficace et plus sûre. Fireworks AI a été fondée fin 2022 par des experts de l'équipe PyTorch de Meta, qui se sont concentrés sur l'optimisation des performances, l'amélioration de l'expérience des développeurs et l'exécution d'applications d'IA à grande échelle. C'est cette expertise que Fireworks AI apporte à sa plateforme d'IA de production, en conservant et en optimisant les principaux modèles ouverts du secteur. Les analyses comparatives réalisées par l'entreprise révèlent que les modèles d'IA générative fonctionnant sur Fireworks AI offrent des vitesses d'inférence jusqu'à quatre fois supérieures à celles des plateformes alternatives, avec un débit et une échelle jusqu'à huit fois plus élevés. Les modèles constituent une partie de la pile d'applications. Mais pour que les développeurs puissent exploiter la puissance de l'IA générique, ils doivent également intégrer les données de l'entreprise à ces modèles. C'est pourquoi Fireworks AI s'est associé à MongoDB pour relever l'un des plus grands défis de l'adoption de l'IA. Avec MongoDB Atlas , les développeurs peuvent unifier en toute sécurité les données opérationnelles, les données non structurées et les données vectorielles pour créer des applications et des expériences d'IA cohérentes, précises et différenciées. Ensemble, Fireworks AI et MongoDB offrent une solution aux développeurs qui souhaitent exploiter des modèles open source hautement spécialisés et optimisés, et les combiner avec les données propriétaires de leur organisation, le tout avec une rapidité et une sécurité inégalées. Modèles ultra-rapides de Fireworks AI : alliant rapidité, efficacité et valeur Grâce à sa plateforme d’inférence ultra-rapide, Fireworks AI organise, optimise et déploie plus de 40 modèles d’IA différents. Ces optimisations peuvent simultanément entraîner des économies de coûts significatives, une latence réduite et un débit amélioré. Leur plateforme offre cela via : Des modèles prêts à l'emploi, des modèles optimisés et des modules complémentaires : Fireworks AI propose une collection de modèles de qualité supérieure pour le texte, l'intégration et les fondations d'images . Les développeurs peuvent exploiter ces modèles ou affiner et déployer les leurs, en les associant à leurs propres données à l'aide de MongoDB Atlas. Des capacités d'affinage  : pour améliorer encore la précision et la rapidité des modèles, Fireworks AI propose également un service d'affinage utilisant son CLI pour ingérer des objets au format JSON à partir de bases de données telles que MongoDB Atlas. Des interfaces et des API simples pour le développement et la production : Fireworks AI permet aux développeurs d'interagir avec les modèles directement dans un navigateur. Il est également accessible par programme via une API REST pratique. Elle est compatible avec l'API OpenAI et interagit donc avec l'écosystème LLM plus large. Un livre de cuisine : un livre de recettes simple et facile à utiliser fournit un ensemble complet de recettes prêtes à l'emploi qui peuvent être adaptées à différents cas d'utilisation, y compris l'affinage, la génération et l'évaluation. Fireworks AI et MongoDB : établir la norme pour l'IA avec des modèles organisés, optimisés et rapides Avec Fireworks AI et MongoDB Atlas, les applications s'exécutent dans des environnements isolés garantissant la disponibilité et la confidentialité, protégées par des contrôles de sécurité sophistiqués qui répondent aux normes réglementaires les plus strictes : Fireworks AI est l'un des principaux fournisseurs d'API de modèles open source et gère 66 milliards de jetons par jour (et ce chiffre ne cesse de croître). Avec Atlas, vous exécutez vos applications sur une plateforme éprouvée qui sert des dizaines de milliers de clients, des startups à forte croissance aux plus grandes entreprises et gouvernements. Ensemble, la solution conjointe Fireworks AI et MongoDB offre : Une génération augmentée de récupération (RAG) ou des questions-réponses à partir d'un vaste ensemble de documents : l'ingestion d'un grand nombre de documents permet de produire des résumés et des données structurées qui peuvent ensuite alimenter l'IA conversationnelle. Une classification grâce à la recherche sémantique/de similarité : classifie et analyse les concepts et les émotions issus des appels de vente, des vidéoconférences, etc. afin d'améliorer les informations et les stratégies. Ou encore, organise et classe un catalogue de produits à l'aide d'images et de textes. Une extraction de données structurées à partir d'images : extrait le sens des images pour produire des données structurées qui peuvent être traitées et recherchées dans une gamme d'applications visuelles. Des photos de stock à la mode, en passant par la détection d'objets et les diagnostics médicaux. Une alerte intelligente : traite de grandes quantités de données en temps réel pour détecter et alerter automatiquement les cas de fraude, les menaces de cybersécurité, etc. Figure 1 : le tutoriel Fireworks montre comment apporter vos propres données aux LLM avec la génération augmentée de récupération (RAG) et Atlas MongoDB. Prise en main de Fireworks AI et MongoDB Atlas Pour vous aider à vous lancer, découvrez le tutoriel Optimiser la RAG avec MongoDB Atlas et Fireworks AI , qui vous montre comment créer une application de recommandation de films et implique la base de données MongoDB Atlas qui indexe les films à l'aide d'intégrations. (Vector Store) Système de génération d'intégration de documents. Nous utiliserons l'API Fireworks pour créer des intégrations à partir de données textuelles. (Vectorisation) MongoDB Atlas Vector Search répond aux requêtes des utilisateurs en convertissant la requête en une image et en récupérant les films correspondants. (Moteur de récupération) Le modèle Mixtral utilise l'API d'inférence Fireworks pour générer les recommandations. Vous pouvez également utiliser Llama, Gemma et d'autres grands modèles OSS si vous le souhaitez. (LLM) Chargement de la base de données MongoDB Atlas Sample Mflix Dataset pour générer des intégrations (Dataset) Nous pouvons également vous aider à concevoir l'architecture la mieux adaptée aux besoins de votre organisation. N'hésitez pas à contacter votre équipe ou à nous contacter ici pour planifier une session de collaboration et découvrir comment Fireworks AI et MongoDB peuvent optimiser votre processus de développement de l'IA.

March 26, 2024
Next →

MongoDB Database Observability: Integrating with Monitoring Tools

This post is the final in a three-part series on leveraging database observability. Welcome back to our series on Leveraging Database Observability! Our previous post showcased a real-world use case highlighting how MongoDB Atlas’s observability tools effectively tackle database performance challenges. Whether you’re a developer, DBA, or DevOps engineer, our mission is to empower you to harness the full potential of your data through our observability suite . Integrating Atlas metrics with your central enterprise observability tools can simplify your operations. By seamlessly working with popular observability tools, our approach helps teams streamline workflows and enhance visibility across systems. Integrating MongoDB Atlas with third-party monitoring tools MongoDB’s developer data platform combines all essential data services for building modern applications within a unified experience. Our purpose-built observability tools for Atlas environments offer automatic monitoring and optimization, guiding diagnostics tailored specifically for MongoDB. Additionally, we extend Atlas metrics into your existing enterprise observability stack, enabling seamless integration without replacing your current tools. This creates a consolidated, single-pane view that unifies Atlas telemetry with other tech and application metrics, ensuring comprehensive visibility into both database and full-stack performance. This integration empowers you to monitor, receive alerts, and make data-driven decisions within your existing workflows, driving greater efficiency. Below is a quick guide to modifying integration settings through the Atlas UI and the popular integrations we support: Navigate to the Project Integrations page in Atlas. Choose the organization and project you want to configure from the navigation bar. On the Project Integrations page, select the third-party services you’d like to integrate. Configure the chosen services with the required API keys and regions. Critical integrations for your observability platform With Atlas’s Datadog and Prometheus integrations, you can send critical MongoDB metrics to these platforms, empowering detailed, real-time monitoring. Through Datadog , you can track database operation counts, query efficiency, and resource usage, ideal for pinpointing bottlenecks and managing resources. Similarly, Prometheus enables you to monitor essential metrics like query times, connection rates, and memory usage, supporting flexible tracking of database health and performance. Both integrations facilitate proactive detection of issues, alert configuration for resource thresholds, and a cohesive view of Atlas data when visualized in Grafana. Atlas’s integration with PagerDuty streamlines incident management by sending metrics like performance alerts, billing anomalies, and security events directly to PagerDuty. This integration records incidents automatically, notifies teams upon alerts, and supports two-way syncing, ensuring resolved alerts in Atlas are reflected in PagerDuty. It enables efficient incident response and resource allocation to maintain system stability. With Atlas integrations for Microsoft Teams and Slack, you can route key metrics—such as query latency, disk usage, and throughput—to these channels for timely updates. Teams can use these insights for real-time performance monitoring, incident response, and collaboration. Notifications through these platforms ensure your team stays informed on database performance, storage health, and user activity changes as they occur. Use case: Centralized observability with MongoDB Atlas, Datadog, and Slack Let’s walk through a hypothetical scenario for ShopSmart, an e-commerce company that leverages MongoDB Atlas to manage its product catalog and customer data. As traffic surges, the DevOps team faces challenges in monitoring application performance and database health effectively. To tackle these challenges, the team leverages MongoDB Atlas’ integration with Datadog and Slack, creating a powerful observability ecosystem. Integrating MongoDB Atlas with Datadog: The team pushes key MongoDB Atlas metrics into Datadog, such as query performance, connection counts, and Atlas Vector Search metrics. With Datadog, they can visualize these metrics and correlate overall MongoDB performance with their other applications. Out-of-the-box monitors and dedicated dashboards allow the team to track metrics like throughput, average read/write latency, and current connections. This visibility helps pinpoint bottlenecks in real time, ensuring optimal database performance and improving overall application responsiveness. Setting up alerts in Datadog: The team configures alerts for critical metrics like high query latency and increased error rates. When thresholds are breached, Datadog instantly notifies the team. This proactive approach allows the team to address potential performance issues before they impact customers. Integrating Datadog with Slack: To ensure fast communication, alerts are sent directly to the dedicated Slack channel, “ShopSmart-Alerts.” This integration fosters seamless collaboration, enabling the team to discuss and resolve issues in real-time. With these integrations, ShopSmart’s engineering team can monitor performance quickly and address issues efficiently. The unified observability approach enhances operational efficiency, improves the customer experience, and supports ShopSmart’s competitive edge in the e-commerce industry. By leveraging MongoDB Atlas, Datadog, and Slack, the team ensures scalable performance and drives continuous innovation. Conclusion MongoDB Atlas empowers developers and organizations to achieve unparalleled observability and control over their database environments. By seamlessly integrating with central enterprise observability tools, Atlas enhances your ability to monitor performance metrics and ensures you can do so within your existing workflows. This means you can focus on building modern applications confidently, knowing you have the insights and alerts necessary to maintain optimal performance. Embrace the power of MongoDB Atlas and transform your approach to database management—because your applications can thrive when your data is observable. And that wraps up our Leveraging Database Observability series! We hope you learned something new and found value in these discussions. Sign up for MongoDB Atlas , our cloud database service, to see database observability in action. To dive deeper and expand your knowledge, check out this learning byte for more insights on the MongoDB observability suite and how it can enhance your database performance.

November 14, 2024