Fireworks AI e MongoDB: le app IA più veloci con i migliori modelli, alimentate dai tuoi dati

Mat Keep and Angela Lee
March 26, 2024 | Updated: April 11, 2024

Siamo lieti di annunciare che Fireworks AI e MongoDB stanno ora diventando partner per rendere l'innovazione con l'IA generativa più veloce, più efficiente e più sicura. Fireworks AI è stata fondata alla fine del 2022 da veterani del settore provenienti dal team PyTorch di Meta, dove si sono concentrati sull'ottimizzazione delle prestazioni, sul miglioramento dell'esperienza degli sviluppatori e sull'esecuzione di applicazioni IA su larga scala.

È questa competenza che Fireworks AI apporta alla sua piattaforma di produzione IA, curando e ottimizzando i principali modelli aperti del settore. Il benchmarking dell'azienda mostra che i modelli di IA generativa in esecuzione su Fireworks AI offrono velocità di inferenza fino a 4 volte maggiori rispetto alle piattaforme alternative, con throughput e scalabilità fino a 8 volte superiori.

I modelli fanno parte dello stack dell'applicazione. Ma per sbloccare la potenza dell'IA generativa, gli sviluppatori devono anche portare i dati aziendali in quei modelli. Ecco perché Fireworks AI è diventato partner di MongoDB, affrontando una delle sfide più difficili per l'adozione dell'IA. Con MongoDB Atlas, gli sviluppatori possono unificare in sicurezza i dati operativi, i dati non strutturati e gli incorporamenti vettoriali, per creare in modo sicuro applicazioni ed esperienze IA coerenti, corrette e differenziate.

Insieme, Fireworks AI e MongoDB offrono una soluzione per gli sviluppatori che desiderano sfruttare modelli open-source altamente curati e ottimizzati e combinarli con i dati proprietari della propria organizzazione, il tutto con una velocità e una sicurezza senza precedenti.

Modelli velocissimi di Fireworks AI: velocità, efficienza e valore garantiti

Grazie alla sua velocissima piattaforma di inferenza, Fireworks AI cura, ottimizza e distribuisce oltre 40 diversi modelli di IA. Queste ottimizzazioni possono portare contemporaneamente a notevoli risparmi sui costi, a una riduzione della latency e a un miglioramento del throughput. La loro piattaforma fornisce questo tramite:

  • Modelli standard, modelli ottimizzati e componenti aggiuntivi: Fireworks AI fornisce una collection di modelli di testo, incorporamento e base di immagini di alta qualità. Gli sviluppatori possono sfruttare questi modelli o perfezionare e distribuire i propri, abbinandoli ai propri dati proprietari utilizzando MongoDB Atlas.

  • Funzionalità di ottimizzazione: per migliorare ulteriormente la precisione e la velocità del modello, Fireworks AI offre anche un servizio di ottimizzazione utilizzando la sua CLI per acquisire oggetti in formato JSON da database come MongoDB Atlas.

  • Interfacce e API semplici per lo sviluppo e la produzione: il playground Fireworks AI consente agli sviluppatori di interagire con i modelli direttamente in un browser. È anche possibile accedervi a livello di programmazione tramite una comoda REST API. Questo è compatibile con l'API OpenAI e quindi interagisce con l'ecosistema LLM più ampio.

  • Cookbook: un cookbook semplice e facile da usare fornisce un set completo di ricette pronte all'uso che possono essere adattate a vari casi d'uso, tra cui la messa a punto, la generazione e la valutazione.

Fireworks AI e MongoDB: definizione dello standard per l'IA con modelli curati, ottimizzati e veloci

Con Fireworks AI e MongoDB Atlas, le app vengono eseguite in ambienti isolati garantendo tempi di attività e privacy, protetti da sofisticati controlli di sicurezza che soddisfano gli standard normativi più severi:

  • Essendo uno dei principali fornitori di API di modelli open source, Fireworks AI serve 66 miliardi di token al giorno (e oltre).

  • Con Atlas, esegui le tue app su una piattaforma collaudata che serve decine di migliaia di clienti, dalle startup in forte crescita alle più grandi aziende e governi.

Insieme, la soluzione congiunta Fireworks AI e MongoDB consente:

  • RAG o Q&A da un vasto bacino di documenti: ingerisci un gran numero di documenti per produrre sintesi e dati strutturati che possono poi alimentare l'IA conversazionale.

  • Classificazione tramite ricerca semantica/somiglianza: classifica e analizza concetti ed emozioni provenienti da chiamate di vendita, videoconferenze e altro per fornire informazioni e strategie migliori. Oppure, organizza e classifica un catalogo di prodotti utilizzando immagini e testo.

  • Estrazione da immagini a dati strutturati: estrai significato dalle immagini per produrre dati strutturati che possono essere elaborati e ricercati in una vasta gamma di app per la visione: dalle foto stock, alla moda, al rilevamento di oggetti, alla diagnostica medica.

  • Intelligence sugli avvisi: elabora grandi quantità di dati in tempo reale per rilevare e avvisare automaticamente su casi di frode, minacce alla sicurezza informatica e altro ancora.

Figura 1: Il tutorial di Fireworks mostra come trasferire i propri dati su LLM con retrieval-augmented generation (RAG) e MongoDB Atlas

Introduzione a Fireworks AI e MongoDB Atlas

Per aiutarti a iniziare, consulta il tutorial IA "Ottimizzazione RAG con MongoDB Atlas e Fireworks AI", che mostra come creare un'app per consigliare film e prevede:

  • MongoDB Atlas Database che indicizza i film utilizzando gli incorporamenti. (Archivio vettoriale)

  • Un sistema per la generazione di incorporamenti di documenti. Utilizzeremo l'API di incorporamento di Fireworks per creare incorporamenti da dati di testo. (Vettorializzazione)

  • MongoDB Atlas Vector Search risponde alle domande degli utenti convertendo la query in un incorporamento, recuperando i filmati corrispondenti. (Motore di recupero)

  • Il modello Mixtral utilizza l'API di inferenza di Fireworks per generare i consigli. È possibile anche usare anche Llama, Gemma e altri fantastici modelli OSS. (LLM)

  • Caricamento del set di dati Mflix di esempio di MongoDB Atlas per generare incorporamenti (set di dati)

Possiamo anche aiutarti a progettare la migliore architettura per le esigenze della tua organizzazione. Mettiti in contatto con il team del tuo account o contattaci qui per programmare una sessione collaborativa ed esplorare come Fireworks AI e MongoDB possono ottimizzare il tuo processo di sviluppo dell'IA.

← Previous

Fireworks AI e MongoDB: os aplicativos de IA mais rápidos com os melhores modelos, alimentados por seus dados

Temos o prazer de anunciar que o Fireworks AI e o MongoDB estão se unindo para tornar a inovação com IA generativa mais rápida, eficiente e segura. O Fireworks AI foi fundado no final de 2022 por veteranos do setor e integrantes da equipe PyTorch da Meta que se concentraram na otimização do desempenho, na melhoria da experiência do desenvolvedor e na execução de aplicativos de IA em grande escala. É essa experiência que o Fireworks AI traz para sua plataforma de IA de produção, selecionando e otimizando os principais modelos abertos do setor. O benchmarking da empresa mostra que os modelos de IA generativa executados no Fireworks AI operam com velocidades de inferência até 4 vezes mais rápidas do que as plataformas alternativas, com taxa de transferência e escala até 8 vezes maiores. Os modelos são uma parte da pilha de aplicação. No entanto, para que os desenvolvedores possam desbloquear o poder da IA generativa, eles também precisam trazer dados corporativos para esses modelos. É por isso que o Fireworks AI fez uma parceria com o MongoDB, abordando um dos desafios mais difíceis para a adoção da IA. Com o MongoDB Atlas , os desenvolvedores podem unificar com segurança dados operacionais, dados não estruturados e incorporações vetoriais para criar com segurança aplicações e experiências de IA consistentes, corretas e diferenciadas. Juntos, o Fireworks AI e o MongoDB oferecem uma solução para desenvolvedores que desejam aproveitar modelos de código aberto altamente selecionados e otimizados e combiná-los com os dados proprietários da própria organização – e fazer tudo isso com velocidade e segurança incomparáveis. Modelos ultrarrápidos do Fireworks AI: permitindo velocidade, eficiência e valor Com plataforma de inferência ultrarrápida, o Fireworks AI seleciona, otimiza e implanta mais de 40 modelos diferentes de IA. Essas otimizações podem resultar simultaneamente em economia significativa de custos, latência reduzida e taxa de transferência aprimorada. A plataforma oferece isso por meio de: Modelos prontos para uso, modelos otimizados e complementos: o Fireworks AI fornece uma coleção de modelos de base de texto, incorporação e imagem de alta qualidade . Os desenvolvedores podem aproveitar esses modelos ou ajustar e implantar os seus próprios, combinando-os com seus dados proprietários por meio do MongoDB Atlas. Recursos de ajuste fino : para melhorar ainda mais a precisão e a velocidade do modelo, o Fireworks AI também oferece um serviço de ajuste fino usando sua CLI para ingerir objetos formatados em JSON de bancos de dados como o MongoDB Atlas. Interfaces e API simples para desenvolvimento e produção: o playground do Fireworks AI permite que desenvolvedores interajam com modelos diretamente no navegador. Ele também pode ser acessado de forma programática por meio de uma REST API conveniente. Isso é compatível com a API OpenAI e, portanto, interopera com o ecossistema LLM mais amplo. Livro de receitas: um livro de receitas simples e fácil de usar que fornece um conjunto amplo de receitas prontas para uso que podem ser adaptadas para vários casos de uso, incluindo ajuste fino, geração e avaliação. Fireworks AI e MongoDB: definindo o padrão para IA com modelos selecionados, otimizados e rápidos Com o Fireworks AI e o MongoDB Atlas, os aplicativos são executados em ambientes isolados, garantindo tempo de atividade e privacidade, protegidos por controles de segurança sofisticados que atendem aos padrões regulatórios mais rígidos: Como um dos principais fornecedores de API de modelo de código aberto, o Fireworks AI fornece 66 bilhões de tokens por dia (e esse número só cresce). Com o Atlas, você executa seus aplicativos em uma plataforma comprovada que atende a dezenas de milhares de clientes, desde startups de alto crescimento até as maiores empresas e governos. Juntas, a solução conjunta do Fireworks AI e do MongoDB permite: RAG ou perguntas e respostas a partir de um vasto conjunto de documentos: ingerir inúmeros documentos para produzir resumos e dados estruturados que podem alimentar a IA conversacional. Classificação por meio de pesquisa semântica/similaridade: classifique e analise conceitos e emoções de chamadas de vendas, videoconferências e muito mais para garantir inteligência e estratégias melhores. Ou organize e classifique um catálogo de produtos usando imagens e texto do produto. Imagens para extração de dados estruturados: extraia o significado das imagens para produzir dados estruturados que possam ser processados e pesquisados em uma variedade de aplicativos de visão – de fotos de banco de imagens à moda, detecção de objetos e diagnósticos médicos. Inteligência de alerta: processe grandes quantidades de dados em tempo real para detectar e alertar automaticamente sobre casos de fraude, ameaças à segurança cibernética e muito mais. Figura 1: o tutorial do Fireworks mostra como trazer seus próprios dados para LLMs com o RAG e o MongoDB Atlas Introdução ao Fireworks AI e ao MongoDB Atlas Para ajudar você a começar, analise o tutorial Otimizando o RAG com o MongoDB Atlas e o Fireworks AI , que mostra como criar um aplicativo de recomendação de filmes e envolve Banco de dados MongoDB Atlas que indexa filmes usando incorporações. (Vector Store) Um sistema para geração de incorporação de documentos. Usaremos a API de incorporação do Fireworks para criar incorporações a partir de dados de texto. (Vetorização) O MongoDB Atlas Vector Search responde às consultas do usuário convertendo a consulta em uma incorporação, buscando os filmes correspondentes. (Mecanismo de recuperação) O modelo Mixtral usa a API de inferência do Fireworks para gerar as recomendações. Você também pode usar o Llama, o Gemma e outros modelos OSS excelentes, se desejar. (LLM) Carregando o conjunto de dados Mflix de amostra do MongoDB Atlas para gerar incorporações (conjunto de dados) Também podemos ajudar você a projetar a melhor arquitetura de acordo com necessidades da sua organização. Sinta-se à vontade para entrar em contato com a equipe responsável pela sua conta ou entre em contato com a gente por aqui para agendar uma sessão colaborativa e explorar como o Fireworks AI e o MongoDB podem otimizar seu processo de desenvolvimento de IA.

March 26, 2024
Next →

MongoDB Database Observability: Integrating with Monitoring Tools

This post is the final in a three-part series on leveraging database observability. Welcome back to our series on Leveraging Database Observability! Our previous post showcased a real-world use case highlighting how MongoDB Atlas’s observability tools effectively tackle database performance challenges. Whether you’re a developer, DBA, or DevOps engineer, our mission is to empower you to harness the full potential of your data through our observability suite . Integrating Atlas metrics with your central enterprise observability tools can simplify your operations. By seamlessly working with popular observability tools, our approach helps teams streamline workflows and enhance visibility across systems. Integrating MongoDB Atlas with third-party monitoring tools MongoDB’s developer data platform combines all essential data services for building modern applications within a unified experience. Our purpose-built observability tools for Atlas environments offer automatic monitoring and optimization, guiding diagnostics tailored specifically for MongoDB. Additionally, we extend Atlas metrics into your existing enterprise observability stack, enabling seamless integration without replacing your current tools. This creates a consolidated, single-pane view that unifies Atlas telemetry with other tech and application metrics, ensuring comprehensive visibility into both database and full-stack performance. This integration empowers you to monitor, receive alerts, and make data-driven decisions within your existing workflows, driving greater efficiency. Below is a quick guide to modifying integration settings through the Atlas UI and the popular integrations we support: Navigate to the Project Integrations page in Atlas. Choose the organization and project you want to configure from the navigation bar. On the Project Integrations page, select the third-party services you’d like to integrate. Configure the chosen services with the required API keys and regions. Critical integrations for your observability platform With Atlas’s Datadog and Prometheus integrations, you can send critical MongoDB metrics to these platforms, empowering detailed, real-time monitoring. Through Datadog , you can track database operation counts, query efficiency, and resource usage, ideal for pinpointing bottlenecks and managing resources. Similarly, Prometheus enables you to monitor essential metrics like query times, connection rates, and memory usage, supporting flexible tracking of database health and performance. Both integrations facilitate proactive detection of issues, alert configuration for resource thresholds, and a cohesive view of Atlas data when visualized in Grafana. Atlas’s integration with PagerDuty streamlines incident management by sending metrics like performance alerts, billing anomalies, and security events directly to PagerDuty. This integration records incidents automatically, notifies teams upon alerts, and supports two-way syncing, ensuring resolved alerts in Atlas are reflected in PagerDuty. It enables efficient incident response and resource allocation to maintain system stability. With Atlas integrations for Microsoft Teams and Slack, you can route key metrics—such as query latency, disk usage, and throughput—to these channels for timely updates. Teams can use these insights for real-time performance monitoring, incident response, and collaboration. Notifications through these platforms ensure your team stays informed on database performance, storage health, and user activity changes as they occur. Use case: Centralized observability with MongoDB Atlas, Datadog, and Slack Let’s walk through a hypothetical scenario for ShopSmart, an e-commerce company that leverages MongoDB Atlas to manage its product catalog and customer data. As traffic surges, the DevOps team faces challenges in monitoring application performance and database health effectively. To tackle these challenges, the team leverages MongoDB Atlas’ integration with Datadog and Slack, creating a powerful observability ecosystem. Integrating MongoDB Atlas with Datadog: The team pushes key MongoDB Atlas metrics into Datadog, such as query performance, connection counts, and Atlas Vector Search metrics. With Datadog, they can visualize these metrics and correlate overall MongoDB performance with their other applications. Out-of-the-box monitors and dedicated dashboards allow the team to track metrics like throughput, average read/write latency, and current connections. This visibility helps pinpoint bottlenecks in real time, ensuring optimal database performance and improving overall application responsiveness. Setting up alerts in Datadog: The team configures alerts for critical metrics like high query latency and increased error rates. When thresholds are breached, Datadog instantly notifies the team. This proactive approach allows the team to address potential performance issues before they impact customers. Integrating Datadog with Slack: To ensure fast communication, alerts are sent directly to the dedicated Slack channel, “ShopSmart-Alerts.” This integration fosters seamless collaboration, enabling the team to discuss and resolve issues in real-time. With these integrations, ShopSmart’s engineering team can monitor performance quickly and address issues efficiently. The unified observability approach enhances operational efficiency, improves the customer experience, and supports ShopSmart’s competitive edge in the e-commerce industry. By leveraging MongoDB Atlas, Datadog, and Slack, the team ensures scalable performance and drives continuous innovation. Conclusion MongoDB Atlas empowers developers and organizations to achieve unparalleled observability and control over their database environments. By seamlessly integrating with central enterprise observability tools, Atlas enhances your ability to monitor performance metrics and ensures you can do so within your existing workflows. This means you can focus on building modern applications confidently, knowing you have the insights and alerts necessary to maintain optimal performance. Embrace the power of MongoDB Atlas and transform your approach to database management—because your applications can thrive when your data is observable. And that wraps up our Leveraging Database Observability series! We hope you learned something new and found value in these discussions. Sign up for MongoDB Atlas , our cloud database service, to see database observability in action. To dive deeper and expand your knowledge, check out this learning byte for more insights on the MongoDB observability suite and how it can enhance your database performance.

November 14, 2024