Desbloqueie o valor dos dados no MongoDB Atlas com a análise inteligente do Microsoft Fabric
Avalie esse anúncio
Para vencer nesta economia digital competitiva, as empresas estão se esforçando para criar aplicativos inteligentes mais inteligentes. Esses aplicativos fornecem uma experiência superior ao cliente e podem obter insights e previsões em tempo real.
Aplicativos mais inteligentes usam dados – na verdade, muitos dados, AI e análises juntos. MongoDB Atlas armazena dados operacionais valiosos e tem recursos para oferecer suporte a análises operacionais e aplicativos baseados em AI. Este blog detalha a integração perfeita do MongoDB Atlas com Microsoft Fabric para executar AI/ML em grande escala e análises diversas e relatórios de BI em todo o conjunto de dados corporativos, remodelando como as equipes trabalham com dados ao reunir todos em uma única plataforma alimentada por AI criada para a era da AI. Os clientes podem aproveitar o MongoDB Atlas com o Microsoft Fabric como base para criar aplicativos inteligentes e inteligentes.
O MongoDB foi apresentado como um parceiro importante no Microsoft Ignite, destacando a colaboração para construir integrações perfeitas e soluções conjuntas que complementam recursos para atender a diversos casos de uso.
Durante o primeiro Keynote na Icnite, Satya Nadilla, membro do Conselho e Gerente Geral da Microsoft, anuncia que o Microsoft Fabric está agora disponível para compra. A Satya abordou o plano estratégico para habilitar o espelhamento do MongoDB Atlas no Microsoft Fabric para permitir que nossos clientes usem o espelhamento para acessar seus dados no OneLake.
Modelo de dados flexível do MongoDB Atlas, mecanismo de query versátil, integração com LLM e Vector Searchincorporado, nós analíticos, estrutura de agregação, Data Lake, Atlas Data Federation, Charts, etc. permite análise operacional e inteligência orientada por aplicativos a partir da fonte dos próprios dados. No entanto, as necessidades de análise e AI de uma empresa se estendem por seu estado de dados e exigem que elas combinem várias fontes de dados e executem vários tipos de análise, como big data, Spark, SQL ou análises baseadas em KQL em grande escala. Eles traz dados de fontes como o MongoDB Atlas para um formato uniforme no OneLake no Microsoft para permitir que eles executem análises em lote do Spark e AI de escala de petabytes e usem capacidades de armazenamento de dados, análises de big data e análises em tempo real em todo o delta tabelas preenchidas de fontes diferentes.
Vamos discutir os mecanismos de integração entre o MongoDB Atlas e o Microsoft Fabric para cenários em lote e em tempo real.
O MongoDB Atlas serve como a camada de dados operacional (ODL) de muitos aplicativos empresariais. O Atlas, como um ODL, armazena dados de aplicativos internos, serviços voltados ao cliente e APIs de terceiros de vários canais. Ao usar os pipelines do Microsoft Fabric, você pode combinar dados do MongoDB Atlas com dados relacionais de outros aplicativos tradicionais e dados não estruturados de fontes como registro, cliques, etc.
Há várias opções para trazer dados do MongoDB Atlas para o Microsoft Fabric no modo de lote uma vez ou trazê-los em microlotes que são executados em uma frequência especificada. Nesta seção, discutiremos as abordagens prontas para uso (OOTB) que podem ser aplicadas para buscar dados do MongoDB para o Microsoft Fabric no modo batch.
O MongoDB Atlas SQL connector é um connector certificado pela Microsoft que pode ser acessado a partir do recurso "Dataflow Gen2 " de "Data Factory " no Microsoft Fabric.
A seleção do Dataflow Ger2 nos leva à interface familiar do Power Query do Microsoft Power BI. Para trazer dados da collection do MongoDB Atlas, pesquise o connector MongoDB Atlas SQL a partir da opção "Get Data " no menu.
Fornecendo o URI de conexão e os detalhes de autenticação, podemos configurar uma conexão com o MongoDB Atlas. Observe que a connection string não é a de uma conexão normal, mas a do Atlas SQL ou de um banco de dados federado. Saiba mais sobre como se conectar usando o Atlas SQL ou configurar um banco de dados federado do Atlas e obter uma connection string para o mesmo. Além disso, observe que o connector precisa de um Gateway configurado para se comunicar a partir do Fabric e agendar atualizações. Obtenha mais detalhes sobre a configuração do Gateway.
Depois que os dados são recuperados do MongoDB Atlas para o Power Query, a energia do Power Query pode ser usada para transformar os dados, incluindo o nivelamento de dados de objetos em colunas separadas, o desenrolamento de dados de array em linhas separadas ou a alteração de tipos de dados. Eles normalmente são necessários ao converter dados do MongoDB no formato JSON para o formato relacional no Power BI. Além disso, a opção de query em branco pode ser usada para uma execução rápida da query. Abaixo está uma query de exemplo para começar:
O anúncio no Microsoft IGNITE do connector de pipeline de dados que está sendo lançado para o MongoDB Atlas no Microsoft Fabric é sem dúvidas uma boa noticia para os consumidores do MongoDB. O connector fornece uma experiência rápida e semelhante ao connector MongoDB na Data Factory e no Synapse Pipelines.
O connector é acessado a partir do recurso "Data Pipelines " de "Data Factory " no Fabric. Escolha a atividade "Copy data " para usar o connector do MongoDB para obter dados do MongoDB ou enviar dados para o MongoDB. Para obter dados do MongoDB, adicione MongoDB em Origem. Selecione o connector MongoDB e crie um serviço vinculado fornecendo a connection string e o bancode dados para se conectar no MongoDB Atlas.
Podemos executar o pipeline configurando o Lakeuse no Microsoft Fabric como o coletor para receber os dados do MongoDB Atlas.
Assim, o connector fornece um mecanismo fácil para copiar dados entre o MongoDB Atlas e o Microsoft Fabric. Semelhante ao connector MongoDB no Microsoft Azure Data Factory, ele está disponível para instâncias MongoDB locais e auto-hospedadas e MongoDB Atlas. Como esta é a primeira versão do connector, ele tem algumas limitações quando comparado ao MongoDB connector no Azure Data Factory ou no Synapse Pipelines.
Conforme mencionado anteriormente, Satya Nadilla, CEO da Microsoft, anuncia o plano estratégico para habilitar o espelhamento do MongoDB Atlas no Microsoft Fabric. Isso fornecerá a abordagem mais fácil e rápida para replicar os dados do MongoDB Atlas para o OneLake no Microsoft Fabric. No entanto, isso fornecerá o menor número de opções para fazer transformações de dados ao replicar os dados. Espera-se que a disponibilidade desse recurso chegue em CY24.
A obtenção de dados usando o mecanismo PULL do modo em lote atende a vários casos de uso, inclusive os quase em tempo real. No entanto, em determinados casos, podemos precisar de um mecanismo de sincronização em tempo real, que replicará as alterações de dados do MongoDB Atlas para o Microsoft Fabric em tempo real. Deve ser um método Change Data Capture, um mecanismo PUSH do MongoDB Atlas para o Microsoft Fabric. Nesta seção, detalharemos duas dessas abordagens personalizadas que podem ser aproveitadas para esses casos de uso de sincronização em tempo real baseados em CDC.
A sincronização em tempo real do MongoDB Atlas para o Microsoft Fabric pode ser obtida usando Atlas Triggers para capturar os eventos de alteração em uma collection do MongoDB e usando uma Atlas Function para acionar uma função do Azure. A função do Azure pode gravar diretamente na Lake Home no Microsoft Fabric ou no armazenamento do ADLS Gen2 usando APIs do ADLS Gen2 . As contas de armazenamento do ADLS Gen2 podem ser referenciadas no Microsoft Fabric usando atalhos, eliminando a necessidade de um processo ETL para mover dados do ADLS Gen2 para o OneLake. Os dados no Microsoft Fabric podem ser acessados usando as APIs ADLS Gen2 existentes, mas há algumas alterações e restrições que podem ser mencionadas na documentação do Microsoft Fabric.
Spark Connector do MongoDB v10.O 1 fornece recursos de transmissão que permitem a transmissão estruturada de alterações do MongoDB ou para o MongoDB nos modos contínuo e de micro-lote. Usando o connector, precisamos apenas de um código simples que leia um fluxo de alterações da coleção do MongoDB e grave o fluxo no Lakeuse no Microsoft Fabric ou no armazenamento ADLS Gen2 , que pode ser referenciado no Microsoft Fabric usando atalhos.Consulte adocumentaçãodo MongoDB para configurar o MongoDB Atlas como uma fonte para streaming estruturado. Consulte a documentação do Microsoft Fabric sobre como configurar o Lakehead como Sink para streaming estruturado.
Assista a uma demonstração completa da integração do MongoDB Atlas com o Microsoft Fabric:
AI está pronta para remodelar os negócios e fornecer soluções inovadoras em todos os setores. Aplicativos inteligentes podem ser criados com a solução de banco de dados certa combinada com a solução certa de análise e AI. Esses aplicativos podem prosperar, oferecendo experiências de usuário precisas, sensíveis ao contexto, dinâmicas e orientadas por dados que atendem às crescentes demandas do cenário digital acelerado de hoje. Os dados do MongoDB Atlas e sua análise operacional, quando combinados com todo o estado de dados corporativos no Microsoft Fabric para executar várias análises e relatórios em grande escala, são uma combinação poderosa para criar esses aplicativos inteligentes.