Análise analítica quase em tempo real alimentada por espelhamento no Microsoft Fabric para o MongoDB Atlas
Avalie esse anúncio
O MongoDB tem o privilégio de apresentar uma solução de espelhamento para nossos clientes que desejam levar dados operacionais do MongoDB Atlas Microsoft para o Microsoft Fabric para análise de big data, IA e BIAI BI, combinando-os com o restante do estado de dados de a empresa. O espelhamento no Fabric oferece uma maneira exclusiva de trazer dados de armazenamentos de dados operacionais para a camada de dados uniforme do OneLake no Fabric. O espelhamento aberto foi projetado para permitir que os ISVs de dados o estendam, pois é baseado em um formato de tabela aberto do Delta Lake. Além disso, o Database Mirroring fornece APIs públicas para os ISVs de dados integrarem com a abordagem de espelhamento aberto. Depois que o espelhamento é ativado para uma collection do MongoDB Atlas , a tabela correspondente no OneLake é mantida em sincronia com as alterações na collection de origem do MongoDB Atlas , liberando oportunidades de análises diversas e IA e BI quase AI BI em tempo real. Para saber mais sobre os recursos de espelhamento aberto, visite Apresentando o espelhamento aberto no Microsoft Microsoft Fabric .
Atualmente, existem várias maneiras de levar os dados do MongoDB Atlas para o OneLake no Microsoft MicrosoftFabric. Os pipelines de dados e o Dataflow Gen2 são mecanismos fáceis para trazer dados do MongoDB Atlas para o OneLake em lotes ou microlotes. O conector Data Pipeline para MongoDB Atlas oferece uma experiência fácil por meio do assistente de cópia de dados, que permite aos usuários escolher o MongoDB Atlas como origem e o OneLake como destino para enviar os dados operacionais para o OneLake. Ele também suporta o MongoDB Atlas como um destino para inserir as análises e dados enriquecidos de volta ao MongoDB Atlas para persistência. O Dataflow Gen2 é um conector baseado em Atlas SQL e permite que você extraia dados do MongoDB Atlas para o OneLake, faça transformações como filtragem e nivelamento de dados e execute power queries para criar BI visualizações ricas do Power BI. Além disso,o conector Spark Connector Spark do MongoDB pode ser usado para criar Spark Notebooks Fabric Spark que pull/push dados do MongoDB Atlas em lote e modo de streaming também. A atividade de cópia de pipeline de dados, o Gerador de Fluxo de Dados2 e os Spark blocos de anotações Spark podem ser orquestrados pelo Data Pipeline para criar fluxos de trabalho empresariais com o MongoDB como uma origem e um destino principais.
Os clientes em comum obterão valor com o espelhamento, o que os habilitará com análises baseadas em Spark, recursos de armazenamento AIbaseados em SQL, projeções de IA/ML baseadas em SynapseML e inteligência em tempo real baseada em KQL sobre as atuais e atualizadas dados no MongoDB Atlas.
Os eventos de inserção, atualização e exclusão que ocorrem na coleção de origem do MongoDB Atlas serão espelhados para a tabela de destino do OneLake quase em tempo real. A conversão do formato para Parquet, as conversões de tipo de dados e o manuseio de alterações de esquema são todas tratadas pelo espelhamento. O espelhamento gera um endpoint de analítica SQL para habilitar a analítica SQL usando T-SQL nas tabelas de dados espelhadas de forma somente leitura. Ele também gera um modelo semântica padrão para criar relatórios e painéis do Microsoft Power BI a partir das tabelas espelhadas do OneLake.
O diagrama a seguir representa a arquitetura de integração de espelhamento.
Nossa implementação de espelhamento utiliza a plataforma de extensibilidade aberta de espelhamento no Fabric e tem como objetivo beneficiar os clientes que procuram obter essa funcionalidade desde que ela foi pré-anunciada no Microsoft Icnite, dois anos atrás. A plataforma de extensibilidade aberta de espelhamento, anunciada na Icnite este ano, fornece um conjunto de APIs a serem usadas para criar um MirrorDB. Depois que uma zona de destino for criada dentro do MirrorDB no OneLake, todos os arquivos Parquet enviados para a zona de destino serão replicados nas tabelas MirrorDB correspondentes.
A Microsoft publicou um conjunto de APIs e formatos para qualquer desenvolvedor, parceiro, cliente ou ISV de terceiros para enviar dados de alteração para a zona de destino.
A solução requer uma execução única de um script Python simples que invoca as APIs de espelhamento do Microsoft Fabric da plataforma de extensibilidade aberta de espelhamento para criar o MirrorDB para MongoDB Atlas.
Depois de criar a zona de destino do MirrorDB, clique no botão Distribuir no Azure Azure, disponível na parte inferior do Github repositório do Github fornecido, conforme mostrado abaixo.
Ele o levará a uma tela de configuração do modelo ARM em seu locatário Azure do Azure. Depois que os detalhes necessários forem inseridos e o botãoCriar for selecionado,ele criará um serviço de aplicativo, distribuirá Python o aplicativo Python e iniciará o aplicação de espelhamento. O aplicação de espelhamento acionará a trigger sincronização inicial para a ingestão única de dados históricos no OneLake e noListening, que continua replicando as alterações nas coleções de origem do MongoDB Atlas para as tabelas de destino no MirrorDB.
A solução também pode ser implantada em uma VM em seu locatário do Azure ou em qualquer servidor peer de Realm. Se implantado em uma VM, o Azure Vnet da VM pode ser emparelhado ou vinculado privado ao MongoDB Atlas para comunicação segura.
O diagrama a seguir representa como o serviço de aplicativo baseado no script Python ativa o espelhamento.
O espelhamento beneficiará vários setores e seus casos de uso que exigem análises quase em tempo real. O banco de banco de dados MongoDB espelhado no OneLake vem com um endpoint de análise SQL que simplifica a experiência de armazenamento de dados usando o T-SQL ou o editor de query visual. Isso pode ser usado para combinar dados de outros lakehosts e armazéns no Fabric para uma análise global da propriedade de dados da empresa. O modelo semântica pode ajudar a criar relatórios e painéis usando o Power BI e os dados espelhados. Esses relatórios e resultados podem ajudar a tomar ações responsivas quase em tempo real, especialmente em setores altamente regulamentados.
Os dados espelhados podem ser usados em análises baseadas em ML quase em tempo real, como pontuação de crédito, detecção de fraudes no setor de serviços financeiros, para preços dinâmicos, gerenciamento de estoque no setor de Varejo ou para manutenção preditiva no setor de Manufatura.
O espelhamento do MongoDB Atlas permitirá que você mova seus dados das coleções do MongoDB Atlas para o OneLake sem qualquer configuração complexa ou processo de ETL envolvido. Essa sincronização de dados quase em tempo real no formato Delta permite que os dados espelhados sejam utilizados pela variedade de ferramentas do Fabric para obter insights precisos e significativos.
Comece a usar o espelhamento para seus dados do MongoDB Atlas .
Principais comentários nos fóruns
Ainda não há comentários sobre este artigo.