Atlas Query Federation SQL para formar poderosas interações de dados
Pavel Duchovny3 min read • Published Jun 20, 2022 • Updated Aug 13, 2024
Avalie esse Artigo
As plataformas modernas têm uma grande variedade de fontes de dados. À medida que as empresas crescem, elas precisam evoluir constantemente seu gerenciamento de dados e ter ferramentas sofisticadas, escalonáveis e convenientes para analisar dados de todas as fontes para produzir insights de negócios.
O MongoDB desenvolveu uma linguagem de query rica e poderosa, incluindo uma framework de aggregation muito robusta .
Isso foi feito principalmente para otimizar a maneira como os desenvolvedores trabalham com os dados e fornecer excelentes ferramentas para manipular e consultar documentos do MongoDB.
Dito isto, muitos desenvolvedores, analistas e ferramentas ainda preferem a linguagem SQL legada para interagir com as fontes de dados. O SQL tem uma base sólida em torno da união de dados, pois esse era um conceito central do modelo de normalização do relational database legados.
Isso faz com que o SQL tenha uma sintaxe conveniente quando se trata de descrever junções.
Oferecer aos usuários do MongoDB a capacidade de aproveitar o SQL para analisar documentos de várias fontes e, ao mesmo tempo, ter um esquema e um armazenamento de dados flexíveis é uma solução atraente para empresas.
Considere um requisito para criar uma única exibição para analisar dados de sistemas operacionais diferentes. Por exemplo:
- Os dados do cliente são gerenciados nos sistemas de administração de usuários (REST API).
- Os dados financeiros são gerenciados em um cluster financeiro (cluster Atlas).
- As transações de ponta a ponta são armazenadas em arquivos em armazenamento frio coletado de vários fornecedores externos (armazenamento de objetos na nuvem - Amazon S3 ou armazenamento do Microsoft Azure Blob Storage).
Como podemos combinar e juntar melhor esses dados?
O MongoDB Atlas Query Federation conecta múltiplas fontes de dados utilizando os diferentes tipos de armazenamento de dados. Depois que as fontes de dados forem mapeadas, podemos criar coleções consumindo esses dados. Essas coleções podem ter esquema SQL gerado, permitindo-nos realizar junções sofisticadas e fazer queries JDBC a partir de várias ferramentas de BI.
Na visualização a seguir, criei três principais armazenamentos de dados:
- Armazenamento de transações S3 (dados de amostra S3 ).
- Contas dos meus clusters do Atlas (dados de amostra sample_analytics.accounts).
- Dados do cliente de uma fonte https segura.
Mapeei as lojas em três collection no banco de dados
FinTech:TransactionsAccountsCustomerDL
Agora, posso vê-los por meio de uma conexão do Query Federation como coleções do MongoDB.
Vamos pegar nossa string de conexão da instância do Query Federation na IU do Atlas.
Essa connection string pode ser usada com nossas ferramentas de BI ou aplicativos de clientes para executar queries SQL.
Depois de nos conectarmos à instância da Federação de Consultas por meio de um shell mongosh, podemos gerar um esquema SQL para nossas coleções. Isso é opcional para que os operadores JDBC ou $sql reconheçam coleções como SQL “tables”, pois essa etapa é feita automaticamente para coleções recém-criadas, no entanto, é sempre bom estar familiarizado com os comandos disponíveis.
1 use admin; 2 db.runCommand({sqlGenerateSchema: 1, sampleNamespaces: ["FinTech.customersDL"], sampleSize: 1000, setSchemas: true}) 3 { 4 ok: 1, 5 schemas: [ { databaseName: 'FinTech', namespaces: [Array] } ] 6 } 7 db.runCommand({sqlGenerateSchema: 1, sampleNamespaces: ["FinTech.accounts"], sampleSize: 1000, setSchemas: true}) 8 { 9 ok: 1, 10 schemas: [ { databaseName: 'FinTech', namespaces: [Array] } ] 11 } 12 db.runCommand({sqlGenerateSchema: 1, sampleNamespaces: ["FinTech.transactions"], sampleSize: 1000, setSchemas: true}) 13 { 14 ok: 1, 15 schemas: [ { databaseName: 'FinTech', namespaces: [Array] } ] 16 }
1 use FinTech; 2 db.aggregate([{ 3 $sql: { 4 statement: "SELECT a.* , t.transaction_count FROM accounts a, transactions t where a.account_id = t.account_id SORT BY t.transaction_count DESC limit 2", 5 format: "jdbc", 6 formatVersion: 2, 7 dialect: "mysql", 8 } 9 }]) 10 11 // Equivalent command 12 db.sql("SELECT a.* , t.transaction_count FROM accounts a, transactions t where a.account_id = t.account_id SORT BY t.transaction_count DESC limit 2");
A consulta acima solicitará informações da conta e as contagens de transações de cada conta.
Você tem 2 opções principais para conectar, via connector "MongoDB Atlas" ou via connector JDBC geral. Siga as instruções e pré-requisitos relevantes nesta páginade documentação.
Pesquise e clique no connector "MongoDB Atlas by MongoDB " e forneça as informações que apontam para o nosso URI da Federação de Query. Veja o seguinte exemplo:
Definindo arquivo
connection.properties.1 user=root 2 password=******* 3 authSource=admin 4 database=FinTech 5 ssl=true 6 compressors=zlib
Clique no connector "Other Databases (JDBC)", copie o formato de conexão JDBC e carregue o arquivo
connection.properties.
Quando os dados forem lidos com êxito, as coleções aparecerão no lado direito.
Podemos arrastar e soltar collection de diferentes fontes e vinculá-las.
No meu caso, conectei
Transactions => Accounts com base no campo Account Id, e contas e usuários com base no campo Account Id a Accounts.
Nessa exibição, veremos uma tabela unificada para todas as contas com nomes de usuário e suas transações no trimestre inicial.
O MongoDB tem todas as ferramentas para ler, transformar e analisar seus documentos para quase todos os casos de uso.
Estejam seus dados em um cluster operacional do Atlas, em um serviço ou em armazenamento frio, como o armazenamento de objetos na cloud, o Atlas Query Federation fornecerá a capacidade de unir os dados em tempo real. Com a opção de usar a sintaxe SQL de junção avançada e ferramentas de BI baseadas em SQL, como o Tableau, você pode obter valor dos dados rapidamente.
Experimente o Atlas Query Federation com suas ferramentas de BI e SQL hoje mesmo.