Integração do Atlas Data Lake SQL para formar interações de dados poderosas
Avalie esse Artigo
A partir de 2022 de junho , a funcionalidade anteriormente conhecida como Atlas Data Lake agora é chamada de Atlas Data Federation. A funcionalidade do Atlas Data Federation permanece inalterada e você pode saber mais sobre ele aqui. O Atlas Data Lake permanecerá na Atlas Platform, com funcionalidades recém-introduzidos que você pode aprender aqui.
As plataformas modernas têm uma grande variedade de fontes de dados. À medida que as empresas crescem, elas precisam evoluir constantemente seu gerenciamento de dados e ter ferramentas sofisticadas, escalonáveis e convenientes para analisar dados de todas as fontes para produzir insights de negócios.
O MongoDB desenvolveu uma linguagem de query rica e poderosa , incluindo uma estrutura de agregação muito robusta .
Isso foi feito principalmente para otimizar a maneira como os desenvolvedores trabalham com os dados e fornecer excelentes ferramentas para manipular e consultar documentos do MongoDB.
Dito isto, muitos desenvolvedores, analistas e ferramentas ainda preferem a linguagem SQL legada para interagir com as fontes de dados. O SQL tem uma base sólida em torno da união de dados, pois esse era um conceito central do modelo de normalização do relational database legados.
Isso faz com que o SQL tenha uma sintaxe conveniente quando se trata de descrever junções.
Oferecer aos usuários do MongoDB a capacidade de aproveitar o SQL para analisar documentos de várias fontes e, ao mesmo tempo, ter um esquema e um armazenamento de dados flexíveis é uma solução atraente para empresas.
Considere um requisito para criar uma única exibição para analisar dados de sistemas operacionais diferentes. Por exemplo:
- Os dados do cliente são gerenciados nos sistemas de administração de usuários (REST API).
- Os dados financeiros são gerenciados em um cluster financeiro (cluster Atlas).
- As transações de ponta a ponta são armazenadas em arquivos em armazenamento frio coletados de vários provedores externos (armazenamento de objetos na nuvem - Amazon S3 ou Microsoft Azure Blob Storage).
Como podemos combinar e juntar melhor esses dados?
O MongoDB Atlas Data Lake conecta múltiplas fontes de dados usando os diferentes tipos de fonte. Depois que as fontes de dados forem mapeadas, podemos criar coleções consumindo esses dados. Essas coleções podem ter esquema SQL gerado, permitindo-nos realizar junções sofisticadas e fazer queries JDBC a partir de várias ferramentas de BI.
Na visualização a seguir, criei três fontes de dados principais:
- Armazenamento de transações S3 (dados de amostra S3 ).
- Contas dos meus clusters do Atlas (dados de amostra sample_analytics.accounts).
- Dados do cliente de uma fonte https segura.
Mapeei as lojas em três collection no banco de dados
FinTech:TransactionsAccountsCustomerDL
Agora, posso visualizá-los por meio de uma conexão de data lake como collections do MongoDB.
Vamos pegar nossa string de conexão do data lake na IU do Atlas.
Essa connection string pode ser usada com nossas ferramentas de BI ou aplicativos de clientes para executar queries SQL.
Depois de nos conectarmos ao data lake por meio de uma shell mongosh, podemos gerar um esquema SQL para nossas coleções. Isso é necessário para que os operadores JDBC ou $sql reconheçam coleções como SQL "tables."
A consulta acima solicitará informações da conta e as contagens de transações de cada conta.
Vamos conectar uma ferramenta de BI poderosa como o Tableau com o driver JDBC.
Definindo arquivo
connection.properties.Clique no connector "Other Databases (JDBC) " e carregue o arquivo connection.properties apontando para nosso URI do Data Lake.
Quando os dados forem lidos com êxito, as coleções aparecerão no lado direito.
Podemos arrastar e soltar collection de diferentes fontes e vinculá-las.
No meu caso, conectei
Transactions => Accounts com base no campo Account Id, e contas e usuários com base no campo Account Id a Accounts.
Nessa exibição, veremos uma tabela unificada para todas as contas com nomes de usuário e suas transações no trimestre inicial.
O MongoDB tem todas as ferramentas para ler, transformar e analisar seus documentos para quase todos os casos de uso.
Quer seus dados estejam em um cluster operacional do Atlas, em um serviço ou em armazenamento frio, como armazenamento de objetos em nuvem, o Atlas Data Lake fornecerá a capacidade de unir os dados em tempo real. Com a opção de usar a poderosa sintaxe SQL de junção e ferramentas de BI baseadas em SQL, como o Tableau, você pode obter valor dos dados rapidamente.
Experimente o Atlas Data Lake com suas ferramentas de BI e SQL hoje mesmo.