Amazon Web Services Amazon Web Services cole Visual ETL para seus dados no MongoDB Atlas
Venkatesh Shanbhag, Igor Alekseev, Anuj Panchal3 min read • Published Nov 22, 2024 • Updated Nov 22, 2024
.png&w=3840&q=75)
Avalie esse Tutorial
Amazon Web Services Amazon Web Services Glue é um serviço de integração de dados sem servidor. Ele simplifica o processamento de dados para os clientes. A migração de dados entre o MongoDB Atlas e o Amazon Web Services Amazon Web Services torna-se eficiente com Amazon Web Services os recursos visuais de ETL (Extrair, Transformar e Carregar) do Amazon Web Services Glue. A interface visual e os recursos integrados permitem a extração e inserção de dados de e para collections do MongoDB Atlas , com transformações opcionais, antes de carregá-las no local de destino. Essa abordagem sem servidor e escalável garante a movimentação de dados econômicas, mantendo a segurança por meio de funções do IAM. Nesta publicação, apresentaremos Go uma abordagem visual para utilizar o MongoDB Atlas e o Amazon Web Services Amazon Web Services Glue para criar pipelines entre as duas plataformas.
Para acompanhar esta publicação e testar Amazon Web Services os recursos do Amazon Web Services Glue com o MongoDB Atlas, precisamos de uma Amazon Web Services conta no Amazon Web Services e de uma assinatura do MongoDB Atlas. Você pode se inscrever no MongoDB Atlas no Amazon Web Services marketplace do Amazon Web Services.
A publicação descreve um processo para transferir dados entre o MongoDB Atlas e o Amazon Web Services Amazon Web Services Spark SQL Amazon Web Services S usando os recursos visuais de ETL do Amazon Web Services3 Amazon Web Services Glue. Esses recursos permitem que os desenvolvedores criem pipelines ETL sem o conhecimento do Spark ou do SQL, aproveitando o Amazon Web Services Glue Studio. Esta publicação destaca os benefícios de usar o Amazon Web Services Amazon Web Services Glue para transformação de dados e integração com outros serviços do Amazon Web Amazon Web Services Services. O Amazon Web ServicesAmazon Web Services S,3sendo um armazenamento de objeto altamente escalável, durável e econômico, pode ser usado como data lakes, uma solução de armazenamento de dados, aprendizado de máquina, streaming de mídia, backup e recuperação e hospedagem na web.
- Configure um cluster MongoDB Amazon Web Services noAmazon Web Services. Para obter instruções, consulte Como configurar um cluster MongoDB .
- Configure o PrivateLink seguindo as etapas descritas em Conectar aplicativos com segurança a um plano de dados do MongoDB Atlas com o AWS AWS PrivateLink PrivateLink. Com AWS PrivateLink o AWS PrivateLink, simplificaremos nossa arquitetura de rede e garantiremos que o tráfego permaneça na rede da Amazon Web Services.Amazon Web Services
- Para obter a string de conexão do cluster do MongoDB a partir da UI do Connect no console do MongoDB Atlas , navegue até a tela inicial do Atlas e clique em Connect para o cluster da Amazon Web Services ao qual deseja se conectar. Selecione o endpoint privado e o método de conexão.
- Copie a string de conexão SRV. Usamos essa string de conexão SRV nas etapas subsequentes.
A captura de tela abaixo mostra que carregamos uma collection de amostras (neste caso, amostras de dados meteorológicos) no MongoDB Atlas, à qual nos conectaremos nas próximas etapas. Observação: os registros nesta coleção incluem várias matrizes, bem como dados aninhados.
Antes de configurarmos o Amazon Web Services rastreador do Amazon Web Services Glue, precisamos criar a conexão do MongoDB Atlas no Amazon Web Services Amazon Web Services Glue.
- No console do Amazon Web Services Glue Studio, escolha Conectores no painel de navegação.
- Escolha Criar conexão.
- Ao preencher os detalhes da conexão, use a string de conexão SRV que obtivemos anteriormente no MongoDB Atlas.
- Na seção Opções de rede, adicione a VPC e a sub-rede. Importante: a VPC e a sub-rede devem corresponder às configurações do PrivateLink que você configurou anteriormente.
Depois que a conexão for configurada, navegue até o link | Trabalhos ETL | Visual ETL para criar o tarefa ETL .
Para abrir o editor visual do Glue, clique em Visual ETL ou Criar e editar tarefas ETL e, em seguida, clique em Visual ETL na próxima tela.
Se você salvou trabalhos, também poderá acessá-los a partir do Amazon Web Services Studio Amazon Web Services Glue.
Clique em (+) na tela inicial do editor visual do Glue para adicionar nós. Procure MongoDB e selecione MongoDB como fonte para ler a partir da conexão criada anteriormente.
Selecione a conexão MongoDB e forneça o nome do banco de dados de dados e da coleção. Salvar o pipeline.
Clique em (+) para adicionar mais um nó e procurar S.3 Selecione Amazon S3 como Destino. Selecione MongoDB como nó principal.
Selecione o formato de dados para o arquivo de dados de destino . Selecione o3 bucket S onde deseja escrever os dados e clique em Salvar.
Execute a tarefa clicando no botão no canto superior direito.
A tarefa levará alguns minutos para ser concluída. Você pode monitorar sua tarefa na aba Executações, conforme mostrado abaixo.
Você pode verificar seus dados gravados no S3 navegando até o bucket S3.
Assista a este vídeo para ver as etapas em ação
Amazon Web Services O Amazon Web Services Glue Visual ETL simplifica a criação e o gerenciamento de transformações de dados, permitindo que os desenvolvedores criem pipelines ETL sem o conhecimento especializado de ferramentas de engenharia de dados. Ela oferece conectores para vários Amazon Web Servicesprodutos e serviços nativos de terceiros e do Amazon Web Services. Isso permite que você enriqueça dados de várias fontes para análise em armazenamento de dados, enquanto cria pipelines eficientes sem esforço com o Glue Visual ETL. Para transformações avançadas de dados envolvendo o MongoDB Atlas, consulte a Amazon Web Services documentação do Amazon Web Services Glue.
Principais comentários nos fóruns
Ainda não há comentários sobre este artigo.