Importar arquivo do S3
Nesta página
Observação
Esta funcionalidade não está disponível para M0
clusters gratuitos e clusters flexíveis. Para saber mais sobre quais funcionalidades não estão disponíveis, consulte Limites do Atlas M0 (cluster gratuito), M2 e M.5
Você pode restaurar os dados arquivados em blocos S3 usando mongoimport
e mongorestore
. Esta página tem um procedimento de amostra para importar dados arquivados e reconstruir índices usando o Amazon Web Services CLI e as ferramentas deMongoDB database .
Pré-requisitos
Antes de começar, você deve:
Instalar o o Amazon Web Services CLI
Configure a AWS CLI
Instalar as ferramentas mongoimport e mongorestore
Procedimento
Copie os dados no contêiner S para uma pasta usando a Amazon Web Services Amazon Web Services CLI3 CLI e extraia os dados.
aws s3 cp s3://<bucketName>/<prefix> <downloadFolder> --recursive gunzip -r <downloadFolder>
onde:
| Nome do bucket AWS S3 . | |
| Caminho para dados arquivados no bucket. O caminho tem o seguinte formato:
| |
| Caminho para a pasta local onde você deseja copiar os dados arquivados. |
Por exemplo, execute um comando semelhante ao seguinte:
Exemplo
aws s3 cp s3://export-test-bucket/exported_snapshots/1ab2cdef3a5e5a6c3bd12de4/12ab3456c7d89d786feba4e7/myCluster/2021-04-24T0013/1619224539 mybucket --recursive gunzip -r mybucket
Copie e armazene o seguinte script em um arquivo denominado massimport.sh
.
!/bin/bash regex='/(.+)/(.+)/.+' dir=${1%/} connstr=$2 iterate through the subdirectories of the downloaded and extracted snapshot export and restore the docs with mongoimport find $dir -type f -not -path '*/\.*' -not -path '*metadata\.json' | while read line ; do [[ $line =~ $regex ]] db_name=${BASH_REMATCH[1]} col_name=${BASH_REMATCH[2]} mongoimport --uri "$connstr" --mode=upsert -d $db_name -c $col_name --file $line --type json done create the required directory structure and copy/rename files as needed for mongorestore to rebuild indexes on the collections from exported snapshot metadata files and feed them to mongorestore find $dir -type f -name '*metadata\.json' | while read line ; do [[ $line =~ $regex ]] db_name=${BASH_REMATCH[1]} col_name=${BASH_REMATCH[2]} mkdir -p ${dir}/metadata/${db_name}/ cp $line ${dir}/metadata/${db_name}/${col_name}.metadata.json done mongorestore "$connstr" ${dir}/metadata/ remove the metadata directory because we do not need it anymore and this returns the snapshot directory in an identical state as it was prior to the import rm -rf ${dir}/metadata/
Aqui:
--mode=upsert
habilita omongoimport
para lidar com documentos duplicados de um arquivo.--uri
especifica a cadeia de conexão para o Atlas cluster.
Execute o utilitário para importar os dados arquivados para o Atlas cluster.massimport.sh
sh massimport.sh <downloadFolder> "mongodb+srv://<connectionString>"
onde:
| Caminho para a pasta local onde você copiou os dados arquivados. |
| Cadeia de conexão para o Atlas cluster. |
Por exemplo, execute um comando semelhante ao seguinte:
Exemplo
sh massimport.sh mybucket "mongodb+srv://<myConnString>"