Como usar Python com MongoDB

Conectar o Python e o MongoDB Atlas

O PyMongo tem um conjunto de pacotes para a interação entre o Python e o MongoDB. Para o tutorial a seguir, comece criando um ambiente virtual, e ative-o.

Code Snippetpython -m venv env
source env/bin/activate

Agora que você está em seu ambiente virtual, instale o PyMongo. Em seu terminal, digite:

Code Snippetpython -m pip install "pymongo[srv]"

Agora, podemos usar o PyMongo como uma biblioteca Python MongoDB em nosso código com uma instrução de importação.

Como criar um banco de dados do MongoDB no Python

A primeira etapa para conectar o Python ao Atlas é criar um cluster. Siga as instruções na documentação para aprender a criar e configurar seu cluster.

Em seguida, crie um arquivo chamado pymongo_get_database.py em qualquer pasta para escrever o código do PyMongo. Você pode usar qualquer editor de texto básico, como o Visual Studio Code.

Para criar o cliente MongoDB, adicione o seguinte:

Code Snippetda importação do pymongo MongoClient
def get_database():
 
   # Forneça o url do mongodb atlas para conectar o python ao mongodb usando o pymongo
   CONNECTION_STRING = "mongodb+srv://user:pass@cluster.mongodb.net/myFirstDatabase"
 
   # Crie uma conexão usando o MongoClient. Você pode importar o MongoClient ou usar o PyMongo.MongoClient
 client = MongoClient(CONNECTION_STRING)
 
 # Crie o banco de dados para nosso exemplo (usaremos o mesmo banco de dados ao longo do tutorial
 return client['user_shopping_list']
 
# Isso é adicionado para que muitos arquivos possam reutilizar a função get_database()
if __name__ == "__main__": 
 
 # Obtenha o banco de dados
 dbname = get_database()

Para criar um MongoClient, você precisará de uma string de conexão para seu banco de dados. Se você estiver usando o Atlas, siga as etapas da documentação para obter essa string de conexão. Use connection_string para criar o mongoclient e obter a conexão do banco de dados MongoDB. Altere o nome de usuário, senha e nome do cluster.

Neste tutorial python mongodb, criaremos uma lista de compras e adicionaremos alguns itens. Para tal, criamos um banco de dados user_shopping_list.

O MongoDB não cria um banco de dados até que você tenha collections e documentos nele. Portanto, vamos criar uma collection agora.

Como criar uma collection no Python

Para criar uma collection, passe o nome da collection para o banco de dados. Em um novo arquivo chamado pymongo_test_insert.py, adicione o seguinte código.

Code Snippet# Obtenha o banco de dados usando o método definido no arquivo pymongo_test_insert
do pymongo_get_database importe get_database
dbname = get_database()
collection_name = dbname["user_1_items"]

Isso cria uma collection chamada user_1_items no banco de dados user_shopping_list.

Como inserir documentos no Python

Para inserir vários documentos de uma só vez, use o método insert_many() do pymongo.

Code Snippetitem_1 = {
  "_id" : "U1IT00001",
  "item_name" : "Blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340,
  "category" : "kitchen appliance"
}

item_2 = {
  "_id" : "U1IT00002",
  "item_name" : "Egg",
  "category" : "food",
  "quantity" : 12,
  "price" : 36,
  "item_description" : "brown country eggs"
}
collection_name.insert_many([item_1,item_2])

Vamos inserir um terceiro documento sem especificar o campo _id. Desta vez, vamos adicionar um campo do tipo de dados 'data'. Para adicionar a data usando PyMongo, use o pacote Python dateutil.

Primeiro, instale o pacote usando o seguinte comando:

Code Snippetpython -m pip install python-dateutil

Adicione o seguinte ao pymongo_test_insert.py:

Code Snippetfrom dateutil import parser
expiry_date = '2021-07-13T00:00:00.000Z'
expiry = parser.parse(expiry_date)
item_3 = {
  "item_name" : "Bread",
  "quantity" : 2,
  "ingredients" : "all-purpose flour",
  "expiry_date" : expiry
}
collection_name.insert_one(item_3)

Usamos o método insert_one() para inserir um único documento.

Abra a linha de comando e navegue até a pasta onde você salvou pymongo_test_insert.py.

Execute o arquivo usando o comando:

Code Snippetpython pymongo_test_insert.py

Vamos conectar à interface de usuário do MongoDB Atlas e ver o que temos até agora.

Faça login no seu Atlas cluster e clique no botão collections.

No lado esquerdo, você verá o banco de dados e o nome da collection que criamos. Ao clicar no nome da collection, você também verá os dados:

O campo _id é do tipo ObjectId por padrão. Se não especificarmos o campo _id, o MongoDB o gerará. Nem todos os campos presentes em um documento estão presentes em outros. Mas o MongoDB não impede você de inserir dados — essa é a essência de um banco de dados sem esquema.

Se inserirmos item_3 novamente, o MongoDB inserirá um novo documento, com um novo valor de _id. No entanto, as duas primeiras inserções gerarão um erro devido ao campo _id, o identificador exclusivo.

Como fazer queries no Python

Vamos visualizar todos os documentos juntos usando find(). Para tal, criaremos um arquivo separado pymongo_test_query.py:

Code Snippet# Obtenha o banco de dados usando o método definido no arquivo pymongo_test_insert
do pymongo_get_database importando get_database
dbname = get_database()
 
# Recupere uma collection chamada "user_1_items" do banco de dados
collection_name = dbname["user_1_items"]
 
item_details = collection_name.find()

para o item em item_details: # Isso não gera um resultado muito legível print(item)

Code SnippetAbra a linha de comando e navegue até a pasta onde você salvou **pymongo\_test_query.py**. Execute o arquivo usando o comando:

python pymongotestquery.py ```

Obtemos a lista de objeto de dicionário como resultado:

Podemos visualizar os dados, mas o formato não é muito legível. Portanto, vamos imprimir os nomes dos itens e suas categorias ao substituir a linha print pelo seguinte:

Code Snippet print(item['item_name'], item['category'])

Embora o MongoDB consiga obter todos os dados, vemos um 'KeyError' Python no terceiro documento.

Para gerenciar erros de dados ausentes no Python, use pandas.DataFrames. DataFrames são estruturas de dados 2D usadas para tarefas de processamento de dados. O método find() pymongo retorna objetos de dicionário que podem ser convertidos em um dataframe em uma única linha de código.

Instale a biblioteca pandas como:

Code Snippetpython -m pip install pandas

Agora importe a biblioteca pandas adicionando a seguinte linha no topo do arquivo:

Code Snippetdo DataFrame de importação do pandas

E substitua o código no loop pelo seguinte para gerenciar KeyError em uma etapa:

Code Snippet# converta os objetos do dicionário em dataframe
items_df = DataFrame(item_details)

# veja a mágica
print(items_df)

O os erros são substituídos por NaN e NaT para os valores ausentes.

Como criar índices no Python MongoDB

O número de documentos e collections em um banco de dados do mundo real aumenta constantemente. Em uma collection grande, pode levar bastante tempo para pesquisar documentos específicos, por exemplo, documentos com “farinha de trigo” entre seus ingredientes. Os índices tornam a pesquisa de banco de dados mais rápida e eficiente e reduzem o custo de consultar em operações de classificação, contagem e correspondência.

O MongoDB define índices em nível de collection.

Para deixar o índice mais prático, adicione mais documentos à nossa collection. Use o método insert_many() para inserir vários documentos de uma só vez. Para obter documentos de amostra, copie o código do Github e execute python pymongo_test_insert_more_items.py em seu terminal.

Por exemplo, queremos os itens que pertencem à categoria 'comida':

Code Snippetitem_details = collection_name.find({"category" : "food"})

Para executar a consulta acima, o MongoDB precisa verificar todos os documentos. Para verificar isso, baixe o Compass. Conecte-se ao seu cluster usando a string de conexão. Abra a collection e acesse a guia "Explicar plano". Em 'filtro', forneça os critérios acima e veja os resultados:

Observe que a consulta verifica 14 documentos para obter cinco resultados.

Vamos criar um único índice no campo 'categoria'. Em um novo arquivo chamado pymongo_index.py, adicione o seguinte código.

Code Snippet# Obtenha o banco de dados usando o método definido no arquivo pymongo_test_insert
do pymongo_get_database importe get_database
dbname = get_database()
 
# Crie uma nova collection
collection_name = dbname["user_1_items"]
 
# Crie um índice na collection
category_index = collection_name.create_index("category")

Explique o mesmo filtro novamente na UI do Compass:

Desta vez, somente cinco documentos são verificados por causa do índice de categoria. Não há uma diferença significativa no tempo de execução devido ao número reduzido de documentos. Entretanto, há uma grande redução no número de documentos verificados para a consulta. Os índices também ajudam na otimização de desempenho para agregações. As agregações estão fora do escopo deste tutorial, mas veja aqui uma visão geral.

Conclusão

Neste tutorial Python MongoDB, aprendemos os fundamentos do PyMongo e executamos operações básicas de banco de dados. Para aprofundar-se no assunto, tente usar PyMongo para executar operações CRUD com dados de negócios. Se você não trabalhou junto com este tutorial, comece agora instalando o MongoDB Atlas gratuitamente. Há também um curso disponível sobre este tópico específico na MongoDB University.