Comment utiliser Python avec MongoDB

Connexion de Python et MongoDB Atlas

PyMongo dispose d'un ensemble de paquets pour l'interaction entre Python et MongoDB. Pour le tutoriel suivant, commencez par créer un environnement virtuel, puis activez-le.

Code Snippetpython -m venv env
source env/bin/activate

Maintenant que vous êtes dans votre environnement virtuel, vous pouvez installer PyMongo. Dans votre terminal, tapez :

Code Snippetpython -m pip install "pymongo[srv]"

nous pouvons utiliser PyMongo comme une bibliothèque Python MongoDB dans notre code avec une instruction d'importation.

Création d'une base de données MongoDB dans Python

La première étape pour connecter Python à Atlas consiste à créer un cluster. Vous pouvez suivre les instructions de la documentation pour apprendre à créer et définir votre cluster.

Ensuite, créez un fichier nommé pymongo_get_database.py dans n'importe quel dossier pour écrire du code PyMongo. Vous pouvez utiliser n'importe quel éditeur de texte simple, comme Visual Studio Code.

Créez le client mongodb en ajoutant ce qui suit :

Code Snippetà partir de pymongo, importez MongoClient
def get_database() :
 
   # Fournissez l'url mongodb atlas pour connecter python à mongodb à l'aide de pymongo
   CHAÎNE_DE_CONNEXION = "mongodb+srv://user:pass@cluster.mongodb.net/myFirstDatabase"
 
   # Créez une connexion à l'aide de MongoClient. Vous pouvez importer MongoClient ou utiliser pymongo.MongoClient
   client = MongoClient(CHAÎNE_DE_CONNEXION)
 
   # Créez la base de données requise pour notre exemple (nous utiliserons la même base de données tout au long du tutoriel
   revenez à la liste ['utilisateur_liste_d_achats'] du client
  
# Ceci est ajouté pour que de nombreux fichiers puissent réutiliser la fonction get_database()
if __name__ == "__main__":   
  
   # Accédez à la base de données   nomdb = get_database()

Pour créer un MongoClient, vous aurez besoin d'une chaîne de connexion à votre base de données. Si vous utilisez Atlas, vous pouvez suivre les étapes de la documentation pour obtenir cette chaîne de connexion. Utilisez la chaînedeconnexion pour créer le mongoclient et obtenir la connexion à la base de données MongoDB. Modifiez le nom d'utilisateur, le mot de passe et le nom du cluster.

Dans ce tutoriel Python MongoDB , nous allons créer une liste de courses et ajouter quelques articles. Pour cela, nous avons créé une base de données utilisateur_listedachats.

MongoDB ne crée pas de base de données tant qu'elle ne contient pas de collections et de documents. Créons ensuite une collection.

Création d'une collection dans Python

Pour créer une collection, transmettez le nom de la collection à la base de données. Dans un nouveau fichier appelé PyMongo_test_insert.py, ajoutez le code suivant.

Code Snippet# Accédez à la base de données en utilisant la méthode que nous avons définie dans le fichier pymongo_test_insert
Dans pymongo_get_database, importez get_database
nomdb = get_database()
nom_collection = nomdb["utilisateur_1_articles"]

Ceci crée une collection nommée utilisateur_1_articles dans la base de données utilisateur_listedachats.

Insertion de documents dans Python

Pour insérer plusieurs documents à la fois, utilisez la méthode pymongo insert_many().

Code Snippetélément_1 = {
  "_id" : "U1IT00001",
  "item_name" : "Blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340,
  "category" : "kitchen appliance"
}

élément_2 = {
  "_id" : "U1IT00002",
  "item_name" : "Egg",
  "category" : "food",
  "quantity" : 12,
  "price" : 36,
  "item_description" : "brown country eggs"
}
nom_de_la_collection.insert_many([élément_1,élément_2])

Insérons un troisième document sans spécifier le champ _id. Cette fois, nous ajoutons un champ de type ‘date’. Pour ajouter une date à l'aide de PyMongo, utilisez le paquet Python dateutil.

Commencez par installer le paquet en utilisant la commande suivante :

Code Snippetpython -m pip install python-dateutil

Ajoutez ce qui suit à pymongo_test_insert.py:

Code Snippetdu parseur d'importation dateutil
date_expiration = '2021-07-13T00:00:00.000Z'
expiration= parser.parse(date_expiration)
item_3 = {
  "item_name" : "Bread",
  "quantity" : 2,
  "ingredients" : "all-purpose flour",
  "expiry_date" : expiry
}
nom_collection.insert_one(élément_3)

Nous utilisons la méthode insert_one() pour insérer un seul document.

Ouvrez la ligne de commande et naviguez jusqu'au dossier dans lequel vous avez enregistré pymongo_test_insert.py.

Exécutez le fichier en utilisant la commande :

Code Snippetpython pymongo_test_insert.py

Connectons-nous à l'UI de MongoDB Atlas et vérifions ce que nous avons jusqu'à présent.

Connectez-vous à votre cluster Atlas et cliquez sur le bouton des collections.

Sur le côté gauche, vous pouvez voir la base de données et le nom de la collection que nous avons créés. Si vous cliquez sur le nom de la collection, vous pouvez également consulter les données :

Le champ _id est de type ObjectId par défaut. Si nous ne spécifions pas le champ _id, MongoDB le génère. Les champs présents dans un document ne sont pas tous présents dans les autres. Mais MongoDB ne vous empêche pas de saisir des données — c’est l’essence même d’une base de données sans schéma.

Si nous insérons à nouveau élément_3, MongoDB insérera un nouveau document, avec une nouvelle valeur _id. Cependant, les deux premières insertions généreront une erreur en raison du champ _id, l’identifiant unique.

Requête dans Python

Examinons tous les documents ensemble en utilisant la méthode find(). Pour cela, nous allons créer un fichier séparé pymongo_test_query.py :

Code Snippet# Accédez à la base de données en utilisant la méthode que nous avons définie dans le fichier pymongo_test_insert
Depuis pymongo_get_database, importez get_database
dbname = get_database()
 
# Récupérez une collection nommée "user_1_items" depuis la base de données
collection_name = dbname["user_1_items"]
 
item_details = collection_name.find()
pour l’élément dans item_details :
   # Ceci ne produit pas une sortie très lisible
   print(item)

Ouvrez la ligne de commande et accédez au dossier où vous avez enregistré pymongo_test_query.py. Exécutez le fichier à l’aide de la commande :

Code Snippetpython pymongo_test_query.py

Nous obtenons la liste des objets du dictionnaire en sortie :

Nous pouvons consulter les données, mais le format n'est pas très bon. Imprimons donc les noms des articles et leur catégorie en remplaçant la ligne print par ce qui suit :

Code Snippetprint(élément['nom_élément'], élément['catégorie'])

Bien que MongoDB reçoive l'intégralité des données, nous obtenons une "KeyError" de Python sur le troisième document.

Pour traiter les erreurs de données manquantes dans Python, utilisez pandas.DataFrames. Les DataFrames sont des structures de données 2D utilisées pour des tâches de traitement de données. La méthode PyMongo find() renvoie des objets du dictionnaire qui peuvent être convertis en dataframe en une seule ligne de code.

Installez la bibliothèque pandas comme suit :

Code Snippetpython -m pip install pandas

Maintenant, importez la bibliothèque pandas en ajoutant la ligne suivante au début du fichier :

Code Snippetà partir de pandas importez DataFrame

Et remplacez le code dans la boucle avec ce qui suit pour traiter KeyError en une étape :

Code Snippet# convertissez les objets du dictionnaire en dataframe

éléments_df = DataFrame(détails_élément)

# découvrez la magie
print(éléments_df)

Les erreurs sont remplacées par NaN et NaT pour les valeurs manquantes.

indexation dans Python MongoDB

Le nombre de documents et de collections dans une base de données réelle ne cesse d'augmenter. La recherche de documents spécifiques - par exemple, des documents contenant la mention « farine tout usage » parmi leurs ingrédients - dans une très grande collection peut prendre beaucoup de temps. Les index rendent la recherche dans les bases de données plus rapide et plus efficace, et réduisent le coût des requêtes lors des opérations de tri, de comptage et de mise en correspondance.

MongoDB définit des index au niveau de la collection.

Pour que l'index ait plus de sens, il faut ajouter d'autres documents à notre collection. Insérez plusieurs documents à la fois en utilisant la méthode insert_many(). Pour les exemples de documents, copiez le code de Github et exécutez python pymongo_test_insert_more_items.py dans votre terminal.

Disons que nous voulons les articles qui appartiennent à la catégorie ‘food’ :

Code Snippetdétails_élément = nom_collection.find({"category" : "food"})

Pour exécuter la requête ci-dessus, MongoDB doit analyser tous les documents. Pour le vérifier, téléchargez Compass. Connectez-vous à votre cluster en utilisant la chaîne de connexion. Ouvrez la collection et accédez à l'onglet Explain Plan (Plan explicatif). Dans « filter » (filtre), indiquez les critères ci-dessus et affichez les résultats :

Notez que la requête analyse 14 documents pour obtenir cinq résultats.

Créons un index unique dans le champ « category » (catégorie). Dans un nouveau fichier nommé pymongo_index.py, ajoutez le code suivant.

Code Snippet# Accédez à la base de données en utilisant la méthode que nous avons définie dans le fichier pymongo_test_insert
Depuis pymongo_get_database, importez get_database
nomdb = get_database()
 
# Créez une nouvelle collection
nom_collection = nomdb["utilisateur_1_éléments"]
 
# Créez un index dans la collection
index_catégorie = nom_collection.create_index(« category » (catégorie))

Expliquez à nouveau le même filtre dans l'UI de Compass :

Cette fois-ci, seuls cinq documents sont analysés en raison de l'index des catégories. Nous ne voyons pas de différence significative au niveau du temps d'exécution, en raison du petit nombre de documents. Mais nous constatons une réduction considérable du nombre de documents analysés pour la requête. Les index permettent également d'optimiser les performances des agrégations. Les agrégations n'entrent pas dans le cadre de ce tutoriel, mais en voici un aperçu.

Conclusion

Dans ce tutoriel Python MongoDB, nous avons appris les bases de PyMongo et effectué des opérations simples de base de données. L'étape suivante consiste à explorer l'utilisation de PyMongo pour effectuer des opérations CRUD avec les données de l'entreprise. Si vous n'avez pas suivi ce tutoriel, commencez dès maintenant en installant MongoDB Atlas gratuitement. Il existe également un cours sur ce sujet spécifique à l'adresse MongoDB University.