Verwenden von Python mit MongoDB

Python und MongoDB Atlas verbinden

PyMongo verfügt über eine Reihe von Paketen für die Python-MongoDB-Interaktion. Beginnen Sie für das folgende Tutorial mit der Erstellung einer virtuellen Umgebung, und aktivieren Sie sie.

Code Snippetpython -m venv env
source env/bin/activate

Da Sie sich nun in Ihrer virtuellen Umgebung befinden, können Sie PyMongo installieren. Geben Sie in Ihrem Terminal Folgendes ein:

Code Snippetpython -m pip install "pymongo[srv]"

Jetzt können wir PyMongo als Python MongoDB-Bibliothek in unserem Code mit einer Importanweisung verwenden.

Erstellen einer MongoDB-Datenbank in Python

Der erste Schritt zum Verbinden von Python mit Atlas besteht im Erstellen eines Clusters. Sie können die Anleitungen in der Dokumentation befolgen, um den Cluster zu erstellen und einzurichten.

Erstellen Sie dann eine Datei namens pymongo_get_database.py in einem beliebigen Ordner, in die der PyMongo-Code geschrieben werden kann. Sie können jeden einfachen Texteditor wie Visual Studio Code verwenden.

Erstellen Sie den MongoDB-Client, indem Sie Folgendes hinzufügen:

Code Snippetfrom pymongo import MongoClient
def get_database():
 
   # Geben Sie die MongoDB Atlas-URL ein, um Python unter Verwendung von pymongo mit MongoDB zu verbinden
   CONNECTION_STRING = "mongodb+srv://user:pass@cluster.mongodb.net/myFirstDatabase"
 
   # Erstellen Sie eine Verbindung mit MongoClient. Sie können MongoClient importieren oder pymongo.MongoClient verwenden
   client = MongoClient(CONNECTION_STRING)
 
   # Erstellen Sie die Datenbank für unser Beispiel (wir verwenden im gesamten Tutorial dieselbe Datenbank
   return client['user_shopping_list']
  
# Dies wird hinzugefügt, damit viele Dateien die Funktion get_database() wiederverwenden können
if __name__ == "__main__":   
  
   # Datenbank abrufen
   dbname = get_database()

Zum Erstellen eines MongoClient benötigen Sie einen Verbindungsstring in der Datenbank. Wenn Sie Atlas verwenden, können Sie die Schritte in der Dokumentation befolgen, um den Verbindungsstring abzurufen. Verwenden Sie connection_string, um MongoClient zu erstellen und die MongoDB-Datenbankverbindung abzurufen. Ändern Sie den Benutzername, das Passwort und den Clusternamen.

In diesem Python MongoDB-Tutorial erstellen wir eine Einkaufsliste und fügen einige Produkte hinzu. Zu diesem Zweck haben wir die Datenbank user_shopping_list erstellt.

MongoDB erstellt die Datenbank erst, nachdem collections und Dokumente eingefügt wurden. Deshalb fahren wir mit dem Erstellen einer collection fort.

Erstellen einer collection in Python

Zum Erstellen einer collection übergeben Sie ihren Namen an die Datenbank. Fügen Sie den folgenden Code in eine neue Datei namens pymongo_test_insert.py ein.

Code Snippet# Rufen Sie die Datenbank mit der in der Datei pymongo_test_insert definierten Methode ab
from pymongo_get_database import get_database
dbname = get_database()
collection_name = dbname["user_1_items"]

Dadurch wird eine collection namens user_1_items in der Datenbank user_shopping_list erstellt.

Einfügen von Dokumenten in Python

Zum Einfügen vieler Dokumente gleichzeitig können Sie die pymongo-Methode insert_many() verwenden.

Code Snippetitem_1 = {
  "_id" : "U1IT00001",
  "item_name" : "Blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340,
  "category" : "kitchen appliance"
}

item_2 = {
  "_id" : "U1IT00002",
  "item_name" : "Egg",
  "category" : "food",
  "quantity" : 12,
  "price" : 36,
  "item_description" : "brown country eggs"
}
collection_name.insert_many([item_1,item_2])

Nun fügen wir ein drittes Dokument ein, ohne das Feld _id anzugeben. Dieses Mal fügen wir ein Feld des Datentyps „date“ hinzu. Verwenden Sie zum Hinzufügen des Datums mit PyMongo das Python-Paket dateutil.

Installieren Sie zunächst das Paket mit folgendem Befehl:

Code Snippetpython -m pip install python-dateutil

Fügen Sie Folgendes in pymongo_test_insert.py ein:

Code Snippetfrom dateutil import parser
expiry_date = '2021-07-13T00:00:00.000Z'
expiry = parser.parse(expiry_date)
item_3 = {
  "item_name" : "Bread",
  "quantity" : 2,
  "ingredients" : "all-purpose flour",
  "expiry_date" : expiry
}
collection_name.insert_one(item_3)

Wir verwenden die Methode insert_one(), um ein einzelnes Dokument einzufügen.

Öffnen Sie die Befehlszeile und navigieren Sie zu dem Ordner, in dem pymongo_test_insert.py gespeichert wurde.

Führen Sie die Datei mit folgendem Befehl aus:

Code Snippetpython pymongo_test_insert.py

Nun stellen wir die Verbindung zur MongoDB Atlas-Benutzeroberfläche her und überprüfen das bisher Erreichte.

Melden Sie sich beim Atlas-Cluster an und klicken Sie auf die collections-Schaltfläche.

Auf der linken Seite werden der Name der soeben erstellten Datenbank und der collection angezeigt. Wenn Sie auf den Namen der collection klicken, können Sie auch die Daten anzeigen:

Das Feld _id ist standardmäßig vom ObjectId-Typ. Wenn wir das Feld _id nicht angeben, wird es von MongoDB trotzdem generiert. Nicht alle in einem Dokument vorhandenen Felder müssen auch in anderen Dokumenten enthalten sein. MongoDB hindert Sie aber nicht daran, Daten einzugeben – das ist das Prinzip einer schemalosen Datenbank.

Wenn wir item_3 erneut eingeben, fügt MongoDB ein neues Dokument mit einem neuen _id-Wert ein. Die beiden ersten Einfügungen lösen aber aufgrund des Felds _id, der eindeutigen Kennung, einen Fehler aus.

Abfragen in Python

Wir wollen nun mit find() gleichzeitig alle Dokumente anzeigen lassen. Zu diesem Zweck erstellen wir die separate Datei pymongo_test_query.py:

Code Snippet# Rufen Sie die Datenbank mit der in der Datei pymongo_test_insert definierten Methode ab
importieren Sie von pymongo_get_database die Datei get_database
dbname = get_database()
 
# Rufen Sie eine Collection mit dem Namen "user_1_items" aus der Datenbank ab
collection_name = dbname["user_1_items"]
 
item_details = collection_name.find()
für das Element in item_details:
   # Die resultierende Ausgabe ist nur schwer lesbar
   drucken (Element)

Öffnen Sie die Befehlszeile und navigieren Sie zu dem Ordner, in dem Sie pymongo_test_query.py gespeichert haben. Führen Sie die Datei mit folgendem Befehl aus:

Code Snippetpython pymongo_test_query.py

Als Ausgabe erhalten wir die Liste der Wörterbuchobjekte:

Wir können die Daten anzeigen, das Format ist aber unübersichtlich. Deshalb geben wir die Objektnamen und deren jeweilige Kategorie aus, indem wir die Zeile print durch Folgendes ersetzen:

Code Snippetprint(item['item_name'], item['category'])

Obwohl MongoDB die gesamten Daten erhält, wird für das dritte Dokument ein Python-„KeyError“ ausgegeben.

Verwenden Sie pandas.DataFrames zur Handhabung von Fehlern wegen fehlender Daten in Python. DataFrames sind 2D-Datenstrukturen, die für Datenverarbeitungsaufgaben verwendet werden. Die Pymongo-Methode find() gibt Wörterbuchobjekte zurück, die in einer einzelnen Codezeile in einen DataFrame konvertiert werden können.

Installieren Sie die pandas-Bibliothek:

Code Snippetpython -m pip install pandas

Importieren Sie jetzt die pandas-Bibliothek, indem Sie die folgende Zeile am Anfang der Datei einfügen:

Code SnippetImportieren Sie DataFrame aus pandas

Und ersetzen Sie den Code in der Schleife durch folgenden Code zur Handhabung des KeyError-Fehlers in einem Schritt:

Code Snippet# Konvertieren Sie die Wörterbuchobjekte in DataFrame
items_df = DataFrame(item_details)

# Und so entfaltet sich das Ergebnis
print(items_df)

Die Fehler für die fehlenden Werte werden durch NaN und NaT ersetzt.

Indizierung in Python MongoDB

Die Anzahl der Dokumente und collections nimmt in einer echten Datenbank ständig zu. Die Suche nach bestimmten Dokumenten kann in einer sehr großen collection viel Zeit in Anspruch nehmen. Dies gilt insbesondere, wenn es sich um Mehrzweckdokumente handelt. Indexe beschleunigen Suchoperationen in Datenbanken und machen sie effizienter. Das reduziert die Kosten der Abfrage bei Operationen wie Sortieren, Zählen und Abgleichen.

MongoDB definiert Indexe auf der Ebene der collections.

Sinnvoll wird der Index, wenn Sie der collection weitere Dokumente hinzufügen. Mit der Methode insert_many() können Sie gleichzeitig mehrere Dokumente hinzufügen. Für Beispieldokumente können Sie den Code aus github kopieren und python pymongo_test_insert_more_items.py im Terminal ausführen.

Beispiel: Wir benötigen Produkte, die zur Kategorie „food“ gehören:

Code Snippetitem_details = collection_name.find({"category" : "food"})

Bei Ausführung der obigen Anfrage muss MongoDB alle Dokumente scannen. Zum Verifizieren müssen Sie Compass herunterladen. Stellen Sie die Verbindung zum Cluster mit dem Verbindungsstring her. Öffnen Sie die collection und navigieren Sie zur Registerkarte „Plan erläutern“. Geben Sie unter „filter“ die oben beschriebenen Kriterien ein und sehen Sie sich die Ergebnisse an:

Beachten Sie, dass die Abfrage vierzehn Dokumente scannt und fünf Treffer erzielt.

Wir erstellen einen Index für das Feld „category“. In einer neuen Datei namens pymongo_index.py fügen Sie folgenden Code hinzu.

Code Snippet# Rufen Sie die Datenbank mit der Methode ab, die wir in der Datei pymongo_test_insert definiert haben
from pymongo_get_database import get_database
dbname = get_database()
 
# Erstellen Sie eine neue collection
collection_name = dbname["user_1_items"]
 
# Erstellen Sie einen Index für die Collection
category_index = collection_name.create_index("category")

Beschreiben Sie den Filter erneut für die Compass-Benutzeroberfläche:

Diesmal werden aufgrund des Kategorieindex nur fünf Dokumente gescannt. Aufgrund der geringen Anzahl an Dokumenten ist hier kein signifikanter Unterschied der Ausführungszeit zu beobachten. Deutlich wird aber, dass viel weniger Dokumente für die Abfrage gescannt werden. Indexe unterstützen zudem die Optimierung der Ausführungsgeschwindigkeit für Aggregationen. Aggregationen sind nicht Bestandteil dieses Tutorials. Einen Überblick finden Sie hier.

Zusammenfassung

In diesem Python MongoDB-Tutorial wurden die Grundlagen von PyMongo vermittelt und einfache Datenbankoperationen ausgeführt. Befassen Sie sich nun mit dem Verwenden von PyMongo zum Ausführen von CRUD-Operationen unter Verwendung von Geschäftsdaten. Wenn Sie dieses Tutorial nicht durchgearbeitet haben, beginnen Sie nun mit dem kostenlosen Installieren von MongoDB Atlas. Zudem ist ein Kurs zu diesem Thema in der MongoDB University verfügbar.