Eni macht mit MongoDB Atlas Terabytes an unstrukturierten Untergrunddaten verwertbar

EINLEITUNG

Ein führendes Energieunternehmen auf dem Weg zu Netto-Null

Eni mit Sitz in Italien ist ein führendes integriertes Energieunternehmen mit mehr als 30.000 Mitarbeitern in 69 Ländern. Die Geschäftsbereiche reichen von der Exploration und Förderung von Erdgas und Erdöl über die Kraft-Wärme-Kopplung bis hin zu erneuerbaren Energien, Bioraffinerien und der Chemieproduktion.

Im Jahr 2020 hat Eni eine Strategie auf den Weg gebracht, um bis 2050 Netto-Null-Emissionen zu erreichen und ökologisch sowie finanziell nachhaltigere Produkte zu entwickeln. Die jahrzehntelange Forschungs- und Innovationsarbeit von Eni im Technologiebereich wird dabei von entscheidender Bedeutung sein.

„Ich arbeite im technischen Computing-Team für Geowissenschaften und Untergrundaktivitäten eng mit den Abteilungen für Geologie, Geowissenschaften und Geophysik zusammen“, erklärt Sabato Severino, Senior AI Solution Architect für Geowissenschaften bei Eni. „Wir sind dafür verantwortlich, die besten auf dem Markt verfügbaren Lösungen für unsere Cloud-Infrastruktur zu finden und diese an die spezifischen geschäftlichen Anforderungen anzupassen.“

Zu den Projekten gehören der Einsatz von KI für Bohrungen und Explorationen, die Nutzung von Cloud-APIs zur Beschleunigung von Innovationen sowie der Aufbau einer intelligenten Plattform zur Förderung des Wissensaustauschs im größten Geschäftsbereich des Unternehmens – den natürlichen Ressourcen.

Die Dokumentenmanagement-Plattform von Eni für Geowissenschaften bietet eine Umgebung aus Services und Anwendungen zum Erstellen und Teilen von Inhalten. Sie nutzt eingebettete KI-Modelle, um Informationen aus Dokumenten zu extrahieren, und speichert unstrukturierte Daten in einer NoSQL-Datenbank. Diese Daten sind eng mit strukturierten Daten verbunden, die von einer proprietären Datenplattform verwaltet werden. Diese Daten werden in benutzerdefinierten Apps für Content-Manager, Datenanalysten und Spezialisten wie Geologen, Ingenieure und Bohrteams zur Gewinnung weiterer Erkenntnisse visualisiert.

„Unsere Plattform muss sicher, präzise und effizient sein. Präzision ist für Wissenschaftler, die in dieser Branche arbeiten, von entscheidender Bedeutung“, erklärt Severino. „Richtig eingesetzt helfen uns diese Daten, schneller und effizienter zu arbeiten, durch Optimierung Kosten zu senken und unsere geschäftlichen Entscheidungen zu unterstützen.“

DIE HERAUSFORDERUNG

Umfassende Bereitstellung von Daten für die wissenschaftliche Forschung

Die Dokumentenplattform von Eni nimmt große Mengen unstrukturierter Daten auf und homogenisiert sie. Die von verschiedenen Ländern generierten Dokumente umfassen Italienisch, Englisch und Französisch, und jede Region verwendet unterschiedliche Maßeinheiten. Die Benutzer übertragen Daten in Dashboards, um sie anhand bestimmter Kriterien abzufragen, doch aufgrund mangelnder Standardisierung war es zu aufwendig, umfassende Datensätze zu erstellen und Abfragen mit der ursprünglichen relationalen Datenbank durchzuführen.

Die Herausforderungen für das Team von Severino bestanden darin, die Plattform auch bei einem stetig wachsenden Datenvolumen – Hunderttausende von Dokumenten und Terabyte an Daten – stabil zu halten und verschiedenen Benutzergruppen die Möglichkeit zu geben, schnell und einfach relevante Erkenntnisse aus den umfangreichen Datensätzen zu gewinnen.

„Während wir unsere Plattform entwickelten, stellten wir fest, dass wir zu viel Zeit mit der Verwaltung mehrerer Systeme verbrachten. „Wir mussten die Markteinführungszeit verkürzen und gleichzeitig sicherstellen, dass die Plattform künftig eine globale Multi-Cloud-Umgebung unterstützen kann – etwas, wozu unsere bisherige Datenbank nicht in der Lage war“, so Severino.

Aus technischer Sicht musste das Unternehmen eine skalierbare und verwaltete Dokumentendatenplattform schaffen, die die Organisation, den Abruf und die Nutzung von Daten ermöglicht, die aus verarbeiteten Dokumenten extrahiert und angereichert wurden. Dieses System musste in der Lage sein, komplexe Suchvorgänge über eine Google-ähnliche Benutzeroberfläche durchzuführen und die Entwicklung einer Reihe von Microservices für die Verarbeitung natürlicher Sprache (NLP) sowie generative KI zu ermöglichen, um die Umgebung zu unterstützen. Die Dokumentendatenplattform würde als unterstützende Infrastruktur für die Speicherung und Bearbeitung von Texten, Tabellen, Bildern und Metadaten dienen, die aus den Prozessen der Inhaltsgewinnung und -anreicherung stammen.

DIE LÖSUNG

Migration auf eine Cloud-unabhängige Plattform für verwaltete Dokumentendaten

Eni arbeitet mit MongoDB Consulting zusammen, um Schulungen anzubieten und die Migration von Workloads auf MongoDB Atlas zu unterstützen. „MongoDB ist wesentlich kostengünstiger als unsere bisherige Lösung, deren komplexes Preismodell es schwierig machte, die Kosten bei unvorhersehbaren Workloads zu optimieren“, erklärt Severino.

Das Unternehmen wollte zu einem Managed Service mit einer nahtlosen Benutzererfahrung und einer benutzerfreundlichen Oberfläche für Entwickler wechseln. Viele Mitarbeiter waren bereits mit MongoDB vertraut, was die Umstellung vereinfachte und eine kontinuierliche Effizienz sicherstellte. Darüber hinaus bietet die Cloud-unabhängige Architektur von Atlas genau die Flexibilität, die Eni zur Vermeidung von Anbieterabhängigkeit und zur Aufrechterhaltung der Multi-Cloud-Fähigkeiten benötigte. Dies steht im Einklang mit der langfristigen Strategie des Unternehmens und stellt sicher, dass es sich an veränderte geschäftliche Anforderungen anpassen kann.

„MongoDB Atlas ist nicht nur eine Datenbank, sondern ein komplettes Set an Produkten und Services. „Es ist Cloud-unabhängig und verbindet umfangreiche Funktionen mit der Flexibilität, die wir benötigen, um es an unsere Anforderungen anzupassen“ , erklärt Severino. „Die Unterstützung, die wir von MongoDB Consulting erhalten haben, war großartig. Sie war genau auf unsere individuellen Herausforderungen zugeschnitten, und wir freuen uns darauf, diese Zusammenarbeit in Zukunft weiter auszubauen.“

Eni hat eine Testumgebung auf MongoDB Atlas eingerichtet. Dank der Unterstützung mehrerer Programmiersprachen, JSON-Daten und REST-APIs – die den Zugriff auf Daten über HTTPS Requests ermöglichen – ist Eni in der Lage, die strengen Anforderungen der Branche an Datensicherheit und Compliance zu erfüllen.

Mit MongoDB Atlas können Benutzer von Eni schnell Daten aus mehreren Jahren und Regionen abrufen, um Trends zu erkennen und Modelle zu analysieren, die die Entscheidungsfindung in ihrem Bereich unterstützen. MongoDB Atlas Search hilft auch beim Herausfiltern irrelevanter Dokumente. Das erste Team, das diesen Ansatz auf die Probe stellte, war eine Gruppe technikaffiner Mitarbeiter aus der Explorationsabteilung, die mit dem Ziel in das Projekt eingebunden wurden, andere Eni-Teams zur Nutzung der Plattform zu motivieren. Das Team hat außerdem KI- und Machine-Learning-Modelle, wie beispielsweise die Vektorsuche, in die Plattform integriert, um das Erkennen von Mustern noch weiter zu vereinfachen.

„Früher bestand aufgrund isolierter Daten die Gefahr, dass unsere Berichte nicht ganz korrekt waren. Wenn man in verschiedenen Regionen tätig ist und nach kleinen Abweichungen und Veränderungen in der geophysikalischen Landschaft sucht, ist es äußerst wichtig, dass die Modelle auf umfassenden Daten basieren und nicht nur auf den Daten, die bei einer einfachen Suche gefunden wurden“, erklärt Severino.

Ein weiterer, zuvor komplexer Prozess war die Entwicklung von Dashboards für Anwendungen und Datenanalysen. Eni setzte auf eine Kombination aus Open-Source- und kommerziellen Tools, entwickelte Code zur Definition von Komponenten, Layouts und Interaktionen und eignete sich Kenntnisse in Skriptsprachen und Datenverwaltungsfunktionen an. Dies führte zu einer erheblichen Lernkurve für die Entwickler. Mit der Einführung von Atlas Charts, einer codefreien Lösung für die Erstellung überzeugender interaktiver Dashboards, zusammen mit anderen Lösungen wie Power BI, wurde das Problem deutlich entschärft.

„Atlas Charts ist äußerst nützlich, um unstrukturierte Daten zu visualisieren. Früher haben wir diese Daten manuell in Excel- oder CSV-Dateien übertragen, die für das menschliche Auge schwer zu lesen sind“, erklärt Severino. „Nun können Benutzer ganz einfach und mit minimalem Aufwand eine Verbindung zu Datenquellen herstellen, Diagramme erstellen und Dashboards zusammenstellen – auch wenn sie keine Entwickler sind.“

Als native Funktion von MongoDB Atlas ermöglicht sie Echtzeit-Aktualisierungen der Dashboards und macht die Arbeit mit Daten wesentlich einfacher und zugänglicher.

DAS ERGEBNIS

Höhere Leistung und intelligentere Suchfunktionen

Das erste Feedback zur Testumgebung war positiv. Die Benutzer sind von der Leistungsfähigkeit der Plattform beeindruckt, wobei Severino davon ausgeht, dass sich die Verwaltung noch weiter vereinfachen wird, sobald MongoDB Atlas in die gesamte Umgebung von Eni integriert ist.

Durch den Aufbau der internen Plattform mit MongoDB profitieren sowohl Entwickler als auch Wissenschaftler, die bei Eni auf Berichte zugreifen, von einer nahtloseren Benutzererfahrung. Die Wissenschaftler können die Berichte auf Basis des spezifischen Projekts, an dem sie arbeiten, personalisieren und müssen keinen Kollegen bitten, Diagramme oder Grafiken für sie zu erstellen, was letztendlich die Innovation und Entscheidungsfindung beschleunigen wird. Sie verfügen außerdem über eine erweiterte und benutzerfreundliche Suchfunktion, mit der sie schnell und einfach umfassende Datensätze finden können.

Entwickler hingegen haben über das MongoDB Atlas-Dashboard einen besseren Überblick über die gesamte Umgebung und können mehr Zeit mit der Anpassung des Systems verbringen und weniger Zeit mit routinemäßiger Wartung, was die Markteinführungszeit verkürzt. Prognosen zufolge wird diese Verkürzung der Entwicklungszeit sowohl zu Kosteneinsparungen als auch zu einer höheren Effizienz führen.

„Seit wir auf MongoDB Atlas umgestiegen sind, konnten wir die Entwicklungszeit dank der optimierten Verwaltungsfunktionen und des benutzerfreundlichen Dashboards der Plattform erheblich verkürzen“, so Severino. „Das hat zu erheblichen Kosteneinsparungen für unser Unternehmen geführt.“

Durch die Nutzung der automatisierten Management-Funktionen können Entwickler außerdem erheblich weniger Zeit mit routinemäßigen Wartungsarbeiten wie Backups, Skalierung und Updates verbringen. Dadurch können sie sich auf wertvollere Aufgaben wie die Anpassung des Systems und die Implementierung neuer Funktionen konzentrieren, was die Gesamtproduktivität und Effizienz des Teams steigert.

„Wir hatten uns vorgenommen, MongoDB für den Bereich Untergrund und Bodenschätze einzuführen, haben damit aber bereits das Interesse unserer Kollegen im gesamten Unternehmen geweckt. „Wenn wir weiterhin gute Ergebnisse erzielen, werden wir gerne eine unternehmensweite Einführung empfehlen“, fasst Severino zusammen.

Während Eni den Wandel hin zu einer grüneren Zukunft vorantreibt, wird MongoDB Atlas es einfacher und schneller machen, riesige Mengen unstrukturierter Daten auf seiner intelligenten Plattform zu erfassen und diese Daten nutzbar zu machen. Für Wissenschaftler, die wichtige Forschungsarbeit leisten, wird diese nahtlose Erfahrung es ihnen ermöglichen, sich auf die Arbeit zu konzentrieren, die am wichtigsten ist.

Das Unternehmen ist zudem gespannt darauf, zu untersuchen, wie generative KI in Zukunft Untergrundprojekte beschleunigen wird. „Die von uns eingeführte generative KI erstellt derzeit Vektoreinbettungen aus Dokumenten. Wenn ein Benutzer eine Frage stellt, ruft sie also das relevanteste Dokument ab und verwendet Large Language Models, um die Antwort zu erstellen“, erklärt Severino.

„Wir prüfen die Möglichkeit, Vektoreinbettungen in MongoDB Atlas zu migrieren, um ein vollständig integriertes, funktionsfähiges System zu schaffen. Dann können wir Atlas Vector Search nutzen, um KI-gestützte Anwendungen zu entwickeln, ohne die Atlas-Plattform verlassen zu müssen – eine deutlich bessere Erfahrung für Entwickler.“