Eni rende utilizzabili terabyte di dati del sottosuolo non strutturati con MongoDB Atlas

INTRODUZIONE

Un'importante azienda energetica in fase di transizione verso l'azzeramento delle emissioni nette

Con sede in Italia, Eni è un'importante società energetica integrata con oltre 30.000 dipendenti in 69 paesi. Le sue attività spaziano dall'esplorazione e perforazione di gas naturale e petrolio alla cogenerazione di elettricità, energie rinnovabili, bioraffinazione e produzione di prodotti chimici.

Nel 2020, Eni ha lanciato una strategia per raggiungere le emissioni Net Zero entro il 2050 e sviluppare prodotti più sostenibili dal punto di vista ambientale e finanziario. I decenni di ricerca e innovazione tecnologica di Eni saranno fondamentali per raggiungere questo obiettivo.

“Lavoro nel team di calcolo tecnico per le geoscienze e le operazioni nel sottosuolo, insieme ai dipartimenti di geologia, geoscienze e geofisica”, spiega Sabato Severino, Senior AI Solution Architect for Geoscience di Eni. “Siamo responsabili di trovare le migliori soluzioni sul mercato per la nostra infrastruttura cloud e di adattarle per soddisfare specifiche esigenze aziendali.”

I progetti includono l'utilizzo dell'AI per la perforazione e l'esplorazione, l'uso di API cloud per accelerare l'innovazione e la creazione di una piattaforma intelligente per promuovere la condivisione delle conoscenze nella più grande divisione commerciale dell'azienda: le risorse naturali.

La piattaforma di gestione documentale di Eni per le geoscienze offre un ecosistema di servizi e applicazioni per la creazione e la condivisione dei contenuti. Sfrutta modelli di AI integrati per estrarre informazioni dai documenti e archivia i dati non strutturati in un database NoSQL. Questi dati sono strettamente collegati ai dati strutturati gestiti da una piattaforma di dati proprietaria. Questi dati vengono visualizzati in app personalizzate per content manager, data analyst e specialisti come geologi, ingegneri e team di perforazione per ottenere ulteriori informazioni.

“La nostra piattaforma deve essere sicura, precisa ed efficiente. La precisione è vitale per gli scienziati che lavorano in questo settore”, spiega Severino. “Se utilizzati correttamente, questi dati ci aiutano a lavorare in modo più veloce e intelligente, riducono i costi grazie all'ottimizzazione e supportano le nostre decisioni aziendali”.

LA SFIDA

Rendere disponibili dati completi per la ricerca scientifica

La piattaforma di documenti di Eni acquisisce e omogeneizza grandi quantità di dati non strutturati. I documenti generati da diversi paesi includono italiano, inglese e francese e ogni regione utilizza unità di misura diverse. Gli utenti estraggono dati nelle dashboard per eseguire query basate su criteri specifici, ma la mancanza di standardizzazione rendeva troppo complesso creare set di dati completi ed eseguire query con il relational database originale.

Le sfide per il team di Severino consistevano nel mantenere la piattaforma mentre acquisiva un volume crescente di dati — centinaia di migliaia di documenti e terabyte di dati — e nel consentire ai diversi gruppi di utenti di estrarre rapidamente e facilmente insight pertinenti da record completi.

“Durante lo sviluppo della nostra piattaforma, ci siamo resi conto che stavamo dedicando troppo tempo alla gestione di sistemi multipli. Avevamo bisogno di accelerare il time-to-market, garantendo allo stesso tempo che la piattaforma fosse in grado di supportare un ambiente globale e multi-cloud in futuro: cosa che il nostro database esistente non poteva fare”, afferma Severino.

Dal punto di vista tecnico, l'azienda doveva creare una piattaforma di dati documentali gestita e scalabile che consentisse l'organizzazione, il reperimento e l'utilizzo dei dati estratti e arricchiti dai documenti elaborati. Questo sistema doveva essere in grado di eseguire ricerche complesse attraverso un'interfaccia simile a quella di Google e consentire lo sviluppo di una serie di microservices di elaborazione del linguaggio naturale (NLP) e di IA generativa per supportare l'ecosistema. La piattaforma di dati documentali fungerebbe da infrastruttura di supporto per l'archiviazione e la manipolazione di testi, tabelle, immagini e metadati ottenuti dai processi di estrazione e arricchimento dei contenuti.

LA SOLUZIONE

Migrazione verso una piattaforma di dati di documenti gestita e indipendente dal cloud

Eni ha stretto una partnership con MongoDB Consulting per la formazione e per supportare la migrazione dei carichi di lavoro in MongoDB Atlas. «MongoDB è molto più conveniente rispetto alla nostra soluzione precedente, che aveva un modello di prezzi complesso che rendeva difficile ottimizzare i costi per carichi di lavoro imprevedibili», afferma Severino.

L'azienda voleva passare a un servizio managed con un'esperienza utente senza soluzione di continuità e un'interfaccia facile da utilizzare per gli sviluppatori. Molti membri del personale conoscevano già MongoDB, il che ha semplificato la transizione e assicurato l'efficienza costante. Inoltre, la natura cloud-agnostic di Atlas offre la flessibilità di cui Eni aveva bisogno per evitare il lock-in del vendor e mantenere le capacità multi-cloud. Questo è in linea con la sua strategia a lungo termine e garantisce che possa adattarsi ai mutevoli requisiti aziendali.

“MongoDB Atlas non è solo un database, è un set completo di prodotti e servizi. È agnostico rispetto al cloud e combina funzionalità avanzate con la flessibilità di cui avevamo bisogno per personalizzarlo”, spiega Severino. “Il supporto ricevuto da MongoDB Consulting è stato eccellente, su misura per le nostre sfide specifiche, e non vediamo l’ora che questo rapporto cresca in futuro.”

Eni ha avviato un ambiente di test su MongoDB Atlas e, grazie al supporto per molteplici linguaggi di programmazione, dati JSON e REST API – che consentono di accedere ai dati tramite HTTPS requests –, Eni è in grado di soddisfare i rigorosi requisiti di sicurezza dei dati e conformità del settore.

Con MongoDB Atlas, gli utenti di Eni possono trovare rapidamente dati che coprono più anni e aree geografiche per identificare tendenze e analizzare modelli che supportano il processo decisionale nel loro settore. MongoDB Atlas Search fornisce un aiuto anche nel filtrare i documenti non pertinenti. Il primo team a metterlo alla prova è stato un gruppo di personale esperto di tecnologia del dipartimento di esplorazione, che è stato coinvolto con l'obiettivo di ispirare altri team di Eni a utilizzare la piattaforma. Il team ha inoltre integrato AI e modelli di machine learning, come la ricerca vettoriale, con la piattaforma per rendere ancora più facile l'identificazione dei modelli.

“In precedenza, dati isolati significavano che eravamo a rischio che i report non fossero completamente accurati. Quando operi tra diverse aree geografiche e cerchi piccole variazioni e cambiamenti nel panorama geofisico, è davvero importante che i modelli si basino su dati completi e non solo sui dati raccolti da una ricerca di base”, spiega Severino.

Un altro processo precedentemente complesso includeva lo sviluppo di dashboard per applicazioni e data analytics. Eni si affidava a un mix di strumenti open source e commerciali, scrivendo codice per definire componenti, layout e interazioni, e padroneggiando linguaggi di scripting e funzionalità di gestione dei dati. Ciò ha creato una notevole curva di apprendimento per gli sviluppatori. Con l'introduzione di Atlas Charts, una soluzione senza codice per creare dashboard interattive accattivanti, insieme ad altre soluzioni come Power BI, il problema è stato notevolmente attenuato.

“Atlas Charts è davvero utile per visualizzare dati non strutturati. In passato li estraevamo manualmente in file Excel o CSV, difficili da leggere per l’occhio umano”, commenta Severino. “Ora gli utenti possono connettersi facilmente alle origini dati, creare grafici e costruire dashboard con il minimo sforzo, anche se non sono sviluppatori.”

E come funzionalità native di MongoDB Atlas, abilita gli aggiornamenti in tempo reale delle dashboard e rende il lavoro con i dati molto più facile e accessibile.

I RISULTATI

Prestazioni più elevate e funzionalità di ricerca più intelligenti

Il feedback iniziale sull'ambiente di test è stato positivo. Gli utenti sono rimasti colpiti dalle prestazioni della piattaforma e Severino prevede che sarà ancora più facile da gestire una volta integrato MongoDB Atlas nel più ampio ecosistema Eni.

Grazie alla creazione della propria piattaforma interna con MongoDB, sia gli sviluppatori che gli esperti che accedono ai rapporti presso Eni godono di un'esperienza utente più fluida. Gli esperti possono personalizzare i rapporti in base al progetto specifico su cui stanno lavorando e non devono chiedere a un collega di creare grafici o diagrammi, il che accelererà l'innovazione e il processo decisionale. Dispongono inoltre di una funzionalità di ricerca avanzata e facile da usare per trovare set di dati completi in modo rapido e semplice.

Gli sviluppatori, nel frattempo, hanno una migliore visibilità sull'ambiente dalla dashboard di MongoDB Atlas e possono dedicare più tempo alla personalizzazione del sistema e meno tempo alla manutenzione di routine, il che accelererà il time-to-market. Le previsioni suggeriscono che questa riduzione del tempo di sviluppo porterà a un risparmio sui costi e a una maggiore efficienza.

«Da quando siamo passati a MongoDB Atlas, abbiamo ridotto significativamente i tempi di sviluppo grazie alle funzionalità di gestione semplificate e alla dashboard intuitiva della piattaforma», afferma Severino. «Ciò si è tradotto in notevoli risparmi sui costi per la nostra organizzazione.»

Sfruttando le funzionalità di gestione automatizzata, gli sviluppatori possono anche dedicare molto meno tempo alla manutenzione ordinaria, come backup, scalabilità e aggiornamenti. Ciò consente loro di concentrarsi su attività di maggior valore, come la personalizzazione del sistema e l'implementazione di nuove funzionalità, migliorando la produttività e l'efficienza complessiva del team.

“Ci siamo prefissati di implementare MongoDB per l'unità del sottosuolo e delle risorse naturali, ma abbiamo già attirato l'attenzione dei nostri colleghi in tutta l'azienda. Se continueremo ad ottenere buoni risultati, consiglieremo con piacere una diffusione più ampia in tutta l'azienda,” conclude Severino.

Mentre Eni guida la transizione verso un futuro più verde, MongoDB Atlas renderà più semplice e rapida la raccolta di enormi volumi di dati non strutturati sulla sua piattaforma intelligente per renderli utilizzabili. Per gli scienziati che svolgono ricerche vitali, questa esperienza senza attriti consentirà di concentrarsi sul lavoro che conta di più.

L'azienda è inoltre entusiasta di esplorare il modo in cui la Generative AI accelererà i progetti del sottosuolo in futuro. «L'IA generativa che abbiamo introdotto crea attualmente integrazioni vettoriali dai documenti, quindi quando un utente pone una domanda, recupera il documento più pertinente e utilizza gli LLM per costruire la risposta», spiega Severino.

“Stiamo valutando la migrazione degli embedding vettoriali in MongoDB Atlas per creare un sistema funzionale e completamente integrato. Saremo quindi in grado di utilizzare Atlas Vector Search per creare esperienze basate sull'AI senza abbandonare la piattaforma Atlas: un'esperienza decisamente migliore per gli sviluppatori.”