Swisscom realisiert mit MongoDB innerhalb von 12 Wochen einen neuen Anwendungsfall für generative KI im Bankwesen

IHRE HERAUSFORDERUNG

Optimierung des Zugriffs auf eine Fülle von Bibliotheksinhalten in Rekordzeit

Swisscom ist der führende Anbieter von Mobilfunk-, Internet- und TV-Diensten in der Schweiz. In einem Land mit fast neun Millionen Einwohnern zählt Swisscom mehr als sechs Millionen Mobilfunkanschlüsse und zwei Millionen Breitbandkunden. Der Name ist in jedem Haushalt ein Begriff, doch das Unternehmen ist weit mehr als nur eine Marke für Endverbraucher. Swisscom bietet Informations- und Kommunikationstechnologiedienste für einige der führenden Unternehmen des Landes sowie für den dynamischen Sektor der kleinen und mittleren Unternehmen an. Das Unternehmen sieht seine Aufgabe in der Förderung der digitalen Zukunft der Schweiz und bezeichnet sich selbst als den vertrauenswürdigsten Schweizer Technologie-Innovator.

Das Unternehmen plant, in den kommenden Jahren 100 Mio. CHF (117 Mio. USD) in KI-Lösungen zu investieren. Es arbeitet mit Nvidia gemeinsam an der Entwicklung von Full-Stack-Supercomputern mit generativer KI (GenAI), die auf der beschleunigten Rechenleistung von Nvidia und der KI-Software von Nvidia basieren. Swisscom ist bestrebt, im Bereich der KI eine führende Rolle einzunehmen und bei der Identifizierung und Entwicklung marktfähiger KI-Dienste mitzuwirken, die für Schweizer Kunden relevant sind.

In diesem Rahmen möchte Swisscom KI in den eigenen Betrieb integrieren und prüft derzeit verschiedene Anwendungsfälle.

Ein konkretes Beispiel ist e.foresight, der unabhängige „Think Tank für das Bankwesen“ von Swisscom. Der Finanzdienstleistungssektor macht fast 10 % des Schweizer Bruttoinlandsprodukts aus; e.foresight identifiziert, beobachtet und analysiert Trends sowie verhaltensbezogene und technologische Entwicklungen im globalen Finanzsektor. Die Plattform wird von 30 der führenden Banken des Landes genutzt und hat im Laufe der Jahre eine beachtliche Bibliothek mit Experteninhalten aufgebaut.

Swisscom nutzt MongoDB Atlas zur Anwendung generativer KI auf diese umfangreiche Bibliothek. Durch diese Zusammenarbeit kann Swisscom den maximalen Nutzen aus ihren Inhalten ziehen und maßgeschneiderte Inhalte für die Hunderte von e.foresight-Benutzern bei den 30 Banken erstellen, die ihre Dienste abonniert haben. Auf diese Weise transformiert das Unternehmen die Geschwindigkeit, Genauigkeit und Relevanz von Suchanfragen. Anstatt den Benutzern sechs Berichte zur Durchsicht weiterzuleiten, kann das System mithilfe generativer KI innerhalb von Sekunden eine komprimierte Zusammenfassung erstellen.

„e.foresight verfügt in seiner Bibliothek über mehr als 3.500 Dokumente zu Trends im Bankwesen, wobei täglich weitere hinzukommen“, erklärt Dr. Martin Lorenz, Product Manager, Banking Front Solutions, Swisscom. „Mit MongoDB Atlas können wir all diese Informationen speichern und durchsuchen und damit für eine bestimmte Anfrage relevante Ergebnisse erstellen.“

UNSERE LÖSUNG

Anreicherung großer Sprachmodelle mit MongoDB Vector Search auf Atlas

In der Praxis musste die generative KI-Anwendung von Swisscom es Large Language Models (LLMs) ermöglichen, die Dokumentenbibliothek von e.foresight zu verstehen. Die Bibliothek ist nicht nur umfangreich, sondern auch vielfältig. Sie enthält unstrukturierte Daten wie schriftliche Berichte, Aufzeichnungen von Live-Events, Grafiken und externe Studien und wächst stetig weiter.

MongoDB spielte eine entscheidende Rolle bei der Erreichung des Ziels von Swisscom, indem es die RAG-Anwendung (Retrieval Augmented Generation) des Unternehmens unterstützte. Nun werden alle Dokumente in der e.foresight-Bibliothek in MongoDB Atlas gespeichert – einer einzigen, sicheren Datenbank, in der Vektoren zusammen mit operativen Daten gespeichert und durchsucht werden können. Swisscom kann die unstrukturierten Daten dann in Vektor-Einbettungen umwandeln und mithilfe von MongoDB Vector Search auf Atlas relevante Kontextsegmente ermitteln, um den LLMs aktuelle kontextbezogene, domänenspezifische Daten bereitzustellen. Dadurch kann die Anwendung genauere und äußerst relevante Antworten für die Benutzer generieren.

In einer sich rasant entwickelnden Branche, in der es ständig zu Durchbrüchen bei den Fähigkeiten der generativen KI kommt, ermöglichte MongoDB Swisscom einen schnellen Übergang von der Idee zur Produktion und damit eine schnellere Markteinführung. Lorenz wandte sich am 6. Februar 2024 an MongoDB und hatte bis zum 15. Februar einen Prototyp fertiggestellt, der auf einer Teilmenge von Daten basierte und vollständig auf der MongoDB Atlas-Entwicklerdatenplattform aufgebaut war. Nach einem Monat Testphase gemeinsam mit MongoDB und der Zürcher Hochschule für Angewandte Wissenschaften (ZHAW) übernahm das interne Team von Swisscom den Betrieb der Plattform.

Das Team fügte neue Funktionen hinzu, und nach einem weiteren Monat interner Tests ging die Plattform Anfang Mai in Produktion.

DAS ERGEBNIS

Unterstreichen der Führungsrolle bei der Entwicklung von KI-Anwendungen

Der Erfolg des Projekts hat in erster Linie das e.foresight-Erlebnis für die Abonnenten verbessert. Anstatt die Benutzer auf einen Artikel mit 4.000 Wörtern zu verweisen, kann die Anwendung generative KI nutzen, um bestimmte Inhalte aus mehreren Quellen effizient zu extrahieren und genau zusammenzufassen. Darüber hinaus hat das Team festgestellt, dass der Unterschied in der Relevanz der von der KI generierten Antworten im Vergleich zu den von ChatGPT erstellten Inhalten, die auf allgemeinen Online-Quellen basieren, „wie Tag und Nacht“ ist.

„Unsere Antworten sind viel konkreter und genauer. Jede Branche, insbesondere aber das Bankwesen, wünscht sich fundierte Antworten, zuverlässige Quellen und aktuelle Kennzahlen“, betont Lorenz.

Die Qualität der Antworten wird sich nur verbessern, wenn die Plattform weiterentwickelt wird. Benutzer können Antworten positiv bewerten, was dabei hilft, genaue Suchanfragen zu kennzeichnen und das Modell für bessere Ergebnisse zu trainieren. Alle Inhalte enthalten auch Links zum Quellenmaterial. „Es ist wichtig, zu zeigen, dass wir ein vertrauenswürdiger Partner sind“, fügt Lorenz hinzu.

Die Geschwindigkeit, mit der die e.foresight-Bibliothek neue Inhalte hinzufügt, wird ebenfalls zunehmen: Sie wird generative KI einsetzen, um bei der Erstellung von Analysen zu neuen Trends zu helfen und Inhalte auf der Grundlage von Benutzeraktivitäten zu optimieren. Die Anwendung für generative KI wird über mehr und qualitativ hochwertigere Inhalte verfügen, die genutzt werden können. Letztendlich hat Swisscom festgestellt, dass e.foresight als fortschrittliche, benutzerorientierte und besonders vertrauenswürdige Quelle für wertvolle Einblicke in das Bankwesen gilt.

Auf einer breiteren Ebene hat das Projekt es Swisscom ermöglicht, seine Fortschritte bei der Schaffung sinnvoller KI-Anwendungsfälle zu demonstrieren. Das Unternehmen investiert nicht nur Geld in KI, sondern unternimmt auch praktische Schritte, um seine Teams weiterzubilden und Dienste zu entwickeln, die für seine Zielmärkte relevant sind. Das Unternehmen hat nun eine Vielzahl von KI-Projekten in Arbeit, von Chatbots über die Suche bis hin zur Erstellung von Inhalten.

Laut Lorenz werden die Erfahrungen mit e.foresight unternehmensweit bei Swisscom zum Tragen kommen. Im Rahmen seiner „Swiss AI Platform“ führt das Unternehmen die Dienste „GPU Rental“, „GenAI Studio“ und „AI Work Hub“ ein, die alle die Förderung der Einführung von KI in Schweizer Unternehmen zum Ziel haben.