Nationwide se mantiene 'enfocada, en forma y rápida' al migrar datos de SQL a MongoDB

INTRODUCCIÓN

La mayor sociedad de crédito del mundo inicia su viaje de migración

Independientemente de dónde elija realizar sus operaciones bancarias, el nombre Nationwide Building Society es familiar en todo el Reino Unido. No solo es la sociedad de crédito hipotecario más grande del mundo, sino que también ha existido durante mucho tiempo; fundada en 1884, ahora cuenta con más de 16 millones de clientes y posee casi el 10% de los ahorros de los hogares del Reino Unido. El estatus de mutualidad de Nationwide, que es propiedad de y está gestionada por sus miembros, no por accionistas, sustenta los impulsores estratégicos de la sociedad de crédito hipotecario: Relación gratificantes, excelente servicio al cliente y mejora continua. Como parte de su equipo de riesgo crediticio, la ingeniera principal Neha Yadav se encuentra en el corazón de Nationwide, clasificando la calificación de riesgo de cada producto de préstamo que llega a través de la sociedad de crédito hipotecario, sobre cuya base se aceptan, prefieren o rechazan los préstamos. Siempre intentamos adoptar la última tecnología y siempre nos centramos en rendir según la mejor calidad de datos", dice Yadav. "Somos un equipo altamente capacitado, enfocado y rápido, porque todo lo que hacemos debería beneficiar a nuestros miembros

EL DESAFÍO

Mitigación del riesgo de fin de vida útil

Es esa determinación de estar "en forma, enfocado y rápido" lo que impulsó la decisión de Nationwide de alejarse de su plataforma Anterior, completamente on-premises. "Para poder añadir medidas de seguridad y garantizar el beneficio mutuo para los clientes, la idea era deshacerse de todos los servidores heredados, trasladar todo a la nube y contar con una base de datos NoSQL", afirma Yadav, "entregando así un servicio óptimo a la sociedad y sus miembros”

La idea original del equipo era aprovechar algunas de las capacidades en la nube de AWS y utilizar MongoDB como parte de un almacén de datos para auditar, solo que – “esa era la idea inicial”, dice Yadav, quien en ese momento lideraba el equipo on-premises de unas 12 personas. La base de datos de sobregiros de Nationwide estaba on-premises: sus servicios eran utilizados por diferentes áreas dentro de la sociedad de crédito hipotecario y estaban cerca del final de su vida útil. En su recorrido para alejarse por completo del almacenamiento de datos on-premises, el equipo decidió que la base de datos de sobregiros sería un buen lugar para comenzar.

En abril de 2023, al comenzar a analizar los cambios necesarios, el equipo consultó a MongoDB, con quien tenía una relación establecida, sobre cómo podría ayudar en el proceso. Los desafíos para mitigar el riesgo de fin de vida útil significaban que un criterio clave para Nationwide era trasladar los datos con la menor intervención humana o esfuerzo de desarrollo posible. Así que no teníamos mucho tiempo para centrarnos en el aspecto de la migración de datos", afirma Yadav. "Fue entonces cuando MongoDB propuso la versión preliminar de Relational Migrator

Sería la primera vez que el producto se utilizara en el Reino Unido.

LA SOLUCIÓN

Migrar datos de manera rápida, segura y con validación

Utilizando el MongoDB Relational Migrator, Yadav y su equipo realizaron una única migración de la base de datos de sobregiros de SQL a MongoDB Atlas, durante el mantenimiento programado. “Queríamos mantener la integridad del entorno y reducir el riesgo de que se pierda o no se verifique algo con una migración continua de datos”, explica Por lo tanto, optamos por una migración snapshot.

Aun así, es justo decir que había cierta inquietud en el equipo sobre el proceso, dada la complejidad de las migraciones en general y la incertidumbre sobre cómo se validarían o funcionarían finalmente los datos migrados. El equipo pudo ejecutar migraciones de prueba para ayudar a validar el proceso de producción; creando un entorno de prueba similar que recibiría múltiples solicitudes, y luego detenerlas para observar cómo se comportaría. De esa manera estábamos bastante seguros de que debería funcionar", dice Yadav. "Y para estar seguros, fuimos a la oficina para la migración en vivo

El Proyecto completo de migración, desde la API on-premises a la cloud, tardó alrededor de seis meses. El equipo implementó microservicios en su clúster de AWS, por lo que tener numerosas fuentes ETL en el on-premises significaba que también era necesario moverlas, incluyendo el tiempo de desarrollo para Lambdas.

No fue solo la migración de datos", dice Yadav, "fue la migración del feed, la API y los datos

Ella agrega: "Involucró muchas pruebas de concepto y recursos compartidos. Si eliminara todos los retrasos, habrían sido tres meses; fue muy rápido. "Con Relational Migrator, diría que ahorramos el 50% de nuestro esfuerzo.”

Una característica muy apreciada de Relational Migrator fue Query Converter, una herramienta de IA para migrar las queries SQL a las canalizaciones de agregación de MongoDB. "Esa fue una característica muy útil para revalidar todo lo que habíamos entendido y saber que todo lo que habíamos escrito estaba bien", dice Yadav

LOS RESULTADOS

Confianza para mover datos de on-premises a cloud sin esfuerzo de desarrollo

“Relational Migrator nos dio la confianza de que no necesitábamos hacer ningún desarrollo ni validación de datos manualmente para trasladar nuestros datos de on-premises a cloud”, resume Yadav Y tan positiva ha sido la experiencia del equipo al migrar la base de datos de sobregiros de SQL a MongoDB Atlas que ahora están en el proceso de trasladar otras bases de datos a la nube. “Relational Migrator es muy sencillo de usar”, explica Yadav Cualquiera con conocimientos básicos puede utilizarlo. Esa es la mejor parte de ello.”

Y ha sido un cambio que ha valido la pena. En SQL, solía tomar al menos una hora generar uno de nuestros feeds", dice Yadav, "al cambiar a MongoDB, el tiempo máximo es de dos minutos Si bien el equipo trasladó con éxito los datos a MongoDB, optimizó las query y mejoró el rendimiento general, la mayor victoria con diferencia es que mitigó el riesgo del fin de la vida útil del servicio. “Y tomamos una decisión muy retrasada de trasladar la base de datos de sobregiros completamente a cloud, que era nuestro horizonte tres, pero la movimos al horizonte dos. Así que, mi mayor logro es entregarlo con éxito.

Sin embargo, hay otro punto de orgullo; "Antes de esto, Relational Migrator no se había utilizado dentro de Nationwide", dice Yadav. "Había un riesgo considerable, porque si no se hubiera implementado como yo quería, había mucho en juego. Estoy orgulloso de que el equipo de TI de Nationwide lo haya hecho funcionar y de que esto sea un primer logro."

"La modernización exitosa del backend de una aplicación en solo 6 meses es especialmente impresionante en el mundo financiero, donde las principales actualizaciones de infraestructura suelen tardar varios años en completarse", añade ella. "Esta nueva agilidad ayudará a Nationwide a mantener su dominio del mercado en el entorno bancario cada vez más centrado en la tecnología".