Nationwide, '집중력, 적합성, 속도'를 유지하며 SQL에서 MongoDB로 데이터 마이그레이션

서론

세계 최대의 건축 조합, 마이그레이션 여정을 시작하다

어디에서 은행을 이용하든, Nationwide Building Society라는 이름은 영국 전역에서 잘 알려져 있습니다. Nationwide Building Society는 세계 최대의 건축 조합일 뿐만 아니라, 1884년에 설립되어 현재 1,600만 명 이상의 고객을 보유하고 있으며 영국 가계 저축의 거의 10%를 보유하고 있습니다. 주주가 아닌 회원이 소유하고 운영하는 Nationwide의 상호적 지위는 주택 금융 조합의 전략적 동인인 수익적 관계, 탁월한 고객 서비스와 지속적인 개선을 뒷받침합니다. 신용 리스크 팀 소속의 Neha Yadav 수석 엔지니어는 Nationwide의 핵심 일원으로 활동하고 있습니다. Yadav는 건축 조합에 제출되는 모든 대출 상품의 위험 점수를 분류합니다. 대출은 이러한 분류 결과를 기반으로 승인, 우선 고려 또는 거부됩니다. Yadav는 “우리는 항상 최첨단 기술을 도입하려고 노력하며, 최고의 데이터 품질에 따라 성과를 내는 데 집중합니다."라며, "우리가 하는 모든 일은 조합원들에게 이익이 되어야 하므로, 우리 팀은 매우 유능하고 집중력을 발휘하며 신속하게 일해야 합니다."라고 강조했습니다.

당면 과제

서비스 수명 종료 리스크 완화하기

'집중적이고, 유능하고, 빠른' 기관이 되고자 하는 결심은 Nationwide가 이전의 완전한 온프레미스 플랫폼에서 벗어나기로 결정하게 된 원동력이었습니다. Yadav는 "고객에게 상호 이익을 보장하고 보호 장치를 추가하기 위해 모든 레거시 서버를 제거하고 모든 것을 클라우드로 이전하며 NoSQL 데이터베이스를 도입하고자 했습니다."라며, "이를 통해 사회와 사회 구성원들에게 최적의 서비스를 제공할 수 있습니다."라고 말했습니다.

원래 팀은 AWS의 클라우드 역량을 활용하고 MongoDB를 감사 데이터 저장소의 일부로만 사용할 생각이었습니다. 당시 약 12명으로 구성된 온프레미스 팀을 이끌고 있던 Yadav는 "초기 아이디어는 그뿐이었습니다."라고 말했습니다. Nationwide의 당좌 대월 데이터베이스는 온프레미스에 있었습니다. 건축 조합의 여러 부서에서 이 데이터베이스의 서비스를 사용 중이었으며, 서비스 수명은 거의 끝나가고 있었습니다. 팀은 당좌 대월 데이터베이스가 온프레미스 데이터 저장소에서 완전히 벗어나기 위한 과정의 시작점으로 적합하다고 판단했습니다.

2023년 4월, 필요한 변경 사항을 분석하기 시작한 팀은 기존에 관계가 있었던 MongoDB에게 MongoDB가 이 프로세스에 어떻게 도움이 될지 상담했습니다. 서비스 수명 종료 위험 완화에 어려움이 있었기 때문에 Nationwide의 주된 기준은 가능한 한 적은 인적 개입이나 개발 노력으로 데이터를 이동하는 것이었습니다. Yadav는 “그래서 데이터 마이그레이션 측면에 집중할 시간이 많지 않았습니다.”라며, “그때 MongoDB가 Relational Migrator의 프리뷰 버전을 제안했습니다.”라고 말했습니다.

이 제품은 영국에서 최초로 사용됩니다.

해결책

빠르고 안전하며 유효성 검사가 수반된 데이터 마이그레이션

Yadav와 그녀의 팀은 MongoDB Relational Migrator를 사용하여 예정된 유지보수 중 당좌 대월 데이터베이스를 SQL에서 MongoDB Atlas로 한 번에 마이그레이션했습니다. "우리는 환경의 무결성을 유지하고 지속적인 데이터 마이그레이션을 통해 발생 가능한 누락이나 미검증의 위험을 줄이고자 했습니다."라고 Yadav는 설명했습니다. "그래서 우리는 스냅샷 마이그레이션을 선택했습니다."

그럼에도 불구하고, 마이그레이션은 보통 본질적으로 복잡하며 마이그레이션된 데이터가 어떻게 검증될지 및 궁극적으로 어떻게 작동할지에 대한 확신을 가질 수 없었기 때문에 팀원들 사이에서 이 프로세스에 대한 우려가 있었습니다. 팀은 프로덕션 프로세스를 검증하기 위해 테스트 마이그레이션을 실행하여 여러 요청을 수신하는 유사한 테스트 환경을 만든 다음 요청을 중지하여 시스템의 동작을 확인할 수 있었습니다. “그렇게 하면 제대로 작동할 것이라고 확신했습니다. 또한 만약을 위해 실시간 마이그레이션 때는 사무실에 출근했습니다."라고 Yadav는 말했습니다.

온프레미스 API에서 클라우드로의 전체 마이그레이션 프로젝트는 약 6개월이 소요되었습니다. 팀은 AWS 클러스터에 microservices를 배포했으므로, 온프레미스에 있는 수많은 ETL 피드도 옮겨야 했으며 Lambda 개발 시간도 고려해야 했습니다.

Yadav는 “단순히 데이터 마이그레이션뿐 아니라, 피드 마이그레이션, API와 데이터도 포함되었습니다.”라며, 이렇게 덧붙였습니다.

"여기에는 많은 개념 증명과 리소스 공유가 포함되었습니다. 모든 지연을 제거했더라도 3개월이 걸렸을 것입니다. 정말 빨랐어요. Relational Migrator 덕분에 작업량을 50%나 절약할 수 있었죠."

좋은 평가를 받은 Relational Migrator의 기능 중 하나는 SQL 쿼리를 MongoDB 집계 파이프라인으로 마이그레이션하는 AI 도구인 쿼리 변환기였습니다. "이 기능은 우리가 이해한 내용을 재검증하고 작성한 내용이 올바른지 확인하는 데 매우 유용했습니다."라고 Yadav는 말했습니다.

결과

개발 노력 없이 온프레미스에서 클라우드로 데이터를 이동할 수 있는 자신감

Yadav는 "Relational Migrator를 통해 온프레미스에서 cloud로 데이터를 이동할 때 수동으로 데이터를 개발하거나 유효성 검사를 할 필요가 없다는 확신을 얻었습니다."라고 요약했습니다 팀이 초과 인출 데이터베이스를 SQL에서 MongoDB Atlas로 마이그레이션한 경험이 매우 긍정적이어서, 이제 다른 데이터베이스를 클라우드로 이전하는 작업을 진행 중입니다. Yadav는 ""Relational Migrator는 사용하기 매우 간단합니다."라며, "기본 지식이 있는 사람이라면 누구나 사용할 수 있습니다. 이것이 가장 좋은 부분입니다."

이러한 이동은 가치 있는 행보였습니다. Yadav는 "SQL에서는 피드 하나를 생성하는 데 최소 1시간이 걸렸지만, MongoDB로 전환한 후에는 최대 2분이 걸립니다."라고 말했습니다. 팀은 데이터를 MongoDB로 성공적으로 이전하고 쿼리를 최적화하며 전반적인 성능을 개선했습니다. 무엇보다도 가장 큰 성과는 서비스 종료 위험을 완화한 것입니다. “또한 매우 늦기는 했으나, 당좌 대월 데이터베이스를 완전히 클라우드로 이전하기로 결정했습니다. 이는 우리 계획의 3단계였지만, 2단계로 앞당겨졌습니다. 이 단계를 성공적으로 완료한 것이 제 가장 큰 성과입니다."

이외에도 또 다른 자랑거리가 있습니다. Yadav는 "이전에는 Nationwide 내부에서 Relational Migrator를 사용한 적이 없었습니다. 제가 원하는 방식으로 가동되지 않았다면 많은 문제가 초래되었을 것이므로 상당한 리스크가 있었지만, Nationwide IT 팀이 이를 성공적으로 수행했다는 점과 이번이 최초라는 점이 자랑스럽습니다."라고 말했습니다.

"단 6개월 만에 애플리케이션 백엔드를 성공적으로 현대화했다는 사실은 주요 인프라 업그레이드에 몇 년이 걸리는 경우가 많은 금융 업계에서 특히 인상적인 결과입니다."라고 Yadav는 덧붙였습니다. “이 새로운 민첩성은 Nationwide가 점점 더 기술 중심적으로 변화하는 은행 환경에서 시장 지배력을 유지하는 데 도움이 될 것입니다."