규제 승인 절차의 재구상
임상시험 보고서(CSR)는 신약 개발 과정에서 핵심적인 역할을 하며 임상시험의 방법론, 수행 과정, 결과 및 분석을 포괄적으로 담은 문서입니다. 보고서의 주요 목적은 임상시험에 대한 상세한 기록을 제공하여 규제 당국, 의료 전문가, 연구자, 법무팀 등 다양한 이해관계자들이 새로운 의약품의 효능과 안전성을 평가할 수 있도록 하는 것입니다.
임상연구 보고서 작성에 소요되는 시간과 노력에 대해 Skov는 다음과 같이 설명합니다. “CSR을 완성하는 데는 보통 약 12주가 걸리며 통계학자, 과학자, 기술 작가 등 다양한 분야의 팀이 참여합니다. 하루라도 지연되면 환자들은 필요한 치료를 받지 못하고 회사는 연구개발 비용을 회수할 수 없습니다.”
이 과정은 현장에서 수집된 임상시험 데이터를 통계적으로 분석해 표와 도표 등의 결과물을 만드는 것에서 시작합니다. 그런 다음 기술 작가들이 이 데이터를 추출하여 규제 제출에 사용되는 보고서 템플릿과 결합합니다. 100페이지가 넘는 보고서의 모든 데이터가 일관되고 포괄적이며 규제 기준에 부합하는지 확인하기 위해 광범위한 품질 보증(QA) 과정이 필요합니다.
생성형 인공지능의 등장으로 Novo Nordisk의 Skov 팀은 CSR 생산 과정에서 획기적인 효율성을 실현할 수 있는 기회를 포착했습니다. 그렇게 탄생한 것이 NovoScribe입니다.
NovoScribe: Amazon Bedrock, LangChain 및 MongoDB Atlas Vector Search의 탄탄한 기반 위에 구축
2023년 중반에 프로젝트를 시작한 Skov 팀은 NovoScribe로 워크플로를 재구상했습니다. 팀은 임상시험의 통계적 결과와 보고서 템플릿의 벡터 임베딩을 활용해 검색 증강 생성 방식으로 최첨단 대형 언어 모델(LLM)에 프롬프트를 입력하여 CSR을 동적으로 작성하는 실험을 했습니다.
실험은 몇 주 만에 성공을 거두었습니다. NovoScribe는 기존 수작업 방식보다 더 빠르고 정확하게 CSR을 생성했으며 필요한 리소스도 훨씬 적었습니다. NovoScribe는 실제 현장 적용에 투입할 준비가 되었습니다.
Novo Nordisk의 NovoScribe 기술 리드이자 통계 프로그래밍 전문가인 Tobias Kröpelin은 NovoScribe를 구동하는 생성형 인공지능 스택을 이렇게 설명합니다. “각각의 파운데이션 모델은 고유한 강점과 약점이 있기 때문에 우리는 각 보고서를 작성할 때 보통 다양한 임베딩과 생성 모델을 실험적으로 시도합니다.”
NovoScribe는 Amazon Bedrock에서 호스팅되는 Claude 3와 Titan 파운데이션 모델 그리고 회사의 자체 프라이빗 ChatGPT 인스턴스를 함께 사용합니다. LangChain 개발 및 오케스트레이션 프레임워크를 통해 팀은 애플리케이션 코드를 변경하지 않고도 다양한 모델 간에 빠르고 쉽게 전환할 수 있습니다. RAG 방식을 활용해 모델은 MongoDB Atlas Vector Search로 관리되는 보고서 데이터와 벡터 임베딩을 제공받습니다.
NovoScribe는 정의된 콘텐츠 규칙과 통계 결과를 기반으로 검증된 텍스트를 생성하며 Atlas Vector Search는 각 텍스트 스니펫과 관련 통계와의 유사성을 계산합니다. 이를 거대 언어 모델 출력 초안과 결합하여 CSR을 작성합니다. Atlas Vector Search를 활용함으로써 관련 텍스트를 높은 정밀도와 정확도로 선택할 수 있습니다. 모든 출처의 전체 이력이 제공되어 작성자가 정확성을 검증할 수 있으며 이로 인해 몇 주에 걸친 작성 및 검토 과정이 불필요해집니다.
Kröpelin은 다음과 같이 설명합니다. "MongoDB Atlas의 뛰어난 점은 보고서의 네이티브 벡터 임베딩을 관련 텍스트 스니펫 및 메타데이터와 함께 저장할 수 있다는 것입니다. 이는 매우 강력하고 복잡한 쿼리를 신속하게 실행할 수 있음을 의미합니다. 각 벡터 임베딩에 대해 해당 소스 문서가 어디에서 왔는지, 누가 작성했는지, 언제 작성되었는지를 필터링할 수 있습니다."
.svg)