Vector Search

벡터는 특정 기능이나 속성을 포착하는 숫자 배열로 표현되는 데이터의 수학적 표현입니다. 머신 러닝 및 인공지능에서 벡터 임베딩은 이러한 숫자 표현을 의미하며, 텍스트, 이미지 또는 오디오와 같은 복잡한 데이터를 컴퓨터가 이해하고 처리할 수 있는 형식으로 인코딩하는 데 자주 사용됩니다. 임베딩은 유사성이나 컨텍스트적 의미와 같은 데이터 내의 관계와 패턴을 유지하도록 설계되었습니다. 예를 들어 자연어 처리에서 유사한 의미를 가진 단어는 벡터 공간에서 서로 가까운 임베딩으로 표현됩니다. 이러한 접근 방식을 통해 효율적인 검색, 추천 시스템 및 기타 머신 러닝 작업을 활성화합니다.

자동화된 임베딩은 MongoDB 내부에서 직접 데이터의 벡터 임베딩을 생성하는 기능입니다. 벡터 검색 인덱스에서 autoEmbed 필드를 정의하면 MongoDB는 수집, 업데이트 및 쿼리 시 Voyage AI 모델을 사용하여 임베딩을 자동으로 생성합니다. 즉, 외부 파이프라인 없이도 벡터를 문서와 동기화된 상태로 유지합니다.

MongoDB Vector Search는 벡터에 담긴 시맨틱, 즉 의미론적 뜻을 기반으로 데이터를 검색하는 반면, MongoDB Search 는 키워드 검색(즉, 실제 텍스트 및 정의된 동의어 매핑 기반)을 지원합니다.

예, MongoDB는 벡터 데이터베이스입니다. Atlas는 텍스트 또는 어휘 검색과 벡터 검색 등 풍부한 역량을 갖춘 완전히 관리된 AI 지원 지능형 데이터 플랫폼입니다. 독립형 또는 추가형 벡터 데이터베이스를 사용하는 대신, 활용도 높은 Atlas 플랫폼을 통해 사용자는 운영 데이터, 메타데이터 및 벡터 임베딩을 저장할 수 있습니다. 또한 벡터 검색을 사용하여 인덱싱, 검색 및 고성능 생성형 AI 애플리케이션 빌드를 원활하게 수행할 수 있습니다. MongoDB Vector Search는 온프레미스 및 프라이빗 클라우드 환경에서 MongoDB를 운영하는 가장 유연한 방법인 MongoDB Enterprise Advanced에서도 사용할 수 있습니다. 또한 MongoDB Community Edition에서도 사용할 수 있습니다.

MongoDB Vector Search는 서비스의 4096차원 제한 이내의 모든 제공자의 임베딩을 지원합니다.

자동화된 임베딩은 Atlas 보안 경계 내에 호스팅되는 Voyage AI 모델 제품군을 지원하며, 출력 차원 및 양자화된 출력에 대한 구성을 지원합니다.

임베딩 제공자가 제공하는 스칼라 및 이진 양자화 벡터의 수집, 인덱싱 및 쿼리를 지원합니다. 또한 MongoDB에서 전체 충실도 벡터의 자동 스칼라 및 이진 양자화를 구현하는 옵션도 제공합니다.  

어떤 제공자에서든 사용자의 자체 임베딩을 가져올 수 있으며, MongoDB Vector Search는 항상 해당 임베딩과 호환됩니다.

자동 임베딩을 사용하는 경우 추론, 인증, 확장, 재시도 및 동기화는 MongoDB에서 관리합니다. 외부 임베딩 서비스를 프로비저닝하거나 키를 교체하거나 동기화 인프라를 운영할 필요가 없습니다. 임베딩 모델은 실제 토큰 사용량에 따라 청구됩니다.

자체 임베딩을 사용하는 경우 선택한 제공자가 생성한 벡터 임베딩을 수집하는 작업은 사용자의 책임입니다. 청구, 속도 제한, API 키 관리 등 모든 관련 작업은 사용자가 직접 처리해야 합니다.

KNN은 'K-최근접 이웃(K-Nearest Neighbors)'의 약자로, 서로 가까운 벡터를 찾는 데 자주 사용되는 알고리즘입니다.

ANN은 '근사 최근접 이웃(Approximate Nearest Neighbors)'의 약자이며 성능 향상을 위해 정확성을 희생하는 유사한 벡터를 찾는 접근 방식입니다. 이는 Atlas Vector Search를 구현하는 데 사용되는 핵심 알고리즘 중 하나입니다. MongoDB의 근사 최근접 이웃 검색 알고리즘은 수백만 개의 벡터를 효율적으로 인덱싱하고 쿼리하기 위해 HNSW(Hierarchical Navigable Small World) 그래프를 사용합니다.

ENN은 '등가 최근접 이웃(Exact Nearest Neighbors)'의 약자이며 정확도 향상을 위해 성능을 일부 희생할 수 있는 유사한 벡터를 찾는 접근 방식입니다. 이 방법은 limit 변수로 지정된 벡터의 개수만큼 쿼리 벡터와 가장 가까운 벡터를 정확하게 반환합니다. 정확한 벡터 검색(ENN) 쿼리 실행은 최대 10,000개 문서의 필터링되지 않은 쿼리에서 1초 미만의 지연 시간을 유지할 수 있습니다. 또한 매우 선택적인 필터를 사용하여 광범위한 문서 집합을 벡터 관련성 순으로 정렬된 10,000개 이하의 문서로 제한하는 경우에도 낮은 지연 시간 응답을 제공할 수 있습니다.

예, 벡터 양자화가 지원됩니다.

자동 임베딩을 사용하면 스칼라, 부동 소수점, 이진(부동 소수점 벡터를 사용한 재점수화 포함) 및 재점수화 없는 이진 중에서 선택할 수 있습니다.

자체 임베딩을 사용하면 당사에서 임베딩 제공자가 제공하는 스칼라 및 이진 양자화 벡터의 수집, 인덱싱 및 쿼리를 지원합니다. 또한 MongoDB에서 완전 충실도 벡터의 자동 스칼라 및 이진 양자화를 구현하는 옵션도 제공합니다.

예, MongoDB Vector Search는 벡터 임베딩으로 변환할 수 있는 모든 종류의 데이터를 쿼리할 수 있습니다. 문서 모델의 이점 중 하나는 문서의 풍부한 데이터와 함께 임베딩을 저장할 수 있다는 것입니다.

네이티브 순위 재지정($rerank)은 Voyage AI의 최고급 재순위화 모델을 MongoDB 쿼리 엔진에 직접 통합하여 검색 정확도를 즉시 향상합니다. MongoDB 네이티브 순위 재지정을 통해 사용자는 관련성이 높은 데이터만 LLM에 전달되도록 하여 토큰 사용량을 최적화하고 정확도를 높일 수 있습니다.

MongoDB의 하이브리드 검색은 어휘 검색과 벡터 검색을 단일 쿼리로 결합하여 애플리케이션이 키워드 정밀도와 시맨틱 관련성을 모두 활용할 수 있도록 합니다. MongoDB의 하이브리드 검색은 실시간 운영 데이터에서 직접 실행되므로 팀은 동기화하고 유지 관리할 별도의 검색 시스템을 추가하지 않고도 검색을 개선할 수 있습니다. MongoDB는 하이브리드 검색을 위한 네이티브 융합 단계를 지원하므로 팀은 한 번의 쿼리에서 어휘 결과와 벡터 결과를 더 쉽게 결합할 수 있습니다. MongoDB는 하이브리드 검색을 위한 기본 융합 단계를 지원하므로 팀은 한 번의 쿼리에서 어휘 결과와 벡터 결과를 더 쉽게 결합할 수 있습니다.