Voyage AI

ベクトル埋め込みとは、単語や文章をコンピューターが理解できる言語である数値に変換することによって作成される、テキストやその他の非構造化データの数学的表現です。これらは、データポイントを数値で表現することにより、人間が使う言語（テキスト、画像、音声、動画）の豊かで微妙な世界と、機械学習モデル（数値）の正確な環境との橋渡しをします。

埋め込みモデルとは、非構造化かつ複雑なデータ（ドキュメント、画像、音声、動画、表形式データなど）を、セマンティックの意味を捉える高密度の数値ベクトル（埋め込み）に変換するニューラルネットワークモデル（トランスフォーマー）です。

リランカーとは、クエリと複数のドキュメント間の関連性スコアを出力するニューラルネットワークです。埋め込みベースの手法（またはBM25やTF-IDFなどの語彙検索アルゴリズム）で最初に抽出されたドキュメントを、関連性スコアを使用して再ランク付けするのが一般的な手法です。スコアの高いドキュメントを選択することで、抽出結果をより関連性の高いサブセットに絞り込むことができます。

ベクトル検索（またはセマンティック検索）は、機械学習モデルを使用して非構造化データを数値に変換し、類似度を測定することで、全文検索やキーワード検索といった従来の検索方法では不可能だった関連性の高い結果を生成する技術です。