Haystack 統合を使い始める

依存関係をインストールしてインポートします。

1. 次のコマンドを実行します:

   pip --quiet install mongodb-atlas-haystack pymongo

2. 必要なパッケージをインポートするには、次のコードを実行します。

   import getpass, os
   from haystack import Pipeline, Document
   from haystack.document_stores.types import DuplicatePolicy
   from haystack.components.writers import DocumentWriter
   from haystack.components.generators import OpenAIGenerator
   from haystack.components.builders.prompt_builder import PromptBuilder
   from haystack.components.embedders import OpenAITextEmbedder, OpenAIDocumentEmbedder
   from haystack_integrations.document_stores.mongodb_atlas import MongoDBAtlasDocumentStore
   from haystack_integrations.components.retrievers.mongodb_atlas import MongoDBAtlasEmbeddingRetriever
   from pymongo import MongoClient
   from pymongo.operations import SearchIndexModel

環境変数を定義します。

次のコードを実行し、プロンプトが表示されたら、次の内容を提供します。

• OpenAI API キー。

• Atlas クラスターのSRV接続文字列。

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
os.environ["MONGO_CONNECTION_STRING"]=getpass.getpass("MongoDB Atlas Connection String:")

mongodb+srv://<db_username>:<db_password>@<clusterName>.<hostname>.mongodb.net

次のコードを実行して、Atlas クラスターに接続します。

client = MongoClient(os.environ.get("MONGO_CONNECTION_STRING"))

haystack_db.test コレクションを作成します。

次のコードを実行して、 haystack_dbデータベースとtestコレクションを作成します。

# Create your database and collection
db_name = "haystack_db"
collection_name = "test"
database = client[db_name]
database.create_collection(collection_name)
# Define collection
collection = client[db_name][collection_name]

Atlas Vector Search インデックスを定義します。

次のコードを実行して、 vectorSearchタイプのインデックスを作成します。 embeddingフィールドには、OpenAI のtext-embedding-ada-002埋め込みモデルを使用して作成する埋め込みが含まれます。 インデックス定義では、 1536ベクトル次元を指定し、 cosineを使用して類似性を測定します。

# Create your index model, then create the search index
search_index_model = SearchIndexModel(
   definition={
      "fields": [
         {
            "type": "vector",
            "path": "embedding",
            "numDimensions": 1536,
            "similarity": "cosine"
         }
      ]
   },
   name="vector_index",
   type="vectorSearch"
)
collection.create_search_index(model=search_index_model)

インデックスの構築には約 1 分かかります。 構築中、インデックスは最初の同期状態になります。 構築が完了したら、コレクション内のデータのクエリを開始できます。

Atlas をドキュメント ストアとしてインスタンス化します。

次のコードを実行して、Atlas をドキュメント ストアとしてインスタンス化します。 このコードは、Atlas クラスターへの接続を確立し、次の項目を指定します。

• haystack_db ドキュメントの保存に使用される Atlas データベースとコレクションであるtestと :

• vector_index セマンティック検索クエリを実行するために使用されるインデックス。

document_store = MongoDBAtlasDocumentStore(
   database_name="haystack_db",
   collection_name="test",
   vector_search_index="vector_index",
)

Atlas クラスターに サンプル データ をロードします。

このコードは、いくつかのサンプル ドキュメントを定義し、 パイプライン を実行します 次のコンポーネントを含む。

• 埋め込み OpenAI により、ドキュメントがベクトル埋め込みに変換されます。

• ドキュメント書込み をクリックして、ドキュメントストアにサンプルドキュメントとその埋め込みを入力します。

# Create some example documents
documents = [
   Document(content="My name is Jean and I live in Paris."),
   Document(content="My name is Mark and I live in Berlin."),
   Document(content="My name is Giorgio and I live in Rome."),
]
# Initializing a document embedder to convert text content into vectorized form.
doc_embedder = OpenAIDocumentEmbedder()
# Setting up a document writer to handle the insertion of documents into the MongoDB collection.
doc_writer = DocumentWriter(document_store=document_store, policy=DuplicatePolicy.SKIP)
# Creating a pipeline for indexing documents. The pipeline includes embedding and writing documents.
indexing_pipe = Pipeline()
indexing_pipe.add_component(instance=doc_embedder, name="doc_embedder")
indexing_pipe.add_component(instance=doc_writer, name="doc_writer")
# Connecting the components of the pipeline for document flow.
indexing_pipe.connect("doc_embedder.documents", "doc_writer.documents")
# Running the pipeline with the list of documents to index them in MongoDB.
indexing_pipe.run({"doc_embedder": {"documents": documents}})

Calculating embeddings: 100%|██████████| 1/1 [00:00<00:00,  4.16it/s]
{'doc_embedder': {'meta': {'model': 'text-embedding-ada-002',
   'usage': {'prompt_tokens': 32, 'total_tokens': 32}}},
 'doc_writer': {'documents_written': 3}}