Haystack 통합 시작하기

종속성을 설치하고 가져옵니다.

1. 다음 명령을 실행합니다:

   pip --quiet install mongodb-atlas-haystack pymongo

2. 다음 코드를 실행하여 필요한 패키지를 가져옵니다.

   import getpass, os
   from haystack import Pipeline, Document
   from haystack.document_stores.types import DuplicatePolicy
   from haystack.components.writers import DocumentWriter
   from haystack.components.generators import OpenAIGenerator
   from haystack.components.builders.prompt_builder import PromptBuilder
   from haystack.components.embedders import OpenAITextEmbedder, OpenAIDocumentEmbedder
   from haystack_integrations.document_stores.mongodb_atlas import MongoDBAtlasDocumentStore
   from haystack_integrations.components.retrievers.mongodb_atlas import MongoDBAtlasEmbeddingRetriever
   from pymongo import MongoClient
   from pymongo.operations import SearchIndexModel

환경 변수를 정의합니다.

다음 코드를 실행하고 메시지가 표시되면 다음을 제공합니다.

• 사용자의 OpenAI API 키.

• Atlas cluster의 SRV 연결 string 입니다.

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
os.environ["MONGO_CONNECTION_STRING"]=getpass.getpass("MongoDB Atlas Connection String:")

mongodb+srv://<db_username>:<db_password>@<clusterName>.<hostname>.mongodb.net

다음 코드를 실행하여 Atlas cluster 에 연결합니다.

client = MongoClient(os.environ.get("MONGO_CONNECTION_STRING"))

haystack_db.test 컬렉션을 생성합니다.

다음 코드를 실행하여 haystack_db 데이터베이스와 test 컬렉션을 생성하세요.

# Create your database and collection
db_name = "haystack_db"
collection_name = "test"
database = client[db_name]
database.create_collection(collection_name)
# Define collection
collection = client[db_name][collection_name]

Atlas Vector Search 인덱스를 정의합니다.

다음 코드를 실행하여 vectorSearch 유형의 인덱스를 만듭니다. embedding 필드에는 OpenAI의 text-embedding-ada-002 임베딩 모델을 사용하여 생성할 임베딩이 포함되어 있습니다. 인덱스 정의는 1536 벡터 차원을 지정하고 cosine을 사용하여 유사성을 측정합니다.

# Create your index model, then create the search index
search_index_model = SearchIndexModel(
   definition={
      "fields": [
         {
            "type": "vector",
            "path": "embedding",
            "numDimensions": 1536,
            "similarity": "cosine"
         }
      ]
   },
   name="vector_index",
   type="vectorSearch"
)
collection.create_search_index(model=search_index_model)

인덱스 작성에는 약 1분 정도가 소요됩니다. 인덱스가 작성되는 동안 인덱스는 초기 동기화 상태에 있습니다. 빌드가 완료되면 컬렉션의 데이터 쿼리를 시작할 수 있습니다.

Atlas를 문서 저장소로 인스턴스화합니다.

다음 코드를 실행하여 Atlas를 문서 저장소로 인스턴스화합니다. 이 코드는 Atlas 클러스터에 대한 연결을 설정하고 다음을 지정합니다.

• haystack_db 및 문서를 저장하는 데 사용되는 Atlas 데이터베이스 및 컬렉션으로 test를 사용합니다.

• vector_index 시맨틱 Atlas Search 쿼리를 실행하는 데 사용되는 인덱스로 사용됩니다.

document_store = MongoDBAtlasDocumentStore(
   database_name="haystack_db",
   collection_name="test",
   vector_search_index="vector_index",
)

Atlas cluster에 샘플 데이터를 로드합니다.

이 코드는 몇 가지 샘플 문서를 정의하고 다음 구성 요소를 사용하여 파이프라인을 실행합니다.

• OpenAI의 임베더가 문서를 벡터 임베딩으로 변환합니다.

• 샘플 문서와 그 임베딩을 사용하여 문서 저장소를 채우기 위한 입니다.

# Create some example documents
documents = [
   Document(content="My name is Jean and I live in Paris."),
   Document(content="My name is Mark and I live in Berlin."),
   Document(content="My name is Giorgio and I live in Rome."),
]
# Initializing a document embedder to convert text content into vectorized form.
doc_embedder = OpenAIDocumentEmbedder()
# Setting up a document writer to handle the insertion of documents into the MongoDB collection.
doc_writer = DocumentWriter(document_store=document_store, policy=DuplicatePolicy.SKIP)
# Creating a pipeline for indexing documents. The pipeline includes embedding and writing documents.
indexing_pipe = Pipeline()
indexing_pipe.add_component(instance=doc_embedder, name="doc_embedder")
indexing_pipe.add_component(instance=doc_writer, name="doc_writer")
# Connecting the components of the pipeline for document flow.
indexing_pipe.connect("doc_embedder.documents", "doc_writer.documents")
# Running the pipeline with the list of documents to index them in MongoDB.
indexing_pipe.run({"doc_embedder": {"documents": documents}})

Calculating embeddings: 100%|██████████| 1/1 [00:00<00:00,  4.16it/s]
{'doc_embedder': {'meta': {'model': 'text-embedding-ada-002',
   'usage': {'prompt_tokens': 32, 'total_tokens': 32}}},
 'doc_writer': {'documents_written': 3}}