满足市场需求

Kovai 成立于 2011 年，在英国和印度均设有办事处，是一家私营企业软件公司，在企业和 B2B SaaS 领域提供多种产品。自成立以来，该公司已发展到近 300 名员工，为 2,500 多家客户提供服务。在参加 2010 年 Microsoft 全球 MVP 峰会期间，Kovai 创始人兼首席执行官 Saravana Kumar 发现 Microsoft BizTalk 服务器环境的关键管理和监控工具（一种实现业务流程自动化的中间件系统）领域存在市场空白。经过大约一年的开发和构建，该公司推出了第一款产品 bizTalk360。

BizTalk360 为管理、监控和访问 BizTalk 服务器环境的分析数据提供了单一视图。在首次推出产品后，该公司迅速扩张，最终在 2013 年达到 145 家客户，Saravana 在 Microsoft 全球 MVP 峰会上被评为“年度集成 MVP”。

2018 年，Kovai 推出了 Document360，这是一个专为需要自助软件文档解决方案的 SaaS 公司打造的知识库平台。Document360 提供了多种快速高效的内容创建工具，并提供了一个自主托管的文档站点，可便于有效地使用内容。

面临的挑战

用户行为的转变

2023 年初，Saravana 及其团队注意到客户行为发生了两个主要变化。首先，其客户开始倾向于提出问题并寻求更加个性化的回答，而无需使用传统的“搜索关键词”。这意识着客户希望获得更直接、更准确的回答，而不是花时间阅读整篇知识库文章。此外，Kovai 还注意到一种宏观趋势，即企业使用 ChatGPT 和大型语言模型 (LLM) 等工具的热度和需求日益增加，用户可以输入问题来快速获得回答，而不必搜索关键字。

为了把握这些趋势，Kovai 最近发布了其 AI 助手“Eddy”，可利用大型语言模型，根据给定的知识库中的信息来回答客户提出的问题。搜索是知识库平台的关键功能之一，让客户能够轻松找到正确的信息，而不必在复杂的层次结构中查找所需内容。Eddy 的目标是提供引人入胜的客户体验，包括：

准确回答用户问题
提供低延迟的整体回答
理解与问题相关的上下文信息
能够根据回答对问题进行微调

在产品构建阶段，Document 360 工程和数据科学团队研究了各种解决方案，让客户能够提出问题，并快速从知识库文章中获得准确答案。在阅读了有关检索增强生成 (RAG) 的白皮书后，Kovai 团队确信 RAG 框架有助于解决他们的特定挑战，使 Eddy 能够根据知识库中的上下文限制对问题的回答，并根据该上下文构建回答。团队所需的其他能力包括：

为知识库文章创建嵌入
用于存储和检索嵌入的矢量数据库
利用适当工具缓存不同客户提出的“确切问题”的回答
编排工具

解决方案

矢量搜索的统一方法

Kovai 已经在使用 MongoDB 作为他们的数据库记录系统，但现在还需要采购矢量搜索解决方案。工程团队评估了市场上一些用于存储和检索知识库文章嵌入的矢量数据库。然而，他们很快发现，由于需要在现有 MongoDB 数据库和任何其他矢量数据库之间移动和同步大量数据，其他矢量数据库解决方案在提供准确答案方面产生了各种问题。

因此，2023 年 7 月，工程团队决定加大对 MongoDB Atlas 的投资，选择使用最近发布的 MongoDB Vector Search 来存储和检索嵌入，以确保内容及相应的嵌入均存储在 MongoDB 中。Atlas Vector Search 为团队提供了强大的搜索功能，以更低的延迟检索基于相似度指标的嵌入，并与现有的 Atlas 实现无缝对接。Kovai 的 Saravana 还指出，Atlas Vector Search 具有“强大、经济高效且速度极快”的特点，这对于他们不断壮大的团队尤为重要。MongoDB 可通过以下特性为 Document 360 工程和数据科学团队提供强有力的功能支持：

架构简单性： MongoDB Vector Search 的架构简单性帮助 Kovai 优化了实现 Eddy 所需的技术架构
运行效率： Atlas Vector Search 允许 Kovai 在 MongoDB collection 中同时存储知识库文章及其嵌入，消除了其他供应商的“数据同步”问题
性能： Kovai 可从 MongoDB Vector Search 中获得更快的大规模的查询响应，以确保良好的用户体验

实施效果

实现极快的矢量搜索

MongoDB Vector Search 的一些早期基准超出了工程和数据科学团队的预期。具体来说，团队发现返回 3、5 和 10 个数据块所需的平均时间在 2 毫秒到 4 毫秒之间，如果问题是闭环，则平均时间会减少至不到 2 毫秒。Saravana 继续指出，“RAG 框架最困难的部分之一是需要根据‘相似性指标’搜索基于问题文本嵌入的所有数据块，这可能会花费大量的计算成本，但 Atlas Vector Search 确实可以降低这种复杂性。”

“Atlas Vector Search 功能强大、经济高效且速度极快！”

Saravana Kumar，Kovai 首席执行官

Kovai 团队发现 Atlas Vector Search 易于实施，并且他们的数据科学团队可以通过 MongoDB 文档轻松了解 API 功能。该公司的数据科学家与 MongoDB 专家进行了广泛合作，以在性能、用户体验和生成响应的准确性之间找到适当的平衡。

“MongoDB Vector Search 是实现检索增强生成框架的高效工具包”

Selvaraaju Murugesan 博士，Kovai 数据科学主管

下图展示了他们如何利用矢量搜索与 OpenAI 相结合进行矢量嵌入，以构建堆栈：

下图展示了该公司结合利用 Vector Search 与 OpenAI 来实现矢量嵌入的架构堆栈：

为了符合 Kovai 以人为本的设计理念，传统搜索框和 AI 助手搜索合二为一，为客户提供单一的无缝体验。客户可以根据自己的需求在关键字搜索和语义搜索之间切换，并且能够将任何搜索体验设置为默认搜索体验。

Kovai Eddy 产品的屏幕截图

新产品已经提升了用户体验。仅提供知识库中与问题上下文相关的答案，并将这些答案与相关文章进行交叉引用，以确保可信性。该产品是 Saravana 和团队的心血结晶，他指出，此产品的实现得益于他们与 MongoDB 的合作伙伴关系和获得的技术援助以及对 Atlas Vector Search 的投资。

“我们希望借助由 MongoDB Atlas Vector Search 和生成式 AI 功能提供支持的对话式搜索，让使用客户知识库的用户能够获得即时、可信且准确的问题答案。”

Saravana Kumar，Kovai 首席执行官