基于向量数据库的语义检索实战：实习生小渣的AI学习日记

小渣和 mentor 的对话

小渣：Mentor，上次我们提到向量化，这次我们来看看如何基于向量数据库实现语义检索吧！

Mentor：好主意！语义检索是大语言模型应用中的重要技术，它通过向量数据库存储和检索文本的向量表示，从而实现高效的语义匹配。今天我们就用Chroma和OpenAI Embedding API来实现一个简单的语义检索系统。

什么是语义检索？

语义检索（Semantic Search）是指通过计算文本的语义相似度来检索相关内容的技术。与传统的关键词匹配不同，语义检索能够理解文本的深层含义，从而返回更相关的结果。

实现步骤

1. 文本向量化

首先，我们需要将文本转换为向量表示。这里使用OpenAI的Embedding API：

import openai

# 设置OpenAI API Key
openai.api_key = "your-api-key"

# 文本向量化
def get_embedding(text):
    response = openai.Embedding.create(
        input=text,
        model="text-embedding-ada-002"
    )
    return response["data"][0]["embedding"]

# 示例文本
text = "如何实现语义检索？"
embedding = get_embedding(text)
print(embedding)

2. 存储向量到数据库

接下来，我们将向量存储到Chroma向量数据库中：

import chromadb

# 初始化Chroma客户端
client = chromadb.Client()

# 创建集合（Collection）
collection = client.create_collection(name="semantic_search")

# 添加文档和向量
documents = ["语义检索的实现方法", "向量数据库的应用场景", "大语言模型的技术栈"]
ids = ["doc1", "doc2", "doc3"]
embeddings = [get_embedding(doc) for doc in documents]

collection.add(
    embeddings=embeddings,
    documents=documents,
    ids=ids
)

3. 语义检索

现在，我们可以通过查询向量来检索相关内容：

# 查询文本
query = "如何用向量数据库实现搜索？"
query_embedding = get_embedding(query)

# 检索相似文档
results = collection.query(
    query_embeddings=[query_embedding],
    n_results=2
)

print(results["documents"])

总结

通过OpenAI Embedding API和Chroma向量数据库，我们实现了一个简单的语义检索系统。虽然功能基础，但它展示了语义检索的核心思想：通过向量化文本和高效检索，实现更智能的搜索体验。下次我们可以进一步优化，比如加入动态更新或更复杂的查询逻辑！