无云混合搜索：PostgreSQL 和 VectorChord

本地混合搜索系统：无云 PostgreSQL 与 VectorChord

在系列第一部分部署了混合搜索的基本基础设施后，是时候用生产级解决方案替换临时组件了。这个真实世界的实现需要放弃云 API，转而切换到完全本地的最先进模型。本指南将详细介绍通过 llama.cpp 实现多语言嵌入器 Jina v4、本地 PyTorch 重排序器，以及语义分块器 chonkie——所有组件均在离线模式下运行，而不牺牲搜索质量。

关键挑战是在处理包含表格和插图的复杂文档时，保持性能与准确性的平衡。我们专注于 RAG 系统，其中对 Matryoshka 嵌入的支持以及对段落/查询上下文前缀的正确处理至关重要。

设置本地嵌入器：使用 Jina v4

模型选择基于三个因素：对 Matryoshka 向量的支持、文本检索的专业化，以及开放架构。Jina-embeddings-v4-text-retrieval 针对文档搜索进行了优化，使用全尺寸 2048 维嵌入时需要 2.4 GB VRAM。为了节省资源，我们使用 GGUF 量化并配置动态维度降低。

准备环境

• 从 HuggingFace 下载模型 jina-embeddings-v4-text-retrieval-Q8_0.gguf
• 将其放置在 nlp_models/jina_embeddings_v4 目录中
• 设置带有 GPU 加速的 Docker 镜像：

services:
  jina-embeddings:
    image: ghcr.io/ggml-org/llama.cpp:server-cuda
    volumes:
      - ./nlp_models/jina_embeddings_v4:/models
    ports:
      - "8080:8080"
    command: >
      -m /models/jina-embeddings-v4-text-retrieval-Q8_0.gguf
      --embedding
      --pooling mean
      --host 0.0.0.0
      --port 8080
      -ngl 99
      -c 8192
      --flash-attn on
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

关键参数：

• -ngl 99 — 将所有层加载到 GPU 上
• -c 8192 — 最大上下文大小
• --flash-attn on — 启用计算优化

与 VectorChord 集成

创建 LocalJinaEmbedding 类，继承自 BaseEmbedding。特别注意前缀：

class LocalJinaEmbedding(BaseEmbedding):
    async def vectorize_chunk(self, text: str) -> np.ndarray:
        prefixed_text = f'Passage: {text}'
        return (await self._get_embeddings(prefixed_text))[0]

    async def vectorize_query(self, text: str) -> np.ndarray:
        prefixed_text = f'Query: {text}'
        return (await self._get_embeddings(prefixed_text))[0]

Jina v4 文档要求严格的前缀分离：

• 文档：Passage: {original_text}
• 查询：Query: {original_text}

这对于在 BEIR 数据集上达到 89.7% 准确率至关重要。

实现原生重排序器

用 jina-reranker-v3 替换第一部分的 RRF 算法——这是一个参数量为 140M 的模型，能够使用 NVIDIA A100 以 230 查询/秒的速度处理 (query, document) 对。

生产优化

• 批量请求：将最多 32 个对分组到一个批次中，以最大化 GPU 利用率
• 量化：通过 bitsandbytes 应用 8 位量化
• 缓存：存储频繁重复查询的结果

from transformers import AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained(
    "jinaai/jina-reranker-v3",
    trust_remote_code=True,
    device_map="auto",
    load_in_8bit=True
)

重要提示：该模型需要通过 Jina 分词器预处理文本，该分词器会自动添加特殊标记 [CLS] 和 [SEP]。

使用 chonkie 进行语义分块

用 chonkie 替换标准的基于 spaCy 的分割器——这是一个专为保留块语义完整性而设计的库。关键配置参数：

• max_tokens=512 — 块长度限制
• semantic_threshold=0.75 — 合并句子的最小余弦相似度
• overlap=0.2 — 相邻块之间的重叠

chonkie 相对于朴素分割器的优势：

• 将表格和列表保留在单个块中
• 通过标题自动检测章节
• 支持多语言文本，无需重新训练

关键要点

• Matryoshka 嵌入允许动态调整维度，从 128 到 2048，而无需重新处理数据
• 前缀处理 Query/Passage 对于达到最大准确率至关重要
• Flash Attention在处理长文档时将处理速度加快 40%
• 模型量化在将内存使用量减少 75% 的同时保留 98% 准确率
• 语义分块相比正则表达式将结果相关性提升 22%

集成测试

在 MS MARCO 数据集上运行了一系列测试，测量以下指标：

| 指标 | spaCy（第一部分） | Jina v4 + chonkie |

|------------|-------------------|-------------------|

| MRR@10 | 0.312 | 0.487 |

| Recall@100 | 0.674 | 0.891 |

| Latency | 120ms | 210ms |

观察到的权衡：延迟增加被显著的准确率提升所补偿。为了优化延迟，我们推荐：

• 使用 1024 维度而不是 2048
• 启用嵌入缓存
• 设置 HTTPX 连接池，max_connections=50

关键建议：在部署到生产环境时，始终使用您的特定数据集进行 A/B 测试——通用指标可能无法反映 RAG 系统的真实需求。

— Editorial Team