无云混合 RAG：企业文档搜索

# 企业系统中混合 RAG：无需云端、无数据泄露的文档搜索

受监管行业的巨头企业面临一个普遍问题：搜索内部文档需要花费数小时。例如，一位物流经理为了查阅与供应商的索赔历史，不得不翻遍电子邮件、SharePoint 和归档文件，浪费大量时间。罪魁祸首是缺乏能够理解查询含义而非仅匹配关键词的智能搜索功能。混合 RAG 通过将数据牢牢控制在企业边界内来解决这一问题。

为什么传统搜索在受监管行业中失效

企业归档文件混合了 PDF、扫描件、电子表格和双语通信。标准的 ECM 系统和搜索引擎难以处理这种异构数据。像“代码 8471300000 是否有过纠纷？”这样的查询需要语义理解和精确数字匹配。基于语义搜索的标准 RAG 在文档包含表格、手写笔记或多语言内容时就力不从心。在银行、海关和律师事务所，数据不能离开边界——出于架构要求，云解决方案被排除在外。

混合 RAG 结合了两种方法：

• 语义搜索（稠密向量）用于把握含义
• 精确搜索（稀疏向量）用于代码、SKU 和数字

这不仅仅是简单拼凑——而是通过 Reciprocal Rank Fusion (RRF) 实现的数学基础结果融合。该算法无需手动调整权重或额外训练，即可与 Qdrant 等向量数据库无缝集成。

自托管混合 RAG 架构：从文档到响应的全过程

查询处理涉及六个阶段，每个阶段对安全性和准确性都至关重要：

• 文档预处理 — Docling 库将扫描件标准化为 300 DPI，提取表格和结构。这对于多模态 Qwen2.5-VL 模型至关重要，该模型能处理手写笔记和复杂表格。
• 双重嵌入生成 — BAAI/bge-m3 模型为每个块生成两个向量：稠密向量（语义）和稀疏向量（精确匹配）。使用同一模型进行索引和查询，确保空间兼容性。
• Qdrant 中的混合搜索 — 同时查询稠密和稀疏向量，并自动进行 RRF 融合。
• 初步重排序 — FastEmbed 在 30–50 ms 内将列表缩小至 10 个候选项。
• 最终重排序 — 跨编码器 bge-reranker-v2-m3 评估片段与特定查询的相关性。自托管版本会增加 150–400 ms 延迟，但数据始终保持内部。
• 响应生成 — 量化后的 Qwen2.5-72B-Instruct (AWQ INT4) 模型根据过滤后的上下文生成响应。

关键特性：一切都在本地运行。即使是云服务（如 Voyage AI）能加速的重排序，也通过自托管组件处理，以符合数据主权规定。

生产工具：为什么 LangGraph 和 Haystack 不可或缺

LangChain 适合原型开发，但在受监管环境中，会出现两个问题。首先，没有原生状态管理：处理“如果重排序分数低于阈值，则改写查询”这样的场景需要变通方法。LangGraph 通过显式图节点解决此问题，对生产调试至关重要。

其次，可观测性缺失。没有追踪，质量下降（因文档更新或查询模式变化）直到用户投诉才被发现。自托管 Langfuse 追踪：

• 检索片段
• 重排序分数
• 各阶段延迟

至关重要的是，Langfuse 也在边界内部运行——否则，企业数据会泄露到第三方 SaaS。

Haystack 处理预生产测试。管道变更（如分块策略）允许在基准集上运行评估并获取指标：

• 搜索准确率（正确文档进入前 5 的频率）
• 响应对来源的忠实度

这能建立信心，确保变更改善系统而非降低性能。LlamaIndex 适合原型灵活开发，但在内置评估深度上落后。

基础设施优化：从 RTX 4090 到 A100

模型选择取决于预算和质量需求：

• Qwen2.5-72B-Instruct（AWQ INT4）— 旗舰选项。需要两张 A100 80GB GPU，提供顶级质量，尤其在表格处理上。适合大型律师事务所或银行。
• Qwen2.5-32B-Instruct — 最佳平衡点。在一张 L40S 48GB（比 A100 便宜 3 倍）上运行，保留 72B 质量的 90%。推荐起点。
• Qwen2.5-14B-Instruct — 适用于资源紧张场景。适合 RTX 4090，但复杂多步查询处理吃力。

专业提示：从 L40S 上的 32B 开始，在真实数据上测试，仅在必要时扩展。AWQ INT4 量化将内存使用减半，且无关键质量损失。

关键要点

• 混合 RAG 对杂乱归档至关重要：通过 RRF 融合语义搜索和精确匹配。
• 自托管架构在受监管行业不可妥协。数据在每个步骤都保持在边界内。
• LangGraph 和 Haystack 是生产必需品：前者管理实时查询逻辑，后者提供客观质量检查。
• 基础设施成本可优化：L40S 上的 Qwen2.5-32B 以三分之一成本匹配旗舰性能的 90%。

该系统可在数秒内响应，引用具体文档和页码，并承认数据空白而非幻觉。这不仅仅是更好的搜索——而是从繁重劳动转向智能知识访问，且无安全权衡。

— Editorial Team