返回首页

Agent Harness:生产就绪 AI 代理的架构 | 指南

本文详解了 agent harness 架构——将无状态 LLM 转变为生产就绪代理的基础设施。描述了 12 个关键组件,包括上下文管理、错误处理和验证。提供了 Anthropic 和 OpenAI 的实现示例。

为什么 AI 代理在生产环境中失败以及如何修复
Advertisement 728x90

# 智能体框架:生产就绪 AI 智能体的架构

问题不在于神经网络。当 LLM 智能体在生产环境中失败时,罪魁祸首是模型周围的基础设施。LangChain 在 TerminalBench 2.0 的排名从第 30 位跃升至第 5 位,而并未更换模型——仅仅优化了其运行环境。这种环境被称为智能体框架,它将无状态的 LLM 转变为自治智能体。

什么是智能体框架?AI 的冯·诺伊曼架构

这个术语于 2026 年正式确立,但这个概念与计算系统一样古老。框架是包裹 LLM 的完整基础设施:编排循环、工具、内存、上下文管理和错误处理。Anthropic 在 Claude Code 文档中明确将其 SDK 称为“智能体框架”。关键类比:裸 LLM 就像没有 RAM 或磁盘的 CPU。上下文窗口充当工作内存,外部数据库充当长期存储,工具充当设备驱动程序。框架则成为操作系统,实现 AI 的冯·诺伊曼架构。

许多人混淆了“智能体”和“框架”。智能体是行为:一个目标导向、自我修正的实体。框架是产生这种行为的机制。正如 LangChain 的 Vivek Trivedy 精确表述:“如果你不是模型——你就是框架。”

Google AdInline article slot

LLM 周围的三个工程层面

模型环境以同心层构建:

  • 提示工程——塑造模型的指令。
  • 上下文工程——管理模型看到的内容及其时机。
  • 框架工程——涵盖前两层,加上工具编排、状态持久化、错误处理和安全措施。

框架不仅仅是提示的包装器。它是使生产环境中自治智能体行为成为可能的系统。没有它,即使是先进模型也会表现得像脆弱的演示。

生产框架的 12 个关键组件

对 Anthropic、OpenAI 和 LangChain 解决方案的分析揭示了 12 个必备组件:

Google AdInline article slot
  • 编排循环——系统的脉搏(思考-行动-观察)。
  • 工具——与外部世界交互的模式。
  • 内存——管理不同时间尺度的数据。
  • 上下文管理——对抗上下文衰减。
  • 提示构建——组装模型输入。
  • 输出解析——处理结构化响应。
  • 状态管理——持久化和检查点。
  • 错误处理——恢复策略。
  • 安全限制器——三层次护栏。
  • 验证循环——检查智能体输出。
  • 子智能体编排——任务委托。
  • 生命周期——部署和监控。

上下文管理值得特别关注。Chroma 和 Stanford 的研究(“Lost in the Middle”)显示,当关键内容位于窗口中间时,性能下降超过 30%。生产策略包括:

  • 压缩:总结历史(Claude Code 保留架构决策,丢弃技术细节)。
  • 观察屏蔽:隐藏旧工具输出(类似于 JetBrains 的 Junie)。
  • 即时检索:通过轻量查询动态加载数据(grep、glob)。
  • 子智能体委托:返回压缩摘要(1000–2000 个令牌)而非原始数据。

Anthropic 定义的目标:找到最小的高信号令牌集,以最大化成功概率。

编排循环如何工作

让我们分解生产系统中 TAO 循环:

Google AdInline article slot
  • 提示组装:框架形成输入,将关键上下文置于开头和结尾(根据“Lost in the Middle”发现)。包括系统提示、工具模式、内存和当前查询。
  • LLM 推理:模型处理请求,返回文本或结构化的 tool_calls
  • 输出分类:如果有工具调用——执行它们;如果是移交——切换智能体;否则结束循环。
  • 工具执行:验证参数、检查权限、在隔离环境中运行。错误作为 ToolMessage 返回以供模型修正。
  • 验证:基于规则的检查(linter、测试)、视觉验证(Playwright)或 LLM 作为评判者。
  • 状态更新:通过 git 提交(Claude Code)或类型化字典(LangGraph)进行检查点。

一个关键细节:框架将推理与执行分离。模型决定“做什么”,工具系统决定“是否允许”。Claude Code 通过三阶段检查控制 40 多个离散权限。

关键要点

  • 问题不在于模型:90% 的生产智能体失败源于框架缺陷,而非 LLM。
  • 上下文衰减致命:即使 100 万令牌窗口也需要主动上下文管理。
  • 验证必不可少:没有检查循环的智能体会产生 2–3 倍错误。
  • 安全是架构性的:执行必须与推理分离。
  • 错误会累积:10 步流程每步 99% 成功率,全程仅 90.4% 成功率。

— Editorial Team

Advertisement 728x90

继续阅读