AI 代理的评估：摘要评估

AI 智能体评估：会议摘要质量的系统方法

处理会议的 AI 智能体常常输出不一致的结果：幻觉内容、遗漏任务、冗长文本。评估（Evals）通过提供客观质量指标来解决这些问题。这些是非确定性系统的测试，类似于传统代码中的单元测试。它们回答关键问题：智能体在哪里出错、修改后是否改进、是否破坏了原本正常的功能？

本文涵盖评估类型、错误分析、基于代码的断言，以及会议摘要的指标。该方法借鉴了 Hamel Husain 和 Eugene Yan 等专家的经验。

评估类型：从简单检查到 LLM 作为评判者

评估是一个函数 f(output) → score，用于评分智能体输出。复杂度分为三个层次：

• 基于代码的断言：对正式属性（如长度、结构、关键词）的确定性检查。速度快、免费，但覆盖有限。
• 人工评估：细致的人类判断。准确，但成本高且不可扩展。
• LLM 作为评判者：基于标准的 LLM 评分。可扩展、低成本，需要验证。

黄金法则：结合所有类型。每个请求用基于代码的，样本用 LLM 作为评判者，人工用于校准。

针对会议摘要，按优先级定义指标：

• 忠实度：每个声明都有会议记录支持。
• 行动项准确性：完整任务，包括负责人和截止日期。
• 完整性：覆盖关键话题。
• 简洁性：长度 < 记录的 30%，实体密度 0.15/词元。
• 连贯性：逻辑结构。

错误分析：有效评估的基础

在自动化前，先进行手动错误分析。没有它，评估就毫无用处：团队会构建忽略真实问题的指标。

错误分析流程

从生产环境或合成数据中收集 20–50 对会议记录 → 摘要对。阅读它们，记录问题而不分类：

• 幻觉：摘要说“Maria 将负责重构”，而记录是“可能考虑”。
• 长记录末尾遗漏行动项。
• 压缩差：摘要比记录还长。

归类成失败模式分类法：

忠实度失败：

• 幻觉承诺。
• 错误归属。

完整性失败：

• 丢失行动项。
• 遗漏决策。

简洁性失败：

• 复述而非摘要。

统计频率：2–3 个顶级错误决定评估优先级。时间：半天到一周，ROI 最高。

基于代码的断言：快速通过/失败检查

原则：二元通过/失败，不用 1–5 分制。强制清晰的可接受性定义。

会议摘要示例：

interface Transcript {
  text: string;
  duration_minutes: number;
  participants: string[];
}

interface Summary {
  text: string;
  action_items: ActionItem[];
  decisions: string[];
}

interface ActionItem {
  description: string;
  owner?: string;
  deadline?: string;
}

interface AssertionResult {
  name: string;
  pass: boolean;
  reason: string;
}

function runAssertions(transcript: Transcript, summary: Summary): AssertionResult[] {
  const results: AssertionResult[] = [];
  
  // 压缩率：摘要 < 记录 30%
  const transcriptTokens = transcript.text.split(' ').length;
  const summaryTokens = summary.text.split(' ').length;
  const ratio = summaryTokens / transcriptTokens;
  results.push({
    name: '压缩率',
    pass: ratio < 0.3,
    reason: `比率: ${ratio.toFixed(2)}`
  });
  
  // 行动项完整性
  const aiComplete = summary.action_items.every(ai => ai.owner && ai.deadline);
  results.push({
    name: '行动项完整性',
    pass: aiComplete,
    reason: aiComplete ? '正常' : '缺少负责人/截止日期'
  });
  
  return results;
}

额外断言：

• 存在 action_items 部分。
• 摘要无闲聊。
• 结构化输出有效 JSON。

LLM 作为评判者和高级评分器

针对细致指标，使用 LLM 作为评判者，结合忠实度、完整性提示。Mastra 有 16 个评分器：忠实度、完整性、简洁性。

忠实度提示示例：

评估此摘要对会议记录的忠实度。每个声明必须有支持。评分 0–1。
会议记录: [text]
摘要: [text]
评分:```

集成到 CI：在部署前运行 50 个测试案例。改进指标：忠实度从 0.64 升至 0.78。

**关键要点：**
- 从错误分析开始：2–3 个失败模式覆盖 60% 问题。
- 结合基于代码（快速）、LLM 作为评判者（可扩展）、人工（验证）。
- 优先级：忠实度 > 行动准确性 > 完整性。
- 二元通过/失败，便于决策。
- 在 CI 中自动化，实现系统性提升。

— Editorial Team