MEERKAT：用于AI的超高效联邦学习算法

史蒂文斯理工学院研究人员创建MEERKAT算法，实现超高效AI训练

这种新的联邦学习方法仅传输0.1%的参数即可更新大型语言模型，将数据传输量减少1000倍以上，显著节省能源并加速模型同步。

---

MEERKAT：联邦学习的一场革命，OpenAI不会告诉你的事

[核心要点]：真正发生了什么

2026年5月4日，史蒂文斯理工学院的研究人员（博士生Yide Ran、教授Zhaozhuo Xu和Denghui Zhang）在ICLR 2026会议上展示了MEERKAT算法。媒体报道称其“将数据传输量减少1000倍”并“消除了反向传播”。这些都没错，但这只是冰山一角。

真正的情况是：MEERKAT不仅仅是加速了联邦学习——它从根本上改变了联邦学习。 该算法不是在服务器和客户端之间传输数GB的参数，而是只传输模型0.1%参数的更新。而且这0.1%并非随机选取。这些是在预训练阶段确定的“最敏感”参数。它们的均方梯度是下一组的52倍。

为什么这很巧妙？因为研究人员理解了一个简单但重要的事实：当模型已经预训练后，在新数据上进行微调不需要改变所有参数，只需要改变那些“处理”吸收新信息的参数。剩下的99.9%的参数在同步过程中是累赘。

时间线与背景

• 2025年2月：史蒂文斯团队开始研究Non-IID漂移问题——即不同客户端数据分布不均的情况（例如，一家医院主要治疗心脏病患者，另一家治疗癌症患者）。
• 2026年5月：MEERKAT最终版本在ICLR 2026上发表。该算法在LLaMA-3.2-1B、Qwen2-1.5b和Gemma2-2b上进行了测试，使用了七个不同的基准。
• 关键实验：MEERKAT在大多数任务上优于全参数零阶方法和其他稀疏化方法。

谁赢谁输

赢家：

• 史蒂文斯理工学院的研究人员。Yide Ran及其团队刚刚获得了DARPA和NSF的数百万美元资助。一个解决了分布式学习基本问题的算法是通往学术科学精英阶层的门票。

• 诊所和医院。这是主要受益者。他们拥有数据（医学图像、病史），但由于HIPAA和GDPR无法集中数据。MEERKAT允许多家诊所联合微调模型，仅传输几MB而非几GB。

• 教育机构（学校、大学）。同样面临学生数据限制和带宽问题。MEERKAT使联邦学习对于没有专用光纤的机构变得可行。

• 苹果。库比蒂诺使用联邦学习来改进iPhone上的键盘预测和面部识别。MEERKAT将流量减少1000倍，并允许更频繁的同步——最终模型将显著更好。

• 任何向小客户销售AI即服务的公司。以前客户需要为上行链路支付GB费用，现在只需几MB。准入门槛降低，市场扩大。

输家：

• OpenAI和其他集中式学习巨头。他们的商业模式建立在“想要好模型？把所有数据给我们”的前提上。MEERKAT证明可以在不放弃数据的情况下获得几乎相同质量的模型。这贬低了他们的主要论点。

• 销售AI中心昂贵网络设备的公司（Cisco、Arista）。客户端与服务器之间千兆链路的需求急剧下降。MEERKAT使AI训练在基础设施方面变得廉价。

• 从反向传播中获利的云GPU提供商（AWS、Azure）。MEERKAT使用零阶优化，只需要模型的前向传播。这比需要存储大量中间数据的标准反向传播便宜得多，也轻量得多。

媒体没有说的

洞察#1：MEERKAT-VP——针对不良客户端的“早停”机制。

该算法最巧妙的部分不仅仅是稀疏化。研究人员添加了一个名为MEERKAT-VP的组件。它的工作原理如下。

当多个客户端联合训练时，它们的数据几乎总是非IID的。一个客户端可能有90%的猫图像和10%的狗。另一个可能相反。在经典联邦学习中，这会导致模型向多数客户端漂移。

MEERKAT-VP无需访问数据即可解决这个问题。服务器跟踪一个“虚拟路径”——每个客户端的更新轨迹。然后它计算一个名为GradIP的指标——客户端梯度与服务器预训练梯度之间的点积。数据极度偏斜的客户端，其GradIP会收敛到零。数据良好、IID的客户端，其GradIP会振荡。

一旦服务器发现某个客户端的GradIP降至零且未恢复，它会在下一轮同步中降低该客户端的影响。技术上，它将本地训练限制为一步。这被称为针对不良客户端的“早停”。

为什么这很重要？因为如果没有MEERKAT-VP，联邦学习只有在所有客户端“相似”时才能良好工作。在现实世界中，这几乎从未发生。MEERKAT-VP是一个过滤器，自动剔除“不良”参与者。

洞察#2：稀疏性悖论——更少的参数意味着更好的模型。

研究人员发现了一个反直觉的效果：只更新0.1%的参数比更新全部100%的参数效果更好。为什么？

因为零阶方法本质上不精确。它们不分析计算梯度，而是通过微小变化“探测”模型，观察性能是否提升。如果你将这种方法应用于所有参数，误差会累积，模型变得不稳定。但如果你将其应用于高度稀疏的最敏感参数子集，零阶估计的精度就“足够好”，因为那里的信号非常强。粗略估计+强信号=好结果。精确估计+弱信号=噪声。

这是关于LLM本质的一个基本观察，可能改变微调的方法。

洞察#3：MEERKAT为物联网创造了“大规模部署武器”。

想象一下，一百万个智能电表、运动传感器、监控摄像头联合训练一个异常检测模型。目前，由于带宽限制，这是不可能的。MEERKAT使其成为现实。

每个传感器向服务器传输的不是GB而是MB。同步可以每分钟一次而不是每天一次。模型保持最新。

预测：未来30天和90天

未来30天（2026年6月）：

• MEERKAT代码仓库将出现在GitHub上（遵循史蒂文斯传统——开源）。预计来自中国和欧洲实验室的分支。
• Google和Apple将向该团队提供研究资助，用于将MEERKAT集成到TensorFlow Federated和Core ML中。
• 学术批评者会指出实验是在相对较少的客户端（10个）上进行的，并要求在数千个客户端上重复实验。

未来90天（2026年8月）：

• DARPA将宣布资助一个项目，将MEERKAT部署在边境控制系统和情报网络中。这个算法对于无人机和卫星的“友好”训练来说太有前景了。
• 第一个商业实现将出现——一家硅谷初创公司将MEERKAT打包成面向医疗AI的SDK。价格：每个组织许可从5万美元起。
• Meta将发表政治声明支持“下一代联邦学习”，不点名MEERKAT，但在技术上复制其关键思想。

主要风险：GradIP机制是否适用于数千个异构客户端的问题仍未解决。如果阈值指标需要针对每个新领域重新校准，MEERKAT的通用性将被证明是虚幻的。

结论：MEERKAT不仅仅是一个将联邦学习加速1000倍的“算法”。它是一个概念上的突破，改变了我们对LLM如何吸收新信息的理解。0.1%的参数承载了99.9%的训练信号。其余只是数字噪声。当OpenAI和Google建造价值数十亿美元的数据中心时，史蒂文斯理工学院已经证明，只需停止传输垃圾信息，就可以将训练效率提高1000倍。这不是进化——这是范式转变。

— Editorial Team