阻止 AI 访问档案：对网络遗产的威胁

出版商屏蔽网络档案：人工智能时代数字遗产面临的威胁

大型媒体机构，包括 The New York Times 和 The Guardian，正在设置技术障碍，阻止 Internet Archive 对其网站进行索引。这些措施超出了标准的 robots.txt 文件，旨在防止用于 AI 模型训练的网络抓取。但这种做法有丢失网页历史快照的风险——这是原始内容的唯一剩余来源。

EFF 高级分析师 Joe Mullin 将此比作禁止图书馆保存报纸副本。自 1990 年代以来，Internet Archive 一直在捕获新闻网站的快照，包括编辑内容和已删除文章。这些屏蔽措施切断了历史学家、记者和研究人员获取出版物真实版本的途径。

Internet Archive 在保存网络历史方面的作用

Internet Archive 作为一个非营利数字图书馆，构建网络资源的索引和副本。这类似于搜索引擎的工作方式，在美国判例法下，复制内容被视为合理使用。

• 原始内容的唯一来源：许多文章未经通知就被编辑或删除；档案库保留了它们的初始版本。
• 长期存储：近 30 年的数据用于学术研究和事实核查。
• 非商业性质：该组织不从事商业 AI 训练，而是专注于保存文化遗产。

出版商以针对 AI 公司的未经授权抓取诉讼为由，辩解这些屏蔽措施。The New York Times 已经提起多起诉讼，要求就用于模型训练的内容赔偿。

为什么屏蔽是错误做法

Mullin 强调，这些措施不会阻止 AI 机器人，但会抹除数十年的文档记录。搜索引擎受到法律保护，因为索引需要复制内容。档案库同样应保留为公共利益缓存页面的权利。

关于 AI 抓取的法庭裁决可能施加限制，但不应适用于非营利图书馆。将档案库拒之门外会抹除历史记录，在档案管理员甚至未参与的战斗中牺牲数据。

索引和归档的法律方面

在美国，合理使用涵盖创建搜索引擎索引和档案：

• 目的和性质：非商业和教育性——强烈支持合理使用。
• 作品性质：事实性媒体内容非常适合归档。
• 数量：仅复制索引所需的副本。
• 市场影响：档案库不与原作竞争；它们保存原作。

EFF 认为，Google 和 Bing 的先例适用于 Internet Archive。对 AI 的限制不应触及这些既定实践。

关键要点

• 屏蔽档案库不会阻止 AI 抓取，但会破坏网络内容的歷史记录。
• Internet Archive 是验证媒体出版物变化的重要工具。
• 合理使用保护非商业归档，就像搜索引擎一样。
• 出版商在与 AI 公司的战斗中，有永久丢失数字遗产的风险。
• EFF 建议：区分商业 AI 与非营利图书馆的访问权限。

对数字遗产的影响

Mullin 表示，为控制 AI 而牺牲公共数据是不可逆转的错误。丢失档案副本将使分析宣传、假新闻和叙事演变变得更加困难。AI 开发者和研究历史数据的研究人员将面临真实来源短缺。

对于 IT 专业人士来说，这是一个警醒，重新思考网络抓取和归档实践。预计会出现新协议，如根据 User-Agent 区分机器人的 robots.txt 规则，或基于区块链的去中心化档案以提高韧性。

— Editorial Team