数据溯源与训练数据治理

Learn~60 minutesPython (stdlib, 12-field California AB 2013 scaffolding generator)先修要求: Phase 18 · 24 (regulatory), Phase 18 · 26 (cards)
欧盟 AI 法要求 GPAI 在 2025 年 8 月前具备机器可读的退出(opt-out)标准(经由《欧盟版权指令》的 TDM 例外)。加州 AB 2013(2024 年签署)——生成式 AI 训练数据透明度要求开发者发布数据集摘要,包含 12 个法定字段。2025 年数据保护机构(DPA)在正当利益上的趋同:爱尔兰 DPC(2025 年 5 月 21 日)在 EDPB 意见后,接受 Meta 使用第一方公开的欧盟/欧洲经济区成人内容训练 LLM,并附带保障措施;科隆高等地区法院(2025 年 5 月 23 日)驳回禁令;汉堡 DPA 撤销了紧急程序;英国 ICO(2025 年 9 月 23 日)对 LinkedIn 的 AI 训练保障措施(透明度、简化退出、延长异议窗口)给出积极的监管回应,并继续监控——这不算正式批准。巴西 ANPD(2024 年 7 月 2 日)因信息透明度不足暂停 Meta 的处理;在 Meta 提交合规计划后,该预防措施于 2024 年 8 月 30 日解除。关键的不可逆问题:cookie 同意框架是为实时、可撤销的跟踪设计的;一旦数据进入模型权重,外科手术式删除就不可能——对于已训练的神经网络,并不存在可实际执行的 GDPR 删除权。合规窗口在采集之时。数据溯源倡议(Data Provenance Initiative,dataprovenance.org,Longpre、Mahari、Lee 等,「Consent in Crisis」,2024 年 7 月):大规模审计显示,随着发布者不断增加 robots.txt 限制,AI 数据公地正在迅速萎缩。
学习目标
  • 描述加州 AB 2013 对生成式 AI 训练数据透明度规定的 12 个法定字段。
  • 说明 2025 年各 DPA 在正当利益 LLM 训练上的立场(爱尔兰 DPC、英国 ICO、汉堡、科隆)。
  • 描述不可逆问题:为什么 GDPR 删除权对已训练的神经网络没有实际等价物。
  • 说明数据溯源倡议「Consent in Crisis」的发现。

问题

训练数据治理是每一份模型卡(第 26 课)和每一项监管义务(第 24 课)的上游。2024–2025 年,监管格局在三条原则上趋于一致:退出基础设施、逐数据集披露,以及对公开可用数据的正当利益让步。未在采集时合规的提供商,无法在下游补救。

概念

加州 AB 2013

2024 年签署。对于 2022 年 1 月 1 日及之后发布的系统,必须在 2026 年 1 月 1 日或之前发布文档。第 3111(a) 条要求开发者发布训练所用数据集的高层摘要,包含 12 项法定内容:

  1. 数据集的来源或所有者。
  2. 数据集如何促进 AI 系统预期用途的说明。
  3. 数据集中的数据点数量(可接受大致范围;动态数据集可给估计值)。
  4. 数据点类型的说明(有标注的数据集给标签类型;无标注的给一般特征)。
  5. 数据集是否包含受版权、商标或专利保护的数据,或者完全属于公有领域。
  6. 数据集是购买还是获得许可的。
  7. 数据集是否包含个人信息(依据 Cal. Civ. Code §1798.140(v))。
  8. 数据集是否包含汇总的消费者信息(依据 Cal. Civ. Code §1798.140(b))。
  9. 开发者所做的清洗、处理或其他修改,及其预期目的。
  10. 数据采集的时间段,若采集仍在进行需加以说明。
  11. 数据集首次用于开发的日期。
  12. 系统是否使用或持续使用合成数据生成。

第 12 项(合成数据)相对于 Gebru 等 2018 的 datasheet 是新增的。第 7 项(个人信息)会触发《隐私权法》(CPRA)义务。该法豁免安全/完整性、航空器运行以及纯联邦的国家安全系统(第 3111(b) 条)。

欧盟 AI 法(第 24 课)与 TDM 退出

《欧盟版权指令》的文本与数据挖掘例外允许在公开可用内容上训练,除非权利人选择退出。欧盟 AI 法 GPAI 实践准则的版权章节要求 GPAI 提供商尊重机器可读的退出信号(robots.txt、C2PA 的「No AI Training」声明等)。

2025 年各 DPA 在正当利益上的趋同

爱尔兰 DPC(2025 年 5 月 21 日):在 EDPB 意见之后,接受 Meta 使用第一方公开的欧盟/欧洲经济区成人用户内容进行训练的计划,并附带保障措施。科隆高等地区法院(2025 年 5 月 23 日)驳回针对 Meta 的禁令:有退出机制即可。汉堡 DPA 为欧盟范围的一致性放弃了紧急程序。英国 ICO(2025 年 9 月 23 日)对 LinkedIn 恢复 AI 训练(采用类似保障措施并持续监控)给出了积极的监管回应——不是正式批准。

趋同原则:只要有退出机制,正当利益就可以为使用公开的第一方内容训练提供依据。不需要征得同意。

巴西 ANPD(2024 年 6 月)

因信息透明度不足,暂停 Meta 处理巴西用户数据用于 AI 训练。结果与欧盟各 DPA 不同——ANPD 把透明度置于正当利益可采性之上。

不可逆问题

cookie 同意是为实时、可撤销的跟踪设计的。训练数据则不同:数据一旦进入模型权重,就不可能做外科手术式删除。从头重训是唯一的彻底补救,而成本高得令人却步。

部分补救措施:

  • 遗忘学习(unlearning)。 近似移除;用 MIA 衡量(第 22 课)。
  • 基于影响函数的定位。 找出受该数据影响最大的权重;有选择地更新。
  • 微调抑制。 训练模型拒绝输出源自该数据的内容。

这些都不能彻底解决问题。合规窗口在采集之时。

数据溯源倡议

dataprovenance.org。Longpre、Mahari、Lee 等,「Consent in Crisis」(2024 年 7 月):对 AI 训练数据公地的大规模审计。发现:发布者正以越来越快的速度添加 robots.txt 限制。可公开训练的公地正在快速收缩。2023 年到 2024 年,头部训练来源中约 25% 增加了某种限制。含义:未来的训练数据可得性取决于新的获取范式(许可、合成生成、激励参与)。

本课在 Phase 18 中的位置

第 26 课是模型层文档。第 27 课是数据集层治理。两者共同定义透明度层。第 28 课梳理研究这些问题的生态。

an-provenance-oneway静态版本未包含此交互图

使用它

code/main.py 为一个玩具数据集生成符合加州 AB 2013 的 12 字段数据集摘要脚手架。你可以填写字段,并观察哪些字段会触发隐私或版权的后续义务。

交付它

本课产出 outputs/skill-provenance-check.md。给定一个用于训练的数据集,它检查 AB 2013 的 12 字段覆盖度、退出基础设施合规性、DPA 一致性,以及不可逆风险评估。

练习

  1. 运行 code/main.py。为一个玩具数据集生成 12 字段摘要,并指出哪些字段描述不足。
  1. 《欧盟版权指令》的 TDM 退出是机器可读的。为退出信号提出一种标准格式,并与 robots.txt 和 C2PA「No AI Training」比较。
  1. 阅读数据溯源倡议的「Consent in Crisis」(2024 年 7 月)。描述限制增长最快的三类内容,并论证一项经济后果。
  1. 2025 年的 DPA 趋同接受以正当利益为依据训练公开内容。构造一个正当利益不成立的场景,并指出提供商需要依靠的替代法律依据。
  1. 草拟一份训练数据溯源清单,能够与 AB 2013 字段组合,并为每个数据集链接一条 C2PA 签名的溯源链。指出一个技术障碍和一个法律障碍。

关键术语

术语人们怎么说实际含义
AB 2013「加州那部法」生成式 AI 训练数据透明度;12 个法定字段
TDM exception「文本与数据挖掘」《欧盟版权指令》的训练数据例外,附带退出机制
Legitimate interest「欧盟的依据」GDPR 第 6 条依据,可能为公开内容训练提供正当性
Opt-out signal「机器可读的禁止训练」robots.txt、C2PA「No AI Training」、TDM.Reservation
Irreversibility「无法取消训练」模型权重中的数据无法被外科手术式移除
Unlearning「近似移除」训练后干预,降低模型对特定数据的依赖
Consent in Crisis「DPI 审计」2024 年 7 月发现 robots.txt 限制加速增加

延伸阅读

示意图共 1 张

provenance-flow diagram
provenance-flow

“Stay hungry, stay foolish.”

— Steve Jobs

esc
↑↓切换↵打开esc关闭