# MIT lecture explains how outsourced data and AI agents introduce hidden risks

> Original title: MIT 公开课 6.S950 Agency with AI

- Source: meng shao
- Published: 2026-11-04T13:45:07.000Z
- Bad Influence: https://badinfluence.news/items/bpdrvs87xtzge8huhvnuw09ci
- Original: https://x.com/shao__meng/status/2117976436577550546

## Summary

Shao Meng shares Lecture 7 of MIT's 6.S950 Agency with AI, titled Outsourced Data, and says that downloading or forking a dataset means accepting others' decisions on collection, filtering, and labeling. The lecture cites cases where filters removed content about minority groups, near-duplicates inflated test scores, and an AI agent's scraping produced different content from the same URL, and says these risks must be checked actively. The post links the course slides and includes a summary image of the four sections.

## Post

MIT 公开课 6.S950 Agency with AI

第 7 课：Outsourced Data 讲义公布了，主题：用别人的数据，也就接受了别人的选择；下载或 fork 一个数据集，等于接受了别人对收集范围、过滤方式和标注规则的决定。让 AI Agent 去抓数据时，这些决定有很大一部分由模型悄悄替你做了。这一讲用大量真实案例和课程组自己的实验说明，数据里的风险要靠人主动检查。

讲义：https://slides.com/shensquared/agencyai-fa26-lec07

开场问题：这条记录是谁决定的

课程组让 Claude Haiku 5.5 把一篇 TIME 文章抓成 JSON 记录，然后问学生：怎么请求网页、记录有哪些字段、每个字段填什么，这三步分别是人决定的还是 Claude 决定的？结尾给出答案：请求方式和字段是人选的，字段里填什么是 Claude 选的。整讲分四部分：需要什么数据；泄漏、近似重复和分布偏移；继承来的选择和风险；用 AI Agent 收集数据。

先定义预测任务，再选数据集

讲义要求先回答四个问题：数据要代表哪些人群，预测什么、用哪些字段，部署时面对的是新的人、新的文档、新的地点还是新的时间段，以及什么算一条记录、每个字段放什么。

几个例子说明，覆盖范围有偏差，样本再多也没用：
· 1936 年《文学文摘》民调：寄出约一千万张选票，收回约 240 万张，预测兰登会赢，结果罗斯福赢下 48 个州中的 46 个。讲义指出，即使所有人都回复，预测会好一些，但仍然会低估罗斯福的得票率。
· Google C4：用一份「脏词表」过滤网页，一个词命中就丢掉整页。审计发现，被过滤掉的内容里，来自少数群体或关于少数群体的文本占比偏高。课程组自己用 13 篇维基百科文章复现了这条规则，「Sex」一词会让「同性婚姻」相关条目被丢掉，MIT 的条目也因为写出了 IHTFP 的全称被丢掉。
· FineWeb-Edu：换成学习得到的「教育性」评分后，这 13 篇都保留下来，但论坛帖、新闻和研究论文被排除了。讲义的结论是，换过滤器只是换了被排除的内容，排除本身还在。
· GeoDE 与提问语言：同一类物体在不同地区差别很大。课程组用中文、英文等四种语言各问 Claude 十次南沙群岛归属，回答随语言变化。只用一种语言的测试集，只覆盖了一类人群。

泄漏、近似重复和分布偏移

· 近似重复：CIFAR-100 有 891 张测试图在训练集里有近似副本，换掉之后 ResNet-110 的测试错误率从 26.05% 升到 29.24%。车牌数据集 AOLP 中，同一块车牌的多张照片可能同时出现在训练集和测试集，按车牌分开后识别准确率从 99.18% 降到 96.94%。
· 划分方式决定回答什么问题：用加州房价数据对比随机划分和按地区划分，如果模型要部署到没见过的地区，就要整块留出地区。
· 站点泄漏：一个肺炎 X 光模型能以超过 99.9% 的准确率认出图片来自哪家医院，换到第三家医院测试时问题才暴露。多来源数据要在模型没训练过的站点上测试。
整体准确率掩盖子群体失败：Lab 1 的最近邻分类器在 214 辆新车上准确率为 71%，但 5 辆电动车全部判错。报告子群体得分时，要同时给出样本数。

讲义把分布偏移分成三种：输入分布变了（协变量偏移），标签比例变了（标签偏移），输入和标签之间的关系变了（概念偏移）。前两种各有修正办法，而且训练数据覆盖部署数据所在的范围；标签比例变化可以按类别比例重新缩放预测概率，不用重新训练。

继承来的标签和风险

· 标签定义变了：Lab 1 的老车（1970–82）用的是固定油耗阈值；新车（1982–2015）的「高油耗」是指比当年新车平均水平差，阈值逐年变化。新车的来源说明文件里写了这一点。三种偏移在这里同时发生，这时该做的是先统一标签定义，而不是套用修正公式。
· 标签本身有歧义或错误：ImageNet 里标成「原声吉他」的图也可以标成「舞台」；MMLU 的答案也有错。看分数之前，先抽读一部分题目和答案。
· 谁标注、标注什么：仇恨言论数据集里，标注员知道推文用的是哪种方言后，标为冒犯的比例下降。一个医疗算法把未来医疗支出当作训练标签，但支出同时反映了就医机会的不平等，结果在同样的风险分下，黑人患者的慢性病更多。
· 数据集的安全和来源：Hugging Face 数据集里扫出了仍然有效的密钥，fork 会把它们一起复制出去。已撤回的人脸数据集，还活在它的副本和衍生模型里。只发布链接列表的图像数据集，内容由链接所在网站后来的控制者决定，所以要保存文件或哈希值。

用 AI Agent 收集数据

· robots.txt 只是请求：它说明哪些路径不希望被爬，但并不能阻止爬虫。课程组保存了 12 个网站的 robots.txt，如果 Common Crawl 遵守这些规则，未来的网页数据集会失去其中 8 个网站。
· Agent 会绕过限制：讲义引用 Anthropic 2026 年 10 月的报告，模型遇到付费墙时会自己绕过去。Shen Shen 还展示了自己的 Claude Code 在没有询问的情况下把她的邮箱地址发了出去。建议是事先写明访问失败时 Agent 该怎么做，并记录它实际走了哪条路。
· 网页里的提示注入：Google 扫描 Common Crawl 时，找到了专门写给 AI Agent 的指令，大多是恶作剧或教学材料，也没有发现真正生效的案例。建议限制采集器能抓取和执行的内容，并且要看它的请求日志，而不只是看产出的记录。
· 同一个 URL 返回不同内容：用浏览器、curl 伪装成 Chrome、curl 伪装成 ClaudeBot 三种方式请求那篇 TIME 文章，拿到的内容不一样。在只保留正文的规则下，Claude 三次都漏掉了 Instagram 和 Snapchat 的赞助内容，但三次都通过了 schema 检查。Opus 5.5 也一样漏掉了，不过让它对照原网页审计时，它每次都能指出来。通过 schema 检查，不代表字段内容完整。

![](https://badinfluence.news/api/img-proxy?u=https%3A%2F%2Fpbs.twimg.com%2Fmedia%2FHWSQVkCa8AAKnE_.jpg&mode=thumb&exp=1794009600&sig=6f4943744a42d2fa)

## Quoted post @shao__meng

> https://x.com/i/article/2103456568209768449

https://x.com/shao__meng/status/2103461095566676365