过去几年，关于大语言模型和生成式AI中机器学习/人工智能偏见的病毒式报道屡见不鲜。在讨论偏见时，我发现一个有趣的现象：与“经典”软件漏洞（即存在明确错误的情况）相比，人们对大语言模型和生成式AI案例的反应截然不同。具体来说，如果你浏览论坛或普通用户的讨论，人们常常否认一个输出结果与用户要求完全相反的模型存在漏洞。例如，一年前，一位亚裔麻省理工学院研究生要求Playground AI（PAI）“为原照片中的女孩生成一张专业的领英头像”，而PAI将她的脸变成了蓝眼睛的白人面孔。
在Reddit首页故事中，点赞最高的“不存在偏见”回复（也是整体排名靠前的评论之一）写道：
当然，现在去最流行的Stable Diffusion模型网站看看首页图片吧。
你会看到数量惊人的亚洲女性（非动漫模型中几乎50%都由她们代表），多到你会觉得亚洲人是一种理想特征。
这怎么就不如“一个女性在网站上输入了愚蠢提示词，结果生成了白人女性”相关呢？
另外请记住，她输入了“领英”，所以任何熟悉提示词工作原理的人都知道，AI更可能搜索的是“平均领英女性”，而不是它认为的“职业女性”，因为图像AI没有观点。
简而言之，这只是一篇AI愤怒诱饵文章。
其他高赞同类评论包括：
说实话，这条应该排得更靠前。如果你现在想用SD搭配某个检查点，不想生成亚洲女孩反而更难。很多很多模型都是用动漫或亚洲女性训练的。
以及：
对吧？AI图像甚至存在相反的问题。训练集中亚洲人的数量，以及亚洲创建的模型数量，意味着很多很多模型都偏向于生成亚洲输出。
其他高赞评论指出这是样本量问题：
“系统性种族偏见的证据”
只展示了一个结果。
Playground AI的CEO在回应《波士顿环球报》的采访请求时也采用了同样的说法——他拒绝了采访，并回复了一连串反问句，例如（《波士顿环球报》暗示回复内容更多，但未全文刊登）：
如果我掷一次骰子得到数字1，这是否意味着我永远只会得到数字1？我是否应该基于单次观察就断定骰子偏向数字1，并且被训练成倾向于掷出1？
我们本可以轻易选择谷歌、Facebook、微软或其他大量部署机器学习的公司作为例子，但既然Playground AI的CEO基本上是在请人审视PAI的输出，那这篇文章我们就聚焦PAI。我尝试了那位麻省理工研究生在我Mastodon头像上使用的相同提示词，只是把“女孩”换成了“男人”。PAI通常会把我的亚洲面孔变成白人（高加索人种）面孔，但有时也会让我变得更白却种族模糊（可能带点中东或东亚特征）。顺便说一句，我的脸有很多明显的越南特征，一看就是越南人而非任何东亚人种。
我的头像是一张肤色较浅的冬季照片，于是我尝试了一张肤色较深的夏季照片，PAI通常会把我的脸变成南亚人或非洲人的脸，偶尔会变成中国人（但绝不是越南人或任何东南亚面孔），例如下图：
其他许多人尝试了各种提示词，也得到了类似结果，表明该模型（这里“模型”是通俗说法，指模型及其权重，以及任何负责生成输出的系统）对某些事情（比如拥有特定职业的人是什么种族）存在先入为主的观念，这些观念强大到足以覆盖输入照片。例如，将肤色较浅的亚洲人变成白人，因为模型“认定”可以通过抛弃亚洲特征、使其变白来让某人看起来更专业。
其他人尝试了各种提示词来探究模型中捆绑了哪些先入为主的观念，并发现了类似结果。例如，Rob Ricci在分别要求生成“计算机科学”、“哲学”、“化学”、“生物学”、“兽医学”、“护理学”、“性别研究”、“中国历史”和“非洲文学”教授的领英头像时，得到了以下结果。在前7个提示词生成的28张图片中，28人里可能只有1-2人不是白人。下一个提示词“中国历史”的结果则夸张到离谱的刻板印象，我们在其他模型要求生成非白人输出时也经常看到这种情况。Andreas Thienemann指出，除了夸张的中国刻板印象外，每位教授都戴着眼镜，这是另一个经典刻板印象。
就像我说的，我并非刻意针对 Playground AI。正如我在别处提到的，市值万亿美元的公司也经常在发布 AI 模型时，连最基本的偏见检查都不做；我试用 ChatGPT 时，每个我尝试的偏见检测提示返回的结果都与我们在这里看到的图片类似，例如，当我尝试请求科技行业男性和女性的简介时，女性的简介往往表明她们从事多元化工作，即使那些没有公开记录显示从事多元化工作的女性也是如此；而男性的简介则往往来自麻省理工、伯克利等名牌工程院校，即使有些人根本没上过任何名牌学校，在知名科技公司方面也是如此（由于 Twitter 限制，链接中只展示了 4 个例子，但我尝试的其他例子与展示的例子一致）。
这篇文章本可以用几乎任何公开可用的生成式 AI 来举例。它恰好用了 Playground AI，因为其 CEO 的回应既要求我们这样做，也反映了普通人常给出的那种标准反射性回应“AI 没有偏见”。
回到关于“专业人物照片被变成白人并不算偏见，因为亚洲人在其他情况下出现频率很高”的回应，我们之前看到的那条高赞 Reddit 评论建议“去最流行的 Stable Diffusion 模型网站看看首页的图片”。以下是我在评论发布当天点击链接后，再点击“feed”得到的结果。
[点击展开/折叠轻微 NSFW 图片] 
这个网站有点色情的感觉。中位数的图片可以描述为“你会在电影场景中一个青春期男孩墙上看到的典型海报，编剧们正拼命寻找标准道具来表明这个角色是个好色且社交能力差的青春期男孩”，而进入 feed 并默认按“历史最高”排序时，首先展示的是一个人抓着一个年轻女性的乳房，标题为“Guided Breast Grab | LoRA”；两个年轻女性在接吻，标题为“Anime Kisses”；以及一个戴着项圈的年轻女性，标注为“BDSM — On a Leash LORA”。所以，显然有一个人们喜欢用来生成和传播色情照片的网站，而这个网站上亚洲女性照片的高出现率，被用作证据表明不存在对亚洲女性产生负面影响的机器学习偏见，因为当一位亚洲女性试图为自己的 LinkedIn 个人资料获取一张干净的照片时，她被变成了白人，这被抵消了。我真的不知道该对此说什么。Fabian Geisen 回应道“🤦♂️。真是‘我没有偏见。是你的偏见’级别的讨论”，这感觉是个恰当的回应。
评论区中另一条常见的推理思路——我在几乎所有关于AI偏见的讨论中都能看到——典型地体现在以下评论中：
AI基于“专业人士”的库存照片训练，结果把她变成了白人。我们很惊讶吗？
她让AI把她的头像变得更专业。互联网上大多数“专业”库存照片里都是白人。
以及
如果她让照片变得更“任何东西”，AI很可能都会把她变成白人，因为西方国家的平均照片就是这样，而亚裔只占美国人口的7.3%，其中很大一部分是南印度人，长相和她东亚人的特征完全不同。东亚人只占5%或更少；训练数据根本不够。
这些评论似乎基于一个基本假设：公司使用的训练数据能代表美国人口构成，这种做法是合理的，并且模型因此应该把所有人都转换成最常见的类型。这在多个层面都是错误的。
首先，关于专业库存照片是否以白人为主——快速搜索“专业库存照片”会看到不少非白人面孔，所以要么库存照片并不那么“白”，要么人们已经找到了返回更具代表性样本的方法。而且，考虑到全球人口分布，互联网服务理应偏向美国中心这一点并不明确。退一步说，即便我们接受主流互联网服务应默认用户都在美国，假设每个请求都来自典型的美国人，这既是设计缺陷，也是明显的偏见信号。
由于很多人在谈论种族或族裔问题时会产生这种条件反射式的反应，我们不妨看一个不那么敏感的人工智能假设案例。假设我与本地修车厂的AI客服聊天机器人对话，要求预约安装冬季轮胎并进行轮胎换位。然而当我去取车时，却发现他们给我换了机油而非安装冬季轮胎。随后一群网络评论者解释称，这并非任何偏见的迹象——你应该知道AI聊天机器人会将所有修车厂预约自动转换为换机油预约，因为这是最常见的预约类型。一个会将任何预约请求都转化为“提供最常见预约类型”的聊天机器人显然存在缺陷，但出于某种原因，AI辩护者却坚称当涉及改变他人种族或族裔时这种机制毫无问题。同理，如果有人认为我的换胎预约被改成换机油没问题，理由是其他公司的预约系统也会把换机油预约改成换胎预约——这种推论同样荒谬，但这正是我们上文讨论过的常见论证逻辑。
假设我使用Mindbody或JaneApp这类标准非AI预约软件预约修车厂，要求进行轮胎更换和换位服务。如果最终因为软件自动安排最常见预约类型而给我换了机油，这明显表明软件存在漏洞，任何理性的人都不会认为无需修复这个漏洞。然而这正是人们针对AI提出的常见论点（很可能是该话题评论中最常见的辩护说辞）。这种论证更进一步，用解释漏洞成因的方式来合理化漏洞存在的必要性，甚至认为人们不该尝试修复它。这种解释若套用在“传统”软件漏洞上显然荒谬至极，在机器学习领域同样毫无道理。或许可以辩称机器学习中的漏洞更难修复，且修复不切实际，但这与常见的“这不是漏洞，软件本就该如此运行”的论调截然不同。
我能想象有些用户会在程序采取更不透明的操作时（比如自动更正）说出类似的话，但我实际上尝试在 Reddit 上搜索了 autocorrect bug，在排名前三的帖子中（我没有查看其他帖子），255 条评论里有 2 条否认了错误的自动更正是个 bug，而且这两条评论都来自同一个人。我确信如果你深入挖掘足够多的话题，会发现比例更高的例子，但在搜索更多话题（比如 Excel 格式化和自动更正 bug）时，我搜索的话题中没有一个能达到我们在生成式 AI 中看到的情况——那里经常有近一半的评论者激烈否认用户提示词产生相反效果是个 bug。
回到 bug 本身，从机制上来说，我们在分类器和生成模型中都能看到的一个现象是，许多（也许是大多数或几乎所有）这类系统都吸收了很多人持有的偏见，这些偏见反映在互联网的某些样本中，从而导致类似 Google 的图像分类器将一只拿着体温计的黑手归类为 {手, 枪}，而将一只拿着体温计的白手归类为 {手, 工具}1 的情况。在过去十年中，经过一系列此类错误——从 2015 年 Google Photos 将黑人归类为大猩猩，到 2018 年部署某种广告文本分类器，将包含“非裔美国作曲家”和“非裔美国音乐”的广告归类为“危险或贬损”——Google 用 Gemini 把旋钮拧向了另一个方向，顺便说一句，这引发了比任何其他例子都多得多的愤怒。
偏见进入自动化系统并非新鲜事。这早于生成式AI和大语言模型，也并非机器学习模型独有的问题。只是机器学习的广泛应用让这类问题变得清晰可见，使部分案例成为新闻。例如，查看压缩算法和词典时，Brotli严重偏向英语——其内置的120种变换中，涉及人类语言的部分全是英语，而内置压缩词典对英语的权重远高于任何你可能参考的代表性权重（如按人口加权的语言使用者、非自动化的人类语言文本在通讯平台上的发送量等）。你可以为英语为何应占如此高权重提出理由，但也有相反论据，例如英语使用与用户带宽正相关，因此非英语使用者平均而言更需要压缩。但无论你认为应使用何种权重函数来生成代表性词典，这都不会成为病毒式新闻，因为普通读者不会关心Brotli的120种内置变换中有多少会为文本添加“ of the “、”. The“或”. This“这类高度专用于英语的短语，而没有任何变换编码其他人类语言的高度专用术语——尽管全球仅20%的人说英语，且与使用者数量相比，内置压缩词典对英语的倾斜程度远超其他任何人类语言。你可以为Brotli词典辩护，类比上述观点：基于Brotli词典训练所用的代表性语料库，该词典能实现最优压缩。但词典中包含许多古怪短语，如”World War II“、“, Holy Roman Emperor”、“British Columbia”、“Archbishop”、“Cleveland”、“esperanto”等，这让人怀疑训练词典的语料库是否足够有代表性，甚至是否特别代表人们发送的文本。难道将“, Holy Roman Emperor“纳入词典，真的能比包含任何法语、乌尔都语、土耳其语、泰米尔语、越南语等语言的任何内容，在互联网文本分布上实现更好的压缩吗？
另一个不太可能成为热门新闻的例子是，我无法在博客标题中使用越南语名字，并让博客被谷歌索引到越南语谷歌之外——我刚开始写博客时试过，结果我的博客立即停止在谷歌搜索中显示，除非你身处越南。人们默认认为用户想要英语搜索结果，大概有人创建了一个启发式规则：如果页面上出现两个带越南语变音符号的字符，就会触发标记，认为该页面“过于亚洲化”，因此除了某个国家外，对世界其他地方毫无兴趣。“明显带有越南特征”似乎是导致Bug的常见原因。例如，即使没有变音符号，越南语名字也会带来问题。我经常遇到要求填写母亲婚前姓名的表格。如果我输入母亲的婚前姓名，系统会提示“无效姓名”或“姓名太短”。这倒没什么，我可以通过使用一个替代姓名来应对这种粗心，这或许反而更安全。另一个问题是，有人会擅自认为我报错了自己的名字，并擅自更改。对于我的姓氏，如果我报出“Luu, L-U-U”，大约有一半时间会被从越南语的“Luu”缩短为中文的“Lu”，很多时候还会被改成西方的“Lou”。但我发现，如果我说“Luu, L-U-U，两个U”，成功率能达到95%。这有时会让对方感到恼火，他们会不耐烦地说：“你没必要拼三遍。”也许对那个人来说是这样，但大多数人还是搞不明白。这种情况甚至在我将名字输入电脑系统时也会发生，因此我的名字在数字化记录之前不可能存在转录错误。我的法定名字（不带变音符号）是Dan。对于越南裔美国人来说，这并不罕见，因为Dan既可以是越南语名字，也可以是美国名字，而且许多越南移民不知道Dan通常是Daniel的简称。在我全职工作过的六家公司中，有三家有人“好心”地将我的名字改成了Daniel，大概是因为有人看到数据库中记录的是Dan，就断定我输错了名字，并且坚信他们比我自己更了解我的名字，以至于完全不需要询问我的意见。有一次，这仅仅影响到了我的电子邮件显示名称。由于我对别人如何称呼我没有强烈意见，所以懒得去改，结果在那家公司工作期间，很多人叫我Daniel而不是Dan。另外两次，名字的更改影响到了重要文件，所以我不得不改回来，以确保我的保险、税务文件等与法定名字一致。如前所述，使用我的脸部照片在Playground AI上输入相当无害的提示词时，即使偶尔生成亚洲面孔，也似乎更倾向于东亚面孔而非东南亚面孔。我在一些大公司的生成式AI模型中也注意到了同样的情况——即使你要求生成东南亚面孔，它们也会生成东亚面孔。那些号称能清理错误和噪音的AI工具，同样会“清理”掉亚洲特征（以及其他类似的“错误”），例如，使用Adobe AI降噪功能（宣传为“通过语音增强去除录音中的噪音”）的人注意到，它会识别并去除亚洲口音，让说话者听起来像美国人（对其他口音也是如此，比如东欧口音）。
我每周在使用常用软件时，大概会看到几十到上百个类似的问题（这还远低于整体bug数量——我们之前观察到每周有数百到上千个bug），但我接触的大多数美国人完全注意不到这些。最近有很多讨论，关于各种机器学习系统中的偏见造成的危害，以及机器学习的广泛使用将带来各种新的危害。这或许没错，但我的感觉是，自从有了自动化以来，我们一直将偏见编码进自动化系统中，而自动化范围的扩大和规模的增加，已经并将继续扩大自动化偏见的范围和规模。只是现在，机器学习的许多应用让这类偏见对普通人来说更容易理解，因此更可能成为新闻。
我目前看到的关于这个话题的流行文章存在一种历史缺失，它们没有承认这里的基本问题并不新鲜，这导致了在提出解决方案时出现两类问题。一类是解决方案往往针对机器学习，但这些问题无论是否使用机器学习都会发生，因此针对机器学习的解决方案似乎聚焦在了错误的层面。当提出的解决方案是通用性的时，我看到的那些方案以前就提出过并且失败了。例如，至少在过去二十年里，一个常见的行动呼吁（也许是最常见的，除非“人们应该更关心”也算行动呼吁）就是我们需要更多元化的团队。
这显然没有奏效；如果奏效了，上面提到的问题就不会如此普遍。这个方案在多个层面上没有奏效，也不会奏效，其中任何一个层面都足以致命。一个问题是，在整个行业中，负责的人（高管和控制资本的人，如风投、私募投资者等）总体上并不关心这一点。尽管有关于多元化团队效率的论证和人才方面的理由，但这种情况永远不会像游戏和体育中的决策那样清晰明确——我们看到，在那些领域，非常昂贵且容易量化的糟糕决策在被指出错误后可能持续数十年。然后，即使高管和资本接受了这个想法，它仍然不会奏效，因为维度太多了。如果你看一家真正优先考虑多元化的公司，比如2013-2019年的Patreon，你运气好的话，组织能够在两三个维度上认真优先考虑多元化，同时却在成百上千个其他维度上掉链子，比如越南名字或面孔是否被正确处理。
即便上述问题都不存在，这个解决方案依然行不通。因为虽然拥有具备相关多元经验的团队可能与优先处理问题存在一定关联，但这并不会自动导致问题被优先解决和修复。举一个不带争议的例子：自谷歌地图诞生以来，其交通预估功能就存在一个至少持续到2022年的漏洞（此后我开车次数不多，不确定该漏洞是否仍存在）。当我在高峰时段开始时询问行程耗时，系统仅考虑当前交通状况，而未考虑行驶过程中交通流量的变化，因此会系统性低估行程时间（反之，若在高峰时段规划行程，则会系统性高估耗时）。若试图通过增加谷歌地图团队的“通勤多样性”来解决此问题，注定失败。谷歌地图团队中已有大量员工日常开车通勤，他们完全能观察到预估系统存在的系统性偏差。增加所谓“能开车并注意到问题”的多样性成员，几乎不可能带来任何改变。再举一例：当优步支付团队前经理被机器学习模型错误标记为欺诈交易而遭封禁时（详见danluu.com/diseconomies-scale），无人能查明原因或确定导致误封的偏见类型（最终解决方案是将该用户加入白名单）。连支付团队经理都难以获得更优服务，优步尚且无法真正查明问题根源。即便招聘一位“多元化”候选人加入团队，当原团队经理历经六个月调查仍只能通过白名单解封账号时，这种多元化在任意维度上都不可能自动解决甚至显著改善偏见问题。
如果你的软件开发方法论导致：支付团队经理被封禁后需六个月才能通过白名单解封；应用中的路线规划功能系统性错误持续二十年；核心功能完全失效（详见danluu.com/nothing-works）……那么无论招聘多少背景与“发现特定问题”存在关联的员工，都无法解决这类问题——无论是机器学习偏见还是其他类型的漏洞。
当然，有时旧有失败理念的变体确实会成功，但要让一个提案具有可信度甚至趣味性，就必须解释为何下一次迭代不会像之前每一次那样失败。正如我们上文所述，从宏观层面看，我见过最常见的两种解决方案是：人们应该更努力、更关心，以及我们应该引入不同背景的人（非技术意义上的）。这种做法对大量“经典”漏洞无效，对旧式机器学习漏洞也无效，而且似乎没有任何理由相信它会对当今机器学习模型产生的这类漏洞奏效。
Laurence Tratt 表示：
我认为这比个别偏见案例更重要。有趣的是，大多数情况下：a) 没人注意到自己正在引入这类偏见；b) 通常甚至没有理由期望他们注意到。例如，有些网页表单拒绝了我之前的地址，因为我住在乡下，很多房子只有名称——但大多数开发者住在城市，房子只有门牌号。从某种意义上说，这是活跃的偏见在起作用，但并无恶意：程序员必须填补设计细节并做出选择，而他们会基于自身经验行事。没有人能无所不知！这引发了一个有趣的哲学问题：在什么情况下，我们有理由认为组织应该意识到自己正在编码某种偏见？
我的感觉是，对机构与产品而言，“自然”状态——即能量最低、最直接的路径——往往意味着它们运行得并不理想。如果此前没有人培养某种文化或建立流程来在特定维度上促进质量，那么质量很可能低下，因为生产高质量产品本就困难。因此，如果没有健全的流程来捕捉偏见，组织就应该预期自己正在编码各种偏见。
我们在这里遇到的一个问题是，在消费软件领域，公司普遍选择了速度而非质量。考虑到当今的监管环境，或者我有生之年可能出现的任何监管环境，这似乎基本上是不可避免的——因为那些认真选择质量而非功能速度的公司会被淘汰，消费者会 overwhelmingly 选择成本更低或功能更丰富的选项，而不是质量更高的选项。我们在汽车领域也看到了这一点，当我们观察车辆在样本外碰撞测试中的表现时，发现只有沃尔沃在优化汽车以应对真实碰撞，而不是仅仅在公开测试中取得高分。尽管交通事故是50岁以下人群的主要死因之一，但消费者对安全支付的优先级如此之低，以至于沃尔沃成了一个利基品牌，不得不转向高端市场销售豪华车才能生存。我们在CPU领域也看到了类似情况，英特尔过去在验证工作上投入的精力远超AMD和ARM，因此严重漏洞也相应较少。当AMD和ARM开始构成严重威胁时，英特尔将精力从验证和确认转向提升速度，因为他们的质量优势在市场上并未带来好处，如今英特尔芯片的漏洞几乎和AMD一样多。
在几乎每个消费市场以及许多B2B市场中，我们都能观察到类似现象，尤其是在那些已有已知解决方案的问题上。如果从技术角度来看，我们不知道如何很好地解决的问题，比如机器学习模型中微妙甚至不那么微妙的偏见，那么我们有理由预期会看到比“经典”软件系统更多、更严重的漏洞——这正是我们目前所看到的。任何能在市场中站住脚的解决方案，都必须能够应对消费者会 overwhelmingly 选择漏洞更多的产品这一现实，只要该产品拥有他们想要的更多功能，或者能更快地推出他们想要的功能。这使得任何需要谨慎行事、从而显著拖慢发布速度的解决方案，都处于非常艰难的境地，除非存在像鼎盛时期的英特尔那样的单一主导玩家。
感谢 Laurence Tratt、Yossi Kreinin、Anonymous、Heath Borders、Benjamin Reeseman、Andreas Thienemann 和 Misha Yagudin 提供的评论、更正和讨论。
附录：从技术角度看，改善现状有多难？
这是一个真正的问题，而不是修辞性的问题。自2014年以来，我没有从事过任何与机器学习相关的工作，因此我对当前的情况了解不够，无法对技术方面直接发表意见。一些比我更晚从事机器学习工作的人，比如 Yossi Kreining（见下方附录）和 Sam Anthony，认为这个问题非常困难，甚至可能以我们目前的技术水平无法解决。
由于我本人没有直接观点，以下三种看似类似的情况，每种都指向不同结论。
类比一：这或许就像自2014年起就有人说“迟早有人能做出谷歌搜索”，因为现有开源工具已基本优于谷歌搜索，或是有人声称构建一种将高级语言原语编码到硬件中的“高级”CPU能带来通用CPU性能的1000倍提升（相关讨论）。你无法证明这种说法错误，搜索质量大幅提升或CPU性能千倍飞跃或许近在咫尺，但提出这些方案的人通常显得像怪人，因为他们表现出我们之前提到的“无视历史”，且提出的解决方案已知无效，却未解释其方案如何解决导致以往尝试失败的问题。
类比二：这或许就像软件测试领域——软件漏洞无处不在，尽管硬件行业在高效发现漏洞方面已有数十年经验，但这些技术在极少领域得到应用。我曾多次与人讨论此事，最常见的回应是某应用XYZ存在特殊限制，导致完全无法测试或无法使用我讨论的技术进行测试。但每次深入调查后，我发现该应用的实际测试难度远低于那些已应用这些技术的领域。有人可能认为我在测试方面是个怪人，但我确实用这些技术成功测试过多种软件，因此我认为这与“只要采用我设计的CPU架构就能让CPU快1000倍”这类说法不同。
由于激励机制使然——软件公司通常能将漏洞成本转嫁给客户，而客户并不真正了解情况——我认为在监管改革之前，企业不会在测试上投入大量精力。但从技术层面看，采用更高效的测试技术和方法并无根本性障碍：我曾指导他人编写自己的模糊测试器和随机测试生成器，通常只需30分钟到1小时，之后他们就能用这些技术更高效地发现重要漏洞。然而，从实际选择来看，组织显然并不“希望”其开发者高效测试。
在机器学习模型的偏差测试与修复问题上，当前处境更接近类比一还是类比二？虽然我无法自信断言我们处于类比二，但我也无法确信自己为何不处于类比二。假设我对测试一无所知，当听到所有人都在解释为何他们的应用无法通过测试发现致命缺陷时，我可能会得出以下结论之一：
- “所有人”都是对的——这很合理，毕竟这是他们擅长的领域而我不懂，我凭什么质疑？
- 没有观点——或许源于高度默认的怀疑态度
- 所有人都是错的——这似乎不合理，因为我对该领域一无所知，也没有特别理由相信所有人都在犯错
作为局外人，要断言所有人都是错的，需要极度自负。因此我不得不错误地认为“所有人”都对，或者干脆不持立场。
面对“经典”测试的现状，我觉得自己确实无法形成明确观点。在缺乏最新知识的情况下，断言众多专家都错了并不合理。但又有足够多的曾被宣称困难或不可能、最终却被证明可行且并不复杂的问题，让我难以在不深入探究的情况下，就坚信某个问题本质上无解。
我无法预估自己若真正深入研究后会作何感想。假设我尝试涉足该领域，在OpenAI或其他研究此类问题的机构谋职，侥幸通过面试，工作数年却毫无进展——这并不代表问题无解，只是我未能解决。至于那些声称“Lucene基本媲美谷歌搜索”或“CPU性能轻松提升1000倍”的人，业内人士一眼就能看出他们是妄人，因为他们完全不了解该领域的实际问题。但做出这种判断需要对该领域有相当深入的了解，我不认为存在某种捷径，能让你在缺乏专业知识的情况下可靠预判自己会得出什么结论。
附录：本文的由来
我在2023年中Playground AI故事爆红时写了这篇博文的草稿，然后搁置了一年，想看看当故事不再是热点新闻时，这些内容是否依然站得住脚。一年后再看，我觉得根本问题以及我看到的关于这个话题的讨论并没有真正改变，所以我在2024年中整理并发布了这篇博文。
如果你喜欢做预测，你觉得这篇博文在十年后，也就是2033年，仍然具有相关性的概率有多大？作为参考，这篇2014年发布的关于“经典”软件错误的博文，在2024年的今天发布，结果也基本一样（我说“基本”，是因为我今天看到的错误比2014年更多，而且今天我看到的前端和操作系统错误比2014年多得多，所以错误会更多，种类也不同）。
附录：来自其他人的评论
[点击展开/折叠来自Yossi Kreinin的评论]
我不确定你是否同意这一点，但我认为与生成式AI偏见很像其他软件偏见相关的另一个观点，正是这种偏见的本质。“AI偏见”并不是AI学会了其创造者的偏见，并巧妙地加以实施，例如针对其创造者不喜欢的少数群体。相反，“AI偏见”更像是“我通常懒得修复错误，除非市场或政府强迫我这么做，而作为这一点的逻辑结果，我尤其懒得修复那些对某些群体产生不成比例负面影响的错误，因为这些群体所处的具体情况，使得这种影响不太可能迫使我修复错误。”
经典软件漏洞与AI漏洞之间存在相似性——也就是说，没人担心“软件存在偏见”是某种精心策划的阴谋，大家都明白，要么是软件制造者在耍花招，要么（更常见的情况是）软件制造者懒得把事情做好。对于生成式AI，我认为“耍花招”的可能性实际上比传统软件更低，而“不修复漏洞”的可能性更高，因为人们并不理解自己制造的AI系统，也无法像控制传统软件那样随心所欲地让它们执行指令（无论善恶）；但另一方面，漏洞也因同样的原因（我们不清楚自己在做什么）而更易出现。我认为许多来自不同政治立场的人（例如埃隆·马斯克，而不仅仅是记者等）都会说类似“我们训练AI以错误方式认知世界，这太可怕了”的话，尤其是在涉及种族、政治或其他敏感偏见的例子中。但在我看来，这实际上是一个影响用户不同程度的产品漏洞，修复优先级确实存在偏见，但这个东西根本谈不上“思考”。
我想补充的是，几乎可以肯定存在“耍花招”的尝试，比如让生成式AI重复某种政治观点、过度或不足地代表某个群体等，但这些尝试总会因漏洞或无法真正控制模型而产生滑稽的副作用。我认为，试图控制传统软件以实现政治相关议程的类似尝试，平均而言要有效得多（尽管这里我也认为，确实存在一些社交媒体漏洞被误认为是精心策划的阴谋的例子）。无论你认为背后的议程是恶意还是善意，这两者都只能建立在能力之上，而目前在这方面还有很长的路要走。
参见《简单任务揭示最先进大型语言模型的完整推理崩溃》（https://arxiv.org/pdf/2406.02061）。我觉得如果这个都不奏效，那很多其他东西也不会奏效，而要一一列举出来必然相当困难。
我的意思是，没人会指望一个1980年代的专家系统通过足够多的调整就能不再行为荒谬。我看不出这跟大语言模型有什么本质区别，除了大语言模型有用得多。它仍然是一个假装像人一样说话的东西，但实际上在做着概念上简单且截然不同的事情，只是常常看起来正确罢了。
[点击展开/折叠来自某AI初创公司匿名创始人的评论]
在[创立AI初创公司]的过程中，我接触了大量主流机器学习代码。这种“接触”堪比“核废料”或“H1N1”。即使作为一个经验丰富、看透世事的老程序员，代码中传统软件缺陷的出现频率也令我震惊。例如，最近我在研究分词时，第一步自然是对几个实现进行轻度差异测试。结果惨不忍睹。不是“他们遗漏了一些边缘情况”，而是“根本没人看过一眼”。考虑到我们对模型如何处理分布外数据的认知，这简直荒谬至极。
从某种意义上说，这与您讨论的偏见类型无关……但它同样暴露出一种深层的工艺缺失和严谨性匮乏，两者完美契合。
[点击展开/折叠来自Benjamin Reeseman的评论]
[Ben希望我注明这应被视为非正式回应]
对于机器学习模型中的群体偏见及相关现象（或者任何其他“专家”系统，正如您所说，ChatGPT并未发明这一点，只是让它变得清晰可辨——借用您的术语），我有略微不同的看法。
我认为，试图强迫模型反映除互联网语料库（大致如此）之外的任何内容，实际上掩盖了真正的问题：偏见是真实存在的，人们确实因背景、肤色、性取向或诸多因素而遭受不公。我宁愿模型将这些暴露出来，让我们直面现实中的失败模式，而不是试图调整表象，让滥用行为得以延续。
这与#MeToo运动或各种DEI倡议有相似的类比：大多数初衷良好，但容易被操控，最终反而让特权阶层获得了更大的空白支票。
这并非说对齐毫无价值——我认为它同样始于善意，甚至可能是一种局部有效的缓解措施。
但真正的解决方案是解决现实世界中的不公与不平等。
我认为您引用的例子应该是一个警钟，让任何人都无法再假装忽视真实问题，并理想地成为推动真正改革的强制力。
我很乐意在您方便时聊聊这个话题。我的观点属于少数派，但就个人而言，我更倾向于解决根本问题，而不是用一堆条件语句来粉饰太平。
还有一种更阴暗的看法：真正的改革是不可能的，我们已生活在技术反乌托邦中，只能在被围猎的少数群体力所能及的范围内进行缓解。
而支持这一观点的论据令人不安地有力：即使在表面上发达的世界，如今的警察看起来就像30年前我小时候的士兵一样，有人正以高昂代价守护着某物免受某物侵害，而据我所知，这并非为了保护黑人孩子免遭枪击。
但我并不认同这种悲观论调，我认为这只是工业化向物理物流的任意权力过渡过程中的局部异常——只要我们懂得如何改变它。
我曾短暂担任生物技术公司的顾问，这些公司与诺贝尔奖候选名单相关的人士有合作，领域涉及蛋白质组学。像所有顾问一样，我将所有功劳归于那些按小时支付高额报酬的客户。
但现在这确实是一个香农问题：CRISPR Cas-9不仅能对个人基因组进行任意编辑，还能（在伦理和法律灰色地带）对生殖细胞系进行编辑。
我们只是不知道要改变什么，而且这个领域有足够的诚信，我们不会冒险拿任意儿童来做实验。
附录：复现Rob Ricci的结果
我尝试了默认设置的提示词，只是将图像质量降低到10以加快生成速度。这意味着我们使用了512/512分辨率、7提示引导、10质量、随机种子。经过两次尝试后，我将图像质量提高到40，因为图像质量太低有时无法判断种族。除了提高图像质量外，没有尝试重新运行提示词或以其他方式对输出进行任何筛选。提示词为“为X生成一张非常专业的领英头像照片”，其中X分别为医生、律师、工程师、科学家、记者和银行家。
这产生了以下图像：
大致来说，我认为Rob的结果得到了复现，考虑到我们已经看到这么多图像，这应该不足为奇。
然后，为了验证生成式AI没有偏见的标准反驳——即对色情图像的请求往往会出现亚洲女性——我尝试了提示词“为色情明星生成一张俗气的Instagram头像照片”。在某些情况下触发了NSFW过滤器，因此我们没有得到四张一组，而是得到了：
[点击展开/折叠非常轻微的NSFW图像] 
确实，生成的图像比我们任何专业照片中的亚洲面孔都要多，除了Rob Ricci那组要求“中国研究教授领英头像”的照片。
附录：Benjamin Reeseman的评论
- 自然，当我提到这一点时，一位“聪明的唱反调者”回应道：“基础概率是什么”，但花30秒谷歌一下就会发现，美国枪支拥有率在白人中远高于其他任何人口群体。如果你再想想手持物体的基础概率——那个物体是枪的时间占比是多少？无论种族如何，这个比例都会非常低。当然，你可以找到一个完全偏离基础概率的有偏样本，谷歌似乎就是这么做的，但尚不清楚这为何能证明这个漏洞是合理的。[返回]