如果我问自己一个问题，比如“我想买一张SD卡，我该相信谁能卖给我真货而不是假货，是亚马逊还是本地的百思买？”答案当然是我更信任本地的百思买1，而不是以销售假冒SD卡而臭名昭著的亚马逊。而如果我问自己更信任谁，是本地信誉良好的电子商店（如Memory Express、B&H Photo等），我则更信任本地信誉良好的电子商店。他们不仅比百思买更不可能卖给我假货，而且万一他们真的卖给我假货，服务也可能更好。

同样，假设我问自己一个问题：“在哪个平台上，我遇到诈骗、垃圾信息、虚假内容等的比例更高，是[较小平台]还是[较大平台]？”通常答案是[较大平台]。当然，小平台总数更多，且方差更大，所以我可能故意使用一个更差的小平台，但当我选择好的选项而非坏的选项时，在每个规模类别中，小平台通常更好。例如，比较Signal和WhatsApp，我从未收到过垃圾Signal消息，而WhatsApp却时不时收到垃圾消息。或者比较我可能阅读技术内容的地方，如果比较没人听说过的小论坛和lobste.rs，lobste.rs上不良内容的比例（指我看到消息中的比例，而非绝对消息量）略高，因为私人论坛上为零，而lobste.rs上很低但非零。然后比较lobste.rs和稍大的平台，如Hacker News或mastodon.social，这些平台上的诈骗/垃圾/虚假内容比例（同样略高）。再与中等规模的社交媒体平台（如Reddit）相比，Reddit上不良内容的比例明显更高且更引人注目。最后，将Reddit与YouTube、Facebook、Google搜索结果等大型平台相比，这些更大平台上的诈骗/垃圾/虚假内容比例更高。而且，与SD卡例子一样，随着平台规模增大，获得良好支持的可能性也会降低。如果平台错误地封禁或暂停账户，账户恢复的可能性也会随着平台变大而变差。

我认为，一般来说，随着平台规模扩大，很多事情会变得更糟，这并非争议性观点。例如，当我发起一项推特投票，询问与我关系松散的人的看法时，只有2.6%的人认为大型公司平台拥有最佳的内容审核和垃圾/欺诈过滤功能。作为参考，在一项调查中，9%的美国人表示疫苗会植入微芯片，12%的人认为登月是假的。这些样本群体不同，但似乎随机抽取的美国人更可能认为登月是假的，而科技从业者更不可能认为大公司拥有最佳的反欺诈/反垃圾/审核机制。

然而，在过去五年里，我注意到越来越多的人提出相反的观点，即只有大公司才能做好内容审核、垃圾邮件过滤、欺诈（和假冒）检测等工作。我们在研究搜索结果时看到了一个例子，一位谷歌工程师说：

有人试图争辩说，如果搜索领域竞争更激烈，有许多小提供商而不是三大巨头，那么它反而会更能抵御基于机器学习的SEO滥用。

而且……你看，如果连谷歌都跟不上节奏，那“市场份额5%的小公司”又怎么能做到呢？

一位意见领袖回应道：

大概95%的情况下，当有人声称某家小型独立公司能比市场领导者更好地完成某项艰巨任务时，这只是在自我安慰。规模经济的效果相当不错！

但当我们查看实际结果时，发现我们考察的搜索引擎中，市场份额0.0001%的小公司最能抵御SEO滥用（且表现相当不错），市场份额0.001%的公司也具有一定抵御能力，而谷歌和必应则被SEO滥用淹没，经常将用户直接引向各种骗局。电子邮件领域也出现了类似情况，我经常听到有人说由于垃圾邮件负担，自己管理电子邮件是不可能的，但人们一直在这样做，而且结果往往与Gmail相当甚至更好，主要问题在于与大公司邮件服务器交互时，它们会错误地屏蔽小型邮件服务器。

我开始看到大量评论声称需要规模才能做好内容审核、反垃圾邮件、反欺诈等工作，大约是在扎克伯格回应伊丽莎白·沃伦呼吁拆分大型科技公司时，声称拆分科技公司会使内容审核问题严重恶化，他说：

扎克伯格说：“问题在于，拆分这些公司——无论是Facebook、谷歌还是亚马逊——实际上并不能解决问题。而且，你知道，这并不会减少选举干预的可能性。反而会增加，因为现在这些公司无法协调合作。这也不会减少仇恨言论或类似问题，反而会加剧，因为……我们正在建立和投入的所有流程，现在变得更加分散了。”

“这就是为什么Twitter无法像我们一样做得那么好。我的意思是，他们面临的问题在性质上是相同的。但他们无法投入那么多资源。我们在安全方面的投资比他们整个公司的收入还要多。[笑声] 是的，我们的规模更大，但并不意味着他们面临的问题在性质上有什么不同。他们和我们有同样类型的问题。”

这个论点是，要做好内容审核需要大量资源，而规模较小的公司，比如Twitter这种体量的公司（当时市值约300亿美元），无法调动必要的资源来进行良好的审核。当时我觉得这个说法相当可笑，因为在收购Twitter之前，我在Facebook上看到的明显诈骗内容比例远高于Twitter。例如，我在假日购物季点击Facebook广告时，大多数都是诈骗，而Twitter虽然也有诈骗广告，但和Facebook完全不是一个级别。而且不只是我这么认为——Arturo Bejar，他设计了早期版本的Facebook举报系统，并领导了一些重要的信任与安全项目，也注意到了类似的问题（详情见脚注）2。

不过，扎克伯格似乎很喜欢上述这种推理方式，因为他在其他地方也提出过类似论点，比如这里，就在同一年，Meta的内部文件显示他们每天让10万名未成年人接触性虐待图像，他发表了这样的声明：

从某种程度上说，当我还在宿舍里创业时，我们显然不可能有1万人或4万人来做内容审核，当时的人工智能能力也不足以主动发现大量有害内容。随着我们业务规模的扩大，在某个节点上，我们才开始有能力做更多这方面的工作。

这里的花招在于假设：当Facebook还在扎克伯格的宿舍里起步时，它就需要1万或4万人来做内容审核。比宿舍版Facebook更大的服务，完全可以用更少的审核员（甚至一个兼职人员）实现比今天Facebook更好的审核效果。但当人们越来越多地讨论对大型科技公司采取真正的反垄断行动时，科技巨头创始人和高管们却加强了反反垄断的论调，声称如果这些最大的公司被拆分成2015年或2010年时最大科技公司的规模，人类将遭遇各种灾难。这种推理似乎正在流行起来，因为我看到越来越多大公司员工也在陈述非常类似的逻辑。自1979年IBM培训手册中写道：

**

计算机永远不能被追究责任

因此计算机绝不能做出管理决策

**

我们已经走了很长的路。如今，在许多关键决策上，人们认为只有计算机才能做出大部分决定，而缺乏问责制最终似乎成了一种特性，而非缺陷。

但不幸的是，对于扎克伯格的论点3，这里至少存在三个主要问题，其中规模不经济占主导地位。第一，对于几乎所有人都能认定为不良的内容（例如比特币骗局、假药广告、虚假天气预报、成年人向儿童发送生殖器照片等），大型平台的表现比小型平台更差。第二，对用户而言，随着公司规模扩大，错误代价更高且更难修复，因为客服通常会变得更糟。第三，随着平台规模扩大，更大比例的用户会对平台上允许的内容产生强烈分歧。

关于第一点，虽然大公司确实拥有更多资源，但那种认为它们因资源最多而拥有最佳审核的鸡尾酒会式想法，被同样简单的对立观点所反驳：它们因成为最诱人的目标而拥有最差的审核，或因组织规模和问题领域扩大时出现的标准规模不经济而导致碎片化最严重，从而拥有最差的审核。公司拥有更多资源还是这些其他因素占主导，这个问题过于复杂，无法从理论上解决，但可以从经验上观察结果。至少从大公司选择投入审核、垃圾信息等方面的资源水平来看，更大的目标以及规模带来的其他问题占据了主导地位。

尽管这些公司利润丰厚，完全有能力投入足够资源大幅缓解这一问题，但它们选择不这么做。例如，在我写下这句话的前一年（截至2023年12月），Meta的税前利润高达470亿美元。如果Meta能像某位朋友曾任职的电力公司那样，秉持“为世代提供可靠、低成本的能源”的内部愿景，并像那家电力公司一样运营——致力于为用户创造良好体验，而非将利润最大化与打造元宇宙作为首要目标——那么它本可以将投入元宇宙的500亿美元用于内容审核平台和技术研发，再以每年3万美元的薪资（这在大多数招聘审核员的地区已是相当可观的收入，足以让他们精挑细选人才）额外雇佣160万名全职员工，用于处理升级投诉和用户支持等工作，相当于每数千名用户配备一名审核或支持人员（当然，管理如此庞大的团队会面临规模不经济的问题）。我并非主张Meta或谷歌必须这样做，只是想指出：每当大型科技公司的人说“这些系统必须完全自动化，因为没人能负担得起在我们这种规模下运营人工系统”时，其潜台词其实是“如果我们雇佣足够多的合格人员来手动审查系统本应标记为存疑的案例，就无法每年赚取数百亿美元的利润，所以我们只能在不损害利润的前提下凑合着用现有方案”。4 人们可以为这个选择辩护，但这终究是一个选择。

同样，关于规模经济优势的说法也是如此。在某些领域，规模经济确实能提升用户体验。例如，在探讨为什么买到好用的东西这么难时，我们注意到亚马逊的规模经济使其能够建立自己的包裹递送服务——尽管存在缺陷，但仍比现有其他选择更可靠（而且自他们增加用户评价每次配送的功能后，这一服务还在持续改进，而其他主要包裹递送服务均未提供此功能）。同样，苹果的规模和垂直整合使其能够组建史上最出色的性能团队之一（以同时期竞争对手的标准化性能衡量），不仅在基准测试中碾压对手，还在近期才被量化的方面（如设备延迟）提供了更优体验。举个更日常的例子：亚马逊上适合长途运输的饼干等食品，比本地杂货店更便宜。列举规模经济如何惠及用户很容易，但这并不意味着我们应假设规模经济在所有领域都压倒规模不经济。尽管超出本文范围，但若要讨论公司规模大小对用户是否更有利，我们应观察公司变大时哪些方面改善、哪些方面恶化，而非仅因某些方面变好就假定一切都会变好（反之亦然）。

回到“大公司拥有最多资源用于内容审核、反垃圾信息、反欺诈等”这一论点，与现实中选择将资源投入别处（例如在元宇宙上豪掷500亿美元，却未雇佣其有能力承担的160万审核与支持人员）的对比，我们有必要审视实际投入的精力。Meta在缅甸的介入是一个典型案例，因为Erin Kissane撰写了相当详细的4万字事件记录。整个事件复杂且涉及面广（详见附录讨论），但就本文主题而言，关键要素在于：存在一个多数人普遍认为应属最高优先级审核与支持的问题，尽管Meta各级员工（工程师、总监、副总裁、高管等）反复收到极其严重且紧急的警告，却几乎未投入任何资源解决该问题，而内部文件显示其系统仅捕捉到约定不良内容的一小部分（约百分之几）。我认为这并非Meta独有，与我作为用户及员工在其他大型科技公司的经历相符。

举个规模小些的例子：我一位熟人Samantha K.的Facebook账户被盗，如今正被用来搞比特币诈骗。某个骗子行骗时甚至懒得仔细看她的名字，直接生成极其明显的伪造照片——有人举着牌子，声称“Kamantha”帮他们赚了几万到几十万美元。这是“黑客”们相当常见的套路；我在FB上认识的另一个人也报告说，自己的账户遭遇同样情况，至今既无法找回旧账户，也无法让这个不断发布明显诈骗内容的账号被封禁。

相比之下，在lobste.rs上，我从未见过此类诈骗；首席版主Peter Bhat Harkins也表示，据他所知从未发生过。在Mastodon上，我大概只在信息流、回复或提及中见过一次。当然，Mastodon规模够大，刻意搜索也能找到诈骗信息，但每条消息和每个用户的诈骗率极低，普通用户根本不会遇到。在Twitter（被收购前）或reddit上，频率中等，大概每几周会在正常信息流里看到一次。而在Facebook上，这类东西我见得太多了；每个购物季都有明显的虚假消费品网站，比特币诈骗（无论是广告还是账户盗用）更是全年无休。许多人表示，他们不再举报这类诈骗，因为发现Facebook根本不会处理举报。与此同时，Reuven Lerner因在Facebook上投放Python和Pandas课程广告而被永久封禁，原因似乎是Facebook系统“认为”Reuven在宣传与动物交易相关的内容（而非编程）。这就是扎克伯格声称任何小公司都无法匹敌的审核与垃圾信息管控精度。顺便说一句，我并非刻意针对Meta；如果你想要风格略有不同的例子，可以查看Google示例附录，那里有上百个Google自动化系统出错的案例。

这个问题之所以回归到实证层面，是因为所有关于规模经济能让大公司投入更多资源解决问题的讨论，都取决于公司是否选择部署这些资源。没有任何理论力量迫使公司在此类领域投入资源，因此我们无法进行理论推理。但我们可以观察到，即便在人们普遍认为问题显然应优先处理的情况下（如Meta在缅甸的案例），部署的资源也不足以匹配问题。当然，当问题优先级不那么明确时，资源同样不会被部署。

第二个问题，是支持服务。科技圈里有个梗：作为大型平台的用户，获得支持的唯一办法就是发一条爆火的社交媒体帖子，或者认识内部人士。这加剧了审核不力、诈骗检测不足、反欺诈等问题，因为如果支持服务做得好，这些问题本可以缓解。

常规的支持渠道就是个笑话，你要么收到一封模板式的拒绝信，要么经历一场卡夫卡式的噩梦，然后还是收到模板式拒绝信。例如，Adrian Black 因冒充 Adrian Black 被 YouTube 封禁（明确一下，他是因为冒充自己而被封禁，不是冒充另一个同名的人），申诉后，他收到的回复是：

很遗憾，我们这边已经无能为力了。您的账户暂停和申诉都经过了非常仔细的审核，决定是最终的。

另一个谷歌支持的故事中，Simon Weber 在试图获取缴税所需信息时，被谷歌支持部门来回推诿：

扩展程序的会计数据导出功能自 2018 年 4 月以来一直对我（以及所有扩展程序商家？）失效（本文写于 2020 年 9 月）。我不得不让纽约总检察长给他们写信，他们才真正回应我的支持请求，这样我才能正确报税。

还有一次，YouTube 反复将 PointCrow 用筷子吃水的视频去货币化（他反复把筷子浸入水中，然后喝掉水，非常慢地“吃”一碗水）。

尽管他收到过这样的回复：

我们非常抱歉这个错误和来回沟通（原文如此），我们已经和团队谈过，确保不会再发生。

但他还是会再次被去货币化，而申诉则从标准的支持回复策略开始，即声称他们非常仔细地审查了所讨论的违规内容，但不幸的是，用户明显违反了政策，因此无能为力：

我们已经审核了您的申诉……我们仔细审查了您的内容，并确认其违反了我们的暴力或图形内容政策……确保 YouTube 对所有人来说是一个安全的地方是我们的职责。

这些都是高调的例子，但当然，低调并不能阻止你被封禁，并收到同样基本上是模板式的回复，比如这位 HN 用户因在 Facebook 市场上卖吸尘器而被封禁。经过多次申诉后，他被告知：

很遗憾，由于违反社区准则，您的账户无法恢复。审核是最终的。

当付费支持是可选时，人们常说如果你付费就能避免这些问题，但使用Google One付费支持或Facebook、Instagram付费创作者支持的用户普遍反映，付费支持并不比免费支持好。那些实际上内置了付费支持的产品也不一定更好。我认识一些人，即使他们所在的公司每年在Google Cloud上花费高达八到九位数，他们仍然会遇到与免费Google支持类似的推诿。其中一个例子是，用户发现Google肯定在丢包，但Google支持坚持认为丢包发生在客户的数据中心，尽管数据包追踪显示这根本不可能。我最后一次听说时，他们放弃了这个问题，但有时当问题完全无法绕过时，有人会打电话给他们在Google的朋友寻求支持，因为标准支持往往完全无效。这种情况并非Google独有——在另一家云服务商那里，我的一位前同事曾参与一次对话，一位非常资深的工程师被要求调查一个问题：客户抱怨每小时多次出现持续几秒钟的100%丢包。这位工程师回应说“这是云，他们应该自己处理”，直到被告知不能像往常一样忽视这个问题，因为问题来自[VIP客户]，并且正在干扰[全球最大的电视体育赛事之一]。那个问题最终被解决了，但很可能你并没有那么重要，即使你每年支付数亿美元。

当然，这种支持问题并非云服务商独有。例如，有一次Stripe无理由扣留客户40万美元超过一个月，每次向支持请求都得到与我们刚才看到的同样荒谬的回复。该用户使用了唯一可靠的Stripe支持机制：在HN上发帖并希望登上首页第一，这确实奏效了，尽管许多评论者发表了诸如“标记了，因为我们在HN上看到很多这类帖子，它们似乎是试图欺诈性地操纵客户支持，而非真实故事”之类的常见言论，还有多人暗示或影射该用户在进行非法或欺诈行为，但最终发现这是Stripe方面的错误，再加上Stripe大公司支持体系的推波助澜。用户曾一度指出

在我撰写 HN 帖子的同时，我与 Stripe 的在线客服沟通了一个多小时，却未获得任何新信息。他们基本是在试图结束对话，直到我把 HN 上的故事发给他们，并展示其正在获得关注。之后他们才重新着手处理我的问题，并尝试与更多人沟通。

而问题在第二天就得到了解决。

尽管从原则上讲，随着公司规模扩大，它们本可以利用规模经济来提供更高效的支持，但实际情况往往是，它们利用规模经济来提供更差、但更便宜且利润更高的支持。例如，在 Google Play 商店的审批支持中，一位 Google 员工指出：

很多工作被外包到海外，导致响应速度大幅下降。在美国本土时，我们有很多指标来确保快速响应。通常你的应用会在当天得到审核。现在的情况我不太清楚，但即使在当时，管理人员也很无能。

一位前 Facebook 支持人员指出：

这里的大问题是劳动分工。那些在队列中花费时间最多的人，对政策的发言权却最少。分析师可以将问题上报给 QA，QA 再上报给 Facebook 的全职员工。问题可能需要数月才能得到解决，如果真能解决的话。最糟糕的是，做合乎常理的事情，即执行政策的精神而非字面意思，可能会对你的质量评分产生负面影响。我经常想起，在我任职期间，有几个月的时间里，由于一项措辞草率的政策“澄清”，平台上允许发布大多数被肢解动物的照片而无需警告画面，而我们对此无能为力。

如果你曾疑惑为什么你的客服人员回复得莫名其妙，有时原因是显而易见的：客服工作被外包给了时薪 1 美元的人（当我查询一个常见外包国家的标准费率时，一个相当标准的费率大约是每小时 1 美元），他们并不真正懂你的语言，只是照着流程图念，对他们提供支持的系统一无所知。但另一个不那么明显的原因是，客服人员如果采取合理行动而非遵循面前那张莫名其妙的流程图，可能会受到处罚，甚至最终被解雇。

回到“这些似乎更像是试图欺诈性地操纵客户支持，而非真实故事”的评论，这是我在那些随意且反复无常地封禁用户的公司的工程师中常见的一种观点。我理解人们为何会得出这种结论。正如我在加入 Twitter 之前，对公开信息评论的那样。

事实证明，推特每天大约移除100万个机器人账户。而推特月活用户仅约3亿，这意味着容错率极低。这似乎是个非常棘手的问题……Gmail的垃圾邮件过滤器每正确识别1000封正常邮件，可能只产生1次误报。若在服务中定期清除同等比例的真实用户，后果将[不堪设想]。

确实，如果你作为一名工程师，深入某家大型公司的客服工单系统，查看用户申诉封禁的案例，会发现几乎所有申诉都应被驳回。但据我与从事反欺诈系统等工作的工程师交流的经验来看，许多人（甚至可能是大多数人）会将“几乎所有”等同于“全部”，这在数量和质量上都有本质区别。让负责这些系统的工程师认为自己的决策“全部”正确而非“几乎全部”正确，最终会给用户带来糟糕的体验。

例如，有一家社交媒体公司因错误封禁用户而臭名昭著（我认识的人中至少有10%曾因误封而失去账号；如果随机搜索一个我不认识的人，大概率会找到他们的多个账号，其中较新的账号简介写着“原账号@[某旧账号]”，而旧账号没有跳转链接——因为它们已被封禁）。我曾遇到一位负责相关事务的高级工程师，问他为何有如此多合法用户被封禁。他告诉我：“这不是问题，真正的问题是我们封禁的账号还不够多。每个被封禁的人都罪有应得，不值得听取申诉或考虑他们。”诚然，每个公共平台上的大部分内容都是垃圾内容、垃圾信息等，因此如果你有任何判断内容是否违规的信号，审查时大概率会判定为违规。但这并不意味着反命题成立——几乎没有用户被错误封禁。如果负责内容分类的团队高层抱有“误报无关紧要，因为几乎所有被标记内容都是违规的”这种态度，最终系统必然产生大量误报。后来我询问了欺诈检测系统在减少误报方面做过哪些努力，发现根本没有系统性地追踪误报，也没有统计员工通过内部工单纠正错误封禁的案例。在元层面，存在降低漏报率的机制（例如有人发现未被捕获的违规内容后添加规则），但由于完全缺乏误报追踪，实际上没有任何降低误报率的机制。难怪这种元系统导致我认识的人中超过10%遭遇错误封禁。正如帕特里克·麦肯齐所说，最优误报率并非零。但当工程师们抱着“已做足功课，误报绝无可能”的态度时，误报率必然高于最优值。若再叠加大型企业标准的客服水平，用户体验注定会变得卡夫卡式荒诞。

另一次，我评论说优步（Uber）宣布的审核政策变更似乎可能导致误封。一位优步团队负责人立刻批评我，称我对封禁机制做出了无根据的假设，优步工程师竭尽全力确保不会出现误封，有严格的复核流程保证封禁合理，实际上我担心的误封根本不可能发生。然后我就因为欺诈检测系统的误判被实际封禁了。这让我想起优步曾错误封禁一名司机，该司机不得不诉诸法庭才能获知封禁原因，而优步直到那时才真正调查此事（而非像往常一样用虚假回复声称已核查）。事后优步对媒体回应称：

我们对法院未能认可我们完善的流程感到失望，包括在因疑似欺诈而决定停用司机账户时进行的有意义的人工复核。

当然，那位司机的情况根本不存在什么完善的复核流程，我的案例中也没有可靠的申诉机制。当我联系客服时，他们根本没认真读我的信息，反而做了些改动让我的账户状况雪上加霜。幸运的是，我的推特粉丝足够多，有几位优步工程师看到了我关于此事的推文并解除了封禁——但这对大多数人来说并非可行选项，于是出现了诸如某人在Facebook上投放针对谷歌员工的广告，绝望地寻求谷歌账户帮助的怪事。

即便你认识内部人士，解决问题也未必容易，因为随着公司规模扩大，即便公司效率没有降低，系统复杂性也在增加。一个典型例子是Gergely Orosz的故事：优步支付团队前经理离职后，被某个难以理解的机器学习反欺诈算法判定为支付欺诈而遭封禁。他花了六个月时间试图解决问题。顺便一提，他们始终未能查明原因并修复根本问题，而是将这位前支付团队经理加入特殊白名单——这既未解决其他用户的问题，也几乎完全（甚至彻底）移除了该账户的支付欺诈保护措施。

毫无疑问，如果问题容易解决，他们早就修复了根本原因。但随着公司规模扩大，技术性和非技术性官僚体系逐渐形成，连员工都难以理解系统的运作方式。

另一个例子是，某家拥有排名信息流的公司曾流传一种说法：用户可以通过添加 timeline_injection:false、interstitial_ad_op_out 等过滤器，来屏蔽排名信息流中不想看到的内容。这个说法迅速走红。第一次出现时，不少工程师研究后认为这些所谓的“技巧”并不奏效。他们并非百分之百确定，只是基于“没人记得系统曾实现过类似功能”“在代码库中搜索这些字符串并未找到”“我们检查了可能涉及的系统，并未发现相关行为”等推测。虽然对此有中等程度的把握，但没人能断言这些技巧绝对无效——因为和所有大公司一样，系统的整体行为已超出人类理解范围，即便某些部分本可理解，也常因优先级问题被搁置。

几个月后，这个说法再次病毒式传播。当人们询问真实性时，通常被引导至上次的调查结果。但这次有一个人实际尝试了该技巧，并报告说它确实有效。他在Slack上发消息称该技巧对他有效，但几乎没人注意到这个唯一成功复现的案例。后来当这个说法第三次走红时，人们仍引用此前“认为无效”的讨论，而那条指出“似乎有效”（几乎肯定不是用户以为的机制，更可能是长过滤器列表导致超时等类似原因）的消息，基本淹没在海量信息中无人问津。

在我的社交圈里，很多人都读过詹姆斯·斯科特的《国家的视角》，这本书的副标题是“那些试图改善人类状况的项目是如何失败的”。书中一个核心概念是“可读性”，即国家能看到什么，以及这如何扭曲了国家的行为。人们完全可以写一本高度类似的《科技公司的视角》，探讨那些在规模化扩张的公司中难以被看清的事物——至少以当前公司运作的方式来看。一个简单的例子是，在许多电子游戏中，包括那些隶属于市值3万亿美元公司的游戏工作室所开发的游戏，只要有一群人举报某个账号的不良行为，就很容易导致该账号被暂停或封禁。游戏公司能看清的是举报率，而看不清的是玩家的实际行为（虽然理论上可以看清，但公司选择不雇佣足够多或足够专业的人员来审查实际行为）；许多人也曾报告过社交媒体公司类似的封禁情况。至于反欺诈系统这类东西，公司能看清的往往对人类来说相当难以理解，甚至包括那些在反欺诈系统上工作的人员。

虽然尤金·扎拉肖（Eugene Zarashaw）并未专门谈论反欺诈系统，但这位Facebook总监在“特别主事人系统”中发表的评论，恰恰说明了Facebook自身系统的难以理解性：

需要广告侧的多个团队才能精确追踪数据的流向。我怀疑是否真有一个人能确切地回答这个具体问题。

Facebook因这一声明而受到了不公平且大多是无知的猛烈抨击（我们将在附录中讨论这一点），但大体上，要理解像Facebook这样规模的系统是如何运作的，确实非常困难。

原则上，公司可以通过雇佣薪酬合理的支持人员来调查那些可能涉及严重后果的边缘案例——即系统“误解”了实际情况的问题——从而增强其难以捉摸系统的可读性。但在实践中，公司给这些支持人员的薪酬极低，雇佣的往往是并不真正理解情况的人，然后给他们下达指令，确保他们通常无法成功解决可读性问题。

让不可读性力量大规模获胜的一个因素是，作为这些大公司的高薪员工，很容易将数百万或数十亿人（以及机器人）视为数字。俗话说，“一个人的死亡是悲剧，一百万人的死亡是统计数据”，正如我们指出的，工程师们常常将“几乎所有X都是欺诈”的想法转变为“所有X都是欺诈，所以我们不如直接禁止所有做X的人，并且不查看申诉”。现代科技公司不惜一切代价寻求可扩展解决方案的文化，使得这种情况比其他行业（即使规模相同）更糟糕，而且科技公司还拥有前所未有的规模。

例如，有人指出Facebook广告管理器声称你可以针对美国18-34岁的1.01亿人投放广告，而美国人口普查显示18-34岁总人口为7600万，对此，广告定向团队的前产品经理回应道：

想想FB的规模

并解释说，你不能期望在“FB规模”下，像美国18-34岁人群这样的切片和切块查询能够正常工作。谷歌有一个梗，在这种情况下被讽刺性地使用，人们会说“我数不了那么小的数”。而这位FB广告前产品经理却非讽刺地说，对于1亿这样的数字，“FB数不了那么小的数”。FB不仅不关心任何个体用户（除非他们是名人），这位产品经理还声称他们懒得去关心1亿人群体的准确性。

回到糟糕支持的后果，一个常见的反应是，当听说有人被这些大服务错误地封禁时，人们会说“太好了！你为什么还要用Uber/亚马逊/随便什么？它们很糟糕，没人应该用它们”。我不同意这种推理。一方面，为什么你要替那个人决定他们是否应该使用某个服务，或者什么对他们好？ 另一方面（这是一个足够大的话题，应该单独写一篇文章，所以我只简要提一下，并链接到@whitequark的这篇更长的评论），大多数被人们视为不必要的便利、应该避免的服务，实际上对相当多的人来说是严重的可及性问题（从绝对数量上看，不一定是百分比）。当我们谈论小企业时，那些人通常可以转向其他企业，但对于Uber和亚马逊这样的服务，有时只有零个或一个提供类似便利的替代选择，而当有一个替代选择时，由于某个随机系统故障而被封禁的情况也可能发生在另一个服务上。例如，针对许多人评论说你应该发起退款争议然后被DoorDash封禁（当他们没有送达时），一位残疾用户回应道：

我是残疾人，没有驾照也没有车。公寓附近没有公交站，我实际上需要提前一天预约辅助公交才能上班。优步（Uber）也搞同样的把戏，所以我得根据谁有优惠券、最近没偷我钱，在优步、DoorDash和GrubHub之间轮换着用。不是所有人都能直接去取东西的。

另外，在讨论这类问题时，参与往往不是自愿的，比如这个富士通（Fujitsu）的漏洞就错误地把人送进了监狱。

关于第三个问题，即让人们就什么是垃圾信息、欺诈和其他禁止内容达成一致是不可能的，我们在这里详细讨论过。我们看到，即使在一个简单的、无争议的、单一规则的微不足道案例中，人们也无法就什么内容被允许达成一致。而且，随着规则增多、话题变得有争议或涉及的人数扩大，就更难就什么内容应该被允许达成一致了。

总结一下，我们考察了三个领域，在这些领域里，规模不经济使得随着公司变大，审核、支持、反欺诈和反垃圾信息变得更糟。第一个是，即使在某些事情被广泛认为是坏事的情况下，比如欺诈/诈骗/钓鱼网站和搜索，拥有最复杂机器学习技术的大型公司实际上也跟不上一个（尽管技术非常娴熟）在小型搜索引擎上工作的单个人。如果骗子瞄准最大的平台，他们的回报要高得多，导致反垃圾信息/反欺诈等问题变得极其非线性地困难。

为了了解规模上的差异，HN会对垃圾信息发送者和发布某些恶毒评论的人进行“地狱封禁”。大多数垃圾信息发送者似乎没有意识到自己被地狱封禁了，会继续发帖一段时间，所以如果你登录后浏览“最新”（提交）页面，你会看到这些被地狱封禁的用户不断发布自动被删除的帖子。虽然数量不少，但比例通常远低于一半。当我们观察像2017年左右的推特（Twitter）这样的“中型”大型科技公司时，根据公开数据，如果垃圾信息机器人被地狱封禁而不是被移除，那么垃圾信息会如此普遍，以至于如果你能看到的话，你只会看到这些。而且，就大公司而言，2017年的推特并不算大。正如我们之前指出的，前脸书（FB）广告定向产品经理解释说，像1亿这样的数字对他来说属于“我数不到那么低”的范围，太小了不值得关心；对他来说，这基本上是个四舍五入的误差。对于像脸书或谷歌（Google）这样的公司来说，难度的非线性差异要严重得多。显然，这个问题难度的非线性，超过了扎克伯格（Zuckerberg）和其他科技高管想要吹嘘的任何机器学习或人工智能技术所能应对的范围。

在国会作证时，你会看到高管们用“我们能以95%的准确率识别X”这类说法来辩护系统在大规模下的有效性——这句话在技术上可能正确，但似乎旨在故意误导被假定为缺乏数字素养的听众。如果以个人尺度作为参照，95%听起来可能相当不错。即便对于Hacker News这样的规模，95%准确率的垃圾信息检测（导致立即封号）或许还算可以。总之，即便效果不佳，被误封的人只需给Dan Gackle发邮件就能解封。但当我们审视数据时发现，在Twitter的规模下，95%的检测准确率将是灾难性的（事实上，我收到的大部分私信都是明显的垃圾信息）。要么你只能退而求其次，仅在极度确信时才封禁用户；要么用不了多久你就会封禁所有用户——而正如企业处理客服的惯常做法，申诉意味着你会收到回复称“您的案例已仔细审核，我们认定您违反了政策。此为最终决定”，即便对于任何粗略审查就能推翻封禁的案例（比如封禁用户冒充自己）也是如此。到了Facebook的规模，情况更糟，封禁所有用户的速度会更快，于是你只能退让，最终导致每天有10万名未成年人接触到“成人生殖器照片或其他性虐待内容”。

我们考察的第二个领域是客服支持，它往往随着公司规模扩大而恶化。从宏观层面看，可以说企业并不在意提供优质支持（亚马逊算是例外，尤其是AWS业务，但即便在消费者端也是如此）。系统内部确实有关心此事的个人，但若比较投入客服与投入增长甚至趣味/声望项目的资源比例，客服不过是事后才被想起的。当年DeepMind训练《星际争霸》AI时，Alphabet在玩《星际争霸》上的花费很可能超过客服人员（即便没有，再增加一两个大型AI训练项目就能达到——尤其是算上定制硬件开发的摊销成本等）。

大公司有多不在乎，其实很容易看出来。你只需要联系客服，就会接通一个时薪1美元的人，用他们自己都不太熟悉的语言，照着流程图试图解决一个他们根本不理解的问题。或者当你申诉某个问题时，得到的回复是“经过仔细审查，我们认定你[做了与你实际行为完全相反的事]”。有些情况下，你甚至不需要走到这一步——比如按照Instagram的客服指引操作，结果陷入无限循环，又回到原点，而“如果这不是你本人操作，请点击此处”的链接返回404错误。我自己就遇到过这样的无限循环，是在Verizon，持续了至少六个月。之后我没再检查，但我敢打赌它可能持续了好几年。如果你的注册或登录页面出现这种问题，那会被视为严重bug，大家会优先处理，因为它影响增长。但如果是账号被骗子盗取之类的问题，可能要等几个月甚至几年才会修复，或者干脆不修。

如果你和那些真正重视客服的公司里的支持人员聊过，立刻就能发现，他们的运作方式——无论是流程还是文化——都和典型的大型科技公司客服截然不同。另一个能看出大公司不在乎客服的迹象是，那些从未了解过客服现状或改进可能的大公司员工和高管，总会告诉你“不可能做得更好”。

当你与那些真正重视客户支持的公司员工交流时，会发现这项工作完全可以做得更好。在撰写本文期间，我恰好在一家支持服务做得相当不错的公司（就科技公司而言，按规模调整后，我认为他们远超99%分位）实际从事过支持工作，包括全程参与支持人员的培训与入职流程。大规模高效执行任何任务都非易事，我无意贬低他们支持团队的水平，但最令我印象深刻的是：该团队的高效运作，很大程度上源于他们真心希望为用户提供优质支持体验。要完整阐述这一点篇幅过长，我们改日再详谈，但举个具体例子：大型企业的支持回复往往旨在劝退用户（“此审核为最终决定”），或向用户证明公司已尽职尽责（“这并非纯自动化流程，每项申诉均经人工严格复核……”）。而这家公司的培训恰恰相反——它要求你摒弃大企业常见的“请勿纠缠”式回应，以及“我们流程完善、工作到位，因此投诉无效”的辩解。针对支持工作中常见的所有反面案例，培训都会指导你采取相反做法，并剖析这些反面案例为何会导致糟糕的用户体验。更重要的是，这种理念已深深融入企业文化（或者说，这些理念本就源自企业文化），并配有相应流程确保员工真正理解优质支持的内涵并付诸实践——支持人员可直接与产品开发团队沟通，诸如此类。

如果人们真心想做好支持工作，完全可以向那些擅长帮助用户的支持团队取经，甚至亲自去这类团队工作一段时间，而不是在尚未尝试前就断言“不可能做得更好”。但这种情况通常不会发生。这些公司的支持团队领导层本可以这样做，或者像我一样，直接在一个高效的支持团队中担任一线岗位，但这同样没有发生。如果你是个愤世嫉俗者，这一切就说得通了。正如愤世嫉俗者告诫初级员工“大公司的人力资源部不是来帮你的，他们的职责是保护公司”那样，你也可以理直气壮地论证“大公司的支持部门不是来帮用户的，他们的职责是保护公司”。既然如此，大公司自然不会去研究那些擅长用户支持的公司是如何运作的——因为那根本不是大公司支持部门的初衷。

我们考察的第三个领域是，人们无法就平台应如何运作达成一致，而个人的偏见又导致他们难以理解这个问题的复杂性。对美国人来说，一个典型的例子是，每当某个漏洞伪随机地导致服务中断或封禁时，左右翼的阴谋论就会冒出来。

在一则推文中，Ryan Greeberg 开玩笑说：

来推特工作吧，你今天写的 bug 明天就能变成阴谋论！

在我的社交圈里，人们喜欢嘲笑那些荒谬的右翼阴谋论——这些理论在某个 bug 导致用户被错误封禁、网站无法加载等情况后流传开来，甚至当某个新的机器学习功能正确清除了一个庞大的诈骗/垃圾信息机器人网络（这也恰好减少了一些用户的粉丝数）时，也会出现类似情况。但当然，这并非右翼独有，左翼的意见领袖和政治家也会编造自己的阴谋论。

将这三者结合起来——更差的问题检测、更差的支持服务，以及更难达成政策共识——我们最终回到了开头提到的情况：在我对推特粉丝进行的一项调查中，这些人大多从事科技行业且通常技术素养较高，但只有2.6%的人认为大公司在内容审核和垃圾信息/欺诈过滤方面做得最好，因此花这么多时间反复强调这一点可能显得有些愚蠢。当你抽样调查美国整体人口时，有更大比例的人表示他们相信诸如疫苗会给你植入微芯片或我们从未登月之类的阴谋论，而我并不会花时间解释为什么疫苗实际上不会给你植入微芯片，或者为什么认为我们登月是合理的。一个可能合理的原因是，我一直担忧地关注着“只有大公司才能处理这些问题”这种说法，因为它正在非技术人员中流行起来，比如监管者、立法者和高级政府顾问，他们经常听取并重复胡说八道。也许下次你遇到一个外行人告诉你只有大公司才能处理这些问题时，你可以礼貌地指出，在科技界对此有非常强烈的相反共识5。

如果你是一位创始人或早期初创公司，正在寻找身份验证解决方案，PropelAuth 正针对你的用例。尽管他们也能处理其他用例，但目前他们特别致力于让尚未投资身份验证解决方案的发布前初创公司生活更轻松。免责声明：我是投资者

感谢 Gary Bernhardt、Peter Bhat Harkins、Laurence Tratt、Dan Gackle、Sophia Wisdom、David Turner、Yossi Kreinin、Justin Blank、Ben Cox、Horace He、@borzhemsky、Kevin Burke、Bert Muthalaly、Sasuke、匿名者、Zach Manson、Joachim Schipper、Tony D’Souza 和 @GL1zdA 提供的评论/更正/讨论。

附录：仅在小规模下有效的技术

这篇文章重点讨论了规模大的弊端，但我们也可以反过来看看规模小的优势。

如前所述，我在平台上获得的最佳体验，往往是做那些无法规模化的事情带来的副产品。一个行之有效的方法是，让一个人凭借单一愿景来管理整个网站，或者当网站规模过大时，管理网站的一个关键功能。

我参与了一些小型 Discord 社区，那里讨论质量高，几乎没有诈骗和垃圾信息。策略很简单：频道所有者会阅读每一条消息，并封禁出现的诈骗者或垃圾信息发布者。当网站规模变大时，比如像 lobste.rs，甚至更大如 HN，一个人已经无法阅读所有消息了（对于 lobste.rs 来说，理论上可以做到，但考虑到这是所有者的业余爱好，且消息量很大，要求他们在短时间内阅读每一条消息并不合理）。不过，即使网站大到无法逐条阅读消息，仍然有一个人为网站的发展方向提供愿景。这里不适用“公园里禁止车辆”的问题，因为是由人来决定政策。你可能不喜欢这些政策，但你可以选择加入其他小型论坛，或者自己创建一个（实际上，lobste.rs 就是这样诞生的——在 HN 之前的审核制度下，该制度以封禁持不同意见者而闻名，Joshua Stein 因公开反对 HN 的一项政策而被封禁，于是 Joshua 创建了 lobsters，并最终将其移交给了 Peter Bhat Harkins）。

还有早期 craigslist 的故事，当时它刚发展到面临严重诈骗和垃圾信息问题的阶段。

……我们在旧金山国际机场被困了大约四个小时，能花半个工作日坐在克雷格·纽马克旁边，感觉真是太棒了。

我曾听克雷格在采访中说，他基本上只是Craigslist的“客服主管”，但我一直以为那只是他随口自嘲的玩笑。就像你在谷歌遇到拉里·佩奇，他却说自己只是个清洁工，或者负责挑选免费麦片的人，而不是联合创始人。但坐在他旁边，我对他所做的工作有了全新的认识。他翻看着收件箱里的邮件，然后在Craigslist论坛上回复问题，大约每十分钟就要接一次手机。通话简短直接：“你好，我是Craigslist.org的克雷格·纽马克。我们与贵ISP的一位客户有些问题，想讨论一下如何纠正他们在我们房地产论坛上的不良行为。”他简直是在一个一个地追查论坛垃圾信息发布者，有时每个问题花五分钟，有时似乎要花半小时才能处理完垃圾信息。他完全沉浸在工作中，查找IP地址，尽力回答问题，做着那种我从未见过别人如此充满热情去做的吃力不讨好的工作。等我们登机时，他不得不停下来，感觉他那堆积如山的工作只减少了一点点，但他已经期待着落地后再次投入其中。

在某些时候，随着网站的发展，它们会变得足够庞大，以至于一个人无法真正掌控网站上的每一个功能和每一次审核操作。但网站仍然可以从让一个人负责那些人们通常认为应该自动化的事情中获得巨大价值。一个著名的例子就是Digg的“算法”基本上就是一个人。

真正让 Digg 运转起来的，其实是一个像机器一样的人。他会审核所有故事，渗透所有 SEO 网络，不断破坏它们的操作，确保 Digg 首页保持可用。Digg 确实有算法，但那基本上只是一个简单的算法，帮助这个人将效率提升十倍，并维持内容质量。

谷歌曾想收购 Digg，但发现实际上是一个每天工作 22 小时的人在维持质量，而所有关于算法的说法不过是烟雾弹，用来迷惑 SEO 从业者，让他们以为这是可以钻空子的系统（实际上不能，这也是为什么首页多年来一直保持高质量）。谷歌放弃了收购。

后来，创始人意识到，如果他们想从这件事中真正赚到钱，就必须解决这个问题。于是他们开发了“真正的算法”，试图独立完成这个人在做的事情，即筛选出优质/有趣的内容。

…

结果完全是一场灾难……判断内容是否酷的算法，远不如那个每天工作 22 小时的人，而缺少了他强有力的介入，算法基本上只是重复几天前在其他地方流行的垃圾内容……创始人没有从这次惨痛教训中吸取建设性意见，反而变本加厉。于是就成了现在这样。

…

我指的是一个叫 Amar 的人（他的名字很常见，我觉得这不算暴露他）。他是 SEO 领域的“低语者”和“算法”。他简直像个间谍。他会渗透那些试图操纵首页的恶劣团体，诱骗他们提供足够的信息，以便他能及早识别并扼杀他们的活动。同时，他假装自己和他们一样，是个失败的 SEO 从业者。

据说 Etsy 也用了同样的策略。

小型网站相对于大型网站的另一个优势是，小型网站通常不关心规模，可以做那些如果你想扩张就不会做的事情。例如，看看 HN 上一场大规模论战 中的这两条评论。

我妻子在推特上耗费数年，深陷一场旷日持久、充满敌意的政治/权利议题争论。她一向深思熟虑、见解独到。为了一条推文能准确传达核心观点，既不煽动情绪，又有望说服他人，她常常花上十分钟反复措辞。她有五千粉丝，最热门的推文大概能收获几百个赞。唯一一次她喝醉后愤怒发文，却得到了数千条支持性回应，粉丝数一夜之间大幅增长。这让她感到恐惧。她看到了“群体”如何推动她，用嗜血的快感来奖励她。

我现在已经关闭了这篇文章的标记和引战检测功能，遵循HN版规的第一条原则（我可能是在重复自己，但这值得再说一遍）：当故事涉及YC或YC投资的初创公司时，我们会减少对HN的干预，而非增加……通常情况下，我们绝不会让这样一场愤怒风暴留在首页——正如评论所展示的，这里毫无求知欲可言。这类内容显然与HN无关：https://news.ycombinator.com/newsguidelines.html。若非如此，这个网站早就被这类内容淹没了。同样显而易见的是，这正是HN用户标记该故事的原因。他们所做的，不过是他们一贯的做法。

对于一个社交网站而言，低质量、高互动的引战内容是其增长的主要支柱之一。而HN更看重讨论质量而非增长，因此会尝试检测并压制这类内容（例外情况包括对HN本身、对YC旗下公司如Stripe等的批评，以确保不存在偏见）。任何以增长为目标的社交网站都会反其道而行之：它们会部署排名算法，将最令人愤怒、最具互动性的内容推送到算法预测会对此最为愤怒、互动最积极的人面前。例如，假设你身处一个种族/宗教/派系矛盾极其尖锐、暴力呼声此起彼伏的国家。什么内容最具互动性？那自然是号召消灭敌人的内容。于是，你会看到有人直播号召消灭对立派系，然后抓住一个人进行殴打，而这样的内容会被推送给大量用户。毕竟，还有什么比痛打你的死敌更具互动性呢？《破碎代码》的一个主题是：有人会发现某些有害内容想要压制，却因会降低互动和增长而被否决。HN没有这样的目标，因此它毫无顾虑地压制或删除其认为有害的内容。

如果你的首要目标不是增长，那么你可以做的另一件事是刻意提高用户注册的门槛。HN 就通过设置“登录”链接而非“注册”链接来稍微实现这一点，而像 lobste.rs 和 metafilter 这样的网站则做得更彻底。

附录：理论与实践

在主要文档中，我们提到大公司员工经常说，由于理论上的原因 X，提供更好的支持是不可能的，但他们从未真正研究过如何提供支持，或者那些提供良好支持的公司具体做了什么。当如今市值万亿美元的公司还处于许多公司确实提供良好支持的规模时，这些公司本身也没有提供良好支持。因此，这似乎并非源于规模问题，因为这些巨头当时和现在都未曾尝试提供良好支持。这种听起来合理的理论原因，在实践中并不成立。

这通常是关于大型科技公司规模不经济的理论讨论的普遍情况。另一个例子是本文开头提到的一个观点：成为更大的目标比拥有更复杂的机器学习模型影响更大。我经常听到这个观点的标准延伸，即大公司实际上拥有最好的反垃圾邮件和反欺诈系统，但它们也面临最复杂的攻击。我曾看到有人用这个理由来解释为什么大公司的反垃圾邮件和反欺诈系统似乎比 HN 这样的论坛更差。虽然大公司确实可能面临最复杂的攻击，但如果这个观点成立，并且它们的系统真的很好，那么在 Reddit 和 Facebook 上向人们发送垃圾邮件或诈骗信息，从绝对意义上讲应该比在 HN 上更难，但事实完全不是这样。

如果你真的尝试发送垃圾邮件，在大型平台上极其容易，而且你可能尝试的最明显的方法往往能成功。作为实验，我创建了一个新的 Reddit 账户，试图将无意义的内容推上首页，发现这完全轻而易举。同样，接管某人的 Facebook 账户并发布明显的诈骗信息，持续数月甚至数年，也完全轻而易举——这些诈骗信息带有极其明显的标记，许多人会担忧地回复说账户已被接管并正在运行诈骗（与从事支持工作或向 Reddit 发送垃圾邮件不同，我没有尝试接管他人的 Facebook 账户，但考虑到人们的密码习惯，接管账户非常容易；而且根据 Facebook 对朋友账户被接管时的处理方式，我们可以看到，那些采用最幼稚、零复杂度的攻击手段并未被阻止）。等等。从绝对意义上讲，在 HN 上让垃圾或诈骗内容出现在用户眼前，实际上比在 Reddit 或 Facebook 上更难。

这里的理论依据，如果大公司能稍微接近利用现有资源所能达到的水平，那确实意义重大，但我们离那个目标还差得远。

为了避免在这份已经很长的文档中赘述，我只在这里列举了几个例子，但我发现这个模式几乎适用于我听过的关于这个话题的所有反驳论点。如果你稍微深入探究一下，这些理论论证都是典型的鸡尾酒会式观点，与现实几乎毫无关联。

这里的一个元观点是，你绝对不能相信任何人提出的听起来大致合理的论点，因为几乎所有论点在实践检验中都会不攻自破。认为像 Reddit 这样规模的企业会拥有比 HN 更复杂的反垃圾系统，似乎相当合理——HN 只有一个人既编写反垃圾系统的代码又负责审核。但那些你可能用来把内容推上首页的最简单、最幼稚的把戏，在 Reddit 上能行得通，在 HN 上却不行。我并不是说无法攻破 HN 的系统，但要做到这一点需要稍微动点脑筋，而 Reddit 和 Facebook 则不然。同样的情况也适用于客服支持：一旦你开始与人讨论如何运营一个对用户友好的客服组织，你立刻就会发现，那些最显而易见的事情，大型科技公司竟然从未认真尝试过。

附录：我们应该在多大程度上相信记者对泄露文件的总结？

总的来说，非常有限。正如我们在分析 Cruise 行人事故报告时所讨论的，几乎每次我读到记者对某事的看法（少数例外，比如 Zeynep），记者都会试图给故事加上某种倾向，你从报道中得到的印象与查看原始资料得到的印象大相径庭；相当常见的情况是，报道的倾向性如此之大，以至于故事内容与源文件所述完全相反。这是问题之一。

这个话题本身足够庞大，值得单独成文，所以我们只看两个例子。第一个是我们之前简要提及的，Facebook 总监 Eugene Zarashaw 在特别主审官听证会上作证时说道：

广告方面需要多个团队才能追踪到数据的具体流向。我怀疑是否有人能确切回答这个狭隘的问题。

尤金的证词引发了诸如“Facebook完全不知道你的数据发生了什么”、“Facebook工程师承认无法追踪其收集的所有用户数据”（配图是一张在电缆丛中抱头崩溃的库存照片）以及“Facebook工程师：我们根本不知道你的个人数据存在哪里”等标题。

即便没有任何技术背景，任何公正的人都能看出这些标题不准确。弄清楚每个用户的直接和衍生数据具体存在哪里需要费些功夫，与完全不知道数据在哪里，这两者之间有天壤之别。我用无痕模式、不携带任何cookies搜索“Eugene Zarashaw facebook testimony”时，所有首屏结果都像上面那样具有误导性、虚假且属于标题党。

对于大多数具备相关技术知识、了解所讨论系统类型的人来说，尤金·扎拉肖的话不仅不令人震惊，反而平淡无奇、在意料之中且合情合理。

尽管有这段冗长的免责声明，我仍有几个理由觉得可以放心引用杰夫·霍维茨的《破碎的代码》以及一些涉及类似领域的报道。首先，即使删掉所有提及这些账户的内容，本文档的论点也不会改变，就像删掉这里提到的50%用户故事一样。其次，至少对我来说，最核心的是展现出的态度，而非具体数字。我在自己工作过的公司见过类似态度，也通过朋友在内部关系密切的公司听说过，我本可以用朋友们的类似故事来替代，但能使用已公开的资料来源总是更好，而非依赖朋友匿名化的故事，因此关于态度的引述实际上只是替代了我能验证的其他故事。第三个原因过于微妙，不便在此详述，等我将来把这段免责声明扩展成独立文档时再讨论。

如果你正在找工作，Freshpaint正在招聘（美国远程）工程、销售和招聘岗位。免责声明：我可能存有偏见，因为我是投资者，但他们似乎已找到产品市场契合点，正在快速增长。

附录：艾琳·基桑谈Meta在缅甸

艾琳开头说道

但当我真正深入挖掘时，所了解到的情况比我预想的要险恶得多、肮脏得多、也更具毁灭性。Meta被动纵容和主动助长的种种危害，摧毁或终结了数十万人的生命——若非出生时的偶然，这些人本可能就是你或我。我说“数十万”，是因为“数百万”听起来难以置信，但研究到最后，我确信实际数字非常、非常庞大。

为了理清这一切，我不得不尝试回溯，重置我的假设，并努力建立起对这个世界与Meta互动中这一微小切面所发生之事的详细、基于事实的理解。缅甸的风险与危害——以及它们与Meta平台的联系——有着详尽的记录。只要你愿意花时间查阅这些文件，拼凑出事件的来龙去脉并不困难。即便你不再往下读，也请明白这一点：Facebook在后来演变为缅甸罗兴亚人种族灭绝的血腥事件中，发挥了联合国人权理事会缅甸问题独立国际实况调查团（以下简称“联合国调查团”）首席调查员所称的“决定性作用”。²

从远处看，我认为Meta在罗兴亚危机中的角色可能显得模糊且充满争议——无非是内容审核出了岔子，对吧？在一个他们并未多加关注的国家？不道德且可能玩忽职守，但话说回来，哪家科技公司没有过这样的时刻呢？

如上所述，我尚未深入调查细节，无法判断“Facebook在种族灭绝中扮演‘决定性角色’”这一说法是否准确，但从元层面（非双关语）来看，这似乎合理。我看到的每条试图直接反驳Erin观点的评论，实际上都被Erin在文中预先反驳了。因此，公开评论中不同意Erin的人，似乎很少有人真正读过文章再评论（或者读了却未能理解Erin的意思），而是基于实际内容之外的理由表示反对。这让我想起人们对David Jackson四色定理证明的回应。有人认为它终于是一个证明了，也有人认为不是。。当时我觉得有趣的是，认为这不是证明的人读过论文并觉得有缺陷，而认为这是证明的人则依据David的过往成就或所在机构的声望等信号。当时我本人没读过论文，但基于元启发式判断（信心较低）：读过论文的人的看法比声望之类的东西更有说服力，因此我猜测证明可能不正确。类似地，我猜测Erin的总结至少大致准确，且Erin对联合国人权理事会实况调查团的认可也是正确的——尽管我对此的信心低于对证明的猜测，因为做出这样的正面论断比找出缺陷更难，且该领域评估论断也更为棘手。

与《破碎代码》不同，这里的源文件是可获取的，理论上可以重现Erin的步骤。但由于源材料较多，且那些需要额外阅读和分析才能确信的论断，对本文的正确性并不起决定性作用，我就留给别人去做了。

就话题本身而言，Erin提到，当Facebook的一些人看到证据表明坏事正在发生时，他们一笑置之，根本无法相信Facebook会在如此恶劣的事件中起到推波助澜的作用。讽刺的是，这种语气和内容与许多显然没读过文章的“反驳”Erin的评论颇为相似。

我见过的最实质性的反对意见集中在边缘问题上，例如：

文章声称“Arturo Bejar”是“Facebook工程主管”，这完全是错误的。他似乎是总监，这是一个管理头衔，通常负责不到100人。这远非“工程主管”。

而Erin实际说的是：

……Arturo Bejar，Facebook的工程主管之一

因此，上述反对意见在技术层面并不准确，因为并未声称阿图罗·贝哈尔是工程主管。而且，若通读整组文章，会看到诸如“危险言论项目负责人苏珊·贝内施”和“缅甸德勤负责人”等表述。由此可见，艾琳之所以称其为“Facebook工程主管之一”，是因其在此处口语化地使用“主管”一词（注意该词未像头衔那样大写），意指阿图罗负责某项事务。

上述反对意见存在一种在技术层面正确的形式——对于大型科技公司的工程师而言，“工程主管”通常指代所有工程师最终汇报的高管（或在设有大型业务支柱时，指代少数此类人物之一）。深谙科技公司内部用语的人士即便为外行撰稿，也大概率不会使用这种措辞。但这并不构成文章存在事实错误的强有力证据，尽管在理想情况下，记者应当通晓每个短语的领域特定内涵。

该反对意见继续指出：

我提出这一点，是因为我认为这让人质疑该问题是否被清晰传达给了Facebook的相关人员。

仅向普通工程师或传播副总裁说明复杂的社会问题是不够的。

就本贴关于规模不经济的主题而言，若该反对意见成立，反而印证了本贴观点。根据阿图罗的领英资料，他曾担任“Facebook诚信与关怀团队负责人”，《破碎代码》一书也详细描述了他与缅甸Meta议题密切相关的职责。阿图罗实际上并非“普通工程师或传播副总裁”。

无论如何，艾琳记录显示Facebook多年来反复收到关于事态发展的警告。这些警告远超常规的不良内容和虚假账号举报（尽管此类举报同样存在），还包括与总监、副总裁及其他领导层的直接对话。这些警告均被忽视，且相关人员似乎认为现有内容审核系统已足够完善，即便面对相当有力的反证亦如此。

路透社指出，席斯勒列举的其中一个例子是，Meta 上曾有一个名为“我们要将所有穆斯林种族灭绝并喂狗”的缅甸脸书专页。48

这一切似乎都无法触动电话那头的 Meta 员工，他们更关心的是……网络霸凌。弗兰克尔与康写道，参与通话的 Meta 员工“相信，他们用来阻止高中生恐吓新生的那套工具，同样可以用来制止缅甸的佛教僧侣。”49

艾拉·卡伦后来告诉《连线》杂志，仇恨言论对脸书而言似乎“优先级很低”，而缅甸的局势“被视为一个连接机会，而非一个紧迫的重大问题。”50

这些细节让情况听起来比一小段摘录更糟糕，所以我建议阅读全文，但就资源讨论而言，一个关键问题是，即使 Meta 决定采取某种行动，结果却是：

正如私人脸书群组中的缅甸公民社会人士最终发现的那样，脸书只有一名缅甸语审核员——一位驻都柏林的承包商——来审查所有提交的内容。正如 Htaike Htaike Aung 和 Victoire Rio 在他们的时间线中所指出的，缅甸语举报工具“是一条死路。”

考虑到这是 2014 年，说 Meta 本可以花掉那 500 亿美元元宇宙资金并雇佣 160 万审核员并不公平，但在 2014 年，它仍是全球第四大科技公司，市值 2170 亿美元，年净利润 30 亿美元。如果按全球非常慷慨的 3 万美元/年（含总成本）支付，Meta 也“只能”负担得起大约 10 万名审核员和支持人员（例如，《雅各宾》指出 Meta 在肯尼亚的审核员时薪 2 美元，且没有福利）。缅甸占全球人口的 0.7%，假设你认为一场正在发展的种族灭绝优先级较低，且认为不应投入额外资源来预防或阻止它，而只想分配标准的审核份额，那么我们也“只能”为缅甸提供 700 名待遇优厚的审核和支持人员。

而在另一边，实际上确实有 700 人：

在政变前的几年里，军方内部已经存在一个对手，它运营着一支专业化、受俄罗斯培训的在线宣传与欺骗行动，人数最多约 700 人，轮班工作以操纵网络环境并压制反对观点。很难想象，在种族灭绝者统治国家后，这支力量会有所减弱。

这些人并没有扎克伯格所说的那种小公司无法匹敌的先进技术，但事实证明，当 700 对 1，而那个 1 使用的工具是为不同目的开发的时候，你并不需要数十亿美元的技术。

正如你与大型科技公司举报系统打过交道后所预料的那样，从外部来看，人们尝试的一切方法都不奏效：

他们举报帖子，却从未收到任何回复。他们举报那些明显煽动暴力的帖子，最终却被告知这些内容并未违反Facebook的社区准则。国际特赦组织在孟加拉国采访的罗兴亚难民也遭遇了同样的情况。

在这篇4万字的总结中，Erin还深入挖掘了举报人的报告，发现了诸如以下内容：

……我们删除了Facebook上所有仇恨言论中不到5%的内容。这实际上是一个乐观的估计——之前（且更严谨的）估算迭代得出的数字接近3%，而在暴力和煽动内容方面，我们删除的比例大约只有0.6%……我们漏掉了95%的违规仇恨言论。

以及

[我]们并没有……一个能够捕捉到大部分诚信危害的模型，尤其是在敏感领域……我们仅对平台上大约2%的仇恨言论采取了行动。最近的估计表明，除非战略发生重大变化，否则在短期内很难将这一比例提升到10-20%。

还有

尽管仇恨言论在阿富汗市场一直被列为最严重的滥用类别之一，但针对仇恨言论的行动率却低得令人担忧，仅为0.23%。

需要说明的是，我并不是说Facebook在捕捉不良内容方面的成功率明显低于其他规模相当或更大的平台。正如我们上文所述，大型科技公司通常有相当高的误报率和漏报率，并且有员工会忽视对此的担忧，声称一切正常。

附录：其他相关

  • 安娜·洛文豪普特·秦的《论不可规模化：生命世界无法适应精确嵌套的尺度》
  • 《格伦·韦尔谈解决企业权力集中的激进方案》
  • 《Zvi的《道德迷宫》语录集》

附录：审核与过滤的失败案例

自从我看到扎克伯格关于只有大公司（而且越大越好）才能做好审核、反欺诈、反垃圾信息等工作的声明后，我就开始收集在日常浏览中遇到的大型公司失败案例的链接。如果我刻意去寻找失败案例，那数量会多得多。而且，出于某种原因，有些公司并没有真正触发我的雷达，所以，例如，尽管我经常看到关于Airbnb问题的报道，但直到我开始写这篇文章时，我才想到要收集它们，所以这里只有少数几个Airbnb的失败案例，尽管如果我当时记录下看到的链接，它们的失败次数会与Uber不相上下。

这些失败案例如此频繁，以至于在八位草稿读者中，至少有两位在阅读本文草稿时就遇到了问题。Peter Bhat Harkins报告说：

前几天我收到了一把Keychron键盘。我订购的是二手K1 v5（Keychron产量小且不频繁，所以到处都缺货）。我在Keychron的亚马逊官方店铺下单，由亚马逊配送。仔细检查后发现，我收到的其实是v4版本。它用的是上一代机械轴体，而非当前的光学轴体。有人显然撕掉了印有型号和序列号的贴纸，还有一个按键的平衡杆因磨损断裂——这强烈暗示有人买了v5后，把自己原有的v4退了回去。显然这现在成了亚马逊上常见的骗局。

另一个案例中，一位匿名读者创建了一个Gmail账户，作为自己和伴侣的共享账号，以便接收本地服务的共同邮件。我认识不少人都这么做过，通常没问题，但这次的情况是：他们用这个邮箱注册了几个服务后，谷歌判定该账户存在可疑行为：

验证您的身份

我们检测到您尝试访问的账户存在异常活动。请按照以下说明继续操作。

提供电话号码以继续。我们将向您发送验证码用于登录。

当他们提供注册时使用的电话号码后，却收到提示：

此电话号码用于验证的次数过多。

不知为何，尽管这个号码在创建账户时已提供，但使用这个看似“非法”的号码并未导致账户立即被封禁，直到账户使用了一段时间、邮箱地址已注册了某些服务后才出问题。幸运的是，这些服务都是小公司的本地业务，所以打个电话就能解决。我见过类似情况：有些服务注册时不要求提供手机号，但之后会锁定并实质封禁账户，除非你补交手机号——但我从未见过提供的手机号在一两天后突然失效的情况。上述提示有两种解读方式：另一种可能是该手机号本身没问题，只是近期接收验证码次数过多——但事实上，这个号码近期只接收过一次验证码，正是当初绑定账户所需手机号时的那次验证。

我在亚马逊上也遇到过品控问题，当时我订购了一包10个装的Amazon Basics插线板，结果第一个拿出来的插线板，其电源线外面就沾满了焊锡。我很好奇，到底是什么样的工艺会导致焊锡——很可能是含铅焊锡（虽然我没检测过）——沾到这种产品的外壳上，也想知道，如果我不想让铅尘散落在我公寓的各个角落，是不是每次拿到Amazon Basics的电子产品都得先清洗一遍。而且，这已经是家常便饭了，我有很多垃圾邮件成功绕过了Gmail的垃圾邮件过滤器，直接进了收件箱，同时也有不少正常邮件被误判为垃圾邮件，包括一个经典案例：我给某人发了邮件，他回复我时，那封回信却被归入了垃圾邮件。之前我和他们聊过这事，所以我毫不怀疑，我那些用Gmail的读者中，大多数人都遇到过类似的情况，而且这种事太常见了，他们甚至觉得不值一提。

总之，下面有几个例子，我提到了评论者把问题归咎于用户，但问题显然不是用户的错。我并没有穷尽所有这类情况，所以，如果我没有对此发表评论，并不代表就没有那种标准的“肯定是用户的问题”的回应。

Google

Facebook (Meta)

亚马逊

微软

这包括GitHub、领英、动视暴雪等。

Stripe

优步

Cloudflare

Shopify

Twitter (X)

我删掉了大部分Twitter的故事，因为收购后故事太多，列出来显得很傻，但我保留了一些随机案例。

Apple

沃尔玛

Airbnb

我见过大量这类案例，但出于某种原因，之前没想到要把它们加进我的列表，所以尽管我看到的 Airbnb 恐怖故事数量可能是我看到的 Uber 案例的三倍，但我手头例子并不多。

附录：杰夫·霍维茨的《破碎的代码》

以下为若干相关摘录。此举旨在类比兹维·莫肖维茨的《道德迷宫语录》，让读者了解书中内容，但绝不可替代阅读原著。若这些摘录引发您的兴趣，建议阅读原书！

那些同意接受我采访的前员工从一开始就说了些令人不安的事。Facebook 的自动执行系统完全无法像宣传中那样运作。为促进增长而做出的努力，无意中奖励了政治狂热。而该公司对社交媒体使用负面影响的了解，远比它对外透露的要多。

随着选举的推进，该公司开始收到大量虚假账户、竞选控制页面上赤裸裸的谎言，以及针对杜特尔特批评者的有组织暴力威胁的报告。在政坛摸爬滚打多年后，哈巴斯对肮脏伎俩并不天真。但当杜特尔特获胜时，无法否认的是，Facebook 的平台奖励了他好斗且有时不光彩的政治风格。这位当选总统禁止独立媒体参加他的就职典礼——却在 Facebook 上直播了这场活动。他承诺的法外处决很快就开始了。

2016年5月杜特尔特获胜一个月后，英国举行了脱欧公投。脱欧运动充斥着反移民情绪和彻头彻尾的谎言。与在菲律宾一样，这种反叛策略似乎在 Facebook 上如鱼得水——“脱欧”阵营的支持者在平台上彻底碾压了“留欧”支持者。……哈巴斯觉得这一切都很恶心，但无法否认特朗普正在成功利用 Facebook 和 Twitter 绕过传统的竞选报道，以前所未有的方式吸引注意力。“我的意思是，他只需要去 Facebook 或 Instagram 上发个短视频，然后媒体就会报道，”那年春天她在欧洲的一次演讲中惊叹道。她没说错：政治记者不仅报道特朗普帖子的内容，还报道它们的点赞数。

Facebook 是否需要考虑做出一些努力，来核实其平台上传播的谎言？哈巴斯向当时负责 News Feed 的亚当·莫塞里提出了这个话题。

“我们到底要怎么判断什么是真的？”莫塞里回应道。取决于你如何看待它，这要么是一个认识论难题，要么是一个技术难题。无论如何，当涉及到其平台上的谎言时，该公司选择了回避。

扎克伯格相信数据站在 Facebook 这边。是的，平台上确实存在错误信息——但这肯定不是内容的大多数。从数量上看，虚假信息只占 Facebook 上所有新闻的一小部分，而新闻本身也只是平台整体内容的一小部分。扎克伯格坚称，这么一小部分中的一小部分竟然能影响选举，这完全不合逻辑。……但扎克伯格是老板。他无视科恩布卢特的建议，第二天在半月湾丽思卡尔顿酒店举行的 Techonomy 会议现场采访中阐述了自己的观点。他将假新闻称为平台上“非常小”的组成部分，并宣称它可能左右选举结果的说法是“一个疯狂的想法”。……Facebook 内部有一句流行的话：“数据赢得争论。”但当涉及到扎克伯格关于假新闻在 Facebook 上不是大问题的论点时，该公司没有任何数据。尽管 CEO 坚信 Facebook 是清白的，但他没有证据表明“假新闻”是如何产生的，如何在平台上传播的，以及特朗普竞选团队是否在其 Facebook 广告活动中利用了它。……大选一周后，BuzzFeed News 记者克雷格·西尔弗曼发表了一份分析报告，显示在大选的最后几个月里，假新闻是 Facebook 上传播最广的与选举相关的内容。一则谎称教皇支持特朗普的帖子获得了超过90万个赞、转发和评论——其互动量甚至超过了 CNN、《纽约时报》或《华盛顿邮报》上分享最广的故事。该报道显示，最受欢迎的虚假信息是支持特朗普的。

这无异于一颗重磅炸弹。该报道发表当天，谷歌上对“假新闻”一词的兴趣激增——并在接下来的几年里一直保持高位，起初是特朗普的批评者将其作为这位当选总统获胜的解释，随后特朗普本人挪用这个词来诋毁整个媒体界。……尽管公司的公关人员对西尔弗曼的方法论提出了质疑，但高管们要求 News Feed 的数据科学家复制他的研究。谎言真的是平台上与选举相关的首要内容吗？

一天后，员工们带着答案回来了：差不多。

一项快速而粗略的审查表明，BuzzFeed 使用的数据略有偏差，但关于党派恶作剧在 Facebook 的 News Feed 中碾压真实新闻的说法无疑是正确的。胡说八道的传播者比合法出版物拥有巨大优势——他们的材料总是引人入胜且独家。例如，尽管众多主流新闻媒体就克林顿泄露的电子邮件撰写了相互竞争的报道，但没有一家能与“维基解密证实希拉里向 ISIS 出售武器”这样的标题相抗衡。

工程师们并非无能——他们只是应用了公司经常引用的智慧：“完成比完美更好。”毛雷尔说，Facebook 宁愿构建能够最大限度减少草率工作损害的新系统，创建防火墙以防止故障级联，在被忽视的数据堆积在导致服务器崩溃的队列之前将其丢弃，并重新设计基础设施以便在不可避免的崩溃后能够迅速恢复。

同样的文化也适用于产品设计，员工的奖金和晋升取决于他们“发布”了多少功能——这是将新代码整合到应用程序中的编程术语。这些“绩效总结周期”评估每半年进行一次，激励员工在六个月内完成产品，即使这意味着最终产品只是勉强可用且文档记录不全。工程师和数据科学家描述说，他们长期处于对用户数据收集和存储位置的不确定状态中——一个标签不当的数据表可能是一个冗余文件，也可能是一个重要产品的关键组成部分。Facebook 广告与合作伙伴部门长期担任副总裁的布莱恩·博兰回忆说，与亚马逊的一项重大数据共享协议曾一度破裂，因为 Facebook 无法满足这家零售巨头提出的不将其数据与自身数据混合的要求。

“构建东西比确保东西安全有趣得多，”他谈到公司的态度时说，“除非出现监管或媒体危机，否则你不会去处理它。”

整个系统中几乎没有质量控制的位置。Facebook 通常倾向于不试图限制有问题的内容，而是根据其认为用户想看到的内容来个性化用户的 Feed。尽管对审核采取轻触式做法具有实际优势——在你没有审查的内容旁边投放广告是一门好生意——但 Facebook 也逐渐将其视为一种道德美德。该公司并非未能监督用户的行为——它是中立的。

尽管该公司已经接受需要进行一些监管，但高管们继续暗示平台将在很大程度上自我监管。2016年，当公司面临更积极地监管恐怖主义招募的压力时，谢丽尔·桑德伯格在世界经济论坛上表示，该平台尽其所能，但在 Facebook 上消除仇恨的持久解决方案是用积极的信息淹没它。

“对抗坏言论的最佳解药是好言论，”她宣称，并向听众讲述了德国活动家如何通过“点赞攻击”来斥责一个新纳粹政党的 Facebook 页面，用宽容的信息淹没它。

从定义上讲，桑德伯格所描述的“反言论”在 Facebook 上行不通。无论这个概念多么鼓舞人心，与恶劣内容互动都会触发平台将这些令人反感的内容分发给更广泛的受众。

……在安德鲁·“博兹”·博斯沃思的一份内部备忘录中，他从马克·扎克伯格在哈佛的助教之一，变成了他在 Facebook 最信任的副手和知己之一。这份题为“丑陋”的备忘录写于2016年6月，就在一名芝加哥男子的谋杀案被无意中在 Facebook 上直播两天后。面对要求公司重新思考其产品的呼声，博斯沃思正在鼓舞士气。

“我们经常谈论我们工作的好与坏。我想谈谈丑陋的一面，”备忘录开头写道。他说，连接人们创造了显而易见的好处——但在 Facebook 的规模上这样做会产生伤害，无论是用户欺凌同伴致其自杀，还是利用平台组织恐怖袭击。

Facebook 将不可避免地导致此类悲剧是不幸的，但这并非丑陋之处。博兹写道，丑陋之处在于，公司如此深信其连接人们的使命，以至于愿意牺牲一切来实现它。

“这就是为什么我们在增长方面所做的所有工作都是合理的。所有那些有问题的联系人导入做法。所有那些帮助人们保持可被朋友搜索到的微妙语言。所有我们为带来更多沟通所做的工作。我们将来可能不得不在中国做的工作。所有这一切，”博斯沃思写道。

每个负责对内容进行排名或推荐的团队都争先恐后地尽快彻底改革他们的系统，引发了 Facebook 产品复杂性的爆炸式增长。员工们发现，最大的收益往往不是来自刻意的计划，而是来自简单的瞎鼓捣。与其重新设计算法（这很慢），工程师们通过快速而粗糙的机器学习实验取得了巨大成功，这些实验相当于将现有算法的数百种变体扔到墙上，看看哪些版本能粘住——即哪些对用户表现最好。他们不一定知道某个变量为何重要，或者一个算法如何优于另一个算法，例如在预测评论可能性方面。但他们可以不断调整，直到机器学习模型产生一个在统计上优于现有算法的算法，这就足够了。

……在 Facebook 部署分类器检测色情内容的努力中，阿图罗·贝哈尔回忆说，该系统经常试图剔除床的图像。该模型没有学会识别人们在性交，而是自学识别他们最常在上面做那事的家具。……类似的根本性错误不断发生，即使该公司开始依赖更先进的人工智能技术来做出比“色情/非色情”更重大、更复杂的决策。该公司全力投入人工智能，既用于决定人们应该看到什么，也用于解决可能出现的任何问题。

威尔纳碰巧读到一份非政府组织的报告，记录了在印度尼西亚，有人利用 Facebook 引诱和安排与数十名年轻女孩会面，然后她们被绑架并卖为性奴。扎克伯格当时正在练习公开演讲技巧，并要求员工向他提出尖锐的问题。因此，在一次全体会议上，威尔纳问他，为什么公司为其有史以来第一个电视广告——一则最近发布的、时长90秒、将 Facebook 比作椅子和其他有用结构的广告——拨了款，却没有预算安排一名员工来处理其平台在绑架、强奸和偶尔杀害印度尼西亚儿童方面已知扮演的角色。

扎克伯格看起来身体不适。他告诉威尔纳，他需要调查此事。……威尔纳说，在她认为 Facebook 最有可能被滥用的市场上，该公司远远落后。当她2013年离开 Facebook 时，她得出结论，这家公司永远也赶不上了。

几个月内，Facebook 解雇了整个 Trending Topics 团队，并派保安护送他们离开大楼。新闻编辑室的一份公告称，该公司一直希望让 Trending Topics 完全自动化，此后也将如此。如果一个故事在 Facebook 的病毒式新闻指标中名列前茅，它就会登上 Trending Topics。

切换的效果并不微妙。摆脱了人类判断的束缚，Facebook 的代码开始推荐用户查看“全国无上衣日”的纪念活动、一则谎称梅根·凯利被福克斯新闻解雇的假新闻，以及一个过于真实的标题为“男子拍摄自己与 McChicken 三明治发生性关系”的故事。

撇开麦当劳社交媒体团队的感受不谈，有理由怀疑最后一个故事的互动量反映了公众对“三明治性交”的真正兴趣：大部分互动显然来自那些希望自己从未见过如此受诅咒内容的人。尽管如此，扎克伯格更喜欢这种方式。人们对 Facebook 中立性的看法至关重要；可疑和令人反感也比有偏见好。

“扎克伯格说，任何涉及人工干预的东西，我们都必须尽可能摆脱，”早期极化团队的成员回忆道。

这种方法早期的受害者之一是该公司唯一用来打击恶作剧的工具。十多年来，Facebook 一直避免删除即使是最明显的胡说八道，这与其说是一种原则立场，不如说是这家初创公司唯一可能的选择。“我们当时只是一屋子的大学生，”戴夫·威尔纳说，他是夏洛特·威尔纳的丈夫，也是 Facebook 第一版内容标准的制定者。“我们完全没有能力和资格来决定正确的世界历史。”

但随着公司开始产生数十亿美元的年利润，至少有了资源来考虑虚假信息的问题。2015年初，该公司宣布找到了一种无需进行事实核查就能打击恶作剧的方法——也就是说，无需判断真实性本身。它只需压制用户不成比例地报告为虚假的内容。

没有人天真到认为这不会引起争议，或者该功能不会被滥用。在与亚当·莫塞里的一次对话中，一位工程师问道，例如，公司将如何处理关于人为全球变暖的恶作剧“辟谣”，这些内容在美国右翼中很受欢迎。莫塞里承认气候变化会很棘手，但表示这不是停止的理由：“你选的是最难的案例——大多数不会那么难。”

Facebook 在一份公告中低调地公开了其反恶作剧工作，该公告准确地指出用户可靠地报告了假新闻。但它没有提及的是，用户也会将他们不喜欢的任何新闻故事报告为虚假，无论其准确性如何。

为了阻止大量误报，Facebook 工程师设计了一种变通方法：一个受信任出版商的“白名单”。这种安全列表在数字广告中很常见，例如，允许珠宝商在一系列信誉良好的婚庆网站上购买预先授权的广告，同时排除像 www.wedddings.com 这样的域名。Facebook 的白名单与此几乎相同：他们编制了一份慷慨且庞大的知名新闻网站列表，这些网站的故事将被视为无可指责。

这个解决方案并不优雅，并且可能使专门从事事实但具争议性报道的不知名出版商处于不利地位。尽管如此，它有效地减少了虚假病毒式新闻在 Facebook 上的成功。也就是说，直到该公司面临围绕 Trending Topics 的偏见指控。然后 Facebook 先发制人地关闭了它。

Facebook 防御恶作剧功能的禁用，是2016年秋季假新闻激增的部分原因。

戈麦斯-乌里韦的团队没有被指派处理俄罗斯干预的问题，但他的一名下属注意到一些不寻常的事情：一些最活跃的账户似乎在一年中的某些日子里完全沉寂。结果发现，它们的停机时间与俄罗斯联邦的公共假日列表相对应。

“他们尊重俄罗斯的假期？”他回忆道，“我们都他妈的这么蠢吗？”

但用户不必是外国喷子才能推广有问题的帖子。戈麦斯-乌里韦团队的一项分析显示，一类 Facebook 重度用户倾向于支持更极端的内容，并且更容易走向极端党派化。而且，他们每小时的发帖量也更大——他们点赞、评论和转发的内容远多于普通用户。这些账户是异常值，但因为 Facebook 基于总体的互动信号来推荐内容，所以它们对推荐产生了不成比例的影响。如果 Facebook 是一个民主国家，那么它是一个每个人都可以随时随愿投票、想投多少次就投多少次的国家。……活跃度高的用户往往更党派化，更倾向于分享错误信息、仇恨言论和点击诱饵。

在 Facebook，他意识到，没有人负责检查引擎盖下的情况。“他们信任指标，而不深入个案，”麦克纳利说，“这是‘快速行动’文化的一部分。你每年会有数百次发布，这些发布仅仅由底线指标驱动。”

另一件事也让麦克纳利担忧。Facebook 的目标指标往往以平均值计算。

“在统计学中，平均值是波动的常见现象，因此某些病态现象可能会直接从目标指标的几何结构中显现出来，”麦克纳利说。以他自己那种内敛、数学思维的方式，他是在说 Facebook 最神圣的指标是垃圾。仅根据指标做决策，而不仔细研究对真实人类的影响，是鲁莽的。但基于平均指标来做决策则是彻头彻尾的愚蠢。平均值上升可能是因为你做了对用户普遍有益的事情，也可能是因为普通用户使用平台的时间稍微减少了一点，而一小撮喷子使用 Facebook 的频率却大大增加了。

Facebook 的每个人都理解这个概念——这是中位数和平均数的区别，通常是中学教授的内容。但为了追求效率，Facebook 的核心指标都基于总体使用量。这就像一位生物学家仅根据原始生物量来衡量生态系统的强度，而无法区分健康增长和有毒藻类大量繁殖。

一个显著特征是假新闻发布者吸引注意力的无耻手段。除了虚假信息，他们的页面总是包含点击诱饵（耸人听闻的标题）和互动诱饵（直接呼吁用户与内容互动，从而进一步传播它）。

Facebook 已经对这些炒作技巧有所不满，认为它们有点垃圾邮件的味道，但说实话，并没有采取太多措施。一个病毒式传播的“如果你是支持军队的人就分享这个”的帖子能造成多大伤害呢？

Facebook 尊重用户偏好的指令带来了另一个挑战。根据平台使用的指标，错误信息正是人们想要的。Facebook 使用的每一个指标都显示，用户喜欢并分享那些耸人听闻和具有误导性标题的故事。

麦克纳利怀疑这些指标掩盖了现实情况。他的团队着手证明这并非事实。他们发现，尽管用户经常与诱饵内容互动，但他们在调查中同意这类材料对他们价值不高。当被告知他们分享了虚假内容时，他们会感到后悔。而且他们普遍认为事实核查包含有用的信息。

每一次善意的此类提议在公司面前搞砸，处理错误信息的人就会失去一些阵地。在缺乏来自外部世界连贯、一致的要求的情况下，Facebook 总是会退回到最大化自身使用指标的逻辑。

“如果某件事在主流媒体上反响不好，他们可能会在实施时犹豫，”麦克纳利说，“其他时候，我们被告知要采取更小的步骤，看看是否有人注意到。错误总是发生在做得太少的一边。”……“对于那些想要修复 Facebook 的人来说，极化是‘让我们为世界做些好事’的典型代表，”麦克纳利说，“最终结论是，Facebook 的目标不是做那项工作。”

当排名团队开始工作时，毫无疑问，Facebook 正在以远远超过任何其他媒体形式的速度向其用户提供明显虚假的信息。这种情况已不复存在（尽管该公司在未来几年仍会因传播“假新闻”而受到严厉批评）。

具有讽刺意味的是，Facebook 处于一个不利的位置，无法吹嘘这一成功。由于扎克伯格一直坚称假新闻只占内容的一小部分，Facebook 无法庆祝它可能正在使这一说法成为现实的路上。

两个团队的多个成员都回忆说，当他们第一次了解到 MSI 新的互动权重时，都有同样的反应：这会让人们争吵。Facebook 的良好意图可能是真诚的，但认为加速评论、转发和表情符号会产生不良影响，对于那些例如曾处理过马其顿喷子农场、耸人听闻内容和仇恨内容的人来说，是相当明显的。

夸张的标题和愤怒诱饵在 Facebook 内外已经是公认的数字出版策略。它们传播得很好，在长长的链条中被转发。给那些能激发转发的内容增加权重，将会给本已高速传播的问题内容增加一个指数级的成分。在公司试图处理错误信息、极端党派化和仇恨言论的传播者之际，它刚刚让他们的策略变得更加有效。

Facebook Integrity 团队内部的几位负责人向赫格曼提出了对 MSI 的担忧，赫格曼承认了这个问题，并承诺稍后尝试微调 MSI。但他表示，采用 MSI 是板上钉钉的事——这是扎克伯格的命令。

即使是 Integrity 部门以外的员工也意识到了风险。当 Growth 团队的一名产品经理询问这一改变是否意味着 News Feed 会更倾向于有争议的内容时，负责这项工作的团队经理承认，这很有可能。

其影响不仅仅是引发朋友和亲戚之间的争论。正如一位 Civic Integrity 研究员后来向同事报告的那样，Facebook 采用 MSI 似乎已经发展到改变了欧洲政治。“积极和政策性帖子的互动量已严重减少，导致各政党越来越依赖煽动性帖子和对其竞争对手的直接攻击，”一位 Facebook 社会科学家在采访政治策略师了解他们如何使用该平台后写道。在波兰，各政党将在线政治讨论描述为“一场社会内战”。一个政党的社交媒体管理团队估计，他们已将帖子中积极/消极的比例从50/50调整为80%消极和20%积极，这明确是算法变化的结果。主要政党将社交媒体归咎于加深政治极化，并将局势描述为“不可持续”。

西班牙的政党也是如此。“他们了解到，对对手的严厉攻击能带来最高的互动量，”研究员写道，“从他们的角度来看，他们被平台的激励结构困在了一个无法逃脱的负面竞选循环中。”

如果 Facebook 让政治变得更加好斗，并非所有人都对此感到不安。极端主义政党自豪地告诉研究员，他们正在实施“挑衅策略”，即“在有分歧的问题上，如移民和民族主义，制造冲突性互动”。

为了竞争，温和派政党不仅说话更具对抗性。他们也在采取更极端的政策立场。这是生存问题。“虽然他们承认自己正在加剧极化，但他们觉得自己别无选择，并正在寻求帮助，”研究员写道。

Facebook 上最成功的政治内容发布者是那些发布绝对垃圾内容的外国内容农场，这些东西让 About.com 过去的 SEO 把戏看起来像是属于《纽约客》的。

艾伦不是第一个注意到这个质量问题的员工。这些页面是 Facebook 在2016年大选后与之斗争的假新闻发布者的衍生物。虽然事实核查和其他打击措施使得彻头彻尾的恶作剧更难病毒式传播，但这些发布者已经重新集结。BuzzFeed 在2016年报道过的一些实体——来自马其顿一个名叫韦莱斯的小镇的青少年——又卷土重来了。Facebook 的新闻分发系统是如何被一个人均 GDP 为5800美元的国家的孩子们操纵的？

在审查喷子农场页面时，他注意到一些事情——他们的帖子通常都会病毒式传播。这很奇怪。用户 News Feed 空间的竞争意味着大多数页面无法可靠地将其帖子展示给即使是有意关注它们的人。但在转发和 News Feed 算法的帮助下，马其顿的喷子农场经常能接触到庞大的受众。如果让帖子病毒式传播就像中了注意力大奖，那么马其顿人每次往 Facebook 的投币机里投一美元都能赢。

马其顿人的内容之所以如此之好，是因为那不是他们的。几乎每个帖子要么是聚合的，要么是从互联网其他地方窃取的。通常这类材料来自 Reddit 或 Twitter，但马其顿人也从其他 Facebook 页面上剽窃内容，然后将其重新发布给他们远为庞大的受众。这之所以有效，是因为在 Facebook 上，原创性不是资产；而是负债。即使对于有才华的内容创作者来说，大多数帖子最终也是失败的。但那些已经病毒式传播过的东西几乎总是会再次传播。

艾伦在2018年夏天开始写关于这个问题的笔记时，先提醒了一句。“Facebook 的使命是赋予人们建立社区的能力。这是一个好的使命，”他写道，然后论证他所描述的行为利用了实现这一使命的努力。例如，艾伦将一个真实的社区——一个名为美国印第安人全国代表大会的团体——进行了比较。该团体有明确的领导者，制作原创节目，并为美洲原住民举办线下活动。但是，尽管 NCAI 做出了真诚的努力，它的粉丝数却远少于一个在越南运营的名为“Native American Proub” [原文如此] 的页面。该页面的未知管理员正在使用回收内容来推广一个销售 T 恤的网站。

“他们在剥削美洲原住民社区，”艾伦写道，并认为即使喜欢这些内容，用户也永远不会选择关注一个秘密在越南运营的美洲原住民自豪感页面。作为证据，他附上了一个附录，其中包含来自醒悟过来的用户的反应。“如果你想阅读300条来自真实用户的评论，他们对剥削美洲原住民社区的页面感到非常不满，这里有一份关于美洲原住民‘社区’和‘媒体’页面的1星评论合集，”他总结道。

这不是一个小众问题。它越来越成为每个社区页面的默认状态。排名前十的黑人主题页面中，有六个——包括排名第一的页面“My Baby Daddy Ain’t Shit”——是喷子农场。排名前十四的英语基督教和穆斯林主题页面是非法的。一群兜售福音派内容的喷子农场拥有比最大的真实页面大二十倍的合并受众。

“这不正常。这不健康。我们赋予了不真实的行动者积累大量粉丝的能力，其目的在很大程度上是未知的，”艾伦在后来的一份笔记中写道，“大多数情况下，他们似乎想从观众那里快速捞一笔钱。但有迹象表明他们与 IRA 有过接触。”

那么问题有多严重呢？对拥有大量受众的 Facebook 发布者进行抽样发现，整整40%依赖的内容要么是窃取的、聚合的，要么是“旋转”的——即进行了微不足道的修改。Facebook 视频内容也是如此。艾伦的一位同事发现，60%的视频观看量流向了聚合者。

这些策略如此广为人知，以至于在 YouTube 上，人们正在制作教学视频，解释如何在几周内成为顶级的 Facebook 发布者。“这就是我从 YouTube 上抓取视频的地方，然后我会重新上传到 Facebook，”一个视频中的一个人说，艾伦记录了这个视频，并指出严格来说，自己动手做这些工作并非必要。“你可以在 Fiverr 上花20美元买一个合集——‘嘿，帮我找些关于狗的有趣视频，然后把它们串成一个合集视频。’”

我靠，艾伦想。Facebook 正在一场它甚至不明白自己在玩的游戏中，在比赛的后半段失利。他将这套获胜策略命名为“制造病毒式传播”。

“制作一个大型 Facebook 页面最简单（最省力）的方法是什么？”艾伦在一份内部幻灯片演示中写道，“步骤1：在 [Facebook] 上找到一个现有的、活跃的社区。步骤2：抓取/聚合该社区中流行的内容。步骤3：在你的页面上重新发布最受欢迎的内容。”

艾伦的研究引发了一场讨论。一个关于美国越战老兵的头号页面竟然在海外运营——而且还是在越南——这简直令人尴尬。与扼杀 Page Like 广告不同（那会疏远某些内部群体，因此从一开始就不可行），如果艾伦和他的同事们能够想出系统性地压制垃圾内容农场的方法——这些材料几乎没有哪个 Facebook 团队会推崇——那么让领导层批准这些方法可能是一个真正的机会。

正是在这里，艾伦遇到了 Facebook 的关键信条“假设善意”。这一原则适用于同事，但也同样适用于 Facebook 的数十亿用户。除了是一个美好的想法，它通常也是正确的。绝大多数使用 Facebook 的人是为了联系、娱乐和消遣，而不是为了欺骗或欺诈。但是，正如艾伦从经验中知道的那样，这句座右铭几乎不能作为生活的全面指南，尤其是在涉及金钱的时候。

在另一位数据科学家的帮助下，艾伦记录了垃圾发布者的固有特征。他们聚合内容。他们病毒式传播得太稳定了。他们经常发布互动诱饵。而且他们依赖随机用户的转发，而不是培养一个专注的长期受众。

这些特征本身都不足以构成严厉惩罚的理由。但它们加在一起就构成了确凿的证据。2019年对这些特征的筛查发现了33,000个实体——仅占所有页面的0.175%——却获得了 Facebook 全部页面浏览量的整整25%。几乎没有一个是由 Facebook 合作伙伴团队认为是可信媒体专业人士的实体“管理”的，并且它们仅占 Facebook 收入的0.14%。

被收购后，CrowdTangle 不再是一家公司，而是一个产品，免费提供给媒体公司。无论出版商对 Facebook 有多愤怒，他们都喜欢西尔弗曼的产品。Facebook 给他的唯一指令是让他的团队继续构建让出版商满意的东西。寻找病毒式故事素材的精明记者也喜欢它。例如，CrowdTangle 可以浮现出一个关于救了主人命的狗的正在升温的帖子，这种材料保证会在社交媒体上获得巨大流量，因为它已经在朝那个方向发展了。

CrowdTangle 邀请其以前付费的媒体客户参加在纽约举行的庆祝交易完成的派对。在场的一位媒体高管问西尔弗曼，Facebook 是否会在内部将 CrowdTangle 用作调查工具，这个问题让西尔弗曼觉得荒谬。是的，它为社交媒体平台提供了一个了解自身使用情况的早期窗口。但 Facebook 的员工数量现在比他多几千比一。“我当时想，‘这太荒谬了——我敢肯定他们拥有的任何东西都比我们拥有的强大得多！’”

西尔弗曼花了一年多的时间才重新考虑这个答案。

直到 CrowdTangle 开始构建工具来做这件事时，团队才意识到 Facebook 对其自身平台的了解有多么少。当自由派媒体监督机构 Media Matters 发布一份报告显示 MSI 对 Breitbart 有利时，Facebook 的高管们 genuinely 感到惊讶，互相转发那篇文章询问这是不是真的。任何 CrowdTangle 用户都会知道，这是真的。

西尔弗曼认为这种盲目是不幸的，因为它阻止了公司认识到其质量问题的严重程度。这与杰夫·艾伦和许多其他 Facebook 员工一直在强调的观点相同。结果，最终阐明这一点的人并非来自公司内部。而是 BuzzFeed 的 CEO 乔纳·佩雷蒂。

BuzzFeed 开创了病毒式发布模式。虽然“列表文章”在其早期为该出版物赢得了愚蠢轻浮的名声，但佩雷蒂的员工在社交媒体上的运作水平远高于大多数媒体机构，他们在暴风雪前储备内容，并使用 CrowdTangle 寻找能吸引大量受众的快速热门故事。

2018年秋季，佩雷蒂给考克斯发了一封电子邮件，表达了他的不满：Facebook 的“有意义的社会互动”排名变化正在迫使其员工制作更低俗的内容。佩雷蒂写道，BuzzFeed 可以承受打击，但他的员工没有人会对此感到高兴。与那些只是抱怨流量损失的出版商不同，佩雷蒂引用了其平台最近的一个成功案例：一个题为“几乎所有白人都承认说过的21件事”的推文合集。这个列表——包括“哎呀呀”、“把这些薯片从我身边拿走”和“罪名成立”——在 Facebook 上表现极佳。让佩雷蒂困扰的是其背后的明显原因。成千上万的用户在评论区争论这个列表本身是否具有种族主义色彩。

“当我们创造有意义的内容时，它不会得到奖励，”佩雷蒂告诉考克斯。相反，根据一份在 Integrity 员工中流传的佩雷蒂邮件摘要，Facebook 正在推广“时尚/垃圾科学”、“极其令人不安的新闻”、“恶心的图片”以及利用种族分歧的内容。佩雷蒂写道，BuzzFeed 没有人喜欢制作那些垃圾，但那是 Facebook 要求的。（为了说明 BuzzFeed 愿意玩这个游戏，几个月后它又发布了另一个合集，题为“几乎所有白人都承认做过的33件事”。）

随着用户的 News Feed 被转发、群组帖子和视频所主导，名人页面的“自然触达”开始暴跌。“我的艺术家们建立了一个粉丝群，但现在除非他们购买广告，否则无法触达他们，”新奥尔良的音乐推广人和技术专家特拉维斯·劳伦丁在2019年的一次采访中抱怨道。一个拥有1万粉丝的页面能触达其中极小一部分就算幸运了。

解释为什么名人的 Facebook 触达率在他们增加粉丝的同时却在下降，对 Partnerships 团队来说是地狱般的任务，该团队负责为知名用户提供 VIP 服务，并说服他们保持活跃在 Facebook 上的价值。这项工作归结为说服名人，或他们的社交媒体代理人，如果他们遵循一套公司认可的最佳实践，他们就能触达他们的受众。问题是，这些实践，例如定期发布原创内容和避免互动诱饵，实际上并不奏效。在奥斯卡红毯上成为焦点的女演员，她们的帖子可能会被一个从 YouTube 窃取的摩托车越野赛事故合集视频击败。……随着时间的推移，名人和网红开始逐渐离开这个平台，通常转向姊妹公司 Instagram。“我认为人们从未将这些点联系起来，”博兰说。

“64%的极端主义团体加入是由我们的推荐工具导致的，”研究员在一份总结其发现的笔记中写道，“我们的推荐系统加剧了问题。”

这类事情显然不应该是 Civic 团队关心的。该团队的存在是为了促进公民参与，而不是监管它。尽管如此，公司长期以来的座右铭是“没有什么是别人的问题”。查克拉巴蒂和研究团队将调查结果带到了公司的 Protect and Care 团队，该团队负责处理自杀预防和欺凌等问题，并且当时是 Facebook 最接近专注于社会问题的团队。

Protect and Care 告诉 Civic 团队，他们无能为力。创建这些内容的账户是真实的人，而 Facebook 有意没有制定强制要求真实性、平衡性或善意的规则。这不是别人的问题——这是没有人的问题。

即使问题看起来庞大而紧迫，探索针对恶意病毒式传播的可能防御措施对 Civic 团队来说仍将是新领域，团队希望慢慢开始。考克斯显然支持团队的参与，但研究平台对操纵的防御措施仍然代表从 Civic 的主要工作中“兼职”，其主要工作是为在线公共讨论构建有用的功能。

2016年大选几个月后，查克拉巴蒂向扎克伯格提出了一个请求。为了构建研究 Facebook 上政治错误信息的工具，他想要在他已经拥有的八名致力于提高政治参与度的工程师之外，再增加两名工程师。

“你的团队现在有多少工程师？”扎克伯格问道。查克拉巴蒂告诉了他。“如果你想做，你就得自己想办法解决资源，”据 Civic 团队成员称，CEO 这样说。Facebook 拥有超过2万名工程师——而扎克伯格不愿意给 Civic 团队两名工程师来研究选举期间发生的事情。

产品经理 Elise Liu 回忆说，虽然承认社交媒体可能不是一股普遍的善的力量对 Facebook 来说是向前迈出的一步，但讨论现有平台的缺陷即使在内部也很困难。

“人们不喜欢被告知他们错了，他们尤其不喜欢被告知他们在道德上是错的，”她说，“我参加的每一次会议，最重要的事情是传达‘这不是你的错。事情发生了。你怎样才能成为解决方案的一部分？因为你很棒。’”

“我们没有，也可能永远不会有能够捕捉到甚至大部分诚信危害的模型，特别是在敏感领域，”一位工程师会写道，并指出公司的分类器只能以足够的精度识别出2%的禁止仇恨言论并将其删除。

对绝大多数违规内容的不作为是不幸的，罗森说，但这并不是改变方向的理由。Facebook 删除内容的门槛类似于刑事案件中应用的排除合理怀疑的 guilt 标准。即使是限制帖子的分发也应该需要优势证据。罗森承认，不准确的系统和高举证责任的结合将内在地意味着 Facebook 通常不会执行其自己针对仇恨的规则，但这是设计使然。

“马克个人首先重视言论自由，并且会说这是一个功能，而不是一个缺陷，”他写道。

公开地，该公司宣称其对仇恨言论零容忍。然而在实践中，该公司未能有意义地打击仇恨言论被视为不幸——但高度可容忍。

缅甸，直到2011年才由军政府近乎完全控制，是那种 Facebook 迅速填补政府从未允许发展的公民社会空白的地方。该应用程序向一个不习惯这些的社会提供电信服务、实时新闻和 activism 机会。

2012年，该国占多数的佛教徒与罗兴亚穆斯林少数民族之间的种族暴力导致约200人死亡，并迫使数万人逃离家园。对许多人来说，Facebook 在这种情况下构成的危险似乎显而易见，包括记者兼纪录片制作人 Aela Callan，她于2013年将此事提请 Facebook 公共政策部门的 Elliot Schrage 注意。所有志同道合的缅甸“卡珊德拉”在门洛帕克都得到了礼貌的接待，但仅此而已。他们关于缅甸是火药桶的论点在2014年得到了验证，当时一名强硬派佛教僧侣在 Facebook 上发布虚假声明，称一名罗兴亚男子强奸了一名佛教妇女，这一挑衅引发了冲突，造成两人死亡。但除了贝哈尔的 Compassion Research 团队和考克斯——他对缅甸个人感兴趣，私下资助那里的独立新闻媒体作为慈善事业——之外，Facebook 没有人给予太多关注。

后来对忽视警告的描述使公司的许多批评者将 Facebook 的不作为归因于纯粹的冷酷无情，尽管对参与清理工作的人员的采访表明，根本问题是缺乏理解。人权倡导者告诉 Facebook 的不仅仅是其平台将被用来杀人，而且它已经这样做了。然而，在公司认为用户无需帮助就能识破并关闭错误信息的时候，这些信息很难被吸收。公司高层所知道的 Facebook 版本——由他们的朋友、同事、家人和兴趣拼凑而成——绝不可能被用作种族灭绝的工具。

Facebook 最终在2015年雇佣了其第一位缅甸语内容审核员，以处理这个拥有超过5000万人口的国家出现的任何问题，并发布了一包以花卉为主题、促进和平的数字贴纸，供缅甸用户贴在仇恨帖子上。（该公司后来指出，这些贴纸源于与非营利组织的讨论，并且“当时受到公民社会团体的广泛欢迎”。）与此同时，它与电信提供商达成协议，免费为缅甸用户提供 Facebook 访问权限。

第一波种族清洗始于同年晚些时候，该国军方领导人在 Facebook 上宣布他们将“解决”该国穆斯林少数民族的“问题”。随后发生了第二波暴力事件，最终有25,000人被军方和佛教治安维持团体杀害，70万人被迫逃离家园，另有数千人被强奸和受伤。联合国将此次暴力定性为种族灭绝。

Facebook 仍然没有回应。戈麦斯-乌里韦的 News Feed Integrity 团队开始自行收集平台大规模分发煽动暴力言论的例子。即使没有缅甸语技能，这也不难。来自缅甸军方、政府走狗和激进僧侣的反罗兴亚仇恨和谎言洪流不仅势不可挡，而且极其成功。

这是探索性工作，不在 Integrity Ranking 团队的半年路线图上。当戈麦斯-乌里韦与麦克纳利等人推动重新分配人员以更好地了解 Facebook 在缅甸问题的严重程度时，他们被拒绝了。

“我们被告知不行，”戈麦斯-乌里韦回忆道，“很明显，领导层不想更深入地了解它。”

当 Facebook 在该问题中的角色被公开时，情况发生了变化，这经常发生。在最严重的暴力事件爆发几周后，一个人权组织谴责 Facebook 不作为。在72小时内，戈麦斯-乌里韦的团队被紧急要求弄清楚发生了什么。

当一切结束时，Facebook 的疏忽是显而易见的。一份联合国报告宣称“Facebook 的回应缓慢且无效”，Facebook 雇佣的外部人权顾问最终得出结论，该平台“已成为那些寻求传播仇恨和造成伤害的人的工具”。

在一系列道歉中，该公司承认自己疏忽大意，并承诺雇佣更多能说缅甸语的员工。没有说明的是公司搞砸的原因。事实是，它对其平台在大多数国家发生的事情一无所知。

巴恩斯被指派负责“破除迷因”——也就是说，打击关于 Facebook 的病毒式恶作剧在 Facebook 上的传播。不，公司不会声称对你所有照片拥有永久权利，除非你转发一个警告此威胁的帖子。不，扎克伯格不会给那些转发声称他要送钱帖子的人送钱。压制这些数字连锁信有一个明显的回报；它们玷污了 Facebook 的声誉，并且毫无用处。

不幸的是，通过 News Feed 限制这些垃圾的分发不足以扼杀它们。这些帖子也通过 Messenger 传播，很大程度上是因为消息平台正在促使消息的接收者将其转发给他们的朋友列表。

巴恩斯曾工作过的 Advocacy 团队隶属于 Facebook 的 Growth 部门，巴恩斯认识负责 Messenger 转发的负责人。他掌握了数据显示当前的转发功能正在用反 Facebook 的垃圾内容淹没平台，并安排了一次会议。

巴恩斯的同事听取了他的意见，然后提出了反对意见。

“它确实有助于我们实现目标，”该男子谈到转发功能时说，该功能允许用户只需轻点一下即可将消息转发给他们的朋友列表。Messenger 的 Growth 员工的任务是提高每天发生的“发送”次数。他们设计转发功能正是为了鼓励巴恩斯团队试图阻止的那种冲动分享。

巴恩斯与其说是在关于 Messenger 转发的斗争中失败了，不如说是甚至未能开始一场斗争。在公司试图控制对其声誉的损害之际，它同时也

附录：非陈述

我非常喜欢设计文档中的“非目标”部分。我认为类似文档中的非陈述部分价值要低得多，因为顶层非陈述通常可以通过阅读本文档推断出来，而顶层非目标往往能补充信息，但我想还是尝试一下。

  • 脸书（或此处提到的任何其他公司，如优步）是特别糟糕的
    • 如前所述，相反，我认为脸书并不非常特殊，这就是为什么
  • 扎克伯格（或此处提到的任何其他人）是特别糟糕的
  • 大型科技公司的员工是坏人
  • 没有大型科技公司的员工在努力工作或尽力而为
    • 出于某种原因，对科技公司缺点或失败的批评，常见回应是“人们在努力工作”。这几乎从不是对“没人努力工作”这一批评的回应，而这里也不是这种批评
  • 大型科技公司应被拆分或对其采取反垄断行动
    • 也许如此，但本文并未论证这一点
  • 同一行业中较大的公司严格比较小的公司更差
    • 上文已讨论，但在此再次提及
  • 此处讨论的规模大小权衡严格适用于所有领域和所有行业
    • 也已在上面提及，但在此再次提及。例如，传统出租车司机试图欺骗乘客的比例似乎远高于优步
  • 大规模进行内容审核和支持很容易
  • 平均而言，大公司为用户提供的体验更差
    • 例如，我仍然使用亚马逊，因为它给我最好的整体体验。如上所述，亚马逊的成本和配送优于任何其他选择。有些类别的商品，我买的大部分都是假货，比如口罩和呼吸器。2020年1月我购买这些商品时，当时还没多少人买，我得到了正品3M口罩。之后口罩和滤芯一度难以买到，当它们再次有货时，我买到的大部分3M口罩和滤芯都是假货（出于好奇，我在接下来几年里尝试了多次独立订单）。我尽量避免购买假货率高的商品类别（但一个不知道这点的普通用户会买到大量低质量假货），而且我知道每次购买昂贵商品时都在冒险（如果收到假货或空盒子，亚马逊可能不接受退货或退款，除非我能就此事发帖走红），有时某类商品会从通常能买到好货变成大部分是假货。
    • 许多反对意见，无论是隐含还是明确的，都是关于平均体验，但当讨论涉及尾部体验时，这毫无意义；这就像当有人指出并发错误是个问题时，另一个人说“它对我有效”的标准回应，这对发生在尾部的错误来说毫无意义。

  1. 当Costco规模还比较小的时候，我会把Costco放在这里而不是Best Buy，但随着它们规模变大，我注意到它们的质量下降了。令人震惊的是，我（相对）频繁地发现密封商品（比如奶酪）在“最佳食用日期”之前很久就变质了，或者完全是损坏的商品。这似乎与特定门店无关，因为我在近十年里几乎每年搬家，并在许多不同门店都观察到了这种下滑（因为我在搬家，起初我以为是自己运气不好搬到了差的地方，但当我尝试不同地区的门店后，我意识到这并非某个门店特有的问题，而且似乎影响了美国和加拿大的门店）。[返回]

  2. 当《华尔街日报》查看泄露的内部Meta文件时，他们发现，除其他事项外，Meta估计每天有10万名未成年人“收到成人生殖器照片或其他性虐待内容”。当然，聪明的反对者会辩称这完全正常，例如，HN上最初几条评论中就有两条说这没什么特别不对的。当然，孩子被骚扰是坏事，但“这在任何街角都可能发生”、“要比较的基准率是多少”等等。

粗略来说，如果我们持自由派观点，可能会估计Meta在2021年初有25亿日活跃用户，其中5亿是未成年人；如果保守一点，也许猜测有1亿未成年人。那么，我们可能估计Meta平台上每天约有0.1%到0.02%的未成年人收到生殖器照片或类似内容。这是他们在其他地方通常会遇到的正常比率吗？与现实世界相比，有可能，但如果0.1%的孩子“在任何街角”都会暴露于他人的生殖器，我会感到惊讶。与一个管理良好的小型论坛相比，这似乎极不可能。互联网评论者的反应与Arturo Bejar（他设计了Facebook的举报系统并在这个领域工作过）最初的反应相同。他最初对这类事情的报告不以为然，因为似乎不太可能真的那么糟糕，但一旦他开始调查，很快就改变了想法。

乔安娜的账号逐渐有了些人气，而就在这时，事情开始变得有些阴暗。大多数粉丝都为一个14岁女孩投身汽车修复事业感到兴奋，但有些人却带着赤裸裸的性别歧视出现，比如有个男人对乔安娜说，她之所以受到关注“只是因为你长了胸”。

“请别谈论我未成年的胸，”乔安娜·贝哈尔回击道，随后向Instagram举报了这条评论。几天后，Instagram通知她，平台已审核了该男子的评论，但并未违反平台的社区准则。

贝哈尔曾设计过用户举报系统的前身，而正是这个系统刚刚对他女儿遭受的性骚扰置之不理。他告诉女儿，这个决定只是偶然失误。但几个月后，乔安娜对贝哈尔提到，邻镇一所高中的一名男生通过Instagram私信给她发了一张自己阴茎的照片。乔安娜告诉父亲，她的大多数朋友都收到过类似的照片，而她们都只能尽量无视。

贝哈尔震惊了。那些向素未谋面的女孩暴露身体的青少年固然令人作呕，但他们在学校停车场或便利店过道里遇到女孩时，大概不会掏出自己的生殖器。为什么Instagram会变成一个默认这些男孩偶尔会这样做的地方——或者像他女儿这样的年轻女性只能对此置之不理？

《破碎代码》一书的大部分内容，讲述的是贝哈尔等人试图让Meta认真对待此类问题，却进展甚微，且他们的努力常常付诸东流（尽管Facebook的公关危机似乎迫使FB采取行动，并在书末推动了一些进展）。

六个月前，一个团队重新设计了Facebook的举报系统，其具体目标是减少用户完成举报的数量，这样Facebook就不必费心处理这些举报，从而释放资源，用于培训其人工智能驱动的内容审核系统。在一份关于控制仇恨言论审核成本的备忘录中，一位经理承认，Facebook在遏制用户举报方面可能做得过火了：“我们可能把指针拨得太远了，”他写道，暗示公司或许不应该如此彻底地压制这些举报。

公司后来表示，其目的是提高举报质量，而非压制举报。但贝哈尔无需看到那份备忘录，也能识别出其中的不诚信。那个欢快的蓝色按钮就足以说明问题。他放下手机，目瞪口呆。这不该是Facebook应有的运作方式。如果这个平台连倾听用户感到不安的内容都不屑一顾，又怎能说它关心用户呢？

这其中有一种傲慢，一种假设：Facebook的算法甚至无需了解用户的体验，就能知道他们想要什么。即使普通用户无法像贝哈尔那样看清这一点，他们最终也会感受到这个信息。像他女儿和她的朋友们那样的人，会在举报了几次可怕的事情后，发现Facebook对此毫无兴趣。然后，她们就会停止举报。

如果你对这个话题感兴趣，我建议阅读整本书；但如果你只想大致了解书中讨论的内容，我在附录中收录了一些相关引文。读完这本书后，我不能说我对这个数字非常确信，因为要让我深信不疑，我还得查看数据，但这个数字似乎确实合理。至于为什么Facebook可能比其他平台让儿童接触到更多这类内容，书中论证道，这是由于优化用户参与度、“数字增长”以及忽视“信任与安全”工作共同导致的结果。

只需在Instagram上浏览几个小时，再打几个电话，就能看出事情已经严重偏离正轨——在青少年帖子下留下恶毒评论的那些人并非孤狼。他们是一个由Instagram推荐系统助长的大型恋童癖社区的一部分。

进一步的报道最终形成了一篇三千字的初始报道，标题为“Instagram连接起庞大的恋童癖网络”。这篇与凯瑟琳·布朗特合写的文章详细描述了Instagram的推荐系统如何帮助创建一个恋童癖社区，将有志于未成年人性内容的用户相互匹配，并与那些出售“菜单”内容的账号建立联系。Instagram的搜索栏会主动推荐与儿童性剥削相关的词汇，甚至只是瞥一眼诸如“乱伦幼儿”之类的账号名称，就足以触发Instagram开始推送用户与之联系。

[return] 3. 但扎克伯格幸运的是，他的目标受众似乎对科技行业知之甚少，因此他的论点是否站得住脚其实无关紧要。在未来的文章中，我们可能会探讨监管机构和政府官员的错误推理，但目前，不妨先看看加里·伯恩哈特的这个例子——脸书提出的主张，在业内人士看来似乎与事实完全相反。[return] 4. 另一个比“提供真正支持的成本太高”更少见的说法是“支持无法实现，因为这会成为社会工程攻击的载体”。这个说法并非立刻显得不可信，因为它让人联想到所有那些案例——人们启用了短信双因素认证的账户，被某人通过致电电话公司并转移电话号码而盗取。但我并不觉得这有多可信，因为银行和券商账户的价值通常远高于脸书账户，而脸书账户的被盗率却仍然高得多，即便是在线账户、在KYC（了解你的客户）要求实施之前的账户，或者人们为这种差异找出的其他听起来合理的理由。[return] 5. 另一个原因，虽然不那么合理，却是这篇帖子的实际动因：当扎克伯格声称只有全球最大的公司才能处理欺诈和垃圾信息等问题时，我觉得这完全荒谬。因为我喜欢荒诞，于是开始了一个文档，记录我看到的大公司在垃圾信息、欺诈、内容审核和支持方面的失败案例，就像我一度收集的谷歌知识卡片结果列表那样。我原本没打算拿它做什么，只是持续记录了几年，直到决定发布这个列表。那时我觉得必须写点什么，因为光秃秃的列表本身并不有趣，于是我开始为每个链接写摘要（原始列表只是链接列表），然后就有了现在这篇文章。当我坐下来写东西时，通常对要采用的方法有个大致想法，但开始查看数据后，我常常会改变主意。

例如，自从从硬件转向软件后，我一直觉得传统软件测试的投入产出比相当低。因此，加入Twitter时，我曾设想通过分析错误（比如向用户返回500错误）和宕机的货币影响，来证明测试工作的价值——就像研究延迟的货币影响往往能推动降低延迟的工作一样。可惜的是，我的想法落空了：一个粗略的分析显示，货币影响相当低，而我立刻发现了一系列其他高影响力的项目。于是我写了一份文档，说明我的发现与我原本想证明的工作价值完全相反，但我希望能进行更深入的后续研究来推翻最初的结果，随后便转向了有数据支持的项目。

这种情况在我写博客时也经常发生，比如这次我想写一个听起来很有说服力的故事，但深入挖掘后发现，尽管它在科技圈被广泛引用，却并不真实，而且根本没什么有趣的内容。很多时候，当我深入研究某件事时，会发现原本设想的切入点并不成立。工作中，我通常觉得至少应该写一份简短的文档，附上负面结果的证据；但对我个人博客而言，我没有同样的责任感，所以我的草稿文件夹和本地硬盘里堆满了被放弃的负面结果。

然而，在这个案例中，当我深入挖掘链接中的故事，并与不同公司的人讨论这些系统的运作方式后，我发现问题实际上比我之前意识到的更严重。因此，即使写的是大多数科技从业者已知的事实，也值得记录下来。

[返回]