如果你去年年底浏览过任何个人理财论坛,很可能会看到有人急切地想在年底前亏掉一笔钱。实现这一目标的方法有很多;其中一种常见的建议是购买预计到期时一文不值的看跌期权,让买家(很可能)承受损失。
人们寻找亏钱方法的一个原因是,在美国,个人健康保险补贴的收入硬性门槛为48,560美元(大家庭门槛更高;四口之家为100,400美元)。虽然具体细节会因年龄、地点、家庭规模和保险计划类型等因素而有所不同,但在所有情况下,一个人从门槛一侧跨越到另一侧,其健康保险费用每年可能增加约7200美元。这意味着,如果一个购买《平价医疗法案》保险的人年收入为55,000美元,那么将收入减少6440美元,使其低于48,560美元的补贴上限,比赚取55,000美元更划算。
尽管这是一个异常极端的例子,但美国税收政策充满了不连续性,这些不连续性抑制了收入增长,在某些情况下甚至激励人们减少收入。其他一些不连续性包括贫困家庭临时援助的收入上限、医疗补助的收入上限、儿童健康保险计划免费覆盖的收入上限,以及儿童健康保险计划减费覆盖的收入上限。这些因地点和情况而异;贫困家庭临时援助和医疗补助的收入上限通常属于“低收入”范围,而儿童健康保险计划的收入上限通常属于“中产阶级”范围。这些补贴的不连续性与《平价医疗法案》补贴的不连续性具有相同的影响——在特定收入水平下,人们会被激励去亏钱。
任何人都有权安排自己的事务,使税款尽可能低;他没有义务选择最能充实国库的方式。甚至没有爱国义务去增加自己的税款。法院一再指出,安排事务以尽可能降低税款并无任何不妥。每个人都在这样做,无论贫富,而且都做得对,因为没有人有公共义务支付超出法律要求的税款。
如果你同意勒尼德·汉德的这句名言,那么通过亏钱来降低有效税率、增加可支配收入,在个人层面是完全合法的行为。然而,一个鼓励人们亏钱——比如通过购买看跌期权将资金(平均而言)输送给更富有的期权交易者——的税收体系,似乎并不理想。
针对上述问题的一个简单解决方案是采用缓慢的逐步退出机制,而不是急剧的门槛。实际上,一些补贴已经采用了逐步退出机制,虽然这也会带来问题,但通常比在税收/补贴政策中引入急剧的不连续性要少得多。
在这篇文章中,我们将探讨多种不连续现象。
硬件或软件队列
一个朴素的队列具有不连续的行为。如果队列已满,新条目会被丢弃;如果队列未满,新条目则不会被丢弃。根据你的目标,这往往会产生非理想的影响。例如,在网络中,一个朴素的队列可能被认为对总带宽利用率较低的突发性工作负载“不公平”,因为低带宽利用率的工作负载“不应该”比那些突发性较低但占用更多带宽的工作负载遭受更多丢包(这也可以说不算不公平,具体取决于你的目标)。
解决这个问题的一类方案是随机早期丢弃及其变体,它为传入项目赋予一个被丢弃的概率,该概率可由队列占用率(以及可能的其他因素)决定,从而平滑不连续性,并缓解由队列丢弃概率不连续所引发的问题。
这篇关于链接聚合器中投票的文章本质上也是同样的思路,尽管从某种意义上说,极性是相反的。一个内容是否出现在首页,会导致其获得的流量存在非常尖锐的不连续性。你可以将其视为一个链接如果只收到N-1票就会被从队列中丢弃,而收到N票则不会被丢弃。
大学招生与佩尔助学金获得者
佩尔助学金开始被用作衡量学校在帮助/录取低收入学生方面认真程度的指标。其直接影响是,高于佩尔助学金门槛的学生被录取的概率显著降低,而低于佩尔助学金门槛的学生被录取的概率则显著提高。这样表述听起来似乎一切都在按预期运行。
然而,当我们观察每个群体内部的情况时,会发现结果与我们的期望恰恰相反——如果目标是惠及低收入家庭学生的话。在不具备佩尔助学金资格的人群中,收入最低的学生受到的影响最严重,被录取的概率降低得最多。而在具备资格的人群中,收入最高的学生最有可能受益,这再次与你的目标(如果旨在惠及低收入家庭学生)背道而驰。
我们可以在下面的图表中看到这些情况。这些图表是两所大学学生在2008年(第一张图)和2016年(第二张图)的父母收入直方图,其中红线表示佩尔助学金门槛。


大学为优化佩尔助学金受助人数而产生的二阶效应是,精明的家长可以效仿某些人在最后时刻削减应税收入的做法。有人可能会将资金存入传统IRA而非罗斯IRA,若已达IRA缴款限额,他们甚至试图通过期权交易亏损,实质上是将资金转移给可能比自己更富有的期权交易者,以此将收入降至佩尔助学金门槛以下,从而提高子女被精英院校录取的概率。
选举统计数据
以下俄罗斯各投票站选举结果的直方图显示,自2004年左右开始,投票率和结果在整数百分比(如95%)处出现异常峰值。这似乎表明存在通过伪造结果进行的选举舞弊,且至少部分造假者并未费心伪造出分布平滑的结果。

关于识别伪造数据,另请参阅本福特定律。
二手车售价
马克·安斯沃思指出,美国汽车拍卖售价及拍卖车辆数量在1万美元整数关口均存在断点。以下价格图表已根据车龄等因素进行调整,但我们仍可在未经调整的原始数据中观察到相同断点。


p值
心理学论文作者有动力产出p值低于特定阈值(通常为0.05,有时为0.1或0.01)的论文。Masicampo等人绘制了三本心理学期刊发表论文的p值分布图,发现p值略低于0.05的论文数量异常之多。

p=0.05处的峰值与多种不太理想的假设相符,例如:
- 作者篡改结果以获得p=0.05
- 期刊接受p=0.05论文的概率远高于p=0.055的论文
- 作者提交p=0.055结果的意愿远低于p=0.05的结果
Head等人(2015年)综述了多个领域的相关证据。
Andrew Gelman等人多年来一直呼吁摒弃统计显著性和p值阈值的概念,这篇论文简要总结了原因。这不仅会减少作者篡改p值的动机,还有其他理由反对用一条明确的分界线来判断某事物是否“显著”。
毒品指控
这组四张图中最上面的两张显示了2010年《公平量刑法》通过前后,被指控持有可卡因数量的直方图。该法案将触发10年强制性最低监禁刑期的可卡因持有量从50克提高到280克。2010年之前的分布相对平滑,而2010年之后则出现了急剧的不连续性。
左下角的图表显示,在280克处起诉数量急剧飙升,随后在2013年证据标准改变后可能有所下降1。

高中毕业考试成绩
这是波兰语考试高中毕业考试成绩的直方图。我们可以看到,得分在30分或略高于30分的学生数量异常多,而得分在23-29分之间的学生数量则异常少。这是2013年的数据;我查看的其他年份(2010-2012)也显示出类似的不连续性。
在我检查的年份(2010-2013)中,数学毕业考试成绩没有表现出任何异常的不连续性。

当老师批改matura(高中毕业考试)时,他不知道这是谁的试卷。唯一知道的是:学生的编号(代码)和matura来自哪个地区(通常来自波兰完全不同的地区)。这个系统旨在防止任何形式的操纵,例如,时不时会有教师督导来检查试卷批改是否正确。我不想过多谈论系统的缺陷(和优点),这在世界上任何有最终考试的教育体系中都是众所周知的,但你必须记住,有一份评分标准,老师在批改时会严格遵守。
所以,当考试成绩低于30%时,考试就不及格。然而,在协议中做出最终声明之前,一个由3人组成的委员会(我记不清确切人数了)会再次检查试卷。这就是人文学科和数学之间差异显现的时刻:老师们常常试图找到一两个缺失的分数,这样考试就不会不及格,因为这对考生本人、他的学校来说是一场悲剧,对批改团队来说也有些麻烦。在批改写作或开放性试题时,找到“缺失”的分数并不难,这在波兰语考试中就是如此,但在数学中几乎不可能。这就是分数分布如此不同的原因。
与p值类似,设定一个明确的阈值也会引发奇怪的行为。在这种情况下,任何科目得分低于30分(每科要求30分及以上)且考试不及格,都会对人们产生武断的负面影响,因此教师通常会在有简单方法时尽力防止学生不及格。但问题的更深层根源在于,认为有必要将连续分数离散化后颁发证书。
出生月份与体育
以下是欧足联青年联赛足球运动员的散点图。这两张图的x轴表示球员年龄在一年内的模数,即他们的出生月份归一化为0到1的值。
左侧的直方图显示,一个人在一年中的出生时间与其进入欧足联青年联赛(U19级别)俱乐部的概率之间存在非常强的关联。右侧的图表则试图表明,出生时间与实际场上价值仅存在微弱的相关性。作者使用上场时间作为价值的代理指标,大概是因为这易于衡量。这并非一个完美的指标,但他们发现的结果(在一年中出生较晚的球员,在进入U19联赛的条件下,价值更高)与其他关于体育和歧视的研究一致。例如,这些研究发现,在棒球废除种族隔离后的几十年里,黑人棒球运动员明显优于白人棒球运动员;法裔加拿大后卫也高于平均水平(法裔加拿大人通常被刻板地认为害怕打架、不够努力、过于注重进攻)。
上述图表并未直接显示这种不连续性,因为它们只展示了一年的出生日期。如果我们按年龄段绘制多年间的出生日期,预计会看到球员进入欧足联青年联赛的概率呈现锯齿状模式,在阈值前后一天出生的人之间可能存在10倍的差异。

这种出生日期或月份能有效预测高水平青少年体育以及职业体育参与度的现象,已在多种体育项目中被研究。
人们普遍认为,这是由青少年体育中的不连续性造成的:
- 孩子们按年龄分组,与同一年龄段的人竞争。
- 在同一年龄段内,年龄较大的孩子更强壮、速度更快等,表现也更好。
- 这导致同一年龄段中年龄较大的孩子胜过年龄较小的孩子,进而由于多种原因,使得年龄较大的孩子在后续拥有更高的参与度。
这可以说是青少年体育运作中的一个“漏洞”。但正如我们在棒球以及多项运动调查中所见,那些明显糟糕的决策——即便让个别团队损失数千万甚至数亿美元——在公众公开讨论其弊端的情况下,仍可能持续数十年之久。在这种情况下,青少年运动队并非职业球队的预备队,因此他们没有经济动机去选拔那些在同龄人中技术更出色的球员(而非仅仅因为年龄稍大而更高、更快),这使得这种系统性的非最优状态比职业球队做出完全可控的局部非最优决策更难纠正。
采购拍卖
Kawai 等人研究了日本政府采购,以寻找类似 Porter 等人(1993)所描述的投标可疑模式,后者关注的是美国纽约长岛采购拍卖中的串通行为。其中一个例子是:
1983年2月,纽约州交通局举行了一次采购拍卖,用于翻新0.8英里的道路。拍卖中的最低出价为400万美元,交通局决定不授予合同,因为该出价被认为相对于其自身的成本估算过高。该项目于1983年5月重新拍卖,首次拍卖中的所有投标人均参与其中。重新拍卖中的最低出价比首次拍卖高出20%,由之前的低价投标人提交。合同再次未被授予。交通局于1984年2月举行了第三次拍卖,投标人与首次拍卖相同。第三次拍卖中的最低出价比第二次高出10%,同样由同一投标人提交。交通局显然认为这很可疑:“值得注意的是,同一家公司在每次拍卖中都提交了低价投标。由于投标模式异常,该合同直到1987年都未授予。”
有人可能会争辩说,这是意料之中的,因为不同公司有不同的成本结构,因此在一个特定项目的拍卖中,最低出价者应该预期会在同一项目的后续拍卖中继续成为最低出价者。为了区分串通行为与公司之间真实的结构性成本差异,Kawai 等人(2015)研究了第一名与第二名出价差异非常小的拍卖,这使得获胜者实际上具有随机性。
在所研究的拍卖结构中,投标人提交秘密报价。若秘密报价高于秘密底价,则最低报价者中标并获得合同;否则,最低报价将向所有投标人公开,并进入新一轮投标。Kawai等人发现,约97%的拍卖中,首轮最低报价者在第二轮仍保持最低报价(而次低报价者保持第二低的概率为26%)。
下图展示了首轮与第二轮报价的差值分布:左列为最低与次低报价者之差,右列为次低与第三低报价者之差。每行对应不同的筛选条件,用于限定拍卖的接近程度。第一行包含所有进入第三轮的拍卖;第二、三行分别要求最低与次低报价者的归一化差值小于0.05和0.01;最后一行要求最低与第三低报价者的归一化差值小于0.03。所有数值均经过归一化处理,因为拍卖的绝对规模可能不同。

可见,次低与第三低报价者的差值分布大致对称。但最低与次低报价者的差值在零点处出现明显断裂,表明次低报价者几乎从未比最低报价者更大幅度地降价。若阅读该论文,可发现相同结构在进入第三轮的拍卖中依然存在。
我并非刻意针对日本采购拍卖。关于采购拍卖的广泛文献已发现多起合谋案例,其手段往往比上述案例更为露骨(例如,少数企业轮流中标,或除中标者外的所有企业提交相同的高价)。
餐厅检查评分 数据
下图直方图显示13分与14分之间存在明显断裂,这正是A级与B级的分界线。部分区域在27分与28分之间也存在断裂,即B级与C级的分界线。2014年的旧分析同样发现了B级与C级之间的类似断裂。

检查员在记录违规行为时拥有自由裁量权,数据显示存在餐厅被“推”向更高等级的情况。
马拉松完赛时间
基于9,789,093次完赛记录的马拉松完赛时间直方图(横轴为完赛时间,纵轴为人数)显示,每半小时以及:10、:15、:20等“整点”时间处均存在明显断裂。

对每个种族内的时间分析(参见第4.4节,图7-9)表明,这至少部分是因为如果选手接近一个“整数”时间2,他们在比赛末段会加速(或比平时减速更少)。
注释
这篇帖子其实没有明确的目标或论点,只是收集了一些我觉得有趣的不连续性现象。
或许值得一提的是,在我的职业生涯中,我既通过怀疑不连续性并探究其来源获益良多,也通过应用标准技术来平滑不连续性而收获颇丰。
在发现不连续性方面,像“绘制散点图”、“绘制直方图”、“绘制累积分布函数”这类基本工具往往很实用。其他增加时间维度的可视化方法,例如flamescope,也同样有用。
我们之前提到,队列会在某些情况下产生一种应被平滑的不连续性。我们还指出,在其他类型的阈值中也能观察到类似行为,而随机化可以作为一种有效工具来平滑这些阈值带来的不连续性。在机器学习及其他应用中,随机化还可用于在降低精度时减少量化误差。
感谢Leah Hanson、Omar Rizwan、Dmitry Belenko、Kamal Marhubi、Danny Vilea、Nick Roberts、Lifan Zeng、Mark Ainsworth、Wesley Aptekar-Cassels、Thomas Hauk、@BaudDev和Michael Sullivan的评论、更正与讨论。
另外,欢迎向我发送其他有趣的不连续性现象!
- 我看到的关于这篇论文的大多数网络评论都是错误的。有人用这篇论文作为警方渎职的证据,因为查获的可卡因数量跃升至280克。这与论文描述的情况恰恰相反——作者指出,根据毒品查获记录,查获量似乎并非导致这一变化的原因。在说明毒品查获并非原因后,作者提到检察官可以依据与查获量不同的数量进行指控,并进一步指出:
我确实在2010年后的美国检察官行政办公室(EOUSA)案件管理数据中发现了280克处的聚集现象。我还发现,约30%的检察官导致了2010年后280克案件数量的上升,且检察官层面的聚集程度在地区内部和地区之间均存在差异。将案件聚集在280克的检察官,在2010年后(即五年刑期阈值)也拥有较高比例的略高于28克的案件,而在2010年前(即十年刑期阈值)则拥有较高比例的略高于50克的案件。此外,对于跨地区调动的检察官,其聚集行为在法定最低刑期阈值处持续存在。更值得注意的是,当一位“聚集型”检察官调入新地区时,该地区的所有其他检察官也会增加其在法定最低刑期处的聚集行为。这些结果表明,在量刑中观察到的聚集现象具体源于检察官的自由裁量权。
这在摘要中有所提及,并在引言中进行了详细阐述(引用的段落来自引言),因此我认为大多数评论这篇论文的人其实并未阅读过它。我曾对博客文章中关于论文的评论进行过几次调查,通常发现,在能够识别出这种情况(例如,当帖子标题有误时)的案例中,绝大多数评论者并未阅读过他们正在评论的论文或帖子,但这是另一个话题了。
有一些证据表明,癫痫发作中可能存在可疑情况(例如,见图A8.(c)),但如果论文中的分析是正确的,那么其影响远小于检察官自由裁量权的影响。
[返回] 2. 我在网上看到关于这张图和/或这篇论文最常见的评论之一,是认为这是由于马拉松提供的配速员所致。论文第4.4节给出了多个解释,说明为何情况并非如此,这再次表明人们往往不阅读论文就发表评论。[返回]