返回文章

Erick Lachmann 头像

Pimenta de Freitas Cardoso 头像

利用模型自身失败生成的拒绝对

今年四月，我们发布了 DharmaOCR——一款专为结构化 OCR 设计的模型（可在 Hugging Face 获取），同时发表了论文，详细阐述了其背后的方法论，并提供了基准测试，证明其卓越的质量和成本效益。该论文对主流视觉语言模型家族（包括开源和商业模型）在结构化文档提取任务——即巴西葡萄牙语文本的 OCR——上进行了基准测试。其中报告的指标包括文本退化率：模型产生重复循环而非转录内容的频率。

在测试的开源模型家族中，原始退化率从低于 1% 到超过 33% 不等。监督微调降低了大多数模型的退化率——但很少能达到生产环境可接受的水平。这一模式指向一个结构性限制：SFT 优化的是正确输出，但并未明确惩罚退化现象。单纯依靠任务导向的微调来减少这种失败模式，似乎存在一个上限（文本退化文章）。

在监督微调（SFT）之后，对同一文档、使用同一模型进行的第二阶段训练，显著降低了每个测试家族的文本退化率。无一例外。平均降低幅度：59.4%。最佳案例：87.6%。

图片 图 1：在所有测试家族中，DPO 相比 SFT 均降低了退化率——平均降低 59.4%，最高达 87.6%（Nanonets-OCR2–3B：从 1.61% 降至 0.20%）。方向一致，仅幅度不同。

这第二阶段便是直接偏好优化（DPO）。几乎所有已发表的 DPO 应用都针对对话对齐——即基于人类对有用性或无害性的判断来训练模型（例如：Rafailov 等人，2023）。OCR 则完全不涉及这种主观性：任务是客观的，也没有对话上下文。然而，存在一个明确的偏好信号：正确的转录被选择，退化循环被拒绝。DharmaOCR 利用这种二元性构建了 DPO 训练集，测试该技术并非用于对齐，而是作为针对特定失败模式的直接缓解工具。

训练信号来自模型自身——具体来说，来自其失败时产生的输出。失败模式如何成为训练信号，这是一个关于失败本身的结构性问题，而非模型的问题。

循环在微调后依然存在

为什么 SFT 在退化问题上存在上限，这仍是一个未解之谜——但主流猜想指向损失函数的粒度问题。SFT 逐 token 进行训练：每个预测被孤立评估，重复循环从未作为完成级别的失败受到惩罚。DPO 则反转了这一逻辑。训练信号是整个输出——被选择或被拒绝——这意味着一个退化的完成结果可以被明确标记为错误结果，而不仅仅是一系列局部概率较高的 token。

当训练目标最大化观测序列的似然时，概率质量会集中到这些序列在分布空间中所占据的区域。在推理过程中，一旦模型进入这些高概率的吸引子区域，就会在下一步赋予相同token更高的概率——这进一步增加了概率，从而维持循环直至序列达到最大token限制。文本退化正是这种几何结构的产物：自回归模型陷入自我强化的重复循环，若无外部干预则无法自行退出（Holtzman等人，2020）。这并非单纯的解码伪影。吸引子涉及训练目标、学习到的分布以及推理过程中概率质量的集中方式——这是一个系统级故障，而非任何单一组件的局部问题。

这种故障的几何结构在token层面清晰可见。

image 图2：当一个token主导其自身的条件分布时，每个采样步骤都会加深吸引子。解码器从这种几何结构中采样，而非决定这种几何结构。

推理层的干预措施——重复惩罚、温度调整、提前终止逻辑——作用于采样步骤。它们控制症状，却未触及产生症状的分布。吸引子依然存在。

监督微调使分布更接近任务领域。对于结构化生成流程而言，这意味着在目标语言中，使用所需的输出格式，针对领域特定文档进行训练。模型在处理更长序列、受限句法和领域词汇方面变得更加流畅。但SFT并未直接攻击退化问题。其目标——最大化观测序列的似然——没有任何惩罚重复循环的项。这个故障模式根本超出了训练信号所优化的范围。

DharmaOCR基准测试中的一个模型家族表现出一种意外模式：原始退化率为0.60%，经过SFT后上升至3.23%，随后通过DPO阶段降至1.41%。这是一个单一数据点——属于例外而非规律——将其视为某种机制的证明会夸大证据。但它确实说明SFT并不能可靠地减少退化。能力与抗退化性可以独立变化。

这种区别在结构上至关重要。SFT和DPO并非执行相同操作但强度不同的可互换训练阶段。SFT缩小了模型先验分布与任务领域之间的距离。但它并未将退化作为目标——其对故障模式的影响是偶然的，基准测试结果表明这种影响并不一致。产生退化的吸引子并非模型与任务接近程度的问题——而是模型当前占据的分布空间形状的问题。

要解决这种几何结构，需要专门构建一个训练信号，引导模型远离自身的故障模式。对于结构化、非对话式、没有人类偏好标签、也没有传统“有益与有害”区分的任务，构建这样的信号是一项设计决策。

设计决策：将退化输出作为拒绝配对

DharmaOCR 流程对 DPO 方法的贡献是具体的：它使用 SFT 模型自身的退化输出作为被拒绝的示例——不是作为需要去除的噪声，而是作为优化所需的负训练信号。

DPO 需要偏好对：针对同一输入的一个被选输出和一个被拒输出，且质量差异需足够明显，以便优化过程能够从中学习。在对话对齐中，人工标注者会生成这些判断——对回复的有用性、准确性或安全性进行评分。而结构化生成任务没有类似的标注来源。OCR 流程要么产生正确的转录，要么没有。质量差异确实存在，但它们并非由人类偏好排名产生，而是由任务自身的正确性标准决定。

DharmaOCR 流程识别出了结构化生成任务已经产生的偏好信号：SFT 模型在推理过程中生成的输出范围。一个能够执行结构化任务的模型，也必然能以特定方式失败。这些失败——即进入退化吸引子的输出——并非需要过滤的噪声。它们是最具信息量的负信号。

该论文在 23,726 份训练文档上实现了这一方法，使用 SFT 模型为每份文档生成多个候选回复，并通过自动化 LLM 评判器进行评分。流程如下图所示。

image 图 3：关键的设计决策并非在于流程的结构——而在于流程保留了什么：显示文本退化的输出被有意标记为被拒示例，而非作为低质量噪声过滤掉。

当训练数据中出现退化输出时，常规做法是将其移除。它们是低质量信号；过滤能产生更干净的数据集。DharmaOCR 方法颠覆了这一逻辑。退化输出被有意保留，作为每个（被选，被拒）对中的被拒示例，因为它们恰恰代表了 DPO 阶段旨在抑制的失败模式。移除它们将丢弃最清晰的目标。

论文将此描述为“偏好引导的隐式非似然”——模型不仅被训练向更优输出靠近，还被训练远离特定类型的失败。SFT 最大化高质量输出的似然，而 DPO 阶段则同时惩罚显示退化吸引子几何结构的输出。优化的方向是明确的，这是 SFT 单独无法实现的。

退化输出特别适合作为被拒示例，因为它们代表了一致的失败模式，而非多样化的低质量输出。遗漏单词的转录是低质量的，但其失败是具体案例相关的。相比之下，重复循环即使在 SFT 之后也持续出现在不同文档和模型家族中——这是一种与基于似然的优化无法可靠纠正的失败模式相一致的规律。DPO 以不同的方式应用其损失：在完成级别上，使用明确的拒绝信号。事后分析无法建立因果关系，但证据表明，SFT 目标未能解决的问题，DPO 或许能够解决。

这种方法不需要专门的标注基础设施——只需要一个既能生成可接受输出、又能生成可识别失败输出的模型，以及一个用于标记偏好对的评分模型。基于规则的机制可以机械地检测重复循环，但它无法识别哪些输出是值得保留为优选示例的高质量转录。

评分模型同时完成这两项任务：它将退化输出标记为被拒绝项，将干净提取结果验证为被选中项，从而在DPO信号惩罚失败模式的同时，保持模型的提取能力不受影响。由此产生的训练信号能否成功将分布推向预期方向——以及这种效果是否能在不同架构间保持一致——正是需要验证的问题。

在五个模型家族中表现一致

DPO阶段在所有测试的模型家族中都减少了文本退化——相较于仅使用SFT，退化率降低了37%至88%，平均降幅达59.4%。这一结果在架构、参数量级以及初始退化分布（相差超过一个数量级）上均保持一致。数据集中有一个案例在SFT阶段后退化率上升，随后被DPO纠正。这个案例并未破坏一致性，反而比其他任何案例都更直接地验证了这一机制。

图1展示了五个测试模型家族（原始模型、SFT模型、SFT+DPO模型）的三阶段退化率。其中四个家族的退化率在每个阶段均呈下降趋势。第五个家族的柱状图变化不同——而这一差异正是本研究中最重要的分析数据点。

仔细审视Qwen2.5-VL-3B的结果，这并非复杂情况，而是对机制的确认。该模型的原始退化率为0.60%——并非因为它稳定，而是因为它过于通用，根本无法生成长结构化输出。该模型之所以未进入退化吸引域，是因为它尚未认真执行任务到足以发现该吸引域的程度。

SFT改变了这一状况。经过领域适配后，Qwen2.5-VL-3B具备了执行任务的能力——能够生成更长的、结构化的输出，并包含流水线所需的领域词汇和格式。这种能力首次使其接近退化吸引域。其退化率上升至3.23%。

这一机制在实证层面变得清晰可见：SFT同时将模型推向任务本身和任务的失败几何结构。这两者并非必然相同的操作。一个提升任务能力的训练阶段，可能会附带增加模型暴露于失败模式的风险——尤其是当失败模式位于能力边界附近时。若将两者视为同一操作，Qwen2.5-VL-3B的结果看起来像是一个错误。但若将其视为不同操作——这正是SFT+DPO流水线的正式做法——那么该结果与“SFT和DPO处理不同失败维度”的假设完全一致。

DPO阶段随后将退化率降至1.41%。它并未恢复原始基线，因为其设计目标并非如此：SFT后的模型能力已超越先前水平，若回归0.60%的退化率，则需削弱这种能力。DPO阶段实际解决的是SFT阶段引入的失效几何结构。

其余四个模型家族为同一结论提供了量化佐证。图1展示了所有五个模型在SFT与SFT+DPO阶段的对比结果。

image 图1：在所有测试家族中，DPO均降低了SFT阶段的退化率——平均降幅59.4%，峰值达87.6%（Nanonets-OCR2–3B：从1.61%降至0.20%）。方向具有不变性，仅幅度存在差异。

经DPO处理后，无任何模型家族出现退化率上升。所有家族均受其影响。这种一致性延伸至gemma-3–4b-it模型——该模型进入基准测试时原始退化率高达33.96%，较次高值2.62%高出一个数量级——经DPO阶段后仍实现75%的降幅。降幅范围（37.3%至87.6%）反映了初始配置与架构差异，而非干预方向的不一致性。

这并非普适性证明。DPO可能无法迁移至所有领域、失效模式或模型家族。DharmaOCR基准测试提供的证据表明，在五种OCR架构中核心假设成立：通过优化完整偏好对（而非最大化词元级似然）可解决SFT结构性无法针对的失效模式。该结果在所有测试模型家族中方向一致。这种一致性，在本基准测试范围内，正是证据所支撑的结论。

超越OCR的模式

DharmaOCR方法之所以可行，是因为该流水线满足一组结构性条件，使DPO训练阶段能按设计运行——这些条件的存在与否决定了相同方法论能否应用于其他领域（Dharma OCR论文见ArXiv）。其可行性并非源于OCR领域的独特性。

第一个条件是：失效模式必须可识别为独立的输出类别，而非质量连续谱上的某个点。文本退化符合此条件，因为重复循环与漏词或字符误读的转录存在本质区别。输出不仅次优——更以特定、行为可识别的方式出现故障。这种类别独特性使流水线能够构建偏好对，其中被拒绝的样本代表连贯的失效几何结构，而非噪声。若某项任务的失效模式与其可接受变异范围相互交融，则不具备此特性。

第二个条件是，评分机制能够可靠地区分可接受输出与故障模式输出，且无需人工标注。在 DharmaOCR 流程中，自动化 LLM 评判器会根据四项任务特定标准对候选回答进行评分。评分无需完美——只需足够一致，以生成质量差距有意义的偏好对（即被选中的回答与被拒绝的回答之间）。质量差异模糊的偏好对只会给 DPO 训练带来噪声，而非有效信号。评判器的一致性是一项设计需求，而非附带特性。

第三个条件是足够的数量——即需要足够多的推理输出，以生成一个质量方差有意义的偏好数据集。按微调标准来看，这并非特别的要求，但却是真实存在的。

当三个条件同时满足时，该方法在结构上就是可行的。DharmaOCR 流程的核心设计决策——将模型自身的失败输出作为被拒绝的示例，而非将其过滤掉——适用于任何模型的失败可被明确识别、可评分且数量足够多的场景。

这对构建结构化生成流程的机器学习工程师而言，实际意义是直接的。SFT 是必要的——它能缩小通用模型与任务专用模型之间的差距。但对于结构化输出的可靠性而言，SFT 并不足够，因为任务能力与抗退化是分布的不同属性。在 SFT 之后加入 DPO 阶段是一次性的训练投入。在 DharmaOCR 的结果中，退化减少并未以牺牲提取质量为代价——论文的基准测试结果显示两者同步提升（《专业化胜规模》文章）。

故障模式能否用作训练信号，并不取决于领域——而是取决于故障是否足够一致、足够可识别、足够多，从而构成清晰的信号。在 DharmaOCR 流程中，它们满足这些条件。在另一个上下文中是否同样成立，是一个关于任务故障模式的结构性问题，而非关于模型家族或领域的问题。

DharmaOCR 的结果并不依赖于该领域是否特殊。它依赖于故障是否可用。

文本退化之所以被视为可用，是因为它与可接受输出在类别上截然不同，在推理运行中持续产生，且无需人工标注即可可靠评分。这三个属性——而非 OCR 上下文、模型家族或语言——决定了偏好数据集是否易于处理。满足这些条件的故障模式并非需要去除的噪声。它是关于分布不应走向何处的最直接证据。

DPO 阶段利用了这些证据。退化在所有测试的模型家族中均有所下降——无论是在基准测试中退化率低于 1% 的模型，还是退化率超过 33% 的模型。趋势保持一致。该流程并未丢弃其失败。它基于失败进行了训练。

来源