自对数演化解码(Self Logits Evolution Decoding, SLED):修正模型“知道的”(潜在知识)与“说出来的”(最终层logits经softmax得到的输出分布)之间的偏差

大型语言模型(LLM)在多任务上表现强劲,但“编造/幻觉”导致事实性不足,限制了实际可信度。论文SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models指出,相比训练或检索式增强,解码阶段的干预成本低、可组合且不需外部知识或再训练,因此成为提升事实性的有效抓手。作者观察到:模型“知道的”(潜在知识)与“说出来的”(最终层logits经softmax得到的输出分布)之间常存在偏差;若能在推理时更好地调动早期层中已学到的事实线索,就可能把输出分布拉回真实分布。为此,论文提出SLED(Self Logits Evolution Decoding)自我logits演化解码,核心思想是对比“最终层logits”与“早期层logits”以估计真实分布的替身(Platent),再对最终层logits做一次近似“梯度下降”式的自我修正,从而提高事实一致性。

SLED通过“多层对比→真实分布软估计→单步自我演化”在不依赖外部知识与再训练的前提下,一致性地提升了事实性;在Gemma、Qwen、Mixtral、gpt-oss等不同家族与规模、TruthfulQA/FACTOR等基准上均取得优于贪心与DoLa的结果,同时保持流畅自然的语言质量与可忽略的时延开销,并能与其他方法灵活组合。论文主要贡献总结如下:

• 提出了 SLED,一种在不依赖外部知识或微调数据的情况下,使 LLM 输出与事实知识对齐的新型解码方法。

• 在各种 LLM 配置和规模上进行了广泛实验,结果表明 SLED 在多种任务和基准上一致地提高了事实准确性。

• SLED 可以灵活地与其他事实性解码方法结合,进一步增强它们的性能。

• 为理解层级对比解码方法提供了新的可解释性视角,为事实性解码的进一步发展铺平了道路。

论文作者为Jianyi Zhang, Da-Cheng Juan, Cyrus Rashtchian, Chun-Sung Ferng, Heinrich Jiang, Yiran Chen,来自Duke University, Google Research。


SLED on GitHub: https://github.com/JayZhang42/SLED

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注