脆弱标记与无声替换:对某些幻觉的几何学解释
部分幻觉源于受损或脆弱的标记,在推理开始前就被替换为附近的标记。文中给出了示例、各模型的发生率以及一个简单测试。
使用开源模型(包括Qwen3.8)的用户反馈,这些模型的幻觉现象更少,指令遵循能力更强,任务可靠性也更稳定。目前尚未有公开的指标能够单独衡量不同代际模型之间的幻觉率。在大多数讨论中有一个特点:人们很少提出任何具体的几何机制来解释这一现象。幻觉通常被视为一种会随着训练增多而改善的普遍特性,而非可以逐一测量和归因的独立故障模式。
至少有一种这样的故障模式是可以提前被发现并量化的。
可直接检测的幻觉现象
OLMo-2-7B被给出一个包含四项的列表,要求它找出第二项并仅回答该项内容。列表中的词语分别是“lantern”(意为“哪个”)、“harbor”和“compass”。该模型回答的是bort,这是一个俄语词,大致意为“侧面”或“板面”。
提示语中并未出现这个词,它仅仅是一个与列表无关的俄语术语。该模型毫不犹豫地回答了这个仅需简单计数的问题。Qwen3.8-27B接受相同任务时,第二项是另一个俄语词,它回答的是“oxtend”,这个词在任何语言中都不存在,似乎只出现在临床试验中的某种药物名称里。这很可能并非模型本意,但在需要自主决策的任务中却可能带来灾难性后果。
这正是最严格的意义上的幻觉:一种基于模型本可从自身输入中验证的信息而做出的、充满自信且具体的虚假陈述。与大多数幻觉不同,这种错误的来源是可以被确定的。
这种模式并不仅限于玩具相关的提示。在一条关于周五前提交表格的拼写纠错请求中,表格名称被替换成了一个罕见的汉字“Qwen2.5-7B”。该模型回答正确的拼写应该是“waiver”,而非“:numel”。实际上这两个词都并不存在:“:numel”从未出现在输入内容中,“waiver”也同样没有出现。在另一项测试中,该模型接收到一个表示“指示”的希伯来语动词,却被要求解释其含义,结果它却解释了一个表示“指针”的中文词汇。而Qwen3-1.7B在看到一个不常见的韩语音节后,虽然能在屏幕上正确复制出来,却称其为表示“充满”或“丰富”的汉字。
在所有这些案例中,该模型都没有表现出犹豫、含糊其辞或要求进一步说明的情况。它的回答虽然流畅且详尽,却从未回应过最初提出的问题。
这些案例的共性
通常认为,幻觉现象是模型试图超越其知识边界,通过编造内容来填补空白。这种情况确实存在,但并非此处所描述的情形。
在每个示例中,模型都错误地解读了输入信息,却仍能基于这一错误解读给出正确推理。其中既没有编造行为,也不存在知识局限。模型被问及某一事物,实际收到的是另一事物,但它仍能对此作出合理回应。从外部看,这种行为与编造内容难以区分;而在模型内部,它并未检测到任何错误,这也解释了为何其输出不存在不确定性。
目前的解释是,每个模型词汇表中都有一小部分由损坏的标记组成。有些标记甚至无法单独生成,比如在GPT-2中发现SolidGoldMagikarp之后出现的异常标记。另一些标记单独看似乎正常,但在正常句子中就会出问题,而最近的测量主要针对这类标记。面对脆弱或损坏的标记时,模型不会只是产生噪声,而是会倾向于生成一种既可靠又方差较小的完整形式:即相近的标记、缩写形式或翻译结果。表示“查询”的中文标记会变成英文的“QUERY”;意大利语的“realtà”则会变成法语的“réalité”;而“chairman”在俄语中的截断形式则会变成波兰语的“Przewodniczacy”,而这恰好是一个正确的翻译。
以相近标记替代作为机制
当模型在生成过程中前进时,可能会在其嵌入轨迹上遇到损坏或异常的标记。系统会将其替换为正常的相邻标记,之后的所有转换都会当作用户输入了该正常标记来处理。这种替换并非模型需要纠正的错误,而是直接成为模型后续推理的输入。
链中的每一个环节都值得详细说明,因为这些都是模型正确处理的内容:
- 损坏的标记会影响生成过程。
- 被替换的标记会进入序列,与用户输入的内容无法区分。
- 后续的所有步骤都是基于该被替换的标记计算得出的。
- 由于在模型看来并未出现任何问题,因此不会标记任何异常。
幻觉之所以具有说服力,是因为它流畅、自信且具体,而在这类情况下,这三点特性恰恰源自嵌入空间的结构特征。
对于列表类问题,这种机制会生成诸如“bort”之类的答案,而这其实只是无意义的随机结果。其对智能体系统的影响更为严重:Qwen3-32B被赋予了研究任务及一组研究工具,它开始进行搜索,但由于查询中的标记出现丢失或变化,导致搜索结果毫无关联,而该智能体仍自信地引用了这些无关的参考资料。在50次试验中,有问题的标记既未出现在搜索结果中,也未出现在答案中;而那些没有脆弱相邻标记的稳定标记,则有约96%的时间同时出现在搜索结果和答案中。
日常用词也会受到影响
如果这种影响仅限于那些罕见的异常字符串,其实际意义便不大。但实际上它也会波及到常见词汇。
选取模型中已知的不良标记,再根据其他标记在输出嵌入向量中与该不良区域的距离来为其评分。这一评分能够预测那些看似正常的标记在普通句子中是否会出问题,在所测试的8个模型中有6个模型的AUC值在0.72到0.83之间。而使用相同大小的随机参考区域时,该数值则在0.41到0.55之间。
那些易出错的词标根本不必出现在提示语中,只要其附近的词标出现即可。最典型的例子是英文单词“according”。在OLMo-2-7B模型中,该词单独出现时的生成概率高达0.999,但在48个普通句子中有44个会出现错误。当给定一个要求在周五前填写“according”表格的句子并让模型修正拼写时,模型却用“correct”取而代之,从而删除了一个常见的英文单词并掩盖了错误。
有多少词汇处于风险之中
这一指标是指那些在其他方面没有问题的词标,在十种不同语境中至少有一种出现错误的比例:
按照这种测量方式,Qwen3.8-Flash-Next的数值为0.4%,Qwen3-32B为0.9%。Qwen3.8-27B的数值为1.5%,Qwen3-1.7B为2.4%,OLMo-2-7B为2.7%。较旧且参数量更大的模型表现则差得多,Qwen2.5-7B的数值为7.0%,Qwen2.5-72B为10.5%,Qwen3-235B为10.9%。
这些数值相差约二十五倍。有的模型仅有约1/250的标记会被泄露,而有的模型则是1/10。
词汇量并不能解释这一现象。我们仅考虑同时存在于Qwen3-32B和Qwen3-235B中的标记ID,并分别判断其是否干净。在相同的标记集中,235B参数的模型有4.3%的失败率,而32B参数的模型失败率为0.8%,两者之间存在五倍的差距。
嵌入空间图能够直观显示这种差异,每个点代表一个标记,模型将处理方式相同的标记放置得彼此靠近。受影响的标记会以红色标出。该系列模型中表现最好的Qwen3.8-Flash-Next有15个此类标记,而Qwen3-235B则有682个。
假设
这类幻觉并非源于知识缺口。某个标记落在嵌入空间的受损区域中,在任何推理开始之前就被替换了,因此模型会回答一个根本没人提出的问题。错误率应反映词汇表中有多少内容位于该区域,上述数据表明不同模型之间的这一比例差异超过十倍。
如果这一观点成立,那么较新模型出现的幻觉现象减少可能反映出更纯净的词汇表和更合理的嵌入结构,而非更强的知识能力。Qwen3.8在榜单中排名最靠后。目前尚未出现能够单独衡量这些模型的幻觉指标,因此这一观点仍需验证。
另一项指向相同结论的测试
由Haeji Jung和Hila Gonen开发的PhantomBench收集了6万多个虚构的术语和实体,用它们来测试21种模型。包括最先进的模型在内,平均的违规率高达86.7%。
该研究探讨的关于不存在实体的行为,在功能上与处理受损标记的情况极为相似。研究者指出,对不存在概念的响应与对罕见概念的响应模式一致,而受损标记属于这类罕见情况。他们还发现,每个系列中规模最大的模型会出现幻觉现象的急剧增加,Qwen3-32B和Llama 3-70B的表现甚至比规模较小的模型更差。标记度量数据也显示,规模最大的模型受影响最为严重。不过,这两项研究中的模型集合重叠度极低,不足以证明二者之间存在关联。
一个能解决这一疑问的实验
其中一部分属于推测,不过这些令牌的测量结果使得进一步测试变得有必要。测试方法很简单:将一个模型在幻觉测试基准上运行两次——第一次使用标准提示词,第二次则将每个受影响的令牌替换为稳定的同义词。如果第二次的错误率更低,就说明该替换带来的效果更为显著;而错误率保持不变则意味着所提出的关联并不存在。
参考文献:Jung和Gonen发表在arXiv上的PhantomBench论文,编号为2606.11105。
相关阅读
- 单独复制正常,组合使用出错:通过单独复制测试的令牌在上下文中的脆弱性——对八种开放权重模型进行了测试,筛选出那些单独复制时正确,但在上下文中会被删除或修改的令牌,并分析了其嵌入几何结构、任务保持能力以及工具使用情况。