单独复制可行，组合使用则失败：通过孤立复制测试的标记在上下文中的脆弱性。
测试八种开放权重模型，筛选出那些单独复制时正确但置于上下文中会被丢弃或修改的标记，并对嵌入几何结构、任务保持性及工具使用情况进行检查。
仅凭单个标记被正确复制的情形，无法说明该标记在更长的文本片段中仍能保持正确。本文研究了那些在孤立复制测试中通过，但在实际语境中出错的词汇条目。共测试了Qwen和OLMo系列中的八种开放权重模型。固定的标记ID被放入共享的随机常用词序列库中，记录每个位置上对应标记出现的概率，并手动检查部分解码失败案例。基于概率的筛选机制在至少十分之一的测试语境中，将0.4%至10.9%的通过孤立测试的标记标记出来。这些数据反映了筛选机制捕获的标记数量，但无法说明其中有多少会导致实际的解码错误。
在上下文集的两部分中，每个标记的筛选得分高度一致，相关系数在0.82到0.95之间。存储的示例包括删除、替换、截断和翻译等形式，其中一些是在输出分布极度集中时产生的。第二个问题是，嵌入空间中与已知标记或经过上下文筛选的异常标记的接近程度能否识别出这类标记。在七种模型中，输入嵌入与输出嵌入的接近程度中较好的那一种的AUROC值在0.744到0.881之间，不过仅在三种模型中静态特征优于基于表面特征的基准方法。在多项指令执行和模拟工具使用任务中，被选中的候选项被保留的频率低于稳定的对照组。针对自然实体名称的单独测试也未发现比现有对照组更具预测价值的内容。 其结果是对通过隔离测试的标记在上下文中的易受影响程度进行了可控的描述，并提供了关于其可重复性、几何关联以及任务层面影响的证据。该研究主张进行上下文验证，同时保留未来发现新规律的可能性，以及预测何种上下文会引发特定故障的能力。
单独复制时存在而处于组合中时消失的标记
当被要求单独复制某个标记时，模型可以成功复制它；但当该标记出现在需要复制的更长序列中时，模型却会替换掉它。每当指令要求保持精确的身份一致性时，这种不一致就会产生问题：比如引用标题、保持标识符完整、返回列表项，或将名称放入工具查询中。一个流畅的回答表面上可能完成了任务，但实际上却改变了任务所涉及的具体内容。
一个具体的案例来自OLMo-2-7B模型，涉及编号为4184的标记according。对该字符串进行解码后再重新编码，会得到相同的编号。在独立的重复检测中，正确续词的对数概率为-0.001。然而在序列deliver rel behind according sent floor wrong中，模型在本应出现according的位置输出了sent，并继续处理其后的单词。这种错误输出的概率约为1.000，熵值约为0.00比特。在48个采样上下文中，44个案例省略了according，而另外4个案例以接近0.999的概率重新出现了该词。整个过程中模型、标记编号以及复制指令保持不变，仅有上下文环境不同。
早期关于故障令牌的研究主要探讨了利用嵌入检测、激活值分类器、提示词变化以及多任务评估等方法来识别和操控某些词汇条目时的局限性（例如Land和Bartolo在2024年的研究，随后是Li等人、Zhang等人在2024年的研究，以及更近期的Wu等人、Tang等人在2026年的研究）。此处则提出了一个更为具体的问题：一旦某个令牌通过了规定的隔离检测，当它被嵌入到更长的文本中时是否依然存在脆弱性？而且这种脆弱性是否能够被一致地衡量？
“脆弱令牌”这一术语用于描述这类条件性行为特征。其归属取决于模型、复制协议以及上下文分布情况。该标签并不声称这种脆弱性与上下文无关，也不假设孤立探测失败与上下文相关失败具有相同的原因。主要实验通过概率筛选来挑选该类别的候选对象，并且在整个实验过程中，这种筛选方式都与已验证的解码错误分开处理。
接下来介绍三项研究内容。首先，通过共享的上下文库和固定的标记ID来衡量那些被隔离的标记群体，从而能够在不同的上下文、独立实验以及模型配置之间比较这些标记的易受影响程度。其次，测试与已知故障标记相关的几何特征，看它们是否也能在该群体中区分出候选项，同时与表面特征及随机参考集进行对比。最后，该研究探讨了所选候选项在后续指令及模拟工具交互中是否依然有效，并指出在自然实体名称预测任务中得到了明确的负面结果。
该研究从实证角度扩展了故障令牌的评估方法。它并非声称发明了基于嵌入的故障检测技术，也并非认为之前的研究完全忽视了上下文因素。它阐明的是为何孤立测试结果应被视为一种特定的测量条件，而非能够证明令牌会被忠实复制的通用依据。
与早期研究的关联
早期的研究报告了在不同提示条件下某些令牌出现的异常模型行为，并将这些令牌与嵌入空间中的特殊区域联系起来（Rumbelow和Watkins，2023年）。后续研究则建立了系统的检测工具和评估流程，为那些易出问题的令牌提供了相应的分析方法及对比基准。
Land和Bartolo（2024）提出的Magikarp框架利用从嵌入向量中提取的指标来筛选训练不足的标记候选项，随后通过行为检测对其进行验证。其分析方法还包括不同的提示语以及包含复制代码列表的示例。Li等人（2024）对故障行为给出了广义定义，并通过重复性、拼写和长度等方面的测试，借助嵌入图和迭代聚类技术来定位问题区域。因此，这里既没有采用几何方法生成候选项，也没有使用周围的提示文本，这些都不是新方法。
GlitchProber通过注意力机制和MLP特征对标记进行分类，并通过调整中间激活值来研究错误缓解方法（Zhang等人，2024年）。GlitchMiner则采用基于熵的离散优化方法，并结合局部嵌入邻域，通过三种重复模板对候选错误进行验证（Wu等人，2026年）。本研究中的实验不同之处在于固定模型权重，仅在隔离探测成功后才判断上下文敏感性。低熵值的错误输出会影响这一判断，但仅仅存在这类错误并不能说明基于熵的检测器会在所有提示下都漏掉相应标记。
最接近的同类研究是 Tang 等人（2026）的工作。他们的 GlitchQuiz 包含八项任务，其中包括句子和段落的构建、重复以及多轮回忆。他们在研究中展示了一个能够通过简单测试但在另一项任务中失败的标记，并承认可能存在超出其完整评估范围的失败情况。本文的贡献在于在能够通过隔离测试的群体中，对同一固定复制操作在共享上下文库中的表现进行多次测量，进而分析其可重复性及预测能力。在这些实验中通过隔离测试并不意味着能通过 GlitchQuiz，同时本文也不主张“标记的失败取决于具体任务”这一观点具有优先性。
这些实验直接比较了三种模型配置下现有的鲤鱼王标签。它们并非在同一个共享上下文预言器下对所有五种系统进行的直接对比测试，因此无法针对那些系统给出关于召回率或效率的比较结论。
稀有性是另一种解释。Yu等人（2022）研究了作用于稀有标记嵌入的梯度如何导致表示退化。这一发现促使人们将结果与与稀有性相关的表面特征进行对比，但仍未明确这些标记的训练历史或因果机制。此处使用的标记ID特征仅是词汇顺序的代理指标，并不能反映预训练的频率。
实验设置
模型与样本
主要的复制实验涵盖了两个系列中的八种开放权重模型：一种为OLMo-2系列模型，另外七种为三代不同的Qwen系列模型。另一项独立的表示研究使用了Pythia-1.4B，被视为辅助实验，因此不能将八种模型复制研究得出的结论直接推广到Pythia或其他系列模型上。
采样是按照每个词汇表内的标记ID范围分层的。Qwen系列模型每个模型使用的ID数量在4,200到8,400之间，而OLMo-2-7B模型的初始样本量为2,098，重复样本量为6,273。每个被采样的标记都会出现在其运行过程中的所有上下文中。这些上下文来自随机常见词序列库，且每个词都需单独通过复制测试。序列长度分别为8、16、32和64，目标词会随机出现在这些序列的某个位置。这类序列属于受控词表，并非语法完整的散文文本。
词汇量以嵌入行的数量来计算，规模最大的两种模型Flash-Next和235B则基于FP8格式的检查点运行。OLMo团队（2025年）与Qwen团队（2025a、2025b、2026a、2026b年）分别记录了这些模型系列的相关信息。不同配置下的分词器、架构、训练方式、框架以及精度均存在差异，因此这些模型实际上是一组相似的实现，无法单独体现参数数量的影响。
复制协议与标记标识
每个复制指令都包含两个示例，随后是一段包含目标内容的序列。隔离检测会重新使用该模板，但仅将目标内容作为唯一文本。指令是由标记ID组合而成的，这样即便周围内容发生变化，目标ID仍保持不变。
这一选择将模型行为与重新分词区分开来。在解码后的标记字符串中添加空格，可能会在模型看到它之前就改变其分割方式。直接插入ID可以避免这种混淆，但同时也允许生成标记器通常无法从普通字符串中产生的序列。因此，精确ID复制与字符串保留是不同的概念，其对日常文本应用的适用范围也相应受到限制。标准的according示例表明，这种效应并不仅限于非标准字符串。
在读取目标位置的输出内容之前，强制教师模型会先提供预期的复制前缀。设 q0(t) 为模型在隔离探针中为目标 ID t 给出的概率，q(t,c) 为在上下文 c 中对应位置的概率。即使有了正确的前缀，较小的数值也表明对该所需标记的支持较弱。它无法显示在出现早期错误后自由延续会产生何种结果。
Qwen3.8的配置将指令、示例及最终文本置于聊天模板的用户轮次中，以Copy:标记助手的轮次，并保持思考状态不变。其他所有运行方式都使用原始的少样本序列，且同一模型内的框架格式始终不变。这一点很重要：在原始提示下，Qwen3.8模型往往会换行，并改变开头空格的标记方式。在2,000次常见单词测试中，原始框架格式仅有3次成功，而聊天框架格式在27B模型上成功1,921次，在Flash-Next模型上成功1,925次。
行为脆弱性与概率筛选
在教师强制指定的前缀条件下，确定模型在目标文本复制位置处的贪婪预测值。随后，基于包含m个上下文的上下文库计算的经验复制错误率，即为该预测值与目标值不一致的比例。那些行为上较为脆弱的标记虽然能通过规定的孤立测试，但仍会出现上下文错误；而定量分类方法则会对错误率设定一个阈值。若整个复制序列都出错，则属于另一种情况，因为错误可能发生在目标位置之前或之后。
聚合实验则在相关的概率筛选器上运行。主要的隔离门会让那些隔离概率q0(t)超过0.5的标记通过，这样t就会成为唯一的贪婪输出。这一条件已足以实现一次隔离贪婪处理，不过也有一些处理不符合该条件。在OLMo敏感性分析中使用的更严格的筛选标准要求ln q0(t)大于-0.1，或者q0(t)大于约0.905。
当ln q(t,c)低于-0.5时，即q(t,c)低于约0.607时，该单元格会被上下文筛选器标记出来。一个标记的敏感度得分是其被标记的上下文所占的比例。符合条件的候选项得分在0.10或以上，稳定的对照项得分恰好为零，而介于两者之间的标记则属于中间组。对于包含24个上下文的场景，候选项至少需要3个被标记的单元格；而对于包含48个上下文的场景，则至少需要5个。
筛查率与错误率不应被混为一谈。设想一个概率为0.55的标记，无论单独出现还是在特定上下文中出现：它都能通过主筛选关卡，同时在上下文中也会被标记出来，但其概率并未下降，其贪婪算法得出的结果也是正确的。因此，所报告的筛查普遍率既不是行为普遍率的估计值，也不是其上限。严格的筛选机制消除了这种特定的重叠情况，但概率低于0.607仍不能证明argmax算法是错误的。经过解码的样本用于展示真正的错误，而综合概率结果仍被标记为筛查测量值。
参考类别与存储的样本
对于OLMo-2-7B，存在由442个经Magikarp验证的故障标记构成的独立参考集。这些标记中没有一个能通过主要的隔离检测，其在初始数据集中的平均上下文得分仅为0.993。其他模型则没有这样的标记，因此它们的参考集在隔离性能较差的同时，上下文得分仍在0.90或以上。需要考虑上下文条件，是因为较差的隔离性能可能源于提示格式的问题，而非持续的复制故障。
每个被检测的标记会将其最差的三个上下文单元以及一个控制单元放入样本存储中。一条记录会包含上下文ID、目标位置、预期标记的出现概率、五个最可能的输出ID及其对应概率、熵值，以及如果已进行生成的话，还会包含贪心续写结果。来源字段则会标注模型名称、检查点版本、精确度、架构元数据以及软件版本。这类记录便于进行案例研究。由于只选取最差的单元，因此无法显示置信度在所有上下文错误中的分布情况。
错误被分类为删除、替换、截断和转换四种类型，出现脚本转换时也会予以标注。要将某类错误视为删除，必须有证据表明模型已进入下一段文本，因为仅凭单个最高概率词的信息无法推断出后续内容的完整发展情况。低于2比特的熵值仅能用来标识数据分布的集中程度，它并非衡量任务正确性或模型是否会产生疑虑的可靠标准。
孤立处理方式易受影响程度如何？
筛选普遍性
在主要筛选机制下，Flash-Next的候选比例从0.4%到10.9%不等——在4,047个经过筛选的标记中仅有15个符合条件，而Qwen3-235B则有684个符合条件，总标记数为6,277。采样词汇表、筛选机制、上下文分布及阈值都会影响这一比例范围，且该机制既无法估算这些候选项在自然文本中的出现频率，也无法确定所有可重复使用的标记所占的比例。
严格的筛选机制使得OLMo-2-7B在第一个标记库中的873个标记中有14个成为候选项（占比1.6%），在复制标记库中的1,888个标记中有29个成为候选项（占比1.5%）。它们的孤立概率远高于上下文阈值，因此可用于检验两个阈值之间的重叠程度。经过验证的argmax错误率仍需直接测量。
将比较范围限制在模型间共享的ID上，可以缩小配置之间的差异。以在Qwen3-1.7B和Qwen3-235B中均通过两道筛选的1,592个ID为例：前者中符合条件的占2.0%，后者则为6.2%。而对于Qwen3-32B和Qwen3-235B共有的1,569个ID，这一比例分别为0.8%和4.3%。虽然这能缩小采样差异，但无法区分规模差异是由架构、精度还是训练因素造成的。
可重复性与上下文的作用
在所有八种模型中，两个上下文半部分对应的每个标记的得分相关性均在0.82至0.95之间。在Qwen3-32B上进行的更严格复现实验将样本量翻倍并使用新的上下文库，此时4,200个共享ID的得分相关性高达0.984，最初的15个候选模型中有12个仍符合标准。在其他硬件上对Qwen3-32B和Qwen2.5-72B的存储矩阵重新计算后，其单元格的复现率分别为99.9%和99.6%，而标记级得分的相关性则分别为0.9999和0.9996。
对第一个OLMo矩阵的方差分解显示，95.2%的方差来自标记本身，0.1%来自上下文，4.7%来自残差。而在严格门控组中，这一比例变为71.7%、接近零以及28.2%。标记所占比例的显著下降很重要：在全部样本中，大部分方差仅用于区分严重出错的标记与可靠的标记，而仍有大量无法解释的方差存在于门控组内部。
所有这些证据都表明在采样分布下存在可重复的标记级易感性，且并未说明触发上下文是无关的。较小的上下文主效应意味着并非每个标记都会遇到难以处理的载体，这与标记与上下文之间存在显著差异的情况相吻合。与此一致的是，根据其他标记的得分来预测未参与训练的OLMo单元，其AUROC值为0.94，而根据其他标记所遇到的载体难度来预测的AUROC值为0.56。标记-上下文相似性特征并未带来任何额外价值。
对于某些群体而言，长度起着重要作用。在严格筛选后的OLMo样本中，长度为8、16、32和64时的标记单元比例分别为0.005、0.008、0.008和0.008。对于Qwen2.5-72B模型，最短的载体会标记33%的单元，而最长的载体则能标记52%的单元。因此，易感性的排序比任何单一错误背后的条件更为清晰。
与已发布的Magikarp标签对比
通过与现有的鲤鱼王记录进行对比，三项模型测试中的候选样本均未被确认为真正的故障标记。根据该检测流程，大多数样本可被视为合格，少数被归类为无法解码，但这并不意味着它们就是健康的。有些样本在经过行为检测被排除之前，曾进入鲤鱼王的几何候选集。Qwen2.5-7B的测试使用了294个候选样本，而筛选总结则列出296个，因为这两种分析所依据的样本群体不同。
因此，上下文筛选机制能够识别出那些不在已确认故障集范围内的行为特征。但这并不能证明每一个上下文候选样本都是真正的复制错误，也不能说明其他检测工具在各自的评估任务中会忽略这些错误。要验证这一更广泛的结论，需要以某个通用的参考标准进行对比。
已验证的错误与集中现象
according案例即便在几乎必然成功的条件下仍显示出实际的复制错误，其他存储的案例在各种语言和配置下也表现出类似行为。样本的得分反映了其整个语料库中某个标记的整体情况，而显示的输出只是其中某个被选中的案例，因此两者作为证据的重要性不同。这些样本仅用于说明问题，并不能反映任何故障模式的出现频率。
在七种Qwen配置中，熵值低于2比特的失败样本占比在14%到74%之间。有些错误发生在高度集中的分布模式下，而有些则出现在分散的分布模式下。这些记录支持存在确定性错误的观点，但既不能证明上下文错误通常具有确定性，也不能证明它们从不伴随不确定性。
嵌入几何结构与预测
分数及其计算成本
几何分析旨在判断候选项与模型故障参考集之间是否存在可测量的关联。对于某个标记t，取其在输入或输出嵌入矩阵中的对应行e(t)，在该空间中找出余弦相似度最高的五个参考标记。接近度分数用于概括与该五个标记的相似程度。另一种分数则是将输入嵌入投影到从词汇表均值到故障参考嵌入均值的直线上，这样一来接近度是局部的，而投影则是全局的。一旦有了参考集和嵌入矩阵，处理新标记时就无需再进行前向传播。不过构建经过行为筛选的参考集仍需要运行模型，这部分成本应计入从开始到结束的整个分析流程中。
拟合预测分析会对比四个特征层级：
- 表面基准：标记ID、解码后字符串的字符长度，以及是否包含前导空格、是否为字母字符或是否为ASCII字符。
- 静态指标：输入和输出嵌入向量的行范数与质心距离、最近邻相似度、包含竞争者差距的直接输入输出自评分，以及故障方向投影。五邻域接近度评分不在本次评估范围内。
- 动态指标：针对一半上下文中的目标位置表示的汇总信息，如其分布范围、范数以及与目标输出行的对齐程度。
- 行为指标：从相同上下文中获取的复制行为测量值。
动态层级和行为层级用于预测在剩余上下文中所出现的候选标签。其拟合方式是通过配对自举法与基准模型进行带L2正则化的逻辑回归比较。由于这两种层级都需要进行前向传播，因此它们并非仅基于权重的筛选方法，且半库标签的阳性计数与全库筛选的标签不同。
故障参考类别链接
在输入空间和输出空间中分别测量了相似度。对于每种模型，选择两者中较好的空间，最终在七种未绑定嵌入的配置下得到的AUROC值介于0.744到0.881之间。这是一种针对每个模型的描述性选择，而非用相同方式应用某个预定义评分所得出的性能指标。报告中仍保留了Qwen3-1.7B的较低数值。
决定信号所在空间的因素取决于模型类型。OLMo-2-7B在输入接近度指标上的得分为0.846，在输出接近度指标上的得分为0.528；而Qwen2.5-72B的情况则相反，分别为0.685和0.798。仅依靠单一的全局方向并不总是有效，其在Qwen2.5-72B上的得分仅为0.599，但在Qwen3-32B上则可达到0.898，超过了两种接近度指标的得分。因此，几何关联关系取决于具体模型，不存在通用的形式。
将故障参考集替换为大小相同的随机稳定集后，十次抽取的平均AUROC值在0.41到0.55之间。因此，任意的稳定参考集无法重现所报告的排序结果。该比较并未区分故障相似度与其他解释因素，如稀有性、局部嵌入密度或参考集的选取方式。实际上，单纯的令牌ID基线在Qwen2.5-72B和Qwen3-235B两种模型上的表现都优于这两种相似度评分。
从Qwen3-1.7B的数据中无法判断权重绑定情况，因为该模型是研究中唯一采用权重绑定的配置，尽管被描述为绑定状态，但其输入和输出相似度评分仍存在差异。这一差异使得无法对该行的架构特征进行清晰解读。
候选模型在投影中的位置
候选点分布超出了故障参考类别的可见集中区域。基于余弦距离的输出嵌入行UMAP投影（McInnes等人，2018年）显示，在Qwen3-1.7B、Qwen3.8-27B和Qwen3-235B模型中，红色候选点散布在灰色背景群体的大片区域中，而黑色参考点则相对聚集在一起。Qwen2.5-7B和OLMo-2-7B模型中的候选点既出现在参考簇旁边，也存在于灰色点之中。这些颜色用于标识筛选结果和参考标签，并不能单独验证每个绘制的点。
Li等人（2024）发现故障标记在嵌入空间中倾向于聚集，这一观察促使他们在GlitchHunter中采用了迭代图聚类方法。这里的投影引发了一个关于其适用范围的问题：能否将故障参考类别的几何特征同样应用于那些已消除孤立状态的上下文候选项？那些分散的红色点表明，现有的可见参考聚类仅部分描述了这一条件下的数据群体。
Tang等人（2026年）也发现了聚类现象，他们通过在Llama2-7B-chat和Mistral2-7B-it上计算欧几里得距离及熵值对比来支持这一结论，并将其归因于输入嵌入层中区分度较低。基于余弦值的输出嵌入投影并未直接验证这一观点。非绑定模型要求对输入矩阵和输出矩阵分别进行评估，而分散式的输出投影无法证明输入嵌入不存在所描述的拥挤现象。
这与上述的邻近度结果相符。一个群体可以分布在多个区域，但在局部仍会与参考标记保持接近，因此一个有用的排序分数无需单独的候选群集。UMAP还会扭曲密度，可能人为制造出分隔效果（UMAP开发者，无日期），因此这些图表并未排除在原始空间中进行聚类的可能性。直接的测试应在相同的检查点上，比较原始空间中的邻域关系及上下文错误覆盖情况，同时使用匹配的嵌入空间、匹配的指标，以及通过独立方式验证的每种评估方法所得的错误数据和标签。
超越表面特征的价值
在未参与训练的上下文半部分标签上，静态特征在Qwen2.5-7B、OLMo-2-7B和Flash-Next上优于基础模型，且优势为正；在其他五种模型上无优势；而在Qwen2.5-72B上则表现为负优势。动态特征在OLMo-2-7B、Qwen3.8-27B、Flash-Next、Qwen2.5-72B和Qwen3-235B这五种模型上优于基础模型，其优势值均不为零。这说明上下文表示方式能够揭示出基础模型所无法捕捉的易受影响程度。不过，这并不意味着基于表示的方法会比在相同上下文中直接测量复制行为更经济高效。
该行为层级对应的AUROC值在0.945到1.000之间。这一结果与半分法相关性分析一致：在某些情境下观察某个标记，即可预测由同一过程生成的其他情境下的其筛选标签。这体现了结果的重复性，但由于标签与特征共享同一复制任务及情境分布，因此在新的自然文本分布上的表现仍未经测量。这里的目标标签是概率筛选标签，而非经过独立验证的argmax误差标签。
几何预筛选可用于确定首先测试哪些内容，但现有资料并未显示在固定预算下能够实现高精度的发现。AUROC衡量的是排序效果，而非所选候选列表的精确度。要证明其实际发现能力，需要先确定固定的评分标准与参考集、互不重叠的候选项、用于验证的预算，还需将结果与随机选择、基于令牌ID的选择以及基于相同行为表现评估的现有检测器进行比较。
在生成与任务中能存活下来的因素
自由生成
自由生成探针用于检测模型在描述或回答内容时是否会保留输入的标记。OLMo运行时会要求提供确切的标识及解释，随后会添加前缀Let me think about this carefully.。其他配置则将标记单独放在聊天模板的用户轮次中。生成过程在达到256个标记时停止。由于框架不同，这些数值无法作为标准化的对比依据。
需要两种复制验证方法。一种方法是检查生成的ID中是否出现该种子ID，另一种方法是检查输出结果中是否出现解码后的种子字符串，即便分割方式不同也需查看。这两种方法都无法证明已正确识别或完整还原了所需的序列。在Qwen2.5-72B模型上，32个处于最恶劣隔离状态的种子中没有一个能以原始ID的形式出现，但有12个以字符串形式出现，因为像_ghost这样的种子可以用多个输出标记来表示。
在支持生成功能的情况下，五次对比中有四次候选字符串保留率低于对照组的比率，Qwen3-32B的比率则与对照组持平。Exact-ID的比率则没有那么一致：Qwen2.5-7B的比率与对照组持平，而Qwen3-32B中候选字符串在14次测试中有8次出现，对照组为14次中的7次。有时即使被错误识别，候选字符串仍可能再次出现。显然，这种脆弱性取决于具体任务，不存在绝对无法生成候选标记的情况。
作为单独生成测试中表现最差的32个样本而被选出的种子数据，不应被误认为是经过上下文筛选后出现的异常案例。通过教师强制检查，768个Flash-Next单元中有71%的预期标记出现概率至少为0.5，而Qwen3-235B单元中这一比例仅为0.1%。这种差异进一步证明了需要在相关上下文中验证参考集的实际表现。
对于这两种FP8混合模型，未进行自由生成、任务探针测试以及样本延续测试，因为评估流程每个生成的标记需要大约七秒的时间，且相关计算成本需自行承担。因此，其后续标记的观测结果不应被视为生成的推理轨迹。在Qwen2.5-72B模型上也未进行无候选词生成测试。
要求精确措辞的指令
有五种指令模板要求模型保持目标字符串的完整性：为Python函数命名、引用文档标题、返回列表项、纠正拼写以及在保留专有名词的情况下进行总结。每个类别、模型和任务各选取10个标记，这样每个类别就能产生50个测试案例，这些标记会通过聊天模板以编号形式输入。
主要评估指标是检查答案是否包含目标字符串，这一标准明显比任务正确性更为严格。它不考虑代码是否有效、函数名是否为合法标识符，也不关注摘要在其他方面的准确性。拼写任务还涉及规范化处理，因此其完成率取决于任务表述方式。
在所有五种配置下，候选方案的通过率都低于对照组。其中四种配置（OLMo-2-7B、Qwen3.8-27B以及两种Qwen3-32B模式）的剧集引导间隔不包含0值，只有Qwen2.5-7B是例外。粗略完成率始终保持在0.96到1.00之间，而字符串保留率则有所不同，因此看似已完成的任务并不能证明什么。每个标记会在不同任务中重复出现，这限制了各任务之间的独立性。
这些转录文本让这一差异变得具体可见。当被要求实现名为according的函数时，OLMo-2-7B会输出sum_list，并在拼写模板中将according改写为correct；若第二个列表项为NSLocalizedString，它则会返回LocalizableString。而在拼写任务中，Qwen3-32B会将realtà转换为reality。尽管指定内容发生了变化，任务形式在这些回答中依然保持不变。
模拟工具
该工具实验围绕目标术语设置了五项任务：查询配置键、撰写背景说明、建议是否采用某项技术、解释该术语以及检查版本信息。允许使用search、open_page和run_python最多进行六轮操作，每类任务各有10个令牌，因此每种配置下共有50个测试案例。
该环境与指定的令牌相连。输入该令牌的精确字符串可获取文档、版本说明和问题页面，而其他任何搜索都会返回无关内容或通用页面。这用于测试目标是否真的会触发工具调用，并未模拟真实搜索引擎中的检索失败情况。Qwen模型使用其自身的工具模板，而OLMo则采用文本协议，这进一步削弱了模型间的可比性。
在普通模式下，Qwen3-32B在96%的首次查询及最终答案中能够保持目标内容稳定，74%的首次查询及68%的最终答案中候选内容保持稳定，而在50个测试案例中没有任何案例出现故障参考目标的问题。有些回复在首次查询中的关键词消失或变化后，仍会继续使用通用的检索材料。
在Qwen3.8-27B上，首次查询时的对比情况类似，但内容补全的表现则有所不同。在普通模式下，仅有14%的故障案例能在规定轮次内完成，而稳定对照组的比例为66%，候选组的比例为58%；同时，相同工具调用的重复出现比例分别为28%、10%和14%。思维模式会改变这些比例以及稳定的基准水平。因此，是否丢失目标最终会导致生成通用的完成答案或重复使用工具，这取决于配置设置。
这些数据并未表明存在对特定检索结果的广泛篡改现象。在每种类别和配置中，伪造的版本号出现比例仅为0.00至0.02，且在故障相关组与控制相关组中都存在零星的非零值。更为明显的问题是查询或答案中丢失了实际目标内容。所选的标记集、重复使用的模板以及构建的环境都限制了该技术向能够执行自然任务的自主系统推广。
自然名称方面的负面结果
另一项实验使用了日常材料：在一项自然任务中出现了1,255个真实的代码标识符和专有名词。在控制了这些标识符的稀有度、构成要素的独立性评分以及模型对整个实体的预测概率后，分析其组成标记的脆弱性并未能提升对错误实体名称的预测能力。AUROC值变化了-0.001，95%置信区间为-0.008至+0.006。
这限制了将合成研究结果应用于实践的程度。现有证据并未表明上下文得分能比现有预测因子更好地解释自然实体名称错误，也未显示稀有性会导致这两种结果，更不能排除标记脆弱性与幻觉之间的所有可能关联。因此可以得出的结论是，该实验并未发现额外的预测能力。
辅助分析
标记对
一项因子复制实验旨在探究标记对是否比其单独存在时会造成更大的影响。载体在间距为2、4、8、16、32、64和128的位置上各有两个独立填充位。每对有序标记会以四种方式进行处理：两个目标都存在、仅其中一个目标与对照项相邻、以及仅使用对照项。交互作用对比值即为联合得分减去两个单目标得分再加上对照项得分。
该方法在每个载体内采用加性模型，对残差进行标准化处理，在载体内部进行重排，并在 q = 0.05 的水平上应用 Benjamini-Hochberg 修正（Benjamini 和 Hochberg，1995）。其计数标准是根据20个交互作用完全为加性的模拟数据集所得的95百分位数来确定被拒绝的对数。没有任何一个模型组合通过检验：OLMo模型组合在4,032对数据中对1对进行拒绝，Qwen3-32B在1,190对数据中对13对进行拒绝，而Qwen3-235B在2,256对数据中对1对进行拒绝。
这并不意味着没有交互作用。对于OLMo池和Qwen3-32B而言，最大统计量检验具有显著性，而Qwen3-235B的p值为0.059。由于这些标准考察了交互分布的不同方面，因此两者都被纳入报告。重复标记对比的平均值为正，表明这些模型存在促进作用：OLMo在间隔为2时为+0.005，在间隔为128时为+0.018。但这些结果并未显示出普遍的加性特征，也没有证据表明不存在罕见的有害组合或基于诱导的机制，而且正值可能会掩盖某些单对模型之间的负向交互作用。
在混合池中，5个OLMo标记导致了47%的失败模型，5个Qwen3-32B标记则导致了57%的失败模型。这种集中现象使得从标记层面分析敏感性成为一种有用的总结方式，不过那些在填充词中不会重复出现的失败案例则表明这种总结并非完全不受上下文影响。
其身份特征还存在吗？
在Pythia-1.4B实验中，36个经过验证的故障标记与1,088个对照标记分别被置于八个上下文的末尾（Biderman等人，2023年，对该模型进行了描述）。在每一层中，模型都会在减去每个上下文内部共有的成分后，从1,124个候选项中寻找与某个标记的上下文状态相匹配的状态。从嵌入层到第12层，故障标记的匹配度为100%，而对照标记的匹配度则在0.988到1.000之间。到了最顶层，匹配度则下降到0.880和0.874。由此可见，仍有大量身份信息可以被恢复。另一个logit-lens示例也表明，与重新生成输入标记相比，继续使用故障标记depress后跟ant更为合理。
可恢复性并非故障的因果定位因素。该实验无法证明复制过程使用了可恢复的信息，也无法证明身份信息被完美保留，或是仅有输出层存在问题；此外，它研究的是独立标记的Pythia故障标记，而非那八个模型候选版本。要区分由不良读出导致的故障与基于上下文的竞争现象，需要借助因果干预手段。
证据的支持范围及其局限性
核心发现是孤立复制成功率与上下文敏感性之间存在可重复的差异。共享数据库使得无需为每个标记寻找对抗性上下文即可估算其倾向性。解码示例表明某些差异属于字面复制错误，而任务实验则显示某些候选对象在脱离复制模板后会失去原有特征。嵌入关联将这类现象与早期的故障标记研究联系起来，但其不均衡的附加价值使得无法将几何结构视为完整的解释依据或可靠的检测方法。
若干限制因素决定了该研究的范围。
- 概率分类法。候选项是通过概率阈值来确定的，而该阈值与实际解码错误之间的关联仅是部分的。在严格条件及经过检验的延续情况下得到的结果虽能增强论据，但无法替代针对整个数据集的argmax分析；更为准确的普遍性估计必须考虑每个单元的孤立结果及其上下文输出的一致性。
- 人工载体。词表载体是人为设计的，模型特定的框架会影响测量结果。直接插入标识符虽能确定目标的身份，但可能会生成分词器不会产生的输入。字符串任务能提供一定帮助，而在现有控制条件下，最有力的自然实体测试结果为阴性。这些均不能作为将普遍性推广到日常文本或把得分视为无上下文标记属性的依据。
最直接的下一步是提前解决四个问题（隔离测试、候选项得分、参考构建以及上下文分布），然后在独立数据上进行测试。除了概率分数外，还需报告目标位置的argmax误差、全序列复制准确率以及精确字符串保留率，这样才能将筛选灵敏度与人们可观察到的失败情况联系起来。在固定的验证预算下，精确度和召回率比单纯的回顾性AUROC更能体现发现的可靠性。
复现所需的条件
要进行复制，需要修改模型和分词器，确定采样后的令牌ID、包含插入位置的完整上下文ID、提示词框架、阈值、数值精度及评分代码，此外还需运行特定的矩阵与环境元数据。权重则绝不可更改。投影图还需要绘制出的ID、类别掩码、嵌入预处理参数、UMAP参数及种子值，且生成覆盖率仅限于明确说明的配置。
不同分析得出的候选项数量有所差异。筛选总结显示Qwen2.5-7B、Qwen2.5-72B和Qwen3-235B的候选项数分别为296、418和684，附录中则为294、417和682，每种分析都保留自己的数据。半库预测的候选项数又有所不同，因为其标签使用了其他上下文。要完全填补剩余的差异，就需要令牌清单和排除掩码。
记录的实验方案在过程中进行了修改：隔离门、样本大小、可打印种子过滤器以及字符串级评分标准均发生了变化。采样是依据嵌入行数来进行的，因此填充操作可以降低Qwen2.5与Qwen3样本之间的ID重叠率，而Qwen2.5内部的匹配ID缩放机制从未经过测试。这些选择属于实验规范的一部分，限制了跨模型读取的可能性。
提示词模板与测试用例
上文使用的简短标签省略了指令和量化后缀。具体的检查点版本、分词器版本、加载器改动以及环境版本信息应记录在运行清单中。
复制模板以一条简短的指令开头：
Repeat the text exactly.
接下来是两对示范内容以及最终的文本填充位置。最终复制的前缀由教师指定，目标概率则在其复制位置处显示。原始模板中用尖括号标出的内容为实验性插入内容，并非实际的提示文本：
Text: apple pie is goodCopy: apple pie is goodText: the quick brown foxCopy: the quick brown foxText: <context containing the target ID>Copy: <teacher-forced expected prefix>
为便于隔离，最终文本槽仅包含目标ID。在Qwen3.8中，指令、示例以及最终文本均位于用户轮次，复制标记标志着助手轮次的开始，此时思考功能处于关闭状态。分词后的分隔符属于运行规范的一部分，因为解码后的提示字符串无法完全确定ID序列。
OLMo识别提示会询问该标记是什么，以便准确识别它，随后逐步解释其含义：
What is this token? Identify it exactly, then explain step by step what it means: <target ID>
助手的前缀为 让我仔细思考一下。 分开的纯标记探针会将目标置于每个模型模板下的用户回合中，而普通模式与思考模式则被视为不同的配置。重现是指在输出中的任何出现情况，会通过精确的标识符以及解码后的字符串分别进行评分，且无需正确的解释。
进一步筛选与几何细节
不同模型的参考集大小各不相同，Flash-Next为36个标记，OLMo-2-7B为442个，大多数Qwen模型为100个，而Qwen3.8-27B则为50个。一项辅助诊断会统计这100个最差的孤立标记中有多少个的上下文得分也达到0.90或更高，这一数值在Flash-Next中为36，而在Qwen3-32B中则高达78。由于这些统计来自不同的筛选步骤，仅凭它们无法重新构建完整的参考集，因此在进行任何复现时都必须附带完整的负类掩码。
在OLMo中，来自独立标记的参考数据以及来自经过上下文筛选的无标记参考数据的方向得分的AUROC值均为0.879，而未经筛选的100个最差的孤立标记的该值为0.642。由此可见，参考集的构建是该方法中不可或缺的实证部分，而非可随意替换的细节。
严格筛选后的OLMo预测分析共有28个阳性半银行标签。静态特征的AUROC值为0.911，而表面特征的AUROC值为0.711，前者比后者高出0.202，增幅区间为+0.096至+0.320；不过这是针对不同筛选群体进行的敏感性分析。从现有的总结中无法解决自举法计算结果与经调整后的AUROC值之间的细微差异问题。
存储的故障样本的熵值是基于选定的最差单元格得出的，并非来自标志或错误的随机样本，这些熵值反映了目标位置的分布情况。OLMo则没有对应的总结数据。
生成流程与任务协议详解
在纯文本模式生成中，经过种子过滤后，Qwen3-1.7B有31个候选项，Qwen3-32B有14个候选项；而OLMo候选项生成采用的是原始标记框架，这与指令识别实验不同。在指令识别实验中，32个样本中没有通过ID复现出任何已验证的故障标记，而对照组中有17个、候选项中有11个出现了此类标记，因此提示词的变化会改变这些数值，其解释权属于相关研究团队。
与对照组相比，这些轨迹的熵值并未上升：故障组与对照组的熵值差从+0.27比特（第8步）开始，到-0.29比特（第255步）结束。两组的最终状态成对余弦值均趋向于零，因此不存在共享的最终状态吸引子。最差隔离种子是通过带可打印字符串过滤器的隔离性能来选定的，它们不一定是几何参考类。在记录了字符串的案例中，样本量很小：在Qwen3-1.7B模型及OLMo运行环境中，各有8个种子和8个对照组。
在每一个简单指令模板中，占位符接收的是目标令牌ID，而非重新分词后的插值字符串。这五种模板如下：
- 函数命名：编写一个与对应令牌名称完全相同的Python函数，该函数仅返回一组数字的总和，仅包含代码。
- 标题引用：用双引号标注文档标题，仅此而已，标题需说明该代币及相关事项。
- 列表提取：在包含灯笼、代币、港口和指南针的编号列表中，仅列出第二个项目。
- 拼写修正：修正关于在周五前提交代币表格的句子中的错误，或保持原样不变。
- 总结：总结一次委员会会议，会上代币方提交的预算未作更改，专有名词需按原文保留。
某些模板要求精确的命名方式，而拼写任务允许修正，因此需逐项对比。每节课共有十个单元。
工具任务要求如下：
- 配置说明：通过文档检索、页面阅读和快速检查，用两到三句话说明该服务为何忽略通过环境变量设置的配置键。
- 背景介绍：为新手准备的80字以内的说明，包含定义、两个事实及引用页面。
- 使用建议：基于工具分析给出的采用、试用或避免使用该令牌的建议，附有两个理由。
- 含义解释：向英语读者解释该术语的含义及其来源，并提供一个例句。
- 版本更新：用一句话说明最新版本是否改变了默认配置，并给出肯定或否定的答案。
在模拟环境中，包含目标字符串的查询会返回三个有用的结果，即文档、2.4.1版本的发布说明以及一个未解决的问题，而其他查询则只会返回普通页面。这些页面能够正常打开，且库检测功能会报告对应的版本信息。这些只是实验用的测试数据，与实际使用中涉及这些字符串的库无关。如果在六轮内就能得到最终答案，则测试结束；如果出现相同的查询结果，则需要重复测试；如果在没有工具支持的情况下仍能报出版本号，则视为版本信息伪造。一轮测试中可能包含多次查询。
在Qwen3.8-27B的两种模式下，属于“故障类”的目标在第一次查询时的存活率为0.02，而在其他四种配置下的存活率为0.00；在最终答案中，Qwen3.8-27B普通模式的存活率为0.02，其他模式的存活率为0.00。这些比率衡量的是词汇包含情况，而非真实性。
相关阅读
- 实用笔记：什么是检索增强生成（RAG）？实战指南 — 为采用该模式的团队提供的实用笔记：检索增强生成（RAG）？实战指南的详细操作步骤，包括相关契约、检查项以及可直接使用的代码模板。
- RAG中的重排序技术：交叉编码器与LLM评估器的对比及延迟问题 — 第二阶段重排序器如何解决RAG中的候选项排序问题，同时对比交叉编码器与LLM评估器的优劣、延迟成本、故障模式以及评估方法。