实现两个本地大语言模型智能体进行辩论:依据构建、虚假共识现象及模式错误。
在Ollama上运行的两个本地大语言模型智能体通过证据而非角色设定进行辩论:自然语言理解基础、虚假共识漏洞、攻击与断言检测以及必填字段。
来源: Two agents talking, and how to tell whether the conversation is real
在 Ollama 环境下,使用 qwen2.5:7b 模型并依托单块 RTX 3060 Ti(8 GB)显卡进行的这项实验旨在探讨两个本地智能体是否能够进行有意义的对话,以及如何判断这一点。它基于之前的研究结果:同一个模型的两个实例并不代表两种不同的观点。有一位批评者将权重、先验条件及故障模式分享给了研究人员,却毫无异议地接受了研究人员的幻觉结果。
尽管如此,尝试构建双智能体对话仍然是值得的,因为之前的结论存在遗漏。同一个模型的两个副本在判断上可能一致,但如果各自掌握的事实不同,那么在事实认知上就会出现差异。
差异源于信息,而非性格
让不同角色产生差异的常见方法是为他们设定不同的角色定位:乐观派、怀疑派、提议者、批评者。这种效果早已被测量过。要求批评者保持怀疑态度后,他们对13项研究结果的认可率从13项全认可降为5项全标记有问题,这不过是换了个说法后的相同一致行为罢了。
因此,这种不对称性必定是结构性的:
Agent A → read sources 1, 2. Cannot see sources 3, 4.
Agent B → read sources 3, 4. Cannot see sources 1, 2.
第一个智能体的问题确实是真实的,因为它不知道答案,而第二个智能体的回复则包含了第一个智能体未曾见过的真实信息。两者之间的共识也具有重要意义,因为它涉及两组不同的证据。提示词无法伪造这一点,每个上下文窗口中的内容都会确保其真实性。
全部失败的流畅回复
第一次运行产生了六条流畅、切题且表述严谨的回复,但基础验证却将它们全部拒收:
✗ A [answer] does not follow from its evidence (nli=0.03)
Our sources indicate that AI Agents are specialized, tool-enhanced
systems leveraging foundation models...
然而,该句子几乎原封不动地出现在了那个智能体的证据中。蕴含模型依然给它打了0.03分。问题出在输入的内容上。NLI需要一个简洁的命题作为假设,而输入的内容却是诸如“我们的消息来源表明……”或“根据我们的消息来源,我们提议……”这类冗长的表述。这类修饰语在引用的原始文本中根本不存在,因此得分才会如此之低。
早期关于提取研究结果的尝试并未遇到这个问题,因为那时只是从论文中摘取简单的句子作为主张。但对话则不同,参与对话的双方需求截然相反:对话方希望得到自然的对话内容,而检查方则需要结构化的文本。将信息拆分为两个字段便解决了这个问题。content部分发送给另一方智能体,而claim部分则是一个没有额外修饰的简单陈述句,也只有它会被进行评分。
| 字段 | 文本 | 蕴含度 |
|---|---|---|
content | 经过缓和处理的、以对话形式表达的观点 | 0.03 |
claim | 直接陈述人工智能代理是经过工具强化的专业系统 | 0.93 |
模型并未发生变化,只是对错误的字符串进行了评分。
无人达成的共识
在那些六条消息被拒绝的同时,系统在对话结束时输出了以下内容:
🤝 CONSENSUS (6 messages, 0 questions, 0 concessions)
AI memory architectures are evolving towards unified context layers...
由于每条输入内容都未能通过证据验证,因此没有生成任何结论,但系统仍宣称已有可放入报告的可靠共识。
问题出在程序逻辑上。共识生成步骤会读取对话记录,但transcript()方法只筛选出了有依据的发言内容。结果它得到的只是空对话记录,便仅依据原始引文就写出了结论,并将其标为两位研究人员达成一致的内容。
对于这样的系统而言,这是最恶劣的一类错误。既不会导致程序崩溃,也不会出现功能失效。输出结果看似正常、整洁,但却呈现出虚假的历史记录。项目中的其他故障都会引发警报,而这种错误却被当作成功处理。只需三行代码就能修复它:当没有消息在事实验证中存活时,将converged强制设置为假值,并输出失败原因。比补丁更重要的教训在于,关于流程的陈述与关于事实的陈述需要同样的验证,因为“各智能体达成一致”这种描述只是对现实的陈述,同样需要证据支撑。
矛盾问题的讨论
还有一个独立的讨论层用于处理两个来源之间的矛盾,每个智能体只能依据自身的数据为某一方辩护。前八个论点都未能通过事实验证。
发言人的引文并未提及人工智能记忆系统的发展情况,也未谈到智能体之间协作的可能性。
显然,这无法从发言人自身的证据中推断出来,因为那些证据描述的是对方的观点。反驳是基于错误的前提进行的,这属于检测系统内的类别错误。反驳与断言属于不同的言语行为,因此需要不同的测试标准:
- 断言必须能够从发言人的引文中推断出来,通过自然语言理解能力来衡量。
- 反驳必须针对对方的具体主张,其衡量标准是词汇重叠度而非逻辑蕴含关系。
既没有基于事实的断言也没有有针对性的反驳的论点仍会被排除。现在,说“你的证据无法证明X”已属于有效回应,而非自动判定失败的理由。
主题的选择并非基于模型。每对研究结果都会经过自然语言推理测试,那些矛盾概率较高的配对会引发辩论。在0.5的阈值下,有一对结果的反矛盾概率为0.517:一个是关于人工智能代理是经过工具强化的专用系统的说法,另一个则是关于记忆系统正朝着统一的上下文层发展的观点。这两者涉及完全不同的主题。还有两个代理就根本不存在的矛盾进行了四轮争论,而这正是该机制本应避免的情况。
当阈值提高到0.7时,该机制在该主题上不再有反应,四篇关于代理记忆的论文之间均未发现任何冲突。这其实是正确的,因为这些论文彼此之间并不矛盾。一个没有争议可言的辩论系统也在正常履行其功能。
不存在可选字段
新的claim字段最初为可选字段,默认值为"",模型会忽略该字段。所有六条消息都退化为普通对话文本,导致性能下降。这是同一错误第四次出现:
| 阶段 | 模式选择 | 结果 |
|---|---|---|
| 基准解析 | default_factory=list | 空的{}仍被视为有效解析结果 |
| 评价输出 | 该字段被标记为required,但空字符串仍被接受 | 约30%的评价结果为空 |
| 带默认值的列表 | 模型输出[] | 有八条评价结果消失 |
对话中的claim字段 | default="" |
结论是:可选字段实际上每次都相当于不存在。要让小型模型生成输出,架构必须拒绝缺少该字段的结果。
需要两种架构,因为问题不能包含断言,而陈述必须包含。根据对话需求选择其中一种:需要提问时使用Question,否则使用Statement,此时claim和grounded_in都是必填项。问题的格式如下:
❓ A: Could you provide more details on how multi-agent systems differ
from single-agent implementations, according to your sources?
以下是这一轮的答案:
✗ B: "Your sources do not directly compare multi-agent systems to
single-agent implementations." → rejected (nli=0.051)💡 A: Multi-agent systems often require more sophisticated memory
architectures and coordination protocols. (nli=0.985)💡 B: AI memory systems are evolving toward unified context layers for
efficient cross-agent collaboration. (nli=0.998)📋 A: [proposes joint conclusion] (nli=0.982)
📋 B: [proposes joint conclusion] (nli=0.540)🤝 CONSENSUS (6 messages, 1 question, 5 grounded)
六条消息中有五条被判定为不可靠。那条被拒绝的消息很有启发性。第二个智能体试图描述第一个智能体的信息来源,但它根本看不到这些来源。可靠性检查发现了这一点,并非因为对认知论的深刻理解,而是因为一个智能体的资料无法推导出另一个智能体的结论。
早先的一次测试效果更好。当被要求提供缺失的具体信息时,第二个智能体承认其资料中没有相关内容,系统随即指出不存在共识,并给出了准确原因:两个资料来源均未提供所需的示例。这正是设计之初的目标——让智能体意识到自己的无知。要求它表现出谦逊的提示并未达到效果,而禁止其做出无依据的陈述则做到了。
成本
在3060 Ti上,一次轮次需要138次LLM调用,每次大约耗时2秒。其中对话部分占7次,辩论部分占5次,综合处理约占12次,其余用于信息提取与批判分析。系统虽然可以运行,但预算已成为限制因素,而非性能问题。
经验教训
- 根据信息差异调整。不同的上下文会产生不同的问题,而不同的指令则会让同一模型以不同形式出现。
- 将对话与可量化的陈述分开。一个字段用于其他智能体,另一个用于检查器,单一字符串无法同时满足两者需求。
- 验证流程中的陈述。“他们达成了共识”这一说法需要证据支持,缺乏证据使其成为系统有史以来产生的最危险的输出。
这些方法是否比单个拥有搜索工具的智能体更优,目前尚无定论。