实用提示：MTG Bench——为何要在《万智牌》上测试大语言模型

以下笔记梳理了围绕“MTG Bench：为何在《万智牌》上测试大语言模型是对工具使用智能体的严峻现实考验”这一主题的实用路径。重点在于契约、校验以及可直接插入的代码占位符，而非动机性阐述。

当你的LLM智能体连纸牌游戏都玩不好时：关于工具调用一致性的残酷真相

在处理“当你的LLM智能体”这一阶段时，首先需明确契约：所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 将这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名，定义成功校验标准，并杜绝无声的半完成状态。 缓存稳定的系统指令和工具结构。重复发送相同的开头信息是导致资源浪费的常见原因。

核心问题：为何选择纸牌游戏？

在处理“核心问题：为何”这一阶段时，首先需列出相关约定：所需的输入参数、成功标志，以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及代币或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。 缓存稳定的系统指令和工具结构。重复发送相同的开头信息是导致资源浪费的常见原因。

幕后机制：这是代理架构，而非游戏机器人

在“深入内部”阶段工作时，首先写下接口契约：所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中于一个位置，这样操作人员无需查看整个系统结构即可进行审计。 缓存稳定的系统指令和工具架构。重复发送相同的开头信息是导致资源浪费的常见原因。

graph TD
    A[Game State] --> B{LLM Reasoning}
    B --> C[Tool: PlayLand]
    B --> D[Tool: CastSpell]
    B --> E[Tool: Attack]
    B --> F[Tool: PassPriority]

    C --> G[Lightweight Rule Enforcer]
    D --> G
    E --> G
    F --> G    G -->|Valid| A
    G -->|Invalid| B

现实中的故障：社区所遇到的问题

在处理“现实世界中的故障场景”时，首先需明确合同条款：所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 同时记录正常流程与恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的组成部分，而非后续需要补充的功能。 缓存稳定的系统指令和工具架构。重复发送相同的报文头是导致资源浪费的常见原因。

1. 工具调用矛盾

在处理“1 工具调用矛盾”阶段时，首先需写下契约：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 优先选择小型、可测试的单元，而非庞大的脚本。当某一步骤失败时，故障应指向单一责任点，而非复杂的流程链。 缓存稳定的系统指令和工具架构。重复发送相同的开头信息是导致资源浪费的常见原因。 在处理“1 工具调用矛盾”阶段时，首先需写下契约：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。

2. 状态回溯

将“两状态回溯”阶段视为可度量的对象来处理时，其效果最佳。在扩大范围之前，先记录一个成功的示例、一个失败案例以及回滚说明。 应将配置置于应用程序代码之外。环境文件、密钥存储和功能标志应集中存放于一个位置，这样操作人员无需查看整个系统结构即可进行审计。 为每轮及每次会话设定令牌预算。智能工具往往会过度扩展上下文；设置上限可避免演示过程变成意外的费用账单。

3. 规则幻觉

将“3条规则幻觉阶段”视为可测量的指标来处理效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。同时记录正常流程和恢复流程的文档。重试机制、人工审核环节以及死信处理都是产品本身的一部分，而非后续需要补充的内容。为每轮对话和每次会话设定token预算。智能工具会大量消耗上下文，设置上限可以避免演示过程变成意外的费用账单。

来自HN的社区反馈

将 HN 阶段的社区情绪视为可测量的指标时效果最佳。在扩大范围之前，先记录一份理想的示例文本、一个故障案例以及回滚说明。 相较于庞大的脚本，应优先选择小型且可测试的单元。当某个步骤出现故障时，故障点应指向单一责任主体，而非复杂的流程链。 需为每轮对话和每次会话设定代币预算。智能代理工具会大量消耗上下文资源，设置上限可避免演示过程变成意外的费用账单。 将 HN 阶段的社区情绪视为可测量的指标时效果最佳。在扩大范围之前，先记录一份理想的示例文本、一个故障案例以及回滚说明。 除了功能结果外，还需记录执行时间以及代币或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外账单。

技术对比：MTG Bench 与其他智能代理基准测试

在技术对比的MTG Bench阶段，修改代码之前需明确输入内容、各步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置，以便操作人员无需查看整个系统结构即可进行审计。 当后续步骤为代码调用或工具调用时，优先使用具有架构验证的结构化输出，而非自由形式的文本。

工程经验：如何构建更优秀的智能体

在编写工程课程时，应教导如何在修改代码之前规划流程、明确输入参数、指定各步骤的负责人以及设定退出标准。操作人员应能够从已知的检查点重新执行相应步骤，而无需猜测隐藏状态。 需同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及错误处理措施都是产品本身的组成部分，而非后续需要补充的内容。 当下一步操作为代码编写或工具调用时，应优先使用具有结构化格式且经过模式验证的输出，而非自由形式的文字描述。

1. 内存并非提示工具

在“1 Memory is Not”阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止条件。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 相较于冗长的脚本，更应采用小型、可测试的单元。当某一步骤失败时，故障原因应能指向单一责任主体，而非复杂的流程链。 若后续步骤为代码或工具调用，应优先使用具有结构化格式且经过模式验证的输出，而非自由形式的文字描述。 在“1 Memory is Not”阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止条件。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 除了功能结果外，还需记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在流程从演示环境转向共享环境时出现意外费用。

# Pseudo-code for state management
class StateManager:
    def __init__(self, redis_client):
        self.redis = redis_client

    def set_state(self, session_id, state_dict):
        # Store only key state: current phase, hand, mana
        self.redis.hset(f"session:{session_id}", mapping=state_dict)    def get_state(self, session_id):
        return self.redis.hgetall(f"session:{session_id}")    def get_prompt_context(self, session_id):
        state = self.get_state(session_id)
        # Generate a concise summary
        return f"Current Phase: {state['phase']}, Your Hand: {state['hand']}, Mana: {state['mana']}"

2. 工具调用需要采用“确认提交”模式

在处理“工具调用需求”这一阶段时，首先需明确相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 应将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中管理，以便操作人员无需查看整个系统结构即可进行审计。 需缓存稳定的系统指令和工具架构。重复发送相同的开头信息是导致资源浪费的常见原因。

3. 规则引擎是安全网，而非依赖工具

在处理3A规则引擎的各个阶段时，首先需明确合同规范：所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的组成部分，而非后续需要补充的功能。 缓存系统中稳定的指令和工具架构。重复发送相同的报文头是导致资源浪费的常见原因。

运行MTG基准测试：一个具体示例

在处理 Running MTG Bench A 阶段时，首先需明确相关规范：所需的输入参数、成功标志以及部分失败时的处理方式。这份清单能确保后续的代码修改始终符合预期。 建议采用小型、可测试的单元而非庞大的脚本。当某个步骤失败时，故障应能指向单一责任模块，而非复杂的流程链。 缓存系统中稳定的指令及工具结构。重复发送相同的开头信息是导致资源浪费的常见原因。 在处理 Running MTG Bench A 阶段时，首先需明确相关规范：所需的输入参数、成功标志以及部分失败时的处理方式。这份清单能确保后续的代码修改始终符合预期。 在功能结果旁记录执行时间以及代币或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。

# config.yaml example
model:
  provider: "openai"
  name: "gpt-4o-mini"
  temperature: 0.1

game:
  num_games: 10
  max_turns: 50evaluation:
  track_illegal_actions: True
  output_log: "./results/log.json"

常见问题：您需要了解的信息

在将“您需要了解的内容”这一常见问题模块视为可量化指标时，其效果最佳。在扩大范围之前，先收集一份优秀的操作记录、一个故障案例以及回滚说明。 请将配置信息置于应用程序代码之外。环境文件、密钥存储和功能开关应集中存放于一个位置，这样操作人员无需查看整个系统结构即可进行审计。 为每轮对话和每次会话设定预算令牌限制。智能工具往往会大量消耗上下文资源，设置上限可避免演示过程突然产生额外费用。

有办法与人工智能对战《万智牌》吗？

将“是否存在可行方案”这一阶段视为可度量的指标时，其效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。同时记录正常流程与恢复流程。重试机制、人工审核环节以及错误处理都是产品本身的一部分，而非后续需要补充的内容。为每轮对话和每次会话设定token预算。智能工具会大量消耗上下文资源，设置上限可避免演示过程变成意外的费用账单。

玩《万智牌》对大脑有益吗？

“The Is playing MTG good stage”这一框架在被视为可度量的对象时效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。 相较于庞大的脚本，应优先选择小型且可测试的单元。当某个步骤出现故障时，故障原因应能明确指向某个具体的责任方，而非复杂的流程链。 为每轮及每次会话设定代币预算。智能工具往往会过度扩展上下文，设置上限可避免演示过程变成意外的费用账单。 “The Is playing MTG good stage”这一框架在被视为可度量的对象时效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。 在功能结果旁记录执行时间以及代币或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外账单。

MTG是最复杂的游戏吗？

在将某操作定义为最关键的步骤之前，需先明确输入参数、该步骤的负责人以及结束标准，然后再修改代码。操作人员应能够从已知的检查点重新执行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能开关都应集中存放于一个位置，这样操作人员无需查看整个系统结构即可进行审核。 当下一步操作是代码执行或工具调用时，应优先使用具有架构验证的结构化输出，而非自由形式的文本描述。

Is MTG 很难操作吗？

对于那些难以实现的 MTG 流程，应在修改代码之前明确输入参数、各步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的内容。 当下一步操作是代码执行或工具调用时，应优先使用具有结构化格式且经过模式验证的输出，而非自由形式的文本描述。

最后的思考：游戏只是干扰因素

在“最终思考：游戏”阶段，修改代码之前应先明确输入参数、该步骤的负责人以及退出标准。操作人员应当能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。相比冗长的脚本，更应选择小型且易于测试的单元。当某个步骤失败时，故障原因应能指向单一责任主体，而非复杂的流程链。如果后续步骤是代码调用或工具调用，相比自由形式的文字描述，带有结构化格式及模式验证的输出更为合适。在“最终思考：游戏”阶段，修改代码之前应先明确输入参数、该步骤的负责人以及退出标准。操作人员应当能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还应记录执行时间以及令牌或查询成本。提前了解这些成本信息，可避免在流程从演示环境转向共享环境时出现意外费用。

操作检查清单

在操作检查清单阶段，应在修改代码之前明确输入内容、各步骤的负责人以及完成标准。操作人员应能够从已知的检查点重新执行相应步骤，而无需猜测隐藏状态。

将此阶段视为输入与已验证输出之间的契约。为相关成果命名，明确成功判定标准，杜绝默许的半完成状态。

当下一步操作为代码编写或工具调用时，优先使用具有结构化格式且经过模式验证的输出，而非自由形式的文本。

需为每次工具调用记录工具名称、参数哈希值、执行延迟及结果。若没有这些记录，调试过程将会浪费大量时间。

保持图结构的状态简洁且具有类型定义。嵌套的数据块会掩盖哪个节点编写了哪个字段的信息，还会在操作中断后导致无法继续执行。

只要预算允许，就应在持续集成过程中加入使用测试用例而非真实付费 API 的烟雾测试，以验证关键路径的功能。

在推广该技术栈之前，应冻结版本、为关键路径生成标准测试记录，并明确回滚步骤。共享环境需要设置速率限制、租户验证机制，以及负责密钥轮换的明确责任人。与其追求华丽的临时演示，不如注重扎实的稳定性。

关于 8966382702ef 的批量说明：请将服务提供商密钥存放在仓库之外，为每个会话设置令牌使用上限，并将测试记录与评估用例一起保存，以便后续模型更换时仍能保持对比性。