首页 / 文章 / 实用笔记:我开发了一个AI文档修复工具。以下是它所有骗人的手段。

实用笔记:我开发了一个AI文档修复工具。以下是它所有骗人的手段。

《实用笔记》操作指南:我打造了一个AI文档修复工具。以下是它欺骗用户的各种方式:合同、支票,以及供采用该模式的团队使用的代码插入位。

1489 词

可将此内容视为对“我开发了一个AI文档修复工具。以下是它最初自我欺骗的种种方式。”中理念面向操作员的优化版本:清晰的阶段划分、有序的代码模块,以及能在交接时保留的恢复说明。 将“概览”阶段视为可量化的界面使用效果最佳。在扩大范围之前,先记录一份理想的操作日志、一个故障案例以及回滚说明。 将配置信息与应用程序代码分开。环境文件、密钥存储和功能开关应集中存放于一个位置,以便操作员无需查看整个系统结构即可进行审核。

- print(tqdm.__version__, sys.version, sys.platform)
+ print(tqdm.__version__, sys.version, sys.platform)

各部分如何协同工作

在“如何整合”阶段,应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理都是产品本身的组成部分,而非后续需要补充的内容。 对于涉及资金支出或修改生产数据的操作,必须经过人工审批。编译时的连接方式并不等同于业务功能的完整性。

第一轮:tqdm——那个并未解决任何问题的修复方案

在第一轮的 tqdm 阶段中,应在修改代码之前明确输入参数、各步骤的负责人以及退出标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。相比庞大的脚本,更应优先使用小型且可测试的单元。当某个步骤失败时,故障原因应能指向单一责任主体,而非复杂的流程链。对于涉及资金支出或修改生产数据的操作,必须经过人工审批。编译时的逻辑连接并不等同于业务功能的完整性。

Found 9 Markdown file(s). Starting audit...

Auditing: .github\ISSUE_TEMPLATE\bug.md
  Generating repair for snippet #1
  Verifying generated repair for snippet #1
  Publishing verified repair(s)...
  VERIFIED REPAIR: Branch published
- print(tqdm.__version__, sys.version, sys.platform)
+ print(tqdm.__version__, sys.version, sys.platform)

第二轮:重复出现六次的故障

在第二轮中,需先点击对应阶段,明确输入参数、该步骤的负责人以及结束标准,然后再进行代码修改。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 应将此阶段视为输入与验证后输出之间的契约。为相关成果命名,设定成功检测标准,并拒绝默许的半完成状态。 对于涉及资金支出或修改生产数据的操作,必须经过人工审批。编译时的连接关系并不等同于业务上的完整性。 在第二轮中,需先点击对应阶段,明确输入参数、该步骤的负责人以及结束标准,然后再进行代码修改。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 应将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置,以便操作人员无需查看整个系统结构即可进行审计。

Auditing: docs\advanced.md
  Generating repair for snippet #2
  Verifying generated repair for snippet #2
  [Reflection Loop 2/3] Revising repair for snippet #2
  ...
  [Reflection Loop 3/3] Revising repair for snippet #3
  NOT PUBLISHED: Generated repair failed verification:
    ModuleNotFoundError: No module named 'click'

寻找根本原因——使用 Docker 手动操作

在处理“寻找根本原因”这一阶段时,首先需明确相关要求:所需的输入参数、成功标志,以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改不会偏离原有方向。 同时记录正常流程与故障恢复流程。重试机制、人工审核环节以及错误消息处理都是产品功能的一部分,而非后续需要补充的内容。 在成本较高的操作之后设置检查点。当操作员重新尝试某个节点时,恢复流程不应再次调用相同的大型语言模型。

command.extend(["-v", f"{project_dir}:/workspace", "-w", "/workspace", "-e", "PYTHONPATH=/workspace"])
docker run --rm -v "C:\temp\click_test:/workspace" -w /workspace -e PYTHONPATH=/workspace python:3.10-slim python -c "import click"
# ModuleNotFoundError: No module named 'click'

docker run --rm -v "C:\temp\click_test:/workspace" -w /workspace -e PYTHONPATH=/workspace/src python:3.10-slim python -c "import click; print(click.__version__)"
# import works... but:
# importlib.metadata.PackageNotFoundError: No package metadata was found for click

解决方案:停止猜测,让 pip 自动完成工作

在完成“停止猜测并找到解决方案”这一阶段时,首先写下相关契约:所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 优先选择小型、可测试的单元,而非庞大的脚本。当某个步骤失败时,故障应指向单一的责任模块,而非复杂的流程链。 在成本较高的步骤之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次调用相同的大型语言模型。

应用修复后重新运行点击操作

在处理与阶段的“重新运行”功能时,首先需明确相关契约:所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 将此阶段视为输入与验证后输出之间的契约。为相关产物命名,定义成功判定标准,并杜绝无声的半完成状态。 在耗时较高的步骤之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次调用相同的大型语言模型。 在处理与阶段的“重新运行”功能时,首先需明确相关契约:所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 将配置信息置于应用程序代码之外。环境文件、密钥存储及功能开关应集中存放于一个位置,以便操作员无需查看整个架构即可进行审计。

@cli.result_callback()
def process_pipeline(processors, fin):
- iterator = (x.rstrip("\r\n") for x in input)
+ iterator = (x.rstrip("\r\n") for x in fin)

你会对测试此类AI智能体的人说些什么

“你会告诉对方什么”这一环节若作为可度量的指标来处理效果最佳。在扩大测试范围之前,先记录一份理想的操作流程、一个失败案例以及回滚说明。同时将正常流程与恢复流程都记录下来。重试机制、人工审核环节以及错误处理都属于产品本身的功能,而非后续需要补充的内容。要保持图结构的状态简洁且类型明确,嵌套的数据块会掩盖哪个节点编写了哪个字段的信息,还会在流程中断后导致无法继续执行。

目前的进展

在“当前状态”阶段,最好将其视为一个可度量的界面。在扩大范围之前,先记录一份成功的示例、一个失败案例以及回滚说明。相比庞大的脚本,应优先选择小型且可测试的单元。当某一步骤失败时,故障应能指向单一责任点,而非复杂的流程链。保持图表状态简洁且具有类型定义;嵌套的数据结构会掩盖哪个节点修改了哪个字段,还会在流程中断后导致无法继续执行。

操作检查清单

在处理操作检查清单阶段时,首先明确契约内容:所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。

在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。

在成本较高的操作之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次对同一次 LLM 调用计费。

锁定依赖版本,并记录用于运行演示的镜像摘要。可重复性比经验知识更重要。

将配置置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置,以便操作员无需查看整个架构即可进行审计。

在成本较高的操作之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次对同一次 LLM 调用计费。

在升级整个系统之前,先冻结版本,为关键路径生成标准记录,并确认回滚步骤。共享环境需要设置速率限制、租户检查机制,以及明确的密钥轮换负责人。与其追求花哨的一次性演示,不如注重扎实的可靠性。

关于21079fcb54b5的批量处理说明:不要将提供者密钥放入代码仓库,为每个会话设置令牌使用上限,并将转录内容存储在评估测试用例的旁边,以便后续更换模型时仍能保持可比性。

在处理强化安全性的第0阶段时,首先需明确相关规范:所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改始终符合要求。应将此阶段视为输入与验证后输出之间的契约,为相关文件命名、定义成功判定标准,并杜绝无声的半完成状态。

强化安全性细节0/814:需统计该处理步骤的运行时间、错误类型以及令牌消耗情况,然后依据固定的评估标准而非主观感受来决定是否保留该更改。

将加固步骤1视为可测量的表面时效果最佳。在扩大范围之前,先记录一份理想的运行日志、一个故障案例以及回滚说明。 将配置置于应用程序代码之外。环境文件、密钥存储和功能标志应集中存放于一个位置,以便操作人员无需查看整个系统结构即可进行审计。

加固细节1/814:针对此步骤需测量耗时、错误类型以及令牌使用情况,然后依据固定的问题集而非个人经验来判断是否保留该变更。