工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：llm-evaluation
为何智能体准确率评分具有误导性：pass^k、扰动与故障注入
为何pass@1会隐藏不可靠的AI智能体，以及pass^k、输入扰动和故障注入如何揭示其在一致性、稳定性及容错性方面的缺陷。
阅读约 9 分钟RAG故障诊断：阶段流程图与声明级真实性判断器
定位RAG流程出错的位置，然后构建一个LLM真实性判断器，该判断器可逐个核查声明，并通过卡帕系数与人类评估员的结果进行验证。
阅读约 9 分钟智能体微调：训练知识维基而非模型权重。
在从公司文档中提取的学习资料构成的维基上运行机器学习训练循环：基于原始数据、保密问题构建基准，并生成带有明确限制的证书。
阅读约 9 分钟RAG还是知识图谱？2,160份评分答案及模型效应分析
RAG与知识图谱的对比：在三个模型系列中共进行了2,160次评分答案测试以及120道题目测试。胜者因模型而异，模型本身起着最关键的作用。
阅读约 9 分钟对用于重试智能体错误最终行为的评分规则机制进行了测试。
一项包含30个案例的实验：由大型语言模型作为裁判并配合一次重试，将错误的支持行为从6个减少到2个，以及为何检测到违规行为并不总是意味着智能体会进行修正。
阅读约 7 分钟从评估到自我提升的智能体：智能体评估的五个发展阶段
智能体评估现在意味着对轨迹进行审计。了解确定性检查、大语言模型与智能体评判器、诊断机制以及元工具如何共同构建一个安全的改进循环。
阅读约 7 分钟智能体评估与优化：DSPy、TextGrad、Reflexion和OPRO的对比分析
DSPy、TextGrad、Reflexion和OPRO如何作为智能体的反馈循环相互配合，应优先采用哪一个，以及如何在企业中实现评估与优化的分离。
阅读约 12 分钟面向人工智能智能体的评估驱动开发：契约、轨迹与评判器
将评估视为代理程序的 CI/CD 流程：将版本提示视为合同，利用 OpenTelemetry 和 Tempo 追踪运行过程，再通过确定性检查及大型语言模型评判器进行测试。
阅读约 13 分钟实际应用中图像处理系统的闭环评估：Uber Eats所展示的内容
对Uber Eats图片优化系统背后评估设计的案例研究：路由器召回、pass@K、漂移诊断、自动调优以及分层质量检测机制。
阅读约 7 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。