写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文,并注明这一点。
标签:Benchmarks
在 Mac Studio M5 Ultra 上对比 TensorFold 与 llama.cpp:处理真实 JSON 数据时的吞吐量高出 1.84 倍
我在配备Qwen3.8-27B模型的Mac Studio M5 Ultra上,使用80个真实的JSON请求对TensorFold 1.2.0与llama.cpp进行了性能测试:在8个并发任务下,其处理速度为后者的1.84倍。
阅读约 9 分钟Hy-MT2-7B在五种本地运行环境中的表现:在Mac上应选择哪种环境用于翻译任务?
在两台Mac Studio M5 Ultra机器上,使用llama.cpp、LM Studio、mlx-lm、Ollama及MLX-Serve对Hy-MT2-7B进行负载测试:测试内容包括吞吐量、扩展性、确定性以及内存使用情况。
阅读约 9 分钟Gemini 3.8 Flash发布时的情况:速度、价格截止日期以及安全方面的注意事项。
Gemini 3.8 Flash评测:官方基准测试成绩提升,每秒处理304个令牌,促销价格将于2027年结束,Cyber模型以及多语言安全方面的问题。
阅读约 7 分钟为何使用SGLang和DFlash2时,双块RTX 3090显卡的生成速度仅为55 tok/s,而非预期的220 tok/s。
实地演示如何使用SGLang在两块3090显卡上运行Qwen3.8-27B,以及为何PCIe x4接口、缺失的P2P功能、过小的KV缓存以及电压波动导致了实际速度远低于宣传值。
阅读约 7 分钟MiniCPM5-2B与4B的竞争:为何代理框架能展现不同的故事
MiniCPM5-2B在单次测试得分上优于4B系列模型,但在基于代理的测试中则落后两到三倍。基准测试中的混淆率及Ollama的处理速度也是考量因素。
阅读约 10 分钟代理人为等待付出高昂代价:轮询、阻塞与任务对比
一种用于衡量智能体在处理缓慢的云操作时三种等待方式的基准:轮询、阻塞及MCP任务,每种方式的令牌成本,以及给工具设计者的相关规则。
阅读约 8 分钟从零开始构建智能体:六个阶段与一项用于分离收益的实验
框架对基准测试分数的提升效果往往优于模型本身。通过六个阶段构建一个小型智能体框架,每次只测试一项改动,从而确定究竟是哪一部分起到了作用。
阅读约 7 分钟选择GraphRAG还是传统RAG?图结构有用时,也会因成本过高而成为问题。
GraphRAG与RAG的对比:在多步骤推理和全局总结方面GraphRAG更具优势,但在简单查询方面表现较差且成本更高;附有基准测试数据及选择建议。
阅读约 7 分钟为何智能体记忆基准测试具有误导性,以及如何利用自身数据进行评估
代理记忆基准测试因有缺陷的答案键和评分标准而产生误导。应单独测试信息检索能力,并加入近期性、回避行为及遗忘检测。
阅读约 15 分钟