写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文,并注明这一点。
标签:Ollama
Hy-MT2-7B在五种本地运行环境中的表现:在Mac上应选择哪种环境用于翻译任务?
在两台Mac Studio M5 Ultra机器上,使用llama.cpp、LM Studio、mlx-lm、Ollama及MLX-Serve对Hy-MT2-7B进行负载测试:测试内容包括吞吐量、扩展性、确定性以及内存使用情况。
阅读约 9 分钟基于文件夹和Markdown文件构建的本地LLM智能体工作流
构建一个带门控机制的多阶段本地代理流程,每个阶段对应一个文件夹,提示词为可编辑的 Markdown 格式,并在执行昂贵操作之前由人工审核输出结果。
阅读约 25 分钟实现两个本地大语言模型智能体进行辩论:依据构建、虚假共识现象及模式错误。
在Ollama上运行的两个本地大语言模型智能体通过证据而非角色设定进行辩论:自然语言理解基础、虚假共识漏洞、攻击与断言检测以及必填字段。
阅读约 7 分钟使用 Ollama 在本地运行相同的 OpenAI 聊天循环
使用 Ollama 在本地运行相同的 OpenAI 聊天循环:将 OpenAI Python SDK 指向 localhost,保留原有代码即可。无需 API 密钥,无需支付令牌费用,数据也不会外传。
阅读约 4 分钟基于Ollama和LangChain在本地大型语言模型上运行的QuickBooks财务处理智能体。
运行在 Qwen 3.5 9B 模型及 RTX 4070 显卡上的 ReAct 智能体,可通过 LangChain 和本地大语言模型 Ollama 实时读取 QuickBooks 数据,全程无需使用云端服务,零成本运行。包含代码、输出结果及相关限制。
阅读约 13 分钟在基于 AMD GPU 的 Podman 无根环境中,使用 Ollama 本地运行 Hermes Agent
在本地安全地运行 Hermes Agent:无根 Podman、一个挂载文件夹、内部网络、基于 ROCm 的 AMD GPU 上的 Ollama,以及一个 systemd 单元。
阅读约 20 分钟基于LangExtract、Neo4j、Qdrant和Ollama构建的完全本地化GraphRAG流程
在本地模型上构建GraphRAG:使用LangExtract提取实体,将其存储在Neo4j中,然后在Qdrant中进行索引,最终通过子图扩展获得基于图的答案。
阅读约 39 分钟本地编码代理循环:Aider、Ollama、Git工作树与简易回滚功能
一种针对本地编码代理的有界工作流程,通过Aider、Ollama、Git工作树、针对性测试以及简单的恢复路径,确保所有更改均可被审查和撤销。
阅读约 10 分钟在 Mac 上运行零 API 费用的多智能体博客工具:Gemma 4、Ollama 与 Google ADK
利用 Gemma 4、Ollama、LiteLLM 以及 Google ADK,在 Apple Silicon 平台上构建本地规划器、编写器和验证器代理系统,且无需为每次请求支付模型费用。
阅读约 8 分钟