用于处理机密文档的本地AI：应在自己的硬件上运行哪些程序

合同、薪资单、医疗记录、供应商审计、银行对账单：企业最希望实现自动化的文件，往往也是最不愿上传到云API的文件。本地AI意味着模型、文本提取功能以及存储的结果都在企业可控的硬件上运行，因此这些文件永远不会离开企业内部。这虽然是目前一种实用的选择，但在购买服务器之前需充分了解其带来的权衡。

“本地化”需要解决哪些问题

在自有设备上运行语言模型只是其中一部分。文档处理流程包含多个阶段，而只要某个阶段调用了外部服务，就有可能导致数据泄露：

• 文本提取与OCR功能。扫描后的PDF文件和照片需要OCR处理。许多便捷的OCR服务都是基于云端的；也有本地引擎，对于清晰度较高的扫描文件处理效果很好。

嵌入模型与搜索功能。如果文档被用于搜索或问答，那么嵌入模型和向量索引也需存储在本地。

语言模型。用于分类、信息提取、摘要生成以及规则校验。

日志、队列与备份。调试日志通常包含文档的完整内容，因此需要遵循与文档本身相同的保留策略和访问规则。

遥测功能。某些工具会默认向供应商上报使用情况，应关闭此功能，并阻止推理服务器的向外连接。

实际需要的硬件

简而言之：内存决定了哪些模型可以被加载，而其他硬件则决定了模型的运行速度。我们使用相同的测试工具在多台机器上进行了测试，相关结果分别发表在四篇独立的文章中：

• RTX 5060 Ti 16 GB：这款消费级显卡已能运行270亿参数级别的模型；我们测得的最高运行速度可达每秒115.9个标记。
• RTX 5090：同样的Qwen3.8-27B模型，根据所使用的推理引擎不同，运行速度在每秒67.2到253.4个标记之间，这充分体现了软件堆栈的重要性。

Mac Studio M5 Ultra 与 DGX Spark 的对比：这两种台式机都拥有庞大的统一内存，可满足那些无法在游戏级 GPU 上运行的模型需求。

本地 AI 需要多少内存：从 16 GB 到 512 GB 不同内存容量分别能支持哪些应用。

对于文档处理工作而言，原始处理速度很少会成为瓶颈。每天处理几百张发票对一款性能不错的 GPU 来说算不上重负荷。更重要的是模型在处理文档时的效果，而这只有通过实际测试才能知晓。

本地模型的劣势所在

在复杂推理、长篇冗杂的文档处理以及处理特殊语言方面，最大的云模型仍具有优势。而在范围有限、定义明确的任务上，本地模型已大幅缩小了这一差距，尤其是当工作流程是围绕它们的能力局限来设计的时：

• 让代码处理它擅长的任务：日期计算、求和、增值税核对、与供应商列表匹配等；
• 一次只向模型提出一个问题，而非要求其“审核这份合同”；
• 使用结构化输出（固定字段），以便自动验证答案；
• 将不确定的案例交给人工处理，而非强行要求模型给出答案。

某个特定本地模型是否足够好是一个需要通过实践验证的问题。可以从真实文档中构建测试集，并在上面对比不同候选模型；我们在关于评估与人工审核的文章中介绍了具体方法。

混合方案往往是最佳选择

并非所有文档的敏感程度都相同。一种常见的设计是将机密文档存储在本地模型中，而将公开或已脱敏的资料存储在云模型中，并通过代码明确规定相应的路由规则并加以执行。另一种方案则是根据数据保护要求签订合同，采用私有云部署方式。哪种方案合适取决于您的数据类型、合同条款以及风险承受能力，这一决定应与公司中负责数据保护的人员共同作出。

需考虑的成本

本地人工智能将成本从按请求收费转变为硬件与运营成本。除了机器本身，还需考虑电力与散热需求、负责更新模型与驱动程序的人员、监控系统、数据备份，以及设备出现故障时的备用方案。对于文档处理流程稳定的团队而言，这种方式往往比想象中更便宜、更简单。而对于负荷波动较大或规模极大的工作负载，云端方案在成本上可能仍更具优势。

我们在客户的基础设施内构建用于文档审核和数据整合的本地处理流程。可参阅用于文档审核的AI智能体与客户数据整合服务，或了解欧盟AI自动化相关的AI法案与GDPR规定中的监管要求。