llama.cpp与vLLM与Ollama：根据瓶颈选择本地引擎

选择本地推理引擎

在本地运行大语言模型已经相当容易，因此现在的瓶颈不再是“我能不能做”，而是“该用哪种运行时”。人们热衷于讨论Llama、Gemma和Qwen之间的差异；而负责加载权重、管理内存以及处理令牌流的引擎同样重要。

在关于本地服务的讨论中，有三个名称最为常见：

• llama.cpp
• vLLM
• Ollama

它们在“在我的机器上运行模型”这一功能上有重叠，但在目标定位上存在显著差异。

什么是推理引擎

它负责加载权重、规划内存使用、接收输入提示，并高效生成令牌——即把磁盘上的文件转化为API的中间层。不同引擎的功能各有侧重：有的侧重CPU使用，有的侧重GPU加速；还有的具备批量处理功能、OpenAI兼容的HTTP接口、量化格式支持以及多用户调度能力。

llama.cpp——轻量且可移植

它最初是作为C/C++实现而诞生的，旨在高效运行LLaMA级别的模型，尤其适合通过GGML/GGUF量化技术在CPU及性能一般的GPU上运行。优点：支持多种硬件，二进制文件简单，非常适合笔记本和边缘设备使用。缺点：不像vLLM那样以实现最高的多用户GPU吞吐量为目标。

典型使用流程：获取GGUF文件，运行命令行界面或服务器，可选地开放HTTP接口。

ollama run llama3

Ollama — 本地模型的用户界面

Ollama将模型获取、Modelfiles管理以及本地API整合为一种成品化的使用体验。对于希望拥有便捷的pull/run功能以及LangChain集成功能的开发者来说，它是绝佳的默认选择。它通常基于llama.cpp类后端运行，同时隐藏了相关参数。非常适合单用户或小型团队的辅助工具；作为原始的高QPS集群调度器则不太理想。

| Feature       | 🦙 Llama.cpp                                      | 📦 Ollama                                  |
| ------------- | ------------------------------------------------- | ------------------------------------------ |
| Primary Focus | High-performance local inference engine           | Easy local LLM management                  |
| Target Users  | Developers & researchers                          | Beginners & application developers         |
| Setup         | Manual configuration                              | One-command installation                   |
| Model Format  | GGUF                                              | Managed model packages (GGUF internally)   |
| Quantization  | Full control                                      | Pre-configured                             |
| API Support   | OpenAI-compatible                                 | OpenAI-compatible                          |
| Customization | Extensive                                         | Limited but simple                         |
| Best For      | Fine-tuning performance and hardware optimization | Fast local development and experimentation |

vLLM — 强劲GPU上的高吞吐量

vLLM通过分页注意力机制、连续批处理以及兼容OpenAI的路由方式来实现高吞吐量服务。当大量并发用户同时使用一个或多个NVIDIA GPU，且您关注每GPU每秒的token处理量时，可选择该方案。其资源占用高于Ollama，需要配置性能良好的GPU硬件。

| Feature             | 🦙 Llama.cpp                                  | ⚡ vLLM                                        |
| ------------------- | --------------------------------------------- | --------------------------------------------- |
| Primary Goal        | Local inference on consumer hardware          | High-performance production serving           |
| Hardware            | CPU + GPU                                     | Primarily GPU clusters                        |
| Memory Optimization | Quantization (GGUF)                           | PagedAttention                                |
| Throughput          | Single-user / Small workloads                 | Massive concurrent workloads                  |
| Batching            | Basic                                         | Continuous batching                           |
| Scale               | Laptop to workstation                         | Enterprise & cloud deployments                |
| Best For            | Offline AI, edge devices, personal assistants | AI APIs, SaaS platforms, enterprise inference |

选择建议

| If you want to...                          | Choose...    |
| ------------------------------------------ | ------------ |
| 💻 Run LLMs on a laptop or Raspberry Pi    | 🦙 Llama.cpp |
| 📦 Get started with local LLMs in minutes  | 📦 Ollama    |
| ⚡ Serve thousands of concurrent users      | ⚡ vLLM       |
| 🛠️ Fine-tune performance and quantization | 🦙 Llama.cpp |
| 🚀 Build enterprise AI APIs                | ⚡ vLLM       |
| 🧪 Prototype local AI applications         | 📦 Ollama    |

您也可以混合使用：先用Ollama进行原型开发，将高频请求路径迁移到vLLM，同时保留llama.cpp用于离线边缘设备。最适合的引擎应是那些瓶颈与您的硬件及并发需求相匹配的方案，而非发布初期宣传最响亮的那个。

让部署过程尽可能简单：使用 Compose 构建，加入健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班安排时依然正常运行。

让部署过程尽可能简单：使用 Compose 构建，加入健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班安排时依然正常运行。

让部署过程尽可能简单：使用 Compose 构建，加入健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班安排时依然正常运行。

让部署过程尽可能简单：使用 Compose 构建，加入健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班安排时依然正常运行。

让部署过程尽可能简单：使用 Compose 构建，加入健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班安排时依然正常运行。

让部署过程尽可能简单：使用 Compose 构建，加入健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班安排时依然正常运行。

让部署过程尽可能简单：使用 Compose 构建，加入健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班安排时依然正常运行。

让部署过程尽可能简单：使用 Compose 构建，加入健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班安排时依然正常运行。

让部署过程尽可能简单：使用 Compose 构建，加入健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班安排时依然正常运行。

让部署过程尽可能简单：使用 Compose 构建，加入健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班安排时依然正常运行。

让部署过程尽可能简单：使用 Compose 进行构建、添加健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班调度时依然正常运行。

让部署过程尽可能简单：使用 Compose 进行构建、添加健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班调度时依然正常运行。

让部署过程尽可能简单：使用 Compose 进行构建、添加健康检查功能，并提供一个统一的位置来切换模型。正是这种简单性让内部工具能够在面对真实的值班调度时依然正常运行。