写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：vLLM
vLLM Serve参数详解及合理的初始设置建议
实用指南：介绍您实际需要调整的vLLM Serve参数，包括dtype、内存使用量、上下文长度、并行度、API密钥及量化设置，并提供可尝试的默认值。
阅读约 4 分钟为何 Ollama 已不再够用，以及该使用什么替代方案
Ollama 是 llama.cpp 的封装层。了解它在加载量、模型格式及 AMD GPU 方面存在的限制，以及何时使用 llama.cpp、LM Studio 或 vLLM 更为合适。
阅读约 7 分钟FlashAttention与PagedAttention：针对两种不同瓶颈的两种解决方案
了解 FlashAttention 如何通过分块与在线 softmax 加速注意力计算，PagedAttention 是如何管理 KV 缓存内存的，以及为何 vLLM 风格的架构会同时使用这两种方法。
阅读约 7 分钟当模型永远无法完成时：隐藏在幻觉评分背后的无声失败。
使用虚构名称测试了两个检查点、两种量化方式以及两种运行时：有一个模型会数分钟保持沉默，而细致的评分员能揭示那些被遗漏的分数。
阅读约 11 分钟解决WSL2上Ollama连接被拒绝的问题以及配置Dify和vLLM
Ollama在WSL2中可以正常运行，但Dify却出现连接被拒绝的错误？请检查绑定地址，设置OLLAMA_HOST，添加端口代理，并在连接vLLM时避免Docker的本地主机陷阱。
阅读约 7 分钟使用模型调度器在12GB容量的RTX 3060上运行本地编码模型
如何选择适合12GB GPU的模型，以及为何在同一个OpenAI兼容的接口后切换GGUF和SafeTensors两种后端会变成调度问题。
阅读约 5 分钟GCP上的模型路由器：多个开放型大语言模型前的统一管理API
一种将企业应用与单个大语言模型解耦的设计方案：逻辑任务划分、基于约束的模型选择、备用流程、vLLM，以及基于GCP的稳定型OpenAI风格API。
阅读约 7 分钟为何轮询机制不适用于LLM集群：llm-d如何依据KV缓存和队列深度来路由请求。
轮询负载均衡会浪费KV缓存命中机会，且忽略请求大小。llm-d如何对Kubernetes上的vLLM副本进行评分，以及如何区分预填充与解码操作。
阅读约 10 分钟在单块RTX 5090上运行Qwen3.8-27B：vLLM、LACT风扇控制及并发性能测试
使用无头RTX 5090搭配vLLM运行Qwen3.8-27B：Docker GPU环境配置、Prometheus与Grafana监控，通过LACT解决散热问题，以及分析在高负载下的吞吐量饱和点。
阅读约 11 分钟