写给真正
交付技术栈的人

关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。

19 篇文章 · 第 1 / 3 页

标签：GPU

sglang qwen local-llm gpu
为何使用SGLang和DFlash2时，双块RTX 3090显卡的生成速度仅为55 tok/s，而非预期的220 tok/s。
实地演示如何使用SGLang在两块3090显卡上运行Qwen3.8-27B，以及为何PCIe x4接口、缺失的P2P功能、过小的KV缓存以及电压波动导致了实际速度远低于宣传值。
2026年10月28日阅读约 7 分钟
vllm llm-serving gpu
vLLM Serve参数详解及合理的初始设置建议
实用指南：介绍您实际需要调整的vLLM Serve参数，包括dtype、内存使用量、上下文长度、并行度、API密钥及量化设置，并提供可尝试的默认值。
2026年10月23日阅读约 4 分钟
local-llm llama-cpp gpu
本地大语言模型工作站：配备两块GPU，每秒处理20至60个令牌
一台配备两块RTX 5060 Ti显卡的二手Xeon服务器，支持Qwen 27B模型、张量并行计算及NCCL技术：硬件相关要求、实际速度提升效果，以及与API定价的成本对比分析。
2026年10月23日阅读约 9 分钟
flash-attention paged-attention vllm
FlashAttention与PagedAttention：针对两种不同瓶颈的两种解决方案
了解 FlashAttention 如何通过分块与在线 softmax 加速注意力计算，PagedAttention 是如何管理 KV 缓存内存的，以及为何 vLLM 风格的架构会同时使用这两种方法。
2026年10月23日阅读约 7 分钟
cerebras llm-inference gpt-oss
LLM推理中Cerebras晶圆级芯片与GPU的对比：GPT-OSS基准测试
在五种工作负载下，将Cerebras的晶圆级引擎与使用GPT-OSS-120B的GPU推理进行比较，进而了解Ultrafast如何通过API加速GPT-5.6 Sol的运行。
2026年10月23日阅读约 4 分钟
local-llm gguf llama-cpp
使用模型调度器在12GB容量的RTX 3060上运行本地编码模型
如何选择适合12GB GPU的模型，以及为何在同一个OpenAI兼容的接口后切换GGUF和SafeTensors两种后端会变成调度问题。
2026年10月23日阅读约 5 分钟
llm qwen llama-cpp
在单块RTX 3090上运行Qwen3.8-27B模型：可支持262K上下文长度，处理速度为每秒65-80个标记。
在单块24 GB GPU上运行支持完整上下文的密集型27B模型的方案：经过优化的llama.cpp分支、14.5 GB量化的模型、Turbo3缓存以及MTP预处理技术。
2026年10月23日阅读约 8 分钟
vllm rtx-5090 qwen
在单块RTX 5090上运行Qwen3.8-27B：vLLM、LACT风扇控制及并发性能测试
使用无头RTX 5090搭配vLLM运行Qwen3.8-27B：Docker GPU环境配置、Prometheus与Grafana监控，通过LACT解决散热问题，以及分析在高负载下的吞吐量饱和点。
2026年10月23日阅读约 11 分钟
llm inference kv-cache
KV缓存是隐藏在背后的数据库，正在消耗LLM解码过程中的GPU内存。
在大语言模型推理过程中，KV缓存会悄悄消耗GPU内存：预填充与解码、KV运算、GQA与MQA、分页注意力机制、量化及驱逐策略。
2026年9月26日阅读约 9 分钟

常见问题

关于这些文章

是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。

英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。

草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。

示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。

24小时评估

需要把同一技术栈做到生产操作层？发来简报，24小时内评估。

发送简报 React应用

写给真正交付技术栈的人

关于这些文章

24小时评估

写给真正
交付技术栈的人