Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: llama-cpp
TensorFold vs llama.cpp en un Mac Studio M5 Ultra: 1,84 veces más rendimiento en trabajos reales con JSON
Realicé pruebas de rendimiento de TensorFold 1.2.0 frente a llama.cpp en un Mac Studio M5 Ultra con Qwen3.8-27B y 80 solicitudes JSON reales: un rendimiento 1.84 veces mayor con 8 procesos concurrentes.
9 min de lecturaHy-MT2-7B en cinco entornos locales: ¿Cuál debería usarse para tareas de traducción en una Mac?
Se probó la carga de Hy-MT2-7B en llama.cpp, LM Studio, mlx-lm, Ollama y MLX-Serve en dos máquinas Mac Studio M5 Ultra: rendimiento, escalabilidad, determinismo, memoria.
9 min de lecturaDeepSeek Harness (dsh): El entorno de ejecución de agentes abierto que reescribe su propia configuración.
Qué es DeepSeek Harness, por qué su agente de autoedición destaca, cómo reaccionó la comunidad y qué preparar antes de ejecutarlo con modelos locales.
6 min de lecturaKimi K3 y otros modelos grandes en local con cinco repos abiertos
Cinco repos open source que meten modelos de escala frontera en un portátil o una sola GPU mediante streaming desde disco, caché de expertos y offloading, con sus cifras reales de velocidad.
6 min de lecturaEjecuta un modelo de codificación local con llama.cpp: cuantización, ventana de contexto y VS Code
Reemplaza las facturas de tokens medidos por un modelo local del MoE: elige una cuantización, define el tamaño de la ventana de contexto, ajusta llama-server para GPUs CUDA pequeñas y luego conéctalo a Cline.
8 min de lecturaEstación de trabajo para LLM local: de 20 a 60 tokens por segundo con dos GPU
Una estación Xeon de segunda mano con dos RTX 5060 Ti, Qwen 27B, paralelismo de tensores y NCCL: reglas para elegir el hardware, ganancias reales de velocidad y el cálculo de amortización frente a los precios de las API.
9 min de lecturaPor qué Ollama deja de ser suficiente y qué usar en su lugar
Ollama es un envoltorio de llama.cpp. Descubre dónde choca con sus límites en carga, formatos de modelo y GPUs de AMD, y cuándo encajan mejor llama.cpp, LM Studio o vLLM.
7 min de lecturaDuplicar la velocidad de decodificación de Qwen3.8-Flash-Next con MTP en GPU RTX
Aprenda a compilar un fork de llama.cpp con decodificación especulativa MTP y los flags adecuados para duplicar más o menos la velocidad de generación de Qwen3.8-Flash-Next en equipos con varias RTX.
5 min de lecturaQwen3.8-Flash-Next: un modelo de 177B que corre en una sola GPU de 24 GB
Cómo Qwen3.8-Flash-Next mete un mixture-of-experts de 177B en hardware modesto: 6B de parámetros activos, una tabla de n-gramas, atención híbrida y sus huecos en los benchmarks.
9 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.