Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: local-llm
IA local para documentos confidenciales: qué ejecutar en su propio hardware
Cómo mantener contratos, nóminas y archivos de auditoría fuera de las API en la nube: qué etapas del proceso conviene ejecutar en local, qué hardware sirve, dónde flojean los modelos locales y cuánto cuesta.
3 min de lectura¿Cuánta memoria se necesita para la IA local? Velocidades desde 16 GB hasta 512 GB.
Se midió la velocidad y calidad local de los LLM en máquinas de 16, 32, 128, 256 y 512 GB, qué puede ejecutar cada categoría, y qué GPUs, Macs y mini PCs son adecuados para cada caso.
5 min de lecturaMac Studio M5 Ultra vs DGX Spark: Velocidad de modelos de lenguaje local con los mismos modelos.
Mac Studio M5 Ultra 256 GB frente a una, dos y cuatro cajas DGX Spark en Nemotron, Qwen3.8 y DeepSeek-V4.1-Flash: decodificación, relleno previo, agrupamiento y procesamiento de imágenes.
4 min de lecturaPruebas de rendimiento de LLM locales en RTX 5090: mismo Qwen3.8-27B, de 67 a 253 tokens por segundo.
Qwen3.8-27B en una RTX 5090 mediante TensorFold, NInfer, ExLlamaV3, Qwentin y vLLM: decodificación, relleno previo, rendimiento en paralelo, calidad y qué stack utilizar.
4 min de lecturaRTX 5060 Ti 16 GB para IA local: velocidades medidas de LLM, imágenes y voz.
RTX 5060 Ti 16 GB probado para IA local: cinco LLM con velocidades de 42 a 116 tok/s, tiempos de primer token en 32K, velocidades en imágenes, video, 3D y voz, y qué se puede ejecutar con él.
6 min de lecturaTensorFold vs llama.cpp en un Mac Studio M5 Ultra: 1,84 veces más rendimiento en trabajos reales con JSON
Realicé pruebas de rendimiento de TensorFold 1.2.0 frente a llama.cpp en un Mac Studio M5 Ultra con Qwen3.8-27B y 80 solicitudes JSON reales: un rendimiento 1.84 veces mayor con 8 procesos concurrentes.
9 min de lecturaHy-MT2-7B en cinco entornos locales: ¿Cuál debería usarse para tareas de traducción en una Mac?
Se probó la carga de Hy-MT2-7B en llama.cpp, LM Studio, mlx-lm, Ollama y MLX-Serve en dos máquinas Mac Studio M5 Ultra: rendimiento, escalabilidad, determinismo, memoria.
9 min de lecturaUn flujo de trabajo local para agentes LLM creado a partir de carpetas y archivos Markdown
Cree un pipeline local de agentes con múltiples etapas y control de acceso, donde cada etapa es una carpeta, los prompts están en formato Markdown editable y un humano revisa el resultado antes de pasar a la etapa costosa.
25 min de lecturaConectar LM Studio a servidores MCP para archivos, GitHub y un navegador.
Configuraciones paso a paso de mcp.json que permiten a un modelo local utilizar el sistema de archivos, las herramientas OAuth de GitHub y Playwright, con selección de modelos y soluciones para errores comunes.
7 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.