Artículos para quien
entrega el stack
Textos originales sobre React, Node.js, TypeScript y AI — de la misma práctica que nuestro software de operador. Cuerpo de los artículos en inglés.
Etiqueta: llm-costs
Caché semántica para apps LLM en Ubuntu 24.04 con Qdrant
Reduce el gasto en APIs de LLM guardando respuestas en caché por su significado y no por el texto: Qdrant en Ubuntu 24.04, aislamiento de clientes, umbrales por ruta y coste de IOPS.
788 palabrasLeerCómo recortar costes de LLM: caché, enrutamiento de modelos y prompts más cortos
Las facturas de LLM en producción crecen deprisa. Caché semántica, enrutamiento de modelos, prompts más ligeros, reranking en RAG, límites de salida y procesamiento por lotes para gastar menos sin perder calidad.
1824 palabrasLeerAdónde se iba nuestra factura de la API de LLM y qué cambios de arquitectura la recortaron
Atribución de tokens por paso, escalonado de modelos, prompts más cortos y backoff con jitter redujeron el gasto en API de un agente de programación; con fórmulas de coste y errores de optimización habituales.
1861 palabrasLeerReduzca un 90% el coste de los prompts repetidos con una sola línea de prompt caching
Active el caché automático de prompts con un único campo, compruebe los aciertos en el bloque usage y evite los errores de prefijo y las trampas de longitud mínima que borran el ahorro sin avisar.
914 palabrasLeerPor qué Hermes Agent quema tokens y cómo recortar su prompt a 4K
Un simple hola a Hermes Agent puede disparar 30 peticiones y 1,5 millones de tokens. De dónde sale el prompt de 16K y qué comandos de la CLI lo dejan por debajo de 4.000 tokens.
877 palabrasLeer
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.