HBF: memoria flash de alto ancho de banda para acelerar el servicio de LLMs agénticos (UC Berkeley, FuriosaAI)

Un equipo de investigadores de UC Berkeley y de la startup de chips de IA FuriosaAI ha publicado un artículo técnico titulado "Characterizing High Bandwidth Flash for LLM Serving", centrado en un problema cada vez más acuciante en la infraestructura de inteligencia artificial: la memoria. El trabajo, firmado por Zack Yu, Chloe Wong, Coleman Hooper, Minjae Lee, Wonjun Kang, Youngjin Cho, Michael W. Mahoney, Yakun Sophia Shao, Kurt Keutzer y Amir Gholami, se publicó como preprint en arXiv en septiembre de 2026.

El punto de partida del paper es un cuello de botella bien conocido en el sector: servir modelos de lenguaje de gran tamaño (LLM) exige almacenar tanto los pesos del modelo como la llamada KV cache (la memoria caché de claves y valores que el modelo genera y reutiliza durante la generación de texto). A medida que los modelos crecen y las ventanas de contexto se alargan, tanto la capacidad como el ancho de banda de memoria se convierten en limitantes del rendimiento. Este problema se agrava especialmente con las cargas de trabajo "agénticas" —sistemas de IA que mantienen interacciones repetidas y acumulan contexto de forma progresiva—, donde conservar el estado de la KV cache para reutilizarlo resulta cada vez más importante.

La propuesta que analiza el estudio es el uso de HBF (High-Bandwidth Flash, o memoria flash de alto ancho de banda), una tecnología que busca ampliar la capacidad de memoria de los aceleradores de IA más allá de lo que permite hoy la memoria HBM (High-Bandwidth Memory) convencional. Según la fuente, la flash de alto ancho de banda arrastra dos problemas prácticos que complican su uso: sus costes de acceso y una vida útil de escritura limitada (los dispositivos flash se degradan con los ciclos de escritura), lo que dificulta su integración directa en los sistemas de servicio de modelos.

Para evaluar cuándo y cómo esta capacidad adicional mejora realmente el rendimiento y la eficiencia energética, los autores diseñaron dos piezas clave. La primera es un sistema de almacenamiento jerárquico de tres niveles —HBM, HBF y memoria del host (host memory)—, que coordina la colocación de los datos entre esos niveles. La segunda es una técnica de "programación con reconocimiento de caché y almacenamiento intermedio" (buffered cache-aware scheduling), orientada a aprovechar las ventajas de capacidad del HBF sin agotar prematuramente su vida útil de escritura. Todo ello se evaluó mediante simulaciones basadas en trazas (trace-driven simulations) sobre las cargas de trabajo consideradas en el estudio.

Los resultados reportados en el abstract son significativos. Según el estudio, los sistemas aumentados con HBF más rápidos logran reducir el tiempo de finalización de las tareas entre un 36,1% y un 87,0% en comparación con sistemas que dependen únicamente de HBM, dependiendo de la carga de trabajo evaluada. En cuanto a eficiencia energética, el ahorro de energía modelado llega hasta un 55,8%, aunque los propios autores matizan que en algunas cargas de trabajo "ligeras" el uso de HBF puede en realidad incrementar el consumo energético, lo que sugiere que esta tecnología no es una solución universal sino que depende del perfil de la carga de trabajo. Por último, y en relación con el problema de la degradación por escritura, la técnica de programación propuesta logra extender la vida útil estimada de escritura del HBF de 4,77 a 14,82 años en la configuración evaluada, una mejora sustancial que apunta a que una gestión cuidadosa de dónde y cuándo se escribe puede ser tan importante como la tecnología de memoria en sí misma.

En conjunto, el trabajo sugiere que la memoria flash de alto ancho de banda no debe pensarse como un simple sustituto o complemento pasivo de la HBM, sino como un nivel más dentro de una jerarquía de memoria que requiere coordinación activa entre la colocación de datos y las decisiones de programación (scheduling) para resultar viable a largo plazo. Para una industria que lleva meses discutiendo cómo escalar la capacidad de memoria de los aceleradores de IA sin disparar los costes ni los consumos energéticos de los centros de datos, esta investigación aporta evidencia cuantitativa —aunque basada en simulación, no en despliegues reales a gran escala— de que soluciones híbridas HBM-HBF-host, bien orquestadas por software, podrían aliviar parte de la presión que generan los contextos cada vez más largos y los flujos de trabajo agénticos que dominan la hoja de ruta de la IA generativa.