Flash de alto ancho de banda apunta al almacenamiento de pesos de IA

Los grandes modelos de lenguaje están presionando tanto la demanda de memoria que los fabricantes de chips están ampliando la producción de HBM y DRAM, con una nueva fábrica prevista para comenzar la producción en 2027. Pero esa presión también está abriendo la puerta a alternativas, incluida la High Bandwidth Flash (HBF), una versión apilada de la memoria NAND flash diseñada para almacenar los pesos de los modelos de forma más eficiente.

La idea es tomar prestado del High Bandwidth Memory: apilar varios dados para aumentar tanto la capacidad como el rendimiento. En este caso, el medio subyacente es el mismo tipo de flash que se usa en tarjetas SD, unidades USB, teléfonos inteligentes y SSD.

La gente pregunta: «¿Cómo diablos tiene esto algún sentido? La memoria flash es enormemente lenta»

Handy dijo que la NAND es especialmente débil en las escrituras, pero las lecturas pueden aumentarse mucho más. Como él lo expresó, la High Bandwidth Flash está diseñada precisamente para hacer eso.

La flash almacena datos como carga eléctrica atrapada en matrices de transistores de puerta flotante, organizados en bloques y páginas en lugar de bytes direccionables individualmente. Es no volátil, por lo que los datos permanecen sin energía. Eso la hace densa y eficiente para el almacenamiento a largo plazo, pero mucho más lenta para escribir que la DRAM, que usa condensadores que pueden refrescarse rápidamente.

Recomendado

El ataque de Linus Torvalds a Nvidia ahora se ve muy diferente

El último estándar de interfaz de flash admite hasta 4,8 GB/s por dado. En comparación, DDR5 alcanza hasta 70,4 GB/s por DIMM, y HBM4E puede llegar a 3,6 TB/s por pila — aproximadamente una ventaja de ancho de banda de 750 veces sobre la flash.

Planes de HBF de Sandisk y SK Hynix

Según Hoshik Kim, vicepresidente senior de investigación de sistemas de memoria en SK Hynix, HBF utiliza un avanzado empaquetado 3D y apilamiento vertical para ofrecer mucho más ancho de banda que el almacenamiento NVMe estándar. Sandisk ya ha publicado hojas informativas para un producto HBF de primera generación, aunque el envío todavía está como mínimo a un año.

Sandisk afirma que su primera pila ofrecerá:

• hasta 16 chips NAND flash
• hasta 512 GB por pila
• hasta 1,6 TB/s de ancho de banda de lectura

Su hoja de ruta proyecta 2 TB/s para una segunda generación y 3,2 TB/s para una tercera generación.

Por qué HBF está orientado a la inferencia

HBF sigue siendo más lento que la HBM utilizada con GPUs de alto rendimiento, por lo que su caso de uso principal no es el entrenamiento de IA. El entrenamiento lee y escribe constantemente en miles de millones o billones de pesos, lo que hace que la flash sea una mala opción.

La inferencia de IA es diferente. Una vez entrenados, los pesos del modelo son efectivamente de solo lectura, por lo que el bajo rendimiento de escritura de la flash importa menos. Kim dijo que pesos estáticos con miles de millones de parámetros e incluso datos de caché KV precomputados podrían residir en una capa HBF, liberando la HBM para actuar como un área de trabajo de alta velocidad.

Si lo configuras correctamente, puedes obtener muchísimo buen rendimiento de eso: eso es simplemente caché básico. Es una tecnología que espero que vaya a algún lado.

La tecnología todavía está en una fase temprana. El 25 de febrero de 2026, Sandisk y SK Hynix lanzaron un esfuerzo conjunto para estandarizar HBF a través de un grupo de trabajo dedicado en el Open Compute Project. No se ha establecido un calendario de publicación para el estándar. Kim dijo que HBF debe verse como complementaria a la HBM, con el potencial de aliviar los cuellos de botella de capacidad de la HBM, reducir el número de aceleradores necesarios para modelos grandes, mejorar la eficiencia energética y reducir los costos de la infraestructura de inferencia.