Un desarrollador logra que Qwen3.5 corra dentro de una FPGA, sin GPU, aunque solo a 2,5 tokens por segundo

Por Zendoric · 5 de octubre de 2026.

Un desarrollador que firma como Nero7991 ha publicado en GitHub un motor de inferencia para modelos de lenguaje que no usa ni GPU ni CPU: todo el cálculo ocurre directamente en los circuitos reconfigurables de una FPGA (Field-Programmable Gate Array, un chip cuyo cableado interno puede redefinirse después de fabricado). El repositorio, llamado llm.vhdl, implementa en VHDL —un lenguaje para describir circuitos digitales, no código que corre sobre un procesador— la arquitectura de Qwen3.5, la familia de modelos abiertos de Alibaba: desde la cuantización de los pesos a INT4 (4 bits por parámetro, para ahorrar memoria y ancho de banda) hasta el mecanismo de atención, pasando por el secuenciador que decide, token a token, qué bloque del modelo se activa.

Hoy el diseño funciona, de verdad, sobre una tarjeta FPGA de nicho: la SQRL FK33, con un chip Xilinx UltraScale+ y 8 GiB de memoria HBM (High Bandwidth Memory, memoria apilada de muy alto ancho de banda, soldada junto al chip). Según la documentación del proyecto, una sola tarjeta aloja el modelo completo de 9.000 millones de parámetros, y dos tarjetas conectadas en pipeline —cada una con una parte de las capas— doblan el rendimiento respecto a una tarjeta sola, hasta unos 2,5 tokens por segundo medidos sobre silicio real. Las salidas están validadas capa a capa contra una ejecución de referencia en llama.cpp, y el autor describe el tokenizador y la plantilla de conversación como «bit-exactos» frente a esa referencia.

El propio proyecto admite que va a medio gas. Las tarjetas FK33 solo se han probado a 75 MHz; cada bloque del diseño, sintetizado por separado, cierra entre 150 y 207 MHz en esa misma tarjeta, así que hay margen de velocidad todavía sin explotar. Y el objetivo más ambicioso —una versión de 27.000 millones de parámetros, que el repositorio etiqueta como Qwen3.8, repartida entre dos chips en una tarjeta distinta, la Jungle Cat— ni siquiera genera texto todavía: los dos chips se dejan programar y detectar por separado, pero el enlace de alta velocidad que debería unirlos no arranca porque falta soldar un oscilador de reloj de 156,25 MHz en la placa, y no existe ninguna vía rápida para cargar los cerca de 13,5 GB de pesos del modelo grande, porque esas tarjetas no tienen conexión PCIe y dependen de un puente JTAG/Ethernet de apenas 1 MB/s de capacidad.

Nada de esto compite en velocidad con una GPU: 2,5 tokens por segundo es, como mínimo, un orden de magnitud más lento que cualquier tarjeta gráfica moderna sirviendo el mismo modelo cuantizado. Y ahí está, precisamente, lo que nos parece reseñable: no la velocidad, sino que un único desarrollador, sin acceso a una fábrica de chips ni a ningún acuerdo comercial, haya podido tomar la arquitectura de un modelo abierto —incluido Gated DeltaNet, el mecanismo de atención lineal con el que, según la documentación del proyecto, Qwen3.5 abarata el procesamiento en la mayoría de sus capas— y traducirla, bloque a bloque, en un circuito dedicado que no ejecuta software: es el modelo, cableado directamente en silicio reconfigurable.

Esa posibilidad solo existe porque los pesos y la arquitectura de Qwen son abiertos. En general, la inferencia de IA en 2026 se concentra en GPU de Nvidia y en aceleradores propietarios de los grandes proveedores de nube, un terreno donde experimentar con el hardware exige presupuestos que casi nadie fuera de un puñado de empresas tiene. Proyectos de nicho como este —con 6 estrellas en GitHub y cero comentarios en Hacker News, para dejar claro que hablamos de una curiosidad técnica y no de un producto— son el laboratorio de quienes no tienen ese presupuesto: lentos, construidos a soldador y con más de mil cuatrocientos commits detrás, pero del mismo tipo de trabajo artesanal del que, históricamente, acaban saliendo los aceleradores dedicados que sí llegan a producción, una vez alguien demuestra que el circuito funciona y reproduce el resultado exacto del modelo de referencia. Nuestra tesis de fondo —que la abundancia de cómputo no vendrá solo de megacentros de datos, sino también de caminos alternativos al monopolio de la GPU— encuentra aquí un ejemplo minúsculo, pero real, de por dónde puede empezar a construirse.