Contar parámetros no es contar inteligencia: la lección que esconde la arquitectura de los LLM

Por El blog de Giles Thomas · 10 de julio de 2026.

Giles Thomas, un desarrollador que ha ido documentando en su blog la construcción de un GPT-2 desde cero en JAX, cuenta un hallazgo que tiene más miga de la que parece a primera vista. Al montar solo la capa de embeddings de entrada y una cabeza de salida —sin bloques Transformer, sin atención, sin redes feed-forward— ese esqueleto ya sumaba 77 millones de parámetros con una dimensión de embedding de 768 y un vocabulario de 50.257 tokens: cada una de esas dos matrices supera los 38 millones de números por sí sola. Cuando terminó el modelo completo, con todos los bloques de atención y las redes feed-forward incluidos, el total era de 163 millones de parámetros. Es decir: las capas de entrada y salida, que no hacen ningún razonamiento, representaban casi la mitad del modelo. Y por si no fuera suficiente sorpresa, las redes feed-forward —la parte menos comentada en cualquier tutorial de IA— tienen aproximadamente el doble de parámetros que los mecanismos de atención, que son los que casi todo el mundo estudia primero y con más detalle.

El dato no es una curiosidad de nicho. La atención se lleva toda la atención pedagógica porque es, con diferencia, la parte más difícil de entender del Transformer; pero eso hace fácil sobrestimar cuánto peso tiene realmente en el recuento total de parámetros, sobre todo en modelos pequeños, donde la tabla de embeddings y la cabeza de salida (que en la práctica son diccionarios gigantes que traducen tokens a vectores y viceversa) pesan mucho más que el cuerpo del modelo que efectivamente 'piensa'. Thomas ilustra el efecto llevándolo al extremo: con un vocabulario muy grande —y muchos modelos actuales manejan cientos de miles de tokens—, es perfectamente posible construir un modelo 'diminuto' que en realidad es, casi en su totalidad, una tabla de consulta de palabras disfrazada de red neuronal.

Como anécdota lateral con su propia gracia: para visualizar todo esto, Thomas usó el mismo día de su publicación la variante 'Sol' de GPT-5.6, el modelo que OpenAI acaba de lanzar, pidiéndole en Codex que le construyera una herramienta interactiva que desglosa el reparto de parámetros entre embeddings, atención, feed-forward y cabeza de salida para distintos tamaños de GPT-2 (o configuraciones propias, con o sin weight tying o sesgo QKV). Según cuenta, el resultado fue muy bueno. No es una prueba de nada a gran escala, pero es un ejemplo pequeño de cómo un modelo frontera recién publicado ya sirve, el mismo día de su lanzamiento, para producir herramientas educativas útiles —justo el tipo de tarea de ingeniería bien delimitada donde estos sistemas rinden de forma fiable.

Nuestra lectura: en un sector donde el recuento de parámetros se ha usado durante años como atajo de marketing para insinuar capacidad —'este modelo tiene X mil millones de parámetros'—, este ejercicio recuerda algo que conviene no olvidar: no todos los parámetros son iguales, y una fracción sustancial de ellos, especialmente en modelos compactos, no es más que infraestructura de vocabulario. Esto tiene consecuencias prácticas nada triviales para la ola de modelos abiertos y locales que venimos siguiendo (GLM, Qwen, Gemma, gpt-oss y compañía): si un modelo se diseña para cubrir muchos idiomas o un vocabulario muy amplio, una parte de su presupuesto de parámetros —y por tanto de memoria y cómputo— se destina a esa tabla de traducción en vez de a las capas que realmente generan razonamiento. Entender esta distinción es exactamente el tipo de alfabetización técnica que necesita crecer si queremos que más gente pueda evaluar, adaptar y desplegar sus propios modelos en lugar de fiarse de titulares de tamaño. Es una pieza modesta —una entrada de blog personal, sin gran repercusión— pero apunta en la dirección correcta: cuanta más gente entienda de verdad cómo está hecha una IA por dentro, menos poder tiene el marketing de 'más parámetros, más inteligencia', y más fácil resulta construir, con criterio, los modelos pequeños y eficientes que sostienen la promesa de una IA distribuida y accesible para todos, no solo para quien tiene el clúster más grande.