Mismo prompt, distinta respuesta: un estudio prueba que ni vLLM ni SGLang garantizan determinismo en la IA

Por Zendoric · 9 de octubre de 2026.

Un preprint publicado en arXiv el 30 de septiembre (Jianxing Qin, Alexander Du, Danfeng Zhang, Matthew Lentz y Danyang Zhuo) pone a prueba una promesa que varios motores de inferencia de IA ya anuncian como resuelta: que un mismo modelo, con el mismo prompt y la misma configuración de muestreo, debe devolver siempre la misma respuesta. Según los propios autores, ni el 'modo invariante por lote' de vLLM ni el 'modo determinista' de SGLang —dos de los motores de código abierto más usados para servir modelos grandes en producción— lo cumplen en todos los casos: sus pruebas encontraron que ambos producen logits distintos (las puntuaciones brutas que el modelo asigna a cada palabra candidata antes de convertirlas en probabilidades) bajo ciertas variaciones de ejecución.

La causa no está en el modelo, sino en la infraestructura que lo sirve. Para ser eficiente, un servidor de inferencia agrupa peticiones de distintos usuarios en 'lotes' (batches) que varían en composición según quién esté preguntando algo en ese instante; trocea los prompts largos de formas distintas; decide de manera dinámica cuándo procesar el texto de entrada (prefill) y cuándo generar palabra a palabra (decode); y reutiliza, descarta o recalcula la caché de clave-valor (KV-cache), la memoria que evita recalcular la atención sobre todo el texto previo en cada paso. Ninguna de estas decisiones debería alterar el resultado, pero en la práctica sí lo hace, porque las operaciones de punto flotante en GPU no son estrictamente asociativas: sumar los mismos números en distinto orden —algo que cambia según cómo se agrupe el lote— puede dar un resultado ligeramente distinto, y ese margen se propaga token a token.

Frente a esto, los autores presentan Vosti, un motor de inferencia diseñado desde cero con dos reglas: elige qué 'kernel' de GPU usar (la rutina concreta que ejecuta el cálculo) sin mirar el estado del motor en ese momento, y ata cada valor cacheado a su prefijo lógico de tokens en lugar de a su posición física en memoria. La diferencia de fondo, sin embargo, no es de ingeniería sino de método: en vez de limitarse a probar el sistema con más casos de prueba, lo verifican formalmente. Usan Verus —una herramienta de verificación deductiva habitual en proyectos de sistemas en Rust— para demostrar mediante una prueba inductiva que la planificación de tareas y la caché KV paginada y compartida entre prefijos preservan los logits de salida, y un analizador sobre Triton (el lenguaje de OpenAI para escribir kernels de GPU, muy extendido en el ecosistema PyTorch) para probar que los kernels elegidos dan resultados bit a bit idénticos con independencia del tamaño de lote, la longitud de la consulta o cómo esté distribuida la caché. El resultado, según el propio artículo, es determinismo bit a bit en todas las variaciones probadas, con un rendimiento en cargas de trabajo intensivas en generación comparable al del modo invariante de vLLM.

Es una pieza de ingeniería invisible —el paper llegó a Hacker News con un solo punto y cero comentarios, lo que da la medida de lo especializado del tema incluso para un público técnico— pero el problema que ataca no es menor. La reproducibilidad es la base de cualquier evaluación seria de un modelo: si los benchmarks de calidad o de seguridad con los que comparamos modelos (algo que en Zendoric repetimos que importa más que el marketing) pueden variar según cómo el servidor agrupó las peticiones esa tarde, la propia noción de 'medir' se resiente. Lo mismo ocurre con la depuración de agentes en producción: si un sistema se comporta mal una vez, hace falta poder reproducir exactamente esa ejecución para entender por qué, y la no determinismo lo impide.

Nuestra lectura es que este tipo de trabajo —árido, sin titulares, pensado para que nadie tenga que pensar en él— es precisamente el que falta cuando la IA empieza a entrar en terrenos donde la trazabilidad no es opcional: diagnóstico médico, decisiones de crédito, asesoría legal. Hemos señalado antes cómo en sanidad el discurso ya empieza a invertir la carga de la prueba hacia quien no usa IA; pues bien, esa responsabilidad solo se puede exigir con seriedad si el sistema que hay detrás se puede auditar, y auditar exige que la misma pregunta produzca la misma respuesta, de forma demostrable y no solo observada en un conjunto de pruebas. Vosti es, por ahora, un prototipo académico, no algo que ninguna nube vaya a desplegar mañana. Pero el hueco entre lo que los motores de producción anuncian ('modo determinista') y lo que realmente verifican es exactamente el tipo de brecha entre relato y evidencia que conviene vigilar según la frontera de la IA avanza hacia usos donde equivocarse —o simplemente no poder explicar por qué se acertó— tiene un coste real.