ChatGPT-5.5 casi iguala a los oncólogos al juzgar vídeos sobre inmunoterapia; Gemini y MedGemma aprueban demasiado

Por Bioengineer.org · 8 de noviembre de 2026.

Un estudio publicado en Frontiers in Public Health ha medido si los grandes modelos de lenguaje (LLM) pueden filtrar la calidad de los vídeos online sobre inmunoterapia oncológica. Según los autores (Yaslikaya, Ataş İpek y Erdem Palaz), ChatGPT-5.5 fue el que más se acercó al criterio de los especialistas. Otros sistemas aprobaron con frecuencia material que los oncólogos consideraron insuficiente.

El diseño fue este. Los investigadores analizaron 90 transcripciones de vídeos de YouTube en inglés. Tres oncólogos médicos puntuaron cada una y su mayoría sirvió de referencia. Cuatro modelos hicieron lo mismo en tres sesiones independientes: ChatGPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro y MedGemma 27B, un modelo de pesos abiertos adaptado a medicina. Usaron cuatro instrumentos validados: DISCERN, la Global Quality Score y las dos dimensiones (comprensibilidad y accionabilidad) del PEMAT, una herramienta de evaluación de materiales educativos para pacientes.

Primer dato: la calidad escasea. Según el consenso de los oncólogos, solo 35 de los 90 vídeos (38,9 %) cumplían al menos tres de los cuatro criterios de adecuación, y solo 24 (26,7 %) cumplían los cuatro. Además, la popularidad del vídeo no predecía su calidad.

Segundo dato: ChatGPT-5.5 fue el más cercano al criterio experto en los cuatro instrumentos. Al clasificar un vídeo como adecuado o no, logró una sensibilidad del 94,3 % (IC 95 %: 81,4–98,4) y una especificidad del 89,1 % (IC 95 %: 78,2–94,9). Su kappa de Cohen, una medida de acuerdo que descuenta el azar, fue 0,82 (IC 95 %: 0,69–0,93). Los intervalos son amplios porque la muestra es pequeña.

Tercer dato: el resto fue más indulgente. Gemini produjo 43 falsos positivos, es decir, vídeos que daba por adecuados y los oncólogos no. MedGemma produjo 26. La fuente no detalla las cifras de Claude Opus 4.8 más allá de que el acuerdo entre modelos fue limitado en conjunto, así que no conviene extraer conclusiones sobre él.

Los propios autores piden prudencia. Afirman que los resultados no establecen validez clínica ni un umbral operativo para el cribado autónomo, y que la revisión de un especialista sigue siendo necesaria.

Nuestra lectura. La tesis: el titular «la IA evalúa contenido médico» es engañoso, porque lo que importa es qué modelo, con qué prompt y con qué sesgo de error. Aquí el fallo peligroso no es la imprecisión, sino la indulgencia sistemática. Un filtro que deja pasar vídeos malos a pacientes que deben reconocer efectos adversos de un tratamiento oncológico es peor que no tener filtro, porque da una falsa sensación de control.

Hay un segundo mensaje incómodo para la industria. El modelo médico especializado, MedGemma, no mejoró a los generalistas en esta tarea. En general, la especialización por dominio no garantiza mejor juicio en tareas de evaluación; conviene medirlo caso a caso, no darlo por supuesto. Y un único estudio, con 90 transcripciones y una sola especialidad, no permite decir que ChatGPT-5.5 «gana» en general: otro prompt o otro conjunto de vídeos podrían cambiar el orden.

El valor práctico está en el reparto de tareas. Los oncólogos son un recurso escaso y no pueden revisar todo lo que circula en YouTube. Un modelo con alta sensibilidad que priorice qué materiales mirar primero, con un humano decidiendo, es un uso razonable y ya realista. Es un ejemplo pequeño de la tesis de fondo: a corto plazo, la IA amplifica la capacidad del especialista, no lo sustituye. Si esa supervisión se mantiene y se mide, el largo plazo apunta a que cualquier paciente tenga acceso a información fiable sin depender de la lotería del algoritmo de recomendación.