La IA traduce mejor el sueco que el hindi: lo que importa es dónde ponen el esfuerzo los laboratorios

Un equipo de Smartling, plataforma de traducción con IA, probó cómo traducen los modelos más recientes de los principales laboratorios de frontera siete idiomas: estonio, hindi, indonesio, portugués de Brasil, sueco, tailandés y turco. El análisis lo firma Olga Beregovaya, VP de IA de Smartling, como colaboración en Forward Future.

La conclusión central es contraintuitiva: el número de hablantes casi no guarda relación con la calidad de la traducción. El sueco, con unos 10 millones de hablantes, obtuvo algunas de las mejores traducciones del estudio. El hindi, con unos 600 millones, quedó entre las peores, junto con el estonio y el tailandés. Según la autora, un hablante de hindi recibe peor servicio que uno de sueco pese a ser 60 veces más numeroso.

Metodología: cada modelo recibió el mismo conjunto de unos 500 frases por idioma, extraídas de cuatro dominios empresariales habituales. Las traducciones se puntuaron con varias métricas estándar de la industria para que ninguna cifra aislada distorsionara el resultado. Además, se probaron dos generaciones de modelo de cada laboratorio, para ver tanto la situación actual como la evolución.

Importancia: la IA se usa ya en banca, sanidad y educación, y quien integra estos modelos en un producto hereda sus puntos ciegos. Antes la pregunta era si un modelo admitía un idioma; hoy los modelos generan texto en cientos de idiomas y la cuestión es qué calidad tiene.

Explicaciones según el texto: parte de la brecha viene de los propios idiomas. El portugués de Brasil tiene una gramática relativamente sencilla y abundante texto disponible. El sueco, emparentado con el alemán, ha perdido buena parte de su complejidad gramatical. El estonio modifica mucho la forma de las palabras según su función en la frase, algo con lo que los modelos tienen dificultades. El hindi se queda atrás porque los modelos no se han entrenado con suficiente texto en hindi, ni con suficiente variedad.

Sin embargo, gramática y datos solo explican una parte. La traducción es una tarea más entre muchas para los laboratorios, que también atienden razonamiento, programación, agentes y seguridad, de modo que cada versión refleja dónde se dedicó el esfuerzo. La tokenización (la forma en que el modelo divide el texto en piezas) pesa sobre todo en escrituras como el hindi y el tailandés, y sus actualizaciones suelen seguir las prioridades de la hoja de ruta del producto.

Evolución: los idiomas que partían peor solían mejorar más de una generación a otra, pero no siempre, y el progreso fue desigual entre laboratorios. Además, los modelos nuevos a menudo cambian el formato, la verbosidad o la puntuación de maneras que alteran las métricas aunque el significado se conserve. La autora sostiene que las prioridades de tres o cuatro empresas en un ciclo dado pueden decidir si un idioma alcanza al resto.

Soluciones: los métodos son conocidos: más texto multilingüe, mejores tokenizadores, datos sintéticos (texto generado por modelos para cubrir lagunas) y transferencia entre idiomas (por ejemplo, un modelo entrenado con mucho ruso puede extrapolar al esloveno). Lo que falta es foco: los laboratorios podrían asignar un responsable a los idiomas desatendidos y publicar resultados por idioma con cada lanzamiento. Las empresas que construyen sobre estos modelos pueden probarlos en los idiomas de sus clientes y devolver esos resultados a los laboratorios. Smartling comparte sus hallazgos con los laboratorios y analiza las causas con sus científicos, que según la autora se muestran receptivos.

Contexto: la autora cita que en septiembre una coalición de la Fundación Gates reunió a laboratorios de frontera en un compromiso conjunto para desarrollar durante cinco años soporte de IA para idiomas con pocos recursos. Lo ve como señal de que empiezan a tratarlos como prioridad. Su cierre es claro: la brecha se reduce donde los laboratorios trabajan, y el hindi, el estonio y el tailandés mejorarán solo si laboratorios y empresas deciden que esos idiomas cuentan.

Conviene matizar que se trata de una opinión de una empresa del sector de la traducción, con un estudio de siete idiomas y unas 500 frases por idioma; el texto no detalla qué modelos ni qué métricas concretas se usaron.