Tenemos inteligencia artificial. Lo que no tenemos es diversidad artificial. Esa es la conclusión a la que han llegado un grupo de investigadores que hicieron un test relativamente sencillo: preguntaron un montón de cosas a 25 modelos de IA distintos para ver qué respondían. Y eso es lo malo: que respondían cosas demasiado parecidas.
"Mente-colmena artificial". Científicos de la Universidad de Washington, la Universidad Carnegie Mellon o la Universidad de Stanford, entre otras instituciones, han publicado un interesante estudio conjunto. En él desvelan cómo tras diversas pruebas parece claro que aunque los modelos de IA cada vez son más avanzados, el problema es que todos ellos parecen haber desarrollado una especie de "mente-colmena artificial": da igual lo que les preguntes, contestan de forma sospechosamente parecida.
Al preguntar a todos esos modelos "qué era el tiempo", muchos respondieron con la frase "el tiempo es como un río", mientras que otro grupo de modelos contestaron que "es como un tejedor".
El tiempo es un río. Una de las preguntas que se les hizo a estos modelos es "¿Qué es el tiempo?", y aunque esa pregunta da margen claro para respuestas muy distintas, lo preocupante es que no lo fueron. Varios modelos contestaron con la frase "el tiempo es un río" para luego desarrollarla un poco, mientras que otros contestaban con "el tiempo es un tejedor (de momentos)". Esa similitud a la hora de responder resultó ser una constante.
La ilusión de la abundancia. Creemos que cuando consultamos algo con una IA accedemos a todo un mundo de posibilidades conversacionales, pero el estudio revela que en realidad estamos ante un sistema que propone salidas muy similares. Aunque los modelos de lenguaje prometen creatividad sin límites, tienden a converger en esa mente-colmena donde la diversidad se sacrifica para lograr la coherencia estadística. Es razonable, sobre todo teniendo en cuenta que los grandes modelos de lenguaje se basan en el concepto de transformer, un sistema probabilístico que trata de encontrar la "mejor" palabra siguiente según nos va respondiendo.
Mismo guión. Los investigadores crearon un conjunto de datos a gran escala con 26.000 consultas de usuarios reales que teóricamente permitían a los modelos generar múltiples respuestas válidas y creativas. Llamaron a ese conjunto de datos "Infinity-Chat" y se dividieron las preguntas en seis categorías principales y 17 subcategorías.
IA, te repites más que un disco rallado. Durante las pruebas se observó que un mismo modelo tiende a repetirse a sí mismo, generando respuestas muy similares. De hecho, incluso cuando se utiliban parámetros especiales para las preguntas diseñadas para fomentar la diversidad, se producía el mismo efecto. Es lo que los investigadores llaman el "colapso inter-modelo".
Demasiado parecidos. Esas pruebas fueron dejando claro que la similitud semántica, lo parecidas que eran las respuestas de los distintos modelos, era preocupante. Según el estudio esa similitud osciló entre el 71% y el 82%, y en algunos casos ciertos modelos llegaron a generar párrafos idénticos palabra por palabra.
El problema del entrenamiento. No es ya solo que todos generan texto de forma parecida por su diseño, sino que hay también un problema de entrenamiento. Los autores sugieren que esa homogeneidad de las respuestas se podría deber a varias razones:
- Las fuentes de datos de entrenamiento acaban siendo compartidas: los modelos se entrenan con "datasets" parecidos y por ejemplo se basan en textos y conocimiento similares que proceden por ejemplo de la Wikipedia o de un conjunto de libros muy parecido.
- Efecto de contaminación por datos sintéticos generados por otras IAs: además usan textos sintéticos generados por otros modelos de IA.
- Recompensas: los modelos usados para recompensar a estos modelos están calibrados para premiar cierta noción de "consenso" de calidad. Así pues, se castiga la diversidad creativa e individual. Se "educa" a las IAs para que sean precisamente muy parecidas entre sí.
Problemón a la vista. Todo ello hace que los investigadores adviertan explícitamente sobre dos riesgos claros al usar estos modelos de IA.
- Pensaremos lo mismo: si los usuarios no paramos de usar modelos de IA que nos contestan básicamente lo mismo, nuestras propias formas de pensar sobre esos temas y problemas se "homogeneizarán", y hará que también nuestras respuestas sean más uniformes.
- Reducción de puntos de vista: el otro peligro se deriva del primero: si la IA acaba convergiendo y respondiendo lo mismo, se eliminan puntos de vista. Aquí los sesgos por ejemplo del mundo occidental se harán patentes en modelos occidentales (ChatGPT, Gemini, Claude), y lo mismo ocurrirá con los orientales, por ejemplo. Eso provocaría la potencial supresión de visiones del mundo alternativas, de perspectivas y "miradas" diferentes a nuestra realidad.
Imagen | Solen Feyissa
-
La noticia
La buena noticia es que los modelos de IA son cada vez más potentes. La mala es que todos acaban diciendo lo mismo
fue publicada originalmente en
Xataka
por
Javier Pastor
.
🔥 Ver noticia completa en Xataka.com 🔥
