El otro gran problema de Telegram no tiene nada que ver con Rusia: bots que desnudan a personas con IA

El otro gran problema de Telegram no tiene nada que ver con Rusia: bots que desnudan a personas con IA

Corría el año 2019. La IA generativa todavía estaba en pañales, pero ya empezaban a escucharse y hacer ruido términos como redes neuronales (para bien, por su potencial) y deepfakes (normalmente, para mal). Uno de los escándalos más sonados de 2019 fue el de DeepNude, una web que permitía desnudar a cualquier mujer con solo subir una foto. Entre bambalinas, lo que había era una red neuronal que había sido entrenada con más de 10.000 fotos de mujeres desnudas.

La web llevaba meses circulando, pero tras su descubrimiento solo duró unas horas. El desarrollador, que decía llamarse Alberto y residir en Estonia, cerró la plataforma alegando que "la probabilidad de que la gente haga mal uso de esta" era "demasiado alta" (no se podía saber) y que "el mundo aún no está preparado para DeepNude". Eso fue en 2019.

Hoy, en 2024, esta tecnología ha evolucionado hasta ser lo que es: un portento tecnológico cuya magnitud solo es igualada por el reto que supone frenar su mal uso. Porque la IA tiene infinitos casos de usos positivos, pero también puede usarse con fines menos éticos y morales. Fines como desnudar a personas a través de un bot de Telegram. Como DeepNude, pero más fácil y a la vista de todos. Porque el mundo, en 2024, sigue sin estar preparado para un desafío como este.

Cuatro millones de usuarios. Esos son los que, de acuerdo a una investigación de la revista WIRED, reúnen mensualmente al menos 50 bots de Telegram cuyo único fin es generar imágenes o vídeos de personas reales desnudas. Dos de ellos, asegura la revista, tienen 400.000 usuarios mensuales. Otros, 14 para ser exactos, superan los 100.000 usuarios.

Estamos hablando de miles de personas que (potencialmente) han generado imágenes de otras personas desnudas sin su consentimiento. Esto es, a todas luces, una violación de la protección de datos o privacidad, así como de la intimidad, honor y propia imagen. Y lejos de ser algo inocente, es una práctica que puede tener (y tiene) un impacto real en la vida de las personas. Entre 2022 y 2023, el contenido pornográfico deepfake aumentó un 464%, según el estudio State of Deepfakes de Home Security Heroes. El 99% de ese contenido está protagonizado por mujeres.

Xataka

Así gana dinero Telegram: cada vez más vías para monetizar una aplicación que sigue sin ser rentable

Cómo funcionan. Según detallan desde WIRED, estos bots se venden con mensajes como "Puedo hacer lo que quieras con la cara o la ropa de la foto que me des" y, en su mayoría, requieren que el usuario compre tokens con dinero real o criptomonedas. Que generen el resultado prometido o sean una estafa es otra historia. Algunos de estos bots permiten subir fotos de las personas para, afirman, entrenar a la IA y generar imágenes más precisas. Otros no se anuncian como bots para desnudar, pero sí enlazan a bots capaces de hacerlo.

El problema de fondo. No es que este tipo de bots se puedan encontrar y usar en Telegram, que también, sino lo complicado que es frenar este contenido. En lo que concierne a Telegram, una deep web en sí misma, la aplicación de mensajería ya ha sido objeto de polémica en alguna ocasión por cosas como esta.

El último caso es reciente, de hecho: la detención de su fundador. Pavel Durov fue detenido en Francia por, aparentemente, haber contribuido a cometer delitos en Telegram por la falta de moderación. Desde Telegram se defendieron, alegando que es "absurdo afirmar que una plataforma o su propietario son responsables del abuso de esa plataforma". Tras su detención, Durov aseguró que convertiría la moderación en una de las prioridades del servicio.

No obstante, cabe destacar que, a tenor del artículo de WIRED, Telegram ha eliminado los canales y bots reportados por la revista. Ahora bien, esos canales son lo que están, pero seguramente no estén todos los que son. Telegram, como indicábamos, en una deep web en sí misma que, no obstante, pone a disposición del usuario todas las herramientas necesarias para encontrar contenido. Un buscador, sin ir más lejos.

Atajarlo es complejo. Luchar contra los deepfakes es "básicamente una causa perdida". Esas fueron las palabras de Scarlett Johansson allá por 2019. La actriz fue una de las primeras víctimas de los deepfakes pornográficos (ni la única, desde luego) y hoy, en 2024, lo cierto es que la situación sigue más o menos igual. Ha habido algunos movimientos por parte de las grandes tecnológicas, pero la realidad es que los deepfakes siguen campando a sus anchas.

Ejemplo de imagen falsa generada con IA durante los estragos del huracán Helene | Pulsa en la imagen para ver el tweet original

Es más, las herramientas actuales han hecho que sea todavía más sencillo hacerlo. ¿Quieres una foto de Bill Gates sujetando un arma? ¿A Taylor Swift en lencería o apoyando a Donald Trump? Puedes hacerlo directamente en Grok, la IA de X, por ejemplo. Aunque algunas plataformas como Midjourney o DALL-E bloquean las peticiones polémicas, cualquier persona puede con una simple búsqueda en Internet, tiempo libre, muchas imágenes y mala idea entrenar su propia IA para vete a saber qué.

Ejemplos. Podemos encontrar tantos como queramos. Los más recientes los tenemos en Estados Unidos: los deepfakes generados a raíz de los estragos del huracán Helene. En Corea del Sur el problema del porno deepfake ha llegado a las más altas esferas y se ha convertido en una cuestión de interés nacional. Tanto que, hace unos días, se aprobaron una serie de leyes que contemplan penas de cárcel y multas por generar y hasta ver este contenido sintético. "Cualquier persona que posea, compre, almacene o mire material sexual sintético ilegal estará sujeta a una pena de prisión de hasta tres años o una multa de hasta 30 millones de wones (20.000 euros al cambio)", recogen en la BBC. Como dato, Telegram también ha jugado un papel importante en la difusión del contenido pornográfico sintético en Corea del Sur.

Xataka

La IA ha avanzado tanto que el problema no son solo los deepfakes. Es que desconfiamos incluso de las fotos reales

Qué se ha intentado. Uno de los enfoques de la industria es el marcaje del contenido generado mediante IA con marcas de agua invisibles. De momento, marcar el contenido como sintético o no depende del creador (Instagram y TikTok tienen herramientas para ello, por ejemplo), pero una marca de agua evitaría, o al menos reduciría, la difusión de contenido falso y fake news. Además, permitiría una detección temprana.

Sin embargo, la realidad es que su implantación a nivel global no es la norma. Si hablamos de contenido pornográfico sintético, el desafío es mucho mayor. No solo es una cuestión de moderación en las plataformas, sino de detección precoz, de evitar que se pueda hacer el daño. Una marca de agua no soluciona el problema per se, ya que tiene que implementarse.

Marca de agua para el contenido generado con IA propuesta por OpenAI | Imagen: OpenAI

Para que la marca de agua sea eficaz, esta debería implementarse en todos y cada uno de los modelos y herramientas de generación de contenido sintético. No solo en los comerciales, sino en los que un usuario puede ejecutar en local. De esa manera, todo el contenido generado por IA estaría marcado en origen y su detección por parte de los sistemas de las plataformas sería más sencilla. Pero una cosa es decirlo y otra muy distinta hacerlo.

Imagen | Wikimedia Commons y Pixabay editada por Xataka

En Xataka | Tenemos un gigantesco problema con las imágenes generadas por IA. Google cree tener la solución

-
La noticia El otro gran problema de Telegram no tiene nada que ver con Rusia: bots que desnudan a personas con IA fue publicada originalmente en Xataka por Jose García .