IA generativas se entrenan con fotos de abuso sexual infantil

Más de 3.000 imágenes de abuso sexual infantil forman parte de una importante base de datos que se utiliza para entrenar herramientas de inteligencia artificial, descubrió una investigación de la Universidad de Stanford. Estas fotografías permiten la generación de imágenes falsas y explícitas de menores de edad, así como la manipulación de fotos de redes sociales de personas reales. Los investigadores encontraron el material en la base de datos llamada LAION-5B, utilizada para entrenar sistemas como Stable Diffusion.

Hasta ahora, se pensaba que las herramientas de inteligencia artificial generativa producían imágenes abusivas de niños combinando dos grupos separados de imágenes obtenidas en la web: pornografía de adultos y fotografías genéricas de niños. Pero los expertos se han topado con que, en realidad, no es así.

El Observatorio de Internet de Stanford trabajó junto con el Centro Canadiense para la Protección Infantil y otras organizaciones para identificar el material ilegal. Luego del hallazgo, informaron los enlaces de las fotografías originales a las autoridades.

Representantes de LAION, que promociona la red abierta de inteligencia artificial a gran escala, dijeron que eliminaron temporalmente el conjunto de datos LAION-5B. Explicaron que tomaron la medida «para garantizar que sea seguro antes de volver a publicarlo».

Las fotografías de abuso sexual infantil encontradas son una pequeña fracción de la base de datos LAION-5B, que contiene miles de millones de imágenes. Los investigadores explican que probablemente se agregaron sin intención cuando los creadores de la base de datos tomaron imágenes de las redes sociales y otras páginas web.

La inteligencia artificial, el abuso sexual infantil y los responsables

Aunque se trate de una porción pequeña de datos, el hallazgo de las fotos de abuso sexual infantil demuestra una vez más lo poco que se sabe sobre los conjuntos de datos detrás de las herramientas más poderosas. Por ejemplo, OpenAI, creadora de ChatGPT, nunca ha querido especificar de dónde obtiene el material que usa para entrenar sus sistemas. Muchas de estas startups se limitan a explicar que obtienen la mayor parte de los datos disponibles libremente en Internet.

El Washington Post y el Allen Institute for AI analizaron este año más de 15,1 millones de sitios web. Estaban basados en otro famoso conjunto de datos llamado C4 (Colossal Clean Crawled Corpus). La C4 se usó, específicamente, para desarrollar los modelos de lenguaje LLaMA, de Facebook, y T5, de Google. Los resultados de la investigación demostraron que muchos de los contenidos estaban protegidos por derechos de autor, incluían material racista e información tendenciosa. También encontraron cientos de ejemplos de sitios web pornográficos y referencias nazis.

Apenas se disparó la popularidad de las herramientas generadoras de imágenes, comenzaron las alertas sobre deepfakes. Según un estudio de la firma investigadora independiente Genevieve Oh, más de 143,000 nuevos vídeos manipulados con inteligencia artificial se compartieron en línea este año. Esto supera los registros de la organización de todos los años anteriores combinados.

Otras organizaciones, como Thorn, vienen denunciando que han encontrado miles de imágenes de abuso sexual infantil generadas en foros de la dark web este año. Algunos participantes comparten guías detalladas sobre cómo otros pedófilos pueden hacer sus propias creaciones con las nuevas herramientas.

¿Qué dicen ahora los creadores de Stable Diffusion?

Los evaluadores de Stable Diffusion, uno de los sistemas señalados en la nueva investigación de Stanford, han discutido durante meses el riesgo de que la inteligencia artificial pudiera usarse para imitar rostros y cuerpos de niños. Así lo demuestra una revisión del Washington Post de sus conversaciones en Discord. Pero la empresa ha defendido su enfoque de código abierto con el argumento de la libertad creativa de los usuarios. 

Stable Diffusion fue desarrollada Stability AI, denunciada también por usar material protegido por derecho de autor para entrenar a sus modelos. Su director ejecutivo, Emad Mostaque, dijo a The Verge el año pasado que «es responsabilidad de las personas si son éticas, morales y legales en la forma en que operan esta tecnología». «Las cosas malas que la gente crea… serán un porcentaje muy, muy pequeño del uso total», dijo entonces.

Stability AI respondió al hallazgo del material de abuso sexual infantil por parte de la Universidad de Stanford, explicando que solo alberga versiones filtradas de Stable Diffusion. «Desde que asumió el desarrollo exclusivo de Stable Diffusion, Stability AI ha tomado medidas proactivas para mitigar el riesgo de uso indebido», explicó la empresa en un comunicado. «Esos filtros impiden que el contenido inseguro llegue a los modelos», agregó.

La premura del mercado

Otros generadores de imágenes a partir de texto se derivan de la base de datos LAION, aunque no siempre está claro cuáles. OpenAI, desarrollador de DALL-E y ChatGPT, dijo a AP que no utiliza LAION y que ha perfeccionado sus modelos para rechazar solicitudes de contenido sexual.

Google creó un modelo generativo de texto a imagen basándose en un conjunto de datos LAION. Sin embargo, decidió no hacerlo público en 2022. La compañía suspendió el lanzamiento después de que una auditoría de la base de datos «descubriera una amplia gama de contenido inapropiado, incluidas imágenes pornográficas, insultos racistas y estereotipos sociales dañinos».

David Thiel, autor del informe y tecnólogo jefe del Observatorio de Internet de Stanford, resalta que muchos proyectos de inteligencia artificial se lanzaron de manera apresurada al mercado. Además, los expertos afirman que estos sistemas nunca deberían entrenarse utilizando fotografías de niños, incluso aunque no fueran explícitas.