Reddit ha sido durante mucho tiempo un almacén de porno, que permite en su plataforma siempre que sea consentido. Ahora, a medida que las herramientas de IA de texto a imagen se ponen de moda, una avalancha de imágenes pornográficas generadas por IA ha descendido sobre la plataforma, a la que pueden acceder sus 57 millones de usuarios activos. Aunque estas imágenes pueden ser falsas, los modelos utilizados para crearlas se han entrenado con fotos de personas reales y pueden generar facsímiles de ellas, en la mayoría de los casos sin su consentimiento, según explican los expertos a Forbes.
«El problema fundamental del porno generado con inteligencia artificial es que se basa en el robo masivo de la imagen y el parecido de las personas, sobre todo de las mujeres», afirma Noelle Martin, víctima de deepfakes sexuales e investigadora jurídica del laboratorio de tecnología y política de la Universidad de Australia Occidental.
Forbes encontró 14 subreddits dedicados al porno generado por IA, 10 de los cuales se han creado en los últimos dos meses. Cada subreddit tiene miles de miembros y miles de visitas cada semana. Uno de los subreddits de porno con IA más populares es r/unstable_diffusion, que lleva activo desde septiembre de 2022 y cuenta con 54.000 miembros. Otro tiene más de 60.000 miembros. Reddit tiene un botón de «búsqueda segura» para ocultar el contenido para adultos durante la búsqueda normal, pero sin este botón, la búsqueda de «porno de IA» en Reddit devuelve más de dos docenas de foros que alojan y comparten material para adultos generado por IA. Dentro de estos subreddits, algunos usuarios solicitan o venden deepfakes sexuales de personas reales generados por IA.
A medida que las herramientas de IA de texto a imagen se vuelven más sofisticadas y sus resultados más realistas, a los usuarios les resulta más difícil diferenciar no sólo lo que es real de lo que no lo es, sino también lo que es consentido de lo que no lo es. A principios de abril, según Rolling Stone, algunos usuarios de Redd fueron engañados para que pagaran 100 dólares por las fotos de una mujer de 19 años llamada Claudia, que había sido creada con la herramienta de inteligencia artificial Stable Diffusion. Los expertos afirman que los sistemas de conversión de texto en imágenes que crean porno con IA se entrenan con millones de imágenes de personas reales, la mayoría sin su conocimiento o consentimiento, así como con imágenes propiedad de otras entidades. Artistas y plataformas de imágenes de archivo como Getty han demandado recientemente a generadores de texto a imagen como Stability AI y Midjourney por infracción de derechos de autor.
Una víctima de un caso de tráfico sexual en el que ella y otras mujeres fueron obligadas a mantener relaciones sexuales ante las cámaras, declaró a Forbes que cree que el uso de sus imágenes o vídeos para entrenar sistemas de IA sería una violación de su intimidad. La víctima, que habló de forma anónima con Forbes por temor a que salieran a la luz vídeos suyos, afirma que se subieron a Reddit y a otros sitios vídeos suyos de contenido sexual explícito sin su consentimiento y que posteriormente se retiraron.
«Que la gente siga teniendo copias de esto ya es una enorme violación de mis derechos legales», afirma. «Así que el hecho de que compartan estas copias públicamente y creen nuevos contenidos con mi imagen para distribuirlos y entrenar a los sistemas de IA significa básicamente que yo, como persona, no tengo ningún control ni capacidad para impedirlo».
El porno generado por IA también ha aparecido en otras plataformas como Twitter e Instagram. Pero ha florecido predominantemente en Reddit, en parte porque la plataforma permite a los usuarios permanecer en el anonimato y no les prohíbe compartir contenidos sexualmente explícitos. La propia plataforma también se ha utilizado para entrenar grandes modelos lingüísticos y ahora exige un pago: el consejero delegado de Reddit, Steve Huffman, dijo en una entrevista reciente con el New York Times que quiere que Google, Microsoft y OpenAI paguen por utilizar los datos y las conversaciones de Reddit para entrenar sus algoritmos. «El corpus de datos de Reddit es realmente valioso. Pero no necesitamos dar todo ese valor a algunas de las empresas más grandes del mundo de forma gratuita», dijo Huffman al New York Times. Reddit anunció recientemente que cerrará su API de datos, que llevaba abierta desde 2008 y planea cobrar a terceros más grandes por el «acceso premium» a la misma.
Con el respaldo de pesos pesados como Andreessen Horowitz y Sequoia Capital, Reddit se valoró por última vez en 10.000 millones de dólares tras recaudar 700 millones en una ronda de Serie F en agosto de 2021. Con una financiación total de 1.900 millones de dólares, también planea salir a bolsa este año. Reddit obtuvo unos ingresos de 470 millones de dólares en 2021 principalmente a través de la venta de anuncios y suscripciones premium, según estimaciones de Statista.
Aunque Reddit afirma que no muestra anuncios en contra ni monetiza el contenido porno en su web, los expertos dicen que permitir este contenido en el sitio, artificial o real, atrae a más usuarios a la plataforma e impulsa el compromiso. «Aunque no se anuncien en los subreddits, se benefician del hecho de que estos hilos atraen a mucha gente», afirma Sophie Maddocks, investigadora sobre ciberviolencia sexual.
Los usuarios que acuden a la plataforma para consumir porno también visitan otras páginas y subreddits que no contienen contenidos NSFW, afirma Jamie Cohen, profesor de medios sociales y estética publicitaria en la universidad CUNY Queens. «De hecho, Reddit rastrea las visitas a páginas y subreddits y luego envía datos personalizados que ofrecen nuevas vías de uso a los anunciantes», afirma.
Rastreando internet en busca de «Chicas AI»
Si bien Reddit es la mayor plataforma de redes sociales que aloja porno de IA para sus decenas de millones de usuarios, un gran número de sitios específicos de porno de IA se ha establecido para monetizarlo.
La mayoría de los generadores de porno con IA, como PornJourney, PornPen, PornJoy y SoulGen, cobran suscripciones premium y están conectados a cuentas de Discord o Patreon en la sombra gestionadas por usuarios anónimos. Sus sitios web muestran una gran variedad de porno generado por IA con diferentes opciones de etnias y tipos de cuerpo e instrucciones sobre cómo crearlos, todo ello sin apenas revelar cómo se entrenaron los sistemas ni con qué imágenes. Para ello, los sitios también incluyen descargos de responsabilidad sobre los contenidos generados a través de sus herramientas: «Cualquier generación de contenidos de este sitio web que se parezca a personas reales es pura coincidencia. Esta IA refleja sesgos y conceptos erróneos presentes en sus datos de entrenamiento».
Uno de estos generadores de imágenes de IA, PornJourney, fue creado y lanzado en marzo de 2023; cobra a los usuarios 15 dólares al mes por crear «chicas de IA» que parecen «reales y humanas», según su página web.
«Proporcionar fotos auténticas y detalladas de chicas de IA es costoso, lo que nos obliga a invertir continuamente en nuestros servidores», explican las preguntas frecuentes del sitio.
PornPen, que cuenta con 2 millones de usuarios mensuales y 12.000 usuarios que pagan 15 dólares al mes por su herramienta de generación de porno con IA, se basa en el modelo de IA de Stable Diffusion y obtiene imágenes de un conjunto de datos llamado «LAION», que contiene unos 6.000 millones de imágenes procedentes de contenido público disponible en la web. Este enorme conjunto de datos incluye imágenes de famosos, modelos, políticos y creadores de contenidos. El sitio web de la organización sin ánimo de lucro dice: «Nuestra recomendación es utilizar el conjunto de datos con fines de investigación».
Tori Rousay, directora de promoción del National Center on Sexual Exploitation (NCOSE), dice que la mayoría de los generadores de texto a imagen de porno con IA, como Unstable Diffusion y Porn Pen, utilizan modelos de código abierto de GitHub o Hugging Face para obtener imágenes de sitios web porno y perfiles de redes sociales y construir una base de datos de imágenes sexualmente explícitas. Forbes encontró al menos cinco repositorios de GitHub para rastreadores web que pueden utilizarse para extraer imágenes y vídeos de sitios web como PornHub y Xvideos, así como de redes sociales como Twitter, Instagram y TikTok para crear sistemas de inteligencia artificial. PornHub y Xvideos no respondieron a la solicitud de comentarios.
«Unstable Diffusion es prima de Stable Diffusion. Lo que hicieron fue tomar su código, replicarlo y crear su propio repositorio basado únicamente en imágenes pornográficas y de desnudos», explica Rousay, que ha investigado cómo se utiliza la IA para crear pornografía. Según Rousay, las mujeres famosas, las políticas y las periodistas son las que más probabilidades tienen de ser víctimas de la IA pornográfica, ya que gran parte de su contenido visual está disponible en Internet. Estas personas son también las más afectadas por la creación de deepfakes.
La zona gris de Reddit
Reddit ha tratado de aclarar su postura en esta área emergente de contenido sexual explícito prohibiendo el contenido sexual explícito no consentido, incluyendo «representaciones que han sido falsificadas», refiriéndose a deepfakes AI, o sea, cuando un algoritmo genera imágenes falsas de una persona real. El sitio también prohíbe «el material generado por IA si se presenta en un contexto engañoso», según un portavoz de Reddit. Reddit afirma que utiliza una combinación de herramientas automatizadas y su equipo interno de seguridad para detectar y eliminar del sitio contenidos explícitos no consentidos. Pero no lo atrapa todo.
«Reddit también es conocido por esa línea borrosa entre lo que moralmente cuestionable y lo que está prohibido en Reddit. Así que la pornografía generada por inteligencia artificial entra dentro de la zona gris de Reddit«, explica Rousay.
Los deepfakes, el contenido sexual explícito no consentido y la pornografía generada por IA se encuentran en el mismo grupo de imágenes pornográficas que se reciclan en nuevas imágenes de IA. Pero es importante señalar la diferencia entre el porno de IA generativa, que muestra a una persona totalmente nueva y no identificable, y los deepfakes sexuales, en los que se replican digitalmente rostros de personas en cuerpos de otras personas. Martin, investigadora y superviviente de deepfakes, dice que se enfrentó a las implicaciones de esto hace 10 años, mucho antes de que existiera la IA generativa, cuando alguien photoshopeó sus selfies para fabricar imágenes y vídeos pornográficos de ella. Con los avances tecnológicos de los últimos años, cada vez es más difícil distinguir los deepfakes sexuales del porno con IA, afirma.
Nicola Henry, que lleva 20 años estudiando la violencia sexual facilitada por la tecnología y el abuso sexual basado en imágenes en el Real Instituto de Tecnología de Melbourne, afirma que, en comparación con los deepfakes sexuales, el porno con IA puede parecer más inocuo a primera vista. Pero si se mira más de cerca, algunas imágenes muestran rastros de que la IA puede haber sido entrenada con imágenes de menores de edad, dice. «He visto algunas de las imágenes de IA en Reddit y las caras no parecen de mujeres, sino de niñas menores de edad, así que es preocupante porque si fueran reales, esas imágenes podrían calificarse como contenido de abuso sexual infantil».
El fabricante de porno con IA, Unstable Diffusion, ha intentado eludir este problema prohibiendo a los usuarios utilizar su herramienta para crear CSAM y tratando de obtener imágenes consentidas pidiendo a la gente que se las proporcione a cambio de un acceso anticipado y una suscripción gratuita a su generador de porno con IA. Ahora, afirma haber recopilado 15 millones de imágenes «donadas por los usuarios» para su base de datos de entrenamiento.
Maddocks afirma que aunque estas herramientas se utilicen para la expresión y la exploración sexual, fomentan expectativas poco realistas y malsanas en torno a la imagen corporal y las relaciones sexuales simplemente por el corpus de datos del que se alimentan. Navegando por la erótica generativa de la IA en Reddit y Twitter, dice que estas representaciones reflejan los estereotipos sexuales y los prejuicios raciales que se encuentran en los medios de comunicación convencionales. «Como estas herramientas aprenden de las imágenes que ya existen, o del texto que ya existe, cuando se les pide que produzcan muchas imágenes de grupos sexuales marginados o de personas queer o trans de color, a menudo se quedan cortas», afirma.
Los sistemas de IA que remezclan contenidos de sitios como PornHub y Xvideos plantean además un problema para los actores adultos que poseen los derechos de sus contenidos, afirma Maddocks. Los actores de cine para adultos y las plataformas que alojan su trabajo ganan dinero con las suscripciones y la publicidad de sus contenidos, afirma. Pero de momento no se les paga si sus imágenes se utilizan para generar porno. Artistas y plataformas que han sufrido pérdidas económicas por la IA generativa han emprendido acciones contra herramientas de IA como Stable Diffusion por utilizar imágenes sin pagar. El porno con IA generativa podría provocar una protesta similar en la industria del cine para adultos, afirma Maddocks.
Reddit ha acogido históricamente otras formas de contenido sexualmente explícito y sexualmente abusivo dentro de sus comunidades. Años después de que subreddits controvertidos como r/jailbait y r/creepshots fueran eliminados, las imágenes sexualmente explícitas de comunidades prohibidas aún perduran en la plataforma. «Creo que con Reddit puedes ir un poco más allá de lo aceptable de una forma que no puedes hacer en otras plataformas», afirma Maddock. «Pasas completamente desapercibido».