Inteligencia Artificial

Aumentan los casos de contenido pornográfico creado con inteligencia artificial: cuáles son las consecuencias y cómo detenerlo

El 99% del contenido deepfake pornográfico va dirigido contra las mujeres. Su creación y posterior difusión provoca un daño tanto físico como mental en las personas que sufren este tipo de ataques.

Código Proyectado Sobre La Mujer
Código Proyectado Sobre La Mujer Pexels
Julieta Andrade 5 noviembre de 2024

No cabe dudas que la Inteligencia Artificial (IA) llegó para quedarse y que cambió para siempre la manera de ver y hacer las cosas. 

El problema es cuando esta herramienta se utiliza con fines nocivos, como es el caso de la creación y difusión de imágenes o videos falsos que contienen fuerte contenido pornográfico.

Aumentan los casos de contenido pornográfico creado con inteligencia artificial: cuáles son las consecuencias  y cómo detenerlo
Cada vez son más los casos de deepfake creados mediante inteligencia artificial.



Los primeros casos comenzaron con mujeres famosas como Jennifer LawrenceScarlett Johansson, en donde se utilizaban escenas pornográficas ya existentes e insertaban sus caras en el video. 

El informe State of Deepfake 2023 reveló que entre 2022 y 2023 la cantidad de deepfake pornográfico aumentó 464%; mientras que en 2022 habían 3275 videos, ya en 2023 el número llegaba a 21.019. 

El dato más alarmante es que el 96% del contenido deepfake que circula en internet es pornográfico y el 99% va dirigido contra las mujeres, lo que expone una nueva forma de acoso por motivos de género con el fin de silenciar e intimidar a las mujeres. 



Esta problemática ahora no solo afecta a las celebridades, sino también a las niñas, adolescentes y jóvenes de todo el mundo. Pero, ¿cuáles son las razones de este incremento? 

Mercedes Suarez, psicóloga y sexóloga, sostiene que el contexto actual es más individualista, hiperproductivo y violento, lo que otorga una especie de permiso a los discursos y prácticas machistas, que, a su vez, se contraponen al avance del feminismo con sus discursos de igualdad: "La mujer socialmente sigue siendo puesta en un lugar de objeto y no de sujeto, lo que con la tecnología y la velocidad actual lleva a repetir diferentes tipos de violencias. Este tipo de casos nos lleva a preguntarnos acerca de los discursos que les siguen llegando a las adolescencias, los cuales reproducen sin tanta consciencia de las consecuencias de lo que el mundo adulto normaliza o minimiza sobre la subjetividad y sexualidad de las mujeres y disidencias".

Buenos Aires, Córdoba y Río Negro: algunos de los casos más recientes 

En distintos puntos del país surgieron casos similares: menores de edad que alteran fotos o crean videos de contenido sexual ya existente en el que insertan las caras de sus compañeras de colegio. 



Uno de estos casos ocurrió en San Martín, provincia de Buenos Aires, en donde un alumno de 15 años del Colegio Agustiniano de San Andrés vendía por Discord -una plataforma digital de mensajería- imágenes alteradas por IA en las que sus compañeras se encontraban desnudas. 

  • El hecho salió a la luz gracias a la colaboración de otro estudiante, quien se hizo pasar por comprador y una vez que tuvo el CBU y el nombre real de la persona comenzó a avisarle a cada una de las víctimas.

Aumentan los casos de contenido pornográfico creado con inteligencia artificial: cuáles son las consecuencias  y cómo detenerlo
Colegio Agustiniano de San Andrés.

Las denuncias, que fueron efectuadas por los padres de las veintidós adolescentes damnificadas, fueron realizadas en el mes de agosto y la semana pasada la fiscal de menores, Verónica Novoa, requirió una orden de restricción perimetral. 



Este fue uno de los reclamos de Florencia, una de las madres denunciantes, quien expresó su temor porque las víctimas tengan que seguir manteniendo contacto físico con el denunciado: "Estoy preocupada porque mi hija no quiere venir al colegio. Tiene vergüenza y terror de cruzarse con el chico".

La licenciada Suarez explica que este tipo de hechos tienen un impacto negativo en la salud mental y subjetividad de las personas, sobretodo cuando se ejerce a edades tempranas: "Parte de las secuelas psicológicas generales son inseguridad, falta de autoestima, miedo de no ser queridas o elegidas, o inseguridad con sus cuerpos. Estas cuestiones luego pueden desencadenar en diagnósticos más graves, como ataques de pánico, ansiedad, depresión, trastornos de la conducta alimentaria o ansiedad social".

Aumentan los casos de contenido pornográfico creado con inteligencia artificial: cuáles son las consecuencias  y cómo detenerlo
En la Escuela Manuel Belgrano de Córdoba se registró otro caso similar.



Algo similar sucedió en la Escuela Manuel Belgrano de Córdoba, en donde un estudiante fue denunciado por utilizar inteligencia artificial para crear imágenes pronográficas de sus compañeras. En este caso, el alumno fusionaba los rostros de las adolescentes con los cuerpos desnudos de mujeres adultas. 

La denuncia recayó en el fiscal Juan Ávila Echenique, quien se encarga de investigar los delitos contra la integridad sexual. Sin embargo, el caso fue derivado a una unidad judicial contravencional de género ya que el artículo 128 del Código Penal solo penaliza el uso de imágenes cuando las víctimas son niños/as o adolescentes, y en esta situación son mayores de edad. 

Asimismo, las autoridades del colegio involucraron al equipo de Asesoría en Violencia de Género y Masculinidades; y la directora de la escuela, Andrea Marinelli, afirmó que el caso se encuentra en el área de asuntos jurídicos de la Universidad Nacional de Córdoba (UNC), institución a la cual pertenece la escuela. 



Por otro lado, el diputado cordobés Juan Brügge, presentó un proyecto en el Congreso Nacional que busca establecer un marco jurídico para que la inteligencia artificial sea utilizada de manera responsable y que, a su vez, se protejan los derechos de los ciudadanos garantizando una aplicación ética y transparente. 

  • También propone un sistema de multas y la posibilidad de acciones judiciales directas para quienes sean afectados por el uso dañino e irresponsable de la IA. 

En caso de aprobarse, el encargado de su control y sanción sería el Instituto Nacional de Tecnología Industrial (INTI). 

Aumentan los casos de contenido pornográfico creado con inteligencia artificial: cuáles son las consecuencias  y cómo detenerlo
Instituto Nacional de Tecnología Industrial (INTI).



Por otro lado, en General Roca, en la provincia de Río Negro, varios adolescentes se encuentran bajo investigación judicial por adulterar imágenes de sus compañeras de colegio para crear contenido sexual. 

Los cuatro adolescentes, que tienen entre 14  y 15 años, vendían las fotos a través del servicio de mensajería Telegram, el cual tiene pocos controles, de manera que se convirtió en el espacio ideal para difundir este tipo de contenido.

Por el momento, la jueza autorizó como medida preventiva la prohibición de acercamiento de los implicados con las víctimas y se está investigando si hubo participación de mayores de edad en la manipulación y distribución de imágenes.



¿De qué manera se puede detener esta problemática?

Desde hace varios años el gran interrogante es cómo frenar este problema. La Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) plantea que aunque la inteligencia artificial puede ser beneficiosa para el desarrollo humano, esta debe ser regulada por los distintos gobiernos y recomienda que no sea empleada por los menores de 13 años.

La UNESCO recomienda que la inteligencia artificial no sea empleada por menores de 13 años. 

Por otro lado, Francisco Moránabogado con máster en derecho comercial y corporativo y nuevas tecnologías, cofundador y secretario adjunto de la agrupación "La Carlos Menem", advierte que la tecnología es una industria muy fuerte a la cual hay que prestarle mayor atención. 



Además, afirma que en Argentina todavía no hay una concepción madura de esto, a diferencia de la que si hay en otros países, como es el caso de Estados Unidos, que ya está tomando medidas para luchar contra la pornografía: "La agencia DARPA (Defense Advanced Research Projects Agency), que depende del Departamento de Defensa de Estados Unidos, se dedica exclusivamente a proyectos de investigación avanzada. En su momento empezaron a luchar contra el tráfico de personas en la Deep Web y desarrollaron programas, como es el caso de Memex, que apuntaban a seguir conversaciones o ver archivos que contenían catálogos de personas -tanto de chicos como de adultos- que estaban a la venta. De esta manera insertaban trackers, que si bien no bajaban el contenido ya existente, si permitían rastrear su impacto en diferentes computadoras alrededor del mundo. A partir de ahí coordinaban operaciones conjuntas con fuerzas de seguridad local".

Aumentan los casos de contenido pornográfico creado con inteligencia artificial: cuáles son las consecuencias  y cómo detenerlo
El programa Memex fue desarrollado la agencia DARPA y se dedica exclusivamente a proyectos de investigación avanzada.

Sin embargo, esta no sería la única medida posible. Según Morán, muchos especialistas del tema plantearon hacer algo similar, pero utilizando pornografía falsa creada con inteligencia artificial: "De esa forma se puede identificar y perseguir a la gente que se maneja en esos circuitos, sin causar daño real a los menores de edad".



Logo de Google
Seguí a El Economista en Google Agreganos a tus medios preferidos.
+ Agregar