Oír hablar de la inteligencia artificial ya es costumbre en la actualidad, no hay día en que no aparezcan noticias al respecto, desvelando nuevas aplicaciones y formas de aprovechar el potencial de esta tecnología innovadora. Sin embargo, la semana del 18 de septiembre puso aún más en el centro del debate público los usos de la IA, especialmente su empleo por parte de los menores.

Un grupo de niños de entre 12 y 14 años crearon falsos desnudos de sus compañeras de clase mediante una plataforma online de IA, e hicieron difusión de ello en las redes sociales

Un trágico suceso en una localidad de Badajoz hizo visible, una vez más, la parte oscura de la IA: un grupo de niños de entre 12 y 14 años crearon falsos desnudos de sus compañeras de clase mediante una plataforma online de IA con tecnología Deepfake, e hicieron difusión de estas fotos en las redes sociales, vulnerando así el derecho a la intimidad personal, al honor y a la propia imagen de esas niñas, derecho que protege el art. 18.1 de la Constitución Española. Del mismo modo, al ser desnudos de menores sexualizadas de forma implícita, estos niños también pueden haber cometido un delito de pornografía infantil.

Deepfake (del inglés, «ultrafalso») es una tecnología que usa inteligencia artificial para crear imágenes y sonidos parecidos a los reales; puede engañar tanto a seres humanos como a algoritmos generando vídeos, audios e imágenes falsas  con apariencia natural y real

Almendralejo, la localidad en la que viven y estudian la treintena de niñas afectadas por este suceso, es un pueblo con una población de poco más de 30 000 habitantes, en el que casi todos se conocen, lo que supone para las niñas una contrariedad por sentirse todo el rato expuestas y observadas, un sentimiento que provoca que algunas de ellas directamente se queden en su casa sin salir. Las falsas imágenes generadas parecen reales, lo que aún aumenta más el sufrimiento de estas niñas.

Se estima que 30 000 usuarios utilizan cada día la aplicación para crear falsos desnudos con IA

La aplicación utilizada por los jóvenes para conseguir los falsos desnudos es ClothOff, una plataforma creada exclusivamente para ello; su eslogan lo deja bien claro: Undress girls for free («Desnuda a chicas gratis»). El proceso es el siguiente: registrarse en la plataforma, lo que te otorga automáticamente dos tokens (una moneda virtual); subir una foto en la que aparezca la persona sola (vestida pero sin ropa de abrigo), y finalmente adquirir el montaje de desnudo a cambio de un token. Al contrario de lo que pueda parecer, el uso de ClothOff es muy común; de hecho, se estima que 30 000 personas entran a ella cada día, una realidad alarmante si se tiene en cuenta el daño que puede llegar a causar.

Este caso expone los riesgos del uso de la IA por parte de menores, y evidencia la necesidad de una mayor regulación de algunas infracciones como la creación y difusión de desnudos falsos. En este sentido, los especialistas comentan que al tratarse de imágenes de menores la legislación española es clara al respecto: el Código Penal en su art. 189 considera las imágenes manipuladas con IA u otra tecnología como delito de pornografía infantil, al hacer referencia al material visual de menores u otras personas necesitadas de protección «participando en una conducta sexual explícita, real o simulada».

Los menores de 14 años son inimputables, por lo que no tienen responsabilidad penal

No obstante, algunos de los implicados son menores de 14 años, lo que significa que no han alcanzado la edad de responsabilidad civil, y que por tanto son inimputables, es decir, que no tienen responsabilidad penal según recoge la Ley Orgánica 5/2000 en su tercer artículo. En estos casos la fiscalía se encarga de valorar la situación sociofamiliar del menor, remitiendo así el caso a servicios sociales para que puedan hacer un seguimiento. Al estar amparados por la Ley de protección del menor, lo más probable es que se revise la formación de cada niño para detectar posibles déficits, y en todo caso tendrán que hacer un módulo formativo de igualdad de género. Eso sí, es posible que haya consecuencias para sus padres, al ser responsables indirectos del hecho delictivo. Así, tendrán que pagar una indemnización, declarar que han vulnerado los derechos de las niñas afectadas, y comprometerse al cese de esta conducta.

La difusión de las imágenes en páginas pornográficas es una de las preocupaciones expresadas por las familias, ya que algunas de estas páginas web se nutren de ello. La escritora y periodista Marta Peirano habló de «pornografía sintética» en referencia a este tipo de contenidos. Esto afecta más a las mujeres, aunque crear desnudos falsos de hombres también es posible. Vivimos en sociedades patriarcales, lo que también se refleja en el mundo virtual. Así lo demuestran investigaciones como la publicada en 2019 por Deeptrace Labs, compañía especializada en inteligencia artificial, y según la cual alrededor del 96 % de vídeos que emplean esta tecnología se basan en imágenes de mujeres que se utilizan para crear contenidos sexuales sin su consentimiento.

Estrategias de protección contra los peligros de la red

La democratización de la información ha traído consigo un grado elevado de libertad de acceso a todo tipo de contenidos y herramientas, lo que incluye también el uso de aplicaciones como ClothOff por parte de menores, algo preocupante que nos obliga a buscar respuestas a algunos interrogantes: ¿podemos limitar el uso de internet para los adolescentes? ¿Prohibir el uso del móvil en los institutos puede reducir el riesgo de usos indebidos? ¿Quién puede y debe controlar la actividad de los menores en internet? ¿Cómo concienciar y educar a los adolescentes en un uso responsable de los móviles y de internet?

Estudios sobre el uso de internet por menores, como una reciente encuesta realizada a adolescentes y familias por la OCU (Organización de Consumidores y Usuarios), indican que los jóvenes dedican casi 3 horas de su jornada diaria a navegar por internet, casi siempre desde el móvil. Esto pone de manifiesto una hiperconectividad permanente por parte de los adolescentes, que pasan demasiado tiempo dentro del entorno digital interactuando en redes sociales, buscando información, o incluso navegando en páginas web para adultos (14 %).

Prolifera el uso de apps de control parental entre las familias

La preocupación por los peligros de la red ha llevado a las familias a buscar soluciones que ayuden a minimizar los riesgos. Así, una de las técnicas más utilizadas es la instalación de aplicaciones de control parental, que tienen como función restringir el uso o la descarga de aplicaciones, bloquear el contenido inapropiado, imponer límites de tiempo de uso y, además, facilitar a los padres un informe del uso que hace su hijo del móvil. Algunas apps incluso van más allá y permiten ver historiales de llamadas o la localización del menor.

Asimismo, la OCU ofrece a las familias algunos consejos para proteger a los menores de posibles riesgos:

• Aprovecha el momento para establecer con tu hijo o hija una relación de confianza y que se sienta cómodo para alertar a algún adulto del entorno familiar de cualquier problema que esté relacionado con su uso.
• Explícale los posibles riesgos que puede encontrar al navegar en la red.
• Otórgale la responsabilidad en el uso que hace de su teléfono, acordando con él o ella unas normas mínimas.
• Enséñale que los datos personales deben permanecer privados.
• Enséñale a ser respetuoso con los demás. Tiene la obligación también de no publicar datos privados de sus amigos y de no faltar al respeto a otras personas que se encuentran en internet. Detrás de cada perfil digital hay una persona real.
• Evita que tu hijo se encuentre en internet con contenido inapropiado y ayúdale a encontrar contenido de calidad.

Si bien la seguridad digital de un menor puede aumentar con una correcta gestión de la navegación por internet y su supervisión por parte de los padres, aún puede haber peligros al acecho, especialmente si accede a la red desde otros dispositivos difíciles de controlar. Ante esta disyuntiva, una de las cuestiones planteadas a nivel europeo es la responsabilidad que tienen estas aplicaciones y páginas web con contenido sexual explícito (real o simulado) del uso que hagan de ellas los menores. Especialmente, se pide a las plataformas que controlen y bloqueen este tipo de pornografía no consentida, algo que no se consiguió con la Ley de Servicios Digitales que acaba de entrar en vigor, y que se espera lograr con la nueva Ley de Inteligencia Artificial, pues es una de las premisas que recoge.

Móviles en el aula

El móvil es la herramienta por excelencia desde donde los adolescentes acceden a internet. Normalmente se recomienda introducirlos en el uso de esta herramienta a los 14 años (edad establecida para entrar en las redes sociales), pero la realidad se impone, y vemos hoy en día niños y niñas de 10 años con smartphone propio, y con perfiles abiertos en Instagram y Tiktok. De hecho, es tal la dependencia hacia sus móviles percibida entre los menores que se han convertido en dispositivos presentes también en las aulas. La prohibición del móvil en los institutos sigue siendo un debate abierto; una medida por la que algunos países como Francia, Reino Unido o Finlandia han apostado, mientras que el resto continúan evaluando qué hacer.

Algunos países y comunidades autónomas han legislado la prohibición de los móviles en clase

En España tan solo dos comunidades autónomas (Madrid y Galicia) han seguido el ejemplo de estos países, limitando el uso de los dispositivos móviles solamente para las tareas que lo exijan y en casos necesarios, bajo ningún concepto para uso personal.

Así pues, no hay una normativa nacional que prohíba el uso del móvil en las aulas, ya que aquí la decisión está en manos de las comunidades autónomas, que son las que tienen transferidas las competencias de educación.

Más allá de las leyes, del control parental o de la prohibición de los móviles que pueden ayudar a prevenir algunas de las consecuencias negativas de la tecnología, la mejor herramienta con la que contamos en la actualidad es la educación; educación en el respeto a las demás personas y a uno mismo, educación para ser responsables y críticos con sus actos y con la información que reciben, y educación en la forma de interrelacionarse en línea.

Al respecto, el INCIBE (Instituto Nacional de Ciberseguridad de España) recomienda trabajar con ellos los siguientes aspectos, ya sea en el aula o en casa:

• Las habilidades sociales y de comunicación adecuadas para internet: herramientas como la empatía, la netiqueta y la asertividad, que les enseñarán a conocer sus propios derechos y defenderlos sin generar conflictos. Así aprenderán la forma adecuada de comunicarse en línea, sin caer en chantajes o engaños.
• La promoción de relaciones positivas: enseñarles en qué consisten las relaciones sanas y cómo identificar aquellas que no lo son, poniéndoles ejemplos de relaciones engañosas o tóxicas, y qué características tienen.
• Fomento de una sexualidad saludable: deben aprender a responsabilizarse de sus acciones en línea, entendiendo las consecuencias y los peligros que derivan de sus decisiones, sobre todo las relacionadas con su privacidad y su sexualidad.
• Pautas para identificar posibles contactos de riesgo: hay que hacerles ver con qué usuarios/as es seguro aceptar una solicitud de amistad en sus redes sociales. Siempre deben valorar los comportamientos sospechosos que perciban y saber reaccionar ante ellos: no ceder a presiones o chantajes, aprender a bloquear y reportar casos de riesgo, así como configurar y proteger su privacidad en internet.
• Detección de procedimientos y engaños para conseguir material de abuso sexual: saber diferenciar cuándo alguien intenta obtener información personal, confidencias o imágenes íntimas es fundamental para prevenir este riesgo. No solo hablamos de peticiones directas en conversaciones privadas, también puede ser mediante apps o programas maliciosos, ofrecidos con la excusa de desbloquear funciones especiales en una aplicación o un juego, pero que una vez instalados en sus dispositivos permiten acceder a sus archivos o a su webcam para espiarlos.
• Reacción ante casos de abuso sexual en internet: este aspecto se debe tratar en todas las sesiones de trabajo, de tal forma que el menor sepa cómo actuar y pedir ayuda tanto si se ve involucrado en una situación así, como si percibe este problema entre sus amistades. Dar a conocer servicios de ayuda gratuitos y profesionales, como la línea de ayuda en ciberseguridad de INCIBE, 017, tiene que ser una prioridad entre nuestro alumnado, así como animarles a acudir a las Fuerzas y Cuerpos de Seguridad cuando sean conscientes de un delito.