La Inteligencia artificial es una creación humana, y como toda innovación tecnológica lleva inherentes unos sesgos y prejuicios basados en la mirada estereotipadora de la persona que la diseña y entrena.

Sin embargo, la humanidad está dejando en manos de estas IA un cúmulo de decisiones, muchas de las cuales impactan en las vidas de otras personas, generalmente pertenecientes a colectivos discriminados social, cultural y económicamente.

Youssef M. Ouled, periodista e investigador sobre el racismo, coordinador de AlgoRace y responsable del área antidiscriminación en Rights International Spain, expone en esta entrevista los peligros de la automatización, y comparte con nosotros algunas claves para desarrollar tecnología de inteligencia artificial con una mirada más ética y menos racista.

Pregunta: ¿Cómo nace AlgoRace y qué implica la (des)racialización de la IA?

Respuesta: AlgoRace nace de una necesidad, la de introducir una perspectiva crítica a los debates políticos y sociales sobre inteligencia artificial (IA) y algoritmos. En los espacios de debate y discusión sobre IA y algoritmos veíamos una ausencia de voces situadas desde el antirracismo y la lucha contra el colonialismo, unas voces que además pertenecen a unos grupos sociales que son negativamente afectados por los usos de la IA y los algoritmos en todos los ámbitos de su vida.

«La IA es un mecanismo más de racialización»

Cuando hablamos de desracializar, lo hacemos con la idea de abordar este debate desde una visión política de la raza, considerando que la IA es un mecanismo más de racialización, de jerarquización social, donde las personas no blancas ocupan las capas más bajas de la sociedad. Con esta expresión señalamos que la IA se usa para mantener y reforzar esa jerarquización racial.

P.: ¿En España se están utilizando algoritmos en las administraciones públicas hoy en día?

R.: Hoy día se emplean algoritmos y sistemas de IA en todos los ámbitos de la vida. Desde el ámbito privado (banca, seguros) al ámbito de la administración pública. En este segundo podemos encontrar usos que abordan todo tipo de espacios: vivienda, educación, empleo, sanidad, servicios sociales, policía, fronteras, etc. En el espacio público que transitamos a diario es muy probable que estemos siendo sometidos a sistemas de videovigilancia y reconocimiento facial, de ubicación, de mediación constante de nuestras decisiones… el problema principal, que no único, que afrontamos como sociedad es la falta de transparencia de las administraciones e instituciones públicas. En consecuencia, podemos estar siendo afectados por estos sistemas sin saberlo, e incluso cuando lo sabemos y queremos más información porque queremos proteger nuestros derechos fundamentales como la privacidad, o queremos revocar una decisión que consideramos injusta como la no concesión de una ayuda social, encontramos una enorme opacidad y desprotección.

P.: ¿Qué son los SDA (Sistemas de Decisión Automatizada) y cómo nos afectan en la actualidad?

R.: El término hace referencia al proceso de automatización mediante el uso de datos y algoritmos para optimizar la toma de una decisión. Ya hemos puesto algún ejemplo, pero podemos referirnos a un sistema que decide si una entidad bancaria concede un crédito a una persona o no, si admite a una persona en una universidad o no, o si determina que esa persona es apta para un puesto de trabajo. Ya no es una persona la que decide, sino un sistema al que se le han dado determinadas pautas de elección y, por lo tanto, de discriminación.

«Ya no es una persona la que decide, sino un sistema al que se le han dado determinadas pautas de elección y, por lo tanto, de discriminación»

P.: ¿A qué os referís cuando habláis de sesgos en la IA? ¿Podrías explicar más a fondo cómo estos sesgos se manifiestan en ella y cómo afectan a diferentes grupos de la sociedad?

R.: Decimos que la IA está sesgada por el contexto histórico y político en el que se piensa y desarrolla. Hablamos de un campo en origen gobernado por hombres blancos que determinan la manera de ver, analizar y entender el mundo. Una manera de ver el mundo que privilegia el hecho de ser blanco. Esto sucede a un nivel estructural y la IA, como un producto más de la ciencia, no es una excepción.

La IA es aplicada bajo una jerarquía de poder: de arriba abajo, de ricos a pobres, de privilegiados a marginalizados, de blancos a sujetos racializados, de hombres a mujeres o LGTBIQ+… Esto lo vemos cuando se aplican algoritmos por parte de la administración para impedir o dificultar el acceso a ayudas públicas a quienes más lo necesitan, a nivel educativo perjudicando a las y los estudiantes más desfavorecidos, se usa por parte de la patronal para vigilar a sus empleados de manera que rindan lo máximo posible sin importar su salud, se usan algoritmos a nivel policial para «predecir» un futuro criminal o cuál será la próxima denuncia falsa, ejerciendo una hipervigilancia y perjudicando especialmente a personas no blancas, se usan algoritmos en el contexto de la violencia de género para supuestamente predecir su riesgo poniendo el foco en los hombres no blancos y desatendiendo a las mujeres no blancas, se usan sistemas de IA para controlar fronteras y criminalizar los flujos migratorios, haciendo estas más mortales, etc. Por lo tanto, decimos que la IA está sesgada porque se aplica bajo unas lógicas coloniales y raciales que, como hemos visto, acaban afectando a unas poblaciones en detrimento de otras. Es decir, porque las decisiones finales de los sistemas implementados perjudican a unos grupos de población frente a otros.

P.: ¿Quién entrena a los algoritmos? ¿Hay alguna forma de eliminar o evitar los sesgos humanos en los futuros algoritmos que se desarrollen?

R.: Quien diseña, piensa, desarrolla y entrena los sistemas de IA o algorítmicos son personas. Esta es una de las razones, pero no la única, por lo que estos contienen sesgos; hablo de personas que viven en un contexto determinado del que no son ajenos, por lo tanto, en un sistema donde el racismo es estructural, acaban por reproducir sesgos de raza, pero también de género u otros.

«Para evitar o superar los sesgos habría que luchar contra una política racista y colonial que les da sentido, más allá de un sesgo individual del diseñador/a»

No obstante, hay otras razones que generan el sesgo (intencionado o no). Por un lado, está el fin: si tu desarrollas sistemas de IA para impedir que las personas del sur global puedan migrar al norte, ahí estas poniendo en funcionamiento un sistema con una intención clara de discriminar. Porque esta acción no se piensa a la inversa. Y, por otro lado, está la información con la que se entrena estos sistemas. Muchos de los sistemas empleados para «predecir» el crimen o la criminalidad se acaban enfocando o actuan de manera desproporcionada y desigual sobre personas no blancas; esto también tiene que ver con la información existente que luego se usa para entrenar esos sistemas. Es decir, si tú tienes a la policía parando sistemáticamente a personas no blancas, como sabemos que sucede, es normal que luego tengas mucha más información sobre población que no es blanca. Así se retroalimenta el círculo de la criminalización. Para evitar o superar los sesgos habría que luchar contra una política racista y colonial que les da sentido, más allá de un sesgo individual del diseñador/a.

P.: Cuando decís que se está automatizando el racismo, ¿a qué os referís?

R.: A que, por ejemplo, ya no son directamente personas las que te niegan un alquiler por ser migrante, ni quienes te impiden pasar en la frontera, ni quienes te perfilan por la calle, ni quienes te segregan, ni quienes te niegan un crédito o no te contratan para un trabajo… ahora todo esto lo hace una máquina. Esto no quiere decir que la máquina lo haga todo por sí misma, porque si de algo necesitan es de una supervisión humana constante. No obstante, se ha usado esto para rehuir responsabilidades, para dibujar todas estas acciones como si fueran correctas porque «la máquina es neutral» y, como hemos dicho anteriormente, para generar mayor opacidad en estas dinámicas, muchas veces se externalizan estas funciones a sistemas diseñados y gestionados por empresas privadas.

P.: ¿Qué responderías a la afirmación «la tecnología es neutral»?

R.: Como dicen en The Wired, «AI is an Ideology, Not a Technology»: la IA y los SDA son una ideología, no una tecnología. Ningún sistema de IA o algorítmico es neutral porque se piensa, diseña y ejecuta desde un lugar concreto, desde unas personas concretas, acerca de unas personas concretas y con una intencionalidad concreta. Todo sistema de IA tiene una intencionalidad política. ¿Cómo puede ser neutral un sistema de IA implementado en la frontera para impedir que personas del sur global accedan al norte global?

«La IA y los SDA son una ideología, no una tecnología»

P.: ¿Hasta ahora, qué sabéis del proyecto de «frontera digital» que quiere implantar el gobierno español en Ceuta?

R.: Sabemos que el gobierno progresista de la anterior legislatura anunció a finales de 2021 su implementación en los pasos fronterizos de Ceuta y Melilla para un mayor control migratorio mediante el uso de IA por medio de la recogida de datos biométricos (que se han prohibido para la ciudadanía comunitaria). Sabemos que es una política que va en la línea de las decisiones tomadas por la UE en las últimas décadas, que se traduce en la criminalización de la migración, en impedir que lleguen por vías seguras y legales, lo que aumenta conscientemente la mortalidad de quienes, desde el sur global, buscan entrar en suelo europeo. Sabemos que esto ha requerido de una inversión de cientos de millones de euros que supondrá un mayor control, pero también una mayor opacidad en la frontera, sabemos que los sistemas usados en esa frontera no se podrán auditar y, por lo tanto, no se podrá saber qué vulneraciones sistemáticas se cometen a diario. Sabemos que lo último que le importa a la UE es la privacidad y la vida de las personas migrantes del sur global, porque no sabremos quién almacenará los datos biométricos que se digitalizarán, ni dónde ni por cuánto tiempo ni para qué. Lo que no sabemos es cuándo se pondrá en marcha, aunque sí sabemos que desde hace meses se ha empezado a construir la infraestructura necesaria.

P.: ¿A qué desafíos os enfrentáis al investigar y sensibilizar sobre el rol de la IA en el racismo?

R.: Las administraciones e instituciones públicas se mueven con mucha comodidad en la falta de transparencia y opacidad. Algo impensable en un Estado de derecho deviene una cotidianidad, la población no puede saber qué sistemas de IA se les está aplicando, cuándo ni para qué. Esto es una política consciente que dice mucho de sí misma. Nos impide conocer el impacto real de estas implementaciones. Nos impide conectar con las personas afectadas y, por lo tanto, impide a las personas afectadas organizarse en la defensa de sus derechos.

«La mayoría de las informaciones sobre IA que hay en los medios vienen de las mismas empresas y multinacionales»

Otro factor es la narrativa mediática, copada por las empresas tecnológicas. La mayoría de las informaciones sobre IA que hay en los medios vienen de las mismas empresas y multinacionales. La perspectiva crítica y social brilla por su ausencia, no porque no exista, sino porque no se consulta. No interesa. Mientras que las organizaciones que investigan y sensibilizan tienen unos recursos limitados, estas poseen recursos más que suficientes.

P.: ¿Qué es la tecnoprecariedad y cómo se relaciona con la IA?

R.: Esto lo hemos desarrollado de forma más extensa en nuestro primer informe, «Una introducción a la IA y a la discriminación algorítmica para movimientos sociales». En lo relativo a AlgoRace, hablamos de la prevalencia de una lógica colonial entre el norte y el sur global según la cual las posibilidades del desarrollo occidental se basan en la explotación de recursos y mano de obra de sus excolonias. Esto es observable, entre otras cuestiones, en la localización de las grandes corporaciones de etiquetaje de datos como la filial de Amazon, Mechanical Turk, como recoge la publicación Technoprecarious, o de empresas como Facebook, las cuales emplean a miles de personas en países africanos sometiéndolas a jornadas interminables y pagando salarios irrisorios. Fruto de esta explotación laboral colonial es el surgimiento del Sindicato Africano de Moderadores de Contenidos formado por cientos de trabajadores que realizan tareas con sistemas de IA, como hemos señalado, para Facebook, pero también para TikTok o ChatGPT, en condiciones similares a las denunciadas.

Esta tecnoprecariedad no se limita al sur global, las grandes corporaciones tecnológicas implementan un modelo de negocio basado en la explotación laboral y la vulneración de derechos laborales. En España tenemos, entre otros ejemplos, a Riders X Derechos, un colectivo que lucha por los derechos laborales y las condiciones de vida dignas de los trabajadores de reparto a domicilio, que como señalan en su página web combaten los peligros de la «flexibilización» o «uberización» del trabajo. Para ello, han impulsado inspecciones y promovido juicios, consiguiendo ganar muchos de los casos. La autoorganización es una respuesta a la tecnoprecariedad.

P.: ¿Qué propone AlgoRace para mitigar el impacto negativo de la IA en la discriminación racial?

R.: Como decimos en el informe citado, tomar conciencia de que los sesgos raciales de la IA son reflejos del racismo estructural existente, así como que el sesgo va más allá del código y los datos, aquí hablamos del impacto político y medioambiental de la tecnología, de la precariedad laboral mencionada.

«El sesgo va más allá del código y los datos»

Debemos huir de las narrativas que dan un poder antropomorfo a la tecnología. La IA no es racista per se, lo son los fines con que se diseña, lo son los equipos de personas que diseñan dicha tecnología y, especialmente, lo son las relaciones de poder que posibilitan los efectos de la discriminación por medio de la misma. Y, por último, es importante sensibilizar a la sociedad y crear organizaciones y alianzas en la lucha por los derechos digitales, por todos los derechos y libertades. Los de todos y todas, sin excepción. Alianzas como IA Ciudadana, y espacios como Algorights, entre otros.