3.- El lado oscuro del “Ad-targeting system”
Realmente uno no espera que la función “buscar” de su navegador esté sesgada ¿verdad?, pero todo se vale en estos días según un motor de búsquedas que ha sido declarado culpable de sesgo algorítmico.
La Universidad Carnegie Mellon y el Instituto Internacional de Ciencias de la Computación
crearon una herramienta llamada AdFisher para examinar cómo el sistema de búsqueda
orienta la publicidad de sus anuncios según el perfil al que se dirige.
Descubrieron que los perfiles falsos (creados intencionalmente) de sexo masculino tenían más probabilidades de recibir anuncios de ofertas laborales de alto nivel con mejores salarios que las mujeres.
Aun que el motor de búsqueda no dio una respuesta oficial, una vocera de la compañía recalcó
“Los anunciantes pueden optar por dirigirse a la audiencia a la que quieren llegar, y tenemos
Políticas que guían el tipo de anuncios basados en intereses que están permitidos”.
En teoría, estos sesgos pueden crear nuevos patrones de conducta, o “scripts” y ser empleados
en casos totalmente contrarios al mencionado por ejemplo, si los datos que se recopilan muestran
un gran número de arrestos en una zona particular, un algoritmo podría asignar más patrullas de
policía a esa zona, lo que puede llevar a más arrestos.
La herramienta ya fue sondeada por Microsoft para agregarla a Bing y tanto el motor de búsqueda
como otras universidades se encuentran revisando el funcionamiento y las conclusiones de AdFisher,
para revelar realmente si existe o no una conducta sexista en el buscador o son simples excepciones.
2.- El algoritmo de “admisión-discriminación” del Dr. Geoffrey Franglen
En lo que posiblemente sea el primer informe de un algoritmo de Inteligencia Artificial, en 1970 el Dr. Franglen sub-decano de las admisiones de la Facultad de Medicina del Hospital St.George en Londres desarrolló un algoritmo el cual haría que el proceso de admisión fuera mucho más justo, pero hizo exactamente lo contrario.
En diciembre de 1986, miembros del staff señalaron e identificaron el problema ante la Comisión para la igualdad racial (U.K.) la comisión lanzó una investigación y se encontró que los candidatos fueron clasificados por el algoritmo como “caucásicos” o “no caucásicos” acorde a sus nombres
y lugares de nacimiento.
Si sus nombres no eran caucásicos, el proceso de selección se ponderaba en su contra. De hecho, simplemente tener un nombre no fuese europeo podría quitarle automáticamente puntos al solicitante. (al menos 60 solicitantes de cada 2,000 eran injustamente excluidos cada año debido a su color de piel y/o género)
El British Medical Journal llamó a este sistema “una mancha en la profesión”. En última instancia, la escuela fue reprendida y ofreció algunas reparaciones menores, incluida la oferta a los solicitantes que inicialmente fueron rechazados.
Cómo citó la crítica de la Inteligencia Artificial Kate Crawford; “Hay que reconocer que los algoritmos son una “creación de diseño humano” que heredan nuestros prejuicios”.
1.- El e-commerce que discriminaba a las desarrolladoras de software
Según informes de Reuters, este e-commerce formó un equipo en el año 2014 que utilizó 500 algoritmos para automatizar el proceso de revisión de currículums, específicamente para ingenieros y codificadores. El equipo entrenó al sistema utilizando los currículums ya existentes del personal de software de la misma compañía, que eran hombres casi en su totalidad.
Ya tienes en mente hacia donde se dirige esto ¿verdad?: el sistema aprendió a descalificar automáticamente a cualquier candidato que concluyó sus estudios en centros educativos femeninos.
El problema sin duda alguna era la base de datos con la que se alimentó a la IA: en ella había una fuerte presencia masculina. Aun que el comercio electrónico se ha negado a comentar sobre el asunto, según la información que se maneja desde la agencia de noticias, la compañía disolvió a principios del año pasado el equipo que creó esta inteligencia artificial.
Este E-commerce no será la última compañía que se vea involucrada en este tipo de problemas, ya que desde el 2016, el 72% de los CV de los candidatos son evaluados por inteligencia artificial, en lugar de personas.
Si bien hemos echado un vistazo a los 5 proyectos de Inteligencia artificial que han sido poco éticos hasta la fecha, es importante recalcar que no toda la IA es poco ética ya que de hecho, hay muchas más historias de IA ayudando activamente a las personas y empresas, en lugar de obstaculizarlas.
Lo que si es algo desafortunado es que las decisiones de inteligencia artificial todavía están en gran medida controladas por personas, por lo que están influenciadas por ideas erróneas sobre los demás.
Hay que recordar que la IA es tan buena como nosotros seamos.
La IA no tiene prejuicios, adquiere los prejuicios de los que la entrenan.
