Hay un adagio que debe conocer toda persona que se inicia en la programación de computadoras: “Si entra basura, sale basura”.
No importa que tan bien diseñado esté un sistema, si se alimenta con datos erróneos, incompletos o sesgados, los resultados reflejarán estas cualidades.
Por ejemplo, hay cámaras fotográficas que tienen algoritmos incorporados para la detección de rostros y pueden retratar automáticamente cuando todas las personas a cuadro sonríen.
Sin embargo, algunas no funcionaron con personas asiáticas, pues detectaron que tenían los ojos cerrados.
Asistentes digitales guiados por voz como Alexa de Amazon o Home de Google, también tienen problemas con ciertos acentos.
El problema no radica en los algoritmos de inteligencia artificial (IA), sino en los datos que utilizamos para alimentarlos.
A un algoritmo de clasificación de imágenes se le podrían mostrar miles o millones de imágenes de bicicletas, para que luego distinga entre una bicicleta y una motocicleta.
Entre mayor sea la cantidad de imágenes mostradas y la variedad de bicicletas, mejor será el aprendizaje para ese algoritmo.
Pero si solo se utilizan unas decenas de bicicletas y muy parecidas entre ellas, el algoritmo podría equivocarse.
Desafortunadamente, si alguien lo desea, puede manipular el entrenamiento de los algoritmos con fines políticos, culturales, religiosos, o de cualquier otra índole.
Puede ser grave si influyen en procesos de admisión escolar, contratación laboral, en primas de seguros y otras actividades cotidianas.
Esto le sucedió en 2015 a la empresa Amazon a partir de un sistema que desarrollaron para reclutar personal.
Notaron que la herramienta solamente recomendó a hombres para cubrir puestos relacionados con el desarrollo de software.
La razón fue que el sistema se alimentó con solicitudes que en su mayoría eran de hombres y aprendió que los mejores perfiles eran los masculinos.
Según voceros de la empresa, este sistema no se usa más en su proceso de reclutamiento, pero otras empresas trabajan en el desarrollo de sus propios sistemas de apoyo para la toma de decisiones.
Tal como lo indica Tal Zarsky, profesor en la University of Haifa, la discriminación explícita se da cuando los algoritmos se diseñan para solo considerar a ciertos grupos.
En cambio, la discriminación implícita surge de manera no intencional, pero también se deben tomar medidas para eliminarla o tratar de minimizarla.
Ante las situaciones de injusticia que resultan de los sesgos algorítmicos, se buscan alternativas en la programación, pero el proceso es complejo.
Para que un sistema informático pueda identificar la presencia de un sesgo que genera injusticia, primero debe ser capaz de cuantificar estos conceptos.
Se han utilizado métodos estadísticos pero son insuficientes y existen otros enfoques más avanzados, como las medidas basadas en similaridad y el razonamiento causal, pero tampoco están libres de la selección subjetiva y limitada de los programadores.
Por otro lado, vale la pena reflexionar en que, si bien se están haciendo esfuerzos para tratar de reducir los sesgos algorítmicos, muchos sistemas que involucran tales algoritmos están siendo utilizados en este momento.
Es decir, actualmente siguen causando daños mientras se corrigen; puesto de otra forma, la población en general estamos siendo parte de un gran experimento y estamos contribuyendo a que se mejoren los algoritmos.
*Antonio García es investigador titular del Departamento de Ciencias de la Computación del CICESE. Puede contactarlo en [email protected]
