El algoritmo de Facebook confundió a personas de piel oscura con "primates" en lo que fue un "error inaceptable" admite la empresa

Todo empezó con un video difundido por el Daily mail en donde aparecían personas negras en un video de Facebook. El algoritmo, de alguna manera, recomendó a usuarios que vieron el video "seguir viendo usuarios sobre primates". El caso comenzó a ser investigado por The New York Times y Facebook ha respondido que se trata de un "inaceptable error" y que haría lo posible para que no volviera a repetirse.

Dani Lever, una portavoz de Facebook, dijo que aunque la inteligencia artificial de la red social ha tenido mejoras con los años sigue siendo imperfecta. "Nos disculpamos con cualquiera que pudo haber visto como ofensivas estas recomendaciones", dijo la portavoz.

Esta no es ni de lejos la primera polémica que tiene que ver con algoritmos y su potencial para interpretarse como discriminatorios. Google tuvo su propio episodio cuando su IA etiquetó a personas de piel oscura también como animales y más recientemente el algoritmo de Twitter estuvo en el centro de la discusión cuando se descubrió que privilegiaba la imagen de personas blancas sobre otras.

En ese entonces, la solución de Google fue vetar la palabra "gorila" de las búsquedas en Google Fotos, según encontró Wired más tarde.

Más evidencia

Numerosos estudios han sido hechos al respecto. Quizás uno de los más referidos es uno del MIT Media Lab que encontró que el reconocimiento facial suele fallar con frecuencia cuando se trata de individuos distintos a varones caucásicos.

El estudio utilizó tres softwares de reconocimiento distintos, el de Microsoft, el de IBM y el de Face +++ de Megvii que es el más utilizado en China para pagos móviles. Los sesgos estaban por todas partes: en el caso de las fotografías de hombres blancos el riesgo de mal etiquetado era de 1%, porcentaje que se incrementaba a 7% cuando se trataba de mujeres. En algunos casos los sistemas fallaron hasta en un 12% cuando se trataba de hombres de piel oscura y hasta en un 35% cuando eran mujeres de piel oscura.

Previamente la investigadora de Harvard, Latanya Sweeney, encontró que si buscaba en Google un nombre con mayor probabilidad de pertenecer a una persona de piel oscura, los resultados solían tener vinculación a arrestos o antecedentes penales, aunque en realidad la persona en cuestión no los tuviera.

Como en el pasado Google, Facebook ahora ha reconocido como error la acción del algoritmo, aunque en realidad las tecnológicas se han alejado de tener una discusión seria sobre racismo y algoritmos. Twitter por otra parte fue mucho más tajante y tras su propia polémica dijo que no se habían encontrado "evidencias de sesgo racial o de género" en su algoritmo.