Discriminados y marginados por el Big Data

Big data es una palabra de moda desde hace algunos años, tanto que ya está algo en declive (casi diría que en el valle de la desilusión del famoso gráfico del hype). Pero lo cierto es que el Big Data está cada vez más presente en nuestras vidas, lo sepamos o no.

El Big data es, básicamente, la capacidad de analizar grandes cantidades de datos y obtener resultados que ayuden a un objetivo. El uso es muy general, puede ser un Facebook ordenando el feed por lo que cree que va a interesar más o un banco a la hora de decidir hasta qué cantidad puede prestar a alguien para una casa nueva.

La parte positiva del Big Data está clara: empresas más efectivas y usuarios más satisfechos. Pero también tiene una cara negativa: la privacidad, la discriminación y la marginación. Y es que no todo es perfecto cuando se analizan grandes cantidades de datos.

Privacidad

Uno de los grandes retos del Big Data es la privacidad. Que los usuarios estemos cómodos con ciertas funcionalidades que nos ofrecen a través del análisis de datos masivos que les proporcionamos los usuarios no quiere decir que queramos prescindir de nuestra privacidad.

Este debate lleva abierto más de diez años. Cuando Google lanzó su servicio de correo electrónico, Gmail, fue bastante polémico que se mostrara publicidad relacionada con el contenido de los correos. Al final la sociedad ha acabado aceptando que los correos fueran escaneados pero siempre bajo el compromiso de Google de que únicamente lo hacía un sistema automático, nadie en Google puede leerlos ni los anunciantes pueden tener acceso a los mismos.

Cada vez compartimos más datos con ciertas empresas, de las que por cierto Google es una de las más avanzadas. Con un teléfono Android también es fácil compartir la ubicación, fotografías e historial de navegación con el gigante de Mountain View. Esto puede hacer que Google nos ofrezca servicios de mayor calidad (como anuncios relevantes a la zona donde nos encontramos, algunas pistas cuando hacemos turismo o anuncios más adaptados a lo que normalmente requerimos) pero también pone de manifiesto que estamos compartiendo mucha información sensible.

Hace poco un ex-CEO de American Express dijo en público que si la empresa quisiera, a través de la información de los hábitos de compra, podría determinar si un cliente tiene una relación extramatrimonial. Efectivamente, los datos están ahí dispuestos a que alguien los analice. Pero los resultados pueden ser que una empresa financiera decida poner en una lista negra a esta gente y no concederles un crédito. ¿Dónde quedó la privacidad?

Todos el mundo ha experimentado alguna vez que después de realizar unas cuantas búsquedas de algún producto por Internet no paran de aparecer anuncios relacionados con las mismas durante mucho tiempo, a pesar de que se haya perdido interés en el asunto o que ya se haya efectuado la compra. Esto puede no pasar de una anécdota en muchos casos pero en otros puede ser grave. Por ejemplo, puede que alguien que vea el navegador abierto descubra intereses no convencionales o puede ser traumático que insistan con publicidad de ropa de bebés cuando se acaba de tener un aborto espontáneo.

Por otro lado también está China, como no. Desde el Gobierno están empezando a crear un sistema que a través del Big Data puede determinar si sus ciudadanos son fieles al régimen o no. Y los que no lo sean se enfrentarán a sanciones que les excluirán de muchos ámbitos de la vida pública. Todo ello sin realizar nada ilegal, solo por acciones que unos algoritmos determinen que son anti-sistema.

Y por supuesto está el tema de los hackeos, donde nadie parece estar libre de tener problemas. Que las empresas recopilen ingentes cantidades de datos sobre nosotros para darnos un mejor servicio podría no ser un problema pero si dichos datos son robados por terceros hay un gran problema. Empresas como Yahoo o Sony han visto las consecuencias de ello.

La ética del Big Data](http://radar.oreilly.com/2014/03/whats-up-with-big-data-ethics.html) y la seguridad son temas cada vez más importantes, y más cuando cada vez se presentan más de dispositivos que escuchan todo el rato lo que decimos para darnos soluciones, tanto los teléfonos móviles como dispositivos en el hogar.

Discriminación y marginación algorítmica

El otro gran problema del Big Data, una vez que asumimos que los datos que compartimos son privados y que se solucionan los efectos no deseados, es la posible discriminación y marginación por parte de algoritmos.

El análisis de datos puede hacer que las empresas se enfoquen en los grupos que resultan más rentables. Puede que un análisis concienzudo de los datos diga al banco que es mejor no dar un crédito a una persona negra. O soltera. O a una mujer. O simplemente a alguien que no viva en una ciudad densamente poblada. ¿Y si una universidad decide que las notas de corte para estudiar deben ser más bajas para mujeres porque en media lo hacen mejor (incluso con peores resultados previos)? ¿Y si un bar decide no aceptar a personas asiáticas porque suelen consumir menos? ¿Y si Amazon Prime cobrara más a ciertos grupos étnicos porque suelen devolver más los productos? ¿Y si Google decide dar menos espacio de almacenamiento a los grupos de usuarios cuyo profiling es menos atractivo para los anunciantes?

Hoy en día si un banco deniega un crédito por motivos de raza o sexuales el escándalo es mayúsculo. Pero si no lo decide un oficinista sesgado sino un algoritmo sin sesgos, si simplemente analiza los datos, ¿a quién podemos recriminar una actitud maliciosa?

Es más, esta marginalidad algorítmica es aún más peligrosa que la que existe en la actualidad por los prejuicios individuales, puesto que estamos acostumbrados a poner en duda los criterios de la gente pero no la de los algoritmos. Tenemos una tendencia a poner en duda lo que dice la gente, estamos acostumbrados a ver equivocaciones y mentiras por parte de los individuos pero tenemos una excesiva fe en un algoritmo que se supone no tiene errores y es neutral.

Y los algoritmos no son perfectos, fallan. En 2008 Google lanzó un algoritmo que predecía las epidemias de gripe en base a las búsquedas. Pero en el año 2013 el algoritmo falló estrepitosamente. Puede ser únicamente una anécdota pero si las decisiones de inversiones en prevención o vacunas se hubieran hecho por este algoritmo las consecuencias habrían sido nefastas, y los más afectados hubieran sido los más vulnerables de la sociedad.

También tenemos el caso de Wisconsin (EEUU), donde los jueces tienen un polémico "ayudante" que les indica el riesgo a reincidir en la actitud criminal. Este "ayudante" no es más que un software con un algoritmo secreto. Y los jueces se fían. Y quizá estén condenando de forma más dura a ciertas personas en base a un algoritmo secreto que no se puede evaluar de forma pública y transparente.

En 2010 la ciudad de Chicago creó un algoritmo para predecir qué personas (con antecentes) podrían cometer un crimen. Se usó un par de años y luego se cerró. Los responsables dijeron que fue un éxito aunque hay críticos, y precisamente por la discriminación: no está claro que el efecto que tuvo realmente sobre la criminalidad (es complicado aislar efectos) y realmente se estaba discriminando a quién tenía antecedentes, era de raza negra y su situación económica era mala.

También tenemos el caso de Amazon, que está discriminando a barrios de mayoría negra en EEUU de sus envíos en el día. La discriminación es puramente algorítmica, claro. Dichos barrios tienen menos tiendas, menos almacenes y por tanto esto también afecta al servicio de envío rápido de Amazon. Décadas de racismo están haciendo que una tecnología que podía ser igualadora (poder tener acceso a productos variados y baratos igual que en un barrio con mayor densidad de tiendas) no esté disponible para las zonas más deprimidas.

El big data puede servir para, basados en experiencias pasadas, predecir el futuro. Pero algoritmos que pueden ser muy precisos con eventos físicos, como el clima, puede que no sirvan con la sociedad. En los últimos 200 años ha habido un gran progreso de la humanidad. La pobreza se ha reducido, hay menos discriminación, las mujeres han pasado a tener una posición cada vez más importante en la sociedad... pero si únicamente miramos al pasado podemos impedir estos avances. Si se hubieran usado algoritmos de big data en 1800 a lo mejor ninguna mujer podría haber entrado en la universidad o no habría movilidad social ya que lo normal entonces era que la gente se dedicara a lo mismo que sus padres.

Este es el gran problema del Big Data. Si se acumulan muchos datos y se procesan bien puede que haya grupos, que actualmente están marginados, que lo sean aún más, que sean completamente excluidos de lo que la sociedad considera normal. Alguien que vive en situación de marginalidad puede lograr, con muchas dificultades, salir de ahí. Pero si las empresas e instituciones excluyen completamente a estas personas en base a análisis de datos masivos quizá la marginalidad se extienda aún más. La discriminación del Big Data será lesiva para la sociedad.

Imagen | Vodafone Institute for Society and Communications | KamiPhuc | KamiPhuc