Por qué debemos controlar los algoritmos: los casos de Deliveroo ('orejeras'), Apple ('espejo') y Amazon ('frankenstein')

En el tenso debate generado en el Congreso de los Diputados por la aprobación de los nuevos Presupuestos Generales del Estado llama la atención las exigencias de Más País para apoyar las cuentas le Gobierno. El partido liderado por Íñigo Errejón pide más psicólogos, una red de trenes nocturnos y una agencia estatal que controle los algoritmos. ¿Por qué hay que controlarlos? ¿Suponen un peligro? Analiza esta cuestión en laSexta Clave el periodista José María Rivero. Más País quiere controlarlos porque pueden ser injustos, se pueden equivocar. Para ponernos en situación: una empresa privada o una administración pública debe tomar una decisión, deben resolver una cuestión determinada.

Para ahorrar tiempo, dejan esta cuestión en manos del algoritmo, de un sistema matemático que procesa miles de datos, hace la operación y da una respuesta, en teoría, eficiente. Sin embargo, en muchas ocasiones, esa respuesta puede no ser la correcta porque tiene un sesgo ideológico e incluso discriminatorio. Para analizar esta cuestión de forma más precisa, Rivero ha hablado de tres categorías distintas: 'Orejeras', 'Espejo' y 'Frankenstein', ¿qué simboliza cada una? En resumidas cuentas, son las tres maneras por las que el algoritmo puede discriminar por raza, por sexo, por pobreza.

'Orejeras': que alguien le haya dicho que discrimine o que no contemple nada que pueda evitar o limitar esa discriminación. El ejemplo lo sacamos de Italia con Deliveroo. A la hora de asignar turnos, el algoritmo castigaba a los que rechazaban alguno o no acudían cuando les tocaba. Les castigaba ofreciendo peores turno o reduciendo su jornadas. No vienes a trabajar, pues te 'castigo'. El problema es que el algoritmo no contemplaba que alguien puede no ir a trabajar o rechazar un turno por una enfermedad, porque se le ha roto la bici, porque se ha puesto de parto tu mujer o porque estás de huelga. Uno de los trabajadores a los que el algoritmo castigó denunció la situación en Italia, y el tribunal dio la razón

.

'Espejo': que el algoritmo simplemente refleje lo que somos o lo que hemos sido. Analizan miles de datos históricos, y si históricamente esos datos muestran discriminación los reproducirá, es un robot cuadriculado que no piensa en matices. Un ejemplo con 'Apple Card'. Apple sacó una tarjeta de crédito en colaboración con un banco. Cuando la tarjeta llegó a sus clientes, les ofreció un crédito automático. Y el crédito ofrecido a una mujer era muy inferior al que se le concedía a los hombres. Era una decisión "jodidamente sexista".

Así se expresó, precisamente, uno de los fundadores de Apple. Él y su mujer recibieron la misma tarjeta. A su mujer, compartiendo cuentas y rentas, le ofrecía mucho menos que a él. "El algoritmo de caja negra de Apple cree que merezco 20 veces el límite de crédito que ella merece. No", expuso el directivo a través de redes sociales. La explicación era que los datos que le habían dado al algoritmo reflejaban algo muy claro: las mujeres ganan menos. Para él algoritmo, era lógico conceder un crédito de menos dinero a las mujeres que a los hombres. Los datos en su visión cuadriculada le ofrecían eso. Reproducía el patrón.

'Frankenstein': al algoritmo no le has dicho mucho, salvo darle unos datos y una pauta, por lo que toma vida propia y hace lo que quiere sin obedecer a su amo. El ejemplo, en este caso, se observa a través del sistema concreto de reparto de Amazon. La empresa lanzó un sistema de reparto en el mismo día, una especie de programa premiun... que no funcionaba en los barrios con población negra. Los excluía del reparto. La 'lógica' del algoritmo en este caso funcionó más o menos así: le dijeron que repartiera con eficiencia, y solo tenía en cuenta los barrios donde había suficientes clientes o que estaban cerca de un almacén. Tomó vida propia y acabó siendo racista sin que nadie le programara para ello.