El trabajo del pedagogo en tiempos de algoritmos y big data

Una fuente de sesgo importante para identificar es el producido en el entrenamiento del algoritmo. Lo que sucede es que una de las fases del desarrollo incluye el “aprendizaje” (no me refiero al concepto técnico utilizado en machine learning) del propio algoritmo donde opera un proceso de ajuste para minimizar el error posible, para decirlo de una manera simple. Para realizar este proceso de ajuste se utilizan bases de datos que permiten mejorar el algoritmo. En este caso, la calidad de los datos nos interesa porque pueden estar sesgados ellos mismos, trasladándose esto al funcionamiento del algoritmo. Un caso clásico es el de los algoritmos de reconocimiento facial que, en ocasiones, se han entrenado con rostros caucásicos. Entrenados de ese modo, cuando se los pone a funcionar, no pueden reconocer rostros que no sean blancos, entonces, aparecen las discusiones sobre discriminación, racismo y algoritmos. En realidad, es un tema vinculado a los sesgos que provienen del entrenamiento. Otro caso es el de los autos autónomos. En el último tiempo, ha salido un trabajo de investigadores del MIT [Massachusetts Institute of Technology] donde describen el resultado de un ensayo en el cual hicieron un videojuego donde se les presenta a los jugadores una situación ficticia de conducción de un auto en la que deben decidir a quién salvar ante un choque inminente. Lo interesante que estos investigadores encuentran es que, dependiendo de las regiones geográficas, las decisiones que toman los jugadores son diferentes.

Por ejemplo, si bien muchos de ellos coinciden en salvar a grupos antes que a individuos, mujeres antes que hombres, en países donde hay grandes diferencias económicas, los jugadores suelen preferir salvar a personas que parecen hombres de negocios antes que a gente que vive en la calle, etc. Estas decisiones –que van quedando en estas bases de datos y en las que han participado más de dos millones de personas en todo el mundo– muestran que los propios datos que provienen de nuestra actuación en los entornos virtuales están sesgados y que responden a ciertas formas de ver el mundo. Por lo tanto, en el caso de que los algoritmos dedicados al desarrollo de autos autónomos utilicen estos datos, es evidente que implicaría un sesgo en la forma en la que estos vehículos funcionarán. Incluso, empieza a haber discusiones sobre “colonialismo moral”, porque las reglas morales de determinados grupos pueden ser vendidas en el paquete algorítmico, pero pueden resultar extrañas o ajenas a los otros “consumidores” de este tipo de sistemas. Lo que se muestra con claridad en este trabajo del MIT es que los datos previamente sesgados tienen efecto sobre el entrenamiento de estos algoritmos, de modo que la fuente de los sesgos es preexistente al propio algoritmo y está en manos de la gente que deja su “huella” al usar entornos virtuales. Por eso, si nos atenemos a esta clasificación, es evidente que no es el algoritmo en sí mismo el que está sesgado, sino que está en los sujetos que diseñan, en los que leen los resultados de estos algoritmos, en aquellos que escalan hacia otros contextos y en la posición de la comunidad cuyos datos se utilizan para entrenar el algoritmo. Son estos los lugares desde donde emergen las formas sesgadas que se terminan condensando y cristalizando en el algoritmo en sí, pero pueden incluirse como nuestras responsabilidades. Poner en evidencia esto es una forma de reconocer el lugar que nos toca a quienes participamos en la configuración de estos sistemas para que sea posible intervenir sobre estos espacios problemáticos; porque, además, son problemas que están en nuestras manos.