Los conocimientos adquiridos a partir de análisis y acciones impulsadas por algoritmos de aprendizaje automático, más popularmente conocidos como "inteligencia artificial", pueden brindar a las organizaciones una ventaja competitiva.

Sin embargo, los errores pueden ser costosos en términos de reputación, ingresos o incluso vidas. A continuación, una serie de casos de alto perfil con errores de inteligencia artificial registrados en la última década para ilustrar lo que puede salir mal.

Los algoritmos de inteligencia artificial identificaban todo menos la Covid-19

Desde que comenzó la pandemia de Covid-19, muchas organizaciones buscaron aplicar algoritmos de aprendizaje automático (ML, sigla en inglés) para ayudar a los hospitales a diagnosticar o clasificar a los pacientes más rápido.

Una publicación del MIT Technology Review registró una serie de fallas, la mayoría de las cuales se derivan de errores en la forma en que se entrenaron o probaron las herramientas. El uso de datos mal etiquetados o datos de fuentes desconocidas fue un culpable común.

El documento determinó que la técnica no es apta para uso clínico. El modelo fallaba porque estaba entrenado en un conjunto de datos que incluía escaneos de pacientes que estaban acostados mientras se escaneaban y pacientes que estaban de pie.

Los pacientes que estaban acostados tenían muchas más probabilidades de estar gravemente enfermos, por lo que el algoritmo aprendió a identificar el riesgo de Covid-19 en función de la posición de la persona en el escaneo.

Empleados de un cementerio durante la pandemia del coronavirus.

Un desastre de la inteligencia artificial en el negocio inmobiliario

En noviembre de 2021, la empresa de bienes raíces en línea Zillow dijo a los accionistas que cerraría sus operaciones de Zillow Offers y recortaría el 25% de la fuerza laboral de la compañía (alrededor de 2 mil empleados) durante los próximos trimestres.

Los problemas de la unidad de inversión de viviendas fueron el resultado de la tasa de error en el algoritmo de aprendizaje automático que utilizó para predecir los precios de las viviendas.

Zillow Offers era un programa a través del cual la compañía hacía ofertas en efectivo sobre propiedades basadas en un "Zestimate" de valores de viviendas derivado de un algoritmo de aprendizaje automático.

La idea era renovar las propiedades y voltearlas rápidamente. Pero un portavoz de Zillow dijo que el algoritmo tenía una tasa de error promedio del 1,9%, y que la tasa de error podría ser mucho mayor, hasta un 6,9%, para viviendas fuera del mercado.

Zillow compró 27 mil viviendas a través de Zillow Offers desde su lanzamiento en abril de 2018, pero vendió solo 17 mil hasta fines de septiembre de 2021. Los eventos del como la pandemia de Covid-19 y la escasez de mano de obra para la renovación de viviendas contribuyeron a los problemas de precisión del algoritmo.

Un algoritmo de atención médica que no marcó a los pacientes negros

En 2019, un estudio publicado en la revista Science reveló que era mucho menos probable que un algoritmo de predicción de atención médica, utilizado por hospitales y compañías de seguros en los EE. UU para identificar a los pacientes que necesitaban programas de "gestión de la atención de alto riesgo", destacara a los pacientes negros.

La aplicación errónea de la inteligencia artificial en la salud puede tener consecuencias mortales.

Los programas de gestión de la atención de alto riesgo proporcionan personal de enfermería capacitado y supervisión de atención primaria a los pacientes con enfermedades crónicas en un esfuerzo por prevenir complicaciones graves.

Pero era mucho más probable que el algoritmo recomendara pacientes blancos para estos programas que pacientes negros. El estudio encontró que el algoritmo usaba el gasto en atención médica como un indicador para determinar la necesidad de atención médica de un individuo.

Pero según Scientific American, los costos de atención médica de los pacientes negros más enfermos estaban a la par con los costos de las personas blancas más sanas, lo que significaba que recibían puntajes de riesgo más bajos incluso cuando su necesidad era mayor.

Los investigadores del estudio sugirieron que algunos factores pueden haber contribuido. Es más probable que las personas de color tengan ingresos más bajos, lo que, incluso cuando están asegurados, puede hacer que tengan menos probabilidades de acceder a la atención médica. El sesgo implícito también puede hacer que las personas de color reciban una atención de menor calidad.

Un chatbot de Microsoft que publicó tuits racistas

En marzo de 2016, Microsoft descubrió que el uso de interacciones de Twitter como datos de entrenamiento para algoritmos de aprendizaje automático puede tener resultados desalentadores.

Microsoft lanzó Tay, un chatbot de IA, en la plataforma de redes sociales. La compañía lo describió como un experimento de "comprensión conversacional". La idea era que el chatbot asumiera la personalidad de una adolescente e interactuara con las personas a través de Twitter utilizando una combinación de aprendizaje automático y procesamiento de lenguaje natural.

Uno de los tuits polémicos de Tay.

El gigante mundial del software lo sembró con datos públicos anónimos y algún material escrito previamente por comediantes, y luego lo soltó para aprender y evolucionar a partir de sus interacciones en la red social.

En 16 horas, el chatbot publicó más de 95 mil tuits, y esos tuits se volvieron con rapidez abiertamente racistas, misóginos y antisemitas. Microsoft suspendió rápidamente el servicio para realizar ajustes y finalmente lo desconectó.

Lo que Microsoft no tuvo en cuenta fue que un grupo de usuarios de Twitter inmediatamente comenzaría a publicar en esa red social comentarios racistas y misóginos a Tay. El bot aprendió rápidamente de ese material y lo incorporó a sus propios tweets. 

Una herramienta de reclutamiento de Amazon que solo recomendaba hombres

Al igual que muchas grandes empresas, Amazon está ávida de herramientas que puedan ayudar a su función de recursos humanos a seleccionar aplicaciones para los mejores candidatos.

En 2014, Amazon comenzó a trabajar en un software de reclutamiento impulsado por inteligencia artificial para hacer precisamente eso. Solo había un problema: el sistema prefería ampliamente a los candidatos masculinos. En 2018, la agencia Reuters dio la noticia de que Amazon había descartado el proyecto.

El sistema de Amazon otorgó a los candidatos calificaciones de estrellas del 1 al 5. Pero los modelos de aprendizaje automático en el corazón del sistema se entrenaron con currículos de 10 años enviados a Amazon, la mayoría de ellos de hombres.

Amazon tuvo que abandonar un proyecto de inteligencia laboral para reclutamiento.

Como resultado de esos datos de capacitación, el sistema comenzó a penalizar las frases en el currículum que incluían la palabra "mujeres" e incluso rebajó la calificación de las candidatas de universidades exclusivamente para mujeres.

En ese momento, Amazon dijo que los reclutadores de Amazon nunca usaban la herramienta para evaluar candidatos. La empresa trató de editar la herramienta para que fuera neutral, pero finalmente decidió que no podía garantizar que no aprendería alguna otra forma discriminatoria de clasificar candidatos y finalizó el proyecto.