iProfesional

Una aplicación identifica a hombres como "sospechosos de violación" sólo por su fotografía

El programa pretende, en realidad, poner de manifiesto las limitaciones que todavía hoy presenta la tecnología de la inteligencia artificial
17/09/2019 - 08:04hs
Una aplicación identifica a hombres como "sospechosos de violación" sólo por su fotografía

Los investigadores Trevor Paglen y Kate Crawford crearon una aplicación de inteligencia artificial que es "capaz" de catalogar las personas por tipos a partir de una simple fotografía de su rostro.

La aplicación, llamada ImageNet Roulette , identifica con un concepto genérico cualquier persona a partir de su retrato. Así, por ejemplo, es capaz de identificar a Donald Trump como "político".

La web se ha desarrollado para la exposición titulada "Training humans" y pretende, en realidad, poner de manifiesto las limitaciones que hoy todavía presenta la tecnología de la inteligencia artificial.

Así, en la mayoría de casos, al colgar una foto en ImageNet Roulette encontraremos con que la IA nos identifica, a lo sumo, como "padre", "hermana", "director ejecutivo" y categorías similares que no siempre tienen que ver con la persona real.

De esta manera, los impulsores de esta "ruleta de imágenes" advierten de lo absurdo del funcionamiento de la inteligencia artificial que, en la mayoría de casos resulta bastante simple y que solo es útil en situaciones en las que el software ha sido específicamente entrenado, como jugar un antiguo juego de mesa chino o traducir texto de un idioma a otro.

La idea de ImageNet Roulette parte del hecho que en si le pedimos a un bot de reconocimiento estándar que haga algo nuevo, como analizar y etiquetar una fotografía utilizando solo su conocimiento adquirido, los resultados en muchos casos serán absurdos y cómicos.

ImageNet Roulette se ha creado como parte de una exposición de arte que se puede visitar en la Fondazione Prada Osservertario museum de Milan, y que trata sobre la historia de los sistemas de reconocimiento de imágenes.

Como explica el artista e investigador Trevor Paglen, creador de la exposición Training Humans junto con la investigadora de IA Kate Crawford, el objetivo no es hacer un juicio sobre la IA, sino comprometerse con su forma actual y su complicada historia académica y comercial, tan grotesca como puede ser.

La web fue creada por el desarrollador Leif Ryge bajo la dirección de Paglen, como una forma de permitir que el público interactúe con los conceptos abstractos de la exposición sobre la naturaleza inescrutable de los sistemas de aprendizaje automático.

ImageNet Roulette utiliza un marco de aprendizaje profundo de código abierto Caffe (producido en UC Berkeley) capacitado en las imágenes y etiquetas en las categorías de "persona" (que actualmente están "inactivas por mantenimiento"). Se eliminaron los nombres y categorías adecuados con menos de 100 imágenes.

Cuando un usuario carga una imagen, la aplicación primero ejecuta un detector de caras para ubicar cualquier rostro. Si encuentra alguno, los envía al modelo Caffe para su clasificación. Luego, la aplicación devuelve las imágenes originales con un cuadro delimitador que muestra la cara detectada y la etiqueta que el clasificador ha asignado a la imagen.

Parte del proyecto también pretende resaltar la forma fundamentalmente defectuosa, y por lo tanto humana, en que ImageNet clasifica a las personas con categorías "problemáticas" y "ofensivas".

Por ejemplo, algunos hombres que suben su imagen son etiquetados aleatoriamente como "sospechosos de violación" por razones inexplicables, según han denunciado a través de las redes sociales.

Paglen asegura que esto es crucial para uno de los temas que trabaja su proyecto: el de la falibilidad de la IA sistemas y la prevalencia del sesgo de aprendizaje automático como resultado de sus creadores humanos.