La Organización Internacional del Trabajo (OIT) ha publicado un nuevo estudio sobre el modo en que la inteligencia artificial (IA) evalúa el prestigio y el valor social de las ocupaciones, que arroja luz sobre el potencial y los riesgos del uso de tales métodos para la investigación sociológica y ocupacional.

El documento, A Technological Construction of Society: Comparing GPT-4 and Human Respondents for Occupational Evaluation in the UK , compara las evaluaciones de las ocupaciones realizadas por GPT-4 (un tipo de IA Large Language Model (LLM) capaz de reconocer y generar texto) con las de una encuesta de alta calidad realizada en el Reino Unido.

La evaluación de ocupaciones capta las percepciones de las personas sobre las ocupaciones en la sociedad. Los investigadores utilizaron la clasificación ocupacional de aplicación más universal, la Clasificación Internacional Uniforme de Ocupaciones (CIUO-08) de la OIT, para organizar los empleos en grupos claramente definidos según sus tareas y funciones.

El estudio encontró una alta correlación entre los resultados generados por los dos enfoques diferentes. El GPT-4 demostró una gran destreza a la hora de predecir las opiniones medias del Reino Unido sobre el prestigio y el valor social de las distintas ocupaciones, y de utilizar estas predicciones para crear clasificaciones ocupacionales relativas. Esta “comprensión algorítmica” de las opiniones humanas generales podría permitir el uso de la IA en la investigación ocupacional, con ventajas como la eficiencia, la rentabilidad, la rapidez y la precisión en la captación de tendencias generales.

El estudio también reveló algunos problemas. El modelo de IA tendía a sobrestimar el prestigio y el valor de las ocupaciones asociadas a la economía digital o con fuertes componentes de marketing y ventas. También subestimó, en comparación con los evaluadores humanos, el prestigio y el valor social otorgados a algunas ocupaciones ilícitas o tradicionalmente estigmatizadas. Además, los investigadores manipularon las instrucciones algorítmicas de la IA, demostrando que no era capaz de entender las jerarquías de prestigio y valor social de las ocupaciones tal y como las perciben las minorías demográficas en el contexto británico.

El artículo advierte de que los LLM actuales tienden a reflejar principalmente las opiniones de las poblaciones occidentales, educadas, industrializadas, ricas y demográficas (WEIRD), que constituyen una minoría demográfica mundial, pero que han producido la mayoría de los datos sobre los que se han entrenado dichos modelos de IA. Por lo tanto, aunque pueden ser una herramienta de investigación complementaria útil -por ejemplo, para procesar grandes cantidades de entradas de texto, voz e imágenes no estructuradas-, conllevan el grave riesgo de omitir las opiniones de las minorías demográficas o los grupos vulnerables. Los investigadores sostienen que estas limitaciones deben tenerse muy en cuenta a la hora de aplicar los sistemas de IA al mundo laboral, por ejemplo al asesorar sobre la carrera profesional o realizar evaluaciones algorítmicas del rendimiento.

Fuente: OIT 02 de febrero de 2024