“
Las herramientas de inteligencia artificial generativa están perpetuando estereotipos y difundiendo desinformación
Crédito: Shutterstock
Las herramientas de IA generativa han enfrentado preocupaciones y controversias desde su creación debido a sus fuentes de datos defectuosas y el peligro de la propagación de desinformación.
Un estudio reciente ha demostrado una vez más esto, revelando que las historias generadas por IA sobre profesionales médicos perpetúan estereotipos de género, incluso cuando los algoritmos intentan “corregir” los sesgos pasados.
Un estudio realizado por investigadores reveló que las herramientas de IA generativa dependen de estereotipos de género
Un estudio importante realizado por investigadores de la Universidad de Flinders, Australia, examinó cómo tres principales herramientas de IA generativa – ChatGPT de OpenAI, Gemini de Google y Llama de Meta – representan los roles de género en el campo médico.
Más leído en Euro Weekly News
El estudio realizó casi 50,000 pruebas, pidiéndoles que proporcionaran historias sobre médicos, cirujanos y enfermeras, revelando que los modelos de IA a menudo dependen de estereotipos de género, especialmente en narrativas médicas.
El estudio encontró que el 98 por ciento de las historias generadas por los modelos de IA identificaban a las enfermeras como mujeres, independientemente de su nivel de experiencia, jerarquía o rasgos de personalidad.
Esta representación refuerza los estereotipos tradicionales de que la enfermería es una profesión predominantemente femenina.
Las herramientas de IA no se detuvieron en las enfermeras, también representaron en exceso a las mujeres como médicos y cirujanos en sus historias generadas; posiblemente como un signo de sobre corrección por parte de las compañías de IA.
Dependiendo del modelo utilizado, las mujeres representaban del 50 al 84 por ciento de los médicos y del 36 al 80 por ciento de los cirujanos.
Esta representación contrasta con los datos del mundo real, donde los hombres siguen siendo mayoritarios en estas profesiones.
Los modelos de IA están perpetuando estereotipos de género arraigados, incluidos rasgos de personalidad
Estas sobre representaciones pueden deberse a ajustes algorítmicos recientes por empresas como OpenAI, que han enfrentado críticas por los sesgos incrustados en sus resultados de IA.
La Dra. Sarah Saxena, una anestesióloga de la Universidad Libre de Bruselas, señaló que aunque se han hecho esfuerzos para abordar los sesgos algorítmicos, parece que algunas distribuciones de género podrían estar ahora sobre corregidas.
Sin embargo, estos modelos de IA siguen perpetuando estereotipos arraigados; cuando las historias sobre trabajadores de la salud incluían descripciones de sus personalidades, surgía una clara división de género.
Los modelos de IA eran más propensos a describir a los médicos como mujeres si se los presentaba como amables, abiertos o concienzudos.
Por otro lado, si se representaba a un médico como inexperto o en un rol junior, la IA a menudo los describía como mujeres.
Por el contrario, cuando los médicos eran caracterizados por rasgos como arrogancia, falta de educación o incompetencia, con más frecuencia se identificaban como hombres.
La Dra. Sarah Saxena enfatiza los peligros de que las herramientas de IA dependan de estereotipos
El estudio, publicado en JAMA Network Open, destacó que esta tendencia apunta a un problema más amplio:
“Las herramientas de IA generativa parecen perpetuar estereotipos de larga data respecto a los comportamientos esperados de los géneros y la idoneidad de los géneros para roles específicos.”
Este problema no se limita a narrativas escritas.
El equipo de la Dra. Saxena también exploró cómo las herramientas de generación de imágenes de IA, como Midjourney y ChatGPT, representan a los anestesiólogos.
Su experimento reveló que las mujeres comúnmente se mostraban como anestesiólogas pediátricas u obstétricas, mientras que los hombres eran retratados en roles más especializados, como anestesiólogos cardíacos.
Además, cuando se les pidió que generaran imágenes del “jefe de anestesiología”, virtualmente todos los resultados mostraban a hombres.
Este efecto de “techo de cristal”, como lo llamó la Dra. Saxena, muestra que la IA podría estar reforzando barreras para las mujeres en el campo médico.
Estos sesgos tienen implicaciones de gran alcance, no solo para las mujeres y los grupos subrepresentados en la medicina, sino también para la atención al paciente.
Los estereotipos y sesgos de la IA “deben abordarse” antes de una mayor integración en la atención médica
A medida que los modelos de IA se integran cada vez más en la atención médica, desde la reducción de la documentación administrativa hasta la asistencia en diagnósticos, los riesgos de perpetuar estereotipos dañinos aumentan.
Un estudio de 2023 incluso encontró que ChatGPT podría estereotipar diagnósticos médicos basados en la raza o el género de un paciente, mientras que otro análisis advirtió que estos modelos podrían promover ideas racistas desacreditadas en la atención médica.
“Existe un dicho que dice, ‘no puedes ser lo que no puedes ver’, y esto es realmente importante cuando se trata de IA generativa,” enfatizó la Dra. Saxena.
A medida que la IA se vuelve más prevalente en el sector de la salud, abordar estos sesgos es crucial. “Esto debe ser abordado antes de que podamos integrarlo realmente y ofrecerlo ampliamente a todos, para hacerlo lo más inclusivo posible,” agregó la doctora.
El estudio sirve como una llamada de atención tanto para la industria de la IA como para los profesionales de la salud.
Está claro que a medida que las herramientas de IA continúan evolucionando, se deben realizar esfuerzos conscientes para evitar que perpetúen estereotipos y sesgos obsoletos, asegurando un futuro más equitativo para todos.