¿Confíarías ciegamente en la IA para tomar decisiones importantes con implicaciones personales, financieras, de seguridad o de seguridad? Como la mayoría de las personas, probablemente la respuesta sea no, y en cambio, querrías saber cómo llega a esas decisiones primero, considerar su razonamiento y luego tomar tu propia decisión basada en esa información.
Este proceso, conocido como explicabilidad de IA, es clave para desbloquear una IA confiable, o IA que sea tanto confiable como ética. A medida que industrias sensibles como la salud continúan expandiendo el uso de la IA, lograr confiabilidad y explicabilidad en los modelos de IA es crítico para garantizar la seguridad del paciente. Sin explicabilidad, los investigadores no pueden validar completamente la salida de un modelo de IA y, por lo tanto, no pueden confiar en estos modelos para apoyar a los proveedores en situaciones de alto riesgo con los pacientes. A medida que los hospitales continúan enfrentando escasez de personal y agotamiento de los proveedores, la necesidad de IA continúa creciendo para aliviar la carga administrativa y apoyar tareas como la codificación médica, la transcripción ambiental y el apoyo en la toma de decisiones. Pero sin una adecuada explicabilidad de IA, la seguridad del paciente sigue estando en riesgo.
¿Qué es la explicabilidad de IA?
A medida que los modelos de aprendizaje automático (ML) se vuelven cada vez más avanzados, los humanos tienen la tarea de comprender los pasos que toma un algoritmo para llegar a su resultado. En la industria de la salud, esto significa asignar a los proveedores el desafío de rastrear cómo un algoritmo llegó a un diagnóstico potencial. A pesar de todos sus avances e información, la mayoría de los motores de ML aún conservan su “caja negra”, lo que significa que su proceso de cálculo es imposible de descifrar o rastrear.
Ingresa la explicabilidad. Si bien la IA explicativa, también conocida como XAI, sigue siendo un concepto emergente que requiere definiciones más consolidadas y precisas, en gran medida se refiere a la idea de que el proceso de razonamiento de un modelo de ML puede explicarse de una manera que tenga sentido para nosotros como humanos. En pocas palabras, la explicabilidad de IA arroja luz sobre el proceso por el cual la IA llega a sus conclusiones. Esta transparencia fomenta la confianza al permitir que los investigadores y usuarios comprendan, validen y perfeccionen los modelos de IA, especialmente cuando se trata de datos complejos o cambiantes.
Si bien la IA tiene un inmenso potencial para revolucionar una serie de industrias, ya está haciendo progresos significativos en la industria de la salud, con inversiones en salud AI alcanzando la asombrosa cifra de $11 mil millones solo en 2024. Pero para que los sistemas implementen y confíen en estas nuevas tecnologías, los proveedores deben poder confiar en sus salidas, en lugar de confiar en ellas ciegamente. Los investigadores de IA han encontrado la explicabilidad como un aspecto necesario de esto, reconociendo su capacidad para abordar preguntas éticas y legales emergentes en torno a la IA y ayudar a los desarrolladores a garantizar que los sistemas funcionen como se espera y como se prometió.
El camino para lograr la explicabilidad
En un esfuerzo por lograr una IA confiable, muchos investigadores se han vuelto hacia una solución única: usar IA para explicar IA. Este método consiste en tener un segundo modelo de IA sustituto que se entrene para explicar por qué la primera IA llegó a su resultado. Si bien puede sonar útil asignarle esa tarea a otra IA, este método es altamente problemático, por no mencionar paradójico, ya que confía ciegamente en el proceso de toma de decisiones de ambos modelos sin cuestionar su razonamiento. Un sistema defectuoso no anula al otro.
Toma, por ejemplo, un modelo de IA que concluye que un paciente tiene leucemia y es validado por un segundo modelo de IA, basado en los mismos insumos. A simple vista, un proveedor podría confiar en esta decisión dadas los síntomas del paciente de pérdida de peso, fatiga y recuento elevado de glóbulos blancos. La IA ha validado la IA, y el paciente queda con un diagnóstico sombrío. Caso cerrado.
Aquí se demuestra la necesidad de tener una IA explicativa. En este mismo escenario, si el proveedor tuviera acceso al proceso de toma de decisiones de la IA y pudiera ubicar qué palabras clave captó para concluir la leucemia, podría ver que los resultados de la biopsia de médula ósea del paciente en realidad no fueron reconocidos por el modelo. Al tomar en cuenta estos resultados, el proveedor reconoce que el paciente claramente tiene linfoma, no leucemia.
Esta situación subraya la necesidad crítica de procesos de toma de decisiones transparentes y rastreables en los modelos de IA. Confiar en otra IA para explicar la primera simplemente aumenta el potencial de error. Para garantizar el uso seguro y efectivo de la IA en la atención médica, la industria debe priorizar el desarrollo de modelos especializados y explicables que proporcionen a los profesionales de la salud información clara sobre el razonamiento de un modelo. Solo aprovechando estas ideas pueden los proveedores usar con confianza la IA para mejorar la atención al paciente.
Cómo la explicabilidad sirve a los profesionales de la salud
Más allá de los diagnósticos, la explicabilidad tiene una importancia extensa en toda la industria de la salud, especialmente en la identificación de prejuicios incrustados en la IA. Debido a que la IA no tiene el contexto o las herramientas necesarias para entender el matiz, los modelos de IA pueden interpretar erróneamente datos o sacar conclusiones basadas en sesgos inherentes en sus salidas. Tome el caso del Estudio del Corazón de Framingham, donde las puntuaciones de riesgo cardiovascular de los participantes se asignaron de manera desproporcionada según la raza de los participantes. Si se hubiera aplicado un modelo de IA explicativo a los datos, los investigadores podrían haber identificado la raza como un insumo sesgado y ajustado su lógica para proporcionar puntuaciones de riesgo más precisas para los participantes.
Sin explicabilidad, los proveedores pierden tiempo valioso tratando de entender cómo la IA llegó a un determinado diagnóstico o tratamiento. Cualquier falta de transparencia en el proceso de toma de decisiones puede ser increíblemente peligrosa, especialmente cuando los modelos de IA son propensos a sesgos. La explicabilidad, por otro lado, sirve como una guía, mostrando el proceso de toma de decisiones de la IA. Al resaltar qué palabras clave, insumos o factores afectan la salida de la IA, la explicabilidad permite a los investigadores identificar y corregir errores de manera más efectiva, lo que conduce a decisiones de atención médica más precisas y equitativas.
Lo que esto significa para la IA
Si bien la IA ya se está implementando en la atención médica, aún tiene un largo camino por recorrer. Incidentes recientes de herramientas de IA fabricando conversaciones médicas destacan los riesgos de una IA no controlada en la atención médica, lo que potencialmente puede llevar a consecuencias graves como recetas incorrectas o diagnósticos erróneos. La IA debería complementar, no reemplazar, la experiencia de los proveedores humanos. La explicabilidad capacita a los profesionales de la salud para trabajar en conjunto con la IA, asegurando que los pacientes reciban la atención más precisa e informada.
La explicabilidad de la IA presenta un desafío único, pero que sirve para proporcionar un inmenso potencial para los pacientes. Al equipar a los proveedores con estos modelos de IA, podemos crear un mundo donde las decisiones médicas no solo estén basadas en datos, sino también transparentes y comprensibles, fomentando una nueva era de confianza y seguridad en la atención médica.
Foto: Andrzej Wojcicki, Getty Images
Lars Maaløe es cofundador y director de tecnología de Corti. Maaløe tiene una maestría y un doctorado en Aprendizaje Automático de la Universidad Técnica de Dinamarca. Fue galardonado como Doctorado del Año por el departamento de Matemáticas Aplicadas e Informática y ha publicado en los principales eventos de aprendizaje automático: ICML, NeurIPS, etc. Su dominio de investigación principal está en aprendizaje automático semi-supervisado y no supervisado. En el pasado, Maaløe ha trabajado con empresas como Issuu y Apple.
Esta publicación aparece a través del programa Influencers de MedCity. Cualquiera puede publicar su perspectiva sobre negocios e innovación en atención médica en MedCity News a través de Influencers de MedCity. Haga clic aquí para averiguar cómo.