Hospitals are gearing up to invest billions in AI in the near future, but many are not adequately prepared to assess the true ROI of these investments.
Health system leaders are still in the process of determining how to measure the effectiveness of AI tools, using a range of metrics from patient outcomes to physician job satisfaction.
The lack of a clear understanding of which AI tools are effective makes it challenging for hospitals to expand the use of AI throughout their organization. Various factors such as different needs across specialties, insufficient technology infrastructure, and the need for robust data governance further complicate the scaling process.
As health systems move from experimenting with AI to widespread adoption, experts agree that more rigorous real-world evidence is necessary to evaluate the success of these tools.
Health system leaders are currently working on ways to measure the success of AI tools, with a focus on calculating the ROI before investing in a particular technology.
For some tools, qualitative metrics such as physician job satisfaction are essential, especially in the current healthcare climate with a shortage of clinicians and high rates of burnout.
Scaling AI solutions that have performed well during pilot phases presents new challenges, including the need for tailored deployment strategies to different physician populations.
To successfully scale AI solutions, hospitals must invest in the necessary tech infrastructure, including a strong digital core, structured data, and robust governance structures.
Additionally, hospitals need to prioritize training staff on how to effectively use AI tools to maximize their benefits and ensure ethical and secure use cases. Hay una especie de frontera dentada en el campo de la IA: se trata de ayudar a los médicos a comprender y apreciar realmente cómo es esa frontera dentada, y para qué pueden y deben usar esta tecnología”, explicó.
Como suele ser el caso con la tecnología, son las “personas y el proceso” los que realmente determinan el éxito de la IA en la atención médica.
Hay una brecha de evidencia
Otro problema clave al que se enfrentan los hospitales cuando se trata de escalar la IA es que no tienen mucha evidencia externa a la que hacer referencia para ayudarles a averiguar cuáles son las soluciones que funcionan mejor y, por lo tanto, deberían adoptarse más rápido, señaló Meg Barron, directora gerente del Instituto de Tecnología de la Salud Peterson (PHTI).
La organización de Barron es una organización sin fines de lucro que está abordando este problema publicando investigaciones públicas que evalúan el impacto clínico y económico de las herramientas de salud digital.
Enfatizó la importancia de priorizar la efectividad clínica sobre la participación y la satisfacción del usuario en las evaluaciones de salud digital.
“Para cualquier categoría de solución dada, a menudo puede existir evidencia variada, pero no toda la evidencia es igual, y a menudo puede existir sesgo y falta de calidad en gran parte de la investigación”, afirmó Barron.