Evaluación de la IA en el apoyo a la decisión clínica: una base de confianza

La inteligencia artificial (IA) está transformando rápidamente la atención médica y ofrece a los profesionales clínicos herramientas innovadoras para optimizar flujos de trabajo y mejorar los resultados de los pacientes. En medio de esta prometedora revolución, garantizar que estos sistemas de IA sean seguros, confiables y eficaces es esencial para integrarlos con éxito en el entorno clínico. Aquí es donde los marcos de evaluación rigurosos, como el desarrollado por el equipo de evaluación de IA generativa de Elsevier, intervienen para establecer estándares que priorizan la confianza, la precisión y la seguridad.

A partir de los hallazgos del marco de evaluación de ClinicalKey AI y del informe Clinician of the Future 2025, analizamos cómo las evaluaciones cuidadosas y la adopción de tecnologías de IA están moldeando el futuro de la toma de decisiones clínicas.

Por qué los marcos de evaluación de IA importan en la atención médica

La IA se ha convertido en una parte integral del conjunto de herramientas de los profesionales clínicos. Según el informe Clinician of the Future 2025, casi la mitad de los profesionales clínicos encuestados, el 48%, ya han usado herramientas de IA en entornos clínicos, un aumento notable frente al 26% de 2024. Si bien esta adopción refleja entusiasmo entre los profesionales de la salud, también pone de relieve la necesidad de contar con marcos de evaluación sólidos para garantizar que las herramientas de IA ofrezcan información creíble y aplicable.

Rhett Alden, Chief Technology Officer for Health Markets de Elsevier, resume este desafío con claridad: “Cualquier avance tarda unos 20 años en convertirse en parte de la práctica estándar. Necesitamos herramientas que ayuden a los profesionales clínicos a acceder más rápidamente a información que pueda ayudar a sus pacientes”.

Los marcos de evaluación, como el utilizado para ClinicalKey AI, aportan estructura y rigor a las evaluaciones de IA. Ayudan a optimizar la IA para que proporcione información oportuna, precisa y útil, y también contribuyen a mitigar riesgos como la desinformación, las recomendaciones incorrectas o los resultados sesgados.

ClinicalKey AI y el marco de evaluación

ClinicalKey AI utiliza una arquitectura de generación aumentada por recuperación (Retrieval Augmented Generation, RAG), que combina modelos de lenguaje avanzados con contenido seleccionado y basado en evidencia. Este enfoque minimiza problemas comunes, como las alucinaciones o las respuestas no verificables, al basar las respuestas en materiales clínicos validados. Aun así, es importante que las organizaciones evalúen la capacidad de la solución para comprender consultas y ofrecer respuestas que sean precisas y clínicamente significativas.

Leah Livingston, Director of Generative AI Evaluation for Health Markets de Elsevier, destaca la importancia de realizar evaluaciones exhaustivas: “Este enfoque con un ‘clínico en el circuito’ permite a los desarrolladores entender cómo funciona la herramienta en el mundo real y ofrece una ‘visión panorámica’ de la calidad”.

El marco de evaluación se basa en la puntuación de cinco dimensiones clave, cada una fundamental para su papel en la toma de decisiones clínicas. Para ver en detalle la metodología del marco de evaluación, puede leer el artículo de investigación publicado en JAMIA Open: Reproducible generative artificial intelligence evaluation for health care: a clinician-in-the-loop approach.opens in new tab/window

1. Utilidad

Esta dimensión mide el valor general de las respuestas generadas por IA en escenarios clínicos. Durante su evaluación del cuarto trimestre de 2024, ClinicalKey AI demostró un desempeño sobresaliente: el 94,4% de las respuestas fueron calificadas como útiles por expertos clínicos en la materia (SMEs).

2. Comprensión

Casi todas las respuestas evaluadas, el 98,6%, demostraron que el sistema de IA podía comprender e interpretar con precisión consultas clínicas complejas. Esta comprensión profunda va más allá del procesamiento del lenguaje y llega a la verdadera interpretación clínica.

3. Corrección

La precisión es fundamental en la atención médica. ClinicalKey AI alcanzó una tasa de corrección del 95,5%, lo que refleja su base en fuentes clínicas de alta calidad y revisadas por pares.

4. Exhaustividad

Esta dimensión evalúa si las respuestas de la IA abordan todos los aspectos relevantes de la consulta clínica. ClinicalKey AI obtuvo una puntuación del 90,9%, algo menor que otras métricas, pero aún representativa de altos estándares de exhaustividad en las respuestas.

5. Posible daño clínico

Minimizar el riesgo es esencial. El marco determinó que ClinicalKey AI presentó una tasa baja (0,47%) de contenido potencialmente perjudicial, asumiendo que se actuara directamente sobre la información incluida en la respuesta. Al incorporar salvaguardas claras, ClinicalKey AI ayuda a que los profesionales clínicos puedan confiar en la herramienta sin comprometer la seguridad del paciente, aunque los hallazgos subrayan la necesidad de que personal calificado evalúe las respuestas proporcionadas por la herramienta.

Cómo funciona el proceso de evaluación

El proceso de evaluación siguió un modelo con dos evaluadores, en el que los expertos en la materia calificaron las respuestas de forma independiente. Las discrepancias se resolvieron mediante un proceso de consenso basado en el método Delphi modificado, lo que permitió que los desacuerdos matizados se abordaran de manera metódica por parte de los evaluadores clínicos.

El artículoopens in new tab/window de JAMIA Open presenta la evaluación del cuarto trimestre de 2024 de ClinicalKey AI, para la cual Elsevier reclutó a 41 expertos clínicos en la materia, incluidos médicos con certificación de especialidad y farmacéuticos clínicos. Estos expertos revisaron 426 respuestas a consultas generadas por IA en una amplia variedad de especialidades clínicas.

Este nivel de rigor está diseñado para alinear los resultados de la IA con las expectativas y necesidades de los profesionales clínicos. Livingston enfatiza: “El proceso iterativo de perfeccionar el marco de evaluación optimizará la capacidad de Elsevier para ofrecer a los usuarios clínicos contenido generado por IA que sea confiable y adecuado para el uso clínico”.

Aplicaciones reales de la IA en la atención clínica

Herramientas de IA como ClinicalKey AI ya ofrecen beneficios tangibles en la práctica clínica. Según el informe Clinician of the Future 2025, los profesionales clínicos están aprovechando la IA para abordar puntos críticos y optimizar flujos de trabajo. Entre los principales ejemplos se incluyen:

• Análisis de interacciones farmacológicas

  • El 30% de los profesionales clínicos usa actualmente IA para identificar interacciones farmacológicas, y otro 59% manifiesta interés en adoptar esta capacidad.

• Imágenes médicas

  • El 21% de los profesionales clínicos usa IA para interpretar imágenes médicas, una estadística que subraya el papel crítico de la IA en el diagnóstico.

• Resúmenes de medicación de pacientes

  • El 20% de los profesionales clínicos se apoya en la IA para agilizar tareas como la generación de resúmenes de medicación, lo que ayuda a lograr una mayor eficiencia.

Los profesionales clínicos prevén que estas aplicaciones se expandirán en los próximos años. A nivel mundial, el 70% predice que la IA les ayudará a ahorrar tiempo, mientras que el 54% anticipa que la IA permitirá diagnósticos más precisos. “No tenemos otra opción que adoptar la IA en toda la actividad neuroquirúrgica”, afirma un neurocirujano de Asia-Pacífico, lo que subraya la creciente indispensabilidad de la IA en campos especializados.

Generar confianza para el futuro

A pesar de su importante potencial, la adopción de la IA depende de la confianza. Según el informe Clinician of the Future 2025, el 68% de los profesionales clínicos afirma que la confianza en las herramientas clínicas de IA depende de la citación automática de referencias, mientras que el 65% destaca la importancia de entrenar la IA con contenido de alta calidad y revisado por pares.

ClinicalKey AI responde a estas expectativas mediante una base de transparencia y confiabilidad. Livingston destaca la importancia de las prácticas que generan confianza y enfatiza que la IA no debe reemplazar a los profesionales clínicos, sino apoyarlos en la toma de decisiones fundamentadas. Un médico sudamericano citado de forma anónima en el informe reiteró: “La IA no reemplaza el juicio clínico; es simplemente una herramienta que debe facilitar los procesos de atención”.