Avaliação da IA no apoio à decisão clínica: construindo uma base de confiança

A inteligência artificial (IA) está transformando rapidamente a assistência médica, oferecendo aos profissionais clínicos ferramentas inovadoras para otimizar fluxos de trabalho e melhorar os desfechos dos pacientes. Em meio a essa transformação promissora, garantir que esses sistemas de IA sejam seguros, confiáveis e eficazes é essencial para sua integração bem-sucedida ao ambiente clínico. É nesse contexto que estruturas rigorosas de avaliação, como a desenvolvida pela equipe de avaliação de IA generativa da Elsevier, estabelecem padrões que priorizam confiança, precisão e segurança.

Com base em insights da estrutura de avaliação do ClinicalKey AI e do relatório Clinician of the Future 2025, exploramos como avaliações criteriosas e a adoção de tecnologias de IA estão moldando o futuro da tomada de decisão clínica.

Por que as estruturas de avaliação de IA são importantes na assistência médica

A IA se tornou parte integrante do conjunto de ferramentas dos profissionais clínicos. Segundo o relatório Clinician of the Future 2025, quase metade dos profissionais clínicos entrevistados, 48%, já usou ferramentas de IA em ambientes clínicos, um aumento notável em relação aos 26% registrados em 2024. Embora essa adoção demonstre entusiasmo entre profissionais de saúde, ela também destaca a necessidade de estruturas de avaliação robustas para garantir que as ferramentas de IA entreguem insights confiáveis e acionáveis.

Rhett Alden, Chief Technology Officer for Health Markets da Elsevier, resume esse desafio de forma clara: “São necessários cerca de 20 anos para que qualquer avanço se torne parte da prática padrão. Precisamos de ferramentas que ajudem os profissionais clínicos a acessar mais rapidamente informações que possam beneficiar seus pacientes.”

Estruturas de avaliação, como a empregada no ClinicalKey AI, trazem estrutura e rigor às avaliações de IA. Elas ajudam a otimizar a IA para fornecer informações oportunas, precisas e úteis, ao mesmo tempo que contribuem para mitigar riscos como desinformação, recomendações incorretas ou respostas enviesadas.

ClinicalKey AI e a estrutura de avaliação

ClinicalKey AI usa uma arquitetura de geração aumentada por recuperação (Retrieval Augmented Generation, RAG), que combina modelos de linguagem avançados com conteúdo curado e baseado em evidências. Essa abordagem minimiza problemas comuns, como alucinações ou respostas não verificáveis, ao fundamentar as respostas em materiais clínicos validados. Ainda assim, é importante que as organizações avaliem a capacidade da solução de compreender consultas e entregar respostas que sejam precisas e clinicamente significativas.

Leah Livingston, Director of Generative AI Evaluation for Health Markets da Elsevier, destaca a importância de avaliações minuciosas: “Essa abordagem com o ‘clínico no processo’ permite que os desenvolvedores entendam como a ferramenta se comporta no mundo real e oferece uma visão ampla da qualidade.”

A estrutura de avaliação é construída em torno da pontuação de cinco dimensões principais, cada uma essencial para seu papel na tomada de decisão clínica. Para uma análise aprofundada da metodologia da estrutura de avaliação, leia o artigo de pesquisa publicado no JAMIA Open, Reproducible generative artificial intelligence evaluation for health care: a clinician-in-the-loop approach.opens in new tab/window

1. Utilidade

Essa dimensão mede o valor geral das respostas geradas por IA em cenários clínicos. Durante sua avaliação do 4º trimestre de 2024, o ClinicalKey AI demonstrou desempenho excelente, com 94,4% das respostas classificadas como úteis por especialistas clínicos no assunto (SMEs).

2. Compreensão

Quase todas as respostas avaliadas, 98,6%, mostraram que o sistema de IA conseguia compreender e interpretar com precisão consultas clínicas complexas. Essa compreensão profunda vai além do processamento de linguagem e chega à verdadeira interpretação clínica.

3. Correção

A precisão é fundamental na assistência médica. O ClinicalKey AI alcançou uma taxa de correção de 95,5%, refletindo sua base em fontes clínicas de alta qualidade e revistas por pares.

4. Completude

Essa dimensão avalia se as respostas da IA abordam todos os aspectos relevantes da consulta clínica. O ClinicalKey AI obteve pontuação de 90,9%, um pouco inferior em comparação com outras métricas, mas ainda refletindo altos padrões de abrangência das respostas.

5. Potencial dano clínico

Minimizar riscos é essencial. A estrutura constatou que o ClinicalKey AI apresentou uma baixa taxa (0,47%) de conteúdo potencialmente prejudicial, pressupondo que as informações da resposta fossem seguidas diretamente. Ao incorporar salvaguardas claras, o ClinicalKey AI ajuda os profissionais clínicos a confiar na ferramenta sem comprometer a segurança dos pacientes, embora os resultados enfatizem a necessidade de pessoal qualificado para avaliar as respostas fornecidas pela ferramenta.

Como funciona o processo de avaliação

O processo de avaliação seguiu um modelo com dois avaliadores, no qual os especialistas no assunto classificaram as respostas de forma independente. As divergências foram resolvidas por meio de um processo de consenso baseado no método Delphi modificado, garantindo que discordâncias sutis fossem tratadas de forma metódica pelos avaliadores clínicos.

O artigoopens in new tab/window do JAMIA Open apresenta a avaliação do 4º trimestre de 2024 do ClinicalKey AI, na qual a Elsevier recrutou 41 especialistas clínicos no assunto, incluindo médicos certificados por conselhos de especialidade e farmacêuticos clínicos. Esses especialistas analisaram 426 respostas a consultas geradas por IA em uma ampla variedade de especialidades clínicas.

Esse nível de rigor foi projetado para alinhar os resultados da IA às expectativas e necessidades dos profissionais clínicos. Livingston enfatiza: “O processo iterativo de refinamento da estrutura de avaliação otimizará a capacidade da Elsevier de entregar aos usuários clínicos conteúdo gerado por IA que seja confiável e apropriado para uso clínico.”

Aplicações reais da IA no cuidado clínico

Ferramentas de IA como o ClinicalKey AI já oferecem benefícios tangíveis na prática clínica. Segundo o relatório Clinician of the Future 2025, os profissionais clínicos estão usando a IA para enfrentar pontos problemáticos e otimizar fluxos de trabalho. Entre os principais exemplos estão:

• Análise de interações medicamentosas

  • 30% dos profissionais clínicos usam atualmente a IA para identificar interações medicamentosas, e outros 59% manifestam interesse em adotar essa capacidade.

• Imagem médica

  • 21% dos profissionais clínicos usam IA para interpretar imagens médicas, um dado que ressalta o papel crítico da IA no diagnóstico.

• Resumos de medicação dos pacientes

  • 20% dos profissionais clínicos dependem da IA para simplificar tarefas como a geração de resumos de medicação, ajudando a garantir maior eficiência.

Os profissionais clínicos preveem que essas aplicações se expandirão nos próximos anos. Globalmente, 70% acreditam que a IA ajudará a economizar tempo, enquanto 54% esperam que a IA permita diagnósticos mais precisos. “Não temos outra opção senão adotar a IA em todas as atividades de neurocirurgia”, afirma um neurocirurgião da Ásia-Pacífico, ressaltando a crescente indispensabilidade da IA em áreas especializadas.

Construindo confiança para o futuro

Apesar de seu potencial significativo, a adoção da IA depende da confiança. Segundo o relatório Clinician of the Future 2025, 68% dos profissionais clínicos afirmam que a confiança em ferramentas clínicas de IA depende da citação automática de referências, enquanto 65% enfatizam o treinamento da IA com conteúdo de alta qualidade e revisto por pares.

ClinicalKey AI atende a essas expectativas por meio de uma base de transparência e confiabilidade. Livingston destaca a importância das práticas de construção de confiança, enfatizando que a IA não deve substituir os profissionais clínicos, mas apoiá-los na tomada de decisões embasadas. Um médico sul-americano citado anonimamente no relatório reiterou: “A IA não substitui o julgamento clínico; ela é apenas uma ferramenta que deve facilitar os processos de cuidado.”