Um estudo publicado na Nature Medicine indica que chatbots com inteligência artificial não são confiáveis para orientar decisões médicas do público em geral. Segundo os pesquisadores, os modelos testados não superaram sequer o Google — já conhecido por falhas em informações de saúde — e, em alguns casos, forneceram dados incorretos ou inconsistentes.
O experimento, o primeiro randomizado do tipo, concluiu que nenhum dos sistemas avaliados está pronto para uso direto no atendimento a pacientes. Participaram mais de 1.200 voluntários no Reino Unido, que receberam cenários médicos detalhados e usaram chatbots comerciais, como o ChatGPT, da OpenAI, e o Llama, da Meta.
Os participantes acertaram a conduta correta em menos da metade das vezes e identificaram corretamente as doenças em apenas 34% dos casos — desempenho semelhante ao grupo que usou métodos tradicionais de busca.
Segundo Adam Mahdi, do Instituto de Internet de Oxford, a medicina real é complexa e incompleta, diferente das questões objetivas em que a IA costuma se sair bem. O estudo também apontou que respostas variavam drasticamente conforme pequenas mudanças na forma de perguntar.
Em cerca de metade dos erros, os próprios usuários deixaram de informar sintomas relevantes. Quando os pesquisadores inseriram o quadro clínico completo diretamente nos sistemas, a taxa de acerto subiu para 94%.
Especialistas destacam que médicos aprendem a identificar quais informações são essenciais — algo que ainda falta aos chatbots. Para Andrew Bean, principal autor do estudo, os modelos deveriam fazer mais perguntas complementares, como ocorre em consultas médicas.
Mesmo assim, os pesquisadores observaram dificuldades dos sistemas em diferenciar casos urgentes de não urgentes e episódios de informações inventadas, incluindo recomendações de números de emergência inexistentes.
A OpenAI afirmou que os modelos atuais do ChatGPT são mais seguros e fazem mais perguntas de acompanhamento do que os avaliados no estudo. A Meta não comentou.
O estudo reforça que, apesar do avanço rápido, chatbots de IA ainda não substituem a avaliação médica profissional — e seu uso exige cautela.
