O estudo MedHELM apresenta uma estrutura de avaliação abrangente para Grandes Modelos de Linguagem (LLMs) em tarefas médicas, indo além dos testes de licenciamento tradicionais. Ele introduz uma taxonomia validada por clínicos com 5 categorias, 22 subcategorias e 121 tarefas, juntamente com um conjunto de 35 benchmarks, incluindo 18 novos. A avaliação de nove LLMs de ponta revelou que modelos de raciocínio, como DeepSeek R1 e o3-mini, demonstram desempenho superior, embora Claude 3.5 Sonnet ofereça um equilíbrio de custo-benefício. O sistema de "júri de LLMs" proposto demonstrou maior concordância com avaliações clínicas do que métodos automatizados convencionais. Essas descobertas destacam a importância de avaliações focadas em tarefas do mundo real para a implementação segura de LLMs na saúde.

Ver todos los episodios