O documento explora as causas estatísticas das alucinações em modelos de linguagem (LLMs), desde sua origem no pré-treinamento até sua persistência pós-treinamento. Ele argumenta que os LLMs alucinam porque os procedimentos de treinamento e avaliação os recompensam por adivinhar em vez de admitir incerteza. A análise estabelece uma conexão entre erros geradores e a taxa de erro de classificação binária, explicando por que as alucinações não são misteriosas, mas sim um resultado de pressões estatísticas naturais e modelagem inadequada de fatos arbitrários. Os autores propõem uma solução sociotécnica: modificar a pontuação dos benchmarks existentes para penalizar menos as respostas incertas e, assim, direcionar o campo para sistemas de IA mais confiáveis.

Ver todos los episodios