OpenAI a présenté MentalHealthBench le 23 septembre, une évaluation ouverte développée avec plus de 80 experts agréés en santé mentale de 22 pays. Il utilise des conversations synthétiques couvrant les préoccupations quotidiennes, la détresse et les urgences, avec des critères rédigés par des experts pour un comportement utile et éviter les préjudices.
Les scénarios incluent des adultes, des adolescents, des soignants et des cliniciens. Un évaluateur automatisé évalue les réponses par rapport à des rubriques convenues par des experts. Le benchmark prend en charge les comparaisons de recherche ; il n’établit pas l’efficacité clinique ni ne garantit la sécurité des conversations individuelles. OpenAI note que ChatGPT ne peut remplacer les soins professionnels. Annonce de recherche.