Selon une étude récente publiée dans une revue médicale de référence, les chatbots tels que ChatGPT, Gemini et Claude présentent des symptômes similaires à ceux de la démence précoce. Cette analyse révèle des déficiences cognitives qui soulignent les limites de ces intelligences artificielles.
L’étude, parue le 18 décembre 2024 dans le British Medical Journal (BMJ), s’appuie sur le test standard MoCA (Montreal Cognitive Assessment), habituellement utilisé pour diagnostiquer des troubles de la mémoire, de l’attention et du raisonnement chez les personnes âgées.
Des performances variables selon les modèles
Les résultats sont contrastés : ChatGPT 4o a obtenu 26 points sur 30, tandis que Claude a décroché 25 points. Ces scores sont considérés comme normaux. En revanche, Gemini n’a obtenu que 16 points, indiquant des déficits notables dans certaines compétences cognitives.
Les chatbots ont notamment échoué sur des tâches précises comme les exercices visuospatiaux (dessiner une horloge affichant une heure donnée) ou les tâches exécutives (associer des chiffres et des lettres dans un ordre précis). Ces difficultés rappellent celles des personnes présentant des signes de démence légère. Les chercheurs qualifient cette tendance de « démence numérique ».
Des limites flagrantes face à des tâches complexes
Les chercheurs notent que ces IA excellent dans des tâches simples, telles que nommer des objets ou répondre à des questions directes. Cependant, elles échouent lorsqu’il est question de raisonnement abstrait ou de planification complexe. Par exemple, seul ChatGPT 4o a réussi le test d’interférence (où le mot écrit ne correspond pas à la couleur affichée).
Ces déficiences révèlent une incapacité à gérer des informations contradictoires ou complexes, des compétences essentielles pour les humains et indispensables dans des contextes professionnels comme la médecine.
Pas encore au niveau pour remplacer les professionnels de santé
Malgré leurs capacités impressionnantes dans certaines tâches, les chatbots ne sont pas prêts à remplacer des spécialistes tels que des neurologues ou des psychologues. Leur imitation du langage humain ne suffit pas pour gérer des analyses complexes ou des diagnostics approfondis.
Les chercheurs suggèrent même que ces IA pourraient être considérées comme des « patients virtuels », nécessitant un suivi constant pour évaluer et améliorer leurs performances au fil du temps.
