Suite à ces tests, nous constatons, comme de nombreux experts, que si l’outil est bluffant en ce qui concerne la forme, le fond est loin, très loin d’être qualitatif. L’outil n’est pas intelligent et n’est pas un moteur de recherche. Les modèles de langage (LLM pour Large Language Model) sont des outils statistiques, qui ne font que deviner une suite de mots… Inventant parfois (souvent ?) des informations.

I. Un peu d’histoire et d’architecture


Dans un premier temps, nous avons demandé à ChatGPT de nous informer sur la reconstruction de Lisieux. Ci-dessous une copie d’écran de la réponse fournie.




C’est une réalité virtuelle qui nous est exposée.

C’est bien écrit ! Malheureusement, ces informations sont fausses. N’importe quelle personne ayant des connaissances en la matière, ou la volonté de chercher l’information (cela prend 2 minutes à vérifier) pourra vous indiquer que Raymond Loewy n’a pas travaillé sur le projet de reconstruction de la gare de Lisieux. D’ailleurs, quelques minutes plus tard, ChatGPT change d’avis :



Bref, si vous lui avez fait confiance et avez utilisé l’information fournie, vous avez tout faux et risquez d’être fortement pénalisé.

Dommage ! Sandra, notre spécialiste en architecture urbaine, aurait pu vous renseigner et vous fournir des sources fiables pour la rédaction d’une dissertation ou d’un mémoire de qualité sur le sujet…

II. Un exposé tout simple niveau collège/lycée ?


Comme l’histoire de la reconstruction de Lisieux après la Seconde Guerre mondiale était de toute évidence trop compliquée pour l’IA, nous lui avons demandé de l’aide pour un court exposé sur Renaut Ecalle. Simple, non ? Il suffit de réunir quelques données et de les réécrire.

L’outil reconnait le nom et nous rédige une très belle présentation. Pas de faute, bien écrit… L’accent est mis sur les performances du pilote en 2018. Malheureusement, Renaut est décédé en 2010... C’est donc une nouvelle réalité qui est inventée ici !



Une nouvelle fois, sans connaissance sur le sujet, nous pourrions nous faire avoir par ce beau texte et lui faire confiance, l’utiliser sans vérification des informations. Une recherche rapide nous permet cependant de confirmer qu’aucun contenu fourni par ChatGPT n’est fiable et à utiliser en l’état.

III. Et en droit ?


Suite à nos échecs sur les précédents sujets, nous avons testé ChatGPT en droit. L’idée étant de rédiger une dissertation de droit administratif, nous avons demandé, pour l’agrémenter, quatre arrêts incontournables en droit administratif français. Avant de vous laisser admirer les réponses fournies, nous précisons que l’arrêt Blanco est une décision du Tribunal des Conflits (et non du Conseil d’État) et que l’arrêt Société des concerts du conservatoire date de 9 mars 1951 (et non du mois de novembre). Nous gagnerons du temps en ignorant les résultats 3 et 4 et en vous laissant seul juge… Heureusement, des bases de données fiables et exempts de contenu ChatGPT existent encore. Les informations que vous cherchez peuvent donc être trouvées, par exemple sur cette liste d’arrêts incontournables proposée par Doc du Juriste.



Vous l’aurez compris, l’utilisation de tels contenus peut avoir des conséquences catastrophiques et nous ne pouvons que vous recommander de vous abstenir d’utiliser ces outils dans un cadre professionnel ou pour vos études, si vous tenez à obtenir votre diplôme.