/ L’amère chute d’un provost
Les chutes de piédestal pour soupçon d’écriture assistée par LLM se multiplient ces derniers temps…
Santiago Schnell est un homme important : provost (vice-recteur aux affaires académiques) du Dartmouth College, une université fondée en 1769 dans le New Hampshire, il est un réputé professeur de physiologie et de mathématiques, travaillant sur le croisement de ces deux disciplines. Il fut d’ailleurs président de la Société de biologie mathématique, dédiée à la compréhension de la dynamique de systèmes biologiques à l’aide de modèles mathématiques.
Bref, un scientifique couronné de nombreuses distinctions, au pedigree universitaire impeccable… jusqu’à ces derniers mois quand il s’est empêtré dans la toile des grands modèles de langage.
Le 26 août dernier, Reed Albergotti a publié sur le site Semafor les résultats d’une étude sur l’utilisation d’IA générative dans les tribunes libres des trois principaux quotidiens étasuniens. Il en ressort que cet usage demeure heureusement marginal.
L’article cite cependant des textes très suspicieux, dont l’un est signé par Santiago Schnell dans le Washington Post, une tribune plutôt fade dont le sujet est, ironiquement, les étudiants qui utilisent l’IA dans leurs travaux, et qui était initialement titrée University fight against AI cheating doesn’t go far enough (“La lutte des universités contre la triche assistée par l’IA ne va pas assez loin”).
Le désormais célèbre Pangram estime que cette tribune publiée le 9 août est entièrement écrite par l’IA. Appelé à se défendre par Semafor, le provost a répondu :
“J’ai écrit cet essai en me basant sur ma propre réflexion. Ensuite, j’ai utilisé ChatGPT pour affiner quelques arguments, vérifier les fautes de grammaire et le soumettre au Washington Post”, ajoutant que l’article “a fait l’objet de plusieurs séries de corrections de la part du Post”.
Hispanophone de naissance, il a aussi avancé que les outils de détection “sont biaisés contre les personnes dont l’anglais n’est pas la langue maternelle, comme moi”. Ce qui me rappelle un peu une certaine défense haïtienne.
Sans surprise, l’article de Semafor s’est répandu comme une traînée de poudre dans les couloirs du Dartmouth College et sous la pression de certains universitaires et étudiants, un comité d’enquête a été mis en place pour faire toute la lumière sur l’affaire.
Ce comité soulignera ne pas avoir bénéficié de la pleine et entière collaboration de Santiago Schnell, ce qui est dommage de la part de quelqu’un dont le poste comprend la responsabilité d’investiguer sur toute inconduite académique. Le comité trouvera cependant que le provost avait utilisé Claude pour analyser un article qu’il allait soumettre à la revue scientifique ChemSystemsChem, sans toutefois en faire mention, car il “ignorait que ce genre d’édition assistée par IA nécessitait une déclaration”. Et il découvrira aussi que Schnell avait demandé à Claude de déceler s’il y avait des indices d’utilisation d’IA dans un autre de ses articles et qu’il avait intégré au texte les suggestions correctives du chatbot. Ce qui ressemble plus à de la dissimulation algorithmique de preuves qu’autre chose.
Un examen avec Pangram 4.0 a classé les publications de Schnell antérieures à la sortie de ChatGPT en novembre 2022, comme “100 % humaines”, tandis qu’un test portant sur neuf publications récentes a révélé une moyenne de 96 % de texte généré par l’IA. Si de nombreux détecteurs ne sont pas très fiables, Pangram se distingue par un taux d’erreur quasi nul, comme l’avait souligné l’année dernière une étude publiée par le réputé NBER, ce qui affaiblit considérablement les dénégations du provost.
La conclusion du comité est que l’étendue précise de l’utilisation de l’IA par Schnell demeure floue et que les déclarations publiques du provost pourraient minimiser “la nature réelle de son utilisation de l’IA”. L’IA n’est ici pas tant le problème que le manque de transparence et d’honnêteté intellectuelle.
Fin de l’affaire, après des appels à son licenciement, Santiago Schnell a démissionné.
La morale que je tire de l’histoire, c’est que si vous êtes pris le doigt dans le pot de confiture, ne niez pas avec véhémence, ne minorez pas votre utilisation de l’IA, ne vous cherchez pas d’excuses minables et ne mentez pas non plus à vous-même (vous savez très bien ce que vous avez fait). Faute avouée… Et ne promptez pas non plus pour écrire vos aveux.
(Ce billet a été écrit sans recours à l’IA, à l’exception de l’aide à la traduction en français de citations anglaises. Il est “100% humain” selon Pangram 4.1.)
Discussion
Je trouv(ais)e ça tellement pratique pour écrire sur LinkedIn, parce qu’il faut écrire, et je n’y prends aucun plaisir. Les 10 premières fois, je trouvais ça smart à la lecture. Les 5 suivantes, j’ai commencé à repérer les tics d’écriture. Et puis j’ai trouvé ça horrible à lire. Je continue en mentionnant : “Idée : moi, écriture : Claude, re-écriture : moi”. Parfois il sort un truc brillant, rarement. C’est de la bouillie, ça a l’air d’être smart, mais ce n’est pas smart, c’est juste un assemblage de mots qui veulent à peu près dire quelque chose. Tant que c’est pour faire sa promo, ça me va, du moment que je comprends le fond et que je ne mens pas. Si je devais en vivre, c’est une autre histoire. Les excuses à deux balles me rappellent le bon vieux “Mon compte a été hacké…” des années Twitter.
“Et ne promptez pas non plus pour écrire vos aveux.” : Ça devient vertigineux ces affaires, il y a des IA pour détecter si un document a été produit par une consœur et d’autres pour rédiger les aveux et d’autres pour détecter si les aveux sont issus de prompts et sans doute d’autres pour détecter l’usage d’IA qui auraient vérifié le tout … On dirait des miroirs face à face dans une pièce.