Depuis le début de l’affaire Thélyson Orélien, le débat s’est concentré sur l’usage possible de l’intelligence artificielle, la fiabilité des détecteurs, puis les affaires de plagiat. Un aspect a toutefois été moins examiné : le calcul utilisé pour affirmer qu’il était presque impossible que Pangram se soit trompé sur les 20 passages du roman présentés comme suspects par « Balance ton Claude », compte derrière lequel se trouve notamment l’essayiste Samuel Fitoussi. Pour ActuaLitté, le mathématicien Mouhamadou Sy revient sur ce calcul, sur l’hypothèse d’indépendance qu’il suppose et sur ce qu’il permet réellement, ou non, de conclure.
Le 30/09/2026 à 16:08 par Auteur invité
6 Réactions | 197 Partages
Publié le :
30/09/2026 à 16:08
6
Commentaires
197
Partages
J’ai l’habitude d’ouvrir mon cours de probabilités par une petite galerie d’erreurs célèbres : l’affaire Sally Clark, la crise financière de 2007, et quelques autres. Je le fais pour une raison simple : ces erreurs ne sont pas que de regrettables lacunes qu’un apprenti mathématicien peut commettre. Elles ont envoyé des innocents en prison pour certaines, et ruiné des millions de ménages pour d’autres. Et toutes ont la même racine : des événements traités comme indépendants alors qu’ils ne l’étaient pas.
La rentrée littéraire vient de m’offrir une nouvelle pièce pour cette galerie. Je précise d’emblée que je ne me prononcerai ni sur le livre concerné ni sur son auteur ; cela est l’affaire des enquêteurs. Ce qui m’intéresse, c’est de jeter une lumière sur un nombre brandi et de dénoncer un aspect important de la méthodologie sous-jacente.
De quoi s’agit-il ? Le 21 septembre, un tweet vu des millions de fois affirme que le roman C’était ça ou mourir, de Thélyson Orélien, a été écrit par une intelligence artificielle. L’argument exposé dans ce tweet est le suivant. Le détecteur Pangram ne se tromperait que sur un texte humain sur 24.000 environ, soit 0,0041 %. Il présente vingt passages du livre qui ont été signalés - ici, ce n’est pas ce nombre qui pose problème.
La probabilité que le détecteur se soit trompé vingt fois serait donc, toujours selon lui, de 0,0041 % multiplié vingt fois par lui-même : un nombre qui s’écrit avec 87 zéros après la virgule. Autant dire zéro. En quelques heures, sur la foi de ce nombre, un premier roman salué par la critique et déjà primé est devenu un livre suspect, et son auteur un accusé.
Le taux de 0,0041 % de faux positifs est bien fondé : Pangram l’a mesuré sur un million de textes publiés en ligne avant 2022, donc avant la diffusion de ChatGPT, et des évaluations indépendantes placent l’outil parmi les plus fiables dans cet exercice. Le problème est ailleurs. Il se situe dans une hypothèse que le tweet ne formule pas, mais sans laquelle on n’a pas le droit de multiplier ce taux par lui-même comme cela a été fait.
Cette hypothèse, c’est l’indépendance. Multiplier les probabilités, c’est faire comme si les vingt passages étaient vingt épreuves sans lien entre elles, comme vingt lancers de pièce. Or ils viennent du même livre : même auteur, même style, même éditeur.
Une image permet de comprendre pourquoi c’est un problème. Imaginez un système de reconnaissance faciale qui ne se trompe qu’une fois sur 24.000. Si vous avez le malheur de ressembler trait pour trait à une personne recherchée, il vous signalera à chaque caméra que vous croiserez. Dans ce contexte, vingt caméras ne font aucunement vingt preuves : elles font seulement vingt fois la même erreur. La probabilité d’être ainsi mal identifié vingt fois n’est pas une chance sur 24.000 multipliée vingt fois par elle-même ; c’est simplement la probabilité d’avoir un sosie recherché.
Il en va de même pour les textes. Le taux de 0,0041 % est une moyenne, et une même moyenne peut cacher des situations très différentes. Prenons-en deux.
À LIRE - Affaire Thélyson Orélien : “Un score de génération par IA n’est pas une preuve”
Dans la première, tous les auteurs ont exactement la même petite probabilité d’être mal classés ; la « multiplicabilité » nécessaire au tweet serait alors justifiée. Dans la seconde, 0,0041 % des auteurs ont un style que la machine prend systématiquement pour celui d’une IA - des sosies stylistiques, en quelque sorte -, tandis que les autres ne sont jamais mal classés. Dans ce cas, un livre humain verra ses vingt passages signalés avec une probabilité de 0,0041 %, exactement comme un passage unique : l’on perd toute multiplicabilité.
Ce qu’il faut retenir, c’est que ces deux situations constituent les deux scénarios extrêmes considérés ici, et que toutes les situations intermédiaires sont possibles. Entre elles, il y a 83 ordres de grandeur. Dans le premier scénario - celui de l’indépendance retenu par le tweet -, la probabilité vaut environ 1,8 × 10−88. Dans le second, qui correspond à une dépendance totale, elle est d’environ 4 sur 100.000. Les données de Pangram ne permettent pas de savoir où l’on se situe entre ces deux scénarios ; il faudrait pour cela tester de nombreux passages de chaque auteur. Le tweet a retenu, sans le dire, la valeur la plus accablante.
La seconde situation n’est pas une vue de l’esprit. Les chiffres de Pangram montrent eux-mêmes que son taux d’erreur varie fortement d’un genre à l’autre : pour la poésie, par exemple, il est près de vingt fois plus élevé que la moyenne. Cela signifie que les erreurs ne se répartissent pas uniformément et qu’elles varient selon les styles, allant ainsi dans la direction de la situation statistique occultée par le tweet.
Cette erreur a une histoire, et elle a coûté cher. En 1999, au Royaume-Uni, Sally Clark, avocate de 35 ans, est condamnée pour le meurtre de ses deux bébés. Un pédiatre, Roy Meadow, avait estimé à une sur 73 millions la probabilité de deux morts subites du nourrisson dans une même famille, en multipliant par elle-même la probabilité d’une seule, déjà estimée à 1 sur 8543 pour la classe sociale de Clark.
Il oubliait que ces drames peuvent avoir des causes communes, génétiques ou environnementales, au sein d’un même foyer. Deux ans après la condamnation, l’affaire est arrivée jusqu’aux oreilles de la Royal Statistical Society, qui a dénoncé le calcul, sans effet immédiat. La condamnation n’a été annulée qu’en 2003, après plus de trois ans de prison, à la suite de la découverte d’éléments médicaux jusque-là non communiqués à la défense. Sally Clark ne s’en est jamais remise et meurt en 2007.
À la même époque, les agences de notation commettaient une erreur de même nature, en sous-estimant la probabilité que de nombreux emprunteurs fassent défaut en même temps. Ce qui jouera un rôle majeur dans la crise financière mondiale.
Certes, être accusé à tort du meurtre de ses propres nourrissons et jeté en prison n’a pas le même effet que de se voir refuser la paternité de son œuvre intellectuelle, même dans le cas où il se serait avéré que le roman avait un auteur humain. Mais cela n’empêche pas de reconnaître que le tweet fait ici la même opération, avec vingt facteurs au lieu de deux.
S’y ajoute une seconde confusion, plus subtile mais tout aussi fautive. Même exact, ce nombre donnerait la probabilité d’observer ces signalements si le livre était humain. Il ne donnerait pas la probabilité que le livre soit humain, sachant qu’on a observé ces signalements. Ces deux quantités peuvent être très différentes, et les confondre porte un nom : le sophisme du procureur.
L’un des plus grands mathématiciens de tous les temps, Henri Poincaré, le reprochait déjà aux calculs de Bertillon lors de la célèbre affaire Dreyfus, au début du XXe siècle.
Soyons une dernière fois clairs sur le message de ce texte : je ne prétends pas que le roman n’ait pas été écrit par l’IA. J’affirme que le spectaculaire chiffre de 10−88, qui procurait un semblant d’implacabilité mathématique, repose sur une hypothèse d’indépendance qui n’est pas établie. Et son mécanisme sous-jacent est dangereux, puisqu’il aurait accusé de la même façon un auteur innocent.
À LIRE - Le Goncourt craint pour son intégrité ? Alors Pangram pour les 15 autres romans, fissa !
De plus, ce nombre de 10−88, même s’il était issu d’une multiplication légitime, ne suffirait pas à lui seul pour étayer la conclusion tirée, en raison du sophisme du procureur ; il la rendrait seulement plus difficile à contester.
Prof. Mouhamadou Sy, Mathématicien
Tweet du compte « Balance ton Claude » (@Pangramed), X, 21 septembre 2026
Pangram Labs, fiche technique de Pangram 4, taux de faux positifs global et par genre : Pangram 4 Model Card
B. Jabarian et A. Imas, Artificial Writing and Automated Detection, NBER Working Paper 34223, 2025 : NBER
Royal Statistical Society, communiqué sur l’affaire Sally Clark, 23 octobre 2001 : Royal Statistical Society
Cour d’appel d’Angleterre et du pays de Galles, R v Clark [2003] EWCA Crim 1020, 11 avril 2003 : BAILII
G. Darboux, P. Appell et H. Poincaré, rapport d’expertise sur le bordereau, affaire Dreyfus, 2 août 1904 : rapport d’expertise
Crédit photo : Sonny Sixteen (Pexels)
DOSSIER - Plagiat, IA : l'affaire Thélyson Orélien, la grande déflagration
Par Auteur invité
Contact : contact@actualitte.com
6 Commentaires
Lyo
30/09/2026 à 18:03
Réponse au titre sans avoir lu l'article : Non.
Pourquoi ? L'IA est entraînée sur des textes humains.
Donc à la minute ou quelqu'un utilise un vocabulaire évolué, il sera détecté.
A mon avis, il y a une volonté de faire produire de la médiocrité et d'isoler les auteurs et autrices qui.... gêneraient.
Un texte appauvri en vocabulaire (texte de Wattpad... ) passe très bien le test et est détecté comme humain. Un texte de Ursula Le Guin est détecté comme IA.... Et elle utilise effectivement pas mal de "-" .
C'est très problématique quand même.
Lime
01/10/2026 à 12:18
Trop compliqué on n'y comprend rien.
Mamadou Aliou Barry
30/09/2026 à 19:45
Et si les tests effectués, des millions de texte donné à pangram, pour son entraînement étaient insuffisant, les calculs effectués par ce détecteur des textes générés par l'IA étaient truqués...Car d'après un tweet récemment publié par l'auteur du livre. Il dit lui-même avoir tester pangram avec des livres écrits avant la mise en ligne ChatGPT en 2022, cet outil a détecté des textes générés dans ces livres, il aurait même trouvé des passages générés par l'IA dans le livre saint du christianisme "la Bible". Les IA génératrices ne sont-elles pas entraînées par des humains, des écrivains,des penseurs,...?si tel est le cas, il est plausible alors qu'elles génèrent des textes qui sont similaires aux textes écrits par des hommes et vice versa. Alors sans un entraînement très très bien fait avec des centaines de millions voir des milliards de texte, il est plausible que cet outil détecteur de texte généré fasses des erreurs.
Ce qui est sûr le calcul, étant étudiant en mathématique, les calculs de Pr Sy sont exacts et les mathématiques ne mentent pas. Alors là je trouve qu'il y'a plusieurs possibilités. D'abord que, que pangram n'a pas suffisamment d'entraînement pour examiner certains textes. Oubien l'outil a raison, est que le texte est partiellement généré, ce qui dirait que la sortie de l'auteur n'était pas exact. Dans tous les cas, l'affaire mérite une bonne analyse, non seulement des spécialistes d'intelligence artificielle mais aussi des spécialistes littéraires.
Rose
01/10/2026 à 06:51
C'est exactement ça, impossible de faire confiance à des machines et le pire, les humains s'engouffrent dans ces erreurs et c'est la curée, pour rien.
D'ailleurs, en littérature, comment les IA peuvent évaluer des textes, alors qu'ils n'ont aucune (les cinq sens) sensibilité, aucune analyse intellectuelle (les idées), même pas de cerveau reptilien (instinct), ne sauront jamais à quoi correspond le talent, le génie, la sérendipité, l'épistémologie ; non seulement, ces machins vont tourner en boucle en ressassant des données usitées, établies sinon rances, mais en plus, ils contaminent les humains par leur froideur et détruisent l'élan et le courage du cœur.
Ne pas laisser approcher ces inepties pour préserver son intégrité. Nous ne sommes pas des numéros.
Je doute donc je suis
01/10/2026 à 09:17
Très intéressant ! Mais au final, comme le dis l'auteur, on ne peut trancher.
Les seuls éléments pour ( tenter) de convaincre de la bonne foi du " romancier " lui seul les détiens, ainsi que l'éditeur.
Ébauches, intentions, versions différentes, corrections, etc.
À moins que " par miracle ou par chance" ce roman soit le fruit quasi spontané d'un grand, très grand, écrivain !
Hélas, sans que cela soit une preuve irréfutable, le nombre de plagiats avérés ne plaide pas dans ce sens...
Olivier AM
02/10/2026 à 02:05
Ne pas oublier, dans cette affaire, que plusieurs écrivains morts (Victor Hugo, entre autres) ont été passés au crible de Pangram, et que la majorité de leurs textes ont été déclarés écrits avec l'IA!
Tout ça parce qu'à force de "nourrir" la bête, celle-ci finit par s'approprier les créations des autres.