Cette édition est un peu spéciale car je reviens sur un sujet qui nous concerne tous au travail → comment savoir si un contenu est généré par l’IA ?
On peut avoir des doutes sur une réponse par mail, une réponse sur slack d’un collaborateur ou même un livrable.
L'IA est partout aujourd'hui, y compris sur les réseaux sociaux. Sur plus d'un million de posts analysés sur LinkedIn, 41 % du contenu long est entièrement généré par l'IA. Sur Substack, le même outil de mesure trouve plutôt 10 %.
Mais depuis le 21 juillet, Substack a décidé de mettre le sujet sur la table en intégrant Pangram pour analyser les posts (j’y reviens plus bas)
Chris Best, CEO de Substack, parle de « Claudefishing » pour dénoncer les contenus IA qui polluent et rendent les contenus humains plus difficiles à trouver.
Je voulais donc creuser le sujet, et vous donner de quoi repérer l'IA là où elle se cache.
Le vrai sujet → le transfert de coût
Je voulais vous partager un exemple perso. Je reçois de plus en plus de réponses par mail où je reconnais immédiatement la patte du modèle (souvent celle de Claude). Structure impeccable, tous mes points repris dans l’ordre, ton lisse…
Mais c’est tellement frustrant quand on s’adresse à son expert-comptable, pour finalement avoir une réponse de Claude…
Et là, la valeur du mail tombe à zéro. Parce que si la personne a tout collé dans Claude, j’aurais pu le faire moi-même et gagner l’aller-retour. On a échangé deux mails et créé zéro information.
C’est le vrai sujet, et ce n’est pas une question d’authenticité au sens moral. C’est une question de coût. Celui qui écrit gagne du temps, celui qui lit le paie.
Personne ne reproche à personne d’utiliser un correcteur orthographique. Ce qui casse la confiance, c’est la délégation sans relecture. Et une fois que le doute est installé, la relation se complique..
Les signaux qui trahissent
Si vous utilisez Claude / chatGPT / .. régulièrement, vous avez sûrement commencé à remarquer les patterns qui se répètent. Voici ce qui saute aux yeux, du plus visible au plus profond :
La ponctuation
- Le tiret long (l'em dash) : c'est le signal le plus connu, et il est encore plus parlant en français, où on ne l'utilise quasiment jamais alors qu'il est courant en anglais.
- Le point-virgule ; → dans une liste à puces ou au milieu d’une phrase, c’est très rare en français.
- Les résidus de copier-coller. Des ** ou des ## qui traînent dans un champ qui n’affiche pas le markdown, des guillemets courbes dans un mail en texte brut, ou le fameux utm_source=chatgpt.com collé au bout d’un lien partagé.
La syntaxe
- La négation en balancier : “ce n’est pas un outil, c’est une nouvelle façon de travailler”. ça n’apporte rien, c’est lourd en syntaxe, Claude le fait tout le temps.
- Les phrases longues bourrées d’adverbes en -ment à répétition : actuellement, réellement, véritablement, particulièrement, indéniablement, profondément, …
- La règle de trois systématique : “rapide, fiable et scalable”
- La queue explicative en fin de phrase : “..., soulignant l’importance de la collaboration”. Personne n’écrit ça naturellement…
Le fond
- Aucun nom propre. “Un client”, “un outil”, “une plateforme”. Quelqu’un qui a fait la chose nomme la chose.
- Aucun chiffre “On accompagne une cinquantaine d’entreprises..”
- L’autorité floue “les études montrent” / “les experts s’accordent”
- Tout est positif et certain, aucun échec, aucun point resté ouvert, aucune contrariété.. Un REX contient toujours un truc qui a mal marché.
Inutile de faire la chasse à ceux qui écrivent avec l’IA. Ce n'est pas là que ça coince. Le sujet, c'est quand on délègue 100 % sans rien apporter derrière. L’humain apporte justement son expertise, son expérience et c’est essentiel.
Si vous avez d’autres signaux, mettez-les en commentaire, c’est toujours marrant de voir ce qui ressort.
Mais la détection reste faillible
J’ai du mal à croire aux détecteurs quand je vois ce genre de résultat sur ZeroGPT sur la déclaration des droits de l’homme par exemple :
Comme les modèles, les détecteurs ont évolué. Pangram semble particulièrement puissant.
Des chercheurs indépendants ont mesuré un taux de faux positifs de 1 sur 10 000. C’est mieux, mais l’outil fait toujours des erreurs. Par exemple ici pour ce post Linkedin :
Dont le contenu est détecté comme humain (le reste est bien détecté comme IA)
Les outils assument certains angles morts :
- Les textes courts de moins de 50 mots
- Le texte formaté comme des listes à puces courtes, des plans, ou du texte très formulaire
- Le texte retravaillé, un contenu passé dans un skill de style, puis relu et modifié, devient très difficile à classer. (j’en parle plus bas)
Plus le modèle est fort, plus il faut vérifier
C’est un peu contre-intuitif mais plus les modèles sont puissants, moins on prend le temps de vérifier l’information.
D’un autre côté, Anthropic, lors de la sortie d’Opus 5, dit avoir trouvé un nombre important de cas où le modèle affirme avec assurance une réponse alors qu’il n’est pas sûr.
Opus 5 hallucine un peu plus de faits qu'Opus 4.8 (environ 14 points d'écart)
Alors même que la précision globale est supérieure :
ça vient du fait que le modèle répond plus souvent quand il est incertain (plutôt que de dire “je ne sais pas”)
N’oubliez pas que ces modèles sont entraînés à vous satisfaire, optimisés pour que vous validiez la réponse et passez à la suite.
Les skills corrigent la forme, pas le fond
Si vous souhaitez avoir un contenu moins IA, il vous suffit de créer des skills (fichiers qui donnent des consignes aux modèles). 2 suffisent :
1/ Un skill de style → vous récupérez vos posts LinkedIn (ou les articles d’un auteur que vous voulez imiter) via Claude Cowork, et vous en extrayez un voice.md avec votre ton, vos exemples, vos tics d’écriture. Le modèle arrête de sortir du texte générique.
2/ Un skill anti-IA : pas de tiret long, pas de point-virgule, pas de négation en balancier, pas de règle de trois, des phrases de longueurs inégales. Il corrige tous les signaux listés plus haut.
J'en avais déjà parlé dans mon article sur Claude Cowork, avec un fichier voice.md (votre ton, vos exemples, vos tics d'écriture) :
Claude Cowork : l'outil que vous n'utilisez pas (et qui change tout)
C’est une solution pour le problème de forme. Les skills rendent un contenu IA indétectable, mais ça ne résout pas le problème de fond, celui du lecteur, qui lit toujours un texte que personne n’a pensé.
Mon usage sur cette newsletter (et en général)
Autant le dire, vous vous posez sûrement la question : est-ce que cette newsletter est rédigée par l’IA ?
D’abord “non”, puis “oui” et enfin “non”.
Rédiger une édition me prend à peu près 4h.
Concrètement, sur mes 4h, la moitié part dans l'idéation : le choix des sujets et comment l’amener pour les différentes sections. C'est exactement la partie que je ne peux pas déléguer.
Ensuite je fais en général un ping pong avec l’IA pour valider la structure. L’IA génère une 1ère version dans mon Projet Claude qui regroupe l’ensemble de mes newsletters et mon style rédactionnel. Je reprends l’ensemble, et là il y a souvent beaucoup de choses à changer (anecdotes, avis personnels, chiffres, ..). ça peut inclure des A/R avec l’IA sur certaines parties pour faciliter la partie rédactionnelle (forme) quand le fond est bon.
En bref
La détection IA fonctionne mieux qu’avant (et même humaine si on a les patterns en tête), mais seulement sur un contenu non optimisé. On peut vite contourner ce problème avec des skills. Dans tous les cas, ça ne réglera jamais le problème de fond (ou difficilement)
Le vrai risque n’est pas de se faire attraper. C’est de faire perdre du temps à ceux qui attendent de la valeur de votre part : des lecteurs, des clients ou collègues, et de le payer en crédibilité sans jamais le savoir.
