Nouvelle étude révèle les principales différences entre les textes humains et générés par l’IA

Les chercheurs de l’Université Carnegie Mellon ont testé la capacité des modèles de langage de grande taille (LLM) à reproduire les styles d’écriture humains. Leurs résultats, récemment publiés dans les Proceedings of the National Academy of Sciences, mettent en évidence les différences majeures entre les textes générés par l’IA et ceux rédigés par des humains.

“Les humains adaptent leur style d’écriture en fonction du contexte — parfois formel, parfois informel”, a expliqué Alex Reinhart, auteur principal et professeur associé au Département de statistique et sciences des données. “Ce que nous avons trouvé, c’est que les LLM, comme ChatGPT et Llama, ont tendance à écrire dans un style fixe plutôt que de s’adapter aux différents contextes. Leur écriture reste distincte de celle des humains, et nous avons pu quantifier cela d’une manière qui n’avait pas été faite auparavant.”

Pour analyser ces différences, les chercheurs ont demandé aux LLM de produire des extraits de différents genres, notamment des scripts télévisés et des articles académiques. À l’aide d’un outil d’analyse personnalisé développé par David West Brown, professeur associé au Département d’anglais, ils ont identifié des variations grammaticales, lexicales et stylistiques significatives entre l’écriture de l’IA et celle des humains.

Les modèles « instruction-tuned », comme ChatGPT, ont montré les différences les plus prononcées. Ces modèles, qui subissent un entraînement supplémentaire pour améliorer leurs capacités de réponse à des questions et de suivi des instructions, utilisaient des propositions participiales au présent de deux à cinq fois plus souvent que les écrivains humains. Par exemple, GPT-4o produisait des phrases comme : « Bryan, s’appuyant sur son agilité, danse autour du ring, esquivant les coups violents de Show. »

Structure du texte de l’IA : Plus dense, axée sur les noms et moins adaptable

De plus, les LLM ont utilisé des nominalisations de 1,5 à deux fois plus que les humains et ont employé la voix passive sans agent deux fois moins souvent. Cela suggère que le texte généré par l’IA est généralement plus dense, plus centré sur les noms et moins adaptable aux différents styles d’écriture.

Les LLM “instruction-tuned” ont abusé de certains mots à des taux frappants. ChatGPT favorisait “camaraderie” et “tapisserie” 150 fois plus que les écrivains humains, tandis que les modèles Llama utilisaient fréquemment “inquiétude”. Les deux s’appuyaient sur des mots comme “palpable” et “intriqué”.

Brown a exprimé des inquiétudes concernant l’éducation à l’écriture, soulignant que les écrivains révisent constamment, tandis que les LLM génèrent des réponses uniques. Il a averti que l’IA est utile pour des tâches comme les notes de médecins, mais pourrait ne pas être adaptée pour des écrits personnels, comme les candidatures.

Reinhart a mis en garde contre l’utilisation des LLM par les étudiants pour leurs devoirs, arguant que ces derniers diffèrent des calculatrices, qui effectuent les mêmes calculs que les humains. Les LLM génèrent un texte qui n’est pas seulement automatisé, mais fondamentalement différent.

L’étudiant en doctorat Ben Markey étudie si les LLM fournissent des notes d’essais cohérentes. L’équipe prévoit d’élargir ses recherches pour mieux comprendre le texte généré par l’IA et son rôle dans l’écriture et l’éducation.

---

Lire l’article original : TechXplore

Lire plus : Petit disque dur : plus de souci