L’humour de ChatGPT n’est pas encore tout à fait humain, selon une étude

ChatGPT est connu pour sa capacité à générer du texte qui reflète la conversation humaine, ce qui en fait un outil largement adopté pour diverses industries, y compris le marketing numérique.

Pourtant, un récent étude remet en question la capacité du modèle à générer et à comprendre l’humour, un élément clé de l’engagement et de la connexion avec le public.

Les recherches menées par les chercheurs allemands Sophie Jentzsch et Kristian Kersting suggèrent que si ChatGPT excelle dans certains domaines, il présente des limites notables lors de la génération d’humour original.

Rire recyclé : la question de l’originalité

Une étude menée par l’Université Cornell vise à répondre à la question : « Comment un modèle d’Intelligence Artificielle gère-t-il l’humour ? »

Les chercheurs examinent l’originalité de l’humour généré par l’IA, la capacité de ChatGPT à comprendre et à expliquer les blagues, et ses prouesses à détecter l’humour.

L’équipe de recherche déclare dans son rapport :

« Nous avons découvert que plus de 90% des échantillons générés étaient les mêmes 25 blagues. Cette récurrence suggère que ces blagues ne sont pas générées à l’origine mais sont explicitement apprises et mémorisées à partir de la formation modèle.

Les chercheurs ont conclu que ces réponses avaient probablement été apprises et mémorisées pendant la formation du modèle d’IA, indiquant une limitation de la capacité du modèle à générer un humour original.

Dans un rapport, les chercheurs détaillent le top 10 des blagues les plus fréquemment générées, qui comprenaient des classiques tels que « Pourquoi l’épouvantail a-t-il remporté un prix ? Parce qu’il était exceptionnel dans son domaine.

En plus de révéler la manière complexe dont l’IA gère l’humour, l’étude sert d’avertissement aux personnes qui espèrent exploiter ChatGPT pour créer du contenu avec une touche humoristique.

L’implication pour les spécialistes du marketing numérique qui s’appuient sur l’IA pour la génération de contenu est claire – alors que les modèles d’IA comme ChatGPT peuvent reproduire des modèles pré-appris pour créer des blagues, l’originalité fait défaut.

Malgré la répétition, un petit nombre des réponses générées étaient uniques. Pourtant, ceux-ci ont été en grande partie créés en combinant des éléments de différentes blagues connues et n’avaient pas toujours de sens.

Expliquer la blague : au-delà de l’humour superficiel

L’étude a en outre examiné la capacité de ChatGPT à expliquer l’humour, nécessitant une compréhension plus approfondie de la structure et des implications de la blague.

Bien que le modèle puisse déconstruire et expliquer des éléments stylistiques tels que les personnifications et les jeux de mots, il a montré des limites lorsqu’il est confronté à des blagues moins conventionnelles.

L’équipe a observé :

« ChatGPT a du mal à expliquer les séquences qui ne correspondent pas aux modèles appris. Cela n’indiquera pas quand quelque chose n’est pas drôle ou manque d’explication valable.

Dans les cas où ChatGPT ne pouvait pas identifier les blagues pas drôles, il inventait des explications plausibles.

Pour les spécialistes du marketing qui cherchent à engager leur public par le biais d’un humour nuancé, se fier uniquement à l’IA peut ne pas donner les résultats souhaités.

Détection de blague : décoder la punchline

En plus de générer et d’expliquer des blagues, l’équipe de recherche a testé la capacité de ChatGPT à détecter l’humour.

Ils ont constaté que si le modèle peut identifier correctement les blagues en fonction de la structure, du jeu de mots et du sujet, il ne parvient pas à classer une phrase comme une blague si elle ne possède qu’une de ces caractéristiques.

Cela souligne la dépendance du modèle aux modèles appris et le manque d’une compréhension plus complète de l’humour.

Qu’est-ce que cela signifie pour les spécialistes du marketing ?

Alors que ChatGPT a révolutionné le domaine du contenu généré par l’IA, cette recherche suggère la prudence lorsque l’on s’appuie sur le modèle de génération d’humour.

L’étude conclut :

« Bien que les blagues de ChatGPT ne soient pas nouvellement générées, cela n’enlève pas nécessairement les capacités du système… Cependant, savoir si un agent artificiel est capable de comprendre ce qu’il a appris est une question exceptionnellement difficile. »

Alors que les spécialistes du marketing numérique se tournent vers l’IA pour diversifier et élargir leurs offres de contenu, il est essentiel de comprendre les limites et les forces du modèle. Dans le domaine de l’humour, du moins pour l’instant, la créativité humaine EST irremplaçable.

L’équipe de recherche prévoit de mener des recherches similaires sur des modèles d’IA récemment publiés tels que LLaMa et GPT-NeoX, promettant de nouvelles informations sur le monde de l’humour informatique.

---

Image sélectionnée générée par l’auteur à l’aide de Midjourney.