Le dispositif : deux rédacteurs, deux LLM, un brief simple

Afin de rendre notre expérience aussi impartiale que possible envers les humains ou les machines, nous avons volontairement limité sa portée. Deux rédacteurs marketing expérimentés et deux des meilleurs modèles de langage (LLM) ont reçu les mêmes informations : une version simplifiée d’un brief créatif d’une marque fictive de vêtements de sport. Ce brief a également servi de prompt pour les LLM.

Le brief identifiait deux cibles : des baby-boomers, clients fidèles de la marque, et des millennials, nouveaux clients. Il comportait également un court paragraphe de considérations sur les audiences (par exemple : « ils sont sensibles aux prix et recherchent des produits offrant un bon rapport qualité-prix »), une courte liste d’attributs de ton de marque (par exemple : « authentique et sincère ») et les actions attendues de la part des destinataires.

Pour chaque audience, les rédacteurs et les LLM devaient produire deux emails : l’un pour promouvoir un programme de fidélité, l’autre pour une promotion de -25 %. Important à noter : ni les rédacteurs humains ni les LLM n’avaient d’informations supplémentaires sur la marque ou ses produits. Nous leur avons simplement expliqué que le travail visait à convaincre la marque fictive de confier un projet à Deloitte Digital. Cela signifiait que les rédacteurs comme les LLM savaient que leur travail ferait l’objet d’une évaluation — mais pas comment, ni par qui.

Le test : un panel de mille consommateurs

Les emails non édités des deux campagnes ont ensuite été intégrés dans un outil de sondage, et un panel de 1 000 consommateurs, répartis de manière démographique, a évalué chaque email sur une échelle de 1 à 5, selon les critères suivants         

• Le caractère personnel et authentique perçu
• La pertinence par rapport aux intérêts et priorités personnels
• La lisibilité (structure, grammaire, etc.)
• La clarté du message et de l’objectif
• L’incitation à l’action (qualité de l’appel à l’action)
• Enfin, nous avons demandé aux participants d’évaluer leur intention d’agir (c’est-à-dire effectuer un achat ou s’inscrire au programme de fidélité) après avoir lu chaque email.

À aucun moment, les participants n’ont été informés de l’auteur — humain ou IA — des emails, ni de l’objectif réel de l’évaluation. Ainsi, comme les rédacteurs humains et les LLM, les répondants ignoraient complètement la véritable nature du test.

Les résultats : GenAI prouve qu’il est prêt à passer à l’action

Pour les cinq premiers critères de notre sondage, les consommateurs ont évalué les emails générés par GenAI légèrement mieux que ceux rédigés par les copywriters humains, avec une marge moyenne de 4,5 % sur les deux campagnes. Les résultats produits par GenAI ont été particulièrement efficaces en matière de personnalisation, les consommateurs les notant près de 7 % mieux sur ce critère. (La lisibilité a montré l’écart le plus faible, à 1,3 %.)

Les résultats sur les cinq premiers critères ont varié selon les groupes démographiques, les millennials se montrant plus favorables aux emails générés par GenAI que les baby-boomers. En comparaison, les consommateurs plus âgés ont préféré la lisibilité des emails rédigés par des humains et ont jugé l'efficacité de l’appel à l’action équivalente dans les deux cas.

Les résultats ont également varié (quoique dans une moindre mesure) selon les types de campagnes, GenAI obtenant de meilleurs résultats dans la campagne de fidélité que dans la campagne de vente immédiate. Les emails générés par GenAI étaient aussi plus susceptibles de recevoir des notes élevées (4 ou 5) sur chacun des cinq premiers critères.

Bien sûr, peu de consommateurs analysent en détail si un email marketing est bien rédigé, clair ou pertinent—et encore moins d’équipes marketing évaluent ces dimensions lorsqu’elles mesurent l’efficacité de leur contenu.

Ce qui compte vraiment, c’est l’impact : les consommateurs vont-ils passer à l’action ?  Sur ce point, notre étude a révélé un tournant important.

Globalement, les participants à l’enquête étaient 3,1 % plus enclins à acheter ou à s’inscrire à un programme de fidélité après avoir lu les emails produits par GenAI, comparé à ceux rédigés par des humains. Cette préférence s’est confirmée dans les deux campagnes et pour les deux groupes démographiques.

Mais voici le twist : parmi les personnes exprimant une forte intention de passer à l’action, les emails rédigés par des humains ont nettement surpassé ceux produits par GenAI. En moyenne, les emails humains étaient 6,4 % plus susceptibles de recevoir des notes élevées (4 ou 5). L’écart atteignait près de 20 %—le plus élevé observé dans toute l’enquête—chez les millennials pour l’intention de rejoindre un programme de fidélité et chez les baby-boomers pour l’intention d’achat. GenAI n’a surpassé les rédacteurs humains que dans deux sous-groupes, et avec des écarts relativement faibles.

Pourquoi le contenu humain serait-il moins incitatif en moyenne, mais bien plus efficace lorsqu’il s’agit de déclencher une action forte ? Parce que le contenu écrit par des humains suscite des réactions plus marquées—positives ou négatives—tandis que le contenu généré par GenAI tend à provoquer des réactions plus modérées.

Les implications : l’avenir appartient aux personnes qui travaillent avec l’IA

Au final, les résultats de notre expérience étaient mitigés en termes de qualité et d’efficacité du contenu. En termes d’efficacité, l’IA générative a clairement montré sa puissance. Il a suffi de quelques minutes à un ingénieur pour entrer les prompts de chaque email, tandis que les rédacteurs humains ont passé en moyenne quatre heures à rédiger chaque message. Le coût total en tokens pour générer les huit emails avec les LLM était inférieur à un dollar.

Cela peut sembler une victoire évidente. Cependant, avant de proclamer l’IA générative nouveau roi du marketing de contenu, il est essentiel de rappeler une limite centrale de notre test : les informations contextuelles et les détails fournis aux rédacteurs et aux modèles d’IA.

Dans le monde réel, même un copywriter embauché hier en saurait plus sur votre marque, vos produits, votre audience et votre ton que ce qui a été donné aux participants humains et IA dans ce test. Le directeur créatif expérimenté ou le product marketer qui relit le travail du rédacteur possède une connaissance encore plus approfondie des tactiques et des nuances qui génèrent un impact marketing pour votre organisation. Vous avez probablement déjà mis en place des processus de collaboration et d’amélioration itérative entre ces membres de votre équipe. Et votre contenu en est sûrement plus efficace grâce à cela.

L’IA générative est prête à jouer un rôle dans vos opérations de contenu. Elle peut aider les product marketers en faisant remonter des insights fins sur les audiences et le marché à partir des données de campagnes, de médias et de clients — à condition que vous disposiez des cadres nécessaires en analytics, data science et mesure. Elle peut assister créativement en produisant des ébauches de qualité de contenu marketing, comme le montre cette expérience. Et, lorsqu’elle est entraînée sur les standards de la marque et les contraintes réglementaires, l’IA peut aussi aider à identifier les risques dans vos opérations marketing et vos activations.

Dans chaque cas d’usage de l’IA générative, le mot-clé est « assister ».

Tout comme vous ne confieriez pas à un seul rédacteur la tâche de rédiger et publier un contenu marketing sans relecture par d’autres membres de l’équipe, vous ne devez pas attendre de l’IA générative qu’elle produise seule les meilleurs insights ou contenus pour renforcer l’efficacité marketing. L’IA générative a sa place dans votre équipe — mais elle ne doit pas être toute l’équipe.

Après tout, l’innovation et la croissance ne naissent pas de la donnée ou de la technologie seules, mais de la manière dont ces outils sont utilisés. Les décisions qui définissent la différenciation de votre marque sur le marché, la confiance des clients et la croissance de votre business dépendent toujours du savoir, de la conscience contextuelle et de l’empathie que seuls des humains travaillant ensemble peuvent apporter.

En exploitant stratégiquement l’IA générative pour améliorer la collaboration, identifier les tâches à faible valeur ajoutée et débloquer les goulots d’étranglement dans votre chaîne de production de contenu marketing, vos collaborateurs et l’IA peuvent faire ce qu’ils font de mieux, ensemble.

Il est maintenant temps de passer à l’action.