L’IA a encore des progrès à réaliser pour écrire de très bons emailing de vente.
Sur ce point, tous les experts sont d’accord.
De toutes les façons, un autre obstacle se profile, il se nomme le contexte juridique.
Et il est loin d’être anodin.
Vous écrivez l’emailing du siècle mais c’est une copie d’un texte sous copyright, les sanctions pointeront le bout de leur nez rapidement.
Les hallucinations de ChatGPT
Pour des idées, par contre, ChatGPT est une mine d’or et comme toute personne utilisatrice, j’ai été confrontée à des hallucinations.
Pour ceux qui ne connaissaient pas le terme, rassurez-vous, je n’ai pris ni drogue, ni alcool.
Dans le langage de l’IA, une hallucination est une information inventée.
ChatGPT ne connaît pas la réponse, comme un enfant, il invente pour vous épater et vous dire, je connais tout.
ChatGPT aime les statistiques et les données, mais il doit être entraîné.
7 cas fictifs de statistiques d’emailing
Je me suis donc amusée à vérifier s’il analyse correctement des statistiques d’emailing et s’il indique de bonnes pistes de réflexion.
Pour le tester, j’ai construit 7 exemples très simples où les taux d’ouverture, de clic, de désinscription et de rebond (erreurs) jouent les trouble-fêtes.
Je vous laisse découvrir les résultats.
I Le contexte
La société de recrutement Martin, totalement fictive, expédie un email chaque semaine à sa liste de diffusion.
Elle travaille uniquement en B2B (son offre s’adresse uniquement à des professionnels).
Les résultats étudiés correspondent à 2 envois, il existe 1 semaine d’intervalle entre eux.
II Les 7 cas étudiés pour identifier des hallucinations
II.1 Cas n°1 – Le taux d’ouverture baisse
L’entreprise Martin fait grise mine, elle constate une chute vertigineuse de ses taux d’ouverture.
Les données sont les suivantes :
Campagne n°1 – Envoyés 4703 – Taux d’ouverture 30,5 % – Taux de clic : 1,2%
Campagne n°2 – Envoyés 4720 – Taux d’ouverture 12,5 % -Taux de clic : 1,25%
II.1.1 Question : pourquoi le taux de clic a-t-il baissé ?
La réponse de ChatGPT reste très générique.
Il m’indique de travailler sur l’objet, la fréquence d’envoi, la liste d’abonnés, l’heure d’envoi, le contenu, la segmentation et les événements externes (par exemple une nouvelle très importante est arrivée au moment de l’envoi, une panne électrique…).
Conclusion : ces pistes sont très communes, elles ne présentent pas d’hallucinations mais n’apportent pas la réponse souhaitée.
Je retiens la leçon et mon prochain prompt sera plus ciblé.
II.1.2 Réponse d’un être humain spécialisé dans l’emailing
L’objet du 1er message est certainement le problème.
L’on constate un excellent taux d’ouverture mais les clics ne suivent pas.
Uniquement avec les données de la 1re campagne, 2 pistes se profilent :
- l’objet du 1er message survend le corps du texte, il est trompeur ;
- le CTA est mal placé.
Les résultats de la 2e campagne indiquent la réponse :
l’objet est la problématique
Lors de la campagne suivante, le taux d’ouverture chute car les destinataires se souviennent avoir ouvert un email de peu de valeur la semaine précédente.
Par contre, pour ceux qui ouvrent, cliquent, le contenu du second message est correct.
Conclusion : la confiance est à restaurer sur la partie de la base qui a été trompée.
II.2 Cas n°2 – Le taux de désinscription explose
Je vous propose les statistiques des 2 campagnes suivantes :
Campagne 1 – Envoi 4720 – Nombre de désinscriptions 5
Campagne 2 – Envoi 8210 – Nombre de désinscriptions 76
II.2.1 Question : Pourquoi le nombre de désinscriptions a-t-il autant augmenté ?
Réponse de ChatGPT
L’offre a évolué.
Elle ne plait pas ce qui explique cette situation.
II.2.2 Réponse d’un expert en emailing
La réponse de ChatGPT est une hallucination, ces seuls statistiques sont incapables d’arriver à cette conclusion.
Par contre, la hausse spectaculaire des adressses de la base de données saute aux yeux.
Une nouvelle base a été injectée (achat, piratage, cadeau…), l’accord de la majorité des nouveaux entrants n’a pas été obtenu.
Conclusion : n’intégrez jamais une nouvelle base directement dans votre base principale. La sanction ultime est le blacklistage total de vos envois.
Pour approfondir le sujet : achat base de données – eldorado ou cauchemar
II.3 Cas n°3 – Le taux d’erreur temporaire a explosé
Les statistiques envoyées à ChatGPT.
Campagne 1 – Envoi 4720 – Nombre d’erreurs temporaires 21
Campagne 2 – Envoi 4790 – Nombre d’erreurs temporaires 123
II.3.1 Question : Comment expliquer l’augmentation du nombre d’erreurs temporaires ?
Je formule une restriction à 3 pistes.
La réponse de ChatGPT :
- volume d’envoi,
- problèmes techniques temporaires lors de l’envoi ;
- filtrages ou blocages temporaires.
II.3.2 Réponse de l’expert
Petit bravo !
La 3e réponse est certainement la bonne solution.
Il faudrait étudier plus en détails pour savoir si un domaine ou plusieurs domaines en entier ont renvoyé des erreurs.
Si cette piste ne mène à rien, des investigations sont aussi à mener sur la 1ere possibilité.
Une adresse piège de haut niveau (spam trap) est certainement entrée dans la base.
Conclusion : Réagissez tout de suite lorsqu’un blocage arrive car le problème s’intensifie rapidement et ne se règle jamais tout seul.
Pour approfondir le sujet : les 3 niveaux de spam trap
II.4 Cas n°4 – Le taux d’ouverture est en chute libre
Les statistiques des 2 campagnes :
Campagne n°1 – Envoi 4270 – taux d’ouverture 20,5% – taux de clics 2,5%
Campagne n°2 – Envoi 4290 – taux d’ouverture 9% – taux de clics 2,5%
II.4.1 Pourquoi le taux d’ouverture est-il aussi bas ?
Les 3 réponses de ChatGPT :
- l’objet,
- le contenu de l’email,
- les blocages.
II.4.2 Audit de l’expert emailing
Ces 3 réponses sont correctes mais l’expert les range dans un ordre différent :
les blocages, l’objet, le contenu de l’email.
Un expert, à la vue de ces 1ers éléments se penche sur le taux d’erreurs pour identifier un éventuel blocage.
Aucun blocage n’est identifié, l’en-tête et le contenu sont passés au crible.
En B2B, une partie du contenu est en effet visible sans ouvrir le message.
ll est tout à fait possible que celui-ci déplaise.
Pour conclure, le message est pertinent pour une partie de la cible puisque le taux de clic est excellent rapporté au nombre restreint d’ouvertures.
II.5 Cas n°5 – Le taux de désinscription augmente
Une énigme s’établit sur le nombre élevé de désinscriptions.
Campagne 1 – Envoi 4720 – Nombre de désinscriptions 5
Campagne 2 – Envoi 4730 – Nombre de désinscriptions 35
II.5.1 – ChatGPT enquête…
Ses 3 réponses :
- contenu non pertinent,
- mauvais ciblage,
- campagnes précédentes très mauvaises.
II.5.2 Quel est l’avis de l’expert ?
Un petit bravo à ChatGPT
Il est clair que la 1re piste à investiguer réside dans le contenu.
Si cette piste ne fonctionne pas, la pertinence du ciblage est une possibilité.
Néanmoins, l’entreprise ne pratique pas de segmentation.
Cette information n’a pas été communiquée à ChatGPT.
L’impact des campagnes précédentes a peu de chance d’être la solution.
Lorsque la pertinence n’est pas là, les destinataires n’ouvrent pas ou ils appuient sur le bouton spam.
ChatGPT oublie une piste intéressante.
Elle se décline sous la mise en place d’un lien de désabonnement en début de campagne. Ce lien n’existe pas dans la 1re campagne.
Autre piste, consiste en une identification plus facile du lien de désabonnement.
Conclusion : noter tout changement d’une campagne pour voir leurs conséquences sur vos statistiques.
II.6 Cas n°6 – Le taux de clic est en forte décroissance
Les données mises à notre disposition.
Campagne 1 – Envoi 4720 – Taux de clic 2,8%
Campagne 2 – Envoi 4730 – Taux de clic 1,2%
II.6.1 Les dires de ChatGPT
Les pistes proposées :
- contenu moins engageant,
- objet moins incitatif,
- problème de délivrabilité.
II.6.2 Retours d’un expert en emailing
Les réponses de ChatGPT sont intéressantes mais il doit progresser dans son expertise.
Toutes ces pistes sont bien à investiguer.
Au préalable, la 1re question est de s’interroger sur les call to action :
- nombre,
- emplacement,
- forme…
Si cette analyse ne donne rien, les pistes de ChatGPT sont explorées.
II.7 Cas n°7 – Le taux de rebond sur les erreurs définitives est en chute libre
Les nombres des 2 campagnes qui posent un problème :
Campagne 1 – Envoi 4720 – Taux d’erreurs 12,5%
Campagne 2 – Envoi 4530 – Taux d’erreurs 0,5%
II.7.1 L’avis de ChatGPT
Les 3 réponses :
- nettoyage de la liste,
- vérification des nouvelles adresses avant leur entrée dans la base,
- optimisation des paramètres d’envoi.
II.7.2 Les conseils de l’expert
Un immense bravo.
ChatGPT a certainement trouvé la bonne réponse.
Le nombre global d’adresses a chuté, la base a été nettoyée.
Ses 2 autres pistes sont d’excellents conseils pour améliorer la qualité de sa base
Conclusions sur l’audit des statistiques emailing de ChatGPT
Les 1ers résultats sont encourageants.
Sur les 7 cas proposés, une hallucination a été constatée.
Les exercices sont très simples et leur résolution est très facile pour un expert.
La quantité de données fournies est très faible.
Lorsqu’un véritable audit est effectué, un ensemble conséquent de données est à la disposition de l’auditeur.
ChatGPT est certainement en mesure d’affiner ses analyses avec un plus grand nombre de données.
Quant à l’expert, il est susceptible, à partir des nombreux cas qu’il a pu étudier, de procéder à une expertise très approfondie.
Le dernier problème qui se pose avec les outils d’IA concerne la confidentialité des données. La plupart des entreprises ne souhaitent pas voir leurs données circuler sur la place publique.
Tous ces problèmes vont se résoudre à moyen terme.
Il est clair que les experts en emailing vont construire leurs propres modèles sur des outils propriétaires pour affiner les analyses.
L’avenir appartient d’ores et déjà à ceux qui sauront mixés expertise propre et IA.
Merci d’avoir lu cet article jusqu’à la fin.
Pour poursuivre : découvrez les différents audits
Merci pour cet article. L’IA est impressionnante, néanmoins on doit avoir une bonne maîtrise de ses demandes pour obtenir le travail souhaité.
Dans tous les cas, les livrables de l’IA doivent toujours être réévalués par l’expert. C’est suite à ces résultats que l’expert métier va affiner ses prompts et compléter les données qu’il va communiquer pour analyse. Cela reste un outil et au même titre où l’IA doit avoir énormément d’informations pour bien contextualiser la demande, l’expert doit apprendre à maîtriser l’outil. Merci pour ces éclairages très intéressants.
Merci Freddy, effectivement, je vous rejoins les prompts sont la clé.
Nous sommes sur des modèles apprenants.
En expliquant à l’IA, les 80% des cas les plus connus, l’on arrive très vite certainement à de très bonnes analyses.
Diane
Cet article sur l’audit de statistiques d’emailing avec l’Intelligence Artificielle est à la fois informatif et captivant. J’apprécie particulièrement la façon dont tu as abordé les limites actuelles de l’IA, en particulier en ce qui concerne les « hallucinations » de ChatGPT. Ton analyse comparative des réponses de l’IA et d’un expert humain en emailing est très éclairante et met en évidence l’importance de combiner l’expertise humaine avec les capacités de l’IA pour obtenir les meilleurs résultats.
La mise en évidence des problématiques juridiques et des questions de confidentialité des données apporte également une perspective essentielle et souvent négligée dans le débat sur l’utilisation de l’IA dans le marketing. Ta conclusion optimiste sur l’avenir de l’IA dans l’emailing, où les experts pourraient créer leurs propres modèles personnalisés, est particulièrement encourageante. Cela suggère une voie prometteuse pour une utilisation plus efficace et responsable de l’IA dans le domaine du marketing par email.
Merci d’avoir partagé ces insights précieux et d’avoir fourni une analyse approfondie des capacités actuelles de l’IA en matière d’emailing. Cet article est une lecture incontournable pour tous ceux qui s’intéressent à l’évolution de l’IA dans le marketing numérique.
Merci Dieter pour ce commentaire très complet.
Effectivement, nous sommes au début de l’intelligence artificielle.
L’IA reste un outil, il permet des gains substantiels de productivité mais il reste à l’expert à l’alimenter et surtout à vérifier ses propos.
Excellente journée
Diane
Merci Diane !
De mon côté, j’écris la newsletter puis je demande à GPT4 de reformuler. Comme ça, pas de souci d’hallucination.
Bonjour Flore,
Merci.
Dans les réécritures, ta probabilité est plus faible d’avoir des hallucinations.
Par contre, il est essentiel de bien relire.
ChatGPT ne fait pas de faute, il utilise souvent la ponctuation américaine donc à faire attention de la corriger.
Diane
Je suis bien d’accord avec qu’il a encore beaucoup de chose à apprendre et qu’il faut rester vigilant et vérifier ces réponses parfois. En revanche , je suis bien contente qu’il existe et il m’aide à m’améliorer mes articles une fois je j’ai écrit la base de mon article.
La partie « idées » est aussi intéressante.
Cet article offre un bon regard sur l’interaction entre l’intelligence artificielle et l’audit des statistiques d’emailing. La comparaison entre les analyses de l’IA et celles d’un expert humain est particulièrement appréciable, révélant les forces et les limites de l’IA dans ce contexte.
Merci pour cette expertise avec des cas concrets et chiffrés pour comprendre. j’ai beaucoup appris. L’expertise humaine reste une valeur sûre et y ajoutant de l’IA ce métier sera encore plus performant.
Très bel article plein d’enseignements et d’utilité !