En emailing, il existe des idées bien ancrées.
Par exemple, l’envoi du mardi au jeudi en B2B ou les compositions 100 % en images à éviter.
Quand on débute dans un secteur, il vaut mieux les suivre.
Au fur et à mesure de leur compréhension, il est possible de les briser.
Et les tests A/B sont une excellente opportunité pour valider ou non ces nouvelles hypothèses.
Mais l’erreur peut vite survenir.
Les 2 fondamentaux lors de la réalisation d’un test sont :
- la variation d’un seul paramètre,
- les 2 échantillons aléatoires.
Certains tests sont particulièrement difficiles à réaliser et présentent presque toujours des biais.
Des variables incombent parfois à un prestataire extérieur.
Le sujet est complexe et je vous propose de voir ensemble 5 erreurs communes à éviter.
I La volumétrie de la base de données
C’est la première brique à étudier.
Inutile de se lancer dans des tests A/B lorsque la volumétrie est insuffisante.
Pour les tests sur les ouvertures, 4000 adresses au moins sont indispensables.
Quant aux tests sur les clics, un seuil minimal de 20 000 contacts est à envisager.
Il est possible de l’abaisser lorsque les bases sont très actives.
Dans tous les cas, inutile d’envisager une base inférieure à 10 000 contacts.
II Le test sur une composition image/texte ou texte contre l’image
Les tests réalisés ont longtemps montré de meilleurs résultats sur des emails texte/images ou texte seul comparés à un message 100 % image.
2 éléments sont désormais à prendre en compte :
1. les filtres ont évolué, ils sont en mesure de mieux identifier une image suspecte,
2. l’IA a développé une volumétrie exponentielle de contenu, ce dernier accroche moins.
Une bonne image facilite la compréhension du message et représente un gain de temps.
Il faut donc tester selon sa cible.
Une erreur rencontrée fréquemment réside dans la non pertinence du test réalisé.
Un exemple concret :
une image avec du texte par dessus,
la même image avec le texte en-dessous.
Cette configuration n’est pas pertinente.
En effet, dans les 2 cas, l’email commence par une image.
L’image de début sur le second test crée donc un biais, pour renforcer le contexte, l’image choisie est même « abstraite ».
La solution à privilégier, le texte commence le message.
VPNUM
La solution de sécurité de votre environnement de travail pour éviter tout stress
Sur des messageries professionnelles, le volet de lecture (zone de visualisation du message sans l’ouvrir) est un levier d’ouverture, le texte doit donc commencer le message.
Sur les messageries personnelles, ce panneau n’existe pas toujours.
Mais les emails sont de plus lus en environnement mobile, or le début du message incite à poursuivre ou non.
Pour approfondir : Optimiser ses campagnes d’emailing avec le volet de lecture
III Le test du jour d’envoi
La réalisation d’un test sur le jour d’envoi est très difficile à réaliser.
L’événement le plus perturbateur auquel il faut faire attention se nomme la météo.
Le test est réalisé un jour de pluie puis une journée ensoleillée.
Les jours de pluie donnent souvent de meilleurs résultats.
Là encore, il existe un biais lorsque la météo n’est pas prise en compte.
IV L’IP d’envoi
Un autre élément perturbateur concerne l’IP (adresse d’identification d’un réseau).
Pour fiabiliser son test A/B, une souscription a une adresse IP dédiée est nécessaire.
Autrement, il est tout à fait possible que les différences proviennent de la qualité des IPs mutualisées.
V Les filtres antispam
Sur certains paramètres comme les taux de clic en B2B, les filtres antispam sont des perturbateurs importants.
Par exemple, les filtres des grandes entreprises cliquent presque toujours sur les liens du message pour éviter toute tentative de phishing.
Il est parfois très difficile sur une base B2B de confirmer que les écarts constatés entre l’échantillon A et l’échantillon B est bien dû au paramètre testé et non aux filtres antispam.
Conclusion sur les tests A/B
La réalisation de tests A/B pertinents est extrêmement complexe. Il faut donc être prudent dans leur interprétation.
Pour éviter toute erreur, il est possible de répéter le test XX fois et de conclure lors de la fin de la période sur le choix à retenir.
En email marketing, les taux d’ouverture et de clic ne sont pas fiables. Lorsque c’est possible, privilégier le taux de transformation.
Le but de l’email est le téléchargement d’une fiche produit. La composition retenue est donc celle qui aboutit au nombre de téléchargements le plus élevé.
Un test A/B s’intéresse à l’évolution d’une unique variable.
Le cas du jour d’expédition démontre la problématique de l’environnement changeant entre le cas A et le cas B.
Il est tout à fait possible que le jour de l’envoi choisi pour le reste de la base ait des caractéristiques différentes de celles du test.
Les tests A/B sont un excellent moyen de progression.
Mais leur fiabilité est toujours à vérifier en détails.
Une question – Un projet : Dialoguer avec un expert
Merci, Diane, pour cet article très instructif 🙂
Effectivement, réaliser un test A/B peut être complexe à mettre en œuvre, mais les résultats en valent souvent la peine pour valider ou invalider certaines croyances.
Je n’avais pas du tout pensé à l’influence de la météo, mais c’est une remarque très pertinente, car elle impacte effectivement nos comportements et nos occupations.
Concernant l’antispam, il est vrai que nous sommes tellement pollués par les spams et exposés aux risques de phishing qu’il devient difficile de faire passer un mail propre avec un taux de succès de 100 %.
Cependant, grâce à tes méthodes et ton expertise, on peut réussir 🙂
Merci pour cet article précis et instructif ! Il met vraiment en lumière les pièges fréquents des tests A/B, surtout lorsqu’on débute dans ce domaine. La remarque sur la volumétrie minimale est particulièrement intéressante : on oublie souvent qu’une base trop petite rend les résultats peu fiables, même si le test est bien conçu.
J’ai aussi beaucoup aimé l’exemple concret sur les emails avec images : c’est vrai qu’un détail comme la position du texte peut créer un biais inattendu. Et alors, le facteur météo pour les tests sur le jour d’envoi… je n’y aurais jamais pensé, mais c’est tellement logique après coup !
Merci encore pour ce contenu qui pousse à revoir ses pratiques avec plus de rigueur et d’esprit critique.
C’est exactement le type de guide dont on a besoin pour optimiser nos campagnes de manière efficace. Merci pour ce partage si riche en informations et en conseils pratiques !
Merci Diane pour cet article.
Les tests A/B sont en effet utile mais à condition comme tu l’indiques d’avoir un volume assez important pour être significatif. En effet, cela peut être contre productif de faire des tests approximatifs.
merci pour ces conseils.
Merci pour ces supers idées !
J’ai compris qu’il fallait une liste assez conséquente pour que le test se vérifie, mais c’est bon à savoir pour la suite 🙂
Tout dépend ce qui est testé.
Mais une volumétrie minimale de 4000 est nécessaire pour débuter