A/ B testing : qu'est-ce que c'est ? Pourquoi en faire ?

A/ B testing : qu'est-ce que c'est ? Pourquoi en faire ?


L’A/B Testing est une méthode largement plébiscitée dans le marketing. Elle consiste à comparer plusieurs versions d’une expérience ou d’une campagne publicitaire dans le dessein de déterminer la version la plus efficace en fonction d’un objectif préalablement défini. Un test A/B permet donc de tester deux versions (A et B). On préférera l’expression test A/Z pour les tests qui mettent en concurrence plus de deux versions.

L’A/B Testing : une méthode qui a fait ses preuves

L’A/B Testing ou split testing est une méthode fortement recommandée dans le marketing digital pour tester une page web ou une application mobile auprès d’un échantillon d’internautes.
L’opération consiste à proposer au même échantillon deux versions d’un site web par exemple. La moitié des visiteurs consultera la page A et l’autre moitié la page B. L’analyse des retours permettra d’identifier la page qui a reçu la faveur des testeurs en fonction d’un indicateur prédéfini (trafic ou vente par exemple). Dans l’absolu, le split testing ne s’arrête jamais : une fois que la page « gagnante » a été identifiée, il s’agira de la mettre en concurrence avec une autre pour tendre vers le meilleur retour sur investissement possible. Les mastodontes du web comme Google, Cdiscount, Ebay ou encore Amazon mobilisent des équipes entières pour le split testing afin de s’inscrire dans un processus d’optimisation continuelle de leurs plateformes pour la vente de produits, la génération de leads ou encore l’expérience utilisateur.

Mini-guide de l’A/B testing

Pour éviter le hors piste et se lancer sereinement dans l’A/B Testing, nous vous proposons un mini-guide opérationnel :

  • Collecter les données : il est recommandé de se baser sur l’analyse statistique des données pour déterminer les zones à fort trafic. Cela permet de collecter des données plus rapidement
  • Identifier les objectifs : générer des leads, du trafic ? Les objectifs d’une campagne sont les paramètres qui serviront d’indicateurs pour départager les deux versions testées;
  • Générer l'hypothèse : une fois l’objectif est déterminé, il est temps de générer des idées de test et des hypothèses. Le brainstorming donne généralement de bons résultats ;
  • Créer des variations : les modifications souhaitées seront apportées à un élément du site ou de l’application mobile. Exemple : changer la couleur d'un bouton, échanger l'ordre des éléments sur la page, cacher des éléments de navigation, etc ...
  • Exécuter l'expérience : à ce stade, les utilisateurs seront assignés au hasard au contrôle ou à la variation de votre expérience. Leur interaction avec chaque expérience devra être mesurée ;
  • Analyser les résultats : un seuil d’utilisateurs ou un laps de temps signeront la fin de l’expérience. Il est à présent temps d'analyser les résultats. Un logiciel de test A/B présentera les données de l'expérience en mettant en exergue les différences statistiques significatives. Si l’expérience génère un résultat non exploitable, il faudra générer de nouvelles hypothèses à tester. 

A/B Testing : quels avantages ?

Les tests A/B représentent une méthode de test simple mais puissante qui a montré ses preuves. Elle permet notamment de :

  • Construire des hypothèses et de mieux comprendre comment certains éléments peuvent influencer le comportement d’un utilisateur ;
  • Améliorer continuellement une expérience donnée en améliorant un objectif déterminé au préalable, au fil du temps ;
  • Déterminer les changements qui ont un effet sur le comportement des visiteurs. Il est possible, dans ce sens, de combiner l'effet de multiples changements gagnants à partir des expériences pour tendre vers la perfection.

Que peut-on tester ?

  • Dans un document marketing, on pourra pratiquement tout tester : titres, appels à l'action, police du corps, images, etc. Tout ce qui est modifiable est par définition testable ! Mais cela ne signifie pas qu’on doit nécessairement passer des mois pour tester chaque élément. Il est plutôt recommandé de se concentrer sur les parties qui sont les plus susceptibles d'engendrer un impact significatif ;
  • Sur les sites web, cela inclut souvent : le titre, votre appel à l'action, les graphiques, la fiche des ventes ou la description des produits ;
  • Dans un email, il s’agit d’inclure les mêmes éléments. Dans une annonce, en particulier une annonce textuelle (comme une annonce de recherche), il existe moins d’éléments à modifier. Il faut, toutefois, tester le titre principal ou l'offre elle-même. L’objet de l’email est par ailleurs un des éléments les plus testés au vu de son impact dans le taux d’ouverture ;
  • On peut également tester les éléments en relation les uns avec les autres. On pourra par exemple tester la lettre d'information A avec la page de destination B, puis la lettre d’information B avec la page de destination A, etc.

# Bonus : les meilleures pratiques A/B Testing

Pour réussir ses tests A/B et maximiser les enseignements, il s’agira d’accorder une attention particulière aux éléments sensibles suivants qui conditionneront fortement vos résultats :

  • Prendre le temps de formuler une bonne hypothèse : chaque test commencera forcément par une hypothèse. Celle-ci devra inclure la variable testée et la métrique de réussite qui détermine la version  « gagnante » ;
  • Une variable unique : un test A/B doit impérativement inclure une seule variable. Autrement, les résultats ne seront pas concluants et d’autres tests devront suivre pour affiner les résultats ;
  • Une métrique de réussite claire : avant de lancer le test, il faudra décider de la façon dont on mesurera le succès des versions. Il faudra fixer au préalable un seul moyen de gagner (points, votes, temps, ventes, trafic, clics, etc.) ;
  • Disposer d’un volume significatif : pour un test réussi, il faut avoir suffisamment de volume pour disposer de données statistiquement significatives. Autrement, les résultats seront biaisés et le test inutile.

Les autres publications