Chapitre 8.9Les tests A/B

Tu hésites entre deux textes pour un bouton d'achat, "Acheter maintenant" ou "Ajouter au panier". Lequel génère le plus de ventes ?

L'intuition et les débats en réunion ne suffiront pas à trancher. Le plus convaincant l'emportera, pas le plus juste. Il faut des données, et c'est exactement ce que permet le test A/B.

Le principe

Le test A/B consiste à créer deux versions d'un élément, une page, un bouton, un email, et à les montrer aléatoirement à des groupes différents d'utilisateurs. On mesure ensuite quelle version obtient les meilleurs résultats.

Version A, le bouton dit "Acheter maintenant". La moitié des visiteurs la voient.
Version B, le bouton dit "Ajouter au panier". L'autre moitié la voit.

Après quelques jours et suffisamment de visiteurs, les chiffres tranchent. Si la version B génère nettement plus de commandes, on la garde et on supprime l'autre.

Le mot important dans tout ça, c'est "aléatoirement". Ce n'est pas un détail de mise en oeuvre, c'est le coeur de la méthode. Comme les deux groupes sont constitués au hasard, ils se ressemblent statistiquement sur tout le reste, l'appareil utilisé, l'heure de visite, la provenance, l'humeur du jour. La seule différence systématique entre eux, c'est la version du bouton. C'est ce qui autorise à attribuer l'écart observé au changement testé, et non à autre chose.

C'est aussi ce qui distingue un test A/B d'une comparaison "avant / après". Comparer les ventes de mars et d'avril ne prouve rien, puisque la météo, les campagnes marketing et la concurrence ont changé entre-temps. Un test A/B fait tourner les deux versions en même temps, sur des publics comparables.

Ce qu'on peut tester

Presque tout ce que voit ou vit l'utilisateur.

• Le texte : titre, description, libellé de bouton, objet d'email. C'est le test le moins cher à mettre en place et souvent le plus rentable.
• Le design : couleur d'un bouton, taille d'une image, mise en page, emplacement d'un élément.
• Le parcours : le formulaire en une page ou en plusieurs étapes ? L'inscription obligatoire avant le paiement ou proposée après ?
• Le prix et l'offre : afficher le prix barré ou non, mettre en avant le mensuel ou l'annuel, proposer trois formules ou quatre.
• L'algorithme : quel moteur de recommandation génère le plus de ventes, quel ordre de tri des résultats de recherche.
• La performance : certaines équipes testent délibérément une version ralentie de leur site pour mesurer combien coûte chaque dixième de seconde de chargement. Les résultats sont généralement édifiants.

Il y a en revanche des choses qu'on ne teste pas, ou pas comme ça. Un changement de marque, une refonte complète ou une décision structurante ne se découpent pas en deux variantes proprement comparables. Et proposer des prix différents à des clients différents pour un même produit pose des questions légales et éthiques bien réelles selon les pays et les secteurs.

La signification statistique

Le piège numéro un du test A/B, c'est de conclure trop vite.

Si 10 personnes voient la version A et 2 cliquent, soit 20 pour cent, et que 10 personnes voient la version B et 3 cliquent, soit 30 pour cent, peut-on dire que B est meilleure ? Non. Une seule personne d'écart, sur des groupes aussi petits, ne veut rien dire. Lance deux fois le même test avec la même version des deux côtés et tu obtiendras des écarts de cet ordre par pur hasard.

Pour qu'un résultat soit statistiquement significatif, il faut assez de données pour que la différence observée soit difficilement attribuable au hasard. On retient généralement un seuil de confiance de 95 pour cent. Attention à ce que cela signifie exactement, car la formulation courante est souvent fausse. Cela ne veut pas dire "il y a 95 pour cent de chances que B soit meilleure". Cela veut dire que si les deux versions étaient en réalité équivalentes, on aurait moins de 5 pour cent de chances d'observer un écart aussi grand. La nuance a l'air scolaire, mais elle explique pourquoi on se trompe si souvent.

Le nombre de visiteurs nécessaire dépend surtout de deux choses, le taux de conversion de départ et la taille de l'écart qu'on cherche à détecter. Plus l'effet recherché est petit, plus il faut de monde, et la relation n'est pas linéaire du tout. Détecter un gain de quelques pour cent relatifs demande couramment des dizaines ou des centaines de milliers de visiteurs, alors qu'un doublement du taux se voit sur quelques milliers. C'est pour cette raison qu'un site à faible trafic ne peut honnêtement tester que des changements grossiers.

Avant de lancer un test, calcule la taille d'échantillon nécessaire avec un calculateur en ligne, et fixe à l'avance la date d'arrêt. Décider d'arrêter quand le résultat te plaît est la meilleure façon de transformer du bruit en fausse découverte.

Les pièges classiques

• Regarder les résultats en permanence : si tu consultes le tableau de bord cinq fois par jour et que tu arrêtes dès que le seuil de 95 pour cent est franchi, tu finiras par le franchir par hasard. Ce biais porte un nom, le "peeking", et il invalide énormément de tests en entreprise.
• Arrêter trop tôt : même en fixant une taille d'échantillon, il faut couvrir au moins un cycle hebdomadaire complet, idéalement deux. Le comportement d'achat du mardi matin n'a rien à voir avec celui du dimanche soir.
• Tester trop de choses à la fois : si tu changes le texte, la couleur et la position du bouton en même temps, tu sauras que l'ensemble marche mieux, mais pas quel élément y a contribué. Ce n'est pas forcément grave si tu veux juste choisir entre deux maquettes, ça l'est si tu veux apprendre quelque chose.
• L'effet de nouveauté : un changement visuel voyant attire l'attention des habitués simplement parce qu'il est nouveau. Le gain s'évapore au bout de quelques semaines. Sur une base d'utilisateurs fidèles, méfie-toi des tests trop courts.
• Ignorer les segments : la version A peut être meilleure sur mobile et la version B meilleure sur ordinateur. Le résultat global masque alors deux réalités opposées. Attention toutefois, si tu découpes les résultats en quinze segments après coup, tu trouveras forcément un segment "gagnant" par pur hasard.
• Se tromper de métrique : optimiser le taux de clic sur un bouton est facile, il suffit de le rendre agressif. Si le chiffre d'affaires et le taux de retour produit ne bougent pas dans le bon sens, tu as gagné un indicateur et perdu de l'argent. Choisis la métrique qui compte vraiment, même si elle est plus lente à bouger.

Les variantes de la méthode

Le test A/B classique a plusieurs cousins utiles.

• Le test A/A : on met la même version des deux côtés. Le résultat attendu est l'absence de différence. C'est le meilleur moyen de vérifier que ton outil de test répartit correctement le trafic et mesure correctement. Beaucoup d'équipes découvrent ainsi que leur outil est mal configuré.
• Le test multivarié : on teste plusieurs éléments et toutes leurs combinaisons simultanément. C'est puissant, mais le nombre de variantes explose vite, et le trafic nécessaire avec lui.
• Le déploiement progressif : plutôt que 50 pour cent d'un coup, on expose la nouvelle version à 1 pour cent des utilisateurs, puis 5, puis 20. L'objectif est autant de mesurer que de limiter les dégâts en cas de problème. C'est une pratique courante en déploiement continu.
• Le bandit manchot : l'algorithme réoriente automatiquement le trafic vers la variante qui gagne, au fil de l'eau. Très adapté à une campagne courte ou à une bannière saisonnière, moins adapté quand on veut apprendre quelque chose de solide sur ses utilisateurs.

Les outils et le cadre légal

Côté outillage, plusieurs solutions permettent de mettre en place des tests sans toucher au code, avec un éditeur visuel. Optimizely, AB Tasty, Kameleoon, VWO ou Adobe Target sont parmi les plus répandues, et des alternatives open source comme GrowthBook existent. Note que Google Optimize, longtemps la porte d'entrée gratuite du sujet, a été arrêté en 2023, ce qui a poussé beaucoup d'équipes vers ces outils tiers ou vers des dispositifs maison.

Ces outils s'appuient sur du code exécuté dans le navigateur, ce qui a deux conséquences pratiques. D'abord un impact sur les performances d'affichage, parfois visible sous forme de clignotement au chargement de la page. Ensuite un enjeu de conformité, puisqu'ils déposent en général des cookies et manipulent des données de navigation. Selon la configuration retenue, le consentement de l'utilisateur peut être requis, et un test qui ne s'applique qu'aux visiteurs ayant accepté les cookies n'a plus grand-chose d'aléatoire. Le sujet mérite d'être posé avec ton référent RGPD avant de lancer un programme de tests.

Ce qu'il faut en retenir

Le test A/B est l'un des outils les plus puissants pour arbitrer sur des faits plutôt que sur des opinions. Il a aussi une vertu que l'on sous-estime, il rend l'équipe humble. Les entreprises qui publient les résultats de leurs programmes de tests rapportent toutes la même chose, une bonne partie des idées jugées excellentes en réunion n'améliorent rien, et certaines dégradent les résultats.

Autrement dit, l'intérêt principal du test A/B n'est pas de gagner quelques pour cent sur un bouton. C'est d'éviter de déployer massivement les mauvaises idées, et d'arrêter les discussions qui ne mènent nulle part.