Votre test A/B désigne un gagnant : avez-vous assez de données pour le croire ?

La variante B affiche un taux de conversion supérieur de 20 %. Le chiffre semble décisif, jusqu’à ce que l’on découvre qu’il repose sur quatre conversions supplémentaires. Un écart observé et une preuve suffisante pour décider ne sont pas la même chose.

Un test A/B utile commence avant l’ouverture du tableau de bord : hypothèse, population, métrique, effet recherché et règle de décision. Sans ce cadre, on peut choisir un gagnant simplement parce qu’un compteur passe momentanément au vert.

Un gain relatif peut cacher un très petit écart absolu

Passer de 2 % à 2,4 % correspond à un gain relatif de 20 %, puisque 0,4 divisé par 2 vaut 0,2. L’écart absolu est de 0,4 point de pourcentage. Les deux descriptions sont exactes, mais elles ne donnent pas la même impression.

Avec 1 000 personnes par groupe et une conversion au plus par personne dans ce scénario fictif, cela représente 20 conversions pour A et 24 pour B. Quatre événements séparent les résultats. Le hasard peut produire des écarts dans un échantillon, même si les variantes n’ont pas d’effet différent dans la population.

Le choix du dénominateur compte. Utilisateurs, sessions, visites de page ou tentatives de paiement ne sont pas interchangeables. Si une personne apparaît plusieurs fois, les observations peuvent être liées. Le calcul statistique doit tenir compte de l’unité et du protocole.

Décrivez donc l’écart en points, en proportion relative et en volumes. Cette présentation ne remplace pas l’analyse, mais elle empêche un pourcentage impressionnant de masquer un petit nombre d’événements.

Visualiser l’incertitude avec un exemple calculé

Pour deux proportions indépendantes dans un exemple simplifié, une approximation normale peut produire un intervalle autour de leur différence. La marge dépend des taux observés et des tailles des groupes. D’autres méthodes peuvent être préférables selon les conditions, notamment avec de petits effectifs ou des proportions extrêmes.

Le tableau suivant conserve les mêmes taux fictifs, 2 % et 2,4 %, tout en changeant le volume. Les bornes sont calculées avec une approximation de Wald bilatérale à 95 %, sans correction pour des analyses répétées ou multiples. Il s’agit d’une illustration pédagogique, pas du dimensionnement d’un test réel.

Le premier intervalle comprend des écarts négatifs et positifs. L’observation ne suffit donc pas, avec ce calcul, à écarter une différence nulle. Le troisième est plus étroit et ne comprend plus zéro dans les conditions de l’exemple.

Cela ne signifie pas qu’il faut toujours 20 000 personnes par groupe. Le volume nécessaire dépend du taux de départ, de l’effet que vous voulez détecter, de la puissance, du seuil retenu et du protocole. Le tableau montre seulement que la même hausse affichée peut correspondre à des niveaux de précision très différents.

Un intervalle à 95 % ne doit pas être raconté comme « 95 % de chances que cette variante soit meilleure » dans cette approche fréquentiste. La procédure possède une propriété de couverture sur des répétitions conformes à ses hypothèses. Les formulations doivent rester cohérentes avec la méthode utilisée par votre outil.

Formuler une hypothèse qui peut être réfutée

« Améliorer la page » est trop large. Une hypothèse utile décrit un changement et son mécanisme attendu : rendre une information de livraison plus visible pourrait réduire l’hésitation avant paiement. Définissez ensuite le résultat principal et les effets indésirables à surveiller.

Le taux de clic sur un bouton peut augmenter sans améliorer les commandes conservées. Une promotion peut produire davantage de ventes mais diminuer la marge. Choisissez une métrique proche de la décision commerciale et des indicateurs de protection adaptés.

Inscrivez l’effet minimal qui vous serait utile. Détecter un changement microscopique peut demander un volume disproportionné, alors que vous ne l’exploiteriez pas. Inversement, un site à fort volume peut considérer un faible écart comme important.

Définissez la population : tous les utilisateurs éligibles, une région ou un parcours particulier. Une restriction doit être liée à l’hypothèse et prévue, pas choisie après avoir découvert le segment le plus favorable.

Le guide sur les mesures d’audience incomplètes rappelle que l’instrumentation et le consentement peuvent modifier le périmètre observé. Ce périmètre doit être compris avant de conclure sur les comportements.

Vérifier la répartition avant de commenter l’effet

Un test prévoit une répartition entre variantes, mais les données analysées peuvent s’en écarter. La notion de Sample Ratio Mismatch, ou SRM, désigne un écart statistiquement problématique par rapport à la répartition attendue. Une simple différence de quelques unités ne suffit pas à le diagnostiquer.

Les travaux de Microsoft Research montrent que ces écarts peuvent révéler des problèmes à plusieurs étapes : attribution, exécution, collecte ou analyse. La recherche de leur cause doit précéder l’interprétation de l’effet.

Un exemple fictif : B ralentit le chargement d’un élément qui transmet la mesure. Certains utilisateurs quittent avant son envoi et disparaissent du rapport. Le groupe observé peut alors ne plus représenter correctement le groupe exposé.

Ne corrigez pas simplement les totaux en supprimant des personnes du groupe le plus nombreux. Vous risqueriez de masquer le problème. Vérifiez le protocole, les événements et les filtres, avec une méthode statistique adaptée à la taille de l’échantillon.

La stabilité de l’affectation compte aussi. Une personne passant d’une variante à l’autre peut compliquer l’analyse. La manière de gérer les appareils, les sessions et les identifiants doit être prévue avec les règles applicables.

Décider quand regarder, et pourquoi arrêter

Dans un test à horizon fixe, la règle d’analyse finale est définie à l’avance. Consulter chaque jour un seuil ordinaire et arrêter dès qu’il paraît favorable peut modifier le risque d’erreur. Les analyses répétées demandent une méthode adaptée.

Les approches séquentielles existent, mais elles doivent être réellement prévues par le protocole et correctement utilisées. Un tableau actualisé en continu n’est pas, par sa seule fréquence de mise à jour, un outil statistique séquentiel valide.

La surveillance des incidents reste nécessaire. Une variante qui casse le paiement ou provoque un défaut grave peut être arrêtée pour protéger les utilisateurs. Cette décision de sécurité doit être distinguée d’une déclaration de supériorité commerciale.

Définissez les conditions d’arrêt technique, la durée minimale utile pour couvrir les cycles pertinents et la règle de décision. Le jour de la semaine, les campagnes et les comportements récurrents peuvent influencer les résultats.

Ne cherchez pas un nombre magique de jours. Une semaine peut être trop courte pour le volume et l’effet recherchés ; plusieurs semaines peuvent encore être insuffisantes sur un site peu fréquenté. Le dimensionnement doit relier le besoin statistique et le rythme de l’activité.

Multiples variantes et multiples métriques

Tester plusieurs variantes, plusieurs objectifs et de nombreux segments augmente les occasions de trouver un résultat favorable par hasard. Si vous examinez tout puis retenez uniquement le meilleur chiffre, vous ne faites plus la même analyse que celle annoncée au départ.

Définissez une métrique principale et les contrôles secondaires. Si plusieurs comparaisons font partie du plan, utilisez une méthode qui en tient compte. Pour une analyse exploratoire après le test, nommez-la comme telle et prévoyez une confirmation si elle doit guider une décision importante.

Un exemple fictif : vingt segments sont examinés et un seul montre une forte hausse. Cela peut suggérer une piste, mais ne prouve pas que ce segment répond réellement mieux. Sa taille, les comparaisons et le mécanisme supposé doivent être examinés.

La segmentation doit aussi rester cohérente avec l’attribution. Choisir les personnes en fonction d’une action que la variante modifie peut introduire un biais. Il faut comprendre quand et comment le groupe analysé est défini.

Un résultat « non concluant » peut être utile. Il indique parfois que l’expérience ne détecte pas l’effet recherché avec assez de précision, ou que la différence est plus faible que ce qui justifierait le changement. Il ne prouve pas automatiquement une égalité parfaite.

Relier l’effet à la marge et à l’exploitation

Un gain de conversion peut être intéressant, mais il faut regarder ce qu’il produit. Les commandes supplémentaires ont-elles la même marge ? Les retours, les demandes au support ou les délais changent-ils ? Le résultat peut déplacer un coût vers une autre équipe.

Le dossier sur le coût complet du paiement en ligne montre pourquoi la commande brute n’est pas toujours l’unité économique finale. Un test sur le parcours doit conserver cette distinction.

Prenons un exemple fictif de 10 000 utilisateurs éligibles. Un effet de 0,4 point représenterait 40 conversions supplémentaires si l’estimation se reproduisait dans ce contexte. Avec une marge hypothétique de 15 euros par conversion conservée, cela correspondrait à 600 euros avant les coûts du changement.

Il faut ensuite intégrer l’incertitude de l’effet et les frais de mise en œuvre. Si la modification demande une maintenance importante ou dégrade d’autres usages, la décision peut changer. Le calcul n’est pas une prévision garantie : il relie une hypothèse mesurée à une conséquence potentielle.

Quand le site n’a pas assez de volume

Un faible volume ne rend pas toute amélioration impossible. Il limite certaines conclusions quantitatives. Vous pouvez travailler sur des défauts observables, des erreurs de parcours et des problèmes d’accessibilité sans prétendre avoir démontré un gain de conversion précis.

Des entretiens, des observations d’usage et des contrôles techniques peuvent aider à formuler de meilleures hypothèses. Ils ne remplacent pas un test statistique pour une affirmation chiffrée, mais ils évitent de dépenser des semaines sur une variante sans raison claire.

Choisissez des modifications dont l’impact et le risque sont proportionnés à la preuve disponible. Un correctif d’erreur de formulaire n’a pas besoin d’être présenté comme un gagnant A/B si l’erreur est directement reproductible.

Évitez les outils promettant une certitude rapide avec quelques dizaines de visites sans expliquer leur méthode. Demandez le protocole, les hypothèses et les conditions d’utilisation. Un pourcentage affiché avec deux décimales ne constitue pas une preuve de précision.

Conserver un dossier de décision compréhensible

Gardez l’hypothèse, la population, les dates, les variantes, les métriques, le protocole et les contrôles de qualité. Ajoutez les résultats avec leur incertitude, les incidents et la décision prise. Cette fiche permettra d’expliquer le changement quelques mois plus tard.

Si vous déployez la variante, surveillez son fonctionnement. Un test limité ne couvre pas forcément toutes les conditions futures. La surveillance opérationnelle vérifie les effets indésirables sans réécrire rétroactivement l’analyse du test.

Un bon test A/B autorise aussi la réponse « nous ne savons pas encore ». La rigueur ne consiste pas à trouver un gagnant dans chaque expérience. Elle consiste à distinguer une observation, son incertitude et la décision que ces informations permettent réellement de prendre.

Contrôler la mesure avant le changement

Un contrôle A/A, lorsque le contexte s’y prête, répartit les utilisateurs entre deux expériences identiques pour examiner le dispositif. Il peut aider à repérer une différence de collecte ou de traitement qui ne vient pas du contenu. Son résultat ne certifie pas tous les tests futurs, mais il fournit une observation utile sur l’instrumentation et l’attribution. Définissez ce contrôle avec la même rigueur : population, métriques et méthode d’analyse.

Vérifiez également les événements au niveau du parcours. Une conversion doit être déclenchée au même moment logique dans chaque variante. Si A compte une commande confirmée et B un clic préalable, aucun calcul statistique ne rendra leur comparaison pertinente. Le problème se situe dans la définition, avant le test.

Enfin, l’unité de randomisation doit être adaptée aux interactions. Si plusieurs personnes d’une même entreprise partagent une expérience ou influencent la même décision, les traiter comme des observations entièrement indépendantes peut être inapproprié. Le protocole peut devoir tenir compte de groupes et de leur corrélation. Pour ces situations, faites valider le dimensionnement par une personne compétente. Le calcul pédagogique du tableau ne couvre pas ces structures, ni les effets de saison, ni toutes les conditions d’un test commercial réel.

La qualité de l’expérience commence ainsi par la qualité de sa mesure.