Qu’est ce que l’A/B Testing en Data science ?

Le test A/B consiste à comparer l’efficacité de deux versions d’un même contenu auprès des utilisateurs. L’objectif est de déterminer la version d’une application, d’une page web, d’un e-mail… qui génère le plus de trafics web. On y présente la version originale ou la « version de contrôle » et la version modifiée.

Cela permet d’évaluer la pertinence d’une amélioration et son incidence sur le comportement des utilisateurs. En principe, l’efficacité d’une nouvelle version devrait se traduire par une meilleure expérience utilisateur et l’amélioration du taux de conversion.

La préparation de la base des données

Traitement des données

Disposer d’une base de données fiable et consistante est indispensable avant d’effectuer un A/B test. Cela garantit la précision des résultats et la pertinence des interprétations. Il faut donc procéder à la consolidation, à la correction, voire à l’élimination, des données altérées ou non pertinentes.

En outre, des données récemment mises à jour garantissent la fiabilité des résultats. En effet, le comportement des utilisateurs évolue constamment et les statistiques sont fluctuantes d’une période à une autre. Des données mises à jour facilitent notamment le choix du public cible. Il pourrait s’agir des prospects, des utilisateurs actuels… Cette étape est aussi importante que l’échantillonnage.

La version de contrôle

Il faut bien cerner les performances de la version de contrôle avant de procéder au test A/B. Le taux de conversions des pages web ou des campagnes publicitaires payantes servira de référence dans l’analyse des résultats. Bien connaître les caractéristiques de la version A tient son importance dans la suite du processus. Il permet d’identifier les points à améliorer et les points forts à capitaliser pour booster les trafics sur un site.

Ajustement du logiciel de test

Afin de garantir la fiabilité des résultats, il est important de s’assurer de l’homogénéité du comportement du public cible. Il arrive aussi que le logiciel utilisé pour le test influence le processus. Un test A/A est ainsi nécessaire afin d’anticiper de telles éventualités. Il consiste à présenter de manière séparée la même page afin d’observer le comportement des utilisateurs. En principe, les résultats devraient être similaires. En cas d’écart significatif, un ajustement dans la base de données ou du logiciel de test s’avère indispensable.

La fiabilité

des résultats du test A/B

Indice de confiance

Les résultats du test présentent aussi un « indice de confiance » ou un « niveau de confiance ». Il indique la fiabilité des résultats d’un test A/B. Il tient compte de la représentativité statistique du test et évalue la probabilité que les résultats se reproduisent dans la réalité. Il faut en général un indice de confiance supérieur ou égale à 95% pour garantir la fiabilité du texte.

Puissance statistique

Concernant la durée du test, elle dépend de la taille de l’échantillonnage. En général, il faut au moins trois semaines pour valider les résultats d’un test A/B doit. Cette durée minimale permet en effet de lui donner une puissance statistique supérieure ou égale à 80%.

Plusieurs facteurs déterminent la puissance statistique d’un test A/B :

  • La taille de l’échantillon constitué par le nombre de visiteurs. Plus les trafics sont importants, plus le test est fiable.
  • L’écart entre les taux de conversions de la version de contrôle et la version B. Si l’écart entre les deux versions est faible, il faut disposer d’un échantillon plus important.
  • La représentativité statistique.

Interprétation

des résultats du test A/B

Hypothèse nulle

L’interprétation des résultats permet de tirer profit du test et d’évaluer la pertinence de l’amélioration du dispositif actuel. Il arrive que les pages A et B enregistrent à peu près la même performance. Dans ce cas, la modification d’un support marketing ou d’une page n’a aucun impact sur le comportement des utilisateurs. On parle alors d’hypothèse nulle ou H0.

Hypothèse alternative

En revanche, il s’agit d’une hypothèse alternative si la Page B enregistre un taux de conversion supérieure à celle de la page A. Autrement dit, la modification d’une ou plusieurs variables a incité les utilisateurs à passer à l’action.

Prenons l’exemple de la modification de la taille du bouton

d’appel à l’action. L’hypothèse est nulle si elle n’a aucune incidence sur le

taux de clics. Par contre, il s’agit d’une hypothèse

alternative si la page B enregistre un taux de clics supérieur à celui de la version de contrôle.

Une hypothèse nulle ne signifie aucunement l’échec du processus de

dynamisation de fréquentation d’un site. Au contraire, elle écarte des pistes

et réduisent les possibilités.

Cas pratique

Quelle que soient leurs activités, toutes les entreprises présentent sur le Web peuvent utiliser les tests A/B pour améliorer les trafics sur leur site. Les entreprises B2C qui vendent leurs produits en ligne ont intérêt à tester deux versions différentes d’un appel à l’action. Cela permet de confirmer ou d’écarter des pistes pour améliorer les taux de clics.

Les entreprises B2B ont aussi intérêt à faire appel au test A/B pour dynamiser leurs activités. Elles peuvent notamment tester leurs mails de prospection pour trouver la formule qui génère le plus de conversions.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.

Pin It on Pinterest