Comment améliorer ses taux de conversion avec les données et les nouveaux algorithmes?
L’A/B testing remporte un vif succès, porté par l’approche Test & Learn. Des solutions SaaS innovantes, en redonnant la main aux équipes marketing, ont démocratisé la pratique et l’ont rendue accessible à tous, sans nécessiter de connaissance technique.
Cette simplicité de mise en œuvre ne doit pas faire oublier les implications statistiques de la pratique. Au-delà de modifier aisément les pages d'un site, l’A/B testing est avant tout un outil d’aide à la décision. Il vient valider, ou non, une hypothèse de test en appliquant aux données collectées une mesure de fiabilité statistique. Il est important de connaître avec certitude si les différences de résultats ne sont pas dues au hasard, mais bien aux modifications apportées. Or, certains utilisateurs doutent de la fiabilité de ces résultats, car ils ne les constatent pas toujours une fois les modifications «gagnantes» en place.
Ces doutes viennent en partie d’une mauvaise compréhension des tests statistiques menés par leur solution et de la signification de ces résultats. Sans être expert en statistiques, il est facile de mal interpréter les indicateurs fournis. Mais surtout, beaucoup de solutions se reposent sur des approches statistiques qui se contentent d'identifier l'existence d'une différence entre une variation A et une variation B, sans en qualifier l'ampleur. Elles ne répondent pas à la question fondamentale qui intéresse le responsable marketing : quel est le gain de passer de la version A à la version B ?
Malheureusement, les utilisateurs font souvent l'amalgame entre la réponse à cette question légitime et le pourcentage d'amélioration que les solutions affichent et qui ne s'avère être qu'un ratio de taux de conversion mesurés à un instant T.
Les statistiques bayésiennes en appui de votre prise de décision
Une plateforme comme AB Tasty traite ce problème grâce à des approches plus poussées issues des statistiques Bayésiennes (d'après les lois de Thomas Bayes, britannique du XVIIIe siècle ndlr) qui offrent une prise de décision plus sûre en limitant le risque de faux positifs (déclarer une variation comme meilleure alors qu’elle ne l’est pas). Ces statistiques mesurent conjointement l’incertitude de ce que vous allez abandonner avec la variation A et l’incertitude de ce que vous obtenez avec la variation B. En ayant une vision précise des gains, sous forme d'intervalle de confiance, vous prenez vos décisions en connaissance de cause. Vous pouvez décider d'arrêter un test dès que le gain est strictement positif ou attendre de collecter plus de données pour réduire l'incertitude si l'intervalle de confiance est trop large. C’est indispensable pour les modifications dont le coût est substantiel et qui font l'objet d'un arbitrage ROIste.
L’approche bayésienne apporte indéniablement une aide précieuse à la prise de décision, mais intrinsèquement un test A/B représente toujours un coût d’opportunité. Le temps de collecter l’information pour déterminer la meilleure variation, vous envoyez une partie de votre trafic vers une variation qui n’est pas optimale. Cela se traduit inévitablement par des pertes de conversions. L’approche bayésienne, si elle ne répond pas directement à cette problématique, pose néanmoins un cadre statistique suffisamment flexible et précis sur lequel d’autres algorithmes vont pouvoir s’appuyer
Multi-Armed Bandit (ou comment sécuriser ses campagnes de tests)
Une approche pour réduire le regret lié au test (son coût d’opportunité) consiste à allouer dynamiquement le trafic à chaque variation, plutôt que de manière uniforme comme dans un test A/B. Avec un test classique, une longue période de test évalue les différentes variations en y affectant le même volume de trafic (allocation uniforme pendant la phase d’exploration, celle où on collecte l’information). Une fois la meilleure variation identifiée, l’information est utilisée en envoyant 100 % du trafic vers celle-ci. C’est la phase d’exploitation.
Avec l’allocation dynamique de trafic, le trafic est modulé pour envoyer plus de visiteurs vers les variations qui ont l’air d’être les meilleures. Il s’agit d’un compromis exploration/exploitation. La phase d’exploration consiste à envoyer du trafic vers une variation qui n’est apparemment pas la meilleure, mais qui pourrait peut-être l’être, car on sait que les premières mesures sont imprécises. La phase d’exploitation consiste, elle, à envoyer du trafic à ce qui semblerait être pour le moment la meilleure variation. Toute la difficulté consiste à trouver le bon compromis entre ces 2 objectifs opposés : ne pas faire trop d’exploration au risque de se retrouver avec un test A/B classique, et ne pas faire trop d’exploitation au risque de toujours envoyer le trafic à une variation qui n’est peut-être pas la meilleure et se retrouver avec un résultat final faux !
Plusieurs méthodes permettent d’approcher ce compromis idéal, mais celle dite de «Thompson Sampling» s’avère être la plus performante et la moins risquée. C’est celle utilisée par AB Tasty qui sur plusieurs milliers de tests menés a constaté que l’allocation dynamique réduisait le regret d’environ 25 %, soit ¼ de conversions gagnées par rapport à un test A/B classique.
Le rôle majeur des statistiques dans les tests A/B devrait maintenant vous paraître évident. Celles-ci peuvent doper votre pratique de l’A/B testing ou au contraire la «saboter». Libérer vos équipes marketing des contraintes techniques pour créer leurs tests est une chose, encore faut-il que votre solution ne vous induise pas en erreur ou ne vous fasse pas prendre de décisions dommageables à votre rentabilité.
Les nouvelles approches statistiques évoquées ci-dessus ont été développées par des experts avec pour ambition de bénéficier directement à des non-initiés dont les priorités sont avant tout business. En ayant accès à des informations précises, exhaustives et interprétables sans avoir un diplôme de statisticiens, vous êtes réellement autonomes, aussi bien dans la mise en place des tests que dans leur exploitation.
[Contenu proposé par AB Tasty]
Anthony Brebion est le Responsable Marketing d'AB Tasty, Après avoir travaillé en régies publicitaires et agences digitales sur des problématiques d'acquisition de trafic, il rejoint l’éditeur AB Tasty pour participer à l’évangélisation de l’A/B testing, une méthode permettant de valider ses idées d’optimisation et d'améliorer ses conversions, de manière simple et intuitive.
- Gestion financière, quels sont les nouveaux outils qui s’imposent à tous dirigeants et CFO pour piloter leurs activités? - 25/10/2024
- Gestion de contrats d’entreprise: quelles sont les meilleures pratiques à adopter? - 21/09/2024
- NAVAN (ex-TripActions), un pionnier de la gestion des voyages d’affaires qui mise sur l’Europe - 14/09/2023
