Il est très populaire dans le site Web de commerce électronique AB, l'un des cas classiques combinant du code statistique et du programme. Malgré tout, il reste encore beaucoup d'endroits pour apprendre et faire attention.

Test A / B utilisé pour vérifier l'effet de révision de la page (vues de page, vitesse d'enregistrement, etc.), le test doit être effectué, le test du groupe de contrôle est l'ancienne version du Site Web, le groupe expérimental est la version du site Web, les expériences doivent également choisir un indicateur pour mesurer la participation de chaque groupe, puis déterminer l'effet de la version mieux basé sur les résultats du test.

À travers ces tests, nous pouvons observer tout changement pouvant maximiser les indicateurs. Le type de changement est utilisé très large et modifie les grands éléments augmentés et ces modifications peuvent être utilisées. Vérifier.

II. Contexte

En cas de cette étude, nous analyserons le test A / B CHo Plate-forme éducative "Aucune analyse de réseau se vante" des résultats de.

Ce qui suit est un modèle d'entonnoir du site Web de la Société:

Parcourir Home & GT; Parcourez la vue d'ensemble du cours (cours de maison) & GT; Cours d'inscription & GT; Complétez et complétez le cours

Modèle d'entonnoir Plus profond, plus il sera perdu et il existe très peu d'utilisateurs qui peuvent participer à la scène en dernier.

Pour améliorer la participation, améliorer le taux de conversion entre chaque étape, essayez de faire des modifications et de tester A / B du changement, nous analyserons les vérifications pertinentes de résultats, par conséquent, suggérez si la page est modifiée.

Comme l'utilisation de Python utilise un test A / B dans chaque ensemble de données, nous affichons uniquement le processus de test A / B de la page d'accueil du cours et le reste de la page fournie. Tout le monde joue un rôle d'exercice.
3. La lutte réelle de Pithon

horodatage: Temps de navigation
ID: ID utilisateur

Groupe: Les utilisateurs appartiennent à

Action: Comportement de l'utilisateur, View - Navigation Web uniquement; Enregistrez-vous - Parcourir et registre
Durée: Lorsque vous affichez l'interface (plus longtemps, vous pouvez être plus intéressé, vous inscrire davantage) import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsplt.rc('font',**{'family':'Microsoft YaHei, SimHei'}) # 设置中文字体的支持# 实现 notebook 的多行输出from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity ='all' #默认为'last'course = pd.read_csv('course_page_actions.csv')course.info(); course.sample(5)

2. Analyse du signe du rapport d'affichage

TLB: Le fait de cliquer sur le tarif est généralement le rapport du nombre de hits et de la navigation. Étant donné que le site utilisera des cookies, nous pouvons confirmer un utilisateur distinct pour vous assurer que la vitesse de clic du même utilisateur n'est pas répétée.

Pour effectuer cette expérience, nous déterminons le débit de clics:

TLB: les utilisateurs sont séparés par un utilisateur numérique / utilisateur unique
Remarque: vous pouvez Utilisez la fonction nunique () dans Pandas pour compléter rapidement

L'équipe de test a un mode de calcul similaire et des résultats.L'analyse est la suivante:

Selon les données existantes, nous spéculons souvent ne constitueront pas une nouvelle interface pour attirer les utilisateurs pour rester et naviguer, pour parcourir le temps des utilisateurs plus longs que le cours d'enregistrement est plus probable.

3. Analyse de l'heure de navigation

Visualisation

Ici, nous allons faire des séblés en combinaison avec la formule de marquage. Données visuellement rapides et puissantes

Analyse des résultats:

Le taux d'enregistrement de la nouvelle interface a été amélioré et le côté long du navigateur est vrai

le temps de navigation moyen de Le groupe de test est d'environ 15 minutes plus élevé que le groupe témoin et la variance n'est pas grande.

Pour que nous puissions évaluer la page d'accueil pour modifier les utilisateurs d'utilisateurs plus attractifs, le suivi sera supposé vérifier pour vérifier nos suppositions


4. Assumant test ]

Nous ferons un test d'hypothèseÀ partir de chaque groupe de contrôle et des groupes de test, ci-dessous est l'expérience de sélection de α:

La quantité d'échantillons est trop grande, le niveau α n'a pas de sens. Pour que les échantillons d'échantillons de l'hypothèse sont plus raisonnables, nous pouvons utiliser un échantillon de classe. Python n'a pas de bibliothèque ou de fonction produite prête, vous pouvez utiliser les roues de la personne précédente.


Parce qu'en général n'est pas connu de cela, nous pouvons utiliser deux tests T indépendants. En fait, le test de l'échantillon à double échantillon peut également atteindre le même effet


Il n'est pas difficile de constater que, parfois, la vérification de la double Z peut également être obtenue deux échantillons indépents indépendants.
from mysampling import get_sample# df: 输入的数据框 pandas.dataframe 对象# sampling:抽样方法 str ## 可选值有 ["simple_random","stratified","systematic"] ## 按顺序分别为: 简单随机抽样、分层抽样、系统抽样 # stratified_col: 需要分层的列名的列表 list，只有在分层抽样时才生效# k: 抽样个数或抽样比例 int or float ## (int, 则必须大于0; float,则必须在区间(0,1)中) ## 如果 0< k <1, 则 k 表示抽样对于总体的比例 ## 如果 k >=1, 则 k 表示抽样的个数；当为分层抽样时，代表每层的样本量data =get_sample(df=course, sampling='stratified', stratified_col=['group'], k=300)data.sample(4); data.info()
Résumé, nous refuserons l'assaut de zéro, accepterons cette hypothèse selon laquelle "naviguer sur la nouvelle interface de manière significative différemment de la vieille interface (supérieure)".
4. L'absence de tests Mais le test A / B était également déficient. Bien que le test puisse vous aiderComparez deux options, vous ne pouvez pas vous dire que vous n'en avez pas pensé. Lors de la vérification de l'ancien utilisateur, le niveau de résistance de la psychologie et de nouveaux effets peut entraîner de défliger les résultats des tests. Refuser de changer de psychologie: les anciens utilisateurs peuvent aimer les anciennes versions, car ils n'aiment pas changer, même s'ils regardent la nouvelle version pendant une longue période. Nouvel effet: Les anciens utilisateurs peuvent se sentir très frais, attirer de nouvelles versions, même s'il semble être une version à long terme. Par conséquent, dans la conception du test A / B, de nombreux facteurs doivent être pris en compte sur la base des résultats des tests. Certaines considérations générales sont résumées: La première expérience de l'ancien utilisateur aura un nouvel effet et modifiera la résistance; Obtenir des résultats fiables fiables, il y a suffisamment de débit et de taux de conversion; Pour prendre les meilleures décisions, vous devez choisir le meilleur indicateur (tel que le taux de revenus par rapport au taux de clic); Doit être suffisant tTemps de test d'accueil pour expliquer les changements de comportement causés par l'incident de jour / semaine / trimestre; La conversion proportionnelle doit avoir un guide pratique (le résultat de la hausse de l'augmentation des nouveaux facteurs); Les sujets de test du groupe témoin et le groupe de test sont cohérents (le nombre de modèles des deux groupes fera le paradoxe de Simpson. "Est arrivé). finirFini. Source: Données sans se vanter Cet article est autorisé à autoriser, si vous avez besoin de réimprimer, veuillez contacter l'auteur