Aperçu du projet

Dans ce projet, il s'agit d'un réel essai. Le nombre spécifique a apporté des modifications, mais le mode n'a pas changé. Vous devez transformer les expériences en une conception de définition complète, analyser les résultats et fournir une expérience de suivi de haut niveau.

Pourquoi ce projet?

Dans ce projet, vous devez décider comment effectuer un test A / B et analyser les données des résultats du test. Ce sont des compétences importantes requises pour les conclusions des essais en ligne.

Que feriez-vous apprendre?

Après avoir terminé ce projet, vous serez en mesure de:
Sélectionnez l'indicateur approprié pour évaluer les modifications que vous souhaitez mettre en œuvre et vérifier ces indicateurs en fonction des éditeurs de citations et de risques attendus, des tests planifiés. Il est temps de vérifier complètement la Résultats, assurez-vous que tous les résultats seront conclus de conclusivement, qu'il soit recommandé de mettre en œuvre la modification
Commençons:

Vue d'ensemble du test

Lorsque vous effectuez ce test, il existe deux options sur la page d'accueil d'une page d'éducation: «Essai gratuit» et «cours d'accès». Si l'étudiant clique sur "Démarrer l'essai gratuit", le système leur demandera de saisir la carte de crédit, puis entrez l'essai gratuit du cours de paiement. Après 14 jours, ils seront automatiquement facturés, à moins qu'ils annulent le procès avant la fin de cette période. Si les élèves cliquent sur "Accès au matériel de cours", ils seront en mesure de faire de petits tests gratuitement, mais ils ne recevront pas de tuteur pour guider ou vérifier les certificats, et ils ne peuvent pas soumettre l'élément final pour obtenir des commentaires.

Dans cet essai, la page Web teste un changement. Si vous cliquez sur "Démarrer l'essai gratuit", le système posera combien de temps ils ont mis dans ce cours. Si les étudiants disent 5 heures ou plus par semaine, ils seront connectés conformément aux procédures régulières. S'ils représentent moins de 5 heures par semaine, un message apparaîtra que le cours de Youda School nécessite généralement plus de temps pour investir avec succès et il est recommandé que les étudiants puissent accéder gratuitement aux informations sur le cours. Choisissez ici de poursuivre l'essai ou gratuitement d'accès aux informations de cours.

Test Hypothesis

Notre hypothèse est la suivante: cela prédéfinir une attente claire pour les étudiants, réduisant ainsi le test gratuit car il n'y a pas assez de temps. Apprendre, et Par conséquent, les étudiants frustrés et ne réduiront pas de manière significative le nombre d'élèves qui continuent à examiner et finalement des cours. Si cette hypothèse est enfin vraie, Yida School améliorera l'expérience générale des étudiants et améliorera le mentor pour fournir un soutien aux étudiants qui peuvent terminer le cours.
Conception de test

Sélection de l'indicateur

répertorie les indicateurs constants et les indicateurs d'évaluation que vous utiliserez dans le projet. Pour chaque indicateur, expliquez pourquoi vous utilisez ou ne l'utilisez pas comme indicateur constant ou indicateur d'évaluation. De plus, quel type de résultats de test attendez-vous des indicateurs d'évaluation. 1. Le nombre de cookies: c'est-à-dire le nombre de cookies: Voir le nombre de cookies uniques de la page d'aperçu du cours. (DMIN = 3000)

Cookie est généré lors de l'ouverture d'une page d'aperçu du parcours, et l'événement expérimental est après l'occurrence, le groupe expérimental et le groupe de contrôle sont donc cohérents.

□ Clics: Vous cliquez sur le bouton "Démarrer l'essai gratuit" (avant l'écran d'essai gratuit, cela se produira avant l'écran d'essai gratuit. " (DMIN = 240) Cliquez sur le bouton "Démarrer l'essai gratuit" pour se produire avant l'expérience et que le nombre de cookies n'est pas affecté par l'expérience, le groupe expérimental et le groupe témoin sont théoriques. Cohérents.

□ Cliquez sur la probabilité de cliquer sur le cookie unique du bouton "Démarrer l'essai gratuit" pour supprimer le résultat du cookie unique de la page d'aperçu du cours. (DMIN = 0,01)

Comme mentionné théoriquement, il est constant.

2. Indicateurs d'évaluation

□ Conversion totale: Nombre d'ID utilisateur connectés et inscrivez-vous à l'essai GRATUIT pour cliquer sur le résultat du cookie unique. du bouton "Démarrer l'essai gratuit". (Dmin = 0,01)

Augmenter la page d'astuce peut affecter le nombre d'ID utilisateur connectés et inscrivez-vous à l'essai gratuit, puis cliquez sur le cookie unique du bouton "Essai gratuit". L'indicateur constant, par conséquent, le ratio de conversion total est le problème de notre recherche test A / B, idéale pour les indicateurs d'évaluation.

Résultats attendus: diminution. L'attente d'expérience est réduite car il n'y a pas assez de temps pour laisser des essais libres et donc frustré, le nombre d'élèves diminuera, le dénominateur ne change pas, de sorte que l'attente totale de conversion est réduite.

□ Taux de stockage: le nombre d'ID utilisateur qui reste assisté (et au moins un paiement) après 14 jours de division de temps est divisé en identifiant d'achèvementLe nombre d'ID utilisateur. (Dmin = 0,01) Augmente la page d'invite, qui est un bon indice d'évaluation pour faire face à la proportion d'utilisateurs qui complètent l'essai gratuit, constitue un bon indice d'évaluation; Résultats attendus: augmenter grandement. Les expériences s'attendent à ce que la constante de molécule, c'est-à-dire le nombre d'identifiants d'utilisateur

qui restent partis (et au moins un paiement) après 14 jours d'essai gratuit; le dénominateur est réduit, c'est-à-dire l'abonné

Le nombre d'identifiants est réduit, de sorte que le taux restant augmentera.

□ Conversion nette: le nombre d'ID utilisateur a toujours participé à (et au moins un paiement) après la fin de la période de 14 jours, divisé en cliquant sur la quantité "Démarrer l'essai gratuit" de la quantité. résultat du résultat. (Dmin = 0,0075)
Augmente la page d'invite peut affecter le nombre d'ID utilisateur de la paiel, cliquez sur le bouton "Démarrer l'essai gratuit" du nombre de cookies uniques. L'indicateur de constante est donc de sorte que la conversion nette est deux la Le ratio est très approprié comme indicateur d'évaluation.

Résultats attendus: constante. Les expériences s'attendent à ce que même s'il n'y ait pas assez de temps pour laisser des essais libres, et donc frustré, le nombre d'élèves ne réduira pas la continuation de la continuation par le biais d'essais gratuits et d'achèvement final. Le nombre d'étudiants dans le cours.
3. Indicateur non disponible
□ Numéro d'identification de l'utilisateur: Nom, pour participer à la quantité d'essai gratuite. (DMIN = 50)
Non approprié comme indicateur constant, ni un bon indicateur d'évaluation. Une fois que l'ID utilisateur a lieu après l'expérience, voyons la page d'invite avant de sélectionner si vous souhaitez enregistrer, de sorte que le nombre d'ID utilisateur dans le groupe expérimental et le groupe de contrôle puisse être affecté par l'expérience elle-même, de sorte qu'il ne convient pas en tant que Indicateur invariant. Il ne convient pas non plus comme indicateur d'évaluation car si l'ID utilisateur du groupe expérimental et le groupe de contrôle change, il est possible car le nombre de cookies générés par la maison de navigation est déjà différent, non seulement parce que l'expérience est amenée par le changements, car il ne convient pas à l'utilisation d'évaluer l'effet de l'expérience.

Déviation type de mesure

répertorie l'écart type de chacun de vos indicateurs d'évaluation.
Pour chaque indicateur d'évaluation, si vous envisagez si l'estimation de l'analyse et la variation empirique est similaire ou différente (si différente, il y aura des estimations nécessaires dans le cas du temps). Expliquez brièvement la raison de chaque situation.

REMARQUE: Formule de calcul de l'écart type:SQRT (P * (1-P) * 1 / N)

□ Conversion totale: p = 0,20625 (connu), N = 5000 * 0,08 = 400 SD = SQRT (P * (1-p) * 1 / n) = sqrt (0,20625 * (1-0.20625) * 1/400) = 0,0202 La conversion totale est le nombre de cookies en tant que dénominateur, et le cookie est transféré encore. Unité. L'unité de transfert est égale à l'unité d'analyse, indiquant que l'estimation de l'analyse et la variation empirique n'est pas grande.

□ Taux de stockage: p = 0,53 (connu), n = 5000 * 0,08 * 0,20625 = 82.5

SD = SQRT (P * (1-P) * 1 / N) = SQRT (0.53 * (1-0.53) * 1/82.5) = 0.0549

Le taux de vente au détail est le nombre d'ID utilisateur en tant que dénominateur, et le cookie est une unité de transfert. L'unité de transfert est différente de l'unité analytique, indiquant qu'il existe une différence dans l'analyse de la différence entre l'estimation et la variation empirique.

□ Conversion nette: p = 0,1093125 (connu), n = 5000 * 0,08 = 400

SD = SQRT (P * (1-P) * 1 / N) = SQRT (0.1093125 ) * 1/400) = 0,0156
La conversion nette est le nombre de cookies en tant que dénominateur, et le cookie est une unité de transfert. L'unité de transfert est égale à l'unité d'analyse, indiquant que l'estimation de l'analyse et la variation empirique n'est pas grande.

Utilisez-vous Bonferroni pour corriger la phase d'analyse et donner aux pages nécessaires à la conception correcte de l'expérience . Vu.

n'utilise pas la correction de BONFERRONI;

Étant donné que la conversion totale et le taux de conversion net de ce test ne sont pas indépendants, mais associés à la correction de BONFERRONI feront les résultats du test sont trop conservateurs.

L'échantillon est calculé par la calculatrice en ligne (http://www.evanmiller.org/ab-testing/sample-size.html) (α = 0,05, β = 0,2), taux de conversion de base d'entrée et valeurs d'effet détectables minimales pour calculer les vues de page du groupe expérimental, multiplierTotal de la page Vue:

□ Conversion totale:
Taux de conversion de base = 20,625% (connu)

effet détectable minimum = 1% (connu)
= 80%

α = 5%

Numéro d'échantillon = 25835
Page du groupe de test Navigation Quantité = 25835 / 0.08 = 322938

Nombre de pages = 322938 * 2 = 645875

□ Taux de stockage:

Taux de conversion de base = 53% (connu)

effet détectable minimum = 1% (connu)
β = 80%
α = 5%
Numéro d'échantillon = 39115
Page du groupe de test Navigation Quantité = 39115 / 0,08 / 0.20625 = 2370606
Nombre de navigation = 2370606 * 2 = 4741212
□ Conversion nette:

Taux de conversion de base = 10,93125% (connu)

Effet détectable minimum = 0,75% (connu)

α = 5%

Numéro de l'échantillon = 27413

Page du groupe de test Quantité de navigation = 27413 / 0.08 = 342663

Total Page Navigation Quantité = 342662.5 * 2 = 685325

prend de l'indice d'évaluation ci-dessus La valeur maximale, toutefois, le numéro total de la page requis pour le taux retenu atteint 4,74 millions. Pour la navigation normale 80 000, ce nombre est requis pour plus de 100 Jours, le temps est trop long et le crochet abandonnera cet indicateur d'évaluation. À partir des vues de page requises par la conversion totale et la conversion nette, le nombre d'échantillons dont les besoins finaux sont 685325.

Échelle de la durée et de la BLEAM

Voulez-vous transférer la circulation de la page sur ce test et combien de jours avez-vous besoin de venir? Test d'opération.

La raison pour laquelle vous choisissez la partie de flux de transfert. Vous pensez que ce procès estQuelle est la taille du site Web?

Période expérimentale: 21 jours

Le rapport d'exposition détermine que le cycle d'expérimentation peut être déterminé, tandis que l'exposition Le ratio est principalement des risques expérimentaux et une évaluation approfondie du cycle d'expérimentation pour déterminer.

À propos des risques:

Ø Cette expérience n'augmente que la page d'invite, demandez si l'utilisateur a 5h ou plus de temps par semaine, ce ne sera pas dans l'étude du cours et ne sera pas en bonne santé. et social, il n'y a pas d'effet défavorable sur l'économie, il n'ya donc plus de "risque le plus faible".

Ø Le temps d'entrée recueilli est également avant l'enregistrement de l'utilisateur, il n'y a donc pas d'informations utilisateur, et les données n'entraînent pas d'autres aspects de la santé et n'appartiennent pas à des données sensibles
Ø Expérimentez la page d'invite, l'utilisateur peut toujours choisir de poursuivre l'enregistrement et l'essai gratuit, n'affectant pas les droits de l'utilisateur

Ø Expérience n'implique pas de modifications dans la base de données Web. Le risque est donc aussi très faible de ce niveau.

À propos du cycle expérimental:
Si vous choisissez 50% de l'exposition, 40 000 brows de vues ont été calculés pendant 35 jours
Ø si vous choisissez une exposition à 100%, vous avez Demandez à chaque jour 40 000 Calculs de navigation, prenez 18 jours pour compléter une expérience

Considérant le cycle d'expérimentation, j'ai choisi 0,85 exposition, le cycle d'expérimentation requis est de 21 jours.

Analyse des tests

Pour chaque indicateur constant, la valeur et l'indicateur de l'observation et des indicateurs réels ont des conclusions par inspections de rationalité.
Pour une inspection raisonnable, vous ressentez la raison la plus probable en fonction des données quotidiennes. Ne démarrez pas d'autres travaux d'analyse avant tous les contrôles raisonnables.
□ Numéro de cookie

Numéro de groupe de contrôle NCONT: 345543

Nombre de pages du groupe d'expérimentation NEXP: 344660

Total Page Vues: 345543 + 344660 = 690203 Probabilité de groupe de contrôle PCONT = NCONT / (NCONT + NEXP) = 0.5006

Probabilité de groupe expérimental PEXP = NEXP / (NCONT + NEXP) = 0,4994 Probabilité de la distribution théorique de biscuits P: 0.5 SE =Sqrt (p * (1-p) / n) = sqrt (0,5 * 0,5 / 690203) = 0,00060184

m = 1,96 * SE = 0,001179608

L'intervalle de confiance est = [0.5- M, 0.5 + M] =

Dans l'intervalle de confiance

□ clics
Page du groupe de commande Numéro XCont: 28378

Numéro de page total XEXP: 28325

Vues de page Total: 28378 + 28325 = 56703
Probabilité de groupe de contrôle PCONT = XCont / XCont + xexp) = 0.5005
Probabilité de groupe expérimental PEXP = XEXP / (xcont + xexp) = 0,4995
Probabilité de la répartition théorique de biscuit P: 0.5
SE = SQRT (P * (1-P) / N) = SQRT ( 0,5 * 0.5 / 56703) = 0.00209975
M = 1,96 * SE = 0,004115504
L'intervalle de confiance est = [0,5-m, 0,5 + m] = [0,4959,

PCONT dans l'intervalle de confiance

par rationalité

□ Probabilité du point

Groupe de contrôle Cliquez sur PROBABILITE PCONT: 0.082125814

Cliquez sur Probabilité PEXP: 0.082182441

Fusion PPOOL = (xcont + xexp) / (NCONT + NEXP) = 0.082154091

Groupe expérimental et groupe de contrôle CLIQUE Différence de probabilité D = PEXP-PCONT = 0,08218244182441-0.082441-0.08182441-0.08182441-0.08182441-0.0821256

Groupe de contrôle et groupe expérimental Théorique Clic Différence de probabilité D = 0
SEPOOL = SQRT (PPOOL * (1-PPOOL) / (1 / NCont + 1 / NEXP)) = SQRT (0.08215) / (1/345543 + 1/3444660) = 0.000661061
M = 1.96 * SEPOOL = 0,0013
L'intervalle de confiance est = [0-m, 0 + m] = [-0,0013,
D

est cochée [Les résultats ont été analysés

Test de taille d'effet

Pour chaque indice d'évaluation, la différence entre le test et le groupe témoin a donné un intervalle de confiance de 95%. Expliquez si chaque indicateur a une signification statistique et réelle. (Celles-ci devraient être une réponse du "test de taille d'effet" de petit test.)

□ Total Conversion
Control GROUP CLOCKS Cliquez sur NCONT = 17293
CLIQUE D'EXPERIFIMENT CLIQUES Cliquez sur NEXP = 17260

Inscrit de groupe de contrôle Cliquez sur Quantity xcont = 3785

Les inscriptions de groupe expérimentales clics xexp = 3423

Groupe de contrôle Probabilité de conversion totale PCont = xcont / ncont = 3785/17293 = 0.2188

Probabilité totale de transformation du groupe expérimental total Peexp = xexp / xcont = 0,1983

Fusion PPOOL = (xcont + xexp) / (ncont + NEXP) = (3785 + 3423) / (17293 + 17260) = 0,2086

Différence de probabilité de conversion totale entre le groupe expérimental et le groupe de contrôle D = PEXP-PCONT = 0.1983-0.2188 = -0.0205

Erreur de fusion:

Sepool = sqrt (ppool * (1-ppool) / (1 / ncont + 1 / nexp)) = SQRT (0,2086 * (1-0.2086) / (1/17293 + 1/17260) = 0,0044
M = 1.96 * SEPOOL = 1,96 * 0,0044 = 0,0086
Intervalle de confiance = [- 0.0205-0.0086, -0.0205 + 0,0086] = [-0.0291, -0.0120]
DMIN = 0,01
]

L'intervalle de confiance n'inclut pas 0, avec une signification statistique;

L'intervalle de confiance n'inclut pas [-Dmin, DMIN], avec une signification réelle

□ Conversion nette
Clics de groupe de contrôle Cliquez sur NCONT = 17293
Clics de groupe expérimental Cliquez sur NEXP = 17260

Inscription du groupe de contrôle Cliquez sur Quantité XCont = 2033

Les inscriptions de groupe expérimentales clics xexp = 1945

Groupe de contrôle Total Probabilité de conversion PCONT = xcont / ncont = 2033/17293 = 0.1176

PEXP = XEXP / XCONT = 1945/17260 = 0.1127

Fusion PPOOL = (XCont + XEXP) / (NCONT + NEXP) = (2033 + 1945) / (17293 + 17260) = 0,1151

Différence de probabilité de différence entre le groupe expérimental et le groupe de contrôle D = PEXP-PCONT = 0.1127-0.1176 = -0.0049

Fusion Erreur:

SEPOOL = SQRT (ppool * (1-ppool) / (1 / ncont + 1 / NEXP)) = SQRT (0,1151 * (1-0.1151) / (1/17293 + 1/17260) = 0,0034

M = 1.96 * SEPOOL = 1,96 * 0,0034 = 0,0067

Intervalle de confiance = [- 0.0049-0.0067,
-0,0049+ 0,0067] = [-0.0116, 0,0019]

DMIN = 0,0075

L'intervalle de confiance comprend 0, n'a pas de signification statistique;
L'intervalle de confiance contient [-DMIN, DMIN] n'a pas de signification réelle

Pour chaque indice d'évaluation, les données quotidiennes sont symbolisées, puis la valeur P de la vérification du symbole et le résultat est statistiquement significative. Sexe.

Numéro de réussite: 4
Tests: 23
Probabilité: 0,5
Double queue P Valeur P: 0.0026
La valeur Double queue P 0,0026 est inférieur au niveau alpha 0,025, qui a une signification statistique
□ Net de conversion
Numéro de réussite: 10
Test Nombre de fois: 23
Probabilité: 0,5
Double queue P valeur p: 0.6776

La valeur p à double queue de 0,025 est supérieure au niveau alpha 0,025, n'a pas de signification statistique

Résumé

Utilisez-vous une correction de BONFERRONI? Et expliquer la raison. S'il y a une différence entre l'inspection d'hypothèse de taille d'effet et le test de symboles, la différence est la raison pour laquelle vous pensez que la différence est causée.

n'utilise pas la correction de BONFERRONI

car la conversion totale et le taux de conversion net de cet essai ne sont pas indépendants, mais associés à la correction de Bonferroni feront le résultat du test trop conservateur.

Recommandation

fournit des conseils et explique brièvement votre raison.

Non recommandé pour lancer le test

Ø La conversion totale a une signification statistique et réelle et l'intervalle de confiance est

-0.0291, -0,0120], à la fois inférieur à 0 , Test illustré Cela répond aux attentes du test car il n'ya pas assez de temps pour laisser des essais gratuits.

Ø Le taux de conversion net n'a pas de signification statistique et réelle, mais son intervalle de confiance

-0,0116, 0,0019] inclut des nombres négatifs, manifestés comme une direction négative et la limite inférieure dépasse la réelle inférieure. limite. Le niveau de confiance est de 95%, c'est-à-dire un taux de conversion net de probabilité de probabilité de fortes probabilités, et une certaine réduction de la probabilité de conversion nette dépassant la signification réelle de 0,0075.

Par conséquent, il n'est pas recommandé, non recommandé.