Un, quel est le test AB?

Test A / B est une méthode d'optimisation du produit. Deux options pour le même objectif d'optimisation, laissez une partie de l'utilisateur frapper un programme dans la même partie de l'utilisateur et une autre partie du programme Hit B de l'utilisateur Les statistiques et les indicateurs de données de comparaison tels que les hits, les taux de conversion et les indicateurs de données de différents programmes et déterminent la méthode expérimentale du schéma final en déterminant la performance des données par des hypothèses.

Deuxièmement, la signification du test AB? Le test AB est l'outil le plus puissant pour soutenir la décision de données.
Ce qui suit est le processus de pilote de données le plus élémentaire, la vérification du programme est le processus de test AB et l'expérience est la seule norme pour la vérité du test.
Collecte de données
Discovery

• Schéma proposé
• Vérification du programme
• Libération en ligne
Troisièmement, le test AB Les expériences doivent respecter les deux caractéristiques suivantes
1. Simultanée
Deux stratégies sont utilisées simultanément, plutôt que sur la stratégie AB avec succès en ligne, cela aura d'autres facteurs.

2. Homtics

Les groupes d'utilisation correspondant aux deux stratégies doivent être garantis autant que possible. 4, des expériences de test AB
1. Règles d'allocation de la circulation: exclusion orthogonale et mutuelle (1) Expérience orthogonale


Chaque indépendance est une couche, et Un débit sera restructuré de manière aléatoire lors de la traversée de chaque couche d'expériences, garantissant la même quantité de trafic par couche.

(2) Expérience mutuellement exclusive

La déconnexion de la même couche, indépendamment de la scission, le flux de différents groupes ne se chevauchent pas.


(3) Quel est le trafic de distribution orthogonal et mutuellement exclusif? Nous avons juste utilisé le procédé d'allocation de trafic orthogonal, ce qui entraîne le mauvais résultat des données, et si l'expérience utilise la méthode d'allocation de flux mutuellement exclusive pour résoudre ce problème.

AB Essais expériences, deux contenus expérimentaux ou plus interagissent les uns avec les autres, sélectionnez le débit d'allocation de méthode d'exclusion mutuelle, deux ou plusieurs contenus expérimentations n'interagissent pas les uns avec les autres, sélectionnez le trafic d'allocation de méthode orthogonal.


orthogonal: peut sauvegarder le trafic; mutuellement exclusif: le peeling parfait de l'expérience de couplage ne peut être influencé.

(4) Par exemple

Deux expériences sur la page Détails:


L'une est l'expérience de test AB de la couleur du bouton de conversion;
• L'autre est l'expérience Test AB du bouton de transformation Copier.
Que se passe-t-il si nous utilisons le trafic d'allocation orthogonal?
C'est-à-dire que le trafic simultanément dans l'expérience 2, et enfin devant l'utilisateur se trouve comme indiqué ci-dessous, cette situation est incapable de compter des résultats de données précis, car il a violé une variable unique en principe.
Cette utilisation optimale de l'exclusion mutuelle, une partie de l'utilisateur hits expérimenter et un autre utilisateur frappe une expérience.
• 2. Architecture d'expériences de système d'essai AB
• AB Test System Expérience Architecture comprend: Couche d'application - Couche expérimentale - Couche stratégique.
(1) La couche d'application Le niveau de la couche d'application est de préférence orthogonal entre la couche d'application et la couche d'application est orthogonale.

(2) Couche expérimentale

La couche expérimentale est l'application d'une couche de couche et l'écoulement entre la couche expérimentale et la couche expérimentale est mutuellement exclusif.

(3) La couche de stratégie
La couche stratégique est la couche de couche expérimentale et une expérience peut avoir plusieurs stratégies, et le trafic entre plusieurs stratégies ne s'affecte pas. Application: CLIENT DE L'APP;
Expérience: Bouton d'achat Couleur;
Stratégie: rouge, orange.

3. Création d'expériences

Lorsque vous créez une expérience, vous configurez généralement des conditions expérimentales et des indicateurs statistiques

Conditions expérimentales: le système de test AB peut limiter les utilisateurs avec certains critères, ville, grade , nouveaux et anciens utilisateurs, numéro de version, plate-forme (iOS, Android, H5). Ici, nous pouvons compléter complètement le système de portrait de l'utilisateur directement à l'orientation du groupe humain pour faire des expériences de test AB. Portail:

ZEBRA: Portrait de l'utilisateur de l'application à l'application Battle actuelle zhuanlan.zhihu.com/p/79685767

Cette fonctionnalité est principalement destinée aux utilisateurs qui respectent de telles conditions expérimentales, telles que ne satisfont pas ces conditions directement touchées. Politiques par défaut. La stratégie par défaut est que nous sommes vérifiés lors de la création d'une stratégie. Si l'utilisateur ne répond pas à la stratégie de défense, les données générées par ces utilisateurs ne sont pas impliquées dans le calcul, et cela n'affectera pas les résultats expérimentaux.


(1) Ville, grade, nouveaux et anciens utilisateurs
Ces conditions sont très compréhensifs, ce qui signifie que la ville, la note, les nouveaux et les vieux, mais les utilisateurs se connecter peuvent obtenir cette information.
• si définiConditions expérimentales, comment les utilisateurs font-ils dans la non-mise en service?
Utilisateurs des utilisateurs Nous croyons qu'il ne satisfait pas aux conditions expérimentales. Il prendra donc la stratégie par défaut de sorte que certains utilisateurs qui ne respectent pas les conditions expérimentales sont possibles. Toutefois, afin de garantir que le même utilisateur est le même sur la page vue, cette partie de la personne prendra la stratégie par défaut même après la connexion.
Mais tous les utilisateurs non enregistrés, nous jugeons si la différence entre l'heure actuelle et le point de temps qui n'est pas connectée à l'utilisateur est supérieure à deux jours.
Si nous effectuerons plus de deux jours, nous ferons l'expérience, détournera également le téléchargement d'un grand nombre d'utilisateurs de télécharger quotidiennement au test AB, atteignez un état équilibré.

(2) Version applicable

La version ici est la fonction fournie pour le test AB du client.

Par exemple: iOS est dans la version 1.0.1, Android est sur la version 1.0.2 en ligne une expérience de test AB.
Que se passe-t-il s'il ne lie pas le numéro de version? Parce que la version est publiée, l'utilisateur est toujours dans l'ancienne version, à l'exception de la mise à niveau obligatoire. Pour les versions plus anciennes des utilisateurs, ils vont frapper l'expérience, mais ces utilisateurs ne voient pas différentes politiques, elles apparaîtront, le système de test AB est distribué à l'utilisateur une stratégie, mais l'utilisateur voit la politique B et affecte finalement les données. précision.

Le paramètre de numéro de version est compatible, c'est-à-dire que seul ce numéro de version, ou l'utilisateur ci-dessus de cette version peut frapper l'expérience.

(3) Plate-forme
La plate-forme est divisée en trois espèces, qui sont: CLIENT IOS, client Android, JS (H5)


respectivement pour différentes plates-formes, respectivement. AB Test.

Ici, IOS et Android, parlez de H5, car le point enterré de H5 n'est pas le même que celui du client, le seul ID de H5 est différent du client. L'utilisation de l'ID de la scission du client est l'ID de l'appareil. H5 est un indicateur statistique


(1) Après que les deux stratégies d'AB sont en ligne, nous devons suivre l'effet de données. de deux stratégies
La source des données d'effet de ces deux stratégies consiste à fournir un support de données à la navigation et aux boutons de la page. Par exemple, le client a besoin d'expériences de test AB sur le style de bouton d'enregistrement des détails du cours. Lorsque les données sont surveillées, nous devons compter le nombre de personnes entrant dans la page de détails et cliquer sur UV pour compter les UV.
Avec le bouton d'enregistrement UV / Détails Page UV Cette valeur pour compter l'effet de stratégie AB du style de bouton d'enregistrement, puis déterminez l'indicateur statistique lors de la création de l'expérience, déterminez l'indicateur, doit être déterminé.Quels indicateurs point enterrés doivent être nécessaires. Ici, les détails de page UV et le bouton d'enregistrement UV deux événements point enterrés
Il existe également des indicateurs de données plus responsables, mais ils peuvent être signalés par les données enterrées.

(2) Mode de calcul

Supposons qu'un entonnoir contient les cinq étapes de A, B, C, D, E, la plage de temps sélectionnée est du 1er janvier 2015 à 2015 le 3 janvier. La période de fenêtre était de 1 jour. Ensuite, si l'utilisateur déclenche l'étape A le 1er janvier 2015 au 3 janvier 2015, et dans un délai de 1 jour survenu à l'étape A, B, C, D, D, qui sont déclenchés selon l'ordre et considéré comme le utilisateur. Terminé une transformation réussie de l'entonnoir.

Dans ce processus, si d'autres étapes ou comportements sont insérés, par exemple, dans le cas de la satisfaction du délai, la séquence de comportement de l'utilisateur est A & GT; x & gt; B & GT; x & gt; c & GT; D & GT; X & GT; E, X représente tout événement, l'utilisateur est toujours considéré comme une conversion réussie de l'entonnoir.
Si l'utilisateur est dans cette restriction d'événement, A & GT; B & GT; C & GT; E, l'utilisateur ne remplit pas la conversion de l'entonnoir et sera enregistrée comme utilisateur de la circulation de l'étape. C..
Considérant une situation plus complexe, si un utilisateur dispose de plusieurs événements dans la période sélectionnée des événements qui répondent à une certaine définition de conversion, il préférera l'événement plus proche de la cible de transformation finale en tant qu'événement de conversion et le calcul de la transformation est arrêtée au moment de la cible de conversion finale.
En supposant que la définition de l'étape de l'entonnoir est la suivante: accès à la maison, sélectionnez la méthode de paiement, paiement réussi, la séquence de comportement de différents utilisateurs et étapes de conversion réelles (pièces biographiques) sont les suivantes:


Exemple 1: Accès à la maison - & gt; Sélectionnez la méthode de paiement (Alipay) - & gt; Sélectionnez la méthode de paiement (WECATAT) - & GT; succès de paiement.

Exemple 2: Accès Home - & GT; Sélectionnez la méthode de paiement (Alipay) - & gt; Accueil Accueil - & GT; Sélectionnez la méthode de paiement (WECKAT) - & GT; succès de paiement.


Exemple 3: Accès Home - & GT; Sélectionnez la méthode de paiement (Alipay) - & GT; Accueil Accueil - & GT; Sélectionnez la méthode de paiement (WECKAT) - & GT; Succès de paiement - & GT; Sélectionnez la méthode de paiement (WECHAT) - & GT; paiement réussi.

Cinq, moteur de déjudiciarisation

Stratégie de déjudiciarisation: une compréhension simple est que les utilisateurs vont frapper la politique A, que les utilisateurs vont frapper la stratégie B.

Avant d'avoir donné un exemple, l'exemple de coopération est mieux compris.

En supposant que l'expérience de couleur de bouton d'enregistrement est de 50% de trafic, le bouton "rouge" est de 40%, le bouton "bleu" de la stratégie est de 60%

par exemple, le moule 1000 , cette inscription L'intervalle numérique de l'expérience de couleur est de 0 à 5000; 10000 * 50%.
Le bouton "rouge" de stratégie est de 0-2000; 5000 * 40%.
Le bouton "bleu" de la stratégie est de 2000-5000; 2000 + 5000 * 60%.
Maintenant, nous avons le seul identifiant de l'utilisateur, appliquez l'ID pour avoir un hachage. Une fois que le hachage obtient un numéro, lequel le nombre est tombé dans lequel l'utilisateur est divisé dans lequel la stratégie est intégrée. Testez 10w Times Shunt, 8s, Diffiffe de trafic dans 1%, chaque application est orthogonale et non interagiante.

6. MODE DOCKING
AB Système d'essai et serveur d'apps d'app ou H5 Server Docking
Il existe deux interfaces: une interface de demande de stratégie, L'une est une interface d'alésage.

(1) Interface point enterré

Le système de test AB transmet les paramètres d'interface sur le serveur, transmettant les paramètres à l'extrémité avant du client et H5.

Le client ou l'extrémité frontale a traversé ces événements (ID d'événement) s'il existe un coup d'utilisateur, ces événements de points enterrés sont des centaines de clés et de valeurs abtetides.

(2) Interface de stratégie
Par exemple, l'expérience est "rouge", "bleu".
Lorsque le trafic pénètre dans le client, le client demande au serveur: j'ai les deux boutons de couleur, je veux montrer quel bouton couleur?
Service: Je ne sais pas temporairement, je vous aiderai à demander aux services de test AB. Les serveurs Demandez au service de test AB: le trafic client, il existe deux couleurs de boutons, quel bouton de couleur doit être affiché?

Service de test AB: affiche le bouton "rouge".

Server: Je sais et indiquez au client: montrer le bouton "rouge".

Client: Je sais, le client affiche le bouton d'enregistrement "rouge".