Premièrement, le fond

Tout doit être démarré des problèmes et des besoins, et on pense que de nombreuses entreprises seront confrontées à une série de problèmes à l'intérieur de l'itération de produits à un certain stade. En interne, lorsque ce problème doit être une révision de l'entreprise, tout le monde sort d'une question principale:
Quel niveau pouvons-nous être optimisés?

En d'autres termes, quelle est l'effet avant et après la révision?
Pour l'effet de l'effet, il peut également nécessiter une prise en charge d'un système de cible de données pour différentes dimensions.

Supposons que nous avons une direction optimisée (cible), ont connu quatre ou cinq révites, mais directement émis à chaque fois, certains d'entre eux ont des points d'optimisation (y compris l'architecture de l'information, la conception de l'interface utilisateur, les conseils de rédaction de la rédaction, etc. ) n'ont pas été comparés et nous ne savons pas comment nous allons augmenter leurs objectifs.

Peut ne pas apporter

"Real Upgrade"!

Pourquoi dites-vous cela?

Dans un ensemble de données réelles, si nous avons fait deux optimisation de la révision à domicile en août et septembre, en août, septembre, la libération indique

". Une révision "
, le contraste des données optimisées:

Indicateurs de données pour la révision:

août 2020 (fin du mois): 10%
septembre 2020 (fin du mois ): 11%

2020 octobre: 12%

Regardez en août et septembre, après le mois, les données ont été améliorées (1%) sur un mois, afin que notre révision soit bonne?


En fait, dans un autre monde, les indicateurs de données sont les suivants:

août 2020: 10%

202020: 13% 2020: 15%

Le temps passé ne peut pas inverser. Nous avons constaté que, en fait, les caractéristiques fonctionnelles d'origine, mais au lieu d'observer les données mensuelles, il y aura plus augmenté le mois précédent (2%).

Le problème provient: alors nous ne sommes pas blancs-changement ...

peut apparaîtreLa situation, nous pensons qu'il s'agit d'une fausse image, pas d'ajustement, mais c'est mieux que de faire des ajustements. Bien sûr, ce qui précède est en fait une situation relativement extrême. Avec le développement des affaires de la société, après une certaine direction est plus clair, il s'agit certainement de l'itération du raffinement souhaité, chaque modification a une certaine augmentation de la version originale, notre retour sur investissement global doit donc améliorer les avancées de direction.

À partir de ce point, avec la capacité du test AB, nous pouvons aider notre décision de produits scientifiques et notre optimisation itérative.

Comme le produit de données, le point de vue du produit doit encore être préoccupé par l'utilisateur et la scène. Par conséquent, il est essentiel de collecter la demande d'interviews utilisateur.

et nous avons besoin de recherches sur la concurrence du marché, telles que la technologie de scorption nationale, l'optimiseur de Google étrangère, etc. Nous pouvons absorber une certaine expérience.

Parce qu'il s'agit d'une plate-forme intra-test dans laquelle la société est construite, nous sommes principalement engagés dans les utilisateurs, notamment: produits d'affaires, opérations, conception, développement commercial Algorithme, etc.

Nous pouvons construire

"Rôle-Scène-Scène-Système spécifique à une hypothèse expérimentale"
de communiquer avec tous les collègues du département. L'abstraction finale est notre scénario d'application.

Par exemple, il peut avoir des exigences de base différentes pour ces types d'utilisateurs:

Produit commercial

J'espère que L'action de l'exploitation de l'exploitation de différentes organisations d'information pour la conversion d'entreprise

Je souhaite observer une copie de guidage différente ou des boutons de l'influence du rapport de copie

]

J'espère observer l'effet de différents modèles de cartes pour les hits d'entrée

Recherche et développement des entreprises

J'espère Observer l'effet de la logique commerciale de fond différente pour la conversion des entreprises


J'espère observer différentes recommandationsL'algorithme affecte l'impact de l'élément Abstraction supplémentaire des exigences susmentionnées pour notre scénario d'application, y compris la scène de la page client (produit d'entreprise, opération, conception), scène d'application de service (développement commercial), scène d'application d'algorithme recommandée ( Algorithme).

Comment concevez-vous pour répondre aux scénarios d'application de test AB ci-dessus?

Avant de commencer, prenons tout le monde à examiner les connaissances connexes du test AB.

Troisièmement, le test AB

En fait, AB Test est dans l'itération du produit La méthode itérative scientifique évolue, basée sur le test AB étant différente de la précédente / commune. Approche, dans le passé, en raison de certaines des limitations du processus itératif, cela peut entraîner la conclusion correcte.

En fait, l'essai domestique Ctrip AB est également relativement tôt, voici une personne responsable de Ctrip, introduisant le test AB:

"L'expérience AB peut être facilement considérée comme une entrée d'expérience et un identifiant de shunt utilisateur à AB Strunt expérimental

Splitter Spit Sortie de la version Split A, B, C, D et al

par Interception de l'atterrissage des flux d'applications pendant une période de temps, les courts-an et les inconvénients

peuvent être analysés pour déterminer la nouvelle version ou tirer parti de l'ancienne version "

Ce qui précède est une pratique décrite pour l'industrie et du point de vue de la méthodologie académique, un processus de test AB standard de comparaison doit être divisé en ces étapes suivantes:

1, établir un entonnoir de produit

2, Target de définition

3, Indicateurs d'observation, basé sur l'analyse actuelle

4, expérience de conception, formulation

5, Créez des variantes d'expérimentation A / B (sur la base de la création de la plate-forme de test AB, d'entrer la liaison de développement)

6, expérience de fonctionnement en ligne

]

7, analyse des données expérimentales

8, des conclusions expérimentales et dansOpération à une étape

4, la conception de la plate-forme de test AB

Lorsque le processus est appliqué à notre scénario d'utilisation spécifique

, nous enregistrons sous forme de document et synchroniser avec toutes les parties

nous devons compléter l'opération de processus de configuration dans la plate-forme de test AB la plate-forme de test AB principalement associe principalement et prend en charge le support (correspondant à l'étape de processus ci-dessus) * devrait être: 5- Créer une variante expérimentale A / B

Expérience de fonctionnement 6-Online

7- Analyse des données expérimentales

Trois liens majeurs, ce qui est nécessaire pour chaque lien, nous introduirons une introduction détaillée dans les cours suivants (visualisation de code de numérisation de texte).

Sur la base du cycle de vie expérimental, les trois liaisons peuvent être détachées en détail peuvent être détachées:

Le processus métier de la plate-forme d'essai AB est créé:

Expérience

Sur la base de la modélisation de l'entité expérimentale et du processus métier, nous avons besoin d'une conception fonctionnelle complète. Au début de la phase, nous avons effectué une recherche sur les compétitions liées au marché. Vous pouvez vous référer au processus métier de Google Optimizer et concevoir les scénarios d'application réels au sein de votre entreprise.

Dans la création de la liaison expérimentale, nous devons saisir les informations de base de l'expérience, compléter la configuration détaillée expérimentale (y compris la politique de distribution, la gamme de population, différentes Expériences), sélectionnez l'optimisation de l'index d'expérimentation.

Au début de l'expérience, mettons fin à la liaison expérimentale, nous avons besoin de données d'expériennement chèque à temps utiles.

Dans l'expérience de libération, nous avons besoinPour sélectionner une version de version, et si vous pouvez revenir en retour en cas de problème.

Cinq, le problème de la plate-forme d'essai AB auto-intégrée au sein de l'entreprise

Les utilisateurs orientés par l'utilisateur sont des utilisateurs de l'entreprise, à l'exception de La construction de la plate-forme de test AB de base, qui implique également la question de la plate-forme de gestion opérationnelle dans l'entreprise. .
Par exemple, la société dispose d'un ensemble de plates-formes de gestion opérationnelles, de toutes les pages clientes, d'informations, d'icônes, de règles recommandées, etc toutes par des plates-formes de gestion de l'opération. Dash Control. Prenez la scène de la page d'accueil du groupe américain à titre d'exemple, son bit de bannière d'accueil, Jin Justice, des informations sur les bits recommandés, ces fosses sont théoriques doivent être directement liées à la plate-forme de gestion de l'opération de fond.
Donc sous telle de fond, quelle est la relation entre la plate-forme de test
AB et la plate-forme de gestion de l'opération?
Si la tête ennuyeuse ne s'en soucie pas, j'ai développé une plate-forme de test AB. Enfin, j'ai finalement découvert que les coûts expérimentaux que je veux changer un style régional est très élevé. Publié Pour libérer cette expérience, que de tels résultats ne sont pas ce que nous voulons.

En fait, nous espérons utiliser la plate-forme de gestion opérationnelle pour améliorer notre efficacité de test AB, de nombreuses expériences n'ont pas besoin d'être développées, n'ont pas besoin d'envoyer, directement à travers la configuration. de la plate-forme de gestion de l'opération peut être liée au test AB. Cela nécessite cette situation dans la conception réelle.

De plus, nous avons terminé

AB Tester la plate-forme Demander la recherche
, introduite les connaissances de base

AB et apporte à chacun la conception actuelle du processus d'activité . et

Conception de la fonction
, y compris

Quelques problèmes pouvant rencontrer lorsque vous construisez une plate-forme de test AB j'espère pouvoir vous apporter une certaine inspiration.