La somotion est une définition statistique: les statistiques sont en recherche, la finition, l'analyse, les données descriptives, etc. Pour répondre à la nature de l'objet seront déduites et même une science complète de la science à l'avenir

contactée avec un test A / B, en fait, c'est Pour analyser différents schémas pour analyser certains utilisateurs et analyser des données supplémentaires de différents programmes et pour spéculer quel programme est préférable après la publication du montant total.

Il faut introduire les concepts statistiques des prochaines bases de ce processus.

Ce qui suit sera décrit comme un exemple. Supposons maintenant que la couleur du bouton de changement peut améliorer la vitesse de cliquant sur le bouton dans la page de plancher, dans ce test:

(1) Globalement

Visiteur du sol, non seulement accessible, y compris l'accès continuSelon le site, le bouton vert et le bouton rouge correspond à 2 généraux,

(2) Modèle

attribué au hasard un client de couleur différent au moment de l'accès et des boutons de couleurs correspondants Correspondant à un échantillon et ces modèles sont un échantillonnage global.

Même une grande quantité d'échantillons pour assurer l'efficacité des conclusions de test, le système de test A / B fournira un ordinateur d'échantillon, permettra à l'utilisateur de vérifier le nombre d'échantillons doit être pris. Autant d'échantillons de nombres ou de fonctionnement de plusieurs lignes peuvent être obtenus par des conclusions relativement efficaces;

Il existe de nombreuses méthodes d'échantillonnage, y compris un échantillonnage aléatoire simple (avec échantillonnage au dos, ne copie pas des échantillons), échantillonnage de la lumière, classe d'échantillonnage, noyau consiste à éliminer les échantillons de la combinaison en fonction de Principes aléatoires, représentants (des échantillons peuvent représenter l'ensemble);

.

.

.

.

Décrire les caractéristiques globales de la caractéristique globale, dans l'exemple de la vitesse de la vitesse de Cliquez sur

(5) (5)]


Calcul des statistiques statistiques statistiques obtenues ultérieurement, dans l'exemple, dans le titre de l'échantillon;





fait référence aux paramètres globaux des statistiques de l'échantillon, nous comparons ici les données entre les deux échantillons du test, lier les fruits de tous les utilisateurs sont évalués après évaluation.

Il est généralement inclus dans les estimations et les estimations de la période. En général, nous utilisons plus tard.

Lorsque notre vitesse d'échantillonnage statistique est de 20%, si cela est dit pour déterminer la couleur du bouton de couleur avec la vitesse du clic, la vitesse du clic est d'environ 20%, c'est-à-dire des points de calcul de la convention.

Mais évidemment, il est très important, nous estimons donc à fournir une plage de probabilité de paramètres globaux, c'est-à-dire combien disponibleIl peut tomber dans une plage, telle que 90% peut augmenter de 10% à 20%. De toute évidence, cette estimation sera une science plus précise, nous sommes généralement appelés «intervalles de confiance», cette période présente une certaine méthode, la plupart des systèmes de test A / B fourniront aux utilisateurs de ces paramètres.

2. Vérifiez l'hypothèse

, associée à une vérification de vitesse de plancher de plancher mentionnée ci-dessus, si maintenant vérifié une semaine, nous avons trouvé le bouton vert par rapport au bouton rouge. Plus haut que le taux de clic, mais c'est vraiment comme ça?

Non, en fait, nous suggérons simplement une "hypothèse" basée sur le prototype, mais nous ne voulons pas connaître "Paramètres globaux", lorsque tout le bouton est remplacé par un vert, enfin Tous les résultats des statistiques de l'utilisateur ne sont pas nécessairement la conclusion que nous avons dessinée dans le test.

Pour améliorer la fiabilité des conclusions, nous"Test" cette "hypothèse" pour voir si cette "hypothèse" est appliquée à "globalement" ou non.
Comment vérifier?

Statistiques proposant sa solution: faible probabilité d'anti-habile, ce qui signifie de petites difficultés de probabilité dans les statistiques et que nous ne prouvons qu'une probabilité d'hypothèses inférieures à une certaine valeur (généralement 0,05), cette valeur s'appelle un niveau significatif dans les statistiques et si la probabilité est inférieure à ce niveau significatif, nous pouvons évaluer ce test avec statistiquement significatif, vous pouvez avoir une certaine capture si cette hypothèse ne se produira pas. La plupart des systèmes A / B de test fournissent ce paramètre pour référence.

Au cas où, nous ne savons généralement pas que le nouveau programme proposé est bon pour la solution originale, nous pensons souvent que "le protocole original (groupe de contrôle)" et "il n'y a pas de différence Dans le nouveau programme (groupe de contrôle), lorsque nous prouvons ce fauxCette théorie est moins que significative, vous pouvez avoir une certaine capture du plan initial et une nouvelle solution. Nous pouvons obtenir un exemple de données liés. Conclusion des tests réalisables.

PS: Le principe a été introduit ci-dessus pour réduire le coût de la compréhension, aucune explication de certains principes mathématiques de base derrière des statistiques et sans explications pour des concepts de base dans l'hypothèse. Par exemple, une hypothèse initiale de doctrine et de remplacement, d'abandonner et d'erreurs harmonieuses, d'un côté et de double vérification, etc les lecteurs intéressés peuvent comprendre

Résumé:


AB Test système ne se tenait que de la théorie. Avec le produit, il y a une base théorique, nous pouvons garantir l'efficacité de l'essai dans le système, simple correspondant:

Échantillonnage: le système nécessaire pour fournir des algorithmes montrant la science pour assurer l'efficacité des tests

statistiques : Le système doit construire une capacité de base de l'inhibition des données et des statistiques de données à compléterLe calcul des statistiques
Supposons: le système doit fournir une gestion de la modification du programme de test. Capacité, permettent aux utilisateurs de créer différents schémas de test pour créer un test de manière confidentielle ont une signification statistiquement: des statistiques de données basées sur des systèmes et des statistiques de modèles basées sur le système, basées sur différentes méthodes de calcul de test pour calculer des indicateurs de statistiques sont souvent statistiquement significatives.

II. Processus Business Core Core

Système de test AB du processus métier de base, il est fait autour de la conception et de l'analyse entre les tests et l'auteur a exploré de nombreux produits d'analyse AB dans l'industrie et chaque produit. est également différent du processus d'utilisation.

Cependant, différents produits offrent également un certain moyen d'améliorer l'efficacité du processus, doivent envisager de nombreuses considérations de système pour soutenir ce processus métier lors de la conception de capacités et deComment améliorer l'efficacité et l'assistance des opérateurs pour obtenir des résultats plus précis.

, associé à un cas spécifique, le processus métier est mentionné ci-dessus ou sur l'exemple ci-dessus, maintenant la vitesse Cliquez sur le bouton pour améliorer le plancher de page
. Points d'amélioration: Style de bouton
Conception de différentes solutions: designs à deux réglages Vert et rouge

Déterminez la figure: cliquez sur Vitesse

Test de configuration: Configurez les boutons de couleur avec vert, rouge Total de deux séries
Test d'analyse Données: quel projet a plus de vitesse de clic, qu'il soit statistiquement significatif

Si le bouton rouge est mal détecté dans le bouton vert d'origine, vous pouvez décider quel test n'empêche pas d'optimisation supplémentaire, ni de ne pas changer de Les couleurs autres continue de vérifier;

Si vous voyez le bouton rouge et une meilleure idée du bouton vert d'origine, vous pouvez envisager de modifier minutieusement le bouton de couleur.H rouge.

III. Cible du système

Lors de la conception du système, nous ciblons souvent le système et la mise au point de la scène, les lecteurs qui lisent Google Des articles connectés trouveront également de voir Google pour fournir les objectifs du système combiné Avec leurs propres situations:

Autre: la culture des pilotes de données Google permet de vérifier le nombre d'activités relativement élevées, oblige le système à prendre en charge plusieurs expériences en même temps

plus rapidement: inspection créative simple et pratique ] Peut être meilleur: pour éviter le fonctionnement d'expériences non valides, veuillez trouver un test efficace mais mauvais, peut fournir une taille de mesure standard pour s'assurer que la comparaison est efficace

lors de la conception de son propre système, Il est destiné aux moyens suivants:


1. Pour assurer la validité des tests
veiller à ce que des tests efficaces puissent fonctionner: Assurez-vous que les règles de la division, les règles de calcul CLes numéros statistiques sont la science permet aux utilisateurs d'assurer l'efficacité: Guide de l'utilisateur permettant de garantir que le nombre de motifs répond aux exigences ou de calculer le nombre d'outils, offrant une période donnée et indiquant que la signification statistique des utilisateurs est prise en charge

.
2. Peut supporter des scènes de test plus coûteuses
Permet de tester une utilisation plus rapide
Aide Les utilisateurs peuvent conclure plus rapidement (ce qui ne consiste pas à dépenser plusieurs trafics): certains systèmes qui fournissent des algorithmes MAB attribuent automatiquement toutes les versions de flux, Aider les utilisateurs à simplifier le processus d'analyse et peut appliquer automatiquement la version gagnante
3. La configuration complète est plus pratique

désigne les coûts d'utilisation et d'apprentissage de l'utilisateur bas. Les tests A / B lui-même nécessitent une connaissance de base relativement professionnelle, ce qui constitue généralement une croissance de groupe et une gestion de produits dans Internet. Rôle responsableMais le système est conçu pour le système pour les entreprises traditionnelles et certaines entreprises avec des services informatiques.

Il existe un employé professionnel dans la mise en œuvre d'entreprise, quel est le problème de la comparaison du test A / B. La conception du produit est donc facile à considérer facile à utiliser, d'autre part également à prendre en compte. Pour rendre les collègues, la livraison peut mieux comprendre les guides des clients

[Architecture du système

Combinant les résultats de l'auteur, les entreprises actuelles qui se rapportera au système d'essai AB principal comprenant les types suivants:


La fourniture de capacités de test AB dans les clients SAAS peut effectuer des tests AB basés sur la capacité de la plate-forme, ce qui peut réduire leur propre L'efficacité du développement et des investissements et le volume des entreprises atteignent une certaine taille ou une équipe correspondante au bon endroit. Ceci est généralement fait.

Ces fournisseurs aussiDes services de données supplémentaires peuvent être fournis sous forme d'autres plates-formes d'analyse de données. Les clients actuels sont basés sur des services liés à Internet, la capacité de la R & D


(2) fournissant d'autres plates-formes SAAS d'essais AB





(3) Les entreprises doivent construire un système de test AB

Les sociétés de ces sociétés ont obtenu une certaine échelle et ont une équipe de croissance professionnelle.

sous forme de produits, il y a actuellement trois formes actuellement observées sur différents types de produits:

AB Tester des produits SAAS souvent sous forme de gestion des tests. Afficher les contrôles de données AB relatives aux rapports de test
Marketing SaaS Products combinés à des éditeurs de processus de marketing, fournissant des capacités de test AB sous la forme de composants de processus, la visualisation des données sera liée à la vérification AB dans les données de processus

Opération de scène verticale fournit la Capacité à tester NGFoin AB dans une configuration senior.

Exemple: la configuration peut être complétée via des éléments de configuration de test AB supplémentaires dans la configuration de la fonction Business et la visualisation des données relatives à AB Test dans les entreprises de données

Toutefois, des échantillons de produits spécifiques sont lancés. En raison du principe du système, du processus métier et des mêmes objectifs, de sorte que l'architecture du système abstrait est vraiment la même, uniquement dans certains projets détaillés.

1. Classe d'entreprise

Cette classe est un module de fonction de base du test AB pour supporter les utilisateurs à créer un test A / B



.

Pour que les clients configurent un test, principalement liés à 2 points:

Samples filtres: Vérifiez que les types spécifiques de types de clients peuvent être combinés avec CRM, système portrait utilisateur, peut être testé pour une population spécifique

Paramètres Le nombre d'échantillons: peut définir le taux ou le nombre de khProfitez de l'entrée de test et le nombre d'échantillons est très important pour l'effet de test. Influence, la plupart des systèmes fournissent une formule permettant de calculer le nombre d'échantillons, combinés à une augmentation attendue des paramètres de l'utilisateur, afin d'informer les utilisateurs le nombre d'échantillons plus que des échantillons appropriés, essayez des expériences de manière à garantir la durée de vérification s'il y a suffisamment de trafic. (Voyant également des produits, certaines des valeurs empiriques seront fournies aux utilisateurs. Ainsi, lorsqu'ils permettent aux utilisateurs de s'assurer que l'échantillon doit être supérieur à 1000

(2) Distribution de flux

La fonction principale consiste à déterminer quels tests dans des visites de clients, qui est la version du test, lié à la structure de gestion de cette inspection. Le module de shunt doit répondre aux exigences suivantes:

Navigation uniforme randomisée

Les règles de déformation sont des modules dans le système, oui certains points de base:
doit assurer la cohérence de l'échantillon: des exemples d'utilisateursL'attribution de différents schémas de test est cohérente, dans les statistiques de contrôle des principes de transformation unique, appelées "uniformes aléatoires" garantissent un shunt de cohérence: en répartition lorsque vous allez avec une autre version, vous devez vous assurer que le shunt distribué et cohérent aléatoirement (c'est-à-dire Le client est entré dans le même test, la version d'évaluation de l'accès est la même); 2) Hiérarchique shunt Lorsque nécessaire pour être testé, il faut ouvrir certaines zones de test peut interférer les unes aux autres sous la forme du domaine de nom et Les utilisateurs ne peuvent que frapper certains d'entre eux. Vérifiez que le formulaire de classe n'interfère pas les uns avec les autres, les utilisateurs peuvent participer à différents tests de classes. Des outils de test General A / B prononcés des règles d'utilisateur définies et des tests de décentralisation, mais pas nécessaires, doivent voir s'il existe une scène et combiner avec la scène système la sienne, voir ci-dessous le modèle de transfert.Direction: La version divisée: La version de test du client peut spécifier directement les clients de test, pour améliorer l'efficacité du processus, presque tous les produits fournissent des fonctionnalités automatiques pour sélectionner automatiquement la meilleure version, Mais la plupart d'entre eux ne peuvent évaluer qu'à partir d'une seule taille indicatrice; Diversions automatiques: Basée sur des algorithmes MBA, ajustement automatique des règles d'allocation de flux pour différentes versions pour choisir rapidement une optimisation de la version fiable, peut améliorer l'efficacité du fruit du test. Actuellement, il existe un certain nombre d'outils de test AB professionnels (3) Test de configuration 1) Installation de la version peut ajouter un essai différent Versions, comparées à la version du groupe témoin, différents types de paramètres de version de test varient et le mode d'installation également avec un scénario de test A / B spécifique lié à: la plupart des systèmes TTout le mode d'édition visuellement pour optimiser le niveau d'interface utilisateur, permettant aux opérateurs de compléter différents scénarios directement dans l'interface intuitive à la publicité, des scènes de page d'atterrissage seront fournies. Connectez plusieurs modes de danse, fournit différentes URL pour différentes versions publicitaires et utilisateurs. L'accès est transféré à une version du lien pour optimiser la chimie des scènes pour optimiser l'algorithme, puis fournir l'interface. Appels de service de fin Ce bloc est également une affaire que la version de la configuration de l'utilisateur est considérée comme associée à son propre script de service et à sa plate-forme. 2) Réglages de débit La vitesse de ligne est définie sur chaque version, le total de 100% totalement, doit prendre en charge le réglage dans le test, pratique pour le test combinant des situations flexibles de manière flexible. Ajustez l'allocation de flux (première pour activer la version d'essai, puis augmentez le débit) 3) Paramètres L'indicateur Après l'installation indique les différentes versions des données de l'indicateur dans les statistiques de données, utilisées pour évaluer les sessions différentes versions: L'objectif principal et objectifs supplémentaires: le schéma d'évaluation ne peut évidemment pas être évalué que d'une dimension, et même si le nouveau script de version est meilleur dans le numéro de base, il n'exclut pas les faiblesses dans d'autres indicateurs comparatifs, l'objectif principal est de faire référence à la Les indicateurs de ce test et des indicateurs supplémentaires sont d'autres effets connexes. Les indicateurs nous aident à évaluer de manière exhaustive; Index général et index personnalisé: Prise en charge des scripts d'entreprise Indicateurs personnalisés: fait référence aux utilisateurs à personnaliser l'indicateur de jeu, vous pouvez spécifier plusieurs événements d'indicateurs ainsi que des indicateurs synthétiques, ce temps n'est pas pris en compte; . ] Fondamentalement pour résoudre la décision de distribuer la circulation dans De nombreux tests, envisagent comment distribuer le flux autant que possible pour que chaque test ait suffisamment d'échantillons et comment éviter le bruit entre ces tests, les classes et les domaines doivent être divisés en leurs propres conditions communes et courantes peuvent être divisées en couches de démarrage, Classes d'interface utilisateur, algorithmes, etc. Exemple: , la même zone de la page est vérifiée. Si vous effectuez maintenant 2 tests, vérifiez la couleur du texte, le fond de texte, en supposant que ces deux essais sont attribués dans différents domaines, qui peuvent avoir la même couleur dans la couleur du texte et le texte, conduira à une invisible complètement invisible sur le devant, respectivement. affectant le test 2. Statistiques des données Si le test, y compris des indicateurs et des statistiques différents du kit de test, la tâche consiste à aiderJ'utilise une prise de décision plus précise et rapide, choisissez le programme optimal où les statistiques fournissent principalement 2 indicateurs: Intervalle de confiance: utilisez généralement les intervalles de fiabilité de 95% pour l'aide au programme d'évaluation scientifique des utilisateurs; Indicateur de signification statistique: il est utilisé pour dire aux utilisateurs que les statistiques actuelles sont significativement efficaces dans les statistiques et les décisions scientifiques améliorées. Bien sûr, il faudra parfois subdivision avec différentes personnes pour voir les effets et évaluer l'effet du programme dans différentes personnes et ajouter uniquement des produits de dépistage du client. 3. Couche d'accès aux données Cette classe résout principalement le problème des indicateurs de test, liés au script d'application de la vérification du système de test AB, afin d'étendre le système à l'aide de la scène, il va certainement se développer verticalement à partir de la fiche technique,paramètres de test, via des données externesUnité, peut développer beaucoup de scènes. Exemple: , l'auteur est conçu pour commercialiser les systèmes SaaS. Si vous pouvez accroître la trading de données, la scène peut être élargie pour être "Vérification du commutateur de transaction peut être promue ou non" réduction inférieure. " 4. Classe de service de classe Lorsqu'il y a plusieurs clients, de nombreux systèmes, de nombreux scénarios doivent communiquer avec les capacités de test AB, via une zone standard de communication, il peut être déployé rapidement rapidement. Pour aider à améliorer l'expansion du système. 5. Scène d'activité Lorsque nous comprenons le système de quoi faire et la logique globale du système, il doit être combiné pour Il est responsable du système de systèmes de script d'entreprise, des caractéristiques des clients et d'autres facteurs de conception de la force de distribution d'énergie et de la forme de produit. Bien sûr, cette scène ne peut certainement pas surmonter, mais vous pouvez écrire une phrase: «Quand vous pouvez écrire 't mesure, vous ne pouvez pas optimiser hPet It ", combiné à l'introduction ci-dessus à l'architecture du système. Nous savons que le système de test A / B de base doit s'appuyer sur l'infrastructure de données, lorsque nous pouvons enterrer, plus vous pouvez spécifier des statistiques et des variables de données, le système peut supporter Scènes .. Mais l'auteur est un résumé simple des scénarios de test AB, pratique pour votre référence: Optimisation du produit Optimisation du niveau de l'interface utilisateur: tel que la disposition de la page réglable, l'ajustement, etc. Algorithme fonctionnel de niveau Niveau d'algorithme: tel que l'optimisation des règles recommandées, la liste Afficher les règles, améliorer le contenu Clic Tarif Optimisation du marketing Publicité de plancher: optimisation de la copie marketing, taux de clict à moteur Marketing, optimisation des politiques, etc. AB Test SaaS Products ne peuvent pas supprimer essentiellement à répondre aux scripts ci-dessus et aux produits SAASLe marché entourera le contenu actif, adopté des messages, des scénarios de marketing liés à la stratégie de capital, processus d'exploitation, V.V. Et des scènes verticales ne supporte que l'optimisation de leurs propres scènes de produits. Exemple: "la politique" peut effectuer des tests AB que le droit d'auteur n'affecte pas la conversion finale. 6. Note détaillée 1. Module de déformation Le procédé de déploiement du jeu de shunt de réseau de réseau, i Recommander en référence au document de Google et à la mise en œuvre spécifique consiste à calculer l'ID utilisateur à travers des algorithmes de hachage cohérents. Après avoir pu effectuer la couche de classe, de sorte que nous mentionnons les points principaux de l'attention des points au shunt. Remarque: Pour combiner leurs formulaires de produits de conception, cela correspond à l'architecture de produit ci-dessus,considérant ce qui est nécessaire pour ajouter des algorithmes de verrouillage. Bien sûr, certaines plates-formes ont proposé une méthodeVérification Pour assurer des échantillons cohérents, Exemple: , une solution mentionnée dans le système de publicité Weibo: Dans le système de publicité, les utilisateurs sont décrits par des vecteurs de la jambe de contenu multidimensionnel (A, B, C ,. n). Si l'unité de débit est unifiée, cela signifie que chaque vecteur de portrait de l'utilisateur est sous le flux de conditions. Il est uniforme, plus loin et la combinaison de nombreux vecteurs de portrait est également uniforme dans ces conditions de division de flux. En effectuant des vecteurs portraits de l'utilisateur et en vérifiant l'uniformité de la combinaison de certains composants de vecteur de portrait, l'uniformité de la division de flux peut être reflétée 2. Vérifier le module d'indicateur . Cette pièce est actuellement plus mature, certains calculs d'emballage ont été emballés directement pour le développement. Actuellement, le produit Adobe cible est utilisé pour calculer les valeurs de circulation et la valeur P (P). Il est prouvé que le testCeci est statistiquement significatif). Le problème n'est pas un problème. Le problème principal est que la société est actuellement un processus de collecte de données relativement complets . Résumé Combinés avec l'ensemble du texte, je pense que le lecteur a une compréhension relativement complète du système de test AB, des principes et de la logique fondamentalement ne change pas le changement, et doit combiner leur propre entreprise, des systèmes internes . Front Aller au système local, surtout si vous avez une carte de scène d'entreprise, vous pouvez repousser les données actuelles que vous avez existantes ou vous pouvez appuyer des besoins professionnels. Cependant, il est nécessaire de le rappeler, nous venons donc de concevoir un système pouvant être utilisé. AB Inspection Terrain doit également organiser et utiliser l'utilisation d'une société consciente sur les niveaux basés sur les données, que les dirigeants ont une expertise, un support de test AB, y a-t-il suffisamment de valeur attrayante ou non, il y a suffisamment de volume de données à Test AB,Ces facteurs affecteront l'effet d'atterrissage du système final. Si vous rencontrez le système SaaS, le visage du client peut être une banque traditionnelle ou une banque traditionnelle comme une entreprise basée sur les entreprises, mais au courant des données n'est pas forte, c'est à cause de son examen.Certains points, évaluent les clients qui ont la capacité de rencontrer A / B. Vérifiez la fin.Cet article a été autorisé avec l'auteur, si vous avez besoin de réimprimer, veuillez contacter l'auteur.