2. Responsable des produits de données, le fonctionnement des données et d'autres postes primaires;

Récolte de lecture: Compréhension préliminaire de l'analyse du comportement des utilisateurs d'architectures brutes de produits de données, Master 4 gros points de technologie de données.
Cet article introduira les connaissances techniques pertinentes de quatre endroits importants tels que l'acquisition de données, l'accès aux données, l'analyse des données, l'affichage des données. Cette section introduit principalement le concept global.

1.1 Concept

Le système d'analyse du comportement de l'utilisateur fait référence à un outil de rapport que l'utilisateur utilise les données de comportement générées par l'utilisateur. Ce type de données est différent des données commerciales, principalement publiques, privilégiées, telles que certaines informations sur le périphérique, des informations intégrées, ainsi que similaire.

Il existe actuellement des statistiques, des amis et de la défense de Baidu, etc et l'utilisation de tels produits est principalement des analystes de données, des opérations de données et des gestionnaires de produits. L'objectif est de surveiller l'optimisation du produit ou la promotion opérationnelle du produit pour des points enterrés statistiques, des indicateurs de base (tels que PV, UV), etc.

(Exemple: Système d'analyse de données Figure)

1.2.1 Acquisition de données
Lorsque l'utilisateur utilise le produit, Les informations remplies seront stockées via le système d'entreprise. Les données de comportement ne seront pas collectées via ces systèmes et l'outil de collecte spéciale est collecté, qui est SDK.

1.2.2 Accès aux données

Parce que les données acquises par SDK sont non structurées, les données sont téléchargées périodiquement ou en temps réel dans les données d'origine. Les analyses de serveur, le traitement du traitement et forment initialement des données de journal structurées via une interface et des magasins dans la base de données.

1.2.3 Analyse des données
Une fois les données analysées et stockées, l'analyse peut être analysée par Hors ligne et en temps réel. Certains indicateurs sont calculés et les exigences en temps réel ne sont pas élevées et le T + 1, T + 2 (c'est-à-dire le deuxième jour, la troisième journée d'isotropie est calculée.

Certains indicateurs exigent des exigences de performances élevées, telles que des indicateurs clés, des opérations quotidiennes (telles que deux doubles onze), etc nécessite des méthodes de calcul plus élevées en temps réel pour surveiller les performances. Le cadre système utilisé à deux manières majeures sera différent et l'explication détaillée suivante.

1.2.4 Application de données
Lors de l'analyse des données structurées, il est nécessaire d'afficher le graphique de la visualisation. Peu importe que cela signifie, il est essentiellement indiqué par la plate-forme du site Web du rapport. Par exemple, un diagramme de ligne, une table, une colonne, et encore plusLes indicateurs d'analyse dimensionnelle prennent en charge les requêtes autonomes de l'utilisateur.

Deuxièmement, la couche de collecte de données (SDK)

2.1 Qu'est-ce que le SDK?

2.1.1 Définition
Le SDK fait référence à un kit de développement logiciel, un outil essentiel pour l'acquisition de données, l'anglais est "Kit de développement logiciel". Il s'agit essentiellement d'une collection de fichiers de l'API d'interface, fournissant des services pour une application. On peut également comprendre que les développeurs d'applications peuvent collecter des données correspondantes en accédant à ces fichiers et en appelant les interfaces associées.
Parce que la taille de la SDK affectera dans une certaine mesure les performances de l'application, essayez d'effectuer légèrement la plupart de la mémoire entre plusieurs centaines de K et quelques mégaoctets.

2.1.2 Rôle

Différentes entreprises, les propriétés de la demande de SDK sont différentes. Commun, il existe des données SDK comportementale, une classe de service fonctionnelle de la classe SDK et de la publicité de la classe de marketing de la publicité, etc.

La classe de service fonctionnel signifie que l'application ajoute des services de fonction de produit spéciaux en accédant à SDK, et la classe de marketing publicitaire fait référence au SDK spécialisé dans le secteur de l'information, la promotion du marketing. Cet article introduit uniquement le comportement des données SDK.

2.2 Type SDK
principalement divisé en SDK client et SDK du serveur, le client SDK client fait référence à un tel accès SDK à l'extrémité avant de l'application, telle que iOS, Android, etc. Le serveur SDK fait référence à l'accès à l'arrière de l'arrière-plan.

2.2.1 SDK client

IOS SDK: Comme son nom l'indique, la boîte à outils SDK développée par le système d'exploitation iOS; Android SDK: Le système d'exploitation Android est développé,peut être appliqué à tous les logiciels Android;
H5 SDK: désigne le SDK pour un système d'exploitation Web, qui peut être appliqué sur le site Web Web, H5 Web, numéro public (fonction est essentiellement le développement H5), etc.;
Petite procédure SDK: L'approche est l'application de produit émergente de deux ans, en fonction de la différence de plate-forme logicielle. Il est donc nécessaire de se développer en fonction de différentes plates-formes, telles que les applets de Wechat, Alipay, Baidu, etc et doivent également développer deux grands systèmes dans IOS et Android.

2.2.2 SDK du serveur
• Définition: Le SDK du serveur est transmis via l'extrémité arrière des données, c'est-à-dire que l'application de service est collectée aux données. Le serveur de serveur, C'est-à-dire "Services aux entreprises - Services de données", pas le client SDK "Services aux entreprises - Services de données SDK client".
• Type: Étant donné que chaque entreprise est différente, la langue de développement n'est pas unique, le SDK pour le type de serveur fournira des versions de développement correspondantes basées sur différentes langues, y compris Java SDK, Pyhon SDK, PHP SDK, C SDK,etc.
2.2.3 Résumé
Différents utilisateurs ont des appels d'affaires différents, des clients et des serveurs présentent des avantages et des inconvénients, en fonction de la demande des entreprises. Dans l'ensemble, la plupart des applications de produits utilisent le SDK client.

2.3 Rôle

La tâche la plus importante de SDK est de collecter des données, d'identifier des données et de rapporter des données.
• 2.3.1 Données de collecte
• En raison de la vaste acquisition de données SDK, de nombreux types concernés sont principalement impliqués, principalement dans plusieurs catégories:

Données de périphérique: Dispositifs matériels spécifiques de doigts tels que les équipements informatiques, les téléphones mobiles, etc. Si le téléphone peut être utilisé pour des types de téléphones mobiles spécifiques, des marques, des environnements réseau, etc. S'il s'agit d'un ordinateur, il s'agit de modèle informatique, de type de navigateur, etc.;
Données du programme: désigne spécifiquement les données de l'application, telles que les applications d'application, y compris les données de base dans cette application d'application, y compris les versions de l'application,Canaux, Temps d'installation, etc. Données sous forme de buffet: désigne spécifiquement les données de comportement que les déclencheurs de l'utilisateur générées dans une application, telle que quelle page est cliquée, reste l'heure, l'exposition de la page, l'heure de démarrage, etc. Il repose principalement sur des considérations commerciales pour la conception d'intégration.
2.3.2 Données d'identification
Étant donné que les données acquises appartiennent aux données d'origine, la couche SDK est basée sur l'authenticité et l'unicité des données d'origine, fondamentalement non structuré que le traitement de données logique n'est pas. terminé. La SDK traitera donc le processus d'identification des données ici.

Identifier l'ID utilisateur: Quelle que soit la façon dont les données sont originales, la confusion, il existe une clé pour identifier "l'utilisateur" qui génère ces données, il existe donc une ID utilisateur. Cependant, cet ID utilisateur comporte différents produits et services, et chaque maison n'est pas la même. L'algorithme de génération d'identifiant est différent. Il s'agit également d'un algorithme pour l'étalonnage de périphérique généré IDFA et IMEI. C'est également le seul identifiant utilisateur à l'aide de la ID de compte logiciel. Ceci n'est pas spécifié. Exemple: "userid": 321990ddwsadnkiouf78hjh ";
ID: Parce que SDK est utilisé de manière indépendante par plusieurs programmes, les données sont finalement dans le même serveur et la même base de données, il est nécessaire de faire entre les applications. Distinguer. À cela. Heure, il existe un identifiant d'application et chaque application indépendante attribue un identifiant et est unique. Quant à la manière de distribuer la génération, c'est aussi un appel d'entreprise, et il n'y a pas de critère unique: "PRoductid ":" 32132133213 "
Étant donné que le SDK est incorporé avant d'intégrer l'application, il a été activé et rapporté. Donc, le SDK a été défini. Une série de logiques de rapport, et quelles données nécessaires.



Données d'origine: Il s'agit en réalité d'un enregistrement de données brutes, chaque donnée est livrée avec de nombreuses informations, y compris l'ID utilisateur, les données de périphérique, les données de la courroie, etc mais ces données n'est pas nécessaire, selon que l'environnement soit fourni dans l'environnement.

Session: fait référence à des informations de séance de temps, principalement pour enregistrer les habitudes de comportement des utilisateurs. Parce que chaque utilisateur est habitable, le temps est différent, il est différent, possible de ne plus utiliser, mais aussi dans quelques minutes, et pour que de telles situations nécessitent l'appel basé sur la scène des affaires, définissez la logique de la session et créer différentes sections de sessionID. Par exemple, après quelques minutes, le programme quitte ou commutateur à l'arrière-plan ou à la même nécessité d'être défini.
Cookie: principalement un ensemble de données identifiant l'utilisateur à l'aide du site Web, généralement stocké sur le terminal local de l'utilisateur pour faciliter les utilisateurs peut rapidement appeler et identifier comme le même périphérique. Utilisateur à différentes opérations temporelles. Les différences avec la session sont que le cookie est stocké dans le navigateur, la quantité de données est limitée et est relativement sûre.
TROISIRO, accédez à la couche de stockage


Démarre à partir de ce lien, entre dans l'opération du serveur. Cet environnement concerne 3 aspects de l'accès, de la résolution et du stockage des données.

Mention précédente, SDK ne collectera que les données originales (c'est comme une nourriture sans vert), et ces données non structurées ne sont effectivement pas propices à la gestion et à l'utilisation. À ce stade, il est nécessaire d'effectuer une analyse de données après accès, puis de le jeter dans la base de données.
3.1 Couche d'accès
• Cette couche est une couche entre le serveur et le côté SDK, toutes les données du journal sont acquises via cette couche d'accès, mais il est nécessaire de renvoyer "succès" après une acquisition réussie. Le signal est donné au SDK, qui s'avère non bloqué. sans signaler.
Dans la plupart des cas, en raison de davantage de données rapportées, bien qu'elle soit signalée, elle apparaîtra «faisant la queue», une efficacité de données d'achèvement et de retour à usage unique est très faible. Donc, ce temps empruntera "Redis "Moyens.

Redis: Service de dictionnaire distant du serveur Dictionnaire distant, Essence est un système de stockage à valeur clé, une technologie de base de données open source. Il semble que ce soit un serveur secondaire, après le serveur principal. reçoit de nombreuses données,Pour le jeter ici, laissez-le recevoir, et pas besoin d'attendre les informations «Résultat», le service principal peut informer le SDK i «OK» ici, s'il vous plaît de rester assuré.

3.2 Couche logique

Le rôle de cette couche indique en réalité des données pour analyse, traitement de nettoyage, c.-à-d. Les données du journal, car le magasin de données doit être basé sur des bases de données claires et la structure de La table est stockée.

EXEMPLE DE DONNÉES DE LOG: {"UTILISATEUR": "3213213 HDHDHASJOWQ3321", "DADSADSAD2321321", "MOBILE": "SAMSUNG: SM-G9008V", "Pays": "CN" }
3.3 Stockage des données
Lorsque cela est mentionné, il doit être exposé à la base de données, alors quel type de base de données est utilisé pour ces données de comportement des utilisateurs? À l'heure actuelle, la base de données est principalement divisée en bases de données relationnelles et non relationnelles.

3.3.1 Base de données relationnelle
Il est généralement en contact avec Oracle, Hive, PG, etc il s'agit en fait de bases de données relationnelles, essentiellement construites dans SQL (langue de requête structurée basée sur, le plus grand la fonctionnalité est structurée. Celles-ci conviennent à une grande quantité d'enquête de données, de fourniture unifiée, de suppression, de changement, de contrôle, de tri et d'autres requêtes.

Il existe de nombreux types de base de données, seuls trois types qui sont souvent satisfaits:


3.3.2 Base de données non relationnelle (NOSQL)


. L'existence de la base de données est destinée à la performance, à la vitesse et à d'autres aspects, principalement parce que la base de données relationnelle implique des données importantes, complexes, certains simples, petits rangements et des requêtes, qui ne conviennent pas à une opération dans une telle base de données. Il existe donc cette base de données. Ce qui précède ci-dessus, où Redis est tel, et Mongod, Memcache.
Ce type d'excellent point de base de données est suffisamment rapide, structural unique, concentration de données, etc.
Inconvénients: la structure est relativement unifiée, il y aura une redondance répétée;

3.3.3 Table de base de données

Lorsque vous utilisez la requête SQL, un emplacement clé est de connaître la structure de la table. La soi-disant structure de table est la relation entre les feuilles de données et les tables, ainsi que la signification de champs de table spécifiques. Par conséquent, la conception de la table de base de données est importante et il y a un impact important sur les calculs de requête SQL ultérieurs, la performance des machines, l'exécution de la tâche, etc.

(Échantillon: USERTABLE_01)

Il existe une table telle qu'une table et le résultat de données souhaité peut être rapidement acquis par la requête d'instruction SQL. Une fois que toutes les données brutes sont analysées, elle est stockée sous une forme structurée après analyse, afin de gérer et d'utiliser.

Conception de table: Il existe de nombreux indicateurs de données dans le système et pour les produits ou opérations, la logique statistique et les scènes de chaque indicateur sont définies. Ensuite, pour l'homme du métier, en plus de la déclaration de requête fixe de sortie, une conception de table raisonnable est requise.

La conception dite de la table est de diviser les données structurées en une pluralité de feuilles de données en fonction du système d'indicateur et de fournir une sortie statistique raisonnable.
La métaphore doit réparer certaines informations de périphérique (modèle de téléphone mobile, marque, environnement de réseau, etc.) des utilisateurs utilisant des programmes par jour et peut être placé dans la même table sans avoir besoin d'effet de corrélation entre table et en même temps, la conception est propice à la performance. Mais comment concevoir, principalement basé sur des considérations de système indicateur basé sur les entreprises.
4 Couche d'analyse des données
Dans une analyse de données importante, il est tel que Spark, Hive, HBASE Ces bases de données ou moteurs informatiques, mais elles sont basées sur un système de base. Il est Hadoop. Pour développer un ensemble complet de grands systèmes de développement de données, la plupart des technologies sont capables d'obtenir la capacité de Hadoop.

4.1 Frame-cadre de base Hadoop

4.1.1 Définition

Hadoop est un cadre de base utilisé par Big Data Development, qui constitue une simple distribution de grappes croisées de programmation. Manipulation du système de grands ensembles de données. De nombreux modules techniques pour le développement de la Big Data sont basés sur cette transmission de données, la gestion de données, la gestion de stockage de données, le calcul des données et de nombreux autres aspects.

4.1.2 Rôle
Utilisez Hadoop pour gérer facilement des clusters distribués, distribué des données massives dans le groupe et utiliser le programme parallèle distribué pour les traiter.

4.1.3 Architecture

Un cadre de hadoop complet implique une transmission de données, stockée au calcul, etc et fournit plus de types de composants sur ces bases. Fournir des capacités de base matures pour construire rapidement grand plates-formes d'analyse de données.

HDFS: Peut fournir des systèmes de fichiers distribués à haut débit.

Fil: utilisé pour la planification des tâches et la gestion des ressources de cluster. C'est comme le PMO, la proposition de produit et la mobilisation des ressources de la machine en fonction des tâches d'allocation rapide telles que les ressources existantes, le temps, les coûts.

Mapreduce: Basé sur le fil, il est utilisé pour les grandsType de données définie dans le système de traitement parallèle. C'est aussi un moteur de calcul initial. La ruche est basée sur ce système.

PLUME: Un système de collecte de journaux, le rôle est de collecter, d'agréger de grandes quantités de données de journal à partir de chaque source de données et enfin de stocker.

SQOP: outils pour la transmission de données sous-jacente.

KAFKA: Un système de file d'attente de messages distribuée avec du ventre élevé.

HBASE: une base de données distribuée rétractable prend en charge le stockage de données structuré de grandes tables et les données de stockage HDFS sous-jacentes sont utilisées.

HIVE: Sur la base des outils d'entrepôt de données basés sur Hadoop, les fichiers de données structurés peuvent être mappés sur une table de base de données et fournir une simple fonction de requête SQL pour convertir les instructions SQL en tâches MapReduce. Davantage de tâches hors ligne.

Spark: un moteur de calcul de données Hadoop rapide et universel pour des tâches en temps réel. Également appliqué à l'apprentissage de la machine, au traitement des cours d'eau, etc. 4.2 Type de calcul
Calcul décalé


Le calcul hors ligne est connu de toutes les données d'entrée avant le calcul et les données d'entrée ne changent pas, et en résolvant l'un des calculs. immédiatement après l'obtention du problème. Le temps est ici, il est T + 1, T + 2 ou même T + 7, etc examinez principalement les exigences de priorité de la rapidité des indicateurs.


Calcul en temps réel
Le calcul en temps réel est relativement hors ligne, signifie que la condition de requête n'est pas corrigée, la cible n'est pas claire, mais il y a une grande demande pour le Le vieillissement de la demande de données, il est donc nécessaire d'analyser la requête en temps réel.

L'avantage est que les conditions personnalisées sont davantage, ce qui peut répondre aux exigences de données de l'analyse multidimensionnelle, l'inconvénient consiste à tester le moteur de requête, car la sortie des données est plus courte, et la sortie est déviée et Le temps d'attente est long.

4.3 Moteur de calcul

Selon le développement de l'industrie actuel, le moteur de calcul a évolué à la 4ème génération, et la première génération est MapReduce et se concentre sur cinq types ici.
HIVE: l'introduction précédente à ce moteur de requête, elle appartient en fait au moteur populaire de la 2e génération, il existe toujours un grand nombre d'entreprises à utiliser, principalement mature, peuvent répondre à la plupart des scènes de base des besoins . Cependant, en raison de la grande quantité de données, en s'appuyant sur de nombreux composants, la vitesse de requête est relativement plus lente.
• Spark: Le moteur de requête de la troisième génération actuel peut prendre le traitement des données par lots, compatible avec la ruche, comparé à la vitesse de requête, à une évolutivité élevée.
FLINK: il s'agit du récent moteur de requête de quatrième génération populaire, prenant principalement en charge les données de diffusion en continu et le traitement des données par lots.C'est beaucoup mieux que l'étincelle. Mais la technologie actuelle est relativement nouvelle, ce n'est pas beaucoup plus applicable.
• Druid: Un système de requête de données distribuée rapide en temps réel efficace, qui utilise un cadre de topoop qui n'est pas les trois premiers. Principalement soutenir l'enquête d'agrégation, la requête en temps réel et flexible. Cependant, certains indicateurs d'analyse de données ne sont pas nécessairement pris en charge.
Impala: un moteur de requête de données, qui présente l'avantage de la haute performance, de faible retard (temps réel précis). MaceRuce plus rapide est de contourner la couche inférieure comparée à la ruche. Les requêtes interactives complexes sont également prises en charge.
• Dans l'ensemble, différents scénarios d'affaires ont différentes architectures de calcul, il n'y a pas d'avantageuse, seulement inappropriée.
5. Couche d'application de données
Plusieurs fois, chacun expose souvent est une plate-forme de visualisation de données, telle qu'une plate-forme de rapport BI commune, un grand écran de données, etc est une technologie de visualisation de données entièrement utilisée. Render.
• Quels sont les moyens techniques pour atteindre ces effets?
5.1 Plate-forme de données
Avant d'introduire des techniques visuelles, il faut d'abord dire que ceci est souvent touché, tel que ces graphiques, cartes de réseau, modèles urbains 3D. Pour une seule étape, il s'agit d'un produit à base de plate-forme.
Il existe une grande quantité de statistiques Baidu, ali, amis et défense, etc. (Échantillon: plate-forme de rapport)
(Échantillon: écran visuel)
5.2 Technologie de visualisation


Mise en œuvre de la visualisation des données, en plus des techniques de base de l'extrémité frontale, include également les composants de la technologie graphique liés

5.2.1 Technologie de base de l'extrémité avant Web

Dans la plupart des cas, la technique d'utilisation avant utilisation du cadre est indissociable de cette clé trois langues , nommément CSS, HTML, JavaScript.
CSS: Feuilles de style en cascade en cascade en cascade, est une langue de style de texte, principalement pour l'emplacement du texte, la valeur de la couleur, la police, la taille de la police, etc.
HTML: L'anglais est un nom d'hypertexte de nom complet, la langue de balisage hypertexte. Principalement sous forme de texte, de graphiques, d'animation, de son, de table, de lien, etc. sous forme de texte.
1. JavaScript: Pour le front-end, qu'il s'agisse de texte ou de vidéo, ou d'autres graphiques, c'est un texte. Vous pouvez être atteint par 2 points ci-dessus. Le rôle de Javascript est d'augmenter le mouvement sur ces "texte"Des fonctions efficaces, c'est-à-dire que nos produits disent souvent «interaction», ce produit se reflète dans ce produit pour fournir aux utilisateurs une bien meilleure expérience.
2. 5.2.2 Application technique de visualisation
3. Les techniques de visualisation sont principalement des moyens techniques pour les niveaux de données. Étant donné que cette technologie est très mature, le style de demande dans la plupart des scénarios est corrigé. Cette technologie est donc principalement développée en composants et est généralement open source. Et ici introduit principalement trois fronts communs.
4. Composants: Composant de nom anglais. Le soi-disant composant est en fait un module fonctionnel qui peut être utilisé "multiplexé". Étant donné que le produit est développé à un certain niveau, plusieurs fois sont proches de la conception, le développement tend à se développer dans un ensemble de composants accessibles basés sur l'efficacité, de sorte que chaque fois que vous rencontrez le même type de demande, vous pouvez appeler rapidement.
Par exemple, un histogramme peut définir des emplacements connexes, des formes graphiques et des mises en page. En composant de multiplexage, vous pouvez modifier les paramètres à l'intérieur, tels que la valeur de couleur, la taille, la taille de la police, etc plus flexible et
ECHARTS: une bibliothèque visuelle open source basée sur JavaScript, peut être appliquée sur PC, Terminal mobile et d'autres périphériques, offrant un tableau régulier (diagramme de ligne, histogramme), carte géographique des données, carte relationnelle sociale, Jour croissante et quelques graphismes spéciaux. Echats fournit une grande quantité de données visuelles et prend en charge une personnalisation plus élevée, qui est la bibliothèque d'outils la plus populaire en matière de développement de la visualisation; (URL: https: //www.html)
d3.js: Documents dotés de données complètes, Essence est une bibliothèque JavaScript qui implémente la visualisation des données. Il s'agit donc d'un document qui exploite des données par fonction. Contrairement à JavaScript, D3 est révélant certains des processus complexes en plusieurs modèles de fonction, ce qui peut rendre plus froid graphique, qui peut être détourné dans les graphiques de routine d'origine. (URL: https://d3js.org)
TROIS.JS: Simple établi, il y a trois.js. À travers elle, il peut atteindre des graphismes en trois dimensions, tels que certains modèles architecturaux urbains, modèles humains, etc. Cependant, comme il n'est toujours pas très mature, il existe peu d'informations nationales et les coûts d'apprentissage des documents anglais sont plus élevés. (Site Web: https: //threejs.org/)


5.3 Produits d'application

Analyse des données: Statistiques de Baidu, Amis, Défense, Culture Io et al

Catégories de rapport: Tableau, Quick Bin et al

Visualisation: Ali Cloud Data V, Baidu Sugar et al




Un ensemble complet de systèmes de données implique des aspects. Participer au PM, la responsabilité est également différente. Tout le monde devrait travailler en fonction du travail de base, ne doit pas nécessairement être maîtrisé.

Un produit analytique qualifié de données, une conception des indicateurs de données, une base de données, une requête SQL, un moteur informatique, doit avoir maîtrisé.

En fait, toutes les principales usines ont un ensemble de systèmes de technologie de l'auto-données, accordent plus d'attention aux communautés telles que le CSDN, Tencent Cloud ou Ali Cloud, seront bénéfiques.

Lecture recommandée: "Grande plate-forme de données Evolution Road | Taobao & & Taobao & & Gold & & US Mission" https://cloud.tencent.com/developer/article/1506317

Remarque: le L'article dans cette question implique plus de termes techniques, il est recommandé de lire à plusieurs reprises. Le cadre du système ci-dessus ne contribue à lire que la compréhension et non un diagramme architectural complet.