Une, quelle est la base de données d'orientation numérique numérique, quelle est l'orientation numérique

. Les moyens techniques du numérique

numériques traditionnels sont généralement des solutions convenues dans le domaine du logiciel de base de données relationnelle
Grandes données, généralement nécessaires pour utiliser de nombreux composants techniques pour déployer différents liens
en utilisant des HDF à stocker Utiliser une étincelle, MapReduce et FLINK est l'outil de calcul sous-jacent
à l'aide de la ruche ou de l'étincelle SQL, sous la forme de moteur SQL
, il existe également un outil de départ interne pur / Presto,

Sélection technique

Matériau de l'arrière-plan de stockage: FLUME
Plate-forme de stockage: HDFS
Infrastructure: HIVE
Opération d'opération: Mapreduce / Spark
Planification des ressources: Fiber
Tâche Calendrier: Azkaban
Données de gestion: Atlas
OLAP Moteur: Kylin / PRESTO (ou CLICKOUS

Interface avant: Superset

Quatrièmement, la collecte de synthèse de données (journal de comportement)

Diarrière de comportement de l'utilisateur
L'application a un petit programme
Terminer Wechat Terminer
Le journal de comportement Terminé Site Web
Données
Nom de domaine commercial (Statistiques relatives à la commande)
Domaine de marketing (coupon, promotion)
Membres des membres (Niveau des membres, Statistiques des consommateurs membres)

5. Création de données

Journal du comportement: point final (borne terminale, extrémité de séquence WECHAT, Web), créée dans des fichiers de disque dans Diary Server

Données métier: Système commercial créé, est généralement créé dans la base de données du système d'entreprise ]

Six conception en couches

La fiche technique de l'entrepôt de données est généralement décentralisée, la hiérarchie

appelée décentralisation, spécifique consiste à effectuer un grand nombre de tables de données. Selon certaines règles et définition

des pièces logiques

Classe des annonces: Service d'application de classe

DWS Classe: Daro Services / Résumé (léger)

Classe DWD: Classe Ming Digang

SAO: Données de fonctionnement (la plupart des Données originales) (Classe de localisation [Couche de localisation

Classe DIM: Panneau de commande de stockage

Classe ODS: Tableau après la source de données ETL externe au coefficient numérique

DWD Classe: Dépôt numérique, généralement le La table de la classe ODS est traitée et divisée par sujet; les tables de cette classe sont une couche détaillée

DWS Layer: Classe numérique

Couche d'annonce: Couche d'application, principalement un certain nombre de rapports de résultats

Signification de la classe:

Effacement de la gestion des données! Activités supérieures! Développement des besoins plus rapides! Séparation facile des entreprises de base (données) Changements!

]

Sept, interprétation détaillée Classe ODS Contenu de données: Format de stockage du journal d'origine des collectibles de PLUME Format de stockage: Stockage Temps de rétentionKson au format JSON: Vendre cinq Classe DWD Contenu de données: Données détaillées plates après traitement ETL dans les données de classe ODS Format de stockage: Stockage au format de fichier Orc / Parquet Temps de stockage: Semi-anear Classe DWS Contenu de données: sur demande d'analyse des sujets, données après la polymérisation de la lumière du format de stockage DWD : Archive Cycles de stockage au format de fichier Orc / parquet: un an Contenu de la couche : Selon le personnel des entreprises, le rapport est calculé à partir du format DWS Storage : Archive Temps de stockage dans les fichiers Orc / Parquet: Trois ans Dim CLASSE Différents points de stockage