1. Les informations de base des plates-formes de données grandes comprennent

1.1 Couche de données d'interface ODS
Zone de données temporaire, Stockage du journal, Membre, Equal Source System Extraction Données commerciales. Ici, les données de table extraites de la base de données d'entreprise sont principalement stockées.

1,2 DW Data Warehouse Couche de base de données

Zone d'enregistrement du système, stockée à partir de SAO, de nettoyage et de conversion de données de base après le nettoyage et la conversion, les données commerciales critiques conservent l'historique.

1,3 DS Data Warehouse Couche de données publique
Zone d'enregistrement du système (résumé légèrement), stockée de DW à intégré, de bonnes données d'indicateur agrégées agrégées, des données d'entreprise clés maintiennent l'historique. L'entreprise n'est pas compliquée et elle peut être directement de DW à la couche DM sans cette couche.

1.4 Couche d'application de l'entrepôt de données DM

Zone d'enregistrement du système (Résumé élevé), stocké à partir de DW / DS après des données d'application agrégées élevées, l'application est préservée dans l'historique des données. Cette couche est utilisée pour stocker les données finales après traitement.

1.5 Database de ruche
Dans le même temps, il y a aussi: ODS, DW, DM, DM, bien sûr, il existe d'autres bibliothèques telles que TEST, TEMP, etc.


2. Spécification de nom

2.1 ODS ODS_ Source Table_ "Environnement Source"

2.2 DW DW_ Domaine thème _ Domaine d'expansion _ [ Cycle de traitement] _ [Classification de la table]

2.3 DS DS_ Domaine du sujet _ Word d'expansion _ [Cycle de traitement] _ [Classification de la table]

Dur Développer Word _ [Cycle de traitement] _ Classification
Règles de nommage de la table temporaire:
TMP_ & LT; cible indique et gt; _ Numéro de série

3. Date de planification Règles de la fonction correspondante:

Spécial ATTENTION: hive脚本预定义日期变量及引用 --hivevar bizdate=20180516--hivevar yyyy-mm-dd=2018-05-16--hivevar start_time=20180516--hivevar yyyymm=201805--hivevar yyyy-mm=2018-05--hivevar bizdate-2=20180514--hivevar bizdate-1=20180515--hivevar yyyyww=201820--hivevar bizdate-90=20180215--hivevar yyyymm-1=201804 BizDate définit uniquement BizDate_1, BizDate-2 et BizDate-3 ne supporte pas, doivent être adoptés:

Création de la table temporaire "peut Soyez concomitant, mais seule l'intimité à l'intérieur du script de table simple, d'autres scripts n'existeront pas »

WHERE dt BETWEEN regexp_replace(date_sub('${yyyy-mm-dd}',7),'-','') AND regexp_replace('${yyyy-mm-dd}','-','')