L'entrepôt de données peut être envisagé par des produits de données et dans la recherche d'emploi de données de données, l'entrepôt de données peut être un endroit dans cet élément dans la recherche d'emploi du produit de données.

Toutefois, pour les chaussures pour enfants prêtes à la recherche d'emploi, des amis qui n'ont pas été développés autour de vous pouvez demander. L'auto-étude, et que quelques livres classiques sont trop théoriques, ce n'est vraiment pas aussi bon que la mort et les produits de données ne sont pas de développement de données, et certains d'entre eux peuvent connaître un bon sens, il y a un concept probablement.

J'ai aussi beaucoup de connaissances dans ce domaine. J'ai combiné dans ces deux jours, formant ci-dessous, j'espère que tout le monde peut aider, les développeurs numériques non professionnels, s'il y a une place inexacte, j'espère que tout le monde est correct .

Quel est l'entrepôt de données?
Trois, pourquoi construire un entrepôt de données
quatrième, structure de l'entrepôt de données
V. ETL
V. ETL
. Marché des données
8, Métadonnées

1. Quel est l'entrepôt de données
, il peut être compris comme suit:

En tant que système de stockage analytique.

C'est-à-dire que le nombre enregistre les données et les différentes données de l'entreprise sont à l'intérieur. L'objectif principal est d'analyser efficacement les données, suivi en fonction de sa production de Les données relatives à l'exploitation minière analytique ou à une application de données nécessitent des données, telles que des rapports analytiques d'entreprise et diverses déclarations, soutiennent les décisions commerciales.
La signification de ce qui précède est d'abord comprise, puis, de la tête, examine d'abord la base de données relationnelle, elle peut être divisée en deux types de base:

Base de données d'exploitation et base de données analytique. 1. Base de données d'exploitation

Principalement pour les demandes de soutien aux entreprises, le traitement de la prise en charge des services réels ou une base de données d'entreprise.

Il peut être compris comme une base de données commune (qui est souvent mentionnée dans la classe de développement en arrière).

2. Base de données analytique
Principalement pour l'analyse des données, axée sur le soutien à la décision, en tant que magasin de données distinct de la Société, responsable de l'utilisation de données historiques pour effectuer une analyse statistique du domaine de la société.
Étant donné que les opérations de la base de données analytique sont des requêtes, il n'est pas nécessaire de respecter strictement certaines spécifications de conception de la base de données relationnelle, de sorte qu'il ne soit pas trop approprié, il est facile de causer une confusion. Par conséquent, il est appelé un entrepôt de données.
Ici, vous pouvez dire que le traitement des données peut être approximativement divisé en deux classes principales:

OLP (traitement de la transaction en ligne) et OLAP (traitement de l'analyse en ligne).

OLTP (transaction en ligne) est la principale application de la base de données d'exploitation, plus se concentre sur le traitement de la transaction quotidien de base, y compris les données et la déduplication. OLAP (Analyse en ligne) est la principale application de la base de données analytique, analysant les données de manière multidimensionnelle, qui suit.

Quelles sont les caractéristiques de l'entrepôt de données

par rapport à la base de données, l'entrepôt de données a les caractéristiques suivantes

(1) faire face au sujet

L'entrepôt de données charge les données de plusieurs systèmes d'entreprise ensemble via un domaine de sujet et est construit pour une analyse de chaque sujet (tel que l'utilisateur, la commande, les biens, etc.) et la base de données opérationnelle est de supporter divers services. Établir.

(2) Intégration

L'entrepôt de données sera avec les données dans différentes bases de données Source.

(3) historique

Par rapport à la base de données de type d'opération, les données de l'entrepôt de données sont établies pour l'analyse des données d'entreprise. Les données seront donc généralement chargées. Après une longue Temps, le premier sauve généralement pendant quelques mois et ce dernier peut être plusieurs années voire des décennies.

signifie que l'entrepôt de données contient des instantanés de données provenant de différentes périodes de temps de leur temps. Après ces instantanés de données, l'utilisateur peut-il résumer, générer des données Rapports d'analyse dans chaque étape historique.

(5) Stabilité

Les données de l'entrepôt de données n'effectuent généralement que des opérations de requête, rarement supprimées et mises à jour. Mais vous devez charger et rafraîchir les données.

Troisièmement, pourquoi construire un entrepôt de données

, il est d'analyser efficacement les données.

Direz-vous que vous pouvez prendre des données directement à partir de la base de données d'entreprise?
n'est pas qu'il y ait plus de systèmes d'affaires. Lorsque l'entreprise est complexe, elle constatera que la structure est complexe, la saleté de données, difficile à comprendre, manque d'historique et à une requête à grande échelle.
Business à une certaine échelle, les problèmes que vous devez affronter sont plus compliqués et plus approfondis, la demande des données n'est plus que des revenus d'hier, des UV du mois dernier, mais des femmes âgées de 28 à 45 ans dans le Communauté La relation entre activités de contenu actif des activités de planification de la société », ce type de raffinement est difficile à supprimer de la base de données.

Après tout, la base de données d'entreprise consiste à prendre en charge la conception des entreprises, à ne pas interroger et analyser les données.

Quatrièmement, la structure de l'entrepôt de données

a peint un diagramme de structure avec axure, comme suit: c'est simplement, c'est-à-dire la source de donnéesLes données ETL au numérique, le numérique est intégrée et statistiquement pour des données, puis la génère à chaque application de données, les modules impliqués dans la figure et seront introduits séparément.

Cinq, ETL

ETL représente:

Extraction d'extraction, convertir la transformation, chargez la charge.
(1) L'extrait
extrait les données spécifiées de la source de données, les données sont requises, toutes les données à extraire, certaines données de source ne sont pas une valeur pour l'analyse, ni la Valeur Il peut générer, ce qui est bien inférieur au coût de la mise en œuvre et de la performance de l'entrepôt de données requis pour stocker ces données et ne sera pas extraite.
(2) La transformation

convertit des données à un format spécifié et effectue le nettoyage des données pour assurer la qualité des données.

Conversion de données, telle que comprenant la conversion de codage (m / f- & gt; mâle / femelle), conversion de champ (balance-gt; BAL), la conversion de l'unité de mesure (CM- & GT; M), Conversion de la taille des particules de données. Les données du système d'entreprise stockent des données très détaillées et des données dans l'entrepôt de données sont analysées, il n'est pas nécessaire de décharger des données du système d'entreprise en fonction de la taille des particules de l'entrepôt de données.

Nettoyage des données, tels que le nettoyage des données incomplètes, des données d'erreur et des données en double, etc. (3) Chargement (charge)

Chargement des données converties dans l'entrepôt de données cible, le chargement peut être divisé en deux:

. Montant Chargement:

Chargez toutes les données à la fois.

Chargement incrémentiel:

En général, la première charge est requise, mais elle est toujours chargée au deuxième cycle ou au troisième cycle, il faut de grandes ressources physiques et temporelles. Il est possible que certaines sources de données ne changent pas et certaines sources de données ne puissent augmenter qu'une petite quantité de données. Les données de la source de données ne considère que le nouvel enregistrement modifié et les enregistrements nouvellement insérés sont le chargement progressif.
ETL est susceptible d'être un lien avec la plus grande ressource fastidieuse dans le développement de l'entrepôt de données, car le lien doit organiser des données désordonnées dans les principaux systèmes d'entreprise et coordonner les différences de métadonnées, le montant est très important, Mais c'est également une partie importante de la construction d'un entrepôt de données, relativement importante pour les liens ultérieurs dans l'entrepôt de données.

6. Marché des données

Le marché des données (DM) peut être compris comme un «petit entrepôt de données», confronté généralement au département, un sujet unique ou une application spécifique, et entre le film.bague. Peut être divisé en ce qui suit:

Marché de données indépendant:

a sa propre base de données source et une architecture ETL ATL; Marché de données non indépendant:
Sans ses propres données source, ses données proviennent de l'entrepôt de données. Lorsque l'utilisateur ou l'application n'a pas besoin de / inutile / ne permet pas d'accéder à l'ensemble des données numériques, vous pouvez accéder directement au marché des données et fournir à l'utilisateur un "sous-ensemble" d'un entrepôt de données.
La compréhension simple est qu'une structure est complètement et un numérique, il y a ETL, puis stocke et calcule eux-mêmes; l'autre doit utiliser les données traitées avec une intégration numérique, encore une fois combinant intégration . Il peut être mieux compris que les données sont liées plus tard.

Sept, ODS

ODS:

Le nom complet est le magasin de données opérationnelles, le stockage de données de fonctionnement.
Les données après la stockage de la base de données commerciales majeure sont stockées est une couche de données dans la source de données, et l'objectif principal est de se concentrer.
La plupart d'entre eux sont classés en fonction de la classification des systèmes d'entreprise source, il existe donc une base de données d'entreprise distincte, et même avoir une certaine forme de paradigmes de données dans la base de données relationnelle.

Cependant, il n'est pas équivalent aux données d'origine et le format de données est unifié conformément au numérique numérique et est simple à nettoyer. Huit, Metadata
Métadonnées, les données des données, les métadonnées peuvent être divisées en métadonnées techniques et en métadonnées de service. Les métadonnées techniques permettent de développer et de gérer des entrepôts de données, décrivent les données relatives au développement, à la gestion et à la maintenance des entrepôts de données, y compris les informations de source de données, la description de la conversion de données, le modèle d'entrepôt de données, le nettoyage des données et les règles de mise à jour, cartographie des données et accès .
Les métadonnées de l'entreprise sert des services de gestion et d'analystes d'affaires, du point de vue des entreprises, y compris les conditions commerciales, des données, des entrepôts de données, de l'emplacement des données et de la disponibilité des données, etc aident les hommes d'affaires mieux quelles données sont disponibles dans le Solution géographique des entrepôts de données et comment l'utiliser.

L'écriture ici, a constaté que le contenu a été, comme un modèle numérique, une superposition de données, OLAP et BI pour le laisser à nouveau.
Tenez un rapport d'analyse de données, a gravi 3 données l'année dernière, qui est prête à écrire trois rapports de données. Après avoir écrit une une, il n'y a plus de plus en dessous, et cela repassera l'heure précédente. Au moins, écrivez-en un, bien que je n'ai pas encore commencé un stylo.