Maintenant, une variété de nouveaux mots ont une variété de mots sans fin, le dernier étage comporte des villes numériques, des planètes intelligentes, des villes intelligentes, des cerveaux urbains; il existe des transformations numériques, une économie Internet, une économie numérique, une plate-forme numérique; réseau de niveaux de plate-forme, cloud computing , Big Data, 5g, intelligence artificielle, intelligence de la machine, apprentissage profond, carte de connaissances; entrepôt technique, marché de données, grande plate-forme de données, lac de données, station médiane de données, centre d'affaires, technologie, etc vous le chantez Début, toutes sortes de concepts volent ...

Dans le processus de lutte contre de nouvelles économies, il s'agit du trafic des utilisateurs, mais le trafic n'est pas égal aux utilisateurs, les utilisateurs ne sont pas complètement équivalents à la circulation; avec trafic et les utilisateurs sont égaux à l'orthographe du droit de parler. Il en va de même de divers concepts Internet, et les opérateurs financiers ou de communication ne sont certainement pas médiocres des entrepôts de données traditionnels ou de grandes plates-formes de données. Toutefois, ces industries ont la limitation des entreprises appartenant à des États, tout en ayant trop de sécurité, de la vie privée, Exigences de stabilité, utilisateurs vides et données, mais il est difficile de jouer le rôle de externe, conduisant au faible secteur des technologies de l'information. Les sociétés Internet dépassent de loin les autres industries de la flexibilité, de la technologie, des avantages économiques des données et modérés Tolérance, alors ils méritent également d'explorer.

Le lancement du nouveau nom doit être accepté par le public. Derrière qu'il est nécessaire de dire le droit de dire, et le but n'est que les avantages, ni n'excluent l'individu techniciens. Bonnes idées et intentions originales.

Retour au corps, peu importe quoi dire, le concept de données dans les données a progressivement licencié, mais quelles sont les données dans les données?

1, la plate-forme centrale de données est agrégée et régissant les données croisées et l'abstraction de données est encapsulée dans des services, fournissant le concept logique de la réception avec une valeur commerciale.

2, Data 3 est un mécanisme que "plus de données à utiliser" durables, un choix stratégique et une forme organisationnelle est basé sur le mode commercial unique et l'architecture organisationnelle, le support par des produits et une méthodologie tangibles, Construisez un ensemble de mécanismes qui continuent de transformer des données en actifs et de servir leur entreprise.

3, Data Connexion de l'espace Middle Connexion Données de la réception et de l'arrière-plan, des limitations de données révolutionnaires, fournissant des sociétés avec des services d'excavation plus flexibles, efficaces, à faible coût, éviter les entreprises de se rencontrer spécifiquement, une certaine donnée Exigence d'analyse, un grand nombre de coûts de développement de données répétitifs élevés.

4, Data 3 signifie la collecte, le calcul, le stockage, le traitement des données massives via la technologie de données et une norme et un calibre unifiés. Une fois les données unifiées, il formera des données standard, puis stockera, former une grande couche d'actif de données, qui fournit des services efficaces aux clients.

5, la plate-forme intermédiaire de données, y compris les plates-formes, les outils, les données, les organisations, les processus, les spécifications, etc. et comment utiliser les actifs de données d'entreprise.

Le concept ci-dessus consiste à rechercher et à la copier à partir d'Internet. En général, la plate-forme intermédiaire est également bonne, les données sont maintenues, et il reste une définition standard, seule la compréhension Du côté littéral, la station médiane de données consiste à résoudre le problème de la manière d'utiliser des données. Puisqu'il s'agit d'un concept, les données ont également reçu de nombreuses extensions d'expansion, mais augmentent également de collecte, de calcul, de stockage, de traitement et de traitement des données. Gouvernance des données. Cela a produit de grandes chevauchements avec de grandes plateformes de données traditionnelles; la grande plate-forme de données est développée à partir de l'entrepôt de données. Quelle est la relation entre les trois?

J'ai été engagé dans la divulgation de l'industrie des entrepôts de données pendant environ cinq ou six ans et que l'architecture de conception intégrale et la mise en œuvre du projet responsable de la grande plate-forme de données sont également de quatre ou cinq ans d'expérience. De l'entrepôt de données traditionnel à l'ensemble du processus de la grande plate-forme de données, y compris le premier marché de données MPP, le premier projet de cluster Hadoop, le premier projet de traitement de données en continu, la première grande plate-forme de données de données complète, la construction de la convergence de la Mélanger et se conformer, la migration de la grande plate-forme de données, etc la grande plate-forme de données que j'ai connue n'est pas petite à partir de l'échelle et la quantité de données est de près de 20 t par jour (environ 10T en temps réel), le cluster total est d'environ 300 jeux (là-bas dans le nœud Hadoop), la capacité totale est d'environ 8%, la capacité d'utilisation réelle est d'environ 5p; y compris la reconstruction de l'entrepôt de données au modèle de données de la plate-forme de données de grande taille, l'expansion du modèle de données; également inclus les grandes données; La plate-forme fournit une variété de planification et fournit des applications de données importantes. Par conséquent, les avantages et les inconvénients de l'entrepôt de données et de la grande plate-forme de données, les problèmes, les doutes, les instructions de développement, ont également certaines cognitions, y compris la direction du développement des nouvelles parties, combinées à leur propre expérience, parlent de leurs idées.

Selon la définition classique, l'entrepôt de données est un sujet, intégré, relativement stable, reflétant la collecte de données pour les changements historiques, est utilisé pour soutenir les décisions de gestion. Du point de vue des données, l'entrepôt de données est plus approprié pour la base de données traditionnelle, la collecte hors ligne, les données sont généralement structurées et la quantité de données n'est pas facile de dépasser la tuberculose quotidienne. L'entrepôt de données est généralement dans des centaines de dizaines de dizaines de dizaines de dizaines de dizaines de dizaines de dizaines de dizaines de dizaines de dizaines de dizaines de dizaines de cent t, et l'entrepôt de données est généralement satisfait. L'application de la vie répond bien sûr à une analyse de soutien à la prise de décision interne avec les données d'entrepôt de donnéesLes exigences augmentent, l'entrepôt de données s'améliore constamment, de l'ETL à une seule machine à l'ETL à la machine et de la petite machine traditionnelle + dB, au serveur PC + DB distribué, la gestion des données est progressivement augmentée, de la gestion des métadonnées à la gestion des métadonnées. Gestion de la qualité des données, puis à la gestion des données de transport et au contrôle de la sécurité des données, mais en fait, la richesse maximale laissée par l'entrepôt de données aux entreprises est le modèle de données d'entreprise, et ces modèles ont changé constamment. Ajout constamment enrichi. et amélioré, même si le système n'est plus, il peut être reconstruit à court terme, ce qui constitue également une raison importante de la grande plate-forme de données de construire rapidement.

La grande plate-forme de données fait référence à un ensemble d'infrastructures principalement basées sur la scène de stockage massif de stockage, de calcul et de calcul de données de flux, y compris un centre d'acquisition de données unifiées Calculs de données et centres de stockage , centres de gouvernance de données, centres de contrôle de l'exploitation et de maintenance, centres de partage ouverts et centres d'applications. La raison pour laquelle la grande plate-forme de données peut être construite, non sur les causes internes et les causes externes, les causes externes sont les exigences de réforme de la porte du prisme, l'émergence de matériel de matériel étranger et une technologie open source distribuée, et une autre "aller à OE". ou non "a-t-il été élaboré, n'est plus décrit; l'intra en raison de la pression de calcul et de stockage des données en temps réel non structurées et des données massives, et la société espère également que de la grande plate-forme de données, en plus de Répondre à la demande interne, il peut également atteindre un revenu étranger donné.

Le point de départ de la grande plate-forme de données consiste à économiser des coûts de réduction des investissements, mais en fait, quelle que soit la distance d'investissement matériel ou du développement de logiciels, elle est bien plus que la construction des données Entrepôt, un grand nombre de combinaisons de matériel et de diverses technologies open source a augmenté la difficulté de la R & D, la mesure de la période de déploiement, la complexité de l'exploitation et de la maintenance, et l'investissement dans la main-d'œuvre a été plusieurs fois; il y en a beaucoup Difficultés techniques de briser la soirée. Cependant, peu importe la taille de la plate-forme de données encore construite, la capacité du personnel augmente. La grande plate-forme de données résout des données massives, l'informatique et le stockage de données en temps réel, mais réalise également la reconstruction basée sur le modèle de données d'entreprise d'origine, mais font également face à une série de problèmes.

Le premier est le problème d'application des données, si l'entrepôt de données est toujours une grande plate-forme de données, contient des données de couche d'interface, des données de la couche de stockage, un résumé léger, un résumé grave, des données de couche modèle , Signaler les données de la couche, etc il existe des milliers de tables, ces épisodes sont un traitement intermédiaire, certaines sont des déclarations ponctuelles et la cohérence des données et le calibre entre différentes tables seront également différentes. Et différents champs sont différents des exigences de sécurité des données. En outre, envisagez la gestion de la sécurité des ressources du multi-locataire. Comment rendre les développeurs internes rapidement Obtenir le catalogue d'actifs de données requis, comment lire des données associées à partir de la mise en œuvre rapide, comment la mise en œuvre rapide n'est pas la semaine au début du début. jours de la grande plate-forme de données; un autre problème est une application externe, avec l'application de la grande plate-forme de donnéesConstruction, chaque application externe utilise une base de données unique, plus le mode de construction d'applications unique, compte tenu indépendamment la sécurité du réseau, la sécurité des données, le partage de la sécurité, passant progressivement à la route de développement comme la cheminée.

L'entrepôt de données met en œuvre la construction du modèle de données d'entreprise et la grande plate-forme de données résout le calcul et le stockage des données massives et en temps réel. Quelles sont les données dans les données? Donnez des informations sur les autorisations sécurisées, rapides, minimales et les problèmes traçables qui sont recherchés et appliqués rapidement.

Les données contenues dans les données ne doivent pas être un calcul excessivement de la plate-forme de charge, un stockage, des tâches de traitement, mais doivent être placés dans la résolution de la construction et du stockage des modèles logiques d'entreprise, des normes de données. Établir, Répertoire de données, définition de la sécurité des données, actif de données ouverte, construction de cartes de connaissances, via une série d'outils, d'organisations, de processus, de spécifications, de la mise en œuvre de la connexion avant et d'arrière-plan, des limitations de données révolutionnaires, fournissant des données plus flexibles, efficaces et peu coûteuses Analyse des services d'excavation, afin d'éviter les coûts de développement des données pour les entreprises pour répondre à un grand nombre de données à coût élevé, à la répétitivité et aux données reproductibles.

Plate-forme épaisse, plate-forme grande et moyenne, petite réception; il n'y a pas de grande plate-forme de données avec une base solide, il est impossible de créer une puissance de données solide et des données puissantes. Il n'y a pas de Big Data Middle Bureau et la petite réception pour construire rapidement un petit esprit n'est que idéal.

Je pense que c'est l'intention initiale des données. Ce qui suit est un matériau d'architecture sommaire pour les entrepôts de données, les grandes plateformes de données et les données. C'est également un résumé et la pensée de lui-même, comprenez le texte précédent et il n'y a pas besoin de diverses architectures derrière. Plus de détails.