Préface

À propos de la construction de données de l'entreprise, j'ai été engagée dans près de 7 ans, de la technologie à la gestion de projet, j'ai fait la fête B et j'ai vécu l'expérience de nombreuses années et partie B . Expérience, partager la sélection "Insider".

Les produits concernés comprennent: la plate-forme numérique, la grande plate-forme de données, le rapport, la BI, la table de données, la gouvernance des données, etc.

L'entrepôt numérique est une solution, en fonction des besoins de la société, il existe différentes architectures (marché numérique traditionnel, marché des données, grande plate-forme de données, etc.) Il existe de nombreuses couches et composants sous la L'architecture et la capacité d'architecte est plus nécessaire que les outils. En ce qui concerne la sélection du numérique, la sélection du nombre est principalement impliquée:

Schéma de stockage de données, ETL et application frontale
.

Le serveur d'entrepôt de données sous-jacent est généralement un système de base de données relationnelle et les scénarios couramment utilisés incluent Oracle, DB2 et Greenplum, Teredata et d'autres solutions professionnelles de l'entrepôt de données.

Les bases de données relationnelles traditionnelles sont les suivantes: Oracle, MySQL, DB2.

Base de données de traitement parallèle à grande échelle: Vertica, Teradata (Business), Greenplum.

Vieux rivières et lacs de Teradata, l'industrie bancaire est davantage, mais le coût est également très coûteux. À l'heure actuelle, nous avons utilisé Greenplum, qui est l'industrie la plus rapide et la plus élevée dans l'industrie. La solution d'entrepôt de données haut de gamme rentable, Greenplum est basée sur PostgreSQL et est ouverte en 2015. Je sais qu'il y a 3 lignes nationales de quatre lignes et 5 entreprises logistiques ont quatre personnes en cours d'utilisation et de nombreuses entreprises migrent de Teradata vers GP.

Le courant dominant de la grande plate-forme de données est: Hadoop + Hive. Cet ensemble de schémas a plus commun à en dire plus, et les fabricants de plate-forme de données qui ont été signalés plus tard sont basés sur cela pour concevoir les produits de la plate-forme.

Outils d'ETL, bouilloire, table et PTHAO sont utilisés.

Talend: Basé sur Eclipse, elle a une bonne évolutivité, une bonne évolutivité, une bonne évolutivité (vous pouvez développer vous-même des plugins Eclipse) et obéir à la norme Eclipse (telle que la structure de répertoire de fichiers), c'est la structure familière aux programmeurs). Tale a de bonnes intégréesSexe, car il génère un code Java, qui peut être combiné à d'autres systèmes, qui nécessite l'utilisateur Java.

PTHAO est un ancien outil. En 2001, la première version a été publiée. Kettle est un composant de la solution complète de PTHAO pour l'intégration des données. Il est également basé sur le développement Java, mais il ne nécessite pas que les utilisateurs soient Java, masquez les détails de la mise en œuvre sous-jacents. Le principal inconvénient est qu'il a une mauvaise évolutivité par rapport à Talend. Comme il est difficile à extension, les composants disponibles dans la communauté sont relativement petits. L'outil d'application frontal est principalement des rapports, des mines bi et des données, et la première sélection sera décrite plus tard.

Big Data Plat-Plate-forme

En 2013, le système Hadoop s'est constamment amélioré, marquant le scénario d'application de données Big Data peut être satisfait. À l'heure actuelle, certaines entreprises ont commencé à faire de grandes plates-formes de données. Les fabricants sont très nombreux et le grand public est trois, Huawei, la bague Star est également Xinhua trois.

Ces fabricants ont également commencé à aller au concept de "Data Middle" dans ces années. Cependant, après tout, c'est un fabricant de logiciels traditionnels. Je ne sais pas grand chose de la "plate-forme intermédiaire" mentionnée par Internet Corporation. Il semble qu'il n'y ait aucune différence entre les grandes plateformes de données qu'ils font.

En fait, toutes les grandes plateformes de données ont les capacités de base du "support de données". Vous prenez la plate-forme de produit et les données dans les données. En fait, diverses architecture et fonction sous-jacentes sont Généralement la même chose. Pour la plupart des entreprises, le MTD est toujours adapté au "propriétaire riche" de la banque d'opérateurs Internet, "Data Giant" et la scène moyenne réelle met l'accent sur le service de données. Cependant, plusieurs entreprises ordinaires atteignent vraiment cette la douleur, ou le vieil homme fait la gestion des données.

Si votre entreprise dispose d'un système d'entreprise prié, la quantité de données atteint le niveau PB, le stockage massif de données, les besoins de calcul, trois choix intérieurs, comparer le plan.

Il en est encore très peu et le courant dominique domestique est doux FineRePort et est sec, et c'est un cristal très chaud. Le rapport récemment vu, Et il y a aussi beaucoup d'outils open source jaspèreport.

Sélection, petites entreprises ordinaires, 1 ~ 2 travailleurs de données, il est recommandé d'acheter une plate-forme de rapport, ne pas avoir à se précipiter vers BI. Soft FineReport est complet, écologique et service est très bon et les ingénieurs de formulaire déclarant sont également meilleurs.Truc, le prix est légèrement coûteux que les autres fabricants, la marque et la prime de service peuvent également comprendre, après tout, Top1 domestique. Run Sec a été à prix réduit par la voile molle, il est connu comme un ensemble de milliers de dollars, il devrait également être effectué par une concurrence, il n'est pas considéré comme un service et une mise en œuvre du projet, la Partie B peut considérer.

BI Platform

BI est un marché étranger dans le monde, Bo, Brio, Cognos, Mstr, etc Bo, Bi Bi Vendeurs, j'utilise leurs produits quand je le fais technologie pure. Il n'est pas trop rentable selon les utilisateurs de produits +. L'architecture est également vraiment compliquée et il est très difficile de comparer le style d'utilisation des produits de l'ère Internet.

Le marché intérieur précoce n'a que des rapports, mais les grands nombres bi-liés ont été monopolisés par des fabricants étrangers, mais la demande de BI derrière sera de plus en plus évidente et le développement de De même, l'industrie de l'informatisation, la demande de petites et moyennes entreprises s'est progressivement révélée. Donc, le pays commence également à développer BI, telle que les voiles bi, BDP, etc. Il n'y a pas de différence entre les choses, le prix est plus beau que l'étranger, et il est fondamentalement limité au serveur, ne limite pas le nombre d'utilisateurs, comment utiliser OK. Plus tard, Tableau, les produits Type d'outil de Powerbi ont tiré de nombreux utilisateurs personnels qui étaient soutenus, mais ils étaient vraiment faciles à utiliser, mais dans le scénario d'application d'entreprise, ils dépendent de la performance et de la concurrence, ils verront des personnes.
Cependant, utilisez BI, ce n'est pas 2,3 personnes et doivent être construites, puis diverses visualisation, analyse multidimensionnelle, etc. Il y a donc un poste d'ingénieur de port, ingénieur ETL, un ingénieur BI. Bien sûr, si vous êtes un bétail, une personne est négociée et de nombreuses unités font effectivement.

Chine grande entreprise, il est recommandé d'acheter le système BI, quel système numérique, système indicateur, rapport fixe, analyse multidimensionnelle, visualisation des données, c'est tout. Il y a plusieurs personnes dans la période de construction, et elle est très confortable après la construction et si l'entreprise est corrigée, il est correct de garder deux personnes.

Le concept de "plate-forme intermédiaire" est Ali Promotion. Ali a appris cela de SuperCell, puis promu au pouvoir interne de Ali. "Le support de données TA" est également promu à cette époque. Par conséquent, les principaux fabricants sont toutes des entreprises d'Ali. Les nuages kangourou, chuchent des nuages chanteurs sont toutes des sociétés fondées par Ali's P9 et la technologie est presque. Le Kangaroo Cloud est l'équipe Ali DBA, comparée au voleur, bien attaché à Ali, à des ordres Ali, à des nuages kangourou, suivez-le. Le numéro est l'équipe de produits Ali, la conception du produit est plus qu'ose et la promotion est également très bonne, l'entreprise a effectué le vent. La légendaire Point Cloud est l'entrepôt numéroté d'Ali et plusieurs équipes sortent.Il semble qu'il n'y ait pas de top deux forts et il n'y a pas beaucoup de contact. (Numérique est le produit d'Ali)

Si votre entreprise est complexe, la quantité de données est énorme, la clé est un certain nombre de scénarios d'application client dans les entreprises et l'interaction des données est faible. Besoin de beaucoup de découverte de la valeur des données clients, la demande est également très urgente et on peut envisager d'étudier le programme de la plate-forme intermédiaire.

1. La plate-forme de rapport résout un grand nombre de traitement par lots de rapports fixes, des rapports d'automatisation, d'une impression et d'informatique de support, etc. Résolution des ingénieurs de rapport peuvent l'obtenir.

2, la plate-forme BI consiste à augmenter la capacité de résoudre l'analyse multidimensionnelle, rapports de requête en libre-service sur la plate-forme de rapport, nécessite le nombre de supports de données nationaux et que l'ingénieur de la BI est nécessaire pour Définissez chaque taille, dimension, effectuer une analyse multidimensionnelle; ne pas avoir une instruction fixe;

3, la plate-forme de données Big Data est basée sur la plate-forme BI pour résoudre le stockage, le calcul et le calcul de calcul en temps réel. ; Pas besoin de faire attention au stockage massif de données, au calcul, au calcul en temps réel de la masse sous-jacente; besoin d'augmenter les gros ingénieurs de données pour maintenir la maintenance des clusters, sur la base de divers efforts de développement des grandes plateformes de données.

4, la station centrale de données est basée sur la grande plate-forme de données, fournissant un identifiant, un modèle unifié, un service unifié, une étiquette supplémentaire, une analyse de l'utilisateur et une autre fonction de propriétés Internet partielle. Le personnel doit augmenter le gestionnaire de données dans les données, d'autres travaux sont toujours complétés par les gros ingénieurs de données, les grands analystes de données.

5, la capacité de gestion des données commence à partir de la plate-forme BI, qui est constamment améliorée dans les grandes plates-formes de données et les données. Donc, la plate-forme BI, la grande plate-forme de données et les données de données dans les données sont la gouvernance des données. Le concept et la capacité des actifs de données et de la facturation sont également ajoutés dans la station médiane des données.