Préface:

Ceci de haut en bas met l'accent sur l'ère de la transformation numérique, de plus en plus d'entreprises attachent de l'importance aux données, et de plus en plus de sociétés ont des besoins de construction de données.

Si vous effectuez un travail de données, les entreprises doivent avoir une base d'informations donnée, mais ont également la base de la construction de données, moins de la plate-forme de données, de l'outil d'application de données, de l'outil de gestion des données, etc.

À propos de la construction de données d'entreprise, j'ai été engagée dans près de 7 ans, de la technologie à la gestion de projet, j'ai fait la partie B et j'ai été informé depuis de nombreuses années et j'ai connu une expérience d'expérience dans le traitement. avec la fête B et partager la sélection. "À l'intérieur".

Les produits concernés comprennent: la plate-forme numérique, la grande plate-forme de données, le rapport, la BI, la table de données, la gouvernance des données, etc.
1. L'entrepôt de données est une solution, en fonction des besoins de l'entreprise, il existe différentes architectures (marché numérique traditionnel, grande plate-forme de données, etc.), il existe de nombreuses couches sous l'architecture. Et les composants, comparés Pour les outils nécessitent des capacités d'architecte, ne parlez pas des principes spécifiques.
En ce qui concerne la sélection du nombre de ports, principalement impliqués: des systèmes de stockage de données, des applications ETL et des applications frontales.
Le serveur d'entrepôt de données sous-jacent est généralement un système de base de données relationnelle et les scénarios couramment utilisés comprennent Oracle, DB2 et Greenplum, Teredata et d'autres solutions professionnelles de l'entrepôt de données.
Les bases de données relationnelles traditionnelles sont les suivantes: Oracle, MySQL, DB2.

Base de données de traitement parallèle à grande échelle: Vertica, Teradata (Business), Greenplum.

Les anciennes rivières et les lacs de Teradata, l'industrie bancaire est utilisée, mais le coût est également vraiment coûteux. À l'heure actuelle, nous faisons plus de projets, il est utilisé greenplum, qui est le plus rapide et le maximum économique. Entit Data Warehouse Solution, Greenplum. Il est basé sur PostgreSQL et ouvert en 2015.
Je sais qu'il y a 3 lignes nationales quatre rangées et 5 sociétés logistiques ont quatre personnes en cours d'utilisation et de nombreuses entreprises migrent de Teradata vers GP.
• Le courant dominant de la grande plate-forme de données est le suivant: Hadoop + Hive. Cet ensemble de schémas a plus commun à en dire plus, et les fabricants de plate-forme de données qui ont été signalés plus tard sont basés sur cela pour concevoir les produits de la plate-forme.
Outils d'ETL, bouilloire, table et PTHAO sont utilisés.

Talend: basé sur Eclipse, il a une bonne évolutivité, une bonne stabilité et personnalisable (vous pouvez développer vous-même des plugins Eclipse vous-même) et obéir à la norme Eclipse (telle qu'une structure de répertoire de fichiers est une structure familiarisée avec programmateur).

TalendA de bonnes intégrées car elle génère un code Java, qui peut être combiné à d'autres systèmes, ce qui oblige l'utilisateur à rejoindre Java.

PTHAO est un ancien outil. En 2001, la première version a été publiée. La bouilloire est un composant de la solution complète de PTHAO pour l'intégration des données.

Il est également basé sur le développement Java, mais il ne nécessite pas que les utilisateurs soient Java, et les détails de mise en œuvre sous-jacents sont cachés. Le principal inconvénient est qu'il a une mauvaise évolutivité par rapport à Talend. Comme il est difficile à extension, les composants disponibles dans la communauté sont relativement petits.

L'outil d'application frontal est principalement le rapport, la BI et l'exploitation minière des données, et les deux premières sélection seront mentionnées plus tard.

Deuxièmement, la grande plate-forme de données

En 2013, le système Hadoop continue d'améliorer, marquant le scénario de l'application de données Big Data peut être satisfait. À l'heure actuelle, certaines entreprises ont commencé à faire de grandes plates-formes de données. Les fabricants sont très nombreux et le grand public est trois, Huawei, la bague Star est également Xinhua trois.

Ces fabricants ont également commencé à aller au concept de "Data Middle" dans ces années. Cependant, après tout, c'est un fabricant de logiciels traditionnels. Je ne sais pas grand chose de la "plate-forme intermédiaire" mentionnée par Internet Corporation. Il semble qu'il n'y ait aucune différence entre les grandes plateformes de données qu'ils font.

En fait, toutes les grandes plateformes de données ont déjà les capacités de base du "support de données". Vous prenez la plate-forme de produit et les données dans les données. En fait, diverses architectures sous-jacentes et fonctions sont généralement identiques.

Pour la plupart des entreprises, la MTA est toujours adaptée au "propriétaire riche" de la banque d'opérateurs Internet, "Data Giant", vraiment Ted plus insiste sur le service de données, mais il y a plusieurs entreprises qui atteignent vraiment cette douleur , ou le vieil homme fait en réalité une gestion des données.

Si votre entreprise dispose d'un système commercial prié, la quantité de données atteint le niveau PB, le stockage massif de données, les besoins de calcul, trois choix intérieurs, comparer le plan.

Troisièmement, le rapport

Il existe encore peu de fabricants qui sont toujours signalés. Le courant domestique à la voile domestiqueReReport et géré à sec et la déclaration de cristal qui est très incendie a récemment vu. Et open source Outils Jaspèreport a également utilisé beaucoup.

Sélection, petites entreprises ordinaires, 1 ~ 2 travailleurs de données, il est recommandé d'acheter une plate-forme de rapport, ne pas avoir à augmenter.

La voile FineReport est complète, écologique et service est très bonne, l'ingénieur de formulaire de rapport est également meilleur, le prix est légèrement coûteux que les autres fabricants, la marque et la prime de service peuvent également comprendre, après tout, Top1 domestique1 .

RUN Sécheresse a été à bas prix par la voile, affirmant qu'un ensemble de milliers de dollars devrait faire attention au prix, toujours pas un service et un projetMise en œuvre, la partie B peut être envisagée.

Four, BI Plateforme

BI est un marché étranger dans le monde, Bo, Brio, Cognos, MSTR, etc Bo, Brio, Cognos, Mstr, etc. Il est temps d'utiliser leur produits dans beaucoup de produits. Il n'est pas trop rentable selon les utilisateurs de produits +.

L'architecture est également vraiment compliquée et il est très difficile de comparer le style d'utilisation du produit de l'ère Internet.
Sur le marché intérieur précoce, il n'y a qu'une déclaration sur le marché intérieur. Cependant, la masse bi-liée à la BI est monopolisée par des fabricants étrangers, mais la demande de BI derrière sera de plus en plus évidente. C'est similaire. au développement de l'industrie de l'information et la demande de petites et moyennes entreprises a progressivement révélé..
Donc, en Chine, BI commence à se développer, comme les voiles BI, BDP, etc. Il n'y a pas de différence entre les choses, le prix est plus beau que l'étranger, et il est fondamentalement limité au serveur, ne limite pas le nombre d'utilisateurs, comment utiliser OK.
Après plus tard, Tableau, les produits de type à outils de Powerbi ont tiré de nombreux utilisateurs personnels soutenus, il est vraiment facile à utiliser, mais dans les scénarios d'application d'entreprise, de voir la performance et le coût de la concurrence, voir la bienfaitement .
Cependant, utilisez BI, ce n'est pas 2,3 personnes et doivent être construites, puis diverses visualisation, analyse multidimensionnelle, etc. Il y a donc un poste d'ingénieur de port, ingénieur ETL, un ingénieur BI.

Bien sûr, si vous voulez être une vache, une personne n'a aucun problème et de nombreuses unités font effectivement.

Chine Grande entreprise, il est recommandé d'acheter le système BI, de tout nombre d'entrepôts, de systèmes indicateurs, de rapports fixes, d'analyse multidimensionnelle, de visualisation des données. Il y a plusieurs personnes dans la période de construction, et elle est très confortable après la construction et si l'entreprise est corrigée, il est correct de garder deux personnes.

V. Moyen de données TA
Le concept de "Zhongtai" est Ali Promotion.
Ali a appris cet ensemble de SuperCell, puis promu au pouvoir interne de Ali. "Data Media TA" est également promu à cette époque, afin que les principaux fournisseurs soient des entreprises d'Ali.
Les nuages de kangourou, de la parcelle et de chant sont toutes des sociétés fondées par Ali's P9, la technologie est similaire.


Kangaroo Cloud est une équipe Ali DBA, comparé au voleur, bien attaché avec Ali, des commandes Ali, des nuages kangourou, suivez

Le nombre est l'équipe de produits Ali, Plus la conception de produit est plus correcte, la promotion est également très bonne, l'entreprise a effectué le vent,

Nuage de points étrange est Ali Dirot et plusieurs équipes sortent, on dirait qu'il n'y a pas de top deux fortes dans la publicité , pas grand-chose en contact (le nombre est Ali vous-même.Le produit).

Si votre entreprise est complexe, la quantité de données est énorme, la clé est un certain nombre de scénarios d'application client. L'interaction de données est faible. Il nécessite beaucoup de découverte de la valeur des données client, la demande est également très URGENT, alors il peut envisager un plan de recherche.



La plate-forme de rapport résout un rapport fixe, un rapport automatisé, un support d'impression et de calcul, etc. Résolu, avec 1, 2 ingénieurs de rapport peuvent l'obtenir;
La plate-forme de BI ajoute la possibilité de résoudre l'analyse multidimensionnelle, les rapports de requête en libre-service sur la plate-forme de rapport, nécessitent que l'équipe de la navigation apporte à la prise en charge des données de base, nécessite que l'ingénieur BI ait défini diverses métriques, dimensions, effectuer un rapport d'analyse multidimensionnel. ne pas avoir une instruction fixe;
La grande plate-forme de données est basée sur la plate-forme BI, résolvez le stockage, le calcul et le calcul en temps réel des volumes de données importants. Problème; il n'est pas nécessaire de faire attention à Le stockage de données massives sous-jacents, le calcul, le calcul en temps réel et d'autres problèmes; nécessité d'augmenter les gros ingénieurs de données pour maintenir la maintenance des clusters, sur la base de divers travaux de développement de grandes plates-formes de données;
La plate-forme intermédiaire de données est en grande partie La base de la plate-forme de données, la capacité des identifiants, des modèles unifiés, des services unifiés, des usines d'étiquettes supplémentaires, une analyse des utilisateurs, etc. sont fonctionnelles. Le personnel doit augmenter le gestionnaire de données dans les données, d'autres travaux sont toujours remplis par les gros ingénieurs de données, les grands analystes de données, etc.
La capacité de gestion des données passe à partir de la plate-forme BI, dans les grandes plates-formes de données et les données. Le Taiwan est constamment amélioré. Ainsi, la plate-forme BI, la plate-forme de données BIG et les données dans les données dans les données, il existe une gouvernance de données, qui ajoute également le concept et la capacité des actifs de données et de la facturation dans la station médiane des données.