Ingénieur de développement de données, ingénieur BI, ingénieur d'entrepôt de données, ingénieur ETL, quelle est la différence? Qu'est-ce que tu veux faire? Quelle fonction est la plus forte?

Comment pouvons-nous voir comment Dieu a expliqué!

1. Bi-Intelligence
Les ingénieurs de la BI sont des ingénieurs engagés dans l'entreprise intelligente. Des analystes doivent les architectes d'entrepôt de données, pour les ingénieurs ETL, l'analyse des données, les rapports d'ingénierie du développement, les ingénieurs de mines de données, etc il peut être appelé bi-ingénieur.

2. ENGINEER ETL

Rejoignez la programmation système, la programmation de la base de données et la conception, pour maîtriser les techniciens professionnels dans des langues différentes programmations générales. Également appelé ingénieur de base de données.

Le concept d'entrepôt de données explique un goût qui peut ne pas signifier, de partir de différents caractères!

Boss: Je suis le patron d'une société mobile. je ne suis pasn Signaler au conseil. Je dois préparer les utilisateurs qui ont été introduits au cours des trois dernières années, l'utilisateur est conservé, proactif par l'utilisateur, rapportant des téléphones mobiles, tels que l'utilisation de l'application, sans la balle ci-dessous, puis moi ne doit que blinder

BI: Je suis une balle non technique, je regarde l'analyse du concours tous les jours. En regardant les doubles ventes, compte tenu de toutes sortes de commentaires, quels sont les avantages de vos propres produits, j'ai analysé la différence entre les clients nord et sud, nationaux et étrangers comme celui-ci, et j'ai la capacité d'expliquer la puissante industrie et la capacité à expliquer les données dans le champ de téléphone mobile. Je peux dessiner un très bon tableau et un PPT. Aujourd'hui, le patron m'a laissé avoir une déclaration, je dois faire face au visage pour trouver des ingénieurs de l'ETL pour m'aider à sortir des données rapportées, sur la base de ces données, je dois donner une certaine explication, pourquoi les téléphones mobiles sont-ils pas aussi bons Comme ce mois-ci dans le mois, la perte de nL'utilisateur est de plus en plus sérieux, v.v je le ferai.
ETL ingénieur: Je suis le bas de la chaîne alimentaire, l'ingénieur ETL le plus difficile, j'écrirai Shell, j'utiliserai Hadoop / Hive / HBase, écrire une logique super complexe SQL, aujourd'hui, il n'y aura pas à Calculez des données qui me permet d'exécuter quelques données. Je veux qu'elle demande à la nécessité de prendre besoin, mais elle a dit que c'est le patron qui veut (tueur !!!), sera résolu, je ne peux que mettre vos mains sur les mains de la vie dans les données, passa à moitié une heure pour exécuter les données pour elle, j'espère avoir une telle relation.

Grands ingénieurs de données, nos grands ingénieurs de développement de données, participant principalement à la construction de plates-formes de données importantes et élevées pour des exigences techniques personnelles, nécessaires au secteur de la plate-forme Javanó avec les capacités techniques suivantes, Hadoop, Hive, Hase , Flumée, Storm, Kafka, Spark, etc est un énorme groupe technologique.

Si vous pensez que je le fais tous les jours, alors vousÉtait tort, je travaille souvent non seulement les tâches qui m'ont donné ci-dessus, je suis également responsable des processus ETL de données, des modèles d'allocation de données de construction, des tâches de temps, même parfois parfois parfois du groupe Hadoop est maintenue, etc. Je dois le faire et vous pouvez le sortir pour chaque problème.

Obtenir le processus ETL, vous devez normaliser les données d'origine à partir de différentes bases de données, différents serveurs, des journaux d'entreprise différents au même type, d'accord sur la marque Séparateur, puis entrez le système de fichiers distribués HDFS, Vous devez toujours définir le format de données du système d'entreprise, les données sont collectées, vous obtenez également la table intermédiaire, le matériau filtrant féroce, le format uniforme, l'identifiant uniforme, les uniformes unidirectionnels, les données via différents phénomènes de données après cela. ont dessiné des données sur certains rapports hebdomadaires quotidiens. À ce stade, vous devez organiser des données dans un certain format à la demande, puis conduire MySQL ou HBASE, V.V.

En bref, vous devez collecter des données, gérer différents, puis exporter, c'est très intéressant?


Cependant, ces entrepôts de données sont très dépendants et ont trop d'espace pour les ingénieurs ETL!

Dans un cas normal, Boss → BI → ETL dispose d'un rapport, cela peut-il calculer directement des données? SQL est trop compliqué, alors vous ne pouvez pas tout choisir, BI ou même le patron?

Les ingénieurs ETL peuvent collecter des données pour collecter des données, standardiser les formats de journal d'entreprise, mais ils peuvent être configurés, mais c'est N + 1, que ce qui s'est passé aujourd'hui. Quand puis-je le voir demain, n'y a-t-il pas de système d'analyse de données en temps réel ou à la fois? Reportez-vous à l'écran Big deux fois onze, le cheval est toujours à 12 pour savoir combien la transaction ne casse pas.

Actuellement, la plupart des systèmes analytiques sont basés sur l'informatique hors ligne. Un problèmece. L'opération ou BI souhaite regarder des données, vous devez aller à la ligne. Donc, pas de système pour vous soutenir une grande masse de données, une logique plus complexe, des millisecondes?

Je n'ai pas mentionné d'ingénieurs algorithmiques, d'ingénieurs exploitant et de maintien de grandes données, V.V.
Trois

Le concept de données de l'entrepôt est énorme, mais il ne vaut pas la peine de mentionner avant de grandes applications de données.

Si la valeur des données est décentralisée, je ne répertorie qu'une seule méthode, certaines personnes ont 5 étages:

Première classe: le patron fournit un soutien décisif, tel que états financiers traditionnels

Fournir un soutien à la décision pour les activités, telles que les opérateurs Taobao

Troisièmement: la prise en charge des produits, tels que les gestionnaires de produits prenant le rapport chaque jour pour étudier leur Les boutons de position ne sont pas des paires

Quatrième grade: données utilisées pour produire, telles que les annonces d'assemblage en ligneLe prochain système de génération de revenu, tel que le système d'accueil recommandé, est recommandé pour les utilisateurs, reconnaissant des milliers de personnes, telles que l'utilisation d'une application mobile directe pour différents utilisateurs à appuyer

Cinquième classe: Echange de données important, direct Avantages de la création de données

La plupart des entreprises peuvent faire les deux premiers très bons niveaux s'ils peuvent faire le troisième étage, il a été très fort, mettant en œuvre le quatrième niveau, les sociétés Internet nationales ne dépassent pas 2, De grandes données trop grandes, je ne sais pas pourquoi je vais en parler.

Certaines personnes font référence au concept d'échange de données, l'échange de données n'est pas simple, je vous fournirai un peu, vous me donnez un peu ; Ne vous donnez pas d'argent, vous me donnez des données.

La raison en est que ces schémas sont essentiellement déraisonnables.

1. Les données sont difficiles à prix

Impossible de déterminer les données sous forme de produits, l'arcLes faits ne peuvent pas mesurer la quantité de données pouvant être créée, ne peut estimer sa valeur que dans un script d'application spécifique, il n'ya donc presque aucun mécanisme simple et juste pour définir simplement les règles de négociation des transactions.
2. Le coût de la copie des données n'est presque pas

Si c'est iPhone, si vous souhaitez créer un coût d'iPhone exact, Apple peut assurer une forte vente de votre téléphone pour vous, Pas peur de vous, mais les données ne sont pas bonnes car les données n'ont presque aucun coût de copie.

Après cela, veuillez poser un problème, si je vends ces données à vous, je n'ai aucun moyen de payer "Intégrité", je n'ai pas acheté de données. D'autres tiers, la valeur marchande de ces données est très rapide.
3. Confidentialité

Il existe de nombreux contrôles de la vie privée, les utilisateurs disposent également de nombreux droits de la vie privée, ces choses n'échangent pas simplement, par exemple: s'ils fournissent une autre partie, par exemple, par exemple, le comportement de navigation des personnes dLes hommes dans une application, utilisent ensuite une tierce partie pour harceler, la publicité bombe dans la scène de la fenêtre, cela ne fonctionne pas.

Par conséquent, les transactions de données ne peuvent pas être une copie de données simple en mesurant le prix.

Comment échanger les données les plus idéales est la suivante: les deux côtés supprime quelque chose, puis servant une scène et des données d'exportation sont interdites et les deux parties ne peuvent pas voir les données des autres. Il peut également exporter d'autres données de parti et les résultats peuvent être exportés vers des inhérents, ne pas violer la vie privée et ne pas avoir d'impact sur la valeur de la valeur de données d'origine.
Comment échanger de telles données nécessite un très grand système de construction d'un système, de construire des fondations et une construction institutionnelle.

Ces systèmes et plates-formes nécessitent une exploitation à long terme et une culture de marché, et des données sont grandes.