Cet article a tenté de créer un ensemble de gestionnaires de produits de données avec la compréhension de l'auteur comme la direction de son avenir d'apprentissage.

Cet article est divisé en quatre parties:

La première partie, à partir de la demande du marché du recrutement, voir la force difficile nécessaire pour recruter des gestionnaires de produits de données avancés sur le marché;

La deuxième partie, combinée à certains gestionnaires de produits de données, en peignant le cercle des amis des gestionnaires de produits de données, car les personnes communiquées déterminent à quel point la «langue commune» doit être maîtrisée

Partie 3, construire des gestionnaires de produits de données Modèle;

Section 4, détaillé le concept et le système de certains produits de données contactent souvent.

1. Dans les exigences de recrutement, la requête de l'autorité

L'auteur recherche le gestionnaire de produits de données et le gestionnaire de produits de données avancé dans le réseau en ligne et de chasse, résume les responsabilités d'emploi, recrutement de produits de données Les besoins du gestionnaire sont les suivants:

1, utilisation qualifiée de MySQL, SQL, Hive et al;
2, familiariser avec la production de données et le flux de traitement;
3, pour les principaux produits de données, les produits BI;
4, il existe une compréhension de base de la technologie et de la théorie des entrepôts de données et une compréhension approfondie de sa tendance au développement;

5. Comprendre la technologie des données, la modélisation des données et la théorie de l'exploitation des données;

6, peut maîtriser les idées de produits, les programmes techniques, les stratégies commerciales, etc entraîner chaque rôle à résoudre des problèmes, avoir de bonnes perspectives d'affaires et jugements, capacité de pensée logique forte, planification des produits, emballage de marque et propagande, sensibilité aux données et aux entreprises, ont une certaine priorité de base technique.

Du des besoins de recrutement de la société ci-dessus, on peut constater que, en plus des capacités de base des gestionnaires de produits ordinaires, le gestionnaire de données a un seuil professionnel très élevé pour l'analyse des données, l'intelligence commerciale, l'exploitation minière des données .. Bien que le gestionnaire de produits de données subdivise également la direction de l'application, la direction d'instance de nombres de grand nombre, la direction de l'analyse de données, mais afin de rendre plus efficace commune, il reste nécessaire de faire une structure de connaissances. Le gestionnaire de produits de données est principalement basé sur la numérotation, selon le transfert interne, l'auteur appartient au produit de données directionnel de la transmission du produit de commerce électronique, tout en jouant à la compréhension des activités, il est nécessaire de compléter rapidement les connaissances liées à l'analyse des données, qui est facile à efficace. avec la collègue d'accueil. Coopération.

Deuxièmement, le cercle ami du gestionnaire de produits de données

Le modèle du gestionnaire de produits AI est également analysé à partir du produit du gestionnaire de produits. Pris une partie du "fonctionnaire du traducteur", transformer Demande des entreprises dans différentes expressions de langues, trouvez le patron de ressource, veuillez développer le code, décrire les exigences de conception de page claire, cette fois, vous avez besoin de produits pour maîtriser un "noir"Laissez l'autre partie avoir l'impression que vous êtes le vôtre, le gestionnaire de produits de données est également le même, jetons un coup d'œil au cercle d'affaires du gestionnaire de produits de données et aidons à comprendre le modèle de capacité de données de données.

La photo provient de "Alibaba Data Data Manager"

Data Product Manager Essence est un segment du gestionnaire de produits Internet et les utilisateurs de ses produits sont des clients internes, des clients externes, etc. passe par analyse et excavation de données, aidant son problème de découverte, améliorer la précision des décisions et pour accomplir de tels produits, nous ne faisons que traiter de développement, d'interaction, de conception, de recherche, de conception, de recherche, de clients, de tests de classe, d'analyser et analyse des données. Les enseignants, les scientifiques de données, les ingénieurs d'AI, les administrateurs de l'entrepôt de données, etc. Afin de garantir l'efficacité de la communication, nous devons enseigner quels noms professionnels, technologies à réaliser la frontière, le développement de l'industrie, la logique compétitive, l'auteur essaiera Pour lutter contre le résumé dans les articles suivants.

Troisièmement, le modèle de capacité est construit

Data Product Manager est une zone de segmentation de la position du gestionnaire de produits et son modèle de capacité peut être compris comme le GÉNÉRALES GÉRICABLE DES PRODUITS Capacité Modèle + Possibilité de compléter le modèle. La figure suivante est le système de modèle de capacité du gestionnaire de produits Tencent, définissant clairement 19 fonctionnalités de différents gestionnaires de produits de première année, capacité d'apprentissage globale, exécutif, communication de communication, recherche et analyse de l'utilisateur et d'analyse. La capacité la plus essentielle.

Dans le modèle de fonctionnalités de base ci-dessus, les gestionnaires de produits de données doivent savoir / familiarité / connaissances et compétences familières / maîtres:

1. Ordinateur Niveau de langue: la maîtrise utilise MySQL, SQL, HIVE et d'autres langues;

2, familiarisez avec la production et le traitement de données: collecte de données, prétraitement de données, stockage de données, analyse des données, exploitation de données, service de données produit;

3, diverses théories techniques et tendances de développement
En savoir plus sur les grands produits de données et les technologies de données distribuées, telles que Hadoop (HDFS et MapRée), Hive et al;
En savoir plus sur les langages de programmation de données importants, tels que Python, R, MongoDB, etc
Comprendre les produits BI traditionnels, tels que Tableau, Saiku Kylin, BDP, grandio, Policy PHEN, etc. théorie;

Les concepts de fondation font souvent face fréquemment

1. Abréviation anglaise possible

Entrepôt de données d'entrepôt de données

Data Data Market Mart

Données minières Données minières
Système de gestion de la base de données de gestion de la base de données DBA: Administrateur de la base de données Administrateur de base de données
Système de gestion de la base de données relationnelle
OLAP: (traitement analytique en ligne) Traitement d'analyse en ligne. OLAP est la principale application des systèmes d'entrepôt de données, appuyez sur les opérations d'analyse complexes, l'accent sur la prise en charge de la décision et fournit des résultats intuitifs et faciles à interroger.

OLTP: (Traitement des transactions en ligne) Transaction en ligne. OLTP est la principale application des bases de données relationnelles traditionnelles, principalement de base de transaction quotidienne, telles que les transactions bancaires.

KDD: découverte des connaissances dans la base de données de base de données Découverte de la connaissance de la base de données

2. Analyse des données, modélisation de données et définition d'extraction de données et distinction

(1) Données Analyse

L'analyse des données est un processus d'inspection, de nettoyage, de transformation et de modélisation des données dans le but de découvrir des informations utiles, de suggérer des conclusions et de soutenir la prise de décision [de Wikipedia]

On peut constater que l'analyse des données met l'accent sur l'utilisation des méthodes statistiques, trouve des informations utiles, soutient la prise de décision et les conclusions constructives.

(2) Mining de données

L'extraction de données est le processus de calcul de la découverte de schémas dans des ensembles de données importants.Méthodes Ving à l'intersection de l'intelligence artificielle, de l'apprentissage automatique, des statistiques et des systèmes de base de données. Il s'agit d'un sous-champ interdisciplinaire d'informatique. L'objectif général du processus d'exploration de données est d'extraire des informations à partir d'un ensemble de données et de la transformer en une structure compréhensible. Pour une utilisation ultérieure. [De Wikipedia]

L'extraction de données est plus étroitement liée à la pertinence de données importante, à l'aide de l'intelligence artificielle, de l'apprentissage automatique, de la statistique, etc des analyses, la découverte de grands ensembles de données, prédisant avenir, assister les décisions.

(3) Modèle de données

La modélisation des données est un processus utilisé pour définir et analyser les exigences de données nécessaires à l'appui des processus opérationnels dans le cadre des systèmes d'information correspondants dans des organisations. Par conséquent, le Le processus de modélisation des données implique des modélisateurs de données professionnels qui travaillent au clos avec les intervenants d'activité, ainsi que des utilisateurs potentiels du système d'information. [De Wikipedia]

La modélisation des données est le monde réel Tout type de tissu abstraite de données, Déterminer la portée de la base de données doit être compétente, la forme organisationnelle des données, etc. jusqu'à ce qu'elle convertit vers une base de données de réalité. Les principales activités du processus de modélisation comprennent: la détermination des données et des processus connexes; définir des données; assurer l'intégrité des données; définir les processus opérationnels; sélection de la technologie de stockage de données. La modélisation des données est à peu près divisée en trois phases, phases de modélisation de concept, phases de modélisation logique et phases de modélisation physique. Parmi eux, la phase de modélisation de concept et de modélisation logique ne sont pas liées aux fabricants de base de données.En d'autres termes, avec MySQL, SQL Server, Oracle n'a aucune relation.

Relation d'analyse de données et de données de données: du niveau de données, en général, la quantité de données provenant de l'analyse des données peut ne pas être importante et les données d'extraction de données sont extrêmement grandes. À partir du conditionnement modéré, l'analyse des données provient d'une hypothèse, il est nécessaire d'établir une équation ou un modèle pour correspondre à l'hypothèse et l'exploitation des données n'a pas besoin d'assumer une hypothèse, elle peut automatiquement établir une équation. À partir de l'objet d'analyse, l'analyse des données est souvent destinée aux données numériques et l'exploitation minière de données peut adopter différents types de données.

Du point de vue, l'analyse des données explique les résultats, montrant des informations efficaces, et les résultats de l'exploitation minière de données ne sont pas faciles à expliquer et que l'évaluation de la valeur des informations est évaluée, en mettant l'accent sur la prévision future et proposer des recommandations de décision . Les mines de données et l'analyse des données sont étroitement liées, il existe une relation de la base de données recueillie

3. Database, entrepôt de données et définition du marché des données
(1) Database

. La base de données est une collection d'ensembles de données stockés dans l'ordinateur pendant une longue période. Les données de la base de données décrivent et stockent, décrivent et stockent des magasins, avec une redondance plus faible, une indépendance de données élevée et une extensibilité, et peuvent être partagées pour une variété d'utilisateurs. La recherche de la théorie de la base de données est principalement axée sur la théorie normalisée des relations, la théorie des données relatives, etc. Ces dernières années, avec la combinaison de l'intelligence artificielle et de la théorie de la base de données et du développement d'ordinateurs parallèles, d'interprétation logique de la base de données et de raisonnement de connaissances, d'algorithmes parallèles, etc et le développement de systèmes de base de données, de systèmes de base de connaissances et d'entrepôts de données sont devenus de nouvelles recherches . direction.

(2) Entrepôt de données

L'entrepôt de données est un subjectori2en, un ensemble de données intégré, relativement stable (non-revolatile), reflétant des modifications historiques (Timevariant) permet de prendre en charge les décisions de gestion. Premièrement, l'entrepôt de données est utilisé pour prendre en charge les décisions, face à un traitement de données analytique, deuxièmement, les entrepôts de données sont une intégration efficace de plusieurs sources de données hétérogènes et sont réorganisées par des sujets et contiennent des données historiques et stockées dans des entrepôts de données. Les données sont généralement plus modifié.

(3) Marché des données Pour optimiser la flexibilité, les données de l'entrepôt de données intégrées doivent être stockées dans Standard RDBMS (base de données relationnelle de gestion de la base de données relationnelle) dans le système de gestion, et la conception normalisée de la base de données, ainsi que d'ajouter des informations de petite tonalité et une conception irrégulière pour améliorer les performances. Ce type de conception de l'entrepôt de données s'appelle un entrepôt de données atomique.Le sous-ensemble de l'entrepôt de données atomique est également appelé marché de données.

(4) Base de données et entrepôt de données

La base de données est une conception de transaction et l'entrepôt de données est une conception de sujet. La base de données stocke généralement des données de transaction en ligne et le magasin d'entrepôt de données est généralement des données historiques. À partir de l'attribut TIME, la base de données enregistre des informations, ne met pas l'accent sur certaines informations de temps. L'entrepôt de données est différent, pour les besoins de prise de décision, les données de l'entrepôt de données indiquent les propriétés du temps.

4. Vue d'ensemble des informations commerciales et de l'intelligence de données et du développement de données

BI (Business Intelligence), Business Intelligence, est une solution complète pour les entreprises existantes, une intégration efficace, rapidement et avec précision des rapports et Propose une base de décision pour aider les entreprises à prendre des décisions commerciales éclairées.

Le concept d'intelligence commerciale était plus tôt en 1996. À cette époque, l'intelligence des entreprises est définie comme une classe composée d'entrepôt de données (ou de données de données), de rapports de requête, d'analyse des données, d'extraction de données, de sauvegarde des données et de récupération, pour aider la technologie de prise de décision d'entreprise et son application. Ces données peuvent provenir de systèmes d'entreprise tels que CRM, SCM.

Informations commerciales traditionnelles Produits: Tableau, Saiku, Kylin, BDP, grandio, Dieu, Ali Plus, etc. L'auteur lit «Big Data Road Road» de Alibaba, suivie de la combinaison de produits Ali Plus pour terminer une expérience de lecture.

Big Data, fait référence à la collecte de données qui ne peut pas être capturée, gérée et traitée avec un outil logiciel régulier dans une certaine période. Il est nécessaire d'avoir un nouveau mode de traitement pour avoir une puissance de décision plus forte, un aperçu de la Capacité d'optimisation de découverte et de processus, taux de croissance élevé et actifs d'information divers. 5V Caractéristiques de Big Data (IBM): Volume, Vélocité, Variété, Valeur (Densité de faible valeur), Veraacité. Les grandes données incluent des données structurées, semi-structurées et non structurées, et des données non structurées devenant de plus en plus la partie principale des données.

La tendance au développement des grandes données: le système de ressources de données, la profondeur de données de données et le cloud computing, la percée de la théorie scientifique, la science des données et l'alliance de données, la divulgation des données, la gestion des données est une compétitivité de base, la qualité des données est la clé de la qualité des données. au succès de BI et le degré d'achèvement de l'écosystème de données est amélioré.

5. Flux de traitement des données
Analyse de la demande, acquisition de données, prétraitement des données, analyse des données, mines à données, visualisation de données, produit de service de données (modèle).
Analyse de la demande de produits de données: élaborer une enquête sur l'unité commerciale, comprendre le problème que l'entreprise doit résoudre, cartographier les problèmes commerciaux dans les travaux d'analyse des données etDans le même temps, il a la possibilité de combiner la plate-forme, de déterminer le schéma d'analyse de données ou de mines. Acquisition de données: la première étape doit définir la sélection de la source de données. DBA peut trouver des données pertinentes basées sur l'analyse des données, établir une table de largeur de données, introduire des données d'entrepôt de données dans cette largeur, en fonction de certaines relations logiques. est résumée. Cette largeur est la base de l'analyse des données, puis des formes différentes sont dérivées selon l'analyse des données, fournissant des sources de données propres et complètes pour l'analyse des données;
Preopération de données: sélection de type de données, traitement de la valeur manquante et valeur anormale DÉTECTION ET TRAITEMENT, Mettre en œuvre la normalisation des données;
Analyse des données: Scénario d'application et concept d'analyse de données communes;
Données minières: aperçu des données d'apprentissage de la machine;
Visualisation: Voir ci-dessous
Produits de services de données: Il sera méticuleusement analysé conjointement avec les produits Alibaba. L'auteur suivant permettra de peigner votre structure de conception de produits de données, la conception, les méthodes courantes de données, les outils d'analyse de données, etc. et des outils d'analyse de données, etc les amis intéressés peuvent ajouter une attention particulière.