1. Dans les exigences de recrutement, les exigences de l'autorité

L'auteur recherche des gestionnaires de produits de données et des gestionnaires de produits de données seniors dans Laun.com et Hunting.com, résume les responsabilités d'emploi, recrute les besoins des données. Fabricants, comme indiqué ci-dessous:

1, utilisation qualifiée de MySQL, SQL, HIVE et al; 2, familiarisez-vous avec la production de données et le flux de traitement; 3. Pour les grands produits de données, des produits BI; 4, pour l'entrepôt de données; Technologie et théorie La compréhension de base et la compréhension approfondie de sa tendance au développement; 5. Comprendre la technologie des données, la modélisation des données et la technologie de mines de données; 6, peut maîtriser les idées de produits, les programmes techniques, les stratégies commerciales, etc conduire chaque rôle Pour résoudre des questions, de bonnes perspectives d'entreprise et des jugements, une pensée logique forte, une planification de produits, un emballage de marque et une propagande, sensibles aux données et aux entreprises, ont une certaine priorité technique.

Du recrutement de l'entreprise susmentionné, on peut constater que, en plus de certains gestionnaires de produits courants, le gestionnaire de données a un seuil professionnel très élevé pour l'analyse des données, l'intelligence commerciale, l'exploitation minière. Bien que le gestionnaire de produits de données subdivise également la direction de l'application, la direction d'instance de nombres de grand nombre, la direction de l'analyse de données, mais afin de rendre plus efficace commune, il reste nécessaire de faire une structure de connaissances. Le gestionnaire de produits de données est principalement basé sur la numérotation, selon le transfert interne, l'auteur appartient au produit de données directionnel de la transmission du produit de commerce électronique, tout en jouant à la compréhension des activités, il est nécessaire de compléter rapidement les connaissances liées à l'analyse des données, qui est facile à efficace. avec la collègue d'accueil. Coopération.

Deuxièmement, le cercle d'amis du gestionnaire de produits de données

Le modèle du gestionnaire de produits AI est également analysé à partir du produit du gestionnaire de produits. Fait une partie du "traducteur", de transformer les affaires a besoin dans différentes expressions de langue, trouvez le patron de ressource, veuillez développer le code, décrire les exigences de conception, cette fois vous avez besoin de produits pour maîtriser certains "mots noirs" dans différents points. Laissez l'autre partie avoir le sentiment que vous êtes le vôtre, les données Le responsable des produits est également le même, jetons un coup d'œil au cercle d'affaires du gestionnaire de produits de données et aidons à comprendre le modèle de capacité de données de données.

à partir de "Alibaba Data Manager Work (Article suprême)"

L'essence du gestionnaire de produits de données est un sous-segment du gestionnaire de produits Internet et les utilisateurs de ses produits sont des clients internes et externes. Attendez que son objectif est d'utiliser une analyse et une excavation de données, aider sa découverte, améliorer la précision décisionnelle et pour compléter de tels produits, nous ne traitons pas simplement du développement traditionnel, de l'interaction, de la conception, de la recherche, du client, des tests. Les camarades de classe, et il est également nécessaire de communiquer avec des analystes de données, des scientifiques de données, des ingénieurs d'AI, des administrateurs d'entrepôt de données. Afin de garantir l'efficacité de la communication, nous devons enseigner quels noms professionnels, technologies à réaliser la frontière, développement de l'industrie, produit de la concurrence Logique de mise en œuvre, l'auteur essaiera dans les articles suivantsSommaire.

Troisièmement, le modèle de capacité est construit

Data Product Manager est une subdivision du poste de gestionnaire de produits et son modèle de capacité peut être compris en tant que modèle de capacité générale du gestionnaire de produits + capacité professionnelle au modèle de complément. La figure suivante est le système de modèle de capacité du gestionnaire de produits Tencent, qui définit clairement 19 fonctionnalités de gestionnaires de produits de première qualité, de capacité d'apprentissage globale, d'exécution, de compétences en communication, de recherche sur le marché / utilisateur et l'analyse sont la capacité de base.

Dans les 19 capacités de base des capacités de base ci-dessus, les fabricants de données dans les modules de connaissances techniques et les capacités d'analyse de marché / doivent comprendre / familiariser / maîtriser les connaissances et les compétences suivantes:
1. Ordinateur Niveau de langue: Maîtrise de l'utilisation de MySQL, SQL, HIVE et d'autres langues; 2. Connectez-vous avec les processus de production et de traitement des données: collecte de données, prétraitement des données, stockage de données, analyse des données, exploitation de données, visualisation de données, produits de service de données; technique Tendances théoriques et de développement comprennent les grandes technologies de données et la technologie de données distribuées, telles que Hadoop (HDFS et Mapreduce), Hive et al; Comprenez le langage de programmation de données grand public, tel que Python, R, MongoDB, etc comprendre le grand public BI produits, tels que Tableau Saiku, Kylin, BDP, grandio, Dieu, etc comprendre la technologie et la théorie des entrepôts de données et comprennent sa tendance au développement; comprendre l'analyse des données, la modélisation des données et la technologie d'extraction des données et la théorie;

Quatre, le concept de base du gestionnaire de produits de données est souvent confronté

1. Abréviations anglaises qui peuvent être exposées

Warehouse Warehouse Warehouse

Data Data Market Data Mart

Data mining Data mining
Système de gestion de la base de données de gestion de la base de données
DA DBA: Database Administrator Database Administrator
Système de gestion de la base de données relationnelle

OLAP : (Traitement analytique en ligne) Traitement d'analyse en ligne. OLAP est la principale application des systèmes d'entrepôt de données, appuyez sur les opérations d'analyse complexes, l'accent sur la prise en charge de la décision et fournit des résultats intuitifs et faciles à interroger.

OLTP: (Traitement des transactions en ligne) Transaction en ligne. OLTP est la principale application des bases de données relationnelles traditionnelles, principalement des transactions quotidiennes de base,Par exemple, les transactions bancaires.
BI: Business Intelligence Business Intelligence

KDD: Découverte des connaissances dans la base de données Discuture de la connaissance de la base de données

2, Analyse des données, Modélisation des données et différence de mines de données

Analyse des données: Souligne l'utilisation de méthodes statistiques, découvrir des informations utiles, appuyer la prise de décision et les conclusions constructives.
DONNEES MININS: L'extraction de données est le processus de calcul de la découverte de modèles dans de grands ensembles de données impliquant des méthodes à l'intersection de l'intelligence artificielle, de l'apprentissage automatique, des statistiques et des systèmes de base de données Il s'agit d'un sous-champ interdisciplinaire de la science informatique. L'objectif général du processus d'exploration de données est d'extraire des informations d'un ensemble de données et de le transformer en une structure indigne pour une utilisation ultérieure. [De Wikipedia] Data Mining est plus étroitement liée à la pertinence des données importante, à l'aide de l'intelligence artificielle, de l'apprentissage de la machine, des statistiques en attente Pour la connaissance, l'analyse, la découverte des règles, la prévision de futurs, des décisions d'assistance.
Modélisation des données: La modélisation des données est un processus utilisé pour définir et analyser les exigences de données nécessaires à SUPP.Les processus de l'entreprise dans le cadre des systèmes d'information correspondants dans des organisations. Par conséquent, le processus de modélisation des données implique des modélateurs de données professionnels qui travaillent en étroite collaboration avec les intervenants commerciaux, ainsi que des utilisateurs potentiels du système d'information. [de Wikipedia] La modélisation des données est abstraite Différents types de données dans le monde réel, déterminez la portée de la base de données et la forme d'organisation de données, etc ainsi que les données sont organisées et les données sont organisées. Les principales activités du processus de modélisation comprennent: la détermination des données et des processus connexes; définir des données; assurer l'intégrité des données; définir les processus opérationnels; sélection de la technologie de stockage de données. La modélisation des données est à peu près divisée en trois phases, phases de modélisation de concept, phases de modélisation logique et phases de modélisation physique. La phase de modélisation conceptuelle et de modélisation logique n'est rien de relation avec les fabricants de base de données, en d'autres termes, avec MySQL, SQL Server, Oracle n'a pas d'importance.
Analyse des données et relation d'exploration de données: du niveau de données, en général, la quantité de données de l'analyse des données peut ne pas être grande et la quantité d'extraction de données est extrêmement grande. À partir du conditionnement modéré, l'analyse des données provient d'une hypothèse, il est nécessaire d'établir une équation ou un modèle pour correspondre à l'hypothèse et l'exploitation des données n'a pas besoin d'assumer une hypothèse, elle peut automatiquement établir une équation. À partir de l'objet d'analyse, l'analyse des données est souvent destinée aux données numériques et l'exploitation minière de données peut adopter différents types de données. Du point de vue, l'analyse des données explique les résultats, montrant des informations efficaces, le résultat de l'exploitation minière des données n'est pas facile à expliquer et que l'évaluation de la valeur des informations est effectuée, en mettant l'accent sur la prédiction de l'avenir et proposer des recommandations de décision. L'extraction de données et l'analyse des données sont étroitement liées et il existe une relation de cyclique récursif. Lecture recommandée "Analyse des données, mines à données, statistiques de données, différences OLAP?"
3, Database, entrepôt de données et différence de marché et différence

Database, cela signifie qu'il existe un organisé et collecte de données partagée sur l'ordinateur pendant une longue période. Les données de la base de données décrivent et stockent, décrivent et stockent des magasins, avec une redondance plus faible, une indépendance de données élevée et une extensibilité, et peuvent être partagées pour une variété d'utilisateurs. La recherche de la théorie de la base de données est principalement axée sur la théorie normalisée des relations, la théorie des données relatives, etc. Ces dernières années, avec la combinaison de l'intelligence artificielle et de la théorie de la base de données et du développement d'ordinateurs parallèles, d'interprétation logique de la base de données et de raisonnement de connaissances, d'algorithmes parallèles, etc. et des systèmes de base de données déductives,Le développement des systèmes de base de connaissances et des entrepôts de données est devenu une nouvelle direction de recherche.

Entrepôt de données: l'entrepôt de données est un sujet, intégré, relativement stable (non-visolatile), reflétant un ensemble de données de modifications historiques (Timevariant) de prise en charge des décisions de gestion. Premièrement, l'entrepôt de données est utilisé pour prendre en charge les décisions, face à un traitement de données analytique, deuxièmement, les entrepôts de données sont une intégration efficace de plusieurs sources de données hétérogènes et sont réorganisées par des sujets et contiennent des données historiques et stockées dans des entrepôts de données. Les données sont généralement plus modifié.
Marché des données: Pour optimiser la flexibilité, les données d'entrepôt de données intégrées doivent être stockées dans le système de gestion de la base de données Standard RDBMS (système de gestion de la base de données relationnelle) et via une conception normalisée de la base de données, et pour améliorer les performances et ajouter des performances. informations de tobilité et design irrégulier. Ce type de conception de l'entrepôt de données s'appelle un entrepôt de données atomique. Le sous-ensemble de l'entrepôt de données atomique est également appelé marché de données.

Base de données et entrepôt de données: la base de données est une conception de transaction, l'entrepôt de données est la conception de la rubrique. La base de données stocke généralement des données de transaction en ligne et le magasin d'entrepôt de données est généralement des données historiques. À partir de l'attribut TIME, la base de données enregistre des informations, ne met pas l'accent sur certaines informations de temps. L'entrepôt de données est différent, pour les besoins de prise de décision, les données de l'entrepôt de données indiquent les propriétés du temps.

Différences de marché et d'entrepôt de données: il est recommandé de lire l'article «Entrepôt de données et marché des données»

4, Intelligence Business et Big Data Concept et développement Présentation

BI (Business Intelligence), qui est une solution complète, qui est utilisée pour intégrer efficacement les données existantes dans l'entreprise, fournir des rapports rapidement et avec précision et proposer une base de décision pour aider les entreprises à rendre sage. Décision commerciale.
Le concept d'intelligence commerciale était plus tôt en 1996. À cette époque, l'intelligence des entreprises est définie comme une classe composée d'entrepôt de données (ou de données de données), de rapports de requête, d'analyse des données, d'extraction de données, de sauvegarde des données et de récupération, pour aider la technologie de prise de décision d'entreprise et son application. Ces données peuvent provenir de systèmes d'entreprise tels que CRM, SCM.

Informations commerciales traditionnelles Produits: Tableau, Saiku, Kylin, BDP, grandio, Dieu, Ali Plus, etc. L'auteur lit «Big Data Road Road» de Alibaba, suivie de la combinaison de produits Ali Plus pour terminer une expérience de lecture.

Big Data (Big Data), Fait référence à la collecte de données qui ne peut être capturée, gérée et traitée avec un outil logiciel régulier dans une certaine période. Il est nécessaire d'avoir un nouveau mode de traitement pour avoir une puissance de décision plus forte, une perspective de la masse, un taux de croissance élevé et Actifs d'information diversifiés. 5V Caractéristiques de Big Data (IBM): Volume, Vélocité, Variété, Valeur (Densité de faible valeur), Veraacité. Les grandes données incluent des données structurées, semi-structurées et non structurées, et des données non structurées devenant de plus en plus la partie principale des données.
La tendance au développement des grandes données: le système de ressources de données, la profondeur de données de données et le cloud computing, la percée de la théorie scientifique, la science des données et l'alliance de données, la divulgation des données, la gestion des données est une compétitivité de base, la qualité des données est la clé de la qualité des données. au succès de BI et le degré d'achèvement de l'écosystème de données est amélioré.

5. Flux de traitement des données

Analyse de la demande, acquisition de données, prétraitement des données, analyse des données, mines à données, visualisation de données, produit de service de données (modèle).

Analyse de la demande de produits de données: survivre à l'unité commerciale, comprendre le problème que l'entreprise doit être résolue, cartographier les problèmes commerciaux dans des travaux et tâches d'analyse de données, tout en combinant la plate-forme déjà capable, déterminez l'analyse des données ou l'exploitation minière. Schémas.

Acquisition de données: la première étape doit définir la sélection de la source de données. DBA peut trouver des données pertinentes basées sur l'analyse des données, établir une table de largeur de données, introduire des données d'entrepôt de données dans cette largeur, en fonction de certaines relations logiques. est résumée. Cette largeur est la base de l'analyse des données, puis des formes différentes sont dérivées selon l'analyse des données, fournissant des sources de données propres et complètes pour l'analyse des données;

Preopération de données: sélection de type de données, traitement de la valeur manquante et valeur anormale Détection et traitement, mettre en œuvre la normalisation des données;