Partagez un article avant, a brièvement introduit la différence entre les données numériques numériques traditionnelles et une amie après avoir vu, affirmant que cet article est bon, mais cela équivaut à une science de l'architecture. Mais les camarades de classe qui veulent se transformer sont toujours ne savent toujours pas que la chose spécifique peut être transformée et le nouvel emploi fonctionne.

Ce problème est très simple, apprenez que quelques outils sont corrects. De plus, vous le trouverez après avoir entré le travail.
Premièrement, Warehouse de données Bon partenaire: Kylin

L'entrepôt intégré traditionnel est essentiellement un ensemble de bases de données relationnelles + bi-outils. Certains outils de BI commencent maintenant à prendre en charge de grosses données. Mais depuis que je dois transformer, je dois apprendre. Dans l'outil OLAP dans tous les champs Big Data, Kylin est le plus grand, et il est parfaitement adapté au modèle numérique. C'est donc le meilleur outil d'apprentissage, à la recherche de nouvelles opportunités. Kylin appartient à Molap, si vous avez fait une BI lorsque vous faites un entrepôt, c'est un quai sans couture!

J'ai également recommandé un clic à outils Rolap et ce que Druid est gênant. L'endroit est un peu éloigné, vous pouvez le faire sans le prendre.

Et l'étude de Kylin a un avantage, qui est très proche de la relation Hadoop.咱 Étudier Kylin est juste un ensemble de gros environnements de données, une et comprend, l'entretien ne doit pas attraper, et il y aura "L'apprentissage de Hadoop a un sentiment".

Deuxièmement, Kylin et Hadoop

Kylin est le projet de niveau supérieur d'Apache, avec des performances ultra-élevées, super hautes performances, attire une grande usine. Kylin est identique à tout Molap, est un espace pour le transfert de temps et lorsqu'il est prescrit. Pour le mettre franchement, c'est la même chose que vous travaillez ensemble, et Cube est construit chaque jour.

Cependant, une chose est que Kylin est basée sur Hadoop. Les ressources de cluster nécessitent un fil à coordonner, les sources de données sont généralement de la ruche et des bâtiments Cube sont placés dans HBASE. Le flux de données générales est comme celui-ci:

Est-ce une chose quelque peu inconnue? Ne vous inquiétez pas, vous obtenez quelques machines virtuelles, appuyez sur le processus pour charger un CDH OK. La RAC de l'oracle suivant n'est pas trop grosse, c'est l'emballage, configurez la propriété intellectuelle et quel est votre coeur. ImmediatementC'est plus que le composant, quels HDFS, Zookeper, Fils, Hive, HBase, Kylin, Tutoriel en ligne Un tas de tas de pieux.

Troisièmement, Kylin Big Experiment

Peu importe la Partie A, la partie B ou sous-traitée, vous pouvez faire ces choses, ne vous cachez pas. Dites au leadership, l'efficacité actuelle est un peu faible, essayant d'optimiser la nouvelle technologie.
Puisqu'il s'agit d'optimiser, c'est la pratique, alors je ne sais pas ce que MapReduce, les principes des choses vont jeter un côté. Selon le tutoriel sur Internet, il est possible d'installer l'ensemble des environnements ci-dessus. Il est 1 jour, lent 3 jours, sera certainement fini. Si l'environnement de la société n'est pas autorisé, à la maison, ce sera beaucoup d'ordinateurs, après tout, et il est recommandé que l'ensemble de l'environnement de cluster réel (minimum 3) soit essentiellement possible.

Après la détermination de l'environnement, c'est simple. Faites ceci:

1 Le premier étage et toutes les tables, la ruche est équivalente au conteneur de MySQL, Oracle, etc.
3, guidez certaines données à la couche HIVE SAD ;

4, avec la tâche de Kettle SQOOOO sur ETL, utilisez la tâche d'expédition de Oozie, que les données montaient et marchent par couche; 5, utilisez de la kylin pour quai de la ruche, de la construction de cube, Ensuite, il y a hbase, n'oubliez pas d'interroger le résultat;

6. Il suffit de faire glisser un outil d'affichage, une version d'essai Soft et Soft, doit être un voyage, même HBASE, essayez de signaler. De toute façon, cette étape n'est pas faite, peu importe ce que vous avez fait. Et l'interface est livrée avec la kylin peut également vérifier.

Oui, vous devez faire quelque chose:
Toutes les choses que vous avez faites, tout en écrivent, et de la produire dans un document et un script. D'une part, vous pouvez résumer l'expérience, d'autre part, vous pouvez traverser la tige.

De cette manière, comment est l'ensemble de Hadoop, Kylin, cet ensemble est presque. Si vous êtes en groupe A, il suggère de le repousser encore et de déplacer progressivement l'ensemble des ports traditionnels. De nos jours, vous pouvez vous connecter directement à HBASE ou sur la plate-forme de Kylin. Vous avez donc obtenu avec succès le titre de "bâtiment et de promotion de la grande plate-forme de données"!

À l'heure actuelle, vous allez revenir en arrière et aller au principe de MapreDece.; Étincelle, etc. Meilleur moteur informatique; division jointure et autres méthodes d'optimisation.L'ensemble du système de connaissances de données est riche et parfait.

Kylin présente de nombreux avantages, tels que le voleur de vitesse, et le voleur est élevé, IO est moins élevé, le retard est faible et la grande usine est utilisée.Bien entendu, certaines lacunes sont des faiblesses, telles que les dimensions sont fixes et l'optimisation du cube est élevée, ces lacunes ne sont totalement pas un problème, tout Molap a moins de dimensions et de faible degré de liberté.Quant à la question de la "vision d'optimisation du cube", j'ai dit, jouons cela, non?