FLINK est un moteur unifié d'entrepôt de données moderne: la production intégrée de la ruche est prête!

Ce qui doit se réunir en 2020, l'entrepôt de données et les infrastructures ont besoin?

Nous avons résumé quelques points:

Premièrement, l'activité actuelle se déplace rapidement au mode temps réel, nécessite public que la société dispose de données de transmission en ligne. Pour gérer les retards, c'est respecter les exigences d'analyse des données en temps réel ou en temps réel. Il devient plus bas et plus bas pour retarder les données aux données disponibles. Le délai de quelques heures ou même jours n'est plus accepté. Les utilisateurs attendent quelques minutes ou même quelques secondes d'expérience de finition de données.

Lundi, l'infrastructure de données doit être capable de gérer les lignes et hors ligne à la fois et deux modes sont indispensables dans des applications réelles. En plus de manipuler le flux ci-dessus, les utilisateurs ont également besoin d'une série.Effectuer une requête instantanée (requête ad-hoc) et exploiter des données. Les infrastructures de données ne doivent pas nécessiter que deux options utilisateur et deux options doivent être fournies et de haute qualité.

Troisièmement, les ingénieurs de données, les scientifiques de données, les analystes et les opérateurs sont excités pour un ensemble de piles de technologies de données unifiées pour aider à utiliser plus facilement. Des piles techniques dans les grandes zones de données ont été intrusives depuis de nombreuses années. La société peut avoir un ensemble de systèmes de traitement de flux, un système de série, un ensemble de systèmes d'analyse de données en ligne. En gros, cela est dû au fait que le problème est obligé d'utiliser une architecture de Lambda en raison du manque de maturité de l'année. Maintenant, il est différent, le traitement du flux est devenu les utilisateurs traditionnels et finalistes ne doivent pas nécessairement apprendre de nombreuses compétences et conserver de nombreux outils complexes et tuyaux de traitement de données. Les utilisateurs sont désireux d'être un ensemble de programmes simples et faciles à gérer.

Si vous avez le même sentimentÀ propos des questions ci-dessus, cet article vous convient très bien. Voyons comment résoudre ce problème.

Ensuite, j'apprendrai l'intégration des niveaux de production de plis et de ruches.

Niveaux de production de plis et de ruches

FLINK suivit le concept de conscience "Un cas particulier de priorité d'écoulement, le lot est un flux". Selon les instructions de cette idée, FLINK utilise la technologie de traitement de flux la plus avancée vers le lot, de sorte que le paquet de FLINK est impressionnant le matin. Surtout dans FLINK 1.10, nous avons essentiellement complété le planificateur de clignotant intégré à partir de 1,9 et le bouquet de SQL FLINK SQL plus sur le premier étage.

La ruche est devenue une composition standard d'entrepôt de données dans l'écologie des données majeures. Ce n'est pas simplement un moteur SQL, mais également un système de gestion de données. Mais en raison des limites d'elle-même, la nid d'abeille est confrontée à un défi majeur à ce moment-là et ne peut pas répondre aux besoins des pêcheursUtiliser.

Sur la base de cela, nous avons lancé la bêta de FLINK et la nid d'abeille intégrée de FLINK 1.9. Au cours des derniers mois, nous sommes basés sur les commentaires des utilisateurs et les produits sont améliorés dans tous les aspects. Je suis très heureux d'annoncer que l'intégration de la flexion et de la ruche peut réaliser la production dans la version fline 1.10! S'il vous plaît introduire quelques détails à vous.

Gestion des métadonnées unifiées

Hive Metastore est devenue progressivement le centre de l'écologie Hadoop. De nombreuses entreprises utilisent la ruche métastore pour gérer le nid d'abeille ou même la NPME.

FLINK 1.9 Nous avons libéré Hacecatalogogog of Flink et plongeons jusqu'au port de métadonnées étendu de la ruche métastore. Hivecatalog a deux couches.

On est que cela permet aux utilisateurs de FLINK de stocker des métadonnées de plier lui-même, y compris les tables, les fonctions et comme la ruche métastore.

Lundi, il permet à FLINK d'utiliser des métadonnées d'abeilles qui existe dans la ruche métastore àFLINK peut lire et écrire des tables en nid d'abeille.

Nouvelle fonctionnalité de FLINK 1.10 est que les utilisateurs peuvent communiquer presque toutes les versions de la ruche métastore. Voici un exemple de la façon de stocker des métadonnées de table Kafka de FLINK's KAFKA à HIVE METASTORE.


Exemple de code:

https://ci.apache.org/projects/flink/flink-docs-release-10/dev/table/ Hive / Hive_Catalog .html # Exemple

En raison de la défaillance de la HIVE, les utilisateurs ne peuvent pas obtenir des capacités de saisie de données en temps réel. Mais avec des flunes intégrées de K, les utilisateurs peuvent déverrouiller certains autres scénarios utiles, tels que:

Données en temps réel de Mois et Données hors ligne de Regarde, rejoignez

avec RIENT Retour aux données de la HIVE

Version compatible HIVE

Dans FLINK 1.10, nous sommes compatibles avec la plupart des versions de la ruche 1 .x, 2.x, 3.x.

Réutiliser la fonction de ruche

Les utilisateurs peuvent être assortis kECNH dans FLINK 1.9. C'est génial pour les utilisateurs HIVE car les utilisateurs n'ont pas besoin de ré-développer des fonctions, de gagner du temps et des efforts.

FLINK 1.10 a introduit le concept de module et prend en charge toutes les fonctions fermées de la ruche par le biais du hivemodule. La communauté combinée a accumulé une fonction auto-contrôlée importante pendant des années, ce qui aidera les utilisateurs à compléter facilement leur travail en liquide.

Améliorer la lecture et l'écriture de données de la ruche

1.10 Améliorer la lecture et l'écriture de données de la HIVE.

Lors de la lecture, FLINK peut lire la table de partition de nid d'abeille et le mode de vue (vue); Dans le même temps, nous avons ajouté beaucoup d'optimisations de lecture, telles que la poussée et la découpe des partitions pour diminuer du système pour avaler des données de données; Pour les fichiers Orc, nous avons participé à une lecture quantitative.

par écrit, le flux introduit l'introduction de la syntaxe "insert" et "d'insertion d'insertion"; De plus, FLINK peut toujours écrire sur la table de partition du groupeabeille et dynamique.

Ajouter un type de données

1.10 Nous soutenons des types d'abeilles plus courants.

Le plan suivant

La Communauté prévoit d'optimiser l'intégration intégrée entre deux systèmes basés sur les réactions de l'utilisateur. Certains buts de 1.11 sont les suivants:

's Atmosphère de la HIVE Suveler en ligne

Fichier de plancher de Young Wooden Lire

South Interactive - permet aux utilisateurs de créer des tables et des fonctions de la ruche de FLINK
mieux dans Soutien à la grammaire de la ruche

Le voyageur se développe dans une direction plus en temps réel et la combinaison étroite de FLINK fera cette tendance de plus. FLINK 1.10 Combiné au niveau de production dans les métadonnées et les champs de données peut mieux résoudre les problèmes pratiques et apporter davantage de valeurs à l'entreprise .