Digital est mort? Les données du lac sont debout!

Il y a deux jours,

J'ai analysé le poste de modélisation de données dans ces deux jours. Les gens indiquent que le cœur de Baidu Xiaogong "Je ne vois pas le modèle" est la logique principale de l'ensemble du cercle de données. Ensuite, il y a un groupe de personnes dans le module construit en fou, ainsi que de haut numérique numérique, pointant vers le fils Giang et parler.

Pourquoi est-ce que cela tire-t-il? Parce que nous savons, ce n'est pas la première première donnée, le projet est le premier match carré russe, mais le premier client, l'entreprise est le premier jeu d'évasion du temple.

Cependant, la plupart des ingénieurs d'entrepôt de données de la plupart des entreprises sont tombés au pays de la planche à dessin. Da Khanh est mort, où avez-vous trouvé une tresse?

Premièrement, le jeu a été changé

Au début des années, les changements commerciaux ne sont pas un an, la stratégie est une année,La politique de KPI a été publiée une fois par an. Nous avons suffisamment de temps pour planifier, modeler, modélisation de champ, modèles logiques, modélisation physique, modèles de vérification. Comme l'amour en même temps, la voiture était lente, une seule vie aimeuse.

À cette époque, fondamentalement, la performance de l'industrie, il y avait donc également un modèle de données classique tel que FSLDM. Y a-t-il un modèle pour obtenir une industrie?

Mais maintenant, qui ressemble plus aux autres? ne sont pas! Même si les deux concurrents vivants de courtes vidéos, ils sont une logique différente:

Un algorithme de déviation recommandé, une relation sociale biaisée.

Ne dites pas que, à l'heure actuelle, l'achat de la Société de la Communauté est confisquée, le modèle économique change tous les jours.

Je ne peux pas être confiant que je construirai un système de comptabilité numérique KPI qui prend en charge les politiques de KPI dans un mois!
Le jeu a vraiment changé! AlorsCela a changé!

Lundi, le modèle est modifié

Logique de la quantité de règles amusantes traditionnelles de ce côté du plan à modifier. Le bien en fait, en commençant à une direction très étrange.

Une direction
est une grande entreprise, techniquement techniquement, a tendance à se stabiliser, telle que Ali, la mission des États-Unis et qu'elles attrapent la tête de test un nouveau concept de modèle. Leurs noms de domaine thématiques ne sont pas suivis par l'ancienne personnalité "neutre, commune", mais "
, dédiée
". Par conséquent, ils utilisent le processus métier pour diviser le nom de domaine thématique, car cela peut être plus pratique pour prendre en charge le système d'indicateur d'entreprise supérieur. De cette façon, comment puis-je extraire un modèle universel?

Lorsque la modélisation, la modélisation traditionnelle, les classes DWD doivent créer des modèles de modèle et ne fournissent souvent pas de services. Si chaque partie nécessite des données détaillées, chaque résolution DM a été définie.

Maintenant, Mode tissuL'image de ces principales usines est la gamme de modèles de compression, étendant des profondeurs de modélisation de taille. Le système d'index structuré, avec le modèle de taille pénètre continuellement dans la classe DWD. Oui, la classe DWD est également un modèle de taille. Tous les uniformes, code de commutation, quelles sont les données à plat? ETL est terminé.

Oh, non! Il devrait s'appeler elt. Téléchargez d'abord, puis commutateur. En raison des données inadéquates, nous devons d'abord résoudre des problèmes de débit de données.

Une autre direction
est une nouvelle entreprise de sociétés entrepreneures ou de grandes entreprises. Ce type de scène est caractérisé par l'entreprise et la fonction de produit change également. Les bases de données commerciales changent également. [

La construction logique des entrepôts de données traditionnels dans ce scénario a complètement échoué. Parce que quelqu'un ne peut pas trouver le modèle d'entrepôt de données qui ajuste la vitesse de répétition de 2 semaines dans une période aussi courte. Alors hSélectionnez Ceci est la cause première de Baidu Xiaogong Crazy Spit dans Pulse Pulse. Ne pas modéliser, mais le temps

, aucune condition de modèle

.

Mardi, ce nombre est mort

Le type d'entreprise a tendance, l'usine est grande, quelques situations sont de nombreuses situations sont des sociétés commerciales, des essais de carrière inductive conjointe, des petites centrales sont ajustées.

Après que l'entreprise ait changé, le produit à nouveau, la base de données des affaires a continué à mettre à jour Personne ne vous a dit que, sous le régime d'enfer, a annoncé fondamentalement la mort de l'entrepôt de données de la mort!

C'est comme jouer à des jeux. Il a déjà joué des carrés russes, nous sommes bien conçus et chaque brique sera placée dans un endroit raisonnable. L'ensemble des installations est parfaitement en attente de la venue.

Et maintenant, lorsque vous jouez au temple, actif et bas, mais vous ne pouvez pas le trouver. Traitement, structure, mise en page, légèrement hésitante, mordez-la par objet de fuck.

pourLes principaux fabricants, bases de données, ont également de gros problèmes. Comme les nouveaux propriétaires de voitures d'énergie, presque tous les ingénieurs numériques hors ligne ont peur des tâches manquantes. L'échec de la mission signifie que le rapport n'arrive pas, ce qui signifie des yeux blancs et des déductions opérationnelles.

De plus, notre programme de stockage en hausse, due à des données tardifs, une logique commerciale complexe, V.V. devient lentement plus compliquée. Par conséquent, certaines petites entreprises ont simplement une quantité totale d'argent chaque jour, ce qui rend les données retardées plus graves. Il semble que les tiers de la normale hors ligne numérique soient retardés, devenant la dernière paille du centre-ville numérique. Parce que l'unité commerciale n'est plus satisfaite des données d'hier.

"Nous ne faisons rien de mal, mais je ne sais pas pourquoi, nous avons perdu", le son de la PDG de Nokia semblait être obsédé. Quoi? Dis-tu que l'architecture de Lambda peut être satisfaite? Oui, c'est une ONGÉlevez, mais lorsque vous passez du temps et hors ligne deux résultats pour l'essayer?

Maintenant, vous me dites maintenant, quelles économies ont été ignorées

Warehouse de données pour l'ère de la phase Internet
?

Lorsque Internet HR a démissionné de la démission de l'entrepôt de données sur l'autre âge HR prévu à un petit Poupées nées en 2009.

C'est

Data Lake

.

C'est la CTO de Pentaho James Dixon. Lorsque James l'a créée, je ne m'attendais pas à ce que ce gars soit gêné aussi. Il veut juste que toutes les données stockées sur un lieu, pratiques pour toute expédition.

Le lac de données actuel a grandi dans un géant! Avec Photos basées sur des instantanés, une réunion courte, des atomes étonnants, de nouvelles métadonnées, etc., le lac de données a appuyé une série, un stockage et un stockage parfaitement accru peuvent être calculés. Ces caractéristiques sontquelle?

Pour les ingénieurs ETL, cela signifie que le lac de données n'a pas de t + 1! C'est trop intéressant! Mais plus intéressant est d'importants architectes de données, les lacs de données signifient non seulement quelles données sont lancées, mais aussi une naissance naturelle
nouvelle architecture

!

Une architecture universelle permettant de respecter l'architecture de l'ingénieur d'algorithme et peut répondre à l'architecture des grands ingénieurs de données pour tirer un compteur de largeur en temps réel. L'architecture qui répond au nombre d'augmentations d'informations et l'analyse en temps réel peut immédiatement rendre les gros ingénieurs de données ne doivent pas voir si la tâche n'a pas de succès ou non.

Années, l'architecture a changé

à Kappa Architecture, le Kafka et MQ les plus impuissants sont formés. Base de données. Cela conduit également directement aux limitations de l'architecture de Kappa qui ne peut stocker de grandes données.

Mais cet inconvénient, le lac de données peut être résolu. Après des modifications de KAFKA aux lacs de données, le problème a été résolu. Kafka a finalement reposé et vous pouvez supprimer la "base de données" qui ne peut pas être expliquée.

Problème d'île numérique traditionnel, avant le lac Data, pas immédiat. Parce que le lac Data Lake est Hodgepodge, qu'est-ce qui se passe! et ont maintenant une connexion avec les produits de Data Lake. Le lac Data se transforme vraiment en un lac!

Cette architecture est simplement!

Vous pouvez utiliser des composants de traitement de données, dessiner du lac, effectué directement avec la largeur, la table est lancée.
Peut également écrire un DAG, spécifier des données et lancer une autre base de données après ouverture.

Les personnes qui ne connaissent pas les données, vous pouvez utiliser le composant de requête pour vérifier les données directement dans le lac Data.

Les algorithmes peuvent également attacher directement des lacs de données, pour le malOriginal du lac à algorithme, modèle de formation.

Le point le plus important, le moteur OLAP peut directement attacher le lac de données!

C'est génial! En d'autres termes, vous pouvez construire un système OLAP super invincible, qui est quasi-en-un, pas besoin de créer des hiérarchies complexes, ne vous inquiétez pas des tâches non-exécutives, les entreprises auront lieu rapidement!

[

6, le marché a changé

Dites-vous que Dongdong est très bétail? Est-ce très précieux pour vous?

Oui, non seulement pour la valeur, il est également précieux pour le marché des capitaux. Il y a une entreprise appelée Snowflakes, un bon gars, et il est précieux de 100 milliards de dollars! Ces ps sont beaucoup plus que d'autres licornes.

Outre les flocons de neige, les anciens joueurs du lac Amazon AWS Data sont également un désert, j'ai ses propres produits OLAP AWS ATHENA., Avec les données que vos doubles mérigues ont lancé la concept de "tUtiliser hulu "

Bien sûr, c'est certainement moins que l'équipe chinoise, pour la première fois ali. Oss d'ali devrait être assez familier, ce stockage est bon marché. Mais vous pouvez inconnu, le stockage d'Aliji est également inconnu. Un nuage du système lac, mais pas seulement un lac de données, mais également le produit OLAP DLA basé sur le lac de données! Bien sûr, ce prix est, hé, vous savez.

Autres options sont également là. Actuellement, Open Source Data Lake a le lac Delta, Iceberg et Hudi de "Sanjianke Data Lake". OLAP ci-dessus, le moteur de requête peut être utilisé de Kylin, Presto, Spark SQL, Impala, etc.

Il a souligné Kylin, non seulement parce que c'est le produit open source de l'équipe chinoise, mais plus important encore, il s'agit d'un grand ingénieur de données familier ~~~ et, même si vous ne faites pas de superbes ingénieurs de données, il s'agit d'une tradition traditionnelle de Ingénieurs, et il est trop simple d'apprendre! Parce que vous pouvez comprendre le cube dans de grands environnements de données. Pas que nous vivons à sec chaque jour?

Bien sûr, Kylin est actuellement illimitée pour les blocs traditionnels, essentiellement, considère le cube tel que l'index et le stockage. Avant de partager, Kylin a maintenant appuyé les fonctions de requêtes détaillées et de requêtes en temps réel. Pour aider tout le monde, j'ai trouvé l'histoire de l'équipe fondatrice de l'équipe de Kylin de l'équipe de l'équipe de Kylin, qui devait être venue à certaines
informations de vente révélées

. Les gens vont se prendre.

Le produit du lac Data + Kylin s'appelle Kyligence Cloud. De l'image, on peut voir dans le lac, il est imaginé. Parce qu'il est pris directement au bord du lac, alors il est affiché directement. Combien de choses!

Demander un frère, devez-vous construire un bloc? Dit-il, le premier cube de construction, c'était en fait une époque. Cependant, cela ne prendra plus plus longtemps que des données peuvent être ajoutées.

En raison des caractéristiques du lac de données, il peut dire à Kylin modifié pour la dernière fois qu'ils ont créditéKkeic. Ce type de kylin peut être rafraîchi tant qu'il rafraîchit une partition spécifique. En outre, le lac Data ne peut tirer que des données qui ont changé de manière à ce que l'amendement progressif du cube soit réalisable. Si une requête ne peut pas être satisfaite par Cube, appuyez simplement directement sur le lac Data Data directement, mais les performances seront déclassées au niveau normal.

Par conséquent, l'ensemble du flux de données créé à partir de l'écran est créé, il est significatif dans une demi-heure. Quoi? Êtes-vous trop lent? Eh bien, en effet, il est vraiment lent de comparer avec le clickhouse et je ne viendrai pas à vous, les gens grands et rapides.

Mais, cher, voulez-vous vraiment devenir un garçon SQL

"Table large" toute la journée? J'ai également écrit une copie de l'article de copie précédent, qui est rapide, mais faites attention.

Nous savons que OLAP est réellement divisé en trois directions de développement: Molap, Rolap et Holap. Kylin est Molap, Clikchouse est Rolap, ces deux produits, comme Eti Tiandong. Clickhouse est le kFin du ciel, la poursuite est extrêmement rapide, Kylin est Butterlon, lourd et calme.

Si le Dragon ciel peut être combiné, chacun d'entre eux va créer un approvisionnement à long terme, qui n'est pas retardé! Dans l'attente de la coopération de Kylin et le groupe clickhouse, lancement d'un produit plus de bétail, ce qui rend notre travail plus facile.


Mais maintenant, clickhouse peut être simplement mal. Bien que les âmes mauvaises sont bonnes, vous devez d'abord rentrer à la maison. Plus clickhouse utile, le modèle d'un modèle d'une main pratiquera, je crains que ce sera abolie! Vous avez demandé les gens que vous cracher tous les jours et je savais que, en fait, les amis sont très pessimistes.


Sept, conclusions

Cela, tu penses que je raisonnablement, mais je ne sais pas s'il est vrai. Quelle avance sur le nombre? Le temps est en train de changer, la technologie progresse, et il va supprimer définitivement.

J'ai vu "Chao Chao Feng" sur tapis roulant, les gens nPutain le groupe occidental plus la tradition.À la fin du maître de Jiao, le sang souffla dans le sang et j'ai été brisé quand j'étais avec un phénix qui a attrapé.

Je suis des personnes âgées.En 2005, il a fait un travail dans la construction d'un emploi.Je pense vraiment que c'est un diplôme. Donc, dans toutes les manières, je dois trouver les informations de Kyrlin et la partager avec tout le monde.So avec d'autres outils, Kylin est toujours proche de nous. Hey, le nombre de lots ne sait pas comment mourir, Mais le lac de données est venu. Travailler dur, allez!