Partage à nouveau! Idée de pratique de base de données en temps réel

L'entrepôt de données traditionnel gère principalement T + 1 (certains également appelés D + 1) (c.-à-d .: Les résultats de l'analyse des données dans aujourd'hui peuvent Soyez consulté demain), le concept de T + 1 est dérivé du trading d'actions, qui est un système de négociation en valeurs mobilières, ce qui signifie acheter des actions le même jour, d'aller au prochain jour de négociation pour la vendre tout.

Lorsque l'importance des données de données augmente dans l'opération de la société, par exemple des recommandations en temps réel, un marketing précis, des effets publicitaires, une logistique en temps réel, V.V. Les capacités de traitement en temps réel des données sont devenues un facteur majeur de la promotion des entreprises. La phase originale de la société utilise principalement la nécessité d'écrire une tâche d'informatique en temps réel pour gérer les données en temps réel. Avec une augmentation de la demande, la mission d'augmentation correspondante et les développeurs de la mission sont différentes, conduisant à SLa différence de style en temps réel et de traitement de données de cette période manque de plan unifié, le type de code est grave et présente un obstacle majeur à l'efficacité de la maintenance et du développement.

Pour éviter ces problèmes, les gens mentionneront le concept et le modèle des entrepôts de données pour planifier et concevoir un traitement de données en temps réel, à ce sujet, à ce sujet, un entrepôt de données en temps réel (numérique en réel temps).

Deuxièmement, Digital VS en temps réel

Parlez simplement de l'architecture d'architecture de grande taille:

de grandes données hors ligne Architecture:

Stocker HDFS, Honeycomb, MR, Calculs hors ligne d'étincelles;

Lambda Architecture: Grande architecture de données en ligne Ajoutez de nouveaux liens vers le traitement des données en temps réel, les exigences de maintenance hors ligne et les deux ensembles réels de code de traitement;
Kappa Architecture: Batch One, manipulation hors ligne et manipulation en temps réelIntégré à un ensemble de codes, les coûts de fonctionnement et de maintenance sont petits, c'est pourquoi c'est pourquoi il est chaud en pliant aujourd'hui. L'architecture de Kappa est devenue une nouvelle tendance à l'architecture de l'entrepôt de données.
Introduction à l'architecture numérique, vous pouvez revoir nos postes précédemment partagés, plus d'architectures

la troisième et la troisième idée de construction numérique

Calcul de la sélection de l'image:
Storm / Flink et autre cadre informatique en temps réel, des recommandations de pluies fortes, ses caractéristiques de lot et des communautés open source positives ont progressivement remplacé la tendance des étincelles.

Options de stockage de données: Examens élémentaires L'efficacité de la requête, puis des incidents tels que l'insertion, la mise à jour, peut sélectionner Apache Druid, mais une erreur est une erreur dans une mise à jour. Lorsque vous sélectionnez, faites attention aux mises à jour régulières de ce problème ne sont pas utilisées. Bien sûr, c'est un problèmeSpécifiquement pour stocker cette pièce et HBase, Redis, V.V. Dans différents scénarios sont facultatifs.

Posterior numérique en temps réel: Pour de meilleures données de gestion consolidées, des modèles numériques en temps réel peuvent être traités en fonction du troisième modèle de code hors ligne, peuvent être divisés en classes claires en temps réel pour écrire druide. Stockage hautement efficace pratique pour une utilisation fluide; La couche de résumé de la lumière est envoyée à des données après avoir résumé les données. Programme de données Rirectricuit:
Source de données de numérique en temps réel peut être la file d'attente de messages Kafka, peut être utilisée pour écrire des données dans la file d'attente pour enregistrer les données de Data Lake pour analyse en vrac et peut être traité en temps réel, en aval. Vous pouvez écrire un marché de données pour les entreprises.

Difficultés dans la construction du système d'index

Nous rencontrons souvent lors du traitement des données quotidiennes, même nom queStatistiques des phénomènes incohérents. Lorsque ce phénomène, les coûts de la raison et d'explication sont relativement élevés. Les anciens indicateurs doivent satisfaire à de nouvelles règles et n'identifier pas les variations fréquentes d'un problème rencontré lors du système de construction du système d'index. Il est constaté que les administrateurs classés peuvent résoudre ce problème dans une exploitation pratique. Nous divisons les indicateurs de données en deux types d'indicateurs actifs et d'indicateurs stables.

Année, Résumé En résumé, le numérique en temps réel aborde principalement les données rapides, telles que le grand écran en temps réel, la surveillance du temps réel, le contrôle du vent en temps réel, etc. Les cadres d'apprentissage des machines combinées peuvent également être traités avec des recommandations en temps réel et obtenir des situations d'entreprise intelligentes telles que des effets de distribution de publicité en temps réel.

La construction numérique en temps réel sera bientôt incluse dans l'agenda et les demandes C.Les compagnies diaboliques à l'avenir pour calculer rapidement les données deviendront plus élevées et plus élevées.Le nombre réel de référentiels résoudra ce problème.Dans le même temps, pour nos piles techniques, de nouvelles exigences ont également été lancées et SQL FLINK / FLINK doit avoir des compétences et peuvent aller plus loin.