Skip to main content

1. Création de l'arrière-plan

Depuis 1970, la base de données relationnelle a été utilisée pour stocker des données et maintenir des problèmes liés aux problèmes. Après avoir comparu des données importantes, de nombreuses entreprises ont déployé des données importantes et bénéficient d'eux et ont commencé à sélectionner une solution Hadoop. Hadoop utilise un système de sous-fichiers pour stocker de grandes données et utiliser MapReduce pour gérer. Hadoop est très bon pour stocker de grandes données, tout format ou même ne manipulant aucune structure de formats différents.


Limiter Hadoop

Hadoop ne peut effectuer que le traitement par lots et uniquement les données d'accès à l'ordre. Cela signifie que vous devez rechercher l'ensemble du jeu de données, même le travail de recherche le plus simple. Lors du traitement des résultats dans un autre ensemble de données énorme, il gère également une énorme définie de données dans l'ordre. À ce stade, une nouvelle solution nécessite une unité de point (accès aléatoire) dans les données.


Hadoop Base de données d'accès aléatoire


, tels que HBASE, Cassandra, Couchdb, Dynamo et Mongodb, sont un certain nombre de stockages de données en vrac et d'accès aux bases de données de manière aléatoire de données.


(1) La grande quantité de données sauvegardées sur la nœud et la machine unique ne peut pas charger une grande quantité de données

(2) la machine IO demande à lire et écrire de gros goulots d'étranglement de données

[3) [3) [3) avec des demandes hautement simultanées lorsqu'elles sont stockées, avec une taille de données, un grand nombre de scènes d'affaires ont commencé à ouvrir un stockage de données horizontal à l'ouverture de l'ouverture de données de stockage afin que les services de stockage puissent augmenter / Supprimer et les relations existantes qui se concentrent sur une machine
Deuxièmement, introduisent HBase

HBase est la source ouverte de Bigtable (code source utilisant Java). Il s'agit de la base de données HADOOOP Apache, construite sur HDFS et est conçue pour fournir une fiabilité élevée, une haute performance, un stockage de colonne, une version de stockage de données distribuée multi-nosql, une version réelle, aléatoire, aléatoire.Porche, lecture aléatoire, aléatoire, lecture aléatoire, accès au hasard.


HBASE dépend du kit de stockage de données de base de HDFS, Bigtable basé sur Google GFS pour stocker des données

Secondaire HBase en fonction de la MAPReduce à Effectuer des données de calcination dépend de Google MapReduce pour effectuer des calculs de données


HBase dépend de ZooKeper pour coordonner les services, Bigtable basé sur Google Chubby pour coordonner le service

NOSQL NOSQL = Non seulement SQL: Il y aura des instructions de requête originales définies les données NSQL dans SQL, telles que HBase avec Phoenix Tool

. Database relationnelle et représentant typique des bases de données relationnelles

NOSQL: HBASE, REDIS, MONGODB

] RDBMS: MySQL, Oracle, SQL Server, DB2


















.











.



Score de verrouillage de la base HBASE Ces données NOSQL

1 Entre NOSQL et RDBMS,

ne peuvent que récupérer des données par des clés de pointe et primaire,

2 Data Les requêtes HBASE sont simples,
ne prennent pas en charge les activités complexes


Non pris en charge,

ne prend en charge que les transactions de fournitures

( plus que de rejoindre la table de support de la ruche et d'autres opérations complexes).

4 Le type de données est pris en charge dans HBase: octet [] (stockez toutes les données de l'installation) 5 principalement utilisés pour économiser la structure chimique du magasin et vendre des données en vrac structure. Structure, structure et non structuré : le champ Structure de données signifie clair et clair sur la structure de la table dans l'installationData : moitié avec structure : Il existe une certaine structure, mais la sémantique n'est pas déterminée, typiquement, telles que des sites HTML, certains champs sont déterminés, certaines écoles n'ont aucune structure Non -Manage : Les chapitres non désordonnés, très difficiles de suivre un concept, sans normal comme Hadoop, HBASE ciblait la cible principale basée sur une expansion horizontale, en augmentant les serveurs d'activités pour accroître la capacité de calculer et stocker. 1, Big : une table peut avoir des centaines de milliards, des millions de colonnes 2, Face à des colonnes : contrôle de stockage et droits des colonnes (famille), colonne (groupe) reprend l'indépendance. 3, SPARSE : Pour les colonnes pour blanc (NULL), n'occupez pas d'espace de stockage. La table peut donc être très élégamment conçue. 4, Aucun mode : Chaque rangée dispose de l'agencement de verrouillage principal et de tout nombre de colonnes, la colonne peut être augmentée en fonction de la demande.Devenir, différentes lignes dans la même table peuvent être très différentes. 3, Logique de structure de la structure HBASE HBASE Contacts Souxuels, il se peut que la description suivante sera la suivante: "Sur la base de la colonne de stockage", "La carte est arrivée", "Rowkey", "colonne colonne". Ce n'est vraiment pas trop élevé, nous devons comprendre HBASE en deux étapes et c'est bien comprendre pourquoi HBASE peut "distribuer rapidement" la manipulation "de grande quantité de données". 1. Structure de la mémoire . Le concept de Rowkey Le concept de Rowkey et la serrure principale dans MySQL outre-mer, HBASE utilise Rowkey pour distinguer uniquement les données d'une certaine ligne. Parce que HBASE prend uniquement en charge 3 modes de requête: 1, tri la série unique basée sur Rowkey 2, balayage de la gaine 3, balayage de la table complète Par conséquent, Rowkey a une très haute performance de HBASE et la conception de Rowkey est particulièrement importante. Lors de la conception, il est nécessaire d'importer la balayage de la balayage de Rowkey en fonction de Rowkey. RowKey a spécifiquement conçu une description des articles suivants. C'est une personne que vous avez un concept que Rowkey est extrêmement important. Les touches de ligne de goupille peuvent être n'importe quelle chaîne (la longueur maximale est 64 Ko , l'application réelle est généralement de 10-100 octet, de préférence 16. Intérieur HBASE, Rowkey est enregistré sous forme d'attente. HBASE organisera. Données dans le tableau (ordre du dictionnaire) peut être comprise en tant que colonne MySQL. Le concept des colonnes Le concept de la course, HBASE introduit. HBase peut contenir de nombreuses colonnes en stockant des données de division de données et le nombre de colonnes peut être utilisé pour obtenir un accès flexible de données. Comme le Concept de famille, nous savons qu'une famille est due des familles.La course est similaire et la course comprend une colonne (plus). Lorsque la création de tables HBASE doit être spécifiée. Comme la base de données de relations créée, vous devez spécifier la même colonne. La race de HBASE, la plus possible, la recommandation officielle est la meilleure raccourci inférieure ou égale à 3. La scène que nous utilisons est généralement une course. Le concept d'horodatage horodatage est très important pour HBASAM, car il s'agit de la clé de déployer HBASE de nombreuses versions. Différents noms de chômage sont utilisés dans HBASE pour déterminer les données disponibles disponibles correspondant à la même ligne RowKey. HBASE a été déterminé par Rowkey et des colonnes appelées cellules. Chacune enregistre plusieurs versions des mêmes données. La version est indexée par l'horodatage. Le type de minuterie est un entier 64 bits. Les marques de temps peuvent être spécifiées par HBASE (automatiquement lors de la rédaction de données , à ce stade, l'horodatage est la période de temps.NG Courant exactement à millisecondes.Les marques horaires peuvent également être clairement spécifiées par les clients.Si l'application évite le conflit de la version de données, vous devez créer un horodatage unique.Dans chaque cellule, différentes versions de données sont l'ordre dans l'ordre inverse , ce qui signifie que les dernières données sont classées. Pour éviter de gérer la charge (y compris la charge de stockage et de l'indexation), HBASE fournit deux méthodes de libération de données: Enregistrer pour la dernière fois de la version temporelle (définir le TTL cycle de vie des données).Les utilisateurs peuvent définir pour chaque colonne.La cellule est définie de manière unique par {Rowkey, colonnes (= +), version}. Les données de la boîte ne tape pas, tous sélectionnés par code octet.

Sujets

Catégories