Un rapport d'enquête récemment publié par l'IDG de l'établissement de recherche indique que, bien que les données de l'organisation sur la plate-forme de cloud ne partagent pas de 2020, il est rapidement développé au cours de cette année. La plupart des organisations envisagent d'élargir les investissements dans les entrepôts de données sur le cloud computing et les lacs de données en 2021. Cependant, de nombreux problèmes autour de la gestion des données et de l'ETL existent toujours.

L'enquête a constaté que 77% des décideurs informatiques prévoyaient de migrer pour stocker des entrepôts de données sur le cloud computing dans les 6 ou 12 mois ou étendre les entrepôts de données de cloud computing existants. Un autre 21% des décideurs informatiques prévoient d'élargir son entrepôt de données sur le cloud dans les 24 prochains mois. Seulement 1% des décideurs informatiques ont déclaré qu'ils n'avaient ni migré ni élargir le plan de l'entrepôt de données de cloud.

Ces données d'enquête sont très importantes, en particulier 38% des participants à l'enquête de l'IDG (ce sont les superviseurs de l'intelligence d'entreprise, de l'analyse ou de la science des données. Les décideurs de haut niveau) ont des données de cloud computing Entrepôts. L'enquête a révélé que 30% des organisations exécutent des entrepôts de données de déploiement internes et 23% des organisations utilisent des entrepôts de données non cloud.

Évidemment, dans le plan d'analyse des données en 2021, le cloud computing a un impact important sur diverses organisations à l'échelle. Par exemple, l'entrepôt de données en cloud computing fournis par Snowflake, AWS, Microsoft Azure, Google Cloud et Data Data Dataffricks est saisi la part de marché. Outre ces principaux fournisseurs d'entrepôts de données en cloud computing, la plupart des fournisseurs du développement interne de déploiement des entrepôts de données fournissent également des produits similaires à cet égard.

Selon l'enquête sur les sociétés IDG dans l'ETL Fournisseur Matillion, bien que les entrepôts de données sur le cloud computing soient clairement croissants, moins de la moitié des utilisateurs prévoient d'utiliser l'entrepôt de données sur le cloud computing.

1, l'enquête IDG indique que le déploiement de l'entrepôt de données de cloud est en croissance

Indique que 57% des organisations seront déployées à l'intérieur de l'intérieur et que les entrepôts de données sur l'informatique en nuage ont été combinés gestion de données Stratégie, 22% des organisations utilisent une stratégie d'entrepôt de données clois. Dans les entreprises utilisant des stratégies d'entrepôt Data Data Cloud, seuls 21% des organisations utilisent une seule plate-forme cloud.

Cette enquête a également des histoires similaires dans Data Lake. Le lac de données est un stockage de données évolutif et peu coûteux illimité. Hadoop a été remplacé au cours de la dernière décennie. DROIT. L'enquête de l'IDG a révélé que, bien que seulement 16% des organisations utilisent le lac de données, jusqu'à 56% des organisations représentent des données à l'avenir.Lac, tandis que 26% des organisations envisagent d'utiliser Data Lake. Seulement 2% des organisations n'envisagaient pas d'utilisation de Data Lake.

Bien que de nombreuses organisations migrent une grande quantité de données à divers stockages en nuage, la technologie de cloud computing ne doit pas être considérée comme une panacée pour faire face à tous les problèmes de gestion des données. Le rapport de l'enquête de l'IDG montre que les analyseurs de données prennent une semaine d'une semaine pour obtenir un ensemble de données donné pour analyser. En général, la préparation et la résumation des données analyse le temps (45%) du temps (45%) et les 30% supplémentaires sont utilisés pour explorer et former de grands modèles. Seulement 25% du temps est utilisé pour gérer le modèle déployé dans la production.

Maillion Director David Langton grandit dans le piège d'analyse d'origine. Il a déclaré: "Il existe de nombreuses raisons de rendre ce problème difficile à résoudre. Tout d'abord, le point le plus important est que l'analyse et le rapport le plus intéressant qui organise peuvent générer ne proviennent pas d'une source de données unique, doit être combinée."

Il a déclaré que l'entrepôt de données en cloud computing est associé à des données intéressantes pour apporter une perspicacité rentable à l'utilisateur. Il a déclaré que certains clients ont une expérience dans l'exécution de cette opération dans le centre de déploiement interne et seule la taille fournie par l'entrepôt de données en cloud computing, et d'autres ont commencé à participer.

Langton a déclaré: «Nous avons l'habitude de déployer toutes de telles choses dans le passé. Nous sommes maintenant re-concevons, reconfigurez l'outil et déplacez beaucoup de données sur la plate-forme cloud. Chine. Certains clients savent quels objets besoin d'atteindre, de la moderniser et de les transformer et de le faire de manière nouvelle. Mais de nombreux nouveaux clients n'ont jamais été faits. »

Il a dit que les clients choisissent de faire Un grand nombre d'options sur l'outil ETL / ELT pour choisir de déplacer et de convertir leurs données dans le référentiel de cloud. Il a récemment noté une tendance, c'est-à-dire que le fournisseur se concentrera principalement dans l'extraction et le chargement et la convertir en fournisseurs d'entrepôt de données. Certains fournisseurs d'ETL / ELT soutiennent également la conversion, mais seulement une conversion universelle.

Dans Matillion Corporation, la société vise à fournir un outil ETL complet, qui peut non seulement extraire et charger des données, mais également prendre en charge une variété de systèmes de déploiement interne et d'entrepôt de données interne. dans la base de données. Il a déclaré que le maintien de la flexibilité lui permet d'utiliser de nombreux types de données différents sur plusieurs fins de données, une valeur importante fournie par maillion.

LANgton a déclaré: «Pour nous, c'est un endroit différent. De nombreux fournisseurs d'outils d'ETL ont un adaptateur standard avec des données de lecture et des données d'écriture, et le milieu est notre logique de conversion, de sorte que les avantages qu'il est nécessaire d'écrire une logique de conversion. Nous écrivons la logique de conversion pour chaque système cible qui prend en charge l'optimisation pour l'optimiser. Par conséquent, nous allons opérer sur le flocon de neige ou utiliser sur le redshift, il ne doit pas être considéré comme une boîte noire et leur principe de travail est le même. "

Étant donné que de nombreuses méthodes différentes sont prises, la flexibilité est importante. Certains entrepôts de données utilisent une méthode de lecture de lecture (Hadoop est conçue), tandis que d'autres appliquent un mode lorsque des données sont écrites dans la base de données. En fait, de nombreux entrepôts de données sur le cloud computing sont équipés de capacités de traitement de la requête, leur permettant de interroger des données qui résident dans le cloud computing Data Lake, qui a également exacerbé la confusion. Ceci est également vrai de différentes manières de prendre en charge les types de données JSON. Il doit généralement être aplatie avant d'utiliser le type de données JSON de la requête SQL Langue.

Dans l'ensemble, les outils et technologies de l'analyse informatique en nuage ont été considérablement améliorés et que les clients trouvent la manière dont ils conviennent, cela favorise le développement de l'expérience.. Langton a déclaré que les clients qui utilisent l'outil ETL / Elt pour définir des données au milieu avec un avantage que l'entrepôt de données peut être facilement remplacé.

Il a dit: "Nous voyons de plus en plus les gens à migrer et à essayer différents entrepôts de données après leur devenir des clients et voulaient essayer un autre entrepôt de données. De toute évidence, nous avons un moyen d'aider à migrer. Mais cela indique que cela indique que l'organisation a rendu beaucoup d'investissement dans ces décisions, dans l'espoir de mettre à jour et d'essayer de nouvelles solutions dans quelques années. "