Traditionnellement, les entrepôts de données collectent toutes les données structurées des services organisationnels. Les organisations peuvent ainsi les intégrer à un modèle de données unique, à analyser l'analyse et à obtenir des informations commerciales, qu'il soit utilisé pour développer de nouveaux produits ou des ventes de marché aux clients des clients. Ceci s'appelle "Big Data", mais toutes les organisations ont maintenant une grande quantité de données provenant de sites Web de commerce électronique, d'Internet des équipements de commerce et de capteurs, de sorte que les entrepôts de données modernes nécessitent des données de support structurel, non structurel, non structuré et streaming, et fournissent de vrais Analyse des données et intelligence et rapport de l'entreprise.

De plus en plus d'organisations atteignent cet objectif dans le cloud pour atteindre une vitesse supérieure et un coût inférieur. Julia White, vice-président de Microsoft Azure, a souligné que de plus en plus de données peuvent déjà exister dans le cloud, et l'organisation souhaite utiliser ces données. White a déclaré: "Au fur et à mesure que les données augmentent au cloud, qu'il s'agisse de l'application SaaS ou de migrer uniquement dans le cloud, les données de fonctionnement se trouvent dans le cloud, le client est une enquête" Pourquoi souhaite-je déplacer les données de fonctionnement de Le nuage retour au centre de données de déploiement interne pour analyse? Cela n'a pas de sens. «Il a souligné que, bien qu'il y ait encore beaucoup de données à l'intérieur, avec le développement du calcul de la périphérie, il y aura plus de données, mais de nombreux clients transféreront une ou toutes les données sur la plate-forme cloud, en fonction du règlement. Problèmes de conformité.

White a souligné que "chaque entreprise étudie l'intelligence artificielle. Ils ont rapidement compris que l'analyse est la base, ils commencent à demander" mon statut de l'analyse et de mon entrepôt de données? " Et souvent, ne suffisez pas assez. »

Power BI a également poussé davantage de clients Microsoft effectue une analyse de cloud computing. White a déclaré: "Quand ils ont cette puissante visualisation de données, ils ont commencé à interroger leur propre analyse -" Je veux savoir ce qui s'est passé derrière la visualisation des données: j'aime le pouvoir BI, j'espère que mon analyse est plus intéressante.

Les clients plus complexes souhaitent analyser leurs propres données de graphique Office (les organisations peuvent utiliser l'usine de données Azure pour la copier sur Azure Data Lake) ou utiliser Microsoft, Adobe et SAP (ODI ) Data Lake entre azure basé sur les données) et intégrera finalement les données de plus de vendeurs de logiciels. White a déclaré: "Azure Data Lake est étroitement intégré à Azure Data Warehouse, les clients utilisent AZUre Data Warehouse obtient plus d'idées et construit des entrepôts de données modernes.

1. Quel service de données est adopté?

Microsoft dispose d'une série de services de cloud computing tels que des entrepôts de données, le plus évident "DW" que Azure SQL Data Warehouse ou Microsoft est souvent mentionné, mais dispose également d'une fabrique de données Azure, d'Azure Data Lake, de la base de données Azure, de l'apprentissage de la machine BI et d'Azure, ainsi que d'autres services d'emballage, tels que les outils de vente artificiels de l'intelligence de Dynamics 365.

Compréhensionner n'est pas seulement de faire attention aux outils qu'ils fournissent, mais font également attention aux utilisateurs d'attention qu'ils servent ainsi que leur fonctionnement ensemble. En effet, les données ont généralement des données dans plusieurs données de stockage de données, le premier pas dans la création d'un entrepôt de données moderne consiste à intégrer toutes ces îles. Ces différents stockages de données sur Microsoft Azure Beaucoup, plus faciles à se connecter - ceci est également l'un des Microsoft Azure afin de fournir l'une des raisons pour lesquelles des services de données différents. Si vous voulez vraiment choisir et optimiser vos propres scènes utilisées.

Azure DW convient aux ingénieurs de données de traitement des données de planification. Cela peut être des données de la base de données SQL Server, mais elle peut également être à partir de ces ingénieurs de données utilisent des données pour les données pour les données. de Azure HDInsight et d'autres sources.

L'usine de données Azure est l'ingénieur de données Un autre service de données ETL (extraction, conversion, charge). L'organisation peut le traiter comme un niveau d'informatique en nuage Outil de l'ETL, les organisations peuvent utiliser Python, Java ou .NET SDK en faisant glisser-déposer (en réalité des applications logiques) ou en utilisant Python, Java ou .NET SDK si les organisations préfèrent écrire du code à exécuter) pour utiliser la conversion de données et la gestion de différentes étapes de Pipelines de données, via des cours d'eau de données ou HDInsight, Azure Data Lake, Azure Data Lake ou Power BI.

La puissance BI peut également utiliser des dataflows (également disponibles). Pour effectuer une conversion de données, mais il s'agit d'une fonction d'auto-service fournie pour les analystes d'entreprise. Ingénieur de donnéesOu des analystes intelligents commerciaux à temps plein peuvent utiliser ces modèles sémantiques pour rendre les utilisateurs professionnels, tandis que Microsoft ajout de plus d'intégration à Azure DW à Power BI.
L'utilisateur de la puissance BI peut ajouter de l'intelligence artificielle dans sa visualisation et son rapport. Certaines d'entre elles peuvent être une reconnaissance d'image et une analyse émotionnelle utilisant les services cognities pré-construits de Microsoft. Mais ils peuvent également utiliser des ingénieurs de données pour créer des modèles de renseignement artificiels personnalisés pour eux dans des services d'apprentissage automatique Azure et utiliser toutes les données d'entreprise.

L'entrepôt de données moderne rassemble une taille de données, offrant des informations en analysant des panneaux d'instruments, des rapports opérationnels ou une analyse avancée.

Deuxièmement, entrepôt près du lac Data Lake

Complexe dans ces scènes Le sexe est la raison pour laquelle la frontière entre l'entrepôt de données et le lac Data Lake a commencé à apparaître dans le nuage. Les entrepôts de données traditionnels permettent aux entreprises d'obtenir des données à partir de sources multiples et d'utiliser la conversion de l'ETL pour mettre les données en mode unique et un modèle de données unique, destiné à répondre à nouveau au plan de l'organisation.

Ces sources ne doivent pas nécessairement être des données de relation structurées: la prise en charge de PolyBase et JSON dans SQL Server et Azure DW signifie que les organisations peuvent se connecter à des non-relation. Données stockées, telles que Comme HDFS, COSMOS DB, MYSQL, MONGODB ET Oracle, Teradata, PostgreSQL. Cela signifie que l'entrepôt de données (même SQL Server) ressemble plus à la lacune de données.

Avec le lac de données, l'organisation peut acquérir plusieurs stockages de données, y compris le stockage de données structuré et non structuré, et les stocker dans leur format natif ou près du format, de sorte que l'organisation peut avoir plusieurs modèles de données. et plusieurs modèles de données et peuvent être invités de manière flexible de nouveaux problèmes à partir des mêmes données (variantes SQL pour les requêtes Azure Data Lake appelées U-SQL, non seulement parce qu'il est T-SQL la version suivante et, comme l'organisation peut avoir besoin d'une u- bateau pour entrer dans le lac de données et trouver quelque chose caché dans l'obscurité.)

Si vous avez des problèmes, vous devez avoir une enquête répétée (telle comme analyse de vente ou surveillance du délai de livraison de tableau de bord), organisationCréez un entrepôt de données dans la partie correspondante des données.Mais si le problème change au fil du temps ou que l'organisation doit faire de nouveaux problèmes, vous pouvez retourner le lac Data, où les données d'origine sont enregistrées et une autre entrepôt de données est créée pour répondre à ces questions.

La combinaison des deux est la signification de l'infrastructure de Microsoft à travers l'entrepôt de données moderne.Les organisations peuvent obtenir diverses données à partir de différents endroits, l'utiliser dans le lac Data pour effectuer une analyse en temps réel ou utiliser une apprentissage de la machine pour découvrir le mode, indiquez aux organisations d'obtenir ce que les idées des données et les combiner avec des outils de données familiers répondent efficacement à ceux-ci. des questions.

Microsoft n'a pas fourni de service unique pour tous ces services.Les organisations peuvent effectuer différentes parties en utilisant une variété de services d'azur, ce qui signifie que les organisations peuvent choisir la partie dont elles ont besoin, mais cela signifie également que les organisations doivent avoir une expertise de données pour créer leurs propres systèmes spécifiques.