Introduction 1.Spark
L'étincelle est un cadre de calcul de données populaire, un modèle de calcul basé sur la RDD (ensemble de données de dispersion élastique). Ce qu'il est, ce n'est peut-être pas trop compétent, et la popularité est de distribuer un grand nombre de données extrêmes et de grandes quantités des premiers ensembles de données séparées, puis de calculer, puis des résultats de calcul de calcul sont consolidés.
Nous voulons installer Spark, exiger le premier pont à Allez sur le site officiel de Saprk pour télécharger le package de paramètres correspondant du site Web officiel de Spark's: http://spark.apache.org/doads.html
La première étape est cliquée sur la liaison bleue du cadre rouge.
L'utilisation de la première étape basculera sur une autre page, comme indiqué dans l'image ci-dessous, sélectionnez la section de la trame rouge, puis téléchargez-la, puis sélectionnez le chemin d'enregistrement du fichierSauvegarder.
Nous devons définir le chemin où le fichier bin dans l'image ci-dessous est défini sur la variable d'environnement.
Installez les variables d'environnement
Cliquez sur mon ordinateur, puis sélectionnez Propriétés, accédez à cette interface ci-dessous.
Sélectionnez Installer le système système amélioré du cadre rouge pour rester, puis cliquez sur la variable d'environnement.
Nous voyons ici deux chemins, l'un est l'environnement environnemental, l'un est l'environnement variable du système, ces deux sont différents?
Installation de la variable d'environnement du système fonctionnant dans tous les utilisateurs de toutes les informations de connexion et de la variable d'environnement utilisateur ne fonctionne que pour cet utilisateur, que je mettez habituellement les variables d'environnement système C'est le chemin dans la variable utilisateur du système.
En premier, cliquez sur la section Chemin pour sélectionner le lien, puis cliquez sur Modifier.
Ajoutez le lien au dossier BIN (y compris la corbeille) à l'arrière de la variable d'environnement existante, utilisez; Séparé, puis cliquez sur OK, de telles variables d'environnement sont configurées avec succès.
Utilisation des liaisons combinées combinées + R pour transférer une interface CMD, entrez SHELL Spark pour obtenir l'interface suivante:
. Une erreur manque de python Python peut être exécutée car elle n'ajoute pas de python dans la variable d'environnement, vous devez donc ajouter de Python à la variable d'environnement, ajoutez le moyen d'être ajouté, comme cela, vous devez juste trouver Python dans votre l'ordinateur. Le chemin est défini.
Après avoir ajouté de python dans la variable d'environnement, entrez l'erreur de la coque, non trouvée par Python, mais il y a des erreurs dans Java introuvables, nous n'avons donc pas besoin d'installer Java sur votre ordinateur.
4.java Télécharger
Premier besoin d'aller au site Web officiel Java pour télécharger la version Java correspondante, Java ChiSite Web: https://www.racle.com/technistwork/java/javase/doads/index.html
Choisissez mon cadre rouge pour décomposer les téléchargements JDK, puis passer à la page autre.
Premier
Cliquez d'abord sur l'accord de licence qui accepte que le petit cadre de cadre rouge, puis cliquez sur la version correspondante ci-dessous. Ici, mon ordinateur est Windows 64bit, alors sélectionnez Windows x64 ..
Après le téléchargement, c'est le fichier .exe, double-cliquez pour exécuter et attendre après l'installation du programme, il est également nécessaire de l'installer. ajouter des dossiers binous dans le répertoire d'installation. Pour transformer l'environnement, des méthodes supplémentaires sont comme des étincelles.
J'ai entré Sprak-shell cette fois-ci à nouveau pour obtenir un modèle d'étincelle dans l'image ci-dessous. Lorsque vous voyez cette interface, Spark a été installé. Accompli.
Parce que l'étincelle écrite dans la langue Scala, Spark est soutenue par la langue Scala. Vous verrez donc SCALA & GT; Cette icône, vieuxNG a une méthode imprimée dans la langue Scala. Nous avons vu les résultats, obtenir les résultats que nous voulons, expliquer les paramètres officiels.
5.PYPYPARK INSTALLÉ
Après les étapes ci-dessus, nous avons installé avec succès une étincelle dans notre ordinateur, mais l'étincelle par défaut est utilisée par la langue Scala. Si nous voulons écrire une étincelle en langage Python et que vous devez simplement utiliser le langage Python, vous pouvez utiliser directement le module PYSPark, vous n'avez pas besoin de passer le processus de configuration de l'environnement et de télécharger Spark, mais nécessite également le processus de configuration de l'environnement Java. La méthode d'installation du module PYSPark convient à d'autres modules. Vous pouvez utiliser le code suivant suivant:
Voici pour noter que si votre python a été ajouté à la variable d'environnement, le système est livré à la PIP de l'interface CMD. Si vous utilisez Anaconda et n'ajoutez pas de variables environnementales, vous devez exécuter PIP à Anaconda Promt. Lorsque PIP est installé, ouvrez l'entrée de l'ordinateur portable Jupyter:
Sans erreur, cela signifie que le module PYSPARK a été installé et peut commencer à l'utiliser.