1. Introduction du logiciel
Server Web Azkaban: Azkaban-Web-Server-2.5.0.TAR.GZ
Excellent serveur exécutable Azkaban: Azkaban-Executor- Server-2.5. 0 .tar.gz
Le fichier de script a été initialisé Azkaban: azkaban-sql-script-2.5.0.tar.gz
] 2, Téléchargez le logiciel
Téléchargez l'adresse: http://azkaban.github.io/doads.html
[hadoop@hadoop3 ~]$ cd apps/[hadoop@hadoop3 apps]$ mkdir azkaban-2.5.0 3, Instructions d'installation
Téléchargez le fichier d'installation dans le cluster, il est préférable de le télécharger sur la ruche, SQOP et une installation pratique pour les commandes d'exécution. Il est préférable de stocker le fichier de paramètres source dans le dossier d'application. NOUVEAU Dossier AZKABAN-2.5.5.0 utilisé pour stocker des programmes Azkaban
[hadoop@hadoop3 ~]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz -C apps/azkaban-2.5.0/[hadoop@hadoop3 ~]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C apps/azkaban-2.5.0/ 4, Installation des étapes
(1) Téléchargez le package d'installation et décompressez-vous. Le dossier spécifié
[hadoop@hadoop3 ~]$ tar -zxvf azkaban-sql-script-2.5.0.tar.gz [hadoop@hadoop3 ~]$ cd azkaban-2.5.0/[hadoop@hadoop3 azkaban-2.5.0]$ ll总用量 88-rwxr-xr-x 1 hadoop hadoop 129 4月 22 2014 create.active_executing_flows.sql-rwxr-xr-x 1 hadoop hadoop 216 4月 22 2014 create.active_sla.sql-rwxr-xr-x 1 hadoop hadoop 4694 4月 22 2014 create-all-sql-2.5.0.sql-rwxr-xr-x 1 hadoop hadoop 610 4月 22 2014 create.execution_flows.sql-rwxr-xr-x 1 hadoop hadoop 519 4月 22 2014 create.execution_jobs.sql-rwxr-xr-x 1 hadoop hadoop 358 4月 22 2014 create.execution_logs.sql-rwxr-xr-x 1 hadoop hadoop 224 4月 22 2014 create.project_events.sql-rwxr-xr-x 1 hadoop hadoop 227 4月 22 2014 create.project_files.sql-rwxr-xr-x 1 hadoop hadoop 280 4月 22 2014 create.project_flows.sql-rwxr-xr-x 1 hadoop hadoop 285 4月 22 2014 create.project_permissions.sql-rwxr-xr-x 1 hadoop hadoop 294 4月 22 2014 create.project_properties.sql-rwxr-xr-x 1 hadoop hadoop 380 4月 22 2014 create.projects.sql-rwxr-xr-x 1 hadoop hadoop 325 4月 22 2014 create.project_versions.sql-rwxr-xr-x 1 hadoop hadoop 155 4月 22 2014 create.properties.sql-rwxr-xr-x 1 hadoop hadoop 498 4月 22 2014 create.schedules.sql-rwxr-xr-x 1 hadoop hadoop 189 4月 22 2014 create.triggers.sql-rwxr-xr-x 1 hadoop hadoop 22 4月 22 2014 database.properties-rwxr-xr-x 1 hadoop hadoop 671 4月 22 2014 update-all-sql-2.1.sql-rwxr-xr-x 1 hadoop hadoop 156 4月 22 2014 update-all-sql-2.2.sql-rwxr-xr-x 1 hadoop hadoop 395 4月 22 2014 update.execution_logs.2.1.sql-rwxr-xr-x 1 hadoop hadoop 59 4月 22 2014 update.project_properties.2.1.sql[hadoop@hadoop3 azkaban-2.5.0]$ (2) Script d'initialisation de la compression
mysql> create database azkaban;Query OK, 1 row affected (0.01 sec)mysql> use azkaban;Database changedmysql> source /home/hadoop/azkaban-2.5.0/create-all-sql-2.5.0.sql (3) Mise en œuvre du script dans MySQL
Cree-All-SQL-2.5.0.SQL (exécuté sur le serveur où MySQLPlacé)
(4) Création de la configuration SSL
Adresse de référence: http://docs.codehaus.org/display/jetty/how + to + Configuration + SSL + SSL
[hadoop@hadoop3 azkaban-2.5.0]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA输入密钥库口令: 再次输入新口令: 您的名字与姓氏是什么? [Unknown]: 您的组织单位名称是什么? [Unknown]: 您的组织名称是什么? [Unknown]: 您所在的城市或区域名称是什么? [Unknown]: 您所在的省/市/自治区名称是什么? [Unknown]: 该单位的双字母国家/地区代码是什么? [Unknown]: CNCN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN是否正确? [否]: 是输入 <jetty> 的密钥口令 (如果和密钥库口令相同, 按回车): [hadoop@hadoop3 azkaban-2.5.0]$ Best est accueil / Liste Hadoop / Apps / Azkaban-2.5.0: Commande de praticing: KeyTool -ketoStore KeyStore-Gallalg Jetty -Genkey -Kylalg Rs
hadoop@hadoop3 azkaban-2.5.0]$ mv keystore azkaban-web-2.5.0/
) après avoir terminé Le travail ci-dessus, créez un fichier de certificat de verrouillage dans le dossier actuel pour copier l'entrepôt de verrouillage dans le répertoire racine du serveur Web Azkaban. Telle que:
[hadoop@hadoop3 azkaban-2.5.0]$ sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime REMARQUE: d'abord configurer le fuseau horaire
1, M. Cheng enregistre la configuration de fuseau horaire Asie / Shanghai, interagissant ensemble
2, copier le fichier de fuseau horaire, remplace le système local de configuration de fuseau horaire
[hadoop@hadoop3 ~]$ cd apps/azkaban-2.5.0/azkaban-web-2.5.0/conf/
[hadoop@hadoop3 conf]$ vi azkaban.properties (6) Modifiez la configuration du serveur Web Azkaban
Entrez le répertoire d'unité Conf Azkaban
modifié
Azkaban.Properies
Le contenu est la suivante:
#Azkaban Installation personnalisée
Azkaban.name = MyTestazkaban # Nom du serveur, utilisé pour le nom affiché au-dessus du serveur
azkaban.label = mon Azkaban # Description locale
Azkaban.color = # FF3601 #UI Couleur
Azkaban.default.servlet.Path = / Index
Web.Resource.dir = / Page d'accueil / Accueil / Hadoop / apps / azkaban-2.5.0 / azkaban-web-2.5.0 / # Directory Web d'origine par défaut
Par défaut.timezone.id = Asiatique / Shanghai # Par défaut de fuseau horaire #, a été modifié en Asie / Shanghai Par défaut aux États-Unis
#zkaban Usermanager ClassUtilisateur .Manager. Classe = azkaban.user.xmlusermanager # Classe Gestion par défaut Droits utilisateur
User.Manager.xml.file = / Home / Hadoop / Apps / Azkaban-2.5.0 / Azkaban-2.5.0 / Azkaban-web-2.5.0 / Conf / auzkaban-users.xml # Configuration utilisateur, configuration spécifique à joindre
#loader cHO Projets # Lieu de la configuration globale de la configuration
Executor.global.Properies = / Accueil / Hadoop / Apps / Azkaban-2.5.0 / Azkaban-Executor-2.5.0 / Conf / Global.Properies
] Azkaban.project.dir = projet
Type de base de données.Type = MySQL # Type de base de données
Port = 3306 # Numéro de port
MYSQL .HOST = HADOOOOP03 # Database IPMYSQL.DATABASE = AUZKABAN # Nom d'instance de base de données
Nom d'utilisateur de base de la base de données
MySQL.Password = Mot de passe de base de données original #
MySQL .Numconnections = 100 # Nombre maximum de connexions
# Dev Velocity
Velocity.Dev. Mode = mauvais # propriétés de serveur de jetty.
JETTY.MAXTHEADS = 25 # Numéro de sujet maximal
JETTY.SL.PORT = 8443 #JETTY SSL
JETTY.PORT = 8081 #JETY PORT
] Jetty.keystore = / home / hadoop / apps / azkaban-2.5.0 / azkaban-web-2.5.0 / Nom du fichier KeyStore #SSL
JETTY.PASSWORD = hadoop #ssl Mot de passe de fichier
JETTY.KEYPASSWORD = Hadoop #SeTer code principal comme un fichier KeyStore ]jetty.truststore = / home / hadoop / apps / azkaban-2.5.0 / azkaban -web-2.5.0 / fichier fin de fin e #ssl
jetty.truspassword = hadoop # hadoop # hadoop # miel SSL Fichier
# Exécuter le compte serveur
exécutant.port = # Exécuter le port de serveur<azkaban-users><user username="azkaban" password="azkaban" roles="admin" groups="azkaban" /><user username="metrics" password="metrics" roles="metrics"/><user username="admin" password="admin" roles="admin,metrics" /><role name="admin" permissions="ADMIN" /><role name="metrics" permissions="METRICS"/></azkaban-users> [hadoop@hadoop3 ~]$ cd apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/ .
[hadoop@hadoop3 conf]$ vi azkaban.properties
]
[hadoop@hadoop3 ~]$ vi .bashrc #Azkbanexport AZKABAN_WEB_HOME=/home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0export AZKABAN_EXE_HOME=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin [hadoop@hadoop3 ~]$ source .bashrc
[hadoop@hadoop3 ~]$ azkaban-web-start.sh nohup azkaban-web-start.sh 1>/home/hadoop/azwebstd.out 2>/home/hadoop/azweberr.out & Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class org.apache.derby.jdbc.AutoloadedDriver40 at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:348) at java.sql.DriverManager.isDriverAllowed(DriverManager.java:556) at java.sql.DriverManager.isDriverAllowed(DriverManager.java:548) at java.sql.DriverManager.getDrivers(DriverManager.java:446) at org.apache.commons.dbcp.BasicDataSource.<clinit>(BasicDataSource.java:57) at azkaban.database.DataSourceUtils.getMySQLDataSource(DataSourceUtils.java:98) at azkaban.database.DataSourceUtils.getDataSource(DataSourceUtils.java:76) at azkaban.database.AbstractJdbcLoader.<init>(AbstractJdbcLoader.java:63) at azkaban.executor.JdbcExecutorLoader.<init>(JdbcExecutorLoader.java:59) at azkaban.webapp.AzkabanWebServer.loadExecutorManager(AzkabanWebServer.java:247) at azkaban.webapp.AzkabanWebServer.<init>(AzkabanWebServer.java:185) at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:726) [hadoop@hadoop3 ~]$ cp derby-10.11.1.1.jar apps/azkaban-2.5.0/azkaban-web-2.5.0/lib/[hadoop@hadoop3 ~]$ cp derby-10.11.1.1.jar apps/azkaban-2.5.0/azkaban-executor-2.5.0/lib/ Exception in thread "main" java.lang.IllegalArgumentException: The datetime zone id 'Asia/Shanghai ' is not recognised at org.joda.time.DateTimeZone.forID(DateTimeZone.java:223) at azkaban.webapp.AzkabanWebServer.<init>(AzkabanWebServer.java:208) at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:726)
[hadoop@hadoop3 ~]$ azkaban-executor-start.sh nohup azkaban-executor-start.sh 1>/home/hadoop/azexstd.out 2>/home/hadoop/azexerr.out & .
# 邮 邮 邮 (Facultatif)
[163.com # Envoyer la boîte aux lettres
. = SMTP.163.com # Envoyer la boîte aux lettres d'adresse SMTP
Mail.user = xxxxxxxx # Nom Lorsque vous envoyez un messageMail.Password = ******** ** # Mot de passe de la boîte aux lettres
xxxxxx@163.com # Adresse réussie
LOCK. Projet = faux # cache.directory = dossier de cache de cache de tampon
modifié fichier de configuration Azkaban-users.xml Configuration de l'utilisateur Entrez le serveur Web Azkaban, modifier Azkaban users .xml micro micro azkaban-users.xml ajoutez les utilisateurs de l'administrateur (6) Modifier la configuration de serveur Execife Azkaban Entrez le répertoire d'installation d'Azkaban Executive Server Server Dossier Azkaban.Properies [Timezone.id = Asia / Shanghai # Zone d'heure # Configurer Plugin Azkaban, Position du plugin Azkaban.jobtype.plugin.dir = / Accueil / Hadoop / Apps / Azkaban-2.5.0 / Azkaban-Execllor-2.5.0 / Plugin / Employypes . . #Loader pour les projets exécuteur.global.properies = / home / Hadoop / Apps / Azkaban-2.5.0 / Azkaban-Executor-2.5.0 / Conf / Clobal.proper.Properies azkaban.project.dir = projet # 数据 数据 Database.type = MySQL # Type de base de données (ne prend actuellement que prend en charge MySQL) MySQL.PORT = 3306 # Numéro de base de données MySQL.HOST = Hadoop03 # Adresse IP de la base de données MYSQL.DATABASE = AZKABAN # Nom d'instance de base de données MySQL.User = Numéro de base de données Nom des personnes Utilisez MySQL.Password = Root Numéro de base de données Mysql.numconnections = 100 # Numéro de connexion maximal # Effectuer le serveur de configuration EXECUTOR.MAXTHADES = 50 # Numéro de sujet maximum Executor.port = # Numéro de portail (comme Modifié, veuillez accepter des services Web) (7) Configuration variable de l'environnement Après l'enregistrement, il prendra effet immédiatement 5, début Démarrage du serveur Web Mode de démarrage Actualités: Besoin de mettre Derby -10.11.1.1.jar à /home/hadoop/apps/azkaban-2.5.0/azkaban-web-2.5.0/Lib et / home / hadoop / application Utilisation / Azkaban-2.5.5.5.5.0 / Azaban-Executor- 2.5.0 / LIB Catalogue dans À ce stade, le redémarrage d'Azkaban reste une erreur Les commissaires trouvés comme Azkaban Fichier de configuration Azkaban-web-2.5.0 / CONF / AZKABAN.Properies dans la configuration du fuseau horaire Dans le fuseau horaire, il existe un espace Remarque: Aucune capacité dans le Fichier de configuration d'Azkaban Après avoir supprimé l'espace, recommencez au-dessus d'Azkaban, a commencé le succès (2) Démarrer le serveur exécutif Mode de fondation 6. Vérifiez Ouvrir l'entrée Google ou Firefox https: // IP: 8443, à cette adresse est cochée comme https: // hadoop3: 8443, l'interface suivante peut se produire, cliquez sur Avancé Cliquez pour continuer à Hadoop3 (dangerose) Sera transférée à l'interface de connexion, entrant dans le mot de passe de nom d'utilisateur configuré dans le fichier de configuration azkaban -users.xml admin / admin , cliquez sur Connexion . Connexion réussie