大数据服务-azkaban安装

周玉强

azkaban安装
一： Setup the Database

mysql> CREATE DATABASE azkaban;
mysql> CREATE USER 'username'@'%' IDENTIFIED BY 'password';
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON <database>.* to '<username>'@'%' WITH GRANT OPTION;
/etc/my.cnf
[mysqld]
...
max_allowed_packet=1024M

$ sudo /sbin/service mysqld restart


[root@bigdata-pro01 azkaban-db-3.48.0-4-g5ef0b39d]# mysql -uroot -p123456 -Dazkaban  <create-all-sql-3.48.0-4-g5ef0b39d.sql

二：
创建SSL配置
命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA
运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下:

输入keystore密码：
再次输入新密码:
您的名字与姓氏是什么？
[Unknown]：
您的组织单位名称是什么？
[Unknown]：
您的组织名称是什么？
[Unknown]：
您所在的城市或区域名称是什么？
[Unknown]：
您所在的州或省份名称是什么？
[Unknown]：
该单位的两字母国家代码是什么
[Unknown]： CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
[否]： y

输入的主密码
（如果和 keystore 密码相同，按回车）：
再次输入新密码:
完成上述工作后,将在当前目录生成 keystore 证书文件

三：
1.下载源码
git clone git@github.com:azkaban/azkaban.git
2.进行编译
./gradlew clean build
3.将azkaban-db/，azkaban-exec-server/，azkaban-solo-server/，azkaban-web-server/ 目录下/build/distributions/*的文件拷到安装的服务器目录

4.进行解压
5.将azkaban-solo-server-3.48.0-3-g471b242d目录下的 conf plugins拷贝到azkaban-exec-server-3.48，azkaban-web-server-3.48
配置:azkaban-exec-server-3.48下的conf/azkaban.properties文件

default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes



889
database.type=mysql          #数据库类型
mysql.port=3306
mysql.host=192.168.0.110
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

创建log4j.properties
log4j.rootLogger=DEBUG,C
log4j.appender.C=org.apache.log4j.ConsoleAppender
log4j.appender.C.Target=System.err
log4j.appender.C.layout=org.apache.log4j.PatternLayout
log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n



配置azkaban-web-server-3.48下的文件
将上面生成的keystore 证书拷贝到conf下面
配置conf/azkaban.properties

# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
database.type=h2
h2.path=./h2
h2.create.tables=true
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=true
jetty.maxThreads=25
#jetty.ssl.port=8443                 #jetty ssl端口号
jetty.ssl.port=8443
jetty.port=8081
#jetty.keystore=conf/keystore        #SSL文件名
jetty.keystore=conf/keystore
#jetty.password=azkaban              #SSL文件密码
jetty.password=azkaban
#jetty.keypassword=azkaban           #jetty主密码与keystore文件相同
jetty.keypassword=azkaban
#jetty.truststore=conf/keystore      #SSL文件名
jetty.truststore=conf/keystore
#jetty.trustpassword=azkaban         #SSL文件密码
jetty.trustpassword=azkaban
# Azkaban Executor settings
executor.port=12321
# mail settings
mail.sender=apps@xqchuxing.com
mail.host=smtp.xqchuxing.com
mail.user=apps@xqchuxing.com
mail.password=xq123456!
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes

database.type=mysql          #数据库类型
mysql.port=3306
mysql.host=192.168.0.110
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
azkaban.use.multiple.executors=true
#azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
#azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
#azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.Memory=1
#azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.LastDispatched=1
#azkaban.executorselector.comparator.CpuUsage=1
azkaban.executorselector.comparator.CpuUsage=1