好看的玄幻小说,如何发布网络小说

主頁 > 知識(shí)庫 > Azkaban3.81.x部署過程及遇到的坑

Azkaban3.81.x部署過程及遇到的坑

Azkaban是什么？

Azkaban是由Linkedin公司推出的一個(gè)批量工作流任務(wù)調(diào)度器，主要用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程，它的配置是通過簡單的key:value對(duì)的方式，通過配置中的dependencies 來設(shè)置依賴關(guān)系，這個(gè)依賴關(guān)系必須是無環(huán)的，否則會(huì)被視為無效的工作流。Azkaban使用job配置文件建立任務(wù)之間的依賴關(guān)系，并提供一個(gè)易于使用的web用戶界面維護(hù)和跟蹤你的工作流。

一、前提安裝

1.1 Java1.8環(huán)境搭建

　　1) 下載jdk1.8并解壓：

# tar -zxvf jdk-8u201-linux-i586.tar.gz -C /usr/local

2) 添加Java環(huán)境變量，在/etc/profile中添加：

export JAVA_HOME=/usr/local/jdk1.8.0_201 
export PATH=$PATH:$JAVA_HOME/bin
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

　　3) 保存后刷新環(huán)境變量：

# source /etc/profile

　　4) 檢查Java是否配置成功，成功配置會(huì)有如下圖所示。

# java -version

1.2 MySQL安裝

　　Ubuntu可以參考我的MySQL安裝博文。

1.3 git安裝

# sudo apt-get install git

1.4 下載azkaban

　　從github選取版本下載azkaban：

https://github.com/azkaban/azkaban/releases

　　在這里我選取了azkaban-3.18.4版本：

# wget https://github.com/azkaban/azkaban/archive/3.84.4.tar.gz

　　解壓：

# tar -zxvf azkaban-3.84.4.tar.gz -C /mnt/addDisk1/BigData/
# cd /mnt/addDisk1/BigData/azkaban-3.84.4

1.5 編譯

　　執(zhí)行g(shù)radlew編譯命令，跳過測(cè)試：

# ./gradlew distTar -x test

　　它會(huì)一下編譯，直到編譯成功，運(yùn)行之后會(huì)生成5個(gè)壓縮包，分別放在在azkaban-*/build/distributions/目錄下：

azkaban-db-3.47.0-10-gdd67b02.tar.gz
azkaban-exec-server-3.47.0-10-gdd67b02.tar.gz
azkaban-hadoop-security-plugin-3.47.0-10-gdd67b02.tar.gz
azkaban-solo-server-3.47.0-10-gdd67b02.tar.gz
azkaban-web-server-3.47.0-10-gdd67b02.tar.gz

　　接著把五個(gè)包分別解壓在另外的目錄下(/mnt/addDisk1/BigData/azkaban)，并重命名：

cd /mnt/addDisk1/BigData
tar -zxvf ./azkaban-3.81.4/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaaban-3.81.4/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
mv azkaban-solo-server-0.1.0-SNAPSHOT/ azkaban-solo-server
mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server
mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server
mv azkaban-db-0.1.0-SNAPSHOT/ azkaban-db
mv azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT/ azkaban-hadoop-security-plugin

二、azkaban部署

2.1在MySQL中創(chuàng)建azkaban數(shù)據(jù)庫：

create database azkaban;
grant all privileges on azkaban.* to azkaban@'%' identified by 'azkaban';
flush privileges;
use azkaban;
# 將azkaban sql表結(jié)構(gòu)導(dǎo)入mysql
source /mnt/addDisk1/BigData/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

2.2 創(chuàng)建SSL配置：

# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
運(yùn)行此命令后,會(huì)提示輸入當(dāng)前生成 keystor的密碼及相應(yīng)信息,輸入的密碼請(qǐng)勞記,信息如下:

輸入keystore密碼： 
再次輸入新密碼:
您的名字與姓氏是什么？
 [Unknown]： 
您的組織單位名稱是什么？
 [Unknown]： 
您的組織名稱是什么？
 [Unknown]： 
您所在的城市或區(qū)域名稱是什么？
 [Unknown]： 
您所在的州或省份名稱是什么？
 [Unknown]： 
該單位的兩字母國家代碼是什么
 [Unknown]： CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正確嗎？
 [否]： y
密碼在此我輸入的是hadoop
輸入jetty>的主密碼
 （如果和 keystore 密碼相同，按回車）： 
再次輸入新密碼:

　　完成上述工作后,將在當(dāng)前目錄生成 keystore 證書文件,將keystore 考貝到 azkaban web服務(wù)器根目:

# sudo mv keystore azkaban/azkaban-web-server

2.3部署 azkaban-web-server

# cd ./azkaban
# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-web-server/
# cd ./azkaban-web-server/conf

　　配置azkaban.properties:

# 默認(rèn)時(shí)區(qū),已改為亞洲/上海 默認(rèn)為美國
default.timezone.id=Asia/Shanghai
database.type=mysql #數(shù)據(jù)庫類型
# h2.path=./h2
# h2.create.tables=true
mysql.port=3306 #端口號(hào)
mysql.host=localhost #數(shù)據(jù)庫連接IP
mysql.database=azkaban #數(shù)據(jù)庫實(shí)例名
mysql.user=root #數(shù)據(jù)庫用戶名
mysql.password=root #數(shù)據(jù)庫密碼

jetty.use.ssl=true
jetty.maxThreads=25 #最大線程數(shù)
jetty.ssl.port=8443 #Jetty SSL端口
jetty.port=8081 #Jetty端口
jetty.keystore=keystore #SSL文件名
jetty.password=hadoop #SSL文件密碼
jetty.keypassword=hadoop #Jetty主密碼 與 keystore文件相同
jetty.truststore=keystore #SSL文件名
jetty.trustpassword=hadoop # SSL文件密碼

# 執(zhí)行服務(wù)器屬性
executor.port=12321 #執(zhí)行服務(wù)器端口

# 郵件設(shè)置 可不設(shè)計(jì)
mail.sender=xxxxxxxx@163.com #發(fā)送郵箱
mail.host=smtp.163.com #發(fā)送郵箱smtp地址
mail.user=xxxxxxxx #發(fā)送郵件時(shí)顯示的名稱
mail.password=********** #郵箱密碼
job.failure.email=xxxxxxxx@163.com #任務(wù)失敗時(shí)發(fā)送郵件的地址
job.success.email=xxxxxxxx@163.com #任務(wù)成功時(shí)發(fā)送郵件的地址
lockdown.create.projects=false #
cache.directory=cache #緩存目錄

　　配置log4j.properties（默認(rèn)就可以了，如有其他需求可修改）:

log4j.rootLogger=INFO, Console
log4j.logger.azkaban=INFO, server
log4j.appender.server=org.apache.log4j.RollingFileAppender
log4j.appender.server.layout=org.apache.log4j.PatternLayout
log4j.appender.server.File=logs/azkaban-webserver.log
log4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n
log4j.appender.server.MaxFileSize=102400MB
log4j.appender.server.MaxBackupIndex=2
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n

　　添加管理員用戶:

# sudo vim azkaban-users.xml

azkaban-users>
 user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
 user password="metrics" roles="metrics" username="metrics"/>
 user username="admin" password="admin" roles="admin,metrics" />
 role name="admin" permissions="ADMIN"/>
 role name="metrics" permissions="METRICS"/>
/azkaban-users>

2.4部署 azkaban-exec-server

# cd /mnt/addDisk1/BigData/azkaban
# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/
# cd ./azkaban-exec-server/conf

　　配置azkaban.properties：

# sudo vim azkaban.properties

#Azkaban
default.timezone.id=Asia/Shanghai #時(shí)區(qū)

# Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

#數(shù)據(jù)庫設(shè)置
database.type=mysql #數(shù)據(jù)庫類型(目前只支持mysql)
mysql.port=3306 #數(shù)據(jù)庫端口號(hào)
mysql.host=localhost #數(shù)據(jù)庫IP地址
mysql.database=azkaban #數(shù)據(jù)庫實(shí)例名
mysql.user=azkaba #數(shù)據(jù)庫用戶名
mysql.password=azkaba #數(shù)據(jù)庫密碼
mysql.numconnections=100 #最大連接數(shù)

# 執(zhí)行服務(wù)器配置
executor.maxThreads=50 #最大線程數(shù)
executor.port=12321 #端口號(hào)(如修改,請(qǐng)與web服務(wù)中一致)
executor.flow.threads=30 #線程數(shù)

　　在azkaban-exec-server和azkaban-web-server安裝目錄下創(chuàng)建extlib目錄，將lib目錄下的mysql-connector-java-5.1.28.jar包拷備這extlib目錄：

# cd /mnt/addDisk1/BigData/azkaban
# sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-web-server/extlib/
# sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-exec-server/extlib/

2.5啟動(dòng)web-server和exec-server

# ./azkaban-exec-server/bin/start-exec.sh
# ./azkaban-web-server/bin/start-web.sh

2.6訪問https://ip:8443打開azkaban的web頁面

2.7 測(cè)試

三、遇到的問題

3.1、找到guava-*.jar包版本過低，但在/lib/下的是0.21版本，不低了，根據(jù)排除可知找到系統(tǒng)中版本過低的而使用。

2019/12/20 14:25:34.573 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"
2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector;
2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.Status.clinit>(Status.java:40)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows.clinit>(FetchActiveFlowDao.java:177)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:148)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:102)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:384)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:136)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:149)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224)

解決方案：https://www.jb51.net/article/185901.htm

# vim /mnt/addDisk1/BigData/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh

將如下：
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$CLASSPATH:$file
done

改為：
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$file:$CLASSPATH
done

# vim /mnt/addDisk1/BigData/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh

將如下：
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$CLASSPATH:$file
done

改為：
for file in $azkaban_dir/lib/*.jar;
do
 CLASSPATH=$file:$CLASSPATH
done

3.2解決executor非active的問題

解決方案：

1）

# cd ./azkaban/azkaban-exec-server/
# curl -G "localhost:$(./executor.port)/executor?action=activate"  echo

2）也可以通過在MySQL中修改：https://www.jb51.net/article/185900.htm

到此這篇關(guān)于Azkaban3.81.x部署過程及遇到的坑的文章就介紹到這了,更多相關(guān)Azkaban3.81.x部署內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

Azkaban報(bào)錯(cuò)-azkaban.executor.ExecutorManagerException: No active executors found
解決啟動(dòng)Azkaban報(bào)錯(cuò)問題：java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap

標(biāo)簽：棗莊咸寧七臺(tái)河三沙許昌忻州汕尾萊蕪

巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《Azkaban3.81.x部署過程及遇到的坑》，本文關(guān)鍵詞 Azkaban3.81.x,部署,過程,及,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。