Azkaban安装并设置定时任务Schedule及邮件发送接收的流程步骤

技术  /  管理员 发布于 3年前   1877

之前的任务一直使用的是crontab定时任务，要通过监听任务运行日志才可以知道任务执行失败，并且还要设置邮件发送比较麻烦。最重要的是crontab无法维护任务之间的依赖关系。

而使用Azkaban可以很方便的管理任务之间的依赖关系，可以设置任务失败执行重试操作和邮件发送，NICE！

安装

首先第一步肯定是要上官网

https://azkaban.github.io/azkaban/docs/latest/#overview

solo server mode可以满足我们的需求，就是它了！

最好先创建一个工作目录，在工作目录里面操作，这里我创建了一个工作目录 /big_data,接着就按照官方文档的步骤来：

git clone https://github.com/azkaban/azkaban.git
cd azkaban;
./gradlew build
./gradlew build
./gradlew clean
./gradlew installDist
./gradlew test
./gradlew build -x test
./gradlew build installDist

注意：

为了避免不必要的权限问题出现，比如要执行的用户是hdfs，在这一步完成以后，一定要修改azkaban目录下的owner：

chown hdfs:hdfs -R azkaban/

开启azkaban服务：

cd azkaban-solo-server/build/install/azkaban-solo-server; bin/start-solo.sh

注意：

为了避免用户权限问题，跑任务的是哪个用户，必须要切换到哪个用户启动azkaban，不然的话会出现权限问题！

停止azkaban服务：

cd azkaban-solo-server/build/install/azkaban-solo-server;bin/shutdown-solo.sh

开启azkaban服务后访问：

http://IP:8081/index

默认的azkaban web端口号是8081

创建工作流

创建工作流请跳到官网上查看

https://azkaban.github.io/azkaban/docs/latest/#creating-flows

填好工程名称和描述

创建四个job：

1 sync_Apply_CreditCard.job

type=command
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Apply_CreditCard.sh
retries=3 #失败重试3次
retry.backoff=30000 #每次重试间隔，单位为毫秒

2 sync_Company.job

type=command
dependencies=sync_Apply_CreditCard
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Company.sh
retries=3
retry.backoff=30000

3 sync_Product_CreditCard.job

type=command
dependencies=sync_Company
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Product_CreditCard.sh
retries=3
retry.backoff=30000

4 sync_Member.job

type=command
dependencies=sync_Product_CreditCard
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Member.sh
retries=3
retry.backoff=30000

然后使用zip命令将这四个文件打成zip文件：

zip CRMMarket.zip *

选择刚才打好的zip文件上传，上传完成后可以看到：

这就说明zip包解析没有问题，.job文件语法也没有问题，依赖关系也OK！

设置Schedule

1.设置azkaban为上海时区：

由于azkaban默认的时区是美国时区，所以要将默认时区设置成上海时区。

azkaban的默认时区配置如下：

default.timezone.id=America/Los_Angeles

包含时区设置的文件有四个：

/big_data/azkaban/azkaban-solo-server/src/main/resources/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/resources/main/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/install/azkaban-solo-server/conf/azkaban.properties

将这四个文件的时区设置修改成：

#default.timezone.id=America/Los_Angeles
default.timezone.id=Asia/Shanghai

然后重启azkaban服务。

2.设置定时任务：

选中project，点击Execute Flow：

设置每天16:00跑这个定时任务：

设置邮箱通知

Azkaban还具有任务执行结果邮件通知功能，在solo server mode安装模式下，

配置邮件通知的方式如下：

1.配置邮件发送者：

/big_data/azkaban/azkaban-solo-server/src/main/resources/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/resources/main/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/install/azkaban-solo-server/conf/azkaban.properties

修改这三个文件的如下内容：

# mail settings
#mail.sender=邮件发送者
#mail.host=发送邮件服务器   
#腾讯企业邮箱的host是：smtp.exmail.qq.com  126邮箱的host是：smtp.126.com  163邮箱的host是：smtp.163.com
[email protected]
mail.host=smtp.126.com
[email protected]
mail.password=XXXXXXX

2.配置邮件接收者：

在任务流Flow的最后一个.job中文件中添加如下内容

#任务执行失败发送邮件，多个接收邮件人之间用“,”分隔
[email protected],[email protected]
#任务执行成功发送邮件
[email protected]
#任务执行完成，无论成功还是失败发送邮件
[email protected]