侯体宗的博客
  • 首页
  • Hyperf版
  • beego仿版
  • 人生(杂谈)
  • 技术
  • 关于我
  • 更多分类
    • 文件下载
    • 文字修仙
    • 群聊
    • 九宫格抽奖
    • 拼图
    • 消消乐
    • 相册

Azkaban安装并设置定时任务Schedule及邮件发送接收的流程步骤

技术  /  管理员 发布于 12个月前   1256

之前的任务一直使用的是crontab定时任务,要通过监听任务运行日志才可以知道任务执行失败,并且还要设置邮件发送比较麻烦。最重要的是crontab无法维护任务之间的依赖关系。

而使用Azkaban可以很方便的管理任务之间的依赖关系,可以设置任务失败执行重试操作和邮件发送,NICE!


安装

首先第一步肯定是要上官网

https://azkaban.github.io/azkaban/docs/latest/#overview

1.png

solo server mode可以满足我们的需求,就是它了!

2.png

最好先创建一个工作目录,在工作目录里面操作,这里我创建了一个工作目录 /big_data,接着就按照官方文档的步骤来:

git clone https://github.com/azkaban/azkaban.git
cd azkaban;
./gradlew build
./gradlew build
./gradlew clean
./gradlew installDist
./gradlew test
./gradlew build -x test
./gradlew build installDist

注意:

为了避免不必要的权限问题出现,比如要执行的用户是hdfs,在这一步完成以后,一定要修改azkaban目录下的owner:

chown hdfs:hdfs -R azkaban/

开启azkaban服务:

cd azkaban-solo-server/build/install/azkaban-solo-server; bin/start-solo.sh

注意:

为了避免用户权限问题,跑任务的是哪个用户,必须要切换到哪个用户启动azkaban,不然的话会出现权限问题!


停止azkaban服务:

cd azkaban-solo-server/build/install/azkaban-solo-server;bin/shutdown-solo.sh

开启azkaban服务后访问:

http://IP:8081/index

默认的azkaban web端口号是8081


创建工作流

创建工作流请跳到官网上查看

https://azkaban.github.io/azkaban/docs/latest/#creating-flows

3.png


填好工程名称和描述

创建四个job:

1 sync_Apply_CreditCard.job

type=command
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Apply_CreditCard.sh
retries=3 #失败重试3次
retry.backoff=30000 #每次重试间隔,单位为毫秒


2 sync_Company.job

type=command
dependencies=sync_Apply_CreditCard
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Company.sh
retries=3
retry.backoff=30000


3 sync_Product_CreditCard.job

type=command
dependencies=sync_Company
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Product_CreditCard.sh
retries=3
retry.backoff=30000


4 sync_Member.job

type=command
dependencies=sync_Product_CreditCard
command=sh /big_data/sh/azkaban_mysql_2_hive_sh/sqoop_Member.sh
retries=3
retry.backoff=30000


然后使用zip命令将这四个文件打成zip文件:

zip CRMMarket.zip *

4.png

选择刚才打好的zip文件上传,上传完成后可以看到:

5.png

这就说明zip包解析没有问题,.job文件语法也没有问题,依赖关系也OK!


设置Schedule

1.设置azkaban为上海时区:

由于azkaban默认的时区是美国时区,所以要将默认时区设置成上海时区。

azkaban的默认时区配置如下:

default.timezone.id=America/Los_Angeles

包含时区设置的文件有四个:

/big_data/azkaban/azkaban-solo-server/src/main/resources/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/resources/main/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/install/azkaban-solo-server/conf/azkaban.properties

将这四个文件的时区设置修改成:

#default.timezone.id=America/Los_Angeles
default.timezone.id=Asia/Shanghai

然后重启azkaban服务。



2.设置定时任务:

选中project,点击Execute Flow:

6.png

7.png

设置每天16:00跑这个定时任务:

8.png


设置邮箱通知

Azkaban还具有任务执行结果邮件通知功能,在solo server mode安装模式下,

配置邮件通知的方式如下:

1.配置邮件发送者:

/big_data/azkaban/azkaban-solo-server/src/main/resources/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/resources/main/conf/azkaban.properties
/big_data/azkaban/azkaban-solo-server/build/install/azkaban-solo-server/conf/azkaban.properties

修改这三个文件的如下内容:

# mail settings
#mail.sender=邮件发送者
#mail.host=发送邮件服务器   
#腾讯企业邮箱的host是:smtp.exmail.qq.com  126邮箱的host是:smtp.126.com  163邮箱的host是:smtp.163.com
mail.sender=XXXXXXXX@126.com
mail.host=smtp.126.com
mail.user=XXXXXXXX@126.com
mail.password=XXXXXXX


2.配置邮件接收者:

在任务流Flow的最后一个.job中文件中添加如下内容

#任务执行失败发送邮件,多个接收邮件人之间用“,”分隔
failure.emails=AAAAAAA@126.com,BBBBB@163.com
#任务执行成功发送邮件
success.emails=AAAAA@126.com
#任务执行完成,无论成功还是失败发送邮件
notify.emails=BBBBBBB@126.com

  • 上一条:
    阿里云香港服务器搭建自用vpn:Shadowsocks使用流程步骤
    下一条:
    Saga分布式事务
  • 昵称:

    邮箱:

    0条评论 (评论内容有缓存机制,请悉知!)
    最新最热
    • 分类目录
    • 人生(杂谈)
    • 技术
    • linux
    • Java
    • php
    • 框架(架构)
    • 前端
    • ThinkPHP
    • 数据库
    • 微信(小程序)
    • Laravel
    • Redis
    • Docker
    • Go
    • swoole
    • Windows
    • Python
    • 苹果(mac/ios)
    • 相关文章
    • 性能测试工具、HTTP基准测试工具:wrk(0个评论)
    • namesilo域名+香港服务器+acme.sh给网站生成免费ssl证书流程步骤(0个评论)
    • 控制反转IOC设计模式简单的示例代码(0个评论)
    • 来自京东开发者的接口优化的常见方案实战总结(0个评论)
    • 最新访问谷歌Google镜像/学术/搜索_GitHub镜像/下载加速链接2023/2/16持续更新(0个评论)
    • 近期文章
    • 在go语言中使用GoPDF包把html生成PDF文件示例(0个评论)
    • 在go语言中创建和解析(读取)符号链接示例(0个评论)
    • ubuntu 22.04系统中报错:Python 3.6 is no longer supported by the Python core team...解决方式(0个评论)
    • Laravel 10.4版本发布(0个评论)
    • mysql5.7中实现分区表及分区where in查询示例及分区分表对比浅析(0个评论)
    • nginx + vue配置实现同域名下不同路径访问不同项目(0个评论)
    • 在laravel框架中的5个HTTP客户端技巧分享(0个评论)
    • 在go语言中使用FFmpeg库实现PCM音频文件编码为mp3格式文件流程步骤(0个评论)
    • gopacket免安装Pcap实现驱动层流量抓包流程步骤(0个评论)
    • 在laravel项目中实现密码强度验证功能推荐扩展包:password-strength(0个评论)
    • 近期评论
    • 博主 在

      2023年国务院办公厅春节放假通知:1月21日起休7天中评论 @ xiaoB 你只管努力,剩下的叫给天意;天若有情天亦老,..
    • xiaoB 在

      2023年国务院办公厅春节放假通知:1月21日起休7天中评论 会不会春节放假后又阳一次?..
    • BUG4 在

      你翻墙过吗?国内使用vpn翻墙可能会被网警抓,你需了解的事中评论 不是吧?..
    • 博主 在

      go语言+beego框架中获取get,post请求的所有参数中评论 @ t1  直接在router.go文件中配就ok..
    • Jade 在

      如何在MySQL查询中获得当月记录中评论 Dear zongscan.com team, We can skyroc..
    • 2016-10
    • 2016-11
    • 2017-07
    • 2017-08
    • 2017-09
    • 2018-01
    • 2018-07
    • 2018-08
    • 2018-09
    • 2018-12
    • 2019-01
    • 2019-02
    • 2019-03
    • 2019-04
    • 2019-05
    • 2019-06
    • 2019-07
    • 2019-08
    • 2019-09
    • 2019-10
    • 2019-11
    • 2019-12
    • 2020-01
    • 2020-03
    • 2020-04
    • 2020-05
    • 2020-06
    • 2020-07
    • 2020-08
    • 2020-09
    • 2020-10
    • 2020-11
    • 2021-04
    • 2021-05
    • 2021-06
    • 2021-07
    • 2021-08
    • 2021-09
    • 2021-10
    • 2021-12
    • 2022-01
    • 2022-02
    • 2022-03
    • 2022-04
    • 2022-05
    • 2022-06
    • 2022-07
    • 2022-08
    • 2022-09
    • 2022-10
    • 2022-11
    • 2022-12
    • 2023-01
    • 2023-02
    • 2023-03
    Top

    Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号 PHP交流群

    侯体宗的博客