Azkaban简介

阅读量：243 次

发布时间：2019-03-01

本文共 467 字，大约阅读时间需要 1 分钟。

Azkaban简介

一、Azkaban 介绍

1.1 背景

一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题：

如何定时调度某个任务？

如何在某个任务执行完成后再去执行另一个任务？

如何在任务失败时候发出预警？

…

面对这些问题，工作流调度系统应运而生。Azkaban 就是其中之一。

1.2 功能

Azkaban 产生于 LinkedIn，并经过多年生产环境的检验，它具备以下功能：

兼容任何版本的 Hadoop

易于使用的 Web UI

可以使用简单的 Web 页面进行工作流上传

支持按项目进行独立管理

定时任务调度

模块化和可插入

身份验证和授权

跟踪用户操作

支持失败和成功的电子邮件提醒

SLA 警报和自动查杀失败任务

重试失败的任务

Azkaban 的设计理念是在保证功能实现的基础上兼顾易用性，其页面风格清晰明朗，下面是其 WEB UI 界面：

二、Azkaban 和 Oozie

<

转载地址：http://ikxv.baihongyu.com/

你可能感兴趣的文章

mysql 断电数据损坏，无法启动

MySQL 日期时间类型的选择

Mysql 时间操作（当天，昨天，7天，30天，半年，全年，季度）

MySQL 是如何加锁的？

MySQL 是怎样运行的 - InnoDB数据页结构

mysql 更新子表_mysql 在update中实现子查询的方式

MySQL 有什么优点？

mysql 权限整理记录

mysql 权限登录问题：ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)

MYSQL 查看最大连接数和修改最大连接数

MySQL 查看有哪些表

mysql 查看锁_阿里/美团/字节面试官必问的Mysql锁机制，你真的明白吗

MySql 查询以逗号分隔的字符串的方法（正则）

MySQL 查询优化：提速查询效率的13大秘籍（避免使用SELECT 、分页查询的优化、合理使用连接、子查询的优化）（上）

mysql 查询数据库所有表的字段信息

【Java基础】什么是面向对象？

mysql 查询，正数降序排序，负数升序排序

MySQL 树形结构根据指定节点获取其下属的所有子节点（包含路径上的枝干节点和叶子节点）...

mysql 死锁 Deadlock found when trying to get lock； try restarting transaction

mysql 死锁(先delete 后insert)日志分析