DolphinScheduler是一款内存占用少,绿色安全的可视化DAG工作流任务调度系统。DolphinScheduler致力于解决数据处理流程中错综复杂的依赖关系,还有很多实用功能,可谓是功能强大且齐全,且界面简洁明了,操作简单易上手,感兴趣的小伙伴快下载吧!
DolphinScheduler是大数据分布式工作流任务调度系统,可以帮助用户解决大数据研发过程中错综复杂的依赖关系,不能直观地对任务健康状态等问题进行监控,软件非常的安全使用,操作也很简单,支持暂停恢复操作.支持多租户,使调度系统在数据处理流程中开箱即用。
1、以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
2、支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
4、支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
5、支持工作流全局参数及节点自定义参数设置
6、支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
7、支持任务日志在线查看及滚动、在线下载日志等
8、实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
9、支持对Master/Workercpuload,memory,cpu在线查看
10、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
11、支持补数
12、支持多租户
13、支持国际化
14、还有更多等待伙伴们探索
1.高可靠性
去中心化的多Master和多Worker,自身支持HA功能,采用任务队列来避免过载,不会造成机器卡死
2.简单易用
DAG监控界面,所有流程定义都是可视化,通过拖拽任务定制DAG,通过API方式与第三方系统对接,一键部署
3.丰富的使用场景
支持暂停恢复操作.支持多租户,更好的应对大数据的使用场景.支持更多的任务类型,如spark,hive,mr,python,sub_process,shell
4.高扩展性
支持自定义任务类型,调度器使用分布式调度,调度能力随集群线性增长,Master和Worker支持动态上下线
1.BUG优化修改。
2.优化部分功能。
本栏目PC电脑常用软件下载合集为广大电脑新老手朋友提供电脑装机必备软件大全,包括wps办公软件、搜狗输入法、360浏览器、腾讯QQ、微信电脑版、ZIP压缩包、影音播放器等PC电脑常用软件大全,希望能帮...
下载地址
网友评论
0条评论
分类列表
相关文章