数仓任务的调度优化

大佬们,数仓任务有根据定时执行的,有根据血缘来执行的,有没有什么算法能将任务分布的很均衡,不要再一个时间段将资源打满,有什么调度算法可以参考吗

1. 给资源池加80-90的限制 比如限制worker 数量 yarn任务数量 任务内存cpu数量
2. 给任务加权重,权重高的优先进队列 用平台实现
#我的求职思考#  #大数据#  #数仓#
全部评论

相关推荐

03-14 18:48
重庆大学 C++
点赞 评论 收藏
分享
纸鹰:对他说:“你好,我是百度JAVA。”
点赞 评论 收藏
分享
不放弃的小鱼干很洒脱:好可爱的离职理由
点赞 评论 收藏
分享
评论
点赞
1
分享

创作者周榜

更多
牛客网
牛客企业服务