2020-08-14：数据任务的执行引擎用的哪些？
福哥答案2020-08-14：
最基础的是 crontab 定时任务。
考虑到分布式分片定时任务和高可用，可以用elastic-job这样的框架。但是这样的框架无法处理复杂的任务依赖关系。
大数据处理框架一般用的是DAG（有向无环图）工作流类调度系统，通过DAG图描述任务之间的复杂的依赖关系。在Spark作业调度系统中，就是基于DAG描述rdd之间的依赖关系。
福大大架构师每日一题 文章被收录于专栏
最新面试题，针对高级开发人员和架构师。内容是后端、大数据和人工智能。
查看16道真题和解析
