我要招人

去企业版

首页 > 试题广场 >

请列出你所知道的hadoop调度器，并简要说明其工作方法

[问答题]

pein531

1.先进先出调度器（FIFO）

Hadoop 中默认的调度器，也是一种批处理调度器。它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。

2.容量调度器（Capacity Scheduler)

支持多个队列，每个队列可配置一定的资源量，每个队列采用FIFO调度策略，为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。调度时，首先按以下策略选择一个合适队列：计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值，选择一个该比值最小的队列；然后按以下策略选择该队列中一个作业：按照作业优先级和提交时间顺序选择，同时考虑用户资源量限制和内存限制。

3.公平调度器（Fair Scheduler）

公平调度是一种赋予作业（job）资源的方法，它的目的是让所有的作业随着时间的推移，都能平均的获取等同的共享资源。所有的 job 具有相同的资源,当单独一个作业在运行时，它将使用整个集群。当有其它作业被提交上来时，系统会将任务（task）空闲资源（container）赋给这些新的作业，以使得每一个作业都大概获取到等量的CPU时间。与Hadoop默认调度器维护一个作业队列不同，这个特性让小作业在合理的时间内完成的同时又不"饿"到消耗较长时间的大作业。公平调度可以和作业优先权搭配使用——优先权像权重一样用作为决定每个作业所能获取的整体计算时间的比例。同计算能力调度器类似，支持多队列多用户，每个队列中的资源量可以配置，同一队列中的作业公平共享队列中所有资源。

发表于 2021-01-14 09:58:08 回复(0)

Mowar

FIFO:先来先服务.

公平调度算法: 选择占用资源小,优先级别高的先执行

计算能力调度算法:同一队列中的任务公平的共享队列中的所有资源

发表于 2018-10-11 20:24:51 回复(0)

我就是腿长

三种调度器分别是FIFO（先入先出调度器），hadoop1.x默认用的就是FIFO。FIFO采用队列的方式将一个一个job任务按照时间先后顺序进行服务。

capacity scheduler（容量调度器），hadoop2.x默认使用的是容量调度器。支持多个队列，，每个队列配备一定的资源。每个队列采用FIFO方式调度。

公平调度器，支持多个队列，每个队列配备一定的资源，每个队列内部job公平共享队列内部的所有资源。

发表于 2021-03-27 13:18:12 回复(0)

沙华。

默认调度器不是容量调度吗？

发表于 2021-02-20 10:33:33 回复(0)

不忘初心6688

Fifo schedular：默认，先进先出的原则

Capacity schedular：计算能力调度器，选择占用最小、优先级高的先执行，依此类推。

Fair schedular：公平调度，所有的 job 具有相同的资源。

发表于 2019-09-01 17:09:04 回复(0)

提交观点

问题信息

阅文集团爱奇艺 2018 2021 大数据开发工程师

来自：2023届阅文大数据方...

上传者：小小

难度：

5条回答 21收藏 2265浏览

请列出你所知道的hadoop调度器，并简要说明其工作方法

问题信息

热门推荐

相关试题