首页 > 试题广场 >

下列不属于Spark中driver的作用的是( )

[单选题]
下列不属于Spark中driver的作用的是(  )
  • 执行main方法
  • 把用户程序转化为task
  • 协调任务的调度
  • 负责运行组成 Spark 应用的任务

Driver具有main函数,并且有SparkContext实例,是程序的入口

  • 把用户程序转为任务

  • 跟踪Executor的运行状况

  • 为Executor节点调度任务

  • UI展示应用运行状况

Executor

  • 它们负责运行组成 Spark 应用的任务,并将结果返回给驱动器进程;

  • 它们通过自身的块管理器(Block Manager)为用户程序中要求缓存的 RDD 提供内存式存储。RDD 是直接缓存在Executor进程内的,因此任务可以在运行时充分利用缓存数据加速运算。

发表于 2020-10-19 21:38:05 回复(0)
driver划分的task由executor执行
发表于 2019-04-01 18:49:09 回复(0)
一个spark作业运行时包括一个Driver进程,也是作业的主进程,具有main函数,并且有SparkContext实例,是程序的入口
功能
    向集群申请资源
    负责作业的调度和解析
    生成Stage并调度Task到Executor上(包括DAGScheduler,TaskScheduler)

发表于 2020-03-13 10:52:47 回复(0)
Driver 主函数;用户程序转换为task;任务,资源调度; Executor 运行job
发表于 2021-08-28 06:48:06 回复(0)
Driver是调度任务
Executor 才是负责运行组成spark应用的任务
发表于 2020-10-19 19:19:15 回复(0)