首页 > 试题广场 >

描述map-reduce的执行过程,最好用画图的方式表示。

[问答题]
描述map-reduce的执行过程,最好用画图的方式表示。
数据被分成多个分桶,每个分桶执行一个map程序得到键值对,然后通过shuffle把相同键值的键值对合并到一个节点上去,最后是reduce操作。
发表于 2016-08-07 16:31:40 回复(0)
主要就是分成map和reduce两个部分,map就是生成key_value的键值对,有时map和reduce中间会有combiner,作用和reduce差不多,都是在map的基础上进一步统计需要的结果
发表于 2016-08-05 20:12:34 回复(0)