Spark迷思

flatMap和map的异同

图片说明

map reduce可真好玩

图片说明

reduceByKey和groupByKey的区别

https://www.cnblogs.com/zzhangyuhang/p/9001523.html
groupbykey只是对数据进行分组操作 reducebykey(func)会在分组操作的基础上对数据进行函数映射操作
reducebykey的时候,本地节点先merge再传到不同节点再merge;groupbykey的时候,没有本地merge这个操作,所有节点的数据都先移出,再一起merge。所以groupbykey的运算成本更大,传输延迟更大。

全部评论

相关推荐

不愿透露姓名的神秘牛友
07-01 11:47
点赞 评论 收藏
分享
代码飞升:别用口语,后端就写后端,前端就写前端,最后别光后悔
点赞 评论 收藏
分享
07-02 13:50
闽江学院 Java
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务