2023-02-22 17:18 门头沟学院 大数据开发工程师 发布于湖北
关注
数据倾斜都有哪些原因?
#hive#数据倾斜都有哪些原因?分别从spark、hive的角度分析。1、spark中的数据倾斜：包括spark streaming和sparkSQL。
主要表现为：
1）executor lost，OOM.shuffle 过程出错；
2）Driver OOM；
3）单个executor执行时间特别久，整个仍然任务卡在某个阶段不能结束；
4）正常运行的任务突然失败。
2、hive中常见的数据倾斜：
1）key分布不均衡
2）业务问题后者业务数据本身的问题，某些数据比较集中
3）建表的时候考虑不周
4）某些sql语句本身就有数据倾斜，例如：
（1）大表join小表：其实小表的key集中，分发到某一个或者几个reduce上的数据远远高于平均值
（2）大表join大表：空值或无意义值：如果缺失的项很多，在做join时这些空值就会非常集中，拖累进度。
（3）group by： group by的时候维度过小，某值的数量过多，处理某值的reduce非常耗时间。
（4）Count distinct：某特殊值过多，处理此特殊值的reduce耗时。
3、解决思路：
1）业务逻辑方面：
从业务逻辑层面来优化数据倾斜（比如两个城市突然做推广活动，导致两个城市的数据猛烈增长100000%，其余的城市的数据量不变的情况下，然后对不同的城市做group的数据统计，这时久会产生数据倾斜。如果我们这时对两个城市单独做count，可能用到两次MR，第一次是打散计算，第二次则是聚合，完成之后再和其他城市做最后的整合）
2）程序方面：
可以先group by, 再在外面套一层count
3）调参
4）从业务和数据上解决数据倾斜
#大数据##spark#
全部评论
哑巴湖小剑客
北京科技大学 大数据开发工程师
非常有帮助
相关推荐
点赞 评论 收藏
分享
查看7道真题和解析 点赞 评论 收藏
分享
查看42道真题和解析 点赞 评论 收藏
分享
查看20道真题和解析 点赞 评论 收藏
分享
查看53道真题和解析 点赞 评论 收藏
分享