spark

#hive#数据倾斜都有哪些原因?分别从spark、hive的角度分析。1、spark中的数据倾斜：包括spark streaming和sparkSQL。主要表现为：1）executor lost，OOM.shuffle 过程出错；2）Driver OOM；3）单个executor执行时间特别久，整个仍然任务卡在某个阶段不能结束；4）正常运行的任务突然失败。2、hive中常见的数据倾斜：1）key分布不均衡2）业务问题后者业务数据本身的问题，某些数据比较集中3）建表的时候考虑不周4）某些sql语句本身就有数据倾斜，例如：（1）大表join小表：其实小表的key集中，分发到某一个或者几个reduce上的数据远远高于平均值（2）大表join大表：空值或无意义值：如果缺失的项很多，在做join时这些空值就会非常集中，拖累进度。（3）group by： group by的时候维度过小，某值的数量过多，处理某值的reduce非常耗时间。（4）Count distinct：某特殊值过多，处理此特殊值的reduce耗时。3、解决思路：1）业务逻辑方面：  从业务逻辑层面来优化数据倾斜（比如两个城市突然做推广活动，导致两个城市的数据猛烈增长100000%，其余的城市的数据量不变的情况下，然后对不同的城市做group的数据统计，这时久会产生数据倾斜。如果我们这时对两个城市单独做count，可能用到两次MR，第一次是打散计算，第二次则是聚合，完成之后再和其他城市做最后的整合）2）程序方面：可以先group by, 再在外面套一层count3）调参4）从业务和数据上解决数据倾斜#大数据##spark#