招联金融oc

一、什么是 Hive 数据倾斜？定义与表现定义在 Hive 中，数据倾斜指的是数据在分区或键值上的分布严重不均，导致某些分区或键承载的数据量远超平均水平。这种不平衡会直接影响 MapReduce 任务的执行效率，尤其是在 Reduce 阶段，少数任务可能需要处理巨量数据，而其他任务却几乎无事可做。说得更直白点，想象你在分担工作：本来应该大家平摊，结果有个人揽了 90% 的活，其他人却闲着。这种场景在 Hive 里就是数据倾斜 —— 某些 Reduce 任务成了 “苦力”，拖慢了整个查询。表现形式数据倾斜的 “症状” 很明显，稍微留心就能发现：查询执行缓慢：本来几分钟能搞定的查询，可能拖到几小时...