2020-09-11：Hive的优化策略有哪些？

福哥答案2020-09-11：

Hive调优及优化的12种方式
1.请慎重使用COUNT(DISTINCT col)。可以考虑使用Group By 或者 ROW_NUMBER() OVER(PARTITION BY col)方式代替COUNT(DISTINCT col)。
2.小文件会造成资源的多度占用以及影响查询效率。在数据源头HDFS中控制小文件产生的个数。
3.请慎重使用SELECT *。在查询数据表时，指定所需的待查字段名，而非使用 * 号。
4.不要在表关联后面加WHERE条件。采用谓词下推的技术，提早进行过滤有可能减少必须在数据库分区之间传递的数据量。
5.处理掉字段中带有空值的数据。
6.设置并行执行任务数。
7.设置合理的Reducer个数。
8.JVM重用。
9.为什么任务执行的时候只有一个reduce？避免使用全局排序，可以使用sort by进行局部排序。使用GROUP BY进行统计，不会进行全局排序。
10.选择使用Tez引擎。
11.选择使用本地模式。
12.选择使用严格模式。

Hive 任务优化策略-整合，持续更新。
1、好的模型设计事半功倍 。
2、解决数据倾斜问题 。
3、减少 job 数 。
4、设置合理的 MapReduce 的 task 数，能有效提升性能。(比如，10w+级别的计算，用 160个 reduce，那是相当的浪费，1 个足够) 。
5、了解数据分布，自己动手解决数据倾斜问题是个不错的选择。这是通用的算法优化，但算法优化有时不能适应特定业务背景，开发人员了解业务，了解数据，可以通过业务逻辑精 确有效的解决数据倾斜问题 。
6、数据量较大的情况下，慎用 count(distinct)，group by 容易产生倾斜问题 。
7、对小文件进行合并，是行之有效的提高调度效率的方法，假如所有的作业设置合理的文 件数，对云梯的整体调度效率也会产生积极的正向影响 。
8、优化时把握整体，单个作业最优不如整体最优。