Hive 由 Facebook 公司开源 查看Hive表信息 DESC 查看表的描述是以表格的形式展示的 SHOW CREATE TABLE 查看表的描述是以建表语句的形式展示的，不能查看表的数据 Hive 可拓展性 Hive 是建立在 Hadoop 之上的，因此 Hive 的可拓展性是和 Hadoop 的可拓展性是一致的 由于ACID语义，即原子性Atomicity、一致性Consistency、隔离性Isolation和持久性Durability，的严格限制，关系型数据库拓展性有限，不如分布式文件系统的拓展能力强 并行数据库Oracle在理论上的拓展能力只有100台左右

bin(17) 转为2进制 conv(17,10,2) conv(要转换的值, 被转换的进制数, 要转换成的进制数) Hive Join table_reference [INNER] JOIN table_factor [join_condition] table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition table_reference LEFT SEMI JOIN table_reference join_condition table_reference CROSS JOIN ...

Hive 特性 一般不需要重启服务就可以扩展内存 Hive具有良好的容错性，节点出现问题，SQL仍能成功执行 用户可以上传自定义函数jia包提交到Hive环境中，注册后使用 Hive 数据模型 内部表、外部表、分区、分桶 Hive默认分隔符是^A(\001)，使用ASCII码 Parquet 格式 支持压缩编码：uncompressed、snappy，gzip，lzo snappy具有更好的压缩性能 gzip具有更好的压缩比 Hive 0.13版本才支持Parquet格式 join优化 大表Join小表，将小表放在前执行效率更高，Hive会将小表进行缓存，且执行计划...

Hive和传统数据库相比 有类似的查询语言，还是类似的执行器、解释器、计划器 并非所有的Hive数据都存储在HDFS上，有部分元数据存储在MySQL上 Hive针对数据仓库设计，针对的是读多写少的场景 Hive数据倾斜 某个reducer的数据输入量远远大于其他reducer数据的输入量 key在reducer上分布不均匀 Hive join 支持非等值连接 SELECT a.* FROM a LEFT OUTER JOIN b ON (a.id <> b.id) 需要注意的是，虽然Hive支持非等值连接，但使用非等值连接可能会导致查询的性能不如等值连接 非等...

Hive 分区表 分区表在进行查询的时候需要分区裁剪提速，即使表进行了分区而不指定分区查询，仍然会遍历所有分区的数据，导致全表查询执行速度慢 Hive ORC格式 存储方式：数据按行分块，每块按列存储 划分stripe，存储列数据 Hive 修改字段名 AITER TABLE 表名 CHANGE [COLUMN] 旧字段名 新字段名 新字段类型

外部表不会加载到Hive的默认仓库（挂载数据） 减少数据的传输 还能和其他外部表共享数据，使得数据管理更加灵活和高效。数据共享的效果： 任何对底层HDFS路径中的数据的修改，都会立即反映在这两个外部表上，因为它们共享相同的数据。 如果数据被删除或移动，任何查询这两个表的尝试都会反映出数据的变更。 由于数据是共享的，因此不需要担心数据冗余或同步问题。 CREATE EXTERNAL TABLE IF NOT EXISTS my_external_table ( column1 STRING, column2 INT, ... ) LOCATION 'hdfs:...

删除外部表 先转为内部表 ALTER table1 TBLPROPERTIES('EXTERNAL'='FALSE'); 再执行 DROP TABLE table1; Hive UDF函数 有两个不同的接口编写UDF：UDF和GenericUDF -org.apache.hadoop.hive.ql.exec.UDF 支持Hadoop和Hive的基本类型，如Text、IntWritable、LongWritable、DoubleWritable等 org.apache.hadoop.hive.ql.udf.generic.GenericUDF 复杂的GenericUDF可以处理Ma...

Hive数据倾斜 原因 业务数据本身存在不均匀的情况 关联字段重复数据较多 Key分布不均 不同数据类型关联：ID字段既有string类型又有int类型，当按照ID字段进行两表join时，Hash默认按int类型进行匹配，导致所有的string类型的ID值都分配到一个reduce里 解决 了解业务数据，找出明显的问题点，帮助解决数据倾斜问题 合并小文件一定程度上会缓解数据清洗 适当通过控制mapper和reducer优化Hive作业的执行效率，来控制数据倾斜问题 选择数据分布均匀的主表作为驱动表，做好列值裁剪 大表join小表，使用map join小表首先进入内存在map端完成...

Hive存储格式 textFile、SequenceFile 行式存储 ORC、PARQUET列式存储 textFile默认存储格式，导入数据时直接把数据文件拷贝到HDFS上，不进行处理 SequenceFile、ORC、PARQUET 格式的表，不能直接从本地导入数据 Hive 先存储为textFile格式 再从textFile表中用insert导入目标表中，转为为指定格式 SequenceFile格式 以 <key,value> 的形式序列化到文件中 文件和Hadoop api 中的MapFile是相互兼容的：可序列化是分布式大数据系统的常见属性 可进行分割、...

INSERT INTO直接追加到原始表中，遇到重复数据不会报错，不考虑原始数据INSERT OVERWRITE先 remove 删除原始数据，再插入数据、Hive UDF 函数不仅需要上传jar包还需要添加 jar包，进行UDF注册才能使用distribute by按照字段划分到不同的reduce文件中输出（多reduce场景）常用：distribute by + order byorder by全局排序，1个reducesort by在数据到达reducer之后，在reducer内部对数据进行排序每个reducer的输出是有序的，但并不保证全局的排序cluster bydistribute ...

Hive数据加载load data 方式 不走MapReduce，保证效率前提下最好使用LOAD DATA装载数据。insert into 方式 走 MapReduce 速度较慢；但 select语句 使得数据加载灵活。 2. Hive没有索引在加载数据的过程中不会对数据进行任何处理；Hive会根据特定条件扫描符合条件的所有数据。 3. Hive函数count() 函数必须搭配group by使用，不需要开窗也可以；所有的聚合函数都能用作窗口函数，如MAX MIN 即使聚合函数也是窗口函数。

对外部表的表结构和分区进行修改，需要修复 MSCK REPAIR TABLE table_name;Hive SQL将table2中所有的数据迁移至table1中 INSERT OVERWRITE TABLE table1 PARTITION (dt='{{yyyyMMdd-1d}}') SELECT * FROM table2 WHERE dt = '{{yyyyMMdd-1d}}';

FROM 子查询 必须要有别名select ...from ( select ... from ...) AS 别名ALL 对所有数据都满足条件，整个条件才成立where 字段 >= all() 等价于 MAX() <=all() 等价于 MINNYANY 只要有一条数据满足条件，整个条件成立where 字段>=any() 等价于 >min() <any() 等价于 <max SQL Server中每一条select、insert、update、delete语句都是隐形事务的一部分，显性事务用BEGIN TRA...

结构化查询语言：DQL,DML,DCL,数据库事务；create view[字段名] as; 通配符过滤：不以任意开头 regexp^[],不以某一或另一字符开头regexp ^[^] not regexp ^[]