简答题

1. HBase简介

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表

2. HBase 和传统关系数据库的区别

3. 数据模型

3.1 概述

• HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳
• 每个值是一个未经解释的字符串，没有数据类型
• 用户在表中存储数据，每一行都有一个可排序的行键和任意多的列
• 表在水平方向由一个或者多个列族组成，一个列族中可以包含任意多个列，同一个列族里面的数据存储在一起
• 列族支持动态扩展，可以很轻松地添加一个列族或列，无需预先定义列的数量以及类型，所有列均以字符串形式存储，用户需要自行进行数据类型转换
• HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留（这是和HDFS只允许追加不允许修改的特性相关的）

3.2相关概念

• 表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族
• 行：每个HBase表都由若干行组成，每个行由行键（row key）来标识。
• 列族：一个HBase表被分组成许多“列族”（Column Family）的集合，它是基本的访问控制单元
• 列限定符：列族里的数据通过列限定符（或列）来定位
• 单元格：在HBase表中，通过行、列族和列限定符确定一个“单元格”（cell），单元格中存储的数据没有数据类型，总被视为字节数组byte[]
• 时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引

3.3四维坐标定位数据

HBase中需要根据行键、列族、列限定符和时间戳来确定一个单元格，因此，可以视为一个“四维坐标”，即
[行键, 列族, 列限定符, 时间戳]

4. HBase实现原理

4.1 HBase功能组件

HBase的实现包括三个主要的功能组件：
（1）库函数：链接到每个客户端
（2）一个Master主服务器
（3）许多个Region服务器
主服务器Master负责管理和维护HBase表的分区信息，维护Region服务器列表，分配Region，负载均衡
Region服务器负责存储和维护分配给自己的Region，处理来自客户端的读写请求
客户端并不是直接从Master主服务器上读取数据，而是在获得Region的存储位置信息后，直接从Region服务器上读取数据
客户端并不依赖Master，而是通过Zookeeper来获得Region位置信息，大多数客户端甚至从来不和Master通信，这种设计方式使得Master负载很小

4.2 Hbase的各功能组件及作用

Hbase的实现包括3个主要的功能组件：库函数，链接到每个客户端；一个Master主服务器；许多个Region服务器。Region服务器负责存储和维护分配给自己的Region，处理来自客户端的读写请求。主服务器Master负责管理和维护Hbase表的分区信息，实时监测集群中的Region服务器，把特定的Region分配到可用的Region服务器上，确保Region之间的负载均衡。

4.3 表和Region

• 开始只有一个Region，后来不断分裂
  
• Region拆分操作非常快，接近瞬间，因为拆分之后的Region读取的仍然是原存储文件，直到“合并”过程把存储文件异步地写到独立的文件之后，才会读取新文件
  
• 每个Region默认大小是100MB到200MB（2006年以前的硬件配置）
  – 每个Region的最佳大小取决于单台服务器的有效处理能力
  – 目前每个Region最佳大小建议1GB-2GB（2013年以后的硬件配置）
• 同一个Region不会被分拆到多个Region服务器
• 每个Region服务器存储10-1000个Region
  

4.4 Region的定位

• 元数据表，又名.META.表，存储了Region和Region服务器的映射关系
• 当HBase表很大时， .META.表也会被分裂成多个Region
• 根数据表，又名-ROOT-表，记录所有元数据的具***置
• -ROOT-表只有唯一一个Region，名字是在程序中被写死的
• Zookeeper文件记录了-ROOT-表的位置
  

4.5 HBase的三层结构中各层次的名称和作用

Zookeeper文件–> ROOT表（单一）–> .META表（多个）–> 用户数据表（Region)（多个）

4.6 阐述HBase的三层结构下,客户端是如何访问到数据的。

首先访问Zookeeper,获取-ROOT表的位置信息,然后访问-Root-表,获得.MATA.表的信息,接着访问.MATA.表,找到所需的Region具***于哪个Region服务器,最后才会到该Region服务器读取数据。

4.7 阐述HBase的数据分区机制

HBase采用分区存储,一个大的表会被分拆许多个Region,这些Region会被分发到不同的服务器上实现分布式存储。

5. 运行机制

5.1 HBase系统架构

1. 客户端

• 客户端包含访问HBase的接口，同时在缓存中维护着已经访问过的Region位置信息，用来加快后续数据访问过程

2. Zookeeper服务器

• Zookeeper可以帮助选举出一个Master作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这就避免了Master的“单点失效”问题

3. Master

• 主服务器Master主要负责表和Region的管理工作：
  – 管理用户对表的增加、删除、修改、查询等操作
  – 实现不同Region服务器之间的负载均衡
  – 在Region分裂或合并后，负责重新调整Region的分布
  – 对发生故障失效的Region服务器上的Region进行迁移

4. Region服务器

• Region服务器是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求

5.2 Region服务器工作原理

（1）用户读写数据的过程。
用户数据首先被写入MemStore和HLog中，当写入HLog之后，调用commit()才会返回给客户端；读数据时，Region服务器会最先访问MemStore缓存，如果数据不存在才会到StoreFile中去寻找。
（2）缓存的刷新。
系统周期调用Region.flushcache()把MemStore缓存里面的内容写到磁盘的StoreFile文件中，清空缓存，并在HLog文件中写入一个标记，用来表示缓存中的内容已经被写入到StoreFile中。（每次缓存刷新操作都会在磁盘上生成一个新的StoreFile文件，因此每个Store中会包含多个StoreFile文件。）
（3）StoreFile文件的合并。
为减少查找时间，调用Store.compace()将所有的StoreFile文件合成一个大文件。

5.3 Store工作原理

• Store是Region服务器的核心
• 多个StoreFile合并成一个
• 单个StoreFile过大时，又触发分裂操作，1个父Region被分裂成两个子Region
  

5.4 HLog工作原理

• 分布式环境必须要考虑系统出错。HBase采用HLog保证系统恢复
• HBase系统为每个Region服务器配置了一个HLog文件，它是一种预写式日志（Write Ahead Log）
• 用户更新数据必须首先写入日志后，才能写入MemStore缓存，并且，直到MemStore缓存内容对应的日志已经写入磁盘，该缓存内容才能被刷写到磁盘
• Zookeeper会实时监测每个Region服务器的状态，当某个Region服务器发生故障时，Zookeeper会通知Master
• Master首先会处理该故障Region服务器上面遗留的HLog文件，这个遗留的HLog文件中包含了来自多个Region对象的日志记录
• 系统会根据每条日志记录所属的Region对象对HLog数据进行拆分，分别放到相应Region对象的目录下，然后，再将失效的Region重新分配到可用的Region服务器中，并把与该Region对象相关的HLog日志记录也发送给相应的Region服务器
• Region服务器领取到分配给自己的Region对象以及与之相关的HLog日志记录以后，会重新做一遍日志记录中的各种操作，把日志记录中的数据写入到MemStore缓存中，然后，刷新到磁盘的StoreFile文件中，完成数据恢复
• 共用日志优点：提高对表的写操作性能；缺点：恢复时需要分拆日志

5.4.1 试述HLog的工作原理?

答：Hbase为每个Region服务器配置了一个HLog文件，它是一种预写式日志，用户更新数据必须先写入日志后，才能写入MemStore缓存，并且，直到MemStore缓存内容对应的日志已经写入磁盘，该缓存内容才能被刷写到磁盘。

5.4.2 在HBase中,每个Region服务器维护一个HLog,而不是为每个Region 都单独维护一个HLog。请说明这种做法的优缺点。

优点:多个Region对象的更新操作所发生的日志修改,只需要不断把日志记录追加到单个日志文件中,不需要同时打开、写入到多个日志文件中。
缺点:如果一个Region服务器发生故障,为了恢复其上次的Region对象,需要将Region服务器上的对象,需要将Region服务器上的HLog按照其所属的Region对象进行拆分,然后分发到其他Region服务器上执行恢复操作。

6. 编程：shell命令的简单使用

1．创建表create
2．查看表结构describe
3．插入数据put
4．查看数据get
5．浏览数据scan
6．修改表结构alter
7．删除数据delete

填空

1、HBase 需要根据____,________,______，_____来确定一个单元格
【解析：行键 列族 列限定符 时间戳s】
2、Hbase是一个稀疏、多维度、排序的映射表，这张表的索引是_____________、_____________、 ____________、_____________。
【解析：行键、列族、列限定符、时间戳】
3、Hbase的实现包括3个主要的功能组件____________、_____________、_____________。
【解析：库函数、一个master服务器、多个region服务器】
4、Hbase以_____________为单位进行单独存储。
【解析：列族】
5、HBase采用分区存储,一个大的表会被分拆许多个Region,这些Region 会被分发到不同的服务器上实现分布式存储。
6、 主服务器Master主要负责表和Region的管理工作
7、HBase是一个高可靠、高耐性 ____________、____________、 的分布式数据库，主要用来存储 ____________、 和____________、 的松散数据。
答案：面向列、可伸缩、非结构化、半结构化
7、 浏览Student表中信息，所使用的命令是： scan ‘Student’。
9、HBase采用 ____________ ，一个大的表会被拆分许多个Region，这些Region会被分发到不同的服务器上实现____________。
答：分区存储；分布式存储
10、启动HBase的命令（ start-hbase.sh ）；
11、关闭Hbase的命令（ stop-hbase.sh ）；
12、传统数据库是基于（行）存储的，HBase是基于（列）存储的。

判断

1、HBase对于空（NULL）的列，不需要占用存储空间。 （没有则空不存储）（ 对 ）
2、 HBase可以有列，可以没有列族（column family）。 （有列族） （ 错 ）
3、 HBase是一个构建在HDFS上的分布式列存储系统。对
4、关系型数据库仍然是大数据处理中的关键技术。（×）（判断题）

单选择

1、下面哪一层不属于HBase的三层结构（D）
A.Zookeeper 文件 B.-ROOT-表 C. .META.表 D.用户数据表
2、HBase是一种____数据库（B）
A.键值数据库 B.列式数据库 C.关系数据库 D.文档数据库
3、下列对HBase数据模型的描述错误的是（C）
A.每个HBase表都由若干行组成，每个行由行键（row key）来标识
B.HBase列族支持动态扩展，可以很轻松地添加一个列族或列
C.HBase中执行更新操作时，会删除数据旧的版本，并生成一个新的版本
D.HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳
4、下列说法正确的是（B）
A.HBase的实现包括的主要功能组件是库函数，一个Master主服务器和一个Region服务器
B.Zookeeper是一个集群管理工具，常用于分布式计算，提供配置维护、域名服务、分布式同步等。
C.如果不启动Hadoop，则HBase完全无法使用
D.如果通过HBase Shell插入表数据，可以插入一行数据或一个单元格数据。
5、每个Region的建议最佳大小是（A）
A.1GB-2GB B.500MB-1000MB C.100MB-200MB D.2GB-4GB
6、HBase三层结构的顺序是（A）
A.Zookeeper文件，-ROOT-表，.MEATA.表
B.Zookeeper文件，.MEATA.表，-ROOT-表
C.-ROOT-表，Zookeeper文件，.MEATA.表
D…MEATA.表，Zookeeper文件，-ROOT-表
7、客户端是通过 ____级寻址来定位Region（A）
A.三 B.二 C.四 D.一
8、关于HBase Shell命令解释错误的是（C）
A.put：向表、行、列指定的单元格添加数据
B.create：创建表
C.list：显示表的所有数据（列出表的信息）
D.get：通过表名、行、列、时间戳、时间范围和版本号来获得相应单元格的值
9、HBase依靠（ A ）存储底层数据
A、HDFS B、Hadoop C、Memory D、MapReduce
10、下列对Hbase的描述哪个是错误的（C）
A. Hbase是针对谷歌BigTable的开源实现
B. Hbase是分布式数据库，依赖zookeeper提供消息通信机制
C. Hbase是面向行存储的，一次只能写入一个单元格的数据
D. Hbase依靠HDFS存储底层数据
11、Hbase常用shell命令中，修改单元格内容的命令是（A）
put B、alter C、get D、scan
12、 ( B )是HBase基本的访问控制单元。
A、行 B、 列族 C、 单元格 D、列限定符
13、HBase是分布式列式存储系统，记录按什么集中存放（A）
A. 列族 B. 列 C. 行 D. 不确定
14、客户端首次查询HBase数据库时，首先需要从哪个表开始查找（B）
A. META. B. –ROOT- C. 用户表 D. 信息表
15、HBase中最核心的模块是（D）
A.客户端 B.Zookeeper服务器 C.Master服务器 D.Region服务器
16、HBase中负责表和Region的管理工作的是（D）
A.客户端 B.Zookeeper服务器 C.库函数 D、Master服务器