数据存储 HBase

第1章：HBase 概述

1.1 什么是 HBase？

概念名称	说明	注意事项
HBase	一个分布式的、面向列的开源数据库，基于 Hadoop 文件系统（HDFS）构建，是 Google Bigtable 的开源实现。它适合存储大规模稀疏数据。	HBase 不是关系型数据库，不支持 SQL，也不支持表连接（Join）操作。
面向列存储	数据按列族（Column Family）组织存储，同一列族的数据物理上存储在一起，便于高效压缩和读取。	列族在表创建时必须指定，后期修改成本高；列限定符（Column Qualifier）可以动态添加。
分布式架构	数据自动分片（Region）并分布在多个 RegionServer 上，支持水平扩展。	Region 的分裂和负载均衡由系统自动管理，但需关注热点问题。
强一致性	HBase 提供行级强一致性读写，适用于需要实时读写的场景。	跨行操作不保证原子性，不支持事务。
可扩展性	支持 PB 级数据存储，可通过增加 RegionServer 节点实现水平扩展。	扩展性依赖于底层 HDFS 和 ZooKeeper 的稳定性。

1.2 HBase 与传统数据库的对比

对比维度	HBase	传统数据库（如 MySQL）	注意事项
数据模型	面向列，稀疏表结构，支持动态列	面向行，固定表结构，列数固定	HBase 适合稀疏数据，传统数据库适合结构化数据
存储规模	支持 PB 级数据，分布式存储	通常为 GB 到 TB 级，单机或主从架构	HBase 更适合海量数据场景
一致性	强一致性（行级）	支持 ACID 事务，强一致性	HBase 不支持跨行事务
查询语言	无 SQL，使用 API 或 Shell 命令	支持 SQL 查询	HBase 查询灵活性较低，需编程实现复杂逻辑
扩展性	水平扩展，通过增加节点实现	垂直扩展为主，水平扩展复杂	HBase 更易实现大规模扩展
实时性	支持实时读写，延迟低	支持实时操作	两者均适合实时场景，但 HBase 更适合高并发写入
事务支持	仅行级原子性，无多行事务	支持多行事务和回滚	HBase 不适用于需要复杂事务的业务

1.3 HBase 核心组件与架构

组件名称	说明	注意事项
Client	客户端，通过 ZooKeeper 获取元数据信息，与 HMaster 和 RegionServer 通信。	客户端缓存 Region 位置信息以提高访问效率，缓存失效后需重新查询。
ZooKeeper	协调服务，负责集群状态监控、RegionServer 注册、HMaster 选举等。	HBase 依赖 ZooKeeper 实现高可用，ZooKeeper 故障会影响整个集群。
HMaster	主节点，负责表管理、Region 分配、负载均衡、元数据维护。	HMaster 不参与数据读写，可配置多个实现高可用（HA）。
RegionServer	工作节点，管理多个 Region，处理读写请求，与 HDFS 交互。	每个 RegionServer 运行在独立节点上，故障时由 HMaster 重新分配 Region。
Region	表的分片，每个 Region 负责一定范围的行键（RowKey）数据。	Region 大小达到阈值时会自动分裂，可能导致热点问题。
HDFS	底层文件系统，用于持久化存储 HBase 数据。	HBase 依赖 HDFS 的高可靠性和容错能力，不建议脱离 HDFS 单独部署。
WAL（Write-Ahead Log）	预写日志，记录所有写操作，用于故障恢复。	WAL 存储在 HDFS 上，确保数据不丢失。
MemStore	内存中的写缓存，数据写入后先存入 MemStore，达到阈值后刷写到 HFile。	MemStore 刷写触发 HFile 生成，频繁刷写可能影响性能。
HFile	HBase 在 HDFS 上的存储文件格式，基于 Hadoop 的 SequenceFile 实现。	HFile 是不可变的，合并（Compaction）操作用于清理过期数据。

1.4 HBase 的应用场景

应用场景	说明	注意事项
海量数据存储	适用于 PB 级数据的存储，如日志、监控数据等。	需合理设计 RowKey 避免热点问题。
实时读写	支持高并发的随机读写操作，适合实时数据访问。	读写性能依赖于缓存和数据分布策略。
稀疏数据管理	对于列数极多但大部分为空的数据，HBase 存储效率高。	列族设计应合理，避免过多列族影响性能。
时序数据存储	如物联网传感器数据、用户行为日志等。	可结合 OpenTSDB 等工具实现高效时序分析。
推荐系统	存储用户画像、行为记录等，支持快速查询。	需结合缓存机制提升响应速度。
消息/事件存储	用于消息队列的持久化存储或事件溯源系统。	可与 Kafka 集成实现流式写入。
数据仓库底层存储	作为 Hive 或 Spark 的底层数据源，支持离线分析。	需注意扫描（Scan）操作对集群性能的影响。

第2章：HBase 安装与环境搭建

2.1 单机模式安装配置

配置项	说明	注意事项
前提条件	安装 JDK 8+，无需 Hadoop 和 ZooKeeper（使用内置版本）	仅用于学习和测试，不支持持久化。
hbase-site.xml 配置	必须设置为 false 才是单机模式。	配置代码如下：

<property>
  <name>hbase.cluster.distributed</name>
  <value>false</value>
</property>

配置项	说明	注意事项
hbase-env.sh 配置	HBase 自行管理 ZooKeeper 实例。	配置代码如下：

export JAVA_HOME=/path/to/java
export HBASE_MANAGES_ZK=true

配置项	说明	注意事项
启动方式	执行：bin/start-hbase.sh	日志输出在 logs/ 目录下，可用于排查问题。
访问方式	使用 bin/hbase shell 进入命令行界面	可执行 status 和 list 验证是否启动成功。
数据存储路径	默认存储在 /tmp 下，重启后数据丢失	不适用于生产环境，需修改 hbase.rootdir 指向持久化路径。

2.2 伪分布式模式安装配置

配置项	说明	注意事项
前提条件	安装 Hadoop（本地或伪分布模式），HBase 与 HDFS 集成	需确保 Hadoop 正常运行。
hbase-site.xml 配置	必须启用分布式模式并指定 HDFS 路径。	配置代码如下：

<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://localhost:9000/hbase</value>
</property>

配置项	说明	注意事项
hbase-env.sh 配置	确保 HBase 能加载 Hadoop 配置文件。	配置代码如下：

export HBASE_CLASSPATH=$HBASE_CLASSPATH:$HADOOP_HOME/etc/hadoop

配置项	说明	注意事项
ZooKeeper 配置	HBase 自行启动 ZooKeeper 服务。	配置代码如下：

export HBASE_MANAGES_ZK=true

配置项	说明	注意事项
启动顺序	1. 启动 Hadoop（start-dfs.sh） 2. 启动 HBase（start-hbase.sh）	必须先启动 HDFS。
验证方式	执行 jps 命令，应看到 HMaster、RegionServer、DataNode、NameNode 等进程	表明各组件正常运行。
Web UI 访问	浏览器访问 http://localhost:16010	可查看集群状态、Region 分布等信息。

2.3 完全分布式集群搭建

配置项	说明	注意事项
节点规划	至少 3 个节点：主节点（HMaster + ZooKeeper），从节点（RegionServer + DataNode + ZooKeeper）	建议 HMaster 与 RegionServer 分开部署。
hbase-site.xml 配置	必须指定 HDFS 地址和 ZooKeeper 集群地址。	配置代码如下：

<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://namenode:9000/hbase</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>zk1,zk2,zk3</value>
</property>

配置项	说明	注意事项
regionservers 文件	列出所有 RegionServer 的主机名，每行一个	位于 conf/regionservers。
backup-masters 文件	列出备用 HMaster 主机名（可选）	实现 HMaster 高可用。
ZooKeeper 部署	建议独立部署奇数个节点（3/5/7）	避免脑裂问题。
时间同步	所有节点必须时间同步（使用 NTP）	时间偏差过大会导致 RegionServer 被踢出集群。
启动方式	1. 启动 HDFS 和 ZooKeeper 2. 执行 start-hbase.sh	主节点上执行启动脚本。
验证方式	访问 http://master:16010 查看集群状态	确认所有 RegionServer 已注册。

2.4 HBase Shell 基本操作入门

命令	语法	用途	代码示例	注意事项
list	list	列出所有表	list	初始状态下可能无表。
create	create '表名', '列族1', '列族2'...	创建表并指定列族	create 'user', 'info', 'detail'	列族名必须在创建时指定。
put	put '表名', '行键', '列族:列限定符', '值'	插入或更新数据	put 'user', 'row1', 'info:name', 'Alice'	若列限定符不存在则新增，存在则覆盖。
get	get '表名', '行键'[, {COLUMN => '列族:列限定符'}]	根据行键读取数据	get 'user', 'row1'	不指定 COLUMN 时返回整行数据。
			get 'user', 'row1', {COLUMN => 'info:name'}
scan	scan '表名'[, {STARTROW => '起始行键', STOPROW => '结束行键'}]	扫描表中数据	scan 'user'	全表扫描性能开销大，慎用。
			scan 'user', {STARTROW => 'row1', STOPROW => 'row3'}
delete	delete '表名', '行键', '列族:列限定符'	删除指定单元格数据	delete 'user', 'row1', 'info:name'	仅删除最新时间戳的数据。
deleteall	deleteall '表名', '行键'	删除整行所有数据	deleteall 'user', 'row1'	已废弃，推荐使用 delete 配合 COLUMN 或 FAMILY。
disable	disable '表名'	禁用表（删除前必须先禁用）	disable 'user'	禁用后无法读写该表。
enable	enable '表名'	启用被禁用的表	enable 'user'	启用后恢复访问。
drop	drop '表名'	删除表	disable 'user' drop 'user'	必须先禁用再删除。
describe	describe '表名'	查看表结构信息	describe 'user'	显示列族、版本数等配置。
count	count '表名'	统计表中行数	count 'user'	大表统计耗时较长。

第3章：HBase 数据模型

3.1 表、行、列族、列限定符、单元格

概念	说明	注意事项
表（Table）	HBase 中数据的逻辑容器，由多行组成，表名全局唯一。	表在创建时必须指定列族，列族数量不宜过多（建议1~3个）。
行（Row）	每行由一个唯一的行键（RowKey）标识，行按 RowKey 字典序存储。	RowKey 设计直接影响查询性能和数据分布，需避免热点问题。
列族（Column Family）	表中数据按列族组织，同一列族的数据物理上存储在一起，共享配置（如压缩、版本数）。	列族在表创建时定义，修改需重建表；列族名应简短（如 cf、info）。
列限定符（Column Qualifier）	列族下的具体列，用于标识具体的数据项，可动态添加。	列限定符无需预定义，可随时写入新列，适合稀疏数据。
单元格（Cell）	由行键、列族、列限定符、时间戳唯一确定的数据单元，存储一个值。	每个单元格可存储多个版本（由时间戳区分），默认保留1个版本。

3.2 时间戳与多版本机制

概念	说明	注意事项
时间戳（Timestamp）	每个单元格值关联一个时间戳，标识数据的版本，可由系统自动生成或客户端指定。	默认使用系统当前时间（毫秒），精度为毫秒。
多版本机制	HBase 允许一个单元格存储多个版本的数据，通过时间戳区分，便于数据回溯。	每个列族可配置最大版本数（VERSIONS），超出后旧版本被清理。
版本保留策略	可通过 MIN_VERSIONS 和 TTL（Time To Live）控制版本保留。	MIN_VERSIONS=0 表示不保留过期版本；TTL 设置数据存活时间。
读取版本	使用 GET 或 SCAN 时可指定版本数或时间戳范围获取历史数据。	不指定时默认返回最新版本。
数据清理	Major Compaction 会清理过期或被删除的版本。	频繁的 Compaction 可能影响性能。

3.3 命名空间（Namespace）

概念	说明	注意事项
命名空间（Namespace）	类似于关系数据库中的”数据库”，用于组织和隔离表，支持权限管理。	HBase 默认提供 default 和 hbase 两个命名空间。
创建命名空间	使用 create_namespace 'ns_name' 命令创建。	命名空间名应具有业务含义，便于管理。
在命名空间中建表	表名格式为 'namespace:table'。	如 create 'myapp:user', 'info' 表示在 myapp 命名空间下创建 user 表。
查看命名空间	使用 list_namespace 查看所有命名空间。	使用 list_namespace_tables 'ns' 查看指定命名空间下的表。
删除命名空间	必须先删除该命名空间下所有表，再执行 drop_namespace 'ns_name'。	非空命名空间无法删除。
权限管理	可对命名空间设置用户权限（如读、写、执行）。	需启用 HBase 安全认证（如 Kerberos）才能生效。

3.4 数据模型可视化示例

假设表名为 student，列族为 info 和 grades，部分数据如下：

RowKey	info:name	info:age	grades:math	grades:english
001	Alice	20	95	88
002	Bob	21	87	92
003	Charlie	19	78	85

物理存储结构（按列族）：

列族 info 的存储：

RowKey: 001, Column: name, Value: Alice, Timestamp: t1
RowKey: 001, Column: age, Value: 20, Timestamp: t1
RowKey: 002, Column: name, Value: Bob, Timestamp: t1
...

列族 grades 的存储：

RowKey: 001, Column: math, Value: 95, Timestamp: t1
RowKey: 001, Column: english, Value: 88, Timestamp: t1
RowKey: 002, Column: math, Value: 87, Timestamp: t1
...

说明：HBase 按列族物理存储，因此查询 info 列族时不会读取 grades 数据，提升 I/O 效率。

第4章：HBase Shell 操作

4.1 表的创建与删除

命令	语法	用途	代码示例	注意事项
create	create '表名', {NAME => '列族', 选项}	创建表并配置列族属性	create 'user', {NAME => 'info', VERSIONS => 3}	支持设置 VERSIONS、TTL、COMPRESSION 等。
			create 'logs', {NAME => 'data', TTL => 86400}
list	list	列出所有表	list	可使用 list 'regex' 过滤表名。
disable	disable '表名'	禁用表（删除前必须禁用）	disable 'user'	禁用后无法读写该表。
drop	drop '表名'	删除已禁用的表	disable 'user' drop 'user'	无法直接删除启用状态的表。
exists	exists '表名'	检查表是否存在	exists 'user'	返回 true 或 false。

4.2 数据的插入（put）

命令	语法	用途	代码示例	注意事项
put	put '表名', '行键', '列族:列限定符', '值'[, 时间戳]	插入或更新单个单元格数据	put 'user', 'row1', 'info:name', 'Alice'	若不指定时间戳，使用当前系统时间；重复写入相同单元格会创建新版本。
			put 'user', 'row1', 'info:age', '25', 1700000000000

4.3 数据的读取（get、scan）

命令	语法	用途	代码示例	注意事项
get	get '表名', '行键'[, {COLUMN => '列族:列限定符', VERSIONS => n, TIMERANGE => [start, end]}]	按行键读取数据	get 'user', 'row1'	可指定列、版本数、时间范围。
			get 'user', 'row1', {COLUMN => 'info:name', VERSIONS => 2}
scan	scan '表名'[, {COLUMNS => [...], STARTROW => 'r1', STOPROW => 'r2', LIMIT => n, FILTER => 'filter_string'}]	扫描表中多行数据	scan 'user'	STOPROW 不包含边界；大表扫描性能低，建议配合 LIMIT 和 FILTER。
			scan 'user', {STARTROW => 'row1', STOPROW => 'row3'}
			scan 'user', {FILTER => "SingleColumnValueFilter('info','name',=,'binary:Alice')}

4.4 数据的删除（delete、deleteall）

命令	语法	用途	代码示例	注意事项
delete	delete '表名', '行键', '列族:列限定符'[, 时间戳]	删除指定单元格的最新版本或指定时间戳的版本	delete 'user', 'row1', 'info:name'	仅删除一个版本；若指定时间戳，删除精确匹配的版本。
deleteall	deleteall '表名', '行键'[, '列族'[, '列限定符']]	删除整行或指定列族/列的数据	deleteall 'user', 'row1'	已标记为过时，推荐使用 delete 配合 FAMILY 或 COLUMN。
			deleteall 'user', 'row1', 'info'

注意：HBase 中的删除操作会写入”墓碑标记”（Tombstone），实际数据在 Compaction 时才被清理。

4.5 表的启用、禁用与修改（enable、disable、alter）

命令	语法	用途	代码示例	注意事项
enable	enable '表名'	启用被禁用的表	enable 'user'	启用后方可读写。
disable	disable '表名'	禁用表	disable 'user'	DDL 操作（如 alter）前必须禁用表。
alter	alter '表名', {NAME => '列族', 选项} 或 alter '表名', 'delete' => '列族'	修改表结构（如列族配置）或删除列族	alter 'user', {NAME => 'info', VERSIONS => 5}	修改后需启用表生效；删除列族需先禁用表。
			alter 'user', 'delete' => 'oldcf'
is_enabled	is_enabled '表名'	检查表是否启用	is_enabled 'user'	返回 true 或 false。
is_disabled	is_disabled '表名'	检查表是否禁用	is_disabled 'user'	返回 true 或 false。

4.6 其他常用命令（list、describe、count 等）

命令	语法	用途	代码示例	注意事项
describe	describe '表名'	查看表结构信息	describe 'user'	显示列族、版本、TTL、压缩等配置。
count	count '表名'	统计表中行数	count 'user'	大表统计耗时长，建议在低峰期执行。
truncate	truncate '表名'	清空表数据（保留表结构）	truncate 'user'	内部执行 disable → drop → create，需注意权限。
status	status	查看集群状态	status	可查看活跃 RegionServer 数量。
			status 'simple'
whoami	whoami	查看当前用户	whoami	用于权限调试。
help	help 或 help '命令'	查看帮助信息	help 'put'	获取命令详细用法。

第5章：HBase Java API 编程

5.1 Java 客户端环境搭建

配置项	说明	注意事项
Maven 依赖	添加 hbase-client 依赖，版本需与集群一致	确保 <version> 与 HBase 集群版本匹配，避免兼容性问题。
核心依赖坐标	建议使用稳定版本（如 2.x 或 3.x）。	配置代码如下：

<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase-client</artifactId>
  <version>2.4.9</version>
</dependency>

配置项	说明	注意事项
配置文件	将 hbase-site.xml 和 core-site.xml 放入 src/main/resources 目录	客户端通过这些文件获取 ZooKeeper 地址、HDFS 路径等信息。
网络连通性	客户端需能访问 ZooKeeper 集群和 RegionServer	检查防火墙、DNS 解析、端口（如 2181, 16010, 16020）是否开放。
JDK 版本	使用 JDK 8 或 11，避免使用过高版本	HBase 对高版本 JDK 兼容性有限，建议使用 LTS 版本。

5.2 连接 HBase（ConnectionFactory、Connection）

方法/类	语法	用途	代码示例	注意事项
ConnectionFactory.createConnection	Connection createConnection(Configuration conf)	创建 HBase 连接对象	Configuration conf = HBaseConfiguration.create(); conf.addResource(new Path("hbase-site.xml")); Connection conn = ConnectionFactory.createConnection(conf);	Connection 是重量级对象，应全局共享，避免频繁创建。
Connection.close	void close()	关闭连接，释放资源	conn.close();	必须在程序退出前调用，防止资源泄漏。
Connection.getAdmin	Admin getAdmin()	获取 Admin 实例用于表管理	Admin admin = conn.getAdmin();	返回的 Admin 对象非线程安全。
Connection.getTable	Table getTable(TableName tableName)	获取 Table 实例用于数据操作	Table table = conn.getTable(TableName.valueOf("user"));	Table 对象可复用，但非线程安全（旧版本），建议线程内使用。

5.3 表管理操作（Admin 接口）

方法	语法	用途	代码示例	注意事项
createTable	void createTable(HTableDescriptor desc)	创建表	HTableDescriptor desc = new HTableDescriptor(TableName.valueOf("user")); HColumnDescriptor colDesc = new HColumnDescriptor("info"); desc.addFamily(colDesc); admin.createTable(desc);	必须先定义 HTableDescriptor 和 HColumnDescriptor。
listTables	HTableDescriptor[] listTables()	列出所有表	HTableDescriptor[] tables = admin.listTables();	可遍历返回结果获取表名和结构。
disableTable	void disableTable(TableName name)	禁用表	admin.disableTable(TableName.valueOf("user"));	修改表结构前必须禁用。
enableTable	void enableTable(TableName name)	启用表	admin.enableTable(TableName.valueOf("user"));	启用后方可读写。
deleteTable	void deleteTable(TableName name)	删除表	admin.disableTable(TableName.valueOf("user")); admin.deleteTable(TableName.valueOf("user"));	必须先禁用再删除。
modifyTable	void modifyTable(HTableDescriptor desc)	修改表结构（如列族配置）	HTableDescriptor desc = admin.getTableDescriptor(TableName.valueOf("user")); desc.modifyFamily(new HColumnDescriptor("info").setMaxVersions(5)); admin.modifyTable(desc);	支持修改列族属性，不支持新增列族（需重建表）。
tableExists	boolean tableExists(TableName name)	检查表是否存在	boolean exists = admin.tableExists(TableName.valueOf("user"));	避免重复创建。

5.4 数据插入（Put 类）

方法	语法	用途	代码示例	注意事项
Put 构造函数	Put(byte[] row)	创建 Put 实例，指定行键	Put put = new Put(Bytes.toBytes("row1"));	行键为字节数组。
addColumn（旧版）	Put addColumn(byte[] family, byte[] qualifier, byte[] value)	添加列值（已标记 @Deprecated）	put.addColumn("info".getBytes(), "name".getBytes(), "Alice".getBytes());	建议使用 addColumn(family, qualifier, timestamp, value)。
addColumn（带时间戳）	Put addColumn(byte[] family, byte[] qualifier, long timestamp, byte[] value)	添加带时间戳的列值	put.addColumn("info".getBytes(), "age".getBytes(), 1700000000000L, "25".getBytes());	若不指定时间戳，使用服务器当前时间。
setAttribute	Put setAttribute(String name, byte[] value)	设置 Put 属性（如 WAL）	put.setAttribute("SKIP_WAL", Bytes.toBytes(true));	可提升写性能，但降低可靠性。
Table.put	void put(Put put)	执行插入操作	table.put(put);	单条插入；批量使用 List<Put> 和 table.put(List<Put>)。

5.5 数据读取（Get、Scan 类）

方法/类	语法	用途	代码示例	注意事项
Get 构造函数	Get(byte[] row)	创建 Get 实例	Get get = new Get(Bytes.toBytes("row1"));	按行键读取。
Get.addColumn	Get addColumn(byte[] family, byte[] qualifier)	指定要读取的列	get.addColumn("info".getBytes(), "name".getBytes());	不指定则返回整行。
Get.setMaxVersions	Get setMaxVersions(int maxVersions)	设置最大返回版本数	get.setMaxVersions(3);	需列族配置支持多版本。
Table.get	Result get(Get get)	执行 Get 操作	Result result = table.get(get);	返回 Result 对象，需解析数据。
Scan 构造函数	Scan()	创建 Scan 实例	Scan scan = new Scan();	默认扫描全表。
Scan.setStartRow / StopRow	Scan setStartRow(byte[] start) / setStopRow(byte[] stop)	设置扫描范围	scan.setStartRow("row1".getBytes()); scan.setStopRow("row3".getBytes());	stopRow 不包含边界。
Scan.setLimit	Scan setLimit(long limit)	限制返回行数	scan.setLimit(100);	防止扫描过多数据。
Table.getScanner	ResultScanner getScanner(Scan scan)	执行 Scan 操作	ResultScanner scanner = table.getScanner(scan); for (Result r : scanner) { ... }	使用完需调用 scanner.close()。

5.6 数据删除（Delete 类）

方法	语法	用途	代码示例	注意事项
Delete 构造函数	Delete(byte[] row)	创建 Delete 实例	Delete del = new Delete(Bytes.toBytes("row1"));	指定要删除的行键。
Delete.addColumn	Delete addColumn(byte[] family, byte[] qualifier)	删除指定列的最新版本	del.addColumn("info".getBytes(), "name".getBytes());	仅标记删除，Compaction 时清理。
Delete.addColumns	Delete addColumns(byte[] family, byte[] qualifier)	删除指定列的所有版本	del.addColumns("info".getBytes(), "age".getBytes());	区别于 addColumn，删除所有版本。
Delete.setTimestamp	Delete setTimestamp(long timestamp)	删除指定时间戳的数据	del.addColumn("info".getBytes(), "name".getBytes()); del.setTimestamp(1700000000000L);	精确删除某一版本。
Table.delete	void delete(Delete delete)	执行删除操作	table.delete(del);	支持批量删除 List<Delete>。

5.7 批量操作（Batch）

方法	语法	用途	代码示例	注意事项
Table.put(List)	void put(List<Put> puts)	批量插入数据	List<Put> puts = new ArrayList<>(); puts.add(put1); puts.add(put2); table.put(puts);	提升写入吞吐量，减少网络开销。
Table.delete(List)	void delete(List<Delete> deletes)	批量删除数据	List<Delete> dels = new ArrayList<>(); dels.add(del1); dels.add(del2); table.delete(dels);	批量删除效率高于单条删除。
Table.batch	Object[] batch(List<? extends Row> actions, Object[] results)	批量执行混合操作（Put, Delete, Get）	List<Row> actions = new ArrayList<>(); actions.add(new Get(...)); actions.add(new Put(...)); Object[] results = new Object[actions.size()]; table.batch(actions, results);	结果数组需预先分配，注意类型转换。
BufferedMutator	Connection.getBufferedMutator(BufferedMutatorParams params)	缓冲批量写入，异步提交	BufferedMutator mutator = conn.getBufferedMutator(tableName); mutator.mutate(put); mutator.flush();	减少 RPC 次数，适用于高并发写入场景。

5.8 过滤器（Filter 接口及实现类）

过滤器类	用途	代码示例	注意事项
SingleColumnValueFilter	基于某列的值进行过滤	Filter filter = new SingleColumnValueFilter( "info".getBytes(), "name".getBytes(), CompareOp.EQUAL, "Alice".getBytes() ); scan.setFilter(filter);	若目标列不存在，该行会被过滤掉，可设置 filter.setFilterIfMissing(false)。
RowFilter	基于行键过滤	Filter filter = new RowFilter( CompareOp.EQUAL, new RegexStringComparator("^row1.*") );	支持正则、子串匹配等。
PrefixFilter	按行键前缀过滤	Filter filter = new PrefixFilter("row1".getBytes());	等价于 STARTROW=“row1”, STOPROW=“row2”。
ColumnPrefixFilter	按列限定符前缀过滤	Filter filter = new ColumnPrefixFilter("addr".getBytes());	只返回列限定符以指定前缀开头的列。
KeyOnlyFilter	只返回行键，不返回值	Filter filter = new KeyOnlyFilter();	减少网络传输，适用于计数场景。
PageFilter	分页查询	Filter filter = new PageFilter(100);	需配合 scan.setStartRow 实现翻页。
FilterList	组合多个过滤器（AND/OR）	FilterList filters = new FilterList(FilterList.Operator.MUST_PASS_ALL); filters.addFilter(filter1); filters.addFilter(filter2);	MUST_PASS_ALL 表示 AND，MUST_PASS_ONE 表示 OR。

5.9 协处理器（Coprocessor）简介

概念	说明	注意事项
协处理器（Coprocessor）	类似于数据库的触发器或存储过程，允许在 RegionServer 上执行用户代码，分为 Observer 和 Endpoint 两类。	减少数据传输，提升性能，但增加 RegionServer 负担。
Observer	监听特定事件（如 Get、Put、Delete），可在事件前后插入逻辑。	类似于触发器，常用子类：RegionObserver、MasterObserver。
Endpoint	类似于存储过程，客户端可远程调用 RegionServer 上的方法。	需继承 BaseEndpointCoprocessor 并注册。
加载方式	通过 alter '表名', 'coprocessor' => '路径|类名' 加载协处理器。	需将协处理器 JAR 包分发到所有 RegionServer。
应用场景	权限控制、数据校验、聚合计算（如 SUM、AVG）等。	聚合类操作推荐使用 Endpoint 避免数据拉取到客户端。

第6章：HBase 高级特性

6.1 布隆过滤器（Bloom Filter）

配置项	说明	注意事项
Bloom Filter 类型	NONE, ROW, ROWCOL	ROW：按行键构建布隆过滤器；ROWCOL：按”行键+列”构建，精度更高。
启用方式	创建表时设置 BLOOMFILTER 参数	HColumnDescriptor colDesc = new HColumnDescriptor("info"); colDesc.setBloomFilterType(BloomType.ROW);
工作原理	在 StoreFile 级别维护一个位图，快速判断某行/列是否可能存在于该文件中。	存在误判率（False Positive），但不会漏判（False Negative）。
性能影响	写入时需更新布隆过滤器，略微增加写开销；读取时可跳过不包含目标数据的文件。	大表建议启用，小表效果不明显。

6.2 数据压缩（Compression）

压缩算法	说明	注意事项
NONE	不压缩	节省 CPU，但占用更多磁盘和网络带宽。
GZ (Gzip)	压缩率高，CPU 开销大	适合冷数据，不推荐用于高吞吐写入场景。
LZO	压缩率中等，速度较快，需安装 native 库	已逐渐被 Snappy 替代。
Snappy	压缩解压速度快，压缩率适中，推荐使用	Hadoop 生态广泛支持，平衡性能与空间。
ZSTD	新兴算法，压缩率和速度优于 Snappy	HBase 2.0+ 支持，适合新项目。
启用方式	colDesc.setCompressionType(Algorithm.SNAPPY);	需确保所有节点安装对应压缩库（native）。

6.3 数据分片（Region）与预分区

概念	说明	注意事项
Region	表的水平分片，每个 Region 负责一段连续的 RowKey 范围。	Region 大小默认 10GB，达到阈值自动分裂。
预分区（Pre-splitting）	在建表时手动指定 Region 的分割点，避免初始只有一个 Region 导致热点。	适用于已知 RowKey 分布的场景。
预分区方法（Shell）	create 't1', 'f1', {SPLITS => ['10', '20', '30']}	分割点为行键字符串。
Java API 预分区	byte[][] splits = { ... }; admin.createTable(desc, splits);	可使用 Bytes.split(start, end, numRegions) 自动生成均匀分割点。
设计原则	预分区数量 ≈ RegionServer 数量 × 2~3	避免过多 Region 增加 Master 负担。

6.4 Region Split 与 Merge

操作	说明	注意事项
Region Split	当 Region 大小超过 hbase.hregion.max.filesize（默认 10GB）时自动分裂。	分裂点通常为中间行键，可能导致数据分布不均。
手动 Split	split 'tableName', 'splitPoint'	可强制分裂指定 Region。
Region Merge	将两个相邻的小 Region 合并为一个，减少 Region 数量。	可通过 merge_region 命令手动合并；系统不自动合并。
触发场景	数据迁移后出现大量小 Region，或 Compaction 后文件变小。	合并期间 Region 不可用，影响服务。
配置参数	hbase.hregion.max.filesize 控制分裂大小	可根据业务调整，避免频繁分裂。

6.5 写前日志（WAL）机制

概念	说明	注意事项
WAL (Write-Ahead Log)	所有写操作先写入 WAL（HDFS 文件），再写 MemStore，确保故障恢复时数据不丢失。	WAL 文件位于 /hbase/WALs/ 目录。
WAL 作用	故障恢复时重放 WAL 日志，恢复 MemStore 中未刷写的数据。	是 HBase 高可靠性的关键组件。
Skip WAL	可通过 put.setAttribute("SKIP_WAL", ...) 跳过 WAL	提升写性能，但机器宕机时数据可能丢失，仅用于可容忍丢失的场景。
Async WAL	HBase 2.0+ 支持异步 WAL 写入，进一步提升吞吐。	需配置 hbase.wal.async.enable=true。
Replication	WAL 也是 HBase 复制（Replication）的基础，通过读取 WAL 实现跨集群同步。	主从集群间的数据同步依赖 WAL。

6.6 缓存机制（MemStore、BlockCache）

组件	说明	注意事项
MemStore	每个 Region 的每个列族都有一个 MemStore，写入数据先缓存在内存中。	大小由 hbase.hregion.memstore.flush.size（默认 128MB）控制，达到阈值触发 flush 到 HFile。
Flush 机制	MemStore 达到阈值、RegionServer 内存不足或手动触发时，将数据刷写为 HFile。	Flush 是顺序写，性能较高。
BlockCache	读缓存，缓存从 HFile 读取的数据块（Block），基于 LRU 策略管理。	默认使用 LRUBlockCache，HBase 2.0+ 推荐使用 BucketCache。
读流程	先查 BlockCache → 未命中则读 HDFS 并缓存 → 返回数据。	热点数据命中率高，显著提升读性能。
缓存配置	hfile.block.cache.size 控制堆内缓存比例（默认 0.4）	可结合 off-heap 的 BucketCache 提升缓存容量。

第7章：HBase 性能优化与运维

7.1 写性能优化策略

优化策略	说明	配置/实现方式	注意事项
批量写入（Bulk Insert）	使用 List<Put> 批量提交，减少 RPC 次数	table.put(List<Put> puts)	建议每批 100~1000 条，避免单次请求过大。
使用 BufferedMutator	异步缓冲写入，自动批量提交	BufferedMutator mutator = conn.getBufferedMutator(params); mutator.mutate(put);	可设置写缓冲大小和刷新间隔，提升吞吐。
关闭 WAL（谨慎使用）	跳过写前日志，提升写速度，但牺牲可靠性	put.setAttribute("SKIP_WAL", Bytes.toBytes(true));	仅用于可容忍数据丢失的场景（如临时数据）。
预分区（Pre-splitting）	避免初始单 Region 写入热点	create 't1', 'f1', {SPLITS => ['a','m','z']}	根据 RowKey 分布设计合理分割点。
调整 MemStore 刷写阈值	延迟刷写，减少 I/O 频率	hbase.hregion.memstore.flush.size=256MB	需平衡内存使用与 GC 压力。
合理设计 RowKey	避免单调递增（如时间戳开头）导致热点	使用哈希前缀、反转时间戳等	如 MD5(userId) + timestamp 分散写入。
压缩算法选择	使用 Snappy 或 ZSTD 减少写入数据量	colDesc.setCompressionType(Algorithm.SNAPPY);	压缩减少磁盘 I/O，但增加 CPU 开销。

7.2 读性能优化策略

优化策略	说明	配置/实现方式	注意事项
启用 BlockCache	缓存热点数据块，减少磁盘读取	默认启用，可调优 hfile.block.cache.size	建议设置为 RegionServer 堆内存的 30%~40%。
使用 BucketCache（进阶）	off-heap 缓存，避免堆内存压力	配置 hbase.bucketcache.ioengine=offheap	结合 L1（堆内）和 L2（堆外）缓存，提升缓存容量。
合理使用 Bloom Filter	快速判断数据是否存在，减少不必要的 StoreFile 查找	colDesc.setBloomFilterType(BloomType.ROW);	适用于随机读多的场景，写入略有开销。
限制 Scan 范围	使用 STARTROW、STOPROW、LIMIT 减少扫描数据量	scan.setStartRow(...); scan.setLimit(100);	避免全表扫描，尤其是大表。
使用过滤器（Filter）	在服务端过滤数据，减少网络传输	scan.setFilter(new SingleColumnValueFilter(...));	复杂过滤器可能增加 RegionServer 负担。
多版本控制	减少不必要的历史版本读取	get.setMaxVersions(1);	默认返回最新版本即可。
索引辅助	结合外部系统（如 Solr、Phoenix）实现二级索引	使用 Phoenix 创建二级索引表	HBase 原生不支持二级索引。

7.3 集群监控与管理

监控项	说明	查看方式	注意事项
RegionServer 状态	检查节点是否在线、负载是否均衡	Web UI: http://master:16010 命令: status	离线节点需及时排查网络或 JVM 问题。
Region 分布	查看 Region 是否均匀分布在各 RegionServer	Web UI 的 “Regions” 标签页	热点 Region 会导致单节点负载过高。
MemStore 使用率	监控内存使用，防止频繁刷写	Web UI 或 JMX: MemStoreSize	持续高水位可能引发写停顿（Write Stall）。
Compaction 队列	查看 Compaction 任务积压情况	Web UI: “Compaction Queue”	长时间积压影响读性能，需调优或扩容。
WAL 文件数量	过多 WAL 文件可能影响恢复时间	HDFS 路径: /hbase/WALs/	可通过 hbase.wal.max.output.size 控制文件大小。
JVM GC 情况	频繁 Full GC 会导致服务暂停	使用 jstat -gc 或监控工具（如 Prometheus + Grafana）	建议使用 G1 GC，调优堆大小。
HDFS 读写延迟	HBase 依赖 HDFS，其性能直接影响 HBase	HDFS Web UI 或 iostat	确保 HDFS 数据节点磁盘健康。

7.4 常见故障排查

故障现象	可能原因	排查方法	解决方案
RegionServer 频繁宕机	JVM 内存不足、GC 时间过长、磁盘满	查看日志 logs/hbase-*.log 使用 jstat 监控 GC	增加堆内存、切换 G1 GC、清理磁盘空间。
写入延迟高	MemStore 刷写频繁、Compaction 积压、网络延迟	查看 Web UI 的 Flush 和 Compaction 队列	调优刷写阈值、增加 RegionServer、优化 RowKey。
读取超时	BlockCache 命中率低、Region 热点、网络问题	检查 BlockCache 命中率（Web UI） 分析 Scan 操作	启用 Bloom Filter、预分区、优化查询范围。
表无法访问	表被禁用、Region 未分配、ZooKeeper 异常	describe 'table' list_regions 'table'	启用表、手动分配 Region、检查 ZK 连通性。
Master 无法选举	ZooKeeper 集群异常、网络分区	echo stat | nc zk_host 2181	确保 ZK 奇数节点、网络通畅、ZK 日志清理。
数据丢失（罕见）	WAL 未写入、HDFS 故障、误删	检查 WAL 是否启用、HDFS 副本数	启用 WAL、设置 HDFS 副本数 ≥ 3、定期备份。
Region 处于 RIT	Region 分裂/合并失败、节点宕机	hbase hbck -details	使用 hbck 工具修复，或手动触发 assignment。

第8章：HBase 与 Hadoop 生态集成

8.1 HBase 与 MapReduce 集成

方法/类	用途	代码示例	注意事项
TableInputFormat	使 HBase 表作为 MapReduce 的输入源	job.setInputFormatClass(TableInputFormat.class); conf.set(TableInputFormat.SCAN, ...);	可设置 Scan 对象控制读取范围和过滤器。
TableOutputFormat	将 MapReduce 输出写入 HBase 表	job.setOutputFormatClass(TableOutputFormat.class); job.setOutputKeyClass(ImmutableBytesWritable.class); job.setOutputValueClass(Put.class);	Mapper/Reducer 需输出 ImmutableBytesWritable 和 Put。
示例场景	从 HBase 读取用户数据，统计活跃用户数，结果写回 HBase	Mapper: 读 Result → emit userId, 1 Reducer: 聚合 → 输出 Put 写入统计表	适用于离线批处理，如数据清洗、聚合分析。
性能优化	使用 TableSnapshotInputFormat 避免扫描影响在线业务	对表打快照，MR 从快照读取	快照不占用额外空间，读取无性能影响。

8.2 HBase 与 Hive 集成

配置/方法	说明	示例	注意事项
Hive Storage Handler	使用 HBaseStorageHandler 映射 Hive 表到 HBase	CREATE TABLE hive_user(key string, name string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ('hbase.columns.mapping' = ':key,info:name') TBLPROPERTIES ('hbase.table.name' = 'user');	必须指定列映射关系。
列映射（columns.mapping）	定义 Hive 列与 HBase 列族:列限定符的对应	':key, info:name, info:age'	:key 表示行键。
查询操作	使用 HiveQL 查询 HBase 数据	SELECT * FROM hive_user WHERE name = 'Alice';	实际是 Scan 操作，不支持索引，性能一般。
写入操作	INSERT INTO 或 INSERT OVERWRITE	INSERT INTO hive_user VALUES ('row1', 'Bob');	数据写入 HBase 对应表。
适用场景	BI 报表、SQL 分析、ETL 中间层	将 HBase 数据暴露给 SQL 工具（如 Tableau）	实时性要求不高，适合离线分析。

8.3 HBase 与 Spark 集成

方法/库	用途	示例	注意事项
Spark HBase Connector	官方或第三方库（如 hbase-spark）	spark.read.format("org.apache.hadoop.hbase.spark")...	需添加依赖并配置 HBase 参数。
读取 HBase 数据	使用 SparkContext.newAPIHadoopRDD	JavaPairRDD<ImmutableBytesWritable, Result> rdd = context.newAPIHadoopRDD(conf, TableInputFormat.class, ImmutableBytesWritable.class, Result.class);	可转换为 DataFrame 进行分析。
写入 HBase 数据	使用 JavaPairRDD.saveAsNewAPIHadoopDataset	rdd.saveAsNewAPIHadoopDataset(conf);	每条记录为 (ImmutableBytesWritable, Mutation)。
结合 Spark SQL	将 HBase 数据映射为 DataFrame	定义自定义 DataSource 或使用 Phoenix	Phoenix 提供 SQL 接口，性能优于原生映射。
流式处理	Spark Streaming 从 Kafka 读取，写入 HBase	DStream → foreachRDD → batch write to HBase	使用 BufferedMutator 提升写入吞吐。
优势	利用 Spark 内存计算能力，高效处理 HBase 数据	实时分析、机器学习特征存储	适合迭代计算和复杂分析场景。

8.4 HBase 与 Kafka 集成（流式写入）

集成方式	说明	实现方式	注意事项
Kafka Producer → HBase Consumer	Kafka 作为消息队列，消费者写入 HBase	编写 Kafka Consumer 程序，消费消息后调用 HBase API 批量写入	需处理失败重试、幂等性、背压。
使用 Kafka Connect	通过 HBase Sink Connector 实现自动同步	配置 HBaseSinkConnector，指定 Kafka Topic 和 HBase 表映射	支持分布式部署，高可靠。
RowKey 设计	结合 Kafka 消息的 key 和 offset	MD5(key) + timestamp + offset	确保唯一性和分散性。
批量提交	Consumer 累积一定消息后批量写入 HBase	使用 BufferedMutator 或 List<Put>	减少 HBase RPC 压力。
容错机制	Consumer 使用 Kafka 的 offset 管理	提交 offset 与 HBase 写入保证一致性（两阶段提交或幂等写入）	避免数据丢失或重复。
应用场景	实时日志收集、用户行为追踪、IoT 数据入库	Nginx 日志 → Kafka → HBase	构建实时数据管道。

第9章：实战案例

9.1 实时日志存储系统设计

项目	说明
业务需求	收集 Nginx、应用服务器等产生的日志，支持实时写入、按时间/服务/关键词查询，保留 30 天。
系统架构	日志源 → Fluentd / Filebeat（采集） → Kafka（缓冲） → Spark Streaming / Flink（消费+解析） → HBase（持久化存储）
技术选型理由	- Kafka：削峰填谷，应对日志突发流量 - Spark/Flink：实时解析日志为结构化数据（如 IP、URL、状态码） - HBase：高吞吐写入、稀疏存储、按 RowKey 高效查询
HBase 表设计	log_data 表，列族：info（存储日志内容）
RowKey 设计	serviceId_timestamp_hash 示例：nginx_1730438400000_abc123 - serviceId：服务标识，便于按服务查询 - timestamp：毫秒时间戳，倒序存储（Long.MAX_VALUE - timestamp）实现最新日志优先 - hash：随机哈希（如 MD5 前6位），避免时间戳单调导致热点
列族设计	info:ip, info:url, info:status, info:method, info:body（可变字段动态添加）
版本控制	VERSIONS => 1（日志通常不更新）
TTL 设置	TTL => 2592000（30天），自动过期清理
写入优化	- Spark/Flink 批量写入 HBase - 使用 BufferedMutator 异步提交 - 预分区：按 serviceId 和时间范围预设 16 个 Region
读取优化	- 使用 Scan 配合 PrefixFilter(“nginx_”) 和 SingleColumnValueFilter 查询特定服务或状态码 - 启用 BloomFilter 和 Snappy 压缩减少 I/O
注意事项	- 日志量大，需监控 HDFS 存储容量 - 查询通常按时间范围，建议结合 Elasticsearch 做全文检索 - 定期执行 Major Compaction 清理过期数据

9.2 用户行为分析系统

项目	说明
业务需求	记录用户在 App 或 Web 端的点击、浏览、搜索等行为，用于用户画像、推荐系统、漏斗分析。
系统架构	前端埋点 → Kafka（事件流） → Flink（实时处理） → HBase（用户行为存储） 分析层：Spark 从 HBase 读取数据 → 生成画像 → 写回 HBase 或 Redis
技术选型理由	- Kafka：高吞吐接收用户行为事件 - Flink：低延迟处理，支持窗口计算 - HBase：按用户 ID 高效存储和查询所有行为，支持多版本（历史行为）
HBase 表设计	user_behavior 表，列族：action（行为数据）
RowKey 设计	userId 示例：u12345 说明：以用户 ID 为主键，方便按用户维度查询其完整行为序列
列限定符设计	timestamp_eventType 示例：1730438400000_click, 1730438405000_view 说明：将时间戳和事件类型作为列名，实现”一行为一列”，便于按时间倒序读取
单元格值	JSON 格式的事件详情，如 {"page": "home", "itemId": "p789"}
多版本机制	VERSIONS => 1000（保留大量历史行为） 说明：每个单元格可存多个版本，但此处每个列唯一，实际用于存储不同时刻的行为
TTL 设置	TTL => 31536000（1年），长期保留用于分析
写入优化	- Flink 按 userId 分组，批量写入 - 使用 Put 操作，时间戳为事件发生时间（非系统时间）
读取优化	- 使用 Get 指定 userId，配合 MaxVersions 和 TimeRange 获取最近 N 条行为 - 使用 Scan 配合 PrefixFilter(“u123”) 扫描某用户所有行为 - 启用 BlockCache 缓存热点用户数据
注意事项	- userId 分布不均可能导致热点，可加盐（如 hash(userId) % 10 前缀） - 列名包含时间戳，总列数巨大，但 HBase 稀疏存储无压力 - 分析时可结合 Phoenix 提供 SQL 接口，或导出到 Hive 做离线分析

9.3 时序数据存储方案

项目	说明
业务需求	存储 IoT 设备传感器数据（如温度、湿度）、服务器监控指标（CPU、内存），支持按设备、时间范围高效查询和聚合。
系统架构	设备/Agent → Kafka → Flink（聚合、降采样） → HBase（原始/聚合数据存储） 查询层：Grafana → Phoenix / 自定义 API → HBase
技术选型理由	- Kafka：接收高并发时序数据流 - Flink：实时计算分钟级/小时级聚合值 - HBase：写入性能好，适合时间序列数据的稀疏和追加写特性
HBase 表设计	ts_data 表，列族：raw（原始数据）、agg_min（分钟聚合）、agg_hour（小时聚合）
RowKey 设计	deviceId_timestamp_block 示例：sensor001_1730438400_000 - deviceId：设备 ID - timestamp：时间块起点（如每 5 分钟一个块：timestamp = (ts / 300) * 300） - block：分片号（000~999），用于预分区和负载均衡 说明：将时间对齐到固定块，减少 RowKey 数量，提升 Scan 效率
列限定符设计	metricName 示例：temperature, humidity 说明：每个指标作为一列，值为该时间块内的数据点集合（如用 List 序列化）或聚合值
单元格值	原始数据：[value1, value2, ...]（该时间块内所有采样值） 聚合数据：{"avg": 25.5, "max": 28.0, "min": 23.0}
版本控制	VERSIONS => 1（时序数据通常只写不改）
TTL 设置	TTL => 63072000（2年），长期存储
写入优化	- Flink 按时间块聚合后写入，减少写入频率 - 预分区：按 deviceId 和 block 范围预设大量 Region（如 1000 个） - 使用 Snappy 或 ZSTD 压缩降低存储成本
读取优化	- 使用 Scan 指定 STARTROW 和 STOPROW 快速定位时间范围 - 结合 PrefixFilter(“sensor001_”) 按设备查询 - 对于聚合查询，直接读取 agg_min 或 agg_hour 列族，避免实时计算
注意事项	- 时间块大小需权衡：太小导致 RowKey 多，太大影响查询精度 - 可考虑使用 OpenTSDB（基于 HBase 的专用时序数据库）替代自建方案 - 监控 Compaction 压力，时序数据写入频繁，易产生大量小文件