云数据库HBase使用，HBase遇到的常规问题汇总及解决方法

数据库  /  管理员 发布于 1年前   465

官方介绍

阿里云数据库HBase是面向大数据领域的一站式NoSQL服务，适用于GB至PB级的大规模吞吐、检索、分析工作负载，是为淘宝推荐、支付宝账单、花呗风控、监控、广告投放、物流轨迹、手淘消息等众多阿里巴巴核心服务提供支撑的数据库。

git上的sdk地址：

https://github.com/aliyun/aliyun-apsaradb-hbase-demo/tree/master/hbase/thrift2

云数据库 HBase 阿里云接口文档：

https://help.aliyun.com/product/49055.html

使用hbase遇到的问题：

1.log数据写入到hbase占用空间过大

2.日志原始存储大小和和 hbase 中内存大小差异过大（使用阿里云 shell 工具查看）

3.表结构表结构存在问题、遇到大数据量容易崩溃

4.没有设置列簇的压缩

5.没有设置冷热存储

6.没有设置数据过期时间自动删除机制

7.列簇过多设计不合理

...

解决方案:

// 设置列簇的压缩

disable ‘test_logs’

// 删除列簇

alter ‘test_logs’,’delete’=>’test_info’

// 设置列簇的压缩

alter ‘test_logs’ ,{NAME=>’test’,COMPRESSION=>’LZ4’,DATA_BLOCK_ENCODING => ‘DIFF’}

// 设置设置冷热存储、数据过期时间自动删除机制

alter ‘test_logs’ , {NAME=>’test’, COLD_BOUNDARY=>’604800’,TTL=>2592000}

// 启用 table

enable ‘test_logs’

// 压缩编码并不会立即生效，需要 major_compact，此会耗时较长，注意在业务低峰期进行。

major_compact ‘test_logs’

设置完后hbase写入数据占用空间大大减低