云数据库HBase使用,HBase遇到的常规问题汇总及解决方法
数据库  /  管理员 发布于 3年前   1126
官方介绍
阿里云数据库HBase是面向大数据领域的一站式NoSQL服务,适用于GB至PB级的大规模吞吐、检索、分析工作负载,是为淘宝推荐、支付宝账单、花呗风控、监控、广告投放、物流轨迹、手淘消息等众多阿里巴巴核心服务提供支撑的数据库。
git上的sdk地址:
https://github.com/aliyun/aliyun-apsaradb-hbase-demo/tree/master/hbase/thrift2
云数据库 HBase 阿里云接口文档:
https://help.aliyun.com/product/49055.html
使用hbase遇到的问题:
1.log数据写入到hbase占用空间过大
2.日志原始存储大小和和 hbase 中内存大小差异过大(使用阿里云 shell 工具查看)
3.表结构表结构存在问题、遇到大数据量容易崩溃
4.没有设置列簇的压缩
5.没有设置冷热存储
6.没有设置数据过期时间自动删除机制
7.列簇过多设计不合理
...
解决方案:
// 设置列簇的压缩
disable ‘test_logs’
// 删除列簇
alter ‘test_logs’,’delete’=>’test_info’
// 设置列簇的压缩
alter ‘test_logs’ ,{NAME=>’test’,COMPRESSION=>’LZ4’,DATA_BLOCK_ENCODING => ‘DIFF’}
// 设置设置冷热存储、数据过期时间自动删除机制
alter ‘test_logs’ , {NAME=>’test’, COLD_BOUNDARY=>’604800’,TTL=>2592000}
// 启用 table
enable ‘test_logs’
// 压缩编码并不会立即生效,需要 major_compact,此会耗时较长,注意在业务低峰期进行。
major_compact ‘test_logs’
设置完后hbase写入数据占用空间大大减低
122 在
学历:一种延缓就业设计,生活需求下的权衡之选中评论 工作几年后,报名考研了,到现在还没认真学习备考,迷茫中。作为一名北漂互联网打工人..123 在
Clash for Windows作者删库跑路了,github已404中评论 按理说只要你在国内,所有的流量进出都在监控范围内,不管你怎么隐藏也没用,想搞你分..原梓番博客 在
在Laravel框架中使用模型Model分表最简单的方法中评论 好久好久都没看友情链接申请了,今天刚看,已经添加。..博主 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 @1111老铁这个不行了,可以看看近期评论的其他文章..1111 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 网站不能打开,博主百忙中能否发个APP下载链接,佛跳墙或极光..
Copyright·© 2019 侯体宗版权所有·
粤ICP备20027696号