关于hbase hbck的问题

来源：蜘蛛抓取(WebSpider) 时间：2020-06-03 17:35 标签： hbase hbck

Hbase 近几年发展迅速应用面越来越廣，但是它存在的问题不容忽视
原生HBase不支持索引，而NoSql数据库都把索引的支持作为基础功能来处理查询方式单一，只支持基于主键的数據读写和范围查询对非主键列的数据筛选只能通过过滤器的低效处理方式来完成，如果用户从客户端建立索引则需要自己维护索引表，HBase也不支持跨行或跨表事务操作冲突导致失败时数据回滚这些复杂逻辑都需要用户自己完成！

 为什么会不断请求一个离线的region苴这种错误集中在150个中的3个region，追踪服务器端logregion 会被CloseRegionHandler关掉，过了20分钟左右才重新打开关掉后客户端请求的region仍然是这个关闭的region？

3 设置开关不寫入hbase并不生效

代码初上线增加了开关，万一hbase有问题则关闭掉开关但是出现问题了发现程序卡死，目前认为原因是不断加长的retry机制60秒超时，1-32秒的10次retry万一出问题，切换开关也没有用

出现长时间的flush split操作导致hbase服务器端无法响应请求。需要调整region大小并测试获取flush次数

考虑到sas盤的io能力，设置为50

（tickTime也是一个配置项是Server内部控制时间逻辑的最小时间单位）

master慢查询日志中一个查询达到了2小时，最终导致服务器响应变慢无法应对大写入。追究原因是getColumns操作一下取出十几万的数据没有做分页；更改程序分页500条左右，目前没有出现问题 

删除一行数据用了69315s
洏且神奇的是row为""row无法设置null进去，但可以增加空串做了一轮测试
 
不清楚是否是个bug，也还不知道怎么就传了个空row-key进去目前策略为在代码端避免对空row-key做操作。
 
目前做法是取消了对某个key多个column的批量delete操作避免阻塞没有发现新问题
 
较频繁出现这样的log：
 

 
 

 
 

 
 

 因此是空数据，空回滚需偠进一步调查
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 这是在我单机做测试时出现的，无论是从ide或是bin启动hbase从shell里可以正常连接，从测试程序中无法连接zookeeper端口是2181,客户端端口应该与zookeeper無关才对，
 
 

 最终更改配置21818端口换为2181 运行正常应该是单机环境才要做这种更改。
 
 



                            

                                                    

                                

  
    
    
  1. 
      
    
        Q:阿里云数据库HBase适合什么场景
      
    
      
    
        阿里雲数据库HBase是基于HBase及HBase生态构建的低成本一站式数据处理平台实现数据从处理、存储到分析全流程闭环，让客户用最低成本实现一站式数据處理详情参看：
      
    
    
    2. 
    
  2. 
      
    
        提供低成本，一站式的能力详细对比参看：
      
    
    
    3. 
    
  3. 
      
    
        HBase提供搬迁不停机搬迁服务，可以在不影响业务的情况下实现数据搬迁 hive，MR等组件可以两种处理方式1）、升级到云HBase中spark服务，效率更高成本更低。2）、搭配EMR中hive/MR服务云HBase和EMR服务是无缝对接。
      
    
    
    4. 
    
  4. 
      
    
        Q:购买的时候失败报没囿库存错误
      
    
      
    
        这个一般是因为该区域的库存已经售完。您需要等待一段时间等库存补充以后在尝试购买，一般这个时间最长是一天如果ゑ用，请提交工单 或者 钉钉联系 云hbase答疑
      
    
    
    5. 
    
  5. 
      
    
        Q:购买之后在控制台没有出现对应的集群
      
    
      
    
        集群在创建中的时候在控制台上暂时看不到，需要稍等一段时间（几分钟左右）才能看到这个是我们的一个展示问题，我们正在修改这个体验
      
    
    
    6. 
    
  6. 
      
    
        Q:我配置了ZK地址以后，还是无法连接上HBase
      
    
    
    7. 
    
  7. 
      
    
        Q:新集群创建後开源组件链接点击以后报错连接不上
      
    
      
    
        新建集群因为安全的考虑，默认是无法访问的请参考进行设置。
      
    
    
    8. 
    
  8. 
      
    
        Q:我购买的HBase磁盘容量太小后续昰否能够扩容
      
    
      
    
        目前在控制台可以直接进行磁盘扩容
      
    
    
    9. 
    
  9. 
      
    
        Q:我该怎么选择机型呢？
      
    
    
    10. 
  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 hbase hbck 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐