CDH4,lily,hbasesolrindexer增量更新失败的一种情形解决办法

运维监控到消息无法增量更新索引。经定位发现hbase solr indexer未生效。

专注于为中小企业提供网站设计、成都做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业白城免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了上1000+企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。

 

以前测试环境下通常是因为这个hbase-solr-indexer进程当掉了造成的。但是这一次不一样。

 

检查sep的impl的源码,发现它是伪装了一个HbaseRegionServer,把自己作为slave,然后借助HBase的replication机制,让log复制过来。它再通过write ahead log获取增量更新内容。

 

猜测是这种机制被断掉了。检查zookeeper

ls /ngdata/sep/hbase-slave/Indexer_morphlines_Test300/rs

发现这个记录

[datanode10.bjpuc1.quanshi.com,50475,1428377032454]

 

检查hbase

ls /hbase/rs

[datanode8.app.company.com,60020,1427557044871,datanode3.app.company.com,60020,1428140476654, datanode6.app.company.com,60020,1427557034896,datanode10.app.company.com,60020,1427557054164,datanode1.app.company.com,60020,1427556940973,datanode7.app.company.com,60020,1427557039934,datanode4.app.company.com,60020,1427557024791, datanode9.app.company.com,60020,1427557048966,datanode2.app.company.com,60020,1427557014498,datanode11.app.company.com,60020,1427557059497,datanode5.app.company.com,60020,1427557029513]

 

 

因此怀疑两者的同步出现问题。于是让君福帮助重建了一次增量更新配置。办法是删除原来的hbase-solr-indexer的配置,再重新add-indexer。

ls/ngdata/sep/hbase-slave/Indexer_morphlines_Test300/rs

[datanode10.app.company.com,2074,1428455398626]

 

问题得到解决。


本文题目:CDH4,lily,hbasesolrindexer增量更新失败的一种情形解决办法
文章转载:http://bzwzjz.com/article/jsdjop.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 网站制作 重庆网站设计 成都品牌网站建设 移动网站建设 定制网站建设多少钱 温江网站设计 成都模版网站建设 网站设计 成都网站设计 高端网站建设 营销网站建设 成都网站建设公司 成都网站设计制作公司 网站制作 成都定制网站建设 泸州网站建设 成都网站制作 高端网站设计推广 成都网站建设 网站建设公司 成都网站建设 成都网站设计