hbase進(jìn)階-課程代碼exportweek面向高并發(fā)寫入優(yōu)化

優(yōu)化預(yù)分預(yù)分禁用splitwal禁用或延增大memstoreflush單次參與文件防止頻繁寫入導(dǎo)致flush頻繁加大單次compaction文件參與數(shù)多個(gè)region同在一個(gè)regionserver小象學(xué)院– 數(shù)據(jù)在– 避免服務(wù)尖峰時(shí)進(jìn)行major避免過(guò)大文件參與搜索”深入分析HBaseCompaction機(jī)制覆蓋寫入和刪除較少，可以限制參與compaction文件大不會(huì)進(jìn)行major 使 過(guò)防止發(fā)生full 使用減小減少datablock 緩存充 縮短majorcompaction 需要緩存充設(shè)置為打開文件時(shí)預(yù)取block，對(duì)于全表掃描效果明與*.cacheonwrite區(qū)別：region被重新加載也可以預(yù)取ResultScanner實(shí)例與相關(guān)機(jī)器數(shù)比過(guò)不同ResultScanner的next請(qǐng)求引起并發(fā)磁盤io過(guò)導(dǎo)致磁盤操作變?yōu)殡S機(jī)對(duì)scan操作按照startkey排序、按所在regionserver分組，并執(zhí)在mapreduce中也可以使用此策 –公號(hào)教育披荊斬棘方法可形式部分被并入hbck被稱作firstaidhbasecheck不可形式只有經(jīng)嘗試總結(jié)出可形式化的方 確定HDFS正namenodeweb確定沒(méi)有blockmiss、確定datanodehdfs異常導(dǎo)致的常見(jiàn)現(xiàn)regionserver 象– zookeeper是master判斷集群狀態(tài)的數(shù)據(jù) 如果zookeeper不可master會(huì)退 節(jié)點(diǎn)異常，流程無(wú)法完成處 region被反復(fù)加 zookeeper狀態(tài)不一 master與regionserver處理的region狀態(tài) zookeeper實(shí)例數(shù)為2個(gè)時(shí)發(fā)生 觀察WEB首先確認(rèn)master和regionserver借助WEBUI初步判斷問(wèn)mastertaskregionservertasksplitzookeeper無(wú)法正常加檢查regionserver master與regionserver的包含各類處理的細(xì)region加載有問(wèn)查找regionencode相關(guān)各類處理有問(wèn)查找關(guān)鍵字 忽略掉查找發(fā)現(xiàn)性能瓶 hbase–HBase集群的一致regionserver中掛載的region被多個(gè)regionserver等一般由regionsplit直接修加等待下次重 注意權(quán)限問(wèn)dumpjava可以建立用于分析jmapdump出的快照文件的webgc0.94后大幅強(qiáng)能修復(fù)90%不一致問(wèn)集群狀態(tài)正常嘗試解決檢測(cè)出的問(wèn)調(diào)用后根據(jù)影響region的數(shù)量等待一段默認(rèn)等待1分鐘，但是region數(shù)過(guò)多時(shí)往往1分鐘解決不了問(wèn)多次修復(fù)失敗需要依據(jù)經(jīng)驗(yàn)手動(dòng)修復(fù)，有可能重啟也無(wú)法解根據(jù)log發(fā)現(xiàn)瓶 確定block是否丟嘗試修無(wú)法修復(fù)只能刪除文端口占不統(tǒng)機(jī)器名配置錯(cuò)toomanyopen其他進(jìn)程異CLOSE_WAIT過(guò)0.94容易出現(xiàn)的問(wèn)compaction異依靠經(jīng)搜索引一籌莫展時(shí)的常用伎重啟大量regionserver時(shí)需要重啟 – 公號(hào)教育披荊斬棘實(shí)觀察region是否存在于異常中的regionserver如果在查看regionserver的task是否有region相關(guān)操作堵進(jìn)一步觀察regionserver觀察region掛載是否完zkregion掛載狀態(tài)以及是否有異如果掛載相關(guān)regionserver經(jīng)常切換則有異進(jìn)一步查看regionlog–文件損壞或異?修復(fù)或刪 文件的目標(biāo)不存 文件名格式:”原文件名.原region 文件已被刪?刪 文mastertask是否有掛載卡 現(xiàn)發(fā)現(xiàn)問(wèn)題過(guò)zookeeperdump中能夠發(fā)現(xiàn)此region的region通過(guò)zookeeperdump中的異常，發(fā)現(xiàn)openregion時(shí)，無(wú)法找到引解低版本中禁用autotoomanyopen從regionserver的log現(xiàn)regionserver由于toomanyopenfilesregionserver發(fā)現(xiàn)問(wèn)題過(guò)發(fā)現(xiàn)region對(duì)應(yīng)的storefile分析compact相關(guān)的部分解 現(xiàn)部分regionserver沒(méi)有region版本發(fā)現(xiàn)問(wèn)題過(guò)觀察異常退出master找到相關(guān)region的分配log，確定目標(biāo)region在regionserverlog中發(fā)現(xiàn)加載region時(shí)無(wú)法加載lzo解 regionstartkeyendkeyhbck中發(fā)現(xiàn)表有異進(jìn)一步觀察輸出發(fā)現(xiàn)region不連在web頁(yè)面上發(fā)現(xiàn)regionstartkeyendkey0.89fb中hbck功能有限無(wú)法編寫代碼關(guān)閉子重新open父scan或get失根據(jù)客戶端日志定位發(fā)生問(wèn)題的regionregionserverlog中顯示blocktype解析失根據(jù)原理，異常的block可能來(lái)自物理文件或緩如果是文件損后續(xù)的block現(xiàn)在只是一個(gè)block壞所以否定了此原如果是block物理內(nèi)容寫入錯(cuò)則無(wú)法解決此問(wèn)重啟后仍然無(wú)法解如果是緩存數(shù)據(jù)錯(cuò)重啟可解重啟相關(guān)regionserver，以清空緩存問(wèn)題得到解決，并可以驗(yàn)證為緩存處理有BUG重啟集群后產(chǎn)生的問(wèn)zookeeperdump中發(fā)現(xiàn)大量region長(zhǎng)時(shí)間無(wú)法加hbck能促進(jìn)部分region加載成功hbase版本較老為0.94中已修查找masterlog中未加載的regionencode發(fā)現(xiàn)有分配操master分配操作幾秒后，regionserver中出現(xiàn)根據(jù)異常棧整理代碼邏regionserver是在向master發(fā)送的心跳請(qǐng)求的返回值中得到region加載操 網(wǎng)絡(luò)壓力較大，需要加載的region較多，導(dǎo)致返回消息較長(zhǎng)，最終導(dǎo)致RPC請(qǐng)求超masterregion分配機(jī)制無(wú)法感知通信心跳匯報(bào)操作并發(fā)不高而默認(rèn)超時(shí)但時(shí)間只有3根據(jù)源碼發(fā)現(xiàn)相關(guān)參數(shù)hbase.regionserverReport.timeout，設(shè)置為60 disable表的過(guò)程完異步處region數(shù)多時(shí)hbases會(huì)報(bào)超此時(shí)我們需要觀察master的taskmonitor以確定請(qǐng)求執(zhí)行完結(jié)果只有部分region下線，修改表請(qǐng)求無(wú)法響再次disable很快返回，但master中看不到相關(guān)處hbase版本首先，看disable相關(guān)為何不生發(fā)現(xiàn)jruby的disable函數(shù)中，如果表已有下線region，則不再響然后