HBase分布式存儲(chǔ)系統(tǒng)應(yīng)用
-
【作 者】胡鑫喆 張志剛
【I S B N 】978-7-5170-6891-4
【責(zé)任編輯】張玉玲
【適用讀者群】本專通用
【出版時(shí)間】2018-10-15
【開 本】16開
【裝幀信息】平裝(光膜)
【版 次】第1版第1次印刷
【頁 數(shù)】192
【千字?jǐn)?shù)】292
【印 張】12
【定 價(jià)】¥32
【叢 書】普通高等教育數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)教材
【備注信息】
簡(jiǎn)介
本書特色
前言
章節(jié)列表
精彩閱讀
下載資源
相關(guān)圖書
本書通過原理加案例的方式系統(tǒng)講解了HBase分布式存儲(chǔ)系統(tǒng)應(yīng)用,精心安排了HBase原理和架構(gòu)分析、環(huán)境搭建、案例開發(fā)、優(yōu)化策略等環(huán)節(jié),使讀者對(duì)解決相關(guān)問題有清晰的思路。
全書共8章:前7章系統(tǒng)講解HBase模型和系統(tǒng)架構(gòu)、數(shù)據(jù)讀寫流程、環(huán)境搭建、HBase Shell、程序開發(fā)、高級(jí)特性;第8章是HBase MapReduce實(shí)例,通過實(shí)例幫助讀者進(jìn)一步理解HBase應(yīng)用和MapReduce編程。全書脈絡(luò)清晰,實(shí)例新穎實(shí)用,內(nèi)容詳實(shí)。
本書可作為普通高校大數(shù)據(jù)相關(guān)專業(yè)的HBase教材,可供深入了解HBase編程的讀者參考,還可作為相關(guān)培訓(xùn)班的培訓(xùn)教材。
本書通過原理加案例的方式系統(tǒng)講解HBase分布式存儲(chǔ)系統(tǒng)應(yīng)用,精心安排了HBase原理和架構(gòu)分析、環(huán)境搭建、案例開發(fā)、優(yōu)化策略等環(huán)節(jié),全書脈絡(luò)清晰,案例新穎實(shí)用,道理直觀,內(nèi)容詳實(shí)。
大數(shù)據(jù)帶來了各種各樣繁雜的數(shù)據(jù),我們不僅要呈現(xiàn)世界,更重要的是通過呈現(xiàn)來處理更龐大的數(shù)據(jù),理解各種各樣的數(shù)據(jù)集合,表現(xiàn)多維數(shù)據(jù)之間的關(guān)聯(lián)。換句話說,就是歸納數(shù)據(jù)內(nèi)在的模式、關(guān)聯(lián)和結(jié)構(gòu)。
由于大數(shù)據(jù)的存儲(chǔ)量極大,因此其存儲(chǔ)設(shè)備需要具有高擴(kuò)展性、高可用性、自動(dòng)容錯(cuò)和低成本等特點(diǎn)。常見的存儲(chǔ)形式有分布式文件系統(tǒng)和分布式數(shù)據(jù)庫,分布式文件系統(tǒng)采用大規(guī)模的分布式存儲(chǔ)節(jié)點(diǎn)來滿足存儲(chǔ)大量文件的需求,而分布式的非關(guān)系型數(shù)據(jù)庫則為大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的處理和分析提供支持。
目前常見的非關(guān)系型數(shù)據(jù)庫主要有Redis、Tokyo Cabinet、MongoDB、CouchDB、Cassandra、Voldemort和HBase等。本書將對(duì)HBase進(jìn)行深入研究和探討,其他非關(guān)系型數(shù)據(jù)庫讀者可以參考相關(guān)書籍。本書共8章,具體內(nèi)容如下:
第1章介紹關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫的區(qū)別、HBase的使用場(chǎng)景。
第2章介紹HBase的邏輯模型、物理模型和系統(tǒng)架構(gòu)。
第3章詳細(xì)講解HRegionServer、HRegion和HBase數(shù)據(jù)讀寫流程。
第4章介紹HBase的分布式環(huán)境搭建。
第5章介紹如何通過HBase Shell完成表的管理、數(shù)據(jù)的增刪改查和數(shù)據(jù)遷移。
第6章介紹創(chuàng)建表、數(shù)據(jù)插入、數(shù)據(jù)查詢等基本操作,然后對(duì)Scan查詢、Filter過濾、行數(shù)統(tǒng)計(jì)、NameSpace開發(fā)、計(jì)數(shù)器、協(xié)處理器和HBase快照等高級(jí)應(yīng)用進(jìn)行介紹。
第7章介紹HBase表設(shè)計(jì)、列族設(shè)計(jì)優(yōu)化、讀寫性能優(yōu)化策略、HBase集群規(guī)劃。
第8章講解HBase MapReduce編程實(shí)例。
本書的編寫得到北京百知教育科技有限公司的大力支持,在此表示感謝。
由于時(shí)間倉促及編者水平有限,書中難免有疏漏甚至錯(cuò)誤之處,懇請(qǐng)廣大讀者批評(píng)指正。
編 者
2018年7月
1.1 面向行和面向列存儲(chǔ)對(duì)比 1
1.1.1 面向行存儲(chǔ)的數(shù)據(jù)庫 1
1.1.2 面向列存儲(chǔ)的數(shù)據(jù)庫 2
1.1.3 兩種存儲(chǔ)方式的對(duì)比 2
1.2 HDFS分布式存儲(chǔ)的特點(diǎn) 3
1.3 HBase的使用場(chǎng)景 5
1.4 本章小結(jié) 6
第2章 HBase模型和系統(tǒng)架構(gòu) 7
2.1 HBase的相關(guān)概念 7
2.2 HBase的邏輯模型 8
2.3 HBase的物理模型 10
2.4 HBase的特點(diǎn) 10
2.5 HBase的系統(tǒng)架構(gòu) 11
2.5.1 Client 11
2.5.2 ZooKeeper 12
2.5.3 HMaster 12
2.5.4 HRegionServer 12
2.5.5 HRegion 13
2.6 本章小結(jié) 13
第3章 HBase數(shù)據(jù)讀寫流程 15
3.1 HRegionServer詳解 15
3.1.1 WAL 16
3.1.2 MemStore 17
3.1.3 BlockCache 18
3.1.4 HFile 18
3.1.5 HRegionServer的恢復(fù) 23
3.1.6 HRegionServer的上線下線 24
3.2 HRegion 24
3.2.1 HRegion分配 25
3.2.2 HRegion Split 25
3.2.3 HRegion Compact 25
3.3 HMaster上線 26
3.4 數(shù)據(jù)讀流程 26
3.5 數(shù)據(jù)寫流程 28
3.6 刪除數(shù)據(jù)流程 28
3.7 本章小結(jié) 28
第4章 HBase環(huán)境搭建 30
4.1 ZooKeeper的安裝 30
4.2 HBase的安裝 31
4.3 本章小結(jié) 35
第5章 HBase Shell 36
5.1 HBase Shell啟動(dòng) 36
5.2 表的管理 37
5.3 表數(shù)據(jù)的增刪改查 44
5.4 HBase數(shù)據(jù)遷移的importtsv的使用 48
5.5 本章小結(jié) 49
第6章 HBase程序開發(fā) 50
6.1 表的相關(guān)操作 50
6.2 創(chuàng)建Configuration對(duì)象 54
6.3 創(chuàng)建表 55
6.3.1 開發(fā)環(huán)境配置 56
6.3.2 創(chuàng)建表 58
6.4 數(shù)據(jù)插入 60
6.5 數(shù)據(jù)查詢 67
6.6 數(shù)據(jù)刪除 71
6.7 Scan查詢 75
6.8 Filter過濾 84
6.9 行數(shù)統(tǒng)計(jì) 105
6.10 NameSpace開發(fā) 107
6.11 計(jì)數(shù)器 111
6.12 協(xié)處理器 115
6.13 HBase快照 126
6.14 本章小結(jié) 131
第7章 HBase高級(jí)特性 132
7.1 HBase表設(shè)計(jì) 132
7.2 列族設(shè)計(jì)優(yōu)化 136
7.3 寫性能優(yōu)化策略 138
7.4 讀性能優(yōu)化策略 139
7.4.1 HBase客戶端優(yōu)化 139
7.4.2 HBase服務(wù)器端優(yōu)化 140
7.4.3 HDFS相關(guān)優(yōu)化 141
7.5 HBase集群規(guī)劃 142
7.5.1 集群業(yè)務(wù)規(guī)劃 142
7.5.2 集群容量規(guī)劃 143
7.5.3 Region規(guī)劃 144
7.5.4 內(nèi)存規(guī)劃 145
7.6 本章小結(jié) 149
第8章 MapReduce On HBase 150
8.1 HBase MapReduce 150
8.2 編程實(shí)例 151
8.2.1 使用MapReduce操作HBase 151
8.2.2 從HBase獲取數(shù)據(jù)上傳至HDFS 154
8.2.3 MapReduce生成HFile入庫
到HBase 156
8.2.4 同時(shí)寫入多張表 160
8.2.5 從多個(gè)表讀取數(shù)據(jù) 164
8.2.6 通過讀取HBase表刪除Hbase
數(shù)據(jù) 166
8.2.7 通過讀取HBase表數(shù)據(jù)復(fù)制到
另外一張表 169
8.2.8 建立HBase表索引 170
8.2.9 將MapReduce輸出結(jié)果到MySQL 174
8.2.10 利用MapReduce完成MySQL
數(shù)據(jù)讀寫 179
8.3 本章小結(jié) 182
附錄 MySQL安裝 183
- 機(jī)械制圖 [許淑珍 于利民]
- 微積分(經(jīng)管類)導(dǎo)學(xué)篇(下冊(cè)) [王海棠 曹海軍 周玲麗]
- 大學(xué)生創(chuàng)新創(chuàng)業(yè)基礎(chǔ) [主編 姜國(guó)權(quán) 姜福佳]
- 農(nóng)產(chǎn)品云倉模式研究—以北京農(nóng)產(chǎn)品流通物流供應(yīng)鏈重構(gòu)為例 [武曉釗 王成林 王春娟 等著]
- 信息技術(shù)(微課版) [王云 徐江鴻 李清霞 羅學(xué)鋒 ]
- 管理基礎(chǔ)與實(shí)務(wù) [主編 王鳳基 顏漢軍]
- 高等數(shù)學(xué)導(dǎo)學(xué)篇(下冊(cè)) [主編 李文婧 胡雷 尹金生]
- 高等數(shù)學(xué)導(dǎo)學(xué)篇(上冊(cè)) [主編 李文婧 胡雷 尹金生]
- 高等數(shù)學(xué)(下冊(cè)) [主編 李愛芹 胡雷 尹金生]
- 高等數(shù)學(xué)(上冊(cè)) [主編 李愛芹 胡雷 尹金生]
- 庭院風(fēng)骨—樹、灌、籬 [創(chuàng)意房主 著]
- Python語言程序設(shè)計(jì)教程 [郭其標(biāo) 房宜汕]
- 微積分(經(jīng)管類)教程篇(下冊(cè)) [曹海軍 王海棠 周玲麗]
- 微積分(經(jīng)管類)教程篇(上冊(cè)) [曹海軍 王海棠 周玲麗]
- 微積分(經(jīng)管類)導(dǎo)學(xué)篇(上冊(cè)) [王海棠 曹海軍 周玲麗]
- 網(wǎng)站前端技術(shù)案例教程(HTML+CSS+JavaScript)(第二版) [黃華升]
- 線性代數(shù) [主編 史昱 陳鳳欣]
- 電力電子技術(shù)課程學(xué)習(xí)及實(shí)驗(yàn)指導(dǎo) [主編 陳榮]
- 成長(zhǎng)對(duì)話:青春的榜樣 [主編 施端銀 黃武剛 應(yīng)巨林]
- 人工智能應(yīng)用基礎(chǔ) [主編 楊纓 李佳]
- 中華水文化(慕課版)(第二版) [畢雪燕 楊華軻 羅玲誼 等編著]
- 電路與電子技術(shù)Ⅱ——電路分析基礎(chǔ) [主編 陳曉 金哲]
- 飛機(jī)維修專業(yè)英語——飛機(jī)系統(tǒng)(第二版) [趙迎春]
- 英語大爆炸:跟趣味情景劇學(xué)口語(微課版) [秦然 編著]
- 機(jī)械工程制圖任務(wù)跟蹤訓(xùn)練 [主編 王瑞清 趙金考 周彥云 ]
- 機(jī)械工程制圖 [主編 覃國(guó)萍 劉百順 禹晨]
- 平面設(shè)計(jì)與制作項(xiàng)目化教程 [主編 李晨]
- 后期影像剪輯技術(shù) [主編 郭建偉]
- 人工智能概論(第二版) [主編 任云暉 丁紅 徐迎春 ]
- 信息時(shí)代美育之道 [主編 劉宏宇 黎婭]
- 生活經(jīng)管more>>
- Spark大數(shù)據(jù)處理技術(shù)
- 數(shù)據(jù)清洗
- R語言基礎(chǔ)及應(yīng)用
- 數(shù)據(jù)庫原理及應(yīng)用(MySQL版)
- 大數(shù)據(jù)導(dǎo)論
- 大數(shù)據(jù)可視化技術(shù)
- Python語言程序設(shè)計(jì)
- Java編程基礎(chǔ)
- Java編程基礎(chǔ)實(shí)踐指導(dǎo)
- 深度學(xué)習(xí)—卷積神經(jīng)網(wǎng)絡(luò)算法原理與應(yīng)用
- Hive編程技術(shù)與應(yīng)用
- HBase分布式存儲(chǔ)系統(tǒng)應(yīng)用
- Hadoop大數(shù)據(jù)開發(fā)
- Python程序設(shè)計(jì)教程