HBase分布式存儲(chǔ)系統(tǒng)應(yīng)用
-
【作 者】胡鑫喆 張志剛
【I S B N 】978-7-5170-6891-4
【責(zé)任編輯】張玉玲
【適用讀者群】本專通用
【出版時(shí)間】2018-10-15
【開(kāi) 本】16開(kāi)
【裝幀信息】平裝(光膜)
【版 次】第1版第1次印刷
【頁(yè) 數(shù)】192
【千字?jǐn)?shù)】292
【印 張】12
【定 價(jià)】¥32
【叢 書】普通高等教育數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)教材
【備注信息】
簡(jiǎn)介
本書特色
前言
章節(jié)列表
精彩閱讀
下載資源
相關(guān)圖書
本書通過(guò)原理加案例的方式系統(tǒng)講解了HBase分布式存儲(chǔ)系統(tǒng)應(yīng)用,精心安排了HBase原理和架構(gòu)分析、環(huán)境搭建、案例開(kāi)發(fā)、優(yōu)化策略等環(huán)節(jié),使讀者對(duì)解決相關(guān)問(wèn)題有清晰的思路。
全書共8章:前7章系統(tǒng)講解HBase模型和系統(tǒng)架構(gòu)、數(shù)據(jù)讀寫流程、環(huán)境搭建、HBase Shell、程序開(kāi)發(fā)、高級(jí)特性;第8章是HBase MapReduce實(shí)例,通過(guò)實(shí)例幫助讀者進(jìn)一步理解HBase應(yīng)用和MapReduce編程。全書脈絡(luò)清晰,實(shí)例新穎實(shí)用,內(nèi)容詳實(shí)。
本書可作為普通高校大數(shù)據(jù)相關(guān)專業(yè)的HBase教材,可供深入了解HBase編程的讀者參考,還可作為相關(guān)培訓(xùn)班的培訓(xùn)教材。
本書通過(guò)原理加案例的方式系統(tǒng)講解HBase分布式存儲(chǔ)系統(tǒng)應(yīng)用,精心安排了HBase原理和架構(gòu)分析、環(huán)境搭建、案例開(kāi)發(fā)、優(yōu)化策略等環(huán)節(jié),全書脈絡(luò)清晰,案例新穎實(shí)用,道理直觀,內(nèi)容詳實(shí)。
大數(shù)據(jù)帶來(lái)了各種各樣繁雜的數(shù)據(jù),我們不僅要呈現(xiàn)世界,更重要的是通過(guò)呈現(xiàn)來(lái)處理更龐大的數(shù)據(jù),理解各種各樣的數(shù)據(jù)集合,表現(xiàn)多維數(shù)據(jù)之間的關(guān)聯(lián)。換句話說(shuō),就是歸納數(shù)據(jù)內(nèi)在的模式、關(guān)聯(lián)和結(jié)構(gòu)。
由于大數(shù)據(jù)的存儲(chǔ)量極大,因此其存儲(chǔ)設(shè)備需要具有高擴(kuò)展性、高可用性、自動(dòng)容錯(cuò)和低成本等特點(diǎn)。常見(jiàn)的存儲(chǔ)形式有分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù),分布式文件系統(tǒng)采用大規(guī)模的分布式存儲(chǔ)節(jié)點(diǎn)來(lái)滿足存儲(chǔ)大量文件的需求,而分布式的非關(guān)系型數(shù)據(jù)庫(kù)則為大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的處理和分析提供支持。
目前常見(jiàn)的非關(guān)系型數(shù)據(jù)庫(kù)主要有Redis、Tokyo Cabinet、MongoDB、CouchDB、Cassandra、Voldemort和HBase等。本書將對(duì)HBase進(jìn)行深入研究和探討,其他非關(guān)系型數(shù)據(jù)庫(kù)讀者可以參考相關(guān)書籍。本書共8章,具體內(nèi)容如下:
第1章介紹關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)的區(qū)別、HBase的使用場(chǎng)景。
第2章介紹HBase的邏輯模型、物理模型和系統(tǒng)架構(gòu)。
第3章詳細(xì)講解HRegionServer、HRegion和HBase數(shù)據(jù)讀寫流程。
第4章介紹HBase的分布式環(huán)境搭建。
第5章介紹如何通過(guò)HBase Shell完成表的管理、數(shù)據(jù)的增刪改查和數(shù)據(jù)遷移。
第6章介紹創(chuàng)建表、數(shù)據(jù)插入、數(shù)據(jù)查詢等基本操作,然后對(duì)Scan查詢、Filter過(guò)濾、行數(shù)統(tǒng)計(jì)、NameSpace開(kāi)發(fā)、計(jì)數(shù)器、協(xié)處理器和HBase快照等高級(jí)應(yīng)用進(jìn)行介紹。
第7章介紹HBase表設(shè)計(jì)、列族設(shè)計(jì)優(yōu)化、讀寫性能優(yōu)化策略、HBase集群規(guī)劃。
第8章講解HBase MapReduce編程實(shí)例。
本書的編寫得到北京百知教育科技有限公司的大力支持,在此表示感謝。
由于時(shí)間倉(cāng)促及編者水平有限,書中難免有疏漏甚至錯(cuò)誤之處,懇請(qǐng)廣大讀者批評(píng)指正。
編 者
2018年7月
1.1 面向行和面向列存儲(chǔ)對(duì)比 1
1.1.1 面向行存儲(chǔ)的數(shù)據(jù)庫(kù) 1
1.1.2 面向列存儲(chǔ)的數(shù)據(jù)庫(kù) 2
1.1.3 兩種存儲(chǔ)方式的對(duì)比 2
1.2 HDFS分布式存儲(chǔ)的特點(diǎn) 3
1.3 HBase的使用場(chǎng)景 5
1.4 本章小結(jié) 6
第2章 HBase模型和系統(tǒng)架構(gòu) 7
2.1 HBase的相關(guān)概念 7
2.2 HBase的邏輯模型 8
2.3 HBase的物理模型 10
2.4 HBase的特點(diǎn) 10
2.5 HBase的系統(tǒng)架構(gòu) 11
2.5.1 Client 11
2.5.2 ZooKeeper 12
2.5.3 HMaster 12
2.5.4 HRegionServer 12
2.5.5 HRegion 13
2.6 本章小結(jié) 13
第3章 HBase數(shù)據(jù)讀寫流程 15
3.1 HRegionServer詳解 15
3.1.1 WAL 16
3.1.2 MemStore 17
3.1.3 BlockCache 18
3.1.4 HFile 18
3.1.5 HRegionServer的恢復(fù) 23
3.1.6 HRegionServer的上線下線 24
3.2 HRegion 24
3.2.1 HRegion分配 25
3.2.2 HRegion Split 25
3.2.3 HRegion Compact 25
3.3 HMaster上線 26
3.4 數(shù)據(jù)讀流程 26
3.5 數(shù)據(jù)寫流程 28
3.6 刪除數(shù)據(jù)流程 28
3.7 本章小結(jié) 28
第4章 HBase環(huán)境搭建 30
4.1 ZooKeeper的安裝 30
4.2 HBase的安裝 31
4.3 本章小結(jié) 35
第5章 HBase Shell 36
5.1 HBase Shell啟動(dòng) 36
5.2 表的管理 37
5.3 表數(shù)據(jù)的增刪改查 44
5.4 HBase數(shù)據(jù)遷移的importtsv的使用 48
5.5 本章小結(jié) 49
第6章 HBase程序開(kāi)發(fā) 50
6.1 表的相關(guān)操作 50
6.2 創(chuàng)建Configuration對(duì)象 54
6.3 創(chuàng)建表 55
6.3.1 開(kāi)發(fā)環(huán)境配置 56
6.3.2 創(chuàng)建表 58
6.4 數(shù)據(jù)插入 60
6.5 數(shù)據(jù)查詢 67
6.6 數(shù)據(jù)刪除 71
6.7 Scan查詢 75
6.8 Filter過(guò)濾 84
6.9 行數(shù)統(tǒng)計(jì) 105
6.10 NameSpace開(kāi)發(fā) 107
6.11 計(jì)數(shù)器 111
6.12 協(xié)處理器 115
6.13 HBase快照 126
6.14 本章小結(jié) 131
第7章 HBase高級(jí)特性 132
7.1 HBase表設(shè)計(jì) 132
7.2 列族設(shè)計(jì)優(yōu)化 136
7.3 寫性能優(yōu)化策略 138
7.4 讀性能優(yōu)化策略 139
7.4.1 HBase客戶端優(yōu)化 139
7.4.2 HBase服務(wù)器端優(yōu)化 140
7.4.3 HDFS相關(guān)優(yōu)化 141
7.5 HBase集群規(guī)劃 142
7.5.1 集群業(yè)務(wù)規(guī)劃 142
7.5.2 集群容量規(guī)劃 143
7.5.3 Region規(guī)劃 144
7.5.4 內(nèi)存規(guī)劃 145
7.6 本章小結(jié) 149
第8章 MapReduce On HBase 150
8.1 HBase MapReduce 150
8.2 編程實(shí)例 151
8.2.1 使用MapReduce操作HBase 151
8.2.2 從HBase獲取數(shù)據(jù)上傳至HDFS 154
8.2.3 MapReduce生成HFile入庫(kù)
到HBase 156
8.2.4 同時(shí)寫入多張表 160
8.2.5 從多個(gè)表讀取數(shù)據(jù) 164
8.2.6 通過(guò)讀取HBase表刪除Hbase
數(shù)據(jù) 166
8.2.7 通過(guò)讀取HBase表數(shù)據(jù)復(fù)制到
另外一張表 169
8.2.8 建立HBase表索引 170
8.2.9 將MapReduce輸出結(jié)果到MySQL 174
8.2.10 利用MapReduce完成MySQL
數(shù)據(jù)讀寫 179
8.3 本章小結(jié) 182
附錄 MySQL安裝 183
- 輸水管線工程風(fēng)險(xiǎn)管理 [張勇 黨亥生 著]
- 民用航空飛機(jī)標(biāo)準(zhǔn)線路施工 [主編 王志敏 陳明]
- 不息的水脈—大運(yùn)河講談錄 [趙珩 著]
- 實(shí)用運(yùn)籌學(xué) [主編 邢育紅 于晉臣]
- 三峽梯級(jí)電站水資源決策支持系統(tǒng)研究與開(kāi)發(fā) [姚華明 潘紅忠 湯正]
- 海南黎族民俗文化鑒賞 [龐國(guó)華 著]
- 石墨烯在太赫茲及中紅外頻段電磁器件設(shè)計(jì)中的應(yīng)用 [李艷秀 莊華偉 著]
- 電子技術(shù)(第二版) [主編 覃愛(ài)娜 李飛]
- 辦公自動(dòng)化高級(jí)應(yīng)用 [陳萍 朱曉玉]
- 信息處理技術(shù)員考試32小時(shí)通關(guān) [薛大龍]
- 電子產(chǎn)品設(shè)計(jì)案例教程(微課版)—基于嘉立創(chuàng)EDA(專業(yè)版) [王靜 莫志宏 陳學(xué)昌 丁紅]
- C程序設(shè)計(jì)實(shí)踐教程 [劉衛(wèi)國(guó)]
- C程序設(shè)計(jì)(慕課版) [劉衛(wèi)國(guó)]
- Web技術(shù)開(kāi)發(fā)教程(基于.NET開(kāi)源MVC框架) [王合闖 韓紅玲 王青正 陳海蕊]
- 商務(wù)英語(yǔ)翻譯教程(筆譯)(第四版) [主編 王軍平]
- 智慧零售技術(shù)與應(yīng)用 [洪旭 著]
- 建設(shè)工程法規(guī)實(shí)務(wù) [主編 余瀅]
- 商務(wù)秘書理論與實(shí)務(wù)(第三版) [主編 張同欽]
- 程序設(shè)計(jì)基礎(chǔ)實(shí)踐教程(C/C++語(yǔ)言版) [張桂芬 葛麗娜]
- C++案例項(xiàng)目精講 [主編 楊國(guó)興]
- 勞動(dòng)爭(zhēng)議處理實(shí)務(wù) [主編 王秀卿 羅靜]
- 工程數(shù)學(xué) [主編 郭立娟 王海]
- 語(yǔ)音識(shí)別理論與實(shí)踐 [主編 莫宏偉]
- 信息系統(tǒng)項(xiàng)目管理師章節(jié)習(xí)題與考點(diǎn)特訓(xùn)(第二版) [主編 薛大龍]
- 武術(shù)基礎(chǔ)教程 [主編 李代勇 謝志民]
- 計(jì)算機(jī)網(wǎng)絡(luò)實(shí)訓(xùn)教程 [主編 張浩軍 趙玉娟]
- 畫法幾何與機(jī)械制圖習(xí)題集(多學(xué)時(shí)) [主編 趙軍]
- HCIA-Datacom認(rèn)證題庫(kù)分類精講 [主 編 韓立剛]
- SwiftUI完全開(kāi)發(fā) [李智威 著]
- 網(wǎng)絡(luò)規(guī)劃設(shè)計(jì)師備考一本通 [夏杰 編著]
- 生活經(jīng)管more>>
- 大數(shù)據(jù)技術(shù)導(dǎo)論
- HBase分布式存儲(chǔ)系統(tǒng)應(yīng)用(第二版)
- Hive編程技術(shù)與應(yīng)用(第二版)
- Python 語(yǔ)言程序設(shè)計(jì)實(shí)踐指導(dǎo)
- Spark大數(shù)據(jù)處理技術(shù)
- 數(shù)據(jù)清洗
- R語(yǔ)言基礎(chǔ)及應(yīng)用
- 數(shù)據(jù)庫(kù)原理及應(yīng)用(MySQL版)
- 大數(shù)據(jù)導(dǎo)論
- 大數(shù)據(jù)可視化技術(shù)
- Python語(yǔ)言程序設(shè)計(jì)
- Java編程基礎(chǔ)
- Java編程基礎(chǔ)實(shí)踐指導(dǎo)
- 深度學(xué)習(xí)—卷積神經(jīng)網(wǎng)絡(luò)算法原理與應(yīng)用
- Hive編程技術(shù)與應(yīng)用
- HBase分布式存儲(chǔ)系統(tǒng)應(yīng)用