體系結構合理：基礎篇和實戰篇相結合，理論夠用，突出實踐應用。

內容安排全面：兼顧崗位要求、職業技能競賽和1+X證書知識范圍。

配套資源豐富：配套微課、課件、習題答案等，方便讀者學習使用。

進入21世紀以來，云計算、大數據、人工智能等新興信息技術飛速發展，快速融入人類社會的各個領域，對社會的發展起到了重要的促進作用。新時代的到來、新興技術的興起，對從事信息技術行業的技術人員和高職信息技術人才培養是一個新的挑戰，各級各類學校都在大力倡導和推進新興信息技術在教育教學中的普及和深入應用。從學習者角度，高職電子信息類、計算機類專業的學生和社會上從事信息技術相關工作的人員渴望了解和學習大數據知識和技術，因此需要一本既可以把大數據相關概念介紹清楚，又能教會大數據分析與處理全棧技術的書籍。基于此需求，我們編寫了本書。

本書分為基礎篇和實戰篇�；�礎篇主要闡述大數據基本知識和基本技術：項目1闡述大數據概念、大數據來源、大數據價值、大數據影響和大數據安全；項目2主要介紹大數據基本技術；項目3介紹大數據平臺架構、大數據平臺采用的技術；項目4介紹大數據采集、預處理和存儲技術；項目5介紹關系型數據庫、新型數據庫NoSQL和NoSQL產品；項目6介紹大數據分析方法和分析技術；項目7介紹大數據可視化技術。實戰篇以企業案例為主線，介紹環境和平臺搭建真實場景、大數據分析處理過程的技術實現：項目8介紹大數據分析與處理基本環境搭建，包括虛擬系統的搭建、Linux主機配置；項目9介紹大數據平臺搭建，包括Hadoop平臺搭建、離線大數據分析平臺搭建和實時大數據分析平臺搭建；項目10介紹基于Maven項目的開發環境搭建、案例的離線基礎數據分析與統計、案例的離線基礎數據過濾與處理、實時數據分析與處理技術實現。實戰篇內容兼顧企業崗位要求、職業技能競賽和1+X證書知識范圍，具有很強的實用價值。

本書由李麗萍、周永福、吳明宇任主編，王蘭豐、魏育華、李任鶴任副主編，王建華任主審，楊一冬、孫夢琳、李景華、邢雅丹和李依桐參與編寫。李麗萍負責全書統稿工作。本書編寫人員均為高職計算機類專業大數據技術相關課程一線教師，多次參加企業1+X證書技術培訓，指導學生參加職業技能競賽并多次獲獎，積累了豐富的大數據技術教學經驗。

在本書編寫過程中，編者參閱并引用了部分論文、專著和文獻資料，在此對其作者表示感謝。本書實戰篇大數據分析案例由廣州泰迪智能科技股份有限公司提供，在此深表謝意。由于編者水平有限，書中難免存在疏漏和不足之處，懇請讀者批評指正。

編者

2022年6月

基礎篇
項目1 大數據概述 2
任務1 大數據概念 2
任務2 大數據來源 6
任務3 大數據價值及大數據影響 9
任務4 大數據應用與大數據安全 14
項目拓展 20
思考與練習 20
項目2 大數據技術 21
任務1 大數據技術概述 21
任務2 Hadoop概述 27
項目拓展 32
思考與練習 32
項目3 大數據處理平臺 33
任務1 大數據處理平臺架構 33
任務2 離線大數據處理平臺Hadoop 36
任務3 大數據綜合處理平臺Spark 41
項目拓展 45
思考與練習 45
項目4 大數據采集與存儲 46
任務1 數據采集 46
任務2 數據預處理 50
任務3 大數據存儲 55
任務4 分布式文件系統 59
項目拓展 64
思考與練習 64
項目5 新型數據庫 65
任務1 關系型數據庫 65
任務2 NoSQL 69
任務3 NoSQL的類型與產品 74
項目拓展 81
思考與練習 82
項目6 大數據分析與處理 83
任務1 大數據分析方法 83
任務2 大數據分析技術 86
項目拓展 93
思考與練習 93
項目7 數據可視化 94
任務1 數據可視化概念 94
任務2 數據可視化方法 101
任務3 數據可視化應用 108
項目拓展 116
思考與練習 116
實戰篇
項目8 大數據分析基礎環境搭建 118
任務1 虛擬系統的搭建 118
任務2 Linux主機的配置 130
項目拓展 145
思考與練習 145
項目9 大數據平臺搭建 146
任務1 Hadoop平臺的兩種搭建方式 146
任務2 Hadoop平臺下離線大數據分析
平臺的搭建方式 176
任務3 Hadoop平臺下實時大數據分析
平臺的搭建方式 189
項目拓展 198
思考與練習 198
項目10 大數據分析案例技術實戰 199
任務1 法律服務大數據分析與探索 199
任務2 基于Maven的項目開發環境搭建 203
任務3 離線基礎數據分析與統計 209
任務4 離線基礎數據的過濾與統計 220
任務5 離線數據的處理 225
任務6 實時數據分析與處理 229
項目拓展 235
思考與練習 235
參考文獻 236

1. 輸水管線工程風險管理 [張勇 黨亥生 著]
2. 民用航空飛機標準線路施工 [主編　王志敏　陳明]
3. 不息的水脈—大運河講談錄 [趙珩　著]
4. 實用運籌學 [主編　邢育紅　于晉臣]
5. 三峽梯級電站水資源決策支持系統研究與開發 [姚華明 潘紅忠 湯正]
6. 海南黎族民俗文化鑒賞 [龐國華　著]
7. 石墨烯在太赫茲及中紅外頻段電磁器件設計中的應用 [李艷秀 莊華偉 著]
8. 電子技術（第二版） [主編 覃愛娜 李飛]
9. 辦公自動化高級應用 [陳萍 朱曉玉]
10. 信息處理技術員考試32小時通關 [薛大龍]
11. 電子產品設計案例教程（微課版）—基于嘉立創EDA（專業版） [王靜 莫志宏 陳學昌 丁紅]
12. C程序設計實踐教程 [劉衛國]
13. C程序設計（慕課版） [劉衛國]
14. Web技術開發教程（基于.NET開源MVC框架） [王合闖 韓紅玲 王青正 陳海蕊]
15. 商務英語翻譯教程（筆譯）（第四版） [主編 王軍平]
16. 智慧零售技術與應用 [洪旭 著]
17. 建設工程法規實務 [主編 余瀅]
18. 商務秘書理論與實務（第三版） [主編 張同欽]
19. 程序設計基礎實踐教程（C/C++語言版） [張桂芬 葛麗娜]
20. C++案例項目精講 [主編 楊國興]
21. 勞動爭議處理實務 [主編 王秀卿 羅靜]
22. 工程數學 [主編 郭立娟 王海]
23. 語音識別理論與實踐 [主編　莫宏偉]
24. 信息系統項目管理師章節習題與考點特訓（第二版） [主編 薛大龍]
25. 武術基礎教程 [主編 李代勇 謝志民]
26. 計算機網絡實訓教程 [主編 張浩軍 趙玉娟]
27. 畫法幾何與機械制圖習題集（多學時） [主編 趙軍]
28. HCIA-Datacom認證題庫分類精講 [主 編 韓立剛]
29. SwiftUI完全開發 [李智威 著]
30. 網絡規劃設計師備考一本通 [夏杰 編著]