內(nèi)容實用——理論與實踐結(jié)合，重點突出應(yīng)用

體系完善——構(gòu)建完整的大數(shù)據(jù)專業(yè)解決方案

產(chǎn)教融合——高校企業(yè)共參與，對標(biāo)行業(yè)標(biāo)準(zhǔn)

資源豐富——微課、課件、教案、源碼、答案

前　　言

近年來，隨著數(shù)字經(jīng)濟(jì)的快速發(fā)展，數(shù)據(jù)成為繼土地、勞動力、資本、技術(shù)之后的第五大生產(chǎn)要素，在國家治理、社會發(fā)展和人民生活中的作用日益突出。而大數(shù)據(jù)是現(xiàn)代社會高科技發(fā)展的產(chǎn)物，是第四次工業(yè)革命最主要的內(nèi)容之一，也是數(shù)字經(jīng)濟(jì)發(fā)展重要的推動力量。

當(dāng)前，發(fā)展大數(shù)據(jù)已經(jīng)成為國家戰(zhàn)略，大數(shù)據(jù)在引領(lǐng)經(jīng)濟(jì)社會發(fā)展中的新引擎作用更加明顯。2015年，國家印發(fā)《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動綱要》，第一次將大數(shù)據(jù)上升到國家戰(zhàn)略高度，提出了我國大數(shù)據(jù)的頂層設(shè)計。此后，隨著大數(shù)據(jù)底層設(shè)施逐漸成熟，大數(shù)據(jù)分析開始結(jié)合具體行業(yè)，向下游垂直行業(yè)應(yīng)用延伸。

大數(shù)據(jù)必須經(jīng)過清洗、分析、建模、可視化才能體現(xiàn)其潛在的價值。例如政府、銀行和保險公司等內(nèi)部存在海量的非結(jié)構(gòu)化、不規(guī)則的數(shù)據(jù)，而只有將這些數(shù)據(jù)采集并清洗為結(jié)構(gòu)化、規(guī)則的數(shù)據(jù)，才能提高公司決策支撐能力和政府決策服務(wù)水平，使之發(fā)揮應(yīng)有的作用。

本書以理論與實踐操作相結(jié)合的方式深入講解了數(shù)據(jù)清洗的基本知識和實現(xiàn)的基本技術(shù)，在內(nèi)容設(shè)計上既有上課時老師講述的部分（包括詳細(xì)的理論與典型的案例），又有大量的實訓(xùn)環(huán)節(jié)，雙管齊下，極大地激發(fā)了學(xué)生的學(xué)習(xí)積極性和主動創(chuàng)造性，讓學(xué)生在課堂上跟上老師的思維，從而學(xué)到更多的知識和技能。

本書特色如下：

（1）采用“理實一體化”教學(xué)方式：課堂上既有老師講述的內(nèi)容又有學(xué)生獨立思考、上機(jī)操作的內(nèi)容。

（2）豐富的教學(xué)案例：包含教學(xué)課件、習(xí)題答案等多種教學(xué)資源。

（3）緊跟時代潮流，注重技術(shù)變化：書中包含最新的大數(shù)據(jù)分析知識及一些開源庫的使用。建議讀者在閱讀本書時使用3.7以上的Python程序版本，且需要安裝MySQL和Kettle等軟件。

（4）編寫本書的老師都具有多年教學(xué)經(jīng)驗，做到重難點突出，能夠激發(fā)學(xué)生的學(xué)習(xí)熱情。

（5）配有微課視頻：對本書中的重難點進(jìn)行細(xì)致講解，方便學(xué)生課后學(xué)習(xí)。

本書可作為大數(shù)據(jù)專業(yè)、人工智能專業(yè)、軟件技術(shù)專業(yè)、云計算專業(yè)、計算機(jī)網(wǎng)絡(luò)專業(yè)的教材，也可作為大數(shù)據(jù)愛好者的參考書。

本書建議學(xué)時為50學(xué)時，具體分布見下表。

章節(jié) 建議學(xué)時

數(shù)據(jù)清洗簡介 4

數(shù)據(jù)清洗中的理論基礎(chǔ) 6

文件格式及其轉(zhuǎn)換 6

Excel數(shù)據(jù)清洗 4

Kettle數(shù)據(jù)清洗 8

Kettle與數(shù)據(jù)倉庫 6

Python數(shù)據(jù)清洗 12

數(shù)據(jù)清洗綜合實訓(xùn) 4

本書由黃源、劉智楊、孫大松任主編，陳勇、王曙光、劉廣敏任副主編。其中，黃源編寫第1章和第2章并負(fù)責(zé)統(tǒng)稿工作，劉智楊編寫第3章，孫大松編寫第4 章，陳勇編寫第5章和第6章，王曙光編寫第7章，劉廣敏編寫第8章。

在本書編寫過程中，編者得到了中國電信金融行業(yè)信息化應(yīng)用重慶基地總經(jīng)理助理楊琛的大力支持，同時參閱了大量相關(guān)資料，在此一并表示感謝。

由于編者水平有限，書中難免存在疏漏甚至錯誤之處，懇請讀者批評指正，編者電子郵箱：2103069667@qq.com。

編　者

2021年10月

前言
第1章　數(shù)據(jù)清洗簡介 1
1.1　數(shù)據(jù)清洗概述 2
1.1.1　什么是數(shù)據(jù)清洗 2
1.1.2　數(shù)據(jù)清洗的原理 2
1.1.3　數(shù)據(jù)清洗的過程 3
1.2　數(shù)據(jù)質(zhì)量管理 5
1.2.1　數(shù)據(jù)質(zhì)量管理的含義 5
1.2.2　數(shù)據(jù)質(zhì)量的評估 6
1.2.3　數(shù)據(jù)質(zhì)量管理應(yīng)用 7
1.3　數(shù)據(jù)清洗模型研究 8
1.3.1　數(shù)據(jù)清洗模型描述 8
1.3.2　數(shù)據(jù)清洗模型應(yīng)用 9
1.4　數(shù)據(jù)清洗常用軟件與工具 9
1.4.1　數(shù)據(jù)清洗常用軟件 9
1.4.2　數(shù)據(jù)清洗常用工具 11
1.5　實訓(xùn) 11
練習(xí)1 13
第2章　數(shù)據(jù)清洗中的理論基礎(chǔ) 14
2.1　微積分 15
2.1.1　微積分概述 15
2.1.2　微積分的作用 15
2.2　線性代數(shù) 15
2.2.1　線性代數(shù)概述 16
2.2.2　線性代數(shù)的定義 16
2.3　概率論與數(shù)理統(tǒng)計 21
2.3.1　概率論與數(shù)理統(tǒng)計概述 21
2.3.2　概率論與數(shù)理統(tǒng)計基本概念 21
2.4　最優(yōu)化理論 26
2.4.1　最優(yōu)化理論定義 26
2.4.2　凸函數(shù) 26
2.5　主成分分析 27
2.5.1　主成分分析概述 27
2.5.2　主成分分析的實現(xiàn) 27
2.6　數(shù)據(jù)清洗常見算法 28
2.6.1　哈希算法 29
2.6.2　字符串匹配算法 29
2.6.3　聚類算法 31
2.7　實訓(xùn) 33
練習(xí)2 34
第3章　文件格式及其轉(zhuǎn)換 35
3.1　文件格式概述 36
3.1.1　文件格式簡介 36
3.1.2　Windows中常見的文件格式介紹 36
3.2　數(shù)據(jù)類型與字符編碼 37
3.2.1　數(shù)據(jù)類型 37
3.2.2　字符編碼 37
3.3　跨平臺數(shù)據(jù)傳輸格式 38
3.3.1　XML 38
3.3.2　JSON 39
3.4　Kettle中文件格式的運(yùn)行與轉(zhuǎn)換 40
3.4.1　文本文件的轉(zhuǎn)換 41
3.4.2　XML文件的轉(zhuǎn)換 43
3.4.3　JSON文件的轉(zhuǎn)換 46
3.4.4　CSV文件的轉(zhuǎn)換 48
3.5　實訓(xùn) 50
練習(xí)3 56
第4章 Excel數(shù)據(jù)清洗 57
4.1　認(rèn)識Excel 58
4.1.1　Excel介紹 58
4.1.2　Excel數(shù)據(jù)清洗的特點 58
4.2　Excel數(shù)據(jù)清洗基本操作 58
4.2.1　Excel數(shù)據(jù)工具的認(rèn)識 58
4.2.2　Excel數(shù)據(jù)工具的應(yīng)用 59
4.3　使用Excel中的函數(shù)進(jìn)行數(shù)據(jù)清洗 65
4.3.1　Excel中的函數(shù)介紹 65
4.3.2　Excel函數(shù)的具體應(yīng)用 66
4.4　實訓(xùn) 70
練習(xí)4 71
第5章 Kettle數(shù)據(jù)清洗 72
5.1　Kettle數(shù)據(jù)清洗概述 73
5.1.1　Kettle數(shù)據(jù)清洗簡介 73
5.1.2　Kettle數(shù)據(jù)清洗的認(rèn)識 73
5.2　Kettle數(shù)據(jù)清洗基礎(chǔ) 74
5.2.1　Kettle數(shù)據(jù)清洗基本操作 75
5.2.2　Kettle數(shù)據(jù)清洗的實現(xiàn) 75
5.3　實訓(xùn) 94
練習(xí)5 105
第6章　Kettle與數(shù)據(jù)倉庫 106
6.1　數(shù)據(jù)倉庫概述 107
6.1.1　什么是數(shù)據(jù)倉庫 107
6.1.2　數(shù)據(jù)倉庫的特點 107
6.2　Kettle中的數(shù)據(jù)倉庫相關(guān)技術(shù) 107
6.2.1　Kettle連接數(shù)據(jù)庫 107
6.2.2　Kettle成功連接數(shù)據(jù)庫的其他操作 109
6.3　Kettle在數(shù)據(jù)倉庫中的應(yīng)用 111
6.3.1　Kettle讀取數(shù)據(jù)庫 111
6.3.2　Kettle遷移數(shù)據(jù)庫 115
6.4　實訓(xùn) 117
練習(xí)6 119
第7章　Python數(shù)據(jù)清洗 120
7.1　Python數(shù)據(jù)清洗概述 121
7.1.1　Python數(shù)據(jù)清洗簡介 121
7.1.2　Python擴(kuò)展庫的安裝與導(dǎo)入 121
7.2　Python數(shù)據(jù)清洗基礎(chǔ) 122
7.2.1　NumPy庫的使用 122
7.2.2　Pandas庫的使用 128
7.3　機(jī)器學(xué)習(xí)中的數(shù)據(jù)清洗 149
7.3.1　Seaborn庫 149
7.3.2　對機(jī)器學(xué)習(xí)中的數(shù)據(jù)集進(jìn)行分析清洗 152
7.4　Python中的時間序列 154
7.4.1　時間序列基礎(chǔ)datetime 154
7.4.2　Pandas中的日期與時間工具 156
7.5　實訓(xùn) 157
練習(xí)7 165
第8章　數(shù)據(jù)清洗綜合實訓(xùn) 166
8.1　Kettle輸入記錄排序 167
8.2　Kettle數(shù)據(jù)流優(yōu)先級排序 171
8.3　Kettle生成記錄排序 175
8.4　使用Python清洗數(shù)據(jù) 178
8.5　Python讀取CSV文檔 180
參考文獻(xiàn) 186

1. 人工智能應(yīng)用基礎(chǔ) [主編 楊纓 李佳]
2. 中華水文化（慕課版）（第二版） [畢雪燕 楊華軻 羅玲誼 等編著]
3. 電路與電子技術(shù)Ⅱ——電路分析基礎(chǔ) [主編 陳曉 金哲]
4. 人工智能概論（第二版） [主編　任云暉　丁紅　徐迎春 ]
5. 信息時代美育之道 [主編　劉宏宇　黎婭]
6. 數(shù)字媒體交互設(shè)計項目式教程（微課版） [主編　蘇陸]
7. Amazing！兒童英語自然拼讀分級教材（全8冊） [王玲　編著]
8. Spark大數(shù)據(jù)處理技術(shù) [主編　劉仁山　周洪翠　莊新妍]
9. 人工智能算法與實踐 [主編　梁琨　張翼英]
10. 計算機(jī)網(wǎng)絡(luò)技術(shù)項目化教程（微課版） [主編 王艷萍 安華萍]
11. 電路設(shè)計與PCB制作實操教程 [主編 周永宏]
12. 電路與電子技術(shù)Ⅰ—數(shù)字電子技術(shù) [主編 鄭玉珍 王淑琴]
13. Java編程基礎(chǔ)案例式教程 [主編 陳艷華 唐春蘭]
14. Python語言同步案例習(xí)題精解 [主編 肖朝暉]
15. Excel在會計工作中的應(yīng)用（第三版） [主 編 趙艷莉 耿聰慧]
16. 應(yīng)用數(shù)學(xué) [主編 劉東海 劉麗瑤]
17. Web用戶界面設(shè)計與制作 [主編 趙娟]
18. 計算機(jī)網(wǎng)絡(luò)基礎(chǔ)創(chuàng)新教程（模塊化+課程思政版） [主編 唐繼勇 李旭]
19. 計算機(jī)應(yīng)用技術(shù)基礎(chǔ)案例教程 [主編 周麗娟 王璐]
20. Unity應(yīng)用開發(fā)與實戰(zhàn)（微課版） [主 編 程永恒]
21. PHP程序設(shè)計項目化教程 [主 編 杜海穎]
22. 文學(xué)基礎(chǔ)與影視欣賞 [楊華軻 朱偉利 畢雪燕 羅玲誼]
23. 路由交換技術(shù)項目化教程 [主編　范國娟]
24. 信息技術(shù)基礎(chǔ)立體化教程 [鄒承俊 周洪林 劉和文 葉煜 ]
25. 大學(xué)計算機(jī)基礎(chǔ)與計算思維 [主編 閔笛 汪瑩]
26. 無線局域網(wǎng)技術(shù)與實踐 [主編 唐繼勇 劉思伶]
27. 信息技術(shù)基礎(chǔ)項目化教程 [主編 王宏斌 王萬麗 王芳]
28. 體育與健康 [主編 馬馳 吳雅彬]
29. 大學(xué)計算機(jī)信息素養(yǎng)（第二版） [主編 盧山]
30. 全國計算機(jī)等級考試一級（MS Office）指導(dǎo)手冊 [主編 王宏斌 孫元 禹晨]