體系完整、通俗易懂，系統(tǒng)講述卷積神經(jīng)網(wǎng)絡(luò)基本原理

詳細(xì)闡述前向傳播、反向傳播、優(yōu)化算法

系統(tǒng)介紹卷積神經(jīng)網(wǎng)絡(luò)和自編碼器的常用算法

詳盡分析算法實(shí)例應(yīng)用

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)。自2006年深度學(xué)習(xí)概念被提出以來(lái)，其以極高的發(fā)展速度在各行各業(yè)得到了廣泛的應(yīng)用。基于深度學(xué)習(xí)的新技術(shù)、新算法不斷涌現(xiàn)。本書(shū)以深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)算法原理為基礎(chǔ)，對(duì)最近幾年提出的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行系統(tǒng)介紹。

本書(shū)力求體系完整、通俗易懂，書(shū)中系統(tǒng)地講述了卷積神經(jīng)網(wǎng)絡(luò)的基本原理，從前向傳播、反向傳播、優(yōu)化算法等方面詳細(xì)闡述。同時(shí)對(duì)卷積神經(jīng)網(wǎng)絡(luò)和自編碼器的常用算法進(jìn)行介紹。針對(duì)算法實(shí)例應(yīng)用進(jìn)行分析。

本書(shū)資料搜集工作：袁國(guó)亮搜集整理第6章，呂朦搜集整理第4章、第8章，劉文洲搜集整理第5章，鄭旭、萬(wàn)溪洲、郭釗搜集整理第2章、第3章、第7章、第8章。

本書(shū)在內(nèi)容上注重精選、結(jié)合實(shí)際、突出應(yīng)用。主要面向人工智能及相關(guān)專(zhuān)業(yè)的高年級(jí)本科生及研究生，也可做為從事深度學(xué)習(xí)的軟件工程師的參考書(shū)目。

由于編者水平有限，加之時(shí)間倉(cāng)促，書(shū)中難免存在不當(dāng)和謬誤之處，懇請(qǐng)有關(guān)專(zhuān)家和廣大讀者不吝賜教。

編 者

2019年1月

第1章 緒論 1
1.1 深度學(xué)習(xí) 1
1.1.1 概述 1
1.1.2 基本思想 2
1.1.3 基本分類(lèi) 2
1.2 卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展與應(yīng)用 4
1.2.1 卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展 4
1.2.2 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用 5
1.3 自編碼器的發(fā)展及其應(yīng)用 5
1.3.1 自編碼器的發(fā)展 5
1.3.2 自編碼器的應(yīng)用 5
第2章 相關(guān)數(shù)學(xué)基礎(chǔ)知識(shí) 7
2.1 矩陣 7
2.1.1 基本概念 7
2.1.2 矩陣運(yùn)算 8
2.2 范數(shù) 11
2.2.1 范數(shù)的定義 11
2.2.2 范數(shù)的分類(lèi)及性質(zhì) 11
2.3 卷積運(yùn)算 13
2.3.1 定義 13
2.3.2 多維數(shù)組的卷積 14
2.4 激活函數(shù) 15
2.4.1 線(xiàn)性激活函數(shù) 15
2.4.2 非線(xiàn)性激活函數(shù) 16
2.5 信息熵 24
2.5.1 定義 24
2.5.2 條件熵 25
2.5.3 相對(duì)熵 26
2.5.4 交叉熵 26
習(xí)題 27
第3章 神經(jīng)網(wǎng)絡(luò) 28
3.1 人工神經(jīng)網(wǎng)絡(luò) 28
3.1.1 人工神經(jīng)元模型 28
3.1.2 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 29
3.2 BP神經(jīng)網(wǎng)絡(luò) 30
3.2.1 原理 30
3.2.2 網(wǎng)絡(luò)結(jié)構(gòu) 31
3.2.3 BP神經(jīng)算法原理 32
3.2.4 信號(hào)傳遞過(guò)程的實(shí)現(xiàn) 34
3.2.5 算法分析 35
習(xí)題 36
第4章 卷積神經(jīng)網(wǎng)絡(luò) 37
4.1 原理 37
4.1.1 動(dòng)機(jī) 37
4.1.2 卷積神經(jīng)網(wǎng)絡(luò)特點(diǎn) 37
4.2 LeNet-5 38
4.2.1 網(wǎng)絡(luò)總體結(jié)構(gòu) 38
4.2.2 分層結(jié)構(gòu) 39
4.3 反向傳播 43
4.3.1 全連接的反向過(guò)程 43
4.3.2 卷積的反向過(guò)程 43
4.3.3 池化的反向過(guò)程 46
4.3.4 輸出層反向傳播 47
4.3.5 權(quán)值更新 48
習(xí)題 49
第5章 卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展機(jī)制 50
5.1 注意力機(jī)制 50
5.1.1 注意機(jī)制的分類(lèi) 50
5.1.2 深度學(xué)習(xí)中的注意機(jī)制 51
5.2 卷積變體 53
5.2.1 組卷積 53
5.2.2 深度可分離卷積 55
5.2.3 膨脹卷積 56
5.2.4 全卷積網(wǎng)絡(luò) 57
習(xí)題 59
第6章 自編碼器網(wǎng)絡(luò) 60
6.1 相關(guān)概念 60
6.1.1 稀疏性 60
6.1.2 稀疏編碼 60
6.2 自編碼器概述 61
6.3 自編碼器原理 62
6.4 自編碼器的拓展網(wǎng)絡(luò) 65
6.4.1 稀疏自編碼 65
6.4.2 棧式自編碼 67
6.4.3 去噪自編碼 69
6.4.4 壓縮自編碼 70
6.5 自編碼器的編程實(shí)現(xiàn) 72
習(xí)題 72
第7章 卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化 73
7.1 正則化與歸一化 73
7.1.1 概念 73
7.1.2 參數(shù)范數(shù)懲罰 74
7.1.3 Dropout 75
7.1.4 歸一化 77
7.2 基于梯度的優(yōu)化方法 78
7.2.1 基本算法 79
7.2.2 自適應(yīng)學(xué)習(xí)率算法 84
習(xí)題 87
第8章 卷積神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu) 88
8.1 概述 88
8.2 AlexNet網(wǎng)絡(luò) 88
8.2.1 AlexNet基本框架 88
8.2.2 AlexNet數(shù)據(jù)處理 89
8.3 GoogLenet網(wǎng)絡(luò) 93
8.3.1 背景 93
8.3.2 Inception V1 93
8.3.3 Inception V2與V3 94
8.3.4 Inception V4 95
8.3.5 Xception 96
8.4 ResNet網(wǎng)絡(luò)結(jié)構(gòu) 97
8.4.1 ResNet網(wǎng)絡(luò) 97
8.4.2 ResNeXt 98
8.5 ShuffleNet網(wǎng)絡(luò)結(jié)構(gòu) 100
8.5.1 網(wǎng)絡(luò)簡(jiǎn)介 100
8.5.2 模型結(jié)構(gòu) 100
8.5.3 ShuffleNet V2 102
8.6 DenseNet網(wǎng)絡(luò)結(jié)構(gòu) 102
8.6.1 Dense block 103
8.6.2 整體結(jié)構(gòu) 103
8.7 數(shù)據(jù)集介紹 104
8.7.1 圖像分類(lèi)數(shù)據(jù)集 104
8.7.2 語(yǔ)義分割數(shù)據(jù)集 109
第9章 卷積神經(jīng)網(wǎng)絡(luò)的壓縮 112
9.1 核的稀疏化 112
9.2 剪枝 113
9.2.1 剪枝的概念 113
9.2.2 剪枝的類(lèi)型 113
9.3 模型量化 114
9.3.1 量化轉(zhuǎn)換 114
9.3.2 向量化 115
9.4 模型蒸餾 116
參考文獻(xiàn) 119
附錄 125
BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)人臉識(shí)別程序 125
自編碼器程序 129
AlexNet程序 130
GoogLeNet程序 133
ResNeXt程序 136
DenseNet程序 141

1. 庭院風(fēng)骨—樹(shù)、灌、籬 [創(chuàng)意房主 著]
2. Python語(yǔ)言程序設(shè)計(jì)教程 [郭其標(biāo) 房宜汕]
3. 微積分（經(jīng)管類(lèi)）教程篇（下冊(cè)） [曹海軍 王海棠 周玲麗]
4. 微積分（經(jīng)管類(lèi)）教程篇（上冊(cè)） [曹海軍 王海棠 周玲麗]
5. 微積分（經(jīng)管類(lèi)）導(dǎo)學(xué)篇（上冊(cè)） [王海棠 曹海軍 周玲麗]
6. 網(wǎng)站前端技術(shù)案例教程（HTML+CSS+JavaScript）（第二版） [黃華升]
7. 線(xiàn)性代數(shù) [主編 史昱 陳鳳欣]
8. 電力電子技術(shù)課程學(xué)習(xí)及實(shí)驗(yàn)指導(dǎo) [主編 陳榮]
9. 成長(zhǎng)對(duì)話(huà)：青春的榜樣 [主編　施端銀　黃武剛　應(yīng)巨林]
10. 人工智能應(yīng)用基礎(chǔ) [主編 楊纓 李佳]
11. 中華水文化（慕課版）（第二版） [畢雪燕 楊華軻 羅玲誼 等編著]
12. 電路與電子技術(shù)Ⅱ——電路分析基礎(chǔ) [主編 陳曉 金哲]
13. 飛機(jī)維修專(zhuān)業(yè)英語(yǔ)——飛機(jī)系統(tǒng)（第二版） [趙迎春]
14. 英語(yǔ)大爆炸：跟趣味情景劇學(xué)口語(yǔ)（微課版） [秦然　編著]
15. 機(jī)械工程制圖任務(wù)跟蹤訓(xùn)練 [主編 王瑞清 趙金考 周彥云 ]
16. 機(jī)械工程制圖 [主編 覃國(guó)萍 劉百順 禹晨]
17. 平面設(shè)計(jì)與制作項(xiàng)目化教程 [主編　李晨]
18. 后期影像剪輯技術(shù) [主編　郭建偉]
19. 人工智能概論（第二版） [主編　任云暉　丁紅　徐迎春 ]
20. 信息時(shí)代美育之道 [主編　劉宏宇　黎婭]
21. 數(shù)字媒體交互設(shè)計(jì)項(xiàng)目式教程（微課版） [主編　蘇陸]
22. 動(dòng)畫(huà)運(yùn)動(dòng)規(guī)律項(xiàng)目實(shí)例解析（微課版） [孫珊珊　袁維坤]
23. 自然語(yǔ)言處理 [主編　馮建周]
24. 新媒體內(nèi)容創(chuàng)作實(shí)務(wù)（微課版） [主編　覃思源]
25. 人工智能基礎(chǔ) [主編 余平 張春陽(yáng)]
26. 人工智能導(dǎo)論 [主編 王飛 潘立武]
27. Amazing！兒童英語(yǔ)自然拼讀分級(jí)教材（全8冊(cè)） [王玲　編著]
28. Spark大數(shù)據(jù)處理技術(shù) [主編　劉仁山　周洪翠　莊新妍]
29. 毫無(wú)PS痕跡—你的第一本Photoshop書(shū)（第二版） [趙鵬 著]
30. 電視新聞制作（活頁(yè)式） [主編 王曉翠 劉傳琳]