精選內容 注重分析神經網絡與深度學習的基本概念、基本原理和網絡結構。

結合實際 通過深度學習中的視覺應用典型案例加深對深度學習算法的理解。

配套資源 配微課視頻、電子課件等資源，方便師生的教與學。

前 言

隨著人工智能技術的發展，深度學習算法逐漸在相應的各類應用中占據主導地位。深度學習通過模擬人腦深層次抽象認知過程，實現計算機對數據的復雜運算和優化，將人工智能的發展推向一個更高的臺階。因此，對深度學習的研究，不僅具有重大的學術意義，而且具有較強的實用性。

本書從神經網絡及循環神經網絡的前向傳播、反向傳播、優化算法等方面入手，逐漸過渡到深度學習算法的基本結構中，對深度學習算法中涉及的基本概念及知識點進行分章講解，并詳細闡述深度學習算法的視覺應用案例，內容由淺入深、通俗易懂。讀者在學習本書內容的過程中，可首先學習神經網絡的基本知識點，掌握神經網絡及循環神經網絡的原理及結構特點；在此基礎上，了解深度學習的發展及分類特點，學習卷積神經網絡的結構構成，并掌握卷積神經網絡中涉及的數學基礎知識、卷積變體及注意力機制、自編碼器的基本架構及特點；最后，通過深度學習中的視覺應用典型案例加深對深度學習算法的理解。本書在內容上注重精選、結合實際、突出應用，主要面向人工智能及相關專業的本科生及研究生，也可作為從事深度學習工作的軟件工程師的參考書。

本書由王改華負責編寫，資料搜集工作分工如下：曹清程負責第1章、第4章，甘鑫負責第2章、第3章，翟乾宇負責第5章、第6章，王改華負責第7章至第10章，張天倫、代迎盈、林錦衡、程磊負責第11章至第16章。

由于編者水平有限，加之時間倉促，書中難免存在不妥之處，敬請有關專家和讀者批評指正。修改建議可直接反饋至編者郵箱：20130006@hbut.edu.cn。

編 者

2022年4月

前言
基礎知識篇

第1章 緒論 2
1.1 人工智能相關概念 2
1.2 神經網絡算法發展及應用 2
1.2.1 神經網絡結構 2
1.2.2 神經網絡的發展及應用 4
1.3 深度學習算法的發展及應用 5
1.3.1 卷積神經網絡技術的發展 5
1.3.2 自編碼器的發展 6
習題 7
第2章 神經網絡模型 8
2.1 神經網絡模型構成 8
2.1.1 神經元模型 8
2.1.2 感知器 9
2.2 BP神經網絡 10
2.2.1 BP神經網絡結構 10
2.2.2 改進的BP神經網絡 15
習題 16
第3章 相關數學基礎知識 17
3.1 矩陣 17
3.1.1 基本概念 17
3.1.2 矩陣運算 18
3.2 范數 19
3.3 卷積運算 20
3.4 激活函數 21
3.4.1 線性激活函數 21
3.4.2 非線性激活函數 22
3.5 信息熵 30
習題 31
第4章 卷積神經網絡 32
4.1 卷積神經網絡原理 32
4.2 LeNet-5 34
4.2.1 分層結構 34
4.2.2 反向傳播 37
4.3　AlexNet 41
4.3.1　網絡結構 41
4.3.2 網絡特點 42
習題 43
第5章 卷積神經網絡擴展機制 44
5.1 注意力機制 44
5.1.1 注意力機制的分類 44
5.1.2 深度學習中的注意力機制 45
5.2 卷積變體 48
5.2.1 分組卷積 48
5.2.2 深度可分離卷積 49
5.2.3 膨脹卷積 50
5.2.4 全卷積網絡 51
5.2.5 可變形卷積 51
習題 52
第6章 深度學習中涉及的相關網絡 53
6.1 循環神經網絡 53
6.1.1 網絡結構 53
6.1.2 RNN的類型 54
6.1.3 RNN反向傳播 55
6.2 LSTM 56
6.2.1 遺忘門 57
6.2.2 輸入門 57
6.2.3 細胞更新 58
6.2.4 輸出門 58
6.3 生成式對抗網絡 59
6.3.1 前向傳播過程 59
6.3.2 優化訓練過程 59
6.4 特征金字塔網絡 60
6.4.1 基本概念 60
6.4.2 特征金字塔的應用 61
習題 62
第7章 自編碼器 63
7.1 相關概念 63
7.2 自編碼器原理 63
7.3 自編碼器的拓展網絡 65
7.3.1 稀疏自編碼器 65
7.3.2 棧式自編碼器 66
7.3.3 其他自編碼器 68
習題 68
第8章 損失函數與優化算法 69
8.1 正則化與歸一化 69
8.1.1 參數范數懲罰 69
8.1.2 Dropout 70
8.1.3 歸一化 70
8.2 損失函數 72
8.2.1 交叉熵損失函數 72
8.2.2 其他損失函數 73
8.3 基于梯度的優化方法 75
8.3.1 基本算法 76
8.3.2 自適應學習率算法 78
習題 79
第9章 深度學習中的相關問題 80
9.1 擬合 80
9.1.1 數據增強 80
9.1.2 正則化 82
9.2 梯度消失和梯度爆炸 82
9.3 卷積神經網絡的壓縮 83
9.3.1 核的稀疏化 83
9.3.2 剪枝 83
9.3.3 模型量化 84
9.3.4 模型蒸餾 86
習題 87
第10章 深度學習中的性能指標 88
10.1 分類指標 88
10.2 指標曲線 88
10.2.1 ROC曲線 88
10.2.2 如何畫ROC曲線？ 89
10.2.3 AUC 89
10.3 分割指標 89
10.3.1 分割指標概述 89
10.3.2 常用的幾種分割指標 90
10.4 模型復雜度 91
10.4.1 參數量 91
10.4.2 計算量 91
習題 92


網絡應用篇

第11章 圖像數據集 94
11.1 圖像分類數據集 94
11.2 語義分割數據集 96
11.3 細粒度圖像分類通用數據集 97
11.4 目標變化檢測數據集 98
第12章 典型卷積神經網絡 99
12.1 GoogLeNet網絡 99
12.2 ResNet網絡 101
12.3 ShuffleNet網絡 103
12.4 MobileNet網絡 105
12.4.1 網絡結構 105
12.4.2 MobileNet V2 106
12.4.3 MobileNet V3 108
第13章 基于深度學習的語義分割算法 110
13.1 傳統語義分割算法 110
13.2 典型卷積語義分割算法 111
13.2.1 全卷積類語義分割網絡 111
13.2.2 金字塔類語義分割網絡 113
13.2.3 注意力機制類語義分割網絡 116
13.3 PSPNet程序分析與實現 117
13.3.1 數據集處理 117
13.3.2 主干網搭建 121
13.3.3 PSPNet搭建 123
第14章 基于深度學習的目標檢測 127
14.1 兩階段目標檢測算法 127
14.1.1 R-CNN算法框架 127
14.1.2 Faster R-CNN算法 128
14.2 端到端目標檢測方法 129
14.2.1 YOLO系列算法 129
14.2.2 FCOS 133
14.3 YOLO V3目標檢測程序分析與實現 134
14.3.1 數據讀取 134
14.3.2 模塊搭建 137
14.3.3 程序訓練與測試 140
第15章 基于深度學習的細粒度圖像分類模型 142
15.1 細粒度圖像分類模型 142
15.1.1 基于高階編碼形式 143
15.1.2 基于網絡集成的方法 144
15.1.3 基于定位-識別的方法 145
15.2 基于定位-識別方法的程序分析與實現 147
15.2.1 數據集處理 147
15.2.2 主干網絡搭建 149
15.2.3 WS-DAN網絡搭建 151
第16章 基于深度學習的實例分割算法 155
16.1 典型實例分割算法 155
16.1.1 Mask R-CNN 155
16.1.2 Polar Mask 158
16.1.3 Yolact 159
16.2 Yolact算法程序分析與實現 160
16.2.1 數據處理 160
16.2.2 train代碼解讀 161
16.2.3 模塊構建 162
參考文獻 166
附錄 專業術語表 169

1. 輸水管線工程風險管理 [張勇 黨亥生 著]
2. 民用航空飛機標準線路施工 [主編　王志敏　陳明]
3. 不息的水脈—大運河講談錄 [趙珩　著]
4. 實用運籌學 [主編　邢育紅　于晉臣]
5. 三峽梯級電站水資源決策支持系統研究與開發 [姚華明 潘紅忠 湯正]
6. 海南黎族民俗文化鑒賞 [龐國華　著]
7. 石墨烯在太赫茲及中紅外頻段電磁器件設計中的應用 [李艷秀 莊華偉 著]
8. 電子技術（第二版） [主編 覃愛娜 李飛]
9. 辦公自動化高級應用 [陳萍 朱曉玉]
10. 信息處理技術員考試32小時通關 [薛大龍]
11. 電子產品設計案例教程（微課版）—基于嘉立創EDA（專業版） [王靜 莫志宏 陳學昌 丁紅]
12. C程序設計實踐教程 [劉衛國]
13. C程序設計（慕課版） [劉衛國]
14. Web技術開發教程（基于.NET開源MVC框架） [王合闖 韓紅玲 王青正 陳海蕊]
15. 商務英語翻譯教程（筆譯）（第四版） [主編 王軍平]
16. 智慧零售技術與應用 [洪旭 著]
17. 建設工程法規實務 [主編 余瀅]
18. 商務秘書理論與實務（第三版） [主編 張同欽]
19. 程序設計基礎實踐教程（C/C++語言版） [張桂芬 葛麗娜]
20. C++案例項目精講 [主編 楊國興]
21. 勞動爭議處理實務 [主編 王秀卿 羅靜]
22. 工程數學 [主編 郭立娟 王海]
23. 語音識別理論與實踐 [主編　莫宏偉]
24. 信息系統項目管理師章節習題與考點特訓（第二版） [主編 薛大龍]
25. 武術基礎教程 [主編 李代勇 謝志民]
26. 計算機網絡實訓教程 [主編 張浩軍 趙玉娟]
27. 畫法幾何與機械制圖習題集（多學時） [主編 趙軍]
28. HCIA-Datacom認證題庫分類精講 [主 編 韓立剛]
29. SwiftUI完全開發 [李智威 著]
30. 網絡規劃設計師備考一本通 [夏杰 編著]