人體行為識(shí)別是計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域中的一項(xiàng)重要研究課題。在智能監(jiān)控領(lǐng)域，行為識(shí)別技術(shù)可以幫助監(jiān)控系統(tǒng)自動(dòng)識(shí)別和分析異常行為，提高監(jiān)控效率和準(zhǔn)確性；在智能交通領(lǐng)域，該技術(shù)可以識(shí)別和分析交通參與者的行為，為交通管理提供有力支持；在健康監(jiān)測(cè)領(lǐng)域，該技術(shù)可以實(shí)時(shí)監(jiān)測(cè)和分析人的行為模式，為個(gè)性化健康監(jiān)護(hù)服務(wù)提供數(shù)據(jù)支持；此外，該技術(shù)還在虛擬現(xiàn)實(shí)、人機(jī)交互、環(huán)境控制和監(jiān)測(cè)等多個(gè)領(lǐng)域中發(fā)揮著重要作用。隨著智能監(jiān)控、智能交通、健康監(jiān)測(cè)等應(yīng)用場(chǎng)景的不斷發(fā)展，如何有效地識(shí)別人類(lèi)行為，已經(jīng)成為學(xué)術(shù)界與工業(yè)界共同關(guān)注的焦點(diǎn)。在深度學(xué)習(xí)技術(shù)迅猛發(fā)展的背景下，基于深度學(xué)習(xí)的行為識(shí)別方法顯示出了強(qiáng)大的潛力和廣泛的應(yīng)用前景。

本書(shū)從傳統(tǒng)的手工特征到現(xiàn)代的深度學(xué)習(xí)特征，從行為數(shù)據(jù)集的選擇到算法的設(shè)計(jì)與優(yōu)化，綜述了人體行為識(shí)別領(lǐng)域的技術(shù)演進(jìn)與發(fā)展趨勢(shì)，并介紹了幾種基于深度學(xué)習(xí)的人體行為識(shí)別算法。

本書(shū)主要研究?jī)?nèi)容包括：

（1）基于動(dòng)作分解的行為識(shí)別。針對(duì)人體行為時(shí)間尺度的魯棒性問(wèn)題，分析了動(dòng)作與視頻幀相似性之間的關(guān)系，介紹了通過(guò)動(dòng)作分解將視頻分解為多個(gè)視頻子段的方法，并提出了視頻子段中代表幀采樣的數(shù)據(jù)模型，給出了代表幀的卷積特征學(xué)習(xí)過(guò)程及特征融合方法。然后介紹了基于LSTM網(wǎng)絡(luò)的行為時(shí)序特征學(xué)習(xí)過(guò)程，最后結(jié)合實(shí)驗(yàn)分析了所提算法的有效性。

（2）基于運(yùn)動(dòng)顯著性的行為識(shí)別。針對(duì)現(xiàn)在圖像采樣方法不能聚焦行為運(yùn)動(dòng)問(wèn)題，介紹了視頻中運(yùn)動(dòng)顯著性檢測(cè)算法，并給出了多個(gè)運(yùn)動(dòng)顯著區(qū)域合成方法。然后提出了基于運(yùn)動(dòng)顯著區(qū)域的圖像塊采樣方法。最后在行為識(shí)別數(shù)據(jù)集上對(duì)所提算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。

（3）基于多模態(tài)特征的行為識(shí)別。研究了運(yùn)動(dòng)邊界卷積特征和梯度邊界卷積特征的提取方法。然后介紹了幾種多模態(tài)特征的融合方法，最后通過(guò)實(shí)驗(yàn)驗(yàn)證了運(yùn)動(dòng)邊界卷積特征和梯度邊界卷積特征的有效性，并比較了幾種多模態(tài)特征融合方法對(duì)人體識(shí)別率的影響。

（4）基于實(shí)時(shí)全局運(yùn)動(dòng)補(bǔ)償?shù)男袨樽R(shí)別。針對(duì)傳統(tǒng)實(shí)時(shí)行為識(shí)別算法中沒(méi)有區(qū)分運(yùn)動(dòng)矢量中的全局運(yùn)動(dòng)信息和人體行為信息的問(wèn)題，提出了基于運(yùn)動(dòng)矢量的實(shí)時(shí)全局運(yùn)動(dòng)參數(shù)估計(jì)方法，然后參照估計(jì)的全局運(yùn)動(dòng)參數(shù)進(jìn)行運(yùn)動(dòng)補(bǔ)償。最后通過(guò)實(shí)驗(yàn)證明了基于全局運(yùn)動(dòng)補(bǔ)償?shù)男袨樽R(shí)別算法能夠滿足行為識(shí)別的實(shí)時(shí)性要求，在識(shí)別性能方面較MF和EMV-CNN算法有明顯提升。

（5）基于局部最大池化特征時(shí)空向量的行為識(shí)別。為了有效解決視頻理解中的一個(gè)重要問(wèn)題：如何構(gòu)建一個(gè)視頻表示（其中包含整個(gè)視頻上的CNN特征），我們提出了局部最大池化特征時(shí)空向量（ST-VLMPF）的超向量編碼方法，用于人體行為的局部深度特征編碼。特征分配通過(guò)相似性和時(shí)空信息在兩個(gè)層級(jí)上完成。對(duì)于每個(gè)分配，我們構(gòu)建了一個(gè)特定的編碼，專(zhuān)注于深度特征的性質(zhì)，旨在捕獲網(wǎng)絡(luò)最高神經(jīng)元激活的最高特征響應(yīng)。ST-VLMPF明顯比一些廣泛使用且強(qiáng)大的編碼方法（改進(jìn)的Fisher向量和局部聚合描述符向量）擁有更可靠的視頻表示，同時(shí)保持了較低的計(jì)算復(fù)雜度。

（6）基于姿態(tài)運(yùn)動(dòng)表示的行為識(shí)別。不少行為識(shí)別方法依賴(lài)于two-stream結(jié)構(gòu)獨(dú)立處理外觀和運(yùn)動(dòng)信息。我們將這兩個(gè)模態(tài)信息流融合起來(lái)為行為識(shí)別提供豐富的信息。該方法引入新方法以編碼一些語(yǔ)義關(guān)鍵點(diǎn)的運(yùn)動(dòng)，我們使用人體關(guān)節(jié)作為這些關(guān)鍵點(diǎn)，并將姿態(tài)運(yùn)動(dòng)表示稱(chēng)為PoTion。具體來(lái)說(shuō)，我們首先基于目前效果最好的人體姿態(tài)估計(jì)器在每一幀中提取人體關(guān)節(jié)的熱圖，再通過(guò)時(shí)間聚合這些概率圖來(lái)獲得PoTion表示。這是通過(guò)根據(jù)視頻剪輯中幀的相對(duì)時(shí)間“著色”每個(gè)概率圖并對(duì)它們進(jìn)行求和來(lái)實(shí)現(xiàn)的。這種針對(duì)整個(gè)視頻剪輯的固定大小表示適合使用淺卷積神經(jīng)網(wǎng)絡(luò)對(duì)行為進(jìn)行分類(lèi)。

（7）基于動(dòng)態(tài)運(yùn)動(dòng)表示的行為識(shí)別。在許多最近的研究工作中，研究人員使用外觀和運(yùn)動(dòng)信息作為獨(dú)立的輸入來(lái)推斷給出視頻中正在發(fā)生的行為。我們提出了人體行為的最新表示方法，同時(shí)從外觀和運(yùn)動(dòng)信息中獲益，以實(shí)現(xiàn)更好的動(dòng)作識(shí)別性能。我們從姿勢(shì)估計(jì)器開(kāi)始，從每一幀中提取身體關(guān)節(jié)的位置和熱圖，使用動(dòng)態(tài)編碼器從這些身體關(guān)節(jié)熱圖中生成固定大小的表示。實(shí)驗(yàn)結(jié)果表明，使用動(dòng)態(tài)運(yùn)動(dòng)表示訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)優(yōu)于目前最好的行為識(shí)別模型。

（8）基于運(yùn)動(dòng)增強(qiáng)RGB流的人體行為識(shí)別。雖然將光流與RGB信息結(jié)合可以提高行為識(shí)別性能，但準(zhǔn)確計(jì)算光流的時(shí)間成本很高，增加了行為識(shí)別的延遲。這限制了在需要低延遲的實(shí)際應(yīng)用中使用two-stream方法。我們給出了兩種學(xué)習(xí)方法來(lái)訓(xùn)練一個(gè)標(biāo)準(zhǔn)的3D CNN，它在RGB幀上運(yùn)行，模擬了運(yùn)動(dòng)流，因此避免了在測(cè)試階段進(jìn)行光流計(jì)算。首先，將基于特征的損失最小化并與Flow流進(jìn)行比較，所提深度神經(jīng)網(wǎng)絡(luò)以高保真度再現(xiàn)了運(yùn)動(dòng)流信息。其次，為了有效利用外觀和運(yùn)動(dòng)信息，我們通過(guò)特征損失和標(biāo)準(zhǔn)的交叉熵?fù)p失的線性組合進(jìn)行訓(xùn)練，用于行為識(shí)別。

本書(shū)研究?jī)?nèi)容是機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)等交叉學(xué)科知識(shí)在人體行為識(shí)別領(lǐng)域的具體應(yīng)用，既適合本領(lǐng)域的研究者了解前沿，也適合人工智能相關(guān)專(zhuān)業(yè)的本科生、研究生作為學(xué)習(xí)參考資料。本書(shū)由作者獨(dú)撰，全書(shū)約19萬(wàn)字。本書(shū)的編寫(xiě)得到了湖北省高等學(xué)校優(yōu)秀中青年科技創(chuàng)新團(tuán)隊(duì)計(jì)劃項(xiàng)目“行為識(shí)別技術(shù)研究及開(kāi)發(fā)”（編號(hào)：T201923）、荊門(mén)市科學(xué)技術(shù)研究與開(kāi)發(fā)計(jì)劃重點(diǎn)項(xiàng)目“基于視覺(jué)引導(dǎo)的焊機(jī)伺服系統(tǒng)關(guān)鍵技術(shù)研發(fā)”（編號(hào)：2021ZDYF024）、荊門(mén)市重大科技計(jì)劃項(xiàng)目“基于人工智能和邊緣計(jì)算融合的自動(dòng)化生產(chǎn)線關(guān)鍵技術(shù)研究與應(yīng)用”（編號(hào)：2022ZDYF019）和荊楚理工學(xué)院智聯(lián)網(wǎng)應(yīng)用創(chuàng)新研究中心的資助。在此一并表示感謝！

由于作者水平有限，加工時(shí)間倉(cāng)促，書(shū)中難免存在疏漏與不妥之處，懇請(qǐng)讀者批評(píng)指正。

第1章 緒論 1
1.1 研究背景 1
1.2 國(guó)內(nèi)外研究現(xiàn)狀 3
1.2.1 手工特征 5
1.2.2 深度特征 11
1.2.3 行為識(shí)別數(shù)據(jù)集 16
1.3 存在的問(wèn)題 19
1.4 行為識(shí)別研究?jī)?nèi)容 20
第2章 基于動(dòng)作分解的行為識(shí)別 22
2.1 引言 22
2.2 基于動(dòng)作分解的行為識(shí)別框架 23
2.2.1 動(dòng)作分解與代表幀采樣 23
2.2.2 CNN特征學(xué)習(xí)與融合 25
2.2.3 動(dòng)作時(shí)序建模 27
2.3 實(shí)驗(yàn)及結(jié)果分析 28
2.3.1 實(shí)驗(yàn)數(shù)據(jù)集及設(shè)置 28
2.3.2 算法參數(shù)分析 29
2.3.3 采樣策略比較 30
2.3.4 與前沿算法比較 31
2.4 本章小結(jié) 32
第3章 基于運(yùn)動(dòng)顯著性的行為識(shí)別 33
3.1 引言 33
3.2 H-FCN算法及其改進(jìn) 36
3.2.1 全卷積網(wǎng)絡(luò)模型 36
3.2.2 H-FCN算法 37
3.2.3 H-FCN算法改進(jìn) 38
3.3 基于運(yùn)動(dòng)顯著性的圖像塊采樣 39
3.4 實(shí)驗(yàn)及結(jié)果分析 40
3.4.1 實(shí)驗(yàn)數(shù)據(jù)集及設(shè)置 40
3.4.2 改進(jìn)的H-FCN算法分析 41
3.4.3 圖像塊采樣方法比較 42
3.5 本章小結(jié) 43
第4章 基于多模態(tài)特征的行為識(shí)別 44
4.1 引言 44
4.2 運(yùn)動(dòng)邊界CNN特征 46
4.3 梯度邊界CNN特征 47
4.4 多模態(tài)特征融合 49
4.5 實(shí)驗(yàn)結(jié)果及分析 50
4.5.1 實(shí)驗(yàn)數(shù)據(jù)集及設(shè)置 50
4.5.2 多模態(tài)特征比較 51
4.5.3 多模態(tài)特征融合評(píng)估 53
4.6 本章小結(jié) 56
第5章 基于實(shí)時(shí)全局運(yùn)動(dòng)補(bǔ)償?shù)男袨樽R(shí)別 57
5.1 引言 57
5.2 實(shí)時(shí)全局運(yùn)動(dòng)補(bǔ)償算法 59
5.2.1 全局運(yùn)動(dòng)參數(shù)模型 59
5.2.2 全局運(yùn)動(dòng)估計(jì) 60
5.2.3 全局運(yùn)動(dòng)補(bǔ)償 63
5.3 實(shí)驗(yàn)及結(jié)果分析 64
5.3.1 實(shí)驗(yàn)數(shù)據(jù)集及設(shè)置 64
5.3.2 CGME算法評(píng)估 64
5.3.3 與前沿算法比較 66
5.4 本章小結(jié) 68
第6章 基于局部最大池化特征時(shí)空向量的行為識(shí)別 69
6.1 引言 69
6.2 特征編碼相關(guān)工作 71
6.3 ST-VLMPF編碼方法 72
6.4 局部深度特征提取 74
6.5 ST-VLMPF算法有效性驗(yàn)證 76
6.5.1 實(shí)驗(yàn)數(shù)據(jù)集 76
6.5.2 實(shí)驗(yàn)設(shè)置 76
6.5.3 參數(shù)調(diào)優(yōu) 77
6.5.4 與其他編碼方法比較 79
6.5.5 融合策略 81
6.5.6 與前沿算法比較 82
6.6 本章小結(jié) 83
第7章 基于姿態(tài)運(yùn)動(dòng)表示的行為識(shí)別 84
7.1 引言 84
7.2 與本章相關(guān)的研究現(xiàn)狀 86
7.3 PoTion編碼表示 87
7.3.1 提取人體關(guān)節(jié)熱圖 87
7.3.2 時(shí)序依賴(lài)的熱圖著色 88
7.3.3 著色熱圖融合 89
7.4 基于PoTion編碼表示運(yùn)行CNN 90
7.4.1 網(wǎng)絡(luò)結(jié)構(gòu) 90
7.4.2 網(wǎng)絡(luò)實(shí)現(xiàn)細(xì)節(jié) 91
7.5 PoTion表示的實(shí)驗(yàn)分析 92
7.5.1 數(shù)據(jù)集與評(píng)價(jià)標(biāo)準(zhǔn) 92
7.5.2 PoTion編碼表示參數(shù)實(shí)驗(yàn) 92
7.5.3 CNN參數(shù)實(shí)驗(yàn) 93
7.5.4 姿態(tài)估計(jì)算法的影響 95
7.5.5 PoTion與前沿算法比較 95
7.6 本章小結(jié) 99
第8章 基于動(dòng)態(tài)運(yùn)動(dòng)表示的行為識(shí)別 100
8.1 引言 100
8.2 相關(guān)研究工作 101
8.3 動(dòng)態(tài)運(yùn)動(dòng)表示（DynaMotion） 103
8.3.1 肢體關(guān)節(jié)提取與熱圖 103
8.3.2 仿射魯棒的運(yùn)動(dòng)編碼 104
8.3.3 外觀與動(dòng)態(tài)信息聚合 105
8.4 DynaMotion實(shí)現(xiàn)細(xì)節(jié) 105
8.4.1 動(dòng)態(tài)編碼 105
8.4.2 網(wǎng)絡(luò)結(jié)構(gòu) 106
8.5 消融實(shí)驗(yàn) 107
8.5.1 數(shù)據(jù)集 107
8.5.2 姿態(tài)編碼 107
8.5.3 動(dòng)態(tài)運(yùn)動(dòng)CNN 108
8.5.4 DynaMotion的影響 109
8.5.5 與前沿算法比較 110
8.6 本章小結(jié) 111
第9章 基于運(yùn)動(dòng)增強(qiáng)RGB流的人體行為識(shí)別 112
9.1 引言 112
9.2 相關(guān)研究工作 114
9.3 學(xué)習(xí)替代光流 116
9.3.1 MERS算法 116
9.3.2 MARS算法 117
9.4 實(shí)驗(yàn)設(shè)置 118
9.4.1 數(shù)據(jù)集與評(píng)價(jià)方法 118
9.4.2 算法實(shí)現(xiàn)細(xì)節(jié) 118
9.5 實(shí)驗(yàn)結(jié)果討論 119
9.5.1 運(yùn)動(dòng)光流 119
9.5.2 行為識(shí)別準(zhǔn)確率 121
9.5.3 α對(duì)識(shí)別準(zhǔn)確率的影響 122
9.5.4 運(yùn)動(dòng)對(duì)識(shí)別準(zhǔn)確率的影響 123
9.5.5 與前沿算法比較 124
9.6 本章小結(jié) 126
第10章 人體行為識(shí)別的進(jìn)一步研究 127
10.1 已取得的研究成果 127
10.2 人體行為識(shí)別待研究的問(wèn)題 129
參考文獻(xiàn) 130

1. 影視文體寫(xiě)作 [馬令珍]
2. 無(wú)機(jī)化學(xué)實(shí)驗(yàn) [王敏壽　蒲敏]
3. 粒子群算法在優(yōu)化選取問(wèn)題中的應(yīng)用研究 [尹浩 著]
4. 軟件測(cè)試（微課版）（第二版） [鄭小蓉　萬(wàn)國(guó)德]
5. 大學(xué)生職業(yè)生涯規(guī)劃（第二版） [林剛 趙莉莉 孫明巖]
6. 云計(jì)算原理 [王鵬　編著]
7. 全球勵(lì)志英文故事精選：聽(tīng)名人故事學(xué)英語(yǔ) [卓燃　編譯]
8. 新媒體視頻創(chuàng)作與傳播 [鄧慶豐　覃思源]
9. 全球勵(lì)志英文演講精選：聽(tīng)演講學(xué)英語(yǔ) [崔喜哲　編譯]
10. 兒童心理健康教育教程 [主編 曾文雄]
11. C語(yǔ)言程序設(shè)計(jì)實(shí)驗(yàn)指導(dǎo)與實(shí)訓(xùn)（第二版） [主編 倪燃]
12. 基于AI的Java技術(shù)項(xiàng)目實(shí)戰(zhàn) [主編 尹慧超 郭 娜 劉慶杰]
13. 信息處理技術(shù)員真題及�？季砭�析（適用機(jī)考） [主編 薛大龍]
14. 工程測(cè)量 [主編 熊梅 王灼英]
15. 復(fù)變函數(shù)與積分變換 [主編 李廣柱]
16. 航空工程材料英語(yǔ) [主編 陳躍華 李完小]
17. 飛機(jī)維修專(zhuān)業(yè)英語(yǔ)教程——飛機(jī)主要結(jié)構(gòu)與部件（第二版） [主編 趙迎春 陳凱軍]
18. 1000MW級(jí)超超臨界燃煤發(fā)電機(jī)組設(shè)計(jì)方案圖集 [張斌　孫立剛]
19. 600MW級(jí)超超臨界燃煤發(fā)電機(jī)組設(shè)計(jì)方案圖集 [張斌　孫立剛]
20. 開(kāi)心英語(yǔ)自然拼讀 [主　編　秦小雅　謝紅晶　馬貴金]
21. 系統(tǒng)集成項(xiàng)目管理工程師考前沖刺100題（第三版） [劉毅 朱小平 編著]
22. 系統(tǒng)集成項(xiàng)目管理工程師（適用第3版大綱）一站通關(guān) [指尖瘋　編著]
23. 高性能架構(gòu)——多級(jí)網(wǎng)關(guān)與多級(jí)緩存實(shí)踐 [李晨翔（@風(fēng)間影月） 著]
24. 皓月繁星：24位大咖的心理課堂 [主編　林贊歌]
25. 系統(tǒng)集成項(xiàng)目管理工程師案例分析一本通（第二版） [王樹(shù)文 編著]
26. 信息安全工程師考前沖刺100題（第二版） [施 游 朱小平 編著]
27. 信息系統(tǒng)項(xiàng)目管理師考前沖刺100題（配套第四版大綱） [劉毅 朱小平 編著]
28. SQL Server 2019數(shù)據(jù)庫(kù)實(shí)戰(zhàn)教程 [主編 岳付強(qiáng) 曾陳萍 唐承佳]
29. 大學(xué)生創(chuàng)新創(chuàng)業(yè)實(shí)踐—機(jī)械類(lèi) [主編　林卿　史洪瑋　沈洋]
30. 程序思維與C語(yǔ)言實(shí)現(xiàn) [張祎 王俊海 呂波]