精選內(nèi)容 系統(tǒng)介紹語音識別原理及相關(guān)應(yīng)用，突出研究熱點。

配合實戰(zhàn) 結(jié)合語音識別模式和問答模型構(gòu)建語音交互系統(tǒng)，理論結(jié)合實踐。

配套資源 配有微課視頻，讀者可掃碼觀看學(xué)習(xí)。

前　　言

隨著科技的發(fā)展和社會的進步，人工智能產(chǎn)品已經(jīng)廣泛應(yīng)用于各個領(lǐng)域，其中語音識別技術(shù)得到了廣泛應(yīng)用。語音識別是一種將語音信號轉(zhuǎn)化為可識別的文本形式的技術(shù)，其研究領(lǐng)域包括聲音特征提取、語音識別、自然語言理解等多個方面。

語音識別技術(shù)在現(xiàn)代醫(yī)療中也得到了廣泛應(yīng)用。醫(yī)療工作者需要對患者的語音信息進行分析，以便對病情進行診斷和治療。利用語音識別技術(shù)，可以快速準(zhǔn)確地將語音信息轉(zhuǎn)換為文本，為醫(yī)護人員提供更高效、更便捷的工作方式。

通過搭建神經(jīng)網(wǎng)絡(luò)和利用深度學(xué)習(xí)算法，人工智能系統(tǒng)可以對大量的語音信號進行訓(xùn)練以獲得準(zhǔn)確識別語音的能力。醫(yī)療工作者可以通過語音識別技術(shù)對患者的語音信息進行分析，以獲得關(guān)鍵的醫(yī)療數(shù)據(jù)。這種技術(shù)可以大大提高醫(yī)護人員的工作效率和診療質(zhì)量。

在醫(yī)療領(lǐng)域，語音識別技術(shù)也被用于智能醫(yī)療助理、醫(yī)療記錄、藥品管理等方面。醫(yī)護人員可以通過語音命令快速地完成醫(yī)療記錄和藥品管理等任務(wù)，提高醫(yī)療工作的效率和準(zhǔn)確性。

隨著語音技術(shù)的不斷提升，語音識別在機器人領(lǐng)域也逐漸開始發(fā)揮重要作用。將人工智能技術(shù)與語音識別技術(shù)相結(jié)合可以實現(xiàn)智能語音交互，使機器人能夠更好地理解人類語言，并且能夠進行語音指令的識別、理解和響應(yīng)。這種技術(shù)不僅能夠提高機器人的使用體驗，還能夠降低用戶對使用機器人的技術(shù)門檻，同時能夠在一定程度上減少人類操作機器人的誤操作問題。

此外，利用語音識別技術(shù)還可以實現(xiàn)自然語言的語音合成，使機器人能夠通過語音向用戶提供反饋信息。這種技術(shù)不僅可以提高機器人的交互能力，而且可以增加機器人與人類之間的情感聯(lián)系。

本書是在作者近三年圍繞用于移動機器人的語音識別技術(shù)所開展的相關(guān)研究和開發(fā)工作基礎(chǔ)上編寫而成的，首先介紹了語音識別的發(fā)展歷史和語音識別領(lǐng)域常用數(shù)據(jù)集與工具箱；其次介紹了在語音識別領(lǐng)域常用的語音信號基礎(chǔ)知識和聲學(xué)特征的提取；隨后介紹了語音識別的聲學(xué)模型、語言模型、解碼工具，并對語音識別領(lǐng)域的研究熱點（端到端語音識別）進行探討；最后利用語音識別開源工具包Kaldi進行語音識別實戰(zhàn)，包括Kaldi的安裝以及如何訓(xùn)練aishell語音識別工程，結(jié)合序列到序列的語音識別模型和序列到序列的問答模型來構(gòu)建可用于移動機器人的語音交互系統(tǒng)。

本書在介紹主要知識和方法后提供了適量的習(xí)題，使讀者不僅能掌握一些初級的知識和方法，還能進一步掌握語音識別原理及相關(guān)技術(shù)，加深理解。

本書由莫宏偉任主編，徐立芳任副主編。感謝袁志龍、閆景運、周紅亮、郭子穎、溫峰、張圣胤、張茜、胡家家等同學(xué)在內(nèi)容編寫和圖片繪制方面提供的協(xié)助。

由于編者水平所限，書中難免存在不妥甚至錯誤之處，懇請讀者批評指正。

編　者

2023年5月

目錄
前言
第1章　緒論 1
1.1　語音識別簡史 2
1.1.1　語音識別早期探索 2
1.1.2　概率模型一統(tǒng)江湖 2
1.1.3　神經(jīng)網(wǎng)絡(luò)異軍突起 3
1.1.4　商業(yè)應(yīng)用推波助瀾 5
1.2　國內(nèi)發(fā)展現(xiàn)狀 6
1.3　語音識別框架 9
1.3.1　經(jīng)典方法 9
1.3.2　概率模型 10
1.3.3　深度神經(jīng)網(wǎng)絡(luò)—隱馬爾可夫（DNN-HMM）模型 12
1.3.4　端到端語音識別 12
1.4　開源工具與數(shù)據(jù)集 14
1.4.1　深度學(xué)習(xí)框架 14
1.4.2　開源工具 19
1.4.3　數(shù)據(jù)集 19
本章小結(jié) 19
課后習(xí)題 20
第2章　語音基礎(chǔ)知識 21
2.1　語音信號基礎(chǔ) 21
2.1.1　聲波的特性 22
2.1.2　聲音的采集裝置 22
2.1.3　聲音的采樣 24
2.1.4　聲音的量化 25
2.1.5　語音的編碼 26
2.2　聲學(xué)特征提取 29
2.2.1　預(yù)處理 29
2.2.2　傅里葉變換 30
2.2.3　聽覺特性 31
2.2.4　線性預(yù)測 32
2.2.5　倒譜分析 33
2.2.6　聲學(xué)特征 34
本章小結(jié) 36
課后習(xí)題 36
第3章　聲學(xué)模型 37
3.1　高斯混合模型 38
3.1.1　概率統(tǒng)計 38
3.1.2　高斯分布 39
3.1.3　GMM的組成和表示 40
3.2　隱馬爾可夫模型 43
3.2.1　隱馬爾可夫模型基本概念 43
3.2.2　隱馬爾可夫模型的定義 45
3.2.3　隱馬爾可夫模型的三個基本問題 46
3.3　高斯混合模型—隱馬爾可夫模型 52
3.4　基于隱馬爾可夫模型的語音識別 55
3.4.1　建模單元 55
3.4.2　發(fā)音過程與隱馬爾可夫模型狀態(tài) 57
3.4.3　串接隱馬爾可夫模型 58
本章小結(jié) 61
課后習(xí)題 61
第4章　語言模型 62
4.1　n-gram模型 64
4.2　評價指標(biāo) 67
4.3　平滑技術(shù) 68
4.3.1　Good-Turing折扣法 68
4.3.2　Jelinek-Mercer插值法 69
4.3.3　Kneser-Ney插值法 69
4.3.4　Katz回退法 70
4.4　語言模型的訓(xùn)練 72
4.5　預(yù)訓(xùn)練語言模型 74
4.5.1　基于自回歸語言模型的預(yù)訓(xùn)練技術(shù) 76
4.5.2　基于自編碼語言模型的預(yù)訓(xùn)練技術(shù) 78
4.5.3　基于序列到序列語言模型的預(yù)訓(xùn)練技術(shù) 79
4.5.4　基于前綴語言模型的預(yù)訓(xùn)練技術(shù) 80
4.5.5　基于排列語言模型的預(yù)訓(xùn)練技術(shù) 82
4.5.6　預(yù)訓(xùn)練技術(shù)的改進方法 83
本章小結(jié) 84
課后習(xí)題 84
第5章　加權(quán)有限狀態(tài)解碼器 85
5.1　基于動態(tài)網(wǎng)絡(luò)的Viterbi解碼 86
5.2　加權(quán)有限狀態(tài)轉(zhuǎn)換器理論 89
5.2.1　基本概念 89
5.2.2　半環(huán) 93
5.3　HCLG構(gòu)建 95
5.3.1　語料準(zhǔn)備 95
5.3.2　構(gòu)建語法模型 96
5.3.3　構(gòu)建發(fā)音詞典模型 97
5.3.4　合并發(fā)音詞典與語法模型 99
5.3.5　構(gòu)建上下文模型與發(fā)音詞典模型和語法模型 100
5.3.6　構(gòu)建HCLG 100
本章小結(jié) 101
課后習(xí)題 102
第6章　深度神經(jīng)網(wǎng)絡(luò)模型 103
6.1　深度學(xué)習(xí) 104
6.2　神經(jīng)網(wǎng)絡(luò) 105
6.2.1　人腦神經(jīng)網(wǎng)絡(luò) 105
6.2.2　人工神經(jīng)網(wǎng)絡(luò) 107
6.2.3　神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史 107
6.2.4　深度神經(jīng)網(wǎng)絡(luò) 109
6.3　正向?qū)W習(xí)過程 111
6.3.1　正向?qū)W習(xí)概述 112
6.3.2　正向傳播的流程 112
6.3.3　正向傳播的原理 113
6.4　反向調(diào)整過程 115
6.4.1　反向調(diào)整概述 115
6.4.2　反向傳播過程詳解 116
6.4.3　深層模型反向調(diào)整的問題與對策 117
6.5　神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 118
6.5.1　卷積神經(jīng)網(wǎng)絡(luò) 118
6.5.2　長短時記憶網(wǎng)絡(luò) 121
6.5.3　門控循環(huán)單元 123
6.5.4　時延神經(jīng)網(wǎng)絡(luò) 123
本章小結(jié) 125
課后習(xí)題 125
第7章　端到端語音識別 126
7.1　CTC 127
7.2　RNN-T 130
7.3　Encoder-Decoder框架和Attention模型 131
7.4　Hybrid CTC/Attention 136
7.5　Transformer 137
本章小結(jié) 139
課后習(xí)題 139
第8章　Kaldi實戰(zhàn) 140
8.1　下載與安裝Kaldi 141
8.1.1　獲取源代碼 141
8.1.2　編譯 141
8.2　創(chuàng)建與配置基本的工程目錄 142
8.3　aishell語音識別工程 143
8.3.1　數(shù)據(jù)映射目錄準(zhǔn)備 143
8.3.2　詞典準(zhǔn)備和lang目錄生成 145
8.3.3　語言模型訓(xùn)練 147
8.3.4　聲學(xué)特征提取與倒譜均值歸一化 148
8.3.5　聲學(xué)模型訓(xùn)練與強制對齊 149
8.3.6　解碼測試與指標(biāo)計算 151
本章小結(jié) 152
課后習(xí)題 153
第9章　語音交互系統(tǒng) 154
9.1　語音識別模塊 154
9.1.1　LAS 155
9.1.2　Transformer 156
9.1.3　數(shù)據(jù)分析 157
9.1.4　LAS模型對比實驗　 159
9.1.5　Focal loss 161
9.2　基于序列到序列模型的問答系統(tǒng) 164
9.2.1　數(shù)據(jù)分析 164
9.2.2　詞向量 165
9.2.3　模型設(shè)計 166
9.2.4　實驗結(jié)果與分析 170
9.3　語音交互系統(tǒng)的構(gòu)建 171
9.3.1　系統(tǒng)搭建 171
9.3.2　系統(tǒng)測試 173
本章小結(jié) 174
課后習(xí)題 175
參考文獻 176
附錄　課后習(xí)題答案 178

1. 實用運籌學(xué) [主編　邢育紅　于晉臣]
2. 電子技術(shù)（第二版） [主編 覃愛娜 李飛]
3. 勞動爭議處理實務(wù) [主編 王秀卿 羅靜]
4. 工程數(shù)學(xué) [主編 郭立娟 王海]
5. 武術(shù)基礎(chǔ)教程 [主編 李代勇 謝志民]
6. 計算機網(wǎng)絡(luò)實訓(xùn)教程 [主編 張浩軍 趙玉娟]
7. 畫法幾何與機械制圖習(xí)題集（多學(xué)時） [主編 趙軍]
8. 電工電子技術(shù)基礎(chǔ) [主編 劉 軍 楊國龍 劉天成]
9. MySQL數(shù)據(jù)庫項目式教程 [陳亞峰]
10. 機械設(shè)計基礎(chǔ)（第二版） [主編 田亞平 李愛姣]
11. 畫法幾何與機械制圖 [主編 趙軍]
12. C語言程序設(shè)計習(xí)題與實驗指導(dǎo)（第二版） [主編 甄增榮 張賓]
13. C語言程序設(shè)計（第二版） [主編 甄增榮 田云霞]
14. Unity3D虛擬現(xiàn)實應(yīng)用開發(fā)實踐 [主 編 劉龍]
15. 智能化技術(shù)基礎(chǔ)（第三版） [鄧文達　李禮]
16. 面向?qū)ο蟪绦蛟O(shè)計 [主編 張勇 張平華 趙小龍]
17. 網(wǎng)絡(luò)營銷 [主編 夏薇薇 劉婷 尚潔]
18. 電視節(jié)目策劃與制作（微課版） [主　編　黃滴滴]
19. 數(shù)據(jù)庫技術(shù)與應(yīng)用實踐教程（SQL Server 2019） [主 編 嚴(yán)暉 周肆清]
20. 大學(xué)應(yīng)用數(shù)學(xué) [主編 郭立娟]
21. 工業(yè)機器人拆裝與調(diào)試 [主編 胡月霞 向艷芳 朱奇]
22. 功能材料制備與表征實驗指導(dǎo)書 [龔偉平 趙軍峰 梅海娟 等編著]
23. 信號與系統(tǒng)（第二版） [主編 張宇]
24. 信息技術(shù)基礎(chǔ) [主編 唐倩 邵銳]
25. Python 語言程序設(shè)計實踐指導(dǎo) [主編　張雙獅]
26. Photoshop 圖形圖像項目化教程 [主編 胡斌斌 黎婭 蘇大椿]
27. 體育舞蹈教程 [主編 劉偉 陳志明 曾明]
28. 線性代數(shù)導(dǎo)學(xué)篇 [主編 史昱]
29. 信息技術(shù)基礎(chǔ)實訓(xùn)與習(xí)題指導(dǎo)（Windows7+Office2016） [主編 周金容 唐天國]
30. 大學(xué)生創(chuàng)新創(chuàng)業(yè)基礎(chǔ) [主編 姜國權(quán) 姜福佳]