隨著社會信息化的發(fā)展，在具體的智能識別過程中需要處理的的數(shù)據(jù)越來越多地呈現(xiàn)出高維特征，比如圖像處理、文本分類、視頻檢索、計算機視覺、微陣列數(shù)據(jù)基因選擇和基于生物特征的身份識別等。造成這種現(xiàn)象的主要原因在于：在智能識別過程中，只有當樣本已經(jīng)包含了足夠多的模式分類信息時，才能得到較好的智能識別效果。然而，如何確定特征中是否已經(jīng)包含足夠多的類別信息本身就是個很難解決的問題。因此為了提高模式識別效果，在通常情況下，人們通過采集盡可能多的特征去體現(xiàn)樣本的類別信息，這導(dǎo)致原始樣本空間的維數(shù)可能達到幾千維甚至上萬維，而如果在如此高維的原始空間直接使用模式識別方法，那么所得到的智能識別效果將受到較大的影響。這是因為在如此高維的特征中存在著大量冗余的特征，使得特征之間的相關(guān)性較強，從而增加了模式分類算法的負擔，降低了算法的效率。同時，由于隨著樣本特征維數(shù)的增加，使得對樣本的統(tǒng)計特性更加難以估計，從而會影響分類算法的泛化能力，呈現(xiàn)出所謂過學(xué)習(xí)的現(xiàn)象[1]。因此，在智能識別過程中必須要對高維數(shù)據(jù)進行相應(yīng)的預(yù)處理，以達到在保持樣本信息量的基礎(chǔ)上盡可能降低特征的維數(shù)，提高模式分類的效果，而特征降維技術(shù)就是一種較為有效的數(shù)據(jù)預(yù)處理方法。

目前，特征降維技術(shù)作為一種關(guān)鍵的數(shù)據(jù)預(yù)處理技術(shù)被廣泛地加以研究，并在不同的實際運用領(lǐng)域得到了較為成功的應(yīng)用，但隨著新理論和新技術(shù)的不斷發(fā)展，特別是大量新興的智能識別應(yīng)用領(lǐng)域的需求，對特征降維技術(shù)提出了更高的要求，使得現(xiàn)有的特征降維技術(shù)面臨更大的挑戰(zhàn)。比如：如何提高基于支持向量機的特征選擇方法的泛化能力和魯棒性；如何更好地實現(xiàn)特征提取技術(shù)與模糊聚類技術(shù)的有機結(jié)合，以提高特征降維方法的魯棒性；如何提高特征降維方法中的距離度量學(xué)習(xí)的有效性；如何將特征降維方法中的關(guān)鍵技術(shù)和理論運用到支持向量機中，以提高支持向量機的泛化能力和魯棒性；如何結(jié)合張量理論提高特征降維的效果；如何在具有明顯不同分布的源域和目標域?qū)崿F(xiàn)提取技術(shù)等。

為此，本書從三個部分對上述問題進行描述和研究：

第一部分由第2章和第3章組成，這一部分分別討論兩種新穎的特征選擇方法。具體來說，第2章主要針對勢支持向量機P-SVM存在的泛化能力不強的問題，通過引入Fisher判別分析方法中的類內(nèi)散度矩陣，重新構(gòu)造P-SVM的目標函數(shù)，從而形成具有較強泛化能力的廣義的勢支持特征選擇方法GPSFM；第3章針對經(jīng)典的模糊聚類方法FCM存在的對噪音數(shù)據(jù)和噪音特征敏感的問題，采用對樣本點和樣本特征同時加權(quán)的方式，重新構(gòu)造FCM方法的目標函數(shù)，從而得到具有特征排序功能的魯棒性模糊聚類方法FCA。

第二部分由第4章至第7章組成，這一部分分別討論四種新穎的特征提取方法。具體來說，第4章針對線性拉普拉斯判別準則LLD方法存在的小樣本問題以及如何確定原始樣本空間類型的問題，通過引入語境距離度量并結(jié)合最大間距判別準則的基本原理，提出一種基于語境距離度量的拉普拉斯最大間距判別準則CLMMC；第5章針對最大散度差判別準則的效果很大程度上依賴參數(shù)的選取，并且該準則的劃分屬于硬劃分，不能客觀地反映現(xiàn)實世界的問題，通過引入模糊技術(shù)，重新構(gòu)造一種新的模糊最大散度差判別準則，并根據(jù)這一新準則提出一種模糊聚類方法FMSDC；第6章通過FMSDC方法并結(jié)合張量理論，提出一種矩陣模式的模糊最大間距判別準則MFMMC，并在此基礎(chǔ)上形成具有模糊聚類功能的雙向二維無監(jiān)督特征提取方法(2D)2UFFCA；第7章主要討論了遷移學(xué)習(xí)法，通過引入局部加權(quán)均值的方法和理論到MMD中，提出投影最大局部加權(quán)均值差異PMLWD度量，PMLWD通過累積不同區(qū)域局部分塊之間的局部分布差異來反映區(qū)域間的全局分布差異。在PMLWD的基礎(chǔ)上，提出一種能實現(xiàn)遷移學(xué)習(xí)任務(wù)并具有一定局部學(xué)習(xí)能力的特征提取方法：最大局部加權(quán)均值差異嵌入MWME。同時，在PMLWD的基礎(chǔ)上，結(jié)合傳統(tǒng)的學(xué)習(xí)理論，提出基于局部加權(quán)均值的領(lǐng)域適應(yīng)學(xué)習(xí)框架LDAF，在LDAF框架下衍生出兩種領(lǐng)域適應(yīng)學(xué)習(xí)方法：LDAF_MLC和 LDAF_SVM。

第三部分由第8章和第9章組成，這一部分主要研究和討論兩種基于類內(nèi)散度的支持向量機的方法。具體來說，第8章針對最小類內(nèi)散度支持向量機MCSVMs面臨的小樣本問題，通過引入張量理論，重新構(gòu)造MCSVMs支持向量機的目標函數(shù)，從而提出基于矩陣模式的最小類內(nèi)散度支持向量機MCSVMsmatrix及相應(yīng)的非線性核方法Ker-MCSVMsmatrix。MCSVMsmatrix方法不但克服了MCSVMs方法所面臨的小樣本問題，同時降低了算法本身具有的時間和空間復(fù)雜度。而且Ker-MCSVMsmatrix方法首次實現(xiàn)了矩陣模式的非線性化；第9章針對經(jīng)典SVM方法不能充分地反映樣本內(nèi)在幾何結(jié)構(gòu)及所蘊含的判別信息的問題，通過同時引入線性判別準則中的類內(nèi)散度和局部保持投影LPP的基本原理，重新構(gòu)造SVM的目標函數(shù)，提出基于全局和局部保持的半監(jiān)督支持向量機GLSSVM及非線性核方法Ker-GLSSVM。

本書由鹽城工學(xué)院皋軍獨立完成。本書研究工作得到國家自然科學(xué)基金 （NO：61375001，61272210）、江蘇省自然科學(xué)基金（NO：BK2011417）、江蘇省計算機信息處理技術(shù)重點實驗室開放課題（NO：KJS1126）的共同資助。

由于時間倉促且作者水平有限，書中不當之處在所難免，敬請讀者批評指正。

皋軍（鹽城工學(xué)院）

2013年7月

前言
第1章 緒論 1
1.1 課題研究背景 1
1.1.1 特征選擇技術(shù) 2
1.1.2 特征提取技術(shù) 3
1.2 特征降維技術(shù)面臨的幾個挑戰(zhàn) 4
1.3 課題的主要研究內(nèi)容和組織安排 6
第2章 廣義的勢支持特征選擇方法 9
2.1 引言 9
2.2 勢支持向量機P-SVM 10
2.3 廣義的勢支持特征選擇方法：GPSFM 13
2.3.1 類內(nèi)離散度 13
2.3.2 廣義的勢支持特征選擇方法 14
2.4 實驗研究 18
2.4.1 真實數(shù)據(jù) 19
2.4.2 基因數(shù)據(jù) 26
2.4.3 人臉圖像數(shù)據(jù) 28
2.5 本章小結(jié) 29
第3章 具有特征排序功能的魯棒性模糊聚類 30
3.1 引言 30
3.2 模糊C均值聚類方法 31
3.3 具有特征排序功能的模糊聚類方法 32
3.3.1 具有特征排序功能的FCA方法 32
3.3.2 基于幾何意義的權(quán)參數(shù)的選取 37
3.4 實驗研究 38
3.4.1 加噪的IRIS數(shù)據(jù) 38
3.4.2 加噪紋理圖像數(shù)據(jù)集 42
3.4.3 真實數(shù)據(jù)集 44
3.5 本章小結(jié) 45
第4章 基于語境距離度量的拉普拉斯最大間距判別準則 46
4.1 引言 46
4.2 線性拉普拉斯判別準則 48
4.3 基于語境距離度量的拉普拉斯最大間距判別準則 50
4.3.1 CLMMC準則 50
4.3.2 CLMMC準則的QR分解法 53
4.4 語境距離度量的設(shè)定 54
4.5 實驗研究 57
4.5.1 低維非線性流形空間距離度量學(xué)習(xí) 57
4.5.2 CLMMC與CL-LLD內(nèi)在聯(lián)系 58
4.5.3 小樣本問題 60
4.5.4 高維非線性流形空間小樣本問題和距離度量學(xué)習(xí) 62
4.6 本章小結(jié) 64
第5章 基于模糊最大散度差判別準則的聚類方法 65
5.1 引言 65
5.2 最大散度差判別準則 65
5.3 基于模糊最大散度差判別準則的聚類方法 66
5.3.1 模糊最大散度差判別準則 66
5.3.2 設(shè)定模糊最大散度判別準則中的參數(shù) 69
5.4 實驗研究 71
5.4.1 基本的聚類功能 72
5.4.2 大數(shù)據(jù)聚類魯棒性 74
5.4.3 特征提取 75
5.5 本章小結(jié) 76
第6章 具有模糊聚類功能的雙向二維無監(jiān)督特征提取方法 77
6.1 引言 77
6.2 相關(guān)工作 78
6.2.1 最大間距判別分析方法：MMC 78
6.2.2 雙向二維線性判別分析：(2D)2LDA 79
6.3 具有模糊聚類功能的雙向二維無監(jiān)督特征 提取方法：(2D)2UFFCA 79
6.3.1 矩陣模式的模糊最大間距判別準則：MFMMC 80
6.3.2 實現(xiàn)矩陣模式數(shù)據(jù)的雙向特征提取 81
6.3.3 實現(xiàn)矩陣模式數(shù)據(jù)的模糊聚類 83
6.3.4 確定數(shù)據(jù)集 的模糊聚類中心 85
6.4 實驗 87
6.4.1 測試基本的聚類能力 87
6.4.2 測試大數(shù)據(jù)集的聚類效果 90
6.4.3 測試特征提取能力 92
6.5 本章小結(jié) 94
第7章 基于局部加權(quán)均值的領(lǐng)域適應(yīng)學(xué)習(xí)框架 96
7.1 引言 96
7.2 相關(guān)工作 100
7.2.1 最大均值差異：MMD 100
7.2.2 最大均值差異嵌入：MMDE 100
7.3 投影最大局部加權(quán)均值差異：PMLWD 102
7.4 最大局部加權(quán)均值差異嵌入MWME 104
7.4.1 線性最大局部加權(quán)均值嵌入：LMWME 104
7.4.2 核化的最大局部加權(quán)均值嵌入方法：Ker-MWME 109
7.5 基于局部加權(quán)均值的領(lǐng)域?qū)W習(xí)框架：LDAF 109
7.5.1 LDAF_MLC 110
7.5.2 LDAF_SVM 113
7.5.3 算法時間復(fù)雜度分析 116
7.6 實驗 116
7.6.1 測試人造數(shù)據(jù)集 117
7.6.2 測試高維文本數(shù)據(jù)集 122
7.6.3 測試人臉數(shù)據(jù)集 127
7.7 本章小結(jié) 130
第8章 基于矩陣模式的最小類內(nèi)散度支持向量機 132
8.1 引言 132
8.2 最小類內(nèi)散度支持向量機 133
8.3 基于矩陣模式的最小類內(nèi)散度支持向量機 135
8.3.1 線性的矩陣模式最小類內(nèi)散度支持向量機 135
8.3.2 非線性的基于矩陣模式的最小類內(nèi)散度支持向量機 139
8.4 實驗研究 141
8.4.1 矢量數(shù)據(jù)的矩陣模式分類 142
8.4.2 Ker-MCSVMsmatrix方法中使用 的合理性 143
8.4.3 矩陣模式數(shù)據(jù)的分類 144
8.5 本章小結(jié) 146
第9章 基于全局和局部保持的半監(jiān)督支持向量機 147
9.1 引言 147
9.2 流形正則化框架 148
9.3 基于全局和局部保持的半監(jiān)督支持向量機 150
9.3.1 線性的GLSSVMs方法 150
9.3.2 非線性的Ker-GLSSVMs方法 152
9.4 實驗研究 155
9.4.1 人造團狀數(shù)據(jù) 155
9.4.2 人造流形結(jié)構(gòu)數(shù)據(jù) 156
9.4.3 UCI真實數(shù)據(jù) 159
9.4.4 圖像數(shù)據(jù) 160
9.5 本章小結(jié) 162
結(jié)束語 163
參考文獻 166