隨著社會信息化的發展，在具體的智能識別過程中需要處理的的數據越來越多地呈現出高維特征，比如圖像處理、文本分類、視頻檢索、計算機視覺、微陣列數據基因選擇和基于生物特征的身份識別等。造成這種現象的主要原因在于：在智能識別過程中，只有當樣本已經包含了足夠多的模式分類信息時，才能得到較好的智能識別效果。然而，如何確定特征中是否已經包含足夠多的類別信息本身就是個很難解決的問題。因此為了提高模式識別效果，在通常情況下，人們通過采集盡可能多的特征去體現樣本的類別信息，這導致原始樣本空間的維數可能達到幾千維甚至上萬維，而如果在如此高維的原始空間直接使用模式識別方法，那么所得到的智能識別效果將受到較大的影響。這是因為在如此高維的特征中存在著大量冗余的特征，使得特征之間的相關性較強，從而增加了模式分類算法的負擔，降低了算法的效率。同時，由于隨著樣本特征維數的增加，使得對樣本的統計特性更加難以估計，從而會影響分類算法的泛化能力，呈現出所謂過學習的現象[1]。因此，在智能識別過程中必須要對高維數據進行相應的預處理，以達到在保持樣本信息量的基礎上盡可能降低特征的維數，提高模式分類的效果，而特征降維技術就是一種較為有效的數據預處理方法。

目前，特征降維技術作為一種關鍵的數據預處理技術被廣泛地加以研究，并在不同的實際運用領域得到了較為成功的應用，但隨著新理論和新技術的不斷發展，特別是大量新興的智能識別應用領域的需求，對特征降維技術提出了更高的要求，使得現有的特征降維技術面臨更大的挑戰。比如：如何提高基于支持向量機的特征選擇方法的泛化能力和魯棒性；如何更好地實現特征提取技術與模糊聚類技術的有機結合，以提高特征降維方法的魯棒性；如何提高特征降維方法中的距離度量學習的有效性；如何將特征降維方法中的關鍵技術和理論運用到支持向量機中，以提高支持向量機的泛化能力和魯棒性；如何結合張量理論提高特征降維的效果；如何在具有明顯不同分布的源域和目標域實現提取技術等。

為此，本書從三個部分對上述問題進行描述和研究：

第一部分由第2章和第3章組成，這一部分分別討論兩種新穎的特征選擇方法。具體來說，第2章主要針對勢支持向量機P-SVM存在的泛化能力不強的問題，通過引入Fisher判別分析方法中的類內散度矩陣，重新構造P-SVM的目標函數，從而形成具有較強泛化能力的廣義的勢支持特征選擇方法GPSFM；第3章針對經典的模糊聚類方法FCM存在的對噪音數據和噪音特征敏感的問題，采用對樣本點和樣本特征同時加權的方式，重新構造FCM方法的目標函數，從而得到具有特征排序功能的魯棒性模糊聚類方法FCA。

第二部分由第4章至第7章組成，這一部分分別討論四種新穎的特征提取方法。具體來說，第4章針對線性拉普拉斯判別準則LLD方法存在的小樣本問題以及如何確定原始樣本空間類型的問題，通過引入語境距離度量并結合最大間距判別準則的基本原理，提出一種基于語境距離度量的拉普拉斯最大間距判別準則CLMMC；第5章針對最大散度差判別準則的效果很大程度上依賴參數的選取，并且該準則的劃分屬于硬劃分，不能客觀地反映現實世界的問題，通過引入模糊技術，重新構造一種新的模糊最大散度差判別準則，并根據這一新準則提出一種模糊聚類方法FMSDC；第6章通過FMSDC方法并結合張量理論，提出一種矩陣模式的模糊最大間距判別準則MFMMC，并在此基礎上形成具有模糊聚類功能的雙向二維無監督特征提取方法(2D)2UFFCA；第7章主要討論了遷移學習法，通過引入局部加權均值的方法和理論到MMD中，提出投影最大局部加權均值差異PMLWD度量，PMLWD通過累積不同區域局部分塊之間的局部分布差異來反映區域間的全局分布差異。在PMLWD的基礎上，提出一種能實現遷移學習任務并具有一定局部學習能力的特征提取方法：最大局部加權均值差異嵌入MWME。同時，在PMLWD的基礎上，結合傳統的學習理論，提出基于局部加權均值的領域適應學習框架LDAF，在LDAF框架下衍生出兩種領域適應學習方法：LDAF_MLC和 LDAF_SVM。

第三部分由第8章和第9章組成，這一部分主要研究和討論兩種基于類內散度的支持向量機的方法。具體來說，第8章針對最小類內散度支持向量機MCSVMs面臨的小樣本問題，通過引入張量理論，重新構造MCSVMs支持向量機的目標函數，從而提出基于矩陣模式的最小類內散度支持向量機MCSVMsmatrix及相應的非線性核方法Ker-MCSVMsmatrix。MCSVMsmatrix方法不但克服了MCSVMs方法所面臨的小樣本問題，同時降低了算法本身具有的時間和空間復雜度。而且Ker-MCSVMsmatrix方法首次實現了矩陣模式的非線性化；第9章針對經典SVM方法不能充分地反映樣本內在幾何結構及所蘊含的判別信息的問題，通過同時引入線性判別準則中的類內散度和局部保持投影LPP的基本原理，重新構造SVM的目標函數，提出基于全局和局部保持的半監督支持向量機GLSSVM及非線性核方法Ker-GLSSVM。

本書由鹽城工學院皋軍獨立完成。本書研究工作得到國家自然科學基金 （NO：61375001，61272210）、江蘇省自然科學基金（NO：BK2011417）、江蘇省計算機信息處理技術重點實驗室開放課題（NO：KJS1126）的共同資助。

由于時間倉促且作者水平有限，書中不當之處在所難免，敬請讀者批評指正。

皋軍（鹽城工學院）

2013年7月

前言
第1章 緒論 1
1.1 課題研究背景 1
1.1.1 特征選擇技術 2
1.1.2 特征提取技術 3
1.2 特征降維技術面臨的幾個挑戰 4
1.3 課題的主要研究內容和組織安排 6
第2章 廣義的勢支持特征選擇方法 9
2.1 引言 9
2.2 勢支持向量機P-SVM 10
2.3 廣義的勢支持特征選擇方法：GPSFM 13
2.3.1 類內離散度 13
2.3.2 廣義的勢支持特征選擇方法 14
2.4 實驗研究 18
2.4.1 真實數據 19
2.4.2 基因數據 26
2.4.3 人臉圖像數據 28
2.5 本章小結 29
第3章 具有特征排序功能的魯棒性模糊聚類 30
3.1 引言 30
3.2 模糊C均值聚類方法 31
3.3 具有特征排序功能的模糊聚類方法 32
3.3.1 具有特征排序功能的FCA方法 32
3.3.2 基于幾何意義的權參數的選取 37
3.4 實驗研究 38
3.4.1 加噪的IRIS數據 38
3.4.2 加噪紋理圖像數據集 42
3.4.3 真實數據集 44
3.5 本章小結 45
第4章 基于語境距離度量的拉普拉斯最大間距判別準則 46
4.1 引言 46
4.2 線性拉普拉斯判別準則 48
4.3 基于語境距離度量的拉普拉斯最大間距判別準則 50
4.3.1 CLMMC準則 50
4.3.2 CLMMC準則的QR分解法 53
4.4 語境距離度量的設定 54
4.5 實驗研究 57
4.5.1 低維非線性流形空間距離度量學習 57
4.5.2 CLMMC與CL-LLD內在聯系 58
4.5.3 小樣本問題 60
4.5.4 高維非線性流形空間小樣本問題和距離度量學習 62
4.6 本章小結 64
第5章 基于模糊最大散度差判別準則的聚類方法 65
5.1 引言 65
5.2 最大散度差判別準則 65
5.3 基于模糊最大散度差判別準則的聚類方法 66
5.3.1 模糊最大散度差判別準則 66
5.3.2 設定模糊最大散度判別準則中的參數 69
5.4 實驗研究 71
5.4.1 基本的聚類功能 72
5.4.2 大數據聚類魯棒性 74
5.4.3 特征提取 75
5.5 本章小結 76
第6章 具有模糊聚類功能的雙向二維無監督特征提取方法 77
6.1 引言 77
6.2 相關工作 78
6.2.1 最大間距判別分析方法：MMC 78
6.2.2 雙向二維線性判別分析：(2D)2LDA 79
6.3 具有模糊聚類功能的雙向二維無監督特征 提取方法：(2D)2UFFCA 79
6.3.1 矩陣模式的模糊最大間距判別準則：MFMMC 80
6.3.2 實現矩陣模式數據的雙向特征提取 81
6.3.3 實現矩陣模式數據的模糊聚類 83
6.3.4 確定數據集 的模糊聚類中心 85
6.4 實驗 87
6.4.1 測試基本的聚類能力 87
6.4.2 測試大數據集的聚類效果 90
6.4.3 測試特征提取能力 92
6.5 本章小結 94
第7章 基于局部加權均值的領域適應學習框架 96
7.1 引言 96
7.2 相關工作 100
7.2.1 最大均值差異：MMD 100
7.2.2 最大均值差異嵌入：MMDE 100
7.3 投影最大局部加權均值差異：PMLWD 102
7.4 最大局部加權均值差異嵌入MWME 104
7.4.1 線性最大局部加權均值嵌入：LMWME 104
7.4.2 核化的最大局部加權均值嵌入方法：Ker-MWME 109
7.5 基于局部加權均值的領域學習框架：LDAF 109
7.5.1 LDAF_MLC 110
7.5.2 LDAF_SVM 113
7.5.3 算法時間復雜度分析 116
7.6 實驗 116
7.6.1 測試人造數據集 117
7.6.2 測試高維文本數據集 122
7.6.3 測試人臉數據集 127
7.7 本章小結 130
第8章 基于矩陣模式的最小類內散度支持向量機 132
8.1 引言 132
8.2 最小類內散度支持向量機 133
8.3 基于矩陣模式的最小類內散度支持向量機 135
8.3.1 線性的矩陣模式最小類內散度支持向量機 135
8.3.2 非線性的基于矩陣模式的最小類內散度支持向量機 139
8.4 實驗研究 141
8.4.1 矢量數據的矩陣模式分類 142
8.4.2 Ker-MCSVMsmatrix方法中使用 的合理性 143
8.4.3 矩陣模式數據的分類 144
8.5 本章小結 146
第9章 基于全局和局部保持的半監督支持向量機 147
9.1 引言 147
9.2 流形正則化框架 148
9.3 基于全局和局部保持的半監督支持向量機 150
9.3.1 線性的GLSSVMs方法 150
9.3.2 非線性的Ker-GLSSVMs方法 152
9.4 實驗研究 155
9.4.1 人造團狀數據 155
9.4.2 人造流形結構數據 156
9.4.3 UCI真實數據 159
9.4.4 圖像數據 160
9.5 本章小結 162
結束語 163
參考文獻 166