最小二乘支持向量機算法及應用研究
簡介
本書特色
前言
章節列表
精彩閱讀
下載資源
相關圖書
本書以統計學習理論為基礎，研究了最小二乘支持向量機算法的理論及應用，主要研究了最小二乘支持向量機回歸與分類的關系及對多類分類問題的解決方案、該算法的稀疏性策略、在關鍵詞提取問題中的應用以及在特征基因子集選擇問題上的應用。具體內容是：①分析了最小二乘支持向量機分類與回歸算法，在此基礎上證明了回歸與分類問題可以相互轉換，提出一種以回歸方式解決多類分類問題的算法；②針對科技文獻的關鍵詞提取問題提出一套完整的處理方案。按照關鍵詞在文章的不同部分出現的次數形成訓練樣本，采用最小二乘支持向量機回歸算法訓練學習機，該學習機能夠實現對科技文獻的關鍵詞提��；③針對最小二乘支持向量機算法中支持向量缺失稀疏性這一缺點，提出了一種基于Renyi熵的回歸算法。在相近的回歸正確率下，該算法有效地保證了支持向量的稀疏性，提高了運算速度；④針對DNA微陣列數據維數高、樣本少的特點，提出了兩種特征基因子集選擇算法。這兩種算法均采用向前選擇策略，所處理的基因總數通常較少，選出基因的數目在迭代過程中由算法自適應地確定。采用選出的基因構造的分類器的性能是令人滿意的。
Vapnik等人在20世紀60年代就開始研究有限樣本情況下的機器學習問題，直到90年代中期，有限樣本情況下的機器學習理論研究逐漸成熟起來，形成了一個較完善的理論體系——統計學習理論，它為研究有限樣本情況下的統計模式識別和更廣泛的機器學習問題建立了一個較好的理論框架。而同時神經網絡等較新興的機器學習方法的研究則遇到了一些重要困難，如如何確定網絡結構問題、過學習和欠學習問題、局部極小點問題等。在這種情況下，從更本質上研究機器學習問題的統計學習理論逐步得到重視。1992年到1995年，在統計學習理論的基礎上發展出了一種新的模式識別方法——支持向量機。支持向量機憑借其堅實的理論基礎和卓越的推廣能力成為目前機器學習領域的一個研究熱點。支持向量機算法是把尋找兩類之間的最優超平面問題轉化為求解最大分類間隔問題，而最大間隔問題實際上是一個不等式約束的二次規劃問題。對于這個二次規劃問題的求解，很多學者提出了許多有效的方法。Suykens等設計的最小二乘支持向量機算法把不等式約束換成等式約束，從而使得支持向量機的求解由二次規劃問題轉化為一個線性方程組，極大地降低了求解難度。
本書主要以統計學習理論為基礎，闡述了最小二乘支持向量機算法的理論及其在分類和回歸問題中的應用。各章主要內容如下：第1章簡要介紹了最小二乘支持向量機的產生及發展；第2章介紹了統計學習理論的基本內容及用于解決分類問題的支持向量機和用于解決回歸問題的支持向量機；第3章首先介紹了最小二乘支持向量機分類和回歸算法，在此基礎上證明了回歸與分類問題可以相互轉換，給出了一種以回歸方式解決多類分類問題的算法；第4章針對科技文獻的關鍵詞提取問題給出了一套完整的處理方案。按照關鍵詞在文章的不同部分出現的次數形成訓練樣本，采用最小二乘支持向量機回歸算法訓練學習機。該學習機能夠實現對科技文獻的關鍵詞提取；第5章針對最小二乘支持向量機算法中支持向量缺失稀疏性這一缺點，給出了一種基于Renyi熵的回歸算法。在相近的回歸正確率下，該算法有效地保證了支持向量的稀疏性，提高了運算速度；第6章針對DNA微陣列數據維數高、樣本少的特點，給出了兩種特征基因子集選擇算法。這兩種算法均采用向前選擇策略，所處理的基因總數通常較少，選出基因的數目在迭代過程中由算法自適應地確定。采用選出的基因構造的分類器的性能是令人滿意的。
本書內容包括作者多年從事最小二乘支持向量機算法及應用研究的結果，同時也包括作者所在研究小組的一些共同研究成果，并且從國內外文獻資料中提取了最主要的理論。本著作受到國家自然科學基金項目（項目編號：61163034）資助。目前國內系統闡述最小二乘支持向量機理論及其在模式識別領域應用方面的書籍還極為少見。本書可作為計算機、信息、電子等相關專業的研究生及相關領域的研究人員的實用讀物。
由于作者水平有限且時間倉促，書中難免存在錯誤和不足之處，敬請專家和廣大讀者批評指正。
作 者
2011年11月
第1章 緒論 1
第2章 統計學習理論基本知識 5
2.1 統計學習理論的核心內容 5
2.1.1 學習過程一致性的條件 6
2.1.2 VC維 7
2.1.3 推廣性的界 8
2.1.4 結構風險最小化 9
2.2 支持向量分類機 11
2.2.1 線性支持向量分類機 11
2.2.2 非線性支持向量分類機 14
2.3 支持向量回歸機 17
2.3.1 線性支持向量回歸機 17
2.3.2 非線性支持向量回歸機 19
2.4 本章小結 21
第3章 基于LS-SVM的回歸與分類的轉換 22
3.1 基于最小二乘支持向量機的分類與回歸算法 23
3.1.1 最小二乘支持向量機分類算法 23
3.1.2 最小二乘支持向量機回歸算法 25
3.2 基于最小二乘支持向量機分類的回歸算法 27
3.3 基于最小二乘支持向量機回歸的分類算法 29
3.3.1 兩類分類 29
3.3.2 多類分類 31
3.4 數值實驗 32
3.4.1 基于分類的回歸 32
3.4.2 基于回歸的多類分類 35
3.5 本章小結 39
第4章 基于LS-SVM的科技文獻關鍵詞提取 40
4.1 語義內容管理系統中的關鍵詞提取 42
4.2 基于最小二乘支持向量機的關鍵詞提取 43
4.2.1 構造關鍵詞庫和形成樣本 44
4.2.2 訓練學習機 45
4.3 模擬實驗 45
4.4 本章小結 48
第5章 基于Renyi熵的迭代LS-SVR算法 50
5.1 最小二乘支持向量機回歸算法及增量學習算法 51
5.2 Renyi熵 52
5.3 基于Renyi熵的迭代LS-SVR算法 54
5.4 數值實驗 56
5.5 本章小結 61
第6章 基于LS-SVM的基因特征子集選擇算法 62
6.1 基于LS-SVR的自適應基因特征子集選擇算法 64
6.1.1 自適應迭代基因選擇算法 64
6.1.2 數值實驗 68
6.2 基于留一交叉確認和LS-SVC的基因選擇算法 70
6.2.1 基于留一交叉確認誤差的基因選擇標準 70
6.2.2 基因選擇算法 72
6.2.3 數值實驗 75
6.3 本章小結 76
參考文獻 78
