內容簡介
《支持嚮量機:理論、算法與拓展》以分類問題(模式識彆、判彆分析)和迴歸問題為背景,介紹支持嚮量機的基本理論、方法和應用。特彆強調對所討論的問題和處理方法的實質進行直觀的解釋和說明,因此具有很強的可讀性。為使具有一般高等數學知識的讀者能夠順利閱讀,書中首先介紹瞭優化的基礎知識。
《支持嚮量機:理論、算法與拓展》可作為理工類、管理學等專業的高年級本科生、研究生和教師的教材或教學參考書,也可供相關領域的科研人員和實際工作者閱讀參考。
內頁插圖
目錄
序言
符號錶
第1章 最優化基礎
1.1 歐式空間上的最優化問題
1.1.1 最優化問題實例
1.1.2 最優化問題及其解
1.1.3 最優化問題的幾何解釋
1.2 歐式空間上的凸規劃
1.2.1 凸集和凸函數
1.2.2 凸規劃問題及其基本性質
1.2.3 凸規劃的對偶理論
1.2.4 凸規劃的最優性條件
1.2.5 綫性規劃
1.3 Hilbert空間上的凸規劃
1.3.1 凸函數及Frechet導數
1.3.2 凸規劃問題
1.3.3 凸規劃的對偶理論
1.3.4 凸規劃的最優性條件
1.4 歐式空間上帶有廣義不等式約束的凸規劃
1.4.1 帶有廣義不等式約束的凸規劃
1.4.2 帶有廣義不等式約束的凸規劃的對偶理論
1.4.3 帶有廣義不等式約束的凸規劃的最優性條件
1.4.4 二階錐規劃
1.4.5 半定規劃
1.5 Hilbert空間上帶有廣義不等式約束的凸規劃
1.5.1 K-凸函數與Frechet導數
1.5.2 凸規劃問題
1.5.3 凸規劃的對偶理論
1.5.4 凸規劃的最優性條件
第2章 綫性分類機
2.1 分類問題的提齣
2.1.1 例子(心髒病診斷)
2.1.2 分類問題和分類機
2.2 綫性可分問題的支持嚮量分類機
2.2.1 最大間隔法_
2.2.2 綫性可分問題的支持嚮量分類機
2.2.3 支持嚮量
2.3 綫性支持嚮量分類機
2.3.1 最大間隔法
2.3.2 綫性支持嚮量分類機
第3章 綫性迴歸機
3.1 迴歸問題和綫性迴歸問題
3.2 硬ε帶超平麵
3.2.1 從綫性迴歸問題到硬乒帶超平麵
3.2.2 硬ε-帶超平麵與綫性分劃
3.2.3 構造硬ε帶超平麵的最優化問題
3.3 綫性硬ε-帶支持嚮量迴歸機
3.3.1 原始問題
3.3.2 對偶問題及其與原始問題解的關係
3.3.3 綫性硬ε-帶支持嚮量迴歸機
3.4 綫性ε-支持嚮量迴歸機
3.4.1 原始問題
3.4.2 對偶問題及其與原始問題解的關係
3.4.3 綫性ε-支持嚮量迴歸機
第4章 核與支持嚮量機
4.1 從綫性分劃到非綫性分劃
4.1.1 非綫性分劃的例子
4.1.2 基於非綫性分劃的分類算法
4.1.3 基於非綫性分劃的迴歸算法
4.2 核函數
4.2.1 核函數及其特徵
4.2.2 核函數的判定和常用的核函數
4.3 支持嚮量機及其性質
4.3.1 支持嚮量分類機
4.3.2 支持嚮量迴歸機
4.4 支持嚮量機中核函數的選取
4.4.1 已知訓練集時核函數的選取
4.4.2 核函數的直接構造
第5章 C-支持嚮量分類機的統計學基礎
5.1 分類問
5.1.1 概率分布
5.1.2 分類問題的統計學提法
5.2 經驗風險最小化原則
5.3 VC維
5.4 結構風險最小化原則
5.5 結構風險最小化原則的一個直接實現
5.5.1 原始問題
5.5.2 擬對偶問題及其與原始問題的關係
5.5.3 結構風險最小化分類機
5.6 C-支持嚮量分類機的統計學習理論基礎
5.6.1 C-支持嚮量分類機的迴顧
5.6.2 對偶問題與擬對偶問題的關係
5.6.3 C-綫性支持嚮量分類機的統計學習理論解釋
……
第6章模型選擇
第7章算法
第8章支持嚮量機的變形與拓廣
參考文獻
索引
前言/序言
支持嚮量機是藉助於優化方法解決數據挖掘中若乾問題的有力工具,它在一定程度上剋服瞭“維數災難”和“過學習”等傳統睏難,並在文本分類、生物信息、語音識彆、遙感圖像分析、故障識彆和預測、時間序列預測、信息安全等諸多領域有瞭成功的應用。
支持嚮量機不僅有著統計學習理論的堅實理論基礎,而且具有直觀的幾何解釋和完美的數學形式。雖然自20世紀90年代由Vapnik提齣以來一直處於飛速發展的階段,但是支持嚮量機的理論基礎和各種算法實現的基本框架已經形成。自2000年開始,國外已陸續有專著齣版。
2004年,作者在科學齣版社齣版瞭學術專著《數據挖掘中的新方法——支持嚮量機》,該書是國內一本專門對支持嚮量機進行全麵完整介紹和論述的著作,齣版後讀者反映良好,並被中國科學院研究生院、清華大學、中國農業大學等用作研究生教材,被評為2006年北京市精品教材。經過五年的繼續研究與教學實踐,我們決定對該書進行全麵改寫,增加新的研究成果,並更名為“支持嚮量機——理論、算法與拓展”。
本書特彆強調可讀性,強調直觀對理解問題實質的重要作用。在給齣係統嚴謹的論述之前,一般先用圖像等直觀手段引進各種概念、方法和結論,並特彆注意對它們的本質給予形象的解釋和說明。對於原始文獻中沒有提及直觀解釋的內容,我們也盡可能予以補充,例如,對求解多類分類問題的Crammer-Singer支持嚮量機,我們給齣瞭清晰的幾何解釋。與第一部著作相比,本書的邏輯係統更加清晰,對問題的闡述也更加簡明,
本書主要討論分類問題和迴歸問題,基於把迴歸問題轉化為分類問題的研究工作,全書以分類問題為主綫,形成瞭統一的格局。主要內容如下:第1章介紹優化基礎。該章著重於凸規劃的介紹,添加瞭引領優化方法應用研究的錐規劃(包括二階錐規劃和半定規劃),以及Hilbert空間中的凸規劃理論。這是以後章節以及進一步研究新的支持嚮量機的優化基礎。第2章和第3章則分彆對綫性分類問題和綫性迴歸問題直觀地導齣最基本的綫性支持嚮量機。第4章介紹核的基本概念,並在此基礎上介紹求解一般的分類問題和迴歸問題的支持嚮量機。第5章則從間隔法的統計學解釋入手,討論支持嚮量機的統計學習理論基礎。第6章介紹支持嚮量機實際應用中的模型選擇問題,第7章介紹實現支持內量機的幾個主流算法。第8章是前麵討論過的基本的支持嚮量機的變形與拓廣,包括求解多類分類問題、半監督問題、帶有擾動的問題和多示例問題的支持嚮量機。
本書包含瞭我們自己的研究工作,例如第5。6節,就是我們完善支持嚮量機的統計學習理論基礎的研究成果。我們相信,這是迄今為止對C-支持嚮量分類機的一種最確切、最直接、最簡明的統計學習理論解釋。此外,這裏還給齣瞭C-支持嚮量分類機中的參數C以全新的意義。又如第8章中給齣的利用順序迴歸的思想求解多類分類問題的支持嚮量機,通過構建二階錐規劃或者半定規劃模型求解半監督問題和帶有擾動的問題的支持嚮量機,以及處理多示例問題的支持嚮量機等內容。
本書所設定的讀者範圍較廣,既包括初涉支持嚮量機的人員,也包括希望利用支持嚮量機解決實際問題的人士,還可作為對支持嚮量機進行深入研究的參考書,
本書得以齣版,我們要感謝國傢自然科學基金連續多年對我們研究工作的資助和國傢科學技術學術著作齣版基金的資助;感謝北京航空航天大學的王日爽教授、麯阜師範大學的王長鈺和王宜舉教授、大連理工大學的夏尊銓和張立衛教授、北京交通大學的修乃華教授、北京理工大學的劉寶光教授、空軍指揮學院的李意起教授、上海大學的白延琴教授、中國農業大學的經玲教授和甄苓副教授,感謝中國科學院馬誌明院士、章祥蓀研究員、石勇教授,中國微軟亞洲研究院李航研究員,香港中文大學張樹中教授對本書的關心和支持,感謝桂林電子科技大學的硃誌斌教授和中國人民大學的張春華博士給予的寶貴建議,同時感謝我們討論班的成員:楊誌霞博士、趙琨博士和王永翠、邵小健、秦如新、趙艷梅、高婷婷、邵元海、徐岩、李玉欣等同學,他們都對本書提供瞭幫助。
支持嚮量機:理論、算法與拓展 下載 mobi epub pdf txt 電子書 格式