發表於2024-11-22
機器學習是計算機科學中發展*快的領域之一,實際應用廣泛。這本教材的目標是從理論角度提供機器學習的入門知識和相關算法範式。本書全麵地介紹瞭機器學習背後的基本思想和理論依據,以及將這些理論轉化為實際算法的數學推導。在介紹瞭機器學習的基本內容後,本書還覆蓋瞭此前的教材中一係列從未涉及過的內容。其中包括對學習的計算復雜度、凸性和穩定性的概念的討論,以及重要的算法範式的介紹(包括隨機梯度下降、神經元網絡以及結構化輸齣學習)。同時,本書引入瞭*新的理論概念,包括PAC-貝葉斯方法和壓縮界。本書為高等院校本科高年級和研究生入門階段而設計,不僅計算機、電子工程、數學統計專業學生能輕鬆理解機器學習的基礎知識和算法,其他專業的讀者也能讀懂。
本書介紹機器學習方法的原理及方法,同時引入瞭學習的計算復雜性、凸性和穩定性、PAC貝葉斯方法、壓縮界等概念,以及隨機梯度下降、神經元網絡和結構化輸齣等方法。作者既講述重要的機器學習算法的工作原理和動機,還指齣其固有的優勢和缺點,是有興趣瞭解機器學習理論和方法以及應用的學生和專業人員的良好教材或參考書。
沙伊·沙萊夫-施瓦茨(Shai Shalev-Shwartz) 以色列希伯來大學計算機及工程學院副教授,還在Mobileye公司研究自動駕駛。2009年之前他在芝加哥的豐田技術研究所工作。他的研究方嚮是機器學習算法。
沙伊·本-戴維(Shai Ben-David) 加拿大滑鐵盧大學計算機科學學院教授。先後在以色列理工學院、澳大利亞國立大學和康奈爾大學任教。
齣版者的話
譯者序
前言
緻謝
第1章引論1
1.1什麼是學習1
1.2什麼時候需要機器學習2
1.3學習的種類3
1.4與其他領域的關係4
1.5如何閱讀本書4
1.6符號6
第一部分理論基礎
第2章簡易入門10
2.1一般模型——統計學習理論框架10
2.2經驗風險最小化11
2.3考慮歸納偏置的經驗風險最小化12
2.4練習15
第3章一般學習模型17
3.1PAC學習理論17
3.2更常見的學習模型18
3.2.1放寬可實現假設——不可知PAC學習18
3.2.2學習問題建模19
3.3小結21
3.4文獻評注21
3.5練習21
第4章學習過程的一緻收斂性24
4.1一緻收斂是可學習的充分條件24
4.2有限類是不可知PAC可學習的25
4.3小結26
4.4文獻評注27
4.5練習27
第5章偏差與復雜性權衡28
5.1“沒有免費的午餐”定理28
5.2誤差分解31
5.3小結31
5.4文獻評注32
5.5練習32
第6章VC維33
6.1無限的類也可學習33
6.2VC維概述34
6.3實例35
6.3.1閾值函數35
6.3.2區間35
6.3.3平行於軸的矩形35
6.3.4有限類36
6.3.5VC維與參數個數36
6.4PAC學習的基本定理36
6.5定理6.7的證明37
6.5.1Sauer引理及生長函數37
6.5.2有小的有效規模的類的一緻收斂性39
6.6小結40
6.7文獻評注41
6.8練習41
第7章不一緻可學習44
7.1不一緻可學習概述44
7.2結構風險最小化46
7.3最小描述長度和奧卡姆剃刀48
7.4可學習的其他概念——一緻收斂性50
7.5探討不同的可學習概念51
7.6小結53
7.7文獻評注53
7.8練習54
第8章學習的運行時間56
8.1機器學習的計算復雜度56
8.2ERM規則的實現58
8.2.1有限集58
8.2.2軸對稱矩形59
8.2.3布爾閤取式59
8.2.4學習三項析取範式60
8.3高效學習,而不通過閤適的ERM60
8.4學習的難度*61
8.5小結62
8.6文獻評注62
8.7練習62
第二部分從理論到算法
第9章綫性預測66
9.1半空間66
9.1.1半空間類綫性規劃67
9.1.2半空間感知器68
9.1.3半空間的VC維69
9.2綫性迴歸70
9.2.1最小平方70
9.2.2多項式綫性迴歸71
9.3邏輯斯諦迴歸72
9.4小結73
9.5文獻評注73
9.6練習73
第10章boosting75
10.1弱可學習75
10.2AdaBoost78
10.3基礎假設類的綫性組閤80
10.4AdaBoost用於人臉識彆82
10.5小結83
10.6文獻評注83
10.7練習84
第11章模型選擇與驗證85
11.1用結構風險最小化進行模型選擇85
11.2驗證法86
11.2.1留齣的樣本集86
11.2.2模型選擇的驗證法87
11.2.3模型選擇麯綫88
11.2.4k摺交叉驗證88
11.2.5訓練驗證測試拆分89
11.3如果學習失敗瞭應該做什麼89
11.4小結92
11.5練習92
第12章凸學習問題93
12.1凸性、利普希茨性和光滑性93
12.1.1凸性93
12.1.2利普希茨性96
12.1.3光滑性97
12.2凸學習問題概述98
12.2.1凸學習問題的可學習性99
12.2.2凸利普希茨/光滑有界學習問題100
12.3替代損失函數101
12.4小結102
12.5文獻評注102
12.6練習102
第13章正則化和穩定性104
13.1正則損失最小化104
13.2穩定規則不會過擬閤105
13.3Tikhonov正則化作為穩定劑106
13.3.1利普希茨損失108
13.3.2光滑和非負損失108
13.4控製適閤與穩定性的權衡109
13.5小結111
13.6文獻評注111
13.7練習111
第14章隨機梯度下降114
14.1梯度下降法114
14.2次梯度116
14.2.1計算次梯度117
14.2.2利普希茨函數的次梯度118
14.2.3次梯度下降118
14.3隨機梯度下降118
14.4SGD的變型120
14.4.1增加一個投影步120
14.4.2變步長121
14.4.3其他平均技巧121
14.4.4強凸函數*121
14.5用SGD進行學習123
14.5.1SGD求解風險極小化123
14.5.2SGD求解凸光滑學習問題的分析124
14.5.3SGD求解正則化損失極小化125
14.6小結125
14.7文獻評注125
14.8練習126
第15章支持嚮量機127
15.1間隔與硬SVM127
15.1.1齊次情況129
15.1.2硬SVM的樣本復雜度129
15.2軟SVM與範數正則化130
15.2.1軟SVM的樣本復雜度131
15.2.2間隔、基於範數的界與維度131
15.2.3斜坡損失*132
15.3最優化條件與“支持嚮量”*133
15.4對偶*133
15.5用隨機梯度下降法實現軟SVM134
15.6小結135
15.7文獻評注135
15.8練習135
第16章核方法136
16.1特徵空間映射136
16.2核技巧137
16.2.1核作為錶達先驗的一種形式140
16.2.2核函數的特徵*141
16.3軟SVM應用核方法141
16.4小結142
16.5文獻評注143
16.6練習143
第17章多分類、排序與復雜預測問題145
17.1一對多和一對一145
17.2綫性多分類預測147
17.2.1如何構建Ψ147
17.2.2對損失敏感的分類148
17.2.3經驗風險最小化149
17.2.4泛化閤頁損失149
17.2.5多分類SVM和SGD150
17.3結構化輸齣預測151
17.4排序153
17.5二分排序以及多變量性能測量157
17.6小結160
17.7文獻評注160
17.8練習161
第18章決策樹162
18.1采樣復雜度162
18.2決策樹算法163
18.2.1增益測量的實現方式164
18.2.2剪枝165
18.2.3實值特徵基於閾值的拆分規則165
18.3隨機森林165
18.4小結166
18.5文獻評注166
18.6練習166
第19章最近鄰167
19.1k近鄰法167
19.2分析168
19.2.11�睳N準則的泛化界168
19.2.2“維數災難”170
19.3效率實施*171
19.4小結171
19.5文獻評注171
19.6練習171
第20章神經元網絡174
20.1前饋神經網絡174
20.2神經網絡學習175
20.3神經網絡的錶達力176
20.4神經網絡樣本復雜度178
20.5學習神經網絡的運行時179
20.6SGD和反嚮傳播179
20.7小結182
20.8文獻評注183
20.9練習183
第三部分其他學習模型
第21章在綫學習186
21.1可實現情況下的在綫分類186
21.2不可實現情況下的在綫識彆191
21.3在綫凸優化195
21.4在綫感知器算法197
21.5小結199
21.6文獻評注199
21.7練習199
第22章聚類201
22.1基於鏈接的聚類算法203
22.2k均值算法和其他代價最小聚類203
22.3譜聚類206
22.3.1圖割206
22.3.2圖拉普拉斯與鬆弛圖割算法206
22.3.3非歸一化的譜聚類207
22.4信息瓶頸*208
22.5聚類的進階觀點208
22.6小結209
22.7文獻評注210
22.8練習210
第23章維度約簡212
23.1主成分分析212
23.1.1當d�韒時一種更加有效的求解方法214
23.1.2應用與說明214
23.2隨機投影216
23.3壓縮感知217
23.4PCA還是壓縮感知223
23.5小結223
23.6文獻評注223
23.7練習223
第24章生成模型226
24.1極大似然估計226
24.1.1連續隨機變量的極大似然估計227
24.1.2極大似然與經驗風險最小化228
24.1.3泛化分析228
24.2樸素貝葉斯229
24.3綫性判彆分析230
24.4隱變量與EM算法230
24.4.1EM是交替最大化算法232
24.4.2混閤高斯模型參數估計的EM算法233
24.5貝葉斯推理233
24.6小結235
24.7文獻評注235
24.8練習235
第25章特徵選擇與特徵生成237
25.1特徵選擇237
25.1.1濾波器238
25.1.2貪婪選擇方法239
25.1.3稀疏誘導範數241
25.2特徵操作和歸一化242
25.3特徵學習244
25.4小結246
25.5文獻評注246
25.6練習246
第四部分高級理論
第26章拉德馬赫復雜度250
26.1拉德馬赫復雜度概述250
26.2綫性類的拉德馬赫復雜度255
26.3SVM的泛化誤差界256
26.4低1範數預測器的泛化誤差界258
26.5文獻評注259
第27章覆蓋數260
27.1覆蓋260
27.2通過鏈式反應從覆蓋到拉德馬赫復雜度261
27.3文獻評注262
第28章學習理論基本定理的證明263
28.1不可知情況的上界263
28.2不可知情況的下界264
28.2.1證明m(ε,δ)≥0.5log(1/(4δ))/ε2264
28.2.2證明m(ε,1/8)≥8d/ε2265
28.3可實現情況的上界267
第29章多分類可學習性271
29.1納塔拉詹維271
29.2多分類基本定理271
29.3計算納塔拉詹維272
29.3.1基於類的一對多272
29.3.2一般的多分類到二分類約簡273
29.3.3綫性多分類預測器273
29.4好的與壞的ERM274
29.5文獻評注275
29.6練習276
第30章壓縮界277
30.1壓縮界概述277
30.2例子278
30.2.1平行於軸的矩形278
30.2.2半空間279
30.2.3可分多項式279
30.2.4間隔可分的情況279
30.3文獻評注280
第31章PAC�脖匆端�281
31.1PAC�脖匆端菇�281
31.2文獻評注282
31.3練習282
附錄A技術性引理284
附錄B測度集中度287
附錄C綫性代數294
參考文獻297
索引305
前言
Understanding Machine Learning:From Theory to Algorithms“機器學習”旨在從數據中自動識彆有意義的模式。過去幾十年中,機器學習成為一項常用工具,幾乎所有需要從大量數據集閤中提取信息的任務都在使用它。我們身邊的許多技術都以機器學習為基礎:搜索引擎學習在帶給我們最佳的搜索結果的同時,植入可以盈利的廣告;屏蔽軟件學習過濾垃圾郵件;用於保護信用卡業務的軟件學習識彆欺詐。數碼相機學習人臉識彆,智能電話上的個人智能助手學習識彆語音命令。汽車配備瞭用機器學習算法搭建的交通事故預警係統。同時機器學習還被廣泛應用於各個科學領域,例如生物信息學、醫藥以及天文學等。
這些應用領域的一個共同特點在於,與相對傳統的計算機應用相比,所需識彆的模式更復雜。在這些情景中,對於任務應該如何執行,人類程序員無法提供明確的、細節優化的具體指令。以智能生物為例,我們人類的許多技能都是通過從經驗中學習而取得並逐步提高的(而非遵從彆人給我們的具體指令)。機器學習工具關注的正是賦予程序“學習”和適應不同情況的能力。
本書的第一個目標是,提供一個準確而簡明易懂的導論,介紹機器學習的基本概念:什麼是學習?機器怎樣學習?學習某概念時,如何量化所需資源?學習始終都是可能的嗎?我們如何知道學習過程是成功或失敗?本書的第二個目標是,為機器學習提供幾個關鍵的算法。我們提供的算法,一方麵已經成功投入實際應用,另一方麵廣泛地考慮到不同的學習技術。此外,我們特彆將注意力放到瞭大規模學習(即俗稱的“大數據”)上,因為近幾年來,世界越來越“數字化”,需要學習的數據總量也在急劇增加。所以在許多應用中,數據量是充足的,而計算時間是主要瓶頸。因此,學習某一概念時,我們會明確量化數據量和計算時間這兩個數值。
本書分為四部分。第一部分對於“學習”的基礎性問題給齣初步而準確的定義。我們會介紹Valiant提齣的“概率近似正確(PAC)”可學習模型的通用形式,它將是對“何為學習”這一問題的第一個有力迴答。我們還會介紹“經驗風險最小化(ERM)”“結構風險最小化(SRM)”和“最小描述長度(MDL)”這幾個學習規則,展現“機器是如何學習的”。我們量化使用ERM、SRM和MDL規則學習時所需的數據總量,並用“沒有免費的午餐”定理說明,什麼情況下學習可能會失敗。此外,我們還探討瞭學習需要多少計算時間。本書第二部分介紹多種算法。對於一些算法,我們先說明其主要學習原則,再介紹該算法是如何依據其原則運作的。前兩部分將重點放在PAC模型上,第三部分將範圍擴展到更廣、更豐富的學習模型。最後,第四部分討論最前沿的理論。
我們盡量讓本書能夠自成一體,不過我們假設讀者熟悉概率論、綫性代數、數學分析和算法設計的基本概念。前三部分為計算機科學、工程學、數學和統計學研究生一年級學生設計,具有相關背景的本科生也可以使用。高級章節適用於想要對理論有更深入理解的研究者。
緻謝Understanding Machine Learning:From Theory to Algorithms本書以“機器學習 深入理解機器學習:從原理到算法 下載 mobi epub pdf txt 電子書 格式
深入理解機器學習:從原理到算法 下載 mobi pdf epub txt 電子書 格式 2024
深入理解機器學習:從原理到算法 下載 mobi epub pdf 電子書和自己的英文版對照
評分好好學習天天嚮上,繼續提升
評分還行吧,數學公式比較多,看著挺復雜??
評分監控你明明你你的歌1丁寜明明你明明過敏明明哦
評分很好很好很好很好
評分質量還不錯,挺好
評分好書,內容規劃閤理,還是有比較多的人理論推導過程,看著會比較費力
評分有點偏理論,公式特彆多。
評分不錯,很好的不錯,很好的不錯,很好的
深入理解機器學習:從原理到算法 mobi epub pdf txt 電子書 格式下載 2024