　　全书共包含18个章节，从概率密度、贝叶斯决策理论引入样本学习的基本概念，进而介绍了近邻域学习、核学习及神经网络学习，在此基础上探讨了PCA学习、VC维概念、函数估计问题等，后重点介绍了非常实用的支持向量机SVM及Boosting方法。各章均包含小结、附录、习题及参考资料，非常适合于大专院校计算机及电气工程类硕博士研究生及高年级学生作为教学参考书。

译者序
前言
第1章引言：分类、学习、
特征及应用
1.1范围
1.2为什么需要机器学习？
1.3一些应用
1.3.1图像识别
1.3.2语音识别
1.3.3医学诊断
1.3.4统计套利
1.4测量、特征和特征向量
1.5概率的需要
1.6监督学习
1.7小结
1.8附录：归纳法
1.9问题
1.10参考文献
第2章概率
2.1一些基本事件的概率
2.2复合事件的概率
2.3条件概率
2.4不放回抽取
2.5一个经典的生日问题
2.6随机变量
2.7期望值
2.8方差
2.9小结
2.10附录：概率诠释
2.11问题
2.12参考文献
第3章概率密度
3.1一个二维实例
3.2在[0,1]区间的随机数
3.3密度函数
3.4高维空间中的概率密度
3.5联合密度和条件密度
3.6期望和方差
3.7大数定律
3.8小结
3.9附录:可测性
3.10问题
3.11参考文献
第4章模式识别问题
4.1一个简单例子
4.2决策规则
4.3成功基准
4.4最佳分类器：贝叶斯决策
规则
4.5连续特征和密度
4.6小结
4.7附录：不可数概念
4.8问题
4.9参考文献
第5章最优贝叶斯决策规则
5.1贝叶斯定理
5.2贝叶斯决策规则
5.3最优及其评论
5.4一个例子
5.5基于密度函数的贝叶斯定理
及决策规则
5.6小结
5.7附录：条件概率的定义
5.8问题
5.9参考文献
第6章从实例中学习
6.1概率分布知识的欠缺
6.2训练数据
6.3对训练数据的假设
6.4蛮力学习方法
6.5维数灾难、归纳偏置以及
无免费午餐原理
6.6小结
6.7附录:学习的类型
6.8问题
6.9参考文献
第7章最近邻规则
7.1最近邻规则
7.2最近邻规则的性能
7.3直觉判断与性能证明框架
7.4使用更多邻域
7.5小结
7.6附录:当人们使用最近邻域
进行推理时的一些问题
7.6.1谁是单身汉?
7.6.2法律推理
7.6.3道德推理
7.7问题
7.8参考文献
第8章核规则
8.1动机
8.2最近邻规则的变体
8.3核规则
8.4核规则的通用一致性
8.5势函数
8.6更多的通用核
8.7小结
8.8附录：核、相似性和特征
8.9问题
8.10参考文献
第9章神经网络:感知器
9.1多层前馈网络
9.2神经网络用于学习和分类
9.3感知器
9.3.1阈值
9.4感知器学习规则
9.5感知器的表达能力
9.6小结
9.7附录：思想模型
9.8问题
9.9参考文献
第10章多层神经网络
10.1多层网络的表征能力
10.2学习及S形输出
10.3训练误差和权值空间
10.4基于梯度下降的误差最小化
10.5反向传播
10.6反向传播方程的推导
10.6.1单神经元情况下的推导
10.6.2多层网络情况下的推导
10.7小结
10.8附录:梯度下降与反射平衡
推理
10.9问题
10.10参考文献
第11章可能近似正确（PAC）
学习
11.1决策规则分类
11.2来自一个类中的最优规则
11.3可能近似正确准则
11.4PAC学习
11.5小结
11.6附录：识别不可辨元
11.7问题
11.8参考文献
第12章VC维
12.1近似误差和估计误差
12.2打散
12.3VC维
12.4学习结果
12.5举例
12.6神经网络应用
12.7小结
12.8附录:VC维与波普尔
（Popper）维度
12.9问题
12.10参考文献
第13章无限VC维
13.1类层次及修正的PAC准则
13.2失配与复杂性间的平衡
13.3学习结果
13.4归纳偏置与简单性
13.5小结
13.6附录：均匀收敛与泛
致性
13.7问题
13.8参考文献
第14章函数估计问题
14.1估计
14.2成功准则
14.3最优估计：回归函数
14.4函数估计中的学习
14.5小结
14.6附录：均值回归
14.7问题
14.8参考文献
第15章学习函数估计
15.1函数估计与回归问题回顾
15.2最近邻规则
15.3核方法
15.4神经网络学习
15.5基于确定函数类的估计
15.6打散、伪维数与学习
15.7结论
15.8附录：估计中的准确度、
精度、偏差及方差
15.9问题
15.10参考文献
第16章简明性
16.1科学中的简明性
16.1.1对简明性的明确倡导
16.1.2这个世界简单吗?
16.1.3对简明性的错误诉求
16.1.4对简明性的隐性诉求
16.2排序假设
16.2.1两种简明性排序法
16.3两个实例
16.3.1曲线拟合
16.3.2枚举归纳
16.4简明性即表征简明性
16.4.1要确定表征系统吗?
16.4.2参数越少越简单吗?
16.5简明性的实用理论
16.6简明性和全局不确定性
16.7小结
16.8附录:基础科学和统计学习
理论
16.9问题
16.10参考文献
第17章支持向量机
17.1特征向量的映射
17.2间隔最大化
17.3优化与支持向量
17.4实现及其与核方法的关联
17.5优化问题的细节
17.5.1改写分离条件
17.5.2间隔方程
17.5.3用于不可分实例的松弛
变量
17.5.4优化问题的重构和求解
17.6小结
17.7附录:计算
17.8问题
17.9参考文献
第18章集成学习
18.1弱学习规则
18.2分类器组合
18.3训练样本的分布
18.4自适应集成学习算法
（AdaBoost）
18.5训练数据的性能
18.6泛化性能
18.7小结
18.8附录：集成方法
18.9问题
18.10参考文献

前言/序言

　　本书为新兴领域的统计学习理论提供了一个宽泛和易于理解的入门性介绍，这一领域的发展源于对模式识别和机器学习、非参数统计、计算机科学、语言学中的语言学习和认知心理学、哲学问题中的归纳法以及哲学和科学方法论等学科与技术的研究。
　　本书是“学习理论与认知论”课程的非常好的入门教材，目前已在普林斯顿大学电气工程专业的教学中使用。“学习理论与认知论”课程并没有特定的基础要求，向所有对其感兴趣的学生开放，包括新生、主修科学的高年级学生，以及来自工程、人文、社会科学的学生。虽然许多材料技术性较强，但是我们发现大部分学生可以体会和领悟本书的要点。
　　模式识别的工程研究关注的是基于一个有用的方法研发出的自动化系统来区分不同的输入模式。为邮局开发的系统用于如何扫描手写地址并将邮件排序，制造商关注如何设计一个计算机系统把普通的谈话内容进行文字转录，还有诸如计算机能否用来分析医学图像，进而做出诊断等此类问题。
　　机器学习提供了对一些模式识别问题进行求解的有效方法。它可能是采用受过训练的系统来识别手写邮政编码，或能使自动化系统与用户进行交互使其学会实现对语音的识别；也许是使用机器学习算法来开发一套医学图像分析系统。
　　机器学习和模式识别也关注学习系统所包含的一般原则。一种系统化的方法技术非常有用，因为我们并不是从无到有开发算法并在每个新的应用程序中特设某一种方式。评估一个学习系统的性能所采用的技术也是非常重要的。对学习算法的实践环节而言，知道什么是可实现的，什么是可用的评价基准，并提出新的技术也同等重要。
　　这些问题也出现在认知论与哲学问题中。我们能学到什么？以及我们如何进行学习？我们能够从其他思想和外部世界学到什么？通过归纳法我们又能学到什么？哲学问题的归纳法关注的是如何在归纳推理的基础上学到一些新东西。而给定的事实是归纳推理前提的真实性无法保证其结论的真实性。这个问题没有唯一解，这并不是因为无解，而是因为有太多解，这取决于采用什么学习方法。在本书中，我们解释了如何根据归纳形成各种不同的解决方案。
　　因此，我们希望本书能为广大读者在统计学习理论中提供一个简便的入门性介绍。对于那些对学习理论或实际算法的深入研究感兴趣的读者，我们希望本书提供给他们一个有益的出发点。而对于那些对一般的认知论和哲学感兴趣的读者，我们希望本书有助于他们从其他领域中领悟一些重要的想法。对其他读者而言，我们也希望本书有助于他们对统计学习理论有更深层次的理解，因为它揭示了学习的本质及其限制，这也是人工智能的核心进展。
　　感谢普林斯顿大学本科教育创新课程发展250周年纪念基金的资助。RajeevKulkarni对全书提供了非常有用的意见。JoelPredd和MayaGupta提供了许多宝贵的意见。此外，感谢JoshuaHarris对本书的仔细审读。同时也感谢几年来，我的助教和学生们一起对该课程内容的讨论。谢谢！
　　在工程应用及商务分析中，非常重要的任务之一是能够从小样本数据中进行快速机器学习。统计学习理论(SLT)给出了从少量数据样本中抽取模式及其关系的理论基础,这个学习机理的核心是平衡所有解决方案之间的性能与复杂度从而找出最优的解决方案。
　　支持向量机(SVM)提供的学习能力来自于对统计学习理论的深度数学分析，其学习过程是基于有限的观测值来估计系统的未知关系及其结构的过程。统计学习理论给出了设计这样一个经验主义机器学习的数学条件，这为在精确地表达已有数据和处理未知数据之间保持最佳的平衡提供了解决方案。SVM的主要优点表现在：①从小样本数据记录中学习；②模型复杂度可控（SVM可以通过调整一些参数对模型的复杂性进行直接的控制）；③奇异点检测与数据压缩。SVM的主要缺点表现在：①黑盒模型（SVM模型的可解释性要比理解神经网络具有更大的挑战性）；②市场推广困难（解释SVM及其统计学习理论基础需要深厚的数学背景知识及模式识别经验，甚至对一个经验丰富的研究人员来说都是一个挑战）。
　　近年来，基于深度神经网络的机器学习理论研究风靡人工智能学术领域，在工业界的应用也崭露头角，引人瞩目的事件是2016年谷歌公司的AlphaGo战胜世界围棋冠军李世石。一个错误的观点是认为深度学习神经网络将要取代传统的浅层人工神经网络以及基于统计学习理论的SVM。不可取代的原因在于：其一，科学理论的发展有其自身的规律性，成为学术热点并不代表着会成为核心应用技术；其二，深度学习对复杂异构大数据模式的机器学习较为有效，而对规范的小数据模式SVM则是利器；其三，统计学习理论与深度学习的融合或许会对大数据时代的人工智能发展起到一定的推动作用，已发表的基于SVM的深度学习及深度SVM就是例证。
　　本书以通俗易懂的方式提供了统计学习理论与机器学习及模式识别的基本概念及常用算法，这包括概率密度函数、贝叶斯决策、最近邻规则、人工神经网络、VC维、函数估计问题、支持向量机、集成学习等，适合作为高校研究生及本科生的人工智能、机器学习等课程的教学用书及自学参考书。
　　本书的出版得到西安石油大学优秀学术著作出版基金的支持，在此表示感谢！
　　程国建

统计学习理论基础下载 mobi epub pdf txt 电子书格式