YL13112  9787121333569 9787115472618

稀疏建模理论、算法及其应用稀疏建模与现代统计学、信号处理、机器学习联系密切，可以实现从相对较少的观测数据精确复原待估信号，广泛应用于图像重构、数据的参数学习模型、故障诊断、模式识别与雷达信号处理等领域。本书详细讨论了稀疏建模的相关内容，包括对稀疏解产生的问题描述、寻找稀疏解的求解算法、稀疏复原的理论成果以及应用实例等。封底文字：稀疏模型在一些科学应用领域（如基因或神经成像数据中的生物标记发现）特别有用，预测模型的可解译性是其根本的特点。稀疏性可以极大地提高信号处理的成本效益。《稀疏建模理论、算法及其应用》一书提供了对稀疏建模领域的介绍，包括应用实例、产生稀疏解的问题描述、用于寻找稀疏解的算法以及稀疏复原领域中近的理论成果。该书将带读者了解稀疏建模有关的新进展，增加对该领域的理解，激发在该领域深入学习的兴趣。在本书中，作者首先提出引导性示例，并对稀疏建模领域的关键新进展进行较高层次的探索。然后，该书描述了常用的强化稀疏的工具中涉及的优化问题，给出了本质性的理论结果，并讨论了若干寻找稀疏解的新算法。作者接下来研究了稀疏复原问题，将基本形式扩展到更复杂的结构性稀疏问题与不同的损失函数。该过程也检验了一类特定的稀疏图形模型，并涵盖了字典学习与稀疏矩阵分解内容。本书特色● 介绍了稀疏建模与信号复原中的一些关键概念与主要结果；● 涵盖了稀疏建模的基本理论、新的算法与方法，以及实际应用；● 描述了流行的强化稀疏方法，如l0与l1范数小化；● 研究了稀疏建模领域中若干快速发展的子领域，如稀疏高斯马尔可夫随机场、结构性稀疏、字典学习与稀疏矩阵分解。

1章 导论

1.1 引导性示例

1.1.1 计算机网络诊断

1.1.2 神经影像分析

1.1.3 压缩感知

1.2 稀疏复原简介

1.3 统计学习与压缩感知

1.4 总结与参考书目

2章 稀疏复原：问题描述

2.1 不含噪稀疏复原

2.2 近似

2.3 凸性： 简要回顾

2.4 问题（P0）的松弛

2.5 lq-正则函数对解的稀疏性的影响

2.6 l1范数小化与线性规划的等价性

2.7 含噪稀疏复原

2.8 稀疏复原问题的统计学视角

2.9 扩展LASSO：其他损失函数与正则函数

2.10 总结与参考书目

3章 理论结果（确定性部分）

3.1 采样定理

3.2 令人惊讶的实验结果

3.3 从不完全频率信息中进行信号复原

3.4 互相关

3.5 Spark与问题（P0）解的性

3.6 零空间性质与问题（P1）解的性

3.7 有限等距性质

3.8 坏情况下精确复原问题的平方根瓶颈

3.9 基于RIP的精确重构

3.10 总结与参考书目4章理论结果（概率部分）

4.1 RIP何时成立？

4.2 Johnson-Lindenstrauss引理与亚高斯随机矩阵的RIP

4.2.1 Johnson-Lindenstrauss集中不等式的证明

4.2.2 具有亚高斯随机元素的矩阵的RIP

4.3 满足RIP的随机矩阵

4.3.1 特征值与RIP

4.3.2 随机向量，等距随机向量

4.4 具有独立有界行的矩阵与具有傅里叶变换随机行的矩阵的RIP

4.4.1 URI的证明

4.4.2 一致大数定律的尾界

4.5 总结与参考书目

5章 稀疏复原问题的算法

5.1 一元阈值是正交设计的优方法

5.1.1 l0范数小化

5.1.2 l1范数小化

5.2 求解l0范数小化的算法

5.2.1 贪婪方法综述

5.3 用于l1范数小化的算法

5.3.1 用于求解LASSO的小角回归方法

5.3.2 坐标下降法

5.3.3 近端方法

5.4 总结与参考书目

6章 扩展LASSO：结构稀疏性

6.1 弹性网

6.1.1 实际中的弹性网：神经成像应用

6.2 融合LASSO

6.3 分组LASSO：l1/l2罚函数

6.4 同步LASSO：l1/l∞罚函数

6.5 一般化

6.5.1 块l1/lq范数及其扩展

6.5.2 重叠分组

6.6 应用

6.6.1 时间因果关系建模

6.6.2 广义加性模型

6.6.3 多核学习

6.6.4 多任务学习

6.7 总结与参考书目

7章 扩展LASSO：其他损失函数

7.1 含噪观测情况下的稀疏复原

7.2 指数族、 GLM与Bregman散度

7.2.1 指数族

7.2.2 广义线性模型

7.2.3 Bregman散度

7.3 具有GLM回归的稀疏复原

7.4 总结与参考书目

8章 稀疏图模型

8.1 背景

8.2 马尔可夫网络

8.2.1 马尔可夫性质：更为仔细的观察

8.2.2 高斯MRF

8.3 马尔可夫网络中的学习与推断

8.3.1 学习

8.3.2 推断

8.3.3 例子：神经影像应用

8.4 学习稀疏高斯MRF

8.4.1 稀疏逆协方差选择问题

8.4.2 优化方法

8.4.3 选择正则化参数

8.5 总结与参考书目

9章 稀疏矩阵分解：字典学习与扩展

9.1 字典学习

9.1.1 问题描述

9.1.2 字典学习算法

9.2 稀疏PCA

9.2.1 背景

9.2.2 稀疏PCA：合成视角

9.2.3 稀疏PCA：分析视角

9.3 用于盲源分离的稀疏NMF

9.4 总结与参考书目

后记

附录A 数学背景

参考文献

稀疏统计学习及其应用

稀疏统计模型只具有少数非零参数或权重，经典地体现了化繁为简的理念，因而广泛应用于诸多领域。本书就稀疏性统计学习做出总结，以 lasso方法为中心，层层推进，逐渐囊括其他方法，深入探讨诸多稀疏性问题的求解和应用；不仅包含大量的例子和清晰的图表，还附有文献注释和课后练习，是深入学习统计学知识的参考。 
本书适合算法、统计学和机器学习专业人士。第 1章引言 1 
第 2章 lasso线性模型 6 
2．1引言 6 
2．2 lasso估计 7 
2．3交叉验证和推断 10 
2．4 lasso解的计算 12 
2．4．1基于单变量的软阈值法 12 
2．4．2基于多变量的循环坐标下降法 13 
2．4．3软阈值与正交基 15 
2．5自由度 15 
2．6 lasso解 16 
2．7理论概述 17 
2．8非负 garrote 17 
2．9乌q惩罚和贝叶斯估计 19 
2．10一些观点 20 
习题 21 
第 3章广义线性模型 24 
3．1引言 24 
3．2逻辑斯蒂回归模型 26 
3．2．1示例：文本分类 27 
3．2．2算法 29 
3．3多分类逻辑斯蒂回归 30 
3．3．1示例：手写数字 31 
3．3．2算法 32 
3．3．3组 lasso多分类 33 
3．4对数线性模型及泊松广义线性模型 33 
3．5 Cox比例风险模型 35 
3．5．1交叉验证 37 
3．5．2预验证 38 
3．6支持向量机 39 
3．7计算细节及 glmnet 43 
参考文献注释 44 
习题 45 
第 4章广义 lasso惩罚 47 
4．1引言 47 
4．2弹性网惩罚 47 
4．3组 lasso 50 
4．3．1组 lasso计算 53 
4．3．2稀疏组 lasso 54 
4．3．3重叠组 lasso 56 
4．4稀疏加法模型和组 lasso 59 
4．4．1加法模型和 back．tting 59 
4．4．2稀疏加法模型和 back．tting 60 
4．4．3优化方法与组 lasso 61 
4．4．4稀疏加法模型的多重惩罚 64 
4．5融合 lasso 65 
4．5．1拟合融合 lasso 66 
4．5．2趋势滤波 69 
4．5．3近保序回归 70 
4．6非凸惩罚 72 
参考文献注释 74 
习题 75 
第 5章优化方法 80 
5．1引言 80 
5．2凸优化条件 80 
5．2．1优化可微问题 80 
5．2．2非可微函数和次梯度 83 
5．3梯度下降 84 
5．3．1无约束的梯度下降 84 
5．3．2投影梯度法 86 
5．3．3近点梯度法 87 
5．3．4加速梯度方法 90 
5．4坐标下降 92 
5．4．1可分性和坐标下降 93 
5．4．2线性回归和 lasso 94 
5．4．3逻辑斯蒂回归和广义线性模型 97 
5．5仿真研究 99 
5．6z小角回归 100 
5．7交替方向乘子法 103 
5．8优化–zui小化算法 104 
5．9双凸问题和交替zui小化 105 
5．10筛选规则 108 
参考文献注释 111 
附录 A lasso的对偶 112 
附录 B DPP规则的推导 113 
习题 114 
第 6章统计推断 118 
6．1贝叶斯 lasso 118 
6．2自助法 121 
6．3 lasso法的后选择推断 125 
6．3．1协方差检验 125 
6．3．2选择后推断的更广方案 128 
6．3．3检验何种假设 133 
6．3．4回到向前逐步回归 134 
6．4通过去偏 lasso推断 134 
6．5后选择推断的其他建议 136 
参考文献注释 137 
习题 138 
第 7章矩阵的分解、近似及填充 141 
7．1引言 141 
7．2奇异值分解 142 
7．3缺失数据和矩阵填充 143 
7．3．1 Net．x电影挑战赛 144 
7．3．2基于原子范数的矩阵填充 146 
7．3．3矩阵填充的理论结果 149 
7．3．4间隔分解及相关方法 153 
7．4减秩回归 154 
7．5通用矩阵回归框架 156 
7．6惩罚矩阵分解 157 
7．7矩阵分解的相加形式 160 
参考文献注释 164 
习题 165 
第 8章稀疏多元方法 169 
8．1引言 169 
8．2稀疏组成分分析 169 
8．2．1背景 169 
8．2．2稀疏主成分 171 
8．2．3秩大于 1的解 174 
8．2．4基于 Fantope投影的稀疏 PCA 176 
8．2．5稀疏自编码和深度学习 176 
8．2．6稀疏 PCA的一些理论 178 
8．3稀疏典型相关分析 179 
8．4稀疏线性判别分析 182 
8．4．1标准理论和贝叶斯规则 182 
8．4．2最近收缩中心 183 
8．4．3 Fisher线性判别分析 184 
8．4．4评分 188 
8．5稀疏聚类 190 
8．5．1聚类的一些背景知识 191 
8．5．2稀疏层次聚类 191 
8．5．3稀疏 K均值聚类 192 
8．5．4凸聚类 193 
参考文献注释 195 
习题 196 
第 9章图和模型选择 202 
9．1引言 202 
9．2图模型基础 202 
9．2．1分解和马尔可夫特性 202 
9．2．2几个例子 204 
9．3基于惩罚似然的图选择 206 
9．3．1高斯模型的全局似然性 207 
9．3．2图 lasso算法 208 
9．3．3利用块对角化结构 210 
9．3．4图 lasso的理论保证 211 
9．3．5离散模型的全局似然性 212 
9．4基于条件推断的图选择 213 
9．4．1高斯分布下基于近邻的似然概率 214 
9．4．2离散模型下基于近邻的似然概率 214 
9．4．3混合模型下的伪似然概率 217 
9．5带隐变量的图模型 218 
参考文献注释 219 
习题 221 ............

机器学习的基石：统计学习的深度探索 本书是一本深入浅出的统计学入门书籍，旨在为读者构建扎实的统计学基础，为进一步学习机器学习、数据科学等前沿领域打下坚实根基。全书内容涵盖统计学的核心概念、基本方法以及在实际问题中的应用，力求使读者在理解理论的同时，也能掌握实际操作的技能。 第一部分：统计学的基本概念与描述 本部分将带领读者走进统计学的大门，从最基本的概念入手，逐步理解数据所蕴含的信息。 数据的收集与整理： 我们将探讨不同类型的数据（如分类数据、数值数据）及其特点，学习如何有效地收集、分类和初步整理原始数据，为后续的分析做好准备。这包括理解样本与总体、随机抽样等基本原理。 数据的可视化： 视觉化的呈现是理解数据的重要手段。我们将介绍常用的统计图表，如直方图、箱线图、散点图、条形图等，并讲解如何根据数据的类型和分析目的选择合适的图表，从而直观地发现数据的分布特征、潜在的模式和异常值。 描述性统计： 为了量化数据的中心趋势和离散程度，我们将学习如何计算和解释均值、中位数、众数、方差、标准差、四分位距等描述性统计量。这些统计量能够简洁地概括数据集的主要特征。 第二部分：概率论基础与概率分布 概率论是统计学的重要基石，理解概率是进行统计推断的前提。 随机事件与概率： 本节将介绍随机事件的概念、概率的定义与性质，以及条件概率、独立事件等关键概念。我们将通过实例演示如何计算不同事件发生的概率。 随机变量与期望： 随机变量是将随机事件数值化的工具。我们将学习离散型和连续型随机变量的概念，并深入理解期望和方差的意义，它们是衡量随机变量取值“平均水平”和“波动大小”的关键指标。 常用概率分布： 我们将详细介绍几种在统计学和机器学习中扮演重要角色的概率分布，包括： 二项分布 (Binomial Distribution): 适用于描述独立重复试验中成功次数的概率。 泊松分布 (Poisson Distribution): 用于描述在给定时间或空间内某个事件发生的次数。 正态分布 (Normal Distribution)，又称高斯分布 (Gaussian Distribution): 自然界和许多统计现象都近似服从正态分布，我们将深入理解其“钟形”曲线的特征以及标准化正态分布的应用。 指数分布 (Exponential Distribution): 常用于描述事件发生的时间间隔。 均匀分布 (Uniform Distribution): 描述在一定区间内所有结果出现的概率均等的情况。 理解这些概率分布的特点及其适用场景，对于后续的统计建模至关重要。 第三部分：统计推断的核心：参数估计与假设检验 在收集和描述了数据之后，我们希望从样本数据中推断出关于总体的未知信息。 参数估计： 点估计： 我们将学习如何利用样本统计量（如样本均值、样本方差）来估计总体的未知参数（如总体均值、总体方差）。 区间估计： 更重要的是，我们将学习如何构建置信区间。置信区间提供了一个参数可能取值的范围，并伴随着一定的置信水平，这比单一的点估计更有信息量。我们将学习如何计算均值、比例的置信区间。 假设检验： 假设检验是用来判断一个关于总体的假设（原假设）是否能被样本数据所支持的统计方法。 基本原理： 我们将介绍假设检验的基本步骤，包括建立原假设和备择假设，选择检验统计量，确定拒绝域，以及根据样本数据做出决策（拒绝或不拒绝原假设）。 常见检验方法： 我们将学习几种常用的假设检验方法，如： t检验 (t-test): 用于比较两个样本均值是否存在显著差异，尤其是在样本量较小或总体方差未知时。 Z检验 (Z-test): 用于比较样本均值与已知总体均值，或比较两个样本比例是否存在显著差异。 卡方检验 (Chi-squared test): 主要用于检验分类变量之间的独立性，或拟合优度检验。 P值 (p-value): 我们将详细解释P值的含义及其在假设检验中的作用，帮助读者正确理解统计显著性。 第四部分：回归分析：探索变量间的关系 回归分析是研究变量之间数量关系的重要统计工具。 简单线性回归 (Simple Linear Regression): 我们将学习如何建立一个模型来描述一个因变量与一个自变量之间的线性关系。这包括理解回归方程的系数（截距和斜率）的含义，以及如何拟合最佳回归线。 回归模型的评估： 我们将学习如何评估回归模型的拟合优度，如计算决定系数 (R-squared)，以及如何进行残差分析来检查模型的假设条件是否满足。 多元线性回归 (Multiple Linear Regression): 进一步，我们将扩展到多元回归，学习如何同时考虑多个自变量对因变量的影响，并理解如何解释多个回归系数。 第五部分：统计学在实际中的应用 理论联系实际是本书的重要宗旨。 数据分析流程： 我们将梳理一个典型的数据分析流程，从明确问题、收集数据、数据清洗、探索性数据分析、建模、评估到结果解释和报告。 案例研究： 通过精心设计的案例，我们将展示统计学方法如何在不同领域（如市场营销、生物医学、金融、社会科学等）解决实际问题，帮助读者将所学知识应用于自己的研究或工作中。 软件工具的介绍（概念性）： 尽管本书侧重于理论和方法，但我们会简要提及常用的统计分析软件（如R, Python中的统计库，SPSS等）在实际操作中的作用，鼓励读者进一步探索。 本书特色： 循序渐进： 从基础概念到高级应用，逻辑清晰，由浅入深。 注重理解： 强调统计概念的直观理解，而非死记硬背公式。 实例丰富： 大量贴近现实的例子，帮助读者将理论应用于实践。 语言通俗： 避免过多的专业术语，力求用清晰易懂的语言阐述统计学原理。 为进阶学习铺路： 本书为希望深入学习机器学习、数据挖掘、计量经济学等领域的研究者和实践者提供了坚实的统计学基础。 通过学习本书，您将能够： 清晰地理解和运用统计学中的核心概念。 掌握描述和可视化数据的基本技能。 理解概率论在统计推断中的作用。 能够进行参数估计和假设检验，并解释结果的统计意义。 掌握构建和解释线性回归模型的基本方法。 为进一步探索更复杂的统计模型和机器学习算法打下坚实的基础。 本书不仅是一本教科书，更是一扇通往数据世界奥秘的窗户。它将帮助您培养严谨的思维方式，提升数据分析和决策能力。