内容简介
非参数统计是21世纪统计理论的三大发展方向之一。它不假定特定的总体分布,简单、稳健、适用。非参数统计不仅是统计类专业的必修课,也是统计应用工作者必须掌握的基本方法和思想。《非参数统计:基于R语言案例分析》从问题背景与动机、方法引进、理论基础、计算机R语言实现、应用实例等诸多方面来介绍非参数方法,其内容包括:符号检验、Wilcoxon检验、Kendall相关、列联表、Kolmogorov-Smirnov检验、非参数核密度估计和回归等。《非参数统计:基于R语言案例分析》不仅可以作为非参数统计的教科书,也可以作为查询非参数方法的快捷参考书。
作者简介
柳向东,湖南浏阳人,博士、副教授、系党总支书记、硕士研究生导师。教授“非参数统计”等课程,发表学术论文20余篇,其中多篇被SCI和EI收录,获教育部留学回国人员科研启动基金,主持国家自然科学基金和教育部人文社科基金各1项,荣获校级优秀教师等称号,获2项国家专利,曾访学美国密苏里大学1年。
内页插图
目录
前言
1 统计推断
1.1 总体、样本与统计量
1.1.1 总体
1.1.2 样本
1.1.3 目标总体与样本总体
1.1.4 随机样本
1.1.5 多元随机变量
1.1.6 度量尺度
1.1.7 统计量
1.1.8 顺序统计量与秩
1.2 估计
1.2.1 经验分布函数
1.2.2 估计量
1.2.3 标准误差
1.2.4 无偏估计量
1.2.5 渐近置信区间
1.2.6 自助法
1.2.7 一般参数估计
1.2.8 生存函数
1.2.9 Kaplan-Meier估计
1.3 假设检验
1.3.1 临界域
1.3.2 错误类型
1.3.3 显著性水平
1.3.4 零分布
1.3.5 功效
1.3.6 检验的p值
1.3.7 计算机辅助
1.3.8 假设检验的性质
1.3.9 无偏检验
1.3.10 相合检验
1.3.11 相对效率
1.3.12 渐近相对效率
1.3.13 保守检验
1.4 非参数统计评述
1.4.1 使用优良方法
1.4.2 参数方法
1.4.3 稳健方法
1.4.4 非参数方法
1.4.5 渐近分布自由
1.4.6 非参数的定义
复习题
思考题
2 符号检验
2.1 二项检验与p值的估计
2.1.1 二项检验
2.1.2 概率或总体比例的置信区间
2.2 分位数检验与x2的估计
2.2.1 分位数检验
2.2.2 分位数的置信区间
2.3 符号检验的一些变形
2.3.1 改变显著性检验
2.3.2 Cox-Stuart趋势性检验
案例分析
R语言代码示例
复习题
3 关于秩的位置、尺度和相关性检验
3.1 单样本模型
3.1.1 Wi.1 eoxon符号秩模型
3.1.2 正态记分模型
3.1.3 游程检验模型
3.2 两样本模型
3.2.1 Brown-Moodr中位数检验
3.2.2 wileoxon秩和检验
3.2.3 两样本尺度参数的检验
3.3 多样本模型
3.3.1 多个独立样本
3.3.2 多个相关样本
3.3.3 平衡的不完全区组设计
3.3.4 多样本尺度参数的检验
3.4 秩相关性与非参数线性回归
……
4 低维和高维列联表
5 Kolmogorov-Smimo~r型统计量与分布检验
6 非参数回归
7 R语言
参考文献
前言/序言
统计学研究的基石与前沿:一部聚焦经典方法的深度探索 本书旨在为读者提供一个关于统计学核心概念的全面而深入的理解,尤其侧重于那些不依赖于特定分布假设的稳健方法。我们不探讨非参数统计的特定应用,而是将焦点完全集中在传统参数统计框架下的基础理论、方法论构建以及在实际研究中的应用典范。 全书分为四个主要部分,系统地梳理了从描述性统计到推断性统计的完整逻辑链条,并详细阐述了在数据分析过程中至关重要的理论支撑。 --- 第一部分:统计学基础与数据描述的艺术 本部分是理解所有后续复杂分析的基石。我们首先从统计学的基本概念入手,阐明概率论在数据科学中的不可或缺性。 第一章:统计学导论与基本概念重申 本章深入剖析了统计学的基本目标——从样本信息推断总体特征。我们详细区分了描述性统计(Descriptive Statistics)与推断性统计(Inferential Statistics)的边界与联系。内容涵盖了变量的类型(名义、顺序、区间、比率)及其对后续分析选择的决定性影响。重点讨论了抽样理论的严谨性,包括简单随机抽样、分层抽样和系统抽样等经典方法的原理与实施细节,强调样本代表性对推断有效性的关键作用。 第二章:集中趋势与分散度的经典度量 本章专注于经典集中趋势的度量——均值(Mean)、中位数(Median)和众数(Mode)的数学定义、几何意义及其在不同数据分布下的适用性比较。我们将详尽分析算术平均数对极端值的敏感性问题,并引入方差(Variance)和标准差(Standard Deviation)作为衡量数据离散程度的黄金标准。同时,本章还会详细讲解四分位数间距(IQR)的计算及其在数据可视化中的作用,为后续箱线图的理解打下基础。此外,我们还会探讨矩(Moments)的概念,特别关注偏度(Skewness)和峰度(Kurtosis)如何帮助我们评估数据分布形态是否接近理想的正态分布。 第三章:数据可视化与探索性数据分析(EDA)的规范 本章聚焦于如何通过图形化手段有效地传达统计信息。我们详细介绍并规范了多种经典图表的使用场景:直方图(Histograms)如何直观展示数据分布的形状;散点图(Scatter Plots)如何揭示变量间的线性或非线性关系;条形图(Bar Charts)在类别数据展示中的优势。本章强调了数据清洗过程中EDA的重要性,包括识别异常值、缺失值模式,并讨论了如何根据数据分布形态来初步选择合适的参数检验方法。 --- 第二部分:概率论基础与参数分布的严格考察 本部分是理解统计推断的理论核心。我们不触及任何非参数分布假设的检验,而是专注于经典参数方法所依赖的概率模型。 第四章:概率论基础与随机变量 本章重申了古典概率、几何概率和频率概率的定义,并详细阐述了条件概率、独立事件与全概率公式。核心内容是随机变量的数学构建,包括离散型随机变量的概率质量函数(PMF)和连续型随机变量的概率密度函数(PDF)。 第五章:核心参数概率分布的深入解析 本章是参数统计的理论基石。我们对几种最关键的单变量和多变量连续/离散分布进行详尽的数学推导和特性分析: 二项分布(Binomial)与泊松分布(Poisson): 重点分析其参数(n, p; $lambda$)的意义及其在大量独立事件试验中的应用。 正态分布(Normal Distribution): 作为所有参数检验的“磐石”,本章将深入探讨其在均值 $mu$ 和方差 $sigma^2$ 下的特性,并详细介绍标准正态分布(Z-分布)的查表方法及其在标准化过程中的理论依据。 指数分布(Exponential)与伽马分布(Gamma): 考察它们在描述等待时间与持续时间模型中的作用。 第六章:抽样分布与中心极限定理 本章阐述了从样本到总体的桥梁——抽样分布。我们将严格论证中心极限定理(Central Limit Theorem)的数学表达,解释为何即使原始总体不服从正态分布,样本均值的分布也会趋于正态。此外,本章还将详细介绍学生t分布(t-distribution)、卡方分布(Chi-Squared Distribution)和F分布(F-distribution)的定义、自由度的确定及其在不同推断场景(如方差估计、ANOVA)中的特定作用。 --- 第三部分:参数估计与假设检验的经典框架 本部分将推断性统计的两个主要分支——参数估计和假设检验——进行系统化梳理,完全基于参数模型的框架下进行讨论。 第七章:参数估计的理论与方法 本章专注于如何利用样本数据对总体参数进行点估计(Point Estimation)和区间估计(Interval Estimation)。 点估计: 详细讲解矩估计法(Method of Moments, MoM)和极大似然估计法(Maximum Likelihood Estimation, MLE)的原理、构造步骤及其优劣对比。 区间估计: 重点阐述置信区间(Confidence Interval)的数学构造,包括基于Z统计量和t统计量的置信区间的推导过程,并强调置信水平(Confidence Level)的统计学解释,例如“95%置信区间”的准确含义。 第八章:经典参数假设检验的逻辑 本章构建了假设检验的逻辑框架。我们明确定义原假设 ($H_0$) 与备择假设 ($H_a$),并详细阐述了第一类错误 ($alpha$) 和第二类错误 ($eta$) 的概念,以及统计功效(Power)的重要性。本章将规范检验的五个步骤:陈述假设、选择显著性水平、计算检验统计量、确定P值(P-value)或临界值、做出决策。 第九章:单样本与双样本均值/比例的Z检验与t检验 本章集中讨论最常用的参数检验: Z检验: 适用于已知总体标准差或大样本情况下的均值检验。 单样本t检验: 讨论样本数据均值是否显著偏离已知总体均值。 独立样本t检验(Independent Samples t-test): 重点分析独立性假设的重要性,并详细推导了方差齐性(Homogeneity of Variances)假设下(合并方差)和方差不齐假设下(Welch’s t-test的原理基础)的检验统计量。 配对样本t检验(Paired Samples t-test): 分析如何将配对数据转化为单样本问题进行检验。 --- 第四部分:方差分析与经典回归模型 本部分将参数推断的范围扩展到多组比较和变量关系建模,完全建立在线性模型和正态性假设之上。 第十章:经典单因素方差分析(One-Way ANOVA) 本章深入探讨如何利用F检验比较三个或更多独立样本的均值是否存在差异。内容包括平方和的分解(SST, SSA, SSE)的数学意义,自由度的分配,以及ANOVA表的构建与解释。我们严格论证了ANOVA分析的两个核心前提:总体正态性与方差齐性。同时,本章会详细讨论事后检验(Post-Hoc Tests)的必要性及其经典方法,如Tukey’s HSD(但这只是在参数框架下进行事后比较的范例,并非探讨非参数的后续方法)。 第十一章:经典线性回归模型的构建与评估 本章完全聚焦于基于最小二乘法(Ordinary Least Squares, OLS)的参数回归模型。 简单线性回归: 详细推导回归系数 ($hat{eta}_0, hat{eta}_1$) 的计算公式,并分析残差(Residuals)的性质。 模型评估: 深入解释决定系数 ($R^2$) 的含义,以及如何利用t检验和F检验来评估模型的整体显著性和单个预测变量的显著性。 回归诊断: 重点在于诊断模型的四个关键经典假设:残差的正态性(通过QQ图检查)、残差的独立性(Durbin-Watson 检验的原理)、方差齐性(残差散点图的形态)以及是否存在多重共线性(VIF的计算)。 第十二章:推论统计的经典扩展:卡方检验与相关分析 本章介绍处理频数数据和度量线性关联的经典参数工具。 皮尔逊相关系数(Pearson's Correlation Coefficient): 详细阐述其计算公式,它如何度量两个连续变量间的线性关联强度,以及对相关系数进行t检验的理论依据。 卡方检验: 专注于拟合优度检验(Goodness-of-Fit Test)和独立性检验(Test of Independence)。本章严格限定于使用卡方统计量,分析其自由度的确定,以及如何根据期望频数来解释结果,完全不涉及对有序数据的非参数处理。 --- 本书的宗旨是通过对上述经典参数统计学方法的严谨阐释,为读者建立一个坚实、可靠的统计学思维框架,确保读者能够熟练掌握主流学术研究和工业分析中所依赖的核心工具集。
我一直认为,统计学不仅仅是冰冷的公式和抽象的理论,更是理解世界、洞察现象的强大武器。而“非参数统计”这个方向,更是将这种“理解”的可能性推向了更广阔的边界。在处理一些非典型分布的数据集,或者在样本量不足以进行参数检验的情况下,传统的统计方法常常显得力不从心。这个时候,非参数统计的智慧就显得尤为珍贵。它提供了一系列无需严格分布假设的检验和模型,让我在面对真实、复杂的数据时,能够更加自信和从容。这本书的书名,《非参数统计:基于R语言案例分析》,恰好点燃了我对这一领域深入学习的渴望。R语言,作为我日常工作中不可或缺的数据分析工具,其强大的统计计算库和灵活的编程能力,与非参数统计的结合,无疑是强强联合。我尤其期待书中能够通过精心设计的案例,将抽象的统计概念具象化,让我能够亲手在R语言环境中实践,理解这些方法背后的逻辑,并学会如何根据具体问题选择合适的非参数统计方法。这本书不仅仅是知识的传授,更是解决实际问题的实操指南,我希望能借此提升自己分析数据的能力,解锁更多的数据分析可能性。