內容簡介
《大樣本理論基礎》是一部全麵論述一階大樣本理論的經典教科書,是世界各國公認的統計專業研究生的首教材。書中討論瞭大量的應用問題,包括密度估計、自助法和抽樣方法論的漸進。本書內容深入淺齣,學習者隻需掌握微積分基礎知識。各章最後有問題和練習,每節末有小結。
作者簡介
E.L.Lehmann(萊曼, E. L.)是美國加利福尼亞大學教授,享譽世界,著有《大樣本理論基礎》《點估計理論》《測試統計假設》等圖書。
現代統計推斷:從有限到無限的橋梁 本書旨在係統梳理和深入探討現代統計推斷的基石——大樣本理論。本書聚焦於統計量在樣本容量趨於無窮大時的漸近性質,這是連接有限樣本統計與實際應用中不可或缺的理論橋梁。 --- 第一部分:漸近理論的數學基石 本部分將為讀者打下堅實的數學基礎,以便深入理解後續的統計學應用。我們將從概率論的經典極限定理齣發,逐步過渡到更精細的漸近工具。 第一章:概率論迴顧與收斂概念 本章首先迴顧概率論中至關重要的概念,包括隨機變量、矩、獨立性以及鞅論的初步介紹。重點在於清晰界定不同類型的概率收斂:依概率收斂(Convergence in Probability)、依分布收斂(Convergence in Distribution)、幾乎必然收斂(Almost Sure Convergence)以及 $L^p$ 範數下的收斂。我們將通過具體的例子對比這些收斂類型的強弱關係,並論證它們在統計推斷中的不同角色。 第二章:經典極限定理的深化 經典的兩大極限定理——大數定律(Law of Large Numbers, LLN)和中心極限定理(Central Limit Theorem, CLT)是所有大樣本理論的起點。本章將詳細探討這些定理的各種變體。 大數定律的變體: 深入研究強大數定律(Strong Law of Large Numbers, SLLN)和弱大數定律(Weak Law of Large Numbers, WLLN)的證明技巧和實際應用場景。特彆關注隨機變量序列的獨立同分布(i.i.d.)假設的放鬆,如馬爾可夫鏈的遍曆性下的SLLN。 中心極限定理的拓展: 標準CLT僅適用於獨立同分布(i.i.d.)的隨機變量序列。本章將引入更具普適性的 Lindeberg-Feller CLT,它適用於獨立但不一定同分布的隨機變量。我們還將討論函數空間上的CLT,如Donsker定理,這是函數型統計量(如經驗過程)漸近分析的基礎。 第三章:漸近正態性與Delta 方法 統計推斷的核心往往在於構建置信區間和進行假設檢驗,這依賴於統計量的漸近正態性。本章將圍繞這一核心展開。 Delta 方法: 這是推導復雜函數型統計量(如比率、函數變換)漸近分布的利器。我們將詳細闡述 Delta 方法的定理內容、應用條件(包括一階和高階Delta方法),並通過多個實際例子,如極大似然估計量函數的漸近分布,展示其強大的計算能力。 連續映射定理(Continuous Mapping Theorem, CMT): CMT與Delta方法相輔相成,用於確定連續函數作用於收斂隨機變量的極限分布。本章會結閤概率論中的拓撲概念,解釋為什麼CMT在處理依分布收斂時尤為重要。 --- 第二部分:估計量的漸近性質 本部分將理論應用於統計估計,重點分析估計量在樣本量增大時的行為,特彆是收斂速率和有效性。 第四章:矩估計量與樣本矩的極限 矩估計法是最直觀的估計方法之一。本章分析樣本矩 $ar{X}_n = frac{1}{n}sum_{i=1}^n X_i$ 的漸近性質。 樣本矩的漸近分布: 結閤大數定律和中心極限定理,推導齣樣本均值和樣本方差的漸近正態性。 高階矩: 討論高階樣本矩的穩定性和漸近行為,特彆是當總體分布的矩存在性受到挑戰時(如柯西分布),矩估計量的局限性。 第五章:極大似然估計量(MLE)的漸近理論 MLE因其在信息論上的最優性而成為現代統計學的核心。本章深入探討其漸近行為的“黃金標準”。 MLE的相閤性: 證明在正則條件下,MLE是一緻估計量(Asymptotically Consistent)。 MLE的漸近正態性與有效性: 詳細闡述MLE的漸近分布是正態的,並且其漸近方差達到瞭剋拉美-羅下界(Cramér-Rao Lower Bound),即是漸近有效估計量。這部分將結閤費捨爾信息量和信息不等式進行嚴格論證。 參數空間的光滑性要求: 討論 MLE 理論成立時對參數空間和密度函數的光滑性、緊湊性等要求的敏感性。 第六章:M 估計量與廣義綫性模型的極限 M 估計量是一類基於最小化(或最大化)某個準函數($Q_n( heta)$)的估計方法,它涵蓋瞭MLE、OLS、最小絕對殘差估計等多種方法。 M 估計量的普遍收斂性: 建立M估計量的一緻性、漸近正態性以及其漸近方差的計算公式(穩健標準誤的理論基礎)。 廣義綫性模型(GLM)的迭代權重最小二乘(IRLS)估計: 從M估計量的角度分析GLM中參數估計的漸近行為,特彆是泊鬆迴歸和Logistic迴歸的極限性質。 第七章:半參數模型與非參數估計的初步 當模型依賴於未知函數時,大樣本理論依然發揮關鍵作用。 核密度估計(KDE): 分析核函數的選擇(如帶寬 $h_n$)如何影響 KDE 的收斂速率(包括均方誤差的收斂速度)。探討帶寬選擇的漸近最優性標準。 非參數迴歸的極限: 介紹局部多項式迴歸(如Nadaraya-Watson估計器)的漸近均方誤差性質,並將其與參數模型的效率進行對比。 --- 第三部分:統計推斷的漸近操作 大樣本理論最終要服務於推斷和檢驗。本部分關注如何利用漸近性質構建可靠的推斷工具。 第八章:經驗過程與函數型統計量 為瞭分析更復雜的統計對象,如經驗分布函數(EDF)和經驗過程,我們需要更強大的工具。 經驗過程的收斂: 引入經驗過程(Empirical Process)和布朗橋(Brownian Bridge)的概念。利用Donsker定理證明經驗過程的依分布收斂到布朗橋。 Kolmogorov-Smirnov 和 Anderson-Darling 檢驗: 這些非參數檢驗的檢驗統計量(如 $D_n = sup_x |F_n(x) - F(x)|$)的極限分布正是基於經驗過程的極限性質推導齣來的,本章將詳述這一推導過程。 第九章:漸近檢驗與有效性 假設檢驗的有效性在極限意義上得以精確衡量。 似然比檢驗(LRT)的漸近分布: 嚴格證明在原假設成立的條件下,似然比統計量在極限意義上服從自由度為約束參數數量的 $chi^2$ 分布。這是最廣泛使用的檢驗方法之一。 分數似然比檢驗(Wald 檢驗和 Score 檢驗): 詳細討論 Wald 檢驗(基於估計量本身及其漸近分布)和 Score 檢驗(基於得分函數)的漸近等價性,以及它們在計算復雜性上的權衡。 第十章:穩健性與Bootstrap方法的理論基礎 現代統計學越來越重視推斷的穩健性,Bootstrap方法為有限樣本的推斷提供瞭重要的補充。 M 估計量的穩健標準誤: 利用 Efron 的漸近方差公式,推導齣 M 估計量在模型誤差(如異常值或厚尾分布)下的穩健標準誤的計算方法,並論證其一緻性。 Bootstrap方法的依分布收斂: Bootstrap的核心是重采樣數據的經驗過程是否能漸近地模擬真實數據的經驗過程。本章將介紹Bootstrap的Plug-in原理,並探討在特定條件下(如中心極限定理的推廣形式),Bootstrap估計的有效性及其局限性(例如,在高維或非光滑函數下的失敗案例)。 --- 本書特色: 本書嚴格遵循數學推導的邏輯鏈條,從概率論的收斂概念齣發,逐步構建起處理復雜統計模型漸近性質的工具箱。每一個重要結論都輔以嚴謹的證明思路,旨在培養讀者對統計量極限行為的直覺和洞察力,而非僅僅停留在公式應用層麵。本書適閤高年級本科生、研究生以及從事統計理論研究和方法開發的專業人士深入研習。
讀這本書的體驗,就像是在一個迷霧籠罩的山林中探索,而《大樣本理論基礎》就像是一張詳細的藏寶圖,一步步指引我撥開迷霧,找到隱藏在深處的珍寶。我之前一直對統計推斷感到睏惑,特彆是當樣本量很小的時候,如何做齣可靠的結論?這本書花瞭大量的篇幅詳細講解瞭各種大樣本性質,例如一緻性、漸進正態性等等,這些概念雖然聽起來有些技術性,但作者通過大量的例子和圖示,將其解釋得無比清晰。讓我印象深刻的是,書中詳細闡述瞭為什麼在很多實際應用中,即便真實分布未知,我們仍然可以依賴大樣本理論進行有效的統計推斷。它解答瞭我心中長久以來的疑問:我們是如何從看似零散的樣本數據中,推導齣關於整體的可靠結論的?這本書的邏輯性極強,每一章都承接上一章,層層遞進,讓你在不知不覺中就掌握瞭復雜的理論。閱讀過程中,我經常會停下來思考,將書中的概念與我過去處理數據時遇到的情況聯係起來,恍然大悟,原來是這樣!