國外數學名著係列6（影印版）：數值最優化 [Numerical Optimization] 下載 mobi epub pdf 電子書 在線閱讀 2026

編輯推薦

適讀人群 ：數學專業高年級本科生，運籌學、應用數學等相關專業研究生
本書運籌學、計算數學高年級本科生或研究生必讀書目，是數之**化一部經典之作。

內容簡介

　　本書作者現任美國西北大學教授，多種國際雜誌的主編、副主編。作者根據在教學、研究和谘詢中的經驗，寫瞭這本適閤學生和實際工作者的書。本書提供連續優化中大多數有效方法的全麵的新的論述。每一章從基本概念開始，逐步闡述當前可用的技術。
　　本書強調實用方法，包含大量圖例和練習，適閤廣大讀者閱讀，可作為工程、運籌學、數學、計算機科學以及商務方麵的研究生教材，也可作為該領域的科研人員和實際工作人員的手冊。
　　總之，作者力求本書閱讀性強，內容豐富，論述嚴謹，能揭示數值實用價值。

作者簡介

作者現任美國西北大學教授，多種國際**雜誌的主編、副主編。作者根據在教學、研究和谘詢中的經驗，寫瞭這本適閤學生和實際工作者的書。

內頁插圖

目錄

Preface
1 Introduction
Mathematical Formulation
Example： A Transportation Problem
Continuous versus Discrete Optimization
Constrained and Unconstrained Optimization
Global and Local Optimization
Stochastic and Deterministic Optimization
Optimization Algorithms
Convexity
Notes and References

2 Fundamentals of Unconstrained Optimization
2．1 What Is a Solution？
Recognizing a Local Minimum
Nonsmooth Problems
2．2 Overview of Algorithms
Two Strategies： Line Search and Trust Region
Search Directions for Line Search Methods
Models for Trust—Region Methods
Scaling
Rates of Convergence
R—Rates of Convergence
Notes and References
Exercises

3 Line Search Methods
3．1 Step Length
The Wolfe Conditions
The Goldstein Conditions
Sufficient Decrease and Backtracking
3．2 Convergence of Line Search Methods
3．3 Rate of Convergence
Convergence Rate of Steepest Descent
Quasi—Newton Methods
Newton's Method
Coordinate Descent Methods
3．4 Step—Length Selection Algorithms
Interpolation
The Initial Step Length
A Line Search Algorithm for the Wolfe Conditions
Notes and References
Exerases

4 Trust—Region Methods
Outline of the Algorithm
4．1 The Cauchy Point and Related Algorithms
The Cauchy Point
Improving on the Cauchy Point
The DoglegMethod
Two—Dimensional Subspace Minimization
Steihaug's Approach
4．2 Using Nearly Exact Solutions to the Subproblem
Characterizing Exact Solutions
Calculating Nearly Exact Solutions
The Hard Case
Proof of Theorem 4．3
4．3 Global Convergence
Reduction Obtained by the Cauchy Point
Convergence to Stationary Points
Convergence of Algorithms Based on Nearly Exact Solutions
4．4 Other Enhancements
Scaling
Non—Euclidean Trust Regions
Notes and References
Exercises

5 Conjugate Gradient Methods
5．1 The Linear Conjugate Gradient Method
Conjugate Direction Methods
Basic Properties of the Conjugate Gradient Method
A Practical Form of the Conjugate Gradient Method
Rate of Convergence
Preconditioning
Practical Preconditioners
5．2 Nonlinear Conjugate Gradient Methods
The Fletcher—Reeves Method
The Polak—Ribiere Method
Quadratic Termination and Restarts
Numerical Performance
Behavior of the Fletcher—Reeves Method
Global Convergence
Notes and References
Exerases

6 Practical Newton Methods
6．1 Inexact Newton Steps
6．2 Line Search Newton Methods
Line Search Newton—CG Method
Modified Newton's Method
6．3 Hessian Modifications
Eigenvalue Modification
Adding a Multiple of the Identity
Modified Cholesky Factorization
Gershgorin Modification
Modified Symmetric Indefinite Factorization
6．4 Trust—Region Newton Methods
Newton—Dogleg and Subspace—Minimization Methods
Accurate Solution of the Trust—Region Problem
Trust—Region Newton—CG Method
Preconditioning the Newton—CG Method
Local Convergence of Trust—Region Newton Methods
Notes and References
Exerases

7 Calculating Derivatives
7．1 Finite—Difference Derivative Approximations
Approximating the Gradient
Approximating a Sparse Jacobian
Approximatingthe Hessian
Approximating a Sparse Hessian
7．2 Automatic Differentiation
An Example
The Forward Mode
The Reverse Mode
Vector Functions and Partial Separability
Calculating Jacobians of Vector Functions
Calculating Hessians： Forward Mode
Calculating Hessians： Reverse Mode
Current Limitations
Notes and References
Exercises

8 Quasi—Newton Methods
8．1 The BFGS Method
Properties ofthe BFGS Method
Implementation
8．2 The SR1 Method
Properties of SRl Updating
8．3 The Broyden Class
Properties ofthe Broyden Class
8．4 Convergence Analysis
Global Convergence ofthe BFGS Method
Superlinear Convergence of BFGS
Convergence Analysis of the SR1 Method
Notes and References
Exercises

9 Large—Scale Quasi—Newton and Partially Separable Optimization
9．1 Limited—Memory BFGS
Relationship with Conjugate Gradient Methods
9，2 General Limited—Memory Updating
Compact Representation of BFGS Updating
SR1 Matrices
Unrolling the Update
9．3 Sparse Quasi—Newton Updates
9．4 Partially Separable Functions
A Simple Example
Internal Variables
9．5 Invariant Subspaces and Partial Separability
Sparsity vs．Partial Separability
Group Partial Separability
9．6 Algorithms for Partially Separable Functions
Exploiting Partial Separabilityin Newton's Method
Quasi—Newton Methods for Partially Separable Functions
Notes and References
Exercises
……
10 Nonlinear Least—Squares Problems
11 Nonlinear Equations
12 Theory of Constrained Optimization
13 Linear Programming： The Simplex Method
14 Linear Programming：Interior—Point Methods
15 Fundamentals of Algorithms for Nonlinear Constrained Optimization
16 Quadratic Programnung
17 Penalty， Barrier， and Augmented Lagrangian Methods
18 Sequential Quadratic Programming
A Background Material
References
Index

前言/序言

　　要使我國的數學事業更好地發展起來，需要數學傢淡泊名利並付齣更艱苦地努力。另一方麵，我們也要從客觀上為數學傢創造更有利的發展數學事業的外部環境，這主要是加強對數學事業的支持與投資力度，使數學傢有較好的工作與生活條件，其中也包括改善與加強數學的齣版工作。
　　科學齣版社影印一批他們齣版的好的新書，使我國廣大數學傢能以較低的價格購買，特彆是在邊遠地區工作的數學傢能普遍見到這些書，無疑是對推動我國數學的科研與教學十分有益的事。
　　這次科學齣版社購買瞭版權，一次影印瞭23本施普林格齣版社齣版的數學書，就是一件好事，也是值得繼續做下去的事情。大體上分一下，這23本書中，包括基礎數學書5本，應用數學書6本與計算數學書12本，其中有些書也具有交叉性質。這些書都是很新的，2000年以後齣版的占絕大部分，共計16本，其餘的也是1990年以後齣版的。這些書可以使讀者較快地瞭解數學某方麵的前沿，例如基礎數學中的數論、代數與拓撲三本，都是由該領域大數學傢編著的“數學百科全書”的分冊。對從事這方麵研究的數學傢瞭解該領域的前沿與全貌很有幫助。按照學科的特點，基礎數學類的書以“經典”為主，應用和計算數學類的書以“前沿”為主。這些書的作者多數是國際知名的大數學傢，例如《拓撲學》一書的作者諾維科夫是俄羅斯科學院的院士，曾獲“菲爾茲奬”和“沃爾夫數學奬”。這些大數學傢的著作無疑將會對我國的科研人員起到非常好的指導作用。

《數值最優化》：探索函數最優值的科學與藝術 本書是一本深入探討數值最優化理論與方法的經典著作。它係統地介紹瞭求解各種類型優化問題的數學模型、算法原理、理論分析以及實際應用。本書的編寫旨在為讀者提供一個全麵而嚴謹的學習框架，使其能夠理解並掌握數值最優化領域的核心技術，並將其應用於解決實際工程、科學研究及商業決策中的復雜問題。 理論基石：嚴謹的數學推導與深刻的洞察 本書的開篇著重於建立堅實的理論基礎。我們首先從函數的基本性質入手，如凸性、可微性等，這些是理解和設計優化算法的關鍵。隨後，本書詳細闡述瞭約束優化問題的數學錶述，包括等式約束和不等式約束。拉格朗日乘子法、KKT條件等作為處理約束問題的核心理論工具，被賦予瞭詳盡的解釋，並輔以豐富的例證，幫助讀者深刻理解其幾何意義和代數推導。 對於無約束優化問題，本書係統地介紹瞭梯度下降法、牛頓法、擬牛頓法等一係列經典的迭代算法。每種算法都從其數學原理齣發，剖析其收斂性條件、收斂速度以及在不同問題場景下的適用性。例如，梯度下降法直觀地利用函數的一階導數信息尋找下降方嚮，而牛頓法則藉助二階導數信息實現更快的收斂。擬牛頓法則在不直接計算Hessian矩陣的情況下，通過迭代更新其近似值，巧妙地結閤瞭梯度下降法的穩定性和牛頓法的效率。本書不僅介紹瞭這些算法的迭代公式，還深入探討瞭步長選擇策略、終止準則等實際實現中的重要細節。 算法精髓：從經典到前沿的豐富庫藏 在介紹完基礎算法後，本書進一步拓展到更復雜和更具挑戰性的優化問題。對於非光滑優化問題，即目標函數或約束函數不可微的情況，本書探討瞭次梯度法、光滑化方法等適用於此類問題的技術。這些方法在處理諸如L1範數正則化等實際問題時尤為重要。 本書對大規模優化問題也給予瞭充分的關注。隨著數據規模的不斷增長，傳統的優化算法往往難以應對，因此，本書引入瞭投影梯度法、加速梯度法、隨機梯度下降法（SGD）及其變種（如Adam、RMSprop等）等高效算法。這些算法通過利用問題的稀疏性、結構性或引入隨機性，顯著提高瞭在海量數據上的求解效率。 此外，本書還涉及瞭凸優化、非凸優化、整數規劃、多目標優化等多個重要分支。對於凸優化，本書闡述瞭內點法等高效求解方法，並強調瞭其在機器學習、信號處理等領域的廣泛應用。對於非凸優化，本書討論瞭局部最優解的性質以及全局優化的一些啓發式方法。對於組閤優化問題，如整數規劃，本書介紹瞭分支定界法、割平麵法等精確求解方法，以及一些近似算法。多目標優化則探討瞭如何平衡多個相互衝突的目標，尋找帕纍托最優解。 實踐指南：理論與應用的無縫對接 本書的價值不僅在於其深厚的理論功底，更在於其對實際應用的重視。書中穿插瞭大量精心設計的實例，涵蓋瞭機器學習中的模型訓練、統計推斷、控製理論中的最優控製、運籌學中的資源分配、工程設計中的參數優化等多個領域。這些例子生動地展示瞭如何將抽象的數學模型轉化為具體的優化問題，並運用本書介紹的算法加以求解。 本書還提供瞭對算法魯棒性、數值穩定性和計算復雜度的深入分析。這些分析有助於讀者理解算法在實際應用中可能遇到的挑戰，並學會如何選擇和調整算法以獲得可靠的結果。對於初學者，本書提供瞭清晰的入門路徑；對於有經驗的研究者，本書則提供瞭深入的理論探討和前沿算法的參考。 學習收獲：掌握解決復雜問題的強大工具 通過學習本書，讀者將能夠： 深刻理解 最優化問題的數學本質和求解原理。 熟練掌握 各類經典和現代數值最優化算法的設計思想和實現細節。 分析和評估 不同算法的優缺點及其適用範圍。 將優化技術 應用於解決實際的科學、工程和商業問題。 構建和改進 適用於特定問題的優化模型和求解策略。 本書是任何希望在數據科學、人工智能、工程優化、運籌學等領域取得突破性進展的研究者、工程師和學生的寶貴資源。它不僅是一本教材，更是一部指導實踐、啓迪思維的工具書。