国外数学名著系列6（影印版）：数值最优化 [Numerical Optimization] pdf epub mobi txt 电子书 下载 在线阅读 2026

编辑推荐

适读人群 ：数学专业高年级本科生，运筹学、应用数学等相关专业研究生
本书运筹学、计算数学高年级本科生或研究生必读书目，是数之**化一部经典之作。

内容简介

　　本书作者现任美国西北大学教授，多种国际杂志的主编、副主编。作者根据在教学、研究和咨询中的经验，写了这本适合学生和实际工作者的书。本书提供连续优化中大多数有效方法的全面的新的论述。每一章从基本概念开始，逐步阐述当前可用的技术。
　　本书强调实用方法，包含大量图例和练习，适合广大读者阅读，可作为工程、运筹学、数学、计算机科学以及商务方面的研究生教材，也可作为该领域的科研人员和实际工作人员的手册。
　　总之，作者力求本书阅读性强，内容丰富，论述严谨，能揭示数值实用价值。

作者简介

作者现任美国西北大学教授，多种国际**杂志的主编、副主编。作者根据在教学、研究和咨询中的经验，写了这本适合学生和实际工作者的书。

内页插图

目录

Preface
1 Introduction
Mathematical Formulation
Example： A Transportation Problem
Continuous versus Discrete Optimization
Constrained and Unconstrained Optimization
Global and Local Optimization
Stochastic and Deterministic Optimization
Optimization Algorithms
Convexity
Notes and References

2 Fundamentals of Unconstrained Optimization
2．1 What Is a Solution？
Recognizing a Local Minimum
Nonsmooth Problems
2．2 Overview of Algorithms
Two Strategies： Line Search and Trust Region
Search Directions for Line Search Methods
Models for Trust—Region Methods
Scaling
Rates of Convergence
R—Rates of Convergence
Notes and References
Exercises

3 Line Search Methods
3．1 Step Length
The Wolfe Conditions
The Goldstein Conditions
Sufficient Decrease and Backtracking
3．2 Convergence of Line Search Methods
3．3 Rate of Convergence
Convergence Rate of Steepest Descent
Quasi—Newton Methods
Newton's Method
Coordinate Descent Methods
3．4 Step—Length Selection Algorithms
Interpolation
The Initial Step Length
A Line Search Algorithm for the Wolfe Conditions
Notes and References
Exerases

4 Trust—Region Methods
Outline of the Algorithm
4．1 The Cauchy Point and Related Algorithms
The Cauchy Point
Improving on the Cauchy Point
The DoglegMethod
Two—Dimensional Subspace Minimization
Steihaug's Approach
4．2 Using Nearly Exact Solutions to the Subproblem
Characterizing Exact Solutions
Calculating Nearly Exact Solutions
The Hard Case
Proof of Theorem 4．3
4．3 Global Convergence
Reduction Obtained by the Cauchy Point
Convergence to Stationary Points
Convergence of Algorithms Based on Nearly Exact Solutions
4．4 Other Enhancements
Scaling
Non—Euclidean Trust Regions
Notes and References
Exercises

5 Conjugate Gradient Methods
5．1 The Linear Conjugate Gradient Method
Conjugate Direction Methods
Basic Properties of the Conjugate Gradient Method
A Practical Form of the Conjugate Gradient Method
Rate of Convergence
Preconditioning
Practical Preconditioners
5．2 Nonlinear Conjugate Gradient Methods
The Fletcher—Reeves Method
The Polak—Ribiere Method
Quadratic Termination and Restarts
Numerical Performance
Behavior of the Fletcher—Reeves Method
Global Convergence
Notes and References
Exerases

6 Practical Newton Methods
6．1 Inexact Newton Steps
6．2 Line Search Newton Methods
Line Search Newton—CG Method
Modified Newton's Method
6．3 Hessian Modifications
Eigenvalue Modification
Adding a Multiple of the Identity
Modified Cholesky Factorization
Gershgorin Modification
Modified Symmetric Indefinite Factorization
6．4 Trust—Region Newton Methods
Newton—Dogleg and Subspace—Minimization Methods
Accurate Solution of the Trust—Region Problem
Trust—Region Newton—CG Method
Preconditioning the Newton—CG Method
Local Convergence of Trust—Region Newton Methods
Notes and References
Exerases

7 Calculating Derivatives
7．1 Finite—Difference Derivative Approximations
Approximating the Gradient
Approximating a Sparse Jacobian
Approximatingthe Hessian
Approximating a Sparse Hessian
7．2 Automatic Differentiation
An Example
The Forward Mode
The Reverse Mode
Vector Functions and Partial Separability
Calculating Jacobians of Vector Functions
Calculating Hessians： Forward Mode
Calculating Hessians： Reverse Mode
Current Limitations
Notes and References
Exercises

8 Quasi—Newton Methods
8．1 The BFGS Method
Properties ofthe BFGS Method
Implementation
8．2 The SR1 Method
Properties of SRl Updating
8．3 The Broyden Class
Properties ofthe Broyden Class
8．4 Convergence Analysis
Global Convergence ofthe BFGS Method
Superlinear Convergence of BFGS
Convergence Analysis of the SR1 Method
Notes and References
Exercises

9 Large—Scale Quasi—Newton and Partially Separable Optimization
9．1 Limited—Memory BFGS
Relationship with Conjugate Gradient Methods
9，2 General Limited—Memory Updating
Compact Representation of BFGS Updating
SR1 Matrices
Unrolling the Update
9．3 Sparse Quasi—Newton Updates
9．4 Partially Separable Functions
A Simple Example
Internal Variables
9．5 Invariant Subspaces and Partial Separability
Sparsity vs．Partial Separability
Group Partial Separability
9．6 Algorithms for Partially Separable Functions
Exploiting Partial Separabilityin Newton's Method
Quasi—Newton Methods for Partially Separable Functions
Notes and References
Exercises
……
10 Nonlinear Least—Squares Problems
11 Nonlinear Equations
12 Theory of Constrained Optimization
13 Linear Programming： The Simplex Method
14 Linear Programming：Interior—Point Methods
15 Fundamentals of Algorithms for Nonlinear Constrained Optimization
16 Quadratic Programnung
17 Penalty， Barrier， and Augmented Lagrangian Methods
18 Sequential Quadratic Programming
A Background Material
References
Index

前言/序言

　　要使我国的数学事业更好地发展起来，需要数学家淡泊名利并付出更艰苦地努力。另一方面，我们也要从客观上为数学家创造更有利的发展数学事业的外部环境，这主要是加强对数学事业的支持与投资力度，使数学家有较好的工作与生活条件，其中也包括改善与加强数学的出版工作。
　　科学出版社影印一批他们出版的好的新书，使我国广大数学家能以较低的价格购买，特别是在边远地区工作的数学家能普遍见到这些书，无疑是对推动我国数学的科研与教学十分有益的事。
　　这次科学出版社购买了版权，一次影印了23本施普林格出版社出版的数学书，就是一件好事，也是值得继续做下去的事情。大体上分一下，这23本书中，包括基础数学书5本，应用数学书6本与计算数学书12本，其中有些书也具有交叉性质。这些书都是很新的，2000年以后出版的占绝大部分，共计16本，其余的也是1990年以后出版的。这些书可以使读者较快地了解数学某方面的前沿，例如基础数学中的数论、代数与拓扑三本，都是由该领域大数学家编著的“数学百科全书”的分册。对从事这方面研究的数学家了解该领域的前沿与全貌很有帮助。按照学科的特点，基础数学类的书以“经典”为主，应用和计算数学类的书以“前沿”为主。这些书的作者多数是国际知名的大数学家，例如《拓扑学》一书的作者诺维科夫是俄罗斯科学院的院士，曾获“菲尔兹奖”和“沃尔夫数学奖”。这些大数学家的著作无疑将会对我国的科研人员起到非常好的指导作用。

《数值最优化》：探索函数最优值的科学与艺术 本书是一本深入探讨数值最优化理论与方法的经典著作。它系统地介绍了求解各种类型优化问题的数学模型、算法原理、理论分析以及实际应用。本书的编写旨在为读者提供一个全面而严谨的学习框架，使其能够理解并掌握数值最优化领域的核心技术，并将其应用于解决实际工程、科学研究及商业决策中的复杂问题。 理论基石：严谨的数学推导与深刻的洞察 本书的开篇着重于建立坚实的理论基础。我们首先从函数的基本性质入手，如凸性、可微性等，这些是理解和设计优化算法的关键。随后，本书详细阐述了约束优化问题的数学表述，包括等式约束和不等式约束。拉格朗日乘子法、KKT条件等作为处理约束问题的核心理论工具，被赋予了详尽的解释，并辅以丰富的例证，帮助读者深刻理解其几何意义和代数推导。 对于无约束优化问题，本书系统地介绍了梯度下降法、牛顿法、拟牛顿法等一系列经典的迭代算法。每种算法都从其数学原理出发，剖析其收敛性条件、收敛速度以及在不同问题场景下的适用性。例如，梯度下降法直观地利用函数的一阶导数信息寻找下降方向，而牛顿法则借助二阶导数信息实现更快的收敛。拟牛顿法则在不直接计算Hessian矩阵的情况下，通过迭代更新其近似值，巧妙地结合了梯度下降法的稳定性和牛顿法的效率。本书不仅介绍了这些算法的迭代公式，还深入探讨了步长选择策略、终止准则等实际实现中的重要细节。 算法精髓：从经典到前沿的丰富库藏 在介绍完基础算法后，本书进一步拓展到更复杂和更具挑战性的优化问题。对于非光滑优化问题，即目标函数或约束函数不可微的情况，本书探讨了次梯度法、光滑化方法等适用于此类问题的技术。这些方法在处理诸如L1范数正则化等实际问题时尤为重要。 本书对大规模优化问题也给予了充分的关注。随着数据规模的不断增长，传统的优化算法往往难以应对，因此，本书引入了投影梯度法、加速梯度法、随机梯度下降法（SGD）及其变种（如Adam、RMSprop等）等高效算法。这些算法通过利用问题的稀疏性、结构性或引入随机性，显著提高了在海量数据上的求解效率。 此外，本书还涉及了凸优化、非凸优化、整数规划、多目标优化等多个重要分支。对于凸优化，本书阐述了内点法等高效求解方法，并强调了其在机器学习、信号处理等领域的广泛应用。对于非凸优化，本书讨论了局部最优解的性质以及全局优化的一些启发式方法。对于组合优化问题，如整数规划，本书介绍了分支定界法、割平面法等精确求解方法，以及一些近似算法。多目标优化则探讨了如何平衡多个相互冲突的目标，寻找帕累托最优解。 实践指南：理论与应用的无缝对接 本书的价值不仅在于其深厚的理论功底，更在于其对实际应用的重视。书中穿插了大量精心设计的实例，涵盖了机器学习中的模型训练、统计推断、控制理论中的最优控制、运筹学中的资源分配、工程设计中的参数优化等多个领域。这些例子生动地展示了如何将抽象的数学模型转化为具体的优化问题，并运用本书介绍的算法加以求解。 本书还提供了对算法鲁棒性、数值稳定性和计算复杂度的深入分析。这些分析有助于读者理解算法在实际应用中可能遇到的挑战，并学会如何选择和调整算法以获得可靠的结果。对于初学者，本书提供了清晰的入门路径；对于有经验的研究者，本书则提供了深入的理论探讨和前沿算法的参考。 学习收获：掌握解决复杂问题的强大工具 通过学习本书，读者将能够： 深刻理解 最优化问题的数学本质和求解原理。 熟练掌握 各类经典和现代数值最优化算法的设计思想和实现细节。 分析和评估 不同算法的优缺点及其适用范围。 将优化技术 应用于解决实际的科学、工程和商业问题。 构建和改进 适用于特定问题的优化模型和求解策略。 本书是任何希望在数据科学、人工智能、工程优化、运筹学等领域取得突破性进展的研究者、工程师和学生的宝贵资源。它不仅是一本教材，更是一部指导实践、启迪思维的工具书。