新書推薦：
《
白夜追凶（上下）
》
售價：NT$
500.0
《
财富、战争与智慧——二战股市风云录
》
售價：NT$
602.0
《
低空经济：中国经济发展新引擎
》
售價：NT$
403.0
《
汉字学理与小学汉字教学
》
售價：NT$
408.0
《
即将到来的能源战争
》
售價：NT$
407.0
《
时刻人文·臆造南洋：马来半岛的神鬼人兽
》
售價：NT$
296.0
《
时刻人文·信用的承诺与风险：一个被遗忘的犹太金融传说与欧洲商业社会的形成
》
售價：NT$
469.0
《
同与不同：50个中国孤独症孩子的故事
》
售價：NT$
301.0
|
| 編輯推薦： |
|
注重基础，兼顾前沿性，详细讲述非线性优化和凸优化的重要原理与经典算法的同时介绍近十几年来优化领域出现的一些新思想、新方法和新算法， 以及优化理论与算法在机器学习、经济、统计和金融等领域中的应用.
|
| 內容簡介： |
本书是非线性优化的基础教材， 内容涵盖凸集与凸函数、优化问题的一般理论、广义不等式约束
优化问题和向量优化问题、梯度下降法与共轭梯度法、牛顿法和拟牛顿法、线性规划与二次规划、约
束凸优化问题、机器学习中常用的复合优化算法等非线性优化的核心基础理论与算法. 本书在选材上
注重基础并兼顾前沿性， 详细讲述非线性优化和凸优化的重要原理与经典算法的同时， 也花了一定篇
幅介绍近十几年来优化领域出现的一些新思想、新方法和新算法， 以及优化理论与算法在机器学习、
经济、统计和金融等领域中的应用. 写作上力求深入浅出， 循序渐进， 既照顾到学生的理解能力与学习
兴趣， 又考虑到内容完备性、逻辑严谨性与必要的深度. 为了方便读者动手实践， 本书给出实现书中计
算实例、应用实例的完整MATLAB 代码和数据集， 以及详细的使用说明和代码注释， 读者能够很容易
地实现所学方法. 此外， 本书还配有由LaTeX 精心制作的PDF 课件， 方便教师教学使用.
本书可作为大数据、人工智能、应用数学、计算机、管理科学与工程、金融工程等专业的研究生
基础课教材， 也可以作为相关专业高年级本科生的专业课教材或参考书.
|
| 目錄：
|
第 1 章 导论与预备知识 1
1.1 欧几里得空间 中的点集 1
1.1.1 集合 1
1.1.2 欧几里得空间 的性质 2
1.1.3 中的点集拓扑 4
1.1.4 中的极限 6
1.1.5 上确界与下确界 6
1.2 连续函数 9
1.2.1 连续函数的定义与性质 9
1.2.2 上极限与下极限 11
1.2.3 上半连续性与下半连续性 13
1.3 多元函数的微分中值定理与 Taylor 公式 13
1.3.1 多元函数的微分中值定理 13
1.3.2 多元函数的 Taylor 公式 15
1.4 凸集 16
1.4.1 仿射集 16
1.4.2 凸集 17
1.4.3 凸集分离定理 18
1.5 锥 25
1.5.1 锥和凸锥 25
1.5.2 广义不等式 26
1.5.3 最小元与极小元 27
1.6 对偶锥. 28
1.6.1 对偶锥 28
1.6.2 对偶广义不等式 30
拓展阅读建议 31
第 1 章习题 31
第 2 章 凸函数 34
2.1 凸函数的定义及判定 34
2.1.1 凸函数的定义 34
2.1.2 一元凸函数的判定 35
2.1.3 多元凸函数的判定 36
2.2 凸函数的性质 41
2.2.1 一元凸函数的连续性与单边导数 41
2.2.2 多元凸函数的连续性 43
2.2.3 上图与下水平集 46
2.2.4 凸函数的极值 47
2.3 保持凸性的运算 48
2.4 应用及例子 52
2.4.1 .-范数 52
2.4.2 Jensen 不等式 56
2.4.3 凸函数/凹函数的例子 59
2.5 共轭函数 62
2.5.1 共轭函数的定义与计算实例 62
2.5.2 共轭函数的性质 68
2.6 矩阵的核范数 70
拓展阅读建议 73
第 2 章习题 74
第 3 章 优化问题 80
3.1 优化问题 80
3.2 凸优化问题 82
3.2.1 凸优化问题的概念 82
3.2.2 凸优化问题的性质 82
3.3 Lagrange 对偶函数 85
3.3.1 Lagrange 对偶函数的定义 85
3.3.2 最优值的下界估计 87
3.3.3 Lagrange 对偶函数与共轭函数的关系 88
3.4 Lagrange 对偶问题 90
3.4.1 对偶问题的概念及例子 90
3.4.2 强对偶性 92
3.5 最优性条件 97
3.5.1 无约束优化问题的最优性条件 97
3.5.2 只含等式约束的优化问题的最优条件 98
3.5.3 只含不等式约束的优化问题的最优条件 101
3.5.4 一般形式的 Karush-Kuhn-Tucker 定理 103
3.5.5 凸优化问题的 Karush-Kuhn-Tucker 定理 109
拓展阅读建议 109
第 3 章习题 109
第 4 章 广义不等式约束与向量优化 116
4.1 广义单调性与凸性 116
4.1.1 相关概念回顾 116
4.1.2 在偏序集上取值的函数 117
4.1.3 可微函数的单调性和凸性条件 120
4.2 效用函数相关知识 122
4.2.1 偏序、全序和预序 122
4.2.2 效用函数 124
4.2.3 连续效用函数 126
4.2.4 von Neumann-Morgenstern 期望效用函数 132
4.3 广义不等式约束的凸优化问题 135
4.3.1 问题的一般形式 135
4.3.2 半定规划 136
4.3.3 一些例子 137
4.4 向量优化 141
4.4.1 向量优化问题 141
4.4.2 向量优化问题的标量化 143
4.4.3 凸向量优化问题 144
4.5 福利经济学基本定理 146
4.5.1 产品经济系统 146
4.5.2 福利经济学基本定理 148
拓展阅读建议 150
第 4 章习题 151
第 5 章 优化算法基础知识 152
5.1 算法的收敛性与收敛速度 152
5.2 一维牛顿法与割线法 154
5.3 区间分割法 157
5.4 线搜索. 161
拓展阅读建议 172
第 5 章习题 172
第 6 章 梯度下降法与共轭梯度法 174
6.1 梯度下降法 174
6.1.1 梯度下降法的基本思想与算法 174
6.1.2 强凸性 177
6.1.3 梯度下降法的收敛性与误差分析 179
6.2 共轭梯度法 183
6.2.1 无约束二次优化问题的共轭梯度法 183
6.2.2 非线性共轭梯度法 190
6.3 信赖域子问题 192
6.3.1 信赖域子问题及其最优性条件 192
6.3.2 截断共轭梯度法 194
6.4 逻辑回归问题 196
6.4.1 逻辑回归模型 196
6.4.2 模型参数估计 197
6.4.3 计算实例 202
6.4.4 多分类问题 206
拓展阅读建议 210
第 6 章习题 210
第 7 章 牛顿法与拟牛顿法 212
7.1 牛顿法. 212
7.1.1 牛顿法的基本思想 212
7.1.2 Hesse 矩阵不正定时的处理 213
7.1.3 牛顿法的收敛性 217
7.1.4 计算实例 220
7.2 拟牛顿法 226
7.2.1 拟牛顿法的基本思想 226
7.2.2 几种常用的拟牛顿法 228
7.2.3 计算实例 233
7.3 正交距离回归 238
7.3.1 变量带误差模型 238
7.3.2 正交距离回归模型 239
7.3.3 参数估计算法 240
拓展阅读建议 245
第 7 章习题 246
第 8 章 线性规划与二次规划 249
8.1 线性规划 249
8.1.1 线性规划的标准形式 249
8.1.2 线性规划的对偶问题与最优性条件 250
8.1.3 可行集的几何性质 251
8.1.4 单纯形法 252
8.1.5 启动点的计算 254
8.2 等式约束二次规划 255
8.2.1 等式约束二次规划及其最优性条件 255
8.2.2 等式约束二次规划算法 257
8.2.3 计算实例 260
8.3 不等式约束二次规划 261
8.3.1 不等式约束二次规划的最优性条件 261
8.3.2 积极集方法 262
8.3.3 启动点的计算 265
拓展阅读建议 267
第 8 章习题 267
第 9 章 约束非线性优化 269
9.1 等式约束凸优化 269
9.1.1 等式约束凸优化的最优性条件 269
9.1.2 等式约束凸优化的牛顿法 269
9.1.3 初始点不是可行点的牛顿法 271
9.1.4 计算实例 274
9.2 内点法 276
9.2.1 一个具体的例子 276
9.2.2 凸优化问题的内点法 280
9.2.3 两阶段法 283
9.3 支持向量机 284
9.3.1 支持向量机模型 284
9.3.2 求解方法 286
9.3.3 核支持向量机 293
9.3.4 计算实例 297
拓展阅读建议 301
第 9 章习题 302
第 10 章 机器学习中常用的复合优化算法 303
10.1 增广 Lagrange 函数法 303
10.1.1 对偶上升法 303
10.1.2 增广 Lagrange 乘数法 304
10.2 次梯度与次微分 306
10.2.1 扩展实值函数 306
10.2.2 闭函数 307
10.2.3 次梯度与次微分 307
10.2.4 次微分的性质 309
10.2.5 次微分的运算法则 314
10.3 交替方向乘数法 314
10.3.1 算法 314
10.3.2 收敛性分析 316
10.4 近似点算法 320
10.4.1 邻近算子 320
10.4.2 近似点梯度法 326
10.4.3 LASSO 回归问题 328
10.5 坐标下降法与分块坐标下降法 335
10.5.1 坐标下降法 335
10.5.2 分块坐标下降法 340
10.5.3 应用 341
拓展阅读建议 344
第 10 章习题 344
附录 A 特征值与特征值分解定理 346
A.1 特征值与特征向量. 346
A.2 n 阶方阵的特征分解 347
A.3 实对称矩阵的对角化与特征分解 350
A.4 实正定对称矩阵与二次型 353
附录 B 奇异值与奇异值分解定理 357
B.1 奇异值与奇异向量 357
B.2 奇异值的存在性及性质 358
B.3 奇异值分解定理 360
B.4 矩阵的低秩逼近 362
B.5 超定线性方程组与矩阵的伪逆 365
附录 C 矩阵函数的导数与微分 368
附录 D 反函数定理与隐函数存在定理 374
附录 E Sherman-Morrison 公式与 Woodbury 公式 378
部分习题答案 381
参考文献 406
|
| 內容試閱：
|
“优化”一词译自英文单词Optimization， 其含义是在一定的约束条件下寻求最优决策或解决问题的最佳方案. 优化与运筹学(operations research)密切相关， 二者研究的问题几乎相同， 只不过优化更侧重于从数学和算法的层面来研究这些问题， 因此在很多场合中， 二者被视为同义词. 在自然科学、社会科学、经济、管理、工业、工程、大数据、人工智能、机器学习等众多领域中， 许多问题经过适当的建模转换， 都可表述为一个或多个目标函数在若干约束条件下的最大值或最小值问题， 这就是优化模型. 因此， 建立优化模型、分析和求解优化模型已成为许多学科领域的主要研究范式， 优化理论与方法在这些学科的研究中起着基础性的作用.
近年来， 随着生成式人工智能(artificial intelligence generated content， AIGC)的迅猛发展， 人类社会跨入人工智能2.0时代， 以chatGPT为代表的大模型在社会生产和生活中得到广泛应用， 创造了巨大的效益和社会价值， 机器学习和人工智能已成为先进生产力的代表. 我国政府高度重视人工智能的发展， 制定了相关规划和政策促进人工智能的产品、科研和人才培养的发展.
数据、算法、算力是人工智能的三驾马车， 其中算法是人工智能发展的引擎， 是国内发展相对滞后的一个环节. 开发高效的机器学习和人工智能算法离不开优化模型、优化理论和优化算法的创新， 因此从根源上来讲， 优化理论与算法是人工智能的核心动力.
为了适应人工智能2.0时代的人才培养， 江西财经大学在加强优化理论与算法方面的教学， 陆续在本科生和研究生阶段开设了相关课程. 笔者长期从事本科生的“优化模型”和研究生的“优化理论与方法”等课程的教学， 并主持博士新生的优化理论与应用讨论班， 授课对象包括来自多个专业不同层级的学生. 在教学过程中逐渐摸索出学生学习这门课程的需求与障碍， 为了有针对性地教学， 特编写了本书.
本书主要讲述非线性优化特别是凸优化的理论、模型与算法， 在选材上注重基础并兼顾前沿性， 详细讲述非线性优化和凸优化的重要原理与经典算法， 同时花了一定的篇幅介绍近十几年来优化领域出现的一些新思想、新方法和新算法， 以及优化理论与算法在机器学习、经济、统计和金融等领域中的应用. 为了兼顾不同专业学生的需求， 本书对传统优化教材进行了一定的拓展， 增加了广义不等式约束的凸优化问题、效用函数、向量优化、福利经济学基本定理、机器学习中常用的复合优化算法等内容， 作为应用拓展， 还详细介绍了矩阵的核范数、最佳线性无偏估计问题、逻辑回归模型、多分类回归模型、正交距离回归模型、支持向量机与核支持向量机、LASSO 回归模型、非负矩阵分解、字典学习等内容. 在写作上尽量做到深入浅出， 照顾到不同层级的学生， 同时保证完备性和逻辑严谨性， 使学生能够受到良好的学术训练.
本书分为10章， 下面对各章内容作概要介绍.
第1章是导论与预备知识， 除了欧几里得空间上的点集拓扑、连续函数、凸集等传统内容之外， 本书还详细介绍了多元函数的Taylor公式并给出了证明， 因为后续章节将反复用到Taylor公式及Taylor展开的思想. 凸集分离定理是优化理论的基础性定理， 许多定理和命题的证明都要用到它， 因此给出了此定理的严格证明， 并给出了若干有用的推论. 此外， 作为第4章的铺垫， 本书专辟两节讲述了锥、广义不等式、对偶锥、对偶广义不等式等内容.
第2章详细讲述凸函数的相关内容， 为讨论凸优化问题和凸优化算法作铺垫. 本书证明凸函数的性质和判定定理的思路与现有教材不同， 是从凸函数的一个最基本的性质(引理2.1)展开的， 由此证明了几乎所有与凸函数性质和判定有关的命题. 作为凸函数的应用， 本章还详细讲述了Jensen不等式、向量的-范数、对偶范数、共轭函数、Fenchel不等式、Young不等式、矩阵的谱范数与核范数等内容.
第3章介绍优化问题的一般理论， 重点讲述对偶函数、对偶问题、弱对偶性、凸优化问题的强对偶性定理以及各种形式的最优性条件， 本章对强对偶性定理以及各种形式的Karush-Kuhn-Tucker定理给出了严格证明， 为学习优化算法及应用优化理论打下基础.
第4章讲述广义不等式约束优化问题和向量优化问题， 介绍广义单调性和凸性、效用函数理论、广义不等式约束的凸优化问题、向量优化问题， 作为多目标优化的应用实例， 还证明了福利经济学基本定理. 在讲述广义不等式约束的凸优化问题和向量优化问题时， 本章介绍了锥规划、半定规划、矩问题、投资组合选择问题、投资组合风险定界问题、最佳线性无偏估计问题等一系列应用实例， 让学生开拓思维， 学以致用.
第5章讲述优化算法的基础知识， 包括优化算法的收敛性与收敛阶、一维牛顿法和割线法、区间分割法和一维线搜索算法， 为后续的优化算法学习打下基础.
第6章介绍梯度下降法与共轭梯度法， 包括梯度下降法及其收敛性分析、共轭梯度法及其收敛性分析、信赖域子问题与截断共轭梯度法， 作为应用， 本章还详细介绍了逻辑回归模型、多分类回归模型以及这两种模型的参数估计问题， 并给出参数估计的梯度下降法和共轭梯度法及实现算法的MATLAB代码. 梯度下降法与共轭梯度法是一阶优化算法的代表， 也是学习更高级的优化算法的基础.
第7章介绍牛顿法和拟牛顿法， 包括牛顿法及其收敛性分析、拟牛顿法的基本思想及几种常用的拟牛顿法、用牛顿法和拟牛顿法估计逻辑回归参数的计算实例， 作为应用， 本章还介绍了正交距离回归模型及其参数估计， 并给出计算实例. 牛顿法和拟牛顿法是二阶优化算法的代表， 也是学习更高级的优化算法的基础.
第8章介绍线性规划和二次规划， 包括线性规划的对偶问题、最优性条件及单纯形算法， 等式约束二次规划的最优性条件、零空间算法及计算实例， 一般二次规划的最优性条件、积极集算法以及如何计算启动点的问题. 线性规划和二次规划的应用非常广泛， 同时它也是学习更高级的优化算法的基础.
第9章介绍约束非线性优化， 包括等式约束凸优化问题的最优性条件、牛顿法、初始点不是可行点的牛顿法及计算实例， 不等式约束凸优化问题的内点法和两阶段法， 作为应用， 本章还专辟一节讲述支持向量机模型与核支持向量机模型， 并给出求解算法与计算实例. 本章介绍的算法在图像处理、机器学习、人工智能等领域有广泛应用， 同时是求解更复杂的优化问题的基本模块.
第10章介绍机器学习中几种常用的复合优化算法， 内容包括增广Lagrange乘数法、次梯度与次微分、复合结构型优化问题的最优性条件、交替方向乘数法、邻近算子与近似点算法、坐标下降法与分块坐标下降法， 作为应用实例， 还穿插介绍了LASSO回归模型、非负矩阵分解和字典学习等. 编写本章的目的是使学生对前沿的优化算法与应用有所了解， 以便更快地进入学术前沿， 开展创新性研究.
书中的一些定理、引理、命题的证明及公式的推演需要用到高等代数、矩阵分析、奇异值分解、上的反函数定理等知识， 考虑到初学者对这些知识不熟悉， 为了内容的完整性及读者查阅方便， 笔者将这些内容精心整理后放在了附录中.
为了让读者抓住重点， 每章开篇给出了本章学习要点. 为了方便有余力、有兴趣的读者进一步拓展， 笔者在每章末给出了拓展阅读建议.
本书每章都配有一定量的习题， 这些习题中， 有些是为了加深读者对定理或概念的理解而设计的，有些则是正文中没有证明的性质、命题、定理的非关键部分或推广. 这些习题一般不会太难， 读者完成这些习题可以加深对正文的理解， 同时能够提高自己的推理论证能力. 还有一部分则是课内知识的延伸， 主要是训练学生综合应用所学知识的能力. 书末对部分习题给出了解答或提示， 全部习题的详细解答可到课程网站下载.
为了方便读者动手实践， 本书给出了实现书中计算实例、应用实例的完整MATLAB代码和数据集， 以及详细的使用说明和代码注释， 读者能够很容易地实现所学方法. 为方便读者阅读， 本书中的矩阵、向量、矢量等不再单独标示成黑斜体， 统一使用白斜体. 此外， 针对本书的全套教学课件已制作完成， 是由LaTeX精心制作的PDF课件， 可用常用的PDF阅读器播放演示. 这些程序、数据集、课件以及制作课件的LaTeX源代码随书籍配套赠送， 可以在清华大学出版社官方网站上免费下载.
在写作本书的过程中， 笔者参考了国内外一些经典的非线性优化、凸优化、机器学习、经济学领域的教材、专著和经典文献， 国内的如袁亚湘院士的非线性优化专著[31]， 刘浩洋等的最优化经典教材[67]， 李航的统计学习经典教材[77]， 周志华的机器学习经典教材[78]; 国外的如S. Boyd 和 L. Vandenberghe 的凸优化经典著作[6]， J. Nocedal和S. J. Wright 的数值优化经典著作[66]， R. T. Rockafellar 的凸分析专著[13]， Dimitri P. Bertsekas的凸优化理论专著[29]， S. Boyd 等的经典文献[109]， D. M. Kreps 的微观经济学专著[59]， K. J. Arrow的一般均衡理论专著[63]. 还有其他经典著作， 这里就不一一列举了， 笔者在此对这些教材和著作的作者表示衷心的感谢!
本书的写作得到了国家自然科学基金(项目号: 10701040)的资助， 同时得到了江西财经大学信息管理学院的大力支持. 在本书的写作过程中， 方玉明院长、齐亚伟副院长、徐杰主任、华长生老师、易蓉老师、温文媖老师、王民老师给予了笔者鼓励和支持， 并提供了大量宝贵意见， 此外还有多位博士生在讨论课期间对本书的内容提出了宝贵意见， 在此对诸位同仁的无私奉献表示衷心的感谢!
限于笔者学识水平， 尽管做了最大努力， 但书中还是难免存在错漏， 寄望读者诸君给予批评指正， 笔者在此表示衷心的感谢!
杨寿渊
江西财经大学
2024年8月
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
