新書推薦:
《
巨人传(插图珍藏本)
》
售價:NT$
3289.0
《
地下(村上春树沙林毒气事件的长篇纪实)
》
售價:NT$
332.0
《
偿还:债务与财富的阴暗面
》
售價:NT$
347.0
《
清华大学藏战国竹简校释(壹):《命训》诸篇
》
售價:NT$
408.0
《
封建社会农民战争问题导论(光启文库)
》
售價:NT$
296.0
《
虚弱的反攻:开禧北伐
》
售價:NT$
429.0
《
泰山:一种中国信仰专论(法国汉学经典译丛)
》
售價:NT$
380.0
《
花外集斠箋
》
售價:NT$
704.0
|
內容簡介: |
本书介绍了最优化模型的基础知识,梳理了大数据和人工智能时代涌现出来的最优化算法,使用Python语言给出算法的代码,展示了若干实例。本书主要内容包括最优化模型基础知识和最优化算法两部分,介绍了凸集合、凸函数、凸优化模型、对偶理论,梳理了梯度下降法、牛顿法、Lagrange 乘子法、DC 规划算法、梯度投影法、随机梯度下降法、在线梯度下降法等优化算法。本书的读者只需要具备微积分和线性代数的基础知识即可。读者可登录华信教育资源网免费下载书中案例的源代码。
|
目錄:
|
目 录 第1章 凸集合1 1.1 仿射集、凸集和凸锥1 1.1.1 直线与线段1 1.1.2 仿射集1 1.1.3 仿射维数与相对内部3 1.1.4 凸集合3 1.1.5 凸锥5 1.2 凸集合的示例5 1.2.1 超平面和半空间5 1.2.2 欧氏球和椭球6 1.2.3 范数球和范数锥7 1.2.4 多面体7 1.2.5 半正定锥7 1.3 保持凸性的运算8 1.3.1 交集8 1.3.2 仿射变换8 1.4 支撑超平面10 1.5 对偶锥10 练习题11 参考文献13 第2章 凸函数14 2.1 凸函数的定义和例子14 2.1.1 凸函数的概念14 2.1.2 凸函数的例子18 2.1.3 强凸性19 2.1.4 其他凸集合和凸不等式20 2.2 保持凸性的运算22 2.3 共轭函数25 2.3.1 共轭函数的概念25 2.3.2 共轭概念的理解27 2.4 次梯度与次微分27 2.4.1 次微分的概念27 2.4.2 对偶29 练习题29 参考文献32 第3章 凸优化模型33 3.1 优化模型33 3.1.1 基本术语33 3.1.2 等价问题34 3.2 标准形式及最优性条件 35 3.2.1 标准形式的凸优化问题35 3.2.2 局部最优解与全局最优解36 3.2.3 最优性条件36 3.3 线性规划38 3.3.1 标准型线性规划和不等式线性规划38 3.3.2 线性规划转化为标准型39 3.3.3 线性规划应用举例39 3.4 二次规划模型41 3.4.1 二次规划的例子42 3.4.2 二阶锥规划44 3.5 几何规划44 3.5.1 几何规划的扩展45 3.5.2 几何规划转化为凸优化问题45 3.5.3 几何规划的例子46 3.6 广义不等式约束47 3.6.1 锥规划问题47 3.6.2 半定规划47 3.6.3 组合优化中的SDP48 练习题50 参考文献52 第4章 对偶理论53 4.1 Lagrange对偶函数53 4.1.1 Lagrange函数53 4.1.2 Lagrange对偶函数53 4.1.3 最优值的下界54 4.1.4 Lagrange对偶函数的例子54 4.2 Lagrange对偶问题55 4.2.1 对偶约束55 4.2.2 弱对偶性57 4.2.3 强对偶性与Slater约束规范57 4.3 Lagrange对偶的理解58 4.3.1 鞍点58 4.3.2 博弈论解读58 4.4 最优性条件59 4.4.1 非凸问题的KKT条件60 4.4.2 凸问题的KKT条件60 4.4.3 通过对偶求解优化问题61 练习题62 参考文献64 第5章 非凸优化算法65 5.1 全局优化算法的复杂度65 5.2 优化算法构造思想68 5.3 梯度下降法69 5.4 牛顿法78 5.4.1 牛顿法思想79 5.4.2 梯度下降法与牛顿法的关系82 5.5 拟牛顿法84 5.6 共轭梯度法89 5.6.1 生成Q共轭方向92 5.6.2 共轭梯度迭代公式93 5.7 最小二乘问题95 5.7.1 高斯-牛顿法95 5.7.2 高斯-牛顿法与牛顿法的关系96 5.7.3 增量梯度方法97 5.8 Lagrange乘子法98 5.8.1 二次惩罚函数法100 5.8.2 拉格朗日乘子估计-不精确最小化100 5.8.3 关于条件数较大的问题101 5.8.4 乘子方法的主要思想102 5.9 DC规划算法及CCCP算法104 5.10 进化算法107 应用案例5.1:CCCP算法求解基于ramp损失的二分类问题113 练习题118 参考文献119 第6章 凸优化算法120 6.1 梯度投影法120 6.1.1 基于投影方法的可行方向和步长规则120 6.1.2 步长选择和收敛性121 6.1.3 收敛速度122 6.2 坐标下降法123 6.2.1 算法123 6.2.2 收敛性123 6.2.3 有利于使用坐标下降法的问题结构125 6.3 迫近梯度法126 6.3.1 正则化模型的方法126 6.3.2 使用凸正则项的一阶方法127 6.4 交替方向乘子法130 6.4.1 ADMM算法130 6.4.2 收敛性132 6.4.3 应用举例:ADMM方法求解Lasso问题133 6.4.4 应用举例:ADMM算法求解Bi-convex问题135 6.5 随机梯度下降法137 6.5.1 随机优化方法与批处理优化方法138 6.5.2 随机方法的动机138 6.5.3 SG算法的收敛性分析142 6.5.4 降噪-梯度聚合方法144 6.5.5 二阶方法—高斯-牛顿法148 6.5.6 动量梯度法150 6.5.7 加速梯度法151 6.6 在线凸优化152 6.6.1 在线凸优化的基本框架152 6.6.2 Follow-The-Leader152 6.6.3 Follow-The-Regularized-Leader154 6.6.4 在线梯度下降法156 6.6.5 强凸正则子158 6.6.6 在线镜像下降(OMD)159 练习题162 参考文献163
|
|