新書推薦：
《
失败：1891—1900 清王朝的变革、战争与排外
》
售價：NT$
390.0
《
送你一匹马（“我不求深刻，只求简单。”看三毛如何拒绝内耗，为自己而活）
》
售價：NT$
295.0
《
秦汉史讲义
》
售價：NT$
690.0
《
万千心理·我的精神分析之道：复杂的俄狄浦斯及其他议题
》
售價：NT$
475.0
《
荷马：伊利亚特（英文）-西方人文经典影印21
》
售價：NT$
490.0
《
我的心理医生是只猫
》
售價：NT$
225.0
《
股权控制战略：如何实现公司控制和有效激励（第2版）
》
售價：NT$
449.0
《
汉译名著·哲学经典十种
》
售價：NT$
3460.0
|
| 編輯推薦： |
本书系统介绍深度强化学习的理论和算法，并配有大量的案例。全书核心内容可以分为3部分，第一部分为经典强化学习，主要内容有动态规划法，蒙特卡洛法、时序差分法；第二部分为深度强化学习，主要内容有值函数近似法、策略梯度法、策略梯度法进阶；第三部分重点介绍了深度强化学习的经典应用——AlphaGo系列算法。
★ 大多数每个算法配有一个或多个测试案例，便于读者理解理论和算法；
★ 每个案例都配有编程实现的代码，便于读者理论联系实际，并亲自上手实践；
★ 为减轻读者编写代码的难度，本书所有案例的代码都是可以独立运行的，并且尽量减少了对依赖包的使用。
|
| 內容簡介： |
|
本书比较全面、系统地介绍了深度强化学习的理论和算法，并配有大量的案例和编程实现。全书核心内容可以分为3部分，第一部分为经典强化学习，包括第2、3、4章，主要内容有动态规划法，蒙特卡洛法、时序差分法；第二部分为深度强化学习，包括第6、7、8章，主要内容有值函数近似法、策略梯度法、策略梯度法进阶；第三部分重点介绍了深度强化学习的经典应用——AlphaGo系列算法。另外，作为理论和算法的辅助，第1章介绍了强化学习的模型，第5章简单介绍了深度学习和PyTorch编程框架。 本书可以作为理工科大学相关专业研究生的学位课教材，也可以作为人工智能、机器学习相关专业高年级本科生的选修课教材，还可以作为相关领域学术研究人员、教师和工程技术人员的参考资料。
|
| 關於作者： |
龙强，博士、副教授、硕士研究生导师；就职于西南科技大学数理学院数据科学系，中国运筹学会终生会员；主要从事最优化理论与算法、机器学习算法研究；在国际国内学术期刊上发表论文20余篇，获批国家发明专利3项，主持和参与国家自然科学基金3项，参与国家社会科学基金1项；讲授“深度强化学习”“深度学习与神经网络”“算法设计与分析”“最优化理论与算法”“机器学习”等课程。
章胜，博士、副研究员、硕士研究生导师；就职于中国空气动力研究与发展中心，中国空气动力学学会会员；主要从事飞行器轨迹优化、非线性控制与智能控制研究。在国际及国内学术期刊上发表论文20篇，获批国家发明专利5项，主持和参与国家自然科学基金、国家重点基础研究发展计划等项目15项。
|
| 目錄：
|
第1章强化学习的模型（156min）
1.1强化学习简介
1.1.1初识强化学习
1.1.2强化学习的历史
1.1.3强化学习与机器学习的关系
1.2强化学习的模型
1.2.1强化学习基本模型和要素
1.2.2强化学习的执行过程
1.2.3强化学习的数学模型——马尔可夫决策过程
1.2.4环境模型案例
1.3Gym介绍
1.3.1Gym简介
1.3.2Gym安装
1.3.3Gym的环境描述和案例
1.3.4在Gym中添加自编环境
1.3.5直接使用自编环境
第2章动态规划法（231min）
2.1动态规划法简介
2.2值函数和贝尔曼方程
2.2.1累积折扣奖励
2.2.2值函数
2.2.3贝尔曼方程
2.3策略评估
2.4策略改进
2.5最优值函数和最优策略
2.6策略迭代和值迭代
2.7动态规划法求解强化学习案例
第3章蒙特卡罗法（211min）
3.1蒙特卡罗法简介
3.2蒙特卡罗策略评估
3.2.1蒙特卡罗策略评估
3.2.2增量式蒙特卡罗策略评估
3.2.3蒙特卡罗策略评估案例
3.2.4蒙特卡罗和动态规划策略评估的对比
3.3蒙特卡罗强化学习
3.3.1蒙特卡罗策略改进
3.3.2起始探索蒙特卡罗强化学习
3.3.3ε贪婪策略蒙特卡罗强化学习
3.3.4蒙特卡罗强化学习案例
3.4异策略蒙特卡罗强化学习
3.4.1重要性采样
3.4.2异策略蒙特卡罗策略评估
3.4.3增量式异策略蒙特卡罗策略评估
3.4.4异策略蒙特卡罗强化学习
3.4.5异策略蒙特卡罗强化学习案例
3.5蒙特卡罗树搜索
3.5.1MCTS的基本思想
3.5.2MCTS的算法流程
3.5.3基于MCTS的强化学习算法
3.5.4案例和代码
第4章时序差分法（174min）
4.1时序差分策略评估
4.1.1时序差分策略评估原理
4.1.2时序差分策略评估算法
4.1.3时序差分策略评估案例
4.1.4时序差分策略评估的优势
4.2同策略时序差分强化学习
4.2.1Sarsa算法
4.2.2Sarsa算法案例
4.3异策略时序差分强化学习
4.3.1Qlearning算法
4.3.2期望Sarsa算法
4.3.3Double Qlearning算法
4.3.4Qlearning算法案例
4.4n步时序差分强化学习
4.4.1n步时序差分策略评估
4.4.2nstep Sarsa算法
4.5TD(λ)算法
4.5.1前向TD(λ)算法
4.5.2后向TD(λ)算法
4.5.3Sarsa(λ)算法
第5章深度学习与PyTorch（275min）
5.1从感知机到神经网络
5.1.1感知机模型
5.1.2感知机和布尔运算
5.2深度神经网络
5.2.1网络拓扑
5.2.2前向传播
5.2.3训练模型
5.2.4误差反向传播
5.3激活函数、损失函数和数据预处理
5.3.1激活函数
5.3.2损失函数
5.3.3数据预处理
5.4PyTorch深度学习软件包
5.4.1数据类型及类型的转换
5.4.2张量的维度和重组操作
5.4.3组装神经网络的模块
5.4.4自动梯度计算
5.4.5训练数据自由读取
5.4.6模型的搭建、训练和测试
5.4.7模型的保存和重载
5.5深度学习案例
5.5.1函数近似
5.5.2数字图片识别
第6章值函数近似算法（195min）
6.1线性值函数近似算法
6.1.1线性值函数近似时序差分算法
6.1.2特征函数
6.1.3线性值函数近似算法案例
6.2神经网络值函数近似法
6.2.1DQN算法原理
6.2.2DQN算法
6.2.3DQN算法案例
6.3Double DQN(DDQN)算法
6.4Prioritized Replay DQN算法
6.4.1样本优先级
6.4.2随机优先级采样
6.4.3样本重要性权重参数
6.4.4Prioritized Replay DQN算法流程
6.4.5Prioritized Replay DQN算法案例
6.5Dueling DQN算法
6.5.1Dueling DQN算法原理
6.5.2Dueling DQN算法案例
第7章策略梯度算法（176min）
7.1策略梯度算法的基本原理
7.1.1初识策略梯度算法
7.1.2策略函数
7.1.3策略目标函数
7.1.4策略梯度算法的框架
7.1.5策略梯度算法的评价
7.2策略梯度定理
7.2.1离散型策略梯度定理
7.2.2连续型策略梯度定理
7.2.3近似策略梯度和评价函数
7.3蒙特卡罗策略梯度算法(REINFORCE)
7.3.1REINFORCE的基本原理
7.3.2REINFORCE的算法流程
7.3.3REINFORCE随机梯度的严格推导
7.3.4带基线函数的REINFORCE
7.3.5REINFORCE实际案例及代码实现
7.4演员评论家策略梯度算法
7.4.1算法原理
7.4.2算法流程
7.4.3算法代码及案例
第8章策略梯度法进阶（135min）
8.1异步优势演员： 评论家算法
8.1.1异步强化学习
8.1.2A3C算法
8.1.3A2C算法
8.1.4案例和程序
8.2深度确定性策略梯度算法
8.2.1DDPG的基本思想
8.2.2DDPG的算法原理
8.2.3DDPG的算法结构和流程
8.2.4案例和程序
8.3近端策略优化算法
8.3.1PPO的算法原理
8.3.2PPO的算法结构和流程
8.3.3案例和程序
8.4柔性演员评论家算法
8.4.1最大熵原理
8.4.2柔性Q学习
8.4.3SAC算法原理
8.4.4SAC算法结构和流程
8.4.5案例和程序
第9章深度强化学习案例： AlphaGo系列算法
9.1AlphaGo算法介绍
9.1.1AlphaGo中的深度神经网络
9.1.2AlphaGo中深度神经网络的训练
9.1.3AlphaGo的MCTS
9.1.4总结
9.2AlphaGo Zero算法介绍
9.2.1AlphaGo Zero的策略价值网络
9.2.2AlphaGo Zero的MCTS
9.2.3AlphaGo Zero的算法流程
9.3AlphaZero算法介绍
9.3.1从围棋到其他棋类需要解决的问题
9.3.2AlphaZero相对于AlphaGo Zero的改进与调整
9.3.3AlphaZero的算法流程
9.4MuZero算法介绍
9.4.1MuZero中的深度神经网络
9.4.2MuZero中的MCTS
9.4.3MuZero的算法流程
9.5AlphaGo系列算法的应用与启示
参考文献
|
| 內容試閱：
|
机器学习是人工智能的基础和研究热点，按照不同的学习范式分类，机器学习可以分为监督学习、非监督学习和强化学习三大板块。其中，强化学习是一种模拟生物智能体学习最优决策过程的机器学习方法，其主要思想是智能体通过与环境的不断交互获得经验，并从经验中逐渐学习与环境交互的最佳策略。近年来，随着人工智能的发展，强化学习在自动控制、最优决策等领域获得了广泛应用。特别是在将深度学习和强化学习结合之后，深度强化学习已经成为当今机器学习研究的热点之一。
强化学习并不是一个全新的机器学习领域，它之前也被称为再励学习、评价学习和增强学习，是一种交互式学习方法。其前身可以追溯到动态规划法，但经典强化学习方法因其理论和算法的局限，只能处理极少数简单的机器学习问题，因此并不被人所熟知。直到2016年基于深度强化学习的围棋程序AlphaGo的横空出世，并创历史地击败了人类大师级选手，深度强化学习才大张旗鼓地进入了公众视野。现在，深度强化学习已经不仅是科研工作者的研究课题，而且是实实在在地在生产实践中使用的技术手段。例如，韩国围棋院使用基于深度强化学习的围棋程序来训练人类棋手，使人类棋手的棋艺取得了巨大进步； 谷歌公司的DeepMind团队已经着手研究用深度强化学习技术来控制“托克马克”装置，为人类制造“小太阳”提供了新的解决方案； 笔者所在的团队也在研究基于深度强化学习的无人机空中格斗控制，这是无人机空战的未来发展方向。
本书比较全面、系统地介绍了深度强化学习的理论和算法，并配有大量的案例和编程实现的代码。全书的核心内容可以分为3部分，第一部分为经典强化学习，包括第2～4章，第2章介绍动态规划法，提出了值迭代和策略迭代两个基础框架，这是强化学习的最初雏形，也是所有深度强化学习框架的基础； 第3章介绍蒙特卡罗法，将数理统计中的蒙特卡罗方法引入值迭代和策略迭代，这是经典强化学习走向实用性的一大步； 第4章介绍时序差分法，将动态规划和蒙特卡罗法相结合，提出了适用范围更广、学习效率更高的强化学习算法。
第二部分为深度强化学习，包括第6～8章，第6章介绍值函数近似算法和早期的深度强化学习方法，将函数近似的方法引入强化学习是结合深度学习和强化学习的理论基础，为后续开发功能更强大的深度强化学习方法奠定了基础； 第7章介绍策略梯度算法，这是动态规划法中的策略迭代框架在深度强化学习中的体现，策略梯度法解决了用近似函数来表示策略的问题，大大拓展了深度强化学习的理论空间和应用范围； 第8章介绍了基于策略梯度法的一些进阶算法，这些算法都是目前最前沿的深度学习算法框架。
第三部分为深度强化学习的经典应用案例——AlphaGo系列算法，包括第9章诸节，比较详细地介绍了AlphaGo系列算法的来龙去脉，以及各种方法的具体技术细节。
另外，作为理论和算法的辅助，第1章介绍了强化学习的数学模型和由OpenAI开发的环境库Gym，第5章简单介绍了深度学习的理论和PyTorch编程框架。
2021年暑假，笔者接到工作所在单位——西南科技大学数理学院的任务，要我开设一个深度强化学习暑期讲习班。这是一个很艰巨的任务，虽然之前也零零散散地给我的研究生讲过一些深度强化学习的内容，但很不成系统，当时也没有比较合适的教材可以使用，更别说现成的视频、PPT、案例等教学资源了。经过了两三个月的准备，讲习班还是顺利开班了，一起学习的有数理学院对深度强化学习感兴趣的高年级本科生、学校相关专业的研究生，还有我的老师——重庆师范大学数学科学学院白富生教授推荐的研究生，他们在酷暑天从重庆赶来捧场，特别令我感动。本来也想将讲义整理成书，正好接到了清华大学出版社赵佳霓编辑的出书邀约。于是，从2021年暑假开始，每天上午坐在书桌前写上一段就成了这一年来雷打不动的工作，但从未写过书的我还是低估了写作的难度，因为深度强化学习的前沿知识更新速度还是很快的，大部分内容都没有比较系统的资料可以参考，所以只能先阅读近期发表的论文原著，理解并掌握了之后再系统地写出来，案例编程也是一项耗时耗力的工作，经常深夜一两点家人们都已熟睡时，我还在调试程序，有时一连两三周也不能写上一节，真正让我体会到了“两句三年得，一吟双泪流”的感觉。要特别感谢赵佳霓编辑在我写作过程中给予的帮助，每次我发过去的书稿赵编辑都会很快反馈修改建议，提前帮我规范了很多格式和排版问题，让我节省了在这方面的大量时间和精力。
要感谢本书的另外一位作者，中国空气动力研究与发展中心的章胜副研究员，章老师写了第8章部分和第9章全部的初稿，并给其他章节提出了宝贵的修改建议，没有他的帮助，本书不可能这么快完稿。要感谢我的恩师吴至友教授、Adil Bagirov教授，以及在我求学道路上无私帮助过我的白富生、赵克全、吴昌质、杜学武等老师，是他们成就了现在的我。要感谢我的研究生赵玥茹、王民阳、王宇、吴敏，他们为本书的校对工作付出了大量时间。最后，要特别感谢我的家人，特别是两个孩子，他们时不时地会询问：“爸爸，你的书写得怎样了？”这是我能够坚持写下去的巨大动力。
最后，由于个人能力有限，书中难免有不当和错误之处，还望读者海涵和指正，不胜感激。
龙强
于绵阳 西南科技大学
2022年10月30日
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
