新書推薦：
《
思考的框架3 巴菲特芒格马斯克推崇的思维方式 风靡华尔街的思维训练法 沙恩·帕里什 著
》
售價：NT$
295.0
《
森林疗法：拥抱大自然、获得幸福的季节性方法
》
售價：NT$
340.0
《
希腊人（伊恩·莫里斯文明史系列）
》
售價：NT$
845.0
《
亚马逊六页纸 如何高效开会、写作、完成工作
》
售價：NT$
349.0
《
世界巨变：严复的角色（王中江著作系列）
》
售價：NT$
500.0
《
塔西佗（全二册）（二十世纪人文译丛）
》
售價：NT$
1800.0
《
（棱镜精装人文译丛）思想的假死
》
售價：NT$
290.0
《
当代精神分析新论
》
售價：NT$
430.0
|
| 編輯推薦： |
（1）知识覆盖全面，内容新颖独特，涵盖基于模型的算法、无模型方法、深度Q-学习、策略梯度和多智能体强化学习等算法以及国际前沿研究和热点方向。
（2）侧重基本概念和基础知识，总结提炼强化学习和深度强化学习的理论研究。
（3）重点突出在OpenAI Gym工具包下使用PyTorch和TensorFlow框架的深度强化学习算法。
（4）详尽分析特定场景领域的数学建模和理论推导过程，理论讲解深入浅出，应用实例简洁易懂，源代码清晰易理解。 （5）适合作为大学生的教材以及工程师的参考书籍。在有限篇幅内系统精炼地阐明基本理论、方法，辅以典型的理论分析、实例和相关程序，化繁为简，便于学习和认知。
|
| 內容簡介： |
|
本书重点突出深度强化学习理论的基本概念、前沿基础理论和Python应用实现。首先介绍马尔可夫决策、基于模型的算法、无模型方法、动态规划、蒙特卡洛和函数逼近等基础知识；然后详细阐述强化学习、深度强化学习、多智能体强化学习等算法，及其Python应用实现。本书既阐述奖励、价值函数、模型和策略等重要概念和基础知识，又介绍深度强化学习理论的前沿研究和热点方向。本书英文版出版之后，广受好评，已成为深度强化学习领域畅销教材，也可为人工智能和机器学习等领域的科研工作者、技术工程师提供参考。
|
| 關於作者： |
作者简介
Nimish Sanghi（尼米什·桑吉）一位充满激情的技术领导者，专注于使用技术解决客户问题，在软件和咨询领域拥有超过25年的工作经验，拥有人工智能和深度学习的多项证书，获得印度理工学院电气工程学士学位、印度管理学院工商管理硕士学位。曾在普华永道、IBM和Oracle等公司担任领导职务，负责盈亏管理。2006年，在SOAIS公司开启软件咨询创业之旅，为《财富》100强的众多公司提供自动化和数字化转型服务，实现从本地应用到云计算的转型。人工智能和自动化驱动的初创公司领域的天使投资人，联合创立面向印度市场的SaaS人力资源和薪资Paybooks平台，联合创立提供人工智能驱动的工作流ZipperAgent自动化平台和视频营销ZipperHQ自动化平台（总部位于波士顿的初创公司），现任这两个平台的首席技术官和首席数据科学家。
译者简介
罗俊海，博士(后)，电子科技大学副教授、硕士生导师。主要研究方向为智能计算、目标检测和数据融合，主持国家自然科学基金、四川省科技厅基金、总装预研基金和中央高校基本科研业务等15项，参与制订标准6项，发表文章60余篇，其中SCI检索50余篇，总引用1500余次。申请和授权发明专利30余项，获四川省科学技术进步奖二等奖和三等奖各1项。出版《多源数据融合和传感器管理》《使用HTML和CSS开发WEB网站》《物联网系统开发及应用实战》等专著和教材5部，以及译著《实用MATLAB深度学习：基于项目的方法》。
|
| 目錄：
|
第1章强化学习导论
1.1强化学习概述
1.2机器学习分类
1.2.1监督学习
1.2.2无监督学习
1.2.3强化学习
1.2.4核心元素
1.3基于强化学习的深度学习
1.4实例和案例研究
1.4.1自动驾驶汽车
1.4.2机器人
1.4.3推荐系统
1.4.4金融和贸易
1.4.5医疗保健
1.4.6游戏
1.5库与环境设置
1.6总结
第2章马尔可夫决策
2.1强化学习的定义
2.2智能体和环境
2.3奖励
2.4马尔可夫过程
2.4.1马尔可夫链
2.4.2马尔可夫奖励
过程
2.4.3马尔可夫决策
过程
2.5策略和价值函数
2.6贝尔曼方程
2.6.1贝尔曼最优方程
2.6.2解决方法类型的
思维导图
2.7总结
第3章基于模型的算法
3.1OpenAI Gym
3.2动态规划
3.3策略评估/预测
3.4策略改进和迭代
3.5价值迭代
3.6广义策略迭代
3.7异步回溯
3.8总结
第4章无模型方法
4.1蒙特卡洛估计/预测
4.2蒙特卡洛控制
4.3离线策略MC控制
4.4TD学习方法
4.5TD控制
4.6在线策略SARSA
4.7Q学习： 离线策略
TD控制
4.8最大偏差和双重学习
4.9期望SARSA控制
4.10回放池和离线策略学习
4.11连续状态空间的Q学习
4.12n步回报
4.13资格迹和TD(λ)
4.14DP、MC和TD之间
的关系
4.15总结
第5章函数逼近
5.1概述
5.2逼近理论
5.2.1粗编码
5.2.2瓦片编码
5.2.3逼近中的挑战
5.3增量预测： MC、TD和
TD(λ)
5.4增量控制
5.4.1n步半梯度SARSA
控制
5.4.2半梯度SARSA(λ)
控制
5.5函数逼近的收敛性
5.6梯度时序差分学习
5.7批处理方法
5.8线性最小二乘法
5.9深度学习库
5.10总结
第6章深度Q学习
6.1DQN
6.2优先回放
6.3双Q学习
6.4竞争DQN
6.5噪声网DQN
6.6C51
6.7分位数回归DQN
6.8事后经验回放
6.9总结
第7章策略梯度算法
7.1引言
7.1.1基于策略的方法的
利弊
7.1.2策略表征
7.2策略梯度推导
7.2.1目标函数
7.2.2导数更新规则
7.2.3更新规则的运算
原理
7.3强化算法
7.3.1带奖励因子的
方差减少
7.3.2进一步减少基线
差异
7.4演员评论家方法
7.4.1定义优势
7.4.2优势演员评论家
7.4.3A2C算法的
实现
7.4.4异步优势演员
评论家
7.5信赖域策略优化算法
7.6近似策略优化算法
7.7总结
第8章结合策略梯度和Q学习
8.1策略梯度与Q学习
的权衡
8.2结合策略梯度与Q学习的
一般框架
8.3深度确定性策略梯度
8.3.1Q学习在DDPG中的
应用(评论家)
8.3.2DDPG中的策略
学习(演员)
8.3.3伪代码和实现
8.3.4代码实现
8.4双延迟DDPG
8.4.1目标策略平滑
8.4.2Q损失(评论家)
8.4.3策略损失(演员)
8.4.4延迟更新
8.4.5伪代码和实现
8.4.6代码实现
8.5重参数化技巧
8.5.1分数/强化方法
8.5.2重参数化技巧与
路径导数
8.5.3实验
8.6熵解释
8.7软演员评论家
8.7.1SAC与TD3
8.7.2熵正则化下的
Q损失
8.7.3具有重参数技巧的
策略损失
8.7.4伪代码及其实现
8.7.5代码实现
8.8总结
第9章综合规划与学习
9.1基于模型的强化学习
9.1.1使用学习的模型
进行规划
9.1.2集成学习与规划
9.1.3Dyna Q和变化
的环境
9.1.4Dyna Q
9.1.5期望与示例更新
9.2探索vs利用
9.2.1多臂强盗
9.2.2后悔值： 探索质量的
衡量标准
9.3决策时间规划和蒙特
卡洛树搜索
9.4AlphaGo模拟实验
9.5总结
第10章进一步的探索与后续
工作
10.1基于模型的强化学习：
其他方法
10.1.1世界模型
10.1.2想象力增强智
能体
10.1.3基于模型的强化
学习和无模型
微调
10.1.4基于模型的价值
扩展
10.2模仿学习和逆强化
学习
10.3无导数方法
10.4迁移学习和多任务
学习
10.5元学习
10.6流行的强化学习库
10.7如何继续学习
10.8总结
术语
|
| 內容試閱：
|
本书涵盖了强化学习从基础到高级的大部分知识。本书假设读者没有强化学习的基础，希望读者可以通过本书熟悉机器学习的基础知识，特别是监督学习。在正式阅读本书之前，我想先问读者几个问题。你是否使用过Python？你是否习惯使用NumPy和scikitlearn这样的库？你是否听说过深度学习并在PyTorch或TensorFlow中探索过训练简单模型的基本构建块？
如果你对这些问题的答案都是“是”，那么这本书将对你有很大的帮助。如果不是，建议你先学习或回顾这些概念，查阅关于这些问题的在线教程或书籍。
本书将带领读者了解强化学习的基础知识，在前几章中我们将花费大量时间来解释一些概念。如果读者已经了解强化学习的相关知识，那么可以快速浏览前4章。从第5章开始，我们将探索将深度学习与强化学习相结合的方法。GitHub上托管的配套代码是本书不可分割的一部分。虽然本书包含相关代码的代码块，但代码库中的Jupyter notebooks提供了有关这些算法编程的更多见解和实用技巧。读者最好先阅读对应的章节及其代码，然后在Jupyter notebooks中研究代码。我们也鼓励读者尝试重写代码，为OpenAI Gym库中的不同附加环境训练智能体。
对于深度学习这样的学科，数学是免不了的。但是，我们已尽力将其保持在最低难度。本书引用了许多研究论文，对所采取的方法做了简短的解释。读者如果想要深入了解该理论，那么可以阅读原文。本书旨在向读者介绍该领域许多最新技术的动机和高级算法。但是并没有提供这些技术的完整理论理解，读者可以通过阅读原始论文来研究学习。
本书由10章组成。
第1章“强化学习导论”介绍了一些相关背景和强化学习如何改变智能机器的真实案例。还介绍了Python 和相关库的安装，以便读者可以运行本书附带的代码。
第2章“马尔可夫决策”详细定义了我们在强化学习领域试图解决的问题。我们讨论了智能体和环境，并深入探讨了奖励、价值函数、模型和策略。我们还研究了各种不同的马尔可夫过程，构建了贝尔曼方程。
第3章“基于模型的算法”重点介绍了模型的设置以及智能体如何规划其行动以获得最优结果。我们探索了OpenAI Gym环境库，它实现了许多我们将在本书中用于编码和测试算法的常见环境。最后，探讨了
“策略迭代”和“价值迭代”的规划方法。
第4章“无模型方法”讨论了无模型学习方法。在这种设置下，智能体可以不了解环境/模型。它与环境交互并利用奖励通过试错法来学习最优策略。我们专门研究了蒙特卡洛(Monte Carlo，MC)方法和时序差异(Temporal Difference，TD)学习方法。我们首先分别研究这两种方法，然后在n步回报和资格迹的概念下将两者结合起来。
第5章“函数逼近”着眼于系统状态从离散(第4章之前的情况)变为连续状态的设置。我们研究了如何使用参数化函数来表示状态并带来可扩展性。首先，我们讨论了传统的函数逼近方法，尤其是线性逼近方法。然后，介绍了使用基于深度学习的模型作为非线性函数逼近器的概念。
第6章“深度Q学习”深入探讨了DeepMind，成功展示了如何将深度学习和强化学习结合在一起，设计出能够学习玩Atari等电子游戏的智能体。首先，我们探讨了DQN（Deep Q Network）的工作原理以及需要做哪些调整才能使其学习。然后，分析了DQN的各种变体，并附有详细的代码示例，包括PyTorch和TensorFlow。
第7章“策略梯度算法”将重点转移到在无模型设置中直接学习好的策略的方法。前几章的方法都是先学习价值函数，然后使用这些价值函数来优化策略。本章首先讨论直接策略优化方法的理论基础，然后讨论各种方法，包括一些近期非常成功的算法，并在PyTorch和 TensorFlow中实现了它们。
第8章“结合策略梯度和Q学习”介绍了如何结合基于值的DQN和策略梯度方法来充分利用这两种方法的优势。它还使我们设计出可以在连续动作空间中运行的智能体，这在第7章之前的方法下是不容易实现的。我们特别关注3种流行的策略： 深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)、双延迟DDPG(Twin Delayed DDPG， TD3)和软演员评论家(Soft Actor Critic， SAC)。与前几章一样，我们在PyTorch和TensorFlow中有全面的实现，以帮助读者掌握该主题。
第9章“综合规划与学习”将第3章中的基于模型的方法和第4～8章中的无模型方法相结合
，探讨了使此类集成成为可能的一般框架。还解释了蒙特卡洛树搜索(Monte Carlo Tree Search，MCTS)以及如何使用它来训练可以击败围棋冠军的AlphaGo。
第10章“进一步的探索与后续工作”综述了强化学习的各种其他扩展，包括可扩展的基于模型的方法、模仿和逆学习、无导数方法、迁移学习和多任务学习以及元学习等概念。广阔的覆盖范围有助于读者全面了解相关的新概念，而不会迷失在细节中。
配套代码
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
