新書推薦:
《
黄埔一期同学录(全两册)
》
售價:NT$
1265.0
《
终局思维 站在未来设计你的当下 行为科学的开创性研究
》
售價:NT$
352.0
《
派系分合与晚清政治 : 1885—1898 (著名史家林文仁经典晚清史,重磅归来)
》
售價:NT$
500.0
《
夏日乌龙茶
》
售價:NT$
239.0
《
算力网络技术详解与最佳实践
》
售價:NT$
449.0
《
元素咖啡化学(全2册)
》
售價:NT$
1632.0
《
宋朝的祛魅(吴铮强教授多角度对宋朝进行解读与祛魅,壹卷精选系列)
》
售價:NT$
347.0
《
创新的真相:如何将创新商业化,促进经济增长
》
售價:NT$
454.0
編輯推薦:
本书对机器学习的基础知识和基本算法进行了详细的介绍,对广泛应用的经典算法(如线性回归、逻辑回归、朴素贝叶斯、支持向量机、决策树和集成学习等)进行了深入的分析,并讨论了无监督学习的基本方法。用6章对深度学习和深度强化学习进行了相当全面的叙述,不仅深入地讨论了反向传播算法、多层感知机、卷积神经网络、循环神经网络和长短期记忆网络等深度神经网络的核心知识和结构,对于一些发展中的专题(如Transformer、大模型和深度生成模型等)也给予了一定深度的介绍。对于强化学习,不仅介绍了经典表格方法,也较详细地讨论了深度强化学习及应用实例。本书对于基础和前沿、经典方法和热门技术尽可能平衡,使读者不仅能在机器学习领域打下一个良好的基础,同时也可以利用所学知识解决遇到的实际问题并进入学科前沿。
本书是一本面向大学理工科和管理类各专业的宽口径、综合性的机器学习教材,可供高年级本科生和研究生使用,也可帮助科技人员、工程师和程序员自学机器学习的原理和算法。
內容簡介:
”本书对机器学习的基础知识和基本算法进行了详细的介绍,对广泛应用的经典算法(如线性回归、逻辑回归、 朴素贝叶斯、支持向量机、决策树和集成学习等)进行了深入的分析,并讨论了无监督学习的基本方法。用6章对 深度学习和深度强化学习进行了相当全面的叙述,不仅深入地讨论了反向传播算法、多层感知机、卷积神经网络、 循环神经网络和长短期记忆网络等深度神经网络的核心知识和结构,对于一些发展中的专题(如Transformer、大 模型和深度生成模型等)也给予了一定深度的介绍。对于强化学习,不仅介绍了经典表格方法,也较详细地讨论了 深度强化学习及应用实例。本书对于基础和前沿、经典方法和热门技术尽可能平衡,使读者不仅能在机器学习领 域打下一个良好的基础,同时也可以利用所学知识解决遇到的实际问题并进入学科前沿。 本书是一本面向大学理工科和管理类各专业的宽口径、综合性的机器学习教材,可供高年级本科生和研究生 使用,也可帮助科技人员、工程师和程序员自学机器学习的原理和算法。”
關於作者:
张旭东: 清华大学电子工程系长聘教授,博士生导师,主要研究方向为信号处理和机器学习。主持国家级、省部级项目,以及企业合作项目数十项,发表学术论文180余篇,出版图书8部。获得爱思唯尔的最高引用论文奖(The Most Cited Paper Award)和英国工程技术学会国际雷达会议的最优论文奖。两次获得清华大学教学成果奖一等奖,三次获得清华大学优秀教材奖,获得郑君里教书育人杰出贡献奖和章毓晋图书奖一等奖。
目錄 :
第1章机器学习概述
微课视频146分钟
1.1什么是机器学习
1.2机器学习的分类
1.2.1基本分类
1.2.2监督学习及其功能分类
1.3构建机器学习系统
1.3.1机器学习的基本元素
1.3.2机器学习的基本概念
1.4通过简单示例理解机器学习
1.4.1一个简单的回归示例
1.4.2一个简单的分类示例
1.5深度学习
本章小结
本章习题
第2章统计与优化基础
微课视频129分钟
2.1概率基础
2.1.1离散随机变量
2.1.2连续随机变量
2.1.3随机变量的基本特征
2.1.4随机特征的蒙特卡洛逼近
2.2概率实例
2.2.1离散随机变量示例
2.2.2高斯分布
2.2.3指数族
2.2.4高斯混合过程
2.2.5马尔可夫过程
2.3最大似然估计
2.4贝叶斯估计——最大后验估计
2.5随机变量的熵特征
2.5.1熵的定义和基本性质
2.5.2KL散度、互信息和负熵
2.6非参数方法
2.7优化技术
2.7.1基本优化算法
2.7.2拉格朗日方法
本章小结
本章习题
第3章贝叶斯决策
微课视频39分钟
3.1机器学习中的决策
3.2分类的决策
3.2.1加权错误率准则
3.2.2拒绝判决
3.3回归的决策
3.4高斯情况下的分类决策
3.4.1相同协方差矩阵情况的二分类
3.4.2不同协方差矩阵情况的二分类
3.4.3多分类情况
3.5KNN方法
*3.6概率图模型
3.6.1贝叶斯网络
3.6.2无向图模型
3.6.3图模型的学习与推断
本章小结
本章习题
第4章基本回归和分类算法
微课视频158分钟
4.1线性回归
4.1.1基本线性回归
4.1.2线性回归的递推学习
4.1.3正则化线性回归
4.1.4多输出线性回归
*4.2稀疏线性回归Lasso
4.2.1Lasso的循环坐标下降算法
4.2.2Lasso的LAR算法
4.3线性基函数回归
4.4基本分类问题
4.5线性判别函数模型
4.5.1Fisher线性判别分析
*4.5.2感知机
4.6逻辑回归
4.6.1二分类问题的逻辑回归
4.6.2多分类问题的逻辑回归
4.7朴素贝叶斯方法
本章小结
本章习题
第5章机器学习流程、评价和性能界
微课视频90分钟
5.1机器学习流程
5.1.1机器学习基本流程
5.1.2数据清洗和数据预处理
5.1.3模型的训练、验证与测试
5.1.4特征工程
5.1.5样本不平衡
5.2机器学习模型的性能评估
5.3机器学习模型的误差分解
5.4机器学习模型的泛化性能
5.4.1假设空间有限时的泛化误差界
*5.4.2假设空间无限时的泛化误差界
本章小结
本章习题
第6章支持向量机与核函数方法
微课视频91分钟
6.1线性支持向量机
6.1.1不等式约束的优化
6.1.2线性可分情况的SVM
6.1.3不可分情况的SVM
6.1.4合页损失函数
6.1.5SVM用于多分类问题
6.2非线性支持向量机
6.2.1SVM分类算法小结
*6.2.2SMO算法
6.3支持向量回归
*6.4核函数方法
本章小结
本章习题
第7章决策树
微课视频75分钟
7.1基本决策树算法
7.1.1决策树的基本结构
7.1.2信息增益和ID3算法
7.1.3信息增益率和C4.5算法
7.2CART算法
7.2.1分类树
7.2.2回归树
7.3决策树的一些实际问题
7.3.1连续数值变量
7.3.2正则化和剪枝技术
7.3.3缺失属性的训练样本问题
本章小结
本章习题
第8章集成学习
微课视频63分钟
8.1Bagging和随机森林
8.1.1自助采样和Bagging算法
8.1.2随机森林算法
8.2提升和AdaBoost算法
8.2.1AdaBoost算法介绍
*8.2.2AdaBoost算法分析
8.3提升树算法
8.3.1加法模型和提升树
8.3.2梯度提升树
本章小结
本章习题
第9章神经网络与深度学习之一: 基础
微课视频94分钟
9.1神经网络的基本结构
9.1.1神经元结构
9.1.2多层神经网络解决异或问题
9.1.3多层感知机
9.1.4神经网络的逼近定理
9.2神经网络的目标函数和优化
9.2.1神经网络的目标函数
9.2.2神经网络的优化
9.3误差反向传播算法
9.3.1反向传播算法的推导
9.3.2反向传播算法的向量形式
9.3.3反向传播算法的扩展
9.4神经网络学习中的一些问题
9.4.1初始化
9.4.2正则化
9.4.3几类等价正则化技术
本章小结
本章习题
第10章神经网络与深度学习之二: 结构
微课视频123分钟
10.1卷积神经网络
10.1.1卷积运算及其物理意义
10.1.2基本CNN的结构
10.1.3CNN的参数学习
*10.1.4卷积的一些扩展结构
*10.1.5CNN示例介绍
10.2循环神经网络
10.2.1基本RNN
10.2.2RNN的计算和训练
*10.2.3长短期记忆模型
*10.2.4门控循环单元
本章小结
本章习题
第11章神经网络与深度学习之三: 扩展
微课视频174分钟
11.1深度学习中的优化算法
11.1.1小批量SGD算法
11.1.2动量SGD算法
11.1.3自适应学习率算法
11.2深度学习训练的正则化技术
11.2.1Dropout技术
11.2.2批归一化
*11.2.3层归一化
*11.3对抗训练
*11.4自编码器
11.4.1自编码器的基本结构
11.4.2自编码器的一些扩展
*11.5注意力机制和Transformer
11.5.1注意力机制
11.5.2序列到序列模型
11.5.3Transformer
*11.6预训练技术和模型实例
11.6.1GPT模型
11.6.2BERT模型
本章小结
本章习题
第12章聚类和EM算法
微课视频65分钟
12.1聚类算法
12.1.1K均值聚类算法
12.1.2DBSCAN聚类算法
12.1.3其他度量和聚类算法
12.2EM算法
12.2.1EM算法的隐变量形式
12.2.2独立同分布情况
*12.2.3EM算法扩展到MAP估计
*12.2.4通过KL散度对EM算法的解释
12.3基于EM算法的高斯混合模型参数估计
12.3.1GMM参数估计
12.3.2GMM的软聚类
本章小结
本章习题
第13章降维和连续隐变量学习
微课视频20分钟
13.1主分量分析
13.1.1主分量分析原理
13.1.2广义Hebb算法
*13.2样本向量的白化和正交化
13.2.1样本向量的白化
13.2.2向量集的正交化
*13.3独立分量分析
13.3.1独立分量分析的原理和目标函数
13.3.2不动点算法FastICA
13.3.3自然梯度算法
13.3.4仿真实验举例
本章小结
本章习题
第14章强化学习之一: 经典方法
微课视频178分钟
14.1强化学习的基本问题
14.2马尔可夫决策过程
14.2.1MDP的定义
14.2.2贝尔曼方程
14.2.3最优策略
14.2.4强化学习的类型
14.2.5探索与利用
14.3动态规划
14.3.1策略迭代方法
14.3.2值函数迭代方法
14.4强化学习的蒙特卡洛方法
14.4.1MC部分策略评估
14.4.2MC策略改进
14.4.3在轨策略和离轨策略
14.5强化学习的时序差分方法
14.5.1基本时序差分学习和Sarsa算法
14.5.2离轨策略和Q学习
14.5.3DP、MC和TD算法的简单比较
*14.5.4多步时序差分学习和资格迹算法
*14.6多臂赌博机
本章小结
本章习题
第15章强化学习之二: 深度强化学习
15.1强化学习的值函数逼近
15.1.1基本线性值函数逼近
*15.1.2线性值函数逼近的最小二乘策略迭代算法
15.1.3深度Q网络
15.2策略梯度方法
15.2.1MC策略梯度算法Reinforce
15.2.2行动器评判器方法
*15.3连续动作确定性策略梯度方法
15.3.1DPG算法
15.3.2DDPG算法
15.3.3连续动作DRL的一些进展概述
*15.4深度强化学习的应用实例
15.4.1AlphaGo
15.4.2Suphx
15.4.3DRL在无人机自主导航中的应用
本章小结
本章习题
第16章深度生成模型
微课视频203分钟
16.1深度生成模型概述
16.2生成对抗网络
16.2.1基本的生成对抗网络
*16.2.2改进生成对抗网络的目标函数
*16.2.3改进生成对抗网络的结构
16.3变分自编码器
16.3.1变分自编码器原理
16.3.2变分自编码器训练算法
16.4深度扩散模型
16.4.1前向和反向过程
16.4.2扩散模型的目标函数
16.4.3扩散模型训练算法和实现实例
*16.4.4扩散模型与评分网络的关系和其他扩展
*16.5归一流模型
本章小结
本章习题
附录A课程的实践型作业实例
A.1第1次实践作业
A.2第2次实践作业
A.3第3次实践作业
附录B函数对向量和矩阵的求导
附录C术语表
参考文献
视频目录
视 频 名 称时长/min位置
第1集导论1651.1节
第2集导论2311.3节
第3集导论3501.4节
第4集统计基础1712.1节
第5集统计基础2582.5节
第6集决策论393.1节
第7集回归学习714.1节
第8集分类学习1514.4节
第9集分类学习2364.7节
第10集流程和评估905.1节
第11集核与SVM916.1节
第12集决策树757.1节
第13集集成学习638.1节
第14集神经网络949.1节
第15集深度学习17810.1节
第16集深度学习24510.2节
第17集深度学习33711.1节
第18集深度学习46811.4节
第19集深度学习56911.5.2节
第20集无监督学习16512.1节
第21集无监督学习22013.1节
第22集强化学习19514.1节
第23集强化学习28314.3节
第24集深度生成模型15316.1节
第25集深度生成模型24816.3节
第26集深度生成模型310216.4节
內容試閱 :
机器学习已经成为一种解决诸多问题的有效工具,并成为实现人工智能的重要技术支撑。本书是以理工科高年级本科生或低年级研究生的基础知识为起点,以面向应用为目标的机器学习教材。通过学习本书,读者可以为掌握机器学习的本质和算法、解决实际问题以及开展与本领域相关的研究打下基础。
本书并不完全是一本新书,而是由清华大学出版社2022年出版的《机器学习导论》修订而成。在清华大学牵头建设的新兴领域“十四五”高等教育教材“新一代信息技术(人工智能)系列丛书”中,规划了《机器学习》教材。作者按照该系列教材的要求,以《机器学习导论》为基础进行了修订和补充,形成了这本新教材。
作为“机器学习”课程的教材,本书在材料选择上做了尽可能地平衡,既要反映机器学习的基础知识和经典方法,又要重视近期非常活跃的深度学习的内容。由于机器学习的成果非常丰富,构成一本教材的材料非常广泛,因此我们在基础和前沿的材料中做了仔细的选择。深度学习很重要,尤其是当前的一些复杂应用(包括计算机视觉、语音识别、自然语言处理、推荐系统、信息检索等),既有大数据支持,又可以通过大规模计算系统进行训练(学习),取得了许多重要进展,近期以ChatGPT为代表的大模型就是建立在深度学习基础上的。但并不是所有应用都有必需使用深度学习,许多问题用传统机器学习技术已可以取得很好的结果,尤其是一些工程中的专门领域,获取大数据集是非常困难的,对这些领域,经典的机器学习方法仍可发挥作用。
基于以上考虑,本书对机器学习的经典算法和深度学习算法都给予相当深入的介绍,读者在学习时,可将全书内容分为7个单元。
第1单元包括第1~3章,涵盖基础性介绍和一些需要补充的基础知识。第1章是机器学习概述,介绍了机器学习要解决的基本问题,以及一些基本术语、基本类型和构成模型的基本元素; 第2章是统计与优化基础,目的是使本书尽可能满足更广泛的读者需求,为此目的所提供的预备知识; 第3章是贝叶斯决策,这是构成机器学习系统的一个相对独立的基本单元,同时简单介绍了图模型基础。
第2单元包括第4章和第5章。第4章介绍了基本回归算法和基本分类算法,包括了线性回归、线性基函数回归、稀疏线性回归、Fisher线性判别分析、感知机、逻辑回归和朴素贝叶斯方法; 第5章介绍了机器学习中一些基本的理论和实践问题。该单元通过相对简单的模型,介绍了构成机器学习算法的核心要素,对于理解机器学习的基本原理很有帮助,所介绍的算法对中小规模问题仍有实用价值。
第3单元包括第6~8章,分别介绍了机器学习的3种重要算法——支持向量机与核函数方法、决策树和集成学习。由于这3类算法的重要性,每类都用一章的篇幅进行专题介绍。
第4单元包括第9~11章,是关于神经网络与深度学习的专题,用3章的篇幅深入讨论这一专题,分别介绍了本专题的3方面——基础、结构和扩展。第9章讨论了网络的结构、表示定理、目标函数、基本优化方法、梯度计算、初始化和正则化等,最重要的是给出了反向传播算法的深入介绍。第10章详细介绍了深度学习中的两大类网络结构,即卷积神经网络和循环神经网络,并分别介绍了其基本结构、扩展结构和专门的反向传播算法,以及几个有影响的网络结构的例子,最后还介绍了残差网络、长短期记忆(LSTM)、门控循环单元(GRU)等新结构。第11章汇集了深度学习中若干关键技术和新进展,包括深度网络的优化技术、正则化和归一化、对抗训练、自编码器、注意力机制和Transformer等,对预训练模型GPT和BERT也给出了概要介绍,这是构成大语言模型(LLM)的基础。
第5单元包括第12章和第13章,是关于无监督学习的专题,讨论了聚类算法、EM算法、主分量分析(PCA)和独立分量分析(ICA)。
第6单元包括第14章和第15章,介绍了强化学习。第14章介绍了基本的强化学习原理和算法,主要讨论了强化学习的表格方法; 第15章介绍了强化学习的更先进的内容,主要包括值函数逼近和策略梯度两类算法,这两类算法都可以结合深度神经网络构成深度强化学习。
第7单元即第16章,介绍了深度生成模型。这一单元可以作为第4单元深度学习的一部分,但由于其尚在快速发展中,故单独作为最后一个单元。这一章介绍了生成对抗网络、变分自编码器、扩散模型和流模型。
作为一本教材,本书每章都设置了适量的习题。附录A中给出了课程的实践型作业的实例。自本课程开设以来,每学期均要求学生完成3个实践型作业,作业数据一般来自网络资源中的实际数据,需要学生自己选择预处理方法,实践作业的效果非常好。每年的作业都有变化,为了提供完整的参考性,附录A给出某年的全部实践作业的原题,仅供使用本书作为教材的教师参考。对于不同的院校、不同的专业,可以有不同的要求,但应该至少完成一个实践作业。对于自学本书的工程技术人员,可以自行选择一些题目测试自己的学习效果。真正掌握机器学习,读者既需要较强的数学知识,能理解各种算法,又要有较强的实践能力,能够编程、调试完成一些实践型作业。本书以原理和算法为主,若读者需要学习编程基础,例如Python语言,可自行选择相关的编程教材或指南,附录A的最后给出了几个编程指南的网络链接。
本书的材料已足够一个学期课程所需要,作为一本教材,希望控制其在合适的篇幅内,因此有许多重要的专题没有介绍,如变分贝叶斯和非参贝叶斯学习、半监督学习、迁移学习、自动学习等,对这些内容感兴趣的读者,可进一步参考相关专著和近期的论文。对于课程安排来讲,目录中标记星号的章节可略过不讲,留作自学材料。
作为一本综合性、导论性的机器学习教材,本书对深度学习和强化学习的介绍在深度和广度上都做了尽可能的努力,希望读者在学习到较全面的机器学习知识的同时,对深度学习和强化学习有深入的了解,并尽快进入这些领域的前沿。机器学习是实现人工智能的重要技术支撑,在涉及人工智能发展路径、人工智能伦理等问题上的不同观点,对于机器学习的从业者也同样需要关注,在这些方面存在很多不同观念和争论,目前仍未有定论,对这些问题的深入讨论,超出本书作为基础性教材的范围,有兴趣的读者可参考这方面的专门论著或报告。
本书列出的参考文献,都是作者在撰写本书时直接参考或希望读者延伸阅读的。本书一些材料是若干年教学积累的结果,作者努力包含对本书写作有影响的所有参考资料,但若有个别参考过的文献有所疏漏,作者表示歉意。
许多同行、同事和研究生对本书的出版做出了贡献。微软亚洲研究院(MSRA)的刘铁岩博士对课程内容的设置提出了宝贵意见,秦涛博士对本书的内容给出了若干有价值的建议,合作团队的汪玉、王剑、袁坚和沈渊等教授提供了各种帮助,谨表示感谢!秦涛博士和王超博士帮助撰写了15.4节有关深度强化学习应用实例的内容,王超博士在清华攻读博士学位期间,曾多次作为课程助教,协助作者进行课程内容的完善和实践作业的设计,并仔细阅读了本书的初稿,提出若干修改意见; 助教博士生金月、邱云波帮助绘制了多幅插图,金月帮助实现了第4.3节的实例,在此一并表示感谢。许多选课学生的反馈对于改善本书初稿很有帮助,在此对所有对本书有所建议的同学表示感谢。
尽管做了很大努力,但由于作者水平、时间和精力所限,本书还会有不足之处,希望读者批评指正。
作者2024年9月于清华园