新書推薦:
《
人格阴影 全新修订版,更正旧版多处问题。国际分析心理学协会(IAAP)主席力作
》
售價:NT$
305.0
《
560种野菜野果鉴别与食用手册
》
售價:NT$
305.0
《
中国官僚政治研究(一部洞悉中国政治制度演变的经典之作)
》
售價:NT$
286.0
《
锂电储能产品设计及案例详解
》
售價:NT$
505.0
《
首辅养成手册(全三册)(张晚意、任敏主演古装剧《锦绣安宁》原著小说)
》
售價:NT$
551.0
《
清洁
》
售價:NT$
296.0
《
组队:超级个体时代的协作方式
》
售價:NT$
352.0
《
第十三位陪审员
》
售價:NT$
245.0
編輯推薦:
杨强教授领衔撰写,研究团队十余年艰苦研究工作的积累。
迁移学习开山之作,解决人工智能的zui后一公里问题。
张钹院士作序,邓力、高文、李开复、周志华(按姓氏拼音排序)联袂推荐。
內容簡介:
迁移学习解决的是系统如何快速地适应新场景、新任务和新环境的问题,在目标域中只有少量标记数据可用时,它赋予了机器学习系统利用辅助数据和模型来解决目标问题的能力。这使得机器学习系统更加可靠和健壮,并且让机器学习模型在面对不可预见的变化时尽可能达到预期的性能。在企业层面,迁移学习允许知识的重复利用,使得每次获得的经验可以重复地应用于现实世界。
本书为迁移学习方向首本算法、理论、应用方面成熟、成体系的总结,相关领域研究的系统性参考。为迁移学习领域的新加入者提供了坚实的基础,也为经验丰富的研究人员和开发人员提供了新的视野。
本书分为两部分。第1部分(第1~14章)介绍迁移学习的基础,其中第1章对迁移学习进行概述,第2~14章介绍迁移学习相关的各种理论和算法。第2部分(第15~22章)讨论迁移学习的许多应用领域。第23章是对全书的总结。
關於作者:
杨强 微众银行首席人工智能官,香港科技大学计算机科学与工程系讲席教授,第四范式有限公司联合创始人,ACM、AAAI、IEEE、IAPR、CAAI和AAAS会士,香港人工智能与机器人学会理事长,AAAI 2021主席。曾任IJCAI理事长和多个国际顶会主席,包括IJCAI 2015、ACM KDD 2012等。曾获20042005 ACM KDDCUP冠军、2017 ACM SIGKDD杰出服务奖、2018 AAAI创新人工智能应用奖、2019 CAAI吴文俊人工智能科学技术杰出贡献奖。曾任华为诺亚方舟实验室创始主任和香港科技大学计算机系主任。曾创立 i IEEE Transactions on Big Data i 和 i ACM Transactions on Intelligent Systems and Technology i 期刊并任主编。著有《智能规划》《学术研究:你的成功之道》《软件工程中基于约束的设计恢复》和《联邦学习》。毕业于北京大学(天体物理学学士)和美国马里兰大学(计算机专业博士)。
张宇 南方科技大学计算机科学与工程系副教授,2011年在香港科技大学计算机科学与工程系获博士学位。在国内外顶级人工智能和机器学习会议及期刊上发表论文约70篇。曾获UAI 2010和PAKDD 2019的最佳论文奖,以及2013年IEEEWICACM网络智能国际会议的最佳学生论文奖。2019年入选国家特聘专家(青年)。杨强 微众银行首席人工智能官,香港科技大学计算机科学与工程系讲席教授,第四范式有限公司联合创始人,ACM、AAAI、IEEE、IAPR、CAAI和AAAS会士,香港人工智能与机器人学会理事长,AAAI 2021主席。曾任IJCAI理事长和多个国际顶会主席,包括IJCAI 2015、ACM KDD 2012等。曾获20042005 ACM KDDCUP冠军、2017 ACM SIGKDD杰出服务奖、2018 AAAI创新人工智能应用奖、2019 CAAI吴文俊人工智能科学技术杰出贡献奖。曾任华为诺亚方舟实验室创始主任和香港科技大学计算机系主任。曾创立IEEE Transactions on Big Data和ACM Transactions on Intelligent Systems and Technology期刊并任主编。著有《智能规划》《学术研究:你的成功之道》《软件工程中基于约束的设计恢复》和《联邦学习》。毕业于北京大学(天体物理学学士)和美国马里兰大学(计算机专业博士)。
张宇 南方科技大学计算机科学与工程系副教授,2011年在香港科技大学计算机科学与工程系获博士学位。在国内外顶级人工智能和机器学习会议及期刊上发表论文约70篇。曾获UAI 2010和PAKDD 2019的最佳论文奖,以及2013年IEEEWICACM网络智能国际会议的最佳学生论文奖。2019年入选国家特聘专家(青年)。
戴文渊 第四范式有限公司创始人兼首席执行官。曾任百度首席架构师和高级科学家,帮助百度开发了机器学习系统。曾任华为诺亚方舟实验室首席科学家。毕业于香港科技大学计算机科学与工程系(博士)、上海交通大学计算机科学与工程系(硕士、学士)。在ICML、NIPS、AAAI、KDD等会议上发表论文多篇。曾获2005年ACM-ICPC总决赛世界冠军、2007年PKDD最佳学生论文奖。入选2017年《麻省理工科技评论》中国青年科技创新人才榜(TR35)发明家和2017年《财富》中国40位40岁以下商界精英。
潘嘉林 新加坡南洋理工大学计算机科学与工程学院教务长讲座副教授,曾任新加坡资讯通信研究所(Institute for Infocomm Research)数据分析部门文本分析实验室主任。2011年获香港科技大学计算机科学博士学位。2018年被《IEEE智能系统》评选为10大AI青年科学家(AI 10 to Watch)。
译者简介:
庄福振 中国科学院计算技术研究所副研究员、硕士生导师,于2011年7月在中国科学院研究生院获得博士学位;2013年9月被聘为副研究员。主要从事迁移学习、多任务学习、推荐系统以及大数据挖掘应用等方面的研究,相关成果已经在本领域、重要国际期刊和国际会议上发表\录用论文100余篇。迁移学习的工作曾获得SDM2010和CIKM2010的最佳论文提名,2013年获得中国人工智能学会优秀博士学位论文奖。入选2015年微软亚洲研究院青年教师铸星计划,2017入选中国科学院青年创新促进会。
目錄 :
目 录
推荐序
译者序
前 言第一部分 迁移学习的基础第1章 绪论21.1 人工智能、机器学习以及迁移学习2
1.2 迁移学习:定义6
1.3 与已有机器学习范式的关系9
1.4 迁移学习的基础研究问题11
1.5 迁移学习应用11
1.5.1 图像理解11
1.5.2 生物信息学和生物成像12
1.5.3 推荐系统和协同过滤12
1.5.4 机器人和汽车自动驾驶13
1.5.5 自然语言处理和文本挖掘13
1.6 历史笔记14
1.7 关于本书15第2章 基于样本的迁移学习192.1 引言19
2.2 基于样本的非归纳式迁移学习20
2.2.1 判别区分源数据和目标数据22
2.2.2 核平均匹配23
2.2.3 函数估计23
2.3 基于样本的归纳式迁移学习24
2.3.1 集成源损失与目标损失24
2.3.2 Boosting风格的方法26
2.3.3 样本生成方法27第3章 基于特征的迁移学习293.1 引言29
3.2 最小化域间差异30
3.2.1 最大均值差异30
3.2.2 基于Bregman散度的正则化34
3.2.3 使用特定分布假设的度量34
3.2.4 数据依赖的域差异度量35
3.3 学习通用特征36
3.3.1 学习通用编码36
3.3.2 深度通用特征37
3.4 特征增强38第4章 基于模型的迁移学习404.1 引言40
4.2 基于共享模型成分的迁移学习42
4.2.1 利用高斯过程的迁移学习42
4.2.2 利用贝叶斯模型的知识迁移43
4.2.3 利用深度模型的模型迁移44
4.2.4 其他方法45
4.3 基于正则化的迁移45
4.3.1 基于支持向量机的正则化46
4.3.2 基于多核学习的迁移学习47
4.3.3 深度模型中的微调方法48第5章 基于关系的迁移学习525.1 引言52
5.2 马尔可夫逻辑网络54
5.3 利用马尔可夫网络的基于关系的迁移学习55
5.3.1 通过一阶逻辑的浅层迁移55
5.3.2 通过二阶逻辑的深度迁移57
5.3.3 通过结构类比的迁移学习59第6章 异构迁移学习616.1 引言61
6.2 异构迁移学习问题63
6.3 方法63
6.3.1 异构特征空间64
6.3.2 异构标签空间78
6.4 应用79第7章 对抗式迁移学习827.1 引言82
7.2 生成对抗网络83
7.3 采用对抗式模型的迁移学习86
7.3.1 生成目标域数据87
7.3.2 通过对抗式学习来学习域不变特征89
7.4 讨论91第8章 强化学习中的迁移学习928.1 引言92
8.2 背景93
8.2.1 强化学习94
8.2.2 强化学习任务中的迁移学习95
8.2.3 迁移学习在强化学习中的目标96
8.2.4 迁移强化学习分类98
8.3 任务间迁移学习99
8.3.1 基于样本的迁移99
8.3.2 基于特征的迁移100
8.3.3 基于模型的迁移103
8.3.4 解决迁移时机问题105
8.4 域间迁移学习105
8.4.1 基于样本的迁移106
8.4.2 基于特征的迁移107
8.4.3 基于模型的迁移108第9章 多任务学习1099.1 引言109
9.2 定义111
9.3 多任务监督学习111
9.3.1 基于特征的多任务监督学习112
9.3.2 基于模型的多任务监督学习114
9.3.3 基于样本的多任务监督学习120
9.4 多任务无监督学习120
9.5 多任务半监督学习120
9.6 多任务主动学习121
9.7 多任务强化学习121
9.8 多任务在线学习121
9.9 多任务多视图学习122
9.10 并行与分布式多任务学习122第10章 迁移学习理论12310.1 引言123
10.2 多任务学习的泛化界124
10.3 监督迁移学习的泛化界127
10.4 无监督迁移学习的泛化界129第11章 传导式迁移学习13111.1 引言131
11.2 混合图上的传导式迁移学习133
11.2.1 问题定义134
11.2.2 混合迁移算法135
11.3 基于隐性特征表示的传导式
迁移学习137
11.3.1 问题定义137
11.3.2 耦合的矩阵三因子分解算法138
11.4 基于深度神经网络的传导式
迁移学习141
11.4.1 问题定义141
11.4.2 选择学习算法142第12章 自动迁移学习:学习如何
自动迁移14612.1 引言146
12.2 L2T框架147
12.3 参数化迁移什么148
12.3.1 基于公共隐空间的算法149
12.3.2 基于流形集成的算法149
12.4 从经验中学习149
12.4.1 源域和目标域之间的差异149
12.4.2 目标域判别能力151
12.4.3 优化问题151
12.5 推断迁移什么151
12.6 与其他学习范式的联系152
12.6.1 迁移学习152
12.6.2 多任务学习153
12.6.3 终身机器学习153
12.6.4 自动化机器学习153第13章 小样本学习15513.1 引言155
13.2 零样本学习156
13.2.1 概述156
13.2.2 零样本学习算法157
13.3 单样本学习161
13.3.1 概述161
13.3.2 单样本学习算法161
13.4 贝叶斯规划学习163
13.4.1 概述163
13.4.2 用于识别字符笔画的贝叶斯规划学习163
13.5 短缺资源学习166
13.5.1 概述166
13.5.2 机器翻译166
13.6 域泛化168
13.6.1 概述168
13.6.2 偏差SVM169
13.6.3 多任务自动编码器169第14章 终身机器学习17114.1 引言171
14.2 终身机器学习:定义172
14.3 通过不变的知识进行终身机器学习173
14.4 情感分类中的终身机器学习174
14.5 共享模型组件用于多任务学习177
14.6 永无止境的语言学习178第二部分 迁移学习的应用第15章 隐私保护的迁移学习18415.1 引言184
15.2 差分隐私185
15.2.1 定义185
15.2.2 隐私保护的正则化经验风险最小化186
15.3 隐私保护的迁移学习188
15.3.1 问题设置188
15.3.2 目标提升188
15.3.3 多方学习191
15.3.4 多任务学习193第16章 计算机视觉中的迁移学习19416.1 引言194
16.2 概述195
16.2.1 浅层迁移学习模型195
16.2.2 深度迁移学习模型199
16.2.3 迁移学习用于其他视觉任务200
16.3 迁移学习用于医学图像分析201
16.3.1 医学图像分类201
16.3.2 医学图像异常检测203
16.3.3 医学图像分割204第17章 自然语言处理中的迁移学习20517.1 引言205
17.2 NLP中的迁移学习205
17.2.1 问题设置206
17.2.2 NLP应用中的参数初始化206
17.2.3 NLP应用中的多任务学习207
17.3 情感分析中的迁移学习212
17.3.1 问题定义和符号214
17.3.2 浅模型214
17.3.3 基于深度学习的方法217第18章 对话系统中的迁移学习22618.1 引言226
18.2 问题形式化定义228
18.3 口语理解中的迁移学习228
18.3.1 问题定义229
18.3.2 模型适配229
18.3.3 基于样本的迁移229
18.3.4 参数迁移230
18.4 对话状态跟踪中的迁移学习231
18.4.1 基于特征的多领域对话状态跟踪231
18.4.2 基于模型的多领域对话状态跟踪231
18.5 对话策略学习中的迁移学习232
18.5.1 针对Q学习的迁移线性模型233
18.5.2 针对Q学习的迁移高斯过程233
18.5.3 针对Q学习的迁移贝叶斯
委员会机器235
18.6 自然语言生成中的迁移学习236
18.6.1 自然语言生成中的模型微调237
18.6.2 自然语言生成中的课程学习237
18.6.3 自然语言生成中的样本合成237
18.7 端到端对话系统中的迁移学习238
18.7.1 完全参数微调239
18.7.2 部分参数共享239第19章 推荐系统中的迁移学习24719.1 引言247
19.2 在推荐中迁移什么248
19.2.1 推荐系统中基于样本的迁移
学习方法248
19.2.2 推荐系统中基于特征的迁移
学习方法249
19.2.3 推荐系统中基于模型的迁移
学习方法251
19.3 新闻推荐252
19.3.1 问题定义253
19.3.2 挑战和解决方案254
19.3.3 解决方案:基于邻域的迁移学习254
19.4 社交网络中的VIP推荐255
19.4.1 问题定义256
19.4.2 挑战和解决方案257
19.4.3 解决方案:基于社交关系的迁移258第20章 生物信息学中的迁移学习26020.1 引言260
20.2 生物信息学中的机器学习问题261
20.3 生物序列分析262
20.4 基因表达分析和遗传分析265
20.5 系统生物学266
20.6 生物医学文本和图像挖掘268
20.7 基于深度学习的生物信息学268
20.7.1 深度神经追踪268
20.7.2 生物信息学中的深度迁移学习272第21章 行为识别中的迁移学习27321.1 引言273
21.2 针对无线定位的迁移学习273
21.2.1 依赖于环境的数据稀疏性挑战274
21.2.2 基于特征的迁移学习用于定位276
21.2.3 基于样本的迁移学习用于定位278
21.2.4 基于模型的迁移学习用于定位280
21.3 针对行为识别的迁移学习282
21.3.1 背景282
21.3.2 问题设置284
21.3.3 跨特征空间的迁移285
21.3.4 跨标签空间的迁移287第22章 城市计算中的迁移学习28922.1 引言289
22.2 城市计算中的迁移什么290
22.3 城市计算中迁移学习的关键问题291
22.4 连锁店推荐292
22.4.1 问题设置292
22.4.2 CityTransfer模型293
22.5 空气质量预测295
22.5.1 问题设置295
22.5.2 FLORAL模型296第23章 结束语297参考文献299名词中英文对照341
內容試閱 :
推荐序
迈向真正的人工智能30多年前我与杨强教授在人工智能(AI)的国际会议上相遇并相识,而后发现我们对AI有着共同的兴趣并从事类似的研究工作。当时正处于第一代AI的高潮,符号主义占主导地位。我们利用以知识为基础的符号推理模型研究AI中的各种问题,如规划、搜索和学习等。这是当时的主流,以机器学习为例,如从观察中学习、基于案例的推理、类比学习和归纳学习等,它们均从模仿人类的宏观学习机制出发,以知识(或经验)驱动为基础。这种学习方法的优点是,学习的模型和结果很容易实现跨领域和跨任务的推广。不难看出,这些学习方法正是当今迁移学习(Transfer Learning)的探路者。可惜,不久它们就遭遇了AI的冬天。由于知识获取与表示的困难,以及当时计算机计算能力的限制,符号主义的主张没有得到应有的发展和大规模的应用,以知识为基础的学习方法也同样受到重创。21世纪初,机器学习中的一个分支概率统计学习(特别是深度学习)异军突起,获得巨大成功。它不仅建立了较好的理论基础和有效的算法,还成功地得到商业应用,成为推动产业和社会发展的重要力量,使AI进入了以数据驱动为主导的第二代AI发展时代。凭借大数据、强大的算法和算力,第二代AI在模式识别等领域表现出超越人类的性能。可惜,以数据驱动为基础建立的AI系统十分脆弱,推广能力也很差,例如:机器学习模型在某些方面可以具有很高的性能,但当模型应用于有别于训练环境的场景中时,其性能显著下降,甚至完全不能使用,与人类随机应变和举一反三的真正智能相去甚远。为了迈向真正的AI,我们需要第三代AI,而迁移学习正在向这一道路迈进。迁移学习将知识驱动方法和数据驱动方法结合起来,以打破基于大数据的黑箱学习带来的不可解释、脆弱与易受攻击等缺陷,建立可解释与鲁棒的AI理论和方法,开发安全、可信、可靠和可扩展的AI技术。由于能同时利用知识、数据、算法和算力这四大要素,AI一定可以再创辉煌。本书展示了在通往真正AI的道路上作者在机器学习领域已经取得的成果。
迁移学习如何将基于数据学习得到的模型从一种场景更新或者迁移到另一场景,从而实现跨领域和跨任务的推广?具体的做法如下:首先,从学习训练的环境(包括训练数据与方法)出发,发现哪些(具有某种通用性的)知识可以跨领域或者跨任务进行迁移,哪些只是针对单个领域或单个任务的特定知识,并利用通用的知识帮助提升目标域或目标任务的性能。这些通用知识主要通过以下4种渠道迁移到目标域中,即源域中可利用的样本、源域和目标域中可共享的特征、源域模型中可利用的部分、源域中实体之间的特定规则。
本书是杨强教授与其学生在多年研究的基础上撰写的,它包含了迁移学习的基础、方法、技术和应用。本书主要由两部分组成:第1部分从代表性方法和理论研究的角度介绍迁移学习的基础;第2部分讨论迁移学习中的一些新热点,以及展示一些成功应用迁移学习的场景。本书包含很多原创性的成果,是一部值得广大读者阅读的专著。本书向我们展示了作者为走向真正AI所做出的努力,因此不仅适合关注迁移学习的读者,而且对于所有关心人工智能的读者都是有益处的。
张钹院士
清华大学人工智能研究院院长
译者序
迁移学习是机器学习中一种新的学习范式,旨在解决目标领域中只有少量甚至没有标记样本的富有挑战性的学习问题。本书英文版作者香港科技大学的杨强教授指出:迁移学习能够解决人工智能的最后一公里问题,它就像人类一样,能够举一反三,有效地把模型从一个场景迁移到另一个场景,从而突破传统机器学习必须有大量标记数据作为前提的要求。在过去的十几年里,不管是在算法、理论研究还是实际场景应用方面,迁移学习都得到了越来越广泛的关注和研究。
当我通过机械工业出版社华章公司得知杨强教授撰写的本书时,我感到非常兴奋和激动,因为终于有一本比较成熟的书系统地对迁移学习的算法、理论、应用以及相关领域研究进行了总结。首先,非常感谢华章公司的委托以及杨强教授的信任,让我有幸负责组织全书的中文翻译工作。全书凝聚了杨强教授及其团队在迁移学习以及相关领域的研究成果,包括迁移学习、多任务学习、迁移学习理论、自动迁移学习、小样本学习、终身机器学习,以及迁移学习在计算机视觉、自然语言处理、推荐系统、生物信息学、行为识别等方面的研究成果。这是一本系统而全面的书。本人目前的主要研究方向包括迁移学习、多任务学习、多视图学习以及推荐系统等,也有幸从2007年开始,在罗平师兄的指导下开展迁移学习算法的研究,主要研究方向有文本分类、情感分析、推荐系统、异常检测等应用。令人欣慰的是,我们最近也完成了一篇关于近十年来迁移学习研究工作进展的系统综述,该综述主要从数据和模型角度对迁移学习算法进行了总结,也比较全面地涵盖了本人及团队在该领域的研究成果,详见arxiv上的预印版本 A Comprehensive Survey on Transfer Learning:https:arxiv.orgabs1911.02685。
从2019年5月接受委托开始本书的翻译工作以来,本人前后历时约8个月,终于顺利完成了翻译工作。本书之所以能够顺利完成,离不开我的学生、朋友及家人的积极参与、关心和支持。在这里我要特别感谢他们,包括何佳、张钊、陈敬伍、奚冬博、孙莹、朱勇椿、王天鑫、汪润川、周干斌、应豪超、张啸、弋飞、赵洁洁、陈天柱、段柯宇、郭桐嘉、黄婷、张函玉排名不分先后。当然,这也离不开出版社编辑的仔细校对,在这里一并表示感谢。由于时间仓促,本书虽然经历了几轮反复梳理和校对,但难免还有一些翻译习惯上的差异以及瑕疵。若有发现,请及时反馈给本人或出版社进行修正,不胜感激。
最后,迁移学习作为一种新的机器学习范式,虽然近十年来已经得到广泛的关注和研究,但本人认为该领域还非常年轻,还有很多事情可以做。比如真实场景中的实际应用,虽然其中有一些实际数据的应用,但其算法主要还停留在实验阶段,离实用性还有一定距离。另外,现实世界中存在着各种各样的应用需求,也急需对迁移学习做进一步开发和探索。我希望本书作为迁移学习领域的第一本书籍,可以吸引越来越多的读者和研究人员来从事这方面的研究,从而推动该领域的发展,为迁移学习解决人工智能的最后一公里问题做出贡献。
庄福振
中国科学院计算技术研究所
2019年12月31日
前 言
本书介绍迁移学习的基础、方法、技术和应用。迁移学习解决的是学习系统如何快速适应新场景、新任务和新环境的问题。迁移学习是机器学习中一个特别重要的领域,我们可以从几个角度来理解。
第1,从小数据中学习的能力似乎是人类智能的一个特别强大的方面。例如,我们观察到婴儿可以仅从一些例子中学习,并能快速而有效地从这些例子中归纳出概念。这种从小数据中学习的能力在某种程度上可以解释为人类利用和调整以前的经验和预先训练的模型来帮助解决未来目标问题的能力。适配(adaptation)是智能生物的一种先天能力,人工智能主体当然也应该被赋予迁移学习能力。
第2,在机器学习实践中,我们经常遇到大量的小型数据集,这些数据集通常是孤立的、碎片化的。许多机构由于很多限制而没有能力收集到大规模数据集,这些限制包括资源限制、组织利益、法规和对用户隐私的考虑等。当这些机构把人工智能技术应用到其问题中时,这种小数据的挑战是其面临的一个严重问题。迁移学习是针对这一挑战的一种合适的解决方案,因为它可以利用许多辅助数据和外部模型,并调整它们来解决目标问题。
第3,迁移学习可以使人工智能和机器学习系统更加可靠和鲁棒。建立一个机器学习模型通常遇到的情况是,人们不能预见所有未来的情况。在机器学习中,这个问题通常使用一种称为正则化的技术来解决,这种技术通过限制模型的复杂性来为将来的变化留下空间。迁移学习进一步采用了这种方法,它允许模型保持复杂性,同时为实际出现的变化做好准备。
此外,当把学习到的模型用于跨领域边界并面临不可预见的变化时,迁移学习仍然可以确保模型性能不会与预期性能相差太大。通过这种方式,迁移学习可以让知识重复利用,从而使获得的经验可以重复地应用到现实世界中。从软件系统的角度来看,如果系统能够通过迁移学习调整自身以适应新领域,那么当外部环境发生变化时,可以认为系统变得更加鲁棒和可靠。在工程实践中,这样的系统通常是首选的。
如果在机器学习实践中继续应用迁移学习,我们就可以获得终身机器学习系统,它可以从一系列解决问题的经验中汲取知识,无论是在很长一段时间内还是从大量的任务中。迁移学习赋予智能系统终身学习的能力。
最后,迁移学习系统可以成为一个严格保护用户隐私的良好商业模型的支柱。这样,一个预训练的模型就可以被下载和适配到计算机网络的边缘,而不泄露从边缘积累的或位于云端的用户数据。通过将模型从服务器端转移到客户端,可以有效地保护客户端的隐私。此外,通过仔细构造迁移学习算法,还可以保护云上的用户私人信息。
就像人工智能特别是机器学习一样,迁移学习的概念也经历了几十年的演化。从早年的人工智能开始,研究人员就把迁移知识的能力当作智能的根本基石之一。迁移学习也有不同的名称,并以不同的形式进行探索,包括类比学习(learning by analogy)、 基于案例的推理(case-based reasoning)、 知识重用和重建、 终身机器学习(lifelong machine learning)、 永无止境的学习(never-ending learning)和域适应(domain adaptation)等。除了人工智能和计算机科学外,迁移学习的概念也以不同的术语被研究。例如,在教育理论和学习心理学领域,学习迁移(transfer of learning)的概念一直是教育工作者研究有效学习和教学建模的一个重要课题,人们坚信,最好的教学能使学生学会如何学习,并使所学知识适应未来的情况。尽管名称不同,但其本质是相似的:能够利用自己过去的经验,帮助自己在未来做出更有效的决定。
迁移学习的研究涉及科学和工程的许多领域,包括人工智能、算法理论、概率和统计等。随着人们对人工智能的兴趣的增长,该领域也在经历着快速的变化,许多新的研究也对该领域做出了贡献。作为第一本关于该领域的书,我们希望它能成为机器学习研究和应用领域的新加入者的工具,同时也希望它成为经验丰富的机器学习研究人员和应用程序开发人员的参考书。
本书分为两部分。第1部分(第1~14章)介绍迁移学习的基础,其中第1章对迁移学习进行概述,第2~14章介绍迁移学习相关的各种理论和算法。第2部分(第15~22章)讨论迁移学习的许多应用领域。第23章是对全书的总结。
本书是研究人员十多年艰苦研究工作的积累,主要研究人员包括杨强教授的现在和往届的研究生、博士后研究人员和研究助理。每章的作者包括一位或几位学生。四位主要作者负责一些章节的撰写或深入各章来帮助精练内容,或者两者兼而有之。以下是每章的作者。
第1章:潘嘉林、杨强
第2章:张翔
第3章:耿栩
第4章:吴学阳
第5章:田晗
第6章:魏颖
第7章:张颖华
第8章:刘博
第9章:张宇
第10章:张宇
第11章:谭奔
第12章:张宇、魏颖
第13章:邓锦亮
第14章:李良豪、杨强
第15章:郭夏玮、陈雨强、涂威威、戴文渊
第16章:张颖华、王伟俨
第17章:肖文怡、李正
第18章:莫凯翔
第19章:潘微科、胡光能
第20章:徐倩、刘博、杨强
第21章:郑文琛、胡昊
第22章:王乐业、李叶昕
第23章:杨强、张宇、戴文渊、潘嘉林
最后,感谢邓玉桃的管理工作,她帮助我们制定了严格的时间表,并进行了团队管理工作。在此向以上贡献者表示衷心的感谢!如果没有他们的努力,本书是不可能完成的。
还要感谢多年的同事、组织和合作者。感谢香港科技大学、香港研资局CERG基金、香港创新及科技基金、第四范式公司、新加坡南洋理工大学、微众银行等机构的鼎力支持。
最后,感谢家人的支持,他们的耐心和鼓励让我们最终完成了本书。