新書推薦:
《
铝合金先进成型技术
》
售價:NT$
1214.0
《
《全面与进步跨太平洋伙伴关系协定》国有企业条款研究
》
售價:NT$
449.0
《
银行业架构网络BIAN(全球数字化时代金融服务业框架)(数字化转型与创新管理丛书)
》
售價:NT$
449.0
《
金托邦:江湖中的沉重正义
》
售價:NT$
275.0
《
易经今解:释疑·解惑·见微
》
售價:NT$
403.0
《
东欧史(全二册)-“中间地带”的困境
》
售價:NT$
1010.0
《
虚拟资本:金融怎样挪用我们的未来
》
售價:NT$
352.0
《
刻意练习不生气
》
售價:NT$
179.0
|
編輯推薦: |
本书介绍终身机器学习这种高级机器学习范式,该范式通过积累过去的知识持续地学习,并将所学到的知识用于帮助在未来进行其他学习和解决问题。本书适用于对机器学习、数据挖掘、自然语言处理或模式识别感兴趣的学生、研究人员。
|
內容簡介: |
本书介绍终身学习这种高级机器学习范式,这种范式通过积累过去的知识持续地学习,并将学到的知识用于帮助在未来进行其他学习和解决问题。相比之下,当前主流的机器学习范式都是孤立学习,即给定一个训练数据集,之后在这个数据集上运行机器学习算法以生成模型,然后再将该模型运用于预期的应用。这些范式不保留已经学到的知识,也不将其运用到后续的学习中。与孤立学习系统不同,人类只通过少量的样例就能实现有效学习,这是因为人类的学习是知识驱动的,即只需少量的数据或付出,就能利用过去已经学到的知识去学习新事物。终身学习的目标就是模仿人类的这种学习能力,因为一个没有持续学习能力的AI系统不能算作真正的智能。
自本书第1版出版以来,终身学习的研究在相对较短的时间内取得了显著的进展。出版第2版是为了扩展终身学习的定义,更新部分章节的内容,并添加一个新的章节来介绍深度神经网络中持续学习的内容,这部分内容在过去的两三年里一直被积极研究。部分章节的内容也进行了修改,使得内容更有条理,方便读者阅读。此外,作者希望为这一研究领域提出一个统一的框架。目前,在机器学习中有几个与终身学习密切相关的研究课题,特别是多任务学习、迁移学习以及元学习,因为它们也采用了知识共享和知识迁移的思想。本书之所以集中介绍这些技术并讨论其异同,目的是在介绍终身机器学习的同时,对该领域的重要研究成果和新想法进行全面回顾。本书适用于对机器学习、数据挖掘、自然语言处理或模式识别感兴趣的学生、研究人员和从业人员。
|
關於作者: |
陈志源(Zhiyuan Chen),在伊利诺伊大学芝加哥分校刘兵教授的指导下获得博士学位,博士论文题目为“终身机器学习:主题建模与分类”。他于2016年加入谷歌公司。他的研究兴趣包括机器学习、自然语言处理、文本挖掘、数据挖掘和竞价拍卖算法:他提出了几种终身机器学习算法,实现了自动从文本文档中挖掘信息,并在KDD、ICML、ACL、WWW、IJCAI和AAAI等主要会议上发表了超过15篇长篇研究论文。他还在IJCAI-2015、KDD-2016和EMNLP-2016上提供了三个关于终身机器学习的教程。他曾经是许多著名的自然语言处理、数据挖掘、人工智能和互联网研究会议的成员,并于201 5年获得伊利诺伊州技术基金会颁发的有潜力50人奖,以表彰他的学术贡献。
刘兵(Bing Liu),是伊利诺伊大学芝加哥分校的杰出教授,在爱丁堡大学获得了博士学位。他的研究兴趣包括终身学习、情感分析、数据挖掘、机器学习和自然语言处理,他在会议和期刊上发表了大量论文,其中两篇论文获得了KDD 10年Test-of-Time 奖,一篇论文获得WSDM 10年Test-of-Time 奖。他也是4册书的作者,其中2本关于情感分析,1本关于终身学习,1本关于数据挖掘。他的一些工作被媒体广泛报道,包括《纽约时报》的头版文章。他是2018 ACM SIGKDD创新奖的获得者,也是很多数据挖掘会议(包括KDD、ICDM、CIKM、WSDM、SDM和PAKDD)的程序主席。他同时是包括TKDE、TWEB、DMKD和TKDD在内的期刊的副编辑,还是很多自然语言处理、人工智能、网络和数据挖掘会议的领域主席或者高级程序委员会成员,并且曾经是2013~2017年ACM SIGKDD的主席,是ACM、AAAI和IEEE会士。
陈健,现任华南理工大学教授、博士生导师,并担任中国计算机学会高级会员、中国计算机学会数据库专业委员会委员、广东省计算机学会大数据专业委员会副主任、广东省计算机学会数据库分会理事、秘书长、广东省计算机学会计算智能专业委员会委员。曾在加拿大西蒙弗雷泽大学计算机科学学院和新加坡国立大学计算学院从事数据挖掘和机器学习方面的研究工作,并主持多项国家、省级项目。近十年以来,在国际学术期刊和国际会议上发表论文六十多篇,出版译著四部,主编丛书一部。
|
目錄:
|
译者序
前 言
致 谢
第1章 引言1
1.1 传统机器学习范式1
1.2 案例3
1.3 终身学习简史7
1.4 终身学习的定义9
1.5 知识类型和关键挑战14
1.6 评估方法和大数据的角色17
1.7 本书大纲18
第2章 相关学习范式20
2.1 迁移学习20
2.1.1 结构对应学习21
2.1.2 朴素贝叶斯迁移分类器22
2.1.3 迁移学习中的深度学习23
2.1.4 迁移学习与终身学习的区别24
2.2 多任务学习25
2.2.1 多任务学习中的任务相关性25
2.2.2 GO-MTL:使用潜在基础任务的多任务学习26
2.2.3 多任务学习中的深度学习28
2.2.4 多任务学习与终身学习的区别30
2.3 在线学习30
2.4 强化学习31
2.5 元学习32
2.6 小结34
第3章 终身监督学习35
3.1 定义和概述36
3.2 基于记忆的终身学习37
3.2.1 两个基于记忆的学习方法37
3.2.2 终身学习的新表达37
3.3 终身神经网络39
3.3.1 MTL网络39
3.3.2 终身EBNN40
3.4 ELLA:高效终身学习算法41
3.4.1 问题设定41
3.4.2 目标函数42
3.4.3 解决个低效问题43
3.4.4 解决第二个低效问题45
3.4.5 主动的任务选择46
3.5 终身朴素贝叶斯分类47
3.5.1 朴素贝叶斯文本分类47
3.5.2 LSC的基本思想49
3.5.3 LSC技术50
3.5.4 讨论52
3.6 基于元学习的领域词嵌入52
3.7 小结和评估数据集54
第4章 持续学习与灾难性遗忘56
4.1 灾难性遗忘56
4.2 神经网络中的持续学习58
4.3 无遗忘学习61
4.4 渐进式神经网络62
4.5 弹性权重合并63
4.6 iCaRL:增量分类器与表示学习65
4.6.1 增量训练66
4.6.2 更新特征表示67
4.6.3 为新类构建范例集68
4.6.4 在iCaRL中完成分类68
4.7 专家网关69
4.7.1 自动编码网关69
4.7.2 测量训练的任务相关性70
4.7.3 为测试选择相关的专家71
4.7.4 基于编码器的终身学习71
4.8 生成式重放的持续学习72
4.8.1 生成式对抗网络72
4.8.2 生成式重放73
4.9 评估灾难性遗忘74
4.10 小结和评估数据集75
第5章 开放式学习79
5.1 问题定义和应用80
5.2 基于中心的相似空间学习81
5.2.1 逐步更新CBS学习模型82
5.2.2 测试CBS学习模型84
5.2.3 用于未知类检测的CBS学习84
5.3 DOC:深度开放式分类87
5.3.1 前馈层和一对其余层87
5.3.2 降低开放空间风险89
5.3.3 DOC用于图像分类90
5.3.4 发现未知类90
5.4 小结和评估数据集91
第6章 终身主题建模93
6.1 终身主题建模的主要思想93
6.2 LTM:终身主题模型97
6.2.1 LTM模型97
6.2.2 主题知识挖掘99
6.2.3 融合过去的知识100
6.2.4 Gibbs采样器的条件分布102
6.3 AMC:少量数据的终身主题模型102
6.3.1 AMC整体算法103
6.3.2 挖掘must-link知识104
6.3.3 挖掘cannot-link知识107
6.3.4 扩展的Pólya瓮模型108
6.3.5 Gibbs采样器的采样分布110
6.4 小结和评估数据集112
第7章 终身信息提取114
7.1 NELL:永不停止语言学习器114
7.1.1 NELL结构117
7.1.2 NELL中的提取器与学习118
7.1.3 NELL中的耦合约束120
7.2 终身评价目标提取121
7.2.1 基于推荐的终身学习122
7.2.2 AER算法123
7.2.3 知识学习124
7.2.4 使用过去知识推荐125
7.3 在工作中学习126
7.3.1 条件随机场127
7.3.2 一般依赖特征128
7.3.3 L-CRF算法130
7.4 Lifelong-RL:终身松弛标记法131
7.4.1 松弛标记法132
7.4.2 终身松弛标记法133
7.5 小结和评估数据集133
第8章 聊天机器人的持续知识学习135
8.1 LiLi:终身交互学习与推理136
8.2 LiLi的基本思想139
8.3 LiLi的组件141
8.4 运行示例142
8.5 小结和评估数据集142
第9章 终身强化学习144
9.1 基于多环境的终身强化学习146
9.2 层次贝叶斯终身强化学习147
9.2.1 动机147
9.2.2 层次贝叶斯方法148
9.2.3 MTRL算法149
9.2.4 更新层次模型参数150
9.2.5 对MDP进行采样151
9.3 PG-ELLA:终身策略梯度强化学习152
9.3.1 策略梯度强化学习152
9.3.2 策略梯度终身学习设置154
9.3.3 目标函数和优化154
9.3.4 终身学习的安全策略搜索156
9.3.5 跨领域终身强化学习156
9.4 小结和评估数据集157
第10章 结论及未来方向159
参考文献164
|
內容試閱:
|
编写第2版的目的是扩展终身学习的定义,更新部分章节的内容,并添加一个新的章节来介绍深度神经网络中的持续学习(continual learning in deep neural networks),这部分内容在过去的两三年里一直被积极研究。另外,还重新组织了部分章节,使得内容更有条理。
编写本书的工作始于我们在2015年第24届国际人工智能联合会议(IJCAI)上关于终身机器学习(lifelong machine learning)的教程。当时,我们已经对终身机器学习这个主题做了一段时间的研究,并在ICML、KDD和ACL上发表了几篇文章。当Morgan & Claypool出版社联系我们要出版关于该主题的图书时,我们很兴奋。我们坚信终身机器学习(或简称终身学习)对未来的机器学习和人工智能(AI)至关重要。值得注意的是,终身学习有时在文献中也被称为持续学习(continual learning)或连续学习(continuous learning)。我们对该主题的初研究兴趣源于几年前在一个初创公司所做的关于情感分析(SA)的工作中所积累的广泛应用经验。(典型的SA项目始于客户在社交媒体中对他们自己或竞争对手的产品或服务发表的消费者意见。)SA系统包含两个主要的分析任务:(1)发现人们在评论文档(如在线评论)中谈到的实体(例如,iPhone)和实体属性/特征(例如,电池寿命);(2)确定关于每个实体或实体属性的评论是正面的、负面的或中立的[Liu,2012,2015]。例如,从“iPhone真的很酷,但它的电池寿命很糟糕”这句话中,SA系统应该发现:(1)作者对iPhone的评论是正面的;(2)作者对iPhone的电池续航时间的评论是负面的。
在参与许多领域(产品或服务的类型)的许多项目之后,我们意识到跨领域和跨项目之间存在着大量可共享的信息。随着我们经历的项目越来越多,遇到的新事物却越来越少。很容易看出,情感词和短语(如好的、坏的、差的、糟糕的和昂贵的)是跨领域共享的,大量的实体和属性也是共享的。例如,每个产品都有价格属性,大量电子产品有电池,大多数还有屏幕。如果不使用这些可共享的信息来大幅度提高SA的准确度,而是单独处理每个项目及其数据,是比较愚蠢的做法。经典的机器学习范式完全孤立地学习。在这种范式下,给定一个数据集,学习算法在这个数据集上运行并生成模型,算法没有记忆,因此无法使用先前学习的知识。为了利用知识共享,SA系统必须保留和积累过去学到的知识,并将其用于未来的学习和问题的解决,这正是终身学习(lifelong learning)的目标。
不难想象,这种跨领域和跨任务的信息或知识共享在每个领域都是正确的。在自然语言处理中尤为明显,因为单词和短语的含义在不同领域和任务之间基本相同,句子语法也是如此。无论我们谈论什么主题,都使用相同的语言,尽管每个主题可能只使用一种语言中的一小部分单词和短语。如果情况并非如此,那么人类也不会形成自然语言。因此,终身学习可以广泛应用,而不仅仅局限于情感分析。
本书的目的是提出这种新兴的机器学习范式,并对该领域的重要研究成果和新想法进行全面的回顾。我们还想为该研究领域提出一个统一的框架。目前,机器学习中有几个与终身学习密切相关的研究课题,特别值得注意的是多任务学习和迁移学习,因为它们也采用了知识共享和知识迁移的思想。本书将集中介绍这些主题,并讨论它们之间的相同和差异。我们将终身学习视为这些相关范式的扩展。通过本书,我们还想激励研究人员开展终身学习的研究。我们相信终身学习代表了未来几年机器学习和人工智能的主要研究方向。如果不能保留和积累过去学到的知识,对知识进行推理,并利用已学到的知识帮助未来的学习和解决问题,那么实现通用人工智能(Artificial General Intelligence, AGI)是不可能的。
编写本书遵循了两个主要指导原则。首先,它应该包含开展终身学习研究的强大动机,以便鼓励研究生和研究人员致力于研究终身学习的问题。其次,它的内容对于具有机器学习和数据挖掘基础知识的从业者和高年级本科生应该是易于理解的。但是,对于计划攻读机器学习和数据挖掘领域博士学位的研究生来说,应该学习更加详尽的资料。
因此,本书适用于对机器学习、数据挖掘、自然语言处理或模式识别感兴趣的学生、研究人员和从业人员。
陈志源和刘兵
2018年8月
|
|