新書推薦:
《
镶嵌之美:古希腊罗马的马赛克艺术
》
售價:NT$
1390.0
《
后希腊化哲学:从斯多亚学派到奥利金的发展研究
》
售價:NT$
349.0
《
别纠结啦:不被情绪牵着走的通透生活指南(“当代一休”小池龙之介治愈新作!附赠精美书签!)
》
售價:NT$
295.0
《
第二人生:找到重新定义人生的智慧
》
售價:NT$
440.0
《
唐朝三百年
》
售價:NT$
490.0
《
反操纵心理学:夺回人生主导权 拒绝被操纵
》
售價:NT$
249.0
《
同工异曲:跨文化阅读的启示(修订版)(师承钱锺书先生,比较文学入门,体量小但内容丰,案例文笔皆精彩)
》
售價:NT$
199.0
《
牛津立法研究手册
》
售價:NT$
1630.0
|
編輯推薦: |
以问题为导向,使读者在解决问题的过程中学习数据挖掘、机器学习等数据科学相关方法
从数据模型的角度进行讲解,帮助初学者快速掌握模型原理与实务操作
提供配套案例源码、教学PPT及扩展典型案例下载
|
內容簡介: |
本书是一本数据科学的入门书籍。每个知识点尽量从实际的应用案例出发,从数据出发,以问题为导向,在解决问题中学习数据挖掘、机器学习等数据科学相关方法。本书将数据读写、数据清洗和预处理作为开端,逐渐深入到和数据科学相关的决策树、支持向量机、神经网络、无监督学习等知识。此外,结合数据科学的实际应用,书中还讲解了推荐算法、文本挖掘和社交网络分析等热门实用技术。本书在写作过程中尽量删去太过抽样的理论,让具有一定高等数学和概率论基础的读者就能看得懂。当然,如果读者对方法原理确实不感兴趣,只是为了用R程序实现某种方法,可以跳过方法只看案例和程序。本书适合作为高校数据科学、机器学习、数据挖掘、大数据分析等相关专业的研究生和高年级本科的教科书,也适合作为相关企业的数据科学家、数据挖掘工程师、数据分析师及数据科学的爱好者等的工具书。
|
關於作者: |
方匡南,厦门大学信息科学学院教授,多年从事大数据及相关领域研究与教学,著有《R数据分析》等多部相关作品。
|
目錄:
|
第1章导论1
1.1数据科学的发展历史1
1.2数据科学研究的主要问题3
1.3数据科学的主要方法5
1.4R语言的优势7
第2章数据读写9
2.1数据的读入9
2.1.1直接输入数据9
2.1.2读入R包中的数据10
2.1.3从外部文件读入数据10
2.1.4批量读入数据15
2.1.5R语言读取文件的几个常错的问题15
2.2写出数据17
2.3习题18
第3章数据清洗与预处理19
3.1数据分类19
3.2数据清洗20
3.2.1处理缺失数据20
3.2.2处理噪声数据23
3.3数据变换23
3.4R语言实现25
3.4.1数据集的基本操作25
3.4.2数据集间的操作28
3.4.3连接数据库数据29
3.5习题30
第4章数据可视化31
4.1高阶绘图工具ggplot231
4.1.1快速绘图32
4.1.2使用图层构建图像34
4.1.3分面37
4.2ECharts239
4.2.1安装39
4.2.2使用40
4.3习题48
第5章线性回归49
5.1问题的提出49
5.2一元线性回归50
5.2.1一元线性回归概述50
5.2.2一元线性回归的参数估计52
5.2.3一元线性回归模型的检验55
5.2.4一元线性回归的预测56
5.3多元线性回归分析57
5.3.1多元线性回归模型及假定58
5.3.2参数估计59
5.3.3模型检验60
5.3.4预测61
5.4R语言实现63
5.4.1一元线性回归63
5.4.2多元线性回归66
5.5习题67
第6章线性分类69
6.1问题的提出69
6.2Logistic模型70
6.2.1线性概率模型70
6.2.2Probit模型71
6.2.3Logit模型原理72
6.2.4边际效应分析73
6.2.5最大似然估计(MLE)73
6.2.6似然比检验74
6.3判别分析74
6.3.1Na?ve Bayes判别分析75
6.3.2线性判别分析76
6.3.3二次判别分析78
6.4分类问题评价准则78
6.5R语言实现80
6.5.1描述统计80
6.5.2Logistic模型81
6.5.3判别分析87
6.5.4模型比较90
6.6习题92
第7章重抽样94
7.1问题的提出94
7.2基本概念94
7.2.1训练误差和测试误差95
7.2.2偏差和方差95
7.3交叉验证法96
7.3.1验证集方法97
7.3.2留一交叉验证法97
7.3.3K折交叉验证法98
7.4自助法99
7.5R语言实现100
7.5.1验证集方法100
7.5.2留一交叉验证法102
7.5.3K折交叉验证法102
7.5.4自助法103
7.6习题104
第8章模型选择与正则化105
8.1问题的提出105
8.2子集选择法106
8.2.1最优子集法106
8.2.2逐步选择法106
8.2.3模型选择108
8.3基于压缩估计的逐个变量选择109
8.3.1LASSO惩罚110
8.3.2SCAD惩罚111
8.3.3MCP惩罚112
8.3.4调整参数选择113
8.4基于压缩估计的组变量选择113
8.4.1自然分组结构113
8.4.2人为分组结构114
8.5基于压缩估计的双层变量选择115
8.5.1复合函数型双层选择115
8.5.2稀疏组惩罚型双层选择116
8.6R语言实现117
8.6.1子集选择法117
8.6.2模型选择120
8.6.3组模型选择122
8.6.4双层模型选择126
8.7习题128
第9章决策树与组合学习129
9.1问题的提出129
9.2决策树130
9.2.1基本概念130
9.2.2分类树133
9.2.3回归树135
9.2.4树的优缺点137
9.3Bagging137
9.3.1基本算法137
9.3.2袋外误差估计138
9.3.3变量重要性的度量139
9.4随机森林140
9.5提升法142
9.5.1Adaboost算法142
9.5.2GBDT算法143
9.5.3XGBoost算法143
9.6R语言实现144
9.6.1数据介绍144
9.6.2描述性统计145
9.6.3分类树145
9.6.4Bagging148
9.6.5随机森林149
9.6.6Boosting150
9.7习题155
第10章支持向量机156
10.1问题的提出156
10.2最大间隔分类器157
10.2.1使用分割超平面分类157
10.2.2构建最大间隔分类器159
10.2.3线性不可分的情况160
10.3支持向量分类器161
10.3.1使用软间隔分类161
10.3.2构建支持向量分类器161
10.4支持向量机163
10.4.1使用非线性决策边界分类163
10.4.2构建支持向量机165
10.5与Logistic回归的关系166
10.6支持向量回归167
10.7R语言实现168
10.7.1支持向量分类器168
10.7.2支持向量机173
10.7.3Auto数据集175
10.8习题178
第11章神经网络180
11.1问题的提出181
11.2神经网络的基本概念181
11.2.1神经网络的基本单元神经元181
11.2.2神经网络的结构185
11.2.3神经网络的学习186
11.3神经网络模型188
11.3.1单神经元感知器188
11.3.2单层感知器189
11.3.3BP神经网络190
11.3.4Rprop神经网络193
11.4R语言实现195
11.4.1nnet程序包195
11.4.2neuralnet程序包197
11.4.3应用案例1:利用nnet程序包分析纸币鉴别数据198
11.4.4应用案例2:利用neuralnet程序包分析白葡萄酒的品质200
11.5习题203
第12章无监督学习205
12.1问题的提出205
12.2聚类分析207
12.2.1相异度207
12.2.2K-means聚类209
12.2.3系统聚类法211
12.3主成分分析214
12.3.1主成分分析的几何意义214
12.3.2主成分的数学推导215
12.3.3主成分回归217
12.3.4主成分分析的其他方面217
12.4因子分析219
12.4.1因子分析的数学模型219
12.4.2因子载荷阵的统计意义220
12.4.3因子分析的其他方面221
12.5典型相关分析223
12.5.1典型相关分析原理223
12.5.2典型相关系数的显著性检验226
12.5.3典型相关分析的步骤227
12.6R语言实现228
12.6.1聚类分析:移动通信用户细分228
12.6.2主成分分析:农村居民消费水平评价233
12.6.3因子分析:市场调查236
12.6.4典型相关分析:职业满意度与职业特性的关系239
12.7习题242
第13章推荐算法243
13.1关联规则243
13.1.1基本概念244
13.1.2基本分类246
13.1.3基本方法247
13.2协同过滤算法249
13.2.1基于邻居的协同过滤算法249
13.2.2基于模型的协同过滤算法253
13.3R语言实现254
13.3.1关联规则254
13.3.2协同过滤算法259
13.4习题262
第14章文本挖掘264
14.1问题的提出264
14.2文本挖掘基本流程265
14.2.1文本数据获取265
14.2.2文本特征表示265
14.2.3文本的特征选择268
14.2.4信息挖掘与主题模型269
14.3R语言实现270
14.3.1JSS_papers数据集270
14.3.2拓展案例:房地产网络舆情分析275
14.4习题278
第15章社交网络分析279
15.1问题的提出279
15.2网络的基本概念280
15.3网络特征的描述性分析281
15.3.1节点度281
15.3.2节点中心性282
15.3.3网络的凝聚性特征283
15.3.4分割284
15.4网络图的统计模型285
15.4.1经典随机图模型285
15.4.2广义随机图模型286
15.4.3指数随机图模型287
15.4.4网络块模型287
15.5关联网络推断288
15.5.1相关网络288
15.5.2偏相关网络289
15.5.3高斯图模型网络290
15.5.4Graphic Lasso模型291
15.6二值型网络模型294
15.7R语言实现295
15.7.1网络的基本操作295
15.7.2 豆瓣关注网络和豆瓣朋友网络特征分析298
15.7.3关联网络推断303
15.8习题308
第16章并行计算309
16.1提高R语言的计算速度309
16.2R语言的并行计算310
16.3HPC多线程并行计算316
参考文献321
|
內容試閱:
|
前 言
数据科学(Data Science)是一门交叉学科,是一门分析和挖掘数据并从中提取规律和利用数据学习知识的学科,包含了统计、机器学习、数据可视化、高性能计算等。近几年,大数据的发展如火如荼,与此同时,数据科学家这个词也跟着火起来,成为职场中的香饽饽。正如谷歌首席经济学家哈尔瓦里恩(Hal Varian)于2009年在纽约时报撰文所说,未来十年最性感的工作将是统计学家,这里的统计学家是广义的统计学家,包括数据科学家。数据科学家职业被招聘网站Glassdoor在2016年评选为美国最佳工作。德勤(Deloitte)公司预测2018年全球企业将至少需要100万名数据科学家,大学培养的数据科学家数量远远不能满足市场需求,按照目前数据科学家的培养数量来看,这个缺口是很大的。我国真正的数据科学家人才是比较短缺的。数据科学家需要有较好的统计学、机器学习功底,能够理解模型背后的原理和算法,具备熟练的编程能力并熟悉业务知识。
数据科学主要由两拨人在做:一拨人在计算机圈子里,主要关注处理海量数据的能力、速度和算法;另一拨人在统计圈子里,更多地关注模型本身的精度和可解释性。市面上有各种各样讲解大数据、数据科学的书籍,但多数是讲解一些理念,或者只讲解一些抽象原理和算法,很少从数据到模型的角度去讲解,缺少真正能够将数据科学与实务操作结合起来的书籍。我觉得自己有责任写一本关于数据科学方面的教材,来帮助数据科学的初学者更快地掌握模型原理和实务操作。
我每年都在厦门大学开设数据挖掘的课程,在课程资料的基础上慢慢整理出本书稿,总体框架借鉴斯坦福大学统计系几位学者出版的两本经典统计学教材,即Jamnes、Witten、Hastie和Tibshirani写的An Introduction to Statistical Learning和Hastie、Tibshirani和Friedman写的The Elements of Statistical Learning。后来,我受邀在北京、上海等地开设暑期数据挖掘现场公开课,前来听课的学生有国外著名高校的教师、研究生,国内高校的教师、研究生,医药、金融等公司的数据分析人员、数据挖掘分析师等。他们对我的讲义提出了很多有用的建议,经过不断地完善,最终形成了此书。
通过在很多地方上公开课,并与很多不同领域的学者交流,我深刻地体会到统计或数据挖掘方法的应用范围越来越广,借用马克思的话,一种科学只有在成功地运用数学时,才算达到了真正完善的地步,也可以说一个学科使用、分析数据的程度可以反映出这个学科的发展程度。
本书是一本数据科学的入门教材,内容循序渐进、深入浅出,每个知识点都根据实际的应用案例从数据出发,以问题为导向,使读者在解决问题的过程中学习数据挖掘、机器学习等数据科学相关方法。本书既可作为高校数据科学、机器学习、数据挖掘、大数据分析等相关专业的研究生和高年级本科的教科书,也可作为相关企业的数据科学家、数据挖掘工程师、数据分析师及数据科学爱好者等的工具书。本书为读者提供方法和程序上的参考,在写作过程中尽量删除过于抽象的理论原理,让具有一定高等数学和概率论基础的读者都能看得懂。当然,如果读者对方法原理确实不感兴趣,只是为了用R语言程序实现某种方法,或者分析某些有意义的数据,则可以跳过方法,只看案例和程序。
我的博士和硕士研究生陈子岚、王小燕、赵梦峦、范新妍、张晓晨、林颖、赵雪、张喆参与了资料收集、案例编写等工作,陈子岚参与了全书的校对、修改、排版等工作,在此一并感谢!感谢成都道然科技有限责任公司的专业意见和建议。再次感谢为本书提供直接或者间接帮助的各位朋友,没有他们的帮助,本书的出版没有这么顺利。
为了方便读者使用,我的团队为本书开发了一个R语言包RDS。RDS包和本书案例相应的代码可以从网址http:www.kuangnanfang.com?id=7或https:github.comruiqwy 下载。另外,由于篇幅限制,团队制作的一些经典案例无法在本书中展示,在以上网址也提供了部分经典案例。
在本书编写过程中,我深刻地体会到写书是一件苦差事,仔细较真,总能发现有很多值得完善的地方,这也是本书拖了3年才得以出版的原因。我希望此书尽可能以完美的形象与读者见面,但由于本人水平和精力有限,书中难免有错误或不足之处,恳请广大读者批评指正!
方匡南
2018年3月于厦门大学
|
|