新書推薦:
《
台风天(大吴作品,每一种生活都有被看见的意义)
》
售價:NT$
245.0
《
打好你手里的牌(斯多葛主义+现代认知疗法,提升当代人的心理韧性!)
》
售價:NT$
301.0
《
新时代硬道理 广东寻路高质量发展
》
售價:NT$
352.0
《
6S精益管理实战(精装版)
》
售價:NT$
458.0
《
异域回声——晚近海外汉学之文史互动研究
》
售價:NT$
500.0
《
世界文明中的作物迁徙:聚焦亚洲、中东和南美洲被忽视的本土农业文明
》
售價:NT$
454.0
《
无端欢喜
》
售價:NT$
347.0
《
股票大作手操盘术
》
售價:NT$
245.0
|
編輯推薦: |
本书遵循教指委相关指导文件和高等院校学生学习规律编写而成。践行四新理念,融入思政元素,注重理论与实践相结合。
|
內容簡介: |
本书首先介绍了大数据基础应用:重点讲解了如何搭建Hadoop分布式集群平台,使用Java语言进行MapReduce分布式编程;HBase及Hive数据库环境的安装和数据的增、删、改、查操作;Spark平台的搭建、RDD操作及Spark SQL查询;Flink平台的搭建,Kafka消息中间件的使用及流批一体计算。其次对数据预处理的常用方法及如何使用Matplotlib实现数据可视化进行了讨论。最后讲解了大数据与机器学习、深度学习。本书将机器学习算法划分为分类及回归两个问题进行了讨论,并结合scikit-learn进行了实例讲解。在深度学习部分,对深度神经网络及卷积神经网络进行了介绍,就如何使用Keras框架实现图像分类进行了实例讲解,此外介绍了循环神经网络LSTM的原理及应用。
本书适用于计算机类及信息技术类相关专业在读本科生及研究生,也可供大数据及人工智能相关领域的技术人员参考。
为了方便教学,本书配备电子课件、程序源代码等教学资源。凡选用本书作为教材的教师均可登录机械工业出版社教育服务网(www.cmpedu.com)注册后免费下载。
|
目錄:
|
目 录
前言
第1章 Hadoop分布式集群 1
1.1 什么是大数据 1
1.1.1 大数据的基本概念 1
1.1.2 大数据的产生和应用 2
1.2 大数据关键技术 2
1.2.1 文件系统 2
1.2.2 数据库系统 3
1.2.3 索引与查询技术 4
1.2.4 大数据分析技术 5
1.2.5 大数据处理工具 6
1.2.6 机器学习与深度学习 7
1.3 Hadoop生态圈 8
1.4 Hadoop分布式集群环境搭建 11
1.4.1 实验环境安装及配置 11
1.4.2 Hadoop集群平台的搭建 16
1.4.3 MapReduce测试 21
第2章 分布式计算框架
MapReduce 23
2.1 MapReduce分布式框架 23
2.1.1 MapReduce原理 23
2.1.2 合并函数(Combiner) 26
2.2 WordCount的处理过程 27
2.2.1 WordCount示例代码运行 27
2.2.2 WordCount源码分析 28
2.2.3 WordCount详细处理过程 32
2.2.4 MapReduce新旧版区别 33
2.3 MapReduce编程示例 33
2.3.1 Eclipse开发环境搭建 33
2.3.2 数据去重 38
2.3.3 数据排序 41
2.3.4 平均成绩 43
2.3.5 单表关联 45
2.3.6 多表关联 51
2.3.7 倒排索引 54
第3章 NoSQL数据库 60
3.1 NoSQL数据库概述 60
3.1.1 NoSQL数据库的特点 60
3.1.2 NoSQL数据库与关系数据库的
比较 61
3.1.3 NoSQL数据库的分类 61
3.2 HBase列式数据库 62
3.2.1 HBase的基本概念 62
3.2.2 HBase的安装及基本操作 64
3.2.3 HBase客户端编程 69
3.3 Hive数据仓库工具 82
3.3.1 Hive的安装及环境配置 82
3.3.2 Hive的基本使用 86
第4章 分布式计算框架Spark 93
4.1 Spark分布式计算引擎 93
4.1.1 Spark的基本概念 93
4.1.2 Spark的核心技术 95
4.1.3 Spark生态系统 96
4.1.4 Spark技术分析 96
4.1.5 Spark的应用场景 97
4.2 Spark分布式集群环境搭建 98
4.2.1 环境搭建 98
4.2.2 环境测试 100
4.3 RDD分布式编程技术 102
4.3.1 RDD的基本使用 102
4.3.2 RDD操作 104
4.3.3 共享变量 115
4.4 Spark SQL查询分析技术 118
4.4.1 DataSet(DataFrame)和RDD 119
4.4.2 Spark SQL操作 121
4.4.3 Spark SQL与数据源的交互 125
4.4.4 Spark SQL与Hive交互 126
4.4.5 Spark SQL的分区及分桶 127
第5章 流式计算 130
5.1 Flink的基本概念 130
5.1.1 Flink框架 130
5.1.2 Flink的应用 131
5.2 Flink的安装和开发环境设置 133
5.2.1 Flink本地安装 133
5.2.2 Flink开发环境设置 134
5.3 数据流接口 137
5.3.1 DataStream概述 137
5.3.2 数据流接口的基本应用 144
5.3.3 Kafka消息中间件 148
5.4 水位线和窗口 161
5.4.1 水位线(WaterMark) 161
5.4.2 窗口(Window) 165
5.4.3 应用举例 169
5.5 表接口和表查询 175
5.5.1 动态表 176
5.5.2 表接口和表查询的应用 179
第6章 数据可视化分析与预处理 184
6.1 数据可视化分析 184
6.1.1 分位数与箱线图 184
6.1.2 数据的相关性与散点图 186
6.1.3 数据的分布与直方图 189
6.1.4 Matplotlib绘图 191
6.2 数据预处理 203
6.2.1 连续型输入特征的
处理(归一化) 204
6.2.2 类别(离散)型输入特征的
处理 206
6.2.3 分类标签的处理 209
6.2.4 主成因分析(PCA-Principal Component Analysis) 209
第7章 大数据与机器学习 214
7.1 使用scikit-learn进行机器学习 214
7.1.1 scikit-learn简介 214
7.1.2 使用scikit-learn进行
机器学习 215
7.2 分类问题 218
7.2.1 逻辑回归 219
7.2.2 混淆矩阵 222
7.2.3 多分类 224
7.2.4 不平衡分类 226
7.2.5 交叉验证和参数寻优 235
7.3 回归问题 237
7.3.1 一元线性回归 237
7.3.2 多元线性回归 246
第8章 大数据与深度学习 254
8.1 深度学习概述 254
8.1.1 从神经网络到深度学习 255
8.1.2 深度学习框架Keras 262
8.2 深度神经网络 263
8.2.1 深度神经网络示例 263
8.2.2 模型的保存和读取 266
8.2.3 模型训练的历史过程 267
8.3 卷积神经网络 268
8.3.1 卷积神经网络的层 270
8.3.2 使用CNN进行图像分类 278
8.3.3 使用VGG16网络模型 285
8.4 循环神经网络 287
8.4.1 RNN 287
8.4.2 LSTM 289
参考文献 296
|
內容試閱:
|
前 言
与云计算、大数据、移动互(物)联网、人工智能和区块链技术相关的新业态、新模式已经成为新的GDP增长点,信息产业已经成为名副其实的支柱产业。为满足新兴的业态和新经济发展模式对人才的需求,国家、社会和产业都对计算机专业技术人才培养提出了新的要求,要求面向新产业、新经济、新业态来建设新工科,先后实施了“卓越工程师计划”和“新工科建设计划”来保障这一战略目标的实现。2016年我国正式签署了《华盛顿协议》,成为该协议的第18个成员。这一系列举措,促使高校对传统的教学模式进行改革,按工程教育专业认证的理念组织课堂及实践教学,培养符合新经济模式下社会所需的计算机专业工程技术人才。工程教育专业认证的三大理念为“以学生为中心”“产出导向(OBE)”“持续改进”,三者相辅相成,形成一个封闭的循环体,不断地对教学过程和人才培养质量进行完善,提高专业的办学水平。
建设新工科及按工程教育认证的要求进行教学,其核心目的是提升学生的能力,使学生能在工作中解决复杂工程问题。随着社会经济的发展,“互联网 ”向各行各业的渗透及改造,产业及社会对计算机类专业的人才需求的规格也越来越高。目前,计算机相关专业的教材大多还是针对学科领域中的一些经典问题进行讲解,偏重于知识传授和理论学习,对如何引导学生利用学到的知识去解决现实中的实际问题,则言之甚少,或者内容陈旧,已经跟不上时代的节奏。对于计算机类专业的学生,更重要的是要锻炼动手实践能力,学到本领,成为能在计算机及人工智能领域中从事应用系统的设计和开发、产品管理和运维等工作的高素质应用型工程技术人才及行业骨干,毕业后经过5年左右的工作锻炼,具备胜任工程师或者相应职称的专业技术能力。本书的主要特点如下:
1)本书偏重工程实践,重点训练学生以多个虚拟机或者计算机搭建分布式集群环境,在分布式环境下进行数据的存储、计算、编程,切实提升学生的动手实践能力。
2)学生在大数据、分布式计算、人工智能领域相关技术的学习过程中,对各种不同的数学概念、公式、算法、框架、模型往往无从下手,通过网络查阅的一些文献质量也往往良莠不齐。本书结合多年的教学实践过程对大数据、分布式计算、人工智能领域的知识进行了归纳,所有程序代码均经过严格的测试及教学过程检验,能很好地指导学生进行学习,从而使学生具备对实际问题展开分析研究,并提出合理解决方案的能力。
3)按照大数据应用基础、大数据统计分析、大数据机器学习这个脉络,完整地介绍了大数据应用与实践的整个技术架构,并能引导学生进行后续的深入学习。
武汉工程大学计算机科学与工程学院、人工智能学院副院长刘玮教授,张明博士参与了本书的部分章节编写,对本书的内容提出了许多中肯有益的修改意见,在此,对二位老师的辛勤付出表示感谢。2022级硕士研究生胡龙元、杨博韬、陈兰兰,2023级硕士研究生穆鑫程、季生雲、袁嘉净参与了本书的文字校对和代码的审阅工作,在此,也对他们表示感谢。书中的不妥和疏漏之处,望读者不吝指正。
刘黎志
|
|