新書推薦:
《
资治通鉴臣光曰辑存 资治通鉴目录(司马光全集)(全二册)
》
售價:NT$
1316.0
《
明代社会变迁时期生活质量研究
》
售價:NT$
1367.0
《
律令国家与隋唐文明
》
售價:NT$
332.0
《
紫云村(史杰鹏笔下大唐小吏的生死逃亡,新历史主义小说见微之作,附赠5张与小说内容高度契合的宣纸彩插)
》
售價:NT$
449.0
《
现代吴语的研究(中华现代学术名著3)
》
售價:NT$
296.0
《
天下的当代性:世界秩序的实践与想象(新版)
》
售價:NT$
352.0
《
德国天才4:断裂与承续
》
售價:NT$
500.0
《
妈妈的情绪,决定孩子的未来
》
售價:NT$
194.0
編輯推薦:
1. 慕课版教材,各章节都配备了以二维码为载体的微课。
2. 配套资源丰富,包括课件、源代码、题库。
3. 教材厚度适中,难度较低,案例式教学,适合应用型本科和职业院校。
內容簡介:
第1章绪论、第2章Linux操作系统的安装、第3章Hadoop的伪分布式安装、第4章Hadoop集群的搭建及配置、第5章Hadoop HDFS命令、第6章MapReduce编程入门、第7章Hive:SQL on Hadoop、第8章Sqoop:SQL to Hadoop、第9章HBase:HadoopDatabase、第10章Spark的介绍与安装、第11章综合案例——网络爬虫大数据分析
關於作者:
已经在我社出版多本程序设计类书籍,包括“技术方案宝典” “开发技术大全”“自学手册” “参考大全”等多个系列,大都取得比较好的市场反响。
目錄 :
第1章绪论1
1.1 认识大数据 2
1.1.1 大数据的定义 2
1.1.2 大数据的特点 2
1.1.3 大数据行业应用 3
1.1.4 Hadoop与大数据 5
1.1.5 其他大数据处理平台 5
1.1.6 大数据人才 7
1.2 什么是Hadoop 8
1.2.1 Hadoop简介 8
1.2.2 Hadoop的发展历史 8
1.2.3 Hadoop的特点 9
1.3 Hadoop核心 10
1.3.1 分布式文件系统—HDFS 11
1.3.2 分布式计算框架—MapReduce 13
1.4 Hadoop常用组件 14
1.5 Hadoop在国内外的应用情况 16
小结 16
习题 16
第2章 Linux操作系统的安装 17
2.1 VirtualBox虚拟机的安装 18
2.1.1 VirtualBox的下载和安装 18
2.1.2 设置VirtualBox存储文件夹 22
2.1.3 在VirtualBox中创建虚拟机 24
2.2 Linux操作系统简介 28
2.2.1 概述 28
2.2.2 特点 28
2.2.3 Linux操作系统的组成 29
2.2.4 Linux基本命令 31
2.2.5 Linux操作系统的版本 34
2.3 Linux操作系统(Ubuntu)的安装 34
2.3.1 Linux操作系统(Ubuntu)的
下载 34
2.3.2 安装Ubuntu 36
2.3.3 启动Ubuntu 41
2.3.4 设置终端 42
2.3.5 设置共享剪贴板 45
2.3.6 设置共享文件夹 49
小结 52
习题 52
第3章 Hadoop的伪分布式
安装 53
3.1 JDK的检查与安装 54
3.1.1 检查是否安装JDK 54
3.1.2 安装JDK 54
3.2 配置SSH无密码登录 58
3.3 Hadoop的下载与安装 61
3.3.1 Hadoop的安装模式 61
3.3.2 Hadoop的下载 62
3.3.3 Hadoop的安装 63
3.3.4 配置Hadoop前准备 65
3.4 Hadoop环境配置 66
3.4.1 设置Hadoop环境变量 66
3.4.2 修改Hadoop配置文件 68
3.4.3 创建并格式化文件系统 73
3.5 启动Hadoop 73
3.6 查看HDFS Web页面 75
3.7 查看YARN Web页面 76
小结 77
习题 77
第4章 Hadoop集群的搭建及
配置 78
4.1 Hadoop集群中节点角色 79
4.2 设置集群前的准备工作 80
4.2.1 集群中节点的规划 80
4.2.2 设置网络 81
4.3 设置服务器 83
4.3.1 设置Master服务器 83
4.3.2 复制虚拟机 89
4.3.3 设置Slave服务器 92
4.3.4 设置Master服务器到Slave服务器的SSH无密码登 95
4.3.5 格式化文件系统 96
4.4 启动和关闭Hadoop集群 97
4.4.1 启动和关闭Hadoop集群 97
4.4.2 验证Hadoop集群是否启动成功 98
4.5 查看Hadoop集群的基本信息 99
4.5.1 查看集群的HDFS信息 99
4.5.2 查看集群的YARN信息 101
4.6 在Hadoop集群中运行程序 102
小结 103
习题 103
第5章 Hadoop HDFS命令 104
5.1 HDFS常用命令总览 105
5.2 创建与查看HDFS目录 105
5.2.1 创建HDFS目录 105
5.2.2 查看HDFS目录 106
5.3 本地计算机和HDFS之间的文件
复制 107
5.3.1 从本地计算机复制文件到
HDFS 107
5.3.2 将HDFS上的文件复制到本地
计算机 110
5.4 复制与删除HDFS文件 112
5.5 查看HDFS文件内容 113
小结 114
习题 114
第6章 MapReduce编程
入门 115
6.1 认识MapReduce 116
6.1.1 MapReduce的编程思想 116
6.1.2 MapReduce的运行环境 118
6.2 使用Eclipse创建MapReduce工程 122
6.2.1 下载与安装Eclipse 122
6.2.2 配置MapReduce环境 127
6.3 第一个MapReduce程序:
WordCount 131
6.3.1 WordCount的设计思路 131
6.3.2 编写WordCount 132
6.3.3 分析WordCount程序 140
6.3.4 运行程序 142
小结 144
习题 144
第7章 Hive 145
7.1 Hive简介 146
7.1.1 什么是Hive 146
7.1.2 为什么使用Hive 146
7.1.3 Hive的体系结构 146
7.1.4 Hive与关系型数据库的区别 147
7.2 安装元数据库 148
7.2.1 下载和安装MySQL数据库 148
7.2.2 登录MySQL数据库 153
7.2.3 使用MySQL数据库 153
7.3 安装与配置Hive 156
7.3.1 准备工作 156
7.3.2 下载Hive 156
7.3.3 安装Hive 157
7.3.4 配置Hive 158
7.3.5 启动并验证Hive 161
7.4 数据类型和存储格式 162
7.4.1 基本数据类型 162
7.4.2 复杂数据类型 162
7.4.3 存储格式 163
7.4.4 数据格式 163
7.5 Hive中的数据定义 164
7.5.1 操作数据库 164
7.5.2 查看与创建数据表 166
7.5.3 Hive中其他的数据表 169
7.5.4 修改数据表 170
7.5.5 删除数据表 171
7.6 Hive中的数据操作 171
7.6.1 加载数据 171
7.6.2 插入数据 174
7.6.3 导出数据 178
小结 179
习题 179
第8章 Sqoop 180
8.1 安装并配置Sqoop 181
8.1.1 下载并安装Sqoop 181
8.1.2 配置Sqoop 183
8.1.3 验证Sqoop 185
8.1.4 测试Sqoop与MySQL的连接 185
8.2 Sqoop命令 186
8.3 Sqoop导入 188
8.3.1 使用Sqoop把MySQL数据导入HDFS 189
8.3.2 使用Sqoop把MySQL数据导入Hive 191
8.3.3 有选择地导入数据 192
8.4 Sqoop导出 193
8.4.1 使用Sqoop将Hadoop数据导出到MySQL 194
8.4.2 使用Sqoop将Hive数据导出到MySQL 195
小结 197
习题 197
第9章 HBase 198
9.1 ZooKeeper集群的安装与配置 199
9.1.1 ZooKeeper简介 199
9.1.2 ZooKeeper安装 199
9.1.3 配置ZooKeeper集群 201
9.1.4 启动ZooKeeper集群 204
9.2 HBase集群的安装与配置 206
9.2.1 下载并安装HBase 206
9.2.2 配置HBase 207
9.2.3 启动并验证HBase 211
9.3 HBase的基本应用 212
9.3.1 创建表 212
9.3.2 插入数据 213
9.3.3 扫描全表的数据 213
9.3.4 获取某一行的数据 213
9.3.5 删除表 213
小结 213
习题 214
第10章 Spark的介绍与
安装 215
10.1 Spark概述 216
10.1.1 Spark系统架构 216
10.1.2 Spark运行流程 217
10.2 安装与配置Scala 218
10.2.1 下载Scala 218
10.2.2 安装Scala 219
10.2.3 启动与应用Scala 220
10.3 安装与配置Spark 222
10.3.1 安装模式 222
10.3.2 安装Spark 222
10.3.3 配置环境变量 224
10.3.4 启动并验证Spark 226
10.4 运行Spark程序 227
小结 228
习题 228
第11章 综合案例—网络爬虫大数据分析 229
11.1 网络爬虫概述 230
11.1.1 网络爬虫 230
11.1.2 网络爬虫—快手爬票 230
11.1.3 开发语言选择 231
11.2 搭建Python开发环境 231
11.2.1 开发环境概述 231
11.2.2 安装Python 232
11.3 搭建Qt环境 235
11.3.1 安装Qt 235
11.3.2 安装PyCharm开发工具 237
11.4 主窗体设计 244
11.4.1 Qt拖曳控件 244
11.4.2 代码调试细节 248
11.5 分析网页请求参数 251
11.6 下载站名文件 253
11.7 车票信息的请求与显示 255
11.7.1 发送与分析车票信息的查询
请求 255
11.7.2 主窗体中显示查票信息 258
11.8 Hadoop中的网络爬虫 261
小结 262
习题 262