新書推薦:
《
马拉松名将手记2:每个人都有自己的决战
》
售價:NT$
359.0
《
大家小书 译馆 骑士:历史与文化
》
售價:NT$
255.0
《
没有一种人生是完美的:百岁老人季羡林的人生智慧(读完季羡林,我再也不内耗了)
》
售價:NT$
257.0
《
日耳曼通识译丛:复原力:心理抗逆力
》
售價:NT$
155.0
《
海外中国研究·未竟之业:近代中国的言行表率
》
售價:NT$
614.0
《
我们为何建造(城市与生态文明丛书)
》
售價:NT$
406.0
《
算法经济 : 商业逻辑与人类生活的智能演进(生动呈现AI与算法的创新应用与商业价值)
》
售價:NT$
359.0
《
家书中的百年史
》
售價:NT$
359.0
|
編輯推薦: |
本书的目的是培养高层次的大数据运维人才,高层次的大数据运维需要考虑大数据平台架构的设计,大数据平台的自动化、智能化管理等。本书讲解了大数据平台 运维过程中的各个主要阶段及其任务,主要包括安装部署、优化监控、架构原理、生态系统、运维工具等。本书内容全面,涵盖了 Hadoop 生态绝大部分组件的运维,兼顾基础理论与运维实践经验。本书特色是将知识点凝练到图形中,通过视觉记忆,看图联想,理解知识点的含义和知识点之间的联系,以达到长时记忆、学以致用的目的。通过 800 多道习题,加强系统性和实践指导性。本书按照国家“1 X”大数据平台运维职业技能等级标准编写,可作为“1 X”职业技能等级证书配套教材,可作为《大数据导论》《大数据运维》的课程教材,同时也适合有意向从事大数据应用工作的广大学习者和爱好者阅读。
|
內容簡介: |
大数据平台运维是大数据应用人才培养的基本技能之一。本书讲解了大数据平台运维过程中的各个主要阶段及其任务,主要包括安装部署、优化监控、架构原理、生态系统、运维工具等。本书内容全面,涵盖了 Hadoop 生态绝大部分组件的运维,兼顾基础理论与运维实践经验。主要特色是将知识点凝练到图形中,通过视觉记忆,看图联想,理解知识点的含义和知识点之间的联系,以达到长时记忆、学以致用的目的。通过 800 多道习题,加强系统性和实践指导性。本书按照国家“1 X”大数据平台运维职业技能等级标准编写,可作为“1 X”职业技能等级证书配套教材,可作为《大数据导论》《大数据运维》的课程教材,同时也适合有意向从事大数据应用工作的广大学习者和爱好者阅读。
|
關於作者: |
程显毅
工学博士,南通大学教授。硅湖职业技术学院特聘教授。江苏省人工智能学会监事,江苏省微电脑学会人工智能专委会副主任委员。长期从事人工智能、自然语言理解领域的教学研究工作。发表论文100多篇,出版教材6部、专著5部。
孙丽丽
硕士,硅湖职业技术学院计算机科学与技术学院副教授。江苏省高校“青蓝工程”优秀青年骨干教师培养对象,黑龙江省计算机科学与技术专业学科评估专家,黑龙江省计算机指导委员会委员,哈尔滨市优秀教师,师德优秀先进个人,国家职业技能鉴定中心高级考评员,黑龙江省网络与通信委员会委员,省重点专业计算机网络技术负责人。 宋伟 高级工程师, 硕士,南通市226工程培养对象,江苏省计算机学会委员,全国高等院校计算机基础教育研究会青少年编程教育专业委员会委员,无损检测学会TC56分委员会委员,南通理工学院软件系主任,主要研究方向为无损检测成像算法与软件技术。
|
目錄:
|
第1 章 大数据运维概述
1.1 从大数据说起 1
1.1.1 大数据产生、影响及挑战 1
1.1.2 大数据概念、特征及价值 14
1.1.3 大数据技术、产业及应用 18
1.2 大数据技术生态 24
1.2.1 分布式集群概述 24
1.2.2 Hadoop 生态系统 30
1.3 大数据运维 37
第2 章 集群基础环境搭建与运维
2.1 集群规划 41
2.2 虚拟机与Linux 44
2.3 网络配置与时钟同步 55
2.4 免密 60
2.5 JDK 和MySQL 部署 62
第3 章 分布式集群Hadoop 运维
3.1 Hadoop 平台安装与部署 69
3.1.1 Hadoop 安装准备 69
3.1.2 Hadoop 安装与部署 71
3.2 分布式存储组件HDFS 75
3.2.1 HDFS 结构 75
3.2.2 HDFS 读写原理 83
3.2.3 HDFS 操作与监控 86
3.3 离线分布式计算引擎MapReduce 90
3.3.1 MapReduce 结构与原理 90
3.3.2 MapReduce 部署与优化 100
3.4 集群资源管理YARN 101
3.4.1 YARN 的结构与原理 101
3.4.2 YARN 部署、优化与监控 105
第4 章 分布式系统协调器Zookeeper
4.1 Zookeeper 结构 108
IV 大数据运维图解教程
4.2 Zookeeper 原理 111
4.3 Zookeeper 部署与优化 117
第5 章 数据采集组件运维
5.1 日志采集组件Flume 121
5.2 数据迁移组件Sqoop 128
5.3 发布订阅消息组件Kafka 132
第6 章 数据处理组件运维
6.1 NoSQL 数据库HBase 137
6.1.1 NoSQL 137
6.1.2 HBase 架构与原理 141
6.1.3 HBase 部署与优化 148
6.2 数据仓库引擎Hive 153
6.2.1 Hive 架构与原理 154
6.2.2 Hive 部署与优化 166
6.3 内存计算引擎Spark 169
6.3.1 Spark 生态 169
6.3.2 Spark 架构与原理 173
6.3.3 Spark 部署与优化 179
第7 章 大数据平台运维工具
7.1 Ambari 大数据环境搭建利器 187
7.1.1 安装 187
7.1.2 使用 192
7.2 Hive SQL 监控系统—Hive Falcon 198
7.2.1 安装 198
7.2.2 使用 199
7.3 统一日志监控系统EKL 202
7.3.1 安装 202
7.3.2 使用 207
参考文献
附录A Web 监控端口
附录B 大数据平台运维任务
附录C 大数据运维三十六计
|
內容試閱:
|
大数据在这个“互联网 人工智能 云”时代的重要意义已经无须赘述。过去人们只关注大数据分析、大数据可视化、大数据产品开发,但现在随着大数据生态的逐渐完善,如何保障大数据的安全、高效,如何保证平台架构的平稳运行,成了各数据平台的“心病”。
于是,大数据运维这个岗位一跃成为大数据领域的热门岗位。很多公司会让开发工程师来兼大数据运维的工作,这对开发人员来说也是不小的挑战。相比大数据开发,大数据运维岗位需要更多的经验积累,例如,什么架构才能支撑这个数据量、什么资源配置才能满足分析需求,这些问题都需要实际接触过、操作过才能给出答案,而不是靠理论或者猜测就能解决。
早期大数据运维人才非常紧缺,很多公司从大数据立项到大数据平台构建,再到整个大数据项目的流程开发以及后期大数据项目的运维,都是由大数据开发人员完成的。但随着公司数据越来越多,业务越来越复杂,大数据集群规模越来越大,大数据团队也越来越大,由大数据开发人员进行大数据项目的运维这种早期短平快、粗放式、简单无序的方式已经满足不了大数据平台的维护工作。此时就迫切地需要专业的大数据运维人才负责大数据平台的运维、监控和安全。
大多数人印象中的运维就是跑机房、装系统、安装网络等一些杂活。但实际上大数据运维工作已经变得非常重要,运维人员的分工也更加精细化;规模稍微大一点的公司都会将运维细分为系统运维、应用运维、数据库运维和安全运维。
当技术发展到大数据、云计算时代,出现了阿里云、腾讯云以及华为云之后,低层次的初级运维将会越来越少,中级层次的运维也会逐步被淘汰,高层次的大数据运维的需求量则将日益增长。高层次的大数据运维则需要考虑大数据平台架构的设计,大数据平台的自动化、智能化管理等。这其实是要求传统运维人员在大数据面前改变思维、承担更多的工作责任,不但要保障大数据平台的稳定、高效运维以及切实安全,还要具备大数据平台架构的设计能力,所以一个优秀的大数据运维工程师应该具备做大数据架构师的潜力。
大数据运维跟传统运维既密切相关又大不相同。传统运维面对的底层软硬件基本稳固,大数据运维面对的是商用硬件和复杂的Linux 版本;传统运维面对的系统架构以单机架构为主,大数据运维则面对复杂的分布式架构;传统运维大多维护闭源商业版系统,而大数据运维则通常面对开源系统,文档手册匮乏。大数据运维对自动化工具的依赖大大增加。总而言之,大数据运维是“大数据平台 海量数据”。
那么,大数据运维到底需要具备哪些技能呢?如图0-1 所示。
II 大数据运维图解教程
图0-1 大数据运维应具备的技能
本书围绕大数据运维技能,通过图解方式和讲练结合的方式讲解知识点。本书特色如下。
(1)按照国家“1 X”大数据平台运维职业技能等级标准编写。
(2)通过200 多张图,用视觉记忆,看图联想,理解知识点的含义和知识点之间的联系。
(3)通过800 多道习题,加强系统性和实践指导性,收集了大量面试必备的问题。
(4)知识覆盖面广,主要包括大数据基础、分布式集群、Hadoop 生态、组件架构与原理、组件部署与优化、集群运维工具与技巧等。大数据技术发展迅猛,对许多问题作者并未做深入研究,一些有价值的新内容也来不及收入本书。加上作者知识水平和实践经验有限,书中难免存在不足,敬请读者谅解。
编 者
2022 年2 月
|
|