新書推薦:
《
旷野人生:吉姆·罗杰斯的全球投资探险
》
售價:NT$
345.0
《
希腊人(伊恩·莫里斯文明史系列)
》
售價:NT$
845.0
《
世界巨变:严复的角色(王中江著作系列)
》
售價:NT$
500.0
《
宋初三先生集(中国思想史资料丛刊)
》
售價:NT$
990.0
《
天生坏种:罪犯与犯罪心理分析
》
售價:NT$
445.0
《
新能源材料
》
售價:NT$
290.0
《
传统文化有意思:古代发明了不起
》
售價:NT$
199.0
《
亚述:世界历史上第一个帝国的兴衰
》
售價:NT$
490.0
|
編輯推薦: |
本书是针对大数据应用部署与调优的“1 X”职业技能等级标准考试培训用教材,主要面向从事大数据应用系统规划、部署、配置、实施、维护、优化升级以及大数据应用系统监控、管理、资源协调等相关工作的人员。 职业技能分级达标要求分为基础运维、中级运维和高级运维 3 个层次。本书的章节内容就是围绕以上 3 个层次的要求由浅入深地系统性介绍大数据行业背景、生态,大数据系统和大数据应用的安装部署、日常维护,以及涉及安全管理、性能优化及高可用管理等方面的高级运维。为了进一步提升运维人员面对复杂运维任务的能力,本书还介绍了基于 Python语言的应用基础编程,以及针对大数据应用开发的要求,通过案例学习数据采集、数据分析和可视化的编程。本书注重知识的系统性和实践指导性,主要作为培养系统运维方向高、中、低不同层次的“1 X”应用型人才的课程教材,也同样适合有意从事 IT 系统运维工作的学习者和爱好者以及广大从业者。
|
內容簡介: |
本书主要面向从事数据应用系统规划、部署、配置、实施、维护、优化升级以及数据应用系统监控、 管理、资源协调等相关工作的人员。其中,大数据应用部分介绍了云计算基础架构(包括公有云和私有云 架构)、数据应用的典型业务流程(包括数据采集、预处理、存储和处理、挖掘等方面)以及各种行业数 据场景应用;数据应用系统运维部分包括系统安装部署、基础系统运维、高级系统运维,其中系统安装部 署包括数据应用系统的部署安装、测试及变更管理,基础系统运维涵盖日常维护、性能监控、故障管理和 资源管理,高级系统运维涉及安全管理、系统优化和高可用架构介绍;应用开发入门部分以 Python 分析 和可视化应用项目开发为例,介绍应用开发所涉及的操作系统、数据库和开发环境、Python 编程、数据挖 掘及可视化的相关理论与实践。
本书注重知识的系统性和实践指导性,主要作为培养系统运维方向高、中、低不同层次的“1 X”应 用型人才的课程教材,也同样适合有意从事 IT 系统运维工作的学习者和爱好者以及广大从业者。
|
關於作者: |
刘鹏,清华大学博士毕业,现任南京云创大数据科技股份有限公司总经理,兼任中国大数据应用联盟人工智能专家委员会主任、中国信息协会教育分会人工智能专家委员会主任、教育bu全国普通高校毕业生就业创业指导委员会委员、第45届世界技能大赛中国区云计算选拔赛裁判长/专家指导组组长、2019年全国大学生数据建模比赛命题人、工信部云计算研究中心专家。
李肖俊,管理学博士,软件工程师,CCF专业会员,参与国家自然基金3项,陕西省自然基金1项。近两年发表研究论文3篇,主编教材2部。《计算机学报》《系统工程理论与实践》审稿专家。
肖晨,资深软件研发工程师,从事软件开发9年,现负责数据挖掘平台研发与大数据/人工智能/融合实验平台产品线研发。
|
目錄:
|
第1 章 大数据导论
1.1 大数据的概念 ·
1.1.1 大数据的来源
1.1.2 大数据的分类
1.2 大数据的特征
1.2.1 数量(volume)
1.2.2 多样性(variety)
1.2.3 速度(velocity)
1.2.4 价值(value)
1.3 大数据关键技术
1.3.1 大数据存储技术
1.3.2 并行计算技术
1.3.3 数据分析技术
1.3.4 数据可视化技术
1.3.5 数据挖掘技术
1.4 大数据应用场景
1.4.1 电商行业大数据应用
1.4.2 金融行业大数据应用
1.4.3 医疗行业大数据应用
1.4.4 教育行业大数据应用
1.4.5 工业大数据应用
1.4.6 农业大数据应用
1.4.7 环境大数据应用
1.4.8 智慧城市大数据应用
习题
参考文献
第2 章 基础云架构
2.1 云计算简介
X 大数据应用部署与调优
2.1.1 云计算的概念
2.1.2 云计算发展现状
2.1.3 云计算实现机制
2.1.4 云计算部署模型
2.2 云计算与大数据
2.2.1 云计算与大数据的关系
2.2.2 云计算与大数据相结合的优势
2.3 私有云平台OpenStack
2.3.1 OpenStack 背景介绍
2.3.2 计算服务Nova
2.3.3 对象存储服务Swift ·
2.3.4 镜像服务Glance
2.4 公有云平台阿里云
2.4.1 阿里云简介
2.4.2 计算服务ECS
2.4.3 存储服务
2.4.4 网络服务VPC
习题
参考文献
第3 章 大数据业务流程
3.1 数据采集
3.1.1 数据采集的概念
3.1.2 数据采集的工具
3.1.3 数据采集的方法
3.2 数据预处理ETL
3.2.1 数据清洗
3.2.2 数据集成
3.2.3 数据转换
3.2.4 数据归约
3.2.5 常用ETL 工具
3.3 大数据存储
3.3.1 大数据存储困境
3.3.2 大数据存储中的数据结构处理样例 ·
目录 XI
3.3.3 分布式系统 ·
3.3.4 Hadoop 框架
3.3.5 NoSQL 数据库
3.3.6 云存储
3.4 大数据处理
3.4.1 大数据处理框架
3.4.2 批处理系统 ·
3.4.3 流处理系统 ·
3.4.4 混合处理系统
3.4.5 大数据处理框架的选择
3.5 环境监控大数据应用实例
习题
参考文献
第4 章 系统安装部署 ·
4.1 安装部署的概念
4.1.1 软件安装概述
4.1.2 大数据部署概述
4.2 安装部署分布式系统
4.2.1 Hadoop 安装部署 ·
4.2.2 Spark 部署
4.3 升级管理
4.3.1 系统升级的概念
4.3.2 Hadoop 升级管理
4.3.3 Spark 升级管理 ·
习题
参考文献
第5 章 日常维护管理
5.1 系统管理对象 ·
5.1.1 系统软件
5.1.2 系统硬件
5.1.3 系统数据
XII 大数据应用部署与调优
5.2 系统管理的内容
5.2.1 事件管理
5.2.2 问题管理
5.2.3 故障管理
5.2.4 性能管理
5.2.5 配置管理
5.2.6 日志管理
5.2.7 备份管理
5.3 故障管理
5.3.1 集群结构
5.3.2 故障报告
5.3.3 故障处理
5.3.4 故障后期管理
5.4 性能管理
5.4.1 性能监控
5.4.2 性能分析
5.5 日志管理
5.5.1 平台及组件相关命令行 ·
5.5.2 日志和告警监控
5.6 日常巡检
5.6.1 检查内容分类
5.6.2 巡检方法分类
5.6.3 巡检流程
5.7 系统管理制度规范
5.7.1 系统管理标准
5.7.2 系统管理制度
5.7.3 系统管理规范
习题
参考文献
第6 章 高级系统运维
6.1 安全管理
6.1.1 资产安全
6.1.2 应用安全
目录 XIII
6.1.3 安全威胁
6.1.4 安全措施
6.2 系统优化
6.2.1 Hadoop 配置优化
6.2.2 Hadoop 性能优化
6.2.3 作业优化
6.3 高可用
6.3.1 高可用概述
6.3.2 高可用技术
6.3.3 业务连续性
习题
参考文献
第7 章 基础应用开发
7.1 Python 简介
7.1.1 Python 的前世今生
7.1.2 Python 的应用场合
7.1.3 Python 的特性
7.2 Python 语法
7.2.1 Python 赋值语句
7.2.2 顺序结构
7.2.3 选择结构
7.2.4 循环结构
7.2.5 绘图(用matplotlib 等新库)
7.2.6 函数
7.2.7 常用模块
7.3 Python 程序调试
7.3.1 拼接字符串
7.3.2 使用 generator
7.3.3 死循环
7.3.4 巧用多重赋值
7.3.5 使用C 扩展(extension)
7.3.6 并行编程
习题
XIV 大数据应用部署与调优
参考文献
第8 章 大数据应用开发
8.1 数据获取
8.1.1 通过传感器采集数据
8.1.2 通过API 获取数据
8.1.3 网络信息抓取
8.1.4 通过网络信息系统获取数据 ·
8.2 数据分析
8.2.1 数据分析概念和分类
8.2.2 数据分析方法
8.3 数据可视化
8.3.1 数据可视化基础
8.3.2 大数据可视化方法
8.4 应用案例开发
8.4.1 案例一 Python 数据分析:商圈分析 ·
8.4.2 案例二 Python 数据分析:招聘信息可视化案例
习题
参考文献
附录A 大数据和人工智能实验环境
|
內容試閱:
|
本书是针对大数据应用部署与调优的“1 X”职业技能等级标准考试培训用教材,主要面向从事大数据应用系统规划、部署、配置、实施、维护、优化升级以及大数据
应用系统监控、管理、资源协调等相关工作的人员。
职业技能分级达标要求分为基础运维、中级运维和高级运维3 个层次。
基础运维:能够熟练掌握数据采集、预处理、存储和处理流程,对大数据的基本处理框架和批流处理技术有初步认识。能够独立完成常规的大数据应用系统分布式环境与应用配置,并能够对常见故障进行基本的识别、判断和处理,满足大数据应用系统日常运维要求。
中级运维:能够对事件管理、故障管理、性能管理、配置管理、日志管理、备份管理等有较全面的认识,能够熟练应用各类管理工具,开展日常巡检工作。初步掌握Linux 操作系统、MySQL 数据库和Python 开发环境的安装部署,学习和掌握Python基本编程语法,学会使用Python 常用的模块功能,满足基础编程和程序调试要求。
高级运维:能够掌握安全管理、加固方法、配置和性能优化、作业调度等技能,
满足业务连续性要求,保证系统长期稳定运行和效率优化提升。同时能够掌握大数据
应用开发的高级技能,熟练使用数据分析、数据可视化的算法和工具,满足深度运维
管理和应用开发调优的要求。
本书的章节内容就是围绕以上3 个层次的要求由浅入深地系统性介绍大数据行业背景、生态,大数据系统和大数据应用的安装部署、日常维护,以及涉及安全管理、性能优化及高可用管理等方面的高级运维,为了进一步提升运维人员面对复杂运维任务的能力,本书还介绍了基于Python 语言的应用基础编程,以及针对大数据应用开发
的要求,通过案例学习数据采集、数据分析和可视化的编程。
第1 章“大数据导论”主要通过对大数据的概念、特征、关键技术和应用场景的介绍,给读者引入必要的领域相关背景知识。
第2 章“基础云架构”介绍了与大数据系统和应用密切相关的基础服务设施云计算的概念,并分别通过OpenStack 和阿里云的相关技术介绍了私有云和公有云的基础知识。
第3 章“大数据业务流程”从大数据应用系统的典型业务流程出发,结合系统管理、数据应用方面带来的挑战,展开介绍了数据采集、数据预处理、大数据存储与处理等相关概念和技术。
第4 章“系统安装部署”介绍了大数据系统和应用安装部署的概念,包括配置文件、用户手册、帮助文档等资源的收集、打包、安装、配置、发布的过程;并通过软件部署、测试、变更、升级等操作,从理论和实践两方面使读者熟悉大数据组件的运
维知识。
针对大数据系统数据量大、机器规模大、分布式架构及并行计算等特点,第5 章“日常维护管理”介绍了大数据系统和应用运行维护与管理所涉及的对象、内容、工具、流程、制度和规范等方面的内容。
第6 章“高级系统运维”展开介绍了安全管理、系统优化以及系统的高可用架构等相关概念,并从实践的角度去扩充介绍了相关的技术实践方案和优化方案。
第7 章“基础应用开发”介绍了Python 的开发环境、Python 背景、Python 基本语法,使读者能够进行基础的应用开发工作。
第8 章“大数据应用开发”从开发流程入手,介绍了数据采集、数据分析和数据可视化的概念,并通过两个综合数据分析和可视化的实际案例,培养数据相关应用的应用开发技能。
本书是编写小组集体智慧的结晶,虽然在大纲确立、资料整理、内容编写及稿件审核过程中反复检查校对,力求内容清晰无误,便于读者学习理解;但疏漏和不完善之处仍在所难免,恳请各位读者批评指正,不吝赐教!
编 者
2022 年3 月
|
|