新書推薦:
《
千万别喝南瓜汤(遵守规则绘本)
》
售價:NT$
203.0
《
大模型启示录
》
售價:NT$
510.0
《
东法西渐:19世纪前西方对中国法的记述与评价
》
售價:NT$
918.0
《
养育男孩:官方升级版
》
售價:NT$
230.0
《
小原流花道技法教程
》
售價:NT$
500.0
《
少女映像室 唯美人像摄影从入门到实战
》
售價:NT$
505.0
《
詹姆斯·伍德系列:不负责任的自我:论笑与小说(“美国图书评论奖”入围作品 当代重要文学批评家詹姆斯·伍德对“文学中的笑与喜剧”的精湛研究)
》
售價:NT$
398.0
《
武当内家散手
》
售價:NT$
230.0
|
內容簡介: |
本书按照大数据开发流程系统介绍了Hadoop生态系统的核心开发技术,包括环境准备、文件存储与数据采集、数据处理与分析、数据库存储与数据迁移,并通过实际案例,详细直观地介绍了大数据分析的实现过程。本书从Hadoop的概念开始,深入浅出地讲解了Hadoop组件的作用及使用方法,内容系统全面,可帮助开发人员快速实现大数据的离线分析。本书可作为各类职业院校大数据技术及相关专业的教材,也可作为相关技术人员的参考用书。本书配有电子课件和习题,选用本书作为授课教材的教师可登录机械工业出版社教育服务网(www.cmpedu.com)免费注册后进行下载,或联系编辑(010-88379194)咨询。
|
目錄:
|
前 言项目1 环境准备1任务 Hadoop环境部署3小结25项目2 文件存储与数据采集27任务1 HDFS分布式存储数据文件29任务2 Flume收集流量数据65小结87项目3 数据处理与分析89任务1 MapReduce清洗计算流量数据91任务2 Hive分析流量数据121小结153项目4 数据库存储与数据迁移155任务1 HBase数据库存储流量数据157任务2 Sqoop迁移数据库数据195小结214参考文献215
|
內容試閱:
|
随着信息化技术的日渐普及、宽带网络的快速兴起,以及云计算、移动互联和物联网等新一代信息技术的广泛应用,全球数据的增长速度进一步加快。与此同时,数据收集、存储、处理技术及其应用快速发展并逐渐汇聚。软件运用的技术越来越尖端,结合不断提高的计算能力,从数据中提取有价值信息的能力显著提高,大体量的数据不再是无序而又没有价值的。Hadoop是公认的行业大数据标准开源软件,由Apache基金会开发,可以在不了解分布式底层细节的情况下开发分布式程序,充分利用集群的作用实现海量数据的高速处理和存储。本书为Hadoop的应用提供技术指导,可帮助开发人员快速实现大数据的离线分析。党的二十大报告指出,“教育、科技、人才是全面建设社会主义现代化国家的基础性、战略性支撑。必须坚持科技是第一生产力、人才是第一资源、创新是第一动力,深入实施科教兴国战略、人才强国战略、创新驱动发展战略,开辟发展新领域新赛道,不断塑造发展新动能新优势。”为满足数字中国建设人才需求,培养高技能大数据技术人才,本书以Hadoop生态体系为主线,通过大数据离线项目讲解各组件的功能和使用方法,以及数据采集、存储、分析等知识。本书知识点的讲解由浅入深,结构清晰、内容详细。除项目1中无实战强化模块外,其余项目都通过项目描述、学习目标、任务分析、任务技能、任务实施、任务拓展和实战强化7个模块进行相应知识的讲解。其中,项目描述模块能够使读者了解项目学习的主要内容,学习目标模块对项目内容的学习提出要求,任务分析模块对当前任务的实现进行概述,任务技能模块对当前项目所需知识进行讲解,任务实施模块对项目中的案例进行了步骤化的讲解,任务拓展模块对当前知识进行补充,实战强化模块对项目技术的使用进行升级,帮助学生全面掌握所讲内容。本书共有4个项目。项目1 从Hadoop的概念开始,分别讲述了Hadoop的核心组件、Hadoop环境配置。项目2 详细介绍了文件存储与数据采集,包括HDFS分布式存储数据文件、Flume收集流量数据。项目3 详细介绍了数据处理与分析,包括MapReduce清洗计算流量数据、Hive分析流量数据。项目4 详细介绍了数据库存储与数据迁移,包括HBase数据库存储流量数据、Sqoop迁移数据库数据。教学建议:项 目 动手操作学时 理 论 学 时 项目1 环境准备 6 6 项目2 文件存储与数据采集 6 6 项目3 数据处理与分析 6 6 项目4 数据库存储与数据迁移 6 6 本书由王盟、王新强任主编,孔瑞平、许春秀、沈金强、徐丽丽任副主编,马子龙、田燕军、张兵、张占孝、李福安、高淋参加编写。其中,天津工业职业学院王盟和天津中德应用技术大学王新强负责教材项目架构设计和各项目目标,确定教材的指导思想和内容总编纂工作。天津工业职业学院王盟主要负责编写项目1和项目2,天津工业职业学院孔瑞平主要负责编写项目3,山东劳动职业技术学院许春秀、嘉兴技师学院沈金强、山东劳动职业技术学院徐丽丽、广西机电职业技术学院马子龙主要负责编写项目4和测试工作,山西经贸职业学院田燕军、宣化科技职业学院张兵、西安职业技术学院张占孝、浙江工商职业技术学院李福安、天津市经济贸易学校高淋负责测试工作。由于编者水平有限,书中难免出现疏漏或不足之处,敬请读者批评指正。编 者
|
|