新書推薦:
《
从零开始·复古娃衣制作书
》
售價:NT$
449.0
《
民主崩溃的政治学(精装版)
》
售價:NT$
423.0
《
交易撮合者:私募股权的经验与教训(泰丰资本创始人葛涵思投资秘籍!)
》
售價:NT$
403.0
《
最美世界名画(顾爷十三年匠心之作。超大开本;精美刷边;4米长海报;藏书票)
》
售價:NT$
3407.0
《
侧耳倾听
》
售價:NT$
203.0
《
神医嫡女·2
》
售價:NT$
254.0
《
近世闻人掌故
》
售價:NT$
347.0
《
余华长篇小说全集(共6册)
》
售價:NT$
1785.0
|
編輯推薦: |
本书遵循职业教育教材编写规律和职业院校学生学习规律,配套齐全。
|
內容簡介: |
考虑到目前大数据产业的发展趋势,本书综合了现有的数据采集和预处理技术,按照实际工作中的顺序,先介绍了大数据及数据采集的基础知识,然后介绍了使用爬虫技术进行数据采集、使用传感器进行数据采集、使用Kettle进行数据迁移和采集以及使用Python进行数据存储和处理,并以实训项目的形式,将技术与理论有机融为一体。本书内容详实、通俗易懂,贴近实用,同时配以课后习题加强学习效果。本书适合作为职业院校大数据技术、软件技术、物联网应用技术等相关专业的教材,也可作为大数据技术培训以及自学大数据技术的相关人员的参考用书。本书配有电子课件等资源,选用本书作为授课教材的教师可登录机械工业出版社教育服务网(www.cmpedu.com)免费注册后下载课程资源或者联系编辑(010-88379807)咨询。
|
目錄:
|
基础知识 1一、大数据概念 3二、数据采集技术 6三、数据预处理技术10习题12项目1 使用爬虫技术进行数据采集13任务1 爬取静态页面数据15任务2 使用Scrapy框架爬取动态数据 24任务3 使用Nutch爬取数据32小结50习题50项目2 使用传感器进行数据采集53任务1 利用传感器采集农业数据55任务2 利用传感器智能生产68小结75习题75项目3 使用Kettle进行数据迁移和采集77任务1 使用Kettle工具进行数据迁移79任务2 利用Kettle建立作业,定时执行转换95小结98习题98项目4 使用Python进行数据存储101任务1 利用列表、元组、集合与字典进行数据存储 103任务2 利用Numpy数组对象进行数据存储109任务3 利用Series与DataFrame进行数据存储118任务4 读写不同数据源数据126任务5 合并数据134小结144习题145项目5 使用Python进行数据处理147任务1 数据清洗149任务2 数据标准化160任务3 分组与聚合163任务4 透视表与交叉表172任务5 哑变量178小结180习题180参考文献182
|
內容試閱:
|
大数据已经深入到人们生活的方方面面,大到国家战略规划、经济发展、人工智能、产品决策,小到家庭生活、个人医疗、上网购物、舆情浏览等无所不在、无处不及。党的二十大报告提出:“加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。”在国民经济各行业,大数据应用与创新正快速推进,大数据资源与应用将持续推动数字经济蓬勃发展。因此,了解、掌握、应用大数据是这个时代不可缺少的一项专业技能。通过本书内容的学习,读者能够熟练掌握数据采集与预处理的基础知识,能够熟练进行数据采集、数据迁移、数据分析以及数据存储等相关操作。在大数据行业中,可从事大数据存储工程师、大数据分析工程师、数据采集工程师等相关工作岗位。社会进入大数据时代,很多高校也陆续新增大数据技术及相关专业,但该专业方向毕业生数量少而社会需求量大,因此职业发展前景良好。本书以项目驱动为主线,围绕数据采集与预处理在实际开发中的应用,进行任务分解,并对每一个任务的实践和理论进行详细指导,最终在完成项目的同时,掌握相关应用技术和理论知识,达到学中做、做中学的目的。全书共有一个基础知识部分和五个实训项目,基础知识部分对数据采集与预处理的概念、技术等进行概述,明晰学习目的和学习内容。项目 1 ~项目 3 主要讲解数据采集技术,项目 4 和项目 5 主要讲解数据存储及预处理技术。其中所用案例都来源于实际项目,所用技术也是目前较为流行的技术。教学建议:项 目 动手操作学时 理 论 学 时基础知识 0 4项目 1 6 6项目 2 4 4项目 3 6 6项目 4 6 6项目 5 4 4本书由刘少坤、左晓英担任主编,石彦杰、张晓玲、王江鹏、陈昭鹏担任副主编,参加编写的还有于丽娜、邵子平、孙勇毅、高金宝、刘彦华和姚宇龙。其中,项目 1 由刘少坤、石彦杰、张晓玲、于丽娜、邵子平共同编写,项目 2 由石彦杰、于丽娜、邵子平共同编写,项目 3 由王江鹏、陈昭鹏、孙勇毅、高金宝共同编写,项目 4 由张晓玲、刘彦华、姚宇龙共同编写,项目 5 由左晓英、刘彦华、姚宇龙共同编写,刘少坤、左晓英、于丽娜、邵子平通审了全稿。北京西普阳光教育科技股份有限公司在教材编写过程中提供了大量的技术支持和企业案例,在此表示感谢。由于编者水平有限,本书难免存在不足之处,欢迎读者批评指正。编 者
|
|