新書推薦：
《
云中记
》
售價：NT$
347.0
《
中国古代妇女生活（中国古代生活丛书）
》
售價：NT$
214.0
《
你的认知正在阻碍你
》
售價：NT$
296.0
《
我们身边的小鸟朋友：手绘观鸟笔记
》
售價：NT$
356.0
《
拯救免疫失衡
》
售價：NT$
254.0
《
收尸人
》
售價：NT$
332.0
《
大模型应用开发：RAG入门与实战
》
售價：NT$
407.0
《
不挨饿快速瘦的减脂餐
》
售價：NT$
305.0
|
| 編輯推薦： |
适用于高职院校“大数据技术与应用”专业
大数据采集与爬虫的立体化教材
任务驱动模式编写
国家示范高等职业院校老师倾力编写
|
| 內容簡介： |
《大数据采集与爬虫》主要讲解了如何使用Python编写网络爬虫程序，内容包括Python环境搭建、Python的基础语法、爬虫基础知识、网络基础知识、常用爬虫库和解析库、数据持久化存储、Web API和异步数据抓取技术、Selenium和ChromeDriver的用法，以及Scrapy爬虫框架的基本原理和操作。*后介绍了一个网络爬虫的综合案例，以巩固前面所学的知识。
《大数据采集与爬虫》适合作为高等职业院校大数据技术与应用专业的教材，也适合有一定Python编程经验并且对爬虫技术感兴趣的读者阅读。
|
| 目錄：
|
目录
前言
任务1Python环境搭建
1.1 任务描述
1.2 Python概述
1.3 Python编程环境搭建
1.3.1 在Windows操作系统下安装Python
1.3.2 在 Linux操作系统下安装Python
1.3.3 在 Mac OS操作系统下安装Python
1.4 安装集成开发环境PyCharm
1.4.1 PyCharm概述
1.4.2 PyCharm的安装和运行
1.5 Python的数据类型
1.5.1 整型
1.5.2 浮点型
1.5.3 字符串类型
1.5.4 列表类型
1.5.5 集合类型
1.5.6 字典类型
1.5.7 元组类型
1.6 Python语句与函数
1.6.1 条件判断语句
1.6.2 循环语句
1.6.3 自定义函数
1.7 任务实现
1.8 小结
1.9 习题
任务2实现简单数据采集
2.1 任务描述
2.2 网络爬虫基础知识
2.2.1 网络爬虫概述
2.2.2 使用网络爬虫的风险
2.2.3 Python爬虫的工作过程
2.3 网络基础知识
2.3.1 HTML
2.3.2 URI和URL
2.3.3 HTTP
2.3.4 Request和Response
2.4 requests库的安装及使用
2.4.1 requests库概述
2.4.2 requests库的安装
2.4.3 requests库的基本用法
2.5 lxml库和BeautifulSoup库的安装及使用
2.5.1 lxml库概述
2.5.2 BeautifulSoup库概述
2.5.3 lxml库和BeautifulSoup库的安装
2.5.4 lxml库和BeautifulSoup库的基本用法
2.6 任务实现
2.7 小结
2.8 习题
任务3存储数据
3.1 任务描述
3.2 MySQL的安装及使用
3.2.1 MySQL概述
3.2.2 MySQL的安装
3.2.3 MySQL的操作
3.3 PyMySQL的使用
3.4 CSV和JSON格式
3.4.1 CSV格式概述
3.4.2 输出CSV文件头部
3.4.3 使用Python读取CSV文件数据
3.4.4 使用Python向CSV文件写入数据
3.4.5 JSON格式概述
3.4.6 使用Python读取JSON文件数据
3.4.7 使用Python向JSON文件写入数据
3.5 任务实现
3.6 小结
3.7 习题
任务4使用Web API采集数据
4.1 任务描述
4.2 GitHub
4.2.1 GitHub概述
4.2.2 GitHub的基本用法
4.3 Web API
4.3.1 Web API概述
4.3.2 GitHub开放API的数据特点
4.3.3 GitHub的API请求数据
4.3.4 获取API的响应数据
4.3.5 处理API的响应数据
4.4 任务实现
4.5 小结
4.6 习题
任务5使用AJAX采集数据
5.1 任务描述
5.2 AJAX
5.2.1 AJAX的起源
5.2.2 AJAX概述
5.2.3 AJAX的特点
5.2.4 静态数据
5.2.5 动态数据
5.2.6 分析AJAX采集的数据
5.2.7 提取AJAX采集的数据
5.3 任务实现
5.4 小结
5.5 习题
任务6主流验证码解析
6.1 验证码概述
6.2 自定义图形验证码解析
6.2.1 任务描述
6.2.2 图形验证码概述
6.2.3 tesserocr库概述
6.2.4 tesserocr库的安装
6.2.5 自定义图形验证码的生成
6.2.6 使用tesserocr库解析自定义图形验证码
6.2.7 任务实现
6.3 滑动验证码解析
6.3.1 任务描述
6.3.2 滑动验证码概述
6.3.3 ChromeDriver概述
6.3.4 ChromeDriver的安装
6.3.5 Selenium概述
6.3.6 Selenium的安装
6.3.7 Selenium和ChromeDriver的基本用法
6.3.8 任务实现
6.4 点击式验证码解析
6.4.1 任务描述
6.4.2 点击式验证码概述
6.4.3 聚合数据平台接口概述
6.4.4 任务实现
6.5 小结
6.6 习题
任务7模拟登录
7.1 使用Selenium和ChromeDriver实现模拟登录
7.1.1 任务描述
7.1.2 GET概述
7.1.3 GET的基本用法
7.1.4 POST概述
7.1.5 POST的基本用法
7.1.6 GET和POST的区别
7.1.7 任务实现
7.2 使用Cookie实现模拟登录
7.2.1 任务描述
7.2.2 Cookie概述
7.2.3 Session概述
7.2.4 Cookie和Session的区别
7.2.5 任务实现——使用Cookie模拟登录
7.2.6 任务实现——使用requests库实现用Cookie和Session模拟登录
7.3 小结
7.4 习题
任务8使用Scrapy爬虫框架采集数据
8.1 任务描述
8.2 Scrapy
8.2.1 Scrapy概述
8.2.2 Scrapy的工作原理
8.3 Scrapy的安装
8.3.1 在Windows操作系统下安装Scrapy
8.3.2 在Linux操作系统下安装Scrapy
8.4 Scrapy各组件的用法
8.4.1 Selector类
8.4.2 Spider类
8.4.3 下载器中间件
8.4.4 条目管道
8.4.5 网络爬虫中间件
8.5 任务实现
8.6 小结
8.7 习题
任务9综合案例
9.1 任务描述
9.2 页面分析
9.3 模拟登录
9.4 获取静态数据
9.5 获取动态数据
9.6 数据持久化保存
9.7 小结
|
| 內容試閱：
|
前言
为什么写这本书
在这个数据爆炸的时代，不论是提供底层基础架构的云计算，还是实现各种人工智能的应用，都离不开其核心的源泉——数据。由于网络中的数据太多、太宽泛，人们需要通过特殊的技术和方法实现在海量的数据中搜集到真正有价值的数据，从而为下一步的数据清洗、分析和可视化等技术提供数据支撑。因此，网络爬虫应运而生。
《大数据采集与爬虫》从基础的Python环境搭建、Python基础语法、网络基础知识入手，结合实例，由浅入深地讲解了常用爬虫库和解析库、数据持久化存储、Web API和异步数据抓取技术、Selenium和Chrome Driver操作、Scrapy爬虫框架的基本原理和操作。《大数据采集与爬虫》提供了爬虫案例和源代码，以便读者能够更加直观和快速地学会爬虫的编写技巧。
希望《大数据采集与爬虫》对大数据从业人员或者网络爬虫爱好者具有一定的参考价值，通过对本书的学习能够更好地解决工作和学习过程中遇到的问题，少走弯路。
本书的读者对象
● 高等职业院校大数据技术与应用专业的学生。
● Python网络爬虫初学者。
● 网络爬虫工程师。
● 大数据及数据挖掘工程师。
● 其他对Python或网络爬虫感兴趣的人员。
本书内容介绍
《大数据采集与爬虫》分为两大部分：理论知识（任务1~8）和综合案例（任务9）。
任务1：讲解了Python环境搭建和Python基础语法，让读者能够了解Python的基础知识。
任务2：通过抓取百度官方网站页面，阐述了爬虫的基本概念、工作过程，以及Web前端和网络基础知识，让读者能够更好地理解网络爬虫。
任务3：通过实现学生就业信息数据读写和数据持久化，阐述了MySQL的基本知识和安装过程，并使用PyMySQL库在Python环境中实现了对CSV和JSON格式数据的读写操作。
任务4：通过使用Web API采集GitHub API的项目数据，阐述了GitHub 的使用方法和GitHub API项目数据的抓取方法。
任务5：通过使用 AJAX 采集汽车之家网站的数据，阐述了AJAX的基本原理和特点、静态数据和动态数据的区别，以及结合浏览器页面分析工具用AJAX提取数据的方法。
任务6：阐述了使用tesserocr库、Selenium和ChromeDriver解析当前主流验证码的方法。
任务7：介绍了计算机网络中GET和POST请求的基本内容和区别，并阐述了使用Cookie、Selenium和ChromeDriver实现对网站进行模拟登录的方法。
任务8：介绍了Scrapy爬虫框架的基本内容和工作原理，并阐述了使用Scrapy实现对网站数据进行采集的方法。
任务9：综合运用前面学习的知识，实现一个网络爬虫的综合案例。
勘误和支持
由于编者水平有限，书中难免存在一些疏误之处，恳请各位读者不吝指正。
致谢
感谢机械工业出版社编辑人员对编者工作的理解、帮助和支持。
感谢付雯老师、王正霞老师、胡心雷老师的共同参与和辛勤付出。
感谢为本书做出贡献的每一个人。
谨以此书献给热爱Python爬虫技术的朋友们！
李俊翰
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
