新書推薦:
《
大唐名城:长安风华冠天下
》
售價:NT$
398.0
《
情绪传染(当代西方社会心理学名著译丛)
》
售價:NT$
403.0
《
中国年画 1950-1990 THE NEW CHINA: NEW YEAR PICTURE 英文版
》
售價:NT$
1100.0
《
革命与反革命:社会文化视野下的民国政治(近世中国丛书)
》
售價:NT$
435.0
《
画楼:《北洋画报》忆旧(年轮丛书)
》
售價:NT$
1573.0
《
大国脊梁:漫画版
》
售價:NT$
374.0
《
跟着渤海小吏读历史:大唐气象(全三册)
》
售價:NT$
989.0
《
心智的构建:大脑如何创造我们的精神世界
》
售價:NT$
352.0
|
編輯推薦: |
(1)内容全面,结构清晰。本书通过案例详细介绍了网络爬虫技术的方方面面,讨论了数据抓取、数据处理和数据分析的整个流程。
(2)循序渐进,生动简洁。从最简单的Python爬虫程序案例开始,在网络爬虫的核心主题之下一步步深入,兼顾内容的广度与深度。在行文中,使用生动简洁的阐述方式,力争详略得当。
(3)示例丰富,实战性强。网络爬虫是实践性、操作性非常强的技术,本书从生活实际出发,选取实用性、趣味性兼具的主题进行网络爬虫实践。
(4)内容新颖,不落窠臼。本书中程序代码均采用最新的Python 3版本,并使用了目前主流的各种Python框架和库来编写程序,注重内容的时效性。网络爬虫需要动手实践才能真正理解,本书最大程度地保证了代码与程序示例的易用性和易读性。
|
內容簡介: |
本书主要介绍Python爬虫编写的基础知识,以及对爬虫数据的存储、深入处理和分析。全书分为四部分: 第一部分为爬虫基础篇,第二部分为实战基础篇(9个案例),第三部分为框架应用篇(5个案例),第四部分为爬虫应用场景及数据处理篇(6个案例)。 本书由浅入深地介绍爬虫常用的方法和工具,以及对爬虫数据处理的应用和实现。但需要注意的是,爬虫的技术栈不仅包含这几部分,而且在实际工作中的细分方法也不尽相同。本书只是对目前爬虫技术中最为常用的一些知识点用案例的形式进行了分类和讲解,而更多的应用也值得读者在掌握一定的基础技能后进一步探索。 本书适合Python语言初学者、网络爬虫技术爱好者、数据分析从业人士以及高等学校计算机科学、软件工程等相关专业的师生阅读。
|
目錄:
|
第一部分爬虫基础篇
第1章Python网络爬虫基础
1.1HTTP、HTML与JavaScript
1.1.1HTTP
1.1.2HTML
1.1.3JavaScript
1.2Requests的使用
1.2.1Requests简介
1.2.2使用Requests编写爬虫程序
1.3常见的网页解析工具
1.3.1BeautifulSoup
1.3.2XPath与lxml
1.4Scrapy框架与Selenium
1.4.1爬虫框架: Scrapy
1.4.2模拟浏览器: Selenium
1.5本章小结
第二部分实战基础篇
第2章爬取某游戏Top100选手信息
2.1JavaScript对象与JSON
2.2爬取方案分析
2.2.1方案一
2.2.2方案二
2.3本章小结
第3章爬取豆瓣电影简介
3.1确定信息源
3.2获取网页信息
3.3解析信息内容
3.4批量爬取网页信息
3.5本章小结
第4章爬取源代码练习评测结果
4.1网站分析
4.2编写爬虫
4.3运行并查看结果
4.4本章小结
第5章爬取网络中的小说和购物评论
5.1下载网络小说
5.1.1分析网页
5.1.2编写爬虫
5.1.3运行并查看TXT文件
5.2下载购物评论
5.2.1查看网络数据
5.2.2编写爬虫
5.2.3数据下载结果与爬虫分析
5.3本章小结
第6章爬取新浪财经股票资讯
6.1编写爬虫
6.2运行并查看结果
6.3展示网页
6.4本章小结
第7章爬取豆瓣电影海报
7.1豆瓣网站分析与爬虫设计
7.1.1从需求出发
7.1.2处理登录问题
7.2编写爬虫
7.2.1爬虫脚本
7.2.2程序分析
7.3运行并查看结果
7.4本章小结
第8章爬取免费IP代理项目
8.1代理服务器的分类
8.2网站分析
8.3编写爬虫
8.4运行并查看结果
8.5本章小结
第9章爬取微信群聊成员信息
9.1用Selenium爬取Web端微信信息
9.2基于Python的微信API工具
9.3爬虫的部署和管理
9.3.1配置远程主机
9.3.2编写本地爬虫
9.3.3部署爬虫
9.3.4查看运行结果
9.3.5使用爬虫管理框架
9.4本章小结
第10章爬取网易跟帖
10.1网页自动化工具的简介
10.2分析网页
10.3编写爬虫
10.4运行并通过MongoDB查看数据
10.5本章小结
第三部分框架应用篇
第11章爬取机场航班信息
11.1分析网页
11.2编写爬虫
11.3爬虫的使用说明
11.4本章小结
第12章爬取拼多多商品的评论数据
12.1分析网页
12.2环境搭建
12.3编写爬虫
12.4运行并查看数据库MongoDB
12.5本章小结
第13章使用爬虫框架Gain和PySpider
13.1Gain框架
13.2使用Gain做简单爬取
13.3PySpider框架
13.4使用PySpider进行爬取
13.5本章小结
第14章爬取新浪新闻并通过客户端展示
14.1项目分析
14.2创建数据库
14.3设置页面下载器
14.4生产者消费者模型
14.5客户端界面设计
14.6本章小结
第15章爬取某机场航班出发时间数据
15.1程序设计
15.1.1分析网页
15.1.2将数据保存到数据库
15.2编写爬虫
15.2.1前置准备
15.2.2代码编写
15.2.3运行并查看数据库中的结果
15.3本章小结
第四部分爬虫应用场景及数据处理篇
第16章用爬虫和Flask搭建新闻接口服务
16.1编写爬虫
16.1.1爬取数据源网页
16.1.2搭建Flask服务
16.1.3程序代码详情
16.2本章小结
第17章网易云音乐评论内容的爬取与分析
17.1jieba库
17.2WordCloud库
17.3网页分析
17.4编写爬虫
17.5运行结果
17.6本章小结
第18章爬取二手房数据并绘制热力图
18.1数据爬取
18.1.1分析网页
18.1.2地址转换成经纬度
18.1.3编写爬虫
18.1.4数据下载结果
18.2绘制热力图
18.3本章小结
第19章用爬虫数据搭建附近二手房价格搜索引擎
19.1编写爬虫
19.1.1准备数据
19.1.2安装以及使用ES
19.1.3实现房价地理位置坐标搜索的搜索引擎
19.2本章小结
第20章爬取豆瓣电影影评并简单分析数据
20.1需求分析与爬虫设计
20.1.1网页分析
20.1.2函数设计
20.2编写爬虫
20.2.1编写程序
20.2.2可能的改进
20.3本章小结
第21章爬取用户影评数据并通过推荐算法推荐电影
21.1明确目标与数据准备
21.1.1明确目标
21.1.2数据采集与处理
21.1.3工具选择
21.2初步分析
21.2.1用户角度分析
21.2.2电影角度分析
21.3用推荐算法实现电影推荐
21.4本章小结
参考文献
|
內容試閱:
|
网络爬虫又称为网络蜘蛛,是指按照某种规则在网络上爬取所需内容的脚本程序。它们被广泛用于互联网搜索引擎及各种网站的开发中,同时也是大数据和数据分析领域中的重要角色。众所周知,每个网页通常都包含其他网页的入口,网络爬虫则通过一个网址依次进入其他网址获取所需内容。爬虫可以按一定逻辑大批量采集目标页面内容,并对数据做进一步的处理,人们借此能够更好更快地获得并使用他们感兴趣的信息,从而方便地完成很多有价值的工作。
Python是一种解释型、面向对象的、动态数据类型的高级程序设计语言,Python语法简洁,功能强大,在众多高级语言中拥有十分出色的编写效率,同时还拥有活跃的开源社区和海量程序库,十分适合用来进行网络内容的爬取和处理。本书将以Python语言为基础,由浅入深地探讨网络爬虫技术,同时,通过具体的程序编写和实践来帮助读者了解和学习Python爬虫。
本书共包含20个案例,从内容上分为四部分,分别代表不同的爬虫阶段及场景,包括了Python爬虫编写的基础知识,以及对爬虫数据的存储、深入处理和分析。
第一部分爬虫基础篇。该部分简单介绍了爬虫的基本知识,便于读者掌握相关知识,对爬虫有基本的认识。
第二部分实战基础篇(9个案例)。该部分既有简单、容易实现的入门案例,也有改进的进阶案例。丰富的内容包括爬虫常用的多种工具及方法,覆盖了爬虫的请求、解析、清洗、入库等全部常用流程,是入门实践的最佳选择。
第三部分框架应用篇(5个案例)。该部分内容从爬虫框架的角度出发,介绍了几个常用框架的案例,重点介绍了Scrapy框架,以及基于Python 3后的新特性的框架,如Gain和PySpider等,同时也对高并发应用场景下的异步爬虫做了案例解析,是不容错过的精彩内容。
第四部分爬虫应用场景及数据处理篇(6个案例)。该部分内容从实际应用的角度出发,通过不同的案例展示了爬虫爬取的数据的应用场景以及针对爬虫数据的数据分析,可以让读者体会到爬虫在不同场景上的应用,从另一个角度展示了爬虫的魅力,可以给读者带来一些新的思考。
这四部分由浅入深地介绍了爬虫常用的方法和工具,以及对爬虫数据处理的应用和实现。但需要注意的是,爬虫的技术栈不仅仅包含这几部分,而且在实际工作中的细分方法也不尽相同。本书只是对目前爬虫技术中最为常见的一些知识点,用案例的形式进行了分类和讲解,而更多的应用也值得读者在掌握一定的基础技能后进一步探索。
本书特色
(1) 内容全面,结构清晰。本书通过案例详细介绍网络爬虫技术的基础知识,讨论了数据爬取、数据处理和数据分析的整个流程。
(2) 循序渐进,生动简洁。从最简单的Python爬虫程序案例开始讲解,兼顾内容的广度与深度,并使用生动简洁的阐述方式,力争详略得当。
(3) 示例丰富,实战性强。网络爬虫是实践性、操作性非常强的技术,本书从生活实际出发,选取实用性、趣味性兼具的主题进行网络爬虫实践。
(4) 内容新颖,不落窠臼。本书中的代码均采用最新的Python 3版本,并使用了主流的Python框架和库来编写,注重内容的时效性。网络爬虫需要动手实践才能真正理解,本书最大限度地保证了代码与程序示例的易用性和易读性。
配套资源
为便于教与学,本书配有微课视频(380分钟)和源代码。
(1) 获取微课视频的方式: 先刮开并用手机微信App扫描本书封底的文泉云盘防盗码,授权后再扫描书中相应的视频二维码,观看教学视频。
(2) 获取源代码和全书网址的方式: 先刮开并用手机微信App扫描本书封底的文泉云盘防盗码,授权后再扫描下方的二维码即可获取。
源代码
全书网址
(3) 其他配套资源可以扫描本书封底的“书圈”二维码,关注后回复本书书号,即可下载。
读者对象
本书主要面向广大从事数据分析、机器学习、数据挖掘或深度学习的专业人员,从事高等教育的专任教师,高等学校的在读学生及相关领域的广大科研人员。
本书由吕云翔、韩延刚、张扬任主编,谢吉力、杨壮、王渌汀、王志鹏、杨瑞翌任副主编。此外,曾洪立参与了部分内容的编写、素材整理和配套资源的制作工作。
本书作者在编写过程中参考了诸多相关资料,在此对相关资料的作者表示衷心的感谢。
限于个人水平和时间仓促,书中难免存在疏漏之处,欢迎广大读者批评指正。
作者
2023年3月
|
|