新書推薦:
《
史铁生:听风八百遍,才知是人间(2)
》
售價:NT$
254.0
《
量子网络的构建与应用
》
售價:NT$
500.0
《
拍电影的热知识:126部影片里的创作技巧(全彩插图版)
》
售價:NT$
500.0
《
大唐名城:长安风华冠天下
》
售價:NT$
398.0
《
情绪传染(当代西方社会心理学名著译丛)
》
售價:NT$
403.0
《
中国年画 1950-1990 THE NEW CHINA: NEW YEAR PICTURE 英文版
》
售價:NT$
1100.0
《
革命与反革命:社会文化视野下的民国政治(近世中国丛书)
》
售價:NT$
435.0
《
画楼:《北洋画报》忆旧(年轮丛书)
》
售價:NT$
1573.0
|
編輯推薦: |
本书讲解了Python 爬虫的基础知识和必备技能,帮助零基础的读者快速入门并熟练使用爬虫。本书囊括了媒体热点采集、金融数据爬取、网络文件下载、电商数据研究等四大类42个爬虫实战案例,共计3000余行代码,涉及17个网站的数据与文件获取,详解了Requests 库、Selenium 库、正则表达式、BeautifulSoup 库、多线程多进程爬虫、IP 反爬机制应对等知识。
|
內容簡介: |
网络爬虫是当今获取数据不可或缺的重要手段。本书讲解了Python 爬虫的基础知识和必备技能,帮助零基础的读者快速入门并熟练使用爬虫。
全书共8 章。第1 章讲解Python 开发环境的安装与配置以及Python 的基础语法知识。第2 章讲解如何运用Requests 库和Selenium 库获取网页源代码。第3 章讲解如何运用正则表达式和BeautifulSoup 库解析和提取数据。第4 章深入讲解Selenium 库在商业实战中的进阶应用。第5 章讲解爬虫数据的处理与可视化。第6 章讲解爬虫数据结构化神器pandas 库,以及如何通过Python 在MySQL 数据库中读写数据。第7 章讲解如何运用多线程和多进程技术提高爬虫效率。第8 章讲解如何运用IP 代理应对网站的反爬机制。
本书对于编程新手来说非常友好,从Python 基础到爬虫原理再到实战应用,循序渐进地帮助读者打好基础。对于有一定Python 爬虫基础的读者,本书也针对实战中常见的疑点和难点提供了解决技巧。
|
關於作者: |
王宇韬
华能贵诚信托金融科技实验室发起人,宾夕法尼亚大学硕士,上海交通大学学士,曾在剑桥大学交流学习,两年内通过CFA 3 级、FRM 2 级、AQF。在华能贵诚信托自主研发了舆情监控系统、资金雷达、流程自动化AI 系统、机器视频面试系统等;专注于科技在金融领域的应用,编著有《Python 金融大数据挖掘与分析全流程详解》和《Python 大数据分析与机器学习商业案例实战》。
吴子湛
毕业于合肥工业大学计算机学院,就职于南京市秦淮区大数据中心;拥有多年IT 研发经验,擅长大数据分析与挖掘。
|
目錄:
|
第1章 Python基础
1.1 Python快速上手
1.1.1 安装Python
1.1.2 编写个Python程序
1.1.3 PyCharm的安装与使用
1.1.4 Jupyter Notebook的使用
1.2 Python语法基础知识
1.2.1 变量、行、缩进与注释
1.2.2 数据类型:数字与字符串
1.2.3 数据类型:列表与字典、元组与集合
1.2.4 运算符
1.3 Python语句
1.3.1 if条件语句
1.3.2 for循环语句
1.3.3 while循环语句
1.3.4 try/except异常处理语句
1.4 函数与库
1.4.1 函数的定义与调用
1.4.2 函数的返回值与变量的作用域
1.4.3 常用内置函数介绍
1.4.4 库的导入与安装
★ 课后习题
第2章 爬虫步:获取网页源代码
2.1 爬虫核心库1:Requests库
2.1.1 如何查看网页源代码
2.1.2 用Requests库获取网页源代码:百度新闻
2.1.3 Requests库的“软肋”
2.2 爬虫核心库2:Selenium库
2.2.1 模拟浏览器及Selenium库的安装
2.2.2 用Selenium库获取网页源代码:新浪财经股票信息
2.3 网页结构分析
2.3.1 网页结构基础
2.3.2 网页结构进阶
★ 课后习题
第3章 爬虫第二步:数据解析与提取
3.1 用正则表达式解析和提取数据
3.1.1 正则表达式基础1:findall()函数
3.1.2 正则表达式基础2:非贪婪匹配之“(.*?)”
3.1.3 正则表达式基础3:非贪婪匹配之“.*?”
3.1.4 正则表达式基础4:自动考虑换行的修饰符re.S
3.1.5 正则表达式基础5:知识点补充
3.1.6 案例实战:提取百度新闻的标题、网址、日期和来源
3.2 用BeautifulSoup库解析和提取数据
3.2.1 解析特定标签的网页元素
3.2.2 解析特定属性的网页元素
3.2.3 提取标签中的网址
3.2.4 案例实战:新浪新闻标题和网址爬取
3.3 百度新闻爬取进阶探索
3.3.1 批量爬取多家公司的新闻
3.3.2 将爬取结果保存为文本文件
3.3.3 异常处理及24小时不间断爬取
3.3.4 批量爬取多页内容
3.4 证券日报网爬取实战
3.4.1 用正则表达式爬取
3.4.2 用BeautifulSoup库爬取
3.5 中证网爬取实战
3.6 新浪微博爬取实战
3.7 上海证券交易所上市公司PDF文件下载
3.7.1 用Requests库下载文件的基本方法
3.7.2 初步尝试下载上海证券交易所上市公司PDF文件
3.8 豆瓣电影Top 250排行榜海报图片下载
3.8.1 爬取单页
3.8.2 爬取多页
★ 课后习题
第4章 爬虫神器Selenium库深度讲解
4.1 Selenium库进阶知识
4.2 新浪财经股票行情数据爬取
4.2.1 用Selenium库爬取股票行情数据
4.2.2 用新浪财经API爬取股票行情数据
4.3 东方财富网数据爬取
4.3.1 上市公司股吧帖子爬取
4.3.2 上市公司新闻爬取
4.3.3 上市公司研报PDF文件下载
4.4 上海证券交易所问询函信息爬取及PDF文件下载
4.4.1 批量下载单个页面上的PDF文件
4.4.2 批量下载多个页面上的PDF文件
4.4.3 汇总问询函信息并导出为Excel工作簿
4.5 银行间拆借利率爬取
4.6 雪球股票评论信息爬取
4.7 商品评价信息爬取
4.7.1 用Selenium库爬取
4.7.2 用Requests库爬取
4.8 淘宝天猫商品销量数据爬取
4.9 Selenium库趣味案例:网页自动投票
★ 课后习题
第5章 数据处理与可视化
5.1 数据清洗与优化技巧
5.1.1 常用的数据清洗手段及日期格式的统一
5.1.2 文本内容过滤—剔除噪声数据
5.1.3 数据乱码问题处理
5.1.4 数据爬后处理之舆情评分
5.2 数据可视化分析—词云图绘制
5.2.1 用jieba库实现中文分词
5.2.2 用wordcloud库绘制词云图
5.2.3 案例实战:新浪微博词云图绘制
★ 课后习题
第6章 数据结构化与数据存储
6.1 数据结构化神器—pandas库
6.1.1 用read_html()函数快速爬取网页表格数据
6.1.2 pandas库在爬虫领域的核心代码知识
6.2 新浪财经—资产负债表获取
6.3 百度新闻—文本数据结构化
6.3.1 将单家公司的新闻导出为Excel工作簿
6.3.2 将多家公司的新闻导出为Excel工作簿
6.4 百度爱企查—股权穿透研究
6.4.1 单层股权结构爬取
6.4.2 多层股权结构爬取
6.5 天天基金网—股票型基金信息爬取
6.5.1 爬取基金信息表格
6.5.2 爬取基金的详情页面网址
6.6 集思录—可转债信息爬取
6.7 东方财富网—券商研报信息爬取
6.7.1 爬取券商研报信息表格
6.7.2 爬取研报的详情页面网址
6.8 数据存储—MySQL快速入门
6.8.1 MySQL的安装
6.8.2 MySQL的基本操作
6.9 用Python操控数据库
6.9.1 用PyMySQL库操控数据库
6.9.2 案例实战:百度新闻数据爬取与存储
6.9.3 用pandas库操控数据库
★ 课后习题
第7章 Python多线程和多进程爬虫
7.1 理解线程与进程
7.1.1 计算机硬件结构基础知识
7.1.2 线程与进程
7.1.3 单线程、多线程与多进程
7.1.4 爬虫任务中的多线程与多进程
7.2 Python多线程爬虫编程实战
7.2.1 Python多线程编程基础知识
7.2.2 Python多线程编程进阶知识
7.2.3 案例实战:多线程爬取百度新闻
7.3 Python多进程爬虫编程实战
7.3.1 Python多进程编程基础知识
7.3.2 Python多进程编程进阶知识
7.3.3 案例实战:多进程爬取百度新闻
★ 课后习题
第8章 IP代理使用技巧与实战
8.1 结合Requests库使用IP代理
8.1.1 IP代理基础知识
8.1.2 IP代理的使用
8.2 IP代理实战1:用Requests库爬取公众号文章
8.2.1 直接用Requests库爬取
8.2.2 添加IP代理进行爬取
8.2.3 添加智能IP切换系统
8.3 结合Selenium库使用IP代理
8.4 IP代理实战2:用Selenium库爬取公众号文章
8.4.1 直接用Selenium库爬取
8.4.2 添加IP代理进行爬取
8.4.3 添加智能IP切换系统
★ 课后习题
后记
|
內容試閱:
|
笔者编写的《Python金融大数据挖掘与分析全流程详解》于2019年出版面市后,陆续有不少读者表示对该书的爬虫部分非常感兴趣,想做进一步的学习。笔者由此萌生了一个想法:专门针对Python爬虫技术编写一套书籍,在保留之前核心内容的基础上,新增更多实战案例,方便读者在练中学,并体会Python爬虫在实战中的应用。
书稿编写完成后,为了更好地满足不同水平读者的需求,方便他们根据自身情况更灵活地学习,笔者决定将书稿分为两册出版:册为《零基础学Python网络爬虫案例实战全流程详解(入门与提高篇)》,主要针对编程零基础的读者;第二册为《零基础学Python网络爬虫案例实战全流程详解(高级进阶篇)》,主要针对有一定Python爬虫编程基础并且需要进阶提高的读者。
本书为《零基础学Python网络爬虫案例实战全流程详解(入门与提高篇)》,分8章讲解了Python爬虫的基础知识和必备技能,帮助零基础的读者快速入门并熟练使用爬虫。
第1章从Python开发环境的安装与配置讲起,循序渐进地过渡到Python的基础语法知识,包括变量、数据类型、语句、函数与库等,让新手读者能够自己输入简单的代码并使其运行起来。
任何爬虫任务的起点都是获取网页源代码。第2章讲解了Python爬虫中用于获取网页源代码的两个核心库—Requests库和Selenium库,并简单介绍了网页结构和HTML标签的知识,为第3章学习数据的解析与提取做好铺垫。
获取网页源代码后,接着需要从中解析与提取数据。第3章讲解了Python爬虫中解析与提取数据的两种核心方法—正则表达式和BeautifulSoup库,并通过丰富的案例进行实战演练,包括百度新闻、证券日报网、中证网、新浪微博的数据爬取,以及上海证券交易所PDF文件和豆瓣电影海报图片的下载等。
讲解完Python爬虫的基础知识和基本技能,第4章进一步深入讲解爬虫神器Selenium库,并通过案例讲解了商业实战中常用的大量进阶爬虫技术,案例包括新浪财经股票行情数据爬取、东方财富网(股吧、新闻、研报)相关数据爬取、上海证券交易所问询函信息爬取及PDF文件下载、银行间拆借利率爬取、雪球股票评论信息爬取、商品评价信息爬取、淘宝天猫商品销量数据爬取、网页自动投票等。
第5章讲解爬虫数据的处理与可视化,包括数据清洗、文本内容过滤、乱码问题处理、舆情评分、中文分词、词云图绘制等,让读者可以对获取的数据进行深入的整理与挖掘。
第6章讲解爬虫数据结构化与数据存储。首先介绍了爬虫数据结构化神器pandas库,并通过多个案例进行实战演练,包括新浪财经资产负债表获取、百度新闻文本数据结构化、百度爱企查股权穿透研究、天天基金网股票型基金信息爬取、集思录可转债信息爬取、东方财富网券商研报信息爬取等。然后介绍了用于存储和管理数据的MySQL数据库,以及如何通过Python在MySQL数据库中读写数据。
第7章讲解如何运用多线程和多进程技术提高爬虫效率,重点分析了线程和进程的概念、多线程和多进程的逻辑,并通过百度新闻的多线程和多进程爬取进行实战演练。
在爬虫任务中让人烦恼的就是遇到网站的反爬机制,因此,第8章讲解了应对反爬机制的常用手段—IP代理的原理和使用方法,并以爬取微信公众号文章为例对IP代理进行了实战演练。
本书对于编程零基础的读者来说非常友好,从Python基础到爬虫原理再到实战应用,循序渐进地帮助读者打好基础。对于有一定Python爬虫基础的读者,本书也针对实战中常见的疑点和难点提供了解决技巧。
读者如果想进一步学习反爬机制应对、手机App内容爬取、爬虫框架、爬虫云服务器部署等技术,可以阅读《零基础学Python网络爬虫案例实战全流程详解(高级进阶篇)》。
由于笔者水平有限,书中难免有不足之处,恳请广大读者批评指正。读者除了可扫描封底上的二维码关注公众号获取资讯以外,也可通过“本书学习资源”中列出的方法与我们交流。
|
|