新書推薦：
《
空气炸锅懒人食谱
》
售價：NT$
254.0
《
大学问·命若朝霜：《红楼梦》里的法律、社会与女性
》
售價：NT$
403.0
《
维京人新史：从斯堪的纳维亚到丝绸之路
》
售價：NT$
454.0
《
孩子·挑战（全新图解版）
》
售價：NT$
398.0
《
大明1644（全二册）
》
售價：NT$
490.0
《
爱的流动
》
售價：NT$
301.0
《
帝国之翼：胡林翼的官场与战场
》
售價：NT$
398.0
《
史记全本注译（布面精装，全套9册） 附赠“朕来也”文创扑克牌1副！
》
售價：NT$
3315.0
|
| 編輯推薦： |
内容全面，系统讲解爬虫知识。
详细介绍了爬虫与反爬虫的方法。
提供了多个较高应用价值的爬虫实战案例，具有较强的应用性。
|
| 內容簡介： |
本书主要介绍了反爬虫的相关技术，内容涵盖了爬虫工具、加密算法、App爬虫等，从理论到案例实践，深入浅出。本书详细讲解了常用的抓包工具、反爬虫机制、验证码识别、动态网页反爬虫、JavaScript文件处理。本书聚焦加密数据的破解、App应用爬虫以及破解方法、部署爬虫程序。对于以上内容，本书进行细分总结，将相关知识点都纳入其中，形成一套完整的体系。
本书适合Python爱好者、爬虫工程师、数据分析师，以及高等院校计算机科学技术、软件工程、网络工程等相关专业的师生。
|
| 關於作者： |
|
任杰麟 硕士研究生学历，从事 Python、Java 方向的技术研发，拥有超过十五年的社交、金融、石油行业开发经验，始终战斗在编码第一线，平时喜欢钻研开源技术和数学。负责过石油领域数据分析的开发，以及人工智能的开发工作，长期担任数据爬取与数据分析的项目负责人，对网络爬虫和反爬虫有着较多的应用和感悟。
|
| 目錄：
|
第1章 无处不在的反爬虫/
1.1学习反爬虫的理由/
1.1.1反爬虫的定义/
1.1.2反爬虫对信息的保护/
1.1.3防止恶意竞争与知识产权侵犯/
1.1.4反爬虫对网站的维护/
1.1.5爬虫与反爬虫的相爱相杀：反爬虫对抗爬虫/
1.2什么样的爬虫会被反爬呢？/
1.2.1“裸体”爬虫/
1.2.2“索取无度”的爬虫/
1.2.3“不守规定”的爬虫/
1.3爬虫程序员的噩梦：多种多样的反爬虫机制/
1.3.1基于IP反爬虫：封锁IP/
1.3.2基于request headers反爬虫：检查“身份证”/
1.3.3基于用户行为的反爬虫/
1.3.4动态页面的反爬虫/
1.3.5登录限制（cookie限制）/
1.3.6验证码限制/
1.3.7JavaScript加密/
1.3.8文本混淆反爬虫：从根本上伪装信息/
1.4本章小结 /
第2章抓包利器的使用/
2.1抓包/
2.1.1什么是抓包？/
2.1.2抓包的意义/
2.1.3HTTP的抓包原理/
2.1.4HTTPS的抓包原理/
2.1.5常见抓包工具的对比/
2.2抓包工具Charles的使用/
2.2.1什么是Charles？/
2.2.2Charles的抓包原理/
2.2.3Charles的配置/
2.2.4使用Charles对网站进行抓包/
2.2.5使用Charles对App进行抓包/
2.3抓包工具Fiddler的使用/
2.3.1Fiddler简介/
2.3.2Fiddler与Charles的区别/
2.3.3Fiddler证书的安装/
2.3.4Fiddler的使用/
2.4抓包工具Mitmproxy的使用/
2.4.1Mitmproxy简介/
2.4.2Mitmproxy的工作原理/
2.4.3Mitmproxy的工作模式/
2.4.4Mitmproxy的使用/
2.5抓包工具Wireshark的使用/
2.5.1Wireshark简介/
2.5.2Wireshark与Fiddler的区别/
2.5.3Wireshark的使用/
2.6本章小结 /
第3章信息校验型反爬虫/
3.1信息校验反爬虫概述/
3.1.1信息校验反爬虫的原理/
3.1.2信息校验反爬虫的常见类型/
3.2useragent反爬虫/
3.2.1什么是UA？/
3.2.2UA的改变方法/
3.3cookie反爬虫/
3.3.1HTTP机制/
3.3.2cookie的作用/
3.3.3session和cookie的关系/
3.4Referer反爬虫/
3.4.1Referer的意义/
3.4.2Referer的破解方法/
3.5签名验证反爬虫/
3.5.1签名验证的原理/
3.5.2签名验证的破解/
3.6本章小结 /
第4章验证码识别/
4.1什么是验证码？/
4.1.1验证码原理/
4.1.2验证码的应用/
4.1.3验证码分类/
4.2图像识别技术/
4.2.1图像识别技术的基础知识/
4.2.2什么是OCR？/
4.2.3OCR原理/
4.2.4什么是Tesseract？/
4.3打码平台的使用/
4.3.1什么是打码平台？/
4.3.2如何使用打码平台/
4.4验证码爬虫案例/
4.4.1分析测试网站/
4.4.2实现模拟登录/
4.4.3核心代码/
4.5本章小结 /
第5章模拟登录/
5.1requests模拟登录/
5.1.1requests的基础操作/
5.1.2get请求方式/
5.1.3cookie的使用/
5.1.4post请求方式/
5.1.5get请求失败的案例/
5.2selenium模拟登录/
5.2.1什么是selenium？/
5.2.2安装selenium及驱动/
5.2.3网页结构与xpath简介/
5.2.4selenium的元素定位/
5.2.5使用selenium进行交互/
5.2.6使用selenium进行模拟登录/
5.3案例——selenium 验证码模拟登录/
5.3.1原理分析/
5.3.2获取验证码图片/
5.3.3实现selenium 验证码模拟登录/
5.3.4核心代码/
深入解析Python反爬虫5.4本章小结 /
第6章搭建IP代理池爬虫/
6.1IP的基础知识/
6.1.1IP地址的简述/
6.1.2什么是IPv4？/
6.1.3什么是IPv6？/
6.1.4IPv4与IPv6的对比/
6.2IP封锁/
6.2.1IP封锁反爬虫的基本原理/
6.2.2IP封锁的影响/
6.3如何突破IP封锁/
6.3.1降低爬虫性能——设置休眠时间/
6.3.2使用IP代理/
6.4IP代理/
6.4.1什么是IP代理？/
6.4.2为什么要进行IP代理？/
6.5IP代理池/
6.5.1实现IP代理/
6.5.2如何构建IP代理池/
6.6案例1——urllib的IP代理/
6.6.1代码简述/
6.6.2完整代码/
6.7案例2——构建IP代理池/
6.7.1代理网站分析/
6.7.2代理IP获取/
6.7.3代理IP检测与保存/
6.7.4完整代码/
6.8本章小结 /
第7章针对动态渲染页面的反爬/
7.1动态渲染网页的原理/
7.1.1静态页面和动态页面/
7.1.2JavaScript实现渲染的简单原理/
7.2动态渲染实现的方式/
7.2.1自动执行的异步请求/
7.2.2点击事件和计数/
7.2.3下拉加载和异步请求/
7.3解决动态渲染的反爬工具/
7.3.1selenium/
7.3.2puppeteer/
7.3.3Splash/
7.4案例——爬取漫画网漫画数据/
7.4.1动态渲染网页分析/
7.4.2实战——爬取漫画网的漫画数据/
7.5本章小结 /
第8章JavaScript解析/
8.1网页基础——前端三剑客/
8.1.1HTML——网站的骨骼/
8.1.2CSS——网站的皮肤/
8.1.3JavaScript——网站的行为/
8.1.4JavaScript的基础知识/
8.2开发者工具/
8.2.1开发者工具简介/
8.2.2模块介绍/
8.3如何找到JavaScript文件？/
8.3.1为什么要找JavaScript文件？/
8.3.2通过initiator定位JavaScript文件/
8.3.3通过search定位JavaScript文件/
8.3.4通过元素绑定的事件监听函数定位JavaScript文件/
8.4js2Py库/
8.4.1js2Py的作用/
8.4.2js2Py的使用/
8.5案例——翻译网站破解/
8.5.1案例目的/
8.5.2案例分析/
8.5.3案例实现/
8.6本章小结 /
第9章文本混淆反爬虫/
9.1图片伪装反爬虫/
9.1.1实现原理/
9.1.2图片伪装的案例/
9.1.3代码实现——破解图片伪装反爬虫/
9.2CSS偏移反爬虫/
9.2.1实现原理/
9.2.2CSS偏移反爬虫案例/
9.2.3代码实现——破解CSS偏移反爬虫/
9.3SVG映射反爬虫/
9.3.1什么是SVG映射/
9.3.2SVG图反爬原理/
9.3.3代码实现——破解SVG映射反爬虫/
9.4案例：爬取SVG相关网站/
9.5pytesseract的安装方法/
9.6本章小结 /
第10章逆向加密/
10.1MD5算法剖析/
10.1.1什么是MD5算法？/
10.1.2MD5的加密和解密过程/
10.2对称加密算法和非对称加密算法/
10.2.1对称加密算法/
10.2.2非对称加密算法/
10.3Base64伪加密/
10.3.1什么是Base64？/
10.3.2Base64加密与解密/
10.4HTTPS和证书/
10.4.1HTTPS的加密方式/
10.4.2证书的作用/
10.5本章小结 /
第11章App爬虫/
11.1Python爬取手机App的数据/
11.2什么是Appium？/
11.3如何安装Appium/
11.3.1安装JDK并配置其环境/
11.3.2配置Android开发环境，安装Android SDK/
11.3.3Node.js和Appium的安装/
11.3.4安装Appium Desktop和Appium inspector/
11.3.5安装Python驱动/
11.4Appium的使用/
11.5本章小结 /
第12章爬虫部署/
12.1了解Docker/
12.1.1什么是Docker？/
12.1.2使用Docker的优势/
12.1.3Windows与Linux的对比/
12.1.4在Windows系统上安装下载Docker/
12.1.5Docker的基本概念/
12.1.6Docker和虚拟机/
12.2Docker配置Python程序/
12.2.1Python程序/
12.2.2Dockerfile文件/
12.2.3配置Python程序/
12.2.4查看是否生成镜像/
12.2.5运行Python项目/
12.3Docker的基础使用/
12.3.1操作Docker/
12.3.2对镜像进行基础操作/
12.3.3拉取与删除镜像/
12.3.4加载镜像/
12.3.5使用交互式容器/
12.4本章小结
|
| 內容試閱：
|
本书背景
这是一个数据量爆发式增长的互联网时代，不管是企业还是个人，工作中都会使用到大量的数据。例如：对手企业商品的优点、价格，客户的兴趣爱好，当前流行的事物、语言等。而如果还是像普通用户一样访问数据，再复制粘贴，一个个将数据写入文档中，最后再进行分析统计，这无疑会浪费大量的时间和精力。而爬虫技术能自动搜集网络上的相关数据，还可以将获取的数据自动进行分析整合。所以，爬虫是快速获取数据的重要方式。
但数据的拥有者肯定不希望自己的数据被随意爬取。而且爬虫也会占用服务器的资源，导致正常用户的访问变得困难。这些原因导致反爬虫这一机制出现了，它在数据的周围建立起了高墙，还在墙上挂上了照妖镜，用来区分普通用户和爬虫，这使得爬虫会在数据的城墙下被识别出来，并被拒绝进入其中。甚至有的机制将爬虫识别出来后，并不揭露爬虫的身份，而是将其放入城中，引入提前设置好的陷阱之中。
网站开发者为了保证网站能够正常运转和降低服务器的运营成本，会通过一些手段限制爬虫的访问。限制爬虫程序访问服务器资源和获取数据的行为称为反爬虫。限制手段包括但不限于请求限制、拒绝响应、客户端身份验证、文本混淆和使用动态渲染技术。简单地说，网站会运用不同方法对访问者的身份进行验证，来识别是否是爬虫，进而决定是否限制访问。网站也会采用动态加载网页、数据通过JavaScript加载等方法，来增大数据分析处理的难度。同时，网站还会增大网络分析难度，使爬虫程序抓取URL失败，导致异常。
本书主要内容
通过上网搜索可以发现，反爬虫的知识点是非常凌乱的。一篇博客文章讲述如何设置代理IP，并构建代理IP池来进行反爬虫；而另一篇博客文章只讲解基于headers字段的useragent和cookie的反爬虫机制。与其他知识学习相比，反爬虫没有一个比较系统的知识体系。东一点，西一点，很难形成系统的知识体系，不利于我们掌握这方面的知识。并且随着爬虫技术的提升，反爬虫技术也在逐渐进步，这个进步不是基于某一个方向的，可能这一次是在限制IP访问的次数与时间，下一次就是对JavaScript文件进行隐藏加密了。所以反爬虫的资料是相当零散的，很多人都只总结了某一方面的反爬虫知识，而没有系统的整体的反爬虫知识体系。
我想，既然网络上没有一个系统的反爬虫知识结构，那何不自己构建一个呢？
深入解析Python反爬虫本书将反爬虫知识分为三大部分：前置知识、爬虫知识和反爬虫知识。
前置知识：这方面的内容包括后面学习需要用到的其他方面的知识，例如：前端知识，什么是HTML，CSS的作用是什么，JavaScript又有怎样的作用；计算机网络知识，什么是URL，网络是怎样发送请求的，GET和POST请求的区别，发送的请求包含哪些数据，HTTP协议的功能与作用，响应返回的状态码的含义，HTTPS是怎么完成数据加密的。
爬虫知识：在这一方面，哪需要知道一个爬虫程序是如何生成的，需要用到的Python模块以及模块的具体使用方法。如何构建一个请求；请求得到的数据怎么进行解析以获取想要的子数据；正则表达式在其中的作用；以及如何将获取的数据保存在本地；形成一个文件，或是构成数据库，而不是只将数据打印在控制台中。
反爬虫知识：前面已经说过了，这方面的知识非常凌乱，需要将这些零散的知识点进行分类整理，形成一个系统的整体。这方面常用的抓包工具有哪些；哪些反爬虫机制属于信息校验型反爬虫；验证码反爬虫是怎样破解的；哪些机制属于动态网页的反爬虫；JavaScript文件应该如何处理；当抓取的文本与实际文本有差别时应该怎么办；加密的数据应该如何破解；当要抓取的数据在一个App应用中，应该如何对App应用进行爬虫以及破解它的反爬虫的方法；怎么部署一个爬虫。
以上这些知识可以细分，将相关知识点都纳入其中，形成一个完整教程。
在学习爬虫这方面，实操是避免不了的。只有经过实际操作，才能真正掌握这方面的知识。其实在学习反爬虫的种类及机制时，就可以学习相应的破解技术。每学完一个反爬虫技术，就爬取一个应用该技术的网页，做到边学边练。这样我们的爬虫技术就会越来越强，在今后爬取某一陌生网页时，可以先对网页进行分析，了解我们需要的数据放在哪里，其应用了哪些反爬虫的机制、数据是否加密等，从而来构建我们的爬虫框架，再根据实际的爬虫情况来完善爬虫程序，完成对一个网页的数据爬取。
同时还需要注意，掌握了爬虫技术之后，并不是什么数据都可以爬取，抓取到的数据并非就是我们自己的了。应该了解什么样的爬虫是犯法的。像爬取公民身份信息，就属于侵犯了公民隐私权，这是肯定不允许的。而且我们爬取的数据都是别人的，千万不要到处传播，做出违法的事。
本书特色
内容全面，系统讲解爬虫知识。
详细介绍了爬虫与反爬虫的方法。
提供了多个较高应用价值的爬虫实战案例，具有较强的应用性。
致谢与勘误
本书的出版汇集了多人的辛勤付出，感谢家人的鼓励与支持。作者特别感谢机械工业出版社的张淑谦老师，他对本书的出版给予了大力支持，提供了很多宝贵意见。限于作者的学识水平，本书难免存在不足和疏漏之处，敬请读者批评指正。
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
