当前位置：首页 > news >正文

第三章爬虫提速、selenium模块、requests模块进阶（终）

news 来源：原创 2025/8/22 22:21:20

一.requests进阶

（一）处理cookie

（二）防盗链

（三）代理

二.爬虫提速

（一）线程池和进程池

（二）协程

（三）异步http请求-aiohttp

三. selenium模块

此章节讲解，如今市面大多数爬虫最后技术，分别：处理cookie、防盗链、代理、线程、进程、协程、异步http请求aiohttp模块、selenium模块。

一.requests进阶

我们在之前的爬虫中其实已经使用过headers了.header为HTTP协议中的请求头,一般存放一些和请求内容无关的数据.有时也会存放一些安全验证信息.比如常见的User-Agent,token,cookie等。

通过requests发送的请求,我们可以把请求头信息放在headers中.也可以单独进行存放,最终由requests自动帮我们拼接成完整的http请求头

本小节内容

1.模拟浏览器登录->处理cookie

2.防盗链处理->抓取梨视频数据

3.代理 ->防止被封IP

（一）处理cookie

Cookies是服务器存储在客户端的一些信息，用于保持会话状态。处理Cookies可以让爬虫更像一个真实的用户，从而降低被封禁的风险。

在Python中，可以通过requests库的Session对象来处理Cookies。

例：

注：

get是获取Cookie

（二）防盗链

要防止盗链，使用合适的User-Agent、设置合理的爬取频率、使用代理IP、处理Cookies、遵守网站的Robots协议、模拟人类行为等策略都很重要。使用合适的User-Agent是最基本的一步，因为它能让服务器认为你的请求来自一个真实的浏览器，从而避免被识别为爬虫。以下是关于如何防止盗链的详细描述。

使用合理User-Agent
设置合理的爬取频率
使用代理IP

防盗链处理代码如下：

（三）代理

在Python爬虫中为了更好地绕过反爬机制，获取网页信息，有时可能需要在Python中应用代理服务，这样做的目的就是防止自己的ip被服务器封禁，造成程序运行时中断连接，那么如何在python中设置代理呢？

如下是requests的代理处理方式如下：

注:

你需要去网上找免费给代理的IP的网站，筛选它是否可以支持https和post，一定要学会开发者模式去查看网页。站大爷 - 企业级高品质代理IP云服务

如果你要访问的IP域名是https，那么你用的代理IP要写上https，若不需要https，只需要http即可。

二.爬虫提速

到目前为止,我们可以解决爬虫的基本抓取流程了,但是抓取效率还是不够高如何提高抓取效率呢?我们可以选择多

线程，多进程，协程等操作完成异步爬虫.

何为异步?这里我们不讨论蹩脚的概念性问题.直接说效果

打个比方,我们目前写的爬虫可以理解为单线程,比喻为单车道公路,如何提高效率呢? 很简单,搞成多车道就OK了啊异步爬虫你就可以理解为多车道同时进行爬取。

本小节涉及内容:

1.线程池和进程池

2.协程

3.多任务异步协程实现

4.aiohttp模块详解

（一）线程池和进程池

线程和进程的区别。

线程是一个执行单位，而进程是一个资源单位。每一个进程至少需要一个线程。

注：

input()程序也是处于阻塞状态

requests.get(bilibili)在网络请求返回数据之前，程序也是处于阻塞状态的

一般情况下，当程序处于 I0操作的时候。线程都会处于阻塞状态。

由此协程可以解决这个问题。

协程:当程序遇见了I0操作的时候。可以选择性的切换到其他任务上。

协程在微观上是一个任务一个任务的进行切换，切换条件一般就是IO操作。

协程在宏观上，我们能看到的其实是多个任务一起在执行。这样的称作“多任务异步”操作

以上都是在单线程的条件下。

此小节可以看我之前Python基础篇第十一章 Python语言-高阶技巧（终章）-CSDN博客

多进程的代码如下：

线程提速代码案例如下：

（二）协程

input()程序也是处于阻塞状态
requests.get(bilibili)在网络请求返回数据之前，程序也是处于阻塞状态的
一般情况下，当程序处于 I0操作的时候。线程都会处于阻塞状态

协程:当程序遇见了工0操作的时候，可以选择性的切换到其他任务上。

协程代码如下：

注：

asyncio是异步操作代码块。

py3.7以前协程同步代码如下：

注：

time.sleep是个同步操作，当程序出现了同步操作的时候，异步就中断了。

异步操作如下：

Py3.8以后协程的写法如下：

注：

ayncio需要第三方安装，需要在命令提示符下输入 pip install -i ayncio下载ayncio库

（三）异步http请求-aiohttp

requests.get()同步的代码->异步操作aiohttp

aiohttp需要第三方安装，需要在命令提示符下输入 pip install aiohttp 下载aiohttp库

aiohttp代码如下：

三. selenium模块

selenium:自动化测试工具
可以:打开浏览器。然后像人一样去操作浏览器，程序员可以从selenium中直接提取网页上的各种信息
环境搭建:
pip install selenium -i 清华源
下载浏览器驱动：https://npm,taobao.org/mirrors/chrcmedriver

把解压缩的浏览器驱动 chromedriver 放在python解释器所在的文件夹。

让selenium启动谷歌浏览器如下：

注：

selenium模块一定需要配置相应的浏览器驱动，根据浏览器的驱动，在import后面输入相应的代码，在创建对象的时候同理。

selenium实战演示代码如下：

一.requests进阶

（一）处理cookie

（二）防盗链

（三）代理

二.爬虫提速

（一）线程池和进程池

（二）协程

（三）异步http请求-aiohttp

三. selenium模块

相关文章：