当前位置：首页 > news >正文

Python 3.8 Requests 爬虫教程（2025最新版）

news 来源：原创 2025/7/26 23:02:36

遵守网站的爬虫规则、避免爬取敏感信息、保护个人隐私！

一、环境配置与基础验证

# 验证 Python 版本（需 ≥3.8）
import sys
print(sys.version)  # 应输出类似 3.8.12 的信息# 安装 requests 库（若未安装）
# 命令行执行：pip install requests# 基础请求验证
import requests
response = requests.get("https://httpbin.org/get")
print("状态码:", response.status_code)  # 成功返回 200

二、HTTP 请求全流程解析

1. GET 请求原理与实现

# GET 请求参数传递
import requestsparams = {"category": "books", "page": 2}
response = requests.get("https://httpbin.org/get",params=params,headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36","Referer": "https://www.example.com"}
)
print("最终请求 URL:", response.url)  # 显示自动拼接的完整 URL# 响应内容解析
print("响应头:", response.headers)
print("JSON 数据:", response.json()["args"])  # 获取查询参数

原理说明：

GET 请求将参数附加在 URL 后面，通过 ?key1=value1&key2=value2 形式传递
headers 参数用于伪装浏览器，避免被反爬机制拦截

2. POST 请求原理与实现

# 表单数据提交
import requestsform_data = {"username": "test_user", "password": "p@ssw0rd"}
response = requests.post("https://httpbin.org/post",data=form_data,headers={"Content-Type": "application/x-www-form-urlencoded"}
)
print("表单响应:", response.json()["form"])# JSON 数据提交
json_data = {"title": "Python 教程", "views": 1500}
response = requests.post("https://httpbin.org/post",json=json_data,headers={"Content-Type": "application/json"}
)
print("JSON 响应:", response.json()["json"])

原理说明：

POST 请求通过请求体传递数据，需显式设置 Content-Type 头
json= 参数会自动序列化字典并设置正确头信息

response 的核心属性

# 文本形式
print("文本形式:", response.text)  # 返回文本形式# 解析JSON格式响应
print("JSON格式响应:", response.json())  # 解析JSON格式响应# 状态码（HTTP协议标准代码）
print("状态码:", response.status_code)  # 200表示成功 # 响应头（HTTP头信息）
print("响应头:", response.headers)  # 包含Content-Type、Server等信息  # 编码格式（自动检测或手动设置）
print("编码:", response.encoding)  # 默认为'utf-8'，可通过response.encoding = 'gbk'修改 # 原始响应内容（二进制形式）
print("原始内容:", response.content[:100])  # 前100字节  # 请求URL（可能因重定向改变）
print("实际请求URL:", response.url)  # 包含重定向后的最终地址

三、Cookie 全场景管理

1. 手动设置 Cookie

import requests# 通过字典直接设置
cookies = {"session_id": "a1B2c3D4", "user_token": "x9y8z7"}
response = requests.get("https://httpbin.org/cookies",cookies=cookies
)
print("服务器收到的 Cookie:", response.json()["cookies"])# 使用 RequestsCookieJar 精确控制
from requests.cookies import RequestsCookieJarjar = RequestsCookieJar()
jar.set("tracking", "t1", domain=".example.com", path="/api")
response = requests.get("https://httpbin.org/cookies", cookies=jar)
print("精确控制的 Cookie:", response.json())

关键点：

domain 和 path 参数需与目标网站匹配
RequestsCookieJar 支持复杂 Cookie 操作（如过期时间设置）

2. 会话级 Cookie 管理

# 使用 Session 对象自动管理
import requestswith requests.Session() as s:# 首次登录设置 Cookielogin_data = {"user": "admin", "pass": "admin123"}s.post("https://httpbin.org/post", data=login_data)# 后续请求自动携带 Cookieresponse = s.get("https://httpbin.org/cookies")print("会话 Cookie:", response.json())

优势：

自动复用 TCP 连接，提升请求效率
跨请求保持 Cookies 和 Headers

四、高级特性

1. 智能重试机制

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry# 配置重试策略
retry = Retry(total=3,backoff_factor=0.5,status_forcelist=[500, 502, 503, 504]
)# 创建带重试的会话
session = requests.Session()
session.mount("https://", HTTPAdapter(max_retries=retry))try:response = session.get("https://httpbin.org/delay/5",  # 模拟慢速响应timeout=3  # 超时设置（秒）)
except requests.exceptions.Timeout:print("请求超时，已重试 3 次")

参数说明：

backoff_factor 控制重试间隔时间（如 0.5 秒→1秒→2秒）
status_forcelist 指定需要重试的 HTTP 状态码

2. 大文件流式下载

# 下载网络图片（避免内存溢出）
import requestsimage_url = "https://httpbin.org/image/png"
response = requests.get(image_url, stream=True)with open("demo_image.png", "wb") as f:for chunk in response.iter_content(chunk_size=1024):if chunk:f.write(chunk)
print("图片下载完成，文件大小:", len(response.content), "字节")

技术要点：

stream=True 启用流式传输
iter_content() 分块读取响应内容

五、爬虫注意：数据隐私保护

遵守网站的爬虫规则、避免爬取敏感信息、保护个人隐私！

Python 3.8 Requests 爬虫教程（2025最新版）

遵守网站的爬虫规则、避免爬取敏感信息、保护个人隐私！ 一、环境配置与基础验证 # 验证 Python 版本（需 ≥3.8） import sys print(sys.version) # 应输出类似 3.8.12 的信息# 安装 requests 库（若未安装） # 命令行执…...

编程日记 2025/7/26 23:02:36

【深度学习】GAN生成对抗网络：原理、应用与发展

GAN生成对抗网络：原理、应用与发展文章目录 GAN生成对抗网络：原理、应用与发展1. 引言2. GAN的基本原理2.1 核心思想2.2 数学表达2.3 训练过程 3. GAN的主要变体3.1 DCGAN (Deep Convolutional GAN)3.2 CGAN (Conditional GAN)3.3 CycleGAN3.4 StyleGAN…...

编程日记 2025/7/25 23:23:45

LINUX基础 [三] - 进程创建

目录前言进程创建的初次了解（创建进程的原理） 什么是fork函数？ 初识fork函数写时拷贝 fork函数存在的意义 fork调用失败的原因进程终止运行完毕结果不正确 main函数返回库函数函数exit 系统调用接口_exit 进程异常终止进…...

编程日记 2025/7/25 2:31:21

AI比人脑更强，因为被植入思维模型【24】替身决策思维模型

定义替身决策思维模型是一种在面对复杂问题或决策情境时，通过将自己代入到不同的角色（即“替身”）中，从这些角色的视角出发去思考、分析和做出决策的思维方式。这种思维模型要求决策者暂时摆脱自身固有的思维定式和立场&#xf…...

编程日记 2025/7/26 23:00:26

数据清洗：基于python抽取jsonl文件数据字段

基于python抽取目录下所有“jsonl”格式文件。遍历文件内某个字段进行抽取并合并。 import os import json import time from tqdm import tqdm # 需要先安装：pip install tqdmdef process_files():# 设置目录路径dir_path r"D:\daku\关键词识别\1623-00000…...

编程日记 2025/7/20 17:23:06

spring后端处理各种请求

在Spring MVC中处理JSON请求和返回JSON消息的步骤如下： 1. 添加依赖确保项目中包含处理JSON的库，如Jackson。 Maven配置（pom.xml）： <dependency><groupId>com.fasterxml.jackson.core</groupId>…...

编程日记 2025/7/26 5:43:58

企业级部署zabbix分布式监控系统

目录一、Zabbix分布式监控系统介绍 1.什么是“Zabbix” 2.Zabbix分布式监控系统的特点 3.Zabbix分布式监控系统的原理 4.Zabbix分布式监控系统的运用 5. Zabbix分布式监控系统的部署顺序二、搭建 1.设备硬件配置参考 2.zabbix分布式监控系统各节点设备名称和IP规划 …...

编程日记 2025/7/25 10:32:38

OkHttp 的证书设置

在 Android 开发中，通过 OkHttp 自定义 SSLSocketFactory 和 X509TrustManager 可以有效增强 HTTPS 通信的安全性，防止中间人攻击（如抓包工具 Charles/Fiddler 的拦截）。以下是实现防抓包的关键技术方案： 一、Okhttp设…...

编程日记 2025/7/22 13:39:16

ETL：数据清洗、规范化和聚合的重要性

在当今这个数据呈爆炸式增长的时代，数据已成为企业最为宝贵的资产之一。然而，数据的海量增长也伴随着诸多问题，如数据来源多样、结构复杂以及质量问题等，这些问题严重阻碍了数据的有效处理与深度分析。在此背景下，ETL&…...

编程日记 2025/7/23 6:46:02

蓝桥杯备考：图的遍历

这道题乍一看好像没什么不对的，但是！但是！结点最大可以到10的5次方！！！我们递归的时间复杂度是很高的，我们正常遍历是肯定通过不了的，不信的话我们试一下 #include <iostream>…...

编程日记 2025/7/22 8:46:53

【多媒体交互】Unity Kinect实现UI控件的点击

在Unity中，通过Kinect实现UI控件的点击功能，主要涉及手部追踪、坐标映射和手势检测三个核心环节。实现步骤初始化Kinect与关节追踪使用KinectManager获取用户ID和手部关节点（如JointType.HandLeft）的坐标。 long userId _…...

编程日记 2025/7/17 11:58:33

QinQ项展 VLAN 空间

随着以太网技术在网络中的大量部署，利用 VLAN 对用户进行隔离和标识受到很大限制。因为 IEEE802.1Q 中定义的 VLAN Tag 域只有 12 个比特，仅能表示 4096 个 VLAN，无法满足城域以太网中标识大量用户的需求，于是 QinQ 技术应运而生。…...

编程日记 2025/7/22 8:30:55

OBS虚拟背景深度解析：无需绿幕也能打造专业教学视频（附插件对比）

想要录制教学视频却苦于背景杂乱？本文将手把手教你用OBS实现专业级虚拟背景效果，无需绿幕也能轻松营造沉浸式教学场景。文末附6个提升画面质感的免费背景资源！ 一、虚拟背景的核心价值：从「教师宿舍」到「虚拟讲堂」的蜕变我们调…...

编程日记 2025/7/24 5:24:10

26考研——图（6）

408答疑文章目录一、图的基本概念二、图的存储三、图的遍历四、图的应用五、图的代码实操六、参考资料鲍鱼科技课件26王道考研书七、总结图的存储结构邻接矩阵邻接表图的遍历图的相关概念完全图和连通图图的连通性关键路径学习建议一、图的基本概念文章链接: link 二、…...

编程日记 2025/7/18 10:14:59

Redis常用数据类型深度解析：从理论到最佳实践

Redis常用数据类型深度解析：从理论到最佳实践一、引言二、Redis数据类型全景图三、核心数据类型详解**1. String（字符串）****2. Hash（哈希表）****3. List（列表）****4. Set（集合&…...

编程日记 2025/7/12 16:12:19

DeepSeek-V3 模型更新，加量不加价

DeepSeek V3-0324 是 DeepSeek V3 系列的重要升级版本，虽然被官方称为「小版本迭代」，但其在技术能力、开源策略和用户体验上均有显著提升。以下是主要新特性功能和核心变化： 推理能力基准测试性能显著提升： MMLU-Pro&#xff1…...

编程日记 2025/7/26 1:26:36

Vue项目的 Sass 全局基础样式格式化方案，包含常见元素的样式重置

步骤 1：创建全局样式文件在项目中创建文件：src/assets/scss/global.scss 内容如下： // 全局盒模型设定（边框计入宽高） *, *::before, *::after {box-sizing: border-box;margin: 0;padding: 0; }// 基础元素样式重置…...

编程日记 2025/7/23 21:26:37

【Spring篇】Spring的生命周期

一、Bean 生命周期的核心阶段 1. 实例化（Instantiation） • 触发时机：容器启动时（单例 Bean）或请求时（原型 Bean）。 • 实现方式： 通过反射（Class.newInstance() 或构造…...

编程日记 2025/7/26 20:25:58

Qt中通过QLabel实时显示图像

Qt中的QLabel控件用于显示文本或图像，不提供用户交互功能。以下测试代码用于从内置摄像头获取图像并实时显示： Widgets_Test.h： class Widgets_Test : public QMainWindow {Q_OBJECTpublic:Widgets_Test(QWidget *parent nullptr);~Widgets…...

编程日记 2025/7/25 21:16:18

[数据结构]1.时间复杂度和空间复杂度

这里写目录标题 1. 算法复杂度2. 时间复杂度2.1 执行次数2.2 大O渐进表示法2.3 常见时间复杂度计算eg1eg2eg3eg4eg5eg6eg7eg8eg9 3. 空间复杂度eg1eg2eg3eg4 4. 常见复杂度对比5. 复杂度练习eg1 1. 算法复杂度衡量一个算法的好坏，一般是从时间空间两个维度来衡量&…...

编程日记 2025/7/25 21:27:10

【每日算法】Day 6-1：哈希表从入门到实战——高频算法题（C++实现）

摘要 ：掌握高频数据结构！今日深入解析哈希表的核心原理与设计实现，结合冲突解决策略与大厂高频真题，彻底掌握O(1)时间复杂度的数据访问技术。一、哈希表核心思想哈希表（Hash Table） 是一种基于键值对的…...

编程日记 2025/7/23 20:55:00

物联网平台架构介绍

物联网是连接物理设备、传感器、软件等的网络系统，使设备能够自动收集、交换和处理数据，实现智能化识别、定位、跟踪、监控和管理。随着物联网技术的飞速发展，物联网平台架构的设计变得至关重要，它决定了物联网系统的性能、可扩展…...

编程日记 2025/7/21 15:30:46

TCP/IP三次握手的过程，为什么要3次？

一：过程第一次（SYN）： 客户端发送一个带有SYN标志的TCP报文段给服务器，设置SYN1，并携带初始序列号Seqx（随机值），进入SYN_SENT状态。等待服务器相应。第二次&#xff08…...

编程日记 2025/7/23 1:11:14

开源模型应用落地-语音转文本-whisper模型-AIGC应用探索（四）

一、前言语音转文本技术具有重要价值。它能提高信息记录和处理的效率，使人们可以快速将语音内容转换为可编辑、可存储的文本形式，方便后续查阅和分析。在教育领域，可帮助学生更好地记录课堂重点；在办公场景中，能简化会议记录工作。同时，该技术也为残障人士提供了便利，让…...

编程日记 2025/7/23 23:46:37

Qt开发：QInputDialog的使用

文章目录一、QInputDialog的介绍二、 QInputDialog的基本用法三、使用 QInputDialog的实例四、QInputDialog的信号与槽一、QInputDialog的介绍 QInputDialog 是 Qt 提供的一个对话框类，用于获取用户输入的文本、整数或浮点数。它提供了简单易用的静态方法和可定制…...

编程日记 2025/7/26 10:39:16

【系统架构设计师】软件质量管理

目录 1. 说明2. 软件质量保证2.1 说明2.2 质量保证的主要目标2.3 目标2.4 主要作用2.5 主要任务 3. 软件质量保证3.1 说明3.2 ISO 90003.3 CMM 4. 例题4.1 例题1 1. 说明 1.软件质量就是软件与明确地和隐含地定义的需求相一致的程度，更具体地说，软件质量…...

编程日记 2025/7/24 17:30:55

医院挂号预约小程序|基于微信小程序的医院挂号预约系统设计与实现(源码+数据库+文档)

医院挂号预约小程序目录基于微信小程序的医院挂号预约系统设计与实现一、前言二、系统功能设计三、系统实现 1、小程序用户端 2、系统服务端 （1） 用户管理 （2）医院管理 （3）医生管理 &#xf…...

编程日记 2025/7/24 19:47:57

UE4-UE5虚幻引擎，前置学习一--Console日志输出经常崩溃，有什么好的解决办法

有些差异这么牛逼的引擎，居然有这种入门级别的问题，一触发清理，大概率(80%)会崩溃无论虚幻5还是UE4都有这个问题，挺烦人的实在忍不了了，这次，今天就想问问有什么好的处理方法么？&#x…...

编程日记 2025/7/18 4:15:30

javaSE.多维数组

1 final 引用类型 final int[] arr 继承Object 的引用类型，不能改变引用的对象存的其实是引用数组类型数组，其实存的是引用 int [][] arr new int[][] { {1,2,3}, {4,5,6} };int [] a arr[0]; int [] b arr[1];...

编程日记 2025/6/28 6:39:52

Linux输入系统应用编程

什么是输入系统 Linux 输入系统是处理用户输入设备(如键盘、鼠标、触摸屏、游戏手柄等)的软件架构。在应用编程层面，它提供了与这些输入设备交互的接口。主要组成部分输入设备驱动层：直接与硬件交互的驱动程序输入核心层：内核中的输入子…...

编程日记 2025/7/23 1:19:42

双指针问题，指向前后边界，每次只移动高度较小的那个 class Solution { public:int maxArea(vector<int>& height) {int leftIndex0,rightIndexheight.size()-1;int result0;while(leftIndex<rightIndex){resultmax(result,(rightIndex-lef…...

编程日记 2025/7/24 12:18:54

ngx_http_index_loc_conf_t

定义在 src\http\modules\ngx_http_index_module.c typedef struct {ngx_array_t *indices; /* array of ngx_http_index_t */size_t max_index_len; } ngx_http_index_loc_conf_t; ngx_http_index_loc_conf_t 是 Nginx 中用于管理 index 指…...

编程日记 2025/7/23 16:15:13

[C++面试] 你了解视图吗？

一、入门 1、什么是 C 视图（View）？请简要说明其概念和用途它提供了对序列（如数组、容器等）的非拥有性、只读或可写的访问。（就像是个透明的放大镜，它能让你去看一组数据，但它自己…...

编程日记 2025/7/26 4:35:02

NetMizer-日志管理系统-远程命令执行漏洞挖掘

漏洞描述：NetMizer 日志管理系统 cmd.php中存在远程命令执行漏洞，攻击者通过传入 cmd参数即可命令执行 1.fofa搜素语句 title"NetMizer 日志管理系统" 2.漏洞验证网站页面验证POC /data/manage/cmd.php?cmdid...

编程日记 2025/7/26 1:19:54

UDP通信实现

一、Socket简介（套接字) TCP/IP 五层网络模型的应用层编程接口称为Socket API, Socket( 套接字 ) ，它是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。一个套接字就是网络上进程通信的一端，提供了应用层进程利用网络协议交换…...

编程日记 2025/7/22 15:40:21

Browserlist 使用指南：应对浏览器兼容性问题的解决方案

前言在前端开发中，我们经常需要处理各种不同的浏览器兼容性问题。每个浏览器的版本众多，处理这些问题可能会让人感到头疼。幸运的是，有一个名为 Browserlist 的工具可以大大简化这项工作。本文将介绍 Browserlist 的作用和使用方法&#xf…...

编程日记 2025/7/26 12:09:31

[蓝桥杯 2023 省 A] 异或和之和

题目来自洛谷网站： 暴力思路： 先进性预处理，找到每个点位置的前缀异或和，在枚举区间。暴力代码： #include<bits/stdc.h> #define int long long using namespace std; const int N 1e520;int n; int arr[N…...

编程日记 2025/7/21 16:33:26

ABC391题解

A 算法标签: 模拟 #include <iostream> #include <algorithm> #include <cstring> #include <map>using namespace std;const int N 8; map<string, string> mp;int main() {ios::sync_with_stdio(false);cin.tie(0), cout.tie(0);mp.insert({…...

编程日记 2025/7/24 9:35:10

React - LineChart组件编写（用于查看每日流水图表）

一、简单版本 LineChart.tsx // src/component/LineChart/LineChart.tsx import React, {useEffect,useRef,useImperativeHandle,forwardRef,useMemo,useCallback, } from react; import * as echarts from echarts/core; import type { ComposeOption } from echarts/core; …...

编程日记 2025/7/25 11:36:53