当前位置：首页 > news >正文

Python 爬虫实战基于 Class 的天气查询与反爬虫练习

news 来源：原创 2025/5/9 6:00:31

需求：
要实现一个简单的天气查询爬虫，使用 requests 库来获取网页内容，使用 BeautifulSoup 来解析网页并提取天气信息。以下是一个基本示例，展示了如何抓取天气信息并输出当天的温度和天气状况。

以下是使用 class 类方式实现带有反爬虫机制的天气查询爬虫代码：

import requests
from bs4 import BeautifulSoup
import random
import timeclass WeatherSpider:def __init__(self):# 初始化 User-Agent 列表self.user_agents = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36"def get_headers(self):"""随机生成请求头"""return {"User-Agent": self.user_agents,"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7","Accept-Language": "keep-alive","Connection": "keep-alive",}def fetch_weather(self, city_code):"""根据城市代码抓取天气信息:param city_code: 城市代码（如 101010100 表示北京）"""url = f"http://www.weather.com.cn/weather1d/{city_code}.shtml"try:# 随机选择请求头headers = self.get_headers()# 发送 HTTP 请求response = requests.get(url, headers=headers, timeout=10)response.raise_for_status()  # 检查响应状态码是否为 200# 使用 BeautifulSoup 解析 HTMLsoup = BeautifulSoup(response.text, 'html.parser')# 提取天气信息temperature = soup.find('p', class_='tem').find('span').textweather = soup.find('p', class_='wea').text# 输出结果print(f"城市代码: {city_code}")print(f"温度: {temperature}°C")print(f"天气: {weather}")except requests.exceptions.RequestException as e:print(f"请求错误: {e}")except Exception as e:print(f"解析错误: {e}")# 随机暂停（控制请求频率，避免被封禁）time.sleep(random.uniform(1, 3))def run(self):"""运行爬虫程序"""while True:city_code = input("请输入城市代码（例如北京101010100），输入 'q' 退出：")if city_code.lower() == 'q':print("退出程序")breakself.fetch_weather(city_code)# 主程序入口
if __name__ == "__main__":spider = WeatherSpider()spider.run()

代码说明：
类属性与初始化：

在 init 方法中初始化 User-Agent 列表和代理池。
提供灵活的请求头和代理支持，避免被反爬虫机制检测。

get_headers 方法：
随机返回一个 User-Agent，模拟真实用户请求。

get_proxy 方法：
随机返回一个代理地址，避免 IP 被封禁。

fetch_weather 方法：
参数：接收一个城市代码（如北京的代码是 101010100）。
使用 requests 发送 GET 请求，设置随机的请求头和代理。
使用 BeautifulSoup 解析 HTML，提取天气信息。
捕获可能的异常（请求错误或解析错误）。

run 方法：
提供用户交互界面，允许用户输入城市代码。
支持连续查询，输入 q 退出程序。

主程序：
实例化 WeatherSpider 类并调用 run() 方法启动爬虫程序。

运行效果：

请输入城市代码（例如北京101010100），输入 'q' 退出：101010100
城市代码: 101010100
温度: 20°C
天气: 晴请输入城市代码（例如北京101010100），输入 'q' 退出：q
退出程序

点评：
通过class类这种方式，爬虫程序结构清晰，有效规避常见的反爬虫机制。

Python 爬虫实战基于 Class 的天气查询与反爬虫练习

需求： 要实现一个简单的天气查询爬虫，使用 requests 库来获取网页内容，使用 BeautifulSoup 来解析网页并提取天气信息。以下是一个基本示例，展示了如何抓取天气信息并输出当天的温度和天气状况。以下是使用 class 类方式实现带有…...

编程日记 2025/5/9 6:00:31

C语言——库函数

常用的函数 https://cplusplus.com/reference/ 没事儿多看看 1 数学函数 #include <math.h> #include <stdio.h> int main() {printf("%lf\n", sqrt(4));//开平方根——>double类型printf("%lf\n", pow(2, 10));//求几次方的——>do…...

编程日记 2025/5/5 1:57:08

软件测试丨Pytest 第三方插件与 Hook 函数

Pytest不仅是一个用于编写简单和复杂测试的框架，还有大量的第三方插件以及灵活的Hook函数供我们使用，这些功能大大增强了其在软件测试中的应用。通过使用Pytest，测试开发变得简便、安全、高效，同时也能帮助我们更快地修复Bug&…...

编程日记 2025/5/9 1:45:09

[ACTF2020 新生赛]BackupFile--详细解析

信息搜集让我们寻找源文件，目录扫描： 找到了/index.php.bak文件，也就是index.php的备份文件。后缀名是.bak的文件是备份文件，是文件格式的扩展名。我们访问这个路径，就会直接下载该备份文件。我们把.bak后缀删掉…...

编程日记 2025/4/30 10:11:06

ElasticSearch的学习

介绍 ElasticSearch（简称ES）是一个开源的分布式搜索和数据分析引擎，是用Java开发并且是当前最流行的开源的企业级搜索引擎，能够达到近实时搜索，它专门设计用于处理大规模的文本数据和实现高性能的全文检索。 Elastic…...

编程日记 2025/5/6 6:35:27

机器学习6-梯度下降法

梯度下降法目的梯度下降法(Gradient Descent)是一个算法，但不是像多元线性回归那样是一个具体做回归任务的算法，而是一个非常通用的优化算法来帮助一些机器学习算法求解出最优解的，所谓的通用就是很多机器学习算法都是用它，甚…...

编程日记 2025/5/3 19:55:23

算法之旅：LeetCode 拓扑排序由简入繁完全攻略

前言欢迎来到我的算法探索博客，在这里，我将通过解析精选的LeetCode题目，与您分享深刻的解题思路、多元化的解决方案以及宝贵的实战经验，旨在帮助每一位读者提升编程技能，领略算法之美。 👉更多高频有趣Lee…...

编程日记 2025/5/5 20:37:02

vue3项目中使用星火API

在node环境epxress中使用讯飞ai接口进行二次封装，通过ai对话回复提取，获得ai提取的文章摘要本文章只是简单使用，更复杂功能比如调用星火API制作对话机器人可以查看文档，对于初次使用星火AI接口或许有帮助讯飞星火大模型API-大模…...

编程日记 2025/4/29 17:07:44

蓝桥杯第 23 场小白入门赛

一、前言好久没打蓝桥杯官网上的比赛了，回来感受一下，这难度区分度还是挺大的二、题目总览三、具体题目 3.1 1. 三体时间【算法赛】思路额...签到题我的代码 // Problem: 1. 三体时间【算法赛】 // Contest: Lanqiao - 第 23 场小白入门赛 …...

编程日记 2025/5/6 5:14:48

Cause: java.sql.SQLException: No value specified for parameter 4

问题执行更新sql时报错，异常栈如下 org.springframework.jdbc.BadSqlGrammarException: ### Error updating database. Cause: java.sql.SQLException: No value specified for parameter 4 ### The error may exist in com/my/mapper/MyMapper.java (best gue…...

编程日记 2025/5/6 17:43:28

第五课 Unity资源导入工作流效率优化（AssetGraph工具）

上期我们学习了简单的animation动画的优化，接下来我们继续资源导入效率的优化工程目录首先我们来学习一下工程目录结构及用途 Asset文件夹：用来储存和重用的项目资产 Library文件夹：用来储存项目内部资产数据信息的目录 Packages文件夹…...

编程日记 2025/5/8 1:35:48

create-vue创建vue3项目

create-vue是Vue官方新的脚手架工具前提条件： 已安装16.0或更高版本的Node.js （node -v查看） 创建一个Vue应用 npm init vuelatest 这一指令会帮我们安装并执行create-vue cd vue-project npm install —— 安装依赖 npm run dev...

编程日记 2025/5/6 22:11:25

27 基于51单片机的方向盘模拟系统

目录一、主要功能二、硬件资源三、程序编程四、实现现象一、主要功能基于STC89C52单片机，采用两个MPX4115压力传感器作为两路压力到位开关电路， 采用滑动变阻器连接数模转换器模拟重力加速度传感器电路； 一个按键控制LED灯的点亮与…...

编程日记 2025/4/8 6:41:52

HarmonyOS

UIAbility UIAbility 组件是一种包含UI的应用组件，主要用于和用户交互设计理念：原生支持应用组件的跨端迁移和多端协同、支持多设备和多窗口的形态 UIAbility组件是系统调度的基本单位，为应用提供绘制界面的窗口。 /** 为使应用能够正常使用…...

编程日记 2025/5/9 0:30:53

字符串处理（二）

第1题篮球比赛查看测评数据信息学校举行篮球比赛，请设计一个计分系统统计KIN、WIN两队分数，并输出分数和结果！ 如果平分就输出‘GOOD’，否则输出获胜队名！ 输入格式输入数据共n1行， 第1行n&#xf…...

编程日记 2025/5/6 13:34:38

达梦数据库文件故障的恢复方法

目录 1、概述 1.1 概述 1.2 环境介绍 2、使用备份集的恢复方法 2.1 实验准备 2.2 误删除“用户表空间数据文件” 2.3 误删除SYSTEM.DBF 2.4 误删除ROLL.DBF 2.5 REDO日志文件 3、无备份集的恢复方法 3.1 误删除“表空间数据文件” 3.2误删除控制文件 3.3 误删除RO…...

编程日记 2025/5/2 21:33:43

Redis（5）：哨兵

一、作用和架构 1. 作用在介绍哨兵之前，首先从宏观角度回顾一下Redis实现高可用相关的技术。它们包括：持久化、复制、哨兵和集群，其主要作用和解决的问题是： 1）持久化：持久化是最简单的高可用方法(有时甚…...

编程日记 2025/5/4 13:02:01

准确--在 AlmaLinux 9.2 上快速搭建 FTP 服务器

FTP 服务器配置与验证完整步骤以下内容是针对在 192.168.6.101 配置 FTP 服务器，端口为 59999 的完整详细操作步骤，包括配置与验证。每个步骤都附有详细注释。配置 FTP 服务器 1. 安装 vsftpd 根据系统类型，执行以下命令安装 FTP 服务&a…...

编程日记 2025/5/7 15:09:16

Monitor 显示器软件开发设计入门二

基础篇--显示驱动方案输出接口介绍写在前面：首先申明，这篇文章是写给那些初入显示器软件行业的入门者，或是对显示器没有基本知识的小白人员。如您是行业大咖大神，可以绕行，可看后期进阶文章。上篇介绍了输入接口及相…...

编程日记 2025/4/30 0:19:36

MySQL 数据库学习教程一：开启数据库探索之旅

在当今数字化时代，数据已然成为企业和组织最为宝贵的资产之一。而数据库管理系统则是存储、管理和操作这些数据的核心工具。MySQL 作为一款广泛应用的开源关系型数据库管理系统，以其可靠性、高性能和易用性而备受青睐。如果你渴望踏入数据库领域&#xf…...

编程日记 2025/5/7 1:18:15

课程答疑微信小程序设计与实现

私信我获取源码和万字论文，制作不易，感谢点赞支持。课程答疑微信小程序设计与实现摘要随着信息技术在管理上越来越深入而广泛的应用，管理信息系统的实施在技术上已逐步成熟。本文介绍了课程答疑微信小程序设计与实现的开发全过程。通过分析…...

编程日记 2025/5/5 3:46:00

基于yolov8、yolov5的铝材缺陷检测识别系统（含UI界面、训练好的模型、Python代码、数据集）

摘要：铝材缺陷检测在现代工业生产和质量管理中具有重要意义，不仅能帮助企业实时监控铝材质量，还为智能化生产系统提供了可靠的数据支撑。本文介绍了一款基于YOLOv8、YOLOv5等深度学习框架的铝材缺陷检测模型，该模型使用了大量包含…...

编程日记 2025/5/6 17:43:54

docker 僵尸进程问题

docker僵尸进程子进程结束后，父进程没有回收该进程资源（父进程可能没有wait），子进程残留资源存放与内核中，就变为僵尸进程(zombie) 场景分析：python脚本A中执行B应用，将A部署在docker中&#…...

编程日记 2025/5/1 6:39:15

Web 毕设篇-适合小白、初级入门练手的 Spring Boot Web 毕业设计项目：电影院后台管理系统（前后端源码 + 数据库 sql 脚本）

🔥博客主页： 【小扳_-CSDN博客】 ❤感谢大家点赞👍收藏⭐评论✍ 文章目录 1.0 项目介绍 2.0 用户登录功能 3.0 用户管理功能 4.0 影院管理功能 5.0 电影管理功能 6.0 影厅管理功能 7.0 电影排片管理功能 8.0 用户评论管理功能 9.0 用户购票功…...

编程日记 2025/4/25 11:46:02

webpack5 的五大核心配置（二）

webpack主要构成部分： entry 入口output 出口loaders 转化器plugins 插件mode 模式devServer 开发服务器 webpack.config.js 配置文件基本格式 module.exports{//入口文件entry:{},//出口文件output:{},//module rules loadersmodule{};//插件plugins:[],//开发…...

编程日记 2025/5/5 15:33:45

Python语法基础（四）

🌈个人主页：羽晨同学 💫个人格言:“成为自己未来的主人~” 高阶函数之map 高阶函数就是说，A函数作为B函数的参数，B函数就是高阶函数 map：映射 map(func,iterable) 这个是map的基本语法，…...

编程日记 2025/5/8 21:05:49

UnityShader——初级篇之开始Unity Shader学习之旅

开始Unity Shader学习之旅一个最简单的顶点/片元着色器顶点/片元着色器的基本结构模型数据从哪里来顶点着色器和片元着色器之间如何通信如何使用属性强大的援手：Unity 提供的内置文件和变量内置的包含文件内置的变量 Unity 提供的 Cg/HLSL 语义什么是语义Unity 支…...

编程日记 2025/5/5 5:01:53

Burp入门（6）-自动化漏洞测试理论

声明：学习视频来自b站up主泷羽sec，如涉及侵权马上删除文章声明：本文主要用作技术分享，所有内容仅供参考。任何使用或依赖于本文信息所造成的法律后果均与本人无关。请读者自行判断风险，并遵循相关法律法规。感谢泷…...

编程日记 2025/5/6 14:55:46

【git】git 客户端设置本地缓冲区大小

文章目录 1. 报错2. 解决：增加本地缓冲区 1. 报错 git -c core.quotepathfalse -c log.showSignaturefalse push --progress --porcelain origin refs/heads/master:master Enumerating objects: 17, done. Counting objects: 5% (1/17) Counting objects: 11% …...

编程日记 2025/5/9 2:32:31

Xcode——LLDB Debugger 与断点调试学习

Xcode——LLDB Debugger 与断点调试学习文章目录 Xcode——LLDB Debugger 与断点调试学习前言介绍打开LLDB命令helpprintexpression 断点调试异常断点——Exception Breakpoint标志断点——Symbolic Breakpointwatchpointset 断点行为condition条件判断最后参考文章前言在…...

编程日记 2025/5/6 16:20:22

linux安全管理-系统环境安全

1 历史命令设置 1、检查内容检查操作系统的历史命令设置。 2、配置要求建议操作系统的历史命令设置。 3、配置方法编辑/etc/profile 文件，配置保留历史命令的条数 HISTSIZE 和保留历史命令的记录文件大小 HISTFILESIZE，这两个都设置为 5。配置方法如…...

编程日记 2025/5/7 13:18:32

【Maven】依赖冲突如何解决？

准备工作 1、创建一个空工程 maven_dependency_conflict_demo，在 maven_dependency_conflict_demo 创建不同的 Maven 工程模块，用于演示本文的一些点。什么是依赖冲突？ 当引入同一个依赖的多个不同版本时，就会发生依赖冲突。…...

编程日记 2025/5/4 10:48:46

学习视频超分辨率扩散模型中的空间适应和时间相干性（原文翻译）

文章目录摘要1. Introduction2. Related Work3. Our Approach3.1. Video Upscaler3.2. Spatial Feature Adaptation Module3.3. Temporal Feature Alignment Module3.4. Video Refiner3.5. Training Strategy 4. Experiments4.1. Experimental Settings4.2. Comparisons with …...

编程日记 2025/5/6 17:17:26

相关文章：