当前位置：首页 > news >正文

Selenium 实现自动化分页处理与信息提取

news 来源：原创 2025/8/17 20:54:51

Selenium 实现自动化分页处理与信息提取

在 Web 自动化测试或数据抓取场景中，分页处理是一个常见的需求。通过 Selenium，我们可以实现对多页面内容的自动遍历，并从中提取所需的信息。本文将详细介绍如何利用 Selenium 进行自动化分页处理和信息提取。

一、Selenium 分页处理的基本思路

在实际应用中，网页通常会采用分页显示数据（例如商品列表、新闻列表等）。每一页的内容通过不同的 URL 或动态加载的方式呈现。以下是分页处理的一般步骤：

定位分页控件：
- 找到“下一页”按钮、“上一页”按钮或页码选择器。
循环遍历页面：
- 通过循环点击“下一页”按钮，或者直接跳转到指定页码的方式，逐页加载内容。
提取每页数据：
- 在每一页加载完成后，定位并提取目标信息（如文本、图片链接等）。
终止条件：
- 设置终止循环的条件（例如到达最后一页、没有更多数据等）。

二、Selenium 分页处理的核心技术点

1. 定位分页控件

在 Selenium 中，我们需要通过元素定位方法（如 XPath、CSS Selector 等）找到分页控件。常见的分页控件包括：

下一页按钮：例如 <button class="next-page">下一页</button>。
上一页按钮：例如 <button class="prev-page">上一页</button>。
页码选择器：例如 <select class="page-select"> 包含多个页码选项。

2. 处理动态加载内容

部分网页采用动态加载技术（如 AJAX），当用户点击“下一页”按钮时，页面内容会通过 JavaScript 动态更新。此时需要等待页面加载完成，确保数据被正确提取。

3. 循环遍历页面

Selenium 提供了丰富的元素操作方法，可以通过循环实现分页的自动遍历。例如：

点击“下一页”按钮，直到无法点击为止。
直接跳转到指定页码（适用于支持直接输入页码的场景）。

4. 数据提取与存储

在每一页加载完成后，使用 Selenium 或其他工具（如 BeautifulSoup、lxml）提取目标信息，并将其存储为文件或数据库中的数据。

三、Selenium 分页处理的典型实现

以下是一个完整的示例代码，展示了如何利用 Selenium 实现分页处理和信息提取：

示例场景：从某电商网站提取商品列表

假设目标网页是一个商品列表页面，每一页显示一定数量的商品信息。我们的任务是：

遍历所有页面。
提取每一件商品的标题、价格和链接。

代码实现

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
import pandas as pd# 初始化 WebDriver（以 Chrome 为例）
options = webdriver.ChromeOptions()
options.add_argument('--start-maximized')
driver = webdriver.Chrome(options=options)try:# 打开目标页面driver.get('https://example.com/products')# 存储提取的数据data = []while True:# 等待当前页面加载完成（定位商品列表容器）product_container = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, '.product-list')))# 提取每一件商品的信息products = product_container.find_elements(By.CSS_SELECTOR, '.product-item')for product in products:title = product.find_element(By.CSS_SELECTOR, '.product-title').textprice = product.find_element(By.CSS_SELECTOR, '.price').textlink = product.find_element(By.CSS_SELECTOR, 'a').get_attribute('href')data.append({'标题': title,'价格': price,'链接': link})# 检查是否还有下一页next_button = driver.find_elements(By.CSS_SELECTOR, '.next-page')if len(next_button) == 0:break  # 已到达最后一页# 点击“下一页”按钮，并等待新页面加载next_button[0].click()time.sleep(2)  # 等待页面加载（可根据实际情况调整）except Exception as e:print(f"发生异常：{e}")finally:# 关闭浏览器driver.quit()# 将数据保存为 CSV 文件
df = pd.DataFrame(data)
df.to_csv('products.csv', index=False, encoding='utf-8-sig')
print("数据已成功提取并保存到 products.csv")

四、代码解析与关键点

1. 初始化 WebDriver

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
import pandas as pdoptions = webdriver.ChromeOptions()
options.add_argument('--start-maximized')
driver = webdriver.Chrome(options=options)

WebDriver: 使用 Chrome 浏览器进行自动化操作。
Options: 设置浏览器窗口最大化，避免因窗口大小导致的定位问题。

2. 打开目标页面

driver.get('https://example.com/products')

这里需要替换为目标网站的实际 URL。

3. 提取数据

等待当前页面加载完成：

product_container = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, '.product-list'))
)

使用 WebDriverWait 等待目标元素（商品列表容器）加载完成。

提取每一件商品的信息：

products = product_container.find_elements(By.CSS_SELECTOR, '.product-item')
for product in products:title = product.find_element(By.CSS_SELECTOR, '.product-title').textprice = product.find_element(By.CSS_SELECTOR, '.price').textlink = product.find_element(By.CSS_SELECTOR, 'a').get_attribute('href')data.append({'标题': title,'价格': price,'链接': link})

使用 CSS 选择器定位商品信息，并提取标题、价格和链接。

4. 处理分页

检查是否还有下一页：

next_button = driver.find_elements(By.CSS_SELECTOR, '.next-page')
if len(next_button) == 0:break  # 已到达最后一页

点击“下一页”按钮：
```
next_button[0].click()
time.sleep(2)
```
- 点击“下一页”按钮，并等待新页面加载。

5. 数据存储

将数据转换为 DataFrame：
```
df = pd.DataFrame(data)
```
保存为 CSV 文件：
```
df.to_csv('products.csv', index=False, encoding='utf-8-sig')
```
- 使用 pandas 将数据保存为 CSV 格式，便于后续分析。

五、注意事项

反爬机制：部分网站会对频繁的请求进行限制（如 IP 封锁）。可以考虑使用代理或调整请求频率。
动态加载内容：对于采用动态加载技术的网页，需要等待 JavaScript 执行完毕后再进行数据提取。
异常处理：在实际开发中，应增加更多的异常处理逻辑，确保程序健壮性。
性能优化：如果目标网站包含大量页面和数据，可以考虑使用多线程或分布式爬虫技术。

六、总结

通过上述代码实现，我们展示了如何利用 Selenium 实现分页处理和数据提取。该方法适用于大多数采用传统分页方式的网页，并且具有较高的灵活性和可扩展性。

Selenium 实现自动化分页处理与信息提取

Selenium 实现自动化分页处理与信息提取在 Web 自动化测试或数据抓取场景中，分页处理是一个常见的需求。通过 Selenium，我们可以实现对多页面内容的自动遍历，并从中提取所需的信息。本文将详细介绍如何利用 Selenium 进行自动化分页处理和信…...

编程日记 2025/8/17 20:54:51

【系统搭建】DPDK实现两虚拟机基于testpmd和l2fwd的收发包

testpmd与l2fwd的配合构建一个高性能的虚拟网络测试环境。l2fwd服务工作在数据链路层，使用MAC地址寻址，很多基于DPDK的策略实现可以基于l2fwd进行开发。一、拓扑结构示意 ------------------- 虚拟化层网络 ------------------- | 虚拟机1 …...

编程日记 2025/8/17 18:17:35

简单接口工具（ApiCraft-Web）

ApiCraft-Web 项目介绍 ApiCraft-Web 是一个轻量级的 API 测试工具，提供了简洁直观的界面，帮助开发者快速测试和调试 HTTP 接口。功能特点支持多种 HTTP 请求方法（GET、POST、PUT、DELETE）可配置请求参数（Query …...

编程日记 2025/8/17 18:17:42

C语言数据类型取值范围

32位C语言整型数据类型取值范围 64位C语言整型数据类型取值范围 C语言标准数据类型保证的取值范围在编写程序时如果要方便移植，我们应该关注的是图2-11的取值范围。摘录自《CSAPP》。...

编程日记 2025/8/17 15:57:05

【机器学习】大数据时代，模型训练慢如牛？解锁Spark MLlib与分布式策略

Langchain系列文章目录 01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南 02-玩转 LangChain Memory 模块：四种记忆类型详解及应用场景全覆盖 03-全面掌握 LangChain：从核心链条构建到动态任务分配的实战指南 04-玩转 LangChai…...

编程日记 2025/8/17 20:51:59

合成数据赋能AI：从生成到闭环的全景图谱

目录合成数据赋能AI：从生成到闭环的全景图谱 🎯 项目目标 📄 白皮书 / PPT 大纲结构一、合成数据概述（What & Why） 二、合成数据的核心生成技术（How） 三、合成数据适配任务&#xf…...

编程日记 2025/8/17 20:40:16

CS144 Lab0实战记录：搭建网络编程基础

文章目录 1 实验概述与背景2 ByteStream的设计与实现2.1 字节流抽象概述2.2 实现思路2.3 核心数据结构2.4 Writer实现细节2.5 Reader实现细节 3 WebGet应用实现 1 实验概述与背景 Stanford大学的CS144课程是计算机网络领域最著名的课程之一，其实验设计巧妙地引导学…...

编程日记 2025/8/17 20:26:44

杂记-LeetCode中部分题思路详解与笔记-HOT100篇-其三

时光荏苒啊，没想到这么快就到了四月份... 这个坑好久没写了，现在我们重启一下。我看了一下之前的笔记，似乎是停留在了链表部分且HOT100中可以说最重要的链表题之一：LRU缓存居然没有写，真是岂有此理，让我…...

编程日记 2025/8/17 18:17:32

【python画图】：从入门到精通绘制完美柱状图

目录 Python数据可视化：从入门到精通绘制完美柱状图一、基础篇：快速绘制柱状图1.1 使用Matplotlib基础绘制1.2 使用Pandas快速绘图二、进阶篇：专业级柱状图定制2.1 多系列柱状图2.2 堆叠柱状图2.3 水平柱状图三、专业参数速查表Matplotlib …...

编程日记 2025/8/17 21:17:00

医疗设备预测性维护的合规性挑战与标准化路径研究

摘要本研究从医疗设备全生命周期管理视角，探讨预测性维护技术面临的特殊合规性挑战及其标准化解决方案。通过分析全球12个主要医疗市场的监管差异，提出基于ISO 23510的通用合规框架，并验证其在三类典型医疗设备（生命支持类、影像…...

编程日记 2025/8/17 20:49:30

一、XWPFDocument XWPFTable个性化属性 1.初始默认写法 XWPFTable table document.createTable(n, m); //在文档中创建一个n行m列的表格 table.setWidth("100%"); // 表格占页面100%宽度// 通过getRow获取行进行自定义设置 XWPFTableRow row table.getRow(0); XW…...

编程日记 2025/8/17 21:01:16

抽象的https原理简介

前言小明和小美是一对好朋友，他们分隔两地，平时经常写信沟通，但是偶然被小明发现他回给小美的信好像被人拆开看过，甚至偷偷被篡改过。对称加密算法开头的通信过程比较像HTTP服务器与客户端的通信过程，全明文传输…...

编程日记 2025/8/17 18:17:38

Chakra UI框架中响应式断点

默认的断点：base是默认样式，不带任何媒体查询，适用于所有屏幕。 sm是30em（约480px） md是48em（768px） lg是62em（992px） xl是80em（1280px） 2xl是96e…...

编程日记 2025/8/17 18:18:13

【cocos creator 3.x】cocos creator2.x项目升级3.x项目改动点

1、基本改动基本改动：去掉了cc.，改成在顶部添加导入项目升级时候直接将cc.去掉，根据提示添加引用 node只保留position,scale,rotation,layer 其余属性如opacity，如果需要使用需要在节点手动添加UIOpacity组件 3d层和ui层分开…...

编程日记 2025/8/17 20:03:38

【android telecom 框架分析 01】【基本介绍 2】【BluetoothPhoneService为何没有源码实现】

1. 背景我们会在很多资料上看到 BluetoothPhoneService 类，但是我们在实际 aosp 中确找不到具体的实现， 这是为何？ 这是一个很好的问题！虽然在车载蓝牙电话场景中我们经常提到类似 BluetoothPhoneService 的概念，但…...

编程日记 2025/8/17 21:38:11

Linux：进程：进程调度

进程在CPU上运行具有以下特性： 竞争、独⽴、并⾏、并发竞争性:系统进程数⽬众多，⽽CPU资源很少甚至只有一个，所以进程之间是具有竞争属性的。为了⾼效完成任务，更合理竞争相关资源，便具有了优先级独⽴性: 为了避…...

编程日记 2025/8/17 20:56:43

2025年探秘特种设备安全管理 A 证：守护安全的关键凭证

在现代工业与生活中，特种设备如锅炉、压力容器、电梯、起重机械等广泛应用，它们给我们带来便利的同时，也伴随着较高的安全风险。为了确保这些设备的安全运行，保障人民生命财产安全，特种设备安全管理显得尤为重要&#…...

编程日记 2025/8/17 21:06:48

WebSocket 实现数据实时推送原理

WebSocket 实现数据实时推送的核心机制在于其全双工通信能力和持久的连接特性。以下是其工作原理的详细步骤： 1. 握手阶段（HTTP 升级协议） 客户端发起请求：通过发送一个带有特殊头部的 HTTP 请求，请求协议升级。 GET …...

编程日记 2025/8/17 18:17:45

快速迭代收缩-阈值算法（FISTA）

文章目录 1. 数学与优化基础2. FISTA 算法的原理、推导与机制3. Matlab 实现4. FISTA 在图像处理与压缩感知中的应用4.1. 基于小波稀疏先验的图像去噪4.2 压缩感知图像重建 1. 数学与优化基础在许多信号处理与机器学习问题中，我们希望获得稀疏解，即解向…...

编程日记 2025/8/17 20:52:52

XC6SLX100T-2FGG484I 赛灵思 XilinxFPGA Spartan-6

XC6SLX100T-2FGG484I 是Xilinx 推出的Spartan-6 LXT 系列FPGA芯片，采用45nm工艺设计，以高性价比和低功耗为核心系列定位：Spartan‑6 LXT，中端逻辑与 DSP 加速逻辑资源：101 261 个逻辑单元（LE&#xff0…...

编程日记 2025/8/17 15:40:08

DP 32bit位宽数据扰码实现和仿真

关于DisplayPort 1.4协议中扰码用的16-bit LFSR的移位8个时钟周期后的输出表达式我们已经用迭代的方法推导过，那么移位32个时钟周期的输出表达式同样可以迭代32次推导出，或者将移位8个时钟的输出表达式迭代3次也可以得到。以下就是移位32个时钟周期的输出…...

编程日记 2025/8/17 21:29:19

Electricity Market Optimization 探索系列（V）

本文参考链接link \hspace{1.6em} 众所周知, 社会福利是指消费者剩余和生产者剩余的和，也等价于产品的市值减去产品的成本，在电力市场中也非常关注社会福利这一概念，基于电力商品的同质性的特点，我们引入反价格需求函数来形象地刻…...

编程日记 2025/8/17 18:17:44

vue3 element-plus el-time-picker控制只显示时分，并且控制可选的开始结束时间

只显示时分控制只显示时分 HH:mm 控制只显示时分秒 HH:mm:ss 全部代码： <template><el-time-pickerstyle"width: 220px !important;"v-model"timeValue"format"HH:mm"value-format"HH:mm"/> </template&…...

编程日记 2025/8/17 20:36:08

从技术本质到未来演进：全方位解读Web的过去、现在与未来

一、Web的本质定义 Web（万维网）是一种基于**超文本传输协议（HTTP）和统一资源标识符（URI）**构建的分布式信息系统。它的核心在于通过超链接将全球范围内的信息资源连接成网状结构，使任何接入互联网的设备都能访问这些资源。Web的本质特征体现在三个方面：跨平台性：无论…...

编程日记 2025/8/17 18:17:46

C++十进制与十六进制

在C中，可以使用不同的方式来表示十进制和十六进制数值。下面是一个简单的示例代码，展示了如何在C中表示和输出十进制和十六进制数值： #include <iostream> #include <iomanip>int main() {int decimalValue 255; // 十进制数值…...

编程日记 2025/8/17 18:17:53

MySQL基本语法

本地登录：mysql -u 用户名 -p 查看数据库：show databeases 创建库：create database 名字； 删除库：drop database 名字； 选择库：use 名字； 创建表：create table 表名在…...

编程日记 2025/8/17 20:18:39

机器学习有多少种算法？当下入门需要全部学习吗？

机器学习算法如同工具箱中的器械——种类繁多却各有专攻。面对数百种公开算法，新手常陷入"学不完"的焦虑。本文将拆解算法体系，为初学者指明高效学习路径。一、算法森林的全景地图机器学习算法可按四大维度分类： 监督学习&#…...

编程日记 2025/8/17 21:00:29

【c语言】深入理解指针2

文章目录一、指针数组指针数组模拟二维数组二、数组指针二维数组传参的本质三、字符指针变量四、函数指针变量4.1. 函数指针的应用4.2 两端有趣的代码4.3. typedef关键字4.3.1 typedef 的使用4.3.2. typedef与#define对比五、函数指针数组函数指针数组的应用一、指针数组 …...

编程日记 2025/8/17 18:17:48

Nacos

Nacos是阿里巴巴的产品， 现在是SpringCloud中的一个组件。相比Eureka功能更加丰富，在国内受欢迎程度较高。官网地址：Redirecting to: https://nacos.io/ GitHub： https://github.com/alibaba/nacos 1.Nacos快入门 Nacos可以直…...

编程日记 2025/8/17 21:23:14

Linux，redis群集模式，主从复制，读写分离

redis的群集模式主从模式 （单项复制，主复制到从） 一主两从一台主机上的一主两从需要修改三个配置文件主要端口不一样 redis-8001.conf redis-8002.conf redis-8003.conf 哨兵模式分布式集群模式 redis 安装部署 1，下载…...

编程日记 2025/8/17 21:31:12

《手环表带保养全攻略：材质、清洁与化学品避坑指南》

系列文章目录文章目录系列文章目录前言一、表带材质特性与专属养护方案二、清洁剂使用红黑榜三、家庭清洁实验：化学反应警示录四、保养实践方法论总结前言手环作为现代生活的智能伴侣，表带材质选择丰富多样。从柔软亲肤的皮质到耐用耐磨的金属&…...

编程日记 2025/8/17 21:36:42

【Leetcode 每日一题 - 补卡】1534. 统计好三元组

问题背景给你一个整数数组 a r r arr arr，以及 a 、 b 、 c a、b 、c a、b、c 三个整数。请你统计其中好三元组的数量。如果三元组 ( a r r [ i ] , a r r [ j ] , a r r [ k ] ) (arr[i], arr[j], arr[k]) (arr[i],arr[j],arr[k]) 满足下列全部条件&#xff…...

编程日记 2025/8/17 20:49:54

医疗设备预测性维护合规架构：从法规遵循到技术实现的深度解析

在医疗行业数字化转型加速推进的当下，医疗设备预测性维护已成为提升设备可用性、保障医疗安全的核心技术。然而，该技术的有效落地必须建立在严格的合规框架之上。医疗设备直接关乎患者生命健康，其维护过程涉及医疗法规、数据安全、质量管控等…...

编程日记 2025/8/17 20:27:48

如何在 IntelliJ IDEA 中安装 FindBugs-IDEA 1.0.1

以下是 FindBugs-IDEA 1.0.1 插件在 IntelliJ IDEA 中的安装步骤（适用于较旧版本的 IDEA，新版本可能需使用替代插件如 SpotBugs）： 方法一：手动下载安装（适用于无法通过市场安装的情况） 下载插件…...

编程日记 2025/8/18 2:45:38

小车正常但是加载不出地图找不到mapserver

Request for map failed; trying again... 找不到mapserver 原因： bash [ERROR] [1744895448.714854952]: failed to open image file "/home/liyb/catkin_ws/src/nav_demo/map/crossing.pgm": Couldnt open /home/xxx/catkin_ws/src/nav_demo/map/cr…...

编程日记 2025/8/17 21:25:24

无头开发模式

“无头”开发模式（Headless Development Mode）是指在没有直接连接物理显示器（monitor）、键盘或鼠标等输入输出设备的情况下，通过远程工具（如 SSH、SCP、rsync、VNC 或 Web 界面）对设备进行开发、…...

编程日记 2025/8/17 15:28:59

DAY 47 leetcode 232--栈与队列.用栈实现队列

题号232 请你仅使用两个栈实现先入先出队列。队列应当支持一般队列支持的所有操作（push、pop、peek、empty）： class MyQueue {Stack<Integer> stackIn;Stack<Integer> stackOut;/** Initialize your data structure here. */pu…...

编程日记 2025/8/17 19:58:34

SpringAI+DeepSeek大模型应用开发——4 对话机器人

目录项目初始化 pom文件配置模型 ChatClient 同步调用流式调用日志功能对接前端解决跨域会话记忆功能 ChatMemory 添加会话记忆功能会话历史管理会话id 保存会话id 查询会话历史完善会话记忆定义可序列…...

编程日记 2025/8/17 18:17:55

leetcode0058. 最后一个单词的长度-easy

1 题目：最后一个单词的长度官方标定难度：易给你一个字符串 s，由若干单词组成，单词前后用一些空格字符隔开。返回字符串中最后一个单词的长度。单词是指仅由字母组成、不包含任何空格字符的最大子字符串。示例 1&#x…...

编程日记 2025/8/17 21:29:28

深入理解 Linux top 命令：从字段解读到性能诊断

系统或产品都需要部署到服务器或容器上运行，而服务器的运行效率直接影响到系统的稳定性和用户体验。因此，服务器的性能监控与分析就显得尤为重要。在实际运维和性能测试过程中，我们可以从以下关键的几个方面入手进行系统监控与分析（网络延迟分析暂时先略过）： CPU 使用率…...

编程日记 2025/8/17 12:30:32

[特殊字符] UnionFS（联合文件系统）原理解析：容器背后的存储技术

🔍 UnionFS（联合文件系统）原理解析：容器背后的存储技术 💡 什么是 UnionFS？ UnionFS（联合文件系统） 是一种可以将多个不同来源的文件系统“合并”在一起的技术。它的核心思想是&am…...

编程日记 2025/8/17 20:13:43

部署若依前后端分离

参考部署：https://blog.csdn.net/qq_46073825/article/details/128716794?spm1001.2014.3001.5502 1.连接mysql(windows版本) 2.更新数据库用户为远程可连接 3.redis下载地址 https://github.com/tporadowski/redis/releases 5执行npm init 或者npm install --r…...

编程日记 2025/8/17 20:53:21

用Python Pandas高效操作数据库：从查询到写入的完整指南

一、环境准备与数据库连接 1.1 安装依赖库 pip install pandas sqlalchemy psycopg2 # PostgreSQL # 或 pip install pandas sqlalchemy pymysql # MySQL # 或 pip install pandas sqlalchemy # SQLite 1.2 创建数据库引擎通过SQLAlchemy创建统一接口&#xff1a…...

编程日记 2025/8/17 20:55:50

eventBus 事件中心管理组件间的通信

EventBus（事件总线）是Vue中用于实现非父子组件间通信的轻量级方案，通过一个中央Vue实例管理事件的发布与订阅。一、基本使用步骤 1.创建EventBus实例推荐单独创建文件（如event-bus.js）导出实例，避免全…...

编程日记 2025/8/17 20:15:15

某客户ORA-600 导致数据库反复重启问题分析

上班期间，收到业务反馈，测试环境数据库连接报错。查看数据库alert日志，发现从中午的时候就出现了重启。并且在17时20分左右又发生了重启： 同时，在重启前alert日志中出现了ORA-600报错，相关报错在trc文件中…...

编程日记 2025/8/17 18:17:47

LeetCode 2176.统计数组中相等且可以被整除的数对：两层遍历模拟

【LetMeFly】2176.统计数组中相等且可以被整除的数对：两层遍历模拟力扣题目链接：https://leetcode.cn/problems/count-equal-and-divisible-pairs-in-an-array/ 给你一个下标从 0 开始长度为 n 的整数数组 nums 和一个整数 k ，请你返回满足…...

编程日记 2025/8/17 18:17:40