使用Selenium进行网页自动化测试
在使用Selenium进行网页自动化测试时，获取网络请求数据（即network数据）并不直接由Selenium库提供。Selenium主要用于与网页内容进行交互（如点击、输入文本、获取页面元素等），但它本身不拦截或记录网络请求。
然而，你可以结合Selenium与其他工具（如BrowserMob Proxy、Wireshark、mitmproxy、或Selenium自带的Chrome DevTools Protocol）来获取网络请求数据。下面是一些常用的方法：
方法一：使用BrowserMob Proxy
BrowserMob Proxy是一个Java程序，可以与Selenium配合使用来捕获HTTP和HTTPS流量。
-
安装BrowserMob Proxy：
- 下载并安装Java。
- 下载BrowserMob Proxy。
-
设置Python代码：
- 使用
browsermob-proxy-py库（Python的BrowserMob Proxy绑定）。
- 使用
pip install browsermob-proxy-py
from selenium import webdriver
from browsermobproxy import Server
from selenium.webdriver.common.proxy import Proxy, ProxyType# 启动BrowserMob Proxy服务器
server = Server("/path/to/browsermob-proxy")
server.start()
proxy = server.create_proxy()# Selenium的Proxy配置
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server={0}".format(proxy.proxy))# 创建一个Selenium WebDriver实例
driver = webdriver.Chrome(chrome_options=chrome_options)# 获取新会话的HAR（HTTP Archive）数据
proxy.new_har("example")# 导航到目标URL
driver.get("http://example.com")# 获取HAR数据
har_data = proxy.har# 打印HAR数据
print(har_data)# 关闭WebDriver和BrowserMob Proxy服务器
driver.quit()
server.stop()
方法二：使用mitmproxy
mitmproxy是一个强大的中间人代理，可以拦截、修改和检查HTTP和HTTPS流量。
-
安装mitmproxy：
pip install mitmproxy -
设置mitmproxy与Selenium：
from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from mitmproxy import options
from mitmproxy.tools.dump import DumpMaster
from mitmproxy import http# 配置mitmproxy监听端口
options = options.Options(listen_host='127.0.0.1', listen_port=8080)# 定义处理HTTP请求的类
class Interceptor:def __init__(self):self.flows = []def request(self, flow: http.HTTPFlow) -> None:self.flows.append(flow)# 启动mitmproxy
m = DumpMaster(options)
interceptor = Interceptor()
m.addons.add(interceptor)
try:m.run()
except KeyboardInterrupt:m.shutdown()# 配置Selenium的Proxy
proxy = Proxy({'proxyType': ProxyType.MANUAL,'httpProxy': '127.0.0.1:8080','sslProxy': '127.0.0.1:8080'
})chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server=http://127.0.0.1:8080")# 创建一个Selenium WebDriver实例
driver = webdriver.Chrome(chrome_options=chrome_options)# 导航到目标URL
driver.get("http://example.com")# 获取捕获的HTTP请求
for flow in interceptor.flows:print(flow.request.url)# 关闭WebDriver
driver.quit()
注意：运行mitmproxy可能需要你配置证书以捕获HTTPS流量。
方法三：使用Chrome DevTools Protocol（CDP）
Chrome DevTools Protocol允许你与Chrome浏览器进行低级别的通信，包括获取网络请求数据。Selenium 4+提供了对CDP的直接支持。
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time# 配置Chrome选项
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222") # 连接到已打开的Chrome实例# 创建WebDriver实例
driver = webdriver.Chrome(service=Service(), options=chrome_options)# 导航到目标URL
driver.get("http://example.com")# 使用CDP获取网络请求数据
# 需要导入CDP的库或使用selenium的execute_cdp_cmd方法
# 示例代码取决于你如何配置和获取CDP数据
# driver.execute_cdp_cmd('Network.enable', {})
# driver.execute_cdp_cmd('Network.setCaptureMode', {"mode": "includeAll"})
# network_logs = driver.execute_cdp_cmd('Network.getAllRequests', {})
# print(network_logs)# 这里仅是一个示例，你需要根据CDP文档来实现具体功能# 关闭WebDriver
driver.quit()
这种方法要求你事先手动打开Chrome浏览器并配置远程调试端口（通常是9222）。
注意事项
- 确保你的Chrome浏览器版本与Selenium WebDriver版本兼容。
- 使用HTTPS时，可能需要处理SSL证书问题。
- 在处理网络请求数据时，确保遵守相关法律法规和隐私政策。
通过以上方法，你可以在使用Selenium进行网页自动化测试时获取网络请求数据。
相关文章：
使用Selenium进行网页自动化测试
在使用Selenium进行网页自动化测试时，获取网络请求数据（即network数据）并不直接由Selenium库提供。Selenium主要用于与网页内容进行交互（如点击、输入文本、获取页面元素等），但它本身不拦截或记录网络请求。…...
Linux 下 mtrace 的详细介绍
在 Linux 系统中，内存管理是操作系统的一项重要任务，而内存泄漏（Memory Leak）是开发过程中常见且棘手的问题之一。为了帮助开发者追踪和调试内存泄漏问题，mtrace 提供了一种有效的方式来检测和分析内存的分配与释放情况…...
【DB-GPT】开启数据库交互新篇章的技术探索与实践
一、引言：AI原生数据应用开发的挑战与机遇 在数字化转型的浪潮中，企业对于智能化应用的需求日益增长。然而，传统的数据应用开发方式面临着诸多挑战，如技术栈复杂、开发周期长、成本高昂、难以维护等。这些问题限制了智能化应用的…...
深入 Flutter 和 Compose 在 UI 渲染刷新时 Diff 实现对比
众所周知，不管是什么框架，在前端 UI 渲染时，都会有构造出一套相关的渲染树，并且在 UI 更新时，为了尽可能提高性能，一般都只会进行「差异化」更新，而不是对整个 UI Tree 进行刷新，所以…...
Android 网络层相关介绍
关注 Android 默认支持的网络管理行为，默认支持的网络服务功能。 功能术语 术语缩写全称释义DHCPv6Dynamic Host Configuration Protocol for IPv6动态主机配置协议的第六版，用于在IPv6网络中动态分配IP地址和其他网络配置参数。DNS Domain Name System域名系统。LLALink-Loc…...
ThreeJs开发环境安装与首个DEMO
安装开发环境 我这边使用的JetBrain的WebStorm，咨询过很多其他开发从业者，普遍使用vscode的比较多。但是考虑到vscode涉及到不少插件安装和IDE配置，作为傻瓜式入门，我这边采用WebStorm。 下载地址： WebStorm: The J…...
【Vim Masterclass 笔记09】S06L22：Vim 核心操作训练之 —— 文本的搜索、查找与替换操作（第一部分）
文章目录 S06L22 Search, Find, and Replace - Part One1 从光标位置起，正向定位到当前行的首个字符 b2 从光标位置起，反向查找某个字符3 重复上一次字符查找操作4 定位到目标字符的前一个字符5 单字符查找与 Vim 命令的组合6 跨行查找某字符串7 Vim 的增…...
js：根据后端返回数据的最大值进行计算然后设置这个最大值为百分之百，其他的值除这个最大值
问： 现在tabData.value 接收到了后端返回的数据， [{text:人力,percentage：‘90’}，{text:物品,percentage：‘20’}，{text:物理,percentage：‘50’}，{text:服务,percentageÿ…...
线形回归与小批量梯度下降实例
1、准备数据集 import numpy as np import matplotlib.pyplot as pltfrom torch.utils.data import DataLoader from torch.utils.data import TensorDataset######################################################################### #################准备若干个随机的x和…...
【数学】概率论与数理统计（三）
文章目录 [toc] 随机变量的概念随机事件数量化随机变量 离散型随机变量及其概率分布随机变量的分类离散型随机变量离散型随机变量的常见分布两点分布二项分布泊松分布泊松定理证明 泊松分布 超几何分布几何分布 连续型随机变量及其概率分布连续型随机变量零概率事件几乎必然发生…...
如何在 Linux、MacOS 以及 Windows 中打开控制面板
控制面板不仅仅是一系列图标和菜单的集合；它是通往优化个人计算体验的大门。通过它，用户可以轻松调整从外观到性能的各种参数，确保他们的电脑能够完美地适应自己的需求。无论是想要提升系统安全性、管理硬件设备，还是简单地改变桌…...
《AI赋能鸿蒙Next，开启智能关卡设计新时代》
在游戏开发领域，关卡设计是至关重要的一环，它直接影响着玩家的游戏体验和沉浸感。而随着人工智能技术的飞速发展，结合鸿蒙Next系统的强大功能，为游戏的智能关卡设计带来了全新的思路和方法。 利用AI学习玩家行为模式 在鸿蒙Next…...
Safari浏览器上ico图标显示不出来，怎么解决？
Safari浏览器上ico图标显示不出来，怎么解决？ 如果Safari浏览器上ico图标显示不出来了，如下图，该图标显示为灰色。 可以关闭Safari浏览器，并清除历史记录，就可以解决啦。 另外，如果多个网站这…...
Java Bean Validation 不适用Spring的情况下自定义validation注解
Java Bean Validation（也称为 JSR 380，为 Bean Validation 2.0 规范）提供了一套基本的注解，用于定义和验证 Java Bean 的属性。例如： NotNull：属性不能为空 Size：字符串、集合或数组的大小有约…...
【算法学习笔记】30：埃氏筛（Sieve of Eratosthenes）和线性筛（Linear Sieve）
测试题目：AcWing 868. 筛质数 埃氏筛（Sieve of Eratosthenes） 如果 i i i是素数，每次把 i i i的倍数都筛掉，存在重复筛选，时间复杂度 n ⋅ l o g ( l o g n ) n \cdot log(logn) n⋅log(logn)。 #includ…...
风控业务——评分模型
本文主要讲述了金融机构风控模型的重要性及其应用。首先，开头概述了风控模型的整体建模流程，包括特征工程和建模方法。接着，本文强调了贷前、贷中、贷后三个阶段中风控模型的应用，如信用评分、行为评分和催收评分。同时还提到了信…...
jupyter notebook练手项目：线性回归——学习时间与成绩的关系
线性回归——学习时间与学习成绩的关系 第1步：导入工具库 pandas——数据分析库，提供了数据结构（如DataFrame和Series）和数据操作方法，方便对数据集进行读取、清洗、转换等操作。 matplotlib——绘图库，p…...
_统一建模语言及事件风暴会议)
DDD - 微服务设计与领域驱动设计实战(上)_统一建模语言及事件风暴会议
文章目录 Pre概述业务流程需求分析的困境统一语言建模事件风暴会议什么是事件风暴（Event Storming）事件风暴会议 总结 Pre DDD - 软件退化原因及案例分析 DDD - 如何运用 DDD 进行软件设计 DDD - 如何运用 DDD 进行数据库设计 DDD - 服务、实体与值对…...
《自动驾驶与机器人中的SLAM技术》ch7：基于 ESKF 的松耦合 LIO 系统
目录 基于 ESKF 的松耦合 LIO 系统 1 坐标系说明 2 松耦合 LIO 系统的运动和观测方程 3 松耦合 LIO 系统的数据准备 3.1 CloudConvert 类 3.2 MessageSync 类 4 松耦合 LIO 系统的主要流程 4.1 IMU 静止初始化 4.2 ESKF 之 运动过程——使用 IMU 预测 4.3 使用 IMU 预测位姿进…...
day07_Spark SQL
文章目录 day07_Spark SQL课程笔记一、今日课程内容二、Spark SQL函数定义（掌握）1、窗口函数2、自定义函数背景2.1 回顾函数分类标准:SQL最开始是_内置函数&自定义函数_两种 2.2 自定义函数背景 3、Spark原生自定义UDF函数3.1 自定义函数流程&#x…...
【LC】2270. 分割数组的方案数
题目描述： 给你一个下标从 0 开始长度为 n 的整数数组 nums 。 如果以下描述为真，那么 nums 在下标 i 处有一个 合法的分割 ： 前 i 1 个元素的和 大于等于 剩下的 n - i - 1 个元素的和。下标 i 的右边 至少有一个 元素，也就是…...
Docker 容器通信的网络模式详解
Docker 的网络模式是容器化技术中非常重要的一部分，它决定了容器之间以及容器与外部世界如何通信。Docker 提供了多种网络模式，每种模式都有其特定的使用场景和优势。本文将深入探讨 Docker 的网络模式，包括桥接模式、主机模式、覆盖网络模式…...
Apache和PHP：构建动态网站的黄金组合
在当今的互联网世界，网站已经成为了企业、个人和机构展示自己、与用户互动的重要平台。而在这些动态网站的背后，Apache和PHP无疑是最受开发者青睐的技术组合之一。这一组合提供了高效、灵活且可扩展的解决方案，帮助您快速搭建出强大的网站&am…...
一个简单的html5导航页面
一个简单的 HTML5 导航页面的示例代码： html <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><ti…...
积木仪表盘 出现 “没有权限，请联系管理员分配权限“ 解决方法
目录 前言1. 问题所示2. 解决方法前言 🤟 找工作，来万码优才：👉 #小程序://万码优才/r6rqmzDaXpYkJZF 原先写过报表的错误！但错误解决方式不一样：jmreport测试数据库出现 权限不足，此功能需要分配角色 解决方法 1. 问题所示 出现 没有权限，请联系管理员分配权限 的…...
C++语言的循环实现
C语言中的循环实现 引言 在程序设计中，循环是一个至关重要的概念。它允许我们在满足某种条件时重复执行某段代码，从而实现复杂的逻辑和算法。C作为一种强大的编程语言，提供了多种循环结构来满足不同的需求。本文将深入探讨C中的循环实现&am…...
高级java每日一道面试题-2025年01月13日-框架篇[Spring篇]-Spring 是怎么解决循环依赖的?
如果有遗漏,评论区告诉我进行补充 面试官: Spring 是怎么解决循环依赖的? 我回答: 在Java高级面试中，Spring框架如何解决循环依赖是一个重要且常见的问题。以下是对Spring解决循环依赖的详细解释： 循环依赖的定义与类型 循环依赖是指两个或多个Bea…...
.Net Core Record 类型
public class Person { public string id {get;init;} public string code {get;init;} public string name {get;init;} } //Person 属性不可单独赋值，相当于使用record定义 public record Person string id,string code,string name） //record类…...
GitLab CI/CD使用runner实现自动化部署前端Vue2 后端.Net 7 Zr.Admin项目
1、查看gitlab版本 建议安装的runner版本和gitlab保持一致 2、查找runner 执行 yum list gitlab-runner --showduplicates | sort -r 找到符合gitlab版本的runner，我这里选择 14.9.1版本 如果执行出现找不到下载源，添加官方仓库 执行 curl -L &quo…...
重邮+数字信号处理实验七：用 MATLAB 设计 IIR 数字滤波器
一、实验目的 1 、加深对窗函数法设计 FIR 数字滤波器的基本原理的理解。 2 、学习用 Matlab 语言的窗函数法编写设计 FIR 数字滤波器的程序。 3 、了解 Matlab 语言有关窗函数法设计 FIR 数字滤波器的常用函数用法。 4 、掌握 FIR 滤波器的快速卷积实现原理。…...
CES 2025：INAIR 推出“另类”AR电脑，重新定义移动计算体验
在2025年国际消费类电子产品展览会（CES）上，INAIR公司凭借其创新的AR电脑产品吸引了众多目光。这款设备不仅融合了增强现实（AR）技术与传统个人电脑的功能，还通过独特的设计理念为用户带来了前所未有的移动计算体验。本文将详细介绍INAIR AR电脑的特点、技术创新及其对未来…...
了解 ASP.NET Core 中的中间件
在 .NET Core 中，中间件（Middleware） 是处理 HTTP 请求和响应的核心组件。它们被组织成一个请求处理管道，每个中间件都可以在请求到达最终处理程序之前或之后执行操作。中间件可以用于实现各种功能，如身份验证、路由、…...
)
数据结构与算法之链表: LeetCode 234. 回文链表 (Ts版)
回文链表 https://leetcode.cn/problems/palindrome-linked-list/description/ 描述 给你一个单链表的头节点 head ，请你判断该链表是否为回文链表如果是，返回 true ；否则，返回 false 示例 1 输入：head [1,2,2,1]…...
DVWA靶场CSRF漏洞通关教程及源码审计
目录标题 CSRFlow源码审计 medium源码审计 high源码审计 impossible源码审计 CSRF low 先修改密码 看到地址栏 复制在另一个网页打开 成功登录 源码审计 没有任何过滤措施，很危险，并且采用了不安全的md5加密 <?phpif( isset( $_GET[ Change ] )…...
支持Google Analytics快捷添加的CMS：费用与部署形式详解
CMS 的费用和部署形式是选择平台的重要参考因素，不同的业务需求需要不同的解决方案。本文将从费用和部署形式两个角度，详细分析支持 Google Analytics 快捷集成的 CMS 和工具，帮助您更好地了解这些平台的特点。 1. BigCommerce 费用ÿ…...
Kibana操作ES基础
废话少说，开干！！！！！！！！！！！！截图更清晰，复制在下面 #库操作#创建索引【相当于数据库的库】 PUT /first_index#获…...
如何在Ubuntu上安装和配置Git
版本控制系统（VCS）是软件开发过程中不可或缺的工具之一，它帮助开发者跟踪代码变更、协作开发以及管理不同版本的项目。Git作为当前最流行的分布式版本控制系统，因其高效性和灵活性而广受青睐。本文将指导你如何在Ubuntu操作系统上…...
基于springboot+vue+微信小程序的宠物领养系统
基于springbootvue微信小程序的宠物领养系统 一、介绍 本项目利用SpringBoot、Vue和微信小程序技术，构建了一个宠物领养系统。 本系统的设计分为两个层面，分别为管理层面与用户层面，也就是管理者与用户，管理权限与用户权限是不…...
HTB：Driver[WriteUP]
目录 连接至HTB服务器并启动靶机 信息收集 使用rustscan对靶机TCP端口进行开放扫描 将靶机TCP开放端口号提取并保存 使用nmap对靶机TCP开放端口进行脚本、服务扫描 使用nmap对靶机TCP开放端口进行漏洞、系统扫描 使用nmap对靶机常用UDP端口进行开放扫描 使用smbclient尝…...
Require：利用MySQL binlog实现闪回操作
1，闪回原理 【binlog】MySQL binlog以event的形式，记录了MySQL server从启用binlog以来所有的变更信息，能够帮助重现这之间的所有变化。MySQL引入binlog主要有两个目的：一是为了主从复制；二是某些备份还原操作后需要重…...
 Nginx RabbitMQ)
黑马linux笔记（03）在Linux上部署各类软件 MySQL5.7/8.0 Tomcat(JDK) Nginx RabbitMQ
文章目录 实战章节：在Linux上部署各类软件tar -zxvf各个选项的含义 为什么学习各类软件在Linux上的部署 一 MySQL数据库管理系统安装部署【简单】MySQL5.7版本在CentOS系统安装MySQL8.0版本在CentOS系统安装MySQL5.7版本在Ubuntu（WSL环境）系统…...
FFmpeg入门
在音视频处理领域，有一款神器级的工具横扫开发者圈，那就是 FFmpeg。它被誉为“音视频处理的瑞士军刀”，凭借强大的功能和开源的特性成为众多开发者和媒体从业者的首选。今天，我们就来聊聊 FFmpeg 的入门使用，带你轻松开…...
如何将 sqlserver 数据迁移到 mysql
文章目录 前言一、导出SQL Server 数据二、转换数据格式为MySQL兼容格式三、导入数据到MySQL数据库五、使用ETL工具六、通过 navicat 工具七、总结 前言 将 SQL Server 数据迁移到 MySQL 是一个常见的数据库迁移任务，通常涉及以下几个关键步骤：导出 SQL…...
【leetcode 13】哈希表 242.有效的字母异位词
原题链接 题解链接 一般哈希表都是用来快速判断一个元素是否出现集合里。 当我们想使用哈希法来解决问题的时候，我们一般会选择如下三种数据结构。 数组 set （集合） map(映射) 如果在做面试题目的时候遇到需要判断一个元素是否出现过的场景…...
git - 用SSH方式迁出远端git库
文章目录 git - 用SSH方式迁出远端git库概述笔记以gitee为例产生RSA密钥对 备注githubEND git - 用SSH方式迁出远端git库 概述 最近一段时间，在网络没问题的情况下，用git方式直接迁出git库总是会失败。 失败都是在远端, 显示RPC错误。 但是git服务器端…...
21天学通C++——9.5复制构造函数
浅复制 复制类对象时只是单纯的复制所有的值，如指针只会复制指针的大小，而不会再开辟同一空间大小的内存，即两个指针指向同一片内存空间。 伪代码： class MyString { private:char*buffer; public:MyString(const char* initStri…...
GPT 系列论文精读：从 GPT-1 到 GPT-4
学习 & 参考资料 前置文章 Transformer 论文精读 机器学习 —— 李宏毅老师的 B 站搬运视频 自监督式学习(四) - GPT的野望[DLHLP 2020] 來自猎人暗黑大陆的模型 GPT-3 论文逐段精读 —— 沐神的论文精读合集 GPT，GPT-2，GPT-3 论文精读【论文精读】…...
【python】OpenCV—Local Translation Warps
文章目录 1、功能描述2、原理分析3、代码实现4、效果展示5、完整代码6、参考 1、功能描述 利用液化效果实现瘦脸美颜 交互式的液化效果原理来自 Gustafsson A. Interactive image warping[D]. , 1993. 2、原理分析 上面描述很清晰了，鼠标初始在 C，也即…...
elasticsearch集群部署
一、创建 elasticsearch-cluster 文件夹 创建 elasticsearch-7.6.2-cluster文件夹 修改服务es服务文件夹为node-001 修改config/elasticsearch.yml 配置文件 # Elasticsearch Configuration # # NOTE: Elasticsearch comes with reasonable defaults for most settings. # …...
python调用window库全屏截图生成bmp位图学习
import io import time import struct import ctypes s time.time() gdi32 ctypes.windll.gdi32 user32 ctypes.windll.user32# 定义常量 SM_CXSCREEN 0 SM_CYSCREEN 1# 缩放比例 zoom 1 screenWidth int(user32.GetSystemMetrics(SM_CXSCREEN) * zoom) screenHeight i…...