当前位置：首页 > news >正文

使用 pytest-xdist 进行高效并行自化测试

news 来源：原创 2025/9/2 18:26:13

pytest-xdist 是 pytest 的一个扩展插件，主要用于实现测试用例的并行执行和分布式测试。通过利用多进程或者多机分布式的方式，pytest-xdist 能够显著缩短测试执行时间，提升持续集成（CI）流程的效率。

在自动化测试中，当测试用例数量庞大时，单进程顺序执行的速度往往难以满足需求。pytest-xdist 是基于 pytest 的一个插件：

在单台机器上利用多进程并行运行测试，充分利用多核 CPU 的优势；
实现分布式测试，在多台机器上同时执行测试；
结合负载均衡策略（按用例、文件或模块分配任务），提高并行执行的效率；
支持自动失败重试、覆盖率统计等功能。

利用多进程并行或分布式执行测试用例，这不仅能显著缩短测试运行时间，还能提升 CI/CD 流程的效率。

安装与基本使用

通过 pip 安装 pytest-xdist 非常简单：pip install pytest-xdist

安装后，可以通过 pytest -h 查看新增的命令行选项。

基本命令：

最简单的并行运行命令是使用 -n 选项：pytest -n 4，这里 4 表示使用 4 个进程并行运行测试。

如果希望自动检测系统的 CPU 核心数，并充分利用所有资源，可以使用：pytest -n auto

简单示例
下面是一个简单的示例，如何结合 pytest-xdist 进行并行测试
示例文件：test_sample.py

import time
def test_one():time.sleep(1)assert True
def test_two():    time.sleep(1)    assert True
def test_three():    time.sleep(1)    assert True
def test_four():    time.sleep(1)    assert True

运行以下命令来并行执行上述 4 个测试用例：pytest -n 4 test_sample.py，此命令会将 4 个测试用例分配到 4 个进程中同时运行，从而显著减少总体执行时间。

负载均衡策略

pytest-xdist 支持多种负载均衡策略，通过 --dist 参数进行配置：
在这里插入图片描述
例如，按模块进行负载均衡：pytest -n 4 --dist=loadscope

负载均衡策略可以根据项目的实际情况和测试用例的特点灵活选择：

load 策略适合大多数测试用例都较为独立且执行时间均衡的情况，通过精细地按用例分配，能最大化利用多核 CPU 的优势。
loadscope 策略在模块内测试共享资源或有较重初始化开销时更有优势，能够减少重复工作并控制状态影响范围。
loadfile 策略则适用于需要文件级别隔离的情况，保证每个测试文件内部的状态一致性，同时避免重复加载资源。

Selenium 并行 UI 自动化测试案例

在自动化测试中，Selenium 常用于 Web UI 测试，而 pytest-xdist 则能通过多进程并行运行测试用例，大幅缩短整体执行时间。

将二者结合使用时，需要注意以下几点：

独立 WebDriver 实例：由于测试在不同进程中并行执行，每个进程都必须创建自己的 WebDriver 实例，不能共享同一个浏览器驱动。
环境隔离：确保各个进程中的测试环境（如浏览器驱动、配置文件等）互不干扰，避免因资源竞争导致测试失败。

示例文件：test_multiple_search.py

import pytest
from selenium import webdriver
from selenium.webdriver.common.by import By
def create_driver():    options = webdriver.ChromeOptions()  # 使用无头模式  options.add_argument('--headless')    		options.add_argument('--disable-gpu')    options.add_argument('--no-sandbox')    options.add_argument('--window-size=1920,1080')    return webdriver.Chrome(options=options)@pytest.fixture(scope="function")
def driver():    driver_instance = create_driver()    yield driver_instance    driver_instance.quit()# 测试 百度 搜索 
def test_baidu_search(driver):   driver.get("https://www.baidu.com")    search_box = driver.find_element(By.ID, "kw")    search_box.send_keys("pytest-xdist")    search_box.submit()    driver.implicitly_wait(3)    assert "pytest-xdist" in driver.page_source# 测试 Bing 搜索
def test_bing_search(driver):driver.get("https://www.bing.com")    search_box = driver.find_element(By.NAME, "q")    search_box.send_keys("pytest-xdist")    search_box.submit()    driver.implicitly_wait(3)    assert "pytest-xdist" in driver.page_source# 测试 DuckDuckGo 搜索
def test_duckduckgo_search(driver):driver.get("https://www.duckduckgo.com")    search_box = driver.find_element(By.NAME, "q")    search_box.send_keys("pytest-xdist")    search_box.submit()    driver.implicitly_wait(3)    assert "pytest-xdist" in driver.page_source

使用 pytest-xdist 的 -n 参数启动并行执行，例如：pytest -n 3 test_multiple_search.py，这将启动 3 个进程，每个进程各自运行不同的测试用例，从而加速整体测试执行。

使用 pytest-xdist 进行高效并行自化测试

pytest-xdist 是 pytest 的一个扩展插件，主要用于实现测试用例的并行执行和分布式测试。通过利用多进程或者多机分布式的方式，pytest-xdist 能够显著缩短测试执行时间，提升持续集成（CI）流程的效率。在自动化测试中&a…...

编程日记 2025/9/2 18:26:13

谈谈策略模式，策略模式的适用场景是什么？

一、什么是策略模式？ 策略模式（Strategy Pattern）属于行为型设计模式。核心思路是将一组可替换的算法封装在独立的类中，使它们可以在运行时动态切换，同时使客户端代码与具体算法解耦。它包含三个…...

编程日记 2025/8/31 16:34:20

网络安全防御核心原则与实践指南

一、四大核心防御原则 A. 纵深防御原则（Defense in Depth） 定义：通过在多个层次（如网络、系统、应用、数据）设置互补的安全措施，形成多层次防护体系。目的：防止单一漏洞导致整体安全失效&…...

编程日记 2025/9/2 1:12:40

动态规划2——斐波那契数列模型——三步问题

1.题目三步问题。有个小孩正在上楼梯，楼梯有 n 阶台阶，小孩一次可以上 1 阶、2 阶或 3 阶。实现一种方法，计算小孩有多少种上楼梯的方式。结果可能很大，你需要对结果模 1000000007。示例 1： 输入：n 3 …...

编程日记 2025/9/2 18:20:33

周末总结(2024/04/05)

工作人际关系核心实践： 要学会随时回应别人的善意，执行时间控制在5分钟以内坚持每天早会打招呼遇到接不住的话题时拉低自己，抬高别人(无阴阳气息) 朋友圈点赞控制在5min以内，职场社交不要放在5min以外职场的人际关系在面对利…...

编程日记 2025/9/2 18:21:04

常见的图像生成算法

综合技术原理、优化方向和应用场景，结合经典模型与前沿进展进行分述： 一、经典生成模型 1. 生成对抗网络（GAN） 原理：由生成器（Generator）和判别器（Discriminator）通过…...

编程日记 2025/8/28 4:59:12

PE结构（十五）系统调用与函数地址动态寻找

双机调试当需要分析一个程序时，这个程序一定是可以调试的，操作系统也不例外。在调试过程中下断点是很重要的当我们对一个应用程序下断点时，应用程序是挂起的。但当我们对操作系统的内核程序下断点时，被挂起的不是内核程序而是…...

编程日记 2025/9/1 8:20:12

verilog状态机思想编程流水灯

目录一、状态机1. 状态机基本概念2. 状态机类型3. Verilog 状态机设计要点二、状态机实现一个1s流水灯三、DE2-115实物演示一、状态机 1. 状态机基本概念状态机（Finite State Machine, FSM）是数字电路设计中用于描述系统状态转换的核心组件&#x…...

编程日记 2025/8/29 7:41:32

Java实现N皇后问题的双路径探索：递归回溯与迭代回溯算法详解

N皇后问题要求在NN的棋盘上放置N个皇后，使得她们无法互相攻击。本文提供递归和循环迭代两种解法，并通过图示解释核心逻辑。一、算法核心思想使用回溯法逐行放置皇后，通过冲突检测保证每行、每列、对角线上只有一个皇后。发现无效路径时回退…...

编程日记 2025/9/2 18:24:34

#SVA语法滴水穿石# （000）断言基本概念和背景

一、前言随着数字电路规模越来越大、设计越来越复杂，使得对设计的功能验证越来越重要。首先，我们要明白为什么要对设计进行验证？验证有什么作用？例如，在用FPGA进行设计时，我们并不能确保设计出来的东西没有功能上的漏洞，因此在设计后我们都会对其进行验证仿真。换句话说…...

编程日记 2025/9/2 18:24:38

【Android Studio 下载 Gradle 失败】

路虽远行则将至，事虽难做则必成一、事故现场下载Gradle下载不下来，没有Gradle就无法把项目编译为Android应用。二、问题分析观察发现下载时长三分钟，进度条半天没动，说明这个是国外的东西，被墙住了，需…...

编程日记 2025/8/29 6:19:45

贪心算法之Huffman编码

1. 算法推理 Huffman 编码的目标是为给定字符构造一种前缀码，使得整体编码长度最短。基本思想是： 贪心选择：每次选择频率最小的两个节点合并。合并后的节点的权值为两个子节点权值之和，代表这部分子树出现的总频率。局部最优导…...

编程日记 2025/8/20 17:59:28

Flask学习笔记 - 表单

表单处理基本表单处理：使用 request.form 获取表单数据。使用 Flask-WTF：结合 WTForms 进行表单处理和验证，简化表单操作。表单验证：使用验证器确保表单数据的有效性。文件上传：处理文件上传和保存文件。CSRF 保护&a…...

编程日记 2025/8/31 0:26:05

指针的补充（用于学习笔记的记录）

1.指针基础知识 1.1 指针变量的定义和使用指针也是一种数据类型，指针变量也是一种变量指针变量指向谁，就把谁的地址赋值给指针变量 #include<stdio.h>int main() {int a 0;char b 100;printf("%p,%p \n", &a,&b); // …...

编程日记 2025/9/2 18:24:34

目录 1. 基本数据类型1.1 String1.2 Number1.3 Boolean1.4 Date1.5 Null1.6 ObjectId1.7 Array1.8 Binary Data1.9 Object 2. 特殊数据类型2.1 Regular Expression2.2 JavaScript2.3 Symbol2.4 Decimal1282.5 Timestamp2.6 MinKey/MaxKey2.7 DBPointer 3. 常用字段类型示例4. 注…...

编程日记 2025/9/2 18:23:09

计算机视觉图像处理基础系列：滤波、边缘检测与形态学操作

计算机视觉图像处理基础系列：滤波、边缘检测与形态学操作一、前言二、滤波：图像的精细化处理2.1 滤波基础概念2.1.1 滤波的本质2.1.2 图像噪声来源与类型 2.2 线性滤波2.2.1 均值滤波2.2.2 高斯滤波 2.3 非线性滤波2.3.1 中值滤波三…...

编程日记 2025/9/2 4:06:00

实用的alias别名命令——比2=1+1简单的基础命令

目录 alias命令的用处alias命令的写法让alias别名永久存在的办法下篇预告 alias命令的用处别名，就是linux系统中的命令的别称，而alias命令，可以显示linux系统当前设定的全部别名，当然，也可以自己定义一个别名。 ali…...

编程日记 2025/9/2 18:24:37

JAVA单例模式

目录一、什么是单例模式： 二、饿汉模式： 代码示例： 饿汉模式的特点： 三、懒汉模式： 正确代码示例（双重检查锁）： 一、什么是单例模式： 一个类，在语法角度…...

编程日记 2025/9/2 18:22:32

k8s安装cri驱动创建storageclass动态类

部署nfs服务器 #所有k8s节点安装nfs客户端 yum install -y nfs-utils mkdir -p /nfs/share echo "/nfs/share *(rw,sync,no_root_squash)" >> /etc/exports systemctl enable --now nfs-serverhelm部署nfs的provisioner&sc 所有k8s节点安装客户端 yu…...

编程日记 2025/9/2 18:22:34

嵌入式Linux驱动—— 1 GPIO配置

目录 1.GPIO操作 1.1 IO命名 1.2 GPIO 时钟使能（CCM） 1.3 IO 复用（IOMUXC） 1.4 IO 配置 1.5 GPIO 配置 1.GPIO操作 GPIO操作主要是以下流程： 使能某组GPIO模块（GPIO1、2、...）&#…...

编程日记 2025/8/22 17:55:03

【C++11】lambda

lambda lambda表达式语法 lambda表达式本质是一个匿名函数对象，跟普通函数不同的是它可以定义在函数内部。lambda表达式语法使用层而言没有类型，所以一般是用auto或者模板参数定义的对象去接收lambda对象。 lambda表达式的格式：[capture-l…...

编程日记 2025/8/28 21:45:08

自旋锁（C++实现）

1 简介自旋锁是一种典型的无锁算法，在任何时刻，它都最多只能有一个保持者。当有一个线程试图获得一个已经被占用的锁时，该线程就会一直进行循环等待，直到该锁被释放。自旋锁的优点是不会使线程状态发生切换，一直处于用…...

编程日记 2025/8/27 16:48:02

python基础-11-调试程序

文章目录【README】【11】调试【11.1】抛出异常【11.1.1】抛出异常代码块【11.2】获取回溯字符串【11.2.1】traceback获取异常回溯信息【11.3】断言【11.3.1】断言代码示例【11.4】日志（使用logging模块）【11.4.1】使用logging模块操作日志【11.4.3】…...

编程日记 2025/9/2 10:17:43

我的创作历程：从不情愿到主动分享的成长

🌅主页：猫咪-9527-CSDN博客 “欲穷千里目，更上一层楼。会当凌绝顶，一览众山小。” 目录二、转变：从被动到主动的心路历程三、挑战：时间的压力与写作的坚持四、收获：分享与成长五、展望…...

编程日记 2025/9/2 11:49:50

uniapp地图导航及后台百度地图回显(v2/v3版本)

百度地图申请地址：控制台 | 百度地图开放平台效果： 1.后台 1.1申请百度地图APi 1.2 引入百度地图 <script type"text/javascript" src"//api.map.baidu.com/api?v3.0&ak自己百度生气apikey"></script> 1.3 v2组…...

编程日记 2025/8/30 0:58:37

多layout 布局适配

安卓多布局文件适配方案操作流程以下为通过多套布局文件适配不同屏幕尺寸/密度的详细步骤，结合主流适配策略及最佳实践总结： 一、‌创建多套布局资源目录‌ ‌按屏幕尺寸划分‌ 在 res 目录下创建以下文件夹（根据设备特性自动匹配&#xff…...

编程日记 2025/8/30 3:24:41

马斯克 AI 超算

超算建设情况：马斯克旗下人工智能初创公司 xAI 正在田纳西州孟菲斯市建造世界上最大的超级计算机2。自 2024 年 6 月首次宣布这笔工程以来，xAI 已向当地规划和发展机构提交了 14 份施工许可申请，合计代表了 4.059 亿美元的预计项目成本2。该超…...

编程日记 2025/8/26 12:52:58

大模型学习四：‌DeepSeek Janus-Pro 多模态理解和生成模型本地部署指南（折腾版）

一、说明简介 ‌DeepSeek Janus-Pro‌是一款先进的多模态理解和生成模型，旨在实现高质量的文本-图像生成与多模态理解。它是由DeepSeek团队研发的，是之前Janus模型的升级版，能够同时处理文本和图像，即可以理解图片内容&#xff0c…...

编程日记 2025/8/27 3:15:22

《AI大模型应知应会100篇》第3篇：大模型的能力边界：它能做什么，不能做什么

第3篇：大模型的能力边界：它能做什么，不能做什么摘要在人工智能飞速发展的今天，大语言模型（LLM）已经成为许多领域的核心技术。然而，尽管它们展现出了惊人的能力，但也有明显的局限性…...

编程日记 2025/8/27 0:23:07

MySQL 面试知识点详解（索引、存储引擎、事务与隔离级别、MVCC、锁机制、优化）

一、索引基础概念 1 索引是什么？ 定义：索引是帮助MySQL高效获取数据的有序数据结构，类似书籍的目录。核心作用：减少磁盘I/O次数，提升查询速度（以空间换时间）。 2 索引的优缺点优点缺点加速…...

编程日记 2025/8/30 3:40:29

JS API

const变量优先即对象、数组等引用类型数据可以用const声明 API作用和分类 DOM (ducument object model) 操作网页内容即HTML标签的树状模型 HTML中标签 JS中对象最大对象 document 其次大 html 以此类推获取DOM对象 CSS 中使用选择器 JS 中选多个时代的眼泪修…...

编程日记 2025/8/31 7:28:07

hackmyvm-Principle

近况: 很难受、也很累。但是庆幸靶机很好正值清明时节清明时节雨纷纷 🌧️，路上行人欲断魂 😢。靶机地址信息收集主机发现端口扫描 80端口仅仅是一个nginx 的欢迎界面而已 robots.txt的内容 hi.html的内容 hackme不存在 investigat…...

编程日记 2025/8/29 7:02:05

小刚说C语言刷题——第14讲逻辑运算符

当我们需要将一个表达式取反，或者要判断两个表达式组成的大的表达式的结果时，要用到逻辑运算符。 1.逻辑运算符的分类 (1)逻辑非(!) ！a，当a为真时，！a为假。当a为假时，！a为真。例…...

编程日记 2025/8/30 4:03:08

池化技术的深度解析与实践指南【大模型总结】

池化技术的深度解析与实践指南池化技术作为计算机系统中的核心优化手段，通过资源复用和预分配机制显著提升系统性能。本文将从原理、实现到最佳实践，全方位剖析池化技术的核心要点，并结合实际案例说明其应用场景与调优策略。一、池化技术的…...

编程日记 2025/8/29 3:44:55

基于Java的区域化智慧养老系统(源码+lw+部署文档+讲解)，源码可白嫖!

摘　要时代在飞速进步，每个行业都在努力发展现在先进技术，通过这些先进的技术来提高自己的水平和优势，区域化智慧养老系统当然不能排除在外。区域化智慧养老系统是在实际应用和软件工程的开发原理之上，运用Java语言、JSP技术以及…...

编程日记 2025/8/31 5:22:55

2025年3月 Scratch 图形化（一级）真题解析中国电子学会全国青少年软件编程等级考试

2025.03 Scratch图形化编程等级考试一级真题试卷一、选择题第 1 题气球初始位置如下图所示，scratch运行下列程序，气球会朝哪个方向移动？（ ） A.水平向右 B.垂直向下 C.水平向左 D.垂直向上答案&#xff1a…...

编程日记 2025/8/30 5:23:01

Docker 命令简写配置

alias dpsdocker ps --format "table {{.ID}}\t{{.Image}}\t{{.Ports}}\t{{.Status}}\t{{.Names}}" 配置好后，需要输入： source ~/.bashrc 后生效...

编程日记 2025/8/28 12:17:19

linux signal up/down/down_interruptiable\down_uninterruptiable使用

在Linux内核中，down, down_interruptible, down_killable, 和 up 是用于操作信号量（semap hores）的函数，它们用于进程同步和互斥。以下是对这些函数的简要说明。 1，down(&sem): 这个函数用于获取信号量。如果信号…...

编程日记 2025/8/31 0:56:33

【嵌入式-stm32电位器控制以及旋转编码器控制LED亮暗】

嵌入式-stm32电位器控制LED亮暗任务1代码1Key.cKey.hTimer.cTimer.hPWM.cPWM.hmain.c 实验现象1任务2代码2Key.cKey.hmain.c 实验现象2问题与解决总结源码框架取自江协科技，在此基础上做扩展开发。任务1 本文主要介绍利用stm32f103C8T6实现电位器控制PWM的占空比…...

编程日记 2025/8/21 12:21:00

Mysql 中 ACID 背后的原理

在 MySQL 中，ACID 是事务处理的核心原则，用于保证数据库在执行事务时的可靠性、数据一致性和稳定性。ACID 是四个关键特性的首字母缩写，分别是：Atomicity（原子性）、Consistency（一致性&#xff…...

编程日记 2025/8/30 10:44:24

【算法】简单数论

模运算 a m o d b a − ⌊ a / b ⌋ b a\ mod \ b a - \lfloor a / b \rfloor \times b a mod ba−⌊a/b⌋b n m o d p n \ mod\ p n mod p得到的结果的正负至于被除数 n n n有关模运算的性质： ( a b ) m o d m ( ( a m o d m ) ( b m o d m ) ) m o d m …...

编程日记 2025/8/28 4:17:14

mybatis慢sql无所遁形

痛点问题： 扫描项目的慢sql 并提出优化建议开源项目地址：gitee：mybatis-sql-optimizer-spring-boot-starter: 这个starter可以帮助开发者在开发阶段发现SQL性能问题，并提供优化建议，从而提高应用程序的数据库访问效…...

编程日记 2025/8/31 21:26:10

MCP有哪些比较好的资源？

MCP（Model Context Protocol）是一种由Anthropic公司推出的开放协议，旨在为AI模型与开发环境之间提供统一的上下文交互接口。目前，围绕MCP协议的资源非常丰富，以下是一些比较好的MCP资源推荐： Smithery Smit…...

编程日记 2025/8/25 1:20:13

Nginx功能及应用全解：从负载均衡到反向代理的全面剖析

Nginx作为一款开源的高性能HTTP服务器和反向代理服务器，凭借其高效的资源利用率和灵活的配置方式，已成为互联网领域中最受欢迎的Web服务器之一。无论是作为HTTP服务器、负载均衡器，还是作为反向代理和缓存服务器，Nginx的多种功能广…...

编程日记 2025/9/2 8:54:18

FreeRTOS/任务创建和删除的API函数

任务的创建和删除本质就是调用FreeRTOS的API函数 API函数描述xTaskCreate()动态方式创建任务xTaskCreateStatic()静态方式创建任务vTaskDelete()删除任务动态创建任务任务的任务控制块以及任务的占空间所需的内存，均由FreeRTOS从FreeRTOS管理的堆中分配静态创建…...

编程日记 2025/8/27 17:47:11

【jvm】GC评估指标

目录 1. 说明2. 吞吐量（Throughput）3. 暂停时间（Pause Time）4. 内存占用（Footprint）5. 频率（Frequency）6. 对象晋升率（Promotion Rate）7. 内存分配速率&#…...

编程日记 2025/8/28 10:57:18

数据集（Dataset）和数据加载器（DataLoader）-pytroch学习3

pytorch网站学习处理数据样本的代码往往会变得很乱、难以维护；理想情况下，我们希望把数据部分的代码和模型训练部分分开写，这样更容易阅读、也更好维护。简单说：数据和模型最好“分工明确”，不要写在一起。 PyTor…...

编程日记 2025/8/28 9:39:03

影响RTOS实时性的因素有哪些？

目录 1、任务调度延迟 2、中断处理延迟 3、系统负载 4、任务优先级反转 5、时钟精度 6、内存管理影响RTOS实时性的因素主要包括任务调度延迟、中断处理延迟、系统负载、任务优先级反转、时钟精度、内存管理等。 1、任务调度延迟任务调度器是RTOS的核心，当…...

编程日记 2025/9/2 8:54:54

二叉树递归

本篇基于b站灵茶山艾府的课上例题与课后作业。 104. 二叉树的最大深度给定一个二叉树 root ，返回其最大深度。二叉树的最大深度是指从根节点到最远叶子节点的最长路径上的节点数。示例 1： 输入：root [3,9,20,null,null,15,7] 输出&…...

编程日记 2025/8/29 7:24:29

ZLMediaKit 源码分析——[5] ZLToolKit 中EventPoller之延时任务处理

系列文章目录第一篇基于SRS 的 WebRTC 环境搭建第二篇基于SRS 实现RTSP接入与WebRTC播放第三篇 centos下基于ZLMediaKit 的WebRTC 环境搭建第四篇 WebRTC学习一：获取音频和视频设备第五篇 WebRTC学习二：WebRTC音视频数据采集第六篇 WebRTC学习三…...

编程日记 2025/8/29 5:40:05

相关文章：