当前位置： 首页 > news >正文

【爬虫】DrissionPage-4

news 来源：原创 2025/6/21 1:07:24

官网文档：https://www.drissionpage.cn/browser_control/browser_options

一、核心对象与初始化

1. 类定义
  • 作用：管理Chromium内核浏览器的启动配置，仅在浏览器启动时生效。
  • 导入方式：
    from DrissionPage import ChromiumOptions
2. 初始化参数
参数名类型默认值说明
read_fileboolTrue是否从ini文件读取配置（False则使用默认配置）
ini_pathstr/PathNone指定ini文件路径（None时读取内置配置文件）
3. 创建示例
# 从ini文件读取配置（默认）
co = ChromiumOptions()# 使用默认配置（不读取ini文件）
co = ChromiumOptions(read_file=False)

二、启动参数与命令行设置

1. 基础参数操作
方法名作用参数说明
set_argument(arg, value=None)添加启动参数（如--headless）arg：参数名；value：参数值（无值参数传None，删除参数传False）
remove_argument(arg)删除指定启动参数arg：参数名（无需值）
clear_arguments()清空所有启动参数无参数
2. 常用预设参数
方法名作用参数类型默认值示例
headless(on_off=True)设置无头模式boolTrueco.headless(True)
incognito(on_off=True)设置无痕模式boolTrueco.incognito()
ignore_certificate_errors(on_off=True)忽略证书错误boolTrueco.ignore_certificate_errors()
no_imgs(on_off=True)禁用图片加载boolTrueco.no_imgs(True)
no_js(on_off=True)禁用JavaScriptboolTrueco.no_js(True)
mute(on_off=True)静音模式boolTrueco.mute(True)

三、路径与端口配置

1. 路径设置
方法名作用参数说明
set_browser_path(path)设置浏览器可执行文件路径path：文件路径（字符串/Path对象）
set_user_data_path(path)设置用户数据目录（配置文件）path：目录路径
use_system_user_path(on_off=True)使用系统默认用户目录on_off：是否启用（默认True）
set_tmp_path(path)设置临时文件目录path：目录路径
set_cache_path(path)设置缓存目录path：目录路径
set_download_path(path)设置下载文件路径path：目录路径
set_paths(**kwargs)批量设置路径支持参数：browser_path, user_data_path, download_path等
2. 端口与地址
方法名作用参数说明
set_local_port(port)手动设置本地端口port：端口号（整数/字符串）
set_address(address)设置连接地址（格式ip:port）address：地址字符串（如127.0.0.1:9222）
auto_port(on_off=True, scope=None)自动分配端口（多线程适用）on_off：是否启用；scope：端口范围元组（如(5000, 6000)，左闭右开）

注意：

  • set_local_port()、set_address()与auto_port()互斥，后调用的方法生效。
  • 多进程需通过scope指定端口范围避免冲突。

四、插件与用户配置

1. 插件管理
方法名作用参数说明
add_extension(path)添加插件（支持解压目录或.crx）path：插件路径
remove_extensions()移除所有已添加的插件无参数
existing_only(on_off=True)仅操作已存在的插件（防报错）on_off：是否启用（默认True）
2. 用户与偏好设置
方法名作用参数说明
set_user(user='Default')设置用户配置文件夹名称user：文件夹名（如'Profile 1'）
set_pref(arg, value)设置浏览器偏好配置arg：配置项名称；value：配置值（如'profile.default_content_settings.popups': 0）
remove_pref(arg)删除内存中的偏好配置arg：配置项名称
remove_pref_from_file(arg)删除配置文件中的偏好配置arg：配置项名称
clear_prefs()清空所有偏好配置无参数

五、运行时与网络配置

1. 超时与重试
方法名作用参数说明
set_timeouts(base=None, page_load=None, script=None)设置超时时间（秒）base：默认超时；page_load：页面加载超时；script：JS运行超时
set_retry(times=None, interval=None)设置连接重试策略times：重试次数；interval：重试间隔（秒）
2. 网络与加载策略
方法名作用参数说明
set_load_mode(mode='normal')设置加载模式（提高效率）mode：'normal'（默认）、'eager'（DOM就绪）、'none'（仅连接）
set_proxy(proxy)设置浏览器代理（单次生效）proxy：代理字符串（如'http://localhost:1080'，不支持带认证代理）
set_user_agent(user_agent)设置用户代理字符串user_agent：完整UA文本（如'Mozilla/5.0 (Windows)...'）

六、实验性配置（Chrome Flags）

方法名作用参数说明
set_flag(flag, value=None)设置Chrome实验性参数（chrome://flags）flag：参数名；value：参数值（无值参数不传）
clear_flags()清空内存中的实验性参数无参数
clear_flags_in_file()清空配置文件中的实验性参数无参数

七、状态保存与属性

1. 配置保存
方法名作用参数说明
save(path=None)保存配置到ini文件path：文件路径（None时保存到当前读取的文件）
save_to_default()保存到内置ini文件无参数
2. 只读属性（获取当前配置）
属性名类型说明
addressstr浏览器连接地址（格式ip:port）
browser_pathstr浏览器可执行文件路径
user_data_pathstr用户数据目录路径
timeoutsdict超时设置（base, page_load, script）
argumentslist启动参数列表
extensionslist插件路径列表

关键使用规则

  1. 配置生效时机：所有设置需在浏览器启动前完成（通过Chromium(co)传递配置对象）。
  2. 互斥方法：
    • 端口相关：set_local_port()/set_address()与auto_port()互斥，后调用优先。
    • 路径相关：set_user_data_path()与auto_port()互斥（自动分配路径会覆盖手动设置）。
  3. 多进程限制：auto_port()不支持多进程，需通过scope参数为每个进程分配独立端口范围。
  4. 插件兼容性：推荐使用解压后的插件目录，而非.crx文件（稳定性更高）。

相关文章：

【爬虫】DrissionPage-4

官网文档：https://www.drissionpage.cn/browser_control/browser_options 一、核心对象与初始化 1. 类定义 作用：管理Chromium内核浏览器的启动配置，仅在浏览器启动时生效。导入方式：from DrissionPage import ChromiumOptions…...

编程日记 2025/6/21 1:07:24

数据通信原理 光纤通信 期末速成

一、图表题 1. 双极性不归零、单极性不归零、曼彻斯特码、抑制载频2ASK，2PSK、2DPSK信号的波形 双极性不归零 和 单极性不归零：不归零意思是 0 低 1 高 非归零编码（NRZ）：用不同电平表示二进制数字，常以…...

编程日记 2025/5/29 16:06:28

Java微服务架构实战：Spring Boot与Spring Cloud的完美结合

Java微服务架构实战：Spring Boot与Spring Cloud的完美结合 引言 随着云计算和分布式系统的快速发展，微服务架构已成为现代软件开发的主流模式。Java作为一门成熟的编程语言，凭借其强大的生态系统和丰富的框架支持，成为构建微服务…...

编程日记 2025/5/28 8:36:32

React底层架构深度解析：从虚拟DOM到Fiber的演进之路

一、虚拟DOM：性能优化的基石 1.1 核心工作原理 React通过JSX语法将组件转换为轻量级JavaScript对象（即虚拟DOM），而非直接操作真实DOM。这一过程由React.createElement()实现，其结构包含元素类型、属性和子节点等信息&a…...

编程日记 2025/6/21 0:29:07

今日行情明日机会——20250516

上证缩量收阴线，小盘股表现相对更好，上涨的个股大于下跌的，日线已到前期压力位附近，注意风险。 深证缩量收假阳线，临近日线周期上涨末端，注意风险。 2025年5月16日涨停股行业方向分析 机器人概念&#x…...

编程日记 2025/6/21 0:40:34

小结：网页性能优化

网页性能优化是提升用户体验、减少加载时间和提高资源利用率的关键。以下是针对网页生命周期和事件处理的性能优化技巧，结合代码示例，重点覆盖加载、渲染、事件处理和资源管理等方面。 1. 优化加载阶段 减少关键资源请求： 合并CSS/JS文件&a…...

编程日记 2025/6/21 0:17:15

2025年PMP 学习十五 第10章 项目资源管理

2025年PMP 学习十五 第10章 项目资源管理 序号过程过程组1规划沟通管理规划2管理沟通执行3监控沟通监控 项目沟通管理包括为确保项目的信 息及时且恰当地规划、收集、生成、发布、存储、检索、管理、控制、监 警和最终处理所需的过程； 项目经理绝大多数时间都用于与…...

编程日记 2025/5/28 16:21:25

速通RocketMQ配置

配置RocketMQ又出问题了，赶紧记录一波 这个是我的RocketMQ配置文件 通过网盘分享的文件： 链接: https://pan.baidu.com/s/1UUYeDvKZFNsKPFXTcalu3A?pwd8888 提取码: 8888 –来自百度网盘超级会员v9的分享 里面有这三个东西 里面还有一些broker和names…...

编程日记 2025/6/21 1:00:19

宇宙中是否存在量子现象?

一、宇宙中的量子现象 好的，请提供具体的搜索词或意图，以便进行检索和生成简洁的回答。 好的，请提供具体的搜索词或意图，以便进行检索和生成简洁的回答。 量子涨落与宇宙结构 早期宇宙的量子涨落（微观尺度的不确定性…...

编程日记 2025/6/21 0:32:48

背包问题详解

一、问题引入：什么是背包问题？ 背包问题是经典的动态规划问题，描述如下： 有一个容量为 m 的背包 有 n 个物品，每个物品有体积 v 和价值 w 目标：选择物品装入背包，使总价值最大且总体积不超过…...

编程日记 2025/5/27 6:49:33

oracle linux 95 升级openssh 10 和openssl 3.5 过程记录

1. 安装操作系统，注意如果可以选择，选择安装开发工具，主要是后续需要编译安装，需要gcc 编译工具。 2. 安装操作系统后，检查zlib 、zlib-dev是否安装，如果没有，可以使用安装镜像做本地源安装&a…...

编程日记 2025/5/20 8:16:04

Tomcat发布websocket

一、tomcal的lib放入文件 tomcat-websocket.jar websocket-api.jar 二、代码示例 package com.test.ws;import com.test.core.json.Jmode;import javax.websocket.*; import javax.websocket.server.ServerEndpoint; import java.util.concurrent.CopyOnWriteArraySet; imp…...

编程日记 2025/6/21 0:24:36

[思维模式-41]：在确定性与不确定性的交响中：人类参与系统的韧性密码。

前言： “任何信息系统，无论怎么复杂，哪怕是几万人同时开发的系统，如无线通信网络，通过标准、设计、算法、完毕的测试、过程的管控等，都是可预测和确定性的。 一个系统，一旦叠加了人的元素和因素…...

编程日记 2025/5/28 18:05:35

维智定位 Android 定位 SDK

概述 维智 Android 定位 SDK是为 Android 移动端应用提供的一套简单易用的定位服务接口，为广大开发者提供融合定位服务。通过使用维智定位SDK，开发者可以轻松为应用程序实现极速、智能、精准、高效的定位功能。 重要：为了进一步加强对最终用…...

编程日记 2025/5/30 12:30:37

Vue3：脚手架

工程环境配置 1.安装nodejs 这里我已经安装过了，只需要打开链接Node.js — Run JavaScript Everywhere直接下载nodejs，安装直接一直下一步下一步 安装完成之后我们来使用电脑的命令行窗口检查一下版本 查看npm源 这里npm源的地址是淘宝的源&#xff0…...

编程日记 2025/5/23 19:07:48

Android native崩溃问题分析

最近在做NDK项目的时候，出现了启动应用就崩溃了，崩溃日志如下： 10:41:04.743 A Build fingerprint: samsung/g0qzcx/g0q:13/TP1A.220624.014/S9060ZCU4CWH1:user/release-keys 10:41:04.743 A Revision: 12 10:41:04.743 A ABI: arm64…...

编程日记 2025/6/3 0:32:48

Playwright vs Selenium：2025 年 Web 自动化终极对比指南

1. 引言 Web 自动化领域正在迅速发展，在 2025 年，Playwright 与 Selenium 之间的选择已成为开发团队面临的重要决策。Selenium 作为行业标准已有十多年，而 Playwright 作为现代替代方案，以卓越的性能和现代化特性迅速崛起。 本指…...

编程日记 2025/6/20 10:40:11

数据结构（3）线性表-链表-单链表

我们学习过顺序表时，一旦对头部或中间的数据进行处理，由于物理结构的连续性，为了不覆盖，都得移，就导致时间复杂度为O（n），还有一个潜在的问题就是扩容，假如我们扩容前是10…...

编程日记 2025/5/29 13:37:59

Python 中的 typing.ClassVar 详解

一、ClassVar 的定义和基本用途 ClassVar 是 typing 模块中提供的一种特殊类型，用于在类型注解中标记类变量（静态变量）。根据官方文档，使用 ClassVar[…] 注释的属性表示该属性只在类层面使用，不应在实例上赋值 例如&…...

编程日记 2025/5/29 20:14:35

主流数据库运维故障排查卡片式速查表与视觉图谱

主流数据库运维故障排查卡片式速查表与视觉图谱 本文件将主文档内容转化为模块化卡片结构，并补充数据库结构图、排查路径图、锁机制对比等视觉图谱，以便在演示、教学或现场排障中快速引用。 📌 故障卡片速查：连接失败 数据库检查…...

编程日记 2025/6/21 0:26:40

Unity：延迟执行函数：Invoke()

目录 Unity 中的 Invoke() 方法详解 什么是 Invoke()？ 基本使用方法 使用要点 延伸功能 ❗️Invoke 的局限与注意事项 在Unity中，延迟执行函数是游戏逻辑中常见的需求，比如： 延迟切换场景 延迟播放音效或动画 给玩家时间…...

编程日记 2025/5/29 21:12:45

医学影像系统性能优化与调试技术：深度剖析与实践指南

🧑 博主简介：CSDN博客专家、CSDN平台优质创作者，高级开发工程师，数学专业，10年以上C/C, C#, Java等多种编程语言开发经验，拥有高级工程师证书；擅长C/C、C#等开发语言，熟悉Java常用开…...

编程日记 2025/5/26 10:00:38

【HTML5学习笔记1】html标签（上）

web标准（重点） w3c 构成：结构、表现、行为，结构样式行为相分离 结构：网页元素整理分类 html 表现：外观css 行为：交互 javascript html标签 1.html语法规范 1） 所有标签都在…...

编程日记 2025/5/29 16:59:24

SearchIndexablesProvider

实现的 provider 根据索引添加文档可知，该 provider 需要继承自 frameworks/base/core/java/android/provider/SearchIndexablesProvider.java 类，并且添加权限 android.permission.READ_SEARCH_INDEXABLES。过滤 Settings 代码，可以轻易找到…...

编程日记 2025/5/26 10:42:29

《k-means 散点图可视化》实验报告

一，实验目的 本次实验旨在通过Python编程实现k - means算法的散点图可视化。学习者将编写代码，深入理解聚类分析基本原理与k - means算法实现流程，掌握数据聚类及可视化方法，以直观展示聚类结果。 二，实验原理 k-mea…...

编程日记 2025/5/29 15:24:09

数学复习笔记 12

前言 现在做一下例题和练习题。矩阵的秩和线性相关。另外还要复盘前面高数的部分的内容。奥，之前矩阵的例题和练习题，也没有做完，行列式的例题和练习题也没有做完。累加起来了。以后还是得学一个知识点就做一个部分的内容，日拱一…...

编程日记 2025/5/24 16:28:43

Web-CSS入门

WEB前端，三部分：HTML部分、CSS部分、Javascript部分。 1.HTML部分：主要负责网页的结构层 2.CSS部分：主要负责网页的样式层 3.JS部分：主要负责网页的行为层 **基本概念** 层叠样式表，Cascading Style Sh…...

编程日记 2025/5/28 15:17:16

Qt/C++编写音视频实时通话程序/画中画/设备热插拔/支持本地摄像头和桌面

一、前言 近期有客户提需求，需要在嵌入式板子上和电脑之间音视频通话，要求用Qt开发，可以用第三方的编解码组件，能少用就尽量少用，以便后期移植起来方便。如果换成5年前的知识储备，估计会采用纯网络通信收发…...

编程日记 2025/5/29 20:12:00

Ubuntu快速安装Python3.11及多版本管理

之前文章和大家分享过，将会出一篇专栏（从电脑装ubuntu系统，到安装ubuntu的常用基础软件：jdk、python、node、nginx、maven、supervisor、minio、docker、git、mysql、redis、postgresql、mq、ollama等），目前…...

编程日记 2025/6/1 8:10:21

Qt功能区：Ribbon使用

Ribbon使用 1. Ribbon功能区介绍1.1 样式 2. 基本功能区设置2.1 安装动态库（推荐）2.2 在MainWindow中使用Ribbon2.3 在QWidget中使用SARibbonBar2.4 创建Category和Pannel2.5 ContextCategory 上下文标签创建 2.6 ApplicationButton2.7 QuickAccessBar和…...

编程日记 2025/5/29 14:43:34

【学习心得】Jupyter 如何在conda的base环境中其他虚拟环境内核

如果你在conda的base环境运行了jupyter lab打开了一个ipynb文本，此时选择的内核是base虚拟环境的Python内核，如果我想切换成其他conda虚拟环境来运行这个文件该怎么办？下面我们试着还原一下问题，并且解决问题。 【注】 这个问题出…...

编程日记 2025/5/26 10:43:16

在微创手术中使用Kinova轻型机械臂进行多视图图像采集和3D重建

在微创手术中，Kinova轻型机械臂通过其灵活的运动控制和高精度的操作能力，支持多视图图像采集和3D重建。这种技术通过机械臂搭载的光学系统实现精准的多角度扫描，为医疗团队提供清晰且详细的解剖结构模型。其核心在于结合先进的传感器配置与重…...

编程日记 2025/5/29 22:50:00

[Java][Leetcode middle] 238. 除自身以外数组的乘积

第一个想法是： 想求出所有元素乘积，然后除以i对应的元素本书；这个想法是完全错误的： nums[I] 可能有0题目要求了不能用除法 第二个想法是： 其实写之前就知道会超时，但是我什么都做不到啊！ 双…...

编程日记 2025/5/27 7:02:18

【leetcode】144. 二叉树的前序遍历

给你二叉树的根节点 root ，返回它节点值的 前序 遍历。 示例 1： 输入：root [1,null,2,3] 输出：[1,2,3] 解释： 示例 2： 输入：root [1,2,3,4,5,null,8,null,null,6,7,9] 输出&#xff1a…...

编程日记 2025/5/29 11:33:21

SpringBoot常用注解详解

文章目录 1. 前言2. 核心注解2.1 SpringBootApplication2.2 Configuration2.3 EnableAutoConfiguration2.4 ComponentScan2.5 Bean2.6 Autowired2.7 Qualifier2.8 Primary2.9 Value2.10 PropertySource2.11 ConfigurationProperties2.12 Profile 3. Web开发相关注解3.1 Control…...

编程日记 2025/5/26 11:36:08

中文分词与数据可视化02

jieba 库简介 jieba（结巴分词）是一个高效的中文分词工具，广泛用于中文自然语言处理（NLP）任务。它支持以下功能： 分词：将句子切分为独立的词语。 自定义词典：添加专业词汇或新词&am…...

编程日记 2025/5/27 15:22:02

SSH主机密钥验证失败：全面解决方案与技术手册

一、问题本质与安全机制解析 SSH(Secure Shell)的主机密钥验证是安全通信的核心机制，当出现"Host key verification failed"错误时，表明客户端检测到服务器身份异常。这种设计可有效防范中间人攻击(Man-in-the-Middle)，其工作原理…...

编程日记 2025/5/29 0:42:28

buuctf Crypto-鸡藕椒盐味1

1.题目： 公司食堂最新出了一种小吃，叫鸡藕椒盐味汉堡，售价八块钱，为了促销，上面有一个验证码，输入后可以再换取一个汉堡。但是问题是每个验证码几乎都有错误,而且打印的时候倒了一下。小明买到了一个汉堡&a…...

编程日记 2025/5/29 10:20:52

真题卷001——算法备赛

蓝桥杯2024年C/CB组国赛卷 1.合法密码 问题描述 小蓝正在开发自己的OJ网站。他要求用户的密码必须符合一下条件： 长度大于等于8小于等于16必须包含至少一个数字字符和至少一个符号字符 请计算一下字符串，有多少个子串可以当作合法密码。字符串为&am…...

编程日记 2025/5/27 8:22:44

基于MCP的桥梁设计规范智能解析与校审系统构建实践

引言 在腾讯云开发者社区中，有多种MCP工具可以用于本系统的开发和优化中，以下是一些潜在的应用场景： ‌PDF解析工具‌：如pdfplumber等，可以用于规范文件的预处理，提取文本和图像信息。‌自然语言处理工具…...

编程日记 2025/5/22 2:16:27

matlab与python问题解析

Python requests乱码的五种解决办法 Python requests乱码的五种解决办法_requests.get乱码-CSDN博客 requests库post请求参数data、json和files的使用 requests库post请求参数data、json和files的使用_requests post data-CSDN博客 如何在浏览器中查看POST请求提交的数据内…...

编程日记 2025/5/29 16:59:09

【分布式锁通关指南 10】源码剖析redisson之MultiLock的实现

引言 本期我们将把目光聚焦在 Redisson 中另一个颇具代表性的分布式锁实现——MultiLock。它的核心思想是：一次性对多个独立的 RLock 进行加锁或解锁操作，只有当多个锁都成功加锁时才算真正完成锁的获取，一旦有任何一个失败，整体操…...

编程日记 2025/5/29 13:11:49

MySQL 8.0 OCP 1Z0-908 131-140题

Q131.You have upgraded the MySQL binaries from 5.7.28 to 8.0.18 by using an in-place upgrade. Examine the message sequence generated during the first start of MySQL 8.0.18: 。。。[System]。。。/usx/sbin/mysqld (mysqld 8.0.18-commercial) starting as process…...

编程日记 2025/5/29 13:38:04

实战解析MCP-使用本地的Qwen-2.5模型-AI协议的未来？

文章目录 目录 文章目录 前言 一、MCP是什么？ 1.1MCP定义 1.2工作原理 二、为什么要MCP？ 2.1 打破碎片化的困局 2.2 实时双向通信，提升交互效率 2.3 提高安全性与数据隐私保护 三、MCP 与 LangChain 的区别 3.1 目标定位不同 3.…...

编程日记 2025/5/29 12:00:03

从零开始学习three.js（20）：three.js实现天气与时间动态效果（白天，黑夜，下雨，下雪）

基于Three.js的天气与时间动态效果实现 本文将通过代码解析，介绍如何使用Three.js实现动态天气（下雨、下雪）和时间（白天、黑夜）切换效果。完整代码基于一个交互式天气模拟项目，支持粒子密度、速度和环境亮…...

编程日记 2025/5/17 5:58:50

sqli-labs靶场23-28a关（过滤）

目录 less23（--过滤） less24（二次注入） less25（or过滤） less25a（or过滤） less26（--和空格过滤报错） less26a（--空格过滤盲注） …...

编程日记 2025/5/22 0:30:54

Sigmoid与Softmax：从二分类到多分类的深度解析

Sigmoid与Softmax：从二分类到多分类的深度解析 联系 函数性质：二者都是非线性函数 ，也都是指数归一化函数，可将输入值映射为0到1之间的实数 ，都能把输出转化成概率分布的形式，在神经网络中常作为激活函数使用。Softmax是Sigmoid的推广：从功能角度看，Softmax函数可视为…...

编程日记 2025/5/29 16:52:55

uni-app x正式支持鸿蒙原生应用开发

DCloud发布的HBuilderX 4.64正式版，支持编译uni-app x项目到鸿蒙平台，实现跨平台开发鸿蒙原生应用。至此，uni-app x 已经完成Android、iOS、鸿蒙、Web、微信小程序等主流平台全覆盖。 uni-app x，是下一代 uni-app，是一…...

编程日记 2025/5/28 22:40:30

【软件推荐——pdf2docx】

pdf2docx Open source Python library for converting PDF to DOCX. https://github.com/ArtifexSoftware/pdf2docx Install pip install pdf2docx使用 from pdf2docx import Converterpdf_file D:\my\c4611_sample_explain.pdf docx_file D:\my\c4611_sample_explain.d…...

编程日记 2025/5/27 0:13:48

HarmonyOS开发组件基础

个人简介 👨‍💻‍个人主页： 魔术师 📖学习方向： 主攻前端方向，正逐渐往全栈发展 🚴个人状态： 研发工程师，现效力于政务服务网事业 🇨🇳人生格言&…...

编程日记 2025/5/29 16:46:54