当前位置：首页 > news >正文

【爬虫】DrissionPage-3

news 来源：原创 2025/6/23 14:20:41

安装：4.1最新版本

pip install drissionpage --upgrade

官方文档：🛰️ 连接浏览器 | DrissionPage官网

1 Chromium对象

Chromium对象用于连接和管理浏览器。标签页的开关和获取、整体运行参数配置、浏览器信息获取等都由它进行。

1.1 默认方式

from DrissionPage import Chromium browser = Chromium()

1.2 指定端口或地址

from DrissionPage import Chromium # 接管9333端口的浏览器，如该端口空闲，启动一个浏览器 
browser = Chromium(9333) 
browser = Chromium('127.0.0.1:9333')

2 ChromiumOptions对象

配置好后传递给Chromium类来创建浏览器实例。

2.1 指定浏览器路径

# 导入 ChromiumOptions 
from DrissionPage import Chromium, ChromiumOptions # 创建浏览器配置对象，指定浏览器路径 
co = ChromiumOptions().set_browser_path(r'D:\chrome.exe') 
# 用该配置创建页面对象 
browser = Chromium(addr_or_opts=co)

2.2 指定 ini 文件创建

from DrissionPage import Chromium, ChromiumOptions # 创建配置对象时指定要读取的ini文件路径 
co = ChromiumOptions(ini_path=r'./config1.ini') 
# 使用该配置对象创建页面 
browser = Chromium(addr_or_opts=co)

2.3 手动指定端口和路径

from DrissionPage import Chromium, ChromiumOptions co = ChromiumOptions().set_local_port(9333).set_user_data_path(r'C:\tmp') 
browser = Chromium(co)

2.3.1 auto_port()方法

每次使用空闲的端口和临时用户文件夹创建浏览器，并且运行数据会自动清除。

多进程使用时，可用scope参数指定每个进程使用的端口范围，以免发生冲突。

from DrissionPage import Chromium, ChromiumOptions co = ChromiumOptions().auto_port() 
tab1 = Chromium(addr_or_opts=co).latest_tab 
tab2 = Chromium(addr_or_opts=co).latest_tab tab2.get('http://DrissionPage.cn') 
tab1.get('https://www.baidu.com')

2.3.2 new_env()方法

指定启动全新的浏览器。适合批量登陆，多用户

from DrissionPage import Chromium, ChromiumOptions co = ChromiumOptions().new_env() 
browser = Chromium(co)

2.3.3 use_system_user_path()方法

使用系统安装的浏览器的默认用户文件夹。以便复用用户信息和插件等。

from DrissionPage import Chromium, ChromiumOptions co = ChromiumOptions().use_system_user_path() 
browser = Chromium(co)

默认配置下，由 DrissionPage 创建的浏览器，用户文件夹在系统临时文件夹的DrissionPage\userData文件夹内，以端口命名。

假如用 DrissionPage 默认配置在 9222 端口创建一个浏览器，那么用户数据就存放在C:\Users\用户名\AppData\Local\Temp\DrissionPage\userData\9222路径。

这个用户文件夹不会主动清除，下次再使用 9222 端口时，会继续使用。

如果使用auto_port()，会存放在系统临时文件夹的DrissionPage\autoPortData文件夹内，以端口命名。

如C:\Users\用户名\AppData\Local\Temp\DrissionPage\autoPortData\21489。

这个用户文件夹是临时的，用完会被主动清除。

3 接管浏览器

3.1 配置的 ip:port 信息不变

使程序不必每次重新开始，可以单独调试某个功能

from DrissionPage import Chromium # 在9333端口启动浏览器同时创建对象，如果浏览器已经存在，则接管它 
browser = Chromium(9333)

3.2 手动打开

右键点击浏览器图标，选择属性

在“目标”路径后面加上 --remote-debugging-port=端口号（注意最前面有个空格）

点击确定

在程序中的浏览器配置中指定接管该端口浏览器

文件快捷方式的目标路径设置："D:\chrome.exe" --remote-debugging-port=9333

接管浏览器时只有local_port、address参数是有效的。

3.3 bat 文件启动

可以把上一种方式的目标路径设置写进 bat 文件（Windows系统），运行 bat 文件来启动浏览器，再用程序接管。

新建一个文本文件，在里面输入以下内容（路径改为自己电脑的）："D:\chrome.exe" --remote-debugging-port=9333

保存后把后缀改成 bat，然后双击运行就能在 9333 端口启动一个浏览器。程序代码则和上一个方法一致。

4 多浏览器共存

4.1 指定独立端口和数据文件夹

from DrissionPage import Chromium, ChromiumOptions# 创建多个配置对象，每个指定不同的端口号和用户文件夹路径
co1 = ChromiumOptions().set_paths(local_port=9111, user_data_path=r'D:\data1')
co2 = ChromiumOptions().set_paths(local_port=9222, user_data_path=r'D:\data2')# 创建多个页面对象
tab1 = Chromium(addr_or_opts=co1).latest_tab
tab2 = Chromium(addr_or_opts=co2).latest_tab# 每个页面对象控制一个浏览器
tab1.get('http://DrissionPage.cn')
tab2.get('https://www.baidu.com')

【爬虫】DrissionPage-3

安装：4.1最新版本 pip install drissionpage --upgrade 官方文档：🛰️ 连接浏览器 | DrissionPage官网 1 Chromium对象 Chromium对象用于连接和管理浏览器。标签页的开关和获取、整体运行参数配置、浏览器信息获取等都由它进行。 1.1 默认…...

编程日记 2025/6/23 14:20:41

网络爬虫学习之httpx的使用

开篇本文整理自《Python3 网络爬虫实战》，主要是httpx的使用。笔记整理使用urllib库requests库的使用，已经可以爬取绝大多数网站的数据，但对于某些网站依然无能为力。这是因为这些网站强制使用HTTP/2.0协议访问，这时urllib和r…...

编程日记 2025/6/23 15:53:53

TASK02【Datawhale 组队学习】使用 LLM API 开发应用

文章目录 system prompt 和 user prompt高效prompt：用清晰、详尽的语言表达 Prompt原则一：清晰，具体的指令分隔符寻求结构化的输出要求模型检查是否满足条件提供少量示例 "Few-shot" prompting 原则二，给模型时间去思考…...

编程日记 2025/6/22 21:43:01

黑马k8s（七）

1.Pod介绍查看版本： 查看类型,这里加s跟不加s没啥区别，可加可不加 2.Pod基本配置 3.镜像拉去策略本地没有这个镜像，策略是Never，启动失败查看拉去策略： 更改拉去策略： 4.启动命令运行的是nginx、busv…...

编程日记 2025/6/23 16:51:49

【FMC216】基于 VITA57.1 的 2 路 TLK2711 发送、2 路 TLK2711 接收 FMC 子卡模块

产品概述 FMC216 是一款基于 VITA57.1 标准规范的 2 路 TLK2711 接收、2 路 TLK2711 发送 FMC 子卡模块。该板卡支持 2 路 TLK2711 数据的收发，支持线速率 1.6Gbps，经过 TLK2711 高速串行收发器，可以将 1.6Gbps 的高速串行数据解串为 16 位并…...

编程日记 2025/6/23 10:09:57

方案一（应用中心安装-推荐）： 梦精灵跨平台AI提示词管理工具 - Microsoft Edge AddonsMake Microsoft Edge your own with extensions that help you personalize the browser and be more productive.https://microsoftedge.microsoft.com…...

编程日记 2025/5/29 17:49:08

Ubuntu shell指定conda的python环境启动脚本

Ubuntu shell指定conda的python环境启动脚本。通过指令，获取目前系统的conda虚拟python环境 conda info -e 如下图所示，为我自己电脑的python环境 # conda environments: # base * /home/ubuntu/miniconda3 kitti …...

编程日记 2025/6/3 21:10:48

深入理解无监督学习与K-means聚类算法：原理与实践

一、无监督学习概述无监督学习(Unsupervised Learning)是机器学习的重要分支之一，与有监督学习不同，它不需要预先标记的训练数据。在无监督学习中，计算机仅根据样本的特征或样本间的相关性，从数据中自动发现隐藏的模式或结构。 …...

编程日记 2025/6/2 17:15:33

单片机-STM32部分：16、Git工具使用

Docshttps://x509p6c8to.feishu.cn/wiki/Pftrw3Z6niRlewkurnyctyw1nQx 使用Git管理本地仓库的好处是，可以知道自己每次修改了哪些内容，随时进行版本切换。待完善。...

编程日记 2025/5/28 10:41:27

扬州卓韵酒店用品：优质洗浴用品，提升酒店满意度与品牌形象

在酒店提供的服务里，沐浴用品占据了非常重要的地位，其质量与种类直接关系到客人洗澡时的感受。好的沐浴用品能让客人洗澡时感到舒心和快乐，反之，质量不好的用品可能会影响客人整个住宿期间的愉悦心情。挑选恰当的洗浴用品不仅能够…...

编程日记 2025/6/3 2:27:44

Coze 实战教程 | 10 分钟打造你的AI 助手

> 文章中的 xxx 自行替换，文章被屏蔽了。 📱 想让你的xxx具备 AI 对话能力？本篇将手把手教你，如何用 Coze 平台快速构建一个能与用户自然交流、自动回复提问的 xxx助手，零代码、超高效！ 📌…...

编程日记 2025/6/4 5:41:05

使用 frp 实现内网穿透：从基础到进阶

在日常开发中，我们经常会遇到需要将本地服务暴露给外部用户的情况，比如测试同学需要临时测试一个本地开发的 Web 服务，或者希望在出差时远程访问家里的 NAS。这些需求的核心问题都是如何实现内网穿透。一、为什么选择 frp？ 经过…...

编程日记 2025/6/23 14:05:33

redis中key的过期和淘汰

一、过期（redis主动删除） 设置了ttl过期时间的key，在ttl时间到的时候redis会删除过期的key。但是redis是惰性过期。惰性过期：redis并不会立即删除过期的key，而是会在获取key的时候判断key是否过期，如果发现…...

编程日记 2025/5/29 7:38:25

鸿蒙OSUniApp制作多选框与单选框组件#三方框架 #Uniapp

使用UniApp制作多选框与单选框组件前言在移动端应用开发中，表单元素是用户交互的重要组成部分。尤其是多选框（Checkbox）和单选框（Radio），它们几乎存在于每一个需要用户做出选择的场景中。虽然UniApp提供…...

编程日记 2025/6/20 23:46:24

和为target问题汇总

文章目录习题题型1377.组合总和 IV 题型2494.目标和和为target的问题，可以有很多种问题的形式的考察，当然，及时的总结与回顾有利于我们熟练掌握这些知识！ 题型1 爬楼梯问题，是对于转移步伐有规定，在不同…...

编程日记 2025/6/21 1:41:12

Ubuntu使用Docker搭建SonarQube企业版（含破解方法）

目录 Ubuntu使用Docker搭建SonarQube企业版（含破解方法）SonarQube介绍安装Docker安装PostgreSQL容器Docker安装SonarQube容器SonarQube汉化插件安装破解生成license配置agent 使用 Ubuntu使用Docker搭建SonarQube企业版（含破解方法&#xff…...

编程日记 2025/6/22 5:44:53

牛客网 NC22167: 多组数据a+b

牛客网 NC22167: 多组数据ab 题目分析这道题目来自牛客网（题号：NC22167），要求我们计算两个整数a和b的和。乍看简单，但有以下特殊点需要注意： 输入包含多组测试数据每组输入两个整数当两个整数都为0时表示…...

编程日记 2025/6/22 2:06:42

EdgeShard：通过协作边缘计算实现高效的 LLM 推理

(2024-05-23) EdgeShard: Efficient LLM Inference via Collaborative Edge Computing (EdgeShard：通过协作边缘计算实现高效的 LLM 推理) 作者: Mingjin Zhang; Jiannong Cao; Xiaoming Shen; Zeyang Cui;期刊: （发表日期: 2024-05-23）期刊分区:本地链接: Zhang 等 - 2024 …...

编程日记 2025/6/19 23:56:18

π0: A Vision-Language-Action Flow Model for General Robot Control

TL;DR 2024 年 Physical Intelligence 发布的 VLA 模型 π0，基于 transformer 流匹配（flow matching）架构，当前开源领域最强的 VLA 模型之一。 Paper name π0: A Vision-Language-Action Flow Model for General Robot Contr…...

编程日记 2025/6/20 12:53:47

RabbitMQ高级篇-MQ的可靠性

目录 MQ的可靠性 1.如何设置数据持久化 1.1.交换机持久化 1.2.队列持久化 1.3.消息持久化 2.消息持久化队列持久化： 消息持久化： 3.非消息持久化非持久化队列： 非持久化消息： 4.消息的存储机制 4.1持久化消息&…...

编程日记 2025/6/19 20:22:00

4、前后端联调文生文、文生图事件

4、前后端联调文生文、文生图事件原文地址 1、底部【发送按钮】事件触发调用后端AI程序逻辑  <!DOCTYPE html> <html><head><meta charset"utf-8"><title>小薛博客LLM大模型实战</title><me…...

编程日记 2025/6/2 10:40:29

深度学习中的提示词优化：梯度下降全解析

深度学习中的提示词优化：梯度下降全解析在您的代码中，提示词的更新方向是通过梯度下降算法确定的，这是深度学习中最基本的优化方法。一、梯度下降与更新方向 1. 核心公式对于可训练参数 θ \theta θ（这里是提示词嵌入向量），梯度下降的更新公式为：...

编程日记 2025/6/23 1:45:34

Midjourney 最佳创作思路与实战技巧深度解析【附提示词与学习资料包下载】

引言在人工智能图像生成领域，Midjourney 凭借其强大的艺术表现力和灵活的创作模式，已成为设计师、艺术家和创意工作者的核心工具。作为 CSDN 博主 “小正太浩二”，我将结合多年实战经验，系统分享 Midjourney 的创作方法论&#x…...

编程日记 2025/6/20 2:08:46

【数字图像处理】半开卷复习提纲

1：要求 2张A4纸以内，正反面均可写 （不过博主由于墨水浸到背面了，采用了把2张单面通过双面胶粘起来的方法，结果考前半个小时都在用这个难用的双面胶。。。） 2：提纲内容 3：提示考的…...

编程日记 2025/6/20 8:03:40

交通运输与能源融合发展——光储充在交通上的应用完整解决方案

在全球积极应对气候变化、推动可持续发展的大背景下，交通运输与能源领域的融合发展成为关键趋势。近日，交通运输部等十部门联合发布的《关于推动交通运输与能源融合发展的指导意见》，为这两个重要行业的协同前行指明了清晰的方向，…...

编程日记 2025/6/23 9:53:59

API 接口开放平台 Crabc 3.2 发布

2025 年 5 月 15 日，API 接口开放平台 Crabc 3.2 发布。 Crabc 是一款 API 接口开发平台、企业级接口管理和 SQL2API 平台。它支持动态数据源、动态 SQL 和标签，能接入多种 SQL 或 NoSQL 数据源，包括 MySQL、Oracle、达梦、TiDB、Hive、ES 和…...

编程日记 2025/5/30 5:31:15

基于智能推荐的就业平台的设计与实现（招聘系统）（SpringBoot Thymeleaf）+文档

💗博主介绍💗：✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域和毕业设计✌ 温馨提示：文末有 CSDN 平台官方提供的老师 Wechat / QQ 名片 :) Java精品实战案例《700套》 2025最新毕业设计选题推荐…...

编程日记 2025/6/2 2:10:18

【web应用】配置Java JDK与maven3的环境变量

文章目录一、控制面板 - 系统 - 高级系统设置-环境变量二、用户变量和系统变量的配置方法一样：三、查看是否配置成功 maven有两种安装方式： 1、IDEA捆绑安装，一般是maven3【这里配置的环境变量是捆绑安装这种方式】 2、手动下载安装插件一、…...

编程日记 2025/6/20 11:22:20

编程日志5.7

二叉树的功能代码 #include<iostream> using namespace std; //二叉树结点定义 template<typename T> struct TreeNode { T val;//定义了一个类型为T的成员变量val，用于存储树节点的值 TreeNode* left;//定义了一个指向TreeNode类型的指针成员变量left，…...

编程日记 2025/6/22 13:26:18

室内定位：热门研究方向与未解难题深度解析

I. 引言：对普适性室内定位的持续探索 A. 室内定位在现代应用中的重要性室内定位系统（IPS）正迅速成为众多应用领域的基石技术，其重要性源于现代社会人们约70%至90%的时间在室内度过的事实 1。这些应用横跨多个行业，包括应急响应 1、智能建筑与智慧城市 6、医疗健康（如病…...

编程日记 2025/6/1 14:54:31

图片通过滑块小图切换大图放大镜效果显示

图片通过滑块小图切换大图放大镜效果显示实现目标： 显示一组图片列表，鼠标进入小图记录当下小图下标，通过小图下标在数组中对应图片显示到大图位置； 鼠标进入大图位置时，带动滑块移动，并将放大两倍的大图…...

编程日记 2025/6/22 2:07:57

[250515] 腾讯推出 AI 编程助手 CodeBuddy，对标 Cursor

目录腾讯推出 AI 编程助手 CodeBuddy 腾讯推出 AI 编程助手 CodeBuddy 腾讯发布 CodeBuddy，一款 AI 编程助手，旨在提升开发者效率。主要亮点： CodeBuddy： 全新英文品牌，面向全球开发者。Craft 模式： A…...

编程日记 2025/6/3 19:56:26

OpenCV光流估计：原理、实现与应用

一、什么是光流？ 光流(Optical Flow)是计算机视觉中描述图像序列中像素运动模式的重要概念。它表示图像中物体在连续帧之间的表观运动，是由物体或相机的运动引起的。光流的基本假设亮度恒常性：同一物体点在连续帧中的亮度保持不变时间持…...

编程日记 2025/6/1 4:05:02

使用 QGIS 插件 OpenTopography DEM Downloader 下载高程数据（申请key教程）

使用 QGIS 插件 OpenTopography DEM Downloader 下载高程数据目录使用 QGIS 插件 OpenTopography DEM Downloader 下载高程数据📌 简介🛠 插件安装方法🌍 下载 DEM 数据步骤🔑 注册 OpenTopography 账号（如使用 Cope…...

编程日记 2025/6/2 15:56:09

PHP基础知识

【学习资料】视频： https://www.bilibili.com/video/BV1Xh411S7G1?spm_id_from333.788.videopod.episodes&vd_sourcebe26b82da70367069ab00d6db4f4ffc0 文档：https://www.runoob.com/php/php-tutorial.html 目录 1，PHP是什么2&#xff…...

编程日记 2025/6/22 13:57:29

Kotlin 和 Java 混合开发时需要注意哪些问题

1 空安全（Null Safety） Kotlin 有严格的空安全机制（如非空类型的 String 和可空类型 String?），但是 Java 没有： Kotlin 代码调用 Java 代码：Java 中的所有引用类型默认都是可空的&#xff0c…...

编程日记 2025/6/2 3:06:30

乘法口诀练习神器

请你利用python语言开发一个“乘法口诀练习神器”，主要辅助小学生练习乘法口诀，主要功能如下： 1. 能够随机循环出10道题，可以是乘法或者是除法。如果是乘法，确保两个因数都是1-9之间的整数；如果是除法&…...

编程日记 2025/6/3 14:45:35

How to configure Linux mint desktop

Backgrounds apt install mint-backgrounds-*Theme...

编程日记 2025/5/25 4:18:43

【golang】DNS 资源记录（RR）接口

Go 中 miekg/dns 包对 DNS 资源记录（RR）接口的定义： type RR interface {Header() *RR_HeaderString() stringcopy() RRlen(off int, compression map[string]struct{}) intpack(...)unpack(...)parse(...)isDuplicate(r2 RR) bool }这个接…...

编程日记 2025/6/2 1:56:14

Vue中的自定义指令适用于哪些场景

自定义指令在 Vue 中非常灵活且功能强大，它们可以在多种场景中使用，以实现特定的 DOM 操作或行为自定义样式和类自定义指令可以用来动态地添加或修改元素的样式和类。这在需要根据数据动态调整样式时非常有用。 <div id"app"><d…...

编程日记 2025/6/19 22:11:51

边缘计算平台

本文来源 ： 腾讯元宝边缘计算平台是一种在靠近数据源头的网络边缘侧部署的分布式计算架构，通过融合网络、计算、存储和应用核心能力，就近提供实时、低延迟的智能服务。以下是其核心要点： 1. 定义与特点定义&a…...

编程日记 2025/6/2 2:20:41

2025年5月H12-831新增题库带解析

组播基础以下关于PIM-SM(SSM)的描述，错误的是哪一项? PIM-SM(SSM)无需维护RPPIM-SM(SSM)模型形成的组播分发树会一直存在，不会因为没有组播流量而消失PIM-SM(SSM)可以在成员端DR上基于组播源地址直接反向建立SPT在PIM-SM(SSM)中依日需要注册组播源答…...

编程日记 2025/6/19 19:51:15

JavaScript - 运算符之逗号操作符与逗号分隔符（逗号操作符概述、逗号操作符用法、逗号分隔符、逗号分隔符用法）

一、逗号操作符概述【表达式 1】, 【表达式 2】, 【表达式 3】, ..., 【表达式 N】逗号操作符（,）允许在一个语句中从左到右执行多个表达式，并返回最后一个表达式的值二、逗号操作符用法 for 循环中的多变量控制 for (let i 0, j 10; i…...

编程日记 2025/6/2 0:02:49

AM1.5G太阳光模拟器参数

AM1.5G太阳光模拟器的参数通常包括光谱匹配度、空间均匀性、时间稳定性等关键指标，这些参数对于太阳能电池的测试和校准至关重要。以下是AM1.5G太阳光模拟器的主要参数： 光谱匹配度 AM1.5G光谱是指大气质量为1.5时，太阳光在地球表面的光谱分…...

编程日记 2025/6/23 15:40:12

YOLO11解决方案之距离计算探索

概述 Ultralytics提供了一系列的解决方案，利用YOLO11解决现实世界的问题，包括物体计数、模糊处理、热力图、安防系统、速度估计、物体追踪等多个方面的应用。测量两个物体之间的间距被称为特定空间内的距离计算，YOLO11使用两个边界框的中心…...

编程日记 2025/6/21 11:27:39

OkHttp用法-Java调用http服务

特点：高性能，支持异步请求，连接池优化官方文档：提供快速入门指南和高级功能（如拦截器、连接池）的详细说明，GitHub仓库包含丰富示例。社区资源：中文教程丰富，GitHub高…...

编程日记 2025/6/22 5:59:38

c/c++中程序内存区域的划分

c/c程序内存分配的几个区域： 1.栈区：在执行函数时，函数内局部变量的存储单元都可以在栈上创建，函数执行结束时这些存储单元自动被释放，栈内存分配运算内置于处理器的指令集中，效率很高但是分配的内存容量有…...

编程日记 2025/6/21 17:12:39

‌JMeter聚合报告中的任务数和并发数区别

‌JMeter聚合报告中的任务数和并发数有本质的区别。‌ 任务数（样本数） 任务数或样本数是指在性能测试中发出的请求数量。例如，如果模拟20个用户，每个用户发送100次请求，那么总的任务数或样本数就是2000次请求‌ 并发…...

编程日记 2025/6/23 16:38:27

70、微服务保姆教程（十三）Docker容器详细讲义

一、关于Docker 1.1为什么要用docker？随着开发的项目越来越复杂，软件越来越多，服务器越来越多，我们在开发和部署的时候会遇到很多问题，比如： 1.不同的应用程序可能会有不同的应用环境，比如Java开发的网站和php开发的网站依赖的软件就不一样，如果把他们依赖的软件都…...

编程日记 2025/6/20 1:56:00

2025年5月-信息系统项目管理师高级-软考高项-成本计算题

成本计算题挣值分析、成本计算题如何学?1、PV，EV，AC需要理解，根据题目给出的一些个条件需要求得这些值;2、CV，SV，CPI，SPI公式必须记住，需要根据求得的值判断项目的进度和成本的执行情况&#x…...

编程日记 2025/6/3 19:08:37