当前位置：首页 > news >正文

【爬虫】DrissionPage-7

news 来源：原创 2025/7/30 4:42:14

官方文档：
https://www.drissionpage.cn/browser_control/get_page_info/

1. 页面信息

📌 `html`

描述：返回当前页面的 HTML 文本。
注意：不包含 <iframe> 元素的内容。
返回类型：str

示例：

html_content = tab.html
print(html_content)

📌 `json`

描述：将请求内容解析为 JSON 格式。如果访问的 URL 返回的是 *.json 文件，浏览器会直接显示 JSON 数据，此属性可以将这些数据转换为 dict 格式。
返回类型：dict

示例：

json_data = tab.json
print(json_data)

📌 `title`

描述：返回当前页面的标题文本。
返回类型：str

示例：

page_title = tab.title
print(page_title)

📌 `user_agent`

描述：返回当前页面的 user agent 信息。
返回类型：str

示例：

user_agent_info = tab.user_agent
print(user_agent_info)

📌 `save()`

描述：将当前页面保存为文件，同时返回保存的内容。如果 path 和 name 参数都为 None，则只返回内容，不保存文件。

参数：

参数名称	类型	默认值	说明
`path`	`str` / `Path`	`None`	保存路径。如果为 `None` 且 `name` 不为 `None`，则保存到当前路径。
`name`	`str`	`None`	保存的文件名。如果为 `None` 且 `path` 不为 `None`，则使用 `title` 值。
`as_pdf`	`bool`	`False`	为 `True` 时保存为 PDF，否则保存为 MHTML，并忽略 `kwargs` 参数。
`**kwargs`	多种	无	PDF 生成参数，如 `landscape`, `displayHeaderFooter`, `printBackground` 等。

返回类型：

类型说明
str 当 as_pdf 为 False 时返回 MHTML 文本。
bytes 当 as_pdf 为 True 时返回文件字节数据。

类型	说明
`str`	当 `as_pdf` 为 `False` 时返回 MHTML 文本。
`bytes`	当 `as_pdf` 为 `True` 时返回文件字节数据。

示例：

# 保存为 PDF
pdf_data = tab.save(as_pdf=True, path='path/to/save', name='page.pdf')# 保存为 MHTML
mhtml_content = tab.save(path='path/to/save', name='page.mhtml')

2. 运行结果信息

📌 `url`

描述：返回当前访问的 URL。
返回类型：str

示例：

current_url = tab.url
print(current_url)

📌 `tab_id`

描述：返回当前标签页的 ID。
返回类型：str

📌 `states.is_loading`

描述：返回页面是否正在加载状态。
返回类型：bool

示例：

is_loading = tab.states.is_loading
print(is_loading)

📌 `states.is_alive`

描述：返回页面是否仍然可用，标签页已关闭则返回 False。
返回类型：bool

示例：

is_alive = tab.states.is_alive
print(is_alive)

📌 `states.ready_state`

描述：返回页面当前加载状态，有以下四种：
- 'connecting'：网页连接中
- 'loading'：文档还在加载中
- 'interactive'：DOM 已加载，但资源未加载完成
- 'complete'：所有内容已完成加载
返回类型：str

示例：

ready_state = tab.states.ready_state
print(ready_state)

📌 `url_available`

描述：以布尔值返回当前链接是否可用。
返回类型：bool

📌 `states.has_alert`

描述：以布尔值返回页面是否存在弹出框。
返回类型：bool

示例：

has_alert = tab.states.has_alert
print(has_alert)

3. 窗口信息

📌 `rect.size`

描述：以 tuple 返回页面大小，格式为 (宽, 高)。
返回类型：Tuple[int, int]

示例：

page_size = tab.rect.size
print(page_size)

📌 `rect.window_size`

描述：以 tuple 返回窗口大小，格式为 (宽, 高)。
返回类型：Tuple[int, int]

📌 `rect.window_location`

描述：以 tuple 返回窗口在屏幕上的坐标，左上角为 (0, 0)。
返回类型：Tuple[int, int]

📌 `rect.window_state`

描述：返回窗口当前状态，有 'normal'、'fullscreen'、'maximized'、'minimized' 几种。
返回类型：str

示例：

window_state = tab.rect.window_state
print(window_state)

📌 `rect.viewport_size`

描述：以 tuple 返回视口大小，不含滚动条，格式为 (宽, 高)。
返回类型：Tuple[int, int]

📌 `rect.viewport_size_with_scrollbar`

描述：以 tuple 返回浏览器窗口大小，含滚动条，格式为 (宽, 高)。
返回类型：Tuple[int, int]

📌 `rect.page_location`

描述：以 tuple 返回页面左上角在屏幕中坐标，左上角为 (0, 0)。
返回类型：Tuple[int, int]

📌 `rect.viewport_location`

描述：以 tuple 返回视口在屏幕中坐标，左上角为 (0, 0)。
返回类型：Tuple[int, int]

📌 `rect.scroll_position`

描述：返回页面滚动条位置，格式为 (x, y)。
类型：Tuple[float, float]

示例：

scroll_position = tab.rect.scroll_position
print(scroll_position)

4. 配置参数信息

📌 `timeout`

描述：整体默认超时时间（秒），包括元素查找、点击、处理提示框、列表选择等需要用到超时设置的地方，都以这个数据为默认值。默认为 10。
返回类型：int 或 float

示例：

default_timeout = tab.timeout
print(default_timeout)

📌 `timeouts`

描述：以字典方式返回三种超时时间（秒）：
- 'base'：与 timeout 属性是同一个值
- 'page_load'：用于等待页面加载
- 'script'：用于等待脚本执行
返回类型：dict

示例：

timeouts_info = tab.timeouts
print(timeouts_info)

输出：

{'base': 10, 'page_load': 30.0, 'script': 30.0}

📌 `retry_times`

描述：网络连接失败时的重试次数，默认为 3。
返回类型：int

📌 `retry_interval`

描述：网络连接失败时的重试等待间隔秒数，默认为 2。
返回类型：int 或 float

📌 `load_mode`

描述：返回页面加载策略，有以下三种：
- 'normal'：等待页面所有资源完成加载
- 'eager'：DOM 加载完成即停止
- 'none'：页面完成连接即停止
返回类型：str

示例：

load_strategy = tab.load_mode
print(load_strategy)

5. Cookies 和缓存信息

📌 `cookies()`

描述：以列表方式返回 Cookies 信息。

参数：

参数名称	类型	默认值	说明
`all_domains`	`bool`	`False`	是否返回所有 Cookies，为 `False` 只返回当前 URL 的。
`all_info`	`bool`	`False`	返回的 Cookies 是否包含所有信息，`False` 时只包含 `name`、`value`、`domain` 信息。

返回类型：CookiesList（Cookies 组成的列表）

示例：

from DrissionPage import Chromiumtab = Chromium().latest_tab
tab.get('https://www.baidu.com')for cookie in tab.cookies():print(cookie)

输出：

{'domain': '.baidu.com', 'domain_specified': True, ......}
......

📌 指定返回类型

cookies().as_str()：返回 'name1=value1; name2=value2' 格式的字符串。
cookies().as_dict()：返回 {name1: value1, name2: value2} 格式的字典。
cookies().as_json()：返回 JSON 格式的字符串。

说明： as_str() 和 as_dict() 都只会保留 'name' 和 'value' 字段。

示例：

cookies_str = tab.cookies().as_str()
print(cookies_str)cookies_dict = tab.cookies().as_dict()
print(cookies_dict)cookies_json = tab.cookies().as_json()
print(cookies_json)

📌 `session_storage()`

描述：用于获取 sessionStorage 信息，可获取全部或单个项。
参数：

参数名称类型默认值说明
item str None 要获取的项目，为 None 则返回全部项目组成的字典。
返回类型：

类型说明
dict item 参数为 None 时返回所有项目。
str 指定 item 时返回该项目内容。

参数名称	类型	默认值	说明
`item`	`str`	`None`	要获取的项目，为 `None` 则返回全部项目组成的字典。

类型	说明
`dict`	`item` 参数为 `None` 时返回所有项目。
`str`	指定 `item` 时返回该项目内容。

示例：

session_storage_info = tab.session_storage()
print(session_storage_info)session_storage_item = tab.session_storage(item='key_name')
print(session_storage_item)

📌 `local_storage()`

描述：用于获取 localStorage 信息，可获取全部或单个项。
参数：

参数名称类型默认值说明
item str None 要获取的项目，为 None 则返回全部项目组成的字典。
返回类型：

类型说明
dict item 参数为 None 时返回所有项目。
str 指定 item 时返回该项目内容。

参数名称	类型	默认值	说明
`item`	`str`	`None`	要获取的项目，为 `None` 则返回全部项目组成的字典。

类型	说明
`dict`	`item` 参数为 `None` 时返回所有项目。
`str`	指定 `item` 时返回该项目内容。

示例：

local_storage_info = tab.local_storage()
print(local_storage_info)local_storage_item = tab.local_storage(item='key_name')
print(local_storage_item)

【爬虫】DrissionPage-7

官方文档： https://www.drissionpage.cn/browser_control/get_page_info/ 1. 页面信息 📌 html 描述：返回当前页面的 HTML 文本。注意：不包含 <iframe> 元素的内容。返回类型：str 示例： html_co…...

编程日记 2025/7/30 4:42:14

系统架构设计（十二）：统一过程模型（RUP）

简介 RUP 是由 IBM Rational 公司提出的一种面向对象的软件工程过程模型，以 UML 为建模语言，是一种以用例为驱动、以架构为中心、迭代式、增量开发的过程模型。三大特征特征说明以用例为驱动（Use Case Driven）需求分析和测…...

编程日记 2025/7/24 10:43:48

深入解析Java事件监听机制与应用

Java事件监听机制详解一、事件监听模型组成事件源（Event Source） 产生事件的对象（如按钮、文本框等组件） 事件对象（Event Object） 封装事件信息的对象（如ActionEvent包含事件源信息&#xf…...

编程日记 2025/7/28 4:22:31

1. 验证码服务 1.1 用npm安装redis npm install redis 1.2 修改config.json配置文件 1.3 新建redis.js const config_module require(./config) const Redis require("ioredis");// 创建Redis客户端实例 const RedisCli new Redis({host: config_module.redis_…...

编程日记 2025/7/27 23:18:01

Python训练营---Day29

知识点回顾类的装饰器装饰器思想的进一步理解：外部修改、动态类方法的定义：内部定义和外部定义作业：复习类和函数的知识点，写下自己过去29天的学习心得，如对函数和类的理解，对python这门工具的理解等&…...

编程日记 2025/7/22 22:54:20

Flask-SQLAlchemy_数据库配置

1、基本概念（SQLAlchemy与Flask-SQLAlchemy） SQLAlchemy 是 Python 生态中最具影响力的 ORM（对象关系映射）库，其设计理念强调 “框架无关性”，支持在各类 Python 项目中独立使用，包括 Flask、D…...

编程日记 2025/7/24 7:00:07

世界银行数字经济指标（1990-2022年）-社科数据

世界银行数字经济指标（1990-2022年）-社科数据https://download.csdn.net/download/paofuluolijiang/90623839 https://download.csdn.net/download/paofuluolijiang/90623839 此数据集涵盖了1990年至2022年间全球各国的数字经济核心指标，数据…...

编程日记 2025/7/25 16:02:04

Redis进阶知识

Redis 1.事务2. 主从复制2.1 如何启动多个Redis服务器2.2 监控主从节点的状态2.3 断开主从复制关系2.4 额外注意2.5拓扑结构2.6 复制过程2.6.1 数据同步 3.哨兵选举原理注意事项 4.集群4.1 数据分片算法4.2 故障检测 5. 缓存5.1 缓存问题 6. 分布式锁 1.事务 Redis的事务只能保…...

编程日记 2025/7/29 11:23:22

NY337NY340美光固态颗粒NC010NC012

NY337NY340美光固态颗粒NC010NC012 在存储技术的浩瀚星空中，美光的NY337、NY340、NC010、NC012等固态颗粒宛如璀璨星辰，闪耀着独特的光芒。它们承载着先进技术与无限潜力，正深刻影响着存储行业的格局与发展。一、技术架构与核心优势美光…...

编程日记 2025/7/30 4:41:21

DAY26 函数定义与参数

浙大疏锦行-CSDN博客知识点回顾： 1.函数的定义 2.变量作用域：局部变量和全局变量 3.函数的参数类型：位置参数、默认参数、不定参数 4.传递参数的手段：关键词参数 5.传递参数的顺序：同时出现三种参数类型时函数的定义…...

编程日记 2025/7/16 15:31:42

系统安全及应用

目录一、账号安全控制 1.基本安全措施 （1）系统账号清理 (2)密码安全控制 （3）历史命令，自动注销 2.用户提权和切换命令 2.1 su命令用法 2.2 sudo命令提权 2.3通过是sudo执行特权命令二、系统引导和登录控制…...

编程日记 2025/7/17 7:09:01

微信小程序地图使用射线法判断目标点是否在多边形内部（可用于判断当前位置是否在某个区域内部）

目录射线法原理简要逻辑代码小程序代码调试基础库小程序配置地图数据地图多边形点与多边形关系射线法原理使用射线法来判断，目标点是否在多边形内部这里简单说下，具体细节可以看这篇文章平面几何：判断点是否在多边形内（…...

编程日记 2025/7/25 20:24:33

第三十七节：视频处理-视频读取与处理

引言：解码视觉世界的动态密码在数字化浪潮席卷全球的今天，视频已成为信息传递的主要载体。从短视频平台的爆火到自动驾驶的视觉感知，视频处理技术正在重塑人类与数字世界的交互方式。本指南将深入探讨视频处理的核心技术，通过Python与OpenCV的实战演示，为您揭开动态影像…...

编程日记 2025/7/11 15:18:09

什么是 Flink Pattern

在 Apache Flink 中，Pattern 是 Flink CEP（Complex Event Processing）模块的核心概念之一。它用于定义你希望从数据流中检测出的事件序列模式（Event Sequence Pattern）。 🎯 一、什么是 Flink Pattern&am…...

编程日记 2025/7/30 1:20:47

ADB基本操作和命令

1.ADB的含义 adb 命令是 Android 官方提供，调试 Android 系统的工具。 adb 全称为 Android Debug Bridge（Android 调试桥），是 Android SDK 中提供的用于管理 Android 模拟器或真机的工具。 adb 是一种功能强大的命令行工具&#x…...

编程日记 2025/7/17 21:01:09

NSString的三种实现方式

oc里的NSString有三种实现方式，为_ _NSCFConstantString、__NSCFString、NSTaggedPointerString 1._ _NSCFConstantString(字面量字符串) 从字面意思上可以看出，_ _NSCFContantString可以理解为常量字符串，这种类型的字符串在编译期就确定了…...

编程日记 2025/7/23 1:23:02

2025年PMP 学习二十第13章项目相关方管理

第13章项目相关方管理序号过程过程组过程组1识别相关方启动2规划相关方管理规划3管理相关方参与与执行4监控相关方参与与监控相关方管理，针对于团队之外的相关方的，核心目标是让对方为了支持项目，以达到项目目标。文章目录第13章项目相…...

编程日记 2025/7/23 21:28:22

学习黑客Kerberos深入浅出：安全王国的门票系统

Kerberos深入浅出：安全王国的门票系统 🎫 作者: 海尔辛 | 发布时间: 2025-05-18 🔑 理解Kerberos：为什么它如此重要？ Kerberos是现代网络环境中最广泛使用的身份验证协议之一，尤其在Windows Active Dire…...

编程日记 2025/7/28 14:03:18

蓝桥杯19681 01背包

问题描述有 N 件物品和一个体积为 M 的背包。第 i 个物品的体积为 vi，价值为 wi。每件物品只能使用一次。请问可以通过什么样的方式选择物品，使得物品总体积不超过 M 的情况下总价值最大，输出这个最大价值即可。输入格式第一行输…...

编程日记 2025/7/28 21:06:55

使用 Auto-Keras 进行自动化机器学习

使用 Auto-Keras 进行自动化机器学习了解自动化机器学习以及如何使用 auto-keras 完成它。如今，机器学习并不是一个非常罕见的术语，因为像 DataCamp、Coursera、Udacity 等组织一直在努力提高他们的效率和灵活性，以便将机器学习的教育带给普…...

编程日记 2025/7/18 14:51:49

算法刷题Day9 5.18:leetcode定长滑动窗口3道题，结束定长滑动窗口,用时1h

12. 1852.每个子数组的数字种类数 1852. 每个子数组的数字种类数 - 力扣（LeetCode） 思想找到nums 所有长度为 k 的子数组中不同元素的数量。返回一个数组 ans，其中 ans[i] 是对于每个索引 0 < i < n - k，nums[i..(i …...

编程日记 2025/7/24 15:36:49

Protect Your Digital Privacy: Obfuscate, Don’t Hide

Protect Your Digital Privacy: Obfuscate, Don’t Hide In today’s digital world, hiding completely online is nearly impossible. But you can protect yourself by deliberately obfuscating your personal information — making it harder for others to track, pro…...

编程日记 2025/7/28 13:41:39

1. 页面信息

📌 html

📌 json

📌 title

📌 user_agent

📌 save()

2. 运行结果信息

📌 url

📌 tab_id

📌 states.is_loading

📌 states.is_alive

📌 states.ready_state

📌 url_available

📌 states.has_alert

3. 窗口信息

📌 rect.size

📌 rect.window_size

📌 rect.window_location

📌 rect.window_state

📌 rect.viewport_size

📌 rect.viewport_size_with_scrollbar

📌 rect.page_location

📌 rect.viewport_location

📌 rect.scroll_position