当前位置：首页 > news >正文

优化无头浏览器流量：使用Puppeteer进行高效数据抓取的成本降低策略

news 来源：原创 2025/6/9 18:50:35

概述

使用 Puppeteer 进行数据抓取时，流量消耗是一个重要考虑因素。特别是在使用代理服务时，流量成本可能显著增加。为了优化流量使用，我们可以采用以下策略：

资源拦截：通过拦截不必要的资源请求来减少流量消耗。
请求 URL 拦截：根据 URL 特征进一步拦截特定请求以减少流量。
模拟移动设备：使用移动设备配置获取更轻的页面版本。
综合优化：结合上述方法以实现最佳效果。

优化方案 1：资源拦截

资源拦截介绍

在 Puppeteer 中，page.setRequestInterception(true) 可以捕捉浏览器发起的每一个网络请求，并决定继续 (request.continue())、终止 (request.abort()) 或 自定义响应 (request.respond()).

这种方法可以显著减少带宽消耗，特别适合爬取、截图和 性能优化 场景。

可拦截的资源类型及建议

资源类型	描述	示例	拦截后的影响	推荐级别
`image`	图像资源	JPG/PNG/GIF/WebP 图像	图像将无法显示	⭐ 安全
`font`	字体文件	TTF/WOFF/WOFF2 字体	将使用系统默认字体	⭐ 安全
`media`	媒体文件	视频/音频文件	媒体内容无法播放	⭐ 安全
`manifest`	Web 应用清单	PWA 配置文件	PWA 功能可能受到影响	⭐ 安全
`prefetch`	预取资源	`<link rel="prefetch">`	对页面影响很小	⭐ 安全
`stylesheet`	CSS 样式表	外部 CSS 文件	页面样式丢失，可能影响布局	⚠️ 注意
`websocket`	WebSocket	实时通信连接	实时功能被禁用	⚠️ 注意
`eventsource`	服务器发送事件	服务器推送数据	推送功能被禁用	⚠️ 注意
`preflight`	CORS 预检请求	OPTIONS 请求	跨域请求失败	⚠️ 注意
`script`	JavaScript 脚本	外部 JS 文件	动态功能被禁用，SPA 可能无法渲染	❌ 避免
`xhr`	XHR 请求	AJAX 数据请求	无法获取动态数据	❌ 避免
`fetch`	Fetch 请求	现代 AJAX 请求	无法获取动态数据	❌ 避免
`document`	主文档	HTML 页面本身	页面无法加载	❌ 避免

推荐级别说明：

⭐ 安全：拦截对数据抓取或首屏渲染几乎没有影响；建议默认拦截。
⚠️ 注意：可能会破坏样式、实时功能或跨域请求；需要根据具体业务进行判断。
❌ 避免：高概率会导致 SPA 或动态网站无法正常渲染或获取数据，除非你非常确定不需要这些资源。

资源拦截示例代码

import puppeteer from 'puppeteer-core';const scrapelessUrl = 'wss://browser.scrapeless.com/browser?token=your_api_key&session_ttl=180&proxy_country=ANY';async function scrapeWithResourceBlocking(url) {const browser = await puppeteer.connect({browserWSEndpoint: scrapelessUrl,defaultViewport: null});const page = await browser.newPage();// 启用请求拦截await page.setRequestInterception(true);// 定义要拦截的资源类型const BLOCKED_TYPES = new Set(['image','font','media','stylesheet',]);// 拦截请求page.on('request', (request) => {if (BLOCKED_TYPES.has(request.resourceType())) {request.abort();console.log(`已拦截: ${request.resourceType()} - ${request.url().substring(0, 50)}...`);} else {request.continue();}});await page.goto(url, {waitUntil: 'domcontentloaded'});// 提取数据const data = await page.evaluate(() => {return {title: document.title,content: document.body.innerText.substring(0, 1000)};});await browser.close();return data;
}// 使用示例
scrapeWithResourceBlocking('https://www.scrapeless.com').then(data => console.log('抓取结果:', data)).catch(error => console.error('抓取失败:', error));

优化方案 2：请求 URL 拦截

除了按资源类型拦截之外，还可以根据 URL 特征进行更细粒度的拦截控制。这对于阻止广告、分析脚本以及其他不必要的第三方请求特别有效。

URL 拦截策略

按域名拦截：阻止来自特定域的所有请求
按路径拦截：阻止来自特定路径的请求
按文件类型拦截：阻止具有特定扩展名的文件
按关键词拦截：阻止其 URL 包含特定关键词的请求

常见可拦截 URL 模式

URL 模式	描述	示例	推荐
广告服务	广告网络域名	`ad.doubleclick.net`, `googleadservices.com`	⭐ 安全
分析服务	统计和分析脚本	`google-analytics.com`, `hotjar.com`	⭐ 安全
社交媒体插件	社交分享按钮等	`platform.twitter.com`, `connect.facebook.net`	⭐ 安全
跟踪像素	跟踪用户行为的像素	包含 `pixel`, `beacon`, `tracker` 的 URL	⭐ 安全
大型媒体文件	大型视频、音频文件	扩展名如 `.mp4`, `.webm`, `.mp3`	⭐ 安全
字体服务	在线字体服务	`fonts.googleapis.com`, `use.typekit.net`	⭐ 安全
CDN 资源	静态资源 CDN	`cdn.jsdelivr.net`, `unpkg.com`	⚠️ 注意

URL 拦截示例代码

import puppeteer from 'puppeteer-core';const scrapelessUrl = 'wss://browser.scrapeless.com/browser?token=your_api_key&session_ttl=180&proxy_country=ANY';async function scrapeWithUrlBlocking(url) {const browser = await puppeteer.connect({browserWSEndpoint: scrapelessUrl,defaultViewport: null});const page = await browser.newPage();// 启用请求拦截await page.setRequestInterception(true);// 定义要拦截的域名和 URL 模式const BLOCKED_DOMAINS = ['google-analytics.com','googletagmanager.com','doubleclick.net','facebook.net','twitter.com','linkedin.com','adservice.google.com',];const BLOCKED_PATHS = ['/ads/','/analytics/','/pixel/','/tracking/','/stats/',];// 拦截请求page.on('request', (request) => {const url = request.url();// 检查域名if (BLOCKED_DOMAINS.some(domain => url.includes(domain))) {request.abort();console.log(`拦截域名: ${url.substring(0, 50)}...`);return;}// 检查路径if (BLOCKED_PATHS.some(path => url.includes(path))) {request.abort();console.log(`拦截路径: ${url.substring(0, 50)}...`);return;}// 允许其他请求request.continue();});await page.goto(url, {waitUntil: 'domcontentloaded'});// 提取数据const data = await page.evaluate(() => {return {title: document.title,content: document.body.innerText.substring(0, 1000)};});await browser.close();return data;
}// 使用示例
scrapeWithUrlBlocking('https://www.scrapeless.com').then(data => console.log('抓取结果:', data)).catch(error => console.error('抓取失败:', error));

优化方案 3：模拟移动设备

模拟移动设备是另一种有效的流量优化策略，因为移动网站通常提供更轻量的页面内容。

移动设备模拟的优势

更轻量的页面版本：许多网站为移动设备提供更简洁的内容
更小的图像资源：移动版本通常加载更小的图像
简化的 CSS 和 JavaScript：移动版本通常使用简化的样式和脚本
减少广告和非核心内容：移动版本通常移除一些非核心功能
自适应响应：获取为小屏幕优化的内容布局

移动设备模拟配置

以下是几个常用移动设备的配置参数：

const iPhoneX = {viewport: {width: 375,height: 812,deviceScaleFactor: 3,isMobile: true,hasTouch: true,isLandscape: false}
};

或者直接使用 puppeteer 的内置方法模拟移动设备

import { KnownDevices } from 'puppeteer-core';
const iPhone = KnownDevices['iPhone 15 Pro'];

const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.emulate(iPhone);

const scrapelessUrl = 'wss://browser.scrapeless.com/browser?token=your_api_key&session_ttl=180&proxy_country=ANY';async function optimizedScraping(url) {console.log(`开始优化抓取: ${url}`);// 记录流量使用let totalBytesUsed = 0;const browser = await puppeteer.connect({browserWSEndpoint: scrapelessUrl,defaultViewport: null});const page = await browser.newPage();// 设置请求拦截await page.setRequestInterception(true);// 拦截请求page.on('request', (request) => {request.continue();});// 监控网络流量page.on('response', async (response) => {const headers = response.headers();const contentLength = headers['content-length'] ? parseInt(headers['content-length'], 10) : 0;totalBytesUsed += contentLength;});await page.goto(url, {waitUntil: 'domcontentloaded'});// 模拟滚动以触发延迟加载内容await page.evaluate(() => {window.scrollBy(0, window.innerHeight);});await new Promise(resolve => setTimeout(resolve, 1000))// 提取数据const data = await page.evaluate(() => {return {title: document.title,content: document.body.innerText.substring(0, 1000),links: Array.from(document.querySelectorAll('a')).slice(0, 10).map(a => ({text: a.innerText,href: a.href}))};});// 输出流量使用统计console.log(`\n流量使用统计:`);console.log(`已使用: ${(totalBytesUsed / 1024 / 1024).toFixed(2)} MB`);await browser.close();return data;
}// 使用
optimizedScraping('https://www.scrapeless.com').then(data => console.log('抓取完成:', data)).catch(error => console.error('抓取失败:', error));

在运行未优化的代码后，我们可以从打印的信息中直观地看到流量差异：

场景	使用流量 (MB)	节省比率
未优化	6.03	—
优化后	0.81	≈ 86.6 %

通过结合上述优化方案，可以显著减少代理流量消耗，提高抓取效率，并确保获取所需的核心内容。

优化无头浏览器流量：使用Puppeteer进行高效数据抓取的成本降低策略

概述使用 Puppeteer 进行数据抓取时，流量消耗是一个重要考虑因素。特别是在使用代理服务时，流量成本可能显著增加。为了优化流量使用，我们可以采用以下策略： 资源拦截：通过拦截不必要的资源请求来减少流量消耗。请求…...

编程日记 2025/5/20 11:55:28

【C语言】fprintf与perror对比，两种报错提示的方法

它们的主要区别在于信息来源和自动包含的系统错误详情。 1. fprintf(stderr, "自定义错误信息\n"); 功能: 这是标准库中的一个通用格式化输出函数。你可以用它向任何文件流（包括 stdout 标准输出, stderr 标准错误, 或任何用 fopen 打开的文件&#x…...

编程日记 2025/5/22 19:04:25

C语言复习笔记--内存函数

在复习完字符函数和字符串函数之后,今天让我们复习一下内存函数吧.这一块的东西不太多,并且与之前的字符串函数有一些地方很相似,所以这里应该会比较轻松. memcpy使用和模拟实现老规矩,先看函数原型 void * memcpy ( void * destination, const void * source, size_t num );…...

编程日记 2025/6/1 8:53:04

前端面试高频算法

前端面试高频算法 1 排序算法；1.1 如何分析一个排序算法1.1.1 执行效率3.1.2 内存消耗1.1.3 稳定性 1.2 冒泡排序（Bubble Sort）1.3 插入排序（Insertion Sort）1.4 选择排序（Selection Sort）1.5 归…...

编程日记 2025/5/18 8:53:33

云原生--核心组件-容器篇-4-认识Dockerfile文件（镜像创建的基础文件和指令介绍）

1、Dockerfile的定义与作用定义： Dockerfile是一个文本文件，包含一系列Docker指令，用于自动化构建Docker镜像。Docker 在构建镜像时会按照Dockerfile中的指令逐步执行，每一行指令都会生成一个新的镜像层（layer&#x…...

编程日记 2025/5/12 19:43:03

13.组合模式：思考与解读

原文地址:组合模式：思考与解读更多内容请关注：7.深入思考与解读设计模式引言在软件开发中，是否曾经遇到过这样一种情况：你有一个对象，它本身很简单，但是它包含了其他类似的对象。随着系统变得越来越复…...

编程日记 2025/5/29 14:12:38

Pycharm（十七）生成器

一、生成器介绍 1.1 概述生成器指的是Generator对象，它不再像以往一样，一次性生成所有的数据，而是用一个，再生成一个，基于用户写的规则（条件）来生成数据，如果条件不成立&#xff…...

编程日记 2025/5/19 12:25:30

盛元广通实验材料管理系统-实验室管理系统-LIMS

一、引言在当下科学研究及各类实验日益频繁的背景下，实验材料管理成为实验室高效运作的核心环节。从“人工低效”到“智能自动化”，盛元广通可覆盖实验材料的采购、存储、使用、追踪等全流程，从功能适配性、技术性能、成本效益、供应商服务…...

编程日记 2025/5/31 2:34:07

执行 nf-config --all命令后，它会输出一堆信息，大致像这样： This netCDF-Fortran version: 4.6.0 netCDF-Fortran installation dir: /usr/local/netcdf4 Fortran compiler: gfortran Fortran compiler flags: -g -O2 Fortran preprocesso…...

编程日记 2025/5/21 23:42:00

MySQL 存储引擎与服务体系深度解析

一、存储引擎核心概念基本定义存储引擎：MySQL服务的核心组件，负责数据的存储、检索和管理版本演进： MySQL 5.0/5.1 默认使用MyISAM引擎MySQL 5.5/5.6+ 默认采用InnoDB引擎关键特性不同存储引擎采用不同的数据存储结构和处理机制直接影响表的CRUD操作性能和数据安全特性作…...

编程日记 2025/5/16 9:10:19

乐企数电发票分布式发票号码生成重复的问题修复思路分享

文章目录 1.前言2.解决思路2.1错误姿势2.2歪打正着2.3正确姿势 3.总结 1.前言由于之前接了乐企数电开票，服务上线之后，使用的公司少没有啥问题，后面切换了两家日开票量大的公司上线之后，就发现发票号码生成重复了，后面…...

编程日记 2025/5/27 2:20:19

多级缓存架构设计与实践经验

多级缓存架构设计与实践经验在互联网大厂Java求职者的面试中，经常会被问到关于多级缓存的架构设计和实践经验。本文通过一个故事场景来展示这些问题的实际解决方案。第一轮提问面试官：马架构，欢迎来到我们公司的面试现场。请问您对多级…...

编程日记 2025/5/27 17:27:30

LCD1602液晶显示屏详解（STM32)

目录一、介绍二、传感器原理 1.原理图编辑 2.接口说明三、程序设计 main文件 lcd1602.h文件 lcd1602.c文件四、实验效果五、资料获取项目分享一、介绍 LCD1602A字符型液晶显示模块是专门用于显示字母、数字元、符号等的点阵型液晶显示模块。分4位和8位数据…...

编程日记 2025/5/20 23:25:20

Golang | 集合求交

文章目录 bitmap求交集2个有序链表多个有序链表跳表 bitmap求交集 2个有序链表多个有序链表为什么非最大的所有都要往后移动呢？因为现在已经知道交集即使有，也最小都是这个目前最大的了，其他不是最大的不可能是交集，所有除了最大…...

编程日记 2025/5/27 8:02:43

手机充电进入“秒充“时代：泡面刚下锅，电量已满格

现代人的生活节奏越来越快，手机充电技术也在飞速发展。从最初的"充电一整晚"到如今的"秒充"时代，充电效率的提升正在悄然改变着我们的生活习惯。最新数据显示，目前最快的手机充电技术仅需4分30秒就能充满一部手机的电量&…...

编程日记 2025/5/29 10:48:47

网站字体文件过大导致字体从默认变成指定字体的时间过长

1.选择字体中只用到的字符集较小的包只用到了数字，所以使用了 xx-sans.ttf的版本(86kb) 2.转换ttf格式为woff2 转换后26kb 3.使用字体 // 定义字体 font-face {font-family: "myFont";src: url(/assets/fonts/myFont.woff2) format(woff2);font-weigh…...

编程日记 2025/5/28 8:24:45

WPF常用技巧汇总 - Part 2

WPF常用技巧汇总-CSDN博客主要用于记录工作中发现的一些问题和常见的解决方法。目录 WPF常用技巧汇总-CSDN博客 1. DataGrid Tooltip - Multiple 2. DataGrid Tooltip - Cell值和ToolTip值一样 3. DataGrid Tooltip - Cell值和ToolTip值不一样 4. DataGrid - Ctrl A /…...

编程日记 2025/5/29 9:31:17

C++中析构函数

析构函数析构函数（Destructor）是类的一种特殊成员函数，用于在对象的生命周期结束时执行清理操作，他的主要作用是释放对象占用资源，例如动态分配的内存，文件句柄或网络连接等。特点名称与类名称相同单…...

编程日记 2025/5/28 15:11:07

树莓派超全系列教程文档--(44)如何在树莓派上编译树莓派内核

如何在树莓派上编译树莓派内核构建内核下载内核源代码本地构建内核构建配置使用 LOCALVERSION 自定义内核版本构建安装内核文章来源： http://raspberry.dns8844.cn/documentation 原文网址构建内核操作系统预装的默认编译器和链接器被配置为构建在该操作系统…...

编程日记 2025/6/1 16:17:59

flask返回文件的同时返回其他参数

参考：flask实现上传文件与下载文件_flask 文件上传和下载-CSDN博客在 Flask 中，返回文件的同时附加额外参数（如处理时间）可以通过自定义 HTTP 响应头或返回 JSON 数据与文件结合的方式实现。以下是具体方法和示例：方法 1：通过 HTTP 响应头附加参数（推荐）将参…...

编程日记 2025/5/27 2:57:03

C++23 std::move_only_function：一种仅可移动的可调用包装器 (P0288R9)

文章目录一、定义与基本概念1.1 定义1.2 基本概念二、特点2.1 仅可移动性2.2 支持多种限定符2.3 无target_type和target访问器2.4 强前置条件三、使用场景3.1 处理不可复制的可调用对象3.2 性能优化3.3 资源管理四、与其他可调用包装器的对比4.1 与std::function的对比4.2 …...

编程日记 2025/5/18 2:30:09

Zookeeper实现分布式锁实战应用

Zookeeper实现分布式锁实战应用示例 1. 分布式锁概述在分布式系统中，当多个进程或服务需要互斥地访问共享资源时，就需要分布式锁来协调。Zookeeper因其强一致性和临时节点特性，非常适合实现分布式锁。 2. Zookeeper实现分布式锁的核心原理…...

编程日记 2025/5/29 19:32:32

使用 Playwright 构建高效爬虫：原理、实战与最佳实践

随着网站前端技术日益复杂，传统的基于请求解析（如 requests、BeautifulSoup）的爬虫在处理 JavaScript 渲染的网站时变得力不从心。Playwright，作为微软推出的一款强大的自动化浏览器控制框架，不仅适用于自动化测试，也成为了处理现代网站爬取任务的利器。本篇文章将带你…...

编程日记 2025/5/31 1:30:42

ComfyUI for Windwos与 Stable Diffusion WebUI 模型共享修复

#工作记录虽然在安装ComfyUI for Windwos时已经配置过extra_model_paths.yaml 文件，但升级ComfyUI for Windwos到最新版本后发现原先的模型配置失效了，排查后发现，原来是 extra_model_paths.yaml 文件在新版本中被移动到了C盘目录下&#x…...

编程日记 2025/6/3 21:36:44

【RabbitMQ消息队列】详解（一）

初识RabbitMQ RabbitMQ 是一个开源的消息代理软件，也被称为消息队列中间件，它遵循 AMQP（高级消息队列协议），并且支持多种其他消息协议。核心概念生产者（Producer）：创建消息并将其…...

编程日记 2025/5/20 17:56:07

【MySQL数据库入门到精通-08 约束】

文章目录 4、约束4.1 概述4.2 约束演示1. 根据需求，完成表的创建2. SQL数据库3. 结果 4.3 外键约束4.3.1 介绍1. 根据需求，完成表的创建2. SQL数据库3. 结果4.3.2 外键约束建立1. 语法2. SQL语句3. 现象4.3.3 外键删除更新行为1. 知识点2.SQL3.结果 4、约…...

编程日记 2025/5/29 15:50:06

C++笔记-模板进阶和继承(上)

一.模板进阶 1.1非模板类型参数那之前学过的stack举例，在这之前我们如果要用N，就要用宏来定义，但是宏毕竟有局限性： 如果我要用到两个stack，一个要求10个空间，另一个要求100空间呢？ 这时候…...

编程日记 2025/6/3 2:47:35

云计算赋能质检LIMS的价值质检LIMS系统在云计算企业的创新应用

在云计算技术高速发展的背景下，实验室信息化管理正经历深刻变革。质检LIMS（实验室信息管理系统）作为实验室数字化转型的核心工具，通过与云计算深度融合，为企业提供了高弹性、高安全性的解决方案。本文将探讨质检LIMS在…...

编程日记 2025/5/24 12:49:31

2025系统架构师---数据抽象（Data Abstraction）‌与‌面向对象架构风格

引言在软件系统复杂度与规模不断攀升的今天，如何设计出可扩展、易维护且能快速响应需求变化的架构，是每一位系统架构师面临的挑战。‌数据抽象（Data Abstraction）‌与‌面向对象架构风格（Object-Oriented Architectu…...

编程日记 2025/5/29 22:32:05

[python] 基于WatchDog库实现文件系统监控

Watchdog库是Python中一个用于监控文件系统变化的第三方库。它能够实时监测文件或目录的创建、修改、删除等操作，并在这些事件发生时触发相应的处理逻辑，因此也被称为文件看门狗。 Watchdog库的官方仓库见：watchdog，Watchdog库的官…...

编程日记 2025/5/29 10:15:20

缺省处理、容错处理

布尔判定假：false 0 null undefined NaN 可选符.?和？？ let obj {name: jim,data: {money: 0,age: 18,fn(a){return a}} }1、如果左侧的值为null或者undefined，则使用右侧值。需要使用"??" obj?.data?.a…...

编程日记 2025/6/2 5:34:46

Taro on Harmony ：助力业务高效开发纯血鸿蒙应用

背景纯血鸿蒙逐渐成为全球第三大操作系统，业界也掀起了适配鸿蒙原生的浪潮，用户迁移趋势明显，京东作为国民应用，为鸿蒙用户提供完整的购物体验至关重要。   去年 9 月，京东 AP…...

编程日记 2025/5/26 10:51:32

Java基础——排序算法

排序算法不管是考试、面试、还是日常开发中都是一个特别高频的点。下面对八种排序算法做简单的介绍。 1. 冒泡排序（Bubble Sort） 原理：相邻元素比较，每一轮将最大元素“冒泡”到末尾。示例数组：[5, 3, 8, 1, 2] pub…...

编程日记 2025/5/16 13:37:14

【操作系统原理07】输入/输出系统

文章目录零.大纲一.I/O设备的概念和分类0.大纲1.什么是I/O设备2.I/O分类二.I/O控制器0.大纲1.I/O设备的电子部件（I/O控制器）2.IO控制器组成3.内存映像I/O VS 寄存器独立编址三.I/O控制方式0.大纲与总结1.程序直接控制方式（1） 操…...

编程日记 2025/5/26 7:26:24

IM云端搜索全面升级，独家能力拓展更多“社交连接”玩法

在这个数字时代，网络让信息传递前所未有的便捷，但同时，海量数据堆积也让内容检索变得像大海捞针。尤其是在我们日常工作生活中最常用的即时通信软件中，信息的快速查找和精准定位正变得越来越重要。但传统的本地搜索功能受限于设…...

编程日记 2025/5/29 18:12:21

汽车产业链主表及类别表设计

（提前设计，备用） 一、汽车产业链类别表（industry_chain_category） 设计要点 1、核心字段：定义产业链分类（如零部件、整车制造、销售服务等） 2、主键约束：自增ID作为唯一标…...

编程日记 2025/5/18 10:16:59

有效的字母异位词

recorded：用于统计或抵消字符出现次数。 class Solution { public:bool isAnagram(string s, string t) {int record[26]{0};for(int i0;i<s.size();i){record[s[i]-a];}for(int i0;i<t.size();i){record[t[i]-a]--;}for(int i0;i<26;i){if(record[i]!0){…...

编程日记 2025/6/3 18:52:00

汽车网络安全 -- 理解暴露面、攻击面和攻击向量

1.暴露面是攻击面的子集举个例子，房子都有门、窗户，这些窗户、门不管是否打开，都可能被小偷利用进入到房内，因此这些门窗可能是潜在的漏洞，所以称之为攻击面(Attack Surface)。小偷经过长期观察，发现家…...

编程日记 2025/5/27 6:10:20

C++异步利器：全面理解 std::packaged_task

在现代 C（C11及以后）中，并发与异步编程是不可回避的重要技能。我们常常希望把某些计算任务扔给后台线程去处理，同时又能优雅地获取任务结果。这时候，std::packaged_task 就是一个非常强大的工具。本文将带你深入理解…...

编程日记 2025/6/1 18:34:34

Animate 中HTMLCanvas 画布下的鼠标事件列表（DOM 鼠标）

在 JavaScript 和 ‌Adobe Animate（CreateJS）‌ 中，常用的鼠标交互事件可分为两大类：‌基础 DOM 事件‌ 和 ‌CreateJS 扩展事件‌12。以下是完整分类： 一、基础 DOM 鼠标事件事件名触发场景冒泡特性click鼠标左键单…...

编程日记 2025/5/26 6:36:17

RagFlow文档切块提升

1.RagFlow切块介绍 2.复现优化 2.1 General 通用分块 def parser_text(self, txt, blockSize512, overlapSize0, delimiter"\n!?;。；！？"):文本分割sentences self.split_text_by_period_qh(txt, delimiter, blockSizeblockSize)…...

编程日记 2025/5/27 7:51:05

音频转base64

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>音频转Base64</title><style>.containe…...

编程日记 2025/5/30 3:21:17

蓝桥杯 11. 打印大X

打印大X 原题目链接题目描述小明希望用星号拼凑，打印出一个大 X，他要求能够控制笔画的宽度和整个字的高度。为了便于比对空格，所有的空白位置都以句点符 . 来代替。输入描述输入两个整数 m 和 n，表示笔画的宽度和 X 的高…...

编程日记 2025/6/1 16:42:52

页面需要重加载才能显示的问题修改

1.问题描述：跳转页面后，只有点击重新加载后才会显示内容经过测试后： / 跳转详情 const goToDetail (bookId) > { router.push({ path: /classic-detail, query: { book_id: bookId } }) } 执行完以上代码后，页面从classics…...

编程日记 2025/5/22 18:49:37

On the Biology of a Large Language Model——Claude团队的模型理解文章【论文阅读笔记】其二——数学计算部分

这篇内容的源博文是 On the Biology of a Large Language Model 这是Anthropic，也就是Claude的团队的一遍技术博客。他的主要内容是用一种改良版的稀疏编码器来解释LLM在inference过程中内部语义特征的激活模式。因为原文太长，我把原文分成了几份来写阅读…...

编程日记 2025/5/26 17:04:34

Python语言基础知识详解：标识符与变量

Python语言基础知识详解：标识符与变量一、标识符（Identifiers） 定义标识符是用于命名变量、函数、类、模块或其他对象的名称。它是代码中对实体的唯一标识。 1. 标识符的命名规则 Python的标识符需遵循以下规则： 允许的字符由…...

编程日记 2025/5/23 18:11:30

google chrome 中 fcitx5 候选框不跟随光标

我的电脑：ubuntu22.04，窗口系统：wayland 2025/4/26 号更新的谷歌浏览器今天打开浏览器发现输入法的候选框固定在左上角不动了，一番折腾，发现解决办法如下： 在搜索框中输入 about:flags搜索 wayland&#…...

编程日记 2025/5/26 7:59:12

深入浅出提示词工程（结合 DeepSeek）

提示词工程 Prompt 即提示、指令，所以提示工程也叫「指令工程」用户输入的问题称为 Prompt，本文主要探讨 System Prompt（我将其翻译成「系统预设」） 使用 Prompt 的目的直接提问如「我该学 Vue 还是 React？」&…...

编程日记 2025/5/15 11:27:00

OpenVLA：大语言模型用于机器人操控的经典开源作品

TL;DR 2024 年斯坦福大学提出的 OpenVLA，基于大语言模型实现机器人操控，代码完全开源。 Paper Notes Name：OpenVLA: An Open-Source Vision-Language-Action ModelURL：https://openvla.github.io/作者：斯坦福&#…...

编程日记 2025/5/28 16:11:44

数值分析、数值代数之追赶法

数值分析、数值代数之追赶法 MATLAB 中，diag 函数用法追赶法推导过程代码运行过程 MATLAB 中，diag 函数用法在 MATLAB 中，diag 函数用于处理矩阵的对角线元素或创建对角矩阵。以下是其常见的用法： 1.提取矩阵的对角线元素 2.创…...

编程日记 2025/5/26 15:56:36

概述