当前位置：首页 > news >正文

处理动态分页：自动翻页与增量数据抓取策略-数据议事厅

news 来源：原创 2025/8/19 22:51:40

爬虫代理

一、案例场景

Lily（挥舞着数据报表）：“用户反馈我们的股票舆情分析总是缺失最新跟帖！这些动态分页像狡猾的狐狸，每次抓取都漏掉关键数据！”

小王（调试着爬虫代码）：“传统分页参数已经失效了。看！（指向屏幕）这个「加载更多」按钮会变异——每次点击都会生成新的加密参数！”

动态分页化身黑衣刺客，手持带有时间戳的毒镖：「想要新数据？先破解我的身份令牌！」UserAgent检测如同城门守卫，将没有伪装的爬虫拒之门外。

import requests
from bs4 import BeautifulSoup
import time
import jsonclass GubaCrawler:def __init__(self):# 亿牛云代理配置（www.16yun.cn）self.proxy = {"http": "http://16YUN:16IP@yn-proxy.16yun.cn:3111", "https": "http://16YUN:16IP@yn-proxy.16yun.cn:3111"}self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36","Cookie": "em_hq_fls=js; sid=6d5b20..."  # 需要定期更新的动态cookie}self.visited_ids = set()  # 增量抓取存储器def parse_page(self, url):try:# 爬虫代理IP与浏览器指纹双保险response = requests.get(url, proxies=self.proxy, headers=self.headers, timeout=10)soup = BeautifulSoup(response.text, 'html.parser')# 东方财富股吧帖子解析posts = []for item in soup.select('.articleh'):post_id = item.get('data-postid')  # 唯一标识符if post_id in self.visited_ids:continuetitle = item.select_one('.l3 a').text.strip()time = item.select_one('.l5').text# 更多字段解析...posts.append({"id":post_id, "title":title, "time":time})self.visited_ids.add(post_id)return postsexcept Exception as e:print(f"抓取异常：{str(e)}")return []def auto_pagination(self):base_url = "https://guba.eastmoney.com/list,002291_{}.html"page = 1while True:current_url = base_url.format(page)print(f"智能翻页中：{current_url}")data = self.parse_page(current_url)if not data:  # 终止条件判断print("到达最后一页！")break# 数据存储逻辑with open('guba_data.json', 'a', encoding='utf-8') as f:json.dump(data, f, ensure_ascii=False)page += 1time.sleep(3)  # 控制频率if __name__ == '__main__':crawler = GubaCrawler()crawler.auto_pagination()

工程师召唤出「参数预言家」——通过逆向工程发现分页规律：每页URL中的页码呈等差序列变化，但需要配合动态生成的Cookie才能获得真实数据。

二、技术亮点解密

代理IP铠甲：通过亿牛云代理池实现IP身份轮换

身份伪装术：动态UserAgent+实时更新的Cookie

增量记忆水晶：用集合存储已抓取ID避免重复

时间迷雾：随机延时规避采集检测

处理动态分页：自动翻页与增量数据抓取策略-数据议事厅

一、案例场景 Lily（挥舞着数据报表）：“用户反馈我们的股票舆情分析总是缺失最新跟帖！这些动态分页像狡猾的狐狸，每次抓取都漏掉关键数据！” 小王（调试着爬虫代码）：“传…...

编程日记 2025/8/19 22:51:40

微服务新手入门

一、微服务概念微服务是一种软件架构风格，ta是以专注于单一职责的很多小型项目为基础，组合出复杂的大型应用。微服务 - 服务拆分 - 远程调用 - 服务治理 - 请求路由 - 身份认证 - 配置管理 - 服务保护 - 分布式事务 - 异步通信 - 消息可靠性 - 延迟消…...

编程日记 2025/8/16 12:14:12

antd浏览器引入的问题

1，在使用ant design vue的4.1.2版本通过浏览器引入的方式遇到的问题，遇到的问题（不确定其他版本有没有问题），通过在页面使用下面的代码 <a-modal v-model:open"apiOpen" title"修改秘钥" ok&q…...

编程日记 2025/8/16 12:32:09

STM32-Unix时间戳

一：什么是时间戳 Unix时间戳（Unix Timestamp）是一个计数器数值，这个数值表示的是一个从1970年1月1日0时0分0秒开始到现在所经过的秒数，不考虑闰秒。时间戳存储在一个秒计数器里，秒计数器为32位/64位的整…...

编程日记 2025/8/16 11:16:50

【性能测试】Jmeter如何做一份测试报告（3）

本篇文章主要介绍Jmeter中下载插件（Jmeter Plugins） 如何使用监听器插件，线程组插件，梯度压测线程组测试报告需要去关注的数据，怎么看测试报告图表目录一：插件下载 1：下载地址 2&#xff…...

编程日记 2025/8/20 2:33:59

游戏引擎学习第153天

仓库:https://gitee.com/mrxiao_com/2d_game_3 回顾目前正在进行的是一个比较大的系统调整，原本预计今天会继续深入这个改动，但实际上在昨天的开发中，我们已经完成了大部分的代码编写，并且运行之后几乎一切都能正常工作&#x…...

编程日记 2025/8/16 12:46:06

CentOS7下安装MongoDB

步骤 1：创建 MongoDB Yum 仓库文件你需要创建一个 MongoDB 的 Yum 仓库配置文件，以便从官方源下载 MongoDB。打开终端并使用以下命令创建并编辑该文件： sudo vi /etc/yum.repos.d/mongodb-org-7.0.repo 在打开的文件中，输入以下…...

编程日记 2025/8/16 12:55:39

Elasticsearch-07-Elasticsearch Java API Client-Elasticsearch 8.0 的高阶api

文章目录 es8 API基础配置和bean注入高阶使用1：引入elasticsearchClient2：查询所有索引3：查询某个索引4:创建索引5:删除指定索引6:查询索引的映射7:创建索引指定映射8:创建文档使用HashMap作为数据存储容器使用自定义类作为数据存储容器使用外…...

编程日记 2025/8/20 14:00:57

【性能优化】MySQL 生产环境 SQL 性能优化实战案例

🚀 MySQL 生产环境 SQL 性能优化实战案例 🏗️ 背景介绍最近在处理一个项目时，发现在生产环境的工作流相关接口中，某些查询的执行时间异常缓慢，尽管数据量仅为 2 万条。经过分析，发现以下 SQL 语句执行非…...

编程日记 2025/8/20 9:54:42

Docker容器安装软件（完整版）

文章目录一、安装Docker1.1 docker 相关的命令1.2 配置镜像加速二. 安装es2.1 创建网络2.2 拉取镜像2.3 创建挂载点目录2.4 部署单点es，创建es容器2.5 编写elasticsearch.yml2.6 重启es容器2.7 测试Elasticsearch是否安装成功三. 基于Docker安装Kibana3.1 拉取镜…...

编程日记 2025/8/19 19:58:25

DeepSeek-进阶版部署(Linux+GPU)

前面几个小节讲解的Win和Linux部署DeepSeek的比较简单的方法，而且采用的模型也是最小的，作为测试体验使用是没问题的。如果要在生产环境使用还是需要用到GPU来实现，下面我将以有一台带上GPU显卡的Linux机器来部署DeepSeek。这里还只是先体验单…...

编程日记 2025/8/18 22:25:00

11. Pandas ：操作Excel文件（Excel报表的案例研究）

从一个装有各种 Excel 文件的文件夹开始，这些文件需要被整合到 Excel 报表中。它们包含了虚构的电信运营商在全美各营业厅的套餐（金、银、铜）销售情况。每个月有两个文件，子文件夹 new 中的是新用户，子文件夹 existin…...

编程日记 2025/8/18 15:18:36

Qt开源控件库（qt-material-widgets）的编译及使用

项目简介 qt-material-widgets是一个基于 Qt 小部件的 Material Design 规范实现。项目地址项目地址：qt-material-widgets 本地构建环境 Win11 家庭中文版 VS2019 Qt5.15.2 (MSVC2019) 本地构建流程克隆后的目录结构如图： 直接使用Qt Crea…...

编程日记 2025/8/16 12:54:29

freeswitch（多台服务器级联）

亲测版本centos 7.9系统–》 freeswitch1.10.9本人freeswitch安装路径（根据自己的路径进入）/usr/local/freeswitch/etc/freeswitch使用场景：使用服务器级联需要双方网络可以ping通，也就是类似局域网内，比如A服务器IP 192.168.1.100 B服务器 192.168.1.101，通过C设备注册…...

编程日记 2025/8/18 10:22:51

【大模型统一集成项目】让 AI 聊天更丝滑：WebSocket 实现流式对话！

🌟 在这系列文章中，我们将一起探索如何搭建一个支持大模型集成项目 NexLM 的开发过程，从架构设计到代码实战，逐步搭建一个支持多种大模型（GPT-4、DeepSeek 等） 的一站式大模型集成与管理平台&#xff…...

编程日记 2025/8/20 14:02:17

qt 多进程使用共享内存 ,加速数据读写，进程间通信共享内存

Summary: 项目中我们有时需要使用共享内存共享数据，这样，数据不用进程IO读写，加进数据加载和落地； 程序退出时，再保存到本地；速度提升数十倍； Part1:QSharedMemory Windows平台下进程间通信…...

编程日记 2025/8/18 13:33:32

OpenHarmony-分布式硬件关键技术

前言： OpenHarmony是一款面向未来万物互联场景的操作系统，其设计采用了分布式架构。那么OpenHarmony相比于传统操作系统有哪些关键的分布式技术，本文主要介绍分布式硬件设计理念、跨端分布式硬件核心挑战、以及OpenHarmony分布式硬件平台关键…...

编程日记 2025/8/20 8:34:36

idea超级AI插件，让 AI 为 Java 工程师

引言用户可在界面中直接通过输入自然语言的形式描述接口的需求，系统通过输入的需求自动分析关键的功能点有哪些，并对不确定方案的需求提供多种选择，以及对需求上下文进行补充，用户修改确定需求后，系统会根据需求设…...

编程日记 2025/8/20 14:02:16

深入Flink运行时架构：JobManager与TaskManager协作全解析

深入Flink运行时架构：JobManager与TaskManager协作全解析一、Flink分布式执行模型剖析 1.1 运行时架构全景视图核心组件交互关系： #mermaid-svg-tMSqMSsKP6vwUZi3 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-s…...

编程日记 2025/8/20 13:54:07

OSPF-单区域的配置

一、单区域概念： 单区域OSPF中，整个网络被视为一个区域，区域ID通常为0（骨干区域）。所有的路由器都在这个区域内交换链路状态信息。补充知识点： OSPF为何需要loopback接口： 1.Loopback接口的…...

编程日记 2025/8/15 13:11:20

每日OJ_牛客_过桥_贪心+BFS_C++_Java

目录牛客_过桥_贪心BFS 题目解析 C代码 Java代码牛客_过桥_贪心BFS 过桥描述： dd被困在了一个迷幻森林，现在她面前有一条凶险的大河，河中央有n个神奇的浮块，浮块按1∼n1顺序标号，但两两并不相接&…...

编程日记 2025/8/16 11:42:00

K8S学习之基础二十七：k8s中daemonset控制器

k8s中DaemonSet控制器 DaemonSet控制器确保k8s集群中，所有节点都运行一个相同的pod，当node节点增加时，新节点也会自动创建一个pod，当node节点从集群移除，对应的pod也会自动删除。删除DaemonSet也会删除创建的pod。…...

编程日记 2025/8/20 14:00:58

79.ScottPlot的MVVM实现 C#例子 WPF例子

如何通过数据绑定在 WPF 中实现动态图像显示在 WPF 应用程序中，通过数据绑定实现动态图像显示是一种高效且优雅的方式。以下是一个简单的教程，展示如何使用 ScottPlot.WPF 库和 MVVM 模式来实现这一功能。第一步：安装必要的 NuGet 包首…...

编程日记 2025/8/18 13:17:49

第44天：WEB攻防-PHP应用SQL盲注布尔回显延时判断报错处理增删改查方式

时间轴： 44天知识点总结： 1.mysql的增删改查功能 2.根据源码sql语句的三种sql注入：布尔盲注（必须要有回显） 延时判断（都可以） 报错回显（必须要有报错处理机制） 3.两个cms…...

编程日记 2025/8/16 12:48:50

说说人工智能

1. 人工智能与机器学习核心进展人工智能（AI）与机器学习（ML）已从理论研究全面渗透到实际应用中。深度学习模型如Transformer架构在自然语言处理（NLP）和计算机视觉（CV）领域实现突破…...

编程日记 2025/8/16 21:11:09

懒加载（Lazy Loading）：原理、实现与优化策略

懒加载（Lazy Loading） 是一种优化网页性能的技术，主要用于延迟加载非关键资源（如图片、视频、脚本等），直到它们真正需要被使用时才加载。懒加载可以显著减少页面初始加载时间，降低带宽消耗&…...

编程日记 2025/8/19 22:24:21

HTML5(Web前端开发笔记第一期)

p.s.这是萌新自己自学总结的笔记，如果想学习得更透彻的话还是请去看大佬的讲解目录三件套标签标题标签段落标签文本格式化标签图像标签超链接标签锚点链接默认链接地址音频标签视频标签 HTML基本骨架综合案例->个人简介列表表格表单input标签单选框radio上传…...

编程日记 2025/8/16 19:46:41

Linux学习(十五)(故障排除(ICMP,Ping,Traceroute,网络统计,数据包分析))

故障排除是任何 Linux 用户或管理员的基本技能。这涉及识别和解决 Linux 系统中的问题。这些问题的范围包括常见的系统错误、硬件或软件问题、网络连接问题以及系统资源的管理。Linux 中的故障排除过程通常涉及使用命令行工具、检查系统和应用程序日志文件、了解系统进程&#…...

编程日记 2025/8/18 21:30:01

SVN 拉取，文件冲突解决办法

情景 svn 在拉取代码时提示已跳过，其余有冲突 ，警告至少还有一个的文件处于冲突状态导致文件拉取失败一、原因版本库和本地工作副本之间存在文件冲突，导致文件无法正常拉取。二、 Terminal 窗口解决办法 1.查看冲突文件在 Termin…...

编程日记 2025/8/18 11:37:07

【实战ES】实战 Elasticsearch：快速上手与深度实践-8.1.1基于ES的语义搜索（BERT嵌入向量）

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路文章大纲基于Elasticsearch与BERT的语义搜索架构设计与实战1. 传统搜索的局限性与语义搜索的崛起1.1 关键词搜索 vs 语义搜索1.2 Elasticsearch向量检索演进历程关键版本特性对比 2.…...

编程日记 2025/8/16 11:39:18

【Node.js】--- win11安装 Node.js

在编程的艺术世界里，代码和灵感需要寻找到最佳的交融点，才能打造出令人为之惊叹的作品。而在这座秋知叶i博客的殿堂里，我们将共同追寻这种完美结合，为未来的世界留下属于我们的独特印记。【Node.js】--- win11安装 Node.js 开发环…...

编程日记 2025/8/17 15:07:05

【技海登峰】Kafka漫谈系列（九）SpringBoot整合Kafka多数据源配置

【技海登峰】Kafka漫谈系列（九）SpringBoot整合Kafka多数据源配置 Kafka官方提供了基于Java实现的客户端kafka-clients，用于提供生产者和消费者的基本能力。在此基础上，Spring for Apache Kafka(spring-kafka)项目对该原生客户端进行了基于Spring特性的抽象与封装，实现了基…...

编程日记 2025/8/19 16:54:36

【MySQL篇】基本查询实战OJ

本篇是基于上篇mysql基本查询的一些OJ题 MySQL基本查询传送门：【MySQL篇】MySQL基本查询详解-CSDN博客批量插入数据_牛客题霸_牛客网 insert语句 insert into actor values (1,PENELOPE,GUINESS,2006-02-15 12:34:33); insert into actor values (2,NICK,WAHLBER…...

编程日记 2025/8/16 12:43:49

侯捷 C++ 课程学习笔记：C++内存管理机制

内存管理从平地到万丈高楼内存管理入门（Memory Management 101） 需要具有动态分配并使用memory（存储（器），（计算机的）内存），使用过C标准库的容器&#xff0…...

编程日记 2025/8/15 23:37:42

java后端开发day31--集合进阶（一）-----Collection集合List集合数据结构1

（以下内容全部来自上述课程） 1.集合体系结构 List系列集合：添加的元素是有序、可重复、有索引。 Set系列集合：添加的元素是无序、不重复、无索引。 2.Collection集合 Collection是单列集合的祖宗接口（不可直接创建…...

编程日记 2025/8/19 19:52:27

TA学习之路——1.4 MVP矩阵运算

1.变换矩阵的意义 1.将3D物体转化到2D平面 2.为各个空间的运用做准备 2.MVP矩阵代表什么 MVP矩阵分别是模型（Model）、观察（View）、投影（Projecttion)三个矩阵。我们顶点坐标起始于局部空间（Local Space)…...

编程日记 2025/8/18 7:33:51

Java数据结构第二十期：解构排序算法的艺术与科学(二)

专栏：Java数据结构秘籍个人主页：手握风云目录一、常见排序算法的实现 1.1. 直接选择排序 1.2. 堆排序 1.3. 冒泡排序 1.4. 快速排序一、常见排序算法的实现 1.1. 直接选择排序每⼀次从待排序的数据元素中选出最小的⼀个元素，存放在…...

编程日记 2025/8/19 22:01:03

【机器学习】主成分分析法（PCA）

【机器学习】主成分分析法（PCA） 一、摘要二、主成分分析的基本概念三、主成分分析的数学模型五、主成分分析法目标函数公式推导（梯度上升法求解目标函数）六、梯度上升法求解目标函数第一个主成分七、求解前n个主成分及PCA在数据预…...

编程日记 2025/8/19 16:46:46

perl、python、tcl语法中读写Excel的模块

perl、python、tcl语法中读写Excel的模块 perl、python、tcl语法中存在读写xls和xlsx格式的模块分别有： python ‌读取 Excel‌ ‌xlrd‌：支持传统 .xls 格式的读取‌ pandas‌：通过 read_excel() 方法支持 .xls 和 .xlsx 格式‌ ‌写入 …...

编程日记 2025/8/16 9:48:43

libwebsockets实现异步websocket客户端，服务端异常断开可重连

libwebsockets websocket客户端基本流程网上都有，我只额外优化了重连机制。在服务器异常断开时不触发LWS_CALLBACK_CLOSED或LWS_CALLBACK_CLIENT_CONNECTION_ERROR，导致无法自动重连通过定时检查链接是否可写入判断链接是否有效 // 判断wsi是否可用if …...

编程日记 2025/8/19 22:24:36

CAD球体密堆积3D插件V2.0

插件介绍 CAD球体密堆积3D插件V2.0版本可在AutoCAD内建立球体堆积模型，插件采取模拟球体在重力作用下的堆积行为，可生成超密堆积的几何模型及进行堆积过程的动态展示。插件优化重力堆积物理引擎，新增堆积可视化界面，可直观查看…...

编程日记 2025/8/16 12:09:42

【Linux】线程池、单例模式、死锁

线程池一.线程池1.日志和策略模式2.线程池1.Task.hpp2.Thread.hpp3.ThreadPool.hpp4.ThreadPool.cc 二.线程安全与重入问题三.线程安全的单例模式1.饿汉模式2.懒汉模式3.懒汉模式线程池1.ThreadPool.hpp2.ThreadPool.cc 四.死锁的概念1.死锁2.死锁的四个必要条件3.避免死锁五…...

编程日记 2025/8/19 21:09:08

AI+视频监控电力巡检：EasyCVR视频中台方案如何赋能电力行业智能化转型

随着电力行业的快速发展，电力设施的安全性、稳定性和运维效率变得至关重要。传统视频监控系统在实时性、智能化及多系统协同等方面面临严峻挑战。EasyCVR视频中台解决方案作为一种先进的技术手段，在电力行业中得到了广泛应用，为电力设施的监控…...

编程日记 2025/8/15 11:45:36

centos8.0系统部署zabbix6.0监控

centos8.0系统部署zabbix6.0监控一、部署过程1、确认系统版本2、主机基础环境设置3、安装MySQL 8.0数据库3.1 安装MySQL 8.0仓库3.2 安装软件3.3 设置root用户密码3.4 创建zabbix数据库，授权用户 4、配置zabbix6.0仓库5、安装zabbix服务端软件6、导入zabbix数据表7…...

编程日记 2025/8/16 10:41:35

江科大51单片机笔记【12】AT24C02（I2C总线）

写在前言此为博主自学江科大51单片机（B站）的笔记，方便后续重温知识在后面的章节中，为了防止篇幅过长和易于查找，我把一个小节分成两部分来发，上章节主要是关于本节课的硬件介绍、电路图、原理图等理论知识…...

编程日记 2025/8/17 21:40:05

电脑一直重启怎么解决原因及解决方法

电脑一直重启的故障状态，不仅影响电脑的正常使用，还可能导致数据丢失或损坏。那么，电脑一直重启是什么原因呢？又该如何解决呢？下面将为大家介绍电脑一直重启的常见原因和解决方法，帮助您恢复电脑的正常工作…...

编程日记 2025/8/16 21:20:53

内网安全防护新思路 —— HFish + ELK 与 T-Pot 全面蜜罐系统比较分析

在当前网络安全环境日益复杂的背景下，企业和组织面临着来自外部与内部的多种威胁。为了更好地了解攻击者行为、捕获恶意活动并及时响应，部署蜜罐（Honeypot）系统已成为提升内网安全防护的重要手段。本文将重点介绍两种内网蜜罐防护…...

编程日记 2025/8/16 14:26:20

「机器人」扑翼飞行器通过总气动力控制四自由度运动方法

一、前言在扑翼飞行中，总气动力（Total Aerodynamic Force）是指扑翼在运动过程中受到的所有空气动力作用的合力。它是由以下两种主要力的合成结果： 1. 升力（Lift, ）：垂直于空气流方向的力，用于支持飞行器（或生物）的重量。 2. 阻力（Drag, ）：平行于空气流方向的力，…...

编程日记 2025/8/15 23:21:04

写了一个二叉树构造函数和画图函数，方便debug

代码 class TreeNode(object):def __init__(self, val, leftNone, rightNone):self.val valself.left leftself.right rightdef construct_tree(nodes):if not nodes:return Noneroot TreeNode(nodes[0])queue [root]index 1while index < len(nodes):node queue.p…...

编程日记 2025/8/18 19:53:00

【prompt实战】知乎问题解答专家

本文原创作者：姚瑞南 AI-agent 大模型运营专家，先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗；多年人工智能行业智能产品运营及大模型落地经验，拥有AI外呼方向国家专利与PMP项目管理证书。（转载需经授权&am…...

编程日记 2025/8/20 10:23:59

一、案例场景

二、技术亮点解密

相关文章：