当前位置：首页 > news >正文

一场始于 Selector Error 的拯救行动：企查查数据采集故障排查记

news 来源：原创 2025/9/22 17:13:35

爬虫代理

时间轴呈现事故进程

17:00：开发人员小李正在尝试利用 Python 爬虫从企查查（https://www.qcc.com）抓取公司工商信息。原本一切正常，但突然发现信息采集失败，程序抛出大量选择器错误。
17:15：小李发现，尽管请求能正常返回 HTML 页面，但关键数据（公司名称、法人代表、注册资本）的定位选择器失效，抓取到的内容为空或错误。初步判断是网页结构发生了不可预料的变化。
17:30：尝试更新选择器，但新问题接踵而至：动态加载的内容无法被解析，数据仍然缺失。

分析式线索追踪

本地测试日志片段

# 爬虫日志输出
[17:15:23] INFO - 发送 GET 请求至 https://www.qcc.com，状态码 200，请求成功。
[17:15:25] ERROR - 选择器失效！无法找到公司名称元素 (selector: #companyName)。
[17:15:30] DEBUG - HTML 快照保存至 ./snapshots/qcc_17_15_25.html，便于后续分析。

网页结构与选择器对比

原始选择器：<font style="color:rgb(38, 38, 38);">#companyName</font> 用于定位公司名称。
快照 HTML 分析：发现 <font style="color:rgb(38, 38, 38);"><div id="companyName"></font> 标签已不存在，取而代之的是动态加载的 <font style="color:rgb(38, 38, 38);"><div class="loader"></font> 和 <font style="color:rgb(38, 38, 38);"><script></font> 标签。

解决方案探寻过程

重新审视网页加载过程：
- 使用浏览器开发者工具（F12）查看网页加载流程，发现关键信息是通过 JavaScript 动态渲染的，原先的静态 HTML 并不含有所需数据。
- 临时策略：引入 Selenium 模拟浏览器行为，确保 JavaScript 执行，完整加载页面。
代理 IP 与反爬机制突破：

# 引入爬虫代理 IP配置
proxies = {'http': 'http://用户名:密码@域名:端口','https': 'https://用户名:密码@域名:端口',
}
response = requests.get(url, proxies=proxies)

- <font style="color:rgb(38, 38, 38);">企查查对频繁请求有严格限制，需借助代理 IP。参考亿牛云爬虫代理参数（域名、端口、用户名、密码），设置代码：</font>

Cookie 和 User-Agent 设置：

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36','Cookie': 'your-cookie-string'  # 替换为实际有效 Cookie
}

- <font style="color:rgb(38, 38, 38);">仿制正常浏览器行为，避免被服务器识别为爬虫：</font>

调试选择器工具选择：
- 使用 BeautifulSoup 或 lxml 库解析渲染后的 HTML，结合 XPath 和 CSS 选择器重新定位元素。

改进后的代码实现

# 企查查数据采集解决方案
import requests
from bs4 import BeautifulSoup# 设置代理IP（亿牛云爬虫代理示例 www.16yun.cn）
PROXY_USERNAME = '16YUN'  # 替换为实际用户名
PROXY_PASSWORD = '16IP'  # 替换为实际密码
PROXY_DOMAIN = 'proxy.16yun.cn'
PROXY_PORT = '8080'# 配置代理
proxies = {'http': f'http://{PROXY_USERNAME}:{PROXY_PASSWORD}@{PROXY_DOMAIN}:{PROXY_PORT}','https': f'https://{PROXY_USERNAME}:{PROXY_PASSWORD}@{PROXY_DOMAIN}:{PROXY_PORT}',
}# 设置请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36','Cookie': 'your-cookie-string'  # 替换为实际有效的 Cookie
}# 爬取目标 URL
url = "https://www.qcc.com"# 发送请求
response = requests.get(url, headers=headers, proxies=proxies)
response.encoding = 'utf-8'  # 设置正确编码# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')# 示例：解析公司信息（需根据实际页面结构调整选择器）
company_name = soup.select_one('.company-name')  # 假设 .company-name 是公司名称的类名
if company_name:print(f"公司名称: {company_name.text.strip()}")
else:print("未能获取公司名称！")legal_representative = soup.select_one('.legal-rep')  # 假设 .legal-rep 是法人代表的类名
if legal_representative:print(f"法人代表: {legal_representative.text.strip()}")
else:print("未能获取法人代表信息！")registered_capital = soup.select_one('.reg-capital')  # 假设 .reg-capital 是注册资本的类名
if registered_capital:print(f"注册资本: {registered_capital.text.strip()}")
else:print("未能获取注册资本信息！")

架构改进方案

动态加载应对策略：采用 Selenium / Playwright 等框架，模拟人类交互行为加载完整页面。
选择器稳定性保障：利用 XPath 表达式，结合多个属性定位元素；定期更新长效选择器库。
代理池搭建：引入多 IP 代理池，轮询使用不同 IP，提高请求成功率。
数据清洗与过滤：构建专用的数据清洗规则集，去除冗余、异常数据，提升数据质量。

总结

本次故障源于网页动态加载机制与选择器不匹配，辅以合理的代理 IP、请求头配置及动态加载调试工具，成功解决数据采集问题。在爬虫项目中，持续关注目标网站更新动态、优化选择器策略、升级反爬规避方案，是保障数据稳定性抓取的关键。

一场始于 Selector Error 的拯救行动：企查查数据采集故障排查记

时间轴呈现事故进程 17:00：开发人员小李正在尝试利用 Python 爬虫从企查查（https://www.qcc.com）抓取公司工商信息。原本一切正常，但突然发现信息采集失败，程序抛出大量选择器错误。17:15：小李发现&#x…...

编程日记 2025/9/22 17:13:35

代码随想录刷题攻略---动态规划---子序列问题1---子序列

子序列（不连续）和子序列（连续）的问题例题1: 最长递增子序列给你一个整数数组 nums ，找到其中最长严格递增子序列的长度。子序列是由数组派生而来的序列，删除（或不删除）数组中的…...

编程日记 2025/9/22 17:10:34

QEMU 搭建arm linux开发环境

Qemu 作为一款强大的开源虚拟化软件，为我们提供了一个便捷且经济实惠的方式来模拟各种硬件环境，从而在上面安装和学习 Linux 系统。本文将详细介绍如何使用 Qemu 搭建 Linux 学习环境， 环境准备操作系统：建议使用 Ubuntu 20.04…...

编程日记 2025/9/17 20:51:34

PyQt组态软件拖拽设计界面测试

PyQt组态软件测试最近在研究PyQt,尝试写个拖拽设计界面的组态软件，目前实现的功能如下： 支持拖入控件，鼠标拖动控件位置拖动控件边缘修改控件大小支持属性编辑器，修改当前选中控件的属性拖动框选控件，点选控件控…...

编程日记 2025/9/6 3:57:52

JAVA泛型介绍与举例

Java中，泛型用于编译阶段限制集合中元素的类型，或者限制类中某个属性的类型，编译过程中发生类型擦除，最终还是Object类型。 1. 集合中的泛型集合默认可以存储任何类型的元素，即Object类型，当使用一个集合…...

编程日记 2025/9/16 2:19:01

JavaScript 内置对象-Math对象

在JavaScript中，Math 对象提供了一系列与数学相关的静态方法和属性，帮助开发者执行复杂的计算任务。无论是简单的算术运算还是高级的几何、统计计算，Math 对象都能提供强大的支持。本文将详细介绍 Math 对象的主要功能及其使用方法。一、简…...

编程日记 2025/9/12 1:54:22

Ubuntu 22.04 Desktop企业级基础配置操作指南

一、网络配置 cd /etc/netplan vi 00-installer-config.yaml 设置如下所示： network:version: 2ethernets:eth0: # 替换为你的实际网络接口名称，如 ens33, enp0s3 等dhcp4: noaddresses:- 192.168.1.100/24 # 静态IP地址和子网掩码gateway4: 192.16…...

编程日记 2025/9/21 22:11:36

UE_C++ —— UObject Instance Creation

目录一，UObject Instance Creation NewObject NewNamedObject ConstructObject Object Flags 二，Unreal Object Handling Automatic Property Initialization Automatic Updating of References Serialization Updating of Property Values …...

编程日记 2025/9/22 4:30:29

WPF的MVVMLight框架

在NuGet中引入该库： MVVMLight框架中的命令模式的使用： <StackPanel><TextBox Text"{Binding Name}"/><TextBox Text"{Binding Title}"/><Button Content"点我" Command"{Binding ShowCommand…...

编程日记 2025/9/22 7:55:32

【云安全】云原生- K8S kubeconfig 文件泄露

什么是 kubeconfig 文件？ kubeconfig 文件是 Kubernetes 的配置文件，用于存储集群的访问凭证、API Server 的地址和认证信息，允许用户和 kubectl 等工具与 Kubernetes 集群进行交互。它通常包含多个集群的配置，支持通过上下文&am…...

编程日记 2025/9/22 7:50:13

binance python

binance-futures-connector 4.1.0 from binance.um_futures import UMFutures # U本位 USDT-M Futures /fapi/* # 币本位 COIN-M Delivery /dapi/* proxies { https: http://localhost:7890 } client UMFutures(proxiesproxies)apiKey"" apiSecret"" cl…...

编程日记 2025/9/9 17:06:22

LLaMA-Factory DeepSeek-R1 模型微调基础教程

LLaMA-Factory 模型微调基础教程 LLaMA-FactoryLLaMA-Factory 下载 AnacondaAnaconda 环境创建软硬件依赖详情LLaMA-Factory 依赖安装CUDA 安装量化 BitsAndBytes 安装可视化微调启动数据集准备所需工具下载使用教程所需数据合并数据集预处理 DeepSeek-R1 可视化微调数据集处…...

编程日记 2025/9/20 19:30:45

利用亚马逊云科技RDS for SQL Server配置向量数据存储

生成式人工智能（AI）正迎来又一个快速发展期，引起了开发者们的广泛关注。将生成式能力集成到商业服务和解决方案中变得非常重要。当前的生成式AI解决方案是机器学习和深度学习模型逐步进化迭代的结果。从深度学习到生成式AI的质变飞跃主要是由…...

编程日记 2025/9/20 23:25:59

ASP.NET Core SixLabors.ImageSharp v1.0 的图像实用程序类 web示例

这个小型实用程序库需要将 NuGet SixLabors.ImageSharp包（版本 1.0.4）添加到.NET Core 3.1/ .NET 6 / .NET 8项目中。它与Windows、Linux和 MacOS兼容。这已针对 ImageSharp v3.0.1 进行了重新设计。它可以根据百万像素数或长度乘以宽度来调整图像大…...

编程日记 2025/9/19 22:31:39

JVM 底层探秘：对象创建的详细流程、内存分配机制解析以及线程安全保障策略

文章目录 1. 类加载检查2. 内存分配① 指针碰撞② 空闲列表线程安全问题： 3. 内存空间初始化4. 对象头设置5. 对象初始化当Java虚拟机遇到一条 new指令时，会执行以下步骤来创建对象： 1. 类加载检查首先检查new指令的参数是否能在常量池中…...

编程日记 2025/9/9 10:18:03

SpringCloud框架下的注册中心比较：Eureka与Consul的实战解析

摘要在探讨SpringCloud框架中的两种注册中心之前，有必要回顾单体架构与分布式架构的特点。单体架构将所有业务功能集成在一个项目中，优点是架构简单、部署成本低，但耦合度高。分布式架构则根据业务功能对系统进行拆分，每个模块作…...

编程日记 2025/9/10 18:13:35

应对DeepSeek总是服务器繁忙的解决方法

最近由于访问量过大，DeepSeek服务器官网经常弹出：“服务器繁忙，请稍后再试”的提示，直接卡成PPT怎么办？服务器繁忙直接看到视觉疲劳： 解决DeepSeek卡顿问题 DeepSeek使用卡顿问题，是因为访问量…...

编程日记 2025/9/21 10:05:38

C++ 实践扩展（Qt Creator 联动 Visual Studio 2022）

这里我们将在 VS 上实现 QT 编程，实现如下： 一、Vs 2022 配置（若已安装，可直接跳过） 点击链接：Visual Studio 2022 我们先去 Vs 官网下载，如下： 等待程序安装完成之…...

编程日记 2025/9/20 6:58:58

JENKINS（全面）

一.linux系统中JENKINS的安装注意：安装jenkins需要安装jdk，而且具体版本的jenkins有相对应的jdk版本。可参考以下链接。 Redhat Jenkins 软件包https://pkg.jenkins.io/redhat-stable/https://pkg.jenkins.io/redhat-stable/https://pkg.jenkins.io/r…...

编程日记 2025/9/20 22:09:29

72.git指南（简单）

Git 操作指南在开始之前，请确保你已经提前配置好 .gitignore 文件，以避免不必要的文件被 Git 跟踪。如果在初始化仓库后再配置 .gitignore 文件，之前添加的文件仍会被跟踪，需要手动移除。如下例子忽略了文件夹及文件夹内所有内…...

编程日记 2025/9/22 0:20:23

LeetCode 232: 用栈实现队列

LeetCode 232: 用栈实现队列题目描述使用栈实现队列的操作。支持以下操作： MyQueue()：初始化队列。push(x)：将元素 x 推入队列。pop()：从队列中移除元素。peek()：返回队列头部的元素。empty()：检查队列…...

编程日记 2025/9/21 9:15:36

C#关于静态关键词static详解

Demo代码： public class HomeController : Controller {private DateTime time1 DateTime.Now; // 实例字段private static DateTime time2 DateTime.Now; // 静态字段[HttpGet("index")]public async Task Index(){Console.WriteLine($"now&am…...

编程日记 2025/9/19 10:32:58

【Pico】使用Pico进行无线串流搜索不到电脑

使用Pico进行无线串流搜索不到电脑官串方式：使用Pico互联连接电脑。故障排查以下来自官方文档请按照以下步骡排除故障： 确认电脑和一体机连接了相同的路由器WiFi网络(相同网段) IP地址通常为192.168.XX，若两设备的IP地址前三段相同&…...

编程日记 2025/9/21 3:55:58

细说STM32F407单片机RTC的基本原理及闹钟和周期唤醒功能的使用方法

目录一、RTC基础知识 1、 RTC的功能 2、RTC工作原理 （1）RTC的时钟信号源 （2）预分频器 （3）实时时钟和日历数据 （4）周期性自动唤醒 （5）可编程闹钟 &a…...

编程日记 2025/9/21 14:01:13

ES用脚本更新异常

因为需要向原有的es结构中增加一个检索字段，但因为历史es数据都没有该字段，需要批量刷新es的该字段，本地使用了脚本的方式进行刷新，在测试环境测试，出现了以下错误： 500 Internal Server Error: [{"e…...

编程日记 2025/9/20 15:08:00

Navicat导入海量Excel数据到数据库（简易介绍）

目录前言正文前言此处主要作为科普帖进行记录原先Java处理海量数据的导入时，由于接口超时，数据处理不过来，后续转为Navicat Navicat 是一款功能强大的数据库管理工具，支持多种数据库系统（如 MySQL、PostgreSQL、…...

编程日记 2025/9/19 14:19:00

C++学习

C对C语言的加强 1.命名空间（namespace） 为了避免，在大规模程序的设计中，以及在程序员使用各种各样的C库时，这些标识符的命名发送冲突。标准C引入了关键字namespace，可以更好地控制标识符的作用域。 st…...

编程日记 2025/9/17 19:41:22

Linux Mem -- Where the mte store and check in the real hardware platform

目录 1 前言 2 MTE tag分类 3 Address tag 4 Memory tag 5 Tag Check 6 Cortex-A710 和 CI-700 系统示例： 1 前言 ARM的MTE允许分配、设置、比较一个 4bit的allocation tag 为16字节粒度的物理地址。当对MTE有一定了解后，应该会产生如下疑问&#…...

编程日记 2025/9/22 2:06:35

老牌软件，如今依旧坚挺

今天给大家介绍一个非常好用的老牌电脑清理软件，这个软件好多年之前就有人使用了。今天找出来之后，发现还是那么的好用，功能非常强大。 Red Button 电脑清理软件软件是绿色版，无需安装，打开这个图标就能直接使用了…...

编程日记 2025/9/21 16:25:15

springboot整合modbus实现通讯

springboot整合modbus4j实现tcp通讯前言本文基于springboot和modbus4j进行简单封装，达到开箱即用的目的，目前本方案仅实现了tcp通讯。代码会放在最后，按照使用方法操作后就可以直接使用介绍在使用本方案之前，有必要对modb…...

编程日记 2025/9/15 10:53:42

【java面试】线程篇

1.什么是线程？ 线程是操作系统能够进行运算调度的最小单位，它被包含在进程之中，是进程中的实际运作单位。 2.线程和进程有什么区别？ 线程是进程的子集，一个进程可以有很多线程，每条线程并行执行不同的任…...

编程日记 2025/9/18 18:19:42

DeepSeek官方发布R1模型推荐设置

今年以来，DeepSeek便在AI领域独占鳌头，热度一骑绝尘。其官方App更是创造了惊人纪录，成为史上最快突破3000万日活的应用，这一成绩无疑彰显了它在大众中的超高人气与强大吸引力。一时间，各大AI及云服务厂商纷纷投身其中&…...

编程日记 2025/9/21 23:03:19

Vue CLI 配置与插件

Vue CLI 配置与插件今天我们来聊聊 Vue CLI 的配置与插件。随着项目复杂度的增加，合理配置 Vue CLI 可以帮助我们更高效地管理项目，同时利用插件机制快速集成各种功能。下面我就和大家详细介绍如何配置 Vue CLI，以及如何使用和开发插件&…...

编程日记 2025/9/9 7:52:33

Spring Boot （maven）分页3.0版本通用版

前言： 通过实践而发现真理，又通过实践而证实真理和发展真理。从感性认识而能动地发展到理性认识，又从理性认识而能动地指导革命实践，改造主观世界和客观世界。实践、认识、再实践、再认识，这种形式，循环往…...

编程日记 2025/9/19 4:39:48

pip 与 conda 的故事

pip 换源 pip 官方源 -i https://pypi.python.org/simple pip 清华源 -i https://pypi.tuna.tsinghua.edu.cn/simple pip 阿里源 -i https://mirrors.aliyun.com/pypi/simple PyTorch 安装 pip3 install torch torchvision torchaudio pip3 install torch torchvision torchaud…...

编程日记 2025/9/21 6:57:16

清华大学KVCache.AI团队联合趋境科技联合的KTransformers开源项目为什么那么厉害

KTransformers是一个由清华大学KVAV.AI团队开发的开源项目，旨在优化大语言模型（LLM）的推理性能，特别是在有限显存资源下运行大型模型。以下是KTransformers的详细介绍： 1. 核心特点高性能优化：KTransfor…...

编程日记 2025/9/21 5:49:17

DeepSeek 遭 DDoS 攻击背后：DDoS 攻击的 “千层套路” 与安全防御 “金钟罩”_deepseek ddos

当算力博弈升级为网络战争：拆解DDoS攻击背后的技术攻防战——从DeepSeek遇袭看全球网络安全新趋势在数字化浪潮席卷全球的当下，网络已然成为人类社会运转的关键基础设施，深刻融入经济、生活、政务等各个领域。从金融交易的实时清算&#xf…...

编程日记 2025/9/19 17:55:58

4090单卡挑战DeepSeek r1 671b：尝试量化后的心得的分享

引言： 最近，DeepSeek-R1在完全开源的背景下，与OpenAI的O1推理模型展开了激烈竞争，引发了广泛关注。为了让更多本地用户能够运行DeepSeek，我们成功将R1 671B参数模型从720GB压缩至131GB，减少了80%&#xff…...

编程日记 2025/8/22 18:01:05

【动态路由】系统Web URL资源整合系列（后端技术实现）【apisix实现】

需求说明软件功能需求：反向代理功能（描述：apollo、eureka控、apisix、sentinel、普米、kibana、timetask、grafana、hbase、skywalking-ui、pinpoint、cmak界面、kafka-map、nacos、gateway、elasticsearch、 oa-portal 业务应用等多个web资…...

编程日记 2025/9/18 13:16:22

【Elasticsearch】通过运行时字段在查询阶段动态覆盖索引字段

在 Elasticsearch 中，Override field values at query time是指通过运行时字段（runtime fields）在查询阶段动态覆盖索引字段的值，而无需修改原始索引数据。这种功能特别适用于以下场景： 1. 动态修改字段值&#xff1a…...

编程日记 2025/9/20 4:49:20

【stm32】定时器

stm32f4xx： APB2 ----> TIM1,TIM8,TIM9,TIM10,TIM11 APB1 ----> TIM2,TIM3,TIM4,TIM5,TIM6,TIM7,TIM12,TIM13,TIM14 一、定时器介绍 1、基本定时器 1.1、TIM6 和 TIM7 的主要特性 ● 16 位自动重载递增计数器 ● 16 位可编程…...

编程日记 2025/9/21 13:43:36

滑动窗口算法篇：连续子区间与子串问题

1.滑动窗口原理那么一谈到子区间的问题，我们可能会想到我们可以用我们的前缀和来应用子区间问题，但是这里对于子区间乃至子串问题，我们也可以尝试往滑动窗口的思路方向去进行一个尝试，那么说那么半天，滑动窗口是什么…...

编程日记 2025/9/22 7:12:41

华三交换机-链路聚合配置案例

目录 1.链路聚合简述:2.链路聚合的作用:3.链路聚合的模式:4.网络拓扑:5.实验需求:6.网络配置：6.1 链路聚合配置(静态聚合)6.1.1 链路聚合配置:6.1.2 查看链路聚合状态: 6.2 链路聚合配置(动态聚合)6.2.1 链路聚合配置:6.2.2 查看链路聚合状态: 7.网络连通性测试:(接…...

编程日记 2025/9/18 9:05:51

Qwen2-VL 的重大省级，Qwen 发布新旗舰视觉语言模型 Qwen2.5-VL

Qwen2.5-VL 是 Qwen 的新旗舰视觉语言模型，也是上一代 Qwen2-VL 的重大飞跃。 Qwen2.5-VL主要特点视觉理解事物：Qwen2.5-VL不仅能够熟练识别花、鸟、鱼、昆虫等常见物体，而且还能够分析图像中的文本、图表、图标、图形和布局。代理性&…...

编程日记 2025/9/22 12:48:15

关系数据库标准语言SQL

1.SOL称为结构化查询语言，它是由1974年由Boyce和Chamberlin提出的，1975年至1979年IBM公司的San Jose Research Laboratory研制了关系数据库管理系统的原型系统SystemR,并实现了这种语言。 2.SQL(Structured Ouery Language)称为结构化查询语言 3.SQL数…...

编程日记 2025/9/20 18:18:10

mysql8.0使用MGR实现高可用与利用MySQL Router构建读写分离MGR集群

MGR是MySQL Group Replication的缩写，即MySQL组复制。在以往，我们一般是利用MySQL的主从复制或半同步复制来提供高可用解决方案，但这存在以下几个比较严重的问题： 主从复制间容易发生复制延迟，尤其是在5.6以前的版本…...

编程日记 2025/9/22 6:31:59

《AI大模型开发笔记》MoE模型技术对比（Mixtral，Qwen2-MoE，DeepSeek-v3）

MoE模型技术对比（Mixtral，Qwen2-MoE，DeepSeek-v3） MoE（混合专家）大模型进入爆发期！本期我们对比三大开源MoE LLM：Mixtral、Qwen2-MoE 和最新爆火的 DeepSeek-V3。从 2023 年 Mixtral 开启风潮，到 2024 年 DeepSeek-V3 让全球瞩目，MoE 模型到底经历了怎样的进化？ De…...

编程日记 2025/9/14 8:32:08