当前位置： 首页 > news >正文

【愚公系列】《Python网络爬虫从入门到精通》022-Splash的爬虫应用

news 来源：原创 2025/9/20 7:31:05
标题详情
作者简介愚公搬代码
头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。
近期荣誉2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳博主等。
博客内容.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人工智能、U3D游戏、小程序等相关领域知识。
欢迎👍点赞、✍评论、⭐收藏

文章目录

  • 🚀前言
  • 🚀一、Splash的爬虫应用
    • 🔎1.搭建 Splash 环境（Windows 10 系统）
    • 🔎2.Splash 的 HTTP API
      • 🦋2.1 `render.html` 接口
      • 🦋2.2 `render.png` 接口
      • 🦋3.3 `render.json` 接口
    • 🔎3.执行 Lua 自定义脚本

🚀前言

在当今互联网技术飞速发展的时代，网页数据的提取变得愈发复杂。许多网站使用JavaScript来动态生成内容，这使得传统爬虫工具难以有效抓取所需数据。而Splash，一个基于Python的JavaScript渲染服务，提供了一种解决方案，使得我们能够轻松处理这些动态网页。

在本期文章中，我们将深入探讨Splash的爬虫应用。我们将介绍Splash的基本概念、安装与配置，以及如何利用它进行网页抓取。通过实际案例，我们将演示如何使用Splash处理JavaScript生成的内容，提取所需信息，并展示如何将其与其他爬虫框架结合使用，提升数据抓取的效率和准确性。

🚀一、Splash的爬虫应用

Splash 是一个基于 JavaScript 渲染的轻量级 Web 浏览器服务，提供 HTTP API 接口。通过 Python 调用其 API 或 Lua 脚本，可实现动态渲染页面的爬取。

🔎1.搭建 Splash 环境（Windows 10 系统）

依赖工具：Docker（仅支持 Windows 10 专业版/企业版 64 位）

安装步骤

  1. 安装 Docker

    • 访问 Docker 官网，下载 Docker Desktop Installer.exe。
    • 安装时需开启 Hyper-V 功能。

  2. 安装 Splash

    • 打开命令提示符，执行以下命令：
      docker pull scrapinghub/splash

  3. 启动 Splash 服务

    docker run -p 8050:8050 scrapinghub/splash
    • 访问 http://localhost:8050 可进入 Splash 测试页面。

🔎2.Splash 的 HTTP API<

相关文章：

【愚公系列】《Python网络爬虫从入门到精通》022-Splash的爬虫应用

标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。近期荣誉2022年度…...

编程日记 2025/9/20 7:31:05

Golang深度学习

前言 在2009年&#xff0c;Google公司发布了一种新的编程语言&#xff0c;名为Go&#xff08;或称为Golang&#xff09;&#xff0c;旨在提高编程效率、简化并发编程&#xff0c;并提供强大的标准库支持。Go语言的设计者们希望通过Go语言能够解决软件开发中的一些长期存在的问…...

编程日记 2025/9/20 14:11:20

React（8）

封装评论列表的Item组件 实现父传子以及子组件调用父组件方法 import { useEffect, useState } from "react"; import "./index.css"; import _ from "lodash"; import classNames from "classnames"; import axios from "axio…...

编程日记 2025/9/19 19:40:33

自制AirTag，支持安卓/鸿蒙/PC/Home Assistant，无需拥有iPhone

苹果的AirTag很贵&#xff0c;虽然某强北有平价代替品&#xff0c;但是仍需要苹果设备才能绑定&#xff0c;才能查看位置。不支持安卓/鸿蒙/PC&#xff0c;也不支持集成到Home Assistant中。 AirTag 的原理 每个AirTag都会发送一个蓝牙信号&#xff0c;其可以被临近的苹果设备…...

编程日记 2025/9/20 14:09:43

docker修改镜像默认存储路径（基于页面迁移）

文章目录 1、停止服务2、拷贝镜像3、docker界面设置路径4、重新启动服务5、重启电脑 1、停止服务 桌面底部右键打开任务管理器 停止docker服务 2、拷贝镜像 从原目录拷贝到新的目录下&#xff0c;新的目录自己定&#xff0c;如果没有权限&#xff0c;需要先对原文件添加权限…...

编程日记 2025/9/20 14:09:23

10. 软件设计架构-经典架构问题

文章目录 前言一、高并发场景下的系统崩溃1. 问题描述2. 解决方案&#xff1a;3. 案例分析&#xff1a;电商秒杀系统 二、单体架构到微服务的拆分陷阱1. 问题描述2. 解决方案&#xff1a;3. 案例分析&#xff1a;在线教育平台拆分 三、分布式系统中的数据一致性难题1. 问题描述…...

编程日记 2025/9/20 14:09:23

Qt学习（五）自定义对话框，多窗口开发---添加设计师类， MDI多窗口开发

一 对话框 实现功能&#xff1a;打开文件&#xff0c;选择目录&#xff0c;保存文件&#xff0c;选择颜色&#xff0c;选择字体&#xff0c;输入信息&#xff0c; 消息提示框 #ifndef MAINWINDOW_H #define MAINWINDOW_H#include <QMainWindow>QT_BEGIN_NAMESPACE na…...

编程日记 2025/9/11 12:20:36

【部署优化篇三】《DeepSeek边缘计算实战：把目标检测模型塞进树莓派，让AI在巴掌大的设备上“开天眼“》

“谁说只有超级计算机才能跑AI？今天咱们就要在树莓派上玩转DeepSeek目标检测，让这个巴掌大的小盒子变成会‘看’世界的智能终端！” 本文手把手教你从零开始，把最潮的目标检测模型塞进树莓派。全程高能预警，建议准备好你的树莓派4B/5和散热风扇，咱们这就开启边缘计算的魔法…...

编程日记 2025/9/15 10:08:17

深入浅出CSS复合选择器：掌控元素关系与层级选择

目录 前言 一、子代选择器&#xff08;Descendant Selector&#xff09; 1. 什么是子代选择器&#xff1f; 2. 基本语法 3. 示例 4. 注意事项 二、直接子元素选择器&#xff08;Child Selector&#xff09; 1. 什么是直接子元素选择器&#xff1f; 2. 基本语法 3. 示例…...

编程日记 2025/9/15 14:09:05

LLM 推理中推理-时间计算技巧

25年2月来自香港科技大学广州分校的论文“Bag of Tricks for Inference-time Computation of LLM Reasoning”。 随着大语言模型 (LLM) 的进步&#xff0c;解决复杂的推理任务越来越受到关注。推理-时间计算方法&#xff08;例如 Best-of-N、波束搜索等&#xff09;特别有价值…...

编程日记 2025/9/19 6:49:11

【模板】图论 最短路 (Floyd+SPFA+Dijkstra)

FloydSPFADijkstra 温故而知新&#xff0c;这三种算法都是求最短路问题常用的算法&#xff08;特别是Dijkstra) 1.Floyd &#xff08;多源最短路&#xff09; 基于动态规划思想&#xff0c;时间复杂度为 O ( N 3 ) O(N^3) O(N3) 较高。 注意点&#xff1a; 初始化距离为INF…...

编程日记 2025/9/16 8:11:12

vite-vue-ts使用arco-design-vue定制主题的后动态变更主题思路

定制主题的后动态变更主题思路 安装依赖与主题定制动态变更主题过程尝试修改主题色&#xff08;结果失败&#xff09;尝试修改主题色&#xff08;结果成功&#xff0c;但是hover的主题色没有变&#xff0c;未覆盖10个梯度的色值&#xff09;根据主题色实现10个梯度颜色实现10个…...

编程日记 2025/9/16 9:08:57

递归爬取网页测试

我们正在做基于大模型的数据分析平台。 当前需要测试ezdata的递归爬取功能&#xff0c;爬取到第几层 测试网址 https://blog.csdn.net/m0_68177611/article/details/144936089...

编程日记 2025/9/7 22:55:34

【论文学习】RVS-FDSC：一种基于四方向条带卷积的视网膜血管分割方法以增强特征提取

写在前面&#xff1a;本博客仅作记录学习之用&#xff0c;部分图片来自网络&#xff0c;如需引用请注明出处&#xff0c;同时如有侵犯您的权益&#xff0c;请联系删除&#xff01; 文章目录 前言论文论文内容RSC模块MSPF2 模块RPDA模块 实验效果 总结互动致谢参考往期回顾 前言…...

编程日记 2025/9/9 21:13:18

交友项目-交友软件简介

一、 项目背景 在线社交是互联网时代的产物&#xff0c;已成为互联网用户的基础需求之一。移动互联网自2003年起快速发展&#xff0c;促使在线社交逐渐从PC端转移至移动端。移动社交最初以熟人社交为主&#xff0c;以维系熟人关系、共享资源信息的形式存在。随着人们交友需求的…...

编程日记 2025/9/18 15:18:59

新手向：SpringBoot后端查询到数据，前端404？（附联调时各传参方式注解总结-带你一文搞定联调参数）

前言&#xff1a; 在 Spring Boot 项目开发中&#xff0c;后端小伙伴可能经常遇到这样诡异的场景&#xff1a; 后台日志显示查询到了数据&#xff0c;但前端却一脸懵逼地告诉你 404 Not Found&#xff1f;接口明明写好了&#xff0c;Postman 直接访问却提示找不到&#xff1f…...

编程日记 2025/9/13 22:09:40

Elasticsearch7.6.2 安装过程

一. 安装JDK1.8 &#xff08;1&#xff09;创建安装目录 mkdir /usr/local/java/ &#xff08;2&#xff09;解压至安装目录 tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/java/ &#xff08;3&#xff09;设置环境变量 vim /etc/profile 在末尾添加 export JA…...

编程日记 2025/9/19 5:50:48

汇能感知的光谱相机/模块产品有哪些？

CM020A 分辨率&#xff1a;1600H1200V 光谱范围&#xff1a;350~950nm 光谱分辨率&#xff1a;1nm 接口&#xff1a;USB2.0 帧率&#xff1a;16001200 (6帧) 输出格式&#xff1a;Raw 8bit FOV&#xff1a;D73.5H58.8V44.1 相机尺寸&#xff1a;505055mm VM02S10 分辨率…...

编程日记 2025/9/13 2:03:15

【机器学习】K折交叉验证（K-Fold Cross-Validation）

文章目录 K折交叉验证步骤详解一. 核心目标二. 具体步骤与操作三. 关键变体与场景适配3.1 分层K折交叉验证3.2 时间序列K折交叉验证3.3 留一法&#xff08;LOO&#xff09;3.4 重复K折交叉验证 四. 实践注意事项五. Python代码示例六. 总结 K折交叉验证步骤详解 一. 核心目标 …...

编程日记 2025/9/19 21:28:02

【核心算法篇十九】《 DeepSeek因果推断：双重差分模型如何破解政策评估的「时空难题」》

一、当AB实验不可行时，我们该相信什么？（因果推断困局解析） 假设某城市推出「夜间地铁免费」政策，市长想知道这个政策是否真的提升了夜间经济。这时候你会发现： 1️⃣ 无法克隆城市：不能同时存在一个「实施政策」和「不实施政策」的平行宇宙 2️⃣ 数据混杂严重：疫情反…...

编程日记 2025/9/16 3:24:30

使用vue3框架vue-next-admin导出列表数据

在 Vue3 中实现 Excel 导出功能可以通过以下步骤完成&#xff0c;这里使用 xlsx 库来实现前端 Excel 导出&#xff1a; 1. 安装依赖 npm install xlsx file-saver # 或 yarn add xlsx file-saver2. 实现代码示例 需要在当前页引入 import * as XLSX from "xlsx";注…...

编程日记 2025/9/15 17:30:51

机器学习（1）安装Pytorch

1.安装命令 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 2.安装过程Log&#xff1a; Looking in indexes: https://download.pytorch.org/whl/cu118 Co…...

编程日记 2025/9/15 16:23:28

讯方·智汇云校华为官方授权培训机构

1.官方授权 讯方智汇云校是华为领先级授权培训机构&#xff08;华为授权培训合作伙伴&#xff08;HALP&#xff09;体系&#xff0c;分为认证、优选、领先三个等级&#xff0c;领先级是HALP最高级&#xff09;&#xff0c;代表着华为对培训合作伙伴在专业能力、师资队伍、合作…...

编程日记 2025/9/19 12:38:18

彻底理解零拷贝技术，zero-copy

计算机处理的任务大体可以分为两类&#xff1a;CPU密集型与IO密集型。当前流行的互联网应用更多的属于IO密集型&#xff0c;传统的IO标准接口都是基于数据拷贝的&#xff0c;这篇文章我们主要关注该怎样从数据拷贝的角度来优化IO性能&#xff0c;让你的程序在IO性能方面赶超P8。…...

编程日记 2025/9/12 9:58:25

使用 MySQL 从 JSON 字符串提取数据

使用 MySQL 从 JSON 字符串提取数据 在现代数据库管理中&#xff0c;JSON 格式因其灵活性而广泛使用。然而&#xff0c;当数据存储在 JSON 中时&#xff0c;我们经常需要将其转换为更易于处理的格式。本篇文章将通过一个具体的 SQL 查询示例&#xff0c;展示如何从存储在 MySQ…...

编程日记 2025/9/20 8:01:58

矛盾（WEB）

##解题思路 打开靶场就是一段自相矛盾的代码&#xff0c;既要num是数字类型&#xff0c;又要判断为1 这种情况我们会想到弱类型的编程语言&#xff0c;插件查看过后&#xff0c;php就是弱类型的语言&#xff0c;此处并非是严格相等&#xff0c;只是 因此可以根据弱类型编程语言…...

编程日记 2025/9/16 5:50:25

优先队列（典型算法思想）—— OJ例题算法解析思路

目录 一、1046. 最后一块石头的重量 - 力扣&#xff08;LeetCode&#xff09; 算法代码&#xff1a; 代码思路 使用优先队列&#xff08;大根堆&#xff09; 将所有石头放入堆中 模拟碰撞过程 返回最后的重量 代码解析 时间复杂度 示例 输入 输出 二、703. 数据流…...

编程日记 2025/9/20 4:48:34

IGBT的损耗性分析

铝合金外壳设计器地址：嘉立创铝合金外壳/壳体/盒型-让您的产品更出彩 IGBT和MOS的损耗谁大: 电子元器件常见失效模式: 电子元器件的失效模式多种多样，以下是一些常见的失效模式及其原因： 开路： 原因：内部连接断开、焊点断裂、导线断裂等。 影响：电流无法通过，电路中断。…...

编程日记 2025/9/20 0:41:09

TypeScript跟js,es6这些的区别

TypeScript 一、TypeScript 是什么 想象 JavaScript 是一个自由奔放的艺术家&#xff0c;它在创作&#xff08;编写代码&#xff09;时不受太多约束&#xff0c;非常灵活&#xff0c;但有时也容易犯错且难以调试。而 TypeScript 就像是给这位艺术家配备了一套精确的工具和规范…...

编程日记 2025/9/19 12:32:22

单例模式代码示例

饿汉式&#xff1a;在类加载时就创建单例实例&#xff0c;线程安全。代码如下&#xff1a; public class Singleton {// 私有静态实例private static final Singleton instance new Singleton();// 私有构造函数private Singleton() {}// 公共访问方法public static Singleto…...

编程日记 2025/9/17 16:22:30

掌握 ElasticSearch的 _source 过滤

掌握 ElasticSearch的 _source 过滤 1. 引言2. _source 元数据基础2.1 什么是 _source 字段&#xff1f;2.2 _source 的基本用法 3. 禁用 _source3.1 如何禁用 _source 字段3.2 禁用 _source 的利弊3.3 最佳实践建议 4. _source 数据源过滤4.1 为什么需要数据源过滤&#xff1f…...

编程日记 2025/9/14 20:39:20

车载音频配置（二）

目录 OEM 自定义的车载音频上下文 动态音频区配置 向前兼容性 Android 14 车载音频配置 在 Android 14 中，AAOS 引入了 OEM 插件服务，使你可以更主动地管理由车载音频服务监督的音频行为。 随着新的插件服务的引入，车载音频配置文件中添加了以下更改： • OEM 自定义的车…...

编程日记 2025/9/19 22:23:15

开目3DCAPP系列：三维制造成本分析与估算软件3DDFC

开目3DDFC 是一款基于 MBD 模型和工艺知识库的专业三维制造成本分析与估算软件&#xff0c;在不依赖详细工艺路线的情况下&#xff0c;根据零件几何信息和精度信息一键式完成零件成本的分析与估算&#xff0c;为面向成本的设计优化提供参考指引&#xff0c;也为企业对外产品报价…...

编程日记 2025/9/15 18:28:12

化学品安全数据表（MSDS）的全面解析与实用指南

SDS&#xff08;安全数据表&#xff09;&#xff0c;也称为MSDS&#xff08;材料安全数据表&#xff09;&#xff0c;是用于详细说明化学品的理化特性&#xff08;如pH值、闪点、易燃性、反应活性等&#xff09;及其对使用者健康&#xff08;如致癌、致畸等&#xff09;潜在危害…...

编程日记 2025/9/13 15:01:38

赛前启航 | Azure 应用开发实战指南：开启创意的无限可能

在 AI 时代&#xff0c;如何高效构建、优化和部署你的应用&#xff1f;如何充分利用微软 Azure 的强大能力&#xff0c;让开发更敏捷&#xff0c;性能更卓越&#xff1f;2 月 21 日 14:00-16:00&#xff0c;微软 AI 开发者挑战赛赛前指导第二场直播&#xff0c;带你全方位掌握 …...

编程日记 2025/9/17 16:37:39

Visual Studio Code的下载安装与汉化

1.下载安装 Visual Studio Code的下载安装十分简单&#xff0c;在本电脑的应用商店直接下载安装----注意这是社区版-----一般社区版就足够用了---另外注意更改安装地址 2.下载插件 重启后就是中文版本了...

编程日记 2025/9/7 20:00:30

home assistant ddns动态域名解析插件

home assistant ddns动态域名解析插件 使用方法 在HACS中搜索 ddns安装(hacs目前还没有合并我的提交&#xff0c;目前不可用)&#xff0c;或者 clone https://github.com/weiangongsi/ddns.git, 将 custom_components/ddns目录拷贝至 Home Assistant 配置目录的 custom_compon…...

编程日记 2025/9/14 22:34:21

金融交易算法单介绍

0.背景 股票交易时&#xff0c;常见的订单类型有基础订单和条件订单。 基础订单 市价单限价单碎股单等等 条件订单 止损市价单止损限价单触及市价单&#xff08;止盈&#xff09;触及限价单&#xff08;止盈&#xff09;跟踪止损市价单跟踪止损限价单等等 除了基础订单和…...

编程日记 2025/9/7 20:00:26

LabVIEW利用CANopen的Batch SDO写入

本示例展示了如何通过CANopen协议向设备写入Batch SDO&#xff08;批量服务数据对象&#xff09;。Batch SDO允许用户在一次操作中配置多个参数&#xff0c;适用于设备的批量配置和参数设置。此方法能够简化多个参数的写入过程&#xff0c;提高设备管理效率。 主要步骤&#xf…...

编程日记 2025/9/19 2:55:39

正式页面开发-登录注册页面

整体路由设计&#xff1a; 登录和注册的切换是切换组件或者是切换内容&#xff08;v-if和 v-else)&#xff0c;因为点击两个之间路径是没有变化的。也就是登录和注册共用同一个路由。登录是独立的一级路由。登录之后进到首页&#xff0c;有三个大模块&#xff1a;文章分类&…...

编程日记 2025/9/18 9:32:02

vLLM专题（二）：安装-CPU

vLLM 是一个 Python 库，支持以下 CPU 变体。选择您的 CPU 类型以查看供应商特定的说明： Intel/AMD x86 vLLM 最初支持在 x86 CPU 平台上进行基本模型推理和服务，支持的数据类型包括 FP32、FP16 和 BF16。 注意 此设备没有预构建的 wheel 包或镜像，因此您必须从源代码构建 v…...

编程日记 2025/9/13 18:04:46

【CSS进阶】常见的页面自适应的方法

在前端开发中&#xff0c;自适应布局&#xff08;Responsive Design&#xff09;是一种让网页能够适应不同屏幕尺寸、设备和分辨率的技术。常见的自适应布局方法包括 流式布局、弹性布局&#xff08;Flexbox&#xff09;、栅格布局&#xff08;Grid&#xff09;、媒体查询&…...

编程日记 2025/9/18 22:57:02

Java编程语言：从基础到高级应用的全面探索

在当今的软件开发领域中&#xff0c;Java无疑是一种极为流行且强大的编程语言。自1995年由Sun Microsystems推出以来&#xff0c;Java凭借其跨平台性、面向对象特性和丰富的API库&#xff0c;迅速成为企业级应用开发的首选语言。本文将带您从Java的基础语法入手&#xff0c;逐步…...

编程日记 2025/9/11 1:00:40

计算机视觉：神经网络实战之手势识别(附代码)

第一章&#xff1a;计算机视觉中图像的基础认知 第二章&#xff1a;计算机视觉&#xff1a;卷积神经网络(CNN)基本概念(一) 第三章&#xff1a;计算机视觉&#xff1a;卷积神经网络(CNN)基本概念(二) 第四章&#xff1a;搭建一个经典的LeNet5神经网络(附代码) 第五章&#xff1…...

编程日记 2025/9/19 12:29:10

linux 面试题

1. 文件与目录操作 ls 功能&#xff1a;列出目录内容 常用参数&#xff1a; -l&#xff1a;长格式显示&#xff08;权限、大小、时间等&#xff09;-a&#xff1a;显示隐藏文件&#xff08;以.开头的文件&#xff09;-h&#xff1a;以易读格式显示文件大小&#xff08;如KB/…...

编程日记 2025/9/15 3:09:41

利用websocket检测网络连接稳定性

浏览器中打开F12&#xff0c;控制台中输入以下内容 > 回车 > 等待结果 连接关闭 表示断网 let reconnectDelay 1000; // 初始重连间隔 let pingInterval null; let socketManuallyClosed false; // 标志是否手动关闭function createWebSocket() {if (socketManuallyCl…...

编程日记 2025/9/15 16:16:07

Go入门之数组与切片

var arr1 [...]int{1, 2, 3}fmt.Println(len(arr1)) 数组长度不能扩展 var arr2 [...]int{0: 100, 5: 101}fmt.Println(len(arr2)) } 指定索引初始化 可以通过for和range遍历 值类型:基本数据类型和数组都是值类型&#xff0c;改变副本的值不会改变本身的值 切片为引用数…...

编程日记 2025/9/12 5:07:58

《Nuxt.js 实战：从放弃到入门》六、打造个性化文字转图片工具

​​ 在当今短视频的时代&#xff0c;将文字转化为图片是一个常见且实用的需求&#xff0c;无论是用于社交媒体分享、设计宣传材料&#xff0c;还是制作个性化的视觉内容。今天&#xff0c;我们就来深入剖析一个使用 Vue 3 和 ElementPlus 构建的文字转图片工具的代码&#xf…...

编程日记 2025/9/15 9:24:27

软硬链接？

目录 1. 硬链接&#xff08;Hard Link&#xff09; 2. 软链接&#xff08;Symbolic Link&#xff0c;符号链接&#xff09; 总结&#xff1a; 1. 硬链接&#xff08;Hard Link&#xff09; 定义&#xff1a; 硬链接是直接指向文件数据块&#xff08;inode&#xff09;的链接。…...

编程日记 2025/9/15 1:15:14

轻松搭建本地大语言模型（二）Open-WebUI安装与使用

文章目录 前置条件目标一、安装 Open-WebUI使用 Docker 部署 二、使用 Open-WebUI&#xff08;一&#xff09;访问Open-WebUI&#xff08;二&#xff09;注册账号&#xff08;三&#xff09;模型选择&#xff08;四&#xff09;交互 四、常见问题&#xff08;一&#xff09;容器…...

编程日记 2025/9/11 14:57:08