当前位置：首页 > news >正文

Spring Boot 使用 WebMagic 爬虫框架入门

news 来源：原创 2025/5/11 6:24:49

1. 创建 Spring Boot 项目

使用 Spring Initializr 创建一个 Spring Boot 项目，选择需要的依赖，如 Spring Web 等。

2. 添加 WebMagic 依赖

在项目的 pom.xml 文件中添加 WebMagic 的核心和扩展依赖：

<dependency><groupId>us.codecraft</groupId><artifactId>webmagic-core</artifactId><version>0.10.0</version>
</dependency>
<dependency><groupId>us.codecraft</groupId><artifactId>webmagic-extension</artifactId><version>0.10.0</version>
</dependency>

3. 编写爬虫处理器

创建一个类实现 PageProcessor 接口，重写 process 方法和 getSite 方法。

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;public class MyPageProcessor implements PageProcessor {// 抓取网站的相关配置private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);@Overridepublic void process(Page page) {// 定义如何抽取页面信息，并保存下来page.putField("title", page.getHtml().xpath("//title/text()").toString());page.putField("content", page.getHtml().css("div.content").toString());// 从页面发现后续的 url 地址来抓取page.addTargetRequests(page.getHtml().css("a", "href").all());}@Overridepublic Site getSite() {return site;}public static void main(String[] args) {Spider.create(new MyPageProcessor()).run();}
}

4. 配置 Pipeline

Pipeline 用于处理爬取到的数据。可以创建一个自定义的 Pipeline，将数据存储到数据库或其他位置。

import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;public class MyPipeline implements Pipeline {@Overridepublic void process(ResultItems resultItems, Task task) {// 获取爬取的数据String title = resultItems.get("title");String content = resultItems.get("content");// 将数据存储到数据库或其他操作System.out.println("标题：" + title + ", 内容：" + content);}
}

5. 启动爬虫

在 Spring Boot 的启动类中，调用爬虫的启动方法。

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import us.codecraft.webmagic.Spider;@SpringBootApplication
public class Application {public static void main(String[] args) {SpringApplication.run(Application.class, args);// 启动爬虫Spider.create(new MyPageProcessor()).addPipeline(new MyPipeline()).run();}
}

6. 注意事项

网站反爬虫机制：在爬取网站时，要注意遵守网站的规则和反爬虫机制，合理设置爬取的间隔时间和重试次数，避免对网站造成过大压力。
数据存储：根据实际需求选择合适的数据存储方式，如数据库、文件等，并在 Pipeline 中实现相应的存储逻辑。
异常处理：在爬虫过程中可能会出现网络异常、解析异常等情况，需要添加适当的异常处理逻辑，保证爬虫的稳定运行。

Spring Boot 使用 WebMagic 爬虫框架入门

1. 创建 Spring Boot 项目使用 Spring Initializr 创建一个 Spring Boot 项目，选择需要的依赖，如 Spring Web 等。 2. 添加 WebMagic 依赖在项目的 pom.xml 文件中添加 WebMagic 的核心和扩展依赖： <dependency><groupId>u…...

编程日记 2025/5/11 6:24:49

【软件设计师：复习】上午题核心知识点总结（二）

一、计算机网络（常考） 1.网络模型与协议（必考） 1.OSI七层模型 vs. TCP/IP四层模型 OSI七层TCP/IP四层核心协议/设备功能应用层（Application）应用层HTTP、FTP、DNS、SMTP提供用户接口和服务表示层（Presentation）SSL/TLS、JPEG、ASCII数据格式转换、加密/解密会话层（S…...

编程日记 2025/5/2 6:22:15

TensorRt10学习第一章

建立TensorRt时必须要有Public ILogger,因为createInferBuiler和createruntime要用，是一个接口出错打印和...

编程日记 2025/5/11 6:20:30

【LeetCode Hot100】回溯篇

前言本文用于整理LeetCode Hot100中题目解答，因题目比较简单且更多是为了面试快速写出正确思路，只做简单题意解读和一句话题解方便记忆。但代码会全部给出，方便大家整理代码思路。 46. 全排列一句话题意给定一个无重复数字的序列&#xf…...

编程日记 2025/5/2 6:22:13

Go 语言中一个功能强大且广泛使用的数据验证库github.com/go-playground/validator/v10

github.com/go-playground/validator/v10 是 Go 语言中一个功能强大且广泛使用的数据验证库，主要用于对结构体字段进行数据校验，确保数据的合法性和完整性。以下是其核心作用、使用场景及代码案例的详细说明： 核心作用数据校验支持对结构体…...

编程日记 2025/5/2 6:22:13

Java 多线程进阶：线程安全、synchronized、死锁、wait/notify 全解析（含代码示例）

在 Java 并发编程中，“线程安全” 是核心议题之一。本文将深入讲解线程安全的实现手段、synchronized 的使用方式、可重入锁、死锁的成因与避免、wait/notify 通信机制等，并配合实际代码案例，帮助你彻底搞懂 Java 线程协作机制。一、线程安全…...

编程日记 2025/5/2 6:22:12

windows电脑端SSH连接开termux的安卓端

（确保你此前已经安装好了ssh）在手机termux当中输入： 查看状态：ssh 启动服务：sshd 查看IP：ifconfig 然后在电脑端：...

编程日记 2025/5/2 6:21:08

Java 期中考试练习题

一、引言 Java 作为一门广泛应用的编程语言，在计算机相关专业的课程体系中占据重要地位。期中考试是检验同学们对 Java 知识掌握程度的重要环节。本文将呈现一些典型的 Java 期中考试试题，并进行详细讲解，希望能帮助大家更好地理解和掌握 Ja…...

编程日记 2025/5/2 6:20:06

【Unity】组件库分类详解

1️⃣ Audio（音频组件） 用于处理游戏中的声音。 Audio Source 读音[ˈɔːdiəʊ ˈsɔːs]，音频源组件，用于播放音频文件，可设置音量、Pitch、循环播放等属性，是音频播放的核心组件。 Audio Listener 读音…...

编程日记 2025/5/11 6:23:47

Java 中使用正则表达式

1. 引入包在使用正则表达式之前，需要引入包： import java.util.regex.Matcher; import java.util.regex.Pattern; 2. 常用模式规则元字符 ：这些是正则表达式中的特殊字符，用于匹配特定的模式。 . ：匹配任意单个字…...

编程日记 2025/5/11 6:17:04

如何降低LabVIEW开发费用

在 LabVIEW 开发过程中，开发费用是用户和开发者共同关注的重点。过高的开发成本可能会压缩项目利润空间，甚至影响项目的可行性。下面将介绍降低 LabVIEW 开发费用的有效方法。合理规划项目需求，避免后期增加在项目启动阶段&#xff…...

编程日记 2025/5/2 6:19:02

WPF应用中使用SQLSugar和NLog实现数据库操作与日志记录 1. 准备工作首先，通过NuGet安装必要的包： Install-Package SQLSugarCore Install-Package NLog Install-Package NLog.Config Install-Package NLog.Targets.File 2. 配置NLog 在项目中添加nlog.config文件： <…...

编程日记 2025/5/2 6:19:00

Python10天冲刺-设计模型之策略模式

策略模式是一种行为设计模式，它允许你在运行时动态地改变对象的行为。这种模式的核心思想是将一组相关的算法封装在一起，并让它们相互替换。下面是使用 Python 实现策略模式的一个示例： 示例代码假设我们有一个简单的购物车系统&#xf…...

编程日记 2025/5/2 6:16:58

Js扩展DOM、BOM、AJAX、事件、定时器

BOM 操作 BOM指的是浏览器对象模型：Browser Object Mode，通过操作 window 对象的属性和方法来实现与浏览器的交互。 BOM的构成如下图所示： 其中，window对象是顶级对象，在 window 对象下面有一些重要的属性&#xff1…...

编程日记 2025/5/11 6:20:30

奥地利学派方法论的三个基础

主观价值论： 一切估价行为皆来自于个人，价格现象只能从主观估价中得到解释。个人只在边际上做决策，边际价值是递减的。罗斯巴德的等式：三个单位的某个东西的总效用 > 两个单位的总效用 > 一个单位的总效用，但…...

编程日记 2025/5/2 6:16:56

WPF之Image控件详解

文章目录 1. 概述2. Image控件的基本属性2.1 Source属性2.2 Stretch属性2.3 StretchDirection属性 3. 在XAML中使用Image控件3.1 基本用法3.2 设置拉伸模式3.3 设置图像对齐方式 4. 在代码中操作Image控件4.1 加载本地图像4.2 异步加载图像4.3 从流中加载图像4.4 控制图像的解码…...

编程日记 2025/5/7 8:52:05

如何将 VS Code 与 Linux 系统高效连接：从入门到进阶

引言无论是开发服务器应用、管理远程主机，还是在本地 Linux 环境中提升开发效率，Visual Studio Code（VS Code） 凭借其强大的扩展能力，成为连接 Linux 系统的利器。本文将详细介绍三种主流方法，助你无缝对…...

编程日记 2025/5/11 6:19:25

Matlab/Simulink - BLDC直流无刷电机仿真基础教程（五） - animateRotorPosition脚本讲解与使用

Matlab/Simulink - BLDC直流无刷电机仿真基础教程（五） - animateRotorPosition脚本讲解与使用前言一、animateRotorPosition脚本内容二、脚本功能讲解三、脚本修改与模型配置四、可视化效果展示五、修改后脚本内容文章相关模型文件下载链接参考链接前言…...

编程日记 2025/5/2 6:15:53

安川机器人常见故障报警及解决办法

机器人权限设置操作权限设置（如果密码不对，就证明密码被人修改）编辑模式密码:无（一把钥匙，默认）管理模式密码：999999999（9个9，二把钥匙）安全模式密码：555555555（9个5，三把钥匙，权限最高，有的型号机器人，没有此模式，但最高密码为安全模式密码）示教器…...

编程日记 2025/5/2 6:14:51

【Quest开发】极简版！透视环境下抠出身体并能遮挡身体上的服装

前两天发了一个很复杂的版本，又鼓捣了一下发现完全没有必要。我之前的理解有点偏（不是错误的但用法错了），但是有一些小伙伴收藏了，害怕里面的某些东西对谁有用，所以写了一篇新的，前两步配置环境…...

编程日记 2025/5/11 6:13:40

【Github仓库】Learn-Vim随笔

一、前言学习vim的过程中发现了很多很好的资源，其中不乏bilibili上up主的精品教程。也在YouTube上看过很多教程。但Learn-Vim这个Github仓库实在让我受益良多。本笔记便是出于此仓库： 仓库地址附上个人.vimrc配置文件: syntax on " 开启语法高…...

编程日记 2025/5/11 6:15:51

【2025五一数学建模竞赛C题】社交媒体平台用户分析问题｜建模过程+完整代码论文全解全析

你是否在寻找数学建模比赛的突破点？数学建模进阶思路！ 作为经验丰富的美赛O奖、国赛国一的数学建模团队，我们将为你带来本次数学建模竞赛的全面解析。这个解决方案包不仅包括完整的代码实现，还有详尽的建模过程和解析&#xff0c…...

编程日记 2025/5/2 6:13:46

Wireshark抓取SMTP协议报文

文章目录 1. 实验：网络仿真软件使用及网络分析2. SMTP协议2.1 SMTP协议简介2.2 SMTP协议的核心功能2.3 SMTP的相关命令和作用 3. Wireshark抓取报文3.1 抓取SMTP协议报文流程3.1.1 Email邮件服务器背景3.1.2 具体实现流程 3.2 过滤SMTP协议相关报文 4. 协议时序图4.…...

编程日记 2025/5/2 6:13:45

PS学习笔记（一）

课程地址：【B站第一！】央美大佬198小时讲完的PS教程，全程干货无废话！学完秒变大神！还学不会，我不教设计了！！_哔哩哔哩_bilibili 第一章：基础知识 1.PS认识一、PS应用领…...

编程日记 2025/5/2 6:12:44

部署.NET6.0 Web API项目到Docker

文章目录介绍创建.NET WebAPI项目项目打包项目部署文件准备部署命令可能的问题与解决介绍使用VS2022创建一个.NET6的Web API项目，将其打包，并部署到Linux服务器上的Docker中。 Linux和Docker环境已经备好，本文不再赘述，主要记…...

编程日记 2025/5/11 6:22:35

前端函数防抖（Debounce）完整讲解 - 从原理、应用到完整实现

🌷 古之立大事者，不惟有超世之才，亦必有坚忍不拔之志 🎐 个人CSND主页——Micro麦可乐的博客 🐥《Docker实操教程》专栏以最新的Centos版本为基础进行Docker实操教程，入门到实战 🌺《RabbitMQ》…...

编程日记 2025/5/11 6:17:04

React Redux 与 Zustand

Redux 一、Redux 核心概念 1. 为什么需要 Redux？ 解决的问题：在大型 React 应用中，跨组件共享状态、管理复杂数据流。优势： 单一数据源：全局状态集中存储在 Store 中。可预测性：通过严格的规则&#…...

编程日记 2025/5/11 6:22:35

Webug4.0靶场通关笔记07- 第9关反射XSS和第10关存储XSS

目录第09关反射型XSS 1.打开靶场 2.源码分析 3.渗透实战第10关存储型XSS 1.打开靶场 2.源码分析 3.渗透实战本系列为通过《Webug4.0靶场通关笔记》的渗透集合，本文为反射型和存储型XSS漏洞关卡的渗透部分，通过对XSS关卡源码的代码审计找到漏…...

编程日记 2025/5/7 15:15:19

react学习笔记4——React UI组件库与redux

流行的开源React UI组件库 material-ui(国外) 官网: http://www.material-ui.com/#/github: GitHub - mui/material-ui: Material UI: Comprehensive React component library that implements Googles Material Design. Free forever. ant-design(国内蚂蚁金服) 官网: Ant…...

编程日记 2025/5/2 6:12:41

Java学习手册：Spring 事务管理

一、事务管理的概念事务是一组操作的集合，这些操作要么全部成功，要么全部失败。事务管理的目的是保证数据的一致性和完整性。在数据库操作中，事务管理尤为重要，例如银行转账、订单支付等场景都需要事务管理来确保数据的正确性。…...

编程日记 2025/5/11 6:18:14

SpringBoot研究生双选系统开发实现

概述 SpringBoot研究生双选信息发布系统，该系统实现了研究生与导师双向选择的全流程管理，采用主流SpringBoot框架开发，是学习企业级教育管理系统开发的优质资源。适合作为计算机专业设计项目或高校信息化建设参考，完整实现…...

编程日记 2025/5/2 6:11:38

springboot中异步接口实现所有方式_20250501

几种异步接口实现demo package org.dromara.controller.app;// 导入必要的依赖库import cn.dev33.satoken.annotation.SaIgnore; import lombok.extern.slf4j.Slf4j; import org.springframework.core.io.Resource; import org.springframework.core.io.UrlResource; import o…...

编程日记 2025/5/7 1:57:10

【Linux网络】I/O多路转接技术 - epoll

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/5/2 6:10:36

机器学习经典算法：用决策树原理优化新能源汽车续航能力

🔥 “用决策树重构新能源车能量大脑！算法推导代码实战全解，续航暴增15%” 决策树算法就像我们生活中做决策的 “流程指南”，通过层层判断得出最终结论。比如你去超市买水果，站在琳琅满目的货架前，就不自觉地…...

编程日记 2025/5/2 6:10:36

深入探讨宾馆一次性牙刷价格，市场价格区间差异大

在我们日常出行、住宿的时候，宾馆的一次性牙刷是常见的、标配的物品。许多人或许都会感到好奇，这些一次性牙刷到底值多少钱。下面就来深入探讨一下宾馆一次性牙刷价格方面的问题。市场价格区间宾馆一次性牙刷价格差距大，便宜的一支可能只…...

编程日记 2025/5/2 6:10:35

深入解析 .NET Kestrel：高性能 Web 服务器的架构与最佳实践

Kestrel 是 .NET 中用于处理 HTTP 请求的高性能 Web 服务器。作为 ASP.NET Core 的默认服务器，Kestrel 被设计为在高并发、高吞吐量的环境下表现优异，并且能够支持多种协议和跨平台操作。本文将深入探讨 Kestrel 的架构设计、工作原理、配置方式、性能优…...

编程日记 2025/5/2 6:09:33

ZYNQ 纯PL端逻辑资源程序固化流程

ZYNQ 纯PL端逻辑资源程序固化 ZYNQ的程序固化流程比传统的FPGA固化流程复杂很多，Vivado生成的bit文件无法直接固化在ZYNQ芯片中。因为ZYNQ 非易失性存储器的引脚（如 SD 卡、QSPI Flash）是 ZYNQ PS 部分的专用引脚。这些非易失性存储器由 PS …...

编程日记 2025/5/2 6:08:31

【树莓派Pico FreeRTOS】-FreeRTOS-SMP移植

FreeRTOS-SMP移植文章目录 FreeRTOS-SMP移植1、Raspberry Pi Pico SDK准备2、下载最新FreeRTOS-Kernel源码3、Raspberry Pi Pico的开发环境搭建4、编译配置5、FreeRTOSConfig.h文件设置6、演示代码RP2040 由 Raspberry Pi 设计，具有双核 Arm Cortex-M0+ 处理器和 264KB 内部 …...

编程日记 2025/5/10 3:22:55

数字智慧方案5961丨智慧能源与运维云平台解决方案（52页PPT）（文末有下载方式）

详细资料请看本解读文章的最后内容。资料解读：智慧能源与运维云平台解决方案在当今数字化时代，能源管理与设备运维的智能化、高效化成为企业发展的关键。智慧能源与运维云平台解决方案应运而生，为企业提供了全面且先进的能源管理和运维手段…...

编程日记 2025/5/2 6:08:29

2025东三省C题深圳杯C题数学建模挑战赛数模思路代码文章教学: 分布式能源接入配电网的风险分析

完整内容请看文章最下面的推广群数据整理与分析表1：有源配电网62节点系统负荷参数内容：列出了62个节点的有功负荷（单位：kW）。特点： 负荷范围：24 kW（节点19）到420 …...

编程日记 2025/5/6 15:39:20

腾讯云BI VS quickbi 企业选型（从企业实际功能使用和费用对比）

腾讯云BI VS quickbi 选型一、总结前段时间领导让调研腾讯云BI，用来做BI选型，现根据公司实际使用功能做如下总结。建议继续使用quickbi，不选择腾讯云BI 原因： 腾讯云BI专业版，官方价格最低101996元。并且只能选…...

编程日记 2025/5/2 6:07:26

WebDeveloper 流量分析、sudo提权，靶场通关WP

一、信息收集 1、主机探测 arp-scan -l netdiscover -i eth0 -r 192.168.33.0/24 nmap -sP 192.168.66.0/24 2、端口扫描 nmap -sS -sV 192.168.66.141 PORT STATE SERVICE VERSION 22/tcp open ssh OpenSSH 7.6p1 Ubuntu 4 (Ubuntu Linux; protocol 2.0) 80/tcp op…...

编程日记 2025/5/2 6:07:25

编写教育网站后端页面笔记

callbacktitle.html 对应表：对应的功能：控制器层数据：页面没有写内容 chapter.html 对应表： questionbank ,intofloortime,questionBank,title,didtitles,option,answer,analyse 对应的功能：问题反馈页面控制器层数据（控制器类）： ChapterQuestionbankTitle c…...

编程日记 2025/5/2 6:06:24

C++漫溯键值的长河：map set

文章目录 1.关联式容器2.set2.1 find2.2 lower_bound、upper_bound 3.multiset3.1 count3.2 equal_range 4.map4.1 insert4.2 operate->4.3 operate[ ]4.4 map的应用实践：随机链表的复制 5.multimap希望读者们多多三连支持小编会继续更新你们的鼓励就是我前进的动…...

编程日记 2025/5/2 6:06:22

西门子数字化研发设计制造一体化规划案例P87（87页PPT）（文末有下载方式）

资料解读：《西门子数字化研发设计制造一体化规划案例》详细资料请看本解读文章的最后内容。该文档围绕西门子为企业打造的智能化制造研发工艺生产一体化平台规划方案展开，全面阐述了从业务现状分析到项目实施及案例分享的整个过程。业务现状与需求分析…...

编程日记 2025/5/2 6:05:20

Rust多线程性能优化：打破Arc+锁的瓶颈，效率提升10倍

一、引言在 Rust 开发中，多线程编程是提升程序性能的重要手段。Arc（原子引用计数）和锁的组合是实现多线程数据共享的常见方式。然而，很多程序员在使用 Arc 和锁时会遇到性能瓶颈，导致程序运行效率低下。本文将深入剖…...

编程日记 2025/5/2 6:05:19

基于python的人工智能应用简述

基于Python的人工智能应用简述 Python已成为人工智能(AI)开发的首选语言，凭借其简洁性、丰富的库生态系统和强大的社区支持，广泛应用于各类AI应用场景。以下是Python在人工智能领域的主要应用领域和技术实现。 1. 机器学习(Machine Learning) Python通过Scikit-learn、Ten…...

编程日记 2025/5/2 6:04:17

《Android 应用开发基础教程》——第十章：使用 Gson 实现网络 JSON 数据解析与对象映射

目录第十章：使用 Gson 实现网络 JSON 数据解析与对象映射 🔹 10.1 什么是 Gson？ 🔸 10.2 添加依赖 🔸 10.3 基础使用 ✦ 示例 JSON 字符串： ✦ 定义对应的 Java 类： ✦ JSON ➜ 对象&am…...

编程日记 2025/5/2 6:04:16

【Android】四大组件之BroadcastReceiver

目录一、什么是BroadcastReceiver 二、创建和使用BroadcastReceiver 三、跨应用广播接收权限四、广播方式五、广播类型与特性六、BroadcasReceiver注册方式七、BroadcasReceiver工作流程你可以把广播接收器想象成一个“收音机”。它的作用是监听系统或应用发出的“…...

编程日记 2025/5/2 6:04:16

[UVM]寄存器模型的镜像值和期望值定义是什么？他们会保持一致吗？

寄存器模型的镜像值和期望值定义是什么？他们会保持一致吗？ 摘要：在 UVM (Universal Verification Methodology) 寄存器模型中，镜像值 (mirrored value) 和期望值 (desired value) 是两个非常重要的概念，用于管理寄存器…...

编程日记 2025/5/2 6:04:15