当前位置：首页 > news >正文

基于Node.js的Web爬虫: 使用Axios和Cheerio抓取网页数据

news 来源：原创 2025/8/14 4:47:33

1. 环境准备

在开始之前，请确保计算机上已安装Node.js

mkdir webScraper
cd webScraper
npm init -y
npm install axios cheerio express

axios: 用于发送HTTP请求。
cheerio: 用于解析和操作HTML。
express: 用于创建Web服务器。

2. 创建爬虫

在文件夹中创建一个新的文件 scraper.js，并将以下代码粘贴到文件中：

scraper.js

const axios = require('axios');          // HTTP客户端库，用于发送请求
const cheerio = require('cheerio');      // HTML解析库，类似jQuery语法
const url = require('url');               // URL处理模块，用于解析相对路径// 导出数据抓取函数
module.exports = { scrapeData };/*** 网页数据抓取主函数* @param {string} baseUrl - 要抓取的目标网页URL* @returns {Promise<Array>} 抓取结果数组*/
async function scrapeData(baseUrl) {try {// 发送HTTP GET请求获取网页内容const { data } = await axios.get(baseUrl);// 加载HTML内容到cheerio实例const $ = cheerio.load(data);const results = [];// 遍历所有符合要求的<a>标签$('a.mm-pic-box').each((index, element) => {// 提取元素属性const relativeHref = $(element).attr('href');const imgElement = $(element).find('img');const pElement = $(element).find('p');// 构建结果对象results.push({title: $(element).attr('title') || '',    // 链接标题属性href: url.resolve(baseUrl, relativeHref), // 转换为绝对路径的链接paragraph: pElement.first()              // 第一个<p>标签内容.text()                               // 提取文本.replace(/[\t\n]/g, ''),              // 清理空白字符image: imgElement.length ? {              // 图片信息处理src: url.resolve(baseUrl, imgElement.attr('src')),} : null});});return results;} catch (error) {console.error(`Error fetching data: ${error}`);}
}// 模块测试代码
scrapeData('http://example/news/').then(data => {console.log(data);
});

在scraper.js中，使用了axios获取网页内容，用cheerio解析HTML，并导出了scrapeData函数。函数内部遍历特定类名的a标签，提取标题、链接、段落和图片信息。需要在这些关键部分添加注释，说明每个步骤的作用。

3.创建Express服务器

在文件夹中创建一个新文件 server.js，作为一个简单的Express服务器来展示我们抓取的数据。

server.js

const express = require('express');
const { scrapeData } = require('./scraper');
const cors = require('cors');  // 跨域资源共享中间件// 创建Express应用实例
const app = express();
// 设置服务端口（环境变量优先，默认3000）
const PORT = process.env.PORT || 3000;// 配置CORS中间件
app.use(cors({origin: 'http://localhost:5173', // 允许访问的前端域名methods: ['GET']                // 允许的HTTP方法
}));// 在app.get('/scrape')路由前添加根路由// app.get('/', (req, res) => {//     res.send('Scraper API is running');// });app.get('/scrape', async (req, res) => {// 从查询参数获取目标网址const baseUrl = req.query.baseUrl;// 参数校验if (!baseUrl) {return res.status(400).send('URL is required');}try {// 调用抓取函数并返回JSON结果const data = await scrapeData(baseUrl);res.json(data);} catch (error) {// 错误处理res.status(500).send('Server error');}
});// 启动HTTP服务
app.listen(PORT, '0.0.0.0', () => {  // 监听所有网络接口console.log(`Server is running on http://localhost:${PORT}`);
});

对于server.js，使用Express搭建了服务器，配置了CORS，并定义了/scrape和根路由。需要注释说明中间件的作用、路由的功能以及监听的配置。

在server.js中，CORS配置、路由处理、错误响应和服务器启动部分需要注释。特别是根路由和/scrape路由的区别，以及监听的网络接口设置。

参考：基于Node.js的Web爬虫: 使用Axios和Cheerio抓取网页数据并展示_node axios cheerio-CSDN博客

基于Node.js的Web爬虫: 使用Axios和Cheerio抓取网页数据

1. 环境准备在开始之前，请确保计算机上已安装Node.js mkdir webScraper cd webScraper npm init -y npm install axios cheerio expressaxios: 用于发送HTTP请求。cheerio: 用于解析和操作HTML。express: 用于创建Web服务器。 2. 创建爬虫在文件夹中创建一个新…...

编程日记 2025/8/14 4:47:33

如何用命令行判断一个exe是不是c#wpf开发的

在powershell下执行 $assembly [Reflection.Assembly]::ReflectionOnlyLoadFrom("你的exe全路径") $references $assembly.GetReferencedAssemblies() echo $assembly $references | Where-Object { $_.Name -match "PresentationFramework|PresentationCore…...

编程日记 2025/8/14 4:46:39

SpringBoot项目接入DeepSeek

在这个demo当中，我使用的是JDK8Spring Boot 2.6.x，下面直接给大家附上完整的代码。一、项目结构 deepseek - demo/ ├── src/ │ ├── main/ │ │ ├── java/ │ │ │ └── cn/ │ │ │ └── mzl/ │ │ │ …...

编程日记 2025/8/14 4:46:38

C++ lambda表达式的捕获原理

目录 C Lambda表达式捕获机制的详细原理分析Lambda的本质机制关键实现细节特殊捕获方式[ ]空捕获[&]全引用捕获[]全值(拷贝)捕获混合捕获[,&variable]拷贝及部分引用捕获[&,variable]引用及部分拷贝捕获显式捕获[variable]拷贝捕获部分变量[&variable]引用捕获…...

编程日记 2025/8/14 4:46:38

修改图像分辨率

在这个教程中，您将学习如何使用Python和深度学习技术来调整图像的分辨率。我们将从基础的图像处理技术开始，逐步深入到使用预训练的深度学习模型进行图像超分辨率处理。一、常规修改方法 1. 安装Pillow库首先，你需要确保你的Python环境中…...

编程日记 2025/8/14 4:46:14

【面板数据】公开整理-各省刑事案件统计数据集（2011-2023年）

刑事案件数量是衡量一个地区社会治安状况的重要指标。近年来，我国各地在推进法治建设和社会治理现代化的背景下，刑事案件的数量呈现出明显的区域差异和年度波动，通过年度案件数据，可以反映出社会安全水平的变化趋势，为…...

编程日记 2025/8/14 4:42:00

ABAP使用GET_TAX_PERCENTAGE 函数取税率

ABAP使用GET_TAX_PERCENTAGE 函数取税率今天在做含税价的时候查到的，记录一下。S4 Hana 的环境。先DATA一个 ftaxp GET_TAX_PERCENTAGE 函数，实例为采购订单进项税。 OK，搞定。...

编程日记 2025/8/14 4:43:47

鞅与停时 - 一种特别的概率论问题

讨论一个有趣的概率问题： [P3334 ZJOI2013] 抛硬币 - 洛谷实际上是一个猴子打字问题，考虑一直无规律随即打字的猴子，键盘上只有A-Z一共26个字母，对于一个特定的字符串 S S S ： ABCABCAB ，能否在有限的打…...

编程日记 2025/8/14 4:35:57

Android 有线网开发调试总结

Android 有线网开发调试总结文章目录 Android 有线网开发调试总结一、前言二、有线网开发1、开关2、相关日志（3）相关广播（4）demo示例三、其他1、Android 有线网开发调试小结2、Android13 有线网开关研究3、Android9、11 有线网络…...

编程日记 2025/8/14 4:37:43

.net在DB First模式使用pgsql

nuget要安装： Npgsql.EntityFrameworkCore.PostgreSQL Microsoft.EntityFrameworkCore.Tools vs2022-->工具-->nuget包管理器-->程序包管理器控制台-->输入命令： Scaffold-DbContext "Hostlocalhost;Databasemydatabase;Usernamemyu…...

编程日记 2025/8/14 4:38:25

Spring Boot 中如何解决 CORS 问题（详解）

在前后端分离的开发模式中，前端调用后端接口时，经常会遇到跨域资源共享（CORS） 的问题。Spring Boot 作为常用的后端框架，提供了多种方式来优雅地解决这个问题。本文将全面介绍 Spring Boot 中处理 CORS 的常见方法、原…...

编程日记 2025/8/14 4:43:44

深度学习：智能车牌识别系统（python）

这是一个基于opencv的智能车牌识别系统，有GUI界面。程序能自动识别图片中的车牌号码，并支持中文和英文字符识别，支持选择本地图片文件，支持多种图片格式（jpg、jpeg、png、bmp、gif）。下面，我将按模块功能对代码进行分段说明： 1. 导入模块部分 import tkinter as tk…...

编程日记 2025/8/14 4:47:31

STM32开发printf函数支持

1、printf函数支持 1、避免使用半主机模式：两种方法:微库法、代码法 2、实现fputc函数：实现单个字符输出 2、半主机模式简介用于 ARM 目标的一种机制，可将来自应用程序代码的输入/输出请求传送至运行调试器的主机简单说:就是通过仿真器实…...

编程日记 2025/8/14 4:35:58

解决 Chrome 与 Chromedriver 版本不一致问题的方法

目录常见错误处理处理方案： 1. 自动版本匹配方法使用 webdriver-manager 库（推荐） 2. 手动版本管理方法检查并匹配版本 3. 版本兼容性解决方案使用兼容性表 4. 自动更新策略定期检查更新脚本 5. Docker 容器化方案最佳实践建…...

编程日记 2025/8/14 4:46:15

CPU的基本认识

为大家介绍CPU的基本概念，例如：CPU的型号认识、什么是时钟周期、物理核和逻辑核、缓存、TLB缓存的概念，可以帮助大家对cpu有个概念性的认识，选择电脑的时候可以看懂CPU的参数和理解基本原理。 CPU的基本认识个人CPU型号介绍工作频…...

编程日记 2025/8/14 4:41:59

UGUI如何使用EventTrigger

前言在 Unity 的 UGUI 系统中，EventTrigger 是一个强大的组件，允许开发者监听和处理多种 UI 交互事件。以下是详细的使用方法、示例代码、优缺点分析以及注意事项。一、EventTrigger 基本用法 1. 添加 EventTrigger 组件在 Unity 编辑器中选中 UI 对象（如 But…...

编程日记 2025/8/14 4:46:38

101alpha_第4个

(-1 * ts_rank(rank(low), 9)) 这里的low是每日的最低价。各函数及整体含义解释 1. rank(low) 在金融分析场景里，low 通常代表股票在每个交易日中的最低价。rank(low) 会对一段时间内的最低价数据进行排序，并为每个数据赋予一个排名。比如，…...

编程日记 2025/8/14 4:40:38

5月13日观测云发布会：这一次，我们不只是发布产品

01｜为什么举办这场发布会？ 在生成式 AI 席卷一切、业务系统愈发复杂的时代，我们发现： 传统的监控观测已经无法满足企业对性能、安全、智能的统一诉求；每一个企业，都在经历从“看得到”到“看得懂”的跃迁&…...

编程日记 2025/8/14 4:38:25

【IP101】图像分割技术全解析：从传统算法到深度学习的进阶之路

图像分割详解 ✂️ 欢迎来到图像处理的"手术室"！在这里，我们将学习如何像外科医生一样精准地"切割"图像。让我们一起探索这个神奇的图像"手术"世界吧！🏥 目录 📑 1. 图像分割简介2. 阈…...

编程日记 2025/8/13 20:38:23

华为设备链路聚合实验：网络工程实战指南

链路聚合就像为网络搭建 “并行高速路”，既能扩容带宽，又能保障链路冗余，超实用！ 一、实验拓扑速览图中两台交换机 LSW1 和 LSW2，PC1、PC2 归属 VLAN 10，PC3 归属 VLAN 30。LSW1 与 LSW2 通过 GE0/0/1、…...

编程日记 2025/8/14 4:45:10

C24-数组

数组的引入:方便对同一类型的数据进行管理(一个班级里的45个同学、一个篮子里的12个苹果)数组的定义: 数据类型数组名[常量表达式(也就是元素的个数)];int a[10]; //这里定义了一个能存放10个元素的整形数组数组初始化完全初始化 int arr[3]{5,6,8};部分初始化 int arr[10]{…...

编程日记 2025/8/14 4:38:25

Vue 项目中长按保存图片功能实现指南

在移动互联网应用中，用户常常有保存页面特定内容为图片的需求，比如保存二维码、海报等。在 Vue 项目开发中，如何实现长按保存图片的功能？本文将结合具体代码，详细讲解在 Vue 项目中通过长按操作保存图片的技术实现与应…...

编程日记 2025/8/14 4:40:37

行业先锋：六款产品的实战表现

行业先锋：六款产品的实战表现　　北京先智先行科技有限公司，销售着“先知大模型”、“先行AI商学院”“先知AIGC超级工场”这三个旗舰产品，在行业内崭露头角。旗下的先知A1、先知大模型等更是备受关注。　　先知大模型，作为核心产…...

编程日记 2025/8/14 4:40:56

RS485与Profibus网关自由口数据互换技巧

RS485与Profibus网关自由口数据互换技巧兴达易控RS485转Profibus网关在自由口模式下的数据互换，是工业自动化领域内一项关键的技术应用，它实现了不同通信协议设备之间的有效连接与数据交换。在现代工业生产中，众多设备和系统往往采用不同的…...

编程日记 2025/8/14 4:42:20

java复杂度，包装类，泛型解析

如何衡量代码的好坏？ 评价代码的好坏我们使用算法效率来判断，而算法效率分两种： 算法效率： 第一种是时间效率，第二种是空间效率，时间效率被称为时间复杂度，⽽空间效率被称作空间复杂度。时间…...

编程日记 2025/8/14 4:37:43

K8S安装部署（v1.27.6）

一、机器配置系统版本主机名IP基于服务centos 7.9k8s-master192.168.163.104dockerk8s-node1192.168.163.105k8s-node2192.168.163.106注：以上3台机器都是2C4G的虚拟机，仅供测试使用 docker部署可以参考：docker 部署二、其他环境配置 #1、关闭防火墙 systemctl stop fir…...

编程日记 2025/8/14 4:45:10

Debezium BinaryLogClient详解

Debezium BinaryLogClient详解 1. 类的作用与功能 1.1 核心作用 BinaryLogClient是Debezium中负责与MySQL服务器建立和维护Binlog连接的核心类，主要功能包括：连接管理：建立和维护与MySQL服务器的Binlog连接事件监听：接收和处理Binlog事件心跳保活：维护连接活跃状态断线…...

编程日记 2025/8/14 4:35:55

Leetcode 刷题记录 09 —— 链表第三弹

本系列为笔者的 Leetcode 刷题记录，顺序为 Hot 100 题官方顺序，根据标签命名，记录笔者总结的做题思路，附部分代码解释和疑问解答，01~07为C语言，08及以后为Java语言。 01 合并 K 个升序链表 /*** Definitio…...

编程日记 2025/8/14 4:42:02

加速项目落地（Trae编辑器）

目录 vscode安装python支持 vscode常用插件 Trae编辑器两个界面合成补充（QT开发的繁琐） AI编程哪家强？Cursor、Trae深度对比，超详细！ - 知乎 Trae兼容vscode的插件，我们可以先在vscode里面装好再一…...

编程日记 2025/8/14 4:42:22

vue3的页面跳转方法汇总(路由跳转，组件跳转)

1.组件跳转使用router-link组件进行组件导航（无需引入该组件，可直接使用），to后面跟组件路由。如果想要在当前页显示跳转的组件，可以通过<router-view>来显示当前路由匹配到的组件，也可以不使用<r…...

编程日记 2025/8/14 4:43:46

C++回顾 Day5

自实现string完整版 my_string.h using namespace std; class mystr{public://mystr();mystr(const char * new_str nullptr);mystr(const mystr & another);char * c_str();~mystr();mystr& operator(const mystr & another);mystr operator(const mystr &…...

编程日记 2025/8/14 4:46:14

OpenMVS 的编译与运行

Title: OpenMVS 的编译与运行文章目录 I. 编译与准备1. 获得源码2. wiki3. 退出 Conda 环境4. 编译5. 数据准备 II. 命令了解1. 稠密重建 DensifyPointCloud2. 曲面重建 ReconstructMesh3. 网格优化 RefineMesh4. 纹理贴图 TextureMesh III. 命令运行1. 运行稠密重建2. 运行网…...

编程日记 2025/8/14 4:40:38

@Transactional注解的使用

目录一.介绍 1.使用Transactional注解的位置 2.Transactional注解的作用二.举例 1.需求场景 2.做法 3.效果展示三.简单总结一.介绍 1.使用Transactional注解的位置我们在Java开发中，一般在service层的方法上，使用Transactional注解&#x…...

编程日记 2025/8/14 4:40:54

路由器NAT回流踩坑

路由器 H3C GR-3000AX-U 不支持NAT回流核心问题定位外网访问 ✅ 非Docker服务（直接运行在宿主机上的服务）可以访问❌ Docker服务无法访问内网访问 ✅ 内网IP访问（无论Docker还是非Docker）正常❌ 内网通过公网IP访问全部失败…...

编程日记 2025/8/14 4:40:39

如何创建RDD

创建RDD（Resilient Distributed Dataset）主要有以下三种方法： 1. 从集合创建RDD 通过将本地集合（如列表、数组）传递给SparkContext的parallelize方法，可以将本地数据转换为RDD。这种方式通常用于测试或开…...

编程日记 2025/8/14 4:43:15

PTS-G5K13M RF Generator 5kW / 13MHz 射频电源User s Manual

PTS-G5K13M RF Generator 5kW / 13MHz 射频电源User s Manual...

编程日记 2025/8/14 4:37:42

vue3父组件调用子组件方法

需求：在vue3中需要在父组件调用子组件的方法思路：通过ref和defineExpose直接暴露给父组件 1.子组件暴露表单验证方法 <template><a-form ref"formRef" :model"formState" :rules"rules"><a-form-item …...

编程日记 2025/8/14 4:46:13

Python小酷库系列：5个常用的dict属性化访问扩展库

5个常用的dict属性化访问扩展库嵌套结构高级功能性能综合建议在前面我们详细讲解了 Box和 Munch这两个dict属性化访问的扩展库，总体而言它们主要用于提升配置文件数据、JSON对象数据的可读性，减少了代码中双引号。在这一领域中还有dotmap、addict 和…...

编程日记 2025/8/14 4:35:56

day009-用户管理专题

文章目录 1. 创建包含时间的文件2. 与用户相关的文件3. 用户分类4. 与用户相关的命令4.1 添加用户4.2 删除用户4.3 查看用户4.4 修改用户密码 5. sudo6. 思维导图7. 老男孩思想-学习方法 1. 创建包含时间的文件或$()是替换符号，可以将命令的结果作为字符串或变量的…...

编程日记 2025/8/14 4:46:40

微信小程序pinia的应用

情景：院校列表的关注状态的实时更新新建一个ts文件存储关注状态，用于集中管理用户“已关注院校”的相关状态和操作 import {definStore} from pinia; import type { College_records } from /types/university;export const useFocusCollegeStore de…...

编程日记 2025/8/14 4:37:44

LWIP的超时事件笔记

那个马蜂佬，刚发就给我两个赞 lwIP超时事件处理简介为每个与外界网络连接的任务都设定了timeout属性，即等待超时时间，例如TCP建立连接超时、ARP缓存表项的时间管理等，都需要超时操作来处理 lwIP超时事件机制一共有四种 2.1&a…...

编程日记 2025/8/12 7:33:27

如何避免项目结束后知识流失

避免项目结束后知识流失的方法包括：建立项目知识库、实施定期知识回顾与总结、强化团队内部知识共享机制、利用合适的知识管理工具。项目知识库的建设尤其关键，它可帮助团队保留核心经验和方法，确保知识沉淀在组织内部。通过知识库&#xff0…...

编程日记 2025/8/9 17:15:12

【MCP】客户端配置（ollama安装、qwen2.5:0.5b模型安装、cherry-studio安装配置）

【MCP】客户端配置（ollama安装、qwen2.5:0.5b模型安装、cherry-studio安装配置） 客户端配置（1）下载安装ollama（2）安装qwen2.5:0.5b模型（3）安装配置cherry-studio 客户端配置 &#…...

编程日记 2025/6/29 4:10:41

Media3 中 Window 的时间相关属性详解

AndroidX Media3 的 Timeline.Window 类中，与时间相关的属性描述了媒体播放窗口（window）在时间维度上的关键信息。这些属性帮助开发者理解媒体的播放范围、起始点、持续时间以及与设备时间或直播流的同步关系。 Timeline.Window 的时间相关属…...

编程日记 2025/6/29 4:53:32

C 语言编码规范

在 C 语言开发过程中，遵循编码规范不仅能提高代码的可读性、可维护性，还能减少潜在的错误，提升团队协作效率。以下从多个维度详细阐述 C 语言编码过程中需要注意的规范要点。一、命名规范变量命名变量命名应做到见名知意，采用…...

编程日记 2025/8/12 7:52:30

嵌入式开发学习日志Day15

一、指针指向字符型数组 （1）【const】：在指针变量中使用时，无法通过该指针修改被指向的变量； （2）【const】：关键字，在C和C中，能加就加，加了一定…...

编程日记 2025/6/29 5:07:32

从人脸扫描到实时驱动，超写实数字分身技术解析

在元宇宙浪潮中，数字人、虚拟数字人等新兴概念逐渐走进大众视野，其中数字分身作为虚拟数字人的细分领域，正引发广泛关注。数字分身依托人工智能与虚拟现实技术，能基于真人信息进行1:1复刻，具备与真人高度相似的外貌、声…...

编程日记 2025/6/29 4:39:37

Vue3 自定义指令的原理，以及应用

文章目录前言一、原理说明二、注册与使用1. 全局注册2. 局部注册3. 使用方式三、典型应用场景四、案例：权限控制指令五、注意事项 v-draggable✅ 目标效果：🧩 1. 自定义指令定义🧱 2. 在项目中注册🧪 3. 使用示例&am…...

编程日记 2025/6/29 3:36:49

306.检查是否所有A都在B之前

2124. 检查是否所有 A 都在 B 之前 - 力扣（LeetCode） class Solution {public boolean checkString(String s) {return !s.contains("ba");} } class Solution(object):def checkString(self, s):return s.find("ba")-1...

编程日记 2025/8/11 22:53:20

适合java程序员的Kafka消息中间件实战

创作的初心： 我们在学习kafka时，都是基于大数据的开发而进行的讲解，这篇文章为java程序员为核心，助力大家掌握kafka实现。什么是kafka: 历史： 诞生与开源（2010 - 2011 年） 2010 年&#xf…...

编程日记 2025/6/29 3:32:04

1. 环境准备

2. 创建爬虫

3.创建Express服务器

相关文章：