当前位置：首页 > news >正文

实现静态网络爬虫（入门篇）

news 来源：原创 2025/8/25 3:20:36

一、了解基本概念以及信息

1.什么是爬虫

爬虫是一段自动抓取互联网信息的程序，可以从一个URL出发，访问它所关联的URL，提取我们所需要的数据。也就是说爬虫是自动访问互联网并提取数据的程序。

它可以将互联网上的数据为我所用，开发出属于自己的网站或APP。

2.在爬虫程序中有三个模块

（1）URL管理器：对将要爬取的URL和已经爬取过的URL这两个数据进行管理

（2）网页下载器：将URL管理器里提供的一个URL对应的网页下载下来，存储为一个字符串，这个字符串会传送给网页解析器进行解析

（3）网页解析器：一方面会解析出有价值的数据，另一方面，由于每一个页面都有很多指向其它页面的网页，这些URL被解析出来之后，可以补充进URL管理器

3.网页解析器——LXML和Xpath

1.网页解析概述：

除了学会向服务器发出请求、下载HTML源码，要获取结构化的数据还面临一个最常见的任务，就是从HTML源码中提取数据。

三种方法：

正则表达式

lxml库

BeautifulSoup

针对文本的解析，用正则表达式

针对html/xml的解析，有Xpath、BeautifulSoup、正则表达式

针对JSON的解析，有JSONPath

2.xpath（XML Path Language）实现路径选择，变换路径实现对信息的采集。使用路径表达式来选取XML文档中的节点或者节点集

3.Xpath里面管理扩展程序保持一个类似这样的格式

// 是当前根目录下 @ [] 通过检查找到你想要的东西

4.如何Copy Xpath，以豆瓣电影为例（http：淄博 - 在线购票&影讯）

右键点击检查按钮

进入Xpath的管理扩展程序，具体的插件要下载安装找教程

就像这样：

具体的解释：

5.Lxml库：

lxml 是一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。

lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。

lxml python 官方文档：http://lxml.de/index.html

需要安装C语言库，可使用 pip 安装：pip install lxml

Lxml进行解析封装：

我们可以利用他来解析HTML代码，并且在解析HTML代码的时候，如果HTML代码不规范，他会自动的进行补全

1.使用 lxml 的 etree 库 from lxml import etree

2.python 3.5后的lxml模块中不能再直接引入etree模块，需要使用以下方法引用

from lxml import html

etree=html.etree

二、如何使用PyCharm写代码来实现网络爬虫

淄博 - 在线购票&影讯淄博电影院在线优惠购票及影讯排片查询https://movie.douban.com/cinema/nowplaying/zibo/还是以这个网址为例：

1.url就是你要爬虫页面的网址，headers是一个请求头，要这样寻找：

1.还是要在页面上右键检查

2.这个代码是一个简单的网络爬虫，用于从豆瓣电影的“正在上映”页面中提取电影信息。代码详情：

# 导入所需的库
import requests  # 用于发送HTTP请求
from bs4 import BeautifulSoup  # 用于解析HTML文档# 设置目标URL和请求头
url = "https://movie.douban.com/cinema/nowplaying/zibo/"  # 豆瓣电影正在上映页面的URL
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36 Edg/133.0.0.0"
}  # 请求头，模拟浏览器访问，避免被服务器识别为爬虫# 发送HTTP GET请求，获取网页内容
res = requests.get(url, headers=headers)  # 使用requests库发送请求，获取响应对象
soup = BeautifulSoup(res.text, "lxml")  # 使用BeautifulSoup解析HTML文档，lxml是解析器类型# 查找电影列表
lists = soup.find("ul", class_="lists")  # 在HTML文档中查找第一个<ul>标签，且其class属性为"lists"
if lists:  # 如果找到了电影列表movies = []  # 初始化一个空列表，用于存储提取的电影信息# 查找所有<li>标签，且其class属性为"stitle"lis = lists.find_all("li", class_="stitle")for li in lis:  # 遍历每个<li>标签a = li.find("a")  # 在<li>标签中查找<a>标签if a:  # 如果找到了<a>标签title = a.get_text()  # 获取<a>标签的文本内容，即电影标题href = a["href"]  # 获取<a>标签的href属性值，即电影详情页的链接movie = {"title": title.strip(), "href": href}  # 将电影标题和链接以字典形式存储movies.append(movie)  # 将字典添加到movies列表中# 输出方式1：直接打印字典列表# print(movies)  # 直接输出movies列表，内容为字典形式# 输出方式2：换行输出每个电影的标题和链接for movie in movies:  # 遍历movies列表中的每个电影print(f"Title: {movie['title']}\nLink: {movie['href']}\n")  # 打印电影标题和链接，并换行
else:  # 如果没有找到电影列表print("未找到电影列表")  # 打印提示信息# 或者这样写（注释掉的代码）：
# if lists:
#     movies = []
#     for li in lists.find_all("li", class_="stitle"):
#         a = li.find("a")
#         if a:
#             title = a.get_text()
#             href = a["href"]
#             movies.append({"title": title.strip(), "href": href})
#     print(movies)  # 直接输出movies列表，内容为字典形式
# else:
#     print("未找到电影列表")  # 打印提示信息

3.代码功能总结

导入库：使用 requests 发送 HTTP 请求，使用 BeautifulSoup 解析 HTML 文档。
设置 URL 和请求头：定义目标 URL 和请求头，模拟浏览器访问。
发送请求并解析 HTML：获取网页内容并解析为 BeautifulSoup 对象。
查找电影列表：通过 HTML 标签和类名定位电影列表。
提取电影信息：从每个电影条目中提取标题和链接，并存储在列表中。
输出结果：
- 方式1：直接打印 movies 列表，输出字典形式的内容。
- 方式2：遍历 movies 列表，换行输出每个电影的标题和链接。

这是运行详情，其他的页面也是同样的道理。

实现静态网络爬虫（入门篇）

一、了解基本概念以及信息 1.什么是爬虫爬虫是一段自动抓取互联网信息的程序，可以从一个URL出发，访问它所关联的URL，提取我们所需要的数据。也就是说爬虫是自动访问互联网并提取数据的程序。它可以将互联网上的数据为我所用，…...

编程日记 2025/8/25 3:20:36

[Web]get请求和post请求

Get get请求的特点是： 1.所有的参数都通过URL进行传递。其中传输的参数的书写的格式为?key1value1&key2value2。具体示例：https://example.com/search?qapple&limit10。访问的时候，先写/xxx，确定本次请求要访问的资源u…...

编程日记 2025/8/22 1:02:16

【落羽的落羽 C++】C++入门基础：引用，内联，nullptr

文章目录一、引用1. 引用的概念2. 引用的特点3. 引用的使用4. const引用5. 引用和指针二、inline内联三、nullptr 一、引用 1. 引用的概念引用是C中的一个较为重要的概念。它是给已存在变量取的“别名”，编译器不会为引用变量开辟内存空间，它和它引…...

编程日记 2025/8/20 13:05:19

RabbitMQ应用问题大全（精心整理版）

前言其实这部分知识我是整理在语雀上了，这里是直接复制粘贴过来的。不是很好阅读，可以直接点下方链接去语雀看，那个看的会舒服很多。 https://www.yuque.com/g/ngioig/upbg6b/fkarhyo8fpgrtyq8/collaborator/join?tokenGvlO0di8KaIfO8aF&am…...

编程日记 2025/8/20 4:14:56

【人工智能】卷积神经网络的奥秘：深度学习的视觉革命

卷积神经网络（CNN）是深度学习中处理图像、视频等高维数据的主流模型，因其局部特征提取和参数共享特性而效率高且效果优异。本文深入探讨了CNN的理论基础，包括卷积操作、池化层、激活函数和全连接层的数学原理，并通过LaTeX公式推导其前向传播和反向传播过程。接着，我们提供…...

编程日记 2025/8/22 5:21:42

掌握MiniQMT：程序化下单与撤单的高效实现

掌握MiniQMT：程序化下单与撤单的高效实现 🚀量化软件开通 🚀量化实战教程在量化交易领域，程序化下单与撤单是实现自动化交易策略的关键环节。通过MiniQMT平台，我们可以高效地执行这些操作，从而快速响应…...

编程日记 2025/8/20 21:02:22

【高级篇】大疆Pocket 3加ENC编码器实现无线RTMP转HDMI进导播台

【高级篇】大疆Pocket 3加ENC编码器实现无线RTMP转HDMI进导播台文章目录准备工作连接设备RTMP概念ENCSHV2推流地址设置大疆Pocket 3直播设置总结老铁们好！ 很久没写软文了，今天给大家带了一个干货，如上图，大疆Pocket 3加ENC编…...

编程日记 2025/8/21 2:19:08

Nacos学习笔记-占位符读取其他命名空间内容

Nacos当前命名空间下的配置文件需要跨命名空间读取其他配置文件的内容。可以先通过Nacos提供的API接口获取配置文件内容，然后解析数据将其放入环境的PropertySource中。相关依赖包  <dependency><groupId>com.alibaba.clo…...

编程日记 2025/8/23 7:12:01

每天五分钟深度学习框架PyTorch：使用残差块快速搭建ResNet网络

本文重点前面我们使用pytorch搭建了残差块，本文我们更进一步，我们使用残差块搭建ResNet网络，当学会如何搭建残差块之后，搭建ResNet就会非常简单了，因为ResNet就是由多个残差块组成的。残差块残差块我们前面已经介…...

编程日记 2025/8/21 16:11:15

python操作java文件的一种方法

对于python操作java代码的场景来说，比较多的可能就是涉及加密的场景，尤其涉及到登录的场景，对于输入的账号密码可能会涉及到加密，如果开发告诉我们如何加密，那么，OK，我们可以直接通过代码去实现…...

编程日记 2025/8/23 10:22:09

自然语言处理：最大期望值算法

介绍大家好，博主又来给大家分享知识了，今天给大家分享的内容是自然语言处理中的最大期望值算法。那么什么是最大期望值算法呢？ 最大期望值算法，英文简称为EM算法，它的核心思想非常巧妙。它把求解模型参数的过程分成…...

编程日记 2025/8/16 10:05:29

leetcode-sql数据库面试题冲刺（高频SQL五十题）

题目： 197.上升的温度表： Weather ---------------------- | Column Name | Type | ---------------------- | id | int | | recordDate | date | | temperature | int | ---------------------- id 是该表具有唯一值的列。没有具有相同 recordDate …...

编程日记 2025/8/19 20:26:10

开发者社区测试报告(功能测试+性能测试)

功能测试测试相关用例开发者社区功能背景在当今数字化时代，编程已经成为一项核心技能，越来越多的人开始学习编程，以适应快速变化的科技环境。基于这一需求，我设计开发了一个类似博客的论坛系统，专注于方便程序员…...

编程日记 2025/8/20 14:48:21

环形链表问题的探究与代码实现

在数据结构与算法的学习中，环形链表是一个经典的问题。它不仅考察对链表这种数据结构的理解，还涉及到指针操作和逻辑推理。本文将结合代码和图文，深入分析如何判断链表中是否有环以及如何找到环的入口点。目录一、判断链表中是否有环 …...

编程日记 2025/8/25 2:40:20

【C++】vector(下)：vector类的模拟实现（含迭代器失效问题）

文章目录前言一、vector类的常用接口的模拟实现1.头文件（my vector.h）整体框架2.模拟实现vector类对象的常见构造3.模拟实现vector iterator4.模拟实现vector类对象的容量操作5.模拟实现vector类对象的访问6.模拟实现vector类对象的修改操作二、vector…...

编程日记 2025/8/22 7:19:24

NLTK和jieba

NLTK与jieba概述自然语言处理（NLP）领域是计算机科学领域与人工智能领域中的一个重要方向，主要研究方向是实现人与计算机之间用自然语言进行有效通信的各种理论和方法。在自然语言处理领域中，文本类型的数据占据着很大的市场&a…...

编程日记 2025/8/21 20:25:49

Java后端高频面经——计算机网络

TCP/IP四层模型？输入一个网址后发生了什么，以百度为例？（美团） （1）四层模型应用层：支持 HTTP、SMTP 等最终用户进程传输层：处理主机到主机的通信（TCP、UDP&am…...

编程日记 2025/8/24 15:40:07

CSDN博客：Markdown编辑语法教程总结教程（中）

❤个人主页：折枝寄北的博客 Markdown编辑语法教程总结前言1. 列表1.1 无序列表1.2 有序列表1.3 待办事项列表1.4 自定义列表 2. 图片2.1 直接插入图片2.2 插入带尺寸的图片2.3 插入宽度确定，高度等比例的图片2.4 插入高度确定宽度等比例的图片2.5 插入居…...

编程日记 2025/8/16 10:05:08

Springboot redis bitMap实现用户签到以及统计，保姆级教程

项目架构，这是作为demo展示使用： Redis config： package com.zy.config;import com.fasterxml.jackson.annotation.JsonAutoDetect; import com.fasterxml.jackson.annotation.PropertyAccessor; import com.fasterxml.jackson.databind.Ob…...

编程日记 2025/8/20 2:34:33

AI Agent系列(一) - Agent概述

AI Agent系列【一】前言一、AI代理的特点二、 AI Agent的技术框架三、开源自主代理前言 AI Agent，即人工智能代理，一般直接叫做智能体百度百科给AI Agent定义为： “以大语言模型为大脑驱动的系统，具备自主理解、感知、规划、…...

编程日记 2025/8/16 10:16:41

Scala 中trait的线性化规则（Linearization Rule）和 super 的调用行为

在 Scala 中，特质（Trait）是一种强大的工具，用于实现代码的复用和组合。当一个类混入（with）多个特质时，可能会出现方法冲突的情况。为了解决这种冲突，Scala 引入了最右优先原则&#…...

编程日记 2025/8/19 17:53:50

【Linux系统编程】初识系统编程

目录一、什么是系统编程1. 系统编程的定义2. 系统编程的特点3. 系统编程的应用领域4. 系统编程的核心概念5. 系统编程的工具和技术二、操作系统四大基本功能1. 进程管理（Process Management）2. 内存管理（Memory Management）3. 文…...

编程日记 2025/8/21 23:41:15

Unsloth - 动态 4 bit 量化

文章目录 💔 量化可能会破坏模型🦙 Llama 3.2 Vision 细节Pixtral (12B) 视觉🦙 Llama 3.2 (90B) 视觉指令本文翻译自：Unsloth - Dynamic 4-bit Quantization （2024年12月4日 Daniel & Michael https://unsloth.…...

编程日记 2025/8/23 2:14:38

技术领域，有许多优秀的博客和网站

在技术领域，有许多优秀的博客和网站为开发者、工程师和技术爱好者提供了丰富的学习资源和行业动态。以下是一些常用的技术博客和网站，涵盖了编程、软件开发、数据科学、人工智能、网络安全等多个领域： 1. 综合技术博客 1.1 Medium 网址: ht…...

编程日记 2025/8/21 5:43:48

黑金风格人像静物户外旅拍Lr调色教程，手机滤镜PS+Lightroom预设下载！

调色教程针对人像、静物以及户外旅拍照片，运用 Lightroom 软件进行风格化调色工作。旨在通过软件中的多种工具，如基本参数调整、HSL（色相、饱和度、明亮度）调整、曲线工具等改变照片原本的色彩、明度、对比度等属性，将…...

编程日记 2025/8/21 11:02:50

Manus 与鸿蒙 Next 深度融合：构建下一代空间计算生态

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/north 文章目录一、技术融合背景与意义1.1 技术栈协同优势1.2 典型应用场景二、系统架构设计2.1 整体架构图…...

编程日记 2025/8/23 12:29:49

并查集模板

注意理解路径压缩 static class UnionFind {int[] fa;public UnionFind(int n) {fa new int[n];for (int i 0; i < n; i) {fa[i] i;}}public int find(int i) {if (fa[i] ! i) {fa[i] find(fa[i]);}return fa[i];}public void union(int i, int j) {int fai find(i);in…...

编程日记 2025/8/21 15:24:16

推流项目的ffmpeg配置和流程重点总结一下

ffmpeg的初始化配置，在合成工作都是根据这个ffmpeg的配置来做的，是和成ts流还是flv，是推动远端还是保存到本地， FFmpeg 的核心数据结构，负责协调编码、封装和写入操作。它相当于推流的“总指挥”。先来看一下ffmpeg的…...

编程日记 2025/8/23 7:57:15

使用 Python 开发的简单招聘信息采集系统

以下是一个使用 Python 开发的简单招聘信息采集系统，它包含用户登录、招聘信息收集和前后端交互的基本功能。我们将使用 Flask 作为后端框架，HTML 作为前端页面。项目结构 recruitment_system/ ├── app.py ├── templates/ │ ├── login.html │ ├── index…...

编程日记 2025/8/20 2:34:36

Selenium库打开指定端口（9222、9333等）浏览器【已解决！！！】

就是在写动态爬虫爬取数据的过程中，如果用selenium的话，有一个缺点，就是当我们去测试一个网站能不能爬取，它都会重新换端口打开一个浏览器，不会使用上一次使用的浏览器，在实际使用过程中这样调试很烦&#…...

编程日记 2025/8/24 20:40:32

Android MVI架构模式详解

MVI概念 MVI（Model-View-Intent）是一种Android应用架构模式，旨在通过单向数据流和不可变性来简化应用的状态管理。MVI的核心思想是将用户操作、状态更新和界面渲染分离，确保应用的状态可预测且易于调试。 MVI的核心组件 Model&a…...

编程日记 2025/8/20 4:29:10

低代码开发直聘管理系统

低代码 DeepSeek 组合的方式开发直聘管理系统，兼职是开挂的存在。整个管理后台系统小程序端接口的输出，只花了两个星期不到。一、技术栈后端：SpringBoot mybatis MySQL Redis 前端：Vue elementui 二、整体效果三、表结…...

编程日记 2025/8/20 18:54:44

LVGL开发说明

准备工作 LVGL图形化工具：Gui-Guider-Setup-1.8.0-GA.exeLVGL库：lvgl-release-v8.3屏幕触摸驱动：CST816屏幕驱动：ST7789屏幕尺寸：320 * 170 触发事件按键的点击事件添加点击事件触摸屏点击对应的按键后就会触发回…...

编程日记 2025/8/19 17:52:23

代码随想录刷题day41|（二叉树篇）二叉树的最大深度（递归）

目录一、二叉树理论基础二、二叉树的深度和高度三、递归和迭代思路 3.1 递归法 3.2 迭代法四、相关算法题目五、总结一、二叉树理论基础详见：代码随想录刷题day34|（二叉树篇）二叉树的递归遍历-CSDN博客二、二叉树的深度和高…...

编程日记 2025/8/22 5:21:29

向量内积（点乘）和外积（叉乘）

文章目录 1. 向量的内积（点积）1.1 定义1.2 几何意义表征两个向量的投影关系计算向量夹角的余弦值 1.3 重要性质1.4 应用场景 2. 向量的外积（叉积）2.1 定义（仅适用于三维空间）2.2 几何意义2.3 重要性质2.4 应…...

编程日记 2025/8/19 3:06:05

PDF转JPG（并去除多余的白边）

首先，手动下载一个软件（poppler for Windows），下载地址：https://github.com/oschwartz10612/poppler-windows/releases/tag/v24.08.0-0 否则会出现以下错误： PDFInfoNotInstalledError: Unable to get pag…...

编程日记 2025/8/22 4:58:13

【无人机路径规划】基于麻雀搜索算法（SSA）的无人机路径规划（Matlab）

效果一览代码获取私信博主基于麻雀搜索算法（SSA）的无人机路径规划（Matlab） 一、算法背景与核心思想麻雀搜索算法（Sparrow Search Algorithm, SSA）是一种受麻雀群体觅食行为启发的元启发式算法&#xff0…...

编程日记 2025/8/16 5:46:07

2020CVPR-SiamBAN：用于视觉跟踪的Siamese框自适应网络

原文标题：Siamese Box Adaptive Network for Visual Tracking 中文标题：用于视觉跟踪的Siamese框自适应网络代码地址： GitHub - hqucv/siamban: Siamese Box Adaptive Network for Visual Tracking Abstract 大多数现有的跟踪器通常依靠多尺…...

编程日记 2025/8/24 17:21:57

带你从入门到精通——自然语言处理（五. 自注意力机制和transformer的输入部分）

建议先阅读我之前的博客，掌握一定的自然语言处理前置知识后再阅读本文，链接如下： 带你从入门到精通——自然语言处理（一. 文本的基本预处理方法和张量表示）-CSDN博客带你从入门到精通——自然语言处理（二…...

编程日记 2025/8/24 1:24:53

MySql自动安装脚本

一、脚本安装流程 1. 添加MySQL的Repository 使用wget命令从MySQL官方网站下载Yum Repository的RPM包。使用rpm -ivh命令安装下载的RPM包，以添加MySQL的Yum Repository。 2. 安装mysql-community-server 使用yum install -y mysql-community-server --nogpgchec…...

编程日记 2025/8/25 1:05:32

3.9【Q】csd

在计算机存储领域，CSD是什么？ 基于CXL™-Type3 实现内存池化 CPU访问内存的瓶颈是什么？具体矛盾是什么？ 计算型存储-2：标准、API实现 NUMA是什么？详细解释一下它的核心思想？...

编程日记 2025/8/16 10:06:15

Qt常用控件之表格QTableWidget

表格QTableWidget QTableWidget 是一个表格控件，行和列交汇形成的每个单元格，是一个 QTableWidgetItem 对象。 1. QTableWidget属性 QTableWidget 的属性只有两个： 属性说明rowCount当前行的个数。columnCount当前列的个数。 2. QTableW…...

编程日记 2025/8/18 1:58:06

数据库批处理

数据库批处理是一种处理数据的方法，通常用于对大量数据进行一次性操作。批处理可以有效地减少数据库操作的次数，提高数据处理的效率。在数据库中，批处理通常通过编写批处理脚本或使用相应的工具来实现。一般情况下，数据库批处理…...

编程日记 2025/8/23 19:41:43

Flask 框架简介

Flask 框架简介 Flask 框架简介 Flask 框架简介 Flask 是一个 Python 微型网页开发框架。微型指明了 Flash 的核心是轻量级的，但是可以灵活扩展。下面的简单的例子要和一个数据库系统交互。Django附带了与最常见的数据库交互所需的库。另一方面，Flask允…...

编程日记 2025/8/21 21:27:36

KMP 算法的 C 语言实现

# include <stdio.h> # include <stdlib.h> # include <string.h>// 打印 KMP 匹配结果. void ColorPrint(char *T, int *result, int result_size, int m) {int green_size strlen("\x1b[31m");int reset_size strlen("\x1b[0m");cha…...

编程日记 2025/8/23 5:33:19