当前位置：首页 > news >正文

第二章 Python爬虫篇—数据解析与提取

news 来源：原创 2025/9/15 11:02:05

一.数据解析概述

二.re解析和正则表达式

三.bs4解析-HTML语法

四.Xpath解析

此章节主要讲解：数据解析概述、re模块、bs4解析-html语法、xpath解析以及正则表达式。其中正则表达式我已经写过相关笔记，这里浅略叙述，如果不懂请看我笔记：https://blog.csdn.net/2403_88453964/article/details/147055211?spm=1001.2014.3001.5502

一.数据解析概述

在上一章中,我们基本上掌握了抓取整个网页的基本技能,但是呢,大多数情况下,我们并不需要整个网页的内容,只是

需要那么一小部分,怎么办呢?这就涉及到了数据提取的问题。

本章节中,提供三种解析方式:

1.re解析

2.bs4解析

3.xpath解析

这三种方式可以混合进行使用,完全以结果做导向,只要能拿到你想要的数据,用什么方案并不重要,当你掌握了这些之后.再考虑性能的问题。

二.re解析和正则表达式

Regular Expression,正则表达式,一种使用表达式的方式对字符串进行匹配的语法规则.

我们抓取到的网页源代码本质上就是一个超长的字符串,想从里面提取内容,用正则再合适不过了,

正则的优点: 速度快,效率高,准确性高

正则的缺点: 新手上手难度有点儿高.

不过只要掌握了正则编写的逻辑关系,写出一个提取页面内容的正则其实并不复杂

正则的语法: 使用元字符进行排列组合用来匹配字符串在线测试正则表达式https:/tool.oschina.net/regex/

元字符: 具有固定含义的特殊符号

常用元字符:

量词：控制前面的元字符出现的次数

贪婪匹配和惰性匹配

这两个要着重的说一下.因为我们写爬虫用的最多的就是这个惰性匹配。

案例：

所以我们能发现这样一个规律：.?表示尽可能少的匹配.表示尽可能多的匹配,暂时先记住这个规律.后面写爬虫会用

到的哦

re解析和正则表达式的实战案例如下：

注：

利用re解析和正则解析的时候需要你去根据html的源代码去找他们规律，作为开头和结尾，常利用.*？作为最主要的爬取正则表达式。

若一个页面有https，我们可以将get方法中的verify的值赋False可以解决。

三.bs4解析-HTML语法

bs4解析比较简单,但是呢,首先你需要了解一丟丟的html知识,然后再去使用bs4去提取,逻辑和编写难度就会非常简

单和清晰。

HTML(Hyper Text Markup Language)超文本标记语言,是我们编写网页的最基本也是最核心的一种语言:其语法规则

就是用不同的标签对网页上的内容进行标记,从而使网页显示出不同的展示效果.

上述代码的含义是在页面中显示“我爱你“三个字,但是我爱你三个字被"<h1>"和"</h1>"标记了,白话就是被括起来了被H1这个标签括起来了,这个时候,浏览器在展示的时候就会让我爱你变粗变大,俗称标题,所以HTML的语法就是用类似这样的标签对页面内容进行标记,不同的标签表现出来的效果也是不一样的.

注：

h1:一级标题
h2:二级标题
p:段落
font:字体(被废弃了，但能用)
body:主体

总结：

html语法：

bs4解析语法使用代码如下：

总结：

第一步：下载并导入bs4包

第二步：把页面的源代码解析成BeautifulSoup进行处理,生成bs对象

第三步：

爬取思路如下：

bs4解析的用法，主要还是需要一点html的知识，主要解析的方法过程，首先你需要去“查看网页源代码”，大部分网页源代码都是利用了安全手段，这里可能需要抓包，作者还未学这样的技术。但是解析的过程就是根据标签不同的地方去定位，需要查找解析的它所在的链接。然后根据这个链接去利用文件存入下载的图片即可完成。

四.Xpath解析

Xpath是XML文档中搜索内容的一门语言，html是XML的一个子集

在上述html中

1.book,id,name, price....都被称为节点

2.ld,name,price,author被称为book的子节点

3.book被称为id,name,price,author的父节点

4.id,name,price,author被称为同胞节点

有了这些基础知识后,我们就可以开始了解xpath的基本语法了在python中想要使用xpath，需要安装IxmI模块:

pip install –i https://pypi.tuna.tsinghua.edu.cn/simple lxml

用法：

1.将要解析的html内容构造出etree对象.

2.使用etree对象的xpath0方法配合xpath表达式来完成对数据的提取

xpath练习代码如下：

注：

/表示层级关系，表示从根节点开始查找

//表示查找所有符合节点，不管层级关系

*表示任意节点相当于通配符

xpath入门2代码示例如下：

注:

@表示属性

xpath的索引从1开始,[]表示索引

[@***=***]表示属性的筛选

.表示相对查找在网页中可以按F12进入开发者模式，进入到elements然后可以右击选择“copy”->”copy xpath”这样及其方便。

一.数据解析概述

二.re解析和正则表达式

三.bs4解析-HTML语法

四.Xpath解析

相关文章：