当前位置：首页 > news >正文

Python爬取数据（二）

news 来源：原创 2025/8/23 4:33:33

一.example2包下的

1.re模块的compile函数使用

import repattern=re.compile(r'\d+')
print(pattern)

2.match的方法使用

import re
pattern=re.compile(r'\d+')
# m1=pattern.match('one123twothree345four')
#参数2：指定起始位置(包含),参数3：终止位置(包含),注意匹配一次成功后结束
m1=pattern.match('one123twothree345four',3,7)
print(m1.group())

3.search方法的使用

import re
pattern=re.compile(r'\d+')
m1=pattern.search('one123twothree345four')
print(m1.group())

4.findall方法的使用

import re
pattern=re.compile(r'\d+')result=pattern.findall('hello 123 world 456')
print(result)

5.split方法的使用

import restr1='a,b,c'
print(str1.split(','))str2='a,b;;c,d'
pattern=re.compile(r"[\s\,\;]+")
print(pattern.split(str2))

6.sub方法的使用

import re
string='<h1 class="test1">HelloWorld</h1>'pattern=re.compile(r'\d')
print(pattern.sub('2',string))
print(pattern.sub('2',string,1))pattern=re.compile('<(.\\d)\\sclass="(?P<classname>.*?)">.*?</(\\1)>')
print(pattern.search(string).group(3))def fun(m):return 'after sub'+m.group('classname')
print(pattern.sub(fun, string))

7.贪婪匹配

import re
string='<h1 class="test1">HelloWorld</h1>'
#贪婪匹配
pattern=re.compile(r'<.\d\sclass=.*>')
print(pattern.search(string).group())
#关闭贪婪匹配
pattern=re.compile(r'<.\d\sclass=.*?>')
print(pattern.search(string).group())

8.综合案例

import requests
import re
def handle_detail_re(content):#re.S表示全文匹配# item_search=re.compile('ts_solgcont_title">.*?</div>\r\n\t</div>',re.S)item_search = re.compile('ts_solgcont_title">.*?<div class="ts_solgcont_bot">.*?</div>', re.S)#获取每一条图书的数据all_item=item_search.findall(content)#匹配书名title_search=re.compile('target="_blank">(.*?)</a>')#匹配作者author_search=re.compile('<p>作者(.*?)</p>')for item in all_item:print({"title":title_search.search(item).group(1),"author":author_search.search(item).group(1),})def main():header={"User-Agent":"Mozilla/5.0 (X11; Linux aarch64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36 CrKey/1.54.250320 Edg/135.0.0.0"}booktype=['java','python','c']for key in booktype:url='http://www.cmpedu.com/so.htm?&KEY={}'.format(key)response=requests.get(url,headers=header)handle_detail_re(response.text)if __name__ == '__main__':main()

三.example3下的

安装beautifulsoup4的指令:pip3 install beautifulsoup4
beautifulsoup4:Beautiful Soup（bs4）是一个用于从HTML或XML文件中提取数据的Python库。

1.获取节点

from bs4 import BeautifulSoup
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p >
<p class="story">Once upon a time there were three little sisters; and their names were
<!-- Elsie -->,and
;
and they lived at the bottom of a well.</p >
<p class="story">...</p >
"""
#参数1:html代码片段
# 参数2：解析器
soup=BeautifulSoup(html,'lxml')
#获得标题
print(soup.title)
#获得头标记
print(soup.head)
#获得体标记
print(soup.body)
#获得标题元素内容
print(soup.title.string)
#获得标记名称
print(soup.title.name)
#默认的模式下只能匹配第一个节点，其他节点会被忽略
print(soup.p)

Python爬取数据（二）

一.example2包下的 1.re模块的compile函数使用 import repatternre.compile(r\d) print(pattern) 2.match的方法使用 import re patternre.compile(r\d) # m1pattern.match(one123twothree345four) #参数2：指定起始位置(包含),参数3：终止位置(包含),…...

编程日记 2025/8/23 4:33:33

我的NISP二级之路-01

目录一.SSE-CMM系统安全工程-能力成熟度模型（Systems Security Engineering - Capability Maturity Model）二.ISMS 即信息安全管理体系（Information Security Management System），是一种基于风险管理的、系统化的管理体系三.Kerberos协议 1. 用户登录与 AS 请求 2…...

编程日记 2025/8/23 4:26:58

自制简易 Shell：像搭建积木小屋一样打造命令交互小天地

目录准备工作：搭建小屋的材料打造小屋的 “身份牌” 接收指令：小屋的 “对讲机” 拆解指令：把大任务拆成小积木执行指令：小屋的 “行动队” 特殊指令：小屋的 “特色功能” 小屋的日常运转完整代码啥是 …...

编程日记 2025/8/17 20:34:23

WEB安全--内网渗透--利用Net-NTLMv2 Hash

一、前言在前两篇文章中分析了NTLM协议中Net-NTLMv2 Hash的生成、如何捕获Net-NTLMv2 Hash，现在就来探讨一下在内网环境中，如何利用Net-NTLMv2 Hash进行渗透。二、Net-NTLM Hash的破解工具：hashcat 原理：利用其内部的字典对…...

编程日记 2025/8/20 12:15:22

MySQL 数据库操作指南：从数据库创建到数据操作

关键词：MySQL；数据库操作；DDL；DML 一、引言 MySQL 作为广泛应用的关系型数据库管理系统，对于开发人员和数据库管理员而言，熟练掌握其操作至关重要。本文章通过一系列 SQL 示例，详细阐述 MySQL…...

编程日记 2025/8/20 20:25:42

从传递函数到PID控制器

在过程控制中，按偏差的比例（P，Proportional）、积分（I，Integral）和微分（D，Differential）进行控制的PID控制器（亦称PID调节器）是应用最为…...

编程日记 2025/8/17 23:55:51

抓wifi无线空口包之Ubuntu抓包（二）

一、设置网卡信道和频段，并抓包 1、使用iwconfig查看自己机器的无线网卡名称 wangwang-ThinkCentre-M930t-N000:~$ iwconfig lo no wireless extensions. eno1 no wireless extensions. enxc8a3624ab329 no wireless extensions. wlx90de80d1b5b1 IE…...

编程日记 2025/8/23 4:33:33

使用protobuf编译提示无法打开包括文件: ‘absl/log/absl_log.h’: No such file or directory

问题原因 Protobuf 依赖 Abseil： Protobuf 3.20 版本开始依赖 Abseil，但你的系统未正确安装或配置 Abseil。头文件路径未包含： 编译器找不到 absl/log/absl_log.h，可能是因为 Abseil 未正确安装或未在项目中设置包含路径。 …...

编程日记 2025/8/23 4:31:19

深入浅出Java 锁 | 源码剖析 | 万字解析

目录硬件内存结构&Java内存模型硬件内存结构 Java内存模型（JMM） JMM中三大特性：原子性、有序性、可见性 Java中有哪些锁？ Java中锁可以分成悲观锁和乐观锁的实现。乐观锁和悲观锁的区别，乐观锁一定好嘛&…...

编程日记 2025/8/17 23:32:07

java流程控制12：流程控制练习

流程控制练习打印三角型 package com.zheng.struct;public class TestDemo {public static void main(String[] args) {//打印三角形 5行for(int i1;i<5;i){for(int j5;j>i;j--){System.out.print(" ");}for(int j1;j<i;j){System.out.print("*&quo…...

编程日记 2025/8/17 10:11:14

JAVA：ByteBuddy 动态字节码操作库的技术指南

1、简述 ByteBuddy 是一个功能强大的 Java 字节码操作库，可以帮助开发者在运行时动态生成和修改类，而无需直接接触复杂的 ASM API。它被广泛应用于框架开发、AOP（面向切面编程）、代理类生成、性能监控等领域。 2、ByteBuddy 的优…...

编程日记 2025/8/22 7:17:50

C语言学习记录（13）自定义类型：结构体

一、结构体变量的声明、创建和初始化 1.结构体变量的声明结构体变量我们学操作符的时候就顺带讲了一点了，因为当时讲了结构体成员变量访问操作符.。结构体变量不像int、float这种内置类型的，一旦创建，系统就知道这是干啥的，结…...

编程日记 2025/8/19 23:10:04

rtthread 软件SPI驱动, 支持mode0~3,MSB,LSB

rtthread的软件模拟SPI用的上层PIN驱动写，由于经过层层封装，时钟频率并不会太高，200MHz的MCU跑不到1MHz的时钟频率。所以最好是在底层就模拟好，给上层用。头文件 struct io_poSOFT {gpio_type *port;uint16_t pin; }; typedef …...

编程日记 2025/8/17 23:01:38

C++自学笔记——动态创建对象

动态创建对象 1. 什么是动态创建对象？ 在学习之前的知识点时，我们知道有静态存储期和自动存储期。静态存储期的对象在程序的整个生命周期内都存在，全局变量和static修饰的局部变量都属于这一类。自动存储期的对象，这些对象在函…...

编程日记 2025/8/21 16:13:05

35.[前端开发-JavaScript基础]Day12-for循环中变量-华为商城-商品列表-轮播图

for循环中监听函数中打印变量 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" content"wi…...

编程日记 2025/8/20 5:13:45

详细描述以太坊的gas、gaslimit、gasPrice

目录一、Gas 是什么？ ✅ 简要定义： 🧠 举例理解：二、Gas Limit 是什么？ ✅ 简要定义：分两种：举例说明：三、Gas Price 是什么？ ✅ 简要定义：为什么它重要？示例：四、 EIP-1559 后的新机制（伦敦升级）三个要素：五、额外技巧（开发实用）本文…...

编程日记 2025/8/20 21:19:06

【Java】Maven

一、概念是一个项目管理和构建工具，它基于项目对象模型（POM）的概念，通过一小段描述信息来管理项目的构建。二、Maven坐标 <groupId>com.itheima</groupId><artifactId>maven-project01</artifactId>&…...

编程日记 2025/8/20 1:53:08

PageCache

目录一、PageCache的具体过程二、具体实现代码一、PageCache的具体过程页缓存主要解决的是内存外碎片问题，并且直接和系统调用打交道。申请过程如下： 当中心缓存中没有内存时,会去页缓存申请一个span结构,要经过下面几步: （1&#xf…...

编程日记 2025/8/17 22:09:56

Vue3实战五、面包屑，收缩菜单，高亮暗黑主题切换,全屏功能实现

目录面包屑，收缩菜单，黑夜白夜样式,全屏功能实现收缩菜单按钮结合pinia功能实现第一步、定义布局配置的数据类型第二步、创建布局状态管理文件第三步、使用布局配置状态第四步、进行展开/收起左侧菜单逻辑第五步、动态切换左侧菜单宽度样式第六步、动态…...

编程日记 2025/8/21 5:33:30

Linux内核设计——（二）进程调度

目录一、进程调度简介二、多任务三、调度器 3.1 I/O消耗型和处理器消耗型进程 3.2 进程优先级 3.3 CFS算法 3.4 实时调度策略 3.5 SCHED_FIFO 3.6 SCHED_RR 3.7 调度器入口四、上下文切换 4.1 睡眠和唤醒 4.2 need_resched标志 4.3 用户抢占 4.4 内核抢占一…...

编程日记 2025/8/22 10:52:42

【C++初阶】--- string类模拟实现

1.基础函数 1.1成员函数成员函数主要是_str、_size、_capacity这三个。npos是size_t 的最大值,用于当作后续成员函数的参数的缺省值。 class string { private:char* _str nullptr;//指向字符串的指针size_t _size 0;//字符串长度size_t _capacity 0;//空间大小static c…...

编程日记 2025/8/19 17:32:41

Pythia 使用说明

Pythia 是一个由非营利研究组织 EleutherAI 开发的开源语言模型套件，专注于透明性和可复现性。它是为了推动自然语言处理（NLP）领域的开放研究而设计，尤其在模型训练过程和性能分析方面提供了详尽的文档和数据。 Pythia 的核心特点…...

编程日记 2025/8/18 0:19:09

python：获取某路径下所有图片的名称

可以使用 Python 的 os 模块或者 pathlib 模块来获取指定路径下所有图片的名称。以下是使用这两种方法实现的代码示例： 使用 os 模块 import osdef get_image_names_os(path):image_extensions (.jpg, .jpeg, .png, .gif, .bmp)image_names []for root, dirs, f…...

编程日记 2025/8/20 15:27:31

一个开源的 VS Code 大模型聊天插件：Light-at

这篇文章是一个开发杂谈。对于有经验的开发者来说，可能这个项目并不算特别复杂或者高技术，只是对我个人来说算一个里程碑，因此写篇杂谈文章记录一下。也许也能给起步者一些参考。项目地址：https://github.com/HiMeditator/light-…...

编程日记 2025/8/20 19:29:08

图论学习笔记2

请先阅读图论学习笔记 1。在这篇文章里，我们将继续以前 tarjan 求解的强连通分量和双连通分量，讲解其缩点相关内容。也会讲解一些特殊的图：基环树与仙人掌图、最小树形图。缩点我们知道，将强连通分量、双连通分量缩点之后…...

编程日记 2025/8/17 23:23:49

蓝桥杯备赛---真题训练之15届省赛产品360度展示

题目介绍在电子商务网站中，用户可以通过鼠标或手势交互实现 360 度全方位查看产品，提升用户体验。现在需要你设计一个 Pipeline 管道函数，用于控制 360 度展示产品的动画序列，通过管道连接各个动画步骤，使产品以流畅…...

编程日记 2025/8/20 6:39:07

图论：单源最短路（BF算法+迪杰斯特拉算法+spfa算法）

单源最短路概念 dijkstra实现（解决不了负权值） P3371 【模板】单源最短路径（弱化版） - 洛谷 #include<iostream> #include<vector> #include<cstring> using namespace std;typedef pair<int, int> PII…...

编程日记 2025/8/18 23:52:13

嵌入式学习(35)-TTS语音模块FT-VBM-OS支持ModbusRTU

一、概述 FT-TTS-R-01 （下简简“模块”）是一款可将串口传入的文本信息转成语音播报的控制器。块”可下接收任意字符或者汉字，并通过 TTS 语音合成功能，清晰、准确、自然的合成并播放音频。该块”还带有 1 路继电器输出&#xff0…...

编程日记 2025/8/22 8:13:31

【Vue-组件】学习笔记

目录 <<回到导览组件1.项目1.1.Vue Cli1.2.项目目录1.3.运行流程1.4.组件的组成1.5.注意事项 2.组件2.1.组件注册2.2.scoped样式冲突2.3.data是一个函数2.4.props详解2.5.data和prop的区别 3.组件通信3.1.父子通信3.1.1.父传子（props）3.1.2.子传父…...

编程日记 2025/8/19 2:54:34

Github上一些使用技巧（缩写、Issue的Highlight）自用

1. GIthub中的一些缩写 LGTM ! 最近经常看到一些迷之缩写，感觉挺有意思的，但是有时候看到一些没见过的缩写还是有点懵逼，不过缩写确实也是很方便去review，这里就记录汇总一下；顺便加了一些git的基操单词（加…...

编程日记 2025/8/21 7:54:22

【团体程序涉及天梯赛】L1~L2实战反思合集（C++）

实战反思汇总记录仔细审题，想好再写 L1-104 九宫格 - 团体程序设计天梯赛-练习集易忽略的错误：开始习惯性地看到n就以为是n*n数组了，实际上应该是9*9的固定大小数组，查了半天没查出来 L1-101 别再来这么多猫娘了&#xff01…...

编程日记 2025/8/21 10:58:47

ubuntu下的node.js的安装

安装 node-v22.14.0-linux-x64.tar.xz 的步骤如下： 1. 下载和解压如果尚未下载文件，可以通过 wget 下载（替换为实际下载链接）： wget https://nodejs.org/dist/v22.14.0/node-v22.14.0-linux-x64.tar.xz解压文件&…...

编程日记 2025/8/23 3:50:31

VMware-workstation-full-12.5.2 install OS X 10.11.1(15B42).cdr

手把手虚拟机安装苹果操作系统 VMware_workstation_full_12.5.2 unlocker208 Apple Max OS X(M）-CSDN博客 vcpu-0:VERIFY vmcore/vmm/main/physMem_monitor.c:1180 FILE: FileCreateDirectoryRetry: Non-retriable error encountered (C:\ProgramData\VMware): Cann…...

编程日记 2025/8/21 16:40:16

Linux下创建svn库和 svn安装与操作

1.介绍 SVN是Subversion的简称，是一个开放源代码的版本控制系统，相较于RCS、CVS，它采用了分支管理系统，它的设计目标就是取代CVS。适合中小公司的开发人员不多的项目使用,相比git管理工具更简单. 2.安装svn 2.1 国际惯例首先看…...

编程日记 2025/8/21 2:41:23

React-04React组件状态（state），构造器初始化state以及数据读取，添加点击事件并更改state状态值

1.React组件状态（state） 组件可以拥有状态（state），它是组件数据的私有部分，可以用来管理动态数据。状态仅适用于类组件，或者使用 React 的 Hook 时可以在函数组件中使用。注意组件中render方…...

编程日记 2025/8/20 23:28:43

第3课：MCP协议接口定义与开发实践

MCP协议接口开发实战：从标准化设计到跨语言SDK落地一、引言：为什么接口标准化是多智能体协作的“刚需” 在多智能体系统中，不同语言开发的智能体、异构服务之间的通信效率往往受制于接口兼容性问题。MCP（Model Context Protoco…...

编程日记 2025/8/21 6:42:45

Perl语言的WebAssembly

Perl语言的WebAssembly：将古老的语言带入新世纪引言在编程语言发展的历史长河中，Perl作为一门早期广泛使用的脚本语言，以其灵活性和丰富的文本处理能力而闻名。然而，随着互联网和Web技术的迅猛发展，许多开发者开始…...

编程日记 2025/8/22 13:03:06

[ISP] ISP 中的 GTM 与 LTM：原理、算法与与 Gamma 校正的对比详解

在现代图像信号处理（ISP）流水线中，图像增强是提升视觉质量的核心手段之一。尤其是在高动态范围（HDR）内容、弱光环境或复杂光照条件下，Tone Mapping（色调映射）技术的引入成为关键。To…...

编程日记 2025/8/17 22:10:26

健身管理小程序|基于java微信开发健身管理小程序的系统设计与实现(源码+数据库+文档)

健身管理小程序目录基于微信开发健身管理小程序设计与实现一、前言二、系统设计三、系统功能设计小程序端： 后台四、数据库设计五、核心代码六、论文参考七、最新计算机毕设选题推荐八、源码获取： 博主介绍：✌️大厂码…...

编程日记 2025/8/22 11:21:56

批量将文本合并成单个文件，支持按文件夹合并文本文档

我们的文件夹中有零零碎碎的多个小的文本文件，这对我们存档记录是非常不方便，不友好的。如果我们能够将多个小的文本文件合并成一个完整的大的文本文件，那不管是在共享还是在存档起来都更加的方便。今天给大家介绍一下如何批量将多个文本文件…...

编程日记 2025/8/19 18:34:35

ROS云课三分钟-差动移动机器人巡逻报告如何撰写-中等报告

评语： 成绩中等（70/100），具体如下： 1. 摘要部分问题描述： 内容空洞：摘要过于简短，仅简要概述了研究内容和实现方法，未突出研究的创新点或重要性。缺乏细节&#xff1…...

编程日记 2025/8/19 8:36:39

forms实现推箱子小游戏

说明: forms实现推箱子小游戏效果图： step0:游戏规则 # 推箱子游戏规则说明## 🎯 游戏目标 - 通过控制角色移动，将所有**棕色箱子(3)**推到**红色目标点(4)**上 - 当所有箱子都变为**绿色(7)**时，即完成当前关卡 - 完成全部关…...

编程日记 2025/8/19 17:55:05

图的储存+图的遍历

图的存储邻接矩阵 #include <iostream>#include <cstring>using namespace std;const int N 1010;int n, m;int edges[N][N];int main() {memset(edges, -1, sizeof edges);cin >> n >> m; // 读⼊结点个数以及边的个数 for(int i 1; i < m; i)…...

编程日记 2025/8/21 9:34:24

蓝桥杯—数字接龙(dfs+减枝)

一.题目二.思路一看就是迷宫问题的变种，从左上角到达右下角，要解决 1.8个方向的方向向量，用dx，dy数组代表方向向量 2.要按照一个规律的数值串进行搜索0，1，2，k-1，0，1…...

编程日记 2025/8/17 22:10:12

Solidity智能合约漏洞类型与解题思路指南

一、常见漏洞类型与通俗解释 1. 重入攻击(Reentrancy) 🌀 通俗解释：就像你去银行取钱，柜台人员先给你钱，然后再记账。你拿到钱后立即又要求取钱，由于账还没记，柜台又给你一次钱，这样循环下去你就能拿走银行所有的钱。漏洞原理：合约在更新状态前调用外部合约，允许…...

编程日记 2025/8/20 19:29:13

临床不等于医学-《分析模式》漫谈52

DDD领域驱动设计批评文集做强化自测题获得“软件方法建模师”称号《软件方法》各章合集 “Analysis Patterns”的第4章“企业财务观察”有这么一句话： An important point about this model——a reflection of its clinical background 2004（机械…...

编程日记 2025/8/18 0:01:32

鸿蒙应用开发中的 Stack 布局模式

在鸿蒙(HarmonyOS)应用开发中，Stack 布局模式是一种非常灵活的布局方式，类似于其他开发框架中的 StackPanel 或 AbsoluteLayout。它允许子组件按照层级关系进行堆叠，后添加的组件会覆盖在先添加的组件之上。开发者可以通过设置组件的位置、大…...

编程日记 2025/8/20 10:43:30

仿modou库one thread one loop式并发服务器

源码：田某super/moduo 目录 SERVER模块： Buffer模块： Socket模块： Channel模块： Connection模块： Acceptor模块： TimerQueue模块： Poller模块： EventLoop模块&a…...

编程日记 2025/8/21 11:49:30

【AI学习】初步了解Gradio

Gradio 是一个开源的 Python 库，专注于快速构建交互式 Web 界面，特别适用于机器学习模型、数据科学项目或任意 Python 函数的演示与部署。它通过极简的代码实现前后端一体化，无需前端开发经验即可创建功能丰富的应用。以下是 Gradio 的核心特…...

编程日记 2025/8/22 5:11:37

C++11QT复习（十四）

文章目录 Day9 数据结构学习笔记（2025.04.01）一、C基础快速回顾二、STL（标准模板库）三、常见容器及其对应的数据结构四、容器操作演示1. 基本容器使用2. 异构类型容器五、迭代器详解特点示例用户自定义结构体访问成员六、算法库…...

编程日记 2025/8/22 22:02:52

一.example2包下的

三.example3下的

相关文章：