当前位置：首页 > news >正文

python_BeautifulSoup提取html中的信息

news 来源：原创 2025/6/26 7:23:36

描述：

过程：

step one 下载html网页到本地

step two 提取html信息

list_con = soup.select('.list-con') [0]

li_list = list_con.find_all('li')

a = li.find('span').find('a')

title = a.get('title')

url = a.get('href')

span = li.find('span').find('span')

time_str = span.string

BeautifulSoup常用方法

视频

描述：

提取同花顺|期货期货滚动的资讯列表信息，使用BeautifulSoup提取html信息

期货滚动_期货_同花顺财经

过程：

step one 下载html网页到本地

def temp_000():pre_dir =r'E:/temp006/'url = r'https://goodsfu.10jqka.com.cn/qhgd_list/index_1.shtml'header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36'}response = requests.get(url,headers=header)if response.status_code == 200:with open(pre_dir + '1.html','w',encoding='utf-8') as fw:fw.write(response.text)pass

step two 提取html信息

def temp_001():file_path = r'E:/temp006/1.html'with open(file_path,'r',encoding='utf-8') as fr:content = fr.read()soup = BeautifulSoup(content,'lxml')elements = soup.select('.list-con')list_con = elements[0]li_list = list_con.find_all('li')data_list = []for li in li_list:a = li.find('span').find('a')url = a.get('href')title = a.get('title')span = li.find('span').find('span')time_str = span.stringdata_list.append({'title':title,'url':url,'time_str':time_str})passprint(data_list)pass

list_con = soup.select('.list-con') [0]

soup.select('.list-con') 获取class名为list-con的节点列表，返回结果是个列表，取返回列表的第一个，是要提取的目标列表

li_list = list_con.find_all('li')

获取 list_con 节点里的所有 li 节点

遍历 li 节点

a = li.find('span').find('a')

获取 li 节点里的第一个 span 节点，再在该 span 节点里寻找第一个 a 节点

title = a.get('title')

获取 a 节点里的 title 信息

以上面截图为例 title = '锰硅、红枣、碳酸锂空头偏强苹果、玉米淀粉多头偏强'

url = a.get('href')

获取 a 节点里的 url 信息

以上面截图为例 url ="http://goodsfu.10jqka.com.cn/20250425/c667772986.shtml"

span = li.find('span').find('span')

获取 li 节点里的第一个 span 节点，再在该 span 节点里获取第一个 span 节点

time_str = span.string

获取 <span>xxxxxx</span> 之间的 xxxxxx 字符

以上面截图为里 time_str = "04月25日 21:14"

BeautifulSoup常用方法

soup.title                    # 获取整个title标签字段：<title>The Dormouse's story</title>
soup.title.name               # 获取title标签名称  ：title
soup.title.parent.name        # 获取 title 的父级标签名称：head
soup.p                        # 获取第一个p标签字段：<p class="title"><b>The Dormouse's story</b></p>
soup.p['class']               # 获取第一个p中class属性值：title
soup.p.get('class')           # 等价于上面
soup.a                        # 获取第一个a标签字段
soup.find_all('a')            # 获取所有a标签字段
soup.find(id="link3")         # 获取属性id值为link3的字段
soup.a['class'] = "newClass"  # 可以对这些属性和内容等等进行修改
del bs.a['class']             # 还可以对这个属性进行删除
soup.find('a').get('id')      # 获取class值为story的a标签中id属性的值
soup.title.string             # 获取title标签的值  ：The Dormouse's story

视频

python_BeautifulSoup提取html中的信息_哔哩哔哩_bilibili

python_BeautifulSoup提取html中的信息

目录描述： 过程： step one 下载html网页到本地 step two 提取html信息 list_con soup.select(.list-con) [0] li_list list_con.find_all(li) a li.find(span).find(a) title a.get(title) url a.get(href) span li.find(span).find(spa…...

编程日记 2025/6/26 7:23:36

pcd2pgm的launch文件实现

1.新建工作空间和克隆代码 mkdir -p pcd2pgm_launch/src && cd pcd2pgm_launch/src git clone https://github.com/Hinson-A/pcd2pgm_package 2. 编译 cd .. catkin_make -j4 3.修改launch 在launch文件目录下，可以用gedit 打开launch文件&#xff0c…...

编程日记 2025/5/8 17:08:32

Vue里面elementUi-aside 和el-main不垂直排列

先说解决方法 main.js少导包 import element-ui/lib/theme-chalk/index.css; //加入此行即可问题复现排查了一个小时终于找出来问题了，建议导包去看官方的文档，作者就是因为看了别人的导包流程导致的问题导包官网地址Element UI导包快速入门...

编程日记 2025/6/22 12:25:28

论文阅读：2024 ACL ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs

总目录大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328 Artprompt: Ascii art-based jailbreak attacks against aligned llms https://www.doubao.com/chat/3846685176618754 https://arxiv.org/pdf/2402.11753 https://github…...

编程日记 2025/6/24 21:26:03

项目maven版本不一致导致无法下载

路程：打开一个新项目发现，maven加载不了报错： Error running ‘dataManage [clean]’ No valid Maven installation found. Either set the home directory in the configuration dialog or set the M2_HOME environment variable on your s…...

编程日记 2025/6/24 12:40:22

论文阅读：2024 NeurIPS Group Robust Preference Optimization in Reward-free RLHF

Group Robust Preference Optimization in Reward-free RLHF https://www.doubao.com/chat/3870738843518978 https://arxiv.org/pdf/2405.20304 速览研究动机传统RLHF忽视群体偏好差异，导致模型对少数群体表现不佳，需提升群体鲁棒性。研究问题如…...

编程日记 2025/6/26 4:16:33

数据可视化平台产品介绍及功能特色

数据可视化平台是一款适用于高校教学和各领域企业的零门槛可视化工具，能够解决高校数据分析与可视化类课程教学、实训问题。平台通过浏览器即可访问，无需安装客户端。平台内置公式编辑器与指标构建器，学生可通过四则运算、分组聚合等方式衍生…...

编程日记 2025/6/25 20:54:17

MySQL索引优化、SQL分析与运行原理 - Java架构师面试实战

MySQL索引优化、SQL分析与运行原理 - Java架构师面试实战第一轮提问面试官：马架构，请问您对MySQL的B树索引有什么理解？ 马架构：B树是一种平衡多路查找树，所有的数据节点都存储在叶子节点上。相比于B树&#xff0c…...

编程日记 2025/6/25 22:23:55

C++学习：六个月从基础到就业——STL：函数对象与适配器

C学习：六个月从基础到就业——STL：函数对象与适配器本文是我C学习之旅系列的第二十九篇技术文章，也是第二阶段"C进阶特性"的第八篇，主要介绍C STL中的函数对象与适配器。查看完整系列目录了解更多内容。引言在前面的…...

编程日记 2025/6/24 7:16:10

Linux基础篇、第四章_02磁盘及分区管理fdisk 和 gdisk

题目：Linux 磁盘及分区管理版本号: 1.0,0 作者: 老王要学习日期: 2025.04.25 适用环境: Centos7 文档说明本教程适用于 Centos7 环境，详细介绍 Linux 磁盘及分区管理操作。包含虚拟机添加磁盘的关机与开机添加方法、MBR 和 GPT 两种分区方式特点、…...

编程日记 2025/6/25 1:22:23

火山云的市场竞争

火山云是字节跳动旗下的云计算服务，对吧？那它的竞争对手应该包括国内外的大型云服务提供商。首先，国际市场上，像AWS、Azure、Google Cloud这些巨头肯定是大头。国内的话，阿里云、腾讯云、华为云这些应该都是主要的竞争…...

编程日记 2025/6/27 2:32:58

创建型设计模式之：简单工厂模式、工厂方法模式、抽象工厂模式、建造者模式和原型模式

创建型设计模式之：简单工厂模式、工厂方法模式、抽象工厂模式、建造者模式和原型模式 （一）简单工厂模式简单工厂模式将对象的实例化过程封装到一个工厂类中，根据输入的条件创建不同类型的对象。角色划分： 抽象产品…...

编程日记 2025/6/27 2:24:54

【Linux内核设计与实现】第三章——进程管理01

文章目录 1. 引言2. 进程&线程——概念3. 进程控制块/进程描述符(PCB)4. 进程内核栈（Kernel Stack）4.1. 进程内核栈的定义4.2. thread_info 体系结构相关进程描述4.3. 定位进程描述符(task_struct)和内核栈以及内核栈指针的问题 5. 进程 ID&#xff…...

编程日记 2025/6/23 12:45:46

正大模型视角下的市场结构判断逻辑

正大模型视角下的市场结构判断逻辑在多数交易策略中，结构识别往往先于方向判断。以正大的数据研判风格为例，其核心逻辑是：价格行为不能孤立解读，必须结合时间与成交效率来判断当前结构的有效性。例如，一个上涨过程&…...

编程日记 2025/6/20 9:31:25

4.25学习——文件上传之00截断

继昨天学习的基础文件上传内容，进一步学习文件上传的绕过方式 00截断绕过原理：00截断是操作系统层的漏洞，由于操作系统是C语言或汇编语言编写的，这两种语言在定义字符串时，都是以\0（即0x00）作…...

编程日记 2025/5/27 13:29:41

黑马Redis（三）黑马点评项目

优惠卷秒杀一、全局唯一ID 基于Redis实现全局唯一ID的策略： Component RequiredArgsConstructor public class RedisIdWorker {private static final Long BEGIN_TIMESTAMP1713916800L;private static final int COUNT_BITS 32;Resourceprivate final StringRed…...

编程日记 2025/6/23 18:13:11

dedecms织梦arclist标签noflag属性过滤多个参数

织梦dedecms系统arclist标签noflag属性默认是只能过滤一个参数，比如过滤推荐是noflagc，过滤有图片的文章是noflagc，在模板制作过程中，有时候我们为了seo和避免重复，需要过滤多个参数。今天小编就来跟大家讲讲织梦dedec…...

编程日记 2025/6/23 11:30:22

Jira、PingCode、Redmine等18款缺陷管理工具对比评测

本文主要介绍了以下：1. PingCode; 2. Worktile; 3. Jira; 4. Bugzilla; 5. TAPD; 6. 码云; 7. Redmine; 8. Trac; 9. 蓝鲸智云; 10. 阿里云效等等18款缺陷管理工具。在现代软件开发和项目管理中，缺陷管理工具扮演着至关重要的角色。随着企业对软件质量的…...

编程日记 2025/5/17 20:12:00

京东以图搜图（拍立淘）API接口返回参数详解

京东以图搜图（拍立淘）API接口的返回参数通常以结构化JSON格式呈现，涵盖商品基础信息、相似度评分、库存状态及扩展字段，以下为关键参数详解及使用建议： 一、核心返回参数解析状态标识类 status：请求状态…...

编程日记 2025/6/22 11:28:53

LSTM+KNN - 多元数据异常检测！

大家好！我是我不是小 upper~ 今天想和大家分享一个超实用的案例：如何通过 LSTM 与 KNN 实现多元数据异常检测。想象一下，在工厂的智能化监控场景中，各类传感器实时采集着温度、湿度、压力等海量数据。我们的目标，就是从中精准识别出设备潜在故障等异常情况。 LSTM 作为时…...

编程日记 2025/6/25 8:16:54

OpenHarmony之电源管理子系统公共事件定义

OpenHarmony之电源管理子系统公共事件定义电源管理子系统面向应用发布如下系统公共事件，应用如需订阅系统公共事件，请参考公共事件接口文档。 COMMON_EVENT_BATTERY_CHANGED 表示电池充电状态、电平和其他信息发生变化的公共事件的动作。值&#x…...

编程日记 2025/6/24 19:38:34

angular 实现可编辑可选择复制的表格

这个实现的核心就是ag-grid 当然有类似的库就不必多说，React, Vue和纯h5类似。简单贴一下代码 1.首先是h5部分，就一个id为supply-chain-material-grid-table的div，记住要设置高度 <div class"dki-supply-chain-page-body">…...

编程日记 2025/6/26 20:50:58

组织用户数统计实现

# 完整的组织用户数统计实现完整的组织用户数统计实现，包括模拟SQL查询、完整的Java代码实现以及详细解释。 ## 1. 模拟SQL查询假设我们有一个组织表(organization)和用户表(user)，以下是模拟查询SQL： sql -- 获取各组织及其用户数量&a…...

编程日记 2025/6/25 9:32:44

天机学堂day10作业，完善兑换优惠券功能

UserCouponServiceImpl /*** 兑换码兑换优惠券* param code*/TransactionalOverridepublic void exchangeCoupon(String code) {//1、校验code是否为空if (StringUtils.isBlank(code)) {throw new BadRequestException("非法参数！");}//2、解析兑换码&…...

编程日记 2025/6/23 14:30:00

Python编程的真谛：超越语法，理解编程本质

你是否也曾陷入这样的误区：学了无数的 Python 语法、刷了几十套题，写起代码却仍然卡顿、举步维艰？这时候你才发现，真正阻碍进步的，从不是语法，而是你对“编程本质”的理解。如果你只是死记硬背Python的语…...

编程日记 2025/6/24 18:52:03

C语言函数补充

目录 static和extern函数 1.static和extern函数 static和extern都是C语言中的关键字 static 是静态的的意思，可以用来: - 修饰局部变量- 修饰全局变量- 修饰函数 extern 是用来声明外部符号的。在讲解 static 和 extern 之前再讲一下: 作用域和生命周期。 …...

编程日记 2025/6/25 22:15:33

【AI图像创作变现】04实操路径—插图/绘本/创意图集

引言如果说头像是“一个角色的起点”，那么插图、绘本和图集就是“这个角色能走多远”。相比于头像这种单图任务，插图类创作更强调批量性、叙事性与风格统一性，它既可以承载故事，也可以构成一套完整的内容产品结构。这类任务特…...

编程日记 2025/6/24 20:41:55

Lesar: 面向 Lustre/Scade 语言的形式化模型检查工具

在《同步反应式系统》的第一课中，介绍了同步数据流语言 Lustre 生态中的形式化模型检查器 Lesar 的用法。Lesar 可对 lustre v4 语言以及 Scade 语言中部分数据流核心特性进行模型检查。 Lesar 介绍 Lesar 是 Verimag 研发维护的形式化方法模型检查工具。该工具的理…...

编程日记 2025/6/1 17:53:06

告别 “幻觉” 回答：RAG 中知识库与生成模型的 7 种对齐策略

一、引言大语言模型（LLM）在文本生成领域展现出惊人能力，但 “幻觉” 问题（生成虚构或偏离事实的内容）始终是落地应用的核心挑战。检索增强生成（RAG）通过将外部知识库与 LLM 结合，形…...

编程日记 2025/6/25 7:45:26

【Web应用服务器_Tomcat】一、Tomcat基础与核心功能详解

在 Java Web 应用开发领域，Apache Tomcat 是一座不可或缺的基石。作为一款开源、轻量级的 Servlet 容器和 Web 服务器，Tomcat 以其稳定可靠、易于部署和高度可定制性，被广泛应用于各类 Web 应用的部署与运行。一、Tomcat 简介 Tomcat 是…...

编程日记 2025/5/10 17:01:00

Cesium实现地形可视域分析

Cesium实现可视化分析一、地形可视域主要实现技术（Ray + 地形碰撞检测） Cesium 本身的 Ray 类可以用来执行非常精确的射线检测，我们可以结合地形高度（sample）来逐点检测光线是否与 terrain 相交，从而判断是否可见。 1.1 优势实时判断每条射线是否被 terrain 遮挡地形…...

编程日记 2025/6/20 14:40:01

Java—— 常见API介绍第五期

JDK8以后新增的时间相关类 Date类ZoneId：时区Instant：时间戳ZoneDateTime：带时区的时间日期格式化类 SimpleDateFormat DateTimeFormatter：用于时间的格式化和解析日历类 Calendar LocalDate：年、月、日LocalTime…...

编程日记 2025/6/24 19:53:50

ViewPager FragmentPagerAdapter在系统杀死应用后重建时UI不刷新的问题

解决方案通过重写getItemId方法，返回Fragment的hashCode： Override public long getItemId(int position) {/*** 恢复状态重建时，新的 Fragment 不刷新UI。* 原因：instantiateItem 中通过 mFragmentManager.findFragmentByTag(…...

编程日记 2025/6/25 18:04:07

第3讲、大模型如何理解和表示单词：词嵌入向量原理详解

1. 引言大型语言模型（Large Language Models，简称LLM）如GPT-4、Claude和LLaMA等近年来取得了突破性进展，能够生成流畅自然的文本、回答复杂问题、甚至编写代码。但这些模型究竟是如何理解人类语言的？它们如何表示和处…...

编程日记 2025/6/26 1:23:05

关于STM32f1新建工程

创建文件夹首先创建一个存放工程的文件夹，建议建立在D，E盘新建工程在kiel5里面找到刚刚建立的文件夹，然后在此文件夹里面新建一个文件夹用来存放本次工程，文件夹可以根据工程内容所编写，然后给自己工程也就是…...

编程日记 2025/6/24 11:10:36

Linux：进程间通信---匿名管道

文章目录 1. 进程间通信1.1 什么是进程间通信？1.2 为什么进程要进行进程间通信？1.3 怎么实现进程间通信？ 2. 匿名管道2.1 匿名管道的原理2.2 匿名管道的系统接口2.3 匿名管道的使用2.4 匿名管道的运用场景序：在上一篇文章中我们知…...

编程日记 2025/6/26 20:36:09

python代做推荐系统深度学习知识图谱c#代码代编神经网络算法创新

以下是针对推荐系统、深度学习、知识图谱和神经网络算法创新的代码框架及开发建议，适用于C#和Python的跨语言协作项目。以下内容分为几个部分，涵盖技术选型、代码示例和创新方向。 1. 推荐系统（Python C#） Python部分&#xff0…...

编程日记 2025/6/26 23:10:16

【动手学大模型开发】VSCode 连接远程服务器

Visual Studio Code（VSCode）是一款由微软开发的免费、开源的现代化代码编辑器。它以其轻量级、高性能和广泛的编程语言支持而受到开发者的青睐。VSCode 的核心特点包括： 跨平台：支持 Windows、macOS 和 Linux 操作系统。扩展市场…...

编程日记 2025/6/21 11:35:59

PostgreSQL 漏洞信息详解

PostgreSQL 漏洞信息详解 PostgreSQL 作为一款开源关系型数据库，其安全漏洞会被社区及时发现和修复。以下是 PostgreSQL 漏洞相关的重要信息和资源。一、主要漏洞信息来源 1. 官方安全公告 PostgreSQL 安全信息页面：https://www.postgresql.org/sup…...

编程日记 2025/5/24 21:28:12

华为L410上制作内网镜像模板：在客户端配置模板内容

华为L410上制作内网镜像模板：在客户端配置模板内容在本教程中，我们将继续在华为L410上配置内网镜像模板，具体介绍如何在客户端设置以便于在首次开机时自动安装软件。我们将主要使用WeChat作为示例。 1. 制作镜像模板，开启 rc.l…...

编程日记 2025/6/20 10:23:53

分布式队列对消息语义的处理

在分布式系统中，消息的处理语义（Message Processing Semantics）是确保系统可靠性和一致性的关键。有三种语义： 在分布式系统中，消息的处理语义（Message Processing Semantics）是确保系统可靠性和…...

编程日记 2025/6/22 1:23:32

《免费开放”双刃剑：字节跳动Coze如何撬动AI生态霸权与暗涌危机？》

战略动机分析降低技术门槛为数据采集接口 Coze平台宣称**“30秒无代码生成AI Bot”，大幅降低了企业开发AI应用的技术门槛。任何不懂编程的业务人员都可以通过可视化流程和提示词，在半分钟内搭建聊天机器人或智能代理。这种极低门槛意味着更多企业和个人…...

编程日记 2025/6/25 10:34:16

AI 开发工具提示词集体开源！解锁 Cursor、Cline、Windsurf 等工具的核心逻辑

✨ 前言：提示词，AI 编程工具的灵魂随着大模型编程能力的迅速提升，AI 编程工具如雨后春笋般涌现，涵盖了从代码编辑器（如 Cursor、Windsurf、Cline）到应用生成服务（如 Lovable、Bolt.new、V0&am…...

编程日记 2025/6/25 1:52:09

MYSQL 常用字符串函数和时间函数详解

一、字符串函数 1、CONCAT(str1, str2, …) 拼接多个字符串。 SELECT CONCAT(Hello, , World); -- 输出 Hello World2、SUBSTRING(str, start, length) 或 SUBSTR() 截取字符串。 SELECT SUBSTRING(MySQL, 3, 2); -- 输出 SQ3、LENGTH(str) 与 CHAR_LENGTH…...

编程日记 2025/6/22 1:55:04

Ubuntu 下 Nginx 1.28.0 源码编译安装与 systemd 管理全流程指南

一、环境与依赖准备为确保编译顺利，我们首先更新系统并安装必要的编译工具和库： sudo apt update sudo apt install -y build-essential \libpcre3 libpcre3-dev \zlib1g zlib1g-dev \libssl-dev \wgetbuild-essential：提供 gcc、make 等基…...

编程日记 2025/6/25 17:32:38

线程怎么创建？Java 四种方式一网打尽

🚀 Java 中线程的 4 种创建方式详解创建方式实现方式是否推荐场景说明1. 继承 Thread 类class MyThread extends Thread❌ 不推荐简单学习、单线程场景2. 实现 Runnable 接口class MyRunnable implements Runnable✅ 推荐更适合多线程共享资源3. 实现 Callable 接…...

编程日记 2025/5/29 18:09:42

高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题！

目录思路"情境对象问题"型课题选题的类型有哪些呢？这要从课题题目的构成说起。通过对历年来国家社会科学基金立项项目进行分析，小编发现，课题选题类型非常丰富，但一般是围绕限定词、研究对象和研究问题进行不同的组…...

编程日记 2025/6/25 2:07:27

【GCC bug】libstdc++.so.6: version `GLIBCXX_3.4.29‘ not found

在 conda 环境安装 gcc/gxx 之后，运行开始遇到了以下的报错 File "/mnt/data/home/xxxx/miniforge3/envs/GAGAvatar/lib/python3.12/site-packages/google/protobuf/internal/wire_format.py", line 13, in <module>from google.protobuf import de…...

编程日记 2025/6/25 7:43:58