当前位置：首页 > news >正文

学习Python网络爬虫的实例

news 来源：原创 2025/8/18 16:30:33

30岁程序员学习Python的第二天之网络爬虫的练习实例

爬取软科2025年中国大学排名

思路：
1、百度查到到网页地址：https://www.shanghairanking.cn/rankings/bcur/2025
2、编写爬取代码，具体步骤分3步，第一步通过requests库爬取网页全部信息。第二步将爬取的网页信息通过BeautifulSoup库进行解析，确定名单的标签组成结构，并将名单主体内容按数组的方式进行存储。第三步将数组内容按格式打印输出。

import bs4
import requests
from bs4 import BeautifulSoup#获取html页面
def get_html(url):try:r = requests.get(url,timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""#查到HTML中大学排名名单
def findUnivList(ulist,html):soup = BeautifulSoup(html, 'html.parser')for td in soup.find('tbody').children:if isinstance(td, bs4.element.Tag):tds = td('td')ulist.append([tds[0].div.string.replace(' ','').replace('\n',''), tds[1].find_all('span',attrs='name-cn')[0].string.replace(' ','').replace('\n',''), tds[2].text.replace(' ','').replace('\n',''),tds[4].string.replace(' ','').replace('\n','')])#将大学排名榜单进行打印
def printUnviList(ulist,num):tplt = "{:^10}\t{:^10}\t{:^10}\t{:^10}"print(tplt.format("排名","学校名称","省市","总分",chr(12288)))for i in range(num):u = ulist[i]print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))if __name__ == '__main__':#2025年国内大学排名网站ulist=[]url = "https://www.shanghairanking.cn/rankings/bcur/2025"html = get_html(url)findUnivList(ulist,html)printUnviList(ulist,20)

运行结果：
在这里插入图片描述
总结：在编写代码的过程中，遇到的第一个问题是程序提示TypeError: unsupported format string passed to NoneType.__format__错误，经过百度核查发现是，格式化输出时，由于该位置对应的内容为None，程序就会提示该错误。一层一层分析，发现造成该报错的实际原因是，解析获取大学所属省市时，用的tds[2].string的形式，由于省市所在的td标签中除了具体省市外还存在注释内容，导致string不知道该返回那个数据而将None返回。

相关文章：

学习Python网络爬虫的实例

30岁程序员学习Python的第二天之网络爬虫的练习实例爬取软科2025年中国大学排名思路： 1、百度查到到网页地址：https://www.shanghairanking.cn/rankings/bcur/2025 2、编写爬取代码，具体步骤分3步，第一步通过requests库爬取网…...

编程日记 2025/8/18 16:30:33

雨云游戏云MCSM面板服使用教程我的世界Forge服务端开服教程

雨云 - 新一代云服务提供商雨云面板服目前支持一键开服的游戏有：Minecraft Java版、Minecraft 基岩版、泰拉瑞亚、饥荒，还提供纯Java/Linux环境（Docker），方便开自己开其他游戏服。其中Minecraft Java版支持一键开…...

编程日记 2025/8/17 10:04:44

关于loadstartcode使用

loadstartcode 命令用于从 TFTP 服务器下载一个名为 startcode 的文件。这个命令通常用于将启动代码（如引导加载程序或内核启动映像）从 TFTP 服务器加载到设备内存中。它是嵌入式设备和网络设备（如路由器）常见的命令，通…...

编程日记 2025/8/17 10:24:25

Linux死锁实验分析与总结

三、实验结果截图及分析 1. 实验代码 #include <pthread.h> #include <stdio.h> #include <unistd.h>pthread_mutex_t mutex1 PTHREAD_MUTEX_INITIALIZER; pthread_mutex_t mutex2 PTHREAD_MUTEX_INITIALIZER;void* producer(void* arg) {while (1) {pth…...

编程日记 2025/8/17 8:27:22

【计网】ipconfig、ping、arp、tracert

目录 ipconfig ping arp tracert cmd ipconfig ipcofig -all IPv4 物理地址 ping 检测网络连通情况，分析网络速度根据域名得到服务器IP 根据TTL判断对方所使用的操作系统以及数据包经过路由器数量 byte数据包大小 time响应时间 TTLDNS记录在DNS服务器上存在…...

编程日记 2025/8/17 8:27:43

当手机开始预判你的下一步：一场正在颠覆生活的AI静默革命

当手机开始预判你的下一步：一场正在颠覆生活的AI静默革命深夜加班时，手机自动调暗屏幕亮度；出差途中，智能音箱提前预定好常去的酒店；打开购物APP，推荐清单里躺着昨天刚在聊天中提到的商品——这些场景背后…...

编程日记 2025/8/17 8:28:59

【SDRS】面向多模态情感分析的情感感知解纠缠表征转移

abstract 多模态情感分析（MSA）旨在利用多模态的互补信息对用户生成的视频进行情感理解。现有的方法主要集中在设计复杂的特征融合策略来整合单独提取的多模态表示，忽略了与情感无关的信息的干扰。在本文中，我们提出将单模表征分解为情感特定特征和情感独立特征，并将前者融…...

编程日记 2025/8/18 10:16:32

C++ 中的静态链接和动态链接详解

目录一、什么是链接？ 链接分为两类： 二、静态链接（Static Linking） 特点： 优点： 缺点： 使用方式： 三、动态链接（Dynamic Linking） 特点： 优…...

编程日记 2025/8/17 8:27:36

426、N叉树的层序遍历

输入检查： if not root:return [] 如果根节点为空，直接返回空列表初始化： result [] queue collections.deque([root]) result用于存储最终结果queue初始化包含根节点，使用双端队列实现主循环： while queue:leve…...

编程日记 2025/8/18 14:21:49

雅思阅读--重点短语/句式39个

文章目录 1. according to2. regardless of3. make/keep/leave + n. + adj.leave us stronger1. according to “according to（根据）”。德国著名数学家 David Hilbert（大卫希尔伯特）说过： Mathematics is a game played according to certain simple rules with meanin…...

编程日记 2025/8/17 9:51:11

探索开源大模型体系：当今AI的引领者

目录 1. Hugging Face Transformers 2. OpenAI GPT 3. DeepSpeed 4. Megatron-LM 5. AllenNLP 总结在当今人工智能的迅猛发展中，大模型（Large Model）已经成为了AI领域的核心。与传统的机器学习模型相比，大模型在自然语言处…...

编程日记 2025/8/17 8:37:14

n8n系列（1）初识n8n：工作流自动化平台概述

1. 引言随着各类自动化工具的涌现，n8n作为一款开源的工作流自动化平台，凭借其灵活性、可扩展性和强大的集成能力，正在获得越来越多技术团队的青睐。本文作为n8n系列的开篇，将带您全面了解这个强大的自动化平台，探索其起源、特性以及与其他工具的差异，帮助您判断n8n是否…...

编程日记 2025/8/18 13:27:07

n8n 与智能体构建：开发自动化 AI 作业的基础平台

n8n 是一款开源的自动化流程构建平台，通过其模块化节点系统，开发者可以快速实现跨平台的任务编排、数据集成与智能交互。当 n8n 与大型语言模型（LLM）结合时，就能构建出具备感知、推理、执行能力的 AI 智能体&#xff0…...

编程日记 2025/8/17 2:09:02

大模型主干

1.什么是语言模型骨架LLM-Backbone,在多模态模型中的作用？ 语言模型骨架（LLM Backbone）是多模态模型中的核心组件之一。它利用预训练的语言模型（如Flan-T5、ChatGLM、UL2等）来处理各种模态的特征，进行语义…...

编程日记 2025/8/17 8:29:47

大模型在宫颈癌诊疗全流程预测与应用研究报告

目录一、引言 1.1 研究背景与意义 1.2 研究目的与创新点二、大模型预测宫颈癌术前风险 2.1 术前数据收集与预处理 2.2 预测模型构建与算法选择 2.3 术前风险预测指标与案例分析三、大模型辅助制定术中方案 3.1 术中风险动态监测与预测 3.2 基于预测的手术方案优化…...

编程日记 2025/8/17 9:15:03

Diffusion Transformer（DiT）

扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。 DiT的架构：DiT架构基于Latent Diffu…...

编程日记 2025/8/17 8:37:28

多模态理论知识

说一下多模态的定义? 多模态是指使用多种不同类型的媒体和数据输入，例如文本、图像、音频、视频等，它们之间存在关联或者对应关系。这些不同类型的媒体和数据输入可以在不同的层面上传达信息并表达意义。多模态数据的处理需要融合不同类型的信息&…...

编程日记 2025/8/17 9:23:23

Nginx 安全防护与HTTPS部署

目录一、核心安全配置 1、隐藏版本号 2、限制危险请求方法 3、请求限制（CC攻击防御） （1）使用Nginx的limit_req模块限制请求速率 （2）压力测试验证 4、防盗链 （1）修改 Window…...

编程日记 2025/8/17 9:08:02

Python爬虫+代理IP+Header伪装：高效采集亚马逊数据

1. 引言在当今大数据时代，电商平台（如亚马逊）的数据采集对于市场分析、竞品监控和价格追踪至关重要。然而，亚马逊具有严格的反爬虫机制，包括IP封禁、Header检测、验证码挑战等。为了高效且稳定地采集亚马逊数据&am…...

编程日记 2025/8/17 10:36:44

效率提升利器：解锁图片处理新姿势

今天我给大家分享一款超实用的图片压缩软件，好用程度超出想象！该软件身形 “轻盈”，仅 648KB，启动后能迅速上手。 01 软件介绍这款软件就是PicSizer，具有以下特点： 支持windows系统体积小，绿…...

编程日记 2025/8/17 10:52:06

【强化学习】什么是强化学习？2025

1. 强化学习简介一句话总结：强化学习（Reinforcement Learning, RL）是一种机器学习范式，强调智能体（agent）通过与环境（environment）的交互，以试错（trial‑an…...

编程日记 2025/8/17 3:59:49

富文本编辑器的第三方库ProseMirror

如果0-1的开发一个富文本编辑器，成本还是非常高的，里面很多坑要踩，市面上很多库可以帮助我们搭建一个富文本编辑器，ProseMirror就是其中最流行的库之一。认识ProseMirror ProseMirror 提供了一套工具和概念，用于构建…...

编程日记 2025/8/17 9:23:07

理解IP四元组与网络五元组：网络流量的“身份证”

理解IP四元组与网络五元组：网络流量的“身份证” 在现代网络通信中，IP四元组和网络五元组是流量识别、连接追踪、安全策略等核心的基础概念。理解这些“元组”不仅能够帮助我们更好地设计网络架构、排查故障，还能为安全与运维策略的落地提供…...

编程日记 2025/8/17 10:19:24

ROS2：话题通信CPP语法速记

目录发布方实现流程重点代码订阅方实现流程重点代码参考代码示例发布方代码订阅方代码发布方实现流程包含头文件（rclcpp.hpp与[interfaces_pkg].hpp）初始化ROS2客户端（rclcpp::init）自定义节点类(创建发布实例，伺…...

编程日记 2025/8/17 8:29:27

码蹄集——直线切平面、圆切平面

MT1068 直线切平面思路： 则 #include<bits/stdc.h> using namespace std;int main( ) {int n;cin>>n;cout<<n*(n1)/21;return 0; } MT1069圆切平面 n个圆最多把平面分成几部分？输入圆的数量N，问最多把平面分成几块。比如…...

编程日记 2025/8/17 8:31:58

2025年游戏行业DDoS攻防指南：智能防御体系构建与实战策略

2025年，游戏行业在全球化扩张与技术创新浪潮中，正面临前所未有的DDoS攻击威胁。攻击规模从T级流量到AI驱动的精准渗透，攻击手段从传统网络层洪水到混合型应用层打击，防御体系已从“被动应对”转向“智能博弈”。本文将结合最新攻击…...

编程日记 2025/8/16 21:20:02

LightGBM算法原理及Python实现

一、概述 LightGBM 由微软公司开发，是基于梯度提升框架的高效机器学习算法，属于集成学习中提升树家族的一员。它以决策树为基学习器，通过迭代地训练一系列决策树，不断纠正前一棵树的预测误差，逐步提升模型的预测精度&a…...

编程日记 2025/8/17 9:30:53

Nvidia发布Parakeet V2，一款新的开源自动语音识别模型

Nvidia 发布 Parakeet V2，一款新的开源自动语音识别 AI，核心亮点：一秒钟转录一小时的音频；Open ASR 上的顶级模型，击败了 ElevenLabs 的 Scribe 和 OpenAI 的 Whisper；6.05% 的单词错误率；CC-BY…...

编程日记 2025/8/17 8:39:18

浅析MySQL 的触发器（Trigger）和 **存储过程（Stored Procedure）原理及优化建议

MySQL 的触发器（Trigger）和存储过程（Stored Procedure）是数据库中用于实现业务逻辑的重要机制，它们的原理和使用方式不同，适用于不同的场景。一、基本概念与原理特性触发器（Trigger）存储过程（Stored Procedure）定义在表上定义，当特定事件（INSERT/UPDATE/DELE…...

编程日记 2025/8/17 10:12:11

网页版部署MySQL + Qwen3-0.5B + Flask + Dify 工作流部署指南

1. 安装MySQL和PyMySQL 安装MySQL # 在Ubuntu/Debian上安装 sudo apt update sudo apt install mysql-server sudo mysql_secure_installation# 启动MySQL服务 sudo systemctl start mysql sudo systemctl enable mysql 安装PyMySQL pip install pymysql 使用 apt 安装 My…...

编程日记 2025/8/17 8:29:53

人工智能与智能合约：如何用AI优化区块链技术中的合约执行？

引言：科技融合的新风口区块链和人工智能，是当前最受瞩目的两大前沿技术。一个以去中心化、可溯源的机制重构信任体系，另一个以智能学习与决策能力重塑数据的价值。当这两项技术相遇，会碰撞出什么样的火花？ 智能合约作…...

编程日记 2025/8/17 13:22:53

如何提升丢包网络环境下的传输性能：从 TCP 到 QUIC，再到 wovenet 的实践

在现代互联网环境中，稳定、可靠的网络连接对各种在线应用至关重要。然而，理想情况往往难以实现，特别是在以下一些典型场景中，网络丢包（packet loss） 常常发生： 一、常见的网络丢包场景跨境通…...

编程日记 2025/8/17 10:23:56

Python 中的数据结构介绍

Python 是一种功能强大的编程语言，它内置了多种数据结构，以便用户能够方便、高效地存储、处理和访问数据。数据结构是组织和存储数据的方式，不同的数据结构适用于不同的应用场景。掌握 Python 中的基本数据结构，可以使代码更加简洁…...

编程日记 2025/8/16 15:41:34

数据中台架构设计

数据中台分层架构数据采集层数据源类型：业务系统（ERP、CRM）、日志、IoT 设备、第三方 API 等。采集方式： 实时采集：Kafka、Flink CDC（变更数据捕获）。离线采集：Sqoop、DataX&…...

编程日记 2025/8/17 8:28:17

基于SpringBoot网上书店的设计与实现

pom.xml配置文件 1. 项目基本信息(没什么作用) <groupId>com.spring</groupId>  <artifactId>boot</artifactId>  <version>0.0.1-SNAPSHOT</ve…...

编程日记 2025/8/17 8:27:37

Vue3路由模式为history，使用nginx部署上线后刷新404的问题

一、问题在使用nginx部署vue3的项目后，发现正常时可以访问的，但是一旦刷新，就是出现404的情况二、解决方法 1.vite.config.js配置在vite.config.js中加入以下配置 export default defineConfig(({ mode }) > {const isProduction …...

编程日记 2025/8/17 10:12:20

从单机到生产：Kubernetes 部署方案全解析

🚀 从单机到生产：Kubernetes 部署方案全解析 🌐 Kubernetes（k8s）是当今最流行的容器编排系统，广泛应用于开发、测试和生产环境。但不同的使用场景对集群规模、高可用性和资源需求有不同的要求。本文将带你…...

编程日记 2025/8/18 13:28:00

redis大全

1 redis安装和简介基于ubuntu系统的安装 sudo apt update sudo apt install redis##包安装的redis 没有默认配置文件启动 redis-server /path/to/your/redis.confredis-cliRedis 默认是没有设置用户和密码的，即可以无密码访问设置密码的方法：可以通…...

编程日记 2025/8/17 8:38:27

C#经典算法面试题

C#经典算法面试题递归算法 C#递归算法计算阶乘的方法一个正整数的阶乘（factorial）是所有小于及等于该数的正整数的积，并且0的阶乘为1。自然数n的阶乘写作n!。1808年，基斯顿卡曼引进这个表示法。原理：亦即n!=123…(n-1)n。阶乘亦可以递归方式定义：0!=1，n!=(n-1)!n。…...

编程日记 2025/8/17 8:38:15

cephadm部署ceph集群

一、什么是Ceph? ceph是一个统一的、分布式的存储系统，设计初衷式提供较好的性能(io)、可靠性(没有单点故障)和可扩展性(未来可以理论上无限扩展集群规模)，这三点也是集群架构所追求的。 “统一的”:意味着Ceph可以一套存储系统同时提供对象存储、块存…...

编程日记 2025/8/17 8:49:22

c#OdbcDataReader的数据读取

先有如下c#示例代码： string strconnect "DSNcustom;UIDsa;PWD123456;" OdbcConnection odbc new OdbcConnection(strconnect); odbc.Open(); if (odbc.State ! System.Data.ConnectionState.Open) { return; } string strSql "select ID from my…...

编程日记 2025/8/17 8:29:34

代码随想录训练营第十八天| 150.逆波兰表达式求值 239.滑动窗口最大值 347.前k个高频元素

150.逆波兰表达式求值： 文档讲解：代码随想录|150.逆波兰表达式求值视频讲解：栈的最后表演！ | LeetCode：150. 逆波兰表达式求值_哔哩哔哩_bilibili 状态：已做出思路： 这道题目是让我们按照逆波…...

编程日记 2025/8/17 8:57:40

数据中台产品功能介绍

在数字化转型浪潮中，数据中台作为企业数据管理与价值挖掘的核心枢纽，整合分散数据资源，构建统一的数据管理与服务体系。本数据中台产品涵盖数据可视化、数据建设、数据治理、数据采集开发和系统管理五大平台，以丰富且强大的功能模…...

编程日记 2025/8/18 15:35:21

第四章-初始化Direct3D

首先我们需要一个错误检测和抛出机制 inline std::string ToString(const HRESULT& result) {char buffer[256];sprintf_s(buffer, "error code : 0x%08X\n", result);return std::string(buffer); }class MyException : public std::runtime_error { public:My…...

编程日记 2025/8/16 19:06:22

实操3:6位数码管

文章目录文章介绍仿真图原来的仿真代码教学用开发板段选和位选对应引脚思考题实物图文章介绍对应“案例5_3: 6位数码管显示0或者1【静态显示】” 跳转链接要求：实现开发板的6位数码管同时显示0或者1 仿真图原来的仿真代码 #include<reg52.h> // 头文件…...

编程日记 2025/8/17 15:02:39

常识补充（NVIDIA NVLink技术：打破GPU通信瓶颈的革命性互联技术）

文章目录 **引言：为什么需要NVLink？**1. NVLink技术概述1.1 什么是NVLink？1.2 NVLink的发展历程 2. NVLink vs. PCIe：关键对比2.1 带宽对比2.2 延迟对比 3. NVLink的架构与工作方式3.1 点对点直连（P2P）3.2 …...

编程日记 2025/8/18 14:21:57

openwrt 使用quilt 打补丁（patch）

1,引入本文简单解释如何在OpenWRT下通过quilt命令打补丁--patch，也可查看openwrt官网提供的文档 2，以下代码通过编译net-snmp介绍 ① 执行编译命令之后，进入build_dir的net-snmp-5.9.1目录下，改目录即为snmp最终编译的目录了 /…...

编程日记 2025/8/17 9:42:38

NVIDIA Halos：智能汽车革命中的全栈式安全系统

高级辅助驾驶行业正面临一个尴尬的"安全悖论"——传感器数量翻倍的同时，事故率曲线却迟迟不见明显下降。究其原因，当前行业普遍存在三大技术困局： 碎片化安全方案传统方案就像"打补丁"，激光雷达厂商只管点云…...

编程日记 2025/8/17 8:28:40

k8s术语之service

Kubernetes在设计之初就充分考虑了针对容器的服务发现与负载均衡机制，提供了Service资源，并通过kube-proxy配合cloud provider 来适应不同的用于场景。随着kubernetes用户的激增，用户场景的不断丰富，又产生了一些新的负载均衡机制…...

编程日记 2025/8/16 17:54:37

C/C++工程中的Plugin机制设计与Python实现

C/C工程中的Plugin机制设计与Python实现 1. Plugin机制设计概述在C/C工程中实现Plugin机制通常需要以下几个关键组件： Plugin接口定义：定义统一的接口规范动态加载机制：运行时加载动态库注册机制：Plugin向主程序注册自己通信机…...

编程日记 2025/8/17 8:39:58