当前位置：首页 > news >正文

python爬虫实战训练

news 来源：原创 2025/6/19 16:34:02

前言：哇，今天终于能访问豆瓣了，前几天爬太多次了，网页都不让我访问了（要登录）。

先来个小练习试试手吧！

爬取豆瓣第一页（多页同上篇文章）所有电影的排名、电影名称、星级和评分，并用Excel存储

网址是：豆瓣电影 Top 250 大家先自己尝试一下吧，还是简单的，我就直接放代码了

import requests
from bs4 import BeautifulSoup
import pandas as pd
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
r=requests.get("https://movie.douban.com/top250",headers=headers)
if r.status_code!=200:raise Exception("error")
soup=BeautifulSoup(r.text,"html.parser")
datas=[['排名','电影名称','星级','评分']]
articles=soup.find_all('div',class_='item')
for article in articles:rank=article.find('em').get_text()title=article.find('span',class_='title').get_text()    #星级在class属性里,get('class')返回的是列表,因为HTML的class属性可以包含多个类名,因此BeautifulSoup将其存储为一个列表star=article.find('div',class_='bd').find('span').get('class')[0].replace('rating','').replace('-t','') #string的replace方法,只保留数字score=article.find('span',class_='rating_num').get_text()datas.append([rank,title,star,score])
df=pd.DataFrame(datas)
df.to_excel('doubanTop25.xlsx')

easy吧，不过，值得提一下的是，网页带小数星级的表示不准确，4.5星级为45

可以观察到star与score都在同一个div标签下，所以还可以用这两行代码代替

data=article.find('div',class_='bd').find('div').find_all('span')
star,score=data[0]['class'][0],data[1].get_text()      #这样star就是一整个字符

爬取动态加载的网页

我们来试着爬取杭州今年5个月的天气数据（最近都是下雨，有点不喜欢哦，小小的毛毛细雨我觉得还好，但是大暴雨真是什么都不方便）

我们选择不同的月份，可以发现网页的url都没有发生改变，说明这个网页不是静态网页，它是后台异步加载的动态网页，我们表面不能知道它实际的链接的，那么我们需要抓包来进行分析。

右键，点击“检查”，点击“网络”

不要直接点击“重新加载页面”，那会加载大量页面弹出来一大堆。我们再次查询一个月份信息，发现后台会发送一个请求“GetHistoty……”

点击“请求”进去看一下，可以发现“请求URL”与网页上方的url不是同一个，这个就是异步加载的，请求方式为“GET”。复制URL“？”前面的部分（后面是参数部分，都在负载里）为url

复制“请求标头”里的User-Agent，设置为headers用于反爬

这个网站的反爬做的有点好啊，还需要设置headers的Referer属性，也在请求标头里面，复制下来

点击“负载”，前两项是杭州地区有关的编码，都是不会变的，下面两项就是查询的year与month。复制里面的内容为请求的参数（设为字典类型）

点击“响应”，看一下返回的结果是怎样的

可以看到响应是json类型的数据（JSON （JavaScript Object Notation）数据由键值对组成，类似于字典，是一种轻量级的数据交换格式）

点击“预览”，可以看到格式化的展示，将鼠标移到data的值可以看到html的数据（截图没法展示，自行看），可以发现里面有个<table>标签

“响应”里也能看到，不过“预览”可视化更好

表格数据用pandas可以很容易地解析

import requests
import pandas as pd
from io import StringIO
url='https://tianqi.2345.com/Pc/GetHistory'
headers={"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36 Edg/136.0.0.0','Referer':'https://tianqi.2345.com/wea_history/58457.htm'}
params={
"areaInfo[areaId]":58457,
"areaInfo[areaType]":2,
"date[year]":2025,
"date[month]":4
}
r=requests.get(url,headers=headers,params=params)     #请求头和参数都为字典类型
if r.status_code!=200:raise Exception('error')
data=r.json()["data"]         #r.json()方法会将返回的JSON格式的响应解析为一个Python对象(一般为字典/列表),我们取出‘data’键的值(是字符串)
data=StringIO(data)           #使用StringIO对象来包装HTML字符串，可以将字符串视为文件来读取
df=pd.read_html(data)[0]      #pd.read_html()方法可以解析一个网页中所有的表格,返回一个列表,里面的元素是DataFrame的数据结构
print(df)

这样我们单个的网页就爬取成功了，输出如下

我们现在来爬取1-5月的数据，根据前面的分析，只需要将参数改一下就可以了

import requests
import pandas as pd
from io import StringIO
url='https://tianqi.2345.com/Pc/GetHistory'
headers={"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.0.0 Safari/537.36 Edg/136.0.0.0','Referer':'https://tianqi.2345.com/wea_history/58457.htm'}
def craw_weather(month):params={"areaInfo[areaId]":58457,"areaInfo[areaType]":2,"date[year]":2025,"date[month]":month}r=requests.get(url,headers=headers,params=params)     if r.status_code!=200:raise Exception('error')data=r.json()["data"]data=StringIO(data)          df=pd.read_html(data)[0]      return df
lst=[]                #里面是每个月的df数据
for n in range(1,6):df=craw_weather(n)lst.append(df)
datas=pd.concat(lst)        #pd.concat()方法用于将多个Pandas对象(DataFrame或Series)沿着特定轴连接起来,非常灵活,可以用于行连接、列连接等多种操作
datas.to_excel('杭州1-5月天气数据.xlsx',index=False) #Pandas在将df保存为Excel时,会将df的索引作为单独的一列写入文件,设置index=False可以不包含索引列

展示如下，昨天的数据都有了

批量爬取正本小说

整本小说稍微有点多了，我们就拿番茄小说的top1为例吧，爬取前10章的内容，先批量爬取每一章的链接和章节名称，再根据链接爬取正文，最后将文章写到文件中去

网页地址为十日终焉完整版在线免费阅读_十日终焉小说_番茄小说官网

直接检索元素哈，可以发现所有章节都在特定的<div>标签下

文章内容也在特定<div>标签下

代码如下

import requests
from bs4 import BeautifulSoup
def get_urls():root_url='https://fanqienovel.com/page/7143038691944959011'r=requests.get(root_url)if r.status_code!=200:raise Exception('error')soup=BeautifulSoup(r.text,"html.parser")datas=[]n=0for chapter in soup.find('div',class_='chapter').find_all('a'):if n==10:breakdatas.append(['https://fanqienovel.com'+chapter['href'],chapter.get_text()])n+=1return datas
def get_chapter(url):r=requests.get(url)if r.status_code!=200:raise Exception('error')soup=BeautifulSoup(r.text,"html.parser")content=soup.find('div',"muye-reader-content noselect").get_text()return content
for urls in get_urls():url,title=urlswith open(f'{title}.txt','w',encoding='utf-8') as ch:      #写入文件ch.write(get_chapter(url))

展示如下

最后文章字符是乱码，因为网页源代码就是乱码的，主包也尝试了几种方法还是不能正常显示，‘gbk’好像可以显示繁体，也有可能是网页故意设计成反爬的，要特定的解码格式

那爬这个有什么用呢？有些盗版网站不是小广告很多嘛，那你就可以把文章爬下来看咯~

python爬虫实战训练

前言：哇，今天终于能访问豆瓣了，前几天爬太多次了，网页都不让我访问了（要登录）。先来个小练习试试手吧！ 爬取豆瓣第一页（多页同上篇文章）所有电影的排名、电影名称、星…...

编程日记 2025/6/3 5:43:16

探索大型语言模型（LLM）的开源学习路径：mlabonne/llm-course 深度解析

引言：为什么LLM学习需要系统化课程？近年来，大型语言模型（Large Language Models, LLMs）彻底改变了自然语言处理领域。从GPT系列到Llama、Mistral等开源模型，掌握LLM的开发和应用能力已成为技术人员的核心竞争力。然而，LLM技术栈涵盖从理论基础到工程实践的复杂内容，如…...

编程日记 2025/6/4 0:28:09

IDEA怎么汉化idea中文改回英文版

第一步:点击左上角的File，然后选择Setting 第二步：Setting页面选择 Appearance & Behavior，然后展开System Settings，然后选择 Language and Region，进行修改我操作的是2024年的版本 File->Settings -> Ap…...

编程日记 2025/5/17 7:45:56

Flutter目录结构介绍、入口、Widget、Center组件、Text组件、MaterialApp组件、Scaffold组件

目录 1. 创建Flutter项目 1.1使用Android Studio创建Flutter项目 1.2 使用命令行创建Flutter项目 2. Flutter项目介绍 2.1所有代码都在lib目录下编写 2.1 pubspec.yaml 依赖库/图片的引用编辑 3. 运行项目 4. 编写mian.dart文件 4.1 使用MaterialApp 和 Scaffold两个组件…...

编程日记 2025/5/17 7:44:52

C++23 中的 ranges::fold_left：范围折叠算法

文章目录 1. **ranges::fold_left 的基本概念**2. **使用示例**示例 1：计算整数范围的和示例 2：计算字符串范围的连接示例 3：使用自定义函数 3. **与其他折叠算法的比较**4. **为什么需要 ranges::fold_left**5. **总结** 随着 C23 的到来&am…...

编程日记 2025/5/17 7:44:51

Vue2项目created不执行

Vue2项目created不执行设置唯一值 name在 created 调用方法在 watch 中监听路由完整代码示例设置唯一值 name 在 Vue 组件中，name 属性用于标识组件。确保每个组件的 name 属性是唯一的，这有助于在调试和开发过程中更好地识别组件。 export default …...

编程日记 2025/5/17 7:44:50

mysql的not exists走索引吗

在MySQL中，NOT EXISTS子句是否使用索引取决于子查询中关联字段是否建立了合适的索引。以下是关键点总结： 索引的作用： 当子查询的关联字段（例如B.a_id）存在索引（如普通B-tree索引）时&…...

编程日记 2025/5/17 7:44:50

红黑树实现

1.红黑树的概念红黑树是一棵二叉搜索树，他的每个节点增加一个存储位来表示节点的颜色，可以是红丝或者黑色。通过对任何一条从根到叶子的路径上各个节点的颜色进行约束，红黑树确保没有一条路径会比其他路径长出两倍，因而是接近平…...

编程日记 2025/5/24 10:24:31

将已打包好的aar文件，上传到 Coding 的 Maven 仓库

将已打包好的aar文件，上传到 Coding 的 Maven 仓库。在android stuio项目的build.gradle 进行上传。编写代码 plugins {id maven-publish }// 配置要上传的本地 AAR 文件 def aarFile file(D:\\mylibrary-1.0.0.aar)publishing {publications {mavenAar(MavenP…...

编程日记 2025/5/17 7:43:46

海康相机连接测试-极简版

文章目录 1、下载客户端 1、下载客户端海康机器人官网下载软件软件下载地址先下载客户端测试连接按照你的相机的类型选择客户端安装完毕后，确保USB线插的是3.0的端口软件会自动识别相机型号在上方有播放按钮，可以采集图像信息显示...

编程日记 2025/5/26 22:26:52

深入探索：Core Web Vitals 进阶优化与新兴指标

一、INP（Interaction to Next Paint）深度解析 INP 与 FID 的核心差异 • 响应范围：FID仅测量首次输入延迟，而INP跟踪页面生命周期中所有关键交互 • 测量维度：INP综合考虑输入延迟、处理时间和下一帧渲染时间 • 评…...

编程日记 2025/5/17 7:43:45

AI与产品架构设计系列（2）：Agent系统的应用架构与落地实

什么是AI Agent？其在架构中的独特定位 AI Agent（人工智能代理）是一种模拟人类智能行为的自主系统，通常以大型语言模型（LLM）作为核心引擎。简单来说，Agent能够像人一样感知环境信息、规划行动方…...

编程日记 2025/5/17 7:42:43

OpenAI与微软洽谈新融资及IPO，Instagram因TikTok流失四成用户

OpenAI与微软洽谈新融资及IPO 据悉，OpenAI 正与微软洽谈新融资及筹备 IPO，关键问题是微软在 OpenAI 重组后的股权比例。微软已投资超 130 亿美元，双方修订 2019 年合同，微软拟弃部分股权换新技术访问权。OpenAI 上周放弃了有争议转…...

编程日记 2025/5/17 7:42:43

架构篇、第五章_05Jenkins的部署与构建

Linux_架构篇欢迎来到Linux的世界，看笔记好好学多敲多打，每个人都是大神！ 题目：Jenkins的部署与构建版本号: 1.0,0 作者: 老王要学习日期: 2025.05.15 适用环境: Centos7 文档说明本文档围绕 Jenkins 的部署与构建展开&a…...

编程日记 2025/5/17 7:42:41

`ParameterizedType` 和 `TypeVariable` 的区别

在 Java 的泛型系统中，ParameterizedType 和 TypeVariable 是两个不同的类型表示，它们都属于 java.lang.reflect.Type 接口的子接口。两者都在反射（Reflection）中用于描述泛型信息，但用途和含义不同。 🌟 一…...

编程日记 2025/5/17 7:41:39

HTML 中的 input 标签详解

HTML 中的 input 标签详解一、基础概念 1. 定义与作用 HTML 中的 <input> 标签是表单元素的核心组件，用于创建各种用户输入字段。作为一个空标签（没有闭合标签），它通过 type 属性来决定呈现何种输入控件，是实…...

编程日记 2025/5/26 6:15:38

从 Vue3 回望 Vue2：性能优化内建化——从黑盒优化到可控编译

文章目录从 Vue3 回望 Vue2：性能优化内建化——从黑盒优化到可控编译1. 引言2. Vue2 的性能优化机制解析3. Vue3 的编译期优化能力拆解3.1 静态提升（Static Hoisting）3.2 Patch Flag 精确标记3.3 Block Tree （块级更新边界&#…...

编程日记 2025/5/17 7:40:36

HOW - React NextJS 的同构机制

文章目录一、什么是 Next.js 的同构？二、核心目录结构三、关键函数：如何实现不同渲染方式？1. getServerSideProps —— 实现 SSR（每次请求动态获取数据）2. getStaticProps getStaticPaths —— 实现 SSG（…...

编程日记 2025/5/17 7:40:36

电动汽车直流快充充电桩AEV200-DC240M4的详细介绍

电动汽车直流快充充电桩AEV200-DC240M4产品简介 AEV系列为全新一代分体式电动汽车直流恒功率快速充电机。系统内置 30/40kW 恒功率充电模块，最高输出电压1000V，满足各类车辆充电需求。模块采用隔离风道灌胶设计 ，可靠性高 ，可应…...

编程日记 2025/5/17 7:40:35

YOLOv7训练时4个类别只出2个类别

正常是4个类别： 但是YOLOv7训练完后预测总是只有两个类别： 而且都是LFM和SFM 我一开始检查了下特征图大小，如果输入是640*640的话，三个尺度特征图是80*80,40*40,20*20；如果输入是416*416的话，三个尺度特征…...

编程日记 2025/5/17 7:40:34

数据赋能（224）——数据与业务协同——数据动态调整原则

概述数据动态调整原则不仅能帮助组织迅速响应业务需求和技术环境的变化，还能确保数据应用始终与最新的数据处理技术、算法和工具保持同步。通过实施数据动态调整，企业能够更准确地捕捉业务趋势，优化数据质量，以及提高资源利用效…...

编程日记 2025/5/17 7:40:33

Vulfocus靶场-文件上传-3

WSO2 文件上传 （CVE-2022-29464） WSO2是一家成立于 2005 年的开源技术提供商。它提供了一个企业平台，用于在本地和整个 Internet 上集成应用程序编程接口(API)、应用程序和 Web 服务。某些 WSO2 产品允许无限制的文件上传和远程代码执行。…...

编程日记 2025/5/17 7:39:29

(for 循环) VS (LINQ) 性能比拼 ——c#

在大多数情况下，for 循环的原始性能会优于 LINQ，尤其是在处理简单遍历、数据筛选或属性提取等场景时。这是由两者的实现机制和抽象层次决定的。以下是具体分析： 一、for 循环与 LINQ 的性能差异原因 1. 抽象层次与执行机制 for 循环&#…...

编程日记 2025/5/17 7:39:28

自学嵌入式 day19-数据结构链表

二、线性表的链式存储 1.特点： （1）线性表链式存储结构的特点是一组任意的存储单位存储线性表的数据元素，存储单元可以是连续的，也可以不连续。可以被存储在任意内存未被占用的位置上。 （2）所以…...

编程日记 2025/5/17 7:39:27

一发入魂：极简解决 SwiftUI 复杂视图未能正确刷新的问题（中）

概述各位似秃非秃小码农们都知道，在 SwiftUI 中视图是状态的函数，这意味着状态的改变会导致界面被刷新。但是，对于有些复杂布局的 SwiftUI 视图来说，它们的界面并不能直接映射到对应的状态上去。这就会造成一个问题：状态的改变并没有及时的引起 UI 的变化。如上图所示…...

编程日记 2025/5/17 7:39:26

UI自动化测试详解

🍅 点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快 1、about自动化测试定义：把人为驱动的测试转化为机器执行的一种过程，重点在于持续集成这个概念； 优势：节约人力…...

编程日记 2025/6/1 22:15:48

数学复习笔记 14

前言和家里人交流了一下，他们还是希望我全力以赴初试，我确实也得放开了干，不要束手束脚的。好好加油。感觉公共课都没有啥压力，主要是专业课要好好加油，真不能过不了线，要是过不了线，啥都白搭…...

编程日记 2025/5/17 7:38:24

单元化架构

目录编辑单元化逻辑单元单元化多地多机房部署，是互联网系统的必然发展方向，一个系统要走到这一步，也就必然要解决上面提到的问题：流量调配、数据拆分、延时等。业界有很多技术方案可以用来解决这些问题&…...

编程日记 2025/5/17 7:38:22

硬件厂商的MIB文档详解 | 如何查询OID? | MIB Browser实战指南-优雅草卓伊凡

硬件厂商的MIB文档详解 | 如何查询OID? | MIB Browser实战指南-优雅草卓伊凡一、硬件厂商的MIB文档是什么？ 1. MIB的本质：设备的”数据字典” MIB（Management Information Base） 是SNMP协议的核心数据库，定义了设备…...

编程日记 2025/5/17 7:38:22

遥感图像露天矿区检测数据集VOC+YOLO格式1542张1类别

数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：1542 标注数量(xml文件个数)：1542 标注数量(txt文件个数)：1542 …...

编程日记 2025/5/30 15:08:50

【python基础知识】Day 27 函数专题2：装饰器

知识点： 装饰器的思想：进一步复用函数的装饰器写法注意内部函数的返回值装饰器教程作业： 编写一个装饰器 logger，在函数执行前后打印日志信息（如函数名、参数、返回值） def logger(func):def wrapper(*ar…...

编程日记 2025/5/17 7:36:15

游戏站的几种形式

游戏站点的主要形式：单品游戏站、游戏盒子站与单类型游戏盒子站随着互联网的普及和游戏产业的快速发展，游戏站点作为玩家获取游戏资源和信息的重要平台，呈现出多种形式。本文将分析三种常见的游戏站点形式：单品游戏站、游戏盒子站…...

编程日记 2025/5/17 7:36:13

动态IP赋能业务增效：技术解构与实战应用指南

在数字化转型加速的今天，IP地址作为网络通信的基础设施，其技术特性正深刻影响着企业业务架构的效率与安全性。动态IP（Dynamic IP）作为互联网资源分配的核心机制，早已突破传统认知中的"临时地址"定位&#xf…...

编程日记 2025/5/17 7:35:11

Redis 五种类型基础操作(redis-cli + Spring Data Redis)

目录一、什么是 Redis？ 二、Redis 的特点三、Redis 常见的数据类型四、Redis 的典型应用场景五、redis-cli（命令行工具）练习命令 1.1、String 类型（最基本的数据类型） 1.2、List 类型（链表结构&a…...

编程日记 2025/5/23 23:43:29

Gitee DevOps：中国企业数字化转型的加速引擎

随着中国数字经济规模突破50万亿元大关，研发效能已成为企业数字化转型的核心竞争力指标。在2025年这个关键节点，中国企业面临的不再是是否采用DevOps的选择题，而是如何选择最适合本土环境的DevOps平台的战略决策。Gitee DevOps平台凭借其独特…...

编程日记 2025/5/17 7:35:08

【数据仓库面试题合集①】数据建模高频面试题及解析

🧠 面试官爱问什么？——核心考察点数据建模作为数仓岗位面试的重头戏，考察的不只是模型知识，更是对业务理解、抽象能力和工程落地经验的综合评估。常见题型可分为三类：概念类：模型类型、建模方法论（如维度建模、范式建模）场景类：给定一个业务场景进行模型设计（如…...

编程日记 2025/5/17 7:35:07

华为云Flexus+DeepSeek征文｜SpringBoot开发实战：基于ModelArts Studio高效集成DeepSeek大模型服务

目录一、前言二、ModelArts Studio（MaaS）介绍与使用 2.1ModelArts Studio（MaaS）介绍 2.2 ModelArts Studio（MaaS）使用场景 2.3 开通MaaS服务 2.4 开通DeepSeek-V3商用服务三、MaaS模型服务接口测试 3.1 …...

编程日记 2025/5/17 7:34:04

【C++】类与对象

C语言结构体中只能定义变量,在C中,结构体内不仅可以定义变量,也可以定义函数。比如:之前在数据结构中,用C语言方式实现的栈,结构体中只能定义变量;现在以C方式实现,会发现struct中也可以定义函数。 struct Stack {// 成员函数void Init(int defaultCapacity 4){a (int*)mall…...

编程日记 2025/5/17 7:34:04

mac M芯片运行docker-desktop异常问题

虽然mac已经迭代到m4了，但官方的docker-desktop运行仍然有问题，包括但不限于： 命令行docker找不到docker-desk打不开docker-desktop闪退容器起不来尝试不同版本后，看到了其他可以在mac跑docker的开源方法，更简单、轻…...

编程日记 2025/5/17 7:34:03

5G 技术在智能制造中的应用：加速工业革命的新引擎

5G 技术在智能制造中的应用：加速工业革命的新引擎在过去几十年里，制造业经历了从机械化到自动化，再到如今的智能化变革。而 5G 技术的出现，不仅是一次通信技术的升级，更是为智能制造注入了新的动力。从智能工厂、工业物联网（IIoT）到远程控制与数据智能分析，5G 正…...

编程日记 2025/5/17 7:33:59

数据治理域——数据同步设计

摘要本文主要介绍了数据同步的多种方式，包括直连同步、数据文件同步和数据库日志解析同步。每种方式都有其适用场景、技术特点、优缺点以及适用的数据类型和实时性要求。文章还详细探讨了数据直连同步的特点、工作原理、优点、缺点、适用场景等，并对数…...

编程日记 2025/5/17 7:32:55

系统架构设计师案例分析题——web篇

软考高项系统架构设计师，其中的科二案例分析题为5选3，总分75达到45分即合格。本贴来归纳web设计题目中常见的知识点即细节： 目录一.核心知识 1.常见英文名词 2.私有云 3.面向对象三模型 4.计网相关——TCP和UDP的差异 5.MQTT和AMQP协…...

编程日记 2025/5/17 7:32:54

FC7300 SPI MCAL配置引导

一、MCU 组件 - 配置SPI时钟 MCU中配置的SPI输入时钟频率至少应大于2倍的SPI组件中配置的外设波特率。SPI时钟配置为30MHz 二、SPI 组件 - General Spi Level Delivered： 0 级：仅简单同步行为1 级：基本异步行为，通过中断实现2 级：增强型行为，通过轮询实现根据AUTOSAR SPI…...

编程日记 2025/5/17 7:32:53

【记录】Windows｜竖屏怎么调整分辨率使横竖双屏互动鼠标丝滑

本文版本：Windows11，记录一下，我最后调整的比较舒适的分辨率是800*1280。文章目录第一步回到桌面第二步右键桌面第三步设置横屏为主显示器第四步调整分辨率使之符合你的需求第五步勾选轻松在显示器之间移动光标第六步拖动屏幕符合物理…...

编程日记 2025/5/17 7:31:51

hghac和hgproxy版本升级相关操作和注意事项

文章目录环境文档用途详细信息环境系统平台：N/A 版本：4.5.6,4.5.7,4.5.8 文档用途本文档用于高可用集群环境中hghac组件和hgproxy组件替换和升级操作详细信息 1.关闭服务所有数据节点都执行 1、关闭hgproxy服务 [roothgdb01 tools]# system…...

编程日记 2025/5/17 7:31:50

【超分辨率专题】一种考量视频编码比特率优化能力的超分辨率基准

这是一个Benchmark，超分辨率视频编码（2024） 专题介绍一、研究背景二、相关工作2.1 SR的发展2.2 SR benchmark的发展三、Benchmark细节3.1 数据集制作3.2 模型选择3.3 编解码器和压缩标准选择3.4 Benchmark pipeline3.5 质量评估和主观评价研…...

编程日记 2025/5/17 7:30:48

操作系统之进程和线程听课笔记

计算机的上电运行就是构建进程树,进程调度就是在进程树节点进程进行切换进程间通信的好处经典模型生产者和消费者进程和线程的区别线程引入带来的问题线程的优势由于unix70年代产生,90年代有线程,当时数据库系统操作需要线程,操作系统没有来得及重造,出现了用户态线…...

编程日记 2025/5/17 7:30:47

Mac安装Navicat16

我的电脑用的是M3芯片，然后在安装的时候也踩了很多的坑先分享一下链接通过网盘分享的文件：Navicat Premium v16.2.dmg 链接: https://pan.baidu.com/s/1ENLtU7VLCvzntLKqSyFiqg?pwd1234 提取码: 1234 其实按理说用navicat17也是可以的首先下载完成后…...

编程日记 2025/5/26 1:51:51

表的设计、聚合函数

目录 1、表的设计 1.1、一对一 1.2、一对多 1.3、多对多 2、插入查询结果 3、聚合查询 3.1、聚合函数 3.2、GROUP BY子句 1、表的设计根据实际的需求场景，明确当前要创建几个表，每个表什么样子，这些表之间是否存在一定联系 1. 梳理…...

编程日记 2025/5/17 7:29:41

React学习———React Router

React Router React Router 是 React 应用中用于管理路由的流行库，它允许你在单页应用（SPA）中实现导航和页面切换而无需重新加载页面。安装 npm install react-router-dom核心组件 <BrowserRouter> 使用HTML5的历史记录API&#…...

编程日记 2025/5/17 7:29:39

先来个小练习试试手吧！

爬取动态加载的网页

批量爬取正本小说

相关文章：