当前位置： 首页 > news >正文

Python爬虫（5） --爬取网页视频

news 来源：原创 2025/5/25 1:44:20

文章目录

  • 爬虫
  • 爬取视频
    • 指定url
    • 发送请求
      • UA伪装
      • 请求页面
    • 获取想要的数据
      • 解析定位
      • 定位音视频位置
  • 存放视频
  • 完整代码实现
  • 总结

爬虫

Python 爬虫是一种自动化工具，用于从互联网上抓取网页数据并提取有用的信息。Python 因其简洁的语法和丰富的库支持（如 requests、BeautifulSoup、Scrapy 等）而成为实现爬虫的首选语言之一。

Python爬虫获取浏览器中的信息，实际上是模仿浏览器上网的行为。上一篇中，我们尝试着爬取了一个网站页面的图片内容，完成获取信息需要完成四步：

  1. 指定url
  2. 发送请求
  3. 获取你想要的数据
  4. 数据解析

这次我们来试试用同样的方法爬取网站页面的视频看看可以成功吗？

爬取视频

我们来试试爬取以下网页的视频：

https://www.bilibili.com/video/BV12z421z75d/?spm_id_from=333.1007.tianma.2-1-4.click&vd_source=4b1ef23e5d47e143cfb702705740719d

指定url

打开开发者控制台，找到页面的url：

url = "https://www.bilibili.com/video/BV12z421z75d/?spm_id_from=333.1007.tianma.2-1-4.click&vd_source=4b1ef23e5d47e143cfb702705740719d"

发送请求

在前前面的内容中，我们提到过，使用fake_useragent包进行UA伪装给自己一个访问身份，其实在页面中有给我们准备好的UA，只是使用fake_useragent包更方便，这次我们爬取视频，用页面给的UA。

UA伪装

同时，对于视频的爬取，网站都是有很强的反爬取能力，所以我们除此以外还需要在申请访问页面时，输入Referer防盗链以及Cookie身份信息（记得登录网站哦！），

在这里插入图片描述

和找寻url时一样，在同一个页面往下滑就能找到页面给的Cookie身份信息。

接着往下滑：

在这里插入图片描述

同样的，找到Referer防盗链和页面给的UA。

head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0"# 防盗链, "Referer": "https://www.bilibili.com/" # 网页自带的防盗链，我们告诉它从哪里向网页发送的请求,"Cookie": "buvid3=C05B40CB-6A34-98BA-39D6-53A15FB1331D09014infoc; b_nut=1721443209; b_lsid=7E252C23_190CE02D1EA; bsource=search_bing; _uuid=2A4DF7DB-1415-18110-810D10-61B6E716441309713infoc; enable_web_push=DISABLE; header_theme_version=undefined; bmg_af_switch=1; bmg_src_def_domain=i1.hdslb.com; buvid_fp=4737552723e0dc057e8798fde01861bc; buvid4=8B3D0C60-C137-8D41-1DA5-4FB60839F89009729-024072002-402qiK5%2F0O1ew%2BiXfV11Kg%3D%3D; home_feed_column=5; browser_resolution=1872-966; CURRENT_FNVAL=4048; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjE3MDI0MjksImlhdCI6MTcyMTQ0MzE2OSwicGx0IjotMX0.rVZ9CiFYg3l5zrKtSm5jk880b2vYdADHdnTpO64kMog; bili_ticket_expires=1721702369; rpdid=|(J|)|~~|YYl0J'u~kuRRJkRu; SESSDATA=fd47394e%2C1736996380%2C3b724%2A71CjCpXPh-TmqNj96oUDW0altJZ6Iw84xOinBCAAhuZ1G-wxw0FFQR-j2_HvZPJtNgLl0SVmRDc2R6RWg3azBMUzVnVklNRGxBSGVXbWZiT2FydVNZVjM2MU1sQzkzQ3ZYMlNwLTdteUFQby0tWjlSaS1oWkVnbXVfRE8zOEd4VEFQbkNFNktMMVNRIIEC; bili_jct=643bc60a12be959fcaf2a7435e37b218; DedeUserID=152019087; DedeUserID__ckMd5=abf7b9e65385947c; sid=5voxt773"
} #自己的网页登录信息

将页面给的UA、Referer防盗链和Cookie身份信息都放在head中。

请求页面

response = requests.get(url, headers=head)

获取想要的数据

我们在爬取图片时，我们在寻找图片的地址，那我们视频的位置在哪里？怎么获取呐？

在这里插入图片描述

第一步点击Element,第二部找到html标签，在该标签下，找到第四个script标签。如下：

在这里插入图片描述

这里面就是我们要获取的视频信息啦，前20个字符不需要。

解析定位

from lxml import etree
tree = etree.HTML(res_text)
base_info = "".join(tree.xpath("/html/head/script[4]/text()"))[20:]	#前20个字符我们不要
#print(base_info)  #可以打印看看，有没有获取数据

我们看到，视频信息看到的是字典形式，但是获取信息时返回的是字符串形式，我们要将其转换一下：

info_dict = json.loads(base_info)	#将获取到的数据变成字典形式

因为b站的视频，视频和音频时分开的，所以我们得从信息中分别定位到视频和音频位置。但是这个信息密密麻麻的看起来很不方便，我们去响应Response中寻找它：

在这里插入图片描述

在这里插入图片描述

打开响应Response，然后找到第四个script标签，我们能看到有个video标签，获取音频url，同样的在第四个script标签下面还有audio视频url。

定位音视频位置

这样我们对视频与音频的位置进行访问（记住！！获取的数据已经被转换成字典了！！）：

#字典的取值是通过取健的位置得到值：
以下代码理解为：在data中取dash的值，然后再dash的值中取video的值………………最后取到音视频url
video_url = info_dict["data"]["dash"]['video'][0]["baseUrl"]
audio_url = info_dict["data"]["dash"]['audio'][0]["baseUrl"]video_content = requests.get(video_url, head).content	#和图片一样，访问后用content接收存储
audio_content = requests.get(audio_url, head).content

存放视频

with open()可以自己创建文件存放。

with open("video.wmv", "wb") as f:f.write(video_content)
with open("audio.mp4", "wb") as fp:fp.write(audio_content)

完整代码实现

import json
import fake_useragent
import requests
from lxml import etreeif __name__ == '__main__':head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0"# 防盗链, "Referer": "https://www.bilibili.com/" # 网页自带的防盗链，我们告诉它从哪里向网页发送的请求,"Cookie": "buvid3=C05B40CB-6A34-98BA-39D6-53A15FB1331D09014infoc; b_nut=1721443209; b_lsid=7E252C23_190CE02D1EA; bsource=search_bing; _uuid=2A4DF7DB-1415-18110-810D10-61B6E716441309713infoc; enable_web_push=DISABLE; header_theme_version=undefined; bmg_af_switch=1; bmg_src_def_domain=i1.hdslb.com; buvid_fp=4737552723e0dc057e8798fde01861bc; buvid4=8B3D0C60-C137-8D41-1DA5-4FB60839F89009729-024072002-402qiK5%2F0O1ew%2BiXfV11Kg%3D%3D; home_feed_column=5; browser_resolution=1872-966; CURRENT_FNVAL=4048; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjE3MDI0MjksImlhdCI6MTcyMTQ0MzE2OSwicGx0IjotMX0.rVZ9CiFYg3l5zrKtSm5jk880b2vYdADHdnTpO64kMog; bili_ticket_expires=1721702369; rpdid=|(J|)|~~|YYl0J'u~kuRRJkRu; SESSDATA=fd47394e%2C1736996380%2C3b724%2A71CjCpXPh-TmqNj96oUDW0altJZ6Iw84xOinBCAAhuZ1G-wxw0FFQR-j2_HvZPJtNgLl0SVmRDc2R6RWg3azBMUzVnVklNRGxBSGVXbWZiT2FydVNZVjM2MU1sQzkzQ3ZYMlNwLTdteUFQby0tWjlSaS1oWkVnbXVfRE8zOEd4VEFQbkNFNktMMVNRIIEC; bili_jct=643bc60a12be959fcaf2a7435e37b218; DedeUserID=152019087; DedeUserID__ckMd5=abf7b9e65385947c; sid=5voxt773"} #自己的网页登录信息# 1、urlurl = "https://www.bilibili.com/video/BV12z421z75d/?spm_id_from=333.1007.tianma.2-1-4.click&vd_source=4b1ef23e5d47e143cfb702705740719d"#2、发送请求response = requests.get(url, headers=head)# 3、获取想要的数据res_text = response.text# 4、数据解析tree = etree.HTML(res_text)with open("b.html", "w", encoding="utf8") as f:f.write(res_text)base_info = "".join(tree.xpath("/html/head/script[4]/text()"))[20:]    #前20个字符我们不要# print(base_info)info_dict = json.loads(base_info)  #将获取到的数据变成字典形式#定位音视频位置video_url = info_dict["data"]["dash"]['video'][0]["baseUrl"]audio_url = info_dict["data"]["dash"]['audio'][0]["baseUrl"]video_content = requests.get(video_url, head).contentaudio_content = requests.get(audio_url, head).contentwith open("video.wmv", "wb") as f:f.write(video_content)with open("audio.mp4", "wb") as fp:fp.write(audio_content)

爬取成功显示：

在这里插入图片描述

查看视频去文件夹中打开查看，由于音视频是分开的，可以通过剪映等视频剪辑软件将他们拼接在一起。

总结

本篇介绍了网页视频的爬取：

  1. 指定url
  2. 发送请求
    1. UA伪装：UA、Referer防盗链和Cookie身份信息都放在head中
  3. 获取你想要的数据
    1. 在Element获取视频信息
  4. 数据解析
    1. 在响应Response中，定位视频的具体位置，请求访问它

特别注意：

其实与爬取文本和图片区别不大，主要是定位到视频的位置。

网页都有反爬虫意识，反复多次爬取可能会拒绝你获取信息。

相关文章：

Python爬虫（5） --爬取网页视频

文章目录 爬虫爬取视频指定url发送请求UA伪装请求页面 获取想要的数据解析定位定位音视频位置 存放视频完整代码实现总结 爬虫 Python 爬虫是一种自动化工具，用于从互联网上抓取网页数据并提取有用的信息。Python 因其简洁的语法和丰富的库支持（如 requ…...

编程日记 2025/5/25 1:44:20

simulink离散传递函数得到差分方程并用C语言实现

一. 创建连续时间的传递函数 G ( s ) s 2 217 s s 2 384 s 8989 G(s) \frac{s^2217s}{s^2384s8989} G(s)s2384s8989s2217s​ 二. 离散连续时间的传递函数G(s) 2.1 在matlab中用c2d函数双线性变换法离散G(s)， 下面是matlab脚本代码 % 创建连续时间传递函数 …...

编程日记 2025/5/24 10:44:04

第十七届山东省职业院校技能大赛 中职组“网络安全”赛项任务书正式赛题

第十七届山东省职业院校技能大赛 中职组“网络安全”赛项任务书-A 目录 一、竞赛阶段 二、竞赛任务书内容 （一）拓扑图 （二）模块A 基础设施设置与安全加固(200分) （三）B模块安全事件响应/网络安全数据取证/…...

编程日记 2025/5/23 0:24:27

Redis内存碎片详解

什么是内存碎片? 你可以将内存碎片简单地理解为那些不可用的空闲内存。 举个例子：操作系统为你分配了 32 字节的连续内存空间，而你存储数据实际只需要使用 24 字节内存空间，那这多余出来的 8 字节内存空间如果后续没办法再被分配存储其他数…...

编程日记 2025/5/21 18:07:45

Python球球大作战

系列文章 序号直达链接表白系列1Python制作一个无法拒绝的表白界面2Python满屏飘字表白代码3Python无限弹窗满屏表白代码4Python李峋同款可写字版跳动的爱心5Python流星雨代码6Python漂浮爱心代码7Python爱心光波代码8Python普通的玫瑰花代码9Python炫酷的玫瑰花代码10Python多…...

编程日记 2025/5/22 23:30:10

机器学习（Machine Learning）的安全问题

最近看论文，看到了”对抗样本“的一些内容，然后又研究了一下其背后的东西，发现还有”机器学习的安全“这一问题，然后找了几篇博客看了一下，发现了篇2019年的比较有意思的文章，这里整理一下，方编…...

编程日记 2025/5/23 17:11:14

ROS1安装教程

一、环境准备 操作系统：Ubuntu 20.04 LTS 注：为保证系统干净，本文使用Docker进行 演示，如已安装相应的Ubuntu系统请忽略。 Docker安装Ubuntu系统步骤如下： # 拉取镜像 docker pull ubuntu:20.04# 创建容器 docker ru…...

编程日记 2025/5/21 13:44:36

大腾智能CAD：国产云原生三维设计新选择

在快速发展的工业设计领域，CAD软件已成为不可或缺的核心工具。它通过强大的建模、分析、优化等功能，不仅显著提升了设计效率与精度，还促进了设计思维的创新与拓展，为产品从概念构想到实体制造的全过程提供了强有力的技术支持。然而…...

编程日记 2025/5/24 2:04:19

Docker 入门：如何使用 Docker 容器化 AI 项目（一）

引言 在人工智能（AI）项目的开发和部署过程中，环境配置和依赖管理往往是开发者遇到的挑战之一。开发者通常需要在不同的机器上运行同样的代码，确保每个人使用的环境一致，才能避免 “在我的机器上可以运行”的尴尬问题。…...

编程日记 2025/5/22 4:44:50

【04-数据库面试】

如何创建一个新的数据库 数据库是现代信息技术中不可或缺的一部分，它为存储、检索和管理数据提供了强大的工具。无论是企业还是个人，都可能需要创建自己的数据库以满足特定的需求。本文将详细介绍创建一个新数据库的步骤，包括规划、选择数据…...

编程日记 2025/5/25 1:42:48

单元测试使用记录

什么是单元测试 简单来说就是对一个类中的方法进行测试，对输出的结果检查判断是否符合预期结果 但是在多年的工作中，从来没有哪个项目中真正系统的用到了单元测试，因此对它还是很陌生的，也就造成更加不会在项目中区使用它。 如何…...

编程日记 2025/5/25 1:42:48

《深入浅出 Servlet：Java Web 开发的基石》（二）

ServletConfig(熟练) ServletConfig对象对应web.xml文件中的<servlet>元素。例如你想获取当前Servlet在web.xml文件中的配置名&#xff0c;那么可以使用servletConfig.getServletName()方法获取&#xff01; 你不能自己去创建ServletConfig对象&#xff0c;Servlet的in…...

编程日记 2025/5/19 10:14:59

Pytorch | 从零构建MobileNet对CIFAR10进行分类

Pytorch | 从零构建MobileNet对CIFAR10进行分类 CIFAR10数据集MobileNet设计理念网络结构技术优势应用领域 MobileNet结构代码详解结构代码代码详解DepthwiseSeparableConv 类初始化方法前向传播 forward 方法 MobileNet 类初始化方法前向传播 forward 方法 训练过程和测试结果…...

编程日记 2025/5/22 4:31:20

冯诺依曼架构与哈佛架构的对比与应用

冯诺依曼架构&#xff08;Von Neumann Architecture&#xff09;&#xff0c;也称为 冯诺依曼模型&#xff0c;是由著名数学家和计算机科学家约翰冯诺依曼&#xff08;John von Neumann&#xff09;在1945年提出的。冯诺依曼架构为现代计算机奠定了基础&#xff0c;几乎所有现代…...

编程日记 2025/5/23 10:36:44

【Java基础面试题032】Java中的字节码是什么？

回答重点 Java字节码是Java编译器将Java源代码编译后生成的 位于Java源代码与JVM执行的执行的机器码之间。 Java字节码由JVM解释或即时编译&#xff08;JIT&#xff09;为机器码执行 扩展知识 Java字节码的关键点 1&#xff09;字节码结构&#xff1a; Java字节码是与平…...

编程日记 2025/5/24 10:27:35

K8s ConfigMap的基础功能介绍

在 Kubernetes 中&#xff0c;ConfigMap 是一种用于管理配置信息的资源对象&#xff0c;它允许你将 配置信息与代码解耦&#xff0c;方便管理和更新应用配置&#xff0c;而无需重新构建镜像或重启服务。 ConfigMap 的功能 存储配置信息&#xff1a; 可以以 键值对 的形式存储配…...

编程日记 2025/5/22 21:24:50

stm32制作CAN适配器4--WinUsb的使用

前面使用STM32G474芯片的USB模块做了一个CANFD程序&#xff0c;当时用的是HID模式&#xff0c;在实际使用时发现HID模块的通讯速率太慢了&#xff0c;只能1ms传输一帧&#xff0c;就会造成有些掉帧现象。 现在就把HID模块改为在Window下同样免驱的WinUsb来实现CANFD数据的传输。…...

编程日记 2025/5/21 20:36:40

深入理解 Java 中的 ArrayList 和 List：泛型与动态数组

深入理解 Java 中的 ArrayList 和 List&#xff1a;泛型与动态数组 在 Java 编程中&#xff0c;ArrayList 和 List 是最常用的集合类之一。它们帮助我们管理动态数据&#xff0c;支持按索引访问、增加、删除元素等操作。尤其在使用泛型时&#xff0c;理解它们之间的关系及应用…...

编程日记 2025/5/19 18:08:11

[react 3种方法] 获取ant组件ref用ts如何定义?

获取ant的轮播图组件, 我用ts如何定义? Strongly Type useRef with ElementRef | Total TypeScript import React, { ElementRef } from react; const lunboRef useRef<ElementRef<typeof Carousel>>(null); <Carousel autoplay ref{lunboRef}> 这样就…...

编程日记 2025/5/25 1:11:04

VS Code Copilot 与 Cursor 对比

选手简介 VS Code Copilot&#xff1a;算是“老牌”编程助手了&#xff0c;虽然Copilot在别的编辑器上也有扩展&#xff0c;不过体验最好的还是VS Code&#xff0c;毕竟都是微软家的所以功能集成更好一些&#xff1b;主要提供的是Complete和Chat能力&#xff0c;也就是代码补全…...

编程日记 2025/5/23 20:46:41

华为IPD流程6大阶段370个流程活动详解_第一阶段：概念阶段 — 81个活动

华为IPD流程涵盖了产品从概念到上市的完整过程，各阶段活动明确且相互衔接。在概念启动阶段，产品经理和项目经理分析可行性，PAC评审后成立PDT。概念阶段则包括产品描述、市场定位、投资期望等内容的确定，同时组建PDT核心组并准备项目环境。团队培训涵盖团队建设、流程、业务…...

编程日记 2025/5/21 4:40:52

Vue3组件封装技巧与心得

摘要&#xff1a; 日常开发中&#xff0c;用Vue组件进行业务拆分&#xff0c;代码解耦是一个很好的选择&#xff1b; 今天就来分享一下我在使用Vue3进行组件封装的一些技巧和心得&#xff0c;希望能够帮助到大家&#xff1b; 1. 组件特性&#xff1a; 在Vue中组件是一个独立的…...

编程日记 2025/5/21 1:55:11

15.初识接口1 C#

这是一个用于实验接口的代码 适合初认识接口的人 【CSDN开头介绍】&#xff08;文心一言AI生成&#xff09; 在C#编程世界中&#xff0c;接口&#xff08;Interface&#xff09;扮演着至关重要的角色&#xff0c;它定义了一组方法&#xff0c;但不提供这些方法的实现。它要求所…...

编程日记 2025/5/22 10:36:37

渗透测试-前端加密分析之RSA加密登录（密钥来源本地）

本文是高级前端加解密与验签实战的第5篇文章&#xff0c;本系列文章实验靶场为Yakit里自带的Vulinbox靶场&#xff0c;本文讲述的是绕过前端RSA加密来爆破登录。 分析 generateKey函数用来生成随机的RSA公私钥 加密的格式如下&#xff1a; {"username":"admin…...

编程日记 2025/5/22 20:40:21

题海拾贝：力扣 86.分隔链表

Hello大家好&#xff01;很高兴我们又见面啦&#xff01;给生活添点passion&#xff0c;开始今天的编程之路&#xff01; 我的博客&#xff1a;<但凡. 我的专栏&#xff1a;《编程之路》、《数据结构与算法之美》、《题海拾贝》 欢迎点赞&#xff0c;关注&#xff01; 1、题…...

编程日记 2025/5/18 15:02:13

《Mycat核心技术》第06章：Mycat问题处理总结

作者&#xff1a;冰河 星球&#xff1a;http://m6z.cn/6aeFbs 博客&#xff1a;https://binghe.gitcode.host 文章汇总&#xff1a;https://binghe.gitcode.host/md/all/all.html 星球项目地址&#xff1a;https://binghe.gitcode.host/md/zsxq/introduce.html 沉淀&#xff0c…...

编程日记 2025/5/24 15:18:26

前端实现图片压缩

前端实现图片压缩的主要方法有&#xff1a; 使用 HTML5 的 API 利用 canvas 将图片绘制到画布上&#xff0c;然后通过 toDataURL 方法获取压缩后的图片数据。 使用第三方库 借助 compressorjs、browser-image-compression 等开源库&#xff0c;快速实现高质量的图片压缩功能。…...

编程日记 2025/5/17 3:15:14

Python OCR 文字识别

一.引言 文字识别&#xff0c;也称为光学字符识别&#xff08;Optical Character Recognition, OCR&#xff09;&#xff0c;是一种将不同形式的文档&#xff08;如扫描的纸质文档、PDF文件或数字相机拍摄的图片&#xff09;中的文字转换成可编辑和可搜索的数据的技术。随着技…...

编程日记 2025/5/20 10:01:05

怿星科技联合赛力斯举办workshop活动，进一步推动双方合作

12月18日&#xff0c;由怿星科技与赛力斯汽车联合举办的workshop活动在赛力斯五云湖总部展开&#xff0c;双方嘉宾围绕智能汽车发展趋势、行业前沿技术、汽车电子网络与功能测试等核心议题展开了深度对话与交流&#xff0c;并现场参观演示了多套前沿产品。怿星科技CEO潘凯、汽车…...

编程日记 2025/5/23 19:13:01

Vue.js前端框架教程1：Vue应用启动和Vue组件

文章目录 Vue 应用Vue 应用的主要组成部分：启动 Vue 应用：Vue组件基础组件组件注册父子组件组件插槽（Slots）动态组件和 `keep-alive`Vue 应用 Vue 应用由几个主要部分组成，每个部分都有其特定的角色和职责。以下是 Vue 应用的主要组成部分以及如何启动一个 Vue 应用的介绍…...

编程日记 2025/5/21 16:50:36

LabVIEW深海气密采水器测控系统

LabVIEW的深海气密采水器测控系统通过高性价比的硬件选择与自主开发的软件&#xff0c;实现了高精度的温度、盐度和深度测量&#xff0c;并在实际海上试验中得到了有效验证。 项目背景 深海气密采水器是进行海底科学研究的关键工具&#xff0c;用LabVIEW开发了一套测控系统&am…...

编程日记 2025/5/21 1:53:21

SpringBoot 启动类 SpringApplication 二 run方法

配置 在Program arguments配置2个参数&#xff1a;--server.port8081 --spring.profiles.activedev。 run方法 run方法执行结束代表SpringBoot启动完成&#xff0c;即完成加载bean。 // ConfigurableApplicationContext 是IOC容器 public ConfigurableApplicationContext ru…...

编程日记 2025/5/20 4:57:30

【java基础系列】实现一个简单的猜数字小游戏

主要是用的java中的键盘录入和随机数两个api&#xff0c;实现这种人机交互的小游戏&#xff0c;可以用来锻炼基础算法思维 实现效果 实现代码 package com.gaofeng.day10;import java.util.Random; import java.util.Scanner;/*** author gaofeng* date 2024-12-22 - 9:21*/ …...

编程日记 2025/5/19 15:29:52

Liveweb视频融合共享平台在果园农场等项目中的视频监控系统搭建方案

一、背景介绍 在我国的大江南北遍布着各种各样的果园&#xff0c;针对这些地处偏僻的果园及农场等环境&#xff0c;较为传统的安全防范方式是建立围墙&#xff0c;但是仅靠围墙仍然无法阻挡不法分子的有意入侵和破坏&#xff0c;因此为了及时发现和处理一些难以察觉的问题&…...

编程日记 2025/5/20 15:56:33

clickhouse-题库

1、clickhouse介绍以及架构 clickhouse一个分布式列式存储数据库&#xff0c;主要用于在线分析查询 2、列式存储和行式存储有什么区别&#xff1f; 行式存储&#xff1a; 1&#xff09;、数据是按行存储的 2&#xff09;、没有建立索引的查询消耗很大的IO 3&#xff09;、建…...

编程日记 2025/5/21 17:56:39

kafka常用命令

安装kafka注意事项 修改 、vim kafka/config/server.properties 三个地方①brokerId ②logs地址③指定节点 一、创建主题 &#xff08;必须指定分区&#xff0c;指定副本&#xff09; #在kafka bin目录下执行以下命令 #①连接hadoop01 创建主题为TEST 分区1 副本3个 bin/ka…...

编程日记 2025/5/21 4:45:44

在 Django 中使用 SMTP 发送邮件是一个常见的需求

在 Django 中使用 SMTP 发送邮件是一个常见的需求&#xff0c;通常用于发送用户注册确认邮件、密码重置邮件等。下面是一个简单的示例&#xff0c;展示了如何在 Django 中配置 SMTP 发送邮件&#xff0c;并创建一个包含表单、路由和视图的界面来发送邮件。 1. 配置 Django 项目…...

编程日记 2025/5/22 7:21:53

JS中的原型与原型链

1. 基本概念 原型&#xff08;Prototype&#xff09;&#xff1a;每个对象都有一个内部属性 [[Prototype]]&#xff0c;通常通过 __proto__ 访问&#xff08;非标准&#xff0c;但广泛支持&#xff09;。 原型链&#xff08;Prototype Chain&#xff09;&#xff1a;对象通过原…...

编程日记 2025/5/18 8:43:29

STM32F407 | Embedded IDE01 - vscode搭建Embedded IDE开发环境（支持JLINK、STLINK、DAPLINK）

导言 Embedded IDE官网:https://em-ide.com/docs/intro 我猜肯定有部分人使用SI Keil开发STM32项目&#xff0c;也有vscode Keil开发STM32程序。SI或vscode编写代码&#xff0c;然后切换Keil编译、下载、调试程序。有一段时间&#xff0c;我也是这么干的。但是&#xff0c;程…...

编程日记 2025/5/24 10:02:24

放弃机器学习框架，如何用Python做物体检测？

每当我们听说“物体检测”时&#xff0c;就会想到机器学习和各种不同的框架。但实际上&#xff0c;我们可以在不使用机器学习或任何其他框架的情况下进行物体检测。在本文中&#xff0c;我将向你展示如何仅使用Python进行操作。 首先&#xff0c;我们定义一个模板图像&#xf…...

编程日记 2025/5/21 4:47:38

基于langchain的Agent(实现实时查询天气)

心血来潮&#xff0c;玩一下Agent&#xff0c;实现了多轮对话功能 import requests, jsonfrom langchain.agents import load_tools from langchain.agents import initialize_agent from langchain_community.llms.tongyi import Tongyi from langchain.memory import Conver…...

编程日记 2025/5/23 1:44:11

OB删除1.5亿数据耗费2小时

目录 回顾&#xff1a;mysql是怎么删除数据的&#xff1f; 删除方案 代码实现 执行结果 结论 本篇是实际操作 批量处理数据以及线程池线程数设置 记录学习 背景&#xff1a;有一张用户标签表&#xff0c;存储数据量达4个亿&#xff0c;使用OceanBase存储&#xff0c;由于…...

编程日记 2025/5/24 23:46:48

深度学习之目标检测——RCNN

Selective Search 背景:事先不知道需要检测哪个类别,且候选目标存在层级关系与尺度关系 常规解决方法&#xff1a;穷举法&#xff0c;在原始图片上进行不同尺度不同大小的滑窗&#xff0c;获取每个可能的位置 弊端&#xff1a;计算量大&#xff0c;且尺度不能兼顾 Selective …...

编程日记 2025/5/19 6:09:16

Vue.js前端框架教程7：Vue计算属性和moment.js

文章目录 计算属性（Computed Properties）基本用法缓存机制计算属性 vs 方法使用场景计算属性的 setter 和 getter结论Moment.js 进行时间处理1. 安装 Moment.js2. 在 Vue 组件中引入 Moment.js3. 在全局使用 Moment.js4. 使用 Vue 插件的方式引入 Moment.js5. 常用日期格式化…...

编程日记 2025/5/19 20:42:43

了解RPC

本文来自智谱清言 --------- RPC&#xff08;Remote Procedure Call&#xff0c;远程过程调用&#xff09;是一种允许程序调用位于远程计算机上的子程序或服务的技术。这种技术使得构建分布式计算变得更加容易&#xff0c;因为它提供了强大的远程调用能力&#xff0c;同时保持…...

编程日记 2025/5/21 14:34:01

【Go】Go数据类型详解—指针

1. 前言 在我看来&#xff0c;一门编程语言语法的核心就在于数据类型。而各类编程语言的基本数据类型大致相同&#xff1a;int整型、float浮点型、string字符串类型、bool布尔类型&#xff0c;但是在一些进阶数据类型上就有所不同了。本文将会介绍Go语言当中核心的数据类型——…...

编程日记 2025/5/21 0:36:58

C++ 中的智能指针与内存管理：从基础到进阶

在 C 中&#xff0c;内存管理是一个至关重要的课题&#xff0c;尤其是当程序复杂度逐渐增加时。传统的手动内存管理方式&#xff08;使用 new 和 delete&#xff09;容易引发内存泄漏、悬挂指针等问题。为了简化内存管理&#xff0c;C11 引入了智能指针&#xff08;std::unique…...

编程日记 2025/5/20 10:54:09

二、使用langchain搭建RAG:金融问答机器人--数据清洗和切片

选择金融领域的专业文档作为源文件 这里选择 《博金大模型挑战赛-金融千问14b数据集》&#xff0c;这个数据集包含若干公司的年报&#xff0c;我们将利用这个年报搭建金融问答机器人。 具体下载地址 这里 git clone https://www.modelscope.cn/datasets/BJQW14B/bs_challenge_…...

编程日记 2025/5/21 4:44:09

R 语言 | 绘图的文字格式(绘制上标、下标、斜体、文字标注等)

1. 上下标 # 注意y轴标签文字 library(ggplot2) ggplot(mtcars, aes(mpg, cyl))geom_point()ylab(label bquote(O[3]~(ug / m^3)))2. 希腊字母&#xff0c;如alpha ggplot(mtcars, aes(mpg, cyl))geom_point()ylab(label bquote(O[3]~(ug / m^3)))ggtitle(expression(alpha))…...

编程日记 2025/5/6 22:03:53

版本更新导致前端网站资源加载失败：Failed to fetch dynamically imported module

前端网站在维护过程中经常有版本更新和重新部署&#xff0c;而这会导致一些问题&#xff0c;其中某些问题会导致更新时&#xff0c;正在网站中的用户无法正常使用。 异常 Failed to fetch dynamically imported module 的诱发原因之一就是版本更新&#xff1a;在用户访问网站的…...

编程日记 2025/5/22 2:00:33