当前位置： 首页 > news >正文

大数据技术-Hadoop（二）HDFS的介绍与使用

news 来源：原创 2025/7/27 18:06:51

目录

1、HDFS简介

1.1 什么是HDFS

1.2 HDFS的优点

1.3、HDFS的架构

1.3.1、 NameNode

1.3.2、 NameNode的职责

1.3.3、DataNode

1.3.4、 DataNode的职责

1.3.5、Secondary NameNode

1.3.6、Secondary NameNode的职责

2、HDFS的工作原理

2.1、文件存储

2.2 、数据写入

2.3、 数据读取

2.4、 容错机制

2.5、元数据管理

3、HDFS的Shell操作

4、HDFS的API操作

4.1、配置客户端环境变量

4.2、客户端api的使用

5、参考

6、附录

1、window环境下的hadoop依赖

2、完整代码

1、HDFS简介

1.1 什么是HDFS


        HDFS是Hadoop生态系统中的一个分布式文件系统，旨在在集群的廉价硬件上可靠地存储大数据集。HDFS设计为高容错，并为高吞吐量数据访问而优化，适用于在商用硬件上运行的大数据应用。

1.2 HDFS的优点

  • 高容错性：数据通过副本机制存储在多个节点上，确保在硬件故障时数据的高可用性。
  • 高吞吐量：通过批量处理大数据，HDFS优化了数据的读写速度。
  • 可扩展性：通过添加节点，可以轻松扩展HDFS的存储容量和计算能力。
  • 可靠性：通过分布式架构和数据冗余，确保数据在系统故障情况下的完整性和可用性。

1.3、HDFS的架构


HDFS采用主从架构，主要由NameNode和DataNode两类节点组成。

1.3.1、 NameNode


NameNode是HDFS的主节点，负责管理文件系统的命名空间和文件块的映射关系。它存储所有文件和目录的元数据（如文件名、权限、块位置等），并协调客户端对数据的访问请求。

1.3.2、 NameNode的职责


文件系统命名空间管理：管理文件和目录的结构，维护元数据。

  • 块管理：管理文件与块的映射关系，以及块在DataNode上的存储位置。
  • 集群管理：监控DataNode的健康状态，处理节点故障。


1.3.3、DataNode


DataNode是HDFS的工作节点，负责存储实际的数据块。每个DataNode定期向NameNode发送心跳信号，报告其健康状态和存储情况。

1.3.4、 DataNode的职责

  • 数据存储：存储HDFS文件的数据块。
  • 数据块报告：定期向NameNode发送数据块列表，报告其存储情况。
  • 数据块操作：执行客户端请求的读写操作，负责数据块的创建、删除和复制。


1.3.5、Secondary NameNode


Secondary NameNode并不是NameNode的热备份，而是辅助NameNode进行元数据管理的节点。它定期获取NameNode的元数据快照并合并编辑日志，以减轻NameNode的负载。

1.3.6、Secondary NameNode的职责

  • 元数据快照：定期从NameNode获取元数据快照。
  • 合并编辑日志：将元数据快照与编辑日志合并，生成新的元数据文件，减轻NameNode的内存压力。

2、HDFS的工作原理

HDFS通过分布式存储和冗余机制，实现高可靠性和高可用性。以下是HDFS的几个关键工作原理。

2.1、文件存储

HDFS将文件分割成固定大小的块（3.x默认为128MB），并将这些块存储在不同的DataNode上。每个块会被复制到多个DataNode（默认3个副本），以确保数据的可靠性。

2.2 、数据写入

当客户端向HDFS写入数据时，数据首先被分割成块，并通过Pipeline机制写入到多个DataNode。具体步骤如下：

  • 客户端请求NameNode：客户端向NameNode请求写入文件。
  • NameNode分配块和DataNode：NameNode为文件分配数据块并选择存储这些块的DataNode。
  • 客户端写入数据块：客户端将数据块写入第一个DataNode，第一个DataNode再将数据块复制到第二个DataNode，依此类推。
  • 数据块确认：当所有副本写入成功后，客户端接收到确认消息，表示数据写入完成。

2.3、 数据读取

当客户端从HDFS读取数据时，NameNode提供数据块的位置信息，客户端直接从相应的DataNode读取数据。具体步骤如下：

  • 客户端请求NameNode：客户端向NameNode请求读取文件。
  • NameNode返回块位置：NameNode返回文件块所在的DataNode列表。
  • 客户端读取数据块：客户端直接从DataNode读取数据块，并在本地合并这些数据块，恢复成完整的文件。

2.4、 容错机制

HDFS通过数据块副本机制实现容错。当DataNode发生故障时，NameNode会检测到该DataNode的心跳信号丢失，并在其他健康的DataNode上重新复制丢失的数据块。

2.5、元数据管理

NameNode负责管理文件系统的元数据，包括文件名、目录结构、权限和数据块位置等。为了保证元数据的一致性和持久性，NameNode将元数据存储在内存中，并定期写入到本地磁盘。

3、HDFS的Shell操作

hadoop fs 具体命令 OR hdfs dfs 具体命令

#从本地粘贴到HDFS
hadoop fs -copyFromLocal a.txt /demo
hadoop fs  -put a.txt /#-rm -r：递归删除目录及目录里面内容;-rm：删除文件或文件夹
hadoop fs -rm -r /demo/a.txt#-moveFromLocal：从本地剪切粘贴到HDFS
hadoop fs -moveFromLocal a.txt /demo#-appendToFile：追加一个文件到已经存在的文件末尾
hadoop fs -appendToFile b.txt /demo/a.txt#-copyToLocal：从HDFS拷贝到本地
hadoop fs -copyToLocal /demo/a.txt /usr/local/hadoop-3.4.0
hadoop fs -get /demo/a.txt /usr/local/hadoop-3.4.0#显示目录
hadoop fs -ls /demo#查看内容
hadoop fs -cat /demo/a.txt#创建路径
hadoop fs -mkdir /demo#复制
hadoop fs -cp /a.txt /demo/#-tail：显示一个文件的末尾1kb的数据
hadoop fs -tail /demo/a.txt#查看大小
hadoop fs -du -h /demo#-setrep：设置HDFS中文件的副本数量，副本数超过DataNode时，并不会创建那么多副本，只有当有足够的节点数时才会创建
hadoop fs -setrep 2 /demo/a.txt

4、HDFS的API操作

4.1、配置客户端环境变量

配置环境变量

配置path变量

重启电脑使变量生效

4.2、客户端api的使用

package com.xiaojie.hadoop.utils;import lombok.extern.slf4j.Slf4j;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.text.SimpleDateFormat;
import java.util.Arrays;@Component
@Slf4j
public class HdfsClientUtil {@Value("${wssnail.hdfs.url}")private String url;@Value("${wssnail.hdfs.user-name}")private String userName;@Autowiredprivate Configuration configuration;//创建文件public void mkDirs() throws URISyntaxException, IOException, InterruptedException {//获取文件系统FileSystem fs = FileSystem.get(new URI(url), configuration, userName);// 2 创建目录fs.mkdirs(new Path("/hello/world"));// 3 关闭资源fs.close();log.info("创建目录成功>>>>>>>>>>>>>>>");}//上传文件public void putFile() throws URISyntaxException, IOException, InterruptedException {//设置副本数configuration.set("dfs.replication", "2");FileSystem fs = FileSystem.get(new URI(url), configuration, userName);// 2 上传文件fs.copyFromLocalFile(new Path("d:/hello.txt"), new Path("/"));// 3 关闭资源fs.close();}//下载文件public void downloadFile() throws URISyntaxException, IOException, InterruptedException {// 1 获取文件系统FileSystem fs = FileSystem.get(new URI(url), configuration, userName);// 2 执行下载操作// boolean delSrc 指是否将原文件删除// Path src 指要下载的文件路径// Path dst 指将文件下载到的路径// boolean useRawLocalFileSystem 是否开启文件校验fs.copyToLocalFile(false, new Path("/hello.txt"), new Path("d:/hello1.txt"), true);// 3 关闭资源fs.close();}//移动public void renameFile() throws URISyntaxException, IOException, InterruptedException {// 1 获取文件系统FileSystem fs = FileSystem.get(new URI(url), configuration, userName);// 2 修改文件名称fs.rename(new Path("/hello.txt"), new Path("/hello1.txt"));// 3 关闭资源fs.close();}//删除public void deleteFile() throws URISyntaxException, IOException, InterruptedException {// 1 获取文件系统FileSystem fs = FileSystem.get(new URI(url), configuration, userName);// 2 删除fs.delete(new Path("/hello1.txt"), true);// 3 关闭资源fs.close();}//查看public void listFiles() throws URISyntaxException, IOException, InterruptedException {FileSystem fs = FileSystem.get(new URI(url), configuration, userName);RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");while (listFiles.hasNext()) {LocatedFileStatus fileStatus = listFiles.next();System.out.println("========" + fileStatus.getPath() + "=========");System.out.println("文件权限:" + fileStatus.getPermission());System.out.println("所有者:" + fileStatus.getOwner());System.out.println("所属分组：" + fileStatus.getGroup());System.out.println("文件长度：" + fileStatus.getLen());System.out.println("文件修改时间：" + simpleDateFormat.format(fileStatus.getModificationTime()));System.out.println("副本数：" + fileStatus.getReplication());System.out.println("blockSize: " + fileStatus.getBlockSize() / 1024 / 1024 + "M");System.out.println("文件名称信息：" + fileStatus.getPath().getName());// 获取块信息BlockLocation[] blockLocations = fileStatus.getBlockLocations();System.out.println("块信息：" + Arrays.toString(blockLocations));}// 3 关闭资源fs.close();}//文件文件夹判断public void isFile() throws URISyntaxException, IOException, InterruptedException {FileSystem fs = FileSystem.get(new URI(url), configuration, userName);// 2 判断是文件还是文件夹FileStatus[] listStatus = fs.listStatus(new Path("/"));for (FileStatus fileStatus : listStatus) {// 如果是文件if (fileStatus.isFile()) {System.out.println("文件名称：" + fileStatus.getPath().getName());} else {System.out.println("目录名称：" + fileStatus.getPath().getName());}}// 3 关闭资源fs.close();}}

完整代码：见附录

5、参考

https://blog.csdn.net/weixin_42175752/article/details/140097992

6、附录

1、window环境下的hadoop依赖

链接: https://pan.baidu.com/s/1nFIMXRlVpOrt5ahenq_Prg?pwd=c23a

2、完整代码

https://gitee.com/whisperofjune/spring-boot.git

相关文章：

大数据技术-Hadoop（二）HDFS的介绍与使用

目录 1、HDFS简介 1.1 什么是HDFS 1.2 HDFS的优点 1.3、HDFS的架构 1.3.1、 NameNode 1.3.2、 NameNode的职责 1.3.3、DataNode 1.3.4、 DataNode的职责 1.3.5、Secondary NameNode 1.3.6、Secondary NameNode的职责 2、HDFS的工作原理 2.1、文件存储 2.2 、数据写…...

编程日记 2025/7/27 18:06:51

datax与sqoop的优缺点？

DataX 的优缺点 优点 多种数据源支持&#xff1a;DataX 是一个开源的数据同步工具&#xff0c;它支持多种数据源之间的数据传输&#xff0c;包括关系型数据库&#xff08;如 MySQL、Oracle、SQL Server 等&#xff09;、非关系型数据库&#xff08;如 HBase、Hive、Elasticsear…...

编程日记 2025/7/27 18:03:36

如何学习、使用Ai，才能跟上时代的步伐？

目录 1. 打好基础&#xff1a;理解AI的核心概念 2. 学习AI的核心领域 3. 实践&#xff1a;动手做项目&#xff0c;积累经验 4. 利用AI工具提升工作效率 5. 培养AI思维与批判性思维 6. 关注AI领域的最新研究与趋势 7. 培养跨学科能力 总结&#xff1a; 在AI时代&#xf…...

编程日记 2025/7/23 8:05:22

强化特种作业管理，筑牢安全生产防线

在各类生产经营活动中&#xff0c;特种作业由于其操作的特殊性和高风险性&#xff0c;一直是安全生产管理的重点领域。有效的特种作业管理体系涵盖多个关键方面&#xff0c;从作业人员的资质把控到安全设施的配备维护&#xff0c;再到特种设备的精细管理以及作业流程的严格规范…...

编程日记 2025/7/26 3:02:20

nuxt3中使用element-plus（集成element-plus）

一、安装依赖 pnpm i element-plus --savepnpm i element-plus/icons-vuepnpm i element-plus/nuxt -D二、配置nuxt.config.ts export default defineNuxtConfig({ssr: true,devtools: { enabled: true },typescript: {shim: false,},modules: [element-plus/nuxt],css: [ele…...

编程日记 2025/7/24 18:23:02

HTML 元素：网页构建的基础

HTML 元素：网页构建的基础 HTML（HyperText Markup Language，超文本标记语言）是构建网页的基石。它定义了网页的结构和内容，而HTML元素则是构成HTML文档的基石。在本篇文章中，我们将深入探讨HTML元素的概念、类型、用法，以及如何在网页设计中有效地使用它们。 什么是HT…...

编程日记 2025/7/26 22:31:37

代码解析：安卓VHAL的AIDL参考实现

以下内容基于安卓14的VHAL代码。 总体架构 参考实现采用双层架构。上层是 DefaultVehicleHal&#xff0c;实现了 VHAL AIDL 接口&#xff0c;并提供适用于所有硬件设备的通用 VHAL 逻辑。下层是 FakeVehicleHardware&#xff0c;实现了 IVehicleHardware 接口。此类可模拟与实…...

编程日记 2025/7/25 14:07:21

SpringMVC学习(二)——RESTful API、拦截器、异常处理、数据类型转换

一、RESTful (一)RESTful概述 RESTful是一种软件架构风格&#xff0c;用于设计网络应用程序。REST是“Representational State Transfer”的缩写&#xff0c;中文意思是“表现层状态转移”。它基于客户端-服务器模型和无状态操作&#xff0c;以及使用HTTP请求来处理数据。RES…...

编程日记 2025/7/26 7:14:02

ShenNiusModularity项目源码学习（6：访问控制）

ShenNius.Admin.API项目中的控制器类的函数如果需要访问控制&#xff0c;主要是调用ShenNius.Infrastructure项目下的AuthorityAttribute特性类实现的。AuthorityAttribute继承自ActionFilterAttribute抽象类&#xff0c;后者用于在调用控制器操作函数前后自定义处理逻辑&#…...

编程日记 2025/7/27 18:00:13

前端工程化概述（初版）

阅前悉知 本文为《前端工程化》系列的首篇。由于本系列仍在撰写中&#xff0c;故其余文章暂不发布。您可以通过此链接查看其余已经完成文章&#xff1a;前端工程化专栏 &#xff08;完善中&#xff09; | Jay 的博客 需要注意的是&#xff0c;尽管部分文章可以查看&#xff0c;…...

编程日记 2025/7/27 1:20:46

人工智能与物联网：从智慧家居到智能城市的未来蓝图

引言&#xff1a;未来已来&#xff0c;智能化的世界 想象一下&#xff0c;一个早晨&#xff0c;智能闹钟根据你的睡眠状态自动调整叫醒时间&#xff0c;咖啡机早已备好热腾腾的咖啡&#xff0c;窗帘缓缓拉开&#xff0c;迎接清晨的阳光。这不是科幻小说中的场景&#xff0c;而是…...

编程日记 2025/7/24 16:28:03

【达梦数据库】达梦数据库windows安装

目录 1.选择语言与时区 2.安装向导 3.许可证协议 4.验证 Key 文件 5.选择安装组件 6.选择安装目录 7.目录确认 8.开始安装 9.安装过程 10.安装完成 11.创建数据库实例 12.创建数据库模板 13.数据库目录 14.数据库标识 15.数据库文件 16.初始化参数 17.口令管理…...

编程日记 2025/7/22 2:03:15

Django实现异步视图adrf请求

随着现代Web开发需求的不断升级，异步编程逐渐成为了开发者关注的焦点。Django作为一个功能强大的Web框架，其默认视图是同步的，这在处理高并发请求时可能会面临一定的性能瓶颈。为了弥补这一不足，开发者可以结合Django和第三方工具，如ADRF（Async Django Rest Framework），…...

编程日记 2025/7/25 1:25:52

如何构建有效的AI Agents：从复杂到简约——深度解读Claude实践总结《Building effective agents》(上)

在人工智能技术日新月异的今天&#xff0c;大语言模型(LLM)已经成为技术创新的热点。 然而&#xff0c;在追逐技术前沿的热潮中&#xff0c;我们是否忽视了工程设计的本质&#xff1f; 作为全球人工智能领域的领军企业之一&#xff0c;Anthropic以其在AI安全和伦理方面的深入…...

编程日记 2025/7/20 14:01:54

mybatis基础学习

JDBC Mysql java基础 maven Junit 一、简介 1. 什么是mybatis MyBatis 是一款优秀的持久层框架&#xff1b;它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。MyBatis 可以通过简单的 XML 或注解来配置和映射原…...

编程日记 2025/7/23 8:40:12

【1224】数据结构（sizeof/数组的长度定义/读取字符串函数/线性表长度/左值右值/静态变量/指针与引用）

1.对一维整型数组a的正确说明是 #define SIZE 10 (换行) int a[SIZE];说法是否正确&#xff1f; 正确 数组的SIZE可以用宏定义&#xff0c;但不能用变量 2.如有定义&#xff1a;char str[20];&#xff0c;能将从键盘输入的字符串“How are you”保存到 str 数组的语句是&#x…...

编程日记 2025/7/22 21:54:36

解决PS 撤销卡顿

1. 关闭Windows Ink - 打开触控笔设置 - 禁用Windows Ink功能 2. 创建 PSUserConfig.txt&#xff08;注意Win10/11 可能隐藏文件扩展名&#xff09; - 位置&#xff1a;C:\Users\[用户名]\AppData\Roaming\Adobe\Adobe Photoshop CC 2019\Adobe Photoshop CC 2019 Se…...

编程日记 2025/7/26 21:34:03

Java 中 Stream 流的使用详解

Java 中 Stream 流的使用详解 什么是 Stream&#xff1f; Stream 是 Java 8 引入的一种全新的操作集合的方式。它支持通过声明性方式对集合进行复杂的数据操作&#xff08;如过滤、排序、聚合等&#xff09;&#xff0c;避免使用大量的 for 循环&#xff0c;提高代码的可读性…...

编程日记 2025/7/22 20:38:28

助你通过AI培训师中级考试的目录索引

嘿&#xff0c;各位看官&#xff01;在您正式踏入接下来的知识小宇宙之前&#xff0c;咱先唠唠几句… 家人们&#xff0c;我跟你们说&#xff0c;我脑一热报名了那个 AI 培训师考试。本想着开启一场知识的奇幻之旅&#xff0c;结果呢&#xff0c;学视频内容的时候&#xff0c;那…...

编程日记 2025/7/24 1:23:45

【期末复习】JavaEE（下）

1. MVC开发模式 1.1. 运行流程 1.2. SpringMVC 核心组件 1.3. 注解解释 2. ORM与MyBatis 2.1. ORM—对象关系映射 2.2. MyBatis 2.2.1. 创建步骤 会话是单例的&#xff0c;不能跨方法。&#xff08;单例的原因主要是从数据安全角度出发&#xff09; import org.apache.ibatis…...

编程日记 2025/7/24 4:19:52

HarmonyOS Next 实现登录注册页面(ARKTS) 并使用Springboot作为后端提供接口

1. HarmonyOS next ArkTS ArkTS围绕应用开发在 TypeScript &#xff08;简称TS&#xff09;生态基础上做了进一步扩展&#xff0c;继承了TS的所有特性&#xff0c;是TS的超集 ArkTS在TS的基础上扩展了struct和很多的装饰器以达到描述UI和状态管理的目的 以下代码是一个基于…...

编程日记 2025/7/15 13:14:43

《HelloGitHub》第 105 期

兴趣是最好的老师&#xff0c;HelloGitHub 让你对编程感兴趣&#xff01; 简介 HelloGitHub 分享 GitHub 上有趣、入门级的开源项目。 github.com/521xueweihan/HelloGitHub 这里有实战项目、入门教程、黑科技、开源书籍、大厂开源项目等&#xff0c;涵盖多种编程语言 Python、…...

编程日记 2025/7/18 7:10:07

适配器模式概述

大体介绍 适配器模式&#xff08;Adapter Pattern&#xff09;是一种结构型设计模式&#xff0c;其核心目的是通过提供一个适配器类来使得原本接口不兼容的类可以一起工作。它通过将一个类的接口转换成客户端所期望的接口&#xff0c;使得原本因接口不兼容而无法一起工作的类可…...

编程日记 2025/7/25 7:33:05

跟着问题学3.1——R-CNN模型详解

R-CNN解决什么问题 前面我们介绍了经典的网络模型如AlexNet,VGG,ResNet等&#xff0c;这些模型要解决的任务都是分类问题&#xff0c;即输入一张图片&#xff0c;判断图片上是什么类别的物体&#xff0c;而且一般是单个物体。但实际中&#xff0c;我们会遇到一张图片上有多个或…...

编程日记 2025/7/23 19:36:23

微服务-1 认识微服务

目录​​​​​​​ 1 认识微服务 1.1 单体架构 1.2 微服务 1.3 SpringCloud 2 服务拆分原则 2.1 什么时候拆 2.2 怎么拆 2.3 服务调用 3. 服务注册与发现 3.1 注册中心原理 3.2 Nacos注册中心 3.3 服务注册 3.3.1 添加依赖 3.3.2 配置Nacos 3.3.3 启动服务实例 …...

编程日记 2025/7/27 1:20:01

25秋招面试总结

秋招从八月底开始&#xff0c;陆陆续续面试了不少&#xff0c;现在也是已经尘埃落定&#xff0c;在这里做一些总结一些我个人的面试经历 腾讯 腾讯是我最早面试的一家&#xff0c;一开始捞我面试的是数字人民币&#xff0c;安全方向的岗位&#xff0c;属于腾讯金融科技这块。…...

编程日记 2025/7/26 1:21:22

【C#学习——特性】

前言 C#特性学习、主要是用在数据库连接时如何动态创建对应的表&#xff0c;正常开发应该使用如Entity Framework等ORM框架实现自动创建生成。 代码 1、声明特性 [AttributeUsage(AttributeTargets.Property)] public class PrimaryKeyAttribute : Attribute { }[AttributeUs…...

编程日记 2025/7/25 4:25:07

Appscan扫出API成批分配问题解决方案

漏洞条件&#xff1a; 请求json参数不是接收参数的javabean及其父类中的任意属性。 意思就是&#xff1a;我javaben里面没有这个参数 你缺传递过来了 例如我只需要pageNum pageSize 你还传了role:admin 那么这样就有可能导致致特权升级、数据篡改、绕过安全机制 解决方案&am…...

编程日记 2025/7/23 13:11:40

STM32-笔记14-排队控制系统

一、项目需求 1. 红外传感器检测有人通过并计数&#xff1b; 2. 计数值显示在LCD1602 3. 允许通过时&#xff0c;LED1闪烁&#xff0c;蜂鸣器不响&#xff0c;继电器不闭合&#xff1b; 4. 不允许通过时&#xff0c;LED2闪烁&#xff0c;蜂鸣器响&#xff0c;继电器闭合&#…...

编程日记 2025/7/24 23:36:28

【时间之外】IT人求职和创业应知【80】-特殊日子

目录 北京冬季招聘会 OpenAI CEO炮轰马斯克 英伟达推出全新AI芯片B300 莫欢喜&#xff0c;总成空。本周必须要谨行慎言。 感谢所有打开这个页面的朋友。人生不如意&#xff0c;开越野车去撒野&#xff0c;会害了自己&#xff0c;不如提升自己。提升自己的捷径就是学习和思考…...

编程日记 2025/7/25 19:23:00

【GlobalMapper精品教程】090：合并多个面状图斑（以一个镇的多个村不动产宗地为例）

本文讲述在Globalmapper中，合并多个面状图斑的方法，以一个镇的多个村不动产宗地为例（假设一个镇的多个村的不动产宗地数据是分别存储在不同的村子矢量数据中，此时需要合并），点状和线状的操作方法类似。 文章目录 一、加载数据二、数据分析三、合并图斑四、注意事项一、加…...

编程日记 2025/7/26 17:00:25

ffmpeg之播放一个yuv视频

播放YUV视频的步骤 初始化SDL库&#xff1a; 目的&#xff1a;确保SDL库正确初始化&#xff0c;以便可以使用其窗口、渲染和事件处理功能。操作&#xff1a;调用 SDL_Init(SDL_INIT_VIDEO) 来初始化SDL的视频子系统。 创建窗口用于显示YUV视频&#xff1a; 目的&#xff1a;…...

编程日记 2025/7/18 1:10:21

在国产电脑上运行PDFSAM软件使用pdf分割合并交替混合处理pdf文档

软件下载地址: https://sourceforge.net/projects/pdfsam/files/ 需要注意事项&#xff0c;系统需要java环境&#xff0c;确认系统有java环境&#xff0c;根据软件版本需求安装对应的java运行环境。 下载pdfsam-4.3.4-linux.tar.gz安装包&#xff0c;解压&#xff0c;将runt…...

编程日记 2025/7/26 16:03:56

总结一下本次使用docker部署遇到的问题

1.Invalid bound statement (not found):异常 解决&#xff1a;原因是Dao层与动态Sql映射文件名字没有对应 2.element-plus的upload组件文件上传不成功 因为是直接请求后端不是统一的api前缀&#xff0c;所以nginx需要额外配置跨域 3.文件上传问题 描述&#xff1a;当时文…...

编程日记 2025/7/24 21:49:11

c#泛型学习

使用泛型的优点&#xff1a;使用泛型的好处包括类型安全、代码重用和性能优化。 在C#中&#xff0c;泛型是一种强大的工具&#xff0c;它允许你在编写类、接口、方法和委托时定义类型参数。这些类型参数在实例化泛型类型或调用泛型方法时被具体的类型所替代。 1. 泛型类 泛型…...

编程日记 2025/7/27 5:17:36

十二月第五周python

第一个程序&#xff0c;熟悉转换器&#xff0c;把加法计算器变成exe# // 1,制作加法计算器&#xff0c; # 输入两个数字得到相加结果并输出aint(input("输入数字&#xff1a;"))#int()是把输入的内容转换成整数&#xff0c; bint(input("输入数字&#xff1a;&…...

编程日记 2025/7/24 22:57:17

Unity中如何修改Sprite的渲染网格

首先打开SpriteEditor 选择Custom OutLine,点击Genrate 则在图片边缘会出现边缘线&#xff0c;调整白色小方块可以调整边缘 调整后&#xff0c;Sprite就会按照调整后的网格渲染了。 如何在UI中使用&#xff1f; 只要在UI的Image组件中选择Use Sprite Mesh 即可 结果&#xff1…...

编程日记 2025/7/25 4:49:33

修复OpenHarmony系统相机应用横屏拍照按钮点不到的问题

适配OpenHarmony系统相机应用横屏UI&#xff0c; 相关pr: https://gitee.com/openharmony/applications_camera/pulls/233/files 适配效果 如何安装 编译好的hap提供在附件中 1.预置在源码&#xff0c;随固件安装 2.安装hap hdc shell "mount -o remount,rw /"…...

编程日记 2025/7/21 22:39:29

keepass实现google自输入_SSH_TELNET_RDP联动

涉及到的是使用开源密码管理工具KeePass结合特定插件实现自动化密码填充的功能&#xff0c;特别是在谷歌浏览器中的应用。KeePass是一款强大的密码管理软件&#xff0c;它允许用户安全地存储各种账号的用户名和密码&#xff0c;并通过加密保护这些敏感信息。 1. keepass安装及配…...

编程日记 2025/7/24 0:21:14

电脑缺失sxs.dll文件要怎么解决？

一、文件丢失问题&#xff1a;以sxs.dll文件缺失为例 当你在运行某个程序时&#xff0c;如果系统提示“找不到sxs.dll文件”&#xff0c;这意味着你的系统中缺少了一个名为sxs.dll的动态链接库文件。sxs.dll文件通常与Microsoft的.NET Framework相关&#xff0c;是许多应用程序…...

编程日记 2025/7/27 3:51:17

Python实现机器学习驱动的智能医疗预测模型系统的示例代码框架

以下是一个使用Python实现机器学习驱动的智能医疗预测模型系统的示例代码框架。这个框架涵盖了数据收集&#xff08;爬虫&#xff09;、数据清洗和预处理、模型构建&#xff08;决策树和神经网络&#xff09;以及模型评估的主要步骤。 1. 数据收集&#xff08;爬虫&#xff09…...

编程日记 2025/7/26 20:01:04

Vue3生态: 使用Vite进行高速开发

Vue3生态: 使用Vite进行高速开发 一、Vite概述 什么是Vite 法语意为 "快速"&#xff09;是一个为现代浏览器原生开发提供服务的构建工具。它使用ES模块作为原生浏览器加载工具&#xff0c;利用浏览器去解析 import 的方式加载文件&#xff0c;极大地加快了应用的启动…...

编程日记 2025/7/25 17:03:12

Android MQTT关于断开连接disconnect报错原因

最近项目遇到一个需求&#xff0c;就是在登录状态的时候。才能接收到消息。所有我在上线&#xff0c;下线状态的时候。做了MQTT断开和连接的动作。然后就是发生了。我们标题的这关键点了。直接报错了。报错的内容如下&#xff1a; MqttAndroidClient unregisterRecevicer afte…...

编程日记 2025/7/25 7:16:31

YOLO11全解析：从原理到实战，全流程体验下一代目标检测

前言 一、模型介绍 二、网络结构 1.主干网络&#xff08;Backbone&#xff09; 2.颈部网络&#xff08;Neck&#xff09; 3.头部网络&#xff08;Head&#xff09; 三、算法改进 1.增强的特征提取 2.优化的效率和速度 3.更高的准确性与更少的参数 4.环境适应性强 5.…...

编程日记 2025/7/24 18:38:50

python中函数的用法总结（二阶段）

话接上回&#xff0c;继续讲下函数的用法 10. 函数的注解&#xff08;Function Annotations&#xff09; Python 3 引入了函数注解&#xff0c;允许你在函数定义时给参数和返回值添加注解。注解并不影响函数的实际行为&#xff0c;它们更多地用于代码的可读性、文档生成以及静…...

编程日记 2025/7/25 17:22:42

1082 射击比赛

本题目给出的射击比赛的规则非常简单&#xff0c;谁打的弹洞距离靶心最近&#xff0c;谁就是冠军&#xff1b;谁差得最远&#xff0c;谁就是菜鸟。本题给出一系列弹洞的平面坐标(x,y)&#xff0c;请你编写程序找出冠军和菜鸟。我们假设靶心在原点(0,0)。 输入格式&#xff1a;…...

编程日记 2025/7/26 23:01:50

模型工作流：自动化的模型内部三角面剔除

1. 关于自动减面 1.1 自动减面的重要性及现状 三维模型是游戏、三维家居设计、数字孪生、VR/AR等几乎所有三维软件的核心资产&#xff0c;模型的质量和性能从根本上决定了三维软件的画面效果和渲染性能。其中&#xff0c;模型减面工作是同时关乎质量和性能这两个要素的重要工…...

编程日记 2025/7/21 14:01:13

力扣题目解析--两数相除

题目 给你两个整数&#xff0c;被除数 dividend 和除数 divisor。将两数相除&#xff0c;要求 不使用 乘法、除法和取余运算。 整数除法应该向零截断&#xff0c;也就是截去&#xff08;truncate&#xff09;其小数部分。例如&#xff0c;8.345 将被截断为 8 &#xff0c;-2.…...

编程日记 2025/7/25 12:22:44

Python PyMupdf 去除PDF文档中Watermark标识水印

通过PDF阅读或编辑工具&#xff0c;可在PDF中加入Watermark标识的PDF水印&#xff0c;如下图&#xff1a; 该类水印特点 这类型的水印&#xff0c;会在文件的字节流中出现/Watermark、EMC等标识&#xff0c;那么&#xff0c;我们可以通过改变文件字节内容&#xff0c;清理掉…...

编程日记 2025/7/25 14:40:45

嵌入式AI STM32部署卷积神经网络的魔法棒

基于STM32部署卷积神经网络控制设备方案-AI项目-STM32部署卷积神经网络方案-红外信号复制方案-轨迹识别 项目包含下述内容 硬件部分、PCB制板、BOM表文件等等 (Hardware)外壳、3D打印文件 (3D_print)软件程序、用于电子法棒的软件程序 AI Keil等等(Software)QT上位机动作识别…...

编程日记 2025/7/26 9:58:22