当前位置：首页 > news >正文

JAVA 零拷贝技术和主流中间件零拷贝技术应用

news 来源：原创 2025/6/24 3:39:09

- 介绍
- - Java代码里面有哪些零拷贝技术
  - java 中`文件读写`方式主要分为
  - 什么是`FileChannel`
  - - mmap实现
    - sendfile实现
- 文件IO实战
- - 需求
  - 代码编写实战
  - - IOTest.java 文件
    - 上传阿里云，测试运行代码看耗时
    - - 为啥带buffer的IO比普通IO性能高？
      - BufferedInputStream为啥性能高点
- 性能差异分析
- - 原理分析
- 中间件零拷贝的应用
- - Nginx 使用就是 sendfile 零拷贝
  - RocketMQ
  - 其它中间件
  - 优缺点

介绍

Java代码里面有哪些零拷贝技术

Java NIO对mmap -> fileChannel.map()
Java NIO对sendfile -> fileChannel.transferTo()和 fileChannel.transferFrom()
API是否使用零拷贝依赖于底层的系统实现

java 中`文件读写`方式主要分为

IO输入输出流，存在于 java.io 中【普通】

 public static void inputStream(String inputFilePathStr, String outputFilePathStr) {long start = System.currentTimeMillis();try (InputStream fis = new FileInputStream(inputFilePathStr);FileOutputStream fos = new FileOutputStream(outputFilePathStr);) {byte[] buf = new byte[1024];int len = 0;while ((len = fis.read(buf)) != -1) {fos.write(buf);}} catch (IOException e) {e.printStackTrace();}long end = System.currentTimeMillis();System.out.println(end - start);}

FileChannel 文件通道，存在于java.nio.channels.FileChannel 中【高级】

什么是`FileChannel`

是一个连接到文件的通道,可以通过文件通道读写文件，该常被用于高效的网络/文件的数据传输和大文件拷贝
应用程序使用FileChannel 写完以后，数据是在PageCache上的，操作系统不定时的把PageCache的数据写入到磁盘
- 使用 channel.force(true) 把文件相关的数据强制刷入磁盘上去，避免宕机数据丢失
使用之前必须先打开它，但是无法直接 new 一个 FileChannel
常规通过使用一个InputStream、OutputStream或RandomAccessFile来获取一个FileChannel实例

RandomAccessFile randomAccessFile = new RandomAccessFile("/usr/data/xdclass_nio-data.txt", "rw");
FileChannel inChannel = randomAccessFile.getChannel();

mmap实现

- map方法，把文件映射成内存映射文件
- `MappedByteBuffer`，是抽象类 也是ByteBuffer的子类  ，具体实现子类是DirectByteBuffer，可被通道进行读写
- 一次 map 大小要限制 2G 内，过大 map 会增加虚拟内存回收和重新分配的压力 ，直接报错- `FileChannel.java` 中的 `map` 对 `long size` 进行了限制，不能大于 `Integer.MAX_VALUE`，否则就报错- JDK 层的为何要限制，是因为底层 C++的类型，无符号int类型最大是2^31 -1， 2^31 -1 字节就是 2GB - 1B

在这里插入图片描述

//position: 文件开始
//size：映射的文件区域大小
//mode: 访问该内存映射文件的方式： READ_ONLY(只读) READ_WRITE(读写),PRIVATE(创建一个修改副本)
MappedByteBuffer map(int mode,long position,long size);

sendfile实现

将字节从此通道的文件传输到给定的可写入字节通道
返回值为真实拷贝的size，最大拷贝2G，超出2G的部分将丢弃

//position - 文件中的位置,从此位置开始传输，必须非负数
//count - 要传输的最大字节数,必须非负数
//target - 目标通道
//返回：实际已传输的字节数，可能为零
fileChannel.transferTo(long position, long count, WritableByteChannel target)

将字节从给定的可读取字节通道传输到此通道的文件中
对比从源通道读取并将内容写入此通道的循环语句相比，此方法更高效

//src - 源通道
//position - 文件中的位置，从此位置开始传输,必须非负数
//count - 要传输的最大字节数, 必须非负数
//返回：实际已传输的字节数，可能为零
fileChannel.transferFrom(ReadableByteChannel src, long position, long count)

注意
- 上述方法允许将一个通道连接到另一个通道，不需要在用户态和内核态来回复制，同时通道间的内核态数据也无需复制
- transferTo()只有源为FileChannel才支持transfer这种高效的复制方式，其他如SocketChannel都不支持transfer模式
- 一般可以做FileChannel->FileChannel 和 FileChannel->SocketChannel的transfer零拷贝

文件IO实战

需求

实现一个文件拷贝，对比不同IO方式性能差异,文件大小 200MB～5GB
编码类型
- 普通java的io流
- 普通java的带buffer的io
- 零拷贝实现之mmap的io
- 零拷贝实现之sendfile的io
运行环境
- 阿里云Linux CentOS7.X
- 安装JDK11 配置全局环境变量
  - 配置 vim /etc/profile
  - 环境变量立刻生效
    - source /etc/profile
    - 查看安装情况 java -version

JAVA_HOME=/usr/local/software/jdk11
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

代码编写实战

IOTest.java 文件

package net.demo;import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;/***  java IOTest.java "io" "source" "target"*/
public class IOTest {public static void main(String[] args) {String type = args[0];String inputFilePath = args[1];String outputFilePath = args[2];if ("io".equalsIgnoreCase(type)) {inputStreamCopyFile(inputFilePath, outputFilePath);} else if ("buffer".equalsIgnoreCase(type)) {bufferInputStreamCopyFile(inputFilePath, outputFilePath);} else if ("mmap".equalsIgnoreCase(type)) {mmapCopyFile(inputFilePath, outputFilePath);} else if ("sendfile".equalsIgnoreCase(type)) {sendfileCopyFile(inputFilePath, outputFilePath);}}private static void sendfileCopyFile(String inputFilePath, String outputFilePath) {long start = System.currentTimeMillis();try (FileChannel channelIn = new FileInputStream(inputFilePath).getChannel();FileChannel channelOut  = new FileOutputStream(outputFilePath).getChannel();) {// 代码一：针对小于2GB的问题，返回值为真实拷贝的size,最大拷贝2G，超出2G的部分将丢弃，最终拷贝文件大小只有2GB多点// channelIn.transferTo(0, channelIn.size(), channelOut);//代码二：针对大于2GB的文件，方案//获取文件总大小long size = channelIn.size();for (long left = size; left > 0; ) {//transferSize所拷贝过去的真实长度，size - left计算出下次要拷贝的位置long transferSize = channelIn.transferTo((size - left), left, channelOut);System.out.println("总大小："+size+"，拷贝大小："+transferSize);//left剩余字节多少left = left - transferSize;}} catch (IOException e) {e.printStackTrace();}long end = System.currentTimeMillis();System.out.println("耗时："+(end - start));}private static void mmapCopyFile(String inputFilePath, String outputFilePath) {long start = System.currentTimeMillis();try (FileChannel channelIn = new FileInputStream(inputFilePath).getChannel();FileChannel channelOut = new RandomAccessFile(outputFilePath, "rw").getChannel();) {long size = channelIn.size();System.out.println("mappedFile:" + size);MappedByteBuffer mbbi = channelIn.map(FileChannel.MapMode.READ_ONLY, 0, size);MappedByteBuffer mbbo = channelOut.map(FileChannel.MapMode.READ_WRITE, 0, size);for (int i = 0; i < size; i++) {byte b = mbbi.get(i);mbbo.put(i, b);}} catch (Exception e) {e.printStackTrace();}long end = System.currentTimeMillis();System.out.println("耗时："+(end - start));}private static void bufferInputStreamCopyFile(String inputFilePath, String outputFilePath) {long start = System.currentTimeMillis();try (BufferedInputStream bis = new BufferedInputStream( new FileInputStream(inputFilePath));BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream(outputFilePath));) {//            byte[] buf = new byte[64];byte[] buf = new byte[1];//方便测试字节改用1int len;while ((len = bis.read(buf)) != -1) {bos.write(buf);}} catch (Exception e) {e.printStackTrace();}long end = System.currentTimeMillis();System.out.println("耗时："+(end - start));}private static void inputStreamCopyFile(String inputFilePath, String outputFilePath) {long start = System.currentTimeMillis();try (FileInputStream fis = new FileInputStream(inputFilePath);FileOutputStream fos = new FileOutputStream(outputFilePath)) {//            byte[] buf = new byte[64];byte[] buf = new byte[1];//方便测试字节改用1int len;while ((len = fis.read(buf)) != -1) {fos.write(buf);}} catch (Exception e) {e.printStackTrace();}long end = System.currentTimeMillis();System.out.println("耗时："+(end - start));}
}

上传阿里云，测试运行代码看耗时

#释放所有缓存
echo 3 > /proc/sys/vm/drop_caches#查看内存使用
free -h -w -s 1#查看机器负载
top java IOTest.java "io" "/usr/local/software/slow.log" "/usr/local/software/iotest/slow.log"
java IOTest.java "buffer" "/usr/local/software/slow.log" "/usr/local/software/iotest/slow.log"
java IOTest.java "mmap" "/usr/local/software/slow.log" "/usr/local/software/iotest/slow.log"
java IOTest.java "sendfile" "/usr/local/software/slow.log" "/usr/local/software/iotest/slow.log"

局部性原理：指计算机在执行某个程序时,倾向于使用最近使用的数据
- 时间局部性：如果程序中的某条指令一旦被执行，则不久的将来该指令可能再次被执行
- 空间局部性：一旦程序访问了某个存储单元，在不久的将来，其附近的存储单元也最有可能被访问

为啥带buffer的IO比普通IO性能高？

文件读取，OS的做了什么优化操作
- 每次读数据的时候，系统根据局部性原理，通过 DMA 会读入更多的数据到内核缓冲区里面
- OS根据局部性原理会在一次 read()系统调用过程中预读更多的文件数据缓存在内核IO缓冲区中
- 当继续访问的文件数据在缓冲区中时便直接拷贝数据到进程缓冲区，避免了再次的低效率磁盘IO操作
- OS已经帮减少磁盘IO操作次数，提高了性能

BufferedInputStream为啥性能高点

通过减少系统调用次数来提高性能了IO性能，即减少CPU在内核态和用户态的上下文切换次数
在 kernel buffer 把数据拷贝到 user buffer 的时候，把数据多拷贝到 user buffer 中
比如
- 进程user buffer想要向内核态读取4个字节，但是内核态上面有8个字节数据，大方点都拷贝到user buffer里面
- 当进程user buffer下次要再读取4个字节的时候，因为数据已经在user buffer中了，就不需要上下文切换

性能差异分析

普通拷贝
- 普通java的io流【慢】1800秒
- 普通java的带buffer的io【快】80秒
零拷贝（1～2g文件差别不大）
- 零拷贝实现之mmap的io【快】30秒
- 零拷贝实现之sendfile的io【快】30秒

原理分析

mmap
sendfile

中间件零拷贝的应用

Nginx 使用就是 sendfile 零拷贝

Web Server 处理静态页面请求时，是从磁盘中读取网页的内容，所以选择这个
- 因为 sendfile不能在应用程序中修改数据，所以适合静态文件服务器或者是直接转发数据的代理服务器

RocketMQ

主要是mmap，也有小部分使用sendfile
rocketMQ在消息存盘和网络发送使用mmap, 单个CommitLog文件大小默认1GB
- 要在用户进程内处理数据，然后再发送出去的话，用户空间和内核空间的数据传输就是不可避免的

其它中间件

Kafka ：主要是sendfile，也有小部分使用mmap
- kafka 在客户端和 broker 进行数据传输时，broker 使用 sendfile 系统调用，类似【FileChannel.transferTo】 API，将磁盘文件读到 OS 内核缓冲区后，直接转到 socket buffer 进行网络发送，即 Linux 的 sendfile
Hadoop、Tomcat、Kafka、Netty、Zookeeper、Rabbitmq… 等都有用到零拷贝

优缺点

零拷贝的目标
- 解放CPU，避免CPU做太多事情
- 减少内存带宽占用
- 减少用户态和内核态上下文切换过多
- 在文件较小的时候 mmap 耗时更短，当文件较大时 sendfile 的方式最优
零拷贝方式对比
- sendfile
  - 无法在调用过程中修改数据，只适用于应用程序不需要对所访问数据进行处理修改情况
  - 场景
    - 比如 静态文件传输，MQ的Broker发送消息给消费者
    - 如果想要在传输过程中修改数据，可以使用mmap系统调用
  - 文件大小：适合大文件传输
  - 切换和拷贝：2次上下文切换，最少 2 次数据拷贝
- mmap
  - 在mmap调用可以在应用程序中直接修改Page Cache中的数据，使用的是mmap+write两步
    - 调用比sendfile成本高，但优于传统I/O的拷贝实现方式，虽然比 sendfile 多了上下文切换
    - 但用户空间与内核空间并不需要数据拷贝，在正确使用情况下并不比 sendfile 效率差
  - 场景
    - 多个线程以只读的方式同时访问一个文件， mmap 机制下多线程共享同一物理内存空间，节约内存
  - 文件大小：适合小数据量读写
  - 切换和拷贝：4 次上下文切换，3 次数据拷贝

JAVA 零拷贝技术和主流中间件零拷贝技术应用

目录介绍Java代码里面有哪些零拷贝技术java 中文件读写方式主要分为什么是FileChannelmmap实现sendfile实现文件IO实战需求代码编写实战IOTest.java 文件上传阿里云，测试运行代码看耗时为啥带buffer的IO比普通IO性能高？BufferedInputStream为啥性能高点…...

编程日记 2025/6/24 3:39:09

STM32软件IIC驱动TCA9548A多路测量AHT10

STM32软件IIC驱动TCA9548多路测量AHT10 TCA9548AAHT10代码逻辑代码展示现象总结 TCA9548A TCA9548A 有八个可通过 I2C 总线控制的双向转换开关，SCL/SDA 上行对扩展到八个下行对，或者通道，适用于系统中存在I2C目标地址冲突的情况。8路双向转换…...

编程日记 2025/6/24 3:06:28

博弈论3：图游戏SG函数（Graph Games）

目录一、图游戏是什么 1.游戏特征 2.游戏实例二、图游戏的必胜策略 1.SG 函数（Sprague-Grundy Function） 2.必胜策略（利用SG函数） 3.拿走游戏转化成图游戏（Take-away Game -> Graph Game） 一、图…...

编程日记 2025/6/20 5:54:31

音视频入门基础：MPEG2-TS专题（17）——FFmpeg源码中，解析TS program map section的实现

一、引言由《音视频入门基础：MPEG2-TS专题（16）——PMT简介》可以知道，PMT表（Program map table）由一个或多个段（Transport stream program map section，简称TS program map sectio…...

编程日记 2025/6/24 2:43:55

SQL server学习05-查询数据表中的数据（上）

目录一，基本格式 1，简单的SQL查询语句 2，关键字TOP 3，关键字DISTINCT 二，模糊查询 1，通配符三，对结果集排序 1，不含关键字DISTINCT 2，含关键字DISTINCT 3&…...

编程日记 2025/6/20 5:01:18

Transformer记录Attention is all you need

视频： Transformer 原理详解_哔哩哔哩_bilibili 代码： harvardnlp/annotated-transformer: An annotated implementation of the Transformer paper....

编程日记 2025/5/31 8:04:42

JAVA入门：使用IDE开发

JAVA入门：使用IDE开发什么是IDE IDE（Integrated Development Environment，集成开发环境）是一种软件应用程序，它为程序开发、软件设计、项目管理等提供全面的设施。简单来说就是简化开发过程，让编程更加…...

编程日记 2025/6/24 3:28:07

汽车嵌入式软件构建高效技术团队的全面思考

在汽车嵌入式软件开发领域，构建一支高效的通用技术团队至关重要。这类团队负责为各种项目提供可复用、标准化的技术基石，从而提高开发效率、降低成本并确保产品质量。构建这样的团队需要从技术能力、角色分工、标准化与复用、流程管理与质量保证、工具和…...

编程日记 2025/6/20 15:08:38

Debezium源码分析: TopicSelector实现原理与应用

Debezium源码分析: TopicSelector实现原理与应用 Debezium源码分析: TopicSelector实现原理与应用文章目录背景介绍主要功能应用场景实现原理DataCollectionId 接口核心设计工作流程源码分析基础实现默认选择器创建应用示例1. 分库分表场景2. 多租户场景3. 业务领域分组总结设计…...

编程日记 2025/6/1 10:05:35

SpringCloud微服务实战系列：03spring-cloud-gateway业务网关灰度发布

目录 spring-cloud-gateway 和zuul spring webflux 和 spring mvc spring-cloud-gateway 的两种模式 spring-cloud-gateway server 模式下配置说明 grayLb://system-server 灰度发布代码实现 spring-cloud-gateway 和zuul zuul 是spring全家桶的第一代网关组件&#x…...

编程日记 2025/6/21 15:38:49

【恶意软件检测论文】通过提取 API 语义来实现的一个新颖的安卓恶意软件检测方法

目录摘要1. 引言2. 相关工作2.1. 基于重新训练的恶意软件检测2.2. 基于应用关系图的恶意软件检测2.3. 基于异常样本识别的恶意软件检测2.4. 基于API聚类的恶意软件检测 3. AMDASE概述4. 基于语义距离的API聚类4.1. API特征提取4.2. API句子生成4.3. API句子编码4.4.聚类中心生…...

编程日记 2025/6/24 3:07:54

大模型系列4--开源大模型本地部署到微调（WIP）

背景一直想真正了解大模型对硬件资源的需求，于是准备详细看一篇视频，将核心要点总结记录下。本文内容参考视频：保姆级教程：6小时掌握开源大模型本地部署到微调，感谢up主训练成本训练 > 微调 > 推理训练GPT…...

编程日记 2025/6/24 3:09:53

Linux 磁盘满了怎么办？快速排查和清理方法

当 Linux 磁盘满了，会导致系统无法正常运行，比如无法写入文件、服务停止、甚至系统崩溃。因此，快速排查并清理磁盘空间是非常重要的。以下是详细的排查和解决步骤： 一、快速定位磁盘占用原因 1. 检查磁盘使用情况使用 df 命令查…...

编程日记 2025/6/23 15:39:58

go 协程练习例题

go 协程练习例题例1：统计 1-200000 的数字中，哪些是素数例2：使用单通道、2个协程交替读取字符串例3：使用1个管道，2个协程写数据、1个协程读例4：完成一个并发任务调度器，按照指定顺序执行一系列…...

编程日记 2025/6/19 22:39:29

JAVA：访问者模式（Visitor Pattern）的技术指南

1、简述访问者模式（Visitor Pattern）是一种行为型设计模式，允许你将操作分离到不同的对象中，而无需修改对象本身的结构。这种模式特别适合复杂对象结构中对其元素进行操作的场景。本文将介绍访问者模式的核心概念、优缺点，并通过详细代码示例展示如何在实际应用中实现…...

编程日记 2025/5/31 1:06:58

如何实现邮箱+验证码登录功能（express+vue+MySQL版）

目录 1. 初始化项目2. 配置环境变量3. 更新数据库4. 编写路由函数5. 前端调用接口 1. 初始化项目前端根目录：/web 后端根目录：/api_server 安装依赖： npm install express mysql nodemailer randomstring dotenv其中，nodemaile…...

编程日记 2025/6/24 3:00:50

Pycharm访问MySQL数据库·上

1.MySQL驱动模块Connector #导入数据库的驱动工具 import mysql.connector #连接数据库必备的条件 config {"host": "localhost","port": 3306,"user": "root","password": "888888","database&…...

编程日记 2025/6/24 3:26:53

vscode+msys2+clang+xmake c++开发环境搭建

转载请标明出处：小帆的帆的专栏安装msys2 下载msys2安装包：清华源下载地址安装msys2：安装目录，C:\Softwares\msys64 安装cling工具链，xmake ！！！在开始菜单中启动MSYS2 CLANG64,…...

编程日记 2025/6/24 3:21:10

Python面试常见问题及答案5

一、基础语法相关问题1： Python的可变数据类型和不可变数据类型有哪些？ 答案： 在Python中，可变数据类型有列表（list）、字典（dict）、集合（set）。这些数据类型…...

编程日记 2025/6/21 10:58:17

威联通docker无法拉取镜像

链接：威联通TS-464C 折腾--Container Station国内无法拉取镜像_docker_wangguanghe-开放原子开发者工作坊我这里用的是IPV6 ，没有公网资源啊。 wangguanghe...

编程日记 2025/6/1 10:11:54

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf 文章目录 0 论文工作1 论文方法2 实验结果 0 论文工作感觉这个论文可能能shapE差不多同时期工作，但是shapE是生成任意种类。本文提出了一种新颖的单图像视图合成方法NerfDiff，该方法利用神经辐射场 …...

编程日记 2025/6/24 3:07:54

ASP.net Core EntityFramework Code EF code 汇总

Entity FrameWork EF 总结 EF Core EF Core 如果实体模型很多，全部放在上下文中的 OnModelCreating(ModelBuilder modelBuilder) 不太好维护可以把实体模型分离出去，每个类创建一个实体模型 public class BookConfiguration ：IEntityT…...

编程日记 2025/6/24 2:41:30

AtCoder Beginner Contest 384 Solution

文章目录 ABCDEFG A void solve() {string s; char x, y;qr(n, x, y, s);for(auto i: s) {if(i ! x) i y;cout << i;} }B void solve() {qr(n, m);for (int i 1; i < n; i) {int x, y;qr(x, y);x--;if(1600 - x * 400 < m && m < 2799 - x * 400) m…...

编程日记 2025/6/24 3:35:01

c# TaskScheduler

这里记录下 TaskScheduler 的简单用法。使用场景： 使用 Task 的时候，大家知道用 TaskFactory.StartNew 可以用来创建一个 Task 。这里如果创建了 3 个，那么这3个 Task 就各自放飞直接运行了。 class Program {private static TaskFactory…...

编程日记 2025/6/23 21:40:05

FFMPEG视频转图片

用FFMPEG视频转图片，并且for循环 import os import subprocess# 输入文件夹和输出文件夹路径 input_folder r"I:\xxx" output_base_folder r"D:\xxx\YOLO\data\video" output_subfolder_name "20240609"# 创建输出子文件夹 output…...

编程日记 2025/6/24 2:40:21

激活函数-swiGLU

swiGLU（Switch Gated Linear Unit）简介 swiGLU 是一种改进的激活函数模块，主要用于深度学习中的 Transformer 模型和其他神经网络架构。它在 GLU（Gated Linear Unit） 的基础上进行了修改，以提升模型的表现…...

编程日记 2025/6/24 3:15:23

PCIe学习笔记

PCIE高速串行数据总线当拿到一块板子比如你要用到PCIE 首先要看这块板子的原理图一般原理图写的是 PCI express 表示PCIE 以下是Netfpga为例下的PCIE插口元件原理图 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/01dc604fbdc847e8998a978c83c7b2eb.png 一般主…...

编程日记 2025/6/24 3:32:13

制作容器镜像

容器基础镜像制作由于项目使用麒麟操作系统，需要在麒麟桌面操作系统和服务器操作系统里编译代码，如果每次都在物理机和虚拟机里编译太不方便，也无法使用常用的 jenkins k8s 组成的 CI/CD 编译环境，如果基于整个ISO太大了&#…...

编程日记 2025/6/3 2:36:14

mysql系列4—mysql数据库设计和查询优化

背景数据库作为持久层需要从磁盘读写数据，是整个系统的短板，其性能会直接体现在产品性能上。因此数据库的设计和优化再怎么强调也不为过。本文将从数据库设计和查询优化两个角度思考如何提高数据库性能，内容包括数据库范式与表设计、基本字…...

编程日记 2025/6/2 7:03:31

音视频入门基础：MPEG2-TS专题（16）——PMT简介

一、引言 PMT（Program Map Table）与PAT表成对出现，其PID由PAT表给出。通过PMT表可以得到该节目包含的视频和音频信息，从而找到音视频流： 二、PMT表中的属性根据《T-REC-H.222.0-202106-S!!PDF-E.pdf》第79页&#x…...

编程日记 2025/6/24 2:59:29

2024小迪安全信息收集第三课

目录一、Web应用-架构分析-WAF&蜜罐识别二、Web应用-架构分析-框架组件指纹识别 #Web架构开源CMS 前端技术开发语言框架组件 Web服务器应用服务器数据库类型操作系统信息应用服务信息 CDN信息 WAF信息蜜罐信息其他组件信息 #指纹识别 #WAF识别…...

编程日记 2025/6/22 10:20:05

ESP32-C3 入门笔记07: ESP-NOW动态绑定MAC地址. (ESP-IDF + VSCode)

ESP-NOW 简介 ESP-NOW [gitbuh] ESP-NOW 是一种由乐鑫公司定义的无连接 Wi-Fi 通信协议。在 ESP-NOW 中，应用程序数据被封装在各个供应商的动作帧中，然后在无连接的情况下，从一个 Wi-Fi 设备传输到另一个 Wi-Fi 设备。 CTR 与 CBC-MAC 协…...

编程日记 2025/6/24 3:12:45

Windows如何安装go环境，离线安装beego

一、安装go 1、下载go All releases - The Go Programming Language 通过网盘分享的文件：分享的文件链接: https://pan.baidu.com/s/1MCbo3k3otSoVdmIR4mpPiQ 提取码: hxgf 下载amd64.zip文件，然后解压到指定的路径 2、配置环境变量需要新建两个环境…...

编程日记 2025/6/24 3:18:26

【Unity技巧】如何设置屏幕最小宽度

在 Unity 中，设置屏幕最小宽度可以通过调整 Canvas 的 CanvasScaler 组件来控制 UI 元素的缩放，并确保 UI 在不同屏幕宽度下始终能保持适当的布局。不过，如果你想要限制游戏的实际窗口宽度，通常是通过代码来实现的。例如&#x…...

编程日记 2025/6/23 7:42:29

【新版】阿里云ACP云计算题库及答案解析

阿里云ACO云计算考试提醒都是选择题，70道单选题30道单选题，聪明的小伙伴都知道刷题备考加深记忆，给大家分享一波阿里云ACP云计算题库及答案，希望对大家顺利拿到阿里云ACP云计算高级工程师证书有所帮助！ 1、设计云上架…...

编程日记 2025/6/24 2:45:32

【蓝桥杯每日一题】推导部分和——带权并查集

推导部分和 2024-12-11 蓝桥杯每日一题推导部分和带权并查集题目大意对于一个长度为 ( N ) 的整数数列 A 1 , A 2 , ⋯ , A N A_1, A_2, \cdots, A_N A1,A2,⋯,AN ，小蓝想知道下标 ( l ) 到 ( r ) 的部分和 ∑ i l r A i A l A l 1 ⋯ A r \sum_{…...

编程日记 2025/6/23 22:40:35

【Linux服务器nginx前端部署详解】ubantu22.04，前端Vue项目dist打包

本文主要讲一下在Linux系统环境下（以ubantu22.04为例），如何用nginx部署前端Vue项目打包的dist静态资源。有些具体的命令就不展开讲了，可以自行查看其他博主的文章，我主要讲整体的步骤和思路。一、ubantu系统安装ngin…...

编程日记 2025/6/4 8:22:09

Groovy 语法快速入门

文章目录 1. Groovy 的特点2. 基本语法2.1. 变量2.2. 字符串2.3. 条件语句 3. 集合操作3.1. 列表（List）3.2. 映射（Map） 4. 循环语句4.1. 普通循环4.2. 闭包遍历 5. 方法定义6. 闭包（Closure）6.1. 定义与调用…...

编程日记 2025/6/20 16:01:25

vue3 Textarea在光标定位处，增加一定的关键词。

1、经常碰到这种情况，有一些是系统预留的关键词可以选择，当用户把光标定位到什么地方，我们就要在这个位置插入指定的关键词。 2、光标定位在今天的前面，那么我们点击【逗号】按钮，在这个位置增加一个逗号。 3、代码&…...

编程日记 2025/6/24 3:32:12

硬件设计-电源轨噪声对时钟抖动的影响

目录定义实际案例总结定义首先了解抖动的定义，在ITU-T G.701中有关抖动的定义如下： 数字信号重要瞬间相对于其理想时间位置的短期非累积变化。抖动是时钟或数据信号时序的短期时域变化。抖动包括信号周期、频率、相位、占空比或其他一些定时特…...

编程日记 2025/6/23 15:09:15

Graspness 端到端抓取点估计 | 环境搭建 | 模型推理测试

在复杂场景中实现抓取检测，Graspness是一种端到端的方法； 输入点云数据，输出抓取角度、抓取深度、夹具宽度等信息。开源地址：https://github.com/rhett-chen/graspness_implementation?tabreadme-ov-file 论文地址&#xff1…...

编程日记 2025/6/23 15:58:18

大模型呼入机器人的缺点是什么？(转)

大模型呼入机器人的缺点是什么？(转) 原作者：开源呼叫中心FreeIPCC，其Github：https://github.com/FreeIPCC/FreeIPCC 大模型呼入机器人在提供高效、自动化服务的同时，也存在一些缺点。以下是对其缺点的详细归纳&#…...

编程日记 2025/6/23 8:12:53

ASP.NET ｜日常开发中连接Oracle数据库详解

ASP.NET ｜日常开发中连接Oracle数据库详解前言一、安装和配置 Oracle 数据访问组件1.1 安装ODP.NET（Oracle Data Provider for.NET）：1.2 引用相关程序集： 二、配置连接字符串2.1 连接字符串的基本组成部分&#xff1a…...

编程日记 2025/6/23 7:05:13

Kaggler日志-Day4

进度24/12/14 昨日复盘： Pandas课程完成 Intermediate Mechine Learning2/7 今日记录： Intermediate Mechine Learning之类型变量读两篇讲解如何提问的文章，在提问区里发起一次提问实战：自己从头到尾首先Housing Prices Compe…...

编程日记 2025/6/23 17:01:34

onnx算子的注册详解及案例（完整版）

文章目录 1. 介绍1.1 导出onnx不成功1.2 分析和解决方案2. 案例2.1 Asinh算子注册2.1.1 导出onnx2.1.2 算子注册2.2 自定义算子的注册2.1 直接导出自定义算子2.2 自定义算子的注册并导出2.3 导出带deformable conv 的onnx2.3.1 直接导出deformable conv2.3.2 注册并导出deforma…...

编程日记 2025/6/22 13:28:28

2024生命科学前沿技术

前沿技术是指高技术领域中具有前瞻性、先导性和探索性的重大技术，是未来高技术更新换代和新兴产业发展的重要基础，是国家高技术创新能力的综合体现。选择前沿技术的主要原则一是代表世界高技术前沿的发展方向。二是对国家未来新兴产业的形成和发展具有引…...

编程日记 2025/6/21 11:37:32

游戏引擎学习第47天

仓库: https://gitee.com/mrxiao_com/2d_game 昨天我们花了一点时间来修复一个问题，但基本上是在修复这个问题的过程中，我们决定添加一个功能，那就是在屏幕上控制多个实体。所以如果我有一个手柄，我可以添加另一个角色&#xff0…...

编程日记 2025/6/1 8:11:54

1.编写 Prompt 的原则

一、环境配置使用 OpenAI 的 ChatGPT API，需要有 API_KEY，并安装 OpenAI 库。安装命令：pip install openai 和 pip install zhipuai。配置方法：直接设置 openai.api_key 或通过环境变量设置。二、两个基本原则 2.1 原则一&am…...

编程日记 2025/6/1 16:23:24

【JavaEE】网络（2）

一、网络编程套接字 1.1 基础概念【网络编程】指网络上的主机，通过不同的进程，以编程的方式实现网络通信；当然，我们只要满足进程不同就行，所以即便是同一个主机，只要是不同进程，基于网络来传…...

编程日记 2025/6/20 7:33:13

SAS - Subtractive Port

在SAS（串行连接SCSI，Serial Attached SCSI）协议中，subtractive port 是一种特殊类型的端口，主要用于设备间的路由功能。它的作用是在路径选择过程中充当默认路径，以处理未明确指定路径的请求。以下是它的定…...

编程日记 2025/6/3 15:37:26

目录

介绍