当前位置：首页 > news >正文

Flink解决延迟数据问题

news 来源：原创 2025/5/17 5:00:44

总结：

水印：对于迟到数据不长

allowedLateness: 迟到时间很长

侧道输出：对于迟到时间特别长

对于延迟数据的理解：

水印机制(水位线、watermark)机制可以帮助我们在短期延迟下，允许乱序数据的到来。

这个机制很好的处理了那些因为网络等情况短期延迟的数据，让窗口等它们一会儿。

但是水印机制无法长期的等待下去，因为水印机制简单说就是让窗口一直等在那里，等达到水印时间才会触发计算和关闭窗口

这个等待不能一直等，因为会一直缓着数据不计算。

一般水印也就是几秒钟最多几分钟而已（看业务）

那么，在现实世界中，延迟数据除了有短期延迟外，长期延迟也是很常见的。

比如：

l 客户端断网，等了好几个小时才恢复

l 车联网系统进入隧道后没有信号无法上报数据

l 手机欠费没有网

等等，这些场景下数据的迟到就不是简单的网络堵塞造成的几秒延迟了

而是小时、天级别的延迟

对于水印来说，这样的长期延迟数据是无法很好处理的。

那么有没有什么办法去处理这些长期延迟的数据呢？让其可以找到其所属的窗口正常完成计算，哪怕晚了几个小时。

这个场景的解决方式就是：延迟数据处理机制(allowedLateness方法)。

水印：乱序数据处理（时间很短的延迟）

延迟处理：长期延迟数据的处理机制。

延迟数据的处理：

waterMark和Window机制解决了流式数据的乱序问题，对于因为延迟而顺序有误的数据，可以根据eventTime进行业务处理，对于延迟的数据Flink也有自己的解决办法，

主要的办法是给定一个允许延迟的时间，在该时间范围内仍可以接受处理延迟数据

设置允许延迟的时间是通过allowedLateness(lateness: Time)设置

保存延迟数据则是通过sideOutputLateData(outputTag: OutputTag[T])保存

获取延迟数据是通过DataStream.getSideOutput(tag: OutputTag[X])获取

1）allowedLateness(lateness: Time)

当我们对流设置窗口后得到的WindowedSteam对象就可以使用allowedLateness方法

该方法传入一个Time值，设置允许的长期延迟(迟到)的时间。

和watermark不同。

未设置allowedLateness(为0)，当watermark满足条件，会触发窗口的 执行 + 关闭

当设置了allowedLateness，当watermark满足条件后，只会触发窗口的执行，不会触发窗口关闭

也就是，watermark满足条件后会正常触发窗口计算，将已有的数据完成计算。

但是，不会关闭窗口。如果在allowedLateness允许的时间内仍有这个窗口的数据进来，那么每进来一条，会和已经计算过的(被watermark触发的)数据一起在计算一次。

水印：短期延迟，达到条件后触发计算并且关闭窗口（触发+关闭同时进行）

水印+allowedLateness : 短期延迟+ 等待长期延迟效果，达到水印条件后，会触发窗口计算，但是不关闭窗口。事件时间延迟达到水印+allowedLateness之和后会关闭窗口。

2) 侧道输出-SideOutput

Flink 通过watermark在短时间内允许了乱序到来的数据

通过延迟数据处理机制，可以处理长期迟到的数据。

但总有那么些数据来的晚的太久了。允许迟到1天的设置，它迟到了2天才来。

对于这样的迟到数据，水印无能为力，设置allowedLateness也无能为力，那对于这样的数据Flink就只能任其丢掉了吗？

不会，Flink的两个迟到机制尽量确保了数据不会错过了属于他们的窗口，但是真的迟到太久了，Flink也有一个机制将这些数据收集起来

保存成为一个DataStream，然后，交由开发人员自行处理。

那么这个机制就叫做侧输出机制(Side Output)

侧输出机制：可以将错过水印又错过allowedLateness允许的时间的数据，单独的存放到一个DataStream中，然后开发人员可以自定逻辑对这些超级迟到数据进行处理。

处理主要使用两个方式：

对窗口对象调用sideOutputLateData(OutputTag outputTag)方法，将数据存储到一个地方

对DataStream对象调用getSideOutput(OutputTag outputTag)方法，取出这些被单独处理的数据的DataStream

注意，取到的是一个DataStream，这意味着你可以对这些超级迟到数据继续写如keyBy, window等处理逻辑。

sideOutputLateData方法:


使用方式:
先定义OutputTag对象(注意，必须new一个匿名内部类形式的OutputTag对象的实例)
然后调用sideOutputLateData方法
// side output   OutputTag对象必须是匿名内部类的形式创建出来, 本质上得到的是OutputTag对象的一个匿名子类
OutputTag<Tuple2<String, Long>> outputTag = new OutputTag<Tuple2<String, Long>>("side output"){};
WindowedStream<Tuple2<String, Long>, Tuple, TimeWindow> sideOutputLateData =allowedLateness.sideOutputLateData(outputTag);

DataStream.getSideOutput方法:

用法:
DataStream<Tuple2<String, Long>> sideOutput = result.getSideOutput(outputTag);
// 对得到的保存超级迟到数据的DataStream进行处理
sideOutput.print("late>>>");

代码演示

使用Watermark + AllowedLateness + SideOutput ,即使用侧道输出机制来单独收集延迟/迟到/乱序严重的数据,避免数据丢失!

package com.bigdata.day05;import com.bigdata.day04.OrderInfo;
import org.apache.commons.lang3.time.DateFormatUtils;
import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.source.SourceFunction;
import org.apache.flink.streaming.api.functions.windowing.WindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;
import org.apache.flink.util.OutputTag;import java.text.SimpleDateFormat;
import java.time.Duration;
import java.util.Date;
import java.util.Random;
import java.util.UUID;class MyOrderSource2 implements SourceFunction<OrderInfo> {@Overridepublic void run(SourceContext<OrderInfo> ctx) throws Exception {Random random = new Random();while(true){OrderInfo orderInfo = new OrderInfo();orderInfo.setOrderId(UUID.randomUUID().toString().replace("-",""));// 在这个地方可以模拟迟到数据long orderTime = System.currentTimeMillis() - 1000*random.nextInt(100);orderInfo.setOrdertime(orderTime);int money = random.nextInt(10);System.out.println("订单产生的时间："+ DateFormatUtils.format(orderTime,"yyyy-MM-dd HH:mm:ss")+"，金额："+money);orderInfo.setMoney(money);orderInfo.setUserId(random.nextInt(2));ctx.collect(orderInfo);Thread.sleep(500);}}@Overridepublic void cancel() {}
}
public class Demo01 {public static void main(String[] args) throws Exception {//1. env-准备环境StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.setRuntimeMode(RuntimeExecutionMode.AUTOMATIC);env.setParallelism(1);// 每隔五秒统计每个用户的前面5秒的订单的总金额//2. source-加载数据DataStreamSource<OrderInfo> streamSource = env.addSource(new MyOrderSource2());//-2.告诉Flink最大允许的延迟时间/乱序时间为多少SingleOutputStreamOperator<OrderInfo> orderDSWithWatermark = streamSource.assignTimestampsAndWatermarks(WatermarkStrategy.<OrderInfo>forBoundedOutOfOrderness(Duration.ofSeconds(3))//-3.告诉Flink哪一列是事件时间.withTimestampAssigner((order, time) -> order.getOrdertime()));OutputTag<OrderInfo> outputTag = new OutputTag<OrderInfo>("side output"){};//3. transformation-数据处理转换SingleOutputStreamOperator<String> result = orderDSWithWatermark.keyBy(orderInfo -> orderInfo.getUserId()).window(TumblingEventTimeWindows.of(Time.seconds(5))).allowedLateness(Time.seconds(4)).sideOutputLateData(outputTag).apply(new WindowFunction<OrderInfo, String, Integer, TimeWindow>() {@Overridepublic void apply(Integer key,  // 代表分组key值     五旬老太守国门TimeWindow window, // 代表窗口对象Iterable<OrderInfo> input, // 分组过之后的数据 [1,1,1,1,1]Collector<String> out  // 用于输出的对象) throws Exception {SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");long start = window.getStart();long end = window.getEnd();int sum = 0;// 专门存放迟到的订单时间for (OrderInfo orderInfo : input) {sum += orderInfo.getMoney();}out.collect(key + ",窗口开始：" + dateFormat.format(new Date(start)) + ",结束时间:" + dateFormat.format(new Date(end)) + "," + sum);//out.collect(key+",窗口开始："+start+",结束时间:"+end+","+sum);}});result.print("流中的数据，包含迟到的数据：");result.getSideOutput(outputTag).print("严重迟到的数据：");//4. sink-数据输出//5. execute-执行env.execute();}
}

虽然我们添加了延迟的效果，就是说侧道输出，侧道输出不能触发窗口的执行，窗口的执行只能通过水印时间触发，允许迟到的数据，不放入到当前窗口中，而是作为一个触发条件看到，它需要放入到它对应的窗口中。

只考虑 1 个并行度的问题

订单发生的真实事件：窗口5秒，间隔5秒，允许迟到 3秒最晚允许迟到4秒

10:44:00 第一个区间就应该是10:44:00 10:44:05

10:44:01

10:44:02

10:44:03

10:44:04

10:44:05

10:44:07 第一个区间就应该是10:44:05 10:44:10

10:44:22 第一个区间就应该是10:44:20 10:44:25

10:44:30

10:44:28

10:44:20

通过上面这个图可以知道，44:07没有办法触发00~05的执行，但是07不放入00~05区间，而是放入10:44:05 10:44:10

44:22 一个数据触发了两个区间的执行 00~05 05~10

假如有一个订单时44:10产生的，放入哪个区间？应该放入10~15这个区间

Flink解决延迟数据问题

总结： 水印：对于迟到数据不长 allowedLateness: 迟到时间很长侧道输出：对于迟到时间特别长对于延迟数据的理解： 水印机制(水位线、watermark)机制可以帮助我们在短期延迟下，允许乱序数据的到来。这个机制很好的…...

编程日记 2025/5/17 5:00:44

基于matlab程序实现人脸识别

1.人脸识别流程 1.1.1基本原理基于YCbCr颜色空间的肤色模型进行肤色分割。在YCbCr色彩空间内对肤色进行了建模发现，肤色聚类区域在Cb—Cr子平面上的投影将缩减，与中心区域显著不同。采用这种方法的图像分割已经能够较为精确的将人脸和非人脸分割开来。…...

编程日记 2025/5/17 4:46:06

ESP32 wifi smartConfig 配网时密码错误导致一直死循环问题解决

项目场景硬件：ESP32-LyraT-Mini V1.2开发板，使用的是ESP32-WROVER-E 模组。程序：基于smart_config示例程序测试问题描述烧录程序后，debug打印“smartconfig_example: Scan done”信息后，打开手机app“EspTouch”进行配网，如果密码输入正确，正常的debug信息如下：…...

编程日记 2025/5/14 17:10:32

串口通讯介绍

详情学习 12. 串口通讯与终端设备 — [野火]嵌入式Linux基础与应用开发实战指南——基于i.MX6ULL开发板文档 (embedfire.com) 问题 DB9接口 RS232,RS485 标准DB9接口(串口通信线标准接口)_485接口接线方法9针-CSDN博客 DB9 各引脚定义 1 DCD 载波检测 2 RX 接收数据…...

编程日记 2025/5/16 5:56:34

出于安全考虑，你的平板电脑已设置为禁止安装来源不明的应用，对于这种工业的安卓平板，应该怎么解决问题呢

在一些工业安卓平板上，出于安全考虑，通常会禁止安装来自未知来源的应用程序。这是为了防止恶意软件或不可信的应用程序被安装到设备上。为了绕过这个限制并安装来自未知来源的应用程序，你可以按照以下步骤进行操作： 1. 启用“未知…...

编程日记 2025/5/16 23:58:07

Java技术复习提升 15IO流

先给各位读者致歉笔者因身体抱恙未能及时更新以后会按时更新和大家一起学习探究~ 第15章 IO流 15.1 文件文件就是保存数据的地方文件流 15.2 常用文件操作创建文件对象构造器和方法 import org.junit.Test;import java.io.File; import java.io.IOException;publ…...

编程日记 2025/5/16 14:12:41

Oracle 19C Data Guard 单实例1+1部署（Duplicate方式）

环境描述项目主库备库操作系统CentOS 7.9CentOS 7.9数据库版本Oracle 19.3.0.0Oracle 19.3.0.0ORACLE_UNQNAMEhishisdgIP地址10.172.1.10110.172.1.102Hostnamehisdb01hisdb02SIDhishisdb_namehishisdb_unique_namehishisdg 说明主库和备库建议采用相同服务器配置。主库和…...

编程日记 2025/5/4 17:51:50

网安小白的端口关闭实践

proceeding 扫描 $ nmap --top-ports 10000 10.162.8.227 Starting Nmap 7.94SVN ( https://nmap.org ) at 2024-11-29 17:07 CST Nmap scan report for star (10.162.8.227) Host is up (0.00023s latency). Not shown: 8367 closed tcp ports (conn-refused) PORT ST…...

编程日记 2025/5/16 15:44:13

微软要求 Windows Insider 用户试用备受争议的召回功能

拥有搭载 Qualcomm Snapdragon 处理器的 Copilot PC 的 Windows Insider 计划参与者现在可以试用 Recall，这是一项臭名昭著的快照拍摄 AI 功能，在今年早些时候推出时受到了很多批评。 Windows 营销高级总监 Melissa Grant 上周表示：“我们听…...

编程日记 2025/5/15 15:25:00

nginx反向代理、负载均衡

nginx反向代理、负载均衡一、反向代理 proxy模块1、作用2、语法3、配置后端服务器记录真实的客户端地址二、负载均衡 upstream模块2.1 负载均衡作用2.2 调度算法/策略2.3 配置语法一、反向代理 proxy模块 1、作用提升业务的性能、并发能力隐藏后端真实业务服务器的信息&…...

编程日记 2025/5/17 4:26:17

mysql集群NDB方式部署

1. 基本信息部署机器角色部署路径192.168.0.1管理节点部署目录: /alidata1/mysql-cluster-8.4.3192.168.0.2管理节点192.168.0.3数据/SQL节点数据目录:192.168.0.4数据/SQL节点/alidata1/mysql-cluster-8.4.3/data/ndb-mgmd192.168.0.5数据节点 – 新增/alidata1/mysql-clust…...

编程日记 2025/5/13 14:10:33

Fabric.js 中文文档

Fabric.js 中文文档基于canvas画布的实用类Fabric.js的使用 4、Fabric.js 常用的方法&事件 Fabric.js 画布 defaultCursor 属性(1) 官网文档地址：http://fabricjs.com/docs/github 地址：https://github.com/fabricjs/fabric.js Demo地址&#x…...

编程日记 2025/5/14 17:22:13

【面试重难点问题】c++中为什么可以函数重载，但是c语言中不可以

本文章是对于“c中为什么可以函数重载，但是c语言中不可以”这个问题的探究： 当然这是一个值得深入探讨的问题。在面对难题时，我们常常会竭尽全力寻找答案，不惜挖掘三尺以探究竟。面对上面这个问题时，理解计算机系统的…...

编程日记 2025/5/17 4:25:00

Elasticsearch优化汇总

文章目录引言硬件设置优化禁用swap给系统留足够的内存JVM配置使用更快的硬件,使用 SSD 参数优化分片设计增加Buffer大小(增加吞吐量)预热文件系统 cache es查询设计优化预索引数据使用filter代替query字段映射避免使用脚本优化日期搜索为只读索引执行 force-merge预热全局序号…...

编程日记 2025/5/12 4:50:49

【落羽的落羽 C语言篇】指针·之其四

文章目录一、字符指针变量二、数组指针变量1. 创建2. 数组指针类型3. 二维数组传参的本质三、函数指针变量1. 创建2. 函数指针类型3. 函数指针的使用4. 分析两句“有趣”的代码（doge）5. typedef关键字四、函数指针数组1. 创建2. 函数指针数组的用途—…...

编程日记 2025/5/16 15:57:25

十二、正则表达式、元字符、替换修饰符、手势和对话框插件、字符串截取

1. 正则表达式 1.1 基本使用 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title&g…...

编程日记 2025/5/14 9:44:33

嵌入式的应用领域有哪些

首先给大家介绍一下‌‌，STM32是‌意法半导体（STMicroelectronics）生产的32位微控制器（‌MCU）系列‌，采用‌ARM Cortex-M内核设计，以其高性能、低功耗和广泛的应用而闻名。‌ 那么意法半导体是在…...

编程日记 2025/5/15 3:24:31

git merge ：开发分支与主分支的交互

一、开发分支（dev）上的代码达到上线的标准后，要合并到 master 分支 git checkout dev git pull git checkout master git merge dev git push -u origin master 二、当master代码改动了，需要更新开发分支（dev&#x…...

编程日记 2025/5/14 11:43:26

OGRE 3D----4. OGRE和QML共享opengl上下文

在现代图形应用开发中，OGRE（Object-Oriented Graphics Rendering Engine）和QML（Qt Modeling Language）都是非常流行的工具。OGRE提供了强大的3D渲染能力，而QML则用于构建灵活的用户界面。在某些应用场景中，我们需要在同一个应用程序中同时使用OGRE和QML，并且共享OpenGL…...

编程日记 2025/5/10 5:17:10

ArcGIS 软件中路网数据的制作

内容导读路网数据是进行网络分析的基础，它是建立网络数据集的数据来源。本文我们以OSM路网数据为例，详细介绍OSM路网数据从下载，到数据处理，添加属性，完成符合网络分析的网络数据集的全部过程。 01 数据获取比较…...

编程日记 2025/4/28 7:29:47

Milvus 2.5:全文检索上线,标量过滤提速,易用性再突破！

01. 概览我们很高兴为大家带来 Milvus 2.5 最新版本的介绍。在 Milvus 2.5 里，最重要的一个更新是我们带来了“全新”的全文检索能力，之所以说“全新”主要是基于以下两点： 第一，对于全文检索基于的 BM25 算法，我们采…...

编程日记 2025/5/9 18:10:22

Windows常用DOS指令（附案例）

文章目录 1.dir 查看当前目录2.cd 进入指定目录3.md 创建指定目录4.cd> 创建指定文件5.rd 删除指定空目录6.del 删除指定文件7.copy 复制文件8.xcopy 批量复制9.ren 改名10.type 在命令行空窗口打开文件11.cls 清空DOS命令窗口12.chkdsk 检查磁盘使用情况13.time 显示和设置…...

编程日记 2025/5/15 12:59:10

搜索二维矩阵 II(java)

题目描述编写一个高效的算法来搜索 m x n 矩阵 matrix 中的一个目标值 target 。该矩阵具有以下特性： 每行的元素从左到右升序排列。每列的元素从上到下升序排列。代码思路： 用暴力算法： class Solution {public boolean searchMatrix(…...

编程日记 2025/5/12 14:41:52

Webpack 的构建流程

Webpack 的构建流程可以概括为以下几个步骤： 1. 初始化： Webpack 读取配置文件（webpack.config.js），合并默认配置和命令行参数，初始化Compiler对象。 2. 构建依赖图： 从入口文件开始递归地分…...

编程日记 2025/5/11 21:33:32

Kylin Server V10 下 RocketMQ 主备自动切换模式部署

一、NameServer简介 NameServer 是一个注册中心，提供服务注册和服务发现的功能。NameServer 可以集群部署，集群中每个节点都是对等的关系，节点之间互不通信。服务注册 Broker 启动的时候会向所有的 NameServer 节点进行注册，注意这里是向集群中所有的 NameServer 节点注册…...

编程日记 2025/5/13 7:14:53

Linux启动中出现“psi: inconsistent task state!”错误可能原因

在Linux系统中，psi: inconsistent task state! 异常日志通常与 PSI（Pressure Stall Information）相关。PSI 是 Linux 内核中的一个特性，用于监控系统资源的压力情况，如 CPU、内存和 I/O 等。该日志信息表明在处理任务状…...

编程日记 2025/5/17 3:48:30

FCBP 认证考试要点摘要

理论知识数据处理与分析：包括数据的收集、清洗、转换、存储等基础操作，以及数据分析方法，如描述性统计分析、相关性分析、数据挖掘算法等的理解和应用。数据可视化：涉及图表类型的选择与应用，如柱状图、折线图、饼图…...

编程日记 2025/5/14 1:13:01

ubuntu防火墙入门(一)——设置服务、关闭端口

本机想通过git clone gitgithub.com:skumra/robotic-grasping.git下载代码，firewall-config中需要为当前区域的防火墙开启SSH服务吗是的，如果你想通过 git clone gitgithub.com:skumra/robotic-grasping.git 使用 SSH 协议从 GitHub 下载代码&#xff0…...

编程日记 2025/5/11 6:46:41

yt6801 ubuntu有线连接驱动安装

耀世16pro的有线网卡驱动安装下载地址: YT6801 千兆PCIE以太网控制器芯片 1. 创建安装目录 mkdir yt68012. 解压驱动文件 unzip yt6801-linux-driver-1.0.27.zip -d yt68013. 进入驱动目录 cd yt68014. 安装驱动以 root 权限运行安装脚本： sudo su ./yt_ni…...

编程日记 2025/5/11 20:49:14

ASP.NET Core Web API 控制器

文章目录一、基类：ControllerBase二、API 控制器类属性三、使用 Get() 方法提供天气预报结果在深入探讨如何编写自己的 PizzaController 类之前，让我们先看一下 WeatherController 示例中的代码，了解它的工作原理。在本单元中，…...

编程日记 2025/5/15 21:22:36

【论文笔记】Tool Learning with Foundation Models 论文笔记

Tool Learning with Foundation Models 论文笔记文章目录 Tool Learning with Foundation Models 论文笔记摘要背景：工作： 引言工具学习的发展本文工作（大纲&目录） 背景2.1 工具使用的认知起源2.2 工具分类：用户界…...

编程日记 2025/4/27 4:49:00

STM32 + CubeMX + 串口 + IAP升级

这篇文章分享一个简单的串口IAP Demo，实现使用串口更新我们自己的App程序。目录一、IAP简介二、Stm32CubeMx配置三、Boot代码及配置1、代码2、配置四、App代码及配置1、代码2、配置五、效果展示一、IAP简介 IAP介绍可以在网上找找，相关资料很多&am…...

编程日记 2025/5/11 3:03:31

Oracle-—系统包使用

文章目录系统包dbms_redefinition 系统包 dbms_redefinition 功能介绍：该包体可以实现将Oracle库下的表在线改为分区结构或者重新定义； 说明：在检查表是否可以重定义和开始重定义的过程中，按照表是否存在主键，参数 o…...

编程日记 2025/5/12 13:39:44

使用Hugo和GitHub Pages创建静态网站个人博客

不需要服务器，不需要域名，不需要数据库，可以选择模版，内容为Markdown格式。 Hugo：https://gohugo.io 文档：https://gohugo.io/getting-started/quick-start/ 中文文档：https://www.gohugo.or…...

编程日记 2025/5/11 8:32:58

群晖系统证书延期

群晖系统默认证书过期了接下来操作续期证书一直下一步会让下载一个压缩包里面包含私钥和签发证书请求下载后解压出来在群晖里用证书续期对以前的证书签署签发请求选择刚刚解压出来的证书执行完成后会下载一个压缩包，解压出来就会得到新证书给群晖新增证书选…...

编程日记 2025/5/12 22:21:53

android shader gl_Position是几个分量

在Android的OpenGL ES中，gl_Position是顶点着色器（Vertex Shader）的一个内置输出变量，它用于指定顶点在裁剪空间（Clip Space）中的位置。gl_Position是一个四维向量（4-component vector&#xff…...

编程日记 2025/5/15 4:41:38

JAVA练习-ArrayList数组

需求建立3个Student类的实例原始数组： public class Student {private String name;private int score;public Student(String name, int score) {this.name name;this.score score;}Overridepublic String toString() {return name "的分数&#xff1…...

编程日记 2025/5/16 23:34:07

springboot339javaweb的新能源充电系统pf(论文+源码)_kaic

毕业设计（论文） 题目：新能源充电系统的设计与实现摘要如今社会上各行各业，都喜欢用自己行业的专属软件工作，互联网发展到这个时候，人们已经发现离不开了互联网。新技术的产生，往往能解…...

编程日记 2025/5/12 2:30:16

数据结构——排序第三幕（深究快排（非递归实现）、快排的优化、内省排序，排序总结）超详细！！！！

文章目录前言一、非递归实现快排二、快排的优化版本三、内省排序四、排序算法复杂度以及稳定性的分析总结前言继上一篇博客基于递归的方式学习了快速排序和归并排序今天我们来深究快速排序，使用栈的数据结构非递归实现快排，优化快排（三路…...

编程日记 2025/5/14 6:33:08

Jackson：Java对象和JSON字符串的转换处理库使用指南

Jackson介绍 Jackson 是一个非常流行的 Java JSON 处理库，它能够将 Java 对象与 JSON 字符串相互转换。 Jackson 工具主要用于将请求的参数（例如前端发送的 JSON 数据）和响应的数据（例如后端返回给前端的数据）转换成…...

编程日记 2025/5/13 15:14:11

mac maven编译出现问题

背景进行maven install 命令，报错： [ERROR] COMPILATION ERROR : [INFO] ------------------------------------------------------------- [ERROR] No compiler is provided in this environment. Perhaps you are running on a JRE rather than a J…...

编程日记 2025/5/16 23:56:50

深入讲解Spring Boot和Spring Cloud，外加图书管理系统实战！

很抱歉，我的疏忽，说了这么久还没有给大家详细讲解过Spring Boot和Spring Cloud,那今天给大家详细讲解一下。大家可以和下面这三篇博客一起看： 1、Spring Boot 和 Spring Cloud 微服务开发实践详解https://blog.csdn.net/speaking_me/artic…...

编程日记 2025/5/16 11:09:04

【AIGC】2023-ICCV-用于高保真语音肖像合成的高效区域感知神经辐射场

2023-ICCV-Efficient Region-Aware Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis 用于高保真语音肖像合成的高效区域感知神经辐射场摘要1. 引言2. 相关工作3. 方法3.1 准备工作和问题设置3.2 三平面哈希表示3.3. 区域注意模块3.4 训练细节 4. 实验4.1…...

编程日记 2025/5/6 1:25:18

如何写一份优质技术文档

作者简介： 本文作者拥有区块链创新专利30，是元宇宙标准化工作组成员、香港web3标准工作组成员，参与编写《数据资产确权与交易安全评价标准》、《链接元宇宙：应用与实践》、《香港Web3.0标准化白皮书》等标准，下面提供…...

编程日记 2025/5/15 2:53:46

ML 系列：第 35 节 - 机器学习中的数据可视化

ML 系列：第 35 天 - 机器学习中的数据可视化文章目录一、说明二、数据可视化2.1 直方图2.2 箱线图2.3 散点图2.4 条形图2.5 线图2.6 热图三、结尾一、说明描述性统计和数据可视化是理解和解释机器学习数据的基础。它们有助于总结和直观地呈现数据&#xff0c…...

编程日记 2025/5/16 13:34:09

存储服务器一般做是做什么阵列？详细列举一下

存储服务器通常使用 RAID（Redundant Array of Independent Disks） 阵列技术来管理磁盘，以提高数据的性能、可靠性和可用性。所选择的 RAID 类型取决于存储服务器的具体用途和需求，比如性能要求、容量需求、容错能力等。以下是存…...

编程日记 2025/5/16 7:30:59

uniapp使用扩展组件uni-data-select出现的问题汇总

前言不知道大家有没有学习过我的这门课程那，《uniCloud云开发Vue3版本官方推荐用法》，这么课程已经得到了官方推荐，想要快速上手unicloud的小伙伴们，可以学习一下这么课程哦，不要忘了给一键三连呀。在录制这门课程…...

编程日记 2025/5/16 0:12:53

pdf.js 预览pdf的时候发票数据缺失显示不全：字体加载出错（缺失）导致部分缺失

首先，排除后端返回的PDF文件流是没有问题的： 但是在vue项目中是这样的： 明显是显示不全，F12查看报错信息，有以下警告： pdf.js:2153 Warning: Error during font loading: The CMap “baseUrl” paramet…...

编程日记 2025/5/14 8:56:35

【设计模式】【结构型模式（Structural Patterns）】之外观模式（Facade Pattern）

1. 设计模式原理说明外观模式（Facade Pattern） 是一种结构型设计模式，它提供了一个统一的接口，用来访问子系统中的一群接口。外观模式定义了一个高层接口，这个接口使得这一子系统更加容易使用。通过隐藏子系统的复杂…...

编程日记 2025/5/12 6:43:12

Redis使用场景-缓存-缓存穿透

前言之前在针对实习面试的博文中讲到Redis在实际开发中的生产问题，其中缓存穿透、击穿、雪崩在面试中问的最频繁，本文加了图解，希望帮助你更直观的了解缓存穿透😀 （放出之前写的针对实习面试的关于Redis生产问题的博…...

编程日记 2025/5/12 8:54:28

对于延迟数据的理解：

延迟数据的处理：

1）allowedLateness(lateness: Time)

2) 侧道输出-SideOutput

代码演示

相关文章：