当前位置：首页 > news >正文

Flink的双流join理解

news 来源：原创 2025/5/16 21:06:43

如何保证Flink双流Join准确性和及时性、除了窗口join还存在哪些实现方式、究竟如何回答才能完全打动面试官呢。。你将在文中找到答案。
在这里插入图片描述

1 引子

1.1 数据库SQL中的JOIN

我们先来看看数据库SQL中的JOIN操作。如下所示的订单查询SQL，通过将订单表的id和订单详情表order_id关联，获取所有订单下的商品信息。

select a.id as '订单id',a.order_date as '下单时间',a.order_amount as '订单金额',b.order_detail_id as '订单详情id',b.goods_name as '商品名称',b.goods_price as '商品价格',b.order_id as '订单id'
from dwd_order_info_pfd a
right join dwd_order_detail_pfd b
on a.id = b.order_id

这是一段很简单的SQL代码，就不详细展开叙述了。此处主要引出SQL中的JOIN类型，这里用到的是 right join , 即右连接。

left join: 保留左表全部数据和右表关联数据，右表非关联数据置NULL
right join: 保留右表全部数据和左表关联数据，左表非关联数据置NULL
inner join: 保留左表关联数据和右边关联数据
cross join: 保留左表和右表数据笛卡尔积

基于关联键值逐行关联匹配，过滤表数据并生成最终结果，提供给下游数据分析使用。

就此打住，关于数据库SQL中的JOIN原理不再多赘述，感兴趣的话大家可自行研究，下面我们将目光转移到大数据领域看看吧。

1.2 离线场景下的JOIN

假设存在这样一个场景:

已知Mysql数据库中订单表和订单明细表，且满足一对多的关系，统计T-1天所有订单的商品分布详情。

聪明的大家肯定已经给出了答案，没错~就是上面的SQL:

select a.*, b.*
from dwd_order_info_pfd a
right join dwd_order_detail_pfd b
on a.id = b.order_id

现在修改下条件：已知订单表和订单明细表均为亿级别数据，求相同场景下的分析结果。

咋办？此时关系型数据库貌似不大合适了~开始放大招：使用大数据计算引擎来解决。

考虑到T-1统计场景对时效性要求很低，可以使用Hive SQL来处理，底层跑Mapreduce任务。如果想提高运行速度，换成Flink或Spark计算引擎，使用内存计算。

至于查询SQL和上面一样，并将其封装成一个定时调度任务, 等系统调度运行。如果结果不正确的话，由于数据源和数据静态不变，大不了重跑，看起来感觉皆大欢喜~

可是好景不长，产品冤家此时又给了你一个无法拒绝的需求：我要实时统计！！

2 实时场景下的JOIN

还是上面的场景，此时数据源换成了实时订单流和实时订单明细流，比如Kafka的两个topic，要求实时统计每分钟内所有订单下的商品分布详情。

现在情况貌似变得复杂了起来,简单分析下:

数据源。实时数据流，和静态流不同，数据是实时流入的且动态变化，需要计算程序支持实时处理机制。
关联性。前面提到静态数据执行多次join操作，左表和右表能关联的数据是很恒定的；而实时数据流(左右表)如果进入时机不一致，原本可以关联的数据会关联不上或者发生错误。
延迟性。实时统计，提供分钟甚至秒级别响应结果。

由于流数据join的特殊性，在满足实时处理机制、低延迟、强关联性的前提下，看来需要制定完善的数据方案，才能实现真正的流数据JOIN。

2.1 方案思路

我们知道订单数据和订单明细数据是一对多的关系，即一条订单数据对应着多条商品明细数据，毕竟买一件商品也是那么多邮费，不如打包团购。。而一条明细数据仅对应一条订单数据。

这样，双流join策略可以考虑如下思路:

当数据流为订单数据时。无条件保留，无论当前是否关联到明细数据，均留作后续join使用。
当数据流为明细数据时。在关联到其订单数据后，就可以say goodbye了，否则暂时保留等待下一次与订单数据的邂逅。
完成所有处于同一时段内的订单数据和订单明细数据join, 清空存储状态

实际生产场景中，需要考虑更多的复杂情况，包括JOIN过程的数据丢失等异常情况的处理，此处仅示意。

好了，看起来我们已经有了一个马马虎虎的实时流JOIN方案雏形。

貌似可以准备动手大干一场了~ 别着急，有人已经帮我们偷偷的实现了：Apache Flink

3 Flink的双流JOIN

Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。
——来自Flink官网定义

这里我们只需要知道Flink是一个实时计算引擎就行了，主要关注其如何实现双流JOIN。

3.1 内部运行机制

内存计算：Flink任务优先在内存中计算，内存不够时保存到访问高效的磁盘上，提供秒级延迟响应。
状态强一致性：Flink使用一致性快照保存状态，并定期检查本地状态到持久存储来保证状态一致性。
分布式执行：Flink应用程序可以划分为无数个并行任务在集群中执行，几乎无限量使用CPU、主内存、磁盘和网络IO。
内置高级编程模型：Flink编程模型抽象为SQL、Table、DataStream|DataSet API、Process四层，并封装成丰富功能的算子，其中就包含JOIN类型的算子。

仔细看看，我们前面章节讨论的实时流JOIN方案的前提是否都满足了呢？

实时处理机制: Flink天生即实时计算引擎
低延迟: Flink内存计算秒级延迟
强关联性: Flink状态一致性和join类算子

不由感叹, 这个Flink果然强啊~

保持好奇心，我们去瞅瞅Flink双流join的真正奥义！！

3.2 JOIN实现机制

Flink双流JOIN主要分为两大类。一类是基于原生State的Connect算子操作，另一类是基于窗口的JOIN操作。其中基于窗口的JOIN可细分为window join和interval join两种。

实现原理：底层原理依赖Flink的State状态存储，通过将数据存储到State中进行关联join, 最终输出结果。

恍然大悟, Flink原来是通过State状态来缓存等待join的实时流。

4 基于Window Join的双流JOIN实现机制

顾名思义，此类方式利用Flink的窗口机制实现双流join。通俗理解，将两条实时流中元素分配到同一个时间窗口内完成Join。

底层原理: 两条实时流数据缓存在Window State中，当窗口触发计算时，执行join操作。

4.1 join算子

先看看Window join实现方式之一的join算子。这里涉及到Flink中的窗口(window)概念，因此Window Join按照窗口类型区分的话某种程度来说可以细分出3种：

Tumbling Window Join (滚动窗口)
Sliding Window Join (滑动窗口)
Session Widnow Join(会话窗口)

两条流数据按照关联主键在（滚动、滑动、会话）窗口内进行inner join, 底层基于State存储，并支持处理时间和事件时间两种时间特征，看下源码:

源码核心总结：windows窗口 + state存储 + 双层for循环执行join()

现在让我们把时间轴往回拉一点点，在实时场景JOIN那里我们收到了这样的需求：统计每分钟内所有订单下的商品明细分布。

OK, 使用join算子小试牛刀一下。我们定义60秒的滚动窗口，将订单流和订单明细流通过order_id关联，得到如下的程序：

val env = ...
// kafka 订单流
val orderStream = ... 
// kafka 订单明细流
val orderDetailStream = ...orderStream.join(orderDetailStream).where(r => r._1)  //订单id.equalTo(r => r._2) //订单id.window(TumblingProcessTimeWindows.of(Time.seconds(60))).apply {(r1, r2) => r1 + " : " + r2}.print()

整个代码其实很简单，概要总结下:

定义两条输入实时流A、B
A流调用join(b流)算子
关联关系定义: where为A流关联键，equalTo为B流关联键，都是订单id
定义window窗口(60s间隔)
apply方法定义逻辑输出

这样只要程序稳定运行，就能够持续不断的计算每分钟内订单分布详情，貌似解决问题了奥~

还是别高兴太早，别忘了此时的join类型是inner join。复习一下知识：inner join指的是仅保留两条流关联上的数据。

这样双流中没关联上的数据岂不是都丢掉了？别担心，Flink还提供了另一个window join操作: coGroup算子。

4.2 coGroup算子

coGroup算子也是基于window窗口机制，不过coGroup算子比Join算子更加灵活，可以按照用户指定的逻辑匹配左流或右流数据并输出。

换句话说，我们通过自己指定双流的输出来达到left join和right join的目的。

现在来看看在相同场景下coGroup算子是如何实现left join:

#这里看看java的写法
orderDetailStream.coGroup(orderStream).where(r -> r.getOrderId()).equalTo(r -> r.getOrderId()).window(TumblingProcessingTimeWindows.of(Time.seconds(60))).apply(new CoGroupFunction<OrderDetail, Order, Tuple2<String, Long>>() {@Overridepublic void coGroup(Iterable<OrderDetail> orderDetailRecords, Iterable<Order> orderRecords, Collector<Tuple2<String, Long>> collector)  {for (OrderDetail orderDetaill : orderDetailRecords) {boolean flag = false;for (Order orderRecord : orderRecords) {// 右流中有对应的记录collector.collect(new Tuple2<>(orderDetailRecords.getGoods_name(), orderDetailRecords.getGoods_price()));flag = true;}if (!flag) {// 右流中没有对应的记录collector.collect(new Tuple2<>(orderDetailRecords.getGoods_name(), null));}}}}).print();

这里需要说明几点:

join算子替换为coGroup算子
两条流依然需要在一个window中且定义好关联条件
apply方法中自定义判断，此处对右值进行判断：如果有值则进行连接输出,否则右边置为NULL。

可以这么说，现在我们已经彻底搞定了窗口双流JOIN。

只要你给我提供具体的窗口大小，我就能通过join或coGroup算子鼓捣出各种花样join，而且使用起来特别简单。

但是假如此时我们亲爱的产品又提出了一个小小条件：

大促高峰期，商品数据某时段会写入不及时，时间可能比订单早也可能比订单晚，同样计算每分钟内的订单商品分布详情，没问题吧~

当然有问题：两条流如果步调不一致，还用窗口来控制能join的上才怪了~ 很容易等不到join流窗口就自动关闭了。

还好，我知道Flink提供了Interval join机制。

5 基于Interval Join的双流JOIN实现机制

Interval Join根据右流相对左流偏移的时间区间(interval)作为关联窗口，在偏移区间窗口中完成join操作。

有点不好理解，我画个图看下:

stream2.time ∈ (stream1.time +low, stream1.time +high)

满足数据流stream2在数据流stream1的 interval(low, high)偏移区间内关联join。interval越大，关联上的数据就越多，超出interval的数据不再关联。

实现原理：interval join也是利用Flink的state存储数据，不过此时存在state失效机制ttl，触发数据清理操作。

这里再引出一个问题:

state的ttl机制需要怎么设置？不合理的ttl设置会不会撑爆内存？

下面简单看下interval join的代码实现过程:

val env = ...
// kafka 订单流
val orderStream = ... 
// kafka 订单明细流
val orderDetailStream = ...orderStream.keyBy(_.1)// 调用intervalJoin关联.intervalJoin(orderDetailStream._2)// 设定时间上限和下限.between(Time.milliseconds(-30), Time.milliseconds(30))  .process(new ProcessWindowFunction())class ProcessWindowFunction extends ProcessJoinFunction...{override def processElement(...) {collector.collect((r1, r2) => r1 + " : " + r2)}
}

订单流在流入程序后，等候(low,high)时间间隔内的订单明细流数据进行join, 否则继续处理下一个流。

从代码中我们发现，interval join需要在两个KeyedStream之上操作，即keyBy()，并在between()方法中指定偏移区间的上下界。

需要注意的是interval join实现的也是inner join，且目前只支持事件时间。

6 基于Connect的双流JOIN实现机制

前面在使用Window join或者Interval Join来实现双流join的时候，我发现了其中的共性：

无论哪种实现方式，Flink内部都将join过程透明化，在算子中封装了所有的实现细节。

无论哪种实现方式，Flink内部都将join过程透明化，在算子中封装了所有的实现细节。

可是这样会引来一个问题：如果程序报错或者数据异常，如何快速进行调优排查，直接看源码吗？不大现实。。

这里介绍基于Connect算子实现的双流JOIN方法，我们可自己控制双流JOIN处理逻辑，同时保持过程时效性和准确性。

6.1 Connect算子原理

对两个DataStream执行connect操作，将其转化为ConnectedStreams, 生成的Streams可以调用不同方法在两个实时流上执行，且双流之间可以共享状态。

图上我们可以看到，两个数据流被connect之后，只是被放在了同一个流中，内部依然保持各自的数据和形式，两个流相互独立。

[DataStream1, DataStream2] -> ConnectedStreams[1,2]

这样，我们可以在Connect算子底层的ConnectedStreams基础上编写代码，自行实现双流JOIN的逻辑处理。

6.2 技术实现

1.调用connect算子,根据orderid进行分组，并使用process算子分别对两条流进行处理。

orderStream.connect(orderDetailStream).keyBy("orderId", "orderId").process(new orderProcessFunc());

2.process方法内部进行状态编程, 初始化订单、订单明细和定时器的ValueState状态。

private ValueState<OrderEvent> orderState;
private ValueState<TxEvent> orderDetailState;
private ValueState<Long> timeState;// 初始化状态Value
orderState = getRuntimeContext().getState(new ValueStateDescriptor<Order>("order-state",Order.class));
····

3.为每个进入的数据流保存state状态并创建定时器。在时间窗口内另一个流到达时进行join并输出，完成后删除定时器。

@Override
public void processElement1(Order value, Context ctx, Collector<Tuple2<Order, OrderDetail>> out){if (orderDetailState.value() == null){//明细数据未到，先把订单数据放入状态orderState.update(value);//建立定时器，60秒后触发Long ts = (value.getEventTime()+60)*1000L;ctx.timerService().registerEventTimeTimer(ts);timeState.update(ts);}else{//明细数据已到，直接输出到主流out.collect(new Tuple2<>(value,orderDetailState.value()));//删除定时器ctx.timerService().deleteEventTimeTimer(timeState.value());//清空状态，注意清空的是订单明细状态orderDetailState.clear();timeState.clear();}
}
...
@Override
public void processElement2(){...
}

4.未及时到达的数据流触发定时器输出到侧输出流，左流先到而右流未到，则输出左流，反之输出右连流。

@Override
public void onTimer(long timestamp, OnTimerContext ctx, Collector<Tuple2<Order, OrderDetail>> out) {// 实现左连接if (orderState.value() != null){ctx.output(new OutputTag<String>("left-jo in") {}, orderState.value().getOrderId());// 实现右连接}else{ctx.output(new OutputTag<String>("right-jo in") {}, orderDetailState.value().getOrderId());}orderState.clear();orderDetailState.clear();timeState.clear();
}

总体思想：基于数据时间实现订单数据及订单明细数据的关联，超时或者缺失则由侧输出流输出。

在connect中针对订单流和订单明细流，先创建定时器并保存state状态，处于窗口内就进行join, 否则进入侧输出流。

7 双流JOIN的优化与总结

为什么我的双流join时间到了却不触发，一直没有输出

检查一下watermark的设置是否合理，数据时间是否远远大于watermark和窗口时间，导致窗口数据经常为空
state数据保存多久，会内存爆炸吗

state自带有ttl机制，可以设置ttl过期策略，触发Flink清理过期state数据。建议程序中的state数据结构用完后手动clear掉。
我的双流join倾斜怎么办

join倾斜三板斧: 过滤异常key、拆分表减少数据、打散key分布。当然可以的话我建议加内存！加内存！加内存！！
想实现多流join怎么办

目前无法一次实现，可以考虑先union然后再二次处理；或者先进行connnect操作再进行join操作，仅建议~
join过程延迟、没关联上的数据会丢失吗

这个一般来说不会，join过程可以使用侧输出流存储延迟流；如果出现节点网络等异常，Flink checkpoint也可以保证数据不丢失。

Flink的双流join理解

如何保证Flink双流Join准确性和及时性、除了窗口join还存在哪些实现方式、究竟如何回答才能完全打动面试官呢。。你将在文中找到答案。 1 引子 1.1 数据库SQL中的JOIN 我们先来看看数据库SQL中的JOIN操作。如下所示的订单查询SQL，通过将订单表的id和订单详情表ord…...

编程日记 2025/5/16 21:06:43

springboot341+vue校园求职招聘系统设计和实现pf(论文+源码)_kaic

毕业设计（论文） 校园求职招聘系统设计与实现摘要传统办法管理信息首先需要花费的时间比较多，其次数据出错率比较高，而且对错误的数据进行更改也比较困难，最后，检索数据费事费力。因此，…...

编程日记 2025/5/9 11:58:08

dmdba用户资源限制ulimit -a 部分配置未生效

dmdba用户资源限制ulimit -a 部分配置未生效 1 环境介绍2 数据库实例日志报错2.1 mpp01 实例日志报错2.2 mpp02 实例日志报错 3 mpp02 服务器资源限制情况4 关闭SELinux 问题解决4.1 临时关闭 SELinux4.2 永久关闭 SELinux 5 达梦数据库学习使用列表 1 环境介绍 Cpu x86 Os Ce…...

编程日记 2025/5/13 2:33:03

kafka-clients之CommonClientConfigs

CommonClientConfigs是kafka-clients库中一个包含Kafka通用配置项的类，它定义了Kafka Producer、Consumer、Admin等客户端共享的配置。以下是其中的主要配置项及其含义： 1. bootstrap.servers 类型：List<String>说明：Kafk…...

编程日记 2025/5/15 6:28:39

支持多种快充协议的取电芯片，支持最大功率140W

前言在快节奏的现代生活中，人们对于小家电的依赖日益加深，而随之而来的充电问题也日益凸显。传统的充电方式往往受限于电压、电流的限制，难以满足不同设备对电力的多样化需求。而PD快充协议的诞生，则为这一难题提供了全新的解决…...

编程日记 2025/5/11 8:33:57

《Vue零基础入门教程》第十四课：列表渲染

往期内容《Vue零基础入门教程》第六课：基本选项《Vue零基础入门教程》第八课：模板语法《Vue零基础入门教程》第九课：插值语法细节《Vue零基础入门教程》第十课：属性绑定指令《Vue零基础入门教程》第十一课：事…...

编程日记 2025/5/13 8:12:38

Linux系统进程

Linux系统进程进程私有地址空间用户模式和内核模式上下文切换进程控制进程控制函数获取进程 ID创建和终止进程回收子进程让进程休眠加载并运行程序系统调用错误处理利用fork和execve运行程序进程异常是允许操作系统内核提供进程（process）概念的基…...

编程日记 2025/5/16 20:51:59

文件具有selinux标签如下 system_u:object_r:httpd_sys_content:s0:c3 解释一下每段的含义?

文件具有selinux标签如下 system_u:object_r:httpd_sys_content:s0:c3 解释一下每段的含义? SELinux标签通常由四个部分组成，分别用于定义文件的上下文、访问控制策略以及系统安全性。针对你提供的标签：system_u:object_r:httpd_sys_content:s0:c3&…...

编程日记 2025/5/14 14:06:17

对偶分解算法详解及其Python实现

目录对偶分解算法详解及其实现第一部分：对偶分解算法概述1.1 什么是对偶分解算法1.2 应用场景1.3 算法优点第二部分：对偶分解算法的数学推导2.1 问题形式2.2 对偶问题2.3 算法框架第三部分：对偶分解算法的Python实现第四部分：案例1——支持向量机中的对偶分解（策略模式）…...

编程日记 2025/5/16 20:43:57

Linux之web服务器

一、web 服务器简介 1.www 简介 www 是全球信息广播的意思，上网即使用 www 来查询信息，它结合多种多媒体，通过超链接以 Internet 传递信息。上网时，网站提供数据，客户端用浏览器解析数据。 www 所用协议为 HTTP&…...

编程日记 2025/5/14 7:11:03

十二、Pod的扩缩容-手动/自动-HPA

在实际生产系统中，经常会遇到某个服务需要扩容的场景，也可能会遇到由于资源紧张或者工作负载降低而需要减少服务实例数量的场景。此时可以利用Deployment/RC的Scale机制来完成这些工作。 Kubernetes对Pod的扩缩容操作提供了手动和自动两种模式，手动模式通过运行kubectl sca…...

编程日记 2025/5/12 23:13:46

RabbitMQ高级特性：TTL、死信队列与延迟队列

RabbitMQ高级特性：TTL、死信队列与延迟队列 RabbitMQ作为一款开源的消息代理软件，广泛应用于分布式系统中，用于实现消息的异步传递和系统的解耦。其强大的高级特性，包括TTL（Time-To-Live）、死信队列&#…...

编程日记 2025/5/14 16:50:01

UPLOAD LABS | UPLOAD LABS 靶场初识

关注这个靶场的其它相关笔记：UPLOAD LABS —— 靶场笔记合集-CSDN博客 0x01：UPLOAD LABS 靶场简介 UPLOAD LABS 靶场是一个专门用于学习文件上传漏洞攻击和防御的靶场。它提供了一系列文件上传漏洞的实验环境，用于帮助用户了解文件上传漏洞的…...

编程日记 2025/5/13 11:08:01

计算公式 PLL_POSDIV [2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30, 32, 34, 36, 38, 40, 42, 44, 46, 48, 50, 52, 54, 56, 58, 60, 62] PLL_PREDIV_1 1 2 4 USE_XTAL 24M SYSCLK_FREQ 64M SYSCLK_DIVIDER 1 VCO USE_XTAL*…...

编程日记 2025/5/15 15:27:14

cocos creator 触摸事件官方案例

cocos creator 触摸事件官方案例 1、官方示例； 2、对官方示例的总结： （1）介绍了鼠标事件和触摸事件的类型，这里主要关注的是在移动端和PC端都可以触发的触摸事件。 （2）节点事件的派发&#…...

编程日记 2025/5/14 3:16:13

浅谈人工智能之基于容器云进行图生视频大模型搭建

浅谈人工智能之基于容器云进行图生视频大模型搭建根据之前我们所讲过的内容： 文生图文生视频我们继续讲解图生视频大模型搭建。引言随着深度学习技术的不断发展，图生视频（image-to-video）大模型成为了计算机视觉和自然语言…...

编程日记 2025/5/12 13:24:07

【爬虫框架：feapder，管理系统 feaplat】

github：https://github.com/Boris-code/feapder 爬虫管理系统 feaplat：http://feapder.com/#/feapder_platform/feaplat 爬虫在线工具库 ：http://www.spidertools.cn ：https://www.kgtools.cn/1、feapder 简介对于学习 Python…...

编程日记 2025/5/16 17:40:16

txt地图格式处理

1、txt地图格式 [属性描述] 坐标系2000国家大地坐标系几度分带3 投影类型高斯克吕格计量单位米带号38 精度0.001 转换参数,,,,,, [地块坐标] 5,475.888,1,测试地块1,面,J50G077061,公路用地,地下, J1,1,113.22222222222222,23.129111721551794 J2,1,113.2722314…...

编程日记 2025/5/15 15:57:51

【0346】Postgres内核 Startup Process 通过 signal 与 postmaster 交互实现（5）

1. Startup Process 进程 postmaster 初始化过程中，在进入 ServerLoop() 函数之前，会先通过调用 StartChildProcess() 函数来开启辅助进程，这些进程的目的主要用来完成数据库的 XLOG 相关处理。如：核实 pg_wal 和 pg_wal/archive_status 文件是否存在Postgres先前是否发…...

编程日记 2025/5/14 10:43:30

蜜罐攻击网络渗透工具推荐

推荐一批侧重蜜罐攻击的网络渗透测试工具： Glastopf – 主要用于监测网络安全事件的工具。以蜜罐形式可以模拟数千个漏洞，以收集针对Web应用程序的攻击数据。 Kippo – 中交互性的SSH 蜜罐攻击器，用于记录暴力破解攻击。 Kojoney – 一种低…...

编程日记 2025/5/14 15:06:51

26页PDF | 数据中台能力框架及评估体系解读（限免下载）

一、前言这份报告详细解读了数据中台的发展历程、核心概念、能力框架及成熟度评估体系。它从阿里巴巴的“大中台，小前台”战略出发，探讨了数据中台如何通过整合企业内部的数据资源和能力，加速业务迭代、降低成本，并推动业务增长…...

编程日记 2025/5/14 10:56:43

AI开发 - GPT之魂用Python 演示chatGPT的自注意力机制 - 机器学习

自注意力机制（Self-Attention）就是让模型在处理每个词时，学会“关注重点”，而不是平均地对每个词一视同仁。这种机制让 GPT 能更聪明地理解句子的上下文和语义之间的关系。自注意力机制是 GPT 的核心，它帮助模型在理解…...

编程日记 2025/5/12 7:58:39

Vue CLI 提供了哪些功能

前言 Vue CLI 为开发者提供了一整套强大且灵活的工具链，极大地提升了开发效率和代码质量。无论是创建项目、管理依赖、配置环境，还是进行测试和优化，Vue CLI 都能为你提供全面的支持。本文将深入探讨 Vue CLI 所提供的各种功能，并…...

编程日记 2025/5/11 18:03:27

网络爬虫的原理

网络爬虫就是根据网络，把上面的相关信息比如源代码以字符串的形式爬取下来，并且涉及到网站下的一系列网站。 DNS域名解析服务器可以通过ping域名/ip来测试是否连通，dns可以记录网站访问次数，从而评估出网站的使用权重，…...

编程日记 2025/5/16 4:07:07

02_Django路由Router

二、Django路由Router 在实际开发过程中，一个Django 项目会包含很多的 app ，这时候如果我们只在主路由里进行配置就会显得杂乱无章，所以通常会在每个 app 里，创建各自的urls.py路由模块，然后从根路由出发，…...

编程日记 2025/5/15 4:40:03

计算属性和监听属性

Vue.js 中的计算属性与监听属性 Vue.js 是一个流行的前端框架，它提供了许多强大的特性来简化 Web 应用的开发。其中，计算属性（Computed Properties）和监听属性（Watchers）是两个非常重要的概念，…...

编程日记 2025/5/14 0:41:23

JAVA项目-------医院挂号系统

1，项目目的 1、科室管理：新增科室，删除科室（如果有医生在，则不能删除该科室），修改科室。 2、医生管理：录入医生信息，以及科室信息。修改医生信息（主要是修改…...

编程日记 2025/5/11 9:09:11

《Learn Three.js》学习（3）光源

前言： WebGL本身不支持光源，不使用three.js,则需使用着色程序来模拟光源。学习大纲： Three.js中的光源特定光源的使用时机如何调整和配置所有光源的行为如何创建镜头光晕光源表基础光源：THRER.AmbientLight、THERE.Point…...

编程日记 2025/5/16 13:23:05

npm error code ETIMEDOUT 简单排查

今天突然没到一个仓库的ius问题。改完之后想发布npm包出现下面的场景 npm addUser npm adduser npm notice Log in on https://registry.npmjs.org/ Create your account at: https://www.npmjs.com/login?next/login/cli/12596c8b-ba4a-4763-8a97-215087d380c4 Press ENTER…...

编程日记 2025/5/10 19:38:41

Flink高可用配置（HA）

从Flink架构中我们可以看到，JobManager这个组件非常重要，是中心协调器，负责任务调度和资源管理。默认情况下，每个Flink集群只有一个JobManager实例。这会产生单点故障（SPOF）：如果JobManager崩溃，则无法提交新程序，正在运行的程序也会失败。通过JobManager的高可用性，…...

编程日记 2025/5/16 15:14:23

VITE+VUE3+TS环境搭建

前言（与搭建项目无关）： 可以安装一个node管理工具，比如nvm，这样可以顺畅的切换vue2和vue3项目，以免出现项目跑不起来的窘境。我使用的nvm，当前node 22.11.0 目录搭建项目添加状态管理库&…...

编程日记 2025/5/16 15:15:23

windows上安装使用kubectl访问容器内服务

以云服务商提供的容器服务为例：登录云服务，选择容器服务选择集群管理，选择集群概览点击kubeconfig按钮，进入说明页面官网下载kubectl 1、到 Kubernetes 版本变更页面，查看 kubernetes 已发行版本，确认需要安装的 kubectl 版本。 2、kubectl 版本和集群的 kubernetes 版…...

编程日记 2025/5/14 22:10:19

软件工程第14章小测

单项选择题第1题定义类A和B Class A{ public B methodA(){...} } Class B{ public void methodB(){...} } 下面代码中的耦合是（）。 Class Client{ public static void main(String args){ A oa new A(); a.methodA().methodB(); } } …...

编程日记 2025/5/16 9:20:11

HarmonyOS4+NEXT星河版入门与项目实战（23）------组件转场动画

文章目录 1、控件图解2、案例实现1、代码实现2、代码解释3、实现效果4、总结1、控件图解这里我们用一张完整的图来汇整组件转场动画的用法格式、属性和事件，如下所示： 2、案例实现这里我们对上一节小鱼游戏进行改造，让小鱼在游戏开始的时候增加一个转场动画，让小鱼自…...

编程日记 2025/5/15 8:37:30

word转pdf

在线xml格式化： 在线 XML 格式化 | 菜鸟工具 Java使用FreeMarker自动生成Word文档（带图片和表单） Java使用FreeMarker自动生成Word文档（带图片和表单）_freemarker word模板-CSDN博客将word转pdf JAVA 使用aspose…...

编程日记 2025/5/16 13:41:53

@bytemd/vue掘金markdown插件预览内容有误

vue项目使用bytemd/vue 来预览字符串格式的markdown内容，总会多出如图的一段代码， 请问有没有大佬知道为什么？ 很急，求教！！！！！...

编程日记 2025/4/29 14:12:27

产品知识培训全面指南

在当今竞争激烈的市场环境中，产品知识已成为企业成功的关键因素。特别是对于软件即服务（SaaS）公司而言，产品的复杂性要求团队对产品有深入的了解，以便有效地与潜在客户沟通并促成交易。本指南将深入探讨产品知识培训的…...

编程日记 2025/5/12 23:13:41

VSCode修改资源管理器文件目录树缩进（VSCode目录结构、目录缩进、文件目录外观）workbench.tree.indent

文章目录方法点击左下角小齿轮点击设置点击工作台，点击外观，找到Tree: Indent设置目录树的缩进方法点击左下角小齿轮点击设置点击工作台，点击外观，找到Tree: Indent设置目录树的缩进 "workbench.tree.indent"默认…...

编程日记 2025/5/12 8:48:10

周鸿祎再次“创业”，盯上百度

周鸿祎特地拍了部短剧来推广的新产品，终于上线了。 11月27日晚间，360正式发布多模态内容创作引擎“纳米搜索”。作为当前AI应用最红的赛道之一，AI搜索已经有腾讯、秘塔、商汤、抖音等公司入局。传统搜索老大百度也在发力。竞争不妨碍有搜索…...

编程日记 2025/5/15 21:13:48

夜神模拟器+安卓7安装burpsuite系统证书

夜神模拟器安卓7安装burpsuite系统证书安卓 7.0 以上安装 CA 证书： 安卓 5 所安装的 burp 证书是安装到系统根目录下的，从 Android 7.0 开始，系统不再信任用户 CA 证书，所以需要把 CA 证书安装到系统 CA 证书目录。效果: 导出…...

编程日记 2025/5/15 17:37:01

TavilySearchResults报错

报错 pydantic_core._pydantic_core.ValidationError: 1 validation error for TavilySearchAPIWrapper Value error, Did not find tavily_api_key, please add an environment variable TAVILY_API_KEY which contains it, or pass tavily_api_key as a named parameter. …...

编程日记 2025/5/14 8:08:28

相关文章：