当前位置：首页 > news >正文

BERT模型

news 来源：原创 2025/6/8 7:58:21

1.BERT介绍
2.BERT框架
- 2.1 Embedding
- 2.2 Transformer Encoder
3.BERT可视化
4.注意力六种模式
- 4.1 模式1：注意下一个词
- 4.2 模式2：注意前一个词
- 4.3 模式3：注意相同或相关的单词
- 4.4 模式4：注意“其他”句子中相同或相关词
- 4.5 模式5：注意能预测该词的其他单词
- 4.6 模式6：注意分隔符
5. BERT的预训练任务
- 5.1 MLM
- 5.2 NSP
6. BERT的微调

1.BERT介绍

BERT(Bidirectional Encoder Representation from Transformers)是2018年10月由Google AI研究院提出的一种预训练模型，该模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类，并且在11种不同NLP测试中创出SOTA表现，包括将GLUE基准推高至80.4% (绝对改进7.6%)，MultiNLI准确度达到86.7% (绝对改进5.6%)，成为NLP发展史上的里程碑式的模型成就。
BERT的网络架构使用的是《Attention is all you need》中提出的多层Transformer结构，如图1 所示。其最大的特点是抛弃了传统的RNN和CNN，通过Attention机制将任意位置的两个单词的距离转换成1，有效的解决了NLP中棘手的长期依赖问题。Transformer的结构在NLP领域中已经得到了广泛应用。

2.BERT框架

BERT整体框架包含pre-train和fine-tune两个阶段。pre-train阶段模型是在无标注的标签数据上进行训练，fine-tune阶段，BERT模型首先是被pre-train模型参数初始化，然后所有的参数会用下游的有标注的数据进行训练。
在这里插入图片描述

图1 BERT结构

BERT是用了Transformer的encoder侧的网络，encoder中的Self-attention机制在编码一个token的时候同时利用了其上下文的token，其中‘同时利用上下文’即为双向的体现，而并非像Bi-LSTM那样把句子倒序输入一遍。

在它之前是GPT，GPT使用的是Transformer的decoder侧的网络，GPT是一个单向语言模型的预训练过程，更适用于文本生成，通过前文去预测当前的字。

2.1 Embedding

Embedding由三种Embedding求和而成：

在这里插入图片描述

Token Embeddings是词向量，第一个单词是CLS标志，可以用于之后的分类任务
Segment Embeddings用来区别两种句子，因为预训练不光做LM还要做以两个句子为输入的分类任务
Position Embeddings和之前文章中的Transformer不一样，不是三角函数而是学习出来的

其中[CLS]表示该特征用于分类模型，对非分类模型，该符号可以省去。[SEP]表示分句符号，用于断开输入语料中的两个句子。

BERT在第一句前会加一个[CLS]标志，最后一层该位对应向量可以作为整句话的语义表示，从而用于下游的分类任务等。因为与文本中已有的其它词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个词的语义信息，从而更好的表示整句话的语义。
具体来说，self-attention是用文本中的其它词来增强目标词的语义表示，但是目标词本身的语义还是会占主要部分的，因此，经过BERT的12层（BERT-base为例），每次词的embedding融合了所有词的信息，可以去更好的表示自己的语义。而[CLS]位本身没有语义，经过12层，句子级别的向量，相比其他正常词，可以更好的表征句子语义。

2.2 Transformer Encoder

在这里插入图片描述

BERT是用了Transformer的encoder侧的网络，如上图的transformer的Encoder部分

在Transformer中，模型的输入会被转换成512维的向量，然后分为8个head，每个head的维度是64维，但是BERT的维度是768维度，然后分成12个head，每个head的维度是64维，这是一个微小的差别。Transformer中position Embedding是用的三角函数，BERT中也有一个Postion Embedding是随机初始化，然后从数据中学出来的。

BERT模型分为24层和12层两种，其差别就是使用transformer encoder的层数的差异，BERT-base使用的是12层的Transformer Encoder结构，BERT-Large使用的是24层的Transformer Encoder结构。

3.BERT可视化

在这里插入图片描述

如上图将注意力看做不同的连线，它们用来连接被更新的位置（左半边）与被注意的位置（右半边）。不同的颜色分别代表相应的注意头，而线条颜色的深浅代表被注意的强度。

4.注意力六种模式

为了方便演示，这里采用以下例句：

句子A：I went to the store.句子B：At the store, I bought fresh strawberries.

BERT 用 WordPiece工具来进行分词，并插入特殊的分离符（[CLS]，用来分隔样本）和分隔符（[SEP]，用来分隔样本内的不同句子）。

因此实际输入序列为： [CLS] i went to the store . [SEP] at the store , i bought fresh straw ##berries . [SEP]

4.1 模式1：注意下一个词

在这种模式中，每个位置主要注意序列中的下一个词（token）。下面将看到第2层0号头的一个例子。（所选头部由顶部颜色条中突出的显示色块表示。）

在这里插入图片描述

模式1：注意下一个词。

左：所有词的注意力。右：所选词的注意力权重（“i”）

左边显示了所有词的注意力，而右侧图显示一个特定词（“i”）的注意力。在这个例子中，“i”几乎所有的注意力都集中在“went”上，即序列中的下一个词。

在左侧，可以看到 [SEP]符号不符合这种注意力模式，因为[SEP]的大多数注意力被引导到了[CLS]上，而不是下一个词。因此，这种模式似乎主要在每个句子内部出现。

该模式与后向RNN 有关，其状态的更新是从右向左依次进行。模式1出现在模型的多个层中，在某种意义上模拟了RNN 的循环更新。

4.2 模式2：注意前一个词

在这种模式中，大部分注意力都集中在句子的前一个词上。例如，下图中“went”的大部分注意力都指向前一个词“i”。

这个模式不像上一个那样显著。有一些注意力也分散到其他词上了，特别是[SEP]符号。与模式1一样，这与RNN 有些类似，只是这种情况下更像前向RNN。

在这里插入图片描述

模式2：注意前一个词。

左：所有词的注意力。右：所选词的注意力权重（“went”）

4.3 模式3：注意相同或相关的单词

这种模式注意相同或相关的单词，包括其本身。在下面的例子中，第一次出现的“store”的大部分注意力都是针对自身和第二次出现的“store”。这种模式并不像其他一些模式那样显著，注意力会分散在许多不同的词上。

在这里插入图片描述

模式3：注意相同/相关的词。

左：所有词的注意力。右：所选词的注意权重（“store”）

4.4 模式4：注意“其他”句子中相同或相关词

这种模式注意另一个句子中相同或相关的单词。例如，第二句中“store”的大部分注意力都指向第一句中的“store”。可以想象这对于下句预测任务（BERT预训练任务的一部分）特别有用，因为它有助于识别句子之间的关系。

在这里插入图片描述

模式4：注意其他句子中相同/相关的单词。

左：所有词的注意力。右：所选词的注意权重（“store”）

4.5 模式5：注意能预测该词的其他单词

这种模式似乎是更注意能预测该词的词，而不包括该词本身。在下面的例子中，“straw”的大部分注意力都集中在“##berries”上（strawberries 草莓，因为WordPiece分开了），而“##berries”的大部分注意力也都集中在“straw”上。

在这里插入图片描述

模式5：注意能预测该单词的其他单词。

左：所有词的注意力。右：所选词的注意力（“## berries”）

这个模式并不像其他模式那样显著。例如，词语的大部分注意力都集中在定界符（[CLS]）上，而这是下面讨论的模式6的特征。

4.6 模式6：注意分隔符

在这种模式中，词语的大部分注意力都集中在分隔符[CLS]或 [SEP]上。在下面的示例中，大部分注意力都集中在两个 [SEP]符号上。这可能是模型将句子级状态传播到单个词语上的一种方式。

在这里插入图片描述

模式6：注意分隔符。左：所有词的注意力。右：所选词的注意权重（“store”）

5. BERT的预训练任务

BERT是一个多任务模型，它的预训练（Pre-training）任务是由两个自监督任务组成，即MLM和NSP，如图2 所示。

在这里插入图片描述

5.1 MLM

MLM是指在训练的时候随机从输入语料上mask掉一些单词，然后通过上下文预测该单词，该任务非常像我们在中学时期经常做的完形填空。正如传统的语言模型算法和RNN匹配那样，MLM的这个性质和Transformer的结构是非常匹配的。在BERT的实验中，15%的WordPiece Token会被随机Mask掉。在训练模型时，一个句子会被多次喂到模型中用于参数学习，但是Google并没有在每次都mask掉这些单词，而是在确定要Mask掉的单词之后，做以下处理。
- 80%的时候会直接替换为[Mask]，将句子 “my dog is cute” 转换为句子 “my dog is [Mask]”。
- 10%的时候将其替换为其它任意单词，将单词 “cute” 替换成另一个随机词，例如 “apple”。将句子 “my dog is cute” 转换为句子 “my dog is apple”。
- 10%的时候会保留原始Token，例如保持句子为 “my dog is cute” 不变。

这么做的原因是如果句子中的某个Token 100%都会被mask掉，那么在fine-tuning的时候模型就会有一些没有见过的单词。加入随机Token的原因是因为Transformer要保持对每个输入token的分布式表征，否则模型就会记住这个[mask]是token ’cute‘。至于单词带来的负面影响，因为一个单词被随机替换掉的概率只有15%*10% =1.5%，这个负面影响其实是可以忽略不计的。
另外文章指出每次只预测15%的单词，因此模型收敛的比较慢。

优点

1）被随机选择的15%的词当中以10%的概率用任意词替换去预测正确的词，相当于文本纠错任务，为BERT模型赋予了一定的文本纠错能力；
2）被随机选择的15%的词当中以10%的概率保持不变，缓解了finetune时候与预训练时候输入不匹配的问题（预训练时候输入句子当中有mask，而finetune时候输入是完整无缺的句子，即为输入不匹配问题）。

缺点

针对有两个及两个以上连续字组成的词，随机mask字割裂了连续字之间的相关性，使模型不太容易学习到词的语义信息。主要针对这一短板，因此google此后发表了BERT-WWM，国内的哈工大联合讯飞发表了中文版的BERT-WWM。

5.2 NSP

Next Sentence Prediction（NSP）的任务是判断句子B是否是句子A的下文。如果是的话输出’IsNext‘，否则输出’NotNext‘。训练数据的生成方式是从平行语料中随机抽取的连续两句话，其中50%保留抽取的两句话，它们符合IsNext关系，另外50%的第二句话是随机从预料中提取的，它们的关系是NotNext的。这个关系保存在图4中的[CLS]符号中。

输入 = [CLS] 我喜欢玩 [Mask] 联盟 [SEP] 我最擅长的 [Mask] 是亚索 [SEP]
类别 = IsNext

输入 = [CLS] 我喜欢玩 [Mask] 联盟 [SEP] 今天天气很 [Mask] [SEP]
类别 = NotNext

注意

在此后的研究（论文《Crosslingual language model pretraining》等）中发现，NSP任务可能并不是必要的，消除NSP损失在下游任务的性能上能够与原始BERT持平或略有提高。这可能是由于Bert以单句子为单位输入，模型无法学习到词之间的远程依赖关系。针对这一点，后续的RoBERTa、ALBERT、spanBERT都移去了NSP任务。

BERT预训练模型最多只能输入512个词，这是因为在BERT中，Token，Position，Segment Embeddings 都是通过学习来得到的。在直接使用Google 的BERT预训练模型时，输入最多512个词（还要除掉[CLS]和[SEP]），最多两个句子合成一句。这之外的词和句子会没有对应的embedding。

如果有足够的硬件资源自己重新训练BERT，可以更改 BERT config，设置更大max_position_embeddings 和 type_vocab_size值去满足自己的需求。

6. BERT的微调

在海量的语料上训练完BERT之后，便可以将其应用到NLP的各个任务中了。
微调(Fine-Tuning)的任务包括：基于句子对的分类任务，基于单个句子的分类任务，问答任务，命名实体识别等。

基于句子对的分类任务：
- MNLI：给定一个前提 (Premise) ，根据这个前提去推断假设 (Hypothesis) 与前提的关系。该任务的关系分为三种，蕴含关系 (Entailment)、矛盾关系 (Contradiction) 以及中立关系 (Neutral)。所以这个问题本质上是一个分类问题，我们需要做的是去发掘前提和假设这两个句子对之间的交互信息。
- QQP：基于Quora，判断 Quora 上的两个问题句是否表示的是一样的意思。
- QNLI：用于判断文本是否包含问题的答案，类似于我们做阅读理解定位问题所在的段落。
- STS-B：预测两个句子的相似性，包括5个级别。
- MRPC：也是判断两个句子是否是等价的。
- RTE：类似于MNLI，但是只是对蕴含关系的二分类判断，而且数据集更小。
- SWAG：从四个句子中选择为可能前句下文的那个。
基于单个句子的分类任务
- SST-2：电影评价的情感分析。
- CoLA：句子语义判断，是否是可接受的（Acceptable）。
问答任务
- SQuAD v1.1：给定一个句子（通常是一个问题）和一段描述文本，输出这个问题的答案，类似于做阅读理解的简答题。
命名实体识别
- CoNLL-2003 NER：判断一个句子中的单词是不是Person，Organization，Location，Miscellaneous或者other（无命名实体）。

BERT模型

目录 1.BERT介绍2.BERT框架2.1 Embedding2.2 Transformer Encoder 3.BERT可视化4.注意力六种模式4.1 模式1：注意下一个词4.2 模式2：注意前一个词4.3 模式3：注意相同或相关的单词4.4 模式4：注意“其他”句子中相同或相关词4.5 模式…...

编程日记 2025/6/4 3:54:09

Ubuntu22.04上安装esp-idf

一、安装准备# 建议使用Ubuntu 20.04 或 Ubuntu 22.04 操作系统为了在 Ubuntu 22.04 中使用 esp-idf，需要安装一些依赖包 sudo apt-get install git wget flex bison gperf python3\python3-pip python3-venv cmake ninja-build ccache\libffi-dev libssl-dev dfu…...

编程日记 2025/5/29 7:39:00

Synchronous Serial Port 协议详解

1、简介 Synchronous Serial Port (SSP) ，基于下图文档的设计标准 1.1、包含3种数据帧格式： a Motorola SPI-compatible interface（以下简称SPI）a Texas Instruments synchronous serial interface（简写SSI&#xff…...

编程日记 2025/5/31 10:30:01

BSM和BMS什么区别？

BSM BSM（Battery System Manager）是指用于管理和控制电动车辆的电池系统的设备，其功能包括监测电池状态、控制充放电过程、保护电池安全等。 BMS BMS（Battery Management System）是指用于监测、控制和保护电池组的设…...

编程日记 2025/6/4 0:16:35

基于海思soc的智能产品开发（巧用mcu芯片）

编程日记 2025/5/31 16:52:38

R语言混合模型回归GBTM群组轨迹模型绘图可视化研究

全文链接：https://tecdat.cn/?p38581 在回归分析的广袤领域中，面对具有多条未知函数线的复杂数据时，传统方法常常捉襟见肘。混合模型作为一种强有力的分析手段应运而生，其在处理此类复杂情境时展现出独特的优势与潜力&#xff08…...

编程日记 2025/6/3 20:55:28

Flink2.0未来趋势中需要注意的一些问题

手机打字，篇幅不长，主要讲一下FFA中关于Flink2.0的未来趋势，直接看重点。 Flink Forward Asia 2024主会场有一场关于Flink2.0的演讲，很精彩，官方也发布了一些关于Flink2.0的展望和要解决的问题。 1.0时代和2.0时代避免…...

编程日记 2025/6/1 2:50:50

android recycleview 中倒计时数据错乱

原因 recyceleview 当页面划出屏幕外后，默认会有两条进入缓存区，这些item的结构会被保存，数据被清除，方便其他新进入屏幕的数据复用item，超过两条外的item会进入缓存池被完全销毁重用。如果我们的页面上有editText 或…...

编程日记 2025/6/2 7:47:32

康冠科技嵌入式面试题及参考答案

LCD 驱动你自己做了哪些内容？在 LCD 驱动开发中，首先是硬件层面的理解。需要仔细研究 LCD 的数据手册，明确其引脚定义，包括电源引脚、数据引脚、控制引脚等。比如，对于常见的 RGB 接口 LCD，要清楚哪几个引脚是用于传输红、绿、蓝三种颜色的数据，以及像 VSYNC（垂直同步…...

编程日记 2025/5/31 8:51:58

FreeRTOS的任务调度

1.启动任务调度器 vTaskStartScheduler void vTaskStartScheduler( void ) { BaseType_t xReturn;/* Add the idle task at the lowest priority. */#if ( INCLUDE_xTaskGetIdleTaskHandle 1 ){/* Create the idle task, storing its handle in xIdleTaskHandle so it canbe …...

编程日记 2025/6/4 10:20:19

scala中模式匹配的应用

package test34object test6 {case class Person(name:String)case class Student(name:String, className:String)// match case 能根据类名和属性的信息，匹配到对应的类// 注意：// 1 匹配的时候，case class的属性个数要对上// 2 属性名不需…...

编程日记 2025/6/4 0:09:42

基于Springboot人口老龄化社区服务与管理平台【附源码】

基于Springboot人口老龄化社区服务与管理平台效果如下： 系统登陆页面系统主页面社区信息页面社区文件页面活动报名页面走访任务管理页面社区资讯页面老人信息管理页面研究背景随着社会老龄化的加剧，老年人口比例逐渐增加，对老年…...

编程日记 2025/6/3 12:52:52

前端生成docx文档、excel表格、图片、pdf文件

一、前端将页面某区域内容下载为word文档：html-to-docx、file-saver插件组合使用 import HTMLtoDOCX from html-to-docx; import { saveAs } from file-saver;const exportTest async () > {const fileBuffer await HTMLtoDOCX(<h2>文件标题</h2>&…...

编程日记 2025/5/29 23:07:25

Ubantu22系统安装Miniconda3

1、Anaconda和Miniconda异同清华源镜像的Miniconda3和Anaconda都是用于管理Python环境和软件包的工具，但它们之间存在一些关键的不同之处。下面将分别介绍它们的特点以及使用清华源镜像的差异。相同点： （1）功能相似&#xff1a…...

编程日记 2025/5/31 20:17:35

详细解读TISAX认证的意义

详细解读TISAX认证的意义，犹如揭开信息安全领域的一颗璀璨明珠，它不仅代表了企业在信息安全管理方面的卓越成就，更是通往全球汽车供应链信任桥梁的关键一环。TISAX，即“Trusted Information Security Assessment Exchange”&#…...

编程日记 2025/6/4 14:28:00

kubeadm_k8s_v1.31高可用部署教程

kubeadm_k8s_v1.31高可用部署教程实验环境部署拓扑图**部署署架构****Load Balance****Control plane node****Worker node****资源分配（8台虚拟机）**集群列表前置准备关闭swap开启ipv4转发更多设置 1、Verify the MAC address and product_uuid are u…...

编程日记 2025/6/3 3:34:56

MyBatis写法汇总

Mybatis写法汇总 1. 批量操作 1.1 批量插入 <insert id"batchInsert" parameterType"java.util.List">INSERT INTO user (username, password, create_time) VALUES<foreach collection"list" item"item" separator"…...

编程日记 2025/5/29 2:59:46

【C++】优先级队列以及仿函数

本篇我们来介绍一下优先级队列 priority_queue 。优先级队列的底层是数据结构中的堆，在C中它是一个容器适配器，这个容器适配器比之前的栈和队列更复杂。 1.priority_queue的介绍 1.1 优先级队列的底层因为优先级队列就是堆，堆的底层是数组…...

编程日记 2025/6/3 18:22:15

【VUE】13、安装nrm管理多个npm源

nrm（npm registry manager）是一个 npm 源管理器，它允许用户快速地在不同的 npm 源之间进行切换，以提高包管理的速度和效率。以下是对 nrm 使用的详细介绍： 1、安装nrm 在使用 nrm 之前，需要先确保已经安装…...

编程日记 2025/6/4 10:17:59

selenium工作原理

原文链接：https://blog.csdn.net/weixin_67603503/article/details/143226557 启动浏览器和绑定端口当你创建一个 WebDriver 实例（如 webdriver.Chrome()）时，Selenium 会启动一个新的浏览器实例，并为其分配一个特定的…...

编程日记 2025/6/2 14:55:41

Reactor 响应式编程（第三篇：R2DBC）

系列文章目录 Reactor 响应式编程（第一篇：Reactor核心） Reactor 响应式编程（第二篇：Spring Webflux） Reactor 响应式编程（第三篇：R2DBC） Reactor 响应式编程&#xff08…...

编程日记 2025/6/3 20:57:59

从零开始掌握 React 前端框架：入门指南与实战案例

🚀 从零开始掌握 React 前端框架：入门指南与实战案例 📖 前言 React 是由 Facebook 推出的前端框架，用于构建高效、可复用的用户界面（UI）。本文将手把手教你如何从零开始掌握 React，内容覆盖 …...

编程日记 2025/6/2 2:21:45

【日常笔记】Spring boot：编写 Content type = ‘text/plain‘ 接口

一、项目场景： 接口：Context-Type：text/plain 方式：POST 项目场景：硬件回调接口二、实战 PostMapping(value "/xx/xxx", consumes "text/plain" ) 2.1、接口 /*** return String* time 202…...

编程日记 2025/6/4 13:36:28

探索 Seaborn Palette 的奥秘：为数据可视化增色添彩

一、引言在数据科学的世界里，视觉传达是不可或缺的一环。一个好的数据可视化不仅能传递信息，还能引发共鸣。Seaborn 是 Python 中一款广受欢迎的可视化库，而它的调色板（palette）功能，则为我们提供了调配绚…...

编程日记 2025/6/3 15:47:31

多智能体/多机器人网络中的图论法

一、引言 1、网络科学至今受到广泛关注的原因： （1）大量的学科（尤其生物及材料科学）需要对元素间相互作用在多层级系统中所扮演的角色有更深层次的理解； （2）科技的发展促进了综合网…...

编程日记 2025/6/4 3:56:18

【中标麒麟服务器操作系统实例分享】java应用DNS解析异常分析及处理

了解更多银河麒麟操作系统全新产品，请点击访问麒麟软件产品专区：https://product.kylinos.cn 开发者专区：https://developer.kylinos.cn 文档中心：https://documentkylinos.cn 情况描述中标麒麟服务器操作系统V7运行在 ARM虚…...

编程日记 2025/5/30 18:42:19

设计模式12：状态模式

系列总链接：《大话设计模式》学习记录_net 大话设计-CSDN博客参考：设计模式之状态模式 (C 实现)_设计模式的状态模式实现-CSDN博客 1.概述状态模式允许一个对象在其内部状态改变时改变其行为。对象看起来像是改变了其类。使用状态模式可以将状态的相…...

编程日记 2025/6/1 6:27:38

AI @国际象棋世界冠军赛: 从棋盘到科研创新之路

点击屏末 | 阅读原文 | 在小红书和 Google 谷歌回顾 WCC...

编程日记 2025/6/2 6:21:47

LeetCode刷题day29——动态规划（完全背包）

LeetCode刷题day29——动态规划（完全背包） 377. 组合总和 Ⅳ分析： 57. 爬楼梯（第八期模拟笔试）题目描述输入描述输出描述输入示例输出示例提示信息分析： 322. 零钱兑换分析： 279. 完全平方数分…...

编程日记 2025/6/2 0:21:16

C++对象数组对象指针对象指针数组

一、对象数组对象数组中的每一个元素都是同类的对象； 例1 对象数组成员的初始化 #include<iostream> using namespace std;class Student { public:Student( ){ };Student(int n,string nam,char s):num(n),name(nam),sex(s){};void display(){cout<&l…...

编程日记 2025/6/3 12:57:05

主曲率为常数时曲面分类

主曲率为常数 ⇔ K , H \Leftrightarrow K,H ⇔K,H 为常数，曲面分类： 1.若 k 1 k 2 0 k_1k_20 k1k20,则 S S S为全脐点曲面——平面的一部分； 2.若 k 1 k 2 ≠ 0 k_1k_2\neq0 k1k20,则 S S S为全脐点曲面——球面的一部分&…...

编程日记 2025/5/30 13:41:41

单片机：实现HC-SR04超声波测距（附带源码）

使用单片机实现 HC-SR04 超声波测距模块的功能，通常用于测量物体与超声波传感器之间的距离。HC-SR04 模块通过发射超声波信号并测量其返回时间来计算距离。单片机（如 STM32、51 系列、Arduino 等）可用来控制该模块的工作，并处理返…...

编程日记 2025/6/3 18:35:51

分布式全文检索引擎ElasticSearch-数据的写入存储底层原理

一、数据写入的核心流程当向 ES 索引写入数据时，整体流程如下： 1、客户端发送写入请求客户端向 ES 集群的任意节点（称为协调节点，Coordinating Node）发送一个写入请求，比如 index（插入或更…...

编程日记 2025/5/31 10:53:48

mfc140u.dll是什么文件？如何解决mfc140u.dll丢失的相关问题

遇到“mfc140u.dll文件丢失”的错误通常影响应用程序的运行，这个问题主要出现在使用Microsoft Visual C环境开发的软件中。mfc140u.dll是一个重要的系统文件，如果它丢失或损坏，会导致相关程序无法启动。本文将简要介绍几种快速有效的方法来恢…...

编程日记 2025/5/31 15:04:09

ChatGPT生成接口测试用例（一）

用ChatGPT做软件测试接口测试在软件开发生命周期中扮演着至关重要的角色，有助于验证不同模块之间的交互是否正确。若协议消息被恶意修改，系统是否能够恰当处理，以确保系统的功能正常运行，不会出现宕机或者安全问题。 5.1 ChatGP…...

编程日记 2025/6/1 10:45:36

Jenkins 中写 shell 命令执行失败，检测失败问题

由于项目的依赖复杂，随着版本的增多，人工操作，手误几率太大，我们选取kenins 来自动化发布、更新。这里主要解决，发布的每个阶段，确保每个阶段执行成功。比如： js 运行，…...

编程日记 2025/6/1 23:01:49

Dot Foods EDI 需求分析及对接流程

Dot Foods 是一家美国领先的食品和非食品产品的中间批发分销商，主要为食品服务、零售和分销行业的客户提供服务，是北美大型食品中间分销商之一。Dot Foods （以下简称 Dot）的业务模式是通过整合多个供应商的产品，为客户…...

编程日记 2025/6/3 13:10:31

数据特性库前言

文章目录一、num-traits库简介二、核心功能三、更新功能四、使用方式五、应用示例六、结论一、num-traits库简介 num-traits是Rust编程语言中的一个开源库，专注于为数值类型提供一系列的数学运算特性和接口。它支持泛型数学计算，允许开发者在不指定具…...

编程日记 2025/5/31 3:40:55

项目授权无法正常操作的解决方法

概述在非saas环境的项目中，授权页面的接口不需要token，但是在某些时候会导致页面无法正常操作，暂时用该文档中的解决方法来处理，后续会修复该问题。现象描述登录时报未授权跳转至该页面，有时该页面会弹出登录超时对…...

编程日记 2025/6/3 13:31:20

python学opencv|读取图像（十七）认识alpha通道

【1】引言前序学习进程中，我们已经掌握了RGB和HSV图像的通道拆分和合并，获得了很多意想不到的效果，相关链接包括且不限于： python学opencv|读取图像（十二）BGR图像转HSV图像-CSDN博客 python学opencv|读…...

编程日记 2025/6/3 13:42:52

WSL2安装到自定义盘教程（非先安装后打包）

step1：环境配置按照官方教程从头到尾配置一遍，直到从微软商店下载好Ubuntu20.04为止 step2：拷贝下载内容使用微软商店下载的应用安装包会默认保存在C:\Program Files\WindowsApps目录下在该目录下找到以CanonicalGroupLimited开头的文…...

编程日记 2025/5/30 18:41:52

环境变量的知识

目录 1. 环境变量的概念 2. 命令行参数 2.1 2.2 创建 code.c 文件 2.3 对比 ./code 执行和直接 code 执行 2.4 怎么可以不带 ./ 2.4.1 把我们的二进制文件拷贝到 usr/bin 路径下，也不用带 ./ 了 2.4.2 把我们自己的路径添加到环境变量里 3. 认识PATH 3.…...

编程日记 2025/6/3 18:34:41

【python】OpenCV—Image Moments

文章目录 1、功能描述2、图像矩3、代码实现4、效果展示5、完整代码6、涉及到的库函数cv2.moments 7、参考 1、功能描述计算图像的矩，以质心为例 2、图像矩什么叫图像的矩，在数字图像处理中有什么作用？ - 谢博琛的回答 - 知乎 https://ww…...

编程日记 2025/5/31 18:43:46

优化 HTTP 接口请求：缓存策略与实现方法

前言在前端开发中，HTTP 请求的处理是至关重要的一环。Axios 作为一个流行的 HTTP 客户端，其简洁性和灵活性使得它广受开发者青睐。然而，为了优化应用性能和提升用户体验，合理地缓存请求结果显得尤为重要。本文将深入探讨如何在 …...

编程日记 2025/5/30 8:36:54

图形 3.3 曲面细分与几何着色器_大规模草渲染

细分后的顶点曲面细分与几何着色器大规模草渲染 B站视频：图形 3.3 曲面细分与几何着色器大规模草渲染文章目录细分后的顶点曲面细分与几何着色器大规模草渲染着色器执行顺序曲面细分着色器概述曲线和曲面相关概念输入与输出总体流程Hull Shader常量外壳着色器…...

编程日记 2025/6/2 8:53:55

shell8

until循环(条件为假的时候一直循环和while相反) i0 until [ ! $i -lt 10 ] doecho $i((i)) done分析初始化变量： i0：将变量i初始化为0。条件判断 (until 循环)： until [ ! $i -lt 10 ]：这里的逻辑有些复杂。它使用了until循环…...

编程日记 2025/6/4 16:18:14