当前位置：首页 > news >正文

BERT模型入门（6）语言建模

news 来源：原创 2025/6/19 11:10:25

文章目录

自回归语言建模
自编码语言建模

BERT模型在以下两个任务上进行预训练：

（1）掩蔽语言建模

（2）下一句预测

让我们逐一了解这两种预训练策略是如何工作的。在介绍掩蔽语言模型任务之前，首先让我们了解语言建模任务是如何工作的。

在语言建模任务中，我们训练模型根据给定的单词序列预测下一个单词。我们可以将语言建模分为两个方面：

(1)回归语言建模

(2) 自编码语言建模

自回归语言建模

我们可以将自回归语言建模分类如下：

正向（从左到右）预测

反向（从右到左）预测

让我们通过一个例子来了解这两种方法是如何工作的。考虑文本’Beijing is a beautiful city. I love Beijing’。

让我们移除单词’city’并在那里添加一个空白，如下所示：

Beijing is a beautiful __. I love Beijing

现在，我们的模型必须预测这个空白。如果我们使用正向预测，那么我们的模型将按顺序从左到右读取所有单词直到空白处以进行预测，如下所示：

Beijing is a beautiful __.

如果我们使用反向预测，那么我们的模型将按顺序从右到左读取所有单词直到空白处以进行预测，如下所示：

__. I love Beijing

因此，自回归模型本质上是单向的，这意味着它们只按一个方向阅读句子。

自编码语言建模

自编码语言建模利用了正向（从左到右）和反向（从右到左）预测的优势。也就是说，在做出预测时，它会双向阅读句子。因此，我们可以说自编码语言模型本质上是双向的。正如我们可以从以下例子中观察到的，为了预测空白处的单词，自编码语言模型会双向阅读句子，即从左到右和从右到左：

Beijing is a beautiful __. I love Beijing

双向模型能给出更好的结果，因为如果我们从两个方向阅读句子，它将为我们提供更多关于理解句子的清晰度。

现在我们已经了解了语言建模是如何工作的，下一节我们将探讨BERT的一种预训练策略，称为掩蔽语言建模。

感谢您的阅读，欢迎关注！

BERT模型入门（6）语言建模

文章目录自回归语言建模自编码语言建模 BERT模型在以下两个任务上进行预训练： （1）掩蔽语言建模 （2）下一句预测让我们逐一了解这两种预训练策略是如何工作的。在介绍掩蔽语言模型任务之前，首先让我们了…...

编程日记 2025/6/4 6:30:32

RNN LSTM Seq2Seq Attention

非端到端： data -》 cleaning -》 feature Engining （70%-80%工作设计特征）-》分类器 -》预测端到端 End-to-End： data -》 cleaning -》Deep learning（表示学习，从数据中学习特征） -》…...

编程日记 2025/6/4 1:30:32

go语言使用websocket发送一条消息A，持续接收返回的消息

在Go语言中实现一个WebSocket客户端，可以使用gorilla/websocket这个非常流行的库来处理WebSocket连接。下面是一个简单的示例，展示了如何创建一个WebSocket客户端，向服务器发送消息"A"，并持续接收来自服务器的响应。首…...

编程日记 2025/5/31 22:38:18

音频进阶学习八——傅里叶变换的介绍

文章目录前言一、傅里叶变换1.傅里叶变换的发展2.常见的傅里叶变换3.频域二、欧拉公式1.实数、虚数、复数2.对虚数和复数的理解3.复平面4.复数和三角函数5.复数的运算6.欧拉公式三、积分运算1.定积分2.不定积分3.基本的积分公式4.积分规则线性替换法分部积分法 5.定积分计算…...

编程日记 2025/6/1 6:54:51

沟通的艺术，学会转移矛盾

我的一位好友，资深项目经理，同时也是我公益课程的热心志愿者，最近向我倾诉了他在团队沟通上的挑战。他发现，尽管辅导学员时感到轻松愉快，但与自己团队成员的沟通却充满挫折。我询问了他的沟通方式，他解释…...

编程日记 2025/6/4 8:15:00

测评|携程集团25年社招在线测评北森题库、真题分析、考试攻略

携程集团社招入职测评北森题库主要考察以下几个方面： 1. **言语理解**：这部分主要测试应聘者运用语言文字进行思考和交流、迅速准确地理解和把握文段要旨的能力。 2. **资料分析**：包括文字题和图表题，考察应聘者快速找出关键信息…...

编程日记 2025/6/4 18:03:14

C++（进阶) 第4章 map和set的使⽤

C（进阶) 第4章 map和set的使⽤文章目录前言一、序列式容器和关联式容器二、set1. insert2.迭代器遍历3.范围for4.erase5.count6.lower_bound和upper_bound 三、multiset总结前言上一篇博客写了二叉搜索树，这一篇博客会在上一篇博客原来的上在深入介…...

编程日记 2025/6/4 17:34:01

数独游戏app制作拆解（之三）——数字候选区实现

所谓的数据候选区就是这个： 数字候选区功能及实现： 说明：这部分其实也是textview. 本区功能： 一、实现数字显示到显示区。点击显示区选定某个格子后，再点击这里的数字，会在格子内显示相应的数字。在编辑…...

编程日记 2025/6/2 17:16:39

数据结构——排序

*排序属于数据的运算 1、定义：将一组杂乱无章的数据按一定规律顺次排列一起，即将无序序列排成一个有序序列的运算。（如果参加排序的数据结构包含多个数据域，那么排序往往是针对其中某个域而言） 2、排序的应用十分广泛：程序中间接应用（二分查找、最短路径、最小生成树…...

编程日记 2025/6/3 15:47:51

制造业4.0：AI与机器人如何重塑生产线

引言：从传统到未来的转型在轰鸣的生产线上，传统制造业曾以规模化生产和成本效益为核心竞争力，推动了全球工业化进程。然而，面对现代市场的多样化需求和激烈竞争，这种模式正暴露出越来越多的局限性：产能过剩…...

编程日记 2025/6/3 10:03:25

Fastdfs V6.12.1集群部署(arm/x86均可用)

文章目录一、 Fastdfs 介绍二、部署信息三、步骤tracker/storage 机器的 compose 内容storage 机器的 composetracker 与 storage 启动目录层级与配置文件测试测试集群扩容与缩减注意事项一、 Fastdfs 介绍 FastDFS 是一款高性能的分布式文件系统，特别适合用于存…...

编程日记 2025/6/4 7:18:29

【学习笔记】深入浅出详解Pytorch中的View, reshape, unfold，flatten等方法。

文章目录一、写在前面二、Reshape（一）用法（二）代码展示三、Unfold（一）torch.unfold 的基本概念（二）torch.unfold 的工作原理（三） 示例代码（四&a…...

编程日记 2025/6/1 15:00:55

解决Presto dirver timestamp时区问题

#bigdata/metabase 一、背景介绍 1、Presto版本使用阿里云集群的版本 EMR-5.4.2，Presto的版本为338； Facebook后续不再维护，Trino 351为首个版本 2、Metabase版本历史版本为0.38.4，新版本为0.51.5 3、0.38.4 cast to time…...

编程日记 2025/6/4 3:31:26

【优选算法】Prefix-Kage：前缀和的算法影（上）

文章目录 1.概念解析2.代码实现2.1【模版】前缀和（一维）2.1.1 原理2.1.2 代码实现 2.2【模版】前缀和（二维）2.2.1 原理2.2.2 代码实现希望读者们多多三连支持小编会继续更新你们的鼓励就是我前进的动力！ 本篇是优选算…...

编程日记 2025/6/3 18:36:17

中阳科技：量化交易模型的技术革新与实践应用

在金融市场日益复杂化的今天，量化交易作为数据驱动的现代化交易方式，已成为金融领域发展的关键方向。中阳科技凭借深厚的技术积累与创新能力，积极探索量化交易模型的优化与应用，开辟了智能金融新局面。量化交易的优势与市场前景…...

编程日记 2025/6/1 8:36:14

golang 判断一个点是否在一个多边形内

我有一需求为：判断一个点（经纬度范围）是否在一个多边形范围内（多个经纬度点） 这里我借助几何库（ github.com/paulmach/orb）来处理地理空间数据可以通过在线获取经纬度来确认代码正确性 packa…...

编程日记 2025/6/1 8:32:24

图论笔记1

1.1邻接矩阵储存法 //创建:二维数组vector<vector<int>> graph(n,vector<int>(n,0));//储存for(int i0;i<m;i){int x1,x2;cin>>x1>>x2;graph[x1-1][x2-1]1;}1.2邻接表储存法补充：c中的list是链表链接 //创建：数组…...

编程日记 2025/6/1 8:20:31

大模型QLoRA微调——基于Qwen2-7B的自动化病历摘要生成系统

01 项目简介 （1）项目背景医疗文档中包含大量的诊疗信息，例如疾病诊断、手术名称、解剖部位、药物使用以及影像和实验室检查结果。这些信息是医疗数据分析的核心，但由于医疗文本内容复杂、格式多样，提取这些关键内容…...

编程日记 2025/5/31 0:21:30

CTFHub-ssrf

技能树--Web--SSRF 内网访问开启题目尝试访问位于127.0.0.1的flag.php吧进入环境根据提示输入即可 127.0.0.1/flag.php 伪协议读取文件开启题目尝试去读取一下Web目录下的flag.php吧进入环境，根据提示输入 file:///var/www/html/flag.php 鼠标右键查看…...

编程日记 2025/6/4 17:55:15

使用ElasticSearch实现全文检索

文章目录全文检索任务描述技术难点任务目标实现过程1. java读取Json文件，并导入MySQL数据库中2. 利用Logstah完成MySQL到ES的数据同步3. 开始编写功能接口3.1 全文检索接口3.2 查询详情 4. 前端调用全文检索任务描述在获取到数据之后如何在ES中进行数据建模&a…...

编程日记 2025/5/31 8:19:20

【docker】容器编排之docker swarm

Docker Swarm容器编排详细讲解 Docker Swarm是Docker的原生容器编排工具，它通过将多个Docker引擎组合成一个集群来实现高效的容器部署和管理。 Swarm提供了服务发现、负载均衡、扩展、自动恢复等功能，能够让开发者和运维人员以更简便的方式管理容器化应…...

编程日记 2025/5/30 1:47:42

微信小程序苹果手机自带的数字键盘老是弹出收起，影响用户体验，100%解决

文章目录 1、index.wxml2、index.js3、index.wxss1、index.wxml  <view class="container"><view class="code-input-container"><view class="code-input-boxes"><!-- <block wx:for="{{…...

编程日记 2025/6/1 8:35:10

SCAU期末笔记 - Linux系统应用与开发教程样卷解析（2024版）

我真的不理解奥，为什么会有给样卷不自带解析的，对答案都没得对，故整理一篇样卷1 一、选择题 1、为了遍历shell脚本调用时传入的参数，需要在shell脚本中使用_____。 A.$#表示参数的个数B.S表示所有参数C.$0表示脚本名D.$1表示…...

编程日记 2025/6/2 2:19:25

2024 年贵州技能大赛暨全省第二届数字技术应用职业技能竞赛“信息通信网络运行管理员”赛项--linux安全题

Linux操作系统渗透测试 Nmap -sS -p- ip 扫描这题有俩种做法，一种用3306端口，另一种用48119端口用48119端口是最简单的做法 nc 连接这个端口如何修改root密码 ssh连接这样我们就成功的拿到root权限 1.通过本地PC中渗透测试平台Kali对服务器场景进…...

编程日记 2025/6/3 3:23:18

CTFshow-php特性(Web125-150) Web125 <?php error_reporting(0); highlight_file(__FILE__); include("flag.php"); $a$_SERVER[argv]; $c$_POST[fun]; if(isset($_POST[CTF_SHOW])&&isset($_POST[CTF_SHOW.COM])&&!isset($_GET[fl0g])){if(!p…...

编程日记 2025/6/3 13:39:37

机器学习一点基础

人工智能（Artificial Intelligence, AI）和机器学习（Machine Learning, ML）是当今最热门的技术领域之一。然而，初学者往往面对大量的术语和技术细节，不知道从何入手。本文将以通俗易懂的方式介绍机器学习的基…...

编程日记 2025/6/4 12:35:28

【C++】 While循环高级分析与实践扩展

博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C 文章目录 💯前言💯While 循环基础知识1.1 基本语法形式1.2 if 与 while 的区别1.3 循环结构比较 💯While 循环实例分析2.1 执行结果2.2 计算流程分析 💯While 循环注意…...

编程日记 2025/6/1 1:45:56

React Native状态管理器Redux、MobX、Context API、useState

Redux、MobX、Context API、useState都是React中用于状态管理的工具，但它们各自有不同的特点和使用场景。 Redux 介绍： Redux是一个JavaScript状态管理库，最初由Dan Abramov和Andrew Clark于2015年开发。它基于Flux架构，强调状态…...

编程日记 2025/6/4 6:44:07

【AI系列】Paddle Speech安装指南

文章目录环境依赖1. 安装Python1.1 下载Python安装包1.2 安装gcc1.3 安装依赖库1.4 编译和安装Python1.5 配置环境变量 2. 安装PaddlePaddle3. 安装PaddleSpeech4. 运行PaddleSpeech5. 解决常见问题5.1 错误：libssl.so.1.1解决方法： 5.2 错误&#xff1…...

编程日记 2025/6/3 15:56:35

【学习笔记总结】华为云：应用上云后的安全规划及设计

一、背景和问题数字化时代，随着信息技术的飞速发展，企业和各类组织纷纷将自身的应用程序迁移至云端。云计算凭借其诸多优势，如成本效益、可扩展性、灵活性以及便捷的资源共享等，已然成为了现代业务运营的重要支撑。今年&#xf…...

编程日记 2025/6/3 17:47:35

数据可视化-2. 条形图

目录 1. 条形图适用场景分析 1.1 比较不同类别的数据 1.2 展示数据分布 1.3 强调特定数据点 1.4 展示时间序列数据的对比 1.5 数据可视化教育 1.6 特定领域的应用 2. 条形图局限性 3. 条形图图代码实现 3.1 Python 源代码 3.2 条形图效果（网页显示&#…...

编程日记 2025/6/2 10:13:44

设置Qt程序开机自启动(windows版本)

前言本文展示在windows环境下，通过代码实现更改系统注册表的方式来实现程序的开机自动启动。一、注册表需要更改的系统注册表为: HKEY_CURRENT_USER\\Software\\Microsoft\\Windows\\CurrentVersion\\Run 二、代码演示 1.头文件头文件autorun.h #ifndef …...

编程日记 2025/6/1 6:26:31

LeetCode hot100-80

https://leetcode.cn/problems/partition-labels/description/?envTypestudy-plan-v2&envIdtop-100-liked 763. 划分字母区间已解答中等相关标签相关企业提示给你一个字符串 s 。我们要把这个字符串划分为尽可能多的片段，同一字母最多出现在一个片段中。…...

编程日记 2025/6/1 6:43:43

Ubuntu批量修改文件名

文章目录批量重命名文件：Ubuntu下使用find命令结合sed和mv参考批量重命名文件：Ubuntu下使用find命令结合sed和mv 在日常开发和文件管理中，有时我们需要批量重命名一批文件，比如将文件名中的某个特定字符串替换为另一个字符串。…...

编程日记 2025/6/2 20:02:42

CVMJ 2024 | StyleDiffusion: 基于Prompt嵌入的真实图像反演和文本编辑

论文：《StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing》代码：https://github.com/sen-mao/StyleDiffusionhttps://github.com/sen-mao/StyleDiffusion 问题背景已有一些工作利用预训练扩散模型进行真实图像的编辑。这些方…...

编程日记 2025/6/4 13:06:50

UE5 帧数优化思路

A、思路 1、直接在GM的事件beginplay中改可延展性相对质量级别， 改为1或2，最简单粗暴的方式，而效果明显，帧数提高一倍，GPU占用率与显存占用直接下降一大截。在物体密集的地方卡顿会缓解很多，物体少的地方…...

编程日记 2025/5/30 0:08:43

【Java】正则表达式基础题+场景题练习

基础语法可以看我另一篇博客：正则表达式【规则】【实例】【技巧】_正则规则-CSDN博客输出结果全是true public class StringRegexTest {public static void main(String[] args) {System.out.println(matchSingleNum("1"));System.out.println(matchMul…...

编程日记 2025/6/3 13:11:40

qq资料修改/空间操作

此工具仅支持空间ck导入操作发布说说转发别人的动态分享支持修改头像修改昵称空间权限获取说说内容自定义说放置说说图片同样也支持多ck操作详细支持如下发布说说转发分享修改头像修改昵称允许空间发送分享设置访客权限问题空间清空相册删除说说封存三天…...

编程日记 2025/6/1 9:47:14

数据结构—图

目录一、图的定义二、图的基本概念和术语 2.1有向图 2.2无向图 2.3简单图 2.4多重图 2.5完全图 2.6子图 2.7连通、连通图和连通分量 2.8强连通图、强联通分量 2.9生成树，生成森林 2.10顶点的度、入度和出度 2.11边的权和网 2.12稠密图、稀疏图 2.1…...

编程日记 2025/6/2 3:00:24

【Prompt Engineering】2.迭代优化

一、环境配置配置使用zhipuai API 的环境。安装 zhipuai 库，并设置 API_KEY。封装 zhipuai 接口的函数，参数为 Prompt，返回对应结果。 from zhipuai import ZhipuAI zhipu_client ZhipuAI(api_key"") # 一个封装 OpenAI 接口…...

编程日记 2025/6/3 13:11:44

每日十题八股-2024年12月16日

1.垃圾回收算法哪些阶段会stop the world? 2.minorGC、majorGC、fullGC的区别，什么场景触发full GC 3.垃圾回收器 CMS 和 G1的区别？ 4.什么情况下使用CMS，什么情况使用G1? 5.G1回收器的特色是什么？ 6.GC只会对堆进行GC吗&#x…...

编程日记 2025/5/31 10:54:02

使用 imageio 库轻松处理图像与视频

使用 imageio 库轻松处理图像与视频 imageio 是一个 Python 库，用于读取和写入多种图像和视频格式。它功能强大、易于使用，广泛应用于图像处理、视频编辑和数据可视化等领域。本篇文章将介绍 imageio 的基础功能、常见用法以及高级操作。一、安装 imag…...

编程日记 2025/6/1 7:57:12

MR30分布式IO模块：驱动物流传输机高效升级

在日新月异的物流行业中，效率与智能化已成为推动企业转型升级的关键驱动力。随着物联网、大数据、云计算等技术的深度融合，传统物流传输机正逐步向智能化、自动化迈进。在这场技术革命中，明达技术MR30分布式IO模块以其独特的优势，…...

编程日记 2025/6/4 12:21:20

【开源免费】基于SpringBoot+Vue.JS在线竞拍系统（JAVA毕业设计）

本文项目编号 T 013 ，文末自助获取源码 \color{red}{T013，文末自助获取源码} T013，文末自助获取源码目录一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析六、核心代码6.1 查…...

编程日记 2025/6/4 11:48:15

Docker

文章目录仓库容器核心组件网络模式挂载方式Docker常用指令Compose常用指令代码仓库国内镜像仓库地址修改方法见： https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors 科大镜像：https://docker.mirrors.ustc.edu.cn/网易：ht…...

编程日记 2025/6/3 5:39:12

上海艾一公司-运维工程师知识点备战

1.AD域控（ActionDirectory活动目录） ad域的作用：批量管理主机和用户（所以数量要多用这个才合适） 前置1：VM安装Windows镜像 2.IT资产管理 3.会议室管理...

编程日记 2025/6/3 7:04:06

程序员实用工具之推荐（Recommendations for Practical Tools for Programmers）

11款程序员实用工具，老少皆宜优秀程序员之所以优秀的原因并不一定是他写代码的速度比所有人都快，但他解决事情的效率一定是比很多人都要高的，提升工作效率的方法并不需要我们十八般武艺样样精通，有时候使用好的工具就能帮助我们大…...

编程日记 2025/6/2 10:02:17

win服务器的架设、windows server 2012 R2 系统的下载与安装使用

文章目录 windows server 2012 R2 系统的下载与安装使用1 windows server 2012 的下载2 打开 VMware 虚拟机软件（1）新建虚拟机（2）设置虚拟机（3）打开虚拟机 windows server 2012（4）进…...

编程日记 2025/5/31 10:53:59

当服务器数据包丢失该怎样进行解决？

当企业面对服务器数据包丢失的情况，都有哪些解决策略呢？ 首先对于数据丢失，最直接的方法就是尝试进行数据恢复，数据恢复过程通常包括使用数据恢复软件扫描丢失数据的磁盘驱动器，以此来尝试找回丢失的文件，在…...

编程日记 2025/6/2 2:58:58

go语言爬虫钉钉群机器人

第一步：钉钉新建一个群机器人钉钉创建群机器人文档：https://open.dingtalk.com/document/orgapp/custom-robot-access 安全设置选择签名签名设置文档：https://open.dingtalk.com/document/robots/customize-robot-security-settings 第二步…...

编程日记 2025/6/2 11:14:29

文章目录

自回归语言建模

自编码语言建模

相关文章：