当前位置：首页 > news >正文

Showrunner AI技术浅析（二）：大型语言模型

news 来源：原创 2025/6/8 2:01:45

1. GPT-3模型架构详解

GPT-3是基于Transformer架构的预训练语言模型，由OpenAI开发。其核心思想是通过自注意力机制（Self-Attention）处理输入序列，并生成自然语言文本。

1.1 Transformer架构基础

Transformer架构由Vaswani等人在2017年提出，主要由编码器（Encoder）和解码器（Decoder）组成。然而，GPT-3仅使用Transformer的解码器部分进行生成任务。

1.1.1 解码器（Decoder）

解码器是GPT-3的核心组件，负责生成自然语言文本。其主要组成部分包括多头自注意力机制、掩码自注意力机制和前馈神经网络。

1.1.1.1 多头自注意力机制（Multi-Head Self-Attention）

多头自注意力机制允许模型在不同的表示子空间里关注输入序列的不同部分。其计算过程如下：

1.输入表示:

输入序列 $X=[x_{1},x_{2},...,x_{n}]$ ，其中 $x_{i}$ 是第 $i$ 个词的嵌入向量。

2.线性变换:

将输入 $X$ 线性变换为查询（ $Q$ ）、键（ $K$ ）和值（ $V$ ）矩阵：
其中， $W^{Q},W^{K},W^{V}$ 是可训练的权重矩阵。

3.自注意力计算:

计算注意力得分：
其中， $d_{k}$ 是键的维度，用于缩放注意力得分，防止梯度消失或爆炸。

4.多头处理:

对 $h$ 个不同的头分别进行上述计算：
将所有头的输出拼接起来，并通过线性变换得到最终输出：

1.1.1.2 掩码自注意力机制（Masked Self-Attention）

掩码自注意力机制防止模型在生成当前词时看到未来的词。其计算过程如下：

1.输入表示: 输入序列 $Y=[y_{1},y_{2},...,y_{m}]$ ，其中 $y_{i}$ 是第 $i$ 个词的嵌入向量。

2.线性变换: 将输入 $Y$ 线性变换为查询（ $Q$ ）、键（ $K$ ）和值（ $V$ ）矩阵。

3.掩码处理: 在计算注意力得分时，屏蔽掉未来的词：

其中，MaskMatrix 是一个掩码矩阵，用于遮蔽未来的词。

1.1.1.3 前馈神经网络（Feed-Forward Neural Network）

前馈神经网络对每个位置的上下文表示进行非线性变换。其计算过程如下：

1.输入: 多头自注意力的输出 $Z$ 。

2.线性变换和激活函数:

其中， $W_{1},W_{2}$ 是权重矩阵， $b_{1},b_{2}$ 是偏置向量， $\textrm{max}\left ( 0,\cdot \right )$ 是ReLU激活函数。

3.残差连接和层归一化:

残差连接：
层归一化：

1.2 位置编码（Positional Encoding）

由于Transformer模型本身不包含位置信息，GPT-3使用位置编码来提供序列中词的位置信息。位置编码通常使用正弦和余弦函数生成：

其中， $pos$ 是位置， $i$ 是维度索引， $d_{model}$ 是嵌入向量的维度。

2. 模型训练

2.1 训练目标

GPT-3的训练目标是在给定前文的情况下预测下一个词。其损失函数为交叉熵损失：

其中， $y_{t}$ 是目标序列中的第 $t$ 个词， $P\left ( y_{t}|y<t \right )$ 是模型预测第 $t$ 个词的条件概率。

2.2 训练过程

1.数据预处理:

收集并清洗大量文本数据，包括书籍、文章、代码等。
使用标记化技术将文本转换为标记序列。

2.模型初始化:

初始化模型参数，使用Xavier或Kaiming初始化方法。

3.前向传播:

输入序列通过解码器生成上下文向量。
使用掩码自注意力机制防止模型看到未来的词。

4.计算损失:

计算生成文本与真实文本之间的交叉熵损失。

5.反向传播:

使用反向传播算法计算梯度。
使用优化算法（如Adam）更新模型参数。

6.梯度裁剪:

防止梯度爆炸，设置梯度裁剪阈值。

7.学习率调度:

动态调整学习率，使用余弦退火或学习率衰减。

3. 生成过程

3.1 推理与生成

1.初始化:

从起始标记（<START>）开始。

2.解码:

使用掩码自注意力机制生成当前词的预测。
使用前馈神经网络生成当前词的预测概率分布。

3.预测:

使用束搜索或采样策略选择下一个词。

4.终止:

当生成终止标记（<END>）时，终止生成过程。

3.2 束搜索（Beam Search）

束搜索通过保留多个候选序列来提高生成文本的质量。以下是束搜索的基本步骤：

1.初始化:

从起始标记开始，生成前 kk 个最可能的词作为候选序列。

2.扩展:

对每个候选序列，生成前 kk 个最可能的下一个词，生成新的候选序列。

3.剪枝:

保留前 kk 个得分最高的候选序列。

4.终止:

当所有候选序列生成终止标记时，终止搜索。

3.3 采样策略

采样策略通过随机采样生成文本，可以增加生成文本的多样性。以下是一些常见的采样策略：

Top-K采样: 从概率最高的 $k$ 个词中随机选择一个。
Top-p采样（核采样）: 从累积概率超过 $p$ 的最小集合中随机选择一个词。
温度采样: 通过调整温度参数 $T(T>0)$ 来控制生成文本的随机性。 $T$ 越小，生成文本越确定； $T$ 越大，生成文本越随机。

Showrunner AI技术浅析（二）：大型语言模型

1. GPT-3模型架构详解 GPT-3是基于Transformer架构的预训练语言模型，由OpenAI开发。其核心思想是通过自注意力机制（Self-Attention）处理输入序列，并生成自然语言文本。 1.1 Transformer架构基础 Transformer架构由Vaswani等人在…...

编程日记 2025/6/4 2:43:15

Web安全攻防入门教程——hvv行动详解

Web安全攻防入门教程 Web安全攻防是指在Web应用程序的开发、部署和运行过程中，保护Web应用免受攻击和恶意行为的技术与策略。这个领域不仅涉及防御措施的实现，还包括通过渗透测试、漏洞挖掘和模拟攻击来识别潜在的安全问题。本教程将带你入门Web安全攻防…...

编程日记 2025/6/3 13:26:11

************* C 买卖股票问题合集 ************* Since I have finished some stocks problems. I wanna make a list of the stocks to figure out the similarities. Here is the storks topucs list, from easy to hard: 121. 买卖股票的最佳时机 - 力扣（L…...

编程日记 2025/6/1 3:57:57

gitlab window如何设置ssh

在GitLab中设置SSH需要以下步骤： 在GitLab账户中，导航到“用户设置”下的“SSH密钥”部分。生成SSH密钥对（如果你还没有的话）。在Windows上，你可以使用ssh-keygen命令来生成密钥。在命令提示符或PowerShell中运行以…...

编程日记 2025/5/29 6:09:49

go配置文件

https://github.com/spf13/viper viper golang中常用的配置文件工具为viper库，是一个第三方库。viper功能： 解析JSON、TOML、YAML、HCL等格式的配置文件。监听配置文件的变化(WatchConfig)，不需要重启程序就可以读到最新的值。...

编程日记 2025/6/4 1:58:10

深度学习之超分辨率算法——SRGAN

更新版本实现了生成对抗网络在超分辨率上的使用更新了损失函数，增加先验函数 SRresnet实现 import torch import torchvision from torch import nnclass ConvBlock(nn.Module):def __init__(self, kernel_size3, stride1, n_inchannels64):super(ConvBlock…...

编程日记 2025/6/4 16:30:57

GIT命令使用手册（详细实用版）

一、git常用操作参考第一次提交完整步骤： 1.git init; 2.git add . 3.git commit -m "初始化" 4.git remote add origin https://github.com/githubusername/demo.git 5.git pull origin master 6.git push -u origin master（使用-u选项可以将…...

编程日记 2025/5/30 13:51:33

数据分析实战—IMDB电影数据分析

1.实战内容 1.加载数据到movies_df，输出前5行，输出movies_df.info(),movies_df.describe() # （1）加载数据集，输出前5行 #导入库 import pandas as pd import numpy as np import matplotlib import matplotlib.pyplo…...

编程日记 2025/6/2 18:00:12

【SQL/MySQL 如何使用三种触发器】SQL语句实例演示

触发器介绍 – 触发器是与表有关的数据库对象，指在insert/update/delete之前(BEFORE)或之后(AFTER)，触发并执行触发器中定义的SQL语句集合。 – 使用别名OLD和NEW来引用触发器中发生变化的记录内容，这与其他的数据库是相似的。现在触发器还只…...

编程日记 2025/5/30 3:12:02

社区团购管理系统（源码+数据库）

355.基于SpringBoot的社区团购管理系统，系统包含两种角色：管理员、用户,系统分为前台和后台两大模块，主要功能如下二、项目技术编程语言：Java 数据库：MySQL 项目管理工具：Maven 前端技术：Vue …...

编程日记 2025/6/3 23:36:03

时钟分频模块

实现时钟的二分频，四分频 1.时钟分频模块： module clk_div(input clk, //50Mhzinput rst_n,input [15:0] lcd_id,output reg lcd_pclk);reg clk_25m; reg clk_12_5m; reg …...

编程日记 2025/6/3 1:32:03

linux ipmitool配置机器的BMC（服务器管理后台）

前置：mgnt口和网卡1连接入内网，并分配静态ip 1. 安装 ipmitool Debian/Ubuntu: sudo apt-get update sudo apt-get install ipmitool CentOS/RHEL: sudo yum install ipmitool2. 配置 BMC 的 IP 地址 #打印当前ipmi 地址配置信息。 ipmitool lan p…...

编程日记 2025/6/2 19:21:34

【Springboot知识】Redis基础-springboot集成redis相关配置

文章目录 1. 添加依赖2. 配置Redis连接3. 配置RedisTemplate（可选）4. 使用RedisTemplate或StringRedisTemplate5. 测试和验证集群配置在application.properties中配置在application.yml中配置主从配置1. 配置Redis服务器使用配置文件使用命令行 2. 配置…...

编程日记 2025/6/4 6:49:59

【数据结构】八大排序

目录一、直接插入排序二、希尔排序三、选择排序四、堆排序五、冒泡排序六、快速排序七、归并排序八、计数排序稳定性结论稳定性：排序后相同元素之间的相对顺序是否保持不变。一、直接插入排序基本思想：通过构建有序序列&#xff…...

编程日记 2025/6/2 21:11:05

mmdetection：图片推理以及将预测标签转换为YOLO格式标签

本文记录了使用 mmdetection 进行图片推理，并将推理结果坐标格式转换为yolo格式保存在txt中的代码。文章目录一、图片推理二、批量处理一、图片推理一个图片推理的demo。 import os import mmcv from mmdet.apis import init_detector, inference_detector fr…...

编程日记 2025/5/31 10:33:56

CV-OCR经典论文解读|An Empirical Study of Scaling Law for OCR/OCR 缩放定律的实证研究

论文标题 An Empirical Study of Scaling Law for OCR OCR 缩放定律的实证研究论文链接： An Empirical Study of Scaling Law for OCR论文下载论文作者 Miao Rang, Zhenni Bi, Chuanjian Liu, Yunhe Wang, Kai Han 内容简介本论文在光学字符识别&#xf…...

编程日记 2025/6/3 0:06:47

从混沌到秩序：Python的依赖管理工具分析

Python 的依赖管理工具一直没有标准化，原因主要包括： 历史发展的随意性：Python发展早期对于依赖管理的重视程度不足，缺乏从一开始就进行统一规划和设计的意识社区的分散性：Python社区庞大且分散，众多开发…...

编程日记 2025/6/2 14:11:45

【系统】Windows11更新解决办法，一键暂停

最近的windows更新整的我是措不及防，干啥都要关注一下更新的问题，有的时候还关不掉，我的强迫症就来了，非得关了你不可！ 经过了九九八十一难的研究之后，终于找到了一个算是比较靠谱的暂停更新的方法&#x…...

编程日记 2025/6/4 7:18:08

小红书关键词搜索采集 | AI改写 | 无水印下载 | 多维表格 | 采集同步飞书

小红书关键词搜索采集 | AI改写 | 无水印下载 | 多维表格 | 采集同步飞书一、下载影刀： https://www.winrobot360.com/share/activity?inviteUserUuid595634970300317698 二、加入应用市场 https://www.yingdao.com/share/accede/?inviteKeyb2d3f22a-fd6c-4a…...

编程日记 2025/5/31 6:34:39

【原生js案例】前端封装ajax请求及node连接 MySQL获取真实数据

上篇文章，我们封装了ajax方法来请求后端数据，这篇文章将介绍如何使用 Node.js 来连接 MySQL，并对数据库进行操作。实现效果代码实现后端接口处理 const express require("express"); const connection require("../da…...

编程日记 2025/6/3 4:59:26

Ubuntu将深度学习环境配置移植到新电脑

这里默认新电脑已经安装好了conda、CUDA这些，可以直接创建新的虚拟环境。参考链接： https://blog.csdn.net/Chujun123528/article/details/143788565https://blog.csdn.net/qq_41779275/article/details/122868946https://blog.csdn.net/YajunLin/art…...

编程日记 2025/6/2 23:26:17

vue基础作业实验十

vue基础作业实验十实验要求案例要点：代码以及思考style部分Vue.js 部分Vue 实例部分这段代码是一个基于 Vue.js 的静态页面，功能包括商品品牌的添加、删除和搜索。实验要求一、实验的基本内容 （1）Vue模板语法。 &#xff08…...

编程日记 2025/6/4 6:02:21

冒泡排序（JAVA）

package com.guangyunl.f_array;import java.util.Random; import java.util.Scanner;// 数组的冒泡排序 // 冒泡排序法是采用数组中相邻元素进行比较换位 public class Demo02Bubble {public static void main(String[] args) {Demo02Bubble demo02Bubble new Demo02Bubble()…...

编程日记 2025/6/1 5:55:16

如何测量分辨率

一、什么是分辨率？ 分辨率指的是分清物体细节的能力。分辨率是一个成像系统还原空间频率的能力。一些人只是简单的用分辨率去描述极限分辨率，但是相机在在不同的对比度的情况下还原低，中和高频率的能力，也可以显示全面综合的信息。…...

编程日记 2025/6/1 15:46:46

【Mysql索引优化】索引优化的最佳实现

文章目录【Mysql优化】索引优化的最佳实现1. 全值匹配：索引的最佳使用方式2. 最左前缀法则3. 尽量使用覆盖索引：优化查询性能。减少 select \* 语句4. 范围查询优化5. 不在索引列上做任何操作（计算、函数、（自动or手动&#xff0…...

编程日记 2025/6/3 1:48:39

centos使用mkisofs构建无人值守镜像（附官方学习文档）

安装mkisofs yum install -y mkisofs 挂载镜像并确认并拷贝文件(/mnt 为我们的工作目录) 1.3 准备自动应答文件(保存为 ins.ks) 修改系统引导实际上就是添加inst.ks 这个引导参数传递应答文件传统模式引导 UEFI模式引导打包镜像通用选项 -v：启用详细模式&a…...

编程日记 2025/6/3 0:21:51

Python获取当前系统中可用的串口设备

import serial.tools.list_portsdef checkDevice(self):port_data []for port in serial.tools.list_ports.comports():port_data.append(port.description)if port_data:for devInfo in port_data:self.toolLogPrinting(可用设备 devInfo)RET Trueelse:self.toolLogPrinti…...

编程日记 2025/6/1 1:00:21