当前位置：首页 > news >正文

大语言模型---LoRA中损失值的计算

news 来源：原创 2025/7/23 6:09:59

文章目录

- 概要
- 损失计算流程
- 小结

概要

Llama-7B模型的LoRA微调训练中，通过使用Cross-Entropy Loss来度量模型输出的预测分布和真实标签分布之间的距离，来衡量模型的准确性。本文主要介绍LoRA中损失值的计算流程。
Cross-Entropy Loss作用：是深度学习和机器学习中常用的损失函数之一，主要用于分类任务。

损失计算流程

以下是 LLaMA-7B 模型中损失计算的三个步骤：

计算logits矩阵（生成分数）：
模型最后一层MLP的输出与模型词表权重进行点乘计算生成一个行数（nvocab）为32,000 ，列数（seq）为4096的 logits 矩阵，每个元素对应词汇表中的一个词，表示生成该词的“分数”。
Softmax 转换（分数变概率）：
将 logits 矩阵经过 Softmax 转换为概率分布矩阵 $\hat{{Y}}∈𝐹^{𝒏𝒗𝒐𝒄𝒂𝒃∗𝒔𝒆𝒒}$ ，使得logits矩阵每个位置上的元素转化为一个概率值 $\hat{\mathcal{Y}}_{𝒕,𝒋}$ ，表示模型在该位置生成词的可能性。
交叉熵损失：
根据标签计算损失。在每个位置上，交叉熵损失只计算标签对应的词的概率，公式如下：

其中， $\mathcal{Y}_{𝒕,𝒋}$ 是标签的独热编码矩阵 ${Y}∈𝐹^{𝒏𝒗𝒐𝒄𝒂𝒃∗𝒔𝒆𝒒}$ 的元素，在该矩阵中，正确词的位置为1，其余为0。

小结

关键点

logits 表示未归一化分数，用于生成概率。
Softmax 将 logits 转为概率分布，确保总和为 1。
交叉熵损失仅计算正确标签的概率对数，以评估预测的准确性。

大语言模型---LoRA中损失值的计算

文章目录概要损失计算流程小结概要 Llama-7B模型的LoRA微调训练中，通过使用Cross-Entropy Loss来度量模型输出的预测分布和真实标签分布之间的距离，来衡量模型的准确性。本文主要介绍LoRA中损失值的计算流程。 Cross-Entropy Loss作用：是…...

编程日记 2025/7/23 6:09:59

【初阶数据结构篇】双向链表的实现（赋源码）

文章目录须知 💬 欢迎讨论：如果你在学习过程中有任何问题或想法，欢迎在评论区留言，我们一起交流学习。你的支持是我继续创作的动力！ 👍 点赞、收藏与分享：觉得这篇文章对你有帮助吗&#xff1…...

编程日记 2025/7/22 6:54:50

Linux: 进程地址空间（理解虚拟地址和页表）

目录 1. 虚拟地址 2. 进程地址空间分布 3. 描述进程地址空间 4. 内存管理——页表 5. 父子进程的虚拟地址关系 6. 页表标记位 6.1 读写权限 6.2 命中权限 7.为什么存在进程地址空间 1. 虚拟地址 #include <stdio.h> #include <unistd.h> #include <sy…...

编程日记 2025/7/23 6:08:51

基于python的机器学习（四）—— 聚类（一）

目录一、聚类的原理与实现 1.1 聚类的概念和类型 1.2 如何度量距离 1.2.1 数据的类型 1.2.2 连续型数据的距离度量方法 1.2.3 离散型数据的距离度量方法 1.3 聚类的基本步骤二、层次聚类算法 2.1 算法原理和实例 2.2 算法的Sklearn实现 2.2.1 层次聚类法的可视化实…...

编程日记 2025/7/23 6:07:43

大语言模型---RewardBench 介绍；RewardBench 的主要功能；适用场景

文章目录 1. RewardBench 介绍2. RewardBench 的主要功能3. 适用场景 1. RewardBench 介绍 RewardBench: Evaluating Reward Models是一个专门用于评估 Reward Models（奖励模型） 的公开平台，旨在衡量模型在多种任务上的性能，包括…...

编程日记 2025/7/23 6:06:33

软件测试面试之重要的名词解释

1、测试(testing) 包括了所有生命周期活动的过程，包括静态的和动态的。涉及计划、准备和对软件产品及其相关工作产品的评估，用以确定它们是否满足了需求，证明它们是否符合了目标，以及是否发现了缺陷。 2.计算机软件的测试目的是 …...

编程日记 2025/7/23 6:05:29

1 源码下载： 下载nginx源码：wget http://nginx.org/download/nginx-1.23.1.tar.gz 下载依赖库libpcre.a源码：wget http://ftp.cs.stanford.edu/pub/exim/pcre/pcre-8.35.tar.gz 下载依赖库libz.a源码: wget https://downloads.sourceforge.ne…...

编程日记 2025/7/20 12:05:09

基于企业微信客户端设计一个文件下载与预览系统

在企业内部沟通与协作中，文件分享和管理是不可或缺的一部分。企业微信（WeCom）作为一款广泛应用于企业的沟通工具，提供了丰富的API接口和功能，帮助企业进行高效的团队协作。然而，随着文件交换和协作的日益增…...

编程日记 2025/7/21 17:42:42

《第十部分》1.STM32之通信接口《精讲》之IIC通信---介绍

经过近一周的USART学习，我深刻体会到通信对单片机的重要性。它就像人类的手脚和大脑，只有掌握了通信技术，单片机才能与外界交互，展现出丰富多彩的功能，变得更加强大和实用。单片机最基础的“语言”是二进制。可惜&am…...

编程日记 2025/7/20 12:32:55

初始Python篇（7）—— 正则表达式

找往期文章包括但不限于本期文章中不懂的知识点： 个人主页：我要学编程(ಥ_ಥ)-CSDN博客所属专栏： Python 目录正则表达式的概念正则表达式的组成元字符限定符其他字符正则表达式的使用正则表达式的常见操作方法 match方法的…...

编程日记 2025/7/18 23:25:27

Linux 正则表达式（basic and extened）

正则表达式(Regular Expressions)，整理自： https://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap09.html gred sed 定义 Regular Expressions (REs) provide a mechanism to select specific strings from a set of character strings.…...

编程日记 2025/7/19 11:56:27

【Python爬虫】Scrapy框架实战---百度首页热榜新闻

如何利用Scrapy框架实战提取百度首页热榜新闻的排名、标题和链接一、安装Scrapy库二、创建项目（以BaiduSpider为例） scrapy startproject BaiduSpider生成每个文件的功能： 二、创建爬虫脚本（爬虫名：news&#xff…...

编程日记 2025/7/21 23:09:35

C#使用实体类Entity Framework Core操作mysql入门：从数据库反向生成模型2 处理连接字符串

初级代码游戏的专栏介绍与文章目录-CSDN博客我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。这些代码大部分以Linux为目标但部分代码是纯C的，可以在任何平台上使用。源码指引：github源…...

编程日记 2025/7/22 19:49:10

OpenAI震撼发布：桌面版ChatGPT，Windows macOS双平台AI编程体验！

【雪球导读】「OpenAI推出ChatGPT桌面端」 OpenAI重磅推出ChatGPT桌面端，全面支持Windows和macOS系统！这款新工具为用户在日常生活和工作中提供了前所未有的无缝交互体验。对于那些依赖桌面端进行开发工作的专业人士来说，这一更新带来了令人…...

编程日记 2025/7/18 19:00:58

PHP8解析php技术10个新特性

PHP8系列是 PHP编程语言的最新主线版本，带来了许多激动人心的新特性和改进。作为一名PHP开发者，了解这些更新能够帮助你编写更高效、安全和现代的代码。 8的核心技术知识点，包括语言特性、性能优化、安全增强以及开发者工具的改进。 Just-In…...

编程日记 2025/7/19 2:43:25

vscode连接远程开发机报错

远程开发机更新，vscode连接失败报错信息 "install" terminal command done Install terminal quit with output: Host key verification failed. Received install output: Host key verification failed. Failed to parse remote port from server ou…...

编程日记 2025/7/20 19:43:08

基于Java Springboot未央商城管理系统

一、作品包含源码数据库设计文档万字全套环境和工具资源部署教程二、项目技术前端技术：Html、Css、Js、Vue、Element-ui 数据库：MySQL 后端技术：Java、Spring Boot、MyBatis 三、运行环境开发工具：IDEA 数据库&#xf…...

编程日记 2025/7/19 18:47:19

postman 调用下载接口（download）使用默认名称（response.txt 或随机名称）

官网地址：https://www.postman.com 介绍 Postman 是一款流行的 API 开发和测试工具，用于发送 HTTP 请求、测试接口、调试服务器响应以及进行 API 文档管理。它支持多种请求类型（如 GET、POST、PUT、DELETE 等），并且功能…...

编程日记 2025/7/22 19:18:02

小程序25- iconfont 字体图标的使用

项目中使用到图标，一般由公司设计进行设计，设计好后上传到阿里巴巴矢量图标库日常开发过程中，也可以通过 iconfont 图标库下载使用自带的图标补充：使用 iconfont 图标库报错：Failed to load font 操作步骤&#xff…...

编程日记 2025/7/23 1:29:48

线程控制方法之wait和sleep的区别

线程控制方法之wait和sleep的区别 wait()和sleep()都是Java线程控制方法，但存在明显区别： 所属与调用：wait()属Object类，需synchronized调用；sleep()属Thread类，可随意调用。锁处理：wait()释放…...

编程日记 2025/7/19 6:10:33

SQL 语句访问路径的方式

SQL 语句访问路径的方式全表扫描（Full Table Scans） select * from t_Vio_Violation tPlan Hash Value : 1218663174 ----------------------------------------------------------------------------------------- | Id | Operation | Na…...

编程日记 2025/7/18 5:01:03

汽车HiL测试：利用TS-GNSS模拟器掌握硬件性能的仿真艺术

一、汽车HiL测试的概念硬件在环（Hardware-in-the-Loop，简称HiL）仿真测试，是模型基于设计（Model-Based Design，简称MBD）验证流程中的一个关键环节。该步骤至关重要，因为它整合了实际…...

编程日记 2025/7/19 6:38:29

Vue v-if 与 v-for 使用指南：优先级、注意事项及常见错误防范

在 Vue.js 中，v-if 和 v-for 是两个常用的指令，它们分别用于条件渲染和列表渲染。理解它们的优先级和使用方式对于编写高效、易维护的代码非常重要。 1. v-if 和 v-for 的作用 v-if: 用于条件渲染，根据表达式的值决定是否渲染某个元素或组件。 <div v-if="isVisibl…...

编程日记 2025/7/23 5:59:35

DataWhale—PumpkinBook（TASK05决策树）

课程开源地址及相关视频链接：（当然这里也希望大家支持一下正版西瓜书和南瓜书图书，支持文睿、秦州等等致力于开源生态建设的大佬✿✿ヽ(▽)ノ✿） Datawhale-学用 AI,从此开始【吃瓜教程】《机器学习公式详解》（南瓜…...

编程日记 2025/7/18 10:29:32

空间注意力网络的性能优化与多维评估

在本文中，首先分析空间注意力网络（Spatial Attention Neural Network）在五个不同数据集上的训练结果。这些数据集包括Daily_and_Sports_Activities、WISDM、UCI-HAR、PAMAP2和OPPORTUNITY。通过对比这些结果，我们可以深入理解空间…...

编程日记 2025/7/19 4:50:23

linux基本命令2

7. 文件查找和搜索 (继续) find — 查找文件 find /path/to/search -name "file_name" # 根据名称查找文件 find /path/to/search -type f # 查找所有普通文件 find /path/to/search -type d # 查找所有目录 find /path/to/search -name "*.txt" # 查找…...

编程日记 2025/7/18 1:15:17

c++-练习2-类的封装练习(msg队列)

要求： 1、构造函数：创建一个消息队列，或者访问该消息队列 2、operator[] ：通过index，切换send和recv的消息类型； 3、snd(const string& data) 向消息队列的指定频道中发送消息； 4、recv(int…...

编程日记 2025/7/20 14:20:00

战争迷雾FogOfWar---Unity中实现

从最初的即时战略《沙丘2》开始，战争迷雾的概念开始被引入和正式提出。在沙丘中每一次新开始游戏时，玩家只能观察到自己基地及单位周围极小的范围，而绝大多数地图区域均被黑色遮盖。当他命令单位向黑暗区移动后，经过的区域会被自动…...

编程日记 2025/7/21 21:31:02

[译]Elasticsearch Sequence ID实现思路及用途

原文地址:https://www.elastic.co/blog/elasticsearch-sequence-ids-6-0 如果几年前，在Elastic，我们问自己一个"如果"问题，我们知道这将带来有趣的见解： "如果我们在Elasticsearch中对索引操作进行全面排序会怎样…...

编程日记 2025/7/18 16:22:48

C#构建一个简单的前馈神经网络

1. 神经网络的基本概念神经网络是一种模拟人脑神经元结构的计算模型，由多个神经元（节点）组成，这些神经元通过连接（边）相互作用。每个连接都有一个权重，用于表示连接的重要性。神经网络通常分为…...

编程日记 2025/7/18 13:38:36

241123-UEFI模式下Linux-Windows双系统通过Grub设置选择开机系统

A. 准备工作: 将Linux系统作为默认启动系统通过BIOS或EasyUEFI设置启动首选项为对应的Linux系统 A.1 通过BIOS选择对应的Linux系统技嘉进入BIOS的按键 A.2 通过绿色向上箭头置顶Linux系统，下载地址： EasyUEFI A.1 与 A.2本质上执行的相同的操作 B. …...

编程日记 2025/7/20 16:20:29

LLaMA-Factory 上手即用教程

LLaMA-Factory 是一个高效的大型语言模型微调工具，支持多种模型和训练方法，包括预训练、监督微调、强化学习等，同时提供量化技术和实验监控，旨在提高训练速度和模型性能。官方开源地址：https://github.com/hiyouga/L…...

编程日记 2025/7/20 14:20:14

单片机_简单AI模型训练与部署__从0到0.9

IDE： CLion MCU： STM32F407VET6 一、导向以求知为导向，从问题到寻求问题解决的方法，以兴趣驱动学习。虽从0，但不到1，剩下的那一小步将由你迈出。本篇主要目的是体验完整的一次简单AI模型部署流程&#x…...

编程日记 2025/7/15 19:35:19

Java-08 深入浅出 MyBatis - 多对多模型 SqlMapConfig 与 Mapper 详细讲解测试

点一下关注吧！！！非常感谢！！持续更新！！！ 大数据篇正在更新！https://blog.csdn.net/w776341482/category_12713819.html 目前已经更新到了： MyBatis&#xff…...

编程日记 2025/7/20 21:45:38

单元测试、集成测试、系统测试、验收测试、压力测试、性能测试、安全性测试、兼容性测试、回归测试（超详细的分类介绍及教学）

目录 1.单元测试实现单元测试的方法： 注意事项： 2.集成测试需注意事项： 实现集成测试的方法： 如何实现高效且可靠的集成测试： 3.系统测试实现系统测试的方法: 须知注意事项： 4.验收测试实现验…...

编程日记 2025/7/20 12:02:38

整车安全需求考量的多维度深度剖析

在汽车工程领域，整车安全需求的确定是一项复杂且系统的工程，其涵盖了多个关键维度的综合考量。从需求的萌生到最终的落地实施，每一个环节都紧密相扣，涉及众多技术细节与实际操作的权衡。一、需求来源的多渠道挖掘整车安全需求的来源广泛，其中 TARA（威胁分析与风险评估）…...

编程日记 2025/7/19 13:55:03

虚幻引擎---初识篇

一、学习途径虚幻引擎官方文档：https://dev.epicgames.com/documentation/zh-cn/unreal-engine/unreal-engine-5-5-documentation虚幻引擎在线学习平台：https://dev.epicgames.com/community/unreal-engine/learning哔哩哔哩：https://www.b…...

编程日记 2025/7/19 10:02:30

Oracle - 多区间按权重取值逻辑，分时区-多层级-取配置方案(二)

Oracle - 多区间按权重取值逻辑 ，分时区-多层级-取配置方案https://blog.csdn.net/shijianduan1/article/details/133386281 某业务配置表，按配置的时间区间及组织层级取方案，形成报表展示出所有部门方案的取值； 例如&#xff0…...

编程日记 2025/7/22 2:25:40

线性代数的发展简史

线性代数的发展简史线性代数作为数学的一个重要分支，其发展历史悠久而丰富。从古代文明中的基础计算到现代复杂的理论体系，线性代数经历了多个阶段的演变。古代的起源线性代数的雏形可以追溯到古埃及、古希腊、古印度和古代中国时期。这些早期文明…...

编程日记 2025/7/20 5:32:27

git使用详解

一、git介绍 1、git简介 Git 是一个开源的分布式版本控制系统（最先进的，没有之一），用于敏捷高效地处理任何或小或大的项目。 Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。 Git 与常用…...

编程日记 2025/7/22 15:52:58

ros2学习日记_241124_ros相关链接

前言提醒： 文章内容为方便作者自己后日复习与查阅而进行的书写与发布，其中引用内容都会使用链接表明出处（如有侵权问题，请及时联系）。其中内容多为一次书写，缺少检查与订正，如有问题或其他拓展…...

编程日记 2025/7/20 6:47:12

【SQL】【数据库】语句翻译例题

SQL自然语言到SQL翻译知识点以下是将自然语言转化为SQL语句的所有相关知识点，分门别类详细列出，并结合技巧说明。 1. 数据库操作创建数据库自然语言：创建一个名为“TestDB”的数据库。 CREATE DATABASE TestDB;技巧：识别**“创…...

编程日记 2025/7/23 1:14:43

图书管理系统（源码+数据库+报告）

基于SpringBoot的图书管理系统，系统包含两种角色：管理员、用户,系统分为前台和后台两大模块，主要功能如下。前台： - 首页：展示系统推荐、热门图书等信息。 - 论坛：提供用户交流讨论的平台。 - 公告信息&a…...

编程日记 2025/7/19 19:10:33

python中lxml 库之 etree 使用详解

目录一、 etree 介绍二、xpath 解析 html/xml1、第一步就是使用 etree 连接 html/xml 代码/文件。2、 xpath 表达式定位① xpath结合属性定位② xpath文本定位及获取③ xpath层级定位④ xpath索引定位⑤ xpath模糊匹配一、 etree 介绍 lxml 库是 Python 中一个强大的 XML 处…...

编程日记 2025/7/19 21:11:57

vue3(十九)-基础入门之vue-nuxt反向代理

一、反向代理 1、下载 nuxtjs/proxy 使用 npm npm install nuxtjs/proxy 或使用 yarn yarn add nuxtjs/proxy 2、配置 nuxt.config.js 文件 export default {modules: [nuxtjs/axios,nuxtjs/proxy],axios: {baseURL: /,proxy: true},proxy: {/api/: {target: https://i.maoya…...

编程日记 2025/7/22 21:42:28

Unity3D 截图

使用 Unity3D 自带的截图接口，制作截图工具。截图有时候我们想对 Unity 的窗口进行截图，如果直接使用一些截图工具，很难截取到一张完整分辨率的图片（例如，我们想要截取一张 1920 * 1080 的图片）。其实…...

编程日记 2025/7/22 2:10:17

【机器学习】近似分布的熵到底是p(x)lnq(x)还是q(x)lnq(x)？

【1】通信的定义信息量（Information Content）是信息论中的一个核心概念，用于定量描述一个事件发生时所提供的“信息”的多少。它通常用随机变量 𝑥的概率分布来定义。事件 𝑥发生所携带的信息量由公式给出&#xff1…...

编程日记 2025/7/22 20:44:41

C语言：深入理解指针

一.内存和地址我们知道计算机上CPU（中央处理器）在处理数据的时候，需要的数据是在内存中读取的，处理后的数据也会放回内存中，那我们买电脑的时候，电脑上内存是 8GB/16GB/32GB 等，那这些内存空间…...

编程日记 2025/7/18 5:37:16

Vue实训---4-使用Pinia实现menu菜单展示/隐藏

0.menu菜单展示/隐藏实现方法 Menu 菜单 | Element Plus中，当:collapse"isCollapse"其中isCollapse的值为true时菜单栏隐藏，当isCollapse的值为false时菜单栏显示。接下来使用pinia实现CommonAside.vue和CommonHeader.vue组件之间数据的共享&…...

编程日记 2025/7/22 18:59:42

Fakelocation Server服务器/专业版 Centos7

前言:需要Centos7系统 Fakelocation开源文件系统需求 Centos7 | Fakelocation | 任务一更新Centos7 （安装下载不再赘述） sudo yum makecache fastsudo yum update -ysudo yum install -y kernelsudo reboot//如果遇到错误提示为 Another app is curre…...

编程日记 2025/7/22 7:58:30

文章目录

概要

损失计算流程

小结

相关文章：