当前位置：首页 > news >正文

【AI知识】两类最主流AI应用（文生图、ChatGPT）中的目标函数

news 来源：原创 2025/8/6 9:56:02

之前写过一篇 【AI知识】了解两类最主流AI任务中的目标函数，介绍了AI最常见的两类任务【分类、回归】的基础损失函数【交叉熵、均方差】，以初步了解AI的训练目标。
本篇更进一步，聊一聊流行的“文生图”、“聊天机器人ChatGPT”模型中的目标函数。

0、提纲

如何衡量“文生图”效果？
ChatGPT如何奖励好的回答？
小结与番外

1、如何衡量“文生图”效果？

“文生图”工具大家肯定很熟悉了，仅凭一段文字就能收获一些不错的图片，实乃辅助创意工作的利器。

类似Midjourney、DALL-E、Stable Diffusion、FLUX.1等优秀的“文生图”应用，在训练中势必要重点关注“如何衡量推测分布（生成的图像）与实际分布（原始的图像）的差距”。

“文生图”的大概过程

“文生图”算法大多基于扩散模型（Diffusion Model）,以主流开源的Stable Diffusion为例，架构如下：

扩散模型的大体过程分为"训练 + 采样"两个阶段：

1、训练阶段（前向加噪）：不断给原始样本图片加入高斯噪声，再训练“UNetModel模型”来预估噪声。

2、采样阶段（逆向去噪）：也就是我们输入文本提示词产出图像的阶段。过程中需要使用训练好的“UNetModel模型”不断迭代去噪，所有使用过程中往往需要等待好几秒。

另外，提示词文本（Prompt）会经CLIP类的多模态模型，在两个阶段均喂给“UNetModel模型”以理解文本上下文意图。

此处不关注其它复杂的细节，单看如何评估生成数据与真实数据之间的差异，这里会引入【KL散度】。

KL散度（Kullback-Leibler Divergence），也叫相对熵，表示使用预测分布Q(X) 来近似真实分布 P(X) 时所需的额外信息量（也就是预测结果相比于真实情况的信息丢失量）。
如果相对熵的值较大，说明预测分布与真实分布之间的差异较大，使用预测分布编码真实数据时会产生更多的信息损失；反之，如果相对熵接近于零，则表示两个分布非常相似。

在扩散模型中，【损失函数 = 重构损失 + KL散度】。

此处的重构损失正是之前介绍的“MSE均方误差”，用于评估生成结果与真实样本之间的相似性；
而KL散度则作为正则化项，鼓励模型学习到的分布接近先验真实分布。

熵、交叉熵、相对熵(KL散度)

熵、交叉熵和相对熵是信息论中的重要概念。简单理解一下：

熵：衡量随机变量的不确定性，熵越大表示系统的不确定性越高（越混乱）。
交叉熵：衡量在真实分布下使用推测分布所需的平均编码长度，反映模型预测与真实分布之间的差异。
相对熵（KL散度）：衡量一个分布相对于另一个分布的信息损失，越小表示两个分布越接近。

一个具体的例子（掷六面骰子）：

2、ChatGPT如何奖励好的回答？

ChatGPT的来历

OpenAI于2022年11月30日推出聊天机器人ChatGPT推动了当下这一波AI浪潮。

其实早在2018年6月第一代GPT(Generative Pre-trained Transformer)就问世了，其核心理念是无监督地学习大量文本（约40G，网页、维基百科、书籍等来源），用Transformer-Decoder来完成“词语接龙”。在【AI实践】个人免费数学老师系列之（二）：自动切题【目标检测】中介绍了Transformer的架构，感兴趣的朋友可以看看。
GPT1的效果一般，不如Google同时期推出的基于Transformer的BERT（完成类似“完形填空”）。但GPT类似“词语接龙”的方式，天然适合AIGC生成式的任务。
而GPT2、3探究了NLP中全新的“预训练、提示、预测”的通用任务处理范式，让模型具备根据用户提示词（Prompt）直接完成各种各样任务的通用能力（开启通往AGI之路）。而以往，一般都需要根据具体任务在预训练模型基础上进行微调（fine-tune）。
GPT3.5（含InstructGPT、公开发表过论文）开始引入“基于人类反馈的指令学习”，其思路如下：

结合上面两张图，InstructGPT的训练分为三个阶段：

1、利用人工编写的问答数据（约13k、“问题-答案”对）去对GPT3进行有监督训练出SFT模型(Supervised fine-tuning，监督微调)。【为了对齐人类的直觉，重走监督微调的老路】

2、基于人类偏好排序的数据（约33k、针对具体问题的4-9个候选答案进行人工排序）训练一个奖励模型Reword Model 。【将直接打分转化为排序、消除一定的主观差异】

3、最终在最大化奖励的目标下通过PPO算法来优化策略。【用强化学习模型，模仿人工进行更多结果的优劣排序，进一步优化结果】

ChatGPT正是延续GPT3.5的路线继续发展壮大而生，而GPT4则进一步扩展了多模态的能力（能理解图片了）。【AI实践】个人免费数学老师系列之（三）：题目识别【OCR2.0】中介绍了多模态的破圈之作CLIP模型。

奖励模型中的目标函数

喂给SFT模型一个问题文本，得到4个回答（A、B、C、D），人类标注员进行排序（D>C>A>B）。问题来了：怎么让奖励模型吸收这个排序偏好信息呢？

可以将4个语句两两组合成6个比较对（比如D>A），分别计算loss再相加取均值，这就是“成对排序损失（Pairwise Ranking Loss）”，公式如下：

其中，K为待排序的回答数（比如4）；x为问题文本；回答y_w比回答y_l更优（两个y为一对，pairwise）；r_θ(x,y)为给奖励模型输入问答对（x、y）之后输出的标量得分；Logistic函数呈S形指数增长；而σ函数也为单调递增的sigmoid 函数，σ(r_θ(x,y_w)−r_θ(x,y_l))越接近 1，表示y_w比y_l排序高。

综上，训练奖励模型正是为了最大化r_θ(x,y_w)−r_θ(x,y_l)【从而印证回答y_w比回答y_l更优】，即最小化上述损失函数loss(θ)。

3、小结与番外

本篇通俗讲述“文生图”、聊天机器人背后的大致原理，重点阐述衡量生成结果与真实情况之间分布差异的KL散度（相对熵）、评估排序信息的成对排序损失（Pairwise Ranking Loss）两种任务类型的目标函数。

番外

最近在细读尤瓦尔·赫拉利的《人类简史：从动物到上帝》，有个观点角度够新颖：

现代科学与先前的知识体系有三大不同之处：

1、愿意承认自己的无知。我们承认了自己并非无所不知。更重要的是，我们也愿意在知识进展之后，承认过去相信的可能是错的。于是，再也没有什么概念、想法或者理论是神圣不可挑战的。

2、以观察和数学为中心。承认无知之后，现代科学还希望能获得新知。方式则是通过收集各种观察值，再用数学工具整理连接，形成全面的理论。

3、取得新能力。光是创造理论，对现代科学来说还不够。它希望能够运用这些理论来取得新的能力，特别是发展出新的科技。

【AI知识】两类最主流AI应用（文生图、ChatGPT）中的目标函数

之前写过一篇【AI知识】了解两类最主流AI任务中的目标函数，介绍了AI最常见的两类任务【分类、回归】的基础损失函数【交叉熵、均方差】，以初步了解AI的训练目标。本篇更进一步，聊一聊流行的“文生图”、“聊天机器人ChatGPT”模型中的目标函…...

编程日记 2025/8/6 9:56:02

区块链入门—带你快速了解(通俗易懂)

读懂这篇文章需要有一定的数据结构与算法的基础。本篇文章如果有不正确的地方，欢迎指正。目录一、区块链基础 1.基本概念 2.核心特性 3.区块链分类 4.区块链发展历程二、区块链技术概念 1.技术架构 2.区块图解 3.共识机制 4.智能合约 5.密码学—哈…...

编程日记 2025/8/6 9:53:56

【数据库知识】mysql进阶-Mysql数据库的主从复制

mysql主从复制概述一、数据同步机制二、复制流程三、保证数据一致性的措施四、复制拓扑结构五、应用场景与优势双主复制的过程一、配置前的准备二、配置主服务器三、配置从服务器（相对角色）四、验证复制状态五、处理潜在的问题双主复制如何解决冲突问…...

编程日记 2025/8/5 19:22:16

深度学习中的mAP

在深度学习中，mAP是指平均精度均值(mean Average Precision)，它是深度学习中评价模型好坏的一种指标(metric)，特别是在目标检测中。精确率和召回率的概念： (1).精确率(Precision)：预测阳性结果中实际正确的比例(TP / …...

编程日记 2025/8/6 8:22:20

TB6612电机驱动模块使用指南

实物图： 简介：TB6612是一款双路H桥型直流电机驱动模块，可以控制两个直流电机的转速和方向 H桥：(双路H桥就是有两个这个结构) 引脚图：...

编程日记 2025/8/2 4:08:29

小试牛刀-Anchor安装和基础测试

目录一、编写目的二、安装步骤 2.1 安装Rust 设置rustup镜像安装Rust 2.2 安装node.js 2.3 安装Solana-CLI 2.4 安装Anchor CLI 三、Program测试四、可能出现的问题 Welcome to Code Blocks blog 本篇文章主要介绍了 [Anchor安装和基础测试] 博主广交技术好友&…...

编程日记 2025/8/6 9:51:17

基于FPGA（现场可编程门阵列）的SD NAND图片显示系统是一个复杂的项目，它涉及硬件设计、FPGA编程、SD卡接口、NAND闪存控制以及图像显示等多个方面

文章目录 0、前言 1、目标 2、图片的预处理 3、SD NAND的预处理 4、FPGA实现 4.1、详细设计 4.2、仿真 4.3、实验结果前言在上一篇文章《基于FPGA的SD卡的数据读写实现（SD NAND FLASH）》中，我们了解到了SD NAND Flash的相关知识&am…...

编程日记 2025/8/6 9:47:28

1.tree of thought (使用LangChain解决4x4数独问题)

本教程将介绍如何使用LangChain库和chatglm API来解决一个4x4的数独问题。我们将通过以下步骤实现这一目标： 初始化chatglm 的聊天模型。定义数独问题和解决方案。创建一个自定义的检查器来验证每一步的思考。使用ToTChain来运行整个思考过程。 1. 初始化chatglm4…...

编程日记 2025/8/5 4:24:50

对subprocess启动的子进程使用VSCode python debugger

文章目录 1 情况概要（和文件结构）2 具体设置和启动步骤2.1 具体配置Step 1 针对attach debugger到子进程Step 2 针对子进程的暂停(可选) Step 3 判断哪个进程id是需要的子进程 2.2 启动步骤和过程 3 其他问题解决3.13.2 ptrace: Operation not permitted…...

编程日记 2025/8/6 9:47:16

MATLAB实现GARCH(广义自回归条件异方差)模型计算VaR(Value at Risk)

MATLAB实现GARCH(广义自回归条件异方差)模型计算VaR(Value at Risk) 1.计算模型介绍使用GARCH（广义自回归条件异方差）模型计算VaR（风险价值）时，方差法是一个常用的方法。GARCH模型能够捕捉到金融时间序列数据中的波…...

编程日记 2025/8/6 9:53:14

Android中常见内存泄漏的场景和解决方案

本文讲解Android 开发中常见内存泄漏场景及其解决方案，内容包括代码示例、原因分析以及最佳实践建议。 1. 静态变量导致的内存泄漏静态变量的生命周期与应用进程一致，如果静态变量持有了对 Activity 或其他大对象的引用，就可能导致内存泄漏…...

编程日记 2025/8/5 10:56:29

爬取链家二手房房价数据存入mongodb并进行分析

感谢您的关注！需要完整源码评论区获取~ 【实验目的】 1. 使用 python 将爬虫数据存入 mongodb； 2. 使用 python 读取 mongodb 数据并进行可视化分析。【实验原理】 MongoDB 是文档数据库，采用 BSON 的结构来存储数据。在文档中可嵌套其…...

编程日记 2025/8/6 9:45:24

《TCP/IP网络编程》学习笔记 | Chapter 13：多种 I/O 函数

《TCP/IP网络编程》学习笔记 | Chapter 13：多种 I/O 函数《TCP/IP网络编程》学习笔记 | Chapter 13：多种 I/O 函数send & recv 函数Linux 平台下的 send 和 recv 函数MSG_OOB：发送紧急消息紧急模式的工作原理检查输入缓冲 readv & w…...

编程日记 2025/8/6 8:27:42

详细介绍下oracle冷备（coolbackup)

冷备，也就说数据库不是运行（热的状态）的备份。有些时候我们的数据库比较小，进行同操作系统数据迁移和恢复的时候就比较好用。下面我们详细介绍下oracle数据库的冷备（我们使用最简单的拷贝数据文件方式进行冷备&#xf…...

编程日记 2025/8/3 23:03:23

MYSQL——多表设计以及数据库中三种关系模型

大致介绍数据库中三种关系模型一对多（1:N） 定义： 一个实体可以与另一个实体的多个实例相关联，而后者只能与前者的一个实例相关联。例子： 学生和课程的关系。学生（1）：每个学生…...

编程日记 2025/8/2 18:08:59

泷羽sec学习打卡-html基础

声明学习视频来自B站UP主泷羽sec,如涉及侵权马上删除文章笔记的只是方便各位师傅学习知识,以下网站只涉及学习内容,其他的都与本人无关,切莫逾越法律红线,否则后果自负关于云技术基础的那些事儿-捕获帅照 html基础什么是html？ 常用的html标签html示例 css基础什…...

编程日记 2025/7/28 16:29:54

国标GB28181摄像机接入EasyGBS国标GB28181设备管理软件：GB28181-2022媒体传输协议解析

随着信息技术的飞速发展，视频监控领域正经历从传统安防向智能化、网络化安防的深刻转变。在这一转变过程中，国标GB28181设备管理软件EasyGBS成为了这场技术变革的重要一环。 GB28181-2022媒体传输协议媒体传输命令包括实时视音频点播、历史视音频回放/…...

编程日记 2025/8/1 23:43:20

鸿蒙网络编程系列50-仓颉版TCP回声服务器示例

1. TCP服务端简介 TCP服务端是基于TCP协议构建的一种网络服务模式，它为HTTP（超文本传输协议）、SMTP（简单邮件传输协议）等高层协议的应用程序提供了可靠的底层支持。在TCP服务端中，服务器启动后会监听一个或…...

编程日记 2025/8/5 18:37:01

JMeter监听器与压测监控之 InfluxDB

1. 简介在本文中，我们将介绍如何在 Kali Linux 上通过 Docker 安装 InfluxDB，并使用 JMeter 对其进行性能监控。InfluxDB 是一个高性能的时序数据库，而 JMeter 是一个开源的性能测试工具，可以用于对各种服务进行负载测试和性能监…...

编程日记 2025/7/31 10:18:46

混合上下文学习；In-Context Learning（ICL）

目录 In-Context Learning（ICL）混合上下文学习核心内容核心创新点的原理与理论举例说明 In-Context Learning（ICL）是一种在大语言模型（LLM）中使用的技术，它允许模型通过提供一组输入输出示例（即“demonstrations”）来适应新任务，而无需对模型参数进行显…...

编程日记 2025/8/3 7:59:41

【STM32】软件I2C读写MPU6050

文章目录软件I2C读写MPU6050接线图代码整体框架MyI2C模块MyI2C.cMyI2C.h MPU6050模块MPU6050.cMPU6050_Reg.h MPU6050.h main.c 源程序软件I2C读写MPU6050 要实现软件I2C读写MPU6050分为两个部分： 完成软件I2C协议时序基于I2C协议读写寄存器操控MPU6050 接线图…...

编程日记 2025/8/6 6:50:36

HarmonyOS鸿蒙系统上，file文件常用操作记录 1.创建文件 createFile(fileName: string, content: string): string {// 获取应用文件路径let context getContext(this) as common.UIAbilityContext;let filesDirPath context.filesDir / fileName;// 新建并打开…...

编程日记 2025/8/4 21:56:18

如何解决Java EasyExcel 导出报内存溢出

如何解决Java EasyExcel 导出报内存溢出 EasyExcel大数据量导出常见方法 1. 分批写入 EasyExcel支持分批写入数据，可以将数据分批加载到内存中，分批写入Excel文件，避免一次性将大量数据加载到内存中。示例代码： String fileNa…...

编程日记 2025/8/5 18:29:26

[产品管理-91]：产品经理的企业运营的全局思维-1

目录前言：企业架构图产品经理的企业运营全局思维 1、用户 - 用户价值与体验：真正的需求，真正的问题，一切的原点 2、大势 - 顺应宏观大势：政策趋势、行业趋势、技术趋势 3、市场 - 知己知彼：市场调研…...

编程日记 2025/8/6 5:04:38

学习笔记——stm32看门狗

目录一、WDG简介二、IWDG框图 2.1独立看门狗结构 2.2键寄存器 2.3超时时间三、WWDG框图 3.1窗口看门狗结构 3.2WWDG时序图 3.3最早、最晚时间四、IWDG和WWDG对比五、IWDG相关库函数和应用 5.1相关库函数 5.2应用六、WWDG相关库函数和应用 6.1相关库函数 6…...

编程日记 2025/8/3 18:14:14

2411rust,cargo清理缓存

原文 Cargo最近在晚间通道上取得了一个不稳定的功能(从nightly-2023-11-17开始),它可自动清理Cargo主目录中的缓存内容. 总之,请求使用晚间通道的人启用此功能,并在Cargo问题跟踪器上报告问题.要启用它,请在你的一般在~/.cargo/config.toml或%USERPROFILE%\.cargo\config.tom…...

编程日记 2025/8/4 18:00:44

高级java每日一道面试题-2024年11月19日-基本篇-获取一个类Class对象的方式有哪些?

如果有遗漏,评论区告诉我进行补充面试官: 获取一个类Class对象的方式有哪些? 我回答: 在 Java 中，获取一个类的 Class 对象有多种方式。这些方式各有优缺点，适用于不同的场景。以下是常见的几种方法及其详细解释： 1. 使用 new 关键字实…...

编程日记 2025/8/1 23:05:51

Vue 3与TypeScript集成指南：构建类型安全的前端应用

在Vue 3中使用TypeScript，可以让你的组件更加健壮和易于维护。以下是使用TypeScript与Vue 3结合的详细步骤和知识点： 1. 环境搭建首先，确保你安装了Node.js（推荐使用最新的LTS版本）和npm或Yarn。然后，安…...

编程日记 2025/8/3 17:31:15

可视化建模与UML《活动图实验报告》

你当像鸟飞往你的山。一、实验目的： 1、熟悉活动图的基本功能和使用方法。 2、掌握使用建模工具软件绘制协作图的方法二、实验环境： window7 | 10 | 11 EA15 三、实验内容： <1>绘制学生选课系统中添加课程(Add Course)用例的活动图…...

编程日记 2025/8/4 17:02:04

接雨水

接雨水 1、题目描述2、解题思路 1、题目描述给定 n 个非负整数表示每个宽度为 1 的柱子的高度图，计算按此排列的柱子，下雨之后能接多少雨水。 2、解题思路本题使用了双指针，根据下图可以得出，下标 i 处能接的雨水量由左边…...

编程日记 2025/8/1 14:32:14

i春秋-签到题

练习平台地址竞赛中心题目描述题目内容点击GUESS后会有辨识细菌的选择题全部完成后会有弹窗提示输入nickname后提示获得flag F12检查元素中没有发现信息检查后发现flag在控制台中 flag flag{663a5c95-3050-4c3a-bb6e-bc4f2fb6c32e} 注意事项 flag不一定要在元素中找&a…...

编程日记 2025/8/4 1:46:33

Selenium + 数据驱动测试：从入门到实战！

引言在软件测试中，测试数据的多样性和灵活性对测试覆盖率至关重要。而数据驱动测试（Data-Driven Testing）通过将测试逻辑与数据分离，极大地提高了测试用例的可维护性和可扩展性。本文将结合Selenium这一流行的测试工具&#xff0…...

编程日记 2025/8/4 5:08:50

考研倒计时30天丨和西电一起向前！再向前！

上岸后就能来西安电子科技大学和学长学姐一起吃饭，XDU食堂都有你想要的一切 ①、海棠篇：海棠新生初入校园，还在犹豫吃什么？宿舍楼边的海棠餐厅物美价廉，满足你一日三餐的需求与期盼！ 俗话说&#xff1a…...

编程日记 2025/8/4 20:54:33

json数组写入文件每行一条数据

我们知道将json或json数组写入文件，一般是用JSON.stringify先将json或json数组转成字符串，再写入文件。JSON.stringify()的语法是这样的：JSON.stringify(value[, replacer[, space]]) JSON.stringify(value)调用则不带空格tab换行等分隔符&am…...

编程日记 2025/8/1 18:15:10

EasyExcel并行导出多个excel文件并压缩下载

EasyExcel并行导出多个excel文件并压缩下载在SpringBoot应用中，采用同步方式导出Excel文件会导致服务器在生成文件期间阻塞，特别是在处理大量数据时，这种效率较低的方法会严重影响性能。为了解决这个问题，可以采用以下改进措施：首先将导出的数据进行拆分，然后利用Compl…...

编程日记 2025/8/6 6:56:20

hadoop3.x 新特性

hadoop3.x 新特性 FeaturesHadoop 2.xHadoop 3.xMinimum Required Java VersionJDK 6 and above.JDK 8 is the minimum runtime version of JAVA required to run Hadoop 3.x as many dependency library files have been used from JDK 8.Fault ToleranceFault Tolerance is …...

编程日记 2025/8/5 11:02:38