GPT系列模型简要概述
GPT-1：（0.117B参数量，0.8B words预训练数据)
动机：
在RNN和Transformer之间，选择了后者。
和《All your need is Attention》翻译模型的Encoder-Decoder架构相比，只保留Decoder，因此去掉了Cross-Attention层。没有使用sin、cos做位置编码，用的是可训练的位置编码。0.117B参数量。
预训练：
注意：
是Embedding和最后一层分类层，参数共享的。原因：这个时期的模型参数小，Embedding参数量占的比重高，共享可以降低参数量。现在的模型参数大，Embedding占的比重小，都不再共享了。
微调(Fine Tune):
将上了特殊Token(Start、Extract、Delim)，让模型感知到在做NLP任务，而不是在做句子生成。
Similarity任务，将句子1和句子2，用不同的顺序，做成2个样本，激活值相加，最后进Linear层去分类。
多选题任务，题目+选项，得到1个数值；每个选项都得到1个数值，这些数值做softmax；
Trick: 微调任务和预训练任务，同时进行训练。
训练数据：
Bert：
双向Encoder预训练；最后加1层线形层做下游任务微调。
效果碾压GPT-1:
GPT-2（1.542B参数量，40GB文字训练数据量）
动机：
下游任务，放弃特殊token，改用prompt：
模型变化：
训练变化：
效果：比不过FineTune模型。但发现了规律：随着参数量增大，效果仍可继续上升。
GPT-3: (175B参数量，300B token预训练数据量）
动机：
模型修改：
引入稀疏注意力机制（每个token只和前面的部分token进行attention计算，而不是前面全部token)
训练数据：
不同来源的数据，采样比例不一样。（质量差的数据，就少采样一些）
效果：超过了最好的Fine tune模型。
GPT-4:
效果：霸榜Top-1
Insight:
相关文章：
GPT系列模型简要概述
GPT-1：（0.117B参数量，0.8B words预训练数据) 动机： 在RNN和Transformer之间，选择了后者。 和《All your need is Attention》翻译模型的Encoder-Decoder架构相比，只保留Decoder，因此去掉了Cross…...
关于睡懒觉
我们经常听到一个词：睡懒觉。 我认为，睡懒觉这个词，是错误的。 人，是需要睡眠的，睡不够，就不会醒。睡够了，自然会醒，也不想继续睡。不信你试试，睡够了，你…...
Spring Data JPA 入门
文章目录 前言、Spring Data JPA 是什么？1、背景2、优势3、Spring Data JPA 和 MyBatis-Plus 对比4、Spring Data JPA 与 JPA 的关系是什么？ 一、准备1、依赖引入Spring Boot 框架依赖引入：非 Spring Boot 框架依赖引入： 2、定义实…...
操作系统用户界面
实验目的： LINUX操作系统提供了图形用户界面和命令行界面，本实验主要熟悉命令行界面，为后续的实验编程做准备。 二、实验内容： 写出每个命令的功能及格式 1、有关目录和文件操作的命令 1.1cat 功能： 1.一次显示整…...
)
区块链dapp 开发详解(VUE3.0)
1、安装metamask 插件。 2、使用封装的工具包: wagmi . 3、 wagmi 操作手册地址:connect | Wagmi 4、注意事项： 因为最初是react 版本，所以在VUE版的官方文档有很多地方在 import 用的是 wagmi,需要改为 wagmi/vue 。 连接成功后打印的内容如下&…...
BTC密码学原理
文章目录 比特币的密码学基础哈希函数（Hash Function）非对称加密（Asymmetric Cryptography）数字签名（Digital Signature） 工作量证明（Proof of Work）区块链技术的密码学保障区块链的…...
【NLP 9、实践 ① 五维随机向量交叉熵多分类】
目录 五维向量交叉熵多分类 规律： 实现： 1.设计模型 2.生成数据集 3.模型测试 4.模型训练 5.对训练的模型进行验证 调用模型 你的平静，是你最强的力量 —— 24.12.6 五维向量交叉熵多分类 规律： x是一个五维(索引)向量ÿ…...
Linux -文件系统的备份
本文为Ubuntu Linux操作系统- 第九弹~~ 今天接着上文的内容，讲Linux磁盘存储管理最后一部分内容~ 上期回顾：Linux 图形界面工具管理磁盘分区和文件系统 😎黑犀铠甲合体，流星枪之狂瀑扎帖，碎魔伏暴，灭于狂瀑…...
【Linux基础五】Linux开发工具—上（apt和vim）
【Linux基础五】Linux开发工具—上（apt和vim） 1.apt包管理工具2.Linux中的编辑器vim2.1命令模式2.2插入模式2.3底行模式2.4替换模式2.5视图模式2.6多线程操作2.7配置vim 1.apt包管理工具 在 Linux 系统中，软件包管理工具是用户安装、更新和管…...
)
力扣--LCR 134.Pow(x,n)
题目 实现 pow(x, n) ，即计算 x 的 n 次幂函数（即，xn）。 示例 1： 输入：x 2.00000, n 10 输出：1024.00000 示例 2： 输入：x 2.10000, n 3 输出：9.2610…...
java抽奖系统（一）2.0
1. 项⽬介绍 1.1 背景 随着数字营销的兴起，企业越来越重视通过在线活动来吸引和留住客⼾。抽奖活动作为⼀种有效的营 销⼿段，能够显著提升⽤⼾参与度和品牌曝光率。于是我们就开发了以抽奖活动作为背景的Spring Boot项⽬，通过这个项⽬提供⼀…...
读取电视剧MP4视频的每一帧，检测出现的每一个人脸并保存
检测效果还不错，就是追踪有点难做 import cv2 import mediapipe as mp import os from collections import defaultdict# pip install msvc-runtime# 初始化OpenCV的MultiTracker # multi_tracker = cv2.MultiTracker_create() # multi_tracker = cv2.legacy.MultiTracker_cre…...
【MySQL 进阶之路】事务并发情况分析
MySQL事务并发控制分析笔记 在数据库系统中，事务并发控制至关重要，能够确保多个事务并发执行时的数据一致性、隔离性和正确性。MySQL通过不同的锁机制控制并发操作，以确保事务的隔离性。以下是对事务A和事务B并发行为的详细分析，…...
基于SSM的线上考试系统的设计与实现（计算机毕业设计）+万字说明文档
系统合集跳转 源码获取链接 一、系统环境 运行环境: 最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。 IDE环境： Eclipse,Myeclipse,IDEA或者Spring Tool Suite都可以 tomcat环境： Tomcat 7.x,8.x,9.x版本均可 操作系统…...
redis击穿，穿透，雪崩以及解决方案
目录 击穿 解决方案一 解决方案二 穿透 解决方案 雪崩 解决方案 击穿 指的是单个key在缓存中查不到，去数据库查询，这样如果并发不大或者数据库数据量不大的话是没有什么问题的。 如果数据库数据量大并且是高并发的情况下那么就可能会造成数据库压…...
Flask返回中文Unicode编码（乱码）解决方案
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…...
EasyExcel改名为FastExce做了那些改变呢
回到：github原作者地址：https://github.com/CodePhiliaX/fastexcel 中文 |English | 什么是 FastExcel FastExcel 是由原 EasyExcel 作者创建的新项目。2023 年我已从阿里离职，近期阿里宣布停止更新 EasyExcel，作者他本人决定继…...
数据结构之初始二叉树（1）
找往期文章包括但不限于本期文章中不懂的知识点： 个人主页：我要学编程(ಥ_ಥ)-CSDN博客 所属专栏：数据结构（Java版） 目录 树型结构 树的概念 与树的有关概念 树的表示形式 树的应用 二叉树 概念 两种特殊的…...
利用Python爬虫按图搜索淘宝商品（拍立淘）
在当今数字化时代，能够通过图片搜索商品的功能（如淘宝的“拍立淘”）为用户提供了极大的便利。本文将详细介绍如何利用Python爬虫技术实现按图搜索淘宝商品，并提供相应的代码示例。 1. 拍立淘功能简介 “拍立淘”是淘宝提供的一项…...
微信小程序中使用miniprogram-sm-crypto实现SM4加密攻略
在微信小程序开发过程中，数据安全至关重要。本文将为大家介绍如何在微信小程序中使用miniprogram-sm-crypto插件进行SM4加密，确保数据传输的安全性。 一、SM4加密简介 SM4是一种对称加密算法，由国家密码管理局发布，适用于商密领…...
基于注解的方式实现分布式锁的AOP功能
使用场景： 在分布式项目中，涉及到事务，且会操作多张表，那么涉及到并发场景，应当避免同一时间有多个用户并发操作同一份数据，例如：商品秒杀。 解决方案： 使用Around注解实现在方法…...
22. 五子棋小游戏
文章目录 概要整体架构流程技术名词解释技术细节小结 1. 概要 🔊 JackQiao 对 米粒 说：“今天咱们玩个五子棋小游戏，电脑与你轮流在一个 nn 的网格上放置棋子（X 或 O），网格由你输入的正整数n决定࿰…...
import是如何“占领满屏“
import是如何“占领满屏“的？ 《拒绝使用模块重导（Re-export）》 模块重导是一种通用的技术。在腾讯、字节、阿里等各大厂的组件库中都有大量使用。 如：字节的arco-design组件库中的组件：github.com/arco-design… …...
传奇996_53——后端ui窗口局部刷新
描述：一个大窗口，点击某个键，弹出小窗口。 小窗口中将msg存进变量中 大窗口中判断一个参数是否为null，如果不为null，说明界面不是第一次打开，而是被刷新了。就加上小窗口的那个变量 有时小窗口中还有其他…...
云原生API网关：2024年的性能与智能化突破
API网关已经成为现代应用世界的流量控制器，并正在成为现代应用架构的重要组成部分。然而，自成立以来，他们的角色发生了巨大变化。它们正在减轻重量，变得更加可编程，并与云原生环境携手合作。 让我们来探索这一激动人心…...
专题二十五_动态规划_两个数组的 dp （含字符串数组）_算法专题详细总结
目录 动态规划_两个数组的 dp （含字符串数组） 1. 最⻓公共⼦序列（medium） 解析： 1. 状态表⽰： 2. 状态转移⽅程： 3. 初始化：编辑 4. 填表顺序：编辑 5. 返回值…...
day09 接口测试（5）——使用postman 完成项目实战
【没有所谓的运气🍬，只有绝对的努力✊】 目录 1、项目简介 2、技术栈 2.1 技术栈 2.2 技术架构图 3、初始化项目环境！！！ 3.1 新建用例集 3.2 创建环境变量 3.3 登录模块 3.3.1 从测试用例文档提取数据 3.3.2…...
【Solidity】变量详解：类型、作用域与最佳实践
🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 💫个人格言: "如无必要，勿增实体" 文章目录 Solidity变量详解：类型、作用域与最佳实践引言1. 变量的类型与声明1…...
知识图谱9:知识图谱的展示
1、知识图谱的展示有很多工具 Neo4j Browser - - - - 浏览器版本 Neo4j Desktop - - - - 桌面版本 graphX - - - - 可以集成到Neo4j Desktop Neo4j 提供的 Neo4j Bloom 是用户友好的可视化工具，适合非技术用户直观地浏览图数据。Cypher 是其核心查询语言&#x…...
scss文件内引入其他scss文件报错
1、今天在编译一些老项目的时候，老是提示下面信息 2、而且有很多Sass import rules are deprecated and will be removed in Dart Sass 3.0.0.警告 3、用npm view sass versions看，其中sass的最新版本是1.82.0 4、经过测试"sass": "1.75…...
使用 ASP.NET Core HttpLoggingMiddleware 记录 http 请求/响应
我们发布了一个应用程序，该应用程序运行在一个相当隐蔽的 WAF 后面。他们向我们保证，他们的产品不会以任何方式干扰我们的应用程序。这是错误的。他们删除了我们几乎所有的“自定义”标头。为了“证明”这一点，我构建了一个中间件，…...
沃丰科技智能客服在跨境电商独立站中的核心角色
随着全球化进程的加速和互联网技术的不断发展，跨境电商行业蓬勃兴起，为消费者提供了更广阔、更便捷的购物选择。在这样一个竞争激烈的市场环境中，优质的客户服务成为了企业脱颖而出的关键。沃丰科技智能客服凭借其先进的技术和人性化的设计理…...
)
基于Springboot滑雪物品在线租赁网站设计与实现(作品+论文+开题报告)
博主介绍：黄菊华老师《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者，CSDN博客专家，在线教育专家，CSDN钻石讲师；专注大学生毕业设计教育、辅导。 所有项目都配有从入门到精通的基础知识视频课程ÿ…...
android 富文本及展示更多组件
模拟微博 #热贴 和 用户 的这种 富文本形式组件，不说了， 直接上代码 package com.tongtong.feat_watch.viewimport android.content.Context import android.graphics.Color import android.util.AttributeSet import android.view.LayoutInflater impo…...
Java-JMX 组件架构即详解
JMX架构由三个主要组件构成： MBeans（Managed Beans）：代表可管理的资源，是JMX的核心。MBean可以是Java类或接口，提供了管理操作的接口，如获取系统信息、设置参数等。MBeanServer&#x…...
开源轻量级文件分享服务Go File本地Docker部署与远程访问
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...
)
Rust快速入门(五)
生命周期 生命周期的主要作用是避免悬垂引用。 这里我们详细说说借用检查： {let r; // ----------- a// |{ // |let x 5; // --- b |r &x; // | |} /…...
租赁系统|租赁小程序|租赁小程序成品
租赁系统是现代企业管理中不可缺少的数字化工具，它通过高效的信息整合与流程管理，为企业带来极大的便利和效益。一个完善的租赁系统开发应具备以下必备功能： 一、用户管理 用户管理模块负责系统的访问控制，包括用户注册、登录验证…...
后端-pageHelp分页查询
在pom.xml文件中先导入分页的坐标 PageResult里面有两个后端返回给前端的参数，我们最后把PageResult再封装到Result中， PageResult和Result都是工具类 EmployeeDTO中是前端页面中的模糊查询字段和分页的两个值 注意！ 括号中的参数Employee…...
MySQL | 尚硅谷 | 第15章_存储过程与函数
MySQL笔记：第15章_存储过程与函数 文章目录 MySQL笔记：第15章_存储过程与函数第15章_存储过程与函数 1. 存储过程概述1.1 理解1.2 分类 2. 创建存储过程2.1 语法分析2.2 代码举例 3. 调用存储过程3.1 调用格式3.2 代码举例3.3 如何调试存储过程演示代码 …...
汽车零部件设计之——麦弗逊悬架KC特性分析仿真APP介绍
汽车零部件是汽车工业的基石，是构成车辆的基础元素。一辆汽车通常由上万件零部件组成，包括发动机系统、传动系统、制动系统、电子控制系统等，它们共同确保了汽车的安全、可靠性及高效运行。在汽车产业快速发展的今天，汽车零部件需…...
)
代码随想录-算法训练营day41(动态规划04:01背包,01背包滚动数组,分割等和子集)
第九章 动态规划part04● 01背包问题，你该了解这些！ ● 01背包问题，你该了解这些！ 滚动数组 ● 416. 分割等和子集 正式开始背包问题，背包问题还是挺难的，虽然大家可能看了很多背包问题模板代码…...
Vue Loader的作用
Vue Loader是一个专门用于处理Vue单文件组件（SFCs，即Single File Components）的webpack加载器（loader）。以下是Vue Loader的具体作用： 1、解析和转换Vue单文件组件 Vue Loader能够解析和转换.vue文件&…...
SRS 服务器入门：实时流媒体传输的理想选择
在当今视频流媒体需求爆炸式增长的时代，如何选择一款高效、稳定且功能强大的流媒体服务器成为了许多开发者和企业关注的焦点。而 SRS（Simple Realtime Server）作为一款开源的流媒体服务器，以其卓越的性能和灵活的功能，…...
4K高清壁纸网站推荐
1. Awesome Wallpapers 官网: https://4kwallpapers.com/ 主题: 创意、摄影、人物、动漫、绘画、视觉 分辨率: 4K Awesome Wallpapers 提供了丰富的高质量图片，分为通用、动漫、人物三大类，可以按屏幕比例和分辨率检索，满足你对壁纸的各种…...
如何保证数据库和缓存双写一致性？
数据库和缓存（redis）双写数据一致性问题再高并发的场景下，是一个很严重的问题，无论在工作中，还是面试，遇到的概率非常大，这里就聊一聊目前的常见解决方案以及最优方案。 常见方案 缓存的主要目…...
QT 多级嵌套结构体,遍历成员--半自动。＜模板+宏定义＞QTreeWidget树结构显示
Qt的QTreeWidget来显示嵌套结构体的成员，并以树形结构展示。 #include <QApplication> #include <QTreeWidget> #include <QTreeWidgetItem> #include <QString> #include <cstdint>// 假设这些是你的结构体定义 struct BaseMeterPa…...
《深入浅出HTTPS》读书笔记（17）：公开密钥算法
公开密钥算法（Public Key Cryptography），也称为非对称加密算法（Asymmetrical Cryptography）。 公开密钥算法的功能比较多，可以进行加密解密、密钥协商、数字签名。 【密钥是一对】 公开密钥算法的密钥是一对…...
React 中为什么不直接使用 requestIdleCallback?
首先看下 requestIdleCallback是什么？ 简介 requestIdleCallback 是一个在浏览器空闲时执行低优先级任务的 API。 定义与用途 requestIdleCallback 方法允许开发者在浏览器的空闲时段内调度函数的执行。这些函数通常用于执行非关键性的、低优先级的任务，…...
工作：SolidWorks从3D文件导出2D的DWG或DXF类型文件方法
工作：SolidWorks从3D文件导出2D的DWG或DXF类型文件方法 SolidWorks从3D文件导出2D的DWG或2D DXF类型文件方法（一）打开3D文件（二）从装配体到工程图（三）拖出想要的角度的图型（四&#…...