当前位置：首页 > news >正文

ChatGPT 主流模型GPT-4/GPT-4o mini的参数规模是多大？

news 来源：原创 2025/5/14 2:11:55

微软论文又把 OpenAI 的机密泄露了？？在论文中明晃晃写着：

o1-preview 约 300B；o1-mini 约 100B
GPT-4o 约 200B；GPT-4o-mini 约 8B
Claude 3.5 Sonnet 2024-10-22 版本约 175B
微软自己的 Phi-3-7B，这个不用约了就是 7B

英伟达 2024 年初发布 B200 时，就摊牌了 GPT-4 是 1.8T MoE 也就是 1800B，这里微软的数字更精确，为 1.76T。

除此之外，论文中给 OpenAI 的 mini 系列，Claude3.5 Sonnet 也都附上了参数，总结如下：

o1-preview 约 300B；o1-mini 约 100B
GPT-4o 约 200B；GPT-4o-mini 约 8B
Claude 3.5 Sonnet 2024-10-22 版本约 175B
微软自己的 Phi-3-7B，这个不用约了就是 7B

虽然论文中后面也有免责声明：

确切数据尚未公开，这里大部分数字是估计的。

但还是有不少人觉得事情没这么简单。

比如为什么唯独没有放谷歌 Gemini 模型的参数估计？或许他们对放出来的数字还是有信心的。

也有人认为，大多数模型都是在英伟达 GPU 上运行的，所以可以通过 token 生成速度来估计。

只有谷歌模型是在 TPU 上运行的，所以不好估计。

而且微软也不是第一次干这事了。

2023 年 10 月，微软就在一篇论文里“意外”曝出 GPT-3.5-Turbo 模型的 20B 参数，在后续论文版本中又删除了这一信息。

微软这篇论文说了什么

实际上，原论文介绍了一项与医学相关的 benchmark——MEDEC。

12 月 26 日就已经发布，不过是比较垂直领域的论文，可能非相关方向的人都不会看，年后才被列文虎克网友们发现。

研究起因是，据美国医疗机构调查显示，有 1/5 的患者在阅读临床笔记时报告发现了错误，而 40% 的患者认为这些错误可能影响他们的治疗。

而且另一方面，LLMs (大语言模型）被越来越多的用于医学文档任务（如生成诊疗方法）。

因此，MEDEC 此番有两个任务。一是识别并发现临床笔记中的错误；二是还能予以改正。

为了进行研究，MEDEC 数据集包含 3848 份临床文本，其中包括来自三个美国医院系统的 488 份临床笔记，这些笔记之前未被任何 LLM 见过。

它涵盖五种类型的错误（诊断、管理、治疗、药物治疗和致病因子），这些错误类型是通过分析医学委员会考试中最常见的问题类型选择的，并由 8 位医疗人员参与错误标注。

而参数泄露即发生在实验环节。

按照实验设计，研究者将选取近期主流的大模型和小模型来参与笔记识别和纠错。

而就在介绍最终选定的模型时，模型参数、发布时间一下子都被公开了。

对了，省去中间过程，这项研究得出的结论是：Claude 3.5 Sonnet 在错误标志检测方面优于其他 LLM 方法，得分为 70.16，第二名是 o1-mini。

网友：按价格算合理

每一次，ChatGPT 相关模型架构和参数泄露，都会引起轩然大波，这次也不例外。

2023 年 10 月，微软论文声称 GPT-3.5-Turbo 只有 20B 参数的时候，就有人感叹：难怪 OpenAI 对开源模型这么紧张。

2024 年 3 月，英伟达确认 GPT-4 是 1.8T MoE，而 2000 张 B200 可以在 90 天内完成训练的时候，大家觉得 MoE 已经且仍将是大模型架构趋势。

这一次，基于微软估计的数据，网友们主要有几个关注点：

值得一提的是Claude！！

如果 Claude 3.5 Sonnet 真的比 GPT-4o 还小，那 Anthropic 团队就拥有技术优势。

PS真的觉得claude不错，特别是写代码真的爽：需要升级的童鞋可以参考教程：国内如何使用支付宝注册Claude账号和升级订阅开通Claude Pro - AI is all your need!

以及不相信 GPT-4o-mini 只有 8B 这么小。

不过此前也有人根据推理成本来算，4o-mini 的价格是 3.5-turbo 的 40%，如果 3.5-turbo 的 20B 数字准确，那么 4o-mini 刚好是 8B 左右。

不过这里的 8B 也是指 MoE 模型的激活参数。

总之，OpenAI 大概是不会公布确切数字了。

此前阿尔特曼征集 2024 年新年愿望，最后公布的清单中还有“开源”。2025 年的最新版本里，开源已经被去掉了。

论文地址：https://arxiv.org/pdf/2412.19260

ChatGPT 主流模型GPT-4/GPT-4o mini的参数规模是多大？

微软论文又把 OpenAI 的机密泄露了？？在论文中明晃晃写着： o1-preview 约 300B；o1-mini 约 100BGPT-4o 约 200B；GPT-4o-mini 约 8BClaude 3.5 Sonnet 2024-10-22 版本约 175B微软自己的 Phi-3-7B，这个不用约…...

编程日记 2025/5/14 2:11:55

初学stm32 --- RTC实时时钟

目录 RTC简介常用的RTC方案 STM32 F1 RTC框图介绍后备寄存器和RTC寄存器特性（F1） F1 RTC相关寄存器介绍 RCC_APB1ENR寄存器编辑 PWR_CR寄存器 RCC_BDCR寄存器 RTC_CRL寄存器 RTC_CRH寄存器 RTC_PRLH寄存器 RTC_PRLL寄存器 RTC_CNTH寄存器 …...

编程日记 2025/5/10 2:51:54

Qt之屏幕录制设计（十六）

Qt开发系列文章 - screencap（十六） 目录前言一、实现原理二、实现方式 1.创建录屏窗口 2.录屏窗口类定义 3.自建容器对象定义 4.用户使用 5.效果演示总结前言利用Qt实现屏幕录制设计，可以通过使用Qt自带的类QScreen、QPixma…...

编程日记 2025/5/14 1:28:20

25年1月更新。Windows 上搭建 Python 开发环境：Python + PyCharm 安装全攻略（文中有安装包不用官网下载）

引言随着 Python 在数据科学、Web 开发、自动化脚本等多个领域的广泛应用，越来越多的开发者选择它作为首选编程语言。而 PyCharm 作为一个功能强大的集成开发环境（IDE），为 Python 开发者提供了极大的便利。本文将详细介绍如何在 …...

编程日记 2025/5/13 17:46:04

CTF杂项——[LitCTF 2024]涐贪恋和伱、甾―⑺dé毎兮毎秒

得到一张图片有两种方式可以得到flag 第一种：LSB 第二种：zsteg...

编程日记 2025/5/4 0:38:01

cache 发展之路 1、HashMap或者ConcurrentHashMap public class CustomerService {private HashMap<String,String> hashMap new HashMap<>();private CustomerMapper customerMapper;public String getCustomer(String name){String customer hashMap.get(nam…...

编程日记 2025/5/13 3:36:28

Kubernetes——part4-1 Kubernetes集群服务暴露 Nginx Ingress Controller

Kubernetes集群服务暴露 Nginx Ingress Controller 一、ingress控制器 1.1 ingress控制器作用 （类似于slb，做代理服务） ingress controller可以为kubernetes 集群外用户访问Kubernetes集群内部pod提供代理服务。提供全局访问代理访问流程…...

编程日记 2025/5/14 2:07:50

前端小案例——520表白信封

前言：我们在学习完了HTML和CSS之后，就会想着使用这两个东西去做一些小案例，不过又没有什么好的案例让我们去练手，本篇文章就提供里一个案例——520表白信封 ✨✨✨这里是秋刀鱼不做梦的BLOG ✨✨✨想要了解更多内容可以访问我的主…...

编程日记 2025/5/11 4:54:06

《机器学习》——线性回归模型

文章目录线性回归模型简介一元线性回归模型多元线性回归模型误差项分析一元线性模型实例完整代码多元线性模型实例完整代码线性回归模型简介线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。相关关系&…...

编程日记 2025/5/13 3:05:28

测试用例颗粒度说明

当我们在编写测试用例时，总是会遇到一个问题：如何确定测试用例的颗粒度？测试用例过于粗糙，可能无法全面覆盖系统的细节；而颗粒度过细，又会导致测试重复、冗余。掌握合适的颗粒度，不仅可以提高测…...

编程日记 2025/5/8 23:11:55

Kali 离线安装 ipmitool 笔记

在Kali Linux上离线安装 ipmitool 的步骤如下： 一、获取 ipmitool 的安装包和依赖由于是离线安装，您需要先在一台可以联网的机器上下载 ipmitool 及其所有依赖包。方法一：使用 apt 下载包在联网的机器上，运行以下命令以准备…...

编程日记 2025/5/11 10:58:24

基于word2vec的文本大数据分析

基于word2vec的文本大数据分析效果：一、简介 Word2Vec是一种词向量表示方法，是在自然语言处理领域（NLP）的神经网络模型，是一种无监督学习，包含两种模型架构：CBOW模型与Skip-Gram模型。常用于：相似度计算、词类聚类、文本分类、句子和文档表示、搜索引擎优化、情…...

编程日记 2025/5/14 1:36:45

BGP基础配置实验

一、实验拓补二、实验要求及分析实验要求： 1，R1为AS 100区域；R2、R3、R4为AS 200区域且属于OSPF协议；R5为AS 300区域； 2，每个设备上都有环回，且通过环回可以使设备互通； 实验分…...

编程日记 2025/5/14 1:33:42

Maven核心与单元测试

目录一. Maven概述二. IDEA集成Maven2.1 创建Maven项目2.2 Maven坐标2.3 导入Maven项目三. 依赖管理四. Maven的生命周期五. 单元测试5.1 快速入门5.2 断言5.3 常见注解5.4 依赖范围六. Maven常见问题 \quad 一. Maven概述 \quad \quad 二. IDEA集成Maven \quad 2.1 创建Mav…...

编程日记 2025/5/12 1:58:51

Go语言的的继承（Inheritance）基础知识

Go语言的继承（Inheritance）基础知识引言在面向对象编程（OOP）中，继承是一个重要的概念，它允许一个类（子类）继承另一个类（父类）的属性和方法。这种机制在许…...

编程日记 2025/5/10 20:30:42

常见的框架漏洞复现

1.Thinkphp Thinkphp5x远程命令执行及getshell 搭建靶场 cd vulhub/thinkphp/5-rce docker-compose up -d 首页漏洞根本源于 thinkphp/library/think/Request.php 中method方法可以进行变量覆盖，通过覆盖类的核心属性filter导致rce，其攻击点较为多&…...

编程日记 2025/5/10 7:59:04

SLA 简介

SLA 是 Service Level Agreement（服务级别协议） 的缩写，广泛应用于企业服务管理、IT服务、云计算等领域。以下是对 SLA 的详细解释： SLA 的定义服务级别协议（SLA）是服务提供方（Service Provid…...

编程日记 2025/5/10 21:32:24

基于动力学的MPC控制器设计盲点解析

文章目录 Apollo MPC控制器的设计架构误差模型和离散化预测模型推导目标函数和约束设计优化求解优化OSQP求解器参考文献 Apollo MPC控制器的设计架构误差模型和离散化状态变量和控制变量 1、Apollo MPC控制器中状态变量主要有如下6个 matrix_state_ Matrix::Zero(basic_stat…...

编程日记 2025/5/13 4:40:36

leetcode 面试经典 150 题：轮转数组

链接轮转数组题序号189题型数组解法1. 额外数组法，2. 原数组翻转法（三次翻转法）难度中等熟练度✅✅✅✅ 题目给定一个整数数组 nums，将数组中的元素向右轮转 k 个位置，其中 k 是非负数。示例 1: 输入: nums [1,2,…...

编程日记 2025/5/14 0:08:35

Elasticsearch：探索 Elastic 向量数据库的深度应用

Elasticsearch：探索 Elastic 向量数据库的深度应用一、Elasticsearch 向量数据库简介 1. Elasticsearch 向量数据库的概念 Elasticsearch 本身是一个基于 Lucene 的搜索引擎，提供了全文搜索和分析的功能。随着技术的发展，Elasticsearch 也…...

编程日记 2025/5/5 12:13:54

From matplotl1b.path 1mport failed to import ImportError:numpy.core.multiarray

问题：From matplotl1b.path 1mport failed to import ImportError:numpy.core.multiarray 安装labelme的时候说numpy与环境不兼容，调不了labelme 解决1：安装虚拟环境 （这里安装labelmede 虚拟环境） #查看python版本 …...

编程日记 2025/5/10 0:34:39

Docker- Unable to find image “hello-world“locally

Docker- Unable to find image “hello-world“locally 文章目录 Docker- Unable to find image “hello-world“locally问题描述一. 切换镜像1. 编辑镜像源2. 切换镜像内容二、检查设置1、重启dockers2、检查配置是否生效3. Docker镜像源检查4. Dokcer执行测试三、自定义…...

编程日记 2025/5/14 1:42:02

linux定时执行脚本的方法

使用 cron 服务（推荐）简介： Cron 是一个基于时间的任务调度程序，它允许用户在指定的时间间隔自动运行命令或脚本。它使用crontab（cron table 的缩写）文件来存储定时任务的配置信息。操作步骤：编辑用户的 crontab 文件：在终端中输入crontab -e命令。这将打开一个文本编…...

编程日记 2025/5/12 17:29:32

Docker 中启动 Nacos

要在 Docker 中启动 Nacos，你可以使用以下步骤来启动 Nacos 服务。我已经有了 swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/nacos/nacos-server:v2.4.2.1 这个镜像。 1. 创建并启动 MySQL 容器（Nacos 依赖 MySQL） Nacos 默认使用 …...

编程日记 2025/3/12 12:32:09

【计算机网络】课程实验三跨交换机实现 VLAN 间路由

实验 3 跨交换机实现 VLAN 间路由一、实验目的 1．理解跨交换机之间VLAN的特点。 2．掌握如何在交换机上划分基于端口的VLAN，给VLAN内添加端口。 3．利用三层交换机跨交换机实现 VLAN 间路由。二、实验分析与设计【背景描述…...

编程日记 2025/5/14 1:14:12

【74CH192D+4511减法30进制2022年7月7日】

缘由30秒定时器错误帮我看看-大数据-CSDN问答电路图用到S1倒计时信号控制，S2置数30。从演示可以看到置数，开始，暂停，继续，等于0时清零，并且灯亮，最后断开信号输入完成所有功能。看题主有自己动…...

编程日记 2025/5/14 1:56:31

基于ESP32的桌面小屏幕实战[5]：PCB下单

1. 焊接调试前准备 PCB下单点击“PCB下单” 检查一下DRC 确认无错误之后，确认下单然后就会跳转到下面的网页基本上保持默认选项即可。可以看到“焊盘喷镀”有3个选项。在选择表面处理工艺时，应综合考虑产品的具体需求、环保法规以及成本等因素。例…...

编程日记 2025/5/14 1:55:29

孤独症儿童寄宿：温馨寄宿，陪伴成长

在社会的各个角落，有一群特殊的孩子，他们生活在自己的世界里，对外界的感知和反应与众不同。他们，就是孤独症（自闭症）儿童。孤独症，这个看似遥远的名词，却真实地影响着无数家庭&#…...

编程日记 2025/5/14 1:55:29

云备份项目--服务端编写

文章目录 7. 数据管理模块7.1 如何设计7.2 完整的类 8. 热点管理8.1 如何设计8.2 完整的类 9. 业务处理模块9.1 如何设计9.2 完整的类9.3 测试9.3.1 测试展示功能完整的代码–gitee链接 7. 数据管理模块 TODO: 读写锁？普通锁？ 7.1 如何设计需要管理…...

编程日记 2025/5/13 7:43:08

CSS——2.书写格式一

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title></title></head><body><!--style"color: red;font-size: 20px;&quo…...

编程日记 2025/5/10 8:29:28

【保姆级】sql注入之堆叠注入

一、堆叠注入的原理 mysql数据库sql语句的默认结束符是以";"号结尾，在执行多条sql语句时就要使用结束符隔开,而堆叠注入其实就是通过结束符来执行多条sql语句比如我们在mysql的命令行界面执行一条查询语句,这时语句的结尾必须加上分号结束 select * fr…...

编程日记 2025/5/4 17:32:52

大模型推理加速调研（框架、方法）

大模型推理加速调研（框架、方法） 大模型推理框架调研总结推理框架TensorRT-LLMllama.cppmnn-llmfastllmmlc-llm 环境搭建&部署推理环境llama.cppfastllmmnn-llmvllm vllm_openai_completions.pylmdeployTensorRT-LLM 大模型加速技术总结模型压缩量化…...

编程日记 2025/5/14 2:03:08

js -音频变音（听不出说话的人是谁）

学习参考来源： https://zhuanlan.zhihu.com/p/634848804 https://developer.mozilla.org/zh-CN/docs/Web/API/Web_Audio_API 实际效果： http://www.qingkong.zone/laboratory?typeaudio-confusion 前言本文内容可结合上面学习参考来源，结合…...

编程日记 2025/5/13 9:18:56

3D Object Detection和6D Pose Estimation有什么异同？

知乎讨论： (99 封私信 / 95 条消息) 3D Object Detection和6D Pose Estimation有什么异同？ - 知乎 GPT回答： 3D Object Detection 和 6D Pose Estimation 都是计算机视觉领域的重要任务，广泛应用于机器人、自动驾驶和增强现实…...

编程日记 2025/5/6 12:29:02

NRF24L01模块STM32通信-通信初始化

目录前言一、IO口初始化二、模拟SPI的基础代码 1.一些代码的宏定义 2.起始信号 3.CS,SCK,MOSI操作 4.MISO,IRQ操作三.中间层代码 1.字节的输入和读取 2.写操作 3.读操作四.应用层代码 1.24L01的检测 2.在main函数进行简单验证 3.24L01宏定义的代码总结前…...

编程日记 2025/5/11 21:34:01

vue Element Ui Upload 上传点击一个按钮，选择多个文件后直接上传，使用防抖解决多次上传的问题。

问题： 在使用Element Ui Upload 上传文件时，选择多个文件上传时，on-change事件会一个一个返回上传的文件，导致前端不知道什么时候可以拿到全部上传的文件，再一起调后台接口。解决方法： 上传文件后&…...

编程日记 2025/5/12 17:46:16

算法题（26）：最后一个单词的长度

审题： 需要我们返回最后一个单词的长度，并且字符串内只有空格来分割单词思路： 找到最后一个单词的方法就是从后开始遍历找到第一个非空格的元素，称为pos（第一个出现单词的位置） 然后再从pos位置开始反向寻…...

编程日记 2025/5/9 15:43:17

Ungoogled Chromium127 编译指南 MacOS 篇（二）- 项目要求

1. 引言在开始编译 Ungoogled Chromium 之前，我们需要确保系统满足所有必要的硬件和软件要求。由于浏览器编译是一个资源密集型的任务，合适的硬件配置和完整的软件环境至关重要。本文将详细介绍编译 Ungoogled Chromium 所需的各项要求。 2. 硬件要求…...

编程日记 2025/5/12 6:30:14

nginx配置-其他配置

nginx配置-其他配置 server_tokens server_tokens server_token on/off 是 Nginx 配置文件中的一个指令，用于控制 Nginx 服务器在响应 HTTP 请求时是否显示服务器的版本信息。默认情况下，Nginx 会在响应头中包含服务器的版本号，例如 Serve…...

编程日记 2025/5/14 1:11:58

Springboot使用RabbitMQ实现关闭超时订单的一个简单示例

1.maven中引入rabbitmq的依赖： <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-amqp</artifactId></dependency> 2.application.yml中进行rabbitmq相关配置： # rabbit…...

编程日记 2025/5/11 4:21:11

QT-------------对话框和多窗口程序设计

一、标准对话框 1. QFileDialog 对话框功能：提供文件选择对话框，方便用户选择文件或目录。 #include <QApplication> #include <QFileDialog> #include <QMessageBox>int main(int argc, char *argv[]) {QApplication app(argc, a…...

编程日记 2025/5/6 12:57:50

信息科技伦理与道德2：研究方法

1 问题描述 1.1 讨论？ 请挑一项信息技术，谈一谈为什么认为他是道德的/不道德的，或者根据使用场景才能判断是否道德。判断的依据是什么（自身的道德准则）？为什么你觉得你的道德准则是合理的，其他…...

编程日记 2025/5/12 13:24:40

Linux(Centos 7.6)命令详解：ls

1.命令作用列出目录内容(list directory contents) 2.命令语法 Usage: ls [OPTION]... [FILE]... 3.参数详解 OPTION: -l，long list 使用长列表格式-a，all 不忽略.开头的条目（打印所有条目，包括.开头的隐藏条目&#xff09…...

编程日记 2025/5/4 22:17:56

深入理解 WebSocket：实时通信的基础

随着互联网技术的不断发展，实时通信逐渐成为现代应用程序中不可或缺的一部分。无论是即时通讯应用、在线游戏、社交平台还是股票交易系统，都需要能够在客户端与服务器之间快速、高效地传输数据。传统的 HTTP 协议虽然简单且广泛应用，但它并不…...

编程日记 2025/5/1 0:19:24

【网络协议】开放式最短路径优先协议OSPF详解（一）

OSPF 是为取代 RIP 而开发的一种无类别的链路状态路由协议，它通过使用区域划分以实现更好的可扩展性。文章目录链路状态路由协议OSPF 的工作原理OSPF 数据包类型Dijkstra算法、管理距离与度量值OSPF的管理距离OSPF的度量值链路状态路由协议的优势拓扑结构路由器O…...

编程日记 2025/5/12 17:51:55

2000-2020年各省地区生产总值数据/各省gdp数据

2000-2020年各省地区生产总值数据/各省gdp数据 1、时间：2000-2020年 2、来源：国家统计局 3、指标：行政区划代码、地区、年份、地区生产总值 4、范围：31省指标解释：地区生产总值（Regional GDP&#xf…...

编程日记 2025/5/11 5:12:52

消息转换器在SpringMVC执行流程

消息转换器的工作机制内部工作流程读取（Read）操作当接收到一个包含实体内容的HTTP请求时，Spring MVC会根据请求头中的Content-Type属性来确定应该使用哪个HttpMessageConverter来解析请求体。DispatcherServlet会遍历已注册的HttpMessage…...

编程日记 2025/5/11 14:03:16

7. C语言运算符详解

本章目录: 前言C语言运算符的分类1. 算术运算符2. 关系运算符3. 逻辑运算符4. 位运算符5. 赋值运算符6. 杂项运算符运算符优先级前言在C语言中，运算符是程序中执行各种操作的核心工具，涉及算术运算、逻辑判断、位操作等多个方面。掌握C语言中的各种运…...

编程日记 2025/5/11 5:10:27

一、准备工作（2）：部署TensorFlow和Keras

目录一、确保已安装 Python 和 pip 二、打开命令行界面并执行安装命令 Windows macOS 和 Linux 三、安装过程中的注意事项创建虚拟环境激活虚拟环境在虚拟环境中安装包四、验证安装五、常见问题排查六、下一步 pip install tensorflow keras 是一个用于在计算…...

编程日记 2025/5/7 12:32:44

Rabbitmq Fanout如何保证不重复消费及应用场景

rabbitmq fanout业务场景，一个交换机对应多个队列，不会重复消费吗在 RabbitMQ 中，使用 Fanout 类型的交换机时，确实可以将一个交换机绑定到多个队列。每当有消息发布到这个交换机时，交换机会把消息广播到所有绑定的队…...

编程日记 2025/5/9 21:31:14

微软这篇论文说了什么

网友：按价格算合理

相关文章：