当前位置：首页 > news >正文

Llama 4 家族：原生多模态 AI 创新新时代的开启

news 来源：原创 2025/8/23 23:04:59

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/

要点总结：

我们发布了 Llama 4 家族中的首批模型，让人们能够打造更加个性化的多模态体验。
Llama 4 Scout 是一款拥有 170 亿激活参数和 16 个专家模型的多模态模型，在同类模型中性能最强，胜过所有前代 Llama 模型，并可在单张 NVIDIA H100 GPU 上运行。此外，Llama 4 Scout 拥有业界领先的 1000 万上下文窗口，在多个知名基准测试中超越了 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1。
Llama 4 Maverick 拥有 170 亿激活参数、128 个专家，是同类中最强的多模态模型，在广泛基准测试中优于 GPT-4o 和 Gemini 2.0 Flash，且在推理和编程能力方面达到与 DeepSeek v3 相当的水平——但参数量仅为后者的一半。Maverick 实验版聊天模型在 LMArena 中取得了 1417 的 ELO 分数，展现出卓越的性价比。
这些模型得益于 Llama 4 Behemoth 的蒸馏训练——这是我们目前最强大的模型，拥有 2880 亿激活参数和 16 个专家，是全球最智能的大型语言模型之一，在多项 STEM 基准上超越 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。Llama 4 Behemoth 仍在训练中，更多细节将持续披露。
Llama 4 Scout 和 Maverick 模型现已开放下载（可在 llama.com 和 Hugging Face 获取），Meta AI 搭载 Llama 4 的版本也可在 WhatsApp、Messenger、Instagram Direct 和网页版使用。

多模态新时代的开启

我们隆重推出 Llama 4 Scout 和 Llama 4 Maverick，这是首批开源权重的原生多模态模型，支持前所未有的长上下文，并首次采用专家混合（MoE）架构。此外，我们还预览了 Llama 4 Behemoth，它是全球最强之一的大型语言模型，也是我们的教师模型。

这些新模型代表了 Llama 生态系统迈入新纪元的起点。Scout 模型设计紧凑，使用 INT4 量化后可以部署在单张 H100 GPU 上，而 Maverick 则部署于单台 H100 主机。它们均基于 Behemoth 模型蒸馏而成，后者在 STEM 领域表现出色。我们尚未开放 Behemoth 下载，但很快将分享更多技术细节。

我们始终相信，开放是推动创新的核心动力，对开发者、Meta 以及整个世界都有益。因此，Llama 4 Scout 和 Maverick 均已开放下载，我们也将通过合作伙伴提供更多渠道访问。你还可以在 Meta 旗下多款产品中直接体验 Llama 4。

模型训练与架构

Llama 4 是我们首批采用 专家混合（MoE）架构 的模型，其中每个 token 仅激活部分参数，从而大幅提高训练与推理效率。Maverick 模型拥有 4000 亿总参数，但仅使用 170 亿活跃参数，128 个专家交替启用，使得在 NVIDIA H100 上运行高效灵活，适合本地部署与分布式推理。

Llama 4 原生支持多模态，在骨干网络中通过 早期融合（early fusion） 将文本和图像 token 融合。我们还对视觉编码器进行了强化，使其更好地适应语言模型。我们开发的新训练技术 MetaP，可自动设定每层的学习率和初始化比例，确保模型在不同配置下的稳定性。

预训练使用超过 30 万亿 token（是 Llama 3 的两倍），支持 200 种语言，其中 100 多种语言的 token 数超过 10 亿。我们采用 FP8 精度训练，在 32K GPU 上达成了 390 TFLOPs/GPU 的利用率。

Scout 支持 1000 万的上下文窗口，远超 Llama 3 的 128K，为长文本处理和大规模代码分析提供可能。此外，我们采用了 iRoPE 架构，通过交错式注意力层和旋转位置编码的组合来支持超长上下文。

后训练与优化

Maverick 是我们面向通用助手和聊天用例的主力模型，擅长图像理解和创意写作。为平衡多模态输入、推理和对话能力，我们采用了全新后训练流程：

轻量监督微调（SFT）
在线强化学习（RL）
轻量直接偏好优化（DPO）

我们使用 Llama 模型作为“裁判”，筛除超过 50% 的简单数据，仅在困难数据上进行微调。随后在在线 RL 阶段选用更高难度的提示，提升模型能力。通过动态数据筛选和系统指令多样化采样，我们大幅提升了模型的推理与编程能力。

Maverick 的性能优于 GPT-4o 和 Gemini 2.0，在多语言、编程、图像、长上下文等领域均表现出色，并与 DeepSeek v3.1 相媲美。

Scout 模型同样拥有 170 亿激活参数、16 个专家与 1090 亿总参数，在小模型中表现卓越，并在图像定位（image grounding）任务中表现领先，能够将用户提示与视觉概念精准对齐。

Llama 4 Behemoth：两万亿参数的巨兽

我们预览了 Llama 4 Behemoth，这是拥有 2880 亿激活参数、近两万亿总参数的多模态专家混合模型。Behemoth 不仅在数学、多语言和图像任务上表现顶尖，也是训练 Scout 和 Maverick 的教师模型。

我们为此开发了新型蒸馏损失函数，动态加权软标签与硬标签，通过 Behemoth 的推理结果生成训练数据，显著提升学生模型的表现。

由于模型体量庞大，后训练过程需对 SFT 数据进行 95% 精简，并在 RL 阶段构建高难度训练计划，通过分批难度分层、系统指令多样化提升模型泛化能力。我们重构了 RL 基础设施，实现 10 倍训练效率提升。

安全机制与保护

我们构建了 Llama 4 的全流程安全机制：

预训练与后训练防护

数据过滤与清洗
安全数据注入策略

系统级防护工具（已开源）：

Llama Guard：用于识别输入/输出是否违反应用安全政策
Prompt Guard：识别恶意提示（如 Jailbreak 和注入攻击）
CyberSecEval：评估模型网络安全风险

风险评估与红队测试

我们采用自动与人工相结合的方式进行模型极限测试，开发了 GOAT（生成式攻击测试） 工具，可模拟中等攻击者进行多轮交互，极大提升测试覆盖率与效率。

消除偏见的努力

我们努力减少模型在政治与社会话题上的偏见，让 Llama 能平衡呈现不同观点：

Llama 4 在敏感议题上的拒答率由 7% 降至 2% 以下
拒答偏差（对某些立场过于敏感）降至 1% 以下
与 Llama 3.3 相比，Llama 4 的强偏政治倾向回答减少了一半，表现与 Grok 相当

拓展 Llama 生态系统

Llama 不只是模型，而是完整生态。除了模型本身，我们也在扩展产品集成，持续与开源社区合作。我们期待在 4 月 29 日的 LlamaCon 大会上分享更多未来愿景。

不论你是开发者、企业用户还是 AI 爱好者，Llama 4 Scout 和 Maverick 都是下一代智能产品的理想选择。我们也期待看到你用这些模型创造的精彩应用。

Llama 4 家族：原生多模态 AI 创新新时代的开启

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/8/23 23:04:59

情感语音的“开源先锋”！网易开源

语音合成技术近年来取得了显著进步，特别是在语音克隆、语音助手、配音服务和有声读物等领域。然而，如何让合成的语音更具情感，更贴近人类的真实表达，一直是这一领域的重要研究方向。今天，我们将为大家介绍一款由网易有…...

编程日记 2025/8/21 1:56:17

消息队列基础概念及选型，常见解决方案包括消息可靠性、消息有序、消息堆积、重复消费、事务消息

前言是时候总结下消息队列相关知识点啦！我搓搓搓搓本文包括消息队列基础概念介绍，常见解决方案包括消息可靠性、消息有序、消息堆积、重复消费、事务消息参考资料： Kafka常见问题总结 | JavaGuide RocketMQ常见问题总结 | JavaGuide …...

编程日记 2025/8/23 2:08:28

子类是否能继承

继承父类： 子类构造方法非私有不能继承私有（private）不能继承成员变量非私有能继承私有&…...

编程日记 2025/8/18 0:49:16

计算机系统--- BIOS（基本输入输出系统）

一、BIOS的定义与核心定位 BIOS（Basic Input/Output System）是计算机启动时运行的底层固件，存储在主板的ROM芯片中。它是连接硬件与操作系统的桥梁，负责初始化硬件、加载启动程序，并提供基础配置界面。其核心目标是&a…...

编程日记 2025/8/23 23:04:09

Ollama 与 llama.cpp 深度对比

Ollama 与 llama.cpp 深度对比 1. 定位与架构维度llama.cppOllama核心定位Meta LLaMA 的 C 推理框架，专注底层优化基于 llama.cpp 的高层封装工具，提供一站式服务技术栈纯 C 实现，支持量化/内存管理/硬件指令集优化（AVX/NEON/M…...

编程日记 2025/8/18 0:43:21

C++ —— 智能指针

C ——智能指针智能指针存在的必要性1. 解决内存泄漏问题2. 避免悬垂指针（Dangling Pointer）3. 异常安全性 std::unique_ptr （独占所有权）代码功能说明关键点解析内存管理流程对比传统指针为何使用 make_unique？ uniq…...

编程日记 2025/8/21 4:38:25

Go语言的测试框架

Go语言测试框架详解 Go语言（Golang）自发布以来，因其简洁、高效和并发支持而受到广泛欢迎。在软件开发过程中，测试是确保代码质量与稳定性的重要环节。Go语言内置的测试框架为开发者提供了灵活而强大的测试工具，使得编…...

编程日记 2025/8/20 7:32:36

配置多区域集成IS-IS和抓包分析

基本概念 IS-IS区域结构： 使用两级层次结构：Level 1（区域内）和Level 2（区域间） Level 1路由器了解本区域拓扑 Level 2路由器在不同区域间传输流量 Level 1-2路由器同时执行两种功能 NSAP地址&#xff…...

编程日记 2025/8/19 22:42:12

网络原理 - HTTP/HTTPS

1. HTTP 1.1 HTTP是什么？ HTTP (全称为 “超文本传输协议”) 是⼀种应用非常广泛的应用层协议. HTTP发展史： HTTP 诞生于1991年. 目前已经发展为最主流使用的⼀种应用层协议最新的 HTTP 3 版本也正在完善中, 目前 Google / Facebook 等公司的产品已经…...

编程日记 2025/8/23 23:04:06

JavaScript逆向WebSocket协议解析与动态数据抓取

在JavaScript逆向工程中，WebSocket协议的解析和动态数据抓取是关键技能。本文将结合Fiddler、Charles Proxy和APIfox工具，详细讲解如何解析WebSocket协议并抓取动态数据。一、WebSocket协议解析 （一）WebSocket协议的基本概念 …...

编程日记 2025/8/23 23:04:08

过滤震荡行行策略思路

本文讨论的是如何识别和过滤金融市场中的震荡行情，特别是对于趋势交易者来说，如何避免在震荡行情中频繁止损和资金回撤。主要观点震荡行情的定义 - 行情在有序与无序之间的中间状态，由多空力量不足导致的横盘。震荡行情的分类 - 宽幅震…...

编程日记 2025/8/18 0:49:11

消息队列(kafka 与 rocketMQ)

为什么要使用消息队列?作用1: 削峰填谷(突发大请求量问题)作用2: 解耦(单一原则)作用3: 异步(减少处理时间) 如何选择消息队列(kafka&RocketMQ)成本功能性能选择 rocketMQ是参考kafka进行实现的为什么rocketMQ与kafka性能差距很大呢?kafka 的底层数据储存实现rocketMQ 的…...

编程日记 2025/8/17 23:46:11

Invalid bean definition with name ‘employeeMapper‘ defined in file。解决问题

求解决方法： Error starting ApplicationContext. To display the condition evaluation report re-run your application with debug enabled. 2025-04-06T15:23:24.87308:00 ERROR 30192 --- [ main] o.s.boot.SpringApplication : Appli…...

编程日记 2025/8/22 22:05:01

使用NVM管理nodejs

使用NVM管理nodejs 前言1. 先清空本地安装的node.js版本2. 下载nvm管理工具3. 安装nvm管理工具4. 输入命令查看nvm版本号5. 查看node.js版本号6. 安装对应版本6.1安装命令6.2使用命令（可以快速切换node版本）6.3成功之后就可以查看本地的node版本了 7. 查…...

编程日记 2025/8/22 7:17:39

第11课：Tiled DiffusionVAE高分辨率放大应用

文章目录 Part.01 Tiled Diffusion原理与基本操作Part.02 Tiled Diffusion超高分辨率升级Part.03 与ControlNet Tile配合使用显存和图片大小的对应关系 Part.01 Tiled Diffusion原理与基本操作降低显存负担，用不到一半的显存消耗实现同一张大图的绘制，提高超过50%的出图效…...

编程日记 2025/8/20 9:22:19

APS相关知识

MRP 在系统中实现 MRP（物料需求计划） 的逻辑，需要基于数据库和算法进行自动计算，确保物料按时到达，以满足生产需求。以下是 MRP 的核心逻辑和实现步骤： 📌 MRP 系统实现流程数据输入&…...

编程日记 2025/8/21 15:15:44

浮点数精度问题

目录 ieee754标准解决方法和c语言一样，所有以ieee754标准的语言都有浮点数精度问题，js也有浮点数精度问题，并且因为是弱类型语言这个问题更严重，js的Number类型的数据都被视为浮点数 ieee754标准 js的数字类型就相当于c语言doub…...

编程日记 2025/8/22 1:47:16

DHCP Snooping各种场景实验案例

一、概述 DHCP Snooping的基本功能能够保证客户端从合法的服务器获取IP地址,而且能够记录DHCP客户端IP地址与MAC地址等参数的对应关系,进而生成绑定表。 DHCP Snooping的基本功能的配置任务如下(只有前面两个是必选的)。使能DHCP Snooping功能。配置接口信任状态。(可选)使能…...

编程日记 2025/8/20 17:37:55

设计模式简述（八）中介者模式

中介者模式描述基本使用使用描述为了简化多个类间复杂的耦合关系，单独定义一个中介者将边界交互的部分交给中介者，从而简化各个类内部逻辑个人建议在3个及以上的类间存在复杂交互关系时再考虑中介者，否则可能反而增加系统复杂度基本使…...

编程日记 2025/8/20 22:50:24

【力扣hot100题】（064）在排序数组中查找元素的第一个和最后一个位置

调试了半天终于过了…… 神人题目，主要是情况太太太多了，有先找到左边界的情况、先找到右边界的情况、找到中间节点之后要依次找左右边界的情况……其实要是弄多一点循环应该就不会像我写的这么复杂，但我太懒了就是不想多开循环。 class So…...

编程日记 2025/8/23 1:38:16

【Python爬虫高级技巧】深入掌握lxml库：XPath解析/HTML处理/性能优化全攻略｜附企业级实战案例

作为Python生态中最快的HTML/XML解析库，lxml凭借其C语言级别的性能表现，成为爬虫和数据处理的利器。但很多开发者仅停留在基础用法，未能充分发挥其潜力。唐叔将通过本期带你深入剖析lxml的奥秘。文章目录一、lxml架构设计揭秘1.1 Cython混合…...

编程日记 2025/8/22 13:11:49

ABAP 新语法 - corresponding

在 ABAP 中，CORRESPONDING 操作符用于根据字段名称自动映射结构体（Structure）或内表（Internal Table）的字段值。它比传统的 MOVE-CORRESPONDING 语句更灵活，支持更多控制选项。基础用法 data: begin of …...

编程日记 2025/8/22 7:00:39

基于高云fpga实现的fir串行滤波器

大家好，随着国产芯片的崛起，本文将专注于使用国产fpga芯片----高云fpga实现串行fir滤波器的项目 1.fir滤波器简介设计一个频域滤波器（将想要保留的频率段赋值为1，其他频率段赋值为0），将其与含噪声信号的…...

编程日记 2025/8/19 4:15:52

Spring 中的 BeanFactory 和 ApplicationContext

在 Spring 中，BeanFactory 和 ApplicationContext 都是 IOC 容器的实现接口，负责管理 Bean 的生命周期和依赖注入。但它们之间确实有一些关键区别。 🔍 一、什么是 BeanFactory？ BeanFactory 是 Spring 最基础的 IOC 容器接口&am…...

编程日记 2025/8/23 2:08:29

木里风景文化|基于Java＋vue的木里风景文化管理平台的设计与实现(源码+数据库+文档)

木里风景文化管理平台目录基于SSM＋vue的木里风景文化管理平台的设计与实现一、前言二、系统设计三、系统功能设计 1 系统功能模块 2 管理员功能模块 3 用户功能模块四、数据库设计五、核心代码六、论文参考七、最新计算机毕设选题推荐八、源…...

编程日记 2025/8/21 19:54:43

国内 windows powershell 安装 scoop

目录 Win10 Terminal Powershell 安装 scoop 失败1. 网络问题2. 报错 Win10 Terminal Powershell 安装 scoop 失败 1. 网络问题将通常使用的 get.scoop.sh 改为 scoop.201704.xyz (使用scoop国内镜像优化库) 2. 报错 Running the installer as administrator is disabled b…...

编程日记 2025/8/21 16:18:39

【Linux】iptables命令的基本使用

语法格式 iptables [-t 表名] 管理选项 [链名] [条件匹配] [-j 目标动作或跳转]注意事项不指定表名时，默认使用 filter 表不指定链名时，默认表示该表内所有链除非设置规则链的缺省策略，否则需要指定匹配条件设置规则内容 -A&#xff1a…...

编程日记 2025/8/21 15:19:45

ROS2笔记-2：第一个在Gazebo中能动的例子

第一个在Gazebo中能动的例子写在前面X-windows 与cursorSimple ROS2 RobotProject StructureFeaturesDependenciesInstallationUsageRobot DescriptionMovement PatternCustomization 解释运行的效果启动控制机器人移动代码写在前面第一个在Gazebo中能动的例子是指对我来…...

编程日记 2025/8/23 1:24:50

剑指Offer（数据结构与算法面试题精讲）C++版——day6

剑指Offer（数据结构与算法面试题精讲）C版——day6 题目一：不含重复字符的最长子字符串题目二：包含所有字符的最短字符串题目三：有效的回文题目一：不含重复字符的最长子字符串这里还是可以使用前面&#x…...

编程日记 2025/8/17 22:22:33

人工智能起源：从图灵到ChatGPT

如今作诗AI的祖先是打卡机、缓慢行动的机器人和神一般的游戏引擎。 “第一台能产生自己想法”的机器问世近70年后，人类的大脑仍然没有真正的对手 1958年冬天，30岁的心理学家弗兰克罗森布拉特（Frank Rosenblatt）正从康奈尔大学前…...

编程日记 2025/8/21 13:13:58

vue2打包部署到nginx，解决路由history模式下页面空白问题

项目使用的是vue2，脚手架vue-cli 4。需求：之前项目路由使用的是hash，现在要求调整为history模式，但是整个过程非常坎坷，遇到了页面空白问题。现在就具体讲一下这个问题。首先，直接讲路由模式由hash改为…...

编程日记 2025/8/18 0:22:20

ASM磁盘组替换

1.udev绑定新磁盘 udevadm control --reload-rules udevadm trigger [rootrac1 ~]# ll /dev/asm* brw-rw---- 1 grid asmadmin 8, 64 Apr 4 13:55 /dev/asm-arc brw-rw---- 1 grid asmadmin 8, 48 Apr 4 14:04 /dev/asm-data brw-rw---- 1 grid asmadmin 8, 80 Apr 4 14:03…...

编程日记 2025/8/23 19:35:01