当前位置： 首页 > news >正文

MoE架构中的专家选择门控机制：稀疏激活如何实现百倍效率突破？

news 来源：原创 2025/9/21 14:32:44

技术原理（数学公式与核心逻辑）

核心公式

门控网络输出：
G ( x ) = Softmax ( W g ⋅ x + b g ) G(x) = \text{Softmax}(W_g \cdot x + b_g) G(x)=Softmax(Wg​⋅x+bg​)
最终输出：
y = ∑ i = 1 n G i ( x ) ⋅ E i ( x ) (仅保留Top-K个非零项) y = \sum_{i=1}^n G_i(x) \cdot E_i(x) \quad \text{(仅保留Top-K个非零项)} y=i=1∑n​Gi​(x)⋅Ei​(x)(仅保留Top-K个非零项)
其中 E i E_i Ei​ 表示第i个专家网络， W g W_g Wg​ 为门控权重矩阵。

稀疏激活原理

  • Top-K选择策略：每个输入仅激活K个专家（通常K=1-4），计算量从O(N)降为O(K)
  • 负载均衡优化：通过引入辅助损失函数，避免专家资源倾斜
    案例：Google的Switch Transformer (K=1) 在相同计算成本下，模型容量提升7倍

实现方法（PyTorch实战代码）

class MoELayer(nn.Module):def __init__(self, input_dim, expert_num, expert_dim, top_k=2):super().__init__()self.experts = nn.ModuleList([nn.Linear(input_dim, expert_dim) for _ in range(expert_num)])self.gate = nn.Linear(input_dim, expert_num)self.top_k = top_kdef forward(self, x):# 计算门控权重gate_scores = F.softmax(self.gate(x), dim=-1)  # [B, expert_num]# Top-K选择topk_vals, topk_indices = torch.topk(gate_scores, k=self.top_k, dim=-1)mask = torch.zeros_like(gate_scores).scatter_(-1, topk_indices, 1)# 稀疏组合专家输出expert_outputs = torch.stack([e(x) for e in self.experts], dim=1)  # [B, E, D]weighted_output = (expert_outputs * mask.unsqueeze(-1)).sum(dim=1)return weighted_output# 使用示例
moe = MoELayer(input_dim=768, expert_num=8, expert_dim=1024)

应用案例（行业解决方案）

领域应用场景效果指标
NLPSwitch Transformer同等计算成本下训练速度提升7倍，1.6T参数模型推理延迟仅增加15%
推荐系统阿里妈妈CTR预估模型点击率提升3.2%，服务端计算成本降低40%
CVEfficientNet-MoEImageNet Top-1准确率81.7%，参数量减少30%

优化技巧（工程实践）

超参数调优

  1. 专家数量：根据任务复杂度动态调整（通常4-128个）
  2. Top-K值：推荐从K=2开始实验，平衡效率与性能
  3. 负载均衡系数： λ \lambda λ 在0.01-0.1区间调节

工程实践

# 负载均衡损失函数（关键实现）
def load_balance_loss(gate_scores, topk_indices):expert_usage = torch.mean((gate_scores > 0).float(), dim=0)return torch.std(expert_usage)  # 最小化专家使用方差# 分布式专家并行（PyTorch实现）
class DistributedMoE(MoELayer):def __init__(self, ...):super().__init__(...)self.experts = nn.ModuleList([RemoteExpert(device=f'cuda:{i%8}') for i in range(expert_num)])

前沿进展（2023-2024）

突破性论文

  1. DeepSeek-MoE (2024)：提出细粒度专家分割，146B参数模型仅激活16B参数/Token
  2. DBRX (Databricks)：混合专家系统在代码生成任务上超越GPT-3.5，推理速度提升5倍
  3. Sparse Upcycling (Google)：将稠密模型转化为MoE架构，训练成本降低80%

开源项目推荐

  1. FastMoE (DeepSpeed)：支持PyTorch的分布式MoE训练框架
  2. Tutel (Microsoft)：MoE动态路由优化库，吞吐量提升40%
  3. OpenMoE：基于LLAMA架构的社区开源项目，支持16-256专家灵活配置

扩展思考：当处理长文本输入时，如何设计动态K值选择策略？最新研究（如MoE-Infinity）提出基于输入复杂度的自适应K值算法，在段落级文本处理中可进一步降低20%计算开销。

相关文章：

MoE架构中的专家选择门控机制：稀疏激活如何实现百倍效率突破？

技术原理（数学公式与核心逻辑） 核心公式 门控网络输出： G ( x ) Softmax ( W g ⋅ x b g ) G(x) \text{Softmax}(W_g \cdot x b_g) G(x)Softmax(Wg​⋅xbg​) 最终输出： y ∑ i 1 n G i ( x ) ⋅ E i ( x ) (仅保留Top-…...

编程日记 2025/9/21 14:32:44

用python写一个聊天室程序

下面是一个简单的基于Socket的Python聊天室程序示例，包括服务器端和客户端： 服务器端代码： import socket import threadingdef handle_client(client, address):print(f"New connection from {address}")while True:msg client…...

编程日记 2025/9/19 19:17:58

七星棋牌全开源修复版源码解析：6端兼容，200种玩法全面支持

本篇文章将详细讲解 七星棋牌修复版源码 的 技术架构、功能实现、二次开发思路、搭建教程 等内容，助您快速掌握该棋牌系统的开发技巧。 1. 七星棋牌源码概述 七星棋牌修复版源码是一款高度自由的 开源棋牌项目，该版本修复了原版中的多个 系统漏洞&#…...

编程日记 2025/9/13 4:14:18

Vulhub靶机 ActiveMQ任意 文件写入（CVE-2016-3088）（渗透测试详解）

一、开启vulhub环境 docker-compose up -d 启动 docker ps 查看开放的端口 漏洞版本：ActiveMQ在5.14.0之前的版本（不包括5.14.0） 二、访问靶机IP 8161端口 默认账户密码都是admin 1、利用bp抓包，修改为PUT方法并在fileserver…...

编程日记 2025/9/20 4:48:58

Cloud: aws:network: limit 含有pps这种限制

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/troubleshooting-ena.html#statistics-ena 这个是调查网络问题的一个网页； 在里面，竟然含有pps这种限制：ethtool -S；其实是比较苛刻的安全相关的策略？ [ec2-user ~]$ ethtool -S ethN NIC statistics:tx_timeout: …...

编程日记 2025/9/21 14:28:45

28、深度学习-自学之路-NLP自然语言处理-做一个完形填空，让机器学习更多的内容程序展示

import sys,random,math from collections import Counter import numpy as npnp.random.seed(1) random.seed(1) f open(reviews.txt) raw_reviews f.readlines() f.close()tokens list(map(lambda x:(x.split(" ")),raw_reviews))#wordcnt Counter() 这行代码的…...

编程日记 2025/9/21 14:30:33

观察者模式说明(C语言版本)

观察者模式主要是为了实现一种一对多的依赖关系，让多个观察者对象同时监听某一个主题对象。这个主题对象在状态发生变化时，会通知所有观察者对象，使它们能够自动更新自己。下面使用C语言实现了一个具体的应用示例，有需要的可以参考…...

编程日记 2025/9/21 14:30:32

LC-搜索二维矩阵II、相交链表、反转链表、回文链表、环形链表、环形链表ll

搜索二维矩阵II 方法：从右上角开始搜索 我们可以从矩阵的右上角开始进行搜索。如果当前元素 matrix[i][j] 等于 target，我们直接返回 true。如果 matrix[i][j] 大于 target，说明 target 只能出现在左边的列，所以我们将列指针向左…...

编程日记 2025/9/19 17:50:36

如何查看 Linux 服务器的 MAC 地址：深入解析与实践指南

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...

编程日记 2025/9/21 14:29:00

国产FPGA开发板选择

FPGA开发板是学习和开发FPGA的重要工具，选择合适的开发板对学习效果和开发效率至关重要。随着国产FPGA的发展，淘宝上的许多FPGA开发板店铺也开始进行国产FPGA的设计和销售，本文将对国产FPGA和相关店铺做个简单梳理，帮助有需要使用…...

编程日记 2025/9/13 3:15:05

iOS 获取设备占用内存

获取应用占用内存 获取应用进程占用内存 - (NSUInteger)memoryUsage {task_vm_info_data_t vmInfo;mach_msg_type_number_t count TASK_VM_INFO_COUNT;kern_return_t result task_info(mach_task_self(), TASK_VM_INFO, (task_info_t)&vmInfo, &count);if (result …...

编程日记 2025/9/21 14:29:01

用自己的数据训练yolov11目标检测

文章目录 概要理论知识整体架构流程架构优化多任务支持多参数体量 操作实操环境配置数据准备数据标注数据放置路径 训练预测 概要 官网：https://github.com/ultralytics/ultralytics?tabreadme-ov-file 提示：以 停车场空位检测 公开数据集示例&#x…...

编程日记 2025/9/14 16:34:30

golang如何将结构体和函数进行绑定？

在Go语言中，结构体和函数的绑定通常通过方法（method）来实现。方法是一种特殊的函数，它与某个类型关联，特别是结构体类型。下面是如何将结构体和函数进行绑定的具体步骤： 定义结构体：首先需要定义…...

编程日记 2025/9/21 2:55:27

【苍穹外卖】学习

软件开发整体介绍 作为一名软件开发工程师,我们需要了解在软件开发过程中的开发流程， 以及软件开发过程中涉及到的岗位角色，角色的分工、职责， 并了解软件开发中涉及到的三种软件环境。那么这一小节，我们将从 软件开发流程、角色…...

编程日记 2025/9/19 4:39:36

架构——LVS负载均衡主要模式及其原理、服务水平、优缺点

LVS（Linux Virtual Server）是一款高性能的开源负载均衡软件，支持多种负载均衡模式。以下是其主要模式及其原理、服务水平、优缺点： 1. NAT 模式（Network Address Translation） 原理： 请求流程…...

编程日记 2025/9/20 20:28:17

DFS算法篇：理解递归，熟悉递归，成为递归

1.DFS原理 那么dfs就是大家熟知的一个深度优先搜索，那么听起来很高大尚的一个名字，但是实际上dfs的本质就是一个递归，而且是一个带路径的递归，那么递归大家一定很熟悉了，大学c语言课程里面就介绍过递归，我…...

编程日记 2025/9/13 3:14:54

让编程变成一种享受-明基RD320U显示器

引言 作为一名有着多年JAVA开发经验的从业者，在工作过程中，显示器的重要性不言而喻。它不仅是我们与代码交互的窗口，更是影响工作效率和体验的关键因素。在多年的编程生涯中，我遇到过各种各样的问题。比如，在进行代码…...

编程日记 2025/9/16 8:15:59

C语言简单练习题

文章目录 练习题一、计算n的阶乘bool类型 二、计算1!2!3!...10!三、计算数组arr中的元素个数二分法查找 四、动态打印字符Sleep()ms延时函数system("cls")清屏函数 五、模拟用户登录strcmp()函数 六、猜数字小游戏产生一个随机数randsrandRAND_MAX时间戳time() 示例 …...

编程日记 2025/9/18 15:48:04

基于Python的深度学习音乐推荐系统（有配套论文）

音乐推荐系统 提供实时音乐推荐功能，根据用户行为和偏好动态调整推荐内容 Python、Django、深度学习、卷积神经网络 、算法 数据库：MySQL 系统包含角色：管理员、用户 管理员功能：用户管理、系统设置、音乐管理、音乐推荐管理、系…...

编程日记 2025/9/13 3:14:49

Java：单例模式（Singleton Pattern）及实现方式

一、单例模式的概念 单例模式是一种创建型设计模式，确保一个类只有一个实例，并提供一个全局访问点来访问该实例，是 Java 中最简单的设计模式之一。该模式常用于需要全局唯一实例的场景，例如日志记录器、配置管理、线程池、数据库…...

编程日记 2025/9/20 1:17:56

解锁养生秘籍，拥抱健康生活

在这个快节奏的时代，人们行色匆匆，常常在忙碌中忽略了健康。其实，养生并非遥不可及，它就藏在生活的细微之处，等待我们去发现和实践。 规律作息是健康的基础。日出而作，日落而息，顺应自然规律&am…...

编程日记 2025/9/21 12:50:43

数据结构之堆（Heap）

数据结构之堆（Heap） 数据结构之堆（Heap）一、堆的核心概念1. 定义与性质2. 存储方式 二、核心操作与算法1. 操作复杂度概览2. 关键操作详解(1) 向上调整（Sift Up）(2) 向下调整（Sift Down&#xf…...

编程日记 2025/9/18 17:23:48

人工智能 - 机器学习、深度学习、强化学习是人工智能领域的理论基础和方法论

机器学习、深度学习、强化学习是人工智能领域的三大核心方向，各自具有独特的理论基础和方法论。以下是它们的核心理论知识总结： 一、机器学习（Machine Learning, ML） 1. 基础概念 目标：通过数据驱动的方式，让机器从经验中学习规律，完成预测、分类或决策任务。 核心范式…...

编程日记 2025/9/20 5:15:12

github上文件过大无法推送问题

GitHub 对文件大小有限制，超过 100 MB 的文件无法直接推送到仓库中。 解决思路： 使用 Git Large File Storage (Git LFS) 来管理大文件不上传对应的大文件 使用Git LFS： 1. 安装 Git LFS 首先，你需要安装 Git LFS。可以按照以…...

编程日记 2025/9/13 6:30:23

Elasticsearch：将 Ollama 与推理 API 结合使用

作者：来自 Elastic Jeffrey Rengifo Ollama API 与 OpenAI API 兼容，因此将 Ollama 与 Elasticsearch 集成非常容易。 在本文中，我们将学习如何使用 Ollama 将本地模型连接到 Elasticsearch 推理模型，然后使用 Playground 向文档提…...

编程日记 2025/9/21 11:41:54

【Linux】详谈 进程控制

目录 一、进程是什么 二、task_struct 三、查看进程 四、创建进程 4.1 fork函数的认识 4.2 2. fork函数的返回值 五、进程终止 5.1. 进程退出的场景 5.2. 进程常见的退出方法 5.2.1 从main返回 5.2.1.1 错误码 5.2.2 exit函数 5.2.3 _exit函数 5.2.4 缓冲区问题补…...

编程日记 2025/9/19 10:20:26

构建高效智能对话前端：基于Ant Design X 的deepseek对话应用

文章目录 实现的效果前言Ant Design X添加欢迎组件创建对话气泡存储对话历史渲染对话气泡 输入组件WebSocket 连接总结 实现的效果 待机页面： 等待页面： 完成页面： 前言 随着人工智能技术的飞速发展，大模型对话系统已成为…...

编程日记 2025/9/18 22:57:03

WordPress“更新失败，响应不是有效的JSON响应”问题的修复

在使用WordPress搭建网站时，许多人在编辑或更新文章时，可能会遇到一个提示框，显示“更新失败，响应不是有效的JSON响应”。这个提示信息对于不了解技术细节的用户来说，太难懂。其实，这个问题并不复杂&#x…...

编程日记 2025/9/20 5:28:43

华为交换机trunk简介配置

目录 一、Trunk 口简介二、Trunk 口配置案例及命令（一）组网需求（二）配置步骤（三）验证配置 三、注意事项 一、Trunk 口简介 Trunk 口是交换机中一种重要的端口类型，主要用于连接交换机与交换机、…...

编程日记 2025/9/18 14:49:50

DeepSeek从入门到精通（清华大学）

​ DeepSeek是一款融合自然语言处理与深度学习技术的全能型AI助手，具备知识问答、数据分析、编程辅助、创意生成等多项核心能力。作为多模态智能系统，它不仅支持文本交互，还可处理文件、图像、代码等多种格式输入，其知识库更新至2…...

编程日记 2025/9/13 6:30:12

【SpringBoot3】面向切面 AspectJ AOP 使用详解

文章目录 一、AspectJ介绍二、简单使用步骤 1、引入依赖2、定义一个Aspect3、开启AOP支持 三、AOP 核心概念四、切点（Pointcut） 1. execution2. within3. this & target4. args & args5. within & target & annotation 五、通知&#xf…...

编程日记 2025/9/20 6:28:39

容器运行常见数据库

一.涉及镜像压缩包 均为amd架构版本：mysql:5.7.42、postgres:13.16、dm8:20250206_rev257733_x86_rh6_64、oceanbase-ce:v4.0、opengauss:5.0.2 通过网盘分享的文件：db.tgz 链接: https://pan.baidu.com/s/1EBbFPZj1FxCA4_GxjVunWg?pwd563s 提取码: 5…...

编程日记 2025/9/13 6:30:08

OpenGL ES学习大纲

如果您想从头学习 OpenGL ES，以下是一个详细的学习大纲，涵盖了从基础到高级的知识点，循序渐进地帮助您掌握 OpenGL ES 的核心概念、API 使用、渲染管线、着色器编程、性能优化等内容。 1. 学习前的准备 1.1 基础知识 在学习 OpenGL ES 之前，您需要掌握以下基础知识： 数学…...

编程日记 2025/9/21 12:00:22

Kotlin 优雅的接口实现

1. 日常遇到的冗余的接口方法实现 日常开发中，经常会要实现接口，但是很多场景中，只需要用到其中一两个方法，例如 ActivityLifecycleCallbacks，它有很多个接口需要实现，但是很多时候我们只需要用到其中的一…...

编程日记 2025/9/20 18:27:28

数据结构实现顺序表的尾插，尾删，按值查找/修改/删除，按下标查找/增加/删除

头文件&#xff1a;head.h #ifndef __HEAD_H__ #define __HEAD_H__#include <stdio.h> #include <string.h> #include <stdlib.h> #define MAXSIZE 20enum num {success,false-1};typedef int datatype;typedef struct {int len;datatype data[MAXSIZE]; }S…...

编程日记 2025/9/16 3:37:26

qt实现文字跑马灯效果

实现跑马灯的方式多种多少样&#xff0c;可以通过定时器&#xff0c;或者animation等来实现。 本文通过定时器&#xff0c;将第一个文字&#xff0c;移动到最后一个这种方式来实现&#xff0c;还有其他方式哈。 直接上源码 h文件 #ifndef TEXTTICKER_H #define TEXTTICKER_…...

编程日记 2025/9/21 8:02:08

PyTorch Tensor 形状变化操作详解

PyTorch Tensor 形状变化操作详解 在深度学习中&#xff0c;Tensor 的形状变换是非常常见的操作。PyTorch 提供了丰富的 API 来帮助我们调整 Tensor 的形状&#xff0c;以满足模型输入、计算或数据处理的需求。本文将详细介绍 PyTorch 中常见的 Tensor 形状变换操作&#xff0…...

编程日记 2025/9/21 7:09:19

关于Node.js前端面试的试题概念、工作原理及实际应用

文章目录 1. 什么是Node.js&#xff1f;2. Node.js是如何工作的&#xff1f;3. Node.js与其他流行的框架相比有何优势&#xff1f;4. Node.js如何克服I/O操作阻塞的问题&#xff1f;5. 为什么Node.js是单线程的&#xff1f;6. 如果Node.js是单线程的&#xff0c;那么它是如何处…...

编程日记 2025/9/20 1:42:37

OpenCV机器学习（3）期望最大化（Expectation-Maximization, EM）算法cv::ml::EM

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 cv::ml::EM 是 OpenCV 机器学习模块中的一部分&#xff0c;用于实现期望最大化&#xff08;Expectation-Maximization, EM&#xff09;算法。EM …...

编程日记 2025/9/13 6:29:55

Spring Boot 集成 Kettle

Kettle 简介 Kettle 最初由 Matt Casters 开发&#xff0c;是 Pentaho 数据集成平台的一部分。它提供了一个用户友好的界面和丰富的功能集&#xff0c;使用户能够轻松地设计、执行和监控 ETL 任务。Kettle 通过其强大的功能和灵活性&#xff0c;帮助企业高效地处理大规模数据集…...

编程日记 2025/9/21 2:16:40

Debezium同步之如何同步GIS数据

Debezium 可以用于同步数据库中的变更数据（CDC），包括GIS（地理信息系统）数据。GIS 数据通常存储在具有地理空间数据类型的表中，例如 PostGIS（PostgreSQL 的扩展）中的 geometry 或 geography 类型。通过 Debezium，可以实时捕获和同步这类数据的变更。本文章简单介绍Post…...

编程日记 2025/9/13 6:29:51

Java与C语言中取模运算符%的区别对比

博客主页&#xff1a; [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: Java 文章目录 &#x1f4af;前言&#x1f4af;C语言中的取模运算符 %基本行为示例 注意事项示例&#xff1a;负数取模 &#x1f4af;Java中的取模运算符 %基本行为示例 对浮点数的支持示例&#xff1a;浮点数取模 符…...

编程日记 2025/9/18 13:21:23

如何commit后更新.gitignore实现push

目录 步骤 1: 更新 .gitignore 文件 步骤 2: 移除已追踪的大文件 步骤 3: 提交更改 步骤 4: 尝试推送 注意事项 如果已经执行了git commit&#xff0c;但后来意识到需要更新.gitignore文件以排除某些不应该被追踪的大文件或目录&#xff0c;并希望在不丢失现有提交记录的情…...

编程日记 2025/9/13 6:29:50

从MySQL迁移到PostgreSQL的完整指南

1.引言 在现代数据库管理中&#xff0c;选择合适的数据库系统对业务的成功至关重要。随着企业数据量的增长和对性能要求的提高&#xff0c;许多公司开始考虑从MySQL迁移到PostgreSQL。这一迁移的主要原因包括以下几个方面&#xff1a; 1.1 性能和扩展性 PostgreSQL以其高性能…...

编程日记 2025/9/13 6:29:48

20250214 随笔 Nginx 负载均衡在数据库中的应用

Nginx 负载均衡在数据库中的应用 在高并发环境下&#xff0c;数据库的性能往往是系统的瓶颈。为了提高数据库的吞吐能力、优化请求分配、减少单点故障&#xff0c;我们可以使用 Nginx 负载均衡 来优化数据库的访问。本文将介绍如何使用 Nginx 进行数据库负载均衡&#xff0c;以…...

编程日记 2025/9/19 14:15:49

从养殖场到科技前沿：YOLOv11+OpenCV精准计数鸡蛋与鸡

前言 谁能想到，鸡蛋和鸡的计数居然能变成一项高科技活儿？想象一下，早上去市场，卖家把鸡蛋摔得稀巴烂，结果鸡蛋滚得到处都是——难道你就得一个个捡回来数？还得小心别弄错？可是，你又不是超人！别担心，科技来帮忙！今天的主角是YOLOv11和OpenCV，它们是计算机视觉领域的…...

编程日记 2025/9/20 22:12:25

【Qt】 Data Visualization

三维数据可视化 三维柱状图三维图的创建程序截图示例代码 三维散点图三维图创建程序截图示例代码 三维曲面图三维图创建程序截图示例代码 Data Visualization 是 Qt 中的一个三维数据可视化模块&#xff0c;可用于绘制三维柱状图、三维散点图和三维曲面。与 Charts 模块类似&am…...

编程日记 2025/9/19 15:11:26

python基础语法

文章目录 字面量定义分类 注释定义分类单行注释多行注释 变量定义 数据类型类型转换定义 案例 标识符定义命名规则内容限定大小写敏感不可使用关键字 命名规范变量的命名规范 运算符数学运算符赋值运算符复合赋值运算符 定义字符串定义方式 字符串拼接语法 字符串格式化语法1字…...

编程日记 2025/9/19 15:26:20

【C++游戏开发-五子棋】

使用C开发五子棋游戏的详细实现方案&#xff0c;涵盖核心逻辑、界面设计和AI对战功能&#xff1a; 1. 项目结构 FiveChess/ ├── include/ │ ├── Board.h // 棋盘类 │ ├── Player.h // 玩家类 │ ├── AI.h // AI类 │ └── Game.h // 游戏主逻辑 ├── src/ …...

编程日记 2025/9/13 6:29:38

C/C++ | 每日一练 (2)

&#x1f4a2;欢迎来到张胤尘的技术站 &#x1f4a5;技术如江河&#xff0c;汇聚众志成。代码似星辰&#xff0c;照亮行征程。开源精神长&#xff0c;传承永不忘。携手共前行&#xff0c;未来更辉煌&#x1f4a5; 文章目录 C/C | 每日一练 (2)题目参考答案封装继承多态虚函数底…...

编程日记 2025/9/19 20:57:12