当前位置: 首页 > news >正文

Kimi-VL:开源多模态视觉语言模型的崭新突破

近年来,人工智能在多模态模型的领域取得了显著的进展,特别是在能够处理文本和视觉输入的模型方面。MoonshotAI团队近期开源发布了Kimi-VL模型,这一模型凭借其在视觉理解、推理和智能体任务中的优异表现,受到了广泛关注。与GPT-4o等大型模型相比,Kimi-VL以其高效性和强大的性能脱颖而出。

图片

Kimi-VL的核心特点

  • 高效的MoE架构
    Kimi-VL采用了Mixture-of-Experts(MoE)架构,这一架构通过选择性地激活部分网络专家,使得模型在推理时仅激活2.8B个参数,而总参数量达到16B。与其他密集型大规模模型相比,MoE架构在推理时大大节省了计算资源,从而提高了运行效率。这意味着Kimi-VL不仅在处理能力上可以媲美大型模型,而且大大降低了硬件要求,适合在资源有限的设备上进行部署。

  • 支持长上下文的推理能力
    Kimi-VL的另一大亮点是其强大的长上下文处理能力。模型支持最大128K的上下文窗口,能够处理长文档、长视频以及其他复杂的多模态输入。在长视频分析、长文本推理等任务中,Kimi-VL凭借其超大的上下文处理能力,能够深入理解多轮对话、历史背景信息及复杂的场景变换。

图片

  • 高分辨率视觉编码器MoonViT
    为了更好地理解视觉输入,Kimi-VL使用了MoonViT这一原生分辨率的视觉编码器。MoonViT支持直接处理不同分辨率的图像,无需复杂的图像切分和拼接操作。借助这一编码器,Kimi-VL在图像识别、物体检测、OCR(光学字符识别)等任务中展现了出色的表现,尤其是在多模态场景中,模型能够将视觉信息与文本信息结合,实现精准的推理和理解。

图片

  • 多模态推理与智能体能力
    Kimi-VL不仅能处理单一的图像和文本输入,还能进行复杂的多模态推理。例如,模型能够理解复杂的数学公式、图像场景,甚至处理图像中包含的手写文本等信息。其在智能体任务中的表现也令人瞩目,能够处理多个复杂的多轮交互任务,模拟智能体在复杂环境中的决策过程。

  • 开源与灵活的许可协议
    与其他AI模型不同,Kimi-VL是完全开源的,且采用了MIT许可协议,意味着任何人都可以自由使用、修改和部署这个模型。它已在Hugging Face平台上发布,开源社区的开发者可以根据自己的需求,定制和优化Kimi-VL,推动模型在各个领域的广泛应用。

Kimi-VL的训练与开发过程

Kimi-VL的开发过程分为多个阶段,其中包括了海量数据的预训练和后期的多种优化阶段,确保了模型在多模态理解、推理和决策方面的强大能力。

图片

  1. 海量数据的预训练
    在Kimi-VL的预训练阶段,模型消耗了超过4.4万亿(4.4T)tokens的数据。这些数据涵盖了六大类数据源:字幕数据、图像-文本配对数据、OCR数据、知识数据、视频数据和智能体数据等。多种类型的数据为Kimi-VL提供了广泛的视觉和语言理解能力,使得它能够胜任从学术推理到视觉理解的各种任务。

  2. 联合训练与冷却阶段
    在预训练完成后,Kimi-VL进入了联合训练阶段。这一阶段通过将语言模型与视觉模型进行联合训练,使得模型能够理解跨模态的信息。同时,Kimi-VL还经历了冷却阶段,在这个阶段中,模型进一步接受了针对数学推理、知识型任务和代码生成任务的优化,从而提升了其在这些领域的表现。

  3. 长上下文激活与强化学习
    在Kimi-VL的后期训练阶段,团队通过增强学习和链式思维(CoT)技术,让模型具备了强大的长时间推理能力。尤其是在强化学习的帮助下,模型能够通过自我反馈不断提升推理精度,从而更好地完成复杂的多模态推理任务。

Kimi-VL与其他大模型的对比

尽管Kimi-VL的激活参数较小,但在多个基准测试中,它的表现超越了许多更大的模型。以下是Kimi-VL在多个任务中的表现,与其他主流多模态模型(如GPT-4o、Qwen2.5-VL、Gemma-3-12B-IT等)进行对比:

图片

  • 学术基准测试:Kimi-VL在MMMU(数学与多模态)验证集上的得分为57.0%,超越了DeepSeek-VL2(51.1%)和Llama-3.2-11B(51.1%),与Qwen2.5-VL-7B(58.6%)持平。

  • OCR任务:Kimi-VL在InfoVQA上的得分为83.2%,表现出色,超越了大多数对比模型,包括GPT-4o(80.7%)。

  • 视频理解任务:在LongVideoBench中,Kimi-VL获得了64.5的分数,在处理长视频输入时展现了优异的能力。

  • 智能体任务:在OSWorld和ScreenSpot-Pro等智能体任务中,Kimi-VL也表现突出,分别取得了8.22%和34.5%的得分,超过了许多大型对比模型。

图片

这些结果证明,Kimi-VL在性能和计算效率之间找到了一个完美的平衡,能够在保持较小规模的同时,提供强大的推理和视觉理解能力。

下载链接

OpenCSG社区:https://opencsg.com/models/AIWizards/Kimi-VL-A3B-Instruct

HF社区:https://huggingface.co/moonshotai/Kimi-VL-A3B-Instruct

相关文章:

Kimi-VL:开源多模态视觉语言模型的崭新突破

近年来,人工智能在多模态模型的领域取得了显著的进展,特别是在能够处理文本和视觉输入的模型方面。MoonshotAI团队近期开源发布了Kimi-VL模型,这一模型凭借其在视觉理解、推理和智能体任务中的优异表现,受到了广泛关注。与GPT-4o等…...

NLP专业技能2025

Linux: 熟练使用Linux操作系统,熟练使用Linux常用命令进行开发。 熟悉掌握shell脚本编程技术的使用,能够编写简单的Shell脚本并熟练使用shell脚本四剑客(find、sed、grep、awk)进行日志解析。 熟练使用Linux环境进行开…...

C++STL循环队列实现

核心概念 循环队列(Circular Queue),也称为环形队列,是一种特殊的队列数据结构。它通过将队列的首尾相连,解决了传统队列因出队操作导致的空间浪费问题(即“假溢出”),从而更高效地…...

YOLOv3实践教程:使用预训练模型进行目标检测

目录 简介环境准备获取预训练模型图像目标检测视频目标检测模型性能优化常见问题解答进阶学习路径 简介 YOLOv3(You Only Look Once version 3)是一种高效的实时目标检测算法,由Joseph Redmon和Ali Farhadi于2018年提出。与传统的目标检测…...

confluent-kafka入门教程

文章目录 官方文档与kafka-python的对比配置文档配置项 Producer代码示例Consumer代码示例 官方文档 confluent_kafka API — confluent-kafka 2.8.0 documentation Quick Start for Confluent Cloud | Confluent Documentation 与kafka-python的对比 对比维度confluent-ka…...

网络安全-Http\Https协议和Bp抓包

1. http协议,有请求必有相应, 请求协议, 响应协议; 2. 密码学加密机制及常用算法和常用名称说明: 算法 密钥 明文数据 密文; 加密算法分类和常用算法: 加密算法可以归结为三大类&#xff…...

TDengine 语言连接器(C#)

简介 TDengine.Connector 是 TDengine 提供的 C# 语言连接器。C# 开发人员可以通过它开发存取 TDengine 集群数据的 C# 应用软件。 .NET 版本兼容性 .NET Framework 4.6 及以上版本。.NET 5.0 及以上版本。 支持的平台 原生连接支持的平台和 TDengine 客户端驱动支持的平台…...

AI对百度搜索与抖音社区的影响差异?

在AIGC(生成式人工智能)快速发展的背景下,用户获取内容的方式确实变得更加直接和便捷。抖音、小红书等视频内容社区的流量下降速度可能比百度搜索更慢,这一现象可以从以下几个角度分析: 1. 内容形式的差异:…...

《ADVANCING MATHEMATICAL REASONING IN LAN- GUAGE MODELS》全文阅读

《ADVANCING MATHEMATICAL REASONING IN LAN- GUAGE MODELS: THE IMPACT OF PROBLEM-SOLVING DATA, DATA SYNTHESIS METHODS, AND TRAINING STAGES》全文阅读 提升语言模型中的数学推理能力:问题求解数据、数据合成方法及训练阶段的影响 \begin{abstract} 数学推…...

是德科技KEYSIGHT Agilent U2004A功率传感器

是德科技KEYSIGHT Agilent U2004A功率传感器 Keysight U2004A USB功率传感器的特性和规格包括: 频率范围为 9 kHz 至 6 GHz -60 至 20 dBm 的宽动态范围 内部调零功能消除了外部校准 测量速度高达 250 个读数/秒 在 PC 或其他 Agilent 仪器上显示功率测量值 频率…...

Kubernetes(K8S)内部功能总结

Kubernetes(K8S)是云技术的最核心的部分,也是构建是云原生的基石 K8S K8S,是Kubernetes的缩写,是Google开发的容器编排平台,现在由云原生计算基金会(CNCF)进行维护。 K8S&#xff…...

智谱最新模型GLM4是如何练成的

写在前面 这篇博客将基于《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》,深入剖析 GLM-4 系列在**模型架构设计、预训练、后训练(对齐)、以及关键技术创新(如长上下文处理、Agent 能力构建)**等环节的实现逻辑与设计考量,带你全面了…...

类头文件相互包含的问题

1.预编译指令: #ifndef CLASS_A_ #define CLASS_A_#include CLASS_B.h#endif 2.#pragma once 3.将类A中声明类B,并类中声明类B的指针,在类中的实现文件中包含类B的头文件。在类B中包含类A的头文件 a.h:class Bclass A {public:private:B*…...

云原生周刊:K8s 中的 GPU 共享

开源项目推荐 A2A Google 的 Agent2Agent(A2A)协议是一个开源标准,旨在促进不同框架和供应商构建的 AI 代理之间的互操作性。它允许代理通过统一的协议安全地交换信息、协同执行任务,并在多种企业平台和云环境中无缝协作。 A2A…...

(五)机器学习---决策树和随机森林

在分类问题中还有一个常用算法:就是决策树。本文将会对决策树和随机森林进行介绍。 目录 一.决策树的基本原理 (1)决策树 (2)决策树的构建过程 (3)决策树特征选择 (4&#xff0…...

DeepReaserch写的文献综述示例分享

目录 DeepReaserch提供的文献综述: 人工智能在医疗影像诊断中的研究进展综述(2015–2025) 引言 1 近十年研究进展回顾 1.1 深度学习崛起阶段(2015–2017年) 1.2 方法完善与临床初探(2018–2020年&…...

Token安全存储的几种方式

文章目录 1. EncryptedSharedPreferences示例代码 2. SQLCipher示例代码 3.使用 Android Keystore加密后存储示例代码1. 生成密钥对2. 使用 KeystoreManager 代码说明安全性建议加密后的几种存储方式1. 加密后采用 SharedPreferences存储2. 加密后采用SQLite数据库存储1. Token…...

阶段性使用总结-通义灵码

序言 前段时间用通义灵码,参加了下数字中国闽江流域的比赛。https://www.dcic-china.com/competitions/10173 最后成绩一般般,106名,大概有2000多人参加这题目,估计有一堆小号。 按照下面这个思路建模的,迭代了大概15…...

SpringBoot 与 Vue3 实现前后端互联全解析

在当前的互联网时代,前后端分离架构已经成为构建高效、可维护且易于扩展应用系统的主流方式。本文将详细介绍如何利用 SpringBoot 与 Vue3 构建一个前后端分离的项目,展示两者如何通过 RESTful API 实现无缝通信,让读者了解从环境搭建、代码实…...

Flutter 图标和按钮组件

引言 在 Flutter 应用开发中,图标和按钮是构建用户界面不可或缺的元素。图标能够以直观的图形方式传达信息,增强应用的视觉吸引力;而按钮则是用户与应用进行交互的重要途径。本文将详细介绍 Flutter 中图标和按钮组件的使用,涵盖…...

大模型平台Dify工作流高效调用Ragflow知识库,解决其原生知识库解析和检索能力不足的问题

Dify调用Ragflow知识库的详细步骤,安装详细部署在我之前文章 多图超详细:Docker安装知识库AI客服RAGFlow的详细步骤、使用教程及注意事项:。超详细:Dify大语言模型工作流开发平台的安装与使用,deepseek知识库客服等。…...

数据库的基本原则

数据库的核心原则 原子性与持久性:原子性(Atomicity)确保一个事务中的所有操作要么全部完成,要么完全不执行,不会出现部分完成的情况。持久性(Durability)则保证一旦事务提交成功,即…...

项目集管理汇报报告 (范本)

该文档适用于企业管理层、项目经理、项目团队成员以及对项目集管理感兴趣的人员。它对企业项目管理至关重要,通过全面分析 揭示了如目标达成率低、数据缺失严重、成本进度管控有风险等关键问题,为管理层提供决策依据,助力其了解项目整体状况&…...

阿里云 MSE Nacos 发布全新“安全防护”模块,简化安全配置,提升数据保护

作者:张文浩 阿里云在其微服务引擎(MSE)注册配置中心 Nacos 上正式推出全新“安全防护”功能模块,旨在帮助企业用户有效管理安全状态和降低开启安全相关功能的学习成本,提升微服务架构的安全性。首期推出的“安全防护…...

Pydantic v2 的使用

一、前言 Pydantic 是一个 Python 数据验证 和 设置管理 库,使用 Python 类型 注解。具有以下特点: 1.1 核心功能 数据验证:自动验证数据类型和约束条件类型转换:自动将输入数据转换为声明类型Schema 生成:自动生成…...

从零开始学A2A二 : A2A 协议的技术架构与实现

A2A 协议的技术架构与实现 学习目标 技术架构掌握 深入理解 A2A 协议的分层架构设计掌握各层次的功能和职责理解协议的工作原理和数据流 实现能力培养 能够搭建基本的 A2A 服务端掌握客户端开发方法实现智能体间的有效通信 架构设计理解 理解与 MCP 的本质区别掌握多智能体协…...

设计模式每日硬核训练 Day 12:装饰器模式(Decorator Pattern)完整讲解与实战应用

🔄 回顾 Day 11:适配器模式小结 在 Day 11 中,我们学习了适配器模式(Adapter Pattern): 用于将“不兼容”的接口适配为目标接口,解决新旧系统之间的桥接问题。强调“接口兼容、外部桥接”&…...

[CMake] CMakePresets.json简单使用

解决的问题 CMakePresets.json是为了解决在使用命令行编译使用CMake的项目时&#xff0c;可能会十分麻烦。如类似的参数-DCMAKE_BUILD_TYPEDebug所以有了CMakePresets.json来配置configure和build时的命令&#xff0c;然后在使用时 cmake --preset<configure-preset-name&…...

智能办公如何创建e10流程

智能办公如何创建e10流程 配置e10流程前&#xff0c;您要做的事情&#xff1a; 1、进入e10管理后台&#xff0c;创建应用&#xff0c;开放接口权限&#xff1b;2、进入e10管理后台&#xff0c;配置千里聆套件&#xff0c;配置同步人员&#xff1b;3、进入千里聆系统&#xff…...

Mac关闭sip方法

Mac关闭sip方法 导航 文章目录 Mac关闭sip方法导航完整操作流程图详细步骤 完整操作流程图 这东西是我在网上搬运下来的&#xff0c;但是我在为业务实操过程中&#xff0c;根据实操情况还是有新的注意点的 详细步骤 1.在「关于本机」-「系统报告」-「软件」;查看SIP是否开启…...

Flutter 播放利器:`media_kit` 的详细介绍与使用指南

在 Flutter 项目中实现音视频播放&#xff0c;开发者过去主要依赖如 video_player、just_audio 等第三方库&#xff0c;但这些库或多或少存在一些局限性&#xff0c;比如平台兼容性差、定制能力不足、播放格式有限等问题。 而 media_kit 是近年崛起的一款全平台音视频播放解决…...

GEO优化中的关键底座:知识图谱如何提升生成式AI的准确性与实时性?

今天&#xff0c;我将与大家分享如何通过GEO优化&#xff08;生成式人工智能优化&#xff09;和动态知识图谱&#xff0c;帮助企业提升智能化水平并实现高效的业务运营。首先&#xff0c;GEO优化利用生成式AI为企业提供内容生成、客服自动化和智能销售等服务&#xff0c;而知识…...

案例 - 登录认证:保障系统安全访问的实现

摘要&#xff1a;本文介绍了为Tlias智能学习辅助系统添加登录认证功能的过程&#xff0c;涵盖从需求分析、接口文档设计&#xff0c;到思路分析、功能开发以及最后的测试等多个关键环节&#xff0c;旨在实现只有通过登录认证的用户才能安全访问后台系统功能的目标。 关键词&am…...

Node.js Session 原理简单介绍 + 示例代码

目录 ✅ Session 原理简要说明 &#x1f9e9; 示例项目 - 使用 Node.js Express 实现简单 Session 登录 &#x1f4c1; 文件结构 &#x1f539; server.js (JavaScript) &#x1f538; index.html (HTML) ▶️ 程序运行步骤 ✅ 程序运行效果 &#x1f3af; 总结 在 We…...

C# 类型、存储和变量(C#程序是一组类型声明)

本章内容 C#程序是一组类型声明 类型是一种模板 实例化类型 数据成员和函数成员 预定义类型 用户定义类型 栈和堆 值类型和引用类型 变量 静态类型和dynamic关键字 可空类型 C#程序是一组类型声明 如果广泛地描述C和C程序源代码的特征&#xff0c;可以说C程序是一组函数和数据…...

复变函数摘记3

复变函数摘记3 5. 留数5.1 可去奇点、极点、本性奇点5.2 零点与极点的关系5.3 在无穷远点处的情形5.4 留数 5. 留数 \quad 如果函数 f ( z ) f(z) f(z) 在 z 0 z_0 z0​ 及 z 0 z_0 z0​ 的邻域内处处可导&#xff0c;那么称 f ( z ) f(z) f(z) 在点 z 0 z_0 z0​ 处解析。…...

深入定制 QSlider——实现精准点击跳转与拖拽区分

在使用 Qt 编写界面应用时,QSlider 是一个常用的滑动控件。但你可能会注意到,默认情况下点击滑轨(groove)区域时,滑块并不会直接跳到鼠标点击的位置,而是按照内部的分页步进(page step)行为响应。此外,垂直 Slider 在点击最底部时还存在 releaseEvent(或 sliderRelea…...

Summary

一、数据结构 1.1 哈希 主要是HashMap和HashSet&#xff1b;其中HashSet底层是一个HashMap属性。 // 获取HashMap元素,HashSet均不支持 map.keySet (); // Set<k> map.values (; // Collection<V> map.entrySet();//Set<Map.Entry<K,V>> for (Map.E…...

MCP Server 开发实战 | 大模型无缝对接 Grafana

前言 随着大模型的飞速发展&#xff0c;越来越多的 AI 创新颠覆了过往很多产品的使用体验。但你是否曾想过&#xff0c;在向大型语言模型提问时&#xff0c;它能否根据你的需求精准返回系统中的对应数据&#xff1f;例如&#xff0c;当用户查询 Grafana 服务时&#xff0c;模型…...

【ROS2】行为树 BehaviorTree(六):各种各样的节点

1、装饰器节点 Decorators 1)否操作 Inverter 如果子项失败则返回 SUCCESS,如果子项成功则返回 FAILURE。 如果子节点返回 RUNNING,则该节点也返回 RUNNING。 2)强制成功 ForceSuccess 如果子节点返回 RUNNING,则该节点也返回 RUNNING。 否则,它总是返回 SUCCESS。 3)…...

Docker Swarm 集群使用指南概述

概述 对于简单轻量级集群管理&#xff0c;利用 Docker Swarm 就够用了&#xff0c;适合中小型应用程序的容器编排。如果是比较重的中心化集群管理方案或需要更复杂的功能&#xff0c;可以考虑使用 Kubernetes Helm Consul 等更强大的容器编排工具。 Docker Swarm 1. Docke…...

【行业树选择器组件:基于Vue3与Element Plus的高性能树形选择组件优化与重构】

行业树选择器组件&#xff1a;基于Vue3与Element Plus的高性能树形选择组件优化与重构 组件概述与背景 行业树选择器是一个基于Element Plus的ElTreeSelect封装的业务组件&#xff0c;主要应用于能源管理系统中&#xff0c;用于展示和选择国标行业分类体系的四级层级结构。该…...

PasteForm框架开发之Entity多级嵌套的表单的实现

你相信么,使用PasteForm框架开发&#xff0c;管理端居然不要写代码&#xff01;&#xff01;&#xff01; 一起来看看PasteForm是否支持多级表模式(外表) 需求假设 假如有这么一个需求&#xff0c;就是订单表&#xff0c;包含了多级的信息&#xff0c;比如这个订单包含了哪些…...

Anaconda笔记

下载Anaconda 清华源 官方源 本文下载&#xff1a;Anaconda3-2024.10-1-Windows-x86_64.exe 建议不要安装到C盘&#xff0c;我的安装到D&#xff1a;Anaconda目录 设置环境变量 WinR cmd命令行输入&#xff1a; conda --version&#xff1a;可以查看到版本信息安装成功c…...

Linux——共享内存

目录 一、共享内存概念 二、共享内存的一些函数 2.1 shmget 创建共享内存 2.2 shmat 访问共享内存 2.3 shmdt 解除共享内存的映射 2.4 shnctl 删除共享内存段 三、共享内存 3.1 创建测试进程 3.2 使用循环测试 ​编辑 3.3 共享内存写入程序 3.4 带有信号量的共享内…...

计算机系统---烤机(性能测评)

计算机烤机 一、烤机的定义与核心目的 烤机&#xff08;Burn-in Test&#xff09; 是通过对计算机硬件施加持续高负载&#xff0c;模拟极端运行环境&#xff0c;以验证硬件稳定性、性能极限、散热能力及潜在缺陷的测试方法。核心目标包括&#xff1a; 硬件稳定性验证&#x…...

Linux命令+Git命令

Linux命令Git命令 linux查看两个操作系统cd命令的区别操作文件和文件夹vim不同模式保存和退出 Git linux Linux操作系统中&#xff0c;几乎所有的东西都以文件夹或文件形式存在&#xff0c;这些文件夹/文件有一个共同的根目录/。如果我们在某块磁盘A上&#xff08;无其他分区&…...

【前端】Nuxt打包部署的几种方式

一、总结知识点 Nuxt 是基于 Vue 的服务端渲染框架&#xff0c;部署方式主要取决于你使用的 Nuxt 模式&#xff1a;Universal (SSR)、SPA 或 Static Site Generation (SSG)。不同模式下的打包部署流程略有不同。以下将分别介绍 Nuxt 应用的打包和部署方式。 二、详细说明 1. …...

DP 16bit位宽数据扰码实现和仿真

DisplayPort 1.4协议中数据需进行扰码&#xff0c;扰码用到了16-bit LFSR&#xff0c;表达式如下。 LFSR每移位8个bit后&#xff0c;用最高有效 8 位以相反的位顺序与一个字节数据进行异或从而实现数据加扰/解扰。 我们已利用这个框图进行8个时钟周期迭代&#xff0c;得到了和…...

力扣每日打卡 1534. 统计好三元组 (简单)

力扣 1534. 统计好三元组 简单 前言一、题目内容二、解题方法1. 暴力解法2.官方题解2.1 方法一&#xff1a;枚举2.2 方法二&#xff1a;枚举优化 前言 这是刷算法题的第十二天&#xff0c;用到的语言是JS 题目&#xff1a;力扣 1534. 统计好三元组 (简单) 一、题目内容 给你一…...