大模型能力评估数据集都有哪些?
大模型能力的评估数据集种类繁多，涵盖了语言理解、推理、生成、代码能力、安全性和鲁棒性等多个方面。以下是一些主要的评估数据集及其特点：
-
通用能力评估数据集：
- MMLU：多模态大规模多语言任务理解数据集，覆盖从基础教育到高级专业水平的57个科目，用于评估模型的知识储备和推理能力。
- CMMLU：中文版的大语言模型基准，涵盖自然科学、社会科学、人文、工程和常识等67个主题，包含11,528个问题。
- SuperGLUE：由纽约大学和谷歌联合推出，包含8个子任务，覆盖推理能力、常识问答、语言理解等。
- Big-bench：综合评估模型在分析蕴涵、因果判断、经验判断、未知逻辑和已知事实等方面的能力。
-
推理与逻辑能力评估数据集：
- MATH：包含初高中数学题目，用LaTeX编写，部分题目类似代码阅读，用于评估数学推理能力。
- GSM8K：小学数学问题数据集，包含8.5K高质量问题，用于评估数学推理运算能力。
- CE-Eval：综合基准测试，包含近14,000道问题，覆盖52个学科，用于评估中文语言模型的能力。
-
代码生成能力评估数据集：
- HumanEval：由OpenAI推出，用于评估代码生成能力，包含人类编写的代码样例。
- BBH：用于评估多语言代码生成能力。
-
行业与专业能力评估数据集：
- FinEval：金融领域的通用能力评估数据集。
- PubMedOA：医学领域的通用能力评估数据集。
- JEC-OA：学术期刊领域的能力评估数据集。
-
安全性和鲁棒性评估数据集：
- SafetyBench：针对语言模型的安全性评估。
- TOXIGEN：用于检测模型生成有害内容的能力。
-
多模态能力评估数据集：
- MMBench：视觉问答数据集，用于评估模型在视觉推理上的表现。
- LLaVA-Bench：视觉推理任务的数据集。
-
中文特定能力评估数据集：
- SuperCLUE：中文大模型的综合性评测基准，包括语言理解与生成、专业技能与知识、Agent智能体和安全性等四个象限。
- GAOKAO-Bench：基于中国高考题目的语言理解和逻辑推理能力评估框架。
-
其他重要数据集：
- GLUE：自然语言理解任务的基准测试，包括多项任务如文本分类和情感分析。
- Natural Questions和TriviaQA：用于常识理解测试。
- Pass@k：用于评估模型在特定任务上的表现。
这些数据集从不同角度全面评估了大模型的能力，包括理解、生成、推理、代码编写、安全性以及多模态处理等。通过这些数据集的评测，可以有效揭示模型的强项和弱点，为模型优化提供方向。同时，不同数据集的使用也需根据具体任务需求进行选择，以确保评测结果的准确性和全面性。
相关文章：
大模型能力评估数据集都有哪些?
大模型能力的评估数据集种类繁多，涵盖了语言理解、推理、生成、代码能力、安全性和鲁棒性等多个方面。以下是一些主要的评估数据集及其特点： 通用能力评估数据集： MMLU：多模态大规模多语言任务理解数据集，覆盖从基础教育到高级专业水平的57个科目，用于评估模型的知识储备…...
：理解概率图模型的两个要点：关于推理和学习的知识)
论文阅读(二)：理解概率图模型的两个要点：关于推理和学习的知识
1.论文链接：Essentials to Understand Probabilistic Graphical Models: A Tutorial about Inference and Learning 摘要： 本章的目的是为没有概率图形模型背景或没有深入背景的科学家提供一个高级教程。对于更熟悉这些模型的读者，本章将作为…...
《OpenCV》——图像透视转换
图像透视转换简介 在 OpenCV 里，图像透视转换属于重要的几何变换，也被叫做投影变换。下面从原理、实现步骤、相关函数和应用场景几个方面为你详细介绍。 原理 实现步骤 选取对应点：要在源图像和目标图像上分别找出至少四个对应的点。这些对…...
【16届蓝桥杯寒假刷题营】第2期DAY4
【16届蓝桥杯寒假刷题营】第2期DAY4 - 蓝桥云课 问题描述 幼儿园小班的浩楠同学有一个序列 a。 他想知道有多少个整数三元组 (i,j,k) 满足 1≤i,j,k≤n 且 aiajak。 输入格式 共2行，第一行一个整数 n，表示序列的长度。 第二行 n 个整数&#x…...
用 HTML、CSS 和 JavaScript 实现抽奖转盘效果
顺序抽奖 前言 这段代码实现了一个简单的抽奖转盘效果。页面上有一个九宫格布局的抽奖区域，周围八个格子分别放置了不同的奖品名称，中间是一个 “开始抽奖” 的按钮。点击按钮后，抽奖区域的格子会快速滚动，颜色不断变化…...
【人工智能学习笔记 一】 AI分层架构、基本概念分类与产品技术架构
新的一年2025要对AI以及LLM有个强化的学习，所以第一篇先对整体有个大概的认知，一直分不清LLM和AI的关系，在整个体系里的位置，以及AIGC是什么东西，AI AGENT类似豆包等和大语言模型的具体关系是什么，整个AI的…...
windows10 配置使用json server作为图片服务器
步骤1：在vs code中安装json server, npm i -g json-server 注意：需要安装对应版本的json server，不然可能会报错，比如： npm i -g json-server 0.16.3 步骤2：出现如下报错： json-server 不是…...
【Elasticsearch 基础入门】Centos7下Elasticsearch 7.x安装与配置（单机）
Elasticsearch系列文章目录 【Elasticsearch 基础入门】一文带你了解Elasticsearch！！！【Elasticsearch 基础入门】Centos7下Elasticsearch 7.x安装与配置（单机） 目录 Elasticsearch系列文章目录前言单机模式1. 安装 J…...
【MySQL】语言连接
语言连接 一、下载二、mysql_get_client_info1、函数2、介绍3、示例 三、其他函数1、mysql_init2、mysql_real_connect3、mysql_query4、mysql_store_result5、mysql_free_result6、mysql_num_fields7、mysql_num_rows8、mysql_fetch_fields9、mysql_fetch_row10、mysql_close …...
【零拷贝】
目录 一：了解IO基础概念 二：数据流动的层次结构 三：零拷贝 1.传统IO文件读写 2.mmap 零拷贝技术 3.sendFile 零拷贝技术 一：了解IO基础概念 理解CPU拷贝和DMA拷贝 我们知道，操作系统对于内存空间&…...
四、GPIO中断实现按键功能
4.1 GPIO简介 输入输出（I/O）是一个非常重要的概念。I/O泛指所有类型的输入输出端口，包括单向的端口如逻辑门电路的输入输出管脚和双向的GPIO端口。而GPIO（General-Purpose Input/Output）则是一个常见的术语，…...
qt-Quick3D笔记之官方例程Runtimeloader Example运行笔记
qt-Quick3D笔记之官方例程Runtimeloader Example运行笔记 文章目录 qt-Quick3D笔记之官方例程Runtimeloader Example运行笔记1.例程运行效果2.例程缩略图3.项目文件列表4.main.qml5.main.cpp6.CMakeLists.txt 1.例程运行效果 运行该项目需要自己准备一个模型文件 2.例程缩略图…...
IM 即时通讯系统-01-概览
前言 有时候希望有一个 IM 工具，比如日常聊天，或者接受报警信息。 其实主要是工作使用，如果是接收报警等场景，其实DD这种比较符合场景。 那么有没有必要再创造一个DD呢？ 答案是如果处于个人的私有化使用࿰…...
二叉树——429，515，116
今天继续做关于二叉树层序遍历的相关题目，一共有三道题，思路都借鉴于最基础的二叉树的层序遍历。 LeetCode429.N叉树的层序遍历 这道题不再是二叉树了，变成了N叉树，也就是该树每一个节点的子节点数量不确定，可能为2&a…...
Baklib构建高效协同的基于云的内容中台解决方案
内容概要 随着云计算技术的飞速发展，内容管理的方式也在不断演变。企业面临着如何在数字化转型过程中高效管理和协同处理内容的新挑战。为应对这些挑战，引入基于云的内容中台解决方案显得尤为重要。 Baklib作为创新型解决方案提供商，致力于…...
MP4基础
一、什么是MP4？ MP4是一套用于音频、视频信息的压缩编码标准，由国际标准化组织（ISO）和国际电工委员会（IEC）下属的“动态图像专家组”（Moving Picture Experts Group，即MPEGÿ…...
年化18%-39.3%的策略集 | backtrader通过xtquant连接qmt实战
原创内容第785篇，专注量化投资、个人成长与财富自由。 大年初五，年很快就过完了。 其实就是本身也只是休假一周，但是我们赋予了它太多意义。 周五咱们发布发aitrader v4.1，带了backtraderctp期货的实盘接口： aitra…...
通过Redisson构建延时队列并实现注解式消费
目录 一、序言二、延迟队列实现1、Redisson延时消息监听注解和消息体2、Redisson延时消息发布器3、Redisson延时消息监听处理器 三、测试用例四、结语 一、序言 两个月前接了一个4万的私活，做一个线上商城小程序，在交易过程中不可避免的一个问题就是用户…...
RAG是否被取代（缓存增强生成-CAG）吗？
引言： 本文深入研究一种名为缓存增强生成（CAG）的新技术如何工作并减少/消除检索增强生成（RAG）弱点和瓶颈。 LLMs 可以根据输入给他的信息给出对应的输出，但是这样的工作方式很快就不能满足应用的需要: 因…...
MiniMax：人工智能领域的创新先锋
MiniMax：人工智能领域的创新先锋 在人工智能领域，MiniMax正以其强大的技术实力和创新的模型架构，成为全球关注的焦点。作为一家成立于2021年12月的通用人工智能科技公司，MiniMax专注于开发多模态、万亿参数的MoE（Mixt…...
pytorch基于GloVe实现的词嵌入
PyTorch 实现 GloVe（Global Vectors for Word Representation） 的完整代码，使用 中文语料 进行训练，包括 共现矩阵构建、模型定义、训练和测试。 1. GloVe 介绍 基于词的共现信息（不像 Word2Vec 使用滑动窗口预测&…...
Unity实现按键设置功能代码
一、前言 最近在学习unity2D，想做一个横版过关游戏，需要按键设置功能，让用户可以自定义方向键与攻击键等。 自己写了一个，总结如下。 二、界面效果图 这个是一个csv文件，准备第一列是中文按键说明，第二列…...
C++ 入门速通-第3章【黑马】
内容来源于：黑马 集成开发环境：CLion 先前学习完了C第1章的内容： C 入门速通-第1章【黑马】-CSDN博客 C 入门速通-第2章【黑马】-CSDN博客 下面继续学习第3章： 数组： 字符数组： 多维数组： …...
JavaScript 中的 CSS 与页面响应式设计
JavaScript 中的 CSS 与页面响应式设计 JavaScript 中的 CSS 与页面响应式设计1. 引言2. JavaScript 与 CSS 的基本概念2.1 CSS 的作用2.2 JavaScript 的作用3. 动态控制样式：JavaScript 修改 CSS 的方法3.1 使用 `document.styleSheets` API3.2 使用 `classList` 修改类3.3 使…...
的原理，并说明如何选择配对股票以及设计交易信号)
100.3 AI量化面试题：解释配对交易(Pairs Trading)的原理，并说明如何选择配对股票以及设计交易信号
目录 0. 承前1. 配对交易基本原理1.1 什么是配对交易1.2 基本假设 2. 配对选择方法2.1 相关性分析2.2 协整性检验 3. 价差计算方法3.1 简单价格比率3.2 回归系数法 4. 交易信号设计4.1 标准差方法4.2 动态阈值方法 5. 风险管理5.1 止损设计5.2 仓位管理 6. 策略评估6.1 回测框架…...
[SAP ABAP] Debug Skill
SAP ABAP Debug相关资料 [SAP ABAP] DEBUG ABAP程序中的循环语句 [SAP ABAP] 静态断点的使用 [SAP ABAP] 在ABAP Debugger调试器中设置断点 [SAP ABAP] SE11 / SE16N 修改标准表(慎用)...
WSL2中安装的ubuntu开启与关闭探讨
1. PC开机后，查询wsl状态 在cmd或者powersell中输入 wsl -l -vNAME STATE VERSION * Ubuntu Stopped 22. 从windows访问WSL2 wsl -l -vNAME STATE VERSION * Ubuntu Stopped 23. 在ubuntu中打开一个工作区后…...
走向基于大语言模型的新一代推荐系统：综述与展望
HightLight 论文题目：Towards Next-Generation LLM-based Recommender Systems: A Survey and Beyond作者机构：吉林大学、香港理工大学、悉尼科技大学、Meta AI论文地址： https://arxiv.org/abs/2410.1974 基于大语言模型的下一代推荐系统&…...
【深度分析】DeepSeek 遭暴力破解，攻击 IP 均来自美国，造成影响有多大？有哪些好的防御措施？
技术铁幕下的暗战：当算力博弈演变为代码战争 一场针对中国AI独角兽的全球首例国家级密码爆破，揭开了数字时代技术博弈的残酷真相。DeepSeek服务器日志中持续跳动的美国IP地址，不仅是网络攻击的地理坐标，更是技术霸权对新兴挑战者的…...
双指针算法思想——OJ例题扩展算法解析思路
大家好！上一期我发布了关于双指针的OJ平台上的典型例题思路解析，基于上一期的内容，我们这一期从其中内容扩展出来相似例题进行剖析和运用，一起来试一下吧！ 目录 一、 基于移动零的举一反三 题一：27. 移除…...
：认识进程（下）)
初始Linux(7)：认识进程（下）
1. 进程优先级 cpu 资源分配的先后顺序，就是指进程的优先权（ priority ）。 优先权高的进程有优先执行权利。配置进程优先权对多任务环境的 linux 很有用，可以改善系统性能。 还可以把进程运行到指定的CPU 上，这样一来…...
人工智能第2章-知识点与学习笔记
结合教材2.1节，阐述什么是知识、知识的特性,以及知识的表示。人工智能最早应用的两种逻辑是什么？阐述你对这两种逻辑表示的内涵理解。什么谓词，什么是谓词逻辑，什么是谓词公式。谈谈你对谓词逻辑中的量词的理解。阐述谓词公式的解…...
Kotlin 协程 与 Java 虚拟线程对比测试（娱乐性质，请勿严谨看待本次测试）
起因 昨天在群里聊到虚拟线程的执行效率问题的时候虽然最后的结论是虚拟线程在针对IO密集型任务时具有很大的优势。但是讨论到虚拟线程和Kotlin 的协程的优势对比的话，这时候所有人都沉默了。所以有了本次的测试 提前声明：本次测试是不严谨的࿰…...
C++中的拷贝构造器（Copy Constructor）
在C中，拷贝构造器（Copy Constructor）是一种特殊的构造函数，用于创建一个新对象，该对象是另一个同类型对象的副本。当使用一个已存在的对象来初始化一个新对象时，拷贝构造器会被调用。 拷贝构造器的定义 拷…...
Spring Boot项目如何使用MyBatis实现分页查询
写在前面：大家好！我是晴空๓。如果博客中有不足或者的错误的地方欢迎在评论区或者私信我指正，感谢大家的不吝赐教。我的唯一博客更新地址是：https://ac-fun.blog.csdn.net/。非常感谢大家的支持。一起加油，冲鸭&#x…...
独立开发经验谈：如何借助 AI 辅助产品 UI 设计
我在业余时间开发了一款自己的独立产品：升讯威在线客服与营销系统。陆陆续续开发了几年，从一开始的偶有用户尝试，到如今线上环境和私有化部署均有了越来越多的稳定用户，在这个过程中，我也积累了不少如何开发运营一款独…...
笔灵ai写作技术浅析（三）：深度学习
笔灵AI写作的深度学习技术主要基于Transformer架构，尤其是GPT（Generative Pre-trained Transformer）系列模型。 1. Transformer架构 Transformer架构由Vaswani等人在2017年提出，是GPT系列模型的基础。它摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），完全依赖自…...
https数字签名手动验签
以bing.com 为例 1. CA 层级的基本概念 CA 层级是一种树状结构，由多个层级的 CA 组成。每个 CA 负责为其下一层级的实体（如子 CA 或终端实体）颁发证书。层级结构的顶端是 根 CA（Root CA），它是整个 PKI 体…...
为什么LabVIEW适合软硬件结合的项目？
LabVIEW是一种基于图形化编程的开发平台，广泛应用于软硬件结合的项目中。其强大的硬件接口支持、实时数据采集能力、并行处理能力和直观的用户界面，使得它成为工业控制、仪器仪表、自动化测试等领域中软硬件系统集成的理想选择。LabVIEW的设计哲学强调模…...
C# 操作符重载对象详解
.NET学习资料 .NET学习资料 .NET学习资料 一、操作符重载的概念 在 C# 中，操作符重载允许我们为自定义的类或结构体定义操作符的行为。通常，我们熟悉的操作符，如加法（）、减法（-）、乘法&#…...
git：恢复纯版本库
初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的，可以在任何平台上使用。 源码指引：github源…...
java异常处理——try catch finally
单个异常处理 1.当try里的代码发生了catch里指定类型的异常之后，才会执行catch里的代码，程序正常执行到结尾 2.如果try里的代码发生了非catch指定类型的异常，则会强制停止程序，报错 3.finally修饰的代码一定会执行，除…...
【架构面试】二、消息队列和MySQL和Redis
MQ MQ消息中间件 问题引出与MQ作用 常见面试问题：面试官常针对项目中使用MQ技术的候选人提问，如如何确保消息不丢失，该问题可考察候选人技术能力。MQ应用场景及作用：以京东系统下单扣减京豆为例，MQ用于交易服和京豆服…...
A4988一款常用的步进电机驱动芯片
A4988 是一款常用的步进电机驱动芯片，广泛应用于 3D 打印机、CNC 机床和小型自动化设备中。它可以驱动多种类型的步进电机，但需要根据电机的参数（如电压、电流、相数等）进行合理配置。 一、A4988 的主要特性 驱动能力：…...
TypeScript语言的语法糖
TypeScript语言的语法糖 TypeScript作为一种由微软开发的开源编程语言，它在JavaScript的基础上添加了一些强类型的特性，使得开发者能够更好地进行大型应用程序的构建和维护。在TypeScript中，不仅包含了静态类型、接口、枚举等强大的特性&…...
A星算法两元障碍物矩阵转化为rrt算法四元障碍物矩阵
对于a星算法obstacle所表示的障碍物障碍物信息，每行表示一个障碍物的坐标，例如2 , 3; % 第一个障碍物在第二行第三列，也就是边长为1的正方形障碍物右上角横坐标是2，纵坐标为3，障碍物的宽度和高度始终为1.在rrt路径规划…...
什么情况下，C#需要手动进行资源分配和释放？什么又是非托管资源？
扩展：如何使用C#的using语句释放资源？什么是IDisposable接口？与垃圾回收有什么关系？-CSDN博客 托管资源的回收有GC自动触发，而非托管资源需要手动释放。 在 C# 中，非托管资源是指那些不由 CLR（…...
【最长上升子序列Ⅱ——树状数组，二分+DP，纯DP】
题目 代码（只给出树状数组的） #include <bits/stdc.h> using namespace std; const int N 1e510; int n, m; int a[N], b[N], f[N], tr[N]; //f[i]表示以a[i]为尾的LIS的最大长度 void init() {sort(b1, bn1);m unique(b1, bn1) - b - 1;for(in…...
day37|完全背包基础+leetcode 518.零钱兑换II ，377.组合总和II
完全背包理论基础 完全背包与01背包的不同在于01背包的不同物品每个都只可以使用一次，但是完全背包的不同物品可以使用无数次 在01背包理论基础中，为了使得物品只被使用一次，我们采取倒序遍历来控制 回顾：>> for(int j …...
【VM】VirtualBox安装ubuntu22.04虚拟机
阅读本文之前，请先根据 安装virtualbox 教程安装virtulbox虚拟机软件。 1.下载Ubuntu系统镜像 打开阿里云的镜像站点：https://developer.aliyun.com/mirror/ 找到如图所示位置，选择Ubuntu 22.04.3(destop-amd64)系统 Ubuntu 22.04.3(desto…...