当前位置： 首页 > news >正文

【阿里云大模型高级工程师ACP习题集】2.4 自动化评测答疑机器人的表现（⭐️⭐️⭐️ 重点章节！！！）

news 来源：原创 2025/6/29 9:56:21

习题集：

  1. 【单选题】在使用Ragas评估RAG应用时，Answer Correctness指标计算中，语义相似度是通过以下哪种方式得到的？（ ）
    A. 大模型直接判断
    B. 计算文本向量的余弦相似度
    C. 对比文本词汇重合度
    D. 统计文本字数差异

  2. 【多选题】当Context recall指标得分较低时，可采取的优化措施有（ ）。
    A. 检查知识库内容是否完备
    B. 更换性能更强的大模型
    C. 更换embedding模型
    D. 改写query

  3. 【单选题】在评估RAG应用检索召回效果时，Context precision指标侧重评估的是（ ）。
    A. 检索到的参考信息与问题的相关性
    B. 检索到的参考信息中与准确答案相关条目的排名和占比
    C. 有多少相关参考资料被检索到
    D. 生成的答案与检索到的参考资料的事实一致性

  4. 【多选题】以下哪些是Ragas中用于评估生成环节的指标？（ ）
    A. Answer Correctness
    B. Answer Relevancy
    C. Faithfulness
    D. Context Recall

  5. 【单选题】在计算Answer Correctness指标的事实准确度时，Ragas通过大模型将answer与ground_truth分别生成各自的观点列表，对于生成的观点，若在对方观点列表中找不到依据，会被添加到（ ）。
    A. TP列表
    B. FP列表或FN列表
    C. 仅FP列表
    D. 仅FN列表

  6. 【多选题】关于自动化测试机制，以下说法正确的有（ ）。
    A. 可以完全替代人工评估
    B. 大模型可用于检测答疑机器人的回复是否准确回答了问题
    C. 目前已有的简单测试方法能完美检测大模型的幻觉问题
    D. 可通过建立测试机制自动对一批问题进行测试

  7. 【单选题】在使用Ragas计算Context recall指标时，其计算过程中由大模型将ground_truth分解成观点列表，若ground_truth为“张伟是教研部的成员且负责大数据课程”，可能生成的观点列表是（ ）。
    A. [“张伟是教研部的成员且负责大数据课程”]
    B. [“张伟是教研部的成员”, “负责大数据课程”]
    C. [“张伟”, “教研部”, “大数据课程”]
    D. [“张伟是教研部的”, “张伟负责大数据课程”]

  8. 【多选题】在基于Ragas指标的优化策略中，当Answer correctness指标得分较低，而Context recall和Context precision分数较高时，可尝试的优化方法有（ ）。

相关文章：

【阿里云大模型高级工程师ACP习题集】2.4 自动化评测答疑机器人的表现（⭐️⭐️⭐️ 重点章节！！！）

习题集： 【单选题】在使用Ragas评估RAG应用时，Answer Correctness指标计算中，语义相似度是通过以下哪种方式得到的？（ ） A. 大模型直接判断 B. 计算文本向量的余弦相似度 C. 对比文本词汇重合度 D. 统计文本字数差异 【多选题】当Context recall指标得分较低时，可采取的优…...

编程日记 2025/6/29 9:56:21

多头注意力

Multi-Head Attention 论文地址 https://arxiv.org/pdf/1706.03762 多头注意力介绍 多头注意力是Transformer模型的关键创新，通过并行执行多个独立的注意力计算单元，使模型能够同时关注来自不同表示子空间的信息。每个注意力头学习不同的语义特征&#x…...

编程日记 2025/6/29 9:12:10

【leetcode100】目标和

1、题目描述 给你一个非负整数数组 nums 和一个整数 target 。 向数组中的每个整数前添加 或 - ，然后串联起所有整数，可以构造一个 表达式 ： 例如，nums [2, 1] ，可以在 2 之前添加 ，在 1 之前添加 - …...

编程日记 2025/6/29 9:12:58

动态哈希映射深度指南：从基础到高阶实现与优化

哈希表是计算机科学中最高效的数据结构之一，而动态哈希映射通过智能扩容机制，在实时系统中展现出极强的适应性。本文将深入探讨其实现细节，结合主流框架源码解析，并给出可落地的性能优化方案。 一、动态哈希的数学本质 1. 哈希函…...

编程日记 2025/6/29 11:32:56

leetcode 2799. 统计完全子数组的数目 中等

给你一个由 正 整数组成的数组 nums 。 如果数组中的某个子数组满足下述条件，则称之为 完全子数组 ： 子数组中 不同 元素的数目等于整个数组不同元素的数目。 返回数组中 完全子数组 的数目。 子数组 是数组中的一个连续非空序列。 示例 1&#xff…...

编程日记 2025/6/29 9:12:20

使用RabbitMQ实现判题功能

这次主要选用RabbitMQ消息队列来对判题服务和题目服务解耦，题目服务只需要向消息队列发送消息，判题服务从消息队列中取信息去执行判题，然后异步更新数据库即可。 五一宝宝请快点跑~~~~~ 先回顾一下RabbitMQ （1）引入依…...

编程日记 2025/6/29 12:06:42

无过拟合的记忆：分析大语言模型的训练动态

Kushal Tirumala⇤ Aram H. Markosyan⇤ Luke Zettlemoyer Armen Aghajanyan Meta AI 研究 {ktirumala,amarkos,lsz,armenag}fb.com 原文链接：[2210.09262] Physics-Driven Convolutional Autoencoder Approach for CFD Data Compressions 摘要 尽管超大语言模型…...

编程日记 2025/6/29 10:43:37

【Java面试笔记：进阶】16.synchronized底层如何实现？什么是锁的升级、降级？

在 Java 中，synchronized 关键字的底层实现依赖于 对象头（Object Header） 和 监视器锁（Monitor） 机制，并通过 锁的状态升级（Lock Escalation） 来优化同步性能。 1. synchronized 的底层实现 synchronized 的同步机制基于 Monitor 对象，它是同步的基本实现单元。 通过…...

编程日记 2025/6/29 9:14:07

python可视化：北方城市人口流动趋势分析1

python可视化：北方城市人口流动趋势分析1 斑点鱼在做销售数据分析时发现北京天津的同比下滑明显，客流下滑明显。而山东保定的客流同比上升。引起了斑点鱼对于北方人口流动的好奇。 所以本文将分析2025年北方地区(北京、天津、河北、山东、山西、辽宁等)…...

编程日记 2025/6/29 9:12:06

wps excel 常用操作

数据分列 对于有分隔规律的内容，可以通过分隔符将该内容进行分列 例如，以下字符串，可使用Excel对包含IP地址、数据库类型、环境、负责人和日期的字符串进行分列： 192.168.175.211-MySQL 数据库-DEV-李华-2025.06.30 将以上字符串…...

编程日记 2025/6/29 9:11:57

云智融合普惠大模型AI，政务服务重构数智化路径

2025年是“十四五”收官之年，数字政府和政务数智化作为“数字中国”建设的重点，已经取得了显著成效。根据《联合国电子政务调查报告2024》，我国电子政务发展指数全球排名第35位，与2022年相比提升8个名次；其中&#xff…...

编程日记 2025/6/29 9:12:12

全行业软件定制：APP/小程序/系统开发与物联网解决方案

在数字化浪潮席卷全球的今天，软件已经渗透到我们生活的方方面面，成为推动社会进步的重要力量。作为一家专注于专业软件定制开发的公司，哲科软件深知每一个行业、每一个企业都有其独特的需求和痛点。因此，我们致力于提供个性化软件…...

编程日记 2025/6/29 11:31:55

Java虚拟机（JVM）家族发展史及版本对比

Java虚拟机（JVM）家族发展史及版本对比 一、JVM家族发展史 1. 早期阶段（1996-2000） Classic VM（Java 1.0-1.1）： 厂商：Sun Microsystems（Oracle前身）。特点&…...

编程日记 2025/6/29 9:12:03

电脑怎么强制退出程序回到桌面 详细操作步骤

电脑日常使用过程中，我们有时会遇到程序无响应或卡死的情况，这时需要采取措施强制关闭这些程序才能保持电脑的正常工作和运行。那么，电脑如何强制退出程序呢？其实方法有很多种，下面便为大家介绍几种电脑强制关闭程序的…...

编程日记 2025/6/29 10:16:54

蓝牙 LE：安全模式和程序说明（蓝牙中的网络安全）

在蓝牙低功耗 (BLE) 中，安全性是一个多方面的难题。了解 BLE 的三种主要安全模式以及五个关键的 BLE 安全程序。 毫无疑问，低功耗蓝牙 (BLE) 技术的迅猛发展为我们的生活带来了更多便利。然而，随着低功耗蓝牙设备的普及，人们对其安全性的担忧也日益加剧。 与普遍看法相反…...

编程日记 2025/6/29 9:12:07

低代码平台开发胎压监测APP

项目介绍 该项目是一个利用Flutter框架和蓝牙技术实现轮胎压力实时监测的应用。 主要功能如下： 用于接收蓝牙模块传输的胎压数据，并实时显示胎压值。APP对接收到的胎压数据进行处理，如单位转换、数据滤波等，然后将处理后的胎压值…...

编程日记 2025/6/29 11:30:42

GNOME扩展入门：日期时间

Getting Started | GNOME JavaScript 1.扩展路径 ~/.local/share/gnome-shell/extensions/ 2.新建文件夹 datetimesonichy 3.metadata.json {"uuid": "datetimesonichy","name": "datetime","description": "Dis…...

编程日记 2025/6/29 9:15:25

NLP高频面试题（五十二）——深度学习优化器详解

在深度学习的训练过程中，各种基于梯度的优化器肩负着寻找损失函数最优解的重任。最基础的梯度下降法通过沿着损失函数负梯度方向迭代更新参数，实现对模型参数的优化；而随机梯度下降（SGD）则以更高的计算效率和内存利用率在大规模数据集上大放异彩，但也因更新噪声大、易陷入…...

编程日记 2025/6/29 10:40:41

SLAM常用地图对比示例

序号地图类型概述1格栅地图将现实环境栅格化，每一个栅格用 0 和 1 分别表示空闲和占据状态，初始化为未知状态 0.52特征地图以点、线、面等几何特征来描绘周围环境，将采集的信息进行筛选和提取得到关键几何特征3拓扑地图将重要部分抽象为地图&…...

编程日记 2025/6/29 9:12:13

Web常见攻击方式及防御措施

一、常见Web攻击方式 1. 跨站脚本攻击(XSS) 攻击原理：攻击者向网页注入恶意脚本，在用户浏览器执行 存储型XSS：恶意脚本存储在服务器（如评论区） 反射型XSS：恶意脚本通过URL参数反射给用户 DOM型XSS&…...

编程日记 2025/6/29 9:12:05

java.lang.IllegalArgumentException: URI is not hierarchical报错

java.lang.IllegalArgumentException: URI is not hierarchical Thread.currentThread().getContextClassLoader("类的全路径").getClass().newInstance()一个类的静态块初始化异常了，后面调用这个类创建对象会报错吗？ 是的，如果一…...

编程日记 2025/6/29 9:13:02

118. 杨辉三角

目录 一、问题描述 二、解题思路 三、代码 四、复杂度分析 一、问题描述 给定一个非负整数 numRows，生成「杨辉三角」的前 numRows 行。 在「杨辉三角」中，每个数是它左上方和右上方的数的和。 二、解题思路 每一行的第一个和最后一个元素是 1&…...

编程日记 2025/6/29 9:12:15

Anything V4/V5 模型汇总

​​​​​​二次元风格生成扩散模型-anything-v4.0Stable Diffusion anything-v5-PrtRE模型介绍及使用深度探索 Anything V5：安装与使用全攻略anything-v5x0.25少儿插画_v1xyn-ai/anything-v4.0...

编程日记 2025/6/29 12:23:34

网络原理 - 7（TCP - 4）

目录 6. 拥塞控制 7. 延时应答 8. 捎带应答 9. 面向字节流 10. 异常情况 总结： 6. 拥塞控制 虽然 TCP 有了滑动窗口这个大杀器，就能够高效可靠的发送大量的数据，但是如果在刚开始阶段就发送大量的数据，仍然可能引起大量的…...

编程日记 2025/6/29 11:01:09

探秘 FFmpeg 版本发展时间简史

前言 FFmpeg 是一套开源的计算机程序，主要用于记录、转换数字音频、视频，并能将其转化为流。它提供了录制、转换以及流化音视频的完整解决方案，在多媒体处理领域应用广泛。很多小伙伴们想系统的学习FFmpeg，还是有必要了解下FFmpeg的版本发展历史，感受它每次的版本迭代是如…...

编程日记 2025/6/29 9:11:58

5.3.1 MvvmLight以及CommunityToolkit.Mvvm介绍

MvvmLight、CommunityToolkit.Mvvm是开源包，他们为实现 MVVM（Model-View-ViewModel）模式提供了一系列实用的特性和工具，能帮助开发者更高效地构建 WPF、UWP、MAUI 等应用程序。 本文介绍如下： 一、使用(旧)的MvvmLight库 其特点如下，要继承的基类是ViewModelBase；且使用…...

编程日记 2025/6/29 11:01:46

PCB常见封装类型

1. 电阻、电容、电感封装 2. 二极管、三极管封 3. 排阻类器件（8脚、16脚）封装 4. SO类器件（间距有1.27、2.54mm等）封装 5. QFP类器件封装（四方扁平封装） 结构：引脚分布在封装的四个侧面&#…...

编程日记 2025/6/29 10:15:02

一键多环境构建——用 Hvigor 玩转 HarmonyOS Next

引言 在 HarmonyOS Next 的应用开发中，常常需要针对不同环境（测试、预发、线上）或不同签名（调试、正式）输出多个 APP/HAP 包。虽然 HarmonyOS 提供了多目标构建（Multi-Target Build）能力&#…...

编程日记 2025/6/29 9:52:11

SQLPandas刷题(LeetCode3451.查找无效的IP地址)

描述：LeetCode3451.查找无效的IP地址 表：logs ---------------------- | Column Name | Type | ---------------------- | log_id | int | | ip | varchar | | status_code | int | ---------------------- log_id 是这张表的唯…...

编程日记 2025/6/29 10:14:17

【leetcode100】组合总和Ⅳ

1、题目描述 给你一个由 不同 整数组成的数组 nums ，和一个目标整数 target 。请你从 nums 中找出并返回总和为 target 的元素组合的个数。 题目数据保证答案符合 32 位整数范围。 示例 1： 输入：nums [1,2,3], target 4 输出&#xff1…...

编程日记 2025/6/29 12:23:29

2020-06-23 暑期学习日更计划（机器学习入门之路（资源汇总）+概率论）

机器学习入门 前言 说实话，机器学习想学好真心不易，很多时候都感觉自己学得云里雾里。以前一段时间自己为了完成毕业设计，在机器学习的理论部分并没有深究，仅仅通过TensorFlow框架力求快速实现模型。现在来看，很多时候…...

编程日记 2025/6/29 11:03:29

Linux操作系统--基础I/O(上)

目录 1.回顾C文件接口 stdin、stdout、stderr 2.系统文件I/O 3.接口介绍 4.open函数返回值 5.文件描述符fd 5.1 0&1&2 1.回顾C文件接口 hello.c写文件 #include<stdio.h> #include<string.h>int main() {FILE *fp fopen("myfile","…...

编程日记 2025/6/29 11:40:50

Spring boot 中的IOC容器对Bean的管理

Spring Boot 中 IOC 容器对 Bean 的管理&#xff0c;涵盖从容器启动到 Bean 的生命周期管理的全流程。 步骤 1&#xff1a;理解 Spring Boot 的容器启动 Spring Boot 的 IOC 容器基于 ApplicationContext&#xff0c;在应用启动时自动初始化。 入口类&#xff1a;通过 SpringB…...

编程日记 2025/6/29 11:42:28

ARINC818协议一些说明综述

关键术语 航空总线技术 光纤通道层次架构 光纤通道拓扑结构 FC-AV协议&#xff0c;架构&#xff0c;容器系统 ARINC818协议&#xff0c;容器 ADVB帧映射&#xff0c;帧格式 机载视频处理系统对视频数据进行实时处理和记录。 分辨率&#xff1a;1080p,4k,8k视频技术 FC-AV技术是…...

编程日记 2025/6/29 19:36:37

Turso：一个基于 libSQL的分布式数据库

Turso 是一个完全托管的数据库平台&#xff0c;支持在一个组织中创建高达数十万个数据库&#xff0c;并且可以复制到任何地点&#xff0c;包括你自己的服务器&#xff0c;以实现微秒级的访问延迟。你可以通过Turso CLI&#xff08;命令行界面&#xff09;管理群组、数据库和API…...

编程日记 2025/6/29 11:20:31

2025.5.4机器学习笔记：PINN文献阅读

2025.5.4周报 文献阅读题目信息摘要创新点网络架构实验结论不足以及展望 文献阅读 题目信息 题目&#xff1a; Physics-Informed Neural Network Approach for Solving the One-Dimensional Unsteady Shallow-Water Equations in Riverine Systems期刊&#xff1a; Journal o…...

编程日记 2025/6/29 10:44:40

一行命令打开iOS模拟器

要在 Mac 命令行打开 iPhone 15 Pro 模拟器&#xff0c;需满足已安装 Xcode 这一前提条件&#xff0c;以下是具体操作步骤&#xff1a; 步骤一&#xff1a;列出所有可用模拟器设备 打开终端&#xff08;Terminal&#xff09;&#xff0c;输入并执行以下命令&#xff0c;用于列…...

编程日记 2025/6/29 9:29:53

java面向对象编程【基础篇】之基础语法

目录 &#x1f680;前言&#x1f31f;构造器&#x1f4af;案例 &#x1f914;this关键字&#x1f4af;使用this调用本类中的属性&#x1f4af;使用this调用构造器&#x1f4af;this表示当前对象 &#x1f99c;封装&#x1f4af;合理隐藏&#x1f4af;合理暴露 &#x1f427;实体…...

编程日记 2025/6/29 9:11:59

跑MPS产生委外采购申请（成品）

问题&#xff1a;跑MPS产生委外采购申请&#xff08;成品&#xff09;&#xff0c;更改BOM和跑MRP&#xff0c;但物料需求清单中无新增物料复合膜的需求。截图如下&#xff1a; 解决方法&#xff1a;更改委外采购申请的批准日期为BOM的生效日和重新展开bom。 重新展开后&#x…...

编程日记 2025/6/29 9:12:01

[flutter]切换国内源（window）

如题&#xff0c;切换到国内源避免总是连不上google导致卡住的问题。 临时切换到国内&#xff1a; cmd set PUB_HOSTED_URLhttps://pub.flutter-io.cn set FLUTTER_STORAGE_BASE_URLhttps://storage.flutter-io.cnpower shell $env:PUB_HOSTED_URL "https://pub.flut…...

编程日记 2025/6/29 9:12:00

学习海康VisionMaster之顶点检测

一&#xff1a;进一步学习了 今天学习下VisionMaster中的顶点检测&#xff1a;可检测图像指定区域内的顶点&#xff0c;并输出顶点坐标等信息。该模块常用于检测目标物体的顶点 二&#xff1a;开始学习 1&#xff1a;什么是顶点检测&#xff1f; 一个不是很规则的物体需要检测…...

编程日记 2025/6/29 9:12:04

Vue2中常用的核心函数（选项和生命周期钩子）的完整示例及总结

以下是Vue2中常用的核心函数&#xff08;选项和生命周期钩子&#xff09;的完整示例及总结&#xff1a; 1. 实例选项函数 data 初始化组件数据 new Vue({el: #app,data() {return {message: Hello Vue!};} });methods 定义组件方法 new Vue({el: #app,data() {return { c…...

编程日记 2025/6/29 9:12:14

数据集-目标检测系列- F35 战斗机 检测数据集 F35 plane ＞＞ DataBall

数据集-目标检测系列- F35 战斗机 检测数据集 F35 plane >> DataBall DataBall 助力快速掌握数据集的信息和使用方式。 贵在坚持&#xff01; * 相关项目 1&#xff09;数据集可视化项目&#xff1a;gitcode: https://gitcode.com/DataBall/DataBall-detections-100s…...

编程日记 2025/6/29 12:05:29

2025年3月AGI技术月评｜技术突破重构数字世界底层逻辑

〔更多精彩AI内容&#xff0c;尽在 「魔方AI空间」 &#xff0c;引领AIGC科技时代〕 本文作者&#xff1a;猫先生 ——当「无限照片」遇上「可控试穿」&#xff0c;我们正在见证怎样的智能革命&#xff1f; 被低估的进化&#xff1a;开源力量改写游戏规则 当巨头们在AGI赛道…...

编程日记 2025/6/29 11:25:17

【k8s】k8s是怎么实现自动扩缩的

Kubernetes 提供了多种自动扩缩容机制&#xff0c;主要包括 Pod 水平自动扩缩&#xff08;HPA&#xff09;、垂直 Pod 自动扩缩&#xff08;VPA&#xff09; 和 集群自动扩缩&#xff08;Cluster Autoscaler&#xff09;。以下是它们的实现原理和配置方法&#xff1a; 1. Pod …...

编程日记 2025/6/29 11:01:20

协作开发攻略：Git全面使用指南 — 引言

协作开发攻略&#xff1a;Git全面使用指南 — 引言 Git 是一种分布式版本控制系统&#xff0c;用于跟踪文件和目录的变更。它能帮助开发者有效管理代码版本&#xff0c;支持多人协作开发&#xff0c;方便代码合并与冲突解决&#xff0c;广泛应用于软件开发领域。 文中内容仅限技…...

编程日记 2025/6/29 9:15:39

【AI提示词】私人教练

提示说明 以专业且细致的方式帮助客户实现健康与健身目标&#xff0c;提升整体生活质量。 提示词 # Role: 私人教练## Profile - language: 中文 - description: 以专业且细致的方式帮助客户实现健康与健身目标&#xff0c;提升整体生活质量 - background: 具备丰富的健身经…...

编程日记 2025/6/29 10:56:43

【星海出品】Calico研究汇总

Calico项目由Tigera公司发起并主导开发 源码 https://github.com/projectcalico/calico?tabreadme-ov-file#-join-the-calico-community 简介 Tigera是一家专注于云原生安全的公司&#xff0c;于2016年成立&#xff0c;其核心产品包括开源的Calico项目以及商业版的Calico Ent…...

编程日记 2025/6/29 11:44:30

观成科技：摩诃草组织Spyder下载器流量特征分析

一、概述 自2023年以来&#xff0c;摩诃草组织频繁使用Spyder下载器下载远控木马&#xff0c;例如Remcos。观成安全研究团队对近几年的Spyder样本进行了深入研究&#xff0c;发现不同版本的样本在数据加密、流量模式等方面存在差异。基于此&#xff0c;我们对多个版本样本的通…...

编程日记 2025/6/29 10:53:36

中心极限定理（CLT）习题集 · 题目篇

中心极限定理&#xff08;CLT&#xff09;习题集 题目篇 共 18 题&#xff0c;覆盖经典 CLT、Lyapunov/Lindeberg 条件、Berry–Esseen 评估、 以及工程/数据科学应用与编程仿真。推荐先独立完成&#xff0c;再看《答案与解析篇》。 之前已经出过相关的知识点文章&#xff0c;…...

编程日记 2025/6/29 9:15:16