当前位置： 首页 > news >正文

【机器学习】主动学习-增加标签的操作方法-流式选择性采样（Stream-based selective sampling）

news 来源：原创 2025/6/15 16:38:03

Stream-Based Selective Sampling

Stream-based selective sampling 是一种主动学习方法，在处理大量数据流时特别有用。它允许学习算法动态选择是否对当前数据实例进行标注（通过与 Oracle 交互）。此方法主要应用于流数据场景中，目的是在不标注所有数据的情况下，提升模型性能。

核心思想

在流式选择性采样中，系统从数据流中逐个接收数据点。对于每个接收到的数据点，算法会评估其潜在的学习价值，然后决定是否将其提交给 Oracle 请求标注。如果算法认为一个数据点对模型改进的价值不足，则直接忽略该点。

主要步骤

  1. 数据流输入：
    数据以流的形式连续到达，系统一次只处理一个数据点。

  2. 样本选择策略：
    对于每个数据点，算法基于特定策略（例如不确定性、信息增益）评估它是否值得标注。

  3. Oracle 交互：
    如果算法认为该数据点有价值，则向 Oracle 请求标注。否则直接跳过。

  4. 模型更新：
    使用被标注的样本更新模型，使其逐步优化。

  5. 循环处理：
    持续处理后续流数据。

选择策略

在 Stream-Based Selective Sampling 中，选择策略是关键部分，常见策略包括：

  1. 不确定性采样（Uncertainty Sampling）：

    • 当模型对某个数据点的预测最不确定时，请求标注。例如，分类模型的预测概率接近 0.5 时。

  2. 信息增益（Information Gain）：

    • 选择能够最大化模型信息增益的数据点进行标注。

  3. 基于错误率的选择（Error Reduction）：

    • 估算标注某个数据点后可能降低的错误率，并优先选择这些数据点。

  4. 多样性采样（Diversity Sampling）：

    • 选择那些与当前标注样本分布差异较大的数据点，以提高模型的泛化能力。

优点

  1. 高效性：

    • 避免为所有数据点标注，节省标注成本。

  2. 动态适应：

    • 根据模型的当前状态动态调整选择，专注于最有价值的样本。

  3. 适用于流式场景：

    • 能处理连续到达的数据，无需事先知道数据的完整分布。

缺点

  1. 标注依赖性：
    • 需要依赖 Oracle 提供标注，这可能增加实际应用中的成本。
  2. 策略设计复杂性：
    • 如何设计有效的采样策略是一个关键挑战。
  3. 数据顺序问题：
    • 数据流的顺序可能会对学习效果产生影响。

实际应用场景

  1. 实时内容过滤：

    • 在垃圾邮件检测中，选择那些分类不确定的邮件进行人工标注。

  2. 在线推荐系统：

    • 通过选择性采样，向用户展示最有可能提升推荐系统效果的选项。

  3. 网络流量分析：

    • 在网络安全中，主动选择最可疑的流量数据进行深入分析。

  4. 传感器网络监控：

    • 对流式传感器数据中异常点请求人工标注，用于提升异常检测模型。

总结

Stream-based selective sampling 是一种高效的主动学习方法，特别适合流数据和标注成本较高的场景。它通过动态选择有价值的数据点进行标注，使得学习过程更加智能和经济。

相关文章：

【机器学习】主动学习-增加标签的操作方法-流式选择性采样（Stream-based selective sampling）

Stream-Based Selective Sampling Stream-based selective sampling 是一种主动学习方法，在处理大量数据流时特别有用。它允许学习算法动态选择是否对当前数据实例进行标注（通过与 Oracle 交互）。此方法主要应用于流数据场景中，目…...

编程日记 2025/5/25 21:38:22

STL之VectorMapList针对erase方法踩坑笔记

前沿 如下总结的三种容器，开头都会涉及当前容器的特点，再者就本次针对erase方法的使用避坑总结。 一.Vector vector关联关联容器，存储内存是连续，且特点支持快速访问，但是插入和删除效率比较地(需要找查找和移动)。另…...

编程日记 2025/6/3 1:41:04

Docker compose 使用 --force-recreate --no-recreate 控制重启容器时的行为

一、--force-recreate 作用 强制重新创建指定的服务，即使服务的配置未发生任何变化。忽略现有容器的状态，无论容器是停止、运行还是有无变化，都会销毁并重新创建。 用法 docker compose up -d --force-recreate [services...]不指定服务&…...

编程日记 2025/6/3 1:40:01

【pycharm】远程部署失败，查看日志

pycharm 远程部署失败，查看日志 远程一直失败，gateway超时会还知道拉取一份日志： 在./root 下 发现了崩溃日志，启动崩溃了，导致backend一直无法启动。win11就是一直在connect到ubuntu的后端pycharm。。gateway 拉取的日志 我上传的linux版本的pycharm暂时存在dist目录下，…...

编程日记 2025/6/3 1:41:52

FilmMusic

电影推荐 《五朵金花》《沉睡魔咒》《三国之见龙卸甲》《灰姑娘》《正义联盟》《沉睡魔咒2》 《神奇女侠》《神奇女侠》HD中字在线观看 - 影视天堂 《野性的呼唤》《野性的呼唤2020》HD中字在线观看 - 影视天堂 《毒液2》《小马王》《秦时明月之百步飞剑》《秦时明月之夜尽…...

编程日记 2025/6/3 1:40:48

使用 Python 实现自动化办公（邮件、Excel）

目录 一、Python 自动化办公的准备工作 1.1 安装必要的库 1.2 设置邮件服务 二、邮件自动化处理 2.1 发送邮件 示例代码 注意事项 2.2 接收和读取邮件 示例代码 三、Excel 自动化处理 3.1 读取和写入 Excel 文件 示例代码 3.2 数据处理和分析 示例代码 四、综合…...

编程日记 2025/5/30 21:47:34

稀疏编码 (Sparse Coding) 算法详解与PyTorch实现

稀疏编码 (Sparse Coding) 算法详解与PyTorch实现 目录 稀疏编码 (Sparse Coding) 算法详解与PyTorch实现1. 稀疏编码 (Sparse Coding) 算法概述1.1 稀疏表示1.2 稀疏编码的优势2. 稀疏编码的核心技术2.1 稀疏编码的目标2.2 稀疏编码的优化2.3 基向量的学习3. PyTorch实现稀疏编…...

编程日记 2025/6/3 1:41:36

基于springboot的疫情网课管理系统

作者：学姐 开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等 文末获取“源码数据库万字文档PPT”，支持远程部署调试、运行安装。 项目包含： 完整源码数据库功能演示视频万字文档PPT 项目编码&#xff1…...

编程日记 2025/6/3 1:40:17

Cookie和Session

会话： 有状态会话： 客户端知道发起请求的是谁 无状态会话： 不知道发起请求的是谁 只知道有请求 http是无状态请求 保存会话信息的两种技术： 可以通过Cookie和Session储存会话信息 cookie：客户端技术 信心存…...

编程日记 2025/6/3 1:41:20

分布式ID—雪花算法

背景 现在的服务基本是分布式、微服务形式的，而且大数据量也导致分库分表的产生，对于水平分表就需要保证表中 id 的全局唯一性。 对于 MySQL 而言，一个表中的主键 id 一般使用自增的方式，但是如果进行水平分表之后，多…...

编程日记 2025/6/3 21:41:14

【无标题】四类sql语句通用

select select a from tableA where aa1： 总是丢掉from。。 运算： select a*3 b from tableA； 使用()来定义运算优先级。 别名 select a as xx from tableA；可以不加as，仅为增加可读性。 别名不可以中间有空格&…...

编程日记 2025/6/3 1:40:33

Vue的生命周期方法

Vue 的生命周期方法是指 Vue 实例从创建到销毁的过程中的一系列钩子函数。它们可以让你在特定时刻执行代码。Vue 2 和 Vue 3 的生命周期钩子大致相同，下面是 Vue 中常用的生命周期方法： 1. beforeCreate 在实例初始化之后，数据观测和事件配…...

编程日记 2025/6/3 9:58:07

Android SystemUI——基础简介（一）

Android SystemUI 是 Android 操作系统的一部分，负责处理与用户界面相关的所有元素。它是 Android 设备上的一个关键组件，管理着屏幕顶部的状态栏（显示时间、信号强度、电池电量等）、屏幕底部的导航栏（返回、主页、最近…...

编程日记 2025/6/3 6:34:46

大疆机场及无人机上云

最近基于大疆上云api进行二次开发，后面将按照开发步骤对其进行说明！...

编程日记 2025/6/3 8:41:07

js:正则表达式

目录 正则表达式的语法 定义 检测 检索 元字符 边界符 量词 字符类 表单判断案例 修饰符 过滤敏感词 正则表达式是一种用于匹配和操作文本的强大工具，它是由一系列字符和特殊字符组成的模式，用于描述要匹配的文本字符组合模式 正则表达式是一…...

编程日记 2025/6/3 0:10:38

【芯片设计- RTL 数字逻辑设计入门 9.2 -- flip flop 与 寄存器的关系详细介绍】

请阅读【嵌入式开发学习必备专栏 Cache | MMU | AMBA BUS | CoreSight | Trace32 | CoreLink | ARM GCC | CSH】 文章目录 Overview硬件角度的 Flip-Flop软件角度的寄存器举例说明硬件设计角度软件开发角度D Flip-Flop 实现基本原理：Verilog 代码：UT 示例JK Flip-Flop 实现基…...

编程日记 2025/6/3 9:58:43

JAVA实战开源项目：课程智能组卷系统(Vue+SpringBoot) 附源码

本文项目编号 T 009 ，文末自助获取源码 \color{red}{T009，文末自助获取源码} T009，文末自助获取源码 目录 一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析 六、核心代码6.1 老…...

编程日记 2025/6/3 9:58:59

【Rust自学】11.8. 忽略测试

喜欢的话别忘了点赞、收藏加关注哦，对接下来的教程有兴趣的可以关注专栏。谢谢喵！(･ω･) 11.8.1. 忽略某些测试，执行剩余测试 某些测试执行起来非常耗时，所以在大部分情况下会想在运行cargo test时忽略它…...

编程日记 2025/6/3 9:57:19

浅谈云计算09 | 服务器虚拟化

服务器虚拟化基础 一、虚拟化的定义二、系统虚拟化三、服务器虚拟化的核心要义四、典型实现：探索不同路径五、全虚拟化与半虚拟化六、主流服务器虚拟化技术 一、虚拟化的定义 虚拟化是一种将物理资源抽象为逻辑资源的技术，通过在物理硬件与操作系统、应…...

编程日记 2025/6/3 9:58:23

【Ubuntu 24.04】虚拟机常见问题解决

1.24开启3D加速黑屏 参考文章：Ubuntu24开机黑屏，VMware卡死，虚拟机繁忙解决方案 没有3D加速就没有动画，所以我们需要开启3D加速，但是直接开启3D加速会黑屏 由于Ubuntu24内部的图形加速驱动异常，因此需要更新…...

编程日记 2025/6/3 4:59:05

【已解决】【记录】2AI大模型web UI使用tips 本地

docker desktop使用 互动 如果需要发送网页链接，就在链接上加上【#】号 如果要上传文件就点击这个➕号 中文回复 命令它只用中文回复，在右上角打开【对话高级设置】 输入提示词（提示词使用英文会更好） Must reply to the us…...

编程日记 2025/6/3 9:57:35

iostat命令详解

iostat 命令是 I/O statistics(输入/输出统计)的缩写，用来报告系统的 CPU 统计信息和块设备及其分区的 IO 统计信息。iostat 是 sysstat 工具集的一个工具，在 Ubuntu 系统中默认是不带 iostat 命令的，需要自行安装： $ sudo apt in…...

编程日记 2025/6/2 23:51:07

工程水印相机结合图纸，真实现场时间地点，如何使用水印相机，超简单方法只教一次！

在工程管理领域，精准记录现场信息至关重要。水印相机拍照功能，为工程人员提供了强大的现场信息记录工具，助力工程管理和统计工程量，更可以将图片分享到电脑、分享给同事，协同工作。 一、打开图纸 打开手机版CAD快速看图…...

编程日记 2025/5/19 2:15:34

vue城市道路交通流量预测可视化系统

文章结尾部分有CSDN官方提供的学长 联系方式名片 文章结尾部分有CSDN官方提供的学长 联系方式名片 关注B站、收藏、不迷路！ 项目亮点 编号：R09 🚇 网站大屏管理三大前端、vuespringbootmysql、前后端分离架构 🚇 流量预测道路查询…...

编程日记 2025/6/2 23:52:12

秩为1的矩阵可以表示为两个向量的外积

秩为1的矩阵可以表示为两个向量的外积，为什么 秩为 1 的矩阵可以表示为两个向量的外积，原因源于矩阵的线性代数性质。以下是详细的解释： 1. 矩阵的秩定义 矩阵的秩是矩阵列向量（或行向量）线性无关的最大个数。当矩阵…...

编程日记 2025/6/2 23:55:13

深入浅出 Android AES 加密解密：从理论到实战

深入浅出 Android AES 加密解密：从理论到实战 在现代移动应用中，数据安全是不可忽视的一环。无论是用户隐私保护，还是敏感信息的存储与传输，加密技术都扮演着重要角色。本文将以 AES（Advanced Encryption Standard&am…...

编程日记 2025/6/2 5:45:48

MySQL 与 Redis 的数据一致性问题

读数据的逻辑基本一致问题1: 一致性有哪些?MySQL 与 Redis 的数据一致性方案有哪些?先写MySQL还是先写Redis?缓存数据是更新还是清除?强一致还是最终一致?问题: 如果mysql写成功了,但是Redis写(删除)失败了怎么办?重试机制的幂等问题如何解决? 方案1: 先更新 MySQL 再清…...

编程日记 2025/6/2 23:51:23

【论文笔记】多个大规模数据集上的SOTA绝对位姿回归方法：Reloc3r

abstract 视觉定位旨在确定查询图像相对于姿势图像数据库的相机姿势。 近年来，直接回归相机姿势的深度神经网络由于其快速推理能力而受到欢迎。 然而，现有方法很难很好地推广到新场景或提供准确的相机姿态估计。 为了解决这些问题，我们提出了…...

编程日记 2025/5/29 10:15:32

UE5 打包项目

UE5 打包项目 flyfish 通过 “文件”->“打开项目”，然后在弹出的对话框中选择项目文件（通常是以.uproject为后缀的文件） 选择目标平台： 在 UE5 主界面中，找到 “平台”（Platforms）。根据…...

编程日记 2025/6/2 10:36:39

JavaEE之定时器及自我实现

在生活当中，有很多事情，我们不是立马就去做，而是在规定了时间之后，在到该时间时，再去执行，比如：闹钟、定时关机等等，在程序的世界中，有些代码也不是立刻执行，…...

编程日记 2025/6/2 10:36:43

好用的php商城源码有哪些？

选择一个优秀的商城工具，能更好地帮助大家建立一个好用的商城系统。目前比较流行的都是开源PHP商城系统，那么现实中都有哪些好用的PHP商城源码值得推荐呢？下面就带大家一起来了解一下。 1.TigShop 【推荐指数】：★★★★★☆ 【推…...

编程日记 2025/6/4 17:17:07

GO语言实现KMP算法

前言 本文结合朱战立教授编著的《数据结构—使用c语言（第五版）》（以下简称为《数据结构（第五版）朱站立》）中4.4.2章节内容编写，KMP的相关概念可参考此书4.4.2章节内容。原文中代码是C语言&…...

编程日记 2025/6/2 22:02:56

国产Docker可视化面板Dpanel的安装与功能解析

国产Docker可视化面板Dpanel的安装及功能介绍 Docker 可视化面板系统，提供完善的 docker 管理功能。 支持查看基本信息、运行状态统计、网络统计、磁盘统计、用量统计等功能 ​​ ​​ 容器管理： ​​ 创建/修改容器 ​​ 支持基本配置、环境变量、…...

编程日记 2025/6/2 10:36:47

Elaticsearch常用的浏览器插件

Elasticsearch head https://github.com/mobz/elasticsearch-headElasticsearch Tools https://www.chajianxw.com/developer/31765.html#google_vignetteElasticvue https://blog.csdn.net/weixin_60457220/article/details/143595846...

编程日记 2025/6/4 1:50:12

LabVIEW数据库管理系统

LabVIEW数据库管理系统（DBMS）是一种集成了数据库技术与数据采集、控制系统的解决方案。通过LabVIEW的强大图形化编程环境，结合数据库的高效数据存储与管理能力，开发人员可以实现高效的数据交互、存储、查询、更新和报告生成。LabV…...

编程日记 2025/5/29 7:53:59

【HM-React】08. Layout模块

基本结构和样式reset 结构创建 实现步骤 打开 antd/Layout 布局组件文档，找到示例：顶部-侧边布局-通栏拷贝示例代码到我们的 Layout 页面中分析并调整页面布局 代码实现 pages/Layout/index.js import { Layout, Menu, Popconfirm } from antd impor…...

编程日记 2025/5/31 14:48:58

SpringCloud

1.认识微服务 随着互联网行业的发展，对服务的要求也越来越高，服务架构也从单体架构逐渐演变为现在流行的微服务架构。这些架构之间有怎样的差别呢？ 1.0.学习目标 了解微服务架构的优缺点 1.1.单体架构 单体架构：将业务的所有功…...

编程日记 2025/5/30 12:07:04

HarmonyOS应用开发者初级认证最新版– 2025/1/13号题库新版

1.欢迎各位读者，本文档来自鸿蒙开发学员亲测，最新版。（考试时直接Ctrlf进行搜索，一定要认真比对答案，有的答案相似度很高）！！！！！！ 欢迎…...

编程日记 2025/6/1 22:07:57

基于微信小程序的汽车销售系统的设计与实现springboot+论文源码调试讲解

第4章 系统设计 一个成功设计的系统在内容上必定是丰富的，在系统外观或系统功能上必定是对用户友好的。所以为了提升系统的价值，吸引更多的访问者访问系统，以及让来访用户可以花费更多时间停留在系统上，则表明该系统设计得比较专…...

编程日记 2025/5/31 18:12:32

[免费]SpringBoot+Vue新能源汽车充电桩管理系统【论文+源码+SQL脚本】

大家好，我是java1234_小锋老师，看到一个不错的SpringBootVue新能源汽车充电桩管理系统，分享下哈。 项目视频演示 【免费】SpringBootVue新能源汽车充电桩管理系统 Java毕业设计_哔哩哔哩_bilibili 项目介绍 随着信息化时代的到来&#xff0…...

编程日记 2025/5/31 15:03:25

《机器学习》之K-means聚类

目录 一、简介 二、K-means聚类实现步骤 1、初始化数据点、确定K值 2、通过距离分配数据点 3、更新簇中心 4、 迭代更新 三、聚类效果评价方式 1、轮廓系数的定义 2、整体轮廓系数 3、使用场景 4、优点 5、缺点 6、代码实现方法 四、K-means聚类代码实现 1、API接…...

编程日记 2025/6/3 15:00:12

【芯片封测学习专栏 -- 2D | 2.5D | 3D 封装的区别和联系】

请阅读【嵌入式开发学习必备专栏 Cache | MMU | AMBA BUS | CoreSight | Trace32 | CoreLink | ARM GCC | CSH】 文章目录 Overview线键合（wire-bonding）封装FOWLP2D封装2.5D 封装硅通孔(TSV)硅中介层无TSV的2.5D 3D封装 Overview 我们先要了解一下&…...

编程日记 2025/6/4 16:16:50

E12.【C语言】练习：求两个数的最大公约数

目录 1.枚举 2.辗转相除法 1.枚举 #define _CRT_SECURE_NO_WARNINGS #include <stdio.h> int main() {int a 0;int b 0;int tmp 0;scanf("%d %d", &a, &b);if (a < b){for (int i1; i < a; i){if (0a% i && 0b%i)tmp i;}}if …...

编程日记 2025/6/1 22:57:50

SVG图表

1、时序图 英文 #mermaid-svg-OyLuBTPnpbW9XDOB {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-OyLuBTPnpbW9XDOB .error-icon{fill:#552222;}#mermaid-svg-OyLuBTPnpbW9XDOB .error-text{fill:#552222;stroke:#55…...

编程日记 2025/5/26 5:52:18

IDEA中创建maven项目

1. IDEA中创建maven项目 在IDEA中创建Maven项目&#xff0c;前提是已经安装配置好Maven环境。如还未配置安装Maven的&#xff0c;请先下载安装。如何下载安装&#xff0c;可参考我另外篇文章&#xff1a;maven的下载与安装教程本篇教程是以创建基于servlet的JavaWeb项目为例子&…...

编程日记 2025/6/1 20:09:53

Laravel 中 Cache::remember 的基本用途

在 Laravel 中&#xff0c;Cache::remember 方法用于缓存数据&#xff0c;以提高应用程序的性能。当需要从数据库或其他较慢的数据源中检索数据时&#xff0c;可以使用 Cache::remember 来检查请求的数据是否已经被缓存。如果数据已缓存&#xff0c;则直接从缓存中读取&#xf…...

编程日记 2025/5/31 17:58:43

云数赋能：开启企业数字化转型的高速通道

目录 一、引言&#xff1a;数字化转型浪潮下的企业挑战与机遇 二、认识云数赋能 2.1 云计算&#xff1a;企业数字化的强大基石 2.2 大数据&#xff1a;挖掘企业潜藏价值的宝藏 三、云数赋能如何加速企业数字化转型 3.1 优化企业运营管理 3.2 提升客户体验 3.3 推动创新…...

编程日记 2025/6/2 21:59:42

Spring底层核心原理解析

​ 本次分享会把Spring中核心知识点都给大家进行串讲&#xff0c;让大家对Spring的底层有一个整体的大致了解&#xff0c;比如&#xff1a; Bean的生命周期底层原理依赖注入底层原理初始化底层原理推断构造方法底层原理AOP底层原理Spring事务底层原理 但都只是大致流程&#…...

编程日记 2025/6/2 6:38:15

昵称 校验

1. 基本格式校验 1. 长度限制 • 设置最小和最大字符长度&#xff1a;2-20 个字符&#xff08;常见范围&#xff09;。 • 避免昵称过短或过长影响显示和识别。 • 示例&#xff1a; • 2 ≤ 长度 ≤ 20&#xff1a;let minLength 2 let maxLength 20 if nickname.count <…...

编程日记 2025/6/2 22:00:14

25/1/12 嵌入式笔记 学习esp32

了解了一下位选线和段选线的知识&#xff1a; 位选线&#xff1a; 作用&#xff1a;用于选择数码管的某一位&#xff0c;例如4位数码管的第1位&#xff0c;第2位&#xff09; 通过控制位选线的电平&#xff08;高低电平&#xff09;&#xff0c;决定当前哪一位数码管处于激活状…...

编程日记 2025/6/3 4:15:24