FastGPT原理分析-数据集创建第二步：处理任务的执行
概述
文章《FastGPT原理分析-数据集创建第一步》已经分析了数据集创建的第一步：文件上传和预处理的实现逻辑。本文介绍文件上传后，数据处理任务的具体实现逻辑。
数据集创建总体实现步骤
从上文可知数据集创建总体上来说分为两大步骤：
（1）文件上传和预处理，并验证各种配置和参数的合法性；
（2）触发数据处理任务，对数据进行向量化处理和QA问答对的处理。
本文介绍第二步的详细实现逻辑。
数据处理的触发的实现逻辑
在FastGPT中会在启动时注册一个监控mongodb的insert插入动作的函数。当有数据插入到mongodb对应的数据表dataset_trainings时，就会触发对应的数据处理的执行。
根据任务类型来调用对应的处理函数。
3.数据处理的触发
在系统初始化时，FastGPT注册了一个监听mongodb插入动作的处理函数代码如下：
export async function register() {// ...startMongoWatch(); // 监控mongodb的动作//...
}// startMongoWatch函数的实现
export const startMongoWatch = async () => {reloadConfigWatch();refetchSystemPlugins();createDatasetTrainingMongoWatch(); //在这里注册mongodb的数据处理函数
};// 创建mongodb的插入操作的监控任务处理
export const createDatasetTrainingMongoWatch = () => {const changeStream = MongoDatasetTraining.watch();changeStream.on('change', async (change) => {try {// 监控mongodb的插入操作if (change.operationType === 'insert') {const fullDocument = change.fullDocument as DatasetTrainingSchemaType;const { mode } = fullDocument;// 训练类型：QA问答对处理方式if (mode === TrainingModeEnum.qa) {generateQA();} else if (mode === TrainingModeEnum.chunk) {// chunk处理方式 generateVector();}}} catch (error) {}});
};
总结
本文介绍了文件上传后的任务触发方式。可以看到，是通过监控mongodb数据表dataset_trainings的插入操作来触发数据处理任务。有两种数据处理方式：（1）QA问答方式数据处理；（2）嵌入向量处理方式。后面会介绍这两种方式的具体实现逻辑。
相关文章：
FastGPT原理分析-数据集创建第二步：处理任务的执行
概述 文章《FastGPT原理分析-数据集创建第一步》已经分析了数据集创建的第一步：文件上传和预处理的实现逻辑。本文介绍文件上传后，数据处理任务的具体实现逻辑。 数据集创建总体实现步骤 从上文可知数据集创建总体上来说分为两大步骤： &a…...
AI重构SEO关键词优化路径
内容概要 人工智能技术的深度应用正在推动SEO优化进入全新阶段。传统关键词优化依赖人工经验与静态规则，存在效率瓶颈与策略滞后性缺陷。AI技术通过智能语义分析系统，能够穿透表层词汇限制，精准捕捉用户搜索意图的语义关联网络，结…...
VMWare Ubuntu 详细安装教程
VMWare Ubuntu 详细安装教程 一、下载安装VMware二、下载 Ubuntu 镜像文件三、安装 Ubuntu四、开启虚拟机 一、下载安装VMware 官网下载地址https://www.vmware.com/products/desktop-hypervisor/workstation-and-fusion知乎大佬的博客原文，含下载地址https://zhua…...
SystemVerilog 数据类型
1、内建数据类型 verilog有两种基本的数据类型：变量和线网，他们各自都可以有四种取值：0 1 z x； RTL代码使用 变量 来存放组合和时序值；变量可以是单bit或者是多bit的无符号数 reg [7:0] m， 32bit的有符号…...
C语言：扫雷
在编程的世界里，扫雷游戏是一个经典的实践项目。它不仅能帮助我们巩固编程知识，还能锻炼逻辑思维和解决问题的能力。今天，就让我们一起用 C 语言来实现这个有趣的游戏，并且通过图文并茂的方式，让每一步都清晰易懂 1. 游…...
特殊行车记录仪DAT视频丢失的恢复方法
行车记录仪是一种常见的车载记录仪，和常见的“小巧玲珑”的行车记录仪不同，一些特种车辆使用的记录仪的外观可以用“笨重”来形容。下边我们来看看特种车载行车记录仪删除文件后的恢复方法。 故障存储: 120GB存储设备/文件系统:exFAT /簇大小:128KB 故…...
_DISPATCHER_HEADER结构中的WaitListHead和_KWAIT_BLOCK的关系
第一部分： // // Wait block // // begin_ntddk begin_wdm begin_nthal begin_ntifs begin_ntosp typedef struct _KWAIT_BLOCK { LIST_ENTRY WaitListEntry; struct _KTHREAD *RESTRICTED_POINTER Thread; PVOID Object; struct _KWAIT_BLOCK *R…...
智能汽车图像及视频处理方案，支持视频实时拍摄特效能力
在智能汽车日新月异的今天，美摄科技作为智能汽车图像及视频处理领域的先行者，凭借其卓越的技术实力和前瞻性的设计理念，为全球智能汽车制造商带来了一场视觉盛宴的革新。美摄科技推出智能汽车图像及视频处理方案，一个集高效性、智…...
Rust + 时序数据库 TDengine：打造高性能时序数据处理利器
引言：为什么选择 TDengine 与 Rust？ TDengine 是一款专为物联网、车联网、工业互联网等时序数据场景优化设计的开源时序数据库，支持高并发写入、高效查询及流式计算，通过“一个数据采集点一张表”与“超级表”的概念显著提升性能…...
——audiomixer)
Android Audio基础(13)——audiomixer
在 Android 平台上，音频混合器 AudioMixer 主要用在 AudioFlinger 里，将多路音频源数据混音（包括混音、音量处理、重采样及处理声道等）。位于 framework 的音频处理模库 libaudioprocessing（frameworks/av/media/libau…...
vivo 湖仓架构的性能提升之旅
作者：郭小龙 vivo互联网 大数据高级研发工程师 导读：本文整理自 vivo互联网 大数据高级研发工程师 郭小龙 在 StarRocks 年度峰会上的分享，聚焦 vivo 大数据多维分析面临的挑战、StarRocks 落地方案及应用收益。 在 即席分析 场景，…...
常见中间件漏洞攻略-Tomcat篇
一、 CVE-2017-12615-Tomcat put方法任意文件写入漏洞 第一步：开启靶场 第二步：在首页抓取数据包，并发送到重放器 第三步：先上传尝试一个1.txt进行测试 第四步：上传后门程序 第五步：使用哥斯拉连接 二、后…...
基于linuxC结合epoll + TCP 服务器客户端 + 数据库实现一个注册登录功能
1. 整体功能概述 实现了一个简单的用户注册和登录系统，采用客户端 - 服务器（C/S）架构。 客户端可以选择注册或登录操作，将用户名和密码发送给服务器，服务器接收请求后处理并返回相应的结果给客户端。 服务器使用 SQLit…...
redis7.4.2单机配置
解压源码包 将从官网下载的redis源码压缩包上传到服务器的相关目录下。 [roothcss-ecs-2851 ~]# cd /opt/soft/redis/ [roothcss-ecs-2851 redis]# ls redis-stable.tar.gz解压并进入解压后的目录中。 [roothcss-ecs-2851 redis]# tar -zxvf redis-stable.tar.gz [roothcss-…...
Unity代码热更新和资源热更新
知识点来源：人间自有韬哥在，hybridclr,豆包 目录 一、代码热更新1.代码热更新概述2.HybridCLR 二、资源热更新1.资源热更新概述2.AB包2.1.AB包的加载2.2.卸载AB包2.3.加载AB包依赖包2.4.获取MD52.5.生成对比文件2.6.更新AB包 3.Addressable3.1.AssetRef…...
优化：从百秒到秒级响应的四种优化办法)
【MySQL篇】DEPENDENT SUBQUERY(依赖性子查询)优化：从百秒到秒级响应的四种优化办法
💫《博主介绍》：✨又是一天没白过，我是奈斯，从事IT领域✨ 💫《擅长领域》：✌️擅长阿里云AnalyticDB for MySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控；并对SQLserver、NoSQL(…...
腾讯四面面经
说明 是的，没听错，确实是腾讯四面，而且是技术面。先声明下，这个面经是帮朋友整理的，都是真实的面经，不得不说，四面确实是有强的的，接下来让我们一起看下 面试部门：s3&a…...
【mysql】唯一性约束unique
文章目录 唯一性约束 1. 作用2. 关键字3. 特点4. 添加唯一约束5. 关于复合唯一约束 唯一性约束 1. 作用 用来限制某个字段/某列的值不能重复。 2. 关键字 UNIQUE3. 特点 同一个表可以有多个唯一约束。唯一约束可以是某一个列的值唯一，也可以多个列组合的值唯…...
如何理解前端工程化
前端工程化详解 一、 定义二、特点1. 模块化2. 组件化3. 自动化4. 规范化 三、涉及环节1. 项目架构2. 版本控制：3.自动化构建4.任务自动化5. 部署与CI/CD 五、 前端工程化的实际应用六、前端工程化的优势:七、总结 一、 定义 前端工程化是指将前端开发…...
嵌入式八股RTOS与Linux---进程间的通信与同步篇
前言 同步异步、阻塞/非阻塞是什么? 同步:在执行某个操作时，调用者必须等待该操作完成并返回结果后，才能继续执行后续的操作异步:在执行某个操作时，调用者发起操作后不必等待其完成，可以立即继续执行后续的操作。操作完成后&am…...
=＞{ this.resetForm()； }))
this.centerDialogVisible = true this.$nextTick(()=＞{ this.resetForm()； })
这段代码的作用是 打开一个对话框，并在对话框打开后 重置表单。下面是对这段代码的详细解析： 1. 代码作用 this.centerDialogVisible true：控制对话框的显示。this.$nextTick(() > { ... })：在 DOM 更新后执行回调函数&#…...
datawhale组队学习--大语言模型—task4：Transformer架构及详细配置
第五章 模型架构 在前述章节中已经对预训练数据的准备流程（第 4 章）进行了介绍。本章主 要讨论大语言模型的模型架构选择，主要围绕 Transformer 模型（第 5.1 节）、详细 配置（第 5.2 节）、主流架…...
专业级 AI 提示生成工具清单
1. 引言 近年来，随着 GPT-3、GPT-4 等大规模预训练语言模型的广泛应用，提示（Prompt）工程作为驱动模型输出质量的重要环节，受到了各界的高度关注。精心设计、管理与优化提示，不仅能够大幅提高生成文本的准确…...
Web前端考核 JavaScript知识点详解
一、JavaScript 基础语法 1.1 变量声明 关键字作用域提升重复声明暂时性死区var函数级✅✅❌let块级❌❌✅const块级❌❌✅ 1.1.1变量提升的例子 在 JavaScript 中，var 声明的变量会存在变量提升的现象，而 let 和 const 则不会。变量提升是指变量的声…...
设计模式)
23种设计模式-生成器(Builder)设计模式
工厂方法设计模式 🚩什么是生成器设计模式？🚩生成器设计模式的特点🚩生成器设计模式的结构🚩生成器设计模式的优缺点🚩生成器设计模式的Java实现🚩代码总结🚩总结 🚩什么…...
框架漏洞攻略)
Thinkphp(TP)框架漏洞攻略
1.环境搭建 vulhub/thinkphp/5-rce docker-compose up -d 2.访问靶场 远程命令执行： ? sindex/think\app/invokefunction&functioncall_user_func_array&vars[0]system&vars[1] []whoami 远程代码执行： ? s/Index/\think\app/invokefunc…...
HTTP/HTTPS 中 GET 请求和 POST 请求的区别与联系
一、基础概念 HTTP (HyperText Transfer Protocol, 超文本传输协议) 是一种用于浏览器与服务器之间进行数据交互的协议。HTTPS (加密的 HTTP) 则通过 SSL/TLS 协议实现通信加密与数据安全性。 二、GET 和 POST 概述 GET 请求: 用于从服务器获取资源。 POST 请求: 用于将数据…...
2021年蓝桥杯第十二届CC++大学B组真题及代码
目录 1A：空间（填空5分_单位转换） 2B：卡片（填空5分_模拟） 3C：直线（填空10分_数学排序） 4D：货物摆放（填空10分_质因数） 5E…...
解锁 AWX+Ansible 自动化运维新体验：快速部署实战
Ansible 和 AWX 是自动化运维领域的强大工具组合。Ansible 是一个简单高效的 IT 自动化工具，而 AWX 则是 Ansible 的开源 Web 管理平台，提供图形化界面来管理 Ansible 任务。本指南将带你一步步在 Ubuntu 22.04 上安装 Ansible 和 AWX，使用 M…...
简洁、实用、无插件和更安全为特点的WordPress主题
简站WordPress主题是一款以简洁、实用、无插件和更安全为特点的WordPress主题，自2013年创立以来，凭借其设计理念和功能优势，深受用户喜爱。以下是对简站WordPress主题的详细介绍： 1. 设计理念 简站WordPress主题的核心理念是“崇…...
区块链学习总结
Hardhat 是一个用于 Ethereum 智能合约开发 的开发环境，专为 Solidity 语言编写的智能合约提供工具支持。它能够帮助开发者 编译、部署、测试和调试 智能合约，并提供一个本地的以太坊测试网络。 Hardhat 的核心功能 本地开发网络（Hardhat Ne…...
可发1区的超级创新思路（python\matlab实现）：基于周期注意力机制的TCN-Informer时间序列预测模型
首先声明，该模型为原创！原创！原创！且该思路还未有成果发表，感兴趣的小伙伴可以借鉴！ 一、应用场景 该模型主要用于时间序列数据预测问题，包含功率预测、电池寿命预测、电机故障检测等等 二、模型整体介绍（本文以光伏功率预测为例） 1.1 核心创新点 本模型通过三阶段…...
案例4：鸢尾花分类（pytorch）
一、引言 鸢尾花分类是机器学习领域的经典案例，常用于演示分类算法的基本原理和应用。本案例使用 PyTorch 构建一个简单的神经网络模型，对鸢尾花进行分类。通过该案例，我们可以学习如何使用 PyTorch 进行数据处理、模型构建、训练和评估&…...
本地部署Stable Diffusion生成爆火的AI图片
直接上代码 Mapping("/send") Post public Object send(Body String promptBody) { JSONObject postSend new JSONObject(); System.out.println(promptBody); JSONObject body JSONObject.parseObject(promptBody); List<S…...
CCF-CSP历年真题答案1，2
本文代码主要来自up主圣斗士-DS-ALGO对历年真题的讲解，在此特别感谢。 侵权则删。 10.1_分蛋糕_2017_03 #include <iostream> using namespace std;int main() {int a[1000], n, k; // 定义数组a用于存储蛋糕的重量，整数n表示蛋糕的数量…...
以及什么是回表？)
【MySQL】一篇讲懂什么是聚簇索引和非聚簇索引(二级索引)以及什么是回表？
1.聚簇索引： 叶子节点直接存储了完整的数据行。 每个表只能有一个聚簇索引，通常是主键(Primary Key)。如果没有定义主键，则MySQL会选择一个唯一且非空索引作为聚簇索引。 特点： 数据存储：叶子结点存储完整的数据行…...
炫酷的HTML5粒子动画特效实现详解
炫酷的HTML5粒子动画特效实现详解 这里写目录标题 炫酷的HTML5粒子动画特效实现详解项目介绍技术栈项目架构1. HTML结构2. 样式设计 核心实现1. 粒子类设计2. 动画效果实现星空效果烟花效果雨滴效果 3. 鼠标交互 性能优化效果展示总结 项目介绍 本文将详细介绍如何使用HTML5 C…...
go-zero学习笔记
内容不多，只有部分笔记，剩下的没有继续学下去，包括路由与处理器、日志中间件、请求上下文 文章目录 1、go-zero核心库1.1 路由与处理器1.2 日志中间件1.3 请求上下文 1、go-zero核心库 1.1 路由与处理器 package mainimport ("github…...
QuecPython 网络协议之TCP/UDP协议最祥解析
概述 IP 地址与域名 IP 地址是网络中的主机地址，用于两台网络主机能够互相找到彼此，这也是网络通信能够成功进行的基础。IP 地址一般以点分十进制的字符串来表示，如192.168.1.1。 我们日常访问的网站，其所在的服务器主机都有…...
)
FPGA_YOLO(二)
上述对cnn卷积神经网络进行介绍，接下来对YOLO进行总结，并研究下怎么在FPGA怎么实现的方案。 对于一个7*7*30的输出 拥有49个cell 每一个cell都有两个bbox两个框，并且两个框所包含的信息拥有30个 4个坐标信息和一个置信度5个，剩下就是20个类别。 FPGA关于YOLO的部署 1…...
Camera2 与 CameraX 闲谈
目录 📂 前言 1. 🔱 Camera2 2. 🔱 CameraX 3. 🔱 Camera2 与 CameraX 1）使用复杂度与开发效率 2）控制能力与应用场景 3）设备兼容性与稳定性 4）更新与维护 4. 💠…...
【零基础入门unity游戏开发——2D篇】2D物理系统 —— 2D刚体组件（Rigidbody 2d）
考虑到每个人基础可能不一样，且并不是所有人都有同时做2D、3D开发的需求，所以我把 【零基础入门unity游戏开发】 分为成了C#篇、unity通用篇、unity3D篇、unity2D篇。 【C#篇】：主要讲解C#的基础语法，包括变量、数据类型、运算符、流程控制、面向对象等，适合没有编程基础的…...
【论文#目标检测】YOLO9000: Better, Faster, Stronger
目录 摘要1.引言2.更好（Better）3.更快（Faster）4.更健壮（Stronger）使用 WordTree 组合数据集联合分类和检测评估 YOLO9000 5.结论 Author: Joseph Redmon; Ali Farhadi Published in: 2017 IEEE Conference …...
C++异常处理时的异常类型抛出选择
在 C 中选择抛出哪种异常类型，主要取决于错误的性质以及希望传达的语义信息。以下是一些指导原则，帮助在可能发生异常的地方选择合适的异常类型进行抛出： 1. std::exception 适用场景：作为所有标准异常的基类，std::e…...
centos 7 搭建FTP user-list用户列表
在 CentOS 7 上搭建基于 user_list 的 FTP 用户列表，你可以按以下步骤操作： 1. 安装 vsftpd 服务 若还未安装 vsftpd，可以使用以下命令进行安装： bash yum install -y vsftpd2. 启动并设置开机自启 vsftpd 服务 bash systemctl…...
vulnhub-Tr0ll ssh爆破、wireshark流量分析，exp、寻找flag。思维导图带你清晰拿到所以flag
vulnhub-Tr0ll ssh爆破、wireshark流量分析，exp、寻找flag。思维导图带你清晰拿到所以flag 1、主机发现 arp-scan -l 2、端口扫描 nmap -sS -sV 192.168.66.185 nmap -sS -A -T4 -p- 192.168.66.185 nmap --scriptvuln 192.168.66.185经典扫描三件套，…...
k8s中service概述（二）NodePort
NodePort 是 Kubernetes 中一种用于对外暴露服务的 Service 类型。它通过在集群的每个节点上开放一个静态端口（NodePort），使得外部用户可以通过节点的 IP 地址和该端口访问集群内部的服务。以下是关于 NodePort Service 的详细说明࿱…...
搭建Redis哨兵集群
停掉现有的redis集群 因为这篇文章我是在 搭建完redis主从集群之后写的，如果要是没有搭建过这些，可以直接略过。要是从我上一篇 搭建redis主从集群过来的，可以执行下。 docker compose down 查找下redis相关进程 ps -ef | grep redis 可以看…...
.Net SSO 单点登录方式
SSO单点登录目的 之前一般来讲系统简单，登录后 本地 cookie 加服务器 session 存储用户身份信息，以此为依据来判断用户再次登录时免验证 但随着互联网发展，很多应用 部署在不同的服务器上，而用户体系是一套，那么按照原…...
SQL 基础 BETWEEN 的常见用法
在SQL中，BETWEEN是一个操作符，用于选取介于两个值之间的数据。 它包含这两个边界值。BETWEEN操作符常用于WHERE子句中，以便选取某个范围内的值。 以下是BETWEEN的一些常见用法： 选取介于两个值之间的值： 使用 BETWE…...