当前位置：首页 > news >正文

RNN模型文本预处理--数据增强方法

news 来源：原创 2025/7/15 18:25:19

数据增强方法

数据增强是自然语言处理（NLP）中常用的一种技术，通过生成新的训练样本来扩充数据集，从而提高模型的泛化能力和性能。回译数据增强法是一种常见的数据增强方法，特别适用于文本数据。

回译数据增强法

定义

通过将一种语言翻译成不同的语言，再转换回来的一种方式。例如，将中文文本翻译成英文，然后再将英文翻译回中文。

优势

操作简便：只需要使用现有的翻译工具即可实现。
获得新语料质量高：翻译后的文本通常能够保持较高的语义一致性，且语法结构合理。

目的

增加数据集：通过生成新的训练样本来扩展数据集，从而提高模型的泛化能力。

存在的问题

高重复率：在短文本回译过程中，新语料与原语料可能存在很高的重复率，这并不能有效增大样本的特征空间。

高重复率解决办法

进行连续的多语言翻译：例如，中文→韩文→日语→英文→中文。最多只采用3次连续翻译，更多的翻译次数将产生效率低下、语义失真等问题。

使用工具

ChatGPT：可以利用 ChatGPT 进行多语言翻译。
有道翻译接口：基于有道翻译接口进行多语言翻译。

具体步骤

准备原始数据
- 收集并准备好需要增强的原始文本数据。
选择翻译工具
- 可以选择 ChatGPT 或者有道翻译接口等工具进行翻译。
进行多语言翻译
- 将原始文本翻译成另一种语言，再从该语言翻译回原始语言。
- 为了减少重复率，可以进行多次连续翻译，但不超过3次。
合并新旧数据
- 将生成的新文本与原始文本合并，形成扩增后的数据集。

示例代码

以下是使用有道翻译接口进行回译数据增强的示例代码：

import requests
import time# 有道翻译API
def translate(text, from_lang, to_lang):url = "http://fanyi.youdao.com/translate"headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}data = {'doctype': 'json','type': f'{from_lang}-{to_lang}','i': text}response = requests.post(url, headers=headers, data=data)result = response.json()return result['translateResult'][0][0]['tgt']# 回译数据增强
def back_translation(text, lang_sequence):for i in range(len(lang_sequence) - 1):text = translate(text, lang_sequence[i], lang_sequence[i + 1])time.sleep(1)  # 防止请求过于频繁return text# 示例
original_text = "我喜欢编程。"
lang_sequence = ['zh', 'en', 'ko', 'ja', 'zh']
augmented_text = back_translation(original_text, lang_sequence)
print("Original Text:", original_text)
print("Augmented Text:", augmented_text)

使用 ChatGPT 进行回译

如果你使用的是 ChatGPT API，可以通过以下方式实现回译：

import openai# 设置 OpenAI API 密钥
openai.api_key = 'your_openai_api_key'# 使用 ChatGPT 进行翻译
def translate_with_chatgpt(text, from_lang, to_lang):prompt = f"Translate the following {from_lang} text to {to_lang}: {text}"response = openai.Completion.create(engine="text-davinci-003",prompt=prompt,max_tokens=100)return response.choices[0].text.strip()# 回译数据增强
def back_translation_with_chatgpt(text, lang_sequence):for i in range(len(lang_sequence) - 1):text = translate_with_chatgpt(text, lang_sequence[i], lang_sequence[i + 1])time.sleep(1)  # 防止请求过于频繁return text# 示例
original_text = "我喜欢编程。"
lang_sequence = ['Chinese', 'English', 'Korean', 'Japanese', 'Chinese']
augmented_text = back_translation_with_chatgpt(original_text, lang_sequence)
print("Original Text:", original_text)
print("Augmented Text:", augmented_text)

总结

回译数据增强法是一种简单且有效的方法，通过多语言翻译来生成新的训练样本。虽然存在一定的重复率问题，但通过连续多语言翻译可以有效缓解这一问题。

RNN模型文本预处理--数据增强方法

数据增强方法数据增强是自然语言处理（NLP）中常用的一种技术，通过生成新的训练样本来扩充数据集，从而提高模型的泛化能力和性能。回译数据增强法是一种常见的数据增强方法，特别适用于文本数据。回译数据增强法定义…...

编程日记 2025/7/15 18:25:19

git-显示顺序与提交顺序不一致的问题

问题流程 a分支初始记录：分支的提交记录是 c1 -> c2 -> c3第一次修改提交记录但并未push：a1（20:18）第二次修改提交记录：a2（20:20） b分支初始记录： c1 -> c2 -> c3 …...

编程日记 2025/7/15 11:28:02

【软件入门】Git快速入门

Git快速入门文章目录 Git快速入门0.前言1.安装和配置2.新建版本库2.1.本地创建2.2.云端下载 3.版本管理3.1.添加和提交文件3.2.回退版本3.2.1.soft模式3.2.2.mixed模式3.2.3.hard模式3.2.4.使用场景 3.3.查看版本差异3.4.忽略文件 4.云端配置4.1.Github4.1.1.SSH配置4.1.2.关联…...

编程日记 2025/7/15 13:43:39

基于Springboot的流浪宠物管理系统

基于javaweb的流浪宠物管理系统介绍基于javaweb的流浪宠物管理系统的设计与实现，后端框架使用Springbootmybatis，前端框架使用Vuehrml，数据库使用mysql，使用B/S架构实现前台用户系统和后台管理员系统，和不同权限级别…...

编程日记 2025/7/15 16:56:16

【踩坑日记】【教程】如何在ubuntu服务器上配置公钥登录以及bug解决

前言在日常开发和运维中，为了提高服务器登录的安全性，我们通常会选择使用 SSH 密钥认证来替代传统的密码登录。然而，在配置 SSH 公钥登录的过程中，可能会遇到各种坑和 Bug。本文将从零开始，手把手教你如何在 Ubuntu…...

编程日记 2025/7/15 16:51:06

使用 VLC 在本地搭建流媒体服务器（详细版）

提示：详细流程避坑指南 Hi~！欢迎来到碧波空间，平时喜欢用博客记录学习的点滴，欢迎大家前来指正，欢迎欢迎~~ ✨✨ 主页：碧波 📚 📚 专栏：音视频目录借助VLC media pl…...

编程日记 2025/7/15 17:01:33

常用贴片元件封装尺寸

不论你在什么时候开始，重要的是开始之后就不要停止。一天过完，不会再来。每一次发奋努力的背后，必有加倍的赏赐。【SMD贴片元件的封装尺寸】公制：3216——2012——1608——1005——0603——0402 英制：1206——0805—…...

编程日记 2025/7/15 17:34:05

NVR录像机汇聚管理EasyNVR多个NVR同时管理基于B/S架构的技术特点与能力应用

EasyNVR视频融合平台基于云边端协同设计，能够轻松接入并管理海量的视频数据。该平台兼容性强、拓展灵活，提供了视频监控直播、录像存储、云存储服务、回放检索以及平台级联等一系列功能。B/S架构使得EasyNVR实现了视频监控的多元化兼容与高效管理。其采…...

编程日记 2025/7/15 17:20:48

【时间之外】IT人求职和创业应知【48】-通信技术

目录新闻一：腾讯科技取得数据显示相关专利新闻二：中国5G网络规模全球最大，6G技术取得突破新闻三：亚马逊启动“登月”计划，部署10万颗二代自研芯片连亚马逊这样的大厂也搞登月计划，可见现在的业界竞争…...

编程日记 2025/7/15 4:55:10

如何为 XFS 文件系统的 /dev/centos/root 增加 800G 空间

如何为 XFS 文件系统的 /dev/centos/root 增加 800G 空间一、前言二、准备工作三、扩展逻辑卷1. 检查现有 LVM 配置2. 扩展物理卷3. 扩展卷组4. 扩展逻辑卷四、调整文件系统大小1. 检查文件系统状态2. 扩展文件系统五、处理可能出现的问题1. 文件系统无法扩展2. 磁盘空间不足3…...

编程日记 2025/7/15 18:01:09

Linux命令操作基础

目录一、命令格式二、常见命令操作 2.1补齐命令与文件名 2.2历史命令 2.3联机帮助三、常用命令四、vim/vi文本编辑器 4.1命令模式 4.2输出模式 4.3底线命令模式一、命令格式 $ Command [-Options] Argument1 Argument2... 其中： $:默认存在的提示符&a…...

编程日记 2025/7/15 17:16:02

Shell脚本实践练习

声明学习视频来自 B 站UP主泷羽sec，如涉及侵权马上删除文章。笔记的只是方便各位师傅学习知识，以下网站只涉及学习内容，其他的都与本人无关，切莫逾越法律红线，否则后果自负。 ✍🏻作者简介：致…...

编程日记 2025/7/15 17:24:27

CentOS上如何离线批量自动化部署zabbix 7.0版本客户端

CentOS上如何离线批量自动化部署zabbix 7.0版本客户端管理的服务器大部分都是CentOS操作系统，版本主要是CentOS 7。因为监控服务器需要，要在前两天搭建的Zabbix 7.0系统上把这些CentOS 7系统都监控起来。因为服务器数量众多，而且有些服务器…...

编程日记 2025/7/15 17:16:01

DDR3与MIG IP核详解（一）

一、ddr3(全称第三代双倍速率同步动态随机存储器)： 1、特点：1：掉电无法保存数据，需要周期性的刷新。2:时钟上升沿和下降沿都会传输数据。 3：突发传输，突发长度 Burst Length一般为…...

编程日记 2025/7/15 17:31:03

转录组数据挖掘（生物技能树）（第11节）下游分析

转录组数据挖掘（生物技能树）（第11节） 文章目录 R语言复习转录组数据差异分析差异分析的输入数据操作过程示例一：示例二：示例三：此代码只适用于人的样本 R语言复习 #### 读取 ####dat read.deli…...

编程日记 2025/7/9 11:05:45

CTF-RE 从0到N:Chacha20逆向实战 2024 强网杯青少年专项赛 EnterGame WP (END)

只想解题的看最后就好了,前面是算法分析 Chacha20 c语言是如何利用逻辑运算符拆分变量和合并的通过百度网盘分享的文件：EnterGame_9acdc7c33f85832082adc6a4e... 链接：https://pan.baidu.com/s/182SRj2Xemo63PCoaLNUsRQ?pwd1111 提取码：1…...

编程日记 2025/7/14 21:24:37

Spring Boot 的 WebClient 实践教程

什么是 WebClient？ 在 Spring Boot 中，WebClient 是 Spring WebFlux 提供的一个非阻塞、响应式的 HTTP 客户端，用于与 RESTful 服务或其他 HTTP 服务交互。相比于传统的 RestTemplate，WebClient 更加现代化，具有异步和…...

编程日记 2025/7/14 18:00:46

STM32笔记（串口IAP升级）

一、IAP简介 IAP（In Application Programming）即在应用编程， IAP 是用户自己的程序在运行过程中对 User Flash 的部分区域进行烧写，目的是为了在产品发布后可以方便地通过预留的通信口对产品中的固件程序进行更新升级。通常实…...

编程日记 2025/7/14 18:53:22

Ollama - 简化使用本地大语言模型

学习完用 Transformers 和 llama.cpp 使用本地大语言模型后，再继续探索如何使用 Ollama 跑模型。Ollama 让运行和管理大语言模型变得更为简单，它构建在 llama.cpp 之上，并有优化，性能表现同样不俗。下面罗列一下它的特点从它的 …...

编程日记 2025/7/15 17:18:56

圆域函数的傅里叶变换和傅里叶逆变换

空域圆域函数的傅里叶变换空域圆域函数（也称为空间中的圆形区域函数）通常指的是在二维空间中，以原点为中心、半径为 a a a的圆内取值为1，圆外取值为0的函数。这种函数可以表示为： f ( x , y ) { 1 if x 2 y 2 ≤ …...

编程日记 2025/7/15 16:53:43

智能交易模型的全景探索：量化技术的进步与未来

随着金融市场日益复杂化，量化交易模型在投资领域扮演着愈加重要的角色。这些模型通过数据驱动和技术创新，赋能投资者在高度波动的市场中寻找确定性收益点。本文将从技术进步、模型构建、应用优势和未来发展四个方面，探讨量化交易模型的演变与…...

编程日记 2025/7/15 16:29:54

mysql学习

1、数据库的三范式是什么？ 2、特点 - 永久性：从本质上来说数据库中的数据以计算机文件的方式存储在磁盘上- 结构性：数据不是杂乱无章的存储- 大量：只受到磁盘空间的影响 3、 Myisam与innodb的区别 4、mysql架构开始编程语言进…...

编程日记 2025/7/14 21:55:11

小白新手村冒险之“烤”json串

JSON是什么？ JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。它基于JavaScript的一个子集，但是JSON是独立于语言的文本格式，许多编…...

编程日记 2025/7/8 21:05:37

SQL基础入门—— 简单查询与条件筛选

在SQL中，查询是从数据库中获取数据的核心操作，而条件筛选是查询中不可或缺的一部分。通过使用条件筛选，我们可以精准地从大量数据中提取我们需要的信息。本节将详细讲解如何使用SQL进行简单查询与条件筛选，包含常见的条件运算符和…...

编程日记 2025/7/13 1:32:51

Java线程池种类及具体应用场景

Java线程池种类及具体应用场景在实际开发中，选择合适的线程池类型至关重要，不同场景有不同的线程池需求。本文将结合线程池种类和具体应用示例，详细说明每种线程池的使用场景和适用情况。一、固定大小线程池（FixedThreadPool&a…...

编程日记 2025/7/8 16:00:25

3D建筑模型的 LOD 规范

LOD（细节层次） 是3D城市建模中用于表示建筑模型精细程度的标准化描述不同的LOD适用于不同的应用场景 LOD是3D建模中重要的分级标准，不同层级适合不同精度和用途的需求。从LOD0到LOD4，细节逐渐丰富，复杂性和精度也逐…...

编程日记 2025/7/13 15:30:37

掌上单片机实验室 — RT - Thread+ROS2 浅尝（26）

前面化解了Micro_ROS通讯问题，并在 RT-Thread Studio 环境下，使用Micro_ROS软件包中的例程，实现了STM32F411CE核心板和ROS2主机的通讯。之后还尝试修改例程 micro_ros_sub_twist.c ，实现了接收 turtle_teleop_key 所发出的 turtle…...

编程日记 2025/7/13 1:09:02

同步时序电路——描述

这部分要求了解一些触发器的状态方程： R-S触发器： D触发器： JK触发器： 时序电路：任一时刻的输出既与即刻输入有关(若有输入)，还与电路当时的状态有关(和以前的输入有关)，即电路具有记忆能力。时…...

编程日记 2025/7/10 22:31:51

.net的winfrom程序窗体透明打开窗体时出现在屏幕右上角

窗体透明， 将Form的属性Opacity，由默认的100% 调整到 80%，这个数字越小越透明(尽量别低于50%，不信你试试看)！ 打开窗体时出现在屏幕右上角 //构造函数 public frmCalendarList() {InitializeComponent();//打开窗体&…...

编程日记 2025/7/10 18:46:20

反爬虫机制

许多网站会采取措施来防止爬虫频繁访问或抓取大量内容，这些措施被称为反爬虫机制。常见的反爬手段包括： IP 限制：通过检测频繁访问的 IP 地址，限制该 IP 的访问。请求频率限制：网站可能通过检测请求间隔过短来判断是…...

编程日记 2025/7/14 7:47:37

ML 系列：第 31 节— 机器学习中的协方差和相关性

文章目录一、说明二、协方差和相关性2.1 协方差的概念2.1 相关三、有关关联的高级主题 （有关详细信息）3.1 相关性和独立性3.2 零相关性和依赖性示例四、相关性和因果关系五、结论一、说明协方差量化了两个随机变量协同变化的程度。当一个变量的较高…...

编程日记 2025/7/15 14:10:39

registry 删除私有仓库镜像

原文链接：https://blog.csdn.net/yogima/article/details/122172744 如果需要彻底删除，只需进行register 磁盘删除镜像彻底删除了，就可以到达彻底删除的目的。如果只需要软删除，则只需进行通过API删除。 curl --header "Ac…...

编程日记 2025/7/14 1:20:42

初识java（3）

大家好，今天我们来讲讲我们的老伙计-变量，在哪一门编程语言中，变量的作用都是不可或缺的，那么下面我们就来详细了解一下java中的变量。一.变量概念在程序中，除了有始终不变的常量外，有些内容可能会经常…...

编程日记 2025/7/13 22:33:41

前端JavaScript（一）---基本介绍

Javascript是一种由Netscape(网景)的LiveScript发展而来的原型化继承的面向对象的动态类型的区分大小写的客户端脚本语言，主要目的是为了解决服务器端语言，比如Perl，遗留的速度问题，为客户提供更流畅的浏览效果。当时服务端需要对…...

编程日记 2025/7/8 17:11:39

【Linux打怪升级记 | 报错02】-bash: 警告:setlocale: LC_TIME: 无法改变区域选项 (zh_CN.UTF-8)

🗺️博客地图 📍1、报错发现 📍2、原因分析 📍3、解决办法 📍4、测试结果 1、报错发现装好了CentOS操作系统，使用ssh远程登陆CentOS，出现如下告警信息： bash: 警告:setlocale…...

编程日记 2025/7/13 19:11:14

P1198 [JSOI2008] 最大数

P1198 [JSOI2008] 最大数https://www.luogu.com.cn/problem/P1198 牵制芝士：单调队列思路： 我们的任务是找出一个区间最大值的因为插入的数与上一次的答案有关所以它是强制在线的（真无语了） 我们可以在每次插入时整一个叫…...

编程日记 2025/7/13 21:15:26

嵌入式串口通信基于芯片STC8H8K64U 串口通信入门001

引言差不多有四年的时间没有写csdn的原创文章了。一方面是由于家庭的角色转换，已为人母，家中的很多琐事牵绊了我。另一方面是因为工作确实也非常的忙碌。工作需要，也会不断地学习新的知识和复习旧的知识，思来想去，还是决心把工作中的经验心得和遇到的问题，和各位程序猿朋…...

编程日记 2025/7/14 6:15:04

基于Java的小程序电商商城开源设计源码

近年来电商模式的发展越来越成熟，基于 Java 开发的小程序电商商城开源源码，为众多开发者和企业提供了构建个性化电商平台的有力工具。基于Java的电子商城购物平台小程序的设计在手机上运行，可以实现管理员；首页、个人中心、用户…...

编程日记 2025/6/27 20:28:22

[OpenHarmony5.0][Docker][环境]OpenHarmony5.0 Docker pull线上镜像方式构建编译环境

T. 已测试目录主机类型主机版本Docker镜像版本结果WSL2Ubuntu22.04Ubuntu20.04PASSWSL2Ubuntu22.04Ubuntu18.04PASS R. 软硬件要求： 硬件： 设备容量备注硬盘>500G多版本系统测试，必须固态，否则编译卡死硬盘>300G单系统…...

编程日记 2025/7/14 7:30:22

计算机网络八股整理（二）

计算机网络八股整理（二） 应用层 1：dns的全称了解过吗？ dns全称domain-name-system，翻译过来就是域名系统，是在计算机网络中将域名转换成ip地址的分布式数据库系统； 域名服务器的层级类似一个树…...

编程日记 2025/7/10 18:34:15

华财术_号卡分销平台讲解(四大运营商+手机卡）

【号卡分销平台对比讲解稿】大家好，今天我们来详细对比几款热门的号卡分销平台，帮助您找到最适合自己的合作伙伴。我们将从佣金结算、数据安全、功能特性、用户体验以及适用人群等多个维度进行剖析，让您一目了然各平台的优劣。一、号易号…...

编程日记 2025/7/15 15:52:43

fatal error in include chain (rtthread.h):rtconfig.h file not found

项目搜索这个文件 rtconfig 找到后将其复制粘贴到你的目录\Keil\ARM\ARMCC\include 应该还有cJSON，rtthread.h和等也复制粘贴下...

编程日记 2025/6/27 22:06:35

服务器记录所有用户docker操作，监控删除容器/镜像的人

文章目录使用场景安装auditd添加docker审计规则设置监控日志大小与定期清除查询 Docker 操作日志查看所有用户，所有操作日志查看特定用户的 Docker 操作查看所有用户删除容器/镜像日志过滤特定时间范围内日志使用场景多人使用的服务器，使用的docker …...

编程日记 2025/7/12 21:27:26

电磁继电器

它的控制原理很简单，当我们给它的线圈接电，这个线圈就有了磁性，它上面的衔铁就会被吸引，这样小灯泡就会点亮继电器于MOS管的差别在于，继电器可以很轻松的胜任高电压、大电流的场合我们从外壳上可以看到 30VDC&#x…...

编程日记 2025/7/14 1:29:26

Hadoop生态圈框架部署（九）- Hive部署

文章目录前言一、Hive部署（手动部署）下载Hive1. 上传安装包2. 解压Hive安装包2.1 解压2.2 重命名2.3 解决guava冲突 3. 配置Hive3.1 配置Hive环境变量3.2 修改 hive-site.xml 配置文件3.3 配置MySQL驱动包3.3.1 下在MySQL驱动包3.3.2 上传MySQL驱动包3.…...

编程日记 2025/7/13 6:39:31

thread_id_key != 0x7777（`fibers` 包与 Node.js 16 及以上版本存在兼容性问题）

文章目录 fibers4.0.3 与 node-v16.13.2-win-x64 的兼容性1. Node.js 版本兼容性2. 特定包版本 (fibers4.0.3)3. 解决方案和替代方案结论解决方案运行yarn serve 启动项目，就会弹出上述错误。 fibers4.0.3 与 node-v16.13.2-win-x64 的兼容性要判断 fibers4.0.3…...

编程日记 2025/7/2 23:19:26

LabVIEW实现UDP通信

目录 1、UDP通信原理 2、硬件环境部署 3、云端环境部署 4、UDP通信函数 5、程序架构 6、前面板设计 7、程序框图设计 8、测试验证本专栏以LabVIEW为开发平台，讲解物联网通信组网原理与开发方法，覆盖RS232、TCP、MQTT、蓝牙、Wi-Fi、NB-IoT等协议。结合…...

编程日记 2025/7/14 14:24:22

hive的存储格式

1） 四种存储格式 hive的存储格式分为两大类：一类纯文本文件，一类是二进制文件存储。 Hive支持的存储数据的格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET 第一类：纯文本文件存储 textfile: 纯文本文件存储格式…...

编程日记 2025/7/14 7:59:12

设置Mysql5.6允许外网访问

设置mysql用户支持外网访问步骤： 需要使用root权限登录mysql，更新mysql.user表，设置指定用户的Host字段为%，默认一般为127.0.0.1或者localhost。 1.登录数据库 1 mysql -u root -p 输入密码 1 mysql> use mysql; 2.查询hos…...

编程日记 2025/7/14 9:15:34

【智能制造-44】装配仿真

装配仿真包含以下功能模块： 零件建模与导入模块功能描述： 能够创建简单的几何零件，如立方体、圆柱体、球体等基本形状。这对于一些标准件或者形状规则的零件来说，可以直接在装配仿真软件中生成，方便快捷。支持多种…...

编程日记 2025/7/13 15:28:49

回译数据增强法

具体步骤

示例代码

使用 ChatGPT 进行回译

总结

相关文章：