当前位置：首页 > news >正文

【NLP 68、R-BERT】

news 来源：原创 2025/7/28 18:44:03

为什么划掉你的名字，为什么不敢与你对视

—— 25.4.21

一、R-BERT：基于BERT的关系抽取模型

R-BERT（Relation BERT）是一种用于关系抽取（Relation Extraction）任务的模型，它结合了预训练语言模型 BERT（Bidirectional Encoder Representations from Transformers）的强大语言理解能力，在关系抽取领域取得了较好的效果。

输入一段文本，在两个特殊的实体前后加上两对不同的token，用token强调不同的实体

1.模型结构与设计

Ⅰ、核心思想：

在BERT基础上显式标记实体位置，结合句子全局信息和实体局部信息进行关系分类。

Ⅱ、输入设计：

① 实体标记：

在实体前后插入特殊符号（如 “实体1” 和 “#实体2#”），帮助BERT定位实体位置。

② 输出特征：

提取BERT输出的三部分向量——[CLS]句子向量、实体1的平均向量、实体2的平均向量。

Ⅲ、分类模块：

① 特征融合：

将三个向量分别通过Dropout、Tanh激活和全连接层，拼接后输入分类器。

② 共享权重：

实体1和实体2的特征处理层共享参数，减少模型复杂度。

2.计算方式与训练策略

Ⅰ、实体向量计算：

对实体对应的隐藏状态进行平均池化，生成实体表征。

Ⅱ、损失函数：

多类交叉熵损失，适用于关系分类任务（如SemEval-2010 Task 8数据集中的9类关系）。

Ⅲ、关键实验结论：

移除实体标记符会使F1值下降1.27%，仅使用[CLS]向量则下降1.26%，证明显式标记实体的重要性

3.应用场景

Ⅰ、人物关系分类：

例如识别“亲戚”“上下级”等社会关系。

Ⅱ、医学文本分析：

提取疾病与症状之间的关联。

Ⅲ、事件抽取：

识别新闻中的实体间因果关系。

4.关键技术优势

Ⅰ、实体感知：

通过特殊符号和向量融合增强模型对实体的关注。

Ⅱ、高效微调：

基于预训练BERT快速适配关系分类任务，减少数据需求。

Ⅲ、高准确率：

在SemEval-2010 Task 8数据集上F1值达89.25%，接近当时SOTA水平。

二、模型对比与总结

维度	KG-BERT	R-BERT
核心任务	知识图谱补全（三元组分类、链接预测）	关系抽取（实体间语义关系分类）
输入设计	三元组序列化，融合实体描述文本	显式标记实体位置，提取实体向量
关键技术	BERT+知识图谱融合、负样本生成	实体标记符、多特征融合
应用领域	问答系统、推荐系统、语义搜索	社交网络分析、医学文本挖掘、事件抽取
性能指标	在WN11、FB15K等数据集达到SOTA	SemEval-2010 Task 8的F1值89.25%

三、代码示例

import torch
from transformers import BertTokenizer, BertModel# 加载预训练的BERT模型和分词器，修改为bert-base-chinese
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
bert_model = BertModel.from_pretrained('bert-base-chinese')# 示例输入
text = "苹果公司是一家科技公司，史蒂夫·乔布斯是其创始人。"
head_entity = "苹果公司"
tail_entity = "史蒂夫·乔布斯"# 添加实体标记
text_with_entities = text.replace(head_entity, f"<e1>{head_entity}</e1>").replace(tail_entity, f"<e2>{tail_entity}</e2>")# 分词
inputs = tokenizer(text_with_entities, return_tensors='pt')# 通过BERT模型进行编码
outputs = bert_model(**inputs)# 提取实体和上下文表示
e1_start = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('<e1>')) + 1
e1_end = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('</e1>'))
e2_start = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('<e2>')) + 1
e2_end = inputs['input_ids'][0].tolist().index(tokenizer.convert_tokens_to_ids('</e2>'))e1_representation = torch.mean(outputs.last_hidden_state[0, e1_start:e1_end, :], dim=0)
e2_representation = torch.mean(outputs.last_hidden_state[0, e2_start:e2_end, :], dim=0)
context_representation = outputs.last_hidden_state[0, 0, :]  # [CLS]标记的表示# 拼接表示
combined_representation = torch.cat([e1_representation, e2_representation, context_representation], dim=0)# 假设这里有一个全连接层进行关系分类
num_relations = 3  # 假设有3种关系
classification_layer = torch.nn.Linear(combined_representation.size(0), num_relations)
logits = classification_layer(combined_representation)
probs = torch.softmax(logits, dim=0)# 预测的关系类别
predicted_relation = torch.argmax(probs).item()print(f"预测的关系类别: {predicted_relation}")

【NLP 68、R-BERT】

为什么划掉你的名字，为什么不敢与你对视 —— 25.4.21 一、R-BERT：基于BERT的关系抽取模型 R-BERT（Relation BERT）是一种用于关系抽取（Relation Extraction）任务的模型，它结合了预训练语言模型…...

编程日记 2025/7/28 18:44:03

Java:多线程

多线程线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。并发和并行并发：在同一时刻，有多个指令在单个CPU上交替执行并行：在同一时刻，有多个指令在多个CPU上同时执行 …...

编程日记 2025/7/28 13:21:16

第一章：自然语言处理

目录 1.1 自然语言处理发展史 1.2 统计语言模型发展史统计语言模型 NNLM 模型 Word2Vec 模型 ELMo 模型 BERT 模型大语言模型 1.3 小结自然语言处理（Natural Language Processing，NLP）是一门借助计算机技术研究人类语言的科学。虽…...

编程日记 2025/7/28 18:29:23

配置了.gitattributes文件后， *.jar filterlfs difflfs mergelfs -text *.so filterlfs difflfs mergelfs -text *.aar filterlfs difflfs mergelfs -text *.bin filterlfs difflfs mergelfs -text *.a filterlfs difflfs mergelfs -text 仍然推送失败 POST git-…...

编程日记 2025/7/28 13:27:45

[c语言日寄]免费文档生成器——Doxygen在c语言程序中的使用

【作者主页】siy2333 【专栏介绍】⌈c语言日寄⌋：这是一个专注于C语言刷题的专栏，精选题目，搭配详细题解、拓展算法。从基础语法到复杂算法，题目涉及的知识点全面覆盖，助力你系统提升。无论你是初学者，还是…...

编程日记 2025/7/28 18:26:39

RK3588上编译opencv 及基于c++实现图像的读入

参考博文： https://blog.csdn.net/qq_47432746/article/details/147203889 一、安装依赖包 sudo apt install build-essential cmake git pkg-config libgtk-3-dev libavcodec-dev libavformat-dev libswscale-dev libv4l-dev libxvidcore-dev libx264-dev libjpe…...

编程日记 2025/7/28 18:31:45

C++ GPU并行计算开发实战：利用CUDA/OpenCL加速粒子系统与流体模拟

🧑 博主简介：CSDN博客专家、CSDN平台优质创作者，高级开发工程师，数学专业，10年以上C/C, C#, Java等多种编程语言开发经验，拥有高级工程师证书；擅长C/C、C#等开发语言，熟悉Java常用开…...

编程日记 2025/7/28 18:30:09

Java 设计模式心法之第3篇 - 总纲：三大流派与导航地图

前两章，我们修炼了 SOLID 这套强大的“内功心法”，为构建高质量软件打下了坚实根基。现在，是时候鸟瞰整个设计模式的“武林”了！本文将为您展开一幅由 GoF 四人帮精心绘制的 23 种经典设计模式的“全景导航地图”。我们将探索这些…...

编程日记 2025/7/28 18:39:36

高级java每日一道面试题-2025年4月19日-微服务篇[Nacos篇]-Nacos未来的发展方向和规划有哪些？

如果有遗漏,评论区告诉我进行补充面试官: Nacos未来的发展方向和规划有哪些？ 我回答: Nacos 作为阿里巴巴开源的服务发现、配置管理和服务治理平台，其未来的发展方向和规划主要体现在以下几个关键领域： 1. 安全性与标准化 API分类精细化…...

编程日记 2025/7/28 18:33:21

跳过reCAPTCHA验证的技术解析与优化实践

Google的reCAPTCHA验证系统已成为保护网站安全的核心工具之一。然而，频繁的验证弹窗可能降低用户体验，甚至导致用户流失。如何在遵守平台规则的前提下，通过技术优化与用户行为管理减少验证触发率，成为我们亟需解决的难题。但需要…...

编程日记 2025/7/28 18:30:55

idea使用docker插件一键部署项目

一、首先保证我们电脑上已经安装了docker docker -v查看docker版本，如果不能识别，需要先下载docker destop，在官网下载正常安装即可。安装成功就可以使用docker 命令了二、idea下载docker插件并配置docker参数我是通过tcp连接docker服务…...

编程日记 2025/7/28 18:30:55

强化学习笔记（三）——表格型方法（蒙特卡洛、时序差分）

强化学习笔记（三）——表格型方法（蒙特卡洛、时序差分） 一、马尔可夫决策过程二、Q表格三、免模型预测1. 蒙特卡洛策略评估1) 动态规划方法和蒙特卡洛方法的差异 2. 时序差分2.1 时序差分误差2.2 时序差分方法的推广 3. 自举与采样…...

编程日记 2025/7/28 18:24:21

[SpringMVC]请求响应参数传递

controller前置url解决业务重名在项目中，常常会碰到不同的业务之间的某个方法同名的情况。例如在一个文档管理系统（有着文档和发布者两个实体）中，两个实体都有着 "add" 业务。如果两个实体相关的业务url都用 "/ad…...

编程日记 2025/7/28 18:30:54

在C++业务类和QML之间创建一个数据桥梁

工作中经常会遇到两种业务直接按无法直接沟通，此时需要建立一个桥梁将两者进行联系起来，假设一个C业务类，有一个QML UI， 如果将BridgeClass 类通过qmlRegisterType 注册到QML中，在C中如何能够调用到BridgeClass 对象吗…...

编程日记 2025/7/28 18:27:52

超详细mac上用nvm安装node环境，配置npm

一、安装NVM 打开终端，运行以下命令来安装NVM： curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.5/install.sh | bash 然后就会出现如下代码： > Profile not found. Tried ~/.bashrc, ~/.bash_profile, ~/.zprofile, ~/.…...

编程日记 2025/7/28 18:25:05

MH2103系列coremark1.0跑分数据和优化，及基于arm2d的优化应用

CoreMark 1.0 介绍 CoreMark 是由 EEMBC（Embedded Microprocessor Benchmark Consortium）组织于 2009 年推出的一款用于衡量嵌入式系统 CPU 或 MCU 性能的标准基准测试工具。它旨在替代陈旧的 Dhrystone 标准（Dhrystone 容易受到各种libc不同…...

编程日记 2025/7/28 18:30:07

YOLO11改进 | 特征融合Neck篇之Lowlevel Feature Alignment机制：多尺度检测的革新性突破

## 为什么需要重新设计特征融合机制？在目标检测领域，YOLO系列模型因其高效的实时性成为工业界和学术界的标杆。然而，随着应用场景的复杂化（如自动驾驶中的多尺度目标、无人机图像中的小物体检测），传统特征融合策略的局限性逐渐暴露：**特征对齐不足导致语义信息错位、多…...

编程日记 2025/7/28 18:38:50

解决方案：远程shell连不上Ubuntu服务器

服务器是可以通过VNC登录，排除了是服务器本身故障检查服务是否在全网卡监听 sudo ss -tlnp | grep sshd确保有一行类似 LISTEN 0 128 0.0.0.0:22 0.0.0.0:* users:(("sshd",pid...,fd3))返回无结果，表明系统里并没有任…...

编程日记 2025/7/28 18:31:44

Flutter路由模块化管理方案

总结记录一下Flutter路由模块管理： 1、创建路由基类 abstract class BaseRouteConfig {Map<String, WidgetBuilder> get routes; } 2、创建不同模块的路由配置类 // 认证模块路由 class AuthRoutes extends BaseRouteConfig {overrideMap<String, Widg…...

编程日记 2025/7/28 18:36:46

Java BIO、NIO、AIO、Netty面试题（已整理全套PDF版本）

什么是IO Java中的I/O（输入/输出）机制基于流（Stream）的概念实现数据的传输。流将数据序列化，即按照特定顺序逐次进行读写操作。简而言之，Java程序通过I/O流与外部设备进行数据交换。 Java类库中的I/O功能十…...

编程日记 2025/7/27 11:12:54

TapData × 梦加速计划 | 与 AI 共舞，TapData 携 AI Ready 实时数据平台亮相加速营，企业数据基础设施现代化

在实时跃动的数据节拍中，TapData 与 AI 共舞，踏出智能未来的新一步。 4月10日，由前海产业发展集团、深圳市前海梦工场、斑马星球科创加速平台等联合发起的「梦加速计划下一位独角兽营」正式启航。本次加速营以“打造下一位独角兽企业”为目…...

编程日记 2025/7/26 17:52:10

一键部署k8s之EFK日志收集系统

一、部署es 1.下载安装 #下载安装 https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.13.2-linux-x86_64.tar.gz #解压 [rootes software]# tar xf elasticsearch-8.13.2-linux-x86_64.tar.gz #创建运行elasticsearch服务用户并修改权限 [rootes softw…...

编程日记 2025/7/27 11:12:50

Python常用的第三方模块【openpyxl库】读写Excel文件

openpyxl库模块是用于处理Microsoft Excel文件的第三方库，可以对Excel文件中的数据进行写入和读取。 weather.pyimport reimport requests#定义函数 def get_html():urlhttps://www.weather.com.cn/weather1d/101210101.shtml #爬虫打开浏览器上的网页resprequests.…...

编程日记 2025/7/27 11:12:48

加油站小程序实战教程12显示会员信息

目录 1 布局搭建1.1 搭建头像1.2 显示会员等级1.3 余额显示最终效果我们上一篇介绍了会员注册的功能，会员注册后再次进入页面的时候就可以根据openid加载会员信息，本篇我们介绍一下显示会员的余额 1 布局搭建我们现在在我的页面显示的是会员未开通…...

编程日记 2025/7/27 11:12:46

iOS中使用AWS上传zip文件到Minio上的oss平台上

1. 集成AWS相关库（千万不要用最新的版本，否则会出现风格化虚拟路径，找不到主机名） pod AWSS3, ~> 2.10.0 pod AWSCore, ~> 2.10.0 2. 编写集成的相关代码 - (void)uploadFileToMinIO {NSString *endPoint "http://…...

编程日记 2025/7/27 11:12:44

PaginationInnerInterceptor使用（Mybatis-plus分页）

引言最近在编写SQL语句时总是想着偷懒，于是在前不久学习黑马点评时学到可以使用PaginationInnerInterceptor，于是现在我也在自己的项目中进行使用了，但是使用也遇到一些问题，如果你和我的问题一样，希望我的解决办法能…...

编程日记 2025/7/27 11:12:42

极狐GitLab CEO 柳钢受邀出席 2025 全球机器学习技术大会

极狐GitLab 是 GitLab 在中国的发行版，关于中文参考文档和资料有： 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网 2025 年 4 月 18 日至 19 日，2025 全球机器学习技术大会（ML-Summit 2025）在上海隆重举行。…...

编程日记 2025/7/27 11:12:39

数据仓库 vs 数据湖：架构、应用场景与技术差异全解析

目录一、概念对比：结构化 vs 全类型数据二、技术架构对比 1. 数据仓库架构特点 2. 数据湖架构特点三、典型应用场景数据仓库适合： 数据湖适合： 四、数据湖仓一体：趋势还是折中？ 五、总结：如何…...

编程日记 2025/7/27 11:12:37

【25软考网工笔记】第三章局域网（1）CSMA/CD、二进制指数退避算法、最小帧长计算

目录一、CSMA/CD 1. 局域网架构概述 2. 局域网的拓扑结构 3. CSMA 1）CSMA的三种监听算法 1、1-坚持型监听算法（继续监听，不等待） 2、非坚持型监听算法（后退随机事件） 3、P-坚持型监听算法 2&#…...

编程日记 2025/7/27 11:12:35

Harbor对接非AWS对象存储

背景说明项目的应用完全运行在一个离线环境中，同时通过K8S的方式进行容器编排。需要自建一个harbor的镜像仓库。并且通过私有云提供的S3服务进行容器镜像的持久化存储。我踩的其中的一个坑就是S3的region名字非AWS的标准名称。运行时抱错如下： 2025-04…...

编程日记 2025/7/27 11:12:33

实训Day-1 漏洞攻击实战

目录实训任务1 漏洞攻击实战一实训任务2 漏洞攻击实战二实训任务3 白云新闻搜索实训任务4 手速要快实训任务5 包罗万象总结今天的实训目的是为了：了解漏洞攻击的一般步骤；掌握SQL注入的基本原理；掌握XSS攻击的基本原理&#xff…...

编程日记 2025/7/27 11:12:31

Linux-网络基础

一.网络背景网络的起源与20世纪中期的冷战背景密切相关。美苏争霸期间，美国国防部担心传统集中式通信系统（如电话网络）在核战争中容易被摧毁，因此急需一种去中心化、高容错的通信方式。1969年，美国国防部高级研究计划…...

编程日记 2025/7/27 11:12:28

算法 | 鲸鱼优化算法（WOA）原理，公式，应用，算法改进研究综述，完整matlab代码

===================================================== github：https://github.com/MichaelBeechan CSDN：https://blog.csdn.net/u011344545 ===================================================== 鲸鱼优化算法一、原理与公式二、应用领域三、算法改进研究四、完整MAT…...

编程日记 2025/7/27 11:12:26

[BJDCTF2020]EzPHP

这一道题里面的知识点实在是太多了，即使这道题是我最喜欢的RCE也有点大脑停转了，所以还是做个笔记，以后方便回忆直接跳过打点，来到源码 <?php highlight_file(__FILE__); error_reporting(0); $file "1nD3x.php"…...

编程日记 2025/7/27 11:12:24

企业微信-自建应用

1. 创建自建应用 2. 配置小程序/H5入口 3. 准备 ： CorpId（企业id）、 AgentID（应用id）、 CorpsecretID（应用Secret） 4. 配置企业可信IP 5. 如H5需要授权登录，那么需要配置网页授…...

编程日记 2025/7/27 11:12:22

[FPGA基础] 时钟篇

Xilinx FPGA 时钟管理详细文档本文档详细介绍 Xilinx FPGA 中的时钟管理，包括时钟资源、时钟管理模块、设计注意事项以及最佳实践。适用于使用 Xilinx 7 系列、UltraScale 和 UltraScale 系列 FPGA 的开发者。 1. 时钟资源概述 Xilinx FPGA 提供丰富的时钟资源&a…...

编程日记 2025/7/26 13:04:56

高德火星坐标(GCJ-02)转WGS84坐标

高德火星坐标(GCJ-02)转WGS84坐标 1 转换算法 import mathdef gcj02_to_wgs84(lon, lat):"""高德火星坐标(GCJ-02)转WGS84坐标"""a 6378245.0 # 长半轴ee 0.00669342162296594323 # 扁率def transform_lon(x, y):ret 300.0 x 2.0 * y …...

编程日记 2025/7/27 11:12:18

基于opencv和PaddleOCR识别身份证信息

1、安装组件 pip install --upgrade paddlepaddle paddleocr 2、完整code import cv2 import numpy as np from paddleocr import PaddleOCR# 初始化 PaddleOCR use_angle_clsTrue, lang"ch", det_db_thresh0.1, det_db_box_thresh0.5)def preprocess_image(image…...

编程日记 2025/7/27 11:12:16

Day-1 漏洞攻击实战

实训任务1 漏洞攻击实战一使用御剑得到网站后台地址数据库登录与日志配置使用默认密码 root:root 登录phpMyAdmin，执行 SHOW VARIABLES LIKE general% 查看日志状态。开启日志功能：set global general_log "ON";（配图&…...

编程日记 2025/7/28 2:28:22

穿透数据迷雾：PR 曲线与 ROC 曲线的深度剖析+面试常见问题及解析

一、混淆矩阵与评价指标基础混淆矩阵核心构成：混淆矩阵是分类模型性能评估的基石，以 22 矩阵形式呈现分类结果。其中，真正例（TP）表示实际为正类且被正确预测的样本；假正例（FP）是实…...

编程日记 2025/7/27 8:33:04

【Linux篇】轻松搭建命名管道通信：客户端与服务器的互动无缝连接

从零开始：基于命名管道实现客户端与服务器的实时通信一. 命名管道1.1 基本概念1.2 创建命名管道1.2.1 创建方法1.2.2 示例代码：1.2.3 注意事项：1.3 与匿名管道区别 1.4 打开原则1.4.1 管道打开顺序1.4.2 阻塞行为1.4.3 管道的关闭1.4.4 关闭…...

编程日记 2025/7/27 11:12:09

快充协议芯片XSP04D支持使用一个Type-C与电脑传输数据和快充取电功能

快充是由充电器端的充电协议和设备端的取电协议进行握手通讯进行协议识别来完成的，当充电器端的充电协议和设备端的取电协议握手成功后，设备会向充电器发送电压请求，充电器会根据设备的需求发送合适的电压给设备快速供电。设备如何选择快充…...

编程日记 2025/7/27 4:28:19

MySQL的窗口函数（Window Functions）

一、窗口函数核心概念窗口（Window） 窗口是数据行的集合，由OVER()子句定义。它决定了函数计算的“数据范围”，可以是一个分区的全部行、当前行前后的行，或动态变化的子集。语法结构 SELECT window_f…...

编程日记 2025/7/27 11:12:05

一个很简单的机器学习任务

一个很简单的机器学习任务前言基于线上colab做的一个简单的案例，应用了线性回归算法，预测了大概加州3000多地区的房价中位数过程先导入了Pandas，这是一个常见的Python数据处理函数库用Pandas的read_csv函数把网上一个共享数据集&…...

编程日记 2025/7/27 11:12:03

ORION：通过视觉-语言指令动作生成的一个整体端到端自动驾驶框架

25年3月来自华中科技和小米电动汽车的论文“ORION: A Holistic End-to-End Autonomous Driving Framework by Vision-Language Instructed Action Generation”。由于因果推理能力有限，端到端 (E2E) 自动驾驶方法仍然难以在交互式闭环评估中做出正确决策。当前的方…...

编程日记 2025/7/27 10:08:26

python全栈-flask

python全栈-flask 文章目录入门上手hello worldflask运行方式测试路由with app.test_request_context():debug模式配置flask参数动态路由数据类型自定义转换器to_pythonPostMan（API测试查询参数的获取请求体参数上传文件其它参数url_for 函数重定向响应内容自定义响…...

编程日记 2025/7/27 12:44:39