当前位置：首页 > news >正文

【NLP 69、KG - BERT】

news 来源：原创 2025/7/27 20:32:12

人们总是在无能为力的时候喜欢说顺其自然

—— 25.4.21

一、KG-BERT：基于BERT的知识图谱补全模型

1.模型结构与设计

Ⅰ、核心思想：

将知识图谱中的三元组（头实体-关系-尾实体）转化为文本序列，利用BERT的上下文理解能力进行知识图谱补全任务（如三元组分类、链接预测）。

Ⅱ、输入设计：

① 三元组序列化：

将实体和关系的名称或描述文本拼接成序列，格式为 [CLS] 头实体描述 [SEP] 关系描述 [SEP] 尾实体描述 [SEP]。

② 实体表示灵活性：

头尾实体可以是实体名本身或详细的文本描述（例如，“Steve Jobs”或“Apple Inc. is a technology company”）。

Ⅲ、任务模块：

① 三元组分类：

通过BERT的[CLS]标记输出进行二分类（判断三元组是否成立），使用交叉熵损失。

② 关系预测：

将任务调整为多分类问题，预测两个实体之间的关系。

③ 链接预测：

预测缺失的实体或关系，支持知识图谱的自动补全。

2.计算方式与训练策略

Ⅰ、数据构造：

① 正样本：

来自知识图谱的原始三元组。

② 负样本：

随机替换正样本中的头/尾实体或关系生成负例。

Ⅱ、损失函数：

① 三元组分类：

二元交叉熵损失。

② 关系预测：

多类交叉熵损失。

Ⅲ、预训练与微调：

基于预训练的BERT模型进行微调，无需从头训练，适配知识图谱任务。

3.应用场景

Ⅰ、智能问答：

补全知识图谱中的缺失关系，提升答案准确性。

Ⅱ、推荐系统：

利用实体关系增强个性化推荐。

Ⅲ、语义搜索：

通过知识图谱补全优化搜索结果的语义相关性。

4.关键技术优势

Ⅰ、上下文融合：

通过BERT的双向注意力机制捕捉实体和关系的深层语义关联。

Ⅱ、灵活性：

支持多种知识图谱任务（分类、预测、补全）。

Ⅲ、高效性：

利用预训练BERT减少训练时间，适合大规模知识图谱处理。

二、模型对比与总结

维度	KG-BERT	R-BERT
核心任务	知识图谱补全（三元组分类、链接预测）	关系抽取（实体间语义关系分类）
输入设计	三元组序列化，融合实体描述文本	显式标记实体位置，提取实体向量
关键技术	BERT+知识图谱融合、负样本生成	实体标记符、多特征融合
应用领域	问答系统、推荐系统、语义搜索	社交网络分析、医学文本挖掘、事件抽取
性能指标	在WN11、FB15K等数据集达到SOTA	SemEval-2010 Task 8的F1值89.25%

三、代码示例

import torch
from transformers import BertTokenizer, BertForSequenceClassificationdef predict_relation(text, head_entity, tail_entity, model, tokenizer):try:# 构建输入文本input_text = f"头实体: {head_entity} 尾实体: {tail_entity} 文本: {text}"# 分词inputs = tokenizer(input_text, return_tensors='pt')# 检查是否有可用的GPUdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")model.to(device)inputs = {k: v.to(device) for k, v in inputs.items()}# 前向传播with torch.no_grad():outputs = model(**inputs)# 获取预测结果logits = outputs.logitspredicted_class_id = torch.argmax(logits, dim=-1).item()return predicted_class_idexcept Exception as e:print(f"预测过程中出现错误: {e}")return None# 加载预训练的BERT模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=3)  # 假设有3种关系类型# 示例输入
text = "苹果公司是一家科技公司，史蒂夫·乔布斯是其创始人。"
head_entity = "苹果公司"
tail_entity = "史蒂夫·乔布斯"# 进行预测
predicted_class_id = predict_relation(text, head_entity, tail_entity, model, tokenizer)
if predicted_class_id is not None:print(f"预测的关系类别: {predicted_class_id}")

【NLP 69、KG - BERT】

人们总是在无能为力的时候喜欢说顺其自然 —— 25.4.21 一、KG-BERT：基于BERT的知识图谱补全模型 1.模型结构与设计 Ⅰ、核心思想： 将知识图谱中的三元组（头实体-关系-尾实体）转化为文本序列，利用BERT的上下文理解能…...

编程日记 2025/7/27 20:32:12

Spring解决循环依赖

Spring 通过三级缓存机制解决循环依赖问题，其核心思想是提前暴露未完全初始化的 Bean，允许依赖方在 Bean 完全初始化前引用其早期版本。以下是详细解析： 一、三级缓存机制 Spring 在单例 Bean 的创建过程中维护了三级缓存，用于…...

编程日记 2025/7/26 16:30:51

深入解析 Spring 中的 @Value 注解（含源码级剖析 + 自定义实现）

深入解析 Spring 中的 Value 注解（含源码级剖析自定义实现） 在 Spring 开发中，我们经常使用 Value 注解将配置文件中的值注入到 Bean 的属性中。本文将深入探讨 Value 的使用方式、默认值支持、底层原理以及自定义实现方式。一、Value 的…...

编程日记 2025/7/25 21:56:34

【Flink SQL实战】 UTC 时区格式的 ISO 时间转东八区时间

文章目录一、原始数据格式二、解决方案三、其他要求在实际开发中，我们常常会遇到此类情况：数据源里的时间格式是类似 2025-04-21T09:23:16.025Z 这种带 TimeZone 标识的 ISO 8601 格式，而我们需要在 Flink SQL 中将其转换成北京时间显示。 …...

编程日记 2025/7/26 19:36:19

【论文阅读23】-地下水预测-TCN-LSTM-Attention（2024-11）

这篇论文主要围绕利用深度学习模型检测地下水位异常以识别地震前兆展开。 [1] Chen X, Yang L, Liao X, et al. Groundwater level prediction and earthquake precursor anomaly analysis based on TCN-LSTM-attention network[J]. IEEE Access, 2024, 12: 176696-176718. 期刊…...

编程日记 2025/7/26 19:36:16

/proc/sys/vm/下各参数含义

/proc/sys/vm/下各参数含义 admin_reserve_kbytes如何计算最小有效预留？ compact_memorycompaction_proactivenesscompact_unevictable_alloweddirty_background_bytesdirty_background_ratiodirty_bytesdirty_expire_centisecsdirty_ratiodirtytime_expire_seconds…...

编程日记 2025/7/27 20:27:59

算法分析与设计——动态规划复习题（待更新

检测题： 组合优化问题的目标函数通常不包括以下哪种形式？ A. 需最小化的代价函数 B. 需最大化的回报函数 C. 需满足的硬约束条件 D. 需最小化的能量函数答案：C 关于约束条件的说法，以下哪项是正确的？ A. 硬约束可以通…...

编程日记 2025/7/26 19:36:12

【EasyPan】项目常见问题解答（自用持续更新中…）

EasyPan 网盘项目介绍一、项目概述 EasyPan 是一个基于 Vue3 SpringBoot 的网盘系统，支持文件存储、在线预览、分享协作及后台管理，技术栈涵盖主流前后端框架及中间件（MySQL、Redis、FFmpeg）。二、核心功能模块用户认证注册…...

编程日记 2025/7/26 19:36:10

基于Java的不固定长度字符集在指定宽度和自适应模型下图片绘制生成实战

目录前言一、需求介绍 1、指定宽度生成 2、指定列自适应生成二、Java生成实现 1、公共方法 2、指定宽度生成 3、指定列自适应生成三、总结前言在当今数字化与信息化飞速发展的时代，图像的生成与处理技术正日益成为众多领域关注的焦点。从创意设计到数…...

编程日记 2025/7/27 20:29:18

电子电器架构 ---软件定义汽车的电子/电气（E/E）架构

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁，漫无目的走着，大概这就是成年人最深的孤独吧! 旧人不知我近况，新人不知我过…...

编程日记 2025/7/26 19:36:06

Stable Diffusion 制作角色三视图

对于漫画创作，DPM 2M Karras和UniPC是高效且稳定的首选采样方法，结合Karras噪声调度可显著提升画面质量。若需进一步优化，可参考具体场景调整步数并辅以ControlNet等工具。避免使用随机性强的采样器（如Euler a）&#x…...

编程日记 2025/7/26 19:36:04

C++--负载均衡在线OJ

这是本人写的第二个项目，相比第一个代码量更少一些，但是此项目涉及linux中的内容更多，同样是干货满满，实现了类似 leetcode 的题⽬列表在线编程功能，地址仓库：xwy/C学习项目 1. 所用技术与开发环境 C11和…...

编程日记 2025/7/26 1:26:41

【数字图像处理】彩色图像处理（1）

研究彩色图像处理的原因 1：利用颜色信息，可以简化目标物的区分，以及从场景中提取出目标物 2：人眼对颜色非常敏感，可以分辨出来几千种颜色色调和亮度，却只能分别出几十种灰度彩色图像分类伪彩色图像处理&…...

编程日记 2025/7/26 19:36:00

【Easylive】consumes = MediaType.MULTIPART_FORM_DATA_VALUE 与 @RequestPart

【Easylive】项目常见问题解答（自用&持续更新中…） 汇总版 consumes MediaType.MULTIPART_FORM_DATA_VALUE 的作用 1. 定义请求的数据格式 • 作用：告诉 Feign 和 HTTP 客户端，这个接口接收的是 multipart/form-data 格式的…...

编程日记 2025/7/26 1:29:49

【python】copy deepcopy 赋值= 对比

上结论写法是否独立是否安全修改copy() （用于一维列表）✅ 是独立副本✅ 安全deepcopy() （多层结构时用）✅ 是完全副本✅ 安全直接赋值（）❌ 是引用❌ 改一个会影响另一个一、.copy() 和 deepcopy() 有什…...

编程日记 2025/7/26 19:35:56

环形缓冲区容量耗尽解决方案

以下是针对环形缓冲区在时间窗口统计场景中容量耗尽问题的解决方案设计及优劣分析，结合搜索结果中的技术原理和工程实践： 一、核心问题定位当环形缓冲区容量耗尽时，新数据覆盖旧数据会导致： 时间窗口统计失真：无法准…...

编程日记 2025/7/26 19:35:52

蓝桥杯 17.发现环

发现环原题目链接题目描述小明的实验室有 N 台电脑，编号 1 ⋯ N。原本这 N 台电脑之间有 N−1 条数据链接相连，恰好构成一个树形网络。在树形网络上，任意两台电脑之间有唯一的路径相连。不过在最近一次维护网络时，管理…...

编程日记 2025/7/26 19:35:49

数据库服务器架构

ORM ORM（Object Relational Mapping）：对象与关系数据之间的映射映射关系表： 类（class）—— 数据库的表（table） 对象（object）——记录（record…...

编程日记 2025/7/26 19:35:47

Netty前置基础知识之BIO、NIO以及AIO理论详细解析和实战案例

前言 Netty是什么？ Netty 是一个基于 Java 的高性能异步事件驱动网络应用框架，主要用于快速开发可维护的协议服务器和客户端。它简化了网络编程的复杂性，特别适合构建需要处理海量并发连接、低延迟和高吞吐量的分布式系统。 1)Netty 是…...

编程日记 2025/7/26 19:35:45

职坐标IT培训：人工智能职业跃迁路径

随着人工智能时代全面来临，职业发展格局正经历颠覆性重构。政策端，《新一代人工智能发展规划》与《生成式AI服务管理办法》双轨并行，既为行业注入动能，也划定了技术应用的合规边界。在此背景下，从业者需构建覆盖基础理…...

编程日记 2025/7/26 19:35:43

Redis 的单线程模型对微服务意味着什么？需要注意哪些潜在瓶颈？

Redis 的单线程模型是其高性能的关键因素之一，但这在微服务场景下既是优势，也可能带来潜在的瓶颈。理解这一点有助于我们在微服务架构中更好的使用Redis。 Redis 单线程模型的核心： 命令处理是单线程的: Redis 使用了一个主线程来接收客户端…...

编程日记 2025/7/26 19:35:41

Redis 有序集合（Sorted Set）

Redis 有序集合（Sorted Set） 以下从基础命令、内部编码和使用场景三个维度对 Redis 有序集合进行详细解析： 一、基础命令命令时间复杂度命令含义zadd key score member [score member …] O ( k l o g ( n ) ) O(klog(n)) O(klog(n))&…...

编程日记 2025/7/26 19:35:39

C语言中联合体(Union)和结构体(Struct)的嵌套用法

联合体和结构体是C语言中两种重要的复合数据类型，它们可以相互嵌套使用，为复杂数据的表示提供了灵活的方式。 1. 联合体(Union)基础联合体是一种特殊的数据类型，允许在相同的内存位置存储不同的数据类型。联合体的所有成员共享同一块内存空…...

编程日记 2025/7/26 19:35:37

Rust: 从内存地址信息看内存布局

内存布局其实有几个：address（地址）、size（大小）、alignment（对齐位数，2 的自然数次幂，2，4，8…）。今天主要从address来看内存的布局。下面以Str…...

编程日记 2025/7/26 19:35:35

分类算法中one-vs-rest策略和one-vs-one 策略的区别是什么？

LGBMClassifier 参数中，常使用objective: 这个参数定义了模型的目标函数。而对于多分类问题，通常使用 multiclass 或者 multiclassova。multiclass 表示 one-vs-rest 策略，而 multiclassova 则是 one-vs-one 策略。在机器学习领域&#x…...

编程日记 2025/7/26 19:35:33

新能源汽车充电桩运营模式的发展与优化路径探析

摘要：以民用新能源汽车充电桩为研究对象，在分析政府主导型、电网企业主导型及汽车厂商主导型三种运营模式特点的基础上，结合我国新能源汽车发展现状，提出汽车厂商与电网企业协同共建的联盟模式。通过构建涵盖政府补贴、建设成本与…...

编程日记 2025/7/26 19:35:31

【前端样式】用 aspect-ratio 实现等比容器：视频封面与图片占位的终极解决方案

在网页开发中，处理视频封面、图片卡片等需要固定比例的容器一直是前端工程师的必修课。本文将以 aspect-ratio 属性为核心，深入探讨如何优雅实现等比容器，并通过完整代码示例和常见问题解析，助你彻底掌握这一现代布局利器。目录…...

编程日记 2025/7/26 2:59:03

redis常用的五种数据类型

redis常用的五种数据类型文档 redis单机安装redis数据类型-位图bitmap 说明官网操作命令指南页面：https://redis.io/docs/latest/commands/?nameget&groupstring 常用命令 keys *：查看所有键exists k1 k2：键存在个数type k1&…...

编程日记 2025/7/26 19:35:27

Cribl 利用表向event 中插入相应的字段-example-02

Working with Lookups – Example 2 Let’s assume we have the following lookup file, and given both the fields impact and priority in an event, we would like to add a corresponding ingestion-time field called severity. cisco_sourcefire_severity.csv im…...

编程日记 2025/7/26 19:35:25

一、KG-BERT：基于BERT的知识图谱补全模型

1.模型结构与设计

Ⅰ、核心思想：

Ⅱ、输入设计：

① 三元组序列化：

② 实体表示灵活性：

Ⅲ、任务模块：

① 三元组分类：

② 关系预测：

③ 链接预测：

2.计算方式与训练策略

Ⅰ、数据构造：

① 正样本：

② 负样本：

Ⅱ、损失函数：

① 三元组分类：

② 关系预测：

Ⅲ、预训练与微调：

3.应用场景

Ⅰ、智能问答：

Ⅱ、推荐系统：

Ⅲ、语义搜索：

4.关键技术优势

Ⅰ、上下文融合：

Ⅱ、灵活性：

Ⅲ、高效性：

二、模型对比与总结

三、代码示例

相关文章：