当前位置：首页 > news >正文

GreenKGC: A Lightweight Knowledge Graph Completion Method（论文笔记）

news 来源：原创 2025/8/15 8:39:37

CCF等级：A

发布时间：2023年7月

代码位置

25年3月17日交

目录

一、简介

二、原理

1.整体

2.表示学习

3.特征修剪

4.决策学习

三、实验性能

1.主要结果

2.消融实验

四、结论和未来工作

一、简介

传统知识图谱补全方法中，嵌入维度的选择很关键，维度过低会导致高误差，而过高则易过拟合且计算成本大。GreenKGC通过降低维度来解决这些问题。它首先获得实体和关系的高维表示，然后通过计算保留最关键维度，减少过拟合并降低计算复杂度。这样，GreenKGC在低维度下也能保持良好性能，同时显著减小模型大小。

二、原理

1.整体

GreenKGC由三个模块组成：表示学习、特征修剪、决策学习。

首先使用现有的知识图谱嵌入方法获取实体和关系的高维表示。然后，在特征剪枝阶段，通过一种称为判别特征测试（DFT）的方法来评估每个维度的重要性。具体来说，通过每一个三元组（h，r，t），计算各维度对区分正样本和负样本的能力。

在这个过程中，对每一个三元组，通过线性变换将头实体h、关系r、尾实体t 的各维度组合成一个单一变量，并基于这些变换后的特征计算其对正负样本的判别能力（通过交叉熵）。根据计算出的权重（即判别能力），保留那些具有较高权重的维度，从而形成低维并且具有区分性的特征能力。这种方法有助于减少不必要的参数，提高模型效率，同时保持甚至提升性能。

2.表示学习

可以使用现有的模型例如TransE、RotatE等，这一块不是文章重点考虑的对象。

3.特征修剪

考虑到知识图谱中的关系不可能是完全无关的，因此首先将他们划分为不相交的关系组，魅族关系具有相似的属性，方便后续对每个关系组内进行特征修剪。文章使用k-Means对嵌入关系进行聚类。

使用不同的分类数k，会呈现不同的效果。交叉熵越小证明有效地识别正样本和负样本。

（文章中这一部分是在DFT以后写的，但在程序上是先进行特征分区再DFT，因此这块提前写。）

DFT可用于降低实体和关系嵌入的维数，同时保留它们在下游任务中的能力。

文章将DFT扩展到多个维度，通过SVD（奇异值分解，简单来说就是将一个矩阵分解为三个矩阵的的乘积）和PCA（主成分分析，简单来说就是确定权重以及找到权重大的维度）学习每个维度的线性变换。

但是由于PCA的线性变换是无监督的，难以将正负三元组区分开（后面需要使用）。因此使用最小化二元交叉熵损失的逻辑回归来实现。整体相当于DFT=SVD+PCA+最小化二元交叉熵。

$\zeta = -y\log(\sigma (\omega_i[h_i,r_i,t_i]^{T}))-(1-y)\log(1-\sigma(\omega_i[h_i,r_i,t_i]^{T}))$

将正三元组取y=1，负三元组取y=0。以此计算每个维度。DFT采用交叉熵（CE）评估每个维度的判别能力。因为CE是二值分类的损失函数，CE越低的维度意味着判别能力越强。因此保留最低CE的特征维度，并对剩余的特征进行修剪以获取低维特征。

4.决策学习

文章采用二元分类器作为解码器，性能比评分函数更强大，输入三元组的特征，输出三元组正确概率（0到1）。文章使用负样本进行训练非线性的二元分类器。将每一个特征带入公式计算得出一个二元分类器。y= 1是正样本，y=0是负样本。

$l(y,\widehat{y})=-y\log(\widehat{y})-(1-y)\log(1-\widehat{y})$

文章考虑两种负抽样。一种基于本体的负抽样，一种基于嵌入的负抽样。文章通过实验选择基于嵌入的负抽样。

三、实验性能

1.主要结果

表3证明以前的模型再加上GreenKGC后都有了大的性能提升。比另外几种模型性能高。

图四表示加入GreenKGC的模型在较低维度时就具有较高的正确率。

GreenKGC可以在模型尺寸缩小约5倍的情况下获得具有竞争力甚至更好的性能。在有限资源下
将GreenKGC应用于大规模KGs的性能优势。

2.消融实验

实验了不进行特征剪枝、随机剪枝、基于方差的剪枝、基于特征重要性的剪枝、基于交叉熵的剪枝。数据如下。

四、结论和未来工作

1.增强特征剪枝的灵活性

2.改进负抽样策略

3.与其他模型的融合（如GNN）

相关文章：

GreenKGC: A Lightweight Knowledge Graph Completion Method（论文笔记）

CCF等级：A 发布时间：2023年7月代码位置 25年3月17日交目录一、简介二、原理 1.整体 2.表示学习 3.特征修剪 4.决策学习三、实验性能 1.主要结果 2.消融实验四、结论和未来工作一、简介传统知识图谱补全方法中，嵌入维度…...

编程日记 2025/8/15 8:39:37

Android Composable 与 View 的联系和区别

在 Android 开发中，‌Composable‌（Jetpack Compose）与‌View‌（传统 View 系统）是两种不同的 UI 构建范式。本文将从核心联系、核心区别、代码实现三方面展开对比，并通过实例代码帮助开发者理解其应用场景…...

编程日记 2025/8/3 4:17:57

微信小程序wx.request接口报错(errno: 600001, errMsg: “request:fail -2:net::ERR_FAILED“)

来看看报错报错如下: 请求发送部分,代码如下: uni.request({url: self.serverUrl "/getRealName",method: GET,data: {"code": self.info.code,},header: {"Authorization": uni.getStorageSync(tokenHead) uni.getStorageSync(token)}}…...

编程日记 2025/8/15 8:39:36

多线程与并发编程面试专题

多线程与并发编程面试专题线程的基础概念基础概念线程的创建线程的状态线程的终止方式start 与 run 区别线程的常用方法锁锁的分类深入synchronized深入ReentrantLock死锁问题阻塞队列线程池线程的基础概念基础概念进程与线程进程：指运行中的程序。比如我…...

编程日记 2025/8/6 5:11:56

大语言模型-1.2-大模型技术基础

简介本博客内容是《大语言模型》一书的读书笔记，该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品，覆盖大语言模型训练与使用的全流程，从预训练到微调与对齐，从使用技术到评测应用，帮助学员全面掌握大语言模型的…...

编程日记 2025/8/8 11:35:29

【C++】每日一练（轮转数组）

本篇博客给大家带来的是用C语言来解答轮转数组！ 🐟🐟文章专栏：每日一练 🚀🚀若有问题评论区下讨论，我会及时回答 ❤❤欢迎大家点赞、收藏、分享！ 今日思想：不服输的少年啊…...

编程日记 2025/8/10 19:39:21

dify本地源码win10部署

我的win10版本还比较老，winR，输入winver 只要高于我这个版本的都没啥大问题吧，我的安装docker Desktop，搞死人了， 就是win10的Win10 22H2 64之前的版本 win10低版本安装，里面包含wdl2安装程序 https://…...

编程日记 2025/8/14 11:09:41

Spring Cloud Config - 动态配置管理与高可用治理

引言：为什么需要配置中心？ 在微服务架构中，配置管理面临分散化、多环境、动态更新三大挑战。传统基于application.yml等配置文件的硬编码方式，导致以下问题： • 环境差异：开发、测试、生产环境配置混杂&a…...

编程日记 2025/8/12 21:40:07

大模型最新面试题系列：微调篇之微调框架（一）

一. 在DeepSpeed中配置零冗余优化（ZeRO）实现显存优化的步骤核心原理 ZeRO通过分片（Sharding）技术将模型参数、梯度和优化器状态分布到多卡，消除冗余存储。三个阶段逐步减少显存占用： Stage 1&#xff1…...

编程日记 2025/8/11 23:37:32

windows第十三章 GDI绘图技术

文章目录 GDI绘图函数介绍设备上下文函数m_hDC GDI对象画笔画刷位图字体区域案例分享 GDI绘图函数介绍绘图函数在CDC类里设备上下文 DC:device context 设备上下文，显卡驱动程序，控制硬件，每个厂商的都不同，操作系统层面&am…...

编程日记 2025/8/15 4:46:41

使用 Nginx 进行前端灰度发布的策略与实践

1. 引言灰度发布的概念灰度发布，也称为金丝雀发布，是一种软件发布策略，通过向一小部分用户群体逐步推出新版本，收集反馈并监控性能，以确保新版本在大规模部署前不会出现问题。这种方法可以有效降低发布风险&#x…...

编程日记 2025/7/29 21:51:38

有了大语言模型还需要 RAG 做什么

一、百炼平台简介阿里云的百炼平台就像是一个超级智能的大厨房，专门为那些想要做出美味AI大餐的企业和个人厨师准备的。你不需要从头开始做每一道菜，因为这个厨房已经为你准备了很多预制食材（预训练模型），你可以根据…...

编程日记 2025/8/12 8:07:01

pytest快速入门 - 目录：半天掌握pytest

1 pytest快速入门 - 目录本系列文章将快速的带领用户进入pytest领域，通过阅读本专栏，用户将可以熟练掌握pytest的基本用法，同时对测试前置条件的构造、后置条件的清理等有较深入的了解，特别是后置条件的执行完备度有一个认识。 …...

编程日记 2025/8/9 17:42:44

2.4 python网络编程

在当今数字化的时代，网络连接着世界的每一个角落。从简单的网页浏览到复杂的分布式系统，网络编程无处不在。Python 作为一种功能强大且易于学习的编程语言，在网络编程领域占据着重要的地位。它丰富的库和简洁的语法使得开发者能够高效地构建各…...

编程日记 2025/8/12 7:40:06

网络变压器的主要电性参数与测试方法（4）

Hqst盈盛（华强盛）电子导读：网络变压器的主要电性参数与测试方法（4）.. 今天我们继续来看看网络变压器的2个重要电性参数与它的测试方法： 1.反射损耗（Return loss&…...

编程日记 2025/8/9 12:29:41

【Springboot知识】开发属于自己的中间件健康监测HealthIndicate

文章目录 **一、技术栈****二、项目结构****三、依赖配置 (pom.xml)****四、配置文件 (application.yml)****五、自定义健康检查实现****1. Redis健康检查****2. Elasticsearch健康检查****3. Kafka健康检查****4. MySQL健康检查** **六、自定义健康检查接口 (可选)****七、测试…...

编程日记 2025/8/9 6:14:55

蓝桥杯备赛-二分-技能升级

问题描述小蓝最近正在玩一款 RPG 游戏。他的角色一共有 NN 个可以加攻击力的技能。其中第 ii 个技能首次升级可以提升 AiAi 点攻击力, 以后每次升级增加的点数都会减少 Bi。「AiBi⌉Bi。「BiAi⌉ (上取整) 次之后, 再升级该技能将不会改变攻击力。现在小蓝可以…...

编程日记 2025/8/13 8:11:39

【GPT入门】第18课 langchain介绍与API初步体验

【GPT入门】langchain第一课 langchain介绍与API初步体验 1. langchain介绍定义特点1. 模块化与灵活性2. 链式调用机制3. 数据连接能力4. 记忆管理功能5. 提示工程支持6. 可扩展性 2.langchain核心组件架构图3. 最简单的helloworld入门 1. langchain介绍 LangChain 是一个用于…...

编程日记 2025/8/15 8:39:00

Django部署Filemanagement

Pycharm搭建项目安装虚拟环境 mysqlclient对mysql的安装，配置有要求 pymsql伪装成mysqlclient，pymysql可以操纵mysql pip install pymysql操作sql5.7 mysql8.0会出现与pycharm不兼容问题，会报错，所以降到5.7 # 进入mysql 需要…...

编程日记 2025/8/10 15:36:49

Python的types库学习记录

types 库是 Python 标准库中的一部分，它提供了与 Python 对象类型相关的工具和常量，有助于在运行时处理和操作不同类型的对象。以下是对 types 库的详细介绍： 主要用途 • 类型检查：在运行时判断对象的类型。 • 动态创建和操作…...

编程日记 2025/8/10 12:34:16

C# 表达式树详解

总目录前言在 C# 中，表达式树（Expression Trees）是一种强大的特性，允许开发者将代码表示为数据结构。这使得我们可以在运行时动态地创建和操作代码逻辑，广泛应用于 LINQ 查询、动态方法生成以及反射等领域。本文将深…...

编程日记 2025/8/14 5:29:04

分别用树型和UML结构展示java集合框架常见接口和类

树型结构展示java集合框架常见接口和类 Java 集合框架中的接口和子类关系可以用树形结构来展示。以下是一个简化的树形结构，展示了主要的接口和一些重要的实现类： java.util.Collection ├── java.util.List │ ├── java.util.ArrayList │ ├…...

编程日记 2025/8/12 9:30:38

蓝桥杯备赛-二分-青蛙过河

问题描述小青蛙住在一条河边, 它想到河对岸的学校去学习。小青蛙打算经过河里的石头跳到对岸。河里的石头排成了一条直线, 小青蛙每次跳跃必须落在一块石头或者岸上。不过, 每块石头有一个高度, 每次小青蛙从一块石头起跳, 这块石头的高度就会下降 1 , 当石头的高度下降…...

编程日记 2025/8/10 11:08:54

uniapp+微信小程序+最简单局部下拉刷新实现

直接上代码 <scroll-view style"height: 27vh;" :scroll-top"scrollTop" scroll-y"true"scrolltolower"onScrollToLower1" lower-threshold"50"refresher-enabled"true" refresherrefresh"onRefresherR…...

编程日记 2025/8/11 14:41:41

Spring Boot 3.x 中 @NotNull 与 @NonNull 的深度解析

在 Java 开发领域，尤其是在 Spring Boot 生态系统中，空指针异常（NPEs）始终是一个顽固的挑战。这些运行时错误可能导致应用程序崩溃、数据不一致以及糟糕的用户体验。为了应对这一问题，Java 社区开发了各种空安全机制&a…...

编程日记 2025/8/7 12:43:21

SQLark 实战 | 如何从Excel、csv、txt等外部文件进行数据导入

数据导入导出是应用开发者在平时开发中最常用的操作之一，SQLark 里提供了方便的图形化界面来完成导入导出。本文先和大家分享如何从 Excel、csv、txt 等外部文件导入数据到数据库表中。 👉 前往 SQLark 官网：www.sqlark.com 下载全功能免费版…...

编程日记 2025/8/12 13:38:26

MATLAB中envelope函数使用

目录说明示例 chirp 的解析包络使用滤波器计算多通道信号的解析包络录音信号的移动 RMS 包络语音信号的峰值包络不对称序列的包络 envelope函数的功能是提取信号的包络。语法 [yupper,ylower] envelope(x) [yupper,ylower] envelope(x,fl,analytic) [yupper,…...

编程日记 2025/8/12 20:38:26

ES搭建详细指南+常见错误解决方法

Elasticsearch（ES）是一款开源的、分布式的、RESTful风格的搜索和数据分析引擎。它用于全文搜索、结构化搜索、分析等场景。以下是Elasticsearch的搭建步骤以及处理常见错误的方法。 Elasticsearch搭建步骤： 1.环境准备： 确保你的…...

编程日记 2025/8/8 5:45:57

Unity 封装一个依赖于MonoBehaviour的计时器(上) 基本功能

灵感来自下面这本书的协程部分,因此我就自己尝试写了一个我的新书Unity3D游戏开发（第3版） | 雨松MOMO程序研究院如果你不知道什么是协程:unity保姆级教程之协同程序_unity协同-CSDN博客一句话概括:协程就是单线程的异步操作,其作用于Unity的主线程 1…...

编程日记 2025/8/12 5:10:10

PostgreSQL数据库版本支持策略

PostgreSQL数据库版本支持策略主要版本会进行复杂的更改，因此无法以向后兼容的方式维护数据目录的内容。重大升级需要转储/重新加载数据库或使用pg_upgrade应用程序。我们还建议您阅读您计划升级到的主要版本的升级部分。您可以从一个主要版本升级到另一个&#xf…...

编程日记 2025/8/12 5:33:46

应用层之网络应用模型，HTTP/HTTPS协议

应用层是网络协议栈的最顶层，直接为应用程序提供通信服务，定义了不同主机间应用进程交互的规则，包括报文类型、语法、语义及通信时序一、网络应用模型 1.定义及特点模型定义核心特点典型应用场景C/S客户端向服务器发起请求，服…...

编程日记 2025/8/15 5:17:03

（七）Spring Boot学习——Redis使用

有部分内容是常用的，为了避免每次都查询数据库，将部分数据存入Redis。一、下载并安装 Redis Windows 版的 Redis 官方已不再维护，你可以使用微软提供的 Redis for Windows 版本或者使用 WSL（Windows Subsystem for Linux&a…...

编程日记 2025/8/8 11:33:49

11 | 给 Gin 服务器添加中间件

提示： 所有体系课见专栏：Go 项目开发极速入门实战课；欢迎加入云原生 AI 实战星球，12 高质量体系课、20 高质量实战项目助你在 AI 时代建立技术竞争力（聚焦于 Go、云原生、AI Infra）；本节课最终…...

编程日记 2025/8/14 9:20:19

selenium等待

通常代码执行的速度⽐页⾯渲染的速度要快，如果避免因为渲染过慢出现的⾃动化误报的问题呢？可以使⽤selenium中提供的三种等待⽅法： 1. 隐式等待（Implicit Wait）隐式等待适用于全局，它告诉 WebDriver 在查找元素时等待一定的时间，直到元素出现。如果超时，WebDriver 不…...

编程日记 2025/8/15 2:23:11

为什么List、Set集合无法在遍历的时候修改内部元素

以常用集合ArrayList为例，ArrayList 在遍历过程中无法直接修改内部元素的结构（例如通过 remove() 或 add() 方法修改元素），是因为遍历的过程中修改结构可能会导致不一致的行为、并发修改异常或逻辑错误。注意：和…...

编程日记 2025/8/14 10:42:06

使用 Elasticsearch 构建多模式 RAG 系统：哥谭市的故事

作者：来自 Elastic Alex Salgado 学习如何构建一个多模态检索增强生成 (RAG) 系统，该系统集成文本、音频、视频和图像数据，以提供更丰富的、具有上下文的信息检索。在这篇博客中，你将学习如何使用 Elasticsearch 构建一个多模态 …...

编程日记 2025/8/11 10:24:07

单一责任原则在Java设计模式中的深度解析

在软件开发中，设计模式提供了一种解决特定问题的思路。在众多的设计原则中，单一责任原则（Single Responsibility Principle，SRP）是一个非常重要的概念。它主要强调一个类应该只有一个责任，也就是说&#xf…...

编程日记 2025/8/14 10:44:41

设计模式学习记录

设计模式23种创建型抽象工厂模式工厂模式生成器模式原型模式单例模式结构型适配器模式桥接模式组合模式装饰模式外观模式享元模式代理模式行为型责任链模式命令模式解释器模式迭代器模式中介者模式备忘录模式观察者模式状态模式策略模式模版方法模式访问者模式创建型与对…...

编程日记 2025/8/1 11:55:28

set_clock_groups

一、命令参数与工具处理逻辑核心参数定义参数定义工具行为工具兼容性-asynchronous完全异步时钟组，无任何相位或频率关系（如独立晶振、不同时钟树）工具完全禁用组间路径的时序分析，但需用户自行处理跨时钟域（CDC&a…...

编程日记 2025/8/14 23:39:29

QT创建项目（项目模板、构建系统、选择类、构建套件）

1. 项目模版项目类型界面技术适用场景核心依赖模块开发语言Qt Widget ApplicationC Widgets传统桌面应用（复杂控件）Qt WidgetsCQt Console Application无 GUI命令行工具、服务Qt CoreCQt Quick ApplicationQML/Quick现代跨平台应用（动画/触…...

编程日记 2025/8/9 20:29:47

麒麟系统利用pycharm生成deb文件

在麒麟系统（Kylin OS）上使用 PyCharm 进行 Python 开发并生成 .deb 可安装软件包，可以按照以下步骤进行操作： 1. 准备工作安装 PyCharm：确保已经在麒麟系统上安装了 PyCharm，可以使用官方提供的安装包进…...

编程日记 2025/8/6 14:55:03

超声重建，3D重建超声三维重建，三维可视化平台 UR 3D Reconstruction

1. 超声波3D重建技术的实现方法与算法技术概述 3D超声重建是一种基于2D超声图像生成3D体积数据的技术，广泛应用于医学影像领域。通过重建和可视化三维结构，3D超声能够显著提高诊断精度和效率，同时减少医生的脑力负担。本技术文档将详细阐述…...

编程日记 2025/8/11 15:10:58

Qt 信号与槽

目录 Qt信号和槽 connect函数 connect使用方法自定义信号与自定义槽 Qt界面化工具自动生成的槽自定义信号带参数的信号和槽信号与槽的断开 Qt信号和槽谈到信号，设计3个要素信号源：谁发出了信号信号触发条件：哪个控件的哪个…...

编程日记 2025/8/14 6:50:10

卷积神经网络 - 卷积的变种、数学性质

本文我们来学习卷积的变种和相关的数学性质，为后面学习卷积神经网络做准备，有些概念可能不好理解，可以先了解其概念，然后慢慢理解、逐步深入。在卷积的标准定义基础上，还可以引入卷积核的滑动步长和零填充来增加卷积…...

编程日记 2025/8/9 19:30:29

ubuntu 和 RV1126 交叉编译Mosqutiio-1.6.9

最近需要交叉编译mosquitto，遇到一些小问题记录一下。 1.众所周知使用它自带的Makefile编译的时候，只需要在编译前，指定它config.mk中的变量：CFLAGS头文件路径和 LDFLAGS库文件路径就ok，例子如下： expor…...

编程日记 2025/8/11 0:50:20

从零开始学习机器人---如何高效学习机械原理

如何高效学习机械原理 1. 理解课程的核心概念2. 结合图形和模型学习3. 掌握公式和计算方法4. 理论与实践相结合5. 总结和复习6. 保持好奇心和探索精神总结机械原理是一门理论性和实践性都很强的课程，涉及到机械系统的运动、动力传递、机构设计等内容。快速学习机械…...

编程日记 2025/7/17 9:06:55

STM32 RS232通信开发全解析 | 零基础入门STM32第五十九步

主题内容教学目的/扩展视频RS232串口电路原理，跳线设置，驱动程序。与超级终端通信。了解电路原理和RS232协议。师从洋桃电子，杜洋老师 📑文章目录一、RS232通信系统架构二、RS232核心原理与硬件设计2.1 电气特性对比2.2 典型电路…...

编程日记 2025/8/13 11:23:14

文献分享: 对ColBERT段落多向量的剪枝——基于学习的方法

原论文 1. 导论 & \textbf{\&} &方法 1️⃣要干啥：在 ColBERT \text{ColBERT} ColBERT方法中，限制每个段落要保留的 Token \text{Token} Token的数量，或者说对段落 Token \text{Token} Token进行剪枝 2️⃣怎么干：注…...

编程日记 2025/8/10 10:08:41

(已解决)aws 上部署Splunk 负载均衡unhealthy

在AWS 部署Splunk 服务，instance 是后端的EC2, 我把splunk 服务起好后，发现port : 8000 是listening: #netstat -an | grep 80 tcp 0 0 127.0.0.1:8065 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:8089 0.0.0.0:* …...

编程日记 2025/8/12 7:02:06

C# 异步编程

概述同步：指必须等待前一个操作完成，后续操作才能继续。同步操作会阻塞线程直到任务完成。异步：异步操作不会阻塞线程，允许程序在等待某个任务完成的同时，继续执行其他任务。异步编程适用场景： 1、从…...

编程日记 2025/8/10 3:41:52