GNN多任务预测模型实现（二）：将EXCEL数据转换为图数据
目录
一. 引言
二. 加载和检查数据
三. 提取特征和标签
四. 标准化特征
五. 构建节点索引
六. 构建边及其特征
七. 总结
八. 结语
一. 引言
在图神经网络（Graph Neural Networks, GNNs）的多任务学习场景中，数据预处理是至关重要的一步。尤其是当我们的数据存储在表格格式（如Excel文件）中时，如何有效地将其转换为图数据格式，是搭建GNN模型的基础。
二. 加载和检查数据
第一步是加载数据并检查其格式。我们通常使用
pandas库来读取和操作Excel文件。以下代码实现了从Excel文件中加载数据，并打印前几行以检查格式是否正确。
import pandas as pd# 从Excel文件中读取数据
df = pd.read_excel('Participation_prediction_data.xlsx')# 打印前几行数据以检查数据格式
print(df.head())知识点：
pandas.read_excel()：用于从Excel文件中读取数据并加载为DataFrame对象。DataFrame.head()：返回前5行数据，用于快速检查数据格式和内容。
三. 提取特征和标签
在机器学习任务中，我们通常需要将数据分为特征（features）和标签（labels）。在本例中，我们从表格中提取三列作为特征，并将“讨论参与”列作为标签。
import numpy as np# 提取特征列并转换为numpy数组
features = df[['讨论参与', '作业提交', '在线课堂出席时长']].values# 提取标签列并确保其为整数类型
labels = df['讨论参与'].values.astype(int)知识点：
- DataFrame的列选择：通过列名选择所需的列。
.values属性：将DataFrame转换为NumPy数组。- 数据类型转换：通过
.astype()将数据类型转换为所需的类型。
四. 标准化特征
在模型训练之前，对特征进行标准化处理（即归一化到均值为0，标准差为1的范围）通常能够提高模型的收敛速度和性能。
from sklearn.preprocessing import StandardScaler# 初始化StandardScaler对象
scaler = StandardScaler()# 对特征进行标准化处理
features = scaler.fit_transform(features)知识点：
StandardScaler：用于对数据进行标准化处理。fit_transform()：同时计算均值和标准差，并对数据进行标准化。
五. 构建节点索引
在图数据中，每个节点通常需要一个唯一的索引。在本例中，我们使用DataFrame的索引作为节点的索引。
# 获取所有节点的索引
node_indices = df.index.values
知识点：
DataFrame.index.values：返回DataFrame的索引，通常是一个NumPy数组。
六. 构建边及其特征
边的构建是图数据生成的关键步骤。在本例中，我们根据以下条件构建边：
- 两个节点的时间差为1。
- 两个节点属于同一学生。
同时，我们为每条边定义了特征，包括源节点的“讨论参与”、“作业提交”和“在线课堂出席时长”。
import torch# 初始化边列表和边特征列表
edges = []
edge_features = []for i in range(len(node_indices)):for j in range(len(node_indices)):# 如果两个节点的时间差为1且属于同一学生，则添加一条边if abs(df.loc[i, '时间'] - df.loc[j, '时间']) == 1 and df.loc[i, '学生id'] == df.loc[j, '学生id']:edges.append([i, j])edge_features.append([df.loc[i, '讨论参与'],df.loc[i, '作业提交'],df.loc[i, '在线课堂出席时长']])# 确保边列表和边特征列表长度一致
if len(edges) != len(edge_features):raise ValueError("Edge list and edge feature list should have the same length.")# 将边列表转换为张量，并转置为 [2, num_edges] 形状
edge_index = torch.tensor(edges, dtype=torch.long).t().contiguous()# 将边特征列表转换为张量
edge_attr = torch.tensor(edge_features, dtype=torch.float)知识点：
- 嵌套循环：用于遍历所有可能的节点对。
DataFrame.loc[]：用于按索引访问DataFrame中的行。- 条件判断：用于确定是否添加一条边。
torch.tensor()：将Python列表转换为PyTorch张量。.t()和.contiguous()：用于将边列表张量转置为[2, num_edges]形状。
七. 总结
通过上述步骤，我们成功地将Excel表格数据转换为了图数据格式，包括节点特征、节点索引、边列表和边特征。这些数据可以直接输入到GNN模型中进行训练和预测。
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
import torch# 从Excel文件中读取数据
df = pd.read_excel('Participation_prediction_data.xlsx')# 打印前几行数据以检查数据格式
print(df.head())# 提取特征列并转换为numpy数组
features = df[['讨论参与', '作业提交', '在线课堂出席时长']].values# 提取标签列并确保其为整数类型
labels = df['讨论参与'].values.astype(int)# 初始化StandardScaler对象
scaler = StandardScaler()# 对特征进行标准化处理
features = scaler.fit_transform(features)# 获取所有节点的索引
node_indices = df.index.values# 初始化边列表和边特征列表
edges = []
edge_features = []for i in range(len(node_indices)):for j in range(len(node_indices)):if abs(df.loc[i, '时间'] - df.loc[j, '时间']) == 1 and df.loc[i, '学生id'] == df.loc[j, '学生id']:edges.append([i, j])edge_features.append([df.loc[i, '讨论参与'],df.loc[i, '作业提交'],df.loc[i, '在线课堂出席时长']])if len(edges) != len(edge_features):raise ValueError("Edge list and edge feature list should have the same length.")edge_index = torch.tensor(edges, dtype=torch.long).t().contiguous()
edge_attr = torch.tensor(edge_features, dtype=torch.float)八. 结语
通过将Excel数据转换为图数据格式，我们为后续的GNN模型搭建和训练奠定了基础。
后续文章会陆续跟新，
希望文章对你有所帮助！
相关文章：
GNN多任务预测模型实现（二）：将EXCEL数据转换为图数据
目录 一. 引言 二. 加载和检查数据 三. 提取特征和标签 四. 标准化特征 五. 构建节点索引 六. 构建边及其特征 七. 总结 八. 结语 一. 引言 在图神经网络（Graph Neural Networks, GNNs）的多任务学习场景中，数据预处理是至关重要的一…...
.net的一些知识点6
1.写个Lazy<T>的单例模式 public class SingleInstance{private static readonly Lazy<SingleInstance> instance new Lazy<SingleInstance>(() > new SingleInstance());private SingleInstance(){}public static SingleInstance Instace > instance…...
Java 线程池：7参数配置、4拒绝策略与执行流程详解
1. 为什么需要线程池？ 在 Java 并发编程中，线程的创建和销毁是一项昂贵的操作。频繁地创建和销毁线程会带来较高的系统开销，甚至可能因线程数过多而导致 OOM（OutOfMemoryError） 或 CPU 过载。 线程池（Thre…...
SQL带外注入
SQL 带外注入（Out-of-Band SQL Injection, OOB SQLi） 是 SQL 注入的一种特殊类型，主要用于以下情况： 数据库没有直接返回错误信息（比如被防火墙拦截了）。无法使用常规注入手法（如 UNION、错误信…...
MySQL知识点总结（一）
1.SQL分类 数据定义（DDL）:创/改/删/名/清（cadrt） 数据库对象：表/视图/存储/函数/触发器/事件 数据操作（DML）：增/删/改/查（idus） 操作数据库对象 数据控制&…...
【报错解决】MySQL报错：sql_mode=only_full_group_by
文章目录 报错信息 DataGrip 报错还原Navicat 报错还原 报错原因解决方案 查看当前 sql mode方案一：临时解决方案二：永久解决方案三：使用 any_value() 或 group_concat()方案四：调整实现思路，避开 GROUP BY 使用 我…...
--AI处理器组合)
【华为OD机考】华为OD笔试真题解析(1)--AI处理器组合
一、题目描述 某公司研发了一款高性能AI处理器，每台物理设备具备8颗AI处理器，编号分别为0、1、2、3、4、5、6、7。 编号0~3的处理器处于同一链路中，编号4~7的处理器处于另外一个链路中，不同链路中的处理器不能通信，如…...
【redis】缓存设计规范
本文是 Redis 键值设计的 14 个核心规范与最佳实践，按重要程度分层说明： 一、通用数据类型选择 这里我们先给出常规的选择路径图。 以下是对每个步骤的分析： 是否需要排序？： zset（有序集合）用…...
Node.js 实现简单爬虫
介绍 爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 本文将使用 Nodejs 编写一个简单的爬虫脚本，爬取一个美食网站，获取菜品的标题和图片链接，并以表格的形式输出。 准备工作 1、初始化项目 首先࿰…...
一次奇怪的空指针问题分析：事务、死锁与隐式回滚
最近我们在排查一个诡异的 空指针异常，整个分析过程可以说是跌宕起伏，最终的结论也颇具隐蔽性。今天就把这个问题分享出来，希望对大家有所帮助。 问题现象 在系统中，我们有 单据 B，它通过一个 关联 ID 字段与 上级单…...
数据结构-基础
1、概念： 程序 数据结构 算法 2、程序的好坏 可读性，稳定性，扩展性，时间复杂度，空间复杂度。 3、数据结构 是指存储、组织数据的方式，以便高效地进行访问和修改。通过选择适当的数据结构， 能…...
问题大集04-浏览器阻止从 本地 发起的跨域请求，因为服务器的响应头 Access-Control-Allow-Origin 设置为通配符 *
1、问题 localhost/:1 Access to XMLHttpRequest at xxx（请求） from origin http://localhost:xxx（本地） has been blocked by CORS policy: The value of the Access-Control-Allow-Origin header in the response must not be t…...
音频进阶学习十二——Z变换一（Z变换、收敛域、性质与定理）
文章目录 前言一、Z变换1.Z变换的作用2.Z变换公式3.Z的状态表示1） r 1 r1 r12） 0 < r < 1 0<r<1 0<r<13） r > 1 r>1 r>1 4.关于Z的解释 二、收敛域1.收敛域的定义2.收敛域的表示方式3.ROC的分析1）当 …...
leetcode——组合总和（回溯算法详细讲解）
在面试或刷题过程中，回溯算法是一个绕不开的核心算法之一。今天，我们来详细解析 LeetCode 39「组合总和」 问题，并用 Java 回溯 剪枝优化 来高效解决它！这篇文章不仅适合初学者，也适合希望提高回溯算法的朋友们。 给你…...
说一下JVM管理的常见参数
Java虚拟机（JVM）有许多常见参数，用于控制其行为和性能。以下是一些常见的JVM参数及其说明： 1. 内存管理参数 -Xms<size> START 设置初始堆内存大小。例如，-Xms512m表示初始堆大小为512MB。 -Xmx<size>…...
leetcode_47全排列II
1. 题意 给一个含有重复数字的数组，求不重复的排列。 2. 题解 将数组进行排序，当回溯发生的时候，找到下个不重复的元素即可。 class Solution { public:void genPerm(std::vector<std::vector<int>> &ans, std::vector&l…...
pytest-xdist 进行多进程并发测试！
在软件开发过程中，测试是确保代码质量和可靠性的关键步骤。随着项目规模的扩大和复杂性的增加，测试用例的执行效率变得尤为重要。为了加速测试过程，特别是对于一些可以并行执行的测试用 例，pytest-xdist 提供了一种强大的工具&…...
【CPP】CPP经典面试题
文章目录 引言1. C 基础1.1 C 中的 const 关键字1.2 C 中的 static 关键字 2. 内存管理2.1 C 中的 new 和 delete2.2 内存泄漏 3. 面向对象编程3.1 继承和多态3.2 多重继承 4. 模板和泛型编程4.1 函数模板4.2 类模板 5. STL 和标准库5.1 容器5.2 迭代器 6. 高级特性6.1 移动语义…...
---定时器脉冲计数)
STM32的HAL库开发---通用定时器（TIMER)---定时器脉冲计数
一、脉冲计数实验原理 1、 外部时钟模式1：核心为蓝色部分的时基单元，时基单元的时钟源可以来自四种，分别是内部时钟PCLK、外部时钟模式1，外部时钟模式2、内部定时器触发（级联）。而脉冲计数就是使用外部时钟…...
在C#中,Array,List,ArrayList,Dictionary,Hashtable,SortList,Stack的区别
Array Array你可以理解为是所有数组的大哥 普通数组 : 特点是长度固定, 只能存储相同类型的数据 static void Main(string[] args){//声明int[] ints;string[] strings;People[] peoples;//默认值 //int 类型是 0//string 类型是 nullint[] ints1 { 1, 2, 3 };string[] …...
Ollama 部署本地大语言模型
一、下载安装ollama 1.百度 ollama Ollama 2.点击下载 可以复制下载链接，使用下载器下载。 3.双击安装 默认安装目录：C:\Users\用户名\AppData\Local\Programs\Ollama 二、更改模型下载目录 0.默认下载目录 (跳过) 之前没下载过模型，不…...
sql批量更新和删除语句
1.更新一条数据 update om_sellorder set SOSTATUS2 where id 283d3eb87b134e1c993b70b018406285 2.更新多个数据为某一个特点值 string ID context.Request["ID"]; //需要替换‘,’逗号，不然识别不出ID数据这里注意 ‘ID’ 是一个逗号（&a…...
探索从传统检索增强生成（RAG）到缓存增强生成（CAG）的转变
在人工智能快速发展的当下，大型语言模型（LLMs）已成为众多应用的核心技术。检索增强生成（RAG）（RAG 系统从 POC 到生产应用：全面解析与实践指南）和缓存增强生成（CAG&#x…...
基于ArcGIS的SWAT模型+CENTURY模型模拟流域生态系统水-碳-氮耦合过程研究
流域是一个相对独立的自然地理单元，它是以水系为纽带，将系统内各自然地理要素连结成一个不可分割的整体。碳和氮是陆地生态系统中最重要的两种化学元素，而在流域系统内，水-碳-氮是相互联动、不可分割的耦合体。随着流域内人类活动…...
深入浅出：机器学习的全面解析
深入浅出：机器学习的全面解析 引言 机器学习（Machine Learning, ML）作为人工智能的一个重要分支，近年来取得了显著进展，并在多个领域中得到了广泛应用。本文将从基础概念、核心算法、应用场景以及未来发展趋势等方面…...
go运算符
内置运算符 算术运算符关系运算符逻辑运算符位运算符赋值运算符 算术运算符 注意： （自增）和–（自减）在 Go 语言中是单独的语句，并不是运算符 package mainimport "fmt"func main() {fmt.Printl…...
w196Spring Boot高校教师科研管理系统设计与实现
🙊作者简介：多年一线开发工作经验，原创团队，分享技术代码帮助学生学习，独立完成自己的网站项目。 代码可以查看文章末尾⬇️联系方式获取，记得注明来意哦~🌹赠送计算机毕业设计600个选题excel文…...
SQL Server 数据库迁移到 MySQL 的完整指南
文章目录 引言一、迁移前的准备工作1.1 确定迁移范围1.2 评估兼容性1.3 备份数据 二、迁移工具的选择2.1 使用 MySQL Workbench2.2 使用第三方工具2.3 手动迁移 三、迁移步骤3.1 导出 SQL Server 数据库结构3.2 转换数据类型和语法3.3 导入 MySQL 数据库3.4 迁移数据3.5 迁移存…...
安卓7以上抓包证书安装
安卓7以上抓包证书安装 fiddler 用户可以直接试试这个文件 前提是要root过了，如果是模拟器就很容易开启 前提：要有openssl工具，在linux一个指令就可以下载了：sudo apt-get install openssl,windons则是在https://www.openssl.org/…...
)
C基础寒假练习(8)
一、终端输入10个学生成绩，使用冒泡排序对学生成绩从低到高排序 #include <stdio.h> int main(int argc, const char *argv[]) {int arr[10]; // 定义一个长度为10的整型数组，用于存储学生成绩int len sizeof(arr) / sizeof(arr[0]); // 计算数组…...
10. k8s二进制集群之Kube Scheduler部署
在开始之前需要准备什么？创建kube-scheduler证书请求文件【即证书的生成⓵】根据上面证书配置文件生成kube-scheduler证书【即证书的生成⓶】创建与关联kube-scheduler配置文件（为后面生成系统服务做准备）创建kube-scheduler服务配置文件【准备系统服务⓵】创建kube-schedul…...
低代码开发与传统开发：未来的技术路线选择
在科技飞速发展的当下，软件开发技术日新月异，低代码开发与传统开发作为两种重要的开发模式，正站在未来技术路线选择的十字路口，引发了众多企业和开发者的关注。它们各自有着独特的优势和适用场景，究竟该如何抉择&#…...
HIVE如何注册UDF函数
如果注册UDF函数的时候报了上面的错误，说明hdfs上传的路径不正确， 一定要用下面的命令 hadoop fs -put /tmp/hive/111.jar /user/hive/warehouse 一定要上传到上面路径，这样在创建函数时，引用下面的地址就可以创建成功...
Got socket exception during request. It might be caused by SSL misconfiguration
引入xutils3依赖，结果包找不到 maven里面添加阿里云镜像 核心 maven { url uri("https://maven.aliyun.com/nexus/content/groups/public/") }repositories {google()maven { url uri("https://maven.aliyun.com/nexus/content/groups/public/"…...
ORACLE 数据库的启动和关闭
文章目录 1、 启动 ORACLE 数据库的三步操作2、 关闭 ORACLE 数据库的三步操作3 、启动和关闭 ORACLE 数据库的相关命令4、 启动和关闭 ORACLE 数据库 1、 启动 ORACLE 数据库的三步操作 1、启动数据库并使它可用，有三步操作：a、启动一个实例b、装配数据…...
搭建集成开发环境PyCharm
1.下载安装Python（建议下载并安装3.9.x） https://www.python.org/downloads/windows/ 要注意勾选“Add Python 3.9 to PATH”复选框，表示将Python的路径增加到环境变量中 2.安装集成开发环境Pycharm http://www.jetbrains.com/pycharm/…...
Python 学习与开发：高效编程技巧与实用案例
Python 学习与开发：高效编程技巧与实用案例 Python 是现代编程语言中最受欢迎的一种，它以简洁、易读的语法和强大的功能广泛应用于数据分析、人工智能、Web开发等多个领域。无论你是 Python 新手还是有经验的开发者，掌握一些高效编程技巧和实…...
Twitter 安卓客户端安装包下载
Twitter 安卓客户端安装包下载 项目地址:https://gitcode.com/open-source-toolkit/a16c4 欢迎来到Twitter安卓客户端安装包资源页！在这里，您可以获取适用于Android设备的Twitter应用安装文件。请注意，下载过程中可能会遇到速度较慢的情况&…...
openAI官方prompt技巧（一）
1. 使用最新的模型 2. 将指令放在提示词的开头，并使用 ### 或 """ 来分隔指令和上下文，例如 错误示范❌ 将下面的文本总结为一个要点列表，列出最重要的内容。 Summarize the text below as a bullet point list of the most…...
小众收集癖好
文章目录 邮票收藏古钱币收藏手表收藏黑胶唱片收藏文玩核桃收藏紫砂壶收藏陶瓷收藏书画收藏古籍收藏奇石收藏根雕艺术其他 邮票收藏 稀有性：越少见的邮票通常价值越高，特别是那些发行量极小或因为某种原因被召回的邮票。例如：早期邮票、错版…...
从 .NET Framework 升级到 .NET 8 后 SignalR 问题处理与解决方案
随着 .NET Framework 向 .NET 8 的迁移，许多开发者在使用 SignalR 时遇到了一些前后端连接、配置、调用等方面的问题。尤其是在处理 SignalR 实时通信功能时，升级后的一些兼容性问题可能导致应用程序无法正常工作。本文将介绍在从 .NET Framework 升级到…...
)
【2024华为OD-E卷-100分-箱子之字形摆放】（（题目+思路+JavaC++Python解析)
题目描述 给定一个宽度为 width 的仓库，要求将 n 个箱子按之字形（Zigzag）方式摆放。每个箱子的宽度都是 1，箱子必须摆放在仓库的同一层上，且摆放过程中不能重叠。 之字形摆放的定义是：箱子交替地向左和向…...
基于SpringBoot养老院平台系统功能实现五
一、前言介绍： 1.1 项目摘要 随着全球人口老龄化的不断加剧，养老服务需求日益增长。特别是在中国，随着经济的快速发展和人民生活水平的提高，老年人口数量不断增加，对养老服务的质量和效率提出了更高的要求。传统的养…...
如何打造一个更友好的网站结构？
在SEO优化中，网站的结构往往被忽略，但它其实是决定谷歌爬虫抓取效率的关键因素之一。一个清晰、逻辑合理的网站结构，不仅能让用户更方便地找到他们需要的信息，还能提升搜索引擎的抓取效率 理想的网站结构应该像一棵树，…...
蓝桥杯备赛——进制转化相关问题
目录 一、基础概念 二、问题研究（1） 代码解读： 1. transfer 函数 代码功能概述 详细步骤 2. main 函数 代码功能概述 详细步骤 三、运用递归解决 （一） 代码如下： 代码解读： &#…...
ubuntu20.04+RTX4060Ti大模型环境安装
装显卡驱动 这里是重点，因为我是跑深度学习的，要用CUDA，所以必须得装官方的驱动，Ubuntu的附件驱动可能不太行. 进入官网https://www.nvidia.cn/geforce/drivers/，选择类型，最新版本下载。 挨个运行&#…...
汽车智能座舱的技术演进与用户体验重构 —— 基于多模态交互与 AI 融合的范式创新
摘要： 汽车智能座舱作为人 - 车 - 环境交互的核心载体，正经历从功能驱动到体验驱动的范式变革。本文通过技术解构与用户行为分析，深入揭示智能座舱在异构计算、多模态感知、服务生态等维度的创新路径。研究表明，智能座舱的竞争焦…...
TresJS：用Vue组件构建3D场景的新选择
在当今数字化时代，3D图形技术正以前所未有的速度发展，从游戏开发到虚拟现实（VR）、增强现实（AR），再到各种沉浸式体验，3D技术的应用场景日益丰富。TresJS作为一款基于Three.js的Web3D开…...
【鸿蒙HarmonyOS Next实战开发】实现ArkTS/JS和C/C++的交互-Node-API
一、HarmonyOS Node-API简介 在HarmonyOS应用开发中，通常以ArkTS/JS语言为主，但在一些特殊场景下，例如游戏开发、物理模拟等，由于对性能、效率等有较高要求，需要借助现有的C/C库来实现。为了满足这种需求，…...
QT笔记——多语言翻译
文章目录 1、概要2、多语言切换2.1、结果展示2.2、创建项目2.2、绘制UI2.2、生成“.st”文件2.4、生成“.qm”文件2.5、工程demo 1、概要 借助QT自带的翻译功能，实现实际应用用进行 “多语言切换” 2、多语言切换 2.1、结果展示 多语言切换 2.2、创建项目 1、文件…...