当前位置：首页 > news >正文

【2025】Datawhale AI春训营-蛋白质预测（AI+生命科学）-Task2笔记

news 来源：原创 2025/8/6 20:21:19

【2025】Datawhale AI春训营-蛋白质预测（AI+生命科学）-Task2笔记

本文对Task2使用的代码进行理解。

任务描述

Task2的任务仍然是通过对反应中包含的蛋白质残基信息，运用深度学习模型构建蛋白质3D结构的隐式模型，从而达成准确预测蛋白质内在无序区域（IDRs）的目的。任务的评价指标是实验真实结果和预测结果的F1 score。

代码理解

1、导入模块

import argparse
import math
import pickleimport torch
import torch.nn as nn
import torch.nn.functional as Ffrom tqdm import tqdm
from omegaconf import OmegaConf
from sklearn.metrics import f1_score
from torch.utils.data import Dataset, DataLoader
from torch.nn import TransformerEncoderLayer, TransformerEncoder

2、定义氨基酸类型

restypes = ['A', 'R', 'N', 'D', 'C','Q', 'E', 'G', 'H', 'I','L', 'K', 'M', 'F', 'P','S', 'T', 'W', 'Y', 'V'
]
unsure_restype = 'X'
unknown_restype = 'U'

3、定义数据集创建方法

def make_dataset(data_config, train_rate=0.7, valid_rate=0.2):data_path = data_config.data_pathwith open(data_path, 'rb') as f:data = pickle.load(f)total_number = len(data)train_sep = int(total_number * train_rate)valid_sep = int(total_number * (train_rate + valid_rate))train_data_dicts = data[:train_sep]valid_data_dicts = data[train_sep:valid_sep]test_data_dicts = data[valid_sep:]train_dataset = DisProtDataset(train_data_dicts)valid_dataset = DisProtDataset(valid_data_dicts)test_dataset = DisProtDataset(test_data_dicts)return train_dataset, valid_dataset, test_dataset

4、定义数据集

class DisProtDataset(Dataset):def __init__(self, dict_data):sequences = [d['sequence'] for d in dict_data]labels = [d['label'] for d in dict_data]assert len(sequences) == len(labels)self.sequences = sequencesself.labels = labelsself.residue_mapping = {'X':20}self.residue_mapping.update(dict(zip(restypes, range(len(restypes)))))def __len__(self):return len(self.sequences)def __getitem__(self, idx):sequence = torch.zeros(len(self.sequences[idx]), len(self.residue_mapping))for i, c in enumerate(self.sequences[idx]):if c not in restypes:c = 'X'sequence[i][self.residue_mapping[c]] = 1label = torch.tensor([int(c) for c in self.labels[idx]], dtype=torch.long)return sequence, label

5、定义位置编码类

class PositionalEncoding(nn.Module):def __init__(self, d_model, dropout=0.0, max_len=40):super().__init__()position = torch.arange(max_len).unsqueeze(1)div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))pe = torch.zeros(1, max_len, d_model)pe[0, :, 0::2] = torch.sin(position * div_term)pe[0, :, 1::2] = torch.cos(position * div_term)self.register_buffer("pe", pe)self.dropout = nn.Dropout(p=dropout)def forward(self, x):if len(x.shape) == 3:x = x + self.pe[:, : x.size(1)]elif len(x.shape) == 4:x = x + self.pe[:, :x.size(1), None, :]return self.dropout(x)

6、定义模型

class DisProtModel(nn.Module):def __init__(self, model_config):super().__init__()self.d_model = model_config.d_modelself.n_head = model_config.n_headself.n_layer = model_config.n_layerself.input_layer = nn.Linear(model_config.i_dim, self.d_model)self.position_embed = PositionalEncoding(self.d_model, max_len=20000)self.input_norm = nn.LayerNorm(self.d_model)self.dropout_in = nn.Dropout(p=0.1)encoder_layer = TransformerEncoderLayer(d_model=self.d_model,nhead=self.n_head,activation='gelu',batch_first=True)self.transformer = TransformerEncoder(encoder_layer, num_layers=self.n_layer)self.output_layer = nn.Sequential(nn.Linear(self.d_model, self.d_model),nn.GELU(),nn.Dropout(p=0.1),nn.Linear(self.d_model, model_config.o_dim))def forward(self, x):x = self.input_layer(x)x  = self.position_embed(x)x = self.input_norm(x)x = self.dropout_in(x)x = self.transformer(x)x = self.output_layer(x)return x

7、定义指标评估方法

def metric_fn(pred, gt):pred = pred.detach().cpu()gt = gt.detach().cpu()pred_labels = torch.argmax(pred, dim=-1).view(-1)gt_labels = gt.view(-1)score = f1_score(y_true=gt_labels, y_pred=pred_labels, average='micro')return score

8、定义主函数

if __name__ == '__main__':device = 'cuda' if torch.cuda.is_available() else 'cpu'parser = argparse.ArgumentParser('IDRs prediction')parser.add_argument('--config_path', default='./config.yaml')args = parser.parse_args()config = OmegaConf.load(args.config_path)train_dataset, valid_dataset, test_dataset = make_dataset(config.data)train_dataloader = DataLoader(dataset=train_dataset, **config.train.dataloader)valid_dataloader = DataLoader(dataset=valid_dataset, batch_size=1, shuffle=False)model = DisProtModel(config.model)model = model.to(device)optimizer = torch.optim.AdamW(model.parameters(),lr=config.train.optimizer.lr,weight_decay=config.train.optimizer.weight_decay)loss_fn = nn.CrossEntropyLoss()model.eval()metric = 0.with torch.no_grad():for sequence, label in valid_dataloader:sequence = sequence.to(device)label = label.to(device)pred = model(sequence)metric += metric_fn(pred, label)print("init f1_score:", metric / len(valid_dataloader))for epoch in range(config.train.epochs):# train loopprogress_bar = tqdm(train_dataloader,initial=0,desc=f"epoch:{epoch:03d}",)model.train()total_loss = 0.for sequence, label in progress_bar:sequence = sequence.to(device)label = label.to(device)pred = model(sequence)loss = loss_fn(pred.permute(0, 2, 1), label)progress_bar.set_postfix(loss=loss.item())total_loss += loss.item()optimizer.zero_grad()loss.backward()optimizer.step()avg_loss = total_loss / len(train_dataloader)# valid loopmodel.eval()metric = 0.with torch.no_grad():for sequence, label in valid_dataloader:sequence = sequence.to(device)label = label.to(device)pred = model(sequence)metric += metric_fn(pred, label)print(f"avg_training_loss: {avg_loss}, f1_score: {metric / len(valid_dataloader)}")# 保存当前 epoch 的模型save_path = f"model.pkl"torch.save(model.state_dict(), save_path)print(f"Model saved to {save_path}")

【2025】Datawhale AI春训营-蛋白质预测（AI+生命科学）-Task2笔记

【2025】Datawhale AI春训营-蛋白质预测（AI生命科学）-Task2笔记本文对Task2使用的代码进行理解。任务描述 Task2的任务仍然是通过对反应中包含的蛋白质残基信息，运用深度学习模型构建蛋白质3D结构的隐式模型，从而达成准确预测…...

编程日记 2025/8/6 20:21:19

Python基于知识图谱的医疗问答系统【附源码、文档说明】

博主介绍：✌Java老徐、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇&…...

编程日记 2025/8/6 20:21:19

Unreal 从入门到进阶之如何实现Pixel Streaming

文章目录前言核心概念工作原理主要应用场景Pixel Streaming和Pixel Streaming2部署准备编辑器推流打包推流最后前言 Unreal Engine 5 (UE5) 的 Pixel Streaming 是一项基于云端的实时流媒体技术，允许将 UE5 应用的高质量图形渲染结果通过 WebRTC 协议传输到用户的浏览器或轻…...

编程日记 2025/8/5 1:33:36

# 导入必要库 import numpy as np import matplotlib.pyplot as plt import seaborn as sns # 用于高级可视化 from tensorflow import keras from tensorflow.keras import layers from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay import time # 用于…...

编程日记 2025/8/3 12:31:56

Linux驱动开发--阻塞、非阻塞I/O

2. 阻塞、非阻塞I/O IO 指的是 Input/Output，也就是输入/输出，是应用程序对驱动设备的输入/输出操作。当应用程序对设备驱动进行操作的时候，如果不能获取到设备资源，那么阻塞式 IO 就会将应用程序对应的线程挂起，直到…...

编程日记 2025/7/30 3:49:08

运筹学之模拟退火

目录一、历史二、精髓思想三、案例与代码实现一、历史问：谁在什么时候提出模拟退火？答：模拟退火算法（Simulated Annealing，SA）是由斯图尔特柯尔斯基（Scott Kirkpatrick） 等人在 …...

编程日记 2025/7/30 3:49:06

JavaScript 的演变：2023-2025 年的新特性解析

随着Web技术的飞速发展，ECMAScript（简称ES）作为JavaScript的语言标准，也在不断进化。本文将带你学习 ECMAScript 2023-2025 的新特性。一、ECMAScript 2023 新特性 1.1 数组的扩展 Array.prototype.findLast()/Array.protot…...

编程日记 2025/8/2 21:28:47

CSS继承

CSS继承 CSS继承是一种机制，允许子元素自动继承父元素的某些样式属性，从而减少重复代码。以下是一些常见的具有继承性的CSS属性： color : 文字颜色 font-family ： 字体族名称 font-size ： 字体大小 font-weight &am…...

编程日记 2025/7/30 3:49:02

游戏引擎学习第236天:GPU 概念概述

回顾并展望通过视频采集卡进行流媒体传输的未来昨天，我们迈出了大胆的一步，决定初始化硬件的 3D 加速，因为我有点厌倦了我们的游戏没有垂直同步（vsync）。如今，在 Windows 上，我找不到一种可靠…...

编程日记 2025/8/5 16:18:55

HFSS3（limy）——建模学习记录

前言——笔者使用的是21版HFSS 1.基本模型为什么没有环形的天线 2.创建基本模型方法常用：先粗略建好模型再编辑输入准确坐标和大小尺寸（这里长方体起始点是左上角下方的点，也就是说要输入模型起点相对于坐标原点的位置尺寸就可以确定具体…...

编程日记 2025/7/30 3:48:58

php实现zip压缩

可以使用ZipArchive类来创建ZIP压缩文件。ZipArchive是PHP内置的一个类，提供了创建、打开、读取、写入和关闭ZIP文件的功能。示例：压缩单个文件 <?php$fileToZip path/to/your/file.txt; $zipFileName compressed.zip;$zip new ZipArchive(); …...

编程日记 2025/8/4 4:58:24

【STM32单片机】#10 USART串口通信

主要参考学习资料： B站江协科技 STM32入门教程-2023版细致讲解中文字幕开发资料下载链接：https://pan.baidu.com/s/1h_UjuQKDX9IpP-U1Effbsw?pwddspb 单片机套装：STM32F103C8T6开发板单片机C6T6核心板实验板最小系统板套件科协实验&…...

编程日记 2025/7/31 4:42:16

goc命令大全

颜色0黑1红2蓝3浅绿4浅蓝5淡黄6棕7深蓝8灰9粉10深绿11紫12蓝绿13黄14橙15白绘图命令功能pen笔.fd()前进.rt()右转.c()颜色.up()抬笔.o(,)圆.e(,)椭圆.r(,,)长方形.picL(,)调图片.text(,,)文字.hide()隐藏.moveTo(,)移动wait();等待.soundL()调声音pause();暂停绘图命令功能…...

编程日记 2025/8/5 17:04:25

Linux | 软件仓库管理

一. 软件包 1.1 软件包的分类 DEB：主要用于基于 Debian 的系统，如 Ubuntu。这种软件包格式具有良好的依赖管理机制，方便用户安装、升级和卸载软件。RPM：广泛应用于 Red Hat、CentOS、Fedora 等系统。RPM 包将软件打包成一个文件…...

编程日记 2025/7/30 3:48:52

Python实现对目标Word文档进行自动化排版【4万字精讲】（14）

前言本文是该专栏的第14篇，后面会持续分享Python办公自动化干货知识，记得关注。注意：本文涵盖4万字以及实战操作代码的精讲攻略，带你轻松掌握一键式“文档自动化排版”程序功能。如果说当你在工作项目中，遇到这样的需求，需要如何处理——假设，现在有大批量的docx格…...

编程日记 2025/7/30 3:48:50

LeetCode每日一题4.19

2563. 统计公平数对的数目题目问题分析输入：一个整数数组 nums 和两个整数 lower 和 upper。输出：返回满足条件的公平数对的数目，即对于所有 0 < i < j < n，lower < nums[i] nums[j] < upper 的数对 (i, j)…...

编程日记 2025/8/4 1:55:54

Spring AI 开发 - 快速入门

先看效果项目搭建 Spring AI 是 Spring 推出的一个项目，目标是提供统一的API抽象层，屏蔽不同AI模型和服务的底层差异，实现跨平台兼容性。演示使用的模型是阿里的 qwq-32b。环境要求： JDK ：17以上（包括…...

编程日记 2025/8/2 13:56:37

leetcode哈希表（六）-三数相加

题目 15. 三数之和给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ，同时还满足 nums[i] nums[j] nums[k] 0 。请你返回所有和为 0 且不重复的三元组。注意：答案中不可以包含重复…...

编程日记 2025/8/1 10:45:52

Photoshop安装与配置--简单攻略版

下载地址:Photoshop软件工具下载安装完成后，即可运行Photoshop.exe；打开工具页面后，按照下面简单配置即可 1.编辑-》首选项-》常规或者直接快捷键CtrlK 暂存盘：一定要设置为非C盘 2.性能 3.文件处理以上配置比较基础&#xf…...

编程日记 2025/8/2 13:56:37

一个 CTO 的深度思考

今天和一些同事聊了一会，以下是我的观点我的观点，成年人只能筛选，不能培养在组织中，应该永远向有结果的人看齐。不能当他站出来讲话的时候，大家还要讨论讨论，他虽然拿到结果了，但是他就是有一…...

编程日记 2025/8/5 17:50:03

Java：使用Maven构建项目无src解决方案

创建箭头所指的包和类以及yml文件： 类中： package com.itheima;import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication;SpringBootApplication public class BigEventApplication …...

编程日记 2025/8/5 11:45:47

Git 命令速查手册

听说用美图可以钓读者？ 一、基础操作核心命令 1. 仓库初始化与克隆命令作用示例git init创建新仓库git init my-projectgit clone克隆远程仓库git clone [https://github.com/user/repo.git](https://github.com/user/repo.git)git remote add关联远程仓库git re…...

编程日记 2025/8/4 14:49:19

office软件中word里面的编号库和列表库功能

在Microsoft Word中，编号库和列表库是两大核心排版工具，分别服务于不同层级的文档结构化需求。以下从功能定义、核心差异、应用场景及操作技巧等维度进行详细解析：一、编号库（Numbering Library） 1. 定义与功能编号库是Word中预设或用户自定义的有序列表格式集合，用于…...

编程日记 2025/8/5 4:34:43

C++入门七式——模板初阶

目录函数模板函数模板概念函数模板格式函数模板的原理函数模板的实例化模板参数的匹配原则类模板类模板的定义格式类模板的显式实例化当面对下面的代码时，大家会不会有一种无力的感觉？明明这些代码差不多，只是因为类型不…...

编程日记 2025/7/31 6:55:13

Python+Selenium+Pytest+POM自动化测试框架封装（完整版）

🍅 点击文末小卡片 ，免费获取软件测试全套资料，资料在手，涨薪更快 1、测试框架简介 1）测试框架的优点代码复用率高，如果不使用框架的话，代码会显得很冗余。可以组装日志、报告、邮件等一…...

编程日记 2025/8/3 10:18:56

matlab 处理海洋数据并画图的工具包--ocean_data_tools

matlab 处理海洋数据并画图的工具包–ocean_data_tools matlab 处理海洋数据并画图的工具包–ocean_data_tools ocean_data_tools 简化了提取、格式化和可视化免费可用的海洋学数据的过程。虽然可以在线访问大量海洋学数据，但由于获取这些数据并将其格式化为可用数据…...

编程日记 2025/8/6 5:07:14

软件开发指南——GUI 开发方案推荐

1. LVGL (Light and Versatile Graphics Library) 适用场景：嵌入式设备、资源受限环境优势： 专为嵌入式设计的开源 GUI 库，内存占用极小（最低仅需 64KB RAM）支持触摸屏、硬件加速（如 STM32 的 LTDC&…...

编程日记 2025/8/5 4:50:57

JDK8 HashMap的实现原理

一 HashMap底层存储结构 HashMap底层结构采用（数组）（链表 or 红黑树）的形式来存储节点。首先HashMap是一个数组，而且数组里面每个位置可以放入多个元素，形象一点，咱们把数组的这些个位置称为桶…...

编程日记 2025/7/30 5:54:27

YOLO拓展-锚框(anchor box)详解

一.锚框（anchor box）概述 1.1什么是锚框锚框就是一种进行预测的像素框，通过遍历输入图像上所有可能的像素框，然后选出正确的目标框，并对位置和大小进行调整就可以完成目标检测任务。对于yolo锚框的建设须基于实际…...

编程日记 2025/8/4 19:49:34

U-Boot（Universal Bootloader）简介

U-Boot 是一种开源的、高度可定制的引导加载程序（Bootloader），专为嵌入式系统和特定硬件平台设计。它负责在设备上电后初始化硬件、加载操作系统内核，并将控制权移交给操作系统，是嵌入式设备启动过程中不可或缺的核心…...

编程日记 2025/7/30 5:54:23

turtle库绘制进阶图形

要求： 1.绘制嵌套彩色五角星（大小逐层递减） 2. 设计函数绘制自定义正多边形（边数与颜色参数化） 3. 扩展：实现动态旋转花瓣图案代码： import turtledef draw_nested_star():colors ["…...

编程日记 2025/8/3 5:10:25

[matlab]南海地形眩晕图代码

[matlab]南海地形眩晕图代码请ChatGPT帮写个南海地形眩晕图代码图片图片代码 .rtcContent { padding: 30px; } .lineNode {font-size: 12pt; font-family: "Times New Roman", Menlo, Monaco, Consolas, "Courier New", monospace; font-style: n…...

编程日记 2025/8/4 17:37:36

3. 进程概念

目录 1. 冯诺依曼体系结构 2. 操作系统 3. 理解进程的一般思路 4. 查看进程 5. fork初识 6. 进程状态 6.1 一般操作系统 6.2 Linux系统是怎么维护进程状态的 7. 进程优先级先谈硬件-再谈软件-最后谈进程。 1. 冯诺依曼体系结构我们常见的计算机（笔记本电…...

编程日记 2025/8/3 8:51:36

yolov8的数据处理lableimg的安装以及使用

视频数据集准备 video cv2.VideoCapture("./BVN.mp4") num 0 # 计数器 save_step 30 # 间隔帧 while True:rel, frame video.read()if not ret:breaknum 1if num % save_step 0:cv2.imwrite("./demo images/" str(num) ".jpg", frame)l…...

编程日记 2025/8/2 13:38:50

小刚说C语言刷题——1035 判断成绩等级

1.题目描述输入某学生成绩，如果 86分以上(包括 86分）则输出 VERY GOOD ，如果在 60到 85之间的则输出 GOOD (包括 60和 85)，小于 60 的则输出 BAD。输入输入只有一行，包括 1个整数。输出输出只有一行&#xf…...

编程日记 2025/8/3 1:55:03

Spring 依赖冲突解决方案详解

引言在Spring框架中，依赖管理是一个核心功能，它使得开发者能够轻松地管理应用程序中的各种组件和服务。然而，随着项目的增长和复杂度的增加，依赖冲突问题也变得日益常见。本文将详细介绍Spring中不同类型的依赖冲突及其解决方法…...

编程日记 2025/8/2 21:35:21

P11299 [NOISG 2021 Finals] Fraud 题解

题目背景你被任命为第 24 届全国信息学奥林匹克竞赛的负责人！ 题目描述本次竞赛共有 N 名参赛者和 2 轮比赛。第 i 名参赛者在第一轮获得了分，在第二轮获得了分。每轮比赛分别有一个正整数权重 X 和 Y。第 i 名参赛者的最终得分计算公式为&a…...

编程日记 2025/7/28 13:32:27

AI时代下你需要和想要了解的英文缩写含义

在AI智能时代下，越来愈多的企业都开始重视并应用以及开发AI相关产品，这个时候都会或多或少的涉及到英文，英文还好，但是如果是缩写，如果我们没有提前了解过，我们往往很难以快速Get到对方的意思。在这里&…...

编程日记 2025/8/1 18:15:38

大数据平台简介

一、分布式系统基础架构 （一）定义与核心特征分布式系统是由多台计算机（节点）通过网络协作组成的系统，对外表现为一个统一整体。其核心特征包括： 去中心化：节点平等或分角色协作（如…...

编程日记 2025/8/6 2:01:25

电脑端移植至手机平板：攻克难题，仙盟架构显神通——仙盟创梦IDE

在将电脑端应用移植到手机和平板的过程中，常面临诸多棘手问题。像 1.x 号关闭按钮因位置设计欠佳，难以被用户精准点击，字体过小导致阅读与操作不便等。未来之窗仙盟创梦凭借创新的仙盟架构，巧妙且高效地化解了这些困扰开发者与用户…...

编程日记 2025/7/31 18:45:36

基于Python的中国象棋小游戏的设计与实现

基于Python的中国象棋小游戏的设计与实现第一章绪论1.1 研究背景1.2 研究意义第二章需求分析2.1 需求分析2.1.1核心功能需求2.1.2 用户体验需求2.1.3 衍生功能需求 2.2 可行性分析2.2.1 技术可行性2.2.2 经济可行性2.2.3 市场可行性2.2.4 法律与合规性第三章概要设计3.1 …...

编程日记 2025/8/2 19:36:11

HCIP --- OSPF综合实验

一、拓扑图二、实验要求 1，R5为ISP，其上只能配置IP地址;R4作为企业边界路由器，出口公网地址需要通过PPP协议获取，并进行chap认证。 2，整个0SPF环境IP基于172.16.0.8/16划分。 3，所有设备均可访问R5的环…...

编程日记 2025/8/4 1:28:34

【OpenGL】OpenGL学习笔记-1：VS2019配置OpenGL开发环境

在Visual Studio 2019中可以通过手动配置库文件或NuGet包管理器快速安装的方法配置OpenGL环境，详细步骤如下： 一、打开VS2019，创建新的控制台项目二、方法一：手动配置GLEW/GLFW/GLAD库 GLFW是窗口管理和输入事件的基础设施&…...

编程日记 2025/7/31 8:37:46

GWAS_LD

局部LDblock 绘图 1. 查看显著位点附近基因情况链接pvalue显著位点文件 ln -s ~/yiyaoran/GWAS/my_GWAS_J/P3.GWAS/01.tassel/mlm_output.manht_figure.sigSite.out . #也可以自己筛选awk $2 9 && $4 < 0.000028481 mlm_output.manht_input>368_GWAS.snpsnp两…...

编程日记 2025/8/2 13:36:39

WinForms开发基础：实现带X按钮的ClearableTextBox控件

前言我们经常看到这样的带X按钮的输入框如果使用WinForms开发中，该如何进行设计，普通的TextBox控件如何进行改造？为了提升用户体验，在TextBox文本框内添加一个“x”按钮，方便用户一键清除内容。本文将介绍如何通过继…...

编程日记 2025/8/3 7:58:40

直线轴承常规分类知多少？

直线轴承的分类方式多样，以下是从材质、结构形状和常规系列三个维度进行的具体分类： 按主要材质分类外壳材质：常见的有不锈钢，具有良好的耐腐蚀性，适用于一些对环境要求较高、易受腐蚀的工作场景；轴承…...

编程日记 2025/8/6 8:20:49

算法期末复习

算法期末复习 1.单选题 \1. 二分搜索算法是利用( A)实现的算法。 A. 分治策略 B. 动态规划法 C. 贪心法 D. 回溯法 \2. 回溯法解旅行售货员问题时的解空间树时( C ) 。 A. 子集树 B. 深度优先生成树 C. 排序树 D. 广度优先生成树 \3. 下列算法中通常以自底向上的方式求解最…...

编程日记 2025/8/5 14:13:04