当前位置：首页 > news >正文

AF3 create_alignment_db_sharded脚本create_shard函数解读

news 来源：原创 2025/8/22 21:12:58

AlphaFold3 create_alignment_db_sharded 脚本在源代码的scripts/alignment_db_scripts文件夹下。该脚本中的 create_shard 函数的功能是将一部分链（shard_files）中的所有对齐文件写入一个 .db 文件，并返回这些链的索引信息（字节偏移+长度+文件名）供上层构建 super index。

源代码：

def create_shard(shard_files: list[Path], output_dir: Path, output_name: str, shard_num: int
) -> dict:"""Creates a single shard of the alignment database, and returns thecorresponding indices for the super index."""CHUNK_SIZE = 200shard_index = defaultdict(create_index_default_dict)  # e.g. {chain_name: {db: str, files: [(file_name, db_offset, file_length)]}, ...}chunk_iter = chunked_iterator(shard_files, CHUNK_SIZE)pbar_desc = f"Shard {shard_num}"output_path = output_dir / f"{output_name}_{shard_num}.db"db_offset = 0db_file = open(output_path, "wb")for files_chunk in tqdm(chunk_iter,total=ceil(len(shard_files) / CHUNK_SIZE),desc=pbar_desc,position=shard_num,leave=False,):# get processed files for one chunkchunk_data = process_chunk(files_chunk)# write to db and store info in indexfor chain_name, file_data in chunk_data.items():shard_index[chain_name]["db"] = output_path.namefor file_name, file_bytes in file_data:file_length = len(file_bytes)shard_index[chain_name]["files"].append((file_name, db_offset, file_length))db_file.write(file_bytes)db_offset += file_lengthdb_file.close()return shard_index

代码解读：

函数签名

def create_shard(shard_files: list[Path],         # 当前 shard 负责处理的链目录列表output_dir: Path,                # 输出 .db 文件的目录output_name: str,                # .db 文件名前缀（如 "alignment"）shard_num: int                   # 当前 shard 的编号（用于命名）
) -> dict:                           # 返回：当前 shard 的 index 字典

初始化

CHUNK_SIZE = 200
shard_index = defaultdict(create_index_default_dict)
chunk_iter = chunked_iterator(shard_files, CHUNK_SIZE)
output_path = output_dir / f"{output_name}_{shard_num}.db"
db_offset = 0
db_file = open(output_path, "wb")

CHUNK_SIZE = 200：每次并发处理 200 个链目录，避免线程开销过大
shard_index：保存当前 shard 中的所有链名对应的索引信息
output_path：构造 .db 文件的路径，如 alignment_0.db
db_offset：记录当前 .db 文件的写入偏移位置（以字节为单位）

shard_index = defaultdict(create_index_default_dict)

这里你传入的是一个函数名 create_index_default_dict，而不是函数调用结果（也就是不加 ()）！

意图：

让 defaultdict 在访问一个不存在的 key 时，调用该函数来生成默认值。

项	说明
`defaultdict(<function>)`	不是调用函数，而是传入一个函数对象
每次访问不存在的 key	会自动执行 `function()`，作为该 key 的默认值
适合嵌套结构	如 `dict[str → dict[str, list]]`

主循环：分批读取 + 写入

for files_chunk in tqdm(chunk_iter, ...):chunk_data = process_chunk(files_chunk)

调用 process_chunk()：多线程读取这 200 个链目录下的所有文件，得到结构：

chunk_data = {"1abc_A": [("file1.a3m", b"..."), ("file2.sto", b"...")],"2xyz_B": [("file1.a3m", b"...")]
}

写入 `.db` 文件 + 更新索引

for chain_name, file_data in chunk_data.items():shard_index[chain_name]["db"] = output_path.namefor file_name, file_bytes in file_data:file_length = len(file_bytes)shard_index[chain_name]["files"].append((file_name, db_offset, file_length))db_file.write(file_bytes)db_offset += file_length

对于每个链：

shard_index[chain_name]["db"] 记录它在哪个 .db 文件中
每个对齐文件都写入 .db 文件，顺序写入
记录每个文件的 (file_name, 起始字节位置, 文件长度)
更新 db_offset 以便下一个文件写入时知道正确的起点

完成处理后关闭文件并返回索引

db_file.close()
return shard_index

这个 shard_index 是供上层 super_index.update(shard_index) 使用的，格式类似：

{"1abc_A": {"db": "alignment_0.db","files": [["file1.a3m", 0, 1024],["file2.sto", 1024, 512]]}
}

总结：函数作用图解

[shard_files: list of chain dirs]↓
[chunked (200 chains at a time)]↓
[每个 chunk -> 并发读取 (ThreadPoolExecutor)]↓
[每个文件的字节数据 -> 顺序写入到 .db 文件]↓
[记录 offset 和长度 → shard_index 字典]↓
[返回 shard_index 字典]

函数特点与优势

特点	优势
Chunk 处理	降低内存和线程并发压力
多线程读取	加快文件加载速度
顺序写入	`.db` 文件结构简单，适合大规模读取
索引记录精确	每个链的每个文件都有 offset，方便快速查找
与 `ProcessPoolExecutor` 配合使用	多个 shard 并行构建，CPU 利用率高

AF3 create_alignment_db_sharded脚本create_shard函数解读

AlphaFold3 create_alignment_db_sharded 脚本在源代码的scripts/alignment_db_scripts文件夹下。该脚本中的 create_shard 函数的功能是将一部分链（shard_files）中的所有对齐文件写入一个 .db 文件，并返回这些链的索引信息（字节…...

编程日记 2025/8/22 21:12:58

Jetpack Compose 实现主页面与局部页面独立刷新的最佳实践

在 Jetpack Compose 开发中，我们经常遇到这样的需求：主页面包含局部页面，主页面刷新时需要更新局部页面，同时局部页面也需要能独立刷新。本文将介绍几种优雅的实现方案。核心需求主页面刷新时能触发局部页面更新局部页面能独立…...

编程日记 2025/8/22 21:03:27

KingbaseES之数据库审计

项目提出要配置数据库审计,来满足分保测评得要求.正好最近做过审计测试,还原下审计配置. 一.开启审计 [kingbaserack1 ~]$ vi /data/data_mysql/kingbase.conf [kingbaserack1 ~]$ sys_ctl -D /data/data_mysql restart grep -r shared_preload_libraries /data/data_mysql/k…...

编程日记 2025/8/22 18:26:11

类的加载过程

1、加载双亲委派模型（启动类》扩展类》应用类） 2、验证文件格式验证（Class 文件格式检查）元数据验证（字节码语义检查）字节码验证（程序语义检查）符号引用验证（类的正确…...

编程日记 2025/8/22 7:43:59

小白工具视频转 3GP,多格式转换与数据安全的完美结合,在线使用

在众多在线视频转换工具中，小白工具的视频转 3GP 功能（https://www.xiaobaitool.net/videos/convert-to-3gp/ ）凭借其出色的性能和丰富的功能脱颖而出，是进行视频格式转换的优质选择。一、强大的多格式支持这款工具支持 MP4、…...

编程日记 2025/8/22 21:11:25

六根觉性：穿透表象的清净觉知之光

在喧嚣的禅堂里，老禅师轻叩茶盏，清脆的声响划破沉寂。这声"叮"不仅震动耳膜，更叩击着修行者的心性——这正是佛教揭示的六根觉性在世间万相中的妙用。当我们凝视《楞严经》中二十五圆通法门，六根觉性犹如六道澄明之光&a…...

编程日记 2025/8/22 21:02:38

Redis的IO多路复用

1 传统的socket编码模型传统 Socket 模型通常采用多线程/多进程或阻塞 I/O 的方式处理网络请求。以下是典型实现步骤： 创建套接字（Socket） 步骤：调用 socket() 创建一个 TCP/UDP 套接字。通常把这个套接字称为【主动套接字】…...

编程日记 2025/8/22 21:06:59

数据结构和算法(六)--栈队列堆

一、栈栈(stack)是限制插入和删除只能在一个位置上进行的表，该位置是表的末端，叫做栈顶（top）。它是后进先出（LIFO）的。对栈的基本操作只有 push（进栈）和 pop（出栈&#…...

编程日记 2025/8/22 21:02:38

js中显示为[object Object]

现象描述： 读取文件并解析数据，遇到变量在使用时异常，通过log输出进行调试，显示为[object,Object]。分析： [object,Object]表示这是一个对象，其构造函数返回一个对象。解决方法： 用JSON进行…...

编程日记 2025/8/22 21:02:40

安装matlab R2021b

安装步骤说明： 以下步骤都是根据R2021b_Windows\Crack_ReadmeWin.txt文件里的内容翻译的。 1）打开安装包根目录，如下： 2）双击R2021b_Windows.iso文件，自动装载进虚拟光驱里，目录入下&…...

编程日记 2025/8/22 21:12:57

Redisson分布式锁深度解析：原理、源码与最佳实践

什么是Redisson分布式锁？ 分布式锁是分布式系统中确保资源互斥访问的核心机制，而Redisson作为基于Redis的Java客户端，提供了高效且功能丰富的分布式锁实现。本文将深入剖析Redisson分布式锁的实现原理、核心机制及源码细节，并结合…...

编程日记 2025/8/22 21:02:42

isNaN、Number.isNaN、lodash.isNaN 的区别

isNaN、Number.isNaN、lodash.isNaN 的区别一、isNaN() 的作用二、什么是 NaN？三、isNaN() 的必要性四、isNaN() 比较1. 全局的isNaN()2. Number.isNaN()3. lodash.isNaN() 五、总结六、附加一、isNaN() 的作用检查是否为 NaN 的值，是返回 true&…...

编程日记 2025/8/22 21:01:11

全面解析Flutter中的Stream用法及实际应用

Flutter中的Stream详解目录什么是StreamStream的分类Stream的基础用法Stream的常用方法实际应用场景完整示例:计数器应用总结参考文章 1. 什么是Stream 在Flutter开发中，Stream是一种强大的异步数据流处理工具。它类似于广播频道，能够持续推送数据…...

编程日记 2025/8/22 21:02:41

网络请求——微信小程序学习笔记

1. 前言发起网络请求，即发起HTTPS网络请求 ，注意必须是HTTPS。 2. 使用前注意事项使用前注意事项可参考官网文档： 基础能力 / 网络 / 使用说明简单的来说，为了安全，服务器域名必须要备案，如果只是想…...

编程日记 2025/8/22 21:01:13

Oracle19C低版本一天遭遇两BUG（ORA-04031/ORA-600）

昨天帮朋友看一个系统异常卡顿的案例，在这里分享给大家环境：Exadata X8M 数据库版本19.11 1.系统报错信息表象为系统卡顿，页面无法刷出，登陆到主机上看到节点1 系统等待存在大量的 cursor: pin S wait on X等待查看两个节…...

编程日记 2025/8/21 21:54:39

车机系统夏令时设置功能的说明

车机系统夏令时设置功能的说明基本原理，夏令时，也就daylight saving time。据说古时候，电费比较贵，为了多采用白天自然光照明，通过行政的方式，调节上班时间。使大家能充分使用白天的时间干活，…...

编程日记 2025/8/22 21:05:13

DeepSeek+大数据分析快速应用落地

一、环境准备 1、准备一个 hive 的环境，并可以进行远程连接 2、环境中安装有 sqoop 和 mysql 3、DeepSeek 我使用的是《问小白》注册地址：打开问小白，填入我的分享码【1VYXOI】使用满血DeepSeek R1，零延迟、不卡、不限次、不…...

编程日记 2025/8/22 10:04:40

web前端开发：CSS的常用选择器

CSS常用选择器 CSS选择器是用于精准定位HTML元素并对其应用样式的核心工具。它的作用类似于“筛选器”，通过特定规则匹配文档中的元素，从而实现样式控制。核心作用定位元素通过元素名称、类名、ID、属性等条件，快速找到需要样式化的目标元…...

编程日记 2025/8/22 21:06:57

Mathematica 中,将含有小数的表达式转换为整数或分数形式

具体方法和示例： 1. 使用 Rationalize 函数 Rationalize[x] 将小数 x 转换为最接近的有理数（分数形式），可指定精度容忍度。示例： Rationalize[0.25] (* 输出: 1/4 *) Rationalize[3.14159, 0.001] (* 输出:…...

编程日记 2025/8/22 21:09:28

在 Ubuntu 下通过 Docker 部署 Mastodon 服务器的详细教程

大家好！今天我们来聊聊如何在 Ubuntu 系统上通过 Docker 部署 Mastodon 服务器。Mastodon 是一个开源的社交网络平台，类似于 Twitter，但更注重隐私和去中心化。Docker 则是一个非常流行的容器化平台，能够让我们轻松地打包、分发和…...

编程日记 2025/8/22 21:11:23

JavaScript基础-01（笔记）

前期：js变量数据类型数据类型检测类型转换数据类型 //// 基本数据类型存放到栈// a.Number 数字类型(包含整数小数)var num1var num1.23443var num2222// NaN 非数字类型或者不能转为数字（例：1,"1"，"1233…...

编程日记 2025/8/22 21:11:23

【C语言基础】C++ 中的 `vector` 及其 C 语言实现详解

一、C 中的 vector：动态数组的核心特性 1. 基本概念 vector 是 C 标准模板库（STL）中的动态数组容器，支持自动扩容、高效元素访问和丰富的操作接口。其核心特性包括： 动态内存管理：自动调整容量&#xff0…...

编程日记 2025/8/22 21:09:27

记录待办事项的便签软件有没有推荐的？

在快节奏的现代生活中，我们每天都要处理大量的工作任务和生活琐事，稍有不慎就可能遗漏重要事项。你是否经常遇到这样的情况：明明记得有件事要做，却怎么也想不起来是什么；或者手头同时有好几项任务，却不知道…...

编程日记 2025/8/22 21:11:24

华为OD机试真题——硬件产品销售方案（2025A卷：100分）Java/python/JavaScript/C++/C语言/GO六种最佳实现

2025 A卷 100分题型本文涵盖详细的问题分析、解题思路、代码实现、代码详解、测试用例以及综合分析； 并提供Java、python、JavaScript、C、C语言、GO六种语言的最佳实现方式！ 华为OD机试真题《硬件产品销售方案》： 目录题目名称&#xff1…...

编程日记 2025/8/19 10:25:05

鸿蒙应用元服务开发-Account Kit未成年人模式订阅和处理用户信息变更

一、概述通过订阅用户信息变更，您可以接收有关用户及其账户的重要更新。当用户取消元服务的授权信息、注销华为账号时，华为账号服务器会发送通知到元服务，元服务可以根据通知消息进行自身业务处理。二、用户信息变更事件介绍三、订阅用…...

编程日记 2025/8/22 21:11:26

优化 Dockerfile 性能之实践（Practice of Optimizing Dockerfile Performance）

优化 Dockerfile 性能之实践构建 Docker 镜像时，Dockerfile 的性能会显著影响构建过程的效率。经过优化的 Dockerfile 可以缩短构建时间、最小化镜像大小并提高整体容器性能。在本文中，我们将探讨优化 Dockerfile 性能的最佳实践。尽量减少层数影响…...

编程日记 2025/8/22 21:09:29

OpenShift介绍，跟 Kubernetes ，Docker关系

1. OpenShift 简介 OpenShift是一个开源项目，基于主流的容器技术Docker及容器编排引擎Kubernetes构建。可以基于OpenShift构建属于自己的容器云平台。OpenShift的开源社区版本叫OpenShift Origin，现在叫OKD。 OpenShift 项目主页：https://www.okd.io/。OpenShift GitHub仓库…...

编程日记 2025/8/22 21:08:42

Go：包和 go 工具

引言通过对关联特性分类，组成便于理解和修改的单元，使包与程序其他包保持独立，助力大型程序的设计与维护。模块化让包可在不同项目共享、复用、发布及全球范围使用。每个包定义不同命名空间作为标识符，关联具体包&#xff0c…...

编程日记 2025/8/19 4:24:49

GIS开发笔记（5）结合osg及osgEarth实现虚线环形区域绘制

一、实现效果：输入中点坐标点、内圆半径、外圆半径，绘制坐标点所在高度的水平面的两个圆形形成环形区域。二、实现原理： 创建中心点所在平面的圆形几何体，将其分别挂接到同一个节点上，再将该节点挂接到用户绘制组节…...

编程日记 2025/8/22 13:02:28

天线静电防护：NRESDTLC5V0D8B

一. 物联网天线的使用环境 1.1 联网天线广泛应用于智能家居领域，比如智能门锁、智能摄像头等设备中，通过天线实现设备与家庭网络的连接，用户可以远程控制和监控家居设备。以智能摄像头为例，它通过天线将拍摄的画面实时传输到用户…...

编程日记 2025/8/21 13:51:09

Linux进程相关选择题及解析

1. 关于Linux进程创建，以下说法正确的是？ A. fork()函数调用后，子进程从父进程的fork()之后开始执行 B. fork()函数返回两次，父进程返回子进程PID，子进程返回0[10][11] C. exec函数族会替换当前进程的代码段，但保留数据段和堆栈 D. wait()函数只能等待直接子进程退出答…...

编程日记 2025/8/20 5:57:04

Day(22)--网络编程习题

习题以下是这些 TCP 通信练习题的 Java 代码实现及解析： TCP 通信练习 1 - 多发多收客户端（Client1.java） java import java.io.IOException; import java.io.OutputStream; import java.net.Socket; public class Client1 {public…...

编程日记 2025/8/22 7:14:08

Kubernetes 节点摘除指南

目录一、安全摘除节点的标准流程 1. 确认节点名称及状态 2. 标记节点为不可调度 3. 排空（Drain）节点 4. 删除节点二、验证节点是否成功摘除 1. 检查节点列表 2. 检查节点详细信息 3. 验证 Pod 状态三、彻底清理节点（可选&#xf…...

编程日记 2025/8/21 2:34:30

SM4密码算法的CPA攻击技术

SM4算法简介可参见博文 SM4分组密码算法研究。 SM4密码算法的CPA攻击技术相关功耗攻击（CPA）是侧信道功耗分析攻击中较为常见的攻击方法之一，攻击者利用密码算法执行过程中，在侧信道泄露的信息（如时序、能量、缓存等）和通信信道的消息（如明文、私钥等）进行测试，通过…...

编程日记 2025/8/22 4:34:38

Golang｜KVBitcask

文章目录初识KVbitcask论文详解初识KV bitcask论文详解论文地址：https://riak.com/assets/bitcask-intro.pdf理想的存储引擎，应该满足下面一些特点：...

编程日记 2025/8/20 4:12:18

【Python进阶】元组：不可变序列的十大核心应用

目录前言：技术背景与价值当前技术痛点解决方案概述目标读者说明一、技术原理剖析核心概念图解核心作用讲解关键技术模块技术选型对比二、实战演示环境配置要求核心代码实现（10个案例）案例1：基础创建与访问案例2：解包…...

编程日记 2025/8/20 12:17:45

centos安装libheif

参考解决docker: Error response from daemon: Get “https://registry-1.docker.io/v2/“:连接超时问题_error response from daemon :get-CSDN博客 HEIF编解码器安装 - navyum - 博客园 https://github.com/strukturag/libheif #升级gcc yum install centos…...

编程日记 2025/8/20 12:36:12

初步认识Model Context Protocol (MCP) Java SDK

1. Maven如何下载MCP Java SDK 基础配置（核心模块）在您的pom.xml文件中添加以下依赖： <dependencyManagement> <dependencies> <dependency> <groupId>io.modelcontextprotocol.sdk</groupId> <artifactI…...

编程日记 2025/8/19 7:55:54

第三章爬虫提速、selenium模块、requests模块进阶（终）

目录一.requests进阶 （一）处理cookie （二）防盗链 （三）代理二.爬虫提速 （一）线程池和进程池 （二）协程 （三）异步http请求-aio…...

编程日记 2025/8/17 20:05:07

unity使用内建组件给刚体增加重力

2019年3月9日11:10:24 unity开发中，有时候发现刚体上的重力不能满足我们的需要，可以通过使用内建组件Constant Force来增加重力： 在游戏对象上。请按照以下操作： 为Player添加一个名为Constant Force组件，选择Player在…...

编程日记 2025/8/21 22:23:33

Java开发中的设计模式之观察者模式详细讲解

观察者模式（Observer Pattern）是一种行为型设计模式，它定义了对象之间的一种一对多的依赖关系。当一个对象的状态发生改变时，所有依赖于它的对象都会自动收到通知并更新。这种模式在Java开发中非常常见，尤其是在事件驱…...

编程日记 2025/8/20 20:27:58

【学习笔记】计算机网络（九）—— 无线网络和移动网络

第9章无线网络和移动网络文章目录第9章无线网络和移动网络9.1 无线局域网WLAN9.1.1 无线局域网的组成9.1.2 802.11局域网的物理层9.1.3 802.11局域网的MAC层协议CSMA 协议CSMA/CD 协议 - 总线型 - 半双工CSMA/CA 协议 9.1.4 802.11局域网的MAC帧 9.2 无线个人区域网WPAN9.3…...

编程日记 2025/8/20 16:43:18

一个基于Django的写字楼管理系统实现方案

一个基于Django的写字楼管理系统实现方案用户现在需要我用Django来编写一个写字楼管理系统的Web版本，要求包括增删改查写字楼的HTML页面，视频管理功能，本地化部署，以及人员权限管理，包含完整的代码结构和功能实现&am…...

编程日记 2025/8/20 12:23:14

C++面试考点：类（class）

1、类的定义 C中的类提供了面向对象编程、继承与多态的机制。其构成包括成员（各种自定义数据）、行为（定义的函数操作）、封装（private、public、protected）。核心是了解类的继承机制，以及各种封装…...

编程日记 2025/8/17 20:18:15

ThreadPoolExecutor 多线程用requests请求一个地址的时候为什么会报错，而多进程用requests请求一个地址的时候不会报错，为什么？

网络请求行为多线程：requests 库底层依赖 urllib3，而 urllib3 使用连接池管理网络请求。在多线程环境中，连接池可能会因为线程间的竞争导致连接泄漏或超时。多进程：每个进程独立管理自己的连接池，因此不会出现线程间…...

编程日记 2025/8/16 21:39:19

数据库脱裤

假设你已经getshell 找到mysql账号密码。网站要连接mysql，就需要把mysql的账号密码保存在一个php文件中，类似config.php、common.inc.php等，在shell中，读取这些文件，找到其中信息即可下面是一些常见平台的配置文…...

编程日记 2025/8/20 16:55:21

十二,＜FastApi＞中间件

什么是中间件? "中间件"是一个函数,它在每个请求被特定的路径操作处理之前,以及在每个响应之后工作. 代码示例: from fastapi import FastAPI, Response from fastapi import Request import uvicornapp FastAPI()app.middleware("http") async def m2…...

编程日记 2025/8/20 5:03:45