当前位置：首页 > news >正文

基于深度学习的多模态癌症数据集调研

news 来源：原创 2025/9/6 12:58:50

基于深度学习的多模态癌症数据集调研

关键词： 癌症、分割、多模态、radiology、pathology、深度学习

目录：

一、数据集总结
二、胶质瘤/脑肿瘤（glioma）
三、肺癌/非小细胞肺癌（NSCLC）
四、乳腺癌（Breast Cancer）
五、前列腺癌（Prostate Cancer）
六、高级别浆液性卵巢癌（HGSOC）
七、食管癌（esophageal cancer）

一、数据集总结

（一）可用的多模态数据集

1．TCIA (The Cancer Imaging Archive) - 多种癌症

https://www.cancerimagingarchive.net/

（1）简介

包含来自TCGA等大型项目的多癌种、多模态数据。需要根据具体癌症类型（如肺癌、肝癌、前列腺癌）搜索特定的Collection。需要寻找那些明确提供多模态图像和对应分割标注的集合。例如：

TCGA-GBM / TCGA-LGG: 脑胶质瘤，含MRI。
TCGA-LUAD / TCGA-LUSC: 肺癌，常含CT, PET。
NSCLC Radiogenomics: 肺癌，CT/PET与基因组学关联。
Prostate collections (e.g., PROSTATEx): 前列腺癌，常含多参数MRI (T2w, DWI, DCE)。
Head-Neck Radiomics: 头颈癌，常含CT, PET。

（2）具体内容

①CPTAC (Clinical Proteomic Tumor Analysis Consortium) 系列:

CPTAC-GBM: 胶质母细胞瘤。包含MRI影像、数字病理切片（WSI）、蛋白质组学、基因组学和临床数据。
CPTAC-LSCC: 肺鳞状细胞癌。包含CT影像、数字病理切片（WSI）、蛋白质组学、基因组学和临床数据。
CPTAC-LUAD: 肺腺癌。同样包含CT影像、WSI、蛋白质组学、基因组学和临床数据。
CPTAC-CCRCC: 透明细胞肾细胞癌。包含CT影像、WSI、蛋白质组学、基因组学和临床数据。
CPTAC-UCEC: 子宫内膜癌。包含MRI影像、WSI、蛋白质组学、基因组学和临床数据。
CPTAC-PDA: 胰腺导管腺癌。包含CT影像、WSI、蛋白质组学、基因组学和临床数据。

②TCGA (The Cancer Genome Atlas) 相关影像数据集:

TCIA托管了大量TCGA队列的影像数据（如CT, MRI, PET）。例如：

TCGA-GBM: 胶质母细胞瘤 (MRI)
TCGA-LGG: 低级别胶质瘤 (MRI)
TCGA-LUAD: 肺腺癌 (CT)
TCGA-LUSC: 肺鳞状细胞癌 (CT)
TCGA-BRCA: 乳腺癌 (MRI)
TCGA-KIRC / KIRP / KICH: 肾癌 (CT)

TCIA主要提供这些队列的影像数据。对应的数字病理切片（WSI）和基因组/临床数据通常需要从GDC (Genomic Data Commons) 门户网站获取。虽然数据源分散，但可以通过患者ID进行匹配，构成多模态数据集。

③NSCLC-Radiomics 系列:

NSCLC-Radiomics: 非小细胞肺癌。包含CT影像、手动勾画的肿瘤区域（ROI），以及预计算的放射组学特征。
NSCLC Radiogenomics: 另一个专注于肺癌放射组学和基因组学关联的数据集，包含CT影像、分割、基因数据，也可能有病理信息链接。

2．BraTS (Brain Tumor Segmentation Challenge) - 脑肿瘤 (胶质瘤)

https://www.med.upenn.edu/cbica/brats/

最经典的脑肿瘤多模态分割数据集，标注质量高。BraTS (Brain Tumor Segmentation Challenge) 数据库本身是一个基于 MRI 的多模态数据集。其核心包含以下几种 MRI 序列，用于脑肿瘤的分割和分析：

T1-weighted (T1): T1 权重成像。
T1-weighted contrast-enhanced (T1ce): T1 权重对比度增强成像（注射造影剂后）。
T2-weighted (T2): T2 权重成像。
FLAIR (Fluid-Attenuated Inversion Recovery): T2 液体衰减反转恢复序列。

这四种 MRI 模态是 BraTS 数据集的标准组成部分，提供了关于肿瘤结构、水肿、坏死、增强区域等不同方面的信息。

标准 BraTS 数据集通常不直接包含数字化的组织病理学切片 (WSI)。 BraTS 挑战的主要重点是基于 MRI 的分割和相关任务（如生存预测）。但是，BraTS 数据集中的许多病例来源于大型公共数据库，例如 TCGA (The Cancer Genome Atlas) 和 TCIA (The Cancer Imaging Archive)。这些源数据库包含了与 MRI 图像相对应的患者的组织病理学数据（包括 WSI）以及基因组学等其他信息。因此，可以将 BraTS 的 MRI 数据与来自 TCGA/TCIA 的相应患者的组织病理学数据进行关联和整合分析，需要通过患者 ID 等标识符进行匹配。

3．Lung-CLiP（肺癌临床蛋白质组肿瘤分析联盟）

CPTAC 的肺癌研究队列是 Lung-CLiP 的主要数据来源。CPTAC 已经对相当数量的肺腺癌（LUAD）和肺鳞状细胞癌（LSCC）样本进行了深入的多组学分析。这些研究通常是 Lung-CLiP 工作的基础。这些队列通常会收集匹配的临床数据、基因组数据（如 WES, RNA-Seq）、蛋白质组学数据，影像数据（通常是 CT 扫描）和组织病理学数字切片（WSI）。通常存储在 TCIA 或通过 CPTAC 数据门户链接访问。没有一个现成的、单一的“Lung-CLiP 多模态数据集”文件包直接下载。需要从不同的数据源获取数据，并根据患者 ID 将它们整合起来：

从 CPTAC Data Portal 获取临床数据、蛋白质组学数据、基因组/转录组学数据的索引和部分数据。
从 TCIA (The Cancer Imaging Archive) 下载匹配的 CT/PET 影像和 WSI 病理切片。
从 GDC (Genomic Data Commons) 获取详细的基因组/转录组学数据。
从 PDC (Proteomic Data Commons) 获取蛋白质组学数据。

查找入口：

起点: NCI CPTAC Data Portal (https://pdc.cancer.gov/pdc/)，可以找到相关的肺癌研究项目（如LUAD, LSCC）。
数据检索: TCIA 是查找和下载 CPTAC 相关影像（CT, PET）和数字病理切片（WSI）的主要平台。搜索时可以使用 “CPTAC-LUAD” 或 “CPTAC-LSCC” 等关键词。

4．HECKTOR (Head and Neck Tumor Segmentation and Outcome Prediction Challenge) - 头颈部肿瘤

模态：PET, CT (通常是配准好的 PET/CT 图像)

HECKTOR (Head and Neck Tumor Segmentation and Outcome Prediction) 挑战赛的核心数据是头颈部癌症患者的 PET/CT 图像，许多研究还会结合临床数据（如年龄、性别、分期、治疗信息等，如果提供的话）。挑战的主要任务是基于这些图像进行肿瘤分割和/或预后预测（例如生存期预测）。标准的 HECKTOR 挑战赛数据集（如 HECKTOR 2020, 2021, 2022）本身并不直接包含数字化的组织病理学切片数据。

5．PROSTATEx Challenge / PI-CAI Challenge - 前列腺癌

模态：MRI: T2w, DWI (扩散加权成像) / ADC (表观扩散系数), DCE (动态对比增强) (即 mpMRI - 多参数MRI)

PROSTATEx (Prostate Cancer Detection Challenge) 系列挑战赛（主要是 PROSTATEx-1 和 PROSTATEx-2）的核心目标是利用多参数磁共振成像 (mpMRI) 来检测和评估前列腺癌的临床显著性。多参数磁共振成像 (mpMRI) 结合了多种不同的 MRI 序列来提供更全面的信息。通常包括：

T2 加权成像 (T2W): 提供解剖结构信息。
扩散加权成像 (DWI) 及其衍生的表观扩散系数图 (ADC): 反映水分子扩散受限情况，常与肿瘤细胞密度相关。
动态对比增强成像 (DCE): 反映组织的血流灌注情况，肿瘤区域通常表现出特定的增强模式（尽管在 PROSTATEx-2 中 DCE 的作用被发现相对较小）。

6．LiTS (Liver Tumor Segmentation Challenge) - 肝脏肿瘤 (Liver Tumor)

模态：CT

肝脏 CT 扫描图像和分割掩码。

7．KiTS (Kidney Tumor Segmentation Challenge) - 肾脏肿瘤 (Kidney Tumor)

模态：CT

肾脏（和肾肿瘤）的对比增强 CT 扫描图像和分割掩码。可能存在包含部分 KiTS 相关病例的、公开的、包含病理切片（WSI）和基因组学的关联数据集 (CPTAC-CCRCC)。

（二）参考文献

1．多模态深度学习在精准肿瘤学中的应用：全面综述（Multimodal deep learning approaches for precision oncology: a comprehensive review）

https://academic.oup.com/bib/article/26/1/bbae699/7942793

肿瘤学领域大规模生物医学数据的不断积累，以及深度学习（DL）技术的显著进步，已将多模态深度学习（MDL）确立为精准肿瘤学的基石。本综述基于广泛的文献调查，概述了 MDL 在该领域的应用。总共包括截至 2024 年 9 月之前发表的 651 篇文章。我们首先概述了支持癌症研究公开可用的多模态数据集。然后，我们讨论了关键的 DL 训练方法、数据表示技术和融合策略，用于整合多模态数据。综述还考察了 MDL 在肿瘤分割、检测、诊断、预后、治疗选择和治疗效果监测中的应用。最后，我们批判性地评估了当前方法的局限性，并提出了未来研究方向。通过综合当前进展和识别挑战，本综述旨在指导未来利用 MDL 推进精准肿瘤学的努力。

在这里插入图片描述

二、胶质瘤/脑肿瘤（glioma）

胶质瘤的诊疗路径天然地将高质量的术前MRI（放射组学来源）和必要的手术/活检（病理组学来源）紧密地联系在一起，且时间间隔相对较短，解剖结构相对固定，为获取配对的多模态数据提供了便利条件。

MRI - 诊断和术前规划：对于疑似脑肿瘤的患者，多参数MRI（包含T1、T1c、T2、FLAIR等序列）是绝对必要且标准的检查手段。它不仅用于初步诊断，更是手术前规划的关键依据，帮助神经外科医生确定肿瘤范围、与重要脑功能区的关系等。
手术/活检 - 诊断和治疗的常规环节：对于大多数实体肿瘤，组织病理学检查是确诊的“金标准”。对于胶质瘤，尤其是需要明确分级和分子状态（如IDH突变、1p/19q共缺失）以指导后续治疗的病例，手术切除或活检是常规操作。

很多癌症（如乳腺癌、前列腺癌）可能先通过穿刺活检确诊，此时获取的组织量有限，且难以精确对应到之前的影像（尤其是如果影像是CT或超声）。后续的手术切除可能在一段时间之后，期间肿瘤可能发生变化或接受了新辅助治疗。在某些癌症中（如部分乳腺癌、直肠癌），患者可能在手术前接受化疗或放疗（新辅助治疗）。这会改变肿瘤的影像学表现和病理学特征，使得术前影像与术后病理样本之间的直接关联性降低。胶质瘤虽然也有术后放化疗，但通常是在获取了初始诊断的影像和病理样本之后。脑肿瘤的影像采集和处理在大型医疗中心往往有更标准化的流程（部分得益于像BraTS这样的挑战赛推动）。而其他癌症的多中心数据采集可能面临更大的异质性。

（一）使用深度学习的多模式数据整合预测胶质瘤患者的总生存期（Multimodal data integration using deep learning predicts overall survival of patients with glioma）

https://onlinelibrary.wiley.com/doi/full/10.1002/VIW.20240001

胶质瘤是一种高度异质性疾病，预后较差。精准的生存预测可以为后续的临床决策、临床试验的开展以及健康经济学带来益处。最近的研究强调了磁共振成像、病理标本和循环生物标志物的预后价值。然而，这些模式的整合潜力和有效性尚需进一步验证。通过整合来自癌症基因组图谱胶质瘤数据集的218名患者和华山队列的54名患者的补充预后信息，我们建立了一种用于T1增强对比图像和组织学切片的挤压-激励深度学习特征提取器，并利用最小绝对收缩和选择算子-Cox回归分析筛选显著的循环5-羟甲基胞嘧啶（5hmC）特征用于胶质瘤生存预测。因此，通过对放射影像、组织病理学影像特征、循环游离DNA中的全基因组5hmC以及临床变量的生存支持向量机多模态整合，获得了一种高效的预后预测模型（一致性指数=0.897；Brier评分=0.118），为改善胶质瘤患者的生存风险分层提供了一种有效的策略。

在这里插入图片描述
胶质瘤数据集来自癌症基因组图谱（TCGA）项目，并被应用于本研究中。TCGA 胶质瘤队列包括 TCGA-GBM 和 TCGA-LGG 队列。患者选择的纳入标准如下：（1）经病理诊断的胶质瘤患者；（2）术前具有 T1 加权钆增强（T1-CE）成像的 MRI 数据；（3）具有可用的生存数据和临床特征，包括性别、年龄、世界卫生组织（WHO）分级、肿瘤位置（运动和语言功能区域，MLFA）和异柠檬酸脱氢酶 1（IDH1）突变状态。个体的 MRI 扫描来自 TCGA-GBM 和 TCGA-LGG 队列，并从癌症成像档案（https://www.cancerimagingarchive.net/）下载。TCGA-GBM 和 TCGA-LGG 的病理图像从 TCGA 基因组数据共享（GDC）数据门户（https://portal.gdc.cancer.gov/）下载。最后，选择了 218 名 TCGA 胶质瘤患者（100 名 GBM 患者和 118 名 LGG 患者）进行进一步分析。我们还在 2020-2021 年间，从复旦大学附属华山医院医疗集团招募了 54 名符合纳入标准的胶质瘤患者。此外，我们还筛选了之前 5hmC 队列（GSE132118）中符合纳入标准的 57 名胶质瘤患者。

影像和临床数据在必要时可通过联系相应作者进行索取。本研究中使用的代码在 https://github.com/gazhee/huashan-survival 上公开可用。

（二）深度神经网络分析病理图像与整合分子数据以增强胶质瘤分类和分级（Deep Neural Network Analysis of Pathology Images With Integrated Molecular Data for Enhanced Glioma Classification and Grading）

https://www.frontiersin.org/journals/oncology/articles/10.3389/fonc.2021.668694/full

胶质瘤是起源于胶质细胞的原发性脑肿瘤。这些肿瘤的分类和分级对于预后和治疗计划至关重要。中枢神经系统（CNS）中胶质瘤的分类标准于 2016 年由世界卫生组织（WHO）引入。该胶质瘤分类标准要求将组织学与基因组学相结合。2017 年，为了提供中枢神经系统肿瘤分类的最新建议，成立了“提供中枢神经系统肿瘤分类分子和实用方法信息联盟”（cIMPACT-NOW）。该联盟的目的是让世界卫生组织在其即将发布的版本中采用这些建议。在这项工作中，我们提出了一种新的胶质瘤分析方法，该方法首次在文献中整合了从数字分析脑组织病理学图像中获得的细胞学特征，以及根据最新的 WHO 标准结合分子特征。我们首先提出了一种针对大组织病理学全切片图像（WSIs）中感兴趣区域（ROI）选择的新型过度分割策略。基于深度神经网络（DNN）的分类方法随后将分子特征与细胞密度特征融合，以提高肿瘤分类性能。我们使用来自癌症基因组图谱（TCGA）数据集的 549 个患者病例评估所提出的方法。使用常规 DNN 进行交叉验证分类准确率分别为低级别胶质瘤（LGG）和高级别胶质瘤（HGG）的 93.81%，以及 LGG II 和 LGG III 的 73.95%。我们的实验表明，深度学习的类型对 LGG II 与 LGG III 之间的肿瘤亚型区分有显著影响。这些结果优于分类 LGG II 与 LGG III 的最新方法，并在区分 LGG 与 HGG 方面在文献中提供具有竞争力的性能。此外，我们还研究了使用病理图像和细胞密度信息进行分子亚型分类。最后，本研究在文献中首次表明，细胞密度量化有望预测具有 IDH 突变的 LGG 的脑肿瘤分级。

在这里插入图片描述
我们使用来自基因组数据共享（GDC）的癌症基因组图谱（TCGA）数据集中关键变异（IDH、ATRX、1p/19q 和 MGMT 启动子）的 549 张全切片图像（WSIs）以及分子信息。这 549 张 WSIs 分别包含 201 个 LGG II 级、229 个 LGG III 级和 119 个 HGG IV 级。我们根据方法部分中介绍的区域选择策略，从 WSI 中选择最大的超像素作为最终 ROI，大小为 1000 × 1000。因此，本研究共有 549 个 ROI。对于核分割，我们使用 UNet 架构（55）。训练 H&E 染色数据来自多器官核分割挑战（MoNuSeg），包含 30 张图像和约 22000 个核边界注释的几个器官组织（56）。我们以 MoNuSeg 中的一张图像作为参考，然后对 549 个 ROI 图像进行颜色归一化，使所有对象具有相似的颜色外观，同时保留原始结构。本工作中实验数据的真实值来自 TCGA 中的专家共识真实值。所有诊断和分子信息直接来自 TCGA 数据集。诊断由参与机构进行，通过全外显子测序、DNA 拷贝数分析、mRNA 测序和 DNA 甲基化分析相结合的方法获取分子数据。神经病理学家审查了组织学图像，并确认了所给诊断的有效性（KJ）。

（三）一种基于弱监督深度学习的利用 WSI 和 mpMRIs 进行胶质瘤亚型分类的方法（A weakly supervised deep learning-based method for glioma subtype classification using WSI and mpMRIs）

https://www.nature.com/articles/s41598-022-09985-1

精确的胶质瘤亚型分类对于脑肿瘤患者的治疗管理至关重要。由于许多因素，开发用于胶质瘤亚型分类的自动计算机辅助算法具有挑战性。其中一个困难是标签约束。具体来说，每个病例只是简单地被标记为胶质瘤亚型，而没有对病变区域信息的精确注释。在本文中，我们提出了一种基于混合全卷积神经网络（CNN）的胶质瘤亚型分类方法，该方法使用全切片成像（WSI）和多参数磁共振成像（mpMRIs）。它包括两种方法：基于 WSI 的方法和基于 mpMRIs 的方法。对于基于 WSI 的方法，我们使用 WSI 上的 2D CNN 对胶质瘤亚型进行分类。为了克服标签约束问题，我们以弱监督的方式提取代表胶质瘤亚型分类的真正代表性块。对于基于 mpMRIs 的方法，我们通过分析 mpMRIs 开发了一种基于 3D CNN 的方法。基于 mpMRIs 的方法包括脑肿瘤分割和分类。最后，为了提高预测的鲁棒性，我们根据置信指数融合了基于 WSI 和基于 mpMRIs 的结果。在 CPM-RadPath 2020 竞赛的验证数据集上的实验结果表明，两种模态的综合判断比仅使用 WSI 或 mpMRIs 的性能更好。此外，我们使用所提出的方法在 CPM-RadPath 2020 测试阶段排名第三。所提出的方法展示了具有竞争力的性能，这归功于弱监督方法和多模态数据标签一致性策略的成功。

在这里插入图片描述
在这项研究中，MRI 图像和病理图像来源于两个公开数据集：2020 年多模态脑肿瘤分割挑战（BraTS 2020）和计算精准医学：脑肿瘤分类的放射-病理挑战（CPM-RadPath）2020。BraTS 2020 训练数据包含 369 个病例，包括 76 例低级别胶质瘤（LGG）患者和 293 例高级别胶质瘤（HGG）患者。对于每个病例，都有多参数 MRI（mpMRI）和相应的脑肿瘤地面真相。mpMRI 包括 T1 加权 MRI（T1）、T1 加权增强 MRI（T1ce）、T2 加权 MRI（T2）和 T2 加权液体衰减反转恢复 MRI（T2-FLAIR）。每个病例的每种模态的大小为 240x240x155 。肿瘤分割的真实情况包含多个肿瘤亚型，如肿瘤组织周围水肿（ED）、增强肿瘤（ET）和坏死/非增强肿瘤（NCR/NET）。对于 CPM-RadPath 2020 的数据，训练数据集由 221 个病例组成，包括配对的放射学和数字病理学图像。在 221 个病例中，有 54、34 和 133 个病例分别为低级别星形细胞瘤、IDH 突变（A）、少突胶质细胞瘤、1p/19q 共分离（O）以及具有胶质母细胞瘤分子特征的胶质母细胞瘤和弥漫性星形细胞胶质瘤，分别。此外，CPM-RadPath 2020 挑战赛中，验证集和测试集分别有 35 和 73 个病例。需要注意的是，挑战组织者私下拥有验证和测试数据中胶质瘤亚型的真实情况。在验证阶段，参与者将预测结果提交给挑战以在线评估算法。然而，在测试阶段，参与者只能提交封装在 Docker 容器中的算法，组织者执行算法以进行最终排名。

三、肺癌/非小细胞肺癌（NSCLC）

（一）多模态整合放射学、病理学和基因组学，以预测非小细胞肺癌患者对 PD-(L)1 阻断剂的反应（Multimodal integration of radiology, pathology and genomics for prediction of response to PD-(L)1 blockade in patients with non-small cell lung cancer）

https://www.nature.com/articles/s43018-022-00416-8

免疫治疗被用于治疗几乎所有晚期非小细胞肺癌（NSCLC）患者；然而，识别稳健的预测生物标志物仍然具有挑战性。在这里，我们展示了整合医学影像、组织病理学和基因组特征来预测免疫治疗反应的预测能力，使用的是 247 名晚期 NSCLC 患者的队列，这些患者在诊断临床检查期间获得了多模式基线数据，包括计算机断层扫描图像、数字化程序性死亡配体-1 免疫组化切片和已知的免疫治疗结果。使用领域专家注释，我们开发了一个计算工作流程来提取患者级别的特征，并使用机器学习方法将多模式特征整合到风险预测模型中。我们的多模态模型（曲线下面积（AUC）=0.80，95%置信区间（CI）0.74–0.86）优于单模态指标，包括肿瘤突变负荷（AUC=0.61，95% CI 0.52–0.70）和程序性死亡配体-1 免疫组化评分（AUC=0.73，95% CI 0.65–0.81）。因此，我们的研究为使用专家指导的机器学习在 NSCLC 患者中通过多模态特征提高免疫疗法反应的预测提供了定量依据。

在这里插入图片描述
所有数据均可在 Synapse 公开获取：https://www.synapse.org/#!Synapse:syn26642505。队列的基因组特征可在 cbioportal 上探索：https://www.cbioportal.org/study/summary?id=lung_msk_mind_2020。源数据已作为源数据文件提供。源数据随本文提供。Feature processing and engineering code is available as part of Luna: https://github.com/msk-mind/luna/

（二）多模态深度学习神经网络在整张切片组织图像和基质辅助激光解吸电离质谱成像中用于肺癌亚型分类（Multimodal Lung Cancer Subtyping Using Deep Learning Neural Networks on Whole Slide Tissue Images and MALDI MSI）

https://www.mdpi.com/2072-6694/14/24/6181

人工智能（AI）在促进肿瘤的检测和分类方面显示出潜力。在非小细胞肺癌患者中，区分最常见的亚型，即腺癌（ADC）和鳞状细胞癌（SqCC），对于制定有效的治疗方案至关重要。然而，这项任务在临床常规中可能仍然存在挑战。我们提出了一种基于 AI 的双模态分类算法，用于检测和亚型肿瘤区域，该算法结合了基质辅助激光解吸/电离（MALDI）质谱成像（MSI）数据和肺组织切片的数字显微镜全切片图像（WSI）的信息。该方法包括首先通过进行苏木精和伊红染色（H&E 染色）WSI 的分割来检测高肿瘤细胞含量区域，然后根据相应的 MALDI MSI 数据进行肿瘤区域的分类。我们在包含 N = 232 名患者肿瘤样本的六个组织微阵列（TMAs）上训练了该算法，并使用了 14 个额外的全切片进行验证和模型选择。分类精度在包含另外 16 个全切片的测试数据集上进行了评估。该算法准确检测和分类肿瘤区域，在频谱级别上测试准确率达到 94.7%，并正确分类了 16 个测试区域中的 15 个。当引入额外的质量控制标准时，通过质量控制的区域（16 个中的 14 个）测试准确率达到 100%。所提出的方法在将 AI 和 MALDI MSI 数据纳入临床常规方面迈出了进一步，并有可能减少病理医生的工作量。对结果进行仔细分析揭示了在基于肺癌组织数据训练神经网络时需要考虑的具体挑战。

在这里插入图片描述
本研究中展示的数据可从对应作者处索取。由于隐私原因，数据不公开。

四、乳腺癌（Breast Cancer）

（一）使用多模态数据预测人类乳腺癌分子亚型的混合深度学习模型（A Hybrid Deep Learning Model for Predicting Molecular Subtypes of Human Breast Cancer Using Multimodal Data）

https://www.sciencedirect.com/science/article/pii/S1959031820301858

乳腺癌亚型预测在乳腺癌的诊断和预后中起着关键作用。近年来，深度学习（DL）在乳腺癌亚型的智能预测中表现出良好的表现。然而，传统的 DL 模型大多采用单模态数据，只能提取少量的特征，无法建立患者特征与乳腺癌亚型之间的稳定对应关系。

在这里插入图片描述

我们采用 TCGA-BRCA 数据集作为乳腺癌分子亚型预测的样本集，这是一个公开的数据集，可以通过以下链接获取：https://portal.gdc.cancer.gov/projects/TCGA-BRCA

我们采用 TCGA-BRCA 数据集作为乳腺癌分子亚型预测的样本集。TCGA-BRCA 数据集包含 1098 例乳腺癌患者的基因表达数据和 CNV。另外，每个患者都有几张组织病理学图像（病理图像数据），也可以通过 TCGA 数据库获得 [48] 。每个患者的基因表达数据、CNVs 和病理图像数据可以分为两种类型的模态。其中，基因表达数据和 CNVs 是一维的（矢量形式），对应一种模态；病理图像是彩色的，包括红绿蓝（RGB）三个通道，因此是三维数据，对应另一种模态。在本文中，我们分别称它们为基因模态和影像模态。该数据集共包含 1098 个样本，但是有些样本缺失数据或者有些样本缺少标签，所以我们筛选了这些干扰样本，最终选取 831 个可用样本组成本文的样本集。

五、前列腺癌（Prostate Cancer）

（一）深度学习在病理-放射融合诊断前列腺癌分类中的应用方法（A Deep Learning Approach to Diagnostic Classification of Prostate Cancer Using Pathology–Radiology Fusion）

https://onlinelibrary.wiley.com/doi/full/10.1002/jmri.27599

开发一种基于人工智能（AI）的模型（命名为 AI-活检），用于利用标记有组织病理学信息的磁共振（MR）图像进行前列腺癌的早期诊断。磁共振成像（MRI）数据集，来自 400 名疑似患有前列腺癌的患者，并包含组织学数据（其中 228 例为院内获取，172 例来自外部公开数据库）。

在这里插入图片描述

这项研究包括了来自我们自身泌尿科中心的 228 名患者（影像时间为 2015/02 至 2019/03）。在本手册中，我们将此数据集称为内部数据集。MR 图像由来自相应融合引导活检（经直肠和经会阴）的癌症 GS 和 GG 信息标记。我们还使用了从癌症影像存档（TCIA）获得的四个外部公共数据集，这些数据集去除了患者身份信息并托管了一个大型医疗影像档案库，可供公众下载。我们使用了 PROSTATEx Challenge (n = 99 patients),22, 23 PROSTATE-MRI (n = 26),24 PROSTATE-DIAGNOSIS (n = 38 patients),25 and TCGA-PRAD (n = 9 patients).26 因此，公共数据的收集包括总共 172 名具有 T2w 前列腺 MRI 图像的患者，以及来自相应前列腺核心针吸活检或前列腺切除术标本的组织病理学信息。所有公共和内部数据均转换为 PNG 格式，并使用 Python 脚本来规范化强度不均匀性。对于每位患者，两位放射科医生（一位有 6 年经验的先进成像技术人员和一位有 17 年经验的泌尿放射科医生）审查并选择了包含前列腺腺体的七个轴向图像切片的一致序列（=2800 个图像插值到 512×512 像素）（图 1a）。此外，对于内部数据，这两位放射科医生审查了分配的 PI-RADS1-5 评分（如果有的话）。然后，我们根据相应的病理报告对所有 MRI 图像进行了分类（图 1b）。这意味着所有患者的 MRI 图像都被贴上了良性、GS、6-10 或 GG1-5 病理评估标签，该评估由经验丰富的病理学家（来自不同诊所）完成，然后由我们机构的一位病理学家（拥有 15 年经验）进行审查。

六、高级别浆液性卵巢癌（HGSOC）

（一）多模态数据整合利用机器学习提高高级浆液性卵巢癌的风险分层（Multimodal data integration using machine learning improves risk stratification of high-grade serous ovarian cancer）

https://www.nature.com/articles/s43018-022-00388-9

患有高级别浆液性卵巢癌的患者预后不良，对治疗的反应各异。已知该疾病的预后因素包括同源重组缺陷状态、年龄、病理分期和减瘤手术后残留疾病状态。最近的研究突出了计算机断层扫描和病理组织学标本中捕获的重要预后信息，这些信息可以通过机器学习来利用。然而，关于结合来自这些不同来源的特征以提高治疗反应预测能力的能力知之甚少。在这里，我们组装了一个包含 444 例主要晚期高级别浆液性卵巢癌患者的多模态数据集，并发现了与预后相关的定量特征，如苏木精和伊红染色下的肿瘤核大小和对比增强计算机断层扫描下的网膜纹理。我们发现，这些特征相对于彼此和临床基因组特征提供了互补的预后信息。通过融合组织病理学、放射学和临床基因组学机器学习模型，我们展示了通过多模态数据集成改善癌症患者风险分层的有希望途径。

在这里插入图片描述
DNA 测序、H&E WSI 和 CT 数据已存档于 Synapse（Sage Bionetworks），存取码为 syn25946117。https://www.synapse.org/Synapse:syn25946117/wiki/611576

额外 H&E WSI、CT 成像和基因组数据来自 TCGA 研究网络：http://cancergenome.nih.gov/ 和癌症成像档案：https://www.cancerimagingarchive.net/。在病理科 CLIA 实验室进行的 MSK-IMPACT 原始数据目前不允许在公共存储库中，因为伦理和法律影响仍在机构层面讨论；因此，与 HRD 状态相关的衍生特征在存储库中共享。源数据已作为源数据文件提供。支持本研究发现的所有其他数据，在合理请求下可从相应作者处获得。源数据随本文提供。

七、食管癌（esophageal cancer）

（一）多模态深度学习预测食管癌 PD-L1 生物标志物和临床免疫治疗结果（Multimodal deep learning for predicting PD-L1 biomarker and clinical immunotherapy outcomes of esophageal cancer）

https://www.frontiersin.org/journals/immunology/articles/10.3389/fimmu.2025.1540013/full

尽管免疫检查点抑制剂（ICIs）在实体瘤中表现出显著的抗肿瘤疗效，但从中受益的食管癌（ESCC）患者比例仍然有限。当前的生物标志物有助于识别免疫疗法的潜在反应者，但它们都具有固有的局限性。在本研究中，我们从中国苏州大学第三附属医院建立了两个 ESCC 队列。一个队列包括 220 名通过免疫组化确定 PD-L1 表达水平的患者，另一个队列包括 75 名接受过免疫治疗的患者。对于两个队列中的每位患者，我们收集了包括苏木精和伊红染色病理图像、纵向计算机断层扫描（CT）和相关的临床变量在内的多模态数据。接下来，我们引入了一个新的多模态深度学习模型，该模型整合了病理特征、影像组学特征和临床信息，以预测 PD-L1 水平、免疫治疗反应和总生存期。我们的模型在 PD-L1 生物标志物预测中实现了 AUC 值为 0.836，在免疫治疗反应预测中实现了 AUC 值为 0.809。此外，我们的模型在预测超过一或三年总生存率方面也实现了 0.8 的 AUC 值。我们的研究结果证实，病理学、影像组学和临床特征的多元整合为预测食管癌中 PD-L1 生物标志物水平和免疫治疗反应提供了一种强大的手段。

在这里插入图片描述

The source codes used in this study are available at: https://github.com/hliulab/multimodal
Data:https://www.jianguoyun.com/p/DQ3m0XkQ8vHqCRiPwO4FIAA

注：数据不包含CT，需要找作者要。

注：转载请注明文章出处！🧡