CVFSNet：一种用于端到端脑梗塞溶栓治疗后改良脑梗死溶栓分级（mTICI）评分的跨视图融合评分网络|文献速递-深度学习医疗AI最新文献

Title

题目

CVFSNet: A Cross View Fusion Scoring Network for end-to-end mTICI scoring

CVFSNet：一种用于端到端脑梗塞溶栓治疗后改良脑梗死溶栓分级（mTICI）评分的跨视图融合评分网络 

01

文献速递介绍

中风目前是全球主要的致死原因之一（李，2018）。其特点是高死亡率和高致残率，给医疗系统带来了沉重负担，严重威胁着公众健康。中风主要有两种类型：缺血性中风（IS）和出血性中风（HS）。缺血性中风占比75%至90%，而出血性中风仅占10%至25%（李，2018）。缺血性中风的常见病因是向大脑供血的血管阻塞，这可能会因血液灌注不足和营养缺乏导致脑细胞和组织坏死。 机械取栓术（MT）现已成为缺血性中风大血管闭塞患者的标准治疗方法（戈亚尔等人，2016），而数字减影血管造影（DSA）序列则是在机械取栓术中评估脑血管的金标准。DSA序列具有对比度分辨率高、检查时间短、低浓度下造影剂用量少以及患者接受的X射线辐射显著减少等优点。DSA成像涉及从一系列注入造影剂时获取的图像中，对未注入造影剂的X射线图像进行数字减影。通过减影、增强和重新成像过程，生成血管图像。 目前，脑梗死溶栓分级（TICI）评分是评估急性缺血性中风再灌注治疗效果的广泛使用标准，而基于DSA序列的改良脑梗死溶栓分级（mTICI）评分（扎伊达特等人，2013）也得到了广泛认可，并作为评估机械取栓术成功与否的标准评估方法。mTICI评分分为从低到高的五个等级： - T0：无灌注； - T1：顺行再灌注超过初始阻塞部位，但远端分支充盈有限，远端再灌注很少或缓慢； - T2a：顺行再灌注的范围小于先前缺血的阻塞目标动脉（例如大脑中动脉（MCA）的一个主要分支及其供血区域）的一半； - T2b：顺行再灌注的范围超过先前阻塞的目标动脉缺血区域（例如大脑中动脉的两个主要分支及其供血区域）的一半； - T3：先前阻塞的目标动脉缺血区域完全顺行再灌注，所有远端分支均无可见阻塞（扎伊达特等人，2013）。 mTICI评分越高，表示手术越成功。不同mTICI评分的示例如图1所示。mTICI与TICI的区别在于对再灌注区域进行了更详细的划分，特别是对T2b和T3再灌注的定义。扩展的TICI（eTICI）（阿尔梅赫拉菲等人，2014）进一步完善了mTICI评分系统，尤其是对T2b等级进行了更精确的细分。它增加了三个新类别：T2b50、T2b67和T2c，分别代表供血区域50%至66%、67%至89%和90%至99%的再灌注。 在当今的临床实践中，如果术后mTICI等级等于或超过2b，则认为手术成功；否则，手术失败，需要再次尝试取栓（扎伊达特等人，2013）。因此，mTICI评分是干预成功的重要指标，也是临床研究的合适终点，例如比较不同的治疗方式和评估血管内装置（布罗特和博古斯拉夫斯基，2000）。目前对mTICI评分的评估需要医生从冠状位和矢状位视觉检查DSA序列，以估计初始顺行灌注缺损有多少得到了再灌注。然而，这个过程存在观察者间和观察者内的差异，并且耗时。差异可能由医生的经验水平和检查时间长短引起。因此，一种客观且自动化的mTICI评分方法非常重要。 近年来，利用医学图像和卷积神经网络（CNN）的计算机辅助诊断技术发展迅速。在提取中风相关生物标志物方面取得了显著进展，例如从CT血管造影（CTA）图像中获取侧支循环评分（苏等人，2020）、从CT灌注（CTP）图像中获取梗死体积（罗本等人，2020）以及从CT图像中获取脑出血体积（李等人，2020）。然而，关于从DSA图像中自动提取围手术期标志物，特别是TICI评分的研究仍然非常稀少。DSA图像是与时间相关的序列，展示了造影剂在血管内的流动情况，反映了血管的狭窄或栓塞病变。因此，从DSA图像中有效提取时空特征并描绘血流速度和灌注区域的变化，是自动mTICI评分研究中的一个挑战。 尼尔森等人（2020）利用二维CNN从压缩的DSA序列中提取特征，并使用门控循环单元（GRU）（钟等人，2014）纳入时间维度进行mTICI评分。他们将时空特征解耦，先提取空间特征，然后提取时间特征，这可能会丢失DSA序列中的帧间时空特征。与此同时，autoTICI（苏等人，2021）采用了多阶段方法，包括阶段分类、运动校正和灌注分割来得出eTICI评分。虽然它是端到端的，但每个阶段的误差都会影响最终的评分性能。 因此，我们提出了CVFSNet，这是一个单阶段模型，用于自动、客观且端到端的mTICI评分。它同时从冠状位和矢状位提取时空特征，并通过探索冠状位和矢状位的位置特征生成更具代表性的特征。此外，由于缺乏包含mTICI评分标签的公开可用数据集，研究人员在进行全面研究和公正比较时受到了限制。 因此，我们在合作医院的监督下整理并发布了首个自动mTICI评分（AmTICIS）数据集。这个数据集专门为DSA序列中的自动mTICI评分而设计，旨在积极推动利用DSA图像进行的缺血性中风研究。最终，这一举措旨在为有需要的患者提供更好的医疗治疗。 总之，本文的贡献如下： （1） 我们提出了一种新颖的跨视图融合评分网络CVFSNet，用于自动mTICI评分。它同时从冠状位和矢状位提取时空特征，并通过新开发的跨视图融合模块CVFM生成更具代表性的特征。CVFM探索了冠状位和矢状位的位置特征，以实现更出色的评分性能。 （2） 为了为缺血性中风研究领域做出贡献，我们引入了一个用于自动mTICI评分的mTICI评分数据集AmTICIS。据我们所知，这是第一个带有专家标注的公开可用的mTICI评分数据集。 （3） 在新收集的AmTICIS数据集上进行的全面对比实验和二分类实验表明，与各种传统和先进的时空特征分类方法相比，我们的CVFSNet具有领先的性能。此外，在消融实验中，我们验证了新型跨视图融合模块的有效性。

Abatract

摘要

The modified Thrombolysis In Cerebral Infarction (mTICI) score serves as one of the key clinical indicators toassess the success of the Mechanical Thrombectomy (MT), requiring physicians to inspect Digital SubtractionAngiography (DSA) images in both the coronal and sagittal views. However, assessing mTICI scores manuallyis time-consuming and has considerable observer variability. An automatic, objective, and end-to-end methodfor assigning mTICI scores may effectively avoid observer errors. Therefore, in this paper, we propose a novelCross View Fusion Scoring Network (CVFSNet) for automatic, objective, and end-to-end mTICI scoring, whichemploys dual branches to simultaneously extract spatial–temporal features from coronal and sagittal views.Then, a novel Cross View Fusion Module (CVFM) is introduced to fuse the features from two views, whichexplores the positional characteristics of coronal and sagittal views to generate a pseudo-oblique sagittal featureand ultimately constructs more representative features to enhance the scoring performance. In addition, weprovide AmTICIS, a newly collected and the first publicly available DSA image dataset with expert annotationsfor automatic mTICI scoring, which can effectively promote researchers to conduct studies of ischemic strokebased on DSA images and finally help patients get better medical treatment. Extensive experimentation resultsdemonstrate the promising performance of our methods and the validity of the cross-view fusion module.

改良的脑梗死溶栓分级（mTICI）评分是评估机械取栓术（MT）是否成功的关键临床指标之一，这要求医生同时检查冠状位和矢状位的数字减影血管造影（DSA）图像。然而，手动评估mTICI评分既耗时，又存在相当大的观察者之间的差异。一种自动、客观且端到端的mTICI评分方法可能会有效地避免观察者带来的误差。 因此，在本文中，我们提出了一种新颖的跨视图融合评分网络（CVFSNet），用于自动、客观且端到端地进行mTICI评分。该网络采用双分支结构，同时从冠状位和矢状位图像中提取时空特征。然后，引入了一种新颖的跨视图融合模块（CVFM）来融合来自两个视图的特征，该模块探究了冠状位和矢状位视图的位置特征，以生成伪斜矢状位特征，并最终构建出更具代表性的特征，从而提升评分性能。 此外，我们提供了AmTICIS数据集，这是一个新收集的、首个带有专家标注的公开可用的DSA图像数据集，用于自动进行mTICI评分。该数据集能够有效地推动研究人员基于DSA图像开展缺血性中风的相关研究，并最终帮助患者获得更好的治疗。大量的实验结果证明了我们所提出方法的出色性能以及跨视图融合模块的有效性。

Method

方法

3.1. Materials

DSA images serve as the gold standard in MT procedures, necessitating the utilization of dual views—coronal and sagittal—to ascertainthe mTICI score accurately. Relying solely on one view may obscurecertain vessels and lead to imprecise scoring. Currently, the absenceof a publicly available mTICI scoring dataset based on dual-view DSAsequences impedes the progress of automatic mTICI scoring research.To contribute to this field and provide a benchmark for systematicmethod comparisons, under the supervision of physicians, we havecompiled and publicly released a self-labeled dual-view DSA imagedataset for automatic mTICI scoring. We named this dataset AutomaticmTICI Scoring (AmTICIS). To the best of our knowledge, this is the firstpublicly available mTICI scoring dataset. The ethical committee at thecooperative hospital authorized the disclosure of all data in this study,conducted in strict accordance with the World Medical Association Declaration of Helsinki Ethical Principles for Medical Research InvolvingHuman Subjects.

3.1 材料 数字减影血管造影（DSA）图像是机械取栓术（MT）中的金标准，需要利用冠状位和矢状位这两个视图来准确确定改良脑梗死溶栓分级（mTICI）评分。仅依靠一个视图可能会使某些血管难以看清，从而导致评分不准确。 目前，缺乏基于双视图DSA序列的公开可用的mTICI评分数据集，这阻碍了自动mTICI评分研究的进展。为了对该领域做出贡献，并为系统的方法比较提供一个基准，在医生的指导下，我们整理并公开发布了一个自行标注的用于自动mTICI评分的双视图DSA图像数据集。我们将这个数据集命名为自动mTICI评分（AmTICIS）数据集。据我们所知，这是第一个公开可用的mTICI评分数据集。 合作医院的伦理委员会批准了本研究中所有数据的公开披露，本研究严格按照世界医学协会《赫尔辛基宣言——涉及人类受试者医学研究的伦理原则》进行。

Conclusion

结论

We proposed a CVFSNet based on dual-view angiographic imagesfor automatic, objective, end-to-end mTICI scoring and built a crossview fusion module, CVFM, to integrate, aggregate, and complementfeatures from different views. In the ablation experiments, we firstcompared the performance between single-view and dual-view inputs,demonstrating the necessity of dual-view image input. This may bedue to the fact that DSA imaging is projection-compressed and intracranial vessel structures are complex, leading to vessel overlap insingle-view images, which affects the model’s ability to characterizeblood flow accurately. Then, by comparing different methods of dualview feature fusion, we verified the effectiveness of the CVFM module.CVFM leverages prior positional knowledge of coronal and sagittalviews, constructs oblique sagittal features using trigonometric functionsand the Pythagorean theorem, and employs a transformer-like moduleto explore complementary relationships between coronal and sagittalfeatures, thereby building global dependencies and generating more expressive fused features, ultimately enhancing performance. In the comparative experiments, we compared our approach with some classicaland state-of-the-art video feature classification models, demonstratingsuperior performance andgood stability.In the dichotomized experiments, CVFSNet demonstrated performance exceeding 90% across all indicators, implying that CVFSNet mayhave the potential for clinical application in determining the adequacyof mTICI scores. However, our study also has limitations. Firstly, thesevideo feature classification methods that were compared in the comparative experiments only supported single-view inputs, which maydisadvantage their comparison in terms of performance. Additionally,the AmTICIS dataset constructed in this study only includes data forM1 segment stenosis, limiting its clinical applicability. In the future,we plan to expand the dataset to include more mTICI scoring datawith various vessel stenosis, such as Internal Carotid Artery (ICA), BaseArtery (BA), Anterior Cerebral Artery (ACA), and Posterior CerebralArtery (PCA) etc., thereby constructing a more comprehensive scoringdataset. Also, the sample size of AmTICIS can be further expanded byincorporating data from multiple centers to enhance its diversity.In conclusion, we propose a novel CVFSNet in this paper for automatic, objective, and end-to-end mTICI scoring. Specifically, CVFSNetemploys dual branches to simultaneously extract spatial–temporal features from coronal view and sagittal view, and these cross-view featuresare fused through a novel cross view fusion module that explores thepositional characteristics of coronal and sagittal views to fuse andgenerate a pseudo-oblique sagittal feature and deploys a transformerlike architecture to explore the correlation between different viewfeatures, ultimately constructing more representative features to enhance the scoring performance of the model. In addition, we providea newly collected and the first publicly available digital subtractionangiography image dataset with expert annotations (AmTICIS) for automatic mTICI scoring, which can effectively promote researchers toconduct studies of ischemic stroke based on DSA images and finallyhelp patients get better medical treatment. Extensive experimentationresults demonstrate the promising performance of our methods and theeffectiveness of the cross-view fusion module.

我们基于双视角血管造影图像提出了CVFSNet网络，用于实现自动、客观、端到端的脑梗死溶栓治疗改良分级（mTICI）评分，并构建了一个跨视角融合模块（CVFM），以整合、聚合和补充来自不同视角的特征。在消融实验中，我们首先比较了单视角输入和双视角输入的性能，结果表明了双视角图像输入的必要性。这可能是因为数字减影血管造影（DSA）成像是投影压缩的，且颅内血管结构复杂，导致单视角图像中出现血管重叠，从而影响了模型准确表征血流的能力。然后，通过比较不同的双视角特征融合方法，我们验证了CVFM模块的有效性。CVFM利用冠状面和矢状面的先验位置知识，使用三角函数和勾股定理构建斜矢状面特征，并采用类似Transformer的模块来探索冠状面和矢状面特征之间的互补关系，从而建立全局依赖关系，并生成更具表现力的融合特征，最终提升性能。在对比实验中，我们将我们的方法与一些经典的以及最先进的视频特征分类模型进行了比较，结果显示出我们的方法具有优越的性能和良好的稳定性。 在二分类实验中，CVFSNet在所有指标上的表现均超过了90%，这意味着CVFSNet在确定mTICI评分是否足够方面可能具有临床应用潜力。然而，我们的研究也存在局限性。首先，在对比实验中所比较的这些视频特征分类方法仅支持单视角输入，这在性能比较方面可能对它们不利。此外，本研究构建的AmTICIS数据集仅包含大脑中动脉M1段狭窄的数据，限制了其临床适用性。未来，我们计划扩展该数据集，纳入更多具有各种血管狭窄情况的mTICI评分数据，例如颈内动脉（ICA）、基底动脉（BA）、大脑前动脉（ACA）和大脑后动脉（PCA）等，从而构建一个更全面的评分数据集。同时，通过纳入多个中心的数据来进一步扩大AmTICIS的样本量，以提高其多样性。 总之，本文提出了一种新颖的CVFSNet网络，用于自动、客观、端到端的mTICI评分。具体而言，CVFSNet采用双分支同时从冠状面和矢状面提取时空特征，并且这些跨视角特征通过一个新颖的跨视角融合模块进行融合。该模块探索冠状面和矢状面的位置特征，以融合并生成伪斜矢状面特征，并部署了类似Transformer的架构来探索不同视角特征之间的相关性，最终构建出更具代表性的特征，以提升模型的评分性能。此外，我们提供了一个新收集的、首个带有专家注释的公开可用的数字减影血管造影图像数据集（AmTICIS），用于自动mTICI评分，这可以有效地推动研究人员基于DSA图像开展缺血性中风的研究，并最终帮助患者获得更好的治疗。大量的实验结果证明了我们方法的良好性能以及跨视角融合模块的有效性。

Figure

图

Fig. 1. Top: coronal views. Bottom: sagittal views. Left to right: mTICI score T0, T1, T2a, T2b, and T3. Arrows indicate location of occlusion. By definition, T3 contains noocclusion.

图1： 上方：冠状位视图。下方：矢状位视图。从左到右：改良脑梗死溶栓分级（mTICI）评分分别为T0、T1、T2a、T2b和T3。箭头指示阻塞的位置。根据定义，T3级不存在阻塞情况。

Fig. 2. The entry and exit criteria for DSA data, P represents the patient, and S denotesthe sequence.

图2：数字减影血管造影（DSA）数据的纳入和排除标准，P代表患者，S表示序列。

Fig. 3. Comprehensive demographic and angiographic information of AmTICIS.

图3：自动改良脑梗死溶栓分级评分（AmTICIS）数据集的综合人口统计学和血管造影信息。

Fig. 4. Overall schematic diagram of CVFSNet and CVFM.

图4：跨视图融合评分网络（CVFSNet）以及跨视图融合模块（CVFM）的整体示意图。

Fig. 5. TPR and AUC of 𝑀𝑖𝑥, 𝐶𝑜𝑟𝑜𝑛𝑎𝑙, 𝑆𝑎𝑔𝑖𝑡𝑡𝑎𝑙 and CVFSNet on each mTICI score ofAmTICIS, best results are indicated in red.

图5：在自动改良脑梗死溶栓分级评分（AmTICIS）数据集的每个mTICI评分等级上，“混合（Mix）”、“冠状位（Coronal）”、“矢状位（Sagittal）”以及跨视图融合评分网络（CVFSNet）的真阳性率（TPR）和曲线下面积（AUC），最优结果以红色标出。

Fig. 6. TPR (a) and AUC (b) of different fusion methods on each mTICI score of AmTICIS. The best results are indicated in red.

图6：（a）不同融合方法在自动改良脑梗死溶栓分级评分（AmTICIS）数据集每个mTICI评分等级上的真阳性率（TPR）；（b）不同融合方法在AmTICIS数据集每个mTICI评分等级上的曲线下面积（AUC）。最优结果以红色标出。

Fig. 7. TPR of each method on each mTICI score of AmTICIS, and the best results are indicated in red.

图7：在自动改良脑梗死溶栓分级评分（AmTICIS）数据集的每个mTICI评分等级上，各方法的真阳性率（TPR），最优结果以红色标出。

Fig. 8. AUC of each method on each mTICI score of AmTICIS, and best results are indicated in red

图8：在自动改良脑梗死溶栓分级评分（AmTICIS）数据集的每个mTICI评分等级上，各方法的曲线下面积（AUC），最优结果以红色标出。

Fig. 9. TPR performance comparison in dichotomized experiments on AmTICIS, andthe best results are indicated in red

图9：在自动改良脑梗死溶栓分级评分（AmTICIS）数据集上进行的二分类实验中，真阳性率（TPR）性能的比较，最优结果以红色标出。

Fig. 10. Illustration of the positive/negative prompt engineering for zero-shot diseasediagnosis. The diagnosis of Pneumothorax is demonstrated here, while other potentialdiseases can also be diagnosed in this way

图10：用于零样本疾病诊断的正/负提示工程图示。此处展示了气胸的诊断过程，其他潜在疾病也可以通过这种方式进行诊断。 

Fig. 11. Annotation confusion matrix and kappa coefficient within the annotation committee. 𝐶**𝐶 𝐾 𝐴 represents the kappa coefficient between C and A, and so forth

图11：注释委员会内部的注释混淆矩阵和卡帕系数。𝐶𝐶 𝐾 𝐴表示C和A之间的卡帕系数，以此类推。

Table

表

Table 1Performance comparison of deploying dual-view inputs and single-view inputs on AmTICIS. The best results are indicated in bold

表1：在自动改良脑梗死溶栓分级评分（AmTICIS）数据集上，使用双视图输入和单视图输入的性能比较。最优结果以粗体显示。

Table 2Performance of different time depth of input sequences on CVFSNet scoring performance on AmTICIS. Best results are indicated in bold

表2：在自动改良脑梗死溶栓分级评分（AmTICIS）数据集上，不同输入序列时间深度对跨视图融合评分网络（CVFSNet）评分性能的影响。最优结果以粗体显示

Table 3Performance of different fusion methods on CVFSNet scoring performance on AmTICIS. Best results are indicated in bold.

表3：在自动改良脑梗死溶栓分级评分（AmTICIS）数据集上，不同融合方法对跨视图融合评分网络（CVFSNet）评分性能的影响。最优结果以粗体显示。

Table 4Quantitative comparison of the scoring performance of different methods on AmTICIS. † indicates significancy (𝜌 < 0.05). Best results are indicated in bold.

表4：在自动改良脑梗死溶栓分级评分（AmTICIS）数据集上，不同方法的评分性能的定量比较。†表示具有显著性（(\rho < 0.05)）。最优结果以粗体显示。

Table 5Performance comparison in dichotomized experiments on AmTICIS. The best results areindicated in bold

表5：在自动改良脑梗死溶栓分级评分（AmTICIS）数据集上进行的二分类实验中的性能比较。最优结果以粗体显示。

Table 6Broadly performance comparison with published values. ‡ indicates dichotomized experiments. The best results are indicated in bold

表6：与已发表数值的广泛性能比较。‡表示二分类实验。最优结果以粗体显示。