12518 字
63 分钟
DIAS:用于 DSA 序列中颅内动脉分割的数据集与基准

DIAS:用于 DSA 序列中颅内动脉分割的数据集与基准#

Wentao Liu1, Tong Tian2, Lemeng Wang1, Weijin Xu1, Lei Li3, Haoyuan Li1, Wenyi Zhao1, Siyu Tian4, Xipeng Pan5, Yiming Deng3, Feng Gao3,​ , Huihua Yang​*1,5,* , Xin Wang6, Ruisheng Su7,8

1北京邮电大学人工智能学院,中国北京
2首都医科大学附属北京天坛医院神经介入放射科,中国北京
3大连理工大学航空航天学院,工业装备结构分析优化与 CAE 软件全国重点实验室,中国大连
4河北医科大学第四医院、河北省肿瘤医院超声科,中国石家庄
5桂林电子科技大学计算机科学与信息安全学院,中国桂林
6荷兰癌症研究所放射科,荷兰阿姆斯特丹
7鹿特丹伊拉斯姆斯大学医学中心放射与核医学科,荷兰鹿特丹
8埃因霍温理工大学生物医学工程系医学图像分析组,荷兰埃因霍温

liuwentao@bupt.edu.cn

摘要#

数字减影血管造影(Digital Subtraction Angiography, DSA)中的颅内动脉(Intracranial Artery, IA)自动分割,在血管形态定量分析中具有关键作用,并能显著支持计算机辅助卒中研究与临床实践。现有研究主要基于私有数据集关注单帧 DSA 分割。然而,单帧 DSA 只能呈现部分血管造影对比剂信息,这一固有限制会阻碍对完整血管结构的准确表达。本文提出 DIAS,这是一个专门面向 DSA 序列中 IA 分割而构建的数据集。我们进一步建立了一个全面的 DIAS 评测基准,覆盖全监督、弱监督和半监督分割方法。具体而言,本文提出血管序列分割网络(VSS-Net),其中的序列特征提取模块能够有效捕获血管内对比剂的时空表征,从而在 2D+Time DSA 序列中实现颅内动脉分割。针对弱监督 IA 分割,本文提出一种新的基于涂鸦学习的图像分割框架,在涂鸦标注指导下,结合交叉伪监督与一致性正则化来提升分割网络性能。此外,本文提出基于随机图像块的自训练框架,旨在缓解由于已标注 DSA 数据有限而导致的 IA 分割性能瓶颈。我们在 DIAS 数据集上的大量实验表明,这些方法可以作为未来研究和临床应用的有效基线。数据集和代码公开于 https://doi.org/10.5281/zenodo.11396520 与 https://github.com/lseventeen/DIAS。

关键词:数字减影血管造影,颅内动脉分割,数据集,半监督学习,弱监督学习

I. 引言#

得益于医学与影像技术的发展,近几十年来,颅内动脉疾病的死亡率已有所下降,例如颅内动脉狭窄(ICAS)、大脑中动脉闭塞(MCAO)和颅内动脉瘤等疾病 [2]。在相关影像技术中,DSA 会在通常 3 到 15 秒的持续时间内,以每秒 3 到 5 帧的采样率采集一组图像,从而可视化对比剂在血管中的流动过程 [3]。DSA 通过减去造影前图像来有效去除骨性结构,增强充盈对比剂血管的可见性。由于其天然具有更高的空间分辨率和时间分辨率,在计算机断层血管成像(CTA)与磁共振血管成像(MRA)无法给出明确诊断时,DSA 仍能准确呈现病灶细节 [2]。因此,DSA 被普遍视为研究病灶血管结构、解析动脉供血动态并指导血管内介入治疗的金标准 [4]。

传统上,神经放射科医生依靠视觉方式分析 DSA 图像,用于诊断、临床决策和术后评估,这一过程耗时、费力且主观性较强。DSA 中的自动血管分割有望通过准确勾画血管形态来缓解这些问题。目前,基于 DSA 的脑血管图像分割已用于多种下游临床应用,包括急性缺血性卒中的自动 TICI 评分 [5]、血管三维重建 [6] 以及介入手术图像导航 [7]。尽管该任务意义重大,DSA 中脑血管分割的研究仍不充分。其中一个重要原因,是缺少面向 DSA 血管分割算法开发与评估的专用数据集。然而,由于 DSA 成像自身的特点,构建此类数据集尤其困难。首先,在 DSA 序列中,血管内对比剂从固定角度投影,每张图像中只有部分颅内动脉处于对比剂显影状态,如图 1 所示。对 DSA 血管进行标注需要神经放射科医生仔细检查每一帧图像,这一过程劳动强度大且成本高 [8]。此外,脑血管结构复杂,存在结构重叠、细小血管对比度降低和复杂背景噪声等问题,进一步增加了准确标注难度。

image

图 1. DSA 侧位视角下颅内血管的代表性样本,其中 t 到 t+5 为动脉期连续帧。左上图红色箭头指示颅内颈内动脉(ICA)的 C1-C3 段,左下图表示大脑前动脉(ACA)和大脑中动脉(MCA)。

目前已有若干研究 [8]-[11] 关注 DSA 血管分割,并在内部数据集上表现优异。然而,多数方法 [9]-[11] 关注单帧图像分割,忽略了 DSA 序列固有的时间属性。由于单帧 DSA 只能捕获部分血管对比剂信息,这类方法可能无法充分表示复杂的 IA 血管结构,从而削弱其在脑血管疾病精准诊断和治疗中的效用 [8]。DSA 血管分割应被视为一种降维任务:输入为 2D+Time 图像,输出为 2D 分割图。这一视角不同于传统 2D 或 3D 血管分割方法 [12]-[14]。关键挑战在于如何准确捕获血管造影中的时空信息,实现精确血管分割。

本文提出 DSA 序列颅内动脉分割数据集 DIAS,该数据集由神经外科医生进行了细致的像素级标注。考虑到 DSA 序列中血管标注复杂且费力,我们还为训练样本提供了两种弱标注,以支持弱监督 IA 分割研究。为了全面评估主流分割方法在 DIAS 数据集上的有效性,包括全监督、弱监督和半监督方法,我们建立了一个由三部分组成的基准:

  • 我们提出血管序列分割网络(VSS-Net),其中包含能够高效捕获血管内对比剂时空表征的序列特征提取模块。VSS-Net 被设计为可兼容任意编码器-解码器网络,从而实现 2D+Time DSA 序列中颅内动脉的精确分割。
  • 我们提出一种创新的基于涂鸦学习的图像分割框架,专门用于弱监督 IA 分割。该框架采用双模型架构,在涂鸦标签指导下使用交叉伪监督和一致性正则化,充分利用双模型的协同优势,显著提升分割网络性能。
  • 我们提出基于随机图像块的自训练算法,通过在标注数据与伪标注数据中随机选择图像块并联合训练,增强模型泛化能力,从而缓解 IA 分割中已标注 DSA 数据有限带来的挑战。

通过在 DIAS 数据集上的大量实验,我们建立了稳健的基线,有望推动未来脑血管分割算法的发展。

II. 相关工作#

A. 血管分割数据集#

血管分割是计算机辅助医学中的重要研究方向。近年来,随着技术进步和标注数据集可用性的提高,该领域取得了显著进展。表 I 总结了若干公开可用的血管分割数据集。视网膜血管分割是典型代表,拥有较多公开数据集,例如彩色眼底数据集 DRIVE [15]、CHASE DB1 [16]、STARE [17] 和 HRF [18],以及 OCTA 数据集 ROSE1 和 ROSE2 [19]。这些数据集包含 20 到 117 幅二维图像,空间分辨率从 304×304 到 3504×2336 不等。相比之下,其他血管分割数据集相对稀缺 [8]。CHUAC [20] 和 DCA1 [21] 是冠状动脉造影数据集,分辨率分别为 189×189 和 300×300。ASOCA [22] 和 VESSEL12 [23] 分别是挑战赛中的冠状动脉 CTA 与肺部 CT 三维血管分割数据集,其中只有训练集数据可用。

表 I. 若干公开血管分割数据集汇总。† 表示仅提供训练集数据。

数据集年份目标模态维度数量分辨率
DRIVE [15]2004视网膜血管彩色眼底2D40565×584
CHASE_DB1 [16]2012视网膜血管彩色眼底2D28999×960
STARE [17]2000视网膜血管彩色眼底2D20700×605
HRF [18]2013视网膜血管彩色眼底2D453504×2336
ROSE1 [19]2020视网膜血管OCTA2D117304×304
ROSE2 [19]2020视网膜血管OCTA2D112512×512
CHUAC [20]2018冠状动脉造影2D30189×189
DCA1 [21]2019冠状动脉造影2D134300×300
ASOCA† [22]2022冠状动脉CTA3D40512×512×200
VESSEL12† [23]2014肺血管CT3D20-
DIAS2023颅内动脉DSA2D+Time120 (753)800×800×4-14

这些数据集的出现推动了分割领域的创新研究,研究者不断尝试设计优于现有方法的新算法。到目前为止,医学影像领域仍缺乏带血管标注的公开 DSA 数据集,只有少量研究使用私有数据。DCVessel [9] 包含 30 幅分辨率为 700×700 的 DSA 动脉期图像,HEART [24] 包含 1092 幅分辨率为 256×256 的 DSA 冠状动脉图像。Su 等 [8] 手工分割了 97 个 DSA 序列中的动脉和静脉,覆盖正位和侧位视角,每幅图像分辨率为 1024×1024。本文贡献的 DIAS 提供了来自 DSA 序列的综合 IA 分割数据集,包含 120 个序列、753 帧图像,分辨率为 800×800,序列长度为 4 到 14 帧。DIAS 可作为 IA 分割算法开发的可靠基准,并有望激发该方向的进一步研究。

B. 血管分割方法#

过去几年,深度学习极大推动了血管分割的发展,并在性能上超过了手工特征 [25]、基于滤波的模型 [26] 与统计模型 [27] 等传统方法。以 UNet [28] 及其众多变体为代表的深度学习方法,已经成为血管分割的主流。这些网络通常采用编码器-解码器结构,并结合多尺度设计 [9], [14], [29]、深监督 [9], [13], [30]、注意力机制 [14], [31], [32]、空洞卷积 [9], [13], [30], [33] 以及改进的跳跃连接 [9], [13] 等组件。此外,生成对抗网络(GAN)或图神经网络(GNN)也被用于设计新的神经网络 [34], [35],并在血管分割中取得成功。除网络结构之外,部分研究还聚焦于优化训练策略 [36], [37] 和改进损失函数 [38]。

关于 DSA 血管分割的研究仍然较少。[9] 提出一种基于 CNN 的多尺度密集卷积分割网络,用于单帧 DSA 中的 IA 分割,采用多尺度空洞卷积、增强密集块和重新设计的跳跃连接。[24] 提出边界增强与特征去噪模块,以提升 DSA 冠状动脉分割中的边界信息提取能力。这两种方法均针对单张 DSA 帧。对于血管序列,[39] 提出用于 X 射线冠状动脉造影血管分割的序列血管分割网络(SVS-Net),该方法通过 3D 卷积层提取丰富的时空特征,并利用通道注意力块学习判别性特征。[8] 提出时空 U-Net(ST U-Net)架构,在 U-Net 收缩分支中整合卷积门控循环单元(ConvGRU),用于 DSA 序列中的脑动脉和静脉分割。虽然这两种方法都能在序列中完成血管分割,但前者难以适应可变长度序列,后者则不易扩展到其他模型。

完整标注血管数据集耗时且成本高。因此,基于弱监督与半监督的高标注效率分割方法受到了研究者的广泛关注。弱监督分割(WSS)使用稀疏或含噪标注训练模型,而不是精确完整的标注。常见方法包括通过与 mean teacher 的一致性检查进行在线标注 [40],或使用模型预测生成的伪标签监督 [41]。探索适用于 DSA 血管弱标注的分割方法同样值得研究。[11] 提出一种新的学习框架,利用主动轮廓模型作为弱监督,并通过低成本的人在环策略提升弱标签质量。半监督分割(SSS)旨在利用大量未标注数据和少量已标注数据进行学习。近年来,自训练方法 [42], [43] 主导了该领域。此外,一致性正则化策略 [42], [44], [45] 通过鼓励两个受扰动网络对同一输入图像给出高度相似的预测,提升模型泛化能力。

已有多种领域自适应技术被提出,用于提升血管分割的泛化能力。这类方法利用来自其他模态但具有相似解剖结构的血管数据辅助训练,从而提高半监督分割中的模型性能。[46] 提出用于跨解剖结构领域自适应的对比式半监督学习方法,通过利用已有标注的相似结构视网膜血管,仅需少量冠状动脉标注即可适配冠状动脉分割模型。[47] 提出一种脑血管分割半监督领域自适应框架,通过 StyleGAN2 [48] 促进异构体数据表达,并弥合脑血管造影与静脉造影图像之间的显著领域差异。据我们所知,当前尚无关于 DSA 序列中弱监督和半监督血管分割的文献。基于我们构建的数据集,本文围绕网络模型、WSS 和 SSS 三个不同方向开展深入研究并提出创新方法。这些方法专门利用该数据集的独特特征,全面覆盖不同分割范式。

此外,大规模预训练模型,即基础模型,表现出较强的泛化性与适应性,已成为近期医学图像分析研究的重点 [49]。然而,由于器官与重要结构、纹理、形状、尺度、拓扑结构(如血管)以及成像模态存在巨大差异,统一的基础模型方法通常无法在许多医学图像分析任务上达到最优性能 [50]。我们认为,随着持续研究的发展,基础模型有潜力借助少样本学习、零样本学习或提示工程,实现可与全监督方法竞争的 DSA 血管分割。

III. DIAS 数据集#

A. 数据集描述#

DIAS 数据集来源于北京天坛医院缺血性卒中治疗过程中采集的 DSA 图像,涵盖 ICAS 与 MCAO 病例。北京天坛医院伦理委员会批准了本研究中所有数据的使用。所有图像均回顾性收集于 2019 年 1 月至 2021 年 12 月,并通过移除所有可识别的临床治疗细节完成匿名化以保护患者隐私。原始 DSA 序列由西门子血管造影机在神经介入操作过程中采集,并以 DICOM 文件形式存储。原始数据包含 416 名患者的 1027 个 2D-DSA 序列,覆盖正位或侧位视角。在本研究中,我们排除了存在明显运动伪影、动脉期不完整或重复的序列后,保留 120 个序列(762 幅图像)。这 120 个序列来自 60 名患者,其中女性 24 名、男性 36 名。患者平均年龄为 62.5 岁,年龄范围为 40 至 88 岁。不同序列的帧数在 6 到 46 帧之间变化,但帧率固定为 4 FPS。随后,我们使用 RadiAnt 将序列提取为分辨率为 800×800 像素的单帧图像。在神经外科医生指导下,我们保留所有动脉期帧,并移除造影前帧、毛细血管期帧和静脉期帧。最终,DIAS 数据集中 DSA 序列长度范围为 4 到 14 帧。

image

图 2. DIAS 的完整标注流程。

B. 参考标注协议#

1) 完整标注: DSA 序列中 IA 的人工标注需要综合考虑序列内所有图像数据。图 1 展示了侧位视角下动脉期连续五帧中的颅内血管典型表现。在该阶段,随着血流推进,对比剂逐步从颈内动脉(ICA)扩散到大脑前动脉(ACA)和大脑中动脉(MCA)等脑血管。对单幅图像而言,对比剂仅在部分 IA 中可见。例如,t 时刻对比剂充盈 ICA 的 C1-C3 段,而 t+5 时刻则充盈 ACA 与 MCA。为了有效标注 IA,需要对序列中每一帧图像分别进行标注,再整合这些标注以利用序列中可用的完整血管信息,从而保证标注精度。然而,血管尤其是动脉后期图像中的细小血管非常精细,使得医学图像标注中常规的边界描绘方式并不现实。因此,我们必须逐像素标注每一条血管,这是一个耗时费力的过程。实际中,相邻帧图像的血管造影表现高度相似,说明对每帧图像的每个像素进行标注会产生大量重复劳动。图 2 展示了我们提出的折中方案,旨在降低工作量,同时不损害标注精度:

  • 将动脉期 DSA 序列从中间划分为两个阶段:前期与后期。前期中对比剂主要充盈 ICA,而较小的 ACA 与 MCA 血管更多在后期被对比剂充盈。
  • 分别对每个阶段的最后一幅图像进行逐像素标注,然后仔细复查同阶段的其他图像以最终确定标注结果。前期主要关注粗大血管标注,后期优先标注细小血管。
image

图 3. DIAS 中正位与侧位视角的完整标注代表样本。

image

图 4. 两种涂鸦标注形式示例:低临床经验涂鸦标注(SALE)和基于完整标注的随机绘制(RDFA)。红色表示已标注血管像素,蓝色表示已标注背景像素。

  • 使用像素级 OR 操作(血管像素为 1,背景为 0)合并粗血管和细血管标注,得到最终真值。

我们以患者 ID 为选择标准,从 DIAS 数据集中随机选择 60 个序列进行血管标注。剩余 60 个序列用于 IA 半监督分割研究。DSA 序列首先由两名神经外科专业医学博士生完成初始标注,随后由一名具有 10 年经验的副主任医师修正,最后由一名具有 15 年经验的主任医师确认并复核。图 3 展示了正位和侧位视角下颅内动脉完整标注示例。

2) 涂鸦标注: 基于涂鸦的图像分割已被证明是 WSS 中有效且常用的方法 [51]。这种弱标注方式允许标注者轻松标记目标中心,而无需执行困难的类别边界描绘任务。为了探索涂鸦监督在 DSA 序列 IA 分割中的潜力,我们为 DIAS 训练集生成了两种涂鸦标注:低临床经验涂鸦标注(Scribbles Annotation with Little Clinical Experience, SALE)和基于完整标注的随机绘制(Random Drawing based on the Full Annotation, RDFA)。SALE 模拟缺乏专家经验时的血管标注,其中标注对比剂显著增强的粗血管,如图 4(a) 中红色标记所示。即使接受了临床基础训练,准确区分低对比度细小血管和粗血管边缘仍然困难。因此,这些区域中的像素在标注过程中未被标注。此外,涂鸦分割依赖每个类别的监督信息。除血管标注外,我们尽可能对背景进行了广泛的涂鸦标注,如图 4(a) 中蓝色标记所示。按照 [52] 的做法,我们通过对完整标注中每个类别进行骨架化并随机剪枝来生成 RDFA,如图 4(b) 所示。RDFA 模拟随机涂鸦标注,不同于关注易标注区域的 SALE。在 SALE 和 RDFA 中,背景标注与血管标注的像素值分别设为 0 和 1,未标注像素设为 255。

IV. 方法#

DSA 序列中的自动 IA 分割是一项探索不足且具有挑战性的任务。为了充分挖掘潜在研究问题,本文提出一个精心设计的 IA 分割基准,旨在使用全监督分割(FSS)、弱监督分割(WSS)和半监督分割(SSS)对 DIAS 数据集进行全面评估。这些方向在医学图像分析领域正受到越来越多关注。

A. 全监督分割#

DSA 序列中的 IA 分割可被视为降维(Dimensionality Reduction, DR)任务。给定图像 I∈R∏d=1MndI \in \mathbb{R}^{\prod_{d=1}^{M} n_d},其中 M 表示维度数量,ndn_d 表示第 d 个维度上的图像大小,DR 分割可定义为寻找函数 f,使得 f:I→Of: I \to O,其中 O∈R∏d=1NndO \in \mathbb{R}^{\prod_{d=1}^{N} n_d} 表示分割输出,N(<M)N(<M) 为输出维度 [53]。对于 DSA 序列中的 IA 分割,M=3,N=2M=3, N=2。

不同于只关注空间特征的传统医学图像分割模型,我们提出的血管序列分割网络能够在多个尺度上高效捕获血管时空表征,从而实现精确的 DSA 中 IA 分割。图 5(a,b) 展示了所提网络结构概览。在 VSS-Net 中,我们在编码器每个阶段使用序列特征提取模块(Sequence Feature Extraction Module, SFEM)提取多尺度特征图。这些模块处理 2D+Time 输入序列,并整合前一阶段特征图,生成同时包含空间与时间表征的 2D 特征图。随着阶段加深,输入分辨率降低,感受野扩大,从而有利于生成高维时空表征。随后,这些特征图可输入任意遵循编码器-解码器框架的 2D 模型,实现序列中的血管分割。

image

图 5. 所提出 DSA 序列颅内动脉分割基准示意图。(a) 血管序列分割网络及其 (b) 序列特征提取模块;(c) WSS:由涂鸦监督与一致性正则化组成的基于涂鸦学习的分割;(d) SSS:基于随机图像块的自训练框架。WSC:权重共享卷积;SF:序列融合;GMP:全局最大池化;WSD:权重共享下采样;DA:数据增强;WA:弱增强;SA:强增强。

在编码器中,除初始阶段外,每个阶段的输入特征图都会与原始序列融合,以补充细粒度语义信息。具体而言,原始序列通过双线性插值调整到与对应特征图一致的大小。序列中的每幅图像与同一时间序列中的特征图拼接,然后使用共享权重的 1×11 \times 1 卷积(WSC)进行融合,使通道数减半。尺度 j 下融合输出 QjQ^j 的计算过程如下:

Qj=∑i=1NW∗(xij⊕fij), for j∈{12,14,…,12n−1},(1)Q ^ {j} = \sum_ {i = 1} ^ {N} W * (x _ {i} ^ {j} \oplus f _ {i} ^ {j}), \quad \text { for } j \in \left\{\frac {1}{2}, \frac {1}{4}, \dots , \frac {1}{2 ^ {n - 1}} \right\},\tag{1}

其中,xijx_i^j 表示输入序列中第 i 帧图像缩放到原始分辨率 j 倍后的结果,f 表示特征图,N 表示序列长度,W 表示 1×11 \times 1 卷积核,∗ 表示卷积操作,⊕ 表示拼接操作,n 表示编码器阶段数。

随后,我们采用双向 ConvGRU 构建序列特征图之间的时空连接。ConvGRU [54] 是传统 GRU 的扩展,它整合卷积操作,因此更适合图像等空间数据。设 xtx_t 为 ConvGRU 输入,对应隐藏状态为 hth_t,则按时间展开的 ConvGRU 更新过程可表示为:

zt=σ(Wz∗xz+Uz∗ht−1),(2)z _ {t} = \sigma (W _ {z} * x _ {z} + U _ {z} * h _ {t - 1}),\tag{2}rt=σ(Wr∗xr+Ur∗ht−1),(3)r _ {t} = \sigma (W _ {r} * x _ {r} + U _ {r} * h _ {t - 1}),\tag{3}h~t=tanh⁡(Wh∗xt+Uh∗(rt⊙ht−1)),(4)\tilde {h} _ {t} = \operatorname{tanh} (W _ {h} * x _ {t} + U _ {h} * (r _ {t} \odot h _ {t - 1})),\tag{4}ht=(1−zt)⊙ht−1+zt⊙h~t,(5)h _ {t} = (1 - z _ {t}) \odot h _ {t - 1} + z _ {t} \odot \tilde {h} _ {t},\tag{5}

其中,σ 表示 sigmoid 函数,tanh 表示双曲正切函数,⊙ 表示 Hadamard 积,即逐元素乘法;Wr,Wz,WhW_r, W_z, W_h 与 Ur,Uz,UhU_r, U_z, U_h 为二维卷积核。

我们同时从前向和后向捕获血管流动的时空动态。随后,将双向 ConvGRU 的输出融合为一个序列 [55]。得到的整合特征覆盖从早期到晚期动脉阶段的宏血管与微血管造影表征。该过程可表示为:

htf=ConvGRU(ht−1,xt),(6)h _ {t} ^ {f} = C o n v G R U (h _ {t - 1}, x _ {t}),\tag{6}htb=ConvGRU⁡(ht+1,xt),(7)h _ {t} ^ {b} = \operatorname{ConvGRU} \left(h _ {t + 1}, x _ {t}\right),\tag{7}ht=tanh⁡(Wf∗htf+Wb∗htb),(8)h _ {t} = \tanh (W _ {f} * h _ {t} ^ {f} + W _ {b} * h _ {t} ^ {b}),\tag{8}

其中,htfh_t^f 和 htbh_t^b 分别表示前向与后向 ConvGRU 单元的隐藏状态,xtx_t 表示 WSC 的第 t 个输出特征。

输出特征图通过共享权重的步长卷积进行空间下采样,作为下一编码阶段的输入。同时,我们沿特征图的序列维度使用全局最大池化进行降维。生成的多尺度特征图可兼容任意 U 形分割架构。本文将其与 FR-UNet 结合,使多尺度 SFEM 的输出输入到 FR-UNet 的每个阶段。最终得到的 VSS-Net 有效发挥两个组件的优势,通过提取时空表征实现序列内精确血管分割。

B. 弱监督分割#

涂鸦监督语义分割的常见策略,是将该问题作为全监督任务处理,只在可用标注像素上使用损失函数 L。然而,这种基线方法无法利用包含关键语义信息的未标注点,因此标注数据不足会不可避免地导致性能下降。为了提升涂鸦分割性能,关键在于将已标注像素的监督扩展到未标注像素。为解决这些问题,本文提出 SSCR,这是一种新的基于学习的涂鸦图像分割框架,由涂鸦监督和一致性正则化组成。图 5(c) 展示了 SSCR 的实现框架。SSCR 在涂鸦监督引导下为未标注像素生成伪标注,使用部分交叉熵扩展监督信息,并通过互一致性与交叉伪监督正则化分割网络,最大化涂鸦分割性能。

定义 P 为图像像素集合,S⊆PS \subseteq P 为已标注像素集合。所提方法将 P 输入到两个采用不同增强策略的分割网络中。每个网络的输出仅在涂鸦标签中的已标注像素上使用交叉熵函数进行监督。该函数称为部分交叉熵(partial cross entropy, pCE),可表示为:

Lpce(y,y^)=−∑i=1M∑j=1N1(pi,j∈S)(yi,jlog⁡(y^i,j∣θ)),(9)\mathcal {L} _ {p c e} (y, \hat {y}) = - \sum_ {i = 1} ^ {M} \sum_ {j = 1} ^ {N} \mathbb {1} \left(p _ {i, j} \in S\right) \left(y _ {i, j} \log \left(\hat {y} _ {i, j | \theta}\right)\right),\tag{9}

其中,M 与 N 分别表示图像宽度和高度。y^i,j∣θ\hat y_{i,j|\theta} 是给定网络参数 θ\theta 时像素 pi,j∈Sp_{i,j}\in S 的预测,yi,jy_{i,j} 表示真值标签。

为生成伪标签,我们首先使用受限 softmax 计算 one-hot 预测图的类别分布,该操作只计算已标注类别对应的通道。随后,使用涂鸦标注修正伪标签以提升其置信度。伪标签生成公式如下:

PLi={si,j, if pi,j∈Sargmax⁡(softmax⁡(H(pi,j;θ)[C])), otherwise (10)P L _ {i} = \left\{ \begin{array}{l l} s _ {i, j}, & \text { if } p _ {i, j} \in S \\ \operatorname{argmax} (\operatorname{softmax} (\mathcal {H} (p _ {i, j}; \theta) [ C ])), & \text { otherwise } \end{array} \right.\tag{10}

其中,si,j∈Ss_{i,j}\in S 表示已标注像素,H(pi,j;θ)\mathcal{H}(p_{i,j};\theta) 表示 pi,jp_{i,j} 的预测输出,C 表示已标注类别通道,即 0 和 1。

我们使用交叉伪监督加强网络一致性,即用一个网络生成的伪标签监督另一个网络 [44]。此外,我们对这些伪标签施加一致性损失,以惩罚不一致分割。训练目标包含三项损失:涂鸦监督损失 Lscr\mathcal{L}_{scr}、交叉伪监督损失 Lcps\mathcal{L}_{cps} 和一致性损失 Lcon\mathcal{L}_{con}:

Lscr=Lpce(PA,SL)+Lpce(PB,SL),(11)\mathcal {L} _ {s c r} = \mathcal {L} _ {p c e} (P _ {A}, S L) + \mathcal {L} _ {p c e} (P _ {B}, S L),\tag{11}Lcps=Lce(PA,PLB)+Lce(PB,PLA),(12)\mathcal {L} _ {c p s} = \mathcal {L} _ {c e} (P _ {A}, P L _ {B}) + \mathcal {L} _ {c e} (P _ {B}, P L _ {A}),\tag{12}Lcon=Lmse(PLA,PLB),(13)\mathcal {L} _ {c o n} = \mathcal {L} _ {m s e} (P L _ {A}, P L _ {B}),\tag{13}

其中,Lce\mathcal{L}_{ce} 表示交叉熵损失函数,Lmse\mathcal{L}_{mse} 表示均方误差损失函数,PAP_A 和 PBP_B 是两个模型的输出,PLAPL_A 和 PLBPL_B 是伪标签,SL 是涂鸦标签。

最终训练目标 L\mathcal{L} 表示为:

L=Lscr+λ1Lcps+λ2Lcon,(14)\mathcal {L} = \mathcal {L} _ {s c r} + \lambda_ {1} \mathcal {L} _ {c p s} + \lambda_ {2} \mathcal {L} _ {c o n},\tag{14}

其中,λ1\lambda_1 和 λ2\lambda_2 分别是 Lcps\mathcal{L}_{cps} 与 Lcon\mathcal{L}_{con} 的损失权重。

C. 半监督分割#

从 DSA 图像序列中手工标注脑血管是一项费力且耗时的任务。半监督学习通过从大量未标注图像与有限标注样本中学习,已显示出缓解该问题的潜力 [43]。半监督设置中的主要挑战在于如何有效利用未标注图像。基于伪标签的自训练 [56] 是一种传统、简单且常用的未标注数据利用流程,其中学生模型在由教师模型生成的硬标签监督下重新训练,而教师模型则由标注数据训练得到。对于半监督分割问题,设 Dl={(xi,yi)}i=1M\mathcal{D}^l=\{(x_i,y_i)\}_{i=1}^{M} 为像素级标注图像,Du={ui}i=1N\mathcal{D}^u=\{u_i\}_{i=1}^{N} 为未标注图像,通常 N≫MN \gg M。自训练可简化为以下步骤:

  1. 在标注数据 Dl\mathcal{D}^l 上训练教师模型 TT。
  2. 使用 TT 对未标注数据 Du\mathcal{D}^u 预测硬伪标签,得到 D^u={(ui,T(ui))}i=1N\hat{\mathcal{D}}^u=\{(u_i,T(u_i))\}_{i=1}^{N}。
  3. 在标注数据与伪标注数据 Dl∪D^u\mathcal{D}^l \cup \hat{\mathcal{D}}^u 上重新训练学生模型 S,并用于最终评估。

如图 5(d) 所示,我们遵循最朴素的自训练策略,为 DIAS 提供 SSS 基准。对未标注图像注入强数据增强非常有利,因为它能解耦预测并缓解对含噪伪标签的过拟合。尽管方法简单,结合强数据增强的自训练已能在不引入复杂技巧的情况下超过现有方法 [42]。在实现中,我们采用两类数据增强:弱增强和强增强,分别记为 AwA^w 与 AsA^s。弱数据增强(WDA)包括水平翻转、垂直翻转,以及 [90, 180, 270] 度旋转。强数据增强(SDA)包括 Cutout、加入白高斯噪声、高斯模糊和弹性形变。此外,我们提出对序列中的每幅图像进行随机对比度调整,以模拟强度差异不同的血管造影。我们从 DSA 序列中随机提取图像块来训练教师模型和学生模型。值得注意的是,在重新训练学生模型时,每个 mini-batch 中的图像块会以概率 P 从 Dl\mathcal{D}^l 和 D^u\hat{\mathcal{D}}^u 中随机抽取。此外,通过切换教师-学生角色并重新标注未标注图像进行迭代训练,最终性能还可以进一步提升。基于随机图像块的自训练框架简称 RPST,其伪代码见算法 1。

算法 1:RPST

输入:标注训练集 Dl={(xi,yi)}i=1M\mathcal{D}^l=\{(x_i,y_i)\}_{i=1}^{M},未标注训练集 Du={ui}i=1N\mathcal{D}^u=\{u_i\}_{i=1}^{N},弱/强增强 Aw/As\mathcal{A}^w/\mathcal{A}^s,教师/学生模型 T/ST/S,执行概率 P∈(0,1)P\in(0,1)。
输出:训练后的学生模型 SS。

  1. 使用损失 L\mathcal{L} 在 Dl\mathcal{D}^l 上训练 TT。
  2. 获取伪标注数据 D^u={(ui,T(ui))}i=1N\hat{\mathcal{D}}^u=\{(u_i,T(u_i))\}_{i=1}^{N}。
  3. 进行 N 轮迭代训练:对每个大小为 B 的 mini-batch,对每个样本 k,若随机数 r>Pr>P,则从 Dl\mathcal{D}^l 中随机提取图像块 (xkp,ykp)(x_k^p,y_k^p),并应用强/弱增强;否则从 D^u\hat{\mathcal{D}}^u 中随机提取图像块,并应用弱增强。用学生模型预测 y^kp=S(xkp)\hat{y}_k^p=S(x_k^p),并更新 SS 以最小化 batch 损失。若不是最后一轮迭代,则使用当前学生模型重新生成新的伪标注数据。

V. 实验#

A. 实现细节与评价指标#

DIAS 数据集按患者级别划分为 30 个训练样本、10 个验证样本和 20 个测试样本。为了便于模型输入,所有 DSA 序列都被重采样到长度为 8。此外,对所有 DSA 序列应用 z-score 归一化以实现标准化。训练时随机裁剪大小为 64×6464 \times 64 的图像块,batch size 为 64。模型参数使用 AdamW [57] 优化,初始学习率为 5e-4。学习率在 100 个 epoch 内通过余弦退火算法逐渐降低。RPST 中参数 P 设为 0.5,即在 SSS 实验中,每个 batch 一半图像块来自标注数据,其余来自未标注数据。对于 SSCR,损失组件权重 λ1\lambda_1 与 λ2\lambda_2 经验性设为 1 和 0.5。评估时,我们只使用一个网络生成结果。所有实验均使用 PyTorch,在固定超参数下于单块 GeForce RTX 3090 GPU 上完成。我们计算 Dice 相似系数(DSC)、受试者工作特征曲线下面积(AUC)、准确率(Acc)、敏感性(Sen)、特异性(Spe)和交并比(IOU)评估 DSA 序列分割性能。此外,还评估血管连通性(VC)指标 [13] 和连通性感知相似性度量 clDice [58]。

B. 全监督分割#

我们在 DIAS 上使用若干先进分割网络进行对比实验,包括 UNet [28]、Attention-UNet [59]、UNet++ [60]、Res-UNet [61]、MAA-Net [14]、CS2\mathrm{CS^2}-Net [31]、FR-UNet [13] 等传统 2D/3D 网络,以及 IPN [62]、PSC [53]、SVS-Net [39]、ST U-Net [8] 等 3D→2D 网络。为使这些 2D/3D 模型能够执行 DR 分割,我们提出一种简单而高效的 DR 操作,可在不改变模型设计的情况下将其转换为 DR 模型。图 6 红框所示的 DR 操作可以作为即插即用模块无缝加入 2D 模型输入端或 3D 模型输出端。具体而言,给定 DSA 序列 x∈RC×F×H×W\boldsymbol{x}\in\mathbb{R}^{C\times F\times H\times W},其中 C、F、H 和 W 分别表示通道数、帧数、高度和宽度。初始通道数为 1,由 DR 操作压缩。压缩后的输入被送入 2D 模型,此时 F 取代 C 作为输入通道:

y=H2d(Squ(x)),(15)y = \mathcal {H} _ {2 d} (S q u (x)),\tag{15}

其中 SquSqu 是维度压缩操作,H2d\mathcal{H}_{2d} 是 2D 模型。对于 3D 模型 H3d\mathcal{H}_{3d},DSA 序列直接输入模型并被视为体数据。模型输出的 C 维度由 DR 操作压缩,最后通过 1×11 \times 1 卷积将 F 降到类别数:

y=Conv1×1(Squ(H3d(x))).(16)y = C o n v _ {1 \times 1} (S q u (\mathcal {H} _ {3 d} (x))).\tag{16}

表 II 显示,VSS-Net 的综合性能超过其他网络,在所有评估方法中取得最佳 DSC、Sen、IOU、AUC、clDice 和 VC。以 2D FR-UNet 为基线,VSS-Net 在除 Spe 外的多项指标上均有提升,其中 Sen 提升 1.24%。同样采用 ConvGRU 的 ST U-Net 性能非常接近 VSS-Net,并在 Acc 和 Spe 上取得最佳结果;但其模型参数量约为 VSS-Net 的 5.58 倍。其 VC 得分比 VSS-Net 高 19.52,说明血管连通性更差。IPN 和 SVS-Net 均在编码器中使用 3D 卷积、在解码器中使用 2D 卷积,并在中间阶段结合降维。PSC 的分割结果与 3D 模型相近,而 IPN 表现较差,这可能是由于缺少跳跃连接,而跳跃连接对增强血管结构细节非常重要。

表 II. 使用先进模型进行全监督分割的结果。绿色、蓝色和红色分别表示 2D、3D 和 3D→2D 方法中各指标最高分。

类型网络参数/MDSC↑Acc↑Sen↑Spe↑IOU↑AUC↑clDice↑VC↓
2DUNet31.040.7700±0.05250.9654±0.01250.7570±0.08790.9839±0.00980.6290±0.06950.9829±0.00800.6939±0.062863.60±39.01
2DRes-UNet9.370.7656±0.05480.9655±0.01200.7425±0.09500.9850±0.00830.6235±0.07190.9816±0.00930.6870±0.074560.51±40.00
2DUNet++9.050.7767±0.04680.9659±0.01220.7726±0.07520.9830±0.00910.6374±0.06300.9830±0.00840.7042±0.058954.79±32.24
2DAtt-UNet8.730.7760±0.04350.9660±0.01180.7686±0.08000.9835±0.00920.6361±0.05870.9837±0.00770.7030±0.056959.39±31.50
2DCS2-Net8.930.7747±0.04360.9664±0.01200.7524±0.08780.9855±0.00780.6344±0.05860.9833±0.00830.6941±0.058864.91±45.90
2DMAA-Net5.800.7693±0.05080.9661±0.01200.7423±0.09690.9855±0.00910.6279±0.06690.9818±0.00950.6900±0.069068.20±42.60
2DFR-UNet7.370.7779±0.04590.9665±0.01180.7646±0.08080.9841±0.00830.6376±0.06150.9827±0.00780.7112±0.060353.92±27.93
3DUNet90.270.7692±0.04900.9648±0.01210.7690±0.08870.9824±0.00900.6275±0.06500.9818±0.00900.6975±0.066362.95±37.21
3DRes-UNet26.380.7701±0.04540.9653±0.01210.7597±0.08090.9835±0.00870.6284±0.06060.9817±0.00920.6991±0.060673.19±45.50
3DUNet++26.170.7649±0.04480.9639±0.01210.7712±0.07910.9811±0.00880.6215±0.05890.9811±0.00920.6989±0.059567.03±48.51
3DAtt-UNet23.600.7677±0.05130.9647±0.01310.7570±0.08160.9829±0.01060.6258±0.06860.9811±0.00980.6966±0.062468.32±40.96
3DCS2-Net23.830.7687±0.04720.9645±0.01240.7712±0.08380.9816±0.00990.6267±0.06280.9808±0.01000.6960±0.065067.91±45.25
3DFR-UNet20.570.7635±0.05870.9646±0.01230.7518±0.08890.9830±0.01070.6211±0.07540.9815±0.00960.6913±0.068665.65±45.09
3D→2DIPN6.360.7588±0.05060.9643±0.01190.7395±0.09080.9837±0.01000.6140±0.06510.9715±0.02000.6874±0.074061.85±36.92
3D→2DPSC6.430.7649±0.05230.9646±0.01230.7552±0.08960.9832±0.00950.6223±0.06900.9814±0.01040.6965±0.060476.05±44.63
3D→2DSVS-Net8.480.7697±0.04350.9659±0.01150.7474±0.08260.9853±0.00720.6277±0.05780.9803±0.00850.6880±0.058097.33±49.10
3D→2DST-UNet104.370.7818±0.04060.9675±0.01190.7533±0.08210.9864±0.00700.6435±0.05510.9843±0.00750.7073±0.058762.54±38.25
3D→2DVSS-Net18.690.7822±0.04190.9668±0.01190.7770±0.08300.9838±0.00760.6442±0.05680.9857±0.00700.7119±0.058343.02±27.47
image

图 6. 应用于 2D/3D 模型的降维操作。

总体比较所有 “DR+2D 模型” 与 “DR+3D 模型” 的 DSC 得分可见,2D 模型以更少参数量略优于 3D 模型。虽然从数据格式看,2D+Time DSA 序列等价于 3D 数据,但它与真值标注并不存在一一对应的空间关系。更重要的是,3D 卷积只能建模局部时间表征。“DR+2D 模型” 将“序列”视为“通道”,因此在执行 2D 卷积时能够沿序列维度学习全局表征,聚合能够反映血管形态信息的对比剂响应。然而,固定通道数的方法不适用于可变长度图像序列。我们对表现突出的若干方法的分割结果进行了可视化,如图 7 所示。图中红色和蓝色分别表示假阴性和假阳性像素,即分割错误。可以观察到,所有方法的共同问题是对细小血管存在较多错误分割。具体而言,我们在图 7 中用黄色和蓝色方框放大了代表性细节。与其他方法相比,VSS-Net 在细小血管区域具有最多白色像素,说明其分割结果最佳。

image

图 7. 先进模型分割结果可视化。第一、三行展示正位图像,第二、四行展示侧位图像。不同方法的分割图中,红色像素表示假阴性,绿色像素表示假阳性。白色与黑色像素分别表示正确分割的血管与背景。

C. 弱监督分割#

我们将所提方法与五种涂鸦监督分割方法进行比较:pCE [63]、熵最小化(EM)[64]、正则化损失(RLoss)[51]、类内强度方差最小化(IVM)[52] 以及动态混合伪标签监督(DMPLS)[41]。为保证公平比较,所有实验网络均采用 UNet [28],与 DMPLS 的设置一致。表 III 展示了 DIAS 数据集上涂鸦监督分割结果。图 8 展示了各方法的可视化结果。得益于面向涂鸦监督的伪监督与一致性正则化,SSCR 在 RDFA 和 SALE 中均取得明显更优性能,并在大多数指标上获得最高得分。值得注意的是,在 IVM 的分割结果中,RDFA 上的 Sen 比 SSCR 高 9.26%,SALE 上高 3.62%。Sen 用于衡量所有真实正类(即血管)中被正确识别的比例,与背景无关。IVM 的可视化结果表明,高 Sen 往往以引入大量错误分割血管像素为代价,因此会导致 DSC 和 AUC 等其他评价指标得分较低。对于 SALE,同一方法分割出的血管比使用 RDFA 标注训练得到的结果更粗,导致血管边缘出现更多假阳性像素。这可能是因为 SALE 更关注粗血管标注。同样,由于缺少对小血管的监督,而血管连通性问题更多出现在小血管区域,SALE 难以提取细小血管,因此 VC 得分明显优于 RDFA。从图中最后一列可以看出,SSCR 的分割结果蓝色像素最少,与表 III 中最佳定量结果相互印证。

表 III. 涂鸦监督 IA 序列分割结果。

方法RDFA DSC↑RDFA Acc↑RDFA Sen↑RDFA Spe↑RDFA IOU↑RDFA AUC↑RDFA clDice↑RDFA VC↓SALE DSC↑SALE Acc↑SALE Sen↑SALE Spe↑SALE IOU↑SALE AUC↑SALE clDice↑SALE VC↓
pCE0.74550.95860.78450.97350.59660.93790.702260.110.63960.92460.84620.93080.47380.95600.658910.02
EM0.74580.95750.80290.97070.59700.97250.710341.180.63560.92260.85080.92810.46990.96180.65769.05
RLoss0.71460.96000.65390.98670.55810.93670.590646.300.59160.91470.78120.92570.42320.94750.57025.17
IVM0.66060.92990.85460.93600.49710.94550.691071.580.63220.91980.87600.92320.46620.96280.673814.78
DMPLS0.74710.95810.79630.97170.59950.97080.699637.560.63270.92080.85080.92590.46680.96430.66019.86
SSCR0.76510.96390.76200.98100.62140.97780.697734.480.65740.92770.83980.93440.49580.96720.67326.47

我们进行了消融实验,以研究所提弱监督 IA 分割框架中各组件的影响。如表 IV 所示,以 pCE 为基线,逐步加入各组件进行比较。首先,引入伪标签监督会使 Sen、AUC 和 clDice 等指标略微下降。在此基础上,我们使用双模型框架建立交叉伪监督,使 DSC 提升 1.08%。与单模型方法相比,双模型设置在接受相同涂鸦监督的同时,为彼此生成伪标签进行相互监督,避免模型被自身预测结果自监督,从而增强泛化能力。我们还对双模型生成的伪标签施加一致性正则化,以惩罚不一致分割。与 “pCE+PS” 相比,“pCE+PS+CR” 的 DSC 提升 1.2%,并取得最高 Sen。最后,我们在双模型生成的伪标签上联合使用交叉伪监督和一致性正则化。该整合方法即 SSCR,记为 “pCE+PS+CPS+CR”,相较 “pCE+PS+CPS” 与 “pCE+PS+CR” 分别提升 1.02% 和 0.9%。

表 IV. 使用 SALE 标注时 SSCR 在 IA 序列分割上的消融实验结果。pCE:部分交叉熵;PS:伪标签监督;CPS:交叉伪监督;CR:一致性正则化。

pCEPSCPSCRDSC↑Acc↑Sen↑Spe↑IOU↑AUC↑clDice↑VC↓
√0.63960.92460.84620.93080.47380.95600.658910.02
√√0.63640.92440.83460.93160.47060.94790.64376.57
√√√0.64720.92750.83850.93460.48270.94450.66927.29
√√√0.64840.92760.85360.93340.48270.96390.66858.28
√√√√0.65740.92770.83980.93440.49580.96720.67326.47
imageimage

图 8. 使用 RDFA 与 SALE 标注训练的涂鸦监督分割方法结果可视化。

D. 半监督分割#

标注样本数量、未标注样本数量以及强数据增强(SDA)都会影响 RPST 性能。本节从 DIAS 训练集中随机选择 1、3 和 10 个带标注 DSA 序列进行 SSS 实验。我们利用 30 和 60 个未标注 DSA 序列生成伪标签,并参与学生模型训练。表 V 表明,由训练后的教师模型生成的伪标注数据能够显著提升模型性能,尤其是在标注数据较少时。例如,与教师模型相比,使用 1 个标注数据和 30 个未标注数据时,学生模型 DSC 提升 2.2%。该性能增益与未标注数据量呈正相关。关于 SDA 的消融实验表明,同时应用强弱数据增强以施加一致性约束是有效的。虽然用于训练学生模型的伪标注数据包含噪声标签,甚至存在错误血管像素监督,但它们仍能增强模型泛化能力。DIAS 上的结果显示,在 IA 序列分割中,伪标注数据带来的收益大于噪声标签的负面影响。随着标注数据数量增加,这种有益作用逐渐减弱。

表 V. RPST 在半监督 IA 序列分割中的消融研究结果。L:标注数据;U:未标注数据。

方法LUDSC↑Acc↑Sen↑Spe↑IOU↑AUC↑clDice↑VC↓
Teacher100.62660.92590.68530.94510.46930.85380.5173385.62
Student1300.64860.92940.70850.94640.49410.95050.5668107.35
S w/o SDA1600.63940.92960.69220.94830.48320.93520.5531108.96
Student1600.65020.93050.71770.94820.49580.94330.5653103.09
Teacher300.69190.94900.73580.96730.53360.91820.5921320.02
Student3300.72650.95550.74780.97210.57450.95910.6523121.84
S w/o SDA3600.72280.95550.74560.97340.57000.95780.6404125.83
Student3600.72750.95490.75950.97780.58930.96160.6502125.78
Teacher1000.74020.95960.74770.97790.59100.96940.6512148.89
Student10300.75440.96180.76600.97860.60870.97690.674793.31
S w/o SDA10600.75560.96250.75520.98050.60960.97370.670893.92
Student10600.75790.96250.76620.97950.61300.97860.679487.72
image

图 9. 不同标注数据量下迭代训练的结果。

所有未标注图像都可以由新的教师模型标注,即上一阶段的学生模型,然后在迭代训练阶段重新训练。图 9 展示了我们对 RPST 中迭代训练有效性的考察。在只有 1 个标注序列(#1)的极端稀缺标注场景中,经过额外两轮迭代训练,性能从 65.02% 提升到 66.85%。#10 的性能从 75.79% 提升到 76.39%。每轮迭代都使模型能够基于前一轮建立的基础继续学习和调整,提高其对自身预测的置信度,并生成更可靠的伪标签,从而提升分割精度。随着训练迭代次数增加,性能的边际提升逐渐减小。

VI. 讨论#

A. 序列输入的影响#

DSA 序列是一种二维时间图像序列,表示对比剂随血液流动在不同时刻的响应。理论上,准确勾画血管需要聚合序列中所有图像的对比剂响应。在临床实践中,神经外科医生通常使用最小强度投影(Minimum Intensity Projection, MIP)处理 DSA 目标序列,以可视化血管结构 [65]。MIP 是一种简单而有效的方法,可从目标序列中聚合重要血管信息。为了评估不同输入模态对分割性能的影响,我们进行了对比实验,将图像序列子集(First、Last 和 First+Last)、MIP 图像以及平均强度投影(Average Intensity Projection, AIP)图像作为 VSS-Net 输入。如表 VI 所示,在 “First” 中,对比剂只显示在 ICA 内,分割结果较差,DSC 仅为 62.32%。相比之下,将 “Last” 作为模型输入获得了更好结果,因为其中包含更多细小血管造影信息,DSC 为 76.04%。定量结果与图 10(e) 和图 10(f) 所示可视化结果一致。当仅使用第一幅图像作为模型输入时,粗大血管能够被准确分割。

表 VI. 使用不同输入进行全监督分割的结果。

输入DSC↑Acc↑Sen↑Spe↑IOU↑AUC↑clDice↑VC↓
First0.62320.95150.53880.98640.46010.90490.683512.05
Last0.76040.96470.73940.98420.61460.98130.694051.89
First+Last0.77770.96680.75890.98500.63730.98460.703944.22
Mean0.77900.96630.76950.98340.63980.98090.699739.25
Min0.78020.96730.76310.98540.64180.98420.704040.02
Full0.78220.96680.77700.98380.64420.98570.711943.02

然而,由于第一帧中缺少细小血管的造影信息,MCA 动脉末端的细小血管仍不完整。相反,仅使用最后一幅图像作为输入能够准确分割大多数小血管,但在精确勾画靠近 ICA 的较大血管时表现不足。

早期与晚期动脉造影的组合,即 “First+Last”,取得了较好结果,优于单独使用任一输入。图 10(a) 和图 10(b) 显示,虽然 “First” 与 “Last” 动脉期图像的组合可以显示大多数充盈对比剂的血管结构,仍然可以利用中间图像补充细节。实验结果表明,采用完整 DSA 序列作为输入对于实现最佳性能是必要的。MIP 和 AIP 的分割结果与使用完整 DSA 序列作为输入的方法非常接近。MIP 与 AIP 等密度投影方法沿时间维度将动脉期序列转换为二维图像,这需要预先选择目标序列以避免毛细血管期和静脉期造影的影响。使用 DSA 序列作为网络输入有潜力解决这一问题,因为 VSS-Net 可以从包含毛细血管期和静脉期的完整序列中选择性提取目标序列造影信息,用于 IA 分割。

image

图 10. 第一行是不同输入的可视化结果,第二行是对应分割结果。

B. 潜在临床应用与局限性#

DSA 血管分割用于血管形态定量分析已经在临床研究中得到应用,尤其是在介入手术规划 [7] 和卒中诊断 [5] 中。然而,如第 VI-A 节所述,单帧 DSA 分割不足以完整描绘血管结构。我们认为,将 VSS-Net 应用于上述更高层级任务中的 DSA 血管序列分割,将得到更准确的血管结构,并有望推动这些上层任务的发展。尽管使用涂鸦标注的 SSCR 相比全监督分割仍有差距,但图 8 的结果表明,这种差距主要体现在更小的终末分支血管分割上。相比之下,ICA、ACA 和 MCA 等主干血管的分割效果较好。这具有临床意义,因为动脉瘤 [3]、ICAS 和 MCAO [66] 等卒中相关疾病主要发生在这些主干血管中。值得注意的是,我们的评估显示,一个 DSA 序列的涂鸦标注耗时仅为完整标注的十分之一。本文针对 DIAS 数据集提出了 DSA 序列颅内动脉分割的 FSS、WSS 和 SSS 方法。重要的是,所提方法并不局限于颅内动脉。在具备相关标注数据后,它还可扩展到 DSA 序列中的其他分割任务,例如静脉分割 [8],以及动脉瘤、ICAS 和 MCAO 等卒中相关疾病诊断。

RPST 的实验结果展示了半监督分割方法在 DSA 序列 IA 分割中的潜力。一个直接应用是辅助数据标注。目前 DIAS 数据集规模相对较小,主要原因是对 DSA 序列进行一对一像素标注需要投入大量工作。未来工作中,我们计划利用 RPST 为待标注 DSA 序列生成伪标签,再由标注专家细致修正这些伪标签以获得精确标注,而不是从零开始标注。这一策略旨在提升标注效率,从而促进 DIAS 的进一步扩展。另一方面,在 DIAS 数据集中,颅内动脉序列由神经外科医生从可能包含毛细血管期或静脉期等阶段的 DSA 序列中选择。由于三维空间投影的性质,DSA 中其他阶段的造影可能影响动脉分割,因为同一像素在不同时间可能代表动脉或静脉。在下一阶段工作中,我们计划在不依赖神经外科医生先验知识预选动脉期序列的情况下,从包含静脉期和其他阶段的 DSA 序列中分割颅内动脉。

VII. 结论#

本文提出 DSA 序列 IA 分割数据集 DIAS,该数据集提供像素级标注以及两种弱监督标注形式。我们建立了用于评估 DIAS 数据集上 IA 序列分割的基准,包括:(1) 血管序列分割网络,能够捕获 DSA 血管造影中的时空表征;(2) 将涂鸦监督与一致性正则化相结合的弱监督分割框架;(3) 基于随机图像块的自训练框架,旨在利用未标注 DSA 数据提升分割性能。借助 DIAS 数据集,我们进行了全面实验以验证所提方法的有效性,促进对其性能特征的深入理解,并为未来研究提供有价值的参考。展望未来,我们将继续推进研究,包括将分割目标扩展到静脉,以及从完整血管造影序列中分割动脉。我们强调,DIAS 数据集及其相关基准将公开发布,使研究者能够复现本文工作并探索该领域的新算法。

参考文献#

参考文献条目为保证检索准确性,保留原论文英文信息与编号。完整参考文献见同目录英文转写稿 ​markdown_2306.12153v4.md 中的 References 部分,引用编号与本文中文译文一致。

DIAS:用于 DSA 序列中颅内动脉分割的数据集与基准
https://tangkai.me/posts/dias用于-dsa-序列中颅内动脉分割的数据集与基准/
作者
TangKai
发布于
2026-09-23
许可协议
CC BY-NC-SA 4.0

分享文章

生成精美分享图或复制链接,与更多人分享本文。

继续阅读

沿着主题读

基于共同的标签与分类

换条路线

从其他文章中稳定抽取