CN118015021A - 基于滑动窗口的主动域自适应跨模态医学图像分割方法 - Google Patents
基于滑动窗口的主动域自适应跨模态医学图像分割方法 Download PDFInfo
- Publication number
- CN118015021A CN118015021A CN202410410453.5A CN202410410453A CN118015021A CN 118015021 A CN118015021 A CN 118015021A CN 202410410453 A CN202410410453 A CN 202410410453A CN 118015021 A CN118015021 A CN 118015021A
- Authority
- CN
- China
- Prior art keywords
- window
- image
- pixels
- prediction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003709 image segmentation Methods 0.000 title claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 230000006978 adaptation Effects 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 230000003187 abdominal effect Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000000709 aorta Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002861 ventricular Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 101150073762 arl2bp gene Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001746 atrial effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000002601 intratumoral effect Effects 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000001613 neoplastic effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于跨模态医学图像分割技术领域，提供了基于滑动窗口的主动域自适应跨模态医学图像分割方法，该方法在主动域适应任务中，利用一组带标签的源数据和未带标签的目标数据；训练一个分割网络，该分割网络能在目标域上实现良好的分割性能，只需少量注释预算；训练一个分割网络的步骤包括：S1：预训练与伪标签生成；S2：滑动窗口定义；S3：窗口不稳定性计算；S4：窗口获取策略；S5：类间距离优化策略；S6：模型训练。本发明的图像分割方法充分利用了标注预算，并采用了有效的采集策略，以实现显著的跨域分割性能。
Description
技术领域
本发明属于跨模态医学图像分割技术领域，尤其涉及基于滑动窗口的主动域自适应跨模态医学图像分割方法。
背景技术
过去几十年来，卷积神经网络（CNNs）极大地推动了医学图像分割任务的发展。
在现实世界的众多医疗应用中，设备制造商、扫描协议和图像模式等图像采集方法的差异往往会导致训练集和测试集之间的数据分布存在显著差距。这种现象通常被称为域转移问题。
因此，当把训练有素的模型部署到不同的临床地点时就会发现性能明显下降。意识到这些挑战后，人们对领域适应（DA）进行了广泛的探索，如图1所示，DA将在有标记的源领域训练的模型转移到无标记的目标领域。特别是自我训练技术促进了领域适应性，即使用目标领域的可靠预测生成的伪标签对网络进行重新训练。尽管DA方法取得了显著进步，但其性能仍明显低于完全监督学习。
目前的技术中，为了克服上述障碍，最大限度地提高目标领域的分割性能，研究人员将主动学习（AL）融入领域适应（DA）中，以获得对信息量最大的目标数据子集进行额外注释。如图1中的（c）所示，例如，文献[Ning,M.,Lu,D.,Wei,D.,Bian,C.,Yuan,C.,Yu,S.,Ma,K.,Zheng,Y.Multi-anchoractivedomainadaptationforsemanticsegmentation.In:ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision,pp.9112–9122（2021）]提出了一种多锚策略，主动选择图像子集并对整个图像进行注释；然而，在很多情况下，网络可以准确预测图像中的大部分区域，从而造成注释预算的浪费。
文献[Shin,I.,Kim,D.-J.,Cho,J.W.,Woo,S.,Park,K.,Kweon,I.S.Labor:Labelingonlyifrequiredfordomainadaptivesemanticsegmentation.In:ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision,pp.8588–8598（2021）]利用自适应像素选择器提出了一种更有效的像素注释方法，但它忽略了图像的上下文结构和区域内像素的空间连续性。
目前的自主领域适应（ADA）方法的激活效果不尽如人意，这与两个主要挑战有关：
第一，注释预算：现有方法倾向于标注对象内部过多的冗余区域，这可能会造成注释预算的浪费；
第二，获取策略：现有方法未能有效选择具有代表性的样本，这可能会阻碍网络学习目标领域的专属信息。
发明内容
本发明的目的在于提供基于滑动窗口的主动域自适应跨模态医学图像分割方法，旨在解决上述背景技术中所提出的技术问题。
为实现上述目的，本发明提供了如下的技术方案。
基于滑动窗口的主动域自适应跨模态医学图像分割方法，在主动域适应任务中，利用一组带标签的源数据和未带标签的目标数据/>，其中，/>是属于标签空间中C个已知类别之一的像素标签；训练一个参数为/>的分割网络；
训练一个参数为的分割网络的步骤包括：
预训练与伪标签生成：利用标注源数据对分割网络进行预训练，并根据模型预测生成目标伪标签；
滑动窗口定义：引入滑动窗口机制，利用大小为k的窗口来挖掘目标伪标签的所有可能区域；
窗口不稳定性计算：利用目标数据的预测图与相应的傅里叶增强数据之间的库尔贝-莱伯勒发散计算每个窗口的不稳定性；通过预测图的熵确定不确定性，并利用每类伪标签的基尼系数来衡量多样性；
窗口获取策略：实施窗口获取策略，结合不确定性、基尼系数和熵这三个属性进行人工标注；
类间距离优化策略：设计类间距离优化策略；
模型训练：使用优化的损失函数，使用迭代的方式进行训练，每次迭代后，更新伪标签和窗口选择策略，得到训练后的分割网络模型。
作为本发明进一步的方案，在滑动窗口定义的步骤中，生成一个大小为（k,k）的规则正方形作为窗口区域；该窗口以1的步长向右下移动，以卷积核的方式遍历整个图像，不足的列和行被保留，自适应地调整窗口大小；形式上，对于高度为H、宽度为W的目标图像，窗口区域可表示为：
（1）；
式（1）中，i和j代表窗口区域初始位置对应的图像像素索引。
作为本发明进一步的方案，在窗口不稳定性计算的步骤中，窗口不稳定性预测具体包括：在训练过程中，进行傅里叶变换F，将目标图像转移到频域，得到幅值频谱/>和相位图像/>，其中，幅值频谱包含原始信号的低层次统计信息，而相位图像包含原始信号的高层次语义；
为了提高域自适应能力并进一步计算预测不稳定性，从源域随机选取一个源样本，进行傅里叶变换，得到振幅/>；
通过以下方法将源样本的振幅信息纳入目标图像/>：
（2）；
式（2）中：表示新生成的相位图像；/>是一个参数，用于调整/>和/>的相位信息比例，M是一个二进制掩码，用于控制需要交换的振幅频谱的空间范围；
通过将合并后的图像从频域变换到图像域，得到经过傅里叶变换增强并包含源样本底层信息的图像样本/>：
（3）；
接下来，我们将原始目标图像和变换后的图像/>输入分割网络/>，得到分割预测图：
（4）；
为了量化不稳定性，计算上述分割预测图中相应像素的方差：
（5）；
其中，计算期望值；如果这两个预测之间的差异越大，计算出的方差值就会很大，表明源图像像素与预测出的图像像素之间的不稳定性相对越高；对于滑动窗口，其预测不稳定性是通过窗口内所有像素的平均方差来评估的，具体如下：
（6）；
其中，表示集合中像素的数量；同时，我们还对目标域图像和增强图像的预测概率图施加了一致性约束，以促进网络提高其代表性和适应性：
（7）。
作为本发明进一步的方案，在窗口不稳定性计算的步骤中，窗口不确定性预测具体包括：
基于上述现有预测目标样本/>，采用每个像素/>的预测熵来衡量不确定性，并对C类进行预测，/>对于滑动窗口，对其预测进行评估不确定性，取窗口内所有像素熵的平均值，如下所示：
（8）；
其中，表示集合中像素的数量，i和j代表窗口区域初始位置对应的图像像素索引，/>表示每个像素。
作为本发明进一步的方案，在窗口不稳定性计算的步骤中，窗口多样性预测具体包括：
基于上述现有预测目标图像/>，目标伪标签可通过最大概率输出直接得出，即/>；
根据，我们可以将窗口区域/>划分为：
（9）；
在一个窗口区域内，多个类别的出现表明该区域内存在许多物体边界；
引入基尼系数来衡量窗口区域的多样性：
（10）；
其中，C表示类别的总数，表示集合中像素的数量，/>表示在C中某一类别集合中像素的数量
作为本发明进一步的方案，在窗口获取策略的步骤中，综合窗口不稳定性预测、窗口不确定性预测和窗口多样性预测三种窗口获取策略，我们将最终的获取函数表述如下：
（11）；
其中，是全元素矩阵乘法；对于最终的采集函数，我们查询得分最高的窗口区域，所选窗口不重叠。
作为本发明进一步的方案，在类间距离优化策略的步骤中，我们认识到，分割误差往往源于对解剖结构模糊边界的不精确预测，因此提出了一种类间距离优化策略，该策略旨在提高边界像素的区分度，鼓励在模糊边界区域进行更好的分割；
每个类别的中心通过平均属于同一类别的所有特征像素来计算，因此，我们首先利用特征图X来预测粗略的分割概率图，每个类别的概率范围从0到1；
然后根据所有像素属于第c个对象的概率加权，汇总所有像素的表示：
（12）；
其中，是第/>个像素的特征，/>是第/>个像素属于第/>个类别的归一化概率；将得到的/>称为第c类单元；根据现有的类别单元，计算每两个类别单元之间的欧氏距离；所有距离之和表示特征图的类间距离，记为：
（13）；
其中，表示两个向量之间的欧氏距离，C表示类别数；优化目标是最大化类单元之间的距离；因此，定义类间损失如下：
（14）。
作为本发明进一步的方案，在模型训练的步骤中，对于已标记的源域数据，我们首先使用交叉熵损失和骰子损失组合对分割网络进行预训练：
（15）；
其中，是分类交叉熵损失，/>是软骰子损失；在整个训练迭代过程中，选择并注释具有挑战性的窗口区域，这有助于网络从目标领域获取特定领域的知识，因此，我们利用目标域样本以及从人工标注和网络预测中获得的相应标签，通过监督训练对网络进行微调：
（16）；
此外，类间距离优化损耗可以有效区分边界像素，促进模糊边界区域的分离，从而获得更好的分割性能；最终，在具备上述所有损失和/>的情况下，我们训练网络的总目标如下：
（17）；
其中，和/>为加权系数，取值分别为0.6和0.8。
与现有技术相比，本发明的基于滑动窗口的主动域自适应跨模态医学图像分割方法的有益效果是：
第一，本发明的图像分割方法采用滑动窗口机制，全面探索不同窗口区域之间的依赖关系，防止多余区域的选择和对象边界的遗漏；最大限度地减少了标注预算的浪费；
第二，本发明的图像分割方法还提出了一种创新的采集策略，通过考虑不稳定性、不确定性和多样性来动态选择注释窗口，保证了所选窗口区域的代表性，从而提高跨模态分类的性能；
第三，本发明的图像分割方法还提出了一种类间距离优化策略，以模拟和优化各种对象之间明确的类别依赖关系，从而增强不同类别之间的特征可辨别性。
附图说明
图1为本发明领域适应、主动学习和主动领域适应的比较的示意图；
图2为本发明基于滑动窗口的主动域自适应跨模态医学图像分割方法的流程框图；
图3为本发明训练分割网络的具体实现流程示意图；
图4为本发明基于滑动窗口的主动域自适应跨模态医学图像分割方法中不稳定性和一致性损失的计算示意图；
图5为本发明基于滑动窗口的主动域自适应跨模态医学图像分割方法中等级间距离优化策略示意图；
图6为本发明基于滑动窗口的主动域自适应跨模态医学图像分割方法的逻辑流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
目前，无监督领域适应已成为解决深度神经网络领域转移问题的有效范式，尽管取得了成功，但实现完全监督性能仍是一个潜在的挑战，最近的研究将主动学习引入了领域适应问题，利用有限的人工标注成本实现了接近完全监督的结果，然而，目前的方法仍存在两个主要问题：
（1）注释预算：现有方法往往会在对象内部标注过多的冗余区域，可能会造成注释预算的浪费。
（2）获取策略：现有方法难以有效选择具有代表性的样本，这可能会阻碍网络学习目标领域的专属信息。
为了应对上述挑战，本发明提出了一种基于滑动窗口的主动域自适应跨模态医学图像分割方法，用于跨模态医学图像分割，专注于跨模态中间的图像分割任务；该方法充分利用了标注预算，并采用了有效的采集策略，以实现显著的跨域分割性能。
以下结合具体实施例对本发明的具体实现进行详细描述。
如图2和图3所示，在本发明的一个实施例中，提供了基于滑动窗口的主动域自适应跨模态医学图像分割方法，该方法在主动域适应任务中，利用一组带标签的源数据和未带标签的目标数据/>，其中，/>是属于标签空间中C个已知类别之一的像素标签；训练一个参数为/>的分割网络，它能在目标域上实现良好的分割性能，只需少量注释预算，C表示类别的总数，在图像分割任务中，C通常指的是所有可能类别的数量，例如道路、车辆、建筑等，每个像素被分配一个从1到C中的整数，代表其类别标签。
具体的，训练一个参数为的分割网络的步骤包括：S1：预训练与伪标签生成；S2：滑动窗口定义；S3：窗口不稳定性计算；S4：窗口获取策略；S5：类间距离优化策略；S6：模型训练。
其中：在S1的步骤中，包括S11：利用标注源数据对分割网络进行预训练，并根据模型预测生成目标伪标签；
其中：在S2的步骤中，包括S21：引入滑动窗口机制，利用大小为k的窗口来挖掘目标伪标签的所有可能区域，这有助于有效避免不必要的冗余区域选择；
其中：在S3的步骤中，包括S31：利用目标数据的预测图与相应的傅里叶增强数据之间的库尔贝莱伯勒（Kullback-Leibler，KL）发散计算每个窗口的不稳定性；通过预测图的熵确定不确定性，并利用每类伪标签的基尼系数衡量多样性；
其中：在S4的步骤中，包括S41：实施窗口获取策略，结合不确定性、基尼系数和熵这三个属性进行人工标注；该策略能够捕捉具有代表性和挑战性的分段区域，使网络更好地利用目标领域的特定知识；
其中：在S5的步骤中，包括S51：设计类间距离优化策略，以加强不同类别之间的可区分性；这有助于在区分边界像素和促进模糊边界区域的分离方面取得更好的性能；
其中：在S6的步骤中，包括S61：在完成了前面的步骤后，开始训练我们的模型，使用优化的损失函数，该函数考虑了类间距离和窗口不稳定性，以提高模型的性能；使用迭代的方式进行训练，每次迭代后，更新伪标签和窗口选择策略，得到训练后的分割网络模型，以反映模型的最新学习情况。
通过上述方法，我们在标注预算有限的情况下取得了不错的跨域分割性能。
进一步的，在本发明实施例中，在步骤S2中，传统的基于斑块和区域的语义分割主动学习方法只是简单地将图像分割成不重叠的斑块或区域，缺乏灵活性，而且会忽略相邻斑块之间的联系。尤其是当需要分割的像素点位于两个斑块的交叉处时，这些像素点很有可能被忽略。然而，与现有方法不同的是，在这项工作中，在滑动窗口定义的步骤S2中，生成一个大小为（k,k）的规则正方形作为窗口区域；该窗口以1的步长向右下移动，以卷积核的方式遍历整个图像，不足的列和行被保留，自适应地调整窗口大小；形式上，对于高度为H、宽度为W的目标图像，窗口区域可表示为：
（1）；
式（1）中，i和j代表窗口区域初始位置对应的图像像素索引，m表示在i的基础上进行变化的行索引，范围是从i到i+k；n表示在j的基础上进行变化的列索引，范围是从j到j+k。
进一步的，如图4所示，在窗口不稳定性计算的步骤S3中，窗口不稳定性预测具体包括：在训练过程中，进行傅里叶变换F，将目标图像转移到频域，得到幅值频谱/>和相位图像/>，其中，幅值频谱包含原始信号的低层次统计信息，而相位图像包含原始信号的高层次语义；
为了提高域自适应能力并进一步计算预测不稳定性，从源域随机选取一个源样本，进行傅里叶变换，得到振幅/>；
通过以下方法将源样本的振幅信息纳入目标图像/>：
（2）；
式（2）中：表示新生成的相位图像；/>是一个参数，用于调整/>和/>的相位信息比例，M是一个二进制掩码，用于控制需要交换的振幅频谱的空间范围；
通过将合并后的图像从频域变换到图像域，得到经过傅里叶变换增强并包含源样本底层信息的图像样本/>：
（3）；
接下来，我们将原始目标图像和变换后的图像/>输入分割网络/>，得到分割预测图：
（4）；
为了量化不稳定性，计算上述分割预测图中相应像素的方差：
（5）；
其中，计算期望值；如果这两个预测之间的差异很大，计算出的方差值就会很大，表明两个预测之间的不稳定性相对较高，两个预测是指源图像像素与预测出的图像像素；对于滑动窗口，其预测不稳定性是通过窗口内所有像素的平均方差来评估的，具体如下：
（6）；
其中，表示集合中像素的数量；同时，我们还对目标域图像和增强图像的预测概率图施加了一致性约束，以促进网络提高其代表性和适应性：
（7）；
其中，是相位图像，/>是变换后的图像/>输入分割网络/>，得到的分割预测图像。
进一步的，在本发明实施例中，在窗口不稳定性计算的步骤中，窗口不确定性预测具体包括：
基于上述现有预测的目标图像/>，采用每个像素/>的预测熵来衡量不确定性，并对C类进行预测，/>对于滑动窗口，对其预测进行评估不确定性，取窗口内所有像素熵的平均值，如下所示：
（8）；
其中，表示集合中像素的数量，i和j代表窗口区域初始位置对应的图像像素索引，/>表示每个像素。
进一步的，在本发明实施例中，在窗口不稳定性计算的步骤中，窗口多样性预测具体包括：
基于上述现有预测的目标图像/>，目标伪标签可通过最大概率输出直接得出，即/>；
根据，我们可以将窗口区域/>划分为：
（9）；
在一个窗口区域内，多个类别的出现表明该区域内存在许多物体边界；
我们知道，物体边界一直是分割任务中的难题。因此，我们推测，一旦人工标注了这些区域，就能大大提高分割网络的训练效果；为了量化这一点，引入基尼系数来衡量窗口区域的多样性：
（10）；
其中，C表示类别的总数，表示集合中像素的数量，/>表示在C中某一类别集合中像素的数量。
进一步的，在本发明实施例中，在窗口获取策略的步骤中，综合窗口不稳定性预测、窗口不确定性预测和窗口多样性预测三种窗口获取策略，我们将最终的获取函数表述如下：
（11）；
其中，是全元素矩阵乘法；对于最终的采集函数，我们查询得分最高的窗口区域，所选窗口不重叠。
进一步的，如图5所示，在类间距离优化策略的步骤中，我们认识到，分割误差往往源于对解剖结构模糊边界的不精确预测，因此在图3中提出了一种类间距离优化策略。该策略旨在提高边界像素的区分度，鼓励在模糊边界区域进行更好的分割；
每个类别的中心（以类别单位表示）通过平均属于同一类别的所有特征像素来计算。因此，我们首先利用特征图X来预测粗略的分割概率图，每个类别的概率范围从0到1；
然后根据所有像素属于第c个对象的概率加权，汇总所有像素的表示：
（12）；
其中，是第/>个像素的特征，/>是第/>个像素属于第/>个类别的归一化概率；将得到的/>称为第c类单元；根据现有的类别单元，计算每两个类别单元之间的欧氏距离；所有距离之和表示特征图的类间距离，记为：
（13）；
其中，表示两个向量之间的欧氏距离，C表示类别数；优化目标是最大化类单元之间的距离；因此，定义类间损失如下：
（14）。
进一步的，在模型训练的步骤中，对于已标记的源域数据，我们首先使用交叉熵损失和骰子损失组合对分割网络进行预训练：
（15）；
其中，是分类交叉熵损失，/>是软骰子损失；在整个训练迭代过程中，选择并注释具有挑战性的窗口区域，这有助于网络从目标领域获取特定领域的知识；
交叉熵损失（CrossEntropyLoss）是一种衡量两个概率分布之间差异的度量指标。在深度学习中，我们通常将模型的输出预测看作是一个概率分布，而将真实标签看作是另一个概率分布。交叉熵损失就是这两个概率分布之间的差异；
骰子损失（DiceLoss）是一种用于图像分割任务的损失函数，它的基本思想是计算预测结果和真实结果的重叠部分，通过最小化两者的差异来优化模型；
因此，我们利用目标域样本以及从人工标注和网络预测中获得的相应标签，通过监督训练对网络进行微调：
（16）；
此外，类间距离优化损耗可以有效区分边界像素，促进模糊边界区域的分离，从而获得更好的分割性能；最终，在具备上述所有损失和/>的情况下，我们训练网络的总目标如下：
（17）；
其中，和/>为加权系数，在所有实验中分别设为0.6和0.8。
实验和结果：
1、数据集和预处理：
在实验中，我们在三个公开数据集（即腹部多器官数据集、心脏数据集和BraTS数据集）上对我们的方法进行了评估。
（1）腹部多器官数据集包括的20卷T2-SPIRMRI数据和30卷公共CT数据。两个数据集都提供了四个器官的标注，包括肝脏、右肾、左肾和脾脏。
（2）心脏数据集包含20幅核磁共振成像和20幅CT全心图像，并对升主动脉（AscendingAorta，AA）、左心房血腔（LeftAtriumBloodChamber，LABC）、左心室血腔（LeftVentricularBloodChamber，LVBC）和左心室心肌（LVmyocardium，MYO）进行了精确的人工分割标注。
(3)BraTS数据集用于评估我们的脑肿瘤分割方法。该数据集共包含75份胶质瘤患者的多对比度磁共振（MagneticResonance，MR）扫描图像，由四种不同的对比度组成：T1、T1ce、T2和FLAIR，T1、T1ce、T2和FLAIR，它们都是MRI扫描的不同序列，每种序列都能提供不同类型的图像，有助于更好地理解和识别脑部的不同结构和病变：T1：这是MRI扫描的一种标准序列，主要用于显示解剖结构的详细信息；T1ce：这是T1序列的一种变体，扫描前会注射造影剂，亮的地方血供丰富，强化显示说明血流丰富，而肿瘤部位正是血流很快的部位，T1ce序列还能进一步显示肿瘤内情况，鉴别肿瘤与非肿瘤性病变；T2：这是另一种MRI扫描序列，主要用于显示体液，如脑脊液；FLAIR：全称为FluidAttenuatedInversionRecovery，中文意思是“液体衰减反转恢复序列”，在脑、脊髓MRI中常用。
所有数据集最初都是三维的，我们将其重新格式化为二维，然后将其大小调整为256×256，并按照以前的工作方法将每个切片的强度重新缩放为[0，1]。
对于所有CT数据集，我们应用了一个Housefield值为[-275,125]的窗口，Housefield值，也被称为Hounsfield单位（HU），是计算机断层扫描（CT）中普遍使用的无量纲单位，用于标准、便捷的表达CT数值；因此，“我们应用了一个Housefield值为[-275,125]的窗口”，这意味着我们在处理CT数据时，只关注那些Hounsfield单位在-275到125之间的像素。
对于所有MRI图像，我们剪切了直方图顶部的0.5%。我们对所有三维扫描图像进行了归一化处理，使其均值为零，方差为单位。为了比较的公平性，对于所有评估方法，我们都使用了标准的数据扩增方法来扩大训练集的规模，避免过度拟合，包括随机裁剪、随机旋转和随机翻转。
2、实施细节：
在分割网络配置中，我们使用在ImageNet上预先训练好的ResNet-50主干网，并使用DeepLabV2+作为解码器。心脏数据集上的模型训练了两千次迭代，批次大小设为8。在BarTs和腹部多器官数据集上，我们对模型进行了六千次迭代训练，批量大小为8。我们使用Adam优化器训练分割网络，初始学习率为，学习率衰减。
此外，为了更好地评估模型的性能，我们报告了三种不同模型初始化的平均结果。我们采用常用的骰子系数（DiceCoefficient，DSC）作为评估指标，衡量预测结果与地面实况之间的重叠程度。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (8)
1.基于滑动窗口的主动域自适应跨模态医学图像分割方法，其特征在于：
在主动域适应任务中，利用一组带标签的源数据 和未带标签的目标数据，训练一个参数为/>的分割网络，/>是属于标签空间中C个已知类别之一的像素标签；
其中，训练一个参数为的分割网络的步骤包括：
预训练与伪标签生成：利用带标签的标注源数据对分割网络进行预训练，并根据模型预测生成目标伪标签；
滑动窗口定义：引入滑动窗口机制，利用大小为k的窗口来挖掘目标伪标签的所有可能区域；
窗口不稳定性计算：利用目标数据的预测图与相应的傅里叶增强数据之间的库尔贝-莱伯勒发散计算每个窗口的不稳定性；通过预测图的熵确定不确定性，并利用每类伪标签的基尼系数来衡量多样性；
窗口获取策略：实施窗口获取策略，结合不确定性、基尼系数和熵这三个属性进行人工标注；
类间距离优化策略：设计类间距离优化策略；
模型训练：利用优化的损失函数，使用迭代的方式进行训练，每次迭代后，更新伪标签和窗口选择策略，得到训练后的分割网络模型。
2.根据权利要求1所述的基于滑动窗口的主动域自适应跨模态医学图像分割方法，其特征在于，在滑动窗口定义的步骤中，生成一个大小为（k，k）的规则正方形作为窗口区域；该窗口以1的步长向右下移动，以卷积核的方式遍历整个图像，不足的列和行被保留，自适应地调整窗口大小；形式上，对于高度为H、宽度为W的目标图像，窗口区域可表示为：
（1）；
式（1）中，i和j代表窗口区域初始位置对应的图像像素索引，m表示在i的基础上进行变化的行索引，范围是从i到i+k；n表示在j的基础上进行变化的列索引，范围是从j到j+k。
3.根据权利要求2所述的基于滑动窗口的主动域自适应跨模态医学图像分割方法，其特征在于，在窗口不稳定性计算的步骤中，窗口不稳定性预测具体包括：
在训练过程中，进行傅里叶变换F，将目标图像转移到频域，得到幅值频谱/>和相位图像/>，其中，幅值频谱/>包含原始信号的低层次统计信息，而相位图像/>包含原始信号的高层次语义；
从源域随机选取一个源样本，进行傅里叶变换，得到振幅/>；
通过以下方法将源样本的振幅信息纳入目标图像/>：
（2）；
式（2）中：表示新生成的相位图像；/>是一个参数，用于调整/>和/>的相位信息比例，M是一个二进制掩码，用于控制需要交换的振幅频谱的空间范围；
通过将合并后的图像从频域变换到图像域，得到经过傅里叶变换增强并包含源样本底层信息的图像样本/>：
（3）；
接下来，将原始目标图像和变换后的图像/>输入分割网络/>，得到分割预测图：
（4）；
计算上述分割预测图中相应像素的方差：
（5）；
其中，计算期望值；计算出的方差值越大，表明源图像像素与预测出的图像像素之间的不稳定性相对越高；对于滑动窗口，其预测不稳定性是通过窗口内所有像素的平均方差来评估的，具体如下：
（6）；
其中，表示集合中像素的数量；对目标域图像和增强图像的预测概率图施加一致性约束：
（7）；
其中，是相位图像，/>是变换后的图像/>输入分割网络/>得到的分割预测图像。
4.根据权利要求3所述的基于滑动窗口的主动域自适应跨模态医学图像分割方法，其特征在于，在窗口不稳定性计算的步骤中，窗口不确定性预测具体包括：
基于上述现有预测的目标图像/>，采用每个像素/>的预测熵来衡量不确定性，并对C类进行预测，/>对于滑动窗口，对其预测进行评估不确定性，取窗口内所有像素熵的平均值，如下所示：
（8）；
其中，表示集合中像素的数量，i和j代表窗口区域初始位置对应的图像像素索引，表示每个像素。
5.根据权利要求4所述的基于滑动窗口的主动域自适应跨模态医学图像分割方法，其特征在于，在窗口不稳定性计算的步骤中，窗口多样性预测具体包括：
基于预测的目标图像/>，目标伪标签通过最大概率输出直接得出，即；
根据，将窗口区域/>划分为：
（9）；
在一个窗口区域内，多个类别的出现表明该区域内存在许多物体边界；
引入基尼系数来衡量窗口区域的多样性：
（10）；
其中，C表示类别的总数，表示集合中像素的数量，/>表示在C中某一类别集合中像素的数量。
6.根据权利要求5所述的基于滑动窗口的主动域自适应跨模态医学图像分割方法，其特征在于，在窗口获取策略的步骤中，综合窗口不稳定性预测、窗口不确定性预测和窗口多样性预测三种窗口获取策略，将最终的获取函数表述如下：
（11）；
其中，是全元素矩阵乘法；对于最终的采集函数，查询得分最高的窗口区域，所选窗口不重叠。
7.根据权利要求6所述的基于滑动窗口的主动域自适应跨模态医学图像分割方法，其特征在于，在类间距离优化策略的步骤中，每个类别的中心通过平均属于同一类别的所有特征像素来计算，利用特征图X来预测粗略的分割概率图，每个类别的概率范围从0到1；
根据所有像素属于第c个对象的概率加权，汇总所有像素的表示：
（12）；
其中，是第/>个像素的特征，/>是第/>个像素属于第/>个类别的归一化概率；将得到的称为第c类单元；根据现有的类别单元，计算每两个类别单元之间的欧氏距离；所有距离之和表示特征图的类间距离，记为：
（13）；
其中，表示两个向量之间的欧氏距离，C表示类别数；优化目标是最大化类单元之间的距离；定义类间损失如下：
（14）。
8.根据权利要求7所述的基于滑动窗口的主动域自适应跨模态医学图像分割方法，其特征在于，在模型训练的步骤中，对于已标记的源域数据，使用交叉熵损失和骰子损失组合对分割网络进行预训练：
（15）；
其中，是分类交叉熵损失，/>是软骰子损失；在整个训练迭代过程中，选择并注释具有挑战性的窗口区域，利用目标域样本以及从人工标注和网络预测中获得的相应标签，通过监督训练对网络进行微调：
（16）；
此外，类间距离优化损耗可以有效区分边界像素；在具备上述所有损失和的情况下，训练网络的总目标如下：
（17）；
其中，和/>为加权系数，取值分别为0.6和0.8。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410410453.5A CN118015021B (zh) | 2024-04-07 | 2024-04-07 | 基于滑动窗口的主动域自适应跨模态医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410410453.5A CN118015021B (zh) | 2024-04-07 | 2024-04-07 | 基于滑动窗口的主动域自适应跨模态医学图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118015021A true CN118015021A (zh) | 2024-05-10 |
| CN118015021B CN118015021B (zh) | 2024-07-09 |
Family
ID=90947310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410410453.5A Active CN118015021B (zh) | 2024-04-07 | 2024-04-07 | 基于滑动窗口的主动域自适应跨模态医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118015021B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2002213193B2 (en) * | 2000-10-11 | 2007-02-22 | Imaging Therapeutics, Inc. | Methods and devices for analysis of X-ray images |
| RU2385494C1 (ru) * | 2008-10-22 | 2010-03-27 | Государственное образовательное учреждение высшего профессионального образования Московский инженерно-физический институт (государственный университет) | Способ распознавания изображения текстуры клеток |
| US20110293180A1 (en) * | 2010-05-28 | 2011-12-01 | Microsoft Corporation | Foreground and Background Image Segmentation |
| MX2017005209A (es) * | 2017-04-21 | 2018-11-09 | Alvarado Cervantes Rodolfo | Metodo de segmentacion en imagenes en colores mediante el uso de una funcion adaptativa de similitud. |
| CN111476170A (zh) * | 2020-04-09 | 2020-07-31 | 首都师范大学 | 一种结合深度学习和随机森林的遥感影像语义分割方法 |
| CN111524140A (zh) * | 2020-04-21 | 2020-08-11 | 广东职业技术学院 | 基于cnn和随机森林法的医学图像语义分割方法 |
| CN112200808A (zh) * | 2020-12-07 | 2021-01-08 | 领伟创新智能***(浙江)有限公司 | 一种基于局部基尼系数的带钢表面缺陷检测方法 |
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
| CN114881917A (zh) * | 2022-03-17 | 2022-08-09 | 深圳大学 | 基于自监督和语义分割的溶栓疗效预测方法及相关装置 |
| CN115761735A (zh) * | 2022-11-16 | 2023-03-07 | 中国矿业大学 | 一种基于自适应伪标签纠正的半监督语义分割方法 |
-
2024
- 2024-04-07 CN CN202410410453.5A patent/CN118015021B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2002213193B2 (en) * | 2000-10-11 | 2007-02-22 | Imaging Therapeutics, Inc. | Methods and devices for analysis of X-ray images |
| RU2385494C1 (ru) * | 2008-10-22 | 2010-03-27 | Государственное образовательное учреждение высшего профессионального образования Московский инженерно-физический институт (государственный университет) | Способ распознавания изображения текстуры клеток |
| US20110293180A1 (en) * | 2010-05-28 | 2011-12-01 | Microsoft Corporation | Foreground and Background Image Segmentation |
| MX2017005209A (es) * | 2017-04-21 | 2018-11-09 | Alvarado Cervantes Rodolfo | Metodo de segmentacion en imagenes en colores mediante el uso de una funcion adaptativa de similitud. |
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
| CN111476170A (zh) * | 2020-04-09 | 2020-07-31 | 首都师范大学 | 一种结合深度学习和随机森林的遥感影像语义分割方法 |
| CN111524140A (zh) * | 2020-04-21 | 2020-08-11 | 广东职业技术学院 | 基于cnn和随机森林法的医学图像语义分割方法 |
| CN112200808A (zh) * | 2020-12-07 | 2021-01-08 | 领伟创新智能***(浙江)有限公司 | 一种基于局部基尼系数的带钢表面缺陷检测方法 |
| CN114881917A (zh) * | 2022-03-17 | 2022-08-09 | 深圳大学 | 基于自监督和语义分割的溶栓疗效预测方法及相关装置 |
| CN115761735A (zh) * | 2022-11-16 | 2023-03-07 | 中国矿业大学 | 一种基于自适应伪标签纠正的半监督语义分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIAMING ZHANG等: "ISSAFE: Improving Semantic Segmentation in Accidents by Fusing Event-based Data", 2021 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), 6 December 2021 (2021-12-06), pages 1132 - 1139 * |
| 张宏钊;吕启深;党晓婧;李炎裕;代德宇;: "基于加权损失函数的多尺度对抗网络图像语义分割算法", 计算机应用与软件, no. 01, 31 January 2020 (2020-01-31), pages 290 - 297 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118015021B (zh) | 2024-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | Boundary-weighted domain adaptive neural network for prostate MR image segmentation | |
| Li et al. | Analyzing overfitting under class imbalance in neural networks for image segmentation | |
| Tajbakhsh et al. | Embracing imperfect datasets: A review of deep learning solutions for medical image segmentation | |
| CN110930397B (zh) | 一种磁共振图像分割方法、装置、终端设备及存储介质 | |
| CN108416802B (zh) | 一种基于深度学习的多模医学图像非刚性配准方法及*** | |
| Hong et al. | Unsupervised domain adaptation for cross-modality liver segmentation via joint adversarial learning and self-learning | |
| Hong et al. | Source-free unsupervised domain adaptation for cross-modality abdominal multi-organ segmentation | |
| CN110705555A (zh) | 基于fcn的腹部多器官核磁共振图像分割方法、***及介质 | |
| CN112488976B (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| CN101111865A (zh) | 用于在心脏图像中分割左心室的***和方法 | |
| Bitarafan et al. | 3D image segmentation with sparse annotation by self-training and internal registration | |
| CN112750137B (zh) | 基于深度学习的肝脏肿瘤分割方法及*** | |
| Zhou et al. | Automatic segmentation of 3D prostate MR images with iterative localization refinement | |
| CN113159223A (zh) | 一种基于自监督学习的颈动脉超声图像识别方法 | |
| CN114821052A (zh) | 基于自调节策略的三维脑肿瘤核磁共振图像分割方法 | |
| CN113012164A (zh) | 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质 | |
| Rewari | Automatic tumor segmentation from MRI scans | |
| Cheng et al. | Correcting and reweighting false label masks in brain tumor segmentation | |
| Zeng et al. | Unsupervised skin lesion segmentation via structural entropy minimization on multi-scale superpixel graphs | |
| Zhang et al. | Comparative analysis of U-Net and TLMDB GAN for the cardiovascular segmentation of the ventricles in the heart | |
| CN118015021B (zh) | 基于滑动窗口的主动域自适应跨模态医学图像分割方法 | |
| Jin et al. | Automatic primary gross tumor volume segmentation for nasopharyngeal carcinoma using ResSE-UNet | |
| Li et al. | Query-based black-box attack against medical image segmentation model | |
| Dickson et al. | An integrated 3D-sparse deep belief network with enriched seagull optimization algorithm for liver segmentation | |
| Menze et al. | Proceedings of the miccai challenge on multimodal brain tumor image segmentation (brats) 2012 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |