CN117994520A - 基于WMH-Net模型的脑白质病变图像分割方法、***及存储介质 - Google Patents
基于WMH-Net模型的脑白质病变图像分割方法、***及存储介质 Download PDFInfo
- Publication number
- CN117994520A CN117994520A CN202410222513.0A CN202410222513A CN117994520A CN 117994520 A CN117994520 A CN 117994520A CN 202410222513 A CN202410222513 A CN 202410222513A CN 117994520 A CN117994520 A CN 117994520A
- Authority
- CN
- China
- Prior art keywords
- features
- module
- wmh
- stage
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 206010072731 White matter lesion Diseases 0.000 title claims abstract description 35
- 238000003709 image segmentation Methods 0.000 title claims description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 59
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims description 17
- 230000000644 propagated effect Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005065 mining Methods 0.000 claims description 9
- 210000004885 white matter Anatomy 0.000 claims description 6
- 208000034800 Leukoencephalopathies Diseases 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000036285 pathological change Effects 0.000 claims description 3
- 231100000915 pathological change Toxicity 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 230000035945 sensitivity Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 208000010877 cognitive disease Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 208000027061 mild cognitive impairment Diseases 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 241001631030 Explorator Species 0.000 description 1
- 208000032376 Lung infection Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于WMH‑Net模型的脑白质病变图像分割方法、***及存储介质，涉及医学图像处理技术领域。本发明的方法包括：构建WMH‑Net模型；利用WMH‑Net模型对脑白质病变图像进行分割，得到分割结果，包括：输入的图像经过骨架网络生成5个层次的特征f1到f5；f3到f5的特征被送入到PFA模块中生成金字塔特征；将经过PFA模块处理后的阶段三到阶段五的特征经过一个联合损失函数；NPD模块以并行的方式解码金字塔特征，解码的特征经过DUpsampling模块上采样后与从骨架网络传播来的特征级联在一起；基于得到的特征，分割模块得到最后的分割结果。本发明能够达到最高的分割精度与敏感性。
Description
技术领域
本发明涉及医学图像处理技术领域，特别是涉及基于WMH-Net模型的脑白质病变图像分割方法、***及存储介质。
背景技术
医学图像分割是医学图像分析中关键的一步，从MRI、CT等医学图像中分割出器官、异常组织是临床诊断中常见的检查手段，如视网膜血管分割、脑部MRI中肿瘤的分割、肺结节分割、腹腔CT中肝脏的分割、肺炎肺部感染组织分割等。
早期的医学图像分割大都基于边缘检测和模板匹配、变形模型以及基于学习的算法。上述方法的缺点在于分割结果依赖于人为设计的特征，对不同的任务很难设计具有代表性的特征，并且为一种类型的图像设计的特征提取方法并不适用于其他类型的图像，缺乏通用的特征提取方法。
随着卷积神经网络的发展，基于深度学习的自动特征学习算法成为医学图像分割的可行算法，与使用人为设计特征的分割算法不同，深度学习算法利用卷积神经网络自动提取特征，克服了人为设计特征的局限性。
然而，脑白质病变图像存在图像分辨率低、边界模糊、对比度低、密度不均等问题，一般的基于卷积神经网络的图像分割模型并不适用于脑白质病变图像的分割，在分割精度与敏感性上均表现不佳。
发明内容
有鉴于此，本发明提供了基于WMH-Net模型的脑白质病变图像分割方法、***及存储介质。为解决图像分辨率低、边界模糊的问题，设计了金字塔特征收集模块(PyramidFeature Aggregation，PFA)，从骨架网络不同阶段收集特征并融合，生成层次化的金字塔特征。为进一步增强模型低层对细节信息的抽取能力，引入深层次监督，并将增强的特征用于广泛的特征融合。通过上述两种方式，为分割提供同时具有丰富语义与细节信息的特征。此外，针对脑白质病变图像对比度低、密度不均的问题，基于可形变卷积和注意力机制设计了非局部并行解码器(Non-Parallel Decoder，NPD)，赋予模型长短程依赖性探索能力，挖掘广泛空间内特征的相互关系。同时还采用了一种数据相关型的上采样方法DUpsampling来替代双线性插值，DUpsampling的优点在于恢复特征图尺寸的同时，提升了分割精度，降低了计算复杂度。在已确诊轻度认知障碍患者临床及影像学动态资料数据集上，与经典模型比较，WMH-Net达到了最高的分割精度与敏感性。
为此，本发明采用以下技术方案：
一方面，本发明公开了一种基于WMH-Net模型的脑白质病变图像分割方法，其特征在于，包括：
构建WMH-Net模型；所述WMH-Net模型包括：骨架网络、PFA模块、NPD模块、细节信息挖掘模块、分割头部以及DUpsampling模块；
利用所述WMH-Net模型对脑白质病变图像进行分割，得到分割结果；
其中，利用所述WMH-Net模型对脑白质病变图像进行分割，包括：
输入的图像首先经过骨架网络生成5个层次的特征f1到f5；
骨架网络从f3到f5的特征被送入到PFA模块中生成金字塔特征；在PFA模块中不同层次的特征以及从骨架网络第二阶段传播来的特征进行了融合；
将经过PFA模块处理后的阶段三到阶段五的特征经过一个联合损失函数；
NPD模块以并行的方式解码金字塔特征，解码的特征经过DUpsampling模块上采样后与从骨架网络传播来的特征级联在一起；NPD的各级输出都上采样到骨架网络阶段二特征的尺寸，并和从阶段二传播来的特征级联在一起用于最后的分割；
基于得到的特征，由卷积构成的分割模块得到最后的分割结果。
进一步地，所述细节信息挖掘模块包括：在骨架网络的第二阶段添加的辅助层；所述辅助层在训练中通过分割出脑白质病变的边界进行学习，边界标签由语义标签使用基于梯度的算法获得。
进一步地，所述PFA模块为基于空洞卷积和可形变卷积设计的金字塔特征融合模块，融合骨架网络各个阶段的输出，生成层次化的金字塔特征。
进一步地，所述PFA模块融合骨架网络各个阶段的输出，包括：
骨架网络高层次小分辨率的特征在上采样后先经过可形变卷积处理，再与低层次高分辨的特征加和在一起；随后，从骨架网络第二阶段传播来的特征下采样后也经过可形变卷积处理，再与已经融合的高低层次特征加和在一起，以此来补偿边界信息；通过PFA构造了三个层次的金字塔特征。
进一步地，所述NPD模块由可形变卷积和自注意力机制以并行的方式构成。
进一步地，所述注意力机制，包括：
以pi∈n×w×h为自注意力机制的输入特征，其中n表示特征的通道数，w和h是特征的宽度与高度。自注意力层由平坦操作和三个卷积核大小为1的卷积操作生成queriesQ∈n×dq，keysK∈n×dk和valuesV∈n×dv，其中dv＝dk＝dv＝h×w，注意力矩阵定义为：
注意力矩阵进一步调整为n×w×h的大小并和pi相加。
又一方面，本发明还公开了一种基于WMH-Net模型的脑白质病变图像分割***，包括：
模型构建模块，用于构建WMH-Net模型；所述WMH-Net模型包括：骨架网络、PFA模块、NPD模块、细节信息挖掘模块、分割头部以及DUpsampling模块；
图像分割模块，利用所述模型构建模块构建的所述WMH-Net模型对脑白质病变图像进行分割，得到分割结果；
其中，图像分割模块具体用于：
输入的图像首先经过骨架网络生成5个层次的特征f1到f5；
骨架网络从f3到f5的特征被送入到PFA模块中生成金字塔特征；在PFA模块中不同层次的特征以及从骨架网络第二阶段传播来的特征进行了融合；
将经过PFA模块处理后的阶段三到阶段五的特征经过一个联合损失函数；
NPD模块以并行的方式解码金字塔特征，解码的特征经过DUpsampling模块上采样后与从骨架网络传播来的特征级联在一起；NPD的各级输出都上采样到骨架网络阶段二特征的尺寸，并和从阶段二传播来的特征级联在一起用于最后的分割；
基于得到的特征，由卷积构成的分割模块得到最后的分割结果。
又一方面，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现上述基于WMH-Net模型的脑白质病变图像分割方法。
本发明的优点和积极效果：
本发明提出了基于WMH-Net模型的脑白质病变图像分割方法。足够的细节信息与强语义表示是影响语义分割性能重要的两点因素。为了同时满足这两点，构建了类似FPN的结构，通过横向路径来增强高层次语义丰富特征的细节信息。但此类模型的分割精度比不上采用空洞卷积来提高特征分辨率的模型。在本发明中，引入可形变卷积和边缘信息补偿机制来提高模型特征融合的能力。此外，为了提高骨架网络底层对细节信息的抽象能力，引入了辅助层，通过深层次监督进行学习，并将增强的特征用于特征融合。通过设计的特征融合方式，充分发掘了底层特征中的细节信息，有利于更加准确地分割。
根据脑白质病变图像的特点，基于可形变卷积和自注意力机制设计了并行的解码器。通过PFA生成了具有不同分辨率的金字塔特征，类似于目标检测、实例分割，不同分辨率的特征有利于不同大小目标的分割。可形变卷积通过额外学习的偏移量改变卷积空间采样位置，以解决脑白质病变存在空洞、密度不均的问题，这可以视为局部范围的依赖性探索机。为了自动地探索更广大空间内特征之间的依赖性(包括对称区域)，引入了自注意力机制。通过二者的结合，分割的准确率得到了进一步的提高。还采用了一种数据相关型的上采样方法DUPsampling来替代双线性插值，DUpsampling的优点在于恢复特征图尺寸的同时，提升了分割精度，降低了计算复杂度。消除了在计算高分辨率特征图的的低效计算并且解耦了待融合特征和最终输出，允许更加灵活的待融合特征选取。同时避免了对低分辨率的深层特征进行上采样，降低了解码模块的计算量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中WMH-Net模型整体结构；
图2为本发明实施例中金字塔特征收集模块；
图3为本发明实施例中边界分割辅助模块；
图4为本发明实施例中从语义标签中提取脑白质病变边缘标签；
图5为本发明实施例中非局部并行解码器结构；
图6为本发明实施例中注意力机制结构；
图7为本发明实施例中DUpsampling上采样过程。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明提出一种基于WMH-Net模型的脑白质病变图像分割方法，WMH-Net是一种新颖的编码-解码结构的卷积神经网络，如图1所示，WMH-Net的整体结构主要由骨架网络、PFA模块、NPD模块、细节信息挖掘模块、分割头部以及DUpsampling模块构成。其中：
(1)、FPA模块
金字塔特征能够编辑多尺度语境信息从而能从多个尺度中分割目标。在之前的研究当中，金字塔特征是通过使用多个不同大小的卷积核或池化进行构造，只使用了骨架网络的最后一层特征，但在前向传递过程中，细节信息往往由于连续的下采样而造成丢失。为了解决这一问题，部分分割模型在具有横向路径的解码器中将上采样的特征与引入的低层次特征融合，以弥补丢失的细节信息，但此类模型的分割精度并不理想。在本发明中，为了同时满足语义分割对强语义表示以及细节信息的需要，基于空洞卷积和可形变卷积设计了类似FPN的特征融合模块，借助有效的融合策略收集骨架网络各个阶段的输出生成层次化的金字塔特征。
设计的PFA模块如图2所示。为了减少模型复杂度，只将骨架网络从阶段三到阶段五的特征送入到PFA中。为了提供更大的感受野，在PFA中引入了空洞卷积，空洞卷积的参数分别设置为6、12、18。在本发明中，使用可形变卷积和边缘信息补偿来解决这一问题。具体的，骨架网络高层次小分辨率的特征在上采样后先经过可形变卷积处理，再与低层次高分辨的特征加和在一起。随后，从骨架网络第二阶段传播来的特征下采样后也经过可形变卷积处理，再与已经融合的高低层次特征加和在一起，以此来补偿边界信息。通过PFA构造了三个层次的金字塔特征。
(2)、细节信息挖掘模块
以往的研究表明，语义分割能利用目标边缘信息提高分割的精度。为了提高骨架网络低层对边缘细节信息的提取能力，在骨架网络的阶段二添加了一个简单的卷积模块，用于分割目标边缘，该过程如图3所示。该模块在图1中被标识为辅助层。辅助层的输出为脑白质病变的边界，学习的标签从语义标签中通过基于梯度的算法获得，语义标签与提取的边缘标签如图4所示。如图1中，增强的低层细节信息通过跳跃连接传播到两处，一是PFA中用于高低层次特征的融合，二是与解码器的输出进行融合用于最后的分割。通过此种方式，充分挖掘了卷积网络低层特征中的边界信息，为模型提供了更为丰富的细节信息。本发明中PFA使用的特征是辅助层处理之前的，而NPD的输出融合的是辅助层处理后的特征。
(3)、NPD模块
如图5所示，NPD主要由可形变卷积和自注意力机制以并行的方式构成。为了解决脑白质病变组织不连续的特点，引入了可形变卷积。传统卷积操作的采样位置由卷积核大小固定，可形变卷积运算通过额外学习的偏移量来确定空间采样位置，呈现出更灵活的采样机制。脑白质病变与周围正常组织的对比度较低，有经验的医生通常通过对比其对称区域来识别脑白质病变，但卷积运算本质上只局限于局部领域，即使更复杂的卷积也无法探索更远位置特征间的相互关系。自注意力机制可以通过聚合空间域的全局信息来更新当前位置，但计算复杂度与特征的分辨率大小成二次关系，在WMH-Net中，并行解码器只作用在第三到第五阶段的金字塔特征上，第三阶段的特征是原始输入尺寸的八分之一，因此，将自注意力机制引入到并行解码器中带来的计算成本是可接受的。
以pi∈n×w×h为自注意力机制的输入特征，其中n表示特征的通道数，w和h是特征的宽度与高度。自注意力层由平坦操作和三个卷积核大小为1的卷积操作生成queriesQ∈n×dq，keysK∈n×dk和valuesV∈n×dv，其中dv＝dk＝dv＝h×w，注意力矩阵定义为：
注意力矩阵进一步调整为n×w×h的大小并和pi相加，该过程如图6所示。通过这种方式，输入特征中每个通道每个位置的特征都是当前通道所有位置特征的加权之和。设计的NPD结合了可形变卷积核自注意力机制，自动探索特征邻近区域和长程位置特征的相互关系。NPD的各级输出都上采样到骨架网络阶段二特征的尺寸，并和从阶段二传播来的特征级联在一起用于最后的分割。
(4)、DUpsampling模块
DUpsampling是一种新型数据相关型上采样方法，这使得编码模块无需减少其步长从而使得计算时间和内存占用大幅度改善。同时由于DUpsampling的高效，使得解码器能够将融合的特征下采样至较小的分辨率，不但减小了解码器的内存占用而且将待融合的特征与最终预测解耦，这种解耦使得解码器能够利用任意的特征聚合从而获得最优效果。
使用双线性插值上采样可能并不是最优选择，这种上采样方式过于简单而且不能很好的对特征图进行重构。为了减少这种上采样增加的损失，要求解码器模块尽可能输出比较小的高分辨率特征图作为上采样的输入，解决方式就是大量使用空洞卷积算法，增加了计算复杂度。
一个重要的观察结果是，语义分割中的人工标注的掩码图Y包含结构信息，所以可以适当的无损压缩，因此不同于其他方法中将F上采样至与Y尺寸相同，本发明中尝试Y压缩至然后计算F与/>的损失。
为了将Y压缩成设计了一个几乎无损的重构方式，给定r＝OutStride，Y被分为的网格形式，对于每一个子窗口S∈[0,1]r×r×C，将S变形为一个向量v∈[0,1]N，其中N＝r×r×C，最终将向量V压缩成一个低纬向量/>然后从水平和垂直方向排列x以形成/>最简单的就是线性映射，形式化定义为：
其中用于压缩v为x，/>是相反的转化，/>是重新构建的v。P和W可以通过最小化v和/>之间的误差得到，形式化定义为：
可以使用标准的SGD来进行优化，正交性限制可以简单地应用主成分分析来实现。以为目标，可以使用回归损失对网络进行预训练来观察这个目标值是否是实际值：
此外更为直接的方式是直接计算在Y维度的损失，所以通过对学到的转换W来对F进行上采样，然后计算F和Y的损失：
L(F,Y)＝Loss(softmax(DUpsample(F)),Y) (5)
通过这个重构，DUpsampling(F)将线性上采样应用到F中的每一个特征中，由此代替了双线性插值。这个上采样过程和在空间维度应用点卷积一样，卷积核参数在W中存储，过程如图7所示。
基于上述WMH-Net中的各个模块，从脑白质病变图像中自动分割的流程如下：
S1、输入的图像首先经过骨架网络生成5个层次的特征f1到f5。
为了提高底层网络对边界信息的抽象能力，在骨架网络的第二阶段添加了辅助层。辅助层在训练中通过分割出脑白质病变的边界进行学习，边界标签由语义标签使用基于梯度的算法获得。
S2、骨架网络从f3到f5的特征被送入到PFA模块中生成金字塔特征。
在PFA模块中不同层次的特征以及从骨架网络第二阶段传播来的特征进行了融合。
S3、将经过PFA模块处理后的阶段三到阶段五的特征经过一个联合损失函数。
S4、NPD模块以并行的方式解码金字塔特征，解码的特征经过DUpsampling模块上采样后与从骨架网络传播来的特征级联在一起。
S5、S3的特征通过由卷积构成的分割模块得到最后的分割结果。
本发明拟利用AI智能影像分析技术对轻度认知障碍患者的影像特点进行回顾性动态追踪，进行精确的定位和定量分析，建立全自动分割模型，综合分析处理数据做出轻度认知障碍从无症状到确诊的影像进展动态图谱，并筛查可控临床危险因素及探索最佳控制水平，以达到阻止或延缓认知障碍的发生，同时促进AI影像分析技术在临床中的经验积累、技术优化、推广和应用。
对应上述基于WMH-Net模型的脑白质病变图像分割方法，本发明还提供了一种基于WMH-Net模型的脑白质病变图像分割***，包括：
模型构建模块，用于构建WMH-Net模型；所述WMH-Net模型包括：骨架网络、PFA模块、NPD模块、细节信息挖掘模块、分割头部以及DUpsampling模块；
图像分割模块，利用所述模型构建模块构建的所述WMH-Net模型对脑白质病变图像进行分割，得到分割结果；
其中，图像分割模块具体用于：
输入的图像首先经过骨架网络生成5个层次的特征f1到f5；
骨架网络从f3到f5的特征被送入到PFA模块中生成金字塔特征；在PFA模块中不同层次的特征以及从骨架网络第二阶段传播来的特征进行了融合；
将经过PFA模块处理后的阶段三到阶段五的特征经过一个联合损失函数；
NPD模块以并行的方式解码金字塔特征，解码的特征经过DUpsampling模块上采样后与从骨架网络传播来的特征级联在一起；NPD的各级输出都上采样到骨架网络阶段二特征的尺寸，并和从阶段二传播来的特征级联在一起用于最后的分割；
基于得到的特征，由卷积构成的分割模块得到最后的分割结果。
对于本发明实施例的一种基于WMH-Net模型的脑白质病变图像分割***而言，由于其与上面实施例中的基于WMH-Net模型的脑白质病变图像分割方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中脑白质病变图像分割方法部分的说明即可，此处不再详述。
本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的一种基于WMH-Net模型的脑白质病变图像分割方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种基于WMH-Net模型的脑白质病变图像分割方法，其特征在于，包括：
构建WMH-Net模型；所述WMH-Net模型包括：骨架网络、PFA模块、NPD模块、细节信息挖掘模块、分割头部以及DUpsampling模块；
利用所述WMH-Net模型对脑白质病变图像进行分割，得到分割结果；
其中，利用所述WMH-Net模型对脑白质病变图像进行分割，包括：
输入的图像首先经过骨架网络生成5个层次的特征f1到f5；
骨架网络从f3到f5的特征被送入到PFA模块中生成金字塔特征；在PFA模块中不同层次的特征以及从骨架网络第二阶段传播来的特征进行了融合；
将经过PFA模块处理后的阶段三到阶段五的特征经过一个联合损失函数；
NPD模块以并行的方式解码金字塔特征，解码的特征经过DUpsampling模块上采样后与从骨架网络传播来的特征级联在一起；NPD的各级输出都上采样到骨架网络阶段二特征的尺寸，并和从阶段二传播来的特征级联在一起用于最后的分割；
基于得到的特征，由卷积构成的分割模块得到最后的分割结果。
2.根据权利要求1所述的一种基于WMH-Net模型的脑白质病变图像分割方法，其特征在于，所述细节信息挖掘模块包括：在骨架网络的第二阶段添加的辅助层；所述辅助层在训练中通过分割出脑白质病变的边界进行学习，边界标签由语义标签使用基于梯度的算法获得。
3.根据权利要求1所述的一种基于WMH-Net模型的脑白质病变图像分割方法，其特征在于，所述PFA模块为基于空洞卷积和可形变卷积设计的金字塔特征融合模块，融合骨架网络各个阶段的输出，生成层次化的金字塔特征。
4.根据权利要求3所述的一种基于WMH-Net模型的脑白质病变图像分割方法，其特征在于，所述PFA模块融合骨架网络各个阶段的输出，包括：
骨架网络高层次小分辨率的特征在上采样后先经过可形变卷积处理，再与低层次高分辨的特征加和在一起；随后，从骨架网络第二阶段传播来的特征下采样后也经过可形变卷积处理，再与已经融合的高低层次特征加和在一起，以此来补偿边界信息；通过PFA构造了三个层次的金字塔特征。
5.根据权利要求1所述的一种基于WMH-Net模型的脑白质病变图像分割方法，其特征在于，所述NPD模块由可形变卷积和自注意力机制以并行的方式构成。
6.根据权利要求5所述的一种基于WMH-Net模型的脑白质病变图像分割方法，其特征在于，所述注意力机制，包括：
以pi∈n×w×h为自注意力机制的输入特征，其中n表示特征的通道数，w和h是特征的宽度与高度。自注意力层由平坦操作和三个卷积核大小为1的卷积操作生成queriesQ∈n×dq，keysK∈n×dk和valuesV∈n×dv，其中dv＝dl＝dv＝h×w，注意力矩阵定义为：
注意力矩阵进一步调整为n×w×h的大小并和pi相加。
7.一种基于WMH-Net模型的脑白质病变图像分割***，其特征在于，包括：
模型构建模块，用于构建WMH-Net模型；所述WMH-Net模型包括：骨架网络、PFA模块、NPD模块、细节信息挖掘模块、分割头部以及DUpsampling模块；
图像分割模块，利用所述模型构建模块构建的所述WMH-Net模型对脑白质病变图像进行分割，得到分割结果；
其中，图像分割模块具体用于：
输入的图像首先经过骨架网络生成5个层次的特征f1到f5；
骨架网络从f3到f5的特征被送入到PFA模块中生成金字塔特征；在PFA模块中不同层次的特征以及从骨架网络第二阶段传播来的特征进行了融合；
将经过PFA模块处理后的阶段三到阶段五的特征经过一个联合损失函数；
NPD模块以并行的方式解码金字塔特征，解码的特征经过DUpsampling模块上采样后与从骨架网络传播来的特征级联在一起；NPD的各级输出都上采样到骨架网络阶段二特征的尺寸，并和从阶段二传播来的特征级联在一起用于最后的分割；
基于得到的特征，由卷积构成的分割模块得到最后的分割结果。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如权利要求1～6任一项所述的基于WMH-Net模型的脑白质病变图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410222513.0A CN117994520A (zh) | 2024-02-28 | 2024-02-28 | 基于WMH-Net模型的脑白质病变图像分割方法、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410222513.0A CN117994520A (zh) | 2024-02-28 | 2024-02-28 | 基于WMH-Net模型的脑白质病变图像分割方法、***及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117994520A true CN117994520A (zh) | 2024-05-07 |
Family
ID=90901354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410222513.0A Pending CN117994520A (zh) | 2024-02-28 | 2024-02-28 | 基于WMH-Net模型的脑白质病变图像分割方法、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117994520A (zh) |
-
2024
- 2024-02-28 CN CN202410222513.0A patent/CN117994520A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Azad et al. | Medical image segmentation review: The success of u-net | |
| CN113947609B (zh) | 深度学习网络结构及多标签主动脉夹层ct图像分割方法 | |
| CN110475505A (zh) | 利用全卷积网络的自动分割 | |
| CN111461232A (zh) | 一种基于多策略批量式主动学习的核磁共振图像分类方法 | |
| Feng et al. | Brain MRI super-resolution using coupled-projection residual network | |
| CN112669248B (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| Ding et al. | FTransCNN: Fusing Transformer and a CNN based on fuzzy logic for uncertain medical image segmentation | |
| CN111583262A (zh) | 一种血管分割方法与*** | |
| CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
| CN113034505A (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| CN113139974B (zh) | 基于半监督学习的病灶分割模型训练、应用方法 | |
| CN111951281A (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN115423754A (zh) | 一种图像分类方法、装置、设备及存储介质 | |
| CN112785593A (zh) | 一种基于深度学习的脑部图像分割方法 | |
| CN116612174A (zh) | 软组织的三维重建方法、***及计算机存储介质 | |
| Jiang et al. | MFI-Net: A multi-resolution fusion input network for retinal vessel segmentation | |
| CN112990359B (zh) | 一种影像数据处理方法、装置、计算机及存储介质 | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| Li et al. | MCRformer: Morphological constraint reticular transformer for 3D medical image segmentation | |
| CN116485853A (zh) | 一种基于深度学习神经网络的医学图像配准方法和装置 | |
| CN116128890A (zh) | 一种基于自适应融合模块和跨阶段AU-Net网络的病理细胞图像分割方法及其*** | |
| CN117994520A (zh) | 基于WMH-Net模型的脑白质病变图像分割方法、***及存储介质 | |
| CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |