CN117152173A - 一种基于DUNetR模型的冠状动脉分割方法和*** - Google Patents
一种基于DUNetR模型的冠状动脉分割方法和*** Download PDFInfo
- Publication number
- CN117152173A CN117152173A CN202311143680.8A CN202311143680A CN117152173A CN 117152173 A CN117152173 A CN 117152173A CN 202311143680 A CN202311143680 A CN 202311143680A CN 117152173 A CN117152173 A CN 117152173A
- Authority
- CN
- China
- Prior art keywords
- dunetr
- model
- coronary artery
- block
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 155
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000009499 grossing Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 8
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 230000009977 dual effect Effects 0.000 abstract description 4
- 206010002329 Aneurysm Diseases 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007917 intracranial administration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种基于DUNetR模型的冠状动脉分割方法和***,包括:获取三维的冠状动脉CTA图像数据集并进行预处理;建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,将待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割;本发明构建Transformer和UNet双网络并行结合的DUNetR模型,使用注意力机制和全卷积神经网络在CTA上进行全局加局部的细致分割,能够显著提高分割精度。
Description
技术领域
本发明涉及CT血管图像分割技术领域,更具体地,涉及一种基于DUNetR模型的冠状动脉分割方法和***。
背景技术
目前,冠状动脉三维CT血管图像(CT angiography,CTA)的分割分为传统方法的和深度学***集的方法,这些方法通常需要手动放置种子点或标注区域进行分割,并且基本上是半自动的。另一方面,基于深度学习的分割方法可以基于二维切片分割或者三维图像分割,然而,使用二维图像进行分割会导致三维空间信息的丢失,影响分割的冠状动脉图像的连续性。直接应用三维卷积神经网络进行分割,计算量大,增加了计算复杂度。因此,现有的分割技术存在空间连续性不足、需要人工干预、分割精度低、计算资源消耗大等技术局限性,无法同时得到解决。
现有技术中公开了一种全自动冠状动脉分割方法,包括以下步骤:首先,分割心脏区域,里面包括冠状动脉;然后对分割出的心脏区域进行血管增强处理,以增强冠状动脉图像;接着对血管增强处理后的图像进行种子体素的自动检测,以解决传统区域分割方法需要人工干预的问题;最后通过一致性判断分割出冠状动脉;然而,该方法需要进行心脏配准、血管增强处理以及种子点检测等步骤,相较于深度学习分割冠状动脉的方法,该方法需要调整较多的参数,并且在特征提取和特征交互方面不如深度学习方法;此外,在原始图像中,由于CT成像问题,部分冠状动脉中的体素值与周围体素值相差较小,导致边缘模糊,基于海森矩阵和邻域分割冠状动脉的方法可能受到较大的影响;
现有技术中还公开了一种自动检测与分割颅内CTA图像中动脉瘤区域的方法和装置,装置包括以下模块:接收模块,用于接收待处理的颅内CTA图像;分割模块,利用动脉瘤分割网络在CTA图像中采样的三维图像块执行动脉瘤分割;重采样模块,用于合并分割模块分割出的动脉瘤区域,并基于连通域对三维图像块进行重采样;检测模块,利用动脉瘤分类网络对重采样的三维图像块进行分类,以判定是否存在动脉瘤;该现有技术中的方法主要通过检测CTA图像中的动脉瘤区域,在patch级别上分割动脉瘤,然而,在心脏附近的区域存在冠状动脉以外的干扰,如毛细血管等相似区域,可能会对分割的准确度造成影响。
发明内容
本发明为克服上述现有技术未能实现冠状动脉的全自动分割且分割准确度不高的缺陷,提供一种基于DUNetR模型的冠状动脉分割方法和***,构建Transformer和UNet双网络并行结合的DUNetR模型,使用注意力机制和全卷积神经网络在CTA上进行全局加局部的细致分割,能够显著提高分割精度。
为解决上述技术问题,本发明的技术方案如下:
一种基于DUNetR模型的冠状动脉分割方法,包括以下步骤:
S1:获取三维的冠状动脉CTA图像数据集并进行预处理;
S2:建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型;
S3:获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;
S4:利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割。
优选地,所述步骤S1中预处理的具体方法包括:尺度变换、裁剪、旋转、仿射变换和归一化操作中的任意一种或多种。
优选地,所述步骤S2中建立的DUNetR模型具体为:
所述DUNetR模型包括并行设置的Transformer网络和UNet网络;
所述Transformer网络包括依次连接的第一Transformer模块、第二Transformer模块、第三Transformer模块和第四Transformer模块;每个Transformer模块结构相同,均包括3个依次连接的Transformer层;
所述UNet网络包括输入层、编码器、解码器和输出层;
所述编码器包括依次连接的第一编码块、第二编码块、第三编码块、第四编码块和第五编码块,以及并列设置的第一叠加块、第二叠加块、第三叠加块和第四叠加块;
所述解码器包括依次连接的第一解码块、第二解码块、第三解码块和第四解码块;
所述第一编码块的输出还与输出层的输入连接,第二编码块的输出还与第一叠加块的输入连接,第三编码块的输出还与第二叠加块的输入连接,第四编码块的输出还与第三叠加块的输入连接,第五编码块的输出还与第四叠加块的输入连接;
所述第一叠加块的输出与第一解码块的输入连接,第二叠加块的输出与第二解码块的输入连接,第三叠加块的输出与第三解码块的输入连接,第四叠加块的输出与第四解码块的输入连接;所述第一解码块的输出与输出层的输入连接,输出层的输出作为所述DUNetR模型的输出;
所述第一Transformer模块的输出还与第一叠加块的输入连接,第二Transformer模块的输出还与第二叠加块的输入连接,第三Transformer模块的输出还与第三叠加块的输入连接,第四Transformer模块的输出还与第四叠加块的输入连接。
优选地,所述DUNetR模型设置有基于相似度Dice系数的损失函数Ldice,具体为:
其中,P表示DUNetR模型的预测结果,R表示预处理后的冠状动脉CTA图像数据的真实标签。
优选地,所述步骤S2中,获取训练后的DUNetR模型的具体方法为:
将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,并在每次训练后计算当损失函数Ldice,当损失函数Ldice的值大于预设阈值时,完成训练,获取训练后的DUNetR模型。
优选地,所述步骤S4中,利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果的具体方法为:
对初步分割结果中的冠状动脉标签进行形态学处理,具体为:
根据冠状动脉血管表面的形状采用半径为R的球形结构对初步分割结果中的冠状动脉标签进行膨胀,通过连通域分析方法对膨胀后的冠状动脉标签提取其中的连通域,完成平滑处理,获得最终的分割结果。
优选地,所述步骤S4之后还包括:将最终的分割结果映射至医学图像空间,将映射后的数据以nii格式进行存储。
本发明还提供一种基于DUNetR模型的冠状动脉分割***,基于上述的冠状动脉分割方法,包括:
数据预处理模块:用于获取三维的冠状动脉CTA图像数据集并进行预处理;
模型建立和训练模块:用于建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型;
初步分割模块:用于获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;
后处理模块:用于利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割。
本发明还提供一种计算机可读的存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法中的步骤。
本发明还提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行上述方法中的步骤。
与现有技术相比,本发明技术方案的有益效果是:
本发明提供一种基于DUNetR模型的冠状动脉分割方法和***,首先获取三维的冠状动脉CTA图像数据集并进行预处理;建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型;获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割;
本发明通过图像缩放、旋转、图像增强等数字图像处理方法对原始图像的进行增强和扩增,使得网络模型具有更好的学习效率;同时,本发明提出一种全新的结合全局上下文分割和局部细节分割全自动双网络并行结合的冠状动脉分割模型,具有更高的分割精确度和效率;本发明引入了Transformer模型,利用注意力机制对长距离特征的获取能力,能够更加有效地提取3D图像上下间的特征信息,以实现全局和局部的精确分割;另外,本发明通过特征拼接将Transformer提取的全局分割特征信息和UNet网络提取的局部分割细节特征相融合,使得全局和局部的分割结果结合在一起,从而获得更加精确的分割结果。
附图说明
图1为实施例1所提供的一种基于DUNetR模型的冠状动脉分割方法流程图。
图2为实施例2所提供的DUNetR模型结构图。
图3为实施例2所提供的DUNetR模型数据流图。
图4为实施例2所提供的冠状动脉分割结果图。
图5为实施例2所提供的TransUNet网络结构图。
图6为实施例2所提供的MISSU网络结构图。
图7为实施例2所提供的UNETR网络结构图。
图8为实施例3所提供的一种基于DUNetR模型的冠状动脉分割***结构图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,本发明提供一种基于DUNetR模型的冠状动脉分割方法,包括以下步骤:
S1:获取三维的冠状动脉CTA图像数据集并进行预处理;
S2:建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型;
S3:获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;
S4:利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割。
在具体实施过程中,首先获取三维的冠状动脉CTA图像数据集并进行预处理;建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型;获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割;
本实施例提出了一种Transformer和UNet双网络并行结合的冠状动脉分割方法,使用注意力机制和全卷积神经网络在CTA上进行全局加局部的细致分割的方法,相对于传统的冠状动脉分割方法而言,本方法在特征提取和分割精度方面取得了显著的改进;与其他深度学习方法相比,本方案能够更有效地提取融合全局信息和局部信息,从而实现了在CTA图像上准确的全自动分割模型,这种改进提高了预测的效率和精度,并为后续的临床诊断和治疗提供了有益的帮助。
实施例2
本实施例提供一种基于DUNetR模型的冠状动脉分割方法,包括以下步骤:
S1:获取三维的冠状动脉CTA图像数据集并进行预处理;
S2:建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型;
S3:获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;
S4:利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割;
所述步骤S1中预处理的具体方法包括:尺度变换、裁剪、旋转、仿射变换和归一化操作中的任意一种或多种;
所述步骤S2中建立的DUNetR模型具体为:
如图2所示,所述DUNetR模型包括并行设置的Transformer网络和UNet网络;
所述DUNetR模型包括并行设置的Transformer网络和UNet网络;
所述Transformer网络包括依次连接的第一Transformer模块、第二Transformer模块、第三Transformer模块和第四Transformer模块;每个Transformer模块结构相同,均包括3个依次连接的Transformer层;
所述UNet网络包括输入层、编码器、解码器和输出层;
所述编码器包括依次连接的第一编码块、第二编码块、第三编码块、第四编码块和第五编码块,以及并列设置的第一叠加块、第二叠加块、第三叠加块和第四叠加块;
所述解码器包括依次连接的第一解码块、第二解码块、第三解码块和第四解码块;
所述第一编码块的输出还与输出层的输入连接,第二编码块的输出还与第一叠加块的输入连接,第三编码块的输出还与第二叠加块的输入连接,第四编码块的输出还与第三叠加块的输入连接,第五编码块的输出还与第四叠加块的输入连接;
所述第一叠加块的输出与第一解码块的输入连接,第二叠加块的输出与第二解码块的输入连接,第三叠加块的输出与第三解码块的输入连接,第四叠加块的输出与第四解码块的输入连接;所述第一解码块的输出与输出层的输入连接,输出层的输出作为所述DUNetR模型的输出;
所述第一Transformer模块的输出还与第一叠加块的输入连接,第二Transformer模块的输出还与第二叠加块的输入连接,第三Transformer模块的输出还与第三叠加块的输入连接,第四Transformer模块的输出还与第四叠加块的输入连接;
所述DUNetR模型设置有基于相似度Dice系数的损失函数Ldice,具体为:
其中,P表示DUNetR模型的预测结果,R表示预处理后的冠状动脉CTA图像数据的真实标签;
所述步骤S2中,获取训练后的DUNetR模型的具体方法为:
将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,并在每次训练后计算当损失函数Ldice,当损失函数Ldice的值大于预设阈值时,完成训练,获取训练后的DUNetR模型;
所述步骤S4中,利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果的具体方法为:
对初步分割结果中的冠状动脉标签进行形态学处理,具体为:
根据冠状动脉血管表面的形状采用半径为R的球形结构对初步分割结果中的冠状动脉标签进行膨胀,通过连通域分析方法对膨胀后的冠状动脉标签提取其中的连通域,完成平滑处理,获得最终的分割结果;
所述步骤S4之后还包括:将最终的分割结果映射至医学图像空间,将映射后的数据以nii格式进行存储。
在具体实施过程中,首先获取三维的冠状动脉CTA图像数据集并进行预处理;
本实施例在收集的400例冠状动脉CTA数据集中,采取五折交叉验证,将这400例数据集划分成五等分,取其中一等分(80例)作为测试数据,剩下4等分(320例)作为训练数据集,一共进行五轮,使得每份数据集都能作为测试集使用;
对所有训练数据集进行尺度变换、裁剪、旋转、仿射变换和归一化等图像技术处理,增强和扩充CTA数据集;
建立由Transformer网络和UNet网络并行结合的DUNetR模型,DUNetR模型的数据处理流程如图3所示,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型,图3中的Tf表示Transformer模块,C表示编码块,F表示叠加块,U表示解码块;
Transformer中的注意力机制能够对冠状动脉图像进行上下图像间的特征建模,实现长距离特征依赖的构建;UNet网络负责提取冠状动脉图像的局部特征信息,两者提取的特征相结合实现冠状动脉的全局信息和局部信息的融合,从而有效提高了分割精度;
Transformer和Unet双并行的网络结构有效实现了长距离依赖和局部信息结合、浅层特征和深层特征拼接和融合操作,以接受具有相同分辨率的特征,并有助于生成具有相同大小的标签,同时,通过深层特征的引入,增加了感受野,以生成高精度的分割标签;
在本实施例中,DUNetR模型设置有基于相似度Dice系数的损失函数Ldice,具体为:
其中,P表示DUNetR模型的预测结果,R表示预处理后的冠状动脉CTA图像数据的真实标签,预测图像越接近真实标签图像损失函数值越高,反之越低,当损失函数Ldice的值大于预设阈值时,即可完成训练,得到训练后的DUNetR模型;
获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;
利用图像形态学算法对初步分割结果进行平滑处理,以进行对血管分割而导致的毛刺和小许断裂部分做平滑和补全处理;
为了捕捉冠状动脉的血管表面形状,采用了半径为R的球形结构进行膨胀操作,为了获取冠状动脉周围的局部信息并减少冗余,依据医学先验知识,在存在左右冠状动脉的前提下,通过连通域分析提取了其中最大的两个连通域,并以此平滑冠状动脉,使得最终分割结果更加平滑,减少断裂和割裂情况;
在形态学处理模块中,对冠状动脉标签进行形态学处理,根据其血管表面的形状采用半径为R的球形结构进行膨胀,以分割出来的冠状动脉为骨架主体进行平滑处理,将一些不连通的部分通过连通域连接起来,最后映射存储模块对分割和形态学处理过后的冠状动脉结果映射回原图像空间,将三维矩阵数据储存成医学图像格式,得到最终的分割结果,完成冠状动脉的分割,最终的分割结果预测标签如图4所示;
将最终的分割结果映射至医学图像空间,将映射后的数据以带有空间信息的nii格式进行存储;
五折交叉验证的结果对比如表1所示,可见基于Transformer和Unet双并行的DUNetR网络模型远远优于普通的UNet网络结构和Transformer与UNet非并行结合的网络模型,且在不同折数上Transformer与UNet并行结合的DUNetR网络都比相对于其他分割效果稳定,均方差最小;且本方法最终的平均dice系数为0.8376,达到了较高的分割水平;
表1五折下的Dice指标表
Name | Fold_1(%) | Fold_2(%) | Fold_3(%) | Fold_4(%) | Fold_5(%) | ACC(%) |
MISSU | 75.34±3.16 | 74.06±3.13 | 74.21±3.63 | 73.80±3.22 | 74.87±3.19 | 74.46±3.32 |
UNETR | 73.81±3.25 | 73.62±2.93 | 73.67±2.71 | 73.89±2.47 | 74.37±2.46 | 73.87±2.78 |
DUNETR | 77.12±2.53 | 76.96±2.80 | 77.26±2.63 | 76.20±3.04 | 77.26±2.69 | 76.96±2.76 |
本实施例基于CTA图像对分割模型的结构进行改进,构建了DUNetR网络框架,将3D冠状动脉分割定义为一维序列到序列的预测问题,左侧的Transformer编码器将图像转为1维序列利用注意力机制来学习上下文信息,提取到的信息在多尺度下与CNN编码器提取到的特征拼接连接后再与CNN的解码器合并,最后达到分割预测的结果;
该网络的Transformer作为编码器的输出是多尺度输出的,目前传统的Transformer和Unet结合的网络都是将Transformer作为编码器里的编码层直接进行输出,而非进行多尺度输出,如TransUNet、MISSU网络结构等,如图5、图6所示;
另外,尽管UNETR也是将Transformer进行多尺度输出,如图7所示,但DUNetR进行的是双并行多尺度输出,拥有两个分支的编码器,右边还存在CNN编码器,进行细节特征提取的补充,这也是DUNetR相比UNETR、MISSU等网络结构在3D冠状动脉分割上准确度更高和误差更小的原因,如实验数据表一所示;
本实施例提出了一种Transformer和UNet双网络并行结合的冠状动脉分割方法,使用注意力机制和全卷积神经网络在CTA上进行全局加局部的细致分割的方法,相对于传统的冠状动脉分割方法而言,本方法在特征提取和分割精度方面取得了显著的改进;与其他深度学习方法相比,本方案能够更有效地提取融合全局信息和局部信息,从而实现了在CTA图像上准确的全自动分割模型,这种改进提高了预测的效率和精度,并为后续的临床诊断和治疗提供了有益的帮助。
实施例3
如图8所示,本实施例提供一种基于DUNetR模型的冠状动脉分割***,基于实施例1或2中所述的冠状动脉分割方法,包括:
数据预处理模块301:用于获取三维的冠状动脉CTA图像数据集并进行预处理;
模型建立和训练模块302:用于建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型;
初步分割模块303:用于获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;
后处理模块304:用于利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割。
在具体实施过程中,首先数据预处理模块301获取三维的冠状动脉CTA图像数据集并进行预处理;模型建立和训练模块302建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型;初步分割模块303获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;最后后处理模块304利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割;
本实施例提出了一种Transformer和UNet双网络并行结合的冠状动脉分割***,使用注意力机制和全卷积神经网络在CTA上进行全局加局部的细致分割的方法,相对于传统的冠状动脉分割方案,本***在特征提取和分割精度方面取得了显著的改进;另外,本***能够更有效地提取融合全局信息和局部信息,从而实现了在CTA图像上准确的全自动分割模型,提高了预测的效率和精度。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于DUNetR模型的冠状动脉分割方法,其特征在于,包括以下步骤:
S1:获取三维的冠状动脉CTA图像数据并进行预处理;
S2:建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型;
S3:获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;
S4:利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割。
2.根据权利要求1所述的一种基于DUNetR模型的冠状动脉分割方法,其特征在于,所述步骤S1中预处理的具体方法包括:尺度变换、裁剪、旋转、仿射变换和归一化操作中的任意一种或多种。
3.根据权利要求2所述的一种基于DUNetR模型的冠状动脉分割方法,其特征在于,所述步骤S2中建立的DUNetR模型具体为:
所述DUNetR模型包括并行设置的Transformer网络和UNet网络;
所述Transformer网络包括依次连接的第一Transformer模块、第二Transformer模块、第三Transformer模块和第四Transformer模块;每个Transformer模块结构相同,均包括3个依次连接的Transformer层;
所述UNet网络包括输入层、编码器、解码器和输出层;
所述编码器包括依次连接的第一编码块、第二编码块、第三编码块、第四编码块和第五编码块,以及并列设置的第一叠加块、第二叠加块、第三叠加块和第四叠加块;
所述解码器包括依次连接的第一解码块、第二解码块、第三解码块和第四解码块;
所述第一编码块的输出还与输出层的输入连接,第二编码块的输出还与第一叠加块的输入连接,第三编码块的输出还与第二叠加块的输入连接,第四编码块的输出还与第三叠加块的输入连接,第五编码块的输出还与第四叠加块的输入连接;
所述第一叠加块的输出与第一解码块的输入连接,第二叠加块的输出与第二解码块的输入连接,第三叠加块的输出与第三解码块的输入连接,第四叠加块的输出与第四解码块的输入连接;所述第一解码块的输出与输出层的输入连接,输出层的输出作为所述DUNetR模型的输出;
所述第一Transformer模块的输出还与第一叠加块的输入连接,第二Transformer模块的输出还与第二叠加块的输入连接,第三Transformer模块的输出还与第三叠加块的输入连接,第四Transformer模块的输出还与第四叠加块的输入连接。
4.根据权利要求3所述的一种基于DUNetR模型的冠状动脉分割方法,其特征在于,所述DUNetR模型设置有基于相似度Dice系数的损失函数Ldice,具体为:
其中,P表示DUNetR模型的预测结果,R表示预处理后的冠状动脉CTA图像数据的真实标签。
5.根据权利要求4所述的一种基于DUNetR模型的冠状动脉分割方法,其特征在于,所述步骤S2中,获取训练后的DUNetR模型的具体方法为:
将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,并在每次训练后计算当损失函数Ldice,当损失函数Ldice的值大于预设阈值时,完成训练,获取训练后的DUNetR模型。
6.根据权利要求5所述的一种基于DUNetR模型的冠状动脉分割方法,其特征在于,所述步骤S4中,利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果的具体方法为:
对初步分割结果中的冠状动脉标签进行形态学处理,具体为:
根据冠状动脉血管表面的形状采用半径为R的球形结构对初步分割结果中的冠状动脉标签进行膨胀,通过连通域分析方法对膨胀后的冠状动脉标签提取其中的连通域,完成平滑处理,获得最终的分割结果。
7.根据权利要求1或6所述的一种基于DUNetR模型的冠状动脉分割方法,其特征在于,所述步骤S4之后还包括:将最终的分割结果映射至医学图像空间,将映射后的数据以nii格式进行存储。
8.一种基于DUNetR模型的冠状动脉分割***,基于权利要求1~7任意一项中所述的冠状动脉分割方法,其特征在于,包括:
数据预处理模块:用于获取三维的冠状动脉CTA图像数据集并进行预处理;
模型建立和训练模块:用于建立由Transformer网络和UNet网络并行结合的DUNetR模型,将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练,获取训练后的DUNetR模型;
初步分割模块:用于获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割,获取初步分割结果;
后处理模块:用于利用图像形态学算法对初步分割结果进行平滑处理,获得最终的分割结果,完成冠状动脉的分割。
9.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~7任意一项所述方法中的步骤。
10.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1~7任意一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311143680.8A CN117152173A (zh) | 2023-09-05 | 2023-09-05 | 一种基于DUNetR模型的冠状动脉分割方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311143680.8A CN117152173A (zh) | 2023-09-05 | 2023-09-05 | 一种基于DUNetR模型的冠状动脉分割方法和*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117152173A true CN117152173A (zh) | 2023-12-01 |
Family
ID=88907675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311143680.8A Pending CN117152173A (zh) | 2023-09-05 | 2023-09-05 | 一种基于DUNetR模型的冠状动脉分割方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117152173A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117726633A (zh) * | 2024-02-07 | 2024-03-19 | 安徽大学 | 基于特征融合的双分支冠状动脉图像的分割方法、*** |
-
2023
- 2023-09-05 CN CN202311143680.8A patent/CN117152173A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117726633A (zh) * | 2024-02-07 | 2024-03-19 | 安徽大学 | 基于特征融合的双分支冠状动脉图像的分割方法、*** |
CN117726633B (zh) * | 2024-02-07 | 2024-04-19 | 安徽大学 | 基于特征融合的双分支冠状动脉图像的分割方法、*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230104173A1 (en) | Method and system for determining blood vessel information in an image | |
CN111429474B (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
CN112991365B (zh) | 一种冠状动脉分割方法、***及存储介质 | |
CN109829918B (zh) | 一种基于密集特征金字塔网络的肝脏图像分割方法 | |
CN112258514B (zh) | 一种ct影像肺血管的分割方法 | |
CN112215844A (zh) | 基于ACU-Net的MRI多模态图像分割方法和*** | |
Tan et al. | Automated vessel segmentation in lung CT and CTA images via deep neural networks | |
CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
Wang et al. | Fully automatic intervertebral disc segmentation using multimodal 3D U-Net | |
US20210142470A1 (en) | System and method for identification of pulmonary arteries and veins depicted on chest ct scans | |
WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及*** | |
CN117152173A (zh) | 一种基于DUNetR模型的冠状动脉分割方法和*** | |
CN114066913A (zh) | 一种心脏图像分割方法及*** | |
CN116452618A (zh) | 一种三输入脊柱ct图像分割方法 | |
CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
CN113706514B (zh) | 基于模板图像的病灶定位方法、装置、设备及存储介质 | |
Wu et al. | Continuous refinement-based digital pathology image assistance scheme in medical decision-making systems | |
Yuan et al. | FM-Unet: Biomedical image segmentation based on feedback mechanism Unet | |
Meng et al. | Automatic extraction of coronary arteries using deep learning in invasive coronary angiograms | |
CN115841472A (zh) | 大脑中动脉高密度征识别方法、装置、设备及存储介质 | |
CN112102327A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
CN115760754A (zh) | 一种多模态mri图像听神经鞘瘤分割方法 | |
CN114419061A (zh) | 一种肺部动静脉血管分割方法及*** | |
CN113743500A (zh) | 一种基于人工智能的超声图像改进方法 | |
CN114677383B (zh) | 基于多任务学习的肺结节检测分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |