CN112785551A - 一种基于深度学习的冠状动脉分割方法 - Google Patents
一种基于深度学习的冠状动脉分割方法 Download PDFInfo
- Publication number
- CN112785551A CN112785551A CN202011611306.2A CN202011611306A CN112785551A CN 112785551 A CN112785551 A CN 112785551A CN 202011611306 A CN202011611306 A CN 202011611306A CN 112785551 A CN112785551 A CN 112785551A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- activation function
- coronary artery
- upsampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000011218 segmentation Effects 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000010606 normalization Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 210000005003 heart tissue Anatomy 0.000 claims abstract description 7
- 230000003190 augmentative effect Effects 0.000 claims abstract description 4
- 230000002401 inhibitory effect Effects 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 210000003492 pulmonary vein Anatomy 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 85
- 230000006870 function Effects 0.000 claims description 83
- 238000011176 pooling Methods 0.000 claims description 53
- 210000004204 blood vessel Anatomy 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000747 cardiac effect Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000013434 data augmentation Methods 0.000 claims description 3
- 238000010968 computed tomography angiography Methods 0.000 description 24
- 208000029078 coronary artery disease Diseases 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004165 myocardium Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010003211 Arteriosclerosis coronary artery Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000026758 coronary atherosclerosis Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习的冠状动脉分割方法,括如下步骤B1.获取原始CTA心脏图像;B2.对B1.原始CTA心脏图像归一化预处理,选取最佳的CT值观测窗口,截取CTA图像中冠状动脉区域,抑制肺部静脉血管等非心脏组织,提升目标和背景的对比度;B3.图像数据增广;B4.构建深度学习网络,采用两个基于三层中继监督机制但训练标签不同的深度神经网络Net A和Net B对冠状动脉CTA数据进行训练,得到冠状动脉识别模型A以及B;B5.利用B4.得到的冠状动脉识别模型进行冠状动脉分割。解决了现有冠状动脉分割方法存在极容易出现过分割现象的技术问题。
Description
技术领域
本发明属于医学图像处理领域,具体涉及一种非诊断目的的基于CTA图像的冠状动脉分割方法,是一种基于深度学习的冠状动脉分割方法。
背景技术
冠状动脉是环绕在心脏外周给心肌提供血液的血管。冠状动脉疾病如冠状动脉粥样硬化会导致部分心肌无法通过血液得到足够的氧气和营养而逐渐失去功能,进而引发心脏搏动功能障碍,所以冠状动脉的健康状况对心脏的正常运行起到至关重要的作用。
目前临床上主要采用冠状动脉CT血管造影(CTA)技术对冠心病患者进行诊断。基于CTA图像的冠状动脉血管精确分割和提取可以辅助医生诊断心血管疾病并制定合适的手术方案。此外,冠脉的分割也是血管三维重建的重要基础,可以让医生更加直观地识别病灶所在位置。
基于传统图像处理方法的冠脉分割技术一般利用冠脉血管的管状特性,设计相应的血管滤波函数,抑制背景组织,增强血管特征,达到提升对比度的效果。但是在CTA图像中,冠脉血管和其他心脏组织灰度值非常相近,所以在随后的冠脉分割过程中极容易出现过分割现象,大大降低算法的鲁棒性和分割准确率。
发明内容
本发明要解决的技术问题是:现有冠状动脉分割方法存在极容易出现过分割现象的技术问题。
为解决上述技术问题,本发明提供一种基于深度学习的冠状动脉分割方法,括如下步骤
B1.获取原始CTA心脏图像;
B2.对B1.原始CTA心脏图像归一化预处理,选取最佳的CT值观测窗口,截取CTA图像中冠状动脉区域,抑制肺部静脉血管等非心脏组织,提升目标和背景的对比度;选取最佳的CT 值观测窗口方式为人工选择或根据医学标准由计算机自动选择。
B3.图像数据增广;
B4.构建深度学习网络,采用两个基于三层中继监督机制但训练标签不同的深度神经网络Net A和Net B对冠状动脉CTA数据进行训练,得到冠状动脉识别模型A以及B;
B5.利用B4.得到的冠状动脉识别模型进行冠状动脉分割。
作为优选,所述步骤B3图像数据增广的方法包括水平翻转、垂直翻转、随机缩放、随机弹性变换、随机伽马校正中的一种或多种。
作为优选,所述Net A以及所述Net B的网络结构都包括八层,其中第一层为输入层,第二层至第层七为隐藏层,第八层为输出层,各层顺次连接,各层结构如下:
第一层:输入层:输入训练集的三维CTA图像矩阵和每个CTA矩阵的真实标签;
第二层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后采用一个池化层进行下采样;在两个卷积层后接一个池化层,用于压缩数据和参数的量,减小过拟合。简而言之,如果输入是图像的话,那么池化层的最主要作用就是去除图像中冗余的特征,只保留最重要的特征。
第三层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后采用一个池化层进行下采样;
第四层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后采用一个池化层进行下采样;
第五层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层、一个激活函数层,最后接一个UpSampling层,所述UpSampling进行上采样,上层图像数据在本层进行首次卷积后进行归一化以及激活处理,然后再次进行卷积后再进行归一化以及激活处理,最后进行上采样操作;
第六层:隐藏/中继输出层:包含一个跳跃拼接层,两个卷积层,每个卷积后都接一个归一化层、一个激活函数层,最后接一个UpSampling层,同时输出一个损失函数Loss1,所述 UpSampling进行上采样,上层图像数据在本层进行首次卷积后进行归一化以及激活处理,然后再次进行卷积后再进行归一化以及激活处理,最后进行上采样操作;
第七层:隐藏/中继输出层:包含一个跳跃拼接层,两个卷积层,每个卷积后都接一个归一化层、一个激活函数层,最后接一个UpSampling层,同时输出一个损失函数Loss2,所述 UpSampling进行上采样,上层图像数据在本层进行首次卷积后进行归一化以及激活处理,然后再次进行卷积后再进行归一化以及激活处理,最后进行上采样操作;
第八层:隐藏/中继输出层:包含一个跳跃拼接层,两个卷积层,每个卷积后都接一个归一化层、一个激活函数层,最后接一个UpSampling层,同时输出一个损失函数Loss3,所述 UpSampling进行上采样,上层图像数据在本层进行首次卷积后进行归一化以及激活处理,然后再次进行卷积后再进行归一化以及激活处理,最后进行上采样操作;
第九层:输出层:网络最终的Loss由Loss1、Loss2、Loss3经计算式
加权得到。所述Loss1、Loss2、Loss3为Dice系数差异函数,计算方式为式中X为人工标注的标签分割图像,Y为网络预测得到的分割图像,|X|和|Y|分别表示X和 Y的元素个数。其中,分子中的系数2,是因为分母存在重复计算X和Y之间的共同元素的原因。
作为优选,Net A和Net B各层神经网络参数设置如下:
第二层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为32,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;
第三层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为64,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;
第四层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为128,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;
第五层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为256,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME,UpSampling层的大小设置为2×2×2;
第六层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为128,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;UpSampling层的大小设置为2×2×2;
第七层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为64,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;UpSampling层的大小设置为2×2×2;
第八层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为32,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;UpSampling层的大小设置为2×2×2;
第九层:激活函数为softmax激活函数。
作为优选,Net A和Net B的训练标签制作如下:
Net A的训练标签是只有0和1掩膜(mask),Net B的训练标签通过对Net A的训练标签进行距离变换得到。
所述距离变换步骤如下,首先判断血管表面像素,如果一个血管像素P,其六邻域内的U、D、W、E、S、N像素点有任意一点属于背景像素,那么该像素P则属于血管表面像素;对于不是表面像素的血管内像素Q,首先遍历以Q为中心,大小为3×3×3的27领域内的像素,如果存在血管表面像素,则计算欧式距离,若不存在血管表面像素,则继续扩大领域范围,在5×5×5、7×7×7、9×9×9、11×11×11直到Q点的领域内存在血管表面像素,可以计算欧式距离为止;遍历所有血管内像素,并计算得到每个像素与最近表面像素的距离。
作为优选,所述步骤B5.中,将心脏图像输入冠状动脉识别模型A以及B后,两个模型分别输出对每个像素的预测概率,二者相加取平均,经过阈值处理后的输出即为最终分割结果。
本发明的实质性效果是:1)本发明采用中继监督策略,每经过一轮上采样就输出一个辅助损失函数,最后通过三层损失函数监督网络的训练,减少深度学习网络训练中的梯度***现象。2)本发明采用两个网络从两个不同的方向去学习血管分割能力。Net A负责学习 0-1标签,Net B负责学习血管的距离图,二者结果进行融合后,确保最终的分割结果具有血管的形状。融合网络对于拓扑结构复杂的细小分支有更好的分割能力和准确性。
附图说明
图1是实施例一的流程示意图。
图2是实施例一CTA图像归一化原理图。
图3是实施例一像素6领域示意图。
图4是实施例一未分簇的距离示意图。
图5是实施例一分簇后的距离示意图。
图6是实施例一冠状动脉分割结果。
具体实施方式
下面通过具体实施例,并结合附图,对本发明的具体实施方式作进一步具体说明。
如图1的流程图所示,本发明提供了一种结合距离变换和深度学习的冠状动脉分割方法,包括如下步骤:
步骤一、获取原始CTA心脏图像;
步骤二、图像归一化预处理。选取最佳的CT值观测窗口,截取CTA图像中冠状动脉感兴趣区域,抑制肺部静脉血管等非心脏组织,提升目标和背景的对比度。如图1所示,在读取Dicom 头文件中的窗宽(Window Width,WW)和窗位(Window Level,WL)信息后,截取CT值在范围内的原始CTA图像并进行归一化,CT值小于的像素点设置为0,CT值大于的像素点设置为1;映射过程如公式(1)所示:
式(1)中y表示归一化后每个像素点的灰度值,x表示原始CTA图像中每个像素点的CT值;
步骤三、数据增广:水平翻转、垂直翻转、随机缩放、随机弹性变换、随机伽马校正。
步骤四、构建深度学习网络,采用两个基于三层中继监督机制的深度神经网络NetA 和Net B对冠状动脉CTA数据进行训练。
4-1Net A和Net B结构完全相同,只是输入训练标签不同。二者的网络结构都包括八层,其中第一层为输入层,第二层至第层七为隐藏层,第八层为输出层,各层结构如下:
第一层:输入层:输入训练集的三维CTA图像矩阵和每个CTA矩阵的真实标签;
第二层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后采用一个池化层进行下采样;
第三层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后采用一个池化层进行下采样;
第四层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后采用一个池化层进行下采样;
第五层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后接一个UpSampling层进行上采样;
第六层:隐藏/中继输出层:包含一个跳跃拼接层,两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后接一个UpSampling层,同时输出一个损失函数Loss1;
第七层:隐藏/中继输出层:包含一个跳跃拼接层,两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后接一个UpSampling层,同时输出一个损失函数Loss2;
第八层:隐藏/中继输出层:包含一个跳跃拼接层,两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后接一个UpSampling层,同时输出一个损失函数Loss3;
第九层:输出层:网络最终的Loss由Loss1、Loss2、Loss3加权得到,如公式(3)所示:
4-2Net A和Net B各层神经网络参数设置如下:
第二层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为32,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;
第三层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为64,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;
第四层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为128,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;
第五层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为256,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME,UpSampling层的大小设置为2×2×2;
第六层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为128,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;UpSampling层的大小设置为2×2×2;
第七层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为64,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;UpSampling层的大小设置为2×2×2;
第八层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为32,激活函数为 Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;UpSampling层的大小设置为2×2×2;
第九层:激活函数为softmax激活函数。卷积核大小单位为像素。
4-3Net A和Net B的训练标签制作如下:
Net A的训练标签是只有0和1掩膜(mask),Net B的训练标签通过对Net A的训练标签进行距离变换得到。首先判断血管表面像素,如图(2)所示,如果一个血管像素P,其六邻域内的U、D、W、E、S、N像素点有任意一点属于背景像素,那么该像素P则属于血管表面像素。对于不是表面像素的血管内像素Q,首先遍历以Q为中心,大小为3×3×3的27领域内的像素,如果存在血管表面像素,则计算欧式距离,若不存在血管表面像素,则继续扩大领域范围,在5×5×5、7×7×7、9×9×9、11×11×11直到Q点的领域内存在血管表面像素,可以计算欧式距离为止。遍历所有血管内像素,并计算得到每个像素与最近表面像素的距离。如图4和图5所示,为了网络训练的稳定性,图4血管内的像素在得到与最近表面像素的距离之后,将这些距离聚成图5所示的3簇,颜色越深代表距离血管中心越近,反之则离血管表面距离越近。
4-4Net A和Net B的训练
Net A和Net B训练完成后,分别输出对每个像素的预测概率,二者相加取平均,经过阈值处理后的输出即为最终分割结果。
为证明上述方法的可行性,下面采用具体的冠状动脉CTA图像进行举例说明。
实验过程如下:先对原始的CTA图像序列(如图1所示)进行图像归一化,可有效抑制肺部血管等非心脏组织并去除大部分与冠状动脉灰度值相近的心房与心室等心脏组织,减少非冠状动脉组织对后续冠脉分割产生的影响;通过0-1分割标签制作距离图标签;采用0-1 分割标签对Net A进行训练,采用距离图标签对Net B进行训练,训练完成后对二者的预测概率图进行加权平均,输出最终如图4所示的分割结果。本发明在10例CTA数据上对该算法进行了测试,并使用Dice、Jaccard、MaxSD(Maximum Surface Distance)对算法分割结果进行评估。在10例测试数据上的Dice=0.8,Jaccard=0.66,MaxSD=5.81.
本发明提出了一种面向CTA数据的冠状动脉自动分割方法。首先,通过图像归一化预处理有效抑制了非冠脉组织,提升了冠状动脉和背景的对比度;其次,采用翻转、缩放、弹性变换、伽马校正等对数据进行增广;最后使用结合距离变换的深度学习网络对冠状动脉进行分割,结果表明本发明对于灰度不均且拓扑结构复杂的细小分支有更好的分割能力和准确性。
以上的实施例只是本发明的一种较佳的方案,并非对本发明作任何形式上的限制,在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。
Claims (7)
1.一种基于深度学习的冠状动脉分割方法,其特征在于:包括如下步骤
B1.获取原始CTA心脏图像;
B2.对B1.原始CTA心脏图像归一化预处理,选取最佳的CT值观测窗口,截取CTA图像中冠状动脉区域,抑制肺部静脉血管等非心脏组织,提升目标和背景的对比度;
B3.图像数据增广;
B4.构建深度学习网络,采用两个基于三层中继监督机制但训练标签不同的深度神经网络Net A和Net B对冠状动脉CTA数据进行训练,得到冠状动脉识别模型A以及B;
B5.利用B4.得到的冠状动脉识别模型进行冠状动脉分割。
2.根据权利要求1所述的一种基于深度学***翻转、垂直翻转、随机缩放、随机弹性变换、随机伽马校正中的一种或多种。
3.根据权利要求1所述的一种基于深度学习的冠状动脉分割方法,其特征在于:所述Net A以及所述Net B的网络结构都包括八层,其中第一层为输入层,第二层至第层七为隐藏层,第八层为输出层,各层顺次连接,各层结构如下:
第一层:输入层:输入训练集的三维CTA图像矩阵和每个CTA矩阵的真实标签;
第二层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后采用一个池化层进行下采样;
第三层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后采用一个池化层进行下采样;
第四层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层和激活函数层,最后采用一个池化层进行下采样;
第五层:隐藏层:包含两个卷积层,每个卷积后都接一个归一化层、一个激活函数层,最后接一个UpSampling层,所述UpSampling进行上采样,上层图像数据在本层进行首次卷积后进行归一化以及激活处理,然后再次进行卷积后再进行归一化以及激活处理,最后进行上采样操作;
第六层:隐藏/中继输出层:包含一个跳跃拼接层,两个卷积层,每个卷积后都接一个归一化层、一个激活函数层,最后接一个UpSampling层,同时输出一个损失函数Loss1,所述UpSampling进行上采样,上层图像数据在本层进行首次卷积后进行归一化以及激活处理,然后再次进行卷积后再进行归一化以及激活处理,最后进行上采样操作;
第七层:隐藏/中继输出层:包含一个跳跃拼接层,两个卷积层,每个卷积后都接一个归一化层、一个激活函数层,最后接一个UpSampling层,同时输出一个损失函数Loss2,所述UpSampling进行上采样,上层图像数据在本层进行首次卷积后进行归一化以及激活处理,然后再次进行卷积后再进行归一化以及激活处理,最后进行上采样操作;
第八层:隐藏/中继输出层:包含一个跳跃拼接层,两个卷积层,每个卷积后都接一个归一化层、一个激活函数层,最后接一个UpSampling层,同时输出一个损失函数Loss3,所述UpSampling进行上采样,上层图像数据在本层进行首次卷积后进行归一化以及激活处理,然后再次进行卷积后再进行归一化以及激活处理,最后进行上采样操作;
第九层:输出层:网络最终的Loss由Loss1、Loss2、Loss3经计算式
加权得到。
4.根据权利要求3所述的一种基于深度学习的冠状动脉分割方法,其特征在于:Net A和Net B各层神经网络参数设置如下:
第二层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为32,激活函数为Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;
第三层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为64,激活函数为Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;
第四层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为128,激活函数为Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;
第五层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为256,激活函数为Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME,UpSampling层的大小设置为2×2×2;
第六层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为128,激活函数为Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;UpSampling层的大小设置为2×2×2;
第七层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为64,激活函数为Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;UpSampling层的大小设置为2×2×2;
第八层:卷积层的卷积核大小为3×3×3,步长stride为1,卷积核数量为32,激活函数为Relu激活函数,池化层为最大池化层,大小为2×2×2,步长stride为2,填充模式padding设置为SAME;UpSampling层的大小设置为2×2×2;
第九层:激活函数为softmax激活函数。
5.根据权利要求1所述的一种基于深度学习的冠状动脉分割方法,其特征在于:Net A和Net B的训练标签制作如下:
Net A的训练标签是只有0和1掩膜(mask),Net B的训练标签通过对Net A的训练标签进行距离变换得到。
6.根据权利要求5所述的一种基于深度学习的冠状动脉分割方法,其特征在于:所述距离变换步骤如下,首先判断血管表面像素,如果一个血管像素P,其六邻域内的U、D、W、E、S、N像素点有任意一点属于背景像素,那么该像素P则属于血管表面像素;对于不是表面像素的血管内像素Q,首先遍历以Q为中心,大小为3×3×3的27领域内的像素,如果存在血管表面像素,则计算欧式距离,若不存在血管表面像素,则继续扩大领域范围,在5×5×5、7×7×7、9×9×9、11×11×11直到Q点的领域内存在血管表面像素,可以计算欧式距离为止;遍历所有血管内像素,并计算得到每个像素与最近表面像素的距离。
7.根据权利要求1所述的一种基于深度学***均,经过阈值处理后的输出即为最终分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011611306.2A CN112785551A (zh) | 2020-12-30 | 2020-12-30 | 一种基于深度学习的冠状动脉分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011611306.2A CN112785551A (zh) | 2020-12-30 | 2020-12-30 | 一种基于深度学习的冠状动脉分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112785551A true CN112785551A (zh) | 2021-05-11 |
Family
ID=75753889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011611306.2A Pending CN112785551A (zh) | 2020-12-30 | 2020-12-30 | 一种基于深度学习的冠状动脉分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112785551A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139959A (zh) * | 2021-05-17 | 2021-07-20 | 北京安德医智科技有限公司 | 获得心肌桥图像的方法及装置、电子设备和存储介质 |
CN113409319A (zh) * | 2021-08-17 | 2021-09-17 | 点内(上海)生物科技有限公司 | 肋骨骨折检测模型训练***、方法、检测***和检测方法 |
CN113487628A (zh) * | 2021-07-07 | 2021-10-08 | 广州市大道医疗科技有限公司 | 模型训练的方法及冠状血管识别方法、装置、设备和介质 |
CN113592890A (zh) * | 2021-05-28 | 2021-11-02 | 北京医准智能科技有限公司 | 一种ct图像肝脏分割方法及装置 |
CN114159083A (zh) * | 2021-12-09 | 2022-03-11 | 哈尔滨工业大学 | 一种基于深度树模型的冠状动脉自动解剖标注方法及*** |
CN114332087A (zh) * | 2022-03-15 | 2022-04-12 | 杭州电子科技大学 | Octa图像的三维皮层表面分割方法及*** |
CN116524191A (zh) * | 2023-05-11 | 2023-08-01 | 山东省人工智能研究院 | 融入测地线投票算法的深度学习网络的血管分割方法 |
CN116645349A (zh) * | 2023-05-29 | 2023-08-25 | 沈阳工业大学 | 一种提高血管三维显示效果的图像处理方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108492309A (zh) * | 2018-01-21 | 2018-09-04 | 西安电子科技大学 | 基于迁移卷积神经网络的磁共振图像中静脉血管分割方法 |
CN109801277A (zh) * | 2019-01-18 | 2019-05-24 | 浙江大学 | 一种图像处理方法及装置、存储介质 |
US20190205606A1 (en) * | 2016-07-21 | 2019-07-04 | Siemens Healthcare Gmbh | Method and system for artificial intelligence based medical image segmentation |
US20190236411A1 (en) * | 2016-09-14 | 2019-08-01 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks |
CN111723675A (zh) * | 2020-05-26 | 2020-09-29 | 河海大学 | 基于多重相似性度量深度学习的遥感图像场景分类方法 |
-
2020
- 2020-12-30 CN CN202011611306.2A patent/CN112785551A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190205606A1 (en) * | 2016-07-21 | 2019-07-04 | Siemens Healthcare Gmbh | Method and system for artificial intelligence based medical image segmentation |
US20190236411A1 (en) * | 2016-09-14 | 2019-08-01 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks |
CN108492309A (zh) * | 2018-01-21 | 2018-09-04 | 西安电子科技大学 | 基于迁移卷积神经网络的磁共振图像中静脉血管分割方法 |
CN109801277A (zh) * | 2019-01-18 | 2019-05-24 | 浙江大学 | 一种图像处理方法及装置、存储介质 |
CN111723675A (zh) * | 2020-05-26 | 2020-09-29 | 河海大学 | 基于多重相似性度量深度学习的遥感图像场景分类方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139959B (zh) * | 2021-05-17 | 2021-10-01 | 北京安德医智科技有限公司 | 获得心肌桥图像的方法及装置、电子设备和存储介质 |
CN113139959A (zh) * | 2021-05-17 | 2021-07-20 | 北京安德医智科技有限公司 | 获得心肌桥图像的方法及装置、电子设备和存储介质 |
CN113592890A (zh) * | 2021-05-28 | 2021-11-02 | 北京医准智能科技有限公司 | 一种ct图像肝脏分割方法及装置 |
CN113592890B (zh) * | 2021-05-28 | 2022-02-11 | 北京医准智能科技有限公司 | 一种ct图像肝脏分割方法及装置 |
CN113487628B (zh) * | 2021-07-07 | 2024-02-23 | 广州市大道医疗科技有限公司 | 模型训练的方法及冠状血管识别方法、装置、设备和介质 |
CN113487628A (zh) * | 2021-07-07 | 2021-10-08 | 广州市大道医疗科技有限公司 | 模型训练的方法及冠状血管识别方法、装置、设备和介质 |
CN113409319A (zh) * | 2021-08-17 | 2021-09-17 | 点内(上海)生物科技有限公司 | 肋骨骨折检测模型训练***、方法、检测***和检测方法 |
CN114159083A (zh) * | 2021-12-09 | 2022-03-11 | 哈尔滨工业大学 | 一种基于深度树模型的冠状动脉自动解剖标注方法及*** |
CN114332087A (zh) * | 2022-03-15 | 2022-04-12 | 杭州电子科技大学 | Octa图像的三维皮层表面分割方法及*** |
CN116524191A (zh) * | 2023-05-11 | 2023-08-01 | 山东省人工智能研究院 | 融入测地线投票算法的深度学习网络的血管分割方法 |
CN116524191B (zh) * | 2023-05-11 | 2024-01-19 | 山东省人工智能研究院 | 融入测地线投票算法的深度学习网络的血管分割方法 |
CN116645349A (zh) * | 2023-05-29 | 2023-08-25 | 沈阳工业大学 | 一种提高血管三维显示效果的图像处理方法及*** |
CN116645349B (zh) * | 2023-05-29 | 2024-03-19 | 沈阳工业大学 | 一种提高血管三维显示效果的图像处理方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112785551A (zh) | 一种基于深度学习的冠状动脉分割方法 | |
Schaap et al. | Robust shape regression for supervised vessel segmentation and its application to coronary segmentation in CTA | |
CN107563983A (zh) | 图像处理方法以及医学成像设备 | |
CN111476757A (zh) | 一种冠脉斑块数据检测方法、***、存储介质、终端 | |
Xu et al. | Convolutional-neural-network-based approach for segmentation of apical four-chamber view from fetal echocardiography | |
WO2022105623A1 (zh) | 一种基于迁移学习的颅内血管病灶识别方法 | |
CN113420826B (zh) | 一种肝脏病灶图像处理***及图像处理方法 | |
WO2022121100A1 (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
CN114881968A (zh) | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 | |
CN110163872A (zh) | 一种hrmr图像分割与三维重建的方法及电子设备 | |
CN111612756B (zh) | 冠状动脉特异性钙化检测方法及装置 | |
US20220164957A1 (en) | Recognition method of intracranial vascular lesions based on transfer learning | |
CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
CN112598619A (zh) | 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法 | |
CN115908463A (zh) | 基于半监督一致性学习的3d冠状动脉图像分割方法 | |
CN113674291A (zh) | 一种全类型主动脉夹层真假腔图像分割方法及*** | |
CN113935976A (zh) | 一种增强ct图像的脏器内血管自动分割方法及*** | |
CN112509079A (zh) | 颅内血管造影增强三维狭窄化分析模型的建立方法 | |
CN112508873A (zh) | 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法 | |
CN113223704B (zh) | 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法 | |
CN116612090A (zh) | 一种确定肺动脉栓塞指数的***及方法 | |
Zhao et al. | Automated coronary tree segmentation for x-ray angiography sequences using fully-convolutional neural networks | |
CN114049334B (zh) | 一种以ct图像为输入的超分辨率mr成像方法 | |
CN114170337A (zh) | 一种基于迁移学习的颅内血管增强三维模型的建立方法 | |
CN114519722A (zh) | 一种基于卷积神经网络的颈动脉提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |