CN110503649A - 一种基于空间多尺度U-net与超像素修正的肝脏分割方法 - Google Patents
一种基于空间多尺度U-net与超像素修正的肝脏分割方法 Download PDFInfo
- Publication number
- CN110503649A CN110503649A CN201910605862.XA CN201910605862A CN110503649A CN 110503649 A CN110503649 A CN 110503649A CN 201910605862 A CN201910605862 A CN 201910605862A CN 110503649 A CN110503649 A CN 110503649A
- Authority
- CN
- China
- Prior art keywords
- liver
- net
- pixel
- segmentation
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004185 liver Anatomy 0.000 title claims abstract description 119
- 230000011218 segmentation Effects 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000011800 void material Substances 0.000 claims abstract description 5
- 230000000877 morphologic effect Effects 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 10
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000002440 hepatic effect Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 abstract description 3
- 230000010339 dilation Effects 0.000 abstract description 2
- 238000001914 filtration Methods 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 206010019695 Hepatic neoplasm Diseases 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 208000019423 liver disease Diseases 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
一种基于空间多尺度U‑net与超像素修正的肝脏分割方法,首先,利用调窗算法增强肝脏图像的对比度,并通过高斯滤波抑制噪声干扰;其次,利用空洞空间金字塔池化U‑net模型分割肝脏预处理图像,得到肝脏初步分割结果;再次,利用形态学膨胀算法获取肝脏的过分割结果;最后,应用FSLIC‑E超像素算法修正肝脏初步分割图像,从而获得肝脏的精确边缘,本发明结合了ASPP‑U‑net和FSLIC_E超像素算法各自的优点,弥补了U‑net对肝脏图像分割鲁棒性较差的问题,能较好地应用于肝脏图像的自动分割,解决传统网络对模糊肝脏影像分割精度低的问题,具有分割精度高的特点。
Description
技术领域
本发明属于图像处理及模式识别技术领域,特别涉及一种基于空间多尺度U-net与超像素修正的肝脏分割方法。
背景技术
在肝脏疾病的初期诊断中,一直以医学影像为医生的诊疗依据,来初步判断肝脏疾病的严重程度。为了辅助医生对肝脏病症患者进行疾病诊断及治疗方案制定,需要对肝脏区域进行精准分割。目前,计算机视觉结合医学影像研究已成为智能医疗领域热点。基于医学影像的肝脏分割技术可以获取肝脏大小以及几何形状等信息,从而辅助医生的初期诊断和治疗。
目前,研究人员已经提出大量的肝脏分割算法,可分为两大类:传统算法,深度学***集法、主动轮廓法、阈值法、图割法、聚类算法等。针对传统的区域生长算法需要人为设定停止生长阈值的问题,Gambino等人提出一种基于纹理的区域生长肝脏分割算法,该算法可自动计算区域生长停止条件的阈值,但对于灰度不均匀肝脏图像无法准确地获取目标边界。水平集算法对同质的目标区域分割效果较好,但容易陷入局部极小值,Goceri等人提出一种基于变分水平集的肝脏分割算法,该方法使用自适应有符号压力函数获取肝脏边缘,并在此基础上利用索伯列夫空间梯度进行水平集的演化,得到肝脏分割结果。但该方法在处理边缘模糊的肝脏图像虚假边缘处常常会出现停止演化的问题,导致分割结果不准确。针对主动轮廓模型受初始轮廓影响较大的问题,Zareei等人提出一种基于主动轮廓模型的肝脏自动分割算法,首先根据图像能量得到一个接近肝脏边界的初始分割,然后采用融合梯度矢量流失的主动轮廓模型改进初始分割结果,但是当肝脏轮廓边缘的存在肿瘤时会导致分割失败。传统阈值算法需要人为设定阈值,Farzaneh等人利用自适应阈值得到目标区域并使用超像素算法约束肝脏区域边界,得到最终的肝脏分割结果,但该算法只适用于目标和背景区域对比度明显的图像。针对一般传统算法在一定程度上不能兼顾边缘信息和区域信息,Li等人提出了一种基于形状约束和图割模型的肝脏分割算法,通过使用阈值与欧式距离变换获得肝脏的初始位置,然后利用图割算法得到最终的肝脏分割结果。该方法可以在有效避免对灰度相似区域的误分割,但对于肝脏边界模糊和肝脏内发生病变的情况,分割精度会明显下降。针对模糊C均值(Fuzzy C-means,FCM)和K-means聚类算法需要人为设定聚类数目,Chi等人提出一种基于自组织映射的凝聚层次聚类肝脏自动分割方法,首先通过自组织映射对图像的局部特征进行训练,然后对输出结果进行过滤,最后使用凝聚层次聚类得到肝脏分割结果,但该方法对肝脏周围灰度相似组织存在误分割现象,且分割结果边界不平滑。传统肝脏分割算法主要采用人工设计的特征模板提取图像特征,这种特征提取方式所获得的特征数量较少,容易将接近于肝脏灰度值的非肝脏组织错分为肝脏区域,且当肝脏内发生病变或者CT成像过程中设备的参数不同时,最终分割结果误差较大。
相比于传统肝脏分割方法,深度学***滑度较差。
将传统方法与深度学习方法结合,可以在自动识别出肝脏具***置的同时兼顾目标区域和边缘细节,因此设计合适的传统算法与深度学习算法组合模型能有效解决肝脏分割难题,具有广阔的应用前景。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种基于空间多尺度U-net与超像素修正的肝脏分割方法,能较好地应用于肝脏图像的自动分割,解决传统网络对模糊肝脏影像分割精度低的问题,具有分割精度高的特点。
为了达到上述目的,本发明采取的技术方案为:
一种基于空间多尺度U-net与超像素修正的肝脏分割方法,步骤如下:
步骤1:对肝脏CT数据进行窗宽窗位的调整,将窗宽值设置为300-500hu,窗位值设置为50-150hu,以便清晰地显示肝脏区域,并利用高斯滤波器对数据进行去噪,然后对数据进行归一化处理;
步骤2:对U-net中将要级联的两个特征图中收缩路径部分进行空洞空间金字塔池化(Atrous spatialpyramid pooling,ASPP),并与扩张路径中的特征图进行级联从而得到ASPP-U-net模型;并对此模型进行训练,并将测试图像输入至ASPP-U-net中,输出肝脏初步分割结果;对肝脏初步分割结果进行膨胀得到肝脏的过分割结果;然后对过分割结果使用FSLIC-E超像素算法,将生成的轮廓线与肝脏初步分割结果叠加;
步骤3:计算各超像素块中肝脏初始分割结果的占比,并利用膨胀后的分割结果对肝脏初步分割结果进行边界修正,得到最终的肝脏分割结果。
所述步骤1数据集预处理采用W/L(Window-Leveling)调窗算法将肝脏CT数据进行窗宽窗位的调整,将窗宽值设置为400hu,窗位值设置为100hu,并将数据的灰度像素归一化至[-200,200]范围内。
所述步骤2具体实施步骤如下:
提出ASPP-U-net模型:对U-net中将要级联的两个特征图中收缩路径部分进行空洞空间金字塔池化(Atrous spatial pyramid pooling,ASPP),并与扩张路径中的特征图进行级联;
训练网络并进行初步分割:给定网络运行参数,对ASPP-U-net进行训练,直至网络收敛;并将测试图像输入至ASPP-U-net中,得到肝脏的初步分割结果;
形态学处理:对ASPP-U-net初步分割结果进行膨胀处理得到肝脏的过分割结果,并利用此掩膜图像提取原图信息;
FSLIC-E超像素算法:在SLIC算法基础上将纹理信息融入距离的度量,并利用高斯核函数将矢量信息映射到高维,最后提出只对超像素的部分像素进行迭代分类。
所述步骤3具体操作如下:
计算占比并进行边界修正:对第(3)步的输出图像做FSLIC-E超像素算法计算,形成超像素网格,然后对ASPP-U-net的初步分割结果计算占比并进行边缘修正。
本发明与现有技术相比的有益效果为:
1、本发明设计了一种新的超像素算法,该算法将肝脏的纹理信息与颜色信息、空间信息进行融合,并通过高斯核函数将这四维矢量映射到高维,更易实现像素点的分类;其次在迭代求最优解过程中通过只考虑部分像素实现算法的快速收敛。
2、本发明设计了一个全新的肝脏自动分割网络模型,该模型通过在级联处引入ASPP模块可以在多个尺度上捕捉目标区域的信息,同时将ASPP-U-net网络和FSLIC-E超像素算法结合兼顾了目标区域和边缘细节,使分割结果的边界更平滑,分割精度更准确。
实际应用中肝脏图像具有较高的复杂性和形状差异性,与周围相邻器官间的边界难以区分,传统网络难以实现肝脏区域的高精度分割。因此针对该问题,本发明提出一种基于空间多尺度U-net与超像素修正的肝脏分割方法,旨在自动分割出肝脏区域的同时修正初步分割结果的边界,使最终分割结果边界更加平滑准确,由此提高肝脏自动分割的准确率。与现有的肝脏自动分割方法相比,本发明利用ASPP-U-net可以在一定程度上排除肝脏病变干扰,确定肝脏初始轮廓,并采用FSLIC-E超像素算法提高分割轮廓的平滑度,实现更为精准的肝脏分割,具有广阔的应用前景。
附图说明
图1为本发明的流程图。
图2为本发明的ASPP-U-net网络模型。
图3为ASPP网络模型。
图4为利用5种肝脏分割方法对公开数据集3DIRCADb图像。图4中的(a)-(e)和图5中的(a)-(e)分别为图割法、图割和边缘匹配法(Graph cuts and border marching,GCBM)、FCN、U-net和本发明的结果图。红色线代表对应方法分割结果,绿色线代表金标准。
图5为DataA数据进行肝脏分割得到的视觉结果图。红色线代表对应方法分割结果,绿色线代表金标准。
具体实施方式
下面结合实施例对本发明做进一步详细说明。
附图1是本发明实现步骤的流程原理框图,针对传统网络在分割肝脏边界较模糊的影像数据时容易错失位置信息,导致分割精度低的问题,本发明设计了一种超像素结合深度学习的肝脏分割方法。本发明方法具体描述如下:
(1)数据集预处理:先采用W/L调窗算法将肝脏CT数据设置至合适的对比度,W/L算法步骤为:
(a)将图像DICOM转为HU公式为:
HU=D*RS+RI
其中,HU为图像DICOM值转化后的输出值;D为图像的DIOCM值;RS为重新调节斜率值,本发明设置RS值为1;RI为重新调节截距值,本发明设置RI值为-1024。
(b)计算映射区间最小值(min)和最大值(max),映射公式为:
min=(2*WC-WW)/2.0
max=(2*WC+WW)/2.0
其中,WW(window width)为窗宽,这里取400hu;WC(window center)为窗位,这里取100hu;
(c)将HU映射到灰度区间[0,255]为:
其中,g为调窗后的输出图像。
其次用δ=0.5的高斯滤波器对输入的CT数据进行去噪;将数据的灰度像素归一化至[-200,200]范围内,并导出为图片,分辨率大小为512×512;
(2)提出ASPP-U-net模型:对U-net中将要级联的两个特征图中收缩路径部分进行空洞空间金字塔池化(Atrous spatial pyramid pooling,ASPP),并与扩张路径中的特征图进行级联,从而可以在多个尺度上捕捉目标区域内容。ASPP-U-net模型结构如图2、图3所示。
(3)训练网络并对肝脏进行初步分割:本网络训练阶段使用腹部CT图像和金标准作为输入。ASPP-U-net模型运行参数为:初始学习率η=1×10-4,且每经过一个周期学习率衰减为0.9倍;权重w=0.0005;动量因子α=0.99;最小批量输入m=4;周期epo(epochs)=30;再将测试图像输入至ASPP-U-net中,输出肝脏初步分割结果IMo,图像分辨率大小为512×512;
(4)形态学处理:将ASPP-U-net初步分割结果进行膨胀处理得到过分割结果,并利用此掩膜图像提取原图信息,得到图像IMd;膨胀运算中的结构元素取10;
(5)提出FSLIC-E超像素算法:在SLIC超像素算法度量距离公式中引入纹理信息,并将矢量空间映射到高维,最后提出只对部分像素进行迭代分类,加快算法运行速度。
(a)在SLIC算法的距离度量公式中引入二维图像熵,二维图像熵的定义如下:
其中,E表示熵值;i表示像素的灰度值(0≤i≤255);j表示邻域灰度均值(0≤j≤255);pij表示二元特征组(i,j)出现的频数,公式为:
pij=f(i,j)/N2
其中,f表示图像灰度值,f(i,j)表示i,j坐标处的图像灰度值;N表示图像的大小;这里取像素点9邻域大小的图像,并将9邻域的熵值作为该点的熵值。
(b)其次引入高斯核函数,将膨胀后肝脏图像的灰度值,空间坐标信息和图像熵纹理信息这3维矢量映射到高维空间,核方法中的距离度量公式可写为:
||φ(x)-φ(y)||2=2(1-K(x,y))
其中,x,y是低维空间内的元素;φ(·)表示从低维空间到高维空间的变换;K(x,y)是从低维空间到高维空间的显示映射函数,这里采用高斯核函数,有:
其中,σ是高斯核函数尺度参数,可用样本方差来估计;本发明中的尺度参数均取值为0.04;
(c)引入二维图像熵和高斯核函数后,在度量像素点与聚类中心的四维矢量特征时,将原SLIC算法中的欧式距离的平方d2(x,y)=||x-y||2用高维空间中的高斯核函数距离度量公式||φ(x)-φ(y)||2替代,新的距离公式可写为:
其中,dC表示颜色空间的距离;Ck表示聚类中心;i表示像素点;hC表示聚类中心的灰度值;hi表示像素点的灰度值;σC表示颜色特征中的高斯核函数尺度参数;
其中,dS表示位置空间的距离;xC,yC表示聚类中心的坐标值;xi,yi表示像素点的坐标值;σS表示位置特征中的高斯核函数尺度参数;
其中,dT表示纹理空间的距离;eC表示聚类中心的熵值;ei表示像素点的熵值;σT表示纹理特征中的高斯核函数尺度参数。总距离公式为:
其中,D(Ck,i)表示像素点与聚类中心点的六维矢量距离;NC表示最大颜色距离,这里取10;NS表示类内最大空间距离,这里取播撒种子点的步长值;NT表示类内最大纹理距离,这里取区域内的纹理最大值。
(d)最后在迭代过程中只对部分像素进行标签的分配,即只对超像素的部分像素进行距离计算和类别调整。首先迭代一次后,在生成超像素块内计算每个像素与聚类中心的差异程度,当像素点的灰度值与聚类中心灰度值的欧式距离小于λ倍的标准差时,将该像素点视为不稳定像素,判断公式如下:
UP={u_piont|||hi-hj||<λ·σi}
其中,u_piont表示不稳定像素点;UP表示不稳定像素点集;h表示灰度图像的强度值,hi表示当前类簇内像素点的灰度值,hj表示j类簇内聚类中心的灰度值;表示当前区域内强度值的均值;i表示当前类簇内的像素点;j表示第j个类簇;σi是j类簇内像素点i灰度值的标准差;λ为常数,这里取4;N表示当前类簇内的像素点个数;
其次在每次迭代后计算出不稳定像素集,在下次迭代中为不稳定像素点分配标签,直至达到最大迭代次数。这样只对部分像素迭代分配标签,一定意义上对图像进行了降尺度处理,从而降低运算时间复杂度,加快算法运行速度;
(6)计算占比并进行边缘修正:将第(3)步的输出结果图IMd使用FSLIC-E超像素算法进行分割,将得到的超像素轮廓线叠加在ASPP-U-net初步分割结果图IMo上。首先对每一个超像素块中肝脏初步分割结果像素点的占比进行计算,计算占比公式如下:
其中,Ti(i=1,2,3,···,N)表示每一个超像素块中初始分割结果像素数与超像素块总像素数的比值;mi表示初始分割结果IMo中各超像素块的像素数;Zi表示各超像素块中的总像素个数。利用如下公式进行超像素修正:
其中,Ii表示超像素算法优化后的超像素块;imoi表示IMo图像中的超像素块;imdi表示IMd图像中的超像素块。上式描述的是当T≥0.5时,使用IMd图中对应的超像素块imdi替代初始分割结果;当T<0.5时,使用IMo图中对应的超像素块imoi替代初始分割结果。
本发明的效果可以通过以下实验进一步说明。
为了测试本发明分割肝脏图像的准确性和优越性,硬件实验平台:CPU为IntelCore i9-9900X 10,3.5GHz,128GB双GPU为NVIDIA GeForce RTX 2080Ti;软件平台:U-net网络在PyTorch开源框架下实现。实验采用3DIRCADb公开数据集中的10例影像数据和DataA(由飞利浦256CT设备对人体肝脏进行测量获取)数据集中的70例影像数据进行网络模型的训练,剩余数据作为测试集。本发明通过计算以下几个指标参数来评估算法性能,分别是:ASD=mean({Bpred,Bgt})、MSD=max({Bpred,Bgt})、其中,VOE表示体积重叠误差;ASD表示平均对称表面距离;MSD表示最大对称表面距离;IoU表示交并比;Vseg代表算法分割结果;Vgt代表金标准结果;Bpred表示预测边界;Bgt表示金标准边界;表1是用上述四个指标对对比方法和本发明方法实验结果进行计算得到的实验指标;图4和图5是对比方法和本发明在测试图像上的肝脏分割视觉效果图。
表1是利用5种肝脏分割方法对测试图像进行肝脏分割后,计算以下4个指标参数:VOE(Volumetric Overlap Error)、ASD(Average Symmetric Surface Distance)、MSD(MaxSymmetric Surface Distance)、IoU(IntersectionoverUnion)得到的结果。
表1在测试集上的各项指标的平均值及标准差
评价结果如表1所示,FCN算法指标总体比U-net算法、图割法和GCBM算法得分高,验证了空洞空间金字塔池化U-net(Atrous spatial pyramid pooling U-net,ASPP-U-net)模型学习特征比传统网络提取特征更有优势。本文算法模型的Iou比U-net网络的Iou指标升高了1.12%,VOE指标降低了1.19%,表明本文算法能更好地分割肝脏的细节区域,使得分割结果更加精细。表1中的数据表明本文算法拥有较小的MSD,能够更好地获取肝脏边界。对于其余指标经FSLIC-E超像素算法优化后均有提升,明显优于对比方法。
图割算法是基于颜色统计采样的方法,因此对前景和背景灰度值相差较大的图像分割效果较佳。由图4、图5所示,Massoptier等人提出的传统的图割算法对肝脏区域灰度值均匀的图像分割效果良好,但是对于与肝脏灰度相近的相邻组织会产生误识别现象,且当肝脏内有严重病变的情况时,如图4(a)的第一行分割结果所示,分割效果较差。Liao等人提出的GCBM方法将亮度模型和外观模型融合在图割的能量函数中,提高了肝脏区域与周围组织的对比度,对灰度相似的非肝脏区域误识别现象有所改善,但是当肝脏内有严重病变时,该算法并不能排除病变区域的干扰,完整地分割出肝脏区域。此外,图割算法需要人工标记前景与背景,难以实肝脏全自动分割。所以从一定程度来讲,图割算法并不能很好的解决肝脏分割问题。
FCN网络中的池化层受感受野扩大等因素的影响,导致细节信息丢失,虽然VGG-16修改的FCN可以在一定程度上避免肝内病变的干扰,但对于复杂背景的肝脏影像,难以准确定位,如图5(c)的一、三行分割结果所示,脾脏被错分割为肝脏,存在误分割现象。U-net可分割出肝脏所在区域的轮廓,但无法获得肝脏的精确边界,且分割结果存在孔洞。如图4(e)、图5(e)所示,因为本发明在U-net分割的基础上引入ASPP模块并采用FSLIC-E超像素算法进行修正,而FSLIC-E超像素算法对图像边缘具良好的响应,弥补了网络分割结果不精确的问题,所以可以提高肝脏图像的分割精度。通过对图4、图5和表1的综合分析,本发明所提出的基于超像素修正和空间多尺度U-net的肝脏分割方法能实现更高精度的肝脏分割,在智能医疗具有广泛的应用前景。
Claims (4)
1.一种基于空间多尺度U-net与超像素修正的肝脏分割方法,其特征在于,包括如下步骤:
步骤1:对肝脏CT数据进行窗宽窗位的调整,将窗宽值设置为300-500hu,窗位值设置为50-150hu,以便清晰地显示肝脏区域,并利用高斯滤波器对数据进行去噪,然后对数据进行归一化处理;
步骤2:对U-net中将要级联的两个特征图中收缩路径部分进行空洞空间金字塔池化,并与扩张路径中的特征图进行级联从而得到ASPP-U-net模型;并对此模型进行训练,并将测试图像输入至ASPP-U-net中,输出肝脏初步分割结果;对肝脏初步分割结果进行膨胀得到肝脏的过分割结果;然后对过分割结果使用FSLIC-E超像素算法,将生成的轮廓线与肝脏初步分割结果叠加;
步骤3:计算各超像素块中肝脏初始分割结果的占比,并利用膨胀后的分割结果对肝脏初步分割结果进行边界修正,得到最终的肝脏分割结果。
2.根据权利要求1所述的一种基于空间多尺度U-net与超像素修正的肝脏分割方法,其特征在于,所述步骤1数据集预处理采用W/L调窗算法将肝脏CT数据进行窗宽窗位的调整,将窗宽值设置为400hu,窗位值设置为100hu,并将数据的灰度像素归一化至[-200,200]范围内。
3.根据权利要求1所述的一种基于空间多尺度U-net与超像素修正的肝脏分割方法,其特征在于,所述步骤2具体实施步骤如下:
提出ASPP-U-net模型:对U-net中将要级联的两个特征图中收缩路径部分进行空洞空间金字塔池化(Atrous spatial pyramid pooling,ASPP),并与扩张路径中的特征图进行级联;
训练网络并进行初步分割:给定网络运行参数,对ASPP-U-net进行训练,直至网络收敛;并将测试图像输入至ASPP-U-net中,得到肝脏的初步分割结果;
形态学处理:对ASPP-U-net初步分割结果进行膨胀处理得到肝脏的过分割结果,并利用此掩膜图像提取原图信息;
FSLIC-E超像素算法:在SLIC算法基础上将纹理信息融入距离的度量,并利用高斯核函数将矢量信息映射到高维,最后提出只对超像素的部分像素进行迭代分类。
4.根据权利要求1所述的一种基于空间多尺度U-net与超像素修正的肝脏分割方法,其特征在于,所述步骤3具体操作如下:
计算占比并进行边界修正:对第(3)步的输出图像做FSLIC-E超像素算法计算,形成超像素网格,然后对ASPP-U-net的初步分割结果计算占比并进行边缘修正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910605862.XA CN110503649B (zh) | 2019-07-05 | 2019-07-05 | 一种基于空间多尺度U-net与超像素修正的肝脏分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910605862.XA CN110503649B (zh) | 2019-07-05 | 2019-07-05 | 一种基于空间多尺度U-net与超像素修正的肝脏分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110503649A true CN110503649A (zh) | 2019-11-26 |
CN110503649B CN110503649B (zh) | 2022-09-30 |
Family
ID=68586084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910605862.XA Active CN110503649B (zh) | 2019-07-05 | 2019-07-05 | 一种基于空间多尺度U-net与超像素修正的肝脏分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110503649B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161256A (zh) * | 2019-12-31 | 2020-05-15 | 北京推想科技有限公司 | 图像分割方法、图像分割装置、存储介质及电子设备 |
CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
CN111275721A (zh) * | 2020-02-14 | 2020-06-12 | 北京推想科技有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
CN111291763A (zh) * | 2020-04-01 | 2020-06-16 | 广东工业大学 | 大理石板图像分割方法、装置设备及存储介质 |
CN111415340A (zh) * | 2020-03-17 | 2020-07-14 | 中国人民解放军国防科学技术大学 | 一种面向大面积高密度影ct图像的脏器分割方法及装置 |
CN111739023A (zh) * | 2020-08-25 | 2020-10-02 | 湖南数定智能科技有限公司 | 漏斗胸Haller指数测量方法、电子设备及存储介质 |
CN112184748A (zh) * | 2020-09-30 | 2021-01-05 | 陕西科技大学 | 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法 |
CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
CN112348826A (zh) * | 2020-10-26 | 2021-02-09 | 陕西科技大学 | 一种基于测地线距离和V-net的交互式肝脏分割方法 |
CN113284151A (zh) * | 2021-06-07 | 2021-08-20 | 山东澳望德信息科技有限责任公司 | 一种基于深度卷积神经网络的胰腺分割方法及*** |
CN113487568A (zh) * | 2021-07-05 | 2021-10-08 | 陕西科技大学 | 一种基于差分曲率的肝脏表面平滑度的测量方法 |
CN115019045A (zh) * | 2022-06-24 | 2022-09-06 | 哈尔滨工业大学 | 一种基于多成分邻域的小数据甲状腺超声图像分割方法 |
CN116934754A (zh) * | 2023-09-18 | 2023-10-24 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
CN117115452A (zh) * | 2023-09-12 | 2023-11-24 | 澳门理工大学 | 可控的医学超声图像去噪方法、***及计算机存储介质 |
CN117911406A (zh) * | 2024-03-19 | 2024-04-19 | 中国人民解放军空军军医大学 | 一种颈部放射影像病变区域特征提取方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190130562A1 (en) * | 2017-11-02 | 2019-05-02 | Siemens Healthcare Gmbh | 3D Anisotropic Hybrid Network: Transferring Convolutional Features from 2D Images to 3D Anisotropic Volumes |
CN109753997A (zh) * | 2018-12-19 | 2019-05-14 | 湖南科技大学 | 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法 |
-
2019
- 2019-07-05 CN CN201910605862.XA patent/CN110503649B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190130562A1 (en) * | 2017-11-02 | 2019-05-02 | Siemens Healthcare Gmbh | 3D Anisotropic Hybrid Network: Transferring Convolutional Features from 2D Images to 3D Anisotropic Volumes |
CN109753997A (zh) * | 2018-12-19 | 2019-05-14 | 湖南科技大学 | 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法 |
Non-Patent Citations (1)
Title |
---|
刘哲等: "结合改进的U-Net和Morphsnakes的肝脏分割", 《中国图象图形学报》 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161256A (zh) * | 2019-12-31 | 2020-05-15 | 北京推想科技有限公司 | 图像分割方法、图像分割装置、存储介质及电子设备 |
CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
CN111275721B (zh) * | 2020-02-14 | 2021-06-08 | 推想医疗科技股份有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
CN111275721A (zh) * | 2020-02-14 | 2020-06-12 | 北京推想科技有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
CN111415340A (zh) * | 2020-03-17 | 2020-07-14 | 中国人民解放军国防科学技术大学 | 一种面向大面积高密度影ct图像的脏器分割方法及装置 |
CN111291763A (zh) * | 2020-04-01 | 2020-06-16 | 广东工业大学 | 大理石板图像分割方法、装置设备及存储介质 |
CN111739023A (zh) * | 2020-08-25 | 2020-10-02 | 湖南数定智能科技有限公司 | 漏斗胸Haller指数测量方法、电子设备及存储介质 |
CN112184748B (zh) * | 2020-09-30 | 2023-09-15 | 陕西科技大学 | 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法 |
CN112184748A (zh) * | 2020-09-30 | 2021-01-05 | 陕西科技大学 | 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法 |
CN112348826B (zh) * | 2020-10-26 | 2023-04-07 | 陕西科技大学 | 一种基于测地线距离和V-net的交互式肝脏分割方法 |
CN112348826A (zh) * | 2020-10-26 | 2021-02-09 | 陕西科技大学 | 一种基于测地线距离和V-net的交互式肝脏分割方法 |
CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
CN113284151A (zh) * | 2021-06-07 | 2021-08-20 | 山东澳望德信息科技有限责任公司 | 一种基于深度卷积神经网络的胰腺分割方法及*** |
CN113487568A (zh) * | 2021-07-05 | 2021-10-08 | 陕西科技大学 | 一种基于差分曲率的肝脏表面平滑度的测量方法 |
CN113487568B (zh) * | 2021-07-05 | 2023-09-19 | 陕西科技大学 | 一种基于差分曲率的肝脏表面平滑度的测量方法 |
CN115019045B (zh) * | 2022-06-24 | 2023-02-07 | 哈尔滨工业大学 | 一种基于多成分邻域的小数据甲状腺超声图像分割方法 |
CN115019045A (zh) * | 2022-06-24 | 2022-09-06 | 哈尔滨工业大学 | 一种基于多成分邻域的小数据甲状腺超声图像分割方法 |
CN117115452A (zh) * | 2023-09-12 | 2023-11-24 | 澳门理工大学 | 可控的医学超声图像去噪方法、***及计算机存储介质 |
CN117115452B (zh) * | 2023-09-12 | 2024-06-25 | 澳门理工大学 | 可控的医学超声图像去噪方法、***及计算机存储介质 |
CN116934754A (zh) * | 2023-09-18 | 2023-10-24 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
CN116934754B (zh) * | 2023-09-18 | 2023-12-01 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
CN117911406A (zh) * | 2024-03-19 | 2024-04-19 | 中国人民解放军空军军医大学 | 一种颈部放射影像病变区域特征提取方法 |
CN117911406B (zh) * | 2024-03-19 | 2024-06-04 | 中国人民解放军空军军医大学 | 一种颈部放射影像病变区域特征提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110503649B (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110503649A (zh) | 一种基于空间多尺度U-net与超像素修正的肝脏分割方法 | |
CN103473767B (zh) | 一种腹部软组织核磁图像分割的方法和*** | |
CN109166133A (zh) | 基于关键点检测和深度学习的软组织器官图像分割方法 | |
CN109034045A (zh) | 一种基于卷积神经网络的白细胞自动识别方法 | |
CN107256558A (zh) | 一种无监督式的宫颈细胞图像自动分割方法及*** | |
CN106408569A (zh) | 基于改进模糊c均值聚类算法的脑部mri图像分割方法 | |
CN108664976B (zh) | 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法 | |
CN104933711A (zh) | 一种肿瘤病理图像自动快速分割方法 | |
CN108319966A (zh) | 一种变电站复杂背景红外图像中设备的识别分类方法 | |
CN110288582A (zh) | 一种细胞核的准确分割方法 | |
CN104268873A (zh) | 基于核磁共振图像的乳腺肿瘤分割方法 | |
CN106651874B (zh) | 基于多模态mri数据的脑瘤术后空间域分割方法 | |
CN108596894A (zh) | 一种用于多参数磁共振影像的***自动分区方法 | |
CN104637056B (zh) | 基于稀疏表示的医学ct图像肾上腺肿瘤分割方法 | |
CN110120048A (zh) | 结合改进U-Net和CMF的三维脑肿瘤图像分割方法 | |
CN106780508A (zh) | 一种基于Gabor变换的GrabCut纹理图像分割方法 | |
CN108765427A (zh) | 一种***图像分割方法 | |
CN109753997A (zh) | 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法 | |
CN106408580A (zh) | 一种基于模糊c均值和均值漂移的肝脏区域提取方法 | |
CN106504239B (zh) | 一种提取超声图像中肝脏区域的方法 | |
CN110910377A (zh) | 一种基于神经网络的脑梗死mri图像识别方法 | |
CN115100474B (zh) | 基于拓扑特征分析的甲状腺穿刺图像分类方法 | |
CN105894010B (zh) | 一种基于粗糙集和改进fcm算法的睑板腺功能测定方法 | |
CN113487568B (zh) | 一种基于差分曲率的肝脏表面平滑度的测量方法 | |
CN112348826B (zh) | 一种基于测地线距离和V-net的交互式肝脏分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |