CN109712152B - 基于矢量值活动轮廓模型的多模态医学图像分割方法 - Google Patents
基于矢量值活动轮廓模型的多模态医学图像分割方法 Download PDFInfo
- Publication number
- CN109712152B CN109712152B CN201811586589.2A CN201811586589A CN109712152B CN 109712152 B CN109712152 B CN 109712152B CN 201811586589 A CN201811586589 A CN 201811586589A CN 109712152 B CN109712152 B CN 109712152B
- Authority
- CN
- China
- Prior art keywords
- medical image
- mode
- information
- image segmentation
- probability score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000006870 function Effects 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 6
- 230000000452 restraining effect Effects 0.000 abstract description 2
- 230000000052 comparative effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011423 initialization method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开一种基于矢量值活动轮廓模型的多模态医学图像分割方法,第一、利用功能结构信息和解剖结构信息两种多模态信息,对异常组织区域进行分割。由于每种模态都有其自身的信号特征,所以在建模过程中,既考虑单模态自身的信息,又考虑多模态的混合信息,上述二者结合能够处理背景及其内部结构复杂的多模态医学图像;第二、利用二维矢量场的形式对不同模态图像建模,利用边缘信息对图像分割结果进一步加以约束;实验结果证明了本发明可以分割对比度低、结构复杂的多模态医学图像且有效地提高了分割算法的精度和效率。
Description
技术领域
本发明涉及医学图像处理领域,尤其是一种基于矢量值活动轮廓模型的多模态医学图像分割方法。
背景技术
在临床医疗的检测中,医生需要通过图像中精确的病灶位置及其形状对病情进行诊断,对异常组织区域的快速和准确分割是一项重要但具有挑战性的任务。
常见的医学图像有(Computed Tomography)CT图像、正电子放射层析成像(Positron Emission Tomography)PET图像、核磁共振(Magnetic Resonance Imaging)MR图像。CT成像原理是由X线束对人体***位处具有一定厚度的层面进行扫描,经数字转换器转为数字信号,最后输入计算机进行处理。CT图像虽然具有分辨率高、成像速度快等优点,但针对具体问题(如***、心脏)仍需要采用某种特殊技术去解决,不具有普适性。PET图像是把具有正电子发射的同位素标记药物注入人体内,这些药物在参与人体的生理代谢过程中发生湮灭效应以此来确定病灶位置。PET图像虽然大大降低辐射损害、迅速便捷适用于大范围常规检查,但其图像分辨率较低、噪声大、缺少信息结构,无法准确定位病灶。MR图像是利用原子核自旋运动的特点,在外加磁场内经计算转换之后显示在屏幕上。MR图像分辨率高,采用灰阶成像,具有流空效应并可以对运动器官成像。但采样密集度的改变常常会导致图像的退化,即在病灶组织与正常组织的密度无明显差别时,并不能快速准确的分割出病灶区域。虽然目前已有用于上述医学图像以分割异常组织区域的各种多模态方法,但由于受到医学成像设备、不均匀关照以及射线能量散射等外界因素的影响,在获取医学数字图像的过程中常常会出现噪声、弱边缘以及灰度分布不均匀的异质现象,给图像分割带来了一定的难度。
活动轮廓模型是将能量泛函最小化以得到非正常组织区域,由于多模态医学图像包含更丰富的信息,目前已经成为研究热点。近年来,矢量活动轮廓模型因其良好的鲁棒性和完备的理论基础受到关注,该方法通过计算各通道的能量泛函,利用欧氏空间对所有能量值进行综合处理,主要分为两类:其中一类构造能量泛函时结合了一些图像特征信息,如上下文信息和信息熵等;另一类是结合了活动轮廓模型和其它方法,如图割方法、模糊理论和马尔可夫随机场的方法等。上述方法将不同的图像模态视为相互作用的区域,结合多特征和方法组合的形式都会增加算法的计算复杂度。此外,现有方法都是将每个模态的信息单独实现,最后利用某种方式将上述信息加以集成。由于多模态医学图像中的每个模态都有自己的特点,同时也可以与其它模态相结合,因此每个模态的单独实现可能会导致分割结果不精确。
发明内容
本发明是为了解决现有技术所存在的上述技术问题,提供一种基于矢量值活动轮廓模型的多模态医学图像分割方法。
本发明的技术解决方案是:一种基于矢量值活动轮廓模型的多模态医学图像分割方法,其特征在于依次按照如下步骤进行:
步骤1.初始化水平集函数φ(x,y)=0以及多模态医学图像Ii,i=1,2,…,N;
步骤2.计算多模态医学图像Ii的混合平均强度ch信息:
其中,∧表示直接运算,每个混合强度作如下定义:
所述H(φ(x,y))为水平集函数φ的Heaviside函数;Ω为多模态医学图像Ii所在区域;
步骤3.建立基于区域的能量泛函EVector-region:
步骤4.通过梯度下降流方法,得到最终的曲线演化形式:
其中,δ(φ)为水平集函数φ的Dirac函数;
步骤5.根据黎曼几何,将多模态医学图像Ii看作是N维欧式空间中以(x,y)为参数的超曲面,所述i=1,2,…,N;
步骤6.给出多模态医学图像Ii曲线上任意方向的弧长微元dI如下:
步骤7.根据式(5),可得:
其中,
步骤8.得到极值和对应的边缘引导函数分别为
和
gVector-edge=1/(1+(g+-g-)); (9)
步骤9.利用机器学习算法计算多模态医学图像Ii的先验概率分数pi,i=1,2,…,N;
步骤10.构造最优的概率得分分类器:
所述s是和先验概率分数pi正相关的前景概率得分,采用加权或者最大化的形式对先验概率分数pi,i=1,2,…,N进行处理得到概率得分s;
步骤11.以最大化方式为例,构造基于边缘信息的矢量值能量泛函为:
步骤12.结合所述区域和边缘两种信息,多模态医学图像异常组织区域的矢量值活动轮廓模型:
其中,0≤λ1≤1和0≤λ2≤1是正的加权常数,满足λ1+λ2=1。
本发明与现有技术相比,具有以下优点:第一、利用功能结构信息和解剖结构信息两种多模态信息,对异常组织区域进行分割。由于每种模态都有其自身的信号特征,所以在建模过程中,既考虑单模态自身的信息,又考虑多模态的混合信息,上述二者结合能够处理背景及其内部结构复杂的多模态医学图像;第二、利用二维矢量场的形式对不同模态图像建模,利用边缘信息对图像分割结果进一步加以约束;实验结果证明了本发明可以分割对比度低、结构复杂的多模态医学图像且有效地提高了分割算法的精度和效率。
附图说明
图1~图4为本发明实施例和其它文献图像分割的实验结果图。
图5为本发明实施例使用不同初始化方法进行图像分割的结果比较图。
图6为本发明实施例使用不同的局部参数进行图像分割的结果比较图。
图7为本发明实施例增加机器学习先验概率值进行图像分割的结果比较图。
具体实施例
从数学理论上讲,不同模态医学图像可以看作是从成像空间到感知空间的映射,因此,结合基于区域和边缘信息可以更好地对病灶区域进行分割,本发明提出了一种新的多模态医学图像异常组织区域的矢量值活动轮廓方法。
基于矢量的区域活动轮廓多模态医学图像信息提取是利用功能结构信息和解剖结构信息两种多模态信息,对异常组织区域进行分割。由于每种模态都有其自身的信号特征,所以在建模过程中,既考虑单模态自身的信息,又考虑多模态的混合信息,得到多模态图像病灶区域信息;
基于矢量的边缘活动轮廓多模态医学图像信息提取是采用二维矢量场的形式对不同模态图像建模,利用边缘信息对图像分割结果进一步加以约束,直到演化能量函数达到极小值为止,从而得到多模态图像病灶边缘信息;
具体方法依次按照如下步骤进行:
步骤1.初始化水平集函数φ(x,y)=0以及多模态医学图像Ii,i=1,2,…,N;
步骤2.计算多模态医学图像Ii的混合平均强度ch信息:
其中,∧表示直接运算,每个混合强度作如下定义:
所述H(φ(x,y))为水平集函数φ的Heaviside函数;Ω为多模态医学图像Ii所在区域;
步骤3.建立基于区域的能量泛函EVector-region:
步骤4.通过梯度下降流方法,得到最终的曲线演化形式:
其中,δ(φ)为水平集函数φ的Dirac函数;
步骤5.根据黎曼几何的相关知识,将多模态医学图像Ii看作是N维欧式空间中以(x,y)为参数的超曲面,所述i=1,2,…,N;
步骤6.给出多模态医学图像Ii曲线上任意方向的弧长微元dI如下:
步骤7.根据式(5),可得:
其中,
步骤8.得到极值和对应的边缘引导函数分别为
和
gVector-edge=1/(1+(g+-g-)); (9)
步骤9.利用K最近邻、支持向量机等机器学习算法计算多模态医学图像Ii的先验概率分数pi,i=1,2,…,N;
步骤10.考虑到概率分类是临床医学图像数据分类不可缺少的环节,构造最优的概率得分分类器:
所述s是和先验概率分数pi正相关的前景概率得分,采用加权或者最大化的形式对先验概率分数pi,i=1,2,…,N进行处理得到概率得分s;
步骤11.以最大化方式为例,构造基于边缘信息的矢量值能量泛函为:
从数学理论上讲,不同模态医学图像可以看作是从成像空间到感知空间的映射,具体定义为:
Energy=f(CT,PET,MR,…;φ)
这里,函数f(·)是基于水平集函数φ的从不同成像方式到能量泛函的映射函数;
步骤12.结合所述区域和边缘两种信息,多模态医学图像异常组织区域的矢量值活动轮廓模型:
其中,0≤λ1≤1和0≤λ2≤1是正的加权常数,满足λ1+λ2=1。
为了充分利用多模态信息,本发明既利用了单模态医学图像的信息,又结合了所有模态的共同信息。
实验:
将本发明与其它文献对医学图像分割的结果进行对比,结果如图1~4所示
图1中(a)对比文献1所对应PET图像分割结果;(b)对比文献1所对应CT图像分割结果;(c)本发明实施例对应PET图像分割结果;(d)本发明实施例对应CT图像分割结果;(e)真实值。
图2中(a)对比文文献1所对应MR图像分割结果;(b)对比文献1所对应CT图像分割结果;(c)本发明对应MR图像分割结果;(d)本发明对应CT图像分割结果;(e)真实值。
图3中(a)对比文献2所对应PET图像分割结果;(b)对比文献2所对应CT图像分割结果;(c)对比文献3所对应PET图像分割结果;(d)对比文献3所对应CT图像分割结果;(e)本发明对应PET图像分割结果;(f)本发明对应CT图像分割结果;(g)真实值。
图4中(a)对比文献4所对应MR图像分割结果;(b)对比文献4所对应CT图像分割结果;(c)对比文献5所对应MR图像分割结果;(d)对比文献5所对应CT图像分割结果;(e)本发明对应MR图像分割结果;(f)本发明对应CT图像分割结果;(g)真实值。
对比文献1为:《A hybrid active contour model based on global and localinformation for medical image segmentation》
对比文献2为:《Juxta-vascular pulmonary nodule aegmentation in PET-CTimaging based on an LBF active contour model with information entropy andjoint vector》
对比文献3为:《An active contour model based on local fitted images forimage segmentation》
对比文献4为:《Joint segmentation of anatomical and functional images:applications in quantification of lesions from PET,PET-CT,MRI-PET,and MRI-PET-CT images》
对比文献5为:《Simultaneous vector-valued image segmentation andintensity nonuniformity correction using variational level set combined withMarkov random field modeling》
图5为本发明实施例使用不同初始化方法进行图像分割的结果比较图。
图5从左至右依次为初始化;初始化A对应的分割结果;初始化B对应的分割结果;初始化C对应的分割结果;真实值。
所述初始化是演化曲线的初始轮廓位置;
所述初始化A、B、C为图5中最左图像中被标注的不同初始轮廓位置。
图6为本发明实施例使用不同的局部参数进行图像分割的结果比较图。
图6中从左至右依次为λ1=0.1λ2=0.9、λ1=0.9λ2=0.1、λ1=λ2=0.5、真实值。
图7为本发明实施例增加机器学习先验概率值进行图像分割的结果比较图。
模拟实验结果表明,所提出模型能够有效地分割多模态图像的异常组织区域,提高了分割精度和效率。
Claims (1)
1.一种基于矢量值活动轮廓模型的多模态医学图像分割方法,其特征在于依次按照如下步骤进行:
步骤1.初始化水平集函数φ(x,y)=0以及多模态医学图像Ii,i=1,2,…,N;
步骤2.计算多模态医学图像Ii的混合平均强度ch信息:
其中,∧表示直接运算,每个混合强度作如下定义:
所述H(φ(x,y))为水平集函数φ的Heaviside函数;Ω为多模态医学图像Ii所在区域;
步骤3.建立基于区域的能量泛函EVector-region:
步骤4.通过梯度下降流方法,得到最终的曲线演化形式:
其中,δ(φ)为水平集函数φ的Dirac函数;
步骤5.根据黎曼几何,将多模态医学图像Ii看作是N维欧式空间中以(x,y)为参数的超曲面,所述i=1,2,…,N;
步骤6.给出多模态医学图像Ii曲线上任意方向的弧长微元dI如下:
步骤7.根据式(5),可得:
其中,
步骤8.得到极值和对应的边缘引导函数分别为
和
gVector-edge=1/(1+(g+-g-)); (9)
步骤9.利用机器学习算法计算多模态医学图像Ii的先验概率分数pi,i=1,2,…,N;
步骤10.构造最优的概率得分分类器:
所述s是和先验概率分数pi正相关的前景概率得分,采用加权或者最大化的形式对先验概率分数pi,i=1,2,…,N进行处理得到概率得分s;
步骤11.以最大化方式为例,构造基于边缘信息的矢量值能量泛函为:
步骤12.结合所述区域和边缘两种信息,多模态医学图像异常组织区域的矢量值活动轮廓模型:
其中,0≤λ1≤1和0≤λ2≤1是正的加权常数,满足λ1+λ2=1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811586589.2A CN109712152B (zh) | 2018-12-25 | 2018-12-25 | 基于矢量值活动轮廓模型的多模态医学图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811586589.2A CN109712152B (zh) | 2018-12-25 | 2018-12-25 | 基于矢量值活动轮廓模型的多模态医学图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109712152A CN109712152A (zh) | 2019-05-03 |
CN109712152B true CN109712152B (zh) | 2023-05-09 |
Family
ID=66256170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811586589.2A Active CN109712152B (zh) | 2018-12-25 | 2018-12-25 | 基于矢量值活动轮廓模型的多模态医学图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109712152B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112348834B (zh) * | 2020-11-16 | 2022-08-30 | 河海大学 | 一种双模态成像信息联合建模及适应性分割方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105761274A (zh) * | 2016-03-21 | 2016-07-13 | 辽宁师范大学 | 结合边缘和区域信息的医学图像分割方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10740880B2 (en) * | 2017-01-18 | 2020-08-11 | Elucid Bioimaging Inc. | Systems and methods for analyzing pathologies utilizing quantitative imaging |
-
2018
- 2018-12-25 CN CN201811586589.2A patent/CN109712152B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105761274A (zh) * | 2016-03-21 | 2016-07-13 | 辽宁师范大学 | 结合边缘和区域信息的医学图像分割方法 |
Non-Patent Citations (1)
Title |
---|
赵方珍 ; 梁海英 ; 巫湘林 ; 丁德红.基于局部和全局高斯拟合的主动轮廓分割模型.激光与光电子学进展.2017,第54卷(第5期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN109712152A (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11730387B2 (en) | Method for detection and diagnosis of lung and pancreatic cancers from imaging scans | |
CN110321920B (zh) | 图像分类方法、装置、计算机可读存储介质和计算机设备 | |
Birenbaum et al. | Multi-view longitudinal CNN for multiple sclerosis lesion segmentation | |
US9218542B2 (en) | Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy | |
US8165361B2 (en) | System and method for image based multiple-modality cardiac image alignment | |
US10417777B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
US9741131B2 (en) | Anatomy aware articulated registration for image segmentation | |
Zeng et al. | Prostate segmentation in transrectal ultrasound using magnetic resonance imaging priors | |
Chetty et al. | A low resource 3D U-Net based deep learning model for medical image analysis | |
JP2011526508A (ja) | 医療用画像の領域分割 | |
JP5955199B2 (ja) | 画像処理装置および画像処理方法、並びに、画像処理プログラム | |
Zheng et al. | Deep learning based automatic segmentation of pathological kidney in CT: local versus global image context | |
Kumar et al. | Computer aided diagnostic for cancer detection using MRI images of brain (Brain tumor detection and classification system) | |
JP6905323B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2016189946A (ja) | 医用画像位置合わせ装置および方法並びにプログラム | |
Puch et al. | Global planar convolutions for improved context aggregation in brain tumor segmentation | |
CN107220984B (zh) | 图像分割方法、图像分割***及图像分割装置 | |
Jaffar et al. | An ensemble shape gradient features descriptor based nodule detection paradigm: a novel model to augment complex diagnostic decisions assistance | |
CN109712152B (zh) | 基于矢量值活动轮廓模型的多模态医学图像分割方法 | |
US10297035B2 (en) | Image processing apparatus, image processing method, and program | |
Irshad et al. | Discrete light sheet microscopic segmentation of left ventricle using morphological tuning and active contours | |
CN113850710B (zh) | 一种跨模态医学影像精准转换方法 | |
Zhang et al. | MSAIF-Net: A Multi-Stage Spatial Attention based Invertible Fusion Network for MR Images | |
Rao et al. | Deep learning-based medical image fusion using integrated joint slope analysis with probabilistic parametric steered image filter | |
Bhangale et al. | Multi-feature similarity based deep learning framework for semantic segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |