CN111784696A - 一种训练右心室分割模型、右心室分割的方法及*** - Google Patents
一种训练右心室分割模型、右心室分割的方法及*** Download PDFInfo
- Publication number
- CN111784696A CN111784696A CN202010599800.5A CN202010599800A CN111784696A CN 111784696 A CN111784696 A CN 111784696A CN 202010599800 A CN202010599800 A CN 202010599800A CN 111784696 A CN111784696 A CN 111784696A
- Authority
- CN
- China
- Prior art keywords
- shape
- segmentation
- right ventricle
- boltzmann machine
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 221
- 210000005241 right ventricle Anatomy 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012549 training Methods 0.000 title claims abstract description 68
- 230000006870 function Effects 0.000 claims abstract description 70
- 238000013135 deep learning Methods 0.000 claims abstract description 42
- 230000015654 memory Effects 0.000 claims description 27
- 230000002861 ventricular Effects 0.000 claims description 20
- 230000000747 cardiac effect Effects 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000031229 Cardiomyopathies Diseases 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 208000002815 pulmonary hypertension Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种训练右心室分割模型、右心室分割的方法及***,其中训练右心室分割模型的方法,包括:将传统深度学习分割网络生成的分割预测形状与专家标注形状间的相似度作为第一目标函数;将分割预测形状与玻尔兹曼机重构形状间的相似度作为第二目标函数,利用两个目标函数构建总目标函数,对传统深度学习分割网络的参数进行调整,随机选取若干专家标注的右心室形状作为正样本,若干形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态更新形状玻尔兹曼机参数,训练过程将形状信息引入分割网络训练参数,得到训练好的右心室分割模型,将心脏图像输入该模型中,可准确勾勒出右心室边界轮廓,解决了右心室分割容易出现的形状异常问题。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种训练右心室分割模型、右心室分割的方法及***。
背景技术
心脏疾病的早期诊断需要提取出心室结构并进行测量,进而预测发病的概率或是观察发病的部位。Cine MR(Cine Magnetic Resonance,行磁共振电影成像)心脏成像技术为患者提供有效的心脏生物理特性和解剖信息,沿短轴方向的Cine MR心脏成像可以用于评估左心室和右心室的功能。评价心脏右心室的结构和功能对于大多数心脏疾病的治疗非常重要,例如肺动脉高压,冠心病,心肌病等疾病。相比于左心室分割,右心室分割更加具有挑战性,主要有以下几个原因:
(1)由于血流和部分容积效应导致的腔边界模糊;
(2)腔内存在与周围心肌具有相同灰度级的小梁;
(3)右心室复杂的新月形状,存在难以分割的部分。
传统的右心室分割方法有基于活动轮廓、动态规划、图谱或某些拟合策略的方法等,以及基于图像驱动的技术,如根据图像纹理,图像强度,像素强度等特征对心脏右心室的分割,这些图像特征易受心脏目标周围具有相似特征组织的影响。
在右心室分割领域,深度学习技术已经开始被使用,卷积神经网络和堆叠式自动编码器可以对右心室进行检测和初步分割,然后,然后通过将初始分割与可变形模型组合以提高过程的准确性和鲁棒性;Unet为一种对称网络,包括编码网络和解码网络,可以利用较少的训练样本进行端到端训练;Gridnet是一种全自动MRI心脏分割的深度卷积神经网络,该网络通过多分辨率编码-解码体系结构,可以自动进行形状预先标记,是U-Net的扩展网络;还有一种形状受限的双心室分割方法,在分割的细化阶段期间,使用特定地标来初始化数据集,虽然地标集的使用提高了结果的质量,但它们最终的分割形状在很大程度上取决于所定位地标的准确性,分割准确度较低。
发明内容
因此,本发明提供的一种训练右心室分割模型、右心室分割的方法及***,克服了现有技术中的右心室分割方法的分割结果准确度较低的缺陷。
第一方面,本发明实施例提供一种训练右心室分割模型的方法,包括如下步骤:
构建预设层数的形状玻尔兹曼机;
将有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数;
将没有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态,经过k次蒙特卡洛马尔科夫链迭代得到重构形状,并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数;
随机选取若干个专家标注的右心室形状作为正样本,若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态,更新形状玻尔兹曼机参数;
利用第一目标函数和第二目标函数构建总目标函数,对传统深度学习分割网络的参数进行调整;
重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程,当达到预设迭代次数或满足总目标函数的预设收敛条件时,得到训练好的右心室分割模型。
在一实施例中,将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态,经过k次蒙特卡洛马尔科夫链迭代得到重构形状的过程包括:
输入没有标注的右心室训练样本输入到传统深度学***均值卷积核f;
根据分割预测形状及平均值卷积核f计算分割预测形状的平均值卷积结果,并根据平均值卷积结果确定其所在的区域为目标区域或背景区域;
利用预设函数对输入的分割预测形状进行卷积计算,并进行伯努利采样,更新形状玻尔兹曼机两层卷积隐藏层、全连接隐藏层的值;根据平均值卷积结果确定其所在的区域得到更新后的分割预测形状;
迭代k次后,得到最终的重构形状。
在一实施例中,构建预设层数的形状玻尔兹曼机为四层的形状波尔兹曼机,包括一层输入层,两层卷积隐藏层,一层全连接隐藏层;
对形状玻尔兹曼机进行训练,更新形状玻尔兹曼机参数的过程,包括:
利用和计算形状玻尔兹曼机的参数,参数包括三个隐藏层的偏置参数c(1)、c(2)、c(3)、输入层、两层卷积隐藏层的卷积核f(1)、f(2)、f(3)及偏置b的梯度,利用自适应梯度下降算法调整形状玻尔兹曼机的参数。
在一实施例中,通过以下公式计算第一目标函数:
其中,i表示图像中第i个像素,是分割网络预测的第i个像素属于右心室的概率,是分割网络预测的第i个像素属于背景的概率,为分割预测形状中像素点i是否属于右心室的专家标注,为分割预测形状中像素点i是否背景的专家标注,表示像素点i属于右心室,表示像素点i属于背景。
在一实施例中,通过以下公式计算第二目标函数:
通过以下公式计算总目标函数:
loss=loss1+loss2。
在一实施例中,对传统深度学习分割网络的参数进行调整的调整量为:
w′i=wi+γΔwi
第二方面,本发明实施例提供一种右心室分割的方法,包括:获取待分割的心脏图像;
将所述待分割的心脏图像输入根据第一方面所述的训练右心室分割模型的方法得到的右心室分割模型中,获得待分割心脏图像的分割决策值;
根据分割决策值确定心脏图像中右心室的轮廓图。
第三方面,本发明实施例提供一种训练右心室分割模型的***,包括:形状玻尔兹曼机构建模块,用于构建预设层数的形状玻尔兹曼机;
第一目标函数获取模块,用于将有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数;
第二目标函数获取模块,用于将没有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态,经过k次蒙特卡洛马尔科夫链迭代得到重构形状,并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数;
形状玻尔兹曼机参数更新模块,用于随机选取若干个专家标注的右心室形状作为正样本,若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态,更新形状玻尔兹曼机参数;
分割网络的参数调整模块,用于利用第一目标函数和第二目标函数构建总目标函数,对传统深度学习分割网络的参数进行调整;
右心室分割模型获取模块,重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程,当达到预设迭代次数或满足总目标函数的预设收敛条件时,得到训练好的右心室分割模型。
第四方面,本发明实施例提供一种右心室分割的***,包括:待分割的心脏图像获取模块,用于获取待分割的心脏图像;
分割决策值获取模块,用于将所述待分割的心脏图像输入根据第一方面所述的训练右心室分割模型的方法得到的右心室分割模型中,获得待分割心脏图像的分割决策值;
轮廓图获取模块,用于根据分割决策值确定心脏图像中右心室的轮廓图。
第五方面,本发明实施例提供一种计算机设备,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行本发明实施例第一方面所述的训练右心室分割模型的方法,以及本发明实施例第二方面所述的右心室分割的方法。
第六方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,以使所述至少一个处理器执行本发明实施例第一方面所述的训练右心室分割模型的方法,以及本发明实施例第二方面所述的右心室分割的方法。
本发明技术方案,具有如下优点:
1、本发明实施例提供的训练右心室分割模型的方法及***,将传统深度学习分割网络生成的分割预测形状与专家标注形状间的相似度作为第一目标函数;将分割预测形状与玻尔兹曼机重构形状间的相似度作为第二目标函数,利用两个目标函数构建总目标函数,对传统深度学习分割网络的参数进行调整,随机选取若干专家标注的右心室形状作为正样本,若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态,更新形状玻尔兹曼机参数,训练过程将形状信息引入分割网络训练参数,得到训练好的右心室分割模型,解决了右心室分割容易出现的形状异常问题。
2、本发明实施例提供的右心室分割的方法及***,将待分割的心脏图像输入根据右心室分割模型中,获得待分割心脏图像的分割决策值;根据分割决策值确定心脏图像中右心室的轮廓图,提高了右心室分割识别的准确率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的训练右心室分割模型的方法的一个具体示例的流程图;
图2为本发明实施例提供的形状玻尔兹曼机的结构示意图;
图3为本发明实施例提供的训练右心室分割模型的***的一个具体示例的模块组成图;
图4为本发明实施例提供的右心室分割的方法的一个具体示例的流程图;
图5为本发明实施例提供的右心室分割的***的一个具体示例的模块组成图;
图6为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供的一种训练右心室分割模型的方法,其过程是对形状玻尔兹曼机和传统深度学习分割网络进行联合训练,如图1所示,包括如下步骤:
步骤S1:构建预设层数的形状玻尔兹曼机、
形状玻尔兹曼机层数过多难以训练,层数过少得到的结果准确率较差,本发明实施例构建的形状玻尔兹曼机为四层网络,容易训练且可以达到好的识别效果。四层网络包括一层输入层,两层卷积隐藏层,一层全连接隐藏层,其中第一层是80*80的输入层v,该输入层数据经过32个步长为2的3*3跨步卷积的,得到维度为32,大小为33*33的隐藏层h1;隐藏层h1的数据经过256个步长为10的13*13跨步卷积的,得到维度为256,大小为3*3的隐藏层h2;隐藏层h2的数据经过全连接,得到维度为1024的全连接隐藏层h3。图2为本发明实施例示出的形状玻尔兹曼机的结构示意图。以上每层网络的尺寸仅为作为举例说明,不以此为限。
步骤S2:将有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数。
本发明实施例中右心室形状训练样本包括:利用Cine MR(的短轴心脏图像和对应的专家标注的右心室轮廓(右心室轮廓为利用现有的方法获得,可以为通过经验数据库的轮廓确定,例如:专家经验数据库等,也可以为其他方式获得),以及没有对应专家数据库标注构的Cine MR的短轴心脏图像,构建右心室形状训练集合。并将有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,利用专家标注结果对分割预测结果进行评价,将分割预测形状与专家标注形状之间的相似度作为第一目标函数,具体地,第一目标函数通过以下公式(1)计算:
步骤S3:将没有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态,经过k次蒙特卡洛马尔科夫链迭代得到重构形状,并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数。
本发明实施例中将没有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状vunlabeled,将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链(MCMC)的初态vunlabeled,经过k次MCMC迭代得到重构形状vrebuild;计算分割预测形状与玻尔兹曼机重构形状vrebuild之间的相似度作为第二目标函数。具体地,根据以下公式(2)计算第二目标函数:
在本发明实施例中,输入没有标注的右心室训练样本输入到传统深度学习分割网络,得到的分割预测形状vunlabeled,具体过程包括:
步骤1:计算分割预测形状vunlabeled的平均值卷积结果avgV,通过公式(3)计算:
avgV:=vunlabeled*f (3)
判断目标区域l和背景区域o,
l:=(avgV==1)
o:=(avgV==0) (4)
令vmcmc=vunlabeled,h(2)=0,h(3)=0。
步骤2:更新h(1)、h(2)、h(3),更新公式如下:
P(h(1)=1|vmcmc,h(2))=σ(vmcmc*f(1)+h(2)*Tf(2)+c(1)) (5)
h(1):=bornoulliSample(P(h(1)=1|v,h(2))) (6)
P(h(2)=1|h(1),h(3))=σ(h(1)*f(1)+h(3)*Tf(3)+c(2)) (7)
h(2):=bornoulliSample(P(h(2)=1|h(1),h(3))) (8)
P(h(3)=1|h(2))=σ(h(2)*f(3)+c(3)) (9)
h(3):=bornoulliSample(P(h(3)=1|h(2))) (10)
P(vmcmc=1|h(1))=σ(h(1)*Tf(1)+c(1)) (11)
temp:=bornoulliSample(P(vmcmc=1|h(1))) (12)
vmcmc:=temp-temp.×o+(1-temp).×l (13)
其中vmcmc、h(1)、h(2)、h(3)分别是输入层、第一卷积隐藏层、第二卷积隐藏层、第三全连接隐藏层的值;c(1)、c(2)、c(3)分别是三个隐藏层的偏置参数,f(1)、f(2)、f(3)分别是输入层、第一卷积隐藏层、第二卷积隐藏层的卷积核,*表示卷积运算,σ为sigma函数,bornoulliSample表示伯努利采样过程。
步骤3:若迭代次数不足k,则转步骤2;
步骤4:若迭代次数达到k,得到重构形状。
vrebuild:=vmcmc
步骤S4:随机选取若干个专家标注的右心室形状作为正样本,若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态,更新形状玻尔兹曼机参数。
本发明实施例中,随机选取batchsize个专家标注的右心室形状作为正样本vd,batchsize个形状玻尔兹曼机的重构形状作为负样本vm的MCMC链初态,更新形状玻尔兹曼机参数。
在形状玻尔兹曼机中,可见单元及三个隐藏层的条件分布分别为:
P(h(1)=1|v,h(2))=σ(v*f(1)+h(2)*Tf(2)+c(1)) (14)
P(h(2)=1|h(1),h(3))=σ(h(1)*f(1)+h(3)*Tf(3)+c(2)) (15)
P(h(3)=1|h(2))=σ(h(2)*f(3)+c(3)) (16)
P(v=1|h(1))=σ(h(1)*Tf(1)+c(1)) (17)
其中v、h(1)、h(2)、h(3)分别是输入层、第一卷积隐藏层、第二卷积隐藏层、第三全连接隐藏层的值。
Δb=avg(vd-vm) (27)
其中分别是vd和vm在坐标(i,j)处的值,分别是在坐标(i,j)处的值,分别是在坐标(i,j)处的值。根据上述的梯度公式,采用自适应随机梯度下降算法对形状玻尔兹曼机的参数进行调整;其中对形状玻尔兹曼机的参数进行调整的方法仅作举例说明,不以此为限,采用自适应随机梯度下降算法进行形状玻尔兹曼机的参数进行调整的方式效果更优。
步骤S5:利用第一目标函数和第二目标函数构建总目标函数,对传统深度学习分割网络的参数进行调整。
本发明实施例中的总目标函数通过以下公式计算:
loss=loss1+loss2 (31)
步骤S6:重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程,当达到预设迭代次数或满足总目标函数的预设收敛条件时,得到训练好的右心室分割模型。
与训练右心室分割模型的方法实施例所对应地,本发明实施例还对应提供一种训练右心室分割模型的***,如图3所示,包括:
形状玻尔兹曼机构建模块1,用于构建预设层数的形状玻尔兹曼机;此模块执行步骤S1所描述的方法,在此不再赘述。
第一目标函数获取模块2,用于将有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数;此模块执行步骤S2所描述的方法,在此不再赘述。
第二目标函数获取模块3,用于将没有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态,经过k次蒙特卡洛马尔科夫链迭代得到重构形状,并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数;此模块执行步骤S3所描述的方法,在此不再赘述。
形状玻尔兹曼机参数更新模块4,用于随机选取若干个专家标注的右心室形状作为正样本,若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态,更新形状玻尔兹曼机参数;此模块执行步骤S4所描述的方法,在此不再赘述。
分割网络的参数调整模块5,用于利用第一目标函数和第二目标函数构建总目标函数,对传统深度学习分割网络的参数进行调整;此模块执行步骤S5所描述的方法,在此不再赘述。
右心室分割模型获取模块6,重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程,当达到预设迭代次数或满足总目标函数的预设收敛条件时,得到训练好的右心室分割模型。此模块执行步骤S6所描述的方法,在此不再赘述。
本发明实施例提供的训练右心室分割模型的方法及***,将传统深度学习分割网络生成的分割预测形状与专家标注形状间的相似度作为第一目标函数;将分割预测形状与玻尔兹曼机重构形状间的相似度作为第二目标函数,利用两个目标函数构建总目标函数,对传统深度学习分割网络的参数进行调整,随机选取若干专家标注的右心室形状作为正样本,若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态,更新形状玻尔兹曼机参数,训练过程将形状信息引入分割网络训练参数,得到训练好的右心室分割模型,解决了右心室分割容易出现的形状异常问题。
实施例2
本发明实施例提供一种右心室分割的方法,如图4所示,包括如下步骤:
步骤S21:获取待分割的心脏图像。
本发明实施例中心脏图像可以通过图像设备采集获得,例如:可以为行磁共振电影成像(Cine Magnetic Resonance,简称:Cine-MR)设备,获得短轴心脏图像。
步骤S22:将待分割的心脏图像输入实施例1中的训练右心室分割模型的方法得到的右心室分割模型中,获得待分割心脏图像的分割决策值。
本发明实施例心脏图像的分割决策值包括:心脏图像中第i个像素属于背景的决策值,心脏图像中第i个像素属于右心室的决策值。
步骤S23:根据分割决策值确定心脏图像中右心室的轮廓图。可以得到准确率高的分割效果。
与右心室分割的方法实施例所对应地,本发明实施例提供一种右心室分割的***,如图5所示,包括:
待分割的心脏图像获取模块21,用于获取待分割的心脏图像;此模块执行步骤S21所描述的方法,在此不再赘述。
分割决策值获取模块22,用于将所述待分割的心脏图像输入实施例1中所述的训练右心室分割模型的方法得到的右心室分割模型中,获得待分割心脏图像的分割决策值;此模块执行步骤S22所描述的方法,在此不再赘述。
轮廓图获取模块23,用于根据分割决策值确定心脏图像中右心室的轮廓图。此模块执行步骤S23所描述的方法,在此不再赘述。
本发明实施例提供的右心室分割的方法及***,将待分割的心脏图像输入根据右心室分割模型中,获得待分割心脏图像的分割决策值;根据分割决策值确定心脏图像中右心室的轮廓图,提高了右心室分割识别的准确率。
实施例3
本发明实施例提供一种计算机设备,如图6所示,包括:至少一个处理器401,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口403,存储器404,至少一个通信总线402。其中,通信总线402用于实现这些组件之间的连接通信。其中,通信接口403可以包括显示屏(Display)、键盘(Keyboard),可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的训练右心室分割模型的方法或实施例2中所述的右心室分割的方法。存储器404中存储一组程序代码,且处理器401调用存储器404中存储的程序代码,以用于执行实施例1中的训练右心室分割模型的方法或实施例2中所述的右心室分割的方法。其中,通信总线402可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器404可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器404还可以包括上述种类的存储器的组合。
其中,处理器401可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器404还用于存储程序指令。处理器401可以调用程序指令,实现如本申请执行实施例1中的训练右心室分割模型的方法或实施例2中所述的右心室分割的方法。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机可执行指令,该计算机可执行指令可执行实施例1中的训练右心室分割模型的方法或实施例2中所述的右心室分割的方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种训练右心室分割模型的方法,其特征在于,包括如下步骤:
构建预设层数的形状玻尔兹曼机;
将有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数;
将没有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态,经过k次蒙特卡洛马尔科夫链迭代得到重构形状,并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数;
随机选取若干个专家标注的右心室形状作为正样本,若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态,对形状玻尔兹曼机进行训练,更新形状玻尔兹曼机参数;
利用第一目标函数和第二目标函数构建总目标函数,对传统深度学习分割网络的参数进行调整;
重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程,当达到预设迭代次数或满足总目标函数的预设收敛条件时,得到训练好的右心室分割模型。
2.根据权利要求1所述的训练右心室分割模型的方法,其特征在于,
将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态,经过k次蒙特卡洛马尔科夫链迭代得到重构形状的过程包括:
输入没有标注的右心室训练样本输入到传统深度学***均值卷积核f;
根据分割预测形状及平均值卷积核f计算分割预测形状的平均值卷积结果,并根据平均值卷积结果确定其所在的区域为目标区域或背景区域;
利用预设函数对输入的分割预测形状进行卷积计算,并进行伯努利采样,更新形状玻尔兹曼机两层卷积隐藏层、全连接隐藏层的值;根据平均值卷积结果确定其所在的区域得到更新后的分割预测形状;
迭代k次后,得到最终的重构形状。
3.根据权利要求2所述的训练右心室分割模型的方法,其特征在于,构建预设层数的形状玻尔兹曼机为四层的形状波尔兹曼机,包括一层输入层,两层卷积隐藏层,一层全连接隐藏层;
对形状玻尔兹曼机进行训练,更新形状玻尔兹曼机参数的过程,包括:
6.一种右心室分割的方法,其特征在于,包括:
获取待分割的心脏图像;
将所述待分割的心脏图像输入根据权利要求1-5任一所述的训练右心室分割模型的方法得到的右心室分割模型中,获得待分割心脏图像的分割决策值;
根据分割决策值确定心脏图像中右心室的轮廓图。
7.一种训练右心室分割模型的***,其特征在于,包括:
形状玻尔兹曼机构建模块,用于构建预设层数的形状玻尔兹曼机;
第一目标函数获取模块,用于将有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数;
第二目标函数获取模块,用于将没有标注的右心室训练样本输入到传统深度学习分割网络,生成分割预测形状,将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态,经过k次蒙特卡洛马尔科夫链迭代得到重构形状,并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数;
形状玻尔兹曼机参数更新模块,用于随机选取若干个专家标注的右心室形状作为正样本,若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态,更新形状玻尔兹曼机参数;
分割网络的参数调整模块,用于利用第一目标函数和第二目标函数构建总目标函数,对传统深度学习分割网络的参数进行调整;
右心室分割模型获取模块,重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程,当达到预设迭代次数或满足总目标函数的预设收敛条件时,得到训练好的右心室分割模型。
8.一种右心室分割的***,其特征在于,包括:
待分割的心脏图像获取模块,用于获取待分割的心脏图像;
分割决策值获取模块,用于将所述待分割的心脏图像输入根据权利要求1-5任一所述的训练右心室分割模型的方法得到的右心室分割模型中,获得待分割心脏图像的分割决策值;
轮廓图获取模块,用于根据分割决策值确定心脏图像中右心室的轮廓图。
9.一种计算机设备,其特征在于,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-5任一所述的训练右心室分割模型的方法,以及权利要求6所述的右心室分割的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-5任一所述的训练右心室分割模型的方法,以及权利要求6所述的右心室分割的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010599800.5A CN111784696B (zh) | 2020-06-28 | 2020-06-28 | 一种训练右心室分割模型、右心室分割的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010599800.5A CN111784696B (zh) | 2020-06-28 | 2020-06-28 | 一种训练右心室分割模型、右心室分割的方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111784696A true CN111784696A (zh) | 2020-10-16 |
CN111784696B CN111784696B (zh) | 2023-08-01 |
Family
ID=72761580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010599800.5A Active CN111784696B (zh) | 2020-06-28 | 2020-06-28 | 一种训练右心室分割模型、右心室分割的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111784696B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308845A (zh) * | 2020-11-03 | 2021-02-02 | 赛诺威盛科技(北京)有限公司 | 左心室分割方法、装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
CN109949299A (zh) * | 2019-03-25 | 2019-06-28 | 东南大学 | 一种心脏医学图像自动分割方法 |
CN110120051A (zh) * | 2019-05-10 | 2019-08-13 | 上海理工大学 | 一种基于深度学习的右心室自动分割方法 |
CN110136135A (zh) * | 2019-05-17 | 2019-08-16 | 深圳大学 | 分割方法、装置、设备以及存储介质 |
-
2020
- 2020-06-28 CN CN202010599800.5A patent/CN111784696B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
CN109949299A (zh) * | 2019-03-25 | 2019-06-28 | 东南大学 | 一种心脏医学图像自动分割方法 |
CN110120051A (zh) * | 2019-05-10 | 2019-08-13 | 上海理工大学 | 一种基于深度学习的右心室自动分割方法 |
CN110136135A (zh) * | 2019-05-17 | 2019-08-16 | 深圳大学 | 分割方法、装置、设备以及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308845A (zh) * | 2020-11-03 | 2021-02-02 | 赛诺威盛科技(北京)有限公司 | 左心室分割方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111784696B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107492099B (zh) | 医学图像分析方法、医学图像分析***以及存储介质 | |
US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别*** | |
CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
US20190279361A1 (en) | Automatic quantification of cardiac mri for hypertrophic cardiomyopathy | |
CN109949276B (zh) | 一种于改进SegNet分割网络的***检测方法 | |
Biffi et al. | Explainable anatomical shape analysis through deep hierarchical generative models | |
JP6505124B2 (ja) | 適応性放射線治療における自動輪郭抽出システム及び方法 | |
US11030747B1 (en) | System and method for automatic thoracic organ segmentation from CT using a deep learning framework | |
JP7019815B2 (ja) | 学習装置 | |
CN107563434B (zh) | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 | |
US11350888B2 (en) | Risk prediction for sudden cardiac death from image derived cardiac motion and structure features | |
RU2654199C1 (ru) | Сегментация тканей человека на компьютерном изображении | |
CN110136135B (zh) | 分割方法、装置、设备以及存储介质 | |
CN110570394B (zh) | 医学图像分割方法、装置、设备及存储介质 | |
US20210158511A1 (en) | Hierarchical systems and methods for image segmentation | |
CN112233132A (zh) | 一种基于无监督学习的脑磁共振图像分割方法及装置 | |
WO2021032325A1 (en) | Updating boundary segmentations | |
KR20190068254A (ko) | 병변 발생 시점 추정 방법, 장치 및 프로그램 | |
CN111784696B (zh) | 一种训练右心室分割模型、右心室分割的方法及*** | |
CN113888520A (zh) | 用于生成牛眼图的***和方法 | |
US11693919B2 (en) | Anatomy-aware motion estimation | |
CN113284151A (zh) | 一种基于深度卷积神经网络的胰腺分割方法及*** | |
CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估***和相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |