CN111784696A - 一种训练右心室分割模型、右心室分割的方法及*** - Google Patents

一种训练右心室分割模型、右心室分割的方法及*** Download PDF

Info

Publication number
CN111784696A
CN111784696A CN202010599800.5A CN202010599800A CN111784696A CN 111784696 A CN111784696 A CN 111784696A CN 202010599800 A CN202010599800 A CN 202010599800A CN 111784696 A CN111784696 A CN 111784696A
Authority
CN
China
Prior art keywords
shape
segmentation
right ventricle
boltzmann machine
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010599800.5A
Other languages
English (en)
Other versions
CN111784696B (zh
Inventor
廖锴珉
杨烜
杨博乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010599800.5A priority Critical patent/CN111784696B/zh
Publication of CN111784696A publication Critical patent/CN111784696A/zh
Application granted granted Critical
Publication of CN111784696B publication Critical patent/CN111784696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种训练右心室分割模型、右心室分割的方法及***，其中训练右心室分割模型的方法，包括：将传统深度学习分割网络生成的分割预测形状与专家标注形状间的相似度作为第一目标函数；将分割预测形状与玻尔兹曼机重构形状间的相似度作为第二目标函数，利用两个目标函数构建总目标函数，对传统深度学习分割网络的参数进行调整，随机选取若干专家标注的右心室形状作为正样本，若干形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态更新形状玻尔兹曼机参数，训练过程将形状信息引入分割网络训练参数，得到训练好的右心室分割模型，将心脏图像输入该模型中，可准确勾勒出右心室边界轮廓，解决了右心室分割容易出现的形状异常问题。

Description

一种训练右心室分割模型、右心室分割的方法及***
技术领域
本发明涉及图像处理技术领域，具体涉及一种训练右心室分割模型、右心室分割的方法及***。
背景技术
心脏疾病的早期诊断需要提取出心室结构并进行测量，进而预测发病的概率或是观察发病的部位。Cine MR(Cine Magnetic Resonance，行磁共振电影成像)心脏成像技术为患者提供有效的心脏生物理特性和解剖信息，沿短轴方向的Cine MR心脏成像可以用于评估左心室和右心室的功能。评价心脏右心室的结构和功能对于大多数心脏疾病的治疗非常重要，例如肺动脉高压，冠心病，心肌病等疾病。相比于左心室分割，右心室分割更加具有挑战性，主要有以下几个原因：
(1)由于血流和部分容积效应导致的腔边界模糊；
(2)腔内存在与周围心肌具有相同灰度级的小梁；
(3)右心室复杂的新月形状，存在难以分割的部分。
传统的右心室分割方法有基于活动轮廓、动态规划、图谱或某些拟合策略的方法等，以及基于图像驱动的技术，如根据图像纹理，图像强度，像素强度等特征对心脏右心室的分割，这些图像特征易受心脏目标周围具有相似特征组织的影响。
在右心室分割领域，深度学习技术已经开始被使用，卷积神经网络和堆叠式自动编码器可以对右心室进行检测和初步分割，然后，然后通过将初始分割与可变形模型组合以提高过程的准确性和鲁棒性；Unet为一种对称网络，包括编码网络和解码网络，可以利用较少的训练样本进行端到端训练；Gridnet是一种全自动MRI心脏分割的深度卷积神经网络，该网络通过多分辨率编码-解码体系结构，可以自动进行形状预先标记，是U-Net的扩展网络；还有一种形状受限的双心室分割方法，在分割的细化阶段期间，使用特定地标来初始化数据集，虽然地标集的使用提高了结果的质量，但它们最终的分割形状在很大程度上取决于所定位地标的准确性，分割准确度较低。
发明内容
因此，本发明提供的一种训练右心室分割模型、右心室分割的方法及***，克服了现有技术中的右心室分割方法的分割结果准确度较低的缺陷。
第一方面，本发明实施例提供一种训练右心室分割模型的方法，包括如下步骤：
构建预设层数的形状玻尔兹曼机；
将有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数；
将没有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态，经过k次蒙特卡洛马尔科夫链迭代得到重构形状，并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数；
随机选取若干个专家标注的右心室形状作为正样本，若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态，更新形状玻尔兹曼机参数；
利用第一目标函数和第二目标函数构建总目标函数，对传统深度学习分割网络的参数进行调整；
重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程，当达到预设迭代次数或满足总目标函数的预设收敛条件时，得到训练好的右心室分割模型。
在一实施例中，将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态，经过k次蒙特卡洛马尔科夫链迭代得到重构形状的过程包括：
输入没有标注的右心室训练样本输入到传统深度学***均值卷积核f；
根据分割预测形状及平均值卷积核f计算分割预测形状的平均值卷积结果，并根据平均值卷积结果确定其所在的区域为目标区域或背景区域；
利用预设函数对输入的分割预测形状进行卷积计算，并进行伯努利采样，更新形状玻尔兹曼机两层卷积隐藏层、全连接隐藏层的值；根据平均值卷积结果确定其所在的区域得到更新后的分割预测形状；
迭代k次后，得到最终的重构形状。
在一实施例中，构建预设层数的形状玻尔兹曼机为四层的形状波尔兹曼机，包括一层输入层，两层卷积隐藏层，一层全连接隐藏层；
对形状玻尔兹曼机进行训练，更新形状玻尔兹曼机参数的过程，包括：
输入专家标注的训练样本的形状vd作为正样本，迭代k次，得到形状vd推理的三层隐藏层的值
Figure BDA0002558203250000041
输入形状玻尔兹曼机的重构形状vm作为负样本的MCMC链初态，更新形状玻尔兹曼机三层隐藏层的值，对更新的形状玻尔兹曼机三层隐藏层的值进行伯努利采样，得到重构形状vm推理的三层隐藏层的值
Figure BDA0002558203250000042
利用
Figure BDA0002558203250000043
和
Figure BDA0002558203250000044
计算形状玻尔兹曼机的参数，参数包括三个隐藏层的偏置参数c(1)、c(2)、c(3)、输入层、两层卷积隐藏层的卷积核f(1)、f(2)、f(3)及偏置b的梯度，利用自适应梯度下降算法调整形状玻尔兹曼机的参数。
在一实施例中，通过以下公式计算第一目标函数：
Figure BDA0002558203250000045
其中，i表示图像中第i个像素，
Figure BDA0002558203250000046
是分割网络预测的第i个像素属于右心室的概率，
Figure BDA0002558203250000047
是分割网络预测的第i个像素属于背景的概率，
Figure BDA0002558203250000048
为分割预测形状中像素点i是否属于右心室的专家标注，
Figure BDA0002558203250000049
为分割预测形状中像素点i是否背景的专家标注，
Figure BDA00025582032500000410
表示像素点i属于右心室，
Figure BDA00025582032500000411
表示像素点i属于背景。
在一实施例中，通过以下公式计算第二目标函数：
Figure BDA00025582032500000412
其中，
Figure BDA00025582032500000413
为像素点i是否属于重构形状中的右心室，
Figure BDA00025582032500000414
为像素点i是否属于重构形状中的背景，
Figure BDA0002558203250000051
表示像素点i属于右心室，
Figure BDA0002558203250000052
表示像素点i属于背景；
通过以下公式计算总目标函数：
loss＝loss1+loss2。
在一实施例中，对传统深度学习分割网络的参数进行调整的调整量为：
w′i＝wi+γΔwi
其中，wi为传统深度学习分割网络中第i个网络参数，参数的变化量
Figure BDA0002558203250000053
γ为学习速率。
第二方面，本发明实施例提供一种右心室分割的方法，包括：获取待分割的心脏图像；
将所述待分割的心脏图像输入根据第一方面所述的训练右心室分割模型的方法得到的右心室分割模型中，获得待分割心脏图像的分割决策值；
根据分割决策值确定心脏图像中右心室的轮廓图。
第三方面，本发明实施例提供一种训练右心室分割模型的***，包括：形状玻尔兹曼机构建模块，用于构建预设层数的形状玻尔兹曼机；
第一目标函数获取模块，用于将有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数；
第二目标函数获取模块，用于将没有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态，经过k次蒙特卡洛马尔科夫链迭代得到重构形状，并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数；
形状玻尔兹曼机参数更新模块，用于随机选取若干个专家标注的右心室形状作为正样本，若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态，更新形状玻尔兹曼机参数；
分割网络的参数调整模块，用于利用第一目标函数和第二目标函数构建总目标函数，对传统深度学习分割网络的参数进行调整；
右心室分割模型获取模块，重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程，当达到预设迭代次数或满足总目标函数的预设收敛条件时，得到训练好的右心室分割模型。
第四方面，本发明实施例提供一种右心室分割的***，包括：待分割的心脏图像获取模块，用于获取待分割的心脏图像；
分割决策值获取模块，用于将所述待分割的心脏图像输入根据第一方面所述的训练右心室分割模型的方法得到的右心室分割模型中，获得待分割心脏图像的分割决策值；
轮廓图获取模块，用于根据分割决策值确定心脏图像中右心室的轮廓图。
第五方面，本发明实施例提供一种计算机设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的训练右心室分割模型的方法，以及本发明实施例第二方面所述的右心室分割的方法。
第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，以使所述至少一个处理器执行本发明实施例第一方面所述的训练右心室分割模型的方法，以及本发明实施例第二方面所述的右心室分割的方法。
本发明技术方案，具有如下优点：
1、本发明实施例提供的训练右心室分割模型的方法及***，将传统深度学习分割网络生成的分割预测形状与专家标注形状间的相似度作为第一目标函数；将分割预测形状与玻尔兹曼机重构形状间的相似度作为第二目标函数，利用两个目标函数构建总目标函数，对传统深度学习分割网络的参数进行调整，随机选取若干专家标注的右心室形状作为正样本，若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态，更新形状玻尔兹曼机参数，训练过程将形状信息引入分割网络训练参数，得到训练好的右心室分割模型，解决了右心室分割容易出现的形状异常问题。
2、本发明实施例提供的右心室分割的方法及***，将待分割的心脏图像输入根据右心室分割模型中，获得待分割心脏图像的分割决策值；根据分割决策值确定心脏图像中右心室的轮廓图，提高了右心室分割识别的准确率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的训练右心室分割模型的方法的一个具体示例的流程图；
图2为本发明实施例提供的形状玻尔兹曼机的结构示意图；
图3为本发明实施例提供的训练右心室分割模型的***的一个具体示例的模块组成图；
图4为本发明实施例提供的右心室分割的方法的一个具体示例的流程图；
图5为本发明实施例提供的右心室分割的***的一个具体示例的模块组成图；
图6为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供的一种训练右心室分割模型的方法，其过程是对形状玻尔兹曼机和传统深度学习分割网络进行联合训练，如图1所示，包括如下步骤：
步骤S1：构建预设层数的形状玻尔兹曼机、
形状玻尔兹曼机层数过多难以训练，层数过少得到的结果准确率较差，本发明实施例构建的形状玻尔兹曼机为四层网络，容易训练且可以达到好的识别效果。四层网络包括一层输入层，两层卷积隐藏层，一层全连接隐藏层，其中第一层是80*80的输入层v，该输入层数据经过32个步长为2的3*3跨步卷积的，得到维度为32，大小为33*33的隐藏层h1；隐藏层h1的数据经过256个步长为10的13*13跨步卷积的，得到维度为256，大小为3*3的隐藏层h2；隐藏层h2的数据经过全连接，得到维度为1024的全连接隐藏层h3。图2为本发明实施例示出的形状玻尔兹曼机的结构示意图。以上每层网络的尺寸仅为作为举例说明，不以此为限。
步骤S2：将有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数。
本发明实施例中右心室形状训练样本包括：利用Cine MR(的短轴心脏图像和对应的专家标注的右心室轮廓(右心室轮廓为利用现有的方法获得，可以为通过经验数据库的轮廓确定，例如：专家经验数据库等，也可以为其他方式获得)，以及没有对应专家数据库标注构的Cine MR的短轴心脏图像，构建右心室形状训练集合。并将有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，利用专家标注结果对分割预测结果进行评价，将分割预测形状与专家标注形状之间的相似度作为第一目标函数，具体地，第一目标函数通过以下公式(1)计算：
Figure BDA0002558203250000101
其中，i表示图像中第i个像素，
Figure BDA0002558203250000102
为分割预测形状中像素点i是否属于右心室的专家标注，
Figure BDA0002558203250000103
为分割预测形状中像素点i是否背景的专家标注，
Figure BDA0002558203250000104
表示像素点i属于右心室，
Figure BDA0002558203250000105
表示像素点i属于背景。
步骤S3：将没有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态，经过k次蒙特卡洛马尔科夫链迭代得到重构形状，并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数。
本发明实施例中将没有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状vunlabeled，将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链(MCMC)的初态vunlabeled，经过k次MCMC迭代得到重构形状vrebuild；计算分割预测形状与玻尔兹曼机重构形状vrebuild之间的相似度作为第二目标函数。具体地，根据以下公式(2)计算第二目标函数：
Figure BDA0002558203250000106
其中，
Figure BDA0002558203250000107
为像素点i是否属于重构形状中的右心室，
Figure BDA0002558203250000108
为像素点i是否属于重构形状中的背景，
Figure BDA0002558203250000109
表示像素点i属于右心室，
Figure BDA00025582032500001010
定示像素点i属于背景。
在本发明实施例中，输入没有标注的右心室训练样本输入到传统深度学习分割网络，得到的分割预测形状vunlabeled，具体过程包括：
步骤1：计算分割预测形状vunlabeled的平均值卷积结果avgV，通过公式(3)计算：
avgV：＝vunlabeled*f (3)
判断目标区域l和背景区域o，
l：＝(avgV＝＝1)
o：＝(avgV＝＝0) (4)
令vmcmc＝vunlabeled，h(2)＝0，h(3)＝0。
步骤2：更新h(1)、h(2)、h(3)，更新公式如下：
P(h(1)＝1|vmcmc，h(2))＝σ(vmcmc*f(1)+h(2)*Tf(2)+c(1)) (5)
h(1)：＝bornoulliSample(P(h(1)＝1|v，h(2))) (6)
P(h(2)＝1|h(1)，h(3))＝σ(h(1)*f(1)+h(3)*Tf(3)+c(2)) (7)
h(2)：＝bornoulliSample(P(h(2)＝1|h(1)，h(3))) (8)
P(h(3)＝1|h(2))＝σ(h(2)*f(3)+c(3)) (9)
h(3)：＝bornoulliSample(P(h(3)＝1|h(2))) (10)
P(vmcmc＝1|h(1))＝σ(h(1)*Tf(1)+c(1)) (11)
temp：＝bornoulliSample(P(vmcmc＝1|h(1))) (12)
vmcmc：＝temp-temp.×o+(1-temp).×l (13)
其中vmcmc、h(1)、h(2)、h(3)分别是输入层、第一卷积隐藏层、第二卷积隐藏层、第三全连接隐藏层的值；c(1)、c(2)、c(3)分别是三个隐藏层的偏置参数，f(1)、f(2)、f(3)分别是输入层、第一卷积隐藏层、第二卷积隐藏层的卷积核，*表示卷积运算，σ为sigma函数，bornoulliSample表示伯努利采样过程。
步骤3：若迭代次数不足k，则转步骤2；
步骤4：若迭代次数达到k，得到重构形状。
vrebuild：＝vmcmc
步骤S4：随机选取若干个专家标注的右心室形状作为正样本，若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态，更新形状玻尔兹曼机参数。
本发明实施例中，随机选取batchsize个专家标注的右心室形状作为正样本vd，batchsize个形状玻尔兹曼机的重构形状作为负样本vm的MCMC链初态，更新形状玻尔兹曼机参数。
在形状玻尔兹曼机中，可见单元及三个隐藏层的条件分布分别为：
P(h(1)＝1|v，h(2))＝σ(v*f(1)+h(2)*Tf(2)+c(1)) (14)
P(h(2)＝1|h(1)，h(3))＝σ(h(1)*f(1)+h(3)*Tf(3)+c(2)) (15)
P(h(3)＝1|h(2))＝σ(h(2)*f(3)+c(3)) (16)
P(v＝1|h(1))＝σ(h(1)*Tf(1)+c(1)) (17)
其中v、h(1)、h(2)、h(3)分别是输入层、第一卷积隐藏层、第二卷积隐藏层、第三全连接隐藏层的值。
输入专家标注的右心室形状vd，假设
Figure BDA0002558203250000121
第一卷积隐藏层
Figure BDA0002558203250000122
第二卷积隐藏层
Figure BDA0002558203250000123
第三全连接隐藏层的
Figure BDA0002558203250000124
的更新公式为：
Figure BDA0002558203250000125
Figure BDA0002558203250000126
Figure BDA0002558203250000127
利用式(18)(19)(20)迭代k次，得到vd推理的三个隐藏层的值
Figure BDA0002558203250000128
记为
Figure BDA0002558203250000129
输入形状玻尔兹曼机的重构形状vm，假设
Figure BDA00025582032500001210
利用式(18)(19)(20)更新形状玻尔兹曼机三层隐藏层
Figure BDA0002558203250000131
的值，然后对
Figure BDA0002558203250000132
进行伯努利采样，得到重构形状vm推理的
Figure BDA0002558203250000133
记为
Figure BDA0002558203250000134
Figure BDA0002558203250000135
Figure BDA0002558203250000136
Figure BDA0002558203250000137
根据
Figure BDA0002558203250000138
和
Figure BDA0002558203250000139
计算形状玻尔兹曼机的参数f(1)、f(2)、f(3)、b、c(1)、c(2)、c(3)的梯度：
Figure BDA00025582032500001310
Figure BDA00025582032500001311
Figure BDA00025582032500001312
Δb＝avg(vd-vm) (27)
Figure BDA00025582032500001313
Figure BDA00025582032500001314
Figure BDA00025582032500001315
其中
Figure BDA00025582032500001320
分别是vd和vm在坐标(i，j)处的值，
Figure BDA00025582032500001316
分别是
Figure BDA00025582032500001317
在坐标(i，j)处的值，
Figure BDA00025582032500001318
分别是
Figure BDA00025582032500001319
在坐标(i，j)处的值。根据上述的梯度公式，采用自适应随机梯度下降算法对形状玻尔兹曼机的参数进行调整；其中对形状玻尔兹曼机的参数进行调整的方法仅作举例说明，不以此为限，采用自适应随机梯度下降算法进行形状玻尔兹曼机的参数进行调整的方式效果更优。
步骤S5：利用第一目标函数和第二目标函数构建总目标函数，对传统深度学习分割网络的参数进行调整。
本发明实施例中的总目标函数通过以下公式计算：
loss＝loss1+loss2 (31)
假设传统深度学习分割网络中第i个网络参数为wi，计算
Figure BDA0002558203250000141
则网络参数wi调整为w′i＝wi+γΔwi，其中γ是学习速率，根据自适应随机梯度下降算法自动确定。
步骤S6：重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程，当达到预设迭代次数或满足总目标函数的预设收敛条件时，得到训练好的右心室分割模型。
与训练右心室分割模型的方法实施例所对应地，本发明实施例还对应提供一种训练右心室分割模型的***，如图3所示，包括：
形状玻尔兹曼机构建模块1，用于构建预设层数的形状玻尔兹曼机；此模块执行步骤S1所描述的方法，在此不再赘述。
第一目标函数获取模块2，用于将有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数；此模块执行步骤S2所描述的方法，在此不再赘述。
第二目标函数获取模块3，用于将没有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态，经过k次蒙特卡洛马尔科夫链迭代得到重构形状，并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数；此模块执行步骤S3所描述的方法，在此不再赘述。
形状玻尔兹曼机参数更新模块4，用于随机选取若干个专家标注的右心室形状作为正样本，若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态，更新形状玻尔兹曼机参数；此模块执行步骤S4所描述的方法，在此不再赘述。
分割网络的参数调整模块5，用于利用第一目标函数和第二目标函数构建总目标函数，对传统深度学习分割网络的参数进行调整；此模块执行步骤S5所描述的方法，在此不再赘述。
右心室分割模型获取模块6，重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程，当达到预设迭代次数或满足总目标函数的预设收敛条件时，得到训练好的右心室分割模型。此模块执行步骤S6所描述的方法，在此不再赘述。
本发明实施例提供的训练右心室分割模型的方法及***，将传统深度学习分割网络生成的分割预测形状与专家标注形状间的相似度作为第一目标函数；将分割预测形状与玻尔兹曼机重构形状间的相似度作为第二目标函数，利用两个目标函数构建总目标函数，对传统深度学习分割网络的参数进行调整，随机选取若干专家标注的右心室形状作为正样本，若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态，更新形状玻尔兹曼机参数，训练过程将形状信息引入分割网络训练参数，得到训练好的右心室分割模型，解决了右心室分割容易出现的形状异常问题。
实施例2
本发明实施例提供一种右心室分割的方法，如图4所示，包括如下步骤：
步骤S21：获取待分割的心脏图像。
本发明实施例中心脏图像可以通过图像设备采集获得，例如：可以为行磁共振电影成像(Cine Magnetic Resonance，简称：Cine-MR)设备，获得短轴心脏图像。
步骤S22：将待分割的心脏图像输入实施例1中的训练右心室分割模型的方法得到的右心室分割模型中，获得待分割心脏图像的分割决策值。
本发明实施例心脏图像的分割决策值包括：心脏图像中第i个像素属于背景的决策值，心脏图像中第i个像素属于右心室的决策值。
步骤S23：根据分割决策值确定心脏图像中右心室的轮廓图。可以得到准确率高的分割效果。
与右心室分割的方法实施例所对应地，本发明实施例提供一种右心室分割的***，如图5所示，包括：
待分割的心脏图像获取模块21，用于获取待分割的心脏图像；此模块执行步骤S21所描述的方法，在此不再赘述。
分割决策值获取模块22，用于将所述待分割的心脏图像输入实施例1中所述的训练右心室分割模型的方法得到的右心室分割模型中，获得待分割心脏图像的分割决策值；此模块执行步骤S22所描述的方法，在此不再赘述。
轮廓图获取模块23，用于根据分割决策值确定心脏图像中右心室的轮廓图。此模块执行步骤S23所描述的方法，在此不再赘述。
本发明实施例提供的右心室分割的方法及***，将待分割的心脏图像输入根据右心室分割模型中，获得待分割心脏图像的分割决策值；根据分割决策值确定心脏图像中右心室的轮廓图，提高了右心室分割识别的准确率。
实施例3
本发明实施例提供一种计算机设备，如图6所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的训练右心室分割模型的方法或实施例2中所述的右心室分割的方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1中的训练右心室分割模型的方法或实施例2中所述的右心室分割的方法。其中，通信总线402可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic，缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的训练右心室分割模型的方法或实施例2中所述的右心室分割的方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1中的训练右心室分割模型的方法或实施例2中所述的右心室分割的方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种训练右心室分割模型的方法，其特征在于，包括如下步骤：
构建预设层数的形状玻尔兹曼机；
将有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数；
将没有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态，经过k次蒙特卡洛马尔科夫链迭代得到重构形状，并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数；
随机选取若干个专家标注的右心室形状作为正样本，若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态，对形状玻尔兹曼机进行训练，更新形状玻尔兹曼机参数；
利用第一目标函数和第二目标函数构建总目标函数，对传统深度学习分割网络的参数进行调整；
重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程，当达到预设迭代次数或满足总目标函数的预设收敛条件时，得到训练好的右心室分割模型。
2.根据权利要求1所述的训练右心室分割模型的方法，其特征在于，
将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态，经过k次蒙特卡洛马尔科夫链迭代得到重构形状的过程包括：
输入没有标注的右心室训练样本输入到传统深度学***均值卷积核f；
根据分割预测形状及平均值卷积核f计算分割预测形状的平均值卷积结果，并根据平均值卷积结果确定其所在的区域为目标区域或背景区域；
利用预设函数对输入的分割预测形状进行卷积计算，并进行伯努利采样，更新形状玻尔兹曼机两层卷积隐藏层、全连接隐藏层的值；根据平均值卷积结果确定其所在的区域得到更新后的分割预测形状；
迭代k次后，得到最终的重构形状。
3.根据权利要求2所述的训练右心室分割模型的方法，其特征在于，构建预设层数的形状玻尔兹曼机为四层的形状波尔兹曼机，包括一层输入层，两层卷积隐藏层，一层全连接隐藏层；
对形状玻尔兹曼机进行训练，更新形状玻尔兹曼机参数的过程，包括：
输入专家标注的训练样本的形状vd作为正样本，迭代k次，得到形状vd推理的三层隐藏层的值
Figure FDA0002558203240000021
输入形状玻尔兹曼机的重构形状vm作为负样本的MCMC链初态，更新形状玻尔兹曼机三层隐藏层的值，对更新的形状玻尔兹曼机三层隐藏层的值进行伯努利采样，得到重构形状vm推理的三层隐藏层的值
Figure FDA0002558203240000022
利用
Figure FDA0002558203240000023
和
Figure FDA0002558203240000024
计算形状玻尔兹曼机的参数，参数包括三个隐藏层的偏置参数c(1)、c(2)、c(3)、输入层、两层卷积隐藏层的卷积核f(1)、f(2)、f(3)及偏置b的梯度，利用自适应梯度下降算法调整形状玻尔兹曼机的参数。
4.根据权利要求1所述的训练右心室分割模型的方法，其特征在于，通过以下公式计算第一目标函数：
Figure FDA0002558203240000031
其中，i表示图像中第i个像素，
Figure FDA0002558203240000032
是分割网络预测的第i个像素属于右心室的概率，
Figure FDA0002558203240000033
是分割网络预测的第i个像素属于背景的概率，
Figure FDA0002558203240000034
为分割预测形状中像素点i是否属于右心室的专家标注，
Figure FDA0002558203240000035
为分割预测形状中像素点i是否背景的专家标注，
Figure FDA0002558203240000036
表示像素点i属于右心室，
Figure FDA0002558203240000037
表示像素点i属于背景；
通过以下公式计算第二目标函数：
Figure FDA0002558203240000038
其中，
Figure FDA0002558203240000039
为像素点i是否属于重构形状中的右心室，
Figure FDA00025582032400000310
为像素点i是否属于重构形状中的背景，
Figure FDA00025582032400000311
表示像素点i属于右心室，
Figure FDA00025582032400000312
表示像素点i属于背景；
通过以下公式计算总目标函数：
loss＝loss1+loss2。
5.根据权利要求4所述的训练右心室分割模型的方法，其特征在于，对传统深度学习分割网络的参数进行调整的调整量为：
w′i＝wi+γΔwi
其中，wi为传统深度学习分割网络中第i个网络参数，参数的变化量
Figure FDA00025582032400000313
γ为学习速率。
6.一种右心室分割的方法，其特征在于，包括：
获取待分割的心脏图像；
将所述待分割的心脏图像输入根据权利要求1-5任一所述的训练右心室分割模型的方法得到的右心室分割模型中，获得待分割心脏图像的分割决策值；
根据分割决策值确定心脏图像中右心室的轮廓图。
7.一种训练右心室分割模型的***，其特征在于，包括：
形状玻尔兹曼机构建模块，用于构建预设层数的形状玻尔兹曼机；
第一目标函数获取模块，用于将有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，并计算分割预测形状与专家标注形状之间的相似度作为第一目标函数；
第二目标函数获取模块，用于将没有标注的右心室训练样本输入到传统深度学习分割网络，生成分割预测形状，将分割预测形状作为形状玻尔兹曼机的蒙特卡洛马尔科夫链的初态，经过k次蒙特卡洛马尔科夫链迭代得到重构形状，并计算分割预测形状与玻尔兹曼机重构形状之间的相似度作为第二目标函数；
形状玻尔兹曼机参数更新模块，用于随机选取若干个专家标注的右心室形状作为正样本，若干个形状玻尔兹曼机的重构形状作为负样本的蒙特卡洛马尔科夫链初态，更新形状玻尔兹曼机参数；
分割网络的参数调整模块，用于利用第一目标函数和第二目标函数构建总目标函数，对传统深度学习分割网络的参数进行调整；
右心室分割模型获取模块，重复更新形状玻尔兹曼机参数及对传统深度学习分割网络的参数进行调整的过程，当达到预设迭代次数或满足总目标函数的预设收敛条件时，得到训练好的右心室分割模型。
8.一种右心室分割的***，其特征在于，包括：
待分割的心脏图像获取模块，用于获取待分割的心脏图像；
分割决策值获取模块，用于将所述待分割的心脏图像输入根据权利要求1-5任一所述的训练右心室分割模型的方法得到的右心室分割模型中，获得待分割心脏图像的分割决策值；
轮廓图获取模块，用于根据分割决策值确定心脏图像中右心室的轮廓图。
9.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-5任一所述的训练右心室分割模型的方法，以及权利要求6所述的右心室分割的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5任一所述的训练右心室分割模型的方法，以及权利要求6所述的右心室分割的方法。
CN202010599800.5A 2020-06-28 2020-06-28 一种训练右心室分割模型、右心室分割的方法及*** Active CN111784696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010599800.5A CN111784696B (zh) 2020-06-28 2020-06-28 一种训练右心室分割模型、右心室分割的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010599800.5A CN111784696B (zh) 2020-06-28 2020-06-28 一种训练右心室分割模型、右心室分割的方法及***

Publications (2)

Publication Number Publication Date
CN111784696A true CN111784696A (zh) 2020-10-16
CN111784696B CN111784696B (zh) 2023-08-01

Family

ID=72761580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010599800.5A Active CN111784696B (zh) 2020-06-28 2020-06-28 一种训练右心室分割模型、右心室分割的方法及***

Country Status (1)

Country Link
CN (1) CN111784696B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308845A (zh) * 2020-11-03 2021-02-02 赛诺威盛科技（北京）有限公司 左心室分割方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN109949299A (zh) * 2019-03-25 2019-06-28 东南大学 一种心脏医学图像自动分割方法
CN110120051A (zh) * 2019-05-10 2019-08-13 上海理工大学 一种基于深度学习的右心室自动分割方法
CN110136135A (zh) * 2019-05-17 2019-08-16 深圳大学 分割方法、装置、设备以及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN109949299A (zh) * 2019-03-25 2019-06-28 东南大学 一种心脏医学图像自动分割方法
CN110120051A (zh) * 2019-05-10 2019-08-13 上海理工大学 一种基于深度学习的右心室自动分割方法
CN110136135A (zh) * 2019-05-17 2019-08-16 深圳大学 分割方法、装置、设备以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308845A (zh) * 2020-11-03 2021-02-02 赛诺威盛科技（北京）有限公司 左心室分割方法、装置及电子设备

Also Published As

Publication number Publication date
CN111784696B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN107492099B (zh) 医学图像分析方法、医学图像分析***以及存储介质
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别***
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
US20190279361A1 (en) Automatic quantification of cardiac mri for hypertrophic cardiomyopathy
CN109949276B (zh) 一种于改进SegNet分割网络的***检测方法
Biffi et al. Explainable anatomical shape analysis through deep hierarchical generative models
JP6505124B2 (ja) 適応性放射線治療における自動輪郭抽出システム及び方法
US11030747B1 (en) System and method for automatic thoracic organ segmentation from CT using a deep learning framework
JP7019815B2 (ja) 学習装置
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
US11350888B2 (en) Risk prediction for sudden cardiac death from image derived cardiac motion and structure features
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
CN110136135B (zh) 分割方法、装置、设备以及存储介质
CN110570394B (zh) 医学图像分割方法、装置、设备及存储介质
US20210158511A1 (en) Hierarchical systems and methods for image segmentation
CN112233132A (zh) 一种基于无监督学习的脑磁共振图像分割方法及装置
WO2021032325A1 (en) Updating boundary segmentations
KR20190068254A (ko) 병변 발생 시점 추정 방법, 장치 및 프로그램
CN111784696B (zh) 一种训练右心室分割模型、右心室分割的方法及***
CN113888520A (zh) 用于生成牛眼图的***和方法
US11693919B2 (en) Anatomy-aware motion estimation
CN113284151A (zh) 一种基于深度卷积神经网络的胰腺分割方法及***
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估***和相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant