CN110136135B - 分割方法、装置、设备以及存储介质 - Google Patents

分割方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN110136135B
CN110136135B CN201910413534.XA CN201910413534A CN110136135B CN 110136135 B CN110136135 B CN 110136135B CN 201910413534 A CN201910413534 A CN 201910413534A CN 110136135 B CN110136135 B CN 110136135B
Authority
CN
China
Prior art keywords
image
segmentation
residual
layer
right ventricle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910413534.XA
Other languages
English (en)
Other versions
CN110136135A (zh
Inventor
刘泽雄
杨烜
裴继红
杨博乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910413534.XA priority Critical patent/CN110136135B/zh
Publication of CN110136135A publication Critical patent/CN110136135A/zh
Application granted granted Critical
Publication of CN110136135B publication Critical patent/CN110136135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供一种分割方法、装置、设备以及存储介质,该方法包括接收待分割的心脏图像;利用已训练的层次残差神经网络对待分割的心脏图像进行处理,其中,层次残差神经网络包括:至少一个残差层和至少一个全卷积层,至少一个残差层用于对图像训练集进行编码处理,至少一个全卷积层用于对残差层输出的编码图像进行解码处理,以输出待分割的心脏图像的分割决策值;根据分割决策值确定心脏图像中右心室的轮廓图。本方法利用层次残差神经网络的编码‑解码结构确定心脏图像中右心室的轮廓图,解决了心脏图像存在的右心室边界模糊的问题,可以准确勾勒出右心室边界轮廓。

Description

分割方法、装置、设备以及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种分割方法、装置、设备以及存储介质。
背景技术
心脏分割是指利用图像技术从通过电影磁共振技术采集到的心脏图像中确定左心室和右心室。
目前虽然已经有一些方法进行了左心室分割的尝试,相对于左心室分割,右心室具有更多变的轮廓外形,内膜和外膜的边界与背景难以区分,使得右心室的分割成为医学图像分割里的一个难点。
本发明旨在提供一种分割方法、装置、设备以及存储介质,以解决右心室成像边界模糊,导致分割准确度低的技术问题。
发明内容
本发明旨在提供一种分割方法、装置、设备以及存储介质,以解决右心室成像边界模糊,导致分割准确度低的技术问题。
第一方面,本发明提供一种分割方法,包括:
接收待分割的心脏图像;
利用已训练的层次残差神经网络对待分割的心脏图像进行处理,其中,层次残差神经网络包括:至少一个残差层和至少一个全卷积层,至少一个残差层用于对图像训练集进行编码处理,至少一个全卷积层用于对残差层输出的编码图像进行解码处理,以输出待分割的心脏图像的分割决策值;
根据分割决策值确定心脏图像中右心室的轮廓图。
可选地,在利用已训练的层次残差神经网络对待分割的心脏图像进行处理,之前还包括:
接收图像训练集;其中,图像训练集包括:心脏图像和心脏图像中右心室的初始轮廓图;
构建层次残差神经网络;
利用图像训练集对层次残差神经网络进行训练,以输出训练图像的分割决策值;
利用分割决策值计算网络损失函数,根据损失函数对层次残差神经的网络参数进行调整,以输出已训练的层次残差神经。
可选地,至少一个残差层之间通过下采样级联,至少一个全卷积层之间通过上采样级联;位于上一级的全卷积层的输出数据和位于同一级的残差层的输出数据为全卷积层的输入。
可选地,所述残差层包括至少一个残差块,其中,所述至少一个残差块之间级联。
可选地,所述全卷积层包括至少一个卷积层,其中,所述至少一个卷积层之间级联。可选地,根据分割决策值确定心脏图像中右心室的轮廓图,具体包括:
根据分割决策值确定分割概率值;
根据分割概率值心脏图像中右心室的轮廓图。
可选地,所述根据所述分割决策值计算网络损失函数,根据所述损失函数对所述层次残差神经的网络参数进行调整,以输出已训练的层次残差神经,具体包括:
根据所述分割决策值计算具有形状约束的网络损失函数;
根据所述损失函数对所述层次残差神经的网络参数进行调整,以输出已训练的层次残差神经。
可选地,根据分割决策值确定分割概率值,具体包括:
根据如下公式确定心脏图像中第i个像素属于背景的概率:
Figure BDA0002063592740000021
根据如下公式确定心脏图像中第i个像素属于右心室的概率:
Figure BDA0002063592740000022
其中,
Figure BDA0002063592740000023
为心脏图像中第i个像素属于背景的决策值,
Figure BDA0002063592740000024
为心脏图像中第i个像素属于右心室的决策值。
可选地,根据分割决策值计算具有形状约束的网络损失函数,具体包括:
根据如下公式计算网络损失函数:
Figure BDA0002063592740000031
其中,i表示图像中第i个像素,
Figure BDA0002063592740000032
为初始轮廓图中像素点i是否属于右心室,
Figure BDA0002063592740000033
为初始轮廓图中像素点i是否背景的标注,
Figure BDA0002063592740000034
表示像素点i属于右心室,
Figure BDA0002063592740000035
表示像素点i属于背景;
APD是根据分割决策值计算的右心室轮廓与心脏图中右心室的初始轮廓之间的平均垂直距离,APD的计算公式为:
Figure BDA0002063592740000036
其中,(xi,yi)是根据分割决策值计算的右心室轮廓上第i个像素的坐标,
Figure BDA0002063592740000037
是心脏图中右心室的初始轮廓上第j个像素的坐标,N是根据分割决策值计算的右心室轮廓上点的个数。
第二方面,本发明提供一种分割装置,装置包括:
接收模块,用于接收待分割的心脏图像,
处理模块,用于利用已训练的层次残差神经网络对待分割的心脏图像进行处理,其中,层次残差神经网络包括:至少一个残差层和至少一个全卷积层,至少一个残差层用于对图像训练集进行编码处理,至少一个全卷积层用于对残差层输出的编码图像进行解码处理,以输出待分割的心脏图像的分割决策值;
确定模块,用于根据分割决策值确定心脏图像中右心室的轮廓图。
可选地,装置还包括:
接收模块还用于接收图像训练集;其中,图像训练集包括:心脏图像和心脏图像中右心室的初始轮廓图;
构建模块,用于构建层次残差神经网络;
训练模块,用于利用图像训练集对层次残差神经网络进行训练,以输出训练图像的分割决策值;
调整模块,用于利用分割决策值计算网络损失函数,根据损失函数对层次残差神经的网络参数进行调整,以输出已训练的层次残差神经。
可选地,至少一个残差层之间通过下采样级联,至少一个全卷积层之间通过上采样级联;位于上一级的全卷积层的输出数据和位于同一级的残差层的输出数据为全卷积层的输入。
可选地,残差层包括至少一个残差块,其中,至少一个残差块之间级联。
可选地,全卷积层包括至少一个卷积层,其中,至少一个卷积层之间级联。
可选地,确定模块具体用于:
根据分割决策值确定分割概率值;
根据分割概率值心脏图像中右心室的轮廓图。
可选地,调整模块具体用于:
根据所述分割决策值计算具有形状约束的网络损失函数;
根据所述损失函数对所述层次残差神经的网络参数进行调整,以输出已训练的层次残差神经。
可选地,确定模块具体用于:
根据如下公式确定心脏图像中第i个像素属于背景的概率:
Figure BDA0002063592740000041
根据如下公式确定心脏图像中第i个像素属于右心室的概率:
Figure BDA0002063592740000042
其中,
Figure BDA0002063592740000043
为心脏图像中第i个像素属于背景的决策值,
Figure BDA0002063592740000044
为心脏图像中第i个像素属于右心室的决策值。
可选地,调整模块具体用于:
根据如下公式计算网络损失函数
Figure BDA0002063592740000045
其中,i表示图像中第i个像素,
Figure BDA0002063592740000046
为初始轮廓图中像素点i是否属于右心室,
Figure BDA0002063592740000047
为初始轮廓图中像素点i是否背景的标注,
Figure BDA0002063592740000048
表示像素点i属于右心室,
Figure BDA0002063592740000049
表示像素点i属于背景;
APD是根据分割决策值计算的右心室轮廓与心脏图中右心室的初始轮廓之间的平均垂直距离,具体计算公式如下:
Figure BDA00020635927400000410
其中,(xi,yi)是根据分割决策值计算的右心室轮廓上第i个像素的坐标,
Figure BDA0002063592740000051
是心脏图中右心室的初始轮廓上第j个像素的坐标,N是根据分割决策值计算的右心室轮廓上点的个数。
第三方面,本发明提供一种电子设备,其特征在于,包括:至少一个处理器和存储器;其中,存储器存储计算机执行指令;至少一个处理器执行存储器存储的计算机执行指令,使得至少一个处理器执行第一方面以及可选方案涉及的分割方法。
第四方面,本发明提供一种计算机可读存储介质,其特征在于,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现第一方面以及可选方案涉及的分割方法。
本发明提供了一种分割方法、装置、设备以及存储介质,在分割方法中,利用层次残差神经网络的编码-解码结构,提取心脏图像中右心室多尺度特征,通过层次残差神经网络将不同尺度特征进行融合决策,其中,层次残差神经网络的引入改变了深度网络的学习目标,不再是学习一个完整的输出,而是目标值与输入之间的残差,从而有效防止了训练过程中的梯度消失问题,加深了网络深度,提高了右心室分割精度。本发明实现了心脏图像的右心室分割,可以处理右心室成像边界模糊的问题,完成了心脏图像的右心室分割。
附图说明
图1为本发明根据一示例性实施例示出的分割方法的流程示意图;
图2为本发明根据另一示例性实施例示出的分割方法的流程示意图;
图3为本发明图2实施例示出的分割方法的层次残差神经网络的结构示意图;
图4为本发明图3实施例示出层次残差神经网络中残差块的结构示意图;
图5为本发明根据一示例性实施例示出的分割装置的结构示意图;
图6为本发明根据一示例性实施例示出的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明旨在提供一种分割方法、装置、设备以及存储介质,以解决右心室成像边界模糊,导致分割准确度低的技术问题。
图1为本发明根据一示例性实施例示出的分割方法的流程示意图。如图1所示,本实施例提供一种分割方法,包括如下步骤:
S101、接收待分割的心脏图像。
心脏图像可以通过图像设备采集获得,例如:可以为行磁共振电影成像(CineMagnetic Resonance,简称:Cine-MR)设备,获得短轴心脏图像。
S102、利用已训练对层次残差神经网络对待分割的心脏图像进行处理,以获得待识别的心脏图像的分割决策值。
更具体地,层次残差神经网络包括:至少一个残差层和至少一个全卷积层,其中,至少一个残差层用于对图像训练集进行编码处理,至少一个全卷积层用于对残差层输出的编码图像进行解码处理,以输出待识别的心脏图像的分割决策值。
心脏图像的分割决策值包括:心脏图像中第i个像素属于背景的决策值,心脏图像中第i个像素属于右心室的决策值。
S103、根据分割决策值确定心脏图像中右心室的轮廓图。
更具体地,根据分割决策值确定分割概率值,再根据分割概率值心脏图像中右心室的轮廓图。
本实施例提供的分割方法中,利用层次残差神经网络的编码-解码结构,获得心脏图像的分割决策值,再根据分割决策值确定分割概率值,以根据分割概率值确定心脏图像中右心室的轮廓图,解决了心脏图像存在的右心室边界模糊的问题,可以勾勒出右心室边界轮廓。
图2为本发明根据另一示例性实施例示出的分割方法的流程示意图。如图2所示,本实施例提供的分割方法包括如下步骤:
S201、接收图像训练集。
更具体地,图像训练集包括:心脏图像和心脏图像中右心室的初始轮廓图。其中,心脏图像中右心室的初始轮廓图为利用现有的方法获得,可以为通过经验数据库的轮廓参数确定,例如:专家经验数据库等。也可以为其他方式获得。
在本实施例中,利用Cine MR的短轴心脏图像和对应的专家数据库标注的右心室轮廓,构建训练样本集合。
为在获得训练样本集合之后,可以通过裁剪将图像大小调整一致。利用白化处理,对图像强度进行调整,降低输入图像的冗余性。并通过平移、旋转、弹性变换等空间变换方法,对原始的训练样本集合中训练样本进行空间变换,产生新的训练样本,即为增强的训练样本集合。
S202、构建层次残差神经网络。
更具体地,层次残差神经网络包括至少一个残差层和至少一个全卷积层。至少一个残差层之间通过下采样级联,至少一个全卷积层之间通过上采样级联。残差层包括至少一个残差块,其中,至少一个残差块之间级联。全卷积层包括至少一个卷积层,其中,至少一个卷积层之间级联。至少一个残差层用于对图像训练集进行编码处理,至少一个全卷积层用于对残差层输出的编码图像进行解码处理,以输出心脏图像的分割决策值。
图3为本发明图2实施例示出的分割方法的层次残差神经网络的结构示意图。如图3所示,层次残差神经网络包括四层残差层以及三层全卷积层。其中,四层残差层通过下采样级联,依次记为:第一级残差层、第二级残差层、第三级残差层以及第四残差层。每层残差层包含四个级联的残差块。四层残差层构成编码层,编码层用于对接收的图像训练样本进行编码。三层全卷积层通过上采样级联,依次记为:第一级全卷积层、第二级全卷积层以及第三级全卷积层。其中,第一级全卷积层和第二级全卷积层均包含两个卷积层。第三级全卷积层包括三个卷积层。三层全卷积层构成解码层,解码层用于对编码层编码后的数据进行解码,以输出心脏图像的分割决策值。
图4为本发明图3实施例示出层次残差神经网络中残差块的结构示意图。如图4所示,每个残差块由一个卷积层和一个从输入到输出的快捷连接组成,其中,快捷连接是恒等映射,卷积层的卷积核大小为3×3,卷积核的个数为32。
在上述编码层中,第一级残差层接收图像训练样本,第一级残差层的输出经过一个下采样处理将输出数据的空间维度从原始图像大小n×n减小为n/2×n/2,作为第二级残差网络的输入,其中,图像训练样本中心脏图像的大小为n×n。第二级残差网络的输出再经过一个下采样处理将输出数据的空间维度从n/2×n/2减小为n/4×n/4,作为第三级残差网络的输入;以此类推,直至第四级残差网络,其输出数据的空间维度为n/8×n/8。
第二级全卷积层和第三全卷积层包含两个级联的卷积层,每个卷积层的卷积核大小为3×3,卷积核的个数为32。位于下一级的全卷积层的输出数据和位于同一级的残差层的输出数据为全卷积层的输入。编码层的第四级残差层的输出经过一个上采样处理将输出数据的空间维度从n/8×n/8增大为n/4×n/4,作为第三级全卷积网络的部分输入,该部分输入与第三级残差层的输出级联,作为第三级全卷积层的完整输入。第三级全卷积层的输出再经过一个上采样处理将输出数据的空间维度从n/4×n/4增大为n/2×n/2,作为第二级全卷积层的部分输入,该部分输入与第二级残差层的输出级联,作为第二级全卷积层的完整输入;以此类推,直至第一级全卷积层。第一级全卷积层包含三个级联的卷积层,前两个卷积层的卷积核大小与个数与其他全卷积层中卷积核相同,即卷积核的个数为32,第三级卷积层只有2个卷积核。
第三级卷积层输出为心脏图像的分割决策值。心脏图像的分割决策值包括:心脏图像中第i个像素属于背景的决策值,心脏图像中第i个像素属于右心室的决策值。
在确定层次残差神经网络的结构之后,继续设置层次残差神经网络的参数。层次残差神经网络的参数即为所有卷积核的参数。对于网络中的参数wi,利用S207中反向传播得到的调整量Δwi,调整为w′i=wi+Δwi。第一次迭代时,网络参数设置为随机值。
S203、利用图像训练集对层次残差神经网络训练,以获得训练图像的分割决策值。
更具体地,图像训练集中一个心脏图像的分割决策值包括:心脏图像中第i个像素属于背景的决策值
Figure BDA0002063592740000081
心脏图像中第i个像素属于右心室的决策值
Figure BDA0002063592740000082
S204、根据分割决策值确定分割概率值。
更具体地,根据如下公式确定心脏图像中第i个像素属于背景的概率:
Figure BDA0002063592740000083
根据如下公式确定心脏图像中第i个像素属于右心室的概率:
Figure BDA0002063592740000084
其中,
Figure BDA0002063592740000085
为所述心脏图像中第i个像素属于背景的决策值,
Figure BDA0002063592740000086
为所述心脏图像中第i个像素属于右心室的决策值。
S205、根据分割概率值和初始轮廓图计算具有形状约束的损失函数。
更具体地,根据如下公式计算损失函数。
Figure BDA0002063592740000091
其中,i表示图像中第i个像素,
Figure BDA0002063592740000092
为初始轮廓图中像素点i是否属于右心室,
Figure BDA0002063592740000093
为初始轮廓图中像素点i是否背景的标注,
Figure BDA0002063592740000094
表示像素点i属于右心室,
Figure BDA0002063592740000095
表示像素点i属于背景。
APD是根据分割决策值计算的右心室轮廓与心脏图中右心室的初始轮廓之间的平均垂直距离,具体计算公式如下:
Figure BDA0002063592740000096
其中,(xi,yi)是根据分割决策值计算的右心室轮廓上第i个像素的坐标,
Figure BDA0002063592740000097
是心脏图中右心室的初始轮廓上第j个像素的坐标,N是根据分割决策值计算的右心室轮廓上点的个数。
S206、判断迭代次数是否达到设定的值。判断结果为是,转入S208,否则,转S207。
S207、反向传播计算层次残差神经网络参数的参数调整量。
更具体地,采用自适应随机梯度算法确定的学习率,利用具有形状约束的损失函数计算层次残差神经网络参数的导数,将该导数与学习率相乘,得到网络参数的调整量Δwi
即假设第i个网络参数为wi,计算网络参数的调整量
Figure BDA0002063592740000098
则网络参数wi调整为:
w′i=wi+γΔwi
其中,γ是学习速率,根据自适应随机梯度下降算法自动确定。
S208、接收待分割的心脏图像。
S209、利用已训练的图像训练集对待分割的心脏图像进行处理,以获得待识别的心脏图像的分割决策值。
具体包括:
每一卷积层的运算关系为:
Figure BDA0002063592740000101
其中,wm,n是卷积核系数,x(i,j)是图像强度,y(i,j)是图像(i,j)坐标处卷积核的输出值,m和n分别表示卷积核的行、列参数下标。
每一残差块的运算关系为:
Figure BDA0002063592740000102
S210、根据分割概率值确定心脏图像中右心室的轮廓图。
在本实施例提供的分割方法中,利用层次残差神经网络的编码-解码结构,提取心脏图像中右心室多尺度特征,通过层次残差神经网络将不同尺度特征进行融合决策,其中,层次残差神经网络的引入有效防止了训练过程中的梯度消失问题,加深了网络深度。另一方面,通过在网络损失函数中引入右心室形状约束,可以有效提高分割精度。本发明实现了心脏图像的右心室分割,可以处理右心室成像边界模糊的问题,完成了心脏图像的右心室分割。
图5为本发明根据一示例性实施例示出的分割装置的结构示意图。如图5所示,本发明提供分割装置包括:
接收模块301,用于接收待分割的心脏图像,
处理模块302,用于利用已训练的层次残差神经网络对待分割的心脏图像进行处理,其中,层次残差神经网络包括:至少一个残差层和至少一个全卷积层,至少一个残差层用于对图像训练集进行编码处理,至少一个全卷积层用于对残差层输出的编码图像进行解码处理,以输出待分割的心脏图像的分割决策值;
确定模块303,用于根据分割决策值确定心脏图像中右心室的轮廓图。
可选地,装置还包括:
接收模块301还用于接收图像训练集;其中,图像训练集包括:心脏图像和心脏图像中右心室的初始轮廓图;
构建模块304,用于构建层次残差神经网络;
训练模块305,用于利用图像训练集对层次残差神经网络进行训练,以输出训练图像的分割决策值;
调整模块306,用于利用分割决策值计算具有形状约束的网络损失函数,根据损失函数对层次残差神经的网络参数进行调整,以输出已训练的层次残差神经。
可选地,至少一个残差层之间通过下采样级联,至少一个全卷积层之间通过上采样级联;位于上一级的全卷积层的输出数据和位于同一级的残差层的输出数据为全卷积层的输入。
可选地,残差层包括至少一个残差块,其中,至少一个残差块之间级联。
可选地,全卷积层包括至少一个卷积层,其中,至少一个卷积层之间级联。
可选地,确定模块具体用于:
根据分割决策值确定分割概率值;
根据分割概率值心脏图像中右心室的轮廓图。
可选地,调整模块具体用于:
根据所述分割决策值计算具有形状约束的网络损失函数;
根据所述损失函数对所述层次残差神经的网络参数进行调整,以输出已训练的层次残差神经。
可选地,确定模块具体用于:
根据如下公式确定心脏图像中第i个像素属于背景的概率:
Figure BDA0002063592740000111
根据如下公式确定心脏图像中第i个像素属于右心室的概率:
Figure BDA0002063592740000112
其中,
Figure BDA0002063592740000113
为心脏图像中第i个像素属于背景的决策值,
Figure BDA0002063592740000114
为心脏图像中第i个像素属于右心室的决策值。
调整模块具体用于:
根据如下公式计算网络损失函数
Figure BDA0002063592740000115
其中,i表示图像中第i个像素,
Figure BDA0002063592740000116
为初始轮廓图中像素点i是否属于右心室,
Figure BDA0002063592740000117
为初始轮廓图中像素点i是否背景的标注,
Figure BDA0002063592740000118
表示像素点i属于右心室,
Figure BDA0002063592740000119
表示像素点i属于背景;
APD是根据分割决策值计算的右心室轮廓与心脏图中右心室的初始轮廓之间的平均垂直距离,具体计算公式如下:
Figure BDA0002063592740000121
其中,(xi,yi)是根据分割决策值计算的右心室轮廓上第i个像素的坐标,
Figure BDA0002063592740000122
是心脏图中右心室的初始轮廓上第j个像素的坐标,N是根据分割决策值计算的右心室轮廓上点的个数。
图6为本发明根据一示例性实施例示出的电子设备的结构示意图。如图6所示,本实施例的电子设备400包括:处理器401以及存储器402,其中,
存储器402,用于存储计算机执行指令;
处理器401,用于执行存储器存储的计算机执行指令,以实现上述实施例中接收设备所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选的,存储器402既可以是独立的,也可以跟处理器401集成在一起。
当存储器402独立设置时,该电子设备400还包括总线403,用于连接存储器402和处理器401。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上的分割方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种分割方法,其特征在于,包括:
接收待分割的心脏图像;
利用已训练的层次残差神经网络对所述待分割的心脏图像进行处理,其中,所述层次残差神经网络包括:至少一个残差层和至少一个全卷积层,所述至少一个残差层用于对所述图像训练集进行编码处理,所述至少一个全卷积层用于对所述残差层输出的编码图像进行解码处理,以输出所述待分割的心脏图像的分割决策值;
根据所述分割决策值确定所述心脏图像中右心室的轮廓图;
其中,在所述利用已训练的层次残差神经网络对所述待分割的心脏图像进行处理,之前还包括:
接收图像训练集;其中,所述图像训练集包括:心脏图像和所述心脏图像中右心室的初始轮廓图;
构建所述层次残差神经网络;
利用所述图像训练集对所述层次残差神经网络进行训练,以输出所述训练图像的分割决策值;
利用所述分割决策值计算网络损失函数,根据所述损失函数对所述层次残差神经的网络参数进行调整,以输出已训练的层次残差神经;损失函数计算公式为:
Figure FDA0002936956860000011
其中i表示图像中第i个像素,
Figure FDA0002936956860000012
为初始轮廓图像像素点i是否属于右心室,
Figure FDA0002936956860000013
为初始轮廓图中像素点i是够背景的标注,
Figure FDA0002936956860000014
表示像素点i属于右心室,
Figure FDA0002936956860000015
表示像素点i属于背景,
Figure FDA0002936956860000016
是心脏图像中第i个像素属于背景的概率,
Figure FDA0002936956860000017
是心脏图像中第i个像素属于右心室的概率,APD是根据分割决策值计算的右心室轮廓与心脏图中右心室的初始轮廓之间的平均垂直距离;
Figure FDA0002936956860000018
(xi,yi)是根据分割决策值计算的右心室轮廓上第i个像素的坐标,
Figure FDA0002936956860000019
是心脏图中右心室的初始轮廓上第j个像素的坐标,N是根据分割决策值计算的右心室轮廓上点的个数。
2.根据权利要求1所述的方法,其特征在于,所述至少一个残差层之间通过下采样级联,所述至少一个全卷积层之间通过上采样级联;位于上一级的所述全卷积层的输出数据和位于同一级的所述残差层的输出数据为所述全卷积层的输入。
3.根据权利要求2所述的方法,其特征在于,所述残差层包括至少一个残差块,其中,所述至少一个残差块之间级联。
4.根据权利要求1所述的方法,其特征在于,所述全卷积层包括至少一个卷积层,其中,所述至少一个卷积层之间级联。
5.根据权利要求1所述的方法,其特征在于,所述根据所述分割决策值确定所述心脏图像中右心室的轮廓图,具体包括:
根据所述分割决策值确定分割概率值;
根据所述分割概率值所述心脏图像中右心室的轮廓图。
6.根据权利要求1所述的方法,其特征在于,所述根据所述分割决策值计算网络损失函数,根据所述损失函数对所述层次残差神经的网络参数进行调整,以输出已训练的层次残差神经,具体包括:
根据所述分割决策值计算具有形状约束的网络损失函数;
根据所述损失函数对所述层次残差神经的网络参数进行调整,以输出已训练的层次残差神经。
7.一种分割装置,其特征在于,所述分割装置用于实现如权利要求1-6任一项所述分割方法,所述装置包括:
接收模块,用于接收待分割的心脏图像,
处理模块,用于利用已训练的层次残差神经网络对所述待分割的心脏图像进行处理,其中,所述层次残差神经网络包括:至少一个残差层和至少一个全卷积层,所述至少一个残差层用于对所述图像训练集进行编码处理,所述至少一个全卷积层用于对所述残差层输出的编码图像进行解码处理,以输出所述待分割的心脏图像的分割决策值;
确定模块,用于根据所述分割决策值确定所述心脏图像中右心室的轮廓图。
8.一种电子设备,其特征在于,包括:至少一个处理器和存储器;
其中,所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至6任一项所述的分割方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至6任一项所述的分割方法。
CN201910413534.XA 2019-05-17 2019-05-17 分割方法、装置、设备以及存储介质 Active CN110136135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910413534.XA CN110136135B (zh) 2019-05-17 2019-05-17 分割方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910413534.XA CN110136135B (zh) 2019-05-17 2019-05-17 分割方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110136135A CN110136135A (zh) 2019-08-16
CN110136135B true CN110136135B (zh) 2021-07-06

Family

ID=67575039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910413534.XA Active CN110136135B (zh) 2019-05-17 2019-05-17 分割方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110136135B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110739050B (zh) * 2019-12-20 2020-07-28 深圳大学 一种左心室全参数及置信度的量化方法
CN111353978B (zh) * 2020-02-26 2023-05-12 合肥凯碧尔高新技术有限公司 一种识别心脏解剖学结构的方法及装置
CN111784696B (zh) * 2020-06-28 2023-08-01 深圳大学 一种训练右心室分割模型、右心室分割的方法及***
CN111784732B (zh) * 2020-06-28 2023-07-28 深圳大学 训练心脏运动场估计模型、心脏运动场估计的方法及***
CN111968112B (zh) * 2020-09-02 2023-12-26 广州海兆印丰信息科技有限公司 Ct三维定位图像的获取方法、装置和计算机设备
CN112686900B (zh) * 2020-12-31 2024-06-18 北京医智影科技有限公司 用于图像自动处理的方法、装置、电子设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979764A (zh) * 2017-12-06 2018-05-01 中国石油大学(华东) 基于语义分割和多层注意力框架的视频字幕生成方法
EP3343923A1 (en) * 2015-08-24 2018-07-04 Huawei Technologies Co., Ltd. Motion vector field coding method and decoding method, and coding and decoding apparatuses
CN108647585A (zh) * 2018-04-20 2018-10-12 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
CN108647775A (zh) * 2018-04-25 2018-10-12 陕西师范大学 基于全卷积神经网络单张图像的超分辨率图像重建方法
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN109118495A (zh) * 2018-08-01 2019-01-01 沈阳东软医疗***有限公司 一种视网膜血管分割方法和装置
CN109166130A (zh) * 2018-08-06 2019-01-08 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
KR20190014771A (ko) * 2017-08-03 2019-02-13 (주)아이피티브이코리아 초고해상도 영상 스티칭 방법 및 시스템
CN109493317A (zh) * 2018-09-25 2019-03-19 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
CN109544563A (zh) * 2018-11-12 2019-03-29 北京航空航天大学 一种面向违禁物安检的被动毫米波图像人体目标分割方法
CN109584246A (zh) * 2018-11-16 2019-04-05 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607329B2 (en) * 2017-03-13 2020-03-31 Adobe Inc. Illumination estimation from a single image

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3343923A1 (en) * 2015-08-24 2018-07-04 Huawei Technologies Co., Ltd. Motion vector field coding method and decoding method, and coding and decoding apparatuses
KR20190014771A (ko) * 2017-08-03 2019-02-13 (주)아이피티브이코리아 초고해상도 영상 스티칭 방법 및 시스템
CN107979764A (zh) * 2017-12-06 2018-05-01 中国石油大学(华东) 基于语义分割和多层注意力框架的视频字幕生成方法
CN108647585A (zh) * 2018-04-20 2018-10-12 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
CN108647775A (zh) * 2018-04-25 2018-10-12 陕西师范大学 基于全卷积神经网络单张图像的超分辨率图像重建方法
CN109118495A (zh) * 2018-08-01 2019-01-01 沈阳东软医疗***有限公司 一种视网膜血管分割方法和装置
CN109166130A (zh) * 2018-08-06 2019-01-08 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN109493317A (zh) * 2018-09-25 2019-03-19 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
CN109544563A (zh) * 2018-11-12 2019-03-29 北京航空航天大学 一种面向违禁物安检的被动毫米波图像人体目标分割方法
CN109584246A (zh) * 2018-11-16 2019-04-05 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Residual Deconvolutional Networks for Brain Electron Microscopy Image Segmentation;Ahmed Fakhry等;《 IEEE TRANSACTIONS ON MEDICAL IMAGING》;20170228;第447-455页 *
基于深度学习的全自动心肌分割算法研究;吴圣杰;《中国优秀硕士学位论文全文数据库(医药卫生科技辑)》;20180615(第06期);第E080-14页 *

Also Published As

Publication number Publication date
CN110136135A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110136135B (zh) 分割方法、装置、设备以及存储介质
US10460447B2 (en) Method and system for performing segmentation of image having a sparsely distributed object
JP6505124B2 (ja) 適応性放射線治療における自動輪郭抽出システム及び方法
US10817758B2 (en) Framework for integrating deformable modeling with 3D deep neural network segmentation
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及***
CN115661144B (zh) 基于可变形U-Net的自适应医学图像分割方法
CN111369623B (zh) 一种基于深度学习3d目标检测的肺部ct图像识别方法
CN113095333B (zh) 无监督特征点检测方法及装置
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及***
CN112602114A (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
CN114897780A (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN113920109A (zh) 医疗影像识别模型训练方法、识别方法、装置及设备
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN111091560A (zh) 鼻咽癌原发肿瘤图像识别方法及***
CN108305268A (zh) 一种图像分割方法及装置
CN116703992A (zh) 一种三维点云数据精确配准方法、装置、设备及存储介质
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
CN115618714A (zh) 一种太阳辐射概率预报方法及相关设备
CN115375583A (zh) 一种pet参数图像的增强方法、装置、设备及存储介质
Chen et al. Image denoising via generative adversarial networks with detail loss
CN115100115A (zh) 一种器官图像分割的方法、装置、设备及存储介质
CN113095328A (zh) 一种基尼指数引导的基于自训练的语义分割方法
CN111784696A (zh) 一种训练右心室分割模型、右心室分割的方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant