CN110570394A - 医学图像分割方法、装置、设备及存储介质 - Google Patents

医学图像分割方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110570394A
CN110570394A CN201910707182.9A CN201910707182A CN110570394A CN 110570394 A CN110570394 A CN 110570394A CN 201910707182 A CN201910707182 A CN 201910707182A CN 110570394 A CN110570394 A CN 110570394A
Authority
CN
China
Prior art keywords
medical image
capsule
segmented
image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910707182.9A
Other languages
English (en)
Other versions
CN110570394B (zh
Inventor
胡战利
贺阳素
吴垠
梁栋
杨永峰
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201910707182.9A priority Critical patent/CN110570394B/zh
Priority to PCT/CN2019/110402 priority patent/WO2021017168A1/zh
Publication of CN110570394A publication Critical patent/CN110570394A/zh
Application granted granted Critical
Publication of CN110570394B publication Critical patent/CN110570394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种医学图像分割方法、装置、设备及存储介质，该方法包括：获取包含目标分割区域的待分割医学图像；将所述待分割医学图像输入至已训练的神经网络模型中，以使所述已训练的神经网络模型对所述待分割医学图像进行图像分割以得到所述目标分割区域，其中，该神经网络模型包括收缩模块和扩张模块，所述收缩模块用于通过由不同步长的胶囊卷积所构成的胶囊卷积层对所述待分割医学图像进行降采样以提取不同尺寸的特征图；所述扩张模块用于通过胶囊反卷积层逐步恢复所接收的来自所述收缩模块的所述不同尺寸的特征图以生成目标尺寸的特征图。解决了现有技术的图像分割方法耗时较长的问题。

Description

医学图像分割方法、装置、设备及存储介质
技术领域
本发明实施例涉及医学图像处理领域，尤其涉及一种医学图像分割方法、 装置、设备及存储介质。
背景技术
为了便于医生的临床诊断，通常需要对医学图像进行分割以将目标器官组 织从原始医学图像中提取出来，以便于医生获取目标器官组织的细节信息，从 而提高医生临床诊断的准确率。
现有技术的医学图像分割方法主要包括手动分割和基于机器学习的分割方 法，但无论哪一种分割方法，均常需要花费较长的时间才能完成图像分割，从 而限制了现有图像分割方法在较为复杂的器官组织分割上的应用。
发明内容
本发明实施例提供了一种医学图像分割方法、装置、设备及存储介质，以 解决现有技术的图像分割方法耗时较长的问题。
第一方面，本发明实施例提供了一种医学图像分割方法，包括：
获取包含目标分割区域的待分割医学图像；
将所述待分割医学图像输入至已训练的神经网络模型中，以使所述已训练 的神经网络模型对所述待分割医学图像进行图像分割以得到所述目标分割区 域，其中，该神经网络模型包括收缩模块和扩张模块，所述收缩模块用于通过 由不同步长的胶囊卷积所构成的胶囊卷积层对所述待分割医学图像进行降采样 以提取不同尺寸的特征图；所述扩张模块用于通过胶囊反卷积层逐步恢复所接 收的来自所述收缩模块的所述不同尺寸的特征图以生成目标尺寸的特征图。
第二方面，本发明实施例还提供了一种医学图像分割装置，包括：
获取部分，用于获取包含目标分割区域的待分割医学图像；
输出部分，用于将所述待分割医学图像输入至已训练的神经网络模型中， 以使所述已训练的神经网络模型对所述待分割医学图像进行图像分割以得到所 述目标分割区域，其中，该神经网络模型包括收缩模块和扩张模块，所述收缩 模块用于通过由不同步长的胶囊卷积所构成的胶囊卷积层对所述待分割医学图 像进行降采样以提取不同尺寸的特征图；所述扩张模块用于通过胶囊反卷积层 逐步恢复所接收的来自所述收缩模块的所述不同尺寸的特征图以生成目标尺寸 的特征图。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多 个处理器实现如第一方面所述的图像分割方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质， 所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的图 像分割方法。
本发明实施例提供的图像分割方法的技术方案，通过已训练的神经网络模 型对待分割医学图像进行图像分割以得到目标分割区域，且该神经网络模型包 括收缩模块和扩张模块，收缩模块用于通过由不同步长的胶囊卷积所构成的胶 囊卷积层对待分割医学图像进行降采样以提取不同尺寸的特征图；扩张模块用 于通过胶囊反卷积层逐步恢复所接收的来自收缩模块的不同尺寸的特征图以生 成目标尺寸的特征图。通过对神经网络模型结构的改进减少了模型参数，从而 提高了改进后的神经网络模型的图像分割的速度和准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所 需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的 一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的图像分割方法的流程图；
图2A是本发明实施例一提供的医学图像的示意图；
图2B是本发明实施例一提供的第一边缘图像的示意图；
图2C是本发明实施例一提供的第二边缘图像的示意图；
图2D是本发明实施例一提供的霍夫圆定位示意图；
图3是本发明实施例一提供的图像分割流程图；
图4是本发明实施例一提供的神经网络模型的架构示意图；
图5是本发明实施例二提供的医学图像分割装置的结构框图；
图6是本发明实施例三提供的设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例 中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述 的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施 例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。
实施例一
图1是本发明实施例一提供的医学图像分割方法的流程图。本实施例的技 术方案适用于基于已训练的神经网络模型对待分割医学图像进行分割以得到目 标分割区域的情况。该方法可以由本发明实施例提供的图像分割装置来执行， 该装置可以采用软件和/或硬件的方式实现，并配置在处理器中应用。该方法具 体包括如下步骤：
S101、获取包含目标分割区域的待分割医学图像。
其中，待分割医学图像为直接参与图像分割的图像，可以是完整的医学图 像，也可以是包含目标分割区域的部分医学图像，其中，医学图像为常用临床 诊断图像，比如CT(Computed Tomography，简称CT，电子计算机断层扫描)图 像、MRI(Magnetic ResonanceImaging，简称MRI，磁共振成像)图像和PET (Positron Emission Computed Tomography，简称PET，正电子发射型计算机断 层成像)图像等。
对于后者，本实施优选先对临床诊断医学图像进行裁剪以得到包括目标分 割区域在内的待分割医学图像。具体可选为，以目标分割区域在医学图像上的 中心点为中心，对医学图像进行裁剪以生成包含目标分割区域的待分割医学图 像。可以理解的是，该待分割医学图像的尺寸小于所获取的医学图像的尺寸， 且待分割医学图像的尺寸与原医学图像的尺寸的比例通常根据目标分割区域的 大小来确定。示例性的，以左心室为例，待分割医学图像的尺寸优选设置为原 医学图像的尺寸的二分之一。比如，现有医学图像大小通常为512×512，那么 待分割医学图像的大小则为256×256。
其中，前述中心点的确定方法可选为：先对该医学图像进行三维傅里叶变 换，并对三维傅里叶变换的结果的一次谐波进行傅里叶逆变换以得到第一边缘 图像；对该第一边缘图像进行预设边缘检测以得到目标分割区域的截面轮廓图 像；将该截面轮廓图像中的截面轮廓的中心点作为该目标分割区域在医学图像 上的中心点。
可以理解的是，当心脏有频率搏动时，每个像素位置处的灰度值随时间变 化而变化，而且随着时间的推移，每个像素的灰度值会在很大范围内变化，据 此可将心脏与其他周围结构区分出来。以MR图像为例，在MR图像采集时， 通常会采集多个心动周期的心脏MR图像，因此该图像的切片的短轴心脏MR 图像包含整个心动周期，且每个切片图像可被视为随时间变化的二维图像。因 此本实施例在每个切片上沿时间轴执行三维傅里叶变换。其中，三维傅里叶变 换的定义为：
其中，f(t,x,y)为L×M×N矩阵，x＝0,1,…,M-1；y＝0,1,…,N-1；t＝0,1,…,L-1。
由于心脏周期运动在相同的频率上，因此MR图像(如图2A)在三维傅里 叶变换之后，对三维傅立叶变换的一次谐波使用傅里叶逆变换可以获得携带有 轮廓信息的第一边缘图像，参见图2B。
第一边缘图像得到之后，优选通过Canny边缘检测提取第一边缘图像的边 缘信息以生成第二边缘图像(参见图2C)，该第二边缘图像包括目标分割区域 的边缘信息以及其它区域的边缘信息。第二边缘图像确定后，再确定目标分割 区域的中心位置。
以左心室为例，考虑到左心室截面近似“圆形”，本实施例通过霍夫圆检 测提取该第二边缘图像的圆信息以得到目标分割区域的截面轮廓图像(参见图 2D)，然后将该截面轮廓图像中的截面轮廓的中心点作为目标分割区域在医学 图像上的中心点。可以理解的是，第二边缘图像中可能包含多个圆形，为了提 高截面轮廓确定的准确性，本实施例优选先确定检测出的各个霍夫圆的P得分， 然后将P得分最大的霍夫圆作为目标分割区域的截面轮廓图像，其中，P是一 个超参数。霍夫圆确定之后，通过高斯核函数结合LV似然表面的最大值确定 目标分割区域的截面轮廓中心点，并以该中心点作为左心室的中心从医学图像 中裁剪出固定尺寸的待分割医学图像(参见图3)。
其中，高斯函数定义：
其中，x0和y0是霍夫圆的中心坐标，σx和σy是方差，其被设置为固定值， A是霍夫圆的峰值的累积值。
S102、将待分割医学图像输入至已训练的神经网络模型中，以使已训练的 神经网络模型对待分割医学图像进行图像分割以得到目标分割区域，其中，该 神经网络模型包括收缩模块和扩张模块，收缩模块用于通过由不同步长的胶囊 卷积所构成的胶囊卷积层对待分割医学图像进行降采样以提取不同尺寸的特征 图；扩张模块用于通过胶囊反卷积层逐步恢复所接收的来自收缩模块的不同尺 寸的特征图以生成目标尺寸的特征图。
为了便于医生获得目标分割区域的细节信息，通常需要对待分割医学图像 进行图像分割，以将目标分割区域从待分割医学图像中提取出来，为此本实施 例引入了已训练的神经网络模型，使用该已训练的神经网络模型对待分割医学 图像进行分割。参见图3，具体为，将待分割医学图像输入至该已训练的神经 网络模型，以使该已训练的神经网络模型对待分割医学图像进行图像分割以得 到目标分割区域图像。
其中，如图4所示，本实施例的收缩模块至少包括三个胶囊卷积层，胶囊 卷积层至少包括相连接的两种步长的胶囊卷积，且大步长的胶囊卷积位于小步 长的胶囊卷积之后；扩张模块至少包括三个胶囊反卷积层，胶囊反卷积层至少 包括相连接的胶囊卷积和胶囊反卷积，且该胶囊卷积为小步长的胶囊卷积；胶 囊卷积层的层数与胶囊反卷积层的层数相同。其中，大步长的胶囊卷积的步长 优选为2，小步长的胶囊卷积的步长优选为1。
示例性的，如图4所示，本实施例的神经网络模型的结构类似于U-net，但 又不同于U-net，它通过胶囊卷积层代替卷积层和池化层，使用胶囊反卷积层执 行反卷积运算。胶囊卷积层为收缩阶段，胶囊反卷积层为扩张阶段，收缩阶段 由用于提取图像特征的胶囊卷积层组成，每个胶囊卷积层使用5×5卷积核。在 每个步长为1的胶囊卷积之后，通过步长为2的胶囊卷积对特征图进行下采样， 以使网络能全局学习特征。扩张阶段的每一步都包括特征图的上采样和4×4的 胶囊反卷积，将特征通道的数量减半并与来自收缩路径的相应特征图连接。最 后使用3层1×1的卷积运算得到目标分割区域。
可以理解的是，在收缩模块之前还包括卷积网络模块，该卷积网络模块包 括一个卷积层，从而使输入模型的图像通过二维卷积层产生16个大小相同的特 征图，重新形成四维(128×128×1×16)张量，该张量作为收缩阶段的输入。 其中，图4示出的神经网络模型共有16层，包括4个卷积层，9个胶囊卷积层 和3个胶囊反卷积层。可以理解的是，在实际使用中，卷积层、胶囊卷积层以 及胶囊反卷积层的数量可以根据具体情况进行调整，但需满足胶囊卷积层的层 数与胶囊反卷积层的层数相同。
本发明实施例提供的图像分割方法的技术方案，通过已训练的神经网络模 型对待分割医学图像进行图像分割以得到目标分割区域，且该神经网络模型包 括收缩模块和扩张模块，收缩模块用于通过由不同步长的胶囊卷积所构成的胶 囊卷积层对待分割医学图像进行降采样以提取不同尺寸的特征图；扩张模块用 于通过胶囊反卷积层逐步恢复所接收的来自收缩模块的不同尺寸的特征图以生 成目标尺寸的特征图。通过对神经网络模型结构的改进减少了模型参数，从而 提高了改进后的神经网络模型的图像分割的速度和准确度。
实施例二
本发明实施例二提供了一种图像分割方法。在上述实施例的基础上，增加 了对神经网络模型结构的说明。
本实施例的卷积神经网络包括卷积网络模块、收缩模块和扩展模块，其中， 卷积网络模块用于依次对待分割医学图像进行二维卷积和非线性激活优化。其 中，二维卷积为线性运算，公式如下：
其中，i和j为待分割医学图像的像素位置，I和Kl分别为待分割医学图像 和第l个卷积核，m和n分别为卷积核的宽和高，经过二维卷积计算之后，再通 过非线性激活优化对二维卷积的结果进行优化。其中，非线性激活优化的公式 为：
其中，Sl(i,j)为上一步二维卷积第l维的输出，f(x)为非线性激活的输出。
由于左心室的特征具有二维结构，因此将待分割医学图像输入卷积网络模 块之后得到四维(128×128×1×16)张量，即16个特征图，将这16个特征图作为 收缩模块的输入。
对于收缩模块，胶囊卷积的核心是由来自低层胶囊卷积层的输出与高层胶 囊卷积层输出的最佳匹配。在第l个胶囊卷积层中，存在胶囊类型集合 对于每一种胶囊类型，存在C＝{C11,...C1w,...Ch1,...Chw}，是h×w个 z维胶囊，在第l+1个胶囊卷积层中，每个胶囊会收到 向量预测其中，
其中，为矩阵权重，为低层特征，为路由算法中的路由系数，为胶囊所对应的向量，其中，的计算公式如下：
其中，k为胶囊类型数量。
非线性变换公式如下：
其中，||Sxy||为Sxy的范数。
在扩张模块中，对于胶囊反卷积层输入步长补0，边界填充补0之后进行 卷积运算，卷积公式参见公式(3)。其中，本实施例的胶囊反卷积层的参数也 是基于动态路由算法进行更新。
对于动态路由算法，参数：d、l、kh和kw。为低层l层的胶囊卷 积的输出；d为路由迭代次数，对于在第l层的kh×kw内的所有胶囊类型胶囊 xy以第l+1层的(x,y)为中心点。那么本实施例的神经网络模型中各参数更新过 程为：
其中，箭头表示赋值。
第d次迭代时，在l层的胶囊类型：
对于l+1层所有的胶囊卷积xy：
对于l+1层所有的胶囊卷积xy：
对于l层的所有胶囊类型和l+1层的所有胶囊xy：
最后返回Vxy。
可以理解的是，在使用神经网络模型进行图像分割之前，需要先获取大量 的训练样本，且每个训练样本均标识有目标分割区域，然后使用训练样本对神 经网络模型进行训练从而得到已训练的神经网络模型。已训练的神经网络模型 得到之后，即可用其对待分割医学图像进行图像分割。
本实施例的神经网络模型通过Softmax输出概率图，其指定每个像素的目 标概率，然后使用Otsu自适应阈值算法获得阈值，该算法将概率图划分为具有 最小方差的两个类别。在确定了待分割医学图像的各个像素的类别之后，基于 形态学图像处理方法确定目标分割区域。具体可选为，首先标记连接区域(如 果两个像素相邻，则它们被认为处于相互连接的区域中，或者它们在二进制图 像中具有相同的值)。连接区域中的所有像素都标有相同的值，称为“连接区域 标记”。其次，根据连接区域的大小，低于阈值的区域被视为背景区域，而高于 或等于阈值的区域被视为目标区域，最后对目标区域进行闭运算以填充目标区 域中的小孔，连接相邻目标区域并平滑边界，同时避免其区域的显着变化，从 而确定最终的目标分割区域。目标分割区域确定之后，将该目标分割区域从待 分割医学图像中提取出来。
基于本实施例的神经网络模型所对应的已训练的神经网络模型，与SegCaps 神经网络模型所对应的已训练的神经网络模型对相同的医学图形进行图像分割 处理，并统计分割处理结果的各个指标数据，如下述表1所示。从该表中可以 看出，本发明实施例的神经网络模型所对应的已训练的神经网络模型的图像分 割结果的各个指标数据，均优于SegCaps神经网络所对应的已训练的神经网络 模型的图像分割结果的各个指标数据。其中，Dice为相似度，Jaccard又称为 Jaccard相似系数(Jaccard similarity coefficient)用于比较有限样本集之间的相似 性与差异性。MSD为平均表面距离。HD为Hausdorff距离。
表1图像分割结果统计指标汇总表
相较于现有技术的神经网络模型，特别是现有技术的胶囊网络模型，通过 胶囊卷积与非胶囊卷积的合理配置，大大减少了网络模型参数，从而减少图像 分割的运算量，并在减少图像分割运算量的同时提高图像分割的准确性。
实施例三
图5是本发明实施例三提供的医学图像分割装置的结构框图。该装置用于 执行上述任意实施例所提供的医学图像分割方法，该装置可选为软件或硬件实 现。该装置包括：
获取部分21，用于获取包含目标分割区域的待分割医学图像；
输出部份22，用于将待分割医学图像输入至已训练的神经网络模型中，以 使已训练的神经网络模型对待分割医学图像进行图像分割以得到目标分割区 域，其中，该神经网络模型包括收缩模块和扩张模块，收缩模块用于通过由不 同步长的胶囊卷积所构成的胶囊卷积层对待分割医学图像进行降采样以提取不 同尺寸的特征图；扩张模块用于通过胶囊反卷积层逐步恢复所接收的来自收缩 模块的不同尺寸的特征图以生成目标尺寸的特征图。
其中，获取部分包括：
获取单元，用于获取包含目标分割区域的医学图像，并确定目标分割区域 在医学图像上的中心点；
确定单元，用于以中心点为中心对医学图像进行裁剪以生成包含目标分割 区域的待分割医学图像，其中，待分割医学图像的尺寸小于医学图像的尺寸。
其中，确定单元包括：
第一边缘图像子单元，用于对所述医学图像进行三维傅里叶变换，并对所 述三维傅里叶变换的结果的一次谐波进行傅里叶逆变换以得到第一边缘图像；
边缘检测子单元，用于对所述第一边缘图像进行预设边缘检测以得到目标 分割区域的截面轮廓图像；
中心点子单元，用于将所述截面轮廓图像中的截面轮廓的中心点作为所述 目标分割区域在所述医学图像上的中心点。
其中，边缘检测子单元具体可用于对第一边缘图像进行Canny边缘检测以 得到第二边缘图像；以及对第二边缘图像进行霍夫圆检测以得到目标分割区域 的截面轮廓图像。
其中，胶囊卷积层包括至少三组由两种步长的胶囊卷积组成的胶囊卷积组 合，且大步长的胶囊卷积位于小步长的胶囊卷积之后；胶囊反卷积层包括至少 三组由胶囊反卷积和胶囊卷积组成的胶囊反卷积组合，且该胶囊卷积为小步长 的胶囊卷积；胶囊卷积组合的数量与胶囊反卷积组合的数量相同。
其中，神经网络模型包括位于收缩模块之前的卷积网络模块，卷积网络模 块用于对待分割医学图像依次进行二维卷积和非线性激活优化。
其中，胶囊卷积层和胶囊反卷积层均基于动态路由算法进行参数调整。
本发明实施例提供的医学图像分割装置的技术方案，通过已训练的神经网 络模型对待分割医学图像进行图像分割以得到目标分割区域，且该神经网络模 型包括收缩模块和扩张模块，收缩模块用于通过由不同步长的胶囊卷积所构成 的胶囊卷积层对待分割医学图像进行降采样以提取不同尺寸的特征图；扩张模 块用于通过胶囊反卷积层逐步恢复所接收的来自收缩模块的不同尺寸的特征图 以生成目标尺寸的特征图。通过对神经网络模型结构的改进提高了神经网络模 型的图像分割速度、准确度和普适性。
本发明实施例所提供的图像分割装置可执行本发明任意实施例所提供的图 像分割方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的设备的结构示意图，如图6所示，该设备包 括处理器301、存储器302、输入装置303以及输出装置304；设备中处理器301 的数量可以是一个或多个，图6中以一个处理器301为例；设备中的处理器301、 存储器302、输入装置303以及输出装置304可以通过总线或其他方式连接， 图6中以通过总线连接为例。
存储器302作为一种计算机可读存储介质，可用于存储软件程序、计算机 可执行程序以及模块，如本发明实施例中的医学图像分割方法对应的程序指令/ 模块(例如，获取部分21和输出部分22)。处理器301通过运行存储在存储器 302中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处 理，即实现上述的医学图像分割方法。
存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存 储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使 用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以 包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失 性固态存储器件。在一些实例中，存储器302可进一步包括相对于处理器301 远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实 例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置303可用于接收输入的数字或字符信息，以及产生与设备的用户 设置以及功能控制有关的键信号输入。
输出装置304可包括显示屏等显示设备，例如，用户终端的显示屏。
实施例五
本发明实施例五还提供了一种包含计算机可执行指令的存储介质，所述计 算机可执行指令在由计算机处理器执行时用于执行一种医学图像分割方法，该 方法包括：
获取包含目标分割区域的待分割医学图像；
将所述待分割医学图像输入至已训练的神经网络模型中，以使所述已训练 的神经网络模型对所述待分割医学图像进行图像分割以得到所述目标分割区 域，其中，该神经网络模型包括收缩模块和扩张模块，所述收缩模块用于通过 由不同步长的胶囊卷积所构成的胶囊卷积层对所述待分割医学图像进行降采样 以提取不同尺寸的特征图；所述扩张模块用于通过胶囊反卷积层逐步恢复所接 收的来自所述收缩模块的所述不同尺寸的特征图以生成目标尺寸的特征图。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其 计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例 所提供的医学图像分割方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到， 本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很 多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上 或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机 软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory， 简称RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算 机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施 例所述的医学图像分割方法。
值得注意的是，上述医学图像分割装置的实施例中，所包括的各个单元和 模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现 相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并 不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽 然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以 上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种医学图像分割方法，其特征在于，包括：
获取包含目标分割区域的待分割医学图像；
将所述待分割医学图像输入至已训练的神经网络模型中，以使所述已训练的神经网络模型对所述待分割医学图像进行图像分割以得到所述目标分割区域，其中，该神经网络模型包括收缩模块和扩张模块，所述收缩模块用于通过由不同步长的胶囊卷积所构成的胶囊卷积层对所述待分割医学图像进行降采样以提取不同尺寸的特征图；所述扩张模块用于通过胶囊反卷积层逐步恢复所接收的来自所述收缩模块的所述不同尺寸的特征图以生成目标尺寸的特征图。
2.根据权利要求1所述的方法，其特征在于，所述获取包含目标分割区域的待分割医学图像，包括：
获取包含目标分割区域的医学图像，并确定所述目标分割区域在所述医学图像上的中心点；
以所述中心点为中心对所述医学图像进行裁剪以生成包含目标分割区域的待分割医学图像，其中，所述待分割医学图像的尺寸小于所述医学图像的尺寸。
3.根据权利要求2所述的方法，其特征在于，所述确定所述目标分割区域在所述医学图像上的中心点，包括：
对所述医学图像进行三维傅里叶变换，并对所述三维傅里叶变换的结果的一次谐波进行傅里叶逆变换以得到第一边缘图像；
对所述第一边缘图像进行预设边缘检测以得到目标分割区域的截面轮廓图像；
将所述截面轮廓图像中的截面轮廓的中心点作为所述目标分割区域在所述医学图像上的中心点。
4.根据权利要求3所述的方法，其特征在于，所述目标区域的截面轮廓为圆形，相应的，所述对所述第一边缘图像进行预设边缘检测以得到目标分割区域的截面轮廓图像，包括：
对所述第一边缘图像进行Canny边缘检测以得到第二边缘图像；
对所述第二边缘图像进行霍夫圆检测以得到目标分割区域的截面轮廓图像。
5.根据权利要求1-4任一所述的方法，其特征在于，所述收缩模块至少包括三个胶囊卷积层，所述胶囊卷积层至少包括相连接的两种步长的胶囊卷积，且大步长的胶囊卷积位于小步长的胶囊卷积之后；
所述扩张模块至少包括三个胶囊反卷积层，所述胶囊反卷积层至少包括相连接的胶囊卷积和胶囊反卷积，且该胶囊卷积为所述小步长的胶囊卷积；
所述胶囊卷积层的层数与所述胶囊反卷积层的层数相同。
6.根据权利要求1所述的方法，其特征在于，所述神经网络模型还包括位于收缩模块之前的卷积网络模块，所述卷积网络模块用于对所述待分割医学图像依次进行二维卷积和非线性激活优化。
7.根据权利要求6所述的方法，其特征在于，所述胶囊卷积层和胶囊反卷积层均基于动态路由算法进行参数调整。
8.一种医学图像分割装置，其特征在于，包括：
获取部分，用于获取包含目标分割区域的待分割医学图像；
输出部分，用于将所述待分割医学图像输入至已训练的神经网络模型中，以使所述已训练的神经网络模型对所述待分割医学图像进行图像分割以得到所述目标分割区域，其中，该神经网络模型包括收缩模块和扩张模块，所述收缩模块用于通过由不同步长的胶囊卷积所构成的胶囊卷积层对所述待分割医学图像进行降采样以提取不同尺寸的特征图；所述扩张模块用于通过胶囊反卷积层逐步恢复所接收的来自所述收缩模块的所述不同尺寸的特征图以生成目标尺寸的特征图。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的图像分割方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的图像分割方法。
CN201910707182.9A 2019-08-01 2019-08-01 医学图像分割方法、装置、设备及存储介质 Active CN110570394B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910707182.9A CN110570394B (zh) 2019-08-01 2019-08-01 医学图像分割方法、装置、设备及存储介质
PCT/CN2019/110402 WO2021017168A1 (zh) 2019-08-01 2019-10-10 图像分割方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910707182.9A CN110570394B (zh) 2019-08-01 2019-08-01 医学图像分割方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110570394A true CN110570394A (zh) 2019-12-13
CN110570394B CN110570394B (zh) 2023-04-28

Family

ID=68774259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910707182.9A Active CN110570394B (zh) 2019-08-01 2019-08-01 医学图像分割方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110570394B (zh)
WO (1) WO2021017168A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325737A (zh) * 2020-02-28 2020-06-23 上海志唐健康科技有限公司 低剂量ct图像处理方法、装置和计算机设备
CN111951321A (zh) * 2020-08-21 2020-11-17 上海西门子医疗器械有限公司 处理计算机断层扫描的图像的方法及计算机断层扫描设备
CN112950652A (zh) * 2021-02-08 2021-06-11 深圳市优必选科技股份有限公司 机器人及其手部图像分割方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065480B (zh) * 2021-04-09 2023-07-07 暨南大学 书法作品风格的识别方法、装置、电子装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101357067A (zh) * 2007-05-01 2009-02-04 韦伯斯特生物官能公司 超声图像中的边缘检测
CN105261006A (zh) * 2015-09-11 2016-01-20 浙江工商大学 基于傅里叶变换的医学图像分割算法
CN108629774A (zh) * 2018-05-11 2018-10-09 电子科技大学 一种基于霍夫圆变换的环形物体计数方法
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割***及计算机可读存储介质
CN109840560A (zh) * 2019-01-25 2019-06-04 西安电子科技大学 基于胶囊网络中融入聚类的图像分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、***和介质
CN109118479B (zh) * 2018-07-26 2022-07-19 中睿能源（北京）有限公司 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN109711411B (zh) * 2018-12-10 2020-10-30 浙江大学 一种基于胶囊神经元的图像分割识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101357067A (zh) * 2007-05-01 2009-02-04 韦伯斯特生物官能公司 超声图像中的边缘检测
CN105261006A (zh) * 2015-09-11 2016-01-20 浙江工商大学 基于傅里叶变换的医学图像分割算法
CN108629774A (zh) * 2018-05-11 2018-10-09 电子科技大学 一种基于霍夫圆变换的环形物体计数方法
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割***及计算机可读存储介质
CN109840560A (zh) * 2019-01-25 2019-06-04 西安电子科技大学 基于胶囊网络中融入聚类的图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RODNEY LALONDE ETC.: "Capsules for Object Segmentation", 《COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325737A (zh) * 2020-02-28 2020-06-23 上海志唐健康科技有限公司 低剂量ct图像处理方法、装置和计算机设备
CN111325737B (zh) * 2020-02-28 2024-03-15 上海志唐健康科技有限公司 低剂量ct图像处理方法、装置和计算机设备
CN111951321A (zh) * 2020-08-21 2020-11-17 上海西门子医疗器械有限公司 处理计算机断层扫描的图像的方法及计算机断层扫描设备
CN112950652A (zh) * 2021-02-08 2021-06-11 深圳市优必选科技股份有限公司 机器人及其手部图像分割方法和装置
CN112950652B (zh) * 2021-02-08 2024-01-19 深圳市优必选科技股份有限公司 机器人及其手部图像分割方法和装置

Also Published As

Publication number Publication date
CN110570394B (zh) 2023-04-28
WO2021017168A1 (zh) 2021-02-04

Similar Documents

Publication Publication Date Title
Cai et al. A review of the application of deep learning in medical image classification and segmentation
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN110337669B (zh) 一种用于多标签分割医学图像中的解剖结构的管线方法
US20230104173A1 (en) Method and system for determining blood vessel information in an image
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN112950651B (zh) 基于深度学习网络的纵隔淋巴引流区的自动勾画方法
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
CN110570394B (zh) 医学图像分割方法、装置、设备及存储介质
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及***
CN113516659B (zh) 一种基于深度学习的医学影像自动分割方法
US10853409B2 (en) Systems and methods for image search
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN110838125A (zh) 医学图像的目标检测方法、装置、设备、存储介质
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN112183541B (zh) 一种轮廓提取方法及装置、电子设备、存储介质
CN115239716B (zh) 一种基于形状先验U-Net的医学图像分割方法
WO2022086910A1 (en) Anatomically-informed deep learning on contrast-enhanced cardiac mri
CN112348818A (zh) 一种图像分割方法、装置、设备以及存储介质
CN112070752A (zh) 一种医学图像的心耳分割方法、装置及存储介质
CN113706514B (zh) 基于模板图像的病灶定位方法、装置、设备及存储介质
CN115359046B (zh) 一种脏器血管分割方法、装置、存储介质及电子设备
CN111369564A (zh) 一种图像处理的方法、模型训练的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant