CN110197492A - 一种心脏mri左心室分割方法及*** - Google Patents
一种心脏mri左心室分割方法及*** Download PDFInfo
- Publication number
- CN110197492A CN110197492A CN201910435476.0A CN201910435476A CN110197492A CN 110197492 A CN110197492 A CN 110197492A CN 201910435476 A CN201910435476 A CN 201910435476A CN 110197492 A CN110197492 A CN 110197492A
- Authority
- CN
- China
- Prior art keywords
- interest
- image
- feature
- left ventricle
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本公开公开了一种心脏MRI左心室分割方法及***，包括：输入待分割的心脏核磁共振图像；将待分割的心脏核磁共振图像，输入到预先训练好的目标检测神经网络中，提取出含有心脏左心室的感兴趣区域的边界框；将感兴趣区域的边界框进行扩大处理，将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像；将扩大处理后的边界框外部图像像素值置零；将扩大后的感兴趣区域图像，输入到预先训练好的基于空间金字塔池化的深度卷积神经网络中，完成左心室的分割。本发明既可以保证器官勾画的准确性和稳定性，提高心脏病患者的治疗效果，又能把医生们从冗长枯燥的手动勾画工作中解放出来，提升医务人员的工作效率。
Description
技术领域
本公开涉及医学图像处理领域，特别是涉及一种心脏MRI左心室分割方法及***。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
随着社会经济的发展，国民的生活方式发生了深刻的变化，加之人口老龄化及城镇化进程的加速，我国心血管疾病的发病率持续增长，而且呈现年轻化趋势。心脏核磁共振(Magnetic Resonance Imaging,MRI)作为一种非侵入式的心血管成像技术，已发展成为临床心血管疾病诊断及治疗的必要工具。
医学图像左心室自动分割是心脏医学图像处理领域的热点研究问题，因为左心室承担着全身血液输送的功能，是心脏最为重要的一个腔室。左心室体积、射血分数、心室质量、心肌厚度等临床上参数指标的计算及分析均依赖于左心室的准确分割，想要运用心脏MRI图像进行精确的诊疗，就必须将左心室的轮廓准确的勾画出来。然而，当前这一处理一般由医生手动完成，过程冗长枯燥，更重要的是耗费了临床医生大量、宝贵的工作时间。此外，手动勾画左心室的结果还会因观察者的不同而产生明显差异，故发明一种心脏MRI左心室自动分割算法，以实现左心室的准确、自动勾画意义重大。
发明内容
为了解决现有技术的不足，本公开提供了一种心脏MRI左心室分割方法及***；它利用临床海量图像，通过基于目标检测及金字塔池化的深度神经网络对心脏MRI图像及真值数据标签进行训练，从而实现对心脏MRI图像左心室的准确、自动分割。这样既可以保证器官勾画的准确性和稳定性，提高心脏病患者的治疗效果，又能把医生们从冗长枯燥的手动勾画工作中解放出来，提升医务人员的工作效率。
第一方面，本公开提供了一种心脏MRI左心室分割方法；
一种心脏MRI左心室分割方法，包括：
输入待分割的心脏核磁共振图像；
将待分割的心脏核磁共振图像，输入到预先训练好的目标检测神经网络中，提取出含有心脏左心室的感兴趣区域的边界框；
将感兴趣区域的边界框进行扩大处理，将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像；将扩大处理后的边界框外部图像像素值置零；
将扩大后的感兴趣区域图像，输入到预先训练好的基于空间金字塔池化的深度卷积神经网络中，完成左心室的分割。
第二方面，本公开还提供了一种心脏MRI左心室分割***；
一种心脏MRI左心室分割***，包括：
输入模块，其被配置为输入待分割的心脏核磁共振图像；
边界框提取模块，其被配置为将待分割的心脏核磁共振图像，输入到预先训练好的目标检测神经网络中，提取出含有心脏左心室的感兴趣区域的边界框；
扩大处理模块，其被配置为将感兴趣区域的边界框进行扩大处理，将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像；将扩大处理后的边界框外部图像像素值置零；
左心室分割模块，其被配置为将扩大后的感兴趣区域图像，输入到预先训练好的基于空间金字塔池化的深度卷积神经网络中，完成左心室的分割。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
本公开先用一种目标检测神经网络在心脏MRI上对左心室进行准确定位，然后用一种基于金字塔池化模型的全卷积神经网络对定位后的感兴趣区域进行精确分割。
本公开首次提出将感兴趣区域(左心室)以外的图像像素值置零，而不是将不加处理的左心室检测结果图直接进行处理，大大降低了分割时被模型预测为正的负样本数，显著提高了心脏MRI左心室分割的准确率，这样既可以保证器官勾画的准确性和稳定性，提高心脏病患者的治疗效果，又能把医生们从冗长枯燥的手动勾画工作中解放出来，提升医务人员的工作效率。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为算法流程图；
图2为目标检测***框图；
图3(a)-图3(e)为一组目标检测神经网络的检测结果；
图4(a)-图4(d)为检测结果扩展示意图；
图5(a)-图5(j)为用于训练的心脏MRI图片和真值标注数据；
图6为基于金字塔池化模型分割网络的框图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了一种心脏MRI左心室分割方法；
如图1所示，一种心脏MRI左心室分割方法，包括：
S1：输入待分割的心脏核磁共振图像；
S2：将待分割的心脏核磁共振图像，输入到预先训练好的目标检测神经网络中，提取出含有心脏左心室的感兴趣区域的边界框；
S3：将感兴趣区域的边界框进行扩大处理，将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像；将扩大处理后的边界框外部图像像素值置零；
S4：将扩大后的感兴趣区域图像，输入到预先训练好的基于空间金字塔池化的深度卷积神经网络中，完成左心室的分割。
作为一个或多个实施例，所述将扩大后的感兴趣区域图像，输入到预先训练好的基于空间金字塔池化的深度卷积神经网络中,完成左心室的分割，具体步骤包括：
基于空间金字塔池化的深度卷积神经网络中的卷积神经网络，对扩大后的感兴趣区域图像提取全局图像特征；
基于空间金字塔池化的深度卷积神经网络中的空间金字塔池化层，对全局图像特征提取不同尺度的子图像特征；
将不同尺度的子图像特征与全局图像特征进行融合，得到融合之后的特征；
基于空间金字塔池化的深度卷积神经网络中的分类器和融合之后的特征，对扩大后的感兴趣区域图像中的每个像素点的像素值进行分类，完成左心室的分割。
所述对扩大后的感兴趣区域图像中的每个像素点的像素值进行分类，是指将背景像素的值分类为0，左心室目标像素值分类为1。
作为一个或多个实施例，所述步骤S1中输入待分割的心脏核磁共振图像后，对待分割的核磁共振图像进行上采样预处理。
具体的，所述上采样预处理，为对输入的待分割图像进行双线性插值操作。
应理解的，原输入图像经预处理后，图像大小由原始的256像素×256像素上采样为4736像素×473像素。
上述步骤的有益效果是：此预处理可以在增加图像尺寸的同时，提高图像分辨率，从而在后续的目标检测训练和分割训练中提高网络模型对输入图像特征的学习能力。
作为一个或多个实施例，预先训练好的目标检测神经网络的训练步骤，包括：
构建目标检测神经网络；
构建第一训练集，所述第一训练集，包括：若干个心脏核磁共振图像和医学影像专家手动标注的心脏核磁共振图像上含有心脏左心室的感兴趣区域的边界框像素点坐标集合；
将第一训练集输入到目标检测神经网络中，对目标检测神经网络进行训练，当目标检测神经网络的损失函数收敛时，停止训练，得到训练好的目标检测神经网络。
所述目标检测神经网络，包括依次连接的若干个卷积层，最后一个卷积层依次连接两个全连接层。
例如：该网络由24个卷积层和2个全连接层组成，第1个到第M个卷积层用来提取输入图像的特征，第M+1个卷积层到第24个卷积层用来预测像素分为背景和目标两个类别的类别概率和边界框坐标概率。目标检测***的框图如图2所示：
目标检测神经网络将输入的图片平均划分成S×S个网格，每个网格均对所预测的左心室中心落入该网格的目标进行检测，并且给出B个预测边界框和C个类别概率，因为我们只需要检测左心室这一个目标类别，故设置C的值为1。
每个预测边界框包含5个参数：x,y,w,h,confidence。其中，(x,y)表示预测边界框的中心坐标；w,h分别代表预测边界框的宽和高；confidence表示预测边界框置信值，其定义为：
通过目标检测，将共计得到S*S*B，即7×7×2个矩形目标检测边框，预测概率最大的矩形边界框被视为左心室所在的区域，而最终检测结果则是一个大小为S*S*(B*5+C)的张量。
目标检测神经网络使用平方和误差作为损失函数，从而对目标检网络测模型的性能进行优化。总损失函数由和三部分组成，定义如下所示：
其中，损失函数分别被定义为：
表示当目标出现在第i个网格时的预测，表示第i个网格的第j个预测。
作为一个或多个实施例，将感兴趣区域的边界框进行扩大处理，将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像，具体步骤包括：
将感兴趣区域的边界框的中心点位置保持不变，将感兴趣区域的边界框的长和宽进行延伸，延伸至原来长的N倍，延伸至原来宽的N倍；N为正整数；将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像。
图3(a)到图3(e)展示了一组目标检测神经网络的检测结果。从图中可以看到，目标预测边界框贴近左心室的边缘。尽管我们在分割之前采用目标检测处理是为了定位左心室的位置，对左心室进行有效约束和表达，防止误将其它组织结构分割为左心室的情况出现。
但是，如果将此预测边界框所限定的区域作为感兴趣区域送给后续的分割网络进行训练的话，会因为训练图片丢失左心室边界及其周围信息导致分割结果不理想。
因此，为了避免出现上述情况，我们将检测结果进行改进，在原检测结果的基础上将预测边界框的宽和高扩展为原来的两倍，中心位置不变。然后将扩展后的边界框所在的区域定义为感兴趣区域，并将感兴趣区域以外的图像像素值置零。此处理过程的具体操作如图4(a)-图4(d)所示。
作为一个或多个实施例，基于空间金字塔池化的深度卷积神经网络，包括：卷积神经网络，所述卷积神经网络的输入端为扩大后的感兴趣区域图像，所述卷积神经网络的输出端输出扩大后的感兴趣区域图像的全局图像特征；
所述卷积神经网络的输出端与若干个并联的空间金字塔池化层连接，空间金字塔池化层，对全局图像特征提取不同尺度的子图像特征；
将不同尺度的子图像特征与全局图像特征进行融合，得到融合之后的特征；
基于空间金字塔池化的深度卷积神经网络中的分类器和融合之后的特征，对扩大后的感兴趣区域图像中的每个像素点的像素值进行分类，完成左心室的分割。
作为一个或多个实施例，预先训练好的基于空间金字塔池化的深度卷积神经网络的预训练步骤，包括：
构建第二训练集，所述第二训练集，包括：若干个扩大后的感兴趣区域图像和医学影像专家手动标注的扩大后的感兴趣区域图像上心脏左心室轮廓的像素点坐标集合；
将第二训练集输入到基于空间金字塔池化的深度卷积神经网络中，进行训练；
基于空间金字塔池化的深度卷积神经网络中的卷积神经网络，对扩大后的感兴趣区域图像提取全局图像特征；
基于空间金字塔池化的深度卷积神经网络中的空间金字塔池化层，对全局图像特征提取不同尺度的子图像特征；
将不同尺度的子图像特征与全局图像特征进行融合，得到融合之后的特征；
基于空间金字塔池化的深度卷积神经网络中的分类器和融合之后的特征，对扩大后的感兴趣区域图像中的每个像素点的类别(0表示背景像素，1表示左心室目标像素)进行分类；当基于空间金字塔池化的深度卷积神经网络的损失函数收敛时，停止训练，得到训练好的分割网络。
作为一个或多个实施例，将不同尺度的子图像特征与全局图像特征进行融合，得到融合之后的特征中具体融合的步骤包括：
在感兴趣区域扩大图像上提取全局图像特征之后，经N个不同步长的空间池化操作后得到N个不同尺度的子图像特征；
随后，用1×1的卷积核对N个不同尺度的子图像特征进行卷积处理，得到不同尺度的子图像特征在全局特征中所占的权重；
继而将N个子图像特征上采样成全局图像特征大小并与全局图像特征进行融合，得到融合之后的特征。
应理解的，目标检测神经网络和基于空间金字塔池化的深度卷积神经网络中输入图像尺寸为同一数值。
为实现左心室的精确分割，我们设计和使用深度卷积神经网络对海量心脏MRI左心室图像及标注数据进行训练和学习，从而对左心室的形状进行有效的约束和表达。用于训练的心脏MRI图片和真值标注数据如图5(a)-图5(j)所示。
分割模型前端的卷积神经网络(Convolutional Neural Networks,CNN)部分负责对图像特征进行分析和提取。金字塔池化模型(Pyramid Pooling Module,PPM)将前一卷积层处理得到的整体特征图进行池化及卷积操作以得到不同尺度的子特征表示。
然后，将不同尺度的子特征表示图与原始全局特征图进行融合，从而充分利用心脏MRI图像的全局及局部信息。
最后，对融合之后的特征图进行卷积操作，将左心室从目标病例图像中准确地分割出来。
基于金字塔池化模型分割网络的框图如图6所示。
卷积神经网络接受域的大小决定了上下文信息可以被我们所利用的程度，接受域越大，全局信息被利用的越充分。金字塔池化模型可以解决卷积神经网络接受域小于输入图像的不足。如图6所示，经池化处理，金字塔池化模型可产生四个不同尺度的特征图，通过上采样操作，四个不同尺度的特征图被重新采样成原始特征图大小。
随后，用1×1的卷积核对不同尺度的特征图进行卷积处理，得到不同尺度特征图在全局特征中所占的权重，继而分别与全局特征相融合得到最终的特征表示图，经卷积处理后对左心室图像的每一个像素的像素值进行分类，从而完成左心室的精确分割。
实施例二，本实施例提供了一种心脏MRI左心室分割***；
一种心脏MRI左心室分割***，包括：
输入模块，其被配置为输入待分割的心脏核磁共振图像；
边界框提取模块，其被配置为将待分割的心脏核磁共振图像，输入到预先训练好的目标检测神经网络中，提取出含有心脏左心室的感兴趣区域的边界框；
扩大处理模块，其被配置为将感兴趣区域的边界框进行扩大处理，将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像；将扩大处理后的边界框外部图像像素值置零；
左心室分割模块，其被配置为将扩大后的感兴趣区域图像，输入到预先训练好的基于空间金字塔池化的深度卷积神经网络中，完成左心室的分割。
本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成方法中的各个操作，为了简洁，在此不再赘述。
所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。
应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种心脏MRI左心室分割方法，其特征是，包括：
输入待分割的心脏核磁共振图像；
将待分割的心脏核磁共振图像，输入到预先训练好的目标检测神经网络中，提取出含有心脏左心室的感兴趣区域的边界框；
将感兴趣区域的边界框进行扩大处理，将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像；将扩大处理后的边界框外部图像像素值置零；
将扩大后的感兴趣区域图像，输入到预先训练好的基于空间金字塔池化的深度卷积神经网络中，完成左心室的分割。
2.如权利要求1所述的方法，其特征是，所述将扩大后的感兴趣区域图像，输入到预先训练好的基于空间金字塔池化的深度卷积神经网络中,完成左心室的分割，具体步骤包括：
基于空间金字塔池化的深度卷积神经网络中的卷积神经网络，对扩大后的感兴趣区域图像提取全局图像特征；
基于空间金字塔池化的深度卷积神经网络中的空间金字塔池化层，对全局图像特征提取不同尺度的子图像特征；
将不同尺度的子图像特征与全局图像特征进行融合，得到融合之后的特征；
基于空间金字塔池化的深度卷积神经网络中的分类器和融合之后的特征，对扩大后的感兴趣区域图像中的每个像素点的像素值进行分类，完成左心室的分割。
3.如权利要求2所述的方法，其特征是，
所述对扩大后的感兴趣区域图像中的每个像素点的像素值进行分类，是指将背景像素的值分类为0，左心室目标像素值分类为1；
所述输入待分割的心脏核磁共振图像后，对待分割的核磁共振图像进行上采样预处理。
4.如权利要求1所述的方法，其特征是，预先训练好的目标检测神经网络的训练步骤，包括：
构建目标检测神经网络；
构建第一训练集，所述第一训练集，包括：若干个心脏核磁共振图像和医学影像专家手动标注的心脏核磁共振图像上含有心脏左心室的感兴趣区域的边界框像素点坐标集合；
将第一训练集输入到目标检测神经网络中，对目标检测神经网络进行训练，当目标检测神经网络的损失函数收敛时，停止训练，得到训练好的目标检测神经网络。
5.如权利要求4所述的方法，其特征是，将感兴趣区域的边界框进行扩大处理，将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像，具体步骤包括：
将感兴趣区域的边界框的中心点位置保持不变，将感兴趣区域的边界框的长和宽进行延伸，延伸至原来长的N倍，延伸至原来宽的N倍；N为正整数；将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像。
6.如权利要求4所述的方法，其特征是，基于空间金字塔池化的深度卷积神经网络，包括：卷积神经网络，所述卷积神经网络的输入端为扩大后的感兴趣区域图像，所述卷积神经网络的输出端输出扩大后的感兴趣区域图像的全局图像特征；
所述卷积神经网络的输出端与若干个并联的空间金字塔池化层连接，空间金字塔池化层，对全局图像特征提取不同尺度的子图像特征；
将不同尺度的子图像特征与全局图像特征进行融合，得到融合之后的特征；
基于空间金字塔池化的深度卷积神经网络中的分类器和融合之后的特征，对扩大后的感兴趣区域图像中的每个像素点的像素值进行分类，完成左心室的分割；
预先训练好的基于空间金字塔池化的深度卷积神经网络的预训练步骤，包括：
构建第二训练集，所述第二训练集，包括：若干个扩大后的感兴趣区域图像和医学影像专家手动标注的扩大后的感兴趣区域图像上心脏左心室轮廓的像素点坐标集合；
将第二训练集输入到基于空间金字塔池化的深度卷积神经网络中，进行训练；
基于空间金字塔池化的深度卷积神经网络中的卷积神经网络，对扩大后的感兴趣区域图像提取全局图像特征；
基于空间金字塔池化的深度卷积神经网络中的空间金字塔池化层，对全局图像特征提取不同尺度的子图像特征；
将不同尺度的子图像特征与全局图像特征进行融合，得到融合之后的特征；
基于空间金字塔池化的深度卷积神经网络中的分类器和融合之后的特征，对扩大后的感兴趣区域图像中的每个像素点的类别进行分类；当基于空间金字塔池化的深度卷积神经网络的损失函数收敛时，停止训练，得到训练好的分割网络。
7.如权利要求4所述的方法，其特征是，将不同尺度的子图像特征与全局图像特征进行融合，得到融合之后的特征中具体融合的步骤包括：
在感兴趣区域扩大图像上提取全局图像特征之后，经N个不同步长的空间池化操作后得到N个不同尺度的子图像特征；
随后，用1×1的卷积核对N个不同尺度的子图像特征进行卷积处理，得到不同尺度的子图像特征在全局特征中所占的权重；
继而将N个子图像特征上采样成全局图像特征大小并与全局图像特征进行融合，得到融合之后的特征。
8.一种心脏MRI左心室分割***，其特征是，包括：
输入模块，其被配置为输入待分割的心脏核磁共振图像；
边界框提取模块，其被配置为将待分割的心脏核磁共振图像，输入到预先训练好的目标检测神经网络中，提取出含有心脏左心室的感兴趣区域的边界框；
扩大处理模块，其被配置为将感兴趣区域的边界框进行扩大处理，将扩大处理后的边界框内部区域图像认定为扩大后的感兴趣区域图像；将扩大处理后的边界框外部图像像素值置零；
左心室分割模块，其被配置为将扩大后的感兴趣区域图像，输入到预先训练好的基于空间金字塔池化的深度卷积神经网络中，完成左心室的分割。
9.一种电子设备，，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910435476.0A CN110197492A (zh) | 2019-05-23 | 2019-05-23 | 一种心脏mri左心室分割方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910435476.0A CN110197492A (zh) | 2019-05-23 | 2019-05-23 | 一种心脏mri左心室分割方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110197492A true CN110197492A (zh) | 2019-09-03 |
Family
ID=67753013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910435476.0A Pending CN110197492A (zh) | 2019-05-23 | 2019-05-23 | 一种心脏mri左心室分割方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197492A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728660A (zh) * | 2019-09-18 | 2020-01-24 | 清华大学 | 基于缺血性脑卒中mri检测标记进行病灶分割的方法及装置 |
| CN110731777A (zh) * | 2019-09-16 | 2020-01-31 | 平安科技（深圳）有限公司 | 基于图像识别的左心室测量方法、装置以及计算机设备 |
| CN110796669A (zh) * | 2019-10-28 | 2020-02-14 | 上海悦易网络信息技术有限公司 | 一种垂直边框定位方法及设备 |
| CN111008984A (zh) * | 2019-12-10 | 2020-04-14 | 广州柏视医疗科技有限公司 | 医学影像中正常器官的轮廓线自动勾画方法及*** |
| CN111144486A (zh) * | 2019-12-27 | 2020-05-12 | 电子科技大学 | 基于卷积神经网络的心脏核磁共振图像关键点检测方法 |
| CN111553895A (zh) * | 2020-04-24 | 2020-08-18 | 中国人民解放军陆军军医大学第二附属医院 | 基于多尺度细粒度的磁共振左心房分割方法 |
| CN111584093A (zh) * | 2020-05-12 | 2020-08-25 | 鲁东大学 | 可注射水凝胶疗效评估的左心室几何模型构造方法和装置 |
| CN111739000A (zh) * | 2020-06-16 | 2020-10-02 | 山东大学 | 一种提高多个心脏视图左心室分割精确度的***及装置 |
| CN111915626A (zh) * | 2020-08-14 | 2020-11-10 | 大连东软教育科技集团有限公司 | 心脏超声图像的心室区域自动分割方法、装置及存储介质 |
| CN112766377A (zh) * | 2021-01-20 | 2021-05-07 | 中国人民解放军总医院 | 左心室磁共振影像智能分类方法、装置、设备和介质 |
| CN113469948A (zh) * | 2021-06-08 | 2021-10-01 | 北京安德医智科技有限公司 | 左心室节段识别方法及装置、电子设备和存储介质 |
| CN113838068A (zh) * | 2021-09-27 | 2021-12-24 | 深圳科亚医疗科技有限公司 | 心肌节段的自动分割方法、装置和存储介质 |
| US11610306B2 (en) | 2020-12-16 | 2023-03-21 | Industrial Technology Research Institute | Medical image analysis method and device |
| CN116188479A (zh) * | 2023-02-21 | 2023-05-30 | 北京长木谷医疗科技有限公司 | 基于深度学习的髋关节图像分割方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404846A (zh) * | 2014-09-15 | 2016-03-16 | ***通信集团广东有限公司 | 一种图像处理方法及装置 |
| CN107578416A (zh) * | 2017-09-11 | 2018-01-12 | 武汉大学 | 一种由粗到精级联深度网络的心脏左心室全自动分割方法 |
| CN107644426A (zh) * | 2017-10-12 | 2018-01-30 | 中国科学技术大学 | 基于金字塔池化编解码结构的图像语义分割方法 |
| CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
-
2019
- 2019-05-23 CN CN201910435476.0A patent/CN110197492A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404846A (zh) * | 2014-09-15 | 2016-03-16 | ***通信集团广东有限公司 | 一种图像处理方法及装置 |
| CN107578416A (zh) * | 2017-09-11 | 2018-01-12 | 武汉大学 | 一种由粗到精级联深度网络的心脏左心室全自动分割方法 |
| CN107644426A (zh) * | 2017-10-12 | 2018-01-30 | 中国科学技术大学 | 基于金字塔池化编解码结构的图像语义分割方法 |
| CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| XULEI YANG ET AL.: "Deep convolutional neural networks for automatic segmentation of left ventricle cavity from cardiac magnetic resonance images", 《IET COMPUTER VISION》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110731777A (zh) * | 2019-09-16 | 2020-01-31 | 平安科技（深圳）有限公司 | 基于图像识别的左心室测量方法、装置以及计算机设备 |
| CN110728660A (zh) * | 2019-09-18 | 2020-01-24 | 清华大学 | 基于缺血性脑卒中mri检测标记进行病灶分割的方法及装置 |
| CN110728660B (zh) * | 2019-09-18 | 2022-04-15 | 清华大学 | 基于缺血性脑卒中mri检测标记进行病灶分割的方法及装置 |
| CN110796669A (zh) * | 2019-10-28 | 2020-02-14 | 上海悦易网络信息技术有限公司 | 一种垂直边框定位方法及设备 |
| CN111008984A (zh) * | 2019-12-10 | 2020-04-14 | 广州柏视医疗科技有限公司 | 医学影像中正常器官的轮廓线自动勾画方法及*** |
| CN112508965B (zh) * | 2019-12-10 | 2023-08-22 | 广州柏视医疗科技有限公司 | 医学影像中正常器官的轮廓线自动勾画*** |
| CN111008984B (zh) * | 2019-12-10 | 2021-03-12 | 广州柏视医疗科技有限公司 | 医学影像中正常器官的轮廓线自动勾画方法 |
| CN112508965A (zh) * | 2019-12-10 | 2021-03-16 | 广州柏视医疗科技有限公司 | 医学影像中正常器官的轮廓线自动勾画*** |
| WO2021115313A1 (zh) * | 2019-12-10 | 2021-06-17 | 广州柏视医疗科技有限公司 | 医学影像中正常器官的轮廓线自动勾画*** |
| CN111144486A (zh) * | 2019-12-27 | 2020-05-12 | 电子科技大学 | 基于卷积神经网络的心脏核磁共振图像关键点检测方法 |
| CN111144486B (zh) * | 2019-12-27 | 2022-06-10 | 电子科技大学 | 基于卷积神经网络的心脏核磁共振图像关键点检测方法 |
| CN111553895A (zh) * | 2020-04-24 | 2020-08-18 | 中国人民解放军陆军军医大学第二附属医院 | 基于多尺度细粒度的磁共振左心房分割方法 |
| CN111553895B (zh) * | 2020-04-24 | 2022-08-02 | 中国人民解放军陆军军医大学第二附属医院 | 基于多尺度细粒度的磁共振左心房分割方法 |
| CN111584093A (zh) * | 2020-05-12 | 2020-08-25 | 鲁东大学 | 可注射水凝胶疗效评估的左心室几何模型构造方法和装置 |
| CN111584093B (zh) * | 2020-05-12 | 2021-04-30 | 鲁东大学 | 可注射水凝胶疗效评估的左心室几何模型构造方法和装置 |
| CN111739000B (zh) * | 2020-06-16 | 2022-09-13 | 山东大学 | 一种提高多个心脏视图左心室分割精确度的***及装置 |
| CN111739000A (zh) * | 2020-06-16 | 2020-10-02 | 山东大学 | 一种提高多个心脏视图左心室分割精确度的***及装置 |
| CN111915626A (zh) * | 2020-08-14 | 2020-11-10 | 大连东软教育科技集团有限公司 | 心脏超声图像的心室区域自动分割方法、装置及存储介质 |
| CN111915626B (zh) * | 2020-08-14 | 2024-02-02 | 东软教育科技集团有限公司 | 心脏超声图像的心室区域自动分割方法、装置及存储介质 |
| US11610306B2 (en) | 2020-12-16 | 2023-03-21 | Industrial Technology Research Institute | Medical image analysis method and device |
| CN112766377A (zh) * | 2021-01-20 | 2021-05-07 | 中国人民解放军总医院 | 左心室磁共振影像智能分类方法、装置、设备和介质 |
| CN113469948A (zh) * | 2021-06-08 | 2021-10-01 | 北京安德医智科技有限公司 | 左心室节段识别方法及装置、电子设备和存储介质 |
| CN113469948B (zh) * | 2021-06-08 | 2022-02-25 | 北京安德医智科技有限公司 | 左心室节段识别方法及装置、电子设备和存储介质 |
| CN113838068A (zh) * | 2021-09-27 | 2021-12-24 | 深圳科亚医疗科技有限公司 | 心肌节段的自动分割方法、装置和存储介质 |
| CN116188479A (zh) * | 2023-02-21 | 2023-05-30 | 北京长木谷医疗科技有限公司 | 基于深度学习的髋关节图像分割方法及*** |
| CN116188479B (zh) * | 2023-02-21 | 2024-04-02 | 北京长木谷医疗科技股份有限公司 | 基于深度学习的髋关节图像分割方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197492A (zh) | 一种心脏mri左心室分割方法及*** | |
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别*** | |
| Li et al. | Automatic cardiothoracic ratio calculation with deep learning | |
| Men et al. | Cascaded atrous convolution and spatial pyramid pooling for more accurate tumor target segmentation for rectal cancer radiotherapy | |
| CN110503654A (zh) | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 | |
| US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
| CN110163876A (zh) | 基于多特征融合的左心室分割方法、***、设备及介质 | |
| Yao et al. | Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN | |
| Chen et al. | A novel convolutional neural network for kidney ultrasound images segmentation | |
| CN113450397B (zh) | 基于深度学习的图像形变配准方法 | |
| CN107133626A (zh) | 一种基于部分平均随机优化模型的医学影像分类方法 | |
| CN110570425B (zh) | 一种基于深度强化学习算法的肺结节分析方法及装置 | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
| Haiying et al. | False-positive reduction of pulmonary nodule detection based on deformable convolutional neural networks | |
| Li et al. | Category guided attention network for brain tumor segmentation in MRI | |
| Chen et al. | Mu-Net: Multi-Path Upsampling Convolution Network for Medical Image Segmentation. | |
| Dou et al. | Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography | |
| Wang et al. | Optic disc detection based on fully convolutional neural network and structured matrix decomposition | |
| CN116958705A (zh) | 基于图神经网络的医学影像归类*** | |
| CN113763332B (zh) | 一种基于三元胶囊网络算法的肺结节分析方法、装置及存储介质 | |
| Thammarach et al. | AI chest 4 all | |
| CN110705570B (zh) | 一种图像特征识别方法 | |
| Dar et al. | Deep Learning Models for Detection and Diagnosis of Alzheimer's Disease | |
| Xia et al. | A multi-scale network with the encoder-decoder structure for CMR segmentation | |
| CN112151175A (zh) | 一种基于影像学数据的计算机辅助多人决策方法、***及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190903 |
|
| RJ01 | Rejection of invention patent application after publication |