CN109166130B - 一种图像处理方法及图像处理装置 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法及图像处理装置，其中方法包括：将原始图像数据转换为符合目标分辨率阈值的目标图像数据，所述原始图像数据包含特征元素；将所述目标图像数据输入第一分割处理模块进行图像分割，获得第一分割图像；根据所述第一分割图像对所述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据；将所述图像区域数据输入第二分割处理模块进行图像分割，获得第二分割图像；将所述第二分割图像还原至所述原始图像数据的原始分辨率空间，获得所述特征元素的目标分割结果，可以提高磁共振图像心房分割的处理效率，提高心房分割的准确率。

Description

一种图像处理方法及图像处理装置

技术领域

本发明涉及图像处理领域，具体涉及一种图像处理方法、图像处理装置及计算机可读存储介质。

背景技术

心房纤维化颤动是当前最为常见的心率紊乱病症之一，在一般人群中出现的概率达到了2％，而在老年人群中的发病率更高并且具有一定的致死率，严重威胁到了人类的健康。当前针对心房颤动的有效治疗手段还比较缺乏，主要是由于缺乏对心房的解剖结构的深入理解。磁共振技术可以用来生成心脏内部不同结构的三维图像，而钆增强的磁共振图像中健康和纤维化的组织区别更加明显，常常被用来辅助制定针对性的心房纤维化颤动的手术消融治疗方案。因此对心房的精确分割是理解和分析心房纤维化的关键，有助于有效治疗手段的开发和手术的提前规划。

但是由于钆增强磁共振图像的对比度比较低，心房组织和周围的组织之间的区分不够明显，直接对心房，尤其是左心房进行分割比较具有挑战，当前实际应用中主要还是利用人工分割的方法，通常会消耗大量时间，并且分割准确率较低。

发明内容

本申请实施例提供了一种图像处理方法及图像处理装置，可以提高磁共振图像心房分割的处理效率，提高心房分割的准确率。

本申请实施例第一方面提供一种图像处理方法，包括：

将原始图像数据转换为符合目标分辨率阈值的目标图像数据，所述原始图像数据包含特征元素；

将所述目标图像数据输入第一分割处理模块进行图像分割，获得第一分割图像；

根据所述第一分割图像对所述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据；

将所述图像区域数据输入第二分割处理模块进行图像分割，获得第二分割图像；

将所述第二分割图像还原至所述原始图像数据的原始分辨率空间，获得所述特征元素的目标分割结果。

在一种可选的实施方式中，所述将原始图像数据转换为符合目标分辨率阈值的目标图像数据包括：

将所述原始图像数据转换为符合第一分辨率阈值的第一图像数据；

对所述第一图像数据进行下采样，获得符合所述目标分辨率阈值的所述目标图像数据。

在一种可选的实施方式中，所述根据所述第一分割图像对所述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据之前，所述方法还包括：

获得所述第一分割图像中所述特征元素的重心坐标；

所述根据所述第一分割图像对所述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据，包括：

以所述重心坐标为中心，将所述第一分割图像还原至所述原始分辨率空间，并裁剪出符合目标图像尺寸的区域数据。

在一种可选的实施方式中，所述目标图像参数包括目标图像尺寸阈值。

在一种可选的实施方式中，所述原始图像数据包括钆增强磁共振图像。

在一种可选的实施方式中，所述第一分割处理模块包括第一神经网络结构，所述第二分割处理模块包括第二神经网络结构。

在一种可选的实施方式中，所述第一神经网络结构的训练方法包括：

将第一原始训练数据转换为符合第一分辨率阈值的第一训练数据，所述第一原始训练数据包含第一特征元素；

对所述第一训练数据进行下采样，获得符合第二分辨率阈值的目标训练数据；

将所述目标训练数据输入第一训练模块，获得第一特征图；

根据所述特征图生成第一目标特征图，所述第一目标特征图的分辨率为所述第二分辨率阈值；

将所述第一特征图与所述第一目标特征图融合，获得第一概率分布信息；

根据所述第一概率分布信息更新所述第一训练模块中的网络参数，获得训练后的所述第一神经网络结构。

在一种可选的实施方式中，所述第一概率分布信息包括所述第一特征图中元素为左心房的概率和/或不为左心房的概率。

在一种可选的实施方式中，所述第二神经网络结构的训练方法包括：

获得原始分割数据中第二特征元素的重心坐标；

以所述重心坐标为中心，剪裁所述原始分割数据，获得训练区域数据；

将所述训练区域数据输入第二训练模块，获得第二特征图；

根据所述第二特征图生成第二目标特征图，所述第二目标特征图的分辨率与上述训练区域数据的分辨率相同；

将所述第二特征图与所述第二目标特征图融合，获得第二概率分布信息；

根据所述第二概率分布信息更新所述第二训练模块中的网络参数，获得训练后的所述第二神经网络结构。

在一种可选的实施方式中，所述第二概率分布信息包括第二特征图中元素为左心房的概率和/或不为左心房的概率。

本申请实施例第二方面提供一种图像处理装置，包括:

图像转换模块，用于将原始图像数据转换为符合目标分辨率阈值的目标图像数据，所述原始图像数据包含特征元素；

第一分割处理模块，用于对所述目标图像数据进行图像分割，获得第一分割图像；

剪裁模块，用于根据所述第一分割图像对所述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据；

第二分割处理模块，用于对所述图像区域数据进行图像分割，获得第二分割图像；

还原模块，用于将所述第二分割图像还原至所述原始分辨率空间，获得所述特征元素的目标分割结果。

本申请实施例第三方面提供另一种图像处理装置，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例通过将原始图像数据转换为符合目标分辨率阈值的目标图像数据，上述原始图像数据包含特征元素，将上述目标图像数据输入第一分割处理模块进行图像分割，获得第一分割图像，再根据上述第一分割图像对原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据，将上述图像区域数据输入第二分割处理模块进行图像分割，获得第二分割图像，最后，将上述第二分割图像还原至上述原始图像数据的原始分辨率空间，获得上述特征元素的目标分割结果，可以提高磁共振图像心房分割的处理效率，提高心房分割的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本申请实施例公开的一种图像处理方法的流程示意图；

图2是本申请实施例公开的一种图像处理方法中神经网络结构的训练方法的流程示意图；

图3是本申请实施例公开的另一种图像处理方法中神经网络结构的训练方法的流程示意图；

图4是本申请实施例公开的一种图像处理装置的结构示意图；

图5是本申请实施例公开的另一种图像处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的图像处理装置可以为电子设备，包括终端设备，具体实现中，上述终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

本申请实施例中的深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

在机器学习中，卷积神经网络(Convolutional Neural Network，CNN)是一种深度前馈人工神经网络，已成功地应用于图像识别。卷积神经网络在图像领域的应用已经越来越广泛，一般一个CNN网络主要包含卷积层、池化层(pooling)、全连接层、损失层等。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像以及视频类数据识别。本申请实施例中提到的神经网络可以为三维卷积神经网络。现在已经开源了很多深度学习框架(比如MxNet，Caffe等)，训练一个模型变得非常简单。

下面对本申请实施例进行详细介绍。

请参阅图1，图1是本申请实施例公开的一种图像处理的流程示意图，如图1所示，该图像处理方法可以由上述图像处理装置执行，包括如下步骤；

101、将原始图像数据转换为符合目标分辨率阈值的目标图像数据，上述原始图像数据包含特征元素。

本申请实施例中提到的原始图像数据可以为通过各种医学图像设备获得的心脏三维图像，比如通过磁共振技术生成的心脏内部不同结构的三维图像。上述磁共振技术，可以生成磁共振成像(Magnetic Resonance Imaging，MRI)，可以在不破坏样品的情况下确定物质的化学结构及某种成分的密度分布，其应用已迅速扩展到物理、化学领域之外的医疗、生物工程等方面，成为分析生物大分子复杂结构和诊断病情最强有力的方法之一。

而钆增强磁共振图像中健康和纤维化的组织区别更加明显，常常被用来辅助制定针对性的心房纤维化颤动的手术消融治疗方案。本申请中的原始图像数据可以为钆增强磁共振图像。

上述特征元素即可以理解为图像处理的分割对象，比如上述原始图像数据为包含心脏的钆增强磁共振图像，其中的特征元素则可以为左心房，即该方法实现左心房分割。

在通过深度学习模型执行图像处理之前，可以先对原始图像数据进行预处理，转换为符合目标分辨率阈值的目标图像数据，再执行步骤102。

将输入的原始图像数据统一为同一个分辨率大小，可以提高图像处理的效率，方便后续进行的卷积处理。

具体的，上述步骤101可包括：

(1)将上述原始图像数据转换为符合第一分辨率阈值的第一图像数据；

(2)对上述第一图像数据进行下采样，获得符合上述目标分辨率阈值的上述目标图像数据。

具体的，可以通过图像裁剪和/或图像扩充的方法，将输入的原始图像数据统一为上述第一分辨率阈值，比如预先存储的第一分辨率阈值可以为576*576*96，即该步骤将原始图像数据的分辨率转换到576*576*96，即获得上述第一图像数据，便于后续统一化处理；

本申请实施例中的下采样(或称为降采样)，可以理解为缩小图像的一种方式，其主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的分辨率图像，s为M和N的公约数，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值，这种情况下像素个数缩减为原先的S的平方倍。

图像处理装置中可以预先存储上述目标分辨率阈值，比如144*144*48分辨率大小，可以将上述第一图像数据下采样，获得144*144*48分辨率大小的目标图像数据，再执行步骤102，可以降低显存消耗，以及便于进行后续的卷积处理。

其中，上述显存也被叫做帧缓存，它的作用是用来存储显卡芯片处理过或者即将提取的渲染数据。如同计算机的内存一样，显存是用来存储要处理的图形信息的部件。

102、将上述目标图像数据输入第一分割处理模块进行图像分割，获得第一分割图像。

通过上述第一分割处理模块，可以实现对采样后低分辨率的目标图像数据粗略分割，并根据分割结果估计上述特征元素位置。其中上述第一分割处理模块可以包括全卷积神经网络结构。本申请实施例中的卷积神经网络，是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。本申请实施例中可以使用三维卷积神经网络，因其主要应用于医学图像以及视频类数据识别。

103、根据上述第一分割图像对上述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据。

其中，原始图像数据为三维图像数据，将其存在的分辨率空间称为原始分辨率空间。具体的，可以是将上述第一分割图像的中心还原至上述原始图像数据的原始分辨率空间后，剪裁原始图像数据，获得符合目标图像参数的图像区域数据。依据上述步骤102中得到的第一分割图像，可以将其中心还原到上述原始分辨率空间中，其中，上述目标图像参数包括目标图像尺寸阈值，再按照上述目标图像参数根据上述第一分割图像中心对原始图像数据进行剪裁处理，获得包含上述特征元素的图像区域数据。

比如，目标图像尺寸阈值可以为240*160*96，即可以获得包含特征元素周围大小的240*160*96的三维图像区域。在对图像进一步剪裁后执行步骤104，可以提高图像处理的准确度。

可选的，上述根据上述第一分割图像对上述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据之前，该方法还包括：

获得上述第一分割图像中特征元素的重心坐标；

上述根据所述第一分割图像对所述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据，包括：

以上述重心坐标为中心，将上述第一分割图像还原至上述原始分辨率空间并对原始图像数据进行裁剪，得到符合目标图像尺寸阈值的图像图区域数据。

具体的，上述第一分割处理模块可以使用上述神经网络，输出背景和前景的概率图，在这两个体空间概率分布上应用简单的二元测试，其中体素根据对应概率的高低被分配为前景或背景，并且该二进制掩码可以被用于粗略定位，比如可以计算预测掩模(可以理解为第一分割图像中的左心房)的重心，以该重心为左心房的中心，然后将此中心还原至原始图像数据的原始分辨率空间，并以此为中心裁剪出一个大小为240*160*96的区域，再馈入第二分割处理模块，即执行步骤104。

104、将上述图像区域数据输入第二分割处理模块进行图像分割，获得第二分割图像。

通过上述第二分割处理模块，可以实现对上述图像区域数据的进一步分割，获得上述第二分割图像。在该步骤中，利用训练得到的卷积神经网络对裁剪出的图像区域数据进行精确分割，可以获得准确率更高的分割结果。

105、将上述第二分割图像还原至上述原始分辨率空间，获得上述特征元素的目标分割结果。

将精确分割完成后的上述第二分割图像还原至上述原始分辨率空间，可以获得针对上述特征元素的目标分割结果。

在一般的处理方法中，直接以三维磁共振数据为输入，消耗大量显存，计算时间很长，对计算设备要求很高。而本申请实施例中将分割分为粗略定位和精细分割两个步骤，训练两个类似的神经网络来实现，降低了显存消耗，减少了计算时间。具体实现中，完成一次分割仅需2秒、2.6GB显存，该方法也可以部署在一台普通的计算机上，实现简单。

本申请实施例可以利用全卷积神经网络进行钆增强磁共振图像中左心房的全自动分割，相比传统方法大大提高了分割的准确率。

本申请实施例通过将原始图像数据转换为符合目标分辨率阈值的目标图像数据，上述原始图像数据包含特征元素，将上述目标图像数据输入第一分割处理模块进行图像分割，获得第一分割图像，再根据上述第一分割图像对上述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据，将上述图像区域数据输入第二分割处理模块进行图像分割，获得第二分割图像，最后，将上述第二分割图像还原至上述原始分辨率空间，获得上述特征元素的目标分割结果，可以提高磁共振图像心房分割的处理效率，提高心房分割的准确率。

请参阅图2，图2是本申请实施例公开的一种神经网络结构的训练方法的流程示意图，通过该方法可以训练获得上述第一神经网络结构，并可以用于第一分割模块实现其功能。执行本申请实施例步骤的主体可以为一种用于医学影像处理的图像处理装置。如图2所示，该神经网络结构的训练方法包括如下步骤：

201、将第一原始训练数据转换为符合第一分辨率阈值的第一训练数据，上述第一原始训练数据包含第一特征元素。

在执行图1所示的图像处理方法之前，可以利用已有分割数据对(图像+Masks)对神经网络结构进行训练。其中，上述第一特征元素即可以理解为图像处理的分割对象，比如本申请实施例中的第一原始训练数据为包含心脏的钆增强磁共振图像，其中的第一特征元素为左心房，即该训练方法用于实现左心房分割。

在训练神经网络结构执行图像处理之前，可以先对第一原始图像数据进行预处理，转换为符合第一分辨率阈值的第一训练数据，再执行步骤202。

具体的，可以通过图像裁剪和/或图像扩充的方法，将输入的原始图像数据统一为上述第一分辨率阈值，比如将分辨率转换到576*576*96，即获得上述第一图像数据。将输入的第一原始图像数据统一为同一个分辨率大小，可以提高图像处理的效率，方便后续进行的卷积处理。

202、对上述第一训练数据进行下采样，获得符合第二分辨率阈值的目标训练数据。

具体的，可以对上述第一训练数据下采样，图像处理装置中可以预先存储上述第二分辨率阈值，例如144*144*48分辨率大小，采样后可以获得144*144*48分辨率的目标训练数据，再执行步骤203，可以降低显存消耗，以及便于进行后续的卷积处理。

203、将上述目标训练数据输入第一训练模块，获得第一特征图。

本申请实施例中，针对三维图像分割，可以使用基于V-Net或者3D-U-Net的三维全卷积神经网络结构。卷积网络中主要有两个操作，一个是卷积(Convolution)，用于特征提取，通常会使用多层卷积层来得到更深层次的特征图(feature map)；一个是池化(Pooling)，对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度，一方面进行特征压缩，提取主要特征。其中，池化层并不会对特征通道(或简称通道，channel)之间的交互有影响，只是在各个特征通道中进行操作，而卷积层则可以在通道与通道之间进行交互，之后在下一层生成新的特征通道。

V-Net是一个完全卷积的神经网络，利用卷积运算从数据中提取不同尺度的特征，并通过应用适当的步长来减小分辨率。网络的左边部分是标准卷积网络的编码结构，它在局部到全局意义上捕获上下文信息，并且右边部分将信号解码为其原始大小并输出两个通道分别表示前后背景的概率。

网络的左侧被划分为在不同分辨率下操作的几个阶段，每个阶段由一个或两个卷积层组成，并且学习残差函数，即，每个阶段的输入被添加到该阶段的最后卷积层的输出。在每一层中执行的卷积使用大小为5×5×5的体卷积核，并且通过大小为2×2×2和步幅为2的卷积运算实现池化操作。此外，在编码路径的每个阶段，特征通道的数目加倍，而分辨率减半。在每一层结束时，使用批量归一化(Batch Normalization)和参数化线性整流函数(PRelu)。

该网络的右侧是对称的左边的对等体，提取特征并扩展空间支持以输出两通道的前背景概率分布。类似于网络的左边部分，右边部分的每个阶段也包含一个或两个卷积层，并且还是学习残差函数。在每一层中执行的卷积也使用体积大小为5×5×5的体积核，并且通过反卷积运算实现反池化操作。

对采样后的上述目标训练数据进行多次卷积、池化、Batch Normalization以及PRelu，其中，Batch Normalization是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法；PReLU(Parametric Rectified Linear Unit)，是增加了参数修正的线性整流函数(Rectified Linear Unit,ReLU)，又称修正线性单元,是一种人工神经网络中常用的激活函数(activation function)，通常指代以斜坡函数及其变种为代表的非线性函数，简化了计算过程。通过第一训练模块，可以生成多个特征图。具体的，以步骤202中的上述第二分辨率阈值为144*144*48分辨率继续举例来讲，可以获得的第一特征图分辨率大小分别为144*144*48、72*72*24、36*36*12、18*18*6以及9*9*3，并且特征通道从8个提升到128个。

204、根据上述第一特征图生成第一目标特征图，上述第一目标特征图的分辨率为上述第二分辨率阈值。

具体的，可以利用反卷积操作将第一特征图逐步还原得到第一目标特征图，上述第一目标特征图的分辨率为上述第二分辨率阈值，即第一特征图可以还原为和下采样之后的目标训练数据一样的分辨率，如前述的144*144*48分辨率，再执行步骤205。

205、将上述特征图与上述目标特征图融合，获得第一概率分布信息。

将得到的第一目标特征图和之前得到的对应的第一特征图进行融合，从而可以得到图像中局部和全局的信息，最后通过一个softmax层得到第一概率分布信息，其中，可以包括两个分辨率为上述第二分辨率阈值的输出数据。上述第一概率分布信息可以包括上述第一特征图中的元素为左心房的概率和/或不为左心房的概率。

在具体实现中，上述第二分辨率阈值为144*144*48，此处可以获得两个分辨率为144*144*48的输出数据，分别可以代表一个特征图中的元素是否为左心房的概率分布。

上述softmax可以理解为归一化，通常情况下softmax会被用在网络中的最后一层，用来进行最后的分类和归一化。softmax的输入层和输出层的维度是一样的，如目前图片分类有一百种，那经过softmax层的输出就是一个一百维的向量。向量中的第一个值就是当前图片属于第一类的概率值，向量中的第二个值就是当前图片属于第二类的概率值…这一百维的向量之和为1。

在获得上述第一概率分布信息之后可以执行步骤206。

206、根据上述第一概率分布信息更新上述第一训练模块中的网络参数，获得训练后的上述第一神经网络结构。

具体的，可以利用DICE、IoU或者其他损失函数，使用反向传播算法更新网络参数，直到模型收敛，此为用于粗略分割的上述第一神经网络结构。其中，在统计学，统计决策理论和经济学中，损失函数是指一种将一个事件(在一个样本空间中的一个元素)映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。更通俗地说，在统计学中损失函数是一种衡量损失和错误(这种损失与“错误地”估计有关，如费用或者设备的损失)程度的函数。

上述反向传播算法(BP算法)的学***方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。误差达到所期望值时，网络学习结束。本申请通过上述反向传播算法的学习规则，可以更准确地获得训练后的第一神经网络结构。

上述第一神经网络结构可以用于图1所示实施例中，即上述第一分割处理模块可以包括上述第一神经网络结构，以实现其分割处理功能。

本申请实施例通过将第一原始训练数据转换为符合第一分辨率阈值的第一训练数据，上述第一原始训练数据包含第一特征元素，对上述第一训练数据进行下采样，获得符合第二分辨率阈值的目标训练数据，再将上述目标训练数据输入第一训练模块，获得第一特征图，根据上述第一特征图生成第一目标特征图，上述第一目标特征图的分辨率为上述第二分辨率阈值，然后，将上述特征图与上述目标特征图融合，获得第一概率分布信息，可以根据上述第一概率分布信息更新上述第一训练模块中的网络参数，获得训练后的上述第一神经网络结构，提高了该神经网络的准确度，获得尤其适用于左心房分割的神经网络结构。

请参阅图3，图3是本申请实施例公开的另一种神经网络结构的训练方法的流程示意图，通过该方法可以训练获得上述第二神经网络结构，并可以用于上述第二分割模块实现其功能。执行本申请实施例步骤的主体可以为一种用于医学影像处理的图像处理装置。如图3所示，该神经网络结构的训练方法包括如下步骤：

301、获得原始分割数据中第二特征元素的重心坐标。

其中，上述原始分割数据是用于训练神经网络的分割数据，已有的分割数据对包括图像和Masks，可以为已经进行过分割处理后的图像数据，可以来自训练数据集。

上述第二特征元素即可以理解为图像处理的分割对象，比如本申请实施例中的原始分割数据为包含心脏的钆增强磁共振图像，其中的第二特征元素为左心房，即该训练方法用于实现左心房分割。

这里的Mask可以理解为一种具有与图像数据相同分辨率的特殊灰度图像，其每个像素的亮度值表示该像素对应位置的图像数据中的像素的类别，常常用于表示图像数据中的不同分割对象，特别地，再本申请中Mask为1时表示对应像素为左心房，Mask为0时表示对应像素为背景。根据已有的分割数据对中给定的Mask，可以计算出左心房的重心坐标，再执行步骤302。

302、以上述重心坐标为中心，剪裁上述原始分割数据，获得训练区域数据。

在获得上述重心坐标之后，可以以该坐标作为中心，裁剪出原始分割数据中该中心周围完全覆盖左心房的固定大小区域，其中，上述训练区域数据的分辨率可以是预设的第三分辨率阈值，比如240*160*96，即获得240*160*96分辨率大小的上述训练区域数据，可以降低显存消耗，以及便于进行后续的卷积处理。

303、将上述训练区域数据输入第二训练模块，获得第二特征图。

再次采用基于V-Net或者3D-U-Net的三维全卷积神经网络结构，对训练区域数据(采样后的三维磁共振图像)进行多次卷积、池化、Batch Normalization以及PRelu处理，生成特征图。比如可以生成分辨率大小为240*160*96，120*80*48，60*40*24，30*20*12以及15*20*6的特征图。

其中，上述步骤303可以参考图2所示的实施例的步骤203中的具体描述，此处不再赘述。

304、根据上述第二特征图生成第二目标特征图。上述第二目标特征图的分辨率与上述训练区域数据的分辨率相同。

具体的，可以利用反卷积操作将第二特征图逐步还原到上述训练区域数据的分辨率，比如上述第四分辨率阈值240*160*96，再执行步骤305。

其中，上述步骤304可以参考图2所示的实施例的步骤204中的具体描述，此处不再赘述。

305、将上述第二特征图与上述第二目标特征图融合，获得第二概率分布信息。

将得到的第二目标特征图和之前得到的对应的第二特征图进行融合，从而可以得到图像中局部和全局的信息，最后通过一个softmax层得到第二概率分布信息，其中，可以包括两个分辨率为上述第四分辨率阈值的输出数据。上述第二概率分布信息可以包括第二特征图中元素为左心房的概率和/或不为左心房的概率。

在具体实现中，上述第四分辨率阈值为240*160*96，此处可以获得两个分辨率为240*160*96的输出数据，分别可以代表一个特征图中的元素是否为左心房的概率分布。在获得上述第二概率分布信息之后可以执行步骤306。

其中，上述步骤305可以参考图2所示的实施例的步骤205中的具体描述，此处不再赘述。

306、根据上述第二概率分布信息更新上述第二训练模块中的网络参数，获得训练后的上述第二神经网络结构。

具体的，可以利用DICE、IoU或者其他损失函数，使用反向传播算法更新网络参数，直到模型收敛，此为用于精细分割的第二神经网络结构。

上述第二神经网络结构可以用于图1所示实施例中，即上述第二分割处理模块可以包括上述第二神经网络结构，以实现其分割处理功能。

本申请实施例通过获得原始分割数据中第二特征元素的重心坐标，以上述重心坐标为中心，剪裁上述原始分割数据，获得训练区域数据，将上述训练区域数据输入第二训练模块，获得第二特征图，根据上述第二特征图生成第二目标特征图，将上述第二特征图与上述第二目标特征图融合，获得第二概率分布信息，根据上述第二概率分布信息更新上述第二训练模块中的网络参数，获得训练后的上述第二神经网络结构，提高了该神经网络的准确度，获得尤其适用于左心房分割的神经网络结构。

经过以上图1和图2所述的步骤，可以得到一个用于左心房粗略分割的第一神经网络结构(网络1)和一个用于左心房精细分割的第二神经网络结构(网络2)，对一个全新的钆增强磁共振图像，对其左心房分割的步骤可以基于上述图2的网络1和图3的网络2，应用上述两个神经网络于图1所示的图像处理方法实现，即可以在图1所示的实施例的步骤之前，执行图2和图3的训练方法，获得网络1和网络2，将其分别应用于上述第一分割模块和第二分割模块中，完成图1所示实施例的图像处理过程。

具体实现中，训练数据包含100组核磁共振数据，其中每组数据采用临床的全身核磁共振扫描仪获得，并包含了原始的核磁共振图像数据和对应的左心房腔体的标记。这些数据的原始分辨率可以为0.625×0.625×0.625立方毫米，其中47个为576×576×88体素，53个为640×640×88体素，并且由于内存限制，很难应用神经网络直接从这样的高分辨率图像上直接进行分割。而实际上，左心房腔体甚至时整个心脏，都只占核磁共振图像的的一小部分，图像中的其他位置大多都是无关的组织，甚至什么都没有，因此可以将分割分为两个步骤。第一个是定位心房，第二个是从一个非常小的裁剪后的体中分割心房空腔，可以用来在普通的家用计算机上训练网络。为了使输入数据具有相同的尺寸和适用于V-Net架构，本申请实施例统一地裁剪和填充所有的图像到固定分辨率，比如大小为576×576×96。

可见，利用全卷积神经网络进行钆增强磁共振图像中左心房的全自动分割，相比传统方法大大提高了分割的准确率。并且，若直接以三维磁共振数据为输入，消耗大量显存，计算时间很长，对计算设备要求很高，本申请实施例将分割分为粗略定位和精细分割两个步骤，训练两个类似的网络，降低了显存消耗，减少了计算时间，例如分割一例仅需2秒，2.6GB显存，可以部署在一台普通的家用计算机上，实现简单。

本申请实施例适用于医疗领域，举例来说，心内科医生在得到患者的钆增强磁共振图像之后，可以使用上述方法快速自动地分割出患者左心房，然后医生可以初步地根据患者左心房的三维结构判断是否出现异常，进一步地，医生可以通过左心房的三维结构进行手术的规划，比如导管的介入路径等。

心内科医生在得到左心房的三维结构之后，还可以结合纤维化组织的分割来理解和研究心脏组织纤维化的原因，进而从根本上阻止或延缓心脏组织纤维化，降低患者的发病率和死亡率。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

请参阅图4，图4是本申请实施例公开的一种图像处理装置的结构示意图。如图4所示，该图像处理装置400包括：

图像转换模块410，用于将原始图像数据转换为符合目标分辨率阈值的目标图像数据，所述原始图像数据包含特征元素；

第一分割处理模块420，用于对所述目标图像数据进行图像分割，获得第一分割图像；

剪裁模块430，用于根据上述第一分割图像对上述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据；

第二分割处理模块440，用于对所述图像区域数据进行图像分割，获得第二分割图像；

还原模块450，用于将所述第二分割图像还原至所述原始图像数据的原始分辨率空间，获得所述特征元素的目标分割结果。

可选的，图像转换模块410包括第一转换单元411和第二转换单元412，

上述第一转换单元411，用于将所述原始图像数据转换为符合第一分辨率阈值的第一图像数据；

上述第二转换单元412，用于对所述第一图像数据进行下采样，获得符合所述目标分辨率阈值的所述目标图像数据。

可选的，上述还原模块450还用于，在剪裁模块430根据上述第一分割图像对上述原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据之前，获得所述第一分割图像中所述特征元素的重心坐标；

上述剪裁模块430还用于：以所述重心坐标为中心，将上述第一分割图像还原至上述原始分辨率空间，并裁剪出符合目标图像尺寸的区域数据。

可选的，所述目标图像参数包括目标图像尺寸阈值。

可选的，所述原始图像数据包括钆增强磁共振图像。

可选的，所述第一分割处理模块420包括第一神经网络结构，所述第二分割处理模块440包括第二神经网络结构。

在一种可选的实施方式中，上述图像处理装置400的各个模块还可以用于第一神经网络结构的训练；

上述第一转换单元411，还用于将第一原始训练数据转换为符合第一分辨率阈值的第一训练数据，所述第一原始训练数据包含第一特征元素；

上述第二转换单元412，还用于对所述第一训练数据进行下采样，获得符合第二分辨率阈值的目标训练数据；

上述图像处理装置400还包括第一训练模块460，用于：

根据所述目标训练数据获得第一特征图；

根据所述特征图生成第一目标特征图，所述第一目标特征图的分辨率为所述第二分辨率阈值；

将所述第一特征图与所述第一目标特征图融合，获得第一概率分布信息；

根据所述第一概率分布信息更新所述第一训练模块中的网络参数，获得训练后的所述第一神经网络结构。

可选的，所述第一概率分布信息包括所述第一特征图中元素为左心房的概率和/或不为左心房的概率。

在一种可选的实施方式中，上述图像处理装置400的各个模块还可以用于上述第二神经网络结构的训练；

上述还原模块450还用于：

获得原始分割数据中第二特征元素的重心坐标；

以所述重心坐标为中心，剪裁所述原始分割数据，获得训练区域数据；

上述图像处理装置400还包括第二训练模块470，用于：

根据所述训练区域数据获得第二特征图；

根据所述第二特征图生成第二目标特征图，所述第二目标特征图的分辨率与上述训练区域数据的分辨率相同；

将所述第二特征图与所述第二目标特征图融合，获得第二概率分布信息；

根据所述第二概率分布信息更新所述第二训练模块中的网络参数，获得训练后的所述第二神经网络结构。

可选的，所述第二概率分布信息包括第二特征图中元素为左心房的概率和/或不为左心房的概率。

实施图4所示的图像处理装置400，图像处理装置400可以将原始图像数据转换为符合目标分辨率阈值的目标图像数据，上述原始图像数据包含特征元素，将上述目标图像数据输入第一分割处理模块进行图像分割，获得第一分割图像，再根据上述第一分割图像对原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据，将上述图像区域数据输入第二分割处理模块进行图像分割，获得第二分割图像，最后，将上述第二分割图像还原至上述原始图像数据的原始分辨率空间，获得上述特征元素的目标分割结果，可以提高磁共振图像心房分割的处理效率，提高心房分割的准确率。

请参阅图5，图5是本申请实施例公开的另一种图像处理装置的结构示意图。如图5所示，该图像处理装置500包括处理器501和存储器502，其中，图像处理装置500还可以包括总线503，处理器501和存储器502可以通过总线503相互连接，总线503可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线503可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，图像处理装置500还可以包括输入输出设备504，输入输出设备504可以包括显示屏，例如液晶显示屏。存储器502用于存储包含指令的一个或多个程序；处理器501用于调用存储在存储器502中的指令执行上述图1、图2和图3实施例中提到的部分或全部方法步骤。上述处理器501可以对应实现图5中的图像处理装置500中的各模块的功能。

实施图5所示的图像处理装置500，图像处理装置可以将原始图像数据转换为符合目标分辨率阈值的目标图像数据，上述原始图像数据包含特征元素，将上述目标图像数据输入第一分割处理模块进行图像分割，获得第一分割图像，再根据上述第一分割图像对原始图像数据进行裁剪并获得符合目标图像参数的图像区域数据，将上述图像区域数据输入第二分割处理模块进行图像分割，获得第二分割图像，最后，将上述第二分割图像还原至上述原始图像数据的原始分辨率空间，获得上述特征元素的目标分割结果，可以提高磁共振图像心房分割的处理效率，提高心房分割的准确率。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块(或单元)的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：

将原始图像数据转换为符合目标分辨率阈值的目标图像数据，所述原始图像数据包含特征元素；

将所述目标图像数据输入第一分割处理模块进行图像分割，获得第一分割图像；所述第一分割处理模块包括第一神经网络结构；

所述第一神经网络结构的训练方法包括：

将第一原始训练数据转换为符合第一分辨率阈值的第一训练数据，所述第一原始训练数据包含第一特征元素；

对所述第一训练数据进行下采样，获得符合第二分辨率阈值的目标训练数据；

将所述目标训练数据输入第一训练模块，获得第一特征图；

根据所述特征图生成第一目标特征图，所述第一目标特征图的分辨率为所述第二分辨率阈值；

将所述第一特征图与所述第一目标特征图融合，获得第一概率分布信息；所述第一概率分布信息包括所述第一特征图中元素为左心房的概率和/或不为左心房的概率；

根据所述第一概率分布信息更新所述第一训练模块中的网络参数，获得训练后的所述第一神经网络结构；

获得所述第一分割图像中所述特征元素的重心坐标；

以所述重心坐标为中心，将所述第一分割图像还原至原始分辨率空间，并裁剪出符合目标图像尺寸的区域数据；

将所述图像区域数据输入第二分割处理模块进行图像分割，获得第二分割图像；所述第二分割处理模块包括第二神经网络结构；

将所述第二分割图像还原至所述原始图像数据的原始分辨率空间，获得所述特征元素的目标分割结果。

2.根据权利要求1所述的图像处理方法，其特征在于，所述将原始图像数据转换为符合目标分辨率阈值的目标图像数据包括：

将所述原始图像数据转换为符合第一分辨率阈值的第一图像数据；

对所述第一图像数据进行下采样，获得符合所述目标分辨率阈值的所述目标图像数据。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述目标图像参数包括目标图像尺寸阈值。

4.根据权利要求1或2所述的图像处理方法，其特征在于，所述原始图像数据包括钆增强磁共振图像。

5.根据权利要求3所述的图像处理方法，其特征在于，所述原始图像数据包括钆增强磁共振图像。

6.根据权利要求1所述的图像处理方法，其特征在于，所述第二神经网络结构的训练方法包括：

获得原始分割数据中第二特征元素的重心坐标；

以所述重心坐标为中心，剪裁所述原始分割数据，获得训练区域数据；

将所述训练区域数据输入第二训练模块，获得第二特征图；

根据所述第二特征图生成第二目标特征图，所述第二目标特征图的分辨率与上述训练区域数据的分辨率相同；

将所述第二特征图与所述第二目标特征图融合，获得第二概率分布信息；

根据所述第二概率分布信息更新所述第二训练模块中的网络参数，获得训练后的所述第二神经网络结构。

7.根据权利要求6所述的图像处理方法，其特征在于，所述第二概率分布信息包括第二特征图中元素为左心房的概率和/或不为左心房的概率。

8.一种图像处理装置，其特征在于，包括：

图像转换模块，用于将原始图像数据转换为符合目标分辨率阈值的目标图像数据，所述原始图像数据包含特征元素；

第一分割处理模块，用于对所述目标图像数据进行图像分割，获得第一分割图像；所述第一分割处理模块包括第一神经网络结构；

第一转换单元，还用于将第一原始训练数据转换为符合第一分辨率阈值的第一训练数据，所述第一原始训练数据包含第一特征元素；

第二转换单元，还用于对所述第一训练数据进行下采样，获得符合第二分辨率阈值的目标训练数据；

所述图像处理装置还包括第一训练模块，用于：

根据所述目标训练数据获得第一特征图；

根据所述特征图生成第一目标特征图，所述第一目标特征图的分辨率为所述第二分辨率阈值；

将所述第一特征图与所述第一目标特征图融合，获得第一概率分布信息；

根据所述第一概率分布信息更新所述第一训练模块中的网络参数，获得训练后的所述第一神经网络结构；所述第一概率分布信息包括所述第一特征图中元素为左心房的概率和/或不为左心房的概率；

还原模块，用于获得所述第一分割图像中所述特征元素的重心坐标；

剪裁模块，用于以所述重心坐标为中心，将所述第一分割图像还原至原始分辨率空间，并裁剪出符合目标图像尺寸的区域数据；

第二分割处理模块，用于对所述图像区域数据进行图像分割，获得第二分割图像；所述第二分割处理模块包括第二神经网络结构；

所述还原模块，还用于将所述第二分割图像还原至所述原始图像数据的原始分辨率空间，获得所述特征元素的目标分割结果。

9.根据权利要求8所述的图像处理装置，其特征在于，所述图像转换模块包括第一转换单元和第二转换单元，其中：

所述第一转换单元，用于将所述原始图像数据转换为符合第一分辨率阈值的第一图像数据；

所述第二转换单元，用于对所述第一图像数据进行下采样，获得符合所述目标分辨率阈值的所述目标图像数据。

10.根据权利要求8或9所述的图像处理装置，其特征在于，所述目标图像参数包括目标图像尺寸阈值。

11.根据权利要求8或9所述的图像处理装置，其特征在于，所述原始图像数据包括钆增强磁共振图像。

12.根据权利要求10所述的图像处理装置，其特征在于，所述原始图像数据包括钆增强磁共振图像。

13.根据权利要求8所述的图像处理装置，其特征在于，所述图像处理装置还用于所述第二神经网络结构的训练；

所述还原模块还用于，获得原始分割数据中第二特征元素的重心坐标；

以所述重心坐标为中心，剪裁所述原始分割数据，获得训练区域数据；

所述图像处理装置还包括第二训练模块，用于：

将所述训练区域数据输入第二训练模块，获得第二特征图；

根据所述第二特征图生成第二目标特征图，所述第二目标特征图的分辨率与上述训练区域数据的分辨率相同；

将所述第二特征图与所述第二目标特征图融合，获得第二概率分布信息；

根据所述第二概率分布信息更新所述第二训练模块中的网络参数，获得训练后的所述第二神经网络结构。

14.根据权利要求13所述的图像处理装置，其特征在于，所述第二概率分布信息包括第二特征图中元素为左心房的概率和/或不为左心房的概率。

15.一种图像处理装置，其特征在于，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

Images