CN109872306B - 医学图像分割方法、装置和存储介质 - Google Patents
医学图像分割方法、装置和存储介质 Download PDFInfo
- Publication number
- CN109872306B CN109872306B CN201910082092.5A CN201910082092A CN109872306B CN 109872306 B CN109872306 B CN 109872306B CN 201910082092 A CN201910082092 A CN 201910082092A CN 109872306 B CN109872306 B CN 109872306B
- Authority
- CN
- China
- Prior art keywords
- medical image
- segmented
- feature map
- level
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明实施例公开了一种医学图像分割方法、装置和存储介质；本发明实施例在获取到待分割医学图像后，可以通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图，然后，一方面采用不同感受野对高层特征图进行识别，得到局部特征信息，另一方面计算高层特征图中每一个像素点与高层特征图之间的相关性，得到全局特征信息，再然后，将局部特征信息和全局特征信息进行融合，并基于融合得到的融合后高层特征图和多个低层特性图对待分割医学图像中的目标区域和目标对象进行分割；该方案可以提高细节分割的准确性，改善医学图像的整体分割效果。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种医学图像分割方法、装置和存储介质。
背景技术
随着人工智能(AI，Artificial Intelligence)的发展，AI在医疗领域上的应用也越来越为广泛。以医学图像分割为例，现有一般会采用卷积神经网络对待分割图像的高层特征进行提取，然后，再采用金字塔场景分析网络(PSPNet，Pyramid Scene ParsingNetwork)和图像分割模型(DeepLab)，分别对提取的高层特征采用不同尺度的池化操作(Pooling)和空洞卷积(Atrous Convolution)操作，以将高层特征和低层特征进行融合，并据此从待分割图像中将目标对象割出来，比如从肝的核磁共振图像中将肝癌区域分割出来，等等。
然而，在对现有技术的研究和实践过程中，本发明的发明人发现，现有方案所提取的高层特征，其特征表达能力十分有限，导致细节分割的准确性不高，大大影响医学图像的整体分割效果。
发明内容
本发明实施例提供一种医学图像分割方法、装置和存储介质。可以提高细节分割的准确性，改善医学图像的整体分割效果。
一种医学图像分割方法，包括：
获取待分割医学图像；
通过残差网络对所述待分割医学图像进行特征提取，得到高层特征图和多个低层特性图；
采用不同感受野对所述高层特征图进行识别，得到局部特征信息；
计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息；
将所述局部特征信息和全局特征信息进行融合，得到融合后高层特征图；
基于所述多个低层特性图和融合后高层特征图分别对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
相应的，本发明实施例提供一种医学图像分割装置，包括：
获取单元，用于获取待分割医学图像；
提取单元，用于通过残差网络对所述待分割医学图像进行特征提取，得到高层特征图和多个低层特性图；
识别单元，用于采用不同感受野对所述高层特征图进行识别，得到局部特征信息；
计算单元，用于计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息；
融合单元，用于将所述局部特征信息和全局特征信息进行融合，得到融合后高层特征图；
分割单元，用于基于所述多个低层特性图和融合后高层特征图分别对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
可选的，在一些实施例中，所述分割单元，具体用于采用训练后图像分割模型，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，基于预测的类型对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
可选的，在一些实施例中，所述训练后图像分割模型包括区域分割网格和对象分割网格，则：
所述分割单元，具体可以用于采用区域分割网格，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第一像素类型，基于预测的第一像素类型对待分割医学图像中的目标区域进行分割；以及采用对象分割网格，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第二像素类型，基于预测的第二像素类型对待分割医学图像中的目标对象进行分割。
可选的，在一些实施例中，所述分割单元，具体可以用于通过预设注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置分别为所述多个低层特性图赋予相应的权重，得到多个第一加权后低层特性图，采用区域分割网格，根据所述多个第一加权后低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第一像素类型。
可选的，在一些实施例中，所述分割单元，具体可以用于基于预测的第一像素类型，从所述待分割医学图像中筛选符合目标区域像素类型的像素点，得到目标区域对应的候选像素集，根据目标区域对应的候选像素集确定目标区域在待分割医学图像中的边界点，基于所述目标区域在待分割医学图像中的边界点对待分割医学图像进行分割，得到目标区域。
可选的，在一些实施例中，所述分割单元，具体可以用于通过预设注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置、以及各个低层特性图在目标区域中的位置分别为所述多个低层特性图赋予相应的权重，得到多个第二加权后低层特性图，采用对象分割网格，根据所述多个第二加权后低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第二像素类型。
可选的，在一些实施例中，所述分割单元，具体可以用于基于预测的第二像素类型，从所述待分割医学图像中筛选符合目标对象像素类型的像素点，得到目标对象对应的候选像素集，根据目标对象对应的候选像素集确定目标对象在待分割医学图像中的边界点，基于所述目标对象在待分割医学图像中的边界点对待分割医学图像进行分割，得到目标对象。
可选的，在一些实施例中，所述训练后图像分割模型还包括局部金字塔注意力网络，所述局部金字塔注意力网络包括多层设置有不同感受野的卷积层，则所述识别单元，具体可以用于通过所述局部金字塔注意力网络对所述高层特征图进行识别，得到局部特征信息。
可选的，在一些实施例中，所述识别单元，具体可以用于通过所述局部金字塔注意力网络对所述高层特征图进行特征筛选，得到多个尺度的局部特征图，将所述多个尺度的局部特征图进行加权求和，得到局部特征信息。
可选的，在一些实施例中，所述训练后图像分割模型还包括全局注意力网络，所述全局注意力网络包括多层并列且设置有不同通道大小的卷积层，则所述计算单元，具体可以用于通过所述全局注意力网络，计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息。
可选的，在一些实施例中，所述全局注意力网络中的卷积层包括第一卷积层、第二卷积层和第三卷积层，则：
所述计算单元，具体可以用于通过第一卷积层和第二卷积层，计算所述高层特征图中各个像素点之间的相关性，利用第三卷积层，根据所述各个像素点之间的相关性计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息。
所述计算单元，具体可以用于对所述各个像素点之间的相关性进行归一化，得到所述高层特征图对应的注意力地图，通过第三卷积层对所述高层特征图进行卷积处理，得到初始特征图，将所述注意力地图与所述初始特征图进行逐像素相乘，得到全局特征信息。
可选的，在一些实施例中，所述医学图像分割装置还可以包括采集单元和训练单元，如下：
采集单元，用于采集医学图像样本，所述医学图像样本标注了目标区域和目标对象；
训练单元，用于利用图像分割模型分别对所述医学图像样本中的目标区域和目标对象进行分割，得到预测的分割结果，通过插值损失函数，根据所述医学图像样本的标注和所述预测的分割结果对所述图像分割模型进行收敛，得到训练后图像分割模型。
可选的，在一些实施例中，所述训练单元，具体可以用于采用交叉熵损失函数，根据所述医学图像样本的标注和所述预测的分割结果对所述图像分割模型中的用于像素分类的参数进行调整，以及通过插值损失函数，根据所述医学图像样本的标注和所述预测的分割结果对所述图像分割模型中用于分割的参数进行调整，得到训练后图像分割模型。
此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种医学图像分割方法中的步骤。
本发明实施例在获取到待分割医学图像后，可以通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图，然后，一方面采用不同感受野对高层特征图进行识别，得到局部特征信息，另一方面计算高层特征图中每一个像素点与高层特征图之间的相关性，得到全局特征信息，再然后，将局部特征信息和全局特征信息进行融合，并基于融合得到的融合后高层特征图和多个低层特性图对待分割医学图像中的目标区域和目标对象进行分割；由于该方案可以在处理高层特征时，在关注其局部特征信息的同时，也将全局特征信息(全局上下文信息)也作为考量因素之一，因此，可以更好地处理从局部到全局区域不同位置间的依赖关系，提升高层特征的特征表达能力，所以，可以提高细节分割的准确性，改善医学图像的整体分割效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的医学图像分割方法的场景示意图；
图2是本发明实施例提供的医学图像分割方法的流程示意图；
图3是本发明实施例提供的训练后图像分割模型的示例图；
图4是本发明实施例提供的医学图像分割方法中感受域的示意图；
图5是本发明实施例提供的全局-局部注意力模块的结构示意图；
图6是本发明实施例提供的局部金字塔注意力网络的结构示意图；
图7是本发明实施例提供的全局注意力网络的结构示意图；
图8是本发明实施例提供的注意力跳跃层的结构示意图；
图9是本发明实施例提供的图像分割模型的结构示例图；
图10是本发明实施例提供的医学图像分割方法中增强预测帧的连续性的场景示意图；
图11是本发明实施例提供的医学图像分割方法的另一流程示意图；
图12是本发明实施例提供的胰腺癌(肿瘤)分割示意图；
图13是本发明实施例提供的脑肿瘤分割示意图；
图14是本发明实施例提供的医学图像分割装置的结构示意图；
图15是本发明实施例提供的医学图像分割装置的另一结构示意图；
图16是本发明实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种医学图像分割方法、装置和存储介质。其中，该医学图像分割装置可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备。
所谓图像分割，指的是把图像分成若干个特定的、具有独特性质的区域，并提出感兴趣目标的技术和过程。而在本发明实施例中，主要指的是对医学图像进行分割，并找出所需的目标区域和目标对象，比如从医学图像中分割出肝部区域和肝癌区域，等等，该分割出来的目标区域和目标对象后续可以供医护人员或其他医学专家进行分析，以便作出进一步的操作。
例如，参见图1，以该医学图像分割装置集成在网络设备中为例，该网络设备在获取到各医学图像采集设备采集的医学图像后，可以根据接收到的医学图像确定待分割医学图像，并通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图，然后，一方面采用不同感受野(receptive field)对该高层特征图进行识别，得到局部特征信息，另一方面计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息，再然后，将该局部特征信息和全局特征信息进行融合，得到融合后高层特征图，并基于该多个低层特性图和融合后高层特征图分别对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从医学图像分割装置的角度进行描述，该医学图像分割装置具体可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算(PC，Personal Computer)等设备。
一种医学图像分割方法，包括：获取待分割医学图像，通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图，然后，一方面采用不同感受野对该高层特征图进行识别，得到局部特征信息，另一方面计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息，再然后，将该局部特征信息和全局特征信息进行融合，得到融合后高层特征图，并基于该多个低层特性图和融合后高层特征图分别对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
如图2所示，该医学图像分割方法的具体流程如下：
101、获取待分割医学图像。
例如，具体由各医学图像采集设备，比如核磁共振成像仪(MRI，MagneticResonance Imaging)，比如计算机断层扫描设备(CT，Computed Tomography)、比如***镜或内窥镜等来对生命体组织进行图像采集，进而提供给该医学图像分割装置，即，医学图像分割装置具体可以接收医学图像采集设备发送的医学图像，根据接收到的医学图像确定待分割医学图像。
比如，如果该医学图像为二维图像，则可以将该二维图像确定为待分割医学图像，而如果该医学图像为三维图像，则可以将该三维图像划分为多个单帧切片(简称切片)，其中每一切片即为一待分割医学图像。
其中，待分割医学图像指的是需要进行图像分割的医学图像，所谓医学图像，指的是通过医学图像采集设备对生命体的某组成部分，比如人体的大脑、心脏、脾、肠胃或***等进行影像采集所得到的图像。而生命体指的是有生命形态的，且能对外界刺激做出相应反映的独立个体，比如人、猫或狗等。
102、通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图。
其中，高层特征图指的是该残差网络最终输出的特征图，所谓“高层特征”一般可以包含与类别、以及高级抽象等相关的信息。而低层特征图，则指的是残差网络在对待分割医学图像进行特征提取的过程中，所得到的特征图，所谓“低层特征”一般可以包含诸如边缘和纹理等图像细节。例如，以该残差网络包括多个串联的残差模块为例，则此时，高层特征图指的是最后一块残差模块输出的特征图，而低层特征图则指的是除第一残差模块和最后一块残差模块之外的其他残差模块所输出的特征图。
比如，如图3所示，若该残差网络包括残差模块1(Block1)、残差模块2(Block2)、残差模块3(Block3)、残差模块4(Block4)和残差模块5(Block5)，则残差模块5输出的特征图为高层特征图，而残差模块2、残差模块3和残差模块4输出的特征图为低层特征图。
103、采用不同感受野对该高层特征图进行识别，得到局部特征信息。
其中，在卷积神经网络中，感受野决定了某一层输出结果中一个元素所对应的输入层的区域大小。也就是说，感受野是卷积神经网络中的某一层输出结果(即特征图，feature map)上的元素点在输入图像上映射的大小，比如，参见图4。一般的，第一层卷积层(比如C1)的输出特征图像素的感受野的大小等于卷积核的大小(滤波器，Filter size)，而高层卷积层(比如C4等)的感受野大小则和它之前所有层的卷积核大小和步长有关系，因此，基于不同的感受野，便可以捕获到不同级别的信息，进而达到提取不同尺度特征信息的目的。
可选的，可以建立一局部金字塔注意力网络，并对该局部金字塔注意力网络的多层卷积层分别设置不同的感受野，这样，便可以采用该局部金字塔注意力网络来处理该高层特征图，以得到局部特征信息；即步骤“采用不同感受野对该高层特征图进行识别，得到局部特征信息”可以包括：
通过该局部金字塔注意力网络对该高层特征图进行识别，得到局部特征信息。其中，该局部金字塔注意力网络包括多层设置有不同感受野的卷积层。
例如，具体可以通过该局部金字塔注意力网络对该高层特征图进行特征筛选，得到多个尺度的局部特征图，然后，将该多个尺度的局部特征图进行加权求和，得到局部特征信息。
其中，该局部金字塔注意力网络的结构可以根据实际应用的需求进行设置，比如，参见图5和图6，以该局部金字塔注意力网络的卷积层包括Conv1、Conv2和Conv3为例，则此时，具体可以依次采用Conv1、Conv2和Conv3对高层特征图进行卷积处理，其中，Conv1、Conv2和Conv3的卷积核均可以根据实际应用的需求而定，如可以设置为3×3，此外，Conv1、Conv2和Conv3的感受域也逐步扩大(即Conv3的感受域>Conv2的感受域>Conv1的感受域)，使得各卷积层可以用于生成特定尺度的注意力地图(Attention Map)，并分别根据生成的注意力地图对该高层特征图进行相应尺度的特征选取，得到多个尺度的局部特征图，如Conv1生成局部特征图1、Conv2生成局部特征图2、以及Conv3生成局部特征图3，等等，此后，便可以将该多个尺度的局部特征图进行加权求和，得到局部特征信息。
104、计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息。
例如，可以建立一全局注意力网络，并在该全局注意力网络中，设置不同通道大小的卷积层，这样，此时便可以通过该全局注意力网络，计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息，比如，参见图5。
其中，相关性指的是两个变量之间的关联程度，即具体可以通过该全局注意力网络，计算该高层特征图中每一个像素点与该高层特征图之间的关联程度，得到全局特征信息。
比如，以该全局注意力网络中的卷积层包括第一卷积层、第二卷积层和第三卷积层为例，则此时，步骤“通过该全局注意力网络，计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息”可以包括：
通过第一卷积层和第二卷积层，计算该高层特征图中各个像素点之间的相关性；利用第三卷积层，根据该各个像素点之间的相关性计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息。
其中，步骤“利用第三卷积层，根据该各个像素点之间的相关性计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息”可以包括：
对该各个像素点之间的相关性进行归一化，得到该高层特征图对应的注意力地图；通过第三卷积层对该高层特征图进行卷积处理，得到初始特征图；将该注意力地图与该初始特征图进行逐像素相乘，得到全局特征信息。
譬如，如图7所示，若该全局注意力网络包括的三层卷积层分别为：f、g和h，则可以分别通过f和g计算该高层特征图中各个像素点之间的相关性，并对该各个像素点之间的相关性进行归一化，得到该高层特征图对应的注意力地图，然后，将该注意力地图作用于该高层特征图，便可以得到基于全局上下文关注后的特征，即该高层特征图对应的全局特征信息。
其中，该高层特征图对应的注意力地图中的每两个像素点(即位置)j和i的关系attj,i计算可以如下：
其中，
si,j＝f(xi)Tg(xj),
可选的，将该注意力地图作用于该高层特征图的方式有多种，比如，可以通过h对该高层特征图进行卷积处理，得到初始特征图，然后将该注意力地图与该初始特征图进行逐像素相乘，便可得到该高层特征图对应的全局特征信息，等等，用公式表示即为：
其中，Oj为像素点j对应的全局特征信息，f(x)、g(x)和h(x)分别为f、g和h的网络结构所对应的函数，其中：
f(x)＝Wfx；
g(x)＝Wgx；
h(x)＝Whx；
Wf、Wg和Wh分别为f、g和h的网络结构参数，具体可以根据实际应用的需求而定。比如，其卷积层的卷积核均可以设置为1×1，等等。
采用上述公式对Oj进行计算，便可得到该高层特征图中各个像素点对应的全局特征信息，将该高层特征图中所有像素点对应的全局特征信息集中起来，便得到该高层特征图对应的全局特征信息。
需说明的是，为了描述方便，在本发明实施例中，将局部金字塔注意力网络和全局注意力网络等部分统称为“全局-局部注意力模块”，参见图3；即全局-局部注意力模块的结构具体可参见图5。
其中，步骤103和104的执行顺序可以不分先后。
105、将该局部特征信息和全局特征信息进行融合，得到融合后高层特征图。
例如，如图5所示，可以将高层特征图、该高层特征图对应的局部特征信息、以及高层特征图对应的全局特征信息进行加权求和，得到融合后高层特征图。
其中，该高层特征图的权重、该高层特征图对应的局部特征信息的权重、以及高层特征图对应的全局特征信息的权重可以根据实际应用的需求灵活进行设置和调整，在此不作赘述。
106、基于该多个低层特性图和融合后高层特征图分别对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
例如，具体可以采用训练后图像分割模型，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，基于预测的类型对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
其中，该目标区域包含目标对象，该目标区域和目标对象均可以根据实际应用的需求进行设置，比如，若目标对象为左心房，则该目标区域可以设置为心脏，若目标对象为十二道指肠，则该目标区域可以设置为胃，若目标对象为肝癌，则目标区域为肝脏，若目标对象为脑癌，则目标区域为大脑，等等。可选的，该目标对象也可以设置为多个，其中，一个目标对象对应目标区域中一定面积的区域，且各个目标对象的区域之间存在包含关系；比如，若目标区域为胸腔部位，则第一个目标对象可以是设置为心脏(心脏位于胸腔部位)，而第二目标对象可以设置为左心房(左心房为心脏的一部分)，等等。为了描述方便，在本发明实施例中，将均以一个目标对象为例进行说明。
其中，训练后图像分割模型的结构可以根据实际应用的需求而定，比如，可以包括区域分割网络和对象分割网络(区域分割网络和对象分割网络并列设置)，其中，每一个区域分割网络对应一个目标区域，每一个对象分割网络对应一个目标对象；若需要分割多个目标对象，则可以设置并列的多个区域分割对象，需说明的是，若存在多个目标对象，则目标对象之间需呈层次递减关系，比如目标对象1包含目标对象2，目标对象2包含目标对象3，等等。
以该训练后图像分割模型包括区域分割网络和对象分割网络为例，则步骤“采用训练后图像分割模型，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，基于预测的类型对待分割医学图像中的目标区域和目标对象进行分割”可以包括：
(1)采用区域分割网格，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第一像素类型，基于预测的第一像素类型对待分割医学图像中的目标区域进行分割。
例如，可以直接将低层特性图分别与区域分割网格中相应的卷积层的输出进行融合(比如进行简单的特征相加或通道拼接)后，作为该相应卷积层的下一层卷积层的输入，以达到预测该待分割医学图像中每个像素点的类型，并基于该类型对目标区域进行分割的目的。
比如，参见图3(忽略其中的注意力跳跃层)，区域分割网格可以包括卷积层H1_5、H1_4、H1_3、H1_2、和H1_1，若残差模块2输出的低层特征图为“低层特征图2”，残差模块3输出的低层特征图为“低层特征图3”，残差模块4输出的低层特征图为“低层特征图4”，则在H1_5对高层特征图进行处理后，可以直接将低层特征图4与H1_5的输出进行融合后，作为H1_4的输入；再将低层特征图3与H1_4的输出进行融合后，作为H1_3的输入；同理，还可以将低层特征图2与H1_3的输出进行融合后，作为H1_2的输入，以此类推，最终由H1_1输出目标区域。
可选的，由于并非所有低层特征都对特定的分割任务起作用，也就是说，不同特征在特定任务中所起到作用具有不同的权重，因此，为了有效地对不同特征赋予其应有的重要性，使得特征可以得到更好的利用，以提高图像分割的准确性，还可以使用注意力机制让网络自动对不同位置的低层特征图赋予不同的权重，使得网络可以对低层特征有选择性地进行融合，即具体可以根据各个低层特性图在待分割医学图像中的位置分别为该多个低层特性图赋予相应的权重，再与区域分割网格中相应的卷积层的输出进行融合，其中，该能够使用注意力机制让网络自动对不同位置的低层特征图赋予不同的权重的模块在本发明实施例中，称为“注意力跳跃层(Attentive Skip Layer)”；也就是说，步骤“采用区域分割网格，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第一像素类型”可以包括：
通过预设注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置分别为该多个低层特性图赋予相应的权重，得到多个第一加权后低层特性图；采用区域分割网格，根据该多个第一加权后低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第一像素类型。
此后，便可以基于预测的第一像素类型对待分割医学图像中的目标区域进行分割，比如，可以基于预测的第一像素类型，从该待分割医学图像中筛选符合目标区域像素类型的像素点，得到目标区域对应的候选像素集，然后，根据目标区域对应的候选像素集确定目标区域在待分割医学图像中的边界点，并基于该目标区域在待分割医学图像中的边界点对待分割医学图像进行分割，得到目标区域，等等。
譬如，如图3所示，在H1_5对高层特征图进行处理后，可以采用注意力跳跃层，根据低层特征图4在待分割医学图像中的位置为低层特性图4赋予相应的权重，得到第一加权后低层特性图4，然后，将第一加权后低层特性图4与H1_5的输出进行融合(比如进行特征相加或通道拼接)后，作为H1_4的输入；类似的，可以采用注意力跳跃层，根据低层特征图3在待分割医学图像中的位置为低层特性图3赋予相应的权重，得到第一加权后低层特性图3，然后，将第一加权后低层特性图3与H1_4的输出进行融合(比如进行特征相加或通道拼接)后，作为H1_3的输入；以及采用注意力跳跃层，根据低层特征图2在待分割医学图像中的位置为低层特性图2赋予相应的权重，得到第一加权后低层特性图2，然后，将第一加权后低层特性图2与H1_3的输出进行融合(比如进行特征相加或通道拼接)后，作为H1_2的输入，以此类推，最终由H1_1输出目标区域。
(2)采用对象分割网格，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第二像素类型，基于预测的第二像素类型对待分割医学图像中的目标对象进行分割。
例如，可以直接将低层特性图分别与对象分割网格中相应的卷积层的输出进行融合后，作为该相应卷积层的下一层卷积层的输入，以达到预测该待分割医学图像中每个像素点的类型，并基于该类型对目标对象进行分割的目的。
比如，参见图3(忽略其中的注意力跳跃层)，对象分割网格可以包括卷积层H2_5、H2_4、H2_3、H2_2、和H2_1，若残差模块2输出的低层特征图为“低层特征图2”，残差模块3输出的低层特征图为“低层特征图3”，残差模块4输出的低层特征图为“低层特征图4”，则在H2_5对高层特征图进行处理后，可以直接将低层特征图4与H2_5的输出进行融合后，作为H2_4的输入；再将低层特征图3与H2_4的输出进行融合后，作为H2_3的输入；同理，还可以将低层特征图2与H2_3的输出进行融合后，作为H2_2的输入，以此类推，最终由H2_1输出目标对象。
可选的，由于并非所有低层特征都对特定的分割任务起作用，也就是说，不同特征在特定任务中所起到作用具有不同的权重，而且，某些特征类别间往往不是简单的二分类问题，而是存在一定的相关性。以肝与肝癌的分割为例，肝癌位于肝器官的内部，肝的准确识别对于进一步提升肝癌的定位无疑是至关重要的，因此，为了有效地对不同特征赋予其应有的重要性，使得特征可以进一步得到更好的利用，以可以提高图像分割的准确性，在根据各个低层特性图在待分割医学图像中的位置为该多个低层特性图赋予相应的权重的基础上，还可以进一步根据各个低层特性图在目标区域中的位置分别为该多个低层特性图赋予相应的权重，再与对象分割网格中相应的卷积层的输出进行融合，即步骤“采用对象分割网格，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第二像素类型”可以包括：
通过预设注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置、以及各个低层特性图在目标区域中的位置分别为该多个低层特性图赋予相应的权重，得到多个第二加权后低层特性图；采用对象分割网格，根据该多个第二加权后低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第二像素类型。
此后，便可以基于预测的第二像素类型对待分割医学图像中的目标对象进行分割，比如，具体可以基于预测的第二像素类型，从该待分割医学图像中筛选符合目标对象像素类型的像素点，得到目标对象对应的候选像素集，根据目标对象对应的候选像素集确定目标对象在待分割医学图像中的边界点，基于该目标对象在待分割医学图像中的边界点对待分割医学图像进行分割，得到目标对象。
譬如，如图3所示，在H2_5对高层特征图进行处理后，可以采用注意力跳跃层，根据低层特征图4在待分割医学图像中的位置为低层特性图4赋予相应的权重，得到第一加权后低层特性图4，再通过另一注意力跳跃层，根据低层特性图4在目标区域中的位置为第一加权后低层特性图4赋予相应的权重，得到第二加权后低层特性图4，然后，将第二加权后低层特性图4与H2_5的输出进行融合(比如进行特征相加或通道拼接)后，作为H2_4的输入；类似的，可以采用注意力跳跃层，根据低层特征图3在待分割医学图像中的位置为低层特性图3赋予相应的权重，得到第一加权后低层特性图3，再通过另一注意力跳跃层，根据低层特性图3在目标区域中的位置为第一加权后低层特性图3赋予相应的权重，得到第二加权后低层特性图3，然后，将第二加权后低层特性图3与H2_4的输出进行融合(比如进行特征相加或通道拼接)后，作为H2_3的输入；以及采用注意力跳跃层，根据低层特征图2在待分割医学图像中的位置为低层特性图2赋予相应的权重，得到第一加权后低层特性图2，再通过另一注意力跳跃层，根据低层特性图2在目标区域中的位置为第一加权后低层特性图2赋予相应的权重，得到第二加权后低层特性图2，然后，将第二加权后低层特性图2与H2_3的输出进行融合(比如进行特征相加或通道拼接等处理)后，作为H2_2的输入，以此类推，最终由H2_1输出目标对象。
可选的，若存在多个目标对象，则在为该多个低层特性图赋予权重时，还可以将各个低层特性图在上一个目标对象(即当前目标对象的上一级目标对象，该上一级目标对象包含当前目标对象)中的位置也作为衡量因素之一。比如存在两个目标对象，一个为“肿瘤全区域”，一个为“肿瘤核”，则可以为该两个目标对象分别设置对应的对象分割网络——“肿瘤全区域”分割网络和“肿瘤核”分割网络，那么，此时便可以通过注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置、以及各个低层特性图在目标区域中的位置分别为该多个低层特性图赋予相应的权重，得到多个第二加权后低层特性图1，然后，采用肿瘤全区域分割网格，根据该多个第二加权后低层特性图1和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第二像素类型1，基于预测的第二像素类型1对待分割医学图像中的“肿瘤全区域”进行分割。以及通过注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置、各个低层特性图在目标区域中的位置、以及各个低层特性图在第一个目标对象“肿瘤全区域”中的位置，分别为该多个低层特性图赋予相应的权重，得到多个第二加权后低层特性图2，然后，采用肿瘤核分割网格，根据该多个第二加权后低层特性图2和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第二像素类型2，基于预测的第二像素类型2对待分割医学图像中的“肿瘤核”进行分割；以此类推，等等。
需说明的是，本发明实施例所提供的注意力跳跃层的结构可以根据实际应用的需求进行设置，比如，该注意力跳跃层可以使用空间注意力(Spatial Attention)和/或通道注意力(Channel Attention)等注意力机制来实现。其中，空间注意力强调图像平面上不同区域的重要性，而通道注意力强调不同通道特征图的重要程度。
例如，如图8所示，分割网络的卷积层在对高层特征图进行特征提取后，可以将已提取的高层特征作为指导信息送入一个3x3卷积层和非线性单元(如sigmoid激活函数)进行处理，得到平面的权重矩阵A_s，同时高层特征经过全局平均池化(global pooling)与1x1卷积处理后，得到通道上的权重向量A_c。将平面权重矩阵A_s和A_c连续作用于(如采用矩阵点乘)底层特征图，从而对其进行平面空间和/或通道上的特征筛选，也就是说，经过特征筛选后，便可以得到第一加权后低层特性图或第二加权后低层特性图。
此后，可以将筛选后的特征与提取的高层特征进行融合，比如可以将筛选后的特征与提取的高层特征相加后，送入一层3x3卷积层进行卷积处理，并采用双线性插值对卷积处理后的结果进行上采样，得到2倍分辨率的特征矩阵，然后，将该得到的2倍分辨率的特征矩阵作为下一3x3卷积层的输入，并采用上述过程进行处理，连续经过该上述过程直到得到与原图相同大小的分割预测图，便可得到所需的分割结果，即预测的目标区域或目标对象。
由于该注意力机制的应用过程增强了对特定分割任务重要特征的激活值，而尽可能地忽略不相关的特征，因此，可以有效地对不同特征赋予其应有的重要性，使得特征可以进一步得到更好的利用，以可以提高图像分割的准确性。
可选的，在得到预测的目标区域和目标对象后，还可以输出该目标区域和目标对象，以供用户如医护人员进行浏览，以便作进一步判断。
需说明的是，若待分割医学图像为切片，则此时得到的目标区域和目标对象为该切片中的目标区域和目标对象，因此，还可以将属于同一三维医学图像的切片的目标区域和目标对象进行整合，得到该三维医学图像对应的目标区域和目标对象，即得到一三维格式的目标区域和目标对象。
此外，还需说明的是，在本发明实施例中，该训练后图像分割模型除了可以包括残差网络、区域分割网络和对象分割网络之外，也可以包括本发明实施例所提供的全局-局部注意力模块(如局部金字塔注意力网络和全局注意力网络)、以及注意力跳跃层等，即可以将局部金字塔注意力网络、全局注意力网络和注意力跳跃层等模块也看成是该训练后图像分割模型的一部分；其中，残差网络、局部金字塔注意力网络、全局注意力网络和注意力跳跃层等模块可以看成是该训练后图像分割模型的编码器(encoder)部分，用于进行特征提取，而区域分割网络和对象分割网络则可以看成是该训练后图像分割模型的解码器部分，用于根据提取的特征对像素类型进行分类和分割，也就是说，区域分割网络和对象分割网络使用相同的编码器，如图3所示。
可选的，该训练后图像分割模型可以除了可以由运维人员预先进行设置之外，也可以由该图像分割装置自行训练来得到。即步骤“采用训练后图像分割模型，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型”之前，该图像分割方法还可以包括：
S1、采集医学图像样本，该医学图像样本标注了目标区域和目标对象。
比如，具体可以采集多张医学图像作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的医学图像进行预处理，以得到满足预设分割网络的输入标准的图像，然后，对这些预处理后的图像进行目标区域和目标对象的标注，即可得到多张标注了目标区域和目标对象的医学图像样本。
其中，预处理可以包括去重、裁剪、旋转和/或翻转等操作。譬如，以预设分割网络的输入大小为“128*128*32(宽*高*深)”为例，则此时，可以将原始数据集里的图像裁剪为“28*128*32”大小，当然，还可以进一步对这些图像进行其他的预处理操作。
S2、利用图像分割模型分别对该医学图像样本中的目标区域和目标对象进行分割，得到预测的分割结果。
例如，具体可以通过残差网络对医学图像样本进行特征提取，得到医学图像样本对应的高层特征图和多个低层特性图，然后，一方面采用不同感受野对该高层特征图进行识别，得到局部特征信息，另一方面计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息，再然后，将该局部特征信息和全局特征信息进行融合，得到融合后高层特征图，并基于该多个低层特性图和融合后高层特征图分别对医学图像样本中的目标区域和目标对象进行分割，得到预测的分割结果。
其中，局部特征信息、全局特征信息和融合后高层特征图的获取方式，以及对医学图像样本中的目标区域和目标对象的分割方法与对待分割图像的处理相同，具体可参见前面的实施例，在此不作赘述。
S3、根据该医学图像样本的标注和该预测的分割结果对该图像分割模型进行收敛，得到训练后图像分割模型。
由于医学图像一般为CT或MRI等三维数据格式，其可以包括多个单帧切片(简称切片)，且同一器官组织在连续的几个切片间往往存在着比较强的连续性，而本发明实施例所提供的图像分割方法主要是针对切片进行独立分割，再整合为最终的三维结果，因此，为了避免分割结果在Z轴方向上的不连续性，可以采用插值损失函数来进行收敛，以提高其连续性。即步骤“根据该医学图像样本的标注和该预测的分割结果对该图像分割模型进行收敛，得到训练后图像分割模型”可以包括：
通过插值损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型进行收敛，得到训练后图像分割模型。譬如，具体可以如下：
采用Dice函数(一种损失函数)，根据该医学图像样本的标注和该预测的分割结果对该分割网格中的用于像素分类的参数进行调整，以及通过插值损失函数，根据该医学图像样本的标注和该预测的分割结果对该分割网格中用于分割的参数进行调整，得到训练后图像分割模型。
可选的，为了提高像素分类精确性，除了采用Dice函数之外，还可以采用其他的损失函数如交叉熵损失函数来进行收敛，即步骤“通过插值损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型进行收敛，得到训练后图像分割模型”也可以包括：
采用交叉熵损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型中的用于像素分类的参数进行调整，以及通过插值损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型中用于分割的参数进行调整，得到训练后图像分割模型。
由上可知，本实施例在获取到待分割医学图像后，可以通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图，然后，一方面采用不同感受野对高层特征图进行识别，得到局部特征信息，另一方面计算高层特征图中每一个像素点与高层特征图之间的相关性，得到全局特征信息，再然后，将局部特征信息和全局特征信息进行融合，并基于融合得到的融合后高层特征图和多个低层特性图对待分割医学图像中的目标区域和目标对象进行分割；由于该方案可以在处理高层特征时，在关注其局部特征信息的同时，也将全局特征信息(全局上下文信息)也作为考量因素之一，因此，可以更好地处理从局部到全局区域不同位置间的依赖关系，提升高层特征的特征表达能力，所以，可以提高细节分割的准确性，改善医学图像的整体分割效果。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该医学图像分割装置具体集成在网络设备，其目标区域具体为肝部区域，目标对象具体为肝癌区域为例进行说明。
(一)图像分割模型的训练。
首先，网络设备可以采集多张关于肝和肝癌的医学图像，比如从数据库或网络等获取多张关于肝和肝癌的医学图像，然后对这些医学图像进行预处理，比如进行去重、裁剪、旋转和/或翻转等操作，以得到满足预设分割网络的输入标准的图像，然后，在这些预处理后的图像中，标注出肝和肝癌部位，即可得到多张标注了肝和肝癌部位的医学图像样本。
其次，网络设备可以将医学图像样本输入至预设的图像分割模型，通过残差网络对医学图像样本进行特征提取，得到医学图像样本对应的高层特征图和多个低层特性图，然后，一方面通过局部金字塔注意力网络(包括多层设置有不同感受野的卷积层)对该高层特征图进行识别，得到该高层特征图对应的局部特征信息，另一方面通过全局注意力网络，计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到该高层特征图对应的全局特征信息，再然后，将该局部特征信息和全局特征信息进行融合，得到融合后高层特征图，并基于该多个低层特性图和融合后高层特征图分别对医学图像样本中的目标区域和目标对象进行分割，得到预测的分割结果。
再者，网络设备通过插值损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型进行收敛，得到训练后图像分割模型，比如，具体可以采用交叉熵损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型中的用于像素分类的参数进行调整，以及通过插值损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型中用于分割的参数进行调整，得到训练后图像分割模型。
其中，交叉熵损失函数可以根据该图像分割模型中解码器部分(即区域分割网络和对象分割网络)的情况进行设置，比如，可以计算各个解码器的交叉熵损失，然后，根据各个解码器的交叉熵损失和解码器数目确定该交叉熵损失函数，用公式表示即为：
其中，Lcls为交叉熵损失函数，K表示解码器分支的数目，
表示第i个解码器的交叉熵损失，λi为每个解码器损失对应的权重。
比如，如图9所示，以肝与肝癌分割为例，由于存在一个区域分割网络和一个对象分割网络共两个解码器分支，因此，此时k＝2，此外，可以设置λ1＝0.5，λ2＝1.0)，由此可以得到图9所示图像分割模型中的区域分割网络的交叉损失函数为：
以及，可以得到图9所示图像分割模型中的对象分割网络的交叉损失函数为：
依次类推，等等。
同理，插值损失函数也可以根据实际应用的需求，如预测的分割结果(简称预测图)的数目来进行设置。比如，以该图像分割模型接收到5帧连续切片作为输入，且输出中间3帧的预测图
和
为例。则为了增强3帧预测图的连续性，如图10所示，可以使用一个预训练的插值网络令
和
来插值中间的预测图，得到
并将该插值得到的
与原来的预测图
计算Dice损失函数。
其中，Dice损失函数Ldice定义如下：
其中，N为预测图总的像素值数目，xi和yi分别是预测图x和y在第i个位置的像素值。
在得到Dice损失函数之后，便可以通过使直接预测的中间帧图片与插值得到的预测图片尽量逼近，使得相邻的预测图间增加了一定的连续性，进而得到插值损失函数，该插值损失函数的定义具体可以如下：
-其中I为插值网络，Ldice为Dice损失函数。
由此，可以得到用于优化网络训练的总损失函数Ltotal为：
需说明的是，在本发明实施例中，可以使用基于Adam的自学习率优化算法对模型进行优化，具体参数可以根据实际应用的需求而定，比如，其初始学习率(Learning rate，学习率越小学习会越精细，但同时学习速度也会降低，收敛较慢)可以设置为1e-3，批大小可以设置为16，训练50个epoch(1个epoch等于使用训练集中的全部样本训练一次)，等等，在此不作赘述。
(二)通过该训练后图像分割模型，便可以对待分割医学图像进行分割。
其中，该训练后图像分割模型包括残差网络、全局-局部注意力模块、注意力跳跃层和分割网络，其中，全局-局部注意力模块包括局部金字塔注意力网络和全局注意力网络，分割网络包括一个用于肝部区域分割的区域分割网络H1、以及一个用于肝癌区域分割的对象分割网络H2。
如图11所示，一种医学图像分割方法，具体流程可以如下：
201、网络设备获取关于肝的待分割医学图像。
例如，网络设备可以接收各医学图像采集设备，比如MRI或CT等对人体肝部进行图像采集后发送的医学图像，然后，根据接收到的医学图像确定待分割医学图像。
比如，如果该医学图像为二维图像，则可以将该二维图像确定为待分割医学图像，而如果该医学图像为三维图像，则可以将该三维图像划分为多个切片，其中每一切片即为一待分割医学图像，等等。
202、网络设备获取训练后图像分割模型，并通过图像分割模型的残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图。
比如，如图9所示，若该残差网络包括残差模块1(Block1)、残差模块2(Block2)、残差模块3(Block3)、残差模块4(Block4)和残差模块5(Block5)，则残差模块5输出的特征图为高层特征图，而残差模块2、残差模块3和残差模块4输出的特征图为低层特征图。
203、网络设备通过局部金字塔注意力网络对高层特征图进行识别，得到局部特征信息。
例如，网络设备可以通过该局部金字塔注意力网络对该高层特征图进行特征筛选，得到多个尺度的局部特征图，然后，将该多个尺度的局部特征图进行加权求和，得到局部特征信息。
其中，该局部金字塔注意力网络包括多层设置有不同感受野的卷积层。比如，以该局部金字塔注意力网络的卷积层包括Conv1、Conv2和Conv3，且Conv3的感受域>Conv2的感受域>Conv1的感受域为例，则此时Conv1、Conv2和Conv3可以分别生成相应尺度的注意力地图，并分别根据生成的注意力地图对该高层特征图进行相应尺度的特征选取，得到多个尺度的局部特征图，如局部特征图1、局部特征图2和局部特征图3，然后，再将该多个尺度的局部特征图进行加权求和，便可得到局部特征信息。
204、网络设备通过该全局注意力网络，计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息。
比如，以该全局注意力网络中的卷积层包括卷积层f、卷积层g和卷积层h为例，则此时，可以通过卷积层f和卷积层g，计算该高层特征图中各个像素点之间的相关性，并对该各个像素点之间的相关性进行归一化，得到该高层特征图对应的注意力地图，然后，通过卷积层h对该高层特征图进行卷积处理，得到初始特征图，再将该注意力地图与该初始特征图进行逐像素相乘，便可得到全局特征信息。用公式表示即为：
其中，Oj为像素点j对应的全局特征信息，attj,i为注意力地图中的每两个像素点(即位置)j和i的关系，其公式如下：
其中，
si,j＝f(xi)Tg(xj),
此外，f(x)、g(x)和h(x)分别为f、g和h的网络结构所对应的函数，其中：
f(x)＝Wfx；
g(x)＝Wgx；
h(x)＝Whx；
其中，Wf、Wg和Wh分别为f、g和h的网络结构参数，具体可以根据实际应用的需求而定。比如，其卷积层的卷积核均可以设置为1×1，等等。
采用上述公式对Oj进行计算，便可得到该高层特征图中各个像素点对应的全局特征信息，将该高层特征图中所有像素点对应的全局特征信息集中起来，便得到该高层特征图对应的全局特征信息。
需说明的是，其中，步骤203和204的执行顺序可以不分先后。
205、网络设备将高层特征图、局部特征信息、以及全局特征信息进行加权求和，得到融合后高层特征图。
其中，该高层特征图的权重、局部特征信息的权重、以及全局特征信息的权重可以根据实际应用的需求灵活进行设置和调整，在此不作赘述。
206、网络设备采用区域分割网格，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到预测的第一像素类型，基于预测的第一像素类型对待分割医学图像中的肝部区域进行分割。例如，参见图9，具体可以如下：
网络设备通过注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置分别为该多个低层特性图赋予相应的权重，得到多个第一加权后低层特性图，然后，采用区域分割网格，根据该多个第一加权后低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，比如，可以预测该待分割医学图像中哪些像素点属于“肝部区域”，哪些像素点不属于“肝部区域”，得到第一像素类型。
此后，网络设备便可以基于预测的第一像素类型，从该待分割医学图像中筛选符合肝部区域(即目标区域)像素类型的像素点，得到肝部区域对应的候选像素集，根据肝部区域对应的候选像素集确定肝部区域在待分割医学图像中的边界点，并根据这些边界点对待分割医学图像进行分割，得到预测的肝部区域。
譬如，如图9所示，在H1_5对高层特征图进行处理后，可以采用注意力跳跃层，根据低层特征图4在待分割医学图像中的位置为低层特性图4赋予相应的权重，得到第一加权后低层特性图4，然后，将第一加权后低层特性图4与H1_5的输出进行融合后，作为H1_4的输入；类似的，可以采用注意力跳跃层，根据低层特征图3在待分割医学图像中的位置为低层特性图3赋予相应的权重，得到第一加权后低层特性图3，然后，将第一加权后低层特性图3与H1_4的输出进行融合后，作为H1_3的输入；以及采用注意力跳跃层，根据低层特征图2在待分割医学图像中的位置为低层特性图2赋予相应的权重，得到第一加权后低层特性图2，然后，将第一加权后低层特性图2与H1_3的输出进行融合后，作为H1_2的输入，以此类推，最终由H1_1输出预测的肝部区域图像。
207、网络设备采用对象分割网格，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到预测的第二像素类型，基于预测的第二像素类型对待分割医学图像中的肝癌区域进行分割。例如，如图9所示，具体可以如下：
网络设备通过注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置、以及各个低层特性图在肝部区域中的位置分别为该多个低层特性图赋予相应的权重，得到多个第二加权后低层特性图，然后，采用对象分割网格，根据该多个第二加权后低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，比如，可以预测该待分割医学图像中哪些像素点属于“肝癌区域”，哪些像素点不属于“肝癌区域”，得到第二像素类型。
此后，网络设备便可以基于预测的第二像素类型，从该待分割医学图像中筛选符合肝癌区域像素类型的像素点，得到肝癌区域对应的候选像素集，然后，根据肝癌区域对应的候选像素集确定肝癌区域在待分割医学图像中的边界点，并根据这些边界点对待分割医学图像进行分割，得到预测的肝癌区域。
譬如，如图9所示，在H2_5对高层特征图进行处理后，可以采用注意力跳跃层，根据低层特征图4在待分割医学图像中的位置为低层特性图4赋予相应的权重，得到第一加权后低层特性图4，再通过另一注意力跳跃层，根据低层特性图4在目标区域中的位置为第一加权后低层特性图4赋予相应的权重，得到第二加权后低层特性图4，然后，将第二加权后低层特性图4与H2_5的输出进行融合后，作为H2_4的输入；类似的，可以采用注意力跳跃层，根据低层特征图3在待分割医学图像中的位置为低层特性图3赋予相应的权重，得到第一加权后低层特性图3，再通过另一注意力跳跃层，根据低层特性图3在目标区域中的位置为第一加权后低层特性图3赋予相应的权重，得到第二加权后低层特性图3，然后，将第二加权后低层特性图3与H2_4的输出进行融合后，作为H2_3的输入；以及采用注意力跳跃层，根据低层特征图2在待分割医学图像中的位置为低层特性图2赋予相应的权重，得到第一加权后低层特性图2，再通过另一注意力跳跃层，根据低层特性图2在目标区域中的位置为第一加权后低层特性图2赋予相应的权重，得到第二加权后低层特性图2，然后，将第二加权后低层特性图2与H2_3的输出进行融合后，作为H2_2的输入，以此类推，最终由H2_1输出预测的肝癌区域图像。
其中，步骤206和207的执行顺序可以不分先后。
可选的，在得到预测的肝部区域和肝癌区域后，还可以输出该肝部区域和肝癌区域，以供用户如医护人员进行浏览，以便作进一步判断。
需说明的是，若待分割医学图像为切片，则此时得到的肝部区域和肝癌区域为该切片中的肝部区域和肝癌区域，因此，还可以将属于同一医学图像的切片的肝部区域和肝癌区域进行整合，得到该三维医学图像对应的肝部区域和肝癌区域，即得到一三维格式的肝部区域和肝癌区域。
需说明的是，本实施例仅仅以肝癌为例进行说明，应当理解的是，该方法同样适用于其他生命体组织，如宫颈、胰腺(Pancreas)和大脑等医学图像的分割。比如，参见图12和图13，其中，图12为胰腺的图像分割，其目标区域为“胰腺”区域，目标对象为胰腺的“肿瘤”区域；图13为脑癌的图像分割，其中包括两个目标区域，一个为全肿瘤区域，另一个为肿瘤核(肿瘤核区域位于全肿瘤区域中)，目标对象为肿瘤增强部位区域(肿瘤增强部位区域位于肿瘤核区域中)。
需说明的是，若用于其他生命体组织的医学图像分割，则该图像分割模型所采用的训练样本需要调整为相应的生命体组织的医学图像样本。此外，该图像分割模型中的解码器部分(即区域分割网络和对象分割网络)部分也可以根据具体的需求进行适应性调整，比如可以设置多个区域分割网络等等。
由上可知，本实施例在获取到待分割医学图像后，可以通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图，然后，一方面采用局部金字塔注意力网络对高层特征图进行识别，得到局部特征信息，另一方面通过全局注意力网络计算高层特征图中每一个像素点与高层特征图之间的相关性，得到全局特征信息，再然后，将局部特征信息和全局特征信息进行融合，并利用分割网络基于融合得到的融合后高层特征图和多个低层特性图对待分割医学图像中的目标区域和目标对象，如肝部区域和肝癌区域进行分割；由于该方案可以在处理高层特征时，在关注其局部特征信息的同时，也将全局特征信息(全局上下文信息)也作为考量因素之一，因此，可以更好地处理从局部到全局区域不同位置间的依赖关系，提升高层特征的特征表达能力。
另外，由于该方案设置了多个并列的分割网络分支，来对低层特征从大目标到小目标进行选择，并独立进行预测，因此，不仅可以在更好处理脏器和脏器病变区域的依赖关系的同时，减少脏器识别误差对脏器病变区域识别的影响，而且，该结构也使得该模型的扩展性和适应性较强。此外，由于该方案还可以通过注意力跳跃层来为不同位置的低层特性赋予不同的权重，使得特征能够进一步得到更好的利用，所以，其在细节分割准确性方面，也可以得到大大提高。总而言之，该方案相对于现有技术而言，可以大大提高图像细节分割的准确性，改善医学图像的整体分割效果。
为了更好地实施以上方法，本发明实施例还提供一种医学图像分割装置，该医学图像分割装置可以集成在网络设备，比如服务器或终端等设备中，该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
例如，如图14所示，该医学图像分割装置可以包括获取单元301、提取单元302、识别单元303、计算单元304、融合单元305和分割单元306，如下：
(1)获取单元301；
获取单元301，用于获取待分割医学图像。
例如，具体由各医学图像采集设备，比如MRI、CT、***镜或内窥镜等来对生命体组织进行图像采集，进而提供给该获取单元301，即：
获取单元301，具体可以用于接收医学图像采集设备发送的医学图像，根据接收到的医学图像确定待分割医学图像。比如，如果该医学图像为二维图像，则可以将该二维图像确定为待分割医学图像，而如果该医学图像为三维图像，则可以将该三维图像划分为多个切片，其中每一切片即为一待分割医学图像。
(2)提取单元302；
提取单元302，用于通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图。
(3)识别单元303；
识别单元303，用于采用不同感受野对该高层特征图进行识别，得到局部特征信息；
可选的，可以建立一局部金字塔注意力网络，并对该局部金字塔注意力网络的多层卷积层分别设置不同的感受野，这样，便可以采用该局部金字塔注意力网络来处理该高层特征图，以得到局部特征信息；即：
该识别单元303，具体可以用于通过该局部金字塔注意力网络对该高层特征图进行识别，得到局部特征信息。
例如，该识别单元303，具体可以用于通过该局部金字塔注意力网络对该高层特征图进行特征筛选，得到多个尺度的局部特征图，将该多个尺度的局部特征图进行加权求和，得到局部特征信息。
其中，该局部金字塔注意力网络的结构可以根据实际应用的需求进行设置，具体可参见前面的方法实施例，在此不作赘述。
(4)计算单元304；
计算单元304，用于计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息；
例如，可以建立一全局注意力网络，并在该全局注意力网络中，设置不同通道大小的卷积层，这样，此时便可以通过该全局注意力网络，计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息；即：
计算单元304，具体可以用于通过该全局注意力网络，计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息。
比如，以该全局注意力网络中的卷积层包括第一卷积层、第二卷积层和第三卷积层为例，则：
计算单元304，具体可以用于通过第一卷积层和第二卷积层，计算该高层特征图中各个像素点之间的相关性，利用第三卷积层，根据该各个像素点之间的相关性计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息。
比如，计算单元304可以对该各个像素点之间的相关性进行归一化，得到该高层特征图对应的注意力地图，以及通过第三卷积层对该高层特征图进行卷积处理，得到初始特征图，然后，将该注意力地图与该初始特征图进行逐像素相乘，得到全局特征信息，等等，具体可参见前面的方法实施例，在此不作赘述。
(5)融合单元305；
融合单元305，用于将该局部特征信息和全局特征信息进行融合，得到融合后高层特征图。
例如，融合单元305，具体可以用于将高层特征图、该高层特征图对应的局部特征信息、以及高层特征图对应的全局特征信息进行加权求和，得到融合后高层特征图。
其中，该高层特征图的权重、局部特征信息的权重、以及全局特征信息的权重可以根据实际应用的需求灵活进行设置和调整，在此不作赘述。
(6)分割单元306；
分割单元306，用于基于该多个低层特性图和融合后高层特征图分别对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
例如，该分割单元306，具体用于采用训练后图像分割模型，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，基于预测的类型对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
其中，目该目标区域包含目标对象，该目标区域和目标对象均可以根据实际应用的需求进行设置，比如，若目标对象为左心房，则该目标区域可以设置为心脏，若目标对象为肝癌，则目标区域为肝脏，若目标对象为脑癌，则目标区域为大脑，等等。可选的，该目标区域也可以设置为多个，其中，一个目标区域对应包含目标对象的一定面积的区域，比如，若目标对象为大脑的肿瘤增强部位，则第一个目标区域可以设置为大脑的全肿瘤区域，第二个目标区域可以设置为大脑的肿瘤核，等等，具体可参见前面的实施例，在此不作赘述。
其中，训练后图像分割模型的结构可以根据实际应用的需求而定，比如，可以包括区域分割网络和对象分割网络；其中，每一个区域分割网络对应一个目标区域，每一个对象分割网络对应一个目标对象；若需要分割多个目标对象，则可以设置并列的多个区域分割对象，需说明的是，若存在多个目标对象，则目标对象的之间需呈层次包含关系，比如目标对象1包含目标对象2，目标对象2包含目标对象3，等等。
以该训练后图像分割模型包括区域分割网络和对象分割网络为例，则：
该分割单元306，具体可以用于采用区域分割网格，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第一像素类型，基于预测的第一像素类型对待分割医学图像中的目标区域进行分割；以及采用对象分割网格，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第二像素类型，基于预测的第二像素类型对待分割医学图像中的目标对象进行分割。
例如，分割单元306具体可以通过预设注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置分别为该多个低层特性图赋予相应的权重，得到多个第一加权后低层特性图，采用区域分割网格，根据该多个第一加权后低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第一像素类型；此后，便可以基于预测的第一像素类型对待分割医学图像中的目标区域进行分割。比如：
分割单元306可以基于预测的第一像素类型，从该待分割医学图像中筛选符合目标区域像素类型的像素点，得到目标区域对应的候选像素集，根据目标区域对应的候选像素集确定目标区域在待分割医学图像中的边界点，基于该目标区域在待分割医学图像中的边界点对待分割医学图像进行分割，得到目标区域。
同理，该分割单元306，也可以通过预设注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置、以及各个低层特性图在目标区域中的位置分别为该多个低层特性图赋予相应的权重，得到多个第二加权后低层特性图，采用对象分割网格，根据该多个第二加权后低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，得到第二像素类型。此后，便可以基于预测的第二像素类型对待分割医学图像中的目标对象进行分割。比如：
分割单元306可以基于预测的第二像素类型，从该待分割医学图像中筛选符合目标对象像素类型的像素点，得到目标对象对应的候选像素集，根据目标对象对应的候选像素集确定目标对象在待分割医学图像中的边界点，基于该目标对象在待分割医学图像中的边界点对待分割医学图像进行分割，得到目标对象。
其中，注意力跳跃层结构可以根据实际应用的需求进行设置，具体可参见前面的方法实施例，在此不作赘述。
需说明的是，若待分割医学图像为切片，则此时分割单元306得到的目标区域和目标对象为该切片中的目标区域和目标对象，因此，可选的，分割单元306还可以将属于同一三维医学图像的切片的目标区域和目标对象进行整合，得到该三维医学图像对应的目标区域和目标对象，即得到一三维格式的目标区域和目标对象。
此外，还需说明的是，在本发明实施例中，该训练后图像分割模型除了可以包括残差网络和分割网络(如区域分割网络和对象分割网络)之外，也可以包括本发明实施例所提供的全局-局部注意力模块(如局部金字塔注意力网络和全局注意力网络)、以及注意力跳跃层等，即训练后图像分割模型可以包括残差网络、局部金字塔注意力网络、全局注意力网络、注意力跳跃层和分割网络。
可选的，该训练后图像分割模型可以除了可以由运维人员预先进行设置之外，也可以由该图像分割装置自行训练来得到。即如图15所示，该医学图像分割装置还可以包括采集单元307和训练单元308，如下：
采集单元307，可以用于采集医学图像样本，该医学图像样本标注了目标区域和目标对象。
比如，采集单元307可以采集多张医学图像作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的医学图像进行预处理，以得到满足预设分割网络的输入标准的图像，然后，对这些预处理后的图像进行目标区域和目标对象的标注，即可得到多张标注了目标区域和目标对象的医学图像样本。
其中，预处理可以包括去重、裁剪、旋转和/或翻转等操作。
训练单元308，用于利用图像分割模型分别对该医学图像样本中的目标区域和目标对象进行分割，得到预测的分割结果，通过插值损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型进行收敛，得到训练后图像分割模型。
例如，训练单元308，具体可以用于通过残差网络对医学图像样本进行特征提取，得到医学图像样本对应的高层特征图和多个低层特性图，然后，一方面采用不同感受野对该高层特征图进行识别，得到局部特征信息，另一方面计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息，再然后，将该局部特征信息和全局特征信息进行融合，得到融合后高层特征图，并基于该多个低层特性图和融合后高层特征图分别对医学图像样本中的目标区域和目标对象进行分割，得到预测的分割结果；此后，便可以根据该医学图像样本的标注和该预测的分割结果对该图像分割模型进行收敛，得到训练后图像分割模型。
其中，收敛的方式可以有多种，比如，可以采用预设的插值损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型进行收敛，得到训练后图像分割模型，具体如下：
该训练单元308，具体可以用于采用交叉熵损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型中的用于像素分类的参数进行调整，以及通过插值损失函数，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型中用于分割的参数进行调整，得到训练后图像分割模型。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例在获取到待分割医学图像后，可以由提取单元302通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图，然后，一方面由识别单元303采用不同感受野对高层特征图进行识别，得到局部特征信息，另一方面由计算单元304计算高层特征图中每一个像素点与高层特征图之间的相关性，得到全局特征信息，再然后，由融合单元305将局部特征信息和全局特征信息进行融合，并由分割单元306基于融合得到的融合后高层特征图和多个低层特性图对待分割医学图像中的目标区域和目标对象进行分割；由于该方案可以在处理高层特征时，在关注其局部特征信息的同时，也将全局特征信息(全局上下文信息)也作为考量因素之一，因此，可以更好地处理从局部到全局区域不同位置间的依赖关系，提升高层特征的特征表达能力。
可选的，由于该医学图像分割装置中的分割单元306可以设置多个并列的分割网络分支，来对低层特征从大目标到小目标进行选择，并独立进行预测，因此，不仅可以在更好处理脏器和脏器病变区域的依赖关系的同时，减少脏器识别误差对脏器病变区域识别的影响，而且，也使得该模型结构的扩展性和适应性得到大大的提高。此外，由于该方案还可以通过注意力跳跃层来为不同位置的低层特性赋予不同的权重，使得特征能够进一步得到更好的利用，所以，其在细节分割准确性方面，也可以得到大大提高。总而言之，该方案相对于现有技术而言，可以大大提高细节分割的准确性，改善医学图像的整体分割效果。
本发明实施例还提供一种服务器，如图16所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图16中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
服务器还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取待分割医学图像，通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图，然后，一方面采用不同感受野对该高层特征图进行识别，得到局部特征信息，另一方面计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息，再然后，将该局部特征信息和全局特征信息进行融合，得到融合后高层特征图，并基于该多个低层特性图和融合后高层特征图分别对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
例如，具体可以通过该局部金字塔注意力网络对该高层特征图进行特征筛选，得到多个尺度的局部特征图，然后，将该多个尺度的局部特征图进行加权求和，得到局部特征信息；以及通过该全局注意力网络，计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息；再然后，将将高层特征图、该高层特征图对应的局部特征信息、以及高层特征图对应的全局特征信息进行加权求和，得到融合后高层特征图，并采用训练后图像分割模型，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，基于预测的类型对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果；其中，目标区域包含目标对象。
可选的，该训练后图像分割模型可以除了可以由运维人员预先进行设置之外，也可以由该图像分割装置自行训练来得到，即处理器401还可以运行存储在存储器402中的应用程序，从而实现以下功能：
采集医学图像样本，该医学图像样本标注了目标区域和目标对象，利用图像分割模型分别对该医学图像样本中的目标区域和目标对象进行分割，得到预测的分割结果，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型进行收敛，得到训练后图像分割模型。
以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
由上可知，本实施例的网络设备在获取到待分割医学图像后，可以通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图，然后，一方面采用不同感受野对高层特征图进行识别，得到局部特征信息，另一方面计算高层特征图中每一个像素点与高层特征图之间的相关性，得到全局特征信息，再然后，将局部特征信息和全局特征信息进行融合，并基于融合得到的融合后高层特征图和多个低层特性图对待分割医学图像中的目标区域和目标对象进行分割；由于该方案可以在处理高层特征时，在关注其局部特征信息的同时，也将全局特征信息(全局上下文信息)也作为考量因素之一，因此，可以更好地处理从局部到全局区域不同位置间的依赖关系，提升高层特征的特征表达能力，所以，可以提高细节分割的准确性，改善医学图像的整体分割效果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种医学图像分割方法中的步骤。例如，该指令可以执行如下步骤：
获取待分割医学图像，通过残差网络对该待分割医学图像进行特征提取，得到高层特征图和多个低层特性图，然后，一方面采用不同感受野对该高层特征图进行识别，得到局部特征信息，另一方面计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息，再然后，将该局部特征信息和全局特征信息进行融合，得到融合后高层特征图，并基于该多个低层特性图和融合后高层特征图分别对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果。
例如，具体可以通过该局部金字塔注意力网络对该高层特征图进行特征筛选，得到多个尺度的局部特征图，然后，将该多个尺度的局部特征图进行加权求和，得到局部特征信息；以及通过该全局注意力网络，计算该高层特征图中每一个像素点与该高层特征图之间的相关性，得到全局特征信息；再然后，将将高层特征图、该高层特征图对应的局部特征信息、以及高层特征图对应的全局特征信息进行加权求和，得到融合后高层特征图，并采用训练后图像分割模型，根据该多个低层特性图和融合后高层特征图预测该待分割医学图像中每个像素点的类型，基于预测的类型对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果；其中，目标区域包含目标对象。
可选的，该训练后图像分割模型可以除了可以由运维人员预先进行设置之外，也可以由该图像分割装置自行训练来得到，即该指令还可以执行如下步骤：
采集医学图像样本，该医学图像样本标注了目标区域和目标对象，利用图像分割模型分别对该医学图像样本中的目标区域和目标对象进行分割，得到预测的分割结果，根据该医学图像样本的标注和该预测的分割结果对该图像分割模型进行收敛，得到训练后图像分割模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种医学图像分割方法中的步骤，因此，可以实现本发明实施例所提供的任一种医学图像分割方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种医学图像分割方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种医学图像分割方法，其特征在于，包括：
获取待分割医学图像；
通过残差网络对所述待分割医学图像进行特征提取，得到高层特征图和多个低层特性图；
采用不同感受野对所述高层特征图进行识别，得到局部特征信息；
计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息；
将所述局部特征信息和全局特征信息进行融合，得到融合后高层特征图；
基于所述多个低层特性图和融合后高层特征图分别对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果；
其中所述基于所述多个低层特性图和融合后高层特征图分别对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果的步骤包括：
采用训练后图像分割模型，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型；
基于预测的类型对待分割医学图像中的目标区域和目标对象进行分割，得到分割结果；
其中
所述训练后图像分割模型包括区域分割网络和对象分割网络，所述采用训练后图像分割模型，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，基于预测的类型对待分割医学图像中的目标区域和目标对象进行分割，包括：
采用区域分割网络，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第一像素类型，基于预测的第一像素类型对待分割医学图像中的目标区域进行分割；以及
采用对象分割网络，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第二像素类型，基于预测的第二像素类型对待分割医学图像中的目标对象进行分割。
2.根据权利要求1所述的方法，其特征在于，所述采用区域分割网络，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第一像素类型，包括：
通过预设注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置分别为所述多个低层特性图赋予相应的权重，得到多个第一加权后低层特性图；
采用区域分割网络，根据所述多个第一加权后低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第一像素类型。
3.根据权利要求1所述的方法，其特征在于，所述基于预测的第一像素类型对待分割医学图像中的目标区域进行分割，包括：
基于预测的第一像素类型，从所述待分割医学图像中筛选符合目标区域像素类型的像素点，得到目标区域对应的候选像素集；
根据目标区域对应的候选像素集确定目标区域在待分割医学图像中的边界点；
基于所述目标区域在待分割医学图像中的边界点对待分割医学图像进行分割，得到目标区域。
4.根据权利要求1所述的方法，其特征在于，所述采用对象分割网络，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第二像素类型，包括：
通过预设注意力跳跃层，根据各个低层特性图在待分割医学图像中的位置、以及各个低层特性图在目标区域中的位置分别为所述多个低层特性图赋予相应的权重，得到多个第二加权后低层特性图；
采用对象分割网络，根据所述多个第二加权后低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第二像素类型。
5.根据权利要求1所述的方法，其特征在于，所述基于预测的第二像素类型对待分割医学图像中的目标对象进行分割，包括：
基于预测的第二像素类型，从所述待分割医学图像中筛选符合目标对象像素类型的像素点，得到目标对象对应的候选像素集；
根据目标对象对应的候选像素集确定目标对象在待分割医学图像中的边界点；
基于所述目标对象在待分割医学图像中的边界点对待分割医学图像进行分割，得到目标对象。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述训练后图像分割模型还包括局部金字塔注意力网络，所述局部金字塔注意力网络包括多层设置有不同感受野的卷积层，所述采用不同感受野对所述高层特征图进行识别，得到局部特征信息，包括：
通过所述局部金字塔注意力网络对所述高层特征图进行识别，得到局部特征信息。
7.根据权利要求6所述的方法，其特征在于，所述通过所述局部金字塔注意力网络对所述高层特征图进行识别，得到局部特征信息，包括：
通过所述局部金字塔注意力网络对所述高层特征图进行特征筛选，得到多个尺度的局部特征图；
将所述多个尺度的局部特征图进行加权求和，得到局部特征信息。
8.根据权利要求1至5任一项所述的方法，其特征在于，所述训练后图像分割模型还包括全局注意力网络，所述全局注意力网络包括多层并列且设置有不同通道大小的卷积层，所述计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息，包括：
通过所述全局注意力网络，计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息。
9.根据权利要求8所述的方法，其特征在于，所述全局注意力网络中的卷积层包括第一卷积层、第二卷积层和第三卷积层，所述通过所述全局注意力网络，计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息，包括：
通过第一卷积层和第二卷积层，计算所述高层特征图中各个像素点之间的相关性；
利用第三卷积层，根据所述各个像素点之间的相关性计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息。
10.根据权利要求9所述的方法，其特征在于，所述利用第三卷积层，根据所述各个像素点之间的相关性计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息，包括：
对所述各个像素点之间的相关性进行归一化，得到所述高层特征图对应的注意力地图；
通过第三卷积层对所述高层特征图进行卷积处理，得到初始特征图；
将所述注意力地图与所述初始特征图进行逐像素相乘，得到全局特征信息。
11.根据权利要求1至5任一项所述的方法，其特征在于，所述采用训练后图像分割模型，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型之前，还包括：
采集医学图像样本，所述医学图像样本标注了目标区域和目标对象；
利用图像分割模型分别对所述医学图像样本中的目标区域和目标对象进行分割，得到预测的分割结果；
通过插值损失函数，根据所述医学图像样本的标注和所述预测的分割结果对所述图像分割模型进行收敛，得到训练后图像分割模型。
12.根据权利要求11所述的方法，其特征在于，所述通过插值损失函数，根据所述医学图像样本的标注和所述预测的分割结果对所述图像分割模型进行收敛，得到图像分割网络，包括：
采用交叉熵损失函数，根据所述医学图像样本的标注和所述预测的分割结果对所述图像分割模型中的用于像素分类的参数进行调整，以及
通过插值损失函数，根据所述医学图像样本的标注和所述预测的分割结果对所述图像分割模型中用于分割的参数进行调整，得到训练后图像分割模型。
13.一种医学图像分割装置，其特征在于，包括：
获取单元，用于获取待分割医学图像；
提取单元，用于通过残差网络对所述待分割医学图像进行特征提取，得到高层特征图和多个低层特性图；
识别单元，用于采用不同感受野对所述高层特征图进行识别，得到局部特征信息；
计算单元，用于计算所述高层特征图中每一个像素点与所述高层特征图之间的相关性，得到全局特征信息；
融合单元，用于将所述局部特征信息和全局特征信息进行融合，得到融合后高层特征图；
分割单元，用于采用区域分割网络，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第一像素类型，基于预测的第一像素类型对待分割医学图像中的目标区域进行分割；采用对象分割网络，根据所述多个低层特性图和融合后高层特征图预测所述待分割医学图像中每个像素点的类型，得到第二像素类型，基于预测的第二像素类型对待分割医学图像中的目标对象进行分割，得到分割结果。
14.一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至12任一项所述的医学图像分割方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910082092.5A CN109872306B (zh) | 2019-01-28 | 2019-01-28 | 医学图像分割方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910082092.5A CN109872306B (zh) | 2019-01-28 | 2019-01-28 | 医学图像分割方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109872306A CN109872306A (zh) | 2019-06-11 |
| CN109872306B true CN109872306B (zh) | 2021-01-08 |
Family
ID=66918143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910082092.5A Active CN109872306B (zh) | 2019-01-28 | 2019-01-28 | 医学图像分割方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109872306B (zh) |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211205B (zh) * | 2019-06-14 | 2022-12-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN110363168A (zh) * | 2019-07-19 | 2019-10-22 | 山东浪潮人工智能研究院有限公司 | 一种基于卷积神经网络的三维立体图识别*** |
| CN110443813B (zh) * | 2019-07-29 | 2024-02-27 | 腾讯医疗健康(深圳)有限公司 | 血管、眼底图像的分割方法、装置、设备及可读存储介质 |
| CN110211127B (zh) * | 2019-08-01 | 2019-11-26 | 成都考拉悠然科技有限公司 | 基于双相关性网络的图像分割方法 |
| CN110458833B (zh) * | 2019-08-15 | 2023-07-11 | 腾讯科技（深圳）有限公司 | 基于人工智能的医学图像处理方法、医学设备和存储介质 |
| CN110598714B (zh) * | 2019-08-19 | 2022-05-17 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
| CN110647889B (zh) * | 2019-08-26 | 2022-02-08 | 中国科学院深圳先进技术研究院 | 医学图像识别方法、医学图像识别装置、终端设备及介质 |
| CN110598711B (zh) * | 2019-08-31 | 2022-12-16 | 华南理工大学 | 一种结合分类任务的目标分割方法 |
| CN110781893B (zh) * | 2019-09-24 | 2022-06-07 | 浙江大华技术股份有限公司 | 特征图的处理方法、图像处理方法、装置以及存储介质 |
| CN110992303B (zh) * | 2019-10-29 | 2023-12-22 | 平安科技（深圳）有限公司 | 一种异常细胞筛选方法、装置、电子设备和存储介质 |
| CN111161279B (zh) * | 2019-12-12 | 2023-05-26 | 中国科学院深圳先进技术研究院 | 医学图像分割方法、装置及服务器 |
| CN111209808B (zh) * | 2019-12-25 | 2023-07-18 | 北京航空航天大学杭州创新研究院 | 一种基于分层处理的无人机图像语义分割识别方法 |
| CN111160311B (zh) * | 2020-01-02 | 2022-05-17 | 西北工业大学 | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 |
| CN111274892B (zh) * | 2020-01-14 | 2020-12-18 | 北京科技大学 | 一种鲁棒的遥感影像变化检测方法及*** |
| CN111291759A (zh) * | 2020-01-17 | 2020-06-16 | 北京三快在线科技有限公司 | 文字检测方法、装置、电子设备及存储介质 |
| CN111340820B (zh) * | 2020-02-10 | 2022-05-17 | 中国科学技术大学 | 图像分割方法、装置、电子设备及存储介质 |
| CN111445440B (zh) * | 2020-02-20 | 2023-10-31 | 上海联影智能医疗科技有限公司 | 一种医学图像分析方法、设备和存储介质 |
| CN111292317B (zh) * | 2020-03-11 | 2022-06-07 | 四川大学华西医院 | 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法 |
| CN111445486B (zh) * | 2020-03-25 | 2023-10-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN111507950B (zh) * | 2020-04-08 | 2021-08-31 | 推想医疗科技股份有限公司 | 图像分割的方法和装置、电子设备及计算机可读存储介质 |
| CN111199550B (zh) * | 2020-04-09 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
| CN111583285B (zh) * | 2020-05-12 | 2023-08-04 | 武汉科技大学 | 一种基于边缘关注策略的肝脏影像语义分割方法 |
| CN111563513B (zh) * | 2020-05-15 | 2022-06-24 | 电子科技大学 | 基于注意力机制的散焦模糊检测方法 |
| CN111598174B (zh) * | 2020-05-19 | 2020-12-29 | 中国科学院空天信息创新研究院 | 基于半监督对抗学习的模型训练方法及图像变化分析方法 |
| CN111986210B (zh) * | 2020-07-29 | 2022-11-04 | 天津大学 | 一种医学影像小病灶分割方法 |
| CN112215850A (zh) * | 2020-08-21 | 2021-01-12 | 天津大学 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
| CN112017196B (zh) * | 2020-08-27 | 2022-02-22 | 重庆邮电大学 | 基于局部注意力机制的三维牙齿模型网格分割方法 |
| CN112084911B (zh) * | 2020-08-28 | 2023-03-07 | 安徽清新互联信息科技有限公司 | 一种基于全局注意力的人脸特征点定位方法及*** |
| CN112037237B (zh) * | 2020-09-01 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、计算机设备及介质 |
| CN112102283B (zh) * | 2020-09-14 | 2022-12-16 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
| CN112183258A (zh) * | 2020-09-16 | 2021-01-05 | 太原理工大学 | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 |
| CN112150472A (zh) * | 2020-09-24 | 2020-12-29 | 北京羽医甘蓝信息技术有限公司 | 基于cbct的三维颌骨图像分割方法、装置及终端设备 |
| CN111968137A (zh) * | 2020-10-22 | 2020-11-20 | 平安科技（深圳）有限公司 | 头部ct图像分割方法、装置、电子设备及存储介质 |
| CN112241952B (zh) * | 2020-10-22 | 2023-09-05 | 平安科技（深圳）有限公司 | 大脑中线识别方法、装置、计算机设备及存储介质 |
| CN112017185B (zh) * | 2020-10-30 | 2021-02-05 | 平安科技（深圳）有限公司 | 病灶分割方法、装置及存储介质 |
| CN112200802B (zh) * | 2020-10-30 | 2022-04-26 | 上海商汤智能科技有限公司 | 图像检测模型的训练方法及相关装置、设备、存储介质 |
| CN112329844A (zh) * | 2020-11-03 | 2021-02-05 | 上海商汤智能科技有限公司 | 图像目标分类方法及相关装置、设备、存储介质 |
| CN112613517B (zh) * | 2020-12-17 | 2022-02-18 | 深圳大学 | 内窥镜仪器分割方法、装置、计算机设备及存储介质 |
| CN112614205B (zh) * | 2020-12-28 | 2021-09-28 | 推想医疗科技股份有限公司 | 图像重建方法及装置 |
| CN112766099B (zh) * | 2021-01-07 | 2022-06-07 | 武汉大学 | 一种从局部到全局上下文信息提取的高光谱影像分类方法 |
| CN113326851B (zh) * | 2021-05-21 | 2023-10-27 | 中国科学院深圳先进技术研究院 | 图像特征提取方法、装置、电子设备及存储介质 |
| CN113159056B (zh) * | 2021-05-21 | 2023-11-21 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置、设备及存储介质 |
| CN113409326A (zh) * | 2021-05-31 | 2021-09-17 | 北京工业大学 | 图像分割方法及*** |
| CN113470044A (zh) * | 2021-06-09 | 2021-10-01 | 东北大学 | 一种基于深度卷积神经网络的ct图像肝脏自动分割方法 |
| CN113469972B (zh) * | 2021-06-30 | 2024-04-23 | 沈阳东软智能医疗科技研究院有限公司 | 标注医学切片图像的方法、装置、存储介质及电子设备 |
| CN113554668B (zh) * | 2021-07-27 | 2022-02-22 | 深圳大学 | 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件 |
| CN113724307B (zh) * | 2021-09-02 | 2023-04-28 | 深圳大学 | 基于特征自校准网络的图像配准方法、装置及相关组件 |
| CN113920099B (zh) * | 2021-10-15 | 2022-08-30 | 深圳大学 | 一种基于非局部信息提取的息肉分割方法及相关组件 |
| CN114820652B (zh) * | 2022-04-07 | 2023-05-23 | 北京医准智能科技有限公司 | 乳腺x线图像局部质量异常区域的分割方法、装置及介质 |
| CN114615507B (zh) * | 2022-05-11 | 2022-09-13 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种图像编码方法、解码方法及相关装置 |
| CN114926423B (zh) * | 2022-05-12 | 2023-02-10 | 深圳大学 | 基于注意力及边界约束的息肉图像分割方法、装置、设备及介质 |
| CN116543147A (zh) * | 2023-03-10 | 2023-08-04 | 武汉库柏特科技有限公司 | 一种颈动脉超声图像分割方法、装置、设备及存储介质 |
| CN116503420B (zh) * | 2023-04-26 | 2024-05-14 | 佛山科学技术学院 | 一种基于联邦学习的图像分割方法及相关设备 |
| CN116342582B (zh) * | 2023-05-11 | 2023-08-04 | 湖南工商大学 | 基于可变形注意力机制的医学图像分类方法与医疗设备 |
| CN116824308B (zh) * | 2023-08-30 | 2024-03-22 | 腾讯科技（深圳）有限公司 | 图像分割模型训练方法与相关方法、装置、介质及设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10650512B2 (en) * | 2016-06-14 | 2020-05-12 | The Regents Of The University Of Michigan | Systems and methods for topographical characterization of medical image data |
| CN107516316B (zh) * | 2017-07-19 | 2020-11-20 | 盐城禅图智能科技有限公司 | 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法 |
| CN107274406A (zh) * | 2017-08-07 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种检测敏感区域的方法及装置 |
| CN107886514B (zh) * | 2017-11-22 | 2021-04-23 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
| CN109166107A (zh) * | 2018-04-28 | 2019-01-08 | 北京市商汤科技开发有限公司 | 一种医学图像分割方法及装置、电子设备和存储介质 |
-
2019
- 2019-01-28 CN CN201910082092.5A patent/CN109872306B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109872306A (zh) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109872306B (zh) | 医学图像分割方法、装置和存储介质 | |
| Schlüter et al. | Natural synthetic anomalies for self-supervised anomaly detection and localization | |
| Wang et al. | Volumetric attention for 3D medical image segmentation and detection | |
| EP3961484A1 (en) | Medical image segmentation method and device, electronic device and storage medium | |
| EP3553742B1 (en) | Method and device for identifying pathological picture | |
| CN109166130B (zh) | 一种图像处理方法及图像处理装置 | |
| KR101879207B1 (ko) | 약한 지도 학습 방식의 객체 인식 방법 및 장치 | |
| Poudel et al. | Recurrent fully convolutional neural networks for multi-slice MRI cardiac segmentation | |
| CN110490850B (zh) | 一种肿块区域检测方法、装置和医学图像处理设备 | |
| CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
| CN111260055B (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
| CN112085714B (zh) | 一种肺结节检测方法、模型训练方法、装置、设备及介质 | |
| CN114022718B (zh) | 消化***病理图像识别方法、***及计算机存储介质 | |
| US20210012504A1 (en) | Encoder Regularization of a Segmentation Model | |
| CN112132815B (zh) | 肺结节检测模型训练方法、检测方法及装置 | |
| CN110807362A (zh) | 一种图像检测方法、装置和计算机可读存储介质 | |
| CN112102235B (zh) | 人体部位识别方法、计算机设备和存储介质 | |
| CN107194933A (zh) | 结合卷积神经网络和模糊推理的脑肿瘤分割方法和装置 | |
| CN108256489B (zh) | 基于深度强化学习的行为预测方法及装置 | |
| CN115082389A (zh) | 医学影像的肋骨检测方法、设备及介质 | |
| CN113160199B (zh) | 影像识别方法、装置、计算机设备和存储介质 | |
| CN114332553A (zh) | 图像处理方法、装置、设备以及存储介质 | |
| AU2020223750B2 (en) | Method and System for Image Annotation | |
| CN112668710B (zh) | 模型训练、管状物提取、数据识别方法及设备 | |
| CN112488178A (zh) | 网络模型的训练方法及装置、图像处理方法及装置、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |