CN110176012B - 图像中的目标分割方法、池化方法、装置及存储介质 - Google Patents

图像中的目标分割方法、池化方法、装置及存储介质 Download PDF

Info

Publication number
CN110176012B
CN110176012B CN201910452561.8A CN201910452561A CN110176012B CN 110176012 B CN110176012 B CN 110176012B CN 201910452561 A CN201910452561 A CN 201910452561A CN 110176012 B CN110176012 B CN 110176012B
Authority
CN
China
Prior art keywords
feature map
image
pooling
attention
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910452561.8A
Other languages
English (en)
Other versions
CN110176012A (zh
Inventor
张逸鹤
伍健荣
钱天翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910452561.8A priority Critical patent/CN110176012B/zh
Publication of CN110176012A publication Critical patent/CN110176012A/zh
Application granted granted Critical
Publication of CN110176012B publication Critical patent/CN110176012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像中的目标分割方法、池化方法、装置及存储介质。所述方法包括：获取待分割图像，待分割图像中包含需要分割提取的目标对象；对待分割图像进行预处理，得到标准尺寸的输入图像；通过完成训练的图像分割模型对输入图像进行处理，得到待分割图像中的目标对象的分割结果；其中，图像分割模型中包含注意力引导的池化模块，注意力引导的池化模型用于基于注意力机制确定输入图像的特征图谱中的关注区域，并以关注区域为中心对特征图谱进行池化处理。本申请实施例可以有效增强目标信息并抑制非目标信息，提高了最终得到的分割结果的准确率。

Description

图像中的目标分割方法、池化方法、装置及存储介质
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种图像中的目标分割方法、池化方法、装置及存储介质。
背景技术
图像中的目标分割是指对图像中的每个像素进行分类，并标注出目标对象所在区域。图像分割可以应用于医疗图像分析、无人车驾驶、地理信息***、水下物体检测等领域。例如，在医疗图像分析领域，图像分割可用于实现如肿瘤和其它病灶的定位、组织体积的测量、解剖学结构的研究等工作。
在相关技术中，通过机器学习对神经网络进行训练，构建图像分割模型，然后利用该图像分割模型生成图像的分割结果。基于CNN(Convolutional Neural Networks，卷积神经网络)构建的图像分割模型，具有较好的表现性能。卷积神经网络通常包括卷积层、池化层、上采样层、全连接层等组成部分。其中，池化层用于对卷积层输出的特征图谱进行降采样，实现特征选择，降低学习复杂度。池化层可以采用中心池化(central pooling)方式，对特征图谱进行非均匀降采样，其中高采样部位在特征图谱的正中心位置，低采样部位在特征图谱的外侧边缘位置。
然而，当需要从图像中分割识别的目标对象偏离图像的正中心位置时，上述中心池化方式会对目标对象的特征信息起到抑制作用，导致最终得到的分割结果不准确。
发明内容
本申请实施例提供了一种图像中的目标分割方法、池化方法、装置及存储介质，可用于解决相关技术提供的中心池化方式，以特征图谱的正中心位置作为池化重新，导致模型最终得到的分割结果不准确的问题。技术方案如下：
一方面，本申请实施例提供一种图像中的目标分割方法，所述方法包括：
获取待分割图像，所述待分割图像中包含需要分割提取的目标对象；
对所述待分割图像进行预处理，得到标准尺寸的输入图像；
通过完成训练的图像分割模型对所述输入图像进行处理，得到所述待分割图像中的所述目标对象的分割结果；
其中，所述图像分割模型中包含注意力引导的池化模块，所述注意力引导的池化模型用于基于注意力机制确定所述输入图像的特征图谱中的关注区域，并以所述关注区域为中心对所述特征图谱进行池化处理。
另一方面，本申请实施例提供一种池化方法，所述方法包括：
获取目标图像的特征图谱，所述特征图谱是由深度神经网络的特征提取模块对所述目标图像进行处理后得到的；
基于注意力机制对所述特征图谱进行处理，生成注意力增强后的特征图谱；
根据所述注意力增强后的特征图谱，确定所述特征图谱中的关注区域；
以所述关注区域为中心，对所述特征图谱进行池化处理。
另一方面，本申请实施例提供一种图像中的目标分割装置，所述装置包括：
图像获取模块，用于获取待分割图像，所述待分割图像中包含需要分割提取的目标对象；
图像预处理模块，用于对所述待分割图像进行预处理，得到标准尺寸的输入图像；
目标分割模块，用于通过完成训练的图像分割模型对所述输入图像进行处理，得到所述待分割图像中的所述目标对象的分割结果；
其中，所述图像分割模型中包含注意力引导的池化模块，所述注意力引导的池化模型用于基于注意力机制确定所述输入图像的特征图谱中的关注区域，并以所述关注区域为中心对所述特征图谱进行池化处理。
又一方面，本申请实施例提供一种池化装置，所述装置包括：
图谱获取模块，用于获取目标图像的特征图谱，所述特征图谱是由深度神经网络的特征提取模块对所述目标图像进行处理后得到的；
图谱生成模块，用于基于注意力机制对所述特征图谱进行处理，生成注意力增强后的特征图谱；
区域确定模块，用于根据所述注意力增强后的特征图谱，确定所述特征图谱中的关注区域；
图谱池化模块，用于以所述关注区域为中心，对所述特征图谱进行池化处理。
再一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像中的目标分割方法。
再一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述池化方法。
又一方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像中的目标分割方法。
又一方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述池化方法。
又一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述图像中的目标分割方法。
又一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述池化方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
当需要从图像中分割识别的目标对象偏离图像的正中心位置时，利用基于注意力引导池化方法对特征图谱进行处理，即通过对特征图谱基于注意力机制进行目标信息增强，得到注意力增强后的特征图谱，然后确定特征图谱中的关注区域，最后以该关注区域为中心，对特征图谱进行池化处理，可以有效增强目标信息并抑制非目标信息，提高了最终得到的分割结果的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示例性示出了一种不同方式下的目标识别结果的示意图；
图2是本申请一个实施例提供的池化方法的流程图；
图3示例性示出了一种池化方法的架构示意图；
图4是本申请一个实施例提供的查找表的示意图；
图5示例性示出了一种池化核的示意图；
图6示例性示出了一种本申请中的池化方法应用于Unet网络中的结构示意图；
图7示例性示出了的一种不同方式下的肺结节分割结果的示意图；
图8是本申请一个实施例提供的一种图像中的目标分割方法的流程图；
图9示例性示出了一种肺结节分割处理流程的示意图；
图10是本申请一个实施例提供的图像分割模型的示意图；
图11是本申请一个实施例提供的图像中的目标分割装置的框图；
图12是本申请另一个实施例提供的图像中的目标分割装置的框图；
图13是本申请一个实施例提供的池化装置的框图；
图14是本申请另一个实施例提供的池化装置的框图；
图15是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请技术方案进行介绍说明之前，先对本申请实施例涉及的相关名词进行介绍说明。
深度学习：一种利用深层神经网络模型，进行机器学习的技术。
特征图谱：深度学习神经网络中经特定模块(例如卷积层)处理后的中间结果。
注意力机制：深度学习中利用与人眼类似的注意力机制实现对特征图谱中的特定目标的基于像素的信息增强机制。
中心池化：深度学习中为了降低学习复杂度，对特征图谱进行的非均匀降采样(下采样)操作，其中高采样部位在特征图谱的正中心位置，而低采样部位在特征图谱的外侧边缘位置。
最大池化：利用均匀采样对特征图谱进行降维操作，采样后的特征图谱空间维度降维成采样前的一半。
分割模型：采用机器学习技术对标注样本进行学习后获得的数学模型，学习训练的过程中获得该数学模型的参数，识别预测时加载该数学模型的参数并计算生成输入图像对应的分割结果。
CT(Computed Tomography，电子计算机断层扫描)图像：一组CT图像为若干维切片组成。CT图像是由一定数目由黑到白不同灰度的像素按矩阵排列所构成。这些像素反映的是相应体素的X线吸收系数。CT图像是以不同的灰度来表示，反映器官和组织对X线的吸收程度。因此，与X线图像所示的黑白影像一样，黑影表示低吸收区，即低密度区；白影表示高吸收区，即高密度区。CT的密度分辨率高，即有高的密度分辨力。因此，CT图像可以更好地显示由软组织构成的器官，如脑、脊髓、纵膈、肺、肝、胆、胰以及盆部器官等，并在良好的解剖图像背景上显示出病变的影像。肺部CT图像即人体肺部的CT扫描图像。
本申请实施例通过对特征图谱基于注意力机制进行目标信息增强，得到注意力增强后的特征图谱，然后确定特征图谱中的关注区域，最后以该关注区域为中心，对特征图谱进行池化处理。本申请实施例提供的技术方案对于目标信息(即关注区域)不在特征图谱的正中心的情况下，也能对目标信息进行增强，更加灵活的实现了对目标信息的增强与无关信息的抑制。本申请实施例提供的技术方案融合了注意力机制与池化模块的优势，能够灵活的应用于各类需要增强目标信息以进行分割或识别的图像处理相关深度学习网络中，例如，CT图像癌症部位的分割与识别、复杂图像中单目标的追踪、各类深度学习的图像检测、识别和分割应用等，增强了模型表现。
如图1所示，其示例性示出了一种不同方式下的目标识别结果的示意图。图1中的(a)部分是肺结节CT的原始图像、(b)部分是彩色化原始图像、(c)部分是使用最大池化后的输出结果、(d)部分是使用中心池化后的输出结果、(e)部分是使用本申请实施例的池化方法后的输出结果。从图1可以明确看出，当目标信息的位置不在正中心时，本申请实施例的池化方法仍然能够有效捕捉结节位置，并且有效抑制非目标的其它图像信息。
本申请实施例提供的方法，各步骤的执行主体为计算机设备。计算机设备可以是任何具备计算、处理和存储能力的电子设备。例如，计算机设备可以是PC(PersonalComputer，个人计算机)或服务器，也可以是诸如手机、平板电脑、多媒体播放设备、可穿戴设备、智能电视等终端设备，还可以是医疗设备、无人机、车载终端等其它设备，本申请实施例对此不作限定。
为了便于描述，在下述方法实施例中，仅以各步骤的执行主体为计算机设备进行说明，但对此不构成限定。
请参考图2，其示出了本申请一个实施例提供的池化方法的流程图。该方法可以包括以下几个步骤。
步骤201，获取目标图像的特征图谱。
在本申请实施例中，特征图谱是由深度神经网络的特征提取模块对目标图像进行处理后得到的。例如，特征图谱是深度神经网络中的卷积层对目标图像进行卷积后得到的。
示例性地，特征图谱是一个多维的特征图谱，如包括通道维和空间维。通道维指示特征图谱的数量，通道维可以用字母C表示。空间维指示特征图谱占据的空间大小。假设特征图谱是一个二维的图谱，则空间维可以用L*W来表示，L表示特征图谱的长度、W表示特征图谱的宽度；假设特征图谱是一个三维的图谱，则空间维可以用H*L*W来表示，H表示特征图谱的高度。C、H、L、W为正整数。在实际应用中，特征图谱可以不仅仅是二维或三维的图谱，其可以是多维(例如，四维及以上)的图谱。
示例性地，如图3所示，特征图谱可以用立方体来表示，立方体的个数代表通道数C，立方体中有H*L*W个像素，每一个像素对应有一个灰度值(或强度值)。如图3所示，特征图谱对应的通道维为3，即C为3；特征图谱在空间上是一个三维正方体，即H＝L＝W。
步骤202，基于注意力机制对特征图谱进行处理，生成注意力增强后的特征图谱。
注意力机制是一种可以对特征图谱中的目标信息进行增强的机制。基于注意力机制对特征图谱进行处理后，特征图谱中的目标信息将被增强。注意力增强后的特征图谱能够实现基于目标的体素级信息的增强。
示例性地，步骤202可以包括以下两个子步骤：
1、获取特征图谱对应的通道维注意力图谱和空间维注意力图谱。
通道维注意力图谱是将特征图谱在空间维上进行压缩后得到的图谱，通道维注意力图谱用于强调特征图谱的目标信息(即下文的关注区域)；空间维注意力图谱是将特征图谱在通道维上进行压缩后得到的图谱，空间维注意力图谱用于强调目标信息的空间位置。
示例性地，通道维注意力图谱和空间维注意力图谱也可以用立方体来表示，空间维注意力图谱可以包括通道维和空间维，此时空间维注意力图谱的通道维为1，即C对应的值为1，空间维可以用HxLxW来表示；通道维注意力图谱可以包括通道维和空间维，此时通道维注意力图谱的空间维为1，即H、L、W各自对应的值为1，通道维可以用C表示。
2、将特征图谱与通道维注意力图谱和空间维注意力图谱依次相乘，得到注意力增强后的特征图谱。
通道维注意力图谱和特征图谱可以基于像素相乘，空间维注意力图谱和特征图谱也可以基于像素相乘。可选地，基于像素相乘是指基于像素的灰度值(或强度值)的相乘。特征图谱可以先与通道维注意力图谱相乘，得到第一图谱，然后第一图谱再与空间维注意力图谱相乘，得到注意力增强后的特征图谱；或者，特征图谱可以先与空间维注意力图谱相乘，得到第二图谱，然后第二图谱再与通道维注意力图谱相乘，得到注意力增强后的特征图谱。
特征图谱与通道维注意力图谱和空间维注意力图谱依次相乘，得到注意力增强后的特征图谱，可以用下式表征：
Figure BDA0002075599310000071
Figure BDA0002075599310000072
其中，F表示特征图谱；F′表示通道维增强图谱；F″表示注意力增强后的特征图谱；MC表示通道维注意力图谱；MS表示空间维注意力图谱；
Figure BDA0002075599310000081
表示基于像素的相乘。
以某一通道为例，特征图谱中的目标像素点对应的灰度值为1，目标像素点在各通道的通道维注意力图谱中对应的灰度值分别为2、3、4，则通道维增强图谱中的目标像素点对应的灰度值为(1*2+1*3+1*4＝9)；空间维注意力图谱中的目标像素点对应的灰度值为2，则注意力增强后的特征图谱中的目标像素点对应的灰度值为(9*2＝18)。目标像素点在各通道的特征图谱、通道维注意力图谱、通道维增强图谱、空间维注意力图谱和注意力增强后的特征图谱中的空间位置一致。通道维增强图谱或注意力增强后的特征图谱中的像素点对应的灰度值的计算方式与上述方式类似。
步骤203，根据注意力增强后的特征图谱，确定特征图谱中的关注区域。
因为注意力增强后的特征图谱中的目标信息被增强了，所以据此确定出的特征图谱中的关注区域更为精确。关注区域是指包括目标信息的区域，目标信息可以是指待识别、待分割或待追踪的信息。
示例性地，步骤203可以包括以下几个子步骤：
1、对注意力增强后的特征图谱的各个通道取均值处理，得到注意力增强后的平均特征图谱；
以图3为例，注意力增强后的特征图谱有3个通道，对这3个通道取均值处理，即可得到注意力增强后的平均特征图谱，注意力增强后的平均特征图谱的通道数为1。假设各通道的注意力增强后的特征图谱中的目标像素点对应的灰度值分别为2、3、4，则注意力增强后的平均特征图谱中的目标像素点对应的灰度值为(2+3+4)/3＝3，其中，目标像素点在各通道的注意力增强后的特征图谱和注意力增强后的平均特征图谱中的空间位置一致。
2、对注意力增强后的平均特征图谱进行二值化分割，得到二值化特征图谱；
可选地，对注意力增强后的平均特征图谱采用Otsu法进行二值化分割，得到二值化特征图谱。Otsu法又称为大律法或最大类间方差法。其原理是利用阈值将图像分为前景和背景两个部分，采用方差分析的方法，要求类内方差最小，类间方差最大。
示例性地，对注意力增强后的平均特征图谱进行平滑处理，得到平滑处理后的平均特征图谱；对平滑处理后的平均特征图谱进行二值化分割，得到二值化特征图谱。平滑处理是指突出图像的宽大区域、低频成分、主干部分或抑制图像噪声和干扰高频成分，使图像亮度平缓渐变，减小突变梯度，改善图像质量的图像处理方法。示例性地，可以采用插值方法、线性平滑方法、卷积法或高斯法等进行平滑处理。对平滑处理后的平均特征图谱进行二值化分割，可以使得二值化分割的结果更为准确。
3、从二值化特征图谱中选取符合预设条件的像素区域，作为关注区域。
示例性地，从二值化特征图谱中选取团簇(cluster)中心最大的像素区域，作为关注区域。
步骤204，以关注区域为中心，对特征图谱进行池化处理。
池化又可以称为采样。池化一般发生在神经网络的池化层，用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高神经网络模型的容错性。池化可以分为均匀采样和非均匀采样：均匀采样包括最大池化和平均池化；非均匀采样包括中心池化。
本申请实施例提供的池化方法，池化处理后的特征图谱在空间维度上与传统的最大池化的空间维度相同，避免了特征图谱的扭曲现象。且本申请实施例提供的池化模块可以在神经网络中多次使用。
综上所述，本申请实施例提供的技术方案中，通过对特征图谱基于注意力机制进行目标信息增强，得到注意力增强后的特征图谱，然后确定特征图谱中的关注区域，最后以该关注区域为中心，对特征图谱进行池化处理。本申请实施例提供的技术方案对于关注区域不在特征图谱的正中心的情况下，也能对目标信息进行增强，更加灵活的实现了对目标信息的增强与无关信息的抑制。
另外，本申请实施例提供的池化方法在产品侧的应用方式具有多样化选择，可作为一个子模块以嵌入图像分割、模式识别、目标检测为目标的各类深度学习网络中，达到分割、识别、检测结果增强的目的。
下面，以池化方式为中心池化进行举例说明。
示例性地，上述步骤204包括以下几个子步骤：
1、获取关注区域的中心坐标；
可选地，关注区域的中心坐标是指这个关注区域的几何中心，例如通过图形学处理可以获取关注区域的中心坐标。中心坐标如图3所示的圆点。
2、以关注区域的中心坐标为中心，对特征图谱进行池化处理。
高采样部位在关注区域的中心坐标附近，低采样部位远离关注区域的中心坐标。
2.1、根据关注区域的中心坐标，确定池化核在特征图谱中的最终分布；
在本申请实施例中，在最终分布状态下，池化核的尺寸与池化核与关注区域的中心坐标之间的距离呈正相关关系。可选地，池化核的尺寸有1、2和3；池化核的尺寸为1时对应采样率为1，即高精度采样；池化核的尺寸为2时对应采样率为2，即低精度采样；池化核的尺寸为3时对应采样率为3，即更低精度采样。尺寸为1的池化核最接近关注区域的中心坐标，尺寸为2的池化核次之，尺寸为3的池化核距关注区域的中心坐标最远。
可选地，上述步骤2.1包括以下几个子步骤：
2.1.1、根据特征图谱的中心坐标，确定池化核在特征图谱中的初始分布；
在本申请实施例中，在初始分布状态下，池化核的尺寸与池化核与特征图谱的中心坐标之间的距离呈正相关关系。可选地，池化核的尺寸有1、2和3；池化核的尺寸为1时对应采样率为1，即高精度采样；池化核的尺寸为2时对应采样率为2，即低精度采样；池化核的尺寸为3时对应采样率为3，即更低精度采样。尺寸为1的池化核最接近特征图谱的中心坐标，尺寸为2的池化核次之，尺寸为3的池化核距特征图谱的中心坐标最远。
假设特征图谱对应的空间维为O*O*O，池化核的尺寸有1、2和3，分别对应采样率为1、2和3的池化采样函数，则在初始分布状态下，尺寸分别为1、2和3的池化核的个数分别为：
Figure BDA0002075599310000101
Figure BDA0002075599310000102
Figure BDA0002075599310000103
其中，在初始分布状态下，n1表示尺寸为1的池化核的个数(即采样率为1的池化采样函数的个数)；n2表示尺寸为2的池化核的个数(即采样率为2的池化采样函数的个数)；n3表示尺寸为3的池化核的个数(即采样率为3的池化采样函数的个数)；floor[]代表下取整操作，L[i，r]为预定义的查找表用于处理输入大小(O)不能被8整除的情况；O表示特征图谱的边长；i表示采样率；r表示补齐数。
查找表如图4所示，假设O为16，则n1＝floor[16/8]＝2，n2＝floor[16/4]＝4，n3＝floor[16/8]＝2；假设O为12，则n1＝floor[12/8]+L[1,4]＝1+1＝2，n2＝floor[12/4]＝3，n3＝floor[12/8]+L[3,4]＝1+0＝1。一般而言，采样率为2的池化采样函数个数等于采样率为1的池化采样函数个数加采样率为3的池化采样函数个数。因此，O的大小一般大于(1*1+2*2+1*3)＝8。
以特征图谱的中心坐标为界，尺寸为1、2、3的池化核在特征图谱的中心坐标两侧的个数分别为：
Figure BDA0002075599310000111
ni,2＝ni-ni,1；
其中，ni表示采样率为i的池化采样函数的个数；ceil[]表示上取整操作；ni,1表示采样率为i的池化采样函数在特征图谱的中心坐标左侧或上侧或前侧的个数；ni,2表示采样率为i的池化采样函数在特征图谱的中心坐标右侧或下侧或后侧的个数。
仍然以O为16为例进行介绍说明，则
Figure BDA0002075599310000112
n1,2＝n1-n1,1＝2-1＝1；
Figure BDA0002075599310000113
n2,2＝n2-n2,1＝3-2＝1；
Figure BDA0002075599310000114
n3,2＝n3-n3,1＝2-1＝1；
此时尺寸为1、2和3的池化核的初始分布状态如图5所示，图5示出了二维特征图谱(特征图谱为正方形)下的池化核的初始分布状态。尺寸为1的池化核距离特征图谱的中心坐标最近、尺寸为2的池化核次之，尺寸为3的池化核距特征图谱的中心坐标最远。
2.1.2、计算关注区域的中心坐标与特征图谱的中心坐标之间的偏移量；
偏移量＝关注区域的中心坐标-特征图谱的中心坐标；
仍然以特征图谱为平面正方形为例，正方形的边长为16，则特征图谱的中心坐标为(3*1+2*2+1*1，3*1+2*2+1*1)＝(8,8)，假设关注区域的中心坐标为(12,10)，则X方向上的偏移量为(12-8)＝4，Y方向上的偏移量为(10-8)＝2。
2.1.3、根据偏移量对池化核在特征图谱中的初始分布进行调整，得到池化核在特征图谱中的最终分布。
一般来说，当偏移量大于0时，从右侧向左侧或从下侧向上侧调整池化核；当偏移量小于0时，从左侧向右侧或从上侧向上侧调整池化核。调整时优先调整尺寸较大的池化核，且池化核的调整个数不能超过它原有的个数；当偏移量整除池化核的尺寸为0时，选择调整尺寸次之的池化核，调整的各个池化核的个数与各个池化核的尺寸相乘等于便宜量。
仍然以上述示例为例，因为X方向上的偏移量大于0，所以需要从下侧向上侧进行池化核的调整；因为Y方向上的偏移量大于0，所以需要从右侧向左侧进行池化核的调整。调整时遵循优先调整尺寸大的池化核，例如先调整尺寸为3的池化核，再调整尺寸为2的池化核，最后调整尺寸为1的池化核。先对X方向上的池化核进行调整，如图5所示，4/3取整为1，如果下侧存在尺寸为3的池化核，则将下侧中的一个尺寸为3的池化核向上移动，调整完后偏移量变为4-3＝1,1对2整除为0，所以不能移动尺寸为2的池化核；1能对1整除为1，则在下侧存在尺寸为1的池化核时，将一个尺寸为1的池化核向上移动，调整完后偏移量为0，因此X方向上的池化核的最终分布状态如图5所示；然后对Y方向上的池化核进行调整，因为2对3整除为0，所以不能调整尺寸为3的池化核；2能对2整除为1，在右侧存在尺寸为2的卷积核的情况下，将一个尺寸为2的卷积核向左侧调整；调整完后偏移量变为0，因此Y方向上的池化核的最终状态如图5所示。
2.2、根据池化核在特征图谱中的最终分布，对特征图谱进行池化处理。
示例性地，尺寸为1的池化核，选择特征图谱中的原值作为输出；尺寸为2的池化核，选择特征图谱中的最大值或平均值作为输出；尺寸为3的池化核，选择特征图谱中的最大值或平均值作为输出。
如图3所示，对于三维的特征图谱，可以先从行方向(即X方向或W维度)对特征图谱进行池化，得到行池化后的特征图谱；然后，从列方向(即Y方向或L维度)对行池化后的特征图谱进行池化，得到列池化后的特征图谱；最后，从H维度对列池化后的特征图谱进行池化，得到输出特征图谱，该输出特征图谱也可以称之为ARP(Attention Refined Pooling，注意力约束池化)输出图谱。
请参考图6，图6是根据一示例性实施例示出的一种本申请中的池化方法应用于Unet网络中的结构示意图。
Unet网络模型是一种在医学领域应用的图像分割网络模型，Unet网络模型可以在处理具有更大感受野目标的时候，根据选择的数据集自由加深网络结构，并且Unet网络模型在进行浅层特征融合的时候，可以采用堆叠的方法。
如图6所示，将通道数为3的第一图谱(即输入层)经过跳跃连接的双卷积层，得到通道数为32的第二图谱；将通道数为32的第二图谱经过第一下采样层(即本申请中的ARP过程或池化方法)，得到通道数为32但空间维降低的第三图谱；将第三图谱经过跳跃连接的双卷积层，得到通道数为64的第四图谱(第三图谱的空间维度与第四图谱的空间维度一致)；将第四图谱经过第二下采样层(即本申请中的ARP过程或池化方法)，得到通道数为64但空间维度降低的第五图谱；将第五图谱经过跳跃连接的双卷积层，得到通道数为128的第六图谱(第六图谱与第五图谱的空间维度一致)；将第六图谱经过第三下采样层(即本申请中的ARP过程或池化方法)，得到通道数为128但空间维度降低的第七图谱；第七图谱经过跳跃连接的双卷积层，得到通道数为256的第八图谱(第八图谱的空间维度与第七图谱的空间维度一致)；对第八图谱经过第四下采样层(即进行最大池化处理)，得到通道数为256但空间维度降低的第九图谱；将第九图谱经过跳跃连接的双卷积层，得到通道数为256的第十图谱(第九图谱与第十图谱的空间维度一致)；将第十图谱经过基于注意力机制的第一上采样层后，与第八图谱进行堆叠处理，得到通道数为256+512的第十一图谱；将第十一图谱经过跳跃连接的双卷积层，得到通道数为256的第十二图谱；将第十二图谱经过基于注意力机制的第二上采样层后，并与第六图谱进行堆叠处理，得到通道数为128+256的第十三图谱；将第十三图谱经过跳跃连接的双卷积层，得到通道数为128的第十四图谱；将第十四图谱经过基于注意力机制的第三上采样层，并与第四图谱进行堆叠处理，得到通道数为64+128的第十五图谱；将第十五图谱经过跳跃连接的双卷积层，得到通道数为64的第十六图谱；将第十六图谱经过基于注意力机制的第四上采样层，并与第二图谱进行堆叠处理，得到第十七图谱；将第十七图谱经过多尺度卷积块得到第十八图谱(即输出层)。跳跃连接的双卷积层中包括卷积处理、批标准化处理、激励函数等。
利用如图6所示的Unet网络对LIDC(The Lung Image Database Consortium，肺部影像数据库联盟)数据集中的CT肺结节图像进行基于像素的分割。图7从左往右依次为标准分割结果、使用传统的Unet网络、基于注意力的Unet网络、基于传统中心池化的Unet网络，以及本申请的Unet网络各自得到的分割结果的对比图。从图7中可以明确看出，本申请的池化方法在肺结节图像分割任务中拥有良好表现，在周围组织复杂的条件下仍没有出现过分分割或欠分割的情况，表明本申请提出的池化方法能够良好的增强目标信息并抑制非目标信息。
请参考图8，其示出了本申请一个实施例提供的图像中的目标分割方法的流程图，所述方法包括以下几个步骤：
步骤801，获取待分割图像。
在本申请实施例中，待分割图像中包含需要分割提取的目标对象。此处的分割提取可以指分割提取或识别提取或追踪提取或检测提取等，本申请实施例对分割提取的类型并不作限定。
待分割图像可以是CT图像，例如，如图9所示的肺结节CT图像。
步骤802，对待分割图像进行预处理，得到标准尺寸的输入图像。
示例性地，若待分割图像的尺寸小于标准尺寸，则在待分割图像的外侧进行像素增补处理，生成标准尺寸的输入图像。此时，目标对象在待分割图像中的尺寸，与在输入图像中的尺寸相同。
若待分割图像的尺寸大于标准尺寸，则对待分割图像进行降采样处理，生成标准尺寸的输入图像。
在肺部图像中，结节的大小范围比较广，而分割模型往往需要标准尺寸的输入，相关技术中会对小结节进行放大处理，例如进行人工插值，最终使得图像失真。
可选地，本申请实施例中，可以对小结节的外侧进行像素补0的方法，实现了在不损失图像信息的情况下实现对小结节的预处理。
步骤803，通过完成训练的图像分割模型对输入图像进行处理，得到待分割图像中的目标对象的分割结果。
在本申请实施例中，图像分割模型中包含注意力引导的池化模块，注意力引导的池化模型用于基于注意力机制确定输入图像的特征图谱中的关注区域，并以关注区域为中心对特征图谱进行池化处理。关于注意力引导的池化模块可以参考上文实施例，此处不再赘述。示例性地，可以利用大量样本数据结合预处理方法，获取鲁棒的图像分割模型。
可选地，步骤803包括以下几个子步骤：
1、通过完成训练的图像分割模型对输入图像进行处理，输出待分割图像的初始分割结果；
图像分割模型参考图9和图6，图像分割模型中包括一个输入层、四个下采样层、四个上采样层以及一个输出层。下采样层中包括基于注意力机制引导的池化模块，上采样层为基于注意力机制的上采样层。四个上采样层实现了利用了多分辨率信息对肺结节的分割。
2、从初始分割结果中筛选掉不符合条件的分割结果，得到目标对象的分割结果。
可选地，此步骤包括以下两个子步骤：
2.1、从初始分割结果中，筛选掉直径不符合条件的分割结果，得到初步筛选后的分割结果；
仍然以结节为例，结节有其合理的直径范围，可以先基于结节原始大小改变初始分割结果的尺寸，然后筛选掉直径不符合条件的分割结果，得到初步筛选后的分割结果。例如，结节的合理直径范围是0-6mm，而初始分割结果中存在结节直径为7mm的结节，则需要将该结节筛选掉。
2.2、从初步筛选后的分割结果中，采用非极大值抑制法筛选掉位置不符合条件的分割结果，得到目标对象的分割结果。
非极大值抑制法(NMS，Non-Maximum Suppression)也可以称之为边缘细化技术，其原理为抑制不是极大值的元素。非极大值抑制法可以应用于“减薄”边缘，非极大值抑制法可以帮助抑制局部最大值之外的所有梯度值，其指示具有最强烈的强度值变化的位置。从初步筛选后的分割结果中，采用非极大值抑制法可以筛选掉位置不符合结节位置的分割结果，得到肺结节的分割结果。
上述实施例是以目标对象不在待分割图像的正中心为例进行介绍说明的，在可能的实现方式中，待分割图像可能为带有对目标对象标注的图像，此时可以结合标注信息对待分割图像进行预处理，此时得到的标准尺寸得到输入图像中的目标对象一般位于输入图像的正中心位置，则图像分割模型中可以仅结合注意力机制与传统中心池化对输入图像进行处理，此时图像分割模型可以如图10所示。下采样层包括注意力机制和中心池化模块，上采样层仍然为基于注意力机制的上采样层。有关图10图像分割模型的介绍说明与图6的介绍说明类似，第一下采样层至第三下采样层为注意力机制加中心池化模块，第四下采样层为注意力机制加最大池化模块，其余结构类似。以目标对象为结节为例，结节标注采用最新的标注标准，并结合多名专业医生校对，更符合当前条件下的实际临床需求。训练数据利用多中心的病理数据进行网络训练，涵盖钙化、磨玻璃、实性、近胸壁等多种情况下的结节，训练时能够更全面的学习结节特征，从而极大地提升肺结节分割识别的准确率。
上述实施例仅以目标对象为肺结节为例进行介绍说明，其它类型的医学图像识别都有可以通过本方案来实现，例如，眼底糖网的识别、乳腺癌的识别等等，只需要提供不同类型的训练数据即可。
综上所述，本申请实施例提供的技术方案中，当需要从图像中分割识别的目标对象偏离图像的正中心位置时，利用基于注意力引导池化方法对特征图谱进行处理，即通过对特征图谱基于注意力机制进行目标信息增强，得到注意力增强后的特征图谱，然后确定特征图谱中的关注区域，最后以该关注区域为中心，对特征图谱进行池化处理，可以有效增强目标信息并抑制非目标信息，提高了最终得到的分割结果的准确率。
另外，本申请实施例提供的图像分割模型具有响应快、准确率高、鲁棒性强、人工成本低等特点。该图像分割模型可面向医院或个人的辅助医疗***，作为***的主要环节能够帮助患者快速高效的检测肺结节的位置及大小。
此外，本申请实施例提供的技术方案，极大地解放了医疗资源。本申请实施例的图像分割模型为全自动识别模型，识别过程中无需人工干预，医疗人员可以大批量的进行处理辅助识别，能够大幅度降低误诊率。且识别能力不断演进，带来良性的闭环流程。本方案通过不断收集样本数据，加大离线模型的训练数据集，能够在高精度的基础上进一步不断提升模型识别能力。
另外，肺结节图像的纹理由于血管、胸壁等组织的环绕变得十分复杂，单纯利用最大池化降采样无法有效获取结节相关信息，导致训练的模型无法适应多种条件下的结节，在复杂纹理图像输入时会出现过分割或欠分割的情况。而基于注意力引导池化，在复杂纹理条件下依然能够有效的增强结节的信息，极大的提升了肺结节的分割识别准确率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图11，其示出了本申请一个实施例提供的图像中的目标分割装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备上。该装置1100可以包括：图像获取模块1110、图像预处理模块1120和目标分割模块1130。
所述图像获取模块1110，用于获取待分割图像，所述待分割图像中包含需要分割提取的目标对象。
所述图像预处理模块1120，用于对所述待分割图像进行预处理，得到标准尺寸的输入图像。
所述目标分割模块1130，用于通过完成训练的图像分割模型对所述输入图像进行处理，得到所述待分割图像中的所述目标对象的分割结果；
其中，所述图像分割模型中包含注意力引导的池化模块，所述注意力引导的池化模型用于基于注意力机制确定所述输入图像的特征图谱中的关注区域，并以所述关注区域为中心对所述特征图谱进行池化处理。
综上所述，本申请实施例提供的技术方案中，当需要从图像中分割识别的目标对象偏离图像的正中心位置时，利用基于注意力引导池化方法对特征图谱进行处理，即通过对特征图谱基于注意力机制进行目标信息增强，得到注意力增强后的特征图谱，然后确定特征图谱中的关注区域，最后以该关注区域为中心，对特征图谱进行池化处理，可以有效增强目标信息并抑制非目标信息，提高了最终得到的分割结果的准确率。
在示意性实施例中，所述图像预处理模块1120，用于：
若所述待分割图像的尺寸小于所述标准尺寸，则在所述待分割图像的外侧进行像素增补处理，生成所述标准尺寸的所述输入图像；
其中，所述目标对象在所述待分割图像中的尺寸，与在所述输入图像中的尺寸相同。
在示意性实施例中，如图12所示，所述目标分割模块1130，包括：目标初分割单元1131和目标分割单元1132。
所述目标初分割单元1131，用于通过完成训练的图像分割模型对所述输入图像进行处理，输出所述待分割图像的初始分割结果。
所述目标分割单元1132，用于从所述初始分割结果中筛选掉不符合条件的分割结果，得到所述目标对象的分割结果。
在示意性实施例中，所述目标分割单元1132，用于：
从所述初始分割结果中，筛选掉直径不符合条件的分割结果，得到初步筛选后的分割结果；
从所述初步筛选后的分割结果中，采用非极大值抑制法筛选掉位置不符合条件的分割结果，得到所述目标对象的分割结果。
请参考图13，其示出了本申请一个实施例提供的池化装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备上。该装置1300可以包括：图谱获取模块1310、图谱生成模块1320、区域确定模块1330和图谱池化模块1340。
所述图谱获取模块1310，用于获取目标图像的特征图谱，所述特征图谱是由深度神经网络的特征提取模块对所述目标图像进行处理后得到的。
所述图谱生成模块1320，用于基于注意力机制对所述特征图谱进行处理，生成注意力增强后的特征图谱。
所述区域确定模块1330，用于根据所述注意力增强后的特征图谱，确定所述特征图谱中的关注区域。
所述图谱池化模块1340，用于以所述关注区域为中心，对所述特征图谱进行池化处理。
综上所述，本申请实施例提供的技术方案中，通过对特征图谱基于注意力机制进行目标信息增强，得到注意力增强后的特征图谱，然后确定特征图谱中的关注区域，最后以该关注区域为中心，对特征图谱进行池化处理。本申请实施例提供的技术方案对于关注区域不在特征图谱的正中心的情况下，也能对目标信息进行增强，更加灵活的实现了对目标信息的增强与无关信息的抑制。
在示意性实施例中，如图14所示，所述区域确定模块1330，包括：通道平均单元1331、图谱分割单元1332和区域确定单元1333。
所述通道平均单元1331，用于对所述注意力增强后的特征图谱的各个通道取均值处理，得到注意力增强后的平均特征图谱。
所述图谱分割单元1332，用于对所述注意力增强后的平均特征图谱进行二值化分割，得到二值化特征图谱。
所述区域确定单元1333，用于从所述二值化特征图谱中选取符合预设条件的像素区域，作为所述关注区域。
在示意性实施例中，所述区域确定模块1330还包括：图谱平滑单元1334。
所述图谱平滑模块1334，用于对所述注意力增强后的平均特征图谱进行平滑处理，得到平滑处理后的平均特征图谱；
所述图谱分割单元1332，还用于：
对所述平滑处理后的平均特征图谱进行二值化分割，得到所述二值化特征图谱。
在示意性实施例中，所述图谱池化模块1340，包括：坐标获取单元1341和图谱池化单元1342。
所述坐标获取单元1341，用于获取所述关注区域的中心坐标。
所述图谱池化单元1342，用于以所述关注区域的中心坐标为中心，对所述特征图谱进行池化处理。
在示意性实施例中，所述图谱池化单元1342，包括：分布确定子单元1343和图谱池化子单元1344。
所述分布确定子单元1343，用于根据所述关注区域的中心坐标，确定池化核在所述特征图谱中的最终分布；其中，在所述最终分布状态下，所述池化核的尺寸与所述池化核与所述关注区域的中心坐标之间的距离呈正相关关系。
所述图谱池化子单元1344，用于根据所述池化核在所述特征图谱中的最终分布，对所述特征图谱进行池化处理。
在示意性实施例中，所述分布确定子单元1343，用于：
根据所述特征图谱的中心坐标，确定所述池化核在所述特征图谱中的初始分布；其中，在所述初始分布状态下，所述池化核的尺寸与所述池化核与所述特征图谱的中心坐标之间的距离呈正相关关系；
计算所述关注区域的中心坐标与所述特征图谱的中心坐标之间的偏移量；
根据所述偏移量对所述池化核在所述特征图谱中的初始分布进行调整，得到所述池化核在所述特征图谱中的最终分布。
可选地，所述图谱生成模块1320，用于：
获取所述特征图谱对应的通道维注意力图谱和空间维注意力图谱；
将所述特征图谱与所述通道维注意力图谱和所述空间维注意力图谱依次相乘，得到所述注意力增强后的特征图谱。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内容结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图15，其示出了本申请一个实施例提供的计算机设备1500的结构示意图。该计算机设备1500可用于实施上述实施例中提供的图像中的目标分割方法或池化方法。具体来讲：
所述计算机设备1500包括中央处理单元(CPU)1501、包括随机存取存储器(RAM)1502和只读存储器(ROM)1503的***存储器1504，以及连接***存储器1504和中央处理单元1501的***总线1505。所述计算机设备1500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)1506，和用于存储操作***1513、应用程序1514和其他程序模块1515的大容量存储设备1507。
所述基本输入/输出***1506包括有用于显示信息的显示器1508和用于用户输入信息的诸如鼠标、键盘之类的输入设备1509。其中所述显示器1508和输入设备1509都通过连接到***总线1505的输入输出控制器1510连接到中央处理单元1501。所述基本输入/输出***1506还可以包括输入输出控制器1510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1510还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1507通过连接到***总线1505的大容量存储控制器(未示出)连接到中央处理单元1501。所述大容量存储设备1507及其相关联的计算机可读介质为计算机设备1500提供非易失性存储。也就是说，所述大容量存储设备1507可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器1504和大容量存储设备1507可以统称为存储器。
根据本申请的各种实施例，所述计算机设备1500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1500可以通过连接在所述***总线1505上的网络接口单元1511连接到网络1512，或者说，也可以使用网络接口单元1511来连接到其他类型的网络或远程计算机***(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于实现上述图像中的目标分割方法或池化方法。
在示例性实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由所述处理器执行，以实现上述图像中的目标分割方法或池化方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被终端的处理器执行时实现上述图像中的目标分割方法或池化方法。可选地，上述计算机可读存储介质可以是ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述图像中的目标分割方法或池化方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像中的目标分割方法，其特征在于，所述方法包括：
获取待分割图像，所述待分割图像中包含需要分割提取的目标对象；
对所述待分割图像进行预处理，得到标准尺寸的输入图像；
通过完成训练的图像分割模型对所述输入图像进行处理，得到所述待分割图像中的所述目标对象的分割结果；
其中，所述图像分割模型中包含注意力引导的池化模块，所述注意力引导的池化模型用于基于注意力机制确定所述输入图像的特征图谱中的关注区域，并以所述关注区域为中心对所述特征图谱进行中心池化处理。
2.根据权利要求1所述的方法，其特征在于，所述对所述待分割图像进行预处理，得到标准尺寸的输入图像，包括：
若所述待分割图像的尺寸小于所述标准尺寸，则在所述待分割图像的外侧进行像素增补处理，生成所述标准尺寸的所述输入图像；
其中，所述目标对象在所述待分割图像中的尺寸，与在所述输入图像中的尺寸相同。
3.根据权利要求1所述的方法，其特征在于，所述通过完成训练的图像分割模型对所述输入图像进行处理，得到所述待分割图像中的所述目标对象的分割结果，包括：
通过完成训练的图像分割模型对所述输入图像进行处理，输出所述待分割图像的初始分割结果；
从所述初始分割结果中筛选掉不符合条件的分割结果，得到所述目标对象的分割结果。
4.根据权利要求3所述的方法，其特征在于，所述从所述初始分割结果中筛选掉不符合条件的分割结果，得到所述目标对象的分割结果，包括：
从所述初始分割结果中，筛选掉直径不符合条件的分割结果，得到初步筛选后的分割结果；
从所述初步筛选后的分割结果中，采用非极大值抑制法筛选掉位置不符合条件的分割结果，得到所述目标对象的分割结果。
5.一种池化方法，其特征在于，所述方法包括：
获取目标图像的特征图谱，所述特征图谱是由深度神经网络的特征提取模块对所述目标图像进行处理后得到的；
基于注意力机制对所述特征图谱进行处理，生成注意力增强后的特征图谱；
根据所述注意力增强后的特征图谱，确定所述特征图谱中的关注区域；
以所述关注区域为中心，对所述特征图谱进行中心池化处理。
6.根据权利要求5所述的方法，其特征在于，所述根据所述注意力增强后的特征图谱，确定所述特征图谱中的关注区域，包括：
对所述注意力增强后的特征图谱的各个通道取均值处理，得到注意力增强后的平均特征图谱；
对所述注意力增强后的平均特征图谱进行二值化分割，得到二值化特征图谱；
从所述二值化特征图谱中选取符合预设条件的像素区域，作为所述关注区域。
7.根据权利要求6所述的方法，其特征在于，所述对所述注意力增强后的特征图谱的各个通道取均值处理，得到注意力增强后的平均特征图谱之后，还包括：
对所述注意力增强后的平均特征图谱进行平滑处理，得到平滑处理后的平均特征图谱；
所述对所述注意力增强后的平均特征图谱进行二值化分割，得到二值化特征图谱，包括：
对所述平滑处理后的平均特征图谱进行二值化分割，得到所述二值化特征图谱。
8.根据权利要求5所述的方法，其特征在于，所述以所述关注区域为中心，对所述特征图谱进行中心池化处理，包括：
获取所述关注区域的中心坐标；
以所述关注区域的中心坐标为中心，对所述特征图谱进行池化处理。
9.根据权利要求8所述的方法，其特征在于，所述以所述关注区域的中心坐标为中心，对所述特征图谱进行池化处理，包括：
根据所述关注区域的中心坐标，确定池化核在所述特征图谱中的最终分布；其中，在所述最终分布状态下，所述池化核的尺寸与所述池化核与所述关注区域的中心坐标之间的距离呈正相关关系；
根据所述池化核在所述特征图谱中的最终分布，对所述特征图谱进行池化处理。
10.根据权利要求9所述的方法，其特征在于，所述根据所述关注区域的中心坐标，确定池化核在所述特征图谱中的最终分布，包括：
根据所述特征图谱的中心坐标，确定所述池化核在所述特征图谱中的初始分布；其中，在所述初始分布状态下，所述池化核的尺寸与所述池化核与所述特征图谱的中心坐标之间的距离呈正相关关系；
计算所述关注区域的中心坐标与所述特征图谱的中心坐标之间的偏移量；
根据所述偏移量对所述池化核在所述特征图谱中的初始分布进行调整，得到所述池化核在所述特征图谱中的最终分布。
11.根据权利要求5至10任一项所述的方法，其特征在于，所述基于注意力机制对所述特征图谱进行处理，生成注意力增强后的特征图谱，包括：
获取所述特征图谱对应的通道维注意力图谱和空间维注意力图谱；
将所述特征图谱与所述通道维注意力图谱和所述空间维注意力图谱依次相乘，得到所述注意力增强后的特征图谱。
12.一种图像中的目标分割装置，其特征在于，所述装置包括：
图像获取模块，用于获取待分割图像，所述待分割图像中包含需要分割提取的目标对象；
图像预处理模块，用于对所述待分割图像进行预处理，得到标准尺寸的输入图像；
目标分割模块，用于通过完成训练的图像分割模型对所述输入图像进行处理，得到所述待分割图像中的所述目标对象的分割结果；
其中，所述图像分割模型中包含注意力引导的池化模块，所述注意力引导的池化模型用于基于注意力机制确定所述输入图像的特征图谱中的关注区域，并以所述关注区域为中心对所述特征图谱进行中心池化处理。
13.一种池化装置，其特征在于，所述装置包括：
图谱获取模块，用于获取目标图像的特征图谱，所述特征图谱是由深度神经网络的特征提取模块对所述目标图像进行处理后得到的；
图谱生成模块，用于基于注意力机制对所述特征图谱进行处理，生成注意力增强后的特征图谱；
区域确定模块，用于根据所述注意力增强后的特征图谱，确定所述特征图谱中的关注区域；
图谱池化模块，用于以所述关注区域为中心，对所述特征图谱进行中心池化处理。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至4任一项所述的图像中的目标分割方法，或实现如权利要求5至11任一项所述的池化方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至4任一项所述的图像中的目标分割方法，或实现如权利要求5至11任一项所述的池化方法。
CN201910452561.8A 2019-05-28 2019-05-28 图像中的目标分割方法、池化方法、装置及存储介质 Active CN110176012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910452561.8A CN110176012B (zh) 2019-05-28 2019-05-28 图像中的目标分割方法、池化方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910452561.8A CN110176012B (zh) 2019-05-28 2019-05-28 图像中的目标分割方法、池化方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110176012A CN110176012A (zh) 2019-08-27
CN110176012B true CN110176012B (zh) 2022-12-13

Family

ID=67695808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910452561.8A Active CN110176012B (zh) 2019-05-28 2019-05-28 图像中的目标分割方法、池化方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110176012B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517272B (zh) * 2019-08-29 2022-03-25 电子科技大学 基于深度学习的血细胞分割方法
CN110706793A (zh) * 2019-09-25 2020-01-17 天津大学 一种基于注意力机制的甲状腺结节半监督分割方法
CN111079565B (zh) * 2019-11-27 2023-07-07 深圳市华汉伟业科技有限公司 视图二维姿态模板的构建方法及识别方法、定位抓取***
CN110969632B (zh) * 2019-11-28 2020-09-08 北京推想科技有限公司 一种深度学习模型的训练方法、图像处理方法及装置
CN111080655A (zh) * 2019-12-04 2020-04-28 腾讯科技（深圳）有限公司 图像分割及其模型训练方法、装置、介质及电子设备
CN111179231B (zh) * 2019-12-20 2024-05-28 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
CN111310764B (zh) * 2020-01-20 2024-03-26 上海商汤智能科技有限公司 网络训练、图像处理方法及装置、电子设备和存储介质
CN111369506B (zh) * 2020-02-26 2022-08-02 四川大学 一种基于眼部b超图像的晶状体浑浊度分级方法
CN111507213A (zh) * 2020-04-03 2020-08-07 北京三快在线科技有限公司 图像识别方法、装置、存储介质及电子设备
CN111429447A (zh) * 2020-04-03 2020-07-17 深圳前海微众银行股份有限公司 病灶区域检测方法、装置、设备及存储介质
JP7363675B2 (ja) * 2020-06-15 2023-10-18 株式会社島津製作所 イメージング質量分析装置、及びイメージング質量分析方法
CN111881846B (zh) * 2020-07-30 2024-04-02 北京市商汤科技开发有限公司 图像处理方法和相关装置、设备、存储介质
CN112132223B (zh) * 2020-09-27 2024-02-27 腾讯科技（深圳）有限公司 图池化方法、装置、设备以及存储介质
CN113033448B (zh) * 2021-04-02 2022-07-08 东北林业大学 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络***、方法、设备及存储介质
CN113516640B (zh) * 2021-07-05 2022-03-18 首都师范大学 基于分类分支的ct图像细小裂缝分割装置和方法
CN113838067B (zh) * 2021-09-26 2023-10-20 中南民族大学 肺结节的分割方法和装置、计算设备、可存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN108229268A (zh) * 2016-12-31 2018-06-29 商汤集团有限公司 表情识别及卷积神经网络模型训练方法、装置和电子设备
CN109754067A (zh) * 2018-11-30 2019-05-14 华南师范大学 基于卷积注意力的矩阵分解方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208731B2 (en) * 2008-04-07 2012-06-26 Microsoft Corporation Image descriptor quantization
US10631811B2 (en) * 2015-03-04 2020-04-28 Dmytro Volkov Method and system for processing of medical images for generating a prognosis of cardiac function

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN108229268A (zh) * 2016-12-31 2018-06-29 商汤集团有限公司 表情识别及卷积神经网络模型训练方法、装置和电子设备
CN109754067A (zh) * 2018-11-30 2019-05-14 华南师范大学 基于卷积注意力的矩阵分解方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Central focused convolutional neural networks: Developing a data-driven model for lung nodule segmentation data-driven model for lung nodule segmentation;Shuo Wang 等;《Medical Image Analysis》;20170831;第40卷;172-183 *
基于深度学习的人脸关键点检测和人脸属性分析;曾家建;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181215;I138-1347 *

Also Published As

Publication number Publication date
CN110176012A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110176012B (zh) 图像中的目标分割方法、池化方法、装置及存储介质
CN108537784B (zh) 一种基于深度学习的ct图肺结节检测方法
CN108010021B (zh) 一种医学图像处理***和方法
CN109363699B (zh) 一种乳腺影像病灶识别的方法及装置
JP6539303B2 (ja) ３ｄ医用画像中の対象物を分割するための３ｄ対象物の変換
CN112862824A (zh) 新型冠状病毒肺炎病灶检测方法、***、装置和存储介质
WO2006024974A1 (en) Feature weighted medical object contouring using distance coordinates
CN110838125A (zh) 医学图像的目标检测方法、装置、设备、存储介质
KR102349515B1 (ko) 의료 영상에서 딥러닝에 기반한 종양 자동분할 방법
CN112348818B (zh) 一种图像分割方法、装置、设备以及存储介质
CN112991365B (zh) 一种冠状动脉分割方法、***及存储介质
KR20200099633A (ko) 영상의 질감 분석 방법 및 컴퓨터 프로그램
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN113012164A (zh) 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质
CN112561877A (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
US20090310883A1 (en) Image processing apparatus, method, and program
CN110992310A (zh) 一种确定纵隔***所在分区的方法及装置
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像***
CN113538363A (zh) 一种基于改进U-Net的肺部医学影像分割方法及装置
CN111127404B (zh) 一种医疗影像轮廓快速提取方法
CN112116989A (zh) 一种多器官勾画方法及装置
CN115359140A (zh) 一种基于神经网络的多特征感兴趣区域的自动勾画***与方法
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN111613300B (zh) 基于VRDS 4D医学影像的肿瘤与血管Ai处理方法及产品
CN112767548B (zh) 一种三维阈值立体图形展开方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant