CN112101376A - 图像处理方法、装置、电子设备和计算机可读介质 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置、电子设备和计算机可读介质，包括：获取待处理图像，并对待处理图像进行特征提取，得到多尺度的特征图；对多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；对多尺度的强化特征图进行图像还原，得到与待处理图像对应的显著性物体蒙版。本发明的方法对多尺度的特征图中显著性物体所对应的部分进行强化处理后，得到的多尺度的强化特征图中，显著性物体所对应的特征图更加突出，最后对多尺度的强化特征图进行图像还原后，分割得到的显著性物体蒙版更加准确，缓解了现有的显著性物体分割方法在对图像进行处理时，精度差的技术问题。

Description

图像处理方法、装置、电子设备和计算机可读介质

技术领域

本发明涉及图像处理的技术领域，尤其是涉及一种图像处理方法、装置、电子设备和计算机可读介质。

背景技术

显著性物体分割(Salient Object Segmentation)是计算机视觉(ComputerVision)的一个重要课题。在手机自动对焦、无人驾驶、场景理解、图像编辑等领域中都有着非常广泛的应用。显著性物体分割的目的是在一张图像中将显著物体的像素点与其它背景像素点区分出来。不同于传统的语义分割任务，显著性物体并不属于同一类物体，并没有语义相关的标签。但是显著性物体往往处于图像中间，且颜色丰富，如图1(a)所示，图1(b)为与图1(a)对应的显著性物体分割结果示意图。

现有的显著性物体分割方法主要分为两类。其中一类是通过对图像的纹理进行分析，确定出图像中纹理丰富的区域，继而通过聚类方法，将物体和其它纹理单一的区域区分出来。这种方法受限于聚类方法，很难获得较高的精度；另外一类是将显著性物体分割看作标准物体分割问题。但是标准物体分割是将图像中预设种类的物体分割出来，例如，将图像中的人、车、狗分割出来，但是这些物体对于某张特定的图像来讲，可能并不是显著性物体，或者并不是所有的都是显著性物体，这就导致分割出的显著性物体出现错误。

综上，现有的显著性物体分割方法在对图像进行处理时，存在精度差的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置、电子设备和计算机可读介质，以缓解现有的显著性物体分割方法在对图像进行处理时，精度差的技术问题。

第一方面，本发明实施例提供了一种图像处理方法，包括：获取待处理图像，并对所述待处理图像进行特征提取，得到多尺度的特征图；对所述多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；对所述多尺度的强化特征图进行图像还原，得到与所述待处理图像对应的显著性物体蒙版。

进一步的，对所述待处理图像进行特征提取包括：对所述待处理图像进行多层下采样处理，得到多尺度的原始特征图；对所述多尺度的原始特征图进行优化处理，得到所述多尺度的特征图。

进一步的，对所述多尺度的原始特征图进行优化处理包括：对所述多尺度的原始特征图中的目标原始特征图进行第一优化处理，得到第一优化的特征图，其中，所述目标原始特征图为所述多尺度的原始特征图中，除最高维原始特征图以外的特征图；对所述多尺度的原始特征图中的最高维原始特征图进行第二优化处理，得到第二优化的特征图；将所述第一优化的特征图和所述第二优化的特征图作为所述多尺度的特征图。

进一步的，对所述多尺度的原始特征图中的目标原始特征图进行第一优化处理包括：利用第一优化模块对所述目标原始特征图进行优化处理，得到第一初始优化的特征图，其中，所述第一优化模块包括：预设数量个第一卷积层；将所述第一初始优化的特征图和其对应的目标原始特征图进行加和运算，得到所述第一优化的特征图。

进一步的，对所述多尺度的原始特征图中的最高维原始特征图进行第二优化处理包括：利用第二优化模块对所述最高维原始特征图进行优化处理，得到优化权重，其中，所述第二优化模块包括：第二卷积层、全局池化层和Sigmoid函数处理层；将所述优化权重与所述最高维原始特征图进行乘积运算，得到第二初始优化的特征图；将所述第二初始优化的特征图和所述最高维原始特征图进行加和运算，得到所述第二优化的特征图。

进一步的，对所述多尺度的特征图中显著性物体所对应的部分进行强化处理包括：根据所述多尺度的特征图得到显著性物体的初始位置；根据所述初始位置，以至少两种不同扩充尺度，裁剪所述多尺度的特征图中最高维的特征图，得到多个裁剪特征图，所述多个裁剪特征图中包含所述显著性物体的特征信息；将所述多尺度的特征图中的一个或多个作为目标特征图，逐一将各所述目标特征图作为当前目标特征图，计算所述多个裁剪特征图与所述当前目标特征图的相关度，得到所述当前目标特征图的与所述多个裁剪特征图一一对应的多个相关度特征图；根据所述多个相关度特征图和所述当前目标特征图，得到所述当前目标特征图对应的强化特征图。

进一步的，根据所述多尺度的特征图得到显著性物体的初始位置包括：对所述多尺度的特征图中最高维的特征图进行降维处理，得到单通道的特征图；对所述单通道的特征图进行二值化处理，得到单通道的二值化特征图；根据所述单通道的二值化特征图确定所述显著性物体的初始位置。

进一步的，根据所述初始位置，以至少两种不同扩充尺度，裁剪所述多尺度的特征图中最高维的特征图包括：根据所述初始位置确定所述显著性物体的像素宽度和像素高度；根据所述扩充尺度、所述像素宽度和所述像素高度确定扩充像素宽度和扩充像素高度；在所述最高维的特征图中，沿着将所述初始位置扩充所述扩充像素宽度和所述扩充像素高度后的位置进行裁剪。

进一步的，计算所述多个裁剪特征图与所述当前目标特征图的相关度包括：将所述多个裁剪特征图缩放至预设尺度，得到预设尺度的多个裁剪特征图；以所述预设尺度为滑动窗口在所述当前目标特征图上进行滑动；将每次滑动后所述滑动窗口所包含的特征图与所述预设尺度的多个裁剪特征图分别进行乘积运算，根据乘积运算的结果得到当前目标特征图的与多个裁剪特征图一一对应的多个所述相关度特征图。

进一步的，根据所述多个相关度特征图和所述当前目标特征图，得到所述当前目标特征图对应的强化特征图包括：将所述多个相关度特征图中的每个相关度特征图与所述当前目标特征图进行乘积运算，得到所述当前目标特征图对应的多个第一强化特征图；将所述多个第一强化特征图与所述当前目标特征图串联，得到所述当前目标特征图对应的第二强化特征图；获取所述当前目标特征图对应的位置强化特征图，并将所述第二强化特征图和所述位置强化特征图串联，得到与所述当前目标特征图对应的强化特征图，其中，所述位置强化特征图的尺度与所述第二强化特征图的尺度相同。

进一步的，获取所述当前目标特征图对应的位置强化特征图包括：基于所述显著性物体的初始位置确定所述显著性物体X方向的中心线和Y方向的中心线；将所述Y方向的中心线设置为第一目标值，沿着X方向线性变换为第二目标值，得到X方向的位置强化特征图；将所述X方向的中心线设置为所述第一目标值，沿着Y方向线性变换为所述第二目标值，得到Y方向的位置强化特征图；将所述X方向的位置强化特征图和所述Y方向的位置强化特征图作为所述位置强化特征图。

进一步的，对所述多尺度的强化特征图进行图像还原包括：对所述多尺度的强化特征图进行上采样，得到与所述待处理图像对应的显著性物体蒙版。

第二方面，本发明实施例还提供了一种图像处理装置，包括：特征提取单元，用于获取待处理图像，并对所述待处理图像进行特征提取，得到多尺度的特征图；强化处理单元，用于对所述多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；图像还原单元，用于对所述多尺度的强化特征图进行图像还原，得到与所述待处理图像对应的显著性物体蒙版。

第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤。

在本发明实施例中，首先，获取待处理图像，并对待处理图像进行特征提取，得到多尺度的特征图；然后，对多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；最后，对多尺度的强化特征图进行图像还原，得到与待处理图像对应的显著性物体蒙版。通过上述描述可知，对多尺度的特征图中显著性物体所对应的部分进行强化处理后，得到的多尺度的强化特征图中，显著性物体所对应的特征图更加突出，最后对多尺度的强化特征图进行图像还原后，分割得到的显著性物体蒙版更加准确，缓解了现有的显著性物体分割方法在对图像进行处理时，精度差的技术问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1(a)为本发明实施例提供的待处理图像的示意图；

图1(b)为本发明实施例提供的与图1(a)对应的显著性物体分割结果的示意图；

图2为本发明实施例提供的一种电子设备的示意图；

图3为本发明实施例提供的一种图像处理方法的流程图；

图4为本发明实施例提供的图像处理方法的整体示意图；

图5为本发明实施例提供的第一优化处理的示意图；

图6为本发明实施例提供的第二优化处理的示意图；

图7为本发明实施例提供的对多尺度的特征图中显著性物体所对应的部分进行强化处理的流程图；

图8为本发明实施例提供的确定当前目标特征图对应的强化特征图的流程图；

图9为本发明实施例提供的位置强化特征图的示意图；

图10为本发明实施例提供的对多尺度的特征图中显著性物体所对应的部分进行强化处理的示意图；

图11为本发明实施例提供的本发明的图像处理方法与现有的显著性物体分割方法在多个公开数据集上进行训练和测试的结果示意图；

图12为本发明实施例提供的本发明的图像处理方法与现有的显著性物体分割方法对待处理图像进行处理后的可视化结果示意图；

图13为本发明实施例提供的图像处理装置的示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图2来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像处理方法。

如图2所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP，Digital Signal Processing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU，Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像机110用于进行待处理图像的采集，其中，摄像机所采集的待处理图像经过所述图像处理方法进行处理之后得到与待处理图像对应的显著性物体蒙版，例如，摄像机可以拍摄用户期望的图像(例如照片、视频等)，然后，将该图像经过所述图像处理方法进行处理之后得到与待处理图像对应的显著性物体蒙版，摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端。

实施例2：

根据本发明实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图3是根据本发明实施例的一种图像处理方法的流程图，如图3所示，该方法包括如下步骤：

步骤S302，获取待处理图像，并对待处理图像进行特征提取，得到多尺度的特征图；

在本发明实施例中，上述多尺度的特征图表示尺寸不同(即高度和宽度不同)的特征图。特征提取可以为多层卷积的下采样处理，待处理图像每经过一层下采样，就能得到一种尺度的特征图，该种尺度的特征图包括多张子特征图，实际为多通道矩阵(每个通道的矩阵为二维矩阵)，每个通道的矩阵可以与一张子特征图对应，其中，矩阵每行的元素个数就表示了该通道对应的子特征图的宽度，矩阵每列的元素个数就表示了该通道对应的子特征图的高度。

步骤S304，对多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；

发明人考虑到显著性物体只与其邻域的像素值相关，显著性物体在图像中越突出，分割得到的显著性物体蒙版的精度就越高。因此，在得到多尺度的特征图后，对多尺度的特征图中显著性物体所对应的部分进行强化处理，显著性物体对应的部分强化处理后，其特征更突显，这样在对多尺度的强化特征图进行图像还原后，得到的显著性物体蒙版会更加准确。

下文中再对强化处理的过程进行详细介绍，在此不再赘述。

步骤S306，对多尺度的强化特征图进行图像还原，得到与待处理图像对应的显著性物体蒙版。

具体的，对多种尺度的强化特征图进行上采样，上采样的过程中，对不同尺度的强化特征图进行融合，进而得到与待处理图像对应的显著性物体蒙版。

在本发明实施例中，首先，获取待处理图像，并对待处理图像进行特征提取，得到多尺度的特征图；然后，对多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；最后，对多尺度的强化特征图进行图像还原，得到与待处理图像对应的显著性物体蒙版。通过上述描述可知，对多尺度的特征图中显著性物体所对应的部分进行强化处理后，得到的多尺度的强化特征图中，显著性物体所对应的特征图更加突出，最后对多尺度的强化特征图进行图像还原后，分割得到的显著性物体蒙版更加准确，缓解了现有的显著性物体分割方法在对图像进行处理时，精度差的技术问题。

上述内容对本发明的图像处理方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。

在本发明的一个可选实施例中，步骤S302，对待处理图像进行特征提取的步骤包括如下(1)-(2)的过程：

(1)对待处理图像进行多层下采样处理，得到多尺度的原始特征图；

具体的，参考图4，多层下采样可以为多层卷积的下采样，每经过一层下采样，就能得到一种尺度的原始特征图，如此，可以得到多尺度的原始特征图。

需要说明的是，通过实验发现，多尺度的原始特征图中的高维原始特征图(例如第三层以上下采样得到的原始特征图)对于图像处理的精度影响较大，低维原始特征图(例如第一层下采样和第二层下采样得到的原始特征图)对于图像处理的精度影响不大，为了提高图像处理的效率，可以不用考虑第一层下采样和第二层下采样的结果，即后续过程不对第一层下采样和第二层下采样得到的原始特征图进行处理，如图4所示。

(2)对多尺度的原始特征图中的高维原始特征图进行优化处理，得到多尺度的特征图。

具体包括如下过程：

21)对多尺度的原始特征图中的目标原始特征图进行第一优化处理，得到第一优化的特征图，其中，目标原始特征图为多尺度的原始特征图中，除最高维原始特征图以外的高维原始特征图；

参考图4，对多尺度的原始特征图中的除最高维原始特征图以外的高维原始特征图都进行第一优化处理，即图4中的SRB处理。第一优化处理(SRB处理)的具体过程为：利用第一优化模块对目标原始特征图进行优化处理，得到第一初始优化的特征图，其中，第一优化模块包括：预设数量个第一卷积层；将第一初始优化的特征图和其对应的目标原始特征图进行加和运算，得到第一优化的特征图。

在本发明实施例中，预设数量个第一卷积层可以为两个3x3的卷积层，参考图5，目标原始特征图通过串联的两个3x3的卷积层后，得到第一初始优化的特征图，进而将该第一初始优化的特征图与其对应的目标原始特征图进行加和运算，就能得到第一优化的特征图。

上文中已经对特征图实际为多维矩阵的本质进行了说明，所以第一初始优化的特征图与其对应的目标原始特征图进行加和运算的过程实际上是多维矩阵中相应元素加和运算的过程。

22)对多尺度的原始特征图中的最高维原始特征图进行第二优化处理，得到第二优化的特征图；

参考图4，对多尺度的原始特征图中的最高维原始特征图进行第二优化处理，即图4中的GRB处理。第二优化处理(GRB处理)的具体过程为：利用第二优化模块对最高维原始特征图进行优化处理，得到优化权重，其中，第二优化模块包括：第二卷积层、全局池化层和Sigmoid函数处理层；将优化权重与最高维原始特征图进行乘积运算，得到第二初始优化的特征图；将第二初始优化的特征图和最高维原始特征图进行加和运算，得到第二优化的特征图。

在本发明实施例中，第二卷积层可以为1x1的卷积层，参考图6，最高维原始特征图依次通过1x1的卷积层，全局池化层，1x1的卷积层和Sigmoid函数后，得到优化权重，该优化权重再与最高维原始特征图进行乘积运算，运算得到的结果再与最高维原始特征图进行加和运算，得到第二优化的特征图。

同理，乘积运算为优化权重与二维矩阵中的元素进行的乘积运算过程，加和运算为二维矩阵中相应元素加和运算的过程。

23)将第一优化的特征图和第二优化的特征图作为多尺度的特征图。

下面再对对多尺度的特征图中显著性物体所对应的部分进行强化处理的过程进行详细描述。

在本发明的一个可选实施例中，参考图7，步骤S304，对多尺度的特征图中显著性物体所对应的部分进行强化处理的步骤包括：

步骤S701，根据多尺度的特征图得到显著性物体的初始位置；

具体包括如下过程：对多尺度的特征图中最高维的特征图进行降维处理，得到单通道的特征图；对单通道的特征图进行二值化处理，得到单通道的二值化特征图；根据单通道的二值化特征图确定显著性物体的初始位置。

参考图4，通过卷积层对GRB处理(第二优化处理)后的第二优化的特征图(即多尺度的特征图中最高维的特征图)进行降维处理，得到单通道的特征图(是指N*M的，通道数为1)，然后再对单通道的特征图进行二值化处理，得到单通道的二值化特征图(如图4中GRB下方所指的图像)，上述单通道的二值化特征图中，1所代表的部分即为显著性物体所对应的部分，进而根据其中1所在的位置便能确定显著性物体的初始位置。该初始位置可以为单通道的二值化特征图中，位于最左边的1、最右边的1、最上边的1和最下面的1所确定的位置。

步骤S702，根据初始位置，以至少两种不同扩充尺度，裁剪多尺度的特征图中最高维的特征图，得到多个裁剪特征图，多个裁剪特征图中包含显著性物体的特征信息；

具体包括如下过程：根据初始位置确定显著性物体的像素宽度和像素高度；根据扩充尺度、像素宽度和像素高度确定扩充像素宽度和扩充像素高度；在最高维的特征图中，沿着将初始位置扩充扩充像素宽度和扩充像素高度后的位置进行裁剪。裁剪特征图是以物体的初始位置为中心进行一定扩充裁剪出的，因此包含显著性物体，也就包含显著性物体的特征信息。

例如，当扩充尺度为10％时，若显著性物体的像素宽度和像素高度为30*30，那么扩充像素宽度(即30的10％)为3个像素点，扩充像素高度(即30的10％)为3个像素点，也就是在最高维的特征图中，将初始位置向其左右方向分别扩充(即增加)3个背景像素点，同时将初始位置向其上下方向分别扩充3个背景像素点之后，进行裁剪，之所以要进行这样的扩充是由于直接二值化得到的显著性物体所对应的特征图的准确性差，其不一定是显著性物体的全部，所以需要往外扩充一些，以包含显著性物体的全部。

上述扩充尺度还可以为30％，50％等，本发明实施例对上述扩充尺度不进行具体限制。按照不同的扩充尺度将裁剪出不同的裁剪特征图，因此扩充尺度的个数等于裁剪特征图的张数。

步骤S703，将多尺度的特征图中的一个或多个作为目标特征图，逐一将各目标特征图作为当前目标特征图，计算多个裁剪特征图与当前目标特征图的相关度，得到当前特征图的与多个裁剪特征图一一对应的多个相关度特征图；

上述目标特征图可以为多尺度的特征图中一个或多个，本发明实施例对其不进行具体限制。

具体包括如下过程：将多个裁剪特征图缩放至预设尺度，得到预设尺度的多个裁剪特征图；逐一将各目标特征图作为当前目标特征图，以预设尺度为滑动窗口在当前目标特征图上进行滑动；将每次滑动后滑动窗口所包含的特征图与预设尺度的多个裁剪特征图中的每个裁剪特征图进行乘积运算，根据乘积运算的结果得到当前目标特征图的与多个裁剪特征图一一对应的多个相关度特征图。

为了能够对该过程更好的理解，下面以一具体实例对上述过程进行描述：若预设尺度的裁剪特征图为32*32*64的B图，当前目标特征图为64*64*128的A图。

为了简化描述，先以32*32*1的B1图和64*64*1的A1图进行说明，在A1图上以32*32为滑动窗口按照预设滑动步长进行依次滑动，每滑动一次，就能得到一个32*32的小块，该小块与32*32的B1图进行乘积运算，得到新的32*32的小块，全部滑动完成，就能得到A1图和B1图的相关度特征图，该相关度特征图的大小为64*64*1；

当计算32*32*1的B2图和64*64*128的A2图的相关度特征图时，在A2图的每一个通道上都以32*32为滑动窗口按照预设滑动步长进行依次滑动，每滑动一次，就能得到一个32*32的小块，该小块与32*32的B2图进行乘积运算，得到新的32*32的小块，所有的通道全部滑动完成后，就能得到A2图和B2图的相关度特征图，该相关度特征图的大小为64*64*128；

当计算32*32*64的B图和64*64*128的A图的相关度特征图时，32*32*64的每一维都按照上述过程分别与64*64*128计算，得到一个64*64*128的相关度特征图，然后把这64个加到一起，得到一个最终的64*64*128的相关度特征图，即为A图和B图的相关度特征图。

步骤S704，根据多个相关度特征图和当前目标特征图，得到当前目标特征图对应的强化特征图。

参考图8，具体包括如下过程：

步骤S801，将多个相关度特征图中的每个相关度特征图与当前目标特征图进行乘积运算，得到当前目标特征图对应的多个第一强化特征图；

进行上述乘积运算后，强化了当前目标特征图中显著性物体所对应的部分。

步骤S802，将多个第一强化特征图与当前目标特征图串联，得到当前目标特征图对应的第二强化特征图；

例如：多个第一强化特征图为两个64*64*128(分别对应图的宽W*高H*通道数C)的特征图，与64*64*128的目标特征图串联后，得到64*64*384的第二强化特征图，串联即为通道数相加。

步骤S803，获取当前目标特征图对应的位置强化特征图，并将第二强化特征图和位置强化特征图串联，得到与该目标特征图对应的强化特征图，其中，位置强化特征图的尺度与第二强化特征图的尺度相同。

具体过程如下：

a)在目标矩阵上，基于显著性物体的初始位置确定显著性物体X方向的中心线和Y方向的中心线，目标矩阵为与第二强化特征图的尺度相同的单通道矩阵，目标矩阵各元素的值可以为0；

b)将目标矩阵的Y方向的中心线设置为第一目标值，沿着X方向线性变换为第二目标值，得到X方向的位置强化特征图；

c)将目标矩阵的X方向的中心线设置为第一目标值，沿着Y方向线性变换为第二目标值，得到Y方向的位置强化特征图；

d)将X方向的位置强化特征图和Y方向的位置强化特征图作为位置强化特征图。

上述第一目标值可以为1，第二目标值可以为0。基于显著性物体的初始位置得到位置强化特征图的示意图如图9所示。

上述强化处理的过程(用LCB表示)可以参考图10，根据单通道的二值化特征图确定显著性物体所对应部分的定位信息(包括显著性物体的初始位置、像素宽度、像素高度、X方向的中心线和Y方向的中心线)，进而根据定位信息，以至少两种不同扩充尺度，裁剪多尺度的特征图中最高维的特征图，得到多个裁剪特征图，同时，根据定位信息确定位置强化特征图，然后再计算多个裁剪特征图与多尺度的特征图中的当前目标特征图的相关度特征图，将相关度特征图与当前目标特征图进行乘积运算，得到的结果与当前目标特征图、当前目标特征图对应的位置强化特征图串联，最终得到当前目标特征图对应的强化特征图，从而得到各个目标特征图对应的强化特征图。

该强化特征图大大强化了其中显著性物体的特征部分，使得分割得到的显著性物体蒙版的准确度更高。

在本发明的一个可选实施例中，对多尺度的强化特征图进行上采样，得到与待处理图像对应的显著性物体蒙版包括：对不同尺度的强化特征图进行融合，进而得到与待处理图像对应的显著性物体蒙版。

在本发明实施例中，上采样融合的过程可以为：如图4所示，第5层的强化特征图(即第5层下采样后得到的特征图经过GRB处理，再经过LCB处理后得到的特征图)先要经过SRB处理(上文中已对SRB处理进行了介绍，这里不再赘述)，SRB处理后，上采样，上采样后的特征图与第4层的强化特征图相加后，再经过SRB处理，处理后再上采样，再上采样的特征图与第3层的强化特征图相加后，又经过SRB处理后，最后再4倍放大得到显著性物体蒙版。

发明人对本发明的图像处理方法(用LCANet表示)与现有的显著性物体分割方法在多个公开数据集(分别有DUTS-TE数据集、ECSSD数据集、HKU-IS数据集、PASCAL-S数据集和DUT-OM数据集)上进行了训练和测试，结果如图11所示，表明采用本发明的图像处理方法对图像进行处理时，得到的显著性物体蒙版的准确度更高(图11中，对于maxF参量来讲，其值越大说明精度越高，对于MAE参量来讲，其值越小说明精度越高)。另外，参考图12，从可视化的结果也能看出本发明的图像处理方法的准确性更好。图12中，GT列表示人工标注的显著性物体分割结果，LCANet列表示本发明的显著性物体分割结果，其它列表示其它方法(在每列的下方标记了对应的方法)得到的显著性物体分割结果，通过对比可知，本发明方法得到的显著性物体分割结果与人工标注的显著性物体分割结果更接近，也就说明相较于现有的其它方法本发明的方法准确性更好。

实施例3：

本发明实施例还提供了一种图像处理装置，该图像处理装置主要用于执行本发明实施例上述内容所提供的图像处理方法，以下对本发明实施例提供的图像处理装置做具体介绍。

图13是根据本发明实施例的一种图像处理装置的示意图，如图13所示，该图像处理装置主要包括：特征提取单元10，强化处理单元20和图像还原单元30，其中：

特征提取单元，用于获取待处理图像，并对待处理图像进行特征提取，得到多尺度的特征图；

强化处理单元，用于对多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；

图像还原单元，用于对多尺度的强化特征图进行图像还原，得到与待处理图像对应的显著性物体蒙版。

在本发明实施例中，首先，获取待处理图像，并对待处理图像进行特征提取，得到多尺度的特征图；然后，对多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；最后，对多尺度的强化特征图进行图像还原，得到与待处理图像对应的显著性物体蒙版。通过上述描述可知，对多尺度的特征图中显著性物体所对应的部分进行强化处理后，得到的多尺度的强化特征图中，显著性物体所对应的特征图更加突出，最后对多尺度的强化特征图进行图像还原后，分割得到的显著性物体蒙版更加准确，缓解了现有的显著性物体分割方法在对图像进行处理时，精度差的技术问题。

可选地，特征提取单元还用于：对待处理图像进行多层下采样处理，得到多尺度的原始特征图；对多尺度的原始特征图进行优化处理，得到多尺度的特征图。

可选地，特征提取单元还用于：对多尺度的原始特征图中的目标原始特征图进行第一优化处理，得到第一优化的特征图，其中，目标原始特征图为多尺度的原始特征图中，除最高维原始特征图以外的特征图；对多尺度的原始特征图中的最高维原始特征图进行第二优化处理，得到第二优化的特征图；将第一优化的特征图和第二优化的特征图作为多尺度的特征图。

可选地，特征提取单元还用于：利用第一优化模块对目标原始特征图进行优化处理，得到第一初始优化的特征图，其中，第一优化模块包括：预设数量个第一卷积层；将第一初始优化的特征图和其对应的目标原始特征图进行加和运算，得到第一优化的特征图。

可选地，特征提取单元还用于：利用第二优化模块对最高维原始特征图进行优化处理，得到优化权重，其中，第二优化模块包括：第二卷积层、全局池化层和Sigmoid函数处理层；将优化权重与最高维原始特征图进行乘积运算，得到第二初始优化的特征图；将第二初始优化的特征图和最高维原始特征图进行加和运算，得到第二优化的特征图。

可选地，强化处理单元还用于：根据多尺度的特征图得到显著性物体的初始位置；根据初始位置，以至少两种不同扩充尺度，裁剪多尺度的特征图中最高维的特征图，得到多个裁剪特征图，多个裁剪特征图中包含显著性物体的特征信息；将多尺度的特征图中的一个或多个作为目标特征图，逐一将各目标特征图作为当前目标特征图，计算多个裁剪特征图与当前目标特征图的相关度，得到当前目标特征图的与多个裁剪特征图一一对应的多个相关度特征图；根据多个相关度特征图和当前目标特征图，得到当前目标特征图对应的强化特征图。

可选地，强化处理单元还用于：对多尺度的特征图中最高维的特征图进行降维处理，得到单通道的特征图；对单通道的特征图进行二值化处理，得到单通道的二值化特征图；根据单通道的二值化特征图确定显著性物体的初始位置。

可选地，强化处理单元还用于：根据初始位置确定显著性物体的像素宽度和像素高度；根据扩充尺度、像素宽度和像素高度确定扩充像素宽度和扩充像素高度；在最高维的特征图中，沿着将初始位置扩充扩充像素宽度和扩充像素高度后的位置进行裁剪。

可选地，强化处理单元还用于：将多个裁剪特征图缩放至预设尺度，得到预设尺度的多个裁剪特征图；以预设尺度为滑动窗口在当前目标特征图上进行滑动；将每次滑动后滑动窗口所包含的特征图与预设尺度的多个裁剪特征图分别进行乘积运算，根据乘积运算的结果得到当前目标特征图的与多个裁剪特征图一一对应的多个相关度特征图。

可选地，强化处理单元还用于：将多个相关度特征图中的每个相关度特征图与当前目标特征图进行乘积运算，得到当前目标特征图对应的多个第一强化特征图；将多个第一强化特征图与当前目标特征图串联，得到当前目标特征图对应的第二强化特征图；获取当前目标特征图对应的位置强化特征图，并将第二强化特征图和位置强化特征图串联，得到与当前目标特征图对应的强化特征图，其中，位置强化特征图的尺度与第二强化特征图的尺度相同。

可选地，强化处理单元还用于：基于显著性物体的初始位置确定显著性物体X方向的中心线和Y方向的中心线；将Y方向的中心线设置为第一目标值，沿着X方向线性变换为第二目标值，得到X方向的位置强化特征图；将X方向的中心线设置为第一目标值，沿着Y方向线性变换为第二目标值，得到Y方向的位置强化特征图；将X方向的位置强化特征图和Y方向的位置强化特征图作为位置强化特征图。

可选地，图像还原单元还用于：对多尺度的强化特征图进行上采样，得到与待处理图像对应的显著性物体蒙版。

本发明实施例所提供的图像处理装置，其实现原理及产生的技术效果和前述实施例2中的方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在另一个实施例中，还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述权实施例2中任意实施例所述的方法的步骤。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像，并对所述待处理图像进行特征提取，得到多尺度的特征图；

对所述多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；

对所述多尺度的强化特征图进行图像还原，得到与所述待处理图像对应的显著性物体蒙版。

2.根据权利要求1所述的方法，其特征在于，对所述待处理图像进行特征提取包括：

对所述待处理图像进行多层下采样处理，得到多尺度的原始特征图；

对所述多尺度的原始特征图进行优化处理，得到所述多尺度的特征图。

3.根据权利要求1或2所述的方法，其特征在于，对所述多尺度的原始特征图进行优化处理包括：

对所述多尺度的原始特征图中的目标原始特征图进行第一优化处理，得到第一优化的特征图，其中，所述目标原始特征图为所述多尺度的原始特征图中，除最高维原始特征图以外的特征图；

对所述多尺度的原始特征图中的最高维原始特征图进行第二优化处理，得到第二优化的特征图；

将所述第一优化的特征图和所述第二优化的特征图作为所述多尺度的特征图。

4.根据权利要求3所述的方法，其特征在于，对所述多尺度的原始特征图中的目标原始特征图进行第一优化处理包括：

利用第一优化模块对所述目标原始特征图进行优化处理，得到第一初始优化的特征图，其中，所述第一优化模块包括：预设数量个第一卷积层；

将所述第一初始优化的特征图和其对应的目标原始特征图进行加和运算，得到所述第一优化的特征图。

5.根据权利要求3或4所述的方法，其特征在于，对所述多尺度的原始特征图中的最高维原始特征图进行第二优化处理包括：

利用第二优化模块对所述最高维原始特征图进行优化处理，得到优化权重，其中，所述第二优化模块包括：第二卷积层、全局池化层和Sigmoid函数处理层；

将所述优化权重与所述最高维原始特征图进行乘积运算，得到第二初始优化的特征图；

将所述第二初始优化的特征图和所述最高维原始特征图进行加和运算，得到所述第二优化的特征图。

6.根据权利要求1-5任一项所述的方法，其特征在于，对所述多尺度的特征图中显著性物体所对应的部分进行强化处理包括：

根据所述多尺度的特征图得到显著性物体的初始位置；

根据所述初始位置，以至少两种不同扩充尺度，裁剪所述多尺度的特征图中最高维的特征图，得到多个裁剪特征图，所述多个裁剪特征图中包含所述显著性物体的特征信息；

将所述多尺度的特征图中的一个或多个作为目标特征图，逐一将各所述目标特征图作为当前目标特征图，计算所述多个裁剪特征图与所述当前目标特征图的相关度，得到所述当前目标特征图的与所述多个裁剪特征图一一对应的多个相关度特征图；

根据所述多个相关度特征图和所述当前目标特征图，得到所述当前目标特征图对应的强化特征图。

7.根据权利要求6所述的方法，其特征在于，根据所述多尺度的特征图得到显著性物体的初始位置包括：

对所述多尺度的特征图中最高维的特征图进行降维处理，得到单通道的特征图；

对所述单通道的特征图进行二值化处理，得到单通道的二值化特征图；

根据所述单通道的二值化特征图确定所述显著性物体的初始位置。

8.根据权利要求6或7所述的方法，其特征在于，根据所述初始位置，以至少两种不同扩充尺度，裁剪所述多尺度的特征图中最高维的特征图包括：

根据所述初始位置确定所述显著性物体的像素宽度和像素高度；

根据所述扩充尺度、所述像素宽度和所述像素高度确定扩充像素宽度和扩充像素高度；

在所述最高维的特征图中，沿着将所述初始位置扩充所述扩充像素宽度和所述扩充像素高度后的位置进行裁剪。

9.根据权利要求6-8任一项所述的方法，其特征在于，计算所述多个裁剪特征图与所述当前目标特征图的相关度包括：

将所述多个裁剪特征图缩放至预设尺度，得到预设尺度的多个裁剪特征图；

以所述预设尺度为滑动窗口在所述当前目标特征图上进行滑动；

将每次滑动后所述滑动窗口所包含的特征图与所述预设尺度的多个裁剪特征图分别进行乘积运算，根据乘积运算的结果得到当前目标特征图的与多个裁剪特征图一一对应的多个所述相关度特征图。

10.根据权利要求6-9任一项所述的方法，其特征在于，根据所述多个相关度特征图和所述当前目标特征图，得到所述当前目标特征图对应的强化特征图包括：

将所述多个相关度特征图中的每个相关度特征图与所述当前目标特征图进行乘积运算，得到所述当前目标特征图对应的多个第一强化特征图；

将所述多个第一强化特征图与所述当前目标特征图串联，得到所述当前目标特征图对应的第二强化特征图；

获取所述当前目标特征图对应的位置强化特征图，并将所述第二强化特征图和所述位置强化特征图串联，得到与所述当前目标特征图对应的强化特征图，其中，所述位置强化特征图的尺度与所述第二强化特征图的尺度相同。

11.根据权利要求10所述的方法，其特征在于，获取所述当前目标特征图对应的位置强化特征图包括：

基于所述显著性物体的初始位置确定所述显著性物体X方向的中心线和Y方向的中心线；

将所述Y方向的中心线设置为第一目标值，沿着X方向线性变换为第二目标值，得到X方向的位置强化特征图；

将所述X方向的中心线设置为所述第一目标值，沿着Y方向线性变换为所述第二目标值，得到Y方向的位置强化特征图；

将所述X方向的位置强化特征图和所述Y方向的位置强化特征图作为所述位置强化特征图。

12.根据权利要求1-11任一项所述的方法，其特征在于，对所述多尺度的强化特征图进行图像还原包括：

对所述多尺度的强化特征图进行上采样，得到与所述待处理图像对应的显著性物体蒙版。

13.一种图像处理装置，其特征在于，包括：

特征提取单元，用于获取待处理图像，并对所述待处理图像进行特征提取，得到多尺度的特征图；

强化处理单元，用于对所述多尺度的特征图中显著性物体所对应的部分进行强化处理，得到多尺度的强化特征图；

图像还原单元，用于对所述多尺度的强化特征图进行图像还原，得到与所述待处理图像对应的显著性物体蒙版。

14.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至12中任一项所述的方法的步骤。

15.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至12中任一项所述的方法的步骤。

Images