CN111161289B - 图像中物体轮廓精度提升方法、装置 - Google Patents

Abstract

本发明公开了一种图像中物体轮廓精度提升方法、装置和计算机程序产品。其中，方法包括：根据分割模型的输出图像以及原始图像，逐层构建图像金字塔，并在构建每层图像的同时，基于上一层图像中的物体轮廓确定当前层图像中物体的当前轮廓线；对所述当前轮廓线进行扩展；利用所述当前轮廓线及其扩展结果，在所述当前层图像中优化物体轮廓精度；按上述方式逐层处理，直至得到符合原始图像精度的目标轮廓。本发明能够使经由分割模型处理后的图像的物体轮廓与原始图像的物体轮廓相匹配，并且不涉及对分割模型的输入图像的处理，因而不会增加算法网络的运行压力，进一步地，本发明实现方式简便高效，从而可以节省整体运算资源。

Description

图像中物体轮廓精度提升方法、装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像中物体轮廓精度提升方法、装置和计算机程序产品。

背景技术

提取图像中某物体的轮廓属于图像处理领域中的图像分割问题，在诸如军事、医学和影视后期制作等各其他相关领域中都有着较为广泛的应用。近年来随着深度学习等算法的发展，通用的图像分割(轮廓提取)等效果有了极大的改进，逐渐具备了实用性。不过深度学习等算法在处理轮廓提取问题时，会受限于下述因素：

1)图像分割网络模型(本发明简称为分割模型，诸如神经网络等)要求输入图像的尺寸是固定的。在现阶段图像分率逐步趋高的前提下，原始图像(即未压缩的待处理原图)通常需要经由压缩处理，得到一个用于分割模型的低分辨率的输入图像，经由分割模型提取物体轮廓后的输出图像(例如掩码图)的尺寸则与输入图像是一致的，即该输出图像中的物体轮廓是基于低分辨率条件下的轮廓曲线。

2)计算量与图像尺寸成正比。不能简单地从算法输入端单纯考虑提升输入图像的分辨率甚至不进行压缩处理的方式，这对于目前应用场景的算力而言是极为不现实的。

在这样的技术前提下，当前本领域采用分割模型进行图像分割后，往往经由后续放大处理，还原至原始图像的高分辨率时，其中物体的轮廓精度会受到较大影响，尤其考虑到人眼的视觉敏感度，图像中低精度的物体轮廓，难以满足用户期待。

发明内容

本发明提供了一种图像中物体轮廓精度提升方法、装置和计算机程序产品，通过以上形式对分割模型输出的高分辨率图像的物体轮廓进行优化，能够高效低耗地改善图像分割后的低分辨率图像中物体轮廓精度低的问题。

关于上述本发明采用的技术方案具体如下：

一种图像中物体轮廓精度提升方法，包括：

根据分割模型的输出图像以及原始图像，逐层构建图像金字塔，并在构建每层图像的同时，基于上一层图像中的物体轮廓确定当前层图像中物体的当前轮廓线；

对所述当前轮廓线进行扩展；

利用所述当前轮廓线及其扩展结果，在所述当前层图像中优化物体轮廓精度；

按上述方式逐层处理，直至得到符合原始图像精度的目标轮廓。

可选地，所述根据分割模型的输出图像以及原始图像，逐层构建图像金字塔，并在构建每层图像的同时，基于上一层图像中的物体轮廓确定当前层图像中物体的当前轮廓线包括：

获取输出图像的第一分辨率以及原始图像的第二分辨率；

根据所述第一分辨率以及所述第二分辨率，设置用于构建图像金字塔中各层图像的分辨率比值；

利用所述分辨率比值以及所述第一分辨率，求取当前分辨率；

基于所述当前分辨率，将所述输出图像中的物体轮廓转换为当前轮廓线以及将所述输出图像转换为图像金字塔中的当前层图像。

可选地，所述基于所述当前分辨率，将所述输出图像中的物体轮廓转换为当前轮廓线包括：

基于所述当前分辨率，对所述输出图像中的物体轮廓的各像素点进行坐标转换得到若干离散的初始轮廓点；

将各所述初始轮廓点处理成连续的曲线，得到所述当前轮廓线。

可选地，所述对所述当前轮廓线进行扩展包括：

根据上一层图像以及当前层图像的分辨率，逐个对所述当前轮廓线中各像素点进行扩展，确定出每个像素点的替代点的搜索范围。

可选地，所述利用所述当前轮廓线及其扩展结果，在所述当前层图像中优化物体轮廓精度包括：

利用所述当前层图像以及所述当前轮廓线，从各所述搜索范围内确定出目标像素点；

由全部所述目标像素点确定出所述当前层图像中物体的轮廓曲线，并基于所述轮廓曲线在所述搜索范围内进行循环搜索，得到针对所述当前层图像的迭代更新后的目标轮廓。

可选地，所述利用所述当前层图像以及所述当前轮廓线，从各所述搜索范围内确定出目标像素点包括：

根据所述当前轮廓线中的一个像素点分别相对于所述当前层图像以及相邻像素点的梯度变化关系，在所述搜索范围内查找针对当前的像素点的最优替代点，将所述最优替代点作为所述目标像素点。

一种图像中物体轮廓精度提升装置，包括：

图像金字塔处理模块，用于根据分割模型的输出图像以及原始图像，逐层构建图像金字塔，并在构建每层图像的同时，基于上一层图像中的物体轮廓确定当前层图像中物体的当前轮廓线；

当前轮廓扩展模块，用于对所述当前轮廓线进行扩展；

轮廓精度优化模块，用于利用所述当前轮廓线及其扩展结果，在所述当前层图像中优化物体轮廓精度；

高精度目标轮廓确定模块，用于按上述方式逐层处理，直至得到符合原始图像精度的目标轮廓。

可选地，所述当前轮廓扩展模块具体用于：

根据上一层图像以及当前层图像的分辨率，逐个对所述当前轮廓线中各像素点进行扩展，确定出每个像素点的替代点的搜索范围。

可选地，所述轮廓精度优化模块具体用于：

根据所述当前轮廓线中的一个像素点分别相对于所述当前层图像以及相邻像素点的梯度变化关系，在所述搜索范围内查找针对当前的像素点的最优替代点，将所述最优替代点作为目标像素点。

一种计算机程序产品，所述计算机程序产品在计算机设备上运行时，使所述计算机设备执行入上所述的图像中物体轮廓精度提升方法。

本发明的构思是通过图像金字塔的思想，在图像金字塔的顶层和底层之间逐层构建出相对上一层图像(低分辨率)具有更高分辨率的当前层图像，同时可以并行地对当前层图像的物体轮廓进行初始化，也即是分别获得两个后处理的条件：当前轮廓线和当前层图像。之后对其中的当前轮廓线进行搜索扩展，再利用当前轮廓线、扩展结果以及当前层图像，对物体轮廓进行精度优化，以此类推，逐层向下处理直至获得金字塔底层的、在原始图像高分辨率下的最终优化结果，即，使得经由分割模型处理后的图像的物体轮廓与原始图像的物体轮廓相匹配。这个过程不涉及对分割模型的输入图像的处理，因而不会增加算法网络的运行压力，并且本发明实现方式简便高效，从而可以节省整体运算资源。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的图像中物体轮廓精度提升方法的实施例的流程图；

图2为本发明提供的图像金字塔的实施例的示意图；

图3为本发明提供的步骤S1的具体实施例的流程图；

图4为本发明提供的获得当前轮廓线的具体实施例的流程图；

图5为本发明提供的步骤S3的具体实施例的流程图；

图6为本发明提供的图像中物体轮廓精度提升装置的实施例的方框图；

图7为本发明提供的图像中物体轮廓精度提升设备的实施例的示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

首先，作为本发明创造中涉及的技术实现手段及其具体实施示例的设计前提，这里还需对本发明所涉及的技术问题再做说明介绍。

如前文提及的，使用深度学习算法时，需要先将输入图像缩小到指定大小，通常是比较小的尺寸，例如200×200左右，然后将经由分割模型得到的分割后的掩码图像放大到原始图像。这个过程就会产生轮廓精度的问题。因为数字图像往往是栅格化的，一个像素可以看作是一个格子。如果一张图像在长宽两个维度上都缩小一倍，那么缩小后的一个像素对应于原图中的2×2的一块区域。如果该小图上的这个像素恰好是某图像中物体的一个边缘像素，那么在放大后在对应的2×2的区域里的四个像素，就有至少两种可能，四个像素都属于该物体，也有可能只有部分像素属于该物体，这就是低分辨图像中物体轮廓在高分辨率图像下的精度问题。

基于此，本发明提供了一种图像中物体轮廓精度提升方法的实施例，如图1所示，包括：

步骤S1、根据分割模型的输出图像以及原始图像，逐层构建图像金字塔，并在构建每层图像的同时，基于上一层图像中的物体轮廓确定当前层图像中物体的当前轮廓线；

步骤S2、对所述当前轮廓线进行扩展；

步骤S3、利用所述当前轮廓线及其扩展结果，在所述当前层图像中优化物体轮廓精度；

步骤S4、按上述方式逐层处理，直至得到符合原始图像精度的目标轮廓。

其中提及的图像金字塔可参考图2所示的多层结构，也即是通过分辨率缩放可得到的多图像层，并且显然地是，在本发明构思中分割模型输出的图像即是待处理对象，那么在图像金字塔中其位于顶层，而原始图像的尺寸由于是放大后的最终目标，因而原始图像可作为图像金字塔的底层。本发明的主要构思就是沿着这个图像金字塔，从分辨率最低的图像的轮廓开始，进行逐级求精，直到得到最高分辨率图像上的高精度轮廓。对此，这里需要指出的三点：

其一、在某些实施方式中基于不同的需求，也可以将任一层作为底层，这里不作赘述。

其二、本实施例并非先构建出完整的多层图像金字塔，再进行优化处理。而是在明确顶层和底层图像的前提下，在逐层构建的过程中针对当前构建出的图像层以及相应的当前轮廓线进行逐层优化，然后再一层层逐级地构建、优化下去，直至处理到底层图像。

其三、本实施例获取当前轮廓线的过程，虽然可以是在构建出当前层图像后，在当前层图像进行轮廓提取，但考虑到运算资源的耗费问题，更优地是可以将获得当前层图像和当前轮廓线视为不同的处理途径，二者没有先后关系，也没有因果关系。

具体来说，可参见图3所示出的具体实现方式：

步骤S11、获取输出图像的第一分辨率以及原始图像的第二分辨率；

步骤S12、根据所述第一分辨率以及所述第二分辨率，设置用于构建图像金字塔中各层图像的分辨率比值；

步骤S13、利用所述分辨率比值以及所述第一分辨率，求取当前分辨率；

步骤S14、基于所述当前分辨率，将所述输出图像中的物体轮廓转换为当前轮廓线以及将所述输出图像转换为图像金字塔中的当前层图像。

这里即可看出，该实施例并不是直接构建出多层的金字塔，而是由顶层和底层图像的分辨率先确定出用来构建多层金字塔的分辨率比值，也即是上一层图像向下一层图像放大的比例关系，利用这个比例关系以及上一层图像，在进行逐级处理时就可以获取到下一层图像的分辨率，即当前分辨率。而之后采取的做法则可以是并行步骤，基于该当前分辨率一方面可以经放大操作得到当前层图像，另一方面则可以对上一层图像中的轮廓作直接处理，得到相应于当前层图像的较高分辨率的初始轮廓，也即是所称当前轮廓线。

这里，本发明再提供至少一种获得当前轮廓线的简便实施思路，参考图4所示，可以包括如下过程：

步骤S141、基于所述当前分辨率，对所述输出图像中的物体轮廓的各像素点进行坐标转换得到若干离散的初始轮廓点；

步骤S142、将各所述初始轮廓点处理成连续的曲线，得到所述当前轮廓线。

这是考虑到经分辨率比例关系转换后的物体轮廓会处于稀疏、不连续的状态，因而在坐标转换后对初始轮廓点进行再处理，使其成为连续状态，而其中涉及的处理手段，则可以是两两地在离散且相邻的初始轮廓点间直接作连接线，以此形成当前轮廓线，当然还可以根据离散且相邻的初始轮廓点的位置变化趋势，作出该连接线。前者算力损耗小，后者形成的当前轮廓线更为贴近实际轮廓，在实际操作中二者可因需选择。

由上述各实施例便可以得到后续处理的两个输入条件：当前轮廓线和当前层图像。接着本发明提出先对其中的当前轮廓线进行扩展，这是一个中间过程，设计该步骤的目的是考虑到，对轮廓线优化的过程就是查找最优轮廓点/线的过程，但是由于现在的图像分辨率往往比较大，如果随机的查找则往往会降低cache命中率，进而导致相关的计算机设备(嵌入式)的性能变差，而实际上在图像中与轮廓有关的图像区域，通常只是原图的小部分区域。因此本步骤的目的是给后续优化操作扩展出一个基于所述当前轮廓线的合法查找区域，换言之，所称扩展是指有限扩展。

具体而言，对所述当前轮廓线进行扩展可以是根据上一层图像以及当前层图像的分辨率，逐个对所述当前轮廓线中各像素点进行扩展，确定出每个像素点的替代点的搜索范围。这个示例中是以点(更为具体的可以是指该点的坐标)为单位，根据图像缩放的比例关系，在每个点的周边探索出可信的区域，而所述搜索区域可以是矩形框或其他设定形状，这个示例即是站在全局与局部的视角以当前轮廓线中各像素点为中心向外搜索相关各点，从而使得搜索范围内中的各点皆可作为替代所述当前轮廓线中的点的备选。当然，本领域技术人员可以理解的是，在实际实施过程中，可以针对当前轮廓线中各像素点形成相应的轮廓图列表，对此后文将做介绍。

关于之后的优化步骤，其核心思路是在某些条件前提下从扩展出的这个搜索范围中确定出一个相对最佳的目标点以替代原当前轮廓线中的点，也即是对当前轮廓线进行更新，那么从优选角度而言，则可以借鉴图5示出的实施方式，包括：

步骤S31、利用所述当前层图像以及所述当前轮廓线，从各所述搜索范围内确定出目标像素点；

步骤S32、由全部所述目标像素点确定出所述当前层图像中物体的轮廓曲线，并基于所述轮廓曲线在所述搜索范围内进行循环搜索，得到针对所述当前层图像的迭代更新后的目标轮廓。

举例来说，先在当前轮廓线的一个第一像素点的搜索范围内可随机选择一个备选点(或者直接以第一像素点起始也可)，利用该随机备选点与当前层图像以及当前轮廓线本身的图像参数关系，确定该随机备选点的得分，接着在当前轮廓线上沿预设方向获取到与第一像素点相邻的第二像素点，结合已确定的所述随机备份点以及当前层图像与当前轮廓线本身的图像参数关系，在第二像素点的搜索范围内确定出针对第二像素点的当前最佳的目标像素点，并可以获得相应得分，以此类推就拿到了后续各所述搜索范围内的目标像素点，并统计出由全部目标像素点(可以包括所述随机备选点)构成的轮廓曲线的总分。至此还未结束，在本优选方案中，还考虑到将本轮优化得到的轮廓曲线视为“新的当前轮廓线”再次循环上述在已确定的搜索范围内进行搜索目标像素点的操作，经过有限次的迭代更新后将得分最高的轮廓曲线作为当前层图像中物体的目标轮廓。

进一步地，对于上述利用所述当前层图像以及所述当前轮廓线，从各所述搜索范围内确定出目标像素点的过程，在一些实施例中，则可以是指根据所述当前轮廓线中的一个像素点分别相对于所述当前层图像以及相邻像素点的梯度变化关系，在所述搜索范围内查找针对当前的像素点的最优替代点，将所述最优替代点作为所述目标像素点。这个过程包含至少两层含义，既要考察目标像素点相对当前层图像在位置和颜色上的阶跃变化，同时又要关注目标像素点相对于轮廓线上其他点在颜色偏差，也即是在这些实施例中优化的目标是找到相对图像内容本身以及轮廓线本身，过渡较为平滑的目标像素点。

在由上述各过程处理后，便得到图像金字塔中当前层图像的精度最优轮廓线，接着只要按此完整过程，在图像金字塔中按低分辨率至高分辨率的顺序进行相似处理，直至得到处理到最高分辨率(前述第二分辨率)图像的轮廓线，基于该最高分辨率下的目标轮廓，那么就完成了对分割模型输出图像中物体轮廓的精度优化。

综上所述，本发明的构思是通过图像金字塔的思想，在图像金字塔的顶层和底层之间逐层构建出相对上一层图像(低分辨率)具有更高分辨率的当前层图像，同时可以并行地对当前层图像的物体轮廓进行初始化，也即是分别获得两个后处理的条件：当前轮廓线和当前层图像。之后对其中的当前轮廓线进行搜索扩展，再利用当前轮廓线、扩展结果以及当前层图像，对物体轮廓进行精度优化，以此类推，逐层向下处理直至获得金字塔底层的、在原始图像高分辨率下的最终优化结果，即，使得经由分割模型处理后的图像的物体轮廓与原始图像的物体轮廓相匹配。这个过程不涉及对分割模型的输入图像的处理，因而不会增加算法网络的运行压力，并且本发明实现方式简便高效，从而可以节省整体运算资源，关于此优势还可以进一步补充的是，以在手机上进行人像轮廓实时分割的应用场景为例，手机本身的算力是有限的，而进行轮廓提取时又加入了深度学习等算法处理，那么留给后期精度提升的资源就会非常紧张了，所以本发明在设计时的另一个出发点，即是在保证方案可行的前提下，还需要尽量使得方案的实际计算量尽可能的小，由此才能够充分利用各应用场景中的运算资源。

在上述实施例及优选方案基础上，为了便于理解和实施，本发明在前文内容基础上提供如下具体的操作方式示例。

图像金字塔的主要前提就是确定出金字塔各层之间的分辨率比值，有了这个比值就可以构建图像金字塔(如图2示出)，其中，最上层对应即分辨率最低的图像(如分割模型处理输出后的掩码图)，最下层对应分辨率最高的图像(分割模型处理前未被缩放的原始图像)，而至于如何确定出，完全可根据具体情况调整，对此本发明不作限定。

在经由坐标转换并形成较高分辨率的连续曲线后，对于扩展轮廓线的操作则可以通过生成列表的方式，也即是构成出包含三元组的轮廓图列表，三元组定义了轮廓图B：分别是轮廓点局部坐标Bc，轮廓点附近的子图像Bim，该区域在原图中的矩形框坐标Box。并且有了这些信息，不仅可以方便地获取轮廓点及其领域的像素信息，还可以更为方便地将坐标转换回原图或者从原图转换到轮廓图，例如用(x(B)，y(B))表示依据轮廓图计算的轮廓点的全局坐标。例如用B^-1表示B前面一个轮廓图，B¹表示B后面一个轮廓图，用b表示对应的轮廓点，而有时出于方便b也指该轮廓点在原图中的坐标，这根据上下文便容易区分出。接着，基于某点的前后相邻点，可以计算出其法向量Nb，可以用x(Nb)表示其x分量，y(Nb)表示y分量。在一些具体算法实施方式中，使用bi-1表示轮廓点bi的前一个轮廓点，bi+1表示bi的后一个轮廓点，但需说明的是，这是一种简便的表示法示例，因为实际上i+1如果超出轮廓的长度N时，应该回到1，对此本发明不作赘述。

由当前层的分辨率得到较高分辨率的轮廓线，可以认为只是对上一层图像中的轮廓点做了简单扩展，即，对其坐标在较高分辨率上做了转换，但其精度还是低分辨率上的，因而需要进一步扩展、提升。结合上述轮廓图列表，可进一步使用诸如贪心算法等策略，对当前层图像中物体的轮廓点/线进行迭代更新，以此提升其精度。当循环更新每个轮廓点时，由于已经获取了前轮确定的轮廓线，因而就不用再进行重复搜索了，并且每轮更新过程的搜索范围也由轮廓图列表确定，一旦超出则可及时停止搜索操作。而整个迭代更新操作可以视作一个优化过程，优化目标则可以是令下面的目标函数S最大：

其中，表示轮廓点b_i的得分，/>表示轮廓点b_i在图像中的梯度，而λ表示在梯度和颜色差之间进行折中，一般可设为0.3，/>表示轮廓点与相邻轮廓点的颜色差：

以上示例仅为基于前文各方案的一种具体的操作示意，其中的运算过程、概念定义、符号标记等皆非限定。此外，相应于上述方案，本发明还提供了一种图像中物体轮廓精度提升装置的实施例，如图6所示，具体可以包括如下部件：

图像金字塔处理模块1，用于根据分割模型的输出图像以及原始图像，逐层构建图像金字塔，并在构建每层图像的同时，基于上一层图像中的物体轮廓确定当前层图像中物体的当前轮廓线；

当前轮廓扩展模块2，用于对所述当前轮廓线进行扩展；

轮廓精度优化模块3，用于利用所述当前轮廓线及其扩展结果，在所述当前层图像中优化物体轮廓精度；

高精度目标轮廓确定模块4，用于按上述方式逐层处理，直至得到符合原始图像精度的目标轮廓。

进一步地，所述当前轮廓扩展模块具体用于：

根据上一层图像以及当前层图像的分辨率，逐个对所述当前轮廓线中各像素点进行扩展，确定出每个像素点的替代点的搜索范围。

进一步地，所述轮廓精度优化模块具体用于：

根据所述当前轮廓线中的一个像素点分别相对于所述当前层图像以及相邻像素点的梯度变化关系，在所述搜索范围内查找针对当前的像素点的最优替代点，将所述最优替代点作为目标像素点。

应理解以上图6所示的图像中物体轮廓精度提升装置的各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上***(System-On-a-Chip；以下简称：SOC)的形式实现。

综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明适用于多种实施方式，本发明以下述载体作为示意性说明：

(1)一种图像中物体轮廓精度提升设备，其可以包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行前述图像中物体轮廓精度提升方法实施例或等效实施方式的步骤/功能。

图7为图像中物体轮廓精度提升设备的至少一种实施例的结构示意图，其中，该设备可以是电子设备也可以是内置于上述电子设备的电路设备。上述电子设备可以为云服务器、移动终端(手机、穿戴设备、平板电脑)、智慧屏、智能教学设备等。本实施例对图像中物体轮廓精度提升设备的具体形式不作限定。

具体如图7所示，图像中物体轮廓精度提升设备900包括处理器910和存储器930。其中，处理器910和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。

除此之外，为了使得图像中物体轮廓精度提升设备900的功能更加完善，该设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，所述音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。

进一步地，上述图像中物体轮廓精度提升设备900还可以包括电源950，用于给该设备900中的各种器件或电路提供电能。

应理解，图7所示的图像中物体轮廓精度提升设备900能够实现前述实施例提供的方法的各个过程。该设备900中的各个部件的操作和/或功能，可分别为了实现上述方法实施例中的相应流程。具体可参见前文中关于方法、装置等实施例的描述，为避免重复，此处适当省略详细描述。

应理解，图7所示的图像中物体轮廓精度提升设备900中的处理器910可以是片上***SOC，该处理器910中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics ProcessingUnit；以下简称：GPU)等，具体在下文中再作介绍。

总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。

(2)一种可读存储介质，在可读存储介质上存储有计算机程序或上述装置，当计算机程序或上述装置被执行时，使得计算机执行前述图像中物体轮廓精度提升方法实施例或等效实施方式的步骤/功能。

在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。

(3)一种计算机程序产品(该产品可以包括上述装置)，该计算机程序产品在终端设备上运行时，使终端设备执行前述实施例或等效实施方式的图像中物体轮廓精度提升方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP；接续前文再做补充说明，上述设备/终端可以是一台计算机设备(例如手机、PC终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等)。并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network ProcessUnits；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatilememory)，例如非可移动磁盘、U盘、移动硬盘、光盘等，以及只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)等。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置、设备等实施例而言，由于其基本相似于方法实施例，所以相关之处可参见方法实施例的部分说明即可。以上所描述的装置、设备等实施例仅仅是示意性的，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如***网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (7)

1.一种图像中物体轮廓精度提升方法，其特征在于，包括：

根据分割模型的输出图像以及原始图像，逐层构建图像金字塔，并在构建每层图像的同时，基于上一层图像中的物体轮廓确定当前层图像中物体的当前轮廓线；

对所述当前轮廓线进行扩展，包括：根据上一层图像以及当前层图像的分辨率，逐个对所述当前轮廓线中各像素点进行扩展，确定出每个像素点的替代点的搜索范围；

利用所述当前轮廓线及其扩展结果，在所述当前层图像中优化物体轮廓精度，包括从扩展出的所述搜索范围中确定出一个相对最佳的目标点以替代原当前轮廓线中的点，用于对当前轮廓线进行更新；

按上述方式逐层处理，直至得到符合原始图像精度的目标轮廓。

2.根据权利要求1所述的图像中物体轮廓精度提升方法，其特征在于，所述根据分割模型的输出图像以及原始图像，逐层构建图像金字塔，并在构建每层图像的同时，基于上一层图像中的物体轮廓确定当前层图像中物体的当前轮廓线包括：

获取输出图像的第一分辨率以及原始图像的第二分辨率；

根据所述第一分辨率以及所述第二分辨率，设置用于构建图像金字塔中各层图像的分辨率比值；

利用所述分辨率比值以及所述第一分辨率，求取当前分辨率；

基于所述当前分辨率，将所述输出图像中的物体轮廓转换为当前轮廓线以及将所述输出图像转换为图像金字塔中的当前层图像。

3.根据权利要求2所述的图像中物体轮廓精度提升方法，其特征在于，所述基于所述当前分辨率，将所述输出图像中的物体轮廓转换为当前轮廓线包括：

基于所述当前分辨率，对所述输出图像中的物体轮廓的各像素点进行坐标转换得到若干离散的初始轮廓点；

将各所述初始轮廓点处理成连续的曲线，得到所述当前轮廓线。

4.根据权利要求1所述的图像中物体轮廓精度提升方法，其特征在于，所述利用所述当前轮廓线及其扩展结果，在所述当前层图像中优化物体轮廓精度包括：

利用所述当前层图像以及所述当前轮廓线，从各所述搜索范围内确定出目标像素点；

由全部所述目标像素点确定出所述当前层图像中物体的轮廓曲线，并基于所述轮廓曲线在所述搜索范围内进行循环搜索，得到针对所述当前层图像的迭代更新后的目标轮廓。

5.根据权利要求4所述的图像中物体轮廓精度提升方法，其特征在于，所述利用所述当前层图像以及所述当前轮廓线，从各所述搜索范围内确定出目标像素点包括：

根据所述当前轮廓线中的一个像素点分别相对于所述当前层图像以及相邻像素点的梯度变化关系，在所述搜索范围内查找针对当前的像素点的最优替代点，将所述最优替代点作为所述目标像素点。

6.一种图像中物体轮廓精度提升装置，其特征在于，包括：

图像金字塔处理模块，用于根据分割模型的输出图像以及原始图像，逐层构建图像金字塔，并在构建每层图像的同时，基于上一层图像中的物体轮廓确定当前层图像中物体的当前轮廓线；

当前轮廓扩展模块，用于对所述当前轮廓线进行扩展，包括根据上一层图像以及当前层图像的分辨率，逐个对所述当前轮廓线中各像素点进行扩展，确定出每个像素点的替代点的搜索范围；

轮廓精度优化模块，用于利用所述当前轮廓线及其扩展结果，在所述当前层图像中优化物体轮廓精度，包括从扩展出的所述搜索范围中确定出一个相对最佳的目标点以替代原当前轮廓线中的点，用于对当前轮廓线进行更新；

高精度目标轮廓确定模块，用于按上述方式逐层处理，直至得到符合原始图像精度的目标轮廓。

7.根据权利要求6所述的图像中物体轮廓精度提升装置，其特征在于，所述轮廓精度优化模块具体用于：

根据所述当前轮廓线中的一个像素点分别相对于所述当前层图像以及相邻像素点的梯度变化关系，在所述搜索范围内查找针对当前的像素点的最优替代点，将所述最优替代点作为目标像素点。