CN111314688A - 视差图空洞填充方法、装置和电子*** - Google Patents

Abstract

本发明提供了一种视差图空洞填充方法、装置和电子***；其中，该方法包括：在预设的视差图中，确定目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域；获取包含有目标空洞区域的图像区域对应的积分图；根据目标空洞区域的区域面积和积分图，对目标空洞区域进行填充处理。该方式中，在目标空洞区域进行填充的过程中，考虑了该目标空洞区域的区域面积，因而对目标空洞区域的填充方式，与该目标空洞区域匹配程度更高，可以避免将视差图噪点变成视差白斑的情况，有利于提高视差图的质量，进而有助于提高基于视差图对双目摄像图像进行图像处理的效果。

Description

视差图空洞填充方法、装置和电子***

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种视差图空洞填充方法、装置和电子***。

背景技术

在处理基于双目摄像头采集的图像时，视差图是重要的中间结果。初始状态下的视差图中通常存在空洞，这些空洞容易影响后续图像的处理效果。例如，在双摄大光圈虚化项目中，为了使虚化效果达到焦外虚化均匀，焦内清晰，就需要对视差图中的空洞进行合理的填充，否则虚化效果就难以达到预期目的。

相关技术中，可以采用多种算法实现视差图的空洞填充，例如，扫描线填充算法、均值滤波算法、16方向插值算法、基于分割区域的直方图投票等。其中，均值滤波算法的填充效果优于扫描线填充算法，但是滤波窗口的尺寸固定，当待填充的空洞大小变化较大时，这种固定尺寸的填充方式容易将视差图噪点变成视差白斑，进而降低了视差图质量。

发明内容

有鉴于此，本发明的目的在于提供一种视差图空洞填充方法、装置和电子***，以提高视差图的质量，进而提高基于视差图对双目摄像图像进行图像处理的效果。

第一方面，本发明实施例提供了一种视差图空洞填充方法，该方法包括：在预设的视差图中，确定目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域；获取包含有目标空洞区域的图像区域对应的积分图；根据目标空洞区域的区域面积和积分图，对目标空洞区域进行填充处理。

进一步地，上述确定包含有目标空洞区域的图像区域的步骤，包括：在视差图中，确定目标空洞区域的预设形状的最小外接区域；基于预设的扩展参数，对最小外接区域进行扩展，得到包含有目标空洞区域的图像区域。

进一步地，上述预设形状的最小外接区域，包括最小外接矩形；扩展参数包括宽度扩展参数和高度扩展参数。

进一步地，上述获取包含有目标空洞区域的图像区域对应的积分图的步骤，包括：计算包含有目标空洞区域的图像区域对应的积分图：

其中，IntegralImage表示积分图；idx表示目标空洞区域；I(u,v)表示视差图中像素(u，v)处的像素值；||w||表示包含有目标空洞区域的图像区域。

进一步地，上述计算包含有目标空洞区域的图像区域对应的积分图的步骤之前，方法还包括：计算包含有目标空洞区域的图像区域内像素值的平均值；基于平均值，确定像素值阈值；针对包含有目标空洞区域的图像区域内的每个像素，如果该像素的像素值大于或等于像素值阈值，将该像素的像素值设置为平均值。

进一步地，上述根据目标空洞区域的区域面积和积分图，对目标空洞区域进行填充处理的步骤，包括：

针对目标空洞区域中的每个像素，将该像素的像素值设置为：

d^*(u,v)＝sum_D/sum_area：

其中，sum_D表示视差图中以像素(u，v)为中心的图像区域中的像素值之和；以像素(u，v)为中心的图像区域的区域宽度为w₁，区域高度为h₁；IntegralImage表示积分图；idx表示目标空洞区域；w₁表示包含有目标空洞区域的图像区域的宽度；h₁表示包含有目标空洞区域的图像区域的高度；sum_area表示包含有目标空洞区域的图像区域的区域面积，与目标空洞区域的区域面积之差。

进一步地，上述对目标空洞区域进行填充处理的步骤之后，方法还包括：对填充处理后的视差图，进行降噪处理，得到降噪处理后的视差图。

进一步地，上述在预设的视差图中，确定目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域的步骤之前，方法还包括：采用逐行扫描的方式，获取视差图的每行像素行中存在的空洞区域；针对每行像素行，判断该像素行与该像素行相邻的像素行之间是否存在相互连续的空洞区域，如果存在，将相互连续的空洞区域合并；继续执行采用逐行扫描的方式，获取视差图的每行像素行中存在的空洞区域的步骤，直至视差图中各个空洞区域的面积不再发生变化；将面积不再发生变化的各个空洞区域，确定为视差图中的各个目标空洞区域。

第二方面，本发明实施例提供了一种视差图空洞填充装置，装置包括：确定模块，用于在预设的视差图中，确定目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域；积分图获取模块，用于获取包含有目标空洞区域的图像区域对应的积分图；区域填充模块，用于根据目标空洞区域的区域面积和积分图，对目标空洞区域进行填充处理。

第三方面，本发明实施例提供了一种电子***，电子***包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述视差图空洞填充方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述视差图空洞填充方法的步骤。

本发明实施例带来了以下有益效果：

上述视差图空洞填充方法、装置和电子***，首先在预设的视差图中，确定目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域；然后获取包含有目标空洞区域的图像区域对应的积分图；进而根据目标空洞区域的区域面积和积分图，对目标空洞区域进行填充处理；该方式中，在目标空洞区域进行填充的过程中，考虑了该目标空洞区域的区域面积，因而对目标空洞区域的填充方式，与该目标空洞区域匹配程度更高，可以避免将视差图噪点变成视差白斑的情况，有利于提高视差图的质量，进而有助于提高基于视差图对双目摄像图像进行图像处理的效果。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子***的结构示意图；

图2为本发明实施例提供的一种视差图空洞填充方法的流程图；

图3为本发明实施例提供的一种视差图中的空洞区域的示意图；

图4为本发明实施例提供的另一种视差图中的空洞区域的示意图；

图5为本发明实施例提供的目标空洞区域的最小外接矩形的示意图；

图6为本发明实施例提供的最小外接矩形经扩展后，得到的图像区域的示意图；

图7为本发明实施例提供的一种视差图空洞填充装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关技术中，通过均值滤波算法填充视差图空洞区域的方式，滤波窗口的尺寸相对固定，当待填充的空洞大小变化较大时，容易将视差图噪点变成视差白斑，进而降低视差图质量，本发明实施例提供了一种视差图空洞填充方法、装置和电子***；该技术可以应用于服务器、计算机、相机、手机、平板电脑、车辆中控设备等多种设备中，该技术可采用相应的软件和硬件实现，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的视差图空洞填充方法、装置及电子***的示例电子***100。

如图1所示的一种电子***的结构示意图，电子***100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子***100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子***也可以具有其他组件和结构。

所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子***100中的其它组件的数据进行处理，还可以控制所述电子***100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集设备110可以采集预览视频帧或图片数据，并且将采集到的预览视频帧或图片数据存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的视差图空洞填充方法、装置及电子***的示例电子***中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到目标图像的指定位置。当上述电子***中的各器件集成设置时，该电子***可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。

实施例二：

本实施例提供了一种视差图空洞填充方法，该方法由上述电子***中的处理设备执行；该处理设备可以是具有数据处理能力的任何设备或芯片。该处理设备可以独立对接收到的信息进行处理，也可以与服务器相连，共同对信息进行分析处理，并将处理结果上传至云端。

如图2所示，该方法包括如下步骤：

步骤S202，在预设的视差图中，确定目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域；

通常，双目摄像头对同一场景采集图像后，得到场景相同但视角不同的两幅图像。通过特征点匹配的方式，可以获得两幅图像的视差图；该视差图中各点像素处的像素值，表征这两幅图像中相互匹配的像素点的视差值。大多情况下，两幅图像中，越靠近摄像头的场景区域，对应的视差越大。一张视差图中，可能包含有一个或多个空洞区域，一个空洞区域可能包含视差图中一个或多个相邻的像素点。视差图中产生空洞区域的原因通常有两种，一种原因是在计算两幅图像的视差图的过程中，发生了计算错误，另一种原因是，图像中存在被遮挡的区域，被遮挡的区域为双目摄像头看不到的区域，或者双目摄像头中左摄像头或右摄像头看不到的区域，此时在计算视差图时，视差图就会出现空洞区域。

上述目标空洞区域，可以为该视差图中的一个空洞区域，也可以为多个空洞区域。通常，如果一个视差图中包括多个空洞区域，各个空洞区域之间不连通。在实际实现时，可以将视差图中的每个空洞区域逐一确定为目标空洞区域，也可以将视差图中的多个空洞区域同时确定为目标空洞区域。其中一种实现方式中，为了根据空洞区域的面积，采用与该空洞区域的面积相匹配的方式填充该空洞区域，可以将视差图中的多个空洞区域逐一作为目标空洞区域，进而进行填充处理。

上述目标空洞区域的区域面积，可以采用该目标空洞区域中包含的像素点的个数表达，当然也可以采用其他面积表达方式。上述包含有目标空洞区域的图像区域，可以理解为该图像区域中包括目标空洞区域，还包含目标空洞区域周围的非空洞区域的部分像素点，可以根据这些像素点的像素值确定目标空洞区域内像素点的填充值。通常，目标空洞区域的形状多种多样，包含有目标空洞区域的图像区域的形状也可以预设为多种形状，如圆形、椭圆形、矩形、或其他不规则图形等；图形区域的面积，可以预设为固定值，但大多情况下，可以基于目标空洞区域的面积确定；即，目标空洞区域的面积较大，则包含该目标空洞区域的图像区域的面积也较大；目标空洞区域的面积较小，则包含该目标空洞区域的图像区域的面积也较小。

步骤S204，获取包含有目标空洞区域的图像区域对应的积分图；

假设，对于图像A的积分图，具体可以通过下述方式计算得到：积分图中任意一个点(x，y)的值，等于图像A的左上角的点与点(x，y)所围成的矩形区域内所有点的值之和。

具体到步骤S204中，图像区域对应的积分图中，该积分图中任意一个点(a，b)的值，等于图像区域的左上角的点与点(a，b)所围成的矩形区域内所有点的值之和。考虑到上述包含有目标空洞区域的图像区域属于视差图的一部分，因而还可以计算得到视差图整体对应的积分图，再从该积分图中截取图像区域对应的积分图区域，将该积分图区域作为图像区域对应的积分图。

步骤S206，根据上述目标空洞区域的区域面积和积分图，对目标空洞区域进行填充处理。

在对目标空洞区域进行填充处理时，较为重要的是确定该目标空洞区域中各个像素点的填充值；在确定该目标空洞区域的填充值的过程中，上述目标空洞区域的区域面积，以及积分图中各个点的积分值，均可以作为参考因素。由于不同的空洞区域的面积通常不同，因而在填充空洞区域时，所采用的填充值也不同。

上述视差图空洞填充方法，首先在预设的视差图中，确定目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域；然后获取包含有目标空洞区域的图像区域对应的积分图；进而根据目标空洞区域的区域面积和积分图，对目标空洞区域进行填充处理；该方式中，在目标空洞区域进行填充的过程中，考虑了该目标空洞区域的区域面积，因而对目标空洞区域的填充方式，与该目标空洞区域匹配程度更高，可以避免将视差图噪点变成视差白斑的情况，有利于提高视差图的质量，进而有助于提高基于视差图对双目摄像图像进行图像处理的效果。

实施例三：

本实施例提供了另一种视差图空洞填充方法。在对视差图空洞进行填充之前，本实施例中首先说明如何获取视差图中的空洞区域，包括如下步骤02-08：

步骤02，采用逐行扫描的方式，获取视差图的每行像素行中存在的空洞区域；

在初始状态下的视差图中，空洞区域中的像素点，可能没有像素值，也可能像素值与非空洞区域的像素值差异特别大。基于此，可以先对视差图进行逐像素点的扫描，如果有像素点没有像素值，或者像素值超出了预设的合理范围，可以将空洞区域的像素值设置为同样的预设值，该预设值可以为0、255或其他值。

在逐行扫描的过程中，针对视差图中的每行像素行，将该行中像素值为预设值的像素点都标记为目标像素点，然后，如果存在相邻的目标像素点，将相邻的目标像素点组成一个空洞区域。另外，还可以对每行扫描出来的空洞区域按照顺序进行编号。可以理解的是，除了采用逐行扫描的方式外，还可以采用逐列扫描，或蛇形扫描的方式获取空洞区域。

步骤04，针对每行像素行，判断该像素行与该像素行相邻的像素行之间是否存在相互连续的空洞区域，如果存在，将相互连续的空洞区域合并；

步骤06，继续执行采用逐行扫描的方式，获取视差图的每行像素行中存在的空洞区域的步骤，直至视差图中各个空洞区域的面积不再发生变化；

步骤08，将面积不再发生变化的各个空洞区域，确定为视差图中的各个目标空洞区域。

例如，如果第一像素行中的空洞区域a和第二像素行中的空洞区域b相互连续，则可以理解为空洞区域a中至少有一个像素与空洞区域b中的至少一个像素相邻。在实际实现时，可以按照像素行的排列顺序执行步骤04，例如，从第一行像素行开始，判断该像素行与第二行像素行之间是否存在相互连续的空洞区域；将相互连续的空洞区域合并后，第一行和第二行像素行对应的空洞区域的总量，通常不大于在合并之前，第一行和第二行像素行对应的空洞区域的总量。

第一行和第二行像素行中的空洞区域合并完毕后，再看第三行中的空洞区域中是否存在与第一行和第二行像素行对应的空洞区域相互连续的空洞区域，如果存在，则进行空洞区域的合并过程；依此类推，直至视差图中的所有相邻的空洞区域均合并完毕。

为了便于理解，图3为视差图中的空洞区域的示意图；其中，阴影区域为合并后的空洞区域。为了便于处理，可以对每个空洞区域进行编号处理，如图4所示，可以按照空洞区域的位置，为每个空洞区域进行编号；该编号可以设置在空洞区域中，即，一个空洞区域对应一个编号；也可以设置在空洞区域的每个像素中；即，空洞区域中的每个像素设置一个编号，处于同一空洞区域内的像素对应同一个编号。

通过上述方式获取到视差图中的空洞区域后，由于各个空洞区域之间相互独立，不连通，因而可以将每个空洞区域作为目标空洞区域，进而确定目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域。

如上述实施例所述，可以将目标空洞区域中包含的像素的数量，确定为该目标空洞区域的区域面积。在确定包含有目标空洞区域的图像区域的过程中，可以先在视差图中，确定目标空洞区域的预设形状的最小外接区域；其中，该预设形状具体可以为矩形、正方形、圆形等。预设形状的最小外接区域，可以理解为该预设形状的区域的大小，能够刚好包含住该目标空洞区域。

为了对目标空洞区域中的像素进行填充时，有足够的视差值参与填充值的确定过程，在确定了上述最小外接区域后，基于预设的扩展参数，对最小外接区域进行扩展，得到包含有目标空洞区域的图像区域。预设的扩展参数可以根据最小外接区域的形状确定；例如，当最小外接区域为矩形时，预设的扩展参数可以包括矩形长度的扩展参数，和矩形宽度的扩展参数；当最小外接区域为圆形时，预设的扩展参数可以包括半径的扩展参数。

其中一种具体的实现方式中，上述预设形状的最小外接区域，可以为最小外接矩形；图5所示为目标空洞区域的最小外接矩形的示意图；该目标空洞区域为不规则形状，该最小外接矩形的大小可以刚好包含该目标空洞区域。对于最小外接矩形，扩展参数包括宽度扩展参数和高度扩展参数。该扩展参数可以为扩展倍数，将最小外接矩形的宽度乘以宽度扩展倍数，得到扩展后的矩形的宽度；将最小外接矩形的高度乘以高度扩展倍数，得到扩展后的矩形的高度。上述扩展参数还可以为具体的扩展值，例如，将最小外接矩形的宽度加上宽度扩展值，得到扩展后的矩形的宽度；将最小外接矩形的高度加上高度扩展值，得到扩展后的矩形的高度。

图6所示为上述最小外接矩形经扩展后，得到的图像区域；该图像区域包括最小外接矩形，以及包围在最小外接矩形四周的扩展区域。在实际实现时，上述宽度扩展值和高度扩展值可以相同，例如可以用Δ_stride表示扩展值；当最小外接矩形的宽度为width时，扩展后的图像区域的宽度w＝width+2Δ_stride；当最小外接矩形的高度为height时，扩展后的图像区域的高度h＝height+2Δ_stride。

确定了包含有目标空洞区域的图像区域之后，即可获取包含有目标空洞区域的图像区域对应的积分图；具体可以通过下述公式实现：

其中，IntegralImage表示积分图；idx表示目标空洞区域；I(u,v)表示视差图中像素(u，v)处的像素值；||w||表示包含有目标空洞区域的图像区域。

需要说明的是，idx具体可以为目标空洞区域的编号。如果视差图中包括多个空洞区域，为了便于处理，可以将每个空洞区域进行编号；然后逐一将每个空洞区域作为目标空洞区域，计算该目标空洞区域的图像区域对应的积分图，此时idx即该目标空洞区域的编号。

另外，由于视差图的图像区域中可能存在异常极大视差值或错误视差值，假如刚好有空洞区域的某个像素位于该异常值或错误值附近，那么该像素点被填充的值也很有可能是异常值，空洞区域中的像素被异常值填充后，便会从整体上形成具有一定面积的异常白斑视差区域。基于此，在计算包含有目标空洞区域的图像区域对应的积分图的步骤之前，还可以执行下述步骤12-16：

步骤12，可以首先计算包含有目标空洞区域的图像区域内像素值的平均值；

步骤14，基于上述平均值，确定像素值阈值；

步骤16，针对包含有目标空洞区域的图像区域内的每个像素，如果该像素的像素值大于或等于像素值阈值，将该像素的像素值设置为平均值。

例如，该像素值阈值可以为平均值的数倍大小，例如，像素值阈值等于平均值的三倍；如果图像区域中的哪个像素的像素值大于或等于该像素值阈值，则将该像素的像素值设置为平均值，通过该方式可以消除图像区域中的异常极大值和错误值，避免空洞区域被填充中出现异常白斑视差区域，进而提高视差图空洞填充的效果。

另一种实现方式中，上述步骤12-16也可以在获取到包含有目标空洞区域的图像区域对应的积分图之后实现，即，通过步骤12-16更新了图像区域后，再基于更新的图像区域更新视差图。

获取到目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域对应的积分图之后，即可对目标空洞区域进行填充处理。在具体实现时，针对目标空洞区域中的每个像素，将该像素的像素值设置为：

d^*(u,v)＝sum_D/sum_area：

其中，sum_D具体可以通过下述公式计算：

sum_D表示视差图中以像素(u，v)为中心的图像区域中的像素值之和；以像素(u，v)为中心的图像区域的区域宽度为w₁，区域高度为h₁；IntegralImage表示积分图；idx表示目标空洞区域；w₁表示包含有目标空洞区域的图像区域的宽度；h₁表示包含有目标空洞区域的图像区域的高度；sum_area表示包含有目标空洞区域的图像区域的区域面积，与目标空洞区域的区域面积之差。

由上述公式可知，目标空洞区域中的像素，其填充的像素值不仅与包含有目标空洞区域的图像区域对应的积分图有关，还与目标空洞区域的区域面积有关；上述sum_area也可以理解为，包含有目标空洞区域的图像区域中，除目标空洞区域以外的区域的区域面积。该区域面积也可以理解为区域内所包含的像素的个数。

另外，视差图的空洞填充完毕后，在视差图中可能会产出视差噪声，因此，需要对填充处理后的视差图，进行降噪处理，得到降噪处理后的视差图。具体可以采用中值滤波算法进行降噪，该中值滤波算法的半径参数可以为3*3，当然该参数也可以为其他值。

上述视差图空洞填充方法中，以均值滤波为基础进行视差图的空洞填充，对视差图中的空洞区域计算区域面积，并作为填充的一个参考值，该方式可以改善传统的均值滤波算法填充视差图空洞时，算法不能与空洞区域的尺寸自适应的问题，从而提高了视差图空洞的填充效果。

另外，上述视差图空洞填充方法，针对每个空洞区域的图像区域计算一个积分图，相对于传统的计算视差图的全局积分图的方式，该方式可以大幅降低内存占用，在较少的内存消耗下，可以完成视差图中所有空洞区域的填充。

总之，上述视差图空洞填充方法，通过自适应空洞区域的尺寸，可以更加准确的进行空洞视差填充；通过对视差图中极大异常值和错误视差值进行处理，还可以降低传统均值滤波算法可能存在的异常白斑视差；通过对每个空洞区域的图像区域进行局部的积分图计算，可以降低视差填充的计算量，快速完成视差空洞填充，降低全图积分图计算带来的平台内存占用。

实施例四：

对应于上述方法实施例，参见图7所示的一种视差图空洞填充装置的结构示意图，该装置包括：

确定模块70，用于在预设的视差图中，确定目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域；

积分图获取模块71，用于获取包含有目标空洞区域的图像区域对应的积分图；

区域填充模块72，用于根据目标空洞区域的区域面积和积分图，对目标空洞区域进行填充处理。

上述视差图空洞填充装置，首先在预设的视差图中，确定目标空洞区域的区域面积，以及包含有目标空洞区域的图像区域；然后获取包含有目标空洞区域的图像区域对应的积分图；进而根据目标空洞区域的区域面积和积分图，对目标空洞区域进行填充处理；该方式中，在目标空洞区域进行填充的过程中，考虑了该目标空洞区域的区域面积，因而对目标空洞区域的填充方式，与该目标空洞区域匹配程度更高，可以避免将视差图噪点变成视差白斑的情况，有利于提高视差图的质量，进而有助于提高基于视差图对双目摄像图像进行图像处理的效果。

进一步地，上述确定模块，还用于：在视差图中，确定目标空洞区域的预设形状的最小外接区域；基于预设的扩展参数，对最小外接区域进行扩展，得到包含有目标空洞区域的图像区域。

进一步地，上述预设形状的最小外接区域，包括最小外接矩形；上述扩展参数包括宽度扩展参数和高度扩展参数。

进一步地，上述积分图获取模块，还用于：计算包含有目标空洞区域的图像区域对应的积分图：

其中，IntegralImage表示积分图；idx表示目标空洞区域；I(u,v)表示视差图中像素(u，v)处的像素值；||w||表示包含有目标空洞区域的图像区域。

进一步地，上述装置还包括：平均值计算模块，用于计算包含有目标空洞区域的图像区域内像素值的平均值；阈值确定模块，用于基于平均值，确定像素值阈值；像素值设置模块，用于针对包含有目标空洞区域的图像区域内的每个像素，如果该像素的像素值大于或等于像素值阈值，将该像素的像素值设置为平均值。

进一步地，上述区域填充模块，还用于：针对目标空洞区域中的每个像素，将该像素的像素值设置为：d^*(u,v)＝sum_D/sum_area；

sum_D表示视差图中以像素(u，v)为中心的图像区域中的像素值之和；以像素(u，v)为中心的图像区域的区域宽度为w₁，区域高度为h₁；IntegralImage表示积分图；idx表示目标空洞区域；w₁表示包含有目标空洞区域的图像区域的宽度；h₁表示包含有目标空洞区域的图像区域的高度；sum_area表示包含有目标空洞区域的图像区域的区域面积，与目标空洞区域的区域面积之差。

进一步地，上述装置还包括：降噪模块，用于对填充处理后的视差图，进行降噪处理，得到降噪处理后的视差图。

进一步地，上述装置还包括：空洞区域获取模块，用于采用逐行扫描的方式，获取视差图的每行像素行中存在的空洞区域；判断模块，用于针对每行像素行，判断该像素行与该像素行相邻的像素行之间是否存在相互连续的空洞区域，如果存在，将相互连续的空洞区域合并；执行模块，用于继续执行采用逐行扫描的方式，获取视差图的每行像素行中存在的空洞区域的步骤，直至视差图中各个空洞区域的面积不再发生变化；将面积不再发生变化的各个空洞区域，确定为视差图中的各个目标空洞区域。

本实施例还提供一种电子***，该电子***包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述视差图空洞填充方法。

本实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述视差图空洞填充方法的步骤。

本发明实施例所提供的视差图空洞填充方法、装置和电子***的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种视差图空洞填充方法，其特征在于，所述方法包括：

在预设的视差图中，确定目标空洞区域的区域面积，以及包含有所述目标空洞区域的图像区域；

获取所述包含有所述目标空洞区域的图像区域对应的积分图；

根据所述目标空洞区域的区域面积和所述积分图，对所述目标空洞区域进行填充处理。

2.根据权利要求1所述的方法，其特征在于，确定包含有所述目标空洞区域的图像区域的步骤，包括：

在所述视差图中，确定所述目标空洞区域的预设形状的最小外接区域；

基于预设的扩展参数，对所述最小外接区域进行扩展，得到包含有所述目标空洞区域的图像区域。

3.根据权利要求2所述的方法，其特征在于，所述预设形状的最小外接区域，包括最小外接矩形；所述扩展参数包括宽度扩展参数和高度扩展参数。

4.根据权利要求1所述的方法，其特征在于，获取所述包含有所述目标空洞区域的图像区域对应的积分图的步骤，包括：

计算所述包含有所述目标空洞区域的图像区域对应的积分图：

其中，IntegralImage表示积分图；idx表示所述目标空洞区域；I(u,v)表示所述视差图中像素(u，v)处的像素值；||w||表示所述包含有所述目标空洞区域的图像区域。

5.根据权利要求4所述的方法，其特征在于，计算所述包含有所述目标空洞区域的图像区域对应的积分图的步骤之前，所述方法还包括：

计算所述包含有所述目标空洞区域的图像区域内像素值的平均值；

基于所述平均值，确定像素值阈值；

针对所述包含有所述目标空洞区域的图像区域内的每个像素，如果该像素的像素值大于或等于所述像素值阈值，将该像素的像素值设置为所述平均值。

6.根据权利要求1所述的方法，其特征在于，根据所述目标空洞区域的区域面积和所述积分图，对所述目标空洞区域进行填充处理的步骤，包括：

针对所述目标空洞区域中的每个像素，将该像素的像素值设置为：

d^*(u,v)＝sum_D/sum_area：

其中，sum_D表示所述视差图中以像素(u，v)为中心的图像区域中的像素值之和；所述以像素(u，v)为中心的图像区域的区域宽度为w₁，区域高度为h₁；IntegralImage表示积分图；idx表示所述目标空洞区域；w₁表示所述包含有所述目标空洞区域的图像区域的宽度；h₁表示所述包含有所述目标空洞区域的图像区域的高度；sum_area表示所述包含有所述目标空洞区域的图像区域的区域面积，与所述目标空洞区域的区域面积之差。

7.根据权利要求1所述的方法，其特征在于，对所述目标空洞区域进行填充处理的步骤之后，所述方法还包括：对填充处理后的所述视差图，进行降噪处理，得到降噪处理后的所述视差图。

8.根据权利要求1所述的方法，其特征在于，在预设的视差图中，确定目标空洞区域的区域面积，以及包含有所述目标空洞区域的图像区域的步骤之前，所述方法还包括：

采用逐行扫描的方式，获取所述视差图的每行像素行中存在的空洞区域；

针对每行像素行，判断该像素行与该像素行相邻的像素行之间是否存在相互连续的空洞区域，如果存在，将相互连续的空洞区域合并；

继续执行采用逐行扫描的方式，获取所述视差图的每行像素行中存在的空洞区域的步骤，直至所述视差图中各个空洞区域的面积不再发生变化；

将面积不再发生变化的各个空洞区域，确定为所述视差图中的各个目标空洞区域。

9.一种视差图空洞填充装置，其特征在于，所述装置包括：

确定模块，用于在预设的视差图中，确定目标空洞区域的区域面积，以及包含有所述目标空洞区域的图像区域；

积分图获取模块，用于获取所述包含有所述目标空洞区域的图像区域对应的积分图；

区域填充模块，用于根据所述目标空洞区域的区域面积和所述积分图，对所述目标空洞区域进行填充处理。

10.一种电子***，其特征在于，所述电子***包括：图像采集设备、处理设备和存储装置；

所述图像采集设备，用于获取预览视频帧或图像数据；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至8任一项所述的视差图空洞填充方法。

11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至8任一项所述的视差图空洞填充方法的步骤。

Images