CN114119701A - 图像处理方法及其装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及其装置，属于图像处理技术领域。该图像处理方法包括：获取第一图像和第二图像，其中，第一图像和第二图像为电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的两幅图像；根据第一图像和第二图像，确定第一摄像头和第二摄像头的稀疏深度图；获取拍摄场景的图像的稠密深度图；根据稠密深度图，调整稀疏深度图中的像素点的深度，得到目标深度图；根据目标深度图，对目标图像进行虚化处理，其中，目标图像为第一图像和第二图像中的其中一个。

Description

图像处理方法及其装置

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法及其装置。

背景技术

随着通信技术的迅速发展，智能电子设备，例如手机已成为用户生活中各方面不可或缺的工具。其中，拍照逐渐成为手机的常用功能之一。并且，目前还可以通过手机拍摄具有背景虚化效果的照片。

其中，目前基于双摄像头来实现虚化拍摄已经是比较常用的技术。但是，对于稀疏纹理、重复纹理、暗光、遮挡这些区域，双摄像头的视差处理比较弱，从而使得深度计算不准确，进而导致漏虚化或误虚化。

由此可知，现有技术中，基于双摄像头的虚化方法存在漏虚化或误虚化的问题。

发明内容

本申请实施例的目的是提供一种图像处理方法及其装置，能够解决现有技术中基于双摄像头的虚化方法存在漏虚化或误虚化的问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：

获取第一图像和第二图像，其中，所述第一图像和所述第二图像为电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的两幅图像；

根据所述第一图像和所述第二图像，确定所述第一摄像头和所述第二摄像头的稀疏深度图；

获取所述拍摄场景的图像的稠密深度图；

根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图；

根据所述目标深度图，对目标图像进行虚化处理，其中，所述目标图像为所述第一图像和所述第二图像中的其中一个。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

图像获取模块，用于获取第一图像和第二图像，其中，所述第一图像和所述第二图像为电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的两幅图像；

稀疏深度图获取模块，用于根据所述第一图像和所述第二图像，确定所述第一摄像头和所述第二摄像头的稀疏深度图；

稠密深度图获取模块，用于获取所述拍摄场景的图像的稠密深度图；

深度调整模块，用于根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图；

虚化处理模块，用于根据所述目标深度图，对目标图像进行虚化处理，其中，所述目标图像为所述第一图像和所述第二图像中的其中一个。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，能够获取电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的第一图像和第二图像，并根据第一图像和第二图像，确定第一摄像头和第二摄像头的稀疏深度图，并且还可以获取该拍摄场景的图像的稠密深度图，从而根据稠密深度图，调整稀疏深度图中像素点的深度，获得目标深度图，进而根据目标深度图对第一图像和第二图像中的其中一个进行虚化处理。

由此可知，本申请实施例中，能够根据拍摄场景的图像的稠密深度图，调整双摄像头(即第一摄像头和第二摄像头)的稀疏深度图，从而可以获得更加准确的深度计算，即可以改善双摄像头在稀疏纹理、重复纹理、暗光、遮挡这些区域处理弱的问题，进而可以改善漏虚化或误虚化的问题，提升虚化效果。

附图说明

图1是本申请实施例提供的一种图像处理方法的流程图；

图2是本申请实施例中进行立体矫正前第一摄像头和第二摄像头的成像平面的示意图；

图3是本申请实施例中进行立体矫正后第一摄像头和第二摄像头的成像平面的示意图；

图4是本申请实施例提供的图像处理方法的一种具体实施方式的流程图；

图5是本申请实施例提供的一种图像处理装置的结构框图；

图6是本申请实施例提供的一种电子设备的结构框图；

图7是本申请实施例提供的另一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

本申请的实施例提供了一种图像处理方法，如图1所示，该方法可以包括以下步骤101至104：

步骤101：获取第一图像和第二图像。

其中，所述第一图像和所述第二图像为电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的两幅图像。第一图像为第一摄像头捕捉的所述拍摄场景的图像，第二摄像头为第二摄像头捕捉的所述拍摄场景的图像。

另外，为了减小第一图像和第二图像在图像内容上的差异，第一图像和第二图像可以为第一摄像头和第二摄像头在同一拍摄场景的两幅图像。

此外，可以在拍照设置界面中设置一操作控件，当该操作控件处于开启状态时，采用本申请实施例提供的图像处理方法进行虚化处理，即执行步骤101至105；当该操作控件处于关闭状态时，采用现有技术中的基于双摄像头的虚化处理方法。

此处还需要说明的是，本申请实施例的图像处理方法不仅可以应用于拍照过程，还可以应用于视频拍摄过程。

步骤102：根据所述第一图像和所述第二图像，确定所述第一摄像头和所述第二摄像头的稀疏深度图。

其中，由于稀疏纹理、重复纹理、暗光和遮挡等原因，会导致第一图像和第二图像的视差匹配存在困难，即在稀疏纹理、重复纹理、暗光和遮挡这些区域，第一图像和第二图像在进行视差匹配时质量会比较差，因此，这些区域的视差的置信度相对较低，进而会过滤掉这些低置信度的视差值，得到一幅视差图，进而由该视差图可以得到一幅深度图。其中，由该视差值拉升得到的深度图通常称为稀疏深度图。

步骤103：获取所述拍摄场景的图像的稠密深度图。

其中，可以通过飞行时间(tof)传感器获取上述拍摄场景的图像的稠密深度图，该tof传感器可以与第一摄像头和第二摄像头设置于同一平面，以便于tof传感器和第一摄像头以及第二摄像头捕捉同一拍摄场景的图像。

另外，为了减小tof传感器捕捉的所述拍摄场景的图像，与第一图像和第二图像在图像内容上的差异，可以为控制第一摄像头、第二摄像头、tof传感器同时捕捉所述拍摄场景的图像。

此外，可选的，本申请实施例中可以使用spot tof(点阵飞行时间)传感器。其中，spot tof传感器测量距离更远，抗光照能力更强。

步骤104：根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图。

其中，如前述所述，稀疏深度图是由过滤掉低置信度视差的视差图获得的，因此，稀疏深度图中会缺少一些区域的深度，而本申请实施例中，还可以获取tof传感器捕捉的同一拍摄场景的图像的稠密深度图，从而可以根据该稠密深度图调整稀疏深度图中像素点的深度，以弥补稀疏深度图中缺少的区域的深度，从而可以获得更加准确的深度图，进而可以提升虚化处理效果。

步骤105：根据所述目标深度图，对目标图像进行虚化处理。

其中，所述目标图像为所述第一图像和所述第二图像中的其中一个。

另外，对目标图像进行虚化处理之后，还可以将虚化处理后的图像显示在拍照预览界面，从而使得用户可以观看到虚化处理效果。并且，在进行虚化处理之后，若接收到拍照指令，则可以将虚化处理后的图像生成照片。

由上述步骤101至105可知，在本申请实施例中，能够获取电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的第一图像和第二图像，并根据第一图像和第二图像，确定第一摄像头和第二摄像头的稀疏深度图，并且还可以获取该拍摄场景的图像的稠密深度图，从而根据稠密深度图，调整稀疏深度图中像素点的深度，获得目标深度图，进而根据目标深度图对第一图像和第二图像中的其中一个进行虚化处理。

由此可知，本申请实施例中，能够根据拍摄场景的图像的稠密深度图，调整双摄像头(即第一摄像头和第二摄像头)的稀疏深度图，从而可以获得更加准确的深度计算，即可以改善双摄像头在稀疏纹理、重复纹理、暗光、遮挡这些区域处理弱的问题，进而可以改善漏虚化或误虚化的问题，提升虚化效果。

可选的，所述获取第一图像和所述第二图像之前，所述方法还包括：

调整所述第一摄像头和所述第二摄像头的成像平面处于同一平面。

其中，在立体成像原理中，要通过两幅图像估计物点的深度信息，就必须在两幅图像中准确的匹配到同一物点，这样才能根据该物点在两幅图像中的位置关系，计算物体深度。为了降低匹配的计算量，本申请的实施例还可以调整第一摄像头和第二摄像头的成像平面处于同一平面，即对第一摄像头和第二摄像头进行立体矫正。例如，进行立体矫正之前第一摄像头和第二摄像图的成像平面如图2所示，进行立体矫正之后第一摄像头和第二摄像图的成像平面如图3所示，其中，在图2和图3中Pl表示第一摄像头的成像平面，Pr表示第二摄像头的成像平面。

可选的，所述获取所述拍摄场景的图像的稠密深度图，包括：

采用快速双边求解器算法(Fast Bilateral Solver)，对飞行时间传感器捕捉的所述拍摄场景的图像进行稠密化，获得所述稠密深度图。

其中，快速双边求解器算法是在Bilateral Solver的基础上进行了加速，即将像素点投影到双边空间(bilateral space)，以减少计算量，再在bilateral space做滤波处理，然后再将数据投回像素空间。

具体地，采用快速双边求解器算法，对飞行时间传感器捕捉的所述拍摄场景的图像进行稠密化的具体过程可如下所述：

首先，将tof传感器捕捉的拍摄场景的图像的像素值映射到小规模的网格(Grid)或格栅(lattice)顶点上，从而将数据压缩。比如将宽为W、高为H的YUV图像投影到Grid上形成五维(YUVXY)的点，其中YUV表示颜色，XY表示位置坐标。

其次，进行位置上的压缩，例如对宽为W、高为H的图像，可以采用一个位置表示一个块Block(比如8x8的块)。在每个Block里对YUV颜色进行压缩，也可以将YUV的值分别除以8，这样Block里的重复点数增加，去掉重复点后，Block的点数变大大,数据量(也即是计算的数据点)大幅减少。

再次：对顶点(vertices)做滤波(blur)处理。

最后：将滤波后的每个顶点再映射回像素空间，得到稠密深度图。

可选的，所述根据所述第一图像和所述第二图像，确定所述第一摄像头和所述第二摄像头的稀疏深度图，包括：

根据所述第一图像和所述第二图像，获取所述第一摄像头和所述第二摄像头的视差图和所述视差图的置信度图；

根据所述视差图和所述视差图的置信度图，获取所述稀疏深度图。

其中，可以采用块匹配的方法，获取第一摄像头和第二摄像头的视差图。即针对第一图像中每一个像素点分别执行如下步骤H1至H4：

步骤H1：以第一图像中目标像素点为中心，获取该目标像素点所在的第一窗口(例如以目标像素点向上下左右四个方向扩展出的一个9*9的窗口)；

步骤H2：确定第二图像中与第一窗口位置对应的第二窗口(即以第二图像中与目标像素点位置对应的像素点为中心扩展出的9*9的窗口)；

步骤H3：将第二窗口分别向左、向右移动一个像素点，并在每移动一次，在v为1至W中的每一个整数时，计算第一窗口内第v个像素点的灰度值与第二窗口内第v个像素点的灰度值之差的绝对值，以作为第一窗口内第v个像素点的第二参数，从而计算第1至W个像素点的第二参数之和，以作为移动后的第二窗口的第三参数；其中，W表示第一窗口内的像素点的总数量；

步骤H4：找到第三参数最小的第二窗口的中心像素点，该像素点的横坐标与目标像素点的横坐标之差，即为目标像素点的视差。

其中，目标像素点为第一图像中的其中一个像素点。

另外，得到各个像素点的视差之后，则可以根据置信度图和视差图，获得上述稀疏深度图。

此外，可以采用现有技术中的任意一种方法获取视差图的置信度图，此处不再赘述。

可选的，所述根据所述视差图和所述视差图的置信度图，获取所述稀疏深度图，包括：

根据所述置信度图，获取所述视差图中置信度小于第一预设阈值的第一像素点，并将所述第一像素点的深度设置为第一预设值；

根据双目三角化原理以及第二像素点的视差，确定所述第二像素点的深度，其中，所述第二像素点为所述视差图中除所述第一像素点之外的像素点；

根据所述第一像素点的深度和所述第二像素点的深度，获得所述稀疏深度图。

由此可知，本申请实施例中，根据置信度图，可以获取置信度较低(即置信度小于第一预设阈值)的第一像素点，然后将第一像素点的视差设置为第一预设值(例如-1)，即采用第一预设值标记低置信度的像素点；并采用双目三角化原理，根据第二像素点(即高置信度的像素点，亦即置信度大于或等于第一预设阈值的像素点)的视差，计算第二像素点的深度，从而获得稀疏深度图。

可选的，所述根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图，包括：

获取所述稀疏深度图中的第一区域和第二区域，其中，所述第一区域的像素点的深度为第一预设值，所述第二区域的像素点的深度与第三像素点的深度之差的绝对值大于或等于第二预设阈值，所述第三像素点为所述稠密深度图中与所述第二区域的像素点位置对应的像素点；

将所述稀疏深度图中的所述第一区域的像素点的深度，设置为第四像素点的深度，其中，所述第四像素点为所述稠密深度图中与所述第一区域的像素点位置对应的像素点；

在k取1至M中的每一个整数时，计算所述第二区域中第k个像素点的深度，与第k个所述第三像素点的深度的线性加权和，得到第k个第五像素点的深度，其中，所述第五像素点为所述目标深度图中与所述第二区域的像素点位置对应的像素点，M表示所述第二区域中的像素点的总数量。

其中，在稀疏深度图中，像素点的深度为第一预设值表示缺少该像素点的深度，即在获取稀疏深度图的过程中，该像素点的视差的置信度较低，因此，并未根据该像素点的视差计算深度，而是直接设置该像素点的深度为第一预设值。亦即，本申请实施例中，采用第一预设值标记缺少深度的像素点。

因此，稀疏深度图中，第一区域内的像素点的深度为第一预设值，表示第一区域内的像素点缺少深度，从而可以将稠密深度图中，与第一区域位置对应的区域内的像素点的深度赋值给第一区域内的相应像素点。

另外，第二区域中的像素点的深度，与该像素点在稠密深度图中位置对应的像素点的深度之差的绝对值大于第二预设阈值，表示第二区域与稠密深度图中与第二区域位置对应的区域上的像素点的深度相差较大，亦即稀疏深度图和稠密深度图中存在深度相差较大的区域，对于此种区域，本申请实施例中，将稀疏深度图和稠密深度图中的深度进行融合。

具体地，本申请实施例中，在根据稠密深度图调整稀疏深度图的深度时，可以统计稀疏深度图，深度为-1值的，若深度为-1值区域大于一定范围，则认为该区域可能是稀疏纹理或者暗光区域。认为该场景稀疏深度缺失。则将该区域位置像素标记为1，即标记为1的像素点组成上述所述的第一区域。

并且，还可以稀疏深度图和稠密深度图中对应位置的像素点的深度相减，获得绝对值，当绝对值大于第二预设阈值时，将该像素点标记为2，即标记为2的像素点组成上述所述的第二区域。

进而，对于标记为1的像素点：将稀疏深度图中标记为1的像素的深度，利用稠密深度图深度中对应位置的像素点的深度代替，即将稠密深度图的相应深度填充到稀疏深度图标记为1的区域。

对于标记为2的像素点：将采用线性加权将稀疏深度图中标记为2的像素点的深度，与稠密深度图中对应位置上的像素点的深度进行融合，例如dfusion_k＝d1_k*a+d2_k*(a-1)，其中，d1_k表示稀疏深度图中的第k个标记为2的像素点的深度，d2_k表示稠密深度图中第k个标记为2像素点的深度，a为预先确定的处于0至1之间的常量，dfusion_k表示稀疏深度图中第k个标记为2的像素点融合后的深度。

可选的，所述获取所述稀疏深度图中的第一区域和第二区域之前，所述根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，还包括：

确定所述稀疏深度图的第一连通区域和所述稠密深度图的第二连通区域；

在i为1至N中的每一个整数时，获取第i个第一连通区域与每一个第一目标区域的重叠区域中面积最大的区域，并确定为第i个候选区域，N为所述第一连通区域的数量，所述第一目标区域为所述稠密深度图中与所述第二连通区域位置对应的区域；

获取所述稀疏深度图中第i个候选区域内的像素点的深度的第一平均值，以及所述稠密深度图中第i个第二目标区域内的像素点的深度的第二平均值，其中，第i个第二目标区域为所述稠密深度图中与第i个候选区域位置对应的区域；

计算所述第一平均值和所述第二平均值的比值，并确定为第i个目标参数；

分别将所述稀疏深度图中处于第i个候选区域内的像素点的深度，除以第i个目标参数，得到所述稀疏深度图中第i个候选区域内的像素点调整后的深度；

采用插值法，根据所述稀疏深度图中处于各个候选区域内的像素点调整后的深度，调整所述稀疏深度图中处于所述候选区域之外的像素点的深度。

例如稀疏深度图中存在L1、L2、L3三个连通区域，稠密深度图中存在L4、L5、L6三个连通区域，则本申请实施例中，需要确定L4在稀疏深度图中位置对应的区域，分别与L1、L2、L3的重叠区域，若存在C1、C2两个重叠区域，则选出其中面积最大(即像素数量最多)的区域作为第一个候选区域；同理，需要确定L5在稀疏深度图中位置对应的区域，分别与L1、L2、L3的重叠区域，若存在C3一个重叠区域，则该区域即为第二个候选区域；同理，需要确定L6在稠密深度图中位置对应的区域，分别与L1、L2、L3的重叠区域，若存在C4、C5两个重叠区域，则选出其中面积最大(即像素数量最多)的区域作为第三个候选区域。

获得第一至三个候选区域之后，则针对每一个候选区域，需要分别计算稀疏深度图中候选区域内的像素点的深度的第一平均值，以及该候选区域在稠密深度图中对应位置的区域内的像素点的深度的第二平均值，并计算第一平均值与第二平均值的比例，以作为目标参数。

例如获得的目标参数为S1、S2、S3，其中，S1与第一个候选区域对应，S2与第二个候选区域对应，S3与第三个候选区域。则对于稀疏深度图中属于第一个候选区域内的每一个像素点，将其深度除以S1；对于稀疏深度图中属于第二个候选区域内的每一个像素点，将其深度除以S2；对于稀疏深度图中属于第三个候选区域内的每一个像素点，将其深度除以S3，完成根据目标参数调整稀疏深度图中处于候选区域内的像素点深度的过程。这样，可以得到一个深度调整关系表，即调整前的深度与调整后的深度的对应关系表。

此后，可以依据该对应关系表，采用插值法调整稀疏深度图中处于候选区域之外的像素点的深度。例如处于候选区域之外的某个像素点调整前的深度为1.2米，而关系表中存在1米(调整前)和0.8米(调整后)的对应关系，以及2米(调整前)和1.5米(调整后)的对应关系，而1.2米处于1米和2米之间，则可以在0.8米和1.5米之间选择一个数值，作为该像素点调整后的深度。

可选的，所述根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图之后，所述方法还包括：

获取所述稠密深度图的第二连通区域；

在j取1至L中的每一个整数时，计算第j个第二连通区域的像素点的平均值，以及与第j个第三目标区域的像素点的深度的平均值，其中，第j个第三目标区域为所述稀疏深度图中与第j个第二连通区域位置对应的区域；

计算第j个第二连通区域的像素点的平均值，与第j个第三目标区域的像素点的平均值的差值的绝对值，以作为第j个第三目标区域的第一参数；

获取第一参数大于或等于第三预设阈值的第三目标区域，以作为第四目标区域；

过滤所述目标深度图中与所述第四目标区域中的像素点位置对应的像素点。

例如稠密深度图中存在L4、L5、L6三个连通区域，则需要确定分别L4、L5、L6在稀疏深度图中位置对应的区域，例如为L7、L8、L9，然后，计算L4内的像素点的深度的平均值与L6内的像素点的深度的平均值之差的绝对值，以作为L7的第一参数；同理，可以获得L8和L9的第一参数；然后，可以选出第一参数大于或等于第三预设阈值的区域，并将该区域在目标深度图中位置对应的区域内的像素点过滤掉。

其中，上述获得的第四目标区域的第一参数大于或等于第三预设阈值，表示稀疏深度图中这些区域的像素点的深度不正确，因此，需要过滤掉，从而可以使得最后获得的目标深度图的准确性更高，进而可以进一步提升虚化效果。

可选的，所述根据所述目标深度图，对目标图像进行虚化处理之前，所述方法还包括：

对所述目标深度图进行深度滤波处理。

其中，可以结合双摄像头(即第一摄像头和第二摄像头)捕捉的图像的RGB值，对目标深度图进行深度滤波。例如拍摄的是人像的图像，则可以将人像的分割图，作为深度滤波中稠密生长的约束。

另外，所述深度滤波例如可以为导向保边滤波。其中，导向保边滤波是指在滤波过程中能够有效的保留图像中的边缘信息的一类特殊滤波器。

可选的，所述根据所述目标深度图，对目标图像进行虚化处理，包括：

对所述目标深度图进行深度分割，得到清晰区域的深度范围；

根据所述清晰区域的深度范围，确定前景区域和背景区域；

根据所述目标深度图，分别计算所述前景区域的各个像素点的虚化半径以及所述背景区域的各个像素点的虚化半径，得到虚化半径图；

根据所述虚化半径图，对所述目标图像进行虚化处理。

其中，可以首先确定图像上对焦点的位置，然后获得目标深度图中对焦点位置的深度值，进而通过查找焦点深度值表得到清晰区域的深度范围，例如可以采用[near,far]表示，near表示清晰区域深度范围的下限值，far表示清晰区域深度范围的上限值。其中，焦点深度值表是通过模拟单反的光圈得到的不同距离下的景深范围对应表。

另外，在目标深度图中，深度小于near的像素点组成的区域属于前景区域；深度大于far的像素点组成的区域属于背景区域。

此外，前景区域的像素点的虚化半径＝(near-d)*max_bokeh_r/background_length；背景区域的像素点的虚化半径＝(d-far)*max_bokeh_r/foreground_length；其中，d表示目标深度图中像素点的深度，max_bokeh_r表示选择的光圈(如F2.0)对应的最大虚化半径，background_length表示背景虚化距离，background_length＝near–mindist，foreground_length表示前景虚化距离foreground_length＝maxdist-far，mindist表示目标深度图中的最小深度，maxdist是目标深度图中的最大深度。

由此可知，本申请实施例中，虚化半径由像素点的深度d，清晰区域的深度范围[near,far]和光圈大小、前景虚化距离、背景虚化距离决定。其中，虚化半径是虚化或模糊图像的圆的半径，虚化半径越小，模糊程度越轻，虚化半径越大，模糊程度越重。

此外，可以采用圆形滤波器根据前述虚化半径图对目标图像进行虚化处理。

可选的，所述获取所述拍摄场景的图像的稠密深度图之前，所述方法还包括：

将所述时间传感器的图像坐标系，转换至所述第一摄像头或所述第二摄像头的图像坐标系下，其中，所述第一图像和所述第二图像的坐标系相同。

其中，由于tof传感器与第一摄像头和第二摄像头的视场角(FOV)大小不同，且设置位置不同，以及tof传感器捕捉的图像继续稠密化需要RGB图像引导，所以将tof传感器配准到第一摄像头或者第二摄像头的图像坐标系下，以便于获取稠密深度图，以及根据稠密深度图调整稀疏深度图的像素点的深度。

综上所述，本申请实施例的图像处理方法的具体实施方式可如图4所示。其中，该图像处理方法应用于电子设备，该电子设备上设置有处于同一平面的第一摄像头、第二摄像头和tof传感器。该具体包括如下所述的步骤401至410。

步骤401：调整第一摄像头和第二摄像头的成像平面处于同一平面；

步骤402：分别获取第一摄像头、第二摄像头、tof传感器同时捕捉的同一拍摄场景的图像；

步骤403：根据第一摄像头捕捉的第一图像和第二摄像头捕捉的第二图像，确定第一摄像头和第二摄像头的稀疏深度图，其中，在稀疏深度图中置信度小于第一预设阈值的像素点的深度为第一预设值，另外，具体获取稀疏深度图的过程请参见前文所述，此处不再赘述；

步骤404：将tof传感器的图像坐标，转换至所述第一摄像头或所述第二摄像头的图像坐标系下，其中，所述第一图像和所述第二图像的坐标系相同；

步骤405：获取tof传感器捕捉的拍摄场景的图像的稠密深度图；

步骤406：稀疏深度图和稠密深度图进行重叠计算，即确定稀疏深度图的第一连通区域和稠密深度图的第二连通区域，从而在i为1至N中的每一个整数时，获取第i个第一连通区域与每一个第一目标区域的重叠区域中面积最大的区域，并确定为第i个候选区域，N为第一连通区域的数量，第一目标区域为稠密深度图中与第二连通区域位置对应的区域；

步骤407：拉升比例计算，即在i为1至N中的每一个整数时，获取稀疏深度图中第i个候选区域内的像素点的深度的第一平均值，以及稠密深度图中第i个第二目标区域内的像素点的深度的第二平均值，从而计算第一平均值和第二平均值的比值，并确定为第i个目标参数，其中，第i个第二目标区域为稠密深度图中与第i个候选区域位置对应的区域；

步骤408：拉升稀疏深度图的深度，即在i为1至N中的每一个整数时，分别将稀疏深度图中处于第i个候选区域内的像素点的深度，除以第i个目标参数，得到稀疏深度图中第i个候选区域内的像素点调整后的深度，从而采用插值法，根据稀疏深度图中处于各个候选区域内的像素点调整后的深度，调整稀疏深度图中处于所述候选区域之外的像素点的深度；

步骤409：确定稀疏深度图中待融合区域，即获取稀疏深度图中的第一区域和第二区域，其中，第一区域的像素点的深度为第一预设值，第二区域的像素点的深度与第三像素点的深度之差的绝对值大于或等于第二预设阈值，第三像素点为所述稠密深度图中与第二区域的像素点位置对应的像素点；

步骤410：针对待融合区域，对稀疏深度图和稠密深度图进行融合，得到目标深度图，即将稀疏深度图中的第一区域的像素点的深度，设置为第四像素点的深度，其中，第四像素点为稠密深度图中与第一区域的像素点位置对应的像素点；并在k取1至M中的每一个整数时，计算第二区域中第k个像素点的深度，与第k个第三像素点的深度的线性加权和，得到第k个第五像素点的深度，其中，第五像素点为目标深度图中与第二区域的像素点位置对应的像素点，M表示第二区域中的像素点的总数量；

步骤411：过滤目标深度图中的错误深度，即在j取1至L中的每一个整数时，计算第j个第二连通区域的像素点的平均值，以及与第j个第三目标区域的像素点的深度的平均值，从而计算第j个第二连通区域的像素点的平均值，与第j个第三目标区域的像素点的平均值的差值的绝对值，以作为第j个第三目标区域的第一参数，进而获取第一参数大于或等于第三预设阈值的第三目标区域，以作为第四目标区域，过滤目标深度图中与第四目标区域中的像素点位置对应的像素点，其中，第j个第三目标区域为稀疏深度图中与第j个第二连通区域位置对应的区域；

步骤412：对目标深度图进行深度滤波处理；

步骤413：根据滤波处理后的目标深度图，对第一图像或者第二图像进行虚化处理，即对目标深度图进行深度分割，得到清晰区域的深度范围，从而根据清晰区域的深度范围，确定前景区域和背景区域，并根据目标深度图，分别计算前景区域的各个像素点的虚化半径以及背景区域的各个像素点的虚化半径，得到虚化半径图，进而所述虚化半径图，对第一图像或者第二图像进行虚化处理。其中，具体计算虚化半径的方法请参见前文所述，此处不再赘述。

由上述可知，本申请实施例，能够根据时间飞行传感器捕捉的拍摄场景的图像的稠密深度图，调整双摄像头(即第一摄像头和第二摄像头)的稀疏深度图，从而可以获得更加准确的深度计算，即可以改善双摄像头在稀疏纹理、重复纹理、暗光、遮挡这些区域处理弱的问题，进而可以改善漏虚化或误虚化的问题，提升虚化效果。

其中，本申请的实施例，也可以用于实现不同的虚化策略，例如在人距离摄像头比较远的情况下，人像和背景区分不明显，则可以采用本申请实施例的虚化方法，对背景区域采用弱虚化强度进行虚化。

此外，需要说明的是，在本文中，一个图像中的某个区域在另一个图像中位置对应的区域，即为一个图像的某个区域映射至另一个图像中的区域。

本申请实施例提供的虚化方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

本申请实施例还提供了一种图像处理装置，如图5所示，该图像处理装置可以包括以下模块：

图像获取模块501，用于获取第一图像和第二图像，其中，所述第一图像和所述第二图像为电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的两幅图像；

稀疏深度图获取模块502，用于根据所述第一图像和所述第二图像，确定所述第一摄像头和所述第二摄像头的稀疏深度图；

稠密深度图获取模块503，用于获取所述拍摄场景的图像的稠密深度图；

深度调整模块504，用于根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图；

虚化处理模块505，用于根据所述目标深度图，对目标图像进行虚化处理，其中，所述目标图像为所述第一图像和所述第二图像中的其中一个。

可选的，所述装置还包括：

成像平面调整模块，用于调整所述第一摄像头和所述第二摄像头的成像平面处于同一平面。

可选的，所述稠密深度图获取模块503具体用于：

采用快速双边求解器算法，对飞行时间传感器捕捉的所述拍摄场景的图像进行稠密化，获得所述稠密深度图。

可选的，所述稀疏深度图获取模块502包括：

参考图获取子模块，用于根据所述第一图像和所述第二图像，获取所述第一摄像头和所述第二摄像头的视差图和所述视差图的置信度图；

稀疏深度图获取子模块，用于根据所述视差图和所述视差图的置信度图，获取所述稀疏深度图。

可选的，所述稀疏深度图获取子模块具体用于：

根据所述置信度图，获取所述视差图中置信度小于第一预设阈值的第一像素点，并将所述第一像素点的深度设置为第一预设值；

根据双目三角化原理以及第二像素点的视差，确定所述第二像素点的深度，其中，所述第二像素点为所述视差图中除所述第一像素点之外的像素点；

根据所述第一像素点的深度和所述第二像素点的深度，获得所述稀疏深度图。

可选的，所述深度调整模块504包括：

第一区域获取子模块，用于获取所述稀疏深度图中的第一区域和第二区域，其中，所述第一区域的像素点的深度为第一预设值，所述第二区域的像素点的深度与第三像素点的深度之差的绝对值大于或等于第二预设阈值，所述第三像素点为所述稠密深度图中与所述第二区域的像素点位置对应的像素点；

第一调整子模块，用于将所述稀疏深度图中的所述第一区域的像素点的深度，设置为第四像素点的深度，其中，所述第四像素点为所述稠密深度图中与所述第一区域的像素点位置对应的像素点；

第二调整子模块，用于在k取1至M中的每一个整数时，计算所述第二区域中第k个像素点的深度，与第k个所述第三像素点的深度的线性加权和，得到第k个第五像素点的深度，其中，所述第五像素点为所述目标深度图中与所述第二区域的像素点位置对应的像素点，M表示所述第二区域中的像素点的总数量。

可选的，所述深度调整模块504还包括：

第二区域获取子模块，用于确定所述稀疏深度图的第一连通区域和所述稠密深度图的第二连通区域；

第三区域获取子模块，用于在i为1至N中的每一个整数时，获取第i个第一连通区域与每一个第一目标区域的重叠区域中面积最大的区域，并确定为第i个候选区域，N为所述第一连通区域的数量，所述第一目标区域为所述稠密深度图中与所述第二连通区域位置对应的区域；

第一计算子模块，用于获取所述稀疏深度图中第i个候选区域内的像素点的深度的第一平均值，以及所述稠密深度图中第i个第二目标区域内的像素点的深度的第二平均值，其中，第i个第二目标区域为所述稠密深度图中与第i个候选区域位置对应的区域；

第二计算子模块，用于计算所述第一平均值和所述第二平均值的比值，并确定为第i个目标参数；

第三调整子模块，用于分别将所述稀疏深度图中处于第i个候选区域内的像素点的深度，除以第i个目标参数，得到所述稀疏深度图中第i个候选区域内的像素点调整后的深度；

第四调整子模块，用于采用插值法，根据所述稀疏深度图中处于各个候选区域内的像素点调整后的深度，调整所述稀疏深度图中处于所述候选区域之外的像素点的深度。

可选的，所述装置还包括第一过滤模块，用于：

获取所述稠密深度图的第二连通区域；

在j取1至L中的每一个整数时，计算第j个第二连通区域的像素点的平均值，以及与第j个第三目标区域的像素点的深度的平均值，其中，第j个第三目标区域为所述稀疏深度图中与第j个第二连通区域位置对应的区域；

计算第j个第二连通区域的像素点的平均值，与第j个第三目标区域的像素点的平均值的差值的绝对值，以作为第j个第三目标区域的第一参数；

获取第一参数大于或等于第三预设阈值的第三目标区域，以作为第四目标区域；

过滤所述目标深度图中与所述第四目标区域中的像素点位置对应的像素点。

可选的，所述装置还包括：

第二过滤模块，用于对所述目标深度图进行深度滤波处理。

可选的，所述虚化处理模块505具体用于：

对所述目标深度图进行深度分割，得到清晰区域的深度范围；

根据所述清晰区域的深度范围，确定前景区域和背景区域；

根据所述目标深度图，分别计算所述前景区域的各个像素点的虚化半径以及所述背景区域的各个像素点的虚化半径，得到虚化半径图；

根据所述虚化半径图，对所述目标图像进行虚化处理。

可选的，所述装置还包括：

坐标转换模块，用于将所述时间传感器的图像坐标系，转换至所述第一摄像头或所述第二摄像头的图像坐标系下，其中，所述第一图像和所述第二图像的坐标系相同。

由上述可知，在本申请实施例中，能够获取电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的第一图像和第二图像，并根据第一图像和第二图像，确定第一摄像头和第二摄像头的稀疏深度图，并且还可以获取该拍摄场景的图像的稠密深度图，从而根据稠密深度图，调整稀疏深度图中像素点的深度，获得目标深度图，进而根据目标深度图对第一图像和第二图像中的其中一个进行虚化处理。

由此可知，本申请实施例中，能够根据拍摄场景的图像的稠密深度图，调整双摄像头(即第一摄像头和第二摄像头)的稀疏深度图，从而可以获得更加准确的深度计算，即可以改善双摄像头在稀疏纹理、重复纹理、暗光、遮挡这些区域处理弱的问题，进而可以改善漏虚化或误虚化的问题，提升虚化效果。

本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601，存储器602，存储在存储器602上并可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图7为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。

本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器710逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，在本申请实施例中，上述传感器705包括第一摄像头、第二摄像图和飞行时间传感器。

另外，处理器710用于执行如下过程：

获取第一图像和第二图像，其中，所述第一图像和所述第二图像为电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的两幅图像；

根据所述第一图像和所述第二图像，确定所述第一摄像头和所述第二摄像头的稀疏深度图；

获取所述拍摄场景的图像的稠密深度图；

根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图；

根据所述目标深度图，对目标图像进行虚化处理，其中，所述目标图像为所述第一图像和所述第二图像中的其中一个。

由上述可知，在本申请实施例中，能够获取电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的第一图像和第二图像，并根据第一图像和第二图像，确定第一摄像头和第二摄像头的稀疏深度图，并且还可以获取该拍摄场景的图像的稠密深度图，从而根据稠密深度图，调整稀疏深度图中像素点的深度，获得目标深度图，进而根据目标深度图对第一图像和第二图像中的其中一个进行虚化处理。

由此可知，本申请实施例中，能够根据拍摄场景的图像的稠密深度图，调整双摄像头(即第一摄像头和第二摄像头)的稀疏深度图，从而可以获得更加准确的深度计算，即可以改善双摄像头在稀疏纹理、重复纹理、暗光、遮挡这些区域处理弱的问题，进而可以改善漏虚化或误虚化的问题，提升虚化效果。

可选的，处理器710在获取第一图像和所述第二图像之前，还用于：

调整所述第一摄像头和所述第二摄像头的成像平面处于同一平面。

可选的，处理器710在获取所述拍摄场景的图像的稠密深度图时，具体用于：

采用快速双边求解器算法，对飞行时间传感器捕捉的所述拍摄场景的图像进行稠密化，获得所述稠密深度图。

可选的，处理器710在根据所述第一图像和所述第二图像，确定所述第一摄像头和所述第二摄像头的稀疏深度图时，具体用于：

根据所述第一图像和所述第二图像，获取所述第一摄像头和所述第二摄像头的视差图和所述视差图的置信度图；

根据所述视差图和所述视差图的置信度图，获取所述稀疏深度图。

可选的，处理器710在根据所述视差图和所述视差图的置信度图，获取所述稀疏深度图时，具体用于：

根据所述置信度图，获取所述视差图中置信度小于第一预设阈值的第一像素点，并将所述第一像素点的深度设置为第一预设值；

根据双目三角化原理以及第二像素点的视差，确定所述第二像素点的深度，其中，所述第二像素点为所述视差图中除所述第一像素点之外的像素点；

根据所述第一像素点的深度和所述第二像素点的深度，获得所述稀疏深度图。

可选的，处理器710在根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图时，具体用于：

获取所述稀疏深度图中的第一区域和第二区域，其中，所述第一区域的像素点的深度为第一预设值，所述第二区域的像素点的深度与第三像素点的深度之差的绝对值大于或等于第二预设阈值，所述第三像素点为所述稠密深度图中与所述第二区域的像素点位置对应的像素点；

将所述稀疏深度图中的所述第一区域的像素点的深度，设置为第四像素点的深度，其中，所述第四像素点为所述稠密深度图中与所述第一区域的像素点位置对应的像素点；

在k取7至M中的每一个整数时，计算所述第二区域中第k个像素点的深度，与第k个所述第三像素点的深度的线性加权和，得到第k个第五像素点的深度，其中，所述第五像素点为所述目标深度图中与所述第二区域的像素点位置对应的像素点，M表示所述第二区域中的像素点的总数量。

可选的，处理器710在根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度时，还用于：

确定所述稀疏深度图的第一连通区域和所述稠密深度图的第二连通区域；

在i为7至N中的每一个整数时，获取第i个第一连通区域与每一个第一目标区域的重叠区域中面积最大的区域，并确定为第i个候选区域，N为所述第一连通区域的数量，所述第一目标区域为所述稠密深度图中与所述第二连通区域位置对应的区域；

获取所述稀疏深度图中第i个候选区域内的像素点的深度的第一平均值，以及所述稠密深度图中第i个第二目标区域内的像素点的深度的第二平均值，其中，第i个第二目标区域为所述稠密深度图中与第i个候选区域位置对应的区域；

计算所述第一平均值和所述第二平均值的比值，并确定为第i个目标参数；

分别将所述稀疏深度图中处于第i个候选区域内的像素点的深度，除以第i个目标参数，得到所述稀疏深度图中第i个候选区域内的像素点调整后的深度；

采用插值法，根据所述稀疏深度图中处于各个候选区域内的像素点调整后的深度，调整所述稀疏深度图中处于所述候选区域之外的像素点的深度。

可选的，处理器710在根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图之后，还用于：

获取所述稠密深度图的第二连通区域；

在j取7至L中的每一个整数时，计算第j个第二连通区域的像素点的平均值，以及与第j个第三目标区域的像素点的深度的平均值，其中，第j个第三目标区域为所述稀疏深度图中与第j个第二连通区域位置对应的区域；

计算第j个第二连通区域的像素点的平均值，与第j个第三目标区域的像素点的平均值的差值的绝对值，以作为第j个第三目标区域的第一参数；

获取第一参数大于或等于第三预设阈值的第三目标区域，以作为第四目标区域；

过滤所述目标深度图中与所述第四目标区域中的像素点位置对应的像素点。

可选的，处理器根据所述目标深度图，对目标图像进行虚化处理之前，还用于：

对所述目标深度图进行深度滤波处理。

可选的，处理器710在根据所述目标深度图，对目标图像进行虚化处理时，具体用于：

对所述目标深度图进行深度分割，得到清晰区域的深度范围；

根据所述清晰区域的深度范围，确定前景区域和背景区域；

根据所述目标深度图，分别计算所述前景区域的各个像素点的虚化半径以及所述背景区域的各个像素点的虚化半径，得到虚化半径图；

根据所述虚化半径图，对所述目标图像进行虚化处理。

可选的，处理器710在获取所述拍摄场景的图像的稠密深度图之前，还用于：

将所述时间传感器的图像坐标系，转换至所述第一摄像头或所述第二摄像头的图像坐标系下，其中，所述第一图像和所述第二图像的坐标系相同。

应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。

处理器710可包括一个或多个处理单元；可选的，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一图像和第二图像，其中，所述第一图像和所述第二图像为电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的两幅图像；

根据所述第一图像和所述第二图像，确定所述第一摄像头和所述第二摄像头的稀疏深度图；

获取所述拍摄场景的图像的稠密深度图；

根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图；

根据所述目标深度图，对目标图像进行虚化处理，其中，所述目标图像为所述第一图像和所述第二图像中的其中一个。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和所述第二图像，确定所述第一摄像头和所述第二摄像头的稀疏深度图，包括：

根据所述第一图像和所述第二图像，获取所述第一摄像头和所述第二摄像头的视差图和所述视差图的置信度图；

根据所述视差图和所述视差图的置信度图，获取所述稀疏深度图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述视差图和所述视差图的置信度图，获取所述稀疏深度图，包括：

根据所述置信度图，获取所述视差图中置信度小于第一预设阈值的第一像素点，并将所述第一像素点的深度设置为第一预设值；

根据双目三角化原理以及第二像素点的视差，确定所述第二像素点的深度，其中，所述第二像素点为所述视差图中除所述第一像素点之外的像素点；

根据所述第一像素点的深度和所述第二像素点的深度，获得所述稀疏深度图。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图，包括：

获取所述稀疏深度图中的第一区域和第二区域，其中，所述第一区域的像素点的深度为第一预设值，所述第二区域的像素点的深度与第三像素点的深度之差的绝对值大于或等于第二预设阈值，所述第三像素点为所述稠密深度图中与所述第二区域的像素点位置对应的像素点；

将所述稀疏深度图中的所述第一区域的像素点的深度，设置为第四像素点的深度，其中，所述第四像素点为所述稠密深度图中与所述第一区域的像素点位置对应的像素点；

在k取1至M中的每一个整数时，计算所述第二区域中第k个像素点的深度，与第k个所述第三像素点的深度的线性加权和，得到第k个第五像素点的深度，其中，所述第五像素点为所述目标深度图中与所述第二区域的像素点位置对应的像素点，M表示所述第二区域中的像素点的总数量。

5.根据权利要求4所述的方法，其特征在于，所述获取所述稀疏深度图中的第一区域和第二区域之前，所述根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，还包括：

确定所述稀疏深度图的第一连通区域和所述稠密深度图的第二连通区域；

在i为1至N中的每一个整数时，获取第i个第一连通区域与每一个第一目标区域的重叠区域中面积最大的区域，并确定为第i个候选区域，N为所述第一连通区域的数量，所述第一目标区域为所述稠密深度图中与所述第二连通区域位置对应的区域；

获取所述稀疏深度图中第i个候选区域内的像素点的深度的第一平均值，以及所述稠密深度图中第i个第二目标区域内的像素点的深度的第二平均值，其中，第i个第二目标区域为所述稠密深度图中与第i个候选区域位置对应的区域；

计算所述第一平均值和所述第二平均值的比值，并确定为第i个目标参数；

分别将所述稀疏深度图中处于第i个候选区域内的像素点的深度，除以第i个目标参数，得到所述稀疏深度图中第i个候选区域内的像素点调整后的深度；

采用插值法，根据所述稀疏深度图中处于各个候选区域内的像素点调整后的深度，调整所述稀疏深度图中处于所述候选区域之外的像素点的深度。

6.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图之后，所述方法还包括：

获取所述稠密深度图的第二连通区域；

在j取1至L中的每一个整数时，计算第j个第二连通区域的像素点的平均值，以及与第j个第三目标区域的像素点的深度的平均值，其中，第j个第三目标区域为所述稀疏深度图中与第j个第二连通区域位置对应的区域；

计算第j个第二连通区域的像素点的平均值，与第j个第三目标区域的像素点的平均值的差值的绝对值，以作为第j个第三目标区域的第一参数；

获取第一参数大于或等于第三预设阈值的第三目标区域，以作为第四目标区域；

过滤所述目标深度图中与所述第四目标区域中的像素点位置对应的像素点。

7.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取第一图像和第二图像，其中，所述第一图像和所述第二图像为电子设备的第一摄像头和第二摄像头捕捉的同一拍摄场景的两幅图像；

稀疏深度图获取模块，用于根据所述第一图像和所述第二图像，确定所述第一摄像头和所述第二摄像头的稀疏深度图；

稠密深度图获取模块，用于获取所述拍摄场景的图像的稠密深度图；

深度调整模块，用于根据所述稠密深度图，调整所述稀疏深度图中的像素点的深度，得到目标深度图；

虚化处理模块，用于根据所述目标深度图，对目标图像进行虚化处理，其中，所述目标图像为所述第一图像和所述第二图像中的其中一个。

8.根据权利要求7所述的装置，其特征在于，所述稀疏深度图获取模块包括：

参考图获取子模块，用于根据所述第一图像和所述第二图像，获取所述第一摄像头和所述第二摄像头的视差图和所述视差图的置信度图；

稀疏深度图获取子模块，用于根据所述视差图和所述视差图的置信度图，获取所述稀疏深度图。

9.根据权利要求8所述的装置，其特征在于，所述稀疏深度图获取子模块具体用于：

根据所述置信度图，获取所述视差图中置信度小于第一预设阈值的第一像素点，并将所述第一像素点的深度设置为第一预设值；

根据双目三角化原理以及第二像素点的视差，确定所述第二像素点的深度，其中，所述第二像素点为所述视差图中除所述第一像素点之外的像素点；

根据所述第一像素点的深度和所述第二像素点的深度，获得所述稀疏深度图。

10.根据权利要求7至9中任一项所述的装置，其特征在于，所述深度调整模块包括：

第一区域获取子模块，用于获取所述稀疏深度图中的第一区域和第二区域，其中，所述第一区域的像素点的深度为第一预设值，所述第二区域的像素点的深度与第三像素点的深度之差的绝对值大于或等于第二预设阈值，所述第三像素点为所述稠密深度图中与所述第二区域的像素点位置对应的像素点；

第一调整子模块，用于将所述稀疏深度图中的所述第一区域的像素点的深度，设置为第四像素点的深度，其中，所述第四像素点为所述稠密深度图中与所述第一区域的像素点位置对应的像素点；

第二调整子模块，用于在k取1至M中的每一个整数时，计算所述第二区域中第k个像素点的深度，与第k个所述第三像素点的深度的线性加权和，得到第k个第五像素点的深度，其中，所述第五像素点为所述目标深度图中与所述第二区域的像素点位置对应的像素点，M表示所述第二区域中的像素点的总数量。

11.根据权利要求10所述的装置，其特征在于，所述深度调整模块还包括：

第二区域获取子模块，用于确定所述稀疏深度图的第一连通区域和所述稠密深度图的第二连通区域；

第三区域获取子模块，用于在i为1至N中的每一个整数时，获取第i个第一连通区域与每一个第一目标区域的重叠区域中面积最大的区域，并确定为第i个候选区域，N为所述第一连通区域的数量，所述第一目标区域为所述稠密深度图中与所述第二连通区域位置对应的区域；

第一计算子模块，用于获取所述稀疏深度图中第i个候选区域内的像素点的深度的第一平均值，以及所述稠密深度图中第i个第二目标区域内的像素点的深度的第二平均值，其中，第i个第二目标区域为所述稠密深度图中与第i个候选区域位置对应的区域；

第二计算子模块，用于计算所述第一平均值和所述第二平均值的比值，并确定为第i个目标参数；

第三调整子模块，用于分别将所述稀疏深度图中处于第i个候选区域内的像素点的深度，除以第i个目标参数，得到所述稀疏深度图中第i个候选区域内的像素点调整后的深度；

第四调整子模块，用于采用插值法，根据所述稀疏深度图中处于各个候选区域内的像素点调整后的深度，调整所述稀疏深度图中处于所述候选区域之外的像素点的深度。

12.根据权利要求7至9中任一项所述的装置，其特征在于，所述装置还包括第一过滤模块，用于：

获取所述稠密深度图的第二连通区域；

在j取1至L中的每一个整数时，计算第j个第二连通区域的像素点的平均值，以及与第j个第三目标区域的像素点的深度的平均值，其中，第j个第三目标区域为所述稀疏深度图中与第j个第二连通区域位置对应的区域；

计算第j个第二连通区域的像素点的平均值，与第j个第三目标区域的像素点的平均值的差值的绝对值，以作为第j个第三目标区域的第一参数；

获取第一参数大于或等于第三预设阈值的第三目标区域，以作为第四目标区域；

过滤所述目标深度图中与所述第四目标区域中的像素点位置对应的像素点。

Images