CN117058183A - 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种基于双摄像头的图像处理方法、装置、电子设备及存储介质；所述方法包括：获取主摄像头采集的第一待处理图像，获取副摄像头采集的第二待处理图像，所述主摄像头的视场角大于所述副摄像头的视场角；根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像；根据所述第一待处理图像得到单目深度图像；使用所述单目深度图像的深度信息,对所述双目深度图像进行深度信息补偿得到目标深度图像；根据所述目标深度图像，对所述第一待处理图像进行虚化处理得到目标图像。通过实施该方法，能够在副摄像头的视场角小于主摄像头的视场角的情况下，得到质量符合虚化要求的目标深度图像，进而提高了背景虚化图像的虚化效果。

Description

一种基于双摄像头的图像处理方法、装置、电子设备及存储 介质

技术领域

本申请涉及图像处理领域，尤其涉及一种基于双摄像头的图像处理方法、装置、电子设备及存储介质。

背景技术

在图像处理领域，背景虚化是指，通过计算空间中同一个物体在两个摄像镜头成像的视差得到深度图分离出图像的主体和背景，在保持图像中主体清晰的同时，将背景部分模糊处理，通过此类技术，会使图像的主体部分会突出，主观上美感更强烈。

现有的背景虚化方法，在使用主副双摄像头生成背景虚化图像时，，当副摄像头的参数较差时，副摄像头获取的图像质量较低，与主摄像头获取的图像质量差距较大，导致后续生成的深度图中存在过多的噪点或产生不准确的深度值。这些问题会导致生成的背景虚化图像中背景部分的模糊效果不够理想，影响到图像的整体效果。

发明内容

本申请实施例公开了一种基于双摄像头的图像处理方法、装置、电子设备及存储介质，能够在使用参数较差的副摄镜头，且副摄像头的视场角小于主摄像头的视场角的情况下仍能生成符合虚化处理要求的深度图像，从而得到背景虚化图像。

其中，摄像头参数较差包含采集图像的视场角小、分辨率低、噪点多、明暗差异不准确等问题。例如视频图形阵列(Video Graph ics Array，VGA)摄像头，通常分辨率为640*480，相较常用的1920*1080分辨率(1080p)或更高规格的摄像头，该VGA摄像头的摄像头参数较差，成像质量较低。

为了实现上述目的，本申请实施例第一方面提供了一种基于双摄像头的图像处理方法，包括：

获取所述双摄像头的主摄像头采集的第一待处理图像，以及获取所述双摄像头的副摄像头采集的第二待处理图像，所述主摄像头的视场角大于所述副摄像头的视场角；

根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像,所述双目深度图像对应的图像采集区域与所述第二待处理图像对应的图像采集区域相同，且所述双目深度图像对应的图像采集区域小于所述第一待处理图像对应的图像采集区域；

根据所述第一待处理图像，得到与所述第一待处理图像对应的单目深度图像；所述单目深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同；

使用所述单目深度图像的深度信息,对所述双目深度图像进行深度信息补偿，得到目标深度图像，所述目标深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同；

根据所述目标深度图像，对所述第一待处理图像进行虚化处理，得到目标图像。

在一些实施例中，使用所述单目深度图像的深度信息,对所述双目深度图像进行深度信息补偿，得到目标深度图像，包括：

对所述单目深度图像对应的图像采集区域与所述双目深度图像对应的图像采集区域进行图像区域匹配，确定重叠区域；

将所述单目深度图像中所述重叠区域对应的深度信息设置为空，保留所述单目深度图像中除所述重叠区域外的深度信息，得到相差区域图像；所述相差区域图像包含所述双目深度图像相较所述单目深度图像缺失的深度信息；

根据所述相差区域图像对所述双目深度图像进行深度信息补偿，得到所述目标深度图像。

在一些实施例中，在所述根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像前，所述方法包括：

基于所述主摄像头与所述副摄像头参数差异导致的成像差异，对所述第一待处理图像与所述第二待处理图像进行一致性调整；所述一致性调整包含锐化调整、模糊调整以及亮度调整。

在一些实施例中，通过双目平行校正处理，对所述第一待处理图像与所述第二待处理图像进行旋转调整，使经过旋转调整的所述第一待处理图像与所述第二的处理图像平行对齐。

在一些实施例中，所述根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像，包括：

对所述第一待处理图像与所述第二待处理图像进行立体匹配处理得到稀疏深度图像；

对所述第一待处理图像、所述第二待处理图像以及所述稀疏深度图像进行处理得到稠密深度图像；

对所述第一待处理图像进行前景分割处理得到前景掩码图像，根据所述前景掩码图像对所述稠密深度图像的前景物体边缘进行清晰优化，进而得到所述双目深度图像。

在一些实施例中，所述对所述第一待处理图像、所述第二待处理图像以及所述稀疏深度图像进行处理得到稠密深度图像，包括：

使用光流法计算所述第一待处理图像与所述第二待处理图像之间像素点的位置变换情况，得到光流场；

通过所述光流场的像素点的位置变换情况对所述稀疏深度图像的缺失区域的未知像素点进行插值处理，从而得到所述稠密深度图像。

在一些实施例中，对所述第一图像进行前景分割处理得到前景掩码图像，根据所述前景掩码图像对所述稠密深度图像的前景边缘进行清晰优化，进而得到所述双目深度图像，包括：

根据深度学习算法对所述第一图像进行前景分割处理，提取出前景物体的边缘信息得到所述前景掩码图像；所述前景掩码图像只保留前景物体区域，其它区域设置为空；

结合前景掩码图像对所述稠密深度图像的前景物体边缘进行强化处理，突出前景物体的轮廓，进而得到所述双目深度图像。

本申请实施例第二方面提供了一种基于双摄像头的图像处理装置，包括:

采集模块，用于获取所述双摄像头的主摄像头采集的第一待处理图像，以及获取所述双摄像头的副摄像头采集的第二待处理图像，所述主摄像头的视场角大于所述副摄像头的视场角；

处理模块，用于根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像,所述双目深度图像对应的图像采集区域与所述第二待处理图像对应的图像采集区域相同，且所述双目深度图像对应的图像采集区域小于所述第一待处理图像对应的图像采集区域；根据所述第一待处理图像，得到与所述第一待处理图像对应的单目深度图像；所述单目深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同；使用所述单目深度图像的深度信息,对所述双目深度图像进行深度信息补偿，得到目标深度图像，所述目标深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同；根据所述目标深度图像，对所述第一待处理图像进行虚化处理，得到目标图像。

本申请实施例第三方面提供了一种电子设备，包括：

存储有可执行程序代码的存储器；

以及所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现本申请实施例所述的方法。

本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有可执行程序代码，所述可执行程序代码被处理器执行时，实现本申请实施例所述的方法。

本申请实施例提供的基于双摄像头的图像处理方法、装置、电子设备及存储介质，在该方法中，通过获取双摄像头中的主摄像头采集的第一待处理图像，以及获取视场角小于主摄像头对应视场角的副摄像头采集的第二待处理图像，第二待处理图像对应的图像采集区域小于第一待处理图像对应的图像采集区域。根据第一待处理图像和第二待处理图像处理得到双目深度图像，双目深度图像对应的图像采集区域与第二待处理图像对应的图像采集区域大小相同，小于第一待处理图像对应的图像采集区域。根据第一待处理图像处理得到与第一待处理图像对应的单目深度图像，单目深度图像对应的图像采集区域与第一待处理图像对应的图像采集区域大小相同，大于双目深度图像对应的图像采集区域。使用单目深度图像的深度信息,对双目深度图像中相对单目深度图像缺失的图像采集区域进行深度信息补偿，得到目标深度图像，并根据目标深度图像，对第一待处理图像进行虚化处理，得到目标图像。综上所述，本申请实施例提供的方法能够在副摄像头的视场角小于主摄像头的视场角的情况下，得到质量符合虚化要求的目标深度图像，进而提高了背景虚化图像的虚化效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于双摄像头的图像处理方法的一种背景虚化效果图示；

图2为本申请实施例提供的基于双摄像头的图像处理方法的一种流程图示；

图3为本申请实施例提供的基于双摄像头的图像处理方法中对第一待处理图像与第二待处理图像进行校正处理的示例图；

图4为本申请实施例提供的基于双摄像头的图像处理方法的另一种流程图示；

图5为本申请实施例提供的基于双摄像头的图像处理装置的一种结构示意图；

图6为本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

需要指出，本申请实施例所涉及的术语“第一\第二\第三”用以区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

在拍摄照片时，使用拍摄设备的背景虚化功能可以帮助用户在拍摄图像中保持前景主体清晰的同时模糊背景，从而更加突出前景主体的部分，并使拍摄图像在主观上具有更强的艺术感和美感。背景虚化的效果可以通过调整光圈大小、改变焦距以及根据深度信息处理等方式实现。深度信息与光圈大小和焦距不同，它需要额外的传感器或经过算法处理才能获得。使用深度信息来实现背景虚化可以更准确地识别前景主体和背景，并产生更自然的效果。对于一些拍摄设备来说，焦距和光圈的调节是通过软件实现的，因此存在一定的限制，此时，利用获取的深度信息来实现背景虚化可以获得更好的效果。

当副摄像头的参数较差时，副摄像头获取的图像质量较低，与主摄像头获取的图像质量差距较大，导致后续生成的深度图中存在过多的噪点或产生不准确的深度值。这些问题会导致生成的背景虚化图像中背景部分的模糊效果不够理想，影响到图像的整体效果。

有鉴于此，本申请实施例提供了一种基于双摄像头的图像处理方法，该方法实施过程中根据主摄像头采集的第一待处理图像与副摄像头采集的第二待处理图像得到双目深度图像。根据第一待处理图像，得到与第一待处理图像对应的单目深度图像。使用单目深度图像的深度信息,对双目深度图像进行深度信息补偿，得到目标深度图像。根据目标深度图像，对第一待处理图像进行虚化处理，得到目标图像。通过实施该方法能够在副摄像头的视场角小于主摄像头的视场角的情况下，得到质量符合虚化要求的目标深度图像，进而提高了背景虚化图像的虚化效果。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为本申请实施例提供的基于双摄像头的图像处理方法的一种背景虚化效果图示。

如图1所示，本申请实施例提供的基于双摄像头的图像处理方法是将所述双摄像头的主摄像头采集的第一待处理图像，以及所述双摄像头的副摄像头采集的第二待处理图像进行一系列处理流程得到目标背景虚化图像。所述目标虚化图像相较与主摄像采集的第一待处理图像，保持前景主体的清晰程度的同时对背景进行模糊处理，使目标背景虚化图像在主观上具有更强的美感。

其中，前景主体通常是在照片中具有主要关注点的物体，人物或元素，是被突出显示的部分。背景则是前景主体周围或后方的区域，提供环境或上下文。背景通常是相对于前景主体而言视觉上较为次要的部分，但仍然对整体照片的美感和故事产生影响。背景可以包括其他物体、景色或环境元素，在一些实施例中，会将采集图像中除前景主体外的区域都标记为背景。在进行背景虚化处理时，前景主体和背景在现实坐标系下通常表现为前景主体更接近用于采集图像的摄像装置。

在本申请实施例中，获取所述双摄像头的主摄像头采集的第一待处理图像，以及获取所述双摄像头的副摄像头采集的第二待处理图像，所述主摄像头的视场角大于所述副摄像头的视场角。

如图1所示，主摄像头采集的第一待处理图像和副摄像头采集的第二待处理图像都包含前景主体、背景物体1以及背景物体2。由于主摄像头的视场角大于副摄像头的视场角，所以主摄像头采集的第一待处理图像对应的图像采集区域大于副摄像头采集的第二待处理图对应的图像采集区域。需要说明的是，视场角(Fie ld of View，FOV)在光学工程中又称视场，通常用来描述镜头的广角或长焦程度。视场角的大小决定了光学仪器的视野范围，在相同位置拍摄同一物品，视场角大的拍摄装置可以拍摄到更多的画面内容。如图1所示，在一个实施例中，第一待处理图像包含前景主体、背景物体1以及背景物体2的全部信息。而在第二待处理图像中，由于用于采集的副摄像头的视场角较小，背景物体1和背景物体2的画面内容不完整。在相关技术中，使用第一待处理图像和第二待处理图像进行双目深度估计时得不到完整的深度信息，而本申请实施例提供的基于双摄像头的图像处理方法可以通过相应处理得到图像采集区域与第一待处理图像对应的图像采集区域大小相同的目标深度图像，从而得到目标背景虚化图像。

需要说明的是，图1仅作为对本申请实施例提供的基于双摄像头的图像处理方法的一种背景虚化效果示例，不作对本申请实施例提供的方法的限定。图1所示的背景物体1和背景物体2可以是建筑物、景观、人物、物品或其它元素，在此不作限定。需要说明的是，图1中的目标背景虚化图像除了对背景物体1和背景物体2进行虚化处理外，还会对除前景主体以外的其它区域的背景进行虚化处理。

在一些实施例中，在确定前景主体后，对背景进行虚化处理，是指图像中除前景主体外的背景进行相同程度的虚化处理。

在一些实施例中，在确定前景主体后，对背景进行虚化处理，是指根据深度信息对图像中的背景区域进行不同程度的虚化处理。通过分析图像中的深度信息，可以确定前景主体与背景之间的深度差异。这些深度差异可以用来对背景进行不同程度的虚化处理，以模拟人眼对不同距离物体的焦点调节能力，根据深度信息，背景中较远的区域会被更大程度地虚化，以使虚化处理后的图像呈现更好的效果。

下面，将对本申请实施例提供的基于双摄像头的图像处理方法进行说明。

请参阅图2，为本申请实施例提供的基于双摄像头的图像处理方法的一种流程图示，包含以下步骤：

步骤201，获取主摄像头采集的第一待处理图像，以及获取副摄像头采集的第二待处理图像。

在本申请实施例中，获取所述双摄像头的主摄像头采集的第一待处理图像，以及获取所述双摄像头的副摄像头采集的第二待处理图像，所述主摄像头的视场角大于所述副摄像头的视场角。

步骤202，根据第一待处理图像与第二待处理图像，得到双目深度图像。

在本申请实施例中，根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像,所述双目深度图像对应的图像采集区域与所述第二待处理图像对应的图像采集区域相同，且所述双目深度图像对应的图像采集区域小于所述第一待处理图像对应的图像采集区域。

在本申请实施例中，使用立体匹配算法对第一待处理图像与第二待处理图像进行处理得到双目深度图像。

在一些实施例中，为了确保得到的双目深度图像中深度信息的准确性，对第一待处理图像与第二待处理图像进行校正处理，得到校正处理后的主摄像头和副摄像头的校正图。其中，校正处理是指将主摄像头采集的第一待处理图像与副摄像头采集第二待处理图像中表示同一实体或特征的像素点在水平方向上对齐。通过对这两个图像进行平行校正，可以消除由于主摄像头与副摄像头位置不同而引起的图像畸变，同时，校正处理后的两个图像因为上述的同一实体或特征的像素点行对齐，可以减少视差计算时的复杂度和计算量，提高性能。

上述对第一待处理图像与第二待处理图像进行校正处理可以分为以下步骤：

进行相机标定，获取主副摄像头的内外参数；

分析第一待处理图像和第二待处理图像，检测图像中的特征进行匹配，查找对应点并记录像素坐标；

通过使用对应点的像素坐标，可以计算出校正图像之间的映射关系，使得相同的物体在两个图像中的像素位置在水平方向上对齐；

将校正映射应用于第一待处理图像和第二待处理图像，使校正后的图像在水平方向上对齐。

在对第一待处理图像与第二待处理图像进行平行校正后，根据校正后的两幅图像进行视差计算得到深度信息图像。视差计算是指指通过分析校正后的主摄像头和副摄像头图像之间的像素差异，来估计物体或场景中不同点的深度信息，可以分为以下步骤：

对应点匹配，在校正后的图像中找到对应点，这些对应点表示在两个图像中表示同一实体的像素位置；

视差计算，在找到两图像对应点后，计算它们之间的像素位移获得视差，视差即是对应点在水平方向上的像素距离差异，在同一组图像中，视差值越大，表示其距离摄像装置越远；

深度估计，通过主副摄头的内外参数和视差值，可以使用相似三角测量法来计算对应点的深度信息，深度信息是指物体相对于摄像装置的距离；

生成深度信息图像，计算所有对应点的深度信息后，即可得到深度信息图像。

在一些实施例中，使用上述深度信息图像作为后续步骤的双目深度图像。

在一些实施例中，由于副摄摄像头的参数较差，导致生成的深度信息图像缺失部分区域的深度信息，为确保生成的目标背景虚化图像的效果，还会对得到的深度信息图像进一步处理。

使用光流法对深度信息图像进行优化，弥补缺失的深度信息。在一些实施例中，所述对所述第一待处理图像、所述第二待处理图像以及所述稀疏深度图进行处理得到稠密深度图像，包括：

使用光流法计算所述第一待处理图像与所述第二待处理图像之间像素点的位置变换情况，得到光流场；

通过所述光流场的像素点的位置变换情况对所述稀疏深度图像的缺失区域的未知像素点进行插值处理，从而得到所述稠密深度图像。

是因为光流法利用图像序列中的像素点在时间上的位置变换来估计它们在空间中的运动。在这种情况下，使用光流法来计算第一待处理图像与第二待处理图像之间像素点的位置变换情况，获得光流场。

通过分析光流场上像素点的位置变换情况，可以推断出被深度图像缺失部分覆盖的像素点的深度信息。光流法假设相邻帧图像中的像素点在相同的物体或场景上移动，因此可以利用像素点的位置变换来推测深度信息。

在对稀疏深度图像的缺失区域进行插值处理时，使用光流法提供的像素点的位置变换情况也就是光流场，将被缺失区域覆盖的未知像素点的深度值按照一定规则进行插值，以得到稠密深度图像。通过这种方式，可以帮助弥补深度信息图像缺失部分区域的深度信息，提高生成目标背景虚化图像的效果。

在一些实施例中，为获取更准确的深度信息，使用深度学习、人工智能的方法把前景主体从采集图像分割处理以得到更清晰的前景主体边缘轮廓。实施步骤为，对所述第一图像进行前景分割处理得到前景掩码图像，根据所述前景掩码图像对所述稠密深度图像的前景边缘进行清晰优化，进而得到所述双目深度图像，包括：

根据深度学习算法对所述第一图像进行前景分割处理，提取出前景物体的边缘信息得到所述前景掩码图像；所述前景掩码图像只保留前景物体区域，其它区域设置为空；

结合前景掩码图像对所述稠密深度图像的前景物体边缘进行强化处理，突出前景物体的轮廓，进而得到所述双目深度图像。

其中，前景主体可以是人像，对人像进行前景分割处理后，能够得到清晰的人像边缘，弥补深度信息图像缺失的如人像手指细小镂空的深度信息，通过前景分割处理，可以将人像与背景进行分离，并获取人像边缘的准确位置，从而进一步完善生成目标背景虚化图像的效果，使最终的成像效果更加真实和清晰。前景主体也可以是其它实体，在此不作限定，通过前景分割处理得到对应实体的边缘。

由于根据第一待处理图像得到的前景掩码图像对应的图像采集区域大于稠密深度图像对应的图像采集区域，还需要对两幅图像根据前景主体在两图像的位置进行匹配以得到突出前景主体轮廓的双目深度图像。

步骤203，根据第一待处理图像，得到与第一待处理图像对应的单目深度图像。

在本申请实施例中，根据所述第一待处理图像，得到与所述第一待处理图像对应的单目深度图像；所述单目深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同。

在一些实施例中，利用深度学习模型，如卷积神经网络或自编码器等网络模型，通过对训练数据进行学习来预测图像中的每个像素点的深度。这些模型可以从大规模标注的深度图像数据中学习深度与图像之间的关系，并根据这种关系对新图像进行深度估计。

在一些实施例中，使用图像中的几何约束和相机参数来推断深度信息。

在一些实施例中，使用场景的先验知识或统计信息来对深度进行估计。例如，通过物体的尺寸或形状分布来估计深度。此类通常需要对特定场景或应用进行建模，并根据先验知识来进行深度估计。

需要说明的是，由于双目深度图像对应的图像采集区域小第一待处理图像对应的图像采集区域，所以需对缺失区域使用单目深度图像的深度信息进行弥补，以确保目标背景虚化图像的虚化效果。

步骤204，使用单目深度图像的深度信息,对双目深度图像进行深度信息补偿，得到目标深度图像。

在本申请实施例中，使用所述单目深度图像的深度信息,对所述双目深度图像进行深度信息补偿，得到目标深度图像，所述目标深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同。

通过步骤202得到的双目深度图像对应的图像采集区域小于通过步骤203得到的单目深度图像对应的图像采集区域，使用单目深度图像中独有的深度信息来填补双目深度图像中缺失的部分，从而得到目标深度图像。

在一些实施例中，使用所述单目深度图像的深度信息,对所述双目深度图像进行深度信息补偿，得到目标深度图像，包括：

对所述单目深度图像对应的图像采集区域与所述双目深度图像对应的图像采集区域进行图像区域匹配，确定重叠区域；

将所述单目深度图像中所述重叠区域对应的深度信息设置为空，保留所述单目深度图像中除所述重叠区域外的深度信息，得到相差区域图像；所述相差区域图像包含所述双目深度图像相较所述单目深度图像缺失的深度信息；

根据所述相差区域图像对所述双目深度图像进行深度信息补偿，得到所述目标深度图像。

需要说明的是，上述重叠区域是指单目深度图像与双目深度图像中涵盖相同实体的图像区域范围，而不是指该重叠区域中单目深度图像与双目深度图像的画面内容完全相同。差异区域是指单目深度图像中除重叠区域外的图像区域，双目深度图像缺失差异区域的深度信息。

在一些实施例中，所述根据所述相差区域图像对所述双目深度图像进行深度信息补偿，得到所述目标深度图像，包括：根据所述相差区域图像与所述双目深度图像进行融合处理，并对所述融合边缘进行平滑处理，得到图像采集区域与所述第一待处理图像对应的图像采集区域相同的目标深度图像。

当对双目深度图像的深度信息进行弥补时，由于双目深度图像和单目深度图像的获取方式不同，会导致重叠区域与相差区域的邻近处深度信息发生较大幅度的变化，进而导致补偿后的图像显得不连贯或突兀。使用平滑处理可以使深度信息在边界处过渡更加自然和平滑，提升图像的整体一致性。平滑处理可以通过滤波器、插值以及加权平均等方式实现，在此不作限定。

步骤205，根据目标深度图像，对第一待处理图像进行虚化处理，得到目标图像。

在本申请实施例中，根据所述目标深度图像，对所述第一待处理图像进行虚化处理，得到目标图像。

在本申请实施例中，根据目标深度图像，对第一待处理图像进行虚化处理，包含以下步骤：

根据目标深度图像计算弥散圆半径图像，包括：根据目标深度图像中除前景主体区域外像素点的深度信息和转换规则，将深度信息转换为对应的弥散圆半径值，从而得到弥散圆半径图像。其中，转换规则可以是线性或指数映射，在此不作限定。

根据模糊核对第一待处理进行离散求导，包括：为了实现背景的模糊效果，需要对模糊核进行离散求导，通过计算模糊核在水平和垂直方向上的导数来实现。离散求导将模糊核的边缘信息加强，使得模糊效果在背景中更加自然。模糊核是一种用于图像处理中的滤波算子，用于对图像进行模糊或平滑处理。

根据弥散圆半径图像对离散求导后的第一待处理图像进行加权滤波处理，包括：将第一待处理图像与离散求导后的模糊核进行加权滤波。加权滤波时，使用弥散圆半径图像来调整每个像素点模糊程度的权重。离得相对较远的像素点，也就弥散圆半径值较大的像素点拥有较大的权重，该背景区域会被更强烈地模糊处理。

目标背景虚化图像成像，包括：加权滤波后的第一待处理图像生成背景虚化效果，得到目标背景虚化图像。

在上述技术方案中，通过使用根据第一待处理图像处理得到的单目深度图像，对根据第一待处理图像与第二待处理图像处理得到双目深度图像的深度信息进程弥补，得到了目标深度图像，再根据目标深度图像进行虚化处理得到了目标图像。该方法能够在副摄像头的视场角小于主摄像头的视场角的情况下，得到质量符合虚化要求的目标深度图像，进而提高了背景虚化图像的虚化效果。

下面将结合说明书附图，对步骤202中对第一待处理图像与第二待处理图像进行校正处理做进一步说明。

请参阅图3，为本申请实施例提供的基于双摄像头的图像处理方法中对第一待处理图像与第二待处理图像进行校正处理的示例图。

由于主摄像头与副摄像头采集图像的图像质量差距较大，在一些实施例中会对采集到的第一待处理图像与第二待处理图像进行一致性调整，以保证它们在后续处理中能得到准确的深度信息。

在一些实施例中，通过双目平行校正处理，对所述第一待处理图像与所述第二待处理图像进行旋转调整，使经过旋转调整的所述第一待处理图像与所述第二的处理图像平行对齐。

如图3所示，在未经过双目平行校正处理的第一待处理图像和第二待处理图像中，前景主体的特征像素点在水平双方向上没有对齐。而在经过双目平行校正处理的第一待处理图像和第二待处理图像中，前景主体的特征像素点在水平双方向上对齐，该方法可以减少视差计算时的复杂度和计算量，提高性能。

需要说明的是，在两幅待处理图像中，除前景主体外，还包含背景部分。在图3中主要关注和表示了校正处理的效果，未对背景部分进行体现。

在一些实施例中，由于主摄像头采集的第一待处理图像与副摄像头采集的第二待处理图像之间的图像质量差异较大，导致在根据这两个待处理图像得到双目深度图像时，视差计算步骤检测到的对应点不准确，从而影响了得到的双目深度图像的精度和准确性。可以通过对第一待处理图像和第二待处理图像进行一致性调整，优化图像质量，从而通过处理得到的双目深度图像的准确性。

请参阅图4，为本申请实施例提供的基于双摄像头的图像处理方法的另一种流程图示，包含以下步骤：

步骤401，获取主摄像头采集的第一待处理图像，以及获取副摄像头采集的第二待处理图像。

步骤402，对第一待处理图像与第二待处理图像进行一致性调整。

在一些实施例中，在所述根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像前，所述方法包括：

基于所述主摄像头与所述副摄像头参数差异导致的成像差异，对所述第一待处理图像与所述第二待处理图像进行一致性调整；所述一致性调整包含锐化调整、模糊调整以及亮度调整。

在一些实施例中，基于主摄像头和副摄像头参数差异导致的成像差异，可以对第一待处理图像和第二待处理图像进行一致性调整。这种一致性调整的目的是通过锐化调整、模糊调整以及亮度调整等方法，使两个图像在质量和视觉特征上更加接近和一致。其中，锐化调整可以增强图像的边缘和清晰度。亮度调整主要是调整图像的亮度和对比度，使两个图像在整体明暗程度上更加一致。需要说明的是，一致性调整不是把一个待处理图像调整到另一个待处理图像的水平，而是同时对这两个待处理图像进行调整，，以使它们在质量和视觉特征上更接近和一致。

步骤403，根据经一致性调整后的第一待处理图像与第二待处理图像，得到双目深度图像。

步骤404，根据第一待处理图像，得到与第一待处理图像对应的单目深度图像。

步骤405，使用单目深度图像的深度信息,对双目深度图像进行深度信息补偿，得到目标深度图像。

步骤406，根据目标深度图像，对第一待处理图像进行虚化处理，，得到目标图像。

应该理解的是，虽然上述各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

基于前述的实施例，本申请实施例提供一种基于双摄像头的图像处理装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

请参阅图5，为本申请实施例提供的基于双摄像头的图像处理装置的一个结构示意图，如图5所述，所述装置包括采集模块501、处理模块502，其中：

采集模块501，用于获取所述双摄像头的主摄像头采集的第一待处理图像，以及获取所述双摄像头的副摄像头采集的第二待处理图像，所述主摄像头的视场角大于所述副摄像头的视场角。

处理模块502，用于根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像,所述双目深度图像对应的图像采集区域与所述第二待处理图像对应的图像采集区域相同，且所述双目深度图像对应的图像采集区域小于所述第一待处理图像对应的图像采集区域；根据所述第一待处理图像，得到与所述第一待处理图像对应的单目深度图像；所述单目深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同；使用所述单目深度图像的深度信息,对所述双目深度图像进行深度信息补偿，得到目标深度图像，所述目标深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同；根据所述目标深度图像，对所述第一待处理图像进行虚化处理，得到目标图像。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中图5所示的基于双摄像头的图像处理装置对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read On ly Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

请参阅图6，为本申请实施例提供的电子设备的一个结构示意图。如图6所示的电子设备600可以包括存储器601，与存储器601耦合的处理器602。

其中，该电子设备600的处理器602用于提供计算和控制能力。该电子设备600的存储器601包括非易失性存储介质、随机存取存储器。

本申请实施例公开了一种计算机可读存储介质，其上存储有可执行程序代码，所述可执行程序代码被处理器执行时，实现如本申请实施例所述的方法。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质、存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如对象A和/或对象B，可以表示：单独存在对象A，同时存在对象A和对象B，单独存在对象B这三种情况。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read On ly Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于双摄像头的图像处理方法，其特征在于，包括：

获取所述双摄像头的主摄像头采集的第一待处理图像，以及获取所述双摄像头的副摄像头采集的第二待处理图像，所述主摄像头的视场角大于所述副摄像头的视场角；

根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像,所述双目深度图像对应的图像采集区域与所述第二待处理图像对应的图像采集区域相同，且所述双目深度图像对应的图像采集区域小于所述第一待处理图像对应的图像采集区域；

根据所述第一待处理图像，得到与所述第一待处理图像对应的单目深度图像；所述单目深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同；

使用所述单目深度图像的深度信息,对所述双目深度图像进行深度信息补偿，得到目标深度图像，所述目标深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同；

根据所述目标深度图像，对所述第一待处理图像进行虚化处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，使用所述单目深度图像的深度信息,对所述双目深度图像进行深度信息补偿，得到目标深度图像，包括：

对所述单目深度图像对应的图像采集区域与所述双目深度图像对应的图像采集区域进行图像区域匹配，确定重叠区域；

将所述单目深度图像中所述重叠区域对应的深度信息设置为空，保留所述单目深度图像中除所述重叠区域外的深度信息，得到相差区域图像；所述相差区域图像包含所述双目深度图像相较所述单目深度图像缺失的深度信息；

根据所述相差区域图像对所述双目深度图像进行深度信息补偿，得到所述目标深度图像。

3.根据权利要求1所述的方法，其特征在于，在所述根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像前，所述方法包括：

基于所述主摄像头与所述副摄像头参数差异导致的成像差异，对所述第一待处理图像与所述第二待处理图像进行一致性调整；所述一致性调整包含锐化调整、模糊调整以及亮度调整。

4.根据权利要求1所述的方法，其特征在于，通过双目平行校正处理，对所述第一待处理图像与所述第二待处理图像进行旋转调整，使经过旋转调整的所述第一待处理图像与所述第二的处理图像平行对齐。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像，包括：

对所述第一待处理图像与所述第二待处理图像进行立体匹配处理得到稀疏深度图像；

对所述第一待处理图像、所述第二待处理图像以及所述稀疏深度图像进行处理得到稠密深度图像；

对所述第一待处理图像进行前景分割处理得到前景掩码图像，根据所述前景掩码图像对所述稠密深度图像的前景物体边缘进行清晰优化，进而得到所述双目深度图像。

6.根据权利要求5所述的方法，其特征在于，所述对所述第一待处理图像、所述第二待处理图像以及所述稀疏深度图像进行处理得到稠密深度图像，包括：

使用光流法计算所述第一待处理图像与所述第二待处理图像之间像素点的位置变换情况，得到光流场；

通过所述光流场的像素点的位置变换情况对所述稀疏深度图像的缺失区域的未知像素点进行插值处理，从而得到所述稠密深度图像。

7.根据权利要求6所述的方法，其特征在于，对所述第一图像进行前景分割处理得到前景掩码图像，根据所述前景掩码图像对所述稠密深度图像的前景边缘进行清晰优化，进而得到所述双目深度图像，包括：

根据深度学习算法对所述第一图像进行前景分割处理，提取出前景物体的边缘信息得到所述前景掩码图像；所述前景掩码图像只保留前景物体区域，其它区域设置为空；

结合前景掩码图像对所述稠密深度图像的前景物体边缘进行强化处理，突出前景物体的轮廓，进而得到所述双目深度图像。

8.一种基于双摄像头的图像处理装置，其特征在于，包括:

采集模块，用于获取所述双摄像头的主摄像头采集的第一待处理图像，以及获取所述双摄像头的副摄像头采集的第二待处理图像，所述主摄像头的视场角大于所述副摄像头的视场角；

处理模块，用于根据所述第一待处理图像与所述第二待处理图像，得到双目深度图像,所述双目深度图像对应的图像采集区域与所述第二待处理图像对应的图像采集区域相同，且所述双目深度图像对应的图像采集区域小于所述第一待处理图像对应的图像采集区域；根据所述第一待处理图像，得到与所述第一待处理图像对应的单目深度图像；所述单目深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同；使用所述单目深度图像的深度信息,对所述双目深度图像进行深度信息补偿，得到目标深度图像，所述目标深度图像对应的图像采集区域与所述第一待处理图像对应的图像采集区域相同；根据所述目标深度图像，对所述第一待处理图像进行虚化处理，得到目标图像。

9.一种电子设备，其特征在于，包括：

存储有可执行程序代码的存储器；

以及所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有可执行程序代码，其特征在于，所述可执行程序代码被处理器执行时，实现如权利要求1-7中任一所述的方法。