CN110782412B - 图像处理方法及装置、处理器、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法及装置、处理器、电子设备及存储介质。该方法包括：获取双目图像，所述双目图像包括第一待处理图像和第二待处理图像，所述第一待处理图像的图像质量高于所述第二待处理图像的图像质量；依据所述第一待处理图像和所述第二待处理图像，获得修复后的第二待处理图像，所述修复后的第二待处理图像的图像视角与所述第二待处理图像的图像视角相同，所述修复后的第二待处理图像的图像质量高于所述第二待处理图像的图像质量；依据所述第一待处理图像和所述修复后的第二待处理图像，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第一视差图像。还公开了相应的装置。以基于第一待处理图像和第二待处理图像获得第一视差图像。

Description

图像处理方法及装置、处理器、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、处理器、电子设备及存储介质。

背景技术

双目立体视觉(binocular stereo vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像(下文将称为双目图像)，通过计算图像同名点之间的位置偏差，来获取物体三维几何信息的方法。目前双目立体视觉已广发应用于智能手机、无人机以及机器人领域中。

但是由于成像设备的不一致(如两个成像设备的硬件配置不一致)导致获得的双目图像的两张图像的图像质量(包括图像分辨率、图像信噪比)不一致。而传统双目立体视觉方法在双目图像中的两张图像的图像质量不一致的情况下，获得的物体三维几何信息的精度低，进而导致获得的视差图像的精度低。

发明内容

本申请提供一种图像处理方法及装置、处理器、电子设备及存储介质，以基于第一待处理图像和第二待处理图像获得修复后的第二待处理图像。

第一方面，提供了一种图像处理方法，所述方法包括：

获取双目图像，所述双目图像包括第一待处理图像和第二待处理图像，所述第一待处理图像的图像质量高于所述第二待处理图像的图像质量；

依据所述第一待处理图像和所述第二待处理图像，获得修复后的第二待处理图像，所述修复后的第二待处理图像的图像视角与所述第二待处理图像的图像视角相同，所述修复后的第二待处理图像的图像质量高于所述第二待处理图像的图像质量；

依据所述第一待处理图像和所述修复后的第二待处理图像，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第一视差图像。

在该方面中，依据第一待处理图像和第二待处理图像获得修复后的第二待处理图像，使第一待处理图像的图像质量与修复后的第二待处理图像的图像质量之间的差异小于第一待处理图像的图像质量与第二待处理图像的图像质量。进而依据第一待处理图像和修复后的第二待处理图像获得的第一视差图像的精度比依据第一待处理图像和第二待处理图像获得的视差图像的精度高。

在一种可能实现的方式中，所述依据所述第一待处理图像和所述第二待处理图像，获得修复后的第二待处理图像，包括：对所述第一待处理图像和所述第二待处理图像进行第一特征提取处理，获得水平视差位移特征图像，所述水平视差位移特征图像包含所述第一待处理图像中的第一像素点与所述第二待处理图像中的第二像素点之间的第一水平视差位移，所述第一像素点与所述第二像素点为同名点；

将所述水平视差位移特征图像作为卷积核对所述第一待处理图像进行卷积处理，获得所述修复后的第二待处理图像。

在该中可能实现的方式中，通过对第一待处理图像和第二待处理图像进行特征提取处理，以获得包含第一待处理图像和第二待处理图像中的同名点之间的水平视差位移的水平视差位移特征图像。再依据水平视差位移特征图像中的水平视差位移信息为第一待处理图像中每个像素点确定卷积核，并使用该卷积核对第一待处理图像中的像素点进行卷积处理，以调整第一待处理图像中像素点的水平位置，可减小调整后获得的修复后的第二待处理图像与第一待处理图像之间的差异。

在一种可能实现的方式中，在所述获取双目图像之后，所述方法还包括：

对所述第一待处理图像和所述第二待处理图像进行第二特征提取处理，获得竖直视差位移特征图像，所述竖直视差位移特征图像包含所述第一像素点与所述第二像素点之间的竖直视差位移；

所述将所述水平视差位移特征图像作为卷积核对所述第一待处理图像进行卷积处理，获得所述第二待处理图像的视角下的修复后的第二待处理图像，包括：

将所述水平视差位移特征图像和所述竖直视差位移特征图像分别作为卷积核对所述第一待处理图像进行卷积处理，获得所述修复后的第二待处理图像。

在该种可能实现的方式中，通过对第一待处理图像和第二待处理图像进行特征提取处理，可获得包含第一待处理图像和第二待处理图像中的同名点之间的竖直视差位移信息的竖直视差位移特征图像。使用竖直视差位移特征图像对第一待处理图像进行卷积处理，可调整第一待处理图像中的像素点的竖直位置，减小第一待处理图像和第二待处理图像中的同名点之间的竖直视差位移。

结合前一种可能实现的方式中的技术方案，将水平视差位移特征图像和竖直视差位移特征图像分别作为卷积核对第一待处理图像进行卷积处理，可在调整第一待处理图像中像素点的水平位置的同时，调整第一待处理图像中像素点的竖直位置。这样获得的修复后的第二待处理图像中像素点的位置与第二待处理图像中像素点的位置之间的差异更小。

在另一种可能实现的方式中，所述将所述水平视差位移特征图像作为卷积核对所述第一待处理图像进行卷积处理，获得修复后的第二待处理图像，包括：

依据所述第一水平视差位移，获得水平视差卷积核；

使用所述水平视差卷积核对所述第一像素点进行卷积处理，获得所述修复后的第二待处理图像。

在该种可能实现的方式中，水平视差位移特征图像包含第一像素点与第二像素点之间的水平视差位移，在使用水平视差位移特征图像对第一待处理图像进行卷积处理时，利用第一像素点与第二像素点之间的水平视差位移可准确的调整第一像素点的水平位置，提高获得的修复后的第二待处理图像的精度。

在又一种可能实现的方式中，所述对所述第一待处理图像和所述第二待处理图像进行第一特征提取处理，获得水平视差位移特征图像，包括：

对所述第一待处理图像和所述第二待处理图像进行拼接处理，获得第三待处理图像；对所述第三待处理图像进行n级编码处理，获得第一中间特征图像，所述n为正整数；

对所述第一中间特征图像进行m级第一解码处理，获得所述水平视差位移特征图像，所述m为正整数。

在该种可能实现的方式中，通过对第三待处理图像进行n级编码处理和m级第一解码处理完成对第一待处理图像和第二待处理图像的特征提取处理，获得水平视差位移特征图像。这样可更准确地提取出第三待处理图像中每个像素点的邻域的语义信息以及整张第三待处理图像的语义信息。

在又一种可能实现的方式中，所述对所述第一中间特征图像进行m级第一解码处理，获得所述水平视差位移特征图像，包括：

将所述n级编码处理中的第i级编码处理输出的特征图像与所述m级第一解码处理中的第j级第一解码处理输出的特征图像融合，获得所述m级第一解码处理中第j+1级第一解码处理的输入数据，所述i为小于或等于所述n的正整数，所述j为小于或等于m-1的正整数。

在该种可能实现的方式中，通过将编码处理获得的特征图像与解码处理获得的特征图像融合的方式，可丰富解码处理获得的特征图像中的边缘信息和纹理信息，进而丰富水平视差位移特征图像中的边缘信息和纹理信息。

在又一种可能实现的方式中，所述对所述第一中间特征图像进行m级第一解码处理，获得所述水平视差位移特征图像，包括：

对所述中间特征图像进行所述m级第一解码处理，获得第二中间特征图像；

以所述第一待处理图像为引导图像对所述第二中间特征图像进行滤波处理，使所述第二中间特征图像中的边缘在所述第二中间特征图像中的位置与所述第一待处理图像中的边缘在所述第一待处理图像中的位置相同，获得所述水平视差位移特征图像。

在该种可能实现的方式中，通过对第二特征图像进行滤波处理，以使水平视差位移特征图像中的边缘在水平视差位移特征图像中的位置与第一待处理图像中的边缘在第一待处理图像中的位置相同和/或竖直视差位移特征图像中的边缘在竖直视差位移特征图像中的位置与第一待处理图像中的边缘在第一待处理图像中的位置相同，提升从第一待处理图像中区分出对象的准确率，进而提升依据水平视差位移特征图像获得的水平视差卷积核包含的信息的准确率和/或依据竖直视差位移特征图像获得的竖直视差卷积核包含的信息的准确率。

在又一种可能实现的方式中，所述依据所述第一待处理图像和所述修复后的第二待处理图像，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第一视差图像，包括：

分别对所述第一待处理图像和所述修复后的第二待处理图像进行特征提取处理，获得所述第一待处理图像的第一特征图像和所述修复后的第二待处理图像的第二特征图像；

依据所述第一特征图像和所述第二特征图像之间的相关性，确定所述第一像素点与所述第一像素点在所述修复后的第二待处理图像中的同名点之间的第二水平视差位移；

依据所述第二水平视差位移获得所述第一视差图像。

在该种可能实现的方式中，通过确定第一待处理图像的第一特征图像和修复后的第二待处理图像的第二特征图像之间的相关性，可获得第二水平视差位移，进而可依据第二水平视差位移获得第一视差图像。

在又一种可能实现的方式中，在所述依据所述第一特征图像和所述第二特征图像之间的相关性，获得所述第一视差图像之前，所述方法还包括：

将所述第一特征图像中的像素点邻域作为卷积核对所述第二特征图像中的像素点邻域进行卷积处理，确定所述第一特征图像和所述第二特征图像之间的相关性；或，

将所述第二特征图像中的像素点邻域作为卷积核对所述第一特征图像中的像素点邻域进行卷积处理，获得所述第一特征图像和所述第二特征图像之间的相关性。

在该种可能实现的方式中，通过将第一特征图像中的像素点邻域与第二特征图像中的像素点邻域进行卷积，可确定第一特征图像和第二特征图像之间的相关性。

在又一种可能实现的方式中，所述方法还包括：

对所述第一视差图像和所述第一特征图像进行编码处理，获得第三特征图像；

对所述第三特征图像进行解码处理，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第二视差图像，所述第二视差图像的分辨率大于所述第一视差图像的分辨率。

在该种可能实现的方式中，通过对第一视差图像和第一特征图像进行编码处理，获得第三特征图像，对第三特征图像进行解码处理可提高第一视差图像的分辨率，获得第二视差图像。

在又一种可能实现的方式中，所述对所述第一视差图像和所述第一特征图像进行编码处理，获得第三特征图像，包括：

对所述第一特征图像和所述第一待处理图像进行拼接处理，获得第四待处理图像；

对所述第四待处理图像进行编码处理，获得所述第三特征图像。

在该种可能实现的方式中，通过对第四待处理图像进行编码处理实现对第一视差图像和第一特征图像的编码处理，获得第三特征图像。

在又一种可能实现的方式中，在所述对所述第一视差图像和所述第一特征图像进行拼接处理，获得第四待处理图像之前，所述方法还包括：

对所述第一特征图像进行特征提取处理，获得所述第一特征图像的第四特征图像；

所述对所述第一视差图像和所述第一特征图像进行拼接处理，获得第四待处理图像，包括：

对所述第四特征图像和所述第一视差图像进行拼接处理，获得所述第四待处理图像。

在该种可能实现的方式中，通过对第一特征图像进行特征提取处理，提取出第一特征图像的特征，并缩小第一特征图像的尺寸，获得第四特征图像。再对第四特征图像和第一视差图像进行拼接处理获得第四待处理图像，这样，在后续对第四待处理图像进行处理时，可减小数据处理量，提高处理速度。

第二方面，提供了一种图像处理装置，所述装置包括：

获取单元，用于获取双目图像，所述双目图像包括第一待处理图像和第二待处理图像，所述第一待处理图像的图像质量高于所述第二待处理图像的图像质量；

第一处理单元，用于依据所述第一待处理图像和所述第二待处理图像，获得修复后的第二待处理图像，所述修复后的第二待处理图像的图像视角与所述第二待处理图像的图像视角相同，所述修复后的第二待处理图像的图像质量高于所述第二待处理图像的图像质量；

第二处理单元，用于依据所述第一待处理图像和所述修复后的第二待处理图像，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第一视差图像。

在一种可能实现的方式中，所述第一处理单元用于：对所述第一待处理图像和所述第二待处理图像进行第一特征提取处理，获得水平视差位移特征图像，所述水平视差位移特征图像包含所述第一待处理图像中的第一像素点与所述第二待处理图像中的第二像素点之间的第一水平视差位移，所述第一像素点与所述第二像素点为同名点；

将所述水平视差位移特征图像作为卷积核对所述第一待处理图像进行卷积处理，获得所述修复后的第二待处理图像。

在一种可能实现的方式中，所述第一处理单元，还用于在所述获取双目图像之后，对所述第一待处理图像和所述第二待处理图像进行第二特征提取处理，获得竖直视差位移特征图像，所述竖直视差位移特征图像包含所述第一像素点与所述第二像素点之间的竖直视差位移；

所述第一处理单元，还用于将所述水平视差位移特征图像和所述竖直视差位移特征图像分别作为卷积核对所述第一待处理图像进行卷积处理，获得所述修复后的第二待处理图像。

在另一种可能实现的方式中，所述第一处理单元具体用于：

依据所述第一水平视差位移，获得水平视差卷积核；

使用所述水平视差卷积核对所述第一像素点进行卷积处理，获得所述修复后的第二待处理图像。

在又一种可能实现的方式中，所述第一处理单元用于：

对所述第一待处理图像和所述第二待处理图像进行拼接处理，获得第三待处理图像；

对所述第三待处理图像进行n级编码处理，获得第一中间特征图像，所述n为正整数；

对所述第一中间特征图像进行m级第一解码处理，获得所述水平视差位移特征图像，所述m为正整数。

在又一种可能实现的方式中，所述第一处理单元用于：

将所述n级编码处理中的第i级编码处理输出的特征图像与所述m级第一解码处理中的第j级第一解码处理输出的特征图像融合，获得所述m级第一解码处理中第j+1级第一解码处理的输入数据，所述i为小于或等于所述n的正整数，所述j为小于或等于m-1的正整数。

在又一种可能实现的方式中，所述第一处理单元用于：

对所述中间特征图像进行所述m级第一解码处理，获得第二中间特征图像；

以所述第一待处理图像为引导图像对所述第二中间特征图像进行滤波处理，使所述第二中间特征图像中的边缘在所述第二中间特征图像中的位置与所述第一待处理图像中的边缘在所述第一待处理图像中的位置相同，获得所述水平视差位移特征图像。

在又一种可能实现的方式中，所述第二处理单元用于：

分别对所述第一待处理图像和所述修复后的第二待处理图像进行特征提取处理，获得所述第一待处理图像的第一特征图像和所述修复后的第二待处理图像的第二特征图像；

依据所述第一特征图像和所述第二特征图像之间的相关性，确定所述第一像素点与所述第一像素点在所述修复后的第二待处理图像中的同名点之间的第二水平视差位移；

依据所述第二水平视差位移获得所述第一视差图像。

在又一种可能实现的方式中，所述装置还包括：卷积处理单元，用于在所述依据所述第一特征图像和所述第二特征图像之间的相关性，获得所述第一视差图像之前，将所述第一特征图像中的像素点邻域作为卷积核对所述第二特征图像中的像素点邻域进行卷积处理，确定所述第一特征图像和所述第二特征图像之间的相关性；或，

将所述第二特征图像中的像素点邻域作为卷积核对所述第一特征图像中的像素点邻域进行卷积处理，获得所述第一特征图像和所述第二特征图像之间的相关性。

在又一种可能实现的方式中，所述装置还包括：

编码处理单元，用于对所述第一视差图像和所述第一特征图像进行编码处理，获得第三特征图像；

解码处理单元，用于对所述第三特征图像进行解码处理，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第二视差图像，所述第二视差图像的分辨率大于所述第一视差图像的分辨率。

在又一种可能实现的方式中，所述编码处理单元用于：

对所述第一特征图像和所述第一待处理图像进行拼接处理，获得第四待处理图像；

对所述第四待处理图像进行编码处理，获得所述第三特征图像。

在又一种可能实现的方式中，所述特征提取处理单元，还用于在所述对所述第一视差图像和所述第一特征图像进行拼接处理，获得第四待处理图像之前，对所述第一特征图像进行特征提取处理，获得所述第一特征图像的第四特征图像；

所述编码处理单元具体用于：对所述第四特征图像和所述第一视差图像进行拼接处理，获得所述第四待处理图像。

第三方面，提供了一种处理器，所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。

第四方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。

第六方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本申请实施例提供的一种双目图像中同名点的示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的另一种图像处理方法的流程示意图；

图4为本申请实施例提供的一种编码层和解码层的结构示意图；

图5a为本申请实施例提供的一种像素点邻域示意图；

图5b为本申请实施例提供的一种2个1维卷积核的示意图；

图5c为本申请实施例提供的一种移动像素点的位置后的像素点邻域的示意图；

图6为本申请实施例提供的另一种图像处理方法的流程示意图；

图7为本申请实施例提供的又一种图像处理方法的流程示意图；

图8为本申请实施例提供的一种第一解码处理和第二解码处理的结构示意图；

图9为本公开实施例提供的一种相同位置的元素的示意图；

图10为本申请实施例提供的又一种图像处理方法的流程示意图；

图11为本申请实施例提供的一种图像修复子网络的结构示意图；

图12为本申请实施例提供的一种视差图像生成子网络的结构示意图；

图13为本申请实施例提供的一种编码层的结构示意图；

图14为本申请实施例提供的一种解码层的结构示意图；

图15为本申请实施例提供的一种图像处理装置的结构示意图；

图16为本申请实施例提供的一种图像处理装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例中，双目图像指通过两个不同的成像设备(下文将称为双目成像设备)在同一时刻从不同位置对同一物体进行拍摄获得的两张图像。同一个物理点对应双目图像中的不同图像中的像素点互为同名点。图1所示为双目图像中的两张图像，其中，像素点A与像素点C互为同名点，像素点B与像素点D互为同名点。

根据双目图像中的同名点之间的位移确定物体中任意一点在图像中的深度信息以及三维位置信息。即根据同名点之间的水平视差位移(即互为同名点的两个像素点在水平视差方向的位置偏差)、两个成像设备的焦距以及两个成像设备的光心之间的距离确定物体中任意一点在图像中的深度信息和三维位置信息。也就是说，获得同名点之间准确的水平视差位移是确定物体中任意一点在图像中的深度信息和三维位置信息的关键。而获得同名点之间的水平视差位移的关键又在于如何确定双目图像中的同名点，且在双目图像中确定的同名点的准确率越高，获得的同名点之间的水平视差位移越准确。上述水平视差方向指双目图像的图像坐标系的x轴的正方向，而下文中出现的竖直视差方向指双目图像的图像坐标系的y轴的正方向。

在现实应用中，由于不同的成像设备之间存在差异，导致获得的双目图像之间存在差异，进而导致在获得的双目图像中确定的同名点的准确率低，进一步导致确定的同名点之间的水平视差位移(下文将称为同名点之间的视差)的准确率低。上述不同的成像设备之间的差异包括成像设备的硬件配置之间的差异。例如，由于成像设备A的硬件配置高于成像设备B，A采集到的图像的分辨率高于B采集到的图像的分辨率。又例如，由于成像设备A的硬件配置高于成像设备B，A采集到的图像的信噪比高于B采集到的图像的信噪比。而该差异将导致基于双目图像获得的视差图像或深度图像的精度低。本申请实施例提供的技术方案可在两个成像设备之间存在差异的情况下，减小获得的双目图像之间的差异，进而提升双目图像中同名点之间的视差的准确率。

下面结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图2，图2是本申请实施例(一)提供的一种图像处理方法的流程示意图。

201、获取双目图像，上述双目图像包括第一待处理图像和第二待处理图像，上述第一待处理图像的图像质量高于所述第二待处理图像的图像质量。

本申请实施例所提供的技术方案可应用于第一终端，其中，第一终端包括手机、计算机、平板电脑、服务器等。

上述图像质量包括图像的分辨率、图像的信噪比、图像的清晰程度中的一种或多种。上述图像的分辨率与图像质量呈正比，图像的信噪比与图像质量呈正比，图像的清晰程度与图像质量成正比。

上述第一待处理图像和第二待处理图像即为两个不同的成像设备在同一时刻从不同位置对同一物体或场景拍摄分别获得的图像。其中，成像设备可以是摄像头，也可以是相机。例如，一台手机上的两颗摄像头。又例如，一辆智能小车上装载的两颗摄像头。再例如，无人机上的两颗摄像头。

如上所述，本申请实施例提供的技术方案可用于在双目图像中的两张图像的图像质量不一致的情况下，减小双目图像中的两张图像的图像质量之间的差异。因此，本申请实施例中的第一待处理图像的图像质量高于第二待处理图像的图像质量。

需要理解的是，本申请实施例以两个不同的成像设备为例阐述如何减小双目图像中的两张图像的图像质量之间的差异。在实际应用中，还可通过三个或三个以上的成像设备在同一时刻从不同位置对同一物体或场景拍摄获得多张图像，通过本申请实施例提供的技术方案同样可减小多张图像的图像质量之间的差异，本申请对成像设备的数量不做限定。

获取双目图像的方式可以是接收用户通过输入组件输入的双目图像，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。也可以是接收第二终端发送的双目图像，其中，第二终端包括手机、计算机、平板电脑、服务器等，本申请对获取双目图像的方式不做限定。

可选的，在第一终端获取到双目图像后，可根据预先设定的图像质量评价指标确定双目图像中的两张图像的图像质量分数。其中，图像质量评价指标包括以下至少一个：图像的分辨率、图像的信噪比、图像的清晰度。在确定双目图像中两张图像的图像质量分数后，可进一步确定第一待处理图像和第二待处理图像。

202、依据上述第一待处理图像和上述第二待处理图像，获得修复后的第二待处理图像，上述修复后的第二待处理图像的图像视角与上述第二待处理图像的图像视角相同，上述修复后的第二待处理图像的图像质量高于上述第二待处理图像的图像质量。

本实施例中，图像视角包括成像设备对被拍摄物体进行拍摄的拍摄视角。

本实施例中，依据第一待处理图像和第二待处理图像获得修复后的第二待处理图像可以通过如下方式实现：对第一待处理图像和第二待处理图像进行特征提取处理，获得第一待处理图像的特征图像和第二待处理图像的特征图像。依据第一待处理图像的特征图像和第二待处理图像的特征图像确定第一待处理图像与第二待处理图像中的同名点之间的水平视差位移，进而可依据该水平视差位移调整第一待处理图像中的像素点的位置，获得图像视角与第二待处理图像的图像视角相同的图像(下文将称为修复后的第二待处理图像)。

通过上述方式获得的修复后的第二待处理图像的图像质量与第一待处理图像的图像质量相同，且修复后的第二待处理图像的图像视角与第二待处理图像的图像视角相同。

在另一种依据第一待处理图像和第二待处理图像获得修复后的第二待处理图像的可能方式的实现中，可通过对第二待处理图像进行去模糊处理和/或去噪处理和/或提升图像分辨率的处理，以将第二待处理图像的图像质量提升至与第一待处理图像的图像质量相同，获得修复后的第二待处理图像。

203、依据上述第一待处理图像和上述修复后的第二待处理图像，获得上述第一待处理图像与上述修复后的第二待处理图像之间的第一视差图像。

由于修复后的第二待处理图像的图像视角与第二待处理图像的图像视角相同，可将第一待处理图像与修复后的第二待处理图像视为一组双目图像。因此，可依据第一待处理图像和修复后的第二待处理图像，获得第一待处理图像与修复后的第二待处理图像之间的第一视差图像。上述第一视差图像包括第一待处理图像与修复后的第二待处理图像中的同名点之间的水平视差位移。

在一种依据第一待处理图像和修复后的第二待处理图像，获得第一待处理图像与修复后的第二待处理图像之间的第一视差图像的实现方式中，可通过对第一待处理图像和修复后的第二待处理图像进行特征提取处理，获得第一待处理图像的特征图像和修复后的第二待处理图像的特征图像。通过对第一待处理图像的特征图像与修复后的第二待处理图像的特征图像进行特征匹配处理确定第一待处理图像的特征图像和修复后的第二待处理图像的特征图像中的同名点。依据第一待处理图像的特征图像和修复后的第二待处理图像的特征图像中的同名点之间的水平视差位移获得上述第一视差图像。

在另一种依据第一待处理图像和修复后的第二待处理图像，获得第一待处理图像与修复后的第二待处理图像之间的第一视差图像的实现方式中，可通过对第一待处理图像与修复后的第二待处理图像进行特征匹配处理确定第一待处理图像和修复后的第二待处理图像中的同名点。依据第一待处理图像和修复后的第二待处理图像中的同名点之间的水平视差位移获得上述第一视差图像。

上述特征匹配处理可通过暴风算法(brute force)、k最近邻算法(k-nearestneighbor，KNN)、快速最近邻搜索算法(fast libraryfor approximate nearestneighbors，FLANN)中的任意一种算法实现，本申请对此不作限定。

本实施例依据第一待处理图像和第二待处理图像获得修复后的第二待处理图像，使第一待处理图像的图像质量与修复后的第二待处理图像的图像质量之间的差异小于第一待处理图像的图像质量与第二待处理图像的图像质量。进而依据第一待处理图像和修复后的第二待处理图像获得的第一视差图像的精度比依据第一待处理图像和第二待处理图像获得的视差图像的精度高。

请参阅图3，图3是本申请实施例(二)提供的步骤202的一种可能实现的方式的流程示意图。

301、对上述第一待处理图像和上述第二待处理图像进行第一特征提取处理，获得水平视差位移特征图像，上述水平视差位移特征图像包含上述第一待处理图像中的第一像素点与上述第二待处理图像中的第二像素点之间的第一水平视差位移，上述第一像素点与上述第二像素点为同名点。

本申请实施例中，第一特征提取处理可以是编码处理，也可以是编码处理和解码处理的结合。其中，编码处理可以是卷积处理、池化处理，解码处理可以是双线性差值处理、邻近点插值处理、反卷积处理。

在一种可能实现的方式中，依次通过至少两层编码层对第一待处理图像和上述第二待处理图像进行逐级编码处理，再通过至少两层解码层对编码处理后获得的特征图像进行逐级解码处理，得到水平视差位移特征图像。

经过编码层的处理后，第一待处理图像和第二待处理图像的尺寸会变小，而经过解码层的处理后，特征图像的尺寸会变大。示例性的，如图4所示，在上述可能实现的方式中，可将编码层的数量与解码层的数量设为相同，且第一层编码层输出的特征图像的尺寸与第三层解码层输出的特征图像的尺寸相同，第二层编码层输出的特征图像的尺寸与第二层解码层输出的特征图像的尺寸相同，第三层编码层输出的特征图像的尺寸与第一层解码层输出的特征图像的尺寸相同。

由于在对第一待处理图像和第二待处理图像进行编码处理时，会丢弃掉一些相对次要的特征信息，但进行编码处理前的数据中保留有这些次要的特征信息，所以可通过在解码处理时将编码层输出的特征图像与解码层输出的特征图像进行融合，以丰富特征图像中的纹理信息和边缘信息。可选的，如图4所示，可将编码层输出的特征图像与解码层输出的相同大小的特征图像进行融合。上述相对次要的特征信息指图像全局特征信息，用于描述图像中物体的表面性质，不能完全反映出图像中物体的属性，如：颜色特征信息、纹理特征信息、边缘特征信息。示例性的，上述融合可以是相加。

需要理解的是，图4中的编码层的数量和解码层的数量仅是本实施例提供一个示例，不应对本申请构成限定。

可选的，在对第一待处理图像和第二待处理图像进行第一特征提取处理之前，可对第一待处理图像和第二待处理图像进行拼接处理，获得拼接后的待处理图像(即第三待处理图像)。对第一待处理图像和第二待处理图像进行第一特征提取处理可以通过对第三待处理图像进行第一特征提取处理实现。

对第三待处理图像进行第一特征提取处理包括对第三待处理图像中的每一个像素点进行第一特征提取处理。通过对第三待处理图像中每一个像素点进行第一特征提取处理，可提取出第三待处理图像中每一个像素点的特征信息，并依据每一个像素点的特征信息确定每一个像素点的水平视差位移，得到包含每一个像素点的水平视差位移信息的水平视差位移特征图像。其中，每一个像素点的水平视差位移包括第一待处理图像和第二待处理图像中同名点之间的水平视差位移。

举例来说，第一待处理图像中的第一像素点和第二待处理图像中的第二像素点为同名点，通过对第一待处理图像和第二待处理图像进行第一特征提取处理，可确定第一像素点与第二像素点之间的第一水平视差位移。

302、将上述水平视差位移特征图像作为卷积核对上述第一待处理图像进行卷积处理，获得上述修复后的第二待处理图像。

将水平视差位移特征图像作为卷积核对第一待处理图像进行卷积处理，可利用水平视差位移特征图像中包含的水平视差位移信息移动第一待处理图像中的像素点，使移动后的像素点的水平位置与第二待处理图像中同名点的水平位置相同。由于第一待处理图像的图像质量高于第二待处理图像的图像质量，这样，通过移动第一待处理图像中的像素点使移动后像素点的水平位置与第二待处理图像的像素点的水平位置相同，就相当于获得提升图像质量后的第二待处理图像，即修复后的第二待处理图像。

在步骤301获得的水平视差位移特征图像中包含第一待处理图像和第二待处理图像中所有同名点的水平视差位移信息，因此在将水平视差位移特征图像作为卷积核对第一待处理图像进行卷积处理时，可依据水平视差位移特征图像中每个像素点的水平视差位移信息确定第一待处理图像中的同名点的卷积核，并使用该卷积核对第一待处理图像中的同名点进行卷积处理。在完成对第一待处理图像中所有像素点的卷积处理后，即可获得修复后的第二待处理图像。

可选的，由于准确确定第一待处理图像和第二待处理图像中的同名点的难度较大，而同一张图像中的多个像素点之间存在相关性，例如，第一待处理图像中的像素点A为白色，像素点A周围的多个像素点为白色的概率也较大，即以像素点A为中心的像素点邻域内的像素点为白色的概率较大。因此在获得第一待处理图像中每个像素点的卷积核后，可使用该卷积核对第一待处理图像中的像素点邻域进行卷积处理，以提高对第一待处理图像中的像素点的水平位置的调整效果。举例来说，假设在确定第一待处理图像中的像素点A的卷积核为a后，使用卷积核a对以像素点A为中心构建的像素点邻域b进行卷积处理。这样在对像素点邻域b进行卷积处理时可利用像素点A与像素点邻域b中除像素点A之外的像素点之间的相关性，以及像素点b中除像素点A之外的像素点的水平位置信息调整像素点A的水平位置，进而提高对像素点A的水平位置的调整效果。本实施例中的像素点邻域的大小可依据实际使用效果进行调整，本申请对此不作限定。

在一种可能实现的方式中，通过对第二待处理图像中的像素点与第一待处理图像中的像素点邻域中的每一个像素点之间的水平视差位移进行加权求和，可获得第一待处理图像中的像素点的卷积核。例如，第一待处理图像中的像素点a与第二待处理图像中的像素点b为同名点，第一待处理图像中以像素点a为中心构建的像素点邻域包括像素点c、像素点d。像素点a与像素点b的水平视差位移为d₁，像素点b与像素点c的水平视差位移为d₂，像素点b与像素点d的水平视差位移为d₃。像素点b的权重为0.4，像素点c的权重为0.3，像素点d的权重为0.3，则在对第一特征图像和第二特征图像进行特征提取处理获得的水平视差位移特征图像中包含的像素点a的水平视差位移为：0.4d₁+0.3d₂+0.3d₃。再依据水平视差位移特征图像中像素点a的水平视差位移确定像素点a的卷积核，并使用该卷积核对像素点a进行卷积处理以移动像素点a。

可选的，上述依据水平视差位移特征图像确定第一待处理图像中的像素点的卷积核的过程可通过神经网络实现。第二待处理图像中的像素点在第一待处理图像中对应的像素点邻域(如上述示例中像素点b对应的像素点邻域包括像素点a、像素点c、像素点d)以及像素点邻域中不同像素点对应的权重均可由神经网络确定。而神经网络从第一待处理图像中确定与第二待处理图像中的像素点对应的像素点邻域的能力以及确定像素点邻域中不同像素点的权重均可通过对神经网络的训练获得，如在对神经网络的训练过程中以包含像素点邻域的标注信息作为监督信息监督神经网络，本申请对神经网络的具体训练方式不做限定。

由于第一待处理图像中不同的像素点相较于第二待处理图像中的同名点的水平视差位移可能不同，例如，第一待处理图像中的像素点A与第二待处理图像中的像素点B为同名点，第一待处理图像中的像素点C与第二待处理图像中的像素点D为同名点，像素点A与像素点B的水平视差位移为D₁，像素点C与像素点D的水平视差位移为D₂，其中，D₁与D₂不相等。本申请实施例提供的技术方案可依据水平视差位移特征图像中的水平视差位移信息分别为第一待处理图像中的每个像素点确定一个卷积核，并通过确定的卷积核对第一待处理图像中的像素点进行卷积处理，以调整第一待处理图像中像素点的水平位置。在该种方式中，通过为不同的像素点确定不同的卷积核，可通过调整第一待处理图像中像素点的水平位置使第一待处理图像中的像素点的水平位置与第二待处理图像中同名点的水平位置之间的差异更小，进而使获得的修复后的第二待处理图像与第一待处理图像之间的差异更小。

本实施例通过对第一待处理图像和第二待处理图像进行特征提取处理，以获得包含第一待处理图像和第二待处理图像中的同名点之间的水平视差位移的水平视差位移特征图像。再依据水平视差位移特征图像中的水平视差位移信息为第一待处理图像中每个像素点确定卷积核，并使用该卷积核对第一待处理图像中的像素点进行卷积处理，以调整第一待处理图像中像素点的水平位置，可减小调整后获得的修复后的第二待处理图像与第一待处理图像之间的差异。

基于实施例(一)和实施例(二)提供的技术方案可调整第一待处理图像中的像素点的水平位置，但在实际应用中，若双目成像设备中的任意一个成像设备存在校准误差时，通过双目成像设备采集获得的双目图像中的同名点之间还将存在竖直视差位移。例如，由于成像设备A在竖直方向存在校准误差致使成像设备A与成像设备B未处于同一水平面，进而导致通过成像设备A采集的第一待处理图像与通过成像设备B采集的第二待处理图像中的同名点之间存在竖直视差位移。

显然，当第一待处理图像和第二待处理图像中的同名点之间存在竖直视差位移时，在通过移动第一待处理图像中的像素点获得修复后的第二待处理图像的过程中，不仅需要调整第一待处理图像中的像素点的水平位置，还需调整第一待处理图像中的像素点的竖直位置。这样可减小移动第一待处理图像中的像素点后获得的修复后的第二待处理图像与第一待处理图像之间的差异。

基于实施例(二)提供的调整第一待处理图像中的像素点的水平位置的思路，可依据第一待处理图像与第二待处理图像中的同名点之间的水平视差位移和竖直视差位移为第一待处理图像中的每个像素点确定一个2维卷积核，该2维卷积核包含第一待处理图像与第二待处理图像中的同名点之间的水平视差位移信息和垂直视差位移信息。使用该2维卷积核对第一待处理图像中对应的像素点进行卷积处理，可同时调整第一待处理图像中的像素点的水平位置和竖直位置。

由于第一待处理图像包含的像素点的数量较多，若通过一个2维卷积核对第一待处理图像中的一个像素点进行卷积处理以同时调整该像素点的水平位置和竖直位置的方式调整第一待处理图像中所有像素点的水平位置和竖直位置，将带来巨大的数据处理量。为减小调整第一待处理图像中的像素点的水平位置和竖直位置所需的数据处理量，本申请实施例通过为第一待处理图像中的每个像素点确定两个1维卷积核，上述两个1维卷积核中的一个1维卷积核(下文将称为水平视差卷积核)用于对第一待处理图像中的像素点进行卷积处理以调整第一待处理图像中的像素点的水平位置，另一个1维卷积核(下文将称为竖直视差卷积核)用于对第一待处理图像中的像素点进行卷积处理以调整第一待处理图像中的像素点的竖直位置。使用上述两个1维卷积核分别对第一待处理图像中的像素点进行卷积处理可调整第一待处理图像中的像素点的水平位置和竖直位置。

举例来说，图5a所示为第一待处理图像中以像素点A构建的像素点邻域，该像素点领域的大小为H×W，若使用一个大小为L_h×L_v的2维卷积核对图5a所示的像素点邻域进行卷积处理可将图5a中的像素点A移动至如图5c所示位置，所需处理的参数的数量为H×W×L_h×L_v。若使用大小分别为L_h×1和1×L_v的两个1维卷积核分别对图5a所示的像素点邻域进行卷积处理，相当于用图5b所示的两个1维卷积核对图5a所示的像素点邻域进行卷积处理，同样可将图5a中的像素点A移动至如图5c所示位置，但所需处理的参数的数量为H×W×(L_h+L_v)。显然，使用两个1维的卷积核分别对图5a所示的像素点邻域进行卷积处理所需处理的参数的数量少于使用一个2维卷积核对图5a所示的像素点邻域进行卷积处理所需处理的参数的数量。

下面将详细阐述如何基于第一待处理图像和第二待处理图像获得水平视差卷积核和竖直视差卷积核，以及如何使用水平视差卷积核和竖直视差卷积核对第一待处理图像中的像素点进行卷积处理，以获得修复后的第二待处理图像。

请参阅图6，图6是本申请实施例(三)提供的一种图像处理方法的流程示意图。

601、获取双目图像，上述双目图像包括第一待处理图像和第二待处理图像，上述第一待处理图像的图像质量高于上述第二待处理图像的图像质量。

本步骤的实现过程可参见步骤201，此处将不再赘述。

602、对上述第一待处理图像和上述第二待处理图像进行第一特征提取处理，获得水平视差位移特征图像，对上述第一待处理图像和所述第二待处理图像进行第二特征提取处理，获得竖直视差位移特征图像，上述水平视差位移特征图像包含上述第一待处理图像中的第一像素点与上述第二待处理图像中的第二像素点之间的水平视差位移，上述竖直视差位移特征图像包含上述第一像素点与上述第二像素点之间的竖直视差位移，上述第一像素点与上述第二像素点为同名点。

本步骤中的第一特征提取处理可参见步骤301。与第一特征提取处理相同第二特征提取处理也可以是编码处理，也可以是编码处理和解码处理的结合。其中，编码处理可以是卷积处理、池化处理，解码处理可以是双线性差值处理、邻近点插值处理、反卷积处理。

需要理解的是，虽然第一特征提取处理和第二特征提取处理包含的过程可以相同，但第一特征提取处理和第二特征提取处理可从第一待处理图像和第二待处理图像中提取出包含不同信息的特征图像。例如，卷积神经网络A和卷积神经网络B为结构相同但参数不同的卷积神经网络，使用卷积神经网络A对第一待处理图像和第二待处理图像进行特征提取处理，可获得包含第一待处理图像与第二待处理图像中的同名点之间的水平视差位移的水平视差位移特征图像，使用卷积神经网络B对第一待处理图像和第二待处理图像进行特征提取处理，可获得包含第一待处理图像与第二待处理图像中的同名点之间的竖直视差位移的竖直视差位移特征图像。

603、将上述水平视差位移特征图像和上述竖直视差位移特征图像分别作为卷积核对上述第一待处理图像进行卷积处理，获得上述修复后的第二待处理图像。

在获得水平视差位移特征图像和竖直视差位移特征图像后，可分别使用水平视差位移特征图像和竖直视差位移特征图像作为卷积核对第一待处理图像进行卷积处理，获得修复后的第二待处理图像。

在一种可能实现的方式中，将水平视差位移特征图像作为卷积核对第一待处理图像进行卷积处理，可获得第五待处理图像。将竖直视差位移特征图像作为卷积核对第五待处理图像进行卷积处理，可获得修复后的第二待处理图像。在另一种可能实现的方式中，将竖直视差位移特征图像作为卷积核对第一待处理图像进行卷积处理，可获得第六待处理图像。将水平视差位移特征图像作为卷积核对第六待处理图像进行卷积处理，可获得修复后的第二待处理图像。

可选的，如上所述，在使用水平视差位移特征图像对第一待处理图像进行卷积处理时，可依据水平视差位移特征图像中的水平视差位移信息分别为第一待处理图像中每一个像素点的像素点邻域确定一个卷积核，并使用该卷积核对相应的像素点邻域进行卷积处理，以提升处理效果。本步骤中也可依据水平视差位移特征图像和竖直视差位移特征图像分别为第一待处理图像中每一个像素点邻域确定一个水平视差卷积核和竖直视差卷积核，再分别使用水平视差卷积核和竖直视差卷积核对相应的像素点邻域进行卷积处理，获得修复后的第二待处理图像。此时，若水平视差卷积核的大小为L_h×1，竖直视差卷积核的大小为1×L_v，像素点邻域的大小为L_h×L_v。

在后续处理中，双目图像将用于获得双目图像中对象(此处的对象可以是物体，也可以是人物)的视差图以及双目图像中的对象的深度信息，因此本申请提供的技术方案更侧重于调整第一待处理图像中的对象的位置，这样可减小数据处理量，提高处理速度。由于第一待处理图像中包含对象以及对象之外的内容(下文将称为背景)，且对象的背景具有复杂的纹理，这将给从背景中将对象区分出带来很大的难度。若从背景中区分出对象的效果不佳(如区分出的对象包含大量背景内容，又如将对象的部分内容判断为背景导致区分出的物体不完整)，将导致依据水平视差位移特征图像获得的水平视差卷积核包含的信息的准确率低和/或依据竖直视差位移特征图像获得的竖直视差卷积核包含的信息的准确率低，进而导致对第一待处理图像中像素点的位置的调整效果差，即导致修复后的第二待处理图像与第一待处理图像之间的差异大。

可选的，本申请实施例通过对水平视差位移特征图像和/或竖直视差位移特征图像进行滤波处理，以使水平视差位移特征图像中的边缘在水平视差位移特征图像中的位置与第一待处理图像中的边缘在第一待处理图像中的位置相同和/或竖直视差位移特征图像中的边缘在竖直视差位移特征图像中的位置与第一待处理图像中的边缘在第一待处理图像中的位置相同，提升从第一待处理图像中区分出对象的准确率，进而提升依据水平视差位移特征图像获得的水平视差卷积核包含的信息的准确率和/或依据竖直视差位移特征图像获得的竖直视差卷积核包含的信息的准确率。

可选的，上述滤波处理可以是引导滤波处理，即以第一待处理图像为引导图像对水平视差位移特征图像和/或竖直视差位移特征图像进行滤波处理，使水平视差位移特征图像中的边缘在水平视差位移特征图像中的位置与第一待处理图像中的边缘在第一待处理图像中的位置相同和/或竖直视差位移特征图像中的边缘在竖直视差位移特征图像中的位置与第一待处理图像中的边缘在第一待处理图像中的位置相同。

本申请实施例中的图像均为数字图像，数字图像中的边缘包括数字图像中梯度变化大的像素区域，即图像中的边缘包括数字图像中对象与背景的边界，即对象的轮廓。而在确定第一待处理图像中的对象的轮廓后，即可从第一待处理图像中准确提取出对象覆盖的区域。由于对象覆盖的区域为连通区域，在后续处理中对第一待处理图像中对象覆盖的区域内的像素点的位置进行调整时可通过调整对象的轮廓的像素点的位置实现调整对象覆盖的区域内的像素点的位置，以减小数据处理量，提高处理速度。因此，在上述引导滤波处理的过程中，可将非对象轮廓的区域的梯度减小，使非对象轮廓的区域平滑，达到锐化对象轮廓的效果，这样有利于后续对第一待处理图像中对象覆盖的区域内的像素点的位置的调整。

由于非对象轮廓的区域也存在梯度，但非对象轮廓区域的梯度通常比对象轮廓区域的梯度小，可选的，可通过梯度阈值判断水平视差位移特征图像和/或竖直视差位移特征图像中的对象轮廓区域和非对象轮廓区域。具体的，确定水平视差位移特征图像中梯度大于或等于梯度阈值的区域为对象轮廓区域和/或确定竖直视差位移特征图像中梯度大于或等于梯度阈值的区域为对象轮廓区域。

本实施例通过对第一待处理图像和第二待处理图像进行第二特征提取处理，获得包含第一待处理图像和第二待处理图像中同名点之间的竖直视差位移的竖直视差位移特征图像。使用竖直视差位移图像对第一待处理图像中的像素点进行卷积处理，可调整第一待处理图像中像素点的竖直位置，以减小通过卷积处理获得的修复后的第二待处理图像与第一待处理图像之间的差异。

如步骤602所述，第一特征提取处理包含的过程和第二特征提取处理包含的过程可以相同，如通过两个结构相同但参数不同的卷积神经网络分别实现第一特征提取处理和第二特征提取处理。第一特征提取处理包含的过程和第二特征提取处理包含的过程也可以不同，如通过两个结构不同的卷积神经网络分别实现第一特征提取处理和第二特征提取处理。为减小通过第一特征提取处理和第二特征提取处理从第一待处理图像和第二待处理图像中提取出水平视差位移特征图像和竖直视差位移特征图像的数据处理量，本申请实施例采用至少两层编码处理与至少两层解码处理的方式从第一待处理图像和第二待处理图像中提取出第一中间特征图像，再分别通过两个不同的“解码分支”对第一中间特征图像进行特征提取处理，分别获得水平视差位移特征图像和竖直视差位移特征图像。其中，“解码分支”包括卷积处理和解码处理。

请参阅图7，图7为本申请实施例(四)提供一种对第一待处理图像和第二待处理图像进行第一特征提取处理获得水平视差位移特征图像以及对第一待处理图像和第二待处理图像进行第一特征提取处理获得竖直视差位移特征图像的方法的流程图。

701、对上述第一待处理图像和上述第二待处理图像进行拼接处理，获得第三待处理图像。

本申请实施例中的拼接处理可以是在通道维度上合并(concatenate)。例如，第一待处理图像的通道数为3，第二待处理图像的通道数为2，则将第一待处理图像与第二待处理图像拼接获得的第三待处理图像的通道数为5。

702、对上述第三待处理图像进行n级编码处理，获得第一中间特征图像，上述n为正整数。

本实施例中，对第三待处理图像进行特征提取处理通过n层编码层对第三待处理图像进行逐级编码处理实现。其中，每一层编码层进行一级编码处理，且n层编码层依次串联，即第1层编码层的输出数据为第2层编码层的输入数据，第2层编码层的输出数据为第3层编码层的输入数据，…，第n-1层编码层的输出数据为第n层编码层的输入数据，第n层编码层的输出数据为中间特征数据。其中，n为正整数。示例性的，n为4。

上述编码层可以通过多种方式实现，例如卷积处理、池化处理等，本实施例对此不做限定。

在一种可能实现的方式中，编码层包括池化层和至少两层串联的卷积层，其中，池化层输出的数据为至少两层串联的卷积层的输入数据。以第一层编码层为例，第三待处理图像为池化层的输入数据，通过池化层对第三待处理图像进行池化处理可将第三待处理图像的分辨率缩小并减少采样点，这样后续从第五代处理图像中提取出的特征图像的尺寸能更小，同时可进一步减小后续处理的计算量。上述池化处理可以为平均池化或者最大池化。池化处理输出的特征图像为至少两层卷积层的输入数据，至少两层卷积层中的每层卷积层提取出的特征信息及语义信息均不一样。具体表现为，通过至少两层卷积层的卷积处理一步步将池化处理输出的特征图像中的特征信息抽象出来，同时也将逐步去除相对次要的特征信息，因此，越到后面提取出的特征图像的尺寸越小，特征图像中的特征信息和语义信息就越浓缩。通过至少两层卷积层逐级对池化处理输出的特征图像进行卷积处理，可在获得池化处理输出的特征图像中的特征信息的同时，将第池化处理输出的特征图像的尺寸缩小，减小***的计算量，提高***的运算速度。示例性的，这至少两层卷积层中的卷积核的尺寸均为3*3，编码层中的卷积层的数量为3，卷积处理的步长为2。

703、对上述中间特征图像进行m级第一解码处理获得第二中间特征图像，对上述中间特征图像进行m级第二解码处理获得第三中间特征图像。

本实施例中，第一解码处理和第二解码处理均可通过m层解码层实现，m为正整数。当m为大于或等于2的正整数时，第一解码处理的m层解码层中的前m-1层解码层与第二解码处理的m层解码层中的前m-1层解码层相同。如图8所示，第一解码处理包括第一层解码层、第二层解码层、第三层解码层、第四层解码层和第五层解码层，第二解码处理包括第一层解码层、第二层解码层、第三层解码层、第四层解码层和第六层解码层。

本步骤中的解码处理是步骤702中的编码处理的逆过程，通过m-1层解码层对第一中间特征图像进行逐级解码处理，逐级放大第一中间特征图像的尺寸，得到解码处理后的特征图像。其中，每一层解码层进行一级解码处理，且m-1层解码层依次串联，基于上一层解码处理的输出数据可确定下一层解码处理的输入数据。即基于第1层解码层的输出数据可确定第2层解码层的输入数据，基于第2层解码层的输出数据可确定第3层解码层的输入数据，…，基于第m-2层解码层的输出数据可确定第m-1层解码层的输入数据。示例性的，当m为大于或等于2的正整数时，m-1等于n。

上述解码层可以包括卷积层和上采样层，其中，上采样层可包括以下任意一种处理：双线性插值处理、最邻近插值处理、高阶插值、反卷积处理，本申请对上采样层的具体实现方式不做限定。

如步骤702所述，通过编码层对第三待处理图像进行编码处理从第三待处理图像中逐步提取出特征信息的同时，也将丢弃掉第三待处理图像中一些相对次要的特征信息，这些相对次要的特征信息中包含纹理特征信息、边缘特征信息等。因此可将编码层输出的特征图像与解码层输出的特征图像进行融合，以丰富语义特征图像中的纹理信息和边缘信息。

在一种可能实现的方式中，m为大于或等于2的正整数，且m-1等于n。通过将n级编码处理中的第i级编码处理输出的特征图像与所述m级第一解码处理中的第j级第一解码处理输出的特征图像融合，获得所述m级第一解码处理中第j+1级第一解码处理的输入数据，可丰富每一层解码层输出的特征图像中的纹理信息和边缘信息。可选的，上述第i级编码处理输出的特征图像的尺寸与第j级解码处理输出的特征图像的尺寸相同。

示例性的，上述融合可以是相加，即将进行融合的两张特征图像中相同位置的元素进行相加。本申请实施例中，两张图像中相同位置的元素可参见图9，如图9所示，元素a在图像A中的位置与元素j在图像B中的位置相同，元素b在图像A中的位置与元素k在图像B中的位置相同，元素c在图像A中的位置与元素l在图像B中的位置相同，元素d在图像A中的位置与元素m在图像B中的位置相同，元素e在图像A中的位置与元素n在图像B中的位置相同，元素f在图像A中的位置与元素o在图像B中的位置相同，元素g在图像A中的位置与元素p在图像B中的位置相同，元素h在图像A中的位置与元素q在图像B中的位置相同，元素i在图像A中的位置与元素r在图像B中的位置相同。

当m为大于或等于2的正整数时，第一特征提取处理中的第m层解码层与第二特征提取处理中的第m层解码层不同。如图8所示的第5层解码层和第6层解码层。可选的，若第一特征提取处理中的第m层解码层的结构与第二特征提取处理中的第m层解码层的结构相同(如两者均包含3层卷积层和1层上采样层，且3层卷积层和1层上采样层的堆叠方式相同)，可分别为第一特征提取处理中的第m层解码层与第二特征提取处理中的第m层解码层赋予不同的参数，以实现分别从第m-1层解码层输出的特征图像中提取出第二中间特征图像和第三中间特征图像。

从本步骤可以看出，第一特征提取处理和第二特征提取处理均可通过第1层解码层、第2层解码层、…、第m-1层解码层对第一中间特征图像进行解码处理，这样可减小数据处理量，提高处理速度。

704、以上述第一待处理图像为引导图像对上述第二中间特征图像进行滤波处理，使上述第二中间特征图像中的边缘在上述第二中间特征图像中的位置与上述第一待处理图像中的边缘在上述第一待处理图像中的位置相同，获得上述水平视差位移特征图像，以上述第一待处理图像为引导图像对上述第三中间特征图像进行滤波处理，使上述第三中间特征图像中的边缘在上述第三中间特征图像中的位置与上述第一待处理图像中的边缘在上述第一待处理图像中的位置相同，获得上述竖直视差位移特征图像。

本步骤的实现过程可参见步骤603，此处将不再赘述。

通过本实施例提供的技术方案对第一待处理图像和第二待处理图像进行第一特征提取处理和第二特征提取处理可减小数据处理量，提高处理速度。

通过实施例(二)至实施例(四)提供的技术方案可基于第一待处理图像获得修复后的第二待处理图像。进一步的，可基于第一待处理图像和修复后的第二待处理图像获得包含第一待处理图像和修复后的第二待处理图像的同名点之间的水平视差位移信息的视差图像。在一种可能实现的方式中，确定第一像素点与第一像素点在修复后的第二待处理图像中的同名点之间的第二水平视差位移，并可依据第二水平视差位移获得第一待处理图像与修复后的第二待处理图像之间的第一视差图像。

下文将详细阐述如何依据第一待处理图像和修复后的第二待处理图像获得第一待处理图像与修复后的第二待处理图像之间的第一视差图像。请参阅图10，图10为本申请实施例(五)提供的步骤203的一种可能实现的方式的流程图。

1001、分别对上述第一待处理图像和上述修复后的第二待处理图像进行特征提取处理，获得上述第一待处理图像的第一特征图像和上述修复后的第二待处理图像的第二特征图像。

与上述第一特征提取处理和第二特征提取处理相同，本实施例中对第一待处理图像和修复后的第二待处理图像执行的特征提取处理可以是编码处理，也可以是编码处理和解码处理的结合。其中，编码处理可以是卷积处理、池化处理，解码处理可以是双线性差值处理、邻近点插值处理、反卷积处理。对第一待处理图像执行的特征提取处理和对第二待处理图像执行的特征提取处理可以相同也可以不同。

在一种可能实现的方式中，对第一待处理图像执行的特征提取处理和对修复后的第二待处理图像执行的特征提取处理均可通过至少两层卷积层实现。即通过将第一待处理图像输入至上述至少两层卷积层，实现对第一待处理图像的特征提取处理，并通过将修复后的第二待处理图像输入至上述至少两层卷积层，实现对修复后的第二待处理图像的特征提取处理。可选的，上述至少两层卷积层中卷积层的数量为3。

通过分别对第一待处理图像和修复后的第二待处理图像进行特征提取处理，在缩小第一待处理图像和修复后的第二待处理图像的尺寸的同时，可从第一待处理图像中提取出第一特征图像，并从修复后的第二待处理图像中提取出第二特征图像。这样，可减小后续处理的数据处理量，提高处理速度。

1002、依据上述第一特征图像和上述第二特征图像之间的相关性，确定上述第一像素点与上述第一像素点在上述修复后的第二待处理图像中的同名点之间的第二水平视差位移。

上述相关性包括第一特征图像中的特征与第二特征图像中的特征的匹配度，第一特征图像和第二特征图像之间的相关性包括第一特征图像中的特征与第二特征图像中的特征之间的匹配度。依据第一特征图像中的特征和第二特征图像中的特征之间的相似度，可确定第一特征图像和第二特征图像中的同名点，进而可依据第一特征图像和第二特征图像中的同名点之间的第二水平视差位移获得第一视差图像。

在一种可能实现的方式中，第三像素点在第一特征图像中的位置与第一像素点在第一待处理图像中的位置相同，确定第三像素点的特征与第二特征图像中的像素点的特征之间的第一相似度，选取第二特征图像中第一相似度最大的像素点作为第三像素点的同名点(下文将称为第四像素点)。确定第三像素点和第四像素点之间的水平视差位移，获得第一视差图像。

在上述可能实现的方式中，第三像素点和第四像素点之间的水平视差位移即为第一像素点与第一像素点在修复后的第二待处理图像中的同名点之间的第二水平视差位移。

可选的，如步骤302所述，同一张图像中的多个像素点之间存在相关性，因此第一特征图像和第二特征图像之间的相关性还包括第一特征图像中的像素点邻域与第二特征图像中的像素点邻域之间的特征相似度。而依据第一特征图像中的像素点邻域与第二特征图像中的像素点邻域之间的特征相似度确定第一视差图像，可利用像素点邻域包含的像素点之间的相关性，进而可提高获得的第一视差图像的准确率。本实施例中的像素点邻域的大小可依据实际使用效果进行调整，本申请对此不作限定。上述第一特征图像中的像素点邻域与第二特征图像中的像素点邻域的大小可以相同，也可以不同。

在一种确定第一特征图像中的像素点邻域与第二特征图像中的像素点邻域之间的特征相似度的实现方式中，将第一特征图像中的像素点邻域作为卷积核对第二特征图像中的像素点邻域进行卷积处理，获得第一特征图像中的像素点邻域与第二特征图像中的像素点邻域之间的第一特征相似度。依据第一特征相似度的最大值确定第一特征图像中的像素点邻域与第二特征图像中的像素点邻域之间的特征相似度。在另一种确定第一特征图像中的像素点邻域与第二特征图像中的像素点邻域之间的特征相似度的实现方式中，将第二特征图像中的像素点邻域作为卷积核对第一特征图像中的像素点邻域进行卷积处理，获得第一特征图像中的像素点邻域与第二特征图像中的像素点邻域之间的第二特征相似度。依据第一特征相似度的最大值确定第一特征图像中的像素点邻域与第二特征图像中的像素点邻域之间的特征相似度。可选的，上述第一特征图像中的像素点邻域的大小与上述第二特征图像中的像素点邻域的大小相等。

1003、依据上述第二水平视差位移获得上述第一视差图像。

在通过步骤1002获得第二水平视差位移后，即可依据第二水平视差位移获得第一视差图像。

本实施例依据第一待处理图像的第一特征图像和修复后的第二待处理图像的第二特征图像之间的相关性，可确定第一特征图像与第二特征图像之间的视差图像，即第一待处理图像与修复后的第二待处理图像之间的第一视差图像。而修复后的第二待处理图像可通过实施例(一)提供的技术方案和/或实施例(二)提供的技术方案获得，因此，本实施例提供的技术方案在结合实施例(一)提供的技术方案和/或实施例(二)提供的技术方案后，可提高基于第一待处理图像和第二待处理图像获得的视差图像的精度，即在利用本申请实施例提供的技术方案可在双目图像中的两张图像的图像质量不一致的情况下，提升基于双目图像获得的视差图像的精度。

由于在步骤1001中对第一待处理图像和修复后的第二待处理图像执行的特征提取处理可以是卷积处理、池化处理，而对第一待处理图像和修复后的第二待处理图像执行卷积处理或池化处理均会使第一待处理图像和修复后的第二待处理图像的分辨率减小。因此，通过实施例(五)获得的第一视差图像的分辨率小于第一待处理图像的分辨率(或修复后的第二待处理图像的分辨率)。基于此，本申请实施例还提供了一种提高第一视差图像的分辨率的技术方案，通过该技术方案可将第一视差图像的分辨率提高至与第一待处理图像的分辨率相同(或与修复后的第二待处理图像的分辨率相同)。

在一种提高第一视差图像的分辨率的可能实现的方式中，通过对第一视差图像和第一特征图像进行编码处理，可获得第三特征图像。对第三特征图像进行解码处理，可获得分辨率大于第一视差图像的分辨率的第一待处理图像与修复后的第二待处理图像之间的第二视差图像。

上述编码处理和解码处理的实现方式可参见步骤702和步骤703，此处将不再赘述。可选的，上述编码处理和解码处理可通过提高分辨率的卷积神经网络实现，通过对该提高分辨率的卷积神经网络进行监督训练，可使该提高分辨率的卷积神经网络具备提高输入的图像的分辨率的能力。

在上述提高第一视差图像的分辨率的可能实现的方式中，对第一视差图像和第一特征图像进行编码处理，获得第三特征图像可包括以下步骤：对第一特征图像和第一待处理图像进行拼接处理，获得第四待处理图像。对第四待处理图像进行编码处理，获得上述第三特征图像。

可选的，在对第一视差图像和第一特征图像进行拼接处理，获得第四待处理图像之前，可对第一特征图像进行特征提取处理，在将第一特征图像的尺寸减小至与第一视差图像的尺寸相同，同时提取出第一特征图像的特征，获得第一特征图像的第四特征图像。对第四特征图像和第一视差图像进行拼接处理，获得上述第四待处理图像。这样可减小后续对第四待处理图像进行处理所需的数据处理量，提高处理速度。

本申请实施例还提供了一种双目图像处理网络，可用于实现实施例(一)至实施例(五)中的方法。该双目图像处理网络包括图像修复子网络和视差图像生成子网络。请参阅图11和图12，图11为本公开实施例(六)提供的一种图像修复子网络的结构示意图，图12为本申请实施例(六)提供的一种视差图像生成子网络的结构示意图。需要理解，图11和图12给出的网络结构仅为示例性说明，实际应用中可以结合具体需求来进行调整，本申请对此并不限定。

如图11所示，图像修复子网络的输入为第一待处理图像和第二待处理图像拼接(concatenate)后的图像，即第三待处理图像。第三待处理图像输入至图像修复子网络后，依次经3层卷积层的卷积处理，再依次经4层编码层的处理获得第一中间特征图像。上述4层编码层对卷积层输出的数据的处理过程可参见步骤602，此处将不再赘述。其中，编码层的结构可参见图13，如图13所示，输入编码层的数据依次经下采样层的处理和3层卷积层的处理，获得编码层的输出数据。

第一中间特征数据再依次经3层解码层的处理以及1层上采样层的处理获得第四中间特征图像。上述3层解码层对第一中间特征图像的处理过程可参见步骤603，此处将不再赘述。其中，解码层的结构可参见图14，如图14所示，输入解码层的数据依次经上采样层的处理和3层卷积层的处理，获得解码层的输出数据。为丰富解码层获得的特征图像中的纹理信息和边缘信息，在上述3层解码层对输入的数据进行解码处理以及解码层后的上采样层对输入的数据进行上采样处理的过程中，可将编码层输出的特征图像与解码层输出的特征图像(或上采样层输出的特征图像)进行融合，即将编码层输出的特征图像与解码层中的上采样层输出的特征图像进行融合。

第四中间特征图像再分别输入两个不同的分支(即前文中所提及的“解码分支”)，上述两个分支的结构相同，均由4层卷积层和一层深度引导滤波层组成，但两个分支的参数不同。第四中间特征图像经其中一个分支的处理，可获得水平方向视差位移特征图像，第四中间特征图像经另一个分支的处理，可获得竖直方向视差位移特征图像。上述深度引导滤波层对输入的数据的处理过程可参见步骤503中对水平视差位移特征图像和/或竖直视差位移特征图像进行滤波处理的实现过程，此处将不再赘述。

在通过上述两个分支分别获得水平方向视差位移特征图像和竖直方向视差位移特征图像后，可对水平方向视差位移特征图像和竖直方向视差位移特征图像进行叉乘，并将叉乘获得的结果与第一待处理图像进行点乘。该过程即为步骤503中的使用水平视差位移特征图像和上述竖直视差位移特征图像分别作为卷积核对上述第一待处理图像进行卷积处理的过程。将叉乘获得的结果与第一待处理图像进行点乘可获得修复后的第二待处理图像。

在获得修复后的第二待处理图像后，可将修复后的第二待处理图像和第一待处理图像输入至视差图像生成子网络。如图12所示，修复后的第二待处理图像和第一待处理图像输入至视差图像生成子网络后，分别通过4层卷积层对修复后的第二待处理图像和第一待处理图像进行卷积处理，以实现分别对上述第一待处理图像和上述修复后的第二待处理图像进行特征提取处理，获得上述第一待处理图像的第一特征图像和上述修复后的第二待处理图像的第二特征图像。

经相关联层(correlation layer)对第一特征图像和第二特征图像进行处理，可确定第一特征图像和第二特征图像之间的相关性。上述相关联层(correlation layer)对第一特征图像和第二特征图像的处理过程可参见步骤902中确定第一特征图像和第二特征图像之间的相关性的实现过程，此处将不再赘述。在通过4层卷积层对相关联层输出的数据进行处理，可获得第一视差图像。

为了将第一视差图像的分辨率提高至与第一待处理图像的分辨率(或修复后的第二待处理图像的分辨率)相同，经4层卷积层对第二特征图像进行处理后获得的第四特征图像，再将第四特征图像与第一视差图像拼接获得第四待处理图像。经一层或多层编码层(图13所示为2层编码层)对第四待处理图像进行处理获得第三特征图像，并经一层或多层解码层对第三特征图像进行处理获得第二视差图像。

需要理解的是，上述双目图像处理网络中不同网络层的数量仅为示例，在实际使用中，可适当调整，例如，解码层中的卷积层可取为4层。本申请对双目图像处理网络中网络层的数量不做限定。

使用本实施例提供的图像修复子网络可基于第一待处理图像和第二待处理图像获得修复后的第二待处理图像，以实现在双目图像中两张图像的图像质量不一致的情况下，减小双目图像中两张图像的差异。图像修复子网络基于第一待处理图像和第二待处理图像获得修复后的第二待处理图像的能力可通过对图像修复子网络的训练获得，为此，本申请实施例还提供了上述图像修复子网络的一种训练方法。

从实施例(一)至实施例(五)中可以看出，通过使用水平视差位移特征图像和/或竖直视差位移特征图像对第一待处理图像进行卷积处理可获得修复后的第二待处理图像。因此图像修复子网络是否能够基于第一待处理图像和第二待处理图像获得水平视差位移特征图像和竖直视差位移特征图像将决定图像修复子网络是否能够基于第一待处理图像和第二待处理图像获得修复后的第二待处理图像。

水平视差位移特征图像包含第一待处理图像和第二待处理图像中的同名点之间的水平视差位移信息，竖直视差位移特征图像包含第一待处理图像和第二待处理图像中的同名点之间的竖直视差位移信息。在理想状态下，水平视差位移特征图像中的水平视差位移信息应与第一待处理图像与第二待处理图像中的同名点的真实水平视差位移相同，竖直视差位移特征图像中的竖直视差位移信息应与第一待处理图像与第二待处理图像中的同名点的真实竖直视差位移相同。但由于获得的第一待处理图像和第二待处理图像之间的真实水平视差位移和真实竖直视差位移的难度很大，本申请实施例采用衡量第二待处理图像与修复后的第二待处理图像之间的差异的方式衡量图像修复子网络的修复效果。

由于修复后的第二待处理图像的拍摄视角与第二待处理图像的视角相同，因此第二待处理图像中对象的轮廓的位置应与第二待处理图像中对象的轮廓的位置相同，第二待处理图像中对象的轮廓的位置与修复后的第二待处理图像中对象的轮廓的位置之间的差异越小，第二待处理图像与修复后的第二待处理图像中相同位置的像素点的差异就越小。为此，本实施例依据第二待处理图像与修复后的第二待处理图像中相同位置的像素点之间的差异确定第一损失。进而可以第一损失监督图像修复子网络的训练，调整图像修复子网络的参数。在一种可能实现的方式中，通过衡量第二待处理图像与修复后的第二待处理图像的1-范数可确定第二待处理图像与修复后的第二待处理图像中相同位置的像素点之间的差异。

此外，第二待处理图像中对象的轮廓的位置与修复后的第二待处理图像中对象的轮廓的位置之间的差异越小，修复后的第二待处理图像与第二待处理图像在人的视觉上的差异也越小。可选的，依据上述第一损失和修复后的第二待处理图像与第二待处理图像在人的视觉上的差异可确定第二损失，进而可以第二损失监督图像修复子网络的训练，调整图像修复子网络的参数。在一种可能实现的方式中，可通过下式确定第二损失：

其中，I_R为第二待处理图像，

为修复后的第二待处理图像。α为大于0且小于1的自然数，可选的α＝0.84。

为

的1-范数。

为

与I_R之间的多层级结构相似性(multi scale structural similarity index，MS-SSIM)。

上述

与

之间的多层级结构相似性可用于衡量修复后的第二待处理图像与第二待处理图像在人的视觉上的差异。

与I_R之间的多层级结构相似性包括在

与I_R在不同分辨率下的差异。例如，

的分辨率与I_R的分辨率均为a，并衡量

与I_R之间的差异获得第一差异。通过调整

的分辨率与I_R的分辨率使调整后的

的分辨率与I_R的分辨率均为b，并衡量调整后的

与调整后的I_R之间的差异获得第二差异。依据第一差异和第二差异可确定

与I_R之间的多层级结构相似性，如：将第一差异和第二差异的和作为

与I_R之间的多层级结构相似性。

第二待处理图像中对象的轮廓的位置与修复后的第二待处理图像中对象的轮廓的位置之间的差异越小，第二待处理图像的图像语义与修复后的第二待处理图像的图像语义的差异越小。可选的，可通过衡量第二待处理图像的图像语义与修复后的第二待处理图像的图像语义之间的差异确定第三损失，依据第二损失和第三损失确定图像修复子网络的总损失，并以总损失监督图像修复子网络的训练，调整图像修复子网络的参数。在一种可能实现的方式中，通过衡量第二待处理图像的特征图像和修复后的第二待处理图像的特征图像之间差异可确定第二待处理图像的图像语义与修复后的第二待处理图像的图像语义之间的差异，该过程可参见下式：

其中，

为将修复后的第二待处理图像输入至VGG-19中的第j层网络输出的特征图像，ψ_j(I_R)为将修复后的第二待处理图像输入至VGG-19中的第j层网络输出的特征图像。

为

的2-范数。

为VGG-19中的第j层网络输出的特征图像的通道数，

为VGG-19中的第j层网络输出的特征图像的高，w_j为VGG-19中的第j层网络输出的特征图像的宽。可选的，上述VGG-19中的第j层网络为VGG-19中的relu4_4。

在确定第二损失和第三损失后，可依据下式确定图像修复子网络的总损失：

其中，β为大于0且小于1的自然数，可选的β＝0.5。

在通过公式(3)获得图像修复子网络的总损失后，可基于该总损失对图像修复子网络进行反向梯度传播，并更新图像修复子网络的参数完成对图像修复子网络的训练。

本实施例还提供了一种视差图像生成子网络的训练方法，通过衡量视差图像生成子网络获得的第二视差图像与真实视差图像之间的差异可确定视差图像生成子网络的损失(下文将称为第四损失)。上述真实视差图像为第一待处理图像与第二待处理图像之间的真实视差图像。在一种可能实现的方式中，通过下式可获得第四损失：

其中，

为第二视差图像在第n个尺度下的图像，d_n为真实视差图像在第n个尺度下的图像，N为尺度的数量，N为正整数。

上述尺度包括分辨率，第二视差图像在第n个尺度下的图像包括将第二视差图像的分辨率调整至与第n个分辨率相同获得的图像，同理，真实视差图像在第n个尺度下的图像包括将第二视差图像的分辨率调整至与第n个分辨率相同获得的图像。

获得第四损失后，可基于第四损失调整视差图像生成子网络的参数。

本实施例提供了一种双目图像处理网络，通过该双目图像处理网络可基于第一待处理图像和第二待处理图像获得修复后的第二待处理图像，并可基于修复后的第二待处理图像和第一待处理图像获得第二视差图像。本实施例还提供了一种双目图像处理网络的训练方法，通过对双目图像处理网络进行训练可提高双目图像处理网络的性能，进而减小获得的修复后的第二待处理图像与第二待处理图像之间的差异，提升第二视差图像的精度。

基于实施例(一)至实施例(六)提供的图像处理方法，本公开实施例(七)提供了一种可能实现的应用场景。

随着智能手机的配置的快速发展，智能手机上装载的摄像头的数量越来越多，如广角摄像头(wide)和长焦摄像头(tele)。以广角摄像头和长焦摄像头为例，通过广角摄像头和长焦摄像头对场景或对象同时进行拍摄可获得双目图像，并可基于该双目图像获得视差图以及深度图。但由于广角摄像头和长焦摄像头的硬件配置不一样，导致获得双目图像中两张图像的图像质量不同，进而导致获得的视差图的精度低或获得的深度图的精度低。

采用本申请实施例提供的技术方案可对广角摄像头和长焦摄像头采集的双目图像进行修复，进而减小双目图像中两张图像的图像质量的差异，进而提高获得的视差图的精度低或获得的深度图的精度低。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参阅图15，图15为本申请实施例提供的一种图像处理装置的结构示意图，该装置1包括：获取单元11、第一处理单元12、第二处理单元13、卷积处理单元14、编码处理单元15以及解码处理单元16，其中：

获取单元11，用于获取双目图像，所述双目图像包括第一待处理图像和第二待处理图像，所述第一待处理图像的图像质量高于所述第二待处理图像的图像质量；

第一处理单元12，用于依据所述第一待处理图像和所述第二待处理图像，获得修复后的第二待处理图像，所述修复后的第二待处理图像的图像视角与所述第二待处理图像的图像视角相同，所述修复后的第二待处理图像的图像质量高于所述第二待处理图像的图像质量；

第二处理单元13，用于依据所述第一待处理图像和所述修复后的第二待处理图像，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第一视差图像。

在一种可能实现的方式中，所述第一处理单元12用于：对所述第一待处理图像和所述第二待处理图像进行第一特征提取处理，获得水平视差位移特征图像，所述水平视差位移特征图像包含所述第一待处理图像中的第一像素点与所述第二待处理图像中的第二像素点之间的第一水平视差位移，所述第一像素点与所述第二像素点为同名点；

将所述水平视差位移特征图像作为卷积核对所述第一待处理图像进行卷积处理，获得所述修复后的第二待处理图像。

在一种可能实现的方式中，所述第一处理单元12，还用于在所述获取双目图像之后，对所述第一待处理图像和所述第二待处理图像进行第二特征提取处理，获得竖直视差位移特征图像，所述竖直视差位移特征图像包含所述第一像素点与所述第二像素点之间的竖直视差位移；

所述第一处理单元，还用于将所述水平视差位移特征图像和所述竖直视差位移特征图像分别作为卷积核对所述第一待处理图像进行卷积处理，获得所述修复后的第二待处理图像。

在另一种可能实现的方式中，所述第一处理单元12具体用于：

依据所述第一水平视差位移，获得水平视差卷积核；

使用所述水平视差卷积核对所述第一像素点进行卷积处理，获得所述修复后的第二待处理图像。

在又一种可能实现的方式中，所述第一处理单元12用于：

对所述第一待处理图像和所述第二待处理图像进行拼接处理，获得第三待处理图像；对所述第三待处理图像进行n级编码处理，获得第一中间特征图像，所述n为正整数；

对所述第一中间特征图像进行m级第一解码处理，获得所述水平视差位移特征图像，所述m为正整数。

在又一种可能实现的方式中，所述第一处理单元12具体用于：

将所述n级编码处理中的第i级编码处理输出的特征图像与所述m级第一解码处理中的第j级第一解码处理输出的特征图像融合，获得所述m级第一解码处理中第j+1级第一解码处理的输入数据，所述i为小于或等于所述n的正整数，所述j为小于或等于m-1的正整数。

在又一种可能实现的方式中，所述第一处理单元12具体用于：

对所述中间特征图像进行所述m级第一解码处理，获得第二中间特征图像；

以所述第一待处理图像为引导图像对所述第二中间特征图像进行滤波处理，使所述第二中间特征图像中的边缘在所述第二中间特征图像中的位置与所述第一待处理图像中的边缘在所述第一待处理图像中的位置相同，获得所述水平视差位移特征图像。

在又一种可能实现的方式中，所述第二处理单元13用于：

分别对所述第一待处理图像和所述修复后的第二待处理图像进行特征提取处理，获得所述第一待处理图像的第一特征图像和所述修复后的第二待处理图像的第二特征图像；

依据所述第一特征图像和所述第二特征图像之间的相关性，确定所述第一像素点与所述第一像素点在所述修复后的第二待处理图像中的同名点之间的第二水平视差位移；

依据所述第二水平视差位移获得所述第一视差图像。

在又一种可能实现的方式中，所述装置还包括：卷积处理单元14，用于在所述依据所述第一特征图像和所述第二特征图像之间的相关性，获得所述第一视差图像之前，将所述第一特征图像中的像素点邻域作为卷积核对所述第二特征图像中的像素点邻域进行卷积处理，确定所述第一特征图像和所述第二特征图像之间的相关性；或，

将所述第二特征图像中的像素点邻域作为卷积核对所述第一特征图像中的像素点邻域进行卷积处理，获得所述第一特征图像和所述第二特征图像之间的相关性。

在又一种可能实现的方式中，所述装置1还包括：

编码处理单元15，用于对所述第一视差图像和所述第一特征图像进行编码处理，获得第三特征图像；

解码处理单元16，用于对所述第三特征图像进行解码处理，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第二视差图像，所述第二视差图像的分辨率大于所述第一视差图像的分辨率。

在又一种可能实现的方式中，所述编码处理单元15用于：

对所述第一特征图像和所述第一待处理图像进行拼接处理，获得第四待处理图像；

对所述第四待处理图像进行编码处理，获得所述第三特征图像。

在又一种可能实现的方式中，所述特征提取处理单元12，还用于在所述对所述第一视差图像和所述第一特征图像进行拼接处理，获得第四待处理图像之前，对所述第一特征图像进行特征提取处理，获得所述第一特征图像的第四特征图像；

所述编码处理单元15具体用于：对所述第四特征图像和所述第一视差图像进行拼接处理，获得所述第四待处理图像。

本实施例依据第一待处理图像和第二待处理图像获得修复后的第二待处理图像，使第一待处理图像的图像质量与修复后的第二待处理图像的图像质量之间的差异小于第一待处理图像的图像质量与第二待处理图像的图像质量。进而依据第一待处理图像和修复后的第二待处理图像获得的第一视差图像的精度比依据第一待处理图像和第二待处理图像获得的视差图像的精度高。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

图16为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

处理器21可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。

存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输出装置23和输入装置24可以是独立的器件，也可以是一个整体的器件。

可理解，本申请实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关图像，如该存储器22可用于存储通过输入装置23获取的第一待处理图像和第二待处理图像，又或者该存储器22还可用于存储通过处理器21获得的修复后的第二待处理图像和第一视差图像等等，本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图16仅仅示出了一种图像处理装置的简化设计。在实际应用中，图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-onlymemory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (27)

1.一种图像处理方法，其特征在于，所述方法包括：

获取双目图像，所述双目图像包括第一待处理图像和第二待处理图像，所述第一待处理图像的图像质量高于所述第二待处理图像的图像质量；

依据所述第一待处理图像和所述第二待处理图像，获得修复后的第二待处理图像，所述修复后的第二待处理图像的图像视角与所述第二待处理图像的图像视角相同，所述修复后的第二待处理图像的图像质量高于所述第二待处理图像的图像质量；

依据所述第一待处理图像和所述修复后的第二待处理图像，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第一视差图像。

2.根据权利要求1所述的方法，其特征在于，所述依据所述第一待处理图像和所述第二待处理图像，获得修复后的第二待处理图像，包括：

对所述第一待处理图像和所述第二待处理图像进行第一特征提取处理，获得水平视差位移特征图像，所述水平视差位移特征图像包含所述第一待处理图像中的第一像素点与所述第二待处理图像中的第二像素点之间的第一水平视差位移，所述第一像素点与所述第二像素点为同名点；

将所述水平视差位移特征图像作为卷积核对所述第一待处理图像进行卷积处理，获得所述修复后的第二待处理图像。

3.根据权利要求2所述的方法，其特征在于，在所述获取双目图像之后，所述方法还包括：

对所述第一待处理图像和所述第二待处理图像进行第二特征提取处理，获得竖直视差位移特征图像，所述竖直视差位移特征图像包含所述第一像素点与所述第二像素点之间的竖直视差位移；

所述将所述水平视差位移特征图像作为卷积核对所述第一待处理图像进行卷积处理，获得所述第二待处理图像的视角下的修复后的第二待处理图像，包括：

将所述水平视差位移特征图像和所述竖直视差位移特征图像分别作为卷积核对所述第一待处理图像进行卷积处理，获得所述修复后的第二待处理图像。

4.根据权利要求2所述的方法，其特征在于，所述将所述水平视差位移特征图像作为卷积核对所述第一待处理图像进行卷积处理，获得修复后的第二待处理图像，包括：

依据所述第一水平视差位移，获得水平视差卷积核；

使用所述水平视差卷积核对所述第一像素点进行卷积处理，获得所述修复后的第二待处理图像。

5.根据权利要求2至4中任意一项所述的方法，其特征在于，所述对所述第一待处理图像和所述第二待处理图像进行第一特征提取处理，获得水平视差位移特征图像，包括：

对所述第一待处理图像和所述第二待处理图像进行拼接处理，获得第三待处理图像；

对所述第三待处理图像进行n级编码处理，获得第一中间特征图像，所述n为正整数；

对所述第一中间特征图像进行m级第一解码处理，获得所述水平视差位移特征图像，所述m为正整数。

6.根据权利要求5所述的方法，其特征在于，所述对所述第一中间特征图像进行m级第一解码处理，获得所述水平视差位移特征图像，包括：

将所述n级编码处理中的第i级编码处理输出的特征图像与所述m级第一解码处理中的第j级第一解码处理输出的特征图像融合，获得所述m级第一解码处理中第j+1级第一解码处理的输入数据，所述i为小于或等于所述n的正整数，所述j为小于或等于m-1的正整数。

7.根据权利要求5所述的方法，其特征在于，所述对所述第一中间特征图像进行m级第一解码处理，获得所述水平视差位移特征图像，包括：

对所述中间特征图像进行所述m级第一解码处理，获得第二中间特征图像；

以所述第一待处理图像为引导图像对所述第二中间特征图像进行滤波处理，使所述第二中间特征图像中的边缘在所述第二中间特征图像中的位置与所述第一待处理图像中的边缘在所述第一待处理图像中的位置相同，获得所述水平视差位移特征图像。

8.根据权利要求2所述的方法，其特征在于，所述依据所述第一待处理图像和所述修复后的第二待处理图像，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第一视差图像，包括：

分别对所述第一待处理图像和所述修复后的第二待处理图像进行特征提取处理，获得所述第一待处理图像的第一特征图像和所述修复后的第二待处理图像的第二特征图像；

依据所述第一特征图像和所述第二特征图像之间的相关性，确定所述第一像素点与所述第一像素点在所述修复后的第二待处理图像中的同名点之间的第二水平视差位移；

依据所述第二水平视差位移获得所述第一视差图像。

9.根据权利要求8所述的方法，其特征在于，在所述依据所述第一特征图像和所述第二特征图像之间的相关性，获得所述第一视差图像之前，所述方法还包括：

将所述第一特征图像中的像素点邻域作为卷积核对所述第二特征图像中的像素点邻域进行卷积处理，确定所述第一特征图像和所述第二特征图像之间的相关性；或，

将所述第二特征图像中的像素点邻域作为卷积核对所述第一特征图像中的像素点邻域进行卷积处理，获得所述第一特征图像和所述第二特征图像之间的相关性。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

对所述第一视差图像和所述第一特征图像进行编码处理，获得第三特征图像；

对所述第三特征图像进行解码处理，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第二视差图像，所述第二视差图像的分辨率大于所述第一视差图像的分辨率。

11.根据权利要求10所述的方法，其特征在于，所述对所述第一视差图像和所述第一特征图像进行编码处理，获得第三特征图像，包括：

对所述第一特征图像和所述第一待处理图像进行拼接处理，获得第四待处理图像；

对所述第四待处理图像进行编码处理，获得所述第三特征图像。

12.根据权利要求11所述的方法，其特征在于，在所述对所述第一视差图像和所述第一特征图像进行拼接处理，获得第四待处理图像之前，所述方法还包括：

对所述第一特征图像进行特征提取处理，获得所述第一特征图像的第四特征图像；

所述对所述第一视差图像和所述第一特征图像进行拼接处理，获得第四待处理图像，包括：

对所述第四特征图像和所述第一视差图像进行拼接处理，获得所述第四待处理图像。

13.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取双目图像，所述双目图像包括第一待处理图像和第二待处理图像，所述第一待处理图像的图像质量高于所述第二待处理图像的图像质量；

第一处理单元，用于依据所述第一待处理图像和所述第二待处理图像，获得修复后的第二待处理图像，所述修复后的第二待处理图像的图像视角与所述第二待处理图像的图像视角相同，所述修复后的第二待处理图像的图像质量高于所述第二待处理图像的图像质量；

第二处理单元，用于依据所述第一待处理图像和所述修复后的第二待处理图像，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第一视差图像。

14.根据权利要求13所述的装置，其特征在于，所述第一处理单元用于：

对所述第一待处理图像和所述第二待处理图像进行第一特征提取处理，获得水平视差位移特征图像，所述水平视差位移特征图像包含所述第一待处理图像中的第一像素点与所述第二待处理图像中的第二像素点之间的第一水平视差位移，所述第一像素点与所述第二像素点为同名点；

将所述水平视差位移特征图像作为卷积核对所述第一待处理图像进行卷积处理，获得所述修复后的第二待处理图像。

15.根据权利要求14所述的装置，其特征在于，所述第一处理单元，还用于在所述获取双目图像之后，对所述第一待处理图像和所述第二待处理图像进行第二特征提取处理，获得竖直视差位移特征图像，所述竖直视差位移特征图像包含所述第一像素点与所述第二像素点之间的竖直视差位移；

所述第一处理单元，还用于将所述水平视差位移特征图像和所述竖直视差位移特征图像分别作为卷积核对所述第一待处理图像进行卷积处理，获得所述修复后的第二待处理图像。

16.根据权利要求14所述的装置，其特征在于，所述第一处理单元用于：

依据所述第一水平视差位移，获得水平视差卷积核；

使用所述水平视差卷积核对所述第一像素点进行卷积处理，获得所述修复后的第二待处理图像。

17.根据权利要求14至16中任意一项所述的装置，其特征在于，所述第一处理单元用于：

对所述第一待处理图像和所述第二待处理图像进行拼接处理，获得第三待处理图像；

对所述第三待处理图像进行n级编码处理，获得第一中间特征图像，所述n为正整数；

对所述第一中间特征图像进行m级第一解码处理，获得所述水平视差位移特征图像，所述m为正整数。

18.根据权利要求17所述的装置，其特征在于，所述第一处理单元用于：

将所述n级编码处理中的第i级编码处理输出的特征图像与所述m级第一解码处理中的第j级第一解码处理输出的特征图像融合，获得所述m级第一解码处理中第j+1级第一解码处理的输入数据，所述i为小于或等于所述n的正整数，所述j为小于或等于m-1的正整数。

19.根据权利要求17所述的装置，其特征在于，所述第一处理单元用于：

对所述中间特征图像进行所述m级第一解码处理，获得第二中间特征图像；

以所述第一待处理图像为引导图像对所述第二中间特征图像进行滤波处理，使所述第二中间特征图像中的边缘在所述第二中间特征图像中的位置与所述第一待处理图像中的边缘在所述第一待处理图像中的位置相同，获得所述水平视差位移特征图像。

20.根据权利要求14所述的装置，其特征在于，所述第二处理单元用于：

分别对所述第一待处理图像和所述修复后的第二待处理图像进行特征提取处理，获得所述第一待处理图像的第一特征图像和所述修复后的第二待处理图像的第二特征图像；

依据所述第一特征图像和所述第二特征图像之间的相关性，确定所述第一像素点与所述第一像素点在所述修复后的第二待处理图像中的同名点之间的第二水平视差位移；

依据所述第二水平视差位移获得所述第一视差图像。

21.根据权利要求20所述的装置，其特征在于，所述装置还包括：

卷积处理单元，用于在所述依据所述第一特征图像和所述第二特征图像之间的相关性，获得所述第一视差图像之前，将所述第一特征图像中的像素点邻域作为卷积核对所述第二特征图像中的像素点邻域进行卷积处理，确定所述第一特征图像和所述第二特征图像之间的相关性；或，

将所述第二特征图像中的像素点邻域作为卷积核对所述第一特征图像中的像素点邻域进行卷积处理，获得所述第一特征图像和所述第二特征图像之间的相关性。

22.根据权利要求20所述的装置，其特征在于，所述装置还包括：

编码处理单元，用于对所述第一视差图像和所述第一特征图像进行编码处理，获得第三特征图像；

解码处理单元，用于对所述第三特征图像进行解码处理，获得所述第一待处理图像与所述修复后的第二待处理图像之间的第二视差图像，所述第二视差图像的分辨率大于所述第一视差图像的分辨率。

23.根据权利要求22所述的装置，其特征在于，所述编码处理单元用于：

对所述第一特征图像和所述第一待处理图像进行拼接处理，获得第四待处理图像；

对所述第四待处理图像进行编码处理，获得所述第三特征图像。

24.根据权利要求23所述的装置，其特征在于，所述特征提取处理单元，还用于在所述对所述第一视差图像和所述第一特征图像进行拼接处理，获得第四待处理图像之前，对所述第一特征图像进行特征提取处理，获得所述第一特征图像的第四特征图像；

所述编码处理单元具体用于：

对所述第四特征图像和所述第一视差图像进行拼接处理，获得所述第四待处理图像。

25.一种处理器，其特征在于，所述处理器用于执行如权利要求1至12中任意一项所述的方法。

26.一种电子设备，其特征在于，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至12中任一项所述的方法。

27.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行权利要求1至12中任意一项所述的方法。

Images