CN118229542A - 图像融合方法、图像融合装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供一种图像融合方法、装置、存储介质与电子设备，涉及图像与视频处理技术领域。该方法包括：获取经过配准的第一图像和第二图像，根据配准参数确定视差信息；利用视差信息从第一图像与第二图像的视场交集区域中划分出多个深度区域；在第一图像的每个深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在第二图像的每个深度区域内确定出一种或多种第二图像频率分割区域；分别对各深度区域内的第一图像频率分割区域和第二图像频率分割区域进行比较，根据比较结果确定各深度区域对应的融合权重；基于融合权重融合第一图像和第二图像。本公开有利于确定合适的融合权重，提升图像融合效果。

Description

图像融合方法、图像融合装置、存储介质与电子设备

技术领域

本公开涉及图像与视频处理技术领域，尤其涉及一种图像融合方法、图像融合装置、计算机可读存储介质与电子设备。

背景技术

在图像与视频处理中，经常需要将两张图像进行融合，以得到一张质量更高的图像。例如，用户使用配置多个摄像头的终端(如手机)进行拍摄时，将不同摄像头所拍摄的图像融合，能够实现超过单摄像头的拍摄效果。

相关技术中，在进行图像融合时，难以确定合适的融合权重(或比例)，导致图像融合效果不佳。

发明内容

本公开提供一种图像融合方法、图像融合装置、计算机可读存储介质与电子设备，以至少在一定程度上解决相关技术中难以确定合适的融合权重的问题。

根据本公开的第一方面，提供一种图像融合方法，包括：获取经过配准的第一图像和第二图像，根据配准参数确定所述第一图像和所述第二图像的视差信息；利用所述视差信息从所述第一图像与所述第二图像的视场交集区域中划分出多个深度区域；不同的深度区域具有不同的深度；在所述第一图像的每个所述深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在所述第二图像的每个所述深度区域内确定出图像频率满足所述频率分割条件的一种或多种第二图像频率分割区域；分别对各所述深度区域内的所述第一图像频率分割区域和所述第二图像频率分割区域进行比较，根据比较结果确定各所述深度区域对应的融合权重；基于所述融合权重融合所述第一图像和所述第二图像。

根据本公开的第二方面，提供一种图像融合装置，包括：图像获取模块，被配置为获取经过配准的第一图像和第二图像，根据配准参数确定所述第一图像和所述第二图像的视差信息；深度区域划分模块，被配置为利用所述视差信息从所述第一图像与所述第二图像的视场交集区域中划分出多个深度区域；不同的深度区域具有不同的深度；频率分割区域确定模块，被配置为在所述第一图像的所述深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在所述第二图像的所述深度区域内确定出图像频率满足所述频率分割条件的一种或多种第二图像频率分割区域；融合权重确定模块，被配置为分别对各所述深度区域内的所述第一图像频率分割区域和所述第二图像频率分割区域进行比较，根据比较结果确定各所述深度区域对应的融合权重；图像融合处理模块，被配置为基于所述融合权重融合所述第一图像和所述第二图像。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像融合方法及其可能的实现方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的图像融合方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

一方面，通过自适应的深度区域分割，以及在各深度区域内比较第一图像频率分割区域和第二图像频率分割区域，得到分区域的、合适的融合权重，使得融合权重能够适应第一图像、第二图像在不同深度区间内的具体图像状况，从而实现图像的精细融合，提升融合效果。另一方面，本方案计算量较低，且不需要额外信息的辅助，具有较低的实现成本。

附图说明

图1示出本示例性实施方式运行环境的***架构图；

图2示出本示例性实施方式中一种图像融合方法的流程图；

图3示出本示例性实施方式中裁剪的实例图；

图4示出本示例性实施方式中亮度校正的实例图；

图5示出本示例性实施方式中颜色校正的实例图；

图6示出本示例性实施方式中亮度补偿的流程图；

图7示出本示例性实施方式中颜色补偿的流程图；；

图8示出本示例性实施方式中GMM拟合的示意图；

图9示出本示例性实施方式中确定视差遮挡区域的流程图；

图10示出本示例性实施方式中确定融合权重的流程图；

图11示出本示例性实施方式中一种图像融合方法的示意性流程图；

图12示出本示例性实施方式中一种图像融合装置的结构示意图；

图13示出本示例性实施方式中一种电子设备的结构示意图。

具体实施方式

下文将结合附图更全面地描述本公开的示例性实施方式。

附图为本公开的示意性图解，并非一定是按比例绘制。附图中所示的一些方框图可能是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在硬件模块或集成电路中实现这些功能实体，或在网络、处理器或微控制器中实现这些功能实体。实施方式能够以多种形式实施，不应被理解为限于在此阐述的范例。本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或多个实施方式中。在下文的描述中，提供许多具体细节从而给出对本公开实施方式的充分说明。然而，本领域技术人员应意识到，可以在实现本公开的技术方案时省略其中的一个或多个特定细节，或者可以采用其它的方法、组元、装置、步骤等替代一个或多个特定细节。

用于融合的两张图像通常存在较大的成像质量差异。例如，在手机等终端上，双摄像头拍摄的图像存在清晰度的明显差异，此外，亮度、景深范围等都可能存在较大差异。若不采用合适的融合权重，则影响图像融合结果。

鉴于上述问题，本公开的示例性实施方式首先提供一种图像融合方法。下面结合图1对本示例性实施方式运行环境的***架构进行说明。

参考图1所示，***架构100可以包括终端110和服务器120。其中，终端110可以是手机、平板电脑、智能穿戴设备等电子设备。服务器120泛指提供本示例性实施方式中图像处理相关服务的后台***，可以是一台服务器或多台服务器的集群。终端110和服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。

在一种实施方式中，可以由终端110执行本示例性实施方式中的图像融合方法。示例性的，用户使用终端110进行拍摄，由两个摄像头分别拍摄第一图像和第二图像，该两个摄像头可以是主摄像头(或广角摄像头)和单色(mono)摄像头、主摄像头和长焦摄像头、或者主摄像头和红外摄像头等组合。终端110通过执行图像融合方法，将第一图像和第二图像融合为一张目标图像，以进行显示或存储。

在一种实施方式中，可以由服务器120执行本示例性实施方式中的图像融合方法。示例性的，终端110上安装有图像处理App(Application，应用程序)，用户在该App中选取需要融合的第一图像和第二图像，终端110将其上传至服务器120，由服务器120执行图像融合方法，得到融合后的目标图像。后续可以将目标图像返回给终端110。

由上可知，本示例性实施方式中，图像融合方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。

下面结合图2对图像融合方法的流程进行说明。参考图2所示，图像融合方法可以包括以下步骤S210至S250：

步骤S210，获取经过配准的第一图像和第二图像，根据配准参数确定第一图像和第二图像的视差信息；

步骤S220，利用视差信息从第一图像与第二图像的视场交集区域中划分出多个深度区域；不同的深度区域具有不同的深度；

步骤S230，在第一图像的每个深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在第二图像的每个深度区域内确定出图像频率满足频率分割条件的一种或多种第二图像频率分割区域；

步骤S240，分别对各深度区域内的第一图像频率分割区域和第二图像频率分割区域进行比较，根据比较结果确定各深度区域对应的融合权重；

步骤S250，基于融合权重融合第一图像和第二图像。

基于上述方法，一方面，通过自适应的深度区域分割，以及在各深度区域内比较第一图像频率分割区域和第二图像频率分割区域，得到分区域的、合适的融合权重，使得融合权重能够适应第一图像、第二图像在不同深度区间内的具体图像状况，从而实现图像的精细融合，提升融合效果。另一方面，本方案计算量较低，且不需要额外信息的辅助，具有较低的实现成本。

下面对图2中的每个步骤进行具体说明。

参考图2，在步骤S210中，获取经过配准的第一图像和第二图像，根据配准参数确定第一图像和第二图像的视差信息。

其中，第一图像和第二图像是用于融合的两张图像。本公开对第一图像、第二图像的来源及其类型不做限定。例如，第一图像、第二图像可以是终端上配置的两个不同的摄像头所拍摄的图像。第一图像、第二图像均可以是RGB图像、YCrCb图像、HSL图像、灰度图像、RAW图像等任意类型。

本示例性实施方式中，可以对第一图像和第二图像进行预处理，以便于进行后续的融合处理。本公开对预处理的具体方式不做限定，下面进行举例说明。

①裁剪

第一图像和第二图像通常是针对同一场景采集的图像，两者的视场(Field OfView，简称FOV)可以有差异，如第一图像的视场大于第二图像的视场，即第一图像中包含超出第二图像视场的图像信息。在一种实施方式中，可以基于第一图像和第二图像的视场交集区域，对第一图像和第二图像中的至少一者进行裁剪，基于裁剪后的第一图像和第二图像进行后续处理。例如，参考图3所示，第二图像的视场小于第一图像的视场，两图像的视场交集区域即第二图像的视场，可以对第一图像进行裁剪，如裁剪出图3所示的框出部分，得到裁剪后的第一图像，这样第一图像和第二图像的视场一致或接近一致，便于进行后续处理。

②亮度校正和/或颜色校正

由于不同摄像头的硬件差异等原因，导致第一图像和第二图像的整体亮度水平以及颜色可能存在差异，可以进行亮度校正和/或颜色校正。

在一种实施方式中，可以对第一图像和第二图像中的至少一者进行亮度校正，例如以第一图像为基准，对第二图像进行亮度校正，使其与第一图像的亮度水平一致或接近一致。举例来说，可以获取第一图像的亮度直方图，如将第一图像转换到YCrCb颜色空间，提取Y通道的值统计直方图；以同样的方式获取第二图像的亮度直方图；通过比较第一图像的亮度直方图和第二图像的亮度直方图，确定亮度校正参数，如可以是提高亮度的倍率(该倍率可以小于1，表示降低亮度)；采用亮度校正参数对第二图像进行全局亮度校正。图4示出了以(裁剪后的)第一图像为基准，对第二图像进行亮度校正的实例图，经过校正，第二图像与第一图像的亮度水平很接近。

在一种实施方式中，可以对第一图像和第二图像中的至少一者进行颜色校正，例如以第一图像为基准，对第二图像进行颜色校正，使其与第一图像的颜色一致或接近一致。举例来说，可以获取第一图像在R、G、B三通道的直方图，如在RGB颜色空间内，分别提取R、G、B三通道的值统计直方图；以同样的方式获取第二图像在R、G、B三通道的直方图；通过比较第一图像和第二图像在每个通道的直方图，确定每个通道的颜色校正参数，如可以颜色映射的系数；采用每个通道的颜色校正参数对第二图像的每个通道分别进行全局颜色校正。图5示出了以(裁剪后的)第一图像为基准，对第二图像进行颜色校正的实例图，经过校正，第二图像与第一图像的颜色很接近。

需要说明的是，若第一图像和第二图像中的一者为灰度图像(如通过单色摄像头或红外摄像头采集)，则无需进行颜色校正。

③配准

第一图像和第二图像的拍摄位置、拍摄角度一般存在差异，也就是说，第一图像和第二图像的相机坐标系不同。为便于后续融合，可以将第一图像和第二图像进行配准，以转换到同一相机坐标系下。

在一种实施方式中，可以对第一图像和第二图像进行全局配准。具体地，可以对第一图像和第二图像分别提取特征点并进行匹配，得到多个特征点对。本公开对特征点的检测与描述方式不做限定，如可以采用Harris(一种角点检测算法)、SIFT(Scale InvariantFeature Transform，尺度不变特征变换)、SURF(Speeded Up Robust Features，加速鲁棒特征)、FAST(Features from Accelerated Segment Test，加速片段检测特征，是一种角点检测算法)、BRIEF(Binary Robust Independent Elementary Features，双向鲁棒独立元素特征，是一种描述子)、ORB(Oriented FAST and Rotated BRIEF，取向FAST和旋转BRIEF)中的一种或多种算法来实现。每个匹配点对包括第一图像中的一个特征点和第二图像中的一个特征点，分别表示为(x1,y1)与(x2,y2)，两者对应三维空间中的同一点，也可称为同名点。匹配点对满足以下关系：

H表示单应性矩阵。根据平面坐标与齐次坐标的对应关系，可以由公式(1)进一步得到：

进一步变换为：

在求解单应性矩阵H时，通常可以添加约束h₃₃＝1(或者)。这样H包括8个自由度。而通过公式(3)可知，一组匹配点对(x1,y1)与(x2,y2)能够提供两个方程。因此，需要4组不共线的匹配点对(是指第一图像或第二图像上的任意三个特征点均不在一条直线上)以提供8个方程，即可求解出单应性矩阵H。

基于单应性矩阵，可以将第一图像和第二图像进行全局配准，例如将第二图像的各像素点的坐标进行转换，以映射到第一图像的相机坐标系，从而完成全局配准。

在一种实施方式中，还可以对第一图像和第二图像进行局部配准，局部配准可以在全局配准的基础上执行，相当于对全局配准的结果做进一步优化。具体地，可以采用DIS(Dense Inverse Search，稠密反向搜索)光流算法进行多次反向搜索与梯度下降寻求最优化来稠密化光流，得到第一图像和第二图像的不同局部之间的准确映射关系，由此确定各像素点的偏移量。进而对各像素点进行偏移，实现局部配准。参考如下公式：

I2(x,y)＝I2′(x+u(x,y),y+v(x,y)) (4)

其中，I2'表示局部配准前的第二图像，I2表示局部配准后的第二图像，(x,y)表示第二图像中的任一像素点，其图像坐标为(x,y)，u(x,y)、v(x,y)分别表示局部配准中像素点(x,y)的x偏移量和y偏移量。采用光流算法计算出第二图像中各像素点的u(x,y)、v(x,y)，对其进行偏移，得到局部配准后的第二图像。

此外，还可以采用DeepFlow(深度光流)等其他光流算法替代DIS光流算法，本公开对此不做限定。

④亮度补偿和/或颜色补偿

在一种实施方式中，在获取经过配准的第一图像和第二图像之后，图像融合方法还可以包括以下步骤：

对第一图像和第二图像中的至少一者进行亮度补偿，和/或对第一图像和第二图像中的至少一者进行颜色补偿。

其中，亮度补偿不同于上文的亮度校正，亮度校正可以是对图像整体的亮度进行校正，亮度补偿可以是对图像局部的亮度进行补偿，其能够解决两张图像局部亮度差别过大的问题，特别是能够起到对亮度校正的弥补作用。举例来说，可以在对第二图像进行亮度校正后，将其分割为多个局部区域，并分别与第一图像中对应的局部区域进行亮度对比，以确定各局部区域的亮度补偿系数，进而进行亮度补偿。当然，亮度补偿不依赖于亮度校正，可以在未进行亮度校正的前提下单独进行亮度补偿。

颜色补偿不同于上文的颜色校正，颜色校正可以是对图像整体的颜色进行校正，颜色补偿可以是对图像局部的颜色进行补偿，其能够解决两张图像局部颜色差别过大的问题，特别是能够起到对颜色校正的弥补作用。举例来说，可以在对第二图像进行颜色校正后，将其分割为多个局部区域，并分别与第一图像中对应的局部区域进行颜色对比，以确定各局部区域的颜色补偿系数，进而进行颜色补偿。当然，颜色补偿不依赖于亮度校正，可以在未进行亮度校正的前提下单独进行亮度补偿。

在一种实施方式中，参考图6所示，上述对第一图像和第二图像中的至少一者进行亮度补偿，可以包括以下步骤S610至S630：

步骤S610，根据第一图像的亮度平均值和第二图像的亮度平均值的比值，确定基础亮度补偿系数。

其中，基础亮度补偿系数是针对整张图像而言的亮度补偿系数，可视为“基础值”。基础亮度补偿系数的计算可以参考如下公式：

其中，mean(Y_I1)表示第一图像的亮度平均值，mean(Y_I2)表示第二图像的亮度平均值，α表示基础亮度补偿系数。需要说明的是，公式(5)所示的基础亮度补偿系数，是用于对第二图像进行亮度补偿的情形。若需要对第一图像进行亮度补偿，则可以将公式(5)中的分子和分母交换。

步骤S620，针对第二图像的每个像素点，根据每个像素点的亮度值确定每个像素点的亮度补偿调整值，并采用亮度补偿调整值调整基础亮度补偿系数，得到每个像素点的亮度补偿系数。

由于每个像素点的亮度水平均可能有差异，若都采用基础亮度补偿系数进行亮度补偿，无法实现精细化处理。因此，可以针对每个像素点计算亮度补偿调整值，其可以与每个像素点的亮度水平相适应，进而对基础亮度补偿系数进行调整，得到每个像素点的亮度补偿系数，具有很高的针对性。

在一种实施方式中，像素点的亮度值越高，其亮度补偿调整值可以越小。可以预先建立像素点的亮度值与亮度补偿调整值之间的线性或非线性的负相关关系，根据该负相关关系计算每个像素点的亮度值对应的亮度补偿调整值。

在一种实施方式中，上述根据每个像素点的亮度值确定每个像素点的亮度补偿调整值，可以包括以下步骤：

计算每个像素点的亮度值与基础亮度补偿系数的乘积，将每个像素点的亮度值与该乘积的差值作为每个像素点的亮度补偿调整值。

参考如下公式：

Δα(x,y)＝Y(x,y)-α·Y(x,y)＝(1-α)·Y(x,y) (6)

其中，(x,y)表示第二图像中的任一像素点，Y(x,y)表示像素点(x,y)的亮度值，通常是归一化的亮度值，Δα(x,y)表示像素点(x,y)的亮度补偿调整值。由公式(6)可知，若基础亮度补偿系数大于1，即第一图像的亮度平均值大于第二图像的亮度平均值，需要对第二图像整体提亮的情况，则第二图像中各像素点的亮度补偿调整值均为负值，在此情况下，像素点的亮度值越大，亮度补偿调整值的绝对值越大，即该像素点的亮度补偿系数越小，像素点的亮度值越小，亮度补偿调整值的绝对值越小，即该像素点的亮度补偿系数越大，这样能够避免提亮后亮度分布过于分散。若基础亮度补偿系数小于1，即第一图像的亮度平均值小于第二图像的亮度平均值，需要对第二图像整体减亮的情况，则第二图像中各像素点的亮度补偿调整值均为正值，在此情况下，像素点的亮度值越大，亮度补偿调整值的绝对值越大，即该像素点的亮度补偿系数越大，像素点的亮度值越小，亮度补偿调整值的绝对值越小，即该像素点的亮度补偿系数越小，这样能够避免减亮后亮度分布过于集中。

步骤S630，利用每个像素点的亮度补偿系数对第二图像的每个像素点进行亮度补偿。

可以将每个像素点的亮度值乘以亮度补偿系数，得到补偿后的亮度值。参考如下公式：

其中，表示补偿后像素点(x,y)的亮度值，β(x,y)表示像素点(x,y)的亮度补偿系数。

基于图6的方法，实现了对第二图像的像素级亮度补偿，每个像素点的亮度补偿结果与该像素点本身的亮度值相适应。由此，在统一第一图像与第二图像的亮度水平的同时，能够进一步优化第二图像的亮度分布，提升图像质量。应当理解，图6是对第二图像进行亮度补偿的示例性流程，也可以对第一图像进行亮度补偿，或者对第一图像和第二图像均进行亮度补偿，实现原理相同，因而本文不进行赘述。

在一种实施方式中，参考图7所示，上述对第一图像和第二图像中的至少一者进行颜色补偿，可以包括以下步骤S710和S720：

步骤S710，在各颜色通道内，将第一图像和第二图像分别下采样后计算差值，得到各颜色通道的差异图像。

其中，各颜色通道可以包括R、G、B三通道，当然也可以指其他颜色模式下的颜色通道。以R通道为例，可以将第一图像的R通道图像和第二图像的R通道图像分别下采样，再将两者相减，得到R通道的差异图像。参考如下公式：

R_Diff＝R_I1↓-R_I2↓ (8)

其中，R_Diff表示R通道的差异图像，R_I1↓表示第一图像的R通道图像的下采样图像，R_I2↓表示第二图像的R通道图像的下采样图像。需要说明的是，公式(8)所示的差异图像，是用于对第二图像进行颜色补偿的情形。若需要对第一图像进行颜色补偿，则可以将R_I2↓减去R_I1↓，得到差异图像。本公开对下采样的程度不做限定，如可以下采样至原始尺寸的1/2*1/2或1/4*1/4，具体可以根据经验决定，也可以考虑第一图像或第二图像的原始尺寸、噪声水平、图像频率水平等因素。

采用相同的方式，可以得到G、B通道的差异图像。

步骤S720，将差异图像上采样至第二图像的原始尺寸，利用上采样后的差异图像分别对第二图像的各颜色通道进行颜色补偿。

R通道的差异图像反映第一图像和第二图像在R通道的颜色差异情况，并且由于是下采样图像的差值，能够降低第一图像和第二图像中的噪点等带来的不利影响。将R通道的差异图像上采样至第二图像的原始尺寸，再将第二图像的R通道图像加上上采样后的差异图像，得到补偿后的R通道图像，其颜色与第一图像的R通道图像非常接近。

在一种实施方式中，可以对上采样前或上采样后的差异图像进行平滑处理，如可以采用均值滤波、降噪相关复合滤波等方式。这样在对第二图像的颜色通道进行颜色补偿时，能够进一步降低图像噪声等的影响。例如，对上采样前的差异图像进行平滑处理，颜色补偿的过程可以参考如下公式：

其中，表示第二图像补偿后的R通道图像，F表示平滑处理，F(R_Diff)↑表示对R通道的差异图像进行平滑处理后再上采样。

基于图7的方法，实现了对第二图像的像素级颜色补偿，使得第二图像的每个像素点能够接近第一图像中对应像素点的颜色，并且降低噪声的影响，提升图像质量。应当理解，图7是对第二图像进行颜色补偿的示例性流程，也可以对第一图像进行颜色补偿，或者对第一图像和第二图像均进行颜色补偿，实现原理相同，因而本文不进行赘述。

在后续的步骤S220至S250中，可以基于亮度补偿和/或颜色补偿后的第一图像和第二图像进行处理，例如在步骤S250中，可以基于融合权重融合亮度补偿和/或颜色补偿后的第一图像和第二图像。

以上说明了多种预处理方式，可以根据具体需求采用上述一种或多种的组合。示例性的，可以按照上述①--②--③--④的顺序，在获取原始的第一图像和第二图像后，先按照视场交集区域进行裁剪，然后进行全局的亮度校正和/或颜色校正，再进行配准，最后进行像素级的亮度补偿和/或颜色补偿，得到预处理后的第一图像和第二图像。

在对第一图像和第二图像进行配准时，计算并使用了配准参数。可以根据配准参数确定第一图像和第二图像的视差信息。由于第一图像和第二图像是从不同的视角拍摄同一场景，场景中的拍摄对象在第一图像和第二图像中存在位置或形态的差异，该差异即视差信息。配准参数反映两图像的视角差异情况，因此可以根据配准参数确定视差信息。本公开对视差信息的具体形式不做限定，其通常可以包括第一图像和第二图像中各区域(可精确到像素点)的视差值。在一种实施方式中，可以将视差信息表示为视差图(map)，其尺寸可以与第一图像或第二图像相同(若进行了裁剪，则与裁剪后的第一图像或第二图像尺寸相同，实质上与视差交集区域的尺寸相同)，每个像素点的数值表示该像素点的视差值。

在一种实施方式中，配准参数可以包括：第一图像和第二图像中的被配准图像在视场交集区域内的各像素点的x偏移量和y偏移量。其中，在对第一图像和第二图像进行配准时，通常选择一张图像作为参考图像，另一张图像作为被配准图像，参考图像是配准过程中坐标系(如相机坐标系)保持不变的图像，被配准图像是配准过程中进行坐标系转换的图像，其需要转换到参考图像的坐标系下，以实现两图像的坐标***一。本公开对选择第一图像还是第二图像作为被配准图像不做限定。

x偏移量指像素点在x方向(可以是图像的宽度方向)上的偏移量，y偏移量指像素点在y方向(可以是图像的高度方向)上的偏移量。在一种实施方式中，可以对第一图像和第二图像进行全局配准与局部配准，并获取局部配准中上述各像素点的x偏移量和y偏移量。全局配准与局部配准的实现方式，可以参考上文“③配准”部分的内容，如可以基于特征点的匹配实现全局配准，通过光流算法实现局部配准。x偏移量和y偏移量可以参考上述公式(4)中的u(x,y)、v(x,y)，在进行局部配准时，可以通过光流算法计算出各像素点的u(x,y)、v(x,y)，从而获得配准参数。由于局部配准是针对被配准图像(如第二图像)中的像素点计算偏移量，采用局部配准中的偏移量作为配准参数以计算视差信息，能够得到更加精细的视差信息，反映视差交集区域内不同局部的视差情况。

在一种实施方式中，若在预处理中进行了上文“①裁剪”的处理，裁剪后第一图像和第二图像均只保留视场交集区域的部分，则被配准图像的各像素点等同于被配准图像在视场交集区域内的各像素点。即配准参数可以包括：被配准图像的各像素点的x偏移量和y偏移量。

在一种实施方式中，视差信息可以包括：被配准图像在视场交集区域内的各像素点的视差值。上述根据配准参数确定第一图像和第二图像的视差信息，可以包括以下步骤：

按照配准第一图像和第二图像时的对齐方向，分别对各像素点的x偏移量和y偏移量进行合并，得到各像素点的视差值。

其中，对齐方向可以是在第一图像和第二图像的配准(通常指全局配准)过程中特征点匹配的方向。以第二图像为被配准图像进行示例性说明。参考上述公式(4)，在局部配准中得到第二图像的各像素点的x偏移量和y偏移量。若在全局配准中采用极线对齐，即沿基线方向寻找匹配的特征点，则计算视差值时，可以按照基线方向合并x偏移量和y偏移量，如可以采用余弦函数计算x偏移量和y偏移量在基线方向上的投影值并相加，得到每个像素点的视差值。若在全局配准中采用行对齐，即沿x方向寻找匹配的特征点，则计算视差值时，可以按照x方向合并x偏移量和y偏移量，也就是将x偏移量作为视差值。由此，综合考虑了视差方向和量化的偏移值两方面信息来确定视差值，能够提高视差值的准确性。

以上说明了如何对第一图像和第二图像进行预处理以及如何确定视差信息。下面继续参考图2，在步骤S220中，利用视差信息从第一图像与第二图像的视场交集区域中划分出多个深度区域；不同的深度区域具有不同的深度。

其中，深度是指拍摄对象与相机之间的距离，可以是拍摄对象与投影中心平面之间的距离。深度区域是指视场交集区域中深度相同或相近的子区域，如不同深度区域的深度可以处于不同的区间内。视场交集区域可能包含了多个拍摄对象，可以按照其深度的差异，将深度差异较大的拍摄对象划分到不同的深度区域内。例如，可以将视场交集区域按照深度由低到高划分为近景区域、中景区域、远景区域三个深度区域。当然，本公开对深度区域的数量以及具体划分标准不做限定。

由对极几何的原理可知，视差和深度可以成反比。因此，在获得视场交集区域的视差信息的情况下，可以确定视场交集区域的深度或相对深度情况，进而划分深度区域。

在一种实施方式中，视差信息可以包括：第一图像和第二图像中的被配准图像在视场交集区域内的各像素点的视差值。上述利用视差信息从第一图像与第二图像的视场交集区域中划分出多个深度区域，可以包括以下步骤：

对上述各像素点统计视差值的直方图；

利用多个高斯函数对直方图进行拟合，得到各像素点属于各深度区域的概率，根据概率从视场交集区域中划分出深度区域；深度区域与高斯函数具有一一对应关系。

其中，在统计视差值的直方图时，可以将视差值划分为很多小的数值区间，统计落入各数值区间的像素点的比例，得到直方图。

在一种实施方式中，考虑到视差值可能是浮点数，为了简化计算，可以在统计视差值的直方图之前，可以对视差值进行整数化处理，参考如下公式：

D′＝int([D-min(D)]/[max(D)-min (D)]·255) (10)

其中，D表示整数化处理前的视差值，D'表示整数化处理后的视差值，max(D)、min(D)表示视差值的最大值、最小值，可以是视差图中的最大值、最小值。通过对视差值整数化处理，可以将浮点运算简化为整数运算，降低算力开销。

在统计出视差值的直方图后，可以基于高斯混合模型(Gaussian Mixture Model，简称GMM)对视差值进行分类(如软分类)。具体地，采用多个高斯函数对直方图进行拟合，得到各像素点属于各深度区域的概率，根据概率从视场交集区域中划分出深度区域。参考图8举例说明，采用3个高斯函数(分别记为高斯函数1、高斯函数2、高斯函数3)对直方图拟合，拟合结果如图8所示，横坐标表示视差值，纵坐标表示概率，例如高斯函数2上的某一点(X50,Y0.02561)表示视差值50的像素点对应高斯函数2的概率为0.02561。高斯函数1对应近景区域，高斯函数2对应中景区域，高斯函数3对应远景区域。则视差值50的像素点属于中景区域的概率为0.02561。由此得到每个像素点属于各深度区域的概率，可以将每个像素点划分至概率最高的深度区域，或者当概率大于预设概率阈值(可根据经验确定)时，将像素点划分至对应的深度区域，从而完成对视场交集区域的划分，得到多个深度区域。本公开对高斯函数的数量不做限定。在一种实施方式中，可以根据直方图中的峰数量，确定高斯函数的数量，进而将视差交集区域划分为相应数量的深度区域。基于高斯函数拟合的方式，能够实现对视差交集区域的合理、准确的划分，以得到高质量的深度区域。

在一种实施方式中，上述对上述各像素点统计视差值的直方图，可以包括以下步骤：

从被配准图像的视场交集区域中剔除视差遮挡区域，对剩余的像素点统计视差值的直方图。

其中，视差遮挡区域是指由于第一图像和第二图像的拍摄视角不同，导致的视场交集区域中只有一张图像能够拍摄到(看到)的区域。例如，视场交集区域中存在一个物体，从不同的视角观察该物体后方的区域，所能看到的情况不同，因此第一图像和第二图像中关于该物体后方的区域存在遮挡差异，形成视差遮挡区域。由于视差遮挡区域是只有一张图像能够看到的区域，其视差值可视为无穷大，而根据配准参数计算出的视差值可能不准确，因此统计直方图时可以将视差遮挡区域剔除，仅对视差遮挡区域外的像素点统计视差值的直方图，从而保证直方图统计以及划分深度区域的准确性。并且，在后续的图形融合中，针对视差遮挡区域可以仅保留一张图像(即能够看到该区域的那张图像)的信息，而不融合两张图像。

在一种实施方式中，参考图9所示，在从被配准图像的视场交集区域中剔除视差遮挡区域之前，图像融合方法还可以包括以下步骤S910至S940：

步骤S910，获取由视场交集区域内的各像素点的视差值形成的视场交集区域的视差图；

步骤S920，根据视差图确定上述各像素点的梯度，筛选出梯度大于预设梯度阈值的像素点，以形成视差遮挡区域；

步骤S930，获取上述各像素点在第一图像和第二图像中的像素差值，筛选出像素差值大于预设像素差阈值的像素点，以形成图像差异区域；

步骤S940，将视差遮挡区域在图像差异区域内进行生长，以更新视差遮挡区域。

一般的，在视差遮挡区域存在深度突变，对视差图计算各像素点的梯度，若某个像素点的梯度大于预设梯度阈值，则可以认为该像素点处存在深度突变，将其添加到视差遮挡区域。预设梯度阈值用于衡量梯度是否达到深度突变的标准，其可以根据经验以及图像的清晰度、噪声水平等确定。通过梯度筛选的方式，形成初始的视差遮挡区域。

将经过配准的第一图像和第二图像相减，得到各像素点的像素差值，其反映第一图像和第二图像的差异。若某个像素点的像素差值大于预设像素差阈值，则可以认为该像素点处存在图像显著差异，将其添加到图像差异区域。预设像素差阈值用于衡量像素差值是否达到显著差异的标准，其可以根据经验以及两图像的视角差异程度等确定。通过像素差值筛选的方式，形成图像差异区域。图像差异区域是第一图像和第二图像存在较大差异的区域，其通常包含视差遮挡区域。

在视差遮挡区域某些局部位置，由于图像模糊、噪声等原因，可能导致视差图中的该局部位置梯度不大。也就是说，通过梯度筛选的方式所形成的初始的视差遮挡区域可能有所遗漏。考虑到这一问题，采用区域生长的方式对视差遮挡区域进行更新补充。由于视差遮挡区域一般不会超出图像差异区域，可以在图像差异区域内对视差遮挡区域进行生长。示例性的，可以采用预设的生长因子(可根据经验设定，如1.1)，使视差遮挡区域沿特定的方向或均匀地沿各个方向生长，以此实现对视差遮挡区域的更新，以得到更加完善、充分的视差遮挡区域。

视差遮挡区域的形成过程可以参考如下公式：

U(x,y)＝grow(U₀(x,y),U₁(x,y)) (11)

其中，U₀表示初始的视差遮挡区域，U表示更新后(即生长后)的视差遮挡区域。D(x,y)表示视差图中的任一像素点(x,y)，G(D(x,y))表示该像素点的梯度，T_grad表示预设梯度阈值，若G(D(x,y))>T_grad，则U₀(x,y)＝1，表示该像素点属于初始的视差遮挡区域。U1表示图像差异区域，I1(x,y)-I2(x,y)表示任一像素点(x,y)的像素差值，T_diff表示预设像素差阈值，若像素差值的绝对值大于T_diff，则U₁(x,y)＝1，表示该像素点属于图像差异区域。grow()表示U₀在U₁内的生长结果。

基于图9的方法，能够得到较为准确、完善的视差遮挡区域，有利于降低视差遮挡区域对直方图统计、深度区域的划分以及后续计算融合权重等过程的不利影响，提升图像融合效果。

在一种实施方式中，划分深度区域时还可以采用视差信息以外的其他信息。具体地，上述利用视差信息从第一图像与第二图像的视场交集区域中划分出多个深度区域，可以包括以下步骤：

利用视差信息、以及第一图像或第二图像的语义分割结果，从第一图像与第二图像的视场交集区域中划分出多个深度区域。

其中，第一图像或第二图像的语义分割结果能够表征第一图像或第二图像中各个区域的语义。例如，第二图像的语义分割结果包括第二图像中每个像素点对应的语义，由此能够确定第二图像中的各个物体。在划分深度区域时，可以在利用视差信息的基础上，结合语义分割结果，使得第二图像中的单个物体被划分至单个深度区域，避免一个物体被划分至多个深度区域。这样能够优化深度区域的划分结果。

继续参考图2，在步骤S230中，在第一图像的每个深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在第二图像的每个深度区域内确定出图像频率满足频率分割条件的一种或多种第二图像频率分割区域。

从视场交集区域中划分出深度区域，是为了在第一图像和第二图像中分别确定深度区域。例如，从视场交集区域中划分出近景区域、中景区域、远景区域三个深度区域，根据三个深度区域的位置，可以进一步在第一图像中确定近景区域、中景区域、远景区域，以及在第二图像中确定近景区域、中景区域、远景区域。

图像频率表征图像信息在空域上变化的剧烈程度，可以是图像梯度。图像频率越高，表示图像信息在空域上的变化越剧烈，即图像信息越稠密。频率分割条件是针对图像频率的条件，用于筛选出图像频率满足一定要求的区域。在第一图像中，分别对每个深度区域分割出图像频率满足频率分割条件的区域，将分割出的区域称为第一图像频率分割区域。举例来说，上述一种或多种第一图像频率分割区域可以包括第一图像高频区域和第一图像中高频区域，可以在第一图像的近景区域、中景区域、远景区域中分别分割出第一图像高频区域和第一图像中高频区域，得到6个区域。同理，在第二图像的每个深度区域内分割出第二图像频率分割区域。需要说明的是，不同的第一图像频率分割区域之间可以有交集，不同的第二图像频率分割区域之间也可以有交集。

本公开对频率分割条件的具体内容不做限定，如可以是关于图像频率数值的条件，也可以是关于图像频率数值、区域面积的条件等。

在一种实施方式中，图像频率可以包括梯度，频率分割条件可以包括频率分割数值区间；上述在第一图像的每个深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在第二图像的每个深度区域内确定出图像频率满足频率分割条件的一种或多种第二图像频率分割区域，可以包括以下步骤：

获取第一图像的每个深度区域内的像素点的梯度，分别在第一图像的每个深度区域内，筛选出梯度处于每个频率分割数值区间的像素点，以形成每个深度区域内的第一图像频率分割区域；

获取第二图像的每个深度区域内的像素点的梯度，分别在第二图像的每个深度区域内，筛选出梯度处于每个频率分割数值区间的像素点，以形成每个深度区域内的第二图像频率分割区域。

其中，频率分割数值区间可以是关于梯度的区间。频率分割数值区间的数量以及每个区间的上下限值，可以根据经验、第一图像或第二图像的大小、图像融合的精细度等具体设置。针对不同的深度区域，可以设置相同或不同的频率分割数值区间，本公开对此不做限定。

举例来说，针对远景区域，可以设置关于高频区域、中高频区域的两个频率分割数值区间，分别为(t1,+∞]、(t2,+∞]，其中，t1>t2。利用两个频率分割数值区间，可以得到远景区域内的第一图像高频区域、第一图像中高频区域、第二图像高频区域、第二图像中高频区域。如下所示：

G1(x,y)＝G(I1(x,y)),G2(x,y)＝G(I2(x,y))

其中，G1(x,y)表示第一图像中任一像素点(x,y)的梯度，G2(x,y)表示第二图像中任一像素点(x,y)的梯度。M_{far_h1}表示远景(远景以far表示)区域内的第一图像高频(高频以h表示)区域，M_{far_h1}(x,y)为1表示像素点(x,y)属于M_{far_h1}，为0表示像素点(x,y)不属于M_{far_h1}。M_{far_mh1}表示远景区域内的第一图像中高频(中高频以mh表示)区域。M_{far_h2}表示远景区域内的第二图像高频区域，M_{far_mh2}表示远景区域内的第二图像中高频区域。由公式(12)可知，通过判断第一图像的远景区域内的像素点的梯度是否落入频率分割数值区间(t1,+∞]、(t2,+∞]，可以确定该像素点是否属于第一图像高频区域、第一图像中高频区域，从而得到远景区域内的第一图像高频区域、第一图像中高频区域。通过判断第二图像的远景区域内的像素点的梯度是否落入频率分割数值区间(t1,+∞]、(t2,+∞]，可以确定该像素点是否属于第二图像高频区域、第二图像中高频区域，从而得到远景区域内的第二图像高频区域、第二图像中高频区域。

同理，还可以针对中景区域、近景区域分别设置关于高频区域、中高频区域的频率分割数值区间，并通过判断像素点的梯度是否落入频率分割数值区间，得到中景区域内的第一图像高频区域、第一图像中高频区域、第二图像高频区域、第二图像中高频区域，可分别表示为M_{mid_h1}(中景以mid表示)、M_{mid_mh1}、M_{mid_h2}、M_{mid_mh2}，以及得到近景区域内的第一图像高频区域、第一图像中高频区域、第二图像高频区域、第二图像中高频区域，可分别表示为M_{close_h1}(近景以close表示)、M_{close_mh1}、M_{close_h2}、M_{close_mh2}。

通过设置频率分割数值区间的方式，能够实现精确的图像频率分割，得到第一图像频率分割区域和第二图像频率分割区域，并且计算量较低，有利于提高图像融合效率。

继续参考图2，在步骤S240中，分别对各深度区域内的第一图像频率分割区域和第二图像频率分割区域进行比较，根据比较结果确定各深度区域对应的融合权重。

其中，可以针对不同的深度区域分别确定融合权重。每个深度区域对应的融合权重可以是一组权重，包括第一图像的融合权重和第二图像的融合权重，两者之和可以是1。也就是说，在不同的深度区域，第一图像和第二图像的融合权重可以不同。

第一图像频率分割区域和第二图像频率分割区域可以具有匹配关系。具体地，对应于同一深度区域以及同一频率分割条件(如，同一频率分割数值区间)的第一图像频率分割区域和第二图像频率分割区域匹配。可以将相匹配的第一图像频率分割区域和第二图像频率分割区域进行比较，实质上是将第一图像和第二图像在不同深度、不同图像频率的局部分别进行比较，得到精细化的比较结果，由此确定融合权重。

在一种实施方式中，以深度区域i表示任一深度区域。参考图10所示，上述分别对各深度区域内的第一图像频率分割区域和第二图像频率分割区域进行比较，根据比较结果确定各深度区域对应的融合权重，可以包括以下步骤S1010和S1020：

步骤S1010，比较深度区域i内的第一图像频率分割区域的占比和第二图像频率分割区域的占比，得到深度区域i的相对频率分割区域占比；

步骤S1020，根据深度区域i的相对频率分割区域占比，确定深度区域i对应的融合权重。

其中，相对频率分割区域占比表示第一图像频率分割区域和第二图像频率分割区域的相对占比情况，能够反映在深度区域i的某个图像频率范围内第一图像和第二图像的比较情况。因此可以根据相对频率分割区域占比确定融合权重。

在一种实施方式中，第一图像频率分割区域包括第一图像高频区域、第一图像中高频区域；第二图像频率分割区域包括第二图像高频区域、第二图像中高频区域；相对频率分割区域占比包括相对高频区域占比和相对中高频区域占比，相对高频区域占比是第二图像高频区域的占比除以第一图像高频区域的占比，相对中高频区域占比是第二图像中高频区域的占比除以第一图像中高频区域的占比。举例来说，若深度区域i内存在第一图像高频区域、第一图像中高频区域、第二图像高频区域、第二图像中高频区域，则可以参考如下公式计算占比：

P_{i_h1}＝sum(M_{i_h1})/area(i)

P_{i_mh1}＝sum(M_{i_mh1})/area(i)

P_{i_h2}＝sum(M_{i_h2})/area(i)

P_{i_mh2}＝sum(M_{i_mh2})/area(i) (13)

其中，i表示深度区域i，area(i)表示深度区域i的面积，即深度区域i的像素点数量。P_{i_h1}、P_{i_mh1}、P_{i_h2}、P_{i_mh2}分别表示深度区域i内的第一图像高频区域、第一图像中高频区域、第二图像高频区域、第二图像中高频区域的占比。

通过将匹配的第一图像频率分割区域和第二图像频率分割区域进行占比的比较，得到度区域i的相对频率分割区域占比，可以包括相对高频区域占比、相对中高频区域占比。参考如下公式：

Ratio_{i_ph}＝P_{i_h2}/P_{i_h1}

Ratio_i__pm_h＝P_i_m_h2/P_i_m_h1 (14)

其中，Ratio_{i_ph}、Ratio_{i_pmh}分别表示深度区域i的相对高频区域占比、相对中高频区域占比。

在一种实施方式中，上述根据深度区域i的相对频率分割区域占比，确定深度区域i对应的融合权重，可以包括以下步骤：

若深度区域i的相对高频区域占比大于第一高频比例阈值、相对中高频区域占比处于第一中高频比例阈值和第二中高频比例阈值之间，则确定深度区域i对应的第二图像的融合权重为1、第一图像的融合权重为0；

若深度区域i的相对高频区域处于第一高频比例阈值和第二高频比例阈值之间、相对中高频区域占比大于第一中高频比例阈值，则根据深度区域i内的第一图像高频区域与第二图像高频区域的梯度比较结果、以及深度区域i内的第一图像中高频区域与第二图像中高频区域的梯度比较结果，确定深度区域i对应的融合权重。

其中，第一高频比例阈值大于第二高频比例阈值，第一中高频比例阈值大于第二中高频比例阈值。第一高频比例阈值、第二高频比例阈值、第一中高频比例阈值、第二中高频比例阈值均可以根据经验、第一图像或第二图像的相机参数等确定。一般的，第一高频比例阈值、第一中高频比例阈值可以大于1。此外，对于不同深度区域，这些阈值可以不同，例如远景区域的第一高频比例阈值可以大于中景区域的第一高频比例阈值和近景区域的第一高频比例阈值。

深度区域i的相对高频区域占比、相对中高频区域占比分别反映了深度区域i内第一图像和第二图像的高频图像对比以及中高频图像对比的情况，若相对高频区域占比大于第一高频比例阈值、相对中高频区域占比处于第一中高频比例阈值和第二中高频比例阈值之间，即相对高频区域占比较大、相对中高频区域占比适中的情况，说明第二图像(若公式(14)中的分子为第一图像高频区域和第一图像中高频区域，则此处为第一图像)在深度区域i具有更多的细节信息、对比度更强。可以将深度区域i对应的第二图像的融合权重设置为1，第一图像的融合权重设置为0，也就是在深度区域i完全采用第二图像，不融合第一图像，以实现稠密的图像信息。

若相对高频区域占比处于第一高频比例阈值和第二高频比例阈值之间、相对中高频区域占比大于第一中高频比例阈值，即相对高频区域占比适中、相对中高频区域占比较大的情况，则考虑第一图像和第二图像在深度区域i的清晰度比较情况，可以通过梯度比较来实现清晰度比较，即根据梯度比较结果确定融合权重。

在一种实施方式中，上述根据深度区域i内的第一图像高频区域与第二图像高频区域的梯度比较结果、以及深度区域i内的第一图像中高频区域与第二图像中高频区域的梯度比较结果，确定深度区域i对应的融合权重，可以包括以下步骤：

根据深度区域i内的第一图像高频区域的梯度平均值和第二图像高频区域的梯度平均值的比值，得到深度区域i的高频清晰度因子；

根据深度区域i内的第一图像中高频区域的梯度方差和第二图像中高频区域的梯度方差的比值，得到深度区域i的中高频清晰度因子；

计算深度区域i的高频清晰度因子和中高频清晰度因子中的较大者与高频清晰度因子和中高频清晰度因子之和的比值，以得到深度区域i对应的第二图像的融合权重。

其中，梯度平均值与高频清晰度因子的计算可以参考如下公式：

Gavg_i__h1＝sum(G1(x,y)·M_i__h1(x,y))/sum(M_i__h1(x,y))

Gavg_i__h2＝sum(G2(x,y)·M_i__h2(x,y))/sum(M_i__h2(x,y))

Res_i__h＝Gavg_i__h2/Gavg_i__h1 (15)

其中，Gavg_{i_h1}表示深度区域i内的第一图像高频区域的梯度平均值，Gavg_{i_h2}表示深度区域i内的第二图像高频区域的梯度平均值。Res_{i_h}表示深度区域i的高频清晰度因子。

梯度方差与中高频清晰度因子的计算可以参考如下公式：

Gσ_{i_mh1}＝(G1(x,y)-Gavg_{i_mh1})²*M_{i_mh1}(x,y)/sum(M_{i_mh1}(x,y))

Gσ_{i_mh2}＝(G2(x,y)-Gavg_{i_mh2})²*M_{i_mh2}(x,y)/sum(M_{i_mh2}(x,y))

Res_{i_mh}＝Gσ_{i_mh2}/Gσ_{i_mh1} (16)

其中，Gσ_{i_h1}表示深度区域i内的第一图像高频区域的梯度方差，Gσ_{i_h1}表示深度区域i内的第二图像高频区域的梯度方差。Res_{i_mh}表示深度区域i的中高频清晰度因子。Gavg_{i_mh1}表示深度区域i内的第一图像中高频区域的梯度平均值，Gavg_{i_mh2}表示深度区域i内的第二图像中高频区域的梯度平均值。应当理解，梯度方差也可以替换为其他离散程度指标，如梯度标准差。

进一步的，可以计算第二图像的融合权重，参考如下公式：

W_{i_I2}＝max(Res_{i_h},Res_{i_mh})/(Res_{i_h}+Res_{i_mh}) (17)

在一种实施方式中，可以对高频清晰度因子、中高频清晰度因子进行归一化，基于归一化的高频清晰度因子、中高频清晰度因子计算融合权重。归一化可以参考如下公式：

其中，h1、h2、mh1、mh2可以根据经验、第一图像或第二图像的相机参数等确定。经过归一化，可以在公式(17)中，可以将Res_{i_h}替换为Res_{i_h}'，将Res_{i_mh}替换为Res_{i_mh}'，以计算融合权重，能够提升融合权重的准确性。

在一种实施方式中，若深度区域i的相对高频区域、相对中高频区域占比不满足以上两种情况，则第二图像响应梯度不明显，可能存在虚焦、误配准、镜头局部脏污等情况，可以确定深度区域i对应的第二图像的融合权重为0、第一图像的融合权重为1，也就是在深度区域i不融合第二图像，避免出现伪像。

将上述三种情况下的融合权重计算表示为如下公式：

其中，ph1、ph2、pmh1、pmh2分别表示第一高频比例阈值、第二高频比例阈值、第一中高频比例阈值、第二中高频比例阈值。

在得到各深度区域对应的第二图像的融合权重后，以一减去第二图像的融合权重，得到第一图像的融合权重。

在一种实施方式中，在确定各深度区域对应的融合权重之后，还可以对不同深度区域对应的融合权重进行平滑处理，从而得到每个像素点的融合权重。例如在不同深度区域的交界处进行融合权重的平滑滤波，以避免出现融合权重突变、图像断层的现象。

继续参考图2，在步骤S250中，基于融合权重融合第一图像和第二图像。

针对不同的深度区域甚至不同的像素点，基于对应的融合权重融合第一图像和第二图像，实现分区域甚至像素级的图像融合。生成融合后的目标图像。

在一种实施方式中，若对不同深度区域对应的融合权重进行了平滑处理，则在步骤S250中，可以基于平滑处理后的融合权重融合第一图像和第二图像。

融合的过程可以参考如下公式：

Fusion(x,y)＝(1-W_i__I2(x,y))·I1(x,y)+W_i__I2(x,y)·I2(x,y) (20)

其中，Fusion表示融合后的图像。

在一种实施方式中，图像融合方法的示意性流程可以参考图11所示，包括以下步骤：

步骤S1101，获取原始的第一图像和第二图像，第一图像的视场大于第二图像的视场，第一图像的清晰度低于第二图像的清晰度。基于两图像的视场交集区域对第一图像进行裁剪，位于视场交集区域内的为待融合的第一图像，位于视场交集区域外的为非视场交集区域图像。

步骤S1102，基于待融合的第一图像，对原始的第二图像进行预处理，包括亮度校正、颜色校正、全局配准、局部配准、亮度补偿、颜色补偿，得到待融合的第二图像。

步骤S1103，根据局部配准中的偏移量确定第二图像中各像素点的视差值，生成视差图。

步骤S1104，从视差图中筛选出梯度大于预设梯度阈值的像素点，形成初始视差遮挡区域。

步骤S1105，将待融合的第一图像和待融合的第二图像相减，并筛选出像素差值大于预设像素差阈值的像素点，形成图像差异区域。

步骤S1106，在图像差异区域内对初始视差遮挡区域进行生长，得到生长后的视差遮挡区域。

步骤S1107，从待融合的第二图像中剔除视差遮挡区域，统计剩余像素点的视差值直方图，并采用多个高斯函数进行拟合，确定每个像素点属于各深度区域的概率，从而划分出多个深度区域。可以将视差遮挡区域对应的第一图像的融合权重设置为1，第二图像的融合权重设置为0，即在视差遮挡区域完全采用第一图像，而不融合第二图像。

步骤S1108，分别在第一图像、第二图像的各深度区域内进行频率分割，得到各深度区域内的第一图像频率分割区域、第二图像频率分割区域。

步骤S1109，统计各深度区域内的第一图像频率分割区域、第二图像频率分割区域的占比与梯度，并进行比较，根据比较结果确定各深度区域对应的融合权重。还可以对不同深度区域的融合权重进行平滑处理。

步骤S1110，基于融合权重融合待融合的第一图像和待融合的第二图像，并添加第一图像中被裁减掉的非视场交集区域图像，可以进行全局的平滑处理，得到融合后的目标图像。流程结束。

本公开的示例性实施方式还提供一种图像融合装置。参考图12所示，图像融合装置1200可以包括以下模块：

图像获取模块1210，被配置为获取经过配准的第一图像和第二图像，根据配准参数确定第一图像和第二图像的视差信息；

深度区域划分模块1220，被配置为利用视差信息从第一图像与第二图像的视场交集区域中划分出多个深度区域；不同的深度区域具有不同的深度；

频率分割区域确定模块1230，被配置为在第一图像的深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在第二图像的深度区域内确定出图像频率满足频率分割条件的一种或多种第二图像频率分割区域；

融合权重确定模块1240，被配置为分别对各深度区域内的第一图像频率分割区域和第二图像频率分割区域进行比较，根据比较结果确定各深度区域对应的融合权重；

图像融合处理模块1250，被配置为基于融合权重融合第一图像和第二图像。

在一种实施方式中，配准参数包括：第一图像和第二图像中的被配准图像在视场交集区域内的各像素点的x偏移量和y偏移量；视差信息包括各像素点的视差值；上述根据配准参数确定第一图像和第二图像的视差信息，包括：

按照配准第一图像和第二图像时的对齐方向，分别对各像素点的x偏移量和y偏移量进行合并，得到各像素点的视差值。

在一种实施方式中，上述获取经过配准的第一图像和第二图像，包括：

对第一图像和第二图像进行全局配准与局部配准，并获取局部配准中各像素点的x偏移量和y偏移量。

在一种实施方式中，视差信息包括：第一图像和第二图像中的被配准图像在视场交集区域内的各像素点的视差值；上述利用视差信息从第一图像与第二图像的视场交集区域中划分出多个深度区域，包括：

对上述各像素点统计视差值的直方图；

利用多个高斯函数对直方图进行拟合，得到各像素点属于各深度区域的概率，根据概率从视场交集区域中划分出深度区域；深度区域与高斯函数具有一一对应关系。

在一种实施方式中，上述对上述各像素点统计视差值的直方图，包括：

从视场交集区域中剔除视差遮挡区域，对剩余的像素点统计视差值的直方图。

在一种实施方式中，深度区域划分模块1220，还被配置为：

在从视场交集区域中剔除视差遮挡区域之前，获取由视场交集区域的各像素点的视差值形成的视场交集区域的视差图；根据视差图确定各像素点的梯度，筛选出梯度大于预设梯度阈值的像素点，以形成视差遮挡区域；获取各像素点在第一图像和第二图像中的像素差值，筛选出像素差值大于预设像素差阈值的像素点，以形成图像差异区域；将视差遮挡区域在差异区域内进行生长，以更新视差遮挡区域。

在一种实施方式中，图像频率包括梯度，频率分割条件包括频率分割数值区间；上述在第一图像的每个深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在第二图像的每个深度区域内确定出图像频率满足频率分割条件的一种或多种第二图像频率分割区域，包括：

获取第一图像的每个深度区域内的像素点的梯度，分别在第一图像的每个深度区域内，筛选出梯度处于每个频率分割数值区间的像素点，以形成每个深度区域内的第一图像频率分割区域；

获取第二图像的每个深度区域内的像素点的梯度，分别在第二图像的每个深度区域内，筛选出梯度处于每个频率分割数值区间的像素点，以形成每个深度区域内的第二图像频率分割区域。

在一种实施方式中，上述分别对各深度区域内的第一图像频率分割区域和第二图像频率分割区域进行比较，根据比较结果确定各深度区域对应的融合权重，包括：

比较任一深度区域i内的第一图像频率分割区域的占比和第二图像频率分割区域的占比，得到深度区域i的相对频率分割区域占比；

根据深度区域i的相对频率分割区域占比，确定深度区域i对应的融合权重。

在一种实施方式中，第一图像频率分割区域包括第一图像高频区域、第一图像中高频区域；第二图像频率分割区域包括第二图像高频区域、第二图像中高频区域；相对频率分割区域占比包括相对高频区域占比和相对中高频区域占比，相对高频区域占比是第二图像高频区域的占比除以第一图像高频区域的占比，相对中高频区域占比是第二图像中高频区域的占比除以第一图像中高频区域的占比；上述根据深度区域i的相对频率分割区域占比，确定深度区域i对应的融合权重，包括：

若深度区域i的相对高频区域占比大于第一高频比例阈值、相对中高频区域占比处于第一中高频比例阈值和第二中高频比例阈值之间，则确定深度区域i对应的第二图像的融合权重为1、第一图像的融合权重为0；

若深度区域i的相对高频区域处于第一高频比例阈值和第二高频比例阈值之间、相对中高频区域占比大于第一中高频比例阈值，则根据深度区域i内的第一图像高频区域与第二图像高频区域的梯度比较结果、以及深度区域i内的第一图像中高频区域与第二图像中高频区域的梯度比较结果，确定深度区域i对应的融合权重；

其中，第一高频比例阈值大于第二高频比例阈值，第一中高频比例阈值大于第二中高频比例阈值。

在一种实施方式中，上述根据深度区域i内的第一图像高频区域与第二图像高频区域的梯度比较结果、以及深度区域i内的第一图像中高频区域与第二图像中高频区域的梯度比较结果，确定深度区域i对应的融合权重，包括：

根据深度区域i内的第一图像高频区域的梯度平均值和第二图像高频区域的梯度平均值的比值，得到深度区域i的高频清晰度因子；

根据深度区域i内的第一图像中高频区域的梯度方差和第二图像中高频区域的梯度方差的比值，得到深度区域i的中高频清晰度因子；

计算深度区域i的高频清晰度因子和中高频清晰度因子中的较大者与高频清晰度因子和中高频清晰度因子之和的比值，以得到深度区域i对应的第二图像的融合权重。

在一种实施方式中，融合权重确定模块1240，还被配置为：

在确定各深度区域对应的融合权重之后，对不同深度区域对应的融合权重进行平滑处理。

上述基于融合权重融合第一图像和第二图像，包括：

基于平滑处理后的融合权重融合第一图像和第二图像。

在一种实施方式中，图像获取模块1210，还被配置为

在获取经过配准的第一图像和第二图像之后，对第一图像和第二图像中的至少一者进行亮度补偿，和/或对第一图像和第二图像中的至少一者进行颜色补偿。

上述基于融合权重融合第一图像和第二图像，包括：

基于融合权重融合亮度补偿和/或颜色补偿后的第一图像和第二图像。

在一种实施方式中，上述对第一图像和第二图像中的至少一者进行亮度补偿，包括：

根据第一图像的亮度平均值和第二图像的亮度平均值的比值，确定基础亮度补偿系数；

针对第二图像的每个像素点，根据每个像素点的亮度值确定每个像素点的亮度补偿调整值，并采用亮度补偿调整值调整基础亮度补偿系数，得到每个像素点的亮度补偿系数；

利用每个像素点的亮度补偿系数对第二图像的每个像素点进行亮度补偿。

在一种实施方式中，上述根据每个像素点的亮度值确定每个像素点的亮度补偿调整值，包括：

计算每个像素点的亮度值与基础亮度补偿系数的乘积，将每个像素点的亮度值与乘积的差值作为每个像素点的亮度补偿调整值。

在一种实施方式中，上述对第一图像和第二图像中的至少一者进行颜色补偿，包括：

在各颜色通道内，将第一图像和第二图像分别下采样后计算差值，得到各颜色通道的差异图像；

将差异图像上采样至第二图像的原始尺寸，利用上采样后的差异图像分别对第二图像的各颜色通道进行颜色补偿。

在一种实施方式中，上述利用视差信息从第一图像与第二图像的视场交集区域中划分出多个深度区域，包括：

利用视差信息、以及第一图像或第二图像的语义分割结果，从第一图像与第二图像的视场交集区域中划分出多个深度区域。

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种可选的实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本公开的示例性实施方式还提供一种电子设备，如可以是上述终端110或服务器120。该电子设备可以包括处理器与存储器。存储器存储有处理器的可执行指令，如可以是程序代码。处理器通过执行该可执行指令来执行本示例性实施方式中的方法。

下面以图13中的移动终端1300为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图13中的构造也能够应用于固定类型的设备。

如图13所示，移动终端1300具体可以包括：处理器1301、存储器1302、总线1303、移动通信模块1304、天线1、无线通信模块1305、天线2、显示屏1306、摄像模块1307、音频模块1308、电源模块1309与传感器模块1310。

处理器1301可以包括一个或多个处理单元，例如：处理器1301可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的方法可以由AP、GPU、ISP、DSP中的一个或多个来执行。

处理器1301可以通过总线1303与存储器1302或其他部件形成连接。

存储器1302可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器1301通过运行存储在存储器1302的指令，执行移动终端1300的各种功能应用以及数据处理。存储器1302还可以存储应用数据，例如存储图像，视频等文件。

移动终端1300的通信功能可以通过移动通信模块1304、天线1、无线通信模块1305、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1304可以提供应用在移动终端1300上3G、4G、5G等移动通信解决方案。无线通信模块1305可以提供应用在移动终端1300上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏1306用于实现显示功能，如显示用户界面等。

摄像模块1307用于实现拍摄功能，如可以包括两个摄像头，以分别拍摄第一图像和第二图像。

音频模块1308用于实现音频功能，如播放音频，采集语音等。

电源模块1309用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。

传感器模块1310可以包括一种或多种传感器，用于实现相应的感应检测功能。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (19)

1.一种图像融合方法，其特征在于，包括：

获取经过配准的第一图像和第二图像，根据配准参数确定所述第一图像和所述第二图像的视差信息；

利用所述视差信息从所述第一图像与所述第二图像的视场交集区域中划分出多个深度区域；不同的深度区域具有不同的深度；

在所述第一图像的每个所述深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在所述第二图像的每个所述深度区域内确定出图像频率满足所述频率分割条件的一种或多种第二图像频率分割区域；

分别对各所述深度区域内的所述第一图像频率分割区域和所述第二图像频率分割区域进行比较，根据比较结果确定各所述深度区域对应的融合权重；

基于所述融合权重融合所述第一图像和所述第二图像。

2.根据权利要求1所述的方法，其特征在于，所述配准参数包括：所述第一图像和所述第二图像中的被配准图像在所述视场交集区域内的各像素点的x偏移量和y偏移量；所述视差信息包括所述各像素点的视差值；所述根据配准参数确定所述第一图像和所述第二图像的视差信息，包括：

按照配准所述第一图像和所述第二图像时的对齐方向，分别对所述各像素点的x偏移量和y偏移量进行合并，得到所述各像素点的视差值。

3.根据权利要求2所述的方法，其特征在于，所述获取经过配准的第一图像和第二图像，包括：

对所述第一图像和所述第二图像进行全局配准与局部配准，并获取局部配准中所述各像素点的x偏移量和y偏移量。

4.根据权利要求1所述的方法，其特征在于，所述视差信息包括：所述第一图像和所述第二图像中的被配准图像在所述视场交集区域内的各像素点的视差值；所述利用所述视差信息从所述第一图像与所述第二图像的视场交集区域中划分出多个深度区域，包括：

对所述各像素点统计视差值的直方图；

利用多个高斯函数对所述直方图进行拟合，得到所述各像素点属于各深度区域的概率，根据所述概率从所述视场交集区域中划分出所述深度区域；所述深度区域与所述高斯函数具有一一对应关系。

5.根据权利要求4所述的方法，其特征在于，所述对所述各像素点统计视差值的直方图，包括：

从所述被配准图像的视场交集区域中剔除视差遮挡区域，对剩余的像素点统计视差值的直方图。

6.根据权利要求5所述的方法，其特征在于，在从所述被配准图像的视场交集区域中剔除视差遮挡区域之前，所述方法还包括：

获取由所述视场交集区域内的各像素点的视差值形成的所述视场交集区域的视差图；

根据所述视差图确定所述各像素点的梯度，筛选出梯度大于预设梯度阈值的像素点，以形成视差遮挡区域；

获取所述各像素点在所述第一图像和所述第二图像中的像素差值，筛选出像素差值大于预设像素差阈值的像素点，以形成图像差异区域；

将所述视差遮挡区域在所述图像差异区域内进行生长，以更新所述视差遮挡区域。

7.根据权利要求1所述的方法，其特征在于，图像频率包括梯度，所述频率分割条件包括频率分割数值区间；所述在所述第一图像的每个所述深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在所述第二图像的每个所述深度区域内确定出图像频率满足所述频率分割条件的一种或多种第二图像频率分割区域，包括：

获取所述第一图像的每个所述深度区域内的像素点的梯度，分别在所述第一图像的每个所述深度区域内，筛选出梯度处于每个所述频率分割数值区间的像素点，以形成每个所述深度区域内的第一图像频率分割区域；

获取所述第二图像的每个所述深度区域内的像素点的梯度，分别在所述第二图像的每个所述深度区域内，筛选出梯度处于每个所述频率分割数值区间的像素点，以形成每个所述深度区域内的第二图像频率分割区域。

8.根据权利要求1所述的方法，其特征在于，所述分别对各所述深度区域内的所述第一图像频率分割区域和所述第二图像频率分割区域进行比较，根据比较结果确定各所述深度区域对应的融合权重，包括：

比较任一深度区域内的所述第一图像频率分割区域的占比和所述第二图像频率分割区域的占比，得到所述任一深度区域的相对频率分割区域占比；

根据所述任一深度区域的相对频率分割区域占比，确定所述任一深度区域对应的融合权重。

9.根据权利要求8所述的方法，其特征在于，所述第一图像频率分割区域包括第一图像高频区域、第一图像中高频区域；所述第二图像频率分割区域包括第二图像高频区域、第二图像中高频区域；相对频率分割区域占比包括相对高频区域占比和相对中高频区域占比，相对高频区域占比是第二图像高频区域的占比除以第一图像高频区域的占比，相对中高频区域占比是第二图像中高频区域的占比除以第一图像中高频区域的占比；

所述根据所述任一深度区域的相对频率分割区域占比，确定所述任一深度区域对应的融合权重，包括：

若所述任一深度区域的相对高频区域占比大于第一高频比例阈值、相对中高频区域占比处于第一中高频比例阈值和第二中高频比例阈值之间，则确定所述任一深度区域对应的所述第二图像的融合权重为1、所述第一图像的融合权重为0；

若所述任一深度区域的相对高频区域处于第一高频比例阈值和第二高频比例阈值之间、相对中高频区域占比大于第一中高频比例阈值，则根据所述任一深度区域内的所述第一图像高频区域与所述第二图像高频区域的梯度比较结果、以及所述任一深度区域内的所述第一图像中高频区域与所述第二图像中高频区域的梯度比较结果，确定所述任一深度区域对应的融合权重；

其中，第一高频比例阈值大于第二高频比例阈值，第一中高频比例阈值大于第二中高频比例阈值。

10.根据权利要求9所述的方法，其特征在于，所述根据所述任一深度区域内的所述第一图像高频区域与所述第二图像高频区域的梯度比较结果、以及所述任一深度区域内的所述第一图像中高频区域与所述第二图像中高频区域的梯度比较结果，确定所述任一深度区域对应的融合权重，包括：

根据所述任一深度区域内的所述第一图像高频区域的梯度平均值和所述第二图像高频区域的梯度平均值的比值，得到所述任一深度区域的高频清晰度因子；

根据所述任一深度区域内的所述第一图像中高频区域的梯度方差和所述第二图像中高频区域的梯度方差的比值，得到所述任一深度区域的中高频清晰度因子；

计算所述任一深度区域的高频清晰度因子和中高频清晰度因子中的较大者与高频清晰度因子和中高频清晰度因子之和的比值，以得到所述任一深度区域对应的所述第二图像的融合权重。

11.根据权利要求1所述的方法，其特征在于，在确定各所述深度区域对应的融合权重之后，所述方法还包括：

对不同深度区域对应的融合权重进行平滑处理；

所述基于所述融合权重融合所述第一图像和所述第二图像，包括：

基于平滑处理后的融合权重融合所述第一图像和所述第二图像。

12.根据权利要求1所述的方法，其特征在于，在获取经过配准的第一图像和第二图像之后，所述方法还包括：

对所述第一图像和所述第二图像中的至少一者进行亮度补偿，和/或对所述第一图像和所述第二图像中的至少一者进行颜色补偿；

所述基于所述融合权重融合所述第一图像和所述第二图像，包括：

基于所述融合权重融合亮度补偿和/或颜色补偿后的第一图像和第二图像。

13.根据权利要求12所述的方法，其特征在于，所述对所述第一图像和所述第二图像中的至少一者进行亮度补偿，包括：

根据所述第一图像的亮度平均值和所述第二图像的亮度平均值的比值，确定基础亮度补偿系数；

针对所述第二图像的每个像素点，根据所述每个像素点的亮度值确定所述每个像素点的亮度补偿调整值，并采用所述亮度补偿调整值调整所述基础亮度补偿系数，得到所述每个像素点的亮度补偿系数；

利用所述每个像素点的亮度补偿系数对所述第二图像的所述每个像素点进行亮度补偿。

14.根据权利要求13所述的方法，其特征在于，所述根据所述每个像素点的亮度值确定所述每个像素点的亮度补偿调整值，包括：

计算所述每个像素点的亮度值与所述基础亮度补偿系数的乘积，将所述每个像素点的亮度值与所述乘积的差值作为所述每个像素点的亮度补偿调整值。

15.根据权利要求12所述的方法，其特征在于，所述对所述第一图像和所述第二图像中的至少一者进行颜色补偿，包括：

在各颜色通道内，将所述第一图像和所述第二图像分别下采样后计算差值，得到各颜色通道的差异图像；

将所述差异图像上采样至所述第二图像的原始尺寸，利用上采样后的差异图像分别对所述第二图像的各颜色通道进行颜色补偿。

16.根据权利要求1所述的方法，其特征在于，所述利用所述视差信息从所述第一图像与所述第二图像的视场交集区域中划分出多个深度区域，包括：

利用所述视差信息、以及所述第一图像或所述第二图像的语义分割结果，从所述第一图像与所述第二图像的视场交集区域中划分出多个深度区域。

17.一种图像融合装置，其特征在于，包括：

图像获取模块，被配置为获取经过配准的第一图像和第二图像，根据配准参数确定所述第一图像和所述第二图像的视差信息；

深度区域划分模块，被配置为利用所述视差信息从所述第一图像与所述第二图像的视场交集区域中划分出多个深度区域；不同的深度区域具有不同的深度；

频率分割区域确定模块，被配置为在所述第一图像的所述深度区域内确定出图像频率满足频率分割条件的一种或多种第一图像频率分割区域，在所述第二图像的所述深度区域内确定出图像频率满足所述频率分割条件的一种或多种第二图像频率分割区域；

融合权重确定模块，被配置为分别对各所述深度区域内的所述第一图像频率分割区域和所述第二图像频率分割区域进行比较，根据比较结果确定各所述深度区域对应的融合权重；

图像融合处理模块，被配置为基于所述融合权重融合所述第一图像和所述第二图像。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至16任一项所述的方法。

19.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至16任一项所述的方法。