CN114782296A - 图像融合方法、装置及存储介质 - Google Patents

Abstract

一种图像融合方法、装置及存储介质，涉及图像处理技术领域，该方法包括：获取第一路图像和第二路图像；其中，所述第二路图像的清晰度高于所述第一路图像的清晰度；分别提取所述第一路图像的特征和所述第二路图像的特征；计算所述第一路图像和所述第二路图像中各特征之间的相似度，得到所述第二路图像中与所述第一路图像的特征存在相似度满足预设条件的目标特征；根据所述目标特征对所述第一路图像进行特征融合。通过计算第一摄像头拍摄的图像和第二摄像头拍摄的图像中各特征之间的相似度，从而在特征层面的配准对齐提升了尺度和像素对齐的效果，有效改善了鬼影问题，同时使得整体图像融合过渡得比较平滑、自然。

Description

图像融合方法、装置及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像融合方法、装置及存储介质。

背景技术

随着智能手机技术的发展，手机已经成为人们日常最常使用的拍照工具，因此，人们也越来越注重手机拍照的清晰度。为了提高手机拍照的清晰度，现在一般用双摄像头取代单摄像头拍照，而双摄像头拍照就涉及到将两个摄像头拍摄的图像进行融合。目前业界的双摄融合方案，主要包括主摄和长焦、黑白彩色不同镜头（lens）间的融合以及相同长焦镜头下不同倍率的融合，双摄融合后的图像清晰度远高于普通镜头的拍照效果。

一些双摄融合方案中，计算双摄像头拍摄得到的低分辨率图像和参考图像之间的光流（optical flow）信息，光流信息可以理解为低分辨率图像中每个像素相对参考图像的运动方向和运动速度，根据光流信息对低分辨率图像做图形变换，从而对齐低分辨率图像和参考图像之间的像素，实现配准对齐。

然而，基于光流信息的配准对齐，在图像融合后的图像中容易存在鬼影问题。

发明内容

本申请实施例提供一种图像融合方法、装置及存储介质，涉及图像处理技术领域，有助于改善图像融合后的图像中容易存在的鬼影问题。

第一方面，本申请实施例提供一种图像融合方法，该方法包括：获取第一路图像和第二路图像；其中，第二路图像的清晰度高于第一路图像的清晰度；分别提取第一路图像的特征和第二路图像的特征；计算第一路图像和第二路图像中各特征之间的相似度，得到第二路图像中与第一路图像的特征存在相似度满足预设条件的目标特征；根据目标特征对第一路图像进行特征融合。

本申请实施例中，通过获取第一摄像头拍摄的第一路图像和第二摄像头拍摄的第二路图像，第二路图像的清晰度高于第一路图像的清晰度，分别提取第一路图像的特征和第二路图像的特征，计算第一路图像和第二路图像中各特征之间的相似度，得到第二路图像中与第一路图像的特征存在相似度满足预设条件的目标特征，根据该目标特征对第一路图像进行特征融合。这样计算第一路图像和第二路图像中各特征之间的相似度，从而在特征层面的配准对齐提升了尺度和像素对齐的效果，有效改善了鬼影问题，同时使得整体图像融合过渡得比较平滑、自然。

在一种可能的实现方式中，计算第一路图像和第二路图像中各特征之间的相似度，得到第二路图像中与第一路图像的特征存在相似度满足预设条件的目标特征，包括：计算第一路图像的特征和第二路图像的特征中，各图像块patch之间的相似度，得到相似度索引和相似度分数；基于相似度索引，提取第二路图像的特征中与第一路图像的特征相似度满足预设条件的特征，得到目标特征。这样，通过对计算得到的图像块patch之间的相似度进行分解，得到相似度索引和相似度分数，以便后续利用相似度索引和相似度分数进行图像的配准融合，从而改善第一路图像和第二路图像融合后容易存在的鬼影问题。

在一种可能的实现方式中，提取第二路图像的特征中与第一路图像的特征相似度满足预设条件的特征，包括：提取第二路图像的特征中与第一路图像的特征相似度最大的特征。

在一种可能的实现方式中，根据目标特征对第一路图像进行特征融合，包括：将目标特征与第一路图像的特征利用卷积进行初步融合，得到初步融合后的特征；将初步融合后的特征与相似度分数相乘，得到相乘结果；将相乘结果融合在第一路图像的特征上。这样，通过将目标特征与第一路图像的特征的初步融合，增强了第一路图像的相关特征，使得相关特征的清晰度得到提高，从而改善第一路图像的清晰度，将初步融合后的特征与相似度分数相乘，得到相乘结果，将相乘结果融合在第一路图像的特征，这样在对第一路图像的特征做了加强效果的基础上进行特征融合，可以实现较好的特征融合。

在一种可能的实现方式中，分别提取第一路图像的特征和第二路图像的特征，包括：提取第一路图像的第一层特征；以及，提取第二路图像的N层特征，N为大于1的整数；方法还包括：将第一路图像的第一层特征与第二路图像的第一层特征融合后得到的第一层融合结果进行特征提取，得到第一路图像的第二层特征；基于第一路图像的第二层特征和第二路图像的第二层特征之间的相似度，对第一路图像的第二层特征和第二路图像的第二层特征进行融合，并将融合后的结果提取特征后与第二路图像的下一层特征融合，直到完成第一路图像的第N层特征与第二路图像的第N层特征的融合，得到融合结果。这样在不同层次上的特征融合，可以优化最后生成的高清图像的清晰度，也让图像更为自然。

在一种可能的实现方式中，N为3，第一层特征包括图像的结构和形状信息；第二层特征包括图像的纹理和细节信息；第三层特征包括图像的颜色和亮度信息。

在一种可能的实现方式中，第一路图像的第M特征和第二路图像的第M特征被处理为互为转置的两个矩阵。

在一种可能的实现方式中，计算第一路图像和第二路图像中各特征之间的相似度，包括：将互为转置的两个矩阵相乘，得到第一路图像和第二路图像中各特征之间的相似度。

在一种可能的实现方式中，第一路图像为电子设备的主摄相机采集的图像，第二路图像为电子设备的辅摄像机采集的图像。

第二方面，本申请实施例提供一种图像融合装置，处理单元，用于获取第一路图像和第二路图像；其中，第二路图像的清晰度高于第一路图像的清晰度；处理单元，还用于分别提取第一路图像的特征和第二路图像的特征；处理单元，还用于计算第一路图像和第二路图像中各特征之间的相似度，得到第二路图像中与第一路图像的特征存在相似度满足预设条件的目标特征；处理单元，还用于根据目标特征对第一路图像进行特征融合。

在一种可能的实现方式中，处理单元，还用于计算第一路图像的特征和第二路图像的特征中，各图像块patch之间的相似度，得到相似度索引和相似度分数；处理单元，还用于基于相似度索引，提取第二路图像的特征中与第一路图像的特征相似度满足预设条件的特征，得到目标特征。

在一种可能的实现方式中，处理单元，还用于提取第二路图像的特征中与第一路图像的特征相似度最大的特征。

在一种可能的实现方式中，处理单元，还用于将目标特征与第一路图像的特征利用卷积进行初步融合，得到初步融合后的特征；处理单元，还用于将初步融合后的特征与相似度分数相乘，得到相乘结果；处理单元，还用于将相乘结果融合在第一路图像的特征上。

在一种可能的实现方式中，处理单元，还用于提取第一路图像的第一层特征；以及，提取第二路图像的N层特征，N为大于1的整数；处理单元，还用于将第一路图像的第一层特征与第二路图像的第一层特征融合后得到的第一层融合结果进行特征提取，得到第一路图像的第二层特征；处理单元，还用于基于第一路图像的第二层特征和第二路图像的第二层特征之间的相似度，对第一路图像的第二层特征和第二路图像的第二层特征进行融合，并将融合后的结果提取特征后与第二路图像的下一层特征融合，直到完成第一路图像的第N层特征与第二路图像的第N层特征的融合，得到融合结果。

在一种可能的实现方式中，N为3，第一层特征包括图像的结构和形状信息；第二层特征包括图像的纹理和细节信息；第三层特征包括图像的颜色和亮度信息。

在一种可能的实现方式中，处理单元，还用于将第一路图像的第M特征和第二路图像的第M特征处理为互为转置的两个矩阵。

在一种可能的实现方式中，处理单元，还用于将互为转置的两个矩阵相乘，得到第一路图像和第二路图像中各特征之间的相似度。

在一种可能的实现方式中，第一路图像为电子设备的主摄相机采集的图像，第二路图像为电子设备的辅摄像机采集的图像。

第三方面，本申请实施例提供一种终端设备，存储器用于存储代码指令；处理器用于运行代码指令，使得终端设备以执行如第一方面的实现方式中描述的图像融合方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令被执行时，使得计算机执行如第一方面的实现方式中描述的图像融合方法。

第五方面，本申请提供一种芯片或者芯片***，该芯片或者芯片***包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行第一方面或第一方面的任意一种可能的实现方式中描述的模型量化方法。其中，芯片中的通信接口可以为输入/输出接口、管脚或电路等。

在一种可能的实现中，本申请实施例中上述描述的芯片或者芯片***还包括至少一个存储器，该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元，例如，寄存器、缓存等，也可以是该芯片的存储单元（例如，只读存储器、随机存取存储器等）。

应当理解的是，本申请的第一方面与本申请的第二方面至第五方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为一种基于光流信息进行图像融合后的图像示意图；

图2为本申请实施例所适用的场景示意图；

图3为本申请实施例的图像融合方法端到端的主流程示意图；

图4为本申请实施例提供的一种电子设备的结构示意图；

图5为本申请实施例提供的一种电子设备的软件结构框图；

图6为本申请实施例提供的一种图像融合方法的流程示意图；

图7为本申请实施例提供的一种具体的图像配准融合方法的流程示意图；

图8为一张图像示意图；

图9为本申请实施例提供的一种图像融合模型的架构示意图；

图10为本申请实施例提供的一种图像融合装置的结构示意图；

图11为本申请实施例提供的一种终端设备的硬件结构示意图；

图12为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，以下，对本申请实施例中所涉及的部分术语和技术进行简单介绍：

1）配准：同一区域内以不同成像手段所获得的不同图像图形的地理坐标的匹配。包括几何纠正、投影变换与统一比例尺等处理。

2）光流：指空间运动物体在观察成像平面上的像素运动的瞬时速度。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜（即图像平面），好像一种光的“流”，故称之为光流。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。

3）鬼影：像点附近有一个或者多个与像点相似的像的存在，这个除了像点之外的其它的像点统称为“鬼影”。鬼影可以称为伪纹理等。

4）其他术语

在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一摄像头和第二摄像头仅仅是为了区分不同的摄像头，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a--c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

随着智能手机技术的发展，手机已经成为人们日常最常使用的拍照工具，因此，人们也越来越注重手机的拍照性能，尤其关注图像的清晰度，为了提高手机拍照的清晰度，可以采用双摄像头取代单摄像头拍照，双摄像头可以是主摄和长焦相机、黑白相机+彩色相机、两个长焦相机，而双摄像头拍照就涉及到将两个摄像头拍摄的两帧图像进行配准对齐、图像融合。

其中两个摄像头拍摄的两帧图像可以分别是低分辨率图像和参考图像，参考图像的清晰度高于低分辨率图像，参考图像的内容可以少于低分辨率图像的内容。

一种可能的实现方式中，基于光流信息进行配准对齐，可以是利用光流计算计算出低分辨率图像和参考图像之间的光流信息，根据光流信息对低分辨率图像做图形变换，从而对齐低分辨率图像和参考图像之间的像素，实现配准对齐。

光流计算是利用两帧图像内像素强度的变化来计算像素点的运动。其原理决定了这种方法是建立在一系列假设上的，例如假设两帧图像之间像素点的位移不大；灰度不变假设，这要求外界光强保持恒定；空间相关性假设，要求两帧图像中每个像素点的运动和邻近的像素点类似。

然而，由于手机模组组装形态多种多样，使得不同摄像头拍摄的图像之间空间和尺度差异多种多样，从而使得两个摄像头拍摄的两帧图像之间某些像素点的位移过大，或者这两帧图像的亮度不一致，导致光流计算计算出的光流信息有偏差，从而使得双摄像头拍摄的两帧图像之间的像素对齐失败，融合后的图像中就容易出现鬼影问题。

示例性的，图1示出了基于光流信息进行图像融合后的图像示意图。如图1所示，配准后的图像出现了鬼影10，这是由于双摄图像的像素没有对齐，配准没有成功导致的。

有鉴于此，本申请实施例提供了一种基于深度学***滑、自然。

图2示出了本申请实施例所适用的场景示意图。如图2的a所示，该场景中包括电子设备20，电子设备20可以是包括第一摄像头201和第二摄像头202的终端设备，本申请实施例以电子设备20为手机为例进行示例说明，第一摄像头201和第二摄像头202可以是主摄和长焦、黑白彩色、长焦和长焦等组合，本申请以主摄和长焦组合为例进行示例说明，上述示例并不构成对本申请实施例的限定。如图2的b所示，该场景中还包括手机拍照界面，手机拍照界面上显示预览画面203，用户点击拍照控件204进行拍照。如图2的c所示，该场景中还包括拍照完成后的手机界面，拍摄完成的图片以缩略图的形式显示在显示控件205，用户可以点击该缩略图查看照片或进入手机相册。

图3示出了本申请实施例的图像融合方法端到端的主流程示意图。如图3所示，主路和辅路两路拍摄，两路拍摄的图像进行融合，输出融合结果。

下面，结合图2和图3对本申请实施例的应用场景进行说明。

示例性的，第一摄像头201将要拍摄的主路场景送显到手机预览画面203，第二摄像头202有辅路使能，但不送显。用户点击拍照控件204拍照后，第一摄像头201拍摄得到的图像和第二摄像头202拍摄得到的图像进行双摄融合，输出高清图像。

可选的该高清图像可以以缩略图的形式显示在显示控件205中，用户可以在显示控件205点击该缩略图查看双摄融合输出的高清图像，该高清图像的清晰度高于预览画面203的清晰度。

示例性的，图像融合方法可以包括：获取第一摄像头和第二摄像头分别拍摄的图像，其中，第二摄像头拍摄的图像的清晰度高于第一摄像头拍摄的图像的清晰度，分别提取第一摄像头拍摄的图像的特征和第二摄像头拍摄的图像的特征，计算第一摄像头拍摄的图像和第二摄像头拍摄的图像中各特征之间的相似度，得到第二摄像头拍摄的图像中与第一摄像头拍摄的图像的特征存在相似度满足预设条件的目标特征，根据该目标特征对第一摄像头拍摄的图像进行特征融合。通过计算第一摄像头拍摄的图像和第二摄像头拍摄的图像中各特征之间的相似度，从而在特征层面的配准对齐提升了尺度和像素对齐的效果，有效改善了鬼影问题，同时使得整体图像融合过渡得比较平滑、自然。

示例性的，图4示出了本申请实施例提供的一种电子设备20的结构示意图。

电子设备可以包括处理器410，外部存储器接口420，内部存储器421，通用串行总线（universal serial bus，USB）接口430，充电管理模块440，电源管理模块441，天线1，天线2，移动通信模块450，无线通信模块460，音频模块470，扬声器470A，受话器470B，麦克风470C，耳机接口470D，传感器模块480，按键490，指示器492，摄像头493，以及显示屏494等。其中传感器模块480可以包括压力传感器480A，陀螺仪传感器480B，气压传感器480C，磁传感器480D，加速度传感器480E，距离传感器480F，接近光传感器480G，指纹传感器480H，温度传感器480J，触摸传感器480K，环境光传感器480L，骨传导传感器480M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器410可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器410中还可以设置存储器，用于存储指令和数据。

电子设备通过GPU，显示屏494，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏494和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。

显示屏494用于显示图像，视频等。显示屏494包括显示面板。在一些实施例中，电子设备可以包括1个或N个显示屏494，N为大于1的正整数。

电子设备可以通过ISP，摄像头493，视频编解码器，GPU，显示屏494以及应用处理器等实现拍摄功能。

摄像头493用于捕获静态图像或视频。在一些实施例中，电子设备可以包括1个或N个摄像头493，N为大于1的正整数。本申请实施例中，电子设备可以包括两个摄像头493，本申请实施例以电子设备为手机为例，两个摄像头以主摄和长焦摄像头为例进行示例说明，主摄像头送显到手机的预览画面，长焦摄像头使能但不送显，在检测到用户指示的拍照指示时，主摄像头和长焦摄像头都可以采集图像。

ISP用于处理摄像头493反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头493中。

外部存储器接口420可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口420与处理器410通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器421可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器421可以包括存储程序区和存储数据区。

压力传感器480A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器480A可以设置于显示屏494。陀螺仪传感器480B可以用于确定终端设备的运动姿态。气压传感器480C用于测量气压。磁传感器480D包括霍尔传感器。加速度传感器480E可检测终端设备在各个方向上（一般为三轴）加速度的大小。距离传感器480F，用于测量距离。接近光传感器480G可以包括例如发光二极管（LED）和光检测器，例如光电二极管。环境光传感器480L用于感知环境光亮度。指纹传感器480H用于采集指纹。温度传感器480J用于检测温度。触摸传感器480K，也称“触控器件”。骨传导传感器480M可以获取振动信号。

触摸传感器480K可以设置于显示屏494，由触摸传感器480K与显示屏494组成触摸屏，或称“触控屏”。其中，该触摸屏内可以设置有电容感测节点网格，当电子设备确定该电容传感器接收到的至少一个网格中的电容的数值超出电容阈值时，则可以确定发生触摸操作；进一步的，电子设备可以基于超出电容阈值的至少一个网格所占的区域，确定触摸操作对应的触摸区域。

按键490包括开机键，音量键等。按键490可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入，产生与电子设备的用户设置以及功能控制有关的键信号输入。指示器492可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备20的结构限定。在本申请另一些实施例中，电子设备20也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备20的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的安卓（android）***为例，示例性说明电子设备20的软件结构。

示例性的，图5为本申请实施例提供的一种电子设备20的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android***分为四层，从上至下分别为应用层，应用程序框架层，安卓运行时(android runtime)和***库，以及内核层。

应用层可以包括一系列应用程序包。

如图5所示，应用程序包可以包括电话、邮箱、日历、相机等应用程序。

应用程序框架层为应用层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。

如图5所示，应用程序框架层可以包括输入***、活动管理器、位置管理器、包管理器、通知管理器、资源管理器、电话管理器和视图***等。

输入***用于管理输入设备的程序。例如，输入***可以确定鼠标点击操作、键盘输入操作和触摸滑动等输入操作。

活动管理器用于管理各个应用程序的生命周期以及导航回退功能。负责Android的主线程创建，各个应用程序的生命周期的维护。

位置管理器用于为应用程序提供位置服务，包括查询上一个已知位置、注册和注销来自某个周期性的位置更新等。

包管理器用于***内的程序管理，例如：应用程序安装、卸载和升级等。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

Android runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用层和应用程序框架层运行在虚拟机中。虚拟机将应用层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：图像绘制模块、图像渲染模块、图像合成模块、函数库、和输入处理库等。

图像绘制模块用于二维或三维图像的绘制。图像渲染模块用于二维或三维图像的渲染。图像合成模块用于二维或三维图像的合成。

函数库提供C语言中所使用的宏、类型定义、字符串操作函数、数学计算函数以及输入输出函数等

输入处理库用于处理输入设备的库，可以实现鼠标、键盘和触摸输入处理等。

内核层是硬件和软件之间的层。内核层至少包含触控面板驱动、LCD/LED屏幕驱动、显示驱动、蓝牙驱动、WIFI驱动、键盘驱动、共用存储器驱动和相机驱动等。

硬件可以是音频设备、蓝牙设备、相机设备、传感器设备等。

下面结合拍照的场景以及图4对应的实施例，示例性说明电子设备20软件以及硬件的工作流程。

当触摸传感器180K接收到用户针对拍照的触摸操作时，相应的硬件中断被发给内核层，内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)，原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。

下面通过具体的实施例对本申请实施例的图像融合方法进行详细说明。下面的实施例可以相互结合或独立实施，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图6为本申请实施例提供的的一种图像融合方法的流程示意图。如图6所示，该方法可以包括：

S601、获取第一路图像和第二路图像；其中，第二路图像的清晰度高于第一路图像的清晰度。

本申请实施例中，第一路图像可以是第一摄像头拍摄得到的图像，例如可以是主摄像头拍摄得到的图像，第二路图像可以是第二摄像头拍摄得到的图像，例如可以是长焦摄像头拍摄得到的图像。

可能的实现方式中，第二路图像的内容可以少于第一路图像的内容，例如，第二路图像可以缺少第一路图像的边缘部分，是第一路图像取中间的部分或者任意部分。当然，第二路图像的内容也可能等于或多于第一路图像的内容，只需要满足第二路图像比第一路图像的清晰度高即可，本申请实施例对第一路图像和第二路图像各自的内容多少不作具体限定。

本申请实施例中，第一路图像和第二路图像分别是第一摄像头和第二摄像头针对同一场景拍摄得到的，第二路图像的清晰度高于第一路图像的清晰度，第二路图像的内容可以少于第一路图像的内容。示例性的，终端设备中包括第一摄像头和第二摄像头，终端设备在***相机应用或其他任意具备拍照功能的应用中接收到拍照指示时，终端设备利用第一摄像头和第二摄像头拍摄，分别得到第一路图像和第二路图像。

S602、分别提取第一路图像的特征和第二路图像的特征。

其中，特征指图像的信息，例如图像的结构、纹理、颜色等信息。

一种可能的实现中，利用编码器（encoder）提取图像的特征，编码器网络可以采用神经网络，例如卷积神经网络等。

示例性的，该编码器网络包括第一编码器、第二编码器。第一编码器用于提取第一路图像的特征，第二编码器用于提取第二路图像的特征。

S603、计算第一路图像和第二路图像中各特征之间的相似度，得到第二路图像中与第一路图像的特征存在相似度满足预设条件的目标特征。

本申请实施例中，第二路图像中与第一路图像的特征存在相似度满足预设条件可以包括：第二路图像中与第一路图像的特征存在相似度最大的特征，或者在第二路图像中与第一路图像的特征存在相似度较大的多个特征中任选一个。

或者可以理解为，目标特征是第二路图像中与第一路图像的特征最相似的特征，或者目标特征是第二路图像中与第一路图像的特征较相似的特征中的任一个。

一种可能的实现中，第一路图像和第二路图像中各特征之间的相似度通过计算第一路图像和第二路图像中各特征之间的距离得到，该距离可以是欧氏距离等。

示例性的，计算提取出的第一路图像的特征A与第二路图像各特征之间的距离，当该距离满足预设条件时，将该满足预设条件的距离对应的第二路图像的特征作为第一路图像的特征A的目标特征。同理，计算提取出的第一路图像的特征B、C、D…与第二路图像各特征之间的距离，得到与第一路图像的特征 B、C、D…各的目标特征。则之后，第一路图像的A、B、C、D…特征可以根据各自的目标特征进行融合优化。

另一种可能的实现中，通过计算第一路图像和第二路图像中各特征之间的余弦相似度得到第一路图像和第二路图像中各特征之间的相似度。

示例性的，将第一路图像和第二路图像中各特征的特征值转化为特征向量，计算第一路图像和第二路图像中各特征向量的内积空间的夹角余弦值，当该夹角余弦值满足预设条件时，将该夹角余弦值满足预设条件对应的第二路图像中的特征作为目标特征。

S604、根据目标特征对第一路图像进行特征融合。

本申请实施例中，根据目标特征对第一路图像进行特征融合可以包括：采用目标特征替换第一路图像中与目标特征的相似度满足预设关系的特征，或者，采用目标特征覆盖第一路图像中与目标特征的相似度满足预设关系的特征，或者，其它任意可能的融合方式，本申请实施例不作具体限定。

可能的实现中，第一路图像中可以存在多处与目标特征相似度满足预设条件的特征，可以分别将目标特征与第一路图像中对应的满足预设条件的特征进行融合。

示例性的，将目标特征与第一路图像的特征进行特征融合，例如，第一路图像的特征中有多处“女”字特征，将目标特征的“女”字的特征分别与第一路图像的特征中的多处“女”字特征进行特征融合，由于目标特征是从清晰度更高的第二路图像得到的，因此，特征融合后的第一路图像中的多处“女”字的清晰度明显提高。这样本申请实施例中，目标特征可以实现对第一图像的特征中任一处与目标特征相关的特征的清晰度改善。

综上，本申请实施例中，通过获取第一摄像头拍摄的第一路图像和第二摄像头拍摄的第二路图像，第二路图像的清晰度高于第一路图像的清晰度，分别提取第一路图像的特征和第二路图像的特征，计算第一路图像和第二路图像中各特征之间的相似度，得到第二路图像中与第一路图像的特征存在相似度满足预设条件的目标特征，根据该目标特征对第一路图像进行特征融合。这样计算第一路图像和第二路图像中各特征之间的相似度，从而在特征层面的配准对齐提升了尺度和像素对齐的效果，有效改善了鬼影问题，同时使得整体图像融合过渡得比较平滑、自然。

在上述实施例的基础上，为了更清楚地描述本申请实施例提供的技术方案，示例性的，请参见图7，图7示出了本申请实施例提供的一种具体的图像配准融合方法的流程示意图，该方法可以包括：

S701、分别提取第一路图像的特征和第二路图像的特征。

S702、将第一路图像的特征和第二路图像的特征展开，计算第一路图像的特征和第二路图像的特征中，各图像块patch之间的相似度，得到相似度索引和相似度分数。

示例性的，提取出的第一路图像的特征和第二路图像的特征可以都为H

W的矩阵， 经过数据处理对图像块patch之间的相似度进行分解，分解成相似度索引和相似度分数。

示例性的，提取出的第一路图像的特征和第二路图像的特征都为H

W的矩阵，第一 路图像的H

W矩阵经过数据处理变成1

N的矩阵，第二路图像的H

W矩阵经过数据处理变 成N

1的矩阵，矩阵1

N和矩阵N

1互为转置，将这两个矩阵相乘得到第一路图像和第二路 图像中特征之间的相似度，经过数据处理对该相似度进行分解，分解成相似度索引和相似 度分数。

本申请实施例中，通过对计算得到的图像块patch之间的相似度进行分解，得到相似度索引和相似度分数，以便后续利用相似度索引和相似度分数进行图像的配准融合，从而改善第一路图像和第二路图像融合后容易存在的鬼影问题。

S703、基于相似度索引，提取第二路图像的特征中与第一路图像的特征最相关的特征，得到目标特征。

其中，最相关的特征可以是相似度最大的特征。

示例性的，提取出的第一路图像的特征和第二路图像的特征可以都为H

W的矩阵。 硬性注意力（hard attention）算法机制根据相似度索引从第二路图像的特征的H

W矩阵 中找出与第一路图像的特征相似度最大的特征，得到目标特征。

一种可能的实现中，第二路图像的特征中与第一路图像的特征相似度满足预设条件的特征可以为一个，则目标特征的数量为一个。

另一种可能的实现中，第二路图像的特征中与第一路图像的特征相似度满足预设条件的特征可以有多个，则目标特征的数量可以为多个。示例性的，图8示出了一张图像示意图，如图8所示，“女”、“男”、“卫生间”、“步行梯”、矩形框801以及箭头802都可以是图像的特征，每个特征都有对应的目标特征，后续可以分别将每个特征与其对应的目标特征进行融合。

S704、 将目标特征与第一路图像的特征利用卷积进行初步融合，得到初步融合后的特征。

本申请实施例中，卷积可以在卷积神经网络中执行，例如，卷积神经网络可以是LeNet、AlexNet、VGGNet、ResNet等。

一种可能的实现中，可以将目标特征与第一路图像的特征进行堆叠，送入卷积神经网络中进行卷积，实现目标特征与第一路图像的特征的初步融合，得到初步融合的特征。

示例性的，将目标特征与第一路图像的特征进行堆叠，送入软性注意力（softattention）算法机制中进行初步融合，初步融合得到一个新的特征。

本申请实施例中，通过将目标特征与第一路图像的特征的初步融合，增强了第一路图像的相关特征，使得相关特征的清晰度得到提高，从而改善第一路图像的清晰度。

S705、将初步融合后的特征与相似度分数相乘，得到相乘结果，将相乘结果融合在第一路图像的特征，完成特征融合。

示例性的，该新的特征与相似度分数相乘，相似度分数例如可以是0.5、0.8、0.9等数值，将该相乘结果加到第一路图像的特征上，完成第一路图像和第二路图像的特征融合。

本申请实施例中，将初步融合后的特征与相似度分数相乘，得到相乘结果，将相乘结果融合在第一路图像的特征，这样在对第一路图像的特征做了加强效果的基础上进行特征融合，可以实现较好的特征融合。

可以理解的是，上述步骤702至步骤703可以是步骤603的具体实现，步骤704至步骤705可以是步骤604的具体实现。

在一种可能的实现中，本申请实施例可以基于第一路图像的N个尺度特征以及第二路图像的N个尺度特征实现较好的图像融合。N可以为大于1的整数，为便于表述，后续实施例以N为3为例进行示例说明。

示例性的，可以预先训练能够实现提取第一路图像的N个尺度特征以及第二路图像的N个尺度特征以及本申请实施例的图像融合方法的图像融合模型，进而，基于该图像融合模型，实现本申请实施例的基于多尺度图像特征的图像融合。

例如，训练模型时，可以获取至少一个训练样本，训练样本包括目标高清图像和参考图像；将目标高清图像按预设比例下采样后再按相同比例上采样，得到待处理的高清图像；将待处理的高清图像和参考图像作为图像融合模型的输入，以待处理的高清图像和参考图像融合后的图像作为输出进行模型训练，在模型输出图像与目标高清图像的损失值满足条件时，得到训练好的图像融合模型。

示例性的，图9示出了本申请实施例提供的一种图像融合模型的架构示意图。如图9所示，该图像融合模型包括：

特征提取模块，包括编码器网络，用于提取第一路图像的特征和第二路图像的特征。

特征配准模块，包括对齐模块，用于第一路图像的特征和第二路图像的特征的像素对齐。

特征融合模块，用于第一路图像和第二路图像在特征层面的融合。

下面将结合图9对本申请实施例在基于图像的多尺度特征时的图像融合方法进行描述。

特征提取模块中的编码器可以提取第一路图像的第一层特征，以及第二路图像的三层特征。其中，三层特征中，第一层特征可以对应图像的浅层特征，第二层特征可以对应图像的中层特征，第三层特征可以对应图像的深层特征。例如，第一层特征可以包括图像的结构和形状信息；第二层特征可以包括图像的纹理和细节信息；第三层特征可以包括图像的颜色和亮度信息。

特征配准模块中的第一层对齐模块，可以采用如图6或图7中记载的任意方式，利用第一路图像的第一层特征与第二路图像的第一层特征之间的相似度关系，实现第一路图像的第一层特征与第二路图像的第一层特征之间的对齐。例如，第一层对齐模块将第一路图像的第一层特征和第二路图像的第一层特征展开，计算第一路图像的第一层特征和第二路图像的第一层特征中，各图像块patch之间的相似度，得到第一层相似度索引和第一层相似度分数，基于第一层相似度索引，提取第二路图像的第一层特征中与第一路图像的第一层特征相似度最大的特征，得到第一路图像的第一层特征的目标特征。

特征融合模块中的第一层特征融合模块基于目标特征将第一路图像的第一层特征与第二路图像的第一层特征利用卷积进行初步融合，得到第一层初步融合的特征。进一步的，将第一层初步融合的特征与第一层相似度分数相乘，得到第一层相乘结果，将第一层相乘结果融合在第一路图像的第一层特征，得到第一层融合结果。

再进一步的，编码器将第一路图像的第一层特征与第二路图像的第一层特征融合后得到的第一层融合结果进行特征提取，得到第一路图像的第二层特征。

类似的，特征配准模块中的第二层对齐模块和特征融合模块中的第二层特征融合模块，基于第一路图像的第二层特征和第二路图像的第二层特征之间的相似度，对第一路图像的第二层特征和第二路图像的第二层特征进行融合，得到第二层融合结果。特征配准模块中的第三层对齐模块和特征融合模块中的第三层特征融合模块，基于第一路图像的第三层特征和第二路图像的第三层特征之间的相似度，对第一路图像的第三层特征和第二路图像的第三层特征进行融合，得到第三层融合结果。

或者可以理解为，图像融合模型中，将上一层融合后的结果提取特征后与第二图像的下一层特征融合，直到完成第一路图像的第N层特征与第二路图像的第N层特征的融合，得到融合结果。

需要说明的是，第一路图像和第二路图像每一层特征的尺度对应相同，尺度可以理解为分辨率。

第三层融合结果经过解码器网络解码，则可以输出高清图像。编码器网络可以采用神经网络，例如卷积神经网络等。

可以理解的是，本申请实施例以第一路图像和第二路图像的三层特征融合进行示例，可能的实现中也可以采用三层以上或三层以下，本申请实施例对此不作限定。

这样，本申请实施例中，提取的第二图像中的特征，基于对应的相似度分层依次对第一图像进行特征融合，这样在不同层次上的特征融合，可以优化最后生成的高清图像的清晰度，也让图像更为自然。

上面结合图6-图9，对本申请实施例提供的方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。如图10所示，图10为本申请实施例提供的一种图像融合装置的结构示意图，该图像融合装置可以是本申请实施例中的终端设备，也可以是终端设备内的芯片或芯片***。

如图10所示，图像融合装置100可以用于通信设备、电路、硬件组件或者芯片中，该图像融合装置包括：处理单元1002。处理单元1002用于支持图像融合装置执行信息处理的步骤，例如，处理单元用于处理图6中的S601至S604的步骤。

可选的，该图像融合装置还可以包括：显示单元1001。其中，显示单元可以用于显示处理单元处理后的图像。

处理单元1002可以和显示单元1001可以集成在一起，处理单元1002和显示单元1001可能会发生通信。

在一种可能的实现方式中，该图像融合装置还可以包括：存储单元1004。其中，存储单元1004可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。

存储单元1004可以独立存在，通过通信总线与处理单元1002相连。存储单元1004也可以和处理单元1002集成在一起。

以图像融合装置可以是本申请实施例中的终端设备的芯片或芯片***为例，存储单元1004可以存储终端设备的方法的计算机执行指令，以使处理单元1002执行上述实施例中终端设备的方法。存储单元1004可以是寄存器、缓存或者随机存取存储器（randomaccess memory，RAM)等，存储单元1004可以和处理单元1002集成在一起。存储单元1004可以是只读存储器（read-only memory，ROM）或者可存储静态信息和指令的其他类型的静态存储设备，存储单元1004可以与处理单元1002相独立。

在一种可能的实现方式中，图像融合装置还可以包括：通信单元1003。其中，通信单元1003用于支持图像融合装置与其它设备交互。示例性的，当该图像融合装置是终端设备时，该通信单元1003可以是通信接口或接口电路。当该图像融合装置是终端设备内的芯片或芯片***时，该通信单元1003可以是通信接口。例如通信接口可以为输入/输出接口、管脚或电路等。

本实施例的装置对应地可用于执行上述方法实施例中执行的步骤，其实现原理和技术效果类似，此处不再赘述。

图11为本申请实施例提供的另一种终端设备的硬件结构示意图，如图11所示，该终端设备包括处理器1101，通信线路1104以及至少一个通信接口（图11中示例性的以通信接口1103为例进行说明）。

处理器1101可以是一个通用中央处理器（central processing unit，CPU），微处理器，特定应用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路1104可包括在上述组件之间传送信息的电路。

通信接口1103，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线局域网（wireless local area networks，WLAN）等。

可能的，该终端设备还可以包括存储器1102。

存储器1102可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路1104与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器1102用于存储执行本申请方案的计算机执行指令，并由处理器1101来控制执行。处理器1101用于执行存储器1102中存储的计算机执行指令，从而实现本申请实施例所提供的方法。

可能的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理1101可以包括一个或多个CPU，例如图11中的CPU0和CPU1。

在具体实现中，作为一种实施例，终端设备可以包括多个处理器，例如图11中的处理器1101和处理器1105。这些处理器中的每一个可以是一个单核（single-CPU）处理器，也可以是一个多核（multi-CPU）处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。

示例性的，图12为本申请实施例提供的一种芯片的结构示意图。芯片1200包括一个或两个以上（包括两个）处理器1202和通信接口1203。

在一些实施方式中，存储器1204存储了如下的元素：可执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

本申请实施例中，存储器1204可以包括只读存储器和随机存取存储器，并向处理器1202提供指令和数据。存储器1204的一部分还可以包括非易失性随机存取存储器（non-volatile random access memory，NVRAM）。

本申请实施例中，存储器1204、通信接口1203以及处理器1202通过总线***1201耦合在一起。其中，总线***1201除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。为了便于描述，在图12中将各种总线都标为总线***1201。

上述本申请实施例描述的方法可以应用于处理器1202中，或者由处理器1202实现。处理器1202可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1202中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1202可以是通用处理器（例如，微处理器或常规处理器）、数字信号处理器（digitalsignal processing，DSP）、专用集成电路（application specific integrated circuit，ASIC）、现成可编程门阵列（field-programmable gate array，FPGA）或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器1202可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。其中，软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器（electricallyerasable programmable read only memory，EEPROM）等本领域成熟的存储介质中。该存储介质位于存储器1204，处理器1202读取存储器1204中的信息，结合其硬件完成上述方法的步骤。

在上述实施例中，存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中，计算机程序产品可以是事先写入在存储器中，也可以是以软件形式下载并安装在存储器中。

计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如，可用介质可以包括磁性介质（例如，软盘、硬盘或磁带）、光介质（例如，数字通用光盘（digital versatile disc，DVD））、或者半导体介质（例如，固态硬盘（solid state disk，SSD））等。

本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

作为一种可能的设计，计算机可读介质可以包括紧凑型光盘只读储存器（compactdisc read-only memory，CD-ROM）、RAM、ROM、EEPROM或其它光盘存储器；计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术（如红外，无线电和微波）从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘（CD），激光盘，光盘，数字通用光盘（digital versatile disc，DVD），软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

上述的组合也应包括在计算机可读介质的范围内。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种图像融合方法，其特征在于，包括：

获取第一路图像和第二路图像；其中，所述第二路图像的清晰度高于所述第一路图像的清晰度；

分别提取所述第一路图像的特征和所述第二路图像的特征；

计算所述第一路图像和所述第二路图像中各特征之间的相似度，得到所述第二路图像中与所述第一路图像的特征存在相似度满足预设条件的目标特征；

根据所述目标特征对所述第一路图像进行特征融合。

2.根据权利要求1所述的方法，其特征在于，所述计算所述第一路图像和所述第二路图像中各特征之间的相似度，得到所述第二路图像中与所述第一路图像的特征存在相似度满足预设条件的目标特征，包括：

计算所述第一路图像的特征和所述第二路图像的特征中，各图像块patch之间的相似度，得到相似度索引和相似度分数；

基于所述相似度索引，提取所述第二路图像的特征中与所述第一路图像的特征相似度满足所述预设条件的特征，得到所述目标特征。

3.根据权利要求2所述的方法，其特征在于，所述提取所述第二路图像的特征中与所述第一路图像的特征相似度满足所述预设条件的特征，包括：

提取所述第二路图像的特征中与所述第一路图像的特征相似度最大的特征。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述目标特征对所述第一路图像进行特征融合，包括：

将所述目标特征与所述第一路图像的特征利用卷积进行初步融合，得到初步融合后的特征；

将所述初步融合后的特征与所述相似度分数相乘，得到相乘结果；

将所述相乘结果融合在所述第一路图像的特征上。

5.根据权利要求4所述的方法，其特征在于，所述分别提取所述第一路图像的特征和所述第二路图像的特征，包括：

提取所述第一路图像的第一层特征；以及，提取所述第二路图像的N层特征，所述N为大于1的整数；

所述方法还包括：

将所述第一路图像的第一层特征与所述第二路图像的第一层特征融合后得到的第一层融合结果进行特征提取，得到所述第一路图像的第二层特征；

基于所述第一路图像的第二层特征和所述第二路图像的第二层特征之间的相似度，对所述第一路图像的第二层特征和所述第二路图像的第二层特征进行融合，并将融合后的结果提取特征后与所述第二路图像的下一层特征融合，直到完成所述第一路图像的第N层特征与所述第二路图像的第N层特征的融合，得到融合结果。

6.根据权利要求5所述的方法，其特征在于，所述N为3，所述第一层特征包括图像的结构和形状信息；所述第二层特征包括图像的纹理和细节信息；第三层特征包括图像的颜色和亮度信息。

7.根据权利要求6所述的方法，其特征在于，所述第一路图像的第M特征和所述第二路图像的第M特征被处理为互为转置的两个矩阵。

8.根据权利要求7所述的方法，其特征在于，所述计算所述第一路图像和所述第二路图像中各特征之间的相似度，包括：

将所述互为转置的两个矩阵相乘，得到所述第一路图像和所述第二路图像中各特征之间的相似度。

9.根据权利要求8所述的方法，其特征在于，所述第一路图像为电子设备的主摄相机采集的图像，所述第二路图像为所述电子设备的辅摄像机采集的图像。

10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使得所述终端设备执行如权利要求1-9任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得计算机执行如权利要求1-9任一项所述的方法。

Images