CN112261387B - 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 - Google Patents

Abstract

一种用于多摄像头模组的图像融合方法及装置、存储介质、移动终端，所述多摄像头模组包括第一摄像头和第二摄像头，其中所述方法包括：获取第一图像和第二图像，其中，所述第一图像通过所述第一摄像头采集得到，所述第二图像通过所述第二摄像头采集得到；基于透视变换将所述第一图像向第二图像粗对齐；计算粗对齐后所述第二图像相对于第一图像的对齐误差；根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像，记作处理后第一图像；将所述处理后第一图像融合入所述第二图像，以得到融合图像。通过本发明方案能够极大地提高多摄像头模组经视场融合的成像质量，且计算复杂度低。

Description

用于多摄像头模组的图像融合方法及装置、存储介质、移动 终端

技术领域

本发明涉及图像处理技术领域，具体地涉及一种用于多摄像头模组的图像融合方法及装置、存储介质、移动终端。

背景技术

随着智能手机的发展，拍照功能在智能手机中的作用越来越重要。为获得更好的拍照体验，智能手机搭载的摄像头数量也在不断增加，如从最初的单摄逐渐演变为双摄、三摄乃至更多。增多的摄像头使得智能手机所拍图像的图像质量不断提高。

以当前较普遍的广角、长焦双摄手机为例，这类双摄手机的成像是由广角和长焦镜头分别实现的。也即，在广角镜头成像焦段，双摄手机所得图像由广角镜头所得图像经相应数码变焦而得；在长焦镜头成像焦段，双摄手机所得图像由长焦镜头所得图像经数码变焦而得。

相比于传统的单摄手机，多摄手机能够获得更高质量的图像。但是由于镜头本身特性，不同焦段镜头所拍图像的颜色、亮度以及清晰度等会存在显著差异。在多摄手机变焦过程中，如果不做任何处理，不同焦段镜头的切换会给用户带来不适感，不如光学变焦流畅自然。

另一方面，虽然多摄手机所拍图像相比早期单摄手机所拍图像的图像质量有所提高，但是在单个镜头焦段中（除去焦距最长镜头对应焦段），当变焦倍率较大时，数码变焦仍然起着重要作用，此时多摄手机所拍图像的图像质量仍然会下降。

视场融合可以改善上述两个问题，但是，现有的视场融合方案普遍存在缺陷，导致融合得到的图像质量欠佳。另一方面，智能手机实现现有视场融合方案时运算复杂度较高，严重影响设备功耗。

发明内容

本发明解决的技术问题是如何提高视场融合所得图像的图像质量。

为解决上述技术问题，本发明实施例提供一种用于多摄像头模组的图像融合方法，所述多摄像头模组包括第一摄像头和第二摄像头，所述方法包括：获取第一图像和第二图像，其中，所述第一图像通过所述第一摄像头采集得到，所述第二图像通过所述第二摄像头采集得到；基于透视变换将所述第一图像向第二图像粗对齐；计算粗对齐后所述第二图像相对于第一图像的对齐误差；根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像，记作处理后第一图像；将所述处理后第一图像融合入所述第二图像，以得到融合图像。

可选的，所述获取第一图像和第二图像包括：对所述第一摄像头采集得到的图像和所述第二摄像头采集得到的图像分别进行预处理，以得到分辨率和放大倍数均相同的所述第一图像和第二图像。

可选的，所述基于透视变换将所述第一图像向第二图像粗对齐包括：计算并匹配得到所述第一图像和第二图像的匹配特征点对，其中，所述匹配特征点对是指所述第一图像中第一图像特征点和所述第二图像中第二图像特征点的匹配结果；基于所述匹配特征点对计算得到全局单应矩阵；基于所述全局单应矩阵执行透视变换，以将所述第一图像向第二图像粗对齐。

可选的，所述匹配特征点对的数量为多个，所述计算粗对齐后所述第二图像相对于第一图像的对齐误差包括：对于每一所述匹配特征点对，计算所述匹配特征点对经所述全局单应矩阵对齐后的对齐误差。

可选的，所述计算粗对齐后所述第二图像相对于第一图像的对齐误差包括：对于所述第二图像中的每一第二图像特征点，计算所述第二图像特征点经粗对齐后在第一图像上的映射坐标与基准坐标之间的偏差，以得到所述第二图像特征点的对齐误差，其中，所述基准坐标为所述第一图像中与所述第二图像特征点相匹配的第一图像特征点在第一图像上的坐标。

可选的，所述对齐误差包括所述第一图像和第二图像的至少一个匹配特征点对的对齐误差，其中，所述匹配特征点对是指所述第一图像中第一图像特征点和所述第二图像中第二图像特征点的匹配结果；所述根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像包括：以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为基准，计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差；对于所述第一图像的每一像素，根据所述像素与所述第二图像中对应像素的对齐误差确定所述像素的对齐矫正量并矫正，以得到所述处理后第一图像。

可选的，所述以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为基准，计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差包括：根据所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标，插值计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差。

可选的，所述以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为基准，计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差包括：以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为锚点，基于预设基函数建立数学模型，其中，所述数学模型用于描述第一图像和第二图像中每一像素经粗对齐后的对齐误差；基于所述数学模型确定所述粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差。

可选的，在计算粗对齐后所述第二图像相对于第一图像的对齐误差之后，根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正之前，所述方法还包括：判断所述对齐误差是否超出预设矫正范围；当判断结果表明所述对齐误差未超出所述预设矫正范围时，根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正。

可选的，所述将所述处理后第一图像融合入所述第二图像，以得到融合图像包括：确定所述第二图像上包含所有匹配特征点对的最小外接矩形区域，其中，所述匹配特征点对是指所述第一图像中第一图像特征点和所述第二图像中第二图像特征点的匹配结果；将所述最小外接矩形区域内的第二图像替换为所述处理后第一图像，以得到所述融合图像。

可选的，所述第一摄像头的视场包含于所述第二摄像头的视场内，或者，所述第二摄像头的视场包含于所述第一摄像头的视场内。

为解决上述技术问题，本发明实施例还提供一种用于多摄像头模组的图像融合装置，所述多摄像头模组包括第一摄像头和第二摄像头，所述装置包括：获取模块，用于获取第一图像和第二图像，其中，所述第一图像通过所述第一摄像头采集得到，所述第二图像通过所述第二摄像头采集得到；粗对齐模块，用于基于透视变换将所述第一图像向第二图像粗对齐；处理模块，用于计算粗对齐后所述第二图像相对于第一图像的对齐误差；矫正模块，用于根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像，记作处理后第一图像；融合模块，用于将所述处理后第一图像融合入所述第二图像，以得到融合图像。

为解决上述技术问题，本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。

为解决上述技术问题，本发明实施例还提供一种移动终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤，所述移动终端还包括所述多摄像头模组。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明实施例提供一种用于多摄像头模组的图像融合方法，所述多摄像头模组包括第一摄像头和第二摄像头，所述方法包括：获取第一图像和第二图像，其中，所述第一图像通过所述第一摄像头采集得到，所述第二图像通过所述第二摄像头采集得到；基于透视变换将所述第一图像向第二图像粗对齐；计算粗对齐后所述第二图像相对于第一图像的对齐误差；根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像，记作处理后第一图像；将所述处理后第一图像融合入所述第二图像，以得到融合图像。

较之现有的视场融合方案，本实施方案能够极大地提高多摄像头模组经视场融合的成像质量，且计算复杂度低。具体而言，在全局透视变换的基础上，衡量透视变换后两幅图像之间的对齐误差并进行矫正。由于本实施方案是直接针对“点-点”间的对齐，因此最终的对齐效果更好，融合得到的图像的图像质量得到极大的改善，对不同图像之间的视差有较强的鲁棒性。由此，通过提供一种视场融合对齐质量优化方案，使得视场融合图像中来自不同镜头图像的对齐水平大幅提高。进一步，相比于现有技术所采用的对齐优化算法，本实施方案仅进行一次透视变换，使得设备执行视场融合方案时的计算复杂度也比较低。

进一步，在计算粗对齐后所述第二图像相对于第一图像的对齐误差之后，判断所述对齐误差是否超出预设矫正范围；当判断结果表明所述对齐误差未超出所述预设矫正范围时，根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正。由此，能够平衡设备功耗和成像质量。如果所述对齐误差过大以至于超出预设矫正范围，则可以仅采用基于数码变焦得到的第二图像作为最终成像，以避免无意义的融合图像，即消耗设备功耗，融合得到的图像质量也不尽如人意；如果所述对齐误差在可接受范围内（即落入预设矫正范围），则可以执行本实施方案所述矫正补齐步骤，以得到更高质量的融合图像。

附图说明

图1是本发明实施例一种用于多摄像头模组的图像融合方法的流程图；

图2是本发明实施例一个典型应用场景中融合区域的计算示意图；

图3是本发明实施例一个典型应用场景中对齐误差的计算示意图；

图4是图1中步骤S104的一个具体实施方式的流程图；

图5是本发明实施例一种用于多摄像头模组的图像融合装置的结构示意图。

具体实施方式

如背景技术所言，现有的视场融合方案普遍存在缺陷，导致融合得到的图像质量欠佳。

具体而言，早期的单摄手机只能使用数码变焦方式实现图像变焦，也即，采用图像插值算法对初始图像进行插值来改变图像大小。当变焦倍数较大时，数码变焦所得图像的图像质量会显著下降。而以单反相机为例的一些摄像设备则通过光学变焦镜头成像，光学变焦镜头成像得到的不同焦距下的图像都有着很高的图像质量。但是，由于体积和成本关系，光学变焦镜头不适合应用于智能手机。为了在体积和成本可接受的前提下提高智能手机的成像质量，手机多摄成为当今智能手机市场的一种潮流。

为了提高手机成像质量并且控制成本和体积，目前流行的方法是在手机上配置多个不同特性的摄像头。当前比较有代表性的摄像头组合（也称镜头组合）有：（i）广角镜头、长焦镜头组成的双摄手机；（ii）超广角镜头、广角镜头、长焦镜头组成的三摄手机；（iii）广角镜头、长焦镜头、超长焦镜头组成的三摄手机。

这些多摄像头手机把整个变焦范围根据其镜头组合划分为若干焦段，在每个焦段，手机拍摄所得图像由该焦段对应镜头所得图像经数码变焦而得。以（i）中广角、长焦双摄手机为例，该类型手机把整个变焦范围划分为广角焦段和长焦焦段。其中，在广角焦段，手机拍摄图像由广角镜头所得图像经数码变焦而得；在长焦焦段，手机拍摄图像由长焦镜头所得图像经数码变焦而得。其他镜头组合手机拍摄图像的原理与此类似。相比于早期的单摄像头、数码变焦成像手机，这类多摄像头手机（简称多摄手机）所得图像会有质量提高。

但是，由于镜头本身特性，不同焦段的镜头所拍图像的颜色，亮度，清晰度会存在不同。在变焦过程中，如果不做任何处理，镜头切换会给人带来不适感，不如光学变焦流畅自然。另一方面，虽然多摄手机所拍图像相比早期单摄手机所拍图像的图像质量有所提高，但是在单个镜头焦段中（除去焦距最长镜头对应焦段），当变焦倍率较大时，数码变焦仍然起着重要作用，此时多摄手机所拍图像的图像质量仍然会下降。

视场融合可以改善上述两个问题。以（i）中广角、长焦双摄手机为例，由于长焦镜头所得图像的视场角（简称视场）小于长广角镜头所得图像的视场角，所以在广角镜头焦段中，可以将长焦镜头所得图像经过相应的放缩融合入广角镜头产生的图像中。经过该处理后，在广角镜头焦段，所拍图像融合了清晰度更高的长焦镜头所得图像，所以图像质量会有提高，同时广角镜头切换到长焦镜头会显得更加流畅自然。其他双摄像头组合手机，如超广角和广角、长焦和超长焦也可以进行类似的融合。

但是，现有的视场融合方案普遍存在缺陷，导致融合得到的图像质量欠佳。具体而言，当前多摄像头手机在变焦过程中需要进行镜头切换时，多使用镜头直接切换方法，没有对图像做任何处理。该方法虽然简单易行，但是由于镜头本身特性及数码变焦带来的影响，镜头直接切换给人带来不适感，不如光学变焦镜头流程自然，并且由于在每个焦段内存在数码变焦，导致手机所拍图像仍然存在图像质量下降的可能。

仍然以（i）中广角、长焦双摄像头手机为例，在视场融合过程中，需要把长焦镜头拍摄的视场较小且经过放缩后的图像融入广角镜头拍摄的视场角较大的图像的相应位置。于是，图像对齐成为视场融合问题中的一个关键点。如果图像对齐做不好，在视场融合图像中，广角镜头拍摄图像和长焦镜头拍摄图像的交接区域会出现明显错位，导致视场融合图像的图像质量变差。

当前最简单的图像对齐方法为图像全局对齐。图像全局对齐是根据两幅图像中检测到的匹配特征点对计算出一个变换矩阵，然后使用该变换矩阵作用于一幅图像（如放缩后的长焦镜头拍摄图像）的每个像素坐标，所得结果就是向另一幅图像（如数码变焦后的广角镜头拍摄图像）对齐后的结果。当图像是二维时，对齐运算均在齐次坐标系下进行，于是计算出的全局变换矩阵均为3×3形式。

当前常见的图像全局变换主要有仿射变换，其相应矩阵为仿射变换矩阵；以及透视变换，其相应矩阵为单应矩阵。仿射变换会保持平行线之间的平行性，仿射变换矩阵有6个自由度。而透视变换假设点之间的位置变化是由平面运动引起的，单应矩阵存在8个自由度。在现有视场融合技术所采用的图像全局变换中，由于透视变换的限制最少，即包容性最强，所以它是应用最广泛的图像全局变换。

但是，本申请发明人经过分析发现，在实际情况中，图像内容是多变的，透视变换的理论前提——匹配特征点之间的位置变化由平面运动引起往往无法得到满足。也即，实际应用场景中，多摄手机的两个摄像头拍摄同一场景各自所得图像之间的位置关系不一定是纯平面的位置变化。于是，现有视场融合方案所采用的基于全局透视变换的图像对齐效果往往无法令人满意。

为解决上述技术问题，本发明实施例提供一种用于多摄像头模组的图像融合方法，所述多摄像头模组包括第一摄像头和第二摄像头，所述方法包括：获取第一图像和第二图像，其中，所述第一图像通过所述第一摄像头采集得到，所述第二图像通过所述第二摄像头采集得到；基于透视变换将所述第一图像向第二图像粗对齐；计算粗对齐后所述第二图像相对于第一图像的对齐误差；根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像，记作处理后第一图像；将所述处理后第一图像融合入所述第二图像，以得到融合图像。

本实施方案能够极大地提高多摄像头模组经视场融合的成像质量，降低由镜头切换而造成的不适感，且计算复杂度低。具体而言，在全局透视变换的基础上，衡量透视变换后两幅图像之间的对齐误差并进行矫正。由于本实施方案是直接针对“点-点”间的对齐，因此最终的对齐效果更好，融合得到的图像的图像质量得到极大的改善，对不同图像之间的视差有较强的鲁棒性。由此，通过提供一种视场融合对齐质量优化方案，使得视场融合图像中来自不同镜头图像的对齐水平大幅提高。进一步，相比于现有技术所采用的对齐优化算法，本实施方案仅进行一次透视变换，使得设备执行视场融合方案时的计算复杂度也比较低。

以广角、长焦双摄像头手机为例，在广角镜头成像焦段，本实施方案可以把长焦镜头所拍图像融合入广角镜头所得图像。且经过本实施方案处理后，广角焦段所得图像的图像质量能够得到显著提高，并且从广角镜头切换到长焦镜头的过程会更加流畅自然。

在本发明实施例中，广角镜头是指视野较大、焦距较小的镜头，通常能拍摄视野较广的场景。

在本发明实施例中，长焦镜头是指视野较小、焦距较大的镜头，通常能拍摄视野较小但细节较丰富的场景。

在本发明实施例中，变焦是指改变焦距和视场角（简称视场）来放大或缩小拍摄的景物，以达到拍摄不同距离的景物的目的。

在本发明实施例中，数码变焦是指将影像通过插值算法来实现变焦，随着变焦倍数的增大，影像质量逐渐变差。

在本发明实施例中，光学变焦是指通过改变光学镜片间的距离来改变焦距和视场角以达到变焦的目的。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例一种用于多摄像头模组的图像融合方法的流程图。

所述多摄像头模组可以集成于智能手机、IPAD、平板电脑等移动终端。其中，所述多摄像头模组可以包括多个摄像头模组（简称摄像头），不同摄像头对应不同焦段。本实施方案以多摄手机为例进行示例性阐述。

所述多摄像头模组可以包括第一摄像头和第二摄像头，且第一摄像头的视场包含于所述第二摄像头的视场内。例如，所述第一摄像头可以为长焦镜头（也称长焦摄像头），所述第二摄像头可以为广角镜头（也称广角摄像头），广角摄像头所得图像的视场较大，但是清晰度较低；而长焦摄像头所得图像的清晰度较高，但是视场较小，并且包含于广角图像的视场之中。

除了上述广角、长焦摄像头情况，其他双摄像头组合，如广角和超广角摄像头、长焦和超长焦摄像头等情况，也可以采用本实施方案对齐各镜头所得图像计算出高质量的视场融合图像。本实施方案还可以应用于三摄手机甚至更多摄像头组合手机，对于这些手机，可以根据当前焦段确定需要融合的双摄像头进而执行本实施方案。

接下来，本实施方案以广角、长焦双摄手机为例进行具体阐述。

为了提高广角、长焦双摄手机在广角摄像头焦段所得图像的图像质量，并且使得从广角摄像头切换到长焦摄像头的效果自然流畅，本实施方案提出一种在广角摄像头成像焦段融合入长焦摄像头所成图像，并且对广角、长焦图像进行对齐的方法。通过本实施方案，能够在广角摄像头成像焦段，结合广角图像和长焦图像，通过视场融合方法得到高质量的输出图像。所述输出图像是指最终呈现在双摄手机的显示屏幕上的图像。

具体地，参考图1，本实施例所述用于多摄像头模组的图像融合方法可以包括如下步骤：

步骤S101，获取第一图像和第二图像，其中，所述第一图像通过所述第一摄像头采集得到，所述第二图像通过所述第二摄像头采集得到；

步骤S102，基于透视变换将所述第一图像向第二图像粗对齐；

步骤S103，计算粗对齐后所述第二图像相对于第一图像的对齐误差；

步骤S104，根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像，记作处理后第一图像；

步骤S105，将所述处理后第一图像融合入所述第二图像，以得到融合图像。

更为具体地，当所述第一摄像头为长焦摄像头，第二摄像头为广角摄像头时，对应的第一图像为长焦图像，第二图像为广角图像。

在一个具体实施中，所述第一图像可以是第一摄像头采集得到的图像经过预处理的结果，类似的，所述第二图像可以是第二摄像头采集得到的图像经过预处理的结果。

相应的，所述步骤S101可以包括步骤：对所述第一摄像头采集得到的图像和所述第二摄像头采集得到的图像分别进行预处理，以得到分辨率和放大倍数均相同的所述第一图像和第二图像。

具体而言，为了进行视场融合，需要对初始的长焦摄像头和广角摄像头所得图像进行预处理，以得到预处理后的、同分辨率、同放大倍数的广角图像和长焦图像。本实施例将预处理后的、同分辨率、同放大倍数的广角图像和长焦图像分别记作第二图像和第一图像。

例如，可以对长焦摄像头初始拍摄得到的长焦图像缩小（即下采样）K2/K1倍，以得到和初始的广角图像等物体大小的图像，记作第一图像。其中，K2为广角摄像头的默认光学倍率，K1为长焦摄像头的默认光学倍率。

又例如，可以对广角摄像头初始拍摄得到的广角图像进行中心裁剪，以裁剪出和放缩后的长焦图像（即第一图像）等分辨率的图像，记作第二图像。

在一个具体实施中，所述步骤S102可以包括步骤：计算并匹配得到所述第一图像和第二图像的匹配特征点对，其中，所述匹配特征点对是指所述第一图像中第一图像特征点和所述第二图像中第二图像特征点的匹配结果；基于所述匹配特征点对计算得到全局单应矩阵；基于所述全局单应矩阵执行透视变换，以将所述第一图像向第二图像粗对齐。

具体而言，可以选用某种图像特征点计算方法计算、匹配特征点对，得到匹配特征点对的分布坐标。例如，所述第一图像和第二图像均包括多个像素，在所述步骤S102中可以基于所述图像特征点计算方法将第一图像中的像素和第二图像中的像素进行匹配，以匹配得到多个匹配特征点对。为便于区分，将从第一图像的像素中提取得到的特征点称作第一图像特征点，将从第二图像的像素中提取得到的特征点称作第二图像特征点。

例如，所述图像特征点计算方法可以包括尺度不变特征变换（Scale-invariantfeature transform，简称SIFT）、加速稳健特征算法（Speeded Up Robust Features，简称SURF）以及快速特征点提取和描述算法（Oriented FAST and Rotated BRIEF，简称ORB）等。

所述匹配特征点对可以是实时检测、匹配得到的。

进一步，在计算得到第一图像和第二图像的匹配特征点对后，可以用这些匹配特征点对计算出一个全局单应矩阵，此全局单应矩阵用于初步对齐所述第一图像和第二图像（即预处理后的广角图像和长焦图像）。

例如，参考图2，为了确认需要融合为长焦图像的区域（简称融合区域），可以对第一图像和第二图像进行特征点检测和匹配，包含所有匹配特征点的最小外接矩形所包围的（经数码变焦后的）广角图像区域，即为需要融合为长焦图像的区域。其中，匹配特征点是指匹配特征点对中的第二特征点。

进一步，所述全局单应矩阵可以为3×3大小的全局单应矩阵，第二图像经过该矩阵作用，向第一图像进行初步对齐。

如果仅用所述全局单应矩阵进行图像对齐，必然存在对齐误差。具体而言，在视场融合过程中，即把（经放缩后的）长焦图像（即第一图像）融合入数码变焦后的广角图像（即第二图像）的过程中，需要对这些图像进行配准对齐，否则在视场融合图像中会有错位出现。当前大多根据检测出的所有匹配特征点对，计算出一个全局单应变换矩阵，然后使用该全局单应变换矩阵，通过透视变化来对齐（放缩后的）长焦图像和广角图像。

但是，由于透视变换仅适用于描述图像之间的平面位置变化。所以，面对灵活多变的实际场景，仅仅通过一个全局透视变换来描述广角图像和长焦图像之间的位置关系必然不准确，进而通过图像对齐得到的图像的效果亦不会令人满意。

于是，本实施方案在执行步骤S102以基于全局透视变换对第一图像和第二图像进行粗对齐后，进一步执行后续步骤以矫正经粗对齐后第一图像和第二图像之间的对齐误差。

在一个具体实施中，对于所述第二图像中的每一第二图像特征点，可以计算所述第二图像特征点经粗对齐后在第一图像上的映射坐标与基准坐标之间的偏差，以得到所述第二图像特征点的对齐误差，其中，所述基准坐标为所述第一图像中与所述第二图像特征点相匹配的第一图像特征点在第一图像上的坐标。

具体而言，所述对齐误差可以包括所述第一图像和第二图像的至少一个匹配特征点对的对齐误差。也即，对于每一匹配特征点对，所述对齐误差是指所述匹配特征点对中的第一图像特征点在经过透视变换后映射至第二图像上的映射坐标，与所述匹配特征点对中的第二图像特征点在第二图像上的坐标之间的偏差。

换言之，所述步骤S103可以包括步骤：对于每一所述匹配特征点对，计算所述匹配特征点对经所述全局单应矩阵对齐后的对齐误差。

例如，可以用步骤S102执行全局透视变换时计算得到的全局单应矩阵乘以所述第二图像中的所有匹配特征点坐标，然后用每个计算出的坐标减去相应的第一图像中匹配特征点的坐标，从而得到两幅图像的匹配特征点对经全局单应矩阵对齐后的对齐误差，如图3所示。

在一个具体实施中，所述精对齐可以指第一图像向第二图像对齐并矫正，其中，对齐是指步骤S102所执行的粗对齐，矫正是指对经步骤S102的粗对齐后产生的对齐误差进行矫正。

具体而言，参考图4，所述步骤S104可以包括如下步骤：

步骤S1041，以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为基准，计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差；

步骤S1042，对于所述第一图像的每一像素，根据所述像素与所述第二图像中对应像素的对齐误差确定所述像素的对齐矫正量并矫正，以得到所述处理后第一图像。

进一步，所述步骤S1041可以包括步骤：根据所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标，插值计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差。也即，根据已知点（即匹配特征点）的对齐误差，插值确定图像中剩余点的对齐误差。

例如，可以以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为锚点，基于预设基函数建立数学模型，其中，所述数学模型用于描述第一图像和第二图像中每一像素经粗对齐后的对齐误差。也即，可以基于所述数学模型来描述两幅图像中的每个像素点经全局单应矩阵对齐后出现的对齐误差，也就是对每个像素需要做的对齐矫正。

进一步，基于所述数学模型确定所述粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差。也即，使用该对齐矫正，对经全局单应矩阵初步对齐后的图像的每个像素进行相应的位置矫正，从而得到对齐优化后的第一图像和第二图像。

例如，所述预设基函数可以为径向基函数。

在一个具体实施中，所述步骤S105可以包括步骤：确定所述第二图像上包含所有匹配特征点对的最小外接矩形区域（也即图2和图3示出的融合区域）；将所述最小外接矩形区域内的第二图像替换为所述处理后第一图像，以得到所述融合图像。

例如，在视场融合图像中，此外接矩形内的图像使用预处理后的、并且经过对齐优化的长焦图像的信息，而此外接矩形外部的图像就使用广角图像的信息。

在一个变化例中，在所述步骤S103之后，本实施例所述方法还可以包括步骤：判断所述对齐误差是否超出预设矫正范围；当判断结果表明所述对齐误差未超出所述预设矫正范围时，执行步骤S104，以根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正。

由此，能够平衡设备功耗和成像质量。如果所述对齐误差过大以至于超出预设矫正范围，则可以仅采用基于数码变焦得到的第二图像作为最终成像，以避免无意义的融合图像，即消耗设备功耗，融合得到的图像质量也不尽如人意；如果所述对齐误差在可接受范围内（即落入预设矫正范围），则可以执行本实施方案所述矫正补齐步骤，以得到更高质量的融合图像。

例如，所述预设矫正范围可以为对齐误差处于3到4左右的程度。

在一个变化例中，所述第二摄像头的视场可以包含于所述第一摄像头的视场内。也即，所述第二摄像头可以为长焦镜头，所述第一摄像头可以为广角镜头。

在一个变化例中，在所述步骤S103中，可以将所述全局单应矩阵乘以所述长焦图像的所有匹配特征点坐标，然后用每个计算出的坐标减去相应广角图像匹配特征点的坐标，得到两幅图像的匹配特征点对经全局单应矩阵对齐后的对齐误差。

基于此，为了进一步提高视场融合图像中的对齐效果，在全局透视变换的基础上，本实施方案提出一种对齐优化算法。该算法首先计算出（放缩后的）长焦图像和广角图像的匹配特征点对经全局单应矩阵对齐后的对齐误差，然后根据这些计算出的匹配特征点对齐误差和匹配特征点坐标位置，建立数学模型，计算出视场融合区域中每个位置上的、经过全局透视变换对齐后所需要的对齐误差矫正量。

本实施方案仅需要计算一个全局单应矩阵，所以相比较于现有其他的基于局部多单应变换矩阵的对齐优化算法，本实施方案提出的对齐优化算法计算复杂度较低。并且本实施方案是直接针对“点-点”间的对齐，所以对齐效果也很好，对不同图像之间的视差有较强的鲁棒性，所得视场融合图像中的扭曲效果明显要少。

进一步，在视场融合过程中，本实施方案使用两个不同特性的摄像头（如广角摄像头、长焦摄像头），结合相应算法，模拟出了高成本、大体积的光学变焦镜头的成像效果。

图5是本发明实施例一种用于多摄像头模组的图像融合装置的结构示意图。本领域技术人员理解，本实施例所述用于多摄像头模组的图像融合装置5可以用于实施上述图1至图4所述实施例中所述的方法技术方案。

具体地，所述多摄像头模组包括第一摄像头和第二摄像头。

进一步，参考图5，本实施例所述用于多摄像头模组的图像融合装置5可以包括：获取模块51，用于获取第一图像和第二图像，其中，所述第一图像通过所述第一摄像头采集得到，所述第二图像通过所述第二摄像头采集得到；粗对齐模块52，用于基于透视变换将所述第一图像向第二图像粗对齐；处理模块53，用于计算粗对齐后所述第二图像相对于第一图像的对齐误差；矫正模块54，用于根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像，记作处理后第一图像；融合模块55，用于将所述处理后第一图像融合入所述第二图像，以得到融合图像。

关于所述用于多摄像头模组的图像融合装置5的工作原理、工作方式的更多内容，可以参照上述图1至图4中的相关描述，这里不再赘述。

进一步地，本发明实施例还公开一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1至图4所示实施例中所述的方法技术方案。优选地，所述存储介质可以包括诸如非挥发性（non-volatile）存储器或者非瞬态（non-transitory）存储器等计算机可读存储介质。所述存储介质可以包括ROM、RAM、磁盘或光盘等。

进一步地，本发明实施例还公开一种移动终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图1至图4所示实施例中所述的方法技术方案，所述移动终端还包括所述多摄像头模组。具体地，所述移动终端可以为多摄手机。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种用于多摄像头模组的图像融合方法，所述多摄像头模组包括第一摄像头和第二摄像头，其特征在于，所述方法包括：

获取第一图像和第二图像，其中，所述第一图像通过所述第一摄像头采集得到，所述第二图像通过所述第二摄像头采集得到；

基于透视变换将所述第一图像向第二图像粗对齐；

计算粗对齐后所述第二图像相对于第一图像的对齐误差；

根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像，记作处理后第一图像；

将所述处理后第一图像融合入所述第二图像，以得到融合图像；

其中，所述对齐误差包括所述第一图像和第二图像的至少一个匹配特征点对的对齐误差，其中，所述匹配特征点对是指所述第一图像中第一图像特征点和所述第二图像中第二图像特征点的匹配结果；所述根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像包括：

以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为基准，计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差；

对于所述第一图像的每一像素，根据所述像素与所述第二图像中对应像素的对齐误差确定所述像素的对齐矫正量并矫正，以得到所述处理后第一图像。

2.根据权利要求1所述方法，其特征在于，所述获取第一图像和第二图像包括：

对所述第一摄像头采集得到的图像和所述第二摄像头采集得到的图像分别进行预处理，以得到分辨率和放大倍数均相同的所述第一图像和第二图像。

3.根据权利要求1所述方法，其特征在于，所述基于透视变换将所述第一图像向第二图像粗对齐包括：

计算并匹配得到所述第一图像和第二图像的匹配特征点对，其中，所述匹配特征点对是指所述第一图像中第一图像特征点和所述第二图像中第二图像特征点的匹配结果；

基于所述匹配特征点对计算得到全局单应矩阵；

基于所述全局单应矩阵执行透视变换，以将所述第一图像向第二图像粗对齐。

4.根据权利要求3所述方法，其特征在于，所述匹配特征点对的数量为多个，所述计算粗对齐后所述第二图像相对于第一图像的对齐误差包括：

对于每一所述匹配特征点对，计算所述匹配特征点对经所述全局单应矩阵对齐后的对齐误差。

5.根据权利要求1所述方法，其特征在于，所述计算粗对齐后所述第二图像相对于第一图像的对齐误差包括：

对于所述第二图像中的每一第二图像特征点，计算所述第二图像特征点经粗对齐后在第一图像上的映射坐标与基准坐标之间的偏差，以得到所述第二图像特征点的对齐误差，其中，所述基准坐标为所述第一图像中与所述第二图像特征点相匹配的第一图像特征点在第一图像上的坐标。

6.根据权利要求1所述方法，其特征在于，所述以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为基准，计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差包括：

根据所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标，插值计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差。

7.根据权利要求1所述方法，其特征在于，所述以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为基准，计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差包括：

以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为锚点，基于预设基函数建立数学模型，其中，所述数学模型用于描述第一图像和第二图像中每一像素经粗对齐后的对齐误差；

基于所述数学模型确定所述粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差。

8.根据权利要求1所述方法，其特征在于，在计算粗对齐后所述第二图像相对于第一图像的对齐误差之后，根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正之前，还包括：

判断所述对齐误差是否超出预设矫正范围；

当判断结果表明所述对齐误差未超出所述预设矫正范围时，根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正。

9.根据权利要求1所述方法，其特征在于，所述将所述处理后第一图像融合入所述第二图像，以得到融合图像包括：

确定所述第二图像上包含所有匹配特征点对的最小外接矩形区域，其中，所述匹配特征点对是指所述第一图像中第一图像特征点和所述第二图像中第二图像特征点的匹配结果；

将所述最小外接矩形区域内的第二图像替换为所述处理后第一图像，以得到所述融合图像。

10.根据权利要求1至9中任一项所述方法，其特征在于，所述第一摄像头的视场包含于所述第二摄像头的视场内，或者，所述第二摄像头的视场包含于所述第一摄像头的视场内。

11.一种用于多摄像头模组的图像融合装置，所述多摄像头模组包括第一摄像头和第二摄像头，其特征在于，所述装置包括：

获取模块，用于获取第一图像和第二图像，其中，所述第一图像通过所述第一摄像头采集得到，所述第二图像通过所述第二摄像头采集得到；

粗对齐模块，用于基于透视变换将所述第一图像向第二图像粗对齐；

处理模块，用于计算粗对齐后所述第二图像相对于第一图像的对齐误差；

矫正模块，用于根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像，记作处理后第一图像；

融合模块，用于将所述处理后第一图像融合入所述第二图像，以得到融合图像；

其中，所述对齐误差包括所述第一图像和第二图像的至少一个匹配特征点对的对齐误差，其中，所述匹配特征点对是指所述第一图像中第一图像特征点和所述第二图像中第二图像特征点的匹配结果；所述矫正模块执行根据所述对齐误差确定所述第一图像中每一像素的对齐矫正量并矫正，以得到向所述第二图像精对齐后的第一图像的步骤包括：

以所述至少一个匹配特征点对的对齐误差以及所述至少一个匹配特征点对在各自图像上的坐标为基准，计算得到粗对齐后所述第二图像中除第二图像特征点之外的剩余像素相对于第一图像中对应像素的对齐误差；

对于所述第一图像的每一像素，根据所述像素与所述第二图像中对应像素的对齐误差确定所述像素的对齐矫正量并矫正，以得到所述处理后第一图像。

12.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至10任一项所述方法的步骤。

13.一种移动终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至10任一项所述方法的步骤，所述移动终端还包括所述多摄像头模组。

Images