CN109559353B - 摄像模组标定方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种摄像模组标定方法、装置、电子设备及计算机可读存储介质，摄像模组标定方法应用于具有第一摄像模组、第二摄像模组和深度摄像模组的电子设备，在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组拍获取场景的第二图像，通过深度摄像模组获取深度图像；提取第一图像和第二图像的相同像素点，以获取第一视差；提取第一图像和深度图像的相同像素点，以获取第二视差；将第一视差和第二视差进行比较，若第一视差和第二视差的差值小于预设阈值，则生成标定测试通过提示信号。通过对标定摄像模组拍摄图像的视差信息进行比对，以检验摄像模组标定结果是否合格，从而提高摄像模组标定准确性。

Description

摄像模组标定方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及影像技术领域，尤其是涉及一种摄像模组标定方法、装置、电子设备及计算机可读存储介质。

背景技术

摄像头在出厂之前，需要对摄像头进行标定得到摄像头的标定参数，并对标定参数进行合格测试，从而摄像头可以根据合格标定参数对图像进行处理，使得处理后的图像可以还原三维空间中的物体。然而，在摄像头的使用过程中，不同的拍摄条件会对图像的成像效果造成影响，存在摄像头标定准确性低的问题。

发明内容

基于此，有必要针对摄像模组标定准确性低的问题，提供一种摄像模组标定方法、装置、电子设备及计算机可读存储介质。

一种摄像模组标定方法，应用于具有第一摄像模组、第二摄像模组和深度摄像模组的电子设备，包括：

在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组拍获取所述场景的第二图像，通过深度摄像模组获取深度图像；

提取所述第一图像和所述第二图像的相同像素点，以获取第一视差；

提取所述第一图像和所述深度图像的相同像素点，以获取第二视差；

将所述第一视差和所述第二视差进行比较，若所述第一视差和所述第二视差的差值小于预设阈值，则生成标定测试通过提示信号。

一种摄像模组标定装置，应用于具有第一摄像模组、第二摄像模组和深度摄像模组的电子设备，包括：

获取图像模块，用于在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组拍获取所述场景的第二图像，通过深度摄像模组获取深度图像；

第一提取模块，用于提取所述第一图像和所述第二图像的相同像素点，以获取第一视差；

第二提取模块，用于提取所述第一图像和所述深度图像的相同像素点，以获取第二视差；

标定测试模块，用于将所述第一视差和所述第二视差进行比较，若所述第一视差和所述第二视差的差值小于预设阈值，则生成标定测试通过提示信号。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组拍获取所述场景的第二图像，通过深度摄像模组获取深度图像；

提取所述第一图像和所述第二图像的相同像素点，以获取第一视差；

提取所述第一图像和所述深度图像的相同像素点，以获取第二视差；

将所述第一视差和所述第二视差进行比较，若所述第一视差和所述第二视差的差值小于预设阈值，则生成标定测试通过提示信号。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组拍获取所述场景的第二图像，通过深度摄像模组获取深度图像；

提取所述第一图像和所述第二图像的相同像素点，以获取第一视差；

提取所述第一图像和所述深度图像的相同像素点，以获取第二视差；

将所述第一视差和所述第二视差进行比较，若所述第一视差和所述第二视差的差值小于预设阈值，则生成标定测试通过提示信号。

上述摄像模组标定方法、装置、电子设备和计算机可读存储介质，通过在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组拍获取所述场景的第二图像，通过深度摄像模组获取深度图像；提取所述第一图像和所述第二图像的相同像素点，以获取第一视差；提取所述第一图像和所述深度图像的相同像素点，以获取第二视差；将所述第一视差和所述第二视差进行比较，若所述第一视差和所述第二视差的差值小于预设阈值，则生成标定测试通过提示信号。通过对标定摄像模组获取图像的视差信息进行比对，以检验摄像模组标定结果是否合格，从而提高摄像模组标定的准确性。

附图说明

图1a为本发明一个实施例中摄像模组标定方法的应用环境示意图；

图1b为本发明又一个实施例中摄像模组标定方法的应用环境示意图；

图1c为本发明另一个实施例中摄像模组标定方法的应用环境示意图；

图2为本发明一个实施例中摄像模组标定方法的流程图；

图3为本发明又一个实施例中摄像模组标定方法的流程图；

图4为本发明一个实施例中深度摄像模组获取深度图像的流程图；

图5为本发明一个实施例中摄像模组标定装置的结构框图；

图6为本发明一个实施例中电子设备的内部结构框图；

图7为本发明一个实施例中图像处理电路的示意图。

具体实施方式

为了便于理解本发明，为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。在本发明的描述中，“若干”的含义是至少一个，例如一个，两个等，除非另有明确具体的限定。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

图1为一个实施例中摄像模组标定方法的应用环境示意图。如图1所示，该应用环境包括电子设备110具有第一摄像模组111、第二摄像模组112和深度摄像模组113。第一摄像模组111、第二摄像模组112和深度摄像模组113的机械设置排列方式可以是：第一摄像模组111、第二摄像模组112、深度摄像模组113依次排列，如图1a所示；或第一摄像模组111、深度摄像模组113、第二摄像模组112依次排列，如图1b所示；或第二摄像模组112、第一摄像模组111、深度摄像模组113依次排列，如图1c所示；或者第二摄像模组112、深度摄像模组113、第一摄像模组111依次排列(图中未示出)；或深度摄像模组113、第二摄像模组112、第一摄像模组111依次排列(图中未示出)；或者深度摄像模组113、第一摄像模组111、第二摄像模组112(图中未示出)。

其中，第一摄像模组111和第二摄像模组112为现有技术中任意摄像模组，此处不作限制。举例来说，第一摄像模组111和第二摄像模组112可以是可见光摄像模组(RGBCamera)。第一摄像模组111和第二摄像模组112利用RGB模组获取RGB图像。深度摄像模组113为飞行时间测距(Time offlight，TOF)摄像头或是结构光摄像头。

如图2所示，为本发明一个实施例中摄像模组标定方法的流程图，本实施例中的摄像模组标定方法，以运行于图1中的电子设备上为例进行描述。如图2所示，摄像模组标定方法包括步骤201至步骤204。

步骤201，在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组拍获取场景的第二图像，通过深度摄像模组获取深度图像；

用户选择场景chart1，电子设备利用第一摄像模组、第二摄像模组及深度摄像模组同一角度对chart1进行拍摄，第一摄像模组拍摄chart1获取的图像为第一图像，第二摄像模组拍摄chart1获取的图像为第二图像，深度摄像模组拍摄chart1获取深度图像。第一摄像模组111和第二摄像模组112利用RGB模组获取RGB图像。深度摄像模组113为飞行时间测距(Time offlight，TOF)摄像头或是结构光摄像头。结构光摄像头通过向被测物体表面投射可控制的光点、光条或光面结构；并接收可控制的光点、光条或光面结构的反射光，且根据发射光的形变量获得深度图像。TOF摄像头通过向场景发射近红外光；接收反射的近红外线，通过计算反射的近红外线时间差或相位差，获取场景的深度信息；将场景的轮廓以不同颜色代表不同距离，以获取深度图像。

步骤202，提取第一图像和第二图像的相同像素点，以获取第一视差；

图像识别是分类的过程，将图像与其他不同类别的图像区分开来。使用尺度不变特征转换(Scale-invariant feature transform，SIFT)方法或加速鲁棒特征(SpeedUpRobustFeatures，SURF)方法提取第一图像和第二图像像素点，并将从第一图像提取出的像素点与从第二图像提取的像素点利用立体匹配算法进行匹配，得到匹配像素点图像，并获取第一视差。

SIFT是一种机器视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变数，其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

SURF是继SIFT算法后有H Bay提出的特征点提取算法此方法在运用图像积分技术的SURF基础上进行分块特征匹配,使计算速度进一步加快；同时使用了基于二阶多尺度模板生成的特征描述子，提高了特征点匹配的鲁棒性。

立体匹配算法是计算机视觉领域中最活跃的研究主题之一，其过程为：首先计算匹配代价，即计算参考图像上每个像素点IR(P)，以所有视差可能性去匹配目标图像上对应点IT(pd)的代价值，将计算得到的代价值存储在一个三维数组，通常称这个三维数组为视差空间图(Disparity Space Image，DSI)；然后代价聚合，即通过求和、求均值或其他方法对一个支持窗口内的匹配代价进行聚合而得到参考图像上一点p在视差d处的累积代价CA(p,d)，通过匹配代价聚合，降低异常点的影响，提高信噪比(SNR，Signal Noise Ratio)进而提高匹配精度。其次视差计算，采用‘胜者为王’策略(WTA，WinnerTakeAll)即在视差搜索范围内选择累积代价最优的点作为对应匹配点，与之对应的视差即为所求的视差。最后，分别以左右两图为参考图像，完成上述三个步骤后得到左右两幅视差图像，并对视差图进行优化，采用进一步执行后处理步骤对视差图进行修正。常用的方法有插值(Interpolation)、亚像素增强(Sub-pixel Enhancement)、精细化(Refinement)、图像滤波(Image Filtering)等操作，上述插值的具体步骤此处不再赘述。

步骤203，提取第一图像和深度图像的相同像素点，以获取第二视差；

图像识别是分类的过程，将图像与其他不同类别的图像区分开来。使用尺度不变特征转换(Scale-invariant feature transform，SIFT)方法或加速鲁棒特征(SpeedUpRobustFeatures，SURF)方法提取第一图像和第二图像像素点，并将从第一图像提取出的像素点与从第二图像提取的像素点利用立体匹配算法进行匹配，得到匹配像素点图像，并获取第一视差。

SIFT是一种机器视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变数，其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

SURF是继SIFT算法后有H Bay提出的一特征点提取算法此方法在运用图像积分技术的SURF基础上进行分块特征匹配,使计算速度进一步加快；同时使用了基于二阶多尺度模板生成的特征描述子,提高了特征点匹配的鲁棒性。

立体匹配算法是计算机视觉领域中最活跃的研究主题之一，其过程为：首先计算匹配代价，即计算参考图像上每个像素点IR(P)，以所有视差可能性去匹配目标图像上对应点IT(pd)的代价值，将计算得到的代价值存储在一个三维数组，通常称这个三维数组为视差空间图(Disparity Space Image，DSI)；然后代价聚合，即通过求和、求均值或其他方法对一个支持窗口内的匹配代价进行聚合而得到参考图像上一点p在视差d处的累积代价CA(p,d)，通过匹配代价聚合，降低异常点的影响，提高信噪比(SNR，Signal Noise Ratio)进而提高匹配精度。其次视差计算，采用‘胜者为王’策略(WTA，WinnerTakeAll)即在视差搜索范围内选择累积代价最优的点作为对应匹配点，与之对应的视差即为所求的视差。最后，分别以左右两图为参考图像，完成上述三个步骤后得到左右两幅视差图像，并对视差图进行优化，采用进一步执行后处理步骤对视差图进行修正。常用的方法有插值(Interpolation)、亚像素增强(Sub-pixel Enhancement)、精细化(Refinement)、图像滤波(Image Filtering)等操作，上述插值的具体步骤此处不再赘述。

步骤204，将第一视差和第二视差进行比较，若第一视差和第二视差的差值小于预设阈值，则生成标定测试通过提示信号。

获取从视差图中确定的第一视差和第二视差的差值绝对值，将差值绝对值和预设阈值进行比较，其中预设阈值为工程师在摄像模组标定过程设置，此处不作限制，预设阈值的设置根据具体情况来确定。若视差绝对值小于预设阈值，则表示摄像模组标定结果的实际误差在误差允许范围内，进而生成标定测试通过提示信号，该提示信号用于提示电子设备的标定测试处理单元，摄像模组标定结果通过标定测试。

在一个实施例中，如图3所示，摄像模组标定方法还包括：

步骤305，若第一视差和第二视差的差值大于或等于预设阈值，则生成标定测试通过失败提示信号；第二次标定摄像模组。

从视差图中确定的第一视差和第二视差，进一步获取第一视差和第二视差的差值绝对值，将差值绝对值和预设阈值进行比较，其中预设阈值为工程师在摄像模组标定过程设置，此处不作限制，预设阈值的设置根据具体情况来确定。若视差绝对值大于或者等于预设阈值，则表示摄像模组标定结果的实际误差超出误差允许范围，进而生成标定测试通过失败提示信号，该提示信号用于提示电子设备的标定测试处理单元，摄像模组标定结果未通过标定测试，则需对摄像模组第二次标定。摄像模组标定是利用摄像模组所拍摄到的图像来还原空间中的物体，设摄像机所拍摄到的图像与三维空间中的物体之间存在线性关系，即图像矩阵等于实物矩阵，实物矩阵可以看成是摄像机成像的几何模型。实物矩阵中的参数就是摄像机参数。对实物矩阵参数的求解过程称为摄像机标定。摄像模组标定算法可以简要的描述为：打印一张模板并贴在一个平面上；从不同角度拍摄若干张模板图像；检测出图像中的特征点；求出摄像机的内参数和外参数；求出内参数和外参数畸变系数；优化畸变求精。

在一个实施例中，如图4所示，通过深度摄像模组获取深度图像，包括：步骤401、识别深度图像上的物体，获取物体的识别置信度；步骤402、比较识别置信度和设定阈值的大小，并获取差值；步骤403、若识别置信度和设定阈值的差值满足预设条件，对物体进行光学变焦和/或数字变焦，以第二次获取深度图像。

本实施例中，由于考虑到深度摄像模组通过拍摄来确定图像中所存在的各个物体距离摄像模组的远近距离，因而能否准确地识别出图像中所存在的物体对于深度摄像模组的使用尤为重要。在针对图像中的物体进行识别时，若图像中的物体失真严重或者画面占比例太小，往往难以准确地识别出该物体。通过深度摄像模组获取深度图像，计算深度图像中物体图片与实际物体图片之间的相似度，并确定最大相似度；根据最大相似度计算待测物体的识别置信度。进而判断待测物体的识别置信度是否小于设定阈值。若识别到物体，识别置信度小于设定阈值，则调整深度摄像模组的光学焦距以重新拍摄彩色图像或对现有的彩色图像进行数字变焦，对第二次获得的彩色图像重新进行物体识别，直到识别置信度大于设定的阈值时输出该物体的深度图像；若识别到物体识别置信度大于或等于设定阈值，则直接输出该物体的深度图像若；需指明的是，未识别到物体，则调整光学摄像模组的光学焦距以重新拍摄彩色图像。其中，上述中识别置信度的设定阈值为工程师在软件设计中根据硬件条件及软件设计具体情况而定。此处不做限制。

在一个实施例中，深度摄像模组对物体进行光学变焦，包括：深度摄像模组根据深度图像中的深度信息和物体在深度图像的占空比，获取光学变焦中所使用的光学焦距。本实施例中，占空比指的是待测物体在深度图像中所占的比例。光学变焦是通过镜头、物体和焦点三方的位置发生变化而产生的。当成像面在水平方向运动的时候，视角和焦距就会发生变化，更远的景物变得更清晰。根据深度图像中的深度信息和物体在深度图像的占空比，获取当前正在使用光学变焦的光学焦距，举例来说，在当前彩色图像中检测到一个疑似物体，其占据深度图像画面中1/10的面积，若希望将该疑似物体在彩色图像画面中比例放大到1/2，则可以获得该疑似物体轮廓上的多个顶点在深度图像中的位置坐标，并计算出候选焦距。

在一个实施例中，深度摄像模组对物体进行数字变焦，包括：深度摄像模组数字焦距过程中适应性调整深度图像的图像锐度参数和图像尺寸。

数字变焦是把原始电荷耦合元件(Charge-coupled Device，CCD)影像感应器上部分像素使用“插值”手段放大。即将CCD影像感应器上的部分影像放大到整个画面。数字变焦能够在一定程度内提高物体识别的准确度，其是对已有的图像进行像素缩放，无需重新拍摄图像，计算速度相比于光学变焦更快，然而其对物体识别效果的提升程度有限，本实施例中对物体数字变焦的过程中适应性的调整深度图像的图像锐度参数和图像尺寸，达到提升物体识别效果的同时尽量保证深度图像中物体清晰。其中，数字变焦插值方法可以采用最近邻插值(Nearest Interpolation)、双线性插值(Bilinear Interpolation)或双三次插值(Bicubic interpolation)。

在一个实施例中，深度摄像模组对物体进行光学变焦和数字变焦，包括：按照预设亮度执行光学变焦和数字变焦。

在一个实施例中，按照预设亮度执行光学变焦和数字变焦包括：第一亮度下，执行数字变焦；第二亮度下，执行光学变焦直到达到最大光学变焦的预定比例，并执行数字变焦；第三亮度下，执行光学变焦直到达到最大光学变焦，并执行数字变焦，其中，第一亮度、第二亮度和第三亮度由预设亮度定义。

预设亮度通过照明区域光的极限值来设置的，定义照明区域光的极限值为1-1001ux的亮度第一亮度；定义照明区域光的极限值为100-10001ux的亮度为第二亮度；定义照明区域光的极限值大于10001ux的亮度为第三亮度。技术人员应该理解，选择的照明水平用于举例目的。

第一亮度下，直接数字变焦。数字变焦向最终深度图像提供了比使用光学变焦更好的照明，仅使用数字变焦直到合理变焦水平。但是，如果在合理的水平上需要变焦，则进一步使用光学变焦。换句话说，第一亮度下，将避免光学变焦，因为由于光学放大引起的光水平降低比使用数字变焦引起的光水平降低更明显。

第二亮度下，首先可以使用光学变焦，其后，如果进一步需要变焦，则进行数字变焦。摄像模组光学变焦的量可以改变，但是作为示例，可以使用光学变焦直到达到其最大值大约一半或某些其他预定比例。如所述，比例是预定的量，其取决于成像设备的功能，可以为40％、50％、60％、70％、80％、90％或者30％-100％中的任意值，此处不做限制。换言之，在第二亮度条件下，可以使用光学变焦的某些量，但是为了避免损失太多的光，一部分由数字变焦地完成。

第三亮度下，可以使用光学变焦例如直到它的最大值。在达到最大光学变焦并且根据是否进一步需要进一步变焦之后，可以执行数字变焦。换句话说，在明亮光照条件下，可以忍受光学变焦降低到达光学图像传感器的光的水平，克服了数字变焦的劣势，即在最终的图像质量中不使用所有像素。

图5为一个实施例中提供的图像处理装置的结构示意图，本申请实施例还提供了一种摄像模组标定装置，应用于具有第一摄像模组、第二摄像模组和深度摄像模组的电子设备，其特征在于，包括：获取图像模块501、第一提取模块502、第二提取模块503和标定测试模块504。

获取图像模块501，用于在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组拍获取场景的第二图像，通过深度摄像模组获取深度图像；

用户选择场景chart1，电子设备利用第一摄像模组、第二摄像模组及深度摄像模组同一角度对chart1进行拍摄，第一摄像模组拍摄chart1获取的图像为第一图像，第二摄像模组拍摄chart1获取的图像为第二图像，深度摄像模组拍摄chart1获取深度图像。第一摄像模组111和第二摄像模组112利用RGB模组获取RGB图像。深度摄像模组113为飞行时间测距(Time offlight，TOF)摄像头或是结构光摄像头。结构光摄像头通过向被测物体表面投射可控制的光点、光条或光面结构；并接收可控制的光点、光条或光面结构的反射光，且根据发射光的形变量获得深度图像。TOF摄像头通过向场景发射近红外光；接收反射的近红外线，通过计算反射的近红外线时间差或相位差，获取场景的深度信息；将场景的轮廓以不同颜色代表不同距离，以获取深度图像。

第一提取模块502，用于提取第一图像和第二图像的相同像素点，以获取第一视差；图像识别是分类的过程，将图像与其他不同类别的图像区分开来。第一提取模块502，使用尺度不变特征转换(Scale-invariant feature transform，SIFT)方法或加速鲁棒特征(Speed Up Robust Features，SURF)方法提取第一图像和第二图像像素点，并将从第一图像提取出的像素点与从第二图像提取的像素点利用立体匹配算法进行匹配，得到匹配像素点图像，并获取第一视差。

SIFT是一种机器视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变数，其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

SURF是继SIFT算法后有H Bay提出的一特征点提取算法此方法在运用图像积分技术的SURF基础上进行分块特征匹配,使计算速度进一步加快；同时使用了基于二阶多尺度模板生成的特征描述子，提高了特征点匹配的鲁棒性。

立体匹配算法是计算机视觉领域中最活跃的研究主题之一，其过程为：首先计算匹配代价，即计算参考图像上每个像素点IR(P)，以所有视差可能性去匹配目标图像上对应点IT(pd)的代价值，将计算得到的代价值存储在一个三维数组，通常称这个三维数组为视差空间图(Disparity Space Image，DSI)；然后代价聚合，即通过求和、求均值或其他方法对一个支持窗口内的匹配代价进行聚合而得到参考图像上一点p在视差d处的累积代价CA(p,d)，通过匹配代价聚合，降低异常点的影响，提高信噪比(SNR，Signal Noise Ratio)进而提高匹配精度。其次视差计算，采用‘胜者为王’策略(WTA，WinnerTakeAll)即在视差搜索范围内选择累积代价最优的点作为对应匹配点，与之对应的视差即为所求的视差。最后，分别以左右两图为参考图像，完成上述三个步骤后得到左右两幅视差图像，并对视差图进行优化，采用进一步执行后处理步骤对视差图进行修正。常用的方法有插值(Interpolation)、亚像素增强(Sub-pixel Enhancement)、精细化(Refinement)、图像滤波(Image Filtering)等操作，上述插值的具体步骤此处不再赘述。

第二提取模块503，用于提取第一图像和深度图像的相同像素点，以获取第二视差；图像识别是分类的过程，将图像与其他不同类别的图像区分开来。第二提取模块503使用尺度不变特征转换(Scale-invariant feature transform，SIFT)方法或加速鲁棒特征(Speed Up Robust Features，SURF)方法提取第一图像和深度图像像素点，并将从第一图像提取出的像素点与从第二图像提取的像素点利用立体匹配算法进行匹配，得到匹配像素点图像，并获取第一视差。

SIFT是一种机器视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变数，其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

SURF是继SIFT算法后有H Bay提出的一特征点提取算法此方法在运用图像积分技术的SURF基础上进行分块特征匹配,使计算速度进一步加快；同时使用了基于二阶多尺度模板生成的特征描述子,提高了特征点匹配的鲁棒性。

立体匹配算法是计算机视觉领域中最活跃的研究主题之一，其过程为：首先计算匹配代价，即计算参考图像上每个像素点IR(P)，以所有视差可能性去匹配目标图像上对应点IT(pd)的代价值，将计算得到的代价值存储在一个三维数组，通常称这个三维数组为视差空间图(Disparity Space Image，DSI)；然后代价聚合，即通过求和、求均值或其他方法对一个支持窗口内的匹配代价进行聚合而得到参考图像上一点p在视差d处的累积代价CA(p,d)，通过匹配代价聚合，降低异常点的影响，提高信噪比(SNR，Signal Noise Ratio)进而提高匹配精度。其次视差计算，采用‘胜者为王’策略(WTA，WinnerTakeAll)即在视差搜索范围内选择累积代价最优的点作为对应匹配点，与之对应的视差即为所求的视差。最后，分别以左右两图为参考图像，完成上述三个步骤后得到左右两幅视差图像，并对视差图进行优化，采用进一步执行后处理步骤对视差图进行修正。常用的方法有插值(Interpolation)、亚像素增强(Sub-pixel Enhancement)、精细化(Refinement)、图像滤波(Image Filtering)等操作，上述插值的具体步骤此处不再赘述。

标定测试模块504，用于将第一视差和第二视差进行比较，若第一视差和第二视差的差值小于预设阈值，则生成标定测试通过提示信号。标定测试模块504获取从视差图中确定的第一视差和第二视差的差值绝对值，将差值绝对值和预设阈值进行比较，其中预设阈值为工程师在摄像模组标定过程设置，此处不作限制，预设阈值的设置根据具体情况来确定。若视差绝对值小于预设阈值，则表示摄像模组标定结果的实际误差在误差允许范围内，进而生成标定测试通过提示信号，该提示信号用于提示电子设备的标定测试处理单元，摄像模组标定结果通过标定测试。

应该理解的是，虽然图2-图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例中电子设备的内部结构示意图。如图6所示，该电子设备包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种摄像模组标定方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的摄像模组标定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。电子设备包括第一摄像模组、第二摄像模组、深度摄像模组、存储器及处理器，其中，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行上述任一实施例中的摄像模组标定的方法。电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图7为一个实施例中图像处理电路的示意图。如图7所示，为便于说明，仅示出与本申请实施例相关的图像补偿技术的各个方面。

如图7所示，图像处理电路包括第一ISP处理器730、第二ISP处理器740和控制逻辑器750。第一摄像模组710包括一个或多个第一透镜712和第一图像传感器714。第一图像传感器714可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器714可获取用第一图像传感器714的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器730处理的一组图像数据。第二摄像模组720包括一个或多个第二透镜722和第二图像传感器724。第二图像传感器724可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器724可获取用第二图像传感器724的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器740处理的一组图像数据。

第一摄像模组710采集的第一图像传输给第一ISP处理器730进行处理，第一ISP处理器730处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器750，控制逻辑器750可根据统计数据确定第一摄像模组710的控制参数，从而第一摄像模组710可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器730进行处理后可存储至图像存储器760中，第一ISP处理器730也可以读取图像存储器760中存储的图像以对进行处理。另外，第一图像经过ISP处理器730进行处理后可直接发送至显示器770进行显示，显示器770也可以读取图像存储器760中的图像以进行显示。

其中，第一ISP处理器730按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器730可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器760可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。

当接收到来自第一图像传感器714接口时，第一ISP处理器730可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器760，以便在被显示之前进行另外的处理。第一ISP处理器730从图像存储器760接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器730处理后的图像数据可输出给显示器770，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器730的输出还可发送给图像存储器760，且显示器770可从图像存储器760读取图像数据。在一个实施例中，图像存储器760可被配置为实现一个或多个帧缓冲器。

第一ISP处理器730确定的统计数据可发送给控制逻辑器750。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜712阴影校正等第一图像传感器714统计信息。控制逻辑器750可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像模组710的控制参数及第一ISP处理器730的控制参数。例如，第一摄像模组710的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜712控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜712阴影校正参数。

同样地，第二摄像模组720采集的第二图像传输给第二ISP处理器740进行处理，第二ISP处理器740处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器750，控制逻辑器750可根据统计数据确定第二摄像模组720的控制参数，从而第二摄像模组720可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器740进行处理后可存储至图像存储器760中，第二ISP处理器740也可以读取图像存储器760中存储的图像以对进行处理。另外，第二图像经过ISP处理器740进行处理后可直接发送至显示器770进行显示，显示器770也可以读取图像存储器760中的图像以进行显示。第二摄像模组720和第二ISP处理器740也可以实现如第一摄像模组710和第一ISP处理器730所描述的处理过程。

本申请实施例中运用图7中图像处理技术可实现摄像模组标定方法的步骤：

在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组拍获取场景的第二图像，通过深度摄像模组获取深度图像；

提取第一图像和第二图像的相同像素点，以获取第一视差；

提取第一图像和深度图像的相同像素点，以获取第二视差；

将第一视差和第二视差进行比较，若第一视差和第二视差的差值小于预设阈值，则生成标定测试通过提示信号。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行摄像模组标定方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行摄像模组标定方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。需要说明的是，本申请的“一实施例中”、“例如”、“又如”等，旨在对本申请进行举例说明，而不是用于限制本申请。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种摄像模组标定方法，应用于具有第一摄像模组、第二摄像模组和深度摄像模组的电子设备，其特征在于，包括：

在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组获取所述场景的第二图像，通过深度摄像模组获取深度图像；

提取所述第一图像和所述第二图像的相同像素点，以获取第一视差；

提取所述第一图像和所述深度图像的相同像素点，以获取第二视差；

将所述第一视差和所述第二视差进行比较，若所述第一视差和所述第二视差的差值绝对值小于预设阈值，则生成标定测试通过提示信号。

2.根据权利要求1所述的摄像模组标定方法，其特征在于，所述方法还包括：

若所述第一视差和所述第二视差的差值绝对值大于或等于预设阈值，则生成标定测试失败提示信号；并进行第二次标定所述摄像模组。

3.根据权利要求1或2所述的摄像模组标定方法，其特征在于，所述通过深度摄像模组获取深度图像，包括：

识别所述深度图像上的物体，获取所述物体的识别置信度；

比较所述识别置信度和设定阈值的大小，并获取差值；

若所述识别置信度和设定阈值的差值满足预设条件，对所述物体进行光学变焦和/或数字变焦，以第二次获取深度图像。

4.根据权利要求3所述的摄像模组标定方法，其特征在于，所述深度摄像模组对所述物体进行光学变焦，包括：

所述深度摄像模组根据所述深度图像中的深度信息和所述物体在所述深度图像的占空比，获取光学变焦中所使用的光学焦距。

5.根据权利要求3所述的摄像模组标定方法，其特征在于，所述深度摄像模组对所述物体进行数字变焦，包括：所述深度摄像模组数字焦距过程中适应性调整所述深度图像的图像锐度参数和图像尺寸。

6.根据权利要求3所述的摄像模组标定方法，其特征在于，所述深度摄像模组对所述物体进行光学变焦和数字变焦，包括：按照预设亮度执行光学变焦和数字变焦。

7.根据权利要求6所述的摄像模组标定方法，其特征在于，按照预设亮度执行光学变焦和数字变焦，包括：

第一亮度下，执行所述数字变焦；

第二亮度下，执行所述光学变焦直到达到最大光学变焦的预定比例，并执行所述数字变焦；

第三亮度下，执行所述光学变焦直到达到最大光学变焦，并执行所述数字变焦，其中，所述第一亮度、第二亮度和第三亮度由预设亮度定义。

8.一种摄像模组标定装置，应用于具有第一摄像模组、第二摄像模组和深度摄像模组的电子设备，其特征在于，包括：

获取图像模块，用于在同一场景下，通过第一摄像模组获取第一图像，通过第二摄像模组获取所述场景的第二图像，通过深度摄像模组获取深度图像；

第一提取模块，用于提取所述第一图像和所述第二图像的相同像素点，以获取第一视差；

第二提取模块，用于提取所述第一图像和所述深度图像的相同像素点，以获取第二视差；

标定测试模块，用于将所述第一视差和所述第二视差进行比较，若所述第一视差和所述第二视差的差值绝对值小于预设阈值，则生成标定测试通过提示信号。

9.一种电子设备，包括摄像模组、存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的摄像模组标定方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images