CN105678740B - 一种相机几何标定处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种相机几何标定处理方法及装置，所述方法包括：确定相机参数初始值，并获得基于所述初始值计算出的点对的第一余弦距离，所述点对为两张相邻图片中对应于空间坐标同一位置的两个像素点的坐标；判断所述第一余弦距离是否与预设值相符，如果否，则获取第一迭代参数，并利用所述第一迭代参数调整所述初始值，获得第一优化值；获得基于所述第一优化值计算出的所述点对的第二余弦距离；判断所述第二余弦距离是否与所述预设值相符，如果是，则将所述第一优化值确定为相机参数标定值。如此方案，可大大降低处理过程所涉及的计算量，有助于实现实时在线处理。

Description

一种相机几何标定处理方法及装置

技术领域

本发明涉及图像处理领域，特别涉及一种相机几何标定处理方法及装置。

背景技术

全景拍摄，通常是指以某个点为中心进行水平360度和垂直180度拍摄，将所拍摄的多张图片拼接成一张全景图片的拍摄及图片拼接方法。一般来说，全景拍摄至少可包括全景图像和全景视频两种形式。

通常，在利用所拍摄的多张原始图片拼接成一张全景图片时，会涉及映射和拼接两部分。其中，映射可以理解为将原始图片上的像素点投射到全景图片对应的位置上，拼接可以理解为对相邻两张原始图片的重叠区域进行融合过渡。

为了确定空间物体表面某点的三维几何位置与其在原始图片中对应点之间的相互关系，可以通过相机几何标定的方式，获得相机参数，以便后续可以利用所述相机参数进行像素点投影。通常，相机参数可包括相机的外参(如，roll，yaw，pitch，Tx，Ty，Tz)和相机的内参(如u，v，w，α，β，γ)。其中，(Tx，Ty，Tz)表示平移向量，(roll，yaw，pitch)表示旋转矩阵，分别代表绕相机坐标系z轴旋转角度为γ，绕y轴旋转角度为β，绕x轴旋转角度为α；(u，v，w)表示偏向畸变，(α，β，γ)表示鱼眼镜头成像模型参数。

目前，大多利用Levenberg-Marquardt算法(可简称为L-M算法)进行迭代计算，实现相机几何标定。该方式中，每次迭代过程都需要对每一个待估参数求二阶偏导，得到黑塞(Hessian)矩阵和雅克比(Jacobi)矩阵。当采用N个相机进行全景拍摄时，标定过程涉及12*N个待估参数，计算量庞大，需要耗费大量的计算时间，常用于服务器离线(offline)标定，目前还无法实现实时在线处理。

另外，基于L-M算法进行几何标定时，若迭代过程中出现两个矩阵的行列式为零，即变换矩阵奇异，则可认为得到了相机参数的局部最优值。通常，局部最优值会受相机参数初始值的影响，不同初始值可能会导致在不同的迭代过程中出现变化矩阵奇异，从而得到不同的局部最优值，因此，该方式对初始值的选取还存在较高的要求。

发明内容

本发明实施例提供一种相机几何标定处理方法及装置，可大大降低处理过程所涉及的计算量，有助于实现实时在线处理。

一种相机几何标定处理方法，所述方法包括：

确定相机参数初始值，并获得基于所述初始值计算出的点对的第一余弦距离，所述点对为两张相邻图片中对应于空间坐标同一位置的两个像素点的坐标；

判断所述第一余弦距离是否与预设值相符，如果否，则获取第一迭代参数，并利用所述第一迭代参数调整所述初始值，获得第一优化值；

获得基于所述第一优化值计算出的所述点对的第二余弦距离；

判断所述第二余弦距离是否与所述预设值相符，如果是，则将所述第一优化值确定为相机参数标定值。

优选的，如果所述第二余弦距离与所述预设值不符，所述方法还包括：

获取第二迭代参数，并利用所述第二迭代参数调整所述第一优化值，获得第二优化值；

获得基于所述第二优化值计算出的所述点对的第三余弦距离；

判断所述第三余弦距离是否与所述预设值相符，如果是，则将所述第二优化值确定为相机参数标定值。

优选的，所述确定相机参数初始值，包括：

将所述相机参数的先验值确定为所述初始值；或者，

在所述相机的先验值的基础上增加随机扰动，获得所述初始值。

优选的，获得迭代参数的方式为：

对预设样本进行机器学习，获得所述迭代参数。

优选的，对预设样本进行机器学习，获得所述第一迭代参数的方式为：

其中，(M₀，N₀)表示第一迭代参数，C^j表示相机身份编号，表示第j个相机的相机参数标定值，表示第j个相机的相机参数初始值，表示基于(M₀，N₀)计算出的点对的第一余弦距离。

优选的，所述利用所述第一迭代参数调整所述初始值，获得第一优化值的方式 为：

一种相机几何标定处理装置，所述装置包括：

余弦距离计算单元，用于确定相机参数初始值，并获得基于所述初始值计算出的点对的第一余弦距离，所述点对为两张相邻图片中对应于空间坐标同一位置的两个像素点的坐标；

优化值调整单元，用于判断所述第一余弦距离是否与预设值相符，如果否，则获取第一迭代参数，并利用所述第一迭代参数调整所述初始值，获得第一优化值；

所述余弦距离计算单元，还用于获得基于所述第一优化值计算出的所述点对的第二余弦距离；

标定值确定单元，用于判断所述第二余弦距离是否与所述预设值相符，如果是，则将所述第一优化值确定为相机参数标定值。

优选的，所述装置还包括：

所述优化值调整单元，还用于在所述第二余弦距离与所述预设值不符时，获取第二迭代参数，并利用所述第二迭代参数调整所述第一优化值，获得第二优化值；

所述余弦距离计算单元，还用于获得基于所述第二优化值计算出的所述点对的第三余弦距离；

所述标定值确定单元，还用于判断所述第三余弦距离是否与所述预设值相符，如果是，则将所述第二优化值确定为相机参数标定值。

优选的，所述装置还包括：

迭代参数获得单元，用于对预设样本进行机器学习，获得所述第一迭代参数：

其中，(M₀，N₀)表示第一迭代参数，C^j表示相机身份编号，表示第j个相机的相机参数标定值，表示第j个相机的相机参数初始值，表示基于(M₀，N₀)计算出的点对的第一余弦距离。

优选的，所述优化值调整单元，具体用于根据计算获得第一优化值

与现有技术相比，本发明方案使用泰勒多项式拟合图片拼接过程中的映射关系，将图像模型参数的优化问题转化为多项式与映射函数之间误差的非线性凸二次优化问题。具体地，可基于相机当前参数进行像素点投影，获得所投影点对之间的余弦距离，再根据余弦距离判断是否需要进行相机参数优化，如果不需要，则可将当前参数作为相机参数标定值；如果需要，则可利用机器学习获得迭代参数优化当前参数，并利用优化后的参数进行迭代计算，直至获得相机参数标定值为止。如此方案，可大大降低处理过程所涉及的计算量，有助于实现实时在线处理。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明相机几何标定处理方法的流程图；

图2是基于本发明方案实现的图片拼接的效果展示图；

图3是基于现有技术方案实现的图片拼接的效果展示图；

图4是本发明相机几何标定处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在介绍本发明具体方案之前，先对本发明设计思路做简单介绍。

在进行全景拍摄时，任两个相邻相机所拍摄原始图片中会存在部分重叠区域，对这部分重叠区域进行融合过渡，可获得全景图片。对应于此，我们可以理解为，对于重叠区域来说，存在如下场景：两张相邻原始图片A和B，图片A中存在一个像素点a，图片B中存在一个像素点b，且a和b均对应于空间坐标中的同一个位置。对应于此，可以将像素点a和b称为一个点对。

拼接过程中，可以基于当前相机参数，分别将原始图片上的像素点a和b映射到Equirectangular(等距球面)投影图像中，获得a和b对应于Equirectangular图像上的点对a′和b′，通常，若a′和b′能够重合，则可达到最佳拼接效果。作为一种示例，可以计算三维空间中向量a′和b′之间的余弦距离，通过该余弦距离可反映出a′和b′之间的差距，进而便可得知当前相机参数是否适用于全景图片拼接。

也就是说，可以通过余弦距离来判断当前相机参数是否合适，如果合适，则可用其进行全景图片拼接；如果不合适，则可进行相机参数优化，以便确定出能够用于全景图片拼接的相机参数标定值。本发明方案中，判断相机参数是否合适，可以理解为余弦距离是否与预设值相符，即余弦距离是否落入预设值允许的范围内。举例来说，预设值可以为0.1，通常，预设值越小，也就是说余弦距离越趋近于0，基于优化得到的标定值拼接出的全景图片效果越好，本发明实施例对预设值的具体取值不做限定，可由实际应用而定。

综上，我们便可将全景相机几何标定过程，转化为寻找一个梯度方向步长Δx求解如下最优化问题：

其中，

aⁱ和bⁱ表示相邻原始图片重合区域的第i个点对；

h(*)表示一个由相机参数形成的函数，以便基于相机参数实现从原始图片上的点到等距球面图像上的点的坐标变换，如，aⁱ转换为a^i’，bⁱ转换为b^i’；根据实际应用，h(*)通常可体现为多种形式，本发明对此并不做具体限定，只要能基于相机参数进行坐标转换即可；

C(*，*)表示求解等距球面图像上两个点的余弦距离，如点对a^i’和b^i’的余弦距离。

下面对本发明方案进行举例说明。

参考图1，示出了本发明实施例相机几何标定处理方法的流程图，可以包括以下步骤：

S101，确定相机参数初始值，并获得基于所述初始值计算出的点对的第一余弦距离，所述点对为两张相邻图片中对应于空间坐标同一位置的两个像素点的坐标。

本发明通过判断点对的余弦距离是否落入预设值允许范围的方式，来判断是否需要进行相机参数优化，故，可先选取一个相机参数的初始值，并基于这一初始值进行点对映射，进而求取出对应于初始值时，该点对的第一余弦距离。

举例来说，可以结合实际操作经验设置本发明方案中的初始值；或者，考虑到相机参数的先验值通常已是较优的值，故还可根据先验值来设置本发明方案中的初始值，如，可以将相机参数的先验值确定为初始值；或者，可以在相机的先验值的基础上增加随机扰动，获得初始值。举例来说，可以根据实际操作经验设置随机扰动值，或者，还可将随机扰动值设置为±(先验值/100)，本发明实施例对此可不做具体限定。

举例来说，C^j表示全景拍摄时第j个相机的身份编号，表示第j个相机的相机参数初始值，a^j，i和b^j，i表示第j个相机所拍摄的原始图片上的第i个点对，可以将代入公式f(x)，获得基于初始值计算出的点对的第一余弦距离d₁。

S102，判断所述第一余弦距离是否与预设值相符，如果否，则获取第一迭代参数，并利用所述第一迭代参数调整所述初始值，获得第一优化值。

获得d₁后，便可执行一次是否优化相机参数的判断，即，判断d₁是否与预设值相符。仍以预设值为0.1为例，第一余弦距离与预设值相符可以理解为d₁≤0.1，否则认为第一余弦距离与预设值不相符。

如果经判断认为需要相机参数进行优化，则可从预先确定出的迭代参数集合中，获得第一迭代参数，并利用第一迭代参数调整S101中的初始值，获得相机参数的第一优化值。

举例来说，可通过下述公式优化相机参数：其中，(M_k-1，N_k-1)表示第k个迭代参数，表示第j个相机需要被优化的相机参数，表示第j个相机优化后的相机参数。

本步骤中，第一优化值(M₀，N₀)表示第一迭代参数，表示第j个相机的相机参数初始值，表示基于(M₀，N₀)计算出的点对的第一余弦距离d₁。

本发明方案中，可以通过对预设样本进行机器学习的方式，获得迭代参数集合，通常，每进行一次迭代就需要一组迭代参数。对于本发明获得迭代参数的方式可参见下文所做介绍，此处暂不详述。

S103，获得基于所述第一优化值计算出的所述点对的第二余弦距离。

S104，判断所述第二余弦距离是否与所述预设值相符，如果是，则将所述第一优化值确定为相机参数标定值。

与S101相类似的，获得第一优化值后，便可将代入公式f(x)，获得对应于第一优化值时，该点对的第二余弦距离d₂，进而再利用d₂执行一次是否优化相机参数的判断。

具体地，若判断结果表示d₂与预设值相符，则可结束迭代过程，将第一优化值确定为第j个相机的参数标定值，基于该标定值进行像素点映射时，可使全景图片的拼接效果达到最佳。

综上可知，本发明使用泰勒多项式拟合图片拼接过程中的映射关系，将图像模型参数的优化问题转化为多项式与映射函数之间误差的非线性凸二次优化问题。基于本发明方案实现的相机几何标定，不需如现有方案对待估参数求二阶偏导，可大大降低处理过程所涉及的计算量，有助于实现实时在线处理。另外，本发明基于机器学习的算法拟合优化问题中梯度下降方向，还使得处理流程上得以简化，有助于加速收敛速度，提升优化问题的收敛效率。此外，基于本发明方案确定出的相机参数标定值不容易陷入局部最优，使本发明方案的优化精度更高。

可选地，如果S104的判断结果表示d₂与预设值不符，则说明还需通过进一步的迭代过程来获得相机参数标定值。具体地，可以获取第二迭代参数，并利用所述第二迭代参数调整所述第一优化值，获得第二优化值；获得基于所述第二优化值计算出的所述点对的第三余弦距离；判断所述第三余弦距离是否与所述预设值相符，如果是，则将所述第二优化值确定为相机参数标定值。本示例中，获得第二优化值的方式、利用第二优化值计算第三余弦距离的方式、判断第三余弦距离是否与预设值相符的方式、根据判断结果进行后续处理的方式等等，均可参照上文S102～S104处所做介绍，此处不再赘述。

下面对本发明获得迭代参数集合的方式做简单介绍。

方式一，可通过机器学习的方式获得迭代参数集合。

具体地，通过机器学习中的监督学习的思想，使用训练样本来学习出每次迭代所需的迭代参数集合{M₀，M₁，…，M_k-1，M_k}和{N₀，N₁，…，N_k-1，N_k}。

训练样本所涉及的参数可体现如下：

一系列用于全景拍摄的相机的身份编码{C^j}；

相机参数标定值表示第j个相机的相机参数标定值，是一个12*n维向量；

一系列点对{a^j，i，b^j，i}，a^j，i和b^j，i表示第j个相机所拍摄的原始图片上的第i个点对；

相机参数初始值表示第j个相机的相机参数初始值。

结合上述样本参数，可通过求解下面的线性最优化问题获得第一迭代参数(M₀，N₀)：

获得(M₀，N₀)后，可依据计算得到第一优化值同时，还可将代入公式f(x)，计算获得进而依据下式获得本发明方案中的第二迭代参数(M₁，N₁)：

参照上述方式不断计算，便可确定出本发明方案所需迭代参数集合。举例来说，经上述学习过程发现k＝5时可得到较好的结果，则学习结束后，可获得如下迭代参数集合{M₀，M₁，M₂，M₃，M₄，M₅}和{N₀，N₁，N₂，N₃，N₄，N₅}。本发明方案对k的取值、迭代参数的取值等不做具体限定，可由实际应用而定。

方式二，可通过机器学习和参数校验相结合的方式获得迭代参数集合。

具体地，可按照方式一所示过程进行学***均像素误差和最高像素误差。

通常，如果误差参数与预设阈值相符，则认为学习阶段所得测试迭代参数集合可用，将其确定为本发明方案中的迭代参数集合；如果误差参数与预设阈值不符，则认为学习阶段所得测试迭代参数集合不可用，对应于此，则可调整学习阶段的相机参数初始值并基于调整后的相机参数初始值进行机器学习，直至参数校验阶段得到的误差参数与预设阈值相符为止。作为一种示例，调整学习阶段的相机参数初始值可以为，在初始值的基础上加入随机扰动。

为了更好的验证本发明方案所带来的有益效果，还提供下表所示实验对比结果。需要说明的是，该验证所涉及测试环境为intel i5处理器(3.3GHz)，Win7 Pro***。

	平均像素误差	最高像素误差	迭代次数	运算时间(s)
					本发明方案	1.85	5.20	5	3
现有技术	3.25	8.75	20	16

表1 900万像素(2048×1536×3)三头全景相机标定结果

除上述实验对比结果之外，从图片拼接效果上来看，本发明方案亦优于现有技术，具体可参见图2所示基于本发明方案实现的图片拼接的效果展示图、图3所示基于现有技术方案实现的图片拼接的效果展示图，特别是图中所圈区域。

与上文所述方法相对应地，本发明实施例还提供一种相机几何标定处理装置，参见图4，所述装置可包括：

余弦距离计算单元201，用于确定相机参数初始值，并获得基于所述初始值计算出的点对的第一余弦距离，所述点对为两张相邻图片中对应于空间坐标同一位置的两个像素点的坐标；

优化值调整单元202，用于判断所述第一余弦距离是否与预设值相符，如果否，则获取第一迭代参数，并利用所述第一迭代参数调整所述初始值，获得第一优化值；

所述余弦距离计算单元201，还用于获得基于所述第一优化值计算出的所述点对的第二余弦距离；

标定值确定单元203，用于判断所述第二余弦距离是否与所述预设值相符，如果是，则将所述第一优化值确定为相机参数标定值。

可选的，所述装置还包括：

所述优化值调整单元，还用于在所述第二余弦距离与所述预设值不符时，获取第二迭代参数，并利用所述第二迭代参数调整所述第一优化值，获得第二优化值；

所述余弦距离计算单元，还用于获得基于所述第二优化值计算出的所述点对的第三余弦距离；

所述标定值确定单元，还用于判断所述第三余弦距离是否与所述预设值相符，如果是，则将所述第二优化值确定为相机参数标定值。

可选的，所述装置还包括：

迭代参数获得单元，用于对预设样本进行机器学习，获得所述第一迭代参数：

其中，(M₀，N₀)表示第一迭代参数，C^j表示相机身份编号，表示第j个相机的相机参数标定值，表示第j个相机的相机参数初始值，表示基于(M₀，N₀)计算出的点对的第一余弦距离。

可选的，所述优化值调整单元，具体用于根据计算获得第一优化值

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种相机几何标定处理方法，其特征在于，所述方法包括：

确定相机参数初始值，并获得基于所述初始值计算出的点对的第一余弦距离，所述点对为任两个相邻相机所拍摄原始图片中的两张相邻图片中对应于空间坐标同一位置的两个像素点的坐标；

判断所述第一余弦距离是否与预设值相符，如果否，则从预先确定出的迭代参数集合中获取第一迭代参数，并利用所述第一迭代参数调整所述初始值，获得第一优化值；

获得基于所述第一优化值计算出的所述点对的第二余弦距离；

判断所述第二余弦距离是否与所述预设值相符，如果是，则将所述第一优化值确定为相机参数标定值；

其中，获取迭代参数集合的方式为：

通过机器学习中的监督学习，使用预设样本来学习出每次迭代所需的迭代参数集合。

2.根据权利要求1所述的方法，其特征在于，如果所述第二余弦距离与所述预设值不符，所述方法还包括：

从所述迭代参数集合中获取第二迭代参数，并利用所述第二迭代参数调整所述第一优化值，获得第二优化值；

获得基于所述第二优化值计算出的所述点对的第三余弦距离；

判断所述第三余弦距离是否与所述预设值相符，如果是，则将所述第二优化值确定为相机参数标定值。

3.根据权利要求1所述的方法，其特征在于，所述确定相机参数初始值，包括：

将所述相机参数的先验值确定为所述初始值；或者，

在所述相机的先验值的基础上增加随机扰动，获得所述初始值。

4.一种相机几何标定处理装置，其特征在于，所述装置包括：

余弦距离计算单元，用于确定相机参数初始值，并获得基于所述初始值计算出的点对的第一余弦距离，所述点对为任两个相邻相机所拍摄原始图片中的两张相邻图片中对应于空间坐标同一位置的两个像素点的坐标；

优化值调整单元，用于判断所述第一余弦距离是否与预设值相符，如果否，则从预先确定出的迭代参数集合中获取第一迭代参数，并利用所述第一迭代参数调整所述初始值，获得第一优化值，其中，获取迭代参数集合的方式为：通过机器学习中的监督学习，使用预设样本来学习出每次迭代所需的迭代参数集合；

所述余弦距离计算单元，还用于获得基于所述第一优化值计算出的所述点对的第二余弦距离；

标定值确定单元，用于判断所述第二余弦距离是否与所述预设值相符，如果是，则将所述第一优化值确定为相机参数标定值。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：

所述优化值调整单元，还用于在所述第二余弦距离与所述预设值不符时，从所述迭代参数集合中获取第二迭代参数，并利用所述第二迭代参数调整所述第一优化值，获得第二优化值；

所述余弦距离计算单元，还用于获得基于所述第二优化值计算出的所述点对的第三余弦距离；

所述标定值确定单元，还用于判断所述第三余弦距离是否与所述预设值相符，如果是，则将所述第二优化值确定为相机参数标定值。