CN105701827A - 可见光相机与红外相机的参数联合标定方法及装置 - Google Patents

Abstract

本发明公开了一种可见光相机与红外相机的参数联合标定方法及装置。该方法包括：对可见光图像和红外图像进行边缘检测，得到可见光边缘图像以及红外边缘图像；利用尺度不变特征转换算法SIFT获取所述可见光边缘图像和红外边缘图像的至少四组匹配点对；根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。本发明无需通过标定板即可得到可见光边缘图像与红外边缘图像中的匹配点对，实现在不使用标定板的前提下，确定外参矩阵，进而降低相机参数的标定成本。此外，本发明中当相机的焦距发生变化时，无需调整相机位置即可确定外参矩阵，提高参数标定的效率。

Description

可见光相机与红外相机的参数联合标定方法及装置

技术领域

本发明实施例涉及相机参数标定技术，尤其涉及一种可见光相机与红外相机的参数联合标定方法及装置。

背景技术

在多光谱摄影测量、遥感以及目标监视等应用中，由于可见光相机可以获得丰富的纹理信息，红外热像仪可以获得温度信息，因此使可见光相机与红外相机的联合测量获得了广泛应用。

现有技术中，首先设计和制作一张带有发热装置的平面标定板，然后通过该标定板采集可见光图像和红外图像对应信息，最后利用传统的标定方法获得相机参数。

然而，为了获取相机参数需要专门设计并制作标定板，将增加获取相机参数的人力及物料成本。

发明内容

本发明提供一种可见光相机与红外相机的参数联合标定方法及装置，以实现无需标定板即可实现相机参数的标定，降低相机参数标定的人力及物料成本。

第一方面，本发明实施例提供了一种可见光相机与红外相机的参数联合标定方法，包括：

对可见光图像和红外图像进行边缘检测，得到可见光边缘图像以及红外边缘图像；

利用尺度不变特征转换算法SIFT获取所述可见光边缘图像和红外边缘图像的至少四组匹配点对；

根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。

第二方面，本发明实施例还提供了一种可见光相机与红外相机的参数联合标定装置，包括：

边缘检测单元，用于对可见光图像和红外图像进行边缘检测，得到可见光边缘图像以及红外边缘图像；

匹配点对获取单元，用于利用尺度不变特征转换算法SIFT获取所述边缘检测单元得到的所述可见光边缘图像和红外边缘图像的至少四组匹配点对；

外参矩阵确定单元，用于根据所述匹配点对获取单元获取的所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。

本发明通过对可见光图像和红外图像进行边缘检测，并利用尺度不变特征转换算法SIFT，获取边缘检测得到的可见光边缘图像和红外边缘图像的至少四组匹配点对，进而无需通过标定板即可得到可见光边缘图像与红外边缘图像中的匹配点对，最后根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵，实现在不使用标定板的前提下，确定外参矩阵，进而降低相机参数的标定成本。此外，现有技术中由于标定板的位置需要与相机焦距相适应，因此当相机焦距发生变化时，需要调整标定板以及相机的位置，操作繁琐。本发明中当相机(可见光相机或红外相机)的焦距发生变化时，无需调整相机位置即可确定外参矩阵，提高参数标定的效率。

附图说明

图1为本发明实施例一中的可见光相机与红外相机的参数联合标定方法的流程图；

图2是本发明实施例二中的可见光相机与红外相机的参数联合标定方法的流程图；

图3是本发明实施例三中的可见光相机与红外相机的参数联合标定方法的流程图；

图4是本发明实施例四中的可见光相机与红外相机的参数联合标定方法的流程图；

图5是本发明实施例五中的可见光相机与红外相机的参数联合标定装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种可见光相机与红外相机的参数联合标定方法的流程图，本实施例可适用于对可见光相机及红外相机的参数进行标定的情况，该方法可以由具有数据处理能力的终端来执行，终端如个人电脑(PersonalComputer，PC)、笔记本电脑、平板电脑等，该方法具体包括如下步骤：

S110、对可见光图像和红外图像进行边缘检测，得到可见光边缘图像以及红外边缘图像。

对可见光图像进行边缘检测时，可采用基于查找的边缘检测或者基于零穿越的边缘检测。基于查找的边缘检测方法通过寻找图像一阶导数中的最大和最小值来检测边界，通常是将边界定位在梯度最大的方向。基于零穿越的边缘检测方法通过寻找图像二阶导数零穿越来寻找边界，通常将拉普拉斯(Laplacian)过零点或者非线性差分表示的过零点确定为边界。

可通过基于多尺度形态学的红外图像边缘检测方法等方法在对红外图像进行边缘检测。通过边缘检测得到的图像用于表示原图像的边缘轮廓，轮廓线由轮廓线上的像素点组成。

S120、利用尺度不变特征转换算法SIFT获取可见光边缘图像与红外边缘图像重合部分的至少四组匹配点对。

尺度不变特征转换(Scale-invariantfeaturetransform，SIFT)是一种计算机视觉的算法，用于侦测与描述影像中的局部性特征，例如在空间尺度中寻找极值点，并提取出极值点的位置、尺度以及旋转不变量。具体可通过下述操作进行实施：

(1)尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。

(2)特征点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。特征点的选择依据于它们的稳定程度。

(3)方向确定：基于图像局部的梯度方向，分配给每个特征点位置一个或多个方向。所有后面的对图像数据的操作都相对于特征点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。

(4)特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

首先获取可见光边缘图像和红外边缘图像重合的部分，然后分别根据尺度不变特征转换算法对可见光边缘图像与红外边缘图像重合的部分进行尺度不变特征转换，得到可见光边缘图像对应的特征点描述信息以及红外边缘图像对应的特征点描述信息。根据转换后得到的可见光边缘图像对应的特征点描述信息以及红外边缘图像对应的特征点描述信息确定匹配点对。每组匹配点对由可见光边缘图像中的一个点和红外边缘图像中的一个点组成，这两个点具有共同的方向、尺度和位置。

S130、根据至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵。

为了方便描述设定红外相机为C₁和可见光相机为C₂，C₂相对于C₁的旋转矩阵为R，平移向量t，被摄物体上的某一点P的世界坐标为(X_w,Y_w,Z_w)，点P在两个相机的像平面中所成的像点分别为P₁，P₂，P₁的像素坐标为(u₁,v₁)，P₂的像素坐标为(u₂,v₂)。

假设C₁的摄像机坐标系与世界坐标系重合，则C₂的摄像机坐标系与世界坐标系的关系可用C₂相对于C₁的旋转矩阵R和平移向量t来表示(即公式一)，公式一给出了从不同视角获取包含同一场景的两幅图像之间的几何变换关系，亦可称为基于摄像机运动参数的图像变换模型：

$\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\frac{Z_{c1}}{Z_{c2}}{K}_2\[\begin{array}{cc}R& t\end{array}\]K_1^{-1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]$ (公式一)

其中，K₁为红外相机C₁的内参矩阵，K₂为可见光相机C₂的内参矩阵，R表示摄像机C₂相对于摄像机C₁旋转矩阵；t表示摄像机C₂相对于摄像机C₁的位移向量，[Rt]为外参矩阵，R为3×3矩阵，t为1×3矩阵，Z_c1，Z_c2分别表示点P到摄像机C₁，C₂像平面的距离，该距离为焦距与物距之和，其中物距可通过使用测量工具(如皮尺等)测量得到，也可通过超声波传感器等用于测量距离的传感器获取。

假设S120得到的四组匹配特征点对的特征点坐标分别为(x₁,y₁)，(x₁′,y₁′)，(x₂,y₂)，(x₂′,y₂′)，(x₃,y₃)，(x′₃,y₃′)，(x₄,y₄)，(x′₄,y₄′)，且x₁≠x₂≠x₃≠x₄，y₁≠y₂≠y₃≠y₄,x₁′≠x₂′≠x′₃≠x′₄,y₁′≠y₂′≠y₃′≠y₄′。

已知红外相机的内参矩阵K₁和可见光相机的内参矩阵K₂，分别为：

$K_1=\left[\begin{array}{ccc}{f}_{cx1}& 0& c_{x1}\\ 0& f_{cy1}& c_{y1}\\ 0& 0& 1\end{array}\right],K_2=\left[\begin{array}{ccc}{f}_{cx2}& 0& c_{x2}\\ 0& f_{cy2}& c_{y2}\\ 0& 0& 1\end{array}\right].$

其中，f_cx1为红外相机像平面中u轴方向的尺度因子，f_cy1为红外相机像平面中v轴方向的尺度因子，(c_x1，c_y1)表示红外相机的像平面的中心点坐标。

f_cx2为可见光相机像平面中u轴方向的尺度因子，f_cy2为可见光相机像平面中v轴方向的尺度因子，(c_x2，c_y2)表示可见光相机的像平面的中心点坐标。

将K₁和K₂代入公式一中，得到公式一的展开式为：

$\left\{\begin{array}{c}{x}_i^{\′}=\[\frac{1}{f_{cx1}}(f_{cx2}{r}_1+c_{x2}{r}_7)-\frac{c_{x1}}{f_{cx1}}(f_{cx2}{r}_3+c_{x2}{r}_9)+f_{cx2}{t}_1+c_{x2}{t}_3\]x_i\\ +\[\frac{1}{f_{cy1}}(f_{cx2}{r}_2+c_{x2}{r}_8)-\frac{c_{y1}}{f_{cy1}}(f_{cx2}{r}_3+c_{x2}{r}_9)+f_{cx2}{t}_1+c_{x2}{t}_3\]y_i\\ +f_{cx2}{r}_3+c_{x2}{r}_9+f_{cx2}{t}_1+c_{x2}{t}_3\\ y_i^{\′}=\[\frac{1}{f_{cx1}}(f_{cy1}{r}_4+c_{y2}{r}_7)-\frac{c_{x1}}{f_{cx1}}(f_{cy2}{r}_6+c_{y2}{r}_9)+f_{cy2}{t}_2+c_{y2}{t}_3\]x_i\\ +\[\frac{1}{f_{cy1}}(f_{cy2}{r}_5+c_{y2}{r}_8)-\frac{c_{y1}}{f_{cy1}}(f_{cy2}{r}_6+c_{y2}{r}_9)+f_{cy2}{t}_2+c_{y2}{t}_3\]y_i\\ +f_{cy2}{r}_6+c_{y2}{r}_9+f_{cy2}{t}_2+c_{y2}{t}_3\\ 1=(\frac{r_7}{f_{cx1}}-\frac{c_{x1}}{f_{cx1}}{r}_9+t_3)x_i+(\frac{r_8}{f_{cy1}}-\frac{c_{y1}}{f_{cy1}}{r}_9+t_3)y_i+r_9+t_3\end{array}\right.$

(i＝1,2,3,…,N)(公式二)

N为大于等于4的整数。由于R为3×3矩阵，t为1×3矩阵，因此共有12个未知量。每组匹配点对在三维上能够提供一个三个方程组成的方程组，因此最少通过4组匹配点对提供的12个方程能够求解出12个未知量。

将四组匹配点对的坐标代入公式二所示的解线性方程组中，求解R、t。然后，对R的每一个元素正交化，得到外参矩阵。

需要说明的是，公式一中的旋转矩阵R可以用3个欧拉角来表示，即绕X轴旋转的角度α，绕Y轴旋转的角度β，绕Z轴旋转的角度γ，R的表达式为

$\begin{array}{c}R=\left[\begin{array}{ccc}cos\mathrm{\α}& -sin\mathrm{\α}& 0\\ sin\mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}cos\mathrm{\β}& 0& -\sin \mathrm{\β}\\ 0& 1& 0\\ \sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\γ}& -\sin \mathrm{\γ}\\ 0& \sin \mathrm{\γ}& \cos \mathrm{\γ}\end{array}\right]=\\ \left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]\end{array}$

公式一中的平移向量t的表达式为t＝[t₁t₂t₃]^T。其中分别表示C₂相对于C₁在X轴上的位移t₁、在Y轴上的位移t₂和在Z轴上的位移t₃。

现有技术中通过标定板的方式获取绕X轴旋转的角度α，绕Y轴旋转的角度β，绕Z轴旋转的角度γ以及在X轴上的位移t₁、在Y轴上的位移t₂和在Z轴上的位移t₃，从而通过计算得到外参矩阵[Rt]。由于标定板需要进行设计和制作因此成本较高，故本发明实施例中并不直接获取绕X轴旋转的角度α，绕Y轴旋转的角度β，绕Z轴旋转的角度γ以及在X轴上的位移t₁、在Y轴上的位移t₂和在Z轴上的位移t₃这些物理量，而是通过计算得到这些物理量，进而无需使用标定板，降低外参矩阵的获取成本。

本实施例提供的技术方案通过对可见光图像和红外图像进行边缘检测，并利用尺度不变特征转换算法SIFT，获取边缘检测得到的可见光边缘图像和红外边缘图像的至少四组匹配点对，进而无需通过标定板即可得到可见光边缘图像与红外边缘图像中的匹配点对，最后根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵，实现在不使用标定板的前提下，确定外参矩阵，进而降低相机参数的标定成本。此外，现有技术中由于标定板的位置需要与相机焦距相适应，因此当相机焦距发生变化时，需要调整标定板以及相机的位置，操作繁琐。本实施例中当相机(可见光相机或红外相机)的焦距发生变化时，无需调整相机位置即可确定外参矩阵，提高参数标定的效率。

实施例二

图2为本发明实施例二提供的一种可见光相机与红外相机的参数联合标定方法的流程图，优选的，在S120、利用尺度不变特征转换算法SIFT获取可见光边缘图像与红外边缘图像重合部分的至少四组匹配点对之后，还包括：

S140、利用随机采样一致性算法RANSAC对至少四组匹配点对进行筛选。

随机采样一致性(RANdomSAmpleConsensus，RANSAC)算法通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点，并用下述方法进行验证：

S1、构造预估模型，预估模型适应于假设的局内点。预估模型可根据S120获取的至少四组匹配点对生成得到。

S2、用S1中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点。其他数据为除用于构造预设模型以外的匹配点对。

S3、如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。

S4、然后，用所有假设的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过。

S5、最后，通过估计局内点与模型的错误率来评估模型。

S1至S5被重复执行固定的次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。

相应的，S130、根据至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵，可通过下述操作进行实施：

S130＇、根据筛选得到的至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵。

本实施例提供的技术方案，通过随机采样一致性算法能够去除掉边缘图像中边缘线条以外的像素点被误识别为边缘点，进而避免因边缘线条以外的像素点被误认为边缘线条上的点造成外参矩阵计算不准确的问题，提高外参矩阵的准确度。

实施例三

图3为本发明实施例三提供的一种可见光相机与红外相机的参数联合标定方法的流程图，可选的，在S130、根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵之前，该方法还包括：

S101a、根据可见光相机的焦距确定可见光相机的尺寸因子。

可见光相机的尺寸因子包括u轴尺寸因子c_x2和v轴尺寸因子c_y2。u轴尺寸因子c_x2为u轴焦距f_cx2除以v轴焦距f_cy2。v轴尺寸因子c_y2为v轴焦距f_cy2除以u轴焦距f_cx2。

S102a、根据可见光相机的尺寸因子以及可见光相机的图像中心坐标确定可见光相机的内参矩阵。

根据可见光相机的u轴尺寸因子c_x2、v轴尺寸因子c_y2、u轴焦距f_cx2以及v轴焦距f_cy2，生成可见光相机的内参矩阵K₂。

$K_2=\left[\begin{array}{ccc}{f}_{cx2}& 0& c_{x2}\\ 0& f_{cy2}& c_{y2}\\ 0& 0& 1\end{array}\right]$

S101b、根据红外相机的焦距确定红外相机的尺寸因子。

红外相机的尺寸因子包括u轴尺寸因子c_x1和v轴尺寸因子c_y1。u轴尺寸因子c_x1为u轴焦距f_cx1除以v轴焦距f_cy1。v轴尺寸因子c_y1为v轴焦距f_cy1除以u轴焦距f_cx1。

S102b、根据红外相机的尺寸因子以及红外相机的图像中心坐标确定可见光相机的内参矩阵。

根据红外相机的u轴尺寸因子c_x1、v轴尺寸因子c_y1、u轴焦距f_cx1以及v轴焦距f_cy1，生成红外相机的内参矩阵K₁。

$K_1=\left[\begin{array}{ccc}{f}_{cx1}& 0& c_{x1}\\ 0& f_{cy1}& c_{y1}\\ 0& 0& 1\end{array}\right]$

本实施例提供的技术方案能够根据可见光相机的焦距确定可见光相机的内参矩阵，根据红外相机的焦距确定红外相机的内参矩阵，进而快速得到内参矩阵，提高处理效率。

实施例四

由于在实际拍摄中，像平面中的物体的中心位置与像平面的几何中心不一致，此时根据相机说明书确定的内参矩阵将无法准确表示实际的中心位置，进而产生误差。基于此，本发明实施例还提供了一种可见光相机与红外相机的参数联合标定方法，作为对上述实施例的进一步说明，如图4所示，在S130、根据至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵之后，还包括：

S150、对可见光相机或红外相机进行预设次数的位置变换。

预设次数(M-1)大于等于1。可以改变可见光相机和红外相机中一个相机的位置，也可同时改变两个相机的位置。每次进行一个位置变换可得到一个位置关系，各位置关系对应的旋转矩阵R不尽相同。

进一步的，在改变可见光相机或红外相机的位置时，可将可见光相机或红外相机的像平面中心与被摄物体中心对准，进而使位移向量t＝[t₁t₂t₃]^T中的x轴平移向量t₁为零，减少计算量，提高计算效率。

S160、获取每次位置变换对应的至少六组匹配点对。

当进行(M-1)次位置变换后，每次变换后得到的匹配点数与原始位置对应的匹配点数形成M个匹配点对集合，每个匹配点对集合由至少六个匹配点对组成。

S170、根据预设次数的位置变换对应的全部匹配点对，对可见光相机的内参矩阵、红外相机的内参矩阵以及外参矩阵进行优化。

进一步的，S170可通过下述操作进行实施：

S171、将可见光图像和红外图像差异度最小时对应的可见光相机的内参矩阵，确定为优化后的可见光相机的内参矩阵。

S172、将可见光图像和红外图像差异度最小时对应的红外相机的内参矩阵，确定为优化后的红外相机的内参矩阵。

S173、将可见光图像和红外图像差异度最小时对应的外参矩阵进，确定为优化后的外参矩阵进。

假设在M个位置采集了共M组匹配点对集合，可见光图像特征点对记为红外图像特征点对记为两相机间的单应矩阵其中，由于可见光相机和红外相机一般被放置于同一面墙上，此时两相机的光轴平行，且相机间的实际距离与景物距离相差悬殊，所以可认为设计优化目标函数:通过求解该极小化问题，可以得到更高精度的可见光相机内参数K₂和红外相机内参数K₁，以及外参数矩阵[R,t]。

本实施例提供的技术方案，能够通过求解优化目标函数对可见光相机内参数K₂和红外相机内参数K₁，以及外参数矩阵[R,t]进行优化，得到更为准确的外参矩阵及内参矩阵。

实施例五

图5为本发明实施例五提供的一种可见光相机与红外相机的参数联合标定装置1的结构示意图，用于实现上述实施例所述的方法，该装置1位于具有数据处理能力的终端中，该可见光相机与红外相机的参数联合标定装置1包括：

边缘检测单元11，用于对可见光图像和红外图像进行边缘检测，得到可见光边缘图像以及红外边缘图像。

匹配点对获取单元12，用于利用尺度不变特征转换算法SIFT获取所述边缘检测单元11得到的所述可见光边缘图像与所述红外边缘图像重合部分的至少四组匹配点对。

外参矩阵确定单元13，用于根据所述匹配点对获取单元12获取的所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。

进一步的，该装置1还包括：

筛选单元14，用于利用随机采样一致性算法RANSAC对所述匹配点对获取单元12获取的所述至少四组匹配点对进行筛选。

相应的，所述外参矩阵确定单元13，具体用于：

根据所述筛选单元14筛选得到的至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。

进一步的，该装置1还包括内参确定单元15用于：

根据所述可见光相机的焦距和像元尺寸确定可见光相机的尺寸因子。

根据所述可见光相机的尺寸因子以及可见光相机的图像中心坐标确定所述可见光相机的内参矩阵。

根据所述红外相机的焦距和像元尺寸确定红外相机的尺寸因子。

根据所述红外相机的尺寸因子以及红外相机的图像中心坐标确定所述可见光相机的内参矩阵。

进一步的，还包括：

位置变换单元16，用于对所述可见光相机或所述红外相机进行预设次数的位置变换。

匹配点对变换获取单元17，用于获取每次位置变换对应的至少六组匹配点对。

优化单元18，用于根据所述预设次数的位置变换对应的全部匹配点对，对可见光相机的内参矩阵、红外相机的内参矩阵以及外参矩阵进行优化。

进一步的，所述优化单元18具体用于：

将所述可见光图像和所述红外图像差异度最小时对应的可见光相机的内参矩阵，确定为优化后的可见光相机的内参矩阵。

将所述可见光图像和所述红外图像差异度最小时对应的红外相机的内参矩阵，确定为优化后的红外相机的内参矩阵。

将所述可见光图像和所述红外图像差异度最小时对应的外参矩阵进，确定为优化后的外参矩阵进。

上述装置1可执行本发明实施例一至实施例四所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例一至实施例四所提供的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种可见光相机与红外相机的参数联合标定方法，其特征在于，包括：

对可见光图像和红外图像进行边缘检测，得到可见光边缘图像以及红外边缘图像；

利用尺度不变特征转换算法SIFT获取所述可见光边缘图像与所述红外边缘图像重合部分的至少四组匹配点对；

根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。

2.根据权利要求1所述的可见光相机与红外相机的参数联合标定方法，其特征在于，在利用尺度不变特征转换算法SIFT获取所述可见光边缘图像与所述红外边缘图像重合部分的至少四组匹配点对之后，还包括：

利用随机采样一致性算法RANSAC对所述至少四组匹配点对进行筛选；

相应的，所述根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵，包括：

根据筛选得到的至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。

3.根据权利要求1所述的可见光相机与红外相机的参数联合标定方法，其特征在于，在根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵之前，还包括：

根据所述可见光相机的焦距和像元尺寸确定可见光相机的尺寸因子；

根据所述可见光相机的尺寸因子以及可见光相机的图像中心坐标确定所述可见光相机的内参矩阵；

根据所述红外相机的焦距和像元尺寸确定红外相机的尺寸因子；

根据所述红外相机的尺寸因子以及红外相机的图像中心坐标确定所述可见光相机的内参矩阵。

4.根据权利要求1至3中任一项所述的可见光相机与红外相机的参数联合标定方法，其特征在于，在根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵之后，还包括：

对所述可见光相机或所述红外相机进行预设次数的位置变换；

获取每次位置变换对应的至少六组匹配点对；

根据所述预设次数的位置变换对应的全部匹配点对，对可见光相机的内参矩阵、红外相机的内参矩阵以及外参矩阵进行优化。

5.根据权利要求4所述的可见光相机与红外相机的参数联合标定方法，其特征在于，所述根据所述预设次数的位置变换对应的全部匹配点对，对可见光相机的内参矩阵、红外相机的内参矩阵以及外参矩阵进行优化，包括：

将所述可见光图像和所述红外图像差异度最小时对应的可见光相机的内参矩阵，确定为优化后的可见光相机的内参矩阵；

将所述可见光图像和所述红外图像差异度最小时对应的红外相机的内参矩阵，确定为优化后的红外相机的内参矩阵；

将所述可见光图像和所述红外图像差异度最小时对应的外参矩阵进，确定为优化后的外参矩阵进。

6.一种可见光相机与红外相机的参数联合标定装置，其特征在于，包括：

边缘检测单元，用于对可见光图像和红外图像进行边缘检测，得到可见光边缘图像以及红外边缘图像；

匹配点对获取单元，用于利用尺度不变特征转换算法SIFT获取所述边缘检测单元得到的所述可见光边缘图像与所述红外边缘图像重合部分的至少四组匹配点对；

外参矩阵确定单元，用于根据所述匹配点对获取单元获取的所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。

7.根据权利要求6所述的可见光相机与红外相机的参数联合标定装置，其特征在于，还包括：

筛选单元，用于利用随机采样一致性算法RANSAC对所述匹配点对获取单元获取的所述至少四组匹配点对进行筛选；

相应的，所述外参矩阵确定单元，具体用于：

根据所述筛选单元筛选得到的至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。

8.根据权利要求6所述的可见光相机与红外相机的参数联合标定装置，其特征在于，还包括内参确定单元用于：

根据所述可见光相机的焦距和像元尺寸确定可见光相机的尺寸因子；

根据所述可见光相机的尺寸因子以及可见光相机的图像中心坐标确定所述可见光相机的内参矩阵；

根据所述红外相机的焦距和像元尺寸确定红外相机的尺寸因子；

根据所述红外相机的尺寸因子以及红外相机的图像中心坐标确定所述可见光相机的内参矩阵。

9.根据权利要求6至8中任一项所述的可见光相机与红外相机的参数联合标定装置，其特征在于，还包括：

位置变换单元，用于对所述可见光相机或所述红外相机进行预设次数的位置变换；

匹配点对变换获取单元，用于获取每次位置变换对应的至少六组匹配点对；

优化单元，用于根据所述预设次数的位置变换对应的全部匹配点对，对可见光相机的内参矩阵、红外相机的内参矩阵以及外参矩阵进行优化。

10.根据权利要求9所述的可见光相机与红外相机的参数联合标定装置，其特征在于，所述优化单元具体用于：

将所述可见光图像和所述红外图像差异度最小时对应的可见光相机的内参矩阵，确定为优化后的可见光相机的内参矩阵；

将所述可见光图像和所述红外图像差异度最小时对应的红外相机的内参矩阵，确定为优化后的红外相机的内参矩阵；

将所述可见光图像和所述红外图像差异度最小时对应的外参矩阵进，确定为优化后的外参矩阵进。