CN105701827B - 可见光相机与红外相机的参数联合标定方法及装置 - Google Patents
可见光相机与红外相机的参数联合标定方法及装置 Download PDFInfo
- Publication number
- CN105701827B CN105701827B CN201610028981.XA CN201610028981A CN105701827B CN 105701827 B CN105701827 B CN 105701827B CN 201610028981 A CN201610028981 A CN 201610028981A CN 105701827 B CN105701827 B CN 105701827B
- Authority
- CN
- China
- Prior art keywords
- visible light
- camera
- infrared
- internal reference
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种可见光相机与红外相机的参数联合标定方法及装置。该方法包括:对可见光图像和红外图像进行边缘检测,得到可见光边缘图像以及红外边缘图像;利用尺度不变特征转换算法SIFT获取所述可见光边缘图像和红外边缘图像的至少四组匹配点对;根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。本发明无需通过标定板即可得到可见光边缘图像与红外边缘图像中的匹配点对,实现在不使用标定板的前提下,确定外参矩阵,进而降低相机参数的标定成本。此外,本发明中当相机的焦距发生变化时,无需调整相机位置即可确定外参矩阵,提高参数标定的效率。
Description
技术领域
本发明实施例涉及相机参数标定技术,尤其涉及一种可见光相机与红外相机的参数联合标定方法及装置。
背景技术
在多光谱摄影测量、遥感以及目标监视等应用中,由于可见光相机可以获得丰富的纹理信息,红外热像仪可以获得温度信息,因此使可见光相机与红外相机的联合测量获得了广泛应用。
现有技术中,首先设计和制作一张带有发热装置的平面标定板,然后通过该标定板采集可见光图像和红外图像对应信息,最后利用传统的标定方法获得相机参数。
然而,为了获取相机参数需要专门设计并制作标定板,将增加获取相机参数的人力及物料成本。
发明内容
本发明提供一种可见光相机与红外相机的参数联合标定方法及装置,以实现无需标定板即可实现相机参数的标定,降低相机参数标定的人力及物料成本。
第一方面,本发明实施例提供了一种可见光相机与红外相机的参数联合标定方法,包括:
对可见光图像和红外图像进行边缘检测,得到可见光边缘图像以及红外边缘图像;
利用尺度不变特征转换算法SIFT获取所述可见光边缘图像和红外边缘图像的至少四组匹配点对;
根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。
第二方面,本发明实施例还提供了一种可见光相机与红外相机的参数联合标定装置,包括:
边缘检测单元,用于对可见光图像和红外图像进行边缘检测,得到可见光边缘图像以及红外边缘图像;
匹配点对获取单元,用于利用尺度不变特征转换算法SIFT获取所述边缘检测单元得到的所述可见光边缘图像和红外边缘图像的至少四组匹配点对;
外参矩阵确定单元,用于根据所述匹配点对获取单元获取的所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。
本发明通过对可见光图像和红外图像进行边缘检测,并利用尺度不变特征转换算法SIFT,获取边缘检测得到的可见光边缘图像和红外边缘图像的至少四组匹配点对,进而无需通过标定板即可得到可见光边缘图像与红外边缘图像中的匹配点对,最后根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵,实现在不使用标定板的前提下,确定外参矩阵,进而降低相机参数的标定成本。此外,现有技术中由于标定板的位置需要与相机焦距相适应,因此当相机焦距发生变化时,需要调整标定板以及相机的位置,操作繁琐。本发明中当相机(可见光相机或红外相机)的焦距发生变化时,无需调整相机位置即可确定外参矩阵,提高参数标定的效率。
附图说明
图1为本发明实施例一中的可见光相机与红外相机的参数联合标定方法的流程图;
图2是本发明实施例二中的可见光相机与红外相机的参数联合标定方法的流程图;
图3是本发明实施例三中的可见光相机与红外相机的参数联合标定方法的流程图;
图4是本发明实施例四中的可见光相机与红外相机的参数联合标定方法的流程图;
图5是本发明实施例五中的可见光相机与红外相机的参数联合标定装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种可见光相机与红外相机的参数联合标定方法的流程图,本实施例可适用于对可见光相机及红外相机的参数进行标定的情况,该方法可以由具有数据处理能力的终端来执行,终端如个人电脑(Personal Computer,PC)、笔记本电脑、平板电脑等,该方法具体包括如下步骤:
S110、对可见光图像和红外图像进行边缘检测,得到可见光边缘图像以及红外边缘图像。
对可见光图像进行边缘检测时,可采用基于查找的边缘检测或者基于零穿越的边缘检测。基于查找的边缘检测方法通过寻找图像一阶导数中的最大和最小值来检测边界,通常是将边界定位在梯度最大的方向。基于零穿越的边缘检测方法通过寻找图像二阶导数零穿越来寻找边界,通常将拉普拉斯(Laplacian)过零点或者非线性差分表示的过零点确定为边界。
可通过基于多尺度形态学的红外图像边缘检测方法等方法在对红外图像进行边缘检测。通过边缘检测得到的图像用于表示原图像的边缘轮廓,轮廓线由轮廓线上的像素点组成。
S120、利用尺度不变特征转换算法SIFT获取可见光边缘图像与红外边缘图像重合部分的至少四组匹配点对。
尺度不变特征转换(Scale-invariant feature transform,SIFT)是一种计算机视觉的算法,用于侦测与描述影像中的局部性特征,例如在空间尺度中寻找极值点,并提取出极值点的位置、尺度以及旋转不变量。具体可通过下述操作进行实施:
(1)尺度空间极值检测:搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。
(2)特征点定位:在每个候选的位置上,通过一个拟合精细的模型来确定位置和尺度。特征点的选择依据于它们的稳定程度。
(3)方向确定:基于图像局部的梯度方向,分配给每个特征点位置一个或多个方向。所有后面的对图像数据的操作都相对于特征点的方向、尺度和位置进行变换,从而提供对于这些变换的不变性。
(4)特征点描述:在每个特征点周围的邻域内,在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示,这种表示允许比较大的局部形状的变形和光照变化。
首先获取可见光边缘图像和红外边缘图像重合的部分,然后分别根据尺度不变特征转换算法对可见光边缘图像与红外边缘图像重合的部分进行尺度不变特征转换,得到可见光边缘图像对应的特征点描述信息以及红外边缘图像对应的特征点描述信息。根据转换后得到的可见光边缘图像对应的特征点描述信息以及红外边缘图像对应的特征点描述信息确定匹配点对。每组匹配点对由可见光边缘图像中的一个点和红外边缘图像中的一个点组成,这两个点具有共同的方向、尺度和位置。
S130、根据至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵。
为了方便描述设定红外相机为C1和可见光相机为C2,C2相对于C1的旋转矩阵为R,平移向量t,被摄物体上的某一点P的世界坐标为(Xw,Yw,Zw),点P在两个相机的像平面中所成的像点分别为P1,P2,P1的像素坐标为(u1,v1),P2的像素坐标为(u2,v2)。
假设C1的摄像机坐标系与世界坐标系重合,则C2的摄像机坐标系与世界坐标系的关系可用C2相对于C1的旋转矩阵R和平移向量t来表示(即公式一),公式一给出了从不同视角获取包含同一场景的两幅图像之间的几何变换关系,亦可称为基于摄像机运动参数的图像变换模型:
(公式一)
其中,K1为红外相机C1的内参矩阵,K2为可见光相机C2的内参矩阵,R表示摄像机C2相对于摄像机C1旋转矩阵;t表示摄像机C2相对于摄像机C1的位移向量,[R t]为外参矩阵,R为3×3矩阵,t为1×3矩阵,Zc1,Zc2分别表示点P到摄像机C1,C2像平面的距离,该距离为焦距与物距之和,其中物距可通过使用测量工具(如皮尺等)测量得到,也可通过超声波传感器等用于测量距离的传感器获取。
假设S120得到的四组匹配特征点对的特征点坐标分别为(x1,y1),(x1′,y1′),(x2,y2),(x2′,y2′),(x3,y3),(x′3,y3′),(x4,y4),(x′4,y4′),且x1≠x2≠x3≠x4,y1≠y2≠y3≠y4,x1′≠x2′≠x′3≠x′4,y1′≠y2′≠y3′≠y4′。
已知红外相机的内参矩阵K1和可见光相机的内参矩阵K2,分别为:
其中,fcx1为红外相机像平面中u轴方向的尺度因子,fcy1为红外相机像平面中v轴方向的尺度因子,(cx1,cy1)表示红外相机的像平面的中心点坐标。
fcx2为可见光相机像平面中u轴方向的尺度因子,fcy2为可见光相机像平面中v轴方向的尺度因子,(cx2,cy2)表示可见光相机的像平面的中心点坐标。
将K1和K2代入公式一中,得到公式一的展开式为:
(i=1,2,3,…,N) (公式二)
N为大于等于4的整数。由于R为3×3矩阵,t为1×3矩阵,因此共有12个未知量。每组匹配点对在三维上能够提供一个三个方程组成的方程组,因此最少通过4组匹配点对提供的12个方程能够求解出12个未知量。
将四组匹配点对的坐标代入公式二所示的解线性方程组中,求解R、t。然后,对R的每一个元素正交化,得到外参矩阵。
需要说明的是,公式一中的旋转矩阵R可以用3个欧拉角来表示,即绕X轴旋转的角度α,绕Y轴旋转的角度β,绕Z轴旋转的角度γ,R的表达式为
公式一中的平移向量t的表达式为t=[t1 t2 t3]T。其中分别表示C2相对于C1在X轴上的位移t1、在Y轴上的位移t2和在Z轴上的位移t3。
现有技术中通过标定板的方式获取绕X轴旋转的角度α,绕Y轴旋转的角度β,绕Z轴旋转的角度γ以及在X轴上的位移t1、在Y轴上的位移t2和在Z轴上的位移t3,从而通过计算得到外参矩阵[R t]。由于标定板需要进行设计和制作因此成本较高,故本发明实施例中并不直接获取绕X轴旋转的角度α,绕Y轴旋转的角度β,绕Z轴旋转的角度γ以及在X轴上的位移t1、在Y轴上的位移t2和在Z轴上的位移t3这些物理量,而是通过计算得到这些物理量,进而无需使用标定板,降低外参矩阵的获取成本。
本实施例提供的技术方案通过对可见光图像和红外图像进行边缘检测,并利用尺度不变特征转换算法SIFT,获取边缘检测得到的可见光边缘图像和红外边缘图像的至少四组匹配点对,进而无需通过标定板即可得到可见光边缘图像与红外边缘图像中的匹配点对,最后根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵,实现在不使用标定板的前提下,确定外参矩阵,进而降低相机参数的标定成本。此外,现有技术中由于标定板的位置需要与相机焦距相适应,因此当相机焦距发生变化时,需要调整标定板以及相机的位置,操作繁琐。本实施例中当相机(可见光相机或红外相机)的焦距发生变化时,无需调整相机位置即可确定外参矩阵,提高参数标定的效率。
实施例二
图2为本发明实施例二提供的一种可见光相机与红外相机的参数联合标定方法的流程图,优选的,在S120、利用尺度不变特征转换算法SIFT获取可见光边缘图像与红外边缘图像重合部分的至少四组匹配点对之后,还包括:
S140、利用随机采样一致性算法RANSAC对至少四组匹配点对进行筛选。
随机采样一致性(RANdom SAmple Consensus,RANSAC)算法通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点,并用下述方法进行验证:
S1、构造预估模型,预估模型适应于假设的局内点。预估模型可根据S120获取的至少四组匹配点对生成得到。
S2、用S1中得到的模型去测试所有的其它数据,如果某个点适用于估计的模型,认为它也是局内点。其他数据为除用于构造预设模型以外的匹配点对。
S3、如果有足够多的点被归类为假设的局内点,那么估计的模型就足够合理。
S4、然后,用所有假设的局内点去重新估计模型,因为它仅仅被初始的假设局内点估计过。
S5、最后,通过估计局内点与模型的错误率来评估模型。
S1至S5被重复执行固定的次数,每次产生的模型要么因为局内点太少而被舍弃,要么因为比现有的模型更好而被选用。
相应的,S130、根据至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵,可通过下述操作进行实施:
S130'、根据筛选得到的至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵。
本实施例提供的技术方案,通过随机采样一致性算法能够去除掉边缘图像中边缘线条以外的像素点被误识别为边缘点,进而避免因边缘线条以外的像素点被误认为边缘线条上的点造成外参矩阵计算不准确的问题,提高外参矩阵的准确度。
实施例三
图3为本发明实施例三提供的一种可见光相机与红外相机的参数联合标定方法的流程图,可选的,在S130、根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵之前,该方法还包括:
S101a、根据可见光相机的焦距确定可见光相机的尺寸因子。
可见光相机的尺寸因子包括u轴尺寸因子cx2和v轴尺寸因子cy2。u轴尺寸因子cx2为u轴焦距fcx2除以v轴焦距fcy2。v轴尺寸因子cy2为v轴焦距fcy2除以u轴焦距fcx2。
S102a、根据可见光相机的尺寸因子以及可见光相机的图像中心坐标确定可见光相机的内参矩阵。
根据可见光相机的u轴尺寸因子cx2、v轴尺寸因子cy2、u轴焦距fcx2以及v轴焦距fcy2,生成可见光相机的内参矩阵K2。
S101b、根据红外相机的焦距确定红外相机的尺寸因子。
红外相机的尺寸因子包括u轴尺寸因子cx1和v轴尺寸因子cy1。u轴尺寸因子cx1为u轴焦距fcx1除以v轴焦距fcy1。v轴尺寸因子cy1为v轴焦距fcy1除以u轴焦距fcx1。
S102b、根据红外相机的尺寸因子以及红外相机的图像中心坐标确定可见光相机的内参矩阵。
根据红外相机的u轴尺寸因子cx1、v轴尺寸因子cy1、u轴焦距fcx1以及v轴焦距fcy1,生成红外相机的内参矩阵K1。
本实施例提供的技术方案能够根据可见光相机的焦距确定可见光相机的内参矩阵,根据红外相机的焦距确定红外相机的内参矩阵,进而快速得到内参矩阵,提高处理效率。
实施例四
由于在实际拍摄中,像平面中的物体的中心位置与像平面的几何中心不一致,此时根据相机说明书确定的内参矩阵将无法准确表示实际的中心位置,进而产生误差。基于此,本发明实施例还提供了一种可见光相机与红外相机的参数联合标定方法,作为对上述实施例的进一步说明,如图4所示,在S130、根据至少四组匹配点对、可见光相机的内参矩阵以及红外相机的内参矩阵确定外参矩阵之后,还包括:
S150、对可见光相机或红外相机进行预设次数的位置变换。
预设次数(M-1)大于等于1。可以改变可见光相机和红外相机中一个相机的位置,也可同时改变两个相机的位置。每次进行一个位置变换可得到一个位置关系,各位置关系对应的旋转矩阵R不尽相同。
进一步的,在改变可见光相机或红外相机的位置时,可将可见光相机或红外相机的像平面中心与被摄物体中心对准,进而使位移向量t=[t1 t2 t3]T中的x轴平移向量t1为零,减少计算量,提高计算效率。
S160、获取每次位置变换对应的至少六组匹配点对。
当进行(M-1)次位置变换后,每次变换后得到的匹配点数与原始位置对应的匹配点数形成M个匹配点对集合,每个匹配点对集合由至少六个匹配点对组成。
S170、根据预设次数的位置变换对应的全部匹配点对,对可见光相机的内参矩阵、红外相机的内参矩阵以及外参矩阵进行优化。
进一步的,S170可通过下述操作进行实施:
S171、将可见光图像和红外图像差异度最小时对应的可见光相机的内参矩阵,确定为优化后的可见光相机的内参矩阵。
S172、将可见光图像和红外图像差异度最小时对应的红外相机的内参矩阵,确定为优化后的红外相机的内参矩阵。
S173、将可见光图像和红外图像差异度最小时对应的外参矩阵进,确定为优化后的外参矩阵进。
假设在M个位置采集了共M组匹配点对集合,可见光图像特征点对记为红外图像特征点对记为两相机间的单应矩阵其中,由于可见光相机和红外相机一般被放置于同一面墙上,此时两相机的光轴平行,且相机间的实际距离与景物距离相差悬殊,所以可认为设计优化目标函数:通过求解该极小化问题,可以得到更高精度的可见光相机内参数K2和红外相机内参数K1,以及外参数矩阵[R,t]。
本实施例提供的技术方案,能够通过求解优化目标函数对可见光相机内参数K2和红外相机内参数K1,以及外参数矩阵[R,t]进行优化,得到更为准确的外参矩阵及内参矩阵。
实施例五
图5为本发明实施例五提供的一种可见光相机与红外相机的参数联合标定装置1的结构示意图,用于实现上述实施例所述的方法,该装置1位于具有数据处理能力的终端中,该可见光相机与红外相机的参数联合标定装置1包括:
边缘检测单元11,用于对可见光图像和红外图像进行边缘检测,得到可见光边缘图像以及红外边缘图像。
匹配点对获取单元12,用于利用尺度不变特征转换算法SIFT获取所述边缘检测单元11得到的所述可见光边缘图像与所述红外边缘图像重合部分的至少四组匹配点对。
外参矩阵确定单元13,用于根据所述匹配点对获取单元12获取的所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。
进一步的,该装置1还包括:
筛选单元14,用于利用随机采样一致性算法RANSAC对所述匹配点对获取单元12获取的所述至少四组匹配点对进行筛选。
相应的,所述外参矩阵确定单元13,具体用于:
根据所述筛选单元14筛选得到的至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。
进一步的,该装置1还包括内参确定单元15用于:
根据所述可见光相机的焦距和像元尺寸确定可见光相机的尺寸因子。
根据所述可见光相机的尺寸因子以及可见光相机的图像中心坐标确定所述可见光相机的内参矩阵。
根据所述红外相机的焦距和像元尺寸确定红外相机的尺寸因子。
根据所述红外相机的尺寸因子以及红外相机的图像中心坐标确定所述可见光相机的内参矩阵。
进一步的,还包括:
位置变换单元16,用于对所述可见光相机或所述红外相机进行预设次数的位置变换。
匹配点对变换获取单元17,用于获取每次位置变换对应的至少六组匹配点对。
优化单元18,用于根据所述预设次数的位置变换对应的全部匹配点对,对可见光相机的内参矩阵、红外相机的内参矩阵以及外参矩阵进行优化。
进一步的,所述优化单元18具体用于:
将所述可见光图像和所述红外图像差异度最小时对应的可见光相机的内参矩阵,确定为优化后的可见光相机的内参矩阵。
将所述可见光图像和所述红外图像差异度最小时对应的红外相机的内参矩阵,确定为优化后的红外相机的内参矩阵。
将所述可见光图像和所述红外图像差异度最小时对应的外参矩阵进,确定为优化后的外参矩阵进。
上述装置1可执行本发明实施例一至实施例四所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例一至实施例四所提供的方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种可见光相机与红外相机的参数联合标定方法,其特征在于,包括:
对可见光图像和红外图像进行边缘检测,得到可见光边缘图像以及红外边缘图像;
利用尺度不变特征转换算法SIFT获取所述可见光边缘图像与所述红外边缘图像重合部分的至少四组匹配点对;
根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵;
对所述可见光相机或所述红外相机进行预设次数的位置变换;
获取每次位置变换对应的至少六组匹配点对;
根据所述预设次数的位置变换对应的全部匹配点对,对可见光相机的内参矩阵、红外相机的内参矩阵以及外参矩阵进行优化;所述可见光相机和所述红外相机光轴平行。
2.根据权利要求1所述的可见光相机与红外相机的参数联合标定方法,其特征在于,在利用尺度不变特征转换算法SIFT获取所述可见光边缘图像与所述红外边缘图像重合部分的至少四组匹配点对之后,还包括:
利用随机采样一致性算法RANSAC对所述至少四组匹配点对进行筛选;
相应的,所述根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵,包括:
根据筛选得到的至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。
3.根据权利要求1所述的可见光相机与红外相机的参数联合标定方法,其特征在于,在根据所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵之前,还包括:
根据所述可见光相机的焦距和像元尺寸确定可见光相机的尺寸因子;
根据所述可见光相机的尺寸因子以及可见光相机的图像中心坐标确定所述可见光相机的内参矩阵;
根据所述红外相机的焦距和像元尺寸确定红外相机的尺寸因子;
根据所述红外相机的尺寸因子以及红外相机的图像中心坐标确定所述可见光相机的内参矩阵。
4.根据权利要求1所述的可见光相机与红外相机的参数联合标定方法,其特征在于,所述根据所述预设次数的位置变换对应的全部匹配点对,对可见光相机的内参矩阵、红外相机的内参矩阵以及外参矩阵进行优化,包括:
将所述可见光图像和所述红外图像差异度最小时对应的可见光相机的内参矩阵,确定为优化后的可见光相机的内参矩阵;
将所述可见光图像和所述红外图像差异度最小时对应的红外相机的内参矩阵,确定为优化后的红外相机的内参矩阵;
将所述可见光图像和所述红外图像差异度最小时对应的外参矩阵进,确定为优化后的外参矩阵进。
5.一种可见光相机与红外相机的参数联合标定装置,其特征在于,包括:
边缘检测单元,用于对可见光图像和红外图像进行边缘检测,得到可见光边缘图像以及红外边缘图像;
匹配点对获取单元,用于利用尺度不变特征转换算法SIFT获取所述边缘检测单元得到的所述可见光边缘图像与所述红外边缘图像重合部分的至少四组匹配点对;
外参矩阵确定单元,用于根据所述匹配点对获取单元获取的所述至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵;
位置变换单元,用于对所述可见光相机或所述红外相机进行预设次数的位置变换;
匹配点对变换获取单元,用于获取每次位置变换对应的至少六组匹配点对;
优化单元,用于根据所述预设次数的位置变换对应的全部匹配点对,对可见光相机的内参矩阵、红外相机的内参矩阵以及外参矩阵进行优化。
6.根据权利要求5所述的可见光相机与红外相机的参数联合标定装置,其特征在于,还包括:
筛选单元,用于利用随机采样一致性算法RANSAC对所述匹配点对获取单元获取的所述至少四组匹配点对进行筛选;
相应的,所述外参矩阵确定单元,具体用于:
根据所述筛选单元筛选得到的至少四组匹配点对、所述可见光相机的内参矩阵以及所述红外相机的内参矩阵确定外参矩阵。
7.根据权利要求5所述的可见光相机与红外相机的参数联合标定装置,其特征在于,还包括内参确定单元用于:
根据所述可见光相机的焦距和像元尺寸确定可见光相机的尺寸因子;
根据所述可见光相机的尺寸因子以及可见光相机的图像中心坐标确定所述可见光相机的内参矩阵;
根据所述红外相机的焦距和像元尺寸确定红外相机的尺寸因子;
根据所述红外相机的尺寸因子以及红外相机的图像中心坐标确定所述可见光相机的内参矩阵。
8.根据权利要求5所述的可见光相机与红外相机的参数联合标定装置,其特征在于,所述优化单元具体用于:
将所述可见光图像和所述红外图像差异度最小时对应的可见光相机的内参矩阵,确定为优化后的可见光相机的内参矩阵;
将所述可见光图像和所述红外图像差异度最小时对应的红外相机的内参矩阵,确定为优化后的红外相机的内参矩阵;
将所述可见光图像和所述红外图像差异度最小时对应的外参矩阵进,确定为优化后的外参矩阵进。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610028981.XA CN105701827B (zh) | 2016-01-15 | 2016-01-15 | 可见光相机与红外相机的参数联合标定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610028981.XA CN105701827B (zh) | 2016-01-15 | 2016-01-15 | 可见光相机与红外相机的参数联合标定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105701827A CN105701827A (zh) | 2016-06-22 |
CN105701827B true CN105701827B (zh) | 2019-04-02 |
Family
ID=56227444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610028981.XA Active CN105701827B (zh) | 2016-01-15 | 2016-01-15 | 可见光相机与红外相机的参数联合标定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105701827B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019084726A1 (zh) * | 2017-10-30 | 2019-05-09 | 深圳市柔宇科技有限公司 | 基于标志物的摄像头图像处理方法、增强现实设备 |
CN108444419A (zh) * | 2018-02-01 | 2018-08-24 | 阿尔特汽车技术股份有限公司 | 实现三坐标设备联机测量***以及方法 |
CN108460804A (zh) * | 2018-03-20 | 2018-08-28 | 重庆大学 | 一种基于机器视觉的转运对接机构及转运对接机构的三自由度位姿检测方法 |
CN108805939B (zh) * | 2018-06-19 | 2022-02-11 | 河海大学常州校区 | 基于统计学特征的三目视觉***的标定装置及方法 |
CN110728713B (zh) * | 2018-07-16 | 2022-09-30 | Oppo广东移动通信有限公司 | 测试方法及测试*** |
WO2020024576A1 (zh) * | 2018-08-01 | 2020-02-06 | Oppo广东移动通信有限公司 | 摄像头校准方法和装置、电子设备、计算机可读存储介质 |
CN109919007B (zh) * | 2019-01-23 | 2023-04-18 | 绵阳慧视光电技术有限责任公司 | 一种生成红外图像标注信息的方法 |
CN110166714A (zh) * | 2019-04-11 | 2019-08-23 | 深圳市朗驰欣创科技股份有限公司 | 双光融合调整方法、双光融合调整装置及双光融合设备 |
CN109949374B (zh) * | 2019-04-26 | 2020-12-25 | 清华大学深圳研究生院 | 一种基于镜像的反向相机标定***和方法 |
CN110956661B (zh) * | 2019-11-22 | 2022-09-20 | 大连理工大学 | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 |
CN110910457B (zh) * | 2019-11-22 | 2021-04-16 | 大连理工大学 | 基于角点特征的多光谱立体相机外参计算方法 |
CN110969667B (zh) * | 2019-11-22 | 2023-04-28 | 大连理工大学 | 基于边缘特征的多光谱相机外参自校正算法 |
CN111080709B (zh) | 2019-11-22 | 2023-05-05 | 大连理工大学 | 基于轨迹特征配准的多光谱立体相机自标定算法 |
CN113330487A (zh) * | 2019-12-30 | 2021-08-31 | 华为技术有限公司 | 参数标定方法及装置 |
CN111289111B (zh) * | 2020-02-20 | 2021-07-09 | 中国科学院半导体研究所 | 自标校红外体温快速检测方法及检测装置 |
CN111654677B (zh) * | 2020-06-17 | 2021-12-17 | 浙江大华技术股份有限公司 | 确定云台失步的方法及装置 |
CN112414558B (zh) * | 2021-01-25 | 2021-04-23 | 深圳市视美泰技术股份有限公司 | 基于可见光图像及热成像图像的温度检测方法和装置 |
CN112734862A (zh) * | 2021-02-10 | 2021-04-30 | 北京华捷艾米科技有限公司 | 深度图像的处理方法、装置、计算机可读介质以及设备 |
CN112907680B (zh) * | 2021-02-22 | 2022-06-14 | 上海数川数据科技有限公司 | 一种可见光与红外双光相机旋转矩阵自动校准方法 |
CN113012239B (zh) * | 2021-04-12 | 2023-03-14 | 山西省交通科技研发有限公司 | 一种车路协同路侧感知相机的焦距变化定量计算方法 |
CN115861448A (zh) * | 2022-12-30 | 2023-03-28 | 广西电网有限责任公司钦州供电局 | 基于角点检测及特征点提取的***标定方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101692283A (zh) * | 2009-10-15 | 2010-04-07 | 上海大学 | 无人旋翼机仿生着陆***的摄像机外参数在线自标定方法 |
CN101876555A (zh) * | 2009-11-04 | 2010-11-03 | 北京控制工程研究所 | 一种月球车双目视觉导航***标定方法 |
US8405717B2 (en) * | 2009-03-27 | 2013-03-26 | Electronics And Telecommunications Research Institute | Apparatus and method for calibrating images between cameras |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9386302B2 (en) * | 2014-05-21 | 2016-07-05 | GM Global Technology Operations LLC | Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system |
-
2016
- 2016-01-15 CN CN201610028981.XA patent/CN105701827B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8405717B2 (en) * | 2009-03-27 | 2013-03-26 | Electronics And Telecommunications Research Institute | Apparatus and method for calibrating images between cameras |
CN101692283A (zh) * | 2009-10-15 | 2010-04-07 | 上海大学 | 无人旋翼机仿生着陆***的摄像机外参数在线自标定方法 |
CN101876555A (zh) * | 2009-11-04 | 2010-11-03 | 北京控制工程研究所 | 一种月球车双目视觉导航***标定方法 |
Non-Patent Citations (2)
Title |
---|
David Niste'r.An Efficient Solution to the Five-Point Relative Pose Problem.《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》.2004,第26卷(第6期), |
基于改进SIFT特征点匹配的图像拼接算法;宋佳乾 等;《计算机测量与控制》;20150225;第23卷(第2期);第2.2节,摘要 |
Also Published As
Publication number | Publication date |
---|---|
CN105701827A (zh) | 2016-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105701827B (zh) | 可见光相机与红外相机的参数联合标定方法及装置 | |
Zhang et al. | Vision-based pose estimation for textureless space objects by contour points matching | |
Lou et al. | A cost-effective automatic 3D reconstruction pipeline for plants using multi-view images | |
Li et al. | A practical comparison between Zhang's and Tsai's calibration approaches | |
Pritts et al. | Rectification from radially-distorted scales | |
Zhao et al. | Metric calibration of unfocused plenoptic cameras for three-dimensional shape measurement | |
CN113706635B (zh) | 一种基于点特征和线特征融合的长焦距相机标定方法 | |
Liu et al. | Th SIFT features matching for spherical panoramic images | |
Omidalizarandi et al. | Robust external calibration of terrestrial laser scanner and digital camera for structural monitoring | |
Wu et al. | Point-matching algorithm based on local neighborhood information for remote sensing image registration | |
Altuntas | Pair-wise automatic registration of three-dimensional laser scanning data from historical building by created two-dimensional images | |
Wang et al. | Facilitating PTZ camera auto-calibration to be noise resilient with two images | |
Lv et al. | Three-dimensional laser scanning under the pinhole camera with lens distortion | |
Cai et al. | Real-time stitching method for infrared image | |
Zhang et al. | Non-rigid registration of mural images and laser scanning data based on the optimization of the edges of interest | |
Xu et al. | Cylindrical product label image stitching method | |
Ke et al. | A high precision image registration method for measurement based on the stereo camera system | |
Betker et al. | 3D registration of multiple surface measurements using projected random patterns | |
Ma et al. | An improved method of corner point extraction used in grating projection phase measurement | |
Cui et al. | Contrast threshold adaptive adjustment algorithm for remote sensing image matching | |
Liu et al. | Image Mosaic Technology Based on Harris Corner Feature | |
Liu et al. | A fast epipolar line matching method based on 3D spherical panorama | |
Li et al. | Nonuniform multiview color texture mapping of image sequence and three-dimensional model for faded cultural relics with sift feature points | |
Liu et al. | Feature matching method for uncorrected fisheye lens image | |
Gasz et al. | The Registration of Digital Images for the Truss Towers Diagnostics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |