CN114004901B - 多相机标定方法、装置、终端设备及可读存储介质 - Google Patents
多相机标定方法、装置、终端设备及可读存储介质 Download PDFInfo
- Publication number
- CN114004901B CN114004901B CN202210000592.1A CN202210000592A CN114004901B CN 114004901 B CN114004901 B CN 114004901B CN 202210000592 A CN202210000592 A CN 202210000592A CN 114004901 B CN114004901 B CN 114004901B
- Authority
- CN
- China
- Prior art keywords
- camera
- calibration
- cameras
- matrix
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 239000011159 matrix material Substances 0.000 claims description 84
- 230000009466 transformation Effects 0.000 claims description 28
- 238000013519 translation Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 11
- 238000009616 inductively coupled plasma Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及姿态采集标注技术领域,具体涉及多相机标定方法、装置、终端设备及可读存储介质。具体技术方案为:对相机集合中各相机进行内参标定,得到各相机的内参;获取相机集合中的指定相机,并对指定相机内的各摄像头进行外参标定,得到指定相机内各摄像头间的外参;将指定相机内的摄像头与相机集合中除指定相机外的相机进行外参标定,得到相机间外参终值。本发明针对混合多相机环形布局的应用场景,提供了一种新的标定装置,该标定装置由多块标定板组成,保证多相机标定外参时,每个相机都可以抓拍到图像。并基于所述标定装置提出了一种三阶段的混合多相机标定方法,可有效解决环形布置的混合多相机外参标定的问题,具有很高的标定精度。
Description
技术领域
本发明涉及姿态采集标注技术领域,具体涉及多相机标定方法、装置、终端设备及可读存储介质。
背景技术
在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。这些参数需要通过实验、计算等途径得到,这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量还是机器视觉应用中,相机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。
目前虽然存在多种多相机的标定方法,但大多针对相同类型的多个相机,或者是利用激光雷达与相机组成的装置进行标定,针对不同类型的混合多相机标定方法较少。混合多相机的相机内参数不一致,且混合多相机中可能会存在红外摄像头,例如tof相机中的IR摄像头等,给不同类型的混合多相机标定带来困难。
因此,如果能提供一种结构简单、应用场景多样、可准确标定混合多相机的标定装置及方法,将具有重要的现实意义。
发明内容
针对现有技术的不足,本发明提供了一种多相机标定方法、装置、终端设备及可读存储介质,有效解决了环形布置的混合多相机外参标定的问题。
为实现以上目的,本发明通过以下技术方案予以实现:
一种多相机标定方法,用于对相机集合中的混合相机进行参数标定,所述相机集合中包括至少两种不同相机类型的相机,所述方法包括如下步骤:
(1)分别对相机集合中的各相机进行内参标定,方法包括:
1)建立相机模型:建立世界坐标系到像素坐标系的变换关系;
2)对各相机单独标定:
准备大小已知的标定板,用待标定的全部相机分别对所述标定板进行不同角度的拍摄,得到图像;
对所述标定板进行角点检测,得到角点的像素坐标;
确定所述角点的物理坐标;
利用角点的所述像素坐标和所述物理坐标,获得单应性矩阵;
基于所述单应性矩阵,先后获得初始值,即相机第一内参和相机间第一外参;
将所述初始值,带入到重投影误差方程,通过迭代优化重投影误差,得所述各相机的第二内参;
(2)获取所述相机集合中的指定相机,对所述指定相机内各摄像头进行外参标定,得到所述指定相机内各摄像头间的第二外参,所述指定相机中的摄像头数量≥2,且所述指定相机与所述相机集合中剩余相机之间相机类型不相同;
(3)将所述指定相机内的摄像头与所述相机集合中除所述指定相机外的相机进行外参标定,得到相机间的外参终值;
所述得到所述指定相机内各摄像头间的第二外参的方法包括:
在步骤(1)获得的各相机第二内参的基础上,基于PnP算法分别获得各标定板的点云,获得所述指定相机内各摄像头坐标系下的三维空间坐标;
利用SVD算法,获得所述标定板在不同坐标系下的初始变换矩阵;所述不同坐标系指所述指定相机内各摄像头的坐标系;
通过ICP算法进行迭代优化,获得指定相机内各摄像头间的第二外参。
优选的,步骤(1)的步骤1)所述相机模型的建立方法包括:
即:
其中,为放缩因子,u为图像的像素坐标系下的x方向坐标,v为图像的像素坐标系下的y方向坐标,fx为x方向的焦距长度,fy为y方向的焦距长度,cx为投影中心x方向的偏移量,cy为投影中心y方向的偏移量,fx、fy、cx和cy组成的矩阵为相机内参K,R代表旋转矩阵,r11为旋转矩阵中第1行第1列,r21为旋转矩阵中第2行第1列,r31为旋转矩阵中第3行第1列,以此类推;Xw为世界坐标系下X方向的坐标,Yw为世界坐标系下Y方向的坐标,Zw为世界坐标系下Z方向的坐标,为相机外参,t代表平移矩阵,和分别是和的齐次坐标,T代表矩阵的转置。
优选的,基于PnP算法分别获得各标定板点云的方法包括:
空间点P在世界坐标系的齐次坐标为,在图像中投影到的角点,是由角点的像素坐标p1变换得来的:,K为相机内参;此时相机的位姿未知,定义变换矩阵为一个的矩阵,包含旋转和平移,根据刚体运动的三维变换关系,得:
和/或;
利用SVD算法获得标定板的初始变换矩阵的过程包括:
在所述不同坐标系下的标定板点云中,确定各坐标系下的点云坐标;
分别获得各标定板点云的质心,并将所述点云坐标减去对应的质心,得到相对坐标;
根据所述相对坐标构建所述指定相机内各摄像头的坐标矩阵,并将所述指定相机内各摄像头的摄像头坐标系下的坐标矩阵转置相乘,得到方阵;
根据所述方阵确定旋转矩阵,根据所述旋转矩阵确定平移矩阵,即得指定相机内各摄像头的摄像头坐标系之间的初始变换矩阵。
优选的,步骤(3)所述得到相机间的外参终值的方法包括:
根据各相机与标定板之间的位置关系,构建图模型;
选择一个相机的坐标系与世界坐标系对齐,利用图模型中的顶点和边,获得所有顶点的初始位姿;
利用顶点的初始位姿,获得标定板到与所述标定板关联相机的重投影误差;
迭代优化所述重投影误差到最小,得所述相机间的外参终值。
相应的,实现所述多相机标定方法的标定装置,所述标定装置包括3块以上的标定板,设置于由多个相机围合形成的环形结构中间,所述相机数量≥3个,各相机的摄像头均朝向所述标定装置;
所述标定装置的设置满足:使用多个相机标定外参时,每个相机均可抓拍到图像。
相应的,实现所述多相机标定方法的标定装置,所述标定装置包括:
第一数据获取单元,为相机内参获取单元,用于对相机集合中的各相机进行内参标定;
第二数据获取单元,为指定相机各摄像头外参获取单元,用于获取所述相机集合中的指定相机,并对所述指定相机内的各摄像头进行外参标定,获得所述指定相机内各摄像头之间的外参;
第三数据获取单元,为相机间外参获取单元,用于将所述指定相机内的各摄像头与所述相机集合中除所述指定相机外的相机进行外参标定。
相应的,一种终端设备,包括至少一个处理器以及至少一个存储器;至少一个程序被存储在所述存储器中,被配置为由所述处理器执行所述多相机标定方法。
相应的,一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,在所述程序代码被处理器运行时执行所述多相机标定方法。
本发明具备以下有益效果:本发明针对多相机360°环形布局且镜头向内,尤其是混合多相机环形布局的应用场景,提供了一种新的标定装置,该标定装置由多块标定板组成,保证多相机标定外参时,每个相机都可以抓拍到图像。并基于所述标定装置提出了一种三阶段的混合多相机标定方法,可有效解决环形布置的混合多相机外参标定的问题,具有很高的标定精度。
附图说明
图1为混合多相机的整体标定流程图;
图2为本发明方法步骤(1)中对各相机进行单独标定的流程图;
图3为实施例步骤(2)中对RGBD相机中的RGB摄像头和IR摄像头进行标定的流程图;
图4为本发明方法步骤(3)中对混合多相机进行外参标定获得外参终值的流程图;
图5为八个相机标定场景的模型示例图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本发明所述“以上”、“以下”均含本数。若未特别指明,实施举例中所用的技术手段为本领域技术人员所熟知的常规手段。需要说明的是:全文所述“计算”均指录入本发明提供算法/方法后利用硬件或软件自动运行的计算,并非指人为计算;在使用本发明提供算法/方法进行多相机标定时,最终获得的标定结果也不以人的意志为转移。
本发明提供了一种可对多相机或多摄像机进行标定的方法,为便于阐述,全文均使用“相机”。所述多相机可以为多个相同类型的相机,也可以是多个不同类型的相机。相较于现有技术而言,本发明尤其适用于多个不同类型相机(全文简称为“混合多相机”)的标定定位。所述混合多相机的分类适用于现有各种分类方式的相机。例如,以采集图片进行分类,分为:RGBD相机、RGB相机、灰度相机等;再例如,以分辨率进行分类,分为:640×480相机、1920×1080相机等。
本发明提供的标定方法应用场景为:多个相机环形布置,各相机的摄像头向内设置。针对该应用场景,进一步提供一种新的标定装置,所述标定装置具体包括多块标定板,所述标定板优选为具有一定抗光照能力的ChArUco标定板。使用该标定板,在即使没有拍全的情况下,依然可以完成标定。所述标定板的设置需满足:使用多相机标定外参时,每个相机均可抓拍到图像。所述外参指相机之间(或摄像头之间)的、相机(或摄像头)与标定板之间的参数;与之相对的,内参指各相机内(或摄像头内)的参数。一种实施方式下:各所述相机环形布置,摄像头向内;相机围合形成的环形中间位置设置标定板。各所述标定板相互围合成一圈,朝向各相机摄像头。所述标定板数量至少为3块,可根据实际需要进一步设置4块、5块或更多块,从而围合形成横截面为三角形、矩形、五边形等形状的结构。
针对上述应用场景,在所述标定装置基础上,本发明进一步提供了一种多相机标定方法,尤其是混合多相机标定方法。所述标定方法具体包括如下步骤:
(1)对所有相机进行单独标定,计算出各相机的内参;
(2)待标定的所有相机中,至少有一个相机存在2个以上的摄像头,所述摄像头可以为相同或不同类型;任意选择一个具有2个以上摄像头的相机作为指定相机,对指定相机中的各摄像头进行标定,并计算摄像头之间的外参;
(3)对剩余未标定摄像头进行标定,计算出相机间的外参。
实施例
为便于阐述,本实施例以混合相机同时包括RGBD相机、RGB相机和灰度相机为例,共设置8个相机(包括2个RGBD相机、2个RGB相机和4个灰度相机;实践中也可以根据需要进行任意组合)。如图5所示,本实施例采用的所述标定装置包括4块ChArUco标定板,各标定板相互环绕围合、等距对称排列;8个相机在4块标定板外环绕围合、等距对称排列。各相机的摄像头均朝向标定板设置。
标定方法包括如下步骤:(1)对所有相机进行单独标定,并计算出相机的内参;(2)对RGBD相机中的RGB摄像头和IR摄像头进行标定,并计算摄像头之间的外参;(3)将RGBD相机中的RGB摄像头与其他所有相机进行标定,计算出相机之间的外参,整个流程如图1所示。
具体标定过程包括:
步骤(1)对所有相机进行单独标定的过程包括:
1)建立相机模型(建立世界坐标系到像素坐标系的变换关系)。
即:
其中,为放缩因子,u为图像的像素坐标系下的x方向坐标,v为图像的像素坐标系下的y方向坐标,fx为x方向的焦距长度,fy为y方向的焦距长度,cx为投影中心x方向的偏移量,cy为投影中心y方向的偏移量,fx、fy、cx和cy组成的矩阵为相机内参K;R代表旋转矩阵,r11为旋转矩阵中第1行第1列,r21为旋转矩阵中第2行第1列,r31为旋转矩阵中第3行第1列,以此类推;Xw为世界坐标系下X方向的坐标,Yw为世界坐标系下Y方向的坐标,Zw为世界坐标系下Z方向的坐标,为相机外参,t代表平移矩阵,和分别是和的齐次坐标,T代表矩阵的转置。
2)各相机单独标定。准备大小已知的ChArUco标定板,用待标定的全部相机分别对所述标定板进行不同角度的拍摄,得到一组图像。再对所述标定板进行角点检测,得到角点的像素坐标,再根据已知的棋盘格大小和世界坐标系原点,计算得到角点的物理坐标。然后利用角点的像素坐标和物理坐标,计算得到单应性矩阵。基于单应性矩阵,先后计算出初始值,即相机第一内参和相机间第一外参。将计算得到的初始值,带入到重投影误差方程,通过迭代优化重投影误差,即可得到相机第二内参,如图2所示。需要说明的是:对所有相机进行单独标定的方法采用张正友标定法:以标定板为坐标系,建立世界坐标系,得到角点的三维坐标,单应性矩阵为上述公式中的K[R t],初始值就是初始的相机内参K和外参[R t]。在对相机进行标定时,每个相机都存在各自的坐标系,该坐标系随着相机自身而运动。相机拍摄标定板的图像会有重合的部分,而不同相机拍摄到同一标定板时,就可以把两个相机关联起来,从而计算两个相机间的外参。
步骤(2)对RGBD相机中的RGB摄像头和IR摄像头进行标定的过程为:
在步骤(1)获得的各相机第二内参的基础上,基于PnP算法分别计算出标定板的点云,从而获得RGB摄像头和IR摄像头坐标系下的三维空间坐标。再利用SVD算法,计算出所述标定板在两个不同坐标系下(RGB摄像头和IR摄像头坐标系)的初始变换矩阵。再通过ICP算法进行迭代优化,获得RGB摄像头和IR摄像头之间的外参,为第二外参。整个流程如图3所示。具体为:
1)利用PnP算法计算标定板点云的具体过程为:已知空间点P(P是世界坐标系下的三维点)在世界坐标系的齐次坐标为,在图像中投影到的角点,是由角点的像素坐标p1变换得来的:,K为相机内参;此时相机的位姿未知,定义变换矩阵为一个的矩阵,包含旋转和平移,根据刚体运动的三维变换关系,得:
其中,u1为相机平面坐标系下的x方向坐标,v1为相机平面坐标系下的y方向坐标,ai是变换矩阵L的参数,i=1~12,s是放缩因子;把s消去,得到两个约束:
2)SVD算法计算标定板的初始变换矩阵的过程为:在RGB和IR摄像头坐标系下的标定板点云中,找到对应的坐标,再分别计算出两组坐标点的质心,然后两组坐标点减去各自质心,IR坐标系下的坐标矩阵转置后与RGB摄像头坐标系下的坐标矩阵相乘,得到一个三阶方阵,最后利用这个矩阵先分解出旋转矩阵,然后基于旋转矩阵计算出平移矩阵,即可得到RGB摄像头和IR摄像头坐标系之间的初始变换矩阵;
具体计算公式如下所示:
a.将点集去中心化:
b.计算协方差矩阵并SVD分解:
其中,A和B分别是ai和bi组成的坐标矩阵,U为左奇异矩阵,V为右奇异矩阵,∑是主对角线上的奇异值。
c.计算旋转矩阵和平移矩阵:
其中,R为旋转矩阵,t为平移矩阵。
其中,n为最邻近点对的个数,Pi为目标点云P中的一点,qi为源点云Q中与Pi对应的最近点,R为旋转矩阵,t为平移矩阵。
迭代优化的具体计算流程如下:
c.计算旋转矩阵R和平移矩阵t,使得误差函数E最小;
f.如果d小于某一给定的阈值或者大于预设的最大迭代次数,则停止迭代计算(收敛条件);否则返回第b步,直到满足收敛条件为止。
步骤(3)对混合多相机进行外参标定的过程为:在对混合多相机进行标定时,为了得到较高精度的外参,先根据多相机与标定装置之间的位置关系,构建图模型,将基准相机坐标系(即选择一个相机)与世界坐标系对齐,利用图模型中的顶点和边,计算所有顶点的初始位姿;然后利用顶点的初始位姿,计算标定板到相机(所述相机指与标定板关联的相机)的重投影误差,最后迭代优化其重投影误差到最小,即可得到高精度的相机之间的外参终值,流程如图4所示。具体步骤为:
1)构建图模型,相机和标定板都是图模型的顶点,当相机抓拍到标定板时定义为图边,其中图模型中的顶点可以用来存储相机和标定板的位姿,而图的边用来存储的是相机和标定板之间的相对位姿变换关系,即在相机标定时,会获得外参,即相机和标定板之间的外参[R T]。如图5所示,图5为8个相机标定场景的图模型示例,其中,外侧的大圆点表示相机顶点,内测的小圆点表示标定板顶点。
2)构建完图模型后,使基准相机坐标系与世界坐标系对齐,即将指定的基准相机作为世界坐标系,接着以基准相机为根,通过广度优先搜索方法生成树,然后通过图边从基准相机开始遍历生成树,进而来计算顶点位姿,最终获取到所有顶点的初始位姿估计。
最后通过LM算法进行迭代优化,则重投影误差的优化迭代问题定义为:
重投影误差优化迭代时,不仅其误差值越来越小,同时也调整着相关的顶点位姿,使其越来越准确,进而获取到更高精度的相机间的外参。
本实施例还提供一种多相机标定方法的标定装置,所述标定装置包括:
第一数据获取单元,为相机内参获取单元,用于对相机集合中的各相机进行内参标定;
第二数据获取单元,为指定相机各摄像头外参获取单元,用于获取所述相机集合中的指定相机,并对所述指定相机内的各摄像头进行外参标定,获得所述指定相机内各摄像头之间的外参;
第三数据获取单元,为相机间外参获取单元,用于将所述指定相机内的各摄像头与所述相机集合中除所述指定相机外的相机进行外参标定。
该多相机标定方法的标定装置,可有效解决环形布置的混合多相机外参标定的问题,具有很高的标定精度。
本实施例还提供一种终端设备,包括至少一个处理器以及至少一个存储器;至少一个程序被存储在所述存储器中,被配置为由所述处理器执行所述多相机标定方法。
本实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,在所述程序代码被处理器运行时执行所述多相机标定方法。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (8)
1.一种多相机标定方法,用于对相机集合中的混合相机进行参数标定,所述相机集合中包括至少两种不同相机类型的相机,其特征在于:所述方法包括如下步骤:
(1)分别对相机集合中的各相机进行内参标定,方法包括:
1)建立相机模型:建立世界坐标系到像素坐标系的变换关系;
2)对各相机单独标定:
准备大小已知的标定板,用待标定的全部相机分别对所述标定板进行不同角度的拍摄,得到图像;
对所述标定板进行角点检测,得到角点的像素坐标;
确定所述角点的物理坐标;
利用角点的所述像素坐标和所述物理坐标,获得单应性矩阵;
基于所述单应性矩阵,先后获得初始值,即相机第一内参和相机间第一外参;
将所述初始值,带入到重投影误差方程,通过迭代优化重投影误差,得所述各相机的第二内参;
(2)获取所述相机集合中的指定相机,对所述指定相机内各摄像头进行外参标定,得到所述指定相机内各摄像头间的第二外参,所述指定相机中的摄像头数量≥2,且所述指定相机与所述相机集合中剩余相机之间相机类型不相同;
(3)将所述指定相机内的摄像头与所述相机集合中除所述指定相机外的相机进行外参标定,得到相机间的外参终值;
所述得到所述指定相机内各摄像头间的第二外参的方法包括:
在步骤(1)获得的各相机第二内参的基础上,基于PnP算法分别获得各标定板的点云,获得所述指定相机内各摄像头坐标系下的三维空间坐标;
利用SVD算法,获得所述标定板在不同坐标系下的初始变换矩阵;所述不同坐标系指所述指定相机内各摄像头的坐标系;
通过ICP算法进行迭代优化,获得指定相机内各摄像头间的第二外参。
2.根据权利要求1所述多相机标定方法,其特征在于:步骤(1)的步骤1)所述相机模型的建立方法包括:
即:
3.根据权利要求1所述多相机标定方法,其特征在于:基于PnP算法分别获得各标定板点云的方法包括:
空间点P在世界坐标系的齐次坐标为,在图像中投影到的角点,是由角点的像素坐标p1变换得来的:,K为相机内参;此时相机的位姿未知,定义变换矩阵为一个的矩阵,包含旋转和平移,根据刚体运动的三维变换关系,得:
和/或;
利用SVD算法获得标定板的初始变换矩阵的过程包括:
在所述不同坐标系下的标定板点云中,确定各坐标系下的点云坐标;
分别获得各标定板点云的质心,并将所述点云坐标减去对应的质心,得到相对坐标;
根据所述相对坐标构建所述指定相机内各摄像头的坐标矩阵,并将所述指定相机内各摄像头的摄像头坐标系下的坐标矩阵转置相乘,得到方阵;
根据所述方阵确定旋转矩阵,根据所述旋转矩阵确定平移矩阵,即得指定相机内各摄像头的摄像头坐标系之间的初始变换矩阵。
4.根据权利要求1所述多相机标定方法,其特征在于:步骤(3)所述得到相机间的外参终值的方法包括:
根据各相机与标定板之间的位置关系,构建图模型;
选择一个相机的坐标系与世界坐标系对齐,利用图模型中的顶点和边,获得所有顶点的初始位姿;
利用顶点的初始位姿,获得标定板到与所述标定板关联相机的重投影误差;
迭代优化所述重投影误差到最小,得所述相机间的外参终值。
5.实现权利要求1~4任意一项所述多相机标定方法的标定装置,其特征在于:所述标定装置包括3块以上的标定板,设置于由多个相机围合形成的环形结构中间,所述相机数量≥3个,各相机的摄像头均朝向所述标定装置;
所述标定装置的设置满足:使用多个相机标定外参时,每个相机均可抓拍到图像。
6.实现权利要求1~4任意一项所述多相机标定方法的标定装置,其特征在于:所述标定装置包括:
第一数据获取单元,为相机内参获取单元,用于对相机集合中的各相机进行内参标定;
第二数据获取单元,为指定相机各摄像头外参获取单元,用于获取所述相机集合中的指定相机,并对所述指定相机内的各摄像头进行外参标定,获得所述指定相机内各摄像头之间的外参;
第三数据获取单元,为相机间外参获取单元,用于将所述指定相机内的各摄像头与所述相机集合中除所述指定相机外的相机进行外参标定。
7.一种终端设备,其特征在于:包括至少一个处理器以及至少一个存储器;至少一个程序被存储在所述存储器中,被配置为由所述处理器执行权利要求1~4任意一项所述多相机标定方法。
8.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有程序代码,在所述程序代码被处理器运行时执行权利要求1~4任意一项所述多相机标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210000592.1A CN114004901B (zh) | 2022-01-04 | 2022-01-04 | 多相机标定方法、装置、终端设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210000592.1A CN114004901B (zh) | 2022-01-04 | 2022-01-04 | 多相机标定方法、装置、终端设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114004901A CN114004901A (zh) | 2022-02-01 |
CN114004901B true CN114004901B (zh) | 2022-03-18 |
Family
ID=79932652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210000592.1A Active CN114004901B (zh) | 2022-01-04 | 2022-01-04 | 多相机标定方法、装置、终端设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114004901B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114663524B (zh) * | 2022-03-09 | 2023-04-07 | 禾多科技(北京)有限公司 | 多相机在线标定方法、装置、电子设备和计算机可读介质 |
CN114758005B (zh) * | 2022-03-23 | 2023-03-28 | 中国科学院自动化研究所 | 激光雷达与相机外参标定方法及装置 |
CN114820807B (zh) * | 2022-03-24 | 2023-01-31 | 合肥的卢深视科技有限公司 | 屏幕-相机的标定方法、***、标定设备和存储介质 |
CN114742905B (zh) * | 2022-06-13 | 2022-09-27 | 魔视智能科技(武汉)有限公司 | 一种多相机参数标定方法、装置、设备及存储介质 |
CN117422770A (zh) * | 2022-07-11 | 2024-01-19 | 华为技术有限公司 | 一种标定方法及装置 |
CN115661269B (zh) * | 2022-11-18 | 2023-03-10 | 深圳市智绘科技有限公司 | 相机与激光雷达的外参标定方法、装置及存储介质 |
CN116952132A (zh) * | 2023-07-27 | 2023-10-27 | 湖南视比特机器人有限公司 | 多目视觉测量的分区标定方法及*** |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646394A (zh) * | 2013-11-26 | 2014-03-19 | 福州大学 | 一种基于Kinect摄像机的混合视觉***标定方法 |
CN107146254A (zh) * | 2017-04-05 | 2017-09-08 | 西安电子科技大学 | 多相机***的相机外参数标定方法 |
CN108171728A (zh) * | 2017-12-25 | 2018-06-15 | 清华大学 | 基于混合相机***的无标记运动物体姿态恢复方法及装置 |
CN108288291A (zh) * | 2018-06-07 | 2018-07-17 | 北京轻威科技有限责任公司 | 基于单点标定物的多相机标定 |
CN109767474A (zh) * | 2018-12-31 | 2019-05-17 | 深圳积木易搭科技技术有限公司 | 一种多目相机标定方法、装置及存储介质 |
CN110244282A (zh) * | 2019-06-10 | 2019-09-17 | 于兴虎 | 一种多相机***和激光雷达联合***及其联合标定方法 |
CN111915681A (zh) * | 2019-05-08 | 2020-11-10 | 长沙智能驾驶研究院有限公司 | 多组3d相机群的外参标定方法、装置、存储介质及设备 |
CN112150561A (zh) * | 2020-10-20 | 2020-12-29 | 叠境数字科技(上海)有限公司 | 一种多相机标定方法 |
CN112164119A (zh) * | 2020-09-04 | 2021-01-01 | 华南理工大学 | 一种适用于狭小空间的环绕放置多摄像机***标定方法 |
CN112184830A (zh) * | 2020-09-22 | 2021-01-05 | 深研人工智能技术(深圳)有限公司 | 相机内参和外参标定方法、装置、计算机设备及存储介质 |
CN112330752A (zh) * | 2020-11-13 | 2021-02-05 | 深圳先进技术研究院 | 多相机联合标定方法、装置、终端设备及可读存储介质 |
WO2021063127A1 (zh) * | 2019-09-30 | 2021-04-08 | 深圳市瑞立视多媒体科技有限公司 | 多相机环境中主动式刚体的位姿定位方法及相关设备 |
CN112819898A (zh) * | 2021-01-20 | 2021-05-18 | 广州中国科学院沈阳自动化研究所分所 | 热像仪-rgb相机-imu空间联合标定方法、***和存储介质 |
WO2021129791A1 (zh) * | 2019-12-27 | 2021-07-01 | 深圳市瑞立视多媒体科技有限公司 | 基于光学动捕的大空间环境下多相机标定方法及相关设备 |
CN113160325A (zh) * | 2021-04-01 | 2021-07-23 | 长春博立电子科技有限公司 | 基于进化算法的多摄像机高精度自动标定方法 |
WO2021208630A1 (zh) * | 2020-04-17 | 2021-10-21 | 虹软科技股份有限公司 | 标定方法、标定装置及应用其的电子设备 |
CN113724337A (zh) * | 2021-08-30 | 2021-11-30 | 合肥工业大学 | 一种无需依赖云台角度的相机动态外参标定方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11019330B2 (en) * | 2015-01-19 | 2021-05-25 | Aquifi, Inc. | Multiple camera system with auto recalibration |
-
2022
- 2022-01-04 CN CN202210000592.1A patent/CN114004901B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646394A (zh) * | 2013-11-26 | 2014-03-19 | 福州大学 | 一种基于Kinect摄像机的混合视觉***标定方法 |
CN107146254A (zh) * | 2017-04-05 | 2017-09-08 | 西安电子科技大学 | 多相机***的相机外参数标定方法 |
CN108171728A (zh) * | 2017-12-25 | 2018-06-15 | 清华大学 | 基于混合相机***的无标记运动物体姿态恢复方法及装置 |
CN108288291A (zh) * | 2018-06-07 | 2018-07-17 | 北京轻威科技有限责任公司 | 基于单点标定物的多相机标定 |
CN109767474A (zh) * | 2018-12-31 | 2019-05-17 | 深圳积木易搭科技技术有限公司 | 一种多目相机标定方法、装置及存储介质 |
CN111915681A (zh) * | 2019-05-08 | 2020-11-10 | 长沙智能驾驶研究院有限公司 | 多组3d相机群的外参标定方法、装置、存储介质及设备 |
CN110244282A (zh) * | 2019-06-10 | 2019-09-17 | 于兴虎 | 一种多相机***和激光雷达联合***及其联合标定方法 |
WO2021063127A1 (zh) * | 2019-09-30 | 2021-04-08 | 深圳市瑞立视多媒体科技有限公司 | 多相机环境中主动式刚体的位姿定位方法及相关设备 |
CN113592954A (zh) * | 2019-12-27 | 2021-11-02 | 深圳市瑞立视多媒体科技有限公司 | 基于光学动捕的大空间环境下多相机标定方法及相关设备 |
WO2021129791A1 (zh) * | 2019-12-27 | 2021-07-01 | 深圳市瑞立视多媒体科技有限公司 | 基于光学动捕的大空间环境下多相机标定方法及相关设备 |
WO2021208630A1 (zh) * | 2020-04-17 | 2021-10-21 | 虹软科技股份有限公司 | 标定方法、标定装置及应用其的电子设备 |
CN112164119A (zh) * | 2020-09-04 | 2021-01-01 | 华南理工大学 | 一种适用于狭小空间的环绕放置多摄像机***标定方法 |
CN112184830A (zh) * | 2020-09-22 | 2021-01-05 | 深研人工智能技术(深圳)有限公司 | 相机内参和外参标定方法、装置、计算机设备及存储介质 |
CN112150561A (zh) * | 2020-10-20 | 2020-12-29 | 叠境数字科技(上海)有限公司 | 一种多相机标定方法 |
CN112330752A (zh) * | 2020-11-13 | 2021-02-05 | 深圳先进技术研究院 | 多相机联合标定方法、装置、终端设备及可读存储介质 |
CN112819898A (zh) * | 2021-01-20 | 2021-05-18 | 广州中国科学院沈阳自动化研究所分所 | 热像仪-rgb相机-imu空间联合标定方法、***和存储介质 |
CN113160325A (zh) * | 2021-04-01 | 2021-07-23 | 长春博立电子科技有限公司 | 基于进化算法的多摄像机高精度自动标定方法 |
CN113724337A (zh) * | 2021-08-30 | 2021-11-30 | 合肥工业大学 | 一种无需依赖云台角度的相机动态外参标定方法及装置 |
Non-Patent Citations (4)
Title |
---|
A Joint Calibration Method for the 3D Sensing System Composed with ToF and Stereo Camera;Shulan Huang 等;《ICIA》;20190826;第905-910页 * |
Automatic camera and range sensor calibration using a single shot;Andreas Geiger 等;《2012 IEEE International Conference on Robotics and Automation》;20120728;第3936-3943页 * |
一种多分辨率混合相机***标定方法;徐树奎 等;《小型微型计算机***》;20120930;第33卷(第9期);第2073-2078页 * |
基于周向分布的多相机标定及三维重建算法研究;吴高峰;《中国硕士学位论文全文数据库》;20200115;第2020年卷(第1期);I138-2122 * |
Also Published As
Publication number | Publication date |
---|---|
CN114004901A (zh) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114004901B (zh) | 多相机标定方法、装置、终端设备及可读存储介质 | |
Ishikawa et al. | Lidar and camera calibration using motions estimated by sensor fusion odometry | |
US11503275B2 (en) | Camera calibration system, target, and process | |
CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
CN108416812B (zh) | 一种单摄像机镜像双目视觉***的标定方法 | |
CN112767542A (zh) | 一种多目相机的三维重建方法、vr相机和全景相机 | |
CN108470370A (zh) | 三维激光扫描仪外置相机联合获取三维彩色点云的方法 | |
CN108629756B (zh) | 一种Kinectv2深度图像无效点修复方法 | |
CN110099267A (zh) | 梯形校正***、方法以及投影仪 | |
Miyagawa et al. | Simple camera calibration from a single image using five points on two orthogonal 1-D objects | |
CN110360991A (zh) | 一种摄影测量方法、装置及存储介质 | |
CN110349257B (zh) | 一种基于相位伪映射的双目测量缺失点云插补方法 | |
JP7489253B2 (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
EP3144894A1 (en) | Method and system for calibrating an image acquisition device and corresponding computer program product | |
CN114299156A (zh) | 无重叠区域下多相机的标定与坐标统一方法 | |
Resch et al. | On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry | |
Gasparini et al. | Plane-based calibration of central catadioptric cameras | |
CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN115359130A (zh) | 雷达和相机的联合标定方法、装置、电子设备及存储介质 | |
CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
CN112164119B (zh) | 一种适用于狭小空间的环绕放置多摄像机***标定方法 | |
CN114820798A (zh) | 一种标定器匹配方法及装置 | |
JP2007034964A (ja) | カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定プログラム | |
Kim et al. | Multi-view 3D reconstruction from uncalibrated radially-symmetric cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |