CN109741402A - 基于激光雷达的小重合视野多摄像机联合标定方法 - Google Patents
基于激光雷达的小重合视野多摄像机联合标定方法 Download PDFInfo
- Publication number
- CN109741402A CN109741402A CN201811597361.3A CN201811597361A CN109741402A CN 109741402 A CN109741402 A CN 109741402A CN 201811597361 A CN201811597361 A CN 201811597361A CN 109741402 A CN109741402 A CN 109741402A
- Authority
- CN
- China
- Prior art keywords
- laser radar
- calibration
- vector
- video camera
- visual field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于激光雷达的小重合视野多摄像机联合标定方法,根据两台相邻摄像机的视野位置选定激光雷达位置,针对每台摄像机各自手动获取至少十个标定场景的标定点的坐标值,然后利用激光雷达获取该标定场景的标定板在激光雷达坐标系中的测量值,根据坐标值和测量值计算每台摄像机与激光雷达的相对位姿,进而利用相对位姿关系得到相邻的两台摄像机的相对位姿,通过两台摄像机联合标定实现多个摄像机之间的联合标定。本发明方便快捷,无需费时费力地建造专业的车辆传感器标定室。本发明虽需采用一个激光雷达,但激光雷达已是智能车常用设备之一,所以实现本发明没有额外的开销,具有一定的普适性。
Description
技术领域
本发明涉及的是一种多传感器联合标定领域的技术,具体是一种基于激光雷达的小重合视野多摄像机联合标定方法。
背景技术
在改善交通安全与效率方面,智能车具有巨大的潜力,而车辆感知***无疑是智能车得以运作的前提。目前,智能车感知***常常依托于摄像机作为传感器,然而一个摄像机的视野是有限的,无法观测智能车的整个周边环境,针对单个摄像机视野的局限性,解决方法是在一辆智能车上装载多个摄像机,以便形成一种具有环视功能的摄像机组。为了以数量最少的摄像机实现环视功能,要求相邻两个摄像机之间的重合视野尽可能小,高效利用每个摄像机的观测视野。但也正因相邻两个摄像机之间的重合视野小,造成摄像机联合标定十分困难。现有技术是借助具有特殊标定图案的车辆传感器标定室进行标定,然而建造这种专业的车辆传感器标定室,费时、费力又费财,不适宜推广普及。
发明内容
本发明针对现有技术存在的上述不足,提出一种基于激光雷达的小重合视野多摄像机联合标定方法,能方便快捷地对小重合视野的多摄像机之间的相对位姿关系进行联合标定。
本发明是通过以下技术方案实现的:
本发明根据两台相邻摄像机的视野位置选定激光雷达位置,针对每台摄像机各自手动获取至少十个标定场景的标定点的坐标值,然后利用激光雷达获取该标定场景的标定板在激光雷达坐标系中的测量值,根据坐标值和测量值计算每台摄像机与激光雷达的相对位姿,进而利用相对位姿关系得到相邻的两台摄像机的相对位姿,通过两台摄像机联合标定实现多个摄像机之间的联合标定。
所述的选定激光雷达位置是要求激光雷达的测量范围与两台相邻的摄像机的视野均有重合。
所述的标定场景是指:将带有标定点的标定板设置于每台摄像机与激光雷达重合的感知区内的不同位置,标定板每设置于一处位置构成一个标定场景。
所述的坐标值是通过选取一个固定在标定板的平面上的直角坐标系,并手动测量标定点在该坐标系中的坐标而得到的值。
技术效果
与现有技术相比,本发明方便快捷,无需费时费力地建造专业的车辆传感器标定室。本发明虽需采用一个激光雷达,但激光雷达已是智能车常用设备之一,所以实现本发明没有额外的开销,具有一定的普适性。
附图说明
图1为两台摄像机与激光雷达联合标定的示意图;
图2为贴有黑白交错方块图案的标定板的示意图;
图3为手动测量结果与本发明获取结果对两台摄像机图片进行融合后的效果对比图;
图中:a为手动测量的效果图;b为本发明的效果图。
具体实施方式
如图1所示,本实施例以两台摄像机为例,当有多台摄像机联合时,依照下述方法对每相邻两台摄像机采用同样的标定方法,即可得到全部摄像机联合标定的结果,具体步骤如下:
1)选择激光雷达的设置位置:满足使激光雷达的感知范围与两台摄像机的视野均有重合的位置作为激光雷达的设置位置;
2)制作标定板:制作表面贴有图案的标定板,选择图案上的特殊点作为标定点并建立直角坐标系,如图2所示,本实施例制作了一块具有黑白交错方块图案的矩形标定板,并选取黑白方块的角点作为标定点,将矩形标定板的一角作为原点并选与之相连的两条边作为坐标轴,建立直角坐标系,选取一组标定点手动测得其在直角坐标系中的坐标值为(xp1,yp1),(xp2,yp2),……,(xpm,ypm);
3)计算第一摄像机与激光雷达的相对位姿:
3.1)构键一组标定场景:在第一摄像机与激光雷达共同的感知区域内选定十处以上不同的位置作为标定位置,为了更好的标定效果,所选的标定位置最好均匀分布在第一摄像机的有效视野上,将标定板放置在一处标定位置即构成一个标定场景,依次将标定板设置于所选的几处标定位置上,即构成第一摄像机的一组标定场景;
3.2)记录标定点在标定场景的图像坐标值:当有N个标定场景,在场景k中(k=1,2,……,N)记录所有标定点的图像坐标值(u1,k1,v1,k1),(u1,k2,v1,k2),……,(u1,km,v1,km);
3.3)记录标定板在标定场景的激光雷达测量值:当有N个标定场景,在场景k中(k=1,2,……,N)记录标定板在标定场景的激光雷达测量值(x1,k1,y1,k1,z1,k1),(x1,k2,y1,k2,z1,k2),……,(x1,kq,y1,kq,z1,kq);
3.4)通过四个公式计算第一摄像机与激光雷达的相对位姿:
公式(1)L1,kh1,k=0计算h1,k的非零解,即计算最小特征值对应的特征向量,求得:h1,k=[h1,k11 h1,k12 h1,k13 h1,k21 h1,k22 h1,k23 h1,k31 h1,k32 h1,k33]T,其中:h1,k为9×1的向量;为2m×9的矩阵,是矩阵L1,k的转置。
公式(2)其中:A1为第一摄像机的内参数矩阵,R1,pk为3×3的矩阵,T1,pk为3×1的向量,H1,k1=[h1,k11 h1,k21h1,k31]T为3×1的向量,H1,k2=[h1,k12 h1,k22 h1,k32]T为3×1的向量,H1,k3=[h1,k13 h1,k23h1,k33]T为3×1的向量。
公式(3)Lcs1Hcs1=bcs1,其中:Lcs1为qN×9的矩阵,Hcs1为9×1的向量,bcs1为qN×1的向量。求得:Hcs1=(Lcs1 TLcs1)-1Lcs1 Tbcs1,e1=[1 0 0]T;e2=[0 1 0]T;e3=[0 0 1]T,其中:表示直积:记Hcs1为Hcs1=[h1,cs11 h1,cs12 h1,cs13 h1,cs21 h1,cs22 h1,cs23 h1,cs31 h1,cs32 h1,cs33]T。
公式(4)其中:Hcs1(1)和Hcs1(2)均为3×1的向量,Rcs1为3×3的矩阵,Tcs1为3×1的向量,得到第一摄像机与激光雷达之间的相对位姿关系为{Rcs1,Tcs1};
4)计算第二摄像机与激光雷达的相对位姿:
4.1)构键一组标定场景:在第二摄像机与激光雷达共同的感知区域内选定十处以上不同的位置作为标定位置,为了更好的标定效果,所选的标定位置最好均匀分布在第二摄像机的有效视野上,将标定板放置在一处标定位置即构成一个标定场景,依次将标定板设置于所选的几处标定位置上,即构成第二摄像机的一组标定场景;
4.2)记录标定点在标定场景的图像坐标值:当有N个标定场景,在场景k中(k=1,2,……,N)记录所有标定点的图像坐标值(u2,k1,v2,k1),(u2,k2,v2,k2),……,(u2,km,v2,km);
4.3)记录标定板在标定场景的激光雷达测量值:当有N个标定场景,在场景k中(k=1,2,……,N)记录标定板在标定场景的激光雷达测量值(x2,k1,y2,k1,z2,k1),(x2,k2,y2,k2,z2,k2),……,(x2,kq,y2,kq,z2,kq);
4.4)通过四个公式计算第二摄像机与激光雷达的相对位姿:
公式(5)L2,kh2,k=0计算h2,k的非零解,即计算最小特征值对应的特征向量,求得:h2,k=[h2,k11 h2,k12 h2,k13 h2,k21 h2,k22 h2,k23 h2,k31 h2,k32 h2,k33]T,其中:h2,k为9×1的向量;为2m×9的矩阵,是矩阵L2,k的转置。
公式(6)其中:A2为第二摄像机的内参数矩阵,R2,pk为3×3的矩阵,T2,pk为3×1的向量,H2,k1=[h2,k11h2,k21 h2,k31]T为3×1的向量,H2,k2=[h2,k12 h2,k22 h2,k32]T为3×1的向量,H2,k3=[h2,k13 h2,k23h2,k33]T为3×1的向量。
公式(7)Lcs2Hcs2=bcs2,其中:Lcs2为qN×9的矩阵,Hcs2为9×1的向量,bcs2为qN×1的向量。求得:Hcs2=(Lcs2 TLcs2)-1Lcs2 Tbcs2,其中:表示直积:记Hcs2为Hcs2=[h2,cs11 h2,cs12 h2,cs13 h2,cs21 h2,cs22 h2,cs23 h2,cs31 h2,cs32 h2,cs33]T。
公式(8)其中:Hcs2(1)和Hcs2(2)均为3×1的向量,Rcs2为3×3的矩阵,Tcs2为3×1的向量,得到第二摄像机与激光雷达之间的相对位姿关系为{Rcs2,Tcs2};
5)推算第一摄像机与第二摄像机之间的相对位姿:利用激光雷达与第一摄像机的相对位姿{Rcs1,Tcs1}和激光雷达与第二摄像机的相对位姿{Rcs2,Tcs2},推算第一摄像机与第二摄像机之间的相对位姿:即完成了第一摄像机与第二摄像机的联合标定。
如图3a所示,为利用手动测量结果对两台摄像机图片进行融合后得到的效果图;如图3b所示,为利用本实施例获取的结果对两台摄像机图片进行融合后得到的效果图。经过对比可以发现:图3a存在明显的***与不一致;图3b融合的十分自然。
与现有技术相比本发明的优势在于:本发明方便快捷,无需费时费力地建造专业的车辆传感器标定室。本发明虽需采用一个激光雷达,但激光雷达已是智能车常用设备之一,所以实现本发明没有额外的开销,具有一定的普适性。本发明为相关科技人员提供了一种行之有效的、对小重合视野多摄像机进行联合标定的方法。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (7)
1.一种基于激光雷达的小重合视野多摄像机联合标定方法,其特征在于,根据两台相邻摄像机的视野位置选定激光雷达位置,针对每台摄像机各自手动获取至少十个标定场景的标定点的坐标值,然后利用激光雷达获取该标定场景的标定板在激光雷达坐标系中的测量值,根据坐标值和测量值计算每台摄像机与激光雷达的相对位姿,进而利用相对位姿关系得到相邻的两台摄像机的相对位姿,完成两台摄像机之间的联合标定,既而实现多个摄像机之间的联合标定;
所述的选定激光雷达位置是要求激光雷达的测量范围与两台相邻的摄像机的视野均有重合。
2.根据权利要求1所述的方法,其特征是,所述的标定场景是指:将带有标定点的标定板设置于每台摄像机与激光雷达重合的感知区内的不同位置,标定板每设置于一处位置构成一个标定场景。
3.根据权利要求2所述的方法,其特征是,所述的带有标定点的标定板是指:选取一块带有图案的标定板,在图案上选取点作为标定点。
4.根据权利要求2所述的方法,其特征是,所述的不同位置优选以均匀分布的方式选取。
5.根据权利要求1所述的方法,其特征是,所述的坐标值是通过选取一个固定在标定板的平面上的直角坐标系,并手动测量标定点在该坐标系中的坐标而得到的值。
6.根据权利要求1所述的方法,其特征是,所述的计算是通过公式:(1)L1,kh1,k=0计算h1,k的非零解,即计算最小特征值对应的特征向量,求得:h1,k=[h1,k11 h1,k12 h1,k13h1,k21 h1,k22 h1,k23 h1,k31 h1,k32 h1,k33]T,其中:h1,k为9×1的向量;为2m×9的矩阵,是矩阵L1,k的转置;
(2)其中:A1为第一摄像机的内参数矩阵,R1,pk为3×3的矩阵,T1,pk为3×1的向量,H1,k1=[h1,k11 h1,k21 h1,k31]T为3×1的向量,H1,k2=[h1,k12 h1,k22 h1,k32]T为3×1的向量,H1,k3=[h1,k13 h1,k23 h1,k33]T为3×1的向量。
(3)Lcs1Hcs1=bcs1,其中:Lcs1为qN×9的矩阵,Hcs1为9×1的向量,bcs1为qN×1的向量。求得:Hcs1=(Lcs1 TLcs1)-1Lcs1 Tbcs1,e1=[1 0 0]T;e2=[0 1 0]T;e3=[0 0 1]T,其中:表示直积:记Hcs1为Hcs1=[h1,cs11 h1,cs12 h1,cs13 h1,cs21 h1,cs22 h1,cs23 h1,cs31 h1,cs32 h1,cs33]T。
(4)其中:Hcs1(1)和Hcs1(2)均为3×1的向量,Rcs1为3×3的矩阵,Tcs1为3×1的向量,得到第一摄像机与激光雷达之间的相对位姿关系为{Rcs1,Tcs1},依照上述公式计算第二台摄像机与激光雷达之间的相对位姿关系为{Rcs2,Tcs2}。
7.根据权利要求6所述的方法,其特征是,所述的推算是通过公式计算得到相邻两台摄像机之间的位姿关系{R12,T12}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811597361.3A CN109741402B (zh) | 2018-12-26 | 2018-12-26 | 基于激光雷达的小重合视野多摄像机联合标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811597361.3A CN109741402B (zh) | 2018-12-26 | 2018-12-26 | 基于激光雷达的小重合视野多摄像机联合标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109741402A true CN109741402A (zh) | 2019-05-10 |
CN109741402B CN109741402B (zh) | 2023-04-07 |
Family
ID=66361255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811597361.3A Active CN109741402B (zh) | 2018-12-26 | 2018-12-26 | 基于激光雷达的小重合视野多摄像机联合标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109741402B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112365545A (zh) * | 2020-10-15 | 2021-02-12 | 中国科学院宁波材料技术与工程研究所 | 基于大平面复合靶标的激光雷达与可见光相机的标定方法 |
CN112379353A (zh) * | 2020-11-10 | 2021-02-19 | 上海交通大学 | 多台目标激光雷达间的联合标定方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101345890A (zh) * | 2008-08-28 | 2009-01-14 | 上海交通大学 | 基于激光雷达的摄像头标定方法 |
CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
CN106530356A (zh) * | 2016-10-25 | 2017-03-22 | 成都通甲优博科技有限责任公司 | 一种全景视频摄像机组空间位姿标定方法 |
CN107977997A (zh) * | 2017-11-29 | 2018-05-01 | 北京航空航天大学 | 一种结合激光雷达三维点云数据的相机自标定方法 |
CN108226906A (zh) * | 2017-11-29 | 2018-06-29 | 深圳市易成自动驾驶技术有限公司 | 一种标定方法、装置及计算机可读存储介质 |
WO2018196391A1 (zh) * | 2017-04-28 | 2018-11-01 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
-
2018
- 2018-12-26 CN CN201811597361.3A patent/CN109741402B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101345890A (zh) * | 2008-08-28 | 2009-01-14 | 上海交通大学 | 基于激光雷达的摄像头标定方法 |
CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
CN106530356A (zh) * | 2016-10-25 | 2017-03-22 | 成都通甲优博科技有限责任公司 | 一种全景视频摄像机组空间位姿标定方法 |
WO2018196391A1 (zh) * | 2017-04-28 | 2018-11-01 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
CN107977997A (zh) * | 2017-11-29 | 2018-05-01 | 北京航空航天大学 | 一种结合激光雷达三维点云数据的相机自标定方法 |
CN108226906A (zh) * | 2017-11-29 | 2018-06-29 | 深圳市易成自动驾驶技术有限公司 | 一种标定方法、装置及计算机可读存储介质 |
Non-Patent Citations (4)
Title |
---|
CHAO GAO等: "On-line Calibration of Multiple LIDARs on a Mobile Vehicle Platform", 《IEEE》 * |
姚文韬: "一种自适应摄像机与激光雷达联合标定算法", 《控制工程》 * |
彭梦等: "一种基于双平行平面的激光雷达和摄像机标定方法", 《中南大学学报(自然科学版)》 * |
曾丽娜: "车载视觉***中障碍物检测与识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112365545A (zh) * | 2020-10-15 | 2021-02-12 | 中国科学院宁波材料技术与工程研究所 | 基于大平面复合靶标的激光雷达与可见光相机的标定方法 |
CN112365545B (zh) * | 2020-10-15 | 2023-02-24 | 中国科学院宁波材料技术与工程研究所 | 基于大平面复合靶标的激光雷达与可见光相机的标定方法 |
CN112379353A (zh) * | 2020-11-10 | 2021-02-19 | 上海交通大学 | 多台目标激光雷达间的联合标定方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109741402B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111473739B (zh) | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 | |
CN106657910B (zh) | 一种电力变电站的全景视频监控方法 | |
CN104156972B (zh) | 基于激光扫描测距仪与多相机融合的透视成像方法 | |
CN104299215B (zh) | 一种特征点标定和匹配的图像拼接方法 | |
CN108694741B (zh) | 一种三维重建方法及装置 | |
JP4800455B2 (ja) | 車速計測方法および装置 | |
KR102607517B1 (ko) | 3d 포인트 클라우드에서 합성 이미지 생성 | |
US20110128385A1 (en) | Multi camera registration for high resolution target capture | |
CN108613628A (zh) | 一种基于双目视觉的架空输电线路弧垂测量方法 | |
CN110084785B (zh) | 一种基于航拍图像的输电线垂弧测量方法及*** | |
CN101118648A (zh) | 交通监视环境下的路况摄像机标定方法 | |
WO2019144269A1 (zh) | 多目摄像***、终端设备及机器人 | |
KR101874498B1 (ko) | Uas 기반의 공간 정보 취득을 위한 지상 기준점의 항공 측량 시스템 및 그 방법 | |
CN109741402A (zh) | 基于激光雷达的小重合视野多摄像机联合标定方法 | |
CN109931906B (zh) | 摄像机测距方法、装置以及电子设备 | |
CN105096252A (zh) | 一种带状全方位街景影像图的制作方法 | |
Crispel et al. | All-sky photogrammetry techniques to georeference a cloud field | |
CN106534670A (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
TWI599987B (zh) | 點雲拼接系統及方法 | |
CN104282010A (zh) | 车辆多鱼眼摄像机360度俯视图像拼接曲线标定方法 | |
CN104123726B (zh) | 基于消隐点的大锻件测量***标定方法 | |
CN110120012A (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
CN106989681A (zh) | 一种过孔的尺寸测量方法及测量设备 | |
CN111380503A (zh) | 一种采用激光辅助标定的单目相机测距方法 | |
JP2005174151A (ja) | 三次元画像表示装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |