CN112308928B - 一种无标定装置的相机与激光雷达自动标定方法 - Google Patents
一种无标定装置的相机与激光雷达自动标定方法 Download PDFInfo
- Publication number
- CN112308928B CN112308928B CN202011167555.7A CN202011167555A CN112308928B CN 112308928 B CN112308928 B CN 112308928B CN 202011167555 A CN202011167555 A CN 202011167555A CN 112308928 B CN112308928 B CN 112308928B
- Authority
- CN
- China
- Prior art keywords
- image data
- coordinates
- camera
- point
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000005259 measurement Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开一种无标定装置的相机与激光雷达自动标定方法:处理激光雷达及与激光雷达的视角重叠的相机采集的图像数据Ii、图像数据Ii+1、一帧点云数据Li,得到运动补偿后图像数据Ii对象区域的中心2D坐标及误差补偿后人体点云在激光雷达坐标系下中心3D坐标;利用多对2D‑3D点对,用PnP方法对激光雷达坐标系和相机坐标系的转换关系求解,得到初始标定结果;根据图像及点云匹配计量函数和位姿转换的关系计算匹配计量函数对位姿转换的导数,利用梯度下降算法,计算得到位姿转换参数最优解,得到标定结果。本发明使得能够在满足标定结果需求的基础上,使标定流程更为便捷。
Description
技术领域
本发明涉及相机与激光雷达标定技术领域,特别是涉及一种无标定装置的相机与激光雷达自动标定方法。
背景技术
无人驾驶汽车是通过车载传感***感知道路环境,自动规划行车路线并控制车辆到达预定人体的智能汽车。它利用车载传感器来感知车辆周围环境,并根据感知所获得的道路、车辆位置和障碍物信息,控制车辆的转向和速度,从而使车辆能够安全、可靠地在道路上行驶。
相机和激光雷达是无人车上常用传感器。相机与激光雷达融合是无人驾驶领等机器人域的热门方法。相机传感器通过镜头及感光元件获取周围环境中的色彩等平面图像信息,激光雷达通过发射和接收特定波长的激光获取周围环境的三维几何信息。单一的传感器无法满足感知需求,而传感器融合可以做到优势互补,提高感知结果的鲁棒性,满足应用场景对感知的需求。而进行传感器融合之前需要进行相机与激光雷达的外参标定。
外参标定即通过一系列步骤,获得精确的传感器之间的相对外参。传统基于标定物的标定方法一般需要制作结构复杂的标定装置,并布置复杂的标定场景,甚至需要执行复杂的标定流程,且对标定装置的尺寸要求严格;而无标定装置的标定方法一般需要采集大量的数据进行复杂的计算,且标定结果无法得到保障。
发明内容
本发明的目的是为了克服现有技术中的不足,而提供一种无标定装置的相机与激光雷达自动标定方法,解决了目前标定需要标定装置,标定流程复杂,标定结果无法得到保障的问题,使得能够在满足标定结果需求的基础上,使标定流程更为便捷。
为实现本发明的目的所采用的技术方案是:
一种无标定装置的相机与激光雷达自动标定方法,包括步骤:
S1.处理激光雷达以及与激光雷达的视角有重叠的相机采集的人体的图像数据Ii、和图像数据Ii+1与一帧点云数据Li,得到运动补偿后的图像数据Ii对象区域的中心2D坐标以及误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标;
S2.利用获得的多对2D-3D点对,使用PnP方法对激光雷达坐标系和相机坐标系的转换关系进行求解,得到初始标定结果T’;
S3.根据建立的图像以及点云匹配计量函数F和位姿转换T的关系计算匹配计量函数F对位姿转换T的导数,并利用梯度下降算法,计算得到位姿转换参数的最优解,得到最终标定结果。
其中,上述的步骤S1.所述补偿后的图像数据Ii对象区域的中心2D坐标的获取步骤如下:
对图像数据Ii和图像数据Ii+1进行人像分割;
分别遍历分割后的图像数据Ii和图像数据Ii+1的各像素点,记录每张图像数据的对象区域像素的坐标和及该对象区域的像素数目,将坐标和除以像素数目,分别得到两张图像数据对象区域的中心坐标(xi,yi)和(xi+1,yi+1);
对图像数据Ii中的对象区域的中心坐标插值,进行运动补偿;令:
其中,上述的步骤S1中,得到误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标的步骤如下:
对点云数据Li直通滤波,保留对象活动范围的点云,对对象活动范围内的点云执行RANSAC算法,分割出地面部分的点云,保留扫描到的对象的点云,将保留的点3D坐标相加除以保留的点的数目,得到人体点云中心在激光雷达坐标系下的初始3D坐标(x′l,y′l,z′l);
对人体点云中心坐标进行误差补偿,令:
得到误差补偿后的中心3D坐标,式中,(xl,yl,zl)表示所述中心3D坐标。
其中,上述的步骤S1中,所述匹配计量函数F,由每一帧数据计算出的帧的匹配计量函数Fi求和得到;表示如下:
F=∑Fi
其中,为在集合Bi中的某投影点周围的邻近的图像边缘点,n为邻近的图像边缘点的数目,Bi为图像数据Ii中对象区域的边缘点集合,Ci为人体点云的边缘点集合Pi中的边缘点投影到相机平面所得到的投影像素坐标的集合,b.x、aj.x、bn.x分别为对应像素点的x坐标,b.y、aj.y、bn.y分别对应的像素点的y坐标。
其中,上述的人体点云的边缘点集合Pi的获得步骤如下:
对保留的人体部分点云按照激光雷达扫描线束进行遍历,对于每一条线束,将扫描到的点按照激光的旋转角度进行排序,得到每一条线束打在人体上的最左以及最右两侧的边缘点,该帧所有线束的边缘点形成边缘点集合Pi。
其中,上述的图像数据Ii中对象区域的边缘点集合Bi获得步骤如下
对图像数据Ii分割后的对象区域的图像进行边界提取,遍历图像数据Ii分割后的对象区域的图像的所有像素点,将被标记为对象像素点且其周围8个像素点中包含背景点的像素点标记为边缘点,将图像数据Ii的所有边缘点作为图像数据Ii的边缘点集合Bi,然后边缘点集合Bi中的边缘点修正;
对边缘点集合Bi中的边缘点进行修正的方法如下:
设(u,v)∈Bi,则令
式中,(xi,yi)和(xi+1,yi+1)分别为图像数据Ii和图像数据Ii+1对象区域的中心坐标。
本发明的无标定装置的相机与激光雷达自动标定方法,解决了目前标定需要标定装置,标定流程复杂,标定结果无法得到保障的问题,使得能够在满足标定结果需求的基础上,使标定流程更为便捷。
附图说明
图1是本发明的无标定装置的相机与激光雷达自动标定方法的流程图;
图2是激光雷达的扫描原理图。
图3是无标定装置的相机与激光雷达自动标定的场景图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明的无标定装置的相机与激光雷达自动标定方法,包括以下步骤:
步骤1,将需要标定的相机与激光雷达固定到安装位置,保证相机与激光雷达有较大的重叠的视角范围。
步骤2,判断相机与激光雷达视角重叠的大致区域,分配一名人员在区域内随意缓慢行走,观察图像数据和点云数据,保证行走人员大部分身体始终出现在图像以及点云数据中。
步骤3,同时采集图像数据和激光雷达数据;
由于通常情况下相机采集频率较高,假设在时刻从相机采集到一帧图像数据Ii,如果在下一帧图像数据采集到之前,从激光雷达采集到一帧点云数据Li,那么将下一帧图像数据Ii+1的采集时刻记为将该帧点云数据Li的采集时刻记为否则将该帧图像数据Ii删除,继续执行步骤3,继续采集。
步骤4,对图像数据Ii及Ii+1进行处理,处理过程分为如下三个子步骤:
步骤4-1,分别对图像数据Ii和Ii+1使用基于UNet网络的人像分割算法,或其他人像分割算法,对相机获得的图像数据进行语义分割,将图像分割为对象区域和背景区域,将对象区域的像素点灰度置为255,将背景区域的像素点灰度值置为0;
步骤4-2,分别遍历分割后的图像数据Ii和图像数据Ii+1的各像素点,记录每张图像的对象区域像素的坐标和(xs,ys)及该区域的像素数目n,并将坐标和除以像素数目,分别得到两张图像对象区域的中心坐标(xi,yi)和(xi+1,yi+1);
步骤4-3,对图像中的对象中心坐标进行插值,令:
步骤5,对点云数据Li进行处理,处理过程分为如下两个子步骤:
步骤5-1,对点云数据Li进行执行直通滤波,保留人物大致活动范围的点云,对范围内的点云执行RANSAC算法,分割出地面部分的点云,保留扫描到的人物的点云,将保留的点3D坐标相加除以保留的点的数目,得到人物点云中心在激光雷达坐标系下的初始3D坐标(x′l,y′l,z′l);
步骤5-2,对人物点云中心坐标进行误差补偿,令:
步骤6,将(xc,yc)与(xl,yl,zl)作为2D-3D点对,以及图像数据Ii分割后的对象区域图像及点云数据Li记录下来,重复执行步骤2-步骤6,记录形成多对2D-3D点对,以及多组图像-点云数据。
步骤7,对2D-3D点对使用PnP方法对激光雷达坐标系和相机坐标系的转换关系进行求解,最终得到初始标定结果T’。
步骤8,对初始标定结果进行优化,具体优化过程分为如下六个子步骤:
步骤8-1,对图像数据Ii分割后的图像进行边界提取,遍历图像数据Ii分割后的图像的所有像素点,将被标记为对象像素点且其周围八个像素点中包含背景点的像素点标记为边缘点,将图像Ii的所有边缘点作为该帧图像的边缘点集合,记为Bi。
步骤8-2,对Bi中的边缘点进行修正,设(u,v)∈Bi,则令
其中(xi,yi)和(xi+i,yi+1)分别为图像Ii和图像Ii+1对象区域的中心坐标。
步骤8-3,对保留的人体部分点云按照激光雷达扫描线束进行遍历,对于每一条线束,将扫描到的点按照激光的旋转角度进行排序,得到每一条线束打在人体上的最左以及最右两侧的边缘点,将该帧所有线束的边缘点作为该帧点云的边缘点集合。设第i帧点云的边缘点集合为Pi。
激光雷达工作原理如下图所示,多条激光围绕激光雷达中心旋转扫描,从上到下依次形成多条扫描线束。
步骤8-4,设p∈Pi,利用如下转换公式将点p投影至相机平面,得到投影像素坐标(i_t,j_t),并将该帧所有投影点的像素坐标集合记为Ci。
其中K为相机内参,T为相机和激光雷达的外参转换矩阵。
(i_t,j_t)=KTP
步骤8-5,根据如下公式对图像及点云建立匹配计量函数F,由每一帧数据计算出的帧的匹配计量函数Fi求和得到;表示如下:
F=∑Fi
步骤8-6,根据匹配计量函数F、相机和激光雷达的外参转换矩阵T的关系计算匹配计量函数F对相机和激光雷达的外参转换矩阵T的导数,设置初始点为初始标定结果T′,并利用梯度下降算法,计算的到相机和激光雷达的外参转换矩阵参数的最优解,最终得到标定结果。
上述的本发明的步骤,通过计算机进行处理,计算机中安装有相应的处理程序软件,以对相机以及激光雷达采集的人体人体对象的图像数据以及点云数据按上述的步骤进行处理,最终获得最终的标定的结果。
以上所述仅是本发明的优选实施方式,应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.无标定装置的相机与激光雷达自动标定方法,其特征在于,包括步骤:
S1.处理激光雷达以及与激光雷达的视角有重叠的相机采集的人体的图像数据Ii、图像数据Ii+1与一帧点云数据Li,得到运动补偿后的图像数据Ii对象区域的中心2D坐标以及误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标;
其中,得到误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标的步骤如下:
对点云数据Li直通滤波,保留对象活动范围的点云,对对象活动范围内的点云执行RANSAC算法,分割出地面部分的点云,保留扫描到的对象的点云,将保留的点3D坐标相加除以保留的点的数目,得到人体点云中心在激光雷达坐标系下的初始3D坐标(x′l,y′l,z′l);
对人体点云中心坐标进行误差补偿,令:
得到误差补偿后的中心3D坐标,式中,(xl,yl,zl)表示所述中心3D坐标;
S2.利用获得的多对2D-3D点对,使用PnP方法对激光雷达坐标系和相机坐标系的转换关系进行求解,得到初始标定结果T’;
S3.根据建立的图像以及点云的匹配计量函数F和位姿转换T的关系计算匹配计量函数F对位姿转换T的导数,并利用梯度下降算法,计算得到位姿转换参数的最优解,得到最终标定结果。
2.根据权利要求1所述无标定装置的相机与激光雷达自动标定方法,其特征在于,步骤S1.所述得到运动补偿后的图像数据Ii对象区域的中心2D坐标的获取步骤如下:
对图像数据Ii和图像数据Ii+1进行人像分割;
分别遍历分割后的图像数据Ii和图像数据Ii+1的各像素点,记录每张图像数据的对象区域像素的坐标和及该对象区域的像素数目,将坐标和除以像素数目,分别得到两张图像数据对象区域的中心坐标(xi,yi)和(xi+1,yi+1);
对图像数据Ii中的对象区域的中心坐标插值,进行运动补偿;令:
4.根据权利要求3所述无标定装置的相机与激光雷达自动标定方法,其特征在于,人体点云的边缘点集合Pi的获得步骤如下:
对保留的人体部分点云按照激光雷达扫描线束进行遍历,对于每一条线束,将扫描到的点按照激光的旋转角度进行排序,得到每一条线束打在人体上的最左以及最右两侧的边缘点,该帧所有线束的边缘点形成边缘点集合Pi。
6.根据权利要求1所述无标定装置的相机与激光雷达自动标定方法,其特征在于,所述的多对2D-3D点对通过重复步骤S1而获得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011167555.7A CN112308928B (zh) | 2020-10-27 | 2020-10-27 | 一种无标定装置的相机与激光雷达自动标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011167555.7A CN112308928B (zh) | 2020-10-27 | 2020-10-27 | 一种无标定装置的相机与激光雷达自动标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112308928A CN112308928A (zh) | 2021-02-02 |
CN112308928B true CN112308928B (zh) | 2022-11-15 |
Family
ID=74331202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011167555.7A Active CN112308928B (zh) | 2020-10-27 | 2020-10-27 | 一种无标定装置的相机与激光雷达自动标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112308928B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113359141B (zh) * | 2021-07-28 | 2021-12-17 | 东北林业大学 | 一种基于无人机多传感器数据融合的林火定位方法及*** |
CN113340334B (zh) * | 2021-07-29 | 2021-11-30 | 新石器慧通(北京)科技有限公司 | 用于无人车的传感器标定方法、装置及电子设备 |
CN113671511B (zh) * | 2021-07-30 | 2024-07-19 | 南京航空航天大学 | 一种面向区域场景的激光雷达高精度定位方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107976668B (zh) * | 2016-10-21 | 2020-03-31 | 法法汽车(中国)有限公司 | 一种确定相机与激光雷达之间的外参数的方法 |
CN109297510B (zh) * | 2018-09-27 | 2021-01-01 | 百度在线网络技术(北京)有限公司 | 相对位姿标定方法、装置、设备及介质 |
CN109949371A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种用于激光雷达和相机数据的标定方法 |
CN110766761B (zh) * | 2019-10-21 | 2023-09-26 | 北京百度网讯科技有限公司 | 用于相机标定的方法、装置、设备和存储介质 |
CN111311689B (zh) * | 2020-02-10 | 2020-10-30 | 清华大学 | 一种激光雷达与相机相对外参的标定方法及*** |
CN111754583B (zh) * | 2020-05-29 | 2024-05-14 | 江苏大学 | 一种车载三维激光雷达和相机外参联合标定的自动化方法 |
-
2020
- 2020-10-27 CN CN202011167555.7A patent/CN112308928B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112308928A (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112308928B (zh) | 一种无标定装置的相机与激光雷达自动标定方法 | |
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN110059608B (zh) | 一种物体检测方法、装置、电子设备和存储介质 | |
CN111553859B (zh) | 一种激光雷达点云反射强度补全方法及*** | |
CN107844750B (zh) | 一种水面全景图像目标检测识别方法 | |
WO2020024234A1 (zh) | 路径导航方法、相关装置及计算机可读存储介质 | |
CN110988912A (zh) | 自动驾驶车辆的道路目标与距离检测方法、***、装置 | |
CN111563415A (zh) | 一种基于双目视觉的三维目标检测***及方法 | |
CN111207762B (zh) | 地图生成方法、装置、计算机设备和存储介质 | |
CN109900274B (zh) | 一种图像匹配方法及*** | |
CN111476242A (zh) | 一种激光点云语义分割方法及装置 | |
CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
CN116071283B (zh) | 基于计算机视觉的三维点云图像融合方法 | |
Ospina et al. | Simultaneous mapping and crop row detection by fusing data from wide angle and telephoto images | |
CN113593035A (zh) | 一种运动控制决策生成方法、装置、电子设备及存储介质 | |
CN115423958A (zh) | 一种基于视觉三维重建的矿区可行驶区域边界更新方法 | |
CN115239822A (zh) | 分体式飞行车辆多模块间实时视觉识别定位方法及*** | |
CN115079143A (zh) | 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置 | |
CN109490926B (zh) | 一种基于双目相机和gnss的路径规划方法 | |
JP2006101816A (ja) | 操向制御方法及び装置 | |
US20220377973A1 (en) | Method and apparatus for modeling an environment proximate an autonomous system | |
CN115294562B (zh) | 一种植保机器人作业环境智能感知方法 | |
CN116403186A (zh) | 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法 | |
CN114897967A (zh) | 一种面向挖掘装备自主作业的物料形态识别方法 | |
CN114022500A (zh) | 一种激光雷达和摄像头融合的智能汽车道路边界检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |