CN111856436A - 一种多线激光雷达和红外相机的联合标定装置及标定方法 - Google Patents

一种多线激光雷达和红外相机的联合标定装置及标定方法 Download PDF

Info

Publication number
CN111856436A
CN111856436A CN202010625105.1A CN202010625105A CN111856436A CN 111856436 A CN111856436 A CN 111856436A CN 202010625105 A CN202010625105 A CN 202010625105A CN 111856436 A CN111856436 A CN 111856436A
Authority
CN
China
Prior art keywords
laser
calibration device
points
combined calibration
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010625105.1A
Other languages
English (en)
Inventor
闫飞
郭欣桐
何国建
庄严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010625105.1A priority Critical patent/CN111856436A/zh
Publication of CN111856436A publication Critical patent/CN111856436A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种多线激光雷达和红外相机的联合标定装置及标定方法，属于无人***及自主机器人的多传感器环境感知技术领域。该方法采用了发光正六边形联合标定装置进行标定，联合标定装置相邻边界成固定角度保证了激光点云角点的准确提取，联合标定装置上安装的红色发光二极管保证了视觉角点的准确提取，通过求解激光点云角点和视觉角点构建的变换方程实现多线激光雷达和红外相机的联合标定。该标定方法实现了多线激光雷达与红外相机的联合标定，从而为多传感器数据融合奠定基础。

Description

一种多线激光雷达和红外相机的联合标定装置及标定方法
技术领域
本发明属于无人***及自主机器人的多传感器环境感知技术领域，涉及一种多线激光雷达和红外相机的联合标定装置及标定方法。
背景技术
随着无人***及自主机器人技术的快速发展，单纯的依靠三维激光雷达或者视觉等单一传感器已经无法完成无人***及自主机器人在复杂环境中的自主感知与场景理解工作。相比于传统的单目视觉传感器，在一些特殊场景下，红外相机能够发挥出更大的优势，对传感器进行有效的数据融合能够提高机器人的自主感知与场景理解能力。在实际应用中，通常三维激光雷达与红外相机之间的空间位置已经固定，为了有效融合两种传感器数据，首先需要对两种传感器进行联合标定，即获取两者之间的精确坐标关系。
目前的激光雷达与普通相机联合标定普遍采用矩形黑白格标定装置或镂空标定装置。黑白格标定装置便于普通相机采集特征点，而激光传感器则根据黑色和白色材质对激光反射值不同来提取标定装置上的特征点；镂空标定装置同样利用颜色变化为普通相机提供特征点，激光传感器根据其TOF扫描原理，通过镂空特征提取标定装置特征点。但对于检测温度变化的红外相机来说，无论是黑白格或镂空结构都无法在红外图片中产生明显的差异，因此无法提取有效特征点。此外，由于多线激光雷达数据比较稀疏，采用矩形黑白格标定装置或镂空标定装置很难保证特征点数量，从而影响联合标定准确率。
发明内容
为了实现多线激光雷达获取的稀疏点云数据与红外相机所获图像之间的联合标定，本发明根据红外相机获取温度图像的原理，以及激光扫描到正六边形标定装置边缘会产生测距突变与正六边形相邻边界直线呈固定角度相交的特性，发明设计了一种发光正六边形标定装置，同时为激光雷达和红外相机提供标定用特征点。基于该标定装置，提出了一种多线激光雷达与红外相机联合标定方法。通过对标定装置上三维点云数据的处理，计算出正六边形标定装置的六条边界线，进而拟合出完整的正六边形，得到正六边形标定装置六个角点与中心点的三维空间坐标。再利用图像特征提取出红外相机所获图像中标定装置上点状光源的二维坐标点，从而获取由标定装置角点三维空间坐标与对应二维图像像素坐标组成的多组匹配对，然后通过求解匹配对之间的变换关系，进而完成联合标定工作。
一种多线激光雷达和红外相机的联合标定装置，所述的联合标定装置采用正六边形设计(如图1所示)，选用浅色亚光材质，以提高激光的反射率，在联合标定装置上划定大小相等的小六边形区域，并在特定位置打孔，打孔位置固定点状光源，利用红外相机对温度敏感的特性将其用来提取采集图像的角点特征。所述的特定位置为正六边形顶点、中点或内部的小六边形顶点处，以便于计算图像角点特征对应的激光特征点。
一种多线激光雷达和红外相机的联合标定方法，包括如下步骤：
步骤S1，定义激光雷达和红外相机坐标系，在对应坐标下采集联合标定装置三维激光点云数据和红外图像数据；步骤S2，对三维激光点云数据进行处理，提取联合标定装置上的激光点，根据正六边形6条边的固定关系，在激光点的基础上对正六边形进行拟合，以获取正六边形6个顶点坐标，进而计算特定打孔位置坐标；步骤S3，对获取的红外图像进行灰度化和二值化处理，进而应用Harris角点检测方法提取图像角点，获得点状光源在图像中的像素坐标，即图像特征点；步骤S4，基于激光特征点和图像特征点的对应关系，构建变换方程，通过方程求解获取多线激光雷达与红外相机的旋转平移矩阵。
本发明的有益效果：本发明提出了一种多线激光雷达和红外相机的联合标定方法，该方法采用了发光正六边形联合标定装置进行标定。联合标定装置相邻边界成固定角度保证了激光点云角点的准确提取，联合标定装置上安装的红色发光二极管保证了视觉角点的准确提取，通过求解激光点云角点和视觉角点构建的变换方程实现多线激光雷达和红外相机的联合标定。该标定方法实现了多线激光雷达与红外相机的联合标定，从而为多传感器数据融合奠定基础。
附图说明
图1一种多线激光雷达和红外相机的联合标定装置。
图2一种多线激光雷达和红外相机的联合标定方法实施流程图
图3为激光数据联合标定装置角点提取结果。
图4为联合标定装置红外图像。
图5为二值化联合标定装置图像。
具体实施方式
构造的多线激光雷达和红外相机的联合标定装置边长为44cm，厚度为8mm的白色正六边形高反射率联合标定装置，在联合标定装置的中心进行打孔，使用7个发光二极管作为点状光源固定在联合标定装置的六个角与中心位置，以便于计算激光特征点三维坐标，利用红外相机对红外光源敏感的特性将其用来提取所采集图像的角点特征。
本方案选择分辨率为384*288的北京华元昊光电科技有限公司生产的TE-EQ1红外相机作为图像传感器。选择美国Velodyne公司生产的测距范围为100m的三维16线激光雷达VLP-16作为激光测距传感器。该激光的三维水平扫描角度范围为360°，水平方向具有0.1°～0.4°的角度分辨率；垂直方向测量角度范围为30°(±15°)，垂直方向最多有16条激光线。每一帧激光数据最多有30000个激光点，激光数据的频率为10赫兹。
如图2所示，为本发明提出的一种多线激光雷达和红外相机的联合标定方法实施流程图。
步骤S1：定义激光雷达和红外相机坐标系，在对应坐标下采集联合标定装置三维激光点云数据和红外图像数据。
具体的，选取一个空旷且远离其他热源的环境，使用由多线激光雷达与红外相机所组成的环境数据采集设备，同时完成激光点云与视觉图像数据的采集。多线激光雷达的前向为X轴、左向为Y轴、垂直向上为Z轴；红外相机的右向为X轴、垂直向下为Y轴、前向为Z轴。环境数据采集设备获得不同视角下的多组数据，采集环境数据时要确保落在联合标定装置上半部分和下半部分的激光线条数分别为4条以上，并且联合标定装置需要完整的呈现在图像内。
步骤S2：对激光数据进行处理，提取联合标定装置上的激光点，根据正六边形6条边的固定关系，在激光点的基础上对正六边形进行拟合，以获取正六边形6个顶点坐标，进而计算特定打孔位置坐标。
具体的，首先根据联合标定装置在三维激光点云数据中的位置阈值，将联合标定装置的三维激光点云数据从整幅数据中单独提取出。然后利用平面拟合算法拟合出联合标定装置平面，将联合标定装置平面内激光点投影到拟合出的平面上，将激光点按其Z轴数值的大小从小到大进行排序。然后按照激光点坐标Z轴数值的变化率将激光线分成多条激光线，并根据每条激光线上激光点数目的多少剔除激光点数目少于阈值的错误激光线。然后根据激光线到正六边形中心点的距离和激光线之间的间距，进一步判断出该激光线在正六边形的上半部分还是下半部分。
根据以上得到的具体的激光线信息，求出落在联合标定装置左上、右上、右下、左下四条边(顺时针方向)的边界点，设这四条直线分别为L1,L2,L3,L4，根据正六边形性质，其六条边满足条件：L1,L2夹角为60度，L1,L3平行，L1,L4夹角为120度。进行正六边形拟合，即获得联合标定装置的多线激光雷达6个角点坐标，得进而可计算出联合标定装置中心点的坐标数据，多线激光雷达数据角点提取结果如图3所示。
步骤S3：对获取的红外图像进行灰度化和二值化处理，进而应用Harris角点检测方法提取图像角点，获得点状光源在图像中的像素坐标，即图像特征点。
具体的，为了从红外图像中获取点状光源的准确像素坐标，首先进行灰度化处理(如图4所示)，然后根据阈值进行二值化处理，二值化处理后的图像如图5所示。进一步对二值化后的图像进行阈值分割，剔除错误区域，然后进行图像Harris角点的提取，并按照位置进行排序，得到正六边形的顶点像素坐标与正六边形中心像素坐标。
步骤S4：基于激光特征点和图像特征点的对应关系，构建变换方程，通过方程求解获取多线激光雷达与红外相机的旋转平移矩阵。
具体的，对步骤二得到的联合标定装置多线激光雷达角点和步骤三得到的对应的图像点进行处理，根据激光角点和图像点在正六边形联合标定装置上的位置，建立对应的点对。建立点对中三维激光点和二维图像点变换方程，利用最小二乘法迭代求解旋转平移矩阵，即可求得多线激光雷达数据到二维视觉图像数据间的变换关系即完成外参信息完成标定。

Claims (6)

1.一种多线激光雷达和红外相机的联合标定装置，其特征在于，所述的联合标定装置采用正六边形设计，选用浅色亚光材质，在联合标定装置上划定大小相等的小六边形区域，并在特定位置打孔，打孔位置固定点状光源，利用红外相机对温度敏感的特性将其用来提取采集图像的角点特征；所述的特定位置为正六边形顶点、中点或内部的小六边形顶点处，以便于计算图像角点特征对应的激光特征点。
2.采用权利要求1所述的联合标定装置进行一种多线激光雷达和红外相机的联合标定方法，其特征在于，包括如下步骤：
步骤S1，定义激光雷达和红外相机坐标系，在对应坐标下采集联合标定装置三维激光点云数据和红外图像数据；步骤S2，对三维激光点云数据进行处理，提取联合标定装置上的激光点，根据正六边形6条边的固定关系，在激光点的基础上对正六边形进行拟合，以获取正六边形6个顶点坐标，进而计算特定打孔位置坐标；步骤S3，对获取的红外图像进行灰度化和二值化处理，进而应用Harris角点检测方法提取图像角点，获得点状光源在图像中的像素坐标，即图像特征点；步骤S4，基于激光特征点和图像特征点的对应关系，构建变换方程，通过方程求解获取多线激光雷达与红外相机的旋转平移矩阵。
3.根据权利要求2所述的联合标定方法，其特征在于，所述的步骤S1具体如下：
选取一个空旷且远离其他热源的环境，使用由多线激光雷达与红外相机所组成的环境数据采集设备，同时完成激光点云与视觉图像数据的采集；多线激光雷达的前向为X轴、左向为Y轴、垂直向上为Z轴；红外相机的右向为X轴、垂直向下为Y轴、前向为Z轴；环境数据采集设备获得不同视角下的三维激光点云数据和红外图像数据，采集环境数据时要确保落在联合标定装置上半部分和下半部分的激光线条数分别为4条以上，并且联合标定装置需要完整的呈现在图像内。
4.根据权利要求2所述的联合标定方法，其特征在于，所述的步骤S2具体如下：
首先根据联合标定装置在三维激光点云数据中的位置阈值，将联合标定装置的三维激光点云数据从整幅数据中单独提取出；然后利用平面拟合算法拟合出联合标定装置平面，将联合标定装置平面内激光点投影到拟合出的平面上，将激光点按其Z轴数值的大小从小到大进行排序；然后按照激光点坐标Z轴数值的变化率将激光线分成多条激光线，并根据每条激光线上激光点数目的多少剔除激光点数目少于阈值的错误激光线；然后根据激光线到正六边形中心点的距离和激光线之间的间距，进一步判断出该激光线在正六边形的上半部分还是下半部分；
根据以上得到的具体的激光线信息，求出落在联合标定装置左上、右上、右下、左下四条边的边界点，设这四条直线分别为L1,L2,L3,L4，根据正六边形性质，其六条边满足条件：L1,L2夹角为60度，L1,L3平行，L1,L4夹角为120度；进行正六边形拟合，即获得联合标定装置的多线激光雷达6个角点坐标，进而计算出联合标定装置中心点的坐标数据。
5.根据权利要求2所述的联合标定方法，其特征在于，所述的步骤S3具体如下：
对红外图像进行灰度化处理，然后根据阈值进行二值化处理，进一步对二值化后的图像进行阈值分割，剔除错误区域，然后进行图像Harris角点的提取，并按照位置进行排序，得到正六边形的顶点像素坐标与正六边形中心像素坐标。
6.根据权利要求2所述的联合标定方法，其特征在于，所述的步骤S4具体如下：对步骤S2得到的联合标定装置多线激光雷达角点和步骤S3得到的对应的图像点进行处理，根据激光角点和图像点在正六边形联合标定装置上的位置，建立对应的点对；建立点对中三维激光点和二维图像点变换方程，利用最小二乘法迭代求解旋转平移矩阵，求得多线激光雷达数据到二维视觉图像数据间的变换关系即完成外参信息完成标定。
CN202010625105.1A 2020-07-02 2020-07-02 一种多线激光雷达和红外相机的联合标定装置及标定方法 Pending CN111856436A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010625105.1A CN111856436A (zh) 2020-07-02 2020-07-02 一种多线激光雷达和红外相机的联合标定装置及标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010625105.1A CN111856436A (zh) 2020-07-02 2020-07-02 一种多线激光雷达和红外相机的联合标定装置及标定方法

Publications (1)

Publication Number Publication Date
CN111856436A true CN111856436A (zh) 2020-10-30

Family

ID=72988945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625105.1A Pending CN111856436A (zh) 2020-07-02 2020-07-02 一种多线激光雷达和红外相机的联合标定装置及标定方法

Country Status (1)

Country Link
CN (1) CN111856436A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置
CN113390514A (zh) * 2021-06-16 2021-09-14 中国人民解放军军事科学院国防工程研究院 一种基于多传感器阵列的三维红外温度测量方法
CN113610929A (zh) * 2021-08-09 2021-11-05 西安外事学院 一种相机与多线激光的联合标定方法
CN113989386A (zh) * 2021-10-27 2022-01-28 武汉高德智感科技有限公司 一种红外相机标定方法及***
CN114004804A (zh) * 2021-10-29 2022-02-01 上汽大众汽车有限公司 表面质量评价方法、装置和计算机可读介质
CN115115595A (zh) * 2022-06-30 2022-09-27 东北林业大学 一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368651A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Mobile imaging platform calibration
CN106842154A (zh) * 2017-01-06 2017-06-13 兰州大学 基于图像识别的多普勒雷达径向速度退模糊方法
CN107253485A (zh) * 2017-05-16 2017-10-17 北京交通大学 异物侵入检测方法及异物侵入检测装置
CN109118542A (zh) * 2017-06-22 2019-01-01 百度在线网络技术（北京）有限公司 激光雷达与相机之间的标定方法、装置、设备及存储介质
CN110823252A (zh) * 2019-11-06 2020-02-21 大连理工大学 一种多线激光雷达和单目视觉的自动标定方法
CN110908377A (zh) * 2019-11-26 2020-03-24 南京大学 一种机器人导航空间约简方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368651A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Mobile imaging platform calibration
CN106842154A (zh) * 2017-01-06 2017-06-13 兰州大学 基于图像识别的多普勒雷达径向速度退模糊方法
CN107253485A (zh) * 2017-05-16 2017-10-17 北京交通大学 异物侵入检测方法及异物侵入检测装置
CN109118542A (zh) * 2017-06-22 2019-01-01 百度在线网络技术（北京）有限公司 激光雷达与相机之间的标定方法、装置、设备及存储介质
CN110823252A (zh) * 2019-11-06 2020-02-21 大连理工大学 一种多线激光雷达和单目视觉的自动标定方法
CN110908377A (zh) * 2019-11-26 2020-03-24 南京大学 一种机器人导航空间约简方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置
CN113390514A (zh) * 2021-06-16 2021-09-14 中国人民解放军军事科学院国防工程研究院 一种基于多传感器阵列的三维红外温度测量方法
CN113610929A (zh) * 2021-08-09 2021-11-05 西安外事学院 一种相机与多线激光的联合标定方法
CN113610929B (zh) * 2021-08-09 2023-08-18 西安外事学院 一种相机与多线激光的联合标定方法
CN113989386A (zh) * 2021-10-27 2022-01-28 武汉高德智感科技有限公司 一种红外相机标定方法及***
CN114004804A (zh) * 2021-10-29 2022-02-01 上汽大众汽车有限公司 表面质量评价方法、装置和计算机可读介质
CN115115595A (zh) * 2022-06-30 2022-09-27 东北林业大学 一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法
CN115115595B (zh) * 2022-06-30 2023-03-03 东北林业大学 一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法

Similar Documents

Publication Publication Date Title
CN111856436A (zh) 一种多线激光雷达和红外相机的联合标定装置及标定方法
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
CN110823252B (zh) 一种多线激光雷达和单目视觉的自动标定方法
Borrmann et al. Thermal 3D mapping of building façades
CN108535321A (zh) 一种基于三维红外热成像技术的建筑热工性能检测方法
CN109472831A (zh) 面向压路机施工过程的障碍物识别测距***及方法
CN104567727B (zh) 利用立体靶标对线结构光轮廓传感器的全局统一校准方法
CN110879401A (zh) 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN104156972A (zh) 基于激光扫描测距仪与多相机融合的透视成像方法
CN108389233B (zh) 基于边界约束和均值逼近的激光扫描仪与相机标定方法
CN112419429B (zh) 一种基于多视角的大型工件表面缺陷检测标定方法
EP4104137B1 (en) Composite three-dimensional blob tool and method for operating the same
CN111028271A (zh) 基于人体骨架检测的多摄像机人员三维定位跟踪***
CN112017248B (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
CN113223135A (zh) 一种基于特殊复合平面镜虚像成像的三维重建装置和方法
CN113096183A (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
Oreifej et al. Automatic generation of 3d thermal maps of building interiors
Yamaguchi et al. Superimposing thermal-infrared data on 3D structure reconstructed by RGB visual odometry
Li et al. Laser scanning based three dimensional measurement of vegetation canopy structure
CN106780593A (zh) 一种彩色深度图像的获取方法、获取设备
Sun et al. High-accuracy three-dimensional measurement based on multi-directional cooperative target with weighted SfM algorithm
Kim et al. An active trinocular vision system of sensing indoor navigation environment for mobile robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication