CN116400349A - 一种低分辨率毫米波雷达与光学相机的标定方法 - Google Patents

一种低分辨率毫米波雷达与光学相机的标定方法 Download PDF

Info

Publication number
CN116400349A
CN116400349A CN202211589130.4A CN202211589130A CN116400349A CN 116400349 A CN116400349 A CN 116400349A CN 202211589130 A CN202211589130 A CN 202211589130A CN 116400349 A CN116400349 A CN 116400349A
Authority
CN
China
Prior art keywords
millimeter wave
wave radar
dimensional
point cloud
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211589130.4A
Other languages
English (en)
Inventor
周叶剑
李琛玮
李冰凝
陈法龙
彭同友
陈博
张文安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unit 61191 Of Chinese Pla
Zhejiang University of Technology ZJUT
Original Assignee
Unit 61191 Of Chinese Pla
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unit 61191 Of Chinese Pla, Zhejiang University of Technology ZJUT filed Critical Unit 61191 Of Chinese Pla
Publication of CN116400349A publication Critical patent/CN116400349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开一种低分辨率毫米波雷达与光学相机的标定方法，将毫米波雷达采集的单帧雷达点云信息与位姿传感器采集的位姿信息融合，输出包含标定板位置信息的点云地图；利用点云滤波算法以及聚类算法对点云地图进行处理，以提取出标定板的毫米波雷达点云；使用目标分割算法分割出标定板在原始图像信息中的二维边缘特征点位置信息；通过标定板的结构先验构建其三维模型，并将其与毫米波雷达点云块进行配准，从而得到拟合后的标定板三维边缘特征点位置信息，并与分割出的二维边缘特征点位置信息进行匹配，得到多组二维与三维的匹配特征点对信息；将多组二维与三维的匹配特征点对信息，作为PnP算法的输入，计算得到用于毫米波雷达与相机标定的外参矩阵。

Description

一种低分辨率毫米波雷达与光学相机的标定方法
技术领域
本发明涉及多传感器融合的外参标定技术领域，具体涉及一种低分辨率毫米波雷达与光学相机的标定方法。
背景技术
三维环境感知一直是无人车定位、路径规划导航、三维重建等任务的关键，在三维环境感知的任务中激光雷达、毫米波雷达以及光学相机等传感器都扮演着重要的角色。相比于雷达，光学相机因其可以拿到稠密的场景RGB信息而受到广泛关注，但是无论是单目还是双目相机都无法拿到场景准确的三维信息。因此在实际应用中常与其他测距传感器例如激光雷达进行融合，用于完成具有尺度的三维重建、实时定位与建图等工作。近年来，毫米波雷达因其可以用于大雾、大雨等殊环境而受到国内外学者的高度关注，产生了许多毫米波雷达的相关研究成果。但是目前市面上的毫米波雷达相比与激光雷达依然有着很多缺点，例如：单帧的点云数据稀疏、精度低、易受干扰、杂点多等。这也使得毫米波雷达与其他传感器的空间标定任务更加困难。而多传感器的空间标定通常是完成多源信息融合感知算法的关键一环。
毫米波雷达与相机的标定工作一般使用雷达所测得目标的速度、距离以及水平方位角信息与图像或图像流进行信息的匹配，例如基于强反射标定物并在标定方程中添加了几何约束实现360°的毫米波雷达与相机的配准的方法，使用雷达所测目标的速度维信息，并在图像序列中寻找对应的目标来对毫米波雷达与相机进行标定的方法等。但是上述标定工作主要用于大型室外环境的三维重建，上述标定工作采用的毫米波雷达分辨率较高，标定方案也不具有普适性，在实际工程中，限于价格，在大多数应用场景中都采用数据较为稀疏的毫米波雷达，使得在毫米波雷达与光学相机空间标定工作中无法使用上述的标定方法来完成毫米波雷达与相机的标定。
发明内容
本发明的目的在于提供一种低分辨率毫米波雷达与光学相机的标定方法，标定结果的准确率高，且在较为空旷的环境以及杂物较多的环境具有有效性与鲁棒性，应用场景广泛。
为实现以上目的，本发明采用以下技术方案：
一种低分辨率毫米波雷达与光学相机的标定方法，包括步骤：
S1、搭建标定板以及标定采集设备，标定采集设备包括相机、毫米波雷达、位姿传感器；
S2、相机采集标定板原始图像信息，毫米波雷达采集标定板单帧雷达点云信息，位姿传感器采集移动平台的位姿信息；
S3、将单帧雷达点云信息与位姿信息融合，输出包含标定板位置信息的点云地图；
S4、利用点云滤波算法以及聚类算法对点云地图进行处理，以提取出标定板的毫米波雷达点云块；
S5、使用目标分割算法分割出标定板在原始图像信息中的二维边缘特征点位置信息；
S6、通过标定板的结构先验构建其三维模型，并将其与毫米波雷达点云块进行配准，从而得到拟合后的标定板三维边缘特征点位置信息，并与步骤S5中的二维边缘特征点位置信息进行匹配，以得到多组二维与三维的匹配特征点对信息；
S7、将多组二维与三维的匹配特征点对信息，作为PnP算法的输入，以计算得到用于毫米波雷达与相机标定的外参矩阵。
作为优选方案，步骤S3中，包括步骤：
S3.1、划定雷达点云信息中的有效区域，并滤除其单帧的低精度点；
S3.2、基于预设的CFAR阈值滤除毫米波雷达噪点；
S3.3、根据每一帧雷达点云信息对应的位姿信息，将雷达点云信息统一至全局坐标系下；
S3.4、使用概率模型，判断给定测量值时体素被占据的概率大小来确定地图点是否采用；
S3.5、根据步骤S3.4中被采用的地图点，完成毫米波雷达建图，输出包含标定板位置信息的点云地图。
作为优选方案，步骤S3.3中所述根据每一帧雷达点云信息对应的位姿信息，将雷达点云信息统一至全局坐标系下，采用的计算公式为：
Figure BDA0003989612450000031
其中，
Figure BDA0003989612450000032
表示t时刻下毫米波雷达检测得到的在全局坐标系下的单帧雷达点云坐标，/>
Figure BDA0003989612450000033
表示t时刻下毫米波雷达检测得到的在局部坐标系下的单帧雷达点云坐标，/>
Figure BDA0003989612450000034
表示t时刻下位全局坐标系到相机坐标系的三维旋转矩阵，/>
Figure BDA0003989612450000035
表示t时刻下全局坐标系到相机坐标系的三维平移向量。
作为优选方案，步骤S3.4使用的概率模型为：
Figure BDA0003989612450000041
其中
Figure BDA0003989612450000042
为t时刻之前给定测量值时节点n被占据的概率，P(n)为先验概率，
Figure BDA0003989612450000043
为t-1时刻给定测量值时节点n被占据的概率，/>
Figure BDA0003989612450000044
表示t时刻给定测量值时节点n被占据的概率，/>
Figure BDA0003989612450000045
表示t时刻之前毫米波雷达检测得到的在全局坐标系下的所有帧的雷达点云坐标。
作为优选方案，步骤S4中，包括步骤：
S4.1、对点云地图进行下采样，并利用点云滤波算法滤除离群点；
S4.2、使用欧式聚类算法对点云地图中的不同部分进行聚类；
S4.3、根据每个点云类的边缘特征以及面特征，从中提取出标定板的毫米波雷达点云块。
作为优选方案，步骤S1具体为：
使用两块成90°夹角的反射板作为标定板，在移动平台上固定安装毫米波雷达以及相机。
作为优选方案，步骤S6中所述三维模型基于标定板的真实尺寸以及夹角进行构建。
作为优选方案，步骤S6中，采用迭代最近点算法将标定板三维模型与毫米波雷达点云块进行匹配。
作为优选方案，位姿传感器采用轮式里程计。
作为优选方案，步骤S7中，包括步骤：
S7.1、构建优化问题：
Figure BDA0003989612450000051
S7.2、将外参矩阵的求解转换为非线性最小二乘问题：
Figure BDA0003989612450000052
S7.3、使用LM优化方法求解标定矩阵；
其中，zc为尺度因子，M为相机的内参矩阵，R为毫米波雷达坐标系坐标到相机坐标系坐标的三维旋转矩阵，T为毫米波雷达坐标系与相机坐标系的三维平移向量，p'P为二维边缘特征点坐标估计值，Pr为标定板三维边缘特征点位置坐标，pr为二维边缘特征点坐标。
本发明的有益效果是：
1、本发明将毫米波雷达采集的单帧雷达点云信息与位姿传感器采集的位姿信息融合，输出包含标定板位置信息的点云地图；利用点云滤波算法以及聚类算法对点云地图进行处理，以提取出标定板的毫米波雷达点云；使用目标分割算法分割出标定板在原始图像信息中的二维边缘特征点位置信息；通过标定板的结构先验构建其三维模型，并将其与毫米波雷达点云块进行配准，从而得到拟合后的标定板三维边缘特征点位置信息，并与分割出的二维边缘特征点位置信息进行匹配，得到多组二维与三维的匹配特征点对信息；将多组二维与三维的匹配特征点对信息，作为PnP算法的输入，计算得到用于毫米波雷达与相机标定的外参矩阵。使用本发明所述算法得到的外参矩阵，在毫米波雷达和光学相机的标定任务中，得到的标定结果准确率高，且在较为空旷的环境以及杂物较多的环境中具有有效性与鲁棒性，应用场景广泛。
2、本发明首次使用标定板完成低分辨率毫米波雷达与光学相机的标定任务，搭建的标定环境和标定采集设备简单且易于操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所述的一种低分辨率毫米波雷达与光学相机的标定方法的流程图。
图2是毫米波雷达与光学相机在移动平台上固定安装的位置图。
图3是在标定环境和场景一中分别使用人工提取标定板特征点和本发明所述算法提取标定板特征点得到的重投影效果的精度量化结果的数据对比图。
图4是使用本发明所述的算法分别在场景一、场景二下两次实验得到的重投影效果的精度量化结果图。
具体实施方式
以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
参照图1，本实施例提供了一种低分辨率毫米波雷达与光学相机的标定方法，包括步骤：
S1、搭建标定板以及标定采集设备，标定采集设备包括相机、毫米波雷达、位姿传感器；
S2、相机采集标定板原始图像信息，毫米波雷达采集标定板单帧雷达点云信息，位姿传感器采集移动平台的位姿信息；
S3、将单帧雷达点云信息与位姿信息融合，输出包含标定板位置信息的点云地图；
S4、利用点云滤波算法以及聚类算法对点云地图进行处理，以提取出标定板的毫米波雷达点云块；
S5、使用目标分割算法分割出标定板在原始图像信息中的二维边缘特征点位置信息；
S6、通过标定板的结构先验构建其三维模型，并将其与毫米波雷达点云块进行配准，从而得到拟合后的标定板三维边缘特征点位置信息，并与步骤S5中的二维边缘特征点位置信息进行匹配，以得到多组二维与三维的匹配特征点对信息；
S7、将多组二维与三维的匹配特征点对信息，作为PnP算法的输入，以计算得到用于毫米波雷达与相机标定的外参矩阵。
使用本发明所述算法得到的外参矩阵，在毫米波雷达与光学相机的标定任务中，得到的标定结果准确率高，且在较为空旷的环境以及杂物较多的环境中具有有效性与鲁棒性，应用场景广泛。
具体的：
步骤S3中，包括步骤：
S3.1、划定雷达点云信息中的有效区域，并滤除其单帧的低精度点；
S3.2、基于预设的CFAR阈值滤除毫米波雷达噪点；
S3.3、根据每一帧雷达点云信息对应的位姿信息，将雷达点云信息统一至全局坐标系下；
S3.4、使用概率模型，判断给定测量值时体素被占据的概率大小来确定地图点是否采用；
S3.5、根据步骤S3.4中被采用的地图点，完成毫米波雷达建图，输出包含标定板位置信息的点云地图。
步骤S3.3中所述根据每一帧雷达点云信息对应的位姿信息，将雷达点云信息统一至全局坐标系下，采用的计算公式为：
Figure BDA0003989612450000081
其中，
Figure BDA0003989612450000082
表示t时刻下毫米波雷达检测得到的在全局坐标系下的单帧雷达点云坐标，/>
Figure BDA0003989612450000083
表示t时刻下毫米波雷达检测得到的在局部坐标系下的单帧雷达点云坐标，/>
Figure BDA0003989612450000084
表示t时刻下位全局坐标系到相机坐标系的三维旋转矩阵，/>
Figure BDA0003989612450000085
表示t时刻下全局坐标系到相机坐标系的三维平移向量。
步骤S3.4使用的概率模型为：
Figure BDA0003989612450000086
其中
Figure BDA0003989612450000087
为t时刻之前给定测量值时节点n被占据的概率，P(n)为先验概率，
Figure BDA0003989612450000091
为t-1时刻给定测量值时节点n被占据的概率，/>
Figure BDA0003989612450000092
表示t时刻给定测量值时节点n被占据的概率，/>
Figure BDA0003989612450000093
表示t时刻之前毫米波雷达检测得到的在全局坐标系下的所有帧的雷达点云坐标。
步骤S4中，包括步骤：
S4.1、对点云地图进行下采样，并利用点云滤波算法滤除离群点；
S4.2、使用欧式聚类算法对点云地图中的不同部分进行聚类；
S4.3、根据每个点云类的边缘特征以及面特征，从中提取出标定板的毫米波雷达点云块。
步骤S1具体为：
使用两块成90°夹角的反射板作为标定板，在移动平台上固定安装毫米波雷达以及相机。本发明的光学相机使用zed2双目相机的左相机作为单目相机，其分辨率为672×376，水平视角110°，垂直视角最大70°，相机内参默认使用zed2的官方数据。毫米波雷达使用TI公司的IWR1443，其水平视角最大为120°，俯仰角最大30°，距离分辨率最好为4cm，水平角分辨率为15°，垂直角分辨率为60°。移动机器人平台使用Turtlebot2。毫米波雷达和相机的固定安装位置参见图2。
步骤S2中所述的位姿传感器采用轮式里程计。位姿传感器采集的移动平台的位姿信息为移动平台的位置和姿态，位姿信息的变化包括平移和旋转两种变化。
步骤S6中所述三维模型基于标定板的真实尺寸以及夹角进行构建。
步骤S6中，采用迭代最近点算法将标定板三维模型与毫米波雷达点云块进行匹配。
步骤S7中，包括步骤：
S7.1、构建优化问题：
Figure BDA0003989612450000101
S7.2、将外参矩阵的求解转换为非线性最小二乘问题：
Figure BDA0003989612450000102
S7.3、使用LM优化方法求解标定矩阵；
其中，zc为尺度因子，M为相机的内参矩阵，R为毫米波雷达坐标系坐标到相机坐标系坐标的三维旋转矩阵，T为毫米波雷达坐标系与相机坐标系的三维平移向量，p'P为二维边缘特征点坐标估计值，Pr为标定板三维边缘特征点位置坐标，pr为二维边缘特征点坐标。
以下通过具体实验，以说明本实施例所述标定方法的优势：
实验中的标定环境为，在一个空旷的房间内，只有两块作为标定板的成90°夹角的反射板；场景一为，在上述空旷的房间内，除两块标定板外，还存在有其他干扰物体；场景二为，在场景一基础上包含更多杂物的房间。
分别用人工和本发明所述算法在标定板点云块上提取六个三维特征点。在标定环境和场景一中，分别将使用人工以及本发明所述算法提取的三维特征点位置信息与分割出的二维特征点位置信息匹配，分别将使用上述两种方法得到的六组二维与三维的匹配特征点对信息作为标定算法的输入，得到标定结果。在搭建的标定环境以及场景一中，使用两种不同方法得到的重投影效果的精度量化结果数据对比参见图3。
根据图3所示的实验结果，使用人工提取特征点的方法，在标定环境中重投影效果更好，但其得到的是错误的局部最优解，导致在场景一中并不能很好得将点云投影到目标的像素区域。而使用本发明所述的算法提取特征点，在标定环境和场景一中，重投影准确率都很高，且在场景一中，重投影效果远好于使用人工提取特征点的方法。
使用本发明所述算法得到的外参矩阵，分别在场景一和场景二下做两次实验，得到的重投影效果的精度量化结果参见图4。根据图4所示的实验结果，使用本发明所述算法得到的外参矩阵，在空旷的环境以及杂物较多的环境中具有有效性与鲁棒性，重投影验证精度平均在0.7左右。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。

Claims (10)

1.一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，包括步骤：
S1、搭建标定板以及标定采集设备，标定采集设备包括相机、毫米波雷达、位姿传感器；
S2、相机采集标定板原始图像信息，毫米波雷达采集标定板单帧雷达点云信息，位姿传感器采集移动平台的位姿信息；
S3、将单帧雷达点云信息与位姿信息融合，输出包含标定板位置信息的点云地图；
S4、利用点云滤波算法以及聚类算法对点云地图进行处理，以提取出标定板的毫米波雷达点云块；
S5、使用目标分割算法分割出标定板在原始图像信息中的二维边缘特征点位置信息；
S6、通过标定板的结构先验构建其三维模型，并将其与毫米波雷达点云块进行配准，从而得到拟合后的标定板三维边缘特征点位置信息，并与步骤S5中的二维边缘特征点位置信息进行匹配，以得到多组二维与三维的匹配特征点对信息；
S7、将多组二维与三维的匹配特征点对信息，作为PnP算法的输入，以计算得到用于毫米波雷达与相机标定的外参矩阵。
2.根据权利要求1所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，步骤S3中，包括步骤：
S3.1、划定雷达点云信息中的有效区域，并滤除其单帧的低精度点；
S3.2、基于预设的CFAR阈值滤除毫米波雷达噪点；
S3.3、根据每一帧雷达点云信息对应的位姿信息，将雷达点云信息统一至全局坐标系下；
S3.4、使用概率模型，判断给定测量值时体素被占据的概率大小来确定地图点是否采用；
S3.5、根据步骤S3.4中被采用的地图点，完成毫米波雷达建图，输出包含标定板位置信息的点云地图。
3.根据权利要求2所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，步骤S3.3中所述根据每一帧雷达点云信息对应的位姿信息，将雷达点云信息统一至全局坐标系下，采用的计算公式为：
Figure FDA0003989612440000021
其中，
Figure FDA0003989612440000022
表示t时刻下毫米波雷达检测得到的在全局坐标系下的单帧雷达点云坐标，
Figure FDA0003989612440000023
表示t时刻下毫米波雷达检测得到的在局部坐标系下的单帧雷达点云坐标，/>
Figure FDA0003989612440000024
表示t时刻下位全局坐标系到相机坐标系的三维旋转矩阵，Tt O表示t时刻下全局坐标系到相机坐标系的三维平移向量。
4.根据权利要求3所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，步骤S3.4使用的概率模型为：
Figure FDA0003989612440000025
其中
Figure FDA0003989612440000026
为t时刻之前给定测量值时节点n被占据的概率，P(n)为先验概率，
Figure FDA0003989612440000027
为t-1时刻给定测量值时节点n被占据的概率，/>
Figure FDA0003989612440000028
表示t时刻给定测量值时节点n被占据的概率，/>
Figure FDA0003989612440000031
表示t时刻之前毫米波雷达检测得到的在全局坐标系下的所有帧的雷达点云坐标。
5.根据权利要求1所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，步骤S4中，包括步骤：
S4.1、对点云地图进行下采样，并利用点云滤波算法滤除离群点；
S4.2、使用欧式聚类算法对点云地图中的不同部分进行聚类；
S4.3、根据每个点云类的边缘特征以及面特征，从中提取出标定板的毫米波雷达点云块。
6.根据权利要求1所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，步骤S1具体为：
使用两块成90°夹角的反射板作为标定板，在移动平台上固定安装毫米波雷达以及相机。
7.根据权利要求6所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，步骤S6中所述三维模型基于标定板的真实尺寸以及夹角进行构建。
8.根据权利要求7所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，步骤S6中，采用迭代最近点算法将标定板三维模型与毫米波雷达点云块进行匹配。
9.根据权利要求1所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，位姿传感器采用轮式里程计。
10.根据权利要求1所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，步骤S7中，包括步骤：
S7.1、构建优化问题：
Figure FDA0003989612440000041
S7.2、将外参矩阵的求解转换为非线性最小二乘问题：
Figure FDA0003989612440000042
S7.3、使用LM优化方法求解标定矩阵；
其中，zc为尺度因子，M为相机的内参矩阵，R为毫米波雷达坐标系坐标到相机坐标系坐标的三维旋转矩阵，T为毫米波雷达坐标系与相机坐标系的三维平移向量，p'P为二维边缘特征点坐标估计值，Pr为标定板三维边缘特征点位置坐标，pr为二维边缘特征点坐标。
CN202211589130.4A 2022-12-07 2022-12-09 一种低分辨率毫米波雷达与光学相机的标定方法 Pending CN116400349A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211564786 2022-12-07
CN2022115647860 2022-12-07

Publications (1)

Publication Number Publication Date
CN116400349A true CN116400349A (zh) 2023-07-07

Family

ID=87011140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211589130.4A Pending CN116400349A (zh) 2022-12-07 2022-12-09 一种低分辨率毫米波雷达与光学相机的标定方法

Country Status (1)

Country Link
CN (1) CN116400349A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036511A (zh) * 2023-10-08 2023-11-10 之江实验室 多类型传感器的标定方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036511A (zh) * 2023-10-08 2023-11-10 之江实验室 多类型传感器的标定方法、装置、计算机设备和存储介质
CN117036511B (zh) * 2023-10-08 2024-03-26 之江实验室 多类型传感器的标定方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN108369743B (zh) 使用多方向相机地图构建空间
Fruh et al. Fast 3D model generation in urban environments
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
CN110910389B (zh) 一种基于图描述子的激光slam回环检测***及方法
US20230222688A1 (en) Mobile device positioning method and positioning apparatus
Pirker et al. GPSlam: Marrying Sparse Geometric and Dense Probabilistic Visual Mapping.
Zhang LILO: A novel LiDAR–IMU SLAM system with loop optimization
John et al. Automatic calibration and registration of lidar and stereo camera without calibration objects
CN116400349A (zh) 一种低分辨率毫米波雷达与光学相机的标定方法
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
CN112258631B (zh) 一种基于深度神经网络的三维目标检测方法及***
Wang et al. Improved LeGO-LOAM method based on outlier points elimination
CN112381873B (zh) 一种数据标注方法及装置
CN113838129A (zh) 一种获得位姿信息的方法、装置以及***
CN113256696A (zh) 基于自然场景的激光雷达和相机的外参标定方法
Le Besnerais et al. Dense height map estimation from oblique aerial image sequences
Song et al. Registration for 3D LiDAR datasets using pyramid reference object
CN114648639B (zh) 一种目标车辆的检测方法、***及装置
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN115830116A (zh) 一种鲁棒视觉里程计方法
Chen et al. Amobile system combining laser scanners and cameras for urban spatial objects extraction
Grelsson et al. Efficient 7D aerial pose estimation
Steinemann et al. Determining the outline contour of vehicles In 3D-LIDAR-measurements
Zhao et al. The construction method of the digital operation environment for bridge cranes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination