CN116051650A - 激光雷达与相机联合的外部参数标定方法及装置 - Google Patents

激光雷达与相机联合的外部参数标定方法及装置 Download PDF

Info

Publication number
CN116051650A
CN116051650A CN202211644585.1A CN202211644585A CN116051650A CN 116051650 A CN116051650 A CN 116051650A CN 202211644585 A CN202211644585 A CN 202211644585A CN 116051650 A CN116051650 A CN 116051650A
Authority
CN
China
Prior art keywords
target
point cloud
coordinate system
frame
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211644585.1A
Other languages
English (en)
Inventor
李平
郭交通
叶茂
潘力澜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Network Technology Shanghai Co Ltd
Original Assignee
International Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Network Technology Shanghai Co Ltd filed Critical International Network Technology Shanghai Co Ltd
Priority to CN202211644585.1A priority Critical patent/CN116051650A/zh
Publication of CN116051650A publication Critical patent/CN116051650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种激光雷达与相机联合的外部参数标定方法及装置，通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；检测图片中的第一标靶信息，根据第一标靶信息和点云数据检测点云数据中的第二标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态、每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态；计算雷达坐标系与车体坐标系的转换参数初始值；通过非线性优化算法得到每个标靶与第一帧激光雷达坐标系的相对姿态、点云在雷达坐标系下的姿态、不同坐标系间的转换参数标定值，避免分开标定带来的标定结果不一致的问题，提升标定精度，降低标定成本，降低对标定场地的要求。

Description

激光雷达与相机联合的外部参数标定方法及装置
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种激光雷达与相机联合的外部参数标定方法及装置。
背景技术
激光雷达(Light Detection And Ranging,LiDAR)通过直接测量的方式，能够提供环境深度信息，但分辨率相对较低。相机能够提供丰富的环境信息，但是缺乏深度信息，同时易受光照影响。因此，激光雷达与相机的组合形成很好的互补，在机器人和自动驾驶领域被广泛应用于感知、定位等重要任务。在自动驾驶领域中，感知与定位的结果最终需要反映在车体坐标系下，这需要对高精度的传感器的外部参数进行标定以将其获取的数据转换到车体坐标系下。现有的标定方法大多采用分步标定的方式：先通过标靶对激光雷达和相机进行标定，再通过其它手段标定其中任一传感器到车体坐标系下的外部参数，传感器到车体坐标系下的外部参数标定多采用手眼标定方式，而这种方式需要车辆高速运动，同时还需要对车辆本身的参数进行标定。此外，待标定的传感器(相机或激光雷达)需要实现连续的轨迹估计，而轨迹估计还需借助组合导航***或者价格较高的摆正器等设备，导致标定成本较高，并且，需要预先完成一些标定动作、标定步骤多、技术难度大，另外分步标定的方式难以保证标定结果的一致性。
发明内容
本发明提供一种激光雷达与相机联合的外部参数标定方法及装置，用以解决传统激光雷达与相机联合的外部参数标定方法标定成本较高，技术难度大，且不能保证标定结果一致性的缺陷。
本发明提供一种激光雷达与相机联合的外部参数标定方法，包括：
通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；
检测图片中的第一标靶信息，根据所述第一标靶信息和所述点云数据检测点云数据中的第二标靶信息；
根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；
通过非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述第一标靶信息，包括：标靶角点2D坐标和标靶ID信息。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，包括：
根据已知的标靶尺寸信息以及所述标靶角点2D坐标和标靶ID信息，利用PnP算法估计出每个标靶和每帧图片相对第一帧图片的初始姿态。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述根据所述第一标靶信息和所述点云数据检测点云数据中的第二标靶信息包括：
对所述点云数据进行筛选得到非地面点云数据；
对所述非地面点云数据进行聚类，得到多个点云聚类；
根据已知的标靶尺寸信息对所述多个点云聚类进行过滤得到第一疑似标靶点云聚类；
根据相机与激光雷达的设计参数将所述疑似标靶点云聚类投影到图片，将图片中标靶位置与所述疑似标靶点云聚类投影到图片的位置进行比较，得到第二疑似标靶点云聚类；
对所述第二疑似标靶点云聚类进行平面度筛选，得到所述第二标靶信息。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述对所述点云数据进行筛选得到非地面点云数据，包括：
使用随机采样一致方法分割出点云数据中的地面点云数据；
利用所述地面点云数据拟合平面，得到雷达坐标系下的地面点云参数平面方程；
根据所述地面点云参数平面方程筛选出非地面点云数据。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述根据所述第一标靶信息和所述第二标靶信息估计出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，包括：
根据所述标靶ID关联连续两帧图片中的相同标靶，根据所述每个标靶和每帧图片相对第一帧图片的初始姿态和已知的标靶尺寸信息得到3D坐标到2D坐标的映射关系；
根据所述3D坐标到2D坐标的映射关系和所述标靶角点2D坐标计算所述标靶角点在第一帧相机坐标系下的3D坐标；
计算所述标靶角点在第一帧相机坐标系下的3D坐标投影到图片上的投影2D坐标与所述图片中标靶图案的2D坐标之间的差值；
通过最小化所述差值优化所述每个标靶和每帧图片相对第一帧图片的初始姿态；
根据优化后的所述每个标靶和每帧图片相对第一帧图片的初始姿态，以及所述相机与激光雷达的参数设计值，计算每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述根据所述3D坐标到2D坐标的映射关系和所述标靶角点2D坐标计算所述标靶角点在第一帧相机坐标系下的3D坐标，包括：
根据所述映射关系计算帧间相对运动关系；
固定第一帧相机姿态，根据所述帧间相对运动关系获得所有帧在第一帧相机坐标系下的相机姿态；
根据所述所有帧在第一帧相机坐标系下的相机姿态以及所述每个标靶图案与相机的相对姿态，计算标靶在第一帧相机坐标系下的姿态；
根据所述标靶在第一帧相机坐标系下的姿态和已知的标靶尺寸信息计算标靶角点在第一帧相机坐标系下的3D坐标。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值，包括：
根据SFM方法筛选出静止时间段的点云数据；
根据所述静止时间段的点云数据对应的地面点云参数平面方程和激光雷达安装设计值，估计出雷达坐标系与车体坐标系的转换参数初始值，所述雷达坐标系与车体坐标系的转换参数包括雷达坐标系相对于车体坐标系的横滚和俯仰角。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述非线性优化算法，包括：
最小化重投影误差模型、点云关联误差模型、非完整性约束误差模型、安装先验误差模型和点云投影误差模型中的至少一种。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，还包括：
使用LM方法求解所述非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述最小化重投影误差模型构建方法，包括：
根据根据所述标靶角点在第一帧相机坐标系下的3D坐标投影到图片上的投影2D坐标与所述图片中标靶图案的2D坐标之间的差值构建重投影误差模型。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述点云关联误差模型构建方法，包括：
计算点云数据中同一平面的点计算协方差矩阵，所述协方差矩阵最小特征值为所述平面的匹配误差，将所有平面的匹配误差之和作为点云关联误差模型。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述非完整性约束误差模型构建方法，包括：
根据所述每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态以及所述雷达坐标系与车体坐标系的转换参数初始值计算车体的运动轨迹；
根据所述车体的运动轨迹将任一帧车体姿态投影至前一帧，根据投影后的每帧数据使用匀速运动假设计算车体速度，利用车体侧向速度为零的假设构建非完整性约束误差模型。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述安装先验误差模型构建方法，包括：
根据雷达坐标系在车体坐标系下的设计位置坐标约束，以及横滚和俯仰角约束构建安装先验误差模型。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述点云投影误差模型构建方法，包括：
将相机与激光雷达的设计参数将疑似标靶点云聚类投影到图片，根据图片中标靶位置与所述疑似标靶点云聚类投影到图片的位置误差之和构建点云投影误差模型。
本发明提供的一种激光雷达与相机联合的外部参数标定方法，所述通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据，包括：
获取所述标靶静止时间段的图片和点云数据，以及，获取所述标靶运动时间段的图片和点云数据。
本发明还提供一种激光雷达与相机联合的外部参数标定装置，包括：
获取模块，用于通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；
检测模块，用于检测图片中的第一标靶信息，根据所述第一标靶信息和所述点云数据检测点云数据中的第二标靶信息；
初始估计模块，用于根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；
优化模块，用于通过非线性优化算法，得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的激光雷达与相机联合的外部参数标定方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的激光雷达与相机联合的外部参数标定方法。
本发明提供的激光雷达与相机联合的外部参数标定方法及装置，激光雷达与相机联合的外部参数标定方法包括通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；检测图片中的第一标靶信息，根据第一标靶信息和所述点云数据检测点云数据中的第二标靶信息；根据第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；通过非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值，避免了相机与激光雷达分开标定带来的标定结果不一致的问题，提升标定精度，标定过程只使用尺寸已知的标靶，不依赖于其他硬件设备，降低标定成本，操作简便，并且无需车辆高速、高动态运动，进一步降低了对标定场地的要求。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的激光雷达与相机联合的外部参数标定方法的流程示意图之一；
图2是本发明提供的激光雷达与相机联合的外部参数标定方法的流程示意图之二；
图3是本发明提供的激光雷达与相机联合的外部参数标定方法的流程示意图之三；
图4是本发明提供的激光雷达与相机联合的外部参数标定方法的流程示意图之四；
图5是本发明提供的激光雷达与相机联合的外部参数标定方法的流程示意图之五；
图6是本发明提供的激光雷达与相机联合的外部参数标定装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的激光雷达与相机联合的外部参数标定方法的流程图，如图1所示，本发明实施例提供的激光雷达与相机联合的外部参数标定方法包括：
步骤101、通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；
在本发明实施例中，通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据，包括：
获取标靶静止时间段的图片和点云数据，以及，获取标靶运动时间段的图片和点云数据。
在本发明实施例中，控制标靶先静止再运动，分别获取静止时间段的图片和点云数据和标靶运动时间段的图片和点云数据。
步骤102、检测图片中的第一标靶信息，根据第一标靶信息和所述点云数据检测点云数据中的第二标靶信息；
在本发明实施例中，第一标靶信息包括标靶角点2D坐标和标靶ID信息。
步骤103、根据第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；
在本发明实施例中，根据已知的标靶尺寸信息以及标靶角点2D坐标和标靶ID信息，利用PnP(Perspective from N Point，透视N点投影)算法估计出每个标靶与相机的初始相对姿态。
PnP(Perspective-n-Point)算法是求解3D到2D点对运动的方法。
步骤104、通过非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
在本发明实施例中，还包括：
使用LM(Levenberg-Marquardt，列文伯格-马夸尔特)方法求解所述非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
传统的相机和激光雷达外部参数标定方法大多采用分步标定的方式：先通过标靶对激光雷达和相机进行标定，再通过其它手段标定其中任一传感器到车体坐标系下的外部参数，传感器到车体坐标系下的外部参数标定多采用手眼标定方式，而这种方式需要车辆高速运动，同时还需要对车辆本身的参数进行标定。此外，待标定的传感器(相机或激光雷达)需要实现连续的轨迹估计，而轨迹估计还需借助组合导航***或者价格较高的摆正器等设备，导致标定成本较高，并且，需要预先完成一些标定动作、标定步骤多、技术难度大，另外分步标定的方式难以保证标定结果的一致性。
本发明实施例提供的激光雷达与相机联合的外部参数标定方法包括通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；检测图片中的第一标靶信息，根据第一标靶信息和所述点云数据检测点云数据中的第二标靶信息；根据第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；通过非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值，避免了相机与激光雷达分开标定带来的标定结果不一致的问题，提升标定精度，标定过程只使用尺寸已知的标靶，不依赖于其他硬件设备，降低标定成本，操作简便，并且无需车辆高速、高动态运动，进一步降低了对标定场地的要求。
基于上述任一实施例，如图2所示，根据第一标靶信息和点云数据检测点云数据中的第二标靶信息，包括：
步骤201、对点云数据进行筛选得到非地面点云数据；
在本发明实施例中，对点云数据进行筛选得到非地面点云数据，包括：
步骤2011、使用随机采样一致方法分割出点云数据中的地面点云数据；
步骤2012、利用地面点云数据拟合平面，得到雷达坐标系下的地面点云参数平面方程；
步骤2013、根据地面点云参数平面方程筛选出非地面点云数据。
步骤202、对非地面点云数据进行聚类，得到多个点云聚类；
步骤203、根据已知的标靶尺寸信息对多个点云聚类进行过滤得到第一疑似标靶点云聚类；
步骤204、根据相机与激光雷达的设计参数将疑似标靶点云聚类投影到图片，将图片中标靶位置与所述疑似标靶点云聚类投影到图片的位置进行比较，得到第二疑似标靶点云聚类；
步骤205、对第二疑似标靶点云聚类进行平面度筛选，得到第二标靶信息。
基于上述任一实施例，如图3所示，根据第一标靶信息和第二标靶信息估计出点云数据中每个标靶与激光雷达的初始相对姿态，包括：
步骤301、根据标靶ID关联连续两帧图片中的相同标靶，根据每个标靶与相机的初始相对姿态和已知的标靶尺寸信息得到3D坐标到2D坐标的映射关系；
步骤302、根据3D坐标到2D坐标的映射关系和标靶角点2D坐标计算标靶角点在第一帧相机坐标系下的3D坐标；
在本发明实施例中，根据3D坐标到2D坐标的映射关系和标靶角点2D坐标计算所述标靶角点在第一帧相机坐标系下的3D坐标，包括：
步骤3021、根据映射关系计算帧间相对运动关系；
步骤3022、固定第一帧相机姿态，根据帧间相对运动关系获得所有帧在第一帧相机坐标系下的相机姿态；
步骤3023、根据所有帧在第一帧相机坐标系下的相机姿态以及所述每个标靶图案与相机的相对姿态，计算标靶在第一帧相机坐标系下的姿态；
步骤3024、根据标靶在第一帧相机坐标系下的姿态和已知的标靶尺寸信息计算标靶角点在第一帧相机坐标系下的3D坐标。
步骤303、计算标靶角点在第一帧相机坐标系下的3D坐标投影到图片上的投影2D坐标与所述图片中标靶图案的2D坐标之间的差值；
步骤304、通过最小化所差值优化每个标靶和每帧图片相对第一帧图片的初始姿态；
步骤305、根据优化后的每个标靶和每帧图片相对第一帧图片的初始姿态，以及相机与激光雷达的参数设计值，计算每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态。
基于上述任一实施例，如图4所示，根据第一标靶信息和第二标靶信息估计出雷达坐标系与车体坐标系的转换参数初始值，包括：
步骤401、根据SFM方法筛选出静止时间段的点云数据；
步骤402、根据静止时间段的点云数据对应的地面点云参数平面方程和激光雷达安装设计值，估计出雷达坐标系与车体坐标系的转换参数初始值，雷达坐标系与车体坐标系的转换参数包括雷达坐标系相对于车体坐标系的横滚和俯仰角。
基于上述任一实施例，非线性优化算法，包括：
最小化重投影误差模型、点云关联误差模型、非完整性约束误差模型、安装先验误差模型和点云投影误差模型中的至少一种。
在本发明实施例中，最小化重投影误差模型构建方法，包括：
根据根据所述标靶角点在第一帧相机坐标系下的3D坐标投影到图片上的投影2D坐标与所述图片中标靶图案的2D坐标之间的差值构建重投影误差模型。
在本发明实施例中，点云关联误差模型构建方法，包括：
计算点云数据中同一平面的点计算协方差矩阵，所述协方差矩阵最小特征值为所述平面的匹配误差，将所有平面的匹配误差之和作为点云关联误差模型。
在本发明实施例中，非完整性约束误差模型构建方法，包括：
根据所述每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态以及所述雷达坐标系与车体坐标系的转换参数初始值计算车体的运动轨迹；
根据所述车体的运动轨迹将任一帧车体姿态投影至前一帧，根据投影后的每帧数据使用匀速运动假设计算车体速度，利用车体侧向速度为零的假设构建非完整性约束误差模型。
在本发明实施例中，安装先验误差模型构建方法，包括：
根据雷达坐标系在车体坐标系下的设计位置坐标约束，以及横滚和俯仰角约束构建安装先验误差模型。
在本发明实施例中，点云投影误差模型构建方法，包括：
将相机与激光雷达的设计参数将疑似标靶点云聚类投影到图片，根据图片中标靶位置与疑似标靶点云聚类投影到图片的位置误差之和构建点云投影误差模型。
如图5所示，激光雷达与相机联合的外部参数标定方法具体流程包括：数据采集阶段、特征检测阶段、初始化阶段和外参联合优化阶段。
数据采集阶段中，收集激光雷达和相机的原始数据，采用先静止再运动的方式，数据包括相机采集的原始图片和激光雷达扫描获取的环境点云。
特征检测阶段中，使用采集到的原始数据，基于现有的图像目标检测算法检测图片中的标靶图案(AprilTag)来获取图案的4个角点坐标和图案ID信息。由于标靶尺寸信息已知，利用计算机视觉经典的Perspective from n Point算法估计出每个标靶图案与相机的相对姿态，使用随机采样一致方法分割地面点云，利用地面点云数据拟合平面，获得地面在雷达坐标系下的地面参数平面方程。
在已经筛选出地面点云的基础上，对于非地面点云进行聚类，根据标靶尺寸信息去掉体积过小或者过大的点云聚类。使用相机与雷达的设计参数将聚类后的点云投影到图片，将投影后的图片与图片中的标靶位置中找到最近的标靶图案，赋予点云聚类相应的ID。对赋予ID的点云聚类进行平面度筛选，保留平面度较好的点云聚类作为标靶点云。
初始化阶段中基于相机检测的标靶信息，通过SFM(Structrue From Motion，二维运动图像中的三维重建)方法初始化需要求解的变量：计算出在第一帧雷达坐标系下的所有数据帧的姿态和所有标靶图案的姿态。根据SFM结果辨别静止与运动时间段，使用静止段地面点云计算雷达坐标系相对于车体的横滚(Roll)和俯仰角(Pitch)，具体包括：
(1)根据标靶ID关联连续两帧图片中的相同标靶，使用标靶与相机相对姿态、标靶角点图像坐标以及标靶实际物理尺寸获得一系列3D到2D的匹配关系，使用PnP方法计算帧间相对运动关系。
(2)固定第一帧姿态，根据相对运动关系，获得所有帧在第一帧相机坐标系下的姿态。
(3)根据所有帧在第一帧相机坐标系下的姿态和标靶与相机的相对姿态，计算得到所有标靶在第一帧相机坐标系下的姿态。
(4)使用标靶在第一帧相机坐标系下的姿态和标靶实际物理尺寸可计算得到标靶角点在第一帧相机坐标系下的3D坐标。将每个点根据相机姿态投影至能观察到这个标靶的所有帧构建重投影误差，通过最小化重投影误差优化所有相机姿态和标靶姿态。其中重投影误差为计算所得3D坐标投影到图片上的图像坐标与检测的图像坐标之差。
(5)利用优化后所有相机姿态和标靶姿态，以及相机与激光雷达的参数设计值，计算所有数据帧相对于第一帧雷达坐标系的姿态，以及所有标靶相对于第一帧雷达坐标系的姿态。
(6)根据SFM结果辨别静止时间段数据与运动时间段数据，使用静止段数据中检测的多帧点云地面参数方程估计雷达坐标系相对于车体坐标系的横滚和俯仰角。
外参联合优化阶段中通过构建图优化问题，最小化重投影误差、点云关联误差、非完整性约束误差、安装先验误差、以及点云投影误差，同时估计相机与激光雷达的外部参数，雷达坐标系到车体坐标系的转换参数。使用LM方法求解误差模型，基于图片中每个标靶图案与相机的初始相对姿态、点云数据中每个标靶与激光雷达的初始相对姿态以及雷达坐标系与车体坐标系的转换参数初始值，迭代更新需要求解的变量，直到算法收敛。
本发明实施例提供的激光雷达与相机联合的外部参数标定方法，无需分步标定，同时完成相机、激光雷达和车体的外参标定，无需标定车辆参数，无需依赖其他传感器、昂贵的设备或者***，只使用相机、激光雷达的原始数据和低成本的方形标靶即可完成相机与激光雷法外部参数的快速、低成本、高精度标定，且操作方便。
下面对本发明提供的激光雷达与相机联合的外部参数标定装置进行描述，下文描述的激光雷达与相机联合的外部参数标定装置与上文描述的激光雷达与相机联合的外部参数标定方法可相互对应参照。
图6为本发明实施例提供的激光雷达与相机联合的外部参数标定装置的示意图，如图6所示，本发明实施例提供的激光雷达与相机联合的外部参数标定装置包括：
获取模块601，用于通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；
检测模块602，用于检测图片中的第一标靶信息，根据第一标靶信息和点云数据检测点云数据中的第二标靶信息；
初始估计模块603，用于根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；
优化模块604，用于通过非线性优化算法，得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
本发明实施例提供的激光雷达与相机联合的外部参数标定装置通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；检测图片中的第一标靶信息，根据第一标靶信息和所述点云数据检测点云数据中的第二标靶信息；根据第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；通过非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值，避免了相机与激光雷达分开标定带来的标定结果不一致的问题，提升标定精度，标定过程只使用尺寸已知的标靶，不依赖于其他硬件设备，降低标定成本，操作简便，并且无需车辆高速、高动态运动，进一步降低了对标定场地的要求。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(CommunicationsInterface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行激光雷达与相机联合的外部参数标定方法，该方法包括：通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；检测图片中的第一标靶信息，根据第一标靶信息和所述点云数据检测点云数据中的第二标靶信息；根据第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；通过非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的激光雷达与相机联合的外部参数标定方法，该方法包括：通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；检测图片中的第一标靶信息，根据第一标靶信息和所述点云数据检测点云数据中的第二标靶信息；根据第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；通过非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (19)

1.一种激光雷达与相机联合的外部参数标定方法，其特征在于，包括：
通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；
检测图片中的第一标靶信息，根据所述第一标靶信息和所述点云数据检测点云数据中的第二标靶信息；
根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；
通过非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
2.根据权利要求1所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述第一标靶信息，包括：标靶角点2D坐标和标靶ID信息。
3.根据权利要求2所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，包括：
根据已知的标靶尺寸信息以及所述标靶角点2D坐标和标靶ID信息，利用PnP算法估计出每个标靶和每帧图片相对第一帧图片的初始姿态。
4.根据权利要求3所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述根据所述第一标靶信息和所述点云数据检测点云数据中的第二标靶信息包括：
对所述点云数据进行筛选得到非地面点云数据；
对所述非地面点云数据进行聚类，得到多个点云聚类；
根据已知的标靶尺寸信息对所述多个点云聚类进行过滤得到第一疑似标靶点云聚类；
根据相机与激光雷达的设计参数将所述疑似标靶点云聚类投影到图片，将图片中标靶位置与所述疑似标靶点云聚类投影到图片的位置进行比较，得到第二疑似标靶点云聚类；
对所述第二疑似标靶点云聚类进行平面度筛选，得到所述第二标靶信息。
5.根据权利要求4所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述对所述点云数据进行筛选得到非地面点云数据，包括：
使用随机采样一致方法分割出点云数据中的地面点云数据；
利用所述地面点云数据拟合平面，得到雷达坐标系下的地面点云参数平面方程；
根据所述地面点云参数平面方程筛选出非地面点云数据。
6.根据权利要求4所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述根据所述第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，包括：
根据所述标靶ID关联连续两帧图片中的相同标靶，根据所述每个标靶和每帧图片相对第一帧图片的初始姿态和已知的标靶尺寸信息得到3D坐标到2D坐标的映射关系；
根据所述3D坐标到2D坐标的映射关系和所述标靶角点2D坐标计算所述标靶角点在第一帧相机坐标系下的3D坐标；
计算所述标靶角点在第一帧相机坐标系下的3D坐标投影到图片上的投影2D坐标与所述图片中标靶图案的2D坐标之间的差值；
通过最小化所述差值优化所述每个标靶和每帧图片相对第一帧图片的初始姿态；
根据优化后的所述每个标靶和每帧图片相对第一帧图片的初始姿态，以及所述相机与激光雷达的参数设计值，计算每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态。
7.根据权利要求6所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述根据所述3D坐标到2D坐标的映射关系和所述标靶角点2D坐标计算所述标靶角点在第一帧相机坐标系下的3D坐标，包括：
根据所述映射关系计算帧间相对运动关系；
固定第一帧相机姿态，根据所述帧间相对运动关系获得所有帧在第一帧相机坐标系下的相机姿态；
根据所述所有帧在第一帧相机坐标系下的相机姿态以及所述每个标靶图案与相机的相对姿态，计算标靶在第一帧相机坐标系下的姿态；
根据所述标靶在第一帧相机坐标系下的姿态和已知的标靶尺寸信息计算标靶角点在第一帧相机坐标系下的3D坐标。
8.根据权利要求6所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值，包括：
根据SFM方法筛选出静止时间段的点云数据；
根据所述静止时间段的点云数据对应的地面点云参数平面方程和激光雷达安装设计值，估计出雷达坐标系与车体坐标系的转换参数初始值，所述雷达坐标系与车体坐标系的转换参数包括雷达坐标系相对于车体坐标系的横滚和俯仰角。
9.根据权利要求1所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述非线性优化算法，包括：
最小化重投影误差模型、点云关联误差模型、非完整性约束误差模型、安装先验误差模型和点云投影误差模型中的至少一种。
10.根据权利要求1或9所述的激光雷达与相机联合的外部参数标定方法，其特征在于，还包括：
使用LM方法求解所述非线性优化算法得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
11.根据权利要求9所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述最小化重投影误差模型构建方法，包括：
根据根据所述标靶角点在第一帧相机坐标系下的3D坐标投影到图片上的投影2D坐标与所述图片中标靶图案的2D坐标之间的差值构建重投影误差模型。
12.根据权利要求9所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述点云关联误差模型构建方法，包括：
计算点云数据中同一平面的点计算协方差矩阵，所述协方差矩阵最小特征值为所述平面的匹配误差，将所有平面的匹配误差之和作为点云关联误差模型。
13.根据权利要求9所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述非完整性约束误差模型构建方法，包括：
根据所述每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态以及所述雷达坐标系与车体坐标系的转换参数初始值计算车体的运动轨迹；
根据所述车体的运动轨迹将任一帧车体姿态投影至前一帧，根据投影后的每帧数据使用匀速运动假设计算车体速度，利用车体侧向速度为零的假设构建非完整性约束误差模型。
14.根据权利要求9所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述安装先验误差模型构建方法，包括：
根据雷达坐标系在车体坐标系下的设计位置坐标约束，以及横滚和俯仰角约束构建安装先验误差模型。
15.根据权利要求9所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述点云投影误差模型构建方法，包括：
将相机与激光雷达的设计参数将疑似标靶点云聚类投影到图片，根据图片中标靶位置与所述疑似标靶点云聚类投影到图片的位置误差之和构建点云投影误差模型。
16.根据权利要求1所述的激光雷达与相机联合的外部参数标定方法，其特征在于，所述通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据，包括：
获取所述标靶静止时间段的图片和点云数据，以及，获取所述标靶运动时间段的图片和点云数据。
17.一种激光雷达与相机联合的外部参数标定装置，其特征在于，包括：
获取模块，用于通过相机拍摄标靶获取具有标靶图案的图片，以及通过激光雷达获取具有标靶信息的点云数据；
检测模块，用于检测图片中的第一标靶信息，根据所述第一标靶信息和所述点云数据检测点云数据中的第二标靶信息；
初始估计模块，用于根据所述第一标靶信息估计出图片中每个标靶和每帧图片相对第一帧图片的初始姿态，根据所述第二标靶信息以及雷达坐标系与相机坐标系的设计值计算出每个标靶和每帧点云相对第一帧激光雷达点云的初始姿态，根据激光雷达安装设计值和观测的地面点云计算雷达坐标系与车体坐标系的转换参数初始值；
优化模块，用于通过非线性优化算法，得到点云数据中每个标靶与第一帧激光雷达坐标系的相对姿态、每一帧点云在第一帧激光雷达坐标系下的姿态、雷达坐标系与相机坐标系的转换参数标定值和雷达坐标系与车体坐标系的转换参数标定值。
18.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至16任一项所述的激光雷达与相机联合的外部参数标定方法。
19.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至16任一项所述的激光雷达与相机联合的外部参数标定方法。
CN202211644585.1A 2022-12-20 2022-12-20 激光雷达与相机联合的外部参数标定方法及装置 Pending CN116051650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211644585.1A CN116051650A (zh) 2022-12-20 2022-12-20 激光雷达与相机联合的外部参数标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211644585.1A CN116051650A (zh) 2022-12-20 2022-12-20 激光雷达与相机联合的外部参数标定方法及装置

Publications (1)

Publication Number Publication Date
CN116051650A true CN116051650A (zh) 2023-05-02

Family

ID=86121440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211644585.1A Pending CN116051650A (zh) 2022-12-20 2022-12-20 激光雷达与相机联合的外部参数标定方法及装置

Country Status (1)

Country Link
CN (1) CN116051650A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115362A (zh) * 2023-10-20 2023-11-24 成都量芯集成科技有限公司 一种室内结构化场景三维重建方法
CN117315018A (zh) * 2023-08-31 2023-12-29 上海理工大学 基于改进PnP的用户面部位姿检测方法、设备、介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315018A (zh) * 2023-08-31 2023-12-29 上海理工大学 基于改进PnP的用户面部位姿检测方法、设备、介质
CN117315018B (zh) * 2023-08-31 2024-04-26 上海理工大学 基于改进PnP的用户面部位姿检测方法、设备、介质
CN117115362A (zh) * 2023-10-20 2023-11-24 成都量芯集成科技有限公司 一种室内结构化场景三维重建方法
CN117115362B (zh) * 2023-10-20 2024-04-26 成都量芯集成科技有限公司 一种室内结构化场景三维重建方法

Similar Documents

Publication Publication Date Title
Wasenmüller et al. Comparison of kinect v1 and v2 depth images in terms of accuracy and precision
CN107025663B (zh) 视觉***中用于3d点云匹配的杂波评分***及方法
CN116051650A (zh) 激光雷达与相机联合的外部参数标定方法及装置
Weber et al. Automatic registration of unordered point clouds acquired by Kinect sensors using an overlap heuristic
US7616807B2 (en) System and method for using texture landmarks for improved markerless tracking in augmented reality applications
US9519968B2 (en) Calibrating visual sensors using homography operators
Chien et al. Visual odometry driven online calibration for monocular lidar-camera systems
KR102169309B1 (ko) 정보 처리장치 및 그 제어방법
CN112750168B (zh) 事件相机内参的标定方法、装置、计算机设备和存储介质
Muñoz-Bañón et al. Targetless camera-LiDAR calibration in unstructured environments
CN113034612B (zh) 一种标定装置、方法及深度相机
US10991105B2 (en) Image processing device
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
WO2016022188A2 (en) Video-assisted landing guidance system and method
CN114217665A (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
CN114119652A (zh) 用于三维重构的方法和装置以及电子设备
Nagamatsu et al. Self-calibrated dense 3D sensor using multiple cross line-lasers based on light sectioning method and visual odometry
Liu et al. Outdoor camera calibration method for a GPS & camera based surveillance system
KR100933304B1 (ko) 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
Fuersattel et al. Geometric primitive refinement for structured light cameras
JP6670712B2 (ja) 自己位置推定装置、移動体及び自己位置推定方法
CN112750205B (zh) 平面动态检测***及检测方法
CN117523010B (zh) 车辆的相机位姿确定方法、装置、计算机设备和存储介质
TWI730482B (zh) 平面動態偵測系統及偵測方法
KR20240055102A (ko) 이미지 처리의 특징화 및 개선

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination