CN113269840A - 一种用于相机和多激光雷达的联合标定方法及电子设备 - Google Patents
一种用于相机和多激光雷达的联合标定方法及电子设备 Download PDFInfo
- Publication number
- CN113269840A CN113269840A CN202110586612.3A CN202110586612A CN113269840A CN 113269840 A CN113269840 A CN 113269840A CN 202110586612 A CN202110586612 A CN 202110586612A CN 113269840 A CN113269840 A CN 113269840A
- Authority
- CN
- China
- Prior art keywords
- camera
- point cloud
- target
- cloud data
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000005457 optimization Methods 0.000 claims description 101
- 230000006870 function Effects 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 26
- 238000013519 translation Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000036544 posture Effects 0.000 claims description 19
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明实施例涉及传感器标定技术领域，尤其涉及一种用于相机和多激光雷达的联合标定方法及电子设备，从点云数据中提取属于结构化物体三个表面的第一点云数据。然后，根据图像数据生成伪点云数据，根据各第一点云数据，确定各所述激光雷达中任意两激光雷达之间的外参，根据伪点云数据和目标激光雷达对应的第一点云数据，确定相机和目标激光雷达之间的外参。其中，基于该结构化物体三个表面的几何关系已知，不需要手工扣取标定板对应的点云，也不需要先验信息，从而，可以自动化精准定位到点云数据中标定板的位置，使得用于确定外参的第一点云数据准确。由此，该方法能够整合实现相机和多激光雷达之间的自动化标定，且具有较高的外参标定精度。
Description
技术领域
本发明实施例涉及传感器标定技术领域，尤其涉及一种用于相机和多激光雷达的联合标定方法及电子设备。
背景技术
近年来,来自各种领域的自动驾驶机器越来越多的进入到人们的视野。伴随着自动驾驶、机器人等相关领域各种技术的快速发展,单一的传感器信息往往已经不能满足环境感知的需要。以自动驾驶为例,车辆往往利用安装的所有传感器来感知和理解周围的环境,才能较为准确的识别物体的种类和位置,并对周围环境进行分类,从而精确地获取实时的路况信息。其中，相机和激光雷达是最常用传感器，通常用于2D/3D物体检测，深度图补全，实时定位等感知检测任务，这些任务能够完成的前提是相机和雷达，雷达与雷达之间能够获取准确的外参。
现阶段，雷达与雷达外参标定中，通过构建每个雷达的局部地图，进行点云配准，不断迭代，从而获取最后的外参，这需要外部有比较醒目的建筑，也有使用特殊外形的标定物体辅助雷达外参标定，例如在地下停车场的环境中，提取不同雷达点云中的几何特征，根据几何特征的自相关性进行匹配从而获得雷达的外参。相机雷达外参标定中，相机检测特定物体的角点，查找雷达点云中与之对应的点，利用PNP求解相机雷达外参，这种方法需要预先搭建好的特殊环境，检测图像中物体边缘，以及雷达点云中的物体边缘作为匹配的特征，进行外参初步标定。
上述雷达与雷达外参标定、相机雷达外参标定的方法，对外参进行初步标定后，需要人工精细调节外参，精度较低。此外，无法同时标定相机与多个雷达中任意两个之间的外参。也即，现有的标定方法，精度较低，需要人工参与，无法满足工业大规模的自动化标定，也无法完成多传感器独立标定。
发明内容
本发明实施例主要解决的技术问题是提供一种用于相机和多激光雷达的联合标定方法、电子设备及存储介质，能够整合实现相机和多激光雷达之间的自动化标定，且具有较高的外参标定精度。
为解决上述技术问题，第一方面，本发明实施例中提供给了一种用于相机和多激光雷达的联合标定方法，相机和至少两个激光雷达固定在电子设备上，且在所述相机的摄像范围内以及所述至少两个激光雷达扫描范围内，设有具有三个表面的结构化物体，所述结构化物体的三个表面上分别设置有标定板，所述方法包括：
获取所述至少两个激光雷达分别采集到的点云数据，以及，获取所述相机采集到的图像数据；
对于各点云数据中的每一点云数据，从点云数据中提取属于所述结构化物体三个表面的第一点云数据；
根据所述图像数据，生成相机坐标系下的各标定板的伪点云数据；
根据各所述激光雷达分别对应的第一点云数据，确定各所述激光雷达中任意两激光雷达之间的外参；
根据所述伪点云数据和目标激光雷达对应的第一点云数据，确定所述相机和目标激光雷达之间的外参，其中，所述目标激光雷达为所述至少两个激光雷达中任意一个。
在一些实施例中，所述根据各所述激光雷达分别对应的第一点云数据，确定各所述激光雷达中任意两激光雷达之间的外参，包括：
分别从各第一点云数据中，提取每一激光雷达对应的平面组，所述平面组包括反映所述结构化物体的三个表面的平面点云；
根据各所述激光雷达对应的平面组，确定各所述激光雷达中任意两激光雷达之间的外参。
在一些实施例中，所述根据各所述激光雷达对应的平面组，确定各所述激光雷达中任意两激光雷达之间的外参，包括：
根据各所述激光雷达的平面组，确定各平面组之间平面的对应关系；
采用预设旋转矩阵算法，根据各平面组之间平面的对应关系，获取任意两激光雷达之间的初始外参；
对各所述初始外参进行非线性优化，以获取所述任意两激光雷达之间的外参。
在一些实施例中，所述对各所述初始外参进行非线性优化，以获取所述任意两激光雷达之间的外参，包括：
对于每一初始外参，调整所述初始外参，直到第一优化函数满足第一预设优化条件时，得到所述任意两激光雷达之间的外参；
其中，所述第一优化函数为：
在一些实施例中，所述根据所述伪点云数据和目标激光雷达对应的第一点云数据，确定所述相机和所述目标激光雷达之间的外参，包括：
从所述目标激光雷达对应的第一点云数据中提取目标平面组，以及，从所述伪点云数据中获取相机平面组；
采用预设旋转矩阵算法，根据所述相机平面组和所述目标平面组，获取所述相机和所述目标雷达之间的初始外参；
对所述相机和所述目标雷达之间的初始化外参进行二次分步优化，以获取所述相机和所述目标激光雷达之间的外参。
在一些实施例中，所述对所述相机和所述目标雷达之间的初始化外参进行二次分步优化，以获取所述相机和所述目标激光雷达之间的外参，包括：
对所述相机和所述目标雷达之间的初始化外参进行第一优化，得到所述相机和所述目标激光雷达之间的第一外参，其中，所述第一优化为对所述相机和所述目标雷达之间的初始化外参中平移向量的优化；
对所述相机和所述目标雷达之间的第一外参进行第二优化，得到所述相机和所述目标激光雷达之间的外参，其中，所述第二优化为对所述相机和所述目标激光雷达之间的第一外参中旋转矩阵的优化。
在一些实施例中，所述对所述相机和所述目标雷达之间的初始化外参进行第一优化，得到所述相机和所述目标激光雷达之间的第一外参，包括：
获取所述相机和所述目标激光雷达同步运动过程中多个相机姿态和多个雷达姿态，其中，所述多个相机姿态和所述多个雷达姿态均在同一坐标系下；
采用以下第二优化函数，调整所述初始外参，直至所述第二优化函数满足第二预设优化条件时，得到所述相机和所述目标激光雷达之间的第一外参；
其中，所述第二优化函数为：
其中，CamPosii＝(xi,yi,zi),CamAnglei＝(αi,βi,γi)为相机的姿态，LidarPosii＝(xi,yi,zi),LidarAnglei＝(αi,βi,γi)为目标激光雷达的姿态。
在一些实施例中，所述对所述相机和所述目标雷达之间的第一外参进行第二优化，得到所述相机和所述目标激光雷达之间的外参，包括：
从所述目标激光雷达对应的第一点云数据中，获取目标物体的点云边界；
从所述相机采集到的图像数据中，获取所述目标物体的像素边界；
调整所述相机和所述目标激光雷达之间的第一外参，直到边界对齐函数满足第三预设优化条件时，得到所述相机和所述目标激光雷达之间的外参；
其中，所述边界对齐函数为：
在一些实施例中，所述从点云数据中提取属于所述结构化物体三个表面的第一点云数据，包括：
采用预先训练好的深度学习网络模型对点云数据进行语义分割，以获取点云数据中各点的标记结果；
根据所述标记结果，分离出所述第一点云数据。
在一些实施例中，所述根据所述图像数据，生成相机坐标系下的各标定板的伪点云数据，包括：
根据所述图像数据，获取各所述标定板的中心在相机坐标系下的坐标位置，以使各所述坐标位置构成所述伪点云数据。
为解决上述技术问题，第二方面，本发明实施例中提供给了一种电子设备，包括：
相机和至少两个激光雷达；
至少一个处理器，所述处理器分别与所述相机和所述至少两个激光雷达通信连接；
与所述至少一个处理器通信连接的存储器，其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第一方面所述的方法。
为解决上述技术问题，第三方面，本发明实施例中提供给了一非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备执行如上第一方面所述的方法。
本发明实施例的有益效果：区别于现有技术的情况，本发明实施例提供的用于相机和多激光雷达的联合标定方法，相机和至少两个激光雷达固定在电子设备上，且在相机的摄像范围内以及至少两个激光雷达扫描范围内，设有具有三个表面的结构化物体，结构化物体的三个表面上分别设置有标定板，在此环境中，通过获取各激光雷达分别采集到的点云数据，以及，获取相机采集到的图像数据，对于各点云数据中的每一点云数据，从点云数据中提取属于该结构化物体三个表面的第一点云数据。然后，根据图像数据，生成相机坐标系下的各标定板的伪点云数据，根据各激光雷达分别对应的第一点云数据，确定各所述激光雷达中任意两激光雷达之间的外参，根据伪点云数据和目标激光雷达对应的第一点云数据，确定相机和目标激光雷达之间的外参。其中，基于该结构化物体三个表面的几何关系已知，不需要手工扣取标定板对应的点云，也不需要先验信息，例如标定板距离地面的高度等，从而，可以自动化精准定位到点云数据中标定板的位置，使得用于确定外参的第一点云数据准确。由此，该方法能够整合实现相机和多激光雷达之间的自动化标定，且具有较高的外参标定精度。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本发明一实施例提供的用于相机和多激光雷达的联合标定方法的结构化物体的示意图；
图2为本发明一实施例提供的用于相机和多激光雷达的联合标定方法的电子设备的结构示意图；
图3为本发明一实施例提供的电子设备的结构框图；
图4为本发明一实施例提供的用于相机和多激光雷达的联合标定方法的流程示意图；
图5为图4所示方法中步骤S20的一子流程示意图；
图6为图4所示方法中步骤S40的一子流程示意图；
图7为图6所示方法中步骤S42的一子流程示意图；
图8为图4所示方法中步骤S50的一子流程示意图；
图9为图8所示方法中步骤S53的一子流程示意图；
图10(a)为本发明一实施例中目标物体的点云边界与像素边界的示意图；
图10(b)为图10(a)中所示目标物体的点云边界与像素边界经边界对齐后的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。此外，本文所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
请参见图1，为应用于本发明的用于相机和多激光雷达的联合标定方法的实施例的结构化物体的示意图，请参见图2，为应用于本发明的用于相机和多激光雷达的联合标定方法的实施例的的电子设备的结构示意图，即应用***中包括：电子设备10以及结构化物体20，其中，电子设备10包括相机11和至少两个激光雷达12。
具体的，相机11和至少两个激光雷达12固定在电子设备10的本体上，本发明实施例中的激光雷达12可以为单线激光雷达，相机11可以为单目相机，电子设备10可以为汽车或机器人等。在激光雷达12扫描和相机11拍摄图像之前，预先在该相机11摄像范围内以及各激光雷达12扫描范围内，设置一个结构化物体20。
其中，该结构化物体20具有三个表面，并在，在这三个表面上分别设置有标定板。可以理解的是，该结构化物体的三个表面的几何关系是已知的，即不需要测量就可以获取该结构化物体20的三个表面的几何关系。在一些实施例中，该结构化物体20可以为墙角，可以理解的是，墙角的三个表面是相互垂直的。在另一些实施例中，该结构化物体20也可以为人工搭建的。
其中，标定板可以采用Apriltag标定板、ArUco(Augmented Reality from theUniversity of Cordoba，科尔多瓦大学增强现实库)tag标定板，也可以采用黑白棋盘格标定板等，本发明实施例对此不作限定。本发明实施例中，以Apriltag标定板为例进行说明。
下面，在上述图2的基础上，本发明的其它实施例提供了一种电子设备的硬件结构图，其中，该电子设备10可以是任何类型、具有运算能力的电子设备，例如自动驾驶汽车或机器人等。
具体的，如图3所示，除相机11和至少两个激光雷达12外，该电子设备10还包括通信连接的至少一个处理器13和存储器14(图3中以总线连接、一个处理器、两个激光雷达为例)，处理器13分别与相机11和各激光雷达12通信连接。
其中，该通信连接可以是有线连接，例如：光纤电缆或串行通信总线(CAN总线)等，也可以是无线通信连接，例如：WIFI连接、蓝牙连接、4G无线通信连接，5G无线通信连接等等。
其中，所述处理器13用于提供计算和控制能力，以控制电子设备10执行相应任务，例如，控制所述电子设备10执行下述发明实施例提供的任意一种用于相机和多激光雷达的联合标定方法。
可以理解的是，所述处理器13可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述存储器14作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的用于相机和多激光雷达的联合标定方法对应的程序指令/模块。所述处理器13通过运行存储在存储器14中的非暂态软件程序、指令以及模块，可以实现下述任一方法实施例中的用于相机和多激光雷达的联合标定方法。具体地，所述存储器14可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其它非暂态固态存储器件。在一些实施例中，存储器14还可以包括相对于处理器13远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
以下，对本发明实施例提供的用于相机和多激光雷达的联合标定方法进行详细说明，请参阅图4，该方法包括但不限制于以下步骤：
S10：获取所述至少两个激光雷达分别采集到的点云数据，以及，获取所述相机采集到的图像数据。
S20：对于各点云数据中的每一点云数据，从点云数据中提取属于所述结构化物体三个表面的第一点云数据。
S30：根据所述图像数据，生成相机坐标系下的各标定板的伪点云数据。
S40：根据各所述激光雷达分别对应的第一点云数据，确定各所述激光雷达中任意两激光雷达之间的外参。
S50：根据所述伪点云数据和目标激光雷达对应的第一点云数据，确定所述相机和目标激光雷达之间的外参，其中，所述目标激光雷达为所述至少两个激光雷达中任意一个。
各激光雷达利用激光照射目标(结构化物体的三个表面)，可以采集到点云数据，该点云数据反映激光打在结构化物体表面上各光斑的空间坐标。从该点云数据中，可以获取该结构化物体表面的外形特征以及激光雷达与该结构化物体之间的距离。可以理解的是，一激光雷达对应一点云数据。可以理解的是，相机拍摄结构化物体，从而，可以采集到关于该结构化物体的图像数据，例如，图像数据中包括墙角以及各标定板。
可以理解的是，点云数据中除了该结构化物体的对应的点云，还包括其它背景物体对应的点云，为了去除其它背景物体对应的点云，对于各点云数据中的每一点云数据，从点云数据中提取属于该结构化物体三个表面的第一点云数据。从而，使得第一点云数据能够准确反映结构化物体的三个表面，不受其它背景物体的干扰。例如，可以根据点云数据的特征，以及结构化物体的外形特征，提取出属于该结构化物体三个表面的第一点云数据。
基于该结构化物体三个表面的几何关系已知，不需要手工扣取标定板对应的点云，也不需要先验信息，例如标定板距离地面的高度等，从而，可以自动化精准定位到点云数据中标定板的位置，使得用于确定外参的第一点云数据准确。
具体的，在一些实施例中，请参阅图5，该步骤S20具体包括：
S21：采用预先训练好的深度学习网络模型对点云数据进行语义分割，以获取点云数据中各点的标记结果。
S22：根据所述标记结果，分离出所述第一点云数据。
可以理解的是，该深度学习网络模型可以为RandLANet深度学习网络，通过训练集，对RandLANet深度学习网络进行训练，得到训练好的可以用于识别结构化物体表面的RandLANet深度学习网络模型。其中，训练集为事先准备好的若干个点云数据，并且训练集中每一点云数据中的各点云均标记有对应的标签，例如，当结构化物体为墙角时，则标签包括“墙角点云”或“非墙角点云”。
由此，使得该训练好的深度学习网络模型具有区分结构化物体对应的点云的能力，对于每一激光雷达下的点云数据A，采用该训练好的深度学习网络模型对点云数据A进行语义分割，以获取点云数据A中各点的标记结果，其中，该标记结果记录有点是否为“结构化物体”上的点，例如，标记结果包括“墙角点云”或“非墙角点云”。从而，根据该标记结果，提取出标记结果为“墙角点云”的点，即可分离出第一点云数据。
在此实施例中，采用预先训练好的深度学习网络模型对点云数据进行语义分割，得到标记结果，根据标记结果，可以准确分离出第一点云数据，对输入的点云数据能够实现端到端的处理，即直接输出反映结构化物体表面的点云。
在步骤S30中，根据所述图像数据，生成相机坐标系下的各标定板的伪点云数据。可以理解的是，相机获取的是相机坐标系下的图像，图像包括结构化物体以及结构化物体上的各标定板，从而，可以根据相机坐标系以及图像数据中的各像素点，将各像素点转化到以相机为坐标原点的三维空间中，生成相机坐标系下的各标定板的三维坐标数据，即伪点云数据。具体的，可以采用现有的灰度重心法等分析方法从图像数据中解析出各标定板在图像中的像素坐标，通过投影变换，将各标定板由像素坐标转换成相机坐标，即得到各标定板在相机坐标系下的三维坐标，从而，生成上述伪点云数据。
在一些实施例中，该步骤S30具体包括：
S31：根据所述图像数据，获取各所述标定板的中心在相机坐标系下的坐标位置，以使各所述坐标位置构成所述伪点云数据。
在此实施例中，为了简化计算，并不是将图像数据中的每个像素点均进行坐标转换，而是将各标定板的中心从像素坐标转成相机坐标系下的三维坐标，即获取各标定板的中心在相机坐标系下的坐标位置(以相机为坐标原点的三维坐标数据)，从而，生成上述伪点云数据。
在步骤S40中，根据各激光雷达分别对应的第一点云数据，确定各激光雷达中任意两激光雷达之间的外参。例如，对于激光雷达1#和激光雷达2#，激光雷达1#对应第一点云数据1#，激光雷达2#对应第一点云数据2#，由于第一点云数据1#和第一点云数据2#均反映结构化物体表面的空间坐标，仅区别在于，第一点云数据1#是在激光雷达1#坐标系下的空间坐标，第一点云数据2#是在激光雷达2#坐标系下的空间坐标，从而，可以结合结构化物体的特征，确定第一点云数据1#和第一点云数据2#之间的旋转矩阵和平移向量，即得到激光雷达1#和激光雷达2#之间的外参(旋转矩阵和平移向量)。依次类推，可以确定各激光雷达中任意两个激光雷达之间的外参。
在步骤S50中，为了确定相机和各激光雷达之间的外参，对于各激光雷达中的任意一个目标激光雷达3#，根据伪点云数据和目标激光雷达3#下的第一点云数据3#，确定该相机和目标激光雷达之间的外参。具体的，可以理解的是，伪点云数据和第一点云数据3#均反映结构化物体表面的空间坐标，伪点云数据是在相机坐标系下的空间坐标，第一点云数据3#是在目标激光雷达坐标系下的空间坐标，从而，可以结合结构化物体的特征，确定伪点云数据和第一点云数据3#之间的旋转矩阵和平移向量，即得到相机和目标激光雷达之间的外参。依次类推，可以确定相机和各激光雷达之间的外参。
在本实施例中，通过获取各激光雷达分别采集到的点云数据，以及，获取相机采集到的图像数据，对于各点云数据中的每一点云数据，从点云数据中提取属于该结构化物体三个表面的第一点云数据。然后，根据图像数据，生成相机坐标系下的各标定板的伪点云数据，根据各激光雷达分别对应的第一点云数据，确定各所述激光雷达中任意两激光雷达之间的外参，根据伪点云数据和目标激光雷达对应的第一点云数据，确定相机和目标激光雷达之间的外参。其中，基于该结构化物体三个表面的几何关系已知，不需要手工扣取标定板对应的点云，也不需要先验信息，例如标定板距离地面的高度等，从而，可以自动化精准定位到点云数据中标定板的位置，使得用于确定外参的第一点云数据准确。由此，该方法能够整合实现相机和多激光雷达之间的自动化标定，且具有较高的外参标定精度。
在一些实施例中，请参阅图6，该步骤S40具体包括：
S41：分别从各第一点云数据中，提取每一激光雷达对应的平面组，所述平面组包括反映所述结构化物体的三个表面的平面点云。
S42：根据各所述激光雷达对应的平面组，确定各所述激光雷达中任意两激光雷达之间的外参。
可以理解的是，第一点云数据包括结构化物体三个表面上的点云。为了确定各第一点云数据之间的对应关系，从各第一点云数据中，提取每一激光雷达对应的平面组，其中，该平面组包括反映该结构化物体的三个表面的平面点云。例如，激光雷达i#对应的平面组包括三个平面(ɑi，βi，πi)，其中，每个平面可由平面方程dx+by+cz+d＝0表示，其中，a,b,c,d为平面方程的系数，(x,y,z)为点云的三维坐标。可以理解的是，可以通过ransac算法计算每一平面组中的各平面的平面方程。
然后，根据各激光雷达对于的平面组，确定各激光雷达中任意两激光雷达之间的外参。例如，对于各激光雷达中的任意两激光雷达4#和激光雷达3#，激光雷达4#对应的平面组为(ɑ4，β4，π4)，激光雷达5#对应的平面组为(ɑ5，β5，π5)，从而，可以根据(ɑ4，β4，π4)与(ɑ5，β5，π5)之间的转换参数，例如π4到π5之间的转换参数，确定激光雷达4#和激光雷达5#之间的外参。
在此实施例中，将第一点云数据，根据结构化物体的表面特征，划分成包括三个平面的平面组，根据平面组之间的平面对应转换关系，即可确定任意两激光雷达之间的外参，计算简单，精确度高。
为了使得任意两激光雷达之间的外参更为精确，在一些实施例中，请参阅图7，该步骤S42具体包括：
S421：根据各所述激光雷达的平面组，确定各平面组之间平面的对应关系。
S422：采用预设旋转矩阵算法，根据各平面组之间平面的对应关系，获取任意两激光雷达之间的初始外参。
S423：对各所述初始外参进行非线性优化，以获取所述任意两激光雷达之间的外参。
例如，在上述平面组(ɑ4，β4，π4)和平面组(ɑ5，β5，π5)中，若转换参数过大，则存在平面对应错误的风险，即π4和π5可能不对应。从而，首先需要确定各平面组之间平面的对应关系，具体的，对于每一平面组，假设坐标原点(ox,oy,oz)都在三个平面的上方，即aox+boy+coz+d≥0，从而，可以确定三个平面的法向量方向是唯一的，然后，根据右手法则，可以得到唯一的平面对应关系，例如ɑ4对应ɑ5、β4对应β5以及π4对应π5。
然后，采用预设旋转矩阵算法，根据各平面组之间平面的对应关系，获取任意两激光雷达之间的初始外参。其中，预设旋转矩阵算法可以为Kabsch算法，即采用Kabsch算法根据相对应的平面的平面方程，例如对应平面π4和π5的平面方程，计算出相应的旋转矩阵和平移向量，即激光雷达4#和激光雷达5#之间的初始外参。可以理解的是，关于Kabsch算法的具体计算过程为现有技术，在此不再一一赘述。
在获取各初始外参之后，对各初始外参进行非线性优化，以得到任意两激光雷达之间的外参。具体的，对于一初始外参，可以采用现有的非线性优化算法进行优化，例如采用梯度下降法、牛顿法或共轭梯度法等，计算两对应平面转化后的最小距离，例如π4通过相应的初始外参转化为π4’，理论上π4’与π5应该重合，但实际上会存在误差导致不重合，从而，可以采用梯度下降法，不断调整该初始外参，使得π4’与π5之间的偏差达到预设条件，例如最小时，将此时对应的调整后的外参作为激光雷达4#和激光雷达5#之间的外参。
在此实施例中，首先，通过确定各平面组之间平面的对应关系，得到准确的平面对应关系，有益于提高后续初始外参的准确度，然后，采用预设旋转矩阵算法根据对应关系获取任意两激光雷达之间的初始外参，再对初始外参进行非线性优化，从而，得到准确度高的任意两激光雷达之间的外参。
在一些实施例中，该步骤S423具体包括：
对于每一初始外参，调整所述初始外参，直到第一优化函数满足第一预设优化条件时，得到所述任意两激光雷达之间的外参；
其中，所述第一优化函数为：
在此实施例中，通过设置上述第一优化函数，可以以梯度下降或LM方式，不断调整初始外参(R，T)，即迭代更新，使得第一优化函数满足第一预设条件时，得到两激光雷达之间的外参。其中，第一预设条件可以为该第一优化函数的值小于预设值，或，迭代更新次数达到预设次数。
其中，
表示平面πi到平面
的距离，可以理解的是，第一优化函数使得两平面之间的距离尽可能小。从而，能够不断提高优化后的外参的准确度。
在本实施例中，通过基于距离最小化的第一优化函数，不断迭代调整初始外参，通过第一预设优化条件约束第一优化函数，能够得到准确度高的外参。
在一些实施例中，请参阅图8，该步骤S50具体包括：
S51：从所述目标激光雷达对应的第一点云数据中提取目标平面组，以及，从所述伪点云数据中获取相机平面组。
S52：采用预设旋转矩阵算法，根据所述相机平面组和所述目标平面组，获取所述相机和所述目标雷达之间的初始外参。
S53：对所述相机和所述目标雷达之间的初始化外参进行二次分步优化，以获取所述相机和所述目标激光雷达之间的外参。
可以理解的是，目标激光雷达对应的第一点云数据包括结构化物体三个表面上的点云，为了确定目标平面组和相机平面组之间的平面对应关系，从目标激光雷达对应的第一点云数据中提取目标平面组，该目标平面组包括反映结构化物体的三个表面的平面点云。可以理解的是，可以通过ransac算法计算该目标平面组中的各平面的平面方程。
基于伪点云数据是由图像数据生成的，而图像数据中，可以通过标定板的信息，直接获取到各标定板属于结构化物体的哪个表面，即可清楚获取3个平面，从而，在伪点云数据中，可以直接获取三个平面，也即，从该伪点云数据中可以直接获取相机平面组，该相机平面组即为伪点云数据中的3个平面。
在获取到目标平面组和相机平面组后，采用预设旋转矩阵算法，根据相机平面组和目标平面组之间平面的对应关系，确定相机和目标雷达之间的初始外参。其中，预设旋转矩阵算法可以为Kabsch算法，即采用Kabsch算法根据相对应的平面的平面方程，计算出相应的旋转矩阵和平移向量，即相机和目标激光雷达之间的初始外参。
然后，对相机和目标雷达之间的初始化外参进行二次分步优化，以获取相机和目标激光雷达之间的外参。其中，二次分步优化包括旋转矩阵优化和平移向量优化。该旋转矩阵优化和平移向量优化无先后关系，具体的，可以是：先进行旋转矩阵优化再进行平移向量优化，或，先进行平移向量优化再进行旋转矩阵优化。基于二次分布优化，可以更好的优化旋转矩阵和平移向量，以避免因一次优化而导致旋转矩阵或平移向量中的一个优化不充分、外参精确度低的问题。
在此实施例中，基于伪点云是由相机获取的图像数据生成的，从而，可以直接确定伪点云中相机平面组以及与目标平面组之间的对应关系，然后，采用预设旋转矩阵算法根据对应关系获取目标激光雷达和相机之间的初始外参，再对该初始外参进行二次分步优化，能够使得相机和目标激光雷达之间的外参具有较高的准确度。
在一些实施例中，请参阅图9，该步骤S53具体包括：
S531：对所述相机和所述目标雷达之间的初始化外参进行第一优化，得到所述相机和所述目标激光雷达之间的第一外参，其中，所述第一优化为对所述相机和所述目标雷达之间的初始化外参中平移向量的优化。
S532：对所述相机和所述目标雷达之间的第一外参进行第二优化，得到所述相机和所述目标激光雷达之间的外参，其中，所述第二优化为对所述相机和所述目标激光雷达之间的第一外参中旋转矩阵的优化。
在此实施例中，先对相机和目标雷达之间的初始化外参进行第一优化，通过该第一优化后得到第一外参，其中，第一优化是针对该初始外参中平移向量的优化。也即，在第一优化中，重点提高平移向量的准确性。
具体的，在一些实施例中，该步骤S531包括：
步骤S5311：获取所述相机和所述目标激光雷达同步运动过程中多个相机姿态和多个雷达姿态，其中，所述多个相机姿态和所述多个雷达姿态均在同一坐标系下。
可以理解的是，该相机和目标激光雷达均是对结构化物体进行采集数据，从而，相机和目标激光雷达可以在同一坐标系中，该坐标系为以结构化物体为坐标原点的坐标系。例如，当该结构化物体为墙角时，三个表面的交线是相互正交的，可以将这三条交线作为三维的坐标轴，构成墙角坐标系，从而，相机和目标激光雷达均是共用该墙角坐标系。
基于相机和目标激光雷达不断在采集墙角的点云数据和伪点云数据，当相机和目标激光雷达在同步运动的过程中，可以获取相机和目标激光雷达的运动轨迹。具体的，记录多个时刻下相机的姿态和雷达的姿态，即获取多个相机姿态和雷达姿态。由上述相机和目标激光雷达均是共用该墙角坐标系，可知多个相机姿态和多个雷达姿态均在同一坐标系下，从而，多个相机姿态构成的相机动轨迹，与，多个雷达姿态构成的目标激光雷达运动轨迹，经初始外参转化后，理论上应该重合。但实际情况下，存在噪声，以及受自身精度的影响，初始外参会有误差。为此，结合运动轨迹(多个相机姿态和多个雷达姿态)对初始外参进行优化，具体如步骤S5312所示。
步骤S5312：采用以下第二优化函数，调整所述初始外参，直至所述第二优化函数满足第二预设优化条件时，得到所述相机和所述目标激光雷达之间的第一外参；
其中，所述第二优化函数为：
其中，CamPosii＝(xi,yi,zi),CamAnglei＝(αi,βi,γi)为相机的姿态，LidarPosii＝(xi,yi,zi),LidarAnglei＝(αi,βi,γi)为目标激光雷达的姿态。
在此实施例中，通过设置上述第二优化函数，可以以梯度下降或LM方式，不断调整初始外参，即迭代更新，使得第二优化函数满足第二预设优化条件时，得到相机和目标激光雷达之间的第一外参。其中，第二预设优化条件可以为该第二优化函数的值小于预设值，或，迭代更新次数达到预设次数。
其中，CamPosii＝(xi,yi,zi)为相机的三维坐标，CamAnglei＝(αi,βi,γi)为相机的角度朝向，LidarPosii＝(xi,yi,zi)为目标激光雷达的三维坐标，LidarAnglei＝(αi,βi,γi)为目标激光雷达的角度朝向。结合第二优化函数的公式可知，第二优化函数使得相机姿态经(R,T)转换后与雷达姿态尽可能重合，这里的(R,T)为初始外参或调整后的初始外参。此外，该第二优化函数重点是对平移向量T进行优化，相当于在此实施例中，相比于旋转矩阵的优化，第一外参中的平移向量得到了更好的优化，即第一外参中的平移向量更加准确。
在本实施例中，基于轨迹尽可能重合的第二优化函数，不断迭代调整相机和目标激光雷达之间的初始外参，通过第二预设优化条件约束第二优化函数，能够使得相机和目标激光雷达之间的第一外参更加准确。
在步骤S532中，进行第一优化得到第一外参后，进而对相机和目标雷达之间的第一外参进行第二优化，以得到相机和目标激光雷达之间的外参，其中，第二优化是针对第一外参中旋转矩阵的优化。也即，在第二优化中，重点提高旋转矩阵的准确性。
具体的，在一些实施例中，该步骤S532具体包括：
S5321：从所述目标激光雷达对应的第一点云数据中，获取目标物体的点云边界。
S5322：从所述相机采集到的图像数据中，获取所述目标物体的像素边界。
S5323：调整所述相机和所述目标激光雷达之间的第一外参，直到边界对齐函数满足第三预设优化条件时，得到所述相机和所述目标激光雷达之间的外参；
其中，所述边界对齐函数为：
其中，目标物体可以为一标定板，也可以为在目标激光雷达扫描范围内和相机拍摄范围内的一物体，例如目标物体也可以为箱体等。以下以目标物体为一标定板为例进行示意性说明。
可以理解的是，目标激光雷达的激光线会打在标定板上，从而，可以根据目标激光雷达对应的第一点云数据，获取该标定板(目标物体)的点云边界，可知，该点云边界即该标定板边界上对应的点云。
基于图像数据包括标定板，从而，可以从图像数据中获取标定板的像素边界。
如图10(a)所示，目标物体的点云边界和像素边界存在偏差，说明相机和目标激光雷达之间存在匹配误差。为了消除该匹配误差，在此实施例中，通过调整相机和目标激光雷达之间的第一外参，直到边界对齐函数满足第三预设优化条件时，得到相机和目标激光雷达之间的外参。其中，第三预设优化条件可以为该边界对齐函数的值小于预设值，或，迭代更新次数达到预设次数。
其中，边界对齐函数使得点云边界上点经需要优化的外参(R,T)转换后与像素边界尽可能对齐，这里的(R，T)为第一外参或调整后的第一外参。如图10(b)所示，经边界对齐后，点云边界与像素边界基本重合。可以理解的是，通过边界对齐，主要是对第一外参中旋转向量进行优化，使得相机和激光雷达之间的外参更加准确。
在本实施例中，基于边界对齐，不断迭代调整相机和目标激光雷达之间的第一外参，通过第三预设优化条件约束边界对齐函数，能够使得相机和目标激光雷达之间的外参更加准确。
综上所述，本发明实施例提供的用于相机和多激光雷达的联合标定方法，相机和至少两个激光雷达固定在电子设备上，且在相机的摄像范围内以及至少两个激光雷达扫描范围内，设有具有三个表面的结构化物体，结构化物体的三个表面上分别设置有标定板，在此环境中，通过获取各激光雷达分别采集到的点云数据，以及，获取相机采集到的图像数据，对于各点云数据中的每一点云数据，从点云数据中提取属于该结构化物体三个表面的第一点云数据。然后，根据图像数据，生成相机坐标系下的各标定板的伪点云数据，根据各激光雷达分别对应的第一点云数据，确定各所述激光雷达中任意两激光雷达之间的外参，根据伪点云数据和目标激光雷达对应的第一点云数据，确定相机和目标激光雷达之间的外参。其中，基于该结构化物体三个表面的几何关系已知，不需要手工扣取标定板对应的点云，也不需要先验信息，例如标定板距离地面的高度等，从而，可以自动化精准定位到点云数据中标定板的位置，使得用于确定外参的第一点云数据准确。由此，该方法能够整合实现相机和多激光雷达之间的自动化标定，且具有较高的外参标定精度。
本发明另一实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备执行如上任一实施例中的用于相机和多激光雷达的联合标定方法。
需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种用于相机和多激光雷达的联合标定方法，其特征在于，相机和至少两个激光雷达固定在电子设备上，且在所述相机的摄像范围内以及所述至少两个激光雷达扫描范围内，设有具有三个表面的结构化物体，所述结构化物体的三个表面上分别设置有标定板，所述方法包括：
获取所述至少两个激光雷达分别采集到的点云数据，以及，获取所述相机采集到的图像数据；
对于各点云数据中的每一点云数据，从点云数据中提取属于所述结构化物体三个表面的第一点云数据；
根据所述图像数据，生成相机坐标系下的各标定板的伪点云数据；
根据各所述激光雷达分别对应的第一点云数据，确定各所述激光雷达中任意两激光雷达之间的外参；
根据所述伪点云数据和目标激光雷达对应的第一点云数据，确定所述相机和目标激光雷达之间的外参，其中，所述目标激光雷达为所述至少两个激光雷达中任意一个。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述激光雷达分别对应的第一点云数据，确定各所述激光雷达中任意两激光雷达之间的外参，包括：
分别从各第一点云数据中，提取每一激光雷达对应的平面组，所述平面组包括反映所述结构化物体的三个表面的平面点云；
根据各所述激光雷达对应的平面组，确定各所述激光雷达中任意两激光雷达之间的外参。
3.根据权利要求2所述的方法，其特征在于，所述根据各所述激光雷达对应的平面组，确定各所述激光雷达中任意两激光雷达之间的外参，包括：
根据各所述激光雷达的平面组，确定各平面组之间平面的对应关系；
采用预设旋转矩阵算法，根据各平面组之间平面的对应关系，获取任意两激光雷达之间的初始外参；
对各所述初始外参进行非线性优化，以获取所述任意两激光雷达之间的外参。
4.根据权利要求3所述的方法，其特征在于，所述对各所述初始外参进行非线性优化，以获取所述任意两激光雷达之间的外参，包括：
对于每一初始外参，调整所述初始外参，直到第一优化函数满足第一预设优化条件时，得到所述任意两激光雷达之间的外参；
其中，所述第一优化函数为：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述伪点云数据和目标激光雷达对应的第一点云数据，确定所述相机和所述目标激光雷达之间的外参，包括：
从所述目标激光雷达对应的第一点云数据中提取目标平面组，以及，从所述伪点云数据中获取相机平面组；
采用预设旋转矩阵算法，根据所述相机平面组和所述目标平面组，获取所述相机和所述目标雷达之间的初始外参；
对所述相机和所述目标雷达之间的初始化外参进行二次分步优化，以获取所述相机和所述目标激光雷达之间的外参。
6.根据权利要求5所述的方法，其特征在于，所述对所述相机和所述目标雷达之间的初始化外参进行二次分步优化，以获取所述相机和所述目标激光雷达之间的外参，包括：
对所述相机和所述目标雷达之间的初始化外参进行第一优化，得到所述相机和所述目标激光雷达之间的第一外参，其中，所述第一优化为对所述相机和所述目标雷达之间的初始化外参中平移向量的优化；
对所述相机和所述目标雷达之间的第一外参进行第二优化，得到所述相机和所述目标激光雷达之间的外参，其中，所述第二优化为对所述相机和所述目标激光雷达之间的第一外参中旋转矩阵的优化。
7.根据权利要求6所述的方法，其特征在于，所述对所述相机和所述目标雷达之间的初始化外参进行第一优化，得到所述相机和所述目标激光雷达之间的第一外参，包括：
获取所述相机和所述目标激光雷达同步运动过程中多个相机姿态和多个雷达姿态，其中，所述多个相机姿态和所述多个雷达姿态均在同一坐标系下；
采用以下第二优化函数，调整所述初始外参，直至所述第二优化函数满足第二预设优化条件时，得到所述相机和所述目标激光雷达之间的第一外参；
其中，所述第二优化函数为：
其中，CamPosii＝(xi,yi,zi),CamAnglei＝(αi,βi,γi)为相机的姿态，LidarPosii＝(xi,yi,zi),LidarAnglei＝(αi,βi,γi)为目标激光雷达的姿态。
8.根据权利要求6所述的方法，其特征在于，所述对所述相机和所述目标雷达之间的第一外参进行第二优化，得到所述相机和所述目标激光雷达之间的外参，包括：
从所述目标激光雷达对应的第一点云数据中，获取目标物体的点云边界；
从所述相机采集到的图像数据中，获取所述目标物体的像素边界；
调整所述相机和所述目标激光雷达之间的第一外参，直到边界对齐函数满足第三预设优化条件时，得到所述相机和所述目标激光雷达之间的外参；
其中，所述边界对齐函数为：
9.根据权利要求1所述的方法，其特征在于，所述从点云数据中提取属于所述结构化物体三个表面的第一点云数据，包括：
采用预先训练好的深度学习网络模型对点云数据进行语义分割，以获取点云数据中各点的标记结果；
根据所述标记结果，分离出所述第一点云数据。
10.根据权利1所述的方法，其特征在于，所述根据所述图像数据，生成相机坐标系下的各标定板的伪点云数据，包括：
根据所述图像数据，获取各所述标定板的中心在相机坐标系下的坐标位置，以使各所述坐标位置构成所述伪点云数据。
11.一种电子设备，其特征在于，包括：
相机和至少两个激光雷达；
至少一个处理器，所述处理器分别与所述相机和所述至少两个激光雷达通信连接；
与所述至少一个处理器通信连接的存储器，其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10任一项所述的方法。
12.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备执行如权利要求1-10任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586612.3A CN113269840B (zh) | 2021-05-27 | 2021-05-27 | 一种用于相机和多激光雷达的联合标定方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586612.3A CN113269840B (zh) | 2021-05-27 | 2021-05-27 | 一种用于相机和多激光雷达的联合标定方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113269840A true CN113269840A (zh) | 2021-08-17 |
| CN113269840B CN113269840B (zh) | 2024-07-09 |
Family
ID=77233214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110586612.3A Active CN113269840B (zh) | 2021-05-27 | 2021-05-27 | 一种用于相机和多激光雷达的联合标定方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269840B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569812A (zh) * | 2021-08-31 | 2021-10-29 | 东软睿驰汽车技术（沈阳）有限公司 | 未知障碍物的识别方法、装置和电子设备 |
| CN113884104A (zh) * | 2021-09-27 | 2022-01-04 | 苏州挚途科技有限公司 | 多传感器联合标定方法、装置及电子设备 |
| CN114152935A (zh) * | 2021-11-19 | 2022-03-08 | 苏州一径科技有限公司 | 一种雷达外参标定精度的评估方法、装置及设备 |
| CN115100287A (zh) * | 2022-04-14 | 2022-09-23 | 美的集团(上海)有限公司 | 外参标定方法及机器人 |
| CN115184909A (zh) * | 2022-07-11 | 2022-10-14 | 中国人民解放军国防科技大学 | 一种基于目标检测的车载多谱系激光雷达标定***与方法 |
| CN115482294A (zh) * | 2022-09-19 | 2022-12-16 | 北京斯年智驾科技有限公司 | 相机与激光雷达的外参精确标定方法及其*** |
| CN115840196A (zh) * | 2023-02-24 | 2023-03-24 | 新石器慧通（北京）科技有限公司 | 基于实体标定间的激光雷达间标定方法及装置 |
| CN116577796A (zh) * | 2022-11-17 | 2023-08-11 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116740197A (zh) * | 2023-08-11 | 2023-09-12 | 之江实验室 | 一种外参的标定方法、装置、存储介质及电子设备 |
| CN117274402A (zh) * | 2023-11-24 | 2023-12-22 | 魔视智能科技(武汉)有限公司 | 相机外参的标定方法、装置、计算机设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399643A (zh) * | 2018-03-15 | 2018-08-14 | 南京大学 | 一种激光雷达和相机间的外参标定***和方法 |
| CN110031824A (zh) * | 2019-04-12 | 2019-07-19 | 杭州飞步科技有限公司 | 激光雷达联合标定方法及装置 |
| CN110333503A (zh) * | 2019-05-29 | 2019-10-15 | 菜鸟智能物流控股有限公司 | 激光雷达的标定方法、装置及电子设备 |
| CN110596683A (zh) * | 2019-10-25 | 2019-12-20 | 中山大学 | 一种多组激光雷达外参标定***及其方法 |
| CN111127563A (zh) * | 2019-12-18 | 2020-05-08 | 北京万集科技股份有限公司 | 联合标定方法、装置、电子设备及存储介质 |
| CN111325801A (zh) * | 2020-01-23 | 2020-06-23 | 天津大学 | 一种激光雷达和相机的联合标定方法 |
| CN111815716A (zh) * | 2020-07-13 | 2020-10-23 | 北京爱笔科技有限公司 | 一种参数标定方法及相关装置 |
| CN111965624A (zh) * | 2020-08-06 | 2020-11-20 | 北京百度网讯科技有限公司 | 激光雷达与相机的标定方法、装置、设备和可读存储介质 |
| CN112184824A (zh) * | 2019-07-05 | 2021-01-05 | 杭州海康机器人技术有限公司 | 一种相机外参标定方法、装置 |
| CN112233182A (zh) * | 2020-12-15 | 2021-01-15 | 北京云测网络科技有限公司 | 一种多激光雷达的点云数据的标注方法和装置 |
| CN112379352A (zh) * | 2020-11-04 | 2021-02-19 | 广州文远知行科技有限公司 | 一种激光雷达标定方法、装置、设备及存储介质 |
| CN112462350A (zh) * | 2020-12-10 | 2021-03-09 | 苏州一径科技有限公司 | 雷达标定方法及装置、电子设备及存储介质 |
| CN112654886A (zh) * | 2020-05-27 | 2021-04-13 | 华为技术有限公司 | 外参标定方法、装置、设备及存储介质 |
-
2021
- 2021-05-27 CN CN202110586612.3A patent/CN113269840B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399643A (zh) * | 2018-03-15 | 2018-08-14 | 南京大学 | 一种激光雷达和相机间的外参标定***和方法 |
| CN110031824A (zh) * | 2019-04-12 | 2019-07-19 | 杭州飞步科技有限公司 | 激光雷达联合标定方法及装置 |
| CN110333503A (zh) * | 2019-05-29 | 2019-10-15 | 菜鸟智能物流控股有限公司 | 激光雷达的标定方法、装置及电子设备 |
| CN112184824A (zh) * | 2019-07-05 | 2021-01-05 | 杭州海康机器人技术有限公司 | 一种相机外参标定方法、装置 |
| CN110596683A (zh) * | 2019-10-25 | 2019-12-20 | 中山大学 | 一种多组激光雷达外参标定***及其方法 |
| CN111127563A (zh) * | 2019-12-18 | 2020-05-08 | 北京万集科技股份有限公司 | 联合标定方法、装置、电子设备及存储介质 |
| CN111325801A (zh) * | 2020-01-23 | 2020-06-23 | 天津大学 | 一种激光雷达和相机的联合标定方法 |
| CN112654886A (zh) * | 2020-05-27 | 2021-04-13 | 华为技术有限公司 | 外参标定方法、装置、设备及存储介质 |
| CN111815716A (zh) * | 2020-07-13 | 2020-10-23 | 北京爱笔科技有限公司 | 一种参数标定方法及相关装置 |
| CN111965624A (zh) * | 2020-08-06 | 2020-11-20 | 北京百度网讯科技有限公司 | 激光雷达与相机的标定方法、装置、设备和可读存储介质 |
| CN112379352A (zh) * | 2020-11-04 | 2021-02-19 | 广州文远知行科技有限公司 | 一种激光雷达标定方法、装置、设备及存储介质 |
| CN112462350A (zh) * | 2020-12-10 | 2021-03-09 | 苏州一径科技有限公司 | 雷达标定方法及装置、电子设备及存储介质 |
| CN112233182A (zh) * | 2020-12-15 | 2021-01-15 | 北京云测网络科技有限公司 | 一种多激光雷达的点云数据的标注方法和装置 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569812A (zh) * | 2021-08-31 | 2021-10-29 | 东软睿驰汽车技术（沈阳）有限公司 | 未知障碍物的识别方法、装置和电子设备 |
| CN113884104A (zh) * | 2021-09-27 | 2022-01-04 | 苏州挚途科技有限公司 | 多传感器联合标定方法、装置及电子设备 |
| CN113884104B (zh) * | 2021-09-27 | 2024-02-02 | 苏州挚途科技有限公司 | 多传感器联合标定方法、装置及电子设备 |
| CN114152935A (zh) * | 2021-11-19 | 2022-03-08 | 苏州一径科技有限公司 | 一种雷达外参标定精度的评估方法、装置及设备 |
| CN114152935B (zh) * | 2021-11-19 | 2023-02-03 | 苏州一径科技有限公司 | 一种雷达外参标定精度的评估方法、装置及设备 |
| CN115100287A (zh) * | 2022-04-14 | 2022-09-23 | 美的集团(上海)有限公司 | 外参标定方法及机器人 |
| CN115184909A (zh) * | 2022-07-11 | 2022-10-14 | 中国人民解放军国防科技大学 | 一种基于目标检测的车载多谱系激光雷达标定***与方法 |
| CN115482294A (zh) * | 2022-09-19 | 2022-12-16 | 北京斯年智驾科技有限公司 | 相机与激光雷达的外参精确标定方法及其*** |
| CN116577796A (zh) * | 2022-11-17 | 2023-08-11 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116594028A (zh) * | 2022-11-17 | 2023-08-15 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116594028B (zh) * | 2022-11-17 | 2024-02-06 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116577796B (zh) * | 2022-11-17 | 2024-03-19 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN115840196A (zh) * | 2023-02-24 | 2023-03-24 | 新石器慧通（北京）科技有限公司 | 基于实体标定间的激光雷达间标定方法及装置 |
| CN116740197A (zh) * | 2023-08-11 | 2023-09-12 | 之江实验室 | 一种外参的标定方法、装置、存储介质及电子设备 |
| CN116740197B (zh) * | 2023-08-11 | 2023-11-21 | 之江实验室 | 一种外参的标定方法、装置、存储介质及电子设备 |
| CN117274402A (zh) * | 2023-11-24 | 2023-12-22 | 魔视智能科技(武汉)有限公司 | 相机外参的标定方法、装置、计算机设备及存储介质 |
| CN117274402B (zh) * | 2023-11-24 | 2024-04-19 | 魔视智能科技(武汉)有限公司 | 相机外参的标定方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113269840B (zh) | 2024-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113269840B (zh) | 一种用于相机和多激光雷达的联合标定方法及电子设备 | |
| CN108717712B (zh) | 一种基于地平面假设的视觉惯导slam方法 | |
| CN109270534B (zh) | 一种智能车激光传感器与相机在线标定方法 | |
| CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
| CN112700486B (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
| KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| CN113848931B (zh) | 农机自动驾驶障碍物识别方法、***、设备和存储介质 | |
| CN114677435A (zh) | 一种点云全景融合要素提取方法和*** | |
| Zhu et al. | Object detection and localization in 3D environment by fusing raw fisheye image and attitude data | |
| CN115685160A (zh) | 基于标靶的激光雷达与相机标定方法、***、电子设备 | |
| JP2730457B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN111198563B (zh) | 一种用于足式机器人动态运动的地形识别方法及*** | |
| CN117115252A (zh) | 一种基于视觉的仿生扑翼无人机空间位姿估计方法 | |
| CN114792343B (zh) | 图像获取设备的标定方法、获取图像数据的方法、装置 | |
| CN111862146A (zh) | 一种目标对象的定位方法及装置 | |
| CN114353779B (zh) | 一种采用点云投影快速更新机器人局部代价地图的方法 | |
| CN114879168A (zh) | 一种激光雷达与imu标定方法及*** | |
| CN112348874B (zh) | 一种车道线的结构化参数表示确定方法及装置 | |
| JP2018116147A (ja) | 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム | |
| CN113256726A (zh) | 移动装置的传感***的在线标定和检查方法、移动装置 | |
| CN112308905B (zh) | 一种平面标志物的坐标确定方法及装置 | |
| CN112348875B (zh) | 一种标志杆的结构化参数表示确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |