CN112819896B - 传感器的标定方法及装置、存储介质和标定*** - Google Patents

传感器的标定方法及装置、存储介质和标定*** Download PDF

Info

Publication number
CN112819896B
CN112819896B CN201911129776.2A CN201911129776A CN112819896B CN 112819896 B CN112819896 B CN 112819896B CN 201911129776 A CN201911129776 A CN 201911129776A CN 112819896 B CN112819896 B CN 112819896B
Authority
CN
China
Prior art keywords
radar
calibration plate
cloud data
camera
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911129776.2A
Other languages
English (en)
Other versions
CN112819896A (zh
Inventor
马政
闫国行
刘春晓
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime Group Ltd
Original Assignee
Sensetime Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime Group Ltd filed Critical Sensetime Group Ltd
Priority to CN201911129776.2A priority Critical patent/CN112819896B/zh
Priority to JP2021536261A priority patent/JP2022515225A/ja
Priority to PCT/CN2020/123636 priority patent/WO2021098448A1/zh
Publication of CN112819896A publication Critical patent/CN112819896A/zh
Priority to US17/747,717 priority patent/US20220276339A1/en
Application granted granted Critical
Publication of CN112819896B publication Critical patent/CN112819896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/406—Means for monitoring or calibrating by simulation of echoes using internally generated reference signals, e.g. via delay line, via RF or IF signal injection or via integrated reference reflector or transponder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开提供了一种传感器的标定方法及装置、存储介质和标定***，传感器包括相机和雷达，标定板位于所述雷达和所述相机的共同视野范围内，方法包括：通过相机采集所述标定板在不同位姿下的多张图像，以及通过雷达采集标定板在不同位姿下的多组雷达点云数据；基于标定板的不同位姿，建立图像与雷达点云数据之间的对应关系；在多组雷达点云数据中，分别确定与标定板匹配的目标雷达点云数据；根据多组目标雷达点云数据，以及多组对应关系，确定雷达和相机之间的目标外参。

Description

传感器的标定方法及装置、存储介质和标定***
技术领域
本公开涉及计算机视觉领域，具体涉及传感器的标定方法及装置、存储介质和标定***。
背景技术
随着计算机视觉领域的不断发展，雷达和相机已成为传感器不可或缺的组合。基于雷达和相机提供的数据，可以让机器设备学习感知周围环境。
但是，在雷达和相机融合过程中，雷达和相机之间的外参的准确性决定了环境感知的准确性。在对雷达和相机之间的外参进行标定的过程中，标定精度主要由相机内参、标定板相对于相机的外参以及点云数据匹配精度决定。人工匹配点云数据的误差在标定过程中会多次累积，所以得到的标定结果不够准确。
发明内容
本公开提供了一种传感器的标定方法及装置、存储介质和标定***，能够解决因人工匹配点云数据的误差在标定过程中多次累积，而导致的标定结果不够准确的技术问题。
根据本公开实施例的第一方面，提供一种传感器的标定方法，所述传感器包括相机和雷达，标定板位于所述雷达和所述相机的共同视野范围内，所述方法包括：通过所述相机采集所述标定板在不同位姿下的多张图像，以及通过所述雷达采集所述标定板在所述不同位姿下的多组雷达点云数据；基于所述标定板的不同位姿，建立所述图像与所述雷达点云数据之间的对应关系，其中，在所述标定板的同一位姿下采集的所述图像与所述雷达点云数据之间存在对应关系；在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据；根据多组所述目标雷达点云数据，以及多组所述对应关系，确定所述雷达和所述相机之间的目标外参。
在一些可选实施例中，所述在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据，包括：获取预先标定的所述相机的内参，并根据所述内参和所述多张图像，确定所述标定板在所述不同位姿下相对于所述相机的外参；针对在每个位姿下的所述标定板，根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据。
在一些可选实施例中，所述根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据，包括：根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，确定所述标定板在所述雷达点云数据中的备选位置；根据所述备选位置，在所述雷达点云数据中确定所述标定板所在的目标平面；在所述雷达点云数据对应的所述目标平面上，确定与所述标定板匹配的目标雷达点云数据。
在一些可选实施例中，所述根据所述备选位置，在所述雷达点云数据中确定所述标定板所在的目标平面，包括：从所述雷达点云数据中，随机选取多组位于所述备选位置对应区域内的第一雷达点，以针对每组选取的所述第一雷达点，确定包括所述第一雷达点的第一平面，其中，每组第一雷达点包括多个第一雷达点，不同组第一雷达点包括的多个第一雷达点部分相同或不同；针对每个所述第一平面，确定所述雷达点云数据中的除所述多个第一雷达点以外的其他雷达点到所述第一平面的距离；将所述其他雷达点中所述距离小于阈值的雷达点作为第二雷达点，并将所述第二雷达点确定为所述第一平面中的雷达点；在多个所述第一平面中，将包括的雷达点数目最多的一个第一平面作为所述目标平面。
在一些可选实施例中，所述在所述雷达点云数据对应的所述目标平面上，确定与所述标定板匹配的目标雷达点云数据，包括：在所述目标平面上，根据所述标定板的尺寸随机确定第一圆形区域；在所述雷达点云数据中，随机选取位于所述第一圆形区域内的一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置；以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量；将所述多个第一向量相加后得到第二向量；基于所述第二向量，确定所述标定板的目标中心位置；根据所述标定板的所述目标中心位置和所述标定标的尺寸，在所述雷达点云数据中确定与所述标定板匹配的所述目标雷达点云数据。
在一些可选实施例中，所述基于所述第二向量，确定所述标定板的目标中心位置，包括：以所述第二向量的终点为第二圆心，根据所述第二圆心和所述标定板的尺寸确定第二圆形区域；以所述第二圆心为起点，所述雷达点云数据中位于所述第二圆形区域内的多个第四雷达点为终点，分别确定多个第三向量；将所述多个第三向量相加后得到第四向量；将所述第四向量的终点作为所述第二圆心，重新确定所述第四向量，直到所述第四向量的向量值收敛为预设值；响应于将所述第四向量的向量值收敛为所述预设值所对应的所述第二圆心作为所述标定板的备选中心位置；响应于所述备选中心位置与所述标定板的实际中心位置重合，将所述备选中心位置作为所述目标中心位置。
在一些可选实施例中，所述基于所述第二向量，确定所述标定板的目标中心位置，还包括：响应于所述备选中心位置与所述标定板的所述实际中心位置不重合，重新确定所述备选中心位置，直到所述备选中心位置与所述标定板的所述实际中心位置重合。
在一些可选实施例中，每组对应关系中包括多个对应关系，不同组对应关系包括的多个对应关系部分相同或不同；所述根据多组所述目标雷达点云数据，以及多组所述对应关系，确定所述雷达和所述相机之间的目标外参，包括：根据多组所述目标雷达点云数据，以及所述多组对应关系中的所述每组对应关系，确定所述雷达和所述相机之间的多个备选外参，并根据所述多个备选外参，确定所述雷达和所述相机之间的目标外参。
在一些可选实施例中，所述根据所述多个备选外参，确定所述雷达和所述相机之间的目标外参，包括：通过所述雷达基于每个备选外参对所述标定板进行投影，投影到相应的所述图像上，生成多组投影数据；在所述多组投影数据中确定投影与相应的所述图像匹配度最高的一组投影数据为目标投影数据；确定所述目标投影数据对应的备选外参，为所述雷达和所述相机之间的目标外参。
在一些可选实施例中，所述雷达和所述相机部署在车辆上。
在一些可选实施例中，所述图像包括完整的所述标定板，且所述雷达点云数据包括基于完整的所述标定板得到的点云数据。
在一些可选实施例中，所述标定板位于所述相机的视野范围内靠近视野边缘的位置。
在一些可选实施例中，所述雷达包括激光雷达，所述激光雷达发射的激光线与所述标定板所在的平面相交。
在一些可选实施例中，所述不同位姿下的标定板包括：在水平方向上与所述相机和/或所述雷达之间距离不同，且位姿信息不同的标定板。
根据本公开实施例的第二方面，提供一种传感器的标定装置，所述传感器包括相机和雷达，标定板位于所述雷达和所述相机的共同视野范围内，所述装置包括：采集模块，用于通过所述相机采集所述标定板在不同位姿下的多张图像，以及通过所述雷达采集所述标定板在所述不同位姿下的多组雷达点云数据；第一确定模块，用于基于所述标定板的不同位姿，建立所述图像与所述雷达点云数据之间的对应关系，其中，在所述标定板的同一位姿下采集的所述图像与所述雷达点云数据之间存在对应关系；第二确定模块，用于在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据；第三确定模块，用于根据多组所述目标雷达点云数据，以及多组所述对应关系，确定所述雷达和所述相机之间的目标外参。
在一些可选实施例中，所述第二确定模块包括：第一确定子模块，用于获取预先标定的所述相机的内参，并根据所述内参和所述多张图像，确定所述标定板在所述不同位姿下相对于所述相机的外参；第二确定子模块，用于针对在每个位姿下的所述标定板，根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据。
在一些可选实施例中，所述第二确定子模块包括：第一确定单元，用于根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，确定所述标定板在所述雷达点云数据中的备选位置；第二确定单元，用于根据所述备选位置，在所述雷达点云数据中确定所述标定板所在的目标平面；第三确定单元，用于在所述雷达点云数据对应的所述目标平面上，确定与所述标定板匹配的目标雷达点云数据。
在一些可选实施例中，所述第二确定单元包括：第一确定子单元，用于从所述雷达点云数据中，随机选取多组位于所述备选位置对应区域内的第一雷达点，以针对每组选取的所述第一雷达点，确定包括所述第一雷达点的第一平面，其中，每组第一雷达点包括多个第一雷达点，不同组第一雷达点包括的多个第一雷达点部分相同或不同；第二确定子单元，用于针对每个所述第一平面，确定所述雷达点云数据中的除所述多个第一雷达点以外的其他雷达点到所述第一平面的距离；第三确定子单元，用于将所述其他雷达点中所述距离小于阈值的雷达点作为第二雷达点，并将所述第二雷达点确定为所述第一平面中的雷达点；第四确定子单元，用于在多个所述第一平面中，将包括的雷达点数目最多的一个第一平面作为所述目标平面。
在一些可选实施例中，所述第三确定单元包括：第五确定子单元，用于在所述目标平面上，根据所述标定板的尺寸随机确定第一圆形区域；第六确定子单元，用于在所述雷达点云数据中，随机选取位于所述第一圆形区域内的一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置；第七确定子单元，用于以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量；第八确定子单元，用于将所述多个第一向量相加后得到第二向量；第九确定子单元，用于基于所述第二向量，确定所述标定板的目标中心位置；第十确定子单元，用于根据所述标定板的所述目标中心位置和所述标定标的尺寸，在所述雷达点云数据中确定与所述标定板匹配的所述目标雷达点云数据。
在一些可选实施例中，所述第九确定子单元包括：以所述第二向量的终点为第二圆心，根据所述第二圆心和所述标定板的尺寸确定第二圆形区域；以所述第二圆心为起点，所述雷达点云数据中位于所述第二圆形区域内的多个第四雷达点为终点，分别确定多个第三向量；将所述多个第三向量相加后得到第四向量；将所述第四向量的终点作为所述第二圆心，重新确定所述第四向量，直到所述第四向量的向量值收敛为预设值；响应于将所述第四向量的向量值收敛为所述预设值所对应的所述第二圆心作为所述标定板的备选中心位置；响应于所述备选中心位置与所述标定板的实际中心位置重合，将所述备选中心位置作为所述目标中心位置。
在一些可选实施例中，所述第九确定子单元还包括：响应于所述备选中心位置与所述标定板的所述实际中心位置不重合，重新确定所述备选中心位置，直到所述备选中心位置与所述标定板的所述实际中心位置重合。
在一些可选实施例中，每组对应关系中包括多个对应关系，不同组对应关系包括的多个对应关系部分相同或不同；所述第三确定模块包括：第三确定子模块，用于根据多组所述目标雷达点云数据，以及所述多组对应关系中的所述每组对应关系，确定所述雷达和所述相机之间的多个备选外参，并根据所述多个备选外参，确定所述雷达和所述相机之间的目标外参。
在一些可选实施例中，所述第三确定子模块包括：生成单元，用于通过所述雷达基于每个备选外参对所述标定板进行投影，投影到相应的所述图像上，生成多组投影数据；第四确定单元，用于在所述多组投影数据中确定投影与相应的所述图像匹配度最高的一组投影数据为目标投影数据；第五确定单元，用于确定所述目标投影数据对应的备选外参，为所述雷达和所述相机之间的目标外参。
在一些可选实施例中，所述雷达和所述相机部署在车辆上。
在一些可选实施例中，所述图像包括完整的所述标定板，且所述雷达点云数据包括基于完整的所述标定板得到的点云数据。
在一些可选实施例中，所述标定板位于所述相机的视野范围内靠近视野边缘的位置。
在一些可选实施例中，所述雷达包括激光雷达，所述激光雷达发射的激光线与所述标定板所在的平面相交。
在一些可选实施例中，所述不同位姿下的标定板包括：在水平方向上与所述相机和/或所述雷达之间距离不同，且位姿信息不同的标定板。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面任一所述的传感器的标定方法。
根据本公开实施例的第四方面，提供一种传感器的标定装置，所述传感器包括相机和雷达，标定板位于所述雷达和所述相机的共同视野范围内，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现上述第一方面中任一项所述传感器的标定方法。
根据本公开实施例的第五方面，提供一种标定***，所述标定***包括相机、雷达和标定板，所述标定板位于所述相机和所述雷达的共同视野范围内，所述标定板在不同采集时刻的位姿信息不同。
本公开的实施例提供的技术方案可以包括以下有益效果：
本实施例中，可以通过相机采集标定板在不同位姿下的多张图像，以及通过雷达采集标定在不同位姿下的多组雷达点云数据。基于标定板不同位姿，可以建立图像与雷达点云数据之间的对应关系，在多组雷达点云数据中，分别确定与标定板匹配的目标雷达点云数据之后，可以根据多组目标雷达点云数据以及之前确定的多组对应关系，确定雷达和所述相机之间的目标外参。实现了在雷达点云数据中自动确定与标定板匹配的目标雷达点云数据的目的，解决因人工匹配点云数据的误差在标定过程中多次累积，而导致的标定结果不够准确的技术问题。也就意味着，本申请实施例通过降低匹配误差，提升传感器的标定准确性，即雷达和相机之间的目标外参的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种传感器的标定方法流程图；
图2是本公开根据一示例性实施例示出的一种共同视野示意图；
图3是本公开根据一示例性实施例示出的一种不同姿态的标定板的示意图；
图4是本公开根据一示例性实施例示出的一种雷达发射的激光束与标定板之间对应的场景示意图；
图5是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；
图6是本公开根据一示例性实施例示出的包括另一标定板的第一图像的示意图；
图7A是本公开根据一示例性实施例示出的预设点投影的场景示意图；
图7B是本公开根据一示例性实施例示出的确定存在对应关系的坐标对的场景示意图；
图8是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；
图9是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；
图10是本公开根据一示例性实施例示出的一种确定目标平面的场景示意图；
图11是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；
图12是本公开根据一示例性实施例示出的确定多个第一向量的示意图；
图13是本公开根据一示例性实施例示出的一种确定目标雷达点云数据的场景示意图；
图14是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；
图15是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；
图16是本公开根据一示例性实施例示出的另一种传感器的标定方法流程图；
图17A是本公开根据一示例性实施例示出的通过雷达对标定板进行投影的一种场景示意图；
图17B是本公开根据一示例性实施例示出的通过雷达对标定板进行投影的另一种场景示意图；
图18是本公开根据一示例性实施例示出的在车辆上部署雷达和相机的示意图；
图19是本公开根据一示例性实施例示出的雷达和相机部署在车辆上对应的标定板和另一标定板位置的示意图；
图20是本公开根据一示例性实施例示出的另一标定板处于相机视野边缘的场景示意图；
图21是本公开根据一示例性实施例示出的一种雷达和相机之间的外参标定装置框图；
图22是本公开根据一示例性实施例示出的另一种雷达和相机之间的外参标定装置框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一张或多张相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开提供了一种传感器的标定方法，对于传感器的标定而言，指的是对传感器的内参和/或外参进行标定。
其中，传感器的内参是指用于反映传感器自身特性的参数；在传感器出厂后，内参理论上是不变的，以传感器包括相机为例，随着使用，相机各部件位置关系的变化会导致内参的变化。标定出的内参通常只是近似真实内参的一个参数，而并非内参的真实值。
以传感器包括相机和雷达为例，那么传感器的内参可以包括相机的内参和/或雷达的内参。
相机的内参，指的可以是用于反映相机自身特性的参数，可以包括但不限于以下至少一项，即可以为以下例举的多个参数中的一个或是至少两个的组合等：u0、v0、Sx、Sy、f和r。其中，u0和v0分别表示像素坐标系的原点和相机所在的相机坐标系的原点之间相差的横向和纵向像素数目，以像素为单位。Sx和Sy是每单位长度包括的像素数目，单位长度可以为毫米。f是相机的焦距。r由于图像畸变造成的像素点距离成像仪中心的距离值，在本公开实施例中，成像仪中心为相机的聚焦中心。
雷达的内参，指的可以是用于反映雷达自身特性的参数，可以包括但不限于以下至少一项，即可以为以下例举的多个参数中的一个或是至少两个的组合等：发射机的功率和型式、接收机的灵敏度和型式、天线的参数和型式、显示器的数量和型式等。
在传感器包括一个的情况下，传感器的外参是指用于表示物体在世界坐标系中所处的位置，相对于该物体在传感器坐标系中所处的位置之间的转换关系的参数。需要说明的是，在传感器包括多个的情况下，传感器外参通常指的是用于反映多个传感器坐标系之间转换关系的参数。下面同样以传感器包括相机和雷达为例，那么传感器的外参可以包括相机的外参、雷达的外参、相机和雷达之间的目标外参等中的一项或是多项的组合。
相机的外参，是指用于将点从世界坐标系转换到相机坐标系的参数。在本公开实施例中，标定板相对于相机的外参，可以用于反映处于世界坐标系的标定板转换到相机坐标系所需的位置和/或姿态的变化参数等。
相机的外参可以包括但不限于如下参数中的一项或多项的组合：相机采集到的图像的畸变参数、处于世界坐标系的标定板转换到相机坐标系所需的位置和/或姿态的变化参数等。畸变参数包括径向畸变参数和切向畸变系数。径向畸变和切向畸变分别是图像像素点以畸变中心为中心点，沿着长度方向或切线产生的位置偏差，从而导致图像发生形变。
处于世界坐标系的标定板转换到相机坐标系所需的位置和/或姿态的变化参数可以包括旋转矩阵R和平移矩阵T。其中，旋转矩阵R是处于世界坐标系的标定板转换到相机坐标系的情况下分别相对于x、y、z三个坐标轴的旋转角度参数，平移矩阵T是在处于世界坐标系的标定板转换到相机坐标系的情况下原点的平移参数。
雷达的外参，是指用于将点从世界坐标系转换到雷达坐标系的参数。在本申请实施例中，标定板相对于雷达的外参，可以用于反映处于世界坐标系的标定板转换到雷达坐标系所需的位置和/或姿态的变化参数等。
相机和雷达之间的目标外参，是指用于反映雷达坐标系与相机坐标系之间转换关系的参数，相机和雷达之间的外参可以反映雷达坐标系相对于相机坐标系在位置和姿态上的变化等。
比如，传感器可以包括相机和雷达，那么对传感器进行标定，指的是对相机的内参、雷达的内参、标定板相对于相机的外参、标定板相对于雷达的外参、相机和雷达之间的目标外参中的一项进行标定或多项的组合进行标定。需要说明的是，实际被标定的参数可以包括但不限于上述例举的情况。
例如图1所示，在传感器包括相机和雷达的情况下，传感器的标定方法可以包括以下步骤：
在步骤101中，通过所述相机采集所述标定板在不同位姿下的多张图像，以及通过所述雷达采集所述标定板在所述不同位姿下的多组雷达点云数据。
在本公开实施例中，视野是传感器在位置不变的情况下，发射的光、电磁波等可以覆盖的范围。在本申请实施例中，以传感器包括雷达为例，视野指的是雷达发射的激光束或电磁波等可以覆盖的范围；以传感器包括相机为例，视野指的是相机的摄像头所能拍摄到的范围。在本公开实施例中，标定板位于雷达和相机的共同视野范围内，例如图2所示。其中，共同视野范围是指在传感器包括多个的情况下，这多个传感器各自覆盖的范围相互重叠的部分，即雷达覆盖的范围与相机拍摄的范围重叠的部分。
其中，标定板可以采用圆形、长方形或正方形的固定间距图案的阵列平板，例如图3所示，可以采用长方形的黑白格子相间的阵列平板。当然，标定板的图案还可以包括其他规则图案，或是包括不规则但具备特征点集、特征边等特征参数的图案，在此对于标定板的形状、图案等内容不予限定。
在本步骤中，为了提高雷达和相机之间的目标外参的准确性，相机采集的图像的数目可以为多张，例如大于20张。在本公开实施例中，采集的多张图像中标定板的位姿信息可以不同，即多张图像中存在至少部分图像分别展示标定板的不同位姿。其中，位姿信息指的是用于反映标定板在三维空间中的姿态的信息。例如图3中所示出的标定板存在俯仰角、翻滚角、偏航角(pitch、roll、yaw)三个维度中至少一个维度上的姿态变化。也就意味着，多张图像可以是在标定板处于不同位置和/或位姿下采集，即不同图像所包括的标定板的位姿信息可以相同或不同，但存在至少两张图像包括标定板不同的位姿信息。其中，每张图像中需要包括完整的标定板。
所述不同位姿下的标定板包括：在水平方向上与所述相机和/或所述雷达之间距离不同，且位姿信息不同的标定板。另外，在相机采集图像的过程中，可以使标定板处于静止状态。比如，可以使用支架固定标定板。在一种实现方式中，所采集的多张图像中，可以包括多种距离(即距离较小、距离适中、距离较大等)下的标定板在不同位姿下的图像。为了确保雷达产生的激光可以覆盖到完整的标定板，通常在部署标定板的过程中，使标定板距离雷达较远。在对部署在不同距离的标定板的图像进行采集的过程中，响应于标定板距离相机的距离d1较小的情况下，例如距离d1小于距离阈值D1的情况下，采集包括不同位姿信息的标定板的多张图像。响应于d1较大的情况下，例如d1大于距离阈值D2的情况下，可以再额外采集包括不同位姿信息的标定板的多张图像。响应于距离d1适中的情况下，例如距离d1在上述两个距离阈值之间，即D1<d1<D2，可以再额外采集包括不同位姿信息的标定板的多张图像。这样就能得到标定板与相机之间在多种距离下所拍摄的图像。
在本公开实施例中，为了后续更准确地确定标定板相对于相机的外参，多张图像中可以包括完整的标定板。如果将雷达和相机部署在车辆上，那么可能会出现雷达和相机各自相对于地面的距离不同，例如图3所示多张图像中标定板可能占图像的部分内容。
以雷达为激光雷达为例，雷达点云数据是雷达发射的激光穿过不同位姿信息的标定板所产生的包括多个雷达点的数据。标定板的边缘与雷达发射的激光不平行，可以有一定角度，例如图4所示，确保标定板每个边缘都有雷达发射的激光穿过，以便后续可以更好的确定标定板在雷达点云数据中匹配的目标雷达点云数据。
在步骤102中，基于所述标定板的不同位姿，建立所述图像与所述雷达点云数据之间的对应关系。
对应标定板的同一位姿，可以建立相机采集的图像与雷达生成的雷达点云数据之间的对应关系。
在步骤103中，在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据。
在本公开实施例中，每组雷达点云数据中，标定板对应的点云数据就是与标定板匹配的目标雷达点云数据。
在步骤104中，根据多组所述目标雷达点云数据，以及多组所述对应关系，确定所述雷达和所述相机之间的目标外参。其中，所述雷达和所述相机之间的目标外参，就是本申请实施例要标定的相机和雷达之间的外参。
上述实施例中，实现了在雷达点云数据中自动确定与标定板匹配的目标雷达点云数据的目的，解决因人工匹配点云数据的误差在标定过程中多次累积，而导致的标定结果不够准确的技术问题。也就意味着，本申请实施例通过降低匹配误差，提升传感器的标定准确性，即雷达和相机之间的目标外参的准确性。
在一些可选实施例中，例如图5所示，步骤103可以包括：
在步骤103-1中，获取预先标定的所述相机的内参，并根据所述内参和所述多张图像，确定所述标定板在所述不同位姿下相对于所述相机的外参。
在本公开实施中，在对传感器进行标定(即对相机和雷达之间的目标外参进行标定)的情况下，可以直接获取之前标定好的相机的内参。也就意味着，在已经对传感器进行标定的情况下，若后续因相机和雷达之间的相对位置关系发生改变，而需要重新对传感器进行标定的情况下，可以直接采用预先标定好的相机的内参，来完成传感器的标定。即在后续对传感器进行标定过程中，能够省略对相机的内参进行标定所耗费的时间及资源。
在本公开实施例中，在对相机的内参进行标定的情况下，可以让另一标定板位于相机视野内，通过相机采集包括另一标定板的多张第一图像。其中，所述多张第一图像中另一标定板的位姿信息不同。在本公开实施例中，第一图像指的是应用于对相机的内参进行标定的图像。
在本公开实施例中，另一标定板可以与处于雷达和相机的共同视野范围内的标定板相同或不同。也就意味着，在本公开实施例中，用于标定相机的内参的另一标定板，与用于标定相机和雷达之间的目标外参的标定板可以相同或是不同。其中，标定板相同指的可以是，采用同样的标定板来实现两个标定过程，即相机的内参标定，以及相机和雷达之间目标外参的标定。在上述两个标定过程中，相同的标定板的位姿信息可以相同或不同，在此不予限定。当然，也可以采取不同的标定板来实现上述两个标定过程的标定。其中，两个标定过程所用的标定板不同指的可以是，采用完全不同或是部分不同的标定板来分别实现两个标定板的功能。
在相机采集第一图像的过程中，另一标定板可以处于静止状态，比如，可以使用支架固定另一标定板。
相机在采集第一图像的情况下，为了提高标定相机的内参的准确性，让标定板(即用于对相机的内参进行标定的另一标定板)尽可能靠近相机视野边缘，这样相机采集到的多张第一图像中，标定板在所述第一图像中占据的比例大于预设值。在一种实现方式中，所述预设值可以是一个具体的数值，或是范围值。需要说明的是，预设值的取值往往会影响到相机的内参标定的准确性，在预设值为一个具体的数值的情况下，预设值的取值越大，用来标定相机的内参的第一图像中标定板的占比越高，标定板在图像中呈现的状态受图像畸变的影响越大，也就能在相机的内参标定过程中充分考虑畸变参数的影响。以预设值为范围值为例，预设值的范围值会影响基于每张第一图像确定出的相机的每个内参的准确性，而最终得到的相机的内参时基于上述相机的每个内参而确定的，因此，为了提高后续得到的相机的内参的准确性，可以将预设值设置为[0.8，1]之间的数值，例如图6所示。
为了提高确定的相机的内参的准确性，相机采集的第一图像的数目可以为多张，例如大于20张。在本公开实施例中，采集的多张第一图像中标定板的位姿信息可以不同，即多张第一图像中存在至少部分图像分别展示标定板的不同位姿，例如存在俯仰角、翻滚角、偏航角三个维度中至少一个维度的姿态变化。也就意味着，多张第一图像可以是在另一标定板处于不同位置和/或位姿下采集，即不同第一图像所包括的标定板的位姿信息可以相同或不同，但存在至少两张第一图像包括标定板不同的位姿信息。其中，每张第一图像中需要包括完整的标定板。
另外，在相机采集第一图像的过程中，可以使标定板处于静止状态。比如，可以使用支架固定另一标定板。
在一种实现方式中，所采集的多张第一图像中，可以包括多种距离(即距离较小、距离适中、距离较大等)下的标定板在不同位姿下的图像。在对部署在不同距离的标定板的图像进行采集的过程中，响应于另一标定板距离相机的距离d2较小的情况下，例如距离d2小于距离阈值D3的情况下，可以采集包括不同位姿信息的标定板的多张第一图像。响应于d2较大的情况下，例如d2大于距离阈值D4的情况下，可以再额外采集包括不同位姿信息的标定板的多张第一图像。响应于距离d2适中的情况下，例如距离d2在上述两个距离阈值之间，即D3<d2<D4，可以再额外采集包括不同位姿信息的标定板的多张第一图像。这样就能得到标定板与相机之间在多种距离下所拍摄的第一图像。
为了提高相机的内参的准确性，相机采集的多张第一图像中不包括模糊的图像，其中，图像模糊可能是由于传感器的运动，即相机的运动造成相机与标定板之间出现相对运动所造成的。在一种实现方式中，可以通过预设脚本过滤掉模糊的图像。
在本公开实施例中，可以采用预设的matlab工具箱根据多张第一图像来分别标定出相机的多个备选内参。通常情况下，一张第一图像可以标定出相机的一个备选内参。在多个备选内参中，可以通过所述相机，将位于相机坐标系中的预设点重投影到像素坐标系中，比较投影点与观察到的预设点在像素坐标系中对应点之间的误差，将误差值最小的一个备选内参作为相机的内参。在本公开实施例中，通常误差指的是投影点与榆社店在像素坐标系中对应点之间的距离，误差值指的是距离的取值。
例如图7A所示，将3D空间的一个预设点P投影到2D空间中，获得对应的第一坐标值P1。此外，可以根据采集到的图像来确定预设点实际在像素坐标系中的第二坐标值，例如图7B所示第二坐标值为P2，分别确定与每个第二坐标值P2对应的一个第一坐标值P1，得到多组存在对应关系的坐标对。例如，P2对应P1，P1和P2构成一组坐标对，再例如P2’对应P1’，则P1’和P2’构成另一组坐标对。
在本公开实施例中，可以分别计算每一组坐标对中第一坐标值与第二坐标值之间的距离。最小距离对应的一个备选内参，可以作为相机的内参。
在本公开实施例中，按照上述方式标定好相机的内参之后，在对传感器进行标定的情况下，可以直接获取预先标定好的相机的内参，采用相机的内参对相机采集的标定板在不同位姿下的多张图像进行去畸变，这里的多张图像就是上述步骤101中，相机采集的图像(即与雷达点云数据共同用于实现相机和雷达之间的目标外参的标定的图像)。对多张图像去畸变后，得到多张第二图像。根据多张第二图像得到相机的理想内参，即没有畸变的情况下相机的内参。再根据相机的理想内参确定标定板相对于相机的外参。由此可见，在相机和雷达之间的目标外参的标定过程中，通过预先确定的相机的内参，对用于实现目标外参标定所需的图像进行去畸变处理，以基于去畸变后得到的多张第二图像来得到标定板相对于相机的外参。
其中，相机的内参可以通过内参矩阵A表示，如公式1所示：
在对多张图像进行去畸变处理的过程，就是需要在上述内参矩阵A中忽略由于畸变造成的像素点距离相机的成像仪中心的距离值r的影响，让r尽可能为0，相应的内参矩阵A可以用公式2表示：
从而可以根据多张图像去畸变之后得到的多张第二图像，确定出相机的理想内参。可以通过预设的matlab工具箱根据去畸变处理后的多张第二图像，来分别确定相机的多个备选理想内参(通常根据一张第二图像，可以确定出相机的一个备选理想内参)，相机分别采用不同的备选理想内参将位于相机坐标系的预设点投影到像素坐标系，获得多个第三坐标值。通过确定每个预设点分别在像素坐标系中的实际位置，即第四坐标值，之后将第四坐标值与相应的第三坐标值作为一组存在对应关系的坐标对，将多组坐标对中最小距离对应的一个备选理想内参作为相机的理想内参。
再分别计算每张第二图像对应的单应性矩阵H，得到多个单应性矩阵H，再根据理想内参和多个单应性矩阵，计算出不同位姿信息的标定板相对于相机的外参。其中，单应性矩阵是描述世界坐标系和像素坐标系之间的位置映射关系的矩阵。
在本公开实施例中，每张第二图像对应的单应性矩阵H可以采用以下方式计算：
H＝A[r1 r2 t] 公式4
根据公式3和公式4可以得出公式5：
其中，(u，v)是像素坐标，(X，Y)对应标定板的坐标，s是尺度因子。
在本公开实施例中，通过公式5可以计算出多张第二图像分别对应的单应性矩阵H。
在计算得到多个单应性矩阵H之后，在确定不同位姿信息的所述标定板相对于所述相机的外参R和T的情况下，可以采用以下公式进行计算：
H＝A[r1 r2 t]， 公式6
其中，单应性矩阵H是一个3×3的矩阵，公式6可以进一步表示为：
[h1 h2 h3]＝λA[r1 r2 t] 公式7
计算得到r1＝λA-1h1，r2＝λA-1h2，r3＝r1×r2，其中，λ＝1/||A-1h1||＝1/||A-1h2||。r1、r2和r3构成了3×3的旋转矩阵R。
根据公式7还可以计算得到t＝λA-1h3，t构成3×1的平移矩阵T。
在本公开实施例中，相机的备选内参就是根据相机采集到的包括不同位姿信息的标定板的多张第一图像，确定出的多个备选的相机的内参。备选内参按照上述方式来确定，即将投影点与预设点在像素坐标系中对应点之间的误差值最小的一个备选内参，确定为对传感器进行标定，得到的相机的内参。在标定好相机的内参之后，在对传感器再次标定的情况下，可以直接获取预先标定的相机的内参。而后续的相机的理想内参则是根据相机采集到的包括不同位姿信息的标定板的多张图像，进行去畸变后的多张第二图像所确定出的相机在没有畸变的理想状态下的内参。
另外，在本公开实施例中，除了上述相机的内参之外，还涉及了标定板相对于相机的外参，这是通过上述相机的理想内参和多张第二图像确定出的，即通过相机去畸变后的理想内参和去畸变后的多张第二图像确定出的，世界坐标系的标定板转换到相机坐标系所需的位置和/或姿态的变化参数等。目标外参，即雷达和相机之间的外参，是根据标定板相对于相机的外参和多组目标雷达点云数据确定出的，用于反映雷达坐标系相对于相机坐标系在位置和姿态上的变化等的参数。
在步骤103-2中，针对在每个位姿下的所述标定板，根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据。
其中，外参参考值可以是根据雷达和相机之间的大致位置和朝向，得出的粗略估计的雷达和相机之间的外参值。可以根据外参参考值将雷达坐标系经过平移、旋转等操作，以使雷达坐标系与相机坐标系重合。
在本公开实施例中，可以针对每个位姿信息的所述标定板，所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，采用M估计(M-estimatorSAmple Consensus，MSAC)算法来确定标定板所在的目标平面。进一步地，使用均值偏移(MeanShift)聚类算法在所述目标平面上，在对应的雷达点云数据中确定出与标定板匹配目标雷达点云数据。
上述实施例中，可以获取预先标定的相机的内参，并根据内参和之前相机采集的多张图像，确定标定板在不同位姿下相对于相机的外参。针对每个位姿下的标定板，可以根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据。实现了自动在雷达点云数据中确定与标定板匹配的目标雷达点云数据的目的。
在一些可选实施例中，例如图8所示，步骤103-2可以包括：
在步骤103-21中，根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，确定所述标定板在所述雷达点云数据中的备选位置。
在本公开实施例中，可以先根据标定板相对于所述相机的外参和预估的所述雷达和所述相机之间的外参参考值，在多组雷达点云数据中分别预估标定板所在的位置，获得该标定板所在的大致位置和方向。将标定板所在的大致位置和方向作为预估的备选位置。每一组雷达点云数据可以对应一个标定板的备选位置。
在步骤103-22中，根据所述备选位置，在所述雷达点云数据中确定所述标定板所在的目标平面。
本公开实施例中，可以从每组雷达点云数据中，每次选取位于所述备选位置所对应的区域内的多个第一雷达点，可以获得由多个第一雷达点组成的第一平面。其中，选取多个第一雷达点的过程可以为随机的或是按照一定预设规则来执行的，在本申请实施例中，可以通过随机选取的方式，来确定位于所述备选位置所对应的区域内的多个第一雷达点。
再针对每个第一平面，分别计算每组雷达点云数据中除多个第一雷达点以外的其他雷达点到第一平面的距离。将其他雷达点中所述距离小于预设阈值的雷达点作为第二雷达点，并将第二雷达点确定为第一平面中的雷达点。将雷达点数目最多的一个第一平面作为标定板所在的目标平面。其中，预设阈值的取值可以预先设定，在本申请实施例中，对于预设阈值的取值不予限定。
在步骤103-23中，在所述雷达点云数据对应的所述目标平面上，确定与所述标定板匹配的目标雷达点云数据。
在每个目标平面上，根据所述标定板的尺寸随机确定第一圆形区域。该第一圆形区域可以是标定板外接圆对应的区域。在每组所述雷达点云数据中，选取位于所述第一圆形区域内的一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置。其中，选取位于所述第一圆形区域内的一个雷达点的方式可以为随机的或是按照一定预设规则来执行的，在本申请实施例中，可以通过随机选取的方式，来确定位于所述第一圆形区域内的一个雷达点。
以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量。将所述多个第一向量相加后得到第二向量。在基于第二向量，确定标定板的目标中心位置。
进一步地，根据所述标定板的所述目标中心位置和所述第一标定标的尺寸，在所述雷达点云数据中确定与所述标定板匹配的所述目标雷达点云数据。
在一些可选实施例中，例如图9所示，步骤103-22可以包括：
在步骤103-221中，从所述雷达点云数据中，随机选取多组位于所述备选位置对应区域内的第一雷达点，以针对每组选取的所述第一雷达点，确定包括所述第一雷达点的第一平面。
本公开实施例中，可以分别从每组所述雷达点云数据中，每次随机选取位于所述备选位置所对应区域内的多个第一雷达点，每次可以获得由多个第一雷达点组成的第一平面。如果分多次随机选取多个第一雷达点，则可以得到多个第一平面。
其中，每组第一雷达点包括多个第一雷达点，不同组第一雷达点包括的多个第一雷达点部分相同或不同。
例如，假设雷达点包括1、2、3、4、5、6、7和8，第一次随机选取包括第一雷达点1、2、3和4组成第一平面1，第二次随机选取第一雷达点1、2、4和6组成第一平面2，第三次随机选取了第一雷达点2、6、7和8组成第一平面3。
在步骤103-222中，针对每个所述第一平面，分别确定所述雷达点云数据中的除所述多个第一雷达点以外的其他雷达点到所述第一平面的距离。
例如，对于第一平面1，可以计算其他雷达点5、6、7、8分别到第一平面1的距离值，对于第一平面2，可以计算其他雷达点3、5、7、8分别到第一平面2的距离值，同样地，对于第一平面3，可以计算其他雷达点1、3、4、5分别到第一平面3的距离值。
在步骤103-223中，将所述其他雷达点中所述距离小于阈值的雷达点作为第二雷达点，并将所述第二雷达点确定为所述第一平面中的雷达点。
例如，对于第一平面1，其他雷达点5到第一平面1的距离值小于预设阈值，则将雷达点5作为第二雷达点，且第二雷达点确定为第一平面中的雷达点，最终第一平面1包括雷达点1、2、3、4和5，同样地，可以得到包括雷达点1、2、4、6、7的第一平面2，以及包括雷达点1、3、4、5、6、8的第一平面3。
在步骤103-224中，在多个所述第一平面中，将包括的雷达点数目最多的一个第一平面作为所述目标平面。
将雷达点数目最多的一个第一平面，例如第一平面3作为标定板所在的目标平面，例如图10所示。
采用上述方法可以针对每组雷达点云数据，确定标定板所在的一个目标平面。
上述实施例中，通过上述过程中的M估计算法可以拟合出更加准确的目标平面，可用性高。
在一些可选实施例中，例如图11所示，步骤103-23可以包括：
在步骤103-231中，在所述目标平面上，根据所述标定板的尺寸随机确定第一圆形区域。
本公开实施例中，在确定了标定板所在的目标平面之后，可以在目标平面上随机按照标定板的尺寸确定第一圆形区域，该第一圆形区域的大小可以采用该标定板的外接圆大小。
在步骤103-232中，在所述雷达点云数据中，随机选取位于所述第一圆形区域内的一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置。
本公开实施例中，在确定了第一圆形区域后，在所述第一圆形区域内的雷达点云数据中，随机选取一个雷达点作为该第一圆形区域的第一圆心。通过第一圆形后续调整第一圆形区域在雷达点云数据中的位置。
在步骤103-233中，以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量。
在本公开实施例中，例如图12示，可以以第一圆心为起点，雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，得到多个第一向量。
在步骤103-234中，将所述多个第一向量相加后得到第二向量。
在本公开实施例中，将所有的第一向量相加后可以得到一个Meanshift向量，即第二向量。
在步骤103-235中，基于所述第二向量，确定所述标定板的目标中心位置。
本公开实施例中，再将第二向量的终点作为第二圆心，按照标定板的尺寸，重新得到第二圆形区域。将第二圆形区域内的多个第四雷达点为终端，分别得到多个第三向量。多个第三向量相加得到第四向量，再将第四向量的终点作为新的第二圆心，重新确定第四向量，直到第四向量收敛为预设值，将此时对应的第二圆心作为标定板的备选中心位置。
可以确定该备选中心位置与标定板实际中心位置是否重合，如果重合可以直接将备选中心位置作为目标中心位置，否则可以重新确定新的所述备选中心位置，直到确定出最终的目标中心位置。
在步骤103-236中，根据所述标定板的所述目标中心位置和所述第一标定标的尺寸，在所述雷达点云数据中确定与所述标定板匹配的所述目标雷达点云数据。
在本公开实施例中，在确定了标定板的所述目标中心位置之后，根据标定板的目标中心位置和尺寸，就可以确定出标定板对应的位置，将雷达点云数据中与标定板位置匹配的雷达点云数据作为目标雷达点云数据，例如图13所示。
在一些可选实施例中，例如图14所示，步骤103-235可以包括：
在步骤103-2351中，以所述第二向量的终点为第二圆心，根据所述第二圆心和所述标定板的尺寸确定第二圆形区域。
本公开实施例中，可以将第二向量的终点作为第二圆心，再次以第二圆心为新的圆心，半径为标定板外接圆半径得到第二圆形区域。
在步骤103-2352中，以所述第二圆心为起点，所述雷达点云数据中位于所述第二圆形区域内的多个第四雷达点为终点，分别确定多个第三向量。
本公开实施例中，再将第二圆心作为起点，雷达点云数据中位于第二圆心区域内的多个第四雷达点作为终点，分别得到多个第三向量。
在步骤103-2353中，将所述多个第三向量相加后得到第四向量。
在步骤103-2354中，将所述第四向量的终点作为所述第二圆心，重新确定所述第四向量，直到所述第四向量的向量值收敛为预设值。
本公开实施例中，可以将第四向量的终点重新作为新的第二圆心，按照上述步骤103-2351至103-2353的方式再次计算得到新的第四向量，不断重复上述过程，直到最终得到的第四向量的向量值收敛到预设值。在一种实现方式中，预设值可以无限接近于零。
在步骤103-2355中，响应于将所述第四向量的向量值收敛为所述预设值所对应的所述第二圆心作为所述标定板的备选中心位置。
本公开实施例中，可以在第四向量的向量值收敛为所述预设值所对应的第二圆心作为标定板的备选中心位置。
在步骤103-2356中，响应于所述备选中心位置与所述标定板的实际中心位置重合，将所述备选中心位置作为所述目标中心位置。
本公开实施例中，可以确定备选中心位置与标定板的实际中心位置是否重合，如果两个位置重合，将该备选中心位置作为最终标定板的目标中心位置。
在一些可选实施例中，例如图15所示，步骤103-235还可以包括：
在步骤103-2357中，响应于所述备选中心位置与所述标定板的所述实际中心位置不重合，重新确定所述备选中心位置，直到所述备选中心位置与所述标定板的所述实际中心位置重合。
可以在备选中心位置与所述标定板的所述实际中心位置不重合的情况下，删除该第二圆形区域内的所有雷达点，重新确定新的第二圆形区域，或者直接删除这一组雷达点云数据，根据另一组与标定板的其他姿态对应的雷达点云数据，来重新确定标定板的备选中心位置，直到确定出的备选中心位置与所述标定板的所述实际中心位置重合。
此时再执行步骤103-2356，将该备选中心位置作为与标定板的当前目标姿态对应的目标中心位置。
上述实施例通过采用均值偏移算法在目标平面上确定出与标定板匹配的目标雷达点云数据，实现了自动在雷达点云数据中确定与标定板匹配的目标雷达点云数据的目的。
在一些可选实施例中，确定的每组对应关系中包括多个对应关系，不同组对应关系包括的多个对应关系部分相同或不同。
例如第一组对应关系中包括3个对应关系，分别是图像1对应雷达点云数据1，图像2对应雷达点云数据2，图像3对应雷达点云数据3，第二组对应关系可以包括4个对应关系，分别是图像1对应雷达点云数据1，图像2对应雷达点云数据2，图像5对应雷达点云数据5，图像6对应雷达点云数据6。
相应地，步骤104可以包括：
在步骤104-1中，根据多组所述目标雷达点云数据，以及所述多组对应关系中的所述每组对应关系，确定所述雷达和所述相机之间的多个备选外参，并根据所述多个备选外参，确定所述雷达和所述相机之间的目标外参。
在本公开实施例中，可以根据每组对应关系，和之前确定的多组目标雷达点云数据，采用最小二乘法，通过最小化雷达和所述相机之间的外参误差的平方和的方式，来确定一个备选外参。
例如，多组对应关系可以包括：图像1对应雷达点云数据1，图像2对应雷达点云数据2，……，图像n对应雷达点云数据n。其中，n为大于或等于2的整数。在雷达点云数据1中与标定板匹配的一组目标雷达点云数据为目标雷达点云数据1，同样地，在雷达点云数据n中与标定板匹配的一组目标雷达点云数据为目标雷达点云数据n。根据多组目标雷达点云数据，例如根据目标雷达点云数据1、2和3，以及前3组对应关系，采用最小二乘法，可以确定出一个雷达和相机之间的备选外参，同样地，根据目标雷达点云数据1、2、3和4，以及前4组对应关系，可以再确定出一个雷达和相机之间的备选外参。采用上述方式，可以根据不同组合的多组目标雷达点云数据，以及相应的对应关系，就可以确定出雷达和相机之间的多个备选外参。
需要说明的是，上述雷达点云数据的标号仅作为对多组雷达点云数据的区分，同样的，上述图像的标号仅作为对多张图像的区分，在本申请实施例中，可以按照采集图像及生成雷达点云数据的次序来得到多组用于确定备选外参的数据集合，还可以随机从采集的多组对应关系中选取用于确定备选外参的数据集合。上述提供的用于确定出雷达和相机之间的多个备选外参的实现方式仅为一种示例，并不作为对本申请实施例的限定。
在上述确定出的多个备选外参中，确定出投影效果最好的一个备选外参作为所述雷达和所述相机之间的目标外参。
上述实施例中，可以根据多组目标雷达点云数据，以及多组对应关系中的每组对应关系，确定雷达和相机之间的多个备选外参，在多个备选外参中，确定一个目标外参。通过上述过程，可以提高雷达和相机之间的目标外参的准确性。
在一些可选实施例中，例如图16所示，步骤104-1可以包括：
在步骤104-11中，通过所述雷达基于每个备选外参对所述标定板进行投影，投影到相应的所述图像上，生成多组投影数据。
在相机坐标系中，通过雷达基于每个雷达和相机之间的备选外参对标定板进行投影，投影到相应的图像上，得到一组投影数据，例如图17A所示。采用上述方式，可以得到多组投影数据。
在步骤104-12中，在所述多组投影数据中确定投影与相应的所述图像匹配度最高的一组投影数据为目标投影数据。
在多组投影数据中，确定投影与相应的图像匹配度最高的一组投影数据，将该组投影数据确定为目标投影数据，例如两组投影数据中，分别投影到相应的图像上得到的投影数据，例如图17A和图17B所示，图17A的投影效果是最好的，则该组投影数据就是目标投影数据。
在步骤104-13中，确定所述目标投影数据对应的备选外参，为所述雷达和所述相机之间的目标外参。
目标投影数据对应的备选外参，就是雷达和相机之间的目标外参。
上述实施例中，可以通过雷达基于每个备选外参对标定板进行投影，将投影效果最好的一组投影数据对应的备选外参，作为雷达和相机之间的目标外参，提高了雷达和相机之间的目标外参的准确性。
在一些可选实施例中，上述雷达和相机可以部署在车辆上，雷达可以采用激光雷达，可选地，可以在车辆的不同位置同时部署雷达和相机，例如图18所示，在车辆前方和后方、车前挡风玻璃等位置都可以部署雷达和相机。
由于车辆运动造成了雷达和相机中至少一个姿态发生改变，则可以自动通过相机采集位于共同视野范围内的标定板在不同位姿下的多张图像，且可以通过雷达生成标定板对应位姿下的多组雷达点云数据。在多组雷达点云数据中，自动确定与标定板匹配的多组目标雷达点云数据。根据图像与所述雷达点云数据之间的多组对应关系和多组目标雷达点云数据，确定出所述雷达和所述相机之间的目标外参。
通过上述过程得到的目标外参更加准确，进一步地，可以更好地实现车辆定位、测量与其他车辆或行人的距离等，提高驾驶的安全性，可用性更好。
在一些可选实施例中，所述图像包括完整的所述标定板，且所述雷达点云数据包括基于完整的所述标定板得到的点云数据。
上述实施例中，可以确保最终得到的雷达和相机之间的目标外参的准确性。
本公开实施例提供了的上述方法，可以用于机器设备上，该机器设备可以是手动驾驶或无人驾驶的交通工具，例如飞机、车辆、无人机、无人驾驶车辆、机器人等。以车辆为例，雷达可以设置在前保险杠的位置上，相机可以设置在后视镜的位置上，例如图19所示。标定板位于雷达和相机的共同视野范围内，标定板可以固定在地面上，或是由工作人员手持等。
以相机和雷达部署在车辆上为例，通常相机与地面之间的垂直距离小于雷达与地面之间的垂直距离，且对于部署在车辆正前方的标定板而言，相机与标定板之间的水平距离大于雷达与标定板之间的水平距离。由此可见，若要保证雷达能够生成包括目标雷达点云数据在内的雷达点云数据，往往需要将标定板部署在雷达前方相对较远的位置。
由于相机视野边缘的畸变较大，因此为了更好地确定相机的内参中的畸变参数，可以让另一标定板靠近视野边缘的位置，例如图20所示，提高标定的相机的内参的准确性，进而提高最终得到的雷达和相机之间的目标外参的准确性。因此，为了提升相机的内参标定准确性，往往需要确保标定板与相机之间的距离较近。
采用本申请实施例提供的技术方案，将相机的内参标定，以及相机和雷达之间的目标外参的标定有效区分，即两次标定过程采用不同的图像，可以在确保相机的内参标定准确性的情况下，尽可能提升相机和雷达之间的目标外参的准确性。并且，在后期对相机和雷达之间的目标外参进行二次甚至更多次的标定过程中，无需再次标定相机的内参。
如果采用现有技术中人工匹配的方式在雷达点云数据中确定目标雷达点云数据，不仅误差较大而且每次匹配造成的误差最终会被叠加，从而降低最终得到的雷达和相机之间的目标外参的准确性。在本公开实施例中，可以自动确定目标雷达点云数据，进而确定出雷达和相机之间的目标外参，提高了雷达和相机之间的目标外参的准确度。
与前述方法实施例相对应，本公开还提供了装置的实施例。
如图21所示，图21是本公开根据一示例性实施例示出的一种传感器的标定装置框图，所述传感器包括相机和雷达，标定板位于所述雷达和所述相机的共同视野范围内，所述装置包括：采集模块210，用于通过所述相机采集所述标定板在不同位姿下的多张图像，以及通过所述雷达采集所述标定板在所述不同位姿下的多组雷达点云数据；第一确定模块220，用于基于所述标定板的不同位姿，建立所述图像与所述雷达点云数据之间的对应关系，其中，在所述标定板的同一位姿下采集的所述图像与所述雷达点云数据之间存在对应关系；第二确定模块230，用于在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据；第三确定模块240，用于根据多组所述目标雷达点云数据，以及多组所述对应关系，确定所述雷达和所述相机之间的目标外参。
在一些可选实施例中，所述第二确定模块包括：第一确定子模块，用于获取预先标定的所述相机的内参，并根据所述内参和所述多张图像，确定所述标定板在所述不同位姿下相对于所述相机的外参；第二确定子模块，用于针对在每个位姿下的所述标定板，根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据。
在一些可选实施例中，所述第二确定子模块包括：第一确定单元，用于根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，确定所述标定板在所述雷达点云数据中的备选位置；第二确定单元，用于根据所述备选位置，在所述雷达点云数据中确定所述标定板所在的目标平面；第三确定单元，用于在所述雷达点云数据对应的所述目标平面上，确定与所述标定板匹配的目标雷达点云数据。
在一些可选实施例中，所述第二确定单元包括：第一确定子单元，用于从所述雷达点云数据中，随机选取多组位于所述备选位置对应区域内的第一雷达点，以针对每组选取的所述第一雷达点，确定包括所述第一雷达点的第一平面，其中，每组第一雷达点包括多个第一雷达点，不同组第一雷达点包括的多个第一雷达点部分相同或不同；第二确定子单元，用于针对每个所述第一平面，确定所述雷达点云数据中的除所述多个第一雷达点以外的其他雷达点到所述第一平面的距离；第三确定子单元，用于将所述其他雷达点中所述距离小于阈值的雷达点作为第二雷达点，并将所述第二雷达点确定为所述第一平面中的雷达点；第四确定子单元，用于在多个所述第一平面中，将包括的雷达点数目最多的一个第一平面作为所述目标平面。
在一些可选实施例中，所述第三确定单元包括：第五确定子单元，用于在所述目标平面上，根据所述标定板的尺寸随机确定第一圆形区域；第六确定子单元，用于在所述雷达点云数据中，随机选取位于所述第一圆形区域内的一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置；第七确定子单元，用于以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量；第八确定子单元，用于将所述多个第一向量相加后得到第二向量；第九确定子单元，用于基于所述第二向量，确定所述标定板的目标中心位置；第十确定子单元，用于根据所述标定板的所述目标中心位置和所述标定标的尺寸，在所述雷达点云数据中确定与所述标定板匹配的所述目标雷达点云数据。
在一些可选实施例中，所述第九确定子单元包括：以所述第二向量的终点为第二圆心，根据所述第二圆心和所述标定板的尺寸确定第二圆形区域；以所述第二圆心为起点，所述雷达点云数据中位于所述第二圆形区域内的多个第四雷达点为终点，分别确定多个第三向量；将所述多个第三向量相加后得到第四向量；将所述第四向量的终点作为所述第二圆心，重新确定所述第四向量，直到所述第四向量的向量值收敛为预设值；响应于将所述第四向量的向量值收敛为所述预设值所对应的所述第二圆心作为所述标定板的备选中心位置；响应于所述备选中心位置与所述标定板的实际中心位置重合，将所述备选中心位置作为所述目标中心位置。
在一些可选实施例中，所述第九确定子单元还包括：响应于所述备选中心位置与所述标定板的所述实际中心位置不重合，重新确定所述备选中心位置，直到所述备选中心位置与所述标定板的所述实际中心位置重合。
在一些可选实施例中，每组对应关系中包括多个对应关系，不同组对应关系包括的多个对应关系部分相同或不同；所述第三确定模块包括：第三确定子模块，用于根据多组所述目标雷达点云数据，以及所述多组对应关系中的所述每组对应关系，确定所述雷达和所述相机之间的多个备选外参，并根据所述多个备选外参，确定所述雷达和所述相机之间的目标外参。
在一些可选实施例中，所述第三确定子模块包括：生成单元，用于通过所述雷达基于每个备选外参对所述标定板进行投影，投影到相应的所述图像上，生成多组投影数据；第四确定单元，用于在所述多组投影数据中确定投影与相应的所述图像匹配度最高的一组投影数据为目标投影数据；第五确定单元，用于确定所述目标投影数据对应的备选外参，为所述雷达和所述相机之间的目标外参。
在一些可选实施例中，所述雷达和所述相机部署在车辆上。
在一些可选实施例中，所述图像包括完整的所述标定板，且所述雷达点云数据包括基于完整的所述标定板得到的点云数据。
在一些可选实施例中，所述标定板位于所述相机的视野范围内靠近视野边缘的位置。
在一些可选实施例中，所述雷达包括激光雷达，所述激光雷达发射的激光线与所述标定板所在的平面相交。
在一些可选实施例中，所述不同位姿下的标定板包括：在水平方向上与所述相机和/或所述雷达之间距离不同，且位姿信息不同的标定板。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一的传感器的标定方法。
在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的传感器的标定方法的指令。
在一些可选实施例中，本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的传感器的标定方法的操作。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
本公开实施例还提供了一种传感器的标定装置，所述传感器包括相机和雷达，标定板位于所述雷达和所述相机的共同视野范围内，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的传感器的标定方法。
图22为本申请实施例提供的一种传感器的标定装置的硬件结构示意图。所述传感器包括相机和雷达，标定板位于所述雷达和所述相机的共同视野范围内，该传感器的标定装置310包括处理器311，还可以包括输入装置312、输出装置313和存储器314。该输入装置312、输出装置313、存储器314和处理器311之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
可以理解的是，图22仅仅示出了一种传感器的标定装置的简化设计。在实际应用中，传感器的标定装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的传感器的标定装置都在本申请的保护范围之内。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提供了一种标定***，所述标定***包括相机、雷达和标定板，所述标定板位于所述相机和所述雷达的共同视野范围内，所述标定板在不同采集时刻的位姿信息不同。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (29)

1.一种传感器的标定方法，其特征在于，所述传感器包括相机和雷达，标定板位于所述雷达和所述相机的共同视野范围内，所述方法包括：
通过所述相机采集所述标定板在不同位姿下的多张图像，以及通过所述雷达采集所述标定板在所述不同位姿下的多组雷达点云数据；
基于所述标定板的不同位姿，建立所述图像与所述雷达点云数据之间的对应关系，其中，在所述标定板的同一位姿下采集的所述图像与所述雷达点云数据之间存在对应关系；
在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据；
根据多组所述目标雷达点云数据，以及多组所述对应关系，确定所述雷达和所述相机之间的目标外参；
所述在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据，包括：
获取预先标定的所述相机的内参，并根据所述内参和所述多张图像，确定所述标定板在所述不同位姿下相对于所述相机的外参；
针对在每个位姿下的所述标定板，根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据，包括：
根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，确定所述标定板在所述雷达点云数据中的备选位置；
根据所述备选位置，在所述雷达点云数据中确定所述标定板所在的目标平面；
在所述雷达点云数据对应的所述目标平面上，确定与所述标定板匹配的目标雷达点云数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述备选位置，在所述雷达点云数据中确定所述标定板所在的目标平面，包括：
从所述雷达点云数据中，随机选取多组位于所述备选位置对应区域内的第一雷达点，以针对每组选取的所述第一雷达点，确定包括所述第一雷达点的第一平面，其中，每组第一雷达点包括多个第一雷达点，不同组第一雷达点包括的多个第一雷达点部分相同或不同；
针对每个所述第一平面，确定所述雷达点云数据中的除所述多个第一雷达点以外的其他雷达点到所述第一平面的距离；
将所述其他雷达点中所述距离小于阈值的雷达点作为第二雷达点，并将所述第二雷达点确定为所述第一平面中的雷达点；
在多个所述第一平面中，将包括的雷达点数目最多的一个第一平面作为所述目标平面。
4.根据权利要求2或3所述的方法，其特征在于，所述在所述雷达点云数据对应的所述目标平面上，确定与所述标定板匹配的目标雷达点云数据，包括：
在所述目标平面上，根据所述标定板的尺寸随机确定第一圆形区域；
在所述雷达点云数据中，随机选取位于所述第一圆形区域内的一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置；
以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量；
将所述多个第一向量相加后得到第二向量；
基于所述第二向量，确定所述标定板的目标中心位置；
根据所述标定板的所述目标中心位置和标定标的尺寸，在所述雷达点云数据中确定与所述标定板匹配的所述目标雷达点云数据。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第二向量，确定所述标定板的目标中心位置，包括：
以所述第二向量的终点为第二圆心，根据所述第二圆心和所述标定板的尺寸确定第二圆形区域；
以所述第二圆心为起点，所述雷达点云数据中位于所述第二圆形区域内的多个第四雷达点为终点，分别确定多个第三向量；
将所述多个第三向量相加后得到第四向量；
将所述第四向量的终点作为所述第二圆心，重新确定所述第四向量，直到所述第四向量的向量值收敛为预设值；
响应于将所述第四向量的向量值收敛为所述预设值所对应的所述第二圆心作为所述标定板的备选中心位置；
响应于所述备选中心位置与所述标定板的实际中心位置重合，将所述备选中心位置作为所述目标中心位置。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第二向量，确定所述标定板的目标中心位置，还包括：
响应于所述备选中心位置与所述标定板的所述实际中心位置不重合，重新确定所述备选中心位置，直到所述备选中心位置与所述标定板的所述实际中心位置重合。
7.根据权利要求1所述的方法，其特征在于，每组对应关系中包括多个对应关系，不同组对应关系包括的多个对应关系部分相同或不同；
所述根据多组所述目标雷达点云数据，以及多组所述对应关系，确定所述雷达和所述相机之间的目标外参，包括：
根据多组所述目标雷达点云数据，以及所述多组对应关系中的所述每组对应关系，确定所述雷达和所述相机之间的多个备选外参，并根据所述多个备选外参，确定所述雷达和所述相机之间的目标外参。
8.根据权利要求7所述的方法，其特征在于，所述根据所述多个备选外参，确定所述雷达和所述相机之间的目标外参，包括：
通过所述雷达基于每个备选外参对所述标定板进行投影，投影到相应的所述图像上，生成多组投影数据；
在所述多组投影数据中确定投影与相应的所述图像匹配度最高的一组投影数据为目标投影数据；
确定所述目标投影数据对应的备选外参，为所述雷达和所述相机之间的目标外参。
9.根据权利要求1所述的方法，其特征在于，所述雷达和所述相机部署在车辆上。
10.根据权利要求1所述的方法，其特征在于，所述图像包括完整的所述标定板，且所述雷达点云数据包括基于完整的所述标定板得到的点云数据。
11.根据权利要求1所述的方法，其特征在于，所述标定板位于所述相机的视野范围内靠近视野边缘的位置。
12.根据权利要求1所述的方法，其特征在于，所述雷达包括激光雷达，所述激光雷达发射的激光线与所述标定板所在的平面相交。
13.根据权利要求1所述的方法，其特征在于，所述不同位姿下的标定板包括：在水平方向上与所述相机和/或所述雷达之间距离不同，且位姿信息不同的标定板。
14.一种传感器的标定装置，其特征在于，所述传感器包括相机和雷达，标定板位于所述雷达和所述相机的共同视野范围内，所述装置包括：
采集模块，用于通过所述相机采集所述标定板在不同位姿下的多张图像，以及通过所述雷达采集所述标定板在所述不同位姿下的多组雷达点云数据；
第一确定模块，用于基于所述标定板的不同位姿，建立所述图像与所述雷达点云数据之间的对应关系，其中，在所述标定板的同一位姿下采集的所述图像与所述雷达点云数据之间存在对应关系；
第二确定模块，用于在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据；
第三确定模块，用于根据多组所述目标雷达点云数据，以及多组所述对应关系，确定所述雷达和所述相机之间的目标外参；
所述第二确定模块包括：
第一确定子模块，用于获取预先标定的所述相机的内参，并根据所述内参和所述多张图像，确定所述标定板在所述不同位姿下相对于所述相机的外参；
第二确定子模块，用于针对在每个位姿下的所述标定板，根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，在所述多组雷达点云数据中，分别确定与所述标定板匹配的目标雷达点云数据。
15.根据权利要求14所述的装置，其特征在于，所述第二确定子模块包括：
第一确定单元，用于根据所述标定板相对于所述相机的外参、以及所述雷达和所述相机之间的外参参考值，确定所述标定板在所述雷达点云数据中的备选位置；
第二确定单元，用于根据所述备选位置，在所述雷达点云数据中确定所述标定板所在的目标平面；
第三确定单元，用于在所述雷达点云数据对应的所述目标平面上，确定与所述标定板匹配的目标雷达点云数据。
16.根据权利要求15所述的装置，其特征在于，所述第二确定单元包括：
第一确定子单元，用于从所述雷达点云数据中，随机选取多组位于所述备选位置对应区域内的第一雷达点，以针对每组选取的所述第一雷达点，确定包括所述第一雷达点的第一平面，其中，每组第一雷达点包括多个第一雷达点，不同组第一雷达点包括的多个第一雷达点部分相同或不同；
第二确定子单元，用于针对每个所述第一平面，确定所述雷达点云数据中的除所述多个第一雷达点以外的其他雷达点到所述第一平面的距离；
第三确定子单元，用于将所述其他雷达点中所述距离小于阈值的雷达点作为第二雷达点，并将所述第二雷达点确定为所述第一平面中的雷达点；
第四确定子单元，用于在多个所述第一平面中，将包括的雷达点数目最多的一个第一平面作为所述目标平面。
17.根据权利要求15或16所述的装置，其特征在于，所述第三确定单元包括：
第五确定子单元，用于在所述目标平面上，根据所述标定板的尺寸随机确定第一圆形区域；
第六确定子单元，用于在所述雷达点云数据中，随机选取位于所述第一圆形区域内的一个雷达点作为所述第一圆形区域的第一圆心，以调整所述第一圆形区域在所述雷达点云数据中的位置；
第七确定子单元，用于以所述第一圆心为起点，所述雷达点云数据中位于所述第一圆形区域内的多个第三雷达点为终点，分别得到多个第一向量；
第八确定子单元，用于将所述多个第一向量相加后得到第二向量；
第九确定子单元，用于基于所述第二向量，确定所述标定板的目标中心位置；
第十确定子单元，用于根据所述标定板的所述目标中心位置和标定标的尺寸，在所述雷达点云数据中确定与所述标定板匹配的所述目标雷达点云数据。
18.根据权利要求17所述的装置，其特征在于，所述第九确定子单元包括：
以所述第二向量的终点为第二圆心，根据所述第二圆心和所述标定板的尺寸确定第二圆形区域；
以所述第二圆心为起点，所述雷达点云数据中位于所述第二圆形区域内的多个第四雷达点为终点，分别确定多个第三向量；
将所述多个第三向量相加后得到第四向量；
将所述第四向量的终点作为所述第二圆心，重新确定所述第四向量，直到所述第四向量的向量值收敛为预设值；
响应于将所述第四向量的向量值收敛为所述预设值所对应的所述第二圆心作为所述标定板的备选中心位置；
响应于所述备选中心位置与所述标定板的实际中心位置重合，将所述备选中心位置作为所述目标中心位置。
19.根据权利要求18所述的装置，其特征在于，所述第九确定子单元还包括：
响应于所述备选中心位置与所述标定板的所述实际中心位置不重合，重新确定所述备选中心位置，直到所述备选中心位置与所述标定板的所述实际中心位置重合。
20.根据权利要求14所述的装置，其特征在于，每组对应关系中包括多个对应关系，不同组对应关系包括的多个对应关系部分相同或不同；
所述第三确定模块包括：
第三确定子模块，用于根据多组所述目标雷达点云数据，以及所述多组对应关系中的所述每组对应关系，确定所述雷达和所述相机之间的多个备选外参，并根据所述多个备选外参，确定所述雷达和所述相机之间的目标外参。
21.根据权利要求20所述的装置，其特征在于，所述第三确定子模块包括：
生成单元，用于通过所述雷达基于每个备选外参对所述标定板进行投影，投影到相应的所述图像上，生成多组投影数据；
第四确定单元，用于在所述多组投影数据中确定投影与相应的所述图像匹配度最高的一组投影数据为目标投影数据；
第五确定单元，用于确定所述目标投影数据对应的备选外参，为所述雷达和所述相机之间的目标外参。
22.根据权利要求14所述的装置，其特征在于，所述雷达和所述相机部署在车辆上。
23.根据权利要求14所述的装置，其特征在于，所述图像包括完整的所述标定板，且所述雷达点云数据包括基于完整的所述标定板得到的点云数据。
24.根据权利要求14所述的装置，其特征在于，所述标定板位于所述相机的视野范围内靠近视野边缘的位置。
25.根据权利要求14所述的装置，其特征在于，所述雷达包括激光雷达，所述激光雷达发射的激光线与所述标定板所在的平面相交。
26.根据权利要求14所述的装置，其特征在于，所述不同位姿下的标定板包括：在水平方向上与所述相机和/或所述雷达之间距离不同，且位姿信息不同的标定板。
27.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至13任一所述的传感器的标定方法。
28.一种传感器的标定装置，其特征在于，所述传感器包括相机和雷达，标定板位于所述雷达和所述相机的共同视野范围内，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求1至13中任一项所述传感器的标定方法。
29.一种标定***，其特征在于，所述标定***包括相机、雷达和标定板，所述标定板位于所述相机和所述雷达的共同视野范围内，所述标定板在不同采集时刻的位姿信息不同。
CN201911129776.2A 2019-11-18 2019-11-18 传感器的标定方法及装置、存储介质和标定*** Active CN112819896B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911129776.2A CN112819896B (zh) 2019-11-18 2019-11-18 传感器的标定方法及装置、存储介质和标定***
JP2021536261A JP2022515225A (ja) 2019-11-18 2020-10-26 センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品
PCT/CN2020/123636 WO2021098448A1 (zh) 2019-11-18 2020-10-26 传感器标定方法及装置、存储介质、标定***和程序产品
US17/747,717 US20220276339A1 (en) 2019-11-18 2022-05-18 Calibration method and apparatus for sensor, and calibration system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911129776.2A CN112819896B (zh) 2019-11-18 2019-11-18 传感器的标定方法及装置、存储介质和标定***

Publications (2)

Publication Number Publication Date
CN112819896A CN112819896A (zh) 2021-05-18
CN112819896B true CN112819896B (zh) 2024-03-08

Family

ID=75852620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911129776.2A Active CN112819896B (zh) 2019-11-18 2019-11-18 传感器的标定方法及装置、存储介质和标定***

Country Status (4)

Country Link
US (1) US20220276339A1 (zh)
JP (1) JP2022515225A (zh)
CN (1) CN112819896B (zh)
WO (1) WO2021098448A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436270B (zh) * 2021-06-18 2023-04-25 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN113516750B (zh) * 2021-06-30 2022-09-27 同济大学 三维点云地图构建方法、***、电子设备及存储介质
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备
CN115235525B (zh) * 2021-12-07 2023-05-23 上海仙途智能科技有限公司 传感器检测方法、装置、电子设备及可读储存介质
CN114609591B (zh) * 2022-03-18 2022-12-20 湖南星晟智控科技有限公司 一种基于激光点云数据的数据处理方法
CN114782556B (zh) * 2022-06-20 2022-09-09 季华实验室 相机与激光雷达的配准方法、***及存储介质
CN115100299B (zh) * 2022-08-29 2023-02-10 广州镭晨智能装备科技有限公司 一种标定方法、装置、设备和存储介质
CN115359130B (zh) * 2022-10-19 2023-02-03 北京格镭信息科技有限公司 雷达和相机的联合标定方法、装置、电子设备及存储介质
JP2024066886A (ja) * 2022-11-02 2024-05-16 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110146869A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110161485A (zh) * 2019-06-13 2019-08-23 同济大学 一种激光雷达与视觉相机的外参标定装置及标定方法
CN110363158A (zh) * 2019-07-17 2019-10-22 浙江大学 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252473A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2007072591A (ja) * 2005-09-05 2007-03-22 Namco Bandai Games Inc プログラム、数値計算装置及び数値計算方法
JP5051493B2 (ja) * 2005-12-26 2012-10-17 株式会社Ｉｈｉ 三次元計測用マーカとこれを用いた三次元計測方法
JP4918676B2 (ja) * 2006-02-16 2012-04-18 国立大学法人 熊本大学 校正装置および校正方法
JP2012203851A (ja) * 2011-03-28 2012-10-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US9369689B1 (en) * 2015-02-24 2016-06-14 HypeVR Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
US9784576B2 (en) * 2015-12-28 2017-10-10 Automotive Research & Test Center Calibration method for merging object coordinates and calibration board device using the same
WO2017159382A1 (ja) * 2016-03-16 2017-09-21 ソニー株式会社 信号処理装置および信号処理方法
DE102017003634A1 (de) * 2017-04-13 2017-10-19 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung optischer Sensoren
JP7160040B2 (ja) * 2017-08-22 2022-10-25 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110146869A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110161485A (zh) * 2019-06-13 2019-08-23 同济大学 一种激光雷达与视觉相机的外参标定装置及标定方法
CN110363158A (zh) * 2019-07-17 2019-10-22 浙江大学 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法

Also Published As

Publication number Publication date
WO2021098448A1 (zh) 2021-05-27
JP2022515225A (ja) 2022-02-17
CN112819896A (zh) 2021-05-18
US20220276339A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
CN112819896B (zh) 传感器的标定方法及装置、存储介质和标定***
CN112816949B (zh) 传感器的标定方法及装置、存储介质、标定***
CN112907676B (zh) 传感器的标定方法、装置、***、车辆、设备及存储介质
WO2020233443A1 (zh) 一种激光雷达与相机之间的标定方法和装置
JP6975929B2 (ja) カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US10602125B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
CN111383279B (zh) 外参标定方法、装置及电子设备
CN106168988B (zh) 用于产生掩蔽规则以及用于掩蔽摄像机的图像信息的方法和设备
KR20170139548A (ko) 이미지 라인들로부터의 카메라 외부 파라미터들 추정
JP2011215063A (ja) カメラ姿勢パラメータ推定装置
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
CN113256718B (zh) 定位方法和装置、设备及存储介质
CN111684382A (zh) 可移动平台状态估计方法、***、可移动平台及存储介质
CN113658262A (zh) 相机外参标定方法、装置、***及存储介质
CN111145264A (zh) 多传感器的标定方法、装置及计算设备
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和***
CN112668505A (zh) 基于路侧相机的外参的三维感知信息获取方法和路侧设备
CN112132902B (zh) 车载摄像头外参调整方法、装置、电子设备以及介质
CN111656404A (zh) 图像处理方法、***及可移动平台
WO2018016274A1 (ja) 画像処理装置
CN113840130A (zh) 深度图生成方法、设备及存储介质
WO2024127591A1 (ja) カメラ校正装置及びカメラ校正方法
CN112837227B (zh) 一种参数校正方法、装置、***、电子设备及存储介质
CN113963063A (zh) 车辆全景环视***自动标定方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant