CN114862964A - 传感器自动标定方法及电子设备和存储介质 - Google Patents

传感器自动标定方法及电子设备和存储介质 Download PDF

Info

Publication number
CN114862964A
CN114862964A CN202210455494.7A CN202210455494A CN114862964A CN 114862964 A CN114862964 A CN 114862964A CN 202210455494 A CN202210455494 A CN 202210455494A CN 114862964 A CN114862964 A CN 114862964A
Authority
CN
China
Prior art keywords
coordinate
point cloud
image
coordinate system
driving state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210455494.7A
Other languages
English (en)
Inventor
李旭兴
张蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhixing Technology Co ltd
Original Assignee
Wuhan Zhixing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhixing Technology Co ltd filed Critical Wuhan Zhixing Technology Co ltd
Priority to CN202210455494.7A priority Critical patent/CN114862964A/zh
Publication of CN114862964A publication Critical patent/CN114862964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供一种传感器自动标定方法及电子设备和存储介质。该方法包括：获取激光设备采集的激光点云数据，相机采集的图像数据；根据移动装置的行驶状态，对激光点云数据中与行驶状态相关的场景目标进行识别，得到场景目标在激光点云坐标系下的第一坐标；根据移动装置的行驶状态，对图像数据中与行驶状态相关的场景目标进行识别，得到场景目标在图像坐标系下的第二坐标；将第一坐标重投影为图像坐标系下的第三坐标；对第二坐标与第三坐标在图像坐标系下进行匹配，得到匹配结果；基于匹配结果，对激光设备和相机之间的外参进行标定。本发明实施例不依赖于传统的标定场景，可实现激光设备和相机之间外参更精准的自动化标定。

Description

传感器自动标定方法及电子设备和存储介质
技术领域
本发明涉及自动驾驶领域，尤其涉及一种传感器自动标定方法及电子设备和存储介质。
背景技术
自动驾驶通常由感知***、决策***、执行***、通信***构成，其通过车辆自身采集数据，并进行数据处理输出，最终决策控制。由于自动驾驶的安全性要求很高，就需要传感器能更充分的采集周围环境信息，从而做出可靠推断。
然而，没有单独的一款传感器能达到感知包含距离，物体信息都很全面的特征。因此，为了获得更全面的特征，可靠的传感器感知集成方案有激光雷达和相机。激光雷达可以更好的感知周围物体的位置信息，准度较高，但激光雷达数据比较稀疏，对自动驾驶中碰到的部分障碍物无法给出比较明确的类型特征。同时，针对下雨，下雪，轻量灰尘等情况下，均可能会失效，虽然通过多次回波的方案可优化此类应用，但后端仍需要进行异常目标的过滤。相机能较好的识别场景中的语义信息，识别交通障碍物，但在部分场景下分割容易失效，例如边界不明显的物体，就可能会使整体检测出现异常。
因此，结合激光雷达和相机的特征融合相关信息，能更好的辅助自动驾驶感知操作。在融合使用之前，需要对参数进行标定，使激光中的对应目标位置和相机目标位置无明显偏差。从而更好的完成对目标的融合感知。
在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
相机和激光雷达的集成已经固定，自动驾驶车辆在行驶过程中难免因为颠簸、急刹车等可能导致已经集成固定的相机和激光雷达的相对位置发生变化，此时相机和激光雷达在集成时的标定参数将不再适用，需要重新标定相机和激光雷达之间的外参，然而，对于已经集成固定的传感器而言，寻找合适场景下的标定环境较为困难，而且具体的场景参数需要进行特殊的目标物体，重新标定难度比较大。因此，如何能够实现相机和激光雷达的外参自动标定则成为目前亟待解决的技术问题。
发明内容
本发明技术方案解决现有技术中自动驾驶车辆在行驶过程中导致相机和激光雷达相对位置发生变化时，无法实现自动标定相机和激光雷达的外参的技术问题。第一方面，本发明实施例提供一种传感器自动标定方法，应用于移动装置，包括：
获取激光设备采集的激光点云数据；
获取相机采集的图像数据；
根据所述移动装置的行驶状态，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，得到所述场景目标在激光点云坐标系下的第一坐标；
根据所述移动装置的行驶状态，对所述图像数据中与所述行驶状态相关的所述场景目标进行识别，得到所述场景目标在图像坐标系下的第二坐标；
将所述第一坐标重投影为图像坐标系下的第三坐标；
对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果；
基于所述匹配结果，对所述激光设备和所述相机之间的外参进行标定。
第二方面，本发明实施例提供一种传感器自动标定装置，其特征在于，包括：
点云获取模块，用于获取激光设备采集的激光点云数据；
图像获取模块，用于获取相机采集的图像数据；
第一坐标确定模块，用于根据所述移动装置的行驶状态，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，得到所述场景目标在激光点云坐标系下的第一坐标；
第二坐标确定模块，用于根据所述移动装置的行驶状态，对所述图像数据中与所述行驶状态相关的所述场景目标进行识别，得到所述场景目标在图像坐标系下的第二坐标；
第三坐标确定模块，用于将所述第一坐标重投影为图像坐标系下的第三坐标；
匹配模块，用于对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果；
标定模块，用于基于所述匹配结果，对所述激光设备和所述相机之间的外参进行标定。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的传感器自动标定方法的步骤。
第四方面，本发明实施例提供一种移动装置，包括本体和所述本体上安装的本发明任一实施例所述的电子设备。
第五方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的传感器自动标定方法的步骤。
第六方面，本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例中任意一项所述的传感器自动标定方法。
本发明实施例的有益效果在于：本发明技术方案，基于移动装置的行驶状态选取相应的场景目标，通过对场景目标的激光点云坐标和图像坐标进行匹配，根据匹配结果实现相机和激光雷达之间的外参的自动标定，本方案不依赖于传统的标定场景，可实现激光设备和相机之间的标定的更加精准的自动化标定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种传感器自动标定方法的流程图；
图2是本发明一实施例提供的一种传感器自动标定方法的点云数据中高度及反射率过滤的标识牌点云特征的示意图；
图3是本发明一实施例提供的一种传感器自动标定方法的图像数据中的道路标识牌检测效果示意图；
图4是本发明一实施例提供的一种传感器自动标定方法的交通标识牌点云和图像融合显示示意图；
图5是本发明一实施例提供的一种传感器自动标定方法的图像和点云的行人车辆投影匹配示意图；
图6是本发明一实施例提供的一种传感器自动标定方法的激光点云和图像融合标定流程图；
图7是本发明一实施例提供的一种传感器自动标定装置的结构示意图；
图8为本发明一实施例提供的一种传感器自动标定的电子设备的实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员知道，本申请的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
为了便于理解，以下对本申请涉及的技术术语进行解释：
本申请所称的“移动装置”可以是任何具备移动能力的设备，包括但不限于汽车、轮船、潜艇、飞机、飞行器等设备，其中汽车包括国际自动机工程师学会(Society ofAutomotive Engineers International，SAE International)或中国国家标准《汽车驾驶自动化分级》制定的L0-L5共六个自动驾驶技术等级的车辆，以下简称自动驾驶车辆ADV(Auto-Driving Vehicle)。
本申请所称的“自动驾驶车辆ADV”可以是具有如下各种功能的车辆设备或机器人设备：
(1)载人功能，如家用轿车、公共汽车等；
(2)载货功能，如普通货车、厢式货车、甩挂车、封闭货车、罐式货车、平板货车、集装厢车、自卸货车、特殊结构货车等；
(3)工具功能，如物流配送车、自动导引运输车AGV、巡逻车、起重机、吊车、挖掘机、推土机、铲车、压路机、装载机、越野工程车、装甲工程车、污水处理车、环卫车、吸尘车、洗地车、洒水车、扫地机器人、送餐机器人、导购机器人、割草机、高尔夫球车等；
(4)娱乐功能，如娱乐车、游乐场自动驾驶装置、平衡车等；
(5)特殊救援功能，如消防车、救护车、电力抢修车、工程抢险车等。
如图1所示为本发明一实施例提供的一种传感器自动标定方法的流程图，包括如下步骤：
S11：获取激光设备采集的激光点云数据；
S12：获取相机采集的图像数据；
S13：根据所述移动装置的行驶状态，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，得到所述场景目标在激光点云坐标系下的第一坐标；
S14：根据所述移动装置的行驶状态，对所述图像数据中与所述行驶状态相关的所述场景目标进行识别，得到所述场景目标在图像坐标系下的第二坐标；
S15：将所述第一坐标重投影为图像坐标系下的第三坐标；
S16：对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果；
S17：基于所述匹配结果，对所述激光设备和所述相机之间的外参进行标定。
本申请激光设备例如可以为激光雷达。
为提高本申请的技术方案的普适性，本发明实施例中的场景目标可以设置为车辆周边容易采集得到的目标，例如，动态目标包括行人、车辆等，静态目标包括车道线、标识牌等。
对于步骤S11、S12，利用车辆搭载的激光设备采集的激光点云数据、相机采集图像数据。
本发明实施例中，预先设置有行驶状态与其对应的场景目标的对应关系，例如，车辆的行驶状态包括车辆行驶、车辆启动、车辆停止等；车辆行驶对应的场景目标包括行人和/车辆等动态目标，车辆启动和车辆停止对应的场景目标包括车道线和/标识牌等静态目标。
前述步骤S13中，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，在一个实施例中，可采用目标检测模型识别场景目标，目标检测模型例如可采用cnn-seg分割网络，cnn-seg分割网络使用语义分割方式进行目标检测，在进行语义分割的同时还进行了回归层处理，再根据中心偏移和语义分割的结果进行聚集以得到单个目标的检测结果，从而得到每个场景目标对应的激光点云数据。可以通过基于点云的分割检测网络从所述激光点云数据中获取场景目标的点云坐标，例如，从激光点云数据中将地面剔除，提取出前景点云，并将前景点云按照特定的聚类特征得到具体的聚类目标特征，根据聚类目标特征检测得到场景目标对应的目标信息，目标信息包含场景目标的包围框、中心点和高度信息等。根据聚类目标特征得到栅格聚类的信息，根据栅格特征，得到目标类别，从而判定出目标，并得到目标的高度、长度、宽度、朝向、中心点等几个特征。映射到各自的坐标系中，从而得到场景目标在激光点云坐标系下的第一坐标。
对于步骤S14，从相机采集的图像中识别场景目标，可通过预置的目标检测模型识别场景目标，可选的，目标检测模型可以使用yolov5的视觉检测模型，以得到场景目标在图像坐标系下的第二坐标。可以通过基于图像的检测分割模型从图像中获取场景目标的目标图像坐标，基于图像的检测分割模型是一种端到端的学习网络，其通过前N个层用于对特征的提取，通过后K个层对提到的特征进行分类，得到场景目标的目标信息，该目标信息包括检测框、方向、中心点等。
对于步骤S15，由于点云坐标是在激光雷达坐标系下的三维坐标，图像坐标是相机坐标系下的二维坐标，两者不能直接比较。需要先将点云坐标投影到相机坐标系下转换为图像坐标，也就是将步骤S13中的第一坐标重投影为图像坐标系下的第三坐标，在这之后，转换到图像坐标系的第三坐标和图像坐标系下的第二坐标才能进行比较。
对于步骤S16，将点云数据中转换得到的第三坐标与图像数据的第二坐标进行匹配，得到匹配结果。对于不同行驶状态相关的场景目标中坐标的匹配方式有所不同。
作为一种实施方式，当所述行驶状态为启动后的停止状态时，所述场景目标为预定的静态目标。所述静态目标包括车道线和/或标识牌。
当所述行驶状态为启动后的静止状态时，对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果包括：
在将所述第一坐标重投影为图像坐标系下的第三坐标后，基于所述第三坐标确定所述静态目标的点云检测框；
基于所述第二坐标确定所述静态目标的视觉检测框；
当所述点云检测框和所述视觉检测框的交并比大于设定比值时，基于所述激光点云坐标系和所述图像坐标系之间的重投影关系，确定所述激光设备和所述相机之间的相对位姿，作为匹配结果。
在本实施方式中，正是考虑到了应用的广泛性和实际道路中的场景。在车辆启动，先进行初步的参数预估，此处标定需要采集行驶状态为启动后的静止状态的场景激光雷达的反射率。
在这种情况下，首先场景目标的选择更倾向于考虑地面区域和悬空区域，例如，在实际环境中，可以选择车道线和标识牌。正常情况下，道路标识牌在激光的反射率接近反射率的最大值，因此，如图2所示，激光雷达可借助反射率特征筛出标识牌。另外，地面车道线的反射率明显区别于道路上其他非车道线区域。因此，借助车道线和悬空的标识牌特征，可将车道线和悬空标识牌从点云中分隔开。
在视觉图像中，利用已训练的标识牌检测模型，如图3所示，可轻易得到无遮挡的标识牌的检测框。此处可以利用yolov3交通标识牌检测网络模型，检测图像上半部分的交通标识进行深度分隔，得到图像中的标识牌位置。(图2和图3用作示意，为了表明图2和图3是由激光的不同反射率获得的，真实的图像是基于灰度的差别而区分出的)。
利用激光点云和图像中的标识牌重投影关系，将点云进行空间坐标转换，粗略得到将点云标识牌投影到图像的旋转位置关系，匹配投影示例如图4所示，提取出图像和点云中的标识牌和车道线，实现初步匹配，达成参数初始化迭代的目的。
具体的，将点云中分割出的标识牌投影利用投影矩阵进行转换，得到点云在图像上的投影。点云检测框和视觉检测框通过计算IOU(Intersection over Union，交并比)，找出重合框比例最大的位置，如果重合框占比累计无法达到预置的比例阈值P0(比例阈值例如设置为75％，本领域技术人员还可以根据实际需求灵活设置比例阈值，本申请不做严格限定)，则可认为初步配准效果无法达到需求，则不进行参数更新，不进行参数细优化。
鉴于点云的稀疏性，检测框匹配的过程中，可能会存在点云旋转特征，因此考虑将地面信息加入进行参数初步优化，如地面的车道线。地面的车道线在点云的显示中，提取背景点，即地面信息，利用地面信息中的反射率特征，提取出车道线部分，完成激光设备中和视觉的初始化匹配，实现对激光设备的标定参数初步校准。通过该实施方式可以看出，对于车辆启动后的静止状态，基于初始化标定参数，实现基于激光点云反射率参数初始化的校准方法，针对目前多款多线自动驾驶激光雷达均可适用，适用度更广。
作为另一种实施方式，当所述行驶状态为运动时，所述场景目标为预定的动态目标。所述动态目标包括：行人和/或车辆。
当所述行驶状态为运动时，对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果包括：
在将所述第一坐标重投影为图像坐标系下的第三坐标后，对所述第三坐标中的第一数量的动态目标与所述第二坐标中的第二数量的动态目标进行多目标模型的匹配；
对匹配的结果进行多点透视成像投影，确定所述激光设备和所述相机之间的相对位姿，作为匹配结果。
在本实施方式中，正如现有技术中的缺陷所述，自动驾驶车辆在行驶一段时间后，难以避免的晃动等情况存在，这会导致相机和激光的相对位置发生轻微变化。在行驶一段时间之后，相机和激光雷达的相对位置会发生改变，此时行驶状态为运动，在这种场景下需要对所述激光设备和所述相机进行高精度的校准。
在这种情况下，首先动态目标的选择更倾向于行人和车辆，因为这是驾驶中最容易得到的。同样的，点云坐标是在激光雷达坐标系下的三维坐标，图像坐标是相机坐标系下的二维坐标，两者不能直接比较。还是需要利用重投影将点云坐标系下的第一坐标投影到图像坐标系的第三坐标。当转换后的第三坐标(转换后的点云坐标)和第二坐标之间(图像坐标)的差异大于等于设定阈值时，也就是说激光雷达与相机的相对位置发生改变。
基于图像检测、点云的分割检测得到的目标进行匹配，例如，可以使用梯度迭代的方式得到匹配的投影图像，如图5所示的行人和车辆。整体匹配的优化目标包括第i个场景目标的第二坐标(xi，yi)和第三坐标(mk，nk)。针对多目标模型，根据检测的场景目标，可得到如下的优化目标函数：
min sum((xi-mk)2+(yi-nk)2)，i＝0，1，2，3，...，s；k＝0，1，2，3，...，s。
针对以上目标函数，可以采用pnp(pespective-n-point，多点透视成像)求解，即可得到相机和激光雷达之间的外参(即旋转平移矩阵，把偶哦旋转矩阵和平移矩阵)。
对于步骤S17，利用上述步骤的匹配结果优化目标函数对激光设备和所述相机之间的外参进行标定。
在一些应用场景中，车辆刚开始处于静止状态，当启动车辆后车辆处于运动状态，为进一步提高激光设备和相机之间的外参标定的准确性，可如图6所示，在启动车辆时确定场景目标(例如静态目标，车道线和/或标识牌等)，从相机采集的图像中、激光设备采集的激光点云数据中识别出匹配的静态目标(例如车道线、标识牌)，根据对静态目标对应的第二坐标和第三座标之间的匹配结果确定是否需要进行相机和激光设备之间的外参标定，以实现初步参数预估(即完成第一次标定)；在车辆运动时，确定场景目标为动态目标(例如行人和/或车辆)，从相机采集的图像中、激光设备采集的激光点云数据中识别出匹配的动态目标，根据动态目标对应的第二坐标和第三坐标之间的匹配结果标定相机和激光设备之间的外参，以实现第二次标定。在具体实现上，如图6所示，利用点云和图像在静止状态的行驶状态的场景1的场景目标(高处标识牌，车道线)进行初步图像和点云匹配，通过旋转点云，进行前投影，完成参数的搜索计算，确定初始位置参数。在初始化参数基础上，进行行驶状态为运动的场景2的数据建模，场景2依赖于道路中普遍存在的行人和汽车信息。通过深度网络提取出行人和车辆，得到中心点特征，然后进行多目标PNP匹配，最终迭代得到合适的外参，即旋转矩阵和偏移矩阵，图中Min F是利用上述目标函数得到的基于图像检测得到的行人/车辆与激光点云得到的车辆和行人(转换到图像坐标系后)的匹配结果，T0是用于比较的预设阈值，与上述举例的P0意图相似，在此不再赘述。
通过该实施方式可以看出，在每次车辆进行启动的过程中，开启校准参数检验过程，当检验参数的效果符合预期阈值，即：相机目标(xi，yi)与点云目标(mi，ni)的偏差小于设定阈值，即可认为激光设备和相机外部倾角等未发生较大晃动。当参数过大或位置不满足需求时，通过判断目标点云坐标和所述目标图像坐标之间的差异，实现参数自检验；针对自动驾驶晃动，造成的参数不适用，***自动采集数据，更新参数的闭环流程，优化了算法标定的思路，拓宽了可用性，不依赖于传统的标定场景，可实现激光设备和相机之间外参标定的更加精准的自动化标定。
在经过了激光点云校准优化后，本方法还考虑了应用的广泛性和实际道路中的较为特殊的情况，可以针对性的进行调整，例如：
由于视觉在使用过程中，对道路目标的划分不明确，针对有些场景目标是否为前景目标，不能很明确的得到对应的特征(如地面图案等)，因此借助激光点云数据可以很明显的判定是否为真实目标。
实际运行过程中的障碍物，根据目标检测模型，很难明确归类到具体已标注的类别中，但在自动驾驶检测中，必须对此类目标进行安装避障等操作。因此，通过在激光点云中的不定类型点云的提取，确定场景目标真实存在，保证安全性。
在夜晚等视觉较弱的场景，激光点云的可靠性更高，因此通过图像降低视觉目标的权重，可在一定程度上提升夜晚驾驶性能。
同样的，经过了图像标定的优化后，激光点云在雨天等异常场景天气下，会出现异常点较多的情况，借助视觉图像的过滤，可判定为车道内噪点，可完成过滤，保证异常障碍物剔除，避免紧急刹车等误操作，提升驾驶体验。
根据不同的情况，实现针对不同异常目标在激光和视觉中的筛选，提供了剔除和筛选的思路，便于障碍物的提取，进而提升优化效果。
如图7所示为本发明一实施例提供的一种传感器自动标定装置的结构示意图，该***可执行上述任意实施例所述的传感器自动标定方法，并配置在终端中。
本实施例提供的一种传感器自动标定装置10包括：点云获取模块11，图像获取模块12，第一坐标确定模块13，第二坐标确定模块14，第三坐标确定模块15，匹配模块16和标定模块17。
其中，点云获取模块11用于获取激光设备采集的激光点云数据；图像获取模块12用于获取相机采集的图像数据；第一坐标确定模块13用于根据所述移动装置的行驶状态，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，得到所述场景目标在激光点云坐标系下的第一坐标；第二坐标确定模块14用于根据所述移动装置的行驶状态，对所述图像数据中与所述行驶状态相关的所述场景目标进行识别，得到所述场景目标在图像坐标系下的第二坐标；第三坐标确定模块15用于将所述第一坐标重投影为图像坐标系下的第三坐标；匹配模块16用于对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果；标定模块17用于基于所述匹配结果，对所述激光设备和所述相机之间的外参进行标定。
优选地，当所述行驶状态为启动后的静止状态时，所述场景目标为预定的静态目标。
优选地，当所述行驶状态为启动后的静止状态时，所属匹配模块16对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果包括：在将所述第一坐标重投影为图像坐标系下的第三坐标后，基于所述第三坐标确定所述静态目标的点云检测框；基于所述第二坐标确定所述静态目标的视觉检测框；当所述点云检测框和所述视觉检测框的交并比大于设定比值时，基于所述激光点云坐标系和所述图像坐标系之间的重投影关系，确定所述激光设备和所述相机之间的相对位姿，作为匹配结果。
优选地，所述静态目标包括车道线和/或标识牌。
优选地，当所述行驶状态为运动时，所述场景目标为预定的动态目标。
优选地，当所述行驶状态为运动时，所述匹配模块16对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果包括：在将所述第一坐标重投影为图像坐标系下的第三坐标后，对所述第三坐标中的第一数量的动态目标与所述第二坐标中的第二数量的动态目标进行多目标模型的匹配；对匹配的结果进行多点透视成像投影，确定所述激光设备和所述相机之间的相对位姿，作为匹配结果。
优选地，所述动态目标包括：行人和/或车辆。
优选地，所述激光设备和所述相机响应于所述移动装置的启动而触发采集激光点云数据和图像数据。
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的传感器自动标定方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
获取激光设备采集的激光点云数据；
获取相机采集的图像数据；
根据所述移动装置的行驶状态，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，得到所述场景目标在激光点云坐标系下的第一坐标；
根据所述移动装置的行驶状态，对所述图像数据中与所述行驶状态相关的所述场景目标进行识别，得到所述场景目标在图像坐标系下的第二坐标；
将所述第一坐标重投影为图像坐标系下的第三坐标；
对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果；
基于所述匹配结果，对所述激光设备和所述相机之间的外参进行标定。
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的传感器自动标定方法。
本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行传感器自动标定方法。
在一些实施例中，本发明实施例还提供一种移动装置，包括本体和所述本体上安装的根据前述任一实施例所述的电子设备。其中，移动装置可以是无人驾驶车辆，例如无人驾驶清扫车、无人驾驶洗地车、无人驾驶物流车、无人驾驶乘用车、无人驾驶环卫车、无人驾驶小巴车/大巴车、卡车、矿车等，还可以是机器人等。
在一些实施例中，本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例中任意一项所述的传感器自动标定方法。
图8是本申请另一实施例提供的传感器自动标定方法的电子设备的硬件结构示意图，如图8所示，该设备包括：
一个或多个处理器810以及存储器820，图8中以一个处理器810为例。传感器自动标定方法的设备还可以包括：输入装置830和输出装置840。
处理器810、存储器820、输入装置830和输出装置840可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器820作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的传感器自动标定方法对应的程序指令/模块。处理器810通过运行存储在存储器820中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例传感器自动标定方法。
存储器820可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器820可选包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至移动装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可接收输入的数字或字符信息。输出装置840可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器820中，当被所述一个或者多个处理器810执行时，执行上述任意方法实施例中的传感器自动标定方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的传感器自动标定方法的步骤。
本申请实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如平板电脑。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据处理功能的移动装置。
在本文中，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种传感器自动标定方法，应用于移动装置，所述传感器包括激光设备和相机，所述方法包括：
获取激光设备采集的激光点云数据；
获取相机采集的图像数据；
根据所述移动装置的行驶状态，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，得到所述场景目标在激光点云坐标系下的第一坐标；
根据所述移动装置的行驶状态，对所述图像数据中与所述行驶状态相关的所述场景目标进行识别，得到所述场景目标在图像坐标系下的第二坐标；
将所述第一坐标重投影为图像坐标系下的第三坐标；
对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果；
基于所述匹配结果，对所述激光设备和所述相机之间的外参进行标定。
2.根据权利要求1所述的方法，其特征在于，当所述行驶状态为启动后的静止状态时，所述场景目标为预定的静态目标。
3.根据权利要求2所述的方法，其特征在于，当所述行驶状态为启动后的静止状态时，对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果包括：
在将所述第一坐标重投影为图像坐标系下的第三坐标后，基于所述第三坐标确定所述静态目标的点云检测框；
基于所述第二坐标确定所述静态目标的视觉检测框；
当所述点云检测框和所述视觉检测框的交并比大于设定比值时，基于所述激光点云坐标系和所述图像坐标系之间的重投影关系，确定所述激光设备和所述相机之间的相对位姿，作为匹配结果。
4.根据权利要求2所述的方法，其特征在于，所述静态目标包括车道线和/或标识牌。
5.根据权利要求1-4中任一项所述的方法，其特征在于，当所述行驶状态为运动时，所述场景目标为预定的动态目标。
6.根据权利要求5所述的方法，其特征在于，当所述行驶状态为运动时，对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果包括：
在将所述第一坐标重投影为图像坐标系下的第三坐标后，对所述第三坐标中的第一数量的动态目标与所述第二坐标中的第二数量的动态目标进行多目标模型的匹配；
对匹配的结果进行多点透视成像投影，确定所述激光设备和所述相机之间的相对位姿，作为匹配结果。
7.根据权利要求5所述的方法，其特征在于，所述动态目标包括：行人和/或车辆。
8.根据权利要求1所述的方法，其特征在于，所述激光设备和所述相机响应于所述移动装置的启动而触发采集激光点云数据和图像数据。
9.一种传感器自动标定装置，其特征在于，包括：
点云获取模块，用于获取激光设备采集的激光点云数据；
图像获取模块，用于获取相机采集的图像数据；
第一坐标确定模块，用于根据所述移动装置的行驶状态，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，得到所述场景目标在激光点云坐标系下的第一坐标；
第二坐标确定模块，用于根据所述移动装置的行驶状态，对所述图像数据中与所述行驶状态相关的所述场景目标进行识别，得到所述场景目标在图像坐标系下的第二坐标；
第三坐标确定模块，用于将所述第一坐标重投影为图像坐标系下的第三坐标；
匹配模块，用于对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果；
标定模块，用于基于所述匹配结果，对所述激光设备和所述相机之间的外参进行标定。
10.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的传感器自动标定方法。
11.一种移动装置，其特征在于，包括本体和所述本体上安装的根据权利要求10所述的电子设备。
12.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一项所述的传感器自动标定方法。
13.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-8中任一项所述的传感器自动标定方法。
CN202210455494.7A 2022-04-27 2022-04-27 传感器自动标定方法及电子设备和存储介质 Pending CN114862964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210455494.7A CN114862964A (zh) 2022-04-27 2022-04-27 传感器自动标定方法及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210455494.7A CN114862964A (zh) 2022-04-27 2022-04-27 传感器自动标定方法及电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114862964A true CN114862964A (zh) 2022-08-05

Family

ID=82632993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210455494.7A Pending CN114862964A (zh) 2022-04-27 2022-04-27 传感器自动标定方法及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114862964A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457088A (zh) * 2022-10-31 2022-12-09 成都盛锴科技有限公司 一种列车定轴方法及***
CN118038098A (zh) * 2024-04-11 2024-05-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、存储介质及程序产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457088A (zh) * 2022-10-31 2022-12-09 成都盛锴科技有限公司 一种列车定轴方法及***
CN118038098A (zh) * 2024-04-11 2024-05-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
US20210122364A1 (en) Vehicle collision avoidance apparatus and method
US11126868B1 (en) Detecting and responding to parking behaviors in autonomous vehicles
US11663917B2 (en) Vehicular control system using influence mapping for conflict avoidance path determination
CN109814520B (zh) 用于确定自主车辆的安全事件的***和方法
US20180074506A1 (en) Systems and methods for mapping roadway-interfering objects in autonomous vehicles
US11551458B1 (en) Plane estimation for contextual awareness
CN107972662A (zh) 一种基于深度学习的车辆前向碰撞预警方法
CN113631452B (zh) 一种变道区域获取方法以及装置
US11702044B2 (en) Vehicle sensor cleaning and cooling
CN114945952A (zh) 使用神经网络从相机图像和已知深度数据生成深度
US11643115B2 (en) Tracking vanished objects for autonomous vehicles
US20220366175A1 (en) Long-range object detection, localization, tracking and classification for autonomous vehicles
CN114494444A (zh) 障碍物动静态估计方法及电子设备和存储介质
CN114572193A (zh) 一种远程自动泊车控制方法、装置及车辆
CN114862964A (zh) 传感器自动标定方法及电子设备和存储介质
CN115187963A (zh) 车辆障碍物检测方法、***、设备、介质及程序
RU2767838C1 (ru) Способы и системы для формирования обучающих данных для обнаружения горизонта и плоскости дороги
CN113870246A (zh) 一种基于深度学习的障碍物探测和识别方法
US20230281871A1 (en) Fusion of imaging data and lidar data for improved object recognition
CN114913329A (zh) 一种图像处理方法、语义分割网络的训练方法及装置
US20240027213A1 (en) Systems and methods for determining and providing parking facility entrance characteristics
WO2023057261A1 (en) Removing non-relevant points of a point cloud
CN115797903A (zh) 盲区记忆方法、设备、移动装置和存储介质
CN117809145A (zh) 传感器语义信息的融合方法、设备、移动装置和存储介质
CN117456498A (zh) 物体的动静态估计方法、设备、移动装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination