CN109444916B - 一种无人驾驶可行驶区域确定装置及方法 - Google Patents

一种无人驾驶可行驶区域确定装置及方法 Download PDF

Info

Publication number
CN109444916B
CN109444916B CN201811211199.7A CN201811211199A CN109444916B CN 109444916 B CN109444916 B CN 109444916B CN 201811211199 A CN201811211199 A CN 201811211199A CN 109444916 B CN109444916 B CN 109444916B
Authority
CN
China
Prior art keywords
distance
image
target
target data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811211199.7A
Other languages
English (en)
Other versions
CN109444916A (zh
Inventor
陈炯
蔡云跃
章健勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIO Co Ltd
Original Assignee
NIO Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIO Co Ltd filed Critical NIO Co Ltd
Priority to CN201811211199.7A priority Critical patent/CN109444916B/zh
Publication of CN109444916A publication Critical patent/CN109444916A/zh
Application granted granted Critical
Publication of CN109444916B publication Critical patent/CN109444916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种无人驾驶可行驶区域确定装置，包括：激光雷达、摄像头和分别与所述激光雷达和摄像头连接的第一处理器；激光雷达，对检测区进行扫描，得到相应的激光点云数据；摄像头，采集检测区的数据并进行反演，得到第一3D图像；第一处理器，分别将所述激光点云数据和所述第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像；且所述第一处理器基于所述第二3D图像计算行驶设备可向前行驶的区域。本发明分别采用激光雷达和摄像头模组对待检测区进行检测，并且将二者的检测结果融合，获得第二3D图像，二者的检测结果在观测点与目标的距离反演上相互验证，能够提高前向自动驾驶的安全性。

Description

一种无人驾驶可行驶区域确定装置及方法
技术领域
本发明涉及自动驾驶技术领域，尤其是涉及一种无人驾驶可行驶区域确定装置及方法。
背景技术
自动驾驶中前向安全至关重要。摄像头、毫米波雷达是当前常用的前向传感器。如特斯拉就使用单目视觉的方案对前向的人、车、线进行感知识别，支持AutoPilot功能。
激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达***。其工作原理是向目标发射探测激光束，然后将接收到的从目标反射回来的目标回波信号与发射信号进行比较，作适当处理后，就可获得前行目标的有关信息。但是，光雷达在前向探测时角度的分辨率较低，目标识别的效果较差。
仅仅利用单目摄像头做深度估计，也能在一定程度上反演出包含距离信息的3D图，但是受限于算法本身，精度往往不高，而且存在误差。
因此，仅仅依靠激光雷达或者摄像头确定目标的距离，其准确度不高，如自动驾驶过程中判断目标距离不准确，则容易造成意外事故，损失较大。
发明内容
本发明的目的是提供一种无人驾驶可行驶区域确定装置及方法，通过将摄像头模组和激光雷达检测的数据进行融合以获得车辆可行驶的区域，可以提高对前向距离的准确度，提高了自动驾驶的安全性。
为解决上述问题，本发明的第一方面提供了一种无人驾驶可行驶区域确定装置，包括激光雷达、摄像头和分别与激光雷达和摄像头连接的第一处理器；激光雷达，对检测区进行扫描，得到相应的激光点云数据；摄像头，采集检测区的数据并进行反演，得到第一3D图像；第一处理器，分别将激光点云数据和第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像；且第一处理器基于所述第二3D图像计算行驶设备可向前行驶的区域。
进一步地，第一处理器包括第一融合模块；第一融合模块获取第一3D图像中检测区每个目标与摄像头观测点的距离距离A；第一融合模块获取激光点云数据中检测区每个目标与激光雷达观测点的距离B；第一融合模块对距离A和距离B进行融合获得获得第二3D图像，第二3D图像包括每个目标与行驶设备的距离C。
进一步地，第一融合模块还用于计算距离A和距离B是否一致；若距离A和距离B不一致，则将距离A和距离B分别与其预设的加权系数相乘后并加和，获得距离C；若距离A和距离B一致，则距离C的值为距离B的值。
进一步地，若距离A与距离B的差的绝对值大于或等于距离B的20％，则确定距离A和所述距离B不一致；或者，若距离A与距离B的比值为0.8～1.2，则确定距离A和距离B一致。
进一步地，距离A的加权系数高于距离B的加权系数。
进一步地，第一处理器还包括第二融合模块；第二融合模块对第一3D图像进行目标检测，获得第一目标数据，第一目标数据包括检测区的目标数量和每个目标与摄像头的距离；第二融合模块对第二3D图像进行聚类目标检测，获得第二目标数据，第二目标数据包括检测区的目标数量和每个目标与当前被驾驶的设备的距离；第二融合模块对第一目标数据和第二目标数据进行融合，获得第三目标数据。
进一步地，第二融合模块对第一目标数据和第二目标数据进行“或运算”获得第三目标数据。
进一步地，第一处理器基于第二3D图像和第三目标数据计算行驶设备可向前行驶的区域。
进一步地，摄像头包括两个摄像头，位于激光雷达的两侧。
进一步地，还包括第二处理器，第二处理器与第一处理器通过以太网接口通信连接，第二处理器用于存储第一3D图像、激光点云数据、第二3D图像、第三目标数据和车辆可向前行驶的区域中的一种或多种。
本发明的又一方面，提供了一种无人驾驶可行驶区域确定方法，包括：对检测区进行扫描，得到相应的激光点云数据；采集检测区的数据并进行反演，得到第一3D图像；分别将激光点云数据和第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像，且第一处理器基于第二3D图像计算行驶设备可向前行驶的区域。
进一步地，还包括：获取第一3D图像中检测区每个目标与摄像头观测点的距离A；获取激光点云数据中检测区每个目标与激光雷达观测点的距离B；对距离A和距离B进行融合获得第二3D图像，第二3D图像包括每个目标与行驶设备的距离C。
进一步地，计算距离A和所述距离B是否一致；若距离A和距离B不一致，则将距离A和距离B分别与其预设的加权系数相乘后并加和，获得距离C；若距离A和距离B一致，则距离C的值为距离B的值。
进一步地，若距离A与距离B的差的绝对值大于或等于距离B的20％，则确定距离A和距离B不一致；或者，若距离A与距离B的比值为0.8～1.2，则确定距离A和距离B一致。
进一步地，距离A的加权系数高于距离B的加权系数。
进一步地，对第一3D图像进行目标检测，获得第一目标数据，第一目标数据包括检测区的目标数量和每个目标与摄像头的距离；对第二3D图像进行聚类目标检测，获得第二目标数据，第二目标数据包括检测区的目标数量和每个目标与当前行驶设备的距离；对第一目标数据和第二目标数据进行融合，获得第三目标数据。
进一步地，基于第二3D图像和第三目标数据计算车辆可向前行驶的区域。
进一步地，对第一目标数据和第二目标数据进行“或运算”获得第三目标数据。
进一步地，通过以太网通信的方式将第一3D图像、激光点云数据、第二3D图像、第三目标数据和行驶设备可向前行驶的区域存储于外部存储器中。
本发明的上述技术方案具有如下有益的技术效果：
(1)本发明分别采用激光雷达和摄像头模组对待检测区进行检测，并且将二者的检测结果融合，获得高精度的3D图像，二者的检测结果在目标与观测点的距离上反演相互验证，能够提高前向自动驾驶的安全性。
(2)本发明对摄像头采集的检测区的目标数据和激光雷达检测的目标是数据进行融合，融合过程中，只要有一处出现检测目标，则认为该区域存在目标，提高了目标识别的精确度，进一步提高了自动驾驶的安全性。
附图说明
图1是根据本发明第一实施方式提供的无人驾驶可行驶区域确定装置的结构示意图；
图2是根据本发明第二实施方式提供的无人驾驶可行驶区域确定方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明第一实施方式提供的无人驾驶可行驶区域确定装置的结构示意图。
如图1所示，该装置包括：激光雷达、摄像头和分别与激光雷达和摄像头连接的第一处理器。其中，
激光雷达，对检测区进行扫描，得到相应的激光点云数据。
摄像头，采集检测区的数据并进行反演，得到第一3D图像。
优选的，摄像头包括两个摄像头，位于激光雷达的两侧。摄像头对检测区的数据进行反演时，采用双目深度反演，并且反演时，采用像素级反演。可选的，此处像素级反演的精度为测量点距离目标的200米范围内。
第一处理器，分别将激光点云数据和第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像；第一处理器基于第二3D图像计算车辆可向前行驶的区域。
在一个优选的实施例中，第一处理器包括第一融合模块；第一融合模块获取第一3D图像中检测区每个目标与摄像头观测点的距离A；第一融合模块获取激光点云数据中检测区每个目标与激光雷达观测点的距离B；第一融合模块，对距离A和距离B进行融合获得第二3D图像，第二3D图像包括每个目标与当前行驶设备的距离C，第一处理器基于第二3D图像计算行驶设备可向前行驶的区域。
进一步地，第一融合模块计算距离A和距离B是否一致,若距离A和距离B不一致，则将距离A和距离B分别与其预设的加权系数相乘后并加和，获得距离C。
由于激光波束窄，相比于毫米波雷达，激光雷达具有较高的角度分辨率。相比于摄像头，激光雷达能够准确反映目标的距离信息。因此，优选的，前向距离A的加权系数高于前向距离B的加权系数。
在一个例子中，距离A的加权系数为80～100，距离B的加权系数为0～20。
若距离A和距离B一致，则距离C的值为距离B的值。
可选的，若距离A与距离B的差的绝对值大于或等于距离B的20％，则确定距离A和距离B不一致。
可选的，若距离A与距离B的比值为0.8～1.2，则确定距离A和距离B一致。
可选的，距离A和距离B的差值的绝对值在一定范围内(例如，差值的绝对值在距离B的5％以内)，距离C的值为距离A和距离B的平均值。
在一个优选的实施例中，上述第一处理器还包括第二融合模块；第二融合模块对第一3D图像进行目标检测，获得第一目标数据，第一目标数据包括检测区的目标数量和每个目标与摄像头的距离。
第二融合模块对第二3D图像进行聚类目标检测，获得第二目标数据，第二目标数据包括检测区的目标数量和每个目标与当前被驾驶的设备的距离。其中当前行驶设备可以是汽车、无人机、或者其他可以自动行驶的设备。
第二融合模块对第一目标数据和第二目标数据进行融合，获得第三目标数据。
第一处理器基于第二3D图像和第三目标数据计算当前行驶设备可向前行驶的区域。
可选的，第二融合模块对第一目标数据和第二目标数据进行“或运算”获得第三目标数据。其中，“或运算”可以是：若第一目标数据显示出某一区域具有目标，而第二目标数据对应的区域无目标，则第二融合模块确定该区域具有目标，这个目标与行驶设备的距离为第一目标数据计算的距离。
无人驾驶可行驶区域计算装置还包括第二处理器，第二处理器与第一处理器通过以太网接口通信连接。第二处理器用于存储第一3D图像、激光点云数据、第二3D图像、第三目标数据和车辆可向前行驶的区域中的一种或多种。采用第一处理器获取可向前行驶的区域，将其存储于行驶设备的第二处理器中，可以大大减少第二处理器的处理量。当然，在一个可选的实施例中，还可以由一个“第二处理器实现上述实施例中的第一处理器与第二处理器的全部功能，也就是仅仅设置有一个处理器，采用一个处理器得到可行驶区域信息，并进行存储。
在一个具体的实施例中，第二处理器为感知主处理器，将第二3D图像、第三目标数据以及行驶设备上其他的传感器检测的信息进行融合，得到更为精确的目标和可行驶区域信息。
在一个具体的实施例中，第二处理器为自动驾驶主处理器时，即完成所有自动驾驶感知决策规划的功能，输出车辆控制信号给车辆接口。
需要说明的是，将第一3D图像、和激光点云数据等数据进行存储，主要是考虑，自动驾驶领域需要有数据采集和标定功能，来不断训练优化算法。第二也是考虑到回放和场景重现的需要，如果自动驾驶的设备发生意外了，还可以根据存储的时第一3D图像、和激光点云数据等对意外场景回放。
本发明的上述技术方案具有如下有益的技术效果：
(1)本发明分别采用激光雷达和摄像头模组对待检测区进行检测，并且将二者的检测结果融合，获得高精度的3D图像，二者的检测结果在目标与观测点的距离上反演相互验证，能够提高前向自动驾驶的安全性。
(2)本发明对摄像头采集的检测区的目标数据和激光雷达检测的目标数据进行融合，融合过程中，只要有一处出现检测目标，则认为该区域存在目标，提高了目标识别的精确度，进一步提高了自动驾驶的安全性。
图2是根据本发明第二实施方式提供的无人驾驶可行驶区域计算方法流程示意图。
如图2所示，该方法包括步骤S101-步骤S104：
步骤S101,对检测区进行扫描，得到相应的激光点云数据。
步骤S102,采集检测区的数据并进行反演，得到第一3D图像。
步骤S103,分别将激光点云数据和第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像。
在一个例子中，将激光点云数据和第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像包括：
获取第一3D图像中检测区每个目标与摄像头观测点的距离A；获取激光点云数据中检测区每个目标与激光雷达观测点的距离B；对距离A和距离B进行融合获得第二3D图像，其中，第二3D图像包括每个目标的与被驾驶的设备的距离距离C。其中，距离A的加权系数高于距离B的加权系数。
进一步具体地，计算距离A和距离B是否一致；若距离A和距离B不一致，则将距离A和距离B分别与其预设的加权系数相乘后并加和，获得距离C；若距离A和距离B一致，则距离C的值为距离B的值。
若距离A与距离B的差的绝对值大于或等于距离B的20％，则确定距离A和距离B不一致。
进一步地，若距离A与距离B的比值为0.8～1.2，则确定距离A和距离B一致。
步骤S104，基于上述第二3D图像计算行驶设备可向前行驶的区域。
在一个优选的实施例中，上述方法还可以是：由步骤S101-步骤S103、步骤S105和步骤S106构成。
步骤S105，对第一3D图像进行目标检测，获得第一目标数据，第一目标数据包括检测区的目标数量和每个目标与摄像头的距离；对第二3D图像进行聚类目标检测，获得第二目标数据，第二目标数据包括检测区的目标数量和每个目标与行驶设备的距离；对第一目标数据和第二目标数据进行融合，获得第三目标数据。
具体地，对第一目标数据和第二目标数据进行“或运算”获得第三目标数据。
进一步具体地，“或运算”为如果第一目标数据在某个区域检测出具有目标，第二目标数据相应的区域没有检测出目标，则认为该区域具有目标。或者，如果第一目标数据在某个区域没有检测出目标，而第二目标数据相应的区域检测出具有目标，则认为该区域具有目标。
需要说明的是，此处的目标融合为“或运算”实际上是再次对目标进行融合，进一步提高了精度，目标融合的结果更为准确。
步骤S106,基于第二3D图像和第三目标数据计算当前行驶设备可向前行驶的区域。
具体地，根据第二3D图像和第三目标数据能够最终确定当前行驶设备前方具有哪些目标、以及与那些目标的距离，排除这些目标则为当前行驶设备的可向前形式的区域。
可选的，通过以太网通信的方式将第一3D图像、激光点云数据、第二3D图像、第三目标数据和行驶设备可向前行驶的区域存储于外部存储模块中。
本发明的上述技术方案具有如下有益的技术效果：
(1)本发明分别采用激光雷达和摄像头模组对待检测区进行检测，并且将二者的检测结果融合，获得第二3D图像，二者的检测结果在目标与观测点的距离上反演相互验证，能够提高前向自动驾驶的安全性。
(2)本发明对摄像头采集的检测区的目标数据和激光雷达检测的目标数据进行融合，融合过程中，只要有一处出现检测目标，则认为该区域存在目标，提高了目标识别的精确度，进一步提高了自动驾驶的安全性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (19)

1.一种无人驾驶可行驶区域确定装置，其特征在于，包括：激光雷达、摄像头和分别与所述激光雷达和摄像头连接的第一处理器；
激光雷达，对检测区进行扫描，得到相应的激光点云数据；
摄像头，采集检测区的数据并进行反演，得到第一3D图像；
第一处理器，分别将所述激光点云数据和所述第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像；且所述第一处理器基于所述第二3D图像计算行驶设备可向前行驶的区域；
第二处理器，所述第二处理器与所述第一处理器连接；所述第二处理器用于存储所述第一3D图像、所述激光点云数据、所述第二3D图像和车辆可向前行驶的区域中的一种或多种。
2.根据权利要求1所述的装置，其特征在于，所述第一处理器包括第一融合模块；
所述第一融合模块获取所述第一3D图像中检测区每个目标与所述摄像头观测点的距离A；
所述第一融合模块获取所述激光点云数据中的检测区每个目标与所述激光雷达观测点的距离B;
所述第一融合模块，对所述距离A和所述距离B进行融合获得第二3D图像，所述第二3D图像包括每个目标与所述行驶设备的距离C。
3.根据权利要求2所述的装置，其特征在于，所述第一融合模块还用于，计算所述距离A和所述距离B是否一致;
若所述距离A和所述距离B不一致，则将所述距离A和所述距离B分别与其预设的加权系数相乘后并加和，获得所述距离C；
若所述距离A和所述距离B一致，则所述距离C的值为距离B的值。
4.根据权利要求3所述的装置，其特征在于，若所述距离A与所述距离B的差的绝对值大于或等于所述距离B的20%，则确定所述距离A和所述距离B不一致；或者，若所述距离A与所述距离B的比值为0.8~1.2，则确定所述距离A和所述距离B一致。
5.根据权利要求3所述的装置，其特征在于，所述距离A的加权系数高于所述距离B的加权系数。
6.根据权利要求1-5任一项所述的装置，其特征在于，所述第一处理器还包括第二融合模块；
第二融合模块对所述第一3D图像进行目标检测，获得第一目标数据，所述第一目标数据包括被检测区的目标数量和每个目标与所述摄像头的距离；
第二融合模块对所述第二3D图像进行聚类目标检测，获得第二目标数据，所述第二目标数据包括被检测区的目标数量和每个目标与当前行驶设备的距离；
所述第二融合模块对所述第一目标数据和所述第二目标数据进行融合，获得第三目标数据。
7.根据权利要求6所述的装置，其特征在于，所述第一处理器基于所述第二3D图像和所述第三目标数据计算行驶设备可向前行驶的区域。
8.根据权利要求6所述的装置，其特征在于，所述第二融合模块对所述第一目标数据和所述第二目标数据进行“或运算”获得第三目标数据。
9.根据权利要求1所述的装置，其特征在于，所述摄像头为两个摄像头，位于所述激光雷达的两侧。
10.根据权利要求6所述的装置，其特征在于，
所述第二处理器与所述第一处理器通过以太网接口通信连接；
所述第二处理器还用于存储所述第三目标数据。
11.一种无人驾驶可行驶区域确定方法，其特征在于，包括：
对检测区进行扫描，得到相应的激光点云数据；
采集检测区的数据并进行反演，得到第一3D图像；
分别将所述激光点云数据和所述第一3D图像转换到同一坐标系下的世界坐标系中进行融合以获得第二3D图像；
基于所述第二3D图像计算行驶设备可向前行驶的区域；
将所述第一3D图像、所述激光点云数据、第二3D图像和行驶设备可向前行驶的区域存储于外部存储模块中。
12.根据权利要求11所述的方法，其特征在于，
获取所述第一3D图像中检测区每个目标与摄像头观测点的距离A；
获取所述激光点云数据中检测区每个目标与激光雷达观测点的距离B;
对所述距离A和所述距离B进行融合获得第二3D图像，所述第二3D图像包括每个目标与所述行驶设备的距离C。
13.根据权利要求12所述的方法，其特征在于，计算所述距离A和所述距离B是否一致;
若所述距离A和所述距离B不一致，则将所述距离A和所述距离B分别与其预设的加权系数相乘后并加和，获得所述距离C；
若所述距离A和所述距离B一致，则所述距离C的值为距离B的值。
14.根据权利要求13所述的方法，其特征在于，若所述距离A与所述距离B的差的绝对值大于或等于所述距离B的20%，则确定所述距离A和所述距离B不一致；或者，若所述距离A与所述距离B的比值为0.8~1.2，则确定所述距离A和所述距离B一致。
15.根据权利要求13所述的方法，其特征在于，所述距离A的加权系数高于所述距离B的加权系数。
16.根据权利要求12-15任一项所述的方法，其特征在于，
对所述第一3D图像进行目标检测，获得第一目标数据，所述第一目标数据包括检测区的目标数量和每个目标与所述摄像头的距离；
对所述第二3D图像进行聚类目标检测，获得第二目标数据，所述第二目标数据包括检测区的目标数量和每个目标与所述行驶设备的距离；
对所述第一目标数据和所述第二目标数据进行融合，获得第三目标数据。
17.根据权利要求16所述的方法，其特征在于，还包括：基于所述第二3D图像和所述第三目标数据计算车辆可向前行驶的区域。
18.根据权利要求17所述的方法，其特征在于，对所述第一目标数据和所述第二目标数据进行“或运算”获得第三目标数据。
19.根据权利要求16所述的方法，其特征在于，通过以太网通信的方式将所述第一3D图像、所述激光点云数据、第二3D图像、第三目标数据和行驶设备可向前行驶的区域存储于外部存储模块中。
CN201811211199.7A 2018-10-17 2018-10-17 一种无人驾驶可行驶区域确定装置及方法 Active CN109444916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811211199.7A CN109444916B (zh) 2018-10-17 2018-10-17 一种无人驾驶可行驶区域确定装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811211199.7A CN109444916B (zh) 2018-10-17 2018-10-17 一种无人驾驶可行驶区域确定装置及方法

Publications (2)

Publication Number Publication Date
CN109444916A CN109444916A (zh) 2019-03-08
CN109444916B true CN109444916B (zh) 2023-07-04

Family

ID=65547308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811211199.7A Active CN109444916B (zh) 2018-10-17 2018-10-17 一种无人驾驶可行驶区域确定装置及方法

Country Status (1)

Country Link
CN (1) CN109444916B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109827610B (zh) * 2019-03-12 2021-05-14 百度在线网络技术（北京）有限公司 用于校验传感器融合结果的方法和装置
CN110969071B (zh) * 2019-06-13 2023-08-18 北京中科慧眼科技有限公司 一种基于可行驶区域的障碍物检测方法、装置及***
CN111144211B (zh) 2019-08-28 2023-09-12 华为技术有限公司 点云显示方法和装置
WO2021056499A1 (zh) * 2019-09-29 2021-04-01 深圳市大疆创新科技有限公司 数据处理方法、设备和可移动平台
CN112896036A (zh) * 2021-01-29 2021-06-04 北京海纳川汽车部件股份有限公司 智能大灯***和具有其的控制方法
CN113071498B (zh) * 2021-06-07 2021-09-21 新石器慧通（北京）科技有限公司 车辆控制方法、装置、***、计算机设备及存储介质
CN114279392B (zh) * 2021-12-27 2024-02-06 深圳市星卡科技股份有限公司 转向角传感器的校准方法、装置和计算机设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975951A (zh) * 2010-06-09 2011-02-16 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN103760569A (zh) * 2013-12-31 2014-04-30 西安交通大学 一种基于激光雷达的可行驶区域检测方法
CN104406539A (zh) * 2014-11-21 2015-03-11 浙江工业大学 全天候主动式全景感知装置及3d全景建模方法
CN104914863A (zh) * 2015-05-13 2015-09-16 北京理工大学 一种一体式无人运动平台环境理解***及其工作方法
WO2017116134A1 (ko) * 2015-12-30 2017-07-06 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
CN107358168A (zh) * 2017-06-21 2017-11-17 海信集团有限公司 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107703935A (zh) * 2017-09-12 2018-02-16 安徽胜佳和电子科技有限公司 多个数据权重融合进行避障的方法、存储装置及移动终端
CN107798724A (zh) * 2016-09-02 2018-03-13 德尔福技术有限公司 自动化车辆3d道路模型和车道标记定义***
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和***
CN108037515A (zh) * 2017-12-27 2018-05-15 清华大学苏州汽车研究院（吴江） 一种激光雷达和超声波雷达信息融合***及方法
CN108196260A (zh) * 2017-12-13 2018-06-22 北京汽车集团有限公司 无人驾驶车辆多传感器融合***的测试方法和装置
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN108596081A (zh) * 2018-04-23 2018-09-28 吉林大学 一种基于雷达和摄像机融合的车辆行人探测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10347127B2 (en) * 2013-02-21 2019-07-09 Waymo Llc Driving mode adjustment
US10121082B2 (en) * 2015-10-07 2018-11-06 Honda Motor Co., Ltd. System and method for providing laser camera fusion for identifying and tracking a traffic participant

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975951A (zh) * 2010-06-09 2011-02-16 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN103760569A (zh) * 2013-12-31 2014-04-30 西安交通大学 一种基于激光雷达的可行驶区域检测方法
CN104406539A (zh) * 2014-11-21 2015-03-11 浙江工业大学 全天候主动式全景感知装置及3d全景建模方法
CN104914863A (zh) * 2015-05-13 2015-09-16 北京理工大学 一种一体式无人运动平台环境理解***及其工作方法
WO2017116134A1 (ko) * 2015-12-30 2017-07-06 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
CN107798724A (zh) * 2016-09-02 2018-03-13 德尔福技术有限公司 自动化车辆3d道路模型和车道标记定义***
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和***
CN107358168A (zh) * 2017-06-21 2017-11-17 海信集团有限公司 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107703935A (zh) * 2017-09-12 2018-02-16 安徽胜佳和电子科技有限公司 多个数据权重融合进行避障的方法、存储装置及移动终端
CN108196260A (zh) * 2017-12-13 2018-06-22 北京汽车集团有限公司 无人驾驶车辆多传感器融合***的测试方法和装置
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN108037515A (zh) * 2017-12-27 2018-05-15 清华大学苏州汽车研究院（吴江） 一种激光雷达和超声波雷达信息融合***及方法
CN108596081A (zh) * 2018-04-23 2018-09-28 吉林大学 一种基于雷达和摄像机融合的车辆行人探测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于车载4线激光雷达的前方道路可行驶区域检测;段建民等;《汽车技术》;20161231(第02期) *
激光雷达在无人驾驶环境感知中的应用;黄武陵;《单片机与嵌入式***应用》;20161231(第10期) *

Also Published As

Publication number Publication date
CN109444916A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109444916B (zh) 一种无人驾驶可行驶区域确定装置及方法
US11915470B2 (en) Target detection method based on fusion of vision, lidar, and millimeter wave radar
EP3264364B1 (en) Method and apparatus for obtaining range image with uav, and uav
JP7398506B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
WO2022022694A1 (zh) 自动驾驶环境感知方法及***
CN111712731B (zh) 目标检测方法、***及可移动平台
EP3792660B1 (en) Method, apparatus and system for measuring distance
JP6589926B2 (ja) 物体検出装置
WO2020259284A1 (zh) 一种障碍物检测方法及装置
CN110555407B (zh) 路面车辆空间识别方法及电子设备
US20190152487A1 (en) Road surface estimation device, vehicle control device, and road surface estimation method
CN110341621B (zh) 一种障碍物检测方法及装置
DE112019007925T5 (de) Objekt-Erkennungsvorrichtung und Objekt-Erkennungsverfahren
CN112230211A (zh) 车辆定位方法、装置、存储介质及车辆
CN110109146B (zh) 基于多线激光雷达的路面检测方法及装置
US12008777B2 (en) Validating an SfM map using lidar point clouds
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
CN113777622B (zh) 轨道障碍物辨识的方法及装置
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及***
CN111781606A (zh) 一种新型激光雷达和超声波雷达融合的小型化实现方法
US11914028B2 (en) Object detection device for vehicle
CN116129553A (zh) 一种基于多源车载设备的融合感知方法及***
CN108195291B (zh) 一种基于差分光斑的运动车辆三维检测方法及检测装置
JP2023068009A (ja) 地図情報作成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant