CN114037972A - 目标检测方法、装置、设备及可读存储介质 - Google Patents

目标检测方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114037972A
CN114037972A CN202111172494.8A CN202111172494A CN114037972A CN 114037972 A CN114037972 A CN 114037972A CN 202111172494 A CN202111172494 A CN 202111172494A CN 114037972 A CN114037972 A CN 114037972A
Authority
CN
China
Prior art keywords
target
obstacle
target sequence
sequence
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111172494.8A
Other languages
English (en)
Inventor
任聪
付斌
沈忱
钟小凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lantu Automobile Technology Co Ltd
Original Assignee
Lantu Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lantu Automobile Technology Co Ltd filed Critical Lantu Automobile Technology Co Ltd
Priority to CN202111172494.8A priority Critical patent/CN114037972A/zh
Publication of CN114037972A publication Critical patent/CN114037972A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种目标检测方法、装置、设备及可读存储介质，目标检测方法包括：获取雷达所采集的障碍物目标的第一目标序列；获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列；在所述第一目标序列与所述第二目标序列完成时空同步后，将所述第一目标序列与所述第二目标序列进行目标匹配；根据所述目标匹配的结果，输出对应的障碍物提示信息。通过本发明可以以较低的计算资源实现车辆感知***对不同尺度尤其是小尺寸的目标的检测精度的提高，为后续决策与规划提供精准数据，避免对障碍物目标的漏检或者对障碍物目标难以决策导致的碰撞，从而提高智能辅助驾驶的可靠性与安全性。

Description

目标检测方法、装置、设备及可读存储介质
技术领域
本发明涉及智能驾驶环境感知领域，尤其涉及一种目标检测方法、装置、设备及可读存储介质。
背景技术
随着汽车电动化、网联化、智能化、共享化的快速发展，越来越多的汽车主机厂或科研院所正在投入大量的人力研发智能车辆的高级驾驶辅助***(ADAS)。ADAS***主要包含感知***、决策***以及规划控制***，而感知***作为自动驾驶功能的基础，主要为智能车辆提供运行前方实时的道路环境信息和障碍物信息，其检测精度对于整个ADAS***的可靠性和安全性起着至关重要的作用。其中，感知***所采用的传感器主要有可见光相机、红外相机、毫米波雷达、激光雷达以及超声波雷达等不同类型的传感器。可见光相机具有成本低、技术成熟以及能准确识别障碍物的类别信息等优势，但难以获取障碍物的三维信息，且严重依赖环境光线。毫米波雷达穿透性强，能够在雨雾、烟雾及低光照环境下工作，在距离、角度和速度探测方面有明显优势，但难以检测出目标物体的类别以及形状且分辨率较低。
现有技术中，大部分智能车辆的感知方案在场景单一和光线较好的条件下性能较好，但在实际复杂的道路、天气以及极端场景下难以获得较好的效果。主要原因在于：其一，传统的感知***主要依靠单一传感器无法获取精确的障碍物信息，存在信息单一、鲁棒性不足等问题，对ADAS***规划控制的准确率影响较大。其二，现有的感知***采用了毫米波雷达为主、视觉为辅的融合算法，但其融合策略难以高效利用不同传感器的数据，存在检测精度低以及静止目标检测效果差，且对车载平台的计算资源要求较高等问题。例如，若雷达检测存在障碍物而相机却未能识别障碍物类型，此时ADAS***会存在难以决策或碰撞的风险；或者，若雷达由于噪声干扰或微动目标未检测出前方存在的障碍物，但实际障碍物目标是客观存在，此时在现有技术的融合方案中图像识别算法不会对ROI(感兴趣区域)内障碍物的类型进行判断，此时感知***可能存在目标漏检的状态，严重影响智能辅助驾驶的安全性与可靠性。
发明内容
本发明的主要目的在于提供一种目标检测方法、装置、设备及可读存储介质，旨在解决现有技术中，基于毫米波雷达与视觉融合的障碍物目标检测方法对平台资源需求高、检测精度低、鲁棒性以及实时性不好的技术问题。
第一方面，本发明提供一种目标检测方法，所述目标检测方法包括以下步骤：
获取雷达所采集的障碍物目标的第一目标序列；
获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列；
在所述第一目标序列与所述第二目标序列完成时空同步后，将所述第一目标序列与所述第二目标序列进行目标匹配；
根据所述目标匹配的结果，输出对应的障碍物提示信息。
可选的，所述获取雷达所采集的障碍物目标的第一目标序列的步骤包括：
获取雷达所采集的车辆前方实时环境数据；
根据所述数据，计算得到障碍物目标的目标序列；
若所述目标序列中存在障碍物目标的雷达反射截面积的数值小于第一预设阈值，且信噪比的数值小于第二预设阈值，则判定所述目标信号为空信号；
若所述目标序列中存在障碍物目标与车辆的横向距离的数值大于第三预设阈值，则判定所述目标信号为非危险信号；
若所述目标序列中存在障碍物目标被累计探测次数的数值小于第四预设阈值，则判定所述目标信号为干扰信号；
筛除掉所述目标序列中的所述空信号、非危险信号以及干扰信号，得到雷达所采集的障碍物目标的第一目标序列。
可选的，所述获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列的步骤包括：
获取车辆前方图像，将所述图像输入到训练完成的卷积神经网络模型中；
利用MobileNet深度可分离卷积对障碍物目标采用下采样方式进行多次特征提取，生成不同尺度的特征图；
对最后3次经过特征提取后生成的不同尺度的特征图，采用上采样方式进行融合后，生成3层不同语义与位置信息的第一融合特征图；
在每层第一融合特征图中应用不同膨胀率的卷积，结合对应的融合权重进行自适应特征融合，生成3个不同感受野大小的第二融合特征图作为3个不同尺度的目标预测层；
根据预设的锚点参数分别在每个目标预测层对应的第二融合特征图上生成锚框，利用特征匹配和非极大值抑制方法对锚框里的障碍物目标进行识别，得到障碍物目标的位置、类别和置信度信息，从而生成所述图像中对应的障碍物目标的第二目标序列。
可选的，所述根据所述目标匹配的结果，输出对应的障碍物提示信息的步骤包括：
若所述第一目标序列不存在第一障碍物目标，但所述第二目标序列存在第二障碍物目标，则当所述第二目标序列中所述第二障碍物目标的置信度大于第五预设阈值时，根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息。
可选的，所述根据所述目标匹配的结果，输出对应的障碍物提示信息的步骤包括：
若所述第一目标序列存在第一障碍物目标，则根据所述第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域；
若所述第二目标序列不存在第二障碍物目标，则将所述感兴趣区域的图像输入到卷积神经网络模型中，计算得到所述感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息。
可选的，在根据所述第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域的步骤之后，还包括：
若所述第二目标序列存在第二障碍物目标，则判断所述第二障碍物目标与所述感兴趣区域是否重合；
若重合，则根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息。
可选的，在若所述第二目标序列存在第二障碍物目标，则判断所述第二障碍物目标与所述感兴趣区域是否重合的步骤之后，还包括：
若不重合，则当所述第二目标序列中所述第二障碍物目标的置信度大于第五预设阈值时，根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息；
并将所述感兴趣区域的图像输入到卷积神经网络模型中，计算得到所述感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息。
第二方面，本发明还提供一种目标检测装置，所述目标检测装置包括：
获取模块，用于获取雷达所采集的障碍物目标的第一目标序列；
计算模块，用于获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列；
匹配模块，用于在所述第一目标序列与所述第二目标序列完成时空同步后，将所述第一目标序列与所述第二目标序列进行目标匹配；
输出模块，用于根据所述目标匹配的结果，输出对应的障碍物提示信息。
可选的，所述获取模块，用于：
获取雷达所采集的车辆前方实时环境数据；
根据所述数据，计算得到障碍物目标的目标序列；
若所述目标序列中存在障碍物目标的雷达反射截面积的数值小于第一预设阈值，且信噪比的数值小于第二预设阈值，则判定所述目标信号为空信号；
若所述目标序列中存在障碍物目标与车辆的横向距离的数值大于第三预设阈值，则判定所述目标信号为非危险信号；
若所述目标序列中存在障碍物目标被累计探测次数的数值小于第四预设阈值，则判定所述目标信号为干扰信号；
筛除掉所述目标序列中的所述空信号、非危险信号以及干扰信号，得到雷达所采集的障碍物目标的第一目标序列。
可选的，所述计算模块，用于：
获取车辆前方图像，将所述图像输入到训练完成的卷积神经网络模型中；
利用MobileNet深度可分离卷积对障碍物目标采用下采样方式进行多次特征提取，生成不同尺度的特征图；
对最后3次经过特征提取后生成的不同尺度的特征图，采用上采样方式进行融合后，生成3层不同语义与位置信息的第一融合特征图；
在每层第一融合特征图中应用不同膨胀率的卷积，结合对应的融合权重进行自适应特征融合，生成3个不同感受野大小的第二融合特征图作为3个不同尺度的目标预测层；
根据预设的锚点参数分别在每个目标预测层对应的第二融合特征图上生成锚框，利用特征匹配和非极大值抑制方法对锚框里的障碍物目标进行识别，得到障碍物目标的位置、类别和置信度信息，从而生成所述图像中对应的障碍物目标的第二目标序列。
可选的，所述输出模块，用于：
若所述第一目标序列不存在第一障碍物目标，但所述第二目标序列存在第二障碍物目标，则当所述第二目标序列中所述第二障碍物目标的置信度大于第五预设阈值时，根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息；
若所述第一目标序列存在第一障碍物目标，则根据所述第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域；
若所述第二目标序列不存在第二障碍物目标，则将所述感兴趣区域的图像输入到卷积神经网络模型中，计算得到所述感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息。
可选的，所述输出模块，还用于：
若所述第二目标序列存在第二障碍物目标，则判断所述第二障碍物目标与所述感兴趣区域是否重合；
若重合，则根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息；
若不重合，则当所述第二目标序列中所述第二障碍物目标的置信度大于第五预设阈值时，根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息；
并将所述感兴趣区域的图像输入到卷积神经网络模型中，计算得到所述感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息。
第三方面，本发明还提供一种目标检测设备，所述目标检测设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的目标检测程序，其中所述目标检测程序被所述处理器执行时，实现如上述所述的目标检测方法的步骤。
第四方面，本发明还提供一种可读存储介质，其特征在于，所述可读存储介质上存储有目标检测程序，其中所述目标检测程序被处理器执行时，实现如上述所述的目标检测方法的步骤。
本发明通过获取雷达所采集的障碍物目标的第一目标序列；获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列；在所述第一目标序列与所述第二目标序列完成时空同步后，将所述第一目标序列与所述第二目标序列进行目标匹配；根据所述目标匹配的结果，输出对应的障碍物提示信息。通过本发明可以以较低的计算资源实现车辆感知***对不同尺度尤其是小尺寸的目标的检测精度的提高，为后续决策与规划提供精准数据，避免对障碍物目标的漏检或者对障碍物目标难以决策导致的碰撞，从而提高智能辅助驾驶的可靠性与安全性。
附图说明
图1为本发明实施例方案中涉及的目标检测设备的硬件结构示意图；
图2为本发明目标检测方法一实施例的流程示意图；
图3为本发明目标检测方法一实施例的雷达与相机所在坐标系的相对位置示意图；
图4为本发明目标检测方法一实施例的目标匹配的流程示意图；
图5为本发明目标检测装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
第一方面，本发明实施例提供一种目标检测设备。
参照图1，图1为本发明实施例方案中涉及的目标检测设备的硬件结构示意图。本发明实施例中，目标检测设备可以包括处理器1001(例如中央处理器Central ProcessingUnit，CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WI-FI接口)；存储器1005可以是高速随机存取存储器(random accessmemory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及目标检测程序。其中，处理器1001可以调用存储器1005中存储的目标检测程序，并执行本发明实施例提供的目标检测方法。
第二方面，本发明实施例提供了一种目标检测方法。
参照图2，图2为本发明目标检测方法一实施例的流程示意图。
在本发明目标检测方法一实施例中，目标检测方法包括：
步骤S10，获取雷达所采集的障碍物目标的第一目标序列；
所述步骤S10具体包括：
获取雷达所采集的车辆前方实时环境数据；
根据所述数据，计算得到障碍物目标的目标序列；
若所述目标序列中存在障碍物目标的雷达反射截面积的数值小于第一预设阈值，且信噪比的数值小于第二预设阈值，则判定所述目标信号为空信号；
若所述目标序列中存在障碍物目标与车辆的横向距离的数值大于第三预设阈值，则判定所述目标信号为非危险信号；
若所述目标序列中存在障碍物目标被累计探测次数的数值小于第四预设阈值，则判定所述目标信号为干扰信号；
筛除掉所述目标序列中的所述空信号、非危险信号以及干扰信号，得到雷达所采集的障碍物目标的第一目标序列。
本实施例中，毫米波雷达获取车辆前方的实时环境数据，包括前方车辆、行人等障碍物目标，并通过对雷达信号传输的格式进行目标解析得到障碍物目标与雷达所在位置的相对距离、相对速度、相对角度、反射截面积以及信噪比等信息，根据所解析信息中的目标相对距离、相对速度、相对角度、反射截面积以及信噪比的数据来排除虚假目标信号的干扰，以得到经过筛选后的雷达探测的有效障碍物目标序列。
通过设置目标信号反射截面积的第一预设阈值与目标信号信噪比的第二预设阈值来过滤车辆行驶环境中的静止目标，当目标信号的反射截面积小于第一预设阈值，且目标信号的信噪比小于第二预设阈值时，则表明此目标信号为空信号；同时，通过设置目标信号与车辆的横向距离的第三预设阈值来过滤非自车道以及非相邻车道的非危险目标，其中，目标信号与车辆的横向距离根据所解析信息中的目标相对距离与雷达在车外的安装位与车辆的相对位移所确定，当横向距离大于第三预设阈值时，则表明此目标信号为非危险信号；同时，通过设置目标信号被累计探测次数的第四预设阈值来抑制无效的噪声干扰，当目标信号被累计探测次数小于第四预设阈值时，则表明目标在短时间内出现次数少为无效的干扰信号。
当根据以上阈值判断出存在空信号、非危险信号以及干扰信号时，筛除掉上述信号虚假目标信号的干扰，得到雷达所采集的障碍物目标的第一目标序列，其中，第一目标序列中包含有效的障碍物目标相对于雷达所在位置的相对距离、相对速度相对距离、相对速度、相对角度、反射截面积以及信噪比等信息。
步骤S20，获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列；
所述步骤S20具体包括：
获取车辆前方图像，将所述图像输入到训练完成的卷积神经网络模型中；
利用MobileNet深度可分离卷积对障碍物目标采用下采样方式进行多次特征提取，生成不同尺度的特征图；
对最后3次经过特征提取后生成的不同尺度的特征图，采用上采样方式进行融合后，生成3层不同语义与位置信息的第一融合特征图；
在每层第一融合特征图中应用不同膨胀率的卷积，结合对应的融合权重进行自适应特征融合，生成3个不同感受野大小的第二融合特征图作为3个不同尺度的目标预测层；
根据预设的锚点参数分别在每个目标预测层对应的第二融合特征图上生成锚框，利用特征匹配和非极大值抑制方法对锚框里的障碍物目标进行识别，得到障碍物目标的位置、类别和置信度信息，从而生成所述图像中对应的障碍物目标的第二目标序列。
本实施例中，通过张定友标定方法对相机内外参数进行标定，生成相机的内参矩阵、外参矩阵以及畸变矩阵，相机的内参矩阵包含fx，fy，u0，v0等参数；相机外参矩阵，包含外参旋转矩阵R，平移矩阵T；相机畸变矩阵用5个畸变参数来描述透镜畸变，Q＝(k1,k2,k3,p1,p2)，其中，根据相机所获取的图像可以通过相机的内参矩阵与外参矩阵，将图像中对应位置的目标与三维实景中目标一一对应，得到此目标相对于相机所在位置的相对距离与相对速度；根据相机所获得图像可以通过相机的畸变矩阵，得到位置校正后的图像。
基于车载计算平台计算资源受限的需求，设计了一种基于深度学习的轻量卷积神经网络模型，以实现对相机所获取的图像中所包含的障碍物目标的高精度实时检测，生成视觉检测的障碍物目标序列。其中，对目前的YOLOv4目标检测算法进行优化后，构建了基于MobileNet深度可分离卷积进行特征提取后，对多尺度的特征图以不同感受野大小进行自适应的特征融合的卷积神经网络模型，实现了以较低的计算资源获得高精度的目标检测结果的效果。
基于车辆ADAS高级驾驶辅助***运行场景的障碍物检测需求，采集了实际道路环境中的障碍物目标的数据，并对障碍物目标进行分类标注，构建了自动驾驶感知模型的训练数据库。基于所构建的自动驾驶感知模型的训练数据库对卷积神经网络模型进行训练，训练采用随机梯度下降法和学***台上，以对车辆行驶前方的障碍物目标进行实时检测。
在相机获取车辆前方图像后，将所获取的图像输入到已经训练完成的卷积神经网络模型中，利用MobileNet深度可分离卷积对障碍物目标采用下采样方式进行多次特征提取，生成不同尺度的特征图。对最后3次经过特征提取后生成的不同尺度的特征图，采用上采样方式进行融合后，生成3层不同语义与位置信息的第一融合特征图。在每层第一融合特征图中应用不同膨胀率的卷积，结合对应的融合权重进行自适应特征融合，生成3个不同感受野大小的第二融合特征图作为3个不同尺度的目标预测层。根据预设的锚点参数分别在每个目标预测层对应的第二融合特征图上生成锚框，利用特征匹配和非极大值抑制方法对锚框里的障碍物目标进行识别，从而得到障碍物目标的位置、类别和置信度信息，生成相机所获取的图像中对应的障碍物目标的第二目标序列，包括障碍物目标的位置、类别和置信度信息，以及相对于相机所在位置的相对距离以及相对速度。
步骤S30，在所述第一目标序列与所述第二目标序列完成时空同步后，将所述第一目标序列与所述第二目标序列进行目标匹配；
本实施例中，步骤S10根据毫米波雷达传感器所采集的障碍物目标信息得到了第一目标序列，以及步骤S20根据相机传感器所采集的障碍物目标信息得到了第二目标序列，在进行障碍物目标的匹配前，需要将两者传感器进行时间和空间数据上的同步，确保不同传感器的测量的目标对应信息的数值，转换到同一个基准坐标系下。
其中，以车辆毫米波雷达和相机传感器安装于车辆的中轴线上为例，若安装的相对位置如图3所示，Or-XrYrZr表示毫米波雷达坐标系，Ow-XwYwZw表示车辆坐标系，Oc-XcYcZc表示相机坐标系，Z0表示毫米波雷达坐标系与相机坐标系在Z轴方向的距离，Z1表示相机坐标系与车辆坐标系在Z轴方向的距离，H为毫米波雷达坐标系与相机坐标系和车辆坐标系在Y轴方向的距离。由于传感器安装在车辆上后位置不再改变，因此可通过车辆坐标系来实现毫米波雷达与相机数据在空间上的同步。同时，毫米波雷达和相机时间同步则以采样频率低的毫米波雷达采集的数据为基准，采用多线程的工作方式来实现毫米波雷达与相机数据在时间上的同步。
毫米波雷达所采集的第一目标序列与相机所采集的第二目标序列通过以上方式完成时空同步后，可以将雷达所采集的第一目标序列与相机所采集的第二目标序列在同一时空下进行目标匹配。
步骤S40，根据所述目标匹配的结果，输出对应的障碍物提示信息。
本实施例中，将雷达所采集的第一目标序列与相机所采集的第二目标序列在同一时空下进行目标匹配后，存在四种情况。一是，雷达所采集的第一目标序列中存在第一障碍物目标，相机所采集的第二目标序列中存在第二障碍物目标，且第一障碍物目标与第二障碍物目标在同一时空的同一位置重合，即表示第一障碍物目标与第二障碍物目标在同一时空上为同一障碍物目标；二是，雷达所采集的第一目标序列中存在第一障碍物目标，相机所采集的第二目标序列中存在第二障碍物目标，但第一障碍物目标与第二障碍物目标在同一时空的不同位置，即表示在同一时空中不同位置上，有的是雷达所采集的第一障碍物目标，有的是相机所采集的第二障碍物目标；三是，雷达所采集的第一目标序列中存在第一障碍物目标，但相机所采集的第二目标序列中不存在第二障碍物目标，即表示在同一时空中仅有雷达探测到了第一障碍物目标；四是，相机所采集的第二目标序列中存在第二障碍物目标，但雷达所采集的第一目标序列中不存在第一障碍物目标，即表示在同一时空中仅有相机检测到了第二障碍物目标。根据以上四种不同的目标匹配情况，输出对应的障碍物提示信息。
下面以图4为例，首先判断雷达所采集的序列1是否存在障碍物目标；则若序列1存在障碍物目标，则将所述序列1中存在的障碍物目标根据目标点生成ROI区域；判断相机所采集的序列2是否存在障碍物目标；若序列2不存在障碍物目标，因为序列1本身不包含障碍物目标的类别信息，将ROI区域的图像输入到卷积神经网络模型中，得到障碍物目标的类别；若序列2存在障碍物目标，则判断序列2存在障碍物目标是否与ROI区域重合；若重合即表示为同一障碍物目标，因为序列2包含障碍物目标的类别信息，则直接根据序列2得到障碍物目标的类别；若不重合即表示为不同障碍物目标，因为序列1本身不包含障碍物目标的类别信息，将ROI区域的图像输入到卷积神经网络模型中，得到序列1中障碍物目标的类别，同时因为序列2中的障碍物目标仅有相机监测到，需要根据序列2包含障碍物目标的置信度信息，判断是否此目标可信，当置信度大于X时，直接输出序列2所包含的障碍物目标的类别。
若序列1不存在障碍物目标，则判断相机所采集的序列2是否存在障碍物目标；若序列2存在障碍物目标，因为序列2中的障碍物目标仅有相机监测到，需要根据序列2包含障碍物目标的置信度信息，判断是否此目标可信，当置信度大于X时，直接输出序列2所包含的障碍物目标的类别；若序列2不存在障碍物目标，则说明当前时空不存在障碍物目标。
进一步，一实施例中，所述步骤S40包括：
若所述第一目标序列不存在第一障碍物目标，但所述第二目标序列存在第二障碍物目标，则当所述第二目标序列中所述第二障碍物目标的置信度大于第五预设阈值时，根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息。
本实施例中，若第一目标序列不存在第一障碍物目标，但第二目标序列存在第二障碍物目标，则表示在当前同一时空中仅有相机检测到了第二障碍物目标，则需要根据第二目标序列中第二障碍物目标的置信度得到目标匹配的结果。当第二目标序列中第二障碍物目标的置信度大于第五预设阈值时，根据第二目标序列中第二障碍物目标的类别信息，输出对应的障碍物提示信息，包括障碍物目标的类别，以及障碍物目标相对于相机所在位置的距离及速度。
进一步，一实施例中，所述步骤S40包括：
若所述第一目标序列存在第一障碍物目标，则根据所述第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域；
若所述第二目标序列不存在第二障碍物目标，则将所述感兴趣区域的图像输入到卷积神经网络模型中，计算得到所述感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息。
本实施例中，若第一目标序列存在第一障碍物目标，同时，若所述第二目标序列不存在第二障碍物目标，则表示在当前同一时空中仅有雷达检测到了第一障碍物目标。此时根据第一目标序列可以得到第一障碍物目标相对于雷达所在位置的距离及速度，但是无法具体判别第一障碍物目标的类别，则需要根据第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域，将感兴趣区域的图像输入到卷积神经网络模型中，计算得到感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息，包括障碍物目标的类别，以及障碍物目标相对于相机所在位置的距离及速度。
进一步，一实施例中，在根据所述第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域的步骤之后，还包括：
若所述第二目标序列存在第二障碍物目标，则判断所述第二障碍物目标与所述感兴趣区域是否重合；
若重合，则根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息。
本实施例中，若第一目标序列存在第一障碍物目标，同时，若第二目标序列存在第二障碍物目标，则表示在当前同一时空中雷达检测到了第一障碍物目标，同时相机也检测到了第二障碍物目标。则先根据第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域，判断第二障碍物目标与感兴趣区域是否重合。
若重合，即表示第一障碍物目标与第二障碍物目标在同一时空上为同一障碍物目标，则根据第二目标序列中第二障碍物目标的类别信息，输出对应的障碍物提示信息，包括障碍物目标的类别，以及障碍物目标相对于相机所在位置的距离及速度。
进一步，一实施例中，在若所述第二目标序列存在第二障碍物目标，则判断所述第二障碍物目标与所述感兴趣区域是否重合的步骤之后，还包括：
若不重合，则当所述第二目标序列中所述第二障碍物目标的置信度大于第五预设阈值时，根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息；
并将所述感兴趣区域的图像输入到卷积神经网络模型中，计算得到所述感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息。
本实施例中，若第一目标序列存在第一障碍物目标，同时，若第二目标序列存在第二障碍物目标，则表示在当前同一时空中雷达检测到了第一障碍物目标，同时相机也检测到了第二障碍物目标。则先根据第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域，判断第二障碍物目标与感兴趣区域是否重合。若不重合，则在同一时空中不同位置上，有的是雷达所采集的第一障碍物目标，有的是相机所采集的第二障碍物目标。
若是雷达所采集的第一障碍物目标，则将感兴趣区域的图像输入到卷积神经网络模型中，计算得到感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息，包括障碍物目标的类别，以及障碍物目标相对于相机所在位置的距离及速度。
若是相机所采集的第二障碍物目标，则需要根据第二目标序列中第二障碍物目标的置信度得到目标匹配的结果。当第二目标序列中第二障碍物目标的置信度大于第五预设阈值时，根据第二目标序列中第二障碍物目标的类别信息，输出对应的障碍物提示信息，包括障碍物目标的类别，以及障碍物目标相对于相机所在位置的距离及速度。
本实施例中，获取雷达所采集的障碍物目标的第一目标序列；获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列；在所述第一目标序列与所述第二目标序列完成时空同步后，将所述第一目标序列与所述第二目标序列进行目标匹配；根据所述目标匹配的结果，输出对应的障碍物提示信息。通过本发明可以以较低的计算资源实现车辆感知***对不同尺度尤其是小尺寸的目标的检测精度的提高，为后续决策与规划提供精准数据，避免对障碍物目标的漏检或者对障碍物目标难以决策导致的碰撞，从而提高智能辅助驾驶的可靠性与安全性。
第三方面，本发明实施例还提供一种目标检测装置。
参照图5，目标检测装置一实施例的功能模块示意图。
本实施例中，所述目标检测装置包括：
获取模块10，用于获取雷达所采集的障碍物目标的第一目标序列；
计算模块20，用于获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列；
匹配模块30，用于在所述第一目标序列与所述第二目标序列完成时空同步后，将所述第一目标序列与所述第二目标序列进行目标匹配；
输出模块40，用于根据所述目标匹配的结果，输出对应的障碍物提示信息。
进一步，一实施例中，所述获取模块10，用于：
获取雷达所采集的车辆前方实时环境数据；
根据所述数据，计算得到障碍物目标的目标序列；
若所述目标序列中存在障碍物目标的雷达反射截面积的数值小于第一预设阈值，且信噪比的数值小于第二预设阈值，则判定所述目标信号为空信号；
若所述目标序列中存在障碍物目标与车辆的横向距离的数值大于第三预设阈值，则判定所述目标信号为非危险信号；
若所述目标序列中存在障碍物目标被累计探测次数的数值小于第四预设阈值，则判定所述目标信号为干扰信号；
筛除掉所述目标序列中的所述空信号、非危险信号以及干扰信号，得到雷达所采集的障碍物目标的第一目标序列。
进一步，一实施例中，所述计算模块20，用于：
获取车辆前方图像，将所述图像输入到训练完成的卷积神经网络模型中；
利用MobileNet深度可分离卷积对障碍物目标采用下采样方式进行多次特征提取，生成不同尺度的特征图；
对最后3次经过特征提取后生成的不同尺度的特征图，采用上采样方式进行融合后，生成3层不同语义与位置信息的第一融合特征图；
在每层第一融合特征图中应用不同膨胀率的卷积，结合对应的融合权重进行自适应特征融合，生成3个不同感受野大小的第二融合特征图作为3个不同尺度的目标预测层；
根据预设的锚点参数分别在每个目标预测层对应的第二融合特征图上生成锚框，利用特征匹配和非极大值抑制方法对锚框里的障碍物目标进行识别，得到障碍物目标的位置、类别和置信度信息，从而生成所述图像中对应的障碍物目标的第二目标序列。
进一步，一实施例中，所述输出模块40，用于：
若所述第一目标序列不存在第一障碍物目标，但所述第二目标序列存在第二障碍物目标，则当所述第二目标序列中所述第二障碍物目标的置信度大于第五预设阈值时，根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息；
若所述第一目标序列存在第一障碍物目标，则根据所述第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域；
若所述第二目标序列不存在第二障碍物目标，则将所述感兴趣区域的图像输入到卷积神经网络模型中，计算得到所述感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息。
进一步，一实施例中，所述输出模块40，还用于：
若所述第二目标序列存在第二障碍物目标，则判断所述第二障碍物目标与所述感兴趣区域是否重合；
若重合，则根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息；
若不重合，则当所述第二目标序列中所述第二障碍物目标的置信度大于第五预设阈值时，根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息；
并将所述感兴趣区域的图像输入到卷积神经网络模型中，计算得到所述感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息。
其中，上述目标检测装置中各个模块的功能实现与上述目标检测方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
第四方面，本发明实施例还提供一种可读存储介质。
本发明可读存储介质上存储有目标检测程序，其中所述目标检测程序被处理器执行时，实现如上述的目标检测方法的步骤。
其中，目标检测程序被执行时所实现的方法可参照本发明目标检测方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种目标检测方法，其特征在于，所述目标检测方法包括：
获取雷达所采集的障碍物目标的第一目标序列；
获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列；
在所述第一目标序列与所述第二目标序列完成时空同步后，将所述第一目标序列与所述第二目标序列进行目标匹配；
根据所述目标匹配的结果，输出对应的障碍物提示信息。
2.如权利要求1所述的目标检测方法，其特征在于，所述获取雷达所采集的障碍物目标的第一目标序列的步骤包括：
获取雷达所采集的车辆前方实时环境数据；
根据所述数据，计算得到障碍物目标的目标序列；
若所述目标序列中存在障碍物目标的雷达反射截面积的数值小于第一预设阈值，且信噪比的数值小于第二预设阈值，则判定所述目标信号为空信号；
若所述目标序列中存在障碍物目标与车辆的横向距离的数值大于第三预设阈值，则判定所述目标信号为非危险信号；
若所述目标序列中存在障碍物目标被累计探测次数的数值小于第四预设阈值，则判定所述目标信号为干扰信号；
筛除掉所述目标序列中的所述空信号、非危险信号以及干扰信号，得到雷达所采集的障碍物目标的第一目标序列。
3.如权利要求1所述的目标检测方法，其特征在于，所述获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列的步骤包括：
获取车辆前方图像，将所述图像输入到训练完成的卷积神经网络模型中；
利用MobileNet深度可分离卷积对障碍物目标采用下采样方式进行多次特征提取，生成不同尺度的特征图；
对最后3次经过特征提取后生成的不同尺度的特征图，采用上采样方式进行融合后，生成3层不同语义与位置信息的第一融合特征图；
在每层第一融合特征图中应用不同膨胀率的卷积，结合对应的融合权重进行自适应特征融合，生成3个不同感受野大小的第二融合特征图作为3个不同尺度的目标预测层；
根据预设的锚点参数分别在每个目标预测层对应的第二融合特征图上生成锚框，利用特征匹配和非极大值抑制方法对锚框里的障碍物目标进行识别，得到障碍物目标的位置、类别和置信度信息，从而生成所述图像中对应的障碍物目标的第二目标序列。
4.如权利要求3所述的目标检测方法，其特征在于，所述根据所述目标匹配的结果，输出对应的障碍物提示信息的步骤包括：
若所述第一目标序列不存在第一障碍物目标，但所述第二目标序列存在第二障碍物目标，则当所述第二目标序列中所述第二障碍物目标的置信度大于第五预设阈值时，根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息。
5.如权利要求3所述的目标检测方法，其特征在于，所述根据所述目标匹配的结果，输出对应的障碍物提示信息的步骤包括：
若所述第一目标序列存在第一障碍物目标，则根据所述第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域；
若所述第二目标序列不存在第二障碍物目标，则将所述感兴趣区域的图像输入到卷积神经网络模型中，计算得到所述感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息。
6.如权利要求5所述的目标检测方法，其特征在于，在根据所述第一目标序列中的第一障碍物目标对应的目标点生成感兴趣区域的步骤之后，还包括：
若所述第二目标序列存在第二障碍物目标，则判断所述第二障碍物目标与所述感兴趣区域是否重合；
若重合，则根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息。
7.如权利要求6所述的目标检测方法，其特征在于，在若所述第二目标序列存在第二障碍物目标，则判断所述第二障碍物目标与所述感兴趣区域是否重合的步骤之后，还包括：
若不重合，则当所述第二目标序列中所述第二障碍物目标的置信度大于第五预设阈值时，根据所述第二目标序列中所述第二障碍物目标的类别信息，输出对应的障碍物提示信息；
并将所述感兴趣区域的图像输入到卷积神经网络模型中，计算得到所述感兴趣区域对应的第一障碍物目标的类别信息后，输出对应的障碍物提示信息。
8.一种目标检测装置，其特征在于，所述目标检测装置包括：
获取模块，用于获取雷达所采集的障碍物目标的第一目标序列；
计算模块，用于获取车辆前方图像，基于卷积神经网络模型，计算得出所述图像中对应的障碍物目标的第二目标序列；
匹配模块，用于在所述第一目标序列与所述第二目标序列完成时空同步后，将所述第一目标序列与所述第二目标序列进行目标匹配；
输出模块，用于根据所述目标匹配的结果，输出对应的障碍物提示信息。
9.一种目标检测设备，其特征在于，所述目标检测设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的目标检测程序，其中所述目标检测程序被所述处理器执行时，实现如权利要求1至7中任一项所述的目标检测方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有目标检测程序，其中所述目标检测程序被处理器执行时，实现如权利要求1至7中任一项所述的目标检测方法的步骤。
CN202111172494.8A 2021-10-08 2021-10-08 目标检测方法、装置、设备及可读存储介质 Pending CN114037972A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111172494.8A CN114037972A (zh) 2021-10-08 2021-10-08 目标检测方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111172494.8A CN114037972A (zh) 2021-10-08 2021-10-08 目标检测方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114037972A true CN114037972A (zh) 2022-02-11

Family

ID=80134768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111172494.8A Pending CN114037972A (zh) 2021-10-08 2021-10-08 目标检测方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114037972A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114454874A (zh) * 2022-02-21 2022-05-10 岚图汽车科技有限公司 一种自动泊车防止急刹的方法及***
CN114572233A (zh) * 2022-03-25 2022-06-03 阿波罗智能技术(北京)有限公司 基于模型集合的预测方法、电子设备及自动驾驶车辆
CN114596706A (zh) * 2022-03-15 2022-06-07 阿波罗智联(北京)科技有限公司 路侧感知***的检测方法及装置、电子设备和路侧设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
US20190228239A1 (en) * 2016-08-23 2019-07-25 Suteng Innovation Technology Co., Ltd. Target detection method and system
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及***
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN113313154A (zh) * 2021-05-20 2021-08-27 四川天奥空天信息技术有限公司 一体化融合多传感器自动驾驶智能感知装置
EP3879307A1 (en) * 2020-03-11 2021-09-15 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for detecting obstacle
EP3885794A1 (en) * 2018-11-20 2021-09-29 CRRC Zhuzhou Locomotive Co., Ltd Track and road obstacle detecting method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228239A1 (en) * 2016-08-23 2019-07-25 Suteng Innovation Technology Co., Ltd. Target detection method and system
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
EP3885794A1 (en) * 2018-11-20 2021-09-29 CRRC Zhuzhou Locomotive Co., Ltd Track and road obstacle detecting method
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及***
EP3879307A1 (en) * 2020-03-11 2021-09-15 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for detecting obstacle
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN113313154A (zh) * 2021-05-20 2021-08-27 四川天奥空天信息技术有限公司 一体化融合多传感器自动驾驶智能感知装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹斌;王思信;颜莉蓉;刘裕;: "无人驾驶车辆基于语义分割方法障碍物检测", 广西大学学报(自然科学版), no. 06, 25 December 2019 (2019-12-25) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114454874A (zh) * 2022-02-21 2022-05-10 岚图汽车科技有限公司 一种自动泊车防止急刹的方法及***
CN114596706A (zh) * 2022-03-15 2022-06-07 阿波罗智联(北京)科技有限公司 路侧感知***的检测方法及装置、电子设备和路侧设备
CN114596706B (zh) * 2022-03-15 2024-05-03 阿波罗智联(北京)科技有限公司 路侧感知***的检测方法及装置、电子设备和路侧设备
CN114572233A (zh) * 2022-03-25 2022-06-03 阿波罗智能技术(北京)有限公司 基于模型集合的预测方法、电子设备及自动驾驶车辆
CN114572233B (zh) * 2022-03-25 2022-11-29 阿波罗智能技术(北京)有限公司 基于模型集合的预测方法、电子设备及自动驾驶车辆

Similar Documents

Publication Publication Date Title
CN112560972B (zh) 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN114037972A (zh) 目标检测方法、装置、设备及可读存储介质
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
CN111027401A (zh) 一种摄像头和激光雷达融合的端到端目标检测方法
US20060233461A1 (en) Systems and methods for transforming 2d image domain data into a 3d dense range map
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
CN109583416B (zh) 伪车道线识别方法及***
US11200432B2 (en) Method and apparatus for determining driving information
CN110909705B (zh) 一种基于车载摄像头的路侧停车位感知方法及***
CN108645375B (zh) 一种用于车载双目***快速车辆测距优化方法
CN112740225B (zh) 一种路面要素确定方法及装置
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN110379178A (zh) 基于毫米波雷达成像的无人驾驶汽车智能泊车方法
CN113240756B (zh) 车载bsd摄像头的位姿变动检测方法、设备和存储介质
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN117452410A (zh) 一种基于毫米波雷达的车辆检测***
CN117111085A (zh) 一种自动驾驶汽车车路云融合感知方法
CN116413725A (zh) 一种基于摄像头与毫米波雷达数据融合的障碍物检测方法
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN111753901B (zh) 一种数据融合方法、装置、***及计算机设备
Lu et al. Forward vehicle collision warning based on quick camera calibration
CN115151836A (zh) 用于探测车辆周围环境中的移动对象的方法和机动车辆
CN117173666A (zh) 一种针对非结构化道路的自动驾驶目标识别方法及***
CN115471526A (zh) 基于多源异构信息融合的自动驾驶目标检测与跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination