CN112528763B - 一种目标检测方法、电子设备和计算机存储介质 - Google Patents

一种目标检测方法、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN112528763B
CN112528763B CN202011334487.9A CN202011334487A CN112528763B CN 112528763 B CN112528763 B CN 112528763B CN 202011334487 A CN202011334487 A CN 202011334487A CN 112528763 B CN112528763 B CN 112528763B
Authority
CN
China
Prior art keywords
target
data
detection result
radar
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011334487.9A
Other languages
English (en)
Other versions
CN112528763A (zh
Inventor
金智
缪其恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaruijie Technology Co ltd
Original Assignee
Zhejiang Huaruijie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huaruijie Technology Co ltd filed Critical Zhejiang Huaruijie Technology Co ltd
Priority to CN202011334487.9A priority Critical patent/CN112528763B/zh
Publication of CN112528763A publication Critical patent/CN112528763A/zh
Application granted granted Critical
Publication of CN112528763B publication Critical patent/CN112528763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请公开了一种目标检测方法、电子设备和计算机存储介质，该目标方法包括：获得摄像装置拍摄的图像数据并对图像数据进行预处理，获得毫米波雷达探测的雷达数据并对雷达数据进行预处理，以使雷达数据和图像数据以相同尺度分别输入卷积神经网络；将雷达数据和图像数据在卷积神经网络的多个层级中进行级联以获得融合数据，输出融合数据中的目标的类别检测结果和关键点检测结果；对类别检测结果和关键点检测结果进行后处理，以输出目标的类别和运动状态。通过上述方式，本申请能够将雷达数据和图像数据在多个层级进行级联融合，充分融合两种数据的特征，以提高目标检测的准确性和鲁棒性。

Description

一种目标检测方法、电子设备和计算机存储介质
技术领域
本申请涉及智能识别技术领域，特别是涉及一种目标检测方法、电子设备和计算机存储介质。
背景技术
随着人工智能的兴趣、自动驾驶等领域的发展，智能识别成为了重要的研究方向。其中，目标检测是自动驾驶的核心研究领域，目标检测结果的准确性对于自动驾驶的安全性具有极其重大的影响，而现有的目标检测方法，对于传感装置采集的数据的特征难以有效利用，导致目标识别效果不佳。有鉴于此，如何提高目标检测的准确性成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种目标检测方法、电子设备和计算机存储介质，能够将雷达数据和图像数据在多个层级进行级联融合，充分融合两种数据的特征，以提高目标检测的准确性和鲁棒性。
为解决上述技术问题，本申请第一方面提供一种目标检测方法，该方法包括：获得摄像装置拍摄的图像数据并对所述图像数据进行预处理，获得毫米波雷达探测的雷达数据并对所述雷达数据进行预处理，以使所述雷达数据和所述图像数据以相同尺度分别输入卷积神经网络；将所述雷达数据和所述图像数据在所述卷积神经网络的多个层级中进行级联以获得融合数据，输出所述融合数据中的目标的类别检测结果和关键点检测结果；对所述类别检测结果和所述关键点检测结果进行后处理，以输出所述目标的类别和运动状态。
其中，所述获得毫米波雷达探测的雷达数据并对所述雷达数据进行预处理的步骤，包括：获得在当前时间点所述毫米波雷达探测的包含所述目标的目标数据；利用当前时间点之前的所述毫米波雷达探测的包含所述目标的历史数据对当前时间点的所述目标进行补偿，生成在当前时间点的雷达数据；获得在当前时间点所述目标在所述雷达数据中的位置信息，并根据所述位置信息将所述目标投影至在当前时间点的所述图像数据的像素点上，以获得所述雷达数据在所述图像数据上的目标增强数据；对所述目标数据进行归一化处理。
其中，所述目标数据包括所述目标相对所述毫米波雷达的相对距离、相对速度和散射截面，所述对所述目标数据进行归一化处理的步骤之后，还包括：根据所述目标所对应的所述距离、所述相对速度和所述散射截面，生成三通道数据。
其中，所述获得摄像装置拍摄的图像数据并对所述图像数据进行预处理的步骤，包括：调节所述摄像装置的图象处理参数；获得调节后的所述摄像装置拍摄的图像数据；对所述图像数据进行归一化处理。
其中，所述将所述雷达数据和所述图像数据在所述卷积神经网络的多个层级中进行级联以获得融合数据，输出所述融合数据中的目标的类别检测结果和关键点检测结果的步骤，包括：将所述雷达数据经过所述卷积神经网络不同层级后获得的不同尺度的雷达数据图谱，与所述图像数据经过所述神经网络的不同层级后且同尺度的图像数据图谱进行多次级联，以获得融合特征图谱；根据所述融合特征图谱输出所述目标的类别检测结果和关键点检测结果。
其中，所述将所述雷达数据和所述图像数据在所述卷积神经网络的多个层级中进行级联以获得融合数据，输出所述融合数据中的目标的类别检测结果和关键点检测结果的步骤之后，还包括：获得当前时间点前的相邻时间点对应的所述关键点检测结果，进而获取所述当前时间点和所述相邻时间点对应的所述关键点检测结果的重合系数，将重合系数大于第一阈值的关键点确定为同一目标，以获得目标时序匹配结果。
其中，所述对所述类别检测结果和所述关键点检测结果进行后处理，以输出所述目标的类别和运动状态的步骤，包括：根据所述目标时序匹配结果获取在当前时间点时所述目标的累计检测次数；根据所述类别检测结果获取在当前时间点时所述目标的类别的累计识别次数；当同一目标的所述累计识别次数与所述累计检测次数的比值达到第二阈值时，将所述目标确定为达到所述第二阈值的类别；根据所述关键点检测结果，利用预设的滤波方法获得所述目标的运动状态。
其中，所述根据所述关键点检测结果，利用预设的滤波方法获得所述目标的运动状态的步骤，包括：获得所述摄像装置的世界坐标系，根据所述关键点检测结果获取所述目标在所述世界坐标系中的位置；利用交互多模型滤波方法，获取所述目标在所述世界坐标系中的运动状态。
为解决上述技术问题，本申请第二方面提供一种电子设备，该电子设备包括相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面的目标检测方法。
为解决上述技术问题，本申请第三方面提供一种计算机存储介质，该计算机存储介质上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面的目标检测方法。
本申请的有益效果是：本申请对雷达数据和图像数据分别进行预处理，使雷达数据和图像数据以相同尺度输入卷积神经网络，将雷达数据和图像数据在多个层级进行级联融合，充分融合两种数据的特征后，根据融合特征后的数据输出目标的类别检测结果和关键点检测结果，以提高根据类别检测结果和关键点检测结果输出目标的类别和运动状态的精确度，进而提高目标检测的准确性和鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的目标检测方法一实施方式对应的流程示意图；
图2是本申请提供的目标检测方法另一实施方式对应的流程示意图；
图3是图2中步骤S202对应的一实施方式的流程示意图；
图4是图2中步骤S203对应的一实施方式的流程示意图；
图5是卷积神经网络对应的拓扑结构图；
图6是图2中步骤S205对应的一实施方式的流程示意图；
图7是图6中步骤S604对应的一实施方式的流程示意图；
图8是本申请提供的电子设备一实施方式的结构示意图；
图9是本申请提供的计算机存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请提供的目标检测方法一实施方式对应的流程示意图，该方法包括：
步骤S101：获得摄像装置拍摄的图像数据并对图像数据进行预处理，获得毫米波雷达探测的雷达数据并对雷达数据进行预处理，以使雷达数据和图像数据以相同尺度分别输入卷积神经网络。
具体地，无人驾驶汽车上设有摄像装置和毫米波雷达分别用于进行图像拍摄和障碍物探测。其中，毫米波雷达具有穿透能力强、不受天气影响、体积小巧紧凑、识别精度较高、探测距离远且价格成本相对较低的特点，因此毫米波雷达可适用于恶劣的自然环境，当应用于无人驾驶领域可提高无人驾驶汽车的探测范围和探测精度。
具体地，获取摄像装置拍摄的图像数据并对图像数据进行预处理，对初始的图像数据进行线性纠正、噪声去除、坏点去除、和白平衡，以增强图像数据上的有效数据的图像质量。获取毫米波雷达探测到的雷达数据，其中雷达数据包括多个目标的扫描点，将雷达数据中的目标的扫描点投影至时间和空间同步的图像数据的目标像素点上，以使目标像素点周围的像素点对雷达数据中的扫描点进行补偿，进而增加雷达数据密度获得目标增强数据。
进一步地，将经过处理的雷达数据和图像数据的尺度调整至相同，若将雷达数据和图像数据看作一组矩阵，将尺度调整至相同的步骤即为将雷达数据和图像数据对应的矩阵调整至长宽相等。
步骤S102：将雷达数据和图像数据在卷积神经网络的多个层级中进行级联以获得融合数据，输出融合数据中的目标的类别检测结果和关键点检测结果。
具体地，将经过预处理且尺度相同的雷达数据和图像数据分别送入卷积神经网络，将雷达数据经过卷积神经网络中的第一层级后输出的第一雷达特征，与图像数据经过第一层级后输出的第一图像特征级联，获得第一融合图像，将第一融合图像送入卷积神经网络的下一层级，将雷达数据经过卷积神经网络中的第二层级后输出的第二雷达特征，与第一融合图像经过第二层级后输出的第二图像级联，获得第二融合图像，依次类推，将雷达数据的多个尺度雷达特征与图像数据进行多次融合，进而获得融合数据。
进一步地，卷积神经网络根据经过多次级联获得的融合数据输出融合数据上的目标的类别检测结果和关键点检测结果。其中，融合数据中的目标为雷达数据中的目标，类别检测结果给出目标属于哪一类别，比如：人、动物、建筑、植物、车辆，关键点检测结果给出目标在融合数据中的位置信息。
步骤S103：对类别检测结果和关键点检测结果进行后处理，以输出目标的类别和运动状态。
具体地，获取一段时间内多个时间点雷达数据中的目标被识别到的次数N，根据类别检测结果中对应目标的类别的最大识别次数M，当M/N的数值达到90％以上，则将该目标的类别确定为最大识别次数对应的类别。
进一步地，获得关键点检测结果中目标的位置信息，考虑无人驾驶汽车当前多种可能的运动状态，输出每种运动状态的概率，将概率最高的状态作为当前无人驾驶汽车的状态，进而获取目标相对当前无人驾驶汽车的运动状态。
本实施例所提供的目标检测方法，对雷达数据和图像数据分别进行预处理，使雷达数据和图像数据以相同尺度输入卷积神经网络，将雷达数据和图像数据在多个层级进行级联融合，充分融合两种数据的特征后，根据融合特征后的数据输出目标的类别检测结果和关键点检测结果，以提高根据类别检测结果和关键点检测结果输出目标的类别和运动状态的精确度，进而提高目标检测的准确性和鲁棒性。
请参阅图2，图2是本申请提供的目标检测方法另一实施方式对应的流程示意图，该方法包括：
步骤S201：获得摄像装置拍摄的图像数据并对图像数据进行预处理。
具体地，图像数据的预处理主要包括曝光参数、增益参数、白平衡参数、3D降噪以及数字宽动态参数调节，通过调节摄像装置的图像处理模块(Image Signal Processor，ISP)以获得与当前环境适配的图像处理参数。
可选地，获得摄像装置拍摄的图像数据并对图像数据进行预处理的步骤包括：调节摄像装置的图象处理参数；获得调节后的摄像装置拍摄的图像数据；对图像数据进行归一化处理。
具体地，将图像处理模块的参数调节至与当前环境相适应，以提高摄像装置的各项参数与当前环境的匹配度，提高图像数据的质量，在完成图像处理参数的调节后，获取按已调节图像处理参数的摄像装置所拍摄的图像数据，对图像进一步进行裁剪和/或缩放，进而对经过初步预处理的图像数据进行归一化处理，通过一系列变换将经过初步预处理的图像数据转换成标准形式。
步骤S202：获得毫米波雷达探测的雷达数据并对雷达数据进行预处理。
具体地，请参阅图3，图3是图2中步骤S202对应的一实施方式的流程示意图，该步骤S202包括：
步骤S301：获得在当前时间点毫米波雷达探测的包含目标的目标数据。
具体地，毫米波雷达扫描周围环境，识别并输出当前时间点对应的一组目标，毫米波雷达在扫描目标时发出波长为1～10毫米的电磁波，根据电磁波从发送到接收往返飞行时间得到目标物距离，根据多普勒效应通过计算返回的电磁波频率变化得到目标相对于雷达的运动速度，根据并排的接收天线收到同一目标反射的电磁波相位差计算得到目标的方位角。因此，毫米波雷达在扫描到目标时还会进一步生成目标的目标数据，该目标数据包括目标相对毫米波雷达的相对距离、相对速度和散射截面。
步骤S302：利用当前时间点之前的毫米波雷达探测的包含目标的历史数据对当前时间点的目标进行补偿，生成在当前时间点的雷达数据。
具体地，毫米波雷达扫描到的目标及其对应的目标数据进行了预定时间的缓存，该预定时间可为毫米波雷达的扫描周期时间，获取当前时间点之前的包括目标的历史数据，将历史数据与当前时间点的目标数据结合，生成当前时间点的雷达数据，以使当前时间点的雷达数据中的目标更加全面。
步骤S303：获得在当前时间点目标在雷达数据中的位置信息，并根据位置信息将目标投影至在当前时间点的图像数据的像素点上，以获得雷达数据在图像数据上的目标增强数据。
具体地，结合雷达自身运动学、目标与雷达相对运动，经过匀加速度模型，计算获得雷达数据中的目标在当前时间点的位置，将目标的位置投影至当前时间点的图像数据上，一个目标投影至图像数据上的像素点后，目标对应的像素点周围的像素点可对目标进行补偿，以增加雷达数据的密度获得目标增强数据，进而丰富目标在对应位置处的特征，提高目标位置识别的准确率。
具体地，雷达数据中的目标投影至图像数据上可由下列公式表示：
XCam＝PCamTCamRadXRad (1)
其中，PCam是摄像装置的投影矩阵，由摄像装置的内参、外参决定，TCamRad是毫米波雷达到摄像装置的外参矩阵，XRad是目标的齐次向量。
步骤S304：对目标数据进行归一化处理。
具体地，对目标相对毫米波雷达的相对距离、相对速度和散射截面进行归一化处理，以输出相同尺度的数据，进而使目标数据变成标准化的数据。
进一步地，目标数据包括目标相对毫米波雷达的相对距离、相对速度和散射截面，对目标数据进行归一化处理的步骤之后，还包括：根据目标所对应的距离、相对速度和散射截面，生成三通道数据。
具体地，为目标增强数据上的目标生成距离、相对速度和散射截面三个通道的数据，且所有数据经过归一化处理，以便后续输入卷积神经网络对不同的类型的数据分别进行分析，以避免数据杂糅对数据分析造成的影响。
步骤S203：将雷达数据和图像数据在卷积神经网络的多个层级中进行级联以获得融合数据，输出融合数据中的目标的类别检测结果和关键点检测结果。
具体地，请参阅图4，图4是图2中步骤S203对应的一实施方式的流程示意图，该步骤S203包括：
步骤S401：将雷达数据经过卷积神经网络不同层级后获得的不同尺度的雷达数据图谱，与图像数据经过神经网络的不同层级后且同尺度的图像数据图谱进行多次级联，以获得融合特征图谱。
具体地，雷达数据和图像数据经过归一化处理后尺度相同，将雷达数据经过卷积神经网络中卷积、池化和激活等多个层级后输出的不同尺度的雷达数据图谱，将雷达数据图谱与经过卷积神经网络后同尺度的图像数据图谱进行级联，进而将融合了雷达数据图谱的图像数据图谱输入下一层级。经多次级联后，获得融合特征图谱。
在一应用方式中，请参阅图5，图5是卷积神经网络对应的拓扑结构图，其中，图中的边长表示数据的尺度，边长相等表示数据的尺度相等，边长的变化表示数据尺度的缩放。将雷达数据经过卷积、池化、激活后，生成不同尺度雷达数据图谱rf1，rf2，rf3和rf4，将雷达数据图谱rf1与同尺度的图像数据图谱pf1级联生成第一融合特征图谱f1，将第一融合特征图谱f1送入下一层级，输出图像数据图谱pf2，将同尺度的雷达数据图谱rf2与图像数据图谱pf2级联生成第二融合特征图谱f2，将第二融合特征图谱f2输入下一层级输出图像数据图谱pf3，将同尺度的雷达数据图谱rf3与图像数据图谱pf3级联生成第三融合特征图谱f3，将第三融合特征图谱f3输入下一层级输出图像数据图谱pf4，将同尺度的雷达数据图谱rf4与图像数据图谱pf4级联生成最终的融合特征图谱f4。在本应用方式中，将雷达数据和图像数据在多个层级进行级联融合，将两种数据的特征充分融合，获得融合特征图谱f4。
步骤S402：根据融合特征图谱输出目标的类别检测结果和关键点检测结果。
具体地，卷积神经网络对融合特征图谱上的目标进行识别，分析目标的类别并检测目标的位置，进而输出目标的类别检测结果和关键点检测结果。
进一步地，为提高卷积神经网络对目标进行识别的能力，需要对卷积神经网络进行训练，训练过程的损失函数包含目标类别损失和关键点回归损失，损失函数的计算公式如下：
其中，i指代样本序号，m指代关键点位置。
步骤S204：获得当前时间点前的相邻时间点对应的关键点检测结果，进而获取当前时间点和相邻时间点对应的关键点检测结果的重合系数，将重合系数大于第一阈值的关键点确定为同一目标，以获得目标时序匹配结果。
具体地，基于当前时间点之前的至少一个相邻时间点的关键点检测结果，计算当前时间点和相邻时间点中目标的重合系数，在当前时间点对应的图像中匹配时序目标。若目标的重合系数大于第一阈值，则匹配为同一目标，其中，重合系数的计算公式如下：
其中，areai表示当前时间点的目标的位置信息，areaj表示相邻时间点的目标的位置信息。
在一具体应用场景中，摄像装置每秒采集25帧图像数据，每帧图像数据的间隔为40毫秒，将当前时间点的关键点检测结果和上一时间点的关键点检测结果中的目标进行重合系数计算，若重合系数大于90％则判断为同一目标，以筛选出不同时间点中相同的目标，降低目标被重复识别的概率，进而提高一段时间内目标识别的准确性。
步骤S205：对类别检测结果和关键点检测结果进行后处理，以输出目标的类别和运动状态。
具体地，请参阅图6，图6是图2中步骤S205对应的一实施方式的流程示意图，该步骤S205具体包括：
步骤S601：根据目标时序匹配结果获取在当前时间点时目标的累计检测次数。
具体地，根据目标时序匹配结果，若当前时间点的图像中存在目标未匹配到当前时间点前的历史目标，则为未匹配到历史目标的新目标生成新序号，并存储相应类别信息。若当前时间点的图像中的目标匹配到当前时间点前的历史目标，则为与历史目标匹配成功的目标的生命周期增加1，丢失周期置0，其中，生命周期即为目标被检测到的累计检测次数。当历史目标中未匹配到当前时间点中的时序目标，则将该目标的丢失周期增加1，若丢失周期超出一定阈值，则从历史目标中删除该目标。
步骤S602：根据类别检测结果获取在当前时间点时目标的类别的累计识别次数。
具体地，根据一段时间内的目标时序匹配结果和类别检测结果，获取同一目标的累计检测次数N和该目标被最多次数识别成的类别Ci的累计识别次数Mi。
步骤S603：当同一目标的累计识别次数与累计检测次数的比值达到第二阈值时，将目标确定为达到第二阈值的类别。
具体地，当Mi/N大于第二阈值时，则目标类别被设定为Ci，对于累计检测次数达到N的目标，将N次中被识别成最多次的类别Ci与N做商，只有达到第二阈值才将该目标判断为类别Ci，进而降低类别检测结果中的离散值对类别识别结果的影响，取多次识别结果中可能性最大的值作为目标的类别，提高识别结果的准确性。
步骤S604：根据关键点检测结果，利用预设的滤波方法获得目标的运动状态。
具体地，请参阅图7，图7是图6中步骤S604对应的一实施方式的流程示意图，该步骤S604包括：
步骤S701：获得摄像装置的世界坐标系，根据关键点检测结果获取目标在世界坐标系中的位置。
具体地，获得摄像装置对应的世界坐标系，将目标的关键点检测结果中位置信息转换至世界坐标系中，以获取目标相对摄像装置的位置，该摄像装置对应的世界坐标系可为以摄像装置的中心为坐标原点建立的三维坐标系。
步骤S702：利用交互多模型滤波方法，获取目标在世界坐标系中的运动状态。
具体地，利用交互多模型滤波方法，考虑匀速、匀加速、左转、右转四种可能的运动模型，基于自适应卡尔曼滤波更新目标在摄像装置的世界坐标系中的运动状态。
进一步地，利用交互多模型滤波方法，提供目标在多种运动模型下的预测结果和对应概率，使得不同状态下的目标均能输出符合其运动状态的数据，适用于不同场景的道路驾驶环境。
请参阅图8，图8是本申请提供的电子设备一实施方式的结构示意图，该电子设备80包括相互耦接的存储器801和处理器802，其中，存储器801存储有程序数据(图未示)，处理器802调用程序数据以实现上述任一实施例中的目标检测方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
请参阅图9，图9是本申请提供的计算机存储介质一实施方式的结构示意图，该计算机存储介质90存储有程序数据900，该程序数据900被处理器执行时实现上述任一实施例中的目标检测方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
需要说明的是，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种目标检测方法，其特征在于，所述方法包括：
获得摄像装置拍摄的图像数据并对所述图像数据进行预处理，获得毫米波雷达探测的雷达数据并对所述雷达数据进行预处理，以使所述雷达数据和所述图像数据以相同尺度分别输入卷积神经网络；
将所述雷达数据和所述图像数据在所述卷积神经网络的多个层级中进行级联以获得融合数据，输出所述融合数据中的目标的类别检测结果和关键点检测结果；
对所述类别检测结果和所述关键点检测结果进行后处理，以输出所述目标的类别和运动状态；
其中，所述获得毫米波雷达探测的雷达数据并对所述雷达数据进行预处理的步骤，包括：
获得在当前时间点所述毫米波雷达探测的包含所述目标的目标数据；
利用当前时间点之前的所述毫米波雷达探测的包含所述目标的历史数据对当前时间点的所述目标进行补偿，生成在当前时间点的雷达数据；
获得在当前时间点所述目标在所述雷达数据中的位置信息，并根据所述位置信息将所述目标投影至在当前时间点的所述图像数据的像素点上，以获得所述雷达数据在所述图像数据上的目标增强数据；其中，将所述雷达数据中的目标的扫描点投影至时间和空间同步的所述图像数据的目标像素点上，以使所述目标像素点周围的像素点对所述雷达数据中的扫描点进行补偿，进而增加雷达数据密度获得所述目标增强数据；
对所述目标数据进行归一化处理。
2.根据权利要求1所述的方法，其特征在于，所述目标数据包括所述目标相对所述毫米波雷达的相对距离、相对速度和散射截面，所述对所述目标数据进行归一化处理的步骤之后，还包括：
根据所述目标所对应的所述相对距离、所述相对速度和所述散射截面，生成三通道数据。
3.根据权利要求1所述的方法，其特征在于，所述获得摄像装置拍摄的图像数据并对所述图像数据进行预处理的步骤，包括：
调节所述摄像装置的图像处理参数；
获得调节后的所述摄像装置拍摄的图像数据；
对所述图像数据进行归一化处理。
4.根据权利要求1所述的方法，其特征在于，所述将所述雷达数据和所述图像数据在所述卷积神经网络的多个层级中进行级联以获得融合数据，输出所述融合数据中的目标的类别检测结果和关键点检测结果的步骤，包括：
将所述雷达数据经过所述卷积神经网络不同层级后获得的不同尺度的雷达数据图谱，与所述图像数据经过所述卷积神经网络的不同层级后且同尺度的图像数据图谱进行多次级联，以获得融合特征图谱；
根据所述融合特征图谱输出所述目标的类别检测结果和关键点检测结果。
5.根据权利要求1所述的方法，其特征在于，所述将所述雷达数据和所述图像数据在所述卷积神经网络的多个层级中进行级联以获得融合数据，输出所述融合数据中的目标的类别检测结果和关键点检测结果的步骤之后，还包括：
获得当前时间点前的相邻时间点对应的所述关键点检测结果，进而获取所述当前时间点和所述相邻时间点对应的所述关键点检测结果的重合系数，将重合系数大于第一阈值的关键点确定为同一目标，以获得目标时序匹配结果。
6.根据权利要求5所述的方法，其特征在于，所述对所述类别检测结果和所述关键点检测结果进行后处理，以输出所述目标的类别和运动状态的步骤，包括：
根据所述目标时序匹配结果获取在当前时间点时所述目标的累计检测次数；
根据所述类别检测结果获取在当前时间点时所述目标的类别的累计识别次数；
当同一目标的所述累计识别次数与所述累计检测次数的比值达到第二阈值时，将所述目标确定为达到所述第二阈值的类别；
根据所述关键点检测结果，利用预设的滤波方法获得所述目标的运动状态。
7.根据权利要求6所述的方法，其特征在于，所述根据所述关键点检测结果，利用预设的滤波方法获得所述目标的运动状态的步骤，包括：
获得所述摄像装置的世界坐标系，根据所述关键点检测结果获取所述目标在所述世界坐标系中的位置；
利用交互多模型滤波方法，获取所述目标在所述世界坐标系中的运动状态。
8.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行如权利要求1-7中任一项所述的方法。
9.一种计算机存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202011334487.9A 2020-11-24 2020-11-24 一种目标检测方法、电子设备和计算机存储介质 Active CN112528763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011334487.9A CN112528763B (zh) 2020-11-24 2020-11-24 一种目标检测方法、电子设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011334487.9A CN112528763B (zh) 2020-11-24 2020-11-24 一种目标检测方法、电子设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN112528763A CN112528763A (zh) 2021-03-19
CN112528763B true CN112528763B (zh) 2024-06-21

Family

ID=74993216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011334487.9A Active CN112528763B (zh) 2020-11-24 2020-11-24 一种目标检测方法、电子设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN112528763B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111808B (zh) * 2021-04-20 2022-03-29 山东大学 基于机器视觉的异常行为检测方法及***
CN115014366A (zh) * 2022-05-31 2022-09-06 中国第一汽车股份有限公司 一种目标融合方法、装置、车辆及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
CN109655826A (zh) * 2018-12-16 2019-04-19 成都汇蓉国科微***技术有限公司 一种低慢小目标轨迹滤波方法及装置
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN111160248A (zh) * 2019-12-30 2020-05-15 北京每日优鲜电子商务有限公司 物品跟踪的方法、装置、计算机设备及存储介质
CN111462237A (zh) * 2020-04-03 2020-07-28 清华大学 利用多源信息构建四通道虚拟图像的目标距离检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4434296B1 (ja) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
US10878708B2 (en) * 2017-03-03 2020-12-29 Farrokh Mohamadi Drone terrain surveillance with camera and radar sensor fusion for collision avoidance
CN107330920B (zh) * 2017-06-28 2020-01-03 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN108639048B (zh) * 2018-05-15 2020-03-03 智车优行科技（北京）有限公司 汽车变道辅助方法、***以及汽车
CN111257866B (zh) * 2018-11-30 2022-02-11 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及***
CN111382768B (zh) * 2018-12-29 2023-11-14 华为技术有限公司 多传感器数据融合方法和装置
CN109738884B (zh) * 2018-12-29 2022-03-11 百度在线网络技术（北京）有限公司 对象检测方法、装置和计算机设备
CN111366919B (zh) * 2020-03-24 2022-05-13 南京矽典微***有限公司 基于毫米波雷达的目标检测方法和装置、电子设备、存储介质
CN111652097B (zh) * 2020-05-25 2023-04-18 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN111856441B (zh) * 2020-06-09 2023-04-25 北京航空航天大学 一种基于视觉与毫米波雷达融合的列车定位方法
CN111860589B (zh) * 2020-06-12 2023-07-18 中山大学 一种多传感器多目标协同探测信息融合方法、***
CN111967498A (zh) * 2020-07-20 2020-11-20 重庆大学 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
CN109655826A (zh) * 2018-12-16 2019-04-19 成都汇蓉国科微***技术有限公司 一种低慢小目标轨迹滤波方法及装置
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN111160248A (zh) * 2019-12-30 2020-05-15 北京每日优鲜电子商务有限公司 物品跟踪的方法、装置、计算机设备及存储介质
CN111462237A (zh) * 2020-04-03 2020-07-28 清华大学 利用多源信息构建四通道虚拟图像的目标距离检测方法

Also Published As

Publication number Publication date
CN112528763A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
Wang et al. RODNet: A real-time radar object detection network cross-supervised by camera-radar fused object 3D localization
CN109753903B (zh) 一种基于深度学习的无人机检测方法
CN110516556B (zh) 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
CN107392965B (zh) 一种基于深度学习和双目立体视觉相结合的测距方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN110675418A (zh) 一种基于ds证据理论的目标轨迹优化方法
CN112528763B (zh) 一种目标检测方法、电子设备和计算机存储介质
CN112036339B (zh) 人脸检测的方法、装置和电子设备
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN112084952B (zh) 一种基于自监督训练的视频点位跟踪方法
CN115937819A (zh) 基于多模态融合的三维目标检测方法及***
Wang et al. Radar ghost target detection via multimodal transformers
CN115909268A (zh) 一种动态障碍物检测方法及装置
CN113935379B (zh) 一种基于毫米波雷达信号的人体活动分割方法及***
CN117542045B (zh) 一种基于空间引导自注意力的食品识别方法及***
CN115690545B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
Koksal et al. Model-based object recognition using laser radar range imagery
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
CN113269808B (zh) 视频小目标跟踪方法和装置
CN112487984A (zh) 一种点云数据轻量化快速生成方法
Zhu et al. Robust target detection of intelligent integrated optical camera and mmWave radar system
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置
CN117576665B (zh) 一种面向自动驾驶的单摄像头三维目标检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310056 Room 301, building 3, No. 2930, South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Zhejiang huaruijie Technology Co.,Ltd.

Address before: 310056 Room 301, building 3, No. 2930, South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: Zhejiang Dahua Automobile Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant