CN111291786B - 一种车载视觉实时多目标航向角估计方法及装置 - Google Patents

一种车载视觉实时多目标航向角估计方法及装置 Download PDF

Info

Publication number
CN111291786B
CN111291786B CN202010054543.7A CN202010054543A CN111291786B CN 111291786 B CN111291786 B CN 111291786B CN 202010054543 A CN202010054543 A CN 202010054543A CN 111291786 B CN111291786 B CN 111291786B
Authority
CN
China
Prior art keywords
target
vehicle
conditional probability
observation
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010054543.7A
Other languages
English (en)
Other versions
CN111291786A (zh
Inventor
***
熊辉
王建强
郭宇昂
林学武
许庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010054543.7A priority Critical patent/CN111291786B/zh
Publication of CN111291786A publication Critical patent/CN111291786A/zh
Application granted granted Critical
Publication of CN111291786B publication Critical patent/CN111291786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车载视觉实时多目标航向角估计方法及装置，该方法包括：步骤1，采用离线数据集事先训练好的单阶段二维目标检测模型YOLOv3提取输入的单目单帧图像的深度卷积神经网络特征图；步骤2，在深度卷积神经网络特征图上进行二维目标的优化定位，并对车辆、行人和骑车人三类交通道路参与者多目标进行分类优化，输出目标框所对应目标的二维位置和类别；步骤3，根据深度卷积神经网络特征图、目标的二维位置和类别，通过直接回归该目标的连续观测角度α，分别得到观测角度α的正弦值sinα和余弦值cosα，考虑角度的周期性同时平方和约束正弦值sinα和余弦值cosα，最终获得目标相对自车的观测角度α的唯一确定值。本发明能够在车辆行驶过程中准确实时地估计车载目标在世界坐标系下的观测，为车载目标的轨迹预测和智能车辆的碰撞预警提供依据。

Description

一种车载视觉实时多目标航向角估计方法及装置
技术领域
本发明涉及自动驾驶领域，特别是涉及一种车载视觉实时多目标航向角估计方法及装置。
背景技术
智能车辆的环境感知***利用各种车载传感器进行数据采集和处理，为车辆提供自车与周围目标的位置和类别，以及相对观测、距离、速度等信息，进而为上层的决策规划提供信息依据，在智能车辆的研究中享有基础性的地位。视觉传感器是智能车辆环境感知***最广泛使用的传感器，基于车载视觉的算法可直接定位二维车辆障碍物并区分目标的类别。车载多目标的观测估计是三维目标检测的重要研究内容之一，为车载目标的轨迹预测和运动意图提供线索。
二维目标检测通常是三维目标检测的基础，而道路场景中的二维目标检测受到恶劣天气状况、极端光照条件和场景参与者复杂，被检测对象形态尺寸各异，加上视角变化、遮挡、图像截断等因素的影响，覆盖多种道路场景的，对多类目标实现高精确性的二维检测并没有完全解决。检测算法的有效性往往与算法复杂度正相关，也与计算耗时关联。在复杂交通场景下，现有二维目标检测方法对于行人和骑车人分类困难。行人和骑车人两类容易相互误检，特别是当距离较远或遮挡发生时，且骑车人几乎正对或背对观测者时，该问题更加严重。
三维目标检测中的航向角估计以目标观测估计为基础，目标观测估计方法主要聚焦以下三个方向：1)往往将观测离线划分，转化为多类分类问题，由于目标观测角度是连续变化的，这种多类分类会引入离散误差；2)直接回归目标观测角度值，这种做法没有考虑观测角度周期性，导致模型训练难收敛；3)分别回归角度的正弦值和余弦值，但存在两个回归预测任务的不一致估计误差。具体地，Oeljeklaus M等人在从单目图像中检测目标框时，同时直接回归目标的观测朝角。由于角度的周期特性，直接回归目标的观测观测角会带来歧义性。例如-π和π本是同一角度，但然而在回归计算的空间中“距离”却最远，此时卷积网络模型的损失函数最大，使得训练不稳定，参数学***方和约束，存在观测估计精度不足的问题。因此，对于智能车辆而言，为了准确地实时地估计不同车载环境目标的观测角度，需要专门研究车载视觉环境下的多目标观测估计方法，进而根据目标相对自车的横纵向位置计算获得目标的航向角。
因此，希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的至少一个。
发明内容
本发明的目的在于提供一种车载视觉实时多目标航向角估计方法及装置来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种车载视觉实时多目标航向角估计方法，该方法包括：
步骤1，采用离线数据集事先训练好的单阶段二维目标检测模型YOLOv3提取输入的单目单帧图像的深度卷积神经网络特征图；
步骤2，在所述步骤1提取得到的深度卷积神经网络特征图上进行二维目标的优化定位，并对车辆、行人和骑车人三类交通道路参与者多目标进行分类优化，输出目标框所对应目标的二维位置和类别；
步骤3，根据所述步骤1提取得到的深度卷积神经网络特征图、以及所述步骤1得到的目标的二维位置和类别，通过直接回归该目标的连续观测角度α，分别得到观测角度α的正弦值sinα和余弦值cosα，考虑角度的周期性同时平方和约束正弦值sinα和余弦值cosα，最终获得目标相对自车的观测角度α的唯一确定值，目标相对自车的观测角度α为目标的运动方向
Figure BDA0002372358840000021
与横轴x’的正方向之间的夹角，x’轴在水平面内与z’轴相垂直，正方向为自车前进方向的右侧方向；z’轴是自车的几何中心O与目标的几何中心O’之间的连线，正方向为自车指向目标的方向；
步骤4，根据步骤3获得的观测角度α，利用下式(1)计算得到目标的航向角
Figure BDA0002372358840000031
Figure BDA0002372358840000032
式(1)中，x3d为目标框在世界坐标系中的横向位置，z3d为目标框在世界坐标系中的纵向位置。
进一步地，所述步骤2具体包括：
根据所述深度卷积神经网络特征图，获得每一个真实目标附近同时检测出的多个可能目标框；
根据每一个所述可能目标框与基准目标框的重叠率，从每一个真实目标的多个可能目标框中筛选出重叠率最高的目标框，作为对应目标的最终目标框，并依据最终目标框所对应的目标定位信息，该目标定位信息包括目标的二维位置；
根据所述最终目标框对应的目标定位信息中的置信度，采用层级分类策略预测目标所属大类和小类的条件概率，通过将该置信度、所属大类的条件概率和小类的条件概率相乘获得的乘积，作为目标所属小类的绝对概率。
进一步地，采用层级分类策略预测目标所属大类的方法包括：
步骤21，根据所述的深度卷积特征图和目标定位信息中的最终目标框的几何中心在图像坐标系中的横纵坐标位置和置信度，该置信度为第一层动态目标节点的绝对概率Pr(Object)，辨识该目标框所对应的目标是否属于车辆、行人和骑车人三类动态目标(Object)，如果是，则将该目标框以外的图像部分视为背景；
步骤22，在动态目标(Object)中合并类间差距小的目标类别，并辨识出合并后得到目标类别是否属于人(Person)大类或车辆(Car)大类，并输出第二层目标的条件概率，其中，如果辨识结果属于人(Person)大类，则第二层目标的条件概率为人节点的条件概率Pr(Person|Object)，并进入步骤23，如果辨识结果属于车辆(Car)类，则所述第二层目标的条件概率为车节点的条件概率Pr(Car|Object)。
进一步地，步骤22获得二层目标的条件概率为人节点的条件概率Pr(Person|Object)的情形下，采用层级分类策略预测目标所属小类的方法包括：
步骤23，在人(Person)大类下辨识目标类别是否属于行人(Pedestrian)小类或骑车人(Cyclist)小类，并输出第三层目标的条件概率，该第三层目标的条件概率包括行人节点的条件概率Pr(Pedestrian|Person)和骑车人节点的条件概率Pr(Cyclist|Person)；
步骤24，根据步骤21提供的第一层的绝对概率Pr(Object)、步骤22输出第二层目标的条件概率Pr(Person|Object)和步骤23输出的第三层目标的条件概率，利用下式(2)计算第三层的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)，利用公式(3)计算第三层的骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)；
Figure BDA0002372358840000045
Figure BDA0002372358840000046
步骤25，比较步骤24计算得到的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)和骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)，如果Pr(Cyclist)大于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为骑车人(Cyclist)小类；如果Pr(Cyclist)小于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为行人(Pedestrian)小类。
进一步地，所述步骤3中平方和约束正弦值sinα和余弦值cosα具体包括：
步骤31，设计下式(6)表示的观测估计子任务分支总的损失函数：
Figure BDA0002372358840000041
式(6)中，Lα(Θ)为训练集中所有目标观测估计的损失函数ψk(Θ)的平均值，Θ为模型需要学习的参数，下标k为目标框的标号，为整数，取值范围为0～N，N是训练样本中所有目标框的数量；测估计子任务分支训练的目的是通过训练样本的学习使总的损失函数Lα(Θ)最小化，当Lα(Θ)最小化时对应的Θ，即为学习到的模型参数，为模型的输出；
步骤32，训练集中所有目标观测估计的损失函数的平均值ψk(Θ)包括正弦值
Figure BDA0002372358840000042
余弦值
Figure BDA0002372358840000043
和角度平方和约束
Figure BDA0002372358840000044
三部分，设计如下：
Figure BDA0002372358840000051
式(7)中，
Figure BDA0002372358840000052
是第k个目标框的观测角的正弦估计值，
Figure BDA0002372358840000053
是第k个目标框的观测角的余弦估计值，sinα*是第k个目标框的观测角的正弦真实值，cosα*是第k个目标框的观测角的余弦真实值，正弦值
Figure BDA0002372358840000054
和余弦值
Figure BDA0002372358840000055
采用L1范数损失，角度平方和约束项
Figure BDA0002372358840000056
采用L2范数损失。
本发明还提供一种车载视觉实时多目标航向角估计装置，该装置包括：
深度卷积神经网络特征编码器，其为离线数据集事先训练好的单阶段二维目标检测模型YOLOv3，用于提取输入的单目单帧图像的深度卷积神经网络特征图；
目标定位和层级分类模块，其用于在所述深度卷积神经网络特征图上进行二维目标的优化定位，并对车辆、行人和骑车人三类交通道路参与者多目标进行分类优化，输出目标框所对应目标的二维位置和类别；
观测估计模块，其用于根据所述深度卷积神经网络特征图、以及目标的二维位置和类别，通过直接回归该目标的连续观测角度α，分别得到观测角度α的正弦值sinα和余弦值cosα，考虑角度的周期性同时平方和约束正弦值sinα和余弦值cosα，最终获得目标相对自车的观测角度α的唯一确定值，目标相对自车的观测角度α为目标的运动方向
Figure BDA0002372358840000057
与横轴x’的正方向之间的夹角，x’轴在水平面内与z’轴相垂直，正方向为自车前进方向的右侧方向；z’轴是自车的几何中心O与目标的几何中心O’之间的连线，正方向为自车指向目标的方向；
航向角计算模块，其用于根据所述观测角度α，利用下式(1)计算得到目标的航向角
Figure BDA0002372358840000058
Figure BDA0002372358840000059
式(1)中，x3d为目标框在世界坐标系中的横向位置，z3d为目标框在世界坐标系中的纵向位置。
进一步地，所述目标定位和层级分类模块具体包括：
初选子模块，其用于根据所述深度卷积神经网络特征图，获得每一个真实目标附近同时检测出的多个可能目标框；
定位优化子模块，其用于根据每一个所述可能目标框与基准目标框的重叠率，从每一个真实目标的多个可能目标框中筛选出重叠率最高的目标框，作为对应目标的最终目标框，并依据最终目标框所对应的目标定位信息，该目标定位信息包括目标的二维位置；
层级分类子模块，其用于根据所述最终目标框对应的目标定位信息中的置信度，采用层级分类策略预测目标所属大类和小类的条件概率，通过将该置信度、所属大类的条件概率和小类的条件概率相乘获得的乘积，作为目标所属小类的绝对概率。
进一步地，采用层级分类策略预测目标所属大类的方法包括：
步骤21，根据所述的深度卷积特征图和目标定位信息中的最终目标框的几何中心在图像坐标系中的横纵坐标位置和置信度，该置信度为第一层动态目标节点的绝对概率Pr(Object)，辨识该目标框所对应的目标是否属于车辆、行人和骑车人三类动态目标(Object)，如果是，则将该目标框以外的图像部分视为背景；
步骤22，在动态目标(Object)中合并类间差距小的目标类别，并辨识出合并后得到目标类别是否属于人(Person)大类或车辆(Car)大类，并输出第二层目标的条件概率，其中，如果辨识结果属于人(Person)大类，则第二层目标的条件概率为人节点的条件概率Pr(Person|Object)；如果辨识结果属于车辆(Car)类，则所述第二层目标的条件概率为车节点的条件概率Pr(Car|Object)。
进一步地，步骤22获得二层目标的条件概率为人节点的条件概率Pr(Person|Object)的情形下，采用层级分类策略预测目标所属小类的方法包括：
步骤23，在人(Person)大类下辨识目标类别是否属于行人(Pedestrian)小类或骑车人(Cyclist)小类，并输出第三层目标的条件概率，该第三层目标的条件概率包括行人节点的条件概率Pr(Pedestrian|Person)和骑车人节点的条件概率Pr(Cyclist|Person)；
步骤24，根据步骤21提供的第一层的绝对概率Pr(Object)、步骤22输出第二层目标的条件概率Pr(Person|Object)和步骤23输出的第三层目标的条件概率，利用下式(2)计算第三层的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)，利用公式(3)计算第三层的骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)；
Figure BDA0002372358840000078
Figure BDA0002372358840000079
步骤25，比较步骤24计算得到的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)和骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)，如果Pr(Cyclist)大于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为骑车人(Cyclist)小类；如果Pr(Cyclist)小于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为行人(Pedestrian)小类。
进一步地，所述观测估计模块中平方和约束正弦值sinα和余弦值cosα具体包括：
步骤31，设计下式(6)表示的观测估计子任务分支总的损失函数：
Figure BDA0002372358840000071
式(6)中，Lα(Θ)为训练集中所有目标观测估计的损失函数ψk(Θ)的平均值，Θ为模型需要学习的参数，下标k为目标框的标号，为整数，取值范围为0～N，N是训练样本中所有目标框的数量；测估计子任务分支训练的目的是通过训练样本的学习使总的损失函数Lα(Θ)最小化，当Lα(Θ)最小化时对应的Θ，即为学习到的模型参数，为模型的输出；
步骤32，训练集中所有目标观测估计的损失函数的平均值ψk(Θ)包括正弦值
Figure BDA0002372358840000072
余弦值
Figure BDA0002372358840000073
和角度平方和约束
Figure BDA0002372358840000074
三部分，设计如下：
Figure BDA0002372358840000075
式(7)中，
Figure BDA0002372358840000076
是第k个目标框的观测角的正弦估计值，
Figure BDA0002372358840000077
是第k个目标框的观测角的余弦估计值，sinα*是第k个目标框的观测角的正弦真实值，cosα*是第k个目标框的观测角的余弦真实值，正弦值
Figure BDA0002372358840000081
和余弦值
Figure BDA0002372358840000082
采用L1范数损失，角度平方和约束项
Figure BDA0002372358840000083
采用L2范数损失。
本发明提供的车载视觉实时多目标观测估计方法根据层级分类策略优化的分类信息和软性非极大值抑制算法优化的定位信息，并基于观测角度的周期性和角度的连续性，直接回归该目标的连续观测角度值，因此避免了离散分类带来的误差和训练难以收敛的问题，同时也约束了预测的正弦值和余弦值的平方和，减少了单独最小化某一分支的误差带来对最后观测估计结果的影响，提高了基于单目车载视觉的目标观测估计的准确性，进而提高目标航向角计算的准确性。本发明能够在车辆行驶过程中准确实时地估计车载目标在世界坐标系下的观测，是车载视觉多目标的三维目标检测的重要支撑技术，也为车载目标的轨迹预测和智能车辆的碰撞预警提供依据。
附图说明
图1为本发明的目标相对自车的观测角度与目标在世界坐标系中的航向角的关系示意图；
图2为本发明的多目标航向角估计方法框架的示意图；
图3为本发明实施例中车载多类别多目标的层级分类的示意图；
图4为本发明实施例中正弦值和余弦值确定观测角度唯一性的示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本发明实施例的车载视觉实时多目标航向角估计方法可以为智能车辆提供实时准确的车载多目标对象在世界坐标系下的观测角度和航向角度，为车载视觉多目标的三维目标检测的重要支撑技术，也为车载多目标的轨迹预测和智能车辆自车的碰撞预警提供依据。
“车载多目标”包括单目车载视觉环境下的车辆、行人和骑车人三类道路交通参与者，是KITTI自动驾驶数据集中的主要目标类别。其中，骑车人包括骑自行车和电动自行车的人。若数据集包括更多的道路交通参与者，本实施例的方法也适用。
“自车的车辆坐标系”为下文提及的世界坐标系，其坐标原点为自车外三维目标框的几何中心O，横向、纵向和垂向依次为世界坐标系的x、z和y轴。x轴方向向右为正，z轴方向向前为正，y轴方向向下为正。此处的“右”、“前”、“下”均可理解为驾驶人的“右”、“前”、“下”。图1中的z’轴是自车的几何中心O与目标的几何中心O’之间的连线，正方向为自车指向目标的方向。x’轴在水平面内与z’轴相垂直，正方向为自车前进方向的右侧方向。自车相机采集到的二维图像中的各个目标采用目标框的形式予以呈现，该目标框以尽可能紧凑的方式包围在目标的外部。
如图1所示，图中显示了世界坐标系的Ox轴和Oz轴，显示了O’x’轴和O’z’轴，
Figure BDA0002372358840000091
是目标的运动方向。目标相对自车的观测角度α为目标的运动方向
Figure BDA0002372358840000092
与横轴x’的正方向之间的夹角，目标框在世界坐标系中的航向角
Figure BDA0002372358840000093
为目标的运动方向
Figure BDA0002372358840000094
与x轴的正方向之间的夹角。观测角度α与航向角
Figure BDA0002372358840000095
之间的关系表示为下式(1)：
Figure BDA0002372358840000096
式(1)中，x3d为目标框在世界坐标系中的横向位置，z3d为目标框在世界坐标系中的纵向位置。二者可以根据申请号为“201910939170.9”的专利申请中提供的获取横向距离和纵向距离的方式获取得到。
在一个实施例中，如图2所示，本实施所提供的车载视觉实时多目标观测估计装置包括深度卷积神经网络特征编码器1、目标定位和层级分类模块2、观测估计模块3和航向角计算模块。其中，
深度卷积神经网络特征编码器1作为目标定位和层级分类模块2和观测估计模块3的共有卷积特征编码器，本实施例中，深度卷积神经网络特征编码器1采用离线数据集事先训练好的单阶段二维目标检测模型YOLOv3，提取输入的单目单帧图像的深度卷积神经网络特征图，输出提取的深度卷积神经网络特征图，即对原图分布进行32倍、16倍和8倍下采样后得到的13*13*255,26*26*255和52*52*255小中大三个预测端口的特征图。
深度卷积神经网络特征编码器1将深度卷积神经网络特征图输送给两个独立的解码分支，该解码分支即为下文将展开描述的目标定位和层级分类模块2和观测估计模块3。
目标定位和层级分类模块2用于接收深度卷积神经网络特征编码器1输出的深度卷积神经网络特征图，采用软性非极大值抑制算法进行二维目标的优化定位，并采用层级分类策略对车辆、行人和骑车人三类交通道路参与者多目标进行分类优化，输出目标框所对应目标的二维位置和类别。
优先地，目标定位分类模块2包括初选子模块21、定位优化子模块22和层级分类子模块23，其中：
初选子模块21用于根据深度卷积神经网络特征图，获得每一个真实目标附近同时检测出的多个可能目标框。
定位优化子模块22用于根据每一个可能目标框与基准目标框的重叠率(该重叠率指的是两个目标框的交集与并集的比值，该比值越大，重叠率越高)，从每一个真实目标的多个可能目标框中筛选出重叠率最高的目标框，作为对应目标的最终目标框，并依据最终目标框所对应的目标定位信息。该目标定位信息包括最终目标框的几何中心O’在图像坐标系中的横纵坐标位置、目标框的尺寸和置信度，并输出。本实施例采用软性非极大值抑制算法(soft-NMS)来进行定位优化。通过定位优化子模块22可以提高在车辆、行人或骑车人较为密集的道路场景中，目标之间可能发生较为严重遮挡情况下的目标定位精度，避免丢失正确检测的目标框。
待检测的目标类别分为三层，如图3所示，例如：第一层分为动态目标(Object)和背景，第二层分为车辆(Car)大类和人(Person)大类，第三层分为行人(Pedestrian)小类或骑车人(Cyclist)小类。图3中的左边示意的是现有技术中的平行分类方式，即分类时采用的是利用待检测目标属于每一类别的绝对概率。而本实施例采用的是图3中的右边示意的层级分类方式，即树状分类结构。通过层级分类策略预测目标框所属类别的条件概率，对车辆、行人和骑车人三类交通道路参与者多目标进行分类。本实施例针对道路场景的多类别二维目标检测中常见的行人和骑车人两类目标难以区分、容易相互误检的问题，来提高骑车人和行人类别的分类准确性。相比于平行的类别划分策略直接预测目标的绝对概率，层级分类方法通过预测树状结构中的每一个节点的条件概率来获得其属于某类别的绝对概率。需要说明的是，上述的第三层小类，甚至是第二层大类仅仅是一个是示意性举例，还可以根据实际情况或需求，对第三层小类和第二层大类进一步划分。也就是说，当某一大类有其它小类时，比如作为大类“人”，其下可以包含小类“行人”，小类“行人”包含之类“男人”和“女人”；还比如作为大类“人”，其下可以包含小类“骑车人”，小类“骑车人”包含之类“骑自行车的人”和“骑电动车的人”，本发明也适用。
具体地，层级分类子模块23提供的采用层级分类策略预测目标所属大类的方法包括如下步骤21至步骤22：
步骤21，根据深度卷积神经网络特征编码器模块1输出的深度卷积特征图和定位优化子模块21输出的目标定位信息中的最终目标框的几何中心O’在图像坐标系中的横纵坐标位置和置信度，该置信度为层级分类中第一层动态目标节点的绝对概率Pr(Object)，辨识该目标框所对应的目标是否属于车辆、行人和骑车人三类动态目标(Object)，如果是，则将该目标框以外的图像部分视为背景。
步骤22，在动态目标(Object)中合并类间差距小的目标类别，并辨识出合并后得到目标类别是否属于人(Person)大类或车辆(Car)大类，并输出第二层目标的条件概率。其中，如果辨识结果属于人(Person)大类，则第二层目标的条件概率为人节点的条件概率Pr(Person|Object)，并进入步骤23，如果辨识结果属于车辆(Car)类，则第二层目标的条件概率为车节点的条件概率Pr(Car|Object)。
“类间”存在于第三层下的不同小类之间，比如：不同的行人(Pedestrian)小类与骑车人(Cyclist)小类之间视为类间，不同的行人与行人之间视为为同一类目标，即为“类内”。
步骤22获得二层目标的条件概率为人节点的条件概率Pr(Person|Object)的情形下，采用层级分类策略预测目标所属小类的方法包括如下步骤23至步骤25：
步骤23，在人(Person)大类下辨识目标类别是否属于行人(Pedestrian)小类或骑车人(Cyclist)小类，并输出第三层目标的条件概率，该第三层目标的条件概率包括行人节点的条件概率Pr(Pedestrian|Person)和骑车人节点的条件概率Pr(Cyclist|Person)。
步骤24，根据步骤21提供的第一层的绝对概率Pr(Object)、步骤22输出第二层目标的条件概率Pr(Person|Object)和步骤23输出的第三层目标的条件概率，利用下式(2)计算第三层的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)，利用公式(3)计算第三层的骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)。
Figure BDA0002372358840000111
Figure BDA0002372358840000122
步骤25，比较步骤24计算得到的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)和骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)，如果Pr(Cyclist)大于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为骑车人(Cyclist)小类；如果Pr(Cyclist)小于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为行人(Pedestrian)小类。
通过本实施例提供的层级分类策略，本发明能够道路场景的多类别二维目标检测中行人和骑车人两类目标难以区分，容易相互误检的技术问题，特别是当距离较远，且骑车人朝向几乎正对或背对观测者时，该问题更加不易区分。
对于第二层和第三层的所有节点，单独使用Softmax函数进行多类分类。上述步骤21至步骤25中的输入X为深度卷积神经网络特征编码器模块1输出的深度卷积特征图和定位优化子模块21输出的目标定位信息中的最终目标框的几何中心O’在图像坐标系中的横纵坐标位置和置信度，映射输出Y为第二层目标的条件概率和第三层目标的条件概率，本实施例通过采用下式(4)表示的梯度下降法最小化分类损失函数Lcls学习从输入X到输出Y这一映射过程的多维向量的权重W和偏置参数B，作为学习到的层级分类模型的参数。通过采用式(4)中的目标分类损失函数，能够将“行人-骑车人”层的分类损失函数权重提高，也就是使得整个编码-解码网络模型在训练过程中，增大行人和骑车人类别相互错分的代价。
Figure BDA0002372358840000121
式(4)中，1ij(·)是指示函数，表示该先验框是否用于预测目标，“是”则为1，“不是”则为0；下标i为获取的图像中的网格的标号(共有S×S个网格，本实施例中取S＝13)，下标j为每个网格对应的所有目标框(每个网格对应B个目标框，本实施例中取B＝9)的标号；
Figure BDA0002372358840000131
为预测为s1大类目标{Car,Person}的条件概率，
Figure BDA0002372358840000132
为其真实的目标概率；
Figure BDA0002372358840000133
为预测为s2小类目标{Pedestrian,Cyclist}的条件概率，
Figure BDA0002372358840000134
为其真实的目标概率；λ用于控制不同层(上述的第一层、第二层和第三层)的损失函数权重，在本实施例中设置λ＝2以增大行人和骑车人相互错分的代价。CE(·)为常用的Softmax的交叉熵损失函数，定义如下：
Figure BDA0002372358840000135
式(5)中，对于真实目标的目标框标号k，
Figure BDA0002372358840000136
是其真实的目标类别，yk是使用Softmax函数进行分类预测的目标类别。
观测估计模块3用于接收深度卷积神经网络特征编码器1输出的深度卷积神经网络特征图、以及目标定位和层级分类模块2输出的目标框的位置和类别，根据深度卷积特征图和目标框的二维位置和类别，直接回归对应目标的连续观测角度α的值，同时在最小化下式(6)表示的观测估计子任务分支的损失函数时，增加目标观测角度α的正弦值sinα和余弦值cosα的平方和角度约束，获得观测角度α。这样能够提高最后观测估计的准确性，进而提高观测角度α估计的准确性。
结合图2，观测估计模块3用于通过同时回归目标的观测角α的正弦值和余弦值，并约束两者的平方和来确定观测角，包括回归连续角度子模块31和角度平方和约束子模块32，其中：
回归连续角度子模块31用于根据目标定位和层级分类模块2输出的目标框所对应的目标所属类别和二维位置，直接回归该目标的连续观测角度α，分别得到观测角度的正弦值sinα和余弦值cosα，从而唯一确定目标的观测角度α。如图4所示，由于角度正弦值和余弦值的周期性，根据某一正弦值l-sinx可以推算出对应的角度
Figure BDA0002372358840000137
和
Figure BDA0002372358840000138
再根据对应的余弦值l-cosx可以得出角度
Figure BDA0002372358840000139
和
Figure BDA00023723588400001310
最后根据正弦值和余弦值确定唯一的角度
Figure BDA00023723588400001311
其中，“回归”指的是“深度学习中的模型参数的映射学习”，输入为深度卷积神经网络特征图、以及所述步骤1得到的目标的二维位置和类别，输出为目标相对自车的观测角度α的正弦值sinα和余弦值cosα，再根据损失函数(6)学习得到最终的输出连续的角度α。
当然，为了获得观测角度α，也可以采用将朝向离散划分，转化为多类分类问题，由于目标朝向角度是连续变化的，这种多类分类会引入离散误差；还可以采用直接回归观测角度α，这种做法没有考虑朝向角度周期性，导致模型训练难收敛。
角度平方和约束子模块32用于在最小化下式(6)表示的观测估计子任务分支的损失函数时，增加目标观测角度的正弦值和余弦值平方和角度约束，减少回归连续角度子模块31单独进行正弦值和余弦值回归产生的误差对最后观测估计结果的影响。具体工作过程如下：
步骤31，设计下式(6)表示的观测估计子任务分支总的损失函数：
Figure BDA0002372358840000141
式(6)中，Lα(Θ)为训练集中所有目标观测估计的损失函数ψk(Θ)的平均值，Θ为模型需要学习的参数，下标k为目标框的标号，为整数，取值范围为0～N，N是训练样本中所有目标框的数量。观测估计子任务分支训练的目的是通过训练样本的学习使总的损失函数Lα(Θ)最小化，当Lα(Θ)最小化时对应的Θ，即为学习到的模型参数，为模型的输出。
步骤32，训练集中所有目标观测估计的损失函数的平均值ψk(Θ)包括正弦值
Figure BDA0002372358840000142
余弦值
Figure BDA0002372358840000143
和角度平方和约束
Figure BDA0002372358840000144
三部分。设计如下：
Figure BDA0002372358840000145
式(7)中，
Figure BDA0002372358840000146
是第k个目标框的观测角的正弦估计值，
Figure BDA0002372358840000147
是第k个目标框的观测角的余弦估计值，sinα*是第k个目标框的观测角的正弦真实值，cosα*是第k个目标框的观测角的余弦真实值，正弦值
Figure BDA0002372358840000148
和余弦值
Figure BDA0002372358840000149
采用的是L1范数损失(最小绝对值偏差)，角度平方和约束项
Figure BDA00023723588400001410
采用的是L2范数损失(最小平方误差)。
由于观测角的正弦值和余弦值在回归连续角度子模块31中被分别单独估计，在现有模型中两者并没有显式的约束条件，故在观测估计总体损失函数中增加了平方和约束项
Figure BDA0002372358840000151
用来约束
Figure BDA0002372358840000152
趋向于1，从而避免最小化某一分支部分的误差(如正弦值
Figure BDA0002372358840000153
和余弦值
Figure BDA0002372358840000154
两部分)带来的对最终的目标观测估计结果的影响。
航向角计算模块其用于根据上述各实施例中获得的所述观测角度α，利用式(1)计算得到目标的航向角
Figure BDA0002372358840000155
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种车载视觉实时多目标航向角估计方法，其特征在于，包括：
步骤1，采用离线数据集事先训练好的单阶段二维目标检测模型YOLOv3提取输入的单目单帧图像的深度卷积神经网络特征图；
步骤2，在所述步骤1提取得到的深度卷积神经网络特征图上进行二维目标的优化定位，并对车辆、行人和骑车人三类交通道路参与者多目标进行分类优化，输出目标框所对应目标的二维位置和类别；
步骤3，根据所述步骤1提取得到的深度卷积神经网络特征图、以及所述步骤1得到的目标的二维位置和类别，通过直接回归该目标的连续观测角度α，分别得到观测角度α的正弦值sinα和余弦值cosα，考虑角度的周期性同时平方和约束正弦值sinα和余弦值cosα，最终获得目标相对自车的观测角度α的唯一确定值，目标相对自车的观测角度α为目标的运动方向
Figure FDA0003815919850000011
与横轴x’的正方向之间的夹角，x’轴在水平面内与z’轴相垂直，正方向为自车前进方向的右侧方向；z’轴是自车的几何中心O与目标的几何中心O’之间的连线，正方向为自车指向目标的方向；
步骤4，根据步骤3获得的观测角度α，利用下式(1)计算得到目标的航向角
Figure FDA0003815919850000012
Figure FDA0003815919850000013
式(1)中，x3d为目标框在世界坐标系中的横向位置，z3d为目标框在世界坐标系中的纵向位置。
2.如权利要求1所述的车载视觉实时多目标航向角估计方法，其特征在于，所述步骤2具体包括：
根据所述深度卷积神经网络特征图，获得每一个真实目标附近同时检测出的多个可能目标框；
根据每一个所述可能目标框与基准目标框的重叠率，从每一个真实目标的多个可能目标框中筛选出重叠率最高的目标框，作为对应目标的最终目标框，并依据最终目标框所对应的目标定位信息，该目标定位信息包括目标的二维位置；
根据所述最终目标框对应的目标定位信息中的置信度，采用层级分类策略预测目标所属大类和小类的条件概率，通过将该置信度、所属大类的条件概率和小类的条件概率相乘获得的乘积，作为目标所属小类的绝对概率。
3.如权利要求2所述的车载视觉实时多目标航向角估计方法，其特征在于，采用层级分类策略预测目标所属大类的方法包括：
步骤21，根据所述的深度卷积神经网络特征图和目标定位信息中的最终目标框的几何中心在图像坐标系中的横纵坐标位置和置信度，该置信度为第一层动态目标节点的绝对概率Pr(Object)，辨识该目标框所对应的目标是否属于车辆、行人和骑车人三类动态目标(Object)，如果是，则将该目标框以外的图像部分视为背景；
步骤22，在动态目标(Object)中合并类间差距小的目标类别，并辨识出合并后得到目标类别是否属于人(Person)大类或车辆(Car)大类，并输出第二层目标的条件概率，其中，如果辨识结果属于人(Person)大类，则第二层目标的条件概率为人节点的条件概率Pr(Person|Object)；如果辨识结果属于车辆(Car)类，则所述第二层目标的条件概率为车节点的条件概率Pr(Car|Object)。
4.如权利要求2所述的车载视觉实时多目标航向角估计方法，其特征在于，步骤22获得二层目标的条件概率为人节点的条件概率Pr(Person|Object)的情形下，采用层级分类策略预测目标所属小类的方法包括：
步骤23，在人(Person)大类下辨识目标类别是否属于行人(Pedestrian)小类或骑车人(Cyclist)小类，并输出第三层目标的条件概率，该第三层目标的条件概率包括行人节点的条件概率Pr(Pedestrian|Person)和骑车人节点的条件概率Pr(Cyclist|Person)；
步骤24，根据步骤21提供的第一层的绝对概率Pr(Object)、步骤22输出第二层目标的条件概率Pr(Person|Object)和步骤23输出的第三层目标的条件概率，利用下式(2)计算第三层的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)，利用公式(3)计算第三层的骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)；
Figure FDA0003815919850000021
Figure FDA0003815919850000031
步骤25，比较步骤24计算得到的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)和骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)，如果Pr(Cyclist)大于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为骑车人(Cyclist)小类；如果Pr(Cyclist)小于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为行人(Pedestrian)小类。
5.如权利要求1至4中任一项所述的车载视觉实时多目标航向角估计方法，其特征在于，所述步骤3中平方和约束正弦值sinα和余弦值cosα具体包括：
步骤31，设计下式(6)表示的观测估计子任务分支总的损失函数：
Figure FDA0003815919850000032
式(6)中，Lα(Θ)为训练集中所有目标观测估计的损失函数ψk(Θ)的平均值，Θ为模型需要学习的参数，下标k为目标框的标号，为整数，取值范围为0～N，N是训练样本中所有目标框的数量；观测估计子任务分支训练的目的是通过训练样本的学习使总的损失函数Lα(Θ)最小化，当Lα(Θ)最小化时对应的Θ，即为学习到的模型参数，为模型的输出；
步骤32，训练集中所有目标观测估计的损失函数的平均值ψk(Θ)包括正弦值
Figure FDA0003815919850000033
余弦值
Figure FDA0003815919850000034
和角度平方和约束
Figure FDA0003815919850000035
三部分，设计如下：
Figure FDA0003815919850000036
式(7)中，
Figure FDA0003815919850000037
是第k个目标框的观测角的正弦估计值，
Figure FDA0003815919850000038
是第k个目标框的观测角的余弦估计值，sinα*是第k个目标框的观测角的正弦真实值，cosα*是第k个目标框的观测角的余弦真实值，正弦值
Figure FDA0003815919850000039
和余弦值
Figure FDA00038159198500000310
采用L1范数损失，角度平方和约束项
Figure FDA00038159198500000311
采用L2范数损失。
6.一种车载视觉实时多目标航向角估计装置，其特征在于，包括：
深度卷积神经网络特征编码器，其为离线数据集事先训练好的单阶段二维目标检测模型YOLOv3，用于提取输入的单目单帧图像的深度卷积神经网络特征图；
目标定位和层级分类模块，其用于在所述深度卷积神经网络特征图上进行二维目标的优化定位，并对车辆、行人和骑车人三类交通道路参与者多目标进行分类优化，输出目标框所对应目标的二维位置和类别；
观测估计模块，其用于根据所述深度卷积神经网络特征图、以及目标的二维位置和类别，通过直接回归该目标的连续观测角度α，分别得到观测角度α的正弦值sinα和余弦值cosα，考虑角度的周期性同时平方和约束正弦值sinα和余弦值cosα，最终获得目标相对自车的观测角度α的唯一确定值，目标相对自车的观测角度α为目标的运动方向
Figure FDA0003815919850000041
与横轴x’的正方向之间的夹角，x’轴在水平面内与z’轴相垂直，正方向为自车前进方向的右侧方向；z’轴是自车的几何中心O与目标的几何中心O’之间的连线，正方向为自车指向目标的方向；
航向角计算模块，其用于根据所述观测角度α，利用下式(1)计算得到目标的航向角
Figure FDA0003815919850000042
Figure FDA0003815919850000043
式(1)中，x3d为目标框在世界坐标系中的横向位置，z3d为目标框在世界坐标系中的纵向位置。
7.如权利要求6所述的车载视觉实时多目标航向角估计装置，其特征在于，所述目标定位和层级分类模块具体包括：
初选子模块，其用于根据所述深度卷积神经网络特征图，获得每一个真实目标附近同时检测出的多个可能目标框；
定位优化子模块，其用于根据每一个所述可能目标框与基准目标框的重叠率，从每一个真实目标的多个可能目标框中筛选出重叠率最高的目标框，作为对应目标的最终目标框，并依据最终目标框所对应的目标定位信息，该目标定位信息包括目标的二维位置；
层级分类子模块，其用于根据所述最终目标框对应的目标定位信息中的置信度，采用层级分类策略预测目标所属大类和小类的条件概率，通过将该置信度、所属大类的条件概率和小类的条件概率相乘获得的乘积，作为目标所属小类的绝对概率。
8.如权利要求7所述的车载视觉实时多目标航向角估计装置，其特征在于，采用层级分类策略预测目标所属大类的方法包括：
步骤21，根据所述的深度卷积神经网络特征图和目标定位信息中的最终目标框的几何中心在图像坐标系中的横纵坐标位置和置信度，该置信度为第一层动态目标节点的绝对概率Pr(Object)，辨识该目标框所对应的目标是否属于车辆、行人和骑车人三类动态目标(Object)，如果是，则将该目标框以外的图像部分视为背景；
步骤22，在动态目标(Object)中合并类间差距小的目标类别，并辨识出合并后得到目标类别是否属于人(Person)大类或车辆(Car)大类，并输出第二层目标的条件概率，其中，如果辨识结果属于人(Person)大类，则第二层目标的条件概率为人节点的条件概率Pr(Person|Object)；如果辨识结果属于车辆(Car)类，则所述第二层目标的条件概率为车节点的条件概率Pr(Car|Object)。
9.如权利要求7所述的车载视觉实时多目标航向角估计装置，其特征在于，步骤22获得二层目标的条件概率为人节点的条件概率Pr(Person|Object)的情形下，采用层级分类策略预测目标所属小类的方法包括：
步骤23，在人(Person)大类下辨识目标类别是否属于行人(Pedestrian)小类或骑车人(Cyclist)小类，并输出第三层目标的条件概率，该第三层目标的条件概率包括行人节点的条件概率Pr(Pedestrian|Person)和骑车人节点的条件概率Pr(Cyclist|Person)；
步骤24，根据步骤21提供的第一层的绝对概率Pr(Object)、步骤22输出第二层目标的条件概率Pr(Person|Object)和步骤23输出的第三层目标的条件概率，利用下式(2)计算第三层的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)，利用公式(3)计算第三层的骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)；
Figure FDA0003815919850000051
Figure FDA0003815919850000061
步骤25，比较步骤24计算得到的行人(Pedestrian)小类对应的绝对概率Pr(Cyclist)和骑车人(Cyclist)小类对应的绝对概率Pr(Pedestrian)，如果Pr(Cyclist)大于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为骑车人(Cyclist)小类；如果Pr(Cyclist)小于Pr(Pedestrian)，则最终目标框所对应的目标所属类别为行人(Pedestrian)小类。
10.如权利要求6至9中任一项所述的车载视觉实时多目标航向角估计装置，其特征在于，所述观测估计模块中平方和约束正弦值sinα和余弦值cosα具体包括：
步骤31，设计下式(6)表示的观测估计子任务分支总的损失函数：
Figure FDA0003815919850000062
式(6)中，Lα(Θ)为训练集中所有目标观测估计的损失函数ψk(Θ)的平均值，Θ为模型需要学习的参数，下标k为目标框的标号，为整数，取值范围为0～N，N是训练样本中所有目标框的数量；观测估计子任务分支训练的目的是通过训练样本的学习使总的损失函数Lα(Θ)最小化，当Lα(Θ)最小化时对应的Θ，即为学习到的模型参数，为模型的输出；
步骤32，训练集中所有目标观测估计的损失函数的平均值ψk(Θ)包括正弦值
Figure FDA0003815919850000063
余弦值
Figure FDA0003815919850000064
和角度平方和约束
Figure FDA0003815919850000065
三部分，设计如下：
Figure FDA0003815919850000066
式(7)中，
Figure FDA0003815919850000067
是第k个目标框的观测角的正弦估计值，
Figure FDA0003815919850000068
是第k个目标框的观测角的余弦估计值，sinα*是第k个目标框的观测角的正弦真实值，cosα*是第k个目标框的观测角的余弦真实值，正弦值
Figure FDA0003815919850000069
和余弦值
Figure FDA00038159198500000610
采用L1范数损失，角度平方和约束项
Figure FDA00038159198500000611
采用L2范数损失。
CN202010054543.7A 2020-01-17 2020-01-17 一种车载视觉实时多目标航向角估计方法及装置 Active CN111291786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010054543.7A CN111291786B (zh) 2020-01-17 2020-01-17 一种车载视觉实时多目标航向角估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010054543.7A CN111291786B (zh) 2020-01-17 2020-01-17 一种车载视觉实时多目标航向角估计方法及装置

Publications (2)

Publication Number Publication Date
CN111291786A CN111291786A (zh) 2020-06-16
CN111291786B true CN111291786B (zh) 2022-10-25

Family

ID=71030822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010054543.7A Active CN111291786B (zh) 2020-01-17 2020-01-17 一种车载视觉实时多目标航向角估计方法及装置

Country Status (1)

Country Link
CN (1) CN111291786B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860274B (zh) * 2020-07-14 2023-04-07 清华大学 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN112710982B (zh) * 2020-11-25 2023-04-14 西北工业大学 一种天线阵列波达角估计方法、***、介质、设备及应用
CN112800873A (zh) * 2021-01-14 2021-05-14 知行汽车科技（苏州）有限公司 确定目标方向角的方法、装置、***及存储介质
CN113468993B (zh) * 2021-06-21 2022-08-26 天津大学 一种基于深度学习的遥感图像目标检测方法
CN114758058A (zh) * 2022-03-01 2022-07-15 深圳市小秤砣科技有限公司 3d模型评分方法、装置、设备及存储介质
CN114582132B (zh) * 2022-05-05 2022-08-09 四川九通智路科技有限公司 一种基于机器视觉的车辆碰撞检测预警***及方法
CN115979205A (zh) * 2023-03-13 2023-04-18 安徽蔚来智驾科技有限公司 目标航向角检测方法、计算机可读存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105223583A (zh) * 2015-09-10 2016-01-06 清华大学 一种基于三维激光雷达的目标车辆航向角计算方法
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
CN109241856A (zh) * 2018-08-13 2019-01-18 浙江零跑科技有限公司 一种单目车载视觉***立体目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9989964B2 (en) * 2016-11-03 2018-06-05 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling vehicle using neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105223583A (zh) * 2015-09-10 2016-01-06 清华大学 一种基于三维激光雷达的目标车辆航向角计算方法
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
CN109241856A (zh) * 2018-08-13 2019-01-18 浙江零跑科技有限公司 一种单目车载视觉***立体目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Continuous Pedestrian Orientation Estimation using Human Keypoints;Dameng Yu等;《2019 IEEE International Symposium on Circuits and Systems(ISCAS)》;20190501;第1-5页 *
Laser scanner based heading angle and distance estimation;Danilo Caceres Hernandez等;《2015 IEEE International Confernce on Induserial Technology(ICIT)》;20150618;第1718-1722页 *
Soft-NMS—Improving object detection with one line of code;N. Bodla等;《Proc.IEEE Int.Conf.Comput.Vis.(ICCV)》;20171031;第5561–5569页 *
基于三维激光雷达的智能车辆目标参数辨识;王肖等;《汽车工程》;20160925;第38卷(第09期);第1146-1152页 *
基于改进YOLOv3网络的无人车夜间环境感知;裴嘉欣等;《应用光学》;20190515;第40卷(第03期);第380-386页 *

Also Published As

Publication number Publication date
CN111291786A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111291786B (zh) 一种车载视觉实时多目标航向角估计方法及装置
CN107609522B (zh) 一种基于激光雷达和机器视觉的信息融合车辆检测***
CN111310574B (zh) 一种车载视觉实时多目标多任务联合感知方法和装置
CN104636763B (zh) 一种基于无人驾驶车的道路与障碍物检测方法
Sato et al. Multilayer lidar-based pedestrian tracking in urban environments
US20190034730A1 (en) Systems and methods for providing vehicle cognition
CN105866790B (zh) 一种考虑激光发射强度的激光雷达障碍物识别方法及***
Bertozzi et al. Obstacle detection and classification fusing radar and vision
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
US11697412B2 (en) Collision monitoring using statistic models
Rabe et al. Fast detection of moving objects in complex scenarios
US11648939B2 (en) Collision monitoring using system data
CN116685874A (zh) 摄像机-激光雷达融合对象检测***和方法
CN114565900A (zh) 基于改进YOLOv5和双目立体视觉的目标检测方法
Fei et al. SemanticVoxels: Sequential fusion for 3D pedestrian detection using LiDAR point cloud and semantic segmentation
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
EP3710985A1 (en) Detecting static parts of a scene
CN113592905B (zh) 基于单目摄像头的车辆行驶轨迹预测方法
Binelli et al. A modular tracking system for far infrared pedestrian recognition
CN116830164A (zh) LiDAR去相关对象检测***与方法
CN108021899A (zh) 基于双目相机的车载智能前车防撞预警方法
CN111292366A (zh) 一种基于深度学习和边缘计算的视觉行车测距算法
CN117274749B (zh) 一种基于4d毫米波雷达和图像的融合3d目标检测方法
Zinoune et al. Detection of missing roundabouts in maps for driving assistance systems
CN114359861B (zh) 基于视觉和激光雷达的智能车辆障碍物识别深度学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant