CN111754816A - 一种移动物体意图识别方法、***、终端和存储介质 - Google Patents

一种移动物体意图识别方法、***、终端和存储介质 Download PDF

Info

Publication number
CN111754816A
CN111754816A CN202010499374.8A CN202010499374A CN111754816A CN 111754816 A CN111754816 A CN 111754816A CN 202010499374 A CN202010499374 A CN 202010499374A CN 111754816 A CN111754816 A CN 111754816A
Authority
CN
China
Prior art keywords
intention
moving object
layer
field moving
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010499374.8A
Other languages
English (en)
Other versions
CN111754816B (zh
Inventor
余恒
王凡
唐锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zongmu Technology Shanghai Co Ltd
Original Assignee
Zongmu Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zongmu Technology Shanghai Co Ltd filed Critical Zongmu Technology Shanghai Co Ltd
Priority to CN202010499374.8A priority Critical patent/CN111754816B/zh
Publication of CN111754816A publication Critical patent/CN111754816A/zh
Application granted granted Critical
Publication of CN111754816B publication Critical patent/CN111754816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种移动物体意图识别方法、***、终端和存储介质，以检测交通拥堵场景中移动物体，识别进场移动物体在下一时刻的驾驶意图，判断近场移动物体切入主体规划路径导致碰撞的概率，进而在适当的时间点给予驾驶员相应的夹塞意图提示，或者根据夹塞意图判断的结果选择合适的避让反应，或者重新迭代自身行驶路径。本发明不仅可以判断夹塞意图，还可以预判断包括车辆前方夹塞意图、车辆前方的变道意图、车辆左侧、右侧的超车意图、车辆后方的变道意图，为L4等级以及L5等级的无人驾驶近场车辆行为预测提供了先决条件。

Description

一种移动物体意图识别方法、***、终端和存储介质
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种移动物体意图识别方法、***、终端和存储介质。
背景技术
安全是拉动无人驾驶车需求增长的主要因素。特别是在交通拥堵、情景复杂的中国交通环境下，每年由于驾驶员们对于近场切入物意图误判断而致使的交通事故不计其数。
而现有的高级辅助驾驶***也是基于传感器的实时感知作出相应的判断，这种判断具有一定的延后性。正是由于这种延后性使现有的高级辅助驾驶***无法在适当的时间点给予驾驶员相应的意图提示，或者根据意图判断的结果选择合适的避让反应，或者重新迭代自身行驶路径。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种移动物体意图识别方法、***、终端和存储介质，以检测交通拥堵场景中移动物体，识别进场移动物体在下一时刻的驾驶意图，判断近场移动物体切入主体规划路径导致碰撞的概率，进而在适当的时间点给予驾驶员相应的夹塞意图提示，或者根据加塞意图判断的结果选择合适的避让反应，或者重新迭代自身行驶路径。本发明不仅可以判断夹塞意图，还可以预判断包括车辆前方夹塞意图、车辆前方的变道意图、车辆左侧、右侧的超车意图、车辆后方的变道意图等多种意图，为L4等级以及L5等级的无人驾驶近场车辆行为预测提供了先决条件。
一种移动物体意图识别网络模型，包括：
意图预测模块和意图判断模块；
所述意图预测模块包括输入层、输出层和至少一个神经元细胞层组成的递归神经网络，所述输入层的输入要素为表征近场移动物体行驶状态的各个维度信息；所述输出层的输出要素为各个近场移动物体意图预测结果的概率；
所述意图判断模块以意图预测模块输出的结果结合包括但不限于车辆行驶状态、车辆所在场景的行驶规则要素、安全级别设定要素，通过算法处理识别近场移动物体的特定意图。
进一步地，所述输入层输入各个表征近场移动物体行驶状态的输入要素均是时序数据，即在不同时间点上收集到的输入层数据，输入层时序数据反映了近场移动物体的行驶状态随时间的变化状态和/或程度。
进一步地，所述输入层输入要素包括但不限于车辆各个方向的摄像头感知数据、车辆各个方向的毫米波雷达感知数据、车辆各个方向的超声波感知数据、车辆激光雷达感知数据以及其一类或多类数据的融合校正结果所表征车辆近场移动物体的数据簇。
进一步地，所述输出层输出要素为各个近场移动物体是否会在下一时刻意图夹塞的概率，所述输出层将各个近场移动物体编号，并将每个近场移动物体下一时刻意图夹塞的概率值以矩阵的形式输出。
进一步地，所述递归神经网络为深度递归神经网络。
进一步地，所述深度递归神经网络包括n个神经元细胞层，即自输入层至输出层分别标记为第一神经元细胞层、第二神经元细胞层…第n神经元细胞层，所述第一神经元细胞层的输入包括本时刻车辆近场移动物体的数据簇以及该第一神经元细胞层上一时刻的细胞记忆数据，所述第二神经元细胞层的输入为第一神经元细胞层的输出结果以及第二神经元细胞层上一时刻的细胞记忆数据，所述第n神经元细胞层的输入为第n-1层神经元细胞层的输出结果与第n神经元细胞层上一时刻的细胞记忆数据，所述第n神经元细胞层的输出为各个近场移动物体意图预测结果的概率，所述第一神经元细胞层、第二神经元细胞层、…第n神经元细胞层之间并行训练各个分支模型，并将并行训练结果聚合并同步和/或异步更新模型参数并应用在各个分支模型中。
进一步地，所述神经元细胞层的工作原理为：神经元细胞层就像常规存储单元细胞，它输入层、具有自循环连接的存储单元、遗忘门和输出层；输入层可以允许传入信号改变细胞记忆的状态或阻止它。另一方面，输入层可以允许细胞记忆的状态对其他神经元产生影响或阻止它。包括但是它的状态被分成两个载体：h(t)和c(t)(“c”代表“细胞”)，h(t)视为短期状态，它表示来自下一层神经元细胞的输入，c(t)视为长期状态，是表示上一时刻神经元细胞的记忆，它可以从一个时间步骤持续到另一个时间。递归神经网络可以学习存储内容的长期状态，即细胞记忆可以通过神经元细胞层的遗忘门和/或记忆门选择调节细胞记忆(即存储单元)自身与外在环境之间的相互作用。作为长期的状态c(t-1)从左到右遍历网络，它首先通过一个忘记门，丢掉一些上一时刻的存储细胞记忆，然后增加了一些当前时刻新的细胞记忆加法运算(添加由输入门选择的存储器)。所以，在连续的时间轴内，每次一次输入层的输入均会有一些记忆被丢弃，一些记忆被添加。而且，之后加法运算，复制长期状态并通过tanh函数(即g(t))传递，然后结果由输出层过滤。这产生了短期状态h(t)。
进一步地，所述神经元细胞层的全连接层的作用是：将当前输入层的输入向量x(t)和先前的短期状态h(t-1)馈送到四个不同的完全连接层。四个完全连接层都有不同的用途：第二全连接层是输出g(t)的层。它具有分析电流输入x(t)和前一个(短期)状态h(t-1)的作用。在常规递归神经网络的细胞层中，它的输出直接输出到y(t)和h(t)。在长期记忆神经网络(LSTM)中，此h(t)的输出不会直接输出，而是直接输出部分存储在长期状态。第一全连接层、第三全连接层、第四全连接层均是门控制器。因为他们使用后勤激活功能，它们的输出范围从0到1。它们的输出被馈送到乘法运算部分，所以如果它们输出0，它们会关闭门，如果他们输出1，他们打开门。第一全连接层控制的遗忘门(由f(t)控制)控制长期状态的哪个部分应该遗忘。第三全连接层控制的输入门(由i(t)控制)控制应添加第二全连接层控制的g(t)的哪个部分到了长期状态。最后，第四全连接层的输出门(由o(t)控制)控制长期的哪些部分应该在此时间步骤(从h(t))和y(t)读取和输出状态。综上所述，长期记忆神经网络单元依靠输入门的作用可以学习识别重要输入，并将其存储在长期状态，依照遗忘门的作用遗忘不必要的部分，记住必要的部分，并且学会在需要时提取它。它们可以运用在捕捉时间序列，长文本，录音，连续视频帧中输入层的输入向量x(t)的感兴趣的部分。
进一步地，所述意图判断模块判断的特定意图包括但不限于车辆前方夹塞意图、车辆前方的变道意图、车辆左侧、右侧的超车意图、车辆后方的变道意图。
进一步地，所述意图判断模块结合车辆行驶状态时，车辆行驶状态包括当前时刻目标车辆与本车辆之间的相对位置、目标车辆的速度、目标车辆的加速度、目标车辆的航向角；目标车辆当前时刻之前的连续时间段内目标车辆与本车辆之间的相对位置、目标车辆的速度、目标车辆的加速度、目标车辆的航向角。
进一步地，所述意图判断模块结合车辆所在场景的行驶规则要素时，所述车辆所在场景的行驶规则要素包括当前场景中限速规则、当前场景地图中道路交通规则数据包、当前场景地图中虚拟设置的模拟交通规则数据包、当前场景地图历史交通记录记载、当前场景地图历史交通记录以天气、环境改变而记录的记载。
进一步地，所述意图判断模块结合安全级别设定要素时，所述安全级别设定要素为当前场景地图在历史记录中采纳意图识别而做出的车辆路线规划导致交通事故的记录，若有该记录，则该场景下车辆意图识别的可信度降低，若无该记录，则该场景下车辆意图识别的可信度提高。
进一步地，所述意图判断模块通过算法处理识别近场移动物体的特定意图时，以车辆所在场景的行驶规则要素、安全级别设定要素修正意图预测模块预测的概率，再将修正后的概率选取超过设定额定告警概率的部分显示。
一种移动物体意图识别方法，包括以下步骤：
S01：获取感知数据，识别感知数据中的近场移动物体，并给予每个近场移动物体对应的标签；以不同维度提取近场移动物体行驶状态；
S02：以各个表征近场移动物体行驶状态的维度为输入，输入意图识别网络模型，意图识别网络模型输出各个近场移动物体意图预测结果的概率；
S03：将各个近场移动物体意图预测结果的概率结合包括但不限于车辆行驶状态、车辆所在场景的行驶规则要素、安全级别设定要素，通过算法处理识别近场移动物体中特定意图的近场移动物体标签。
进一步地，还包括步骤S04：将特定意图的近场移动物体以包括但不限于图像标注、语音提示的方式传递给驾驶员。
进一步地，所述步骤S01中还包括步骤S011：将多维度近场移动物体行驶状态归集于该近场移动物体的标签下形成关于该近场移动物体的数据簇。
进一步地，所述步骤S02中还包括步骤S021：给数据簇中的数据按照表征维度分类，并再将输入意图识别网络模型。
一种移动物体意图识别***，包括以下部分：
感知设备，所述感知设备包括视频感知设备、激光雷达感知设备、毫米波感知设备、超声波感知设备中的一种或几种；
感知数据预处理模块，所述感知数据预处理模块包括图像处理模块、毫米波处理模块、超声波处理模块、激光雷达处理模块；所述图像处理模块包括用于给视频感知数据提取预选框的统一神经网络以及筛选感兴趣区域的神经网络；所述毫米波处理模块、超声波处理模块、激光雷达处理模块用于提取近场移动物体的运动轨迹特征；
意图预测模块，所述意图预测模块包括输入层、输出层和至少一个神经元细胞层组成的递归神经网络，所述输入层的输入要素为感知数据预处理模块的输出数据，即表征近场移动物体行驶状态的各个维度信息；所述输出层的输出要素为各个近场移动物体意图预测结果的概率；
意图判断模块，所述意图判断模块以意图预测模块输出的结果结合包括但不限于车辆行驶状态、车辆所在场景的行驶规则要素、安全级别设定要素，通过算法处理识别近场移动物体的特定意图。
进一步地，所述感知数据预处理模块还包括数据融合模块，所述数据融合模块用于修正、融合用于表征各个近场移动物体运行状态的数据。
进一步地，所述感知数据预处理模块中的图像处理模块，对于摄像头采集的原始视频数据，结合深度学习和光流场的算法，通过统一卷积神经网络进行特征提取和预处理。
进一步地，所述感知数据预处理模块中的毫米波处理模块、超声波处理模块、激光雷达处理模块，对于毫米波、超声波、激光雷达获取的数据，需要先经过对应传感器厂商提供的解码和聚类等处理，输出是物体追踪和检测的结果，再经过时域处理神经网络进行解码，提取其他障碍物的运动轨迹特征。
进一步地，所述图像处理模块和毫米波处理模块、超声波处理模块、激光雷达处理模块经过预处理之后提取的特征部分统一输入给时域递归神经网络(LSTM NN)进行综合的决策处理。
一种终端设备，如可以执行上述移动物体意图识别方法程序的智能手机或可以执行上述移动物体意图识别方法程序的车载终端控制设备。
一种服务器，所述服务器包括用于实现上述移动物体意图识别方法和/或移动物体意图识别***。
一种计算机存储介质，所述计算机存储介质用于存储上述移动物体意图识别方法所对应的软件程序和/或移动物体意图识别***。
如上所述，本发明的具有以下有益效果：
以检测交通拥堵场景中移动物体，识别进场移动物体在下一时刻的驾驶意图，判断近场移动物体切入主体规划路径导致碰撞的概率，进而在适当的时间点给予驾驶员相应的夹塞意图提示，或者根据加塞意图判断的结果选择合适的避让反应，或者重新迭代自身行驶路径。本发明不仅可以判断夹塞意图，还可以预判断包括车辆前方夹塞意图、车辆前方的变道意图、车辆左侧、右侧的超车意图、车辆后方的变道意图等多种意图。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明神经元细胞层的示意图。
图2显示为本发明深度循环神经网络的示意图。
图3显示为本发明深度循环神经网络训练的示意图。
图4显示为意图预测模块和意图判断模块的示意图。
图5显示为本发明的流程图。
图6显示为本发明另一实施例的流程图。
图7显示为移动物体意图识别***处理过程的流程图。
图8显示为车辆切入时夹塞意图识别的场景示意图。
图9显示为车辆切入夹塞结束时意图识别的场景示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图4，
一种移动物体意图识别网络模型，包括：
意图预测模块和意图判断模块；
所述意图预测模块包括输入层、输出层和至少一个神经元细胞层组成的递归神经网络，所述输入层的输入要素为表征近场移动物体行驶状态的各个维度信息；所述输出层的输出要素为各个近场移动物体意图预测结果的概率；
所述意图判断模块以意图预测模块输出的结果结合包括但不限于车辆行驶状态、车辆所在场景的行驶规则要素、安全级别设定要素，通过算法处理识别近场移动物体的特定意图。
作为优选实施例，所述输入层输入各个表征近场移动物体行驶状态的输入要素均是时序数据，即在不同时间点上收集到的输入层数据，输入层时序数据反映了近场移动物体的行驶状态随时间的变化状态和/或程度。
作为优选实施例，所述输入层输入要素包括但不限于车辆各个方向的摄像头感知数据、车辆各个方向的毫米波雷达感知数据、车辆各个方向的超声波感知数据、车辆激光雷达感知数据以及其一类或多类数据的融合校正结果所表征车辆近场移动物体的数据簇。
作为优选实施例，所述输出层输出要素为各个近场移动物体是否会在下一时刻意图夹塞的概率，所述输出层将各个近场移动物体编号，并将每个近场移动物体下一时刻意图夹塞的概率值以矩阵的形式输出。
作为优选实施例，所述递归神经网络为深度递归神经网络。
作为优选实施例，所述深度递归神经网络包括n个神经元细胞层，即自输入层至输出层分别标记为第一神经元细胞层、第二神经元细胞层…第n神经元细胞层，所述第一神经元细胞层的输入包括本时刻车辆近场移动物体的数据簇以及该第一神经元细胞层上一时刻的细胞记忆数据，所述第二神经元细胞层的输入为第一神经元细胞层的输出结果以及第二神经元细胞层上一时刻的细胞记忆数据，所述第n神经元细胞层的输入为第n-1层神经元细胞层的输出结果与第n神经元细胞层上一时刻的细胞记忆数据，所述第n神经元细胞层的输出为各个近场移动物体意图预测结果的概率。参见图3，所述第一神经元细胞层、第二神经元细胞层、…第n神经元细胞层之间并行训练各个分支模型，并将并行训练结果聚合并同步和/或异步更新模型参数并应用在各个分支模型中。第一神经元细胞层的神经网络、第二神经元细胞层的神经网络、第三神经元细胞层的神经网络对应A、B、C三个并行分支部分，其网络模型训练部分是如图3所示的，各个神经元细胞层之间并行训练各个分支，再经过聚合渐变、更新、同步/异步至网络模型中。
参见图1，作为优选实施例，所述神经元细胞层的工作原理为：神经元细胞层就像常规存储单元细胞，它输入层、具有自循环连接的存储单元、遗忘门和输出层；输入层可以允许传入信号改变细胞记忆的状态或阻止它。另一方面，输入层可以允许细胞记忆的状态对其他神经元产生影响或阻止它。包括但是它的状态被分成两个载体：h(t)和c(t)(“c”代表“细胞”)，h(t)视为短期状态，它表示来自下一层神经元细胞的输入，c(t)视为长期状态，是表示上一时刻神经元细胞的记忆，它可以从一个时间步骤持续到另一个时间。递归神经网络可以学习存储内容的长期状态，即细胞记忆可以通过神经元细胞层的遗忘门和/或记忆门选择调节细胞记忆(即存储单元)自身与外在环境之间的相互作用。作为长期的状态c(t-1)从左到右遍历网络，它首先通过一个忘记门，丢掉一些上一时刻的存储细胞记忆，然后增加了一些当前时刻新的细胞记忆加法运算(添加由输入门选择的存储器)。所以，在连续的时间轴内，每次一次输入层的输入均会有一些记忆被丢弃，一些记忆被添加。而且，之后加法运算，复制长期状态并通过tanh函数(即g(t))传递，然后结果由输出层过滤。这产生了短期状态h(t)。
参见图1～图2，作为优选实施例，所述神经元细胞层的全连接层的作用是：将当前输入层的输入向量x(t)和先前的短期状态h(t-1)馈送到四个不同的完全连接层。四个完全连接层都有不同的用途：第二全连接层是输出g(t)的层。它具有分析电流输入x(t)和前一个(短期)状态h(t-1)的作用。在常规递归神经网络的细胞层中，它的输出直接输出到y(t)和h(t)。在长期记忆神经网络(LSTM)中，此h(t)的输出不会直接输出，而是直接输出部分存储在长期状态。第一全连接层、第三全连接层、第四全连接层均是门控制器。因为他们使用后勤激活功能，它们的输出范围从0到1。它们的输出被馈送到乘法运算部分，所以如果它们输出0，它们会关闭门，如果他们输出1，他们打开门。第一全连接层控制的遗忘门(由f(t)控制)控制长期状态的哪个部分应该遗忘。第三全连接层控制的输入门(由i(t)控制)控制应添加第二全连接层控制的g(t)的哪个部分到了长期状态。最后，第四全连接层的输出门(由o(t)控制)控制长期的哪些部分应该在此时间步骤(从h(t))和y(t)读取和输出状态。综上所述，长期记忆神经网络单元依靠输入门的作用可以学习识别重要输入，并将其存储在长期状态，依照遗忘门的作用遗忘不必要的部分，记住必要的部分，并且学会在需要时提取它。它们可以运用在捕捉时间序列，长文本，录音，连续视频帧中输入层的输入向量x(t)的感兴趣的部分。
作为优选实施例，所述意图判断模块判断的特定意图包括但不限于车辆前方夹塞意图、车辆前方的变道意图、车辆左侧、右侧的超车意图、车辆后方的变道意图。
作为优选实施例，所述意图判断模块结合车辆行驶状态时，车辆行驶状态包括当前时刻目标车辆与本车辆之间的相对位置、目标车辆的速度、目标车辆的加速度、目标车辆的航向角；目标车辆当前时刻之前的连续时间段内目标车辆与本车辆之间的相对位置、目标车辆的速度、目标车辆的加速度、目标车辆的航向角。
作为优选实施例，所述意图判断模块结合车辆所在场景的行驶规则要素时，所述车辆所在场景的行驶规则要素包括当前场景中限速规则、当前场景地图中道路交通规则数据包、当前场景地图中虚拟设置的模拟交通规则数据包、当前场景地图历史交通记录记载、当前场景地图历史交通记录以天气、环境改变而记录的记载。
作为优选实施例，所述意图判断模块结合安全级别设定要素时，所述安全级别设定要素为当前场景地图在历史记录中采纳意图识别而做出的车辆路线规划导致交通事故的记录，若有该记录，则该场景下车辆意图识别的可信度降低，若无该记录，则该场景下车辆意图识别的可信度提高。
作为优选实施例，所述意图判断模块通过算法处理识别近场移动物体的特定意图时，以车辆所在场景的行驶规则要素、安全级别设定要素修正意图预测模块预测的概率，再将修正后的概率选取超过设定额定告警概率的部分显示。
参见图5～图7，一种移动物体意图识别方法，包括以下步骤：
S01：获取感知数据，识别感知数据中的近场移动物体，并给予每个近场移动物体对应的标签；以不同维度提取近场移动物体行驶状态；
S02：以各个表征近场移动物体行驶状态的维度为输入，输入意图识别网络模型，意图识别网络模型输出各个近场移动物体意图预测结果的概率；
S03：将各个近场移动物体意图预测结果的概率结合包括但不限于车辆行驶状态、车辆所在场景的行驶规则要素、安全级别设定要素，通过算法处理识别近场移动物体中特定意图的近场移动物体标签。
作为优选实施例，还包括步骤S04：将特定意图的近场移动物体以包括但不限于图像标注、语音提示的方式传递给驾驶员。
作为优选实施例，所述步骤S01中还包括步骤S011：将多维度近场移动物体行驶状态归集于该近场移动物体的标签下形成关于该近场移动物体的数据簇。
作为优选实施例，所述步骤S02中还包括步骤S021：给数据簇中的数据按照表征维度分类，并再将输入意图识别网络模型。
一种移动物体意图识别***，包括以下部分：
感知设备，所述感知设备包括视频感知设备、激光雷达感知设备、毫米波感知设备、超声波感知设备中的一种或几种；
感知数据预处理模块，所述感知数据预处理模块包括图像处理模块、毫米波处理模块、超声波处理模块；所述图像处理模块包括用于给视频感知数据提取预选框的统一神经网络以及筛选感兴趣区域的神经网络；所述毫米波处理模块和超声波处理模块用于获取近场移动物体的速度、加速度；
意图预测模块，所述意图预测模块包括输入层、输出层和至少一个神经元细胞层组成的递归神经网络，所述输入层的输入要素为感知数据预处理模块的输出数据，即表征近场移动物体行驶状态的各个维度信息；所述输出层的输出要素为各个近场移动物体意图预测结果的概率；
意图判断模块，所述意图判断模块以意图预测模块输出的结果结合包括但不限于车辆行驶状态、车辆所在场景的行驶规则要素、安全级别设定要素，通过算法处理识别近场移动物体的特定意图。
作为优选实施例，所述感知数据预处理模块还包括数据融合模块，所述数据融合模块用于修正、融合用于表征各个近场移动物体运行状态的数据。
作为优选实施例，所述感知数据预处理模块中的图像处理模块，对于摄像头采集的原始视频数据，结合深度学习和光流场的算法，通过统一卷积神经网络进行特征提取和预处理。
作为优选实施例，所述感知数据预处理模块中的毫米波处理模块、超声波处理模块、激光雷达处理模块，对于毫米波、超声波、激光雷达获取的数据，需要先经过对应传感器厂商提供的解码和聚类等处理，输出是物体追踪和检测的结果，再经过时域处理神经网络进行解码，提取其他障碍物的运动轨迹特征。
作为优选实施例，所述图像处理模块和毫米波处理模块、超声波处理模块、激光雷达处理模块经过预处理之后提取的特征部分统一输入给时域递归神经网络(LSTM NN)进行综合的决策处理。
参见图8-图9，本发明以检测交通拥堵场景中移动物体，识别进场移动物体在下一时刻的驾驶意图，判断近场移动物体切入主体规划路径导致碰撞的概率，进而在适当的时间点给予驾驶员相应的夹塞意图提示，或者根据加塞意图判断的结果选择合适的避让反应，或者重新迭代自身行驶路径。本发明不仅可以判断夹塞意图，还可以预判断包括车辆前方夹塞意图、车辆前方的变道意图、车辆左侧、右侧的超车意图、车辆后方的变道意图等多种意图，为L4等级以及L5等级的无人驾驶近场车辆行为预测提供了先决条件。
一种终端设备，如可以执行上述移动物体意图识别方法程序的智能手机或可以执行上述移动物体意图识别方法程序的车载终端控制设备。
一种服务器，所述服务器包括用于实现上述移动物体意图识别方法和/或移动物体意图识别***。
一种计算机存储介质，所述计算机存储介质用于存储上述移动物体意图识别方法所对应的软件程序和/或移动物体意图识别***。
作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于：可通过***总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的移动物体意图识别方法实施更多或者更少的组件。
作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作***和各类应用软件，例如实施例中的移动物体意图识别方法程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的移动物体意图识别方法中的步骤。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储移动物体意图识别方法程序，被处理器执行时实现移动物体意图识别方法实施例中的移动物体意图识别方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种移动物体意图识别网络模型，其特征在于，包括：
意图预测模块和意图判断模块；
所述意图预测模块包括输入层、输出层和至少一个神经元细胞层组成的递归神经网络，所述输入层的输入要素为表征近场移动物体行驶状态的各个维度信息；所述输出层的输出要素为各个近场移动物体意图预测结果的概率；
所述意图判断模块以意图预测模块输出的结果结合包括但不限于车辆行驶状态、车辆所在场景的行驶规则要素、安全级别设定要素，通过算法处理识别近场移动物体的特定意图。
2.根据权利要求1所述的移动物体意图识别网络模型，其特征在于，所述输入层输入各个表征近场移动物体行驶状态的输入要素均是时序数据，即在不同时间点上收集到的输入层数据，输入层时序数据反映了近场移动物体的行驶状态随时间的变化状态和/或程度。
3.根据权利要求1所述的移动物体意图识别网络模型，其特征在于，所述输出层输出要素为各个近场移动物体是否会在下一时刻意图夹塞的概率，所述输出层将各个近场移动物体编号，并将每个近场移动物体下一时刻意图夹塞的概率值以矩阵的形式输出。
4.根据权利要求1所述的移动物体意图识别网络模型，其特征在于，所述递归神经网络为深度递归神经网络，所述深度递归神经网络包括n个神经元细胞层，即自输入层至输出层分别标记为第一神经元细胞层、第二神经元细胞层…第n神经元细胞层，所述第一神经元细胞层的输入包括本时刻车辆近场移动物体的数据簇以及该第一神经元细胞层上一时刻的细胞记忆数据，所述第二神经元细胞层的输入为第一神经元细胞层的输出结果以及第二神经元细胞层上一时刻的细胞记忆数据，所述第n神经元细胞层的输入为第n-1层神经元细胞层的输出结果与第n神经元细胞层上一时刻的细胞记忆数据，所述第n神经元细胞层的输出为各个近场移动物体意图预测结果的概率。
5.一种移动物体意图识别方法，其特征在于，包括以下步骤：
S01：获取感知数据，识别感知数据中的近场移动物体，并给予每个近场移动物体对应的标签；以不同维度提取近场移动物体行驶状态；
S02：以各个表征近场移动物体行驶状态的维度为输入，输入意图识别网络模型，意图识别网络模型输出各个近场移动物体意图预测结果的概率；
S03：将各个近场移动物体意图预测结果的概率结合包括但不限于车辆行驶状态、车辆所在场景的行驶规则要素、安全级别设定要素，通过算法处理识别近场移动物体中特定意图的近场移动物体标签。
6.根据权利要求5所述的移动物体意图识别方法，其特征在于，还包括步骤S04：将特定意图的近场移动物体以包括但不限于图像标注、语音提示的方式传递给驾驶员。
7.根据权利要求6所述的移动物体意图识别方法，其特征在于，所述步骤S01中还包括步骤S011：将多维度近场移动物体行驶状态归集于该近场移动物体的标签下形成关于该近场移动物体的数据簇；所述步骤S02中还包括步骤S021：给数据簇中的数据按照表征维度分类，并再将输入意图识别网络模型。
8.一种移动物体意图识别***，其特征在于，包括以下部分：
感知设备，所述感知设备包括视频感知设备、激光雷达感知设备、毫米波感知设备、超声波感知设备中的一种或几种；
感知数据预处理模块，所述感知数据预处理模块包括图像处理模块、毫米波处理模块、超声波处理模块；所述图像处理模块包括用于给视频感知数据提取预选框的统一神经网络以及筛选感兴趣区域的神经网络；所述毫米波处理模块和超声波处理模块用于获取近场移动物体的速度、加速度；
意图预测模块，所述意图预测模块包括输入层、输出层和至少一个神经元细胞层组成的递归神经网络，所述输入层的输入要素为感知数据预处理模块的输出数据，即表征近场移动物体行驶状态的各个维度信息；所述输出层的输出要素为各个近场移动物体意图预测结果的概率；
意图判断模块，所述意图判断模块以意图预测模块输出的结果结合包括但不限于车辆行驶状态、车辆所在场景的行驶规则要素、安全级别设定要素，通过算法处理识别近场移动物体的特定意图。
9.根据权利要求8所述的移动物体意图识别***，其特征在于，所述感知数据预处理模块还包括数据融合模块，所述数据融合模块用于修正、融合用于表征各个近场移动物体运行状态的数据。
10.根据权利要求8所述的移动物体意图识别***，其特征在于，所述感知数据预处理模块中的图像处理模块，对于摄像头采集的原始视频数据，结合深度学习和光流场的算法，通过统一卷积神经网络进行特征提取和预处理；所述感知数据预处理模块中的毫米波处理模块、超声波处理模块、激光雷达处理模块，对于毫米波、超声波、激光雷达获取的数据，需要先经过对应传感器厂商提供的解码和聚类等处理，输出是物体追踪和检测的结果，再经过时域处理神经网络进行解码，提取其他障碍物的运动轨迹特征；所述图像处理模块和毫米波处理模块、超声波处理模块、激光雷达处理模块经过预处理之后提取的特征部分统一输入给时域递归神经网络(LSTM NN)进行综合的决策处理。
11.一种终端设备，其特征在于：所述终端设备为控制上述权利要求5-7任一项所述移动物体意图识别方法的智能手机或为执行上述权利要求5-7任一项所述移动物体意图识别方法的车载终端控制设备。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求5至7任一权利要求所述的方法中的步骤。
CN202010499374.8A 2020-06-04 2020-06-04 一种移动物体意图识别装置、方法、***、终端和介质 Active CN111754816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010499374.8A CN111754816B (zh) 2020-06-04 2020-06-04 一种移动物体意图识别装置、方法、***、终端和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010499374.8A CN111754816B (zh) 2020-06-04 2020-06-04 一种移动物体意图识别装置、方法、***、终端和介质

Publications (2)

Publication Number Publication Date
CN111754816A true CN111754816A (zh) 2020-10-09
CN111754816B CN111754816B (zh) 2023-04-28

Family

ID=72674500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010499374.8A Active CN111754816B (zh) 2020-06-04 2020-06-04 一种移动物体意图识别装置、方法、***、终端和介质

Country Status (1)

Country Link
CN (1) CN111754816B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153207A (zh) * 2021-11-29 2022-03-08 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
CN114973166A (zh) * 2022-07-26 2022-08-30 中诚华隆计算机技术有限公司 一种交通信息追踪方法、***及计算机设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1170652A1 (fr) * 2000-07-06 2002-01-09 Renault Procédé de régulation adaptive de la distance entre deux véhicules mobiles
US20050131589A1 (en) * 2003-12-16 2005-06-16 Nissan Motor Co., Ltd. Intention estimation method and system with confidence indication
CN101089917A (zh) * 2007-06-01 2007-12-19 清华大学 一种目标车换道工况下的快速识别方法
CN107919027A (zh) * 2017-10-24 2018-04-17 北京汽车集团有限公司 预测车辆变道的方法、装置和***
US20190077398A1 (en) * 2017-09-14 2019-03-14 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for vehicle lane change prediction using structural recurrent neural networks
US20190186940A1 (en) * 2017-12-18 2019-06-20 Hyundai Motor Company System and method for creating driving route of vehicle
CN110097785A (zh) * 2019-05-30 2019-08-06 长安大学 一种前车切入或紧急换道识别预警装置及预警方法
CN110210058A (zh) * 2019-04-26 2019-09-06 纵目科技（上海）股份有限公司 符合车辆动力学的参考线生成方法、***、终端和介质
US20190367019A1 (en) * 2018-05-31 2019-12-05 TuSimple System and method for proximate vehicle intention prediction for autonomous vehicles
CN110555402A (zh) * 2019-08-27 2019-12-10 北京纵目安驰智能科技有限公司 基于环视的拥堵跟车方法、***、终端和存储介质
CN110758382A (zh) * 2019-10-21 2020-02-07 南京航空航天大学 一种基于驾驶意图的周围车辆运动状态预测***及方法
CN110796856A (zh) * 2019-10-16 2020-02-14 腾讯科技（深圳）有限公司 车辆变道意图预测方法及变道意图预测网络的训练方法
CN111079590A (zh) * 2019-12-04 2020-04-28 东北大学 一种无人驾驶车辆的周边车辆行为预判方法
CN111104969A (zh) * 2019-12-04 2020-05-05 东北大学 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法
CN111114556A (zh) * 2019-12-24 2020-05-08 北京工业大学 基于多源指数加权损失下lstm的换道意图识别方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1170652A1 (fr) * 2000-07-06 2002-01-09 Renault Procédé de régulation adaptive de la distance entre deux véhicules mobiles
US20050131589A1 (en) * 2003-12-16 2005-06-16 Nissan Motor Co., Ltd. Intention estimation method and system with confidence indication
CN101089917A (zh) * 2007-06-01 2007-12-19 清华大学 一种目标车换道工况下的快速识别方法
US20190077398A1 (en) * 2017-09-14 2019-03-14 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for vehicle lane change prediction using structural recurrent neural networks
CN107919027A (zh) * 2017-10-24 2018-04-17 北京汽车集团有限公司 预测车辆变道的方法、装置和***
US20190186940A1 (en) * 2017-12-18 2019-06-20 Hyundai Motor Company System and method for creating driving route of vehicle
US20190367019A1 (en) * 2018-05-31 2019-12-05 TuSimple System and method for proximate vehicle intention prediction for autonomous vehicles
CN110210058A (zh) * 2019-04-26 2019-09-06 纵目科技（上海）股份有限公司 符合车辆动力学的参考线生成方法、***、终端和介质
CN110097785A (zh) * 2019-05-30 2019-08-06 长安大学 一种前车切入或紧急换道识别预警装置及预警方法
CN110555402A (zh) * 2019-08-27 2019-12-10 北京纵目安驰智能科技有限公司 基于环视的拥堵跟车方法、***、终端和存储介质
CN110796856A (zh) * 2019-10-16 2020-02-14 腾讯科技（深圳）有限公司 车辆变道意图预测方法及变道意图预测网络的训练方法
CN110758382A (zh) * 2019-10-21 2020-02-07 南京航空航天大学 一种基于驾驶意图的周围车辆运动状态预测***及方法
CN111079590A (zh) * 2019-12-04 2020-04-28 东北大学 一种无人驾驶车辆的周边车辆行为预判方法
CN111104969A (zh) * 2019-12-04 2020-05-05 东北大学 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法
CN111114556A (zh) * 2019-12-24 2020-05-08 北京工业大学 基于多源指数加权损失下lstm的换道意图识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAJAN PATEL 等: "Predicting Future Lane Changes of Other Highway Vehicles using RNN-based Deep Models", 《ARXIV:1801.04340V4》, 16 May 2019 (2019-05-16), pages 1 - 8, XP081222477 *
伍淑莉 等: "基于LSTM的智能车变道预测研究", 《信息通信》, 31 December 2019 (2019-12-31), pages 7 - 11 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153207A (zh) * 2021-11-29 2022-03-08 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
CN114153207B (zh) * 2021-11-29 2024-02-27 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
CN114973166A (zh) * 2022-07-26 2022-08-30 中诚华隆计算机技术有限公司 一种交通信息追踪方法、***及计算机设备
CN114973166B (zh) * 2022-07-26 2022-10-25 中诚华隆计算机技术有限公司 一种交通信息追踪方法、***及计算机设备

Also Published As

Publication number Publication date
CN111754816B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
US11878720B2 (en) Method and system for risk modeling in autonomous vehicles
CN110843794B (zh) 驾驶场景理解方法、装置和轨迹规划方法、装置
CN112133089B (zh) 一种基于周围环境与行为意图的车辆轨迹预测方法、***及装置
CN108388834A (zh) 利用循环神经网络和级联特征映射的对象检测
CN113052321B (zh) 从短期意图和长期结果生成轨迹标记
Jeong et al. Bidirectional long shot-term memory-based interactive motion prediction of cut-in vehicles in urban environments
CN114379581B (zh) 基于自动驾驶下的算法迭代***及方法
CN111754816B (zh) 一种移动物体意图识别装置、方法、***、终端和介质
US11420623B2 (en) Systems for determining object importance in on-road driving scenarios and methods thereof
CN112307978A (zh) 目标检测方法、装置、电子设备及可读存储介质
Remmen et al. Cut-in scenario prediction for automated vehicles
Kim et al. Driving style-based conditional variational autoencoder for prediction of ego vehicle trajectory
CN113688760A (zh) 自动驾驶的数据识别方法、装置、计算机设备和存储介质
Sayeed et al. Bangladeshi traffic sign recognition and classification using cnn with different kinds of transfer learning through a new (btsrb) dataset
CN111753371B (zh) 一种车身控制网络模型的训练方法、***、终端和存储介质
EP4361991A1 (en) Peer-to-peer vehicular provision of artificially intelligent traffic analysis
CN112435466A (zh) 混合交通流环境下cacc车辆退变为传统车的接管时间预测方法及***
CN116461507A (zh) 一种车辆驾驶决策方法、装置、设备和存储介质
CN114371015B (zh) 自动驾驶测试方法、装置、计算机设备、存储介质
CN113920166B (zh) 一种选择物体运动模型方法、装置、交通工具及存储介质
CN111661034B (zh) 基于深度递归神经网络的车身控制方法、***、终端和存储介质
Meftah et al. Deep residual network for autonomous vehicles obstacle avoidance
CN114104005A (zh) 自动驾驶设备的决策方法、装置、设备及可读存储介质
CN112180913A (zh) 特种车辆识别方法
Khairdoost Driver Behavior Analysis Based on Real On-Road Driving Data in the Design of Advanced Driving Assistance Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant