CN113673412A - 关键目标物的识别方法、装置、计算机设备及存储介质 - Google Patents

关键目标物的识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113673412A
CN113673412A CN202110944797.0A CN202110944797A CN113673412A CN 113673412 A CN113673412 A CN 113673412A CN 202110944797 A CN202110944797 A CN 202110944797A CN 113673412 A CN113673412 A CN 113673412A
Authority
CN
China
Prior art keywords
target object
vehicle
target
full
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110944797.0A
Other languages
English (en)
Other versions
CN113673412B (zh
Inventor
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uisee Shanghai Automotive Technologies Ltd
Original Assignee
Uisee Shanghai Automotive Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uisee Shanghai Automotive Technologies Ltd filed Critical Uisee Shanghai Automotive Technologies Ltd
Priority to CN202110944797.0A priority Critical patent/CN113673412B/zh
Publication of CN113673412A publication Critical patent/CN113673412A/zh
Application granted granted Critical
Publication of CN113673412B publication Critical patent/CN113673412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种关键目标物的识别方法、装置、计算机设备及存储介质。该方法包括：在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；获取与所述目标物对应的目标物关联描述参数集；将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果。通过本发明实施例的技术方案，能够实现不需要工程设计人员进行复杂的算法设计，只需要工程人员依据本发明实施例中的框架进行数据训练，即可以获得非常理想的目标选择模型，对车辆周围存在的各目标物进行关键目标物识别，提高了自动驾驶***中对关键目标物的识别准确度。

Description

关键目标物的识别方法、装置、计算机设备及存储介质
技术领域
本发明实施例涉及计算机技术，尤其涉及自动驾驶和人工智能技术，尤其涉及一种关键目标物的识别方法、装置、计算机设备及存储介质。
背景技术
自动驾驶***应具备环境感知能力和对车辆运动状态的控制能力。自动驾驶***对车辆运动状态的控制能力以其对感知结果的认知能力为基础，该基础的一个重要方面就是在各种环境下对多个目标进行目标选择，即：对被精确追踪所得位于***前方或周边的若干目标，以怎样的原则或方法进行目标选择，可控制车辆安全、有效地通过当前区域。
自动驾驶***下的目标选择功能需要满足及时性和准确性。现有的目标选择算法主要有：栅格法、通过计算本车和目标车运动轨迹的交叠情况进行目标选择的方式、利用前方目标的运动轨迹修正本车运动轨迹的方法，以及依据***所处环境的势能场进行目标选择的方式等。
发明人在实现本发明的过程中，发现现有技术主要存在如下缺陷：栅格法主要适用于低速运动场景，在高速运动场景中，过小的栅格尺寸要求将导致主流的低主频车载计算平台无法实现功能；通过计算本车和目标车两者运动轨迹的交叠情况进行目标选择的方法，由于前方道路曲率信息的变化及本车运动姿态信息的滞后，易造成目标选择错误；利用前方目标运动轨迹修正本车运动轨迹的方法，在前方目标较少时效果同样难以保证；依据***所处环境的势能场进行目标选择的方法，准确性则取决于目标在各个场中所具能量精确度量的程度，其工程实现的难度较大。
发明内容
本发明实施例提供了一种关键目标物的识别方法、装置、计算机设备及存储介质，以实现一种在车辆行驶过程中，对车辆周围存在的各目标物进行关键目标物识别的新方式，提高了对关键目标物的识别准确度。
第一方面，本发明实施例提供了一种关键目标物的识别方法，包括：
在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
获取与所述目标物对应的目标物关联描述参数集；
将所述目标物关联描述参数集输入至LSTM(Long Short-Term Memory，长短期记忆网络)中，得到所述目标物对应的关键目标物识别结果。
第二方面，本发明实施例还提供了一种自动驾驶启动模式中的前车跟随方法，包括：
在车辆进入自动驾驶启动模式中的前车跟随场景时，采用本发明任一实施例所述的关键目标物的识别方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
第三方面，本发明实施例还提供了一种关键目标物的识别装置，该装置包括：
目标物获取模块，用于在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
参数集获取模块，用于获取与所述目标物对应的目标物关联描述参数集；
结果获取模块，用于将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果。
第四方面，本发明实施例还提供了一种自动驾驶启动模式中的前车跟随装置，该装置包括：
关键目标物识别模块，用于在车辆进入自动驾驶启动模式中的前车跟随场景时，采用本发明任一实施例所述的关键目标物的识别方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
车速控制模块，用于将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的关键目标物的识别方法或自动驾驶启动模式中的前车跟随方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的关键目标物的识别方法或自动驾驶启动模式中的前车跟随方法。
本发明实施例的技术方案，通过将自动驾驶模式下车辆周围环境中目标物对应的目标物关联描述参数集输入至LSTM网络中，并根据该LSTM网络的输出结果，得到所述目标物对应的关键目标物识别结果的技术手段，创造性的提出了一种获得适用于自动驾驶***进行目标选择功能的有效方法，可以良好适用于各类传感器以及自动驾驶***所处的各类环境，无需对目标选择具体算法进行设计，实现简便，为自动驾驶***的目标选择表现带来较大提升和改进。
附图说明
图1a是本发明实施例一中的一种关键目标物的识别方法的流程图；
图1b是本发明实施例一所适用的一种基于LSTM的学习模型结构示意图；
图2a是本发明实施例二中的一种关键目标物的识别方法的流程图；
图2b是本发明实施例二所适用的一种基于LSTM的学习模型结构示意图；
图3a是本发明实施例三中的一种关键目标物的识别方法的流程图；
图3b是本发明实施例三所适用的一种基于LSTM的学习模型结构示意图；
图4a是本发明实施例四中的一种关键目标物的识别方法的流程图；
图4b是本发明实施例四所适用的一种基于LSTM的学习模型结构示意图；
图5是本发明实施例五中的一种自动驾驶启动模式中的前车跟随方法的流程图；
图6是本发明实施例六中的一种关键目标物的识别装置的结构示意图；
图7是本发明实施例七中的一种自动驾驶启动模式中的前车跟随装置的结构示意图；
图8是本发明实施例八中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一提供的一种关键目标物的识别方法的流程图，本实施例可适用于在车辆处于自动驾驶启动模式时对车辆周围存在的各目标物进行关键目标物识别的情况，该方法可以由关键目标物的识别装置来执行，该装置可采用硬件和/或软件的方式实现，并一般可以集成在具有自动驾驶功能的车辆的车机端中，所述方法具体包括如下步骤：
S110、在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物。
其中，目标物指的是自动驾驶模式下，车辆周围的出现或者存在的任意对象，该目标物可以为动态对象，例如，行人、非机动车、或者其他行驶中的车辆等，也可以是静态对象，例如，树木或者建筑物等，本实施例对此不进行限制。
在本实施例中，可以通过车辆上配置的各种传感器，例如，视觉传感器、测距传感器、激光雷达传感器或者毫米波雷达传感器等，识别获取车辆周围环境中的目标物，具体的，可以根据单一传感器的检测结果识别目标物，也可以通过多个传感器的融合检测结果识别目标物，本实施例对此并不进行限制。
S120、获取与所述目标物对应的目标物关联描述参数集。
其中，该目标物关联描述参数集中包括有多个目标物关联描述参数，目标物关联描述参数指的是与目标物对应的，可用于对目标物的运动状态及当前车辆的运动状态进行描述的参数信息。作为示例而非限定，该目标物关联描述参数可以包括：目标物距离车辆的距离描述信息、目标物的速度描述信息、目标物与车道线的位置关系信息以及车辆的速度和运行状态信息等。
需要说明的是，本发明各实施例的技术方案使用LSTM网络对各目标物进行关键物目标物的识别，而是LSTM网络是需要输入不同时间点的特征集进行长短时融合，才能相应获取匹配的识别结果。
相应的，所述目标物关联描述参数集可以具体包括多个时间点下采集得到的，与识别得到的目标物对应的多项目标物关联描述参数，或者，该目标物关联描述参数集还可以为根据不同时间点下采集得到的各目标物关联描述参数分别构建参数向量后，由该多个参数向量共同组成的参数矩阵。
S130、将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果。
其中，关键目标物指的是在车辆自动驾驶过程中会对车辆的行驶轨迹产生干扰的目标物，即在车辆行驶过程中需要进行避让的目标物。关键目标物识别结果指的是识别目标物是否为关键目标物的结果，该结果通常只有两种可能，即目标物是关键目标物与目标物不是关键目标物。
在本实施例中，该LSTM网络用于根据输入的，与目标物对应的目标物关联描述参数集进行长短期特征融合，并根据特征融合结果，输出该目标物识别为关键目标物的分类结果。
如图1b所示，为本发明实施例所适用的一种基于LSTM的学习模型结构示意图。在本实施例中，在保证计算结果准确性的基础上为避免不必要的计算量，以LSTM模型内部的隐藏状态单元为4*1维度，并且，LSTM模型展开后实际由前序4个模型状态与当前模型状态共同组成为例(也即，该LSTM模型共包括5个依次相连的LSTM单元)。
在图1b中，根据不同时间点下获取的与一个目标物对应的多个目标物关联描述参数，可以形成一个由L1至L4组成的向量，如果LSTM模型使用5个模型状态，则需要输入该目标物在5个时间点下获取的各目标物关联描述参数所形成的5个由L1至L4组成的向量，共同输入进LSTM网络中。
其中，T＝t0代表当前时刻，Δt代表运算周期。所以T＝t0-n*Δt代表以当前时刻为基准的前n个周期时刻。每一个LSTM单元向前传输一个4*1维度的向量，代表本单元的输出，示例性的，LSTM1向LSTM2传输向量
Figure BDA0003216394940000051
LSTM2向LSTM3传输向量
Figure BDA0003216394940000052
LSTM3向LSTM4传输向量
Figure BDA0003216394940000053
LSTM4向LSTM5传输向量
Figure BDA0003216394940000054
相应的，当该LSTM网络中成功输入目标物在五个周期时刻下的4*1维度的向量并进行网络计算后，LSTM网络在t0时刻的输出状态量结果即为[H1,H2,H3,H4]。
可以理解的是，在该LSTM网络中，还可以包括分类层(图中未示出)，用于根据该输出状态量结果[H1,H2,H3,H4]，获取与该目标物对应的关键目标物识别结果，也即，分类为关键目标物，或者分类为不是关键目标物。
本发明实施例的技术方案，通过将自动驾驶模式下车辆周围环境中目标物对应的目标物关联描述参数集输入至LSTM网络中，并根据该LSTM网络的输出结果，得到所述目标物对应的关键目标物识别结果的技术手段，创造性的提出了一种获得适用于自动驾驶***进行目标选择功能的有效方法，可以良好适用于各类传感器以及自动驾驶***所处的各类环境，无需对目标选择具体算法进行设计，实现简便，为自动驾驶***的目标选择表现带来较大提升和改进。
在上述各实施例的基础上，获取与所述目标物对应的目标物关联描述参数集，还可以具体包括：
获取目标物在当前检测时间点下的多个目标物关联描述参数，形成实时描述参数向量，并获取所述目标物在预设数量的连续历史检测时间点下的历史描述参数向量；根据所述实时描述参数向量，以及多个历史描述参数向量，形成与目标物对应的描述参数时间矩阵作为所述目标物关联描述参数集。
相应的，将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果，具体可以包括：
在所述描述参数时间矩阵中，按照检测时间点由近到远的顺序，依次获取一个描述参数向量，并将所述描述参数向量输入至所述LSTM网络中；
在检测到所述LSTM网络中的LSTM单元完成针对该描述参数向量的计算处理后，返回执行依次获取一个描述参数向量的操作，直至完成对所述描述参数时间矩阵中全部描述参数向量的输入处理，并完成对该描述参数时间矩阵的完整输入后，获取所述LSTM网络输出的关键目标物识别结果。
在上述各实施例的基础上，在将所述目标物关联描述参数集输入至LSTM长短期记忆网络中之前，还可以包括：
对所述目标物关联描述参数集中包括的各目标物关联描述参数进行归一化，或者归一化扩展处理。
续前例，在获取目标物在当前检测时间点下的多个目标物关联描述参数，形成实时描述参数向量的方式可以为：对每一项目标物关联描述参数进行归一化处理，或者归一化扩展处理，形成与每一项目标物关联描述参数分别对应的归一化结果，或者归一化扩展结果；按照预设的描述参数排布顺序，将各所述归一化结果，或者归一化扩展结果进行排序，形成与目标物对应的实时描述参数向量。
在上述各实施例的基础上，根据所述实时描述参数向量，以及多个历史描述参数向量，形成与目标物对应的描述参数时间矩阵的方式可以为：
判断在当前检测时间点的前一历史检测时间点下更新得到的备选描述参数时间矩阵集合中，是否存在与所述目标物匹配的目标备选描述参数时间矩阵；
若是，则去除所述目标备选描述参数时间矩阵中距离当前检测时间点最远的历史检测时间点下的历史描述参数向量，并根据剩余的各历史描述参数向量和所述目标实时描述参数向量，形成与所述目标物对应的描述参数时间矩阵；
若否，则根据预设数量的全零向量以及和所述目标实时描述参数向量，形成与所述当前处理物体对应的描述参数时间矩阵。
同时，更新得到与当前检测时间点对应的备选描述参数时间矩阵集合的方式可以包括：
将当前检测时间点下各物体的描述参数时间矩阵，加入至所述备选描述参数时间矩阵集合中，或者替换所述备选描述参数时间矩阵集合中匹配的备选描述参数时间矩阵；在备选描述参数时间矩阵集合中，获取与其他物体分别对应的各关联备选描述参数时间矩阵；去除各关联目标备选描述参数时间矩阵中距离当前检测时间点最远的历史检测时间点下的历史描述参数向量，并根据剩余的各历史描述参数向量和全零向量，得到各新的关联目标备选描述参数时间矩阵；去除所述备选描述参数时间矩阵集合中包括的全零矩阵。
在一个具体的例子中，为了使得每当检测到一个目标物后，可以将该目标物的多个历史时刻下的目标物关联描述参数共同输入至LSTM网络进行识别处理，可以实时维护车辆所检测到的每个物体分别对应的一个描述参数时间矩阵，基于该描述参数时间矩阵，对实时检测得到的目标物形成匹配的目标物关联描述参数集，也即，描述参数时间矩阵输入至该LSTM模型中。
示例性的，与每个目标物对应的描述参数时间矩阵的维护过程可如下所述：
若在t1时刻中第一次识别到目标物A和目标物B，且该LSTM需要输入5个时间点下的输入特征，则会相应构建与目标物A对应的描述参数时间矩阵为[A’,0,0,0]，目标物B对应的描述参数时间矩阵为[B’,0,0,0]；其中，A’和B’为根据目标物A和目标物B在t1时刻的各目标物关联描述参数形成的目标实时描述参数向量，0为一个与A’或者B’包含向量元素数量一致的一个零向量。
若在下一时间点t2时，仅检测到目标物B而未检测到目标物A，则此时与目标物A对应的描述参数时间矩阵为[0,A’,0,0]，与目标物B对应的描述参数时间矩阵为[B”,B’,0,0]；若在下一时间点t3时，仅检测到目标物A而未检测到目标物B，则此时目标物A对应的描述参数时间矩阵为[A”,0,A’,0]，与目标物B对应的参描述参数时间矩阵为[0,B”,B’,0]。
值得说明的是，当在某一时间点未检测到某一目标物时，仅将该目标物对应的描述参数时间矩阵进行更新而不需输入至LSTM网络中，仅当检测到当前时间点内车辆周围存在某一目标物时，才将该目标物对应的描述参数时间矩阵输入至LSTM网络中进行识别。
实施例二
图2a为本发明实施例二提供的一种关键目标物的识别方法的流程图。本实施例以上述实施例为基础进行细化，在本实施例中，将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果，具体化为：将所述目标物的目标物关联描述参数集输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果；将所述目标物的全局融合抽象结果输入至所述LSTM网络，得到所述目标物对应的关键目标物识别结果。
如图2a所示，该方法包括以下具体步骤：
S210、在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物。
S220、获取与所述目标物对应的目标物关联描述参数集。
在一个具体的例子中，该目标物关联描述参数集中存储的，与不同时间点分别对应的目标物关联描述参数的可以包括：
表示目标物属性信息的目标物距离车辆的横纵向距离、目标物的横纵向速度、检测到目标物的至少一个传感器的融合状态、雷达反射截面及目标物的类别属性；表示车道线信息的目标物到左右车道线的距离和左右车道线的有效延伸距离；表示车辆运动状态信息的车辆速度、车辆横摆角速度以及车辆方向盘转角等，本实施例对此不进行限制。
其中，检测到目标物的至少一个传感器的融合状态指的是能够检测到目标物的传感器数量或类型。例如，若仅通过视觉传感器检测到目标物则融合状态为1；若仅通过激光雷达传感器检测到目标物则融合状态为2；若同时通过激光雷达传感器和视觉传感器检测得到该目标物，则融合状态为3。目标物的类别属性可以为：行人0、车辆1、以及树木2等。
S230、将所述目标物的目标物关联描述参数集输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果。
其中，全连接网络指的是某一层的任意一个节点都和该层上一层的所有节点有连接关系，用来把前层提取到的特征综合起来的网络。全局融合抽象结果指的是目标物关联描述参数集在全连接网络中进行全连接处理后的输出结果。
S240、将所述目标物的全局融合抽象结果输入至所述LSTM网络，得到所述目标物对应的关键目标物识别结果。
如图2b所示，为本发明实施例所适用的一种基于LSTM的学习模型结构示意图。以目标物关联描述参数集中的参数为C1-C5为例，全连接网络共含有三层，在本实施例中，不对全连接网络第一层中的节点数量进行限制，只要全连接网络第一层中的节点比输入节点的数量多即可，本实施例以全连接网络第一层为6个节点为例。其中，L1-1-L1-6为全连接网络部分的第一层，用于对输入参数进行全连接；L2-1-L2-3为全连接网络部分的第二层，用于对第一层网络进行全连接；L3-1为全连接网络部分的第三层，用于对第二层网络进行全连接。将与目标物对应的目标物关联描述参数集以全连接的方式输入至全连接网络第一层，将全连接网络第一层的所有节点与全连接网络第二层的所有节点进行连接，将全连接网络第二层的所有节点与全连接网络第三层的所有节点进行连接，即可得到最终的全局融合抽象结果，即存储在节点L3-1中的全局融合抽象结果，再将全局融合抽象结果输入至LSTM网络中，得到与目标物对应的关键目标物识别结果。
本发明实施例的技术方案，通过将与目标物对应的目标物关联描述参数集输入至全连接网络中，再将获取的全局融合抽象结果输入至LSTM网络中，得到与目标物对应的关键目标物识别结果，使得LSTM网络对输入参数的计算速度加快、可靠性提高，降低了延时时间，能够实现不需要工程设计人员进行复杂的算法设计，只需要工程人员依据本发明实施例中的框架进行数据训练，即可以获得非常理想的目标选择模型，对车辆周围存在的各目标物进行关键目标物识别，提高了自动驾驶***中对关键目标物的识别准确度。
实施例三
图3a为本发明实施例三提供的一种关键目标物的识别方法的流程图。本实施例以上述实施例为基础进行细化，在本实施例中，将将所述目标物的目标物关联描述参数集输入至全连接网络中，具体为：按照预设的分类规则对所述目标物关联描述参数集中包括的各目标物关联描述参数进行分组，得到多个参数分组，并将各所述参数分组并行输入至全连接网络中。
相应的，将所述目标物的全局融合抽象结果输入至所述LSTM网络，得到所述目标物对应的关键目标物识别结果，具体为：将所述目标物的全局融合抽象结果输入至所述LSTM网络，获取所述LSTM网络输出的多个长短期融合结果；将各所述长短期融合结果输入至分类网络中，获取所述分类网络输出的所述关键目标物识别结果。
如图3a所示，该方法包括以下具体步骤：
S310、在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物。
S320、获取与所述目标物对应的目标物关联描述参数集。
S330、按照预设的分类规则对所述目标物关联描述参数集中包括的各目标物关联描述参数进行分组，得到多个参数分组，并将各所述参数分组并行输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果。
其中，预设的分类规则指的是预先设定的，用于对目标物关联描述参数集中的参数进行分类的规则，示例性的，可以按照参数的发出对象对各参数进行分类，例如，将参数分为目标属性信息和车辆属性信息等，本实施例对此不进行限制。
可选的，全连接网络具体包括：多个局部子网络，以及与各局部子网络分别相连的统一全连接层，其中，不同的局部子网络用于输入不同的参数分组；所述局部子网络，用于将输入的参数分组中的各目标物关联描述参数进行至少一级的全连接处理，得到局部融合抽象结果；所述统一全连接层，用于对各局部子网络输出的局部融合抽象结果进行全连接处理，得到所述全局融合抽象结果。
可选的，局部子网络包括：多个依次相连的局部全连接层，每个局部全连接层中包括多个全连接节点；其中，后一层全连接层中的每个全连接节点分别与前一层全连接层中的每个全连接节点相连，参数分组中包括的每个目标物关联描述参数分别输入至首个全连接层中的每个全连接节点中。
上述技术方案通过将目标物关联描述参数集进行分类聚集输入，有效的缓解了计算负担，提高了算法的处理速度。
S340、将所述目标物的全局融合抽象结果输入至所述LSTM网络，获取所述LSTM网络输出的多个长短期融合结果。
其中，长短期融合结果指的是经LSTM网络处理后所得的结果，通常指的是LSTM网络的输出状态量结果。
S350、将各所述长短期融合结果输入至分类网络中，获取所述分类网络输出的所述关键目标物识别结果。
其中，分类网络指的是对长短期融合结果进行处理得到分类结果的网络；分类结果指的是是否要选择该目标。
如图3b所示，为本发明实施例所适用的一种基于LSTM的学习模型结构示意图。在本实施例中，以将目标物关联描述参数集中的各目标物关联描述参数分为两组为例，其中一组参数为C1-C5，另一组参数为C6-C9。局部全连接层L1-1-L1-6和局部全连接层L2-1-L2-3构成一个局部子网络，用于输入参数C1-C5；局部全连接层L1-7-L1-11和局部全连接层L2-4-L2-6构成一个局部子网络，用于输入参数C6-C9，L3-1和L3-2构成统一全连接层。
其中，两个局部子网络与统一全连接层中的L3-1和L3-2进行全连接，构成全连接网络。将全连接网络输出的存储在节点L3-1和L3-2中的全局融合抽象结果输入至LSTM网络中，再将由LSTM网络输出的多个长短期融合结果[H1,H2,H3,H4]输入至可以进行结果分类的分类网络中，即可得到关键目标物识别结果。
本发明实施例的技术方案，通过将按照预设的分类规则进行分组的目标物关联描述参数，分组并行输入至全连接网络中，之后，将全连接网络输出的全局融合抽象结果输入至LSTM网络中，最后，将LSTM网络输出的多个长短期融合结果输入至分类网络中，得到关键目标物识别结果，能够实现不需要工程设计人员进行复杂的算法设计，只需要工程人员依据本发明实施例中的框架进行数据训练，即可以获得非常理想的目标选择模型，对车辆周围存在的各目标物进行关键目标物识别，提高了自动驾驶***中对关键目标物的识别准确度。
在上述各实施例的基础上，可以预先使用训练样本对上述全连接网络、LSTM网络以及分类网络进行预训练。
具体的，所使用的训练样本包括：预设检测场景下的样本物体的样本物体关联描述参数集，以及样本物体是否为关键物体的标注结果。
其中，该样本物体关联描述参数集与本发明各实施例所述的目标物关联描述参数集中包括的数据形式相一致。
可选的，所述训练样本中样本物体的检测场景包括下述至少一项：
样本物体在多个连续检测时间点下均被检测得到的检测场景；样本物体多个连续检测时间点下间隔检测得到的检测场景；以及样本物体在多个连续检测时间点中的至少一个前序检测时间点中被检测得到，在全部后序检测时间点中未被检测得到的检测场景。
在一个具体的例子中，以8个连续时刻组成一个序列单元为例，将该序列参数送入、全连接网络、LSTM网络以及分类网络中。组织形式根据不同情况可以分为如下三类：
(1)#N-#N-#N-#N-#N-#N-#N-#N
(2)#N-#N-0-0-0-0-0-0
(3)#N-0-0-0-0-#N-#N-#N
其中，#N代表样本物ID(Identity document，身份证标识号)为#N的样本物体。第一类情况代表ID＝#N的样本物体连续出现了8帧(也即8个周期时间)。第二类情况代表ID＝#N的目标物体最近刚刚出现了2帧，在开始的6帧并未出现，第二类情况还可以表现为#N-0-0-0-0-0-0-0或者#N-#N-#N-#N-#N-#N-#N-0，但它们都代表目标物ID＝#N的初始情况。第三类情况代表ID＝#N的目标物在开始阶段有，中间没有出现，后续又出现了，第三类情况还可以表现为#N-0-0-0-0-0-0-#N或者#N-#N-#N-#N-#N-#N-0-#N等。
通过将已标注参数送入全连接网络、LSTM网络以及分类网络中进行训练，最终获得训练后的各网络，可以使得上述各网络的组合适用于各种场景下的关键目标物的识别。
实施例四
图4a为本发明实施例四提供的一种关键目标物的识别方法的流程图。本实施例以上述实施例为基础进行细化，在本实施例中，将按照预设的分类规则对所述目标物关联描述参数集中包括的各目标物关联描述参数进行分组，得到多个参数分组，具体为：在目标物关联描述参数集中，获取与目标物的运行状态匹配的各目标物关联描述参数集构建第一参数分组；在目标物关联描述参数集中，获取与目标物的附属检测属性匹配的各目标物关联描述参数集构建第二参数分组；在目标物关联描述参数集中，获取与车道线匹配的各目标物关联描述参数集构建第三参数分组；在目标物关联描述参数集中，获取与所述车辆的车辆状态匹配的各目标物关联描述参数集构建第四参数分组。
将在将所述目标物关联描述参数集输入至LSTM长短期记忆网络中，具体为：在将所述目标物关联描述参数集输入至LSTM长短期记忆网络中之前，还包括：对所述目标物关联描述参数集中包括的各目标物关联描述参数进行归一化，或者归一化扩展处理。
如图4a所示，该方法包括以下具体步骤：
S410、在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物。
S420、获取与所述目标物对应的目标物关联描述参数集。
S430、对所述目标物关联描述参数集中包括的各目标物关联描述参数进行归一化，或者归一化扩展处理。
其中，归一化指的是确保输入的信息可以被归一化在[-1,1]区域范围中，提高算法精度的操作。由于一些属性虽然原始值是单个取值，但是本实施在归一化时对其进行了扩展。例如，融合状态是一个单一属性，其取值范围是0、1、2、3，共计4个孤立值。但是对其进行归一化时，则生成相应的[0,0,0]，[0,0,1]，[0,1,0]，[1,0,0]，共计四个1*3的向量，也即从一个单一输入端变成一个3维输入端。同理，目标物的类别属性也由一个单一输入端变为一个5维输入端。
S440、在目标物关联描述参数集中，获取与目标物的运行状态匹配的各目标物关联描述参数集构建第一参数分组。
可选的，所述第一参数分组包括：目标物距离车辆的横纵向距离，目标物的横纵向速度以及检测到目标物的至少一个传感器的融合状态。
S450、在目标物关联描述参数集中，获取与目标物的附属检测属性匹配的各目标物关联描述参数集构建第二参数分组。
可选的，所述第二参数分组包括：雷达反射截面、检测到目标物的至少一个传感器的融合状态以及目标物的类别属性。
S460、在目标物关联描述参数集中，获取与车道线匹配的各目标物关联描述参数集构建第三参数分组。
可选的，所述第三参数分组包括：目标物到左右车道线的距离以及左右车道线的有效延伸距离。
S470、在目标物关联描述参数集中，获取与所述车辆的车辆状态匹配的各目标物关联描述参数集构建第四参数分组。
可选的，所述第四参数分组包括：车辆速度，车辆横摆角速度以及车辆方向盘转角。
S480、将各所述参数分组并行输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果。
S490、将所述目标物的全局融合抽象结果输入至所述LSTM网络，获取所述LSTM网络输出的多个长短期融合结果。
S4100、将各所述长短期融合结果输入至分类网络中，获取所述分类网络输出的所述关键目标物识别结果。
可选的，所述分类网络包括：第一全连接节点、第二全连接节点，以及与第一全连接节点和第二全连接节点分别相连的softmax分类器；所述第一全连接节点和第二全连接节点分别与LSTM网络的各输出端相连。
可选的，所述第一全连接节点，用于将输入的各长短期融合结果进行全连接处理，得到第一处理结果；所述第二全连接节点，用于将输入的各长短期融合结果进行全连接处理，得到第二处理结果；所述softmax分类器，用于根据第一处理结果和第二处理结果，得到所述目标物是否为关键目标物的识别结果。
如图4b所示，为本发明实施例所适用的一种基于LSTM的学习模型结构示意图。在本实施例中，将目标物距离车辆的横纵向距离(RX和RY)、目标物的横纵向速度(VX和VY)以及检测到目标物的至少一个传感器的融合状态(Fuse Status)设定为第一参数分组，将雷达反射截面(RCS)、检测到目标物的至少一个传感器的融合状态(Fuse Status)以及目标物的类别属性(Class)设定为第二参数分组，将目标物到左右车道线的距离(Distance to Left和Distance to Right)以及左右车道线的有效延伸距离(Left Range和Right Range)设定为第三参数分组，将车辆速度(Host Velocity)、车辆横摆角速度(Host Yaw Rate)以及车辆方向盘转角(Host Steering Wheel Angle)设定为第四参数分组。
如图4b所示的基于LSTM的学习模型主要由三大部分组成，其中第一部分是全连接网络，第二部分是LSTM网络，第三部分是softmax与分类输出网络。L1-1至L1-17属于全连接网络部分的第一层，主要是对输入层的数据进行全连接。其中，L1-1至L1-6是对目标物的运动状态信息Rx、Ry、Vx、Vy与融合状态信息Fuse Status进行全连接；L1-7至L1-11是对目标物的类别信息Class、雷达反射截面信息RCS与融合状态信息Fuse Status进行全连接；L1-12至L1-15是对车道线信息进行全连接；L1-16至L1-17是对主车运动状态信息进行全连接。L2-1至L2-10属于全连接网络部分的第二层，主要是对第一层网络进行抽象。其中，L2-1至L2-3是对上一层网络L1-1至L1-6进行全连接；L2-4至L2-6是对上一层网络L1-7至L1-11进行全连接；L2-7至L2-8是对上一层网络L1-12至L1-15进行全连接；L2-9至L2-10是对上一层网络L1-16至L1-17进行全连接。L3-1至L3-4属于全连接网络部分的第三层，主要是对第二层网络进行抽象。其中，L3-1是对上一层网络L2-1至L2-3进行抽象；L3-2是对上一层网络L2-4至L2-6进行抽象；L3-3是对上一层网络L2-7至L2-8进行抽象；L3-4是对上一层网络L2-9至L2-10进行抽象。之后，L3-1至L3-4组成一个向量，送入长短期记忆网络LSTM中。模型的最后部分为第一全连接节点St-1和第二全连接节点St-2的全连接层，以及获得第一处理结果和第二处理结果后送入softmax层。最后即可获得目标物是否为关键目标物的识别结果。
本发明实施例的技术方案，通过对目标物关联描述参数集中包括的各目标物关联描述参数进行归一化或者归一化扩展处理，并按照预设的分类规则对目标物关联描述参数集中包括的各目标物关联描述参数进行分组，之后将各参数分组并行输入至全连接网络中获取全局融合抽象结果，再将目标物的全局融合抽象结果输入至LSTM网络中获取LSTM网络输出的多个长短期融合结果，最后将各长短期融合结果输入至分类网络中即获取关键目标物识别结果，能够实现不需要工程设计人员进行复杂的算法设计，只需要工程人员依据本发明实施例中的框架进行数据训练，即可以获得非常理想的目标选择模型，对车辆周围存在的各目标物进行关键目标物识别，提高了自动驾驶***中对关键目标物的识别准确度。
实施例五
图5为本发明实施例五提供的自动驾驶启动模式中的前车跟随方法的流程图，本实施例可适用于自动驾驶启动模式中对前车进行跟随的情况，该方法可以由自动驾驶启动模式中的前车跟随装置来执行，该装置可采用硬件和/或软件的方式实现,并一般可以集成在具有自动驾驶启动模式中的前车跟随功能的计算机设备中，例如，终端设备或服务器等，所述方法具体包括如下步骤：
S510、在车辆进入自动驾驶启动模式中的前车跟随场景时，采用上述任一实施例中所述的关键目标物的识别方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物。
S520、将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
示例性的，车辆处于自动驾驶启动模式中，若该车辆跟随前车欲直行通过某一路口时，右侧有一车辆左拐行至该车辆与跟随的目标物车辆之间，此时，即可使用关键目标物的识别方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物车辆，并按照跟随车辆的实时行车速度，对车辆进行匹配的车速跟随控制，以使该车辆可以顺利的跟随前车直行通过路口。
本实施例的技术方案，通过利用关键目标物的识别方法，解决了自动驾驶启动模式中对前车进行跟随时遇到的目标物干扰问题，使得车辆可以尽快地准确识别出要跟随的前车，提高了自动驾驶的适应性。
实施例六
图6为本发明实施例六提供的一种关键目标物的识别装置的结构示意图，该装置可以执行上述各实施例中涉及到的关键目标物的识别方法。该装置可采用软件和/或硬件的方式实现，如图6所示，所述关键目标物的识别装置具体包括：目标物获取模块610、参数集获取模块620、结果获取模块630。
其中，目标物获取模块610，用于在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
参数集获取模块620，用于获取与所述目标物对应的目标物关联描述参数集；
结果获取模块630，用于将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果。
本发明实施例的技术方案，通过将自动驾驶模式下车辆周围环境中目标物对应的目标物关联描述参数集输入至LSTM网络中，并根据该LSTM网络的输出结果，得到所述目标物对应的关键目标物识别结果的技术手段，创造性的提出了一种获得适用于自动驾驶***进行目标选择功能的有效方法，可以良好适用于各类传感器以及自动驾驶***所处的各类环境，无需对目标选择具体算法进行设计，实现简便，为自动驾驶***的目标选择表现带来较大提升和改进。
可选的，结果获取模块630具体可以包括全局融合抽象结果获取单元和结果获取单元；
其中，全局融合抽象结果获取单元，用于将所述目标物的目标物关联描述参数集输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果；
结果获取单元，用于将所述目标物的全局融合抽象结果输入至所述LSTM网络，得到所述目标物对应的关键目标物识别结果。
可选的，全局融合抽象结果获取单元可以包括参数分组子单元，用于按照预设的分类规则对所述目标物关联描述参数集中包括的各目标物关联描述参数进行分组，得到多个参数分组，并将各所述参数分组并行输入至全连接网络中。
可选的，结果获取单元可以具体用于，将所述目标物的全局融合抽象结果输入至所述LSTM网络，获取所述LSTM网络输出的多个长短期融合结果；将各所述长短期融合结果输入至分类网络中，获取所述分类网络输出的所述关键目标物识别结果。
可选的，所述全连接网络具体包括：多个局部子网络，以及与各局部子网络分别相连的统一全连接层，其中，不同的局部子网络用于输入不同的参数分组；所述局部子网络，用于将输入的参数分组中的各目标物关联描述参数进行至少一级的全连接处理，得到局部融合抽象结果；所述统一全连接层，用于对各局部子网络输出的局部融合抽象结果进行全连接处理，得到所述全局融合抽象结果。
可选的，所述局部子网络包括：多个依次相连的局部全连接层，每个局部全连接层中包括多个全连接节点；其中，后一层全连接层中的每个全连接节点分别与前一层全连接层中的每个全连接节点相连，参数分组中包括的每个目标物关联描述参数分别输入至首个全连接层中的每个全连接节点中。
可选的，所述分类网络包括：第一全连接节点、第二全连接节点，以及与第一全连接节点和第二全连接节点分别相连的softmax分类器；所述第一全连接节点和第二全连接节点分别与LSTM网络的各输出端相连。
可选的，所述第一全连接节点，用于将输入的各长短期融合结果进行全连接处理，得到第一处理结果；所述第二全连接节点，用于将输入的各长短期融合结果进行全连接处理，得到第二处理结果；所述softmax分类器，用于根据第一处理结果和第二处理结果，得到所述目标物是否为关键目标物的识别结果。
可选的，参数分组子单元具体可以用于，在目标物关联描述参数集中，获取与目标物的运行状态匹配的各目标物关联描述参数集构建第一参数分组；在目标物关联描述参数集中，获取与目标物的附属检测属性匹配的各目标物关联描述参数集构建第二参数分组；在目标物关联描述参数集中，获取与车道线匹配的各目标物关联描述参数集构建第三参数分组；在目标物关联描述参数集中，获取与所述车辆的车辆状态匹配的各目标物关联描述参数集构建第四参数分组。
可选的，所述第一参数分组包括：目标物距离车辆的横纵向距离，目标物的横纵向速度以及检测到目标物的至少一个传感器的融合状态；所述第二参数分组包括：雷达反射截面、检测到目标物的至少一个传感器的融合状态以及目标物的类别属性；所述第三参数分组包括：目标物到左右车道线的距离以及左右车道线的有效延伸距离；所述第四参数分组包括：车辆速度，车辆横摆角速度以及车辆方向盘转角。
可选的，关键目标物的识别装置还可以包括归一化或者归一化扩展模块，用于在将所述目标物关联描述参数集输入至LSTM长短期记忆网络中之前，对所述目标物关联描述参数集中包括的各目标物关联描述参数进行归一化，或者归一化扩展处理。
本发明实施例所提供的关键目标物的识别装置可执行本发明任意实施例所提供的关键目标物的识别方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7为本发明实施例七提供的一种自动驾驶启动模式中的前车跟随装置的结构示意图，该装置可以执行上述各实施例中涉及到的自动驾驶启动模式中的前车跟随方法。该装置可采用软件和/或硬件的方式实现，如图7所示，所述自动驾驶启动模式中的前车跟随装置具体包括：关键目标物识别模块710、车速控制模块720。
其中，关键目标物识别模块710，用于在车辆进入自动驾驶启动模式中的前车跟随场景时，采用上述任一实施例所述的关键目标物的识别方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
车速控制模块720，用于将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
本实施例的技术方案，通过利用关键目标物的识别方法，解决了自动驾驶启动模式中对前车进行跟随时遇到的目标物干扰问题，使得车辆可以尽快地准确识别出要跟随的前车，提高了自动驾驶的适应性。
本发明实施例所提供的自动驾驶启动模式中的前车跟随装置可执行本发明任意实施例所提供的自动驾驶启动模式中的前车跟随方法，具备执行方法相应的功能模块和有益效果。
实施例八
图8为本发明实施例八提供的一种计算机设备的结构示意图，如图8所示，该计算机设备包括处理器810、存储器820、输入装置830和输出装置840；计算机设备中处理器810的数量可以是一个或多个，图8中以一个处理器810为例；计算机设备中的处理器810、存储器820、输入装置830和输出装置840可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器820作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的关键目标物的识别方法对应的程序指令/模块(例如，关键目标物的识别装置中的目标物获取模块610、参数集获取模块620和结果获取模块630)或如本发明实施例中的自动驾驶启动模式中的前车跟随方法对应的程序指令/模块(例如，自动驾驶启动模式中的前车跟随装置中的关键目标物识别模块710和车速控制模块720)。处理器810通过运行存储在存储器620中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的关键目标物的识别方法或自动驾驶启动模式中的前车跟随方法。
其中，关键目标物的识别方法包括：
在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
获取与所述目标物对应的目标物关联描述参数集；
将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果。
自动驾驶启动模式中的前车跟随方法包括：
在车辆进入自动驾驶启动模式中的前车跟随场景时，采用权利要求1-11中任一项所述的方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
实施例九
本发明实施例九还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种关键目标物的识别方法或一种自动驾驶启动模式中的前车跟随方法。
其中，关键目标物的识别方法包括：
在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
获取与所述目标物对应的目标物关联描述参数集；
将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果。
自动驾驶启动模式中的前车跟随方法包括：
在车辆进入自动驾驶启动模式中的前车跟随场景时，采用权利要求1-11中任一项所述的方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的关键目标物的识别方法或自动驾驶启动模式中的前车跟随方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述关键目标物的识别装置或自动驾驶启动模式中的前车跟随装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.一种关键目标物的识别方法，其特征在于，包括：
在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
获取与所述目标物对应的目标物关联描述参数集；
将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果。
2.根据权利要求1所述的方法，其特征在于，将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果，包括：
将所述目标物的目标物关联描述参数集输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果；
将所述目标物的全局融合抽象结果输入至所述LSTM网络，得到所述目标物对应的关键目标物识别结果。
3.根据权利要求2所述的方法，其特征在于，将所述目标物的目标物关联描述参数集输入至全连接网络中，包括：
按照预设的分类规则对所述目标物关联描述参数集中包括的各目标物关联描述参数进行分组，得到多个参数分组，并将各所述参数分组并行输入至全连接网络中。
4.根据权利要求2所述的方法，其特征在于，将所述目标物的全局融合抽象结果输入至所述LSTM网络，得到所述目标物对应的关键目标物识别结果包括：
将所述目标物的全局融合抽象结果输入至所述LSTM网络，获取所述LSTM网络输出的多个长短期融合结果；
将各所述长短期融合结果输入至分类网络中，获取所述分类网络输出的所述关键目标物识别结果。
5.根据权利要求4所述的方法，其特征在于，所述全连接网络具体包括：多个局部子网络，以及与各局部子网络分别相连的统一全连接层，其中，不同的局部子网络用于输入不同的参数分组；
所述局部子网络，用于将输入的参数分组中的各目标物关联描述参数进行至少一级的全连接处理，得到局部融合抽象结果；
所述统一全连接层，用于对各局部子网络输出的局部融合抽象结果进行全连接处理，得到所述全局融合抽象结果。
6.根据权利要求5所述的方法，其特征在于，所述局部子网络包括：多个依次相连的局部全连接层，每个局部全连接层中包括多个全连接节点；
其中，后一层全连接层中的每个全连接节点分别与前一层全连接层中的每个全连接节点相连，参数分组中包括的每个目标物关联描述参数分别输入至首个全连接层中的每个全连接节点中。
7.根据权利要求4所述的方法，其特征在于，所述分类网络包括：第一全连接节点、第二全连接节点，以及与第一全连接节点和第二全连接节点分别相连的softmax分类器；所述第一全连接节点和第二全连接节点分别与LSTM网络的各输出端相连。
8.根据权利要求7所述的方法，其特征在于，所述第一全连接节点，用于将输入的各长短期融合结果进行全连接处理，得到第一处理结果；
所述第二全连接节点，用于将输入的各长短期融合结果进行全连接处理，得到第二处理结果；
所述softmax分类器，用于根据第一处理结果和第二处理结果，得到所述目标物是否为关键目标物的识别结果。
9.根据权利要求3所述的方法，其特征在于，按照预设的分类规则对所述目标物关联描述参数集中包括的各目标物关联描述参数进行分组，得到多个参数分组，包括：
在目标物关联描述参数集中，获取与目标物的运行状态匹配的各目标物关联描述参数集构建第一参数分组；
在目标物关联描述参数集中，获取与目标物的附属检测属性匹配的各目标物关联描述参数集构建第二参数分组；
在目标物关联描述参数集中，获取与车道线匹配的各目标物关联描述参数集构建第三参数分组；
在目标物关联描述参数集中，获取与所述车辆的车辆状态匹配的各目标物关联描述参数集构建第四参数分组。
10.根据权利要求9所述的方法，其特征在于，所述第一参数分组包括：目标物距离车辆的横纵向距离，目标物的横纵向速度以及检测到目标物的至少一个传感器的融合状态；
所述第二参数分组包括：雷达反射截面、检测到目标物的至少一个传感器的融合状态以及目标物的类别属性；
所述第三参数分组包括：目标物到左右车道线的距离以及左右车道线的有效延伸距离；
所述第四参数分组包括：车辆速度，车辆横摆角速度以及车辆方向盘转角。
11.根据权利要求1所述的方法，其特征在于，在将所述目标物关联描述参数集输入至LSTM长短期记忆网络中之前，还包括：
对所述目标物关联描述参数集中包括的各目标物关联描述参数进行归一化，或者归一化扩展处理。
12.一种自动驾驶启动模式中的前车跟随方法，其特征在于，包括：
在车辆进入自动驾驶启动模式中的前车跟随场景时，采用权利要求1-11中任一项所述的方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
13.一种关键目标物的识别装置，其特征在于，包括：
目标物获取模块，用于在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
参数集获取模块，用于获取与所述目标物对应的目标物关联描述参数集；
结果获取模块，用于将所述目标物关联描述参数集输入至LSTM网络中，得到所述目标物对应的关键目标物识别结果。
14.一种自动驾驶启动模式中的前车跟随装置，其特征在于，包括：
关键目标物识别模块，用于在车辆进入自动驾驶启动模式中的前车跟随场景时，采用权利要求1-11中任一项所述的方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
车速控制模块，用于将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
15.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的关键目标物的识别方法或实现如权利要求12中所述的自动驾驶启动模式中的前车跟随方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的关键目标物的识别方法或实现如权利要求12中所述的自动驾驶启动模式中的前车跟随方法。
CN202110944797.0A 2021-08-17 2021-08-17 关键目标物的识别方法、装置、计算机设备及存储介质 Active CN113673412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110944797.0A CN113673412B (zh) 2021-08-17 2021-08-17 关键目标物的识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110944797.0A CN113673412B (zh) 2021-08-17 2021-08-17 关键目标物的识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113673412A true CN113673412A (zh) 2021-11-19
CN113673412B CN113673412B (zh) 2023-09-26

Family

ID=78543360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110944797.0A Active CN113673412B (zh) 2021-08-17 2021-08-17 关键目标物的识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113673412B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092395A (ja) * 2004-09-27 2006-04-06 Satoshi Izumoya 交通規制情報の自動制御システム
CN108172025A (zh) * 2018-01-30 2018-06-15 东软集团股份有限公司 一种辅助驾驶方法、装置、车载终端及车辆
CN108229292A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 目标识别方法、装置、存储介质和电子设备
US20180275667A1 (en) * 2017-03-27 2018-09-27 Uber Technologies, Inc. Machine Learning for Event Detection and Classification in Autonomous Vehicles
CN109635793A (zh) * 2019-01-31 2019-04-16 南京邮电大学 一种基于卷积神经网络的无人驾驶行人轨迹预测方法
CN110021165A (zh) * 2019-03-18 2019-07-16 浙江工业大学 一种基于Autoencoder-LSTM融合模型的交通流预测方法
US20200042776A1 (en) * 2018-08-03 2020-02-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing body movement
CN111079590A (zh) * 2019-12-04 2020-04-28 东北大学 一种无人驾驶车辆的周边车辆行为预判方法
CN111310583A (zh) * 2020-01-19 2020-06-19 中国科学院重庆绿色智能技术研究院 一种基于改进的长短期记忆网络的车辆异常行为识别方法
US20200324794A1 (en) * 2020-06-25 2020-10-15 Intel Corporation Technology to apply driving norms for automated vehicle behavior prediction
CN111860269A (zh) * 2020-07-13 2020-10-30 南京航空航天大学 一种多特征融合的串联rnn结构及行人预测方法
CN112085165A (zh) * 2020-09-02 2020-12-15 中国第一汽车股份有限公司 一种决策信息生成方法、装置、设备及存储介质
CN112767682A (zh) * 2020-12-18 2021-05-07 南京航空航天大学 一种基于图卷积神经网络的多尺度交通流量预测方法
CN112884742A (zh) * 2021-02-22 2021-06-01 山西讯龙科技有限公司 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN112937603A (zh) * 2019-12-10 2021-06-11 三星电子株式会社 用于预测目标车辆的位置的***和方法
CN113139446A (zh) * 2021-04-12 2021-07-20 长安大学 一种端到端自动驾驶行为决策方法、***及终端设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092395A (ja) * 2004-09-27 2006-04-06 Satoshi Izumoya 交通規制情報の自動制御システム
US20180275667A1 (en) * 2017-03-27 2018-09-27 Uber Technologies, Inc. Machine Learning for Event Detection and Classification in Autonomous Vehicles
CN108229292A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 目标识别方法、装置、存储介质和电子设备
CN108172025A (zh) * 2018-01-30 2018-06-15 东软集团股份有限公司 一种辅助驾驶方法、装置、车载终端及车辆
US20200042776A1 (en) * 2018-08-03 2020-02-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing body movement
CN109635793A (zh) * 2019-01-31 2019-04-16 南京邮电大学 一种基于卷积神经网络的无人驾驶行人轨迹预测方法
CN110021165A (zh) * 2019-03-18 2019-07-16 浙江工业大学 一种基于Autoencoder-LSTM融合模型的交通流预测方法
CN111079590A (zh) * 2019-12-04 2020-04-28 东北大学 一种无人驾驶车辆的周边车辆行为预判方法
CN112937603A (zh) * 2019-12-10 2021-06-11 三星电子株式会社 用于预测目标车辆的位置的***和方法
CN111310583A (zh) * 2020-01-19 2020-06-19 中国科学院重庆绿色智能技术研究院 一种基于改进的长短期记忆网络的车辆异常行为识别方法
US20200324794A1 (en) * 2020-06-25 2020-10-15 Intel Corporation Technology to apply driving norms for automated vehicle behavior prediction
CN111860269A (zh) * 2020-07-13 2020-10-30 南京航空航天大学 一种多特征融合的串联rnn结构及行人预测方法
CN112085165A (zh) * 2020-09-02 2020-12-15 中国第一汽车股份有限公司 一种决策信息生成方法、装置、设备及存储介质
CN112767682A (zh) * 2020-12-18 2021-05-07 南京航空航天大学 一种基于图卷积神经网络的多尺度交通流量预测方法
CN112884742A (zh) * 2021-02-22 2021-06-01 山西讯龙科技有限公司 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN113139446A (zh) * 2021-04-12 2021-07-20 长安大学 一种端到端自动驾驶行为决策方法、***及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张燕咏;张莎;张昱;吉建民;段逸凡;黄奕桐;彭杰;张宇翔;: "基于多模态融合的自动驾驶感知及计算", 计算机研究与发展, no. 09 *
李为斌;刘佳;: "基于视觉的动态手势识别概述", 计算机应用与软件, no. 03 *

Also Published As

Publication number Publication date
CN113673412B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
Chen et al. Attention-based hierarchical deep reinforcement learning for lane change behaviors in autonomous driving
Pizzati et al. Enhanced free space detection in multiple lanes based on single CNN with scene identification
CN110781949B (zh) 基于异步式串行多传感器的航迹数据融合方法及存储介质
Chen et al. Driving maneuvers prediction based autonomous driving control by deep Monte Carlo tree search
US11472444B2 (en) Method and system for dynamically updating an environmental representation of an autonomous agent
Ji et al. A method for LSTM-based trajectory modeling and abnormal trajectory detection
CN113740837B (zh) 一种障碍物跟踪方法、装置、设备及存储介质
CN115860102B (zh) 一种自动驾驶感知模型的预训练方法、装置、设备和介质
CN114913386A (zh) 一种多目标跟踪模型的训练方法以及多目标跟踪方法
CN115862136A (zh) 基于骨骼关节的轻量级加油员行为识别方法及装置
CN114913206A (zh) 一种基于多模态融合的多目标跟踪的方法和***
Nakamura et al. An effective combination of loss gradients for multi-task learning applied on instance segmentation and depth estimation
CN112651294A (zh) 基于多尺度融合的遮挡人体姿势识别方法
Lu et al. Hybrid deep learning based moving object detection via motion prediction
CN116975781A (zh) 一种自动驾驶车辆行为决策***和方法
CN113673412A (zh) 关键目标物的识别方法、装置、计算机设备及存储介质
Afifi et al. Robust real-time pedestrian detection in aerial imagery on jetson tx2
CN115687764B (zh) 车辆轨迹评估模型的训练方法、车辆轨迹评估方法和装置
Shukla et al. UBOL: User-Behavior-aware one-shot learning for safe autonomous driving
CN115014366A (zh) 一种目标融合方法、装置、车辆及存储介质
CN113762043A (zh) 异常轨迹识别方法及装置
Li et al. Smart IoT-based visual target enabled track and field training using image recognition
CN113837270B (zh) 一种目标识别方法、装置、设备及存储介质
Chen et al. A study on a target detection model for autonomous driving tasks
Sineglazov et al. Visual Navigation Systems Implementation Using Hybrid Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant