CN112347819B - 一种基于全图与局部检测的车辆路径变换方法及装置 - Google Patents

一种基于全图与局部检测的车辆路径变换方法及装置 Download PDF

Info

Publication number
CN112347819B
CN112347819B CN201910729506.9A CN201910729506A CN112347819B CN 112347819 B CN112347819 B CN 112347819B CN 201910729506 A CN201910729506 A CN 201910729506A CN 112347819 B CN112347819 B CN 112347819B
Authority
CN
China
Prior art keywords
vehicle
video frame
image
detected
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910729506.9A
Other languages
English (en)
Other versions
CN112347819A (zh
Inventor
江浩
李亚
费晓天
任少卿
朱望江
董维山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910729506.9A priority Critical patent/CN112347819B/zh
Publication of CN112347819A publication Critical patent/CN112347819A/zh
Application granted granted Critical
Publication of CN112347819B publication Critical patent/CN112347819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开一种基于全图与局部检测的车辆路径变换方法及装置。该方法包括：通过全图‑局部交替检测的方式对他车进行车辆检测，然后利用检测得到的他车的包含有速度、位置和加速度的当前运动信息以及自车的当前运动信息，基于路径变换模型生成满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径。由于路径变换模型是利用自车和他车的运动信息和目标行驶路径训练得到的，因此，利用该路径变换模型可根据当前车辆和他车的运动信息得到与当前车辆进行路径更换时的目标行驶路径，又由于利用通过全图‑局部交替检测的方式来检测到他车，大大减少了计算量，本实施例这样设置提升了车辆路径变换的准确性和快速性。

Description

一种基于全图与局部检测的车辆路径变换方法及装置
技术领域
本发明涉及智能驾驶技术领域，具体而言，涉及一种基于全图与局部检测的车辆路径变换方法及装置。
背景技术
运动规划，就是在给定的位置A与位置B之间为无人驾驶车辆找到一条符合约束条件的路径。这个约束条件可以是无碰撞、路径最短、机械功最小等。是机器人学的一个重要研究领域。
对于安全高效的无人车规划来说，基于优化求解的规划办法可以给无人车提供一种最优策略。目前已有的路径规划算法，大多是基于搜索，生成一系列的满足动力学的可行轨迹，然后再通过碰撞检测，以及融合人为的一些轨迹特征筛选出较为合适的运动路径。
上述方式在实现过程中计算复杂度较大，且不适用于实时的应用过程，导致车辆进行路径变换的速度慢且准确性较低。
发明内容
本发明提供了一种基于全图与局部检测的车辆路径变换方法及装置，以提升车辆路径变换的准确性和快速性。具体的技术方案如下。
第一方面，本发明实施例提供了一种基于全图与局部检测的车辆路径变换方法，该方法包括：
当需要路径变换时，获取自车的采集设备实时采集的周围环境的当前视频帧图像；
判断所述当前视频帧图像与上一次进行全图车辆检测的视频帧图像之间的帧数间隔是否为预设间隔；
如果是预设间隔，根据预先建立的全图车辆检测模型对所述当前视频帧图像进行全图车辆检测；
当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像不存在检出车辆时，将当前视频帧图像的检出车辆作为第一检出车辆，对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第二检出车辆的位置和类别，获取所述第二检出车辆的速度和加速度，并将所述第二检出车辆的速度、位置和加速度存入自车对应的环境感知信息中；
当未检测出检出车辆且当前视频帧图像的上一视频帧图像存在检出车辆时，将所述上一视频帧图像存在的检出车辆作为第三检出车辆，对于每个第三检出车辆，确定该第三检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第四检出车辆的位置和类别，获取所述第四检出车辆的速度和加速度，并将所述第四检出车辆的速度、位置和加速度存入自车对应的环境感知信息中；
当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像存在检出车辆时，将当前视频帧图像的检出车辆和上一视频帧图像存在的检出车辆作为第五检出车辆，对于每个第五检出车辆，确定该第五检出车辆在该第五检出车辆所在视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第六检出车辆的位置和类别，对多个第六检出车辆进行目标匹配，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆，获取匹配成功车辆中位于当前视频帧图像中的车辆的速度和加速度以及获取匹配不成功的车辆的速度和加速度，并将匹配成功车辆中位于当前视频帧图像中的车辆的速度、位置和加速度以及匹配不成功的车辆的速度、位置和加速度存入自车对应的环境感知信息中；
获取自车对应的环境感知信息中他车的当前运动信息，所述当前运动信息包括速度、位置和加速度；
根据自车的当前运动信息和所述他车的当前运动信息，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作；
其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；所述路径变换模型使得当前车辆和他车的当前运动信息，与所述当前车辆进行路径更换时的目标行驶路径相关联。
第二方面，本发明实施例提供了一种基于全图与局部检测的车辆路径变换装置，该装置包括：
第一获取模块，用于当需要路径变换时，获取自车的采集设备实时采集的周围环境的当前视频帧图像；
判断模块，用于判断所述当前视频帧图像与上一次进行全图车辆检测的视频帧图像之间的帧数间隔是否为预设间隔，如果是，触发全图车辆检测模块；
所述全图车辆检测模块，用于根据预先建立的全图车辆检测模型对所述当前视频帧图像进行全图车辆检测；
第一检测结果模块，用于当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像不存在检出车辆时，将当前视频帧图像的检出车辆作为第一检出车辆，对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第二检出车辆的位置和类别，获取所述第二检出车辆的速度和加速度，并将所述第二检出车辆的速度、位置和加速度存入自车对应的环境感知信息中；
第二检测结果模块，用于当未检测出检出车辆且当前视频帧图像的上一视频帧图像存在检出车辆时，将所述上一视频帧图像存在的检出车辆作为第三检出车辆，对于每个第三检出车辆，确定该第三检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第四检出车辆的位置和类别，获取所述第四检出车辆的速度和加速度，并将所述第四检出车辆的速度、位置和加速度存入自车对应的环境感知信息中；
第三检测结果模块，用于当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像存在检出车辆时，将当前视频帧图像的检出车辆和上一视频帧图像存在的检出车辆作为第五检出车辆，对于每个第五检出车辆，确定该第五检出车辆在该第五检出车辆所在视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第六检出车辆的位置和类别，对多个第六检出车辆进行目标匹配，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆，获取匹配成功车辆中位于当前视频帧图像中的车辆的速度和加速度以及获取匹配不成功的车辆的速度和加速度，并将匹配成功车辆中位于当前视频帧图像中的车辆的速度、位置和加速度以及匹配不成功的车辆的速度、位置和加速度存入自车对应的环境感知信息中；
第二获取模块，用于获取自车对应的环境感知信息中他车的当前运动信息，所述当前运动信息包括速度、位置和加速度；
路径变换模块，用于根据自车的当前运动信息和所述他车的当前运动信息，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作；
其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；所述路径变换模型使得当前车辆和他车的当前运动信息，与所述当前车辆进行路径更换时的目标行驶路径相关联。
由上述内容可知，本发明实施例提供的基于全图与局部检测的车辆路径变换方法及装置，可以通过全图-局部交替检测的方式对他车进行车辆检测，然后利用检测得到的他车的包含有速度、位置和加速度的当前运动信息以及自车的当前运动信息，基于路径变换模型生成满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径。其中，目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系，通过使得该目标函数最小，可使当前车辆在需要路径变换时能够准确、快速且平稳地进行路径变换。由于路径变换模型是利用自车和他车的运动信息和目标行驶路径训练得到的，因此，利用该路径变换模型，可根据当前车辆和他车的运动信息，得到与当前车辆进行路径更换时的目标行驶路径，又由于利用通过全图-局部交替检测的方式来检测到他车，大大减少了计算量，相对于现有技术采用搜索算法从多条候选路径中筛选出最优路径的方式，本实施例这样设置提升了车辆路径变换的准确性和快速性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、通过全图-局部交替检测的方式对他车进行车辆检测，然后利用检测得到的他车的包含有速度、位置和加速度的当前运动信息以及自车的当前运动信息，基于路径变换模型生成满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径。由于路径变换模型是利用自车和他车的运动信息和目标行驶路径训练得到的，因此，利用该路径变换模型，可根据当前车辆和他车的运动信息，得到与当前车辆进行路径更换时的目标行驶路径，又由于利用通过全图-局部交替检测的方式来检测到他车，大大减少了计算量，相对于现有技术采用搜索算法从多条候选路径中筛选出最优路径的方式，本实施例这样设置提升了车辆路径变换的准确性和快速性。
2、利用当前车辆和他车的包含有速度、位置和加速度等历史运动信息，生成满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径。此外，通过对生成的规划路径进行路径变换效果的检测，可筛选出达到预设路径变换要求的目标行驶路径，从而进一步提升了路径变换的准确性。通过将目标行驶路径和对应的历史运动信息作为训练样本集，并利用该训练样本集对初始神经网络模型进行训练，可得到车辆的路径变换模型，该路径变换模型使得当前车辆和他车的运动信息与当前车辆进行路径更换时的目标行驶路径相关联，利用该路径变换模型可以得到与当前车辆进行路径更换时的目标行驶路径。
3、通过对第一初始网络模型进行训练，可以得到使得第一样本图像和检测框内的车辆的位置和类别相关联的全图车辆检测模型，通过该全图车辆检测模型可以对视频帧图像进行全图车辆检测以便得到视频帧图像中的他车的位置和类别。
4、通过第一检出车辆在当前视频帧图像中的左上角点的坐标、右下角点的坐标、预设坐标变换系数以及预先建立的局部车辆检测模型输入图像的宽度和高度，将第一检出车辆在当前视频帧图像中对应的矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，为后续进行局部车辆检测做了准备。
5、通过对第二初始网络模型进行训练，可以得到使得第二样本图像和检测框内的车辆的位置和类别相关联的局部车辆检测模型，通过该局部车辆检测模型可以对进行全图车辆检测得到的检出车辆再进行局部车辆检测以便修正检出车辆的位置和类别，得到视频帧图像中的他车的精准的位置和类别。
6、通过计算IoU的方式，考虑到了前后视频帧之间的关系，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆，得到的匹配成功的车辆就是将上一视频帧图像与当前视频帧图像中的同一辆他车一一对应起来，可以获知同一辆他车在上一视频帧图像的位置，以及在当前视频帧中的位置，起到了对同一辆他车进行跟踪的目的也起到了对同一辆他车进行车辆检测的目的，得到的匹配不成功的车辆，起到了对不同辆他车进行车辆检测的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于全图与局部检测的车辆路径变换方法的流程示意图；
图2为本发明实施例提供的一种车道变化的示意图；
图3为本发明实施例提供的一种基于全图与局部检测的车辆路径变换装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种基于全图与局部检测的车辆路径变换方法，能够提升路径规划的准确度和效率。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的基于全图与局部检测的车辆路径变换方法的一种流程示意图。该方法可由车辆的路径变换装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车载终端中，本发明实施例不做限定。该方法具体包括以下步骤。
S110：当需要路径变换时，获取自车的采集设备实时采集的周围环境的当前视频帧图像。
路径变换可以为车道变换、超车或者靠马路右侧停车等。当自车需要路径变换时，需要获知道路上的他车的运行状况，因此，需要基于自车的采集设备采集的当前视频帧图像来获知他车的运行状况，即当需要路径变换时，获取自车的采集设备实时采集的周围环境的当前视频帧图像。
自车需要路径变换的触发条件可以是由驾驶员根据当前车辆的实际运行情况向驾驶辅助***发送路径变换指令，或者可以是当前自动驾驶车辆根据导航信息自动触发路径变换指令，或者也可以是当前自动驾驶车辆在检测到其他车辆的运行轨迹将对当前车辆的运行轨迹造成影响时触发路径变换指令，其中，当前车辆就是自车。
S120：判断当前视频帧图像与上一次进行全图车辆检测的视频帧图像之间的帧数间隔是否为预设间隔，如果是，执行步骤S130。
由于如果针对每一视频帧图像都进行全图目标检测，将使得计算量巨大，因此，为了减少计算量，本发明实施例中不再针对每一视频帧图像都进行全图目标检测，而是采用每隔预设帧数间隔进行全图目标检测的方式，因此，当获取了当前视频帧图像后，需要判断当前视频帧图像与上一次进行全图目标检测的视频帧图像之间的帧数间隔是否为预设间隔，并根据检测结果执行后续步骤。
S130：根据预先建立的全图车辆检测模型对当前视频帧图像进行全图车辆检测。
当前视频帧图像与上一次进行全图车辆检测的视频帧图像之间的帧数间隔为预设间隔时，说明当前视频帧图像为需要进行全图车辆检测的视频帧图像，此时，根据预先建立的全图车辆检测模型对当前视频帧图像进行全图车辆检测。
其中，全图车辆检测模型的训练过程可以为：
获取训练集中的第一样本图像以及第一样本图像包含的检测框内的车辆对应的第一位置和第一类别；将第一样本图像以及第一样本图像包含的检测框内的车辆对应的第一位置和第一类别输入到第一初始网络模型中，其中，第一初始网络模型包括第一特征提取层、区域生成网络层和第一回归层；通过第一特征提取层的第一模型参数，确定第一样本图像中的全图特征向量；通过区域生成网络层的第二模型参数对全图特征向量进行特征计算，得到包含第一参考车辆的候选区域的特征信息；通过第一回归层的第三模型参数，对特征信息进行回归，得到第一参考车辆所属的第一参考类别和第一参考车辆在第一样本图像中的第一参考位置；计算第一参考类别与第一类别之间的第一差异值，计算第一参考位置与第一位置之间的第二差异值；基于第一差异值和第二差异值调整第一模型参数、第二模型参数和第三模型参数，返回执行获取训练集中的第一样本图像以及第一样本图像包含的检测框内的车辆对应的第一位置和第一类别的步骤；当迭代次数达到第一预设次数时，完成训练，得到使得第一样本图像与检测框内的车辆的位置和类别相关联的全图车辆检测模型。
在建立全图车辆检测模型时，需要获取训练集中的第一样本图像以及第一样本图像包含的检测框内的车辆对应的第一位置和第一类别。
可以理解的是，首先需要构建一个第一初始网络模型，然后对其进行训练，进而得到全图车辆检测模型。在一种实现方式中，可以利用caffe工具构建一个包括第一特征提取层、区域生成网络层和第一回归层的第一初始网络模型。示例性的，第一初始网络模型可以为Faster R-CNN(Faster Region Convolutional Neural Networks，快速区域卷积神经网络)，R-FCN(Region-based Fully Convolutional Networks，基于区域的全卷积网络)、YOLO算法或SSD算法。
在获取了训练集中的第一样本图像以及第一样本图像包含的检测框内的车辆对应的第一位置和第一类别后，将第一样本图像以及第一样本图像包含的检测框内的车辆对应的第一位置和第一类别输入到第一初始网络模型中进行训练。
具体来说，将第一样本图像输入到第一特征提取层，通过第一特征提取层的第一模型参数，确定第一样本图像中的全图特征向量。然后将所确定的全图特征向量输入到区域生成网络层，通过区域生成网络层的第二模型参数对全图特征向量进行特征计算，得到包含第一参考车辆的候选区域的特征信息。然后将特征信息输入到第一回归层，通过第一回归层的第三模型参数，对特征信息进行回归，得到第一参考车辆所属的第一参考类别和第一参考车辆在第一样本图像中的第一参考位置。
在得到第一参考类别和第一参考位置后，分别与第一类别和第一位置进行对比，可以分别通过预先定义的差异值计算函数计算第一参考类别与第一类别之间的第一差异值，计算第一参考位置与第一位置之间的第二差异值。当迭代次数未达到第一预设次数时，说明此时的第一初始网络模型还未能适应大部分的第一样本图像，此时，需要基于第一差异值和第二差异值通过反向传播法调整第一模型参数、第二模型参数和第三模型参数，返回执行获取训练集中的第一样本图像以及第一样本图像包含的检测框内的车辆对应的第一位置和第一类别的步骤。
在训练过程中，可以循环遍历所有的第一样本图像，并不断调整第一初始网络模型的第一模型参数、第二模型参数和第三模型参数。当迭代次数达到第一预设次数时，说明此时的第一初始网络模型能适应大部分的第一样本图像，获得准确的结果，此时，确定第一初始网络模型训练完成，得到全图车辆检测模型。可以理解的是，训练得到的全图车辆检测模型使得第一样本图像与检测框内的车辆的位置和类别相关联，且，全图车辆检测模型是将全图作为输入，获得检出车辆的位置和类别的模型。
可见，通过上述训练方式对第一初始网络模型进行训练，可以得到使得第一样本图像和检测框内的车辆的位置和类别相关联的全图车辆检测模型，通过该全图车辆检测模型可以对视频帧图像进行全图车辆检测以便得到视频帧图像中的他车的位置和类别。
S140：当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像不存在检出车辆时，将当前视频帧图像的检出车辆作为第一检出车辆，对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入局部车辆检测模型中得到第二检出车辆的位置和类别，获取第二检出车辆的速度和加速度，并将第二检出车辆的速度、位置和加速度存入自车对应的环境感知信息中。
本发明实施例为了考虑前后视频帧之间的关系，需要将当前视频帧的检测结果与上一视频帧的检测结果合并，当通过全图车辆检测模型检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像不存在检出车辆时，将当前视频帧图像的检出车辆作为第一检出车辆。
由于在利用预先建立的全图车辆检测模型对当前视频帧图像进行全图车辆检测并得到检出车辆的位置和类别的同时，还会得到检出车辆的得分，得分大于预设阈值说明检出车辆的准确率较高，因此，还可以在得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像不存在检出车辆时，将当前视频帧图像的检出车辆中得分大于预设阈值的检出车辆作为第一检出车辆。
由于全图车辆检测的结果可能出现误差，为了更精准的进行车辆检测，本发明实施例中提出了通过全图-局部交替检测的方法，也就是在进行全图车辆检测后，对第一检出车辆继续进行局部车辆检测。其中，进行局部车辆检测的方式为通过预先建立的局部车辆检测模型进行局部车辆检测。
由于预先建立的局部车辆检测模型的输入图像一般为整张图像的局部，因此，输入图像的尺寸是预设尺寸，且预设尺寸通常较小，因此，在进行局部车辆检测前，需要将进行局部车辆检测的图像的尺寸缩放至预设尺寸。即对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入局部车辆检测模型中得到第二检出车辆的位置和类别。由于在进行局部车辆检测时，每一次仅输入一个缩放后的矩形图像区域，使得计算量较小，进一步使得误检的发生概率减小，提高了车辆检测的准确率。
由于在利用预先建立的局部车辆检测模型对缩放后得到的矩形图像区域进行局部车辆检测得到检出车辆的位置和类别的同时，还会得到检出车辆的得分，得分大于预设阈值说明检出车辆的准确率较高，因此，将缩放后得到的矩形图像区域输入局部车辆检测模型中得到第二检出车辆的位置和类别，可以包括：将缩放后得到的矩形图像区域输入局部车辆检测模型中得到候选检出车辆的位置和类别以及候选检出车辆的得分，将候选检出车辆中得分大于预设阈值的候选检出车辆作为第二检出车辆。
其中，对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度的步骤，可以包括：
对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中的左上角点的坐标和右下角点的坐标，在当前视频帧图像中得到以左上角点和右下角点为对角线的矩形图像区域；根据左上角点的坐标、右下角点的坐标、预设坐标变换系数以及预先建立的局部车辆检测模型输入图像的宽度和高度计算得到左上交点缩放后的坐标和右下角点缩放后的坐标；基于左上角点的坐标、右下角点的坐标、左上交点缩放后的坐标和右下角点缩放后的坐标，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度。
对于每个第一检出车辆，得到了该第一检出车辆的位置，那么该第一检出车辆在当前视频帧图像中的左上角点的坐标和右下角点的坐标就是已知的，为了可以进行局部车辆检测，在当前视频帧图像中得到以左上角点和右下角点为对角线的矩形图像区域。
然后根据左上角点的坐标、右下角点的坐标、预设坐标变换系数以及预先建立的局部车辆检测模型输入图像的宽度和高度计算得到左上角点缩放后的坐标和右下角点缩放后的坐标。其中，左上角点的坐标包括左上角点的横坐标和左上角点的纵坐标，右下角点的坐标包括右下角点的横坐标和右下角点的纵坐标，预设坐标变换系数包括第一预设横坐标变换系数、第一预设纵坐标变换系数、第二预设横坐标变换系数、第二预设纵坐标变换系数。
其中，左上角点缩放后的坐标和右下角点缩放后的坐标可以通过以下公式计算：
Figure BDA0002160037000000101
其中，ax为第一预设横坐标变换系数，ay为第一预设纵坐标变换系数，dx为第二预设横坐标变换系数，dy为第二预设纵坐标变换系数，xlt为左上角点的横坐标，ylt为左上角点的纵坐标，xrb为右下角点的横坐标，yrb为右下角点的纵坐标，Fw为左上角点缩放后的横坐标，Fh为左上角点缩放后的纵坐标，H为局部车辆检测模型输入图像的高度，W为局部车辆检测模型输入图像的宽度。
在得到左上角点缩放后的坐标和右下角点缩放后的坐标后，通过分别与左上角点的坐标和右下角点的坐标进行对比，就可以获知需要对矩形图像区域的宽度和高度分别缩放多少缩放量才能达到预先建立的局部车辆检测模型输入图像的宽度和高度，然后按照缩放量分别对宽度和高度进行缩放即可，即基于左上角点的坐标、右下角点的坐标、左上交点缩放后的坐标和右下角点缩放后的坐标，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度。
由此，通过第一检出车辆在当前视频帧图像中的左上角点的坐标、右下角点的坐标、预设坐标变换系数以及预先建立的局部车辆检测模型输入图像的宽度和高度，将第一检出车辆在当前视频帧图像中对应的矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，为后续进行局部车辆检测做了准备。
其中，局部车辆检测模型的训练过程可以为：
获取训练集中的第二样本图像以及第二样本图像包含的检测框内的车辆对应的第二位置和第二类别；将第二样本图像以及第二样本图像包含的检测框内的车辆对应的第二位置和第二类别输入到第二初始网络模型中，其中，第二初始网络模型包括第二特征提取层和第二回归层；通过第二特征提取层的第四模型参数，确定第二样本图像中的特征向量；通过第二回归层的第五模型参数，对特征向量进行回归，得到第二参考车辆所属的第二参考类别和第二参考车辆在第二样本图像中的第二参考位置；计算第二参考类别与第二类别之间的第三差异值，计算第二参考位置与第二位置之间的第四差异值；基于第三差异值和第四差异值调整第四模型参数和第五模型参数，返回执行获取训练集中的第二样本图像以及第二样本图像包含的检测框内的车辆对应的第二位置和第二类别的步骤；当迭代次数达到第二预设次数时，完成训练，得到使得第二样本图像与检测框内的车辆的位置和类别相关联的局部车辆检测模型。
在建立局部车辆检测模型时，需要获取训练集中的第二样本图像以及第二样本图像包含的检测框内的车辆对应的第二位置和第二类别。
可以理解的是，首先需要构建一个第二初始网络模型，然后对其进行训练，进而得到局部车辆检测模型。在获取了训练集中的第二样本图像以及第二样本图像包含的检测框内的车辆对应的第二位置和第二类别后，将第二样本图像以及第二样本图像包含的检测框内的车辆对应的第二位置和第二类别输入到第二初始网络模型中进行训练。
具体来说，将第二样本图像输入到第二特征提取层，通过第二特征提取层的第四模型参数，确定第二样本图像中的特征向量。然后将所确定的特征向量输入到第二回归层，通过第二回归层的第五模型参数，对特征向量进行回归，得到第二参考车辆所属的第二参考类别和第二参考车辆在第二样本图像中的第二参考位置。
在得到第二参考类别和第二参考位置后，分别与第二类别和第二位置进行对比，可以分别通过预先定义的差异值计算函数计算第二参考类别与第二类别之间的第三差异值，计算第二参考位置与第二位置之间的第四差异值。当迭代次数未达到第二预设次数时，说明此时的第二初始网络模型还未能适应大部分的第二样本图像，此时，需要基于第三差异值和第四差异值通过反向传播法调整第四模型参数和第五模型参数，返回执行获取训练集中的第二样本图像以及第二样本图像包含的检测框内的车辆对应的第二位置和第二类别的步骤。
在训练过程中，可以循环遍历所有的第二样本图像，并不断调整第二初始网络模型的第四模型参数和第五模型参数。当迭代次数达到第二预设次数时，说明此时的第二初始网络模型能适应大部分的第二样本图像，获得准确的结果，此时，确定第二初始网络模型训练完成，得到局部车辆检测模型。可以理解的是，训练得到的局部车辆检测模型使得第二样本图像与检测框内的车辆的位置和类别相关联，且，局部车辆检测模型是将局部图像作为输入，获得检出车辆的位置和类别的模型。
可见，通过上述训练方式对第二初始网络模型进行训练，可以得到使得第二样本图像和检测框内的车辆的位置和类别相关联的局部车辆检测模型，通过该局部车辆检测模型可以对进行全图车辆检测得到的检出车辆再进行局部车辆检测以便修正检出车辆的位置和类别，得到视频帧图像中的他车的精准的位置和类别。
所得到的第二检出车辆也就是当前视频帧中的他车，为了便于后续基于他车进行路径变换，还需要获取第二检出车辆的速度和加速度，并将第二检出车辆的速度、位置和加速度存入自车对应的环境感知信息中，其中，第二检出车辆的速度和加速度可以通过摄像头或雷达等传感器获取到。
S150：当未检测出检出车辆且当前视频帧图像的上一视频帧图像存在检出车辆时，将上一视频帧图像存在的检出车辆作为第三检出车辆，对于每个第三检出车辆，确定该第三检出车辆在当前视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入局部车辆检测模型中得到第四检出车辆的位置和类别，获取所述第四检出车辆的速度和加速度，并将所述第四检出车辆的速度、位置和加速度存入自车对应的环境感知信息中。
当通过全图车辆检测模型未检测出检出车辆且当前视频帧图像的上一视频帧图像存在检出车辆时，将上一视频帧图像存在的检出车辆作为第三检出车辆。其中，通过全图车辆检测模型未检测出检出车辆的情况有多种，包括但不限于当前视频帧图像确实不存在车辆，以及，当前视频帧图像存在车辆，但全图车辆检测模型未能检测出。
由于全图车辆检测的结果可能出现误差，为了更精准的进行车辆检测，本发明实施例中提出了通过全图-局部交替检测的方法，也就是在进行全图车辆检测后，对第三检出车辆继续进行局部车辆检测。其中，进行局部车辆检测的方式为通过预先建立的局部车辆检测模型进行局部车辆检测。其中，局部车辆检测模型的训练过程可以参见步骤S140中的描述，在此不再赘述。
由于预先建立的局部车辆检测模型的输入图像一般为整张图像的局部，因此，输入图像的尺寸是预设尺寸，且预设尺寸通常较小，因此，在进行局部车辆检测前，需要将进行局部车辆检测的图像的尺寸缩放至预设尺寸。即对于每个第三检出车辆，确定该第三检出车辆在当前视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入局部车辆检测模型中得到第四检出车辆的位置和类别，建立第四检出车辆与该第三检出车辆的对应关系。
其中，确定该第三检出车辆在当前视频帧图像中对应的矩形图像区域，可以包括：确定该第三检出车辆在上一视频帧图像中的第一车辆位置，在当前视频帧中确定与该第一车辆位置相同的第一参考位置，基于该第一参考位置确定该第三检出车辆在当前视频帧图像中对应的矩形图像区域。
由于该第三检出车辆在前后两个视频帧图像中的位置不会发生太大的变化，因此，可以假设在当前视频帧图像中，该第三检出车辆仍然在上一视频帧图像的第一车辆位置，然后将当前视频帧图像中与该第一车辆位置相同的第一参考位置对应的矩形图像区域作为该第三检出车辆在当前视频帧图像中对应的矩形图像区域。然后将该第三检出车辆在当前视频帧图像中对应的矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入局部车辆检测模型中得到第四检出车辆的位置和类别，由此，即可获得该第三检出车辆在当前视频帧图像中的位置即第四检出车辆的位置。
在得到第四检出车辆的位置和类别后，建立第四检出车辆与该第三检出车辆的对应关系。建立第四检出车辆与该第三检出车辆的对应关系，也就是将上一视频帧图像与当前视频帧图像中的同一辆他车对应起来，可以获知同一辆他车在上一视频帧图像的位置，以及在当前视频帧中的位置，起到了对同一辆他车进行跟踪的目的。
所得到的第四检出车辆也就是当前视频帧中的他车，为了便于后续基于他车进行路径变换，还需要获取第四检出车辆的速度和加速度，并将第四检出车辆的速度、位置和加速度存入自车对应的环境感知信息中，其中，第四检出车辆的速度和加速度可以通过摄像头或雷达等传感器获取到。
S160：当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像存在检出车辆时，将当前视频帧图像的检出车辆和上一视频帧图像存在的检出车辆作为第五检出车辆，对于每个第五检出车辆，确定该第五检出车辆在该第五检出车辆所在视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入局部车辆检测模型中得到第六检出车辆的位置和类别，对多个第六检出车辆进行目标匹配，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆，获取匹配成功车辆中位于当前视频帧图像中的车辆的速度和加速度以及获取匹配不成功的车辆的速度和加速度，并将匹配成功车辆中位于当前视频帧图像中的车辆的速度、位置和加速度以及匹配不成功的车辆的速度、位置和加速度存入自车对应的环境感知信息中。
当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像存在检出车辆时，将当前视频帧图像的检出车辆和上一视频帧图像存在的检出车辆作为第五检出车辆。
由于全图车辆检测的结果可能出现误差，为了更精准的进行车辆检测，本发明实施例中提出了通过全图-局部交替检测的方法，也就是在进行全图车辆检测后，对第五检出车辆继续进行局部车辆检测。其中，进行局部车辆检测的方式为通过预先建立的局部车辆检测模型进行局部车辆检测。其中，局部车辆检测模型的训练过程可以参见步骤S140中的描述，在此不再赘述。
由于预先建立的局部车辆检测模型的输入图像一般为整张图像的局部，因此，输入图像的尺寸是预设尺寸，且预设尺寸通常较小，因此，在进行局部车辆检测前，需要将进行局部车辆检测的图像的尺寸缩放至预设尺寸。即对于每个第五检出车辆，确定该第五检出车辆在该第五检出车辆所在视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入局部车辆检测模型中得到第六检出车辆的位置和类别，
其中，确定该第五检出车辆在该第五检出车辆所在视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度的方式可以参考步骤S140中确定第一检出车辆在当前视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度的方式，在此不再赘述。
由于第六检出车辆中既包括上一视频帧图像的检出车辆又包括当前视频帧图像的检出车辆，为了对车辆进行检测和跟踪，在得到第六检出车辆的位置和类别后，对多个第六检出车辆进行目标匹配，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆。
其中，对多个第六检出车辆进行目标匹配，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆的步骤，可以包括：
对于当前视频帧图像的每个第六检出车辆，确定该第六检出车辆与上一视频帧图像的每个第六检出车辆之间的重叠区域以及相交区域，并计算重叠区域的面积与相交区域的面积的商；
将商中不小于预设阈值的商对应的当前视频帧图像的第六检出车辆以及上一视频帧图像的第六检出车辆作为匹配成功的车辆，将商中小于预设阈值的商对应的当前视频帧图像的第六检出车辆以及上一视频帧图像的第六检出车辆作为匹配不成功的车辆。
本发明实施例中通过计算IoU的方式来对多个第六检出车辆进行车辆匹配，其中，IoU(Intersection over Union，交并比)指两个几何图形相交部分的面积除以二者相并的面积的商。IoU越高，说明重叠的部分越多，说明两个车辆越相似。因此，在得到第六检出车辆的位置和类别后，对于当前视频帧图像的每个第六检出车辆，确定该第六检出车辆与上一视频帧图像的每个第六检出车辆之间的重叠区域以及相交区域，并计算重叠区域的面积与相交区域的面积的商。
在得到商后，将商与预设阈值进行对比，如果大于等于预设阈值，说明两个第六检出车辆较为相似，如果小于预设阈值，说明两个第六检出车辆不相似，因此，将商中不小于预设阈值的商对应的当前视频帧图像的第六检出车辆以及上一视频帧图像的第六检出车辆作为匹配成功的车辆，将商中小于预设阈值的商对应的当前视频帧图像的第六检出车辆以及上一视频帧图像的第六检出车辆作为匹配不成功的车辆。
存在匹配不成功的车辆的原因可能是全图车辆检测模型未能检测到当前视频帧图像新出现的车辆，也可能是上一视频帧图像和当前视频帧图像中均存在的车辆，在上一视频帧图像中检测到了该车辆，但通过全图车辆检测模型未能在当前视频帧图像中检测到该车辆，当然原因并不只限于此。
由此，通过计算IoU的方式，考虑到了前后视频帧之间的关系，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆，得到的匹配成功的车辆就是将上一视频帧图像与当前视频帧图像中的同一辆他车一一对应起来，可以获知同一辆他车在上一视频帧图像的位置，以及在当前视频帧中的位置，起到了对同一辆他车进行跟踪的目的也起到了对同一辆他车进行车辆检测的目的，得到的匹配不成功的车辆，起到了对不同辆他车进行车辆检测的目的。
无论是匹配成功的车辆还是匹配不成功的车辆均为他车，为了便于后续基于他车进行路径变换，对于每对匹配成功的车辆，只需要获取匹配成功车辆中唯有当前视频帧图像中的车辆的速度和加速度，对于匹配不成功的各车辆，需要获取匹配不成功的车辆的速度和加速度，并将匹配成功车辆中位于当前视频帧图像中的车辆的速度、位置和加速度以及匹配不成功的车辆的速度、位置和加速度存入自车对应的环境感知信息中，其中，车辆的速度和加速度可以通过摄像头或雷达等传感器获取到。
本实施例可以在当前视频帧图像进行全图车辆检测的情况下，将上一视频帧图像的检测结果与当前视频帧图像的检测结果进行合并，并通过全图-局部交替检测的方式，在进行全图车辆检测后继续进行局部车辆检测，由此考虑到了前后视频帧图像之间的关系，提高了车辆检测的检测准确率，又由于本发明实施例中是基于全图车辆检测模型和局部车辆检测模型对各个视频帧图像进行车辆检测，使得存在于每个视频帧图像中的车辆均可以被检测出，因此，可以检测出视频帧中新出现的车辆，同时，在局部检测后可以得到上一视频帧图像与当前视频帧图像之间的同一车辆的对应关系，以及上一视频帧图像与当前视频帧图像之间匹配成功的车辆，由此，可以实现对新出现的车辆进行跟踪，而不是仅针对视频中的第一视频帧图像中出现的各个车辆进行跟踪。
在上述步骤S120之后，步骤S170之前，判断当前视频帧图像与上一次进行全图车辆检测的视频帧图像之间的帧数间隔不为预设间隔时，执行如下步骤：
在当前视频帧图像的上一视频帧图像存在检出车辆时，将上一视频帧图像存在的检出车辆作为第七检出车辆，对于每个第七检出车辆，确定该第七检出车辆在当前视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部目标检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入局部目标检测模型中得到第八检出车辆的位置和类别，获取第八检出车辆的速度和加速度，并将第八检出车辆的速度、位置和加速度存入自车对应的环境感知信息中。
在当前视频帧图像与上一次进行全图车辆检测的视频帧图像之间的帧数间隔不为预设间隔时，说明当前视频帧图像不需要进行全图车辆检测，此时，如果当前视频帧图像的上一视频帧图像不存在检出车辆，则不做任何处理，如果当前视频帧图像的上一视频帧图像存在检出车辆，将上一视频帧图像存在的检出车辆作为第七检出车辆。
为了更精准的进行车辆检测，在得到第七检出车辆后，对第七检出车辆进行局部车辆检测。其中，进行局部车辆检测的方式为通过预先建立的局部车辆检测模型进行局部车辆检测。其中，局部车辆检测模型的训练过程可以参见步骤S140中的描述，在此不再赘述。
由于预先建立的局部车辆检测模型的输入图像一般为整张图像的局部，因此，输入图像的尺寸是预设尺寸，且预设尺寸通常较小，因此，在进行局部车辆检测前，需要将进行局部车辆检测的图像的尺寸缩放至预设尺寸。即对于每个第七检出车辆，确定该第七检出车辆在当前视频帧图像中对应的矩形图像区域，将矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入局部车辆检测模型中得到第八检出车辆的位置和类别，建立第八检出车辆与该第七检出车辆的对应关系。
其中，确定该第七检出车辆在当前视频帧图像中对应的矩形图像区域，可以包括：确定该第七检出车辆在上一视频帧图像中的第二车辆位置，在当前视频帧中确定与该第二车辆位置相同的第二参考位置，基于该第二参考位置确定该第七检出车辆在当前视频帧图像中对应的矩形图像区域。
由于该第七检出车辆在前后两个视频帧图像中的位置不会发生太大的变化，因此，可以假设在当前视频帧图像中，该第七检出车辆仍然在上一视频帧图像的第二车辆位置，然后将当前视频帧图像中与该第二车辆位置相同的第二参考位置对应的矩形图像区域作为该第七检出车辆在当前视频帧图像中对应的矩形图像区域。然后将该第七检出车辆在当前视频帧图像中对应的矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入局部车辆检测模型中得到第八检出车辆的位置和类别，由此，即可获得该第七检出车辆在当前视频帧图像中的位置即第八检出车辆的位置。
在得到第八检出车辆的位置和类别后，建立第八检出车辆与该第七检出车辆的对应关系。建立第八检出车辆与该第七检出车辆的对应关系，也就是将上一视频帧图像与当前视频帧图像中的同一辆他车对应起来，可以获知同一辆他车在上一视频帧图像的位置，以及在当前视频帧中的位置，起到了对同一辆他车进行跟踪的目的。
所得到的第八检出车辆也就是当前视频帧中的他车，为了便于后续基于他车进行路径变换，还需要获取第八检出车辆的速度和加速度，并将第八检出车辆的速度、位置和加速度存入自车对应的环境感知信息中，其中，第八检出车辆的速度和加速度可以通过摄像头或雷达等传感器获取到。
本发明实施例中并不是针对每一视频帧都进行全图车辆检测，而是采用间隔预设帧数间隔进行一次全图车辆检测，其他视频帧进行局部车辆检测的方式，由于局部车辆检测的计算量远远小于全图车辆检测，因此，采用本发明实施例间隔预设帧数间隔进行一次全图车辆检测的方式，计算量可以显著的下降。
S170：获取自车对应的环境感知信息中他车的当前运动信息，当前运动信息包括速度、位置和加速度。
为了基于他车进行路径变换，在已经将他车的当前运动信息都存储到自车对应的环境感知信息中后，需要获取自车对应的环境感知信息中他车的当前运动信息，当前运动信息包括速度、位置和加速度。
S180：根据自车的当前运动信息和他车的当前运动信息，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照目标行驶路径执行路径变换操作。
其中，目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；路径变换模型使得当前车辆和他车的当前运动信息，与当前车辆进行路径更换时的目标行驶路径相关联。
其中，路径变换模型通过如下方式来构建：
获取当前车辆在接收到路径变换指令时自车的历史运动信息，以及对应历史环境感知信息中当前车辆之外他车的历史运动信息，历史运动信息包括速度、位置和加速度；根据自车的历史运动信息和他车的历史运动信息，生成满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径，其中，目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；对规划路径进行路径变换效果的检测，并将检测结果中达到预设路径变换要求的目标行驶路径和对应的历史运动信息作为训练样本集；利用训练样本集对初始神经网络模型进行训练，得到车辆的路径变换模型，路径变换模型使得当前车辆和他车的运动信息，与当前车辆进行路径更换时的目标行驶路径相关联。
其中，路径变换可以为车道变换、超车或者靠马路右侧停车等。路径变换指令可以是由驾驶员根据当前车辆的实际运行情况向驾驶辅助***发送的指令，或者可以是当前自动驾驶车辆根据导航信息自动触发的路径变换指令，或者也可以是当前自动驾驶车辆在检测到其他车辆的运行轨迹将对当前车辆的运行轨迹造成影响时所触发的路径变换指令。
其中，历史运动信息包括速度、位置和加速度等，自车和他车的运动信息可通过摄像头或雷达等传感器获取到。
车辆在改变行驶路径的过程中，需要考虑与他车的安全距离以及路径变换的时间、平稳性等因素。本实施例中，通过设计目标函数，并使得目标函数最小，可使得车辆以最快、最平稳地状态到达目标位置，即得到最优的规划路径。其中，目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系，该积分关系可通过如下公式来表示：
Figure BDA0002160037000000181
其中，c1为系数，a为加速度，y为车辆的横向位置，ygoal为车辆在目标车道的横向位置。
示例性的，规划路径的生成可采用迭代的方式，将每次根据自车的历史运动信息和他车的历史运动信息，得到的满足车辆位置约束的运动学参数值，作为下次迭代的输入，直到生成使得预设目标函数最小的规划路径。其中，运动学参数包括车辆的横向位置、纵向位置、速度、加速度和转角等。
具体的，以车辆变道为例，图2是本发明实施例提供的一种车道变化的示意图，如图2所示，1表示当前车辆，2、3和4表示除当前车辆之外的其他车辆。CL表示当前车辆的当前行驶车道，TL表示当前车辆进行车道变换后的目标车道。如图2所示，当前车辆在当前车道CL时，当前车辆的纵向位置小于在运行方向上前车2的纵向位置；当前车辆在执行车道变换后行驶到目标车道TL时，当前车辆的纵向位置大于在运行方向上当前车辆后车3的纵向位置，且小于当前车辆前车4的纵向位置，具体可通过如下公式来体现：
Figure BDA0002160037000000182
其中，
Figure BDA0002160037000000183
表示当前车辆的纵向位置，
Figure BDA0002160037000000184
表示当前车辆在当前车道时，当前车辆的纵向位置小于在运行方向上前车2的纵向位置；
Figure BDA0002160037000000185
表示当前车辆在执行车道变换后行驶到目标车道时，在运行方向上当前车辆后车3的纵向位置；
Figure BDA0002160037000000186
表示当前车辆在执行车道变换后行驶到目标车道时，在运行方向上当前车辆前车4的纵向位置。
具体的，根据各运动学参数之前的关系，可将表征车辆运动信息的线性***
Figure BDA0002160037000000191
经过离散化后，按照如下迭代公式，生成使得预设目标函数最小的规划路径：
Figure BDA0002160037000000192
其中，
Figure BDA0002160037000000193
Figure BDA0002160037000000194
其中，x表示的是当前车辆的纵向位置，y表示当前车辆的横向位置；v表示当前车辆的速度；θ表示当前车辆的转角；n表示规划轨迹的第n个离散点，k表示迭代次数；vmin和vmax分别表示当前车辆的最低速度和最高速度；wego表示当前车辆的宽度；
Figure BDA0002160037000000195
表示车辆在执行车道变换后行驶到目标车道时，在运行方向上当前车辆后车的纵向位置；
Figure BDA0002160037000000196
表示当前车辆在执行车道变换后行驶到目标车道时，在运行方向上当前车辆前车的纵向位置；Δsafe(i)表示当前车辆与第i辆他车之间的安全距离。
由此，通过采用上述迭代的方式可生成使得预设目标函数最小的规划路径，该规划路径按照时间点进行离散化，每个离散点都存在与时刻对应的运动学参数值。本实施例提供的按照上述迭代公式直接得到规划路径的方式，降低了现有技术中按照搜索算法从多条候选的规划路径中筛选出最优路径的复杂度，而且本实施例这样设置也可以提高路径规划的准确度。
对于生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径，该规划路径可能为未达到预设路径变换要求的路径，例如车辆横在车道线中间，或者换道过程中有回到自车道的倾向。因此，对于规划路径，可通过确定车辆按照该规划路径行驶时在设定时间段内，车体是否一直处于压线状态，或者车体的横向位置的变化是否超过设定阈值等。本实施例这样设置可使得路径规划的安全性和平稳度更高。
示例性的，可通过分类器，例如SVM(Support Vector Machine，支持向量机)，对达到预设路径变换要求的规划路径添加“好”的标签，对未达到预设路径变换要求的规划路径或者根据自车或者他车的历史运动信息进行路径规划失败的路径添加“差”的标签。本实施例中，只将达到预设路径变换要求的规划路径，即标签为“好”的一类路径作为目标行驶路径，并将该目标行驶路径和对应的自车和他车的历史运动信息形成训练样本集，以进行基于神经网络的学习。
其中，初始神经网络模型优选为全连接神经网络，例如图网络或LSTM(LongShort-Term Memory，长短期记忆网络)等深度神经网络。通过利用训练样本集对初始神经网络模型进行训练，可得到当前车辆进行路径更换时的目标行驶路径，该目标行驶路径按照时间点进行离散化，每个离散点都存在与时刻对应的运动学参数值。按照该目标行驶路径，当前车辆可准确、快速且平稳地完成路径更换。
由此，可利用当前车辆和他车的包含有速度、位置和加速度等历史运动信息，生成满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径。其中，目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系，通过使得该目标函数最小，可使当前车辆在接收到路径变换指令时能够准确、快速且平稳地进行路径变换。此外，通过对生成的规划路径进行路径变换效果的检测，可筛选出达到预设路径变换要求的目标行驶路径，从而进一步提升了路径变换的准确性。通过将目标行驶路径和对应的历史运动信息作为训练样本集，并利用该训练样本集对初始神经网络模型进行训练，可得到车辆的路径变换模型，该路径变换模型使得当前车辆和他车的运动信息与当前车辆进行路径更换时的目标行驶路径相关联，利用该路径变换模型可以得到与当前车辆进行路径更换时的目标行驶路径，相对于现有技术采用搜索算法从多条候选路径中筛选出最优路径的方式，本实施例通过所训练得到的路径变换模型提升了车辆路径变换的准确性和快速性。
综上可见，本实施例提供的技术方案，通过全图-局部交替检测的方式对他车进行车辆检测，然后利用检测得到的他车的包含有速度、位置和加速度的当前运动信息以及自车的当前运动信息，基于路径变换模型生成满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径。其中，目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系，通过使得该目标函数最小，可使当前车辆在需要路径变换时能够准确、快速且平稳地进行路径变换。由于路径变换模型是利用自车和他车的运动信息和目标行驶路径训练得到的，因此，利用该路径变换模型，可根据当前车辆和他车的运动信息，得到与当前车辆进行路径更换时的目标行驶路径，又由于利用通过全图-局部交替检测的方式来检测到他车，大大减少了计算量，相对于现有技术采用搜索算法从多条候选路径中筛选出最优路径的方式，本实施例这样设置提升了车辆路径变换的准确性和快速性。
示例性的，由于路径变换模型在训练时，所用的训练样本集中的目标行驶路径是经过路径变换效果的检测后筛选得到的符合预设路径变换要求的路径，即对于一些运动信息，并不存在对应的目标行驶路径。因此，如果根据当前车辆的当前运动信息和他车的当前运动信息，未能获取到对应的目标行驶路径，则继续保持当前车辆在当前车道的行驶状态。
进一步的，在按照目标行驶路径执行路径变换操作之前，还可根据目标行驶路径各离散点所对应的运动学参数值，对当前车辆和他车进行碰撞检测；如果检测结果为当前车辆与他车会产生碰撞，则保持当前车辆在当前车道的行驶状态；如果检测结果为当前车辆与他车不会产生碰撞，则按照目标行驶路径执行车道变化动作。这样设置可进一步提升车道路径变化的安全性。
本实施例在上述实施例的基础上，将道路变换模型应用于车辆的实际路径变换过程中。在当前车辆需要路径变换时，如果根据当前车辆的当前运动信息和他车的当前运动信息，能够获取到基于路径变换模型生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照目标行驶路径执行路径变换操作。相对于直接根据自车和他车的运动信息，通过不断迭代的方式生成目标行驶路径，本实施例应用神经网络提升了目标行驶路径的生成速度，其方法简单，实用性强。
图3为本发明实施例提供的基于全图与局部检测的车辆路径变换装置的一种结构示意图。该装置可以包括：
第一获取模块310，用于当需要路径变换时，获取自车的采集设备实时采集的周围环境的当前视频帧图像；
判断模块320，用于判断所述当前视频帧图像与上一次进行全图车辆检测的视频帧图像之间的帧数间隔是否为预设间隔，如果是，触发全图车辆检测模块330；
所述全图车辆检测模块330，用于根据预先建立的全图车辆检测模型对所述当前视频帧图像进行全图车辆检测；
第一检测结果模块340，用于当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像不存在检出车辆时，将当前视频帧图像的检出车辆作为第一检出车辆，对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第二检出车辆的位置和类别，获取所述第二检出车辆的速度和加速度，并将所述第二检出车辆的速度、位置和加速度存入自车对应的环境感知信息中；
第二检测结果模块350，用于当未检测出检出车辆且当前视频帧图像的上一视频帧图像存在检出车辆时，将所述上一视频帧图像存在的检出车辆作为第三检出车辆，对于每个第三检出车辆，确定该第三检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第四检出车辆的位置和类别，获取所述第四检出车辆的速度和加速度，并将所述第四检出车辆的速度、位置和加速度存入自车对应的环境感知信息中；
第三检测结果模块360，用于当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像存在检出车辆时，将当前视频帧图像的检出车辆和上一视频帧图像存在的检出车辆作为第五检出车辆，对于每个第五检出车辆，确定该第五检出车辆在该第五检出车辆所在视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第六检出车辆的位置和类别，对多个第六检出车辆进行目标匹配，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆，获取匹配成功车辆中位于当前视频帧图像中的车辆的速度和加速度以及获取匹配不成功的车辆的速度和加速度，并将匹配成功车辆中位于当前视频帧图像中的车辆的速度、位置和加速度以及匹配不成功的车辆的速度、位置和加速度存入自车对应的环境感知信息中；
第二获取模块370，用于获取自车对应的环境感知信息中他车的当前运动信息，所述当前运动信息包括速度、位置和加速度；
路径变换模块380，用于根据自车的当前运动信息和所述他车的当前运动信息，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作；
其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；所述路径变换模型使得当前车辆和他车的当前运动信息，与所述当前车辆进行路径更换时的目标行驶路径相关联。
在本发明的另一实施例中，上述装置还可以包括构建模块，所述构建模块用于构建所述路径变换模型，所述构建模块包括：
运动信息获取子模块，用于获取当前车辆在需要路径变换时自车的历史运动信息，以及对应历史环境感知信息中所述当前车辆之外他车的历史运动信息，所述历史运动信息包括速度、位置和加速度；
规划路径生成子模块，用于根据所述自车的历史运动信息和所述他车的历史运动信息，生成满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径，其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；
训练样本集生成子模块，用于对所述规划路径进行路径变换效果的检测，并将所述检测结果中达到预设路径变换要求的目标行驶路径和对应的历史运动信息作为训练样本集；
路径变换模型生成子模块，用于利用所述训练样本集对初始神经网络模型进行训练，得到车辆的路径变换模型，所述路径变换模型使得当前车辆和他车的运动信息，与所述当前车辆进行路径更换时的目标行驶路径相关联。
在本发明的另一实施例中，上述装置还可以包括：
第四检测结果模块，用于在所述判断所述当前视频帧图像与上一次进行全图目标检测的视频帧图像之间的帧数间隔是否为预设间隔之后，在所述获取自车对应的环境感知信息中他车的当前运动信息之前，如果不是预设间隔，在当前视频帧图像的上一视频帧图像存在检出车辆时，将所述上一视频帧图像存在的检出车辆作为第七检出车辆，对于每个第七检出车辆，确定该第七检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部目标检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部目标检测模型中得到第八检出车辆的位置和类别，获取所述第八检出车辆的速度和加速度，并将所述第八检出车辆的速度、位置和加速度存入自车对应的环境感知信息中。
在本发明的另一实施例中，上述装置还可以包括第一训练模块，所述第一训练模块用于训练得到所述全图车辆检测模型，所述第一训练模块包括：
第一获取子模块，用于获取训练集中的第一样本图像以及所述第一样本图像包含的检测框内的车辆对应的第一位置和第一类别；
第一输入子模块，用于将所述第一样本图像以及所述第一样本图像包含的检测框内的车辆对应的第一位置和第一类别输入到第一初始网络模型中，其中，所述第一初始网络模型包括第一特征提取层、区域生成网络层和第一回归层；
全图特征向量确定子模块，用于通过所述第一特征提取层的第一模型参数，确定所述第一样本图像中的全图特征向量；
特征信息确定子模块，用于通过所述区域生成网络层的第二模型参数对所述全图特征向量进行特征计算，得到包含第一参考车辆的候选区域的特征信息；
第一生成子模块，用于通过所述第一回归层的第三模型参数，对所述特征信息进行回归，得到所述第一参考车辆所属的第一参考类别和所述第一参考车辆在所述第一样本图像中的第一参考位置；
第一差异计算子模块，用于计算所述第一参考类别与所述第一类别之间的第一差异值，计算所述第一参考位置与所述第一位置之间的第二差异值；
第一调整子模块，用于基于所述第一差异值和所述第二差异值调整所述第一模型参数、所述第二模型参数和所述第三模型参数，返回执行所述获取训练集中的第一样本图像以及所述第一样本图像包含的检测框内的车辆对应的第一位置和第一类别的步骤；
第一训练完成子模块，用于当迭代次数达到第一预设次数时，完成训练，得到使得第一样本图像与检测框内的车辆的位置和类别相关联的全图车辆检测模型。
在本发明的另一实施例中，所述第一检测结果模块340，可以具体用于：
对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中的左上角点的坐标和右下角点的坐标，在当前视频帧图像中得到以所述左上角点和所述右下角点为对角线的矩形图像区域；
根据所述左上角点的坐标、所述右下角点的坐标、预设坐标变换系数以及预先建立的局部车辆检测模型输入图像的宽度和高度计算得到所述左上角点缩放后的坐标和所述右下角点缩放后的坐标；
基于所述左上角点的坐标、所述右下角点的坐标、所述左上角点缩放后的坐标和所述右下角点缩放后的坐标，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度。
在本发明的另一实施例中，上述装置还可以包括第二训练模块，所述第二训练模块用于训练得到所述局部车辆检测模型，所述第二训练模块包括：
第二获取子模块，用于获取训练集中的第二样本图像以及所述第二样本图像包含的检测框内的车辆对应的第二位置和第二类别；
第二输入子模块，用于将所述第二样本图像以及所述第二样本图像包含的检测框内的车辆对应的第二位置和第二类别输入到第二初始网络模型中，其中，所述第二初始网络模型包括第二特征提取层和第二回归层；
特征向量确定子模块，用于通过所述第二特征提取层的第四模型参数，确定所述第二样本图像中的特征向量；
第二生成子模块，用于通过所述第二回归层的第五模型参数，对所述特征向量进行回归，得到第二参考车辆所属的第二参考类别和所述第二参考车辆在所述第二样本图像中的第二参考位置；
第二差异计算子模块，用于计算所述第二参考类别与所述第二类别之间的第三差异值，计算所述第二参考位置与所述第二位置之间的第四差异值；
第二调整子模块，用于基于所述第三差异值和所述第四差异值调整所述第四模型参数和所述第五模型参数，返回执行所述获取训练集中的第二样本图像以及所述第二样本图像包含的检测框内的车辆对应的第二位置和第二类别的步骤；
第二训练完成子模块，用于当迭代次数达到第二预设次数时，完成训练，得到使得第二样本图像与检测框内的车辆的位置和类别相关联的局部车辆检测模型。
在本发明的另一实施例中，所述第三检测结果模块360，可以具体用于：
对于当前视频帧图像的每个第六检出车辆，确定该第六检出车辆与上一视频帧图像的每个第六检出车辆之间的重叠区域以及相交区域，并计算所述重叠区域的面积与所述相交区域的面积的商；
将所述商中不小于预设阈值的商对应的当前视频帧图像的第六检出车辆以及上一视频帧图像的第六检出车辆作为匹配成功的车辆，将所述商中小于预设阈值的商对应的当前视频帧图像的第六检出车辆以及上一视频帧图像的第六检出车辆作为匹配不成功的车辆。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于全图与局部检测的车辆路径变换方法，其特征在于，包括：
当需要路径变换时，获取自车的采集设备实时采集的周围环境的当前视频帧图像；
判断所述当前视频帧图像与上一次进行全图车辆检测的视频帧图像之间的帧数间隔是否为预设间隔；
如果是预设间隔，根据预先建立的全图车辆检测模型对所述当前视频帧图像进行全图车辆检测；
当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像不存在检出车辆时，将当前视频帧图像的检出车辆作为第一检出车辆，对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第二检出车辆的位置和类别，获取所述第二检出车辆的速度和加速度，并将所述第二检出车辆的速度、位置和加速度存入自车对应的环境感知信息中；
当未检测出检出车辆且当前视频帧图像的上一视频帧图像存在检出车辆时，将所述上一视频帧图像存在的检出车辆作为第三检出车辆，对于每个第三检出车辆，确定该第三检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第四检出车辆的位置和类别，获取所述第四检出车辆的速度和加速度，并将所述第四检出车辆的速度、位置和加速度存入自车对应的环境感知信息中；
当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像存在检出车辆时，将当前视频帧图像的检出车辆和上一视频帧图像存在的检出车辆作为第五检出车辆，对于每个第五检出车辆，确定该第五检出车辆在该第五检出车辆所在视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第六检出车辆的位置和类别，对多个第六检出车辆进行目标匹配，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆，获取匹配成功车辆中位于当前视频帧图像中的车辆的速度和加速度以及获取匹配不成功的车辆的速度和加速度，并将匹配成功车辆中位于当前视频帧图像中的车辆的速度、位置和加速度以及匹配不成功的车辆的速度、位置和加速度存入自车对应的环境感知信息中；
获取自车对应的环境感知信息中他车的当前运动信息，所述当前运动信息包括速度、位置和加速度；
根据自车的当前运动信息和所述他车的当前运动信息，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作；
其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；所述路径变换模型使得当前车辆和他车的当前运动信息，与所述当前车辆进行路径更换时的目标行驶路径相关联。
2.如权利要求1所述的方法，其特征在于，所述路径变换模型通过如下方式来构建：
获取当前车辆在需要路径变换时自车的历史运动信息，以及对应历史环境感知信息中所述当前车辆之外他车的历史运动信息，所述历史运动信息包括速度、位置和加速度；
根据所述自车的历史运动信息和所述他车的历史运动信息，生成满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径，其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；
对所述规划路径进行路径变换效果的检测，并将所述检测结果中达到预设路径变换要求的目标行驶路径和对应的历史运动信息作为训练样本集；
利用所述训练样本集对初始神经网络模型进行训练，得到车辆的路径变换模型，所述路径变换模型使得当前车辆和他车的运动信息，与所述当前车辆进行路径更换时的目标行驶路径相关联。
3.如权利要求1所述的方法，其特征在于，在所述判断所述当前视频帧图像与上一次进行全图目标检测的视频帧图像之间的帧数间隔是否为预设间隔的步骤之后，在所述获取自车对应的环境感知信息中他车的当前运动信息的步骤之前，所述方法还包括：
如果不是预设间隔，在当前视频帧图像的上一视频帧图像存在检出车辆时，将所述上一视频帧图像存在的检出车辆作为第七检出车辆，对于每个第七检出车辆，确定该第七检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部目标检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部目标检测模型中得到第八检出车辆的位置和类别，获取所述第八检出车辆的速度和加速度，并将所述第八检出车辆的速度、位置和加速度存入自车对应的环境感知信息中。
4.如权利要求1所述的方法，其特征在于，所述全图车辆检测模型的训练过程为：
获取训练集中的第一样本图像以及所述第一样本图像包含的检测框内的车辆对应的第一位置和第一类别；
将所述第一样本图像以及所述第一样本图像包含的检测框内的车辆对应的第一位置和第一类别输入到第一初始网络模型中，其中，所述第一初始网络模型包括第一特征提取层、区域生成网络层和第一回归层；
通过所述第一特征提取层的第一模型参数，确定所述第一样本图像中的全图特征向量；
通过所述区域生成网络层的第二模型参数对所述全图特征向量进行特征计算，得到包含第一参考车辆的候选区域的特征信息；
通过所述第一回归层的第三模型参数，对所述特征信息进行回归，得到所述第一参考车辆所属的第一参考类别和所述第一参考车辆在所述第一样本图像中的第一参考位置；
计算所述第一参考类别与所述第一类别之间的第一差异值，计算所述第一参考位置与所述第一位置之间的第二差异值；
基于所述第一差异值和所述第二差异值调整所述第一模型参数、所述第二模型参数和所述第三模型参数，返回执行所述获取训练集中的第一样本图像以及所述第一样本图像包含的检测框内的车辆对应的第一位置和第一类别的步骤；
当迭代次数达到第一预设次数时，完成训练，得到使得第一样本图像与检测框内的车辆的位置和类别相关联的全图车辆检测模型。
5.如权利要求1所述的方法，其特征在于，所述对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度的步骤，包括：
对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中的左上角点的坐标和右下角点的坐标，在当前视频帧图像中得到以所述左上角点和所述右下角点为对角线的矩形图像区域；
根据所述左上角点的坐标、所述右下角点的坐标、预设坐标变换系数以及预先建立的局部车辆检测模型输入图像的宽度和高度计算得到所述左上角点缩放后的坐标和所述右下角点缩放后的坐标；
基于所述左上角点的坐标、所述右下角点的坐标、所述左上角点缩放后的坐标和所述右下角点缩放后的坐标，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度。
6.如权利要求1所述的方法，其特征在于，所述局部车辆检测模型的训练过程为：
获取训练集中的第二样本图像以及所述第二样本图像包含的检测框内的车辆对应的第二位置和第二类别；
将所述第二样本图像以及所述第二样本图像包含的检测框内的车辆对应的第二位置和第二类别输入到第二初始网络模型中，其中，所述第二初始网络模型包括第二特征提取层和第二回归层；
通过所述第二特征提取层的第四模型参数，确定所述第二样本图像中的特征向量；
通过所述第二回归层的第五模型参数，对所述特征向量进行回归，得到第二参考车辆所属的第二参考类别和所述第二参考车辆在所述第二样本图像中的第二参考位置；
计算所述第二参考类别与所述第二类别之间的第三差异值，计算所述第二参考位置与所述第二位置之间的第四差异值；
基于所述第三差异值和所述第四差异值调整所述第四模型参数和所述第五模型参数，返回执行所述获取训练集中的第二样本图像以及所述第二样本图像包含的检测框内的车辆对应的第二位置和第二类别的步骤；
当迭代次数达到第二预设次数时，完成训练，得到使得第二样本图像与检测框内的车辆的位置和类别相关联的局部车辆检测模型。
7.如权利要求1所述的方法，其特征在于，所述对多个第六检出车辆进行目标匹配，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆的步骤，包括：
对于当前视频帧图像的每个第六检出车辆，确定该第六检出车辆与上一视频帧图像的每个第六检出车辆之间的重叠区域以及相交区域，并计算所述重叠区域的面积与所述相交区域的面积的商；
将所述商中不小于预设阈值的商对应的当前视频帧图像的第六检出车辆以及上一视频帧图像的第六检出车辆作为匹配成功的车辆，将所述商中小于预设阈值的商对应的当前视频帧图像的第六检出车辆以及上一视频帧图像的第六检出车辆作为匹配不成功的车辆。
8.一种基于全图与局部检测的车辆路径变换装置，其特征在于，包括：
第一获取模块，用于当需要路径变换时，获取自车的采集设备实时采集的周围环境的当前视频帧图像；
判断模块，用于判断所述当前视频帧图像与上一次进行全图车辆检测的视频帧图像之间的帧数间隔是否为预设间隔，如果是，触发全图车辆检测模块；
所述全图车辆检测模块，用于根据预先建立的全图车辆检测模型对所述当前视频帧图像进行全图车辆检测；
第一检测结果模块，用于当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像不存在检出车辆时，将当前视频帧图像的检出车辆作为第一检出车辆，对于每个第一检出车辆，基于该第一检出车辆的位置确定该第一检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第二检出车辆的位置和类别，获取所述第二检出车辆的速度和加速度，并将所述第二检出车辆的速度、位置和加速度存入自车对应的环境感知信息中；
第二检测结果模块，用于当未检测出检出车辆且当前视频帧图像的上一视频帧图像存在检出车辆时，将所述上一视频帧图像存在的检出车辆作为第三检出车辆，对于每个第三检出车辆，确定该第三检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第四检出车辆的位置和类别，获取所述第四检出车辆的速度和加速度，并将所述第四检出车辆的速度、位置和加速度存入自车对应的环境感知信息中；
第三检测结果模块，用于当检测得到检出车辆的位置和类别且当前视频帧图像的上一视频帧图像存在检出车辆时，将当前视频帧图像的检出车辆和上一视频帧图像存在的检出车辆作为第五检出车辆，对于每个第五检出车辆，确定该第五检出车辆在该第五检出车辆所在视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部车辆检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部车辆检测模型中得到第六检出车辆的位置和类别，对多个第六检出车辆进行目标匹配，得到当前视频帧图像与上一视频帧图像之间匹配成功的车辆和匹配不成功的车辆，获取匹配成功车辆中位于当前视频帧图像中的车辆的速度和加速度以及获取匹配不成功的车辆的速度和加速度，并将匹配成功车辆中位于当前视频帧图像中的车辆的速度、位置和加速度以及匹配不成功的车辆的速度、位置和加速度存入自车对应的环境感知信息中；
第二获取模块，用于获取自车对应的环境感知信息中他车的当前运动信息，所述当前运动信息包括速度、位置和加速度；
路径变换模块，用于根据自车的当前运动信息和所述他车的当前运动信息，如果获取到基于路径变换模型，生成的满足车辆位置约束且使预设目标函数达到预设收敛条件的目标行驶路径，则按照所述目标行驶路径执行路径变换操作；
其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；所述路径变换模型使得当前车辆和他车的当前运动信息，与所述当前车辆进行路径更换时的目标行驶路径相关联。
9.如权利要求8所述的装置，其特征在于，还包括构建模块，所述构建模块用于构建所述路径变换模型，所述构建模块包括：
运动信息获取子模块，用于获取当前车辆在需要路径变换时自车的历史运动信息，以及对应历史环境感知信息中所述当前车辆之外他车的历史运动信息，所述历史运动信息包括速度、位置和加速度；
规划路径生成子模块，用于根据所述自车的历史运动信息和所述他车的历史运动信息，生成满足车辆位置约束且使预设目标函数达到预设收敛条件的规划路径，其中，所述目标函数建立了当前车辆的加速度、横向位置与时间之间的积分关系；
训练样本集生成子模块，用于对所述规划路径进行路径变换效果的检测，并将所述检测结果中达到预设路径变换要求的目标行驶路径和对应的历史运动信息作为训练样本集；
路径变换模型生成子模块，用于利用所述训练样本集对初始神经网络模型进行训练，得到车辆的路径变换模型，所述路径变换模型使得当前车辆和他车的运动信息，与所述当前车辆进行路径更换时的目标行驶路径相关联。
10.如权利要求8所述的装置，其特征在于，所述装置还包括：
第四检测结果模块，用于在所述判断所述当前视频帧图像与上一次进行全图目标检测的视频帧图像之间的帧数间隔是否为预设间隔之后，在所述获取自车对应的环境感知信息中他车的当前运动信息之前，如果不是预设间隔，在当前视频帧图像的上一视频帧图像存在检出车辆时，将所述上一视频帧图像存在的检出车辆作为第七检出车辆，对于每个第七检出车辆，确定该第七检出车辆在当前视频帧图像中对应的矩形图像区域，将所述矩形图像区域的宽度和高度分别缩放至预先建立的局部目标检测模型输入图像的宽度和高度，将缩放后得到的矩形图像区域输入所述局部目标检测模型中得到第八检出车辆的位置和类别，获取所述第八检出车辆的速度和加速度，并将所述第八检出车辆的速度、位置和加速度存入自车对应的环境感知信息中。
CN201910729506.9A 2019-08-08 2019-08-08 一种基于全图与局部检测的车辆路径变换方法及装置 Active CN112347819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910729506.9A CN112347819B (zh) 2019-08-08 2019-08-08 一种基于全图与局部检测的车辆路径变换方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910729506.9A CN112347819B (zh) 2019-08-08 2019-08-08 一种基于全图与局部检测的车辆路径变换方法及装置

Publications (2)

Publication Number Publication Date
CN112347819A CN112347819A (zh) 2021-02-09
CN112347819B true CN112347819B (zh) 2022-05-17

Family

ID=74367640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910729506.9A Active CN112347819B (zh) 2019-08-08 2019-08-08 一种基于全图与局部检测的车辆路径变换方法及装置

Country Status (1)

Country Link
CN (1) CN112347819B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280843A (zh) * 2018-01-24 2018-07-13 新华智云科技有限公司 一种视频目标检测跟踪方法及设备
CN108960185A (zh) * 2018-07-20 2018-12-07 泰华智慧产业集团股份有限公司 基于YOLOv2的车辆目标检测方法及***
CN109919074A (zh) * 2019-03-01 2019-06-21 中国科学院合肥物质科学研究院 一种基于视觉感知技术的车辆感知方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280843A (zh) * 2018-01-24 2018-07-13 新华智云科技有限公司 一种视频目标检测跟踪方法及设备
CN108960185A (zh) * 2018-07-20 2018-12-07 泰华智慧产业集团股份有限公司 基于YOLOv2的车辆目标检测方法及***
CN109919074A (zh) * 2019-03-01 2019-06-21 中国科学院合肥物质科学研究院 一种基于视觉感知技术的车辆感知方法及装置

Also Published As

Publication number Publication date
CN112347819A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN110333714B (zh) 一种无人驾驶汽车路径规划方法和装置
US11645916B2 (en) Moving body behavior prediction device and moving body behavior prediction method
CN107702716B (zh) 一种无人驾驶路径规划方法、***和装置
JP7200371B2 (ja) 車両速度を決定する方法及び装置
EP3578919B1 (en) Travel history storage method, method for producing travel path model, method for estimating local position, and travel history storage device
US11507833B2 (en) Image recognition apparatus
CN106873599A (zh) 基于蚁群算法和极坐标变换的无人自行车路径规划方法
CN112298194B (zh) 一种车辆的换道控制方法及装置
KR20180094055A (ko) 주차 지원 방법 및 장치
CN112639849A (zh) 路径选择方法和路径选择装置
JP2017222309A (ja) 駐車支援方法および装置
CN113942524B (zh) 一种车辆行驶控制方法、***及计算机可读存储介质
EP3904992B1 (en) Positioning apparatus and moving body
CN112230638B (zh) 一种车辆的停车路径规划方法和装置
CN113721615B (zh) 一种基于机器视觉的海航路径规划方法及***
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
US20220153296A1 (en) Trajectory planning with obstacle avoidance for autonomous driving vehicles
CN110850880A (zh) 一种基于视觉传感的自动驾驶***及方法
JP7276112B2 (ja) 車線変更決定装置
CN112347819B (zh) 一种基于全图与局部检测的车辆路径变换方法及装置
CN117232545A (zh) 一种基于深度学习道路环境感知的路径规划方法
US20230202470A1 (en) Integrated trajectory forecasting, error estimation, and vehicle handling when detecting an observed scenario
CN115690343A (zh) 一种基于视觉跟随的机器人激光雷达扫描建图方法
CN115373383A (zh) 一种垃圾回收无人艇的自主避障方法、装置及相关设备
KR20220168061A (ko) 차량 제어 장치, 그를 포함한 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211124

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant