CN109878512A - 自动驾驶控制方法、装置、设备及计算机可读存储介质 - Google Patents
自动驾驶控制方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109878512A CN109878512A CN201910036809.2A CN201910036809A CN109878512A CN 109878512 A CN109878512 A CN 109878512A CN 201910036809 A CN201910036809 A CN 201910036809A CN 109878512 A CN109878512 A CN 109878512A
- Authority
- CN
- China
- Prior art keywords
- current driving
- time section
- traveling together
- group traveling
- driving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提供一种自动驾驶控制方法、装置、设备及计算机可读存储介质。本发明实施例采集当前行驶对象所在驾驶场景的图像，通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势；根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制，由于参考至少一行人在一个历史时间段t1内的动作信息，可以实现对至少一行人在未来时间段t2内的动作趋势的准确预测，并结合了行人在未来时间段t2内的动作趋势，从而实现了对当前行驶对象的准确的驾驶控制。
Description
【技术领域】
本发明涉及自动驾驶技术，尤其涉及一种自动驾驶控制方法、装置、设备及计算机可读存储介质。
【背景技术】
随着自动驾驶技术的发展，可以依靠人工智能、视觉计算、雷达、监控装置和全球定位***协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作车辆。自动驾驶技术可以能够避免出现人工驾驶中由于操作错误、疲劳驾驶等原因导致的交通事故，从而提高交通安全性。
然后，现有的自动驾驶车辆在对行人的感知识别上，只能识别到人或者车辆，并不能判断车行人的动作意图，仅将行人当成静止障碍物控制车辆的行驶，而事实上，行人可能是运动的，即使前一秒是静止不动的，但是下一秒有可能往前走、往后走，仅仅将行人当成静止障碍物控制车辆的行驶就可能造成交通事故，从而降低了交通安全性。
【发明内容】
本发明的多个方面提供一种自动驾驶控制方法、装置、设备及计算机可读存储介质，用以提高自动驾驶技术的安全性。
本发明的一方面，提供一种自动驾驶控制方法，包括：
采集当前行驶对象所在驾驶场景的图像；
通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势；
根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述当前行驶对象包括：车辆或机器人。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述运动规划信息包括：行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述动作信息包括以下任意一项或多项：摆手、提腿、转身、头部动作；
所述动作趋势包括：静止或者运动。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势，包括：
分别针对至少一行人在一个历史时间段t1内的至少一帧历史图像，提取历史图像中各行人的肢体动作特征；
分别以一个位移向量表示各行人在历史时间段t1内的肢体动作特征；
根据所述至少一行人的位移向量生成第一偏移量矩阵，基于所述第一偏移量矩阵获取用于表示所述至少一行人在未来时间段t2内的动作趋势的第二偏移量矩阵；
由所述第二偏移量矩阵获得用于表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量；
分别获取表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量对应的肢体动作特征；
分别根据所述至少一行人在未来时间段t2内的肢体动作特征，获取至少一行人在未来时间段t2内的动作趋势。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述动作趋势为静止时，所述根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制，包括：
根据所述至少一行人的位置、所述至少一行人与所述当前行驶对象之间的距离、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；
基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述动作趋势为运动时，所述根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制，包括：
通过第二神经网络，基于所述至少一行人在未来时间段t2内的动作趋势，预测所述至少一行人在未来时间段t2内的行走行为信息；
根据所述至少一行人在未来时间段t2内的行走行为信息、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；
基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述行走行为信息包括：行走方向、行走速度、行走路径。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述驾驶控制策略包括以下任意一项：忽略、减速、加速、停止、跟随、绕过；
所述基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制，包括：
基于所述当前行驶对象的驾驶控制策略对所述当前行驶对象的运动规划信息进行调整，并基于调整后的运动规划信息对所述当前行驶对象进行驾驶控制。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括：
利用包括行人的样本视频对所述第一神经网络进行训练。
本发明的另一方面，提供一种自动驾驶控制装置，包括：
图像采集单元，用于采集当前行驶对象所在驾驶场景的图像；
第一预测单元，用于通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势；
控制单元，用于根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述当前行驶对象包括：车辆或机器人。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述运动规划信息包括：行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述动作信息包括以下任意一项或多项：摆手、提腿、转身、头部动作；
所述动作趋势包括：静止或者运动。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第一预测单元，具体用于通过所述第一神经网络：
分别针对至少一行人在一个历史时间段t1内的至少一帧历史图像，提取历史图像中各行人的肢体动作特征；
分别以一个位移向量表示各行人在历史时间段t1内的肢体动作特征；
根据所述至少一行人的位移向量生成第一偏移量矩阵，基于所述第一偏移量矩阵获取用于表示所述至少一行人在未来时间段t2内的动作趋势的第二偏移量矩阵；
由所述第二偏移量矩阵获得用于表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量；
分别获取表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量对应的肢体动作特征；
分别根据所述至少一行人在未来时间段t2内的肢体动作特征，获取至少一行人在未来时间段t2内的动作趋势。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述动作趋势为静止时，所述控制单元具体用于：
根据所述至少一行人的位置、所述至少一行人与所述当前行驶对象之间的距离、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；
基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述动作趋势为运动时，所述装置还包括：
第二预测单元，用于通过第二神经网络，基于所述至少一行人在未来时间段t2内的动作趋势，预测所述至少一行人在未来时间段t2内的行走行为信息；
所述控制单元，具体用于：根据所述至少一行人在未来时间段t2内的行走行为信息、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述行走行为信息包括：行走方向、行走速度、行走路径。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述驾驶控制策略包括以下任意一项：忽略、减速、加速、停止、跟随、绕过；
所述控制单元基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制时，具体用于基于所述当前行驶对象的驾驶控制策略对所述当前行驶对象的运动规划信息进行调整，并基于调整后的运动规划信息对所述当前行驶对象进行驾驶控制。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括：
训练单元，用于利用包括行人的样本视频对所述第一神经网络进行训练。
本发明的又一方面，提供一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述一方面所提供的自动驾驶控制方法。
本发明的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一方面所提供的自动驾驶控制方法。
由上述技术方案可知，本发明实施例可以采集当前行驶对象所在驾驶场景的图像，通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势，根据所述至少一行人在未来时间段t2内的动作趋势和当前行驶对象的运动规划信息，对当前行驶对象进行驾驶控制。由于参考至少一行人在一个历史时间段t1内的动作信息，可以实现对至少一行人在未来时间段t2内的动作趋势的准确预测，并结合了行人在未来时间段t2内的动作趋势，从而实现了对当前行驶对象的准确的驾驶控制，有效避免了将行人当成静止障碍物控制车辆的行驶造成交通事故，从而提高了交通安全性。
另外，采用本发明所提供的技术方案，通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测至少一行人在未来时间段t2内的动作趋势，由于神经网络的深度学习功能，可以实现对行人在未来时间段内动作趋势的准确预测，提高了动作趋势预测的准确性。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的自动驾驶控制方法的流程示意图；
图2为本发明另一实施例提供的自动驾驶控制装置的结构示意图；
图3为本发明另一实施例提供的自动驾驶控制装置的结构示意图；
图4为适于用来实现本发明实施方式的示例性计算机***/服务器的框图。
【具体实施方式】
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所涉及的终端可以包括但不限于手机、个人数字助理(PersonalDigital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、个人电脑(PersonalComputer，PC)、MP3播放器、MP4播放器、可穿戴设备(例如，智能眼镜、智能手表、智能手环等)等。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本发明的主要思想是预测行人在未来时间段内的动作趋势，根据行人在未来时间段内的动作趋势和当前行驶对象的运动规划信息，对当前行驶对象进行驾驶控制，以实现对当前行驶对象的准确的驾驶控制，从而提高交通安全性。
图1为本发明一实施例提供的自动驾驶控制方法的流程示意图，如图1所示。
101、采集当前行驶对象所在驾驶场景的图像。
例如，可以通过部署在当前行驶对象周围的至少一个传感器，例如摄像头、雷达等，实时或者按照较短的时间间隔采集当前行驶对象所在驾驶场景的图像。
102、通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势。
103、根据所述至少一行人在未来时间段t2内的动作趋势和当前行驶对象的运动规划信息，对当前行驶对象进行驾驶控制。
需要说明的是，101～103的执行主体的部分或全部可以为位于本地终端即服务提供商的终端设备的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式***，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。
这样，通过第一神经网络，基于当前行驶对象所在驾驶场景的图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势，根据所述至少一行人在未来时间段t2内的动作趋势和当前行驶对象的运动规划信息，对当前行驶对象进行驾驶控制。由于参考至少一行人在一个历史时间段t1内的动作信息，可以实现对至少一行人在未来时间段t2内的动作趋势的准确预测，并结合了行人在未来时间段t2内的动作趋势，从而实现了对当前行驶对象的准确的驾驶控制，有效避免了将行人当成静止障碍物控制车辆的行驶造成交通事故，从而提高了交通安全性。
可选地，在本实施例的一个可能的实现方式中，所述当前行驶对象可以包括但不限于：车辆或机器人，等等，任意可以采用自动驾驶技术的对象。其中的车辆例如可以是汽车、电动车、玩具车等任意的行驶对象，本实施例对此不进行特别限定。
可选地，在本实施例的一个可能的实现方式中，所述运动规划信息可以包括但不限于：行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度。
可选地，在本实施例的一个可能的实现方式中，所述动作信息包括但不限于以下任意一项或多项：摆手、提腿、转身、头部动作，等等。所述动作趋势可以包括：静止或者运动。
可选地，在本实施例的一个可能的实现方式中，102可以包括：
通过第一神经网络，分别针对至少一行人在一个历史时间段t1内的至少一帧历史图像，提取历史图像中各行人的肢体动作特征；
分别以一个位移向量表示各行人在历史时间段t1内的肢体动作特征；
根据所述至少一行人的位移向量生成第一偏移量矩阵，基于该第一偏移量矩阵获取用于表示所述至少一行人在未来时间段t2内的动作趋势的第二偏移量矩阵；
由所述第二偏移量矩阵获得用于表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量；
分别获取表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量对应的肢体动作特征；
分别根据所述至少一行人在未来时间段t2内的肢体动作特征，获取至少一行人在未来时间段t2内的动作趋势。
可选地，在上述实施例的一个可能的实现方式中，可以通过第一神经网络进行行人检测，并对检测到的行人进行肢体关键点检测，基于检测到的肢体关键点确定肢体并进行肢体动作特征提取。其中的肢体关键点可以预先设定，例如，可以预先设定手部关键点、上半身关键点、胳膊关键点、腿部关键点、腰部关键点、头部关键点，等等。
可选地，在本实施例的一个可能的实现方式中，所述动作趋势为静止时，103可以包括：
根据所述至少一行人的位置、所述至少一行人与所述当前行驶对象之间的距离、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；
基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。
可选地，在本实施例的一个可能的实现方式中，所述动作趋势为运动时，103可以包括：
通过第二神经网络，基于所述至少一行人在未来时间段t2内的动作趋势，预测所述至少一行人在未来时间段t2内的行走行为信息；
根据所述至少一行人在未来时间段t2内的行走行为信息、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；
基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。
其中的所述行走行为信息可以包括但不限于：行走方向、行走速度、行走路径。
在行人的动作趋势为运动时，基于行人的动作趋势预测其行走行为信息，并根据行人的行走行为信息、以及当前行驶对象的运动规划信息和当前的运动状态，确定当前行驶对象的驾驶控制策略，基于当前行驶对象的运动规划信息和驾驶控制策略，对当前行驶对象进行驾驶控制，这样，实现了对当前行驶对象的更精细化的运动规划和控制，提高了交通安全性。
可选地，在本实施例的一个可能的实现方式中，所述驾驶控制策略包括但不限于以下任意一项：忽略、减速、加速、停止、跟随、绕过，等等。相应地，该实施例中，基于当前行驶对象的运动规划信息和驾驶控制策略，对当前行驶对象进行驾驶控制时，可以基于当前行驶对象的驾驶控制策略对当前行驶对象的运动规划信息进行调整，并基于调整后的运动规划信息对所述当前行驶对象进行驾驶控制。
例如，假设根据某一行人的行走行为信息和当前行驶对象的运动规划信息，预测出该行人和当前行驶对象的路线在下一时刻存在交叉，那么可提前控制当前行驶对象减速、停止运动、或者调整行驶路径以绕过该行人等，以避免碰撞事件的发生，从而提高交通安全性。
其中，所述驾驶控制策略中，忽略是指：行人在当前行驶对象一定范围外，行人的行为不会影响当前行驶对象的安全驾驶；
减速是指：行人在当前行驶对象一定范围内，行人的行为，有可能干预到当前行驶对象的安全驾驶，此时，控制当前行驶对象提前减速，以避免当前行驶对象与行人发生碰撞；
加速是指：行人在当前行驶对象一定范围内，行人的行为，导致未来某个时刻行人与当前行驶对象可能发生碰撞，此时，控制当前行驶对象加速行驶，以使当前行驶对象提前通过可能的碰撞地点，避免当前行驶对象与行人发生碰撞；
停止是指：行人在当前行驶对象一定范围内，当前行驶对象无法绕过，或者绕过有风险，行人的行为影响自动驾驶当前行驶对象的安全驾驶，控制当前行驶对象停止运动以等待。
跟随是指：行人在当前行驶对象前方一定范围内，行人与当前行驶对象行进方向一致，当前行驶对象无法绕过，或者绕过有风险，控制当前行驶对象以安全运动速度跟随行人行驶；
绕过是指：行人在当前行驶对象前方一定范围内，当前行驶对象可以安全绕过行人，则控制当前行驶对象绕过该行人行驶。
另外，可选地，在上述各实施例的一个可能的实现方式中，第一神经网络还可以提取当前时刻采集的图像中各行人的肢体动作特征，基于当前时刻采集的图像中各行人的肢体动作特征确定当前时刻各行人的状态为静止或者运动，作为对应行人相对于未来时间段的初始状态。
即：对于各行人，其可能的初始状态包括两种：静止或者运动；各行人在未来时间段t2内的动作趋势也包括两种：静止或者运动。
对于初始状态为静止的行人，其从当前时刻到未来时间段t2内的动作趋势有两种可能：第一种是继续保持静止，第二种是从静止切换到运动。
对于第一种情况，可以将该行人作为静态障碍物进行避障，根据该行人的位置、该行人与当前行驶对象之间的距离、以及当前行驶对象的运动规划信息(行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度)和当前的运动状态(行驶方向、速度和加速度)，确定当前行驶对象的驾驶控制策略为忽略、减速、加速、停止、跟随、绕过，等等，然后基于当前行驶对象的运动规划信息和驾驶控制策略，对当前行驶对象进行驾驶控制。
对于第二种情况，可以基于该行人在未来时间段t2内的动作趋势，预测该行人在未来时间段t2内的行走方向、行走速度，构建该行人在未来时间段t2内的行走路径，作为该行人在未来时间段t2内的行走行为信息，根据该行人在未来时间段t2内的行走行为信息、以及当前行驶对象的运动规划信息(行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度)和当前的运动状态(行驶方向、速度和加速度)，确定当前行驶对象的驾驶控制策略为忽略、减速、加速、停止、跟随、绕过，等等，基于当前行驶对象的运动规划信息和驾驶控制策略，对当前行驶对象进行驾驶控制。
对于初始状态为运动的行人，其从当前时刻到未来时间段t2内的动作趋势有也两种可能：第一种是继续保持运动，第二种是从运动切换到静止。
对于第一种情况，可以基于该行人在未来时间段t2内的动作趋势，预测该行人在未来时间段t2内的行走方向、行走速度，构建该行人在未来时间段t2内的行走路径，作为该行人在未来时间段t2内的行走行为信息，根据该行人在未来时间段t2内的行走行为信息、以及当前行驶对象的运动规划信息(行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度)和当前的运动状态(行驶方向、速度和加速度)，确定当前行驶对象的驾驶控制策略为忽略、减速、加速、停止、跟随、绕过，等等，基于当前行驶对象的运动规划信息和驾驶控制策略，对当前行驶对象进行驾驶控制。
对于第二种情况，可以将该行人作为静态障碍物进行避障，根据该行人的位置、该行人与当前行驶对象之间的距离、以及当前行驶对象的运动规划信息(行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度)和当前的运动状态(行驶方向、速度和加速度)，确定当前行驶对象的驾驶控制策略为忽略、减速、加速、停止、跟随、绕过，等等，然后基于当前行驶对象的运动规划信息和驾驶控制策略，对当前行驶对象进行驾驶控制。
本实施例中，基于行人在未来时间段t2内的动作趋势、当前行驶对象的运动规划信息和当前的运动状态，评估安全风险、提前确定驾驶控制策略，并基于该驾驶控制策略对原有运动规划信息进行调整，从而实现行驶对象的安全、平稳的自动驾驶。
另外，在上述各实施例的流程之前，还可以利用包括行人的样本视频对所述第一神经网络进行训练，直至满足训练完成条件。
其中的样本视频(称为第一样本视频)包括一个连续的时间段T(包括T1时间段和T2时间段)内采集的多张样本图像，其中的T＝T1+T2，可以针对每张样本图像中的各行人分别标注动作信息(称为参考动作信息)，将T1时间段内的样本图像输入第一神经网络，由第一神经网络输出各行人在T2时间段内的动作趋势预测信息，根据第一神经网络输出的动作趋势预测信息与对应的参考动作信息之间的差异对第一神经网络中的网络参数进行调整。可以迭代执行上述过程，直至满足训练完成条件，例如第一神经网络输出的动作趋势预测信息与对应的参考动作信息之间的差异小于预设阈值，或者对第一神经网络的迭代训练次数达到预设次数。
这样，实现了对第一神经网络的训练，从而可以通过第一神经网络精确预测行人在未来时间段内的动作趋势。
另外，在上述各实施例的流程之前，还可以利用包括行人的样本视频对所述第二神经网络进行训练，直至满足训练完成条件。其中的样本视频(称为第二样本视频)包括一个连续的时间段T2内采集的多张样本图像，可以针对每张样本图像中的各行人分别标注动作趋势、针对第二样本视频标注各行人的行走行为信息(称为参考行走行为信息)。将第二样本视频输入第二神经网络，由第二神经网络输出各行人的行走行为预测信息，根据第二神经网络输出的行走行为预测信息与对应的参考行走行为信息之间的差异对第二神经网络中的网络参数进行调整。可以迭代执行上述过程，直至满足训练完成条件，例如第二神经网络输出的行走行为预测信息与对应的参考行走行为信息之间的差异小于预设阈值，或者对第二神经网络的迭代训练次数达到预设次数。
这样，实现了对第二神经网络的训练，从而可以通过第二神经网络精确预测行人在未来时间段内的行走行为信息。
可选地，在本实施例的一个可能的实现方式中，第一神经网络、第二神经网络可以基于RFCN、SSD、RCNN、FastRCNN、FasterRCNN、SPPNet、DPM、OverFeat、YOLO等架构方式实现，本实施例对此不进行特别限定。
本实施例中，可以采集当前行驶对象所在驾驶场景的图像，通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势，根据所述至少一行人在未来时间段t2内的动作趋势和当前行驶对象的运动规划信息，对当前行驶对象进行驾驶控制。由于参考至少一行人在一个历史时间段t1内的动作信息，可以实现对至少一行人在未来时间段t2内的动作趋势的准确预测，并结合了行人在未来时间段t2内的动作趋势，从而实现了对当前行驶对象的准确的驾驶控制，有效避免了将行人当成静止障碍物控制车辆的行驶造成交通事故，从而提高了交通安全性。
另外，采用本发明所提供的技术方案，通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测至少一行人在未来时间段t2内的动作趋势，由于神经网络的深度学习功能，可以实现对行人在未来时间段内动作趋势的准确预测，提高了动作趋势预测的准确性。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图2为本发明另一实施例提供的自动驾驶控制装置的结构示意图，如图2所示。本实施例的自动驾驶控制装置可以包括图像采集单元21、第一预测单元22和控制单元23。其中，图像采集单元21，用于采集当前行驶对象所在驾驶场景的图像；第一预测单元22，用于通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势；控制单元23，用于根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制。
需要说明的是，本实施例自动驾驶控制装置的部分或全部可以为位于本地终端即服务提供商的终端设备的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式***，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。
这样，通过第一神经网络，基于当前行驶对象所在驾驶场景的图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势，根据所述至少一行人在未来时间段t2内的动作趋势和当前行驶对象的运动规划信息，对当前行驶对象进行驾驶控制。由于参考至少一行人在一个历史时间段t1内的动作信息，可以实现对至少一行人在未来时间段t2内的动作趋势的准确预测，并结合了行人在未来时间段t2内的动作趋势，从而实现了对当前行驶对象的准确的驾驶控制，有效避免了将行人当成静止障碍物控制车辆的行驶造成交通事故，从而提高了交通安全性。
可选地，在本实施例的一个可能的实现方式中，所述当前行驶对象可以包括但不限于：车辆或机器人，等等，任意可以采用自动驾驶技术的对象。其中的车辆例如可以是汽车、电动车、玩具车等任意的行驶对象，本实施例对此不进行特别限定。
可选地，在本实施例的一个可能的实现方式中，所述运动规划信息可以包括但不限于：行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度。
可选地，在本实施例的一个可能的实现方式中，所述动作信息包括但不限于以下任意一项或多项：摆手、提腿、转身、头部动作，等等。所述动作趋势可以包括：静止或者运动。
可选地，在本实施例的一个可能的实现方式中，所述第一预测单元22，具体用于通过所述第一神经网络：分别针对至少一行人在一个历史时间段t1内的至少一帧历史图像，提取历史图像中各行人的肢体动作特征；分别以一个位移向量表示各行人在历史时间段t1内的肢体动作特征；根据所述至少一行人的位移向量生成第一偏移量矩阵，基于所述第一偏移量矩阵获取用于表示所述至少一行人在未来时间段t2内的动作趋势的第二偏移量矩阵；由所述第二偏移量矩阵获得用于表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量；分别获取表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量对应的肢体动作特征；分别根据所述至少一行人在未来时间段t2内的肢体动作特征，获取至少一行人在未来时间段t2内的动作趋势。
另外，可选地，在上述各实施例的一个可能的实现方式中，所述第一预测单元22，还可用于通过第一神经网络，提取当前时刻采集的图像中各行人的肢体动作特征，基于当前时刻采集的图像中各行人的肢体动作特征确定当前时刻各行人的状态为静止或者运动，作为对应行人相对于未来时间段的初始状态。
可选地，在本实施例的一个可能的实现方式中，所述动作趋势为静止时，所述控制单元23具体用于：根据所述至少一行人的位置、所述至少一行人与当前行驶对象之间的距离、以及当前行驶对象的运动规划信息和当前的运动状态，确定当前行驶对象的驾驶控制策略；基于当前行驶对象的运动规划信息和驾驶控制策略，对当前行驶对象进行驾驶控制。
可选地，在本实施例的一个可能的实现方式中，如图3所示，所述动作趋势为运动时，本实施例所提供的自动驾驶控制装置还可以进一步包括第二预测单元31，用于通过第二神经网络，基于所述至少一行人在未来时间段t2内的动作趋势，预测所述至少一行人在未来时间段t2内的行走行为信息。相应地，该实施例中，控制单元23，具体用于：根据所述至少一行人在未来时间段t2内的行走行为信息、以及当前行驶对象的运动规划信息和当前的运动状态，确定当前行驶对象的驾驶控制策略；基于当前行驶对象的运动规划信息和驾驶控制策略，对当前行驶对象进行驾驶控制。
其中的所述行走行为信息可以包括但不限于：行走方向、行走速度、行走路径。
在行人的动作趋势为运动时，基于行人的动作趋势预测其行走行为信息，并根据行人的行走行为信息、以及当前行驶对象的运动规划信息和当前的运动状态，确定当前行驶对象的驾驶控制策略，基于当前行驶对象的运动规划信息和驾驶控制策略，对当前行驶对象进行驾驶控制，这样，实现了对当前行驶对象的更精细化的运动规划和控制，提高了交通安全性。
可选地，在本实施例的一个可能的实现方式中，所述驾驶控制策略包括但不限于以下任意一项：忽略、减速、加速、停止、跟随、绕过，等等。相应地，该实施例中，控制单元23基于当前行驶对象的运动规划信息和驾驶控制策略，对当前行驶对象进行驾驶控制时，具体用于基于当前行驶对象的驾驶控制策略对当前行驶对象的运动规划信息进行调整，并基于调整后的运动规划信息对当前行驶对象进行驾驶控制。
例如，假设根据某一行人的行走行为信息和当前行驶对象的运动规划信息，预测出该行人和当前行驶对象的路线在下一时刻存在交叉，那么可提前控制当前行驶对象减速、停止运动、或者调整行驶路径以绕过该行人等，以避免碰撞事件的发生，从而提高交通安全性。
其中，所述驾驶控制策略中，忽略是指：行人在当前行驶对象一定范围外，行人的行为不会影响当前行驶对象的安全驾驶；
减速是指：行人在当前行驶对象一定范围内，行人的行为，有可能干预到当前行驶对象的安全驾驶，此时，控制当前行驶对象提前减速，以避免当前行驶对象与行人发生碰撞；
加速是指：行人在当前行驶对象一定范围内，行人的行为，导致未来某个时刻行人与当前行驶对象可能发生碰撞，此时，控制当前行驶对象加速行驶，以使当前行驶对象提前通过可能的碰撞地点，避免当前行驶对象与行人发生碰撞；
停止是指：行人在当前行驶对象一定范围内，当前行驶对象无法绕过，或者绕过有风险，行人的行为影响自动驾驶当前行驶对象的安全驾驶，控制当前行驶对象停止运动以等待。
跟随是指：行人在当前行驶对象前方一定范围内，行人与当前行驶对象行进方向一致，当前行驶对象无法绕过，或者绕过有风险，控制当前行驶对象以安全运动速度跟随行人行驶；
绕过是指：行人在当前行驶对象前方一定范围内，当前行驶对象可以安全绕过行人，则控制当前行驶对象绕过该行人行驶。
可选地，在本实施例的一个可能的实现方式中，如图3所示，本实施例所提供的自动驾驶控制装置还可以进一步包括训练单元32，用于利用包括行人的样本视频对第一神经网络进行训练。
可选地，在本实施例的一个可能的实现方式中，训练单元32，还可用于利用包括行人的样本视频对第二神经网络进行训练。
需要说明的是，图1对应的实施例中方法，可以由本实施例提供的图像处理装置实现。详细描述可以参见图1对应的实施例中的相关内容，此处不再赘述。
本实施例中，可以采集当前行驶对象所在驾驶场景的图像，通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势，根据所述至少一行人在未来时间段t2内的动作趋势和当前行驶对象的运动规划信息，对当前行驶对象进行驾驶控制。由于参考至少一行人在一个历史时间段t1内的动作信息，可以实现对至少一行人在未来时间段t2内的动作趋势的准确预测，并结合了行人在未来时间段t2内的动作趋势，从而实现了对当前行驶对象的准确的驾驶控制，有效避免了将行人当成静止障碍物控制车辆的行驶造成交通事故，从而提高了交通安全性。
另外，采用本发明所提供的技术方案，通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测至少一行人在未来时间段t2内的动作趋势，由于神经网络的深度学习功能，可以实现对行人在未来时间段内动作趋势的准确预测，提高了动作趋势预测的准确性。
另外，本发明实施例还提供了一种设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述图1中任一实施例的自动驾驶控制方法。
另外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述图1中任一实施例的自动驾驶控制方法。
图4示出了适于用来实现本发明实施方式的示例性计算机***/服务器的框图。图4显示的计算机***/服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机***/服务器以通用计算设备的形式表现。计算机***/服务器的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储装置或者***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机***/服务器典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机***/服务器可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。***存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如***存储器28中，这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机***/服务器也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机***/服务器交互的设备通信，和/或与使得该计算机***/服务器能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口44进行。并且，计算机***/服务器还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机***/服务器的其它模块通信。应当明白，尽管图中未示出，可以结合计算机***/服务器使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所对应的实施例所提供的图像处理方法。
本发明另一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图1所对应的实施例所提供的图像处理方法。
具体来说，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或页面组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一个计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (22)
1.一种自动驾驶控制方法，其特征在于，包括：
采集当前行驶对象所在驾驶场景的图像；
通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势；
根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制。
2.根据权利要求1所述的方法，其特征在于，所述当前行驶对象包括：车辆或机器人。
3.根据权利要求1所述的方法，其特征在于，所述运动规划信息包括：行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度。
4.根据权利要求1所述的方法，其特征在于，所述动作信息包括以下任意一项或多项：摆手、提腿、转身、头部动作；
所述动作趋势包括：静止或者运动。
5.根据权利要求1所述的方法，其特征在于，所述基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势，包括：
分别针对至少一行人在一个历史时间段t1内的至少一帧历史图像，提取历史图像中各行人的肢体动作特征；
分别以一个位移向量表示各行人在历史时间段t1内的肢体动作特征；
根据所述至少一行人的位移向量生成第一偏移量矩阵，基于所述第一偏移量矩阵获取用于表示所述至少一行人在未来时间段t2内的动作趋势的第二偏移量矩阵；
由所述第二偏移量矩阵获得用于表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量；
分别获取表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量对应的肢体动作特征；
分别根据所述至少一行人在未来时间段t2内的肢体动作特征，获取至少一行人在未来时间段t2内的动作趋势。
6.根据权利要求1所述的方法，其特征在于，所述动作趋势为静止时，所述根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制，包括：
根据所述至少一行人的位置、所述至少一行人与所述当前行驶对象之间的距离、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；
基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。
7.根据权利要求1所述的方法，其特征在于，所述动作趋势为运动时，所述根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制，包括：
通过第二神经网络，基于所述至少一行人在未来时间段t2内的动作趋势，预测所述至少一行人在未来时间段t2内的行走行为信息；
根据所述至少一行人在未来时间段t2内的行走行为信息、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；
基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。
8.根据权利要求7所述的方法，其特征在于，所述行走行为信息包括：行走方向、行走速度、行走路径。
9.根据权利要求6～8任一权利要求所述的方法，其特征在于，所述驾驶控制策略包括以下任意一项：忽略、减速、加速、停止、跟随、绕过；
所述基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制，包括：
基于所述当前行驶对象的驾驶控制策略对所述当前行驶对象的运动规划信息进行调整，并基于调整后的运动规划信息对所述当前行驶对象进行驾驶控制。
10.根据权利要求1所述的方法，其特征在于，还包括：
利用包括行人的样本视频对所述第一神经网络进行训练。
11.一种自动驾驶控制装置，其特征在于，包括：
图像采集单元，用于采集当前行驶对象所在驾驶场景的图像；
第一预测单元，用于通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势；
控制单元，用于根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制。
12.根据权利要求11所述的装置，其特征在于，所述当前行驶对象包括：车辆或机器人。
13.根据权利要求11所述的装置，其特征在于，所述运动规划信息包括：行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度。
14.根据权利要求11所述的装置，其特征在于，所述动作信息包括以下任意一项或多项：摆手、提腿、转身、头部动作；
所述动作趋势包括：静止或者运动。
15.根据权利要求11所述的装置，其特征在于，所述第一预测单元，具体用于通过所述第一神经网络：
分别针对至少一行人在一个历史时间段t1内的至少一帧历史图像，提取历史图像中各行人的肢体动作特征；
分别以一个位移向量表示各行人在历史时间段t1内的肢体动作特征；
根据所述至少一行人的位移向量生成第一偏移量矩阵，基于所述第一偏移量矩阵获取用于表示所述至少一行人在未来时间段t2内的动作趋势的第二偏移量矩阵；
由所述第二偏移量矩阵获得用于表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量；
分别获取表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量对应的肢体动作特征；
分别根据所述至少一行人在未来时间段t2内的肢体动作特征，获取至少一行人在未来时间段t2内的动作趋势。
16.根据权利要求11所述的装置，其特征在于，所述动作趋势为静止时，所述控制单元具体用于：
根据所述至少一行人的位置、所述至少一行人与所述当前行驶对象之间的距离、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；
基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。
17.根据权利要求11所述的装置，其特征在于，所述动作趋势为运动时，所述装置还包括：
第二预测单元，用于通过第二神经网络，基于所述至少一行人在未来时间段t2内的动作趋势，预测所述至少一行人在未来时间段t2内的行走行为信息；
所述控制单元，具体用于：根据所述至少一行人在未来时间段t2内的行走行为信息、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。
18.根据权利要求17所述的装置，其特征在于，所述行走行为信息包括：行走方向、行走速度、行走路径。
19.根据权利要求16～18任一权利要求所述的装置，其特征在于，所述驾驶控制策略包括以下任意一项：忽略、减速、加速、停止、跟随、绕过；
所述控制单元基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制时，具体用于基于所述当前行驶对象的驾驶控制策略对所述当前行驶对象的运动规划信息进行调整，并基于调整后的运动规划信息对所述当前行驶对象进行驾驶控制。
20.根据权利要求11所述的装置，其特征在于，还包括：
训练单元，用于利用包括行人的样本视频对所述第一神经网络进行训练。
21.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～10中任一所述的自动驾驶控制方法。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～10中任一所述的自动驾驶控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910036809.2A CN109878512A (zh) | 2019-01-15 | 2019-01-15 | 自动驾驶控制方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910036809.2A CN109878512A (zh) | 2019-01-15 | 2019-01-15 | 自动驾驶控制方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109878512A true CN109878512A (zh) | 2019-06-14 |
Family
ID=66926033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910036809.2A Pending CN109878512A (zh) | 2019-01-15 | 2019-01-15 | 自动驾驶控制方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109878512A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110239529A (zh) * | 2019-06-28 | 2019-09-17 | 北京海益同展信息科技有限公司 | 车辆控制方法、装置及计算机可读存储介质 |
| CN110316186A (zh) * | 2019-07-01 | 2019-10-11 | 百度在线网络技术（北京）有限公司 | 车辆防碰撞预判方法、装置、设备及可读存储介质 |
| CN111907520A (zh) * | 2020-07-31 | 2020-11-10 | 东软睿驰汽车技术（沈阳）有限公司 | 行人姿态识别方法、装置及无人驾驶汽车 |
| CN112572462A (zh) * | 2019-09-30 | 2021-03-30 | 北京百度网讯科技有限公司 | 自动驾驶的控制方法、装置、电子设备及存储介质 |
| CN112987754A (zh) * | 2021-04-14 | 2021-06-18 | 北京三快在线科技有限公司 | 一种无人设备的控制方法、装置、存储介质及电子设备 |
| GB2591515A (en) * | 2020-01-31 | 2021-08-04 | Mclaren Automotive Ltd | Track assistant |
| WO2021237768A1 (zh) * | 2020-05-29 | 2021-12-02 | 初速度（苏州）科技有限公司 | 一种基于数据驱动的实现预测模型自动化迭代的*** |
| CN114261406A (zh) * | 2020-09-15 | 2022-04-01 | 丰田自动车株式会社 | 开放型车辆及其运行管理*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504266A (zh) * | 2016-09-29 | 2017-03-15 | 北京市商汤科技开发有限公司 | 行走行为的预测方法和装置、数据处理装置和电子设备 |
| US9665802B2 (en) * | 2014-11-13 | 2017-05-30 | Nec Corporation | Object-centric fine-grained image classification |
| CN106864361A (zh) * | 2017-02-14 | 2017-06-20 | 驭势科技（北京）有限公司 | 车辆与车外人车交互的方法、***、装置和存储介质 |
| CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶*** |
| CN108416321A (zh) * | 2018-03-23 | 2018-08-17 | 北京市商汤科技开发有限公司 | 用于预测目标对象运动朝向的方法、车辆控制方法及装置 |
-
2019
- 2019-01-15 CN CN201910036809.2A patent/CN109878512A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9665802B2 (en) * | 2014-11-13 | 2017-05-30 | Nec Corporation | Object-centric fine-grained image classification |
| CN106504266A (zh) * | 2016-09-29 | 2017-03-15 | 北京市商汤科技开发有限公司 | 行走行为的预测方法和装置、数据处理装置和电子设备 |
| CN106864361A (zh) * | 2017-02-14 | 2017-06-20 | 驭势科技（北京）有限公司 | 车辆与车外人车交互的方法、***、装置和存储介质 |
| CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶*** |
| CN108416321A (zh) * | 2018-03-23 | 2018-08-17 | 北京市商汤科技开发有限公司 | 用于预测目标对象运动朝向的方法、车辆控制方法及装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110239529A (zh) * | 2019-06-28 | 2019-09-17 | 北京海益同展信息科技有限公司 | 车辆控制方法、装置及计算机可读存储介质 |
| CN110316186A (zh) * | 2019-07-01 | 2019-10-11 | 百度在线网络技术（北京）有限公司 | 车辆防碰撞预判方法、装置、设备及可读存储介质 |
| US11529971B2 (en) | 2019-09-30 | 2022-12-20 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method and apparatus for autonomous driving control, electronic device, and storage medium |
| CN112572462A (zh) * | 2019-09-30 | 2021-03-30 | 北京百度网讯科技有限公司 | 自动驾驶的控制方法、装置、电子设备及存储介质 |
| GB2591515A (en) * | 2020-01-31 | 2021-08-04 | Mclaren Automotive Ltd | Track assistant |
| GB2591515B (en) * | 2020-01-31 | 2023-07-12 | Mclaren Automotive Ltd | Track assistant |
| US11745756B2 (en) | 2020-01-31 | 2023-09-05 | Mclaren Automotive Limited | Track assistant |
| WO2021237768A1 (zh) * | 2020-05-29 | 2021-12-02 | 初速度（苏州）科技有限公司 | 一种基于数据驱动的实现预测模型自动化迭代的*** |
| CN111907520B (zh) * | 2020-07-31 | 2022-03-15 | 东软睿驰汽车技术（沈阳）有限公司 | 行人姿态识别方法、装置及无人驾驶汽车 |
| CN111907520A (zh) * | 2020-07-31 | 2020-11-10 | 东软睿驰汽车技术（沈阳）有限公司 | 行人姿态识别方法、装置及无人驾驶汽车 |
| CN114261406A (zh) * | 2020-09-15 | 2022-04-01 | 丰田自动车株式会社 | 开放型车辆及其运行管理*** |
| CN114261406B (zh) * | 2020-09-15 | 2023-07-25 | 丰田自动车株式会社 | 开放型车辆及其运行管理*** |
| US11951984B2 (en) | 2020-09-15 | 2024-04-09 | Toyota Jidosha Kabushiki Kaisha | Open vehicle and operation management system thereof |
| CN112987754A (zh) * | 2021-04-14 | 2021-06-18 | 北京三快在线科技有限公司 | 一种无人设备的控制方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109878512A (zh) | 自动驾驶控制方法、装置、设备及计算机可读存储介质 | |
| CN111860155B (zh) | 一种车道线的检测方法及相关设备 | |
| US11776155B2 (en) | Method and apparatus for detecting target object in image | |
| JP6744679B2 (ja) | ヒューマンマシンハイブリッド意思決定方法および装置 | |
| US11100646B2 (en) | Future semantic segmentation prediction using 3D structure | |
| CN110070056A (zh) | 图像处理方法、装置、存储介质及设备 | |
| CN109817021A (zh) | 一种激光雷达路侧盲区交通参与者避让方法和装置 | |
| CN106515725A (zh) | 一种车辆防碰撞的方法及终端 | |
| US20220035733A1 (en) | Method and apparatus for checking automatic driving algorithm, related device and storage medium | |
| US11718306B2 (en) | Method and apparatus for acquiring sample deviation data, and electronic device | |
| EP3937077B1 (en) | Lane marking detecting method, apparatus, electronic device, storage medium, and vehicle | |
| CN112419722A (zh) | 交通异常事件检测方法、交通管控方法、设备和介质 | |
| CN107515607A (zh) | 用于无人车的控制方法和装置 | |
| CN113821720A (zh) | 一种行为预测方法、装置及相关产品 | |
| JP2022023910A (ja) | 通行状態取得方法及び装置、路側装置、並びに、クラウド制御プラットフォーム | |
| Li et al. | DBUS: Human driving behavior understanding system | |
| Wang et al. | Vision-based hand signal recognition in construction: A feasibility study | |
| Chen et al. | AI-based vehicular network toward 6G and IoT: Deep learning approaches | |
| CN112258837A (zh) | 一种车辆预警的方法、相关装置、设备以及存储介质 | |
| CN113392793A (zh) | 用于识别车道线的方法、装置、设备、存储介质以及无人车 | |
| CN113901341A (zh) | 导航信息提示方法、装置、介质及程序产品 | |
| Rahman et al. | Predicting driver behaviour at intersections based on driver gaze and traffic light recognition | |
| CN109726447A (zh) | 自动驾驶车辆周围行人疏散方法、装置及存储介质 | |
| CN113703704B (zh) | 界面显示方法、头戴式显示设备和计算机可读介质 | |
| Shaotran et al. | Gesture learning for self-driving cars |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190614 |
|
| RJ01 | Rejection of invention patent application after publication |