CN114426030B - 一种行人穿行意图估计方法、装置、设备和汽车 - Google Patents

一种行人穿行意图估计方法、装置、设备和汽车 Download PDF

Info

Publication number
CN114426030B
CN114426030B CN202011176754.4A CN202011176754A CN114426030B CN 114426030 B CN114426030 B CN 114426030B CN 202011176754 A CN202011176754 A CN 202011176754A CN 114426030 B CN114426030 B CN 114426030B
Authority
CN
China
Prior art keywords
pedestrian
moment
intention
deep
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011176754.4A
Other languages
English (en)
Other versions
CN114426030A (zh
Inventor
范时伟
李飞
李向旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011176754.4A priority Critical patent/CN114426030B/zh
Priority to PCT/CN2021/095259 priority patent/WO2022088658A1/zh
Publication of CN114426030A publication Critical patent/CN114426030A/zh
Application granted granted Critical
Publication of CN114426030B publication Critical patent/CN114426030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种行人穿行意图估计方法、装置、设备和汽车，涉及智能驾驶领域。其中，所述方法包括：获取车辆周围至少一个行人的状态信息，根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图，从而得到兼具高精度、实时性和准确性的表层意图估计结果，然后根据第一时刻的第一行人的表层意图，确定第一行人在第一时刻是否穿行道路。

Description

一种行人穿行意图估计方法、装置、设备和汽车
技术领域
本发明涉及智能驾驶技术领域，尤其涉及一种行人穿行意图估计方法、装置、设备和汽车。
背景技术
随着智能驾驶的到来，智能车成为各大厂商重点研究的目标。对于智能驾驶来说，其实现过程主要包括定位、感知、预测、规划控制等步骤。其中，预测步骤主要作用是估计周围目标的未来位置和未来行为，以便规划控制模块作出相应的决策，从而避免交通事故的发生。
然而，由于行人的动态性较高、受地图和交通规则的约束较小等特点，对行人的运动轨迹和意图进行预测是具有相当大的挑战。如果预测不准确，车辆很容易发生撞人事件，这样对车辆带来很大的隐患。
发明内容
为了解决上述的问题，本申请的实施例提供了一种行人穿行意图估计方法、装置、设备和汽车。
第一方面，本申请提供一种行人穿行意图估计方法，包括：获取车辆周围至少一个行人的状态信息，所述至少一个行人包括第一行人；根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图，所述第二时刻在所述第一时刻之前，所述深层意图为所述第一行人在整个生命周期内穿行道路的概率，所述表层意图为所述第一行人在当前时刻正在或即将穿行道路的概率；根据所述第一时刻的第一行人的表层意图，确定所述第一行人在第一时刻是否穿行道路。
在该实施方式中，通过不断获取车辆行驶的道路上的行人、道路的车道线、车道标识、周围其他车辆等信息，然后分析出当前时刻的行人的行为特征、静态交互特征、动态交互特征等状态信息后，结合上一时刻的深层意图，可以得到兼具高精度、实时性和准确性的表层意图估计结果。
在一种实施方式中，在所述根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图之前，包括：根据所述第一时刻的第一行人的状态信息，计算第一时刻的第一行人的行人特征的似然概率；所述根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图，包括：根据所述第一时刻的第一行人的行人特征的似然概率和所述第二时刻的第一行人的深层意图，计算所述第一时刻的第一行人的表层意图。
在该实施方式中，车辆在获取行人的状态信息过程中，由于有时候监测的信息并不一定完全正确，可能出现错误或误差，如由于行人目标较小且运动速度慢，有时候不一定检测到行人、检测到行人速度不变等误差，这会对行人特征产生较大的影响，因此在得到行人的状态信息后，对各种检测到的信息进行融合滤波，对误差进行一定程度的平滑，使得检测到行人状态信息对应的行人特征更加真实。
在一种实施方式中，所述方法还包括：当所述第一时刻的第一行人的表层意图大于设定阈值时，控制扬声器播放预警信号和/或在显示屏上显示预警信息。
在一种实施方式中，在所述根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图之前，所述方法包括：根据第二时刻的第一行人的状态信息和第二时刻的第一行人的表层意图，计算第一时刻的预测第一行人的状态信息；根据所述第一时刻的预测第一行人的状态信息、所述第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的深层意图。
在该实施方式中，根据上一时刻的深层意图、当前时刻的行人的状态信息和当前时刻预测的行人的状态信息，对上一时刻的深层意图进行重新估计和更新，使得新深层意图可靠性随着历史观测信息的累积而增高。
在一种实施方式中，所述方法还包括：根据所述第一时刻的第一行人的状态信息和所述第一时刻的第一行人的表层意图，计算车辆所处道路的至少一个车道的车道意图，所述车道意图为所述第一行人穿行第一车道的概率，所述至少一个车道包括所述第一车道。
在该实施方式中，通过根据所述第一时刻的第一行人的状态信息，推算出各车道的道路结构和相关车辆提取车道级的静态交互特征和动态交互特征，以及目标行人的行为特征，然后计算出行人的车道意图，让车辆能够输出行人相对各车道的穿行意图，使自动驾驶车辆提前做出应对。
第二方面，本申请还提供了一种行人穿行意图估计装置，包括：获取单元，用于获取车辆周围至少一个行人的状态信息，所述至少一个行人包括第一行人；处理单元，用于根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图，所述第二时刻在所述第一时刻之前，所述深层意图为所述第一行人在整个生命周期内穿行道路的概率，所述表层意图为所述第一行人在当前时刻正在或即将穿行道路的概率；所述处理单元，还用于根据所述第一时刻的第一行人的表层意图，确定所述第一行人在第一时刻是否穿行道路。
在一种实施方式中，所述处理单元，具体用于根据所述第一时刻的第一行人的状态信息，计算第一时刻的第一行人的行人特征的似然概率；根据所述第一时刻的第一行人的行人特征的似然概率和所述第二时刻的第一行人的深层意图，计算所述第一时刻的第一行人的表层意图。
在一种实施方式中，所述处理单元，还用于当所述第一时刻的第一行人的表层意图大于设定阈值时，控制扬声器播放预警信号和/或在显示屏上显示预警信息。
在一种实施方式中，所述处理单元，还用于根据第二时刻的第一行人的状态信息和第二时刻的第一行人的表层意图，计算第一时刻的预测第一行人的状态信息；根据所述第一时刻的预测第一行人的状态信息、所述第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的深层意图。
在一种实施方式中，所述处理单元，还用于根据所述第一时刻的第一行人的状态信息和所述第一时刻的第一行人的表层意图，计算车辆所处道路的至少一个车道的车道意图，所述车道意图为所述第一行人穿行第一车道的概率，所述至少一个车道包括所述第一车道。
第三方面，本申请还提供了一种设备，包括至少一个处理器，所述处理器用于执行存储器中存储的指令，以使得终端执行如第一方面各个可能实现的实施例。
第四方面，本申请还提供了一种汽车，用于执行如第一方面各个可能实现的实施例。
第五方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行如第一方面各个可能实现的实施例。
第六方面，本申请还提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现如第一方面各个可能实现的实施例。
附图说明
下面对实施例或现有技术描述中所需使用的附图作简单地介绍。
图1为本申请实施例提供的一种车辆的结构示意图；
图2为车辆在道路上行驶的一种场景；
图3为本申请实施例提供的一种行人穿行意图估计方法的过程流程图；
图4为本申请实施例提供的表层意图和深层意图通过动态贝叶斯网络结构进行建模的示意图；
图5为车辆和行人在道路上的一种场景；
图6为本申请实施例提供的一种行人穿行意图估计装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请实施例后续将会提到两个概念，为“表层意图”和“深层意图”。其中，表层意图为行人在当前时刻正在或即将穿过道路的概率，也即行人瞬时或短暂时间考虑的穿行意图；深层意图为行人在整个生命周期内的穿过道路的概率，也即行人受环境影响较小的长期考虑的穿行意图。
表1表层意图和深层意图比较
由于表层意图代表了行人当前时刻的穿行意图，所以表层意图对于实时性至关重要，因此本申请实施例中，通过提取行人的细节信息和交互信息，来估计表层意图。然而由于提取的细节信息和交互信息通常噪声比较大，容易影响表层意图估计的稳定性，所以本申请实施例还引入了深层意图，利用上一时刻的表层意图的数据和行人特征信息，计算出深层意图，然后再根据深层意图的数据，提高表层意图的稳定性，从而计算出的表层意图更加准确地预测出行人穿过道路的意图。
图1为本申请实施例提供的一种车辆的框架结构图。如图1所示，该车辆100包括输入设备101、存储器102、处理器103和总线104。其中，车辆100中的输入设备101、存储器102和处理器103可以通过总线104建立通信连接。
输入设备101可以包括车载摄像头、车载雷达、车载导航、全球定位***(globalpositioning system，GPS)传感器等设备。其中，车载摄像头用于对车辆100行驶方向进行拍摄，以获取包括道路的车道线、车道标识、行人等信息的图像；车载雷达可以为激光雷达、毫米波雷达等等，用于向车辆100周围发射信号和接收返回的信号，以获取车辆100与车辆100的周围其他车辆、行人等障碍物之间的距离信息；车载导航用于根据车辆100的位置和驾驶员输入目的地位置信息，生成导航路线；GPS传感器用于获取车辆100实时的位置信息。
存储器102可以为随机存取存储器(random-access memory，RAM)、硬盘(harddisk drive，HDD)、固态硬盘(solid state drive，SSD)等具有存储功能的设备，用于存储表层意图、深层意图、高精度地图等等，以便后续在计算表层意图和深层意图的过程中，利用历史上存储的数据进行计算。
处理器103可以为车辆100的电子控制单元(electronic control unit，ECU)，先在接收到输入设备101发送的各个数据后，进行处理，得到车辆100前方的道路中和道路两侧的行人的状态信息、道路的车道线、车道标识等信息，然后根据行人的状态信息、(可选的，存储器102中存储的上一时刻行人的表层意图)和存储器102中存储的上一时刻的深层意图，计算出车辆100前方的道路中和道路两侧的行人的穿行道路的表层意图，得到该行人穿行道路的概率。当该行人穿行道路的概率大于设定的阈值时，生成警告信息，通过显示屏显示或扬声器播放等方式，以提醒驾驶员注意前方道路有行人穿行道路。
处理器103还用于根据存储器102中存储的上一时刻的深层意图、当前时刻的行人的状态信息和当前时刻预测的行人的状态信息，对存储器102中已存储的上一时刻的深层意图进行重新估计和更新，得到新的当前时刻的深层意图，使得其可靠性随着历史观测信息的累积而增高。
处理器103还用于根据接收到的行人的状态信息、道路的车道线、车道标识等信息和存储器102中已存储的新的当前时刻的深层意图，计算行人穿过每个车道的概率(后续称为“车道意图”)，从而确定当前道路上哪些车道可以行驶、哪些车道因行人穿行有危险、以及在发生危险时指示驾驶员如何避险。
其中，本申请的处理器103还可以为服务器，车辆100通过通信单元与服务器进行通信，然后由服务器代替处理器103的功能。
图2为车辆在道路上行驶的一种场景。其中，车辆100在所处的道路的内侧车道行驶，在车辆100同向行驶的道路上并无其他车辆，在车辆100行驶方向的道路的左前方有行人正欲穿行道路。下面本申请实施例以图2所示的车辆100所处的场景为例来讲述本申请的技术方案实现过程。
图3为本申请实施例提供的一种行人穿行意图估计方法的过程流程图。如图3所示，处理器103具体实现过程如下：
步骤S301，处理器103获取车辆100周围至少一个行人的状态信息。本申请中，提取的行人的状态信息主要包括行人的行为特征、行人的静态交互特征和行人的动态交互特征这三类特征。
行人的行为特征表示车辆100观测到的行人细节动作，包括行人的运动状态、身体朝向、身体语言等等。示例性地，车辆100的摄像头获取到视频后，由(处理器100中的)视觉感知模块区域多人姿态估计(regional multi-person pose estimation，RMPE)等算法，先对视频中行人进行检测，得到各个行人的边界框，然后在每个边界框中检测人体关键点，并将每个边界框中各个关键点连接成每个行人的姿态。同时，处理器103根据单目测距、双目测距等算法，计算出每个行人距车辆100的距离。处理器103根据行人关键点和姿态，计算出行人相对车辆100的朝向，进而计算行人相对道路的方向，作为行人的朝向特征；处理器103利用行人关键点和姿态，推断行人的运动特性，将行人的运动或静止信息作为行人的运动特征；处理器103分析行人手部关键点，获取行人身体语言，如挥手、指向等动作，作为行人的身体语言特征。上述三个特征反应了行人的细节信息，具有较强的实时性，用于判断行人的表层意图。
行人的静态交互特征表示行人与周围道路环境的相关信息。示例性地，车辆100的处理器103可以通过雷达(以毫米波雷达为例)收发毫米波信号、摄像头拍摄的图像等方式获取行人距离车辆100的距离，然后结合存储器102中存储的地图信息判断行人所处位置，确定行人与道路边界之间的距离、行人与车辆100所处车道之间的距离、行人与道路中每个车道线之间的距离等信息，然后将这些信息作为行人的静态交互特征。
行人的动态交互特征表示行人与周围动态目标，如与车辆100的交互信息。示例性地，车辆100的处理器102通过摄像头、雷达等器件获取周围的行人相对于车辆100的距离、速度、相对位置等信息，以及其它车辆相对于车辆100的距离、速度、相对位置等信息。然后预测行人和其它车辆在一段时间内的运动轨迹。最后，处理器103根据行人和其它车辆的运动轨迹，计算出各个行人与各个车辆之间最小距离、发生碰撞的时间等信息，然后将这些信息作为行人的动态交互特征。
步骤S304，处理器103根据当前时刻的第一行人的状态信息和上一时刻的第一行人的深层意图，计算第一行人穿行道路的表层意图。其中，第一行人即为图2中车辆100行驶方向的道路的左前方的行人，当前时刻也即对应上述的第二时刻，上一时刻也即对应上述的第一时刻。
在自动驾驶场景中，车辆100可以通过各种输入设备101得到周围其它车辆和障碍物的运动信息，计算其与行人的交互信息，作为行人穿行意图的判断依据。然而，输入设备101有时候监测的信息并不一定完全正确，可能出现错误或误差，如由于行人目标较小且运动速度慢，输入设备101有时候不一定检测到行人、检测到行人速度不变等误差，这会对行人特征产生较大的影响，因此本申请在得到行人的状态信息后，对各种检测到的信息进行融合滤波，对误差进行一定程度的平滑，使得检测到行人状态信息对应的行人特征更加真实。示例性地，本申请将行人的行为特征、行人的静态交互特征和行人的动态交互特征这三类特征进行组合，通过公式(1)计算出行人特征Z的似然概率，即：
其中，Mt表示行人在t时刻的穿行意图，DTCt表示行人在t时刻的静态交互特征，Dmin t表示行人在t时刻的动态交互特征，ORt表示行人在t时刻的行人的朝向，MOt表示行人在t时刻的行人的运动特征，BLt表示行人在t时刻的行人的身体语言。各个特征的似然概率通过大量数据样本，进行最大似然估计，计算概率参数。
本申请在计算当前时刻的行人穿行道路的表层意图过程中，利用动态贝叶斯网络结构，对行人的表层意图和行人的深层意图的计算进行建模，然后分别将行人特征Z、观测到的行人状态信息Y、预测的行人状态信息X作为输入信息，然后按照时间的顺序，根据深层意图和表层意图之间的相互影响，构建出如图4所示的模型。如图4所示，计算t时刻的表层意图Mt过程中，与上一个时刻的表层意图Mt-1、t时刻的行人特征Zt和t时刻的深层意图Dt有关。
示例性地，以行人状态信息为行人的位置和速度为例，处理器103计算t时刻的表层意图Mt通过公式(2)计算得到，具体为：
其中，P(Mt丨Mt-1)表示表层意图的转移概率，表层意图的转移概率代表了历史表层意图对当前表层意图的影响，起到了意图的平滑的作用；P(Mt丨Zt-1)表示行人特征的似然概率，行人特征的似然概率表示了由观测到的行人行为特征和交互特征，来推理出实时的行人穿行意图；P(Dt，Dt-1，Xt，Yt)表示深层意图，深层意图表示了行人深层意图对表层意图的影响。
如果检测到的行人为初次检测时，此时存储器102中没有存储该行人的历史深层意图，则在存储器102中存储一个深层意图的初始值，比如0.5。在处理器103在计算表层意图时，选择该初始值来计算表层意图，此时计算出的表层意图主要由当前时刻的行人特征确定。
处理器103在得到表层意图后，判断计算得到的表层意图的概率是否超过设定的阈值，如果大于设定的阈值，处理器103可以通过扬声器播放语音、通过显示屏显示提示信息等方式提醒驾驶员，也可以直接控制车辆100减速慢行、避让穿行的行人等行为，使得车辆100在当前行驶的道路上安全行驶。
本申请实施例中，通过车辆100上的各个类型的输入设备101不断获取车辆100行驶的道路上的行人、道路的车道线、车道标识、周围其他车辆等信息，然后分析出当前时刻的行人的行为特征、静态交互特征、动态交互特征等信息后，结合存储器102中存储的上一时刻的表层意图和上一时刻的深层意图，可以得到兼具高精度、实时性和准确性的表层意图估计结果。
其中，准确性是指利用了多方面因素对行人进行预测，并挖掘行人的深层意图，减小了行人感知中噪声的影响。时效性是指使用细节信息和交互信息等具有实时性的要素作为表层意图判断依据，将跟踪信息等具有滞后性的要素用于对深层意图的调整，在保证预测准确性的前提下提高了的时效性。
本申请实施例中，处理器103在实现步骤S304中计算当前时刻的表层意图之前，还实现如下过程：
步骤S302，处理器103根据上一时刻预测的行人状态信息与上一时刻行人的表层意图，确定当前时刻预测的行人状态信息。
具体地，处理器103先获取上一时刻预测的行人状态信息中的速度和位置后，然后根据上一时刻的表层意图，确定行人是否穿行道路，然后处理器103根据上一时刻预测的行人的速度和位置，以及上一时刻与当前时刻之间的时间差，计算出当前时刻预测行人的速度和位置，得到当前时刻的行人状态信息。
步骤S303，处理器103根据当前时刻预测的行人状态信息、当前时刻的观测到的行人状态信息和上一时刻的行人的深层意图，计算当前时刻的深层意图。
其中，本申请所指深层意图为行人在车辆100观测到的生命周期内，行人是否真实具有穿行意图，该意图为长期稳定的意图。实际情况下，行人的深层意图为确定且不随时间改变的，而在意图估计过程中，由于深层意图的不可观测性和参考信息的可靠性影响，该节点在估计过程中是渐变的、逐渐收敛的过程，其可靠性随着历史观测信息的累积而增高。
具体地，由于深层意图对稳定性和准确性要求较高，对实时性要求较低，本申请主要采用上一时刻行人的预测状态信息、当前时刻行人的实际状态信息、当前时刻的表层意图和上一时刻的行人的深层意图对当前时刻的深层意图进行估计和更新。
示例性地，以行人状态信息为行人的位置和速度为例，如图4所示，处理器103利用匀速模型对行人的运动轨迹进行预测，通过将上一时刻预测的行人位置和速度信息与上一时刻行人的表层意图t输入至匀速模型，计算出当前时刻预测的行人位置和速度信息后，再根据当前时刻观测到的行人的位置和速度信息，通过公式(3)计算深层意图的校正量，即：
处理器103根据得到的深层意图的校正量，对上一时刻得到行人的深层意图进行校正，得到当前时刻的深层意图。
公式(3)可以以车辆100行驶的方向的道路的车道方向为参考线，将当前时刻的行人的实际位置信息和当前时刻行人的预测位置信息分别为横向和纵向两个方向，此时的计算公式为：
其中，x表示当前时刻的行人的预测位置，y表示当前时刻的行人的实际位置，vx表示当前时刻的行人的预测速度，vy表示当前时刻的行人的实际速度，L表示垂直于车道方向，S表示平行于车道方向。上式(4)表示了行人沿车道方向和垂直车道方向运动与预测运动之差对深层意图的影响。例如，当行人沿垂直车道方向运动距离大于历史意图预测的运动距离，则由此计算的深层意图为穿行的概率大于非穿行的概率，然后结合历史深层意图，可以实现深层意图的矫正，得到当前时刻的深层意图。
另外，本申请实施例中，处理器103在计算出当前时刻行人的表层意图后，如果确定有行人穿行道路时，需要确定车辆100如何避让行人，具体实现过程如下：
步骤S305，处理器103根据当前时刻的行人的状态信息和当前时刻的表层意图，计算车辆100所处道路的各个车道的车道意图。
具体地，处理器103根据当前时刻的表层意图，确定该表层意图的概率大于设定的阈值时，则表明有行人即将穿行道路，继续根据行人状态信息中的行人位置、行人速度、行人距各个车道之间的距离、行人与车辆100之间的距离等信息，计算车辆100在本车道与行人发生相撞的概率、车辆100转向到其它车道上与行人发生相撞的概率，从而计算出车辆100所处道路的各个车道的车道意图。
示例性地，如图5所示，处理器103获取到行人的速度为v1、车辆100的速度v2、行人与车辆100之间竖直距离为L1、车道宽度为L2、行人距车辆100所处道路的边界距离为L3，然后判断行人到达车辆100所处道路边界的时间t1＝L3/v1是否大于t2＝L1/v2，如果大于，并结合行人运动、朝向、深层意图等其他要素计算得到的车辆100当前所处车道的车道意图小于设定阈值时，，则车辆100在当前所处车道上行驶是安全的；如果小于，并结合行人运动、朝向、深层意图等其他要素计算得到的车辆100当前所处车道的车道意图大于设定阈值时，则车辆100在当前所处车道上行驶不安全。然后判断行人到达车辆100所处车道相邻的车道边界的时间t3＝(L3+L2)/v1是否大于t2(为了方便计算，忽略车辆100从当前车道转向相邻车道的时间)，如果大于，并结合行人运动、朝向、深层意图等其他要素计算得到的车辆100当前所处车道的车道意图小于设定阈值时，则车辆100转向相邻车道上行驶是安全的；如果小于，并结合行人运动、朝向、深层意图等其他要素计算得到的车辆100当前所处车道的车道意图大于设定阈值时，则车辆100在相邻车道上行驶也不安全，此时可以控制车辆100减速慢行、或刹车停下。
本申请通过利用各车道的道路结构和相关车辆提取车道级的静态交互特征和动态交互特征，结合目标行人的行为特征，推理行人的车道意图，让车辆100能够输出行人相对各车道的穿行意图，使自动驾驶车辆提前做出应对。
图6为本申请实施例提供的一种行人穿行意图估计装置的结构示意图。如图6所示，该装置600包括获取单元601和处理单元602。
获取单元601用于获取车辆周围至少一个行人的状态信息，所述至少一个行人包括第一行人；
处理单元602用于根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图，所述第二时刻在所述第一时刻之前，所述深层意图为所述第一行人在整个生命周期内穿行道路的概率，所述表层意图为所述第一行人在当前时刻正在或即将穿行道路的概率；
处理单元602还用于根据所述第一时刻的第一行人的表层意图，确定所述第一行人在第一时刻是否穿行道路。
在一种实施方式中，处理单元602具体用于根据所述第一时刻的第一行人的状态信息，计算第一时刻的第一行人的行人特征的似然概率；根据所述第一时刻的第一行人的行人特征的似然概率和所述第二时刻的第一行人的深层意图，计算所述第一时刻的第一行人的表层意图。
在一种实施方式中，处理单元602还用于当所述第一时刻的第一行人的表层意图大于设定阈值时，控制扬声器播放预警信号和/或在显示屏上显示预警信息。
在一种实施方式中，处理单元602还用于根据第二时刻的第一行人的状态信息和第二时刻的第一行人的表层意图，计算第一时刻的预测第一行人的状态信息；根据所述第一时刻的预测第一行人的状态信息、所述第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的深层意图。
在一种实施方式中，处理单元602还用于根据所述第一时刻的第一行人的状态信息和所述第一时刻的第一行人的表层意图，计算车辆所处道路的至少一个车道的车道意图，所述车道意图为所述第一行人穿行第一车道的概率，所述至少一个车道包括所述第一车道。
本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。
本发明提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
此外，本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digital versatiledisc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
在上述实施例中，图6中行人穿行意图估计装置600可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
应当理解的是，在本申请实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者接入网设备等)执行本申请实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (14)

1.一种行人穿行意图估计方法，其特征在于，包括：
获取车辆周围至少一个行人的状态信息，所述至少一个行人包括第一行人；
根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图，所述第二时刻在所述第一时刻之前，所述深层意图为所述第一行人在所述车辆观测到的整个生命周期内穿行道路的概率，所述表层意图为所述第一行人在当前时刻正在或即将穿行道路的概率；
根据所述第一时刻的第一行人的表层意图，确定所述第一行人在第一时刻是否穿行道路。
2.根据权利要求1所述的方法，其特征在于，在所述根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图之前，包括：
根据所述第一时刻的第一行人的状态信息，计算第一时刻的第一行人的行人特征的似然概率；
所述根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图，包括：
根据所述第一时刻的第一行人的行人特征的似然概率和所述第二时刻的第一行人的深层意图，计算所述第一时刻的第一行人的表层意图。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述第一时刻的第一行人的表层意图大于设定阈值时，控制扬声器播放预警信号和/或在显示屏上显示预警信息。
4.根据权利要求1-3任意一项所述的方法，其特征在于，在所述根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图之前，所述方法包括：
根据第二时刻的第一行人的状态信息和第二时刻的第一行人的表层意图，计算第一时刻的预测第一行人的状态信息；
根据所述第一时刻的预测第一行人的状态信息、所述第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的深层意图。
5.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：
根据所述第一时刻的第一行人的状态信息和所述第一时刻的第一行人的表层意图，计算车辆所处道路的至少一个车道的车道意图，所述车道意图为所述第一行人穿行第一车道的概率，所述至少一个车道包括所述第一车道。
6.一种行人穿行意图估计装置，其特征在于，包括：
获取单元，用于获取车辆周围至少一个行人的状态信息，所述至少一个行人包括第一行人；
处理单元，用于根据第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的表层意图，所述第二时刻在所述第一时刻之前，所述深层意图为所述第一行人在所述车辆观测到的整个生命周期内穿行道路的概率，所述表层意图为所述第一行人在当前时刻正在或即将穿行道路的概率；
所述处理单元，还用于根据所述第一时刻的第一行人的表层意图，确定所述第一行人在第一时刻是否穿行道路。
7.根据权利要求6所述的装置，其特征在于，所述处理单元，具体用于根据所述第一时刻的第一行人的状态信息，计算第一时刻的第一行人的行人特征的似然概率；
根据所述第一时刻的第一行人的行人特征的似然概率和所述第二时刻的第一行人的深层意图，计算所述第一时刻的第一行人的表层意图。
8.根据权利要求6所述的装置，其特征在于，所述处理单元，还用于当所述第一时刻的第一行人的表层意图大于设定阈值时，控制扬声器播放预警信号和/或在显示屏上显示预警信息。
9.根据权利要求6-8任意一项所述的装置，其特征在于，所述处理单元，还用于根据第二时刻的第一行人的状态信息和第二时刻的第一行人的表层意图，计算第一时刻的预测第一行人的状态信息；
根据所述第一时刻的预测第一行人的状态信息、所述第一时刻的第一行人的状态信息和第二时刻的第一行人的深层意图，计算第一时刻的第一行人的深层意图。
10.根据权利要求6-8任意一项所述的装置，其特征在于，所述处理单元，还用于根据所述第一时刻的第一行人的状态信息和所述第一时刻的第一行人的表层意图，计算车辆所处道路的至少一个车道的车道意图，所述车道意图为所述第一行人穿行第一车道的概率，所述至少一个车道包括所述第一车道。
11.一种终端设备，包括至少一个处理器，所述处理器用于执行存储器中存储的指令，以使得终端设备执行如权利要求1-5任一所述的方法。
12.一种汽车，用于执行如权利要求1-5中的任一项所述的方法。
13.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-5中任一项的所述的方法。
14.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-5中任一项所述的方法。
CN202011176754.4A 2020-10-29 2020-10-29 一种行人穿行意图估计方法、装置、设备和汽车 Active CN114426030B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011176754.4A CN114426030B (zh) 2020-10-29 2020-10-29 一种行人穿行意图估计方法、装置、设备和汽车
PCT/CN2021/095259 WO2022088658A1 (zh) 2020-10-29 2021-05-21 一种行人穿行意图估计方法、装置、设备和汽车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011176754.4A CN114426030B (zh) 2020-10-29 2020-10-29 一种行人穿行意图估计方法、装置、设备和汽车

Publications (2)

Publication Number Publication Date
CN114426030A CN114426030A (zh) 2022-05-03
CN114426030B true CN114426030B (zh) 2024-04-09

Family

ID=81309344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011176754.4A Active CN114426030B (zh) 2020-10-29 2020-10-29 一种行人穿行意图估计方法、装置、设备和汽车

Country Status (2)

Country Link
CN (1) CN114426030B (zh)
WO (1) WO2022088658A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115759B (zh) * 2023-04-12 2024-04-09 盐城工学院 一种基于类别引导的路侧交通目标检测***及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014205953A1 (de) * 2014-03-31 2015-10-01 Robert Bosch Gmbh Verfahren zur Analyse einer Verkehrsumfeldsituation eines Fahrzeugs
CN107221175A (zh) * 2017-05-31 2017-09-29 深圳市鸿逸达科技有限公司 一种行人意图检测方法和***
CN107423679A (zh) * 2017-05-31 2017-12-01 深圳市鸿逸达科技有限公司 一种行人意图检测方法和***
DE102018104270A1 (de) * 2018-02-26 2019-08-29 Connaught Electronics Ltd. Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers
CN111008583A (zh) * 2019-11-28 2020-04-14 清华大学 一种利用肢体特征辅助的行人和骑车人姿态估计方法
CN111497840A (zh) * 2020-04-27 2020-08-07 清华大学 车辆-行人碰撞风险域的计算方法及安全评价***
CN111797751A (zh) * 2020-06-29 2020-10-20 中国第一汽车股份有限公司 行人轨迹预测方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3706034A1 (en) * 2019-03-06 2020-09-09 Robert Bosch GmbH Movement prediction of pedestrians useful for autonomous driving

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014205953A1 (de) * 2014-03-31 2015-10-01 Robert Bosch Gmbh Verfahren zur Analyse einer Verkehrsumfeldsituation eines Fahrzeugs
CN107221175A (zh) * 2017-05-31 2017-09-29 深圳市鸿逸达科技有限公司 一种行人意图检测方法和***
CN107423679A (zh) * 2017-05-31 2017-12-01 深圳市鸿逸达科技有限公司 一种行人意图检测方法和***
DE102018104270A1 (de) * 2018-02-26 2019-08-29 Connaught Electronics Ltd. Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers
CN111008583A (zh) * 2019-11-28 2020-04-14 清华大学 一种利用肢体特征辅助的行人和骑车人姿态估计方法
CN111497840A (zh) * 2020-04-27 2020-08-07 清华大学 车辆-行人碰撞风险域的计算方法及安全评价***
CN111797751A (zh) * 2020-06-29 2020-10-20 中国第一汽车股份有限公司 行人轨迹预测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114426030A (zh) 2022-05-03
WO2022088658A1 (zh) 2022-05-05

Similar Documents

Publication Publication Date Title
US11897518B2 (en) Systems and methods for navigating with sensing uncertainty
US11561551B2 (en) Prioritized constraints for a navigational system
US11815904B2 (en) Trajectory selection for an autonomous vehicle
CN108688660B (zh) 运行范围确定装置
US11625038B2 (en) Autonomous driving device
WO2018179539A1 (en) Method for controlling host vehicle and control system of host vehicle
CN103781685A (zh) 车辆用自主行驶控制***
RU2757234C2 (ru) Способ и система для вычисления данных для управления работой беспилотного автомобиля
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
CN111505690A (zh) 实时检测应急车辆并规划行驶路径的方法及装置
CN114426030B (zh) 一种行人穿行意图估计方法、装置、设备和汽车
CN111959482A (zh) 自主驾驶装置及方法
CN110497906A (zh) 车辆控制方法、装置、设备和介质
US20230054626A1 (en) Persisting Predicted Objects for Robustness to Perception Issues in Autonomous Driving
US20230399026A1 (en) State Identification For Road Actors With Uncertain Measurements Based On Compliant Priors
CN116001776A (zh) 一种自动泊车方法及车辆控制装置
CN115635980A (zh) 一种车辆通行方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant