CN116842340A - 一种基于att-gru模型的行人轨迹预测方法和设备 - Google Patents
一种基于att-gru模型的行人轨迹预测方法和设备 Download PDFInfo
- Publication number
- CN116842340A CN116842340A CN202310748925.3A CN202310748925A CN116842340A CN 116842340 A CN116842340 A CN 116842340A CN 202310748925 A CN202310748925 A CN 202310748925A CN 116842340 A CN116842340 A CN 116842340A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- att
- data
- gru model
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000033001 locomotion Effects 0.000 claims abstract description 34
- 230000003993 interaction Effects 0.000 claims abstract description 20
- 241000283070 Equus zebra Species 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于ATT‑GRU模型的行人轨迹预测方法和设备，方法包括如下步骤：采集人车混行环境下，行人在通过斑马线时的行人运动特性数据、异质性数据和交互场景数据并进行预处理；基于预处理后的行人运动特性数据、异质性数据和交互场景数据，利用预先训练好的ATT‑GRU模型对预定时长内的运动轨迹进行预测。与现有技术相比，本发明充分考虑行人自身的异质性，选取能够进行长时域轨迹预测的ATT‑GRU模型，将预测的轨迹输入到自动驾驶汽车的智能决策模块，帮助车辆实现实时的避障规划，保护行人的安全性，提高了自动驾驶汽车的通行能力。
Description
技术领域
本发明涉及轨迹预测技术领域，尤其是涉及一种基于ATT-GRU模型的行人轨迹预测方法和设备。
背景技术
世界卫生组织在《全球道路安全现状报告2018》中明确指出，在道路交通事故中，全球每年大约有135万人死亡，平均每24秒就有1人在道路上失去生命，而这些死亡者中56％为行人，可见行人是交通事故中的主要受害者，对其保护刻不容缓。
对于自动驾驶汽车而言，现有的行人安全保护***主要通过目标检测技术对即将发生的危险进行碰撞预警和避碰。然而，行人在运动时会受周围环境的影响，运动轨迹具有高动态和高随机的不确定性，较短时间内产生的起步、减速、加速、急停、急转等运动行为为行人检测与避碰带来了巨大挑战。仅依赖于目标检测的行人安全保护***，缺乏对其未来行为的预判，能够提供给自动驾驶汽车用于智能决策的信息非常有限，导致自动驾驶汽车尚未完全具备应对复杂交通场景的能力，对行人的保护能力不强，无法实现高效、安全的通行。对自动驾驶汽车而言，行人的轨迹预测是一个难点。
现有的行人轨迹预测方法，如典型的运动学模型方法包括恒速度(ConstantVelocity,CV)模型，恒加速度(Constant Acceleration,CA)模型以及恒位置(ConstantPosition,CP)模型等，将行人的加速度、速度以及位置与外部环境建立联系。也有基于运动意图模型方法(如贝叶斯框架)和基于动态环境信息模型方法(如社会力模型)。上述的行人轨迹预测方法简单易行，对数据样本的数量依赖性不强，为行人轨迹预测技术的发展做出了诸多贡献。但在使用时需要定量的运动学和动力学参数，对行人信息提取不足，难以精确描述行人运动轨迹的动态变化特性，对复杂交通场景中交互信息的捕捉存在缺失，导致轨迹预测效果与实际情况仍存在一定差距。
综上，当前缺少一种充分考虑行人异质性的行人轨迹预测方案。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于ATT-GRU模型的行人轨迹预测方法和设备，通过在行人轨迹预测过程中考虑行人的异质性，提高预测准确性。
本发明的目的可以通过以下技术方案来实现：
本发明的一个方面，提供了一种基于ATT-GRU模型的行人轨迹预测方法，包括如下步骤：
采集人车混行环境下，行人在通过斑马线时的行人运动特性数据、异质性数据和交互场景数据并进行预处理；
基于预处理后的行人运动特性数据、异质性数据和交互场景数据，利用预先训练好的ATT-GRU模型对预定时长内的运动轨迹进行预测。
作为优选的技术方案，所述的行人运动特性数据包括行人当前的位置和速度，所述的行人异质性数据包括行人的年龄和性别，所述交互场景数据包括车辆当前位置和速度。
作为优选的技术方案，所述的预先训练好的ATT-GRU模型的训练过程包括如下步骤：
使用预先准备好的训练集对预先构建好的ATT-GRU模型进行训练，确定模型的参数；
使用车载端的实测数据完成模型准确性的验证，得到所述预先训练好的ATT-GRU模型。
作为优选的技术方案，所述的行人运动特性数据、异质性数据和交互场景数据的获取包括如下步骤：
利用自动驾驶汽车搭载的摄像头和激光雷达传感器，获取行人运动特性数据、异质性数据及交互场景数据。
作为优选的技术方案，所述的ATT-GRU模型采用基于注意力机制的编码器-解码器框架，且编码器、解码器分别作为模型的输入层和输出层。
作为优选的技术方案，还包括如下步骤：
将预测得到的运动轨迹输入到自动驾驶汽车的智能决策模块。
作为优选的技术方案，所述的注意力机制具体为：
针对编码器编码后的特征，生成预设的语义向量，根据不同特征分配不同的注意力权重后，输出到解码器。
作为优选的技术方案，采集到的行人运动特性数据、异质性数据和交互场景数据为车辆安全包络线范围内的数据。
本发明的另一个方面，提供了一种电子设备，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行上述基于ATT-GRU模型的行人轨迹预测方法的指令。
本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述基于ATT-GRU模型的行人轨迹预测方法的指令。
与现有技术相比，本发明具有以下优点：
(1)预测准确性高：不同于已有的基于典型的运动学模型实现行人轨迹预测的方案，本发明基于行人运动特性数据、异质性数据和交互场景数据，利用预先训练好的ATT-GRU训练模型对行人轨迹进行预测，充分考虑行人异质性对行人前进路线的影响，提高了预测的准确性。
(2)模型鲁棒性强：本发明采用基于注意力机制的编码器-解码器框架构建ATT-GRU模型，能够充分考虑行人运动特性数据、异质性数据和交互场景数据对行人轨迹的影响分配不同的注意力权重，提高了模型的鲁棒性。
附图说明
图1为实施例中基于ATT-GRU模型的行人轨迹预测方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例1
参见图1，本实施例提供了一种基于ATT(注意力机制)-GRU(门控循环神经网络)模型的行人轨迹预测方法，包括如下步骤：
步骤S1-S2，行人运动特性数据、异质性数据及交互场景数据获取步骤：选取人车混行的斑马线，利用自动驾驶汽车搭载的摄像头、激光雷达等传感器，通过多传感器信息融合算法，获取车辆安全包络线范围内的行人运动特性数据、异质性数据及交互场景数据。
具体的，行人运动特性数据包括：行人当前的位置、速度；行人异质性数据包括：年龄和性别；交互场景数据包括：车辆当前位置、速度。
步骤S3，ATT-GRU模型搭建、训练与验证步骤：通过对车载传感器获取的行人运动特性数据、异质性数据及交互场景数据以及自动驾驶车辆本身的运动特性数据的预处理，将处理后的数据导入到搭建的ATT-GRU模型，来训练神经网络模型的结构权重和偏置参数；ATT-GRU模型训练完成后，再使用车载端的实测数据完成该模型准确性的验证。
具体的，所搭建的ATT-GRU模型采用编码器-解码器框架，首先编码器作为输入层，输入层特征包括行人位置(X,Y方向)、速度(X,Y方向)、异质性(年龄、性别)以及车辆位置(X,Y方向)、速度(X,Y方向)，将相关特征完成编码后，生成特定的语义向量；然后将语义向量输入到注意力机制中，根据不同特征分配不同的注意力权重；最后解码器作为输出层，对相关带有注意力权重的特征完成解码操作，输出行人的第一预设时长内的运动轨迹(X,Y方向)；通过自动驾驶汽车车载传感器获取的行人运动特性数据、异质性数据及交互场景数据，导入到ATT-GRU模型，来训练神经网络模型的结构权重和偏置参数，训练完成后，再使用车载端的实测数据完成该模型准确性的验证。
步骤S4，基于ATT-GRU模型的行人轨迹预测步骤：对于正在通过斑马线的行人，用ATT-GRU模型预测其未来第一预设时长内的运动轨迹。
具体的，基于ATT-GRU模型的行人轨迹预测步骤包括：
通过车载传感器，获取当前车辆和行人的多个特征，包括行人位置(X,Y方向)、速度(X,Y方向)、异质性(年龄、性别)以及车辆位置(X,Y方向)、速度(X,Y方向)，经过数据归一化操作，导入到训练好的ATT-GRU模型中，输出预测数据，并将相关数据反归一化，得到未来第一预设时长内的行人运动轨迹。
ATT机制具体内容如下：假设在第t个时刻，计算解码端的条件概率公式为：
p(yt|(y1,...,yt-1),X)＝g(yt-1,si,ci) (1)
式中：g表示一个非线性的多层神经网络；si表示解码器t时刻的隐藏层状态，其计算公式可以表示为：
si＝f(si-1,yi-1,ci) (2)
式中：ci表示解码器输入序列所有隐藏层状态h1,...,ht-1,ht的一个加权和，其计算公式为：
式中：L表示编码器输入序列的长度；hj表示第j时刻隐藏层的状态；aij表示第i时刻输出序列对第j时刻输入序列的注意力分配系数。
GRU单元包括2个控制门，分别是重置门和更新门，相关计算如下：
rt＝σ(Wr·[ht-1,xt]) (4)
zt＝σ(Wz·[ht-1,xt]) (5)
式中：rt表示重置门；zt表示更新门；Wr表示重置门的权重矩阵；Wz表示重置门的权重矩阵；ht-1表示当前t-1时刻的隐藏状态；xt表示当前t时刻的输入向量；σ表示sigmoid函数；tanh表示tanh函数；表示当前t时刻的候选隐藏状态；W表示候选隐藏状态的权重矩阵；ht表示当前t时刻的隐藏状态。
本发明充分考虑行人自身的异质性，选取能够进行长时域轨迹预测的ATT-GRU模型，将预测的轨迹输入到自动驾驶汽车的智能决策模块，帮助车辆实现实时的避障规划，保护行人的安全性，提高了自动驾驶汽车的通行能力。
实施例2
本实施例提供了一种电子设备，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述基于ATT-GRU模型的行人轨迹预测方法的指令。
实施例3
本实施例提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述基于ATT-GRU模型的行人轨迹预测方法的指令。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于ATT-GRU模型的行人轨迹预测方法，其特征在于，包括如下步骤：
采集人车混行环境下，行人在通过斑马线时的行人运动特性数据、异质性数据和交互场景数据并进行预处理；
基于预处理后的行人运动特性数据、异质性数据和交互场景数据，利用预先训练好的ATT-GRU模型对预定时长内的运动轨迹进行预测。
2.根据权利要求1所述的一种基于ATT-GRU模型的行人轨迹预测方法，其特征在于，所述的行人运动特性数据包括行人当前的位置和速度，所述的行人异质性数据包括行人的年龄和性别，所述交互场景数据包括车辆当前位置和速度。
3.根据权利要求1所述的一种基于ATT-GRU模型的行人轨迹预测方法，其特征在于，所述的预先训练好的ATT-GRU模型的训练过程包括如下步骤：
使用预先准备好的训练集对预先构建好的ATT-GRU模型进行训练，确定模型的参数；
使用车载端的实测数据完成模型准确性的验证，得到所述预先训练好的ATT-GRU模型。
4.根据权利要求1所述的一种基于ATT-GRU模型的行人轨迹预测方法，其特征在于，所述的行人运动特性数据、异质性数据和交互场景数据的获取包括如下步骤：
利用自动驾驶汽车搭载的摄像头和激光雷达传感器，获取行人运动特性数据、异质性数据及交互场景数据。
5.根据权利要求1所述的一种基于ATT-GRU模型的行人轨迹预测方法，其特征在于，还包括如下步骤：
将预测得到的运动轨迹输入到自动驾驶汽车的智能决策模块。
6.根据权利要求1所述的一种基于ATT-GRU模型的行人轨迹预测方法，其特征在于，所述的ATT-GRU模型采用基于注意力机制的编码器-解码器框架，且编码器、解码器分别作为模型的输入层和输出层。
7.根据权利要求6所述的一种基于ATT-GRU模型的行人轨迹预测方法，其特征在于，所述的注意力机制具体为：
针对编码器编码后的特征，生成预设的语义向量，根据不同特征分配不同的注意力权重后，输出到解码器。
8.根据权利要求1所述的一种基于ATT-GRU模型的行人轨迹预测方法，其特征在于，采集到的行人运动特性数据、异质性数据和交互场景数据为车辆安全包络线范围内的数据。
9.一种电子设备，其特征在于，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-8任一所述基于ATT-GRU模型的行人轨迹预测方法的指令。
10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-8任一所述基于ATT-GRU模型的行人轨迹预测方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310748925.3A CN116842340A (zh) | 2023-06-21 | 2023-06-21 | 一种基于att-gru模型的行人轨迹预测方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310748925.3A CN116842340A (zh) | 2023-06-21 | 2023-06-21 | 一种基于att-gru模型的行人轨迹预测方法和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116842340A true CN116842340A (zh) | 2023-10-03 |
Family
ID=88161000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310748925.3A Pending CN116842340A (zh) | 2023-06-21 | 2023-06-21 | 一种基于att-gru模型的行人轨迹预测方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116842340A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541998A (zh) * | 2024-01-10 | 2024-02-09 | 北京理工大学 | 一种基于贝叶斯神经网络的行人轨迹融合预测方法 |
-
2023
- 2023-06-21 CN CN202310748925.3A patent/CN116842340A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541998A (zh) * | 2024-01-10 | 2024-02-09 | 北京理工大学 | 一种基于贝叶斯神经网络的行人轨迹融合预测方法 |
| CN117541998B (zh) * | 2024-01-10 | 2024-03-29 | 北京理工大学 | 一种基于贝叶斯神经网络的行人轨迹融合预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Grip: Graph-based interaction-aware trajectory prediction | |
| CN113366497B (zh) | 自主载具的智能体优先级划分 | |
| Xiong et al. | A new framework of vehicle collision prediction by combining SVM and HMM | |
| Benterki et al. | Artificial intelligence for vehicle behavior anticipation: Hybrid approach based on maneuver classification and trajectory prediction | |
| JP7471397B2 (ja) | 道路シーンにおける多様な長期将来軌道のシミュレーション | |
| JP2021506000A (ja) | 多段画像ベースの物体検出および認識 | |
| CN111508101B (zh) | 通过检测驾驶场景来评估驾驶员的驾驶习惯的方法和装置 | |
| CN111133485A (zh) | 自主交通工具的对象预测优先级排序***和方法 | |
| CN107730903A (zh) | 基于深度卷积神经网络的违章停车和抛锚车视觉检测*** | |
| Rummelhard et al. | Probabilistic grid-based collision risk prediction for driving application | |
| CN112258841B (zh) | 一种基于它车辆轨迹预测的智能车辆风险评估方法 | |
| CN110077398B (zh) | 一种用于智能驾驶的危险处理方法 | |
| CN112487954B (zh) | 一种面向平面交叉口的行人过街行为预测方法 | |
| CN110356412A (zh) | 用于自主驾驶的自动规则学习的方法和设备 | |
| KR102271321B1 (ko) | 인공지능 기반의 사고 방지용 전동 킥보드 및 그의 사고 방지 방법 | |
| CN114399743A (zh) | 一种障碍物未来轨迹的生成方法 | |
| CN116842340A (zh) | 一种基于att-gru模型的行人轨迹预测方法和设备 | |
| Guo et al. | Modeling driver’s evasive behavior during safety–critical lane changes: Two-dimensional time-to-collision and deep reinforcement learning | |
| CN114446046A (zh) | 一种基于lstm模型的弱势交通参与者轨迹预测方法 | |
| Mänttäri et al. | Learning to predict lane changes in highway scenarios using dynamic filters on a generic traffic representation | |
| Yang et al. | Vehicle trajectory prediction based on LSTM network | |
| CN116501820A (zh) | 车辆轨迹预测方法、装置、设备及存储介质 | |
| Miani et al. | Young drivers’ pedestrian anti-collision braking operation data modelling for ADAS development | |
| CN114889608A (zh) | 一种基于注意力机制的车辆换道预测方法 | |
| Sun et al. | A recognition model of driving risk based on belief rule-base methodology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |