CN111369053B - 一种人车交互场景下行人与车辆的轨迹预测方法 - Google Patents

一种人车交互场景下行人与车辆的轨迹预测方法 Download PDF

Info

Publication number
CN111369053B
CN111369053B CN202010139715.0A CN202010139715A CN111369053B CN 111369053 B CN111369053 B CN 111369053B CN 202010139715 A CN202010139715 A CN 202010139715A CN 111369053 B CN111369053 B CN 111369053B
Authority
CN
China
Prior art keywords
vehicle
pedestrian
pedestrians
follows
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010139715.0A
Other languages
English (en)
Other versions
CN111369053A (zh
Inventor
陈漪皓
曾伟良
姚若愚
林楷
郑宇凡
朱明洲
黎曦琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010139715.0A priority Critical patent/CN111369053B/zh
Publication of CN111369053A publication Critical patent/CN111369053A/zh
Application granted granted Critical
Publication of CN111369053B publication Critical patent/CN111369053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种人车交互场景下行人与车辆的轨迹预测方法，主要包括以下步骤：对所采集的行人及车辆的数据进行预处理；通过所采集的车辆的四个顶点，人工生成足够完全复现车辆形状的数据点；将全局行人及车辆的隐藏信息输入池化层进行池化，共享全局隐藏信息；通过长短期记忆(LSTM)单元将当前状态下所有行人及车辆的隐藏信息的池化输出量、上一时刻行人及车辆的位置信息、当前时刻行人及车辆的位置信息，以及上一时刻行人及车辆的隐藏信息，转化为长短期记忆序列信息；将当前的行人及车辆状态信息通过一个多层感知机结构转化到坐标空间，生成预测轨迹序列。

Description

一种人车交互场景下行人与车辆的轨迹预测方法
技术领域
本发明涉及一种行人与车辆的轨迹预测方法，基于长短期记忆，适用于复杂场景下行人与车辆未来轨迹的预测。
背景技术
当前人工智能在交通方面的多种应用领域(如自动驾驶)，最大的突破口及最具挑战性的问题是目标的轨迹预测。因此，欲大力发展智能交通，最关键的问题是如何精准地预测车辆、行人的轨迹，从而高效地为车辆、行人提供既安全又便捷的路径规划方案。因此，针对这个问题，学会让计算机掌握如何在日常生活中的道路场景下预测多种类目标的轨迹，就成为了当前的重中之重。
近些年来，深度学习中的某些方法在智能交通领域发展尤为迅速，并且取得优秀表现，如：①生成对抗网络：通过生成器和鉴别器的博弈训练过程，使生成器最终可以生成与训练样本相类似的数据；②循环神经网络：对先前的序列信息具有记忆特性；③门控循环单元：由重置门、更新门对过去的时序特征进行分析，从而预测未来信息。
发明内容
本发明的目的在于解决当前轨迹预测领域中，在车辆与行人发生交互行为较多的场景下，同时预测车辆与行人轨迹的问题。
为了实现上述目的，本发明的技术方案如下：包括以下步骤：
A、对所采集的数据进行预处理；
通过图像处理技术以及视频校准技术，主要采集某场景下右转车辆与斑马线上行人的运动轨迹，此处需要采集行人的(x,y)坐标以及车辆的前左轮、前右轮、后左轮、后右轮的(x,y)坐标；
对于行人来说，记录下当前采集时刻frame id以及行人编号ped id；将采集到的所有行人信息，转换为1个[行人数量,4]的矩阵——第1列代表采集时刻frame id，第2列代表行人编号ped id，第3列代表行人的横坐标x，第4列代表行人的纵坐标y；此时要通过重采样的方法，使相邻两个采集时刻之间的间隔为0.4s；最后，按照采集时刻frame id从小到大将所有数据自上而下排列；
对于车辆来说，记录下当前采集时刻frame id以及车辆编号veh id；将采集到的所有车辆信息，转换为1个[车辆数量,10]的矩阵——第1列代表采集时刻frame id，第2列代表车辆编号veh id，第3列代表车辆前左轮的横坐标fl_x(fl表示front left)，第4列代表车辆前左轮的纵坐标fl_y(fl表示front left)，第5列代表车辆前右轮的横坐标fr_x(fr表示front right)，第6列代表车辆前右轮的纵坐标fr_y(fr表示front right)，第7列代表车辆后左轮的横坐标rl_x(rl表示rear left)，第8列代表车辆后左轮的纵坐标rl_y(rl表示rear left)，第9列代表车辆后右轮的横坐标rr_x(rr表示rear right)，第10列代表车辆后右轮的纵坐标rr_y(rr表示rear right)；此时要通过重采样的方法，使相邻两个采集时刻之间的间隔0.4s；最后，按照采集时刻frame id从小到大将所有数据自上而下排列；
B、人工生成足够完全复现车辆形状的数据点；
B1、将行人横、纵坐标记为
Figure GDA0004048213710000021
具体公式如下：
Figure GDA0004048213710000022
B2、将车辆前左轮、前右轮、后左轮、后右轮的横、纵坐标分别记为
Figure GDA0004048213710000023
Figure GDA0004048213710000024
具体公式如下：
Figure GDA0004048213710000025
Figure GDA0004048213710000026
Figure GDA0004048213710000027
Figure GDA0004048213710000028
其中，fl表示front left，fr表示front right，rl表示rear left，rr表示rearright；
B3、计算车辆长度，并把行人长度记为LP，具体公式如下；
Figure GDA0004048213710000029
B4、计算车长单位向量，具体公式如下；
左边车长单位向量：
Figure GDA00040482137100000210
Figure GDA00040482137100000211
为单位向量；
右边车长单位向量：
Figure GDA00040482137100000212
Figure GDA00040482137100000213
为单位向量；
B5、获得总间隔数，具体公式如下：
Figure GDA0004048213710000031
B6、获得车长上所有点的向量，此处采用”pythonic”(python风格化)的流程，具体公式如下：
for n in range(1,interval):
Figure GDA0004048213710000032
Figure GDA0004048213710000033
B7、根据相似三角形，可得全部数据点坐标，并将全部坐标连接记为
Figure GDA0004048213710000034
具体公式如下：
Figure GDA0004048213710000035
其中，
Figure GDA0004048213710000036
表示左边车长上除前左轮和后左轮的所有点坐标，
Figure GDA0004048213710000037
表示右边车长上除前右轮和后右轮的所有点坐标，n∈[1，interval-1]；
C、将行人及车辆位置坐标通过激活函数激活，并且嵌入参数权重，具体公式如下：
Figure GDA0004048213710000038
Figure GDA0004048213710000039
其中，
Figure GDA00040482137100000310
为行人横、纵坐标，
Figure GDA00040482137100000311
为车辆四个顶点及车边长上所有数据点的横、纵坐标集合，Wep为行人坐标嵌入权重，Wev为车辆坐标嵌入权重，Φ(.)是非线性激活函数；
D、池化层结构；
D1、将目标周围网格化，判断当前状态属于车辆在行人所属网格里，行人在行人所属网格里，行人在车辆所属网格里还是车辆在车辆所属网格里，具体公式如下：
Figure GDA00040482137100000312
Figure GDA00040482137100000313
Figure GDA00040482137100000314
Figure GDA00040482137100000315
其中，
Figure GDA00040482137100000316
代表车辆在行人所属网格里，
Figure GDA00040482137100000317
代表行人在行人所属网格里，
Figure GDA00040482137100000318
代表行人在车辆所属网格里，
Figure GDA00040482137100000319
代表车辆在车辆所属网格里，
Figure GDA00040482137100000320
代表上一时刻行人的隐藏状态，
Figure GDA00040482137100000321
代表上一时刻车辆的隐藏状态；
D2、激活池化网图，具体公式如下：
Figure GDA00040482137100000322
Figure GDA0004048213710000041
Figure GDA0004048213710000042
Figure GDA0004048213710000043
其中，Wpv、Wpp、Wvp、Wvv分别为嵌入权重，Φ(.)是非线性激活函数；
E、通过长短期记忆单元经过池化层后的输出，转化为长短期记忆序列信息，生成预测轨迹序列；
E1、激活上一时刻行人及车辆的坐标，具体公式如下：
Figure GDA0004048213710000044
Figure GDA0004048213710000045
其中，
Figure GDA0004048213710000046
表示上一时刻行人的坐标被激活后的输出量，
Figure GDA0004048213710000047
表示上一时刻车辆的坐标被激活后的输出量，Wlp、Wlv分别为嵌入权重；
E2、通过LSTM单元获得当前时刻行人及车辆的隐藏状态序列信息，具体公式如下：
Figure GDA0004048213710000048
Figure GDA0004048213710000049
其中，
Figure GDA00040482137100000410
表示上一时刻行人的隐藏信息，
Figure GDA00040482137100000411
表示上一时刻车辆的隐藏信息，Wlstm-p、Wlstm-v分别为嵌入权重；
E3、将当前状态信息通过一个多层感知机结构转化到坐标空间，生成预测信息，具体公式如下：
Figure GDA00040482137100000412
其中，n∈[1，interval-1]，Wpred-p、Wpred-v分别为嵌入权重；
F、训练模型：
F1、将训练集、测试集、验证集按照6:2:2的比例划分。在训练过程中每隔10个轮次(epochs)就用验证集验证模型训练效果；
F2、在t时刻行人及车辆轨迹点坐标服从于二维正态分布，具体公式如下：
Figure GDA00040482137100000413
Figure GDA0004048213710000051
F3、训练过程中不断减小负对数似然损失函数，具体公式如下：
Figure GDA0004048213710000052
Figure GDA0004048213710000053
其中，Li表示第i个行人的轨迹，Lj表示第j辆车辆的轨迹；
G、用平均偏移误差(ADE)及最终偏移误差(FDE)衡量预测轨迹准确度，具体公式如下；
行人：
Figure GDA0004048213710000054
Figure GDA0004048213710000055
车辆：
Figure GDA0004048213710000056
Figure GDA0004048213710000057
其中，*∈[fl,(ln),rl,fr,(rn),rr]，n∈[1，interval-1]。
附图说明
图1是实施本发明的流程图；
图2是所采集数据的场景示意图；
图3是初始行人数据格式示意图；
图4是初始车辆数据格式示意图。
具体实施方式
下面结合附图对本发明再进行进一步的描述。
如图2所示，通过标注软件在该交叉口环境下对右转车辆以及斑马线上的行人进行位
置信息的采集。
如图3、4所示，将所采集位置信息导出至Microsoft Excel，得到及行人及车辆位置信息的初始数据。
将预处理后的车辆四轮坐标信息(x、y坐标信息)进一步处理，生成更多数据点，使数据足以体现车辆自身轮廓、形状。然后将车辆所有(x,y)数据点信息连接成一个车辆坐标信息矩阵。接下来，将行人坐标矩阵及车辆坐标矩阵嵌入权重后，通过非线性激活函数激活，此处采用Relu非线性函数。
将连续的时序信息，转化为一个个网格化后的格子，使信息成为离散的张量。每个网格的特征为：以目标(车辆/行人)为中心，N0×N0为大小。此时，当前目标以及周围的邻近目标，均被池化在网格中。车辆及行人的隐藏信息，就通过这张网格化的网格图实现了“共享”。池化后，嵌入权重并使用Relu非线性激活函数激活，就得到了车-人、人-人、人-车、车-车的池化张量输出。
将池化输出、目标当前位置信息、目标之前的位置信息、目标的隐藏信息，共同通过LSTM单元获得当前时刻行人及车辆的隐藏状态序列信息。然后将当前状态信息通过一个多层感知机结构转化到坐标空间，最终生成预测轨迹。训练前，将训练集、测试集、验证集按照6:2:2的比例划分。在训练过程中，每隔10个epochs就用验证集验证一次模型训练效果，同时不断迭代、更新参数使得损失函数值不断降低。当损失函数值达到接近不变时，认为已经达到了最小化负对数似然损失函数的目的。最后使用测试集测试模型效果，输入8个观测点，生成12个未来的轨迹预测点，并且结合平均偏移误差(ADE)及最终偏移误差(FDE)的指标衡量模型精确程度。

Claims (2)

1.一种人车交互场景下行人与车辆的轨迹预测方法，其特征在于：包括以下步骤：
A、对所采集的数据进行预处理；
B、人工生成足够完全复现车辆形状的数据点；
B1、将行人横、纵坐标记为
Figure FDA0004048213700000011
具体公式如下：
Figure FDA0004048213700000012
B2、将车辆前左轮、前右轮、后左轮、后右轮的横、纵坐标分别记为
Figure FDA0004048213700000013
Figure FDA0004048213700000014
具体公式如下：
Figure FDA0004048213700000015
Figure FDA0004048213700000016
Figure FDA0004048213700000017
Figure FDA0004048213700000018
其中，fl表示front left，fr表示front right，rl表示rear left，rr表示rear right；
B3、计算车辆长度，并把行人长度记为LP，具体公式如下；
Figure FDA0004048213700000019
B4、计算车长单位向量，具体公式如下；
左边车长单位向量：
Figure FDA00040482137000000110
Figure FDA00040482137000000111
为单位向量；
右边车长单位向量：
Figure FDA00040482137000000112
Figure FDA00040482137000000113
为单位向量；
B5、获得总间隔数，具体公式如下：
Figure FDA00040482137000000114
B6、获得车长上所有点的向量，此处采用python风格化的流程，具体公式如下：
for n in range(1,interval):
Figure FDA00040482137000000115
Figure FDA00040482137000000116
B7、根据相似三角形，可得全部数据点坐标，并将全部坐标连接记为Vt j，具体公式如下：
Figure FDA0004048213700000021
其中，
Figure FDA0004048213700000022
表示左边车长上除前左轮和后左轮的所有点坐标，
Figure FDA0004048213700000023
表示右边车长上除前右轮和后右轮的所有点坐标，n∈[1，interval-1]；
C、将行人及车辆位置坐标通过激活函数激活，并且嵌入参数权重，具体公式如下：
Figure FDA0004048213700000024
Figure FDA0004048213700000025
其中，
Figure FDA0004048213700000026
为行人横、纵坐标，Vt j为车辆四个顶点及车边长上所有数据点的横、纵坐标集合，Wep为行人坐标嵌入权重，Wev为车辆坐标嵌入权重，Φ(.)是非线性激活函数；
D、池化层结构；
D1、将目标周围网格化，判断当前状态属于车辆在行人所属网格里，行人在行人所属网格里，行人在车辆所属网格里还是车辆在车辆所属网格里，具体公式如下：
Figure FDA0004048213700000027
Figure FDA0004048213700000028
Figure FDA0004048213700000029
Figure FDA00040482137000000210
其中，
Figure FDA00040482137000000211
代表车辆在行人所属网格里，
Figure FDA00040482137000000212
代表行人在行人所属网格里，
Figure FDA00040482137000000213
代表行人在车辆所属网格里，
Figure FDA00040482137000000214
代表车辆在车辆所属网格里，
Figure FDA00040482137000000215
代表上一时刻行人的隐藏状态，
Figure FDA00040482137000000216
代表上一时刻车辆的隐藏状态；
D2、激活池化网图，具体公式如下：
Figure FDA00040482137000000217
Figure FDA00040482137000000218
Figure FDA00040482137000000219
Figure FDA00040482137000000220
其中，Wpv、Wpp、Wvp、Wvv分别为嵌入权重，Φ(.)是非线性激活函数；
E、通过长短期记忆单元经过池化层后的输出，转化为长短期记忆序列信息，生成预测轨迹序列；
E1、激活上一时刻行人及车辆的坐标，具体公式如下：
Figure FDA00040482137000000221
Figure FDA0004048213700000031
其中，
Figure FDA0004048213700000032
表示上一时刻行人的坐标被激活后的输出量，
Figure FDA0004048213700000033
表示上一时刻车辆的坐标被激活后的输出量，Wlp、Wlv分别为嵌入权重；
E2、通过LSTM单元获得当前时刻行人及车辆的隐藏状态序列信息，具体公式如下：
Figure FDA0004048213700000034
Figure FDA0004048213700000035
其中，
Figure FDA0004048213700000036
表示上一时刻行人的隐藏信息，
Figure FDA0004048213700000037
表示上一时刻车辆的隐藏信息，Wlstm-p、Wlstm-v分别为嵌入权重；
E3、将当前状态信息通过一个多层感知机结构转化到坐标空间，生成预测信息，具体公式如下：
Figure FDA0004048213700000038
Figure FDA0004048213700000039
其中，n∈[1，interval-1]，Wpred-p、Wpred-v分别为嵌入权重；
F、训练模型：
F1、将训练集、测试集、验证集按照6:2:2的比例划分，在训练过程中每隔10个轮次就用验证集验证模型训练效果；
F2、在t时刻行人及车辆轨迹点坐标服从于二维正态分布，具体公式如下：
Figure FDA00040482137000000310
Figure FDA00040482137000000311
F3、训练过程中不断减小负对数似然损失函数，具体公式如下：
Figure FDA00040482137000000312
Figure FDA00040482137000000313
其中，Li表示第i个行人的轨迹，Lj表示第j辆车辆的轨迹；
G、用平均偏移误差(ADE)及最终偏移误差(FDE)衡量预测轨迹准确度，具体公式如下；
行人：
Figure FDA00040482137000000314
Figure FDA0004048213700000041
车辆：
Figure FDA0004048213700000042
Figure FDA0004048213700000043
其中，*∈[fl,(ln),rl,fr,(rn),rr]，n∈[1，interval-1]。
2.根据权利要求1所述的人车交互场景下行人与车辆的轨迹预测方法，其特征在于，所述的预处理包括：通过图像处理技术以及视频校准技术，采集场景下右转车辆与斑马线上行人的运动轨迹，此处需要采集行人的(x,y)坐标以及车辆的前左轮、前右轮、后左轮、后右轮的(x,y)坐标；
对于行人来说，记录下当前采集时刻frame id以及行人编号ped id；将采集到的所有行人信息，转换为1个[行人数量,4]的矩阵——第1列代表采集时刻frame id，第2列代表行人编号ped id，第3列代表行人的横坐标x，第4列代表行人的纵坐标y；此时要通过重采样的方法，使相邻两个采集时刻之间的间隔为0.4s；最后，按照采集时刻frame id从小到大自上而下排列；
对于车辆来说，记录下当前采集时刻frame id以及车辆编号veh id；将采集到的所有车辆信息，转换为1个[车辆数量,10]的矩阵——第1列代表采集时刻frame id，第2列代表车辆编号veh id，第3列代表车辆前左轮的横坐标fl_x，第4列代表车辆前左轮的纵坐标fl_y，第5列代表车辆前右轮的横坐标fr_x，第6列代表车辆前右轮的纵坐标fr_y，第7列代表车辆后左轮的横坐标rl_x，第8列代表车辆后左轮的纵坐标rl_y，第9列代表车辆后右轮的横坐标rr_x，第10列代表车辆后右轮的纵坐标rr_y；此时要通过重采样的方法，使相邻两个采集时刻之间的间隔0.4s；最后，按照采集时刻frame id从小到大自上而下排列。
CN202010139715.0A 2020-03-03 2020-03-03 一种人车交互场景下行人与车辆的轨迹预测方法 Active CN111369053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010139715.0A CN111369053B (zh) 2020-03-03 2020-03-03 一种人车交互场景下行人与车辆的轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010139715.0A CN111369053B (zh) 2020-03-03 2020-03-03 一种人车交互场景下行人与车辆的轨迹预测方法

Publications (2)

Publication Number Publication Date
CN111369053A CN111369053A (zh) 2020-07-03
CN111369053B true CN111369053B (zh) 2023-04-07

Family

ID=71211627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010139715.0A Active CN111369053B (zh) 2020-03-03 2020-03-03 一种人车交互场景下行人与车辆的轨迹预测方法

Country Status (1)

Country Link
CN (1) CN111369053B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932882B (zh) * 2020-08-13 2022-05-06 广东飞达交通工程有限公司 一种基于图像识别的道路事故实时预警***、方法和设备
CN112115550B (zh) * 2020-09-13 2022-04-19 西北工业大学 基于Mogrifier-BiGRU的飞行器机动轨迹预测方法
CN112721943B (zh) * 2021-01-20 2021-08-03 吉林大学 一种具有冲突消解功能的人机共驾横向控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168869A1 (en) * 2018-02-27 2019-09-06 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
CN109919072B (zh) * 2019-02-28 2021-03-19 桂林电子科技大学 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法
CN110599767A (zh) * 2019-09-04 2019-12-20 广东工业大学 一种基于网约车出行需求的长短期预测方法

Also Published As

Publication number Publication date
CN111369053A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111369053B (zh) 一种人车交互场景下行人与车辆的轨迹预测方法
CN106875424B (zh) 一种基于机器视觉的城市环境行驶车辆行为识别方法
CN111537990B (zh) 一种车道的标定方法、装置以及电子设备
CN107421752B (zh) 一种智能汽车测试场景加速重构方法
CN103258213B (zh) 一种用于智能交通***中的动态车辆车型识别方法
CN105513354A (zh) 基于视频的城市道路交通拥堵检测***
CN111311009B (zh) 一种基于长短期记忆的行人轨迹预测方法
WO2021013190A1 (zh) 基于气象参数的高速列车导航盲区定位方法及***
CN107985189A (zh) 面向高速驾驶环境下的驾驶员变道深度预警方法
CN111274886B (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及***
CN107315998A (zh) 基于车道线的车辆种类划分方法和***
CN110991523A (zh) 一种面向无人驾驶车辆检测算法性能的可解释性评估方法
CN114299607A (zh) 一种基于自动驾驶汽车的人车碰撞危险度分析方法
CN105404858A (zh) 一种基于深度费舍尔网络的车型识别方法
CN116665153A (zh) 一种基于改进型Deeplabv3+网络模型的道路场景分割方法
CN114620059B (zh) 一种自动驾驶方法及其***、计算机可读存储介质
Zhou et al. Automatic responsive-generation of 3D urban morphology coupled with local climate zones using generative adversarial network
CN117521389A (zh) 一种基于车路协同感知仿真平台的车辆感知测试方法
CN117036733A (zh) 一种城市道路场景特征线提取的方法
CN115512538B (zh) 一种基于碳排放的可变限速控制方法及***
CN114742975B (zh) 一种车载图像铁轨曲线建模方法
Chen et al. Research on object detection algorithm based on multilayer information fusion
CN112861682B (zh) 基于朴素贝叶斯云计算路面图像采集分类方法及其装置
Li et al. Traffic Modeling Considering Motion Uncertainties
Pokrywka Yolo with high dataset augmentation for vehicle class and orientation detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant