CN112541449A - 一种基于无人机航拍视角的行人轨迹预测方法 - Google Patents
一种基于无人机航拍视角的行人轨迹预测方法 Download PDFInfo
- Publication number
- CN112541449A CN112541449A CN202011505987.4A CN202011505987A CN112541449A CN 112541449 A CN112541449 A CN 112541449A CN 202011505987 A CN202011505987 A CN 202011505987A CN 112541449 A CN112541449 A CN 112541449A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- track
- interaction
- prediction
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于无人机航拍视角的行人轨迹预测方法,步骤1:行人轨迹预处理通过目标检测算法获得行人位置,并通过目标跟踪算法快速得到一段时间之内的行人位置序列;步骤2:轨迹编码将一段时长的轨迹序列使用长短期记忆网络进行编码,获得轨迹运动特征;步骤3:图卷积网络交互构建将每个行人坐标作为图卷积网络的顶点,使用图卷积网络构建行人间的交互关系,得到轨迹交互特征;步骤4:最大互信息优化;步骤5:使用长短期记忆网络对轨迹运动特征和轨迹交互特征进行解码,得到一定时长的预测序列,完成轨迹预测。与现有技术相比,本发明实现了通过构建行人间的交互模式并进行轨迹预测的技术效果,具有良好的鲁棒性。
Description
技术领域
本发明涉及智能机器人及无人驾驶平台领域,特别涉及一种基于无人机航拍视角的行人轨迹预测方法。
背景技术
在城市街道等密集行人场景中,自动驾驶车辆、机器人等运动主体需要根据其他行人的位置规划自身路径,通过对目标的位置预测得以保持安全距离并排除风险因素,行人未来位置预测的准确性对于运动主体的决策***至关重要。行人轨迹预测是一项复杂任务,由于每个行人自身的运动习惯有着天然差异,并且群体环境中存在人与人的交互,个人的运动模式会受到周围行人隐含的影响,人们会遵循社会规则方面的常识来调整自己的路线,运动主体需要预测他人的动作和社会行为。构建具有较高可解释性和泛化能力的行人交互模式是轨迹预测问题的重点。
路面视角的密集行人场景存在大量遮挡等问题,并且普通单目相机对距离的判断能力十分有限,而无人机可以灵活得获取行人的水平位置信息,因此使用无人机航拍视角可以高效地获得行人位置并进行轨迹预测工作。
现有的计算机视觉方法中,图神经网络将深度学习应用在非欧几里得结构上,构建顶点和边表示对象间的关系,展现出良好的鲁棒性和可解释性,通过图拓扑结构建模行人之间的交互模式是一种有效的方式。
发明内容
考虑到图卷积网络在建立交互模型中所具有的优势及存在问题,本发明提出了一种基于无人机航拍视角的行人轨迹预测方法,实现了新的基于无人机航拍视角的图卷积神经网络轨迹预测模型,从而构建行人间的交互模式并进行轨迹预测。
1.本发明的一种基于无人机航拍视角的行人轨迹预测方法,其特征在于,该方法具体包括如下步骤:
步骤1:进行无人机航拍的行人视频中的行人轨迹预处理,包括快速对行人进行定位,即取目标框的中心位置为行人的位置,设全部观测行人的轨迹坐标X=X1,X2,…,Xn;
步骤3:构建图卷积网络交互:使用图结构Gt=(Vt,Et)建立t时刻行人间的交互模型,将行人作为图结构中顶点的集合Vt,行人间的交互关系为边的集合Et,将每一个时间点中顶点Vt的连接关系Et表示为邻接矩阵At,将邻接矩阵At中的边根据距离不同分配的权重表示为:
步骤4:使用最大互信息方法实现最大化轨迹交互特征的局部特征与全局特征间的互信息,具体过程为:首先制作图卷积网络输入的负样本通过图卷积网络获得输出同时提取全局特征然后训练判断器D,使得判断器能将负样本的输出判错并将正样本的输出Z判对,从而训练判别器的损失函数Linf,Linf表示为:
通过以上训练过程,优化图卷积网络的提取结果;
步骤5:进行轨迹预测:使用长短期记忆网络对轨迹运动特征和轨迹交互特征进行解码,输出一帧二维行人轨迹预测,判断总输出长度是否达到预测序列长度?如否则将新的输出帧加入到输入序列中,第一帧输入被丢弃,如是则输出预测序列,由此得到一定时长的预测序列,完成轨迹预测。
与现有技术相比,本发明实现了通过构建行人间的交互模式并进行轨迹预测的技术效果,预测结果具有良好的鲁棒性。
附图说明
图1是本发明的一种基于无人机航拍视角的行人轨迹预测方法整体流程图;
图2是本发明的一种基于无人机航拍视角的行人轨迹预测方法的实施例模型框架结构示意图;
图3是轨迹预测实景示意图,图中实线为观察到的历史轨迹,深色虚线为真实未来轨迹,浅色虚线为预测未来轨迹,图(a)右侧两名行人自右向左走,左侧一名行人从左向右走;图(b)三名行人从右向左走。从图中可观察到与浅色虚线基本重合,说明本专利预测效果较好
具体实施方式
以下结合附图对本发明的技术方案进行详细说明。
本发明的整体思路是采用基于无人机航拍所获得的俯视行人视频,实现对行人轨迹进行预测。
如图1所示,为该方法主要包括以下步骤:
步骤1:进行无人机航拍的行人视频中的行人轨迹预处理:无人机航拍的行人视频包含若干俯视视角的行人,使用已有的目标检测和目标跟踪方法快速对行人进行定位,即:取目标框的中心位置为行人的位置,设全部观测行人的轨迹坐标X=X1,X2,…,Xn提取行人二维位置序列,设置输入序列和预测序列长度;
步骤3:构建图卷积网络交互模型:使用图结构Gt=(Vt,Et)建立t时刻行人间的交互模型,将行人作为图结构中顶点的集合Vt,行人间的交互关系为边的集合Et,将每一个时间点中顶点Vt的连接关系Et表示为邻接矩阵At,将邻接矩阵At中的边根据距离不同分配的权重表示为:
步骤4:为使图卷积网络能够构建良好的行人轨迹交互关系,使用最大互信息方法实现最大化轨迹交互特征的局部特征与全局特征间的互信息,即实现最大互信息优化,具体过程为:首先制作图卷积网络输入的负样本通过图卷积网络获得输出同时提取全局特征然后训练判断器D,使得判断器能将负样本的输出判错并将正样本的输出Z判对,从而训练判别器的损失函数Linf,Linf表示为:
通过以上训练过程,优化图卷积网络的提取结果;
Claims (1)
1.一种基于无人机航拍视角的行人轨迹预测方法,其特征在于,该方法具体包括如下步骤:
步骤1:进行无人机航拍的行人视频中的行人轨迹预处理,包括快速对行人进行定位,即取目标框的中心位置为行人的位置,设全部观测行人的轨迹坐标X=X1,X2,…,Xn;
步骤3:构建图卷积网络交互:使用图结构Gt=(Vt,Et)建立t时刻行人间的交互模型,将行人作为图结构中顶点的集合Vt,行人间的交互关系为边的集合Et,将每一个时间点中顶点Vt的连接关系Et表示为邻接矩阵At,将邻接矩阵At中的边根据距离不同分配的权重 表示为:
步骤4:使用最大互信息方法实现最大化轨迹交互特征的局部特征与全局特征间的互信息,具体过程为:首先制作图卷积网络输入的负样本 通过图卷积网络获得输出同时提取全局特征然后训练判断器D,使得判断器能将负样本的输出判错并将正样本的输出Z判对,从而训练判别器的损失函数Linf,Linf表示为:
通过以上训练过程,优化图卷积网络的提取结果;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011505987.4A CN112541449A (zh) | 2020-12-18 | 2020-12-18 | 一种基于无人机航拍视角的行人轨迹预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011505987.4A CN112541449A (zh) | 2020-12-18 | 2020-12-18 | 一种基于无人机航拍视角的行人轨迹预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112541449A true CN112541449A (zh) | 2021-03-23 |
Family
ID=75019153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011505987.4A Pending CN112541449A (zh) | 2020-12-18 | 2020-12-18 | 一种基于无人机航拍视角的行人轨迹预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112541449A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269054A (zh) * | 2021-04-30 | 2021-08-17 | 重庆邮电大学 | 一种基于时空2d卷积神经网络的航拍视频分析方法 |
CN113362367A (zh) * | 2021-07-26 | 2021-09-07 | 北京邮电大学 | 一种基于多精度交互的人群轨迹预测方法 |
CN113435356A (zh) * | 2021-06-30 | 2021-09-24 | 吉林大学 | 一种克服观察噪声与感知不确定性的轨迹预测方法 |
CN114827750A (zh) * | 2022-05-31 | 2022-07-29 | 脸萌有限公司 | 视角的预测方法、装置、设备及存储介质 |
CN114861554A (zh) * | 2022-06-02 | 2022-08-05 | 广东工业大学 | 一种基于集员滤波的无人艇目标轨迹预测方法 |
CN116612493A (zh) * | 2023-04-28 | 2023-08-18 | 深圳先进技术研究院 | 一种行人地理轨迹提取方法及设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564118A (zh) * | 2018-03-30 | 2018-09-21 | 陕西师范大学 | 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 |
CN110660082A (zh) * | 2019-09-25 | 2020-01-07 | 西南交通大学 | 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法 |
CN111161322A (zh) * | 2019-12-31 | 2020-05-15 | 大连理工大学 | 一种基于人车交互的lstm神经网络行人轨迹预测方法 |
CN111339867A (zh) * | 2020-02-18 | 2020-06-26 | 广东工业大学 | 一种基于生成对抗网络的行人轨迹预测方法 |
CN111339449A (zh) * | 2020-03-24 | 2020-06-26 | 青岛大学 | 一种用户运动轨迹的预测方法、装置、设备及存储介质 |
CN111401233A (zh) * | 2020-03-13 | 2020-07-10 | 商汤集团有限公司 | 轨迹预测方法、装置、电子设备及介质 |
CN111428763A (zh) * | 2020-03-17 | 2020-07-17 | 陕西师范大学 | 一种基于场景约束gan的行人轨迹预测方法 |
CN111488815A (zh) * | 2020-04-07 | 2020-08-04 | 中山大学 | 基于图卷积网络和长短时记忆网络的篮球比赛进球事件预测方法 |
CN111612206A (zh) * | 2020-03-30 | 2020-09-01 | 清华大学 | 一种基于时空图卷积神经网络的街区人流预测方法及*** |
CN111626198A (zh) * | 2020-05-27 | 2020-09-04 | 多伦科技股份有限公司 | 自动驾驶场景下基于Body Pix的行人运动检测方法 |
CN111931905A (zh) * | 2020-07-13 | 2020-11-13 | 江苏大学 | 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法 |
-
2020
- 2020-12-18 CN CN202011505987.4A patent/CN112541449A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564118A (zh) * | 2018-03-30 | 2018-09-21 | 陕西师范大学 | 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 |
CN110660082A (zh) * | 2019-09-25 | 2020-01-07 | 西南交通大学 | 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法 |
CN111161322A (zh) * | 2019-12-31 | 2020-05-15 | 大连理工大学 | 一种基于人车交互的lstm神经网络行人轨迹预测方法 |
CN111339867A (zh) * | 2020-02-18 | 2020-06-26 | 广东工业大学 | 一种基于生成对抗网络的行人轨迹预测方法 |
CN111401233A (zh) * | 2020-03-13 | 2020-07-10 | 商汤集团有限公司 | 轨迹预测方法、装置、电子设备及介质 |
CN111428763A (zh) * | 2020-03-17 | 2020-07-17 | 陕西师范大学 | 一种基于场景约束gan的行人轨迹预测方法 |
CN111339449A (zh) * | 2020-03-24 | 2020-06-26 | 青岛大学 | 一种用户运动轨迹的预测方法、装置、设备及存储介质 |
CN111612206A (zh) * | 2020-03-30 | 2020-09-01 | 清华大学 | 一种基于时空图卷积神经网络的街区人流预测方法及*** |
CN111488815A (zh) * | 2020-04-07 | 2020-08-04 | 中山大学 | 基于图卷积网络和长短时记忆网络的篮球比赛进球事件预测方法 |
CN111626198A (zh) * | 2020-05-27 | 2020-09-04 | 多伦科技股份有限公司 | 自动驾驶场景下基于Body Pix的行人运动检测方法 |
CN111931905A (zh) * | 2020-07-13 | 2020-11-13 | 江苏大学 | 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法 |
Non-Patent Citations (7)
Title |
---|
DAOGUANG LIU等: "A Method For Short-Term Traffic Flow Forecasting Based On GCN-LSTM", 《2020 INTERNATIONAL CONFERENCE ON COMPUTER VISION, IMAGE AND DEEP LEARNING (CVIDL)》 * |
FRANCO SCARSELLI等: "The Graph Neural Network Model", 《IEEE TRANSACTIONS ON NEURAL NETWORKS》 * |
HAO XUE等: "A Location-Velocity-Temporal Attention LSTM Model for Pedestrian Trajectory Prediction", 《IEEEACCESS》 * |
IAN J. GOODFELLOW等: "Generative Adversarial Nets", 《ARXIV:1406.2661V1 [STAT.ML]》 * |
LEGOLAS~: "生成式对抗网络的损失函数的理解", 《CSDN》 * |
YINGFAN HUANG等: "STGAT: Modeling Spatial-Temporal Interactions for Human Trajectory Prediction", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
ZHISHUAI LI等: "A Hybrid Deep Learning Approach with GCN and LSTM for Traffic Flow Prediction", 《2019 IEEE INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE (ITSC)》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269054A (zh) * | 2021-04-30 | 2021-08-17 | 重庆邮电大学 | 一种基于时空2d卷积神经网络的航拍视频分析方法 |
CN113269054B (zh) * | 2021-04-30 | 2022-06-10 | 重庆邮电大学 | 一种基于时空2d卷积神经网络的航拍视频分析方法 |
CN113435356A (zh) * | 2021-06-30 | 2021-09-24 | 吉林大学 | 一种克服观察噪声与感知不确定性的轨迹预测方法 |
CN113362367A (zh) * | 2021-07-26 | 2021-09-07 | 北京邮电大学 | 一种基于多精度交互的人群轨迹预测方法 |
CN113362367B (zh) * | 2021-07-26 | 2021-12-14 | 北京邮电大学 | 一种基于多精度交互的人群轨迹预测方法 |
CN114827750A (zh) * | 2022-05-31 | 2022-07-29 | 脸萌有限公司 | 视角的预测方法、装置、设备及存储介质 |
CN114827750B (zh) * | 2022-05-31 | 2023-12-22 | 脸萌有限公司 | 视角的预测方法、装置、设备及存储介质 |
CN114861554A (zh) * | 2022-06-02 | 2022-08-05 | 广东工业大学 | 一种基于集员滤波的无人艇目标轨迹预测方法 |
CN116612493A (zh) * | 2023-04-28 | 2023-08-18 | 深圳先进技术研究院 | 一种行人地理轨迹提取方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110956651B (zh) | 一种基于视觉和振动触觉融合的地形语义感知方法 | |
CN112541449A (zh) | 一种基于无人机航拍视角的行人轨迹预测方法 | |
US11017550B2 (en) | End-to-end tracking of objects | |
US11860629B2 (en) | Sparse convolutional neural networks | |
Bhattacharyya et al. | Long-term on-board prediction of people in traffic scenes under uncertainty | |
Ridel et al. | Scene compliant trajectory forecast with agent-centric spatio-temporal grids | |
Yudin et al. | Object detection with deep neural networks for reinforcement learning in the task of autonomous vehicles path planning at the intersection | |
Sales et al. | Adaptive finite state machine based visual autonomous navigation system | |
US11731663B2 (en) | Systems and methods for actor motion forecasting within a surrounding environment of an autonomous vehicle | |
JP2020123346A (ja) | 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置 | |
CN110986945B (zh) | 基于语义高度地图的局部导航方法和*** | |
CN115861383A (zh) | 一种拥挤空间下多信息融合的行人轨迹预测装置及方法 | |
Yang et al. | PTPGC: Pedestrian trajectory prediction by graph attention network with ConvLSTM | |
CN115272712A (zh) | 一种融合运动目标分析的行人轨迹预测方法 | |
Karpyshev et al. | Mucaslam: Cnn-based frame quality assessment for mobile robot with omnidirectional visual slam | |
Roth et al. | Viplanner: Visual semantic imperative learning for local navigation | |
Xu et al. | Trajectory prediction for autonomous driving with topometric map | |
Dudarenko et al. | Robot navigation system in stochastic environment based on reinforcement learning on lidar data | |
Khalil et al. | Integration of motion prediction with end-to-end latent RL for self-driving vehicles | |
Fu et al. | Decision making for autonomous driving via multimodal transformer and deep reinforcement learning | |
CN114723782A (zh) | 一种基于异构图学习的交通场景运动目标感知方法 | |
US20230267615A1 (en) | Systems and methods for generating a road surface semantic segmentation map from a sequence of point clouds | |
Postnikov et al. | Conditioned human trajectory prediction using iterative attention blocks | |
Wang et al. | Enhancing mapless trajectory prediction through knowledge distillation | |
CN115018883A (zh) | 一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210323 |