CN108537818B - 基于集群压力lstm的人群轨迹预测方法 - Google Patents

基于集群压力lstm的人群轨迹预测方法 Download PDF

Info

Publication number
CN108537818B
CN108537818B CN201810184172.7A CN201810184172A CN108537818B CN 108537818 B CN108537818 B CN 108537818B CN 201810184172 A CN201810184172 A CN 201810184172A CN 108537818 B CN108537818 B CN 108537818B
Authority
CN
China
Prior art keywords
individual
consistency
neighborhood
information
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810184172.7A
Other languages
English (en)
Other versions
CN108537818A (zh
Inventor
杨华
杨姝颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810184172.7A priority Critical patent/CN108537818B/zh
Publication of CN108537818A publication Critical patent/CN108537818A/zh
Application granted granted Critical
Publication of CN108537818B publication Critical patent/CN108537818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于集群压力LSTM的人群轨迹预测方法，步骤为：获得每个行人个体的运动轨迹用一个LSTM单元代表，得到最初的隐藏状态信息；计算不同高斯核下的整张图像的密度信息，进行压力池化得到融合局部密度的隐藏层信息；计算邻域内LSTM当前的运动一致性矩阵，进行集群池化，得到融合行人运动一致性的隐藏层信息；将上述融合局部密度的隐藏层信息和融合行人运动一致性的隐藏层信息，与最初的隐藏状态信息连接到一起，得到新的压力集群度隐藏特征，输入到下一个LSTM单元中得到下一个预测输出。本发明有效利用行人之间相互作用，包含由密度信息所显示的不稳定性压力信息和邻域内人群一致性的集群性信息，提高了人群轨迹预测的准确性。

Description

基于集群压力LSTM的人群轨迹预测方法
技术领域
本发明涉及计算机视频处理技术领域，具体涉及一种基于集群压力长短期记忆网络(LSTM)的人群轨迹预测方法，设计一种适合于预测人群中行人个体行动轨迹的LSTM网络。
背景技术
行人可以通过日常经验和基本常识理解其他人的行为，人们身处拥挤的公共场景比如人行道，机场地铁，或者大型购物中心时，可以通过观察周围环境和自身常识选择自己的行走路线，另外，他们行动的目的地，对个人空间尊重和在原有的路线上是否有其他人都会影响其对于自己行走路线的选择。对于人群行为轨迹的预测需要考虑大量的常识性行为，因此这是在视觉分析领域较具有挑战性的问题。
行人轨迹预测可以感知行人在人群活动中下一个时间段的位置信息，通过预测到的行人信息可以提前推断行人在人群中的活动，提供更多的信息，从而能够更有效对人群进行分析。对于人群中行人下一个时间段位置的预测，轨迹的突变可以推断异常状态，轨迹的交互作用也可以推断出可能发生危险的位置，做到防范于未然，对人群管理有着极其重要的作用。
现有技术中，人群轨迹预测可以通过自身设计的特性和属性来进行跟踪预测(参见：Kitani K M,Ziebart B D,Bagnell J A,et al.Activity Forecasting[M]//ComputerVision–ECCV 2012.Springer Berlin Heidelberg,2012:201-214.)的和通过环境语义建模(参见：Yi S,Li H,Wang X.Understanding pedestrian behaviors from stationarycrowd groups[J].2015:3488-3496.)。但是以上两种方法面临如下的问题：
1)采用传统特征下需要采用手动定义的函数来定义；
2)方法和特征由数据集驱动，不具有普遍性；
3)不会考虑未来情况下行人之间的相互作用。
发明内容
为了克服上述现有技术的不足之处，本发明的目的在于提供一种基于集群压力LSTM的人群轨迹预测方法，可以有效利用行人之间相互作用，同时考虑行人所处环境邻域信息及人群整体运动趋势，实现了多个场景下对于人群轨迹的预测。
根据本发明上述的目的，一种基于集群压力LSTM的人群轨迹预测方法，包括：
对于需要预测的每个场景，获得图像中每个行人个体的运动轨迹，每个行人个体的运动轨迹用一个LSTM单元代表，得到最初的隐藏状态信息；
计算不同高斯核下的整张图像的密度信息，进行压力池化得到融合局部密度的隐藏层信息；
计算邻域内LSTM当前的运动一致性矩阵，该运动一致性矩阵包含：预测个体与邻域内其他个体之间的一致性以及个体在整个邻域内的一致性信息，将所述运动一致性矩阵进行集群池化，得到融合行人运动一致性的隐藏层信息；
将上述融合了压力特征的所述融合局部密度的隐藏层信息和融合了集群特征的所述融合行人运动一致性的隐藏层信息，与所述最初的隐藏状态信息连接到一起，得到新的压力集群度隐藏特征；
将所述新的压力集群度隐藏特征输入到下一个LSTM单元中得到下一个预测输出，得到下一个时间段的预测行人轨迹位置。
优选地，所述得到最初的隐藏状态信息，其中：
获得场景图像中各个行人在各帧的位置信息
Figure GDA0002446723970000021
表示第t帧第i个行人的位置为
Figure GDA0002446723970000022
输入到LSTM单元得到最初的隐藏状态信息。
优选地，所述计算不同高斯核下的整张图像的密度信息，包括：
采用局部时空二值化的方法得到整张图像的信息，采用不同高斯核对得到的密度信息进行处理，得到不同大小的高斯核下的密度图。
优选地，所述进行压力池化得到融合局部密度的隐藏层信息，包括：
对预测个体邻域内的LSTM进行压力池化，设：N×N邻域在M个高斯核得到的N×N×M维度的密度矩阵，
Figure GDA0002446723970000023
代表第k个高斯核所得到N×N维度的密度矩阵WsocialD在j个LSTM所处位置的密度值，
Figure GDA0002446723970000031
代表第j个邻域行人LSTM所处位置，则压力池化的公式如下：
Figure GDA0002446723970000032
其中，
Figure GDA0002446723970000033
为上一时间段预测个体的初始的隐藏层信息，
Figure GDA0002446723970000034
表示在N×N邻域的(m,n)位置的隐藏状态信息，
Figure GDA0002446723970000035
表示行人个体i是否在行人个体j的邻域范围，如果在邻域范围内函数值取1，该池化为求和池化。
优选地，所述计算邻域内LSTM当前的运动一致性矩阵，是指：已知不同行人的位置信息，计算预测个体邻域内与个体之间的运动一致性和邻域内个体在整体的运动一致性，其中：
计算个体i在个体j的周围邻域的行为一致性，采用如下公式：
ωt(i,j)＝max(Ct(i,j),0)(j∈Ni)
其中Ct(i,j)定义为在t时间时行人个体i和行人个体j的速度相关；
Ni定义为个体i的邻域中所有个体的集合。
计算个体在整个邻域内的一致性，采用基于路径的个体一致性，用图的形式表示在人群中每个个体之间的相似性，人群中的每个个体为图中的点，成对个体间的路径为图的边，C为人群中个体的集合，W为C中个体所形成的图的邻接矩阵，个体在路径长度为l的情况下个体的一致性
Figure GDA0002446723970000037
采用如下公式，并作为图中边的权重：
Figure GDA0002446723970000036
pk,pk+1分别表示路径上k,k+1相邻的两个个体；
两者之间存在一条或多条长度为l的路径，把长度为l的路径所得到的个体一致性相加，用νl(i,j)为矩阵Wl中第i行个体j列的元素，其中Wl为矩阵W的l次方，则将个体i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下，其中Pl表示个体i,j之间路径长度为l的所有个体的集合，jl表示到个体i路径长度为l的个体，νγl(i,j)为个体i,j的个体一致性：
Figure GDA0002446723970000041
对于i会有多个长度为l的点，通过将i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下，其中e表示单位矩阵，C为人群中个体的集合：
Figure GDA0002446723970000042
由于两点之间的路径数目成指数增长，φl(i)会随着两点之间路径长度的增加指数增长，对于个体i其在群体中的一致性是对它在路径l在l＝1,2，…∞上一致性的和如下公式：
φ(i)＝[((Ι-zW)-1-Ι)e]i
其中：W为关于一致性矩阵，Ι为对角矩阵，φ(i)为个体i在人群中的运动一致性；z为一致性系数在0～1之间，e表示单位矩阵；
采用以上得到两种一致性信息，得到G×G×2的运动一致性矩阵WsocialC，其中G为邻域范围定义。
优选地，所述将所述运动一致性矩阵进行集群池化，得到融合行人运动一致性的隐藏层信息，如下公式所示：
Figure GDA0002446723970000043
其中，
Figure GDA0002446723970000044
为上一时间段预测个体的初始的隐藏层信息，表示在N×N邻域的(m,n)位置经过集群池化后的隐藏状态信息，
Figure GDA0002446723970000046
表示行人个体i是否在行人个体j的邻域范围，如果在邻域范围内函数值取1，该池化为求和池化；
Figure GDA0002446723970000047
表示个体j在运动一致性矩阵WsocialC中在第k维所在位置对应值。
优选地，所述压力集群度隐藏特征，如下公式所示：
Figure GDA0002446723970000048
其中：
Figure GDA0002446723970000051
表示在N×N邻域的(m,n)位置经过集群压力池化后得到的隐藏状态信息，作为下一个单元的输入；
Figure GDA0002446723970000052
分别表示初始的隐藏状态信息，压力池化后得到的隐藏状态信息，集群池化后的隐藏状态信息。
与现有技术相比，本发明具有如下的有益效果：
本发明可以有效利用行人之间相互作用，同时考虑行人所处环境邻域信息及人群整体运动趋势的基于集群压力LSTM的人群轨迹预测方法，包含由密度信息所显示的不稳定性压力信息和邻域内人群一致性的集群性信息，提高了人群轨迹预测的准确性，实现了多个场景下对于人群轨迹的预测，尤其适用于在分析人群中个体在未来时间段的运动轨迹。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中基于集群压力LSTM的人群轨迹预测方法流程图；
图2为本发明一实施例中压力集群池化层示意图；
图3为本发明一实施例中结果的轨迹预测定性比较结果，现有预测方法预测结果与实际轨迹的比较。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
随着循环神经网络(RNN)和长短期记忆网络(LSTM)等对于序列预测有较好性能的深度学习算法的出现，改进了传统的行人轨迹预测方法，本发明提出了一种基于集群压力LSTM网络的人群轨迹预测方法。
首先，对于需要预测的每个场景先进行预处理获得图像中所有人在不同时间的位置坐标，获得每个行人个体的运动轨迹；每个行人轨迹用一个LSTM单元代表，得到最初的隐藏状态信息；
然后采用基于稀疏时空局部二值模式计算整张图像的密度信息，采用不同大小的高斯核得到多张密度图，并将邻域内LSTM的隐藏状态信息与其对应位置的密度信息相结合；
再计算邻域内LSTM当前的运动一致性矩阵，该运动一致性矩阵包含预测个体与邻域内其他个体之间的一致性与个体在整个邻域内的一致性信息，得到的运动一致性矩阵与之前的LSTM隐藏状态信息相结合；
将得到的两个新的隐藏状态信息融合连接得到新的隐藏状态信息输入到下一个LSTM单元中得到下一个预测输出，最后得到下一个时间段的预测行人轨迹位置。
参照图1所示，本发明方法部分实施例中可以参照以下步骤进行实施：
第一步：得到场景中各个行人在各帧的位置信息
Figure GDA0002446723970000061
表示第t帧第i个行人的位置为
Figure GDA0002446723970000062
输入到LSTM单元得到最初的隐藏状态信息。
第二步：计算不同高斯核下的整张图像的密度信息，进行压力池化。
1、利用三维Hessian矩阵时域变化剧烈的点提取出来，时空对Hessian矩阵对视频序列I(x,y,t)的处理如下公式，其中
Figure GDA0002446723970000063
表示x方向的二阶偏微分，
Figure GDA0002446723970000064
表示水平x方向和时间t方向的混合偏微分，y表示垂直方向：
Figure GDA0002446723970000065
2、时空局部二值化特征提取，以特征点的灰度值为阈值，将相邻多帧3×3邻域范围内的值与阈值做比较，大于阈值则取1，小于阈值则取0。最后将相邻多帧的二值化特征序列相连，构建X×Y×T空间，X,Y,T分别为在水平，垂直和时间域上所选取的邻域大小，计算时空局部二值化特征，采用傅里叶变换对时空LBP进行谱分析。
所述的时空局部二值模式可以采用现有技术实现，如可以参见：Yang H,Cao Y,SuH,et al.The large-scale crowd analysis based on sparse spatial-temporal localbinary pattern[J].Multimedia Tools&Applications,2014,73(1):41-60。
3、改变高斯核的大小，分别计算不同大小的高斯核下的密度图。
4、对预测个体邻域内的LSTM进行压力池化，如图2所示表明了对于个体i时间t-1得到的隐藏状态信息经过压力集群池化层后得到新的隐藏状态信息作为下一个时间单元新的输入的过程，其中
Figure GDA0002446723970000071
为时间t-1时个体j的隐藏状态信息，N×N邻域在M个高斯核得到的N×N×M维度的密度矩阵，
Figure GDA0002446723970000072
代表第k个高斯核所得到N×N维度的密度矩阵WsocialD在j个LSTM所处位置的密度值，
Figure GDA0002446723970000073
则代表第j个邻域行人LSTM所处位置，压力池化的计算公式如下所示：
Figure GDA0002446723970000074
其中，
Figure GDA0002446723970000075
为上一时间段预测个体的初始的隐藏层信息，
Figure GDA0002446723970000076
表示在N×N邻域的(m,n)位置的经过压力池化后的隐藏状态信息，
Figure GDA0002446723970000077
表示行人个体i是否在行人个体j的邻域范围，如果在邻域范围内函数值取1，该池化为求和池化。
第三步：计算不同的一致性信息矩阵，进行集群池化。
具体步骤为：
1、已知不同行人的位置信息，首先计算个体与邻域内其他个体之间的一致性。计算个体i在个体j的周围邻域的行为一致性：
ωt(i,j)＝max(Ct(i,j),0)(j∈Ni)
其中Ct(i,j)定义为在t时间时个体i和个体j的速度相关，Ni定义为个体i的邻域中所有个体的集合。
2、计算基于路径的个体一致性，用图的形式表示在人群中每个个体之间的相似性，人群中的每个个体为图中的点，成对个体间的路径为图的边。C为人群中个体的集合，W为C中个体所形成的图的邻接矩阵，个体在路径长度为l的情况下个体的一致性为如下公式，并作为图中边的权重：
Figure GDA0002446723970000078
pk,pk+1分别表示路径上k,k+1相邻的两个个体。
两者之间存在一条或多条长度为l的路径，因此把这些长度为l的路径所得到的个体一致性相加，其中νl(i,j)为矩阵Wl中第i行个体j列的元素，其中Wl为矩阵W的l次方。将个体i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下：
Figure GDA0002446723970000081
其中Pl表示个体i,j之间路径长度为l的所有个体的集合，jl表示到个体i路径长度为l的个体，νγl(i,j)为个体i,j的个体一致性。
3、对于i来说其中会有多个长度为l的点，通过将i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下：
Figure GDA0002446723970000082
其中e表示单位矩阵，C为人群中个体的集合。
4、由于两点之间的路径数目成指数增长，φl(i)会随着两点之间路径长度的增加指数增长，对于个体i其在群体中的一致性是对它在路径l在l＝1,2，…∞上一致性的和如下公式：
φ(i)＝[((Ι-zW)-1-Ι)e]i
其中：W为关于一致性矩阵，Ι为对角矩阵，φ(i)为个体i在人群中的运动一致性，z为一致性系数在0～1之间，e表示单位矩阵。
5、采用以上两种得到的一致性信息，得到G×G×2的运动一致性矩阵WsocialC，其中G为邻域范围定义。进行集群池化，得到如下公式：
Figure GDA0002446723970000083
Figure GDA0002446723970000084
表示在N×N邻域的(m,n)位置经过集群池化后的隐藏状态信息，
Figure GDA0002446723970000085
表示个体j在运动一致性矩阵WsocialC中在第k维所在位置对应值。
上述一致性信息计算，可以参见：Zhou B,Tang X,Zhang H,et al.MeasuringCrowd Collectiveness[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2014,36(8):1586-99。
第四步：将上述融合了压力特征和集群特征的隐藏层状态信息与原有的隐藏层状态信息连接到一起，得到最终的压力集群度隐藏特征如下公式：
Figure GDA0002446723970000086
其中：
Figure GDA0002446723970000091
表示在N×N邻域的(m,n)位置经过集群压力池化后得到的隐藏状态信息，作为下一个单元的输入；
Figure GDA0002446723970000092
分别表示初始的隐藏状态信息，压力池化后得到的隐藏状态信息，集群池化后的隐藏状态信息。
第五步：作为新的隐藏层状态信息输入到下一个LSTM单元中，如此迭代进而得到最后的预测结果
Figure GDA0002446723970000093
迭代多次对模型进行训练。
第六步：利用得到的模型进行行人轨迹预测，输入1到时间Tobs的人群轨迹信息，预测时间Tobs+1到Tpred的轨迹。
基于上述的方法步骤，以下提供一具体应用实例，以下实施例采用的图像来自数据库EHT和UCY数据集，这两个数据集为现有常见人群预测的公共数据集。
具体的，本实施例基于集群压力LSTM人群轨迹预测方法，包括如下具体步骤：
第一步：得到场景中各个行人在各帧的位置信息
Figure GDA0002446723970000094
表示第t帧第i个行人的位置为
Figure GDA0002446723970000095
输入到LSTM单元得到最初的隐藏状态信息。本实施例中选择输入8帧的信息作为观察序列。在其他实施例中，可以根据实际情况选择其他帧数信息作为观察序列。
第二步：计算不同高斯核下的整张图像的密度信息，进行压力池化。
本实施例中，利用三维Hessian矩阵时域变化剧烈的点提取出来，以特征点的灰度值为阈值，将相邻多帧3×3邻域范围内的值与阈值做比较，大于阈值则取1，小于阈值则取0。最后将相邻5帧的二值化特征序列相连，构建3×3×5空间，计算时空局部二值化特征，采用傅里叶变换对时空LBP进行谱分析。
本实施例中采用不同大小的6个高斯核，高斯核大小分别为：[5,11,51,101.301,501]，计算不同大小的高斯核下的密度图。
本实施例中把邻域范围定义为32×32邻域在6个高斯核得到的32×32×6维度的密度矩阵，池化窗口大小为8×8，最后得到的压力池化层大小为4×4，压力池化的计算公式如下所示，其中
Figure GDA0002446723970000096
表示在N×N邻域的(m,n)位置经过压力池化后的隐藏状态信息，
Figure GDA0002446723970000101
表示个体j在运动一致性矩阵WsocialD中在第k维所在位置对应值：
Figure GDA0002446723970000102
第三步：计算两种的一致性信息矩阵，进行集群池化。
本实施例中：
第一种为32×32邻域内计算个体i在个体j的周围邻域的行为一致性，采用余弦进行定义：
Figure GDA0002446723970000103
W为32×32邻域内所有个体所形成的图的邻接矩阵，第二种一致性信息矩阵为32×32邻域内每个个体i在邻域内的整体运动一致性为：
φ(i)＝[((Ι-zW)-1-Ι)e]i
Ι为对角矩阵，φ(i)为个体i在人群中的运动一致性，z为一致性系数在0～1之间，e表示单位矩阵。
采用以上两种得到的一致性信息，得到32×32×2的运动一致性矩阵WsocialC。
对运动一致性矩阵WsocialC进行集群池化，得到如下公式：
Figure GDA0002446723970000104
Figure GDA0002446723970000105
表示在N×N邻域的(m,n)位置经过集群池化后的隐藏状态信息，
Figure GDA0002446723970000106
表示个体j在运动一致性矩阵WsocialC中在第k维所在位置对应值。池化窗口大小为8×8，最后得到的压力池化层大小为4×4。
第四步：将上述融合了压力特征和集群特征的隐藏层状态信息与原有的隐藏层信息连接到一起，整体的集群压力池化层维度为4×4×8得到最终的压力集群度隐藏特征如下公式：
Figure GDA0002446723970000107
Figure GDA0002446723970000108
表示在N×N邻域的(m,n)位置经过集群压力池化后得到的隐藏状态信息，作为下一个单元的输入；
Figure GDA0002446723970000109
分别表示初始的隐藏状态信息，压力池化后得到的隐藏状态信息，集群池化后的隐藏状态信息。
第五步：作为新的隐藏层特征输入到下一个LSTM单元中，如此迭代进而得到最后的预测结果
Figure GDA0002446723970000111
为了使得训练模型的准确性，在本实施例中采用负对数函数作为模型的损失函数如下公式：
Figure GDA0002446723970000112
其中
Figure GDA0002446723970000113
分别为二变量高斯分布的均值，标准差和联合分布概率。
本实施例中对训练数据集的迭代次数为100，训练出模型。
第六步：利用以第五步中公式作为损失函数的集群压力LSTM得到的模型进行行人轨迹预测；
输入1到时间Tobs的人群轨迹信息，预测时间Tobs+1到Tpred的轨迹，其中本实施例采用Tobs＝8，Tpred＝20，即已知前8帧的信息，预测9到20帧的轨迹。
通过实验证明，本发明方法较之以前方法能很好的进行人群轨迹预测。如图3所示，其中分别表示了数据集5个场景中采用SocialLSTM(参见：Alahi A,Goel K,RamanathanV,et al.Social LSTM:Human Trajectory Prediction in Crowded Spaces[C]//IEEEConference on Computer Vision and Pattern Recognition.IEEE Computer Society,2016:961-971.)方法和本发明所提出的基于集群压力LSTM的人群轨迹方法相对于实际的人群轨迹预测的比较，分别用三种不同颜色表现三种情况下的人群轨迹，对比两种方法的预测结果发现：
对于单独的行人个体，采用SocialLSTM和本发明所提出的集群压力LSTM方法所预测的结果相比，差距并不明显；
对于部分单独行走的个体或者邻域周围密度分布较平均的场景比如在数据集HOTEL的场景如图3中第二行，发现在本发明定义的邻域范围内其没有其他LSTM对其相互作用，所以SocialLSTM与本发明提出的方法的相差不大；
而对于一些场景中局部密度较大且人群相互之间作用较明显的帧，本发明所提出的基于集群压力LSTM的人群预测方法与实际的人群轨迹重合度较高，特别是在UCY数据集中，本发明提出的方法相较于原有的SocialLSTM算法对于人群轨迹的预测准确率有较大的提高。
综上实施例可以看出，本发明充分利用已有的先验信息，考虑人群中由于密度不同导致的不稳定因素，融入局部密度信息，考虑到行人邻域间运动一致性，融入一致性信息，提高了人群轨迹预测的准确性，能实现了多个场景下对于人群轨迹的预测。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于集群压力LSTM的人群轨迹预测方法，其特征在于，包括：
对于需要预测的每个场景，获得图像中每个行人个体的运动轨迹，每个行人个体的运动轨迹用一个LSTM单元代表，得到最初的隐藏状态信息；
计算不同高斯核下的整张图像的密度信息，进行压力池化得到融合局部密度的隐藏层信息；
计算邻域内LSTM当前的运动一致性矩阵，该运动一致性矩阵包含：预测个体与邻域内其他个体之间的一致性以及个体在整个邻域内的一致性信息，将所述运动一致性矩阵进行集群池化，得到融合行人运动一致性的隐藏层信息；
将上述融合了压力特征的所述融合局部密度的隐藏层信息和融合了集群特征的所述融合行人运动一致性的隐藏层信息，与所述最初的隐藏状态信息连接到一起，得到新的压力集群度隐藏特征；
将所述新的压力集群度隐藏特征输入到下一个LSTM单元中得到下一个预测输出，得到下一个时间段的预测行人轨迹位置。
2.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述得到最初的隐藏状态信息，其中：
获得场景图像中各个行人在各帧的位置信息
Figure FDA0002569461810000011
表示第t帧第i个行人的位置为
Figure FDA0002569461810000012
输入到LSTM单元得到最初的隐藏状态信息，其中，Ft i为当前行人i所在的第t帧的帧信息；Pt i在当前第t帧下的行人信息。
3.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述计算不同高斯核下的整张图像的密度信息，包括：
采用局部时空二值化的方法得到整张图像的信息，采用不同高斯核对得到的密度信息进行处理，得到不同大小的高斯核下的密度图。
4.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述进行压力池化得到融合局部密度的隐藏层信息，包括：
对预测个体邻域内的LSTM进行压力池化，设：N×N邻域在M个高斯核得到的N×N×M维度的密度矩阵，
Figure FDA0002569461810000013
代表第k个高斯核所得到N×N维度的密度矩阵WsocialD在j个LSTM所处位置的密度值，
Figure FDA0002569461810000014
代表第j个邻域行人LSTM所处位置，则压力池化的公式如下：
Figure FDA0002569461810000021
其中，
Figure FDA0002569461810000022
为上一时间段预测个体的初始的隐藏层信息，
Figure FDA0002569461810000023
表示在N×N邻域的(m,n)位置的隐藏状态信息，Ni定义为个体i的邻域中所有个体的集合，
Figure FDA0002569461810000024
表示行人个体i是否在行人个体j的邻域范围，如果在邻域范围内函数值取1，该池化为求和池化。
5.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述计算邻域内LSTM当前的运动一致性矩阵，是指：已知不同行人的位置信息，计算预测个体邻域内与个体之间的运动一致性和邻域内个体在整体的运动一致性，其中：
计算个体i在个体j的周围邻域的行为一致性，采用如下公式：
ωt(i,j)＝max(Ct(i,j),0)(j∈Ni)
其中：Ct(i,j)定义为在t时间时行人个体i和行人个体j的速度相关；Ni定义为个体i的邻域中所有个体的集合；
计算个体在整个邻域内的一致性，采用基于路径的个体一致性，用图的形式表示在人群中每个个体之间的相似性，人群中的每个个体为图中的点，成对个体间的路径为图的边，C为人群中个体的集合，W为C中个体所形成的图的邻接矩阵，个体在路径长度为l的情况下个体的一致性
Figure FDA0002569461810000025
采用如下公式，并作为图中边的权重：
Figure FDA0002569461810000026
pk,pk+1分别表示路径上k,k+1相邻的两个个体；
两者之间存在一条或多条长度为l的路径，把长度为l的路径所得到的个体一致性相加，用νl(i,j)为矩阵Wl中第i行个体j列的元素，其中Wl为矩阵W的l次方，则将个体i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下，其中Pl表示个体i,j之间路径长度为l的所有个体的集合，jl表示到个体i路径长度为l的个体，
Figure FDA0002569461810000031
为个体i,j的个体一致性：
Figure FDA0002569461810000032
对于i会有多个长度为l的点，通过将i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下，其中e表示单位矩阵，C为人群中个体的集合：
Figure FDA0002569461810000033
由于两点之间的路径数目成指数增长，φl(i)会随着两点之间路径长度的增加指数增长，对于个体i其在群体中的一致性是对它在路径l在l＝1,2，…∞上一致性的和如下公式：
φ(i)＝[((Ι-zW)-1-Ι)e]i
其中：W为关于一致性矩阵，Ι为对角矩阵，φ(i)为个体i在人群中的运动一致性；z为一致性系数在0～1之间，e表示单位矩阵；
采用以上得到两种一致性信息，得到G×G×2的运动一致性矩阵WsocialC，其中G为邻域范围定义。
6.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述将所述运动一致性矩阵进行集群池化，得到融合行人运动一致性的隐藏层信息，如下公式所示：
Figure FDA0002569461810000034
其中，
Figure FDA0002569461810000035
为上一时间段预测个体的初始的隐藏层信息，
Figure FDA0002569461810000036
表示在N×N邻域的(m,n)位置经过集群池化后的隐藏状态信息，Ni定义为个体i的邻域中所有个体的集合，
Figure FDA0002569461810000037
表示行人个体i是否在行人个体j的邻域范围，如果在邻域范围内函数值取1，该池化为求和池化；
Figure FDA0002569461810000038
表示个体j在运动一致性矩阵WsocialC中在第k维所在位置对应值。
7.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述压力集群度隐藏特征，如下公式所示：
Figure FDA0002569461810000041
其中：
Figure FDA0002569461810000042
表示在N×N邻域的(m,n)位置经过集群压力池化后得到的隐藏状态信息，作为下一个单元的输入；
Figure FDA0002569461810000043
分别表示初始的隐藏状态信息，压力池化后得到的隐藏状态信息，集群池化后的隐藏状态信息。
CN201810184172.7A 2018-03-07 2018-03-07 基于集群压力lstm的人群轨迹预测方法 Active CN108537818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810184172.7A CN108537818B (zh) 2018-03-07 2018-03-07 基于集群压力lstm的人群轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810184172.7A CN108537818B (zh) 2018-03-07 2018-03-07 基于集群压力lstm的人群轨迹预测方法

Publications (2)

Publication Number Publication Date
CN108537818A CN108537818A (zh) 2018-09-14
CN108537818B true CN108537818B (zh) 2020-08-14

Family

ID=63485631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810184172.7A Active CN108537818B (zh) 2018-03-07 2018-03-07 基于集群压力lstm的人群轨迹预测方法

Country Status (1)

Country Link
CN (1) CN108537818B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143050B (zh) * 2018-11-02 2023-09-19 中移（杭州）信息技术有限公司 一种容器集群调度的方法和设备
CN110210577B (zh) * 2019-06-17 2021-01-29 重庆英卡电子有限公司 一种针对密集鸟群的深度学习以及识别方法
CN110390386B (zh) * 2019-06-28 2022-07-29 南京信息工程大学 基于输入变化微分的灵敏长短期记忆方法
CN110488811B (zh) * 2019-07-22 2023-04-07 上海有个机器人有限公司 一种基于社交网络模型的机器人对行人轨迹预测的方法
CN110737968B (zh) * 2019-09-11 2021-03-16 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及***
CN110721470B (zh) * 2019-10-25 2022-11-11 网易（杭州）网络有限公司 虚拟对象移动行为的控制方法、装置及电子设备
CN111401233A (zh) * 2020-03-13 2020-07-10 商汤集团有限公司 轨迹预测方法、装置、电子设备及介质
CN111783738A (zh) * 2020-07-29 2020-10-16 中国人民解放军国防科技大学 一种通信辐射源异常运动轨迹检测方法
CN112884504A (zh) * 2021-01-26 2021-06-01 安徽农业大学 一种基于lstm的物流压力节点预测***
CN113362367B (zh) * 2021-07-26 2021-12-14 北京邮电大学 一种基于多精度交互的人群轨迹预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242266B2 (en) * 2016-03-02 2019-03-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos
CN106845389B (zh) * 2017-01-18 2019-09-06 山东大学 一种基于方向-集群性模型的人群逃散事件检测方法及***
CN107330920B (zh) * 2017-06-28 2020-01-03 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107330410B (zh) * 2017-07-03 2020-06-30 南京工程学院 复杂环境下基于深度学习的异常检测方法

Also Published As

Publication number Publication date
CN108537818A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537818B (zh) 基于集群压力lstm的人群轨迹预测方法
Xu et al. Depth information guided crowd counting for complex crowd scenes
Wei et al. Boosting deep attribute learning via support vector regression for fast moving crowd counting
Zhang et al. Multiple object tracking via species-based particle swarm optimization
Zhao et al. Optimal-selection-based suppressed fuzzy c-means clustering algorithm with self-tuning non local spatial information for image segmentation
Laugraud et al. LaBGen: A method based on motion detection for generating the background of a scene
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
Suganthan Structural pattern recognition using genetic algorithms
García-Rodríguez et al. Autonomous growing neural gas for applications with time constraint: optimal parameter estimation
Wegne et al. Segment-based building detection with conditional random fields
Hu et al. Parallel spatial-temporal convolutional neural networks for anomaly detection and location in crowded scenes
Cheng et al. Advanced background subtraction approach using Laplacian distribution model
Ghosh et al. Moving object detection using Markov random field and distributed differential evolution
CN114581451A (zh) 一种基于散射图神经网络的大脑磁共振图像分割方法
Reddy et al. A hybrid K-means algorithm improving low-density map-based medical image segmentation with density modification
Rubio et al. Adaptive non-parametric identification of dense areas using cell phone records for urban analysis
Pang et al. Federated learning for crowd counting in smart surveillance systems
CN114049531A (zh) 一种基于弱监督人体协同分割的行人再识别方法
Awasthi et al. Image modeling using tree structured conditional random fields
Liu et al. Color image segmentation algorithms based on granular computing clustering
Venkateswaran et al. Performance analysis of GA and PSO based feature selection techniques for improving classification accuracy in remote sensing images
Denitto et al. Multiple structure recovery via probabilistic biclustering
Liu et al. Contextualized trajectory parsing with spatio-temporal graph
CN114973305B (zh) 一种针对拥挤人群的精确人体解析方法
Wang et al. Integrating manifold ranking with boundary expansion and corners clustering for saliency detection of home scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant