CN107977734A - 一种时空大数据下基于移动马尔可夫模型的预测方法 - Google Patents

Abstract

本发明涉及智慧交通、时空大数据技术领域，具体涉及一种时空大数据下基于移动马尔可夫模型的预测方法，该方法为：对采集的历史位置数据依次进行去噪处理、聚类处理、通过联合密度聚类算法得到聚类簇、针对聚类簇建立兴趣点、对兴趣点进行去噪处理保留真正的兴趣点、建立移动马尔可夫模型；移动用户数据被采集到后，经上述处理后，提取移动用户的兴趣点，根据移动马尔科夫模型实现对移动用户下一位置进行预测。本发明解决了时空大数据环境下数据存储处理量大，预测准确度和精度不理想，提高对移动用户位置预测的精度与准确度。

Description

一种时空大数据下基于移动马尔可夫模型的预测方法

技术领域

本发明涉及智慧交通、时空大数据技术领域，具体涉及一种时空大数据下基于移动马尔可夫模型的预测方法。

背景技术

时空数据由于其所在空间的空间实体和空间现象在时间、空间和属性三个方面的固有特征，时空大数据呈现出多维、语义、时空动态关联的复杂性。时空大数据包括时间、空间、专题属性三维信息，具有多源、海量、更新快速的综合特点。时空数据已成为智慧城市资源的关键要素，通过研究时空大数据多维关联描述的形式化表达、关联关系动态建模与多尺度关联方法分析，进而对时空大数据信息进行挖掘与优化配置，从而优化城市资源的配置，减少城市资源的过度消耗和浪费提供决策支撑具有重要意义。

随着移动互联网技术、空间定位技术、位置服务技术、大数据技术和云计算等技术的飞速发展，智慧交通***(ITS,Intelligence Transportation System)的应用在日常生活中变得越来越重要。目前，各种交通数据采集技术实时采集了海量的时空数据，基于此时空大数据对移动对象位置进行预测，进而对交通规划、交通监管与调度提供智能决策与服务，为用户提供更精细、准确、高效的服务，据此实现技术、社会与人的协调发展。

马尔可夫模型是一种统计分析模型，它的每个状态都是通过某些概率密度分布表现为各种状态，每一个状态是由一个具有相应概率密度分布的状态产生。

但是，目前基于时空大数据智能交通的价值还没有充分地挖掘，对智能交通***中的时空数据无法高效的存储、检索、分析与挖掘，缺乏对用户出行和交通态势轨迹预测与研判。智慧交通中蕴含着时空大数据，在智慧交通的规划、建设与监管中，如何有效地对移动用户的轨迹、位置进行预测，进而为交通道路规划、交通调度与管理、城市规划、公共服务选择、安防工程提供决策支持与帮助一直没有得到很好的解决。

移动轨迹预测技术主要包括移动轨迹数据采集、去噪、特征参数提取、建立预测模型、预测识别决策等。本专利移动位置预测通过移动设备采集用户的移动位置数据，经数据预处理、去噪、基于密度的联合聚类模型与算法，提取用户的特征信息构建兴趣点序列，再经过构建移动马尔可夫模型实现对移动用户位置的预测。

发明内容

为了克服现有技术的不足，时空大数据环境下，本发明提供了一种时空大数据下基于移动马尔可夫模型的预测方法，以解决时空大数据环境下数据存储处理量大，预测准确度和精度不理想，提高对移动用户位置预测的精度与准确度。

为了实现上述目标，本发明所采用的技术方案如下：

一种时空大数据下基于移动马尔可夫模型的预测方法，其特征在于，包括如下步骤：

步骤一：对采集的历史位置数据进行去噪处理；对采集到的历史位置数据进行去噪，滤除干扰数据，滤除动态移动轨迹，保留静态移动轨迹；

步骤二：对去噪的数据进行聚类处理；对所述步骤一中去噪后得到的静态移动轨迹通过联合密度聚类算法对静态移动轨迹进行基于联合密度的聚类处理得到聚类簇；

步骤三：针对聚类簇建立兴趣点；针对所述步骤二中得到的聚类簇，提取出移动用户的行为特征，从而建立用户的兴趣点；

步骤四：对兴趣点进行去噪处理；对所述步骤三中的兴趣点进行计算，计算出每个兴趣点的半径、间隔时间与密度，同时对兴趣点中包含的每个去噪的移动轨迹再一次进行聚类处理，进一步滤除兴趣点中的噪声数据，保留真正的兴趣点；

步骤五：建立移动马尔可夫模型；对于所述步骤四中得到的每个真正的兴趣点建立状态转移概率和状态转移概率矩阵；

步骤六：预测下一位置；移动用户数据被采集到后，经上述步骤一～四处理，提取移动用户的兴趣点，根据所述步骤五中建立的移动马尔可夫模型实现对移动用户下一位置进行预测。

进一步，所述步骤一中去噪处理的方法为：首先保留静态移动轨迹，即静态移动轨迹的速度speed<δ，δ为预先定义的一个常数；当移动轨迹的速度speed>δ，即为动态移动轨迹，从而删除所有动态移动轨迹；

进一步，对所述步骤二中的聚类簇进行类簇合并，所述类簇合并的方法为：聚类簇C₁＝{c₁,c₃,c₇,c₉}和聚类簇C₂＝{c₉,c₁₁,c₁₂}，则这两个聚类簇合并为一个聚类簇：C₁∪C₂＝{c₁,c₃,c₇,c₉,c₁₁,c₁₂}。

本发明所产生的有益效果如下：

本发明通过对位置数据去噪处理、基于联合密度的聚类和类簇合并处理，提取用户的行为特征，从而构建位置点，同时基于此位置点构建具有记忆功能的移动马尔可夫模型，据此对移动对象的位置进行预测。通过步骤一、二、三和四可以去除大量的噪声数据、与预测位置无关的轨迹数据，只依靠兴趣点实现位置预测，这样本发明可以减少时空大数据环境下预测移动对象所需处理数据的存储量，同时也提简化了预测***，提高了预测速度，另外通过具有记忆功能的移动马尔科夫模型，本发明可以提高位置预测的精度与准确度。

附图说明

图1为本发明的移动对象轨迹预测框图；

图2为本发明的兴趣点示意图；

图3为本发明的兴趣点转移图；

图4为本发明的状态矢量图。

具体实施方式

下面结合附图和具体的实施例来进一步详细的说明本发明，但本发明的保护范围并不限于此。

如图1所示，一种时空大数据下基于移动马尔可夫模型的预测方法，包括如下步骤：

步骤一：数据清洗。对采集到的历史位置数据首先去噪，滤除动态的移动轨迹，保留静态的移动轨迹。

由于移动对象速度变化，定位设备精度不高，采集到的移动用户轨迹数据不完全符合真实情况；另外由于设备稳定性问题，采集的数据往往包含一定的噪声。由于移动用户的轨迹是时间的连续信号，而移动马尔可夫链是一个离散的随机过程，所以需要对采集到的移动用户的移动轨迹数据进行离散化处理，同时需要滤除噪声数据，也就是数据清洗。

由于时空数据量巨大，在进行数据处理前，必须对原始数据进行处理。给定欧氏空间，轨迹序列T＝{t₁,t₂,···,t_n}为按时间顺序排列的离散轨迹点，t_i为第i个轨迹点，t_i＝(x_i,y_i,t_i),1<i<n。

轨迹段TS＝{ts₁,ts₂,···,st_k}为按时间序列排列的离散轨迹序列，轨迹段为连续的轨迹点构成的有序离散的线段。

离散轨迹段速度表示轨迹第j段的速度，该速度为由最近的n个离散轨迹点构成的离散轨迹段的平均速度。为了滤除噪声数据，首先保留静态的移动轨迹，即如果第j段的移动轨迹的则该段为静态的移动轨迹，其中δ为预先定义的一个常数，由于移动用户的移动轨迹是动态变化的，这一常数为了适应可变动态数据，取局部均值，即为：

其中，为最近n个移动轨迹段第j段的速度。

同时滤除所有动态的移动轨迹，即滤除的移动轨迹数据，ts_j与前一个移动轨迹段ts_j-1合并为一个移动轨迹段。

步骤二：对所述步骤一中保留的静态移动轨迹通过联合密度聚类算法对静态移动轨迹进行聚类处理，提取出移动用户的行为特征，从而建立用户的兴趣点，同时合并兴趣点，使其共享最大公共的兴趣点。

1)基于联合密度的聚类方法处理过程

为了对保留的静态移动轨迹归类处理，首先定义领域的概念：对于给定的一个轨迹点p，以p点为圆心，以半径r内的轨迹点称为该轨迹点p的r领域；

对于所有的轨迹点的集合T，q为任意一轨迹点，对于给定的轨迹点p，则p点的基于密度的领域为：N(p)＝{q∈S|dist(p,q)≤r}。

该轨迹点p的r领域内的轨迹点数：size(N(p))。

联合密度聚类：则

基于密度聚类的主要思想是为了减少数据的处理量，对位置大数据进行分块，将移动用户的轨迹点中的噪声数据滤除。核心的实现过程为：遍历位置大数据中每个移动用户的轨迹点，通过基于联合密度的聚类处理方法产生聚类簇，假设一个轨迹点p的领域内的点数：size(N(p))≥λ，λ为预先定义的一个常数，表示一个类簇中的最少轨迹点数，根据具体问题确定，则就创建一个新簇C，则轨迹点p为该簇的核心对象；如果size(N(p))<λ，则该轨迹点p为噪声数据，需要滤除；最后根据联合密度的聚类处理方法进行类簇合并。

具体过程为：初始化簇个数n＝0；遍历轨迹点的集合T中的每个轨迹点p；如果size(N(p))<λ，则该轨迹点为噪声，需要滤除；如果size(N(p))≥λ，则建立新的聚类簇C_i；深度优先遍历新簇C_i的轨迹点p基于密度的领域，进行联合密度的聚类合并得到聚类簇C_n；聚类簇合并的方法为：假设聚类簇C₁＝{c₁,c₃,c₇,c₉}和聚类簇C₂＝{c₉,c₁₁,c₁₂}，则将这两个聚类簇合并为一个聚类簇C_n＝C₁∪C₂＝{c₁,c₃,c₇,c₉,c₁₁,c₁₂}，从而得到聚类簇C_n，其中c_i表示聚类簇中的第i元素。

2)构建兴趣点，对所述兴趣点进行计算，计算出每个兴趣点的半径、间隔时间与密度，同时对每个去噪的轨迹点再一次进行聚类处理，进一步滤除兴趣点中的噪声数据，保留真正的兴趣点。

一旦聚类簇形成，每个簇的半径raduis、访问时间间隔interval、密度density就确定好了，其中：半径raduis是簇心到最远轨迹点的距离；访问时间间隔interval是最早访问时间和最近访问时间之间的间隔时间；密度density是簇内移动用户的轨迹点数。

根据用户访问时地点的行为特征，对每个类簇标记相应的语义信息，形成兴趣点(POIs，Point of interest)，即位置。例如某个聚类可以标记为家等；同时每个簇相对于移动马尔可夫模型中的一个状态。标记过程中就计算出了类簇半径raduis、密度density，据此对兴趣点C_i再聚类，如果某些静态移动轨迹不属于任何一个簇，则被标记为unknown，然后所有的被标记为unknown的静态移动轨迹被移除，所有连续的静态移动轨迹共享同一个标签并被归结为单个事件，一个事件对应一个状态。例如6个连续的静态移动轨迹共享一个标签，被认为是一个静态移动轨迹标记点。最终完成所有静态移动轨迹标记工作，并记录标记点数m，状态转移概率矩阵就由m个兴趣点之间的状态转移概率构成。

构建的兴趣点如图2所示。图2中，H表示Home，W表示Work，S表示Sport，L表示Leisure，兴趣点之间的带箭头的连线表示兴趣点之间的转移概率，即状态转移概率。

对兴趣点POIs根据密度density对各个兴趣点按降序排列。

步骤三：对于所述步骤二中保留的真正的兴趣点，基于真正的兴趣点构建移动马尔可夫模型。

预测移动用户的兴趣点，必须确定用户在某个兴趣点的概率，假如有m个兴趣点，则兴趣点的矢量可表示为：d_m＝{d_m,1,d_m,2,···,d_m,i}，当第i个状态为μ时，d_m,i,μ＝1；否则，d_m,i,μ＝0。

如图3所示，图3展示了兴趣点转移情况，在图3中共有5个兴趣点D1～D5，在第一个时间点兴趣点在D3，第二个时间点兴趣点转移到D1，第三个时间点兴趣点转移到D5，第四个时间点兴趣点转移到D2。

图4展示了根据图3兴趣点状态转移情况构成的状态矢量图，D1～D5分别依次对应于矢量中的第一个元素～第五个元素，例如，第一个时间点的兴趣点被标记为D3，相应的在第一个矢量中的第3个元素为1；第二个时间点的兴趣点被标记为D1，相应的在第二个矢量中的第一个元素为1；第三个时间点的兴趣点被标记为D5，相应的在第三个矢量中的第五个元素为1；第四个时间点的兴趣点被标记为D2，相应的在第四个矢量中的第二个元素为1。

步骤四：依据所述步骤三中构建的移动马尔可夫模型建立状态转移概率、状态转移概率矩阵及n-MMC(n-MMCs，n Mobility Markov Chains)状态转移概率矩阵。

依据训练数据，基于上述的数据清洗、基于联合密度的聚类处理方法、兴趣点的构建，从而可以构建移动马尔可夫模型，每个兴趣点对应一个事件，每个事件对应移动马尔可夫模型中的一个状态，假如兴趣点数m，则整体的状态转移概率为：

其中，

据此可以构建状态转移概率矩阵：

如图2所示，根据构建的兴趣点，最终构建的移动马尔可夫模型的状态转移概率矩阵如下：

标准的移动马尔可夫链(MMC，Mobility Markov Chain)是无记忆的，对未来位置的预测仅依赖于当前位置。这和实际情况不太相符，人是根据习惯和记忆来选择未来的，因此在选择下一步的行动时，会根据历史记忆做出下一步行动的决定。因此这种无记忆的性质对未来位置的预测的精确性会产生一些负面影响。为了解决这种问题，引进了一种概念n-MMCs,在n-MMCs中，状态不仅考虑当前兴趣点，还要考虑以前的n-1个已经访问过的兴趣点。

根据训练数据，进而构建n-MMCs状态转移概率矩阵，为了说明基于n-MMCs预测的概念，图2展示了根据联合密度的聚类算法构建的兴趣点，收集了小强的电话GPS数据，学习得到小强的轨迹信息。在2-MMCs中，考虑了四个不同的状态，分别是Home(H)，Work(W)，Leisure(L)和Sports(S)，其目的是基于最近访问的2个位置预测下一个时刻的位置。因此状态转移概率矩阵的行表示了最近访问的n个兴趣点的所有可能的状态组合，而列表示了在n-MMCs中的下个位置。例如，如果前一位置为H，当前位置为W，预测下一位置为H，则状态转移HW到WH将发生，并相应的更新状态转移概率矩阵，前一位置为W，当前位置为H，相应的状态转移概率如下：

其中，μ为前一状态，ν为当前状态，σ为下一状态，d_m,i-1,μ表示共计m个兴趣点，第i-1个状态为μ，d_m,i,ν表示共计m个兴趣点，i个状态为ν，d_m,i+1,σ表示共计m个兴趣点，第i+1个状态为σ，d_n,j-1,μ表示共计n个兴趣点，第j-1个状态为μ，d_n,j,ν表示共计n个兴趣点，第j个状态为ν，d_n,j+1,σ表示共计n个兴趣点，第j+1个状态为σ。最终构建的2-MMC移动马尔可夫模型的部分状态转移概率矩阵如表1所示：

表1 2-MMC移动马尔转移概率表

	W	H	S	L
					HW	0.1	0.8	0.1	0
HS	0	0.8	0.13	0.07
					HL	0	0.9	0.04	0.06
WH	0.71	0.24	0.03	0.02
					WS	0.26	0.59	0.11	0.04
WL	0.32	0.68	0	0

步骤五：根据所述步骤四中的状态转移概率矩阵查找n-MMC状态转移概率矩阵对移动用户的下个位置进行预测，确定移动用户的下一位置。

根据构建的移动马尔可夫模型，为了预测下一个位置，从n-MMC状态转移概率矩阵中，依次在行中查找与之对应的当前状态及前一状态，在列中查找与行中已找到的相对应的列中概率最大的列对象作为移动对象的下一个位置，同时更新n-MMC状态转移概率矩阵中相应的行和列。

要说明的是，上述实施例是对本发明技术方案的说明而非限制，所属技术领域普通技术人员的等同替换或者根据现有技术而做的其它修改，只要没超出本发明技术方案的思路和范围，均应包含在本发明所要求的权利范围之内。

Claims (3)

1.一种时空大数据下基于移动马尔可夫模型的预测方法，其特征在于，包括如下步骤：

步骤一：对采集的历史位置数据进行去噪处理；对采集到的历史位置数据进行去噪，滤除干扰数据，滤除动态移动轨迹，保留静态移动轨迹；

步骤二：对去噪的数据进行聚类处理；对所述步骤一中去噪后得到的静态移动轨迹通过联合密度聚类算法对静态移动轨迹进行基于联合密度的聚类处理得到聚类簇；

步骤三：针对聚类簇建立兴趣点；针对所述步骤二中得到的聚类簇，提取出移动用户的行为特征，从而建立用户的兴趣点；

步骤四：对兴趣点进行去噪处理；对所述步骤三中的兴趣点进行计算，计算出每个兴趣点的半径、间隔时间与密度，同时对兴趣点中包含的每个去噪的移动轨迹再一次进行聚类处理，进一步滤除兴趣点中的噪声数据，保留真正的兴趣点；

步骤五：建立移动马尔可夫模型；对于所述步骤四中得到的每个真正的兴趣点建立状态转移概率和状态转移概率矩阵；

步骤六：预测下一位置；移动用户数据被采集到后，经上述步骤一～四处理，提取移动用户的兴趣点，根据所述步骤五中建立的移动马尔科夫模型实现对移动用户下一位置进行预测。

2.根据权利要求1所述的一种时空大数据下基于移动隐马尔可夫模型的预测方法，其特征在于，所述步骤一中去噪处理的方法为：首先保留静态移动轨迹，即静态移动轨迹的速度speed<δ，δ为预先定义的一个常数；当移动轨迹的速度speed>δ，即为动态移动轨迹，从而删除所有动态移动轨迹。

3.根据权利要求1所述的一种时空大数据下基于移动隐马尔可夫模型的预测方法，其特征在于，对所述步骤二中聚类簇合进行类簇合并，所述类簇合并的方法为：聚类簇C₁＝{c₁,c₃,c₇,c₉}和聚类簇C₂＝{c₉,c₁₁,c₁₂}，则这两个聚类簇合并为一个聚类簇：C₁∪C₂＝{c₁,c₃,c₇,c₉,c₁₁,c₁₂}。