CN110543543A - 一种基于多粒度神经网络的用户移动行为预测方法及装置 - Google Patents
一种基于多粒度神经网络的用户移动行为预测方法及装置 Download PDFInfo
- Publication number
- CN110543543A CN110543543A CN201910854835.6A CN201910854835A CN110543543A CN 110543543 A CN110543543 A CN 110543543A CN 201910854835 A CN201910854835 A CN 201910854835A CN 110543543 A CN110543543 A CN 110543543A
- Authority
- CN
- China
- Prior art keywords
- user
- granularity
- grid
- network model
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 45
- 235000019580 granularity Nutrition 0.000 claims abstract description 169
- 238000003062 neural network model Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 230000006399 behavior Effects 0.000 claims description 146
- 230000015654 memory Effects 0.000 claims description 43
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006403 short-term memory Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 230000007787 long-term memory Effects 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims 1
- 239000013598 vector Substances 0.000 description 17
- 230000000694 effects Effects 0.000 description 10
- 230000007774 longterm Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种基于多粒度神经网络的用户移动行为预测方法、装置、设备及计算机可读存储介质，包括：将用户移动位置的预测空间映射至地图，得到与所述预测空间对应的地图区域；分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列；利用多粒度神经网络模型，在所述不同粒度下分别利用不同的预测模型对所述多个网格ID序列进行预测，得到所述不同粒度下的所述用户移动位置的多个预测结果，对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果。本发明所提供的方法、装置、设备及计算机可读存储介质，提高了对用户移动行为预测的精确度。
Description
技术领域
本发明涉及用户行为预测技术领域，特别是涉及一种基于多粒度神经网络的用户移动行为预测方法、装置、设备以及计算机可读存储介质。
背景技术
随着智能手机的广泛使用和车载导航***的快速发展，它们已经成为人们日常生活的一部分。这导致了嵌入式GPS设备的普及以及定位技术的快速发展，我们也越来越多的受益于各种类型的基于位置服务(Location based Services，LBS)。用户移动行为预测，是在给定了用户的一部分子轨迹后，预测用户将来可能的移动位置。大量的LBS***依赖于对用户移动行为的预测，例如对用户的景点和广告推荐，进行实时化的交通流分析，以及在导航***中自动设置目的地等，从而提供更加精准、有效的位置服务。
如今有大规模的用户轨迹可供我们挖掘和分析，精准的用户移动行为的预测是可实现的。相关的方法主要分为传统预测方法，概率模型方法和深度学习方法。传统预测方法采用基于轨迹搜索的方式，即在轨迹数据库中搜索可以覆盖给定的子轨迹的历史轨迹，通过聚合的方式，选择前k个概率最大的地点作为用户下一步移动的位置。然而，我们经常最终在数据集中找不到或者找到很少的轨迹可以覆盖给定的子轨迹。概率模型方法中通常被广泛使用的是贝叶斯网络，有很多基于它的方法已经被提出来以提高预测的精确度，它们都是基于历史轨迹数据对个人用户进行移动行为的预测。此外，传统预测方法也应用了贝叶斯模型，并且将一些外部特征考虑在内来确保预测的精确度，例如轨迹的长度，用户旅行时间，驾驶的上下文信息和不同区域的分布等。值得一提的是，马尔可夫模型也被应用于此问题。同样地，它们也是预测特定对象的移动行为。此外，现有技术中也提出了一种最近邻轨迹(NNT)的方法，通过对轨迹间的距离进行分析来确保预测精确度。
近年来，有多种深度神经网络结构被设计出来，其中递归神经网络(RecurrentNeural Network，RNN)是一种被广泛应用于分析时间序列数据的神经网络结构。实证研究也表明，长短时记忆网络(Long Short-Term Memory，LSTM)，RNN的一个主要变体，可对不同长度的时间序列数据进行建模，并且能很好的解决长期时间依赖性问题。例如机器翻译，图像标注和语音识别等。因此对于我们的轨迹数据的预测，深度学习方法中也有许多的应用。例如，某文献中提出了双向LSTM模型和注意力机制的结合来减少数据稀疏问题，而现有技术中另外一种方法中则是使用了卷积神经网络(Convolutional Neural Network，CNN)和双向LSTM的结合来分析历史交通流数据以获得交通流周期性的特征。此外，现有技术中，还提出一种结合社交媒体语义的有效方案来预测交通状况和用户移动趋势。现有技术中还会使用LSTM对车辆轨迹进行时间行为的分析，并预测周围车辆的未来坐标。
随着技术的发展，对用户移动行为的预测的精确度要求更高、预测结果需要更加全面。但现有技术中的用户移动行为预测算法未在不同粒度下使用针对性的预测模型。传统预测方法和概率模型方法通常是在确定的某种粒度下进行预测，然而有效的移动行为的特征可能出现在不同的空间粒度中，因此不能只考虑用于预测的某一种空间粒度。现有的神经网络方法中，虽然有多层融合的模型被提出，但是在不同粒度下使用了相似的预测模型，没有根据不同粒度下的轨迹特征进行针对性的设计，因此降低了现有技术中所提供的用户行为预测算法的精度。
综上所述可以看出，如何提高用户移动行为预测结果的精确度是目前有待解决的问题。
发明内容
本发明的目的是提供一种基于多粒度神经网络的用户移动行为预测方法、装置、设备以及计算机可读存储介质，以解决传统用户移动行为预测算法的预测精确度较低的问题。
为解决上述技术问题，本发明提供一种基于多粒度神经网络的用户移动行为预测方法，包括：将用户移动位置的预测空间映射至地图，得到与所述预测空间对应的地图区域；分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列；利用多粒度神经网络模型，在所述不同粒度下分别对所述多个网格ID序列进行预测，得到所述不同粒度下的所述用户移动位置的多个预测结果，对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果；其中，所述多粒度神经网络模型包括分别与所述不同粒度对应的多个用户行为预测网络模型。
优选地，所述分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列包括：
依据第一粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第一网格ID序列；
依据第二粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第二网格ID序列；
依据第三粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第三网格ID序列；
依据第四粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第四网格ID序列；
其中，所述第一粒度大于所述第二粒度，所述第二粒度大于所述第三粒度，所述第三粒度大于所述第四粒度。
优选地，所述分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列包括：
将所述地图区域依据10×10的粒度进行网格划分后，将所述用户当前移动轨迹转换为第一网格ID序列；
将所述地图区域依据20×20的粒度进行网格划分后，将所述用户当前移动轨迹转换为第二网格ID序列；
将所述地图区域依据30×30的粒度进行网格划分后，将所述用户当前移动轨迹转换为第三网格ID序列；
将所述地图区域依据40×40的粒度进行网格划分后，将所述用户当前移动轨迹转换为第四网格ID序列。
优选地，所述多粒度神经网络模型包括：
包括长短期记忆网络层及注意力层的第一用户行为预测网络模型；
包括长短期记忆网络层、Trajectory-LSTM层及注意力层的第二用户行为预测网络模型；
包括双向长短期记忆网络层、Trajectory-LSTM层及注意力层的第三用户行为预测网络模型；
包括卷积神经网络层、长短期记忆网络层、Trajectory-LSTM层及注意力层的第四用户行为预测网络模型；
其中，Trajectory-LSTM层通过Trajectory-LSTM存储块构建得到，所述Trajectory-LSTM存储块通过在长短期记忆网络门机制的结构中增加两个时间门与两个距离门得到的；
所述第一用户行为预测网络模型的注意力层的输出与所述第二用户行为预测网络模型的注意力层的输入连接；
所述第二用户行为预测网络模型的注意力层的输出与所述第三用户行为预测网络模型的注意力层的输入连接；
所述第三用户行为预测网络模型的注意力层的输出与所述第四用户行为预测网络模型的注意力层的输入连接。
优选地，所述利用多粒度神经网络模型，在所述不同粒度下分别对所述多个网格ID序列进行预测，得到所述不同粒度下的所述用户移动位置的多个预测结果，对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果包括：
将所述第一网格ID序列输入至第一用户行为预测网络模型中，输出所述用户移动位置的第一预测结果；
将所述第一用户行为预测网络模型的注意力层的输出与所述第二用户行为预测网络模型的注意力层的输入连接后，将所述第二网格ID序列输入至所述第二用户行为预测网络模型中，输出所述用户移动位置的第二预测结果；
将所述第二用户行为预测网络模型的注意力层的输出与所述第三用户行为预测网络模型的注意力层的输入连接后，将所述第三网格ID序列输入至所述第三用户行为预测网络模型中，输出所述用户移动位置的第三预测结果；
将所述第四用户行为预测网络模型的注意力层的输出与所述第四用户行为预测网络模型的注意力层的输入连接后，将所述第四网格ID序列输入至所述第四用户行为预测网络模型中，输出所述用户移动位置的目标预测结果。
本发明还提供了一种基于多粒度神经网络的用户移动行为预测装置，包括：
映射模块，用于将用户移动位置的预测空间映射至地图，得到与所述预测空间对应的地图区域；
划分模块，用于分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列；
预测模块，用于利用多粒度神经网络模型，在所述不同粒度下分别对所述多个网格ID序列进行预测，得到所述不同粒度下的所述用户移动位置的多个预测结果，对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果；
其中，所述多粒度神经网络模型包括分别与所述不同粒度对应的多个用户行为预测网络模型。
优选地，所述划分模块包括：
第一划分单元，用于依据第一粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第一网格ID序列；
第二划分单元，用于依据第二粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第二网格ID序列；
第三划分单元，用于依据第三粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第三网格ID序列；
第四划分单元，用于依据第四粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第四网格ID序列；
其中，所述第一粒度大于所述第二粒度，所述第二粒度大于所述第三粒度，所述第三粒度大于所述第四粒度。
优选地，所述多粒度神经网络模型包括：
包括长短期记忆网络层及注意力层的第一用户行为预测网络模型；
包括长短期记忆网络层、Trajectory-LSTM层及注意力层的第二用户行为预测网络模型；
包括双向长短期记忆网络层、Trajectory-LSTM层及注意力层的第三用户行为预测网络模型；
包括卷积神经网络层、长短期记忆网络层、Trajectory-LSTM层及注意力层的第四用户行为预测网络模型；
其中，所述Trajectory-LSTM层通过Trajectory-LSTM存储块构建得到，所述Trajectory-LSTM存储块通过在长短期记忆网络门机制的结构中增加两个时间门与两个距离门得到的；
所述第一用户行为预测网络模型的注意力层的输出与所述第二用户行为预测网络模型的注意力层的输入连接；
所述第二用户行为预测网络模型的注意力层的输出与所述第三用户行为预测网络模型的注意力层的输入连接；
所述第三用户行为预测网络模型的注意力层的输出与所述第四用户行为预测网络模型的注意力层的输入连接。
本发明还提供了一种基于多粒度神经网络的用户移动行为预测设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于多粒度神经网络的用户移动行为预测方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于多粒度神经网络的用户移动行为预测方法的步骤。
本发明所提供的基于多粒度神经网络的用户移动行为预测方法，首先将用户移动位置的预测空间映射至地图上，得到与所述预测空间对应的地图区域。分别依据不同粒度对所述地图区域进行划分，并将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列。将所述多个网格ID序列分别输入至多粒度神经网络中分别与所述多个粒度对应的多个用户行为预测网络模型中，得到不同粒度下的用户移动位置的多个预测结果后，对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果。本发明所提供的用户移动行为预测方法，通过在每个空间粒度下采用更加针对性的神经网络层的组合，设计各空间粒度下特定的用户移动行为预测模型，可以学习各粒度下轨迹的隐含特征，提高对用户移动行为预测的精确度，也能缓解细粒度下的数据稀疏问题。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于多粒度神经网络的用户移动行为预测方法的第一种具体实施例的流程图；
图2为网格单元内原始轨迹序列示意图；
图3为与图2对应网格轨迹序列示意图；
图4为本发明所提供的基于多粒度神经网络的用户移动行为预测方法的第二种具体实施例的流程图；
图5为本发明所提供的AT-LL模型的网络结构示意图；
图6为本发明所提供的Trajectory-LSTM存储块的结构示意图；
图7为本发明所提供的基于多粒度神经网络的用户移动行为预测方法的第三种具体实施例的流程图；
图8为本发明实施例提供的一种基于多粒度神经网络的用户移动行为预测装置的结构框图。
具体实施方式
本发明的核心是提供一种基于多粒度神经网络的用户移动行为预测方法、装置、设备以及计算机可读存储介质，通过在不同粒度下采用更加针对性的预测模型的组合学习不同粒度下用户运动轨迹的隐含特征，提高了对用户移动行为预测的精确度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的基于多粒度神经网络的用户移动行为预测方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：将用户移动位置的预测空间映射至地图，得到与所述预测空间对应的地图区域；
步骤S102：分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列；
一条原始轨迹是由全球定位***收集的一系列采样点，每个采样点是由经度和纬度两个坐标组成。预测***直接预测出每个点的经纬度是不实际的，所以我们采用基于网格的轨迹表示方法。所述地图区域被划分为一组g×g的网格单元，每个网格单元的边长为1，相邻网格单元之间的距离也为1。同一单元内的所有地理位置点被视为同一个对象，用Ti表示。序列T＝{T1,T2,...,Ti,Ti+1,...,Td}(1≤i＜d)表示一条轨迹，代表着用户的一条移动路径。图2中原始轨迹序列T＝{n5,n1,...,n15,n14}对应图3中的轨迹T,T1＝n5,T2＝n1，以此类推。给定轨迹T，子轨迹TP＝{TP 1,...,TP c}，若TP满足两个条件：(1)TP和T的起始网格相同；(2)TP是T的子集，即则称子轨迹TP为轨迹T的前缀，也称它为预测轨迹。其中子轨迹的最后一个网格单元TP c表示用户移动过程中当前所处的位置。如图2中TP＝{n5,n1,n2,n6,n7}，为T的前缀子轨迹，n7为用户当前移动到的网格单元。
综上，本实施例所提供的方法是为了根据给定轨迹数据集D，前缀轨迹TP，预测用户未来可能的移动路径。
步骤S103：利用多粒度神经网络模型，在所述不同粒度下分别对所述多个网格ID序列进行预测，得到所述不同粒度下的所述用户移动位置的多个预测结果，对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果；其中，所述多粒度神经网络模型包括分别与所述不同粒度对应的多个用户行为预测网络模型。
本实施例所提供的方法，通过在每个空间粒度下采用更加针对性的神经网络层的组合，设计各空间粒度下特定的用户移动行为预测模型，可以学习各粒度下轨迹的隐含特征，提高对用户移动行为预测的精确度，也能缓解细粒度下的数据稀疏问题。
本发明实施所提供的多粒度神经网络模型可以包括M层，层级越高，空间划分粒度越细。每一层对应一个空间网格粒度，且每一层包含独立的用户移动行为预测网络模型，用户移动行为预测网络是不同神经网络层的组合。首先我们将研究区域划分为不同的粒度，第一层空间粒度为10，第二层为20，以此类推至M层。因此一条预测轨迹会有M中不同的序列表示。同样，为了将轨迹转化为网络能接受的形式，我们对每一个序列进行embedding操作：embm＝(em,1,em,2,...,em,N)；其中，M是模型的层数，N是轨迹序列的长度。每一个向量em,i(i＝1,2,...,N)为对应空间粒度的二次方值。
基于上述实施例，在本实施例中，可以将所述多粒度神经网络模型的层数设置为4，将用户移动行为预测空间对应的地图区域划分为不同的粒度：第一层空间粒度为10，第二层空间粒度为20，第三层空间粒度为30，第四层空间粒度为40。请参考图4，图4为本发明所提供的基于多粒度神经网络的用户移动行为预测方法的第二种具体实施例的流程图；具体操作步骤如下：
步骤S401：将用户移动位置的预测空间映射至地图，得到与所述预测空间对应的地图区域；
步骤S402：依据第一空间粒度10×10对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第一网格ID序列；
步骤S403：依据第二空间粒度20×20对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第二网格ID序列；
步骤S404：依据第三空间粒度30×30对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第三网格ID序列；
步骤S405：依据第四空间粒度40×40对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第四网格ID序列；
步骤S406：分别将所述第一网格ID序列、所述第二网格ID序列、所述第三网格ID序列、第四网格ID序列输入至第一用户行为预测网络模型、第二用户行为预测网络模型、第三用户行为预测网络模型以及第四用户行为预测网络模型中，得到四个空间粒度下的所述用户移动位置的多个预测结果；
步骤S407：对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果。
本实施例所提供的用户移动行为预测方法，可以在四个不同空间粒度下分别对所述地图区域进行划分，可以在提高用户移动行为预测结果精度的同时保证用户移动行为的预测效率，更加适合实际应用的需求。
传统用户移动行为预测算法，采用LSTM等神经网络结构的模型通常只考虑了轨迹表示序列的先后顺序关系，而没有将各个位置点之间的实际时间间隔和距离间隔考虑在内。例如，一个用户在不久前，或短距离前经过的位置，对于他将要去到的地点有较大的影响，反之亦然。当对研究区域进行细粒度的划分时，每个网格对应的实际地理范围会变小。每条轨迹的表示序列对应地变长，更难找到可以完全覆盖给定部分轨迹的原始轨迹，或者较多可用于概率计算的有效原始轨迹。此外，传统预测方法和概率模型方法都只考虑用户移动的前一个位置对下一个位置的影响，忽略了历史轨迹中所有的位置点的影响，这同样也加剧了数据稀疏问题，并且阻碍了传统预测方法和概率模型方法的有效性。传统预测方法中，还忽略了原始轨迹中一些具有重要意义，但与用户当前位置距离较远的地点，导致预测结果精度降低。
为了解决现有未能充分发掘并利用轨迹序列中的时空模式、未能有效解决细粒度预测所面对的数据稀疏问题以及忽略了特定地点之间的强相关性的问题，本发明还提供了一种神经网络模型：Attentional Trajectory-LSTM Learning模型，简称AT-LL模型，所述AT-LL模型的网络结构如图5所示。
所述AT-LL模型包括：嵌入层、Trajectory-LSTM层、注意力层、全连接层以及预测层。首先利用所述嵌入层将移动轨迹序列转化为网络可以接收的形式。然后，将转化后的移动轨迹序列输入至所述Trajectory-LSTM层，以获取轨迹中连续位置之间的时间间隔和距离间隔对于预测的长期和短期影响，同时在这一层将上下文信息考虑在内。之后，增加了一层应用了注意力机制的网络层，通过学习为与预测位置有强相关性的地点赋予更多权重以增强其重要性。最后，使用归一化指数函数soft max来获得研究区域内每个网格成为用户未来移动位置的概率分布。
给定包含N个网格单元的预测前缀轨迹序列TP＝{x1,x2,...,xN}，利用所述嵌入层将每一个网格单元xi转换成一个实值向量ei，这里向量维度是空间网格粒度的二次方值，预测前缀轨迹则被转换成一个二维向量，它也是模型的输入向量，用embs＝{e1,e2,...,eN}表示。
所述Trajectory-LSTM层通过Trajectory-LSTM存储块构建得到。每个存储块中有两个时间门和两个距离门，去掉了原始LSTM存储块的遗忘门，减少了网络要学习的参数。这一层中，网络利用了双曲正切激活函数获得对于第i个位置的输出：
通过这种方式，隐藏状态hi总结了所有经过的位置，xi为最后经过的位置，对下一位置预测的长期和短期影响，并且这里hi也是下一个网络层的输入。需要注意的是，由于Trajectory-LSTM存储块的设计，使得这里隐藏状态hi将更加侧重于长期影响，对短期影响的作用并不确定。
所述Trajectory-LSTM存储块通过在长短期记忆网络门机制的结构中增加两个时间门与两个距离门得到的，所述Trajectory-LSTM存储块的结构如图6所示。
轨迹内连续位置之间的时间间隔和距离间隔的影响对于用户移动行为的建模必不可少。一个在很短时间间隔前或很短距离前通过的地点对下一个位置的预测的影响总是比较大的。本发明中，对传统LSTM(Long Short-Term Memory长短期记忆网络)门机制的内部结构做了改变，加入了两个时间门和两个距离门，形成Trajectory-LSTM存储块，以便同时模拟时间间隔和距离间隔对于预测的长期影响和短期影响。
如上述公式所示，采用和分别表示两个时间门和两个距离门。其中，Tt 1和分别用于获取时间和距离间隔的长期影响；Tt 2和则分别用于获取时间和距离间隔的短期影响。xt为当前单元输入，即用户当前所处位置。Δtt为两位置间的时间间隔，Δdt为实际地理距离间隔；W与d分别为各自的权重矩阵和偏置项。其中，由于时间和距离间隔越短，对于下一位置的预测影响越大，所以使用两个约束条件和来控制。当时，若Δtt变小，Tt 2则变大；中的xt会在预测中占更大的比例，意味着短期影响增大，其他同理。
LSTM内单元状态ct通常用于记忆长期影响，Trajectory-LSTM利用时间门Tt 1和距离门来代替ct。Δtt首先被Tt 1接收，传至ct，再传至ct+1，ct+2等以此达到记录长期影响的目的。同理，Δdt则是被接收传至ct并继续在网络中向后传递。通过这样的方式，单元状态ct不仅能捕获轨迹表示序列本身的位置顺序，还可以捕获时间间隔和距离间隔对预测的长期影响。另外，我们在Trajectory-LSTM内增加了一个单元状态它侧重于分别获取到的最近经过的位置和下一可能位置间的实际时间间隔和距离间隔，并将其传至隐藏结点ht，最终对下一位置的预测产生影响，Tt 2和通过这样的方式捕获短期影响，达到信息过滤器的作用。具体公式如下：
基于上述改变，所述Trajectory-LSTM存储块的更新公式中有成对的输入门和遗忘门，去掉了原来的遗忘门符号ft。Tt 2和由于被视作信息过滤器，利用代替ft。Tt 1和用于存储最近的时间间隔和距离间隔，利用1-it表示。这样能减少参数数量并且更有效的学习有用的信息，而不用考虑具体的信息区分。
所述Trajectory-LSTM层中产生的特征向量取决于它们在轨迹表示序列中的位置，越靠后的位置的特征有更多的权重。但是，实际上有很多与下一位置的预测有强相关性的地点，而不用考虑它们在轨迹序列中的顺序先后。因此，所述注意力层的作用为识别这些地点并合理的调整权重，来影响最后的概率分布。所述Trajectory-LSTM层之后，矩阵H包含了这一层产生的输出向量[h1,h2,...,hN]，这里N为一个预测前缀轨迹的长度。预测轨迹的一个字母表示r由这些输出向量的加权和形成：
mi＝tanh(Whhi+bh),mi∈[-1,1]
其中，Wh和bh为注意力层的权重矩阵和偏置项，在训练期间进行优化，为预测轨迹中的重要地点分配更大的权重。dw为位置向量的维度，w为一个被训练的参数向量。ai为网络通过训练过程中的不断调整和分配，预测轨迹中不同位置对下一位置的预测概率分布影响的权重。ai和r的维度分别为N和dw。所述注意力层的最后可以获得用于最终分类的位置对的表示向量h*：h*＝tanh(r)。
正如之前所提到的，轨迹的上下文情景信息也会对用户移动行为的多样性产生不可忽视的影响，这里的上下文信息主要包括天气，节假日等，它们有利于帮助我们进行更准确的用户移动行为预测。在本发明中，使用两个全连接层来提取这些信息的特征。第一个全连接层可看作是对上下文信息的嵌入，即将它们转化为网络可接收的形式。第二个全连接层则是用于从低维到高维的映射，以获得表示向量YE。这样，YE包含了上下文信息的有用特征。在实验中，我们主要在模型中融合了周末，节假日和天气情况。周末和节假日可直接获取，天气情况使用的是预测天气信息。
所述AT-LL模型的最后输出层使用了一层全连接，并且在一组离散的类别集合G中采用了多类别逻辑回归(multi-class logistics regression)的方式，从获得预测位置标签的分布。G代表研究区域内所有的网格。WE是外部特征的可学习的参数。分类器将隐藏状态h*和YE作为输入，并且利用WE和偏置项做了一次仿射变换：
在所述AT-LL模型中使用categorical_crossentropy作为损失函数，它是对应于softmax分类器经常使用的多分类对数损失函数。代价函数是真实位置标签yi的负对数似然函数：
其中，是真实位置的独热编码(one-hot)，m是目标位置的数量，λ是一个正则化超参数。我们将获得的概率分布向量{y1,y2,...,ym}{y1,y2,…,ym}进行大小排序，每个元素是softmax函数产生的每个可能移动位置的计算概率。由于实际情况中的距离偏差问题，我们会判断预测轨迹TP的真实移动位置是否在前k个预测值中。
基于上述实施例，本实施例结合长短时记忆网络，双向LSTM，卷积神经网络(CNN)以及上述AT-LL模型对所述多粒度神经网络模型中各层的用户行为预测网络模型进行了设计。由于模型中的不同粒度的网格互相独立，当给定预测轨迹后，每个粒度下的预测模型将按粒度从粗到细的顺序执行预测过程，并给出可能的top-k个预测位置，显然我们选择最细粒度M层的结果作为模型的最终输出。请参考图7，图7为本发明所提供的基于多粒度神经网络的用户移动行为预测方法的第三种具体实施例的流程图；具体操作步骤如下：
步骤S701：将用户移动位置的预测空间映射至地图，得到与所述预测空间对应的地图区域；
步骤S702：将所述地图区域依据10×10的粒度进行网格划分后，将所述用户当前移动轨迹转换为第一网格ID序列；
步骤S703：将所述地图区域依据20×20的粒度进行网格划分后，将所述用户当前移动轨迹转换为第二网格ID序列；
步骤S704：将所述地图区域依据30×30的粒度进行网格划分后，将所述用户当前移动轨迹转换为第三网格ID序列；
步骤S705：将所述地图区域依据40×40的粒度进行网格划分后，将所述用户当前移动轨迹转换为第四网格ID序列；
步骤S706：将所述第一网格ID序列输入至第一用户行为预测网络模型中，输出所述用户移动位置的第一预测结果；
所述第一用户行为预测网络模型包括嵌入层、长短期记忆网络层、注意力层、全连接层以及预测层。
所述长短期记忆网络层的表达式如下：
其中，hn-1和cn-1分别为隐藏结点和输入位置xt之前的单元状态。隐藏结点hn总结了轨迹序列中所有经过的位置的信息，并且它将被输入到下一层。
步骤S707：将所述第一用户行为预测网络模型的注意力层的输出与所述第二用户行为预测网络模型的注意力层的输入连接后，将所述第二网格ID序列输入至所述第二用户行为预测网络模型中，输出所述用户移动位置的第二预测结果；
在第一空间粒度的基础上，在第二空间粒度中采用所设计的Trajectory-LSTM层，将时间间隔和距离间隔考虑在内来提高预测精确度。因此，所述第二用户行为预测网络模型包括嵌入层、长短期记忆网络层、Trajectory-LSTM层、注意力层、全连接层以及预测层。
所述Trajectory-LSTM层的表示公式为：
其中，总结了从传统LSTM中获得的特征信息；Tn和Dn分别为增加的时间间隔和距离间隔信息，用于捕捉时间和距离间隔对于预测的长期影响和短期影响。
步骤S708：将所述第二用户行为预测网络模型的注意力层的输出与所述第三用户行为预测网络模型的注意力层的输入连接后，将所述第三网格ID序列输入至所述第三用户行为预测网络模型中，输出所述用户移动位置的第三预测结果；
在在上述两种粒度下，LSTM网络只考虑了轨迹序列中前向位置信息，没有将序列中的后向位置信息考虑在内。实际上这两种信息的潜在特征对于预测都是有用的。因此，在第三空间粒度下采用双向LSTM层和注意力层结合来解决没有将序列中的后向位置信息考虑在内问题，并结合了Trajectory-LSTM层。综上，所述第三用户行为预测网络模型包括：嵌入层、双向长短期记忆网络层、Trajectory-LSTM层、注意力层、全连接层以及预测层，表达式为：
其中，hn-1∈R为隐藏结点，且初始时间步长h0＝{0}。wn为对应的权重矩阵，隐藏结点总结了轨迹序列所有前向和后向位置信息，也是所述Trajectory-LSTM层的输入。
步骤S709：将所述第四用户行为预测网络模型的注意力层的输出与所述第四用户行为预测网络模型的注意力层的输入连接后，将所述第四网格ID序列输入至所述第四用户行为预测网络模型中，输出所述用户移动位置的目标预测结果。
随着空间粒度变细，一个原始轨迹的表示序列变得更长。这将导致网络中的向量有更大的维度，和更多要学习的参数。因此，在这一粒度下，我们采用了f×f的滤波器，步长为s来对embedding之后的轨迹序列进行降维操作。所述第四用户行为预测网络模型包括：嵌入层、卷积神经网络层、长短期记忆网络层、Trajectory-LSTM层、注意力层、全连接层以及预测层。输出层的维度则用以下公式计算：
其中，w为宽度，f为滤波器的尺寸，p为填充尺寸，s为步长。此外，由于当前目的为降维操作，所以这里不采用池化层。最后，卷积层将训练中的向量矩阵输出给所述LSTM层，所述Trajectory-LSTM层，获得最后的隐藏状态结点
此外，由于每一个空间粒度下的用户移动行为预测网络模型都组合了注意力层，其中，注意力层统一的表示公式如下：
hm,*＝tanh(rm)
其中，rm由先前各网络组合层的输出向量的加权和构成，为第m种粒度下的隐藏结点(m＝1,2,…,M)。为确定轨迹序列中不同位置对其粒度下的移动位置概率分布的影响的权重表示，维度为轨迹序列长度N。rm和位置向量有相同的维度。这里仍然采用tanh激活函数来获得m粒度下的最终位置对的表示hm,*。由于多层模型的目的是为了融合不同粒度下的预测模型的输出，因此第m个粒度下的预测模型将当前位置对表示hm,*和上一粒度下的位置对表示hm-1,*进行组合，形成新的表示：
其中，新的隐藏结点表示通过迭代包含了前m种粒度下相同轨迹不同表示间的复杂关系，且将被传入个各粒度下预测模型的下一神经网络层。代表逐元素相乘。最后，在最细粒度的网格下，仍然通过多类别逻辑回归算法获得模型的最终输出，并选择概率最大的top-k个网格作为用户将要移动的地点。
需要说明的是，在本发明所提供的其他实施例中，还可以通过将各个空间粒度层的用户移动行为预测网络模型中的其他层进行连接融合。
本实施例所提供的用户移动行为预测方法，通过在传统LSTM的门结构内加入两个时间门和两个距离门，利用它们对轨迹序列中连续位置之间的时间间隔和距离间隔进行建模，可以增强模型对轨迹特征的学习能力。此外，所述AT-LL模型结合了该种门机制的LSTM网络和注意力机制，不仅可以很好的同时模拟用户经过的位置对于预测的长期和短期影响，也可以识别并强调那些对用户将来的移动位置有决定性的地点，并将轨迹的上下文特征考虑在内。且通过在每个空间粒度下采用更加针对性的神经网络层的组合，设计各空间粒度下特定的预测模型，可以学习各粒度下轨迹的隐含特征，提高对用户移动行为预测的精确度，也能缓解细粒度下的数据稀疏问题。
请参考图8，图8为本发明实施例提供的一种基于多粒度神经网络的用户移动行为预测装置的结构框图；具体装置可以包括：
映射模块100，用于将用户移动位置的预测空间映射至地图，得到与所述预测空间对应的地图区域；
划分模块200，用于分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列；
预测模块300，用于利用多粒度神经网络模型，在所述不同粒度下分别对所述多个网格ID序列进行预测，得到所述不同粒度下的所述用户移动位置的多个预测结果，对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果；
其中，所述多粒度神经网络模型包括分别与所述不同粒度对应的多个用户行为预测网络模型。
本实施例的基于多粒度神经网络的用户移动行为预测装置用于实现前述的基于多粒度神经网络的用户移动行为预测方法，因此基于多粒度神经网络的用户移动行为预测装置中的具体实施方式可见前文中的基于多粒度神经网络的用户移动行为预测方法的实施例部分，例如，映射模块100，划分模块200，预测模块300，分别用于实现上述基于多粒度神经网络的用户移动行为预测方法中步骤S101，S102和S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种基于多粒度神经网络的用户移动行为预测设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于多粒度神经网络的用户移动行为预测方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于多粒度神经网络的用户移动行为预测方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于多粒度神经网络的用户移动行为预测方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种基于多粒度神经网络的用户移动行为预测方法，其特征在于，包括：
将用户移动位置的预测空间映射至地图，得到与所述预测空间对应的地图区域；
分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列；
利用多粒度神经网络模型，在所述不同粒度下分别对所述多个网格ID序列进行预测，得到所述不同粒度下的所述用户移动位置的多个预测结果，对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果；
其中，所述多粒度神经网络模型包括分别与所述不同粒度对应的多个用户行为预测网络模型。
2.如权利要求1所述的方法，其特征在于，所述分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列包括：
依据第一粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第一网格ID序列；
依据第二粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第二网格ID序列；
依据第三粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第三网格ID序列；
依据第四粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第四网格ID序列；
其中，所述第一粒度大于所述第二粒度，所述第二粒度大于所述第三粒度，所述第三粒度大于所述第四粒度。
3.如权利要求2所述的方法，其特征在于，所述分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列包括：
将所述地图区域依据10×10的粒度进行网格划分后，将所述用户当前移动轨迹转换为第一网格ID序列；
将所述地图区域依据20×20的粒度进行网格划分后，将所述用户当前移动轨迹转换为第二网格ID序列；
将所述地图区域依据30×30的粒度进行网格划分后，将所述用户当前移动轨迹转换为第三网格ID序列；
将所述地图区域依据40×40的粒度进行网格划分后，将所述用户当前移动轨迹转换为第四网格ID序列。
4.如权利要求2所述的方法，其特征在于，所述多粒度神经网络模型包括：
包括长短期记忆网络层及注意力层的第一用户行为预测网络模型；
包括长短期记忆网络层、Trajectory-LSTM层及注意力层的第二用户行为预测网络模型；
包括双向长短期记忆网络层、Trajectory-LSTM层及注意力层的第三用户行为预测网络模型；
包括卷积神经网络层、长短期记忆网络层、Trajectory-LSTM层及注意力层的第四用户行为预测网络模型；
其中，Trajectory-LSTM层通过Trajectory-LSTM存储块构建得到，所述Trajectory-LSTM存储块通过在长短期记忆网络门机制的结构中增加两个时间门与两个距离门得到的；
所述第一用户行为预测网络模型的注意力层的输出与所述第二用户行为预测网络模型的注意力层的输入连接；
所述第二用户行为预测网络模型的注意力层的输出与所述第三用户行为预测网络模型的注意力层的输入连接；
所述第三用户行为预测网络模型的注意力层的输出与所述第四用户行为预测网络模型的注意力层的输入连接。
5.如权利要求4所述的方法，其特征在于，所述利用多粒度神经网络模型，在所述不同粒度下分别对所述多个网格ID序列进行预测，得到所述不同粒度下的所述用户移动位置的多个预测结果，对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果包括：
将所述第一网格ID序列输入至第一用户行为预测网络模型中，输出所述用户移动位置的第一预测结果；
将所述第一用户行为预测网络模型的注意力层的输出与所述第二用户行为预测网络模型的注意力层的输入连接后，将所述第二网格ID序列输入至所述第二用户行为预测网络模型中，输出所述用户移动位置的第二预测结果；
将所述第二用户行为预测网络模型的注意力层的输出与所述第三用户行为预测网络模型的注意力层的输入连接后，将所述第三网格ID序列输入至所述第三用户行为预测网络模型中，输出所述用户移动位置的第三预测结果；
将所述第四用户行为预测网络模型的注意力层的输出与所述第四用户行为预测网络模型的注意力层的输入连接后，将所述第四网格ID序列输入至所述第四用户行为预测网络模型中，输出所述用户移动位置的目标预测结果。
6.一种基于多粒度神经网络的用户移动行为预测装置，其特征在于，包括：
映射模块，用于将用户移动位置的预测空间映射至地图，得到与所述预测空间对应的地图区域；
划分模块，用于分别依据不同粒度对所述地图区域进行划分后，在所述不同粒度下分别将用户当前移动轨迹转换为与所述不同粒度对应的多个网格ID序列；
预测模块，用于利用多粒度神经网络模型，在所述不同粒度下分别对所述多个网格ID序列进行预测，得到所述不同粒度下的所述用户移动位置的多个预测结果，对所述多个预测结果进行融合，得到所述用户移动位置的目标预测结果；
其中，所述多粒度神经网络模型包括分别与所述不同粒度对应的多个用户行为预测网络模型。
7.如权利要求6所述的装置，其特征在于，所述划分模块包括：
第一划分单元，用于依据第一粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第一网格ID序列；
第二划分单元，用于依据第二粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第二网格ID序列；
第三划分单元，用于依据第三粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第三网格ID序列；
第四划分单元，用于依据第四粒度对所述地图区域进行网格划分后，将所述用户当前移动轨迹转换为第四网格ID序列；
其中，所述第一粒度大于所述第二粒度，所述第二粒度大于所述第三粒度，所述第三粒度大于所述第四粒度。
8.如权利要求7所述的装置，其特征在于，所述多粒度神经网络模型包括：
包括长短期记忆网络层及注意力层的第一用户行为预测网络模型；
包括长短期记忆网络层、Trajectory-LSTM层及注意力层的第二用户行为预测网络模型；
包括双向长短期记忆网络层、Trajectory-LSTM层及注意力层的第三用户行为预测网络模型；
包括卷积神经网络层、长短期记忆网络层、Trajectory-LSTM层及注意力层的第四用户行为预测网络模型；
其中，所述Trajectory-LSTM层通过Trajectory-LSTM存储块构建得到，所述Trajectory-LSTM存储块通过在长短期记忆网络门机制的结构中增加两个时间门与两个距离门得到的；
所述第一用户行为预测网络模型的注意力层的输出与所述第二用户行为预测网络模型的注意力层的输入连接；
所述第二用户行为预测网络模型的注意力层的输出与所述第三用户行为预测网络模型的注意力层的输入连接；
所述第三用户行为预测网络模型的注意力层的输出与所述第四用户行为预测网络模型的注意力层的输入连接。
9.一种基于多粒度神经网络的用户移动行为预测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述一种基于多粒度神经网络的用户移动行为预测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种基于多粒度神经网络的用户移动行为预测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910854835.6A CN110543543A (zh) | 2019-09-10 | 2019-09-10 | 一种基于多粒度神经网络的用户移动行为预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910854835.6A CN110543543A (zh) | 2019-09-10 | 2019-09-10 | 一种基于多粒度神经网络的用户移动行为预测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110543543A true CN110543543A (zh) | 2019-12-06 |
Family
ID=68713379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910854835.6A Pending CN110543543A (zh) | 2019-09-10 | 2019-09-10 | 一种基于多粒度神经网络的用户移动行为预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110543543A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104339A (zh) * | 2019-12-31 | 2020-05-05 | 上海艺赛旗软件股份有限公司 | 基于多粒度学习的软件界面元素检测方法、***、计算机设备和存储介质 |
| CN111310583A (zh) * | 2020-01-19 | 2020-06-19 | 中国科学院重庆绿色智能技术研究院 | 一种基于改进的长短期记忆网络的车辆异常行为识别方法 |
| CN111400620A (zh) * | 2020-03-27 | 2020-07-10 | 东北大学 | 基于时空嵌入Self-Attention的用户轨迹位置预测方法 |
| CN111428405A (zh) * | 2020-03-20 | 2020-07-17 | 北京百分点信息科技有限公司 | 细颗粒物浓度仿真方法、装置、存储介质及电子设备 |
| CN111723305A (zh) * | 2020-05-29 | 2020-09-29 | 中国科学技术大学智慧城市研究院(芜湖) | 一种预测用户下一轨迹点的方法 |
| CN111753888A (zh) * | 2020-06-10 | 2020-10-09 | 重庆市规划和自然资源信息中心 | 智能环境下多粒度时空事件相似度匹配工作方法 |
| CN112101660A (zh) * | 2020-09-15 | 2020-12-18 | 重庆交通大学 | 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法 |
| CN113018866A (zh) * | 2021-03-31 | 2021-06-25 | 完美世界(北京)软件科技发展有限公司 | 地图资源的加载方法和装置、存储介质、电子装置 |
| CN113569473A (zh) * | 2021-07-19 | 2021-10-29 | 浙江大学 | 基于多项式特征lstm粒度计算的空分管网氧气长期预测方法 |
| CN113675866A (zh) * | 2020-05-15 | 2021-11-19 | 北京信息科技大学 | 一种规模化电动汽车的动态网格化金字塔调度方法 |
| CN114072835A (zh) * | 2020-03-11 | 2022-02-18 | 格步计程车控股私人有限公司 | 费用预测方法及费用预测数据*** |
| WO2022267455A1 (zh) * | 2021-06-22 | 2022-12-29 | 平安科技（深圳）有限公司 | 欺诈用户集中区域的预测方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022527A (zh) * | 2016-05-27 | 2016-10-12 | 河南明晰信息科技有限公司 | 基于地图瓦片和lstm循环神经网络的轨迹预测方法和装置 |
| CN108268597A (zh) * | 2017-12-18 | 2018-07-10 | 中国电子科技集团公司第二十八研究所 | 一种动目标活动概率图谱构建及行为意图识别方法 |
-
2019
- 2019-09-10 CN CN201910854835.6A patent/CN110543543A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022527A (zh) * | 2016-05-27 | 2016-10-12 | 河南明晰信息科技有限公司 | 基于地图瓦片和lstm循环神经网络的轨迹预测方法和装置 |
| CN108268597A (zh) * | 2017-12-18 | 2018-07-10 | 中国电子科技集团公司第二十八研究所 | 一种动目标活动概率图谱构建及行为意图识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIAJIE XU等: "Predicting Destinations by a Deep Learning based Approach", 《 IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING ，正文第1-14页，2019年8月5日）公开了一种通过基于深度学习的方法预测目的地方法》 * |
| JING ZHAO等: "On Prediction of User Destination by Sub-Trajectory Understanding: A Deep Learning based Approach", 《CIKM"18: PROCEEDINGS OF THE 27TH ACM INTERNATIONAL CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104339B (zh) * | 2019-12-31 | 2023-06-16 | 上海艺赛旗软件股份有限公司 | 基于多粒度学习的软件界面元素检测方法、***、计算机设备和存储介质 |
| CN111104339A (zh) * | 2019-12-31 | 2020-05-05 | 上海艺赛旗软件股份有限公司 | 基于多粒度学习的软件界面元素检测方法、***、计算机设备和存储介质 |
| CN111310583A (zh) * | 2020-01-19 | 2020-06-19 | 中国科学院重庆绿色智能技术研究院 | 一种基于改进的长短期记忆网络的车辆异常行为识别方法 |
| CN111310583B (zh) * | 2020-01-19 | 2023-02-10 | 中国科学院重庆绿色智能技术研究院 | 一种基于改进的长短期记忆网络的车辆异常行为识别方法 |
| CN114072835A (zh) * | 2020-03-11 | 2022-02-18 | 格步计程车控股私人有限公司 | 费用预测方法及费用预测数据*** |
| CN114072835B (zh) * | 2020-03-11 | 2024-03-08 | 格步计程车控股私人有限公司 | 费用预测方法及费用预测数据*** |
| CN111428405A (zh) * | 2020-03-20 | 2020-07-17 | 北京百分点信息科技有限公司 | 细颗粒物浓度仿真方法、装置、存储介质及电子设备 |
| CN111428405B (zh) * | 2020-03-20 | 2023-07-07 | 北京百分点科技集团股份有限公司 | 细颗粒物浓度仿真方法、装置、存储介质及电子设备 |
| CN111400620A (zh) * | 2020-03-27 | 2020-07-10 | 东北大学 | 基于时空嵌入Self-Attention的用户轨迹位置预测方法 |
| CN113675866B (zh) * | 2020-05-15 | 2023-12-05 | 北京信息科技大学 | 一种规模化电动汽车的动态网格化金字塔调度方法 |
| CN113675866A (zh) * | 2020-05-15 | 2021-11-19 | 北京信息科技大学 | 一种规模化电动汽车的动态网格化金字塔调度方法 |
| CN111723305B (zh) * | 2020-05-29 | 2023-05-23 | 长三角信息智能创新研究院 | 一种预测用户下一轨迹点的方法 |
| CN111723305A (zh) * | 2020-05-29 | 2020-09-29 | 中国科学技术大学智慧城市研究院(芜湖) | 一种预测用户下一轨迹点的方法 |
| CN111753888B (zh) * | 2020-06-10 | 2021-06-15 | 重庆市规划和自然资源信息中心 | 智能环境下多粒度时空事件相似度匹配工作方法 |
| CN111753888A (zh) * | 2020-06-10 | 2020-10-09 | 重庆市规划和自然资源信息中心 | 智能环境下多粒度时空事件相似度匹配工作方法 |
| CN112101660B (zh) * | 2020-09-15 | 2022-06-28 | 重庆交通大学 | 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法 |
| CN112101660A (zh) * | 2020-09-15 | 2020-12-18 | 重庆交通大学 | 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法 |
| CN113018866A (zh) * | 2021-03-31 | 2021-06-25 | 完美世界(北京)软件科技发展有限公司 | 地图资源的加载方法和装置、存储介质、电子装置 |
| WO2022267455A1 (zh) * | 2021-06-22 | 2022-12-29 | 平安科技（深圳）有限公司 | 欺诈用户集中区域的预测方法、装置、设备及存储介质 |
| CN113569473A (zh) * | 2021-07-19 | 2021-10-29 | 浙江大学 | 基于多项式特征lstm粒度计算的空分管网氧气长期预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110543543A (zh) | 一种基于多粒度神经网络的用户移动行为预测方法及装置 | |
| Zhao et al. | Deep temporal convolutional networks for short-term traffic flow forecasting | |
| Zhang et al. | Short-term prediction of passenger demand in multi-zone level: Temporal convolutional neural network with multi-task learning | |
| Huang et al. | A deep learning approach for multi-attribute data: A study of train delay prediction in railway systems | |
| CN115240425B (zh) | 一种基于多尺度时空融合图网络的交通预测方法 | |
| CN110766942B (zh) | 一种基于卷积长短期记忆网络的交通路网拥堵预测方法 | |
| Xu et al. | Predicting destinations by a deep learning based approach | |
| CN111612243A (zh) | 交通速度预测方法、***及存储介质 | |
| CN108986453A (zh) | 一种基于情境信息的交通状况预测方法、***及装置 | |
| CN114692984B (zh) | 基于多步耦合图卷积网络的交通预测方法 | |
| CN106568445B (zh) | 基于双向循环神经网络的室内轨迹预测方法 | |
| CN111915104A (zh) | 一种预测出行位置的方法及装置 | |
| CN114495492B (zh) | 一种基于图神经网络的交通流预测方法 | |
| Rahman et al. | Real-time signal queue length prediction using long short-term memory neural network | |
| CN115071762B (zh) | 面向城市场景下行人轨迹预测方法、模型及存储介质 | |
| CN113159403A (zh) | 路口行人轨迹预测的方法及装置 | |
| CN114572229B (zh) | 一种基于图神经网络的车速预测方法、装置、介质及设备 | |
| CN116108984A (zh) | 基于流量-poi因果关系推理的城市流量预测方法 | |
| Cui et al. | A road-aware neural network for multi-step vehicle trajectory prediction | |
| CN114912719A (zh) | 一种基于图神经网络的异质交通个体轨迹协同预测方法 | |
| CN115376317A (zh) | 一种基于动态图卷积和时序卷积网络的交通流预测方法 | |
| Yang et al. | Multi-granularity scenarios understanding network for trajectory prediction | |
| CN110944295A (zh) | 位置预测方法、装置、存储介质及终端 | |
| CN115762147B (zh) | 一种基于自适应图注意神经网络的交通流量预测方法 | |
| Zhang et al. | Multi-task learning for location prediction with deep multi-model ensembles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191206 |