CN112291807A - 一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法 - Google Patents
一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法 Download PDFInfo
- Publication number
- CN112291807A CN112291807A CN202011099886.1A CN202011099886A CN112291807A CN 112291807 A CN112291807 A CN 112291807A CN 202011099886 A CN202011099886 A CN 202011099886A CN 112291807 A CN112291807 A CN 112291807A
- Authority
- CN
- China
- Prior art keywords
- cross
- data
- domain
- training
- wireless cellular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001413 cellular effect Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 238000013508 migration Methods 0.000 title claims abstract description 19
- 230000005012 migration Effects 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000003062 neural network model Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 238000010220 Pearson correlation analysis Methods 0.000 claims description 4
- 238000010219 correlation analysis Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 4
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 150000001875 compounds Chemical group 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001595 flow curve Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,属于智能通信技术领域。本发明通过分析短信、电话、互联网三种业务间的相似性和不同区域间的相似性,融合多个跨域数据集并采用时空跨域神经网络模型对无线蜂窝流量进行预测;提出一种基于时空跨域神经网络模型(STC‑N)的跨业务和区域融合迁移学习策略,根据源域的数据特征提高目标域的预测精度。该方法可以验证考虑的数据集越全面,模型的预测精度越高;此外,提出的迁移学习策略可以降低构建深度学习模型所需的训练数据、计算能力和泛化能力。
Description
技术领域
本发明属于智能通信技术领域,具体涉及一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法。
背景技术
随着5G/B5G时代的到来,移动设备和物联网的数量在全球范围内呈现指数增长,人们对无线移动数据需求快速增长。如何科学合理地对现有蜂窝网络资源进行分配和优化,提高资源的利用率,减少蜂窝基站的能耗是通信行业需要思考和解决的问题。
目前,无线蜂窝流量预测的主要方法有:(1)整合移动平均自回归模型(ARIMA);(2)指数平滑方法(ES);(3)线性回归方法(LR);(4)支持向量机回归方法(SVR);(5)多层感知机方法(MLP);(6)基于长短时记忆网络方法(LSTM);(7)基于卷积神经网络方法(CNN)。这些解决无线蜂窝网络流量预测的方法,分别从空间因素、时间因素及时空因素等方面加以考虑。精准的预测无线蜂窝流量,有助于开展基站选址、城市区域规划以及区域流量预测等工作。但是,无线业务流量的精准预测是一个非常有挑战性的问题,这主要是由于以下3个原因。第一,无线通信网络流量的产生源是具有移动性的用户,而无线用户的移动性使得多个区域之间的流量具有空间依赖性。特别是新型交通的出现,使得人们能够在短时间内从城市的一端到达另一端。这使得无线业务流量的空间依赖性不仅仅是局部的,更是具有大尺度的全局依赖性。另一方面,无线业务流量在时间维度上也具有依赖性,某个时刻的流量值与其相近时刻(短期依赖)和某一天相对应时刻(周期性)的流量值具有高度相关性。第二,多源跨域数据对无线业务流量产生的空间约束性问题。影响某个区域无线业务流量产生的原因是多样化的。当进行流量预测时,不仅仅只从历史数据的角度去挖掘无线业务流量隐含的规律模式,还应该考虑其它跨域跨源数据对流量产生的空间约束性因素。比如某个区域的基站数据,兴趣点信息,区域的社交活动水平等因素都会对流量的变化产生影响。所以,如何对这些看似跟无线业务流量没有直接关系的多源跨域数据进行高效融合,是一个目前尚待解决的难题。第三,如何在考虑时空因素并结合跨域数据的情况下达到较高的无线蜂窝流量预测精度也是一个困难的问题。
发明内容
针对现有技术中存在的上述问题,本发明提出了一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,解决了无线蜂窝流量预测不精准的问题。
为了实现上述目的,本发明采用如下技术方案:
一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,包括如下步骤:
步骤1:对短信、电话、互联网三种业务数据进行矩阵化处理和皮尔逊相关性分析;
步骤2:对不同区域进行网格化划分,并对其进行聚簇分类;
步骤3:对跨域数据进行相关性分析和矩阵化处理,并进行融合;
步骤4:对无线蜂窝流量的时间戳进行特征提取;
步骤5:将多种数据和业务数据融合并输入到时空跨域神经网络模型;
步骤6:采用跨业务和区域融合迁移学习策略进一步提高无线蜂窝流量预测的精度。
优选地,所述步骤1具体包括如下步骤:
步骤1.1:将短信、电话、互联网三种业务数据的处理结果用大小相同的三个矩阵来表示,即100×100的矩阵,矩阵中的每一个元素代表某一种业务的流量数据值;将无线流量数据类型表示为k,其中,k∈{Sms,Call,Internet},将预测区域的无线业务流量表示成一个t维的张量,T为时间间隔总数,t={1,2,…,T},X,Y分别代表该预测区域的坐标点,第t个时隙的预测区域流量矩阵Dk,t为公式(1):
步骤1.2:分析短信、电话、互联网三种业务数据之间的相关性,分析不同业务数据的周期性、差异性和不同区域数据的差异性。
优选地,所述步骤2具体包括如下步骤:
步骤2.1:对所预测的区域划分成100×100的栅格区域,每个栅格对应某个业务的无线蜂窝流量的数据值;
步骤2.2:根据不同区域的无线蜂窝流量的相似性和差异性,将相似的区域聚到一起,得到三个不同的类,然后对不同的类进行模型训练。
优选地,所述步骤3具体包括如下步骤:
步骤3.1:将获取到的社交信息、基站分布、兴趣点分布三种跨域数据集处理成100×100的三个矩阵;对数据集处理之后,根据坐标信息将数据映射到具体的区域,得到公式(2),跨域数据集Dcross表示如下:
其中,Dcross是由基站信息DBS、兴趣点分布DPOI、社交信息DSocial三类数据通过特定维度拼接操作处理成一个新的张量。
步骤3.2:通过皮尔逊相关系数分析,得到跨域数据和不同业务数据的相关性、相似性及相关度特征;其中,皮尔逊相关系数ρ计算公式如下:
其中,cov(·)表示协方差,σ表示标准差;
步骤3.3:将矩阵化处理后的三种跨域数据封装成一个张量。
优选地,所述步骤4具体包括如下步骤:
步骤4.1:在无线蜂窝流量的时间戳中提取星期、小时、工作日、周末四个特征属性并处理成一个向量;
步骤4.2:将处理的向量转变成一个100×100的矩阵。
优选地,所述步骤5具体包括如下步骤:
步骤5.1:对不同业务的蜂窝流量进行时空相关性建模;对时间戳进行特征建模;对跨域数据进行空间相关性建模;
步骤5.2:将上述三种建模进行特征融合,并按照指定维度拼接成一个新的张量T;
步骤5.3:将处理好的张量输入到时空跨域神经网络模型中。
优选地,所述步骤6具体包括如下步骤:
步骤6.1:将某个业务数据导入到时空跨域神经网络模型中进行训练,得到模型的训练参数1;
步骤6.2:将模型的训练参数1作为另一种业务的聚簇后的第一类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到训练参数2;
步骤6.3:将模型的训练参数2作为另一种业务的聚簇后的第二类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到训练参数3;
步骤6.4:将模型的训练参数3作为另一种业务的聚簇后的第三类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到训练结果;
步骤6.5:输入测试集数据通过训练好的模型进行测试,得到最终的预测结果;
其中,模型训练的过程中conv-LSTM的关键运算如下:
其中,ig为输入门,fg为遗忘门,og为输出门,σ(·)为激活函数,*为卷积操作,⊙为Hadamard乘积运算,W(·)为训练的权重,C(·)为conv-LSTM网络层的存储单元,H(·)为输出门og的隐藏状态,b(·)为训练的偏置,tanh(·)为双曲正切函数,cτ、Hτ都是一个三维张量,经过conv-LSTM网络层的得到的输出H为特征图数量;
时间戳Dmeta的初步特征Ometa的处理过程如下:
ometa=Reshape(ometa) (6)
跨域数据集Dcorss的初步特征Ocross表示为:
ocross=f(Wcross*Dcross) (7)
其中,是拼接操作,Wcross为待学习的参数,f(·)为一个复合函数,包含批正则化、Relu激活函数和卷积操作,Dcross是由基站信息DBS、兴趣点分布DPOI、社交信息DSocial三类数据通过特定维度拼接操作处理成一个新的张量,对Dcross进行卷积和非线性变化,处理成与ot、Ometa的大小相一致;
最终输出的产生的Frobenius范数计算式:
其中,θ是STC-N的所有参数的集合,argmin函数实现预测值和真实值的最小化。
本发明所带来的有益技术效果:
本发明提出的一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,从时间和空间因素的特征出发,融合多个跨域数据集并提出一种基于时空跨域神经网络模型(STC-N)的跨业务和区域融合迁移学习策略,根据源域的数据特征提高目标域的预测精度;提出的迁移学习策略可以降低构建深度学习模型所需的训练数据、计算能力和泛化能力。
附图说明
图1为本发明数据预处理流程图;
图2中(a)、(b)、(c)分别为本发明时间维度上Sms、Call、Internet三种不同业务在不同区域的动态特性曲线;
图3为本发明张量T示意图;
图4为本发明时空跨域神经网络模型(STC-N)示意图;
图5为本发明跨业务和区域融合迁移学习策略流程图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明实施例的方法包括六个过程:对短信、电话、互联网三种数据进行皮尔逊相关性分析和矩阵化处理;对不同区域进行网格化划分,并对其进行聚簇分类;对跨域数据进行相关性分析和矩阵化处理,并进行融合;对无线蜂窝流量的时间戳进行特征提取;将多种数据和业务数据融合并输入到时空跨域神经网络模型;采用跨业务和区域融合迁移学习策略进一步提高无线蜂窝流量预测的精度。该方法具体包括如下步骤:
(1)对短信、电话、互联网三种数据进行皮尔逊相关性分析和矩阵化处理:分析短信、电话、互联网三种业务数据之间的相关性,分析不同业务数据的周期性、差异性和不同区域数据的差异性;将短信、电话、互联网三种业务数据处理成大小相同的三个矩阵,即100×100;其中,矩阵中的每一个元素代表某一种业务的流量数据值。
(2)对不同区域进行网格化划分,并对其进行聚簇分类:对所预测的区域(米兰市)划分成100×100的栅格区域,每个栅格对应上述矩阵的某个业务的无线蜂窝流量的数据值,根据不同区域的无线蜂窝流量的相似性和差异性,将相似的区域聚到一起,得到三个不同的类,然后对不同的类进行模型训练。
(3)对跨域数据进行相关性分析和矩阵化处理,并进行融合:将获取到的Social(社交信息)、BS(基站分布)、POI(兴趣点分布)三中跨域数据集进行皮尔逊相关系数分析,得到跨域数据和不同业务数据的相关性、相似性及相关度等特征;然后将这三种跨域数据也处理成100×100的三个矩阵,和上述的其他业务的矩阵大小保持一致;将矩阵化处理后的三种跨域数据封装成一个张量,其中,这个张量可以包含一种跨域数据集、两种跨域数据集或三种跨域数据集。
(4)对无线蜂窝流量的时间戳进行特征提取:从无线蜂窝流量的时间戳中提取星期、小时、工作日、周末四个特征属性并处理成一个向量;将处理的向量转变成一个100×100的矩阵,保证和上述矩阵的大小相同。
(5)将多种数据和业务数据融合并输入到时空跨域神经网络模型:对不同业务的蜂窝流量进行时空相关性建模,对时间戳进行特征建模,对跨域数据进行空间相关性建模;将上述三种建模进行特征融合,并按照指定维度拼接成一个新的张量T;将处理好的张量输入到时空跨域神经网络模型中。
(6)采用跨业务和区域融合迁移学习策略进一步提高无线蜂窝流量预测的精度:将某个业务数据导入到时空跨域神经网络模型中进行训练,得到模型的训练参数1;将模型的训练参数1作为另一种业务的聚簇后的第一类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到训练参数2;将模型的训练参数2作为另一种业务的聚簇后的第二类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到训练参数3;将模型的训练参数3作为另一种业务的聚簇后的第三类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到最终的训练结果。
图1是数据处理的流程图。第一步:数据清理。实验中提取了手机短信、电话和互联网的无线蜂窝流量数据,对于某一区域某一时间段内缺失的交通数据,将使用周边区域或时段的平均交通值来填充。第二步:数据筛选。由于原始数据的记录时间间隔为10分钟,记录的数据值大多为0,这导致了数据值的稀疏。将数据除以小时数,用最小-最大归一化,以加快训练过程。第三步:数据对齐。为便于下文数据的制定,将清理后的无线蜂窝流量数据、跨域数据和米兰市划分为100×100网格区域进行一一对应。将无线流量数据类型表示为k,其中,k∈{Sms,Call,Internet},以Internet为例,根据无线流量数据时间戳可以将某市的无线业务流量表示成一个t维的张量,其中T为时间间隔总数,t={1,2,…,T},X,Y分别代表该城市的坐标点,第t个时隙的城市区域流量矩阵Dk,t可以表示为
图2是将无线蜂窝流量数据进行预处理并清洗后的曲线图,具体表示的是在三个不同区域下,三种业务的时间维度上的动态特性。图2中三条不同颜色的曲线分别代表三个不同的地点。通过图2,我们可以得出如下结论:
(1)数据周期性。不同业务的无线蜂窝流量呈现相同的周期性,例如:在图2(a)、(b)、(c)中,表示Bocconi University(博科尼大学)区域的三条不同业务的流量曲线变化规律相同。此外,不同地区的无线蜂窝流量也存在相似的周期性,例如:在图2(a)中,在Sms业务下,表示三个不同区域的流量曲线变化规律呈现相似性。
(2)区域数据差异性。不同区域的无线蜂窝流量的数据量存在较大的差异性,例如:由于纳维利地区是米兰的夜生活区,所以该区域一周内的无线蜂窝数据量差别不大,而Bocconi University地区是米兰市的郊区,所以无线蜂窝数据量相对较少。
(3)业务数据差异性。不同业务间的无线蜂窝流量的数据量也有差异性,比如Internet和其他两种业务相比,流量峰值的持续时间较短。
本发明考虑了对无线业务流量影响较大的三种数据集,分别是Social(社交信息)、BS(基站分布)、POI(兴趣点分布)。由于这三种数据类型在时间轴上的变化较小,本发明将其看作是静态数据集,通过处理之后,并根据坐标信息将数据映射到具体的区域。参考公式(1),可得到公式(2),跨域数据集Dcross表示如下:
为分析不同业务流量和跨域数据集的相关性,计算其Pearson相关性系数ρ,如公式(3),
其中,cov(·)表示协方差,σ表示标准差。
最后,我们将得到的大小一致,且每个元素信息相对应的若干矩阵合成一个多维的张量T,数据形式如图3所示,张量中的每一个元素(如图3黑色方块)则表示某一业务的某一时刻对应区域坐标的业务量信息、时间戳信息以及该区域跨域数据集的信息,方便供下文的模型使用。
为了充分利用时间戳的特征进行辅助预测,在时间戳中提取出4个特征,将4个特征处理成一个向量m,在经过全连接层处理成与无线蜂窝流量数据集和跨域数据集大小一致的张量T。所提取出的4个特征如表1所示:
表1时间戳的4个特征
特征 | 名称 | 取值 |
1 | 星期 | 0,1,2…6 |
2 | 小时 | 0,1,…23 |
3 | 工作日 | 0,1 |
4 | 周末 | 0,1 |
例如:从2013年12月14日15时中提取的四个特征值分别为:星期的取值为5、小时的取值为14、工作日的取值为0、周末的取值为1。
本实施例采用的无线蜂窝流量预测的模型是基于深度学习的时空跨域神经网络模型(STC-N),如图4所示,它包含以下4部分:
(1)第一部分为时空相关性建模,输入是预测目标时刻的前三个时刻的数据流量矩阵(Dt-3,Dt-2,Dt-1),并将其导入一个包含两层conv-LSTM的网络,来同时建模时空依赖性和数据序列信息。
(2)第二部分为显示时间特征建模,输入是时间戳为特征的矩阵Dmeta,将特征矩阵放到一个两层的全连接神经网络中进行嵌入学习。
(3)第三部分为跨域数据建模,输入是跨域数据集Dcross,本发明提到的跨域数据集主要包含该区域的基站分布BS、社交信息Social、兴趣点分布POI三种,其中Dcross会根据后文实验需求做成一种到多种跨域数据的集合;最后把跨域数据集Dcross导入一个两层卷积神经网络处理此类数据。
(4)第四部分为特征融合层,输入是以上四种初步特征输出按照指定维度拼接合成一个新的张量,并输入到密集连接卷积网络(DenseNet),该网络总共包含L层,每一层都实现一个复合函数变换,该复合函数跟跨域数据特征学习中的操作相同,都是包含批正则化(BN)、激活函数(Relu)以及卷积操作(conv)。
具体的训练过程为:预测目标时刻t的前三个时刻的数据流量矩阵(Dt-3,Dt-2,Dt-1)可以看成是多个单通道的图片输入到一个两层的conv-LSTM网络,这样不仅能够得到时序关系,还能够像卷积层一样提取特征,提取空间特征。这样就能够得到时空特征,该网络层的每个单元都有一个存储单元C,用来存储状态信息,单元C则通过三个门控制数据信息的删除和添加,分别为输入门ig、遗忘门fg及输出门og。其中,输入门ig有选择性的存储所需的数据信息,遗忘门fg也会选择性的“遗忘”冗余信息,而最终的隐藏状态则由输出门og控制,并决定输出所需的重要数据信息。conv-LSTM的关键运算如下:
其中,σ(·)为激活函数,*为卷积操作,⊙为Hadamard乘积运算,W(·)为训练的权重,C(·)为conv-LSTM网络层的存储单元,H(·)为输出门og的隐藏状态,b(·)为训练的偏置,tanh(·)为双曲正切函数,cτ、Hτ都是一个三维张量,经过conv-LSTM网络层的得到的输出H为特征图数量。
时间戳Dmeta的初步特征Ometa的处理过程如下:
ometa=Reshape(ometa) (6)
跨域数据集Dcorss的初步特征Ocross可以表示为:
ocross=f(Wcross*Dcross) (7)
其中,是拼接操作,Wcross为待学习的参数,f(·)为一个复合函数,包含批正则化、Relu激活函数和卷积操作,Dcross是由基站信息DBS、兴趣点分布DPOI、社交信息DSocial三类数据通过特定维度拼接操作处理成一个新的张量,对Dcross进行卷积和非线性变化,使其处理成与ot、Ometa的大小相一致,以便于下一步的拼接处理,下文对Dcross的种类进行详细分析。
最终输出的产生的Frobenius范数计算式:
其中,θ是STC-N的所有参数的集合,argmin函数实现预测值和真实值的最小化。
本实例提出的基于时空跨域神经网络模型(STC-N)的跨业务和区域融合迁移学习策略,如图5所示,将某个业务数据导入到时空跨域神经网络模型中进行训练,得到模型的训练参数1;将模型的训练参数1作为另一种业务的聚簇后的第一类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到训练参数2;将模型的训练参数2作为另一种业务的聚簇后的第二类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到训练参数3;将模型的训练参数3作为另一种业务的聚簇后的第三类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到最终的训练结果。
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (7)
1.一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,其特征在于,包括如下步骤:
步骤1:对短信、电话、互联网三种业务数据进行矩阵化处理和皮尔逊相关性分析;
步骤2:对不同区域进行网格化划分,并对其进行聚簇分类;
步骤3:对跨域数据进行相关性分析和矩阵化处理,并进行融合;
步骤4:对无线蜂窝流量的时间戳进行特征提取;
步骤5:将多种数据和业务数据融合并输入到时空跨域神经网络模型;
步骤6:采用跨业务和区域融合迁移学习策略进一步提高无线蜂窝流量预测的精度。
2.根据权利要求1所述的一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,其特征在于,所述步骤1具体包括如下步骤:
步骤1.1:将短信、电话、互联网三种业务数据的处理结果用大小相同的三个矩阵来表示,即100×100的矩阵,矩阵中的每一个元素代表某一种业务的流量数据值;将无线流量数据类型表示为k,其中,k∈{Sms,Call,Internet},将预测区域的无线业务流量表示成一个t维的张量,T为时间间隔总数,t={1,2,…,T},X,Y分别代表该预测区域的坐标点,第t个时隙的预测区域流量矩阵Dk,t为公式(1):
步骤1.2:分析短信、电话、互联网三种业务数据之间的相关性,分析不同业务数据的周期性、差异性和不同区域数据的差异性。
3.根据权利要求1所述的一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,其特征在于,所述步骤2具体包括如下步骤:
步骤2.1:对所预测的区域划分成100×100的栅格区域,每个栅格对应某个业务的无线蜂窝流量的数据值;
步骤2.2:根据不同区域的无线蜂窝流量的相似性和差异性,将相似的区域聚到一起,得到三个不同的类,然后对不同的类进行模型训练。
4.根据权利要求1所述的一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,其特征在于,所述步骤3具体包括如下步骤:
步骤3.1:将获取到的社交信息、基站分布、兴趣点分布三种跨域数据集处理成100×100的三个矩阵;对数据集处理之后,根据坐标信息将数据映射到具体的区域,得到公式(2),跨域数据集Dcross表示如下:
其中,Dcross是由基站信息DBS、兴趣点分布DPOI、社交信息DSocial三类数据通过特定维度拼接操作处理成一个新的张量。
步骤3.2:通过皮尔逊相关系数分析,得到跨域数据和不同业务数据的相关性、相似性及相关度特征;其中,皮尔逊相关系数ρ计算公式如下:
其中,cov(·)表示协方差,σ表示标准差;
步骤3.3:将矩阵化处理后的三种跨域数据封装成一个张量。
5.根据权利要求1所述的一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,其特征在于,所述步骤4具体包括如下步骤:
步骤4.1:在无线蜂窝流量的时间戳中提取星期、小时、工作日、周末四个特征属性并处理成一个向量;
步骤4.2:将处理的向量转变成一个100×100的矩阵。
6.根据权利要求1所述的一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,其特征在于,所述步骤5具体包括如下步骤:
步骤5.1:对不同业务的蜂窝流量进行时空相关性建模;对时间戳进行特征建模;对跨域数据进行空间相关性建模;
步骤5.2:将上述三种建模进行特征融合,并按照指定维度拼接成一个新的张量T;
步骤5.3:将处理好的张量输入到时空跨域神经网络模型中。
7.根据权利要求1所述的一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法,其特征在于,所述步骤6具体包括如下步骤:
步骤6.1:将某个业务数据导入到时空跨域神经网络模型中进行训练,得到模型的训练参数1;
步骤6.2:将模型的训练参数1作为另一种业务的聚簇后的第一类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到训练参数2;
步骤6.3:将模型的训练参数2作为另一种业务的聚簇后的第二类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到训练参数3;
步骤6.4:将模型的训练参数3作为另一种业务的聚簇后的第三类的初始参数,然后导入时空跨域神经网络模型中进行训练参数,得到训练结果;
步骤6.5:输入测试集数据通过训练好的模型进行测试,得到最终的预测结果;
其中,模型训练的过程中conv-LSTM的关键运算如下:
其中,ig为输入门,fg为遗忘门,og为输出门,σ(·)为激活函数,*为卷积操作,⊙为Hadamard乘积运算,W(·)为训练的权重,C(·)为conv-LSTM网络层的存储单元,H(·)为输出门og的隐藏状态,b(·)为训练的偏置,tanh(·)为双曲正切函数,cτ、Hτ都是一个三维张量,经过conv-LSTM网络层的得到的输出H为特征图数量;
时间戳Dmeta的初步特征Ometa的处理过程如下:
ometa=Reshape(ometa) (6)
跨域数据集Dcorss的初步特征Ocross表示为:
ocross=f(Wcross*Dcross) (7)
Dcross=DBS⊕DPOI⊕DSocial (8)
其中,⊕是拼接操作,Wcross为待学习的参数,f(·)为一个复合函数,包含批正则化、Relu激活函数和卷积操作,Dcross是由基站信息DBS、兴趣点分布DPOI、社交信息DSocial三类数据通过特定维度拼接操作处理成一个新的张量,对Dcross进行卷积和非线性变化,处理成与ot、Ometa的大小相一致;
最终输出的产生的Frobenius范数计算式:
其中,θ是STC-N的所有参数的集合,argmin函数实现预测值和真实值的最小化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011099886.1A CN112291807B (zh) | 2020-10-15 | 2020-10-15 | 一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011099886.1A CN112291807B (zh) | 2020-10-15 | 2020-10-15 | 一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112291807A true CN112291807A (zh) | 2021-01-29 |
CN112291807B CN112291807B (zh) | 2022-09-23 |
Family
ID=74496838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011099886.1A Active CN112291807B (zh) | 2020-10-15 | 2020-10-15 | 一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112291807B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112949739A (zh) * | 2021-03-17 | 2021-06-11 | 中国电子科技集团公司第二十九研究所 | 一种基于智能流量分类的信息传输调度方法及*** |
CN113469405A (zh) * | 2021-05-18 | 2021-10-01 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于子图分割的跨城市尾气迁移预测方法、***及介质 |
CN113935443A (zh) * | 2021-12-20 | 2022-01-14 | 广东电网有限责任公司广州供电局 | 异构设备多域联合故障预测方法、装置、终端及存储介质 |
CN114007228A (zh) * | 2021-11-01 | 2022-02-01 | 天津大学 | 基于异构图神经网络流量预测的基站智能控制方法 |
CN114158085A (zh) * | 2021-11-18 | 2022-03-08 | 湖北工业大学 | 一种基于时空聚合图卷积网络的移动蜂窝流量高效预测方法 |
CN115051925A (zh) * | 2021-06-18 | 2022-09-13 | 北京邮电大学 | 一种基于迁移学习的时空序列预测方法 |
CN115150840A (zh) * | 2022-05-18 | 2022-10-04 | 西安交通大学 | 一种基于深度学习的移动网络流量预测方法 |
WO2023015448A1 (en) * | 2021-08-10 | 2023-02-16 | Nokia Shanghai Bell Co., Ltd. | Apparatus, method, and computer program |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108053080A (zh) * | 2017-12-30 | 2018-05-18 | ***通信集团江苏有限公司 | 区域用户数量统计值预测方法、装置、设备及介质 |
CN108965017A (zh) * | 2018-07-27 | 2018-12-07 | 中国联合网络通信集团有限公司 | 一种网络流量预测方法和装置 |
CN108985475A (zh) * | 2018-06-13 | 2018-12-11 | 厦门大学 | 基于深度神经网络的网约车召车需求预测方法 |
CN109299401A (zh) * | 2018-07-12 | 2019-02-01 | 中国海洋大学 | 基于深度学习模型LSTM-ResNet的城域时空流预测技术 |
CN109462520A (zh) * | 2018-11-19 | 2019-03-12 | 电子科技大学 | 基于lstm模型的网络流量资源态势预测方法 |
CN109862585A (zh) * | 2019-01-31 | 2019-06-07 | 湖北工业大学 | 一种基于深度时空神经网络的动态异构网络流量预测方法 |
CN110148296A (zh) * | 2019-04-16 | 2019-08-20 | 南京航空航天大学 | 一种基于深度迁移学习的跨城市交通流量联合预测方法 |
CN110267292A (zh) * | 2019-05-16 | 2019-09-20 | 湖南大学 | 基于三维卷积神经网络的蜂窝网络流量预测方法 |
CN110322064A (zh) * | 2019-06-27 | 2019-10-11 | 清华大学 | 城市出行需求预测方法 |
CN110417607A (zh) * | 2018-04-26 | 2019-11-05 | 中移(苏州)软件技术有限公司 | 一种流量预测方法、装置及设备 |
CN110633871A (zh) * | 2019-09-25 | 2019-12-31 | 大连理工大学 | 一种基于卷积长短期记忆网络的区域交通需求预测方法 |
CN110851782A (zh) * | 2019-11-12 | 2020-02-28 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
US20200160212A1 (en) * | 2018-11-21 | 2020-05-21 | Korea Advanced Institute Of Science And Technology | Method and system for transfer learning to random target dataset and model structure based on meta learning |
CN111343650A (zh) * | 2020-02-14 | 2020-06-26 | 山东大学 | 一种基于跨域数据和对抗损失的城市尺度无线业务流量预测方法 |
CN111553397A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 基于区域全卷积网络和自适应的跨域目标检测方法 |
-
2020
- 2020-10-15 CN CN202011099886.1A patent/CN112291807B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108053080A (zh) * | 2017-12-30 | 2018-05-18 | ***通信集团江苏有限公司 | 区域用户数量统计值预测方法、装置、设备及介质 |
CN110417607A (zh) * | 2018-04-26 | 2019-11-05 | 中移(苏州)软件技术有限公司 | 一种流量预测方法、装置及设备 |
CN108985475A (zh) * | 2018-06-13 | 2018-12-11 | 厦门大学 | 基于深度神经网络的网约车召车需求预测方法 |
CN109299401A (zh) * | 2018-07-12 | 2019-02-01 | 中国海洋大学 | 基于深度学习模型LSTM-ResNet的城域时空流预测技术 |
CN108965017A (zh) * | 2018-07-27 | 2018-12-07 | 中国联合网络通信集团有限公司 | 一种网络流量预测方法和装置 |
CN109462520A (zh) * | 2018-11-19 | 2019-03-12 | 电子科技大学 | 基于lstm模型的网络流量资源态势预测方法 |
US20200160212A1 (en) * | 2018-11-21 | 2020-05-21 | Korea Advanced Institute Of Science And Technology | Method and system for transfer learning to random target dataset and model structure based on meta learning |
CN109862585A (zh) * | 2019-01-31 | 2019-06-07 | 湖北工业大学 | 一种基于深度时空神经网络的动态异构网络流量预测方法 |
CN110148296A (zh) * | 2019-04-16 | 2019-08-20 | 南京航空航天大学 | 一种基于深度迁移学习的跨城市交通流量联合预测方法 |
CN110267292A (zh) * | 2019-05-16 | 2019-09-20 | 湖南大学 | 基于三维卷积神经网络的蜂窝网络流量预测方法 |
CN110322064A (zh) * | 2019-06-27 | 2019-10-11 | 清华大学 | 城市出行需求预测方法 |
CN110633871A (zh) * | 2019-09-25 | 2019-12-31 | 大连理工大学 | 一种基于卷积长短期记忆网络的区域交通需求预测方法 |
CN110851782A (zh) * | 2019-11-12 | 2020-02-28 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
CN111343650A (zh) * | 2020-02-14 | 2020-06-26 | 山东大学 | 一种基于跨域数据和对抗损失的城市尺度无线业务流量预测方法 |
CN111553397A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 基于区域全卷积网络和自适应的跨域目标检测方法 |
Non-Patent Citations (2)
Title |
---|
董丽丽等: "基于时空残差网络的区域客流量预测方法", 《计算机测量与控制》 * |
谷远利等: "基于深度学习的网约车供需缺口短时预测研究", 《交通运输***工程与信息》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112949739A (zh) * | 2021-03-17 | 2021-06-11 | 中国电子科技集团公司第二十九研究所 | 一种基于智能流量分类的信息传输调度方法及*** |
CN113469405A (zh) * | 2021-05-18 | 2021-10-01 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于子图分割的跨城市尾气迁移预测方法、***及介质 |
CN113469405B (zh) * | 2021-05-18 | 2024-04-02 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于子图分割的跨城市尾气迁移预测方法、***及介质 |
CN115051925A (zh) * | 2021-06-18 | 2022-09-13 | 北京邮电大学 | 一种基于迁移学习的时空序列预测方法 |
CN115051925B (zh) * | 2021-06-18 | 2023-07-18 | 北京邮电大学 | 一种基于迁移学习的时空序列预测方法 |
WO2023015448A1 (en) * | 2021-08-10 | 2023-02-16 | Nokia Shanghai Bell Co., Ltd. | Apparatus, method, and computer program |
CN114007228A (zh) * | 2021-11-01 | 2022-02-01 | 天津大学 | 基于异构图神经网络流量预测的基站智能控制方法 |
CN114007228B (zh) * | 2021-11-01 | 2023-04-07 | 天津大学 | 基于异构图神经网络流量预测的基站智能控制方法 |
CN114158085A (zh) * | 2021-11-18 | 2022-03-08 | 湖北工业大学 | 一种基于时空聚合图卷积网络的移动蜂窝流量高效预测方法 |
CN113935443B (zh) * | 2021-12-20 | 2022-04-22 | 广东电网有限责任公司广州供电局 | 异构设备多域联合故障预测方法、装置、终端及存储介质 |
CN113935443A (zh) * | 2021-12-20 | 2022-01-14 | 广东电网有限责任公司广州供电局 | 异构设备多域联合故障预测方法、装置、终端及存储介质 |
CN115150840A (zh) * | 2022-05-18 | 2022-10-04 | 西安交通大学 | 一种基于深度学习的移动网络流量预测方法 |
CN115150840B (zh) * | 2022-05-18 | 2024-03-12 | 西安交通大学 | 一种基于深度学习的移动网络流量预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112291807B (zh) | 2022-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112291807B (zh) | 一种基于深度迁移学习和跨域数据融合的无线蜂窝网络流量预测方法 | |
CN112532439B (zh) | 一种基于注意力多组件时空跨域神经网络模型的网络流量预测方法 | |
Sun et al. | Using Bayesian deep learning to capture uncertainty for residential net load forecasting | |
US11281969B1 (en) | Artificial intelligence system combining state space models and neural networks for time series forecasting | |
Li et al. | Effective tourist volume forecasting supported by PCA and improved BPNN using Baidu index | |
Bi et al. | Tourism demand forecasting with time series imaging: A deep learning model | |
Yang et al. | Social media data analytics for business decision making system to competitive analysis | |
Zeng et al. | Traffic prediction of wireless cellular networks based on deep transfer learning and cross-domain data | |
CN113077090B (zh) | 客流预测方法、***及计算机可读存储介质 | |
Ramos et al. | High-frequency forecasting from mobile devices’ bigdata: An application to tourism destinations’ crowdedness | |
Butt et al. | Spatio-temporal crime predictions by leveraging artificial intelligence for citizens security in smart cities | |
CN112910711B (zh) | 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质 | |
Pang et al. | Development of people mass movement simulation framework based on reinforcement learning | |
CN109034490A (zh) | 一种电力负荷预测方法、装置、设备及存储介质 | |
Huang et al. | Predicting urban rail traffic passenger flow based on LSTM | |
Pramanik et al. | Deep learning based resource availability prediction for local mobile crowd computing | |
Xue et al. | Forecasting hourly attraction tourist volume with search engine and social media data for decision support | |
Sun et al. | Deep convolutional autoencoder for urban land use classification using mobile device data | |
Drchal et al. | VALFRAM: validation framework for activity-based models | |
Yabe et al. | Quantifying the economic impact of extreme shocks on businesses using human mobility data: a bayesian causal inference approach | |
CN113344604B (zh) | 一种基于用户行为数据及流计算的用户细分方法 | |
Xue et al. | Urban population density estimation based on spatio‐temporal trajectories | |
Tin et al. | Incoming Work‐In‐Progress Prediction in Semiconductor Fabrication Foundry Using Long Short‐Term Memory | |
Wei | Application of Neural Network Based on Multisource Information Fusion in Production Cost Prediction | |
Liu et al. | Growth scale prediction of big data for information systems based on a deep learning SAEP method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |