CN114363951B

CN114363951B - 一种多小区间流量协同预测方法及装置

Info

Publication number: CN114363951B
Application number: CN202210274470.1A
Authority: CN
Inventors: 王健全; 付美霞; 王振乾; 孙雷; 王曲; 卢一凡; 吴健生
Original assignee: University of Science and Technology Beijing USTB
Current assignee: University of Science and Technology Beijing USTB
Priority date: 2022-03-21
Filing date: 2022-03-21
Publication date: 2022-06-07
Anticipated expiration: 2042-03-21
Also published as: CN114363951A

Abstract

本发明公开了一种多小区间流量协同预测方法及装置，该方法包括：获取同一基站下各小区的历史流量数据；将历史流量数据输入预先训练好的流量预测模型，得到各小区的流量预测值；其中，流量预测模型为通过对Transformer模型各模块间的连接方式进行改进得到，该流量预测模型包括注意力层以及多组编码器与解码器；其中，编码器与解码器的数量与参与流量预测的小区数量一致，每一组编码器与解码器的组合专门负责一个小区流量数据的编码与解码工作，注意力层负责对各小区流量数据之间的时空相关性进行表示。本发明实现了以多小区、多特征的数据输入模型，同时输出多小区的流量预测值的效果。

Description

一种多小区间流量协同预测方法及装置

技术领域

本发明涉及无线业务流量预测技术领域，特别涉及一种多小区间流量协同预测方法及装置。

背景技术

无线业务流量的预测技术是通信***实现自优化配置、自组织管理的必经之路。随着深度学习的发展，越来越多的神经网络模型被应用于无线流量业务的预测，但由于人们移动行为的复杂性、业务请求的随机性，无线业务流量预测仍面临诸多挑战，特别是当进行城市尺度的无线业务流量预测时，涉及众多小区间的复杂时空依赖关系，需要精准捕捉。Furno指出：越来越多的证据表明，多小区流量数据之间存在重要的时空相关性。目前单小区流量预测方案已趋于成熟，但针对多小区间流量的协同预测，由于多小区流量数据之间的时空相关性，现有的无线业务流量预测技术对多小区流量的预测准确度还不够理想。

发明内容

本发明提供了一种多小区间流量协同预测方法及装置，以解决现有的无线业务流量预测技术对多小区流量的预测准确度还不够理想的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种多小区间流量协同预测方法，包括：

获取同一基站下各小区的历史流量数据；

将所述历史流量数据输入预先训练好的流量预测模型，利用所述流量预测模型得到各小区的流量预测值；

其中，所述流量预测模型为通过对Transformer模型各模块间的连接方式进行改进得到，所述流量预测模型包括注意力层以及多组编码器与解码器；其中，编码器与解码器的数量与参与流量预测的小区数量一致，每一组编码器与解码器的组合专门负责一个小区流量数据的编码与解码工作，所述注意力层负责对各小区流量数据之间的时空相关性进行表示；所述流量预测模型的运算流程为：将所述历史流量数据输入对应的编码器，由编码器对输入的各小区流量数据进行编码；将所有编码器的输出结果输入所述注意力层，通过所述注意力层提取各小区流量数据之间的时空相关性信息；将所述注意力层的输出结果输入对应的解码器，通过对应的解码器输出每个小区的流量预测结果。

其中，所述流量预测模型中每个编码器和解码器的输入数据均包含时间和特征两个维度。

其中，当期望用N个连续时间点的流量数据预测未来M个连续时间点的流量数据时，所述编码器的输入数据为T₁至T_N-M+1的流量数据，解码器的输入数据为T_N-M+1至T_N的流量数据，期望解码器输出的数据为T_N+1至T_N+M的流量数据的预测值；其中，T₁至T_N+M表示连续的时间点，N和M的取值均为正整数，且N不小于二倍的M。

其中，所述流量预测模型的训练与测试过程包括：

选取一个基站下的所有小区流量数据，按8:2的比例划分训练集和测试集；

对所述训练集和所述测试集中的数据进行预处理；其中，所述预处理包括：数值归一化处理和基于3σ准则的异常值处理；

将预处理后的训练集中的数据输入所述流量预测模型进行训练，将所述流量预测模型的输出结果与目标进行损失计算；其中，损失函数选用均方根误差；

根据损失函数，采用反向传播算法优化流量预测模型参数；

将预处理后的测试集数据输入训练好的流量预测模型，计算均方误差、平均绝对误差以及平均绝对百分比误差指标，以评估流量预测模型性能。

另一方面，本发明还提供了一种多小区间流量协同预测装置，包括：

数据获取模块，用于获取同一基站下各小区的历史流量数据；

流量预测模块，用于将所述数据获取模块所获取的历史流量数据输入预先训练好的流量预测模型，利用所述流量预测模型得到各小区的流量预测值；

其中，所述流量预测模型的训练与测试过程包括：

根据损失函数，采用反向传播算法优化流量预测模型参数；

再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案带来的有益效果至少包括：

本发明对Transformer模型各模块间的连接方式进行改进，首次提出了Linkagetransformer模型，并利用其实现了以多小区、多特征的数据输入模型，输出多小区的流量预测结果的效果。本发明提出的Linkage Transformer应用于多小区流量预测，不仅能够同时给出多小区流量预测结果，理论上也可以展示出多小区流量间的时空相关性信息，为日后的多小区流量联合预测的研究提供一定的思路。而且本发明提出的LinkageTransformer应用于多小区流量联合预测，给时序数据的预测提供了新的思路，促进了深度学习“统一性”的进程。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的Linkage Transformer模型的结构图；

图2是本发明实施例提供的Linkage Transformer模型中的注意力层的原理示意图；其中，（a）是注意力机制的作用效果图，注意力机制的效果是以加权系数的形式对输入的数据做加权和，（b）是Linkage transformer编码器的输出结果经过注意力模块的运算，产生输出结果的过程示意图；

图3是本发明实施例提供的Linkage Transformer模型的数据输入格式图；

图4是本发明实施例提供的Linkage Transformer模型的数据输入形式图；

图5为本发明实施例提供的Linkage Transformer模型的训练流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种多小区间流量协同预测方法，该方法可以由电子设备实现。具体地，该多小区间流量协同预测方法的执行流程包括以下步骤：

S1，获取同一基站下各小区的历史流量数据；

S2，将所述历史流量数据输入预先训练好的流量预测模型，利用所述流量预测模型得到各小区的流量预测值；

其中，本实施例中的流量预测模型为通过对Transformer模型各模块间的连接方式进行改进得到，本实施例通过对Transformer模型各模块间的连接方式进行改进，使其可接收多小区、多特征的流量数据作为输入，且能够同时输出所有小区的流量预测值，从而得到Linkage Transformer模型作为流量预测模型。

如图1所示，本实施例提供的Linkage Transformer模型包括注意力层以及多组编码器与解码器；其中，编码器与解码器的数量与参与流量预测的小区数量一致，每一组编码器与解码器的组合专门负责一个小区流量数据的编码与解码工作，注意力层负责对各小区流量数据之间的时空相关性进行表示。

基于上述，本实施例提供的Linkage Transformer模型运算的流程如下：

第一步：将同一基站下各小区的流量数据输入对应的编码器，由编码器对输入的各小区流量数据进行编码；其中，输入数据可以包含多个特征，以提升预测结果的准确性。

第二步：将所有编码器的输出结果输入注意力层，通过注意力层提取各小区流量数据之间的时空相关性信息。

具体地，如图2所示，注意力层的输出结果就是对编码器的输出进行V变换后得到向量间的加权结果，权重系数由Q，K矩阵得到（其中，Q、K、V矩阵由输入向量乘以Wq、Wk、Wv矩阵得到），学习到的权重的大小代表了流量数据间时空相关性的大小。

第三步：将注意力层的输出结果输入对应的解码器，通过对应的解码器输出每个小区的流量预测结果。

其中，Linkage Transformer模型中每个编码器和解码器的数据输入格式如图3所示，包含时间和特征两个维度，比如图3中左下角的位置填入对应小区，周一上午10点的流量数据。

当期望用N个连续时间点的流量数据预测未来M个连续时间点的流量数据时，编码器的输入为T₁至T_N-M+1的流量数据，解码器的输入为T_N-M+1至T_N的流量数据，期望解码器的输出为T_N+1至T_N+M的流量数据预测值；其中，T₁至T_N+M表示连续的时间点，N和M的取值均为正整数，且N不小于二倍的M。例如，如图4所示，如果期望用四个连续时间点的流量数据预测未来两个连续时间点的流量数据，那么编码器的输入为T1-T3，解码器输入为T3-T4，期望解码器输出T5-T6的精确预测值。

如图5所示，Linkage Transformer模型的训练与测试过程如下：

第一步：根据收集到的数据，选取一个基站下的所有小区流量数据，按照8:2的比例划分训练集和测试集；若要用四天的数据预测未来两天的数据，则编码器输入：T1-T3，解码器输入：T3-T4，目标T5-T6。

第二步：对构建好的训练集和所述测试集中的数据进行预处理；其中，预处理包括：数值归一化处理和基于3σ准则的异常值处理；

第三步：将预处理后的训练集中的数据输入Linkage Transformer模型进行训练，将模型输出结果与目标进行损失计算；其中，损失函数选用均方根误差；

第四步：根据损失函数，采用反向传播算法优化流量预测模型参数；

第五步：将预处理后的测试集数据输入训练好的Linkage Transformer模型，计算均方误差、平均绝对误差以及平均绝对百分比误差指标，以评估模型性能。

综上，本实施例对Transformer模型各模块间的连接方式进行改进，提出了Linkage transformer模型，并利用其实现了以多小区、多特征的数据输入模型，输出多小区的流量预测结果的效果。本实施例提出的Linkage Transformer应用于多小区流量预测，不仅能够同时给出多小区流量预测结果，理论上也可以展示出多小区流量间的时空相关性信息，为日后的多小区流量联合预测的研究提供一定的思路。而且本实施例提出的LinkageTransformer应用于多小区流量联合预测，给时序数据的预测提供了新思路，促进了深度学习“统一性”的进程。

第二实施例

本实施例提供了一种多小区间流量协同预测装置，该装置包括以下模块：

本实施例的多小区间流量协同预测装置与上述第一实施例的多小区间流量协同预测方法相对应；其中，本实施例的多小区间流量协同预测装置中的各功能模块所实现的功能与上述第一实施例的多小区间流量协同预测方法中的各流程步骤一一对应；故，在此不再赘述。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims

1.一种多小区间流量协同预测方法，其特征在于，包括：

获取同一基站下各小区的历史流量数据；

其中，所述流量预测模型为通过对Transformer模型各模块间的连接方式进行改进得到，所述流量预测模型包括注意力层以及多组编码器与解码器；其中，编码器与解码器的数量与参与流量预测的小区数量一致，每一组编码器与解码器的组合专门负责一个小区流量数据的编码与解码工作，所述注意力层负责对各小区流量数据之间的时空相关性进行表示；所述流量预测模型的运算流程为：将所述历史流量数据输入对应的编码器，由编码器对输入的各小区流量数据进行编码；将所有编码器的输出结果输入所述注意力层，通过所述注意力层提取各小区流量数据之间的时空相关性信息；将所述注意力层的输出结果输入对应的解码器，通过对应的解码器输出每个小区的流量预测结果；

所述流量预测模型中每个编码器和解码器的输入数据均包含时间和特征两个维度；

当期望用N个连续时间点的流量数据预测未来M个连续时间点的流量数据时，所述编码器的输入数据为T₁至T_N-M+1的流量数据，所述解码器的输入数据为T_N-M+1至T_N的流量数据，期望所述解码器输出的数据为T_N+1至T_N+M的流量数据的预测值；其中，T₁至T_N+M表示连续的时间点，N和M的取值均为正整数，且N不小于二倍的M；

所述流量预测模型的训练与测试过程包括：

根据损失函数，采用反向传播算法优化流量预测模型参数；

2.一种多小区间流量协同预测装置，其特征在于，包括：

所述流量预测模型的训练与测试过程包括：

根据损失函数，采用反向传播算法优化流量预测模型参数；