CN109639479A - 基于生成对抗网络的网络流量数据增强方法及装置 - Google Patents

Abstract

本发明实施例提供一种基于生成对抗网络的网络流量数据增强方法及装置，所述方法包括：获取目标场景中真实网络流量的数据集；根据所述数据集，对生成对抗网络模型进行训练；基于训练好的所述生成对抗网络模型，获取最终增强流量数据。本发明实施例可以适用于各种场景，无需流量数据方面的专家经验，自适应地实现流量数据增强，扩充了网络流量的数据集，提升了利用机器学习方法优化网络性能的效果。

Description

基于生成对抗网络的网络流量数据增强方法及装置

技术领域

本发明实施例属于通信网络技术领域，更具体地，涉及一种基于生成对抗网络的网络流量数据增强方法及装置。

背景技术

近年来，以网络流量数据作为训练集的机器学习(Machine Learning,ML)广泛应用到流量分类、流量异常检测和网络性能优化中。为了提高机器学习的效果，需要大量的网络流量数据。

然而，在现实中很难收集到有效的网络流量数据，流量数据的缺乏影响着机器学习的应用效果。因此，需要使用合理有效的网络流量数据增强方法合成流量数据。在当前通信网络背景下，大量不同类型的服务造成了网络流量数据的多样性，这要求网络流量数据的合成需要具有较高的动态性和灵活性。传统的网络流量数据合成方法包括分型布朗运动(Fractal Brown Motion，FBM)、M/G/∞排队模型、基于小波的模型和多重分形小波模型(Multifractal Wavelet Model,MWM)。这些传统方法需要依赖大量的专家经验建立不同的流量数据模型，且对于不同的流量场景需要依赖不同的专家经验。由于专家经验具有很强的主观性，导致依赖专家经验合成的流量数据与真实的流量数据之间的存在较大差别。

综上所述，现有的网络流量数据合成方法不能适用于所有流量场景，普适性差，且依赖于专家经验建立流量数据模型，具有很强的主观性，导致合成的流量数据缺乏真实性。

发明内容

为克服上述现有的网络流量数据合成方法普适性差，合成的流量数据缺乏真实性的问题或者至少部分地解决上述问题，本发明实施例提供一种基于生成对抗网络的网络流量数据增强方法及装置。

根据本发明实施例的第一方面，提供一种基于生成对抗网络的网络流量数据增强方法，包括：

获取目标场景中真实网络流量的数据集；

根据所述数据集，对生成对抗网络模型进行训练；

基于训练好的所述生成对抗网络模型，获取最终增强流量数据。

根据本发明实施例第二方面提供一种基于生成对抗网络的网络流量数据增强装置，包括：

获取模块，用于获取目标场景中真实网络流量的数据集；

训练模块，用于根据所述数据集，对生成对抗网络模型进行训练；

输出模块，用于基于训练好的所述生成对抗网络模型，获取最终增强流量数据。

根据本发明实施例的第三个方面，还提供一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于生成对抗网络的网络流量数据增强方法。

根据本发明实施例的第四个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于生成对抗网络的网络流量数据增强方法。

本发明实施例提供一种基于生成对抗网络的网络流量数据增强方法及装置，该方法通过将目标场景中真实网络流量的数据集输入生成对抗网络模型进行训练，将达到收敛时对抗网络模型生成的增强流量数据作为最终增强流量数据，本实施例可以适用于各种场景，无需流量数据方面的专家经验，自适应地实现流量数据增强，扩充了网络流量的数据集，提升了利用机器学习方法优化网络性能的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于生成对抗网络的网络流量数据增强方法整体流程示意图；

图2为本发明又一实施例提供的基于生成对抗网络的网络流量数据增强方法整体流程示意图；

图3为本发明实施例提供的基于生成对抗网络的网络流量数据增强装置整体结构示意图；

图4为本发明实施例提供的电子设备整体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的一个实施例中提供一种基于生成对抗网络的网络流量数据增强方法，图1为本发明实施例提供的基于生成对抗网络的网络流量数据增强方法整体流程示意图，该方法包括：S101，获取目标场景中真实网络流量的数据集；

其中，目标场景为需要进行网络流量数据增强的场景，可以为各种场景，如居民区、学校区和商业区等。将从目标场景中直接获取的网络流量数据作为真实网络流量数据。将真实网络流量数据的多个样本的组合作为真实网络流量的数据集。

S102，根据所述数据集，对生成对抗网络模型进行训练；

生成对抗网络(Generative Adversarial Nets，GANs)是深度学习领域中的核心算法，广泛应用于图像处理和视频生成等领域，受益于零和博弈思想，GANs的原理是通过两个神经网络的对抗训练，从而实现有效的数据增强。在使用数据集对生成对抗网络模型进行训练之前，先对数据集中的真实网络流量数据进行预处理，如归一化处理。然后将预处理后的数据集输入构建好的GANs模型中，对GANs模型进行训练，使其达到收敛。GANs模型包括一个生成器和一个判别器。其中，生成器用于对随机噪声进行增强处理，将增强处理结果作为中间增强流量数据。判别器用于区分中间增强流量数据和真实流量数据。

S103，基于训练好的所述生成对抗网络模型，获取最终增强流量数据。

将生成对抗网络模型收敛后生成器输出的中间增强数据流量作为最终增强流量数据。

本实施例通过将目标场景中真实网络流量的数据集输入生成对抗网络模型进行训练，将达到收敛时对抗网络模型生成的增强流量数据作为最终增强流量数据，本实施例可以适用于各种场景，无需流量数据方面的专家经验，自适应地实现流量数据增强，扩充了网络流量的数据集，提升了利用机器学习方法优化网络性能的效果。

在上述实施例的基础上，本实施例中获取目标场景中真实网络流量的数据集的步骤具体包括：获取预设历史时间段内目标场景预设粒度的真实网络流量数据；将所述预设历史时间段划分成多个子时间段，将各所述子时间段内各预设粒度的真实网络流量数据作为一个样本；将所有所述样本的集合作为所述目标场景中真实网络流量的数据集。

具体地，收集预设历史时间段内目标场景下的真实流量数据，如将居民区、学校区和商业区中的一个作为目标场景。根据真实流量数据的预设粒度，如毫秒、秒、分钟或小时，选择每天、每周或每月的真实流量数据作为一个样本，把所有的真实流量数据样本合并为数据集。并对目标场景中各样本中的真实流量数据进行归一化处理。为了更好地训练生成对抗网络使其快速收敛，将目标场景中的数据集进行最大最小归一化处理。例如，预设历史时间段的时长为44天，每个子时间段的时长为一天，将每小时总的真实流量数据作为一个粒度，将每天，即24小时中每小时的真实流量数据作为一个样本，该目标场景的数据集中共有44个样本。

在上述实施例的基础上，本实施例中根据所述数据集，对生成对抗网络模型进行训练的步骤具体包括：基于所述生成对抗网络模型中的生成器对随机噪声进行增强处理，获取中间增强流量数据；基于所述生成对抗网络模型中的判别器对所述中间增强流量数据和预处理后所述数据集中的样本进行判别；根据判别结果对所述生成器和判别器的参数进行调整，直到所述生成对抗网络模型收敛。

如图2所示，生成对抗网络主要包含一个生成器和一个判别器。生成器和判别器都是深度神经网络(Deep Neural Networks，DNN)结构，包括一个输入层，一个或多个隐藏层，以及一个输出层。将经过预处理的真实网络流量数据集作为判别器的输入，生成器的输入为随机噪声，将生成器对随机噪声的增强结果作为中间增强流量数据。训练初始阶段，生成器的增强能力较差，增强的流量数据不符合真实流量数据的分布。随机噪声经过生成器后，输出的增强流量数据和真实的流量数据输入到判别器，判别器很容易判别出增强流量数据和真实流量数据。根据判别结果对生成器和判别器的参数进行调整，迭代基于调整参数后的生成器对随机噪声进行增强处理和基于判别器判别增强的流量数据和真实流量数据。随着训练的不断进行，生成器的增强能力越来越强，生成的中间增强流量数据越来越符合真实流量数据的分布，判别器难以区分增强的流量数据和真实的流量数据。当GANs模型收敛后，判别器判断其输入属于真实流量数据和增强流量数据的概率均为0.5。生成器在收敛时输出的最终增强流量数据分布接近真实流量数据的分布。

在上述实施例的基础上，本实施例中基于所述生成对抗网络模型中的生成器对随机噪声进行增强处理，获取中间增强流量数据的步骤具体包括：将随机噪声输入所述生成器的输入层；基于所述生成器的一个或多个隐藏层对所述随机噪声进行增强处理，获取中间增强流量数据；基于所述生成器的输出层将所述中间增强流量数据输入到所述判别器中。

具体地，生成器包括一个输入层，一个或多个隐藏层，以及一个输出层。将经过预处理的真实流量数据输入到判别器中，生成器的输入层的输入为随机噪声，经过隐藏层计算传输后，输出层会输出增强的流量数据，并将其输入到判别器中，由判别器区分增强的流量数据和真实的流量数据。生成器的隐藏层可以为全连接层，如m个全连接层，生成器的输入层与全连接层相连接，经过m个全连接层顺次连接，最后一个全连接层与生成器的输出层进行全连接，全连接层的激活函数为线性整流函数(Rectified Linear Unit，ReLU)。生成器的输出层输出增强的流量数据，即中间增强流量数据。判别器的输出层输出其输入属于真实流量数据和增强流量数据的概率。将生成对抗网络模型收敛后生成器输出的中间增强数据流量作为最终增强流量数据。

根据流量数据常用的统计特性，如均值、方差和Hurst指数(Hurst exponent，赫斯特指数)，对比增强后的数据流量和真实的流量数据，验证分析增强的数据流量的有效性以及在不同场景下流量数据增强的自适应性。如表1所示，在三种不同场景下，增强的流量数据与真实的流量数据之间均值、方差和Hurst指数非常接近，说明增强的流量数据分布接近真实流量数据的分布，且可以适用于各种不同场景。

表1不同场景下增强的流量数据效果

在本发明的另一个实施例中提供一种基于生成对抗网络的网络流量数据增强装置，该装置用于实现前述各实施例中的方法。因此，在前述基于生成对抗网络的网络流量数据增强方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图3为本发明实施例提供的基于生成对抗网络的网络流量数据增强装置整体结构示意图，该装置包括获取模块301、训练模块302和输出模块303；其中：

获取模块301用于获取目标场景中真实网络流量的数据集；

其中，目标场景为需要进行网络流量数据增强的场景，可以为各种场景，如居民区、学校区和商业区等。获取模块301将从目标场景中直接获取的网络流量数据作为真实网络流量数据。将真实网络流量数据的多个样本的组合作为真实网络流量的数据集。

训练模块302用于根据所述数据集，对生成对抗网络模型进行训练；

GANs模型是深度学习领域中的核心算法，广泛应用于图像处理和视频生成等领域，受益于零和博弈思想，GANs的原理是通过两个神经网络的对抗训练，从而实现有效的数据增强。在使用数据集对生成对抗网络模型进行训练之前，先对数据集中的真实网络流量数据进行预处理，如归一化处理。然后训练模块302将预处理后的数据集输入构建好的GANs模型中，对GANs模型进行训练，使其达到收敛。GANs模型包括一个生成器和一个判别器。其中，生成器用于对随机噪声进行增强处理，将增强处理结果作为中间增强流量数据。判别器用于区分中间增强流量数据和真实流量数据。

输出模块303用于基于训练好的所述生成对抗网络模型，获取最终增强流量数据。

输出模块303将生成对抗网络模型收敛后生成器输出的中间增强数据流量作为最终增强流量数据。

本实施例通过将目标场景中真实网络流量的数据集输入生成对抗网络模型进行训练，将达到收敛时对抗网络模型生成的增强流量数据作为最终增强流量数据，本实施例可以适用于各种场景，无需流量数据方面的专家经验，自适应地实现流量数据增强，扩充了网络流量的数据集，提升了利用机器学习方法优化网络性能的效果。

在上述实施例的基础上，本实施例中获取模块具体用于：获取预设历史时间段内目标场景预设粒度的真实网络流量数据；将所述预设历史时间段划分成多个子时间段，将各所述子时间段内各预设粒度的真实网络流量数据作为一个样本；将所有所述样本的集合作为所述目标场景中真实网络流量的数据集。

在上述实施例的基础上，本实施例中还包括预处理模块，用于对所述数据集进行预处理，所述预处理包括最大最小归一化处理。

在上述实施例的基础上，本实施例中训练模块具体用于：基于所述生成对抗网络模型中的生成器对随机噪声进行增强处理，获取中间增强流量数据；基于所述生成对抗网络模型中的判别器对所述中间增强流量数据和预处理后所述数据集中的样本进行判别；根据判别结果对所述生成器的和判别器参数进行调整，直到所述生成对抗网络模型收敛。

在上述实施例的基础上，本实施例中训练模块进一步用于：将随机噪声输入所述生成器的输入层；基于所述生成器的一个或多个隐藏层对所述随机噪声进行增强处理，获取中间增强流量数据；基于所述生成器的输出层将所述中间增强流量数据输入到所述判别器中。

在上述实施例的基础上，本实施例中所述隐藏层为全连接层，所述全连接层的激活函数为线性整流函数。

在上述实施例的基础上，本实施例中输出模块具体用于：将所述生成对抗网络模型收敛后生成器输出的中间增强数据流量作为最终增强流量数据。

本实施例提供一种电子设备，图4为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器401、至少一个存储器402和总线403；其中，

处理器401和存储器402通过总线403完成相互间的通信；

存储器402存储有可被处理器401执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：获取目标场景中真实网络流量的数据集；根据所述数据集，对生成对抗网络模型进行训练；基于训练好的所述生成对抗网络模型，获取最终增强流量数据。

本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取目标场景中真实网络流量的数据集；根据所述数据集，对生成对抗网络模型进行训练；基于训练好的所述生成对抗网络模型，获取最终增强流量数据。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于生成对抗网络的网络流量数据增强方法，其特征在于，

包括：

获取目标场景中真实网络流量的数据集；

根据所述数据集，对生成对抗网络模型进行训练；

基于训练好的所述生成对抗网络模型，获取最终增强流量数据。

2.根据权利要求1所述的方法，其特征在于，获取目标场景中真实网络流量的数据集的步骤具体包括：

获取预设历史时间段内目标场景预设粒度的真实网络流量数据；

将所述预设历史时间段划分成多个子时间段，将各所述子时间段内各预设粒度的真实网络流量数据作为一个样本；

将所有所述样本的集合作为所述目标场景中真实网络流量的数据集。

3.根据权利要求1所述的方法，其特征在于，根据所述数据集，对生成对抗网络模型进行训练的步骤之前还包括：

对所述数据集进行预处理，所述预处理包括最大最小归一化处理。

4.根据权利要求2所述的方法，其特征在于，根据所述数据集，对生成对抗网络模型进行训练的步骤具体包括：

基于所述生成对抗网络模型中的生成器对随机噪声进行增强处理，获取中间增强流量数据；

基于所述生成对抗网络模型中的判别器对所述中间增强流量数据和预处理后所述数据集中的样本进行判别；

根据判别结果对所述生成器和判别器的参数进行调整，直到所述生成对抗网络模型收敛。

5.根据权利要求4所述的方法，其特征在于，基于所述生成对抗网络模型中的生成器对随机噪声进行增强处理，获取中间增强流量数据的步骤具体包括：

将随机噪声输入所述生成器的输入层；

基于所述生成器的一个或多个隐藏层对所述随机噪声进行增强处理，获取中间增强流量数据；

基于所述生成器的输出层将所述中间增强流量数据输入到所述判别器中。

6.根据权利要求5所述的方法，其特征在于，所述隐藏层为全连接层，所述全连接层的激活函数为线性整流函数。

7.根据权利要求4所述的方法，其特征在于，基于训练好的所述生成对抗网络模型，获取最终增强流量数据的步骤具体包括：

将所述生成对抗网络模型收敛后生成器输出的中间增强数据流量作为最终增强流量数据。

8.一种基于生成对抗网络的网络流量数据增强装置，其特征在于，包括：

获取模块，用于获取目标场景中真实网络流量的数据集；

训练模块，用于根据所述数据集，对生成对抗网络模型进行训练；

输出模块，用于基于训练好的所述生成对抗网络模型，获取最终增强流量数据。

9.一种电子设备，其特征在于，包括：

至少一个处理器、至少一个存储器和总线；其中，

所述处理器和存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。