CN110362772A - 基于深度神经网络的实时网页质量评估方法及*** - Google Patents

基于深度神经网络的实时网页质量评估方法及*** Download PDF

Info

Publication number
CN110362772A
CN110362772A CN201910502018.4A CN201910502018A CN110362772A CN 110362772 A CN110362772 A CN 110362772A CN 201910502018 A CN201910502018 A CN 201910502018A CN 110362772 A CN110362772 A CN 110362772A
Authority
CN
China
Prior art keywords
model
neural network
webpage
time
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910502018.4A
Other languages
English (en)
Other versions
CN110362772B (zh
Inventor
潘恬
黄韬
宋恩格
贾晨昊
刘韵洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910502018.4A priority Critical patent/CN110362772B/zh
Publication of CN110362772A publication Critical patent/CN110362772A/zh
Application granted granted Critical
Publication of CN110362772B publication Critical patent/CN110362772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于深度神经网络的实时网页质量评估方法及***，其中，该方法包括以下步骤：获取目标页面的网页信息；从边缘路由器或网关获取网页信息的网络级原始数据，并将原始数据的格式进行转换，得到目标格式数据；利用目标格式数据对WebQMon.ai框架中基于深度神经网络的预设分类模型进行训练，使训练后的预设分类模型在用户访问不同网页时预测首屏时延；通过基于深度神经网络的预设分类模型得到目标网页的首屏时延，生成网页质量评估结果。该方法不依赖于任何公式或阈值，使用少量的应用层数据以及大量的网络层数据，来评估用户体验，训练好的模型需要很小的存储空间，可以快速预测用户体验，且正确率极高。

Description

基于深度神经网络的实时网页质量评估方法及***
技术领域
本发明涉及深度神经网络学习技术领域，特别涉及一种基于深度神经网络的实时网页质量评估方法及***。
背景技术
最近的一项研究发现，交互式HTTP流量再次主导了住宅宽带互联网流量，占流量的50％以上，它逐渐成为互联网的窄腰。人们经常在工作中或休闲时间访问各种网站，包括搜索引擎，视频网站和社交网站。网站是否可以在短时间内成功加载影响了用户继续浏览该网页的可能性。即使网页加载的微小网络延迟也会对用户体验造成巨大损害。然而，由于不同网站的内容是差异极大，因此难以通过传统方法(如推导公式或设定阈值)构建通用的评估用户访问网页体验模型。
相关技术一，人工神经网络(Artificial Neural Network，即ANN)是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。但该神经网络用于分类预测用户体验前，需要制定非常复杂的技术场景，如果想要训练好神经网络，还需要大量标记好的数据，而取得这种数据一般是比较困难的。
相关技术二，YouQMon使用网络层数据通过推导公式，来预测当用户在YouTube上观看电影时的停滞模式。先通过使用来自网络层的数据，，使用大量公式和大量测量得出的经验阈值来估计停滞事件，再使用许多公式计算总停滞时间T，停滞事件数N，以及停滞事件L的持续时间或长度。但因为使用了太多特定的阈值和公式来准确地估算QoE(Quality ofExperience，体验质量)，所以***只能评估用户观看YouTube视频时的体验。这些特定的阈值和公式极大地限制了本身通用性，使得其很难扩展到其他网站上。
相关技术三，卡萨斯等人提出了UNIDS(Unsupervised Network IntrusionDetection Systems，无监督网络入侵检测***)，能够在不使用任何标记流量或训练的情况下检测未知网络攻击。UNIDS使用基于子空间聚类和多证据积累技术的新型无监督异常值检测方法来确定不同类型的网络入侵和攻击。聚类算法虽然可以识别自动识别异常情况，进行分类，但是因为时间序列的维度通常很大，聚类很难应用于时间序列的分类问题。
相关技术四，Casas等人提出了三种用于在网络中测量QoE损伤的新方法。主要针对ISP的被动YouTube QoE监控，这三种方法属于被动检测方法，通过网络层取到的数据，使用不同的公式计算得出了用户观看视频时的卡顿情况。但其存在与相关技术二相似的缺点，该方法只能特定于观看YouTube视频时的QoE，难以扩展到其他网站上。
除上述相关技术外，还有一些与相关技术四相关的技术方案，如(1)托比亚斯等人讨论了记忆效应对网络QoE建模的影响，首先将记忆效应识别为基于主观用户研究的WebQoE建模的关键影响因素，后提出了三种不同的QoE模型，它们考虑了记忆效应的含义并暗示了基本模型的必要扩展。其中，所提出的Web QoE模型用a)支持向量机，b)迭代指数回归和c)二维隐马尔可夫模型来描述。但考虑了记忆效应的作用，能够分析同一个用户连续浏览网页时的QoE受最近几个网页质量的影响。(2)卡萨斯等人通过几种机器学习方法预测了智能手机中流行应用的QoE。但该方法适合识别用户使用智能手机时的QoE，不够通用。(3)Mushtaq等人分析了QoS和其他参数对视频流服务QoE的影响，并评估了机器学习方法如何帮助建立一个准确客观的QoE模型，该模型将低级参数与高级质量相关联。但该模型只针对于视频服务，依然不够通用。
因此，构建一种只需要很少的应用层数据，采用的大部分是网络层的数据，进而预测用户观看网页时QoE的通用方法是十分必要的。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于深度神经网络的实时网页质量评估方法，该方法为实时用户访问网页质量评估的通用策略，可以快速预测用户体验，且正确率极高。
本发明的另一个目的在于提出一种基于深度神经网络的实时网页质量评估***。
为达到上述目的，本发明一方面提出了基于深度神经网络的实时网页质量评估方法，包括以下步骤：获取目标网页的网页信息；从边缘路由器或网关获取所述网页信息的网络级原始数据，并将所述原始数据的格式进行转换，得到目标格式数据；利用所述目标格式数据对WebQMon.ai框架中基于深度神经网络的预设分类模型进行训练，使训练后的所述预设分类模型在用户访问不同网页时预测首屏时延；通过所述基于深度神经网络的预设分类模型得到所述目标网页的首屏时延，生成网页质量评估结果。
本发明实施例的基于深度神经网络的实时网页质量评估方法，通过采用机器学习的方法预测打开网页的首屏时延，模型采用监督学习，使用相同的模型，为不同的网站训练不同的参数就可以精确预测AFT，且由于是数据驱动的方法，故只需要增加数据，就可实时地更新模型，可以适应不断变化的网页内容。
另外，根据本发明上述实施例的基于深度神经网络的实时网页质量评估方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述WebQMon.ai框架的训练和预测所需的数据集为用户访问网站时获取边缘路由器或网关上的全部TCP数据包。
进一步地，在本发明的一个实施例中，所述WebQMon.ai框架使用与数据包直系关联的TCP数据包的大小和到达时间。
进一步地，在本发明的一个实施例中，所述TCP数据包包括两种流量模式，第一种流量模式为每秒到达的总数据大小的时间曲线，第二种流量模式为计算每个时刻的累积TCP数据包大小并将其标准化。
进一步地，在本发明的一个实施例中，所述预设分类模型包括Slice模型、NN模型、LSTM模型、R-LSTM模型和Combine模型，其中，所述Slice模型使用全连接神经网络对所述第一种流量模式进行分类，所述NN模型利用最大斜率和百分比数据大小到达时间对所述第二种流量模式的部分特征进行分类。
进一步地，在本发明的一个实施例中，所述预设分类模型包括Slice模型、NN模型、LSTM模型、R-LSTM模型和Combine模型，其中，所述Slice模型使用全连接神经网络对所述第一种流量模式进行分类，所述NN模型利用最大斜率对所述第二种流量模式的部分特征进行分类。
为达到上述目的，本发明另一方面提出了一种基于深度神经网络的实时网页质量评估***，包括：获取模块用于获取目标网页的网页信息；转换模块用于从边缘路由器或网关获取所述网页信息的网络级原始数据，并将所述原始数据的格式进行转换，得到目标格式数据；预测模块用于利用所述目标格式数据对WebQMon.ai框架中基于深度神经网络的预设分类模型进行训练，使训练后的所述预设分类模型在用户访问不同网页时预测首屏时延；生成模块用于通过所述基于深度神经网络的预设分类模型得到所述目标网页的首屏时延，生成网页质量评估结果。
本发明实施例的基于深度神经网络的实时网页质量评估***，通过采用机器学习的方法预测打开网页的首屏时延，模型采用监督学习，使用相同的模型，为不同的网站训练不同的参数就可以精确预测AFT，且由于是数据驱动的方法，故只需要增加数据，就可实时地更新模型，可以适应不断变化的网页内容。
另外，根据本发明上述实施例的基于深度神经网络的实时网页质量评估***还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述WebQMon.ai框架的训练和预测所需的数据集为用户访问网站时获取边缘路由器或网关上的TCP数据包。
进一步地，在本发明的一个实施例中，所述WebQMon.ai框架使用与数据包直系关联的TCP数据包的大小和到达时间。
进一步地，在本发明的一个实施例中，所述TCP数据包包括两种流量模式，第一种流量模式为每秒到达的总数据大小的时间曲线，第二种流量模式为计算每个时刻的累积TCP数据包大小并将其标准化。
进一步地，在本发明的一个实施例中，所述预设分类模型包括Slice模型、NN模型、LSTM模型、R-LSTM模型和Combine模型，其中，所述Slice模型使用全连接神经网络对所述第一种流量模式进行分类，所述NN模型利用最大斜率和百分比数据大小到达时间对所述第二种流量模式的部分特征进行分类。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于深度神经网络的实时网页质量评估方法流程图；
图2为根据本发明实施例的WebQMon.ai架构图；
图3为根据本发明实施例的基于深度神经网络的实时网页质量评估方法中第一种流量模式变化曲线图；
图4为根据本发明实施例的基于深度神经网络的实时网页质量评估方法中第二种流量模式变化曲线图；
图5为根据本发明实施例中预设分类模型Slice架构图；
图6为根据本发明实施例中预设分类模型NN及LSTM架构图；
图7为根据本发明实施例中预设分类模型Combine架构图；
图8为根据本发明实施例的基于深度神经网络的实时网页质量评估方法的模型训练及预测时间；
图9为根据本发明实施例的基于深度神经网络的实时网页质量评估方法中Combine模型与基础模型各项指标对比图；
图10为根据本发明实施例的基于深度神经网络的实时网页质量评估***结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
首先，为能够构建出通用的网页质量评估模型，本发明实施例引入了WebQMon.ai框架，其为一种使用机器学习的网页QoE评估方法，不依赖于任何公式或阈值，使用少量的应用层数据以及大量的网络层数据，即可来评估用户体验，其内部的模型训练好后不需要很小的存储空间，方便WebQMon.ai框架可以直接部署在网关或路由器等中间设备上。
下面参照附图描述根据本发明实施例提出的基于深度神经网络的实时网页质量评估方法及***，首先将参照附图描述根据本发明实施例提出的基于深度神经网络的实时网页质量评估方法。
图1是本发明一个实施例的基于深度神经网络的实时网页质量评估方法流程图。
如图1所示，该基于深度神经网络的实时网页质量评估方法包括以下步骤：
在步骤S101中，获取目标网页的网页信息。
在步骤S102中，从边缘路由器或网关获取网页信息的网络级原始数据，并将原始数据的格式进行转换，得到目标格式数据。
需要说明的是，网页浏览QoE(Quality of Experience，体验质量)主要取决于网页加载首屏时延(Above-the-fold time，AFT)，即显示器可以直接显示的内容的加载时间。一般情况下，AFT越长，QoE越差。故本发明实施例可以将AFT分成多个区间，每个区间对应一定的QoE。例如，如果AFT小于1秒，则用户体验会很好；如果AFT大于1秒且小于5秒，用户体验比较差；如果AFT大于五秒，用户体验将非常糟糕。因此，本发明实施例可以通过预测AFT来评估访问网页的用户体验。
访问网页时的QoE基本上由首屏时延(AFT)确定。为此，本发明实施例构建了WebQMon.ai框架，进而预测用户访问不同的网页时的AFT。
具体而言，如图2所示，本发明实施例从边缘路由器或网关获取大量网络级数据，并将原始数据转换为有用的格式。然后，使用处理过的数据训练的模型。之后，WebQMon.ai框架可以在用户访问网站时预测AFT。
本发明实施例使用机器学习算法来预测AFT。对于传统方法，需要推导或设置不同的公式或阈值以预测不同网站的AFT。且网站内容的可变性使得公式和阈值不固定。但是对于本发明实施例的机器学习方法，可以使用同一模型为不同网站的训练不同参数，而不涉及任何可变公式或阈值，使得模型具有通用性并且预测准确。
在步骤S103中，利用目标格式数据对WebQMon.ai框架中基于深度神经网络的预设分类模型进行训练，使训练后的预设分类模型在用户访问不同网页时预测首屏时延。
进一步地，在本发明的一个实施例中，WebQMon.ai框架的训练和预测所需的数据集为用户访问网站时获取边缘路由器或网关上的全部TCP数据包。
进一步地，在本发明的一个实施例中，WebQMon.ai框架使用与数据包直系关联的TCP数据包的大小和到达时间。
具体而言，WebQMon.ai框架的训练和测试数据集源自用户访问网站时出现的TCP流。如图2所示，本发明实施例可以轻松获取边缘路由器或网关上的所有TCP数据包。通过解析TCP数据包的包头内容，可以通过头部中的引用字段聚合通过访问网页生成的包。
也就是说，本发明实施例不必关心分组的内容，即不需要将TCP分段重组成数据流并深度解析应用层数据。WebQMon.ai框架使用与数据包直接相关的TCP数据包的大小和到达时间。一般情况下，当网络状况良好(即下载速度快，延迟低，没有丢包等)时，大量内容会很快到达，而网络波动时则到达缓慢。
进一步地，在本发明的一个实施例中，TCP数据包包括两种流量模式，第一种流量模式为每秒到达的总数据大小的时间曲线，第二种流量模式为计算每个时刻的累积TCP数据包大小并将其标准化。
需要说明的是，每个数据包的大小和到达时间差别很大，而且通常没有统计意义，一个请求生成的数据包数量也是不固定的。但一般来说，机器学习模型的输入变量需要一个固定的维度，因此不太可能直接使用未处理的数据进行训练和预测。因此，本发明实施例提出了两种流量模式来表示TCP流的特征，可以准确地反映网络状况。通过一些统计数据处理方法将未处理的TCP数据处理成流量模式。
每种形式的流量模式都对应于不同的网络状况。其中，每种流量模式中的每一个数据都被标上有用于监督学习的唯一标签，其中，每一个数据指采集到的流量模式一和流量模式二，因此，不同的网络状态有不同形式的流量模式，所以可以通过区分这些流量模式的不同形式来预测用户的体验。通过测试发现以下两种流量模式的不同形式明显对应于不同的AFT。
下面结合数据图像对两种流量模式进行更详细地描述。
(1)第一种流量模式(每秒流量)
如图3所示，第一种流量模式原理十分简单。若直接绘制TCP流中每个数据包大小与到达时间的曲线，当网络状况良好时会有很多曲线形式，而当网络状况不好时会有更多曲线形式。这对于分类问题来说实在时太过复杂了。因此，本发明实施例尝试处理数据以使得其更便于预测AFT。
在与交换机供应商讨论确定交换机可以承受每秒一次收集数据包大小和到达时间的数据。如果间隔缩短，则设备上的负载将增加，并且大多数设备无法承受较短的收集间隔。如果间隔较长，就无法获得细粒度数据，这会降低分类的准确性。因此，本发明实施例将每秒到达的总数据大小的时间曲线定义为第一种流量模式。图3表示出了当网络状况好或坏时的两种形式的第一种流量模式。它表明，当网络状况良好时，大量内容快速到达，峰值出现得更早。相反，当网络状况不好时，内容缓慢加载，峰值出现相对靠后。
(2)第二种流量模式(累积流量)
因累积是统计分析中常用的方法。因此，本发明实施例可以通过计算每个时刻累积数据包大小来提取更多统计信息。计算每个时刻的累积TCP数据包大小并将其标准化。将此累积曲线定义为第二种流量模式，其中，时间为横坐标，标准化累积数据包大小为纵坐标。图4显示了第二种流量模式的两种不同形式，当网络状况良好时，曲线迅速上升，而当网络波动时，曲线的斜率较低。
需要说明的是，在训练时，执行矩阵运算以获得预测值。在训练阶段，不断减小预测值和真实标签之间的差异。在预测阶段，仅需要简单的矩阵运算就可以获得预测结果，即AFT。然后可以通过映射函数将AFT映射到用户体验。
进一步地，在本发明的一个实施例中，预设分类模型包括Slice模型、NN模型、LSTM模型、R-LSTM模型和Combine模型，其中，Slice模型使用全连接神经网络对第一种流量模式进行分类，NN模型利用最大斜率对第二种流量模式的部分特征进行分类。
其中，上述四种预设分类模型除了每个模型使用的机器学习算法和特征变量不同外，所有方法都使用WebQMon.ai体系结构。
进一步地，本发明实施例通过反转输入变量来改进“LSTM”，将其命名为“R-LSTM”。“Combine”使用了集成学习的思想。集成学习可巧妙地组合来自多个学习模型的多个预测结果，以实现更准确和更稳定地预测。因为“Slice”，“NN”，“R-LSTM”的特征没有交叉，所以非常适合使用集成学习。
所有方法都允许通过数据包的大小和到达时间来预测AFT，而不依赖于客户端的测量。本发明实施例收集用户访问网页后60秒内到达的TCP数据包。然后，计算每秒到达的总数据包大小作为第一种流量模式，再通过计算归一化累积曲线得到第二种流量模式，再归一化两种流量模式的时间以便于计算。这两种流量模式是本发明实施例引入的四种基本方法的输入。
下面结合具体架构图对预设分类模型进行进一步描述。
(1)预设分类模型Slice
监督学习典型的机器学习任务，基于带标记的“输入-输出”对学习如何将输入映射到输出。监督学习分为分类和回归。本发明实施例是一个简单的分类问题。输入是流量模式，输出是AFT的标签。不同形式的流量模式对应于不同的AFT。常用的分类器包括神经网络，SVM，朴素贝叶斯分类器等。Slice模型使用全连接神经网络作为分类器，这是一种广泛使用的人工神经网络，具有快速的训练速度和良好的分类性能。因此，Slice模型可以轻松部署在网络中间设备上。
如图5所示，本发明实施例计算每秒到达的数据包大小以获得第一种流量模式，由于数据包收集持续60秒，因此流量模式1的数据形式是60维的向量。将归一化后的数据输入全连接神经网络。分类器导出分类结果——预测标签。在训练阶段，输入带标签的数据。通过反向传播方法连续减少预测值和实际标签之间的差异，使模型学习到如何评判不同第一种流量模式对应的用户体验。在预测阶段，Slice模型可以实时获得预测结果。
在机器学习中，过拟合指的是模型与训练数据过于接近或完全对应，因此可能无法适应其他数据或可靠地预测未来数据。dropout正则化是避免神经网络过拟合的最广泛使用的技术之一。因此，本发明实施例使用dropout改进模型，以减少Slice模型中的过拟合现象。在最简单的情况下，每个神经元以固定的概率Pkeep保持激活状态，与其他神经元是否激活无关。Dropout正则化使模型更具通用性，因为它不太依赖于某些局部特征。测试后，本发明实施例在Slice模型中使用Pkeep为80％的dropout层。其中，术语“dropout”指的是在神经网络中丢弃部分神经元，丢弃一个单元意味着暂时将其从网络中删除。
(2)预设分类模型NN
如图6所示，NN模型将第二种流量模式作为输入。从图4可以看出，当网络状况良好时，累积曲线的最大斜率远大于网络状况不佳时的最大斜率，因此最大斜率可以是分类特征之一。本发明实施例将累积大小达到x％的时间定义为tx％。很容易推测，当网络状况良好时，大量内容快速到达，故AFT很小，t50％也很小。因此，将t25％，t50％，t75％和t90％视为分类特征。将上述特征组合成一个维度为5的特征向量作为输入向量。输入变量的形式是(t25％，t50％，t75％，t90％，最大斜率)。NN模型还使用全连接神经网络作为分类器。训练方法类似于Slice模型，在此不再赘述。NN模型也可以实时获得分类结果。
(3)预设分类模型LSTM
第二种流量模式是典型的时间序列。因此，本发明实施例使用LSTM(长短期记忆)神经网络，它是RNN(递归神经网络)的变体。通过循环迭代，LSTM神经网络保持序列的所有输入信息和从开始时刻到当前时刻的非线性变换的隐藏信息。从生物学和神经学的角度来看，这就是长期记忆功能。因此，LSTM能够通过时间序列中相对长远的重要事件来得出准确的预测结果。如图6所示，本发明实施例使用线性插值法来近似累积曲线的100个点作为LSTM的输入。LSTM的输出是预测标签。
(4)预设分类模型R-LSTM
由于AFT对用户体验影响很大，因此在采集数据的60秒内早期到达的数据包至关重要，应予以重视。当内插数据被顺序输入到LSTM时，在输入最后时刻数据时产生输出，使得早期数据对输出的影响较小，这是LSTM神经网络的特性。为此，本发明实施例反转插值数据以使后端数据首先进入。插值数据的早期数据将对LSTM的输出产生更大影响，以便更好地进行预测。即此模型称为R-LSTM。
需要说明的是，由于LSTM和R-LSTM仅在输入向量上不同，因此没有绘制R-LSTM的架构图。
(5)预设分类模型Combine
集成学习的主要思想是首先生成多个弱学习器，然后将它们通过一些集成策略相结合，产生一个强分类器，最后通过强分类器输出最终结果。集成学习的理论基础是强学习器和弱学习器是等价的，因此本发明实施例可以找到将弱学习器转变为强学习器的方法，而不是直接生成难以构造的强学习器。以二进制分类问题为例。如果有N个独立分类器，且错误率均为p.使用简单的投票方法组合所有分类器，集成分类器的错误率为：
从上面的公式可以看出，当p<0.5时，误差率Perror随着N的增加而减小。如果每个分类器的错误率小于0.5并且它们彼此独立，则独立分类器的数量越多，错误率就越小。当N为无穷大时，误差率为0.此外，当这些弱分类器单独表现良好且具有不同特征时，集合模型运行良好。
由于R-LSTM的性能优于LSTM，因此本发明实施例决定通过集成学习将R-LSTM，Slice和NN组合在一起。这三个分类器的特征是相互独立的，因此集成模型可以很好地工作。由于分类器数量较少，如果使用简单的投票来集成学习，分类的错误率将会很大。首先，完成了上述三种模型的培训。之后，使用简单的全连接神经网络将这三个模型组合在一起。
如图7所示，以两元分类问题为例，将三个模型的预测值组合成六维向量，作为全连接神经网络的输入变量。训练方法类似于Slice模型和NN模型。Combine模型也可以实时获得最终结果。
在步骤S104中，通过基于深度神经网络的预设分类模型得到目标网页的首屏时延，生成网页质量评估结果。
下面结合具体评价数据，本发明实施例具有以下优点。
(1)能够准确识别用户访问网页的QoE。
表1三个网站数据使用不同模型的评价指标
本发明实施例模拟访问了多次"Amazon.com","Sina.com.cn","Youku.com"。在下文中，为了简单起见，将使用Amazon，Sina和Youku来代表这些网站。这三个网站代表了广泛使用的购物网站，新闻网站和视频网站，代表了最常见的需求。
本发明实施例的模型正确率高。其中，Amazon，Sina，Youku需要预测的未知样本数分别为4800，4800，2400，从表1中可以看出，三种模型识别Amazon和Sina的四项评价指标均在99.7％以上。这说明模型可以很好地完成预测用户QoE的任务。识别Youku的各项指标也均在94％以上。
(2)训练及预测所需时间短。
如图8所示，显示了Amazon使用的三种模型的培训和测试时间。Amazon训练数据集和测试数据集的数据量约为11200和4800。如图8所示，R-LSTM的训练时间远远高于其他两个模型。由于LSTM神经网络的训练时间取决于迭代次数。在本发明实施例的模型中，迭代次数为100。因此，每次训练需要对LSTM神经网络进行反向传播100次，这使得LSTM的训练时间如此之长。但是，Slice和NN使用完全连接的神经网络作为分类器，每次训练只需要一次反向传播。所以Slice和NN的训练时间很短。预测所需时间也如此。R-LSTM完成4800次预测所需的时间比Slice和NN要长得多。这也是由于LSTM神经网络的特征。本发明实施例的LSTM神经网络的前向传播需要100次执行来产生输出，但是全连接神经网络的前向传播仅需要执行一次以产生输出。训练需要反向传播而预测不需要，因此三个模型之间所需时间的差异显着减小。三个模型预测4800个样本所需的时间分别约为0.7s，0.08s和0.07s。显然，本发明实施例的模型实时评估用户的QoE的时间很短。
(3)可以实现无差错预测
通过集成学习，构造出了完美的分类器。如图9所示，Combine模型各项指标均为100％。本发明实施例的分类器能够完全正确的区分测试集中4800个未知样本。显然，本发明实施例的模型预测用户QoE的更具实用性。
另外，本发明实施例预测AFT所需时间很短，只需要不到1秒钟就可以预测2000多个样本。这意味着模型不会受到设备处理能力的影响。预测4800个未知样本时，预测错误仅发生不超过4次。
根据本发明实施例提出的基于深度神经网络的实时网页质量评估方法，通过采用机器学习的方法预测打开网页的首屏时延，模型采用监督学习，使用相同的模型，为不同的网站训练不同的参数就可以精确预测AFT，且由于是数据驱动的方法，故只需要增加数据，就可实时地更新模型，即只要有新数据，就可以实时更新模型，想要识别不同网站的流量模式时，只需要从不同的网站收集数据，可以适应不断变化的网页内容，从而使得ISP和设备供应商能够快速检测到体验不佳的用户并及时提供服务。
其次参照附图描述根据本发明实施例提出的基于深度神经网络的实时网页质量评估***。
图2是本发明一个实施例的基于深度神经网络的实时网页质量评估装置结构示意图。
如图2所示，该基于深度神经网络的实时网页质量评估***10包括：获取模块100、转换模块200、预测模块300和生成模块400。
其中，获取模块100用于获取目标页面的网页信息。转换模块200用于从边缘路由器或网关获取网页信息的网络级原始数据，并将原始数据的格式进行转换，得到目标格式数据。预测模块300用于利用目标格式数据对WebQMon.ai框架中基于深度神经网络的预设分类模型进行训练，使训练后的预设分类模型在用户访问不同网页时预测首屏时延。生成模块400用于通过基于深度神经网络的预设分类模型得到目标网页的首屏时延，生成网页质量评估结果。本发明实施例只要有新数据，就可以实时更新模型，想要识别不同网站的流量模式时，只需要从不同的网站收集数据，可以适应不断变化的网页内容，快速预测用户体验，且正确率极高。
进一步地，在本发明的一个实施例中，WebQMon.ai框架的训练和预测所需的数据集为用户访问网站时获取边缘路由器或网关上的TCP数据包。
进一步地，在本发明的一个实施例中，WebQMon.ai框架使用与数据包直系关联的TCP数据包的大小和到达时间。
进一步地，在本发明的一个实施例中，TCP数据包包括两种流量模式，第一种流量模式为每秒到达的总数据大小的时间曲线，第二种流量模式为计算每个时刻的累积TCP数据包大小并将其标准化。
进一步地，在本发明的一个实施例中，预设分类模型包括Slice模型、NN模型、LSTM模型、R-LSTM模型和Combine模型，其中，Slice模型使用全连接神经网络对第一种流量模式进行分类，NN模型利用最大斜率和百分比数据大小到达时间对第二种流量模式的部分特征进行分类。其中，百分比数据大小到达时间包括：25％、50％、75％、90％大小的数据到达的时间。
需要说明的是，前述对基于深度神经网络的实时网页质量评估方法实施例的解释说明也适用于该装置，此处不再赘述。
根据本发明实施例提出的基于深度神经网络的实时网页质量评估装置，通过采用机器学习的方法预测打开网页的首屏时延，模型采用监督学习，使用相同的模型，为不同的网站训练不同的参数就可以精确预测AFT，且由于是数据驱动的方法，故只需要增加数据，就可实时地更新模型，即只要有新数据，就可以实时更新模型，想要识别不同网站的流量模式时，只需要从不同的网站收集数据，可以适应不断变化的网页内容，从而使得ISP和设备供应商能够快速检测到体验不佳的用户并及时提供服务。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度神经网络的实时网页质量评估方法，其特征在于，包括以下步骤：
获取目标网页的网页信息；
从边缘路由器或网关获取所述网页信息的网络级原始数据，并将所述原始数据的格式进行转换，得到目标格式数据；
利用所述目标格式数据对WebQMon.ai框架中基于深度神经网络的预设分类模型进行训练，使训练后的所述预设分类模型在用户访问不同网页时预测首屏时延；以及
通过所述基于深度神经网络的预设分类模型得到所述目标网页的首屏时延，生成网页质量评估结果。
2.根据权利要求1所述的基于深度神经网络的实时网页质量评估方法，其特征在于，所述WebQMon.ai框架的训练和预测所需的数据集为用户访问网站时获取边缘路由器或网关上的全部TCP数据包。
3.根据权利要求2所述的基于深度神经网络的实时网页质量评估方法，其特征在于，所述WebQMon.ai框架使用与数据包直系关联的TCP数据包的大小和到达时间。
4.根据权利要求2所述的基于深度神经网络的实时网页质量评估方法，其特征在于，所述TCP数据包包括两种流量模式，第一种流量模式为每秒到达的总数据大小的时间曲线，第二种流量模式为计算每个时刻的累积TCP数据包大小并将其标准化。
5.根据权利要求1或4所述的基于深度神经网络的实时网页质量评估方法，其特征在于，所述预设分类模型包括Slice模型、NN模型、LSTM模型、R-LSTM模型和Combine模型，其中，所述Slice模型使用全连接神经网络对所述第一种流量模式进行分类，所述NN模型利用最大斜率和百分比数据大小到达时间对所述第二种流量模式的部分特征进行分类。
6.一种基于深度神经网络的实时网页质量评估***，其特征在于，包括：
获取模块，所述获取模块用于目标网页的网页信息；
转换模块，所述转换模块用于从边缘路由器或网关获取所述网页信息的网络级原始数据，并将所述原始数据的格式进行转换，得到目标格式数据；
预测模块，所述预测模块用于利用所述目标格式数据对WebQMon.ai框架中基于深度神经网络的预设分类模型进行训练，使训练后的所述预设分类模型在用户访问不同网页时预测首屏时延；以及
生成模块，所述生成模块用于通过所述基于深度神经网络的预设分类模型得到所述目标网页的首屏时延，生成网页质量评估结果。
7.根据权利要求6所述的基于深度神经网络的实时网页质量评估***，其特征在于，所述WebQMon.ai框架的训练和预测所需的数据集为用户访问网站时获取边缘路由器或网关上的TCP数据包。
8.根据权利要求7所述的基于深度神经网络的实时网页质量评估***，其特征在于，所述WebQMon.ai框架使用与数据包直系关联的TCP数据包的大小和到达时间。
9.根据权利要求7所述的基于深度神经网络的实时网页质量评估***，其特征在于，所述TCP数据包包括两种流量模式，第一种流量模式为每秒到达的总数据大小的时间曲线，第二种流量模式为计算每个时刻的累积TCP数据包大小并将其标准化。
10.根据权利要求6或9所述的基于深度神经网络的实时网页质量评估***，其特征在于，所述预设分类模型包括Slice模型、NN模型、LSTM模型、R-LSTM模型和Combine模型，其中，所述Slice模型使用全连接神经网络对所述第一种流量模式进行分类，所述NN模型利用最大斜率和百分比数据大小到达时间对所述第二种流量模式的部分特征进行分类。
CN201910502018.4A 2019-06-11 2019-06-11 基于深度神经网络的实时网页质量评估方法及*** Active CN110362772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910502018.4A CN110362772B (zh) 2019-06-11 2019-06-11 基于深度神经网络的实时网页质量评估方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502018.4A CN110362772B (zh) 2019-06-11 2019-06-11 基于深度神经网络的实时网页质量评估方法及***

Publications (2)

Publication Number Publication Date
CN110362772A true CN110362772A (zh) 2019-10-22
CN110362772B CN110362772B (zh) 2022-04-01

Family

ID=68217144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502018.4A Active CN110362772B (zh) 2019-06-11 2019-06-11 基于深度神经网络的实时网页质量评估方法及***

Country Status (1)

Country Link
CN (1) CN110362772B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825946A (zh) * 2019-10-31 2020-02-21 北京邮电大学 网站评估方法、装置及电子设备
CN111131424A (zh) * 2019-12-18 2020-05-08 武汉大学 一种基于emd和多变量lstm相结合的服务质量预测方法
CN113676341A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 一种质差评估方法及相关设备
CN115883424A (zh) * 2023-02-20 2023-03-31 齐鲁工业大学(山东省科学院) 一种高速骨干网间流量数据预测方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101634995A (zh) * 2009-08-13 2010-01-27 浙江大学 一种基于机器学习的网络连接速度预测方法
US8799297B2 (en) * 2011-03-21 2014-08-05 Aol Inc. Evaluating supply of electronic content relating to keywords
CN106126512A (zh) * 2016-04-13 2016-11-16 北京天融信网络安全技术有限公司 一种集成学习的网页分类方法及装置
CN108540323A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于最小加反卷积预测路由器处理速率的方法
CN109597946A (zh) * 2018-12-05 2019-04-09 国网江西省电力有限公司信息通信分公司 一种基于深度信念网络算法的不良网页智能检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101634995A (zh) * 2009-08-13 2010-01-27 浙江大学 一种基于机器学习的网络连接速度预测方法
US8799297B2 (en) * 2011-03-21 2014-08-05 Aol Inc. Evaluating supply of electronic content relating to keywords
CN106126512A (zh) * 2016-04-13 2016-11-16 北京天融信网络安全技术有限公司 一种集成学习的网页分类方法及装置
CN108540323A (zh) * 2017-12-29 2018-09-14 西安电子科技大学 基于最小加反卷积预测路由器处理速率的方法
CN109597946A (zh) * 2018-12-05 2019-04-09 国网江西省电力有限公司信息通信分公司 一种基于深度信念网络算法的不良网页智能检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王有为: "基于网页可达性和平均载入时间的网站评估方法", 《东北大学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825946A (zh) * 2019-10-31 2020-02-21 北京邮电大学 网站评估方法、装置及电子设备
CN111131424A (zh) * 2019-12-18 2020-05-08 武汉大学 一种基于emd和多变量lstm相结合的服务质量预测方法
CN113676341A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 一种质差评估方法及相关设备
CN113676341B (zh) * 2020-05-15 2022-10-04 华为技术有限公司 一种质差评估方法及相关设备
US11489904B2 (en) 2020-05-15 2022-11-01 Huawei Technologies Co., Ltd. Poor-QoE assessment method and related device
CN115883424A (zh) * 2023-02-20 2023-03-31 齐鲁工业大学(山东省科学院) 一种高速骨干网间流量数据预测方法及***
CN115883424B (zh) * 2023-02-20 2023-05-23 齐鲁工业大学(山东省科学院) 一种高速骨干网间流量数据预测方法及***

Also Published As

Publication number Publication date
CN110362772B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
Du et al. Deep air quality forecasting using hybrid deep learning framework
CN110362772A (zh) 基于深度神经网络的实时网页质量评估方法及***
Xu et al. Mining the situation: Spatiotemporal traffic prediction with big data
CN110532471B (zh) 基于门控循环单元神经网络的主动学习协同过滤方法
Sun et al. Spatio‐Temporal Segmented Traffic Flow Prediction with ANPRS Data Based on Improved XGBoost
Trebing et al. Wind speed prediction using multidimensional convolutional neural networks
CN114664091A (zh) 一种基于节假日流量预测算法的预警方法及***
CN115688035A (zh) 一种基于自监督学习的时序电力数据异常检测方法
CN108229724A (zh) 一种基于时空信息融合的短时交通数据流预测方法
Cheng et al. Analysis and forecasting of the day-to-day travel demand variations for large-scale transportation networks: a deep learning approach
Goel et al. An ontology-driven context aware framework for smart traffic monitoring
Yan et al. TL-CNN-IDS: transfer learning-based intrusion detection system using convolutional neural network
Wang et al. Integrated self-consistent macro-micro traffic flow modeling and calibration framework based on trajectory data
Hong et al. Wildfire detection via transfer learning: a survey
Cai et al. Modeling marked temporal point process using multi-relation structure RNN
Dai et al. Switching gaussian mixture variational rnn for anomaly detection of diverse CDN websites
CN113689234B (zh) 一种基于深度学***台相关的广告点击率预测方法
CN115293249A (zh) 一种基于动态时序预测的电力***典型场景概率预测方法
Leiser et al. Incorporating congestion patterns into spatio-temporal deep learning algorithms
Xu et al. Tcpmodel: A short-term traffic congestion prediction model based on deep learning
Mei et al. Research on short-term urban traffic congestion based on fuzzy comprehensive evaluation and machine learning
Chen et al. Improved long short-term memory-based periodic traffic volume prediction method
Liu Refined judgment of urban traffic state based on machine learning and edge computing
Sheu et al. Short-term prediction of traffic dynamics with real-time recurrent learning algorithms
Lim et al. Traffic flow modelling with point processes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant