CN107992416B - 一种网页时延的确定方法及装置 - Google Patents

一种网页时延的确定方法及装置 Download PDF

Info

Publication number
CN107992416B
CN107992416B CN201711219239.8A CN201711219239A CN107992416B CN 107992416 B CN107992416 B CN 107992416B CN 201711219239 A CN201711219239 A CN 201711219239A CN 107992416 B CN107992416 B CN 107992416B
Authority
CN
China
Prior art keywords
webpage
address
terminal
specified
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711219239.8A
Other languages
English (en)
Other versions
CN107992416A (zh
Inventor
刘永生
王光全
廖军
左冰
文湘江
刘千仞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201711219239.8A priority Critical patent/CN107992416B/zh
Publication of CN107992416A publication Critical patent/CN107992416A/zh
Application granted granted Critical
Publication of CN107992416B publication Critical patent/CN107992416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3604—Software analysis for verifying properties of programs
    • G06F11/3612—Software analysis for verifying properties of programs by runtime analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了网页时延的确定方法及装置，涉及移动通信技术领域，能够解决因用户不愿安装探针且部分区域难以安装探针，而导致的运营商难以获取到全部用户访问网页时的实时网页时延的问题。本申请的方法包括：根据网页标识和终端IP地址，获取单向DPI设备存储的所有流量数据中的目标流量数据；将所述响应时间与所述访问时间的差值确定为单次往返时延；确定指定时间内，所述指定终端访问所述指定网页时的所有单次往返时延；根据所述所有单次往返时延，确定所述指定终端访问所述指定网页的指定网页时延。本申请适用于确定用户访问网页时的网页时延。

Description

一种网页时延的确定方法及装置
技术领域
本发明涉及移动通信技术领域，尤其涉及一种网页时延的确定方法及装置。
背景技术
网页时延是指用户访问某个网页时，从用户发出访问请求至用户接收到访问内容所需耗费的时间。网页时延能够反映用户对于网页业务的业务感知，根据网页时延的大小，运营商能够对网络传输问题进行定界和定位。因此，如何确定网页时延，成为运营商较为关注的问题。
目前，一般利用探针拨测的方式确定网页时延，即在用户侧安装探针，模拟用户访问网页的行为，以获取网页时延。但由于地理位置的限制，探针只能被安装在能够人工进行安装的地点，这就导致了运营商只能确定部分用户的网页时延；并且，对于用户来说，探针不会对上网产生帮助，在拨测时还会占用用户的流量，因此用户往往不愿配合运营商安装探针；由于用户不愿安装探针，当用户访问网页出现问题时，只能由运维人员临时上门检测网页时延，所检测的网页时延仅能够反映拨测时的业务感知，却难以反映出现问题时用户的业务感知。
发明内容
本申请提供一种网页时延的确定方法及装置，能够解决因用户不愿安装探针且部分区域难以安装探针，而导致的运营商难以获取到全部用户访问网页时的实时网页时延的问题。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种网页时延的确定方法，所述方法包括：
根据网页标识和终端互联网协议(Internet Protocol，IP)地址，获取单向深度报文检测(Deep Packet Inspection，DPI)设备存储的所有流量数据中的目标流量数据，所述目标流量数据至少包括所述终端IP地址对应的指定终端访问所述网页标识对应的指定网页的访问时间，以及本次访问中所述指定终端响应所述指定网页的响应时间；
将所述响应时间与所述访问时间的差值确定为单次往返时延；
确定指定时间内，所述指定终端访问所述指定网页时的所有单次往返时延；
根据所述所有单次往返时延，确定所述指定终端访问所述指定网页的指定网页时延。
第二方面，本申请提供一种网页时延的确定装置，所述装置包括：
获取模块，用于根据网页标识和终端IP地址，获取单向DPI设备存储的所有流量数据中的目标流量数据，所述目标流量数据至少包括所述终端IP地址对应的指定终端访问所述网页标识对应的指定网页的访问时间，以及本次访问中所述指定终端响应所述指定网页的响应时间；
确定模块，用于将所述获取模块获取的所述响应时间与所述访问时间的差值确定为单次往返时延；
所述确定模块，还用于确定指定时间内，所述获取模块获取的所述指定终端访问所述指定网页时的所有单次往返时延；
所述确定模块，还用于根据所述所有单次往返时延，确定所述指定终端访问所述指定网页的指定网页时延。
第三方面，本申请提供一种网络设备，所述网络设备包括：存储器，用于存储一个或多个计算机程序，所述一个或多个计算机程序包括指令；当处理器执行所述指令时，使得所述网络设备执行第一方面及其各种可选的实现方式中任意之一所述的网页时延的确定方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在网络设备上运行时，使得所述网络设备执行第一方面及其各种可选的实现方式中任意之一所述的网页时延的确定方法。
本申请提供的网页时延的确定方法及装置，相比较于现有技术中因部分区域不能安装探针，而导致运营商无法获取到全部用户访问网页时的网页时延，本申请从单向DPI设备获取终端访问网页的流量数据，从而根据上述流量数据确定指定终端访问指定网页时的网页时延，由于单向DPI设备无需在用户侧部署，且所有用户访问网页时的流量数据都经过单向DPI设备后被传输到服务器，这样就在无需用户配合安装的同时，保证了所计算的网页时延能够反映全部用户访问网页时的业务感知；并且，当需要获取某个时刻某用户的网页时延时，只需从上述流量数据中筛选该时刻该用户的流量数据以计算网页时延，这样计算出的网页时延，真实反映了用户的实时业务感知。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种网页时延的确定方法流程图；
图2为本发明实施例提供的一种单向DPI设备的应用场景示意图；
图3为本发明实施例提供的另一种网页时延的确定方法流程图；
图4为本发明实施例提供的另一种网页时延的确定方法流程图；
图5为本发明实施例提供的另一种网页时延的确定方法流程图；
图6为本发明实施例提供的一种网页延时的确定装置的结构示意图；
图7为本发明实施例提供的一种网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供了一种网页时延的确定方法，该方法应用于一种网页时延的确定装置，该网页时延的确定装置与单向DPI设备协作，共同确定网页时延。其中，该网页时延的确定装置具体可以为终端或服务器等具备数据分析与处理能力的网络设备。如图1所示，所述方法包括：
步骤101、根据网页标识和终端IP地址，获取单向DPI设备存储的所有流量数据中的目标流量数据。
其中，目标流量数据至少包括终端IP地址对应的指定终端访问网页标识对应的指定网页的访问时间，以及本次访问中指定终端响应指定网页的响应时间。
单向DPI设备采用DPI技术，能够对数据包的应用层数据进行识别，从而对网络流量进行详细的分析。由于目前能够同时获取上行流量和下行流量的DPI设备较昂贵，且DPI设备的部署数量与所需分析的网络流量的数据量成正比，因此，为了节省投资成本，一般使用单向DPI设备检测网络的上行流量。
如图2所示，单向DPI设备处于指定终端和服务器之间，用于检测终端向服务器发送的上行流量。在本发明实施例中，终端访问网页时发送的流量数据基于传输控制协议(Transmission Control Protocol，TCP)。TCP采用三次握手建立终端与服务器之间的数据连接，在终端与服务器建立连接的三次握手过程中，终端先向服务器发送第一同步序列编号(Synchronize Sequence Numbers，SYN)报文，第一SYN报文经过单向DPI设备被传送到服务器，并等待服务器确认；服务器接收到第一SYN报文后，确认第一SYN报文，之后向终端发送第二SYN报文以及第一确认字符(Acknowledgement，ACK)报文；终端接收到第二SYN报文以及第一ACK报文后，向服务器发送第二ACK报文；在服务器接收到第二ACK报文后，终端与服务器完成三次握手，建立连接，终端能够访问服务器中的网页内容。
需要说明的是，当单向DPI设备接收到第一SYN报文时，记录该第一SYN报文的接收时间，将该接收时间确定为访问时间；当单向DPI设备接收到第二ACK报文时，记录该第二ACK报文的接收时间，并将该接收时间确定为响应时间。
如果单向DPI设备只监测到第一SYN报文，没有监测到第二ACK报文，则可能由于服务器因忙碌等原因而没有响应用户的访问请求，或者由于单向DPI设备到服务器的网络质量较差导致第一SYN报文没有到达服务器，或者由于服务器发送的第二SYN报文以及第一ACK报文没有到达终端。当出现上述情况时，可通过优化网络或由终端多次重复向服务器发起访问请求等方法来改善上述情况。
步骤102、将响应时间与访问时间的差值确定为单次往返时延。
在本发明实施例中，用t1表示访问时间，t2表示响应时间，则单次往返时延(Round-Trip Time，RTT)表示为：
RTT＝t2-t1
步骤103、确定指定时间内，指定终端访问指定网页时的所有单次往返时延。
考虑到用户在访问网页的过程中，会访问网页中的网页元素，如图片、脚本文件等，当用户访问一个包含多个网页元素的网页时，这些网页元素需要被从对应的服务器中下载，网页时延中包含这些网页元素的下载时间，而从不同服务器中下载不同网页元素所需耗费的时间不同，因此，在本发明实施例中，计算在指定时间内下载网页元素的网页时延，若在指定时间内指定网页中仍存在网页元素未被下载，则认为上述未被下载的网页元素不需要被下载。其中，指定时间可由人为设定，在设定时，可参考历史数据中用户访问同一个网页的平均访问时间。
在本发明实施例中，将终端发起的一次访问请求时的访问时间与响应时间的差值作为单次往返时延，该一次访问请求终端可能访问的网页本身或者网页元素中的其中一个。
步骤104、根据所有单次往返时延，确定指定终端访问指定网页的指定网页时延。
本发明实施例从单向DPI设备获取终端访问网页的流量数据，从而根据上述流量数据确定指定终端访问指定网页时的网页时延，由于单向DPI设备无需在用户侧部署，且所有用户访问网页时的流量数据都经过单向DPI设备后被传输到服务器，这样就在无需用户配合安装的同时，保证了所计算的网页时延能够反映全部用户访问网页时的业务感知；并且，当需要获取某个时刻某用户的网页时延时，只需从上述流量数据中筛选该时刻该用户的流量数据以计算网页时延，这样计算出的网页时延，真实反映了用户的实时业务感知。
为了方便从所有流量数据中筛选出目标流量数据，在本发明实施例的一个实现方式中，需要确定筛选依据。因此，在如图1所示的实现方式的基础上，还可以实现为如图3所示的实现方式。其中，步骤101根据终端IP地址和网页标识，获取单向DPI设备存储的所有流量数据中的目标流量数据，可以执行步骤为1011至步骤1015：
步骤1011、获取指定网页的统一资源标识符(Uniform ResourceIdentifier，URI)、指定网页的网页元素，以及网页元素的URI。
需要说明的是，网页元素至少包括网页中的图片、声音、视频、样式表文件、脚本文件等。
对于需要获取网页时延的网页，需要访问该网页，并保存网页的超文本标记语言(HyperText Markup Language，HTML)源文件，其中，HTML源文件的结构包括“头(Head)”部分和“主体(Body)”部分，头部分提供网页的相关信息，主体部分提供网页的具体内容。在获取HTML源文件之后，网页时延的确定装置对该HTML源文件的头部分进行分析，得到网页的URI，以及网页元素对应的URI。
步骤1012、获取所有流量数据中，每个数据包中超文本传输协议(Hyper TextTransport Protocol，HTTP)头部的第一参考字段和第二参考字段。
需要说明的是，在接收到单向DPI设备发送的所有流量数据之后，提取所有流量数据中，每个数据包中HTTP头部的字段“主机(Host)”字段和“请求(Request)URI”字段，并将上述两个字段合并，得到数据包所访问的网页元素的URI，其中，合并时Host字段在前，Request URI字段在后。将Host字段与Request URI字段合并后得到的字段，也即数据包所访问的网页元素的URI作为第一参考字段。通过第一参考字段，能够筛选出所有参考流量中，访问具有与指定网页中网页元素的URI相同URI的数据包。
除提取第一参考字段之外，还需要提取HTTP头部的访问来源(Referer)字段作为第二参考字段。当终端访问网页元素时，向存储该网页文件或网页元素文件的服务器发送访问请求，该访问请求的数据包中携带有Referer字段，以便告知服务器数据包是从哪个网页链接而来。因此，通过提取终端数据包中的Referer字段，就能够确定该网页元素所属的网页，也就是说，通过第二参考字段，能够确定该网页元素所属的网页。
步骤1013、若第一参考字段与网页元素的URI中的一个URI相同，且第二参考字段与指定网页的URI相同，则将所有流量数据中，包括第一参考字段与第二参考字段的数据包确定为参考数据包。
将第一参考字段，即所有流量数据中每个数据包所访问的网页元素的URI，与指定网页中网页元素的URI对比，以及，将第二参考字段，即数据包中的Referer字段，与指定网页的URI对比，如果第一参考字段与第二参考字段均与对应的URI相同，则确定包括第一字段与第二字段的数据包为访问指定网页的数据包，即参考数据包。
在本发明实施例中，网页标识具体可以为第一参考字段和第二参考字段。
在本发明实施例中，还可以由单向DPI设备获取第一参考字段和第二参考字段之后，根据第一参考字段和第二参考字段筛选出参考数据包。
步骤1014、获取指定终端的终端IP地址。
在筛选出参考数据包之后，还需要根据用户所使用的指定终端的终端IP地址对参考数据包进行过滤，以便于筛选出指定终端访问指定网页的目标数据包。
步骤1015、将参考数据包中，源IP地址与终端IP地址相同的参考数据包确定为目标数据包。
其中，目标数据包组成目标流量，目标流量中至少包括目标流量数据。
需要说明的是，终端具有一个固定且唯一的IP地址，终端向服务器发送的数据包中携带有该IP地址，即源IP地址。由于源IP具有唯一性，因此，若数据包中包含的源IP地址与指定终端的终端IP地址相同，则确定该数据包为指定终端发出的数据包。
在本发明实施例中，从组成所有流量数据的数据包中筛选出了目标数据包，目标数据包即为指定终端访问指定网页时发送的数据包，这样一来，就能够根据目标流量数据确定指定终端访问指定网页的网页时延。
为了确定网页时延，在本发明实施例的一个实现方式中，需要先确定存储网页元素的服务器的IP地址，以区分访问不同服务器的目标数据包。因此，在如图2所示的实现方式的基础上，还可以实现为如图3所示的实现方式，在执行完步骤1015将参考数据包中，源IP地址与终端IP地址相同的参考数据包确定为目标数据包之后，还可以执行步骤105：
步骤105、获取目标数据包的目的IP地址，将目的IP地址确定为目标服务器的IP地址。
需要说明的是，由于网页时延与从服务器获取每个网页元素的时间有关，因此，在本发明实施例中，在计算网页时延之前，需要先确定网页元素所属的目标服务器，即根据筛选出的目标数据包中所包含网络层协议的头部，确定目标数据包中包含的目的IP地址，也就是存储该网页元素的服务器的IP地址。
在本发明实施例中，将目标数据包中包含的目的IP地址作为目标服务器的IP地址，与根据网页获取网页元素所属的目标服务器相比，节省了确定目标服务器的IP地址的时间，同时减少了网页时延确定装置的工作量。
为了准确确定网页时延，在本发明实施例的一个实现方式中，需要综合考虑终端访问网页的单次往返时延及访问网页元素的单次往返时延，以计算网页时延，因此，在图4所示的实现方式的基础上，还可以实现为如图5所示的实现方式。其中，步骤104根据所有单次往返时延，确定指定终端访问指定网页的指定网页时延，可以具体执行为步骤1041至步骤1043：
步骤1041、将所有单次往返时延中，访问相同IP地址对应的目标服务器时的单次往返时延划分为一组。
在本发明实施例中，将指定时间内统计到的所有单次往返时延按照所访问服务器的IP地址进行分组，访问相同IP地址对应的服务器的单次往返时延划分为一组。为了便于对指定终端访问每个服务器的次数进行统计与比较，可以使用如下形式表示每组单次往返时延：
Figure BDA0001486128400000101
Figure BDA0001486128400000102
......
Figure BDA0001486128400000103
其中，IP1、IP2以及IPk分别表示第一个IP地址对应的服务器、第二个IP地址对应的服务器以及第k个IP地址对应的服务器；
Figure BDA0001486128400000104
以及
Figure BDA0001486128400000105
分别用于表示指定终端第n1次访问第一个IP地址对应的服务器的单次往返时延，第n2次访问第二个IP地址对应的服务器的单次往返时延，以及第nk次访问第k个IP地址对应的服务器的单次往返时延。
需要说明的是，上述每组中的数据量可能不相等，这可能由于用户所访问的网页元素中较多网页元素存在于同一个服务器中，这样就会造成用户多次访问同一个服务器，而对另外服务器的访问次数较少；或者，可能由于用户多次访问同一个网页元素，而对其他网页元素的访问量较少，这样也会导致用户对于每个服务器的访问次数不相等。
步骤1042、根据公式
Figure BDA0001486128400000106
确定每个目标服务器对应的权重。
其中，αi用于表示第i个IP地址对应的目标服务器对应的权重，ni用于表示指定时间内，指定终端访问第i个IP地址对应的目标服务器的次数，k用于表示目标服务器的总数量。
步骤1043、根据公式
Figure BDA0001486128400000107
计算指定网页时延d。
其中，di用于表示访问第i个IP地址对应的目标服务器的单次往返时延构成的组的中位数。
考虑到每组中单次往返时延具有长尾效应，选择每组单次往返时延构成的组的中位数计算指定网页时延。
需要说明的是，在确定每组单次往返时延构成的组的中位数之前，需要先将每组单次往返时延按照从大到小或者从小到大的顺序进行排序。在本发明实施例中，以步骤1041中每组单次往返时延的表示方法为基础，di可以使用下述方法来确定：
①、当ni为奇数时，
Figure BDA0001486128400000111
②、当为偶数时，
Figure BDA0001486128400000112
需要说明的是，在通过计算得到指定网页时延之后，可以利用指定网页时延与预设阈值的大小关系，评估用户对于该指定网页的业务感知。若指定网页时延大于预设阈值，则表示用户的业务感知差，需要对进行网页问题定位，例如，将每个服务器的往返时延与预设阈值进行比较，若其中一个或多个服务器的往返时延大于预设阈值，则再详细分析上述一个或多个服务器的物理归属地、负载状态，以及用户访问上述一个或多个服务器的网络路径、网络链路利用率、网络设备运营状态等，通过上述详细分析，确定网页业务的问题所在，进而对网络进行优化，降低网页时延，提升用户感知。
在本发明实施例中，按照所访问的服务器的不同，将指定时间内获取的单次往返时延分组，考虑了指定终端在访问不同服务器时时延的差异，方便了后续对于网页问题的定位；之后选择每组的中位数计算指定网页时延，也就意味着，在确定网页时延时，不单单将一次或者几次的指定终端访问指定网页或网页元素的时延作为网页时延，而是考虑到了用户在一定时间内可能频繁访问指定网页及网页元素，利用该一定时间中指定终端所有访问指定网页的单次网页时延计算指定网页时延，使得指定网页时延的计算结果更加准确。
本发明实施例还提供一种网页时延的确定装置20，该装置20用于执行如图1、图3、图4和图5所示的方法流程，如图6所示，该装置20包括：
获取模块21，用于根据网页标识和终端IP地址，获取单向DPI设备存储的所有流量数据中的目标流量数据，目标流量数据至少包括终端IP地址对应的指定终端访问网页标识对应的指定网页的访问时间，以及本次访问中指定终端响应指定网页的响应时间。
确定模块22，用于将获取模块21获取的响应时间与访问时间的差值确定为单次往返时延。
确定模块22，还用于确定指定时间内，获取模块21获取的指定终端访问指定网页时的所有单次往返时延。
确定模块22，还用于根据所有单次往返时延，确定指定终端访问指定网页的指定网页时延。
在本发明实施例的一个实现方式中，获取模块21，还用于获取所述指定网页的统一资源标识符URI、所述指定网页的网页元素，以及所述网页元素的URI。
获取模块21，还用于获取所有流量数据中，每个数据包中超文本传输协议HTTP头部的第一参考字段和第二参考字段。
确定模块22，还用于若第一参考字段与网页元素的URI中的一个URI相同，且第二参考字段与指定网页的URI相同，则将所有流量数据中，包括第一参考字段与第二参考字段的数据包确定为参考数据包。
获取模块21，还用于获取指定终端的终端IP地址。
确定模块22，还用于将参考数据包中，源IP地址与终端IP地址相同的参考数据包确定为目标数据包，其中，目标数据包组成目标流量，目标流量中至少包括目标流量数据。
在本发明实施例的一个实现方式中，确定模块22，还用于获取目标数据包的目的IP地址，将目的IP地址确定为目标服务器的IP地址。
在本发明实施例的一个实现方式中，确定模块，用于：
将所有单次往返时延中，访问相同IP地址对应的目标服务器时的单次往返时延划分为一组；
根据公式
Figure BDA0001486128400000131
确定每个目标服务器对应的权重α，其中，αi用于表示第i个IP地址对应的目标服务器对应的权重，ni用于表示指定时间内，指定终端访问第i个IP地址对应的目标服务器的次数，k用于表示目标服务器的总数量；
根据公式
Figure BDA0001486128400000132
计算指定网页时延d，其中，di用于表示访问第i个IP地址对应的目标服务器的单次往返时延构成的组的中位数。
本申请提供的网页时延的确定装置，相比较于现有技术中因部分区域不能安装探针，而导致运营商无法获取到全部用户访问网页时的网页时延，本申请从单向DPI设备获取终端访问网页的流量数据，从而根据上述流量数据确定指定终端访问指定网页时的网页时延，由于单向DPI设备无需在用户侧部署，且所有用户访问网页时的流量数据都经过单向DPI设备后被传输到服务器，这样就在无需用户配合安装的同时，保证了所计算的网页时延能够反映全部用户访问网页时的业务感知；并且，当需要获取某个时刻某用户的网页时延时，只需从上述流量数据中筛选该时刻该用户的流量数据以计算网页时延，这样计算出的网页时延，真实反映了用户的实时业务感知。
如图7所示，本申请实施例提供一种网络设备的结构示意图。该网络设备30包括：处理器31和收发器33。处理器31用于对网络设备30的动作进行控制管理，例如，执行上述确定模块22执行的步骤，和/或用于执行本文所描述的技术的其它过程。网络设备30还可以包括存储器32、收发器33和总线34，存储器32用于存储网络设备的程序代码和数据；收发器33用于支持网络设备与其他网络实体的通信，例如，执行上述获取模块21执行的步骤。
其中，该处理器31可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器31可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(Digital Signal Processing，DSP)和微处理器的组合等。
存储器32可以包括易失性存储器，例如随机存取存储器；该存储器32也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。
总线34可以是扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。总线34可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
结合本申请公开内容所描述的方法或者算法的步骤可以由硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM、闪存、ROM、可擦除可编程只读存储器(easable programmable ROM，EPROM)、电可擦可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuit，ASIC)中。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable ProgrammableRead Only Memory，EPROM)、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-OnlyMemory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种网页时延的确定方法，其特征在于，所述方法包括：
根据网页标识和终端互联网协议IP地址，获取单向深度报文检测DPI设备存储的所有流量数据中的目标流量数据，所述目标流量数据至少包括所述终端IP地址对应的指定终端访问所述网页标识对应的指定网页的访问时间，以及本次访问中所述指定终端响应所述指定网页的响应时间；
将所述响应时间与所述访问时间的差值确定为单次往返时延；
确定指定时间内，所述指定终端访问所述指定网页时的所有单次往返时延；
根据所述所有单次往返时延，确定所述指定终端访问所述指定网页的指定网页时延；
所述根据网页标识和终端IP地址，获取单向DPI设备存储的所有流量数据中的目标流量数据，包括：
获取所述指定网页的统一资源标识符URI、所述指定网页的网页元素，以及所述网页元素的URI；
获取所有流量数据中，每个数据包中超文本传输协议HTTP头部的第一参考字段和第二参考字段，所述第一参考字段为HTTP头部的主机Host字段与请求Request URI字段合并后得到，所述第二参考字段为HTTP头部的访问来源Referer字段；
若所述第一参考字段与所述网页元素的URI中的一个URI相同，且所述第二参考字段与所述指定网页的URI相同，则将所有流量数据中，包括所述第一参考字段与所述第二参考字段的数据包确定为参考数据包；
获取所述指定终端的终端IP地址；
将所述参考数据包中，源IP地址与所述终端IP地址相同的参考数据包确定为目标数据包，其中，所述目标数据包组成目标流量，所述目标流量中至少包括目标流量数据；
在将所述参考数据包中，源IP地址与所述终端IP地址相同的参考数据包确定为目标数据包之后，所述方法还包括：
获取所述目标数据包的目的IP地址，将所述目的IP地址确定为目标服务器的IP地址；
所述根据所述所有单次往返时延，确定所述指定终端访问所述指定网页的指定网页时延，包括：
将所述所有单次往返时延中，访问相同IP地址对应的目标服务器时的单次往返时延划分为一组，其中，所述所有单次往返时延是由访问网页的单次往返时延及访问网页元素的单次往返时延得出；
根据公式
Figure FDA0002829797170000021
确定每个目标服务器对应的权重α，其中，αi用于表示第i个IP地址对应的目标服务器对应的权重，ni用于表示所述指定时间内，所述指定终端访问所述第i个IP地址对应的目标服务器的次数，k用于表示所述目标服务器的总数量；
根据公式
Figure FDA0002829797170000022
计算所述指定网页时延d，其中，di用于表示访问第i个IP地址对应的目标服务器的单次往返时延构成的组的中位数。
2.一种网页时延的确定装置，其特征在于，所述装置包括：
获取模块，用于根据网页标识和终端IP地址，获取单向DPI设备存储的所有流量数据中的目标流量数据，所述目标流量数据至少包括所述终端IP地址对应的指定终端访问所述网页标识对应的指定网页的访问时间，以及本次访问中所述指定终端响应所述指定网页的响应时间；
确定模块，用于将所述获取模块获取的所述响应时间与所述访问时间的差值确定为单次往返时延；
所述确定模块，还用于确定指定时间内，所述获取模块获取的所述指定终端访问所述指定网页时的所有单次往返时延；
所述确定模块，还用于根据所述所有单次往返时延，确定所述指定终端访问所述指定网页的指定网页时延；
所述获取模块，还用于获取所述指定网页的统一资源标识符URI、所述指定网页的网页元素，以及所述网页元素的URI；
所述获取模块，还用于获取所有流量数据中，每个数据包中超文本传输协议HTTP头部的第一参考字段和第二参考字段，所述第一参考字段为HTTP头部的主机Host字段与请求Request URI字段合并后得到，所述第二参考字段为HTTP头部的访问来源Referer字段；
所述确定模块，还用于若所述第一参考字段与所述网页元素的URI中的一个URI相同，且所述第二参考字段与所述指定网页的URI相同，则将所有流量数据中，包括所述第一参考字段与所述第二参考字段的数据包确定为参考数据包；
所述获取模块，还用于获取所述指定终端的终端IP地址；
所述确定模块，还用于将所述参考数据包中，源IP地址与所述终端IP地址相同的参考数据包确定为目标数据包，其中，所述目标数据包组成目标流量，所述目标流量中至少包括目标流量数据；
所述确定模块，还用于获取所述目标数据包的目的IP地址，将所述目的IP地址确定为目标服务器的IP地址；
所述确定模块，用于：
将所述所有单次往返时延中，访问相同IP地址对应的目标服务器时的单次往返时延划分为一组，其中，所述所有单次往返时延是由访问网页的单次往返时延及访问网页元素的单次往返时延得出；
根据公式
Figure FDA0002829797170000041
确定每个目标服务器对应的权重α，其中，αi用于表示第i个IP地址对应的目标服务器对应的权重，ni用于表示所述指定时间内，所述指定终端访问所述第i个IP地址对应的目标服务器的次数，k用于表示所述目标服务器的总数量；
根据公式
Figure FDA0002829797170000042
计算所述指定网页时延d，其中，di用于表示访问第i个IP地址对应的目标服务器的单次往返时延构成的组的中位数。
3.一种网络设备，其特征在于，所述网络设备包括：
存储器，用于存储一个或多个计算机程序，所述一个或多个计算机程序包括指令；
当处理器执行所述指令时，使得所述网络设备执行权利要求1所述的网页时延的确定方法。
4.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在网络设备上运行时，使得所述网络设备执行如权利要求1所述的网页时延的确定方法。
CN201711219239.8A 2017-11-28 2017-11-28 一种网页时延的确定方法及装置 Active CN107992416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711219239.8A CN107992416B (zh) 2017-11-28 2017-11-28 一种网页时延的确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711219239.8A CN107992416B (zh) 2017-11-28 2017-11-28 一种网页时延的确定方法及装置

Publications (2)

Publication Number Publication Date
CN107992416A CN107992416A (zh) 2018-05-04
CN107992416B true CN107992416B (zh) 2021-02-23

Family

ID=62033743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711219239.8A Active CN107992416B (zh) 2017-11-28 2017-11-28 一种网页时延的确定方法及装置

Country Status (1)

Country Link
CN (1) CN107992416B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468371B (zh) * 2020-12-01 2022-06-10 武汉绿色网络信息服务有限责任公司 一种确定dpi设备的传输时延信息的方法与设备
CN113890828B (zh) * 2021-09-30 2024-04-02 北京明略昭辉科技有限公司 用于调整带宽的方法及装置、电子设备、存储介质
CN114186124A (zh) * 2021-11-22 2022-03-15 北京达佳互联信息技术有限公司 信息推送方法、装置、电子设备及存储介质
CN113961852B (zh) * 2021-12-21 2022-03-11 江苏同步软件技术有限公司 基于大数据的网页通信***优化方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014151591A2 (en) * 2013-03-15 2014-09-25 Enterasys Networks, Inc. A device, a system and a related method for dynamic traffic mirroring and policy, and the determination of applications running on a network

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070299965A1 (en) * 2006-06-22 2007-12-27 Jason Nieh Management of client perceived page view response time
US8732569B2 (en) * 2011-05-04 2014-05-20 Google Inc. Predicting user navigation events
CN104581753B (zh) * 2013-10-09 2018-06-26 ***通信集团设计院有限公司 一种计算网页加载时延的方法、装置及终端
CN105634836B (zh) * 2014-10-27 2020-03-17 香港理工大学 信息处理方法及装置
CN104994133B (zh) * 2015-05-22 2018-08-21 华中科技大学 一种基于网络KPI的移动Web网页访问用户体验感知评测方法
CN106470129B (zh) * 2015-08-19 2019-08-20 中国电信股份有限公司 实现网页首屏时延测量的方法、***、服务器和终端
CN106611010B (zh) * 2015-10-26 2020-02-07 北京国双科技有限公司 网页加载速度的确定方法和装置
CN106649384B (zh) * 2015-11-03 2019-07-09 中国电信股份有限公司 对url进行分类的方法和装置
CN105373617A (zh) * 2015-11-27 2016-03-02 中国联合网络通信集团有限公司 确定网页页面首屏时间的方法及装置
CN106656666B (zh) * 2016-12-13 2020-05-22 中国联合网络通信集团有限公司 一种获取网页首屏时间的方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014151591A2 (en) * 2013-03-15 2014-09-25 Enterasys Networks, Inc. A device, a system and a related method for dynamic traffic mirroring and policy, and the determination of applications running on a network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Website Response Time;Jakob Nielsen;《https://www.nngroup.com/articles/website-response-times/》;20100620;全文 *

Also Published As

Publication number Publication date
CN107992416A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN107624233B (zh) 一种vpn传输隧道调度方法、装置以及vpn客户端服务器
CN107992416B (zh) 一种网页时延的确定方法及装置
US10148542B2 (en) Monitoring domain allocation performance
CN106656666B (zh) 一种获取网页首屏时间的方法及装置
CN103067214B (zh) 用于测试网站性能的方法、客户端、服务器和***
CN107409071B (zh) 获得诊断测试结果的方法、控制模块及计算机可读存储介质
CN109656574B (zh) 交易时延度量方法、装置、计算机设备及存储介质
CN109739711B (zh) 一种接口测试方法、装置、设备和存储介质
Halepovic et al. Can you GET me now? Estimating the time-to-first-byte of HTTP transactions with passive measurements
CN111294849B (zh) 一种lte用户上网质差的判定方法及装置
US20120151068A1 (en) Endpoint web monitoring system and method for measuring popularity of a service or application on a web server
CN103117907A (zh) 网速测试方法和***、选择加速服务器的方法和***
CN104219230B (zh) 识别恶意网站的方法及装置
US20210184940A1 (en) Prediction of a performance indicator
CN110955544A (zh) 一种web***的可用性检测方法、装置及***
KR20110057529A (ko) 더미요청 태그를 이용한 서버의 응답시간 측정 시스템 및 그 방법
CN103916463B (zh) 一种网络访问统计分析方法及***
WO2015195407A1 (en) Method and apparatus for monitoring and determining page load times
Rizothanasis et al. Identifying user actions from HTTP (S) traffic
KR101252956B1 (ko) 다중 인터페이스 환경에서 다중 경로를 활용한 웹 페이지 로딩 시스템 및 그 방법
CN106302020B (zh) 网络带宽统计方法及装置
CN106034124B (zh) 一种流量统计方法和装置
CN113542044A (zh) 网络质量监测方法、装置及计算设备
JP2017152949A (ja) 故障被疑箇所推定装置、故障被疑箇所推定方法及び故障被疑箇所推定プログラム
CN107103079B (zh) 一种动态网站的直播方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant