CN108268370B - 基于Referer和模板库匹配的网站质量分析方法、装置和*** - Google Patents

Abstract

本发明实施例公开了一种基于Referer和模板库匹配的网站质量分析方法、装置和***。所述方法包括：获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；在全部会话记录关联到网站后对每个网站评分，以供用户对网站质量分析。本发明实施例利用Referer匹配方法和模板库匹配方法可将全部会话记录关联到网站，从而提高网站会话记录的完整性和准确性。本发明实施例通过对每个网站进行评分供用户对网站质量分析。

Description

基于Referer和模板库匹配的网站质量分析方法、装置和***

技术领域

本发明实施例涉及数据业务的网管技术领域，具体涉及一种基于Referer和模板库匹配的网站质量分析方法、装置和***。

背景技术

目前，网站质量分析方案主流技术包括主动拨测技术和被动监测分析。其中，主动拨测分析是通过模拟终端拨测的方式记录各网站的相关数据，然后将上述数据整理出需要的指标；根据每个网站的指标情况可以得到用户的主观感受。被动监测分析是通过采用网络出口的数据报文进行分析即对网站的报文数据进行分析。

但在实现本发明实施例的过程中，发明人发现：主动拨测分析时部分感知指标不具备普遍性，受到拨测内容和拨测环境影响较大，使得这部分感知指标未能准确反映网站质量，导致分析结果仅能从宏观上得到一个网站的好和坏而无法为故障定位提供参考数据。

被动监测分析时，由于报文数据是零散的且未直接对应到某个网站，此时只能分析报文数据的统一资源定位符(Uniform Resource Locator，URL)，然后通过Referer(HTTPReferer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器该请求是从哪个页面链接过来的，服务器基此可以获得一些信息用于处理)手段将报文关联到对应的网站。可见被动监测分析仅适用于分析各个元素或者各个服务器IP的相关指标(如时延、成功率等)，而无法对整个网站进行整体感知。

发明内容

本发明实施例的一个目的是解决现有技术由于主动拨测分析无法定位故障或者被动监测分析仅分析各元素而无法对网站进行整体感知的问题。

第一方面，本发明实施例提供了一种基于Referer和模板库匹配的网站质量分析方法，所述方法包括：

获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；

利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；

利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；

在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。

可选地，所述利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站的步骤之前，包括：

利用模拟浏览器定时向每个网站发送访问请求；

利用网络抓包方法获取上述网站的响应数据；

根据访问请求和相应的响应数据形成每个网站的所有会话记录并保存至该网站的静态资源模板库中。

可选地，所述在全部会话记录关联到网站后对每个网站进行评分的步骤包括：

获取每个网站的所有KQI指标值；

根据每个KQI指标值及其预设权重值计算每个网站的评分；

其中，所述KQI指标值为网页浏览端对端时延、网页浏览端对端速度、网页浏览端对端成功率或者网页浏览端对端完整率。

可选地，所述在全部会话记录的基础上对每个网站进行评分的步骤还包括：

获取所有网站的任意一个KQI指标，并获取该KQI指标值最大或最小对应的网站；

获取该网站对应的各个HOST的KQI指标值，并获取KQI指标值最大或最小对应的HOST；

获取该HOST对应的各个URL的KPI指标值，并获取KPI指标值最大或最小对应的URL；

获取该URL对应的各个服务器IP的KPI指标值，并获取KPI指标值最大或最小对应的服务器IP；

其中，所述KPI指标为应答时延、应答成功率或者重传丢包；

每个网站包括多个HOST，每个HOST对应多个URL，每个URL对应多个服务器IP。

可选地，所述获取所有网站的任意一个KQI指标，并获取该KQI指标值最大或最小对应的网站的步骤可以采用以下内容替换：

直接从所有网站中选择需要分析的网站及其任意一个KQI指标。

第二方面，本发明实施例还提供了一种基于Referer和模板库匹配的网站质量分析装置，所述装置包括：

会话记录获取模块，用于获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；

Referer会话记录关联模块，用于利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；

模板库会话记录关联模块，用于利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；

评分模块，用于在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。

可选地，所述装置还包括静态资源模板库模块，用于执行以下步骤：

利用模拟浏览器定时向每个网站发送访问请求；

利用网络抓包方法获取上述网站的响应数据；

根据访问请求和相应的响应数据形成每个网站的所有会话记录并保存至该网站的静态资源模板库中。

可选地，所述评分模块用于执行以下步骤：

获取每个网站的所有KQI指标值；

根据每个KQI指标值及其预设权重值计算每个网站的评分；

其中，所述KQI指标值为网页浏览端对端时延、网页浏览端对端速度、网页浏览端对端成功率或者网页浏览端对端完整率。

可选地，所述评分模块还用于执行以下步骤：

获取所有网站的任意一个KQI指标，并获取该KQI指标值最大或最小对应的网站；

获取该网站对应的各个HOST的KQI指标值，并获取KQI指标值最大或最小对应的HOST；

获取该HOST对应的各个URL的KPI指标值，并获取KPI指标值最大或最小对应的URL；

获取该URL对应的各个服务器IP的KPI指标值，并获取KPI指标值最大或最小对应的服务器IP；

其中，所述KPI指标为应答时延、应答成功率或者重传丢包；

每个网站包括多个HOST，每个HOST包括多个URL，每个URL包括多个服务器IP。

第三方面，本发明实施例又提供了一种基于Referer和模板库匹配的网站质量分析***，所述***包括：深度包检测设备DPI和如第二方面所述的网站质量分析装置；所述DPI与所述网站质量分析装置通信连接；

所述DPI设置通过串接或者镜像方式接入链路中，用于获取所述链路的全量流量发送给所述网站质量分析装置；

所述网站质量分析装置用于获取所述链路的全量流量解析、关联网站以及网站评分。

由上述技术方案可知，本发明实施例通过获取链路中的全量流量可得到该链路中所有用户的访问请求和所有网站的响应数据，从而得到该链路的全部会话记录；然后利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；再利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；最后，对每个网站进行评分供用户进行网站质量分析。与现有技术相比较，本发明实施例利用Referer匹配方法和模板库匹配方法可将全部会话记录关联到网站，从而提高网站会话记录的完整性和准确性。并且，本发明实施例通过对每个网站进行评分供用户对网站质量分析。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明实施例提供的一种基于Referer和模板库匹配的网站质量分析方法流程示意图；

图2是图1所示方法的多个网站评分结果对比示意图；

图3是图1所示方法的多个网站的网页浏览端到端时延指标的评分结果对比示意图；

图4是本发明实施例提供的一种基于Referer和模板库匹配的网站质量分析装置的结构示意图；

图5是本发明实施例提供的一种基于Referer和模板库匹配的网站质量分析装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例提供了一种基于Referer和模板库匹配的网站质量分析方法，如图1所示，所述方法包括：

S1、获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；

S2、利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；

S3、利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；

S4、在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。

实际应用中，本发明实施例中采用深度包检测(Deep Packet Inspection，DPI)设备，例如现有技术中的电信级DPI设备，通过串接或者镜像方式接入到链路中，采集该链路的全量流量。其中，全量流量是指某区域内所有用户的流量数据。因此，上述DPI设备一般设置在集团骨干网出口、三方互联出口、省网出口、互联网数据中心(Internet Data Center，IDC)及移动核心网出口等关键网络位置。当然，本领域技术人员可以根据具体场景，选择DPI设备的安装位置以及DPI设备的参数，本发明不作限定。

实际应用中，本发明实施例中Referer字段是指，浏览器向网站发送访问请求中携带HTTP Referer；该HTTP Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器从哪个页面链接过来的，服务器藉此可以获得一些信息用于处理。由于该Referer字段已经比较成熟，在此不再赘述。

需要说明的是，本发明实施例提供的网站质量分析方法可以在服务器或者单独设备的计算设备上实现。本发明中以服务器为例进行说明。

步骤S1中，DPI设备实时获取所在链路上的全量流量发送给服务器。服务器从全量流量中解析出来自浏览器的访问请求和来自各网站的响应数据，将访问请求与响应数据匹配后形成会话记录，最终得到所有用户与所有网站的全部会话记录。

步骤S2中，服务器获取每条会话记录中的Referer字段，根据Referer字段与对应的网站相关联，直至将携带Referer字段的会话记录全部关联到网站为止。

实际应用中，全部会话记录中还有少数会话记录并未携带Referer字段或者所携带Referer由于跨站调用、CDN分发、策略配置错误等原因引起的错误，此时服务器根据该部分会话记录无法判断属于哪个网站。即通过Referer匹配方法无法将全部会话记录关联到相应的网站，从而也无法准确地通过利用这些会话记录进行网站质量分析。

因此，步骤S3中，服务器利用模板库匹配方法将上述未携带Referer字段的会话记录与静态资源模板库进行匹配。当会话记录存在于某个静态资源模板库时，则说明该会话记录属于与该静态资源模板库对应的网站，此时服务器将该条会话记录关联到与该静态资源模板库对应的网站。这样，服务器利用模板库匹配方法可以将未携带Referer字段的会话记录全部关联到网站。

实际应用中，本发明实施例在步骤S3之前包括获取静态资源模板库的步骤：

S31、利用模拟浏览器定时向每个网站发送访问请求；

S32、利用网络抓包方法获取上述网站的响应数据；

S33、根据访问请求和相应的响应数据形成每个网站的所有会话记录并保存至该网站的静态资源模板库中。

服务器利用模拟浏览器访问网站，向该网站发送访问请求，然后利用网络抓包方法(现有技术，在此不再赘述)获取上述网站的响应数据，从而可以得到该网站的所有会话记录，如图片、广告、内容等。服务器将上述网站的所有会话记录保存至静态资源模板库中。例如，服务器需要新浪的静态资源模板库，那么该服务器会定时(例如5分钟一次)访问新浪网站，然后获取到新浪网站的所有会话记录，形成新浪网站的静态资源模板库。

服务器利用Referer匹配方法关联时，若某条会话记录没有Referer字段，则在静态资源模板库中进行匹配。若该静态资源模板库中有访会话记录，则将该会话记录作为新浪网站的一个元素，即将该会话记录关联到新浪网站。

可见，本发明实施例中利用步骤S2和步骤S3可以将全部会话记录全部关联到网站。

需要说明的是，上述步骤S3与步骤S2可以互换，此时步骤S3可以对所有会话记录进行匹配，将携带Referer字段或者未携带Referer字段的会话记录关联到对应的网站。此时步骤S3包括四种结果：(1)会话记录全部关联、(2)部分携带Referer字段的会话记录未关联、(3)部分携带Referer字段的会话记录未关联和(4)部分未携带或者携带Referer字段的会话记录未关联。

针对结果(1)，此时无需执行步骤S2。

针对结果(2)，此时执行步骤S2，直至所有会话记录全部关联到对应网站。

针对结果(3)，此时需要更新静态资源模板库，重新执行步骤S3。然后再根据关联结果执行到各个方案。

针对结果(4)，此时先执行步骤S2，然后待静态资源模板库更新后再执行步骤S3，直至所有会话记录关联到对应网站。

本领域技术人员可以根据具体场景将各个方案添加到上述各步骤中所得方案同样落入本申请的保护范围。

实际应用中，用户利用浏览器访问网站的主页SP，或者该网站中一个个可以点进去的具体链接。但是，从DPI角度分析，用户在浏览器的每一次点击，网站就会生成几十条甚至几百条的会话记录。为评述一个网站的质量，需要从主观感受和客观数据上对该网站进行全面精准分析。为此，本发明实施例的步骤S4中，服务器根据会话记录及对应的指标对每个网站进行评分。

本发明实施例中服务器对网站进行主观感受评述时，可以采用关键质量指标KQI方法进行评述。该关键质量指标KQI方法评述时，通过访问网站时的主观感受(例如打开网站的快慢和显示的内容是否完整)，制定若干基于感知的指标。本发明实施例中选择网页浏览端到端时延、网页浏览端到端速率、网页浏览端到端成功率和网页浏览端到端完整率4个KQI指标来进行评述。其中，网页浏览端到端时延和网页浏览端到端速率反映的是打开网站的快慢，网页浏览端到端成功率和网页浏览端到端完整率反映网站内容是否成功和完整显示。实际应用中，本发明实施例还为上述4个KQI指标设置一定的加权即预设权重值，从而适应不同评述场合对某个KQI指标的重视情况，提高评述效果。实际应用中，本领域技术人员可以根据具体场景设置KQI指标以及KQI指标的数量，本发明不作限定。

服务器获取每个网站的4个KQI指标值以及每个KQI指标的预设权重值，从而可以得到每个网站的评分。实际应用中，每个网站的评分可以是0～100分，方便对网站质量分析。图2是本发明实施例提供的多个网站评分结果对比示意图。参见图2，服务器对网易163、新浪sina、百度***、腾讯tencent、搜狐sohu和淘宝taobao几个常用网站的评分，并且淘宝taobao的得分最高为87.32分。即用户可以根据上述评分主观了解每个网站的好坏。

上述关键质量指标KQI方法所得的评分结果方便用户了解网站的好坏，但是无法根据该评分结果对表现较差的网站进行优化。为此本发明实施例还采用关键质量指标KQI方法和关键绩效指标KPI(Key Performance Indicators)方法对每个网站进行评分，即对每个网站进行钻取分析。

实际应用中，每个网站的主页SP由多个主机HOST组成，而每个HOST对应多个统一资源定位符(Uniform Resoure Locator，URL)，每个URL对应多个服务器IP。根据每个网站的垂直层次分布，本发明实施例中对每个网站的几维度选取指标进行质量分析，即按照一个网站的垂直层次进行质量分析，直至分析到服务器IP的质量，从而为网站质量定位和优化提供决策依据。

本发明实施例对网站的主页SP和主机HOST质量分析时，采用关键质量指标KQI方法，但是基于统一资源定位符URL和服务器IP分析时，采用关键绩效指标KPI方法。可选地，上述KPI指标可以为应答时延、应答成功率或者重传丢包。实际应用中，本领域技术人员可以根据具体场景设置KPI指标以及KPI指标的数量，本发明不作限定。

本发明实施例中对每个网站进行评分即钻取分析包括：

S41、获取所有网站的任意一个KQI指标，并获取该KQI指标值最大或最小对应的网站；

S42、获取该网站对应的各个HOST的KQI指标值，并获取KQI指标值最大或最小对应的HOST；

S43、获取该HOST对应的各个URL的KPI指标值，并获取KPI指标值最大或最小对应的URL；

S44、获取该URL对应的各个服务器IP的KPI指标值，并获取KPI指标值最大或最小对应的服务器IP。

首先，服务器获取每个网站的KQI指标以及预设权重值，参见图1。或者，直接选择需要分析的网站及其任意一个KQI指标，本发明实施例中选择KQI指标即网页浏览端对端时延进行分析。参见图2，上述几个网站中，淘宝taobao的网页浏览端对端时延(KQI指标值)为10595.96ms，在几个网站中最小表现最好。

表1 多个网站的网页浏览端到端时延评分结果

本发明实施例服务器还利用上述方法结合某个KQI指标对多个网站进行评分。以KQI指标中网页浏览端到端时延为例，表1示出了多个网站的评分结果。

参见表1，以KQI指标中网页浏览端到端时延中最差的网站为东方财富eastmoney网站，其时延值为36326.49ms。

参见表2，根据网站的垂直层获取东方财富eastmoney网站的多个HOST的网页浏览端到端时延值。

表2 东方财富的多个HOST的网页浏览端到端时延评分结果

经过对比可知，在东方财富eastmoney网站的17个HOST中，名称为“hqguba1.eastmoney.com”的HOST的端到端时延最大，其时延值为58255.66ms

然后，服务器利用关键绩效指标KPI方法对URL和服务器IP继续分析。参见表3。

表3 东方财富的服务器IP应答时延

由表3可知，IP为140.207.213.99的服务器，应答时延有302.72秒，而正常范围一般在0.3～1秒左右。由此可以判断，造成该东方财富网站时延较大的原因是这一时间段内该服务器应答时延较大。此时，网站维护人员可以对IP对应的服务器进行调整优化，从而提高该网站质量。

由上可知，本发明实施例中利用Referer匹配方法和模板库匹配方法将全部会话记录关联到网站，可以提升各网站会话记录关联的准确率和完整率，具备对网站质量分析的基础。然后利用KQI方法和KPI方法对网站进行主观感受评分和/或客观数据评分，让用户清楚了解各网站的好坏，还可以进一步定位引起各网站好坏的根本原因(本发明实施例中以网站表现较差为例)，从而可以对定位到的服务器进行调整优化该网站质量。

实施例二

图4示出了本发明实施例提供的一种基于Referer和模板库匹配的网站质量分析装置，如图4所示，所述装置包括：

会话记录获取模块M1，用于获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；

Referer会话记录关联模块M2，用于利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；

模板库会话记录关联模块M3，用于利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；

评分模块M4，用于在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。

需要说明的是，上述会话记录获取模块M1实际获取来自DPI设备所采集的链路上的全量流量，然后对上述全量流量进行解析；从解析后的数据中得到访问请求和响应数据进行匹配，从而得到所有用户与所有网站的全部会话记录。Referer会话记录关联模块M2将携带Referer字段的会话记录关联到对应的网站，以及模板库会话记录关联模块M3将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站。最后，评分模块M4利用KQI方法和/或KPI方法对各网站进行评分，从而对各网站进行质量分析，或者优化所定位的服务器IP提升各网站质量。

实际应用中，由于模板库会话记录关联模块M3还需要用到静态资源模板库，因此本发明实施例提供的网站质量分析装置还包括静态资源模板库模块M5(图中未示出)。该静态资源模板库模块M5利用利用模拟浏览器定时向每个网站发送访问请求，然后利用网络抓包方法获取上述网站的响应数据；最后根据访问请求和相应的响应数据形成每个网站的所有会话记录并保存至该网站的静态资源模板库中。这样，定时更新静态资源模板库，可以完美地弥补Referer会话记录关联模块M2无法关联的会话记录，从而保证将未携带字段的会话记录关联到网站的准确率和完整率。

实际应用中，评分模块M4获取各个网站的所有KQI指标值，例如KQI指标值为网页浏览端对端时延、网页浏览端对端速度、网页浏览端对端成功率或者网页浏览端对端完整率，然后根据每个KQI指标值及其预设权重值计算每个网站的评分。该评分可以表示用户对网站的主观感受，即感受到该网站的好坏。

实际应用中，评分模块M4还获取所有网站的任意一个KQI指标，并获取该KQI指标值最大或最小对应的网站；然后，获取该网站对应的各个HOST的KQI指标值，并获取KQI指标值最大或最小对应的HOST；再者，获取该HOST对应的各个URL的KPI指标值，并获取KPI指标(KPI指标为应答时延、应答成功率或者重传丢包)值最大或最小对应的URL；最后，获取该URL对应的各个服务器IP的KPI指标值，并获取KPI指标值最大或最小对应的服务器IP。这样，评分模块M4可以定位出引起网站评分变化的某个服务器IP，方便网站维护人员对上述服务器IP调整优化，从而提升该网站质量。

对于装置实施方式而言，由于其与方法实施方式基本相似，所以描述的比较简单，相关之处参见方法实施方式的部分说明即可。

实施例三

本发明实施例中还提供了一种基于Referer和模板库匹配的网站质量分析***，所述***包括：深度包检测设备DPI和实施例二所述的网站质量分析装置；所述DPI与所述网站质量分析装置通信连接；

所述DPI设置通过串接或者镜像方式接入链路中，用于获取所述链路的全量流量发送给所述网站质量分析装置；

所述网站质量分析装置用于获取所述链路的全量流量解析、关联网站以及网站评分。

对于***实施方式而言，由于其与方法、装置实施方式基本相似，所以描述的比较简单，相关之处参见方法实施方式的部分说明即可。

实施例四

图5是示出本申请实施例四的基于Referer和模板库匹配的网站质量分析装置的结构框图。参照图5，所述网站质量分析装置，包括：处理器(processor)501、存储器(memory)502、通信接口(Communications Interface)503和总线504；

其中，

所述处理器501、存储器502、通信接口503通过所述总线504完成相互间的通信；

所述通信接口503用于该网站质量分析装置的通信设备之间的信息传输；

所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。

实施例五

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。

实施例六

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。

本发明的各个部件实施方式可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本装置中，PC通过实现因特网对设备或者装置远程控制，精准的控制设备或者装置每个操作的步骤。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样实现本发明的程序可以存储在计算机可读介质上，并且程序产生的文件或文档具有可统计性，产生数据报告和cpk报告等，能对功放进行批量测试并统计。

应该注意的是上述实施方式对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施方式。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于Referer和模板库匹配的网站质量分析方法，其特征在于，所述方法包括：

获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；

利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；

利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；

在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。

2.根据权利要求1所述的网站质量分析方法，其特征在于，所述利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站的步骤之前，包括：

利用模拟浏览器定时向每个网站发送访问请求；

利用网络抓包方法获取上述网站的响应数据；

根据访问请求和相应的响应数据形成每个网站的所有会话记录并保存至该网站的静态资源模板库中。

3.根据权利要求1所述的网站质量分析方法，其特征在于，所述在全部会话记录关联到网站后对每个网站进行评分的步骤包括：

获取每个网站的所有KQI指标值；

根据每个KQI指标值及其预设权重值计算每个网站的评分；

其中，所述KQI指标值为网页浏览端对端时延、网页浏览端对端速度、网页浏览端对端成功率或者网页浏览端对端完整率。

4.根据权利要求1～3任一项所述的网站质量分析方法，其特征在于，所述在全部会话记录关联到网站后对每个网站进行评分的步骤还包括：

获取所有网站的任意一个KQI指标，并获取所述所有网站的任意一个KQI指标中最大或最小对应的网站；

获取该网站对应的各个HOST的KQI指标值，并获取KQI指标值最大或最小对应的HOST；

获取该HOST对应的各个URL的KPI指标值，并获取KPI指标值最大或最小对应的URL；

获取该URL对应的各个服务器IP的KPI指标值，并获取KPI指标值最大或最小对应的服务器IP；

其中，所述KPI指标为应答时延、应答成功率或者重传丢包；

每个网站包括多个HOST，每个HOST对应多个URL，每个URL对应多个服务器IP。

5.根据权利要求4所述的网站质量分析方法，其特征在于，所述获取所有网站的任意一个KQI指标，并获取所述所有网站的任意一个KQI指标中最大或最小对应的网站的步骤可以采用以下内容替换：

直接从所有网站中选择需要分析的网站及其任意一个KQI指标。

6.一种基于Referer和模板库匹配的网站质量分析装置，其特征在于，所述装置包括：

会话记录获取模块，用于获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；

Referer会话记录关联模块，用于利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；

模板库会话记录关联模块，用于利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；

评分模块，用于在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。

7.根据权利要求6所述的网站质量分析装置，其特征在于，所述装置还包括静态资源模板库模块，用于执行以下步骤：

利用模拟浏览器定时向每个网站发送访问请求；

利用网络抓包方法获取上述网站的响应数据；

根据访问请求和相应的响应数据形成每个网站的所有会话记录并保存至该网站的静态资源模板库中。

8.根据权利要求6所述的网站质量分析装置，其特征在于，所述评分模块用于执行以下步骤：

获取每个网站的所有KQI指标值；

根据每个KQI指标值及其预设权重值计算每个网站的评分；

其中，所述KQI指标值为网页浏览端对端时延、网页浏览端对端速度、网页浏览端对端成功率或者网页浏览端对端完整率。

9.根据权利要求6所述的网站质量分析装置，其特征在于，所述评分模块还用于执行以下步骤：

获取所有网站的任意一个KQI指标，并获取所述所有网站的任意一个KQI指标中最大或最小对应的网站；

获取该网站对应的各个HOST的KQI指标值，并获取KQI指标值最大或最小对应的HOST；

获取该HOST对应的各个URL的KPI指标值，并获取KPI指标值最大或最小对应的URL；

获取该URL对应的各个服务器IP的KPI指标值，并获取KPI指标值最大或最小对应的服务器IP；

其中，所述KPI指标为应答时延、应答成功率或者重传丢包；

每个网站包括多个HOST，每个HOST包括多个URL，每个URL包括多个服务器IP。

10.一种基于Referer和模板库匹配的网站质量分析***，其特征在于，所述***包括：深度包检测设备DPI和如权利要求6～9任一项所述的网站质量分析装置；所述DPI与所述网站质量分析装置通信连接；

所述DPI设置通过串接或者镜像方式接入链路中，用于获取所述链路的全量流量发送给所述网站质量分析装置；

所述网站质量分析装置用于获取所述链路的全量流量解析、关联网站以及网站评分。

Images