CN103152387B - 一种获取http用户行为轨迹的装置与方法 - Google Patents

Abstract

本发明公开了一种获取HTTP用户行为轨迹的装置，识别提取模块识别HTTP请求报文，提取出HTTP请求报文中的URL信息和Referer信息，并存储所述URL信息和Referer信息到关联表；分析模块依据关联表记录的指向关系生成有向图，根据有向图过滤掉浏览器自动发起的HTTP请求，形成HTTP用户行为轨迹图并输出至输出模块；输出模块输出HTTP用户行为轨迹图。同时本发明还公开了一种获取HTTP用户行为轨迹的方法，利用本发明可减少对网络设备计算与存储资源的占用，降低对网络传输的影响。

Description

一种获取HTTP用户行为轨迹的装置与方法

技术领域

本发明涉及网络技术，具体涉及一种获取超文本传输协议（HTTP，HyperTextTransportProtocol）用户行为轨迹的装置与方法。

背景技术

随着网络的普及，越来越多的用户热衷于通过网络来了解社会的变化。通过客户端与互联网的链接（简称为上网），用户可获得自身需要的资讯。用户在上网过程中，通常会主动点击并浏览自己感兴趣的网页，往往一个完整的网页包括大量的资源链接，如广告链接、网页框架链接（如图片），而广告、图片这样的资源链接并不是用户感兴趣的部分。针对这种现象，电信运营商可利用数据分析方法对预定时间内用户上网浏览过的网页进行分析，进而过滤掉用户不感兴趣的网页链接，即浏览器自动发起的网页链接；保留用户感兴趣的网页链接，即用户主动点击的网页链接；并依据分析出的结果进行数据挖掘，比如，从保留的网页链接中总结出用户喜欢浏览哪些网页、哪些网页更受广大用户的欢迎等。这里，将过滤掉浏览器自动发起的网页链接、保留用户主动点击的网页链接的过程称为获取HTTP用户行为轨迹。

举个例子来说，如图1所示，用户点击新浪主页sina.com.cn时，浏览器向服务器发送HTTP请求报文，服务器返回该HTTP请求报文的HTTP响应报文；依据所述HTTP响应报文，浏览器将自动发起相关资源链接的HTTP请求，如xxxx.ad.sina.com.cn、yyyy.ad.sina.com.cn等；用户在打开新浪主页后，再次点击edu.sina.com.cn，浏览器会向服务器发送edu.sina.com.cn的HTTP请求报文。

上述情况中，既存在有用户主动点击的资源链接，还存在有浏览器的自动发起的资源链接，现有技术中采用如下方法对主动点击的资源链接、浏览器自动发起的资源链接进行识别：

浏览器在接收到所述HTTP响应报文的同时，存储所述HTTP响应报文中的资源链接信息，对在预先设置的时间内（如5秒）出现的所有HTTP请求报文进行分析，如果分析出当前HTTP请求报文中的统一资源定位符（URL，UniformResourceLocator）信息存储于所述资源链接信息中，则认为当前HTTP请求报文为浏览器自动发起的；如果分析出当前HTTP请求报文中的URL信息没有存储在所述资源链接信息中，则认为当前HTTP请求报文为用户主动点击产生的。

现有技术中采用的方法虽然能过滤掉大部分浏览器自动发起的资源链接，保留用户主动点击的资源链接。但因网络流量巨大，持续分析当前HTTP请求报文，为网络设备如路由器、网关等的计算及存储资源带来较大开销，更何况HTTP响应报文往往已经被压缩及分片，这给网络设备带来了严重的挑战。

发明内容

有鉴于此，本发明的主要目的在于提供一种获取HTTP用户行为轨迹的装置与方法，可减少对网络设备计算与存储资源的占用，降低对网络传输的影响。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种获取超文本传输协议HTTP用户行为轨迹的装置，该装置包括：识别提取模块、分析模块和输出模块；其中，

所述识别提取模块，用于识别HTTP请求报文，提取出HTTP请求报文中的统一资源定位符URL信息和参照位址（Referer）信息，并存储所述URL信息和Referer信息到关联表；

所述分析模块，用于依据所述关联表记录的指向关系生成有向图，根据有向图过滤掉浏览器自动发起的HTTP请求，形成HTTP用户行为轨迹图并输出至所述输出模块；

所述输出模块，用于输出HTTP用户行为轨迹图。

上述方案中，所述识别提取模块进一步用于：

接收网络中的业务流，先利用深度报文分析方法识别出所述业务流中的HTTP报文，再依据HTTP协议标准，在HTTP报文中识别出HTTP请求报文，依据报文内容提取规则，提取出所述HTTP请求报文的URL信息和Referer信息，将所述URL信息和Referer信息记录在关联表中。

上述方案中，所述分析模块根据有向图过滤掉浏览器自动发起的HTTP请求为：

所述分析模块剪除有向图中的多归属节点和/或末梢叶子节点。

上述方案中，所述分析模块还用于：

查找关联表记录的HTTP原始请求中是否含有超文本标记语言HTML元素文件请求，如果能够查找到，则删除所述HTML元素文件请求。

本发明还提供了一种获取HTTP用户行为轨迹的方法，所述方法包括：

识别HTTP请求报文，提取出HTTP请求报文中的URL信息和Referer信息，并存储所述URL信息和Referer信息到关联表；

依据所述关联表记录的指向关系生成有向图，根据有向图过滤掉浏览器自动发起的HTTP请求，形成HTTP用户行为轨迹图并输出。

上述方案中，所述识别HTTP请求报文，提取出HTTP请求报文中的URL信息和Referer信息，并存储所述URL信息和Referer信息到关联表为：

接收网络中的业务流，利用深度报文分析方法识别出业务流中的HTTP报文，依据HTTP协议标准，识别出HTTP请求报文，依据报文内容提取规则，提取出所述HTTP请求报文的URL信息和Referer信息，将所述URL信息和Referer信息记录在关联表中。

上述方案中，所述根据有向图过滤掉浏览器自动发起的HTTP请求为：

剪除有向图中的多归属节点和/或末梢叶子节点。

上述方案中，在所述依据所述关联表记录的指向关系成有向图之前，所述方法还包括：

查找关联表记录的HTTP原始请求中是否含有HTML元素文件请求；如果能够查找到，则删除所述HTML元素文件请求。

本发明提供的获取HTTP行为轨迹的装置与方法，从识别的HTTP请求报文中提取出HTTP请求报文的URL信息和Referer信息，并记录URL信息和Referer信息到关联表中；依据关联表记录的指向关系生成有向图；根据有向图过滤掉浏览器自动发起的HTTP请求，形成HTTP用户行为轨迹图；对HTTP用户行为轨迹图进行输出。利用本发明，只需识别出HTTP请求报文，可减少对网络设备计算与存储资源的占用，降低对网络传输的影响。

附图说明

图1为现有技术中获取HTTP用户行为轨迹的一实施例示意图；

图2为本发明获取HTTP用户行为轨迹的装置的组成结构示意图；

图3（a）~（d）为本发明分析模块对有向图的处理示意图；

图4为本发明获取HTTP用户行为轨迹的方法的实现流程示意图；

图5为本发明获取HTTP用户行为轨迹的方法一具体实施例的实现流程示意图。

具体实施方式

本发明提供了一种获取HTTP用户行为轨迹的装置，可应用于网络设备，如路由器、网关等。

如图2所示，所述装置包括：识别提取模块10、分析模块11和输出模块12；其中，

所述识别提取模块10，用于识别HTTP请求报文，提取出HTTP请求报文中的URL信息和Referer信息，并存储所述URL信息和Referer信息到关联表；

这里，所述Referer信息属于一种HTTP相关信息；所述HTTP请求报文从接收的网络业务流中识别出；所述提取可根据预先设置好的报文内容提取规则进行提取。

所述分析模块11，用于依据所述关联表记录的指向关系生成有向图，根据有向图过滤掉浏览器自动发起的HTTP请求，形成HTTP用户行为轨迹图并输出至所述输出模块12；

这里，所述过滤掉浏览器自动发起的HTTP请求具体是：剪除有向图中的多归属节点和/或末梢叶子节点。

所述输出模块12，用于输出HTTP用户行为轨迹图。

所述分析模块根据有向图过滤掉浏览器自动发起的HTTP请求可通过剪除有向图中的多归属节点、或剪除有向图中的末梢叶子节点、或同时剪除有向图中的多归属节点和末梢叶子节点。

进一步的，所述识别提取模块10，用于从接收的网络业务流中，先利用深度报文分析方法识别出业务流中的HTTP报文；再依据HTTP协议（RFC2616，RequestForComments2616）标准，在HTTP报文中识别出HTTP请求报文；然后，依据报文内容提取规则，提取出所述HTTP请求报文的URL信息和Referer信息，将所述URL信息和Referer信息记录在关联表中。

其中，所述业务流包括：电子邮件、流媒体、对等链接（P2P，PeertoPeer）、网络电话（VOIP，VoiceOverInternetProtocol）、网页WEB等；所述报文内容提取规则为预先设置好的，可根据网络的实际情况进行灵活设置。

这里，举个例子说明所述URL信息和Referer信息在关联表中记录的形式：

在当前HTTP请求报文中提取出的URL信息为http://edu.sina.com.cn/kids/、Referer信息为http://news.sina.com.cn/，那么，所述关联表中以http://edu.sina.com.cn/kids/”指向“http://news.sina.com.cn/”形式记录，即以URL信息指向Referer信息的指向关系记录，表明由http://news.sina.com.cn/跳转到http://edu.sina.com.cn/kids/。这里，称所述关联表中记录的每一条指向关系为一条HTTP原始请求，所述关联表中将记录至少一条HTTP原始请求；所述关联表中记录的HTTP原始请求具有URL信息指向Referer信息的指向关系。

进一步的，所述分析模块11查找所述关联表中记录的具有相同URL信息、不同Referer信息的HTTP原始请求；查找到时，删除所述HTTP原始请求中相同的URL信息、保留不同的Referer信息，以便区分不同HTTP原始请求；查找不到时，关联表中仍然以URL信息指向Referer信息的形式记录。

上述方案描述的过程还可以看作为：所述分析模块11依据所述关联表记录的指向关系生成有向图，剪除有向图中的多归属节点的过程。

下面从有向图角度出发，以所述分析模块11同时剪除有向图中的多归属节点和末梢叶子节点为例进行说明。

图3（a）为所述分析模块11依据所述关联表记录的指向关系生成的一个有向图；图3（a）中，每个椭圆代表一个节点，每个节点既可能代表着由浏览器自动发起的HTTP请求，也可能代表着由用户主动点击而产生的HTTP请求。

比如，在所述关联表中记录有URL信息为：NodeD001的三条HTTP原始请求：NodeD001指向NodeC002、NodeD001指向NodeC003、NodeD001指向NodeC004。

针对上述指向关系，生成了节点NodeC002、NodeC003、NodeC004均被节点NodeD001引用的关系。有向图中，两个及两个以上节点被同一节点引用，称该同一节点为多归属节点。依据有向图中的引用、被引用关系，所述分析模块11可识别出的所有的多归属节点，如节点NodeD001和节点NodeC001，所述分析模块11剪除所有多归属节点，如图3（b）所示。

所述分析模块11将生成的有向图中的所有多归属节点剪除后，再剪除有向图中的末梢叶子节点，如图3（c）中的NodeE001、NodeE002、NodeE003、NodeE004、NodeE005、NodeH001、NodeD005、NodeC002、NodeC003、NodeB002和NodeB003；最终只剩下节点NodeA001、NodeB001、NodeC004和NodeD002，如图3（d）所示；图3（d）为HTTP用户行为轨迹图，节点NodeA001、NodeB001、NodeC004和NodeD002代表着由用户主动点击而产生的HTTP请求。

这里，为保证所述关联表记录的内容不含有非HTTP原始请求的信息，在生成有向图之前，所述分析模块11还将进一步查找所述关联表记录的HTTP原始请求中是否含有超文本标记语言（HTML，HyperTextMarkupLanguage）元素文件请求，如.css、.js和.jpg等文件请求，如果能查找到，则删除所述HTML元素文件请求。

所述分析模块11输出所述HTTP用户行为轨迹图至所述输出模块12，所述输出模块12对HTTP用户行为轨迹图进行输出，以便网管人员进行查看。依据用户的实际需求，可将输出格式设置为文本或图形。

本发明的装置还可以应用于宽带远程接入服务器（BRAS，BroadbandRemoteAccessServer）、核心网网关、家庭网关、演进基站eNodeB和无线控制器等设备。

基于上述获取HTTP用户行为轨迹的装置，本发明还提供了一种获取HTTP用户行为轨迹的方法，如图4所示，所述方法包括：

步骤40：识别HTTP请求报文，提取出HTTP请求报文中的URL信息和Referer信息，并存储所述URL信息和Referer信息到关联表；

这里，所述HTTP请求报文从接收的网络业务流中识别出；所述提取可根据预先设置好的报文内容提取规则进行提取。

步骤41：依据所述关联表记录的指向关系生成有向图，根据有向图过滤掉浏览器自动发起的HTTP请求，形成HTTP用户行为轨迹图并输出；

这里，所述过滤掉浏览器自动发起的HTTP请求具体是：剪除有向图中的多归属节点和/或末梢叶子节点。也就是说，根据有向图过滤掉浏览器自动发起的HTTP请求可通过剪除有向图中的多归属节点、或剪除有向图中的末梢叶子节点、或同时剪除有向图中的多归属节点和末梢叶子节点。

具体的，步骤40的操作可由识别提取模块完成，如图5所示，步骤40可以为：

步骤401：识别提取模块接收网络中的业务流；

这里，所述业务流包括：电子邮件、流媒体、P2P、VOIP、WEB等；

步骤402：识别提取模块利用深度报文分析方法识别出业务流中的HTTP报文；

步骤403：识别提取模块依据RFC2616标准，识别出HTTP报文中的HTTP请求报文；

步骤404：识别提取模块依据报文内容提取规则提取出所述HTTP请求报文中的URL信息和Referer信息；

步骤405：识别提取模块将所述URL信息和Referer信息记录在关联表中；

这里，关联表中以所述URL信息指向所述Referer信息这种指向关系的形式进行记录，为便于后续生成有向图；所述关联表中记录的每一条指向关系为一条HTTP原始请求，所述关联表中将记录至少一条HTTP原始请求。

具体的，步骤41的操作可由分析模块和输出模块完成，以同时剪除有向图中的多归属节点和末梢叶子节点为例，所述步骤41可以为：

步骤411：分析模块依据关联表中记录的指向关系，即URL信息指向Referer信息，生成有向图；

如图3（a）所示，每个节点既可能代表着由浏览器自动发起的HTTP请求，也可能代表着由用户主动点击而产生的HTTP请求；节点NodeC002、NodeC003、NodeC004均被节点NodeD001引用。之所以有这种引用关系的存在，是因为在关联表记录有URL信息为NodeD001的三条HTTP原始请求：NodeD001指向NodeC002、NodeD001指向NodeC003、NodeD001指向NodeC004；图3（a）所示的有向图中，节点NodeD001、节点NodeC001均为多归属节点。

步骤412：分析模块剪除有向图中的所有多归属节点；

这里，如图3（b）所示，剪除节点NodeD001、节点NodeC001。

步骤413：分析模块再剪除有向图中的末梢叶子节点；

图3（c）中，节点NodeE001、NodeE002、NodeE003、NodeE004、NodeE005、NodeH001、NodeD005、NodeC002、NodeC003、NodeB002和NodeB003为末梢叶子节点，分析模块将这些末梢叶子节点剪除，剩下节点NodeA001、NodeB001、NodeC004和NodeD002；如图3（d）所示，节点NodeA001、NodeB001、NodeC004和NodeD002为HTTP用户行为轨迹图，代表着由用户主动点击而产生的HTTP请求。

步骤414：分析模块将HTTP用户行为轨迹图发送至输出模块。

步骤415：输出模块对所述HTTP用户行为轨迹图进行文本输出或图形输出，以便网管人员进行查看。

上述步骤411和步骤412中，是从生成的有向图的角度进行描述，还可以从关联表的角度进行描述，为：

步骤411’：在关联表中，查找所述关联表记录的具有相同URL信息，不同Referer信息的HTTP原始请求，查找到时，执行步骤412’；查找不到时，关联表中仍然以URL信息指向Referer信息的形式记录。

步骤412’：删除HTTP原始请求的相同的URL信息、保留不同的Referer信息，以便区分不同的HTTP原始请求，继续执行步骤413。

在步骤41中还可进行优化，在所述步骤411之前，分析模块还可查找关联表记录的HTTP原始请求中是否含有HTML元素文件请求，如.css、.js和.jpg等文件请求；如果能够查找到，则将所述HTML元素文件请求删除掉。加入这一优化处理的目的是为了保证关联表记录的内容不含有非HTTP原始请求的信息。

本发明提供的获取HTTP用户行为轨迹的装置与方法，先识别出业务流中的HTTP请求报文；再提取出当前HTTP请求报文的URL信息和Referer信息，并将URL信息和Referer信息以URL信息指向Referer信息的指向关系记录在关联表中；然后依据关联表记录的指向关系生成有向图，因有向图中的每个节点可能代表着由浏览器自动发起的HTTP请求，也可能代表着由用户主动点击而产生的HTTP请求，可通过剪除有向图中的多归属节点和/或末梢叶子节点的方法来达到过滤掉浏览器自动发起的HTTP请求，得到HTTP用户行为轨迹的目的；最后以图形或文本的输出格式将HTTP用户行为轨迹进行输出，以方便网管人员查看。利用本发明，只需识别出HTTP请求报文，无需关注HTTP响应报文，可减少对网络设备计算与存储资源的占用，降低对网络传输的影响。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1.一种获取超文本传输协议HTTP用户行为轨迹的装置，其特征在于，该装置包括：识别提取模块、分析模块和输出模块；其中，

所述识别提取模块，用于识别HTTP请求报文，提取出HTTP请求报文中的统一资源定位符URL信息和参照位址Referer信息，并存储所述URL信息和Referer信息到关联表；

所述分析模块，用于依据所述关联表记录的指向关系生成有向图，根据有向图过滤掉浏览器自动发起的HTTP请求，形成HTTP用户行为轨迹图并输出至所述输出模块；

所述输出模块，用于输出HTTP用户行为轨迹图；

所述分析模块，还用于查找所述关联表中记录的具有相同URL信息、不同Referer信息的HTTP原始请求；查找到时，删除所述HTTP原始请求中相同的URL信息、保留不同的Referer信息；查找不到时，关联表中以URL信息指向Referer信息的形式记录。

2.根据权利要求1所述的获取HTTP用户行为轨迹的装置，其特征在于，所述识别提取模块进一步用于：

接收网络中的业务流，先利用深度报文分析方法识别出所述业务流中的HTTP报文，再依据HTTP协议标准，在HTTP报文中识别出HTTP请求报文，依据报文内容提取规则，提取出所述HTTP请求报文的URL信息和Referer信息，将所述URL信息和Referer信息记录在关联表中。

3.根据权利要求1所述的获取HTTP用户行为轨迹的装置，其特征在于，所述分析模块根据有向图过滤掉浏览器自动发起的HTTP请求为：

所述分析模块剪除有向图中的多归属节点和/或末梢叶子节点。

4.根据权利要求1～3任一项所述的获取HTTP用户行为轨迹的装置，其特征在于，所述分析模块还用于：

查找关联表记录的HTTP原始请求中是否含有超文本标记语言HTML元素文件请求，如果能够查找到，则删除所述HTML元素文件请求。

5.一种获取HTTP用户行为轨迹的方法，其特征在于，所述方法包括：

识别HTTP请求报文，提取出HTTP请求报文中的URL信息和Referer信息，并存储所述URL信息和Referer信息到关联表；

依据所述关联表记录的指向关系生成有向图，根据有向图过滤掉浏览器自动发起的HTTP请求，形成HTTP用户行为轨迹图并输出；

所述依据所述关联表记录的指向关系生成有向图，根据有向图过滤掉浏览器自动发起的HTTP请求，形成HTTP用户行为轨迹图，还包括：查找所述关联表中记录的具有相同URL信息、不同Referer信息的HTTP原始请求；查找到时，删除所述HTTP原始请求中相同的URL信息、保留不同的Referer信息，以便区分不同HTTP原始请求；查找不到时，关联表中仍然以URL信息指向Referer信息的形式记录。

6.根据权利要求5所述的获取HTTP用户行为轨迹的方法，其特征在于，所述识别HTTP请求报文，提取出HTTP请求报文中的URL信息和Referer信息，并存储所述URL信息和Referer信息到关联表为：

接收网络中的业务流，利用深度报文分析方法识别出业务流中的HTTP报文，依据HTTP协议标准，识别出HTTP请求报文，依据报文内容提取规则，提取出所述HTTP请求报文的URL信息和Referer信息，将所述URL信息和Referer信息记录在关联表中。

7.根据权利要求5所述的获取HTTP用户行为轨迹的方法，其特征在于，所述根据有向图过滤掉浏览器自动发起的HTTP请求为：

剪除有向图中的多归属节点和/或末梢叶子节点。

8.根据权利要求5所述的获取HTTP用户行为轨迹的方法，其特征在于，在所述依据所述关联表记录的指向关系成有向图之前，所述方法还包括：

查找关联表记录的HTTP原始请求中是否含有HTML元素文件请求；如果能够查找到，则删除所述HTML元素文件请求。