CN102694802B - 网络访问信息记录方法和装置 - Google Patents

Abstract

本发明提供一种网络访问信息记录方法和装置。其中方法包括：获取网络访问报文；对所述网络访问报文进行包解析，获取所述网络访问报文对应的网络访问信息，所述网络访问信息包括：内容类型、访问地址的统一资源定位符URL和流量值；若所述内容类型属于预设的主类型，将所述网络访问报文对应的网络访问信息存储为一条网络访问信息记录。采用本发明提供的网络访问信息记录方法和装置，能够节省了存储网络访问信息记录所需的存储资源。

Description

网络访问信息记录方法和装置

技术领域

本发明涉及通信技术，尤其涉及一种网络访问信息记录方法和装置。

背景技术

随着移动智能终端的迅速普及，越来越多的用户采用移动智能终端上网，移动网络的访问流量迅速增长。

为了向用户提供其访问网络的记录，运营商需要记录用户的网络访问信息。目前采用以下方法记录用户的网络访问信息：在移动用户访问网络时，在网络侧部署流量采集设备，获取用户上网的所有报文，通过对报文进行包解析，获得用户的网络访问信息网络访问信息并记录在网络侧，其中，将每一次超文本传输协议（Hyper Text Transfer Protocol，简称HTTP）请求及其对应的应答生成一条网络访问信息记录。

对于网页浏览类应用，一个网页的内容通常来自于多个统一资源定位符（Uniform Resource Locator，简称URL）。例如，网页中引用的描述网页颜色、字体、排版等显示特性的样式文件对应的URL、网页中包含的各个图片分别对应的URL、网页中包含的脚本对应的URL。因此，用户每发起一次网页访问，客户端会发送大量的HTTP请求到不同的URL，流量采集设备会生成大量网络访问信息记录。例如，当用户访问一个门户网站的首页，通常会包括几十次甚至数百次的HTTP请求，因此会记录到几十次甚至数百条网络访问信息。采用现有的网络访问信息记录方法，需要占用海量存储资源。

发明内容

本发明的第一个方面是提供一种网络访问信息记录方法，用以解决现有技术中的缺陷，节省存储资源。

本发明的另一个方面是提供一种网络访问信息记录装置，用以解决现有技术中的缺陷，节省存储资源。

本发明的第一个方面是提供一种网络访问信息记录方法，包括：

获取网络访问报文；

对所述网络访问报文进行包解析，获取所述网络访问报文对应的网络访问信息，所述网络访问信息包括：内容类型、访问地址的统一资源定位符URL和流量值；

若所述内容类型属于预设的主类型，将所述网络访问报文对应的网络访问信息存储为一条网络访问信息记录。

如上所述的方法，其中，

所述网络访问信息还包括：参照页的URL；

所述方法还包括：

若所述内容类型不属于预设的主类型，判断所述参照页的URL是否与已存储的相同用户的网络访问信息记录中的访问地址的URL相同；

如果是，根据所述网络访问报文对应的网络访问信息，更新已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录；

否则，将所述网络访问报文对应的网络访问信息存储为一条网络访问信息记录。

如上所述的方法，其中，

所述网络访问信息记录中还包括：合并数目和结束时间；

所述根据所述网络访问报文对应的网络访问信息，更新已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录包括：

以结束时间距离当前时间最近的一条已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录作为匹配网络访问信息记录，将所述网络访问报文对应的流量值累加到所述匹配网络访问信息记录的流量值；

将所述匹配网络访问信息记录的结束时间修改为当前时间；

将所述匹配网络访问信息记录的合并数目加1。

如上所述的方法，其中，还包括：

删除超过预设的时间门限和/或数量门限的网络访问信息记录。

如上所述的方法，其中，

所述网络访问信息还包括：用户号码和开始时间；

所述流量值具体包括：上行流量值和下行流量值。

本发明的另一个方面是提供一种网络访问信息记录装置，包括：

采集单元，用于获取网络访问报文；

解析单元，用于对所述网络访问报文进行包解析，获取所述网络访问报文对应的网络访问信息，所述网络访问信息包括：内容类型、访问地址的统一资源定位符URL和流量值；

记录单元，用于在所述内容类型属于预设的主类型时，将所述网络访问报文对应的网络访问信息存储为一条网络访问信息记录。

如上所述的装置，其中，

所述网络访问信息还包括：参照页的URL；

所述记录单元还用于在所述内容类型不属于预设的主类型时，判断所述参照页的URL是否与已存储的相同用户的网络访问信息记录中的访问地址的URL相同；如果相同，根据所述网络访问报文对应的网络访问信息，更新已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录；如果不同，将所述网络访问报文对应的网络访问信息存储为一条网络访问信息记录。

如上所述的装置，其中，

所述网络访问信息记录中还包括：合并数目和结束时间；

所述记录单元具体用于以结束时间距离当前时间最近的一条已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录作为匹配网络访问信息记录，将所述网络访问报文对应的流量值累加到所述匹配网络访问信息记录的流量值，将所述匹配网络访问信息记录的结束时间修改为当前时间，将所述匹配网络访问信息记录的合并数目加1。

如上所述的装置，其中，

删除单元，用于删除超过预设的时间门限和/或数量门限的网络访问信息记录。

如上所述的装置，其中，

所述网络访问信息还包括：用户号码和开始时间；

所述流量值具体包括：上行流量值和下行流量值。

由上述发明内容可见，通过对网络访问报文进行包解析，获得网络访问信息，当网络访问信息中的内容类型属于预设的主类型时，将该网络访问信息存储为一条网络访问信息记录，通过解析获得内容类型并与预设的主类型进行比对，仅对属于主类型的网络访问信息进行记录，从而节省了存储网络访问信息记录所需的存储资源。

附图说明

图1为本发明实施例一的网络访问信息记录方法的流程图；

图2为本发明实施例二的网络访问信息记录方法的流程图；

图3为本发明实施例三的网络访问信息记录装置的结构示意图。

具体实施方式

图1为本发明实施例一的网络访问信息记录方法的流程图。如图1所示，该方法包括以下过程。

步骤101：获取网络访问报文。

步骤102：对网络访问报文进行包解析，获取该网络访问报文对应的网络访问信息。

在本步骤中，网络访问信息中至少包括：内容类型、访问地址的URL和流量值。

步骤103：若内容类型属于预设的主类型，将该网络访问报文对应的网络访问信息存储为一条网络访问信息记录。

在本发明实施例一中，通过对网络访问报文进行包解析，获得网络访问信息，当网络访问信息中的内容类型属于预设的主类型时，将该网络访问信息存储为一条网络访问信息记录，通过解析获得内容类型并与预设的主类型进行比对，仅对属于主类型的网络访问信息进行记录，从而节省了存储网络访问信息记录所需的存储资源。

图2为本发明实施例二的网络访问信息记录方法的流程图。图2所示的方法仅以对一个网络访问报文进行处理为例，可以按照该方法对全部网络访问报文一一进行处理。如图2所示，该方法包括以下过程。

步骤201：获取网络访问报文。

在本步骤中，通过在网络侧部署流量采集设备，获取用户上网时产生的网络访问报文。用户访问的一个网页内容通常来自于很多个URL。例如，HTTP应答中的内容类型为“css”的网络访问报文对应网页中引用的描述网页颜色、字体、排版等显示特性的样式文件；HTTP应答中的内容类型为“image”、“png”、“jpeg”的网络访问报文对应网页中包含的图片；HTTP应答中的内容类型为“application”、“javascript”的网络访问报文对应网页包含的来自于其它URL的脚本；HTTP应答中的内容类型为“text”、“html”的网络访问报文对应网页文档。当用户访问这个网页时，浏览器等客户端会分别向上述文件的URL发出请求。表1为一个网页的访问过程涉及的网络访问报文列表。以访问以下网页为例：www.foo.com/main.html，该访问过程中涉及的多个网络访问报文如表1所示。

表1一个网页的访问过程涉及的网络访问报文列表

步骤202：对网络访问报文进行包解析，获取该网络访问报文对应的网络访问信息。

在本步骤中，具体地，网络访问信息中可以包括：访问地址的URL、流量值、内容类型、参照页的URL、用户号码、开始时间和结束时间，其中，流量值具体可以包括上行流量值和下行流量值，网络访问信息中还可以包括任何其它的从网络访问报文中解析获得的信息。

具体地，内容类型可以从HTTP应答头中解析获得，参照页的URL可以从HTTP请求头中解析获得。在HTTP协议请求的报文头（简称Header）中，定义了参照页（简称Referer）字段，该字段用来表示从哪个网页链接到目前的网页，采用的格式是URL。借助HTTP报文头中的参照页字段，可以获知本次访问的网页来自哪个网页。在通过浏览器等客户端发出的HTTP访问请求中，客户端会自动填充此字段。例如，用户在访问网页http://hostname/path/currentpage.html时，点击该网页中的一个链接地址http://hostname/path/linkedpage.html时，浏览器会在发往该链接地址的HTTP请求的报文头中，用参照页字段指明此次访问来自的URL是http://hostname/path/currentpage.html。

仍以表1对应的具体实例为例，通过对表1中的各条网络访问报文进行包解析，能够获取到各条网络访问报文对应的网络访问信息，如表2所示。表2为解析一个网页的访问过程涉及的网络访问报文获得的网络访问信息列表。表2中，“MSISDN1”表示一个用户的用户号码，“st_1”、“st_2”等表示开始时间的数值，“et_1”、“et_2”等表示结束时间的数值，“uv_1”、“uv_2”等表示上行流量的数值，“dv_1”、“dv_2”等表示下行流量的数值。在表2中的其它信息中，还包括从每一个网络访问报文的HTTP应答头中解析获得的内容类型和从每一个网络访问报文的HTTP请求头中解析获得参照页的URL，其具体值可参见表1所示，在表2中未详细示出。对于用户而言，从终端发起的访问通常是一个网页，指向一个静态或者动态页面，此时HTTP应答中内容类型通常为文本（简称text）或超文本标记语言（HypertextMarkup Language，简称html），在此过程中产生大量的因为访问该网页而需要获取的“css”、“js”、“jpg”、“png”等请求，因此当用户访问一个网站的首页，通常会产生几十次甚至数百次的HTTP请求。而在用户向运营商查询该用户访问网络的记录时，用户通常只关注自己发起的某次网页访问占用的流量总数，而不关注该网页中的每个图片、每个脚本、每个样式文件等分别占用了多少流量。因此，在步骤202之后，执行步骤203，对内容类型进行判断。

表2解析一个网页的访问过程涉及的网络访问报文获得的网络访问信息列表

步骤203：判断内容类型是否属于预设的主类型。

如果是，执行步骤204。否则，执行步骤205。

在本步骤中，根据实际应用的需要，预设的主类型可以包括多种内容类型。由于在用户向运营商查询该用户访问网络的记录时，通常只关注自己发起的网页访问占用的流量总数，从终端发起的对网页的访问通常指向一个静态或者动态页面，HTTP应答中内容类型通常为text或html，因此，较佳地，主类型可以包括：text和html。

步骤204：将该网络访问报文对应的网络访问信息存储为一条网络访问信息记录。

在本步骤中，当网络访问报文的内容类型属于预设的主类型时，生成并存储一条新的记录，记录该网络访问报文对应的网络访问信息。当网络访问报文的内容类型不属于预设的主类型且参照页的URL与已存储的网络访问信息记录中的访问地址的URL均不同时，生成并存储一条新的记录，记录该网络访问报文对应的网络访问信息。表3为本发明一个实施例中网络访问信息的存储列表。

表3本发明一个实施例中网络访问信息的存储列表

步骤205：判断参照页的URL是否与已存储的相同用户的网络访问信息记录中的访问地址的URL相同。

如果是，执行步骤206。否则，执行步骤204。

在本步骤中，具体地，在内容类型不属于预设的主类型时，根据该当前的网络访问报文对应的用户，在已存储的网络访问信息记录中查看相同用户的网络访问信息记录，判断当前的网络访问报文参照页的URL是否与已存储的相同用户的网络访问信息记录中的访问地址的URL相同。具体地，在对当前的网络访问报文进行包解析时，获取的网络访问信息中包括用户号码，可以根据该用户号码获知该网络访问报文对应的用户；在已存储的每一条网络访问信息记录中，也包括用户号码，可以根据该用户号码获知该条网络访问信息记录对应的用户。

步骤206：根据网络访问报文对应的网络访问信息，更新已存储的相同用户的访问地址的URL与网络访问报文对应的参照页的URL相同的网络访问信息记录。

在本步骤中，以结束时间距离当前时间最近的一条已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录作为匹配网络访问信息记录。例如，在已存储的相同用户的网络访问信息记录中包括多条记录的访问地址的URL与网络访问报文对应的参照页的URL相同的情况下，从多条记录中选择结束时间距离当前时间最近的一条记录作为更新匹配网络访问信息记录。在已存储的相同用户的网络访问信息记录中仅有一条记录的访问地址的URL与网络访问报文对应的参照页的URL相同的情况下，以该条记录作为更新匹配网络访问信息记录。

在本步骤中，根据网络访问报文对应的网络访问信息，更新已存储的相同用户的访问地址的URL与网络访问报文对应的参照页的URL相同的网络访问信息记录的具体方法是：将该网络访问报文对应的流量值累加到匹配网络访问信息记录的流量值，将匹配网络访问信息记录的结束时间修改为当前时间，将匹配网络访问信息记录的合并数目加1。更新后的一个匹配网络访问信息记录如表4所示。表4为本发明另一个实施例中网络访问信息的存储列表。

表4本发明另一个实施例中网络访问信息的存储列表

在上述技术方案的基础上，进一步地，该方法还可以包括：删除超过预设的时间门限和/或数量门限的网络访问信息记录。具体地，可以预先设置时间门限和/或数量门限，针对每一个网络访问报文均执行上述步骤201至步骤206，并且，在此过程中，监控获得的网络访问信息记录的存储时间和数量，当发现网络访问信息记录超过时间门限和/或数量门限时，将该网络访问信息记录删除。较佳地，在上述步骤201至步骤206的过程中包含的存储网络访问信息记录的步骤，具体为对网络访问信息记录进行暂存，在此情况下，数量门限可以为暂存队列长度，在根据时间门限和/或暂存队列长度从暂存的网络访问信息记录中删除超过门限的网络访问信息记录之后，将剩余的暂存的网络访问信息记录存储为永久的网络访问信息记录。

在本发明实施例二中，在减小存储资源的同时，为了保证网络访问信息记录的完整性，通过解析获得内容类型并与预设的主类型进行比对，将属于主类型的网络访问信息进行记录，对于不属于主类型的网络访问信息，如果其参照页URL与已存储的网络访问信息的访问地址URL相同，则将该网络访问信息累加到上述已存储的网络访问信息中，如果其参照页URL与已存储的网络访问信息的访问地址URL均不同，再将该网络访问信息单独记录为一条记录，通过比对参照URL与访问地址URL，对不属于主类型的网络访问信息进行合并记录，从而节省了存储网络访问信息记录所需的存储资源。

上述合并处理简单高效，可以将用户一次点击所生成的上网记录由几十条甚至几百条缩减至一条或者几条，有效降低存储要求，并且还能够显著提高后续的数据处理效率，该合并运算所需的***开销很小，对采集处理设备的性能基本无影响。

图3为本发明实施例三的网络访问信息记录装置的结构示意图。如图3所示，该装置至少包括：采集单元31、解析单元32和记录单元33。

其中，采集单元31用于获取网络访问报文。

解析单元32用于对网络访问报文进行包解析，获取网络访问报文对应的网络访问信息。其中，网络访问信息包括：内容类型、访问地址的URL和流量值。

记录单元33用于在内容类型属于预设的主类型时，将网络访问报文对应的网络访问信息存储为一条网络访问信息记录。

在上述技术方案的基础上，进一步地，上述网络访问信息中还可以包括：参照页的URL。记录单元33还用于在内容类型不属于预设的主类型时，判断参照页的URL是否与已存储的相同用户的网络访问信息记录中的访问地址的URL相同。如果相同，记录单元33根据网络访问报文对应的网络访问信息，更新已存储的相同用户的访问地址的URL与网络访问报文对应的参照页的URL相同的网络访问信息记录。如果不同，记录单元33将网络访问报文对应的网络访问信息存储为一条网络访问信息记录。

在上述技术方案的基础上，进一步地，上述网络访问信息记录中还可以包括：合并数目和结束时间。记录单元33根据网络访问报文对应的网络访问信息，更新已存储的访问地址的URL与网络访问报文对应的参照页的URL相同的网络访问信息记录的具体方式为：记录单元33具体用于以结束时间距离当前时间最近的一条已存储的相同用户的访问地址的URL与网络访问报文对应的参照页的URL相同的网络访问信息记录作为匹配网络访问信息记录，将网络访问报文对应的流量值累加到匹配网络访问信息记录的流量值，将匹配网络访问信息记录的结束时间修改为当前时间，将匹配网络访问信息记录的合并数目加1。

在上述技术方案的基础上，进一步地，该网络访问信息记录装置中还可以包括删除单元34。删除单元34用于删除超过预设的时间门限和/或数量门限的网络访问信息记录。

在上述技术方案的基础上，进一步地，上述网络访问信息中还可以包括：用户号码和开始时间。流量值具体可以包括：上行流量值和下行流量值。

在本发明实施例三中，通过解析获得内容类型并与预设的主类型进行比对，可以仅对属于主类型的网络访问信息进行记录，从而节省了存储网络访问信息记录所需的存储资源。

进一步地，为了保证网络访问信息记录的完整性，通过解析获得内容类型并与预设的主类型进行比对，将属于主类型的网络访问信息进行记录，对于不属于主类型的网络访问信息，如果其参照页URL与已存储的相同用户的网络访问信息的访问地址URL相同，则将该网络访问信息累加到上述已存储的网络访问信息中，如果其参照页URL与已存储的相同用户的网络访问信息的访问地址URL均不同，再将该网络访问信息单独记录为一条记录，通过比对参照URL与访问地址URL，对不属于主类型的网络访问信息进行合并记录，从而节省了存储网络访问信息记录所需的存储资源。

上述合并处理简单高效，可以将用户一次点击所生成的上网记录由几十条甚至几百条缩减至一条或者几条，有效降低存储要求，并且还能够显著提高后续的数据处理效率，该合并运算所需的***开销很小，对采集处理设备的性能基本无影响。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.一种网络访问信息记录方法，其特征在于，包括：

获取网络访问报文；

对所述网络访问报文进行包解析，获取所述网络访问报文对应的网络访问信息，所述网络访问信息包括：内容类型、访问地址的统一资源定位符URL和流量值；

若所述内容类型属于预设的主类型，将所述网络访问报文对应的网络访问信息存储为一条网络访问信息记录；

所述内容类型为从所述网络访问报文的超文本传输协议HTTP应答头中解析获得的；

所述网络访问信息还包括：参照页的URL；

所述方法还包括：

若所述内容类型不属于预设的主类型，判断所述参照页的URL是否与已存储的相同用户的网络访问信息记录中的访问地址的URL相同；

如果是，根据所述网络访问报文对应的网络访问信息，更新已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录；

否则，将所述网络访问报文对应的网络访问信息存储为一条网络访问信息记录；

所述网络访问信息记录中还包括：合并数目和结束时间；

所述根据所述网络访问报文对应的网络访问信息，更新已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录包括：

以结束时间距离当前时间最近的一条已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录作为匹配网络访问信息记录，将所述网络访问报文对应的流量值累加到所述匹配网络访问信息记录的流量值；

将所述匹配网络访问信息记录的结束时间修改为当前时间；

将所述匹配网络访问信息记录的合并数目加1；

还包括：

删除超过预设的时间门限和/或数量门限的网络访问信息记录；

所述网络访问信息还包括：用户号码和开始时间；

所述流量值具体包括：上行流量值和下行流量值。

2.一种网络访问信息记录装置，其特征在于，包括：

采集单元，用于获取网络访问报文；

解析单元，用于对所述网络访问报文进行包解析，获取所述网络访问报文对应的网络访问信息，所述网络访问信息包括：内容类型、访问地址的统一资源定位符URL和流量值；

记录单元，用于在所述内容类型属于预设的主类型时，将所述网络访问报文对应的网络访问信息存储为一条网络访问信息记录；

所述内容类型为从所述网络访问报文的超文本传输协议HTTP应答头中解析获得的；

所述网络访问信息还包括：参照页的URL；

所述记录单元还用于在所述内容类型不属于预设的主类型时，判断所述参照页的URL是否与已存储的相同用户的网络访问信息记录中的访问地址的URL相同；如果相同，根据所述网络访问报文对应的网络访问信息，更新已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录；如果不同，将所述网络访问报文对应的网络访问信息存储为一条网络访问信息记录；

所述网络访问信息记录中还包括：合并数目和结束时间；

所述记录单元具体用于以结束时间距离当前时间最近的一条已存储的相同用户的访问地址的URL与所述网络访问报文对应的参照页的URL相同的网络访问信息记录作为匹配网络访问信息记录，将所述网络访问报文对应的流量值累加到所述匹配网络访问信息记录的流量值，将所述匹配网络访问信息记录的结束时间修改为当前时间，将所述匹配网络访问信息记录的合并数目加1；

还包括：

删除单元，用于删除超过预设的时间门限和/或数量门限的网络访问信息记录；

所述网络访问信息还包括：用户号码和开始时间；

所述流量值具体包括：上行流量值和下行流量值。