CN103647774A

CN103647774A - 基于云计算的web内容信息过滤方法

Info

Publication number: CN103647774A
Application number: CN201310681086.4A
Authority: CN
Inventors: 徐玉华; 周宇; 郭晓凤; 孙知信
Original assignee: Yangzhou Yongxin Computer Co Ltd
Current assignee: Yangzhou Yongxin Computer Co Ltd
Priority date: 2013-12-13
Filing date: 2013-12-13
Publication date: 2014-03-19

Abstract

本发明公开了一种基于云计算的web内容信息过滤方法，包括本地DNS服务器协同根DNS服务器和目标DNS服务器获得与终端用户请求访问的网址对应的IP地址，本地DNS服务器将IP地址发送给云计算过滤***，由云计算过滤***反馈拦截或者应答指令，如果本地DNS服务器接收到拦截指令则不将IP地址信息发送给终端用户，如果本地DNS服务器接收到应答指令则将IP地址信息发送给终端用户。该过滤方法通过云计算平台实施过滤，无需在客户端进行数据检测重组等工作，具有更高的过滤精度和效率，同时利于内容过滤的统一部署和调控，保证了网络环境的安全和健康。

Description

基于云计算的web内容信息过滤方法

技术领域

本发明涉及一种web内容信息过滤方法，特别是涉及一种基于云计算的web内容信息过滤方法。

背景技术

Intemet资源包含了人类文明的大量信息宝藏，信息电子化和网络化为人类知识的共享和交流铺平了道路，“但在互联网不断发展的同时，也存在着一些日益突出的问题”。一方面互联网用户常常被庞大而无用的垃圾信息所淹没使得检索出自己想要的信息变的困难；另一方面网络信息安全的问题，恶意病毒的破坏，有关暴力、犯罪、色情、国家安全和反动信息等等不良内容在互联网上的传播己经成为日益突出有待解决的问题。

目前，解决方法主要是信息过滤。信息过滤(Information Filtering，IF)是一种用来过滤大量信息流，为用户提供相关信息子集的技术，即根据用户的信息需求，利用一定的工具从大规模的动态信息流中自动筛选出满足用户需求的信息，剔除不感兴趣或不良信息的过程。现有技术通常采用的方案是：

(1)采用基于SPI的网络封包截获技术进行数据包的截获。这种技术可以截获所有的基于Socket的网络通信。

(2)采用分级过滤的策略，***中实现基于URL地址、基于关键字以及基于内容的过滤。

(3)利用支持向量机对训练样本进行学习，构建用户模板，并利用反馈过程不断地优化模板以适应网络信息变化的需要。

(4)采用数据库作为存储体，保存分词结果、统计数据及特征词表等信息，这样，各模块之间可以通过数据库来进行交换信息。

(5)采用分块过滤的方法来进行网页的过滤，避免屏蔽整个网页，实现细粒度过滤。

现有的技术方案主要是在网络终端的web浏览器上设置过滤***，即耗费了终端的运行内存。同时由于用户本身设置不当或过滤***本身的设置问题，使得拦截往往存在错误或误差，给用户使用终端web浏览器或其他程序带来不便。现有的技术方案重复建设度高、成本昂贵，针对不同的应用场景和不同的用户，需要重复建设过滤***。即使现有的过滤***主要由大型的数据库提供硬件支持，但是这样仍远远满足大规模的web信息过滤的需求，而且维护也困难。现有的过滤***在过滤时需要用于抓包软件对数据包进行协议分析，并根据HTTP协议特点，重组HTML，才能得到过滤数据，这种方式在大规模进行过滤时，就要花费大量的时间进行数据重组，而且数据往往不完整，容易成为过滤瓶颈。

发明内容

针对上述现有技术的不足，本发明的目的是提供一种基于云计算的web内容信息过滤方法，解决现有过滤***的重复建设度高、维护昂贵、数据存储量小、不能进行大规模web信息过滤等问题。

本发明的技术方案是这样的：基于云计算的web内容信息过滤方法，其特征在于，包括本地DNS服务器协同根DNS服务器和目标DNS服务器获得与终端用户请求访问的网址对应的IP地址，本地DNS服务器将IP地址发送给云计算过滤***，由云计算过滤***反馈拦截或者应答指令，如果本地DNS服务器接收到拦截指令则不将IP地址信息发送给终端用户，如果本地DNS服务器接收到应答指令则将IP地址信息发送给终端用户。

优选的，所述云计算过滤***反馈拦截或者应答指令过程如下：接收本地DNS服务器发送的IP地址信息后，将IP地址信息发送给FSVM检测模块获得该IP地址风险权值，根据IP地址风险权值确定反馈拦截或者应答指令。

优选的，所述IP地址风险权值分为高、中、低三等，IP地址风险权值分为高时反馈拦截指令，IP地址风险权值分为中或低时，反馈应答指令。

优选的，所述FSVM检测模块获得该IP地址风险权值过程如下：连接IP地址对应web服务器，获取web过滤测试样本，web过滤测试样本向量化后由用户模板确定所属类别，再通过风险评估获得样本的风险权值；其中所述用户模板由存储样本数据预先训练生成。

优选的，所述风险评估获得样本的风险权值后，若该样本风险权值为高，则将其加入用于训练用户模板的样本数据库，再次训练生成用户模板。

优选的，所述将IP地址信息发送给FSVM检测模块获得该IP地址风险权值前判断该IP地址是否存在于IP地址权值库中，若为是且IP地址的风险权值为高则反馈拦截指令；若为是且IP地址的风险权值为低则反馈应答指令；若为是且IP地址的风险权值为中或者IP地址权值库中不存在该IP地址则将IP地址信息发送给FSVM检测模块获得该IP地址风险权值，将IP地址风险权值添加或更新与IP地址权值库，根据IP地址风险权值确定反馈拦截或者应答指令。

本发明所提供的技术方案，基于云计算的web过滤信息平台直接与DNS服务器的交互通信获取需要过滤的web内容的IP地址，然后与web服务器直接通信获取web内容数据，无需再进行抓包数据重组等过程既保证了获取的测试数据的完整性，同时比现有技术更加高效。本***基于云构架平台，云计算平台提供了足够的存储空间，高速的运算效率，为大规模进行web信息过滤提供了硬件支持。采用SVM算法分类识别，模糊算法权值评估；高、中、低等级判定，此外对于中级web内容还需再次验证测试等多种方法，提高了web内容信息过滤精度。本方案整个过滤平台部署于云计算平台，过滤过程在云计算平台上完成，不占用本地终端的内存。DNS服务器连接为部署基础，各终端进行web信息浏览时必须要进行DNS服务器解析IP地址。而管理员就可以通过设置管理员服务器来实现web内容过滤的统一管理和调控，更加有效地保证了网络环境的安全和健康。

附图说明

图1为本发明基于云计算的web内容信息过滤***网络部署图。

图2为本发明过滤***中IP地址权值库存储和消除方式示意图。

图3为基于云计算的web内容信息过滤***的过滤流程图。

具体实施方式

下面结合实施例对本发明作进一步说明，但不作为对本发明的限定。

请参见图1，基于云计算的web内容信息过滤***部署在云端，且该***直接与本地DNS服务器链接，通过与本地DNS服务器通信完成web内容信息过滤。其过滤流程为：

(1)、终端用户在终端浏览器中输入合法的网址URL，并向本地的DNS服务器发送解析请求。

(2)、本地DNS服务器协同根DNS服务器和目标DNS服务器获得与网址对应的IP地址。

(3)、本地DNS服务器在获得IP地址后，向基于云计算的web内容信息过滤***发送验证请求。

(4)、基于云计算的web内容信息过滤***直接与DNS服务器链接交互，DNS服务器将目标web服务器的IP信息发送给过滤***，并询问它如何操作（对终端进行应答还是拦截）；过滤***从DNS服务器获得IP信息之后，直接向DNS服务器发送操作指令，或者与相关web服务器进行通信来获取数据，并对web信息进行分析过滤，并根据过滤的结果向DNS服务器发送操作指令。

(5)、DNS服务器根据收到的操作指令与终端进行通信。若DNS从基于云计算的web内容信息过滤***收到的是应答指令，则将相关IP地址发送给终端；若收到的是拦截指令，则不将该IP地址信息发送给终端，终端web浏览器则无法浏览相关web内容。

基于云计算的web内容信息过滤***主要由3类数据库和6个功能模块组成：DNS备份数据库、IP地址权值库、web内容信息特征库，以及数据库管理模块、定时器、FSVM（模糊支持向量机）检测模块、安全等级判定模块、IP验证模块、DNS服务器交互模块。

DNS备份数据库：DNS服务器与基于云计算的web内容信息过滤***之间实现物理和逻辑链接之后，DNS服务器自动将所存储的DNS数据传输到过滤***，存储在DNS备份数据库中。进行定时过滤时，过滤***无需与DNS服务器进行交互，就可直接根据DNS备份数据库中的IP信息，对相关的web服务器进行定时检测过滤。

IP地址权值库：IP地址权值库中存储经过FSVM检测模块处理得到的IP地址风险权值信息。为保证IP地址权值库中数据能够实时更新，同时保证IP权值数据库的容量不会无限扩大，IP地址权值库数据存储采取队列的方式进行存储。IP地址权值库的容量是由管理员设定；IP地址权值库的存储空间被分为块，IP地址权值存储在块中，这些块按存储时间进行标识排序。当数据库存储的数据量达到存储空间上限时，按标识的时间顺序进行消除，直到存储量达到存储空间的下限。如图2所示，首先消除处于队列首部存储时间最早的IP地址权值块，存储最新的IP过滤信息存储在队列的尾部，以此来保证IP地址权值库的动态更新。

Web内容信息特征库：Web内容信息特征库存储FSVM检测模块所需的样本数据。

数据库管理模块：数据库管理模块为所有的数据库进行备份，当数据库被破坏时，自动连接备份数据库。该模块还对各数据库进行实时监测，当发现数据库小范围受损时，根据备份数据进行自动修复，另外在发现数据库受损或破坏时向管理员服务器发出警告信息。

DNS服务器交互模块：一方面，DNS服务器交互模块主要负责接收DNS服务器的过滤请求（请求中包含需要过滤的web服务器IP地址信息），并将IP地址信息传输至IP验证模块进行过滤验证。另一方面，DNS服务器交互模块根据云计算平台的过滤结果向DNS服务器发送操作指令（拦截或应答）。

IP验证模块：IP验证模块根据从DNS服务器交互模块中收到的IP地址，利用搜索算法在IP地址权值库中搜索该IP地址的最新风险权值，并在该IP地址的风险权值信息中加入验证标识，说明该IP在此之前已被检测验证过，并将信息传输至安全等级判定模块。若没有在IP地址权值库中搜索到该IP的相关信息，则将该IP地址信息传输至FSVM检测模块。

FSVM检测模块：FSVM检测模块中主要结合SVM（支持向量机）算法和模糊算法对相关的web内容信息进行分析评估，首先通过SVM算法对web内容进行识别分类，然后通过模糊评估模块对分类好的web内容进行风险评估，权值越高风险就越高，web内容需要被过滤的可能性就越大。FSVM检测模块的工作流程为：在接收到IP验证模块的IP地址信息后，web服务器连接模块实现与web服务器的通信，接收web服务器传输的数据包，从而得到完整的HTML文本内容，形成所需过滤的测试样本。SVM学习训练模块从信息特征库中获取样本数据进行训练学习，生成用户模板。它首先经过分词程序，将切分出来的内容作为特征选择的原始特征集；然后，根据特征选择形成的特征词典，将训练样本中的文档表示成向量；最后，利用生成的向量进行SVM训练，生成用户模板。识别分类模块从web连接模块中获取所需过滤的测试样本，并对其进行数据预处理，分词，提取特征并得到向量表示，最后通过用户模板确定所属类别。模糊评估模块首先对已经分好的类别进行模糊识别，模糊识别主要是通过对每个分类增加一个隶属函数，从而得到每个类别的隶属权值。然后通过权值风险评估，得到最终所有类别的加权值，所得的权值越大则被过滤的可能性越高，即权值越大web内容的风险越高。对于风险权值等级为高的样本内容，则需要将其作为增量样本加入到训练样本中，实现对训练样本的增量学习。反馈模块中的增量学习是对训练样本生成的用户模板进行更新，从而提高用户模板的精确度。此外，反馈模块将得到的评估权值传输至安全等级判定模块；同时记录相关数据，将数据存储在IP地址权值库并传输至管理员服务器，为管理员分析过滤情况时提供数据支持。

定时器模块：定时器模块为每个DNS服务器分配一个定时器，根据管理员设定的时间周期，自动通知FSVM检测模块对DNS服务器的备份数据中的web服务器进行逐个连接通信，检测其web信息，实现对IP地址权值库的定时更新。

安全等级判定模块：安全等级判定模块对风险权值进行安全等级的判定，将IP地址的风险权值分为高、中、低三个等级，高等级则说明该web内容肯定含有黄色、暴力或反动等内容，相关web地址必须要被拦截；中等级则说明该web内容可能含有黄色、暴力或反动内容，但威胁性不高，可以不被拦截，但是下次必须再次检测确保过滤效果；低等级则说明web内容是安全健康的，不需要拦截。该判定的等级划分是由管理员设定IP地址风险权值的上下限确定，IP地址风险权值高于上限则为高等级，低于下限则为低等级，中间部分为中等级。安全等级判定模块接收到数据之后检测权值信息中是否有验证标识，若有标识说明是接收的权值信息是由IP验证模块传输的，当判定为中等级时需要将数据传输到FSVM检测模块中再次进行权值检测。若无标识，则说明该权值是由FSVM传输的，直接进行等级判定并将判定结果发送至DNS服务器交互模块。

在云端还设置管理员服务器，通过对DNS服务器的IP地址的增加、修改和删除来实现对与过滤***连接的DNS服务器的增加、修改和删除。设定过滤***定时模块的时间周期，设定安全等级判定模块中的IP地址风险权值上下限，还可对SVM算法的训练样本库和其他数据进行操作。

如图3所示，基于云计算的web内容信息过滤***的过滤流程为，DNS服务器交互模块接收来自本地DNS服务器的过滤请求，请求中含有需要检测过滤的web服务器的IP地址信息。DNS服务器交互模块对请求进行数据处理，提取当中的IP地址信息，并传输给IP验证模块。IP验证模块调用搜索算法，在IP地址权值库中搜索该IP风险权值。

如果该IP不在IP地址权值库中，则说明该IP所对应的web内容还没进行检测过滤，或检测时间已经过期，需要重新检测，因此不需要在IP权值信息中加入验证标识。然后将该IP信息传输到FSVM检测模块；FSVM检测模块中的web服务器连接模块与该IP对应的web服务器进行通信获取数据；识别分类模块对网页内容进行量化（其中包括数据预处理，特征提取，向量表示）；得到的量化数据后进行FSVM检测得到风险权值（其中包括通过户模板确定所属类别，然后对各类进行模糊识别，得到每个类别的隶属权值，再通过权值风险评估，得到最终所有类别的加权值，权值越大web内容的风险越高，对于风险权值等级为高的样本内容，则需要将其作为增量样本加入到训练样本中进行增量学习同时记录相关数据）；再将IP地址风险权值传输至安全等级判定模块并添加到IP地址权值库中，风险权值若高于上限则判定为高等级，若处于上限和下限则判定为中等级，若低于下限则判定为低等级；将得到的结果传输至DNS服务器交互模块，DNS服务器交互模块根据结果进行操作：高等级则向DNS服务器发送拦截指令，中或低等级则向DNS服务器发送应答指令。

如果该IP在IP地址权值库中，则在IP地址风险权值信息中加入验证标识，并将数据传输到安全等级判定模块，安全等级判定模块验证标识之后，进行高、中、低等级判定。若判定结果为高或低等级，则直接将结果传输到DNS服务器交互模块，为高则直接发送拦截指令，为低则发送应答指令。若判定结果为中等级，则将该IP地址信息传输至FSVM检测模块，重新进行检测，并将得到新的风险权值按时间顺序存储在IP地址权值库中并删除原有的风险权值信息，然后根据新的风险权值进行安全等级判定，为高等级则发送拦截指令，为中或低等级则发送应答指令。

该过滤***还可以根据管理员设定的时间周期，进行定时过滤，即根据管理员设定的时间周期，自动通知FSVM检测模块对DNS服务器的备份数据中的web服务器进行逐个连接通信。Web连接模块逐条获取指定的IP数据，FSVM检测模块进行检测，并将得到的新的风险权值按时间顺序存储在IP地址权值库中并删除原有的风险权值信息。

Claims

1.一种基于云计算的web内容信息过滤方法，其特征在于，包括本地DNS服务器协同根DNS服务器和目标DNS服务器获得与终端用户请求访问的网址对应的IP地址，本地DNS服务器将IP地址发送给云计算过滤***，由云计算过滤***反馈拦截或者应答指令，如果本地DNS服务器接收到拦截指令则不将IP地址信息发送给终端用户，如果本地DNS服务器接收到应答指令则将IP地址信息发送给终端用户。

2.根据权利要求1所述的基于云计算的web内容信息过滤方法，其特征在于：所述云计算过滤***反馈拦截或者应答指令过程如下：接收本地DNS服务器发送的IP地址信息后，将IP地址信息发送给FSVM检测模块获得该IP地址风险权值，根据IP地址风险权值确定反馈拦截或者应答指令。

3.根据权利要求2所述的基于云计算的web内容信息过滤方法，其特征在于：所述IP地址风险权值分为高、中、低三等，IP地址风险权值分为高时反馈拦截指令，IP地址风险权值分为中或低时，反馈应答指令。

4.根据权利要求2所述的基于云计算的web内容信息过滤方法，其特征在于：所述FSVM检测模块获得该IP地址风险权值过程如下：连接IP地址对应web服务器，获取web过滤测试样本，web过滤测试样本向量化后由用户模板确定所属类别，再通过风险评估获得样本的风险权值；其中所述用户模板由存储样本数据预先训练生成。

5.根据权利要求4所述的基于云计算的web内容信息过滤方法，其特征在于：所述风险评估获得样本的风险权值后，若该样本风险权值为高，则将其加入用于训练用户模板的样本数据库，再次训练生成用户模板。

6.根据权利要求3所述的基于云计算的web内容信息过滤方法，其特征在于：所述将IP地址信息发送给FSVM检测模块获得该IP地址风险权值前判断该IP地址是否存在于IP地址权值库中，若为是且IP地址的风险权值为高则反馈拦截指令；若为是且IP地址的风险权值为低则反馈应答指令；若为是且IP地址的风险权值为中或者IP地址权值库中不存在该IP地址则将IP地址信息发送给FSVM检测模块获得该IP地址风险权值，将IP地址风险权值添加或更新与IP地址权值库，根据IP地址风险权值确定反馈拦截或者应答指令。