CN108197465B - 一种网址检测方法及装置 - Google Patents
一种网址检测方法及装置 Download PDFInfo
- Publication number
- CN108197465B CN108197465B CN201711214361.6A CN201711214361A CN108197465B CN 108197465 B CN108197465 B CN 108197465B CN 201711214361 A CN201711214361 A CN 201711214361A CN 108197465 B CN108197465 B CN 108197465B
- Authority
- CN
- China
- Prior art keywords
- type
- webpage
- sensitive information
- cooperative
- router
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/562—Static detection
- G06F21/563—Static detection by source code analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Virology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种网址检测方法及装置。该网址检测方法可以包括:路由器对待测试网页进行预处理,根据第一敏感信息类型对待测试网页对应的网页内容进行分类并标识类型,以及统计每种类型的第一敏感信息的数量;路由器根据第一敏感信息的种类和数量,预估网页检测所需要的协作路由器的种类,以及每种类型的协作路由器对应的任务量;路由器根据协作路由器的属性分配检测任务。本发明实施例提供了一种网址检测方法及装置,通过多路由器协作完成对一个网页内容的检测,不需要云端服务器协助检测,从而减轻云端服务器负载,为用户提供了及时高效服务。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种网址检测方法及装置。
背景技术
当今计算机技术与日俱进,互联网已遍布到人们生活中的各个角落,与此同时,随之而来的网络安全问题也越来越多,在众多的网络安全问题中,计算机病毒、间谍软件、恶意网址和木马是近年来对互联网的主要安全威胁。而在这些安全威胁中,恶意网址带来的影响最为普遍,所造成的后果也最为严重。
传统的特征检测大多采用基于代码特征的检测方法,特征匹配技术是广泛应用于杀毒软件中的技术,网络安全专家提取网页代码中恶意脚本的特征码,并将其加入特征库中以供匹配来实现。在浏览器访问网址时,使用特征库与网页中的文本进行匹配,如果匹配成功则证明该网站为恶意网址。与其他检测方法相比,基于特征的具有速度快、效率高的优等优点,但是特征数量往往十分庞大。
目前,很多研究将恶意网址检测的工作通过云端服务器进行处理,大大提高了准确性,但是由用户产生的大量数据需要采集、传输和处理,给当前的网络***以及各种计算***带来了巨大压力,而且难以提供实时的分析和处理。
发明内容
本发明实施例提供了一种网址检测方法及装置,旨在利用多路由器协作的方式进行恶意网址检测,更加高效准确地检测出恶意网址,同时能减轻因数据庞大导致的存储压力,减轻服务器和网络的负载,为用户服务请求提供高效的服务响应。
第一方面,本发明实施例提供了一种网址检测方法,该网址检测方法可以包括:对待测试网页进行预处理,根据第一敏感信息的类型对待测试网页对应的网页内容进行分类并标识类型,以及统计每种类型的第一敏感信息的数量;根据第一敏感信息的类型和数量,预估网址检测所需要的协作路由器的种类,以及每种类型的协作路由器对应的检测任务;根据协作路由器的属性分配检测任务。
优选地,对待测试网页进行预处理,根据第一敏感信息的类型对待测试网页对应的网页内容进行分类标识,并统计每种类型的第一敏感信息的数量,包括:解析待检测网页对应的页面内容,根据第一敏感信息的类型对网页内容进行分类截取并标识类型,以及统计每种类型的第一敏感信息的数量。
优选地,第一敏感信息的类型可以包括JS脚本(javascript)、层叠样式表(CSS)脚本、和/或a标签中的一个或多种。路由器对待测试网页进行预处理分析,解析接收到的待检测网址对应的页面内容,将网页内容按照JS脚本、CSS脚本、a标签等敏感信息类型对网页内容进行分类截取并标识类型,然后统计各类型的敏感信息数量。
优选地,根据第一敏感信息的类型和数量,预估网址检测所需要的协作路由器的种类,以及每一类型的协作路由器对应的检测任务量,包括:根据第一敏感信息的类型和数量,在线协作路由器的数目,以及地理位置确定网址检测所需要的协作路由器的数量,以及统计网页内容中每种类型的第一敏感信息的代码量,根据每种类型的第一敏感信息的代码量预估每种类型协作路由器对应的检测任务。路由器根据统计得到的敏感信息的类型和数量,预估网页检测所需要的协同路由器的类型和每种类型对应的任务量;根据协作路由器的所检测敏感信息类型、处理能力、负载状态等属性分配该协作路由器的检测任务,并结合协作路由器的历史数据,对于稳定性较差的路由器,组网域内选择多个协作路由器进行同一类特征检测任务。
优选地,协作路由器的属性包括协作路由器的处理能力、负载状态;
优选地,根据协作路由器的属性分配检测任务,包括:采用动态负载均衡策略,协作路由器的计算能力和实时响应的负载情况,分配检测任务。
优选地,网址检测方法还包括:根据协作路由器的历史在线稳定性数据,对检测任务进行冗余备份。
优选地,网址检测方法还包括:保存第二敏感信息的恶意特征代码库。路由器只存储特定类型的恶意特征代码库,并根据所存储的特征库检测接收的敏感信息是否为恶意代码。
第二方面,本发明实施例提供了一种网址检测装置,该网址检测装置可以包括:预处理单元,用于对待测试网页进行预处理,根据第一敏感信息的类型对待测试网页对应的网页内容进行分类并标识类型,以及统计每种类型的第一敏感信息的数量;预估单元,用于根据第一敏感信息的类型和数量,预估网页检测所需要的协作路由器的种类,以及每种类型的协作路由器对应的检测任务;分配单元,用于根据协作路由器的属性分配检测任务。
本发明实施例提供了一种网址检测方法及装置,通过多路由器协作完成对一个网页内容的检测,不需要云端服务器协助检测,从而减轻云端服务器负载,为用户提供了及时高效服务。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的网址检测架构图;
图2为本发明实施例提供了一种网址检测方法的流程图;
图3为本发明实施例提供了一种网址检测装置的结构示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
图1是本发明实施例提供的网址检测架构图。如图1所示,包括源路由器和多个协作路由器。源路由器和多个协作路由器共同进行一个网址检测工作;首先源路由器对待测试网页进行预处理分析,解析接收到的待检测网址对应的页面内容,将网页内容按照敏感信息类型对网页内容进行分类截取并标识类型。路由器根据统计得到的敏感信息的种类和数量,路由器将分类截取的网页内容按照协作路由器所检测敏感信息类型定向发送给负责相应类型检测任务的多个协作路由器,源路由器根据每一个协作路由器的计算能力和负载状况决定分配给各协作路由器的敏感信息的数量。
本发明实施例提供了一种网址检测方法及装置,通过多路由器协作完成对一个网页内容的检测,不需要云端服务器协助检测,从而减轻云端服务器负载,为用户提供了及时高效服务。
图2为本发明实施例提供了一种网址检测方法的流程图。如图2所示,该网址检测方法可以包括以下步骤:
步骤S201:首先路由器对待测试网页进行预处理,根据第一敏感信息的类型对待测试网页对应的网页内容进行分类并标识类型,以及统计每种类型的第一敏感信息的数量。
具体地,路由器解析待检测网页对应的页面内容,根据第一敏感信息的类型对网页内容进行分类截取并标识类型,以及统计每种类型的第一敏感信息的数量。
需要说明的是,由于恶意特征代码匹配过程所消耗时间较长,在解析页面内容时会对页面信息进行预处理。在进行字符串匹配时,有大量不必要的匹配内容,如div标签中class的属性,form标签中的属性。根据恶意的制作方式,将页面中敏感位置的字符串进行提取,例如网页源代码<a href="http://blog.csdn.net/turingbooks/article/ details/77479427">中的a标签中的href属性将会被提取出来,例如而script标签中的JS脚本内容则会被全部提取,在HTML文件中网页中所包含的链接数量,这个特征用于记录包含src属性的元素的数量,主要包括script、iframe、frame、embed、form、object等元素,这些元素可以用于引入外站内容(比如可执行代码)将文件,也在记录范围内,恶意特征种类很多,在此不一一赘述。进行预处理后,可以得到文件中敏感位置的信息。
可选的,第一敏感信息的类型包括,JS脚本、CSS脚本、a标签中的一个或多个,路由器对待检测网页的网页内容进行分类截取并标识类型,然后统计各类型的敏感信息数量。网页中各类型的敏感信息的数量可如下表所示。
类型 | 数量 |
JS脚本 | 8 |
CSS脚本 | 3 |
a标签 | 13 |
src·属性 | 15 |
…… | …… |
需要说明的是,所有能对网页内容进行分类并标识类型的敏感信息都可以称为第一敏感信息。
步骤S202:路由器根据第一敏感信息的类型和数量,预估网址检测所需要的协作路由器的种类,以及每种类型的协作路由器对应的检测任务。
具体地,路由器根据第一敏感信息的类型和数量,在线协作路由器的数目,以及地理位置优先确定网址检测所需要的协作路由器的数量,以及统计网页内容中每种类型的第一敏感信息的代码量,根据每种类型的第一敏感信息的代码量预估每种类型协作路由器对应的检测任务。
本发明实施例中,路由器根据统计得到的敏感信息的类型和数量,预估网址检测所需要的协同路由器的类型和每种类型对应的任务量;根据协作路由器的所检测敏感信息类型、处理能力、负载状态等属性分配该协作路由器的检测任务,并结合协作路由器的历史数据,对于稳定性较差的路由器,组网域内选择多个协作路由器进行同一类特征检测任务。
步骤S203:路由器根据协作路由器的属性给协作路由器分配检测任务。
具体地,步骤S202已经预估了检测所需要的协作路由器的种类,以及每种类型的写作路由器对应的检测任务;然后路由器采用动态负载均衡策略,协作路由器的计算能力和实时响应的负载情况,给符合步骤S202中条件的协作路由器分配检测任务。各协作路由器分配情况如下表所示。
可选地,协作路由器的属性包括协作路由器的处理能力、负载状态。
可选的,为保证检测***的鲁棒性,结合协作路由器的历史数据,对于稳定性较差的路由器进行冗余备份,组网域内选择多个协作路由器进行同一类特征检测任务。
可选的,路由器存储第二敏感信息的恶意特征代码库,并根据所存储的特征库检测接收的敏感信息是否为恶意代码,多台路由器分工协作完成一个恶意网址内容检测工作。第二敏感信息主要是针对路由器自身性质决定,例如,路由器的自身性质,决定该路由器只存储CSS,JS脚本的恶意特征代码库。
可选的,源路由器接收到任意一台协作路由器的恶意网址认定结果,立即将恶意网址提醒界面返回给用户,无需等待其他协作路由器的恶意网址检测结果。
图3为本发明实施例提供了一种网址检测装置的流程图。如图3所示,该网址检测装置可以包括:
预处理单元,用于对待测试网页进行预处理,根据第一敏感信息类的型对待测试网页对应的网页内容进行分类并标识类型,以及统计每种类型的第一敏感信息的数量;预估单元,用于根据第一敏感信息的类型和数量,预估网址检测所需要的协作路由器的种类,以及每种类型的协作路由器对应的任务;分配单元,用于根据协作路由器的属性分配检测任务。
可选地,预处理单元,具体用于:解析待检测网页对应的页面内容,根据第一敏感信息的类型对网页内容进行分类截取并标识类型,以及统计每种类型的第一敏感信息的数量。
可选地,第一敏感信息的类型可以包括JS脚本、层叠样式表(CSS)脚本、和/或a标签中的一个或多种。
可选地,预估单元,具体用于:根据第一敏感信息的类型和数量,在线协作路由器的数目,以及地理位置确定网页检测所需要的协作路由器的数量,以及统计网页内容中每种类型的第一敏感信息的代码量,根据每种类型的第一敏感信息的代码量预估每种类型协作路由器对应的检测任务。
可选地,协作路由器的属性包括协作路由器的处理能力、负载状态;
可选地,分配单元,具体用于:采用动态负载均衡策略,协作路由器的计算能力和实时响应的负载情况,分配检测任务。
可选地,网址检测装置还包括存储单元,该存储单元,用于:根据协作路由器的历史在线稳定性数据,对检测任务进行冗余备份。
可选地、存储单元,还用于:保存第二敏感信息的恶意特征代码库。路由器只存储特定类型的恶意特征代码库,并根据所存储的特征库检测接收的敏感信息是否为恶意代码。
本发明实施例提供了一种网址检测方法及装置,通过多路由器协作完成对一个网页内容的检测,不需要云端服务器协助检测,从而减轻云端服务器负载,为用户提供了及时高效服务。
以上所述仅为本发明的具体实施方式,并非用于限定本发明的保护范围,本领域的技术人员应当理解,在不脱离发明原理的前提下,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的保护范围中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种网址检测方法,其特征在于,包括:
对待测试网页进行预处理,根据第一敏感信息的类型对所述待测试网页对应的网页内容进行分类并标识类型,以及统计每种类型的第一敏感信息的数量;
所述对待测试网页进行预处理,根据第一敏感信息的类型对所述待测试网页对应的网页内容进行分类标识,包括:解析所述待测试网页对应的页面内容,根据所述第一敏感信息的类型对所述网页内容进行分类截取并标识类型;
所述第一敏感信息的类型包括JS脚本(javascript)、层叠样式表(CSS)脚本、和/或a标签中的一个或多种;
根据所述第一敏感信息的类型和数量,预估网址检测所需要的协作路由器的种类,以及每种类型的协作路由器对应的检测任务;
根据协作路由器的属性分配检测任务。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一敏感信息的类型和数量,预估网址检测所需要的协作路由器的种类,以及每种类型的协作路由器对应的检测任务,包括:
根据所述第一敏感信息的类型和数量,在线协作路由器的数目,以及地理位置确定网址检测所需要的协作路由器的数量,以及统计所述网页内容中每种类型的第一敏感信息的代码量,根据所述每种类型的第一敏感信息的代码量预估所述每种类型协作路由器对应的检测任务。
3.根据权利要求1所述的方法,其特征在于,所述协作路由器的属性包括所述协作路由器的处理能力、负载状态。
4.根据权利要求3所述的方法,其特征在于,根据协作路由器的属性分配检测任务,包括:
采用动态负载均衡策略,协作路由器的计算能力和实时响应的负载情况,分配所述检测任务。
5.根据权利要求1所述的方法,其特征在于,还包括:
根据所述协作路由器的历史在线稳定性数据,对所述检测任务进行冗余备份。
6.一种网址检测装置,其特征在于,包括:
预处理单元,用于对待测试网页进行预处理,根据第一敏感信息的类型对所述待测试网页对应的网页内容进行分类并标识类型,以及统计每种类型的第一敏感信息的数量;所述对待测试网页进行预处理,根据第一敏感信息的类型对所述待测试网页对应的网页内容进行分类标识,包括:解析所述待测试网页对应的页面内容,根据所述第一敏感信息的类型对所述网页内容进行分类截取并标识类型;所述第一敏感信息的类型包括JS脚本(javascript)、层叠样式表(CSS)脚本、和/或a标签中的一个或多种;
预估单元,用于根据所述第一敏感信息的类型和数量,预估网址检测所需要的协作路由器的种类,以及每种类型的协作路由器对应的检测任务;
分配单元,用于根据协作路由器的属性分配检测任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711214361.6A CN108197465B (zh) | 2017-11-28 | 2017-11-28 | 一种网址检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711214361.6A CN108197465B (zh) | 2017-11-28 | 2017-11-28 | 一种网址检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108197465A CN108197465A (zh) | 2018-06-22 |
CN108197465B true CN108197465B (zh) | 2020-12-08 |
Family
ID=62573266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711214361.6A Active CN108197465B (zh) | 2017-11-28 | 2017-11-28 | 一种网址检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108197465B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111130916B (zh) * | 2018-10-31 | 2022-02-08 | 中国电信股份有限公司 | 网络质量探测方法和管理装置 |
CN110336790B (zh) * | 2019-05-29 | 2021-05-25 | 网宿科技股份有限公司 | 一种网站检测的方法和*** |
CN110222523B (zh) * | 2019-06-26 | 2021-10-15 | 新华网(北京)科技有限公司 | 检测方法、装置、***及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1719831A (zh) * | 2005-07-15 | 2006-01-11 | 清华大学 | 基于集群路由器结构的高可用分布式边界网关协议*** |
CN101330409A (zh) * | 2008-08-01 | 2008-12-24 | 杭州华三通信技术有限公司 | 一种检测网络漏洞的方法和*** |
CN104125209A (zh) * | 2014-01-03 | 2014-10-29 | 腾讯科技(深圳)有限公司 | 恶意网址提示方法和路由器 |
CN104994109A (zh) * | 2015-07-14 | 2015-10-21 | 天津大学 | 基于漏洞攻击的自组织网络协议安全分析方法 |
CN107241334A (zh) * | 2017-06-16 | 2017-10-10 | 上海斐讯数据通信技术有限公司 | 网络病毒防护方法和用于网络病毒防护的路由器 |
-
2017
- 2017-11-28 CN CN201711214361.6A patent/CN108197465B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1719831A (zh) * | 2005-07-15 | 2006-01-11 | 清华大学 | 基于集群路由器结构的高可用分布式边界网关协议*** |
CN101330409A (zh) * | 2008-08-01 | 2008-12-24 | 杭州华三通信技术有限公司 | 一种检测网络漏洞的方法和*** |
CN104125209A (zh) * | 2014-01-03 | 2014-10-29 | 腾讯科技(深圳)有限公司 | 恶意网址提示方法和路由器 |
CN104994109A (zh) * | 2015-07-14 | 2015-10-21 | 天津大学 | 基于漏洞攻击的自组织网络协议安全分析方法 |
CN107241334A (zh) * | 2017-06-16 | 2017-10-10 | 上海斐讯数据通信技术有限公司 | 网络病毒防护方法和用于网络病毒防护的路由器 |
Also Published As
Publication number | Publication date |
---|---|
CN108197465A (zh) | 2018-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10972495B2 (en) | Methods and apparatus for detecting and identifying malware by mapping feature data into a semantic space | |
US9954886B2 (en) | Method and apparatus for detecting website security | |
CN107204960B (zh) | 网页识别方法及装置、服务器 | |
CN104125209B (zh) | 恶意网址提示方法和路由器 | |
US9614862B2 (en) | System and method for webpage analysis | |
US20190034632A1 (en) | Method and system for static behavior-predictive malware detection | |
US20130042306A1 (en) | Determining machine behavior | |
US10079770B2 (en) | Junk information filtering method and apparatus | |
CN104766014A (zh) | 用于检测恶意网址的方法和*** | |
CN108667840B (zh) | 注入漏洞检测方法及装置 | |
CN108197465B (zh) | 一种网址检测方法及装置 | |
WO2018095411A1 (zh) | 一种网页聚类方法及装置 | |
US9262536B2 (en) | Direct page view measurement tag placement verification | |
CN107784205B (zh) | 一种用户产品审核的方法、装置、服务器和存储介质 | |
US20170337568A1 (en) | Data processing method, system and computer device based on electronic payment behaviors | |
EP3340097B1 (en) | Analysis device, analysis method, and analysis program | |
CN111600894A (zh) | 一种网络攻击检测方法及装置 | |
CN104036190A (zh) | 一种检测页面篡改的方法及装置 | |
CN111371757B (zh) | 恶意通信检测方法、装置、计算机设备和存储介质 | |
CN113779481A (zh) | 诈骗网站的识别方法、装置、设备及存储介质 | |
CN110572402A (zh) | 基于网络访问行为分析的互联网托管网站检测方法、***和可读存储介质 | |
CN110619075A (zh) | 一种网页识别方法与设备 | |
CN105975599B (zh) | 一种监测网站的页面埋点的方法和装置 | |
CN108804501B (zh) | 一种检测有效信息的方法及装置 | |
CN111314298B (zh) | 验证识别方法和装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |