CN104980309B - 网站安全检测方法及装置 - Google Patents

网站安全检测方法及装置 Download PDF

Info

Publication number
CN104980309B
CN104980309B CN201410144318.7A CN201410144318A CN104980309B CN 104980309 B CN104980309 B CN 104980309B CN 201410144318 A CN201410144318 A CN 201410144318A CN 104980309 B CN104980309 B CN 104980309B
Authority
CN
China
Prior art keywords
domain name
link
scanned
new
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410144318.7A
Other languages
English (en)
Other versions
CN104980309A (zh
Inventor
龙专
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxin Technology Group Co Ltd
Secworld Information Technology Beijing Co Ltd
Original Assignee
Beijing Qianxin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qianxin Technology Co Ltd filed Critical Beijing Qianxin Technology Co Ltd
Priority to CN201410144318.7A priority Critical patent/CN104980309B/zh
Priority to US15/303,216 priority patent/US9954886B2/en
Priority to PCT/CN2014/095944 priority patent/WO2015154539A1/zh
Publication of CN104980309A publication Critical patent/CN104980309A/zh
Priority to US15/939,133 priority patent/US20180219907A1/en
Application granted granted Critical
Publication of CN104980309B publication Critical patent/CN104980309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433Vulnerability analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种网站安全检测方法及装置。其中方法包括:针对网络进行旁路侦听,抓取超文本传输协议请求包,获取超文本传输协议请求包对应的链接,确定链接为新链接,则将链接***到待扫描队列中作为优先处理的待扫描任务;和/或提取链接对应的域名,确定域名为新域名,则将域名***到待扫描队列中作为优先处理的待扫描任务,针对待扫描队列中的待扫描任务进行漏洞扫描。通过对网络进行旁路侦听可以获取用户请求对应链接,在确定链接为新链接或判定链接的域名是新域名的情况下,优先对其进行漏洞扫描处理,达到实时监控网站安全问题,利于发现网站安全漏洞。

Description

网站安全检测方法及装置
技术领域
本发明涉及互联网领域,具体涉及一种网站安全检测方法及装置。
背景技术
随着互联网技术应用的越来越广泛,人们很多的日常工作和娱乐都在网络上进行,网络已跟我们的生活息息相关。因此,网站的安全也越来越被人们所重视。然而,网络存在着各种各样的安全隐患,比如:COOKIE中毒、应用程序缓冲溢出、跨站脚本攻击、已知安全漏洞等等,无时无刻不让网站用户担心吊胆。网站用户希望了解网站的安全程度,使用较为安全的网站,而网站管理者希望能够及时修复漏洞,为网站用户提供安全的浏览平台。
在信息高度发达的今天,作为信息载体的网站业务(代码)更新频繁,而每个公司配备的信息安全人员不足以支持如此多和频繁的安全测试。
例如,孤岛页面是爬虫抓不到的页面,如果存在漏洞又被黑客发现了的话,会导致极大的安全风险。现有的漏洞扫描器都是基于蜘蛛技术来抓取网站链接后再进行安全测试的,不能及时扫描新上线的域名和不能检测到孤岛页面存在的漏洞。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网站安全检测方法和相应的网站安全检测装置。
根据本发明的一个方面,提供了一种网站安全检测方法,包括:
针对网络进行旁路侦听,抓取超文本传输协议(http)请求包;
获取所述超文本传输协议请求包对应的链接;
确定所述链接为新链接,则将所述链接***到待扫描队列中作为优先处理的待扫描任务;和/或
提取所述链接对应的域名,确定所述域名为新域名,则将所述域名***到待扫描队列中作为优先处理的待扫描任务;
针对待扫描队列中的待扫描任务进行漏洞扫描。
可选地,获取所述超文本传输协议请求包对应的链接之后还包括:
将所述链接加入到链接库中;
根据所述链接库确定所述链接是否为新链接和/或所述域名是否为新域名。
可选地,将所述链接加入到链接库中还包括:
将所述链接库中具有相同域名的链接进行汇总。
可选地,所述确定所述域名为新域名进一步包括:
检测在预设时间段内是否有所述域名的流量,若否,则确定所述域名为新域名。
可选地,所述确定所述域名为新域名进一步包括:
若检测所述域名所属的IP地址或IP地址范围存在所述域名所有人的验证域名,则确定所述域名为所述所有人的新域名。
可选地,在所述将链接加入到链接库中之前还包括:
分析所述链接是否为有效链接。
可选地,所述针对待扫描队列中的待扫描任务进行漏洞扫描具体包括:
向与所述待扫描任务对应的目标网站发送测试请求,根据所述目标网站返回的网页进行漏洞扫描。
根据本发明的另一方面,提供了一种网站安全检测装置,包括:
抓取模块,适于针对网络进行旁路侦听,抓取超文本传输协议(http)请求包;
获取模块,适于获取所述超文本传输协议请求包对应的链接;
处理模块,适于确定所述链接为新链接和/或提取所述链接对应的域名,确定所述域名为新域名;
***模块,适于将所述链接和/或所述域名***到待扫描队列中作为优先处理的待扫描任务;
扫描模块,适于针对待扫描队列中的待扫描任务进行漏洞扫描。
可选地,网站安全检测装置还包括:
链接库,适于存储所述链接;
判断模块,适于根据所述链接库确定所述链接是否为新链接和/或所述域名是否为新域名。
可选地,所述链接库包括:
汇总模块,适于将所述链接库中具有相同域名的链接进行汇总。
可选地,所述处理模块具体适于:
检测在预设时间段内是否有所述域名的流量,若否,则确定所述域名为新域名。
可选地,所述处理模块具体适于:
检测所述域名所属的IP地址或IP地址范围是否存在所述域名所有人的验证域名,若存在,则判定所述域名为所述所有人的新域名。
可选地,网站安全检测装置还包括:
分析模块,适于分析所述链接是否为有效链接。
可选地,所述扫描模块进一步包括:
请求单元,适于向与所述待扫描任务对应的目标网站发送测试请求;
扫描单元,适于根据所述目标网站返回的网页进行漏洞扫描。
根据本发明的方案,针对网络进行旁路侦听,抓取http请求包,获取http请求包对应的链接,确定链接为新链接,则将链接***到待扫描队列中作为优先处理的待扫描任务;和/或提取链接对应的域名,确定域名为新域名,则将域名***到待扫描队列中作为优先处理的待扫描任务,针对待扫描队列中的待扫描任务进行漏洞扫描。通过对网络进行旁路侦听可以获取用户请求对应链接,在确定链接为新链接或判定链接的域名是新域名的情况下,优先对其进行漏洞扫描处理,达到实时监控网站安全问题,利于发现网站安全漏洞。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的网站安全检测方法的流程图;
图2示出了根据本发明另一个实施例的网站安全检测方法的流程图;
图3示出了根据本发明一个实施例的网站安全检测装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的网站安全检测方法的流程图。如图1所示,该方法包括如下步骤:
步骤S100,针对网络进行旁路侦听,抓取http请求包。
http请求包可以是get请求包、post请求包等。get请求是以实体的方式得到由请求url(统一资源定位符)所指定资源的信息,如果请求url只是一个数据产生过程,那么最终要在响应实体中返回的是处理过程的结果所指向的资源,而不是处理过程的描述。post请求用来向目的服务器发出请求,要求它接受被附在请求后的实体,并把它当作请求队列中请求url所指定资源的附加新子项。get请求包、post请求包中均包含网页的url。
步骤S110,获取http请求包对应的链接。
由于http请求包中包含了网页的url,因此可以根据相应的url获取http请求包对应的链接,即网页的url。
步骤S120,确定链接为新链接,则将链接***到待扫描队列中作为优先处理的待扫描任务;和/或,提取链接对应的域名,确定域名为新域名,则将域名***到待扫描队列中作为优先处理的待扫描任务。
本实施例可以是根据链接和域名来确定优先处理的待扫描任务,也可以仅根据链接或仅根据域名确定优先处理的待扫描任务,即由确定链接为新链接,则将链接***到待扫描队列中作为优先处理的待扫描任务或提取链接对应的域名,确定域名为新域名,则将域名***到待扫描队列中作为优先处理的待扫描任务。
步骤S130,针对待扫描队列中的待扫描任务进行漏洞扫描。
根据本发明提供的方法,针对网络进行旁路侦听,抓取http请求包,获取http请求包对应的链接,确定链接为新链接,则将链接***到待扫描队列中作为优先处理的待扫描任务;和/或提取链接对应的域名,确定域名为新域名,则将域名***到待扫描队列中作为优先处理的待扫描任务,针对待扫描队列中的待扫描任务进行漏洞扫描。通过对网络进行旁路侦听可以获取用户请求对应链接,在确定链接为新链接或判定链接的域名是新域名的情况下,优先对其进行漏洞扫描处理,达到实时监控网站安全问题,利于发现网站安全漏洞。
图2示出了根据本发明另一个实施例的网站安全检测方法的流程图。如图2所示,该方法包括如下步骤:
步骤S200,针对网络进行旁路侦听,抓取http请求包。
http请求包主要包括:协议、服务器域名、端口号、请求包路径、get参数名、post参数名、扩展名、目标服务器网段等。http请求包可以是get请求包或post请求包等。get请求包、post请求包中均包含网页的url。
安全检测设备以旁路侦听的方式接入网络,对所有的网络请求进行旁路侦听。用户通过客户端访问网站时会向网站发送http请求,安全检测设备根据用户发送的http请求抓取http请求包。
步骤S210,获取超文本传输协议请求包对应的链接。
由于http请求包中包含了网页的url,对应地,从http请求包中可以还原得到相应的链接,即网页的url。
步骤S220,分析链接是否为有效链接,若是则执行步骤S230;若否则执行步骤S200。
有效链接指能够正常打开网页或下载文件的链接。无效链接指页面已经无效,无法对用户提供任何有价值信息的页面。当某一链接出现无域名、域名不全、链接不完整、post协议数据包没内容等现象时则将该链接判定为无效链接。以域名为abcd.com的某一链接为例,若链接中没有出现域名abcd.com或只出现域名的一部分如ad.com,则该链接为无效链接。
对步骤S210中获取的链接进行分析,判定该链接是否为有效链接,若链接出现无域名、域名不全、链接不完整、post协议数据包没内容等现象则判定链接为无效链接;若否则为有效链接。
步骤S230,将链接加入到链接库中。
链接库用于存储用户访问的所有有效链接。将步骤S220中的有效链接加入到链接库中。为了避免将同一链接重复加入到链接库,在判断链接为有效链接后,先判断链接库中是否存在该链接,若不存在,则将该链接加入到链接库中。本发明中,如果链接库中不存在该链接可将该链接视为新链接,这可作为后续判断链接是否为新链接的依据。
步骤S240,将链接库中具有相同域名的链接进行汇总。
举例来说,链接库中一部分链接具有相同的域名abcd.com,一部分链接具有相同的域名cefg.com,一部分链接具有相同的域名fged.com,则将链接库中的链接根据域名abcd.com、cefg.com、fged.com分别进行汇总。
步骤S250,提取链接对应的域名。
提取步骤S240中汇总后的链接对应的域名,例如,得到abcd.com、cefg.com、fged.com等域名。
步骤S260,判断域名是否为新域名,若是则执行步骤S270;若否则执行步骤S280。
本发明实施例给出了两种判断域名是否为新域名的方法,但判断方法不仅限于所列举方法:
方法1:检测在预设时间段内是否有域名的流量,若否,则确定域名为新域名。
流量指对网站的访问。以一个预设时间段为1个星期为例,检测在这一个星期内是否有域名的流量,若否,则判定域名为新域名。
举例来说,在1个星期内,并未检测到关于域名fged.com的流量,则可以判定域名fged.com为新域名。
方法2:检测域名所属的IP地址或IP地址范围是否存在域名所有人的验证域名,若存在,则确定域名为所有人的新域名。
举例来说,假设220.181.158.1~220.181.158.255这个IP网段内存在验证域名如webscan.xxx.cn/www.xxx.cn等,并且该IP段已经确认(通过人工方法或其它方法确认)是属于xxx公司的。如果在220.181.158.220这个IP上新出现了一个域名是newdomain.com,则可以认为这个域名是该公司的新域名。
利用上述两种方法来判定域名是否为新域名。在上面的例子中,设检测到fged.com为新域名,abcd.com、cefg.com为已存在域名。
步骤S270,将域名***到待扫描队列中作为优先处理的待扫描任务。
在判定域名fged.com为新域名后,将域名fged.com***到待扫描队列作为优先处理的待扫描任务,对待扫描任务进行排序如fged.com、abcd.com、cefg.com,其中新域名fged.com排在待扫描任务的最前列。
步骤S280,判断链接是否为新链接,若是则执行步骤S290;若否则执行步骤S300。
在判定域名不是新域名的情况下,来判断链接是否为新链接。新链接指在域名已存在的情况下,网络中未出现过的链接。举例来说,在判断域名abcd.com、cefg.com都为已存在域名后,判断具有上述域名的链接是否为新链接,例如判断链接http://www.abcd.com.***?***是否为新链接。
步骤S290,将链接***到待扫描队列中作为优先处理的待扫描任务。
在判断链接是新链接的情况下,将链接***到待扫描队列中作为优先处理的待扫描任务。举例来说,利用上述判断新链接的方法判断链接http://www.abcd.com.***?***是新链接,则将该链接***到待扫描队列中作为优先处理的待扫描任务。
步骤S300,将链接***到待扫描队列末尾。
步骤S310,向与待扫描任务对应的目标网站发送测试请求,根据目标网站返回的网页进行漏洞扫描。
根据待扫描任务分别向与待扫描任务对应的目标网站发送测试请求,目标网站在收到测试请求后将网页返回给安全检测设备,进行漏洞扫描服务,在进行漏洞扫描服务时会访问库带计划等独有漏洞库,判断待扫描任务是否安全。
网站安全检测数据包括以下至少之一:挂马数据、虚假欺诈数据、搜索屏蔽数据、旁注数据、篡改数据、漏洞数据。根据网站安全检测数据,按照与网站安全检测数据相对应的网站安全检测规则对网站进行安全检测,其中,网站安全检测规则包括以下至少之一:挂马规则、虚假欺诈规则、屏蔽规则、旁注规则、篡改规则、和漏洞规则。本发明主要利用漏洞规则对网页进行扫描。漏洞规则用于根据漏洞数据确定网站存在的漏洞。
根据漏洞数据,按照漏洞规则对网站进行安全检测包括:获取预先存储的漏洞特征数据库中的漏洞特征,判断漏洞数据是否符合漏洞特征,若漏洞数据符合漏洞特征,则确定为漏洞;若漏洞数据不符合漏洞特征,则确定为非漏洞。根据判断结果确定网站存在的漏洞,其中,漏洞特征可以为漏洞关键字。如,将网页状态代码404作为漏洞关键字;或者,将404页面内容作为漏洞关键字;或者,通过访问网站的正常网页,提取该正常网页的网页内容、网页状态代码和http头部,访问该网站不存在的网页,提取反馈网页的网页内容、网页状态代码和http头部,比较该正常网页和该反馈网页的网页内容、网页状态代码和http头部,获取404关键字作为漏洞关键字;再或者,访问不存在的网页,将反馈网页的网页内容、网页状态代码和http头部作为漏洞关键字等等,本发明对此不作限制。
图2所示的实施例提供的是根据域名和链接来确定优先处理的待扫描任务,作为另两种实施方式,也可以仅根据链接或仅根据域名确定优先处理的待扫描任务。
对于仅根据链接确定优先处理的待扫描任务的实施例,上述步骤S240-步骤S300可以替换为判断链接是否为新链接,若是则将链接***到待扫描队列中作为优先处理的待扫描任务;若否则将链接***到待扫描队列末尾。
对于仅根据域名确定优先处理的待扫描任务的实施例,上述步骤S240-步骤S300可以替换为将链接库中具有相同域名的链接进行汇总,提取链接对应的域名,判断域名是否为新域名,若是则将域名***到待扫描队列中作为优先处理的待扫描任务;若否则将域名***到待扫描队列末尾。
根据本发明的方法,针对网络进行旁路侦听,抓取超文本传输协议(http)请求包,获取超文本传输协议请求包对应的链接,分析链接是否为有效链接,若是则将链接加入到链接库中,将链接库中具有相同域名的链接进行汇总,提取链接对应的域名,根据链接库判断域名是否为新域名,若是则将域名***到待扫描队列中作为优先处理的待扫描任务;若否则判断链接是否为新链接,若是则将链接***到待扫描队列中作为优先处理的待扫描任务,若否则将链接***到待扫描队列末尾,向与待扫描任务对应的目标网站发送测试请求,根据目标网站返回的网页进行漏洞扫描。通过对网络进行旁路侦听可以获取用户请求对应链接,通过分析链接是否为有效链接并将链接库中具有相同域名的链接进行汇总,可以将一些无效的链接去除,并只对域名进行安全检测,在判断域名安全后,则可判定该域名下的链接是安全的,加快了安全检测流程,在检测域名是已存在域名的情况下,判断链接是否为新链接,可以对网络爬虫无法抓取的网页进行检测,达到实时监控网站安全问题,利于发现网站安全漏洞。
图3是根据本发明一个实施例的网站安全检测装置的结构框图。如图3所示,该装置包括:抓取模块320、获取模块330、分析模块340、链接库350、汇总模块360、判断模块370、处理模块380、***模块390、扫描模块400。
抓取模块320,适于针对网络进行旁路侦听,抓取http请求包。
http请求包主要包括:协议、服务器域名、端口号、请求包路径、get参数名、post参数名、扩展名、目标服务器网段等。http请求包可以是get请求包或post请求包等。get请求包、post请求包中均包含网页的url。
安全检测设备以旁路侦听的方式接入网络,对所有的网络请求进行旁路侦听。用户通过客户端访问网站时会向网站发送http请求,安全检测设备根据用户发送的http请求抓取http请求包。
获取模块330,适于获取超文本传输协议请求包对应的链接。
由于http请求包中包含了网页的url,对应地,从http请求包中可以还原得到相应的链接,即网页的url。
分析模块340,适于分析链接是否为有效链接。
有效链接指能够正常打开网页或下载文件的链接。无效链接指页面已经无效,无法对用户提供任何有价值信息的页面。当某一链接出现无域名、域名不全、链接不完整、post协议数据包没内容等现象时则将该链接判定为无效链接。以域名为abcd.com的某一链接为例,若链接中没有出现域名abcd.com或只出现域名的一部分如ad.com,则该链接为无效链接。
对获取模块330获取的链接进行分析,判定该链接是否为有效链接,若链接出现无域名、域名不全、链接不完整、post协议数据包没内容等现象则判定链接为无效链接;若否则为有效链接。
链接库350,适于存储链接。
链接库350用于存储用户访问的所有有效链接。将分析模块340分析判定的有效链接加入到链接库中。为了避免将同一链接重复加入到链接库350,在判断链接为有效链接后,进一步判断链接库中是否存在该链接,若不存在,则将该链接加入到链接库350中。
汇总模块360,适于将链接库中具有相同域名的链接进行汇总。
举例来说,链接库中一部分链接具有相同的域名abcd.com,一部分链接具有相同的域名cefg.com,一部分链接具有相同的域名fged.com,则将链接库中的链接根据域名abcd.com、cefg.com、fged.com分别进行汇总。
判断模块370,适于根据链接库确定链接是否为新链接和/或域名是否为新域名。
在判定域名不是新域名的情况下,来判断链接是否为新链接。新链接指在域名已存在的情况下,网络中未出现过的链接。举例来说,在判断域名abcd.com、cefg.com都为已存在域名后,判断具有上述域名的链接是否为新链接,例如判断链接http://www.abcd.com.***?***是否为新链接。
处理模块380,适于确定链接为新链接和/或提取链接对应的域名,确定域名为新域名。
处理模块380具体适于:检测在预设时间段内是否有域名的流量,若否,则确定域名为新域名。
流量指对网站的访问。以一个预设时间段为1个星期为例,检测在这一个星期内是否有域名的流量,若否,则判定域名为新域名。
举例来说,在1个星期内,并未检测到关于域名fged.com的流量,则可以判定域名fged.com为新域名。
处理模块380具体适于:检测域名所属的IP地址或IP地址范围是否存在域名所有人的验证域名,若存在,则判定域名为所有人的新域名。
举例来说,假设220.181.158.1~220.181.158.255这个IP网段内存在验证域名如webscan.xxx.cn/www.xxx.cn等,并且该IP段已经确认(通过人工方法或其他方法确认)是属于xxx公司的。如果在220.181.158.220这个IP上新出现了一个域名是newdomain.com,则可以认为这个域名是该公司的新域名。
利用上述两种方法来判定域名是否为新域名。在上面的例子中,设检测到fged.com为新域名,abcd.com、cefg.com为已存在域名。
***模块390,适于将链接和/或域名***到待扫描队列中作为优先处理的待扫描任务。
在判定域名fged.com为新域名后,将域名fged.com***到待扫描队列作为优先处理的待扫描任务,对待扫描任务进行排序如fged.com、abcd.com、cefg.com,其中新域名fged.com排在待扫描任务的最前列。
在判断链接是新链接的情况下,将链接***到待扫描队列中作为优先处理的待扫描任务。举例来说,利用上述判断新链接的方法判断链接http://www.abcd.com.***?***是新链接,则将该链接***到待扫描队列中作为优先处理的待扫描任务。
扫描模块400,适于针对待扫描队列中的待扫描任务进行漏洞扫描。
扫描模块400包括:请求单元410,适于向与待扫描任务对应的目标网站发送测试请求;
扫描单元420,适于根据目标网站返回的网页进行漏洞扫描。
根据待扫描任务分别向与待扫描任务对应的目标网站发送测试请求,目标网站在收到测试请求后将网页返回给安全检测设备,进行漏洞扫描服务,在进行漏洞扫描服务时会访问库带计划等独有漏洞库,判断待扫描任务是否安全。
网站安全检测数据包括以下至少之一:挂马数据、虚假欺诈数据、搜索屏蔽数据、旁注数据、篡改数据、漏洞数据。根据网站安全检测数据,按照与网站安全检测数据相对应的网站安全检测规则对网站进行安全检测,其中,网站安全检测规则包括以下至少之一:挂马规则、虚假欺诈规则、屏蔽规则、旁注规则、篡改规则、和漏洞规则。本发明主要利用漏洞规则对网页进行扫描。漏洞规则用于根据漏洞数据确定网站存在的漏洞。
根据漏洞数据,按照漏洞规则对网站进行安全检测包括:获取预先存储的漏洞特征数据库中的漏洞特征,判断漏洞数据是否符合漏洞特征,若漏洞数据符合漏洞特征,则确定为漏洞;若漏洞数据不符合漏洞特征,则确定为非漏洞。根据判断结果确定网站存在的漏洞,其中,漏洞特征可以为漏洞关键字。如,将网页状态代码404作为漏洞关键字;或者,将404页面内容作为漏洞关键字;或者,通过访问网站的正常网页,提取该正常网页的网页内容、网页状态代码和http头部,访问该网站不存在的网页,提取反馈网页的网页内容、网页状态代码和http头部,比较该正常网页和该反馈网页的网页内容、网页状态代码和http头部,获取404关键字作为漏洞关键字;或者,访问不存在的网页,将反馈网页的网页内容、网页状态代码和http头部作为漏洞关键字等等,本发明对此不作限制。
根据本发明的装置,针对网络进行旁路侦听,抓取超文本传输协议请求包,获取超文本传输协议请求包对应的链接,分析链接是否为有效链接,若是则将链接加入到链接库中,将链接库中具有相同域名的链接进行汇总,提取链接对应的域名,根据链接库判断域名是否为新域名,若是则将域名***到待扫描队列中作为优先处理的待扫描任务;若否则判断链接是否为新链接,若是则将链接***到待扫描队列中作为优先处理的待扫描任务,若否则将链接***到待扫描队列末尾,向与待扫描任务对应的目标网站发送测试请求,根据目标网站返回的网页进行漏洞扫描。通过对网络进行旁路侦听可以获取用户请求对应链接,通过分析链接是否为有效链接并将链接库中具有相同域名的链接进行汇总,可以将一些无效的链接去除,并只对域名进行安全检测,在判断域名安全后,则可判定该域名下的链接是安全的,加快了安全检测流程,在检测域名是已存在域名的情况下,判断链接是否为新链接,可以对网络爬虫无法抓取的网页进行检测,达到实时监控网站安全问题,利于发现网站安全漏洞。
该安全检测设备支持内网/外网/IDC部署,支持单机和分布式部署,可以应用于大型企业。该设备以旁路侦听的方式接入企业内部网络后,对所有的网络请求进行旁路侦听,并将请求还原链接进行安全检测,如果有新的网站和/或网页上线,可以迅速对其安全性进行检测;此外,该设备还可以对网络爬虫无法抓取的孤岛页面进行安全检测,更全面地监控网站安全问题。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网站安全检测设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了:A1、一种网站安全检测方法,包括:
针对网络进行旁路侦听,抓取超文本传输协议(http)请求包;
获取所述超文本传输协议请求包对应的链接;
确定所述链接为新链接,则将所述链接***到待扫描队列中作为优先处理的待扫描任务;和/或
提取所述链接对应的域名,确定所述域名为新域名,则将所述域名***到待扫描队列中作为优先处理的待扫描任务;
针对待扫描队列中的待扫描任务进行漏洞扫描。
A2、根据A1所述的方法,获取所述超文本传输协议请求包对应的链接之后还包括:
将所述链接加入到链接库中;
根据所述链接库确定所述链接是否为新链接和/或所述域名是否为新域名。
A3、根据A2所述的方法,将所述链接加入到链接库中还包括:
将所述链接库中具有相同域名的链接进行汇总。
A4、根据A1-A3任一项所述的方法,所述确定所述域名为新域名进一步包括:
检测在预设时间段内是否有所述域名的流量,若否,则确定所述域名为新域名。
A5、根据A1-A3任一项所述的方法,所述确定所述域名为新域名进一步包括:
若检测所述域名所属的IP地址或IP地址范围存在所述域名所有人的验证域名,则确定所述域名为所述所有人的新域名。
A6、根据A1-A5任一项所述的方法,在所述将链接加入到链接库中之前还包括:
分析所述链接是否为有效链接。
A7、根据A1-A6任一项所述的方法,所述针对待扫描队列中的待扫描任务进行漏洞扫描具体包括:
向与所述待扫描任务对应的目标网站发送测试请求,根据所述目标网站返回的网页进行漏洞扫描。
本发明还公开了:B8、一种网站安全检测装置,包括:
抓取模块,适于针对网络进行旁路侦听,抓取超文本传输协议(http)请求包;
获取模块,适于获取所述超文本传输协议请求包对应的链接;
处理模块,适于确定所述链接为新链接和/或提取所述链接对应的域名,确定所述域名为新域名;
***模块,适于将所述链接和/或所述域名***到待扫描队列中作为优先处理的待扫描任务;
扫描模块,适于针对待扫描队列中的待扫描任务进行漏洞扫描。
B9、根据B8所述的装置,还包括:
链接库,适于存储所述链接;
判断模块,适于根据所述链接库确定所述链接是否为新链接和/或所述域名是否为新域名。
B10、根据B9所述的装置,还包括:
汇总模块,适于将所述链接库中具有相同域名的链接进行汇总。
B11、根据B8-B10任一项所述的装置,所述处理模块具体适于:
检测在预设时间段内是否有所述域名的流量,若否,则确定所述域名为新域名。
B12、根据B8-B10任一项所述的装置,所述处理模块具体适于:
检测所述域名所属的IP地址或IP地址范围是否存在所述域名所有人的验证域名,若存在,则判定所述域名为所述所有人的新域名。
B13、根据B8-B12任一项所述的装置,还包括:
分析模块,适于分析所述链接是否为有效链接。
B14、根据B8-B13任一项所述的装置,所述扫描模块进一步包括:
请求单元,适于向与所述待扫描任务对应的目标网站发送测试请求;
扫描单元,适于根据所述目标网站返回的网页进行漏洞扫描。

Claims (8)

1.一种网站安全检测方法,包括:
针对网络进行旁路侦听,抓取超文本传输协议(http)请求包;
获取所述超文本传输协议请求包对应的链接;
将所述链接加入到链接库中;
根据所述链接库确定所述链接是否为新链接和/或域名是否为新域名;
确定所述链接为新链接,则将所述链接***到待扫描队列中作为优先处理的待扫描任务;和/或
提取所述链接对应的域名,确定所述域名为新域名,则将所述域名***到待扫描队列中作为优先处理的待扫描任务;
针对待扫描队列中的待扫描任务进行漏洞扫描。
2.根据权利要求1所述的方法,将所述链接加入到链接库中还包括:
将所述链接库中具有相同域名的链接进行汇总。
3.根据权利要求1所述的方法,所述确定所述域名为新域名进一步包括:
检测在预设时间段内是否有所述域名的流量,若否,则确定所述域名为新域名。
4.根据权利要求1所述的方法,所述确定所述域名为新域名进一步包括:
若检测所述域名所属的IP地址或IP地址范围存在所述域名所有人的验证域名,则确定所述域名为所述所有人的新域名。
5.根据权利要求1所述的方法,在所述将链接加入到链接库中之前还包括:
分析所述链接是否为有效链接。
6.根据权利要求1所述的方法,所述针对待扫描队列中的待扫描任务进行漏洞扫描具体包括:
向与所述待扫描任务对应的目标网站发送测试请求,根据所述目标网站返回的网页进行漏洞扫描。
7.一种网站安全检测装置,包括:
抓取模块,适于针对网络进行旁路侦听,抓取超文本传输协议(http)请求包;
获取模块,适于获取所述超文本传输协议请求包对应的链接;
链接库,适于存储所述链接;
判断模块,适于根据所述链接库确定所述链接是否为新链接和/或域名是否为新域名;
处理模块,适于确定所述链接为新链接和/或提取所述链接对应的域名,确定所述域名为新域名;
***模块,适于将所述链接和/或所述域名***到待扫描队列中作为优先处理的待扫描任务;
扫描模块,适于针对待扫描队列中的待扫描任务进行漏洞扫描。
8.根据权利要求7所述的装置,还包括:
汇总模块,适于将所述链接库中具有相同域名的链接进行汇总。
CN201410144318.7A 2014-04-11 2014-04-11 网站安全检测方法及装置 Active CN104980309B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410144318.7A CN104980309B (zh) 2014-04-11 2014-04-11 网站安全检测方法及装置
US15/303,216 US9954886B2 (en) 2014-04-11 2014-12-31 Method and apparatus for detecting website security
PCT/CN2014/095944 WO2015154539A1 (zh) 2014-04-11 2014-12-31 网站安全检测方法及装置
US15/939,133 US20180219907A1 (en) 2014-04-11 2018-03-28 Method and apparatus for detecting website security

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410144318.7A CN104980309B (zh) 2014-04-11 2014-04-11 网站安全检测方法及装置

Publications (2)

Publication Number Publication Date
CN104980309A CN104980309A (zh) 2015-10-14
CN104980309B true CN104980309B (zh) 2018-04-20

Family

ID=54276441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410144318.7A Active CN104980309B (zh) 2014-04-11 2014-04-11 网站安全检测方法及装置

Country Status (3)

Country Link
US (2) US9954886B2 (zh)
CN (1) CN104980309B (zh)
WO (1) WO2015154539A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106899549B (zh) * 2015-12-18 2020-02-07 北京奇虎科技有限公司 一种网络安全检测方法及装置
US10440042B1 (en) * 2016-05-18 2019-10-08 Area 1 Security, Inc. Domain feature classification and autonomous system vulnerability scanning
CN106713347B (zh) * 2017-01-18 2019-06-11 国网江苏省电力公司电力科学研究院 一种电力移动应用越权访问漏洞检测方法
CN108632219B (zh) * 2017-03-21 2021-04-27 腾讯科技(深圳)有限公司 一种网站漏洞检测方法、检测服务器、***及存储介质
CN108667770B (zh) * 2017-03-29 2020-12-18 腾讯科技(深圳)有限公司 一种网站的漏洞测试方法、服务器及***
CN107634945B (zh) 2017-09-11 2018-06-22 平安科技(深圳)有限公司 网站漏洞扫描方法、装置、计算机设备及存储介质
CN108173814B (zh) * 2017-12-08 2021-02-05 深信服科技股份有限公司 钓鱼网站检测方法、终端设备及存储介质
CN108282489B (zh) * 2018-02-07 2020-01-31 网宿科技股份有限公司 一种漏洞扫描方法、服务端及***
CN108449355A (zh) * 2018-04-04 2018-08-24 上海有云信息技术有限公司 一种漏洞扫描方法及***
CN109033838A (zh) * 2018-07-27 2018-12-18 平安科技(深圳)有限公司 网站安全检测方法和装置
CN110061979B (zh) * 2019-04-01 2022-01-11 视联动力信息技术股份有限公司 一种业务对象的检测方法和装置
CN111104188B (zh) * 2019-11-11 2024-05-10 中盈优创资讯科技有限公司 漏洞扫描器的调度方法及装置
CN110971599A (zh) * 2019-11-29 2020-04-07 杭州迪普科技股份有限公司 漏洞扫描方法和装置
CN110825541A (zh) * 2019-11-30 2020-02-21 东莞市诺尔检测科技有限公司 一种用于家用电器的安全检测数据处理***
CN111124841B (zh) * 2019-12-09 2023-08-18 广州品唯软件有限公司 一种异常页面的报警方法、装置及计算机***
RU2743974C1 (ru) * 2019-12-19 2021-03-01 Общество с ограниченной ответственностью "Группа АйБи ТДС" Система и способ сканирования защищенности элементов сетевой архитектуры
CN111314326B (zh) * 2020-02-01 2022-06-21 深信服科技股份有限公司 Http漏洞扫描主机的确认方法、装置、设备及介质
CN111428179B (zh) * 2020-03-19 2023-09-19 新方正控股发展有限责任公司 图片监测方法、装置及电子设备
CN112906005A (zh) * 2021-02-02 2021-06-04 浙江大华技术股份有限公司 Web漏洞扫描方法、装置、***、电子装置和存储介质
CN112887173B (zh) * 2021-02-19 2023-05-23 山东英信计算机技术有限公司 一种存储网络检测方法、装置、设备及可读存储介质
CN113422759B (zh) * 2021-06-10 2023-04-18 杭州安恒信息技术股份有限公司 漏洞扫描方法、电子装置和存储介质
CN113407948B (zh) * 2021-06-25 2022-05-27 苏州浪潮智能科技有限公司 一种基于预加载的安全扫描方法及装置
CN113536086B (zh) * 2021-06-30 2023-07-14 北京百度网讯科技有限公司 模型训练方法、账号评分方法、装置、设备、介质和产品
CN113836533B (zh) * 2021-09-27 2024-05-24 深信服科技股份有限公司 一种文件监测方法、装置、电子设备及可读存储介质
CN115426202B (zh) * 2022-11-03 2023-01-24 北京源堡科技有限公司 扫描任务下发方法、装置、计算机设备及可读存储介质
CN116305154B (zh) * 2023-03-08 2023-11-21 北京航天驭星科技有限公司 一种卫星测控软件的漏洞管理方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258032A (zh) * 2013-05-10 2013-08-21 清华大学 平行网页获取方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870493A (zh) * 2006-06-15 2006-11-29 北京华景中天信息技术有限公司 网站安全漏洞扫描方法
WO2008142710A2 (en) * 2007-05-24 2008-11-27 Iviz Techno Solutions Pvt. Ltd Method and system for simulating a hacking attack on a network
CN100461184C (zh) * 2007-07-10 2009-02-11 北京大学 网络搜索中的基于链接层次分类的主题爬取方法
US8286239B1 (en) * 2008-07-24 2012-10-09 Zscaler, Inc. Identifying and managing web risks
US8763071B2 (en) * 2008-07-24 2014-06-24 Zscaler, Inc. Systems and methods for mobile application security classification and enforcement
EP2222048A1 (en) * 2009-02-24 2010-08-25 BRITISH TELECOMMUNICATIONS public limited company Detecting malicious behaviour on a computer network
WO2010144796A2 (en) * 2009-06-12 2010-12-16 QinetiQ North America, Inc. Integrated cyber network security system and method
CN101964025B (zh) * 2009-07-23 2016-02-03 北京神州绿盟信息安全科技股份有限公司 Xss检测方法和设备
KR101092024B1 (ko) * 2010-02-19 2011-12-12 박희정 웹 서비스의 실시간 취약성 진단 및 결과정보 제공 서비스 시스템
US8516585B2 (en) * 2010-10-01 2013-08-20 Alcatel Lucent System and method for detection of domain-flux botnets and the like
US8677487B2 (en) * 2011-10-18 2014-03-18 Mcafee, Inc. System and method for detecting a malicious command and control channel
CN102710646B (zh) * 2012-06-06 2016-08-03 珠海市君天电子科技有限公司 一种钓鱼网站的收集方法和***
CN103414718A (zh) * 2013-08-16 2013-11-27 蓝盾信息安全技术股份有限公司 一种分布式Web漏洞扫描的方法
US9203849B2 (en) * 2013-12-04 2015-12-01 Apple Inc. Preventing URL confusion attacks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258032A (zh) * 2013-05-10 2013-08-21 清华大学 平行网页获取方法及装置

Also Published As

Publication number Publication date
US20180219907A1 (en) 2018-08-02
US20170034203A1 (en) 2017-02-02
CN104980309A (zh) 2015-10-14
US9954886B2 (en) 2018-04-24
WO2015154539A1 (zh) 2015-10-15

Similar Documents

Publication Publication Date Title
CN104980309B (zh) 网站安全检测方法及装置
CN105184159B (zh) 网页篡改的识别方法和装置
US8850585B2 (en) Systems and methods for automated malware artifact retrieval and analysis
US9208309B2 (en) Dynamically scanning a web application through use of web traffic information
US7865953B1 (en) Methods and arrangement for active malicious web pages discovery
CN105868635B (zh) 用于应对恶意软件的方法和装置
CN105635178B (zh) 保证安全的阻塞式网络访问方法及装置
CN107360162A (zh) 一种网络应用防护方法和装置
US10586045B2 (en) System and method for detecting malware in mobile device software applications
CN105306467B (zh) 网页数据篡改的分析方法及装置
CN105302707B (zh) 应用程序的漏洞检测方法和装置
US20220198025A1 (en) Web Attack Simulator
CN104363252B (zh) 网站安全检测方法与装置
CN105302815B (zh) 网页的统一资源定位符url的过滤方法和装置
CN103414758B (zh) 日志处理方法及装置
CN111783096A (zh) 检测安全漏洞的方法和装置
CN104040538B (zh) 一种互联网应用交互方法、装置及***
CN106899549A (zh) 一种网络安全检测方法及装置
JP5752642B2 (ja) 監視装置および監視方法
CN104537304B (zh) 文件查杀方法、装置及***
CN106506545A (zh) 一种网络安全威胁评估***及方法
CN107239701A (zh) 识别恶意网站的方法及装置
CN107644161A (zh) 样本的安全测试方法、装置和设备
CN103530337B (zh) 识别统一资源定位符url中无效参数的设备及方法
CN107766224B (zh) 测试方法和测试装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161123

Address after: 100016 Jiuxianqiao Chaoyang District Beijing Road No. 10, building 15, floor 17, layer 1701-26, 3

Applicant after: BEIJING QIANXIN TECHNOLOGY Co.,Ltd.

Address before: 100088 Beijing city Xicheng District xinjiekouwai Street 28, block D room 112 (Desheng Park)

Applicant before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Applicant before: Qizhi software (Beijing) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088

Patentee after: Qianxin Technology Group Co.,Ltd.

Address before: 100016 15, 17 floor 1701-26, 3 building, 10 Jiuxianqiao Road, Chaoyang District, Beijing.

Patentee before: BEIJING QIANXIN TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20201225

Address after: 100044 2nd floor, building 1, yard 26, Xizhimenwai South Road, Xicheng District, Beijing

Patentee after: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc.

Patentee after: Qianxin Technology Group Co.,Ltd.

Address before: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088

Patentee before: Qianxin Technology Group Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 100044 2nd floor, building 1, yard 26, Xizhimenwai South Road, Xicheng District, Beijing

Patentee after: Qianxin Wangshen information technology (Beijing) Co.,Ltd.

Patentee after: Qianxin Technology Group Co.,Ltd.

Address before: 100044 2nd floor, building 1, yard 26, Xizhimenwai South Road, Xicheng District, Beijing

Patentee before: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc.

Patentee before: Qianxin Technology Group Co.,Ltd.

CP01 Change in the name or title of a patent holder