CN106411855A - 一种脆弱性目录查找方法及装置 - Google Patents

一种脆弱性目录查找方法及装置 Download PDF

Info

Publication number
CN106411855A
CN106411855A CN201610806383.0A CN201610806383A CN106411855A CN 106411855 A CN106411855 A CN 106411855A CN 201610806383 A CN201610806383 A CN 201610806383A CN 106411855 A CN106411855 A CN 106411855A
Authority
CN
China
Prior art keywords
targeted website
directory
website
data base
catalogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610806383.0A
Other languages
English (en)
Other versions
CN106411855B (zh
Inventor
郭燕慧
孙博文
张淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qax Technology Group Inc
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201610806383.0A priority Critical patent/CN106411855B/zh
Publication of CN106411855A publication Critical patent/CN106411855A/zh
Application granted granted Critical
Publication of CN106411855B publication Critical patent/CN106411855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433Vulnerability analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种脆弱性目录查找方法及装置,包括:对目标网站进行扫描,当确定目标网站的内容管理***为非开源***时,获取目标网站的特征参数;获取目标网站的网站拓扑图,在预先建立的目录数据库中查询与网站拓扑图匹配的目录数据库子集;根据目标网站的特征参数,对目录数据库子集进行筛选,得到与特征参数相符合的至少一个目录数据库子集;根据至少一个目录数据库子集生成目录字典,对目录字典进行目录扫描,查找目录字典中的脆弱性目录。本发明中,根据目标网站的网站拓扑图和特征参数,从目录数据库中筛选目录数据库子集生成目录字典,并对该目录字典进行目录扫描,查找该目录字典中的脆弱性目录,提高了脆弱性目录查找的效率。

Description

一种脆弱性目录查找方法及装置
技术领域
本发明涉及计算机及信息安全技术领域,具体而言,涉及一种脆弱性目录查找方法及装置。
背景技术
随着万维网(WEB)技术的迅速发展,WEB的应用越来越普及,而随之而来的安全问题也日益突出,对WEB目录的攻击事件也屡屡发生,目录扫描攻击通过攻击网站目录可以获取网站后台,上传界面等敏感信息,从而导致网站遭受严重影响。
为了防止网站的目录被攻击,需要对网站进行检测,找到网站的脆弱性目录,及时修改网络架构,保护网站安全。现有技术中大都是采用目录迭代的方式对网站进行目录扫描,即将网站数据库中的目录数据进行逐一扫描,从而查找网站的脆弱性目录,这样,需要进行大量的扫描工作,且其中大量的目录扫描工作都是重复和无用的,扫描的效率和速度很低,即查找脆弱性目录的效率和速度很低。
发明内容
有鉴于此,本发明实施例的目的在于提供一种脆弱性目录查找方法及装置,以解决现有技术中查找脆弱性目录工作量大且查找的效率和速度很低的问题。
第一方面,本发明实施例提供了一种脆弱性目录查找方法,其中,所述方法包括:
对目标网站进行扫描,当确定所述目标网站的内容管理***为非开源***时,获取所述目标网站的特征参数,所述特征参数包括所述目标网站的网站架构、脚本语言、网络互联协议地址及域名;
获取所述目标网站的网站拓扑图,在预先建立的目录数据库中查询与所述网站拓扑图匹配的目录数据库子集;
根据所述目标网站的特征参数,对所述目录数据库子集进行筛选,得到与所述目标网站的特征参数相符合的至少一个目录数据库子集;
根据所述至少一个目录数据库子集生成所述目标网站的目录字典,对所述目录字典进行目录扫描,查找所述目录字典中的脆弱性目录。
结合第一方面,本发明实施例提供了上述第一方面的第一种可能的实现方式,其中,当确定所述目标网站的内容管理***为开源***时,对所述目标网站进行目录扫描,查找所述目标网站的脆弱性目录。
结合第一方面,本发明实施例提供了上述第一方面的第二种可能的实现方式,其中,所述获取所述目标网站的网站拓扑图之前,还包括:
设定端口扫描参数,根据所述端口扫描参数对所述目标网站进行端口扫描,确定所述端口扫描参数对应的端口是否开放,所述端口扫描参数包括扫描的端口号、扫描的所述目标网站的网络互联协议地址及扫描的线程;
当确定所述端口扫描参数对应的端口开放时,从所述目录数据库中查询与所述端口相对应的目录数据库子集,对所述目录数据库子集进行目录扫描,查找所述目标网站的脆弱性目录。
结合第一方面的第二种可能的实现方式,本发明实施例提供了上述第一方面的第三种可能的实现方式,其中,所述根据所述端口扫描参数对所述目标网站进行端口扫描,确定所述端口扫描参数对应的端口是否开放,包括:
根据设定的端口扫描参数,向所述目标网站发起套接字请求;
根据所述目标网站的响应情况,确定与所述端口扫描参数对应的端口是否开放。
结合第一方面,本发明实施例提供了上述第一方面的第四种可能的实现方式,其中,所述对目标网站进行扫描,包括:
基于客户机/服务器模型建立网站指纹识别工具;
采用所述网站指纹识别工具对所述目标网站进行扫描。
结合第一方面,本发明实施例提供了上述第一方面的第五种可能的实现方式,其中,所述获取所述目标网站的网站拓扑图,包括:
确定所述目标网站的爬虫策略,所述爬虫策略包括爬取的所述目标网站的目录深度及优先爬取所述目标网站的目录广度;
根据所述爬虫策略获取所述目标网站的网站拓扑图。
第二方面,本发明实施例提供了一种脆弱性目录查找装置,其中,所述装置包括:
第一扫描模块,用于对目标网站进行扫描,当确定所述目标网站的内容管理***为非开源***时,获取所述目标网站的特征参数,所述特征参数包括所述目标网站的网站架构、脚本语言、网络互联协议地址及域名;
查询模块,用于获取所述目标网站的网站拓扑图,在预先建立的目录数据库中查询与所述网站拓扑图匹配的目录数据库子集;
筛选模块,用于根据所述目标网站的特征参数,对所述目录数据库子集进行筛选,得到与所述目标网站的特征参数相符合的至少一个目录数据库子集;
第一目录扫描模块,用于根据所述至少一个目录数据库子集生成所述目标网站的目录字典,对所述目录字典进行目录扫描,查找所述目录字典中的脆弱性目录。
结合第二方面,本发明实施例提供了上述第二方面的第一种可能的实现方式,其中,所述装置还包括:
第二扫描模块,用于设定端口扫描参数,根据所述端口扫描参数对所述目标网站进行端口扫描,确定所述端口扫描参数对应的端口是否开放,所述端口扫描参数包括扫描的端口号、扫描的所述目标网站的网络互联协议地址及扫描的线程;
第二目录扫描模块,用于当确定所述端口扫描参数对应的端口开放时,从所述目录数据库中查询与所述端口相对应的目录数据库子集,对所述目录数据库子集进行目录扫描,查找所述目标网站的脆弱性目录。
结合第二方面的第一种可能的实现方式,本发明实施例提供了上述第二方面的第二种可能的实现方式,其中,所述第二扫描模块包括:
请求单元,用于根据设定的端口扫描参数,向所述目标网站发起套接字请求;
第一确定单元,用于根据所述目标网站的响应情况,确定与所述端口扫描参数对应的端口是否开放。
结合第二方面,本发明实施例提供了上述第二方面的第三种可能的实现方式,其中,所述查询模块包括:
第二确定单元,用于确定所述目标网站的爬虫策略,所述爬虫策略包括爬取的所述目标网站的目录深度及优先爬取所述目标网站的目录广度;
获取单元,用于根据所述爬虫策略获取所述目标网站的网站拓扑图。
本发明实施例提供的脆弱性目录查找方法及装置,根据目标网站的网站拓扑图和特征参数,从目录数据库中筛选与目标网站的网站拓扑图和特征参数相符合的目录数据库子集生成该目标网站的目录字典,并对该目录字典进行目录扫描,查找该目录字典中的脆弱性目录,这样,减少了目录扫描的工作量,提高了脆弱性目录查找的效率和速度。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例1所提供的脆弱性目录查找方法的流程图;
图2示出了本发明实施例2所提供的脆弱性目录查找装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有技术中,为了防止网站的目录被攻击,需要对网站进行检测,找到网站的脆弱性目录,修改网站架构,保护网站安全,现有技术中大都是采用目录迭代的方式对网站进行目录扫描,即将网站目录数据库中的目录数据进行逐一扫描,查找网站的脆弱性目录,这样,扫描的工作量很大,并且大量的扫描工作都是重复和无用的,扫描的效率和速度很低,即脆弱性目录查找的效率和速度很低。基于此,本发明实施例提供了一种脆弱性目录查找方法及装置,下面通过实施例进行描述。
实施例1
本发明实施例提供了一种脆弱性目录查找方法,采用该方法查找目标网站的脆弱性目录时,根据目标网站的网站拓扑图和特征参数,从目录数据库中筛选与该网站拓扑图和特征参数相符合的目录数据库子集,并生成目录字典,对该目录字典进行目录扫描,查找该目录字典中的脆弱性目录,减少了目录扫描的工作量,提供了脆弱性目录查找的效率和速度。
如图1所示,采用本发明实施例提供的方法查找网站的脆弱性目录时,具体包括步骤S110-S140。
S110,对目标网站进行扫描,当确定目标网站的内容管理***(ContentManagement System,CMS)为非开源***时,获取目标网站的特征参数,该特征参数包括目标网站的网站架构、脚本语言、网络互联协议(Internet Protocol,IP)地址及域名。
对目标网站进行扫描包括:基于客户机/服务器(Client/Server,C/S)模型建立网站指纹识别(WhatWeb)工具;采用网站指纹识别工具对目标网站进行扫描。
在本发明实施例中,基于C/S模型建立WhatWeb扫描工具,该WhatWeb工具为开源WhatWeb,在采用WhatWeb对目标网站进行扫描时,可以在Linux上开启WhatWeb服务,将目标网站和WhatWeb服务通过远程连接,采用WhatWeb对目标网站进行扫描,在对目标网站进行WhatWeb扫描的过程中可以判断出该目标网站的CMS是否为开源CMS。
当确定出上述目标网站的CMS为开源CMS时,对该目标网站进行目录扫描,查找该目标网站的脆弱性目录。
上述对目标网站进行目录扫描时,可以采用基于超文本传送协议(Hypertexttransfer protocol,HTTP)响应码的目录扫描技术,即向目标网站发送HTTP请求,目标网站接收到HTTP请求后,会返回响应码信息,根据目标网站返回的响应码信息可以判断目标网站是否存当前扫描目录,以及当前扫描目录的地址。
在对目标网站进行WhatWeb扫描的过程中还会获取目标网站的网站架构、脚本语言、IP地址及域名这些特征参数,因此,当确定出上述目标网站的CMS为非开源CMS时,则需要获取目标网站的上述特征参数。
当对目标网站进行WhatWeb扫描后,还可以对目标网站进行端口扫描,进行端口扫描的具体过程包括:设定端口扫描参数,根据端口扫描参数对目标网站进行端口扫描,确定端口扫描参数对应的端口是否开放,该端口扫描参数包括扫描的端口号、扫描的目标网站的IP地址及扫描的线程;当确定端口扫描参数对应的端口开放时,从目录数据库中查询与该端口相对应的目录数据库子集,对该目录数据库子集进行目录扫描,查找目录网站的脆弱性目录。
在本发明实施例中,在对目标网站进行端口扫描时,需要确定一些已知网站服务对应的端口是否开放,比如说,HTTP服务、文件传输协议(File Transfer Protocol,FTP)服务、简单文件传输协议(Trivial File Transfer Protocol,TFTP)服务等等对应的端口在目标网站上是否开放,首先需要根据端口信息数据库确定出已知网站服务对应的端口号,在端口信息数据库中存储着各种服务对应的端口号,比如说,HTTP服务对应的端口号为80/tcp、FTP服务对应的端口号为21/tcp等等,将该服务对应的端口号、目标网站的IP地址以及扫描的线程确定为端口扫描参数,根据该端口扫描参数扫描目标网站上与该端口扫描参数对应的端口,从而判断该端口是否开放。
扫描的具体过程包括:根据设定的端口扫描参数,向目标网站发起套接字(Socket)请求;根据目标网站的响应情况,确定与该端口扫描参数对应的端口是否开放。
在本发明实施例中,对目标网站进行端口扫描采用的是基于传输控制协议(Transmission Control Protocol,TCP)协议的端口响应扫描方式,当设定了端口扫描参数后,根据设定的端口扫描参数,向目标网站发起Socket请求,根据网站的响应情况,确定出该端口扫描参数对应的端口是否开放,如果该端口扫描参数对应的端口开放,则从目录数据库中查询该开放端口对应的目录数据库子集,采用HTTP响应的方式对该目录数据库子集进行目录扫描,查找该目录数据库子集中的脆弱性目录,该目录数据库子集中的脆弱性目录就是该目标网站对应的脆弱性目录。
当确定出上述端口扫描参数对应的端口没有开放时,则执行后续步骤。
上述可以先对目标网站进行端口扫描,再对目标网站进行WhatWeb扫描,也可以先对目标网站进行WhatWeb扫描,再对目标网站进行端口扫描,本发明实施例并不限定上述两种扫描的具体顺序,当然,也可以只对目标网站进行端口扫描,或者只对目标网站进行WhatWeb扫描。
S120,获取目标网站的网站拓扑图(Sitemap),在预先建立的目录数据库中查询与该Sitemap相匹配的目录数据库子集。
上述获取目标网站的Sitemap,包括:确定目标网站的爬虫策略,该爬虫策略包括爬取的目标网站的目录深度及优先爬取目标网站的目录广度;根据上述爬虫策略获取目标网站的网站拓扑图。
在本发明实施例中,采用网络爬虫技术获取目标网站的Sitemap,在采用网络爬虫技术获取目标网站的Sitemap之前,可以对目标网站的网络架构进行分析,确定目标网站的目录深度,将目标网站的目录深度确定为爬取的深度,或者,可以根据实际需要,将爬取的目录深度设定为固定数值,比如说,将爬取的目录深度设定为8,当然,还可以是其它数值,本发明实施例并不限定上述爬取的目录深度的具体数值,除此之外,还可以设置优先进行目录广度搜索,当然,上述爬虫策略还可以包括其它爬取条件,上述爬虫策略可以根据实际需要进行设置,本发明实施例并不限定上述爬虫策略的具体内容。
在爬取目标网站的过程中,根据上述确定的爬虫策略,采用广度优先算法(Breadth-First-Search,BFS)和深度优先算法(Depth-First-Search,DFS)遍历目标网站上的每个子节点,得到该目标网站的Sitemap。
其中,上述预先建立的目录数据库中存储有多个网站的目录数据,每个网站的目录数据对应一个目录数据库子集,或者还可以是一类网站对应一个目录数据库子集,比如说,脚本语言相同的网站对应一个目录数据库子集,本发明实施例并不限定目录数据库子集与网站的目录数据的对应关系。
当获取了目标网站的Sitemap后,在预先建立的目录数据库中查询与该Sitemap相匹配的目录数据库子集,具体过程包括:利用正则表达式将获取的目标网站的Sitemap与目录数据库中的各个目录数据库子集进行匹配,得到与该目标网站的Sitemap相匹配的目录数据库子集。
或者,还可以将目录数据库中的目录数据库子集转换成目录树结构,采用克努特-莫里斯-普拉特(The Knuth-Morris-Pratt Algorithm,KMP)模式匹配算法将所述目标网站的Sitemap与目录数据库中的目录树结构进行节点匹配,在目录数据库中选取与目标网站的Sitemap的相似度大于或者等于预设值的目录树结构,将该目录树结构对应的目录数据库子集确定为与目标网站的Sitemap相匹配的目录数据库子集。
其中,上述预设值为预先设置的一个数值,当目录数据库中的目录树结构的节点与目标网站的Sitemap的节点的相似度大于或者等于该数值时,则判断为该目录树结构与该目标网站相同或者相似,将该目录树结构对应的目录树子集确定为与该目标网站相匹配的目录数据库子集,上述预设值可以根据实际情况进行设置,本发明实施例并不限定上述预设值的具体数值。
上述目录数据库中的目录树结构的节点与目标网站的Sitemap的节点的相似度指的是与目标网站的Sitemap的节点一致的节点与总节点的比值。
比如说,与目标网站进行匹配的目录数结构为三级目录,第一级目录为一个节点,第二级目录为两个节点,而第二级目录的每个节点在第三级目录上存在三个节点,而目标网站的Sitemap也存在三级目录,第一级目录为一个节点,第二级目录为两个节点,而第二级目录的每个节点在第三级目录上也存在三个节点,这时,可以判断为该目录树结构与目标网站的Sitemap相同,当然,上述只是举例说明进行比较的具体过程,如果上述目录树结构与目标网站的Sitemap的节点并不是完全相同,而是存在一点的差异,也可以判断为该目录树结构与目标网站相同或者相似,判断为相同或者相似的具体条件可以根据实际情况进行设置,本发明实施例并不限定判断为相同或者相似的具体条件。
当然,还可以通过其他方法在目录数据库中查询与该Sitemap相匹配的目录数据库子集,本发明实施例并不限定上述查询的具体方法。
S130,根据目标网站的特征参数,对目录数据库子集进行筛选,得到与上述目标网站的特征参数相符合的至少一个目录数据库子集。
在上述S110中获取了目标网站的特征参数,在S120中查询到了与目标网站的Sitemap相匹配的目录数据库子集,接下来,根据S110中获取的目标网站的特征参数,对步骤S120中得到的目录数据库子集进行筛选,得到与目标网站的特征参数相符合的目录数据库子集。
下面将以特征参数中的脚本语言为例介绍对目标数据库子集进行筛选的具体过程,比如说,目标网站的脚本语言为超文本预处理语言(Hypertext Preprocessor,PHP),则从上述目录数据库子集中筛选出脚本语言为PHP的目录数据库子集。
之后,再根据目标网站的特征参数中的网站架构、IP地址及域名分别对符合目标网站的脚本语言的目录数据库子集进行筛选,最终,得到与目标网站的特征参数相符合的一个或多个目录数据库子集。
S140,根据上述至少一个目录数据库子集生成目标网站的目录字典,对该目录字典进行目录扫描,查找目录字典中的脆弱性目录。
在本发明实施例中,将上述根据目标网站的特征参数筛选后的至少一个目录数据库子集组成该目标网站的目录字典,采用基于HTTP响应码的目录扫描技术对该目录字典进行目录扫描,在进行目录扫描时,一般通过设定响应码,采用HTTP响应的方式向该目录字典发起目录迭代请求,查找该目录字典中的脆弱性目录,该目录字典中的脆弱性目录即该目标网站中的脆弱性目录,当查找到该目标网站的脆弱性目录后,则会显示该脆弱性目录的地址,之后对该目标网站的架构进行调整,以提高该目标网站的安全性。
其中,在采用基于HTTP响应码的目录扫描技术进行目录扫描时,首先需要设定目标网站的IP地址、进行目录扫描的线程总数、扫描的超时时间、响应码等参数,之后发起HTTP目录迭代请求,进行目录扫描,并记录目录扫描的状态,返回扫描到的目录地址,并显示。
如果,通过上述方式没有查找到目标网站的脆弱性目录,则适当放宽该目标网站的目录字典选取条件,比如说,在目录数据库中查询与目标网站的Sitemap相匹配的目录数据库子集时,可以将判断相似度的预设值调小,当然,还可以将目标网站的某些特征参数的适当放宽,或者减少一些特征参数的比对。
之后,在对适当放宽目录字典的选取条件后得到的目标网站的目录字典进行目录扫描,查找该目录字典中的脆弱性目录,查找到的该目录字典中的脆弱性目录则是该目标网站的脆弱性目录。
本发明实施例提供的脆弱性目录查找方法,根据目标网站的网站拓扑图和特征参数,从目录数据库中筛选与目标网站的网站拓扑图和特征参数相符合的目录数据库子集生成该目标网站的目录字典,并对该目录字典进行目录扫描,查找该目录字典中的脆弱性目录,这样,减少了目录扫描的工作量,提高了脆弱性目录查找的效率和速度。
实施例2
本发明实施例提供了一种脆弱性目录查找装置,如图2所示,本发明实施例提供的装置包括第一扫描模块210、查询模块220、筛选模块230及第一目录扫描模块240;
上述第一扫描模块210,用于对目标网站进行扫描,当确定目标网站的CMS为开源CMS时,获取目标网站的特征参数,该特征参数包括目标网站的网站架构、脚本语言、IP地址及域名;
上述查询模块220,用于获取目标网站的Sitemap,在预先建立的目录数据库中查询与Sitemap匹配的目录数据库子集;
上述筛选模块230,用于根据目标网站的特征参数,对目录数据库子集进行筛选,得到与目标网站的特征参数相符合的至少一个目录数据库子集;
上述第一目录扫描模块240,用于根据至少一个目录数据库子集生成目标网站的目录字典,对目录字典进行目录扫描,查找目录字典中的脆弱性目录。
其中,在本发明实施例中在对查询模块220获取目标网站的Sitemap,在预先建立的目录数据库中查询与Sitemap匹配的目录数据库子集之前,还需要对目标网站进行端口扫描,对目标网站进行端口扫描时通过第二扫描模块和第二目录扫描模块实现的,具体包括:
上述第二扫描模块,用于设定端口扫描参数,根据端口扫描参数对目标网站进行端口扫描,确定端口扫描参数对应的端口是否开放,上述端口扫描参数包括端口的端口号、扫描的目标网站的IP地址及扫描的线程;上述第二目录扫描模块,用于当确定端口扫描参数对应的端口开放时,从目录数据库中查询与上述端口相对应的目录数据库子集,对目录数据库子集进行目录扫描,查找上述目标网站的脆弱性目录。
其中,上述第二扫描模块根据端口扫描参数对目标网站进行端口扫描,确定端口扫描参数对应的端口是否开放,是通过请求单元和第一确定单元实现的,具体包括:
上述请求单元,用于根据设定的端口扫描参数,向目标网站发起Socket请求;上述第一确定单元,用于根据目标网站的响应情况,确定与端口扫描参数对应的端口是否开放。
其中,上述查询模块220获取目标网站的网站拓扑图,是通过第二确定单元和获取单元实现的,具体包括:
上述第二确定单元,用于确定目标网站的爬虫策略,该爬虫策略包括爬取的目标网站的目录深度及优先爬取目标网站的目录广度;上述获取单元,用于根据爬虫策略获取目标网站的网站拓扑图。
在本发明实施例中,采用网络爬虫技术获取目标网站的Sitemap,在采用网络爬虫技术获取目标网站的Sitemap之前,可以对目标网站的网络架构进行分析,确定目标网站的目录深度,将目标网站的目录深度确定为爬取的深度,或者,可以根据实际需要,将爬取的目录深度设定为固定数值,比如说,将爬取的目录深度设定为8,当然,还可以是其它数值,本发明实施例并不限定上述爬取的目录深度的具体数值,除此之外,还可以设置优先进行目录广度搜索,当然,上述爬虫策略还可以包括其它爬取条件,上述爬虫策略可以根据实际需要进行设置,本发明实施例并不限定上述爬虫策略的具体内容。
在爬取目标网站的过程中,根据上述确定的爬虫策略,采用广度优先算法(Breadth-First-Search,BFS)和深度优先算法(Depth-First-Search,DFS)遍历目标网站上的每个子节点,得到该目标网站的Sitemap。
本发明实施例提供的脆弱性目录查找装置,根据目标网站的网站拓扑图和特征参数,从目录数据库中筛选与目标网站的网站拓扑图和特征参数相符合的目录数据库子集生成该目标网站的目录字典,并对该目录字典进行目录扫描,查找该目录字典中的脆弱性目录,这样,减少了目录扫描的工作量,提高了脆弱性目录查找的效率和速度。
本发明实施例所提供的脆弱性目录查找装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的***、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种脆弱性目录查找方法,其特征在于,所述方法包括:
对目标网站进行扫描,当确定所述目标网站的内容管理***为非开源***时,获取所述目标网站的特征参数,所述特征参数包括所述目标网站的网站架构、脚本语言、网络互联协议地址及域名;
获取所述目标网站的网站拓扑图,在预先建立的目录数据库中查询与所述网站拓扑图匹配的目录数据库子集;
根据所述目标网站的特征参数,对所述目录数据库子集进行筛选,得到与所述目标网站的特征参数相符合的至少一个目录数据库子集;
根据所述至少一个目录数据库子集生成所述目标网站的目录字典,对所述目录字典进行目录扫描,查找所述目录字典中的脆弱性目录。
2.根据权利要求1所述的方法,其特征在于,当确定所述目标网站的内容管理***为开源***时,对所述目标网站进行目录扫描,查找所述目标网站的脆弱性目录。
3.根据权利要求1所述的方法,其特征在于,所述获取所述目标网站的网站拓扑图之前,还包括:
设定端口扫描参数,根据所述端口扫描参数对所述目标网站进行端口扫描,确定所述端口扫描参数对应的端口是否开放,所述端口扫描参数包括扫描的端口号、扫描的所述目标网站的网络互联协议地址及扫描的线程;
当确定所述端口扫描参数对应的端口开放时,从所述目录数据库中查询与所述端口相对应的目录数据库子集,对所述目录数据库子集进行目录扫描,查找所述目标网站的脆弱性目录。
4.根据权利要求3所述的方法,其特征在于,所述根据所述端口扫描参数对所述目标网站进行端口扫描,确定所述端口扫描参数对应的端口是否开放,包括:
根据设定的端口扫描参数,向所述目标网站发起套接字请求;
根据所述目标网站的响应情况,确定与所述端口扫描参数对应的端口是否开放。
5.根据权利要求1所述的方法,其特征在于,所述对目标网站进行扫描,包括:
基于客户机/服务器模型建立网站指纹识别工具;
采用所述网站指纹识别工具对所述目标网站进行扫描。
6.根据权利要求1所述的方法,其特征在于,所述获取所述目标网站的网站拓扑图,包括:
确定所述目标网站的爬虫策略,所述爬虫策略包括爬取的所述目标网站的目录深度及优先爬取所述目标网站的目录广度;
根据所述爬虫策略获取所述目标网站的网站拓扑图。
7.一种脆弱性目录查找装置,其特征在于,所述装置包括:
第一扫描模块,用于对目标网站进行扫描,当确定所述目标网站的内容管理***为非开源***时,获取所述目标网站的特征参数,所述特征参数包括所述目标网站的网站架构、脚本语言、网络互联协议地址及域名;
查询模块,用于获取所述目标网站的网站拓扑图,在预先建立的目录数据库中查询与所述网站拓扑图匹配的目录数据库子集;
筛选模块,用于根据所述目标网站的特征参数,对所述目录数据库子集进行筛选,得到与所述目标网站的特征参数相符合的至少一个目录数据库子集;
第一目录扫描模块,用于根据所述至少一个目录数据库子集生成所述目标网站的目录字典,对所述目录字典进行目录扫描,查找所述目录字典中的脆弱性目录。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二扫描模块,用于设定端口扫描参数,根据所述端口扫描参数对所述目标网站进行端口扫描,确定所述端口扫描参数对应的端口是否开放,所述端口扫描参数包括扫描的端口号、扫描的所述目标网站的网络互联协议地址及扫描的线程;
第二目录扫描模块,用于当确定所述端口扫描参数对应的端口开放时,从所述目录数据库中查询与所述端口相对应的目录数据库子集,对所述目录数据库子集进行目录扫描,查找所述目标网站的脆弱性目录。
9.根据权利要求8所述的装置,其特征在于,所述第二扫描模块包括:
请求单元,用于根据设定的端口扫描参数,向所述目标网站发起套接字请求;
第一确定单元,用于根据所述目标网站的响应情况,确定与所述端口扫描参数对应的端口是否开放。
10.根据权利要求7所述的装置,其特征在于,所述查询模块包括:
第二确定单元,用于确定所述目标网站的爬虫策略,所述爬虫策略包括爬取的所述目标网站的目录深度及优先爬取所述目标网站的目录广度;
获取单元,用于根据所述爬虫策略获取所述目标网站的网站拓扑图。
CN201610806383.0A 2016-09-06 2016-09-06 一种脆弱性目录查找方法及装置 Active CN106411855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610806383.0A CN106411855B (zh) 2016-09-06 2016-09-06 一种脆弱性目录查找方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610806383.0A CN106411855B (zh) 2016-09-06 2016-09-06 一种脆弱性目录查找方法及装置

Publications (2)

Publication Number Publication Date
CN106411855A true CN106411855A (zh) 2017-02-15
CN106411855B CN106411855B (zh) 2019-03-05

Family

ID=57998590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610806383.0A Active CN106411855B (zh) 2016-09-06 2016-09-06 一种脆弱性目录查找方法及装置

Country Status (1)

Country Link
CN (1) CN106411855B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108667766A (zh) * 2017-03-28 2018-10-16 腾讯科技(深圳)有限公司 文件探测方法及文件探测装置
CN109547294A (zh) * 2018-12-27 2019-03-29 中国人民解放军国防科技大学 一种基于固件分析的联网设备型号探测方法、装置
CN111723378A (zh) * 2020-06-17 2020-09-29 浙江网新恒天软件有限公司 一种基于网站地图的网站目录***方法
CN112560032A (zh) * 2020-12-03 2021-03-26 星优选有限公司 一种文件泄漏监测方法、***及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017458A (zh) * 2007-03-02 2007-08-15 北京邮电大学 基于源代码静态分析的软件安全代码分析器及其检测方法
US20080028065A1 (en) * 2006-07-26 2008-01-31 Nt Objectives, Inc. Application threat modeling
CN103428219A (zh) * 2013-08-25 2013-12-04 金华比奇网络技术有限公司 一种基于网页模板匹配的web漏洞扫描方法
CN105337776A (zh) * 2015-11-19 2016-02-17 北京金山安全软件有限公司 一种生成网站指纹的方法、装置及电子设备
CN105553917A (zh) * 2014-10-28 2016-05-04 腾讯科技(深圳)有限公司 一种网页漏洞的检测方法和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080028065A1 (en) * 2006-07-26 2008-01-31 Nt Objectives, Inc. Application threat modeling
CN101017458A (zh) * 2007-03-02 2007-08-15 北京邮电大学 基于源代码静态分析的软件安全代码分析器及其检测方法
CN103428219A (zh) * 2013-08-25 2013-12-04 金华比奇网络技术有限公司 一种基于网页模板匹配的web漏洞扫描方法
CN105553917A (zh) * 2014-10-28 2016-05-04 腾讯科技(深圳)有限公司 一种网页漏洞的检测方法和***
CN105337776A (zh) * 2015-11-19 2016-02-17 北京金山安全软件有限公司 一种生成网站指纹的方法、装置及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108667766A (zh) * 2017-03-28 2018-10-16 腾讯科技(深圳)有限公司 文件探测方法及文件探测装置
CN108667766B (zh) * 2017-03-28 2020-08-14 腾讯科技(深圳)有限公司 文件探测方法及文件探测装置
CN109547294A (zh) * 2018-12-27 2019-03-29 中国人民解放军国防科技大学 一种基于固件分析的联网设备型号探测方法、装置
CN111723378A (zh) * 2020-06-17 2020-09-29 浙江网新恒天软件有限公司 一种基于网站地图的网站目录***方法
CN111723378B (zh) * 2020-06-17 2023-03-10 浙江网新恒天软件有限公司 一种基于网站地图的网站目录***方法
CN112560032A (zh) * 2020-12-03 2021-03-26 星优选有限公司 一种文件泄漏监测方法、***及设备

Also Published As

Publication number Publication date
CN106411855B (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
US10454969B2 (en) Automatic generation of low-interaction honeypots
CN106411855A (zh) 一种脆弱性目录查找方法及装置
US7774380B2 (en) Technique for finding rest resources using an n-ary tree structure navigated using a collision free progressive hash
CN104750704B (zh) 一种网页url地址分类识别方法及装置
US8335750B1 (en) Associative pattern memory with vertical sensors, amplitude sampling, adjacent hashes and fuzzy hashes
CN107679872A (zh) 基于区块链的艺术品鉴别方法及装置、电子设备
US20210263979A1 (en) Method, system and device for identifying crawler data
CN109391584A (zh) 一种疑似恶意网站的识别方法及装置
CN105262730B (zh) 基于企业域名安全的监控方法及装置
KR20180088655A (ko) 웹 추적 서비스들을 검출하기 위한 방법
CN107609389A (zh) 一种基于图像内容相关性的验证方法及***
CN103399872A (zh) 对网页抓取进行优化的方法和装置
CN109104421A (zh) 一种网站内容篡改检测方法、装置、设备及可读存储介质
Makkar et al. Fs2rnn: Feature selection scheme for web spam detection using recurrent neural networks
US8489643B1 (en) System and method for automated content aggregation using knowledge base construction
CN114826671A (zh) 一种基于指纹的分层匹配的网络资产识别方法及装置
CN106446068A (zh) 一种目录数据库生成、查询方法及装置
CN109600382A (zh) webshell检测方法及装置、HMM模型训练方法及装置
CN111368163B (zh) 一种爬虫数据的识别方法、***及设备
CN109547294B (zh) 一种基于固件分析的联网设备型号探测方法、装置
CN103927325A (zh) 一种对url进行分类的方法及装置
CN109561163A (zh) 统一资源定位符重写规则的生成方法及装置
CN103685237B (zh) 提高网站漏洞扫描速度的方法及装置
CN107807976A (zh) Ip归属地查询方法和装置
CN109062803B (zh) 基于爬虫实现自动生成测试用例的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211012

Address after: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088

Patentee after: QAX Technology Group Inc.

Address before: 100876 Beijing city Haidian District Xitucheng Road No. 10

Patentee before: Beijing University of Posts and Telecommunications

TR01 Transfer of patent right