CN112887341A - 一种外部威胁监控方法 - Google Patents

一种外部威胁监控方法 Download PDF

Info

Publication number
CN112887341A
CN112887341A CN202110468416.6A CN202110468416A CN112887341A CN 112887341 A CN112887341 A CN 112887341A CN 202110468416 A CN202110468416 A CN 202110468416A CN 112887341 A CN112887341 A CN 112887341A
Authority
CN
China
Prior art keywords
information
asset
asset information
detection
domain name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110468416.6A
Other languages
English (en)
Other versions
CN112887341B (zh
Inventor
贾振
白凯
樊兴华
薛锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ThreatBook Technology Co Ltd
Original Assignee
Beijing ThreatBook Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ThreatBook Technology Co Ltd filed Critical Beijing ThreatBook Technology Co Ltd
Priority to CN202110468416.6A priority Critical patent/CN112887341B/zh
Publication of CN112887341A publication Critical patent/CN112887341A/zh
Application granted granted Critical
Publication of CN112887341B publication Critical patent/CN112887341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请实施例提供了一种外部威胁监控方法，所述方法包括：通过检索和识别，获取资产信息；根据对所述资产信息的特征描述，获取所述资产信息中的资产描述信息；在面对网络威胁的状态下，根据所述资产描述信息确定需要避开所述网络威胁的资产信息，发出第一预警信息进行提示。本申请实施例通过对资产信息进行检索和识别、分析、预警，以全面管理企业的信息安全，以做到资产全覆盖梳理、资产实时监控变更、资产风险梳理、漏洞预警、数据泄露监控，帮助企业了解安全建设边界，实现企业的安全运维管理。

Description

一种外部威胁监控方法
技术领域
本申请涉及网络资产管理技术领域，特别涉及一种外部威胁监控方法。
背景技术
随着企业规模的不断扩大，企业内外的计算机网络资产越来越多，由于企业各部门的管理需求及方式不同，各自对于计算机网络资产的管理是孤立的、碎片化的，因此，对于企业整体上的网络资产，由于安全管理不到位，造成企业互联网侧的资产在没有进行统一的整合，一些网络资产会对企业的安全造成很大的安全隐患，无法满足用户的网络安全需求。例如，爆发0day漏洞时，需要快速确定影响业务范围，但是由于网络资产信息的不完善，极有可能造成给企业造成不可估量的损失。
发明内容
有鉴于此，本申请实施例提出了一种外部威胁监控方法，包括：
通过检索和识别，获取资产信息；
根据对所述资产信息的特征描述，获取所述资产信息中的资产描述信息；
在面对网络威胁的状态下，根据所述资产描述信息确定需要避开所述网络威胁的资产信息，发出第一预警信息进行提示。
一些实施例中，所述通过检索和识别，获取资产信息，包括：
基于获取的监控对象的二级域名和注册信息，通过云端DNS节点数据和域名注册信息进行多级域名匹配，获取所述监控对象的资产信息。
一些实施例中，所述通过检索和识别，获取资产信息，还包括：
通过全网的HTTPS证书进行域名的证书匹配，获取所述资产信息。
一些实施例中，所述通过检索和识别，获取资产信息，还包括：
基于子域名字典枚举和被动网络流量中获取所述资产信息。
一些实施例中，所述获取所述资产信息中的资产描述信息，包括：存活主机、全端口检测、操作***类型、网站指纹信息。
一些实施例中，所述网站指纹信息包括：
首页特征、协议特征、特定URL响应内容的字符串、特定图片的MD5；404页面特征；特定URL的响应状态码。
一些实施例中，所述方法还包括基于预设的周期，针对获取的所述资产信息进行风险检测，以在检测到所述资产信息存在异常时，针对所述资产信息发出第二预警信息进行提示。
一些实施例中，所述风险检测，包括对至少以下一种情况的检测：
代码泄露、网盘数据泄露、敏感文件泄露、暗网数据泄露、网页篡改。
一些实施例中，检测敏感文件泄露的情况，包括：
基于域名或代码包名进行代码泄露检测。
一些实施例中，检测敏感文件泄露的情况，包括：
网站管理后台检测、数据库文件检测、备份文件检测、webshell检测。
与现有技术相比，本申请实施例的有益效果在于：本申请实施例通过对资产信息进行检索和识别、分析、预警，以全面管理企业的信息安全，以做到资产全覆盖梳理、资产实时监控变更、资产风险梳理、漏洞预警、数据泄露监控，帮助企业了解安全建设边界，实现企业的安全运维管理。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的外部威胁监控方法的流程图。
具体实施方式
为了使得本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另外定义，本申请使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
为了保持本申请实施例的以下说明清楚且简明，本申请省略了已知功能和已知部件的详细说明。
本申请实施例提供了一种外部威胁监控方法，该方法通过检索和识别，获取企业的资产信息，根据对所述资产信息的特征描述，获取该资产信息中的资产描述信息，在面对网络威胁的状态下，根据所述资产描述信息确定需要避开所述网络威胁的资产信息，发出第一预警信息进行提示，从而使企业能全面且有效地监控和管理其资产信息，对产生风险的资产信息能主动的采取安全措施进行处理。
图1为本申请实施例提供的外部威胁监控方法的流程图，如图1所示，本申请实施例的外部威胁监控方法包括以下步骤：
S1，通过检索和识别，获取资产信息。
本步骤中，对监控对象例如企业的网络资产通过检索和识别，获取企业全部的资产信息。企业的资产信息具体包括互联网和内网的资产IP、互联网中资产的域名、以及内网资产的主机名；以及收集获取互联网中开源的IP的whois数据和通过路由协议获取内网资产的资产分组信息；也就是说，通过获取企业的资产信息，可以获取企业在互联网中的全部资产。具体实施中，可以通过企业的域名注册信息和历史备案信息主动进行检索，以获取企业的域名资产信息；然后进行多级域名匹配，包括二级域名、三级及以上域名自动化匹配，从而获取企业的各级域名资产信息；或者通过全网的HTTPS证书信息进行域名的证书匹配，从而根据能与企业的域名匹配的HTTPS证书信息的资产，获取到影子域名资产信息；当然，还可以通过主动扫描的方式获取企业的资产信息，主动扫描的方式例如包括子域名字典枚举、互联网侧资产的被动网络流量中提取。
S2，根据对所述资产信息的特征描述，获取所述资产信息中的资产描述信息。
本步骤中，根据所述资产信息的关于特征信息的描述，来获取所述资产信息中的资产描述信息。也就是基于企业在流量和互联网中的全部基础网络数据，进行快速画像，提取全部基础网络数据中的特征信息，并基于所述特征信息的类别进行分类，从而获取所述资产信息中的资产描述信息。具体的，例如所述资产描述信息包括操作***类型时，为获取操作***类型的信息，可以基于网络数据中获取的TTL值（Time To Live,生存时间）进行判断，不同的操作***中设置有各自默认的TTL值，通常，Windows操作***默认的TTL值是在65-128之间，Linux或者Unix操作***默认的TTL值在1-64之间，则可根据TTL值处于65-128之间还是1-64之间，从而判断对应的操作***类型为Windows操作***或者为Linux或者Unix操作***；为避免TTL值被更改而导致的误判，进一步的，还可以利用web指纹检测来进行判断，有些服务器由于配置不合理，在部署线上web应用的时候没有删除HTTP头的Server字段指纹，故可以根据此来判断操作***类型；此外，还可以基于端口来判断操作***类型，Windows操作***默认会开放135，445等端口，这些端口是Windows***独有的，因此，获取的网络端口135，445等端口时，可依此来判断操作***类型为Windows操作***。
S3，在面对网络威胁的状态下，根据所述资产描述信息确定需要避开所述网络威胁的资产信息，发出第一预警信息进行提示。
本步骤中，在面对网络威胁的状态下，根据基于资产信息的特征获取的描述信息，可确定需要避开所述网络威胁的资产信息，从而针对该资产信息发出第一预警信息来进行提示。例如资产描述信息包括网站指纹信息时，在获取到网站指纹信息后，可确定出企业在互联网侧通过内容管理***(Content Management System，CMS)搭建的的资产信息，这样，可以在面对包括网络安全漏洞的网络威胁时，针对与该网络安全漏洞明确相关联的资产信息发出第一预警信息，从而面对网络威胁可以快速、及时地修复相应的资产信息中的漏洞，以避免损失。
本申请实施例通过对资产信息进行检索和识别、分析、预警，以全面管理企业的信息安全，以做到资产全覆盖梳理、资产实时监控变更、资产风险梳理、漏洞预警、数据泄露监控，方便用户了解安全建设边界，完成资产管理，实现企业的安全运维管理。
一些实施例中，所述通过检索和识别，获取资产信息，包括：
基于获取的监控对象的二级域名和注册信息，通过云端DNS节点数据和域名注册信息进行多级域名匹配，获取所述监控对象的资产信息。
本实施例中，针对企业进行监控时，获取所述监控的企业的二级域名和域名注册信息，通过云端DNS节点数据和域名注册信息进行多级域名匹配，可以通过第三方查询机构，或通过企业的二级域名和Whois注册信息进行多级域名匹配查询，可以包括二级域名、三级及以上域名自动化匹配，从而获取所监控的企业的各级域名的资产信息。
一些实施例中，所述通过检索和识别，获取资产信息，还包括：
通过全网的HTTPS证书进行域名的证书匹配，获取所述资产信息。本实施例中，可以通过全网的HTTPS证书信息进行域名的证书匹配，从而根据能与监控对象的域名匹配的证书信息，获取到影子域名资产信息。具体实施时，可针对全网统一资源定位符(UniformResource Locator，简称URL)获取对应的HTTPS证书，将该HTTPs证书信息与监控对象的域名的证书进行匹配操作，匹配成功时，如果该域名或者IP不在已监控的资产信息列表内，可将该域名或者IP确认为所监控对象的影子域名资产信息，另外对已知的企业IP资产将其拓展为IP对应的C段，使用算法对整个C段的IP进行检测，以获取企业的影子IP资产信息。
在其中一些具体的实现方式中，通过C段的IP获取企业的影子域名资产信息时，可通过以下各个判断维度来进行检测：
（1）IP反查域名包含提供域名；
（2）访问IP的 http服务对应的网站，其响应头钟包含用户提供的域名；
（3）访问IP的http服务对应的网站，其源代码中包含特定的关键字，不局限于网站名称；
（4）访问IP的http服务对应的网站，其源代码中包含用户提供的域名；
（5）访问IP的http服务对应的网站，其源代码中包含已确认资产的备案信息；
（6）访问IP的http服务对应的网站，分析页面中包含图片的hash，是否和已确认资产中的网站hash一致；
（7）IP上绑定的证书和用户提供的域名证书一致。
在其中一个具体的实施方式中，针对以上各个判断维度，可以采用相应的评分对各个判断维度进行评定，最后根据检测到的至少一个判断维度获得评分结果，在评分结果等于或超过预定值时，则可以确认所检测的IP为企业的影子IP资产信息。
示例性的，上述判断维度中，第（1）、（7）项的评分值可设置为2分，其他项目的评分值可以设置为1分，而预定值设置可设为2分。针对一个IP通过这些维度进行检测时，可根据检测到的判断维度及其对应的评分值获取该IP的评分结果，若检测到第（1）和第（7）项时，则该IP的评分结果为4分，该评分结果超过了预定值2分，则可确认该IP 为企业的影子域名IP信息。若仅检测到第（3）项，其他判断维度均未检测出时，则该IP相应的评分结果为1分，该评分结果小于预定值2分，则可确认该IP 不是企业的影子域名资产信息。
一些实施例中，所述通过检索和识别，获取资产信息，还包括：基于子域名字典枚举和被动网络流量中获取所述资产信息。本实施例中，是通过对网站进行主动扫描来获取所监控对象的资产信息，其中，子域名字典枚举是以所监控对象的域名为关键字，结合预设的字典通过DNS解析抓取所有子域名，将搜集的子域名保存起来，以获取监控对象的域名资产信息。还可以通过被动网络流量中提取，具体可根据获取的网站被动流量中获取的流量数据进行解析，在获取的域名信息与所述监控对象的域名信息一致时，确认获取监控对象的域名资产信息，从而更加全面地获取该所监控对象的资产信息。
一些实施例中，所述获取所述资产信息中的资产描述信息，包括：存活主机、全端口检测、操作***类型、网站指纹信息。本实施例中，为识别存活主机，可以通过ICMP协议、UDP协议进行主机存活探测，ICMP协议是TCP/IP协议族的一个子协议，用于在IP主机、路由器之间传递控制消息，控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息，考虑到主机有可能禁止ping探测，还可以采用扩展方式UDP扫描探测主机存活，将存活主机保存到资产信息的描述信息中。
全端口检测中，针对监控对象的全部端口扫描利用go语言的高并发优势，进行开放端口情况的探测，在端口扫描完成后，基于预先采集的指纹库进行特征匹配，以进行资产识别，获取资产信息的描述信息。
为获取操作***类型的信息，可以基于网络数据中获取的TTL值（Time To Live，生存时间）进行判断，不同的操作***中设置有各自默认的TTL值，通常，Windows操作***默认的TTL值是在65-128之间，Linux或者Unix操作***默认的TTL值在1-64之间，则可根据TTL值处于65-128之间还是1-64之间，从而判断对应的操作***类型为Windows操作***或者为Linux或者Unix操作***；为避免TTL值被更改而导致的误判，进一步的，还可以利用web指纹检测来进行判断，有些服务器由于配置不合理，在部署线上web应用的时候没有删除HTTP头的Server字段指纹，故可以根据此来判断操作***类型；此外，还可以基于端口来判断操作***类型，Windows操作***默认会开放135，445等端口，这些端口是Windows***独有的，因此，获取的网络端口135，445等端口时，可依此来判断操作***类型为Windows操作***。
获取网站指纹信息，可用于帮助监控对象掌握互联网侧通过内容管理***(Content Management System，CMS)搭建的的资产信息，这样，当CMS爆发漏洞的时候可以快速、及时地修复相应的资产信息中的漏洞，以避免损失。
在一些具体的实施例中，为避免网站指纹识别出现误报，可通过首页特征、协议特征、特定URL响应内容的字符串、特定图片的MD5；404页面特征；特定URL的响应状态码来进行准确识别对应的CMS。具体的，
1．首页特征，即确认首页中是否包含CMS的特定关键词，从而识别确定出对应的CMS；
2．协议特征，通过预先记录不同服务器对Http协议执行中的微小差别，基于该微小差别可进行识别，常用测试请求有：
（1）HEAD /Http/1.0发送基本的Http请求
（2）DELETE /Http/1.0发送那些不被允许的请求,比如Delete请求
（3）GET /Http/3.0发送一个非法版本的Http协议请求
（4）GET /JUNK/1.0发送一个不正确规格的Http协议请求
通过提取返回包的内容，从而基于不同服务器对应的微小差别进行判断，从而识别确定出对应的CMS；
3. 特定URL响应内容的字符串，通过请求一个url，匹配响应内容的字符串中与CMS相应的特征，从而识别确定出对应的CMS；
4. 特定图片的md5，通过提取CMS中独有图片文件，计算该图片文件的md5值（数字签名摘要信息），将该md5值与该CMS对应保存，以使后续能通过特定图片的md5识别确定出对应的CMS；
5. 404页面特征，分析CMS的404页面特征，提取该DMS相应的规则，以使后续能通过该404页面特征识别确定出对应的CMS；
6. 记录特定url的响应状态码，通过请求一个url，匹配响应状态码与CMS相应的特征，从而识别确定出对应的CMS。
一些实施例中，所述方法还包括：基于预设的周期，针对获取的所述资产信息进行风险检测，以在检测到所述资产信息存在异常时，针对所述资产信息发出第二预警信息进行提示。
本实施例中，可预先设置一个时间周期，从而根据该时间周期，根据获取的所述资产描述信息进行相关联的风险检测。本申请中，可针对不同的资产描述信息或风险检测，基于实际情况灵活设置不同的时间周期，从而能针对相应的资产描述信息进行准确的风险检测，周期可根据具体情况进行选择设置，本申请这里对周期并不做具体的限定。通过周期性的风险检测，例如代码泄露或网盘数据泄露等检测，在检测到监控对象的资产信息被泄露或受到篡改时，及时地发出相应的第二预警信息，以进行快速地处理和管理，从而帮助监控对象应对各种风险和威胁，实现资产信息的风险及时、准确地管控。
具体实施中，风险检测包括针对例如代码泄露的检测时，可基于一个预设的周期对网络上的代码进行检测，具体可以检测代码中是否包含企业的资产描述信息，例如企业的域名资产、IP资产、企业备案信息。
一些实施例中，所述风险检测，包括对至少以下一种情况的检测：
代码泄露、网盘数据泄露、敏感文件泄露、暗网数据泄露、网页篡改。
本申请实施中，风险检测包括代码泄露的检测时，可基于一个预设的周期对网络上的代码进行检测，具体的，代码社区平台如github、gitee等平台，可以储存代码或其他各类信息，因此，部分计算机技术人员会将代码上传至该平台，因而，通过根据监控对象的资产信息设置的关键字，在这些代码社区平台上搜索，可以检测该代码社区平台上是否包含针对监控对象的泄露代码。
在一些具体的实施例中，检测敏感文件泄露的情况，包括：基于域名或代码包名进行代码泄露检测。具体实施中，对于代码中可能包含的各种资产信息，可针对其中的敏感信息及相似特征提取出相应的关键字来进行检测，以确认是否出现代码泄露，可以基于监控对象使用的域名进行检测，包括内网使用的域名或测试域名，以及部署在外网上的域名；另一方面，由于计算机从业人员可能会基于公司中英文名称等相关的关键字给代码包命名，因此，还可以基于包含公司相关的关键字的代码包名进行搜索，从而对是否出现代码泄露进行搜索检测。
当然，基于域名或代码包名作为代码检测的初始特征之外，本实施例中还可以通过自定义的关键字作为第二特征，与初始特征通过相应的语法结合，对代码社区平台进行搜索，已完成代码检测，例如用python语言编写的项目，Mysql数据库一般使用第三库pymysql进行连接，故pymysql可以做关键字形成第二特征；此外，还可以根据公有云API连接规则、数据库（Mysql、Mssql、Oracle、Postgresql、Rabbitmq、Redis）规则、堡垒机（jumpserver）规则等其他规则选取相应的关键字作为第三特征，与初始特征、第二特征通过相应的语法结合，对代码社区平台进行搜索，以完成代码风险检测。
当然基于以上特征检索出来的结果还是存在一定的误报，这时可以建立黑名单规则库进行过滤。建立规则库氛围四个维度。
1. github博客，github.com、github.io；
2. 爬虫，比如url中包含crawler、spider、scrapy、爬虫等；
3. 黑名单后缀，.html、.shtm、.htm、jquery.js、.apk等；
4. 其他误报规则，通过人工分析确认为误报的建立规则库；
以降低代码泄露的检测结果中的误报率。
网盘因其方便存储和便于分享而被广泛使用，网盘数据泄露监控主要利用网盘公开的接口和互联网搜索引擎爬取的结果进行汇总。为降低汇总结果中的误报率，对汇总结果进行去误报操作，去误报的规则有两个，一是黑名单后缀，包括图片类、视频类和可执行程序类后缀；二是黑名单关键字，收集初始化规则和经人工分析误报后提取的规则，例如：文件标题中包含视频、破解版、招聘、试卷、二维码等。
敏感文件检索可以为监控对象检测出公网上资产泄露的潜在威胁，在一些具体的实施例中，敏感文件泄露检测包括网站管理后台检测、数据库文件检测、备份文件检测、webshell检测，可以通过搜索引擎针对网站管理后台、数据库、备份文件和webshell文件进行爬取来进行检测，以及通过自有字典探测获取，在获取到监控对象的敏感文件，例如用户名和密码、数据库信息、内外网IP或公有云上资产的密钥等时，发出相应的第二预警信息，以进行快速地处理和管理，从而帮助监控对象应对各种风险和威胁，实现资产信息的风险及时、准确地管控。
考虑到很多网站对于不存在的目录做了跳转，为进行去误报操作，可通过对返回数据包的content-length字段进行判断，以降低检测时的误报率。具体实施时，可对敏感文件基于以下步骤进行检测：
步骤一：先输入url，再加载字典生成新的url；
步骤二：对生成的url进行http请求，获取响应的状态码和响应包的content-length字段；
步骤三：提取响应状态码为200的结果，判断结果中的url的content-length的数值的个数，如果个数为1，说明结果为误报，网站不存在常见的敏感文件，如果content-length的数值有多个，统计每个数值对应的url个数，取content-length的数值对应的url只有1个的结果，该url就是网站的敏感文件。
为对敏感文件的检测步骤进行详细地阐述，以下进行举例说明，例如：需要探测www.XXXXXXX.com的敏感文件，首先对url加载预设的字典，生成新的url的为：
www.XXXXXXX.com/1.txt
www.XXXXXXX.com/2.txt
www.XXXXXXX.com/3.txt
www.XXXXXXX.com/4.txt
www.XXXXXXX.com/5.txt
www.XXXXXXX.com/6.txt
www.XXXXXXX.com/7.txt
www.XXXXXXX.com/8.txt
www.XXXXXXX.com/9.txt
www.XXXXXXX.com/10.txt
对以上url进行http请求，如果响应状态码和content-length如下：
www.XXXXXXX.com/1.txt 响应状态码：200 content-length:4008
www.XXXXXXX.com/2.txt 响应状态码：404 content-length:300
www.XXXXXXX.com/3.txt 响应状态码：403 content-length:500
www.XXXXXXX.com/4.txt 响应状态码：500 content-length:4008
www.XXXXXXX.com/5.txt 响应状态码：200 content-length:1000
www.XXXXXXX.com/6.txt 响应状态码：200 content-length:4008
www.XXXXXXX.com/7.txt 响应状态码：404 content-length:300
www.XXXXXXX.com/8.txt 响应状态码：200 content-length:4008
www.XXXXXXX.com/9.txt 响应状态码：200 content-length:4008
www.XXXXXXX.com/10.txt 响应状态码：404 content-length:300
其中响应状态码 为200有：
www.XXXXXXX.com/1.txt 响应状态码：200 content-length:4008
www.XXXXXXX.com/5.txt 响应状态码：200 content-length:4008
www.XXXXXXX.com/6.txt 响应状态码：200 content-length:4008
www.XXXXXXX.com/8.txt 响应状态码：200 content-length:4008
www.XXXXXXX.com/9.txt 响应状态码：200 content-length:4008
这5个url的content-length都为4008，即content-length的数值的个数为1，说明以上5个url都不是敏感文件，是由于网站配置了跳转此策略造成的，这种结果属于误报，需要忽略，即网站不存在常见的敏感文件。
对以上url进行http请求，如果响应状态码和content-length如下：
www.XXXXXXX.com/1.txt 响应状态码：200 content-length:4008
www.XXXXXXX.com/2.txt 响应状态码：200 content-length:4000
www.XXXXXXX.com/3.txt 响应状态码：403 content-length:500
www.XXXXXXX.com/4.txt 响应状态码：500 content-length:1000
www.XXXXXXX.com/5.txt 响应状态码：200 content-length:4000
www.XXXXXXX.com/6.txt 响应状态码：200 content-length:3001
www.XXXXXXX.com/7.txt 响应状态码：404 content-length:300
www.XXXXXXX.com/8.txt 响应状态码：200 content-length:3001
www.XXXXXXX.com/9.txt 响应状态码：200 content-length:4000
www.XXXXXXX.com/10.txt 响应状态码：404 content-length:300
其中响应状态码 为200有：
www.XXXXXXX.com/1.txt 响应状态码：200 content-length:4008
www.XXXXXXX.com/2.txt 响应状态码：404 content-length:4000
www.XXXXXXX.com/5.txt 响应状态码：200 content-length:4000
www.XXXXXXX.com/6.txt 响应状态码：200 content-length:3001
www.XXXXXXX.com/8.txt 响应状态码：200 content-length:3001
www.XXXXXXX.com/9.txt 响应状态码：200 content-length:4000
这6个url的content-length的数值为 4008， 3001， 4000，其中4008对应的url个数为1，3001对应的url个数为2，4000对应的url个数为3，其中content-length的数值为4008的对应的url只有1个，说明这个url就是敏感文件。
在监控对象被黑客攻击而被获取大量的数据时，这些数据一般会优先在暗网售卖，为了及时响应突发的数据泄露事件，可针对暗网数据泄露进行检测，以在监控对象的敏感数据泄露时，发出相应的第二预警信息，以进行快速地处理和管理，从而帮助监控对象应对各种风险和威胁，实现资产信息的风险及时、准确地管控。具体可通过暗网中的搜索引擎节点，采集分布在暗网上数据交易网站，对这些网站进行实时数据爬取和页面详情截图，在获取到监控对象的敏感数据，例如用户名和密码、数据库信息、内外网IP或公有云上资产的密钥等时，及时进行预警，以进行后续的控制和管理。
为实现针对网页篡改的监控和检测，可对访问网站主动和被动流量以及网页内容进行检测，高效准确的判断出网站的篡改类型。具体实现逻辑如下：针对监控对象的网站，获取主动流量和被动流量、以及该网页的源代码，对流量或网页中的url进行分析，基于预先设置的恶意url规则库，在检测到流量或网页中的url与规则库中的恶意url相匹配时，发出相应的第二预警信息；或者通过分析网业中的内容，基于预设的敏感词库对网页的内容信息进行匹配检测，在网页的内容信息中检测到与预设的敏感词匹配的信息时，发出相应的第二预警信息；还可以通过分析网页中的JavaScript文件，基于预设的JavaScript内容规则库，在检测到网页中的JavaScript文件与JavaScript内容规则库中的内容项匹配时，发出第二预警信息，从而便于后续的处理和管控。
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本申请的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本申请。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本申请的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本申请的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上对本申请多个实施例进行了详细说明，但本申请不限于这些具体的实施例，本领域技术人员在本申请构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本申请所要求保护的范围之内。

Claims (10)

1.一种外部威胁监控方法，其中，包括：
通过检索和识别，获取资产信息；
根据对所述资产信息的特征描述，获取所述资产信息中的资产描述信息；
在面对网络威胁的状态下，根据所述资产描述信息确定需要避开所述网络威胁的资产信息，发出第一预警信息进行提示。
2.根据权利要求1所述的方法，其中，所述通过检索和识别，获取资产信息，包括：
基于获取的监控对象的二级域名和注册信息，通过云端DNS节点数据和域名注册信息进行多级域名匹配，获取所述监控对象的资产信息。
3.根据权利要求2所述的方法，其中，所述通过检索和识别，获取资产信息，还包括：
通过全网的HTTPS证书进行域名的证书匹配，获取所述资产信息。
4.根据权利要求3所述的方法，其中，所述通过检索和识别，获取资产信息，还包括：
基于子域名字典枚举和被动网络流量中获取所述资产信息。
5.根据权利要求1所述的方法，其中，所述获取所述资产信息中的资产描述信息，包括：存活主机、全端口检测、操作***类型、网站指纹信息。
6.根据权利要求5所述的方法，其中，所述网站指纹信息包括：
首页特征、协议特征、特定URL响应内容的字符串、特定图片的MD5；404页面特征；特定URL的响应状态码。
7.根据权利要求1所述的方法，其中，还包括：
基于预设的周期，针对获取的所述资产信息进行风险检测，以在检测到所述资产信息存在异常时，针对所述资产信息发出第二预警信息进行提示。
8.根据权利要求7所述的方法，其中，所述风险检测，包括对至少以下一种情况的检测：
代码泄露、网盘数据泄露、敏感文件泄露、暗网数据泄露、网页篡改。
9.根据权利要求8所述的方法，其中，检测代码泄露的情况，包括：
基于域名或代码包名进行代码泄露检测。
10.根据权利要求8所述的方法，其中，检测敏感文件泄露的情况，包括：
网站管理后台检测、数据库文件检测、备份文件检测、webshell检测。
CN202110468416.6A 2021-04-29 2021-04-29 一种外部威胁监控方法 Active CN112887341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110468416.6A CN112887341B (zh) 2021-04-29 2021-04-29 一种外部威胁监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110468416.6A CN112887341B (zh) 2021-04-29 2021-04-29 一种外部威胁监控方法

Publications (2)

Publication Number Publication Date
CN112887341A true CN112887341A (zh) 2021-06-01
CN112887341B CN112887341B (zh) 2021-07-23

Family

ID=76040163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110468416.6A Active CN112887341B (zh) 2021-04-29 2021-04-29 一种外部威胁监控方法

Country Status (1)

Country Link
CN (1) CN112887341B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472813A (zh) * 2021-09-02 2021-10-01 浙江齐安信息科技有限公司 一种安防资产识别方法及***
CN114006776A (zh) * 2021-12-31 2022-02-01 北京微步在线科技有限公司 一种敏感信息泄露检测方法及装置
CN114124913A (zh) * 2021-09-24 2022-03-01 绿盟科技集团股份有限公司 一种网络资产变化监控的方法、装置及电子设备
CN114257530A (zh) * 2021-11-29 2022-03-29 中国联合网络通信集团有限公司 网络资产测绘方法、装置、设备及存储介质
CN115001861A (zh) * 2022-07-20 2022-09-02 中国电子科技集团公司第三十研究所 一种基于混合指纹特征的暗网服务异常检测方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783775A (zh) * 2009-12-25 2010-07-21 北京交通大学 一种向量网和ip网的网关方式互连方法
US20160098655A1 (en) * 2014-10-01 2016-04-07 Raghu Varadan Interactive business lifecycle management system
CN107370763A (zh) * 2017-09-04 2017-11-21 ***通信集团广东有限公司 基于外部威胁情报分析的资产安全预警方法及装置
CN108449345A (zh) * 2018-03-22 2018-08-24 深信服科技股份有限公司 一种网络资产持续安全监控方法、***、设备及存储介质
CN109302396A (zh) * 2018-10-10 2019-02-01 西安邮电大学 一种基于风险评估的网络安全态势感知方法
CN110943984A (zh) * 2019-11-25 2020-03-31 中国联合网络通信集团有限公司 一种资产安全保护方法及装置
CN111784209A (zh) * 2020-07-30 2020-10-16 中国电子科技集团公司第十四研究所 一种资产可视化与安全运营管理***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783775A (zh) * 2009-12-25 2010-07-21 北京交通大学 一种向量网和ip网的网关方式互连方法
US20160098655A1 (en) * 2014-10-01 2016-04-07 Raghu Varadan Interactive business lifecycle management system
CN107370763A (zh) * 2017-09-04 2017-11-21 ***通信集团广东有限公司 基于外部威胁情报分析的资产安全预警方法及装置
CN108449345A (zh) * 2018-03-22 2018-08-24 深信服科技股份有限公司 一种网络资产持续安全监控方法、***、设备及存储介质
CN109302396A (zh) * 2018-10-10 2019-02-01 西安邮电大学 一种基于风险评估的网络安全态势感知方法
CN110943984A (zh) * 2019-11-25 2020-03-31 中国联合网络通信集团有限公司 一种资产安全保护方法及装置
CN111784209A (zh) * 2020-07-30 2020-10-16 中国电子科技集团公司第十四研究所 一种资产可视化与安全运营管理***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472813A (zh) * 2021-09-02 2021-10-01 浙江齐安信息科技有限公司 一种安防资产识别方法及***
CN114124913A (zh) * 2021-09-24 2022-03-01 绿盟科技集团股份有限公司 一种网络资产变化监控的方法、装置及电子设备
CN114124913B (zh) * 2021-09-24 2023-11-28 绿盟科技集团股份有限公司 一种网络资产变化监控的方法、装置及电子设备
CN114257530A (zh) * 2021-11-29 2022-03-29 中国联合网络通信集团有限公司 网络资产测绘方法、装置、设备及存储介质
CN114257530B (zh) * 2021-11-29 2023-08-22 中国联合网络通信集团有限公司 网络资产测绘方法、装置、设备及存储介质
CN114006776A (zh) * 2021-12-31 2022-02-01 北京微步在线科技有限公司 一种敏感信息泄露检测方法及装置
CN115001861A (zh) * 2022-07-20 2022-09-02 中国电子科技集团公司第三十研究所 一种基于混合指纹特征的暗网服务异常检测方法及***

Also Published As

Publication number Publication date
CN112887341B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN112887341B (zh) 一种外部威胁监控方法
US10505986B1 (en) Sensor based rules for responding to malicious activity
US10721245B2 (en) Method and device for automatically verifying security event
CN110099059B (zh) 一种域名识别方法、装置及存储介质
CN112866023B (zh) 网络检测、模型训练方法、装置、设备及存储介质
US20200106790A1 (en) Intelligent system for mitigating cybersecurity risk by analyzing domain name system traffic
CN113489713B (zh) 网络攻击的检测方法、装置、设备及存储介质
CN111104579A (zh) 一种公网资产的识别方法、装置及存储介质
US10033761B2 (en) System and method for monitoring falsification of content after detection of unauthorized access
CN107547490B (zh) 一种扫描器识别方法、装置及***
WO2014103115A1 (ja) 不正侵入検知装置、不正侵入検知方法、不正侵入検知プログラム及び記録媒体
CN103914655A (zh) 一种检测下载文件安全性的方法及装置
CN107733699B (zh) 互联网资产安全管理方法、***、设备及可读存储介质
CN111404937B (zh) 一种服务器漏洞的检测方法和装置
JP5656266B2 (ja) ブラックリスト抽出装置、抽出方法および抽出プログラム
CN114003794A (zh) 资产收集方法、装置、电子设备和介质
WO2020022456A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN110598397A (zh) 一种基于深度学习的Unix***用户恶意操作检测方法
CN114285639A (zh) 一种网站安全防护方法及装置
CN115001724B (zh) 网络威胁情报管理方法、装置、计算设备及计算机可读存储介质
CN115913634A (zh) 一种基于深度学习的网络安全异常的检测方法及***
KR101712462B1 (ko) Ip 위험군 탐지 시스템
Kergl et al. Detection of zero day exploits using real-time social media streams
Swathi et al. Detection of Phishing Websites Using Machine Learning
CN116991680B (zh) 一种日志降噪方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant