CN110691081A - 一种基于大数据平台的网络信息采集方法 - Google Patents

一种基于大数据平台的网络信息采集方法 Download PDF

Info

Publication number
CN110691081A
CN110691081A CN201910913561.3A CN201910913561A CN110691081A CN 110691081 A CN110691081 A CN 110691081A CN 201910913561 A CN201910913561 A CN 201910913561A CN 110691081 A CN110691081 A CN 110691081A
Authority
CN
China
Prior art keywords
data
acquisition method
network information
method based
information acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910913561.3A
Other languages
English (en)
Inventor
韩冰
陈晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yuanbao Science And Technology Research Institute Co Ltd
Original Assignee
Nanjing Yuanbao Science And Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yuanbao Science And Technology Research Institute Co Ltd filed Critical Nanjing Yuanbao Science And Technology Research Institute Co Ltd
Priority to CN201910913561.3A priority Critical patent/CN110691081A/zh
Publication of CN110691081A publication Critical patent/CN110691081A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于大数据平台的网络信息采集方法，包括以下步骤：步骤1：按照一定的周期对网络信息进行采集,针对采集的安全信息进行分类处理，替提取URL，即资源类型、存放资源的主机域名、资源文件名；步骤2：将步骤1中提取的信息传送至管理数据库进行二次处理，分别将相关数据和预设阈值进行对比，如果浮动范围控制再0—15%范围内，该数据为可用数据；如果浮动范围超过15%，则认为该数据不可用，作丢弃处理；步骤3：对步骤2中的可用数据进行分类保存，便于随时调度；步骤4：针对步骤3中分类后的数据进行调度处理，针对不同的控制端口输出不同类型的数据信息。该方法可以有针对性的采集关键的数据进行分析处理，为安全分析提供更有针对性的参考数据，确保网络安全分析的准确性。

Description

一种基于大数据平台的网络信息采集方法
技术领域
本发明涉及计算机网络安全技术领域，具体为一种基于大数据平台的网络信息采集方法。
背景技术
随着互联网电子科技信息的迅速发展，网络信息已经普及到生活的各个方面，他给我们的生活和工作带来的方面，但是近几年网络安全问题越来越成为大家关注的对象，为了对网络安全进行保护需要采集关键的数据并进行分析处理，达到提前预防的目的，但是现有技术中往往会采集很多干扰信息，这在一定程度上不仅影响了判断，并且还降低了效率，因此，迫切的需要一种新的方案解决上述技术问题。
发明内容
本发明正是针对现有技术中存在的问题，提供一种基于大数据平台的网络信息采集方法，该方法可以有针对性的采集关键的数据进行分析处理，为安全分析提供更有针对性的参考数据，确保网络安全分析的准确性。
一种基于大数据平台的网络信息采集方法，其特征在于，包括以下步骤：
步骤1：按照一定的周期对网络信息进行采集,针对采集的安全信息进行分类处理，替提取URL，即资源类型、存放资源的主机域名、资源文件名；
步骤2：将步骤1中提取的信息传送至管理数据库进行二次处理，分别将相关数据和预设阈值进行对比，如果浮动范围控制再0—15%范围内，该数据为可用数据；
如果浮动范围超过15%，则认为该数据不可用，作丢弃处理；
步骤3：对步骤2中的可用数据进行分类保存，便于随时调度；
步骤4：针对步骤3中分类后的数据进行调度处理，针对不同的控制端口输出不同类型的数据信息。
作为本发明的一种改进，所述步骤1中的周期为1次/周。
作为本发明的一种改进，所述步骤1中采集的信息包括以下：本地TCP、ICMP、UDP、IP协议，IP地址、TCP连接、计算机侦听的端口、以太网统计信息。
作为本发明的一种改进，所述步骤4中针对控制器发来没有的数据进行记录，添加至下次采集的数据库中。
作为本发明的一种改进，所述采集数据库随时进行更新。
作为本发明的一种改进，所述步骤4中输出的数据用于网络的安全评估分析
相对于现有技术，本发明的有益效果如下：1）该方案成本较低、操作方便，并且运行时间短，可行性强；2）该技术方案通过针对性的对关键数据进行分析处理，提供网络安全的分析和参考；4）该方案立足于大数据的统计，可以针对采集的数据进行分析，针对异常的数据进行再次分析处理；5）该方案不需要额外的硬件设备，便于进一步的推广应用。
具体实施方式
为了加深对本发明的认识和理解，下面结合实施方式进一步阐述该技术方案。
实施例1：一种基于大数据平台的网络信息采集方法，包括以下步骤：
步骤1：按照一定的周期对网络信息进行采集,针对采集的安全信息进行分类处理，替提取URL，即资源类型、存放资源的主机域名、资源文件名；所述步骤1中的周期为1次/周，针对特殊情况可以延长时间或者缩短时间，所述步骤1中采集的信息包括以下：本地TCP、ICMP、UDP、IP协议，IP地址、TCP连接、计算机侦听的端口、以太网统计信息等等；
步骤2：将步骤1中提取的信息传送至管理数据库进行二次处理，分别将相关数据和预设阈值进行对比，如果浮动范围控制再0—15%范围内，该数据为可用数据；如果浮动范围超过15%，则认为该数据不可用，作丢弃处理；
步骤3：对步骤2中的可用数据进行分类保存，便于随时调度；
步骤4：针对步骤3中分类后的数据进行调度处理，针对不同的控制端口输出不同类型的数据信息。所述步骤4中针对控制器发来没有的数据进行记录，添加至下次采集的数据库中。所述步骤4中输出的数据用于网络的安全评估分析；所述采集数据库随时进行更新。
实施例2：将实施例1中保存的数据应用的网络完全分析，并将分析结果时时进行反馈。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种基于大数据平台的网络信息采集方法，其特征在于，包括以下步骤：
步骤1：按照一定的周期对网络信息进行采集,针对采集的安全信息进行分类处理，替提取URL，即资源类型、存放资源的主机域名、资源文件名；
步骤2：将步骤1中提取的信息传送至管理数据库进行二次处理，分别将相关数据和预设阈值进行对比，如果浮动范围控制再0—15%范围内，该数据为可用数据；
如果浮动范围超过15%，则认为该数据不可用，作丢弃处理；
步骤3：对步骤2中的可用数据进行分类保存，便于随时调度；
步骤4：针对步骤3中分类后的数据进行调度处理，针对不同的控制端口输出不同类型的数据信息。
2.根据权利要求1所述的一种基于大数据平台的网络信息采集方法，其特征在于：所述步骤1中的周期为1次/周。
3.根据权利要求2所述的一种基于大数据平台的网络信息采集方法，其特征在于：所述步骤1中采集的信息包括以下：本地TCP、ICMP、UDP、IP协议，IP地址、TCP连接、计算机侦听的端口、以太网统计信息。
4.根据权利要求3所述的一种基于大数据平台的网络信息采集方法，其特征在于：所述步骤4中针对控制器发来没有的数据进行记录，添加至下次采集的数据库中。
5.根据权利要求4所述的一种基于大数据平台的网络信息采集方法，其特征在于：所述采集数据库随时进行更新。
6.根据权利要求5所述的一种基于大数据平台的网络信息采集方法，其特征在于：所述步骤4中输出的数据用于网络的安全评估分析。
7.采用权利要求1-6中任意一个所述采集方法采集的数据应用于网络安全分析的原始数据。
CN201910913561.3A 2019-09-25 2019-09-25 一种基于大数据平台的网络信息采集方法 Pending CN110691081A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910913561.3A CN110691081A (zh) 2019-09-25 2019-09-25 一种基于大数据平台的网络信息采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910913561.3A CN110691081A (zh) 2019-09-25 2019-09-25 一种基于大数据平台的网络信息采集方法

Publications (1)

Publication Number Publication Date
CN110691081A true CN110691081A (zh) 2020-01-14

Family

ID=69110157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910913561.3A Pending CN110691081A (zh) 2019-09-25 2019-09-25 一种基于大数据平台的网络信息采集方法

Country Status (1)

Country Link
CN (1) CN110691081A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532776A (zh) * 2013-09-30 2014-01-22 广东电网公司电力调度控制中心 业务流量检测方法及***
CN103532940A (zh) * 2013-09-30 2014-01-22 广东电网公司电力调度控制中心 网络安全检测方法及装置
CN104125242A (zh) * 2014-08-18 2014-10-29 北京阅联信息技术有限公司 识别伪装ldns请求的ddos攻击的防护方法及装置
CN104794056A (zh) * 2015-04-29 2015-07-22 北京京东尚科信息技术有限公司 web浏览器兼容性测试方法和装置
CN105512143A (zh) * 2014-09-26 2016-04-20 中兴通讯股份有限公司 一种网页分类方法及装置
CN109167799A (zh) * 2018-11-06 2019-01-08 北京华顺信安科技有限公司 一种用于智能网络信息***的漏洞监控检测***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532776A (zh) * 2013-09-30 2014-01-22 广东电网公司电力调度控制中心 业务流量检测方法及***
CN103532940A (zh) * 2013-09-30 2014-01-22 广东电网公司电力调度控制中心 网络安全检测方法及装置
CN104125242A (zh) * 2014-08-18 2014-10-29 北京阅联信息技术有限公司 识别伪装ldns请求的ddos攻击的防护方法及装置
CN105512143A (zh) * 2014-09-26 2016-04-20 中兴通讯股份有限公司 一种网页分类方法及装置
CN104794056A (zh) * 2015-04-29 2015-07-22 北京京东尚科信息技术有限公司 web浏览器兼容性测试方法和装置
CN109167799A (zh) * 2018-11-06 2019-01-08 北京华顺信安科技有限公司 一种用于智能网络信息***的漏洞监控检测***

Similar Documents

Publication Publication Date Title
US11032301B2 (en) Forensic analysis
CN107483472B (zh) 一种网络安全监控的方法、装置、存储介质及服务器
US20110016528A1 (en) Method and Device for Intrusion Detection
CN107360118B (zh) 一种高级持续威胁攻击防护方法及装置
CN107209834B (zh) 恶意通信模式提取装置及其***和方法、记录介质
CN110855717B (zh) 一种物联网设备防护方法、装置和***
US10142359B1 (en) System and method for identifying security entities in a computing environment
CN111935064A (zh) 一种工控网络威胁自动隔离方法及***
CN113114690A (zh) 威胁事件识别方法、装置、设备及存储介质
CN112463772A (zh) 日志处理方法、装置、日志服务器及存储介质
CN107707549B (zh) 一种自动提取应用特征的装置及方法
CN113315785B (zh) 一种告警消减方法、装置、设备和计算机可读存储介质
CN110572325A (zh) 一种nat路由器流量识别方法
CN110691081A (zh) 一种基于大数据平台的网络信息采集方法
CN102724068B (zh) 一种在IPv6混合网络中进行审计日志资产识别的方法
CN112528325B (zh) 一种数据信息的安全处理方法及***
US9398040B2 (en) Intrusion detection system false positive detection apparatus and method
CN109492655B (zh) 一种特征提取方法、装置及终端
CN116074095A (zh) 一种日志分析方法、装置、设备及存储介质
CN112910842B (zh) 一种基于流量还原的网络攻击事件取证方法与装置
CN112671949B (zh) 一种根据syslog日志关联NAT前后会话的方法及***
US20200007505A1 (en) Data processing device and method
US9444729B2 (en) Fast application recognition system and fast application processing method
CN113364808B (zh) 工控防火墙测试方法、装置、设备及存储介质
CN113055396B (zh) 一种跨终端溯源分析的方法、装置、***和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114