CN109995722A - 面向apt防护的海量检测数据分析*** - Google Patents

面向apt防护的海量检测数据分析*** Download PDF

Info

Publication number
CN109995722A
CN109995722A CN201711489965.1A CN201711489965A CN109995722A CN 109995722 A CN109995722 A CN 109995722A CN 201711489965 A CN201711489965 A CN 201711489965A CN 109995722 A CN109995722 A CN 109995722A
Authority
CN
China
Prior art keywords
data
analysis
detection
layer
magnanimity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711489965.1A
Other languages
English (en)
Inventor
徐继峰
祁建明
周峻松
陈墩金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ming - Collar Gene Technology Co Ltd
Original Assignee
Guangzhou Ming - Collar Gene Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Ming - Collar Gene Technology Co Ltd filed Critical Guangzhou Ming - Collar Gene Technology Co Ltd
Priority to CN201711489965.1A priority Critical patent/CN109995722A/zh
Publication of CN109995722A publication Critical patent/CN109995722A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种面向APT防护的海量检测数据分析***，该***包括：数据采集层以及数据处理层；其中，所述数据采集层由物理位置相邻或不相邻的若干海量异构数据源组成，负责为所述数据处理层提供多角度的安全数据及情景；所述数据处理层负责根据关联分析规则订阅所述数据采集层的数据，从而进行分析处理。本发明方案利用大数据技术对监控检测数据进行深度关联分析，不仅能够实现事前预警，也可实现事中阻断，还可实现事后审计溯源。

Description

面向APT防护的海量检测数据分析***
技术领域
本发明属于大数据分析技术领域，涉及一种面向APT防护的海量检测数据分析***。
背景技术
APT(advanced persistent threat)即高级持续性威胁攻击，其不同于传统的网络人侵，APT侧重渗透和获取信息，以窃取企业和政府核心信息资产为主要目的。
APT的特点表现在A和P2个特性上：A代表Advanced，主要表现在攻击手段高超，攻击行为特征难以提取，攻击单点隐蔽性强，攻击渠道多样化以及攻击空间不确定。P代表Persistent，主要表现在攻击持续和隐蔽时间长，它使网络威胁从散兵游勇式的随机攻击变成有目的、有组织、有预谋的群体式攻击，使传统的以实时检测、实时阻断为主体的防御方式难以再发挥作用。
目前，APT攻击事件已趋于爆发式增长。虽说已引起了政府和企业的高度重视，但现有防御方案大都具有一定的局限性，无法覆盖全局，从而可能导致漏报，而且很多产品只能检测APT攻击，却无法提供实时防护功能。
发明内容
本发明目的在于提供一种面向APT防护的海量检测数据分析***，针对APT这种群体式攻击给传统的以实时监测、实时阻断为主体的检测技术带来的巨大冲击，利用大数据技术对监控检测数据进行深度关联分析，不仅能够综合分析目标***是否存在被攻击的风险，进而实现事前预警，也可发现正在进行的攻击，更加准确地理解意图和反向追踪，实现对威胁的综合研判，从而及时采取相关的策略阻止攻击，实现事中阻断，还可同时对安全审计信息进行大数据分析，根据追踪路径重现数据的历史状态和演变过程，实现事后审计溯源。
为解决上述技术问题，本发明采用如下的技术方案：一种面向APT防护的海量检测数据分析***，该***包括：数据采集层以及数据处理层；其中，所述数据采集层由物理位置相邻或不相邻的若干海量异构数据源组成，负责为所述数据处理层提供多角度的安全数据及情景；所述数据处理层负责根据关联分析规则订阅所述数据采集层的数据，从而进行分析处理。
进一步地，所述数据采集层的数据来源包括流量镜像、防火墙、UDS及IPS等。
进一步地，所述数据处理层由安全检测模块、安全审计模块以及大数据关联分析模块组成。
进一步地，所述安全检测模块包含低位检测及高位检测功能。
进一步地，所述大数据关联分析模块含有横向关联分析及纵向关联分析功能。
进一步地，所述安全审计模块包含漏洞分析及攻击溯源功能。
本发明与现有技术相比具有以下的有益效果：
本发明方案针对APT这种群体式攻击给传统的以实时监测、实时阻断为主体的检测技术带来的巨大冲击，利用大数据技术对监控检测数据进行深度关联分析，进而实现事前预警及对威胁的综合研判，及时采取相关的策略阻止攻击，实现事中阻断以及事后审计溯源。
附图说明
图1是面向APT防护的海量检测数据分析***的整体框架图。
具体实施方式
下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。
参照图1，本发明的一种面向APT防护的海量检测数据分析***，该***包括：数据采集层以及数据处理层；其中，所述数据处理层负责根据关联分析规则订阅所述数据采集层的数据，从而进行分析处理；所述数据采集层的数据来源包括流量镜像、防火墙、UDS、IPS等一系列物理位置相邻或不相邻的若干海量异构数据源组成，负责为所述数据处理层提供多角度的安全数据及情景。
数据处理层有安全检测模块、安全审计模块及大数据关联分析模块，其中安全检测模块又包括低位检测模块和高位检测模块，大数据关联分析模块分为横向关联分析模块和纵向关联分析模块，安全审计模块分为漏洞分析模块及攻击溯源模块，每个模块由多种技术实现。
1)低位检测模块
由于APT普遍采用Oday漏洞获取权限，通过未知木马进行远程控制，而传统基于特征匹配的检测设备总是要先捕获恶意代码样本，才能提取特征并基于特征进行攻击识别，这就存在先天的滞后性。低位检测是面向终端的异常发现预警应急响应平台的子***。***与传统的安全防护软件有本质技术区别。安全增强模块采用异常发现理论模型，不仅能够对已知威胁进行有效监测，同时能够对未知威胁及时发现。
异常发现分析与预警子***包含应用异常发现模块、***异常发现模块、通信异常发现模块、传输异常发现模块、数据异常发现模块和其他异常发现模块。内部主要逻辑是关联异常发现、决策判决和预警。关联异常发现是根据策略库信息判断异常集的危害等级，即风险，对潜在威胁进行2次推测；其策略库可通过I/O接口与高位监测通信并进行更新、预警，根据用户属性库信息对威胁进行第3次推断，并可通过I/O接口将异常数据集上传，以寻求更为精确的第4次威胁推断。用户属性库的数据可通过用户自主定义或者通过关联各模块收集的用户操作习惯的结果集进行缓慢调整而生成。构建用户属性库的目的是关联用户社会属性，以感知定制性的威胁渗透。低位检测不仅可以支持高位检测，还可以通过预警I/O的输出接口，将预警信息发送给其他安全防护***，如杀毒软件、蜜网和防火墙等。
2)高位检测模块
高位检测是面对源头和途径的异常发现预警应急响应平台的核心。高位检测的优势在于可以捕获发现大量骨干网络的异常，挖掘发现大量攻击实施者的资源，检测发现大量源头恶意应用。关联低位检测数据，可使高位检测具备“大视野”的能力，可以有效地分析发现未知威胁，追溯攻击者身份，应对APT攻击。
高位检测技术包括基于流模式对网络服务进行快速识别和分类技术；基于信息论对流量进行认知识别和特征提取技术；基于内容分析的网络监测技术；基于行为特征的检测技术；以网络数据流和网络行为为中心，多角度检测分析计算异常发现技术；针对检测分析获取的网络异常技术；采用多层次网络异常关联与数据融合技术；多层次网络异常关联规则库构建技术等。
高位检测通过统计IP层、传输层、应用层等各协议层的特征，建立正常用户网络访问模型，检测可能的异常行为，包括流量传输异常、DNS的速变攻击行为和其他木马的异常网络行为。研究业务网络和出入口网络上用户的不同行为特征，分别对业务网络行为特征和边界网络行为特征建立异常模型，发现未知威胁。高位检测的核心是异常决策引擎，低位检测数据通过I/O接口为高位异常发现决策提供支持。此外低位检测中传输异常发现模块中的异常数据包也可通过与网络信息流对应的I/O接口传入高位检测体系进行深度分析。异常决策引擎的结果可由对应的I/O接口输出，供低位检测参考。异常发现的结果集亦可通过I/O接口为其他安全防护平台提供技术支持。
3)安全审计模块
安全审计模块收集包括***日志、资源使用、用户行为以及网络流量等日志和数据记录，并利用漏洞分析子模块和攻击溯源子模块初步分析所收集的数据，除使用传统的黑名单、白名单等分析方法外，更要结合大数据关联分析模块进行综合研判，以从大量的、混杂的日志记录和数据记录中挖掘出潜在威胁问题。
4)大数据关联分析模块
对低位检测与高位检测的监测数据、安全审计信息进行关联分析和数据挖掘，找出记录之间的相关性，发现新的特征。对于挖掘出来的样本数据进行人工的分类或聚类，以机器学习的方法用分类结果构建特征库训练集，不断提高特征库的分类准确率。
利用大数据技术对安全审计模块收集的日志记录、高位检测模块以及低位检测模块的监控数据进行大数据关联分析，以综合分析目标***是否存在被攻击的可能，实现事前预警。对正在进行的攻击进行大数据分析，可以更准确地理解意图和反向追踪，实现对威胁的综合研判，从而及时采取相关的策略阻止攻击，实现事中阻断。同时对攻击全过程的安全审计信息进行大数据分析，根据追踪路径重现数据的历史状态和演变过程，实现事后审计溯源。
各类APT攻击检测工具产生的检测数据、关键流量、日志、上下文以及外部的情报信息等形成了具有多种不同结构的海量数据。数据的多来源性、多结构性、长时序性、低密度性，给大数据分析的防御方法带来了防护挑战。如何有效地利用大数据技术处理分析数据是关键问题。
1)数据管理技术
在当今大数据时代，曾发展完善的关系数据管理***(RDBMS)遇到了数据类型单一、扩展性不足等困难。随着数据量的增长，数据分析的基本策略是把计算推向数据，而不是把数据推向计算。近年来，非关系数据管理技术异军突起，对多种类型的数据进行有效的管理、处理和分析；通过并行处理技术获得良好的***性能；并以其高度的扩展性满足不断增长的数据量的处理要求。
关系数据库作为核心的数据引擎，各种来源的数据通过ETL工具导人关系数据库***。客户端工具通过SQL语言实现例行性的报表生成。针对复杂的分析，SQL的表达能力就暴露出其局限性。如果把数据从数据库中提取出来，导入前端分析工具(SAS.SPSS)进行后续分析，将导致大量的数据移动。同时前端分析工具的数据处理能力将受限于内存大小，数据分析效率将大打折扣。另外，由于当今数据趋向类型多样、规模巨大，关系数据库的组织和处理能力已无法应对大规模的高维时空数据的挑战。因此，在数据分析过程中引人并行计算，将是实现高性能数据管理的必然选择。
相对于RDBMS，以MapReduce技术为代表的非关系数据管理技术从存储模型和计算模型上支持更高的容错性、更强的扩展性，为大数据分析提供了很好的运行平台保障，同时，难以用SQL进行表达的分析任务更容易用MapReduce计算函数表达。作为一种旨在解决大规模非结构化数据快速批量处理的并行技术框架，MapReduce获得了长足的发展。为了克服调度算法过于简单导致的性能低下问题，面向多核CPU、GPU、异构***以及云平台等不同环境的调度策略得以优化。通过定义数据处理流程的逻辑模型，使用模型转换算法和代码生成算法将逻辑模型转化为物理模型，实现了MapReduce对多数据源的数据处理的支持。通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力，进而提出一种针对高速传感数据流的实时MapReduce方法。
为了从多维度的数据中检测APT攻击的各个攻击阶段的行为，必须对数据进行深入的分析，而不是仅仅生成简单的报表。这种复杂的分析必须依赖于复杂的分析模型，很难用SQL来进行表达，属于深度分析。因此，面对大数据深度分析的挑战，以MapReduce技术为代表的非关系数据管理技术具有明显的优势。
2)深度分析技术
Techtarget对深度分析的定义是利用复杂数据处理技术从包含结构化、非结构化及半结构化的多源数据集中获取知识。其从用户的需求出发，以有效、用户可接受的方式对大量复杂分布式数据进行分析、提取与汇总，从而为用户决策提供相应的指导。
由于深度分析通常需要完成PB级甚至EB级数据的精确定位及复杂查询，并常用于需要实时和近实时响应的环境，典型的数据分析操作(例如：聚集、旋转、切片和汇总)已无法满足其要求，需要引人更复杂的分析技术，例如：时间序列分析、路径分析、What-if分析、社会网络分析以及由于硬件/软件限制而未曾尝试过的复杂统计分析模型。以下对时间序列分析和图分析进行简单介绍：
①时间序列分析。时间序列分析利用数理统计的方法对按时间顺序的数据序列加以处理，并以此预测未来事物发展趋势。其既承认事物发展的延续性又考虑到事物发展的随机性。由于时间序列分析具备根据历史数据预测未来数据的特点，故其常应用于市场潜量预测、气象预报、水文预报、国民经济宏观控制以及企业经营管理等领域。
②社会网络分析和大规模图分析。社会网络分析侧重于关系和关系的模式，在概念上，采用的方式和方法有别于传统的统计分析和数据处理方法。在图中，1个节点代表社会网络中1个独立的实体，2点之间的1条边代表实体之间的联系。利用社会网络分析，可以获取一些有用的知识，比如发现网络中的关键实体等(关键实体把网络中的各个小组连接在一起)。这些信息可以用于舆情分析、产品销售以及潜在威胁预测等领域。
基于APT攻击数据的复杂和多源性特征，引入深度分析可以有效地从历史数据中提取知识，并以此对未发生的攻击行为进行预测，防患于未然。
3)大数据挖掘技术
基于大数据挖掘的安全检测是一类重要的安全检测技术。传统的数据挖掘算法基于串行计算，处理数据规模有限，一旦迁移到大数据环境，其执行效率会大幅下降甚至无法运行，无法满足当今大数据时代的需求。
云计算是大数据分析与挖掘技术可依托的计算平台，大数据的重点在于对海量数据的挖掘与分析，无法仅使用单台计算机完成运算，而必须采用分布式计算架构。因此，依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术是提高大数据挖掘效率的有效手段，将计算任务分散在不同的计算机上同时运行，使各种应用***可以根据需要获取存储资源、计算资源和其他服务资源。MapReduce，Hadoop，Spark等高性能、高扩展性的并行计算编程模型、分布式大数据处理框架以及相关关键技术的不断涌现和发展，使得大数据的数据存储和分布式计算成为现实。以分布式计算为基础，大数据挖掘技术可以更好地为基于大数据的安全检测问题提供新的理论与技术支持。目前基于大数据挖掘的安全检测技术主要研究各种数据挖掘算法的并行化策略，基于分布式计算的新型大数据挖掘方法以及在MapReduce，Spark框架上实现大规模的异常分析和检测等。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.面向APT防护的海量检测数据分析***，其特征在于，所述***包括：数据采集层以及数据处理层；其中，所述数据采集层由物理位置相邻或不相邻的若干海量异构数据源组成，负责为所述数据处理层提供多角度的安全数据及情景；所述数据处理层负责根据关联分析规则订阅所述数据采集层的数据，从而进行分析处理。
2.根据权利要求1所述的面向APT防护的海量检测数据分析***，其特征在于，所述数据采集层的数据来源包括流量镜像、防火墙、UDS及IPS等。
3.根据权利要求1所述的面向APT防护的海量检测数据分析***，其特征在于，所述数据处理层由安全检测模块、安全审计模块以及大数据关联分析模块组成。
4.根据权利要求3所述的面向APT防护的海量检测数据分析***，其特征在于，所述安全检测模块包含低位检测及高位检测功能。
5.根据权利要求3所述的面向APT防护的海量检测数据分析***，其特征在于，所述大数据关联分析模块含有横向关联分析及纵向关联分析功能。
6.根据权利要求3所述的面向APT防护的海量检测数据分析***，其特征在于，所述安全审计模块包含漏洞分析及攻击溯源功能。
CN201711489965.1A 2017-12-30 2017-12-30 面向apt防护的海量检测数据分析*** Pending CN109995722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711489965.1A CN109995722A (zh) 2017-12-30 2017-12-30 面向apt防护的海量检测数据分析***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711489965.1A CN109995722A (zh) 2017-12-30 2017-12-30 面向apt防护的海量检测数据分析***

Publications (1)

Publication Number Publication Date
CN109995722A true CN109995722A (zh) 2019-07-09

Family

ID=67111444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711489965.1A Pending CN109995722A (zh) 2017-12-30 2017-12-30 面向apt防护的海量检测数据分析***

Country Status (1)

Country Link
CN (1) CN109995722A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104670A (zh) * 2019-12-11 2020-05-05 国网甘肃省电力公司电力科学研究院 一种apt攻击的识别和防护方法
CN111259204A (zh) * 2020-01-13 2020-06-09 深圳市联软科技股份有限公司 基于图算法的apt检测关联分析方法
CN111628988A (zh) * 2020-05-23 2020-09-04 北京紫通科技有限责任公司 一种基于多源安全威胁数据的安全分析方法、***及装置
US20220342690A1 (en) * 2021-04-26 2022-10-27 Orca Security Forward and Rearward Facing Attack Vector Visualization

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104670A (zh) * 2019-12-11 2020-05-05 国网甘肃省电力公司电力科学研究院 一种apt攻击的识别和防护方法
CN111104670B (zh) * 2019-12-11 2023-09-01 国网甘肃省电力公司电力科学研究院 一种apt攻击的识别和防护方法
CN111259204B (zh) * 2020-01-13 2023-04-11 深圳市联软科技股份有限公司 基于图算法的apt检测关联分析方法
CN111259204A (zh) * 2020-01-13 2020-06-09 深圳市联软科技股份有限公司 基于图算法的apt检测关联分析方法
CN111628988A (zh) * 2020-05-23 2020-09-04 北京紫通科技有限责任公司 一种基于多源安全威胁数据的安全分析方法、***及装置
US20220342690A1 (en) * 2021-04-26 2022-10-27 Orca Security Forward and Rearward Facing Attack Vector Visualization
US11582257B2 (en) 2021-04-26 2023-02-14 Orca Security Prioritizing internet-accessible workloads for cyber security
US11616803B2 (en) 2021-04-26 2023-03-28 Orca Security LTD. Hybrid deployment of ephemeral scanners
US11627154B2 (en) * 2021-04-26 2023-04-11 Orca Security LTD. Forward and rearward facing attack vector visualization
US11637855B2 (en) 2021-04-26 2023-04-25 Orca Security LTD. Systems and methods for managing cyber vulnerabilities
US11848956B2 (en) 2021-04-26 2023-12-19 Orca Security LTD. Systems and methods for disparate risk information aggregation
US11888888B2 (en) 2021-04-26 2024-01-30 Orca Security LTD. Systems and methods for passive key identification
US11943251B2 (en) 2021-04-26 2024-03-26 Orca Security Systems and methods for malware detection

Similar Documents

Publication Publication Date Title
Gao et al. A distributed network intrusion detection system for distributed denial of service attacks in vehicular ad hoc network
Osanaiye et al. Ensemble-based multi-filter feature selection method for DDoS detection in cloud computing
CN111988285B (zh) 一种基于行为画像的网络攻击溯源方法
Mohammed et al. Intrusion detection system based on SVM for WLAN
CN113079143A (zh) 一种基于流数据的异常检测方法及***
Kotenko et al. Systematic literature review of security event correlation methods
CN109995722A (zh) 面向apt防护的海量检测数据分析***
Lappas et al. Data mining techniques for (network) intrusion detection systems
Jia et al. Big-data analysis of multi-source logs for anomaly detection on network-based system
CN108282460B (zh) 一种面向网络安全事件的证据链生成方法及装置
CN115883213B (zh) 基于连续时间动态异质图神经网络的apt检测方法及***
Gomes et al. Cryingjackpot: Network flows and performance counters against cryptojacking
CN112685459A (zh) 一种基于K-means集群算法的攻击源特征识别方法
Kumar et al. Unsupervised outlier detection technique for intrusion detection in cloud computing
CN117478403A (zh) 一种全场景网络安全威胁关联分析方法及***
Singh et al. Intrusion detection system using data mining a review
CN117081759A (zh) 一种基于用户异常行为检测的安全防护方法
Mohammad et al. A novel local network intrusion detection system based on support vector machine
Li et al. A Survey of Encrypted Malicious Traffic Detection
CN116418587B (zh) 一种数据跨域交换行为审计追踪方法和数据跨域交换***
Liao et al. Research on network intrusion detection method based on deep learning algorithm
Xu Design of intrusion detection system for intelligent mobile network teaching
Singh et al. Intrusion detection using data mining with correlation
Bravo et al. Distributed Denial of Service Attack Detection in Application Layer Based on User Behavior.
Laksono et al. DDoS detection using CURE clustering algorithm with outlier removal clustering for handling outliers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190709

WD01 Invention patent application deemed withdrawn after publication