CN104579782A - 一种热点安全事件的识别方法及*** - Google Patents
一种热点安全事件的识别方法及*** Download PDFInfo
- Publication number
- CN104579782A CN104579782A CN201510015080.2A CN201510015080A CN104579782A CN 104579782 A CN104579782 A CN 104579782A CN 201510015080 A CN201510015080 A CN 201510015080A CN 104579782 A CN104579782 A CN 104579782A
- Authority
- CN
- China
- Prior art keywords
- network
- security incident
- address
- incident record
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种热点安全事件的识别方法及***,包括:以***日志SYSLOG协议实时采集各种类型的网络资产的不同格式的SYSLOG安全日志数据,将SYSLOG安全日志数据规范化为格式统一的安全事件记录。根据网络资产的IP地址和网络资产的资产类型,将安全事件记录映射到预先构建的网络热点中心。计算网络热点中心中安全事件记录的热点指数。当热点指数超过预定的阈值时,则判定网络热点中心异常,将网络热点中心中影响程度最大的网络资产作为热点资产,将与热点资产相关的安全事件记录识别为热点事件。通过本发明的方案,能够全面分析热点事件,准确反应网络关键信息。
Description
技术领域
本发明涉及信息安全领域,具体涉及一种热点安全事件的识别方法及***。
背景技术
随着企业内部信息网络规模的日益扩大,网络中各种设备的数量急剧增加,来自外部和内部的各种安全和攻击也在急剧增加,威胁着网络信息安全。为了不断应对新的安全挑战,企业网络部署了防病毒***、防火墙、入侵检测***、漏洞扫描***、UTM等等,各种设备的日志记录了设备运行状态,各类用户执行的操作等等详细信息,这些信息被称为安全事件。在目前的网络环境中,各种设备的安全事件数据规模很大,并且这些信息的增长速度也越来越快。
面对指数增长的新安全事件,如何有效掌握海量数据,提取其中的热点事件,成为长期困扰网络管理人员的难题。热点事件的识别,可以从大量安全事件中发现,某个时间段内全网影响最大的安全事件,并做针对性安全防范,以实现对大型复杂网络的有效管理。
热点分析技术是分析某些特定事件间潜在联系的一个有力工具,热点是指如果某一区域内事件发生频率显著地高于或低于正常频率,则这一特殊区域被定义为热点,通常我们所关心的热点是事件发生高度集中的小区域,在众多的时空分析方法中,热点分析是理解事件间隐含关系的有效工具,通过热点分析,可以有效地对事件做出回归分析和前景预测,帮助研究人员得出科学的结论。对于网络安全领域,传统的网络攻击检测手段需要采用精确的规则来描述事件的关系和联系,但是有些情况往往难于用精确规则来描述,例如事件爆发的规则,定义每分钟50次为触发条件,那么49次算不算爆发,48次算不算。那么热点分析就是传统规则的一个有力补充,试图采用模糊的规则来分析来描述事件的内在联系,通过聚类计算找到事件热点,根据热点找到出现问题的区域。
热点分析有着广阔的应用前景,其可以被应用到犯罪分析,疾病信息和信息安全等领域。在犯罪地点分析方面,由美国国家司法研究所(NIJ)的NedLevine及其同事所开发的CrimeStat将热点分析的理论应用在巴尔的摩市区的犯罪分析中,这套软件集成了多种基于聚类分析的热点分析方法,包括K-MEANS和RNNH等主流的算法,形成了一个功能强大的工具集。在流行病学分析中,由亚利桑那大学人工智能实验室开发的的Bioportal已经进行了卓有成效的应用,在Bioportal的主页中,集成了SaTScan以及CrimeStat软件进行分析,这种分析已经成功应用在了西尼罗河病毒、肉毒杆菌毒素和手足口病的分析当中。
到目前为止,学者们就热点事件分析所做的研究工作大致可分为如下几类:基于网格技术,基于划分技术,基于密度技术,空间扫描技术,支持向量机技术和层次聚类技术。其中基于网格技术和基于划分技术具有良好的处理时间优势,但是得到的结果往往不够理想。其余四种技术可以得到更加理想的结果,但是需要较多的处理时间。举例如下:雷震等人提出一种改进的K均值算法(IIKM)用于热点事件发现,该算法使用密度函数法进行聚类中心的初始化以使客观地选择初始聚类中心,既可以用于在线探测也可以用于回溯探测,并且执行结果受新闻语料被处理顺序的影响较小,主要应用于热点新闻事件检测(雷震,吴玲达,***等.初始化类中心的增量K均值法及其在新闻事件探测中的应用.情报学报ISSN 1000-0135.2006,25(3):289-295页)。骆卫华等人在传统Single-Pass的基础上提出分治多层聚类的思想,该算法旨将数据分组来减少大规模数据处理时***负荷,在话题检测领域取得了一定成果(骆卫华,于满泉,许洪波.基于多策略优化的分治多层聚类算法的话题发现研究.全国第八届计算语言学联合学术会议(JSCL-2005)论文集,中国南京,2005:362-368)。邱立坤等人提出了层次化话题与层次聚类的概念,层次化聚类开始逐渐显露出优质的聚类效果,并开始应用于事件检测领域(邱立坤,龙志祎,钟华.层次化话题发现与跟踪方法及***实现.广西师范大学学报(自然科学版).2007(02):157-160页)。
但是,目前热点事件分析的研究往往侧重于互联网领域,仅仅关注与事件信息本身,实际上仅仅是热点“话题”的分析,反应网络关键信息的准确度低,而在企业网络环境中,企业资产规模相对稳定,资产的价值、安全事件的严重程度、安全事件所属的网络层级对热点事件的分析影响重大,而一般的热点分析中都没有涉及。
发明内容
为了解决上述问题,本发明提出了一种热点安全事件的识别方法及***,能够全面分析热点事件,准确反应网络关键信息。
为了达到上述目的,本发明提出了一种热点安全事件的识别方法,该方法包括以下步骤:
A、以***日志SYSLOG协议实时采集各种类型的网络资产的不同格式的SYSLOG安全日志数据,将SYSLOG安全日志数据规范化为格式统一的安全事件记录。
B、根据网络资产的IP地址和网络资产的资产类型,将安全事件记录映射到预先构建的网络热点中心。
C、计算网络热点中心中安全事件记录的热点指数。
D、当热点指数超过预定的阈值时,则判定网络热点中心异常,将网络热点中心中影响程度最大的网络资产作为热点资产,将与热点资产相关的安全事件记录识别为热点事件。
优选地,安全事件记录中包括报送设备地址、事件源地址、事件目的地址中的一种或多种;步骤A还包括:如果安全事件记录中不包括报送设备地址、事件源地址、事件目的地址中的任何一种,则将安全事件记录视为无效日志并剔除。
优选地,该方法还包括:获取复杂网络环境中的全部网络资产的台账数据;将全部网络资产分为应用层、网络层和终端层三个网络层次;其中,应用层包括:服务器类型资产、数据库类型资产和中间件类型资产;网络层包括:网络设备类型资产和安全防护类型资产;终端层包括:主机类型资产;由各个网络层次中在预定义的IP地址网段内的网络资产构成网络热点中心。
优选地,由各个网络层次中在预定义的IP地址网段内的网络资产构成网络热点中心是指:将各个网络层次中的网络资产根据资产类型进行分组,将每组资产类型中的所有网络资产的IP地址按照预定义的划分规则进行IP地址网段划分,则每个网络层次中产生多个IP地址网段,从每一个网络层次中分别任意选取一个或多个IP地址网段,将选取的一个或多个IP地址网段中的一组IP地址所对应的网络资产定义为一个网络热点中心;选取的一个或多个IP地址网段形成一个或多个网络热点中心。
优选地,步骤B包括:
B1、以安全事件记录中的源地址和目的地址作为事件分析IP,如果安全事件记录中没有源地址和目的地址,则以安全事件记录的报送设备地址作为事件分析IP。
B2、构建网络设备资产的IP地址与资产类型的对应表,依据事件分析IP,获得安全事件记录对应的资产类型。
B3、根据资产类型对应的网络分层,将安全事件记录映射到相应的网络分层中,并根据事件分析IP映射到网络热点中心中。
优选地,步骤B3包括:各个网络热点中心采用ArrayList数据结构缓存映射到网络热点中心的安全事件记录,并以预定的缓存周期进行缓存。
每个网络热点中心都缓存了缓存周期内映射到网络热点中心的安全事件记录的缓存列表。
优选地,步骤C包括:获取各个网络热点中心中的安全事件记录,根据下式计算各个网络热点中心的热点指数:
其中,HI是指热点指数;N是网络热点中心中的安全事件记录的总数;PRI为安全事件记录的严重等级,取值范围为1-5的正整数;Ni为每一个严重等级中的安全事件记录的数量。
优选地,步骤D包括:
D1、通过下式计算网络热点中心中单个网络资产的安全事件记录的影响程度的计算公式为:
其中,AI为影响程度;M为网络资产的全部安全事件记录的总数,PRI为安全事件记录的严重等级,取值范围为1-5的正整数,Mi为每一个严重等级中安全事件记录的数量。
D2、通过对网络热点中心中所有网络资产的AI进行排序,获取AI最大的网络设备资产作为热点资产。
D3、通过将热点资产对应的所有安全事件记录按照PRI进行排序,获取PRI最大的安全事件记录作为热点事件,热点事件为单个事件或一组事件。
D4、将热点事件以SYSLOG协议的形式直接发送给第三方***和/或将热点事件存储在存储数据库中,通过对数据库的读写来传递给第三方***。
本发明还提出一种热点安全事件的识别***,该***包括采集模块、映射模块、计算模块、判定模块。
采集模块,用于以***日志SYSLOG协议实时采集复杂网络环境中各种类型的网络资产的不同格式的SYSLOG安全日志数据,将SYSLOG安全日志数据规范化为格式统一的安全事件记录。
映射模块,用于根据网络资产的IP地址和网络资产的资产类型,将安全事件记录映射到预先构建的网络热点中心。
计算模块,用于计算网络热点中心中安全事件记录的热点指数。
判定模块,用于当热点指数超过预定的阈值时,则判定网络热点中心异常,将网络热点中心中影响程度最大的网络资产作为热点资产,将与热点资产相关的安全事件记录识别为热点事件。
优选地,采集模块还用于,在安全事件记录中不包括报送设备地址、事件源地址、事件目的地址中的任何一种时,将安全事件记录视为无效日志并剔除。
优选地,该***还包括构建模块,用于获取复杂网络环境中的全部网络资产的台账数据;将全部网络资产分为应用层、网络层和终端层三个网络层次;其中,应用层包括:服务器类型资产、数据库类型资产和中间件类型资产;网络层包括:网络设备类型资产和安全防护类型资产;终端层包括:主机类型资产;由各个网络层次中在预定义的IP地址网段内的网络资产构成网络热点中心。
优选地,构建模块还用于:将各个网络层次中的网络资产根据资产类型进行分组,将每组资产类型中的所有网络资产的IP地址按照预定义的划分规则进行IP地址网段划分,使每个网络层次中产生多个IP地址网段,从每一个网络层次中分别任意选取一个或多个IP地址网段,将选取的一个或多个IP地址网段中的一组IP地址所对应的网络资产定义为一个网络热点中心;选取的一个或多个IP地址网段形成一个或多个网络热点中心。
优选地,映射模块还用于通过以下步骤完成所述映射:
B1、以所述安全事件记录中的源地址和目的地址作为事件分析IP,如果安全事件记录中没有源地址和目的地址,则以安全事件记录的报送设备地址作为事件分析IP。
B2、构建网络设备资产的IP地址与资产类型的对应表,依据事件分析IP,获得安全事件记录对应的资产类型。
B3、根据资产类型对应的网络分层,将安全事件记录映射到相应的网络分层中,并根据事件分析IP映射到网络热点中心中。
优选地,该***还包括缓存模块,用于将映射到所述网络热点中心的安全事件记录采用ArrayList数据结构缓存在各个网络热点中心,并以预定的缓存周期进行缓存。
每个网络热点中心都缓存了缓存周期内映射到网络热点中心的安全事件记录的缓存列表。
优选地,计算模块还用于:获取各个网络热点中心中的安全事件记录,根据下式计算各个网络热点中心的热点指数:
其中,HI是指热点指数;N是网络热点中心中的安全事件记录的总数;PRI为安全事件记录的严重等级,取值范围为1-5的正整数;Ni为每一个严重等级中的安全事件记录的数量。
优选地,判定模块还用于通过以下步骤完成热点事件的判定及发送:
D1、通过下式计算网络热点中心中单个网络资产的安全事件记录的影响程度的计算公式为:
其中,AI为影响程度;M为网络资产的全部安全事件记录的总数,PRI为安全事件记录的严重等级,取值范围为1-5的正整数,Mi为每一个严重等级中安全事件记录的数量。
D2、通过对网络热点中心中所有网络资产的AI进行排序,获取AI最大的网络设备资产作为热点资产。
D3、通过将热点资产对应的所有安全事件记录按照PRI进行排序,获取PRI最大的安全事件记录作为热点事件,热点事件为单个事件或一组事件。
D4、将热点事件以SYSLOG协议的形式直接发送给第三方***和/或将热点事件存储在存储数据库中,通过对数据库的读写来传递给第三方***。
与现有技术相比,本发明包括:以***日志SYSLOG协议实时采集各种类型的网络资产的不同格式的SYSLOG安全日志数据,将SYSLOG安全日志数据规范化为格式统一的安全事件记录。根据网络资产的IP地址和网络资产的资产类型,将安全事件记录映射到预先构建的网络热点中心。计算网络热点中心中安全事件记录的热点指数。当热点指数超过预定的阈值时,则判定网络热点中心异常,将网络热点中心中影响程度最大的网络资产作为热点资产,将与热点资产相关的安全事件记录识别为热点事件。通过本发明的方案,能够全面分析热点事件,准确反应网络关键信息。
附图说明
下面对本发明实施例中的附图进行说明,实施例中的附图是用于对本发明的进一步理解,与说明书一起用于解释本发明,并不构成对本发明保护范围的限制。
图1为本发明的热点安全事件的识别方法流程图;
图2为本发明的热点安全事件的识别***框图;
图3为本发明的热点安全事件的识别方法示意图;
图4为本发明的热点安全事件的识别计算流程图。
具体实施方式
为了便于本领域技术人员的理解,下面结合附图对本发明作进一步的描述,并不能用来限制本发明的保护范围。
本发明的目的是为了克服现有技术的缺点,提出一种复杂网络环境中热点安全事件的识别方法。本发明采集企业网络中各网络设备资产的SYSLOG日志数据,规范化为格式统一的安全事件记录;以网络分层和IP分段技术构建网络热点中心;将安全事件记录根据IP和资产信息映射至热点中心中;综合考虑安全事件严重程度、数量和资产的重要程度等因素计算各个热点中心的热点指数;当热点指数超过某一阈值,则表明其为热点事件,并以适当形式数据,从而实现复杂网络环境中热点安全事件的精确、可靠识别。
具体地,本发明提出一种热点安全事件的识别方法,该方法包括以下步骤:
A、以***日志SYSLOG协议实时采集各种类型的网络资产的不同格式的SYSLOG安全日志数据,将SYSLOG安全日志数据规范化为格式统一的安全事件记录。
优选地,安全事件记录中包括报送设备地址、事件源地址、事件目的地址中的一种或多种;步骤A还包括:如果安全事件记录中不包括报送设备地址、事件源地址、事件目的地址中的任何一种,则将安全事件记录视为无效日志并剔除。
B、根据网络资产的IP地址和网络资产的资产类型,将安全事件记录映射到预先构建的网络热点中心。
优选地,该方法还包括:获取复杂网络环境中的全部网络资产的台账数据;对于复杂的企业网络而言,其保护的网络相对固定,一般会通过网络管理***维护一份网络资产台账数据。热点分析运用到安全事件分析中,最基本的原理就是在一个区域内的事件数目发生突变或者爆发,必然蕴藏着问题,而这个事件,可能有蔓延和传播,这个区域内的事件关联和内在联系到底如何,热点分析都有用武之地。对于企业网络环境来说,物理区域意义不大,更多体现在逻辑区域,从业务应用的端到端分析来看,如图3所示,我们可以将全部网络资产分为应用层、网络层和终端层三个网络层次;其中,应用层包括:服务器类型资产、数据库类型资产和中间件类型资产;网络层包括:网络设备类型资产和安全防护类型资产;终端层包括:主机类型资产和其他设备对应终端层。由各个网络层次中在预定义的IP地址网段内的网络资产构成网络热点中心。
优选地,由各个网络层次中在预定义的IP地址网段内的网络资产构成网络热点中心是指:将各个网络层次中的网络资产根据资产类型进行分组,将每组资产类型中的所有网络资产的IP地址按照预定义的划分规则进行IP地址网段划分,则每个网络层次中产生多个IP地址网段,从每一个网络层次中分别任意选取一个或多个IP地址网段,将选取的一个或多个IP地址网段中的一组IP地址所对应的所述网络资产定义为一个网络热点中心;选取的一个或多个IP地址网段形成一个或多个网络热点中心。
具体地实施例如下所示:
第一,网络热点中心必须位于单一的网络层次中;将各个网络层次中的网络资产根据资产类型进行分组;第二,将每组资产类型中的所有网络资产的IP地址按照预定义的划分规则进行IP地址网段划分,这里将所有网络资产的IP地址按照每50个IP地址作为一组进行IP地址网段划分,将所有网络资产的IP地址划分为5个IP地址网段,即5个网络热点中心,分别为:
[*.*.*.1,*.*.*.50],[*.*.*.51,*.*.*.100],[*.*.*.101,*.*.*.150],[*.*.*.151,*.*.*.200],[*.*.*.201,*.*.*.255]。示例如下:
优选地,步骤B具体包括:
B1、以安全事件记录中的源地址和目的地址作为事件分析IP,如果安全事件记录中没有源地址和目的地址,则以安全事件记录的报送设备地址作为事件分析IP。
B2、构建网络设备资产的IP地址与资产类型的对应表,依据事件分析IP,获得安全事件记录对应的资产类型。
B3、根据资产类型对应的网络分层,将安全事件记录映射到相应的网络分层中,并根据事件分析IP映射到网络热点中心中。
具体地,所述步骤B3包括:各个网络热点中心采用ArrayList数据结构缓存映射到网络热点中心的安全事件记录,并以预定的缓存周期进行缓存;本发明实施例中选择缓存周期为5分钟。该数据结构表达为:
ArrayList<EventObject>eventList;其中,EventObject表示安全事件记录,eventList表示热点中心缓存的安全事件记录列表。
经过安全事件映射步骤后,每个网络热点中心都缓存了缓存周期内映射到网络热点中心的安全事件记录的缓存列表。本发明实施例中,每个热点中心都缓存了最近5分钟映射到该中心的安全事件记录缓存列表eventList。所有安全事件记录EventObject都包含事件分析IP和事件严重等级信息。其中,事件严重等级(用PRI表示)划分为5级:
1:信息
2:轻微
3:一般
4:重要
5:严重
C、计算网络热点中心中安全事件记录的热点指数。
热点指数计算,综合考虑安全事件严重程度、数量和资产的重要程度等因素计算各个热点中心的热点指数。
优选地,步骤C具体包括:获取各个网络热点中心中的安全事件记录,根据下式计算各个网络热点中心的热点指数:
其中,HI是指热点指数;N是网络热点中心中的安全事件记录的总数;PRI为安全事件记录的严重等级,取值范围为1-5的正整数;Ni为每一个严重等级中的安全事件记录的数量。
具体地,综合考虑安全事件严重程度、数量和资产的重要程度等因素计算各个热点中心的热点指数,计算方法为:
指定的网络热点中心的事件频度计算公式为:
其中,N是网络热点中心的所有安全事件记录的数量。
指定的网络热点中心的事件影响计算公式为:
其中,N是该热点中心安全事件记录的总数,PRI为安全事件记录的严重等级,取值范围1-5的正整数,Ni为每一个影响等级的安全事件记录数量。
则指定的网络热点中心的热点指数计算方法为:
HI=EF*EI,
即为:
D、当热点指数超过预定的阈值时,则判定网络热点中心异常,将网络热点中心中影响程度最大的网络资产作为热点资产,将与热点资产相关的安全事件记录识别为热点事件。
优选地,步骤D具体包括:
D1、通过下式计算、网络热点中心中单个、网络资产的、安全事件记录的、影响程度的计算公式为:
其中,AI为、影响程度;M为、网络资产的全部、安全事件记录的总数,PRI为、安全事件记录的严重等级,取值范围为1-5的正整数,Mi为每一个、严重等级中、安全事件记录的数量。
D2、通过对网络热点中心中所有网络资产的AI进行排序,获取AI最大的网络设备资产作为热点资产。
D3、通过将热点资产对应的所有安全事件记录按照PRI进行排序,获取PRI最大的安全事件记录作为热点事件,热点事件为单个事件或一组事件。
D4、将热点事件以SYSLOG协议的形式直接发送给第三方***和/或将热点事件存储在存储数据库中,通过对数据库的读写来传递给第三方***。
本发明还提出一种热点安全事件的识别***01,该***包括采集模块02、映射模块03、计算模块04、判定模块05。
采集模块02,用于以***日志SYSLOG协议实时采集复杂网络环境中各种类型的网络资产的不同格式的SYSLOG安全日志数据,将SYSLOG安全日志数据规范化为格式统一的安全事件记录。
映射模块03,用于根据网络资产的IP地址和网络资产的资产类型,将安全事件记录映射到预先构建的网络热点中心。
计算模块04,用于计算网络热点中心中安全事件记录的热点指数。
判定模块05,用于当热点指数超过预定的阈值时,则判定网络热点中心异常,将网络热点中心中影响程度最大的网络资产作为热点资产,将与热点资产相关的安全事件记录识别为热点事件。
优选地,采集模块02还用于,在安全事件记录中不包括报送设备地址、事件源地址、事件目的地址中的任何一种时,将安全事件记录视为无效日志并剔除。
优选地,***还包括构建模块06,用于获取复杂网络环境中的全部网络资产的台账数据;将全部网络资产分为应用层、网络层和终端层三个网络层次;其中,应用层包括:服务器类型资产、数据库类型资产和中间件类型资产;网络层包括:网络设备类型资产和安全防护类型资产;终端层包括:主机类型资产;由各个网络层次中在预定义的IP地址网段内的网络资产构成网络热点中心。
优选地,构建模块06还用于:将各个网络层次中的网络资产根据资产类型进行分组,将每组资产类型中的所有网络资产的IP地址按照预定义的划分规则进行IP地址网段划分,使每个网络层次中产生多个IP地址网段,从每一个所述网络层次中分别任意选取一个或多个IP地址网段,将选取的一个或多个IP地址网段中的一组IP地址所对应的网络资产定义为一个网络热点中心;选取的一个或多个IP地址网段形成一个或多个网络热点中心。
优选地,映射模块03还用于通过以下步骤完成映射:
B1、以安全事件记录中的源地址和目的地址作为事件分析IP,如果安全事件记录中没有源地址和目的地址,则以安全事件记录的报送设备地址作为事件分析IP。
B2、构建网络设备资产的IP地址与资产类型的对应表,依据事件分析IP,获得安全事件记录对应的资产类型。
B3、根据资产类型对应的网络分层,将安全事件记录映射到相应的网络分层中,并根据事件分析IP映射到网络热点中心中。
优选地,该***还包括缓存模块07,用于将映射到网络热点中心的安全事件记录采用ArrayList数据结构缓存在各个网络热点中心,并以预定的缓存周期进行缓存。
每个网络热点中心都缓存了缓存周期内映射到网络热点中心的安全事件记录的缓存列表。
优选地,计算模块04还用于:获取各个网络热点中心中的安全事件记录,根据下式计算各个网络热点中心的热点指数:
其中,HI是指热点指数;N是网络热点中心中的安全事件记录的总数;PRI为安全事件记录的严重等级,取值范围为1-5的正整数;Ni为每一个严重等级中的安全事件记录的数量。
优选地,判定模块05还用于通过以下步骤完成热点事件的判定及发送:
D1、通过下式计算网络热点中心中单个网络资产的安全事件记录的影响程度的计算公式为:
其中,AI为影响程度;M为网络资产的全部安全事件记录的总数,PRI为安全事件记录的严重等级,取值范围为1-5的正整数,Mi为每一个严重等级中所述安全事件记录的数量。
D2、通过对网络热点中心中所有网络资产的AI进行排序,获取AI最大的网络设备资产作为热点资产。
D3、通过将热点资产对应的所有安全事件记录按照PRI进行排序,获取PRI最大的安全事件记录作为热点事件,热点事件为单个事件或一组事件。
D4、将热点事件以SYSLOG协议的形式直接发送给第三方***和/或将热点事件存储在存储数据库中,通过对数据库的读写来传递给第三方***。
本发明的目的是针对复杂企业网络环境,基于SYSLOG日志数据形成安全事件记录,结合企业资产信息,通过对安全事件记录内容和含义的综合分析,对热点安全事件进行有效的识别和判断,辅助用户对复杂网络进行有效分析和管理。
需要说明的是,以上所述的实施例仅是为了便于本领域的技术人员理解而已,并不用于限制本发明的保护范围,在不脱离本发明的发明构思的前提下,本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。
Claims (16)
1.一种热点安全事件的识别方法,其特征在于,所述方法包括以下步骤:
A、以***日志SYSLOG协议实时采集各种类型的网络资产的不同格式的SYSLOG安全日志数据,将所述SYSLOG安全日志数据规范化为格式统一的安全事件记录;
B、根据所述网络资产的IP地址和所述网络资产的资产类型,将所述安全事件记录映射到预先构建的网络热点中心;
C、计算所述网络热点中心中所述安全事件记录的热点指数;
D、当所述热点指数超过预定的阈值时,则判定所述网络热点中心异常,将所述网络热点中心中影响程度最大的所述网络资产作为热点资产,将与所述热点资产相关的所述安全事件记录识别为热点事件。
2.如权利要求1所述的方法,其特征在于,所述安全事件记录中包括报送设备地址、事件源地址、事件目的地址中的一种或多种;所述步骤A还包括:如果所述安全事件记录中不包括所述报送设备地址、所述事件源地址、所述事件目的地址中的任何一种,则将所述安全事件记录视为无效日志并剔除。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:获取所述复杂网络环境中的全部所述网络资产的台账数据;将全部所述网络资产分为应用层、网络层和终端层三个网络层次;其中,所述应用层包括:服务器类型资产、数据库类型资产和中间件类型资产;所述网络层包括:网络设备类型资产和安全防护类型资产;所述终端层包括:主机类型资产;由各个所述网络层次中在预定义的IP地址网段内的所述网络资产构成所述网络热点中心。
4.如权利要求3所述的方法,其特征在于,由各个所述网络层次中在预定义的IP地址网段内的所述网络资产构成所述网络热点中心是指:将各个所述网络层次中的所述网络资产根据所述资产类型进行分组,将每组所述资产类型中的所有所述网络资产的IP地址按照预定义的划分规则进行IP地址网段划分,则每个所述网络层次中产生多个所述IP地址网段,从每一个所述网络层次中分别任意选取一个或多个IP地址网段,将选取的所述一个或多个IP地址网段中的一组IP地址所对应的所述网络资产定义为一个所述网络热点中心;选取的所述一个或多个IP地址网段形成一个或多个所述网络热点中心。
5.如权利要求1所述的方法,其特征在于,所述步骤B包括:
B1、以所述安全事件记录中的源地址和目的地址作为事件分析IP,如果所述安全事件记录中没有所述源地址和所述目的地址,则以所述安全事件记录的报送设备地址作为所述事件分析IP;
B2、构建所述网络设备资产的所述IP地址与所述资产类型的对应表,依据所述事件分析IP,获得所述安全事件记录对应的所述资产类型;
B3、根据所述资产类型对应的所述网络分层,将所述安全事件记录映射到相应的网络分层中,并根据所述事件分析IP映射到所述网络热点中心中。
6.如权利要求5所述的方法,其特征在于,所述步骤B3包括:各个所述网络热点中心采用ArrayList数据结构缓存映射到所述网络热点中心的所述安全事件记录,并以预定的缓存周期进行缓存;
每个所述网络热点中心都缓存了所述缓存周期内映射到所述网络热点中心的所述安全事件记录的缓存列表。
7.如权利要求1所述的方法,其特征在于,所述步骤C包括:获取各个所述网络热点中心中的所述安全事件记录,根据下式计算各个所述网络热点中心的所述热点指数:
其中,HI是指所述热点指数;N是所述网络热点中心中的所述安全事件记录的总数;PRI为所述安全事件记录的严重等级,取值范围为1-5的正整数;Ni为每一个所述严重等级中的所述安全事件记录的数量。
8.如权利要求1所述的方法,其特征在于,所述步骤D包括:
D1、通过下式计算所述网络热点中心中单个所述网络资产的所述安全事件记录的所述影响程度的计算公式为:
其中,AI为所述影响程度;M为所述网络资产的全部所述安全事件记录的总数,PRI为所述安全事件记录的严重等级,取值范围为1-5的正整数,Mi为每一个所述严重等级中所述安全事件记录的数量;
D2、通过对所述网络热点中心中所有所述网络资产的所述AI进行排序,获取所述AI最大的所述网络设备资产作为所述热点资产;
D3、通过将所述热点资产对应的所有所述安全事件记录按照所述PRI进行排序,获取PRI最大的所述安全事件记录作为所述热点事件,所述热点事件为单个事件或一组事件;
D4、将所述热点事件以所述SYSLOG协议的形式直接发送给第三方***和/或将所述热点事件存储在存储数据库中,通过对所述数据库的读写来传递给所述第三方***。
9.一种热点安全事件的识别***,其特征在于,所述***包括采集模块、映射模块、计算模块、判定模块;
所述采集模块,用于以***日志SYSLOG协议实时采集所述复杂网络环境中各种类型的网络资产的不同格式的SYSLOG安全日志数据,将所述SYSLOG安全日志数据规范化为格式统一的安全事件记录;
所述映射模块,用于根据所述网络资产的IP地址和所述网络资产的资产类型,将所述安全事件记录映射到预先构建的网络热点中心;
所述计算模块,用于计算所述网络热点中心中所述安全事件记录的热点指数;
所述判定模块,用于当所述热点指数超过预定的阈值时,则判定所述网络热点中心异常,将所述网络热点中心中影响程度最大的所述网络资产作为热点资产,将与所述热点资产相关的所述安全事件记录识别为热点事件。
10.如权利要求9所述的***,其特征在于,所述采集模块还用于,在所述安全事件记录中不包括报送设备地址、事件源地址、事件目的地址中的任何一种时,将所述安全事件记录视为无效日志并剔除。
11.如权利要求9所述的***,其特征在于,所述***还包括构建模块,用于获取所述复杂网络环境中的全部所述网络资产的台账数据;将全部所述网络资产分为应用层、网络层和终端层三个网络层次;其中,所述应用层包括:服务器类型资产、数据库类型资产和中间件类型资产;所述网络层包括:网络设备类型资产和安全防护类型资产;所述终端层包括:主机类型资产;由各个所述网络层次中在预定义的IP地址网段内的所述网络资产构成所述网络热点中心。
12.如权利要求11所述的***,其特征在于,所述构建模块还用于:将各个所述网络层次中的所述网络资产根据所述资产类型进行分组,将每组所述资产类型中的所有所述网络资产的IP地址按照预定义的划分规则进行IP地址网段划分,使每个所述网络层次中产生多个所述IP地址网段,从每一个所述网络层次中分别任意选取一个或多个IP地址网段,将选取的所述一个或多个IP地址网段中的一组IP地址所对应的所述网络资产定义为一个所述网络热点中心;选取的所述一个或多个IP地址网段形成一个或多个所述网络热点中心。
13.如权利要求9所述的方法,其特征在于,所述映射模块还用于通过以下步骤完成所述映射:
B1、以所述安全事件记录中的源地址和目的地址作为事件分析IP,如果所述安全事件记录中没有所述源地址和所述目的地址,则以所述安全事件记录的报送设备地址作为所述事件分析IP;
B2、构建所述网络设备资产的所述IP地址与所述资产类型的对应表,依据所述事件分析IP,获得所述安全事件记录对应的所述资产类型;
B3、根据所述资产类型对应的所述网络分层,将所述安全事件记录映射到相应的网络分层中,并根据所述事件分析IP映射到所述网络热点中心中。
14.如权利要求13所述的***,其特征在于,所述***还包括缓存模块,用于将映射到所述网络热点中心的所述安全事件记录采用ArrayList数据结构缓存在各个所述网络热点中心,并以预定的缓存周期进行缓存;
每个所述网络热点中心都缓存了所述缓存周期内映射到所述网络热点中心的所述安全事件记录的缓存列表。
15.如权利要求9所述的方法,其特征在于,所述计算模块还用于:获取各个所述网络热点中心中的所述安全事件记录,根据下式计算各个所述网络热点中心的所述热点指数:
其中,HI是指所述热点指数;N是所述网络热点中心中的所述安全事件记录的总数;PRI为所述安全事件记录的严重等级,取值范围为1-5的正整数;Ni为每一个所述严重等级中的所述安全事件记录的数量。
16.如权利要求9所述的***,其特征在于,所述判定模块还用于通过以下步骤完成所述热点事件的判定及发送:
D1、通过下式计算所述网络热点中心中单个所述网络资产的所述安全事件记录的所述影响程度的计算公式为:
其中,AI为所述影响程度;M为所述网络资产的全部所述安全事件记录的总数,PRI为所述安全事件记录的严重等级,取值范围为1-5的正整数,Mi为每一个所述严重等级中所述安全事件记录的数量;
D2、通过对所述网络热点中心中所有所述网络资产的所述AI进行排序,获取所述AI最大的所述网络设备资产作为所述热点资产;
D3、通过将所述热点资产对应的所有所述安全事件记录按照所述PRI进行排序,获取PRI最大的所述安全事件记录作为所述热点事件,所述热点事件为单个事件或一组事件;
D4、将所述热点事件以所述SYSLOG协议的形式直接发送给第三方***和/或将所述热点事件存储在存储数据库中,通过对所述数据库的读写来传递给所述第三方***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510015080.2A CN104579782B (zh) | 2015-01-12 | 2015-01-12 | 一种热点安全事件的识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510015080.2A CN104579782B (zh) | 2015-01-12 | 2015-01-12 | 一种热点安全事件的识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104579782A true CN104579782A (zh) | 2015-04-29 |
CN104579782B CN104579782B (zh) | 2018-03-27 |
Family
ID=53095047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510015080.2A Active CN104579782B (zh) | 2015-01-12 | 2015-01-12 | 一种热点安全事件的识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104579782B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104994075A (zh) * | 2015-06-01 | 2015-10-21 | 广东电网有限责任公司信息中心 | 基于安全***输出日志的安全事件处理方法、***及终端 |
CN106096406A (zh) * | 2016-05-30 | 2016-11-09 | 北京启明星辰信息安全技术有限公司 | 一种安全漏洞回溯分析方法及装置 |
CN106101098A (zh) * | 2016-06-13 | 2016-11-09 | 金邦达有限公司 | 一种信息资产识别方法及装置 |
CN107493576A (zh) * | 2016-06-12 | 2017-12-19 | 上海连尚网络科技有限公司 | 用于确定无线接入点的安全信息的方法与设备 |
CN109977990A (zh) * | 2019-01-21 | 2019-07-05 | 中国电子科技集团公司第三十研究所 | 一种基于概念格的网络资产相似性度量方法 |
CN112738107A (zh) * | 2020-12-30 | 2021-04-30 | 恒安嘉新(北京)科技股份公司 | 一种网络安全的评价方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101087210A (zh) * | 2007-05-22 | 2007-12-12 | 网御神州科技(北京)有限公司 | 高性能的Syslog日志处理和存储方法 |
CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析***与方法 |
CN103546312A (zh) * | 2013-08-27 | 2014-01-29 | 中国航天科工集团第二研究院七〇六所 | 一种海量多源异构日志关联分析方法 |
-
2015
- 2015-01-12 CN CN201510015080.2A patent/CN104579782B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101087210A (zh) * | 2007-05-22 | 2007-12-12 | 网御神州科技(北京)有限公司 | 高性能的Syslog日志处理和存储方法 |
CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析***与方法 |
CN103546312A (zh) * | 2013-08-27 | 2014-01-29 | 中国航天科工集团第二研究院七〇六所 | 一种海量多源异构日志关联分析方法 |
Non-Patent Citations (1)
Title |
---|
胡成锴: "安全事件管理***的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104994075A (zh) * | 2015-06-01 | 2015-10-21 | 广东电网有限责任公司信息中心 | 基于安全***输出日志的安全事件处理方法、***及终端 |
CN106096406A (zh) * | 2016-05-30 | 2016-11-09 | 北京启明星辰信息安全技术有限公司 | 一种安全漏洞回溯分析方法及装置 |
CN106096406B (zh) * | 2016-05-30 | 2019-01-25 | 北京启明星辰信息安全技术有限公司 | 一种安全漏洞回溯分析方法及装置 |
CN107493576A (zh) * | 2016-06-12 | 2017-12-19 | 上海连尚网络科技有限公司 | 用于确定无线接入点的安全信息的方法与设备 |
CN106101098A (zh) * | 2016-06-13 | 2016-11-09 | 金邦达有限公司 | 一种信息资产识别方法及装置 |
CN106101098B (zh) * | 2016-06-13 | 2019-07-02 | 金邦达有限公司 | 一种信息资产识别方法及装置 |
CN109977990A (zh) * | 2019-01-21 | 2019-07-05 | 中国电子科技集团公司第三十研究所 | 一种基于概念格的网络资产相似性度量方法 |
CN112738107A (zh) * | 2020-12-30 | 2021-04-30 | 恒安嘉新(北京)科技股份公司 | 一种网络安全的评价方法、装置、设备及存储介质 |
CN112738107B (zh) * | 2020-12-30 | 2022-08-05 | 恒安嘉新(北京)科技股份公司 | 一种网络安全的评价方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104579782B (zh) | 2018-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dong et al. | Real-time network intrusion detection system based on deep learning | |
Tavallaee et al. | A detailed analysis of the KDD CUP 99 data set | |
CN104579782A (zh) | 一种热点安全事件的识别方法及*** | |
Cao et al. | Machine learning to detect anomalies in web log analysis | |
Zhao et al. | An empirical investigation of practical log anomaly detection for online service systems | |
Mohammed et al. | Intrusion detection system based on SVM for WLAN | |
Yuan et al. | Ada: Adaptive deep log anomaly detector | |
Jia et al. | Big-data analysis of multi-source logs for anomaly detection on network-based system | |
Ahmed | Intelligent big data summarization for rare anomaly detection | |
WO2024114827A1 (zh) | 基于连续时间动态异质图神经网络的apt检测方法及*** | |
Lorenzen et al. | Determining viability of deep learning on cybersecurity log analytics | |
Zubi et al. | Using data mining techniques to analyze crime patterns in the libyan national crime data | |
Li et al. | The insider threat detection method of university website clusters based on machine learning | |
RU180789U1 (ru) | Устройство аудита информационной безопасности в автоматизированных системах | |
Shih et al. | Implementation and visualization of a netflow log data lake system for cyberattack detection using distributed deep learning | |
Chen et al. | Information-based massive data retrieval method based on distributed decision tree algorithm | |
Liao et al. | Research on network intrusion detection method based on deep learning algorithm | |
Zhu et al. | A Performance Fault Diagnosis Method for SaaS Software Based on GBDT Algorithm. | |
Fan et al. | A network intrusion detection method based on improved Bi-LSTM in Internet of Things environment | |
Kotenko et al. | Combining spark and snort technologies for detection of network attacks and anomalies: assessment of performance for the big data framework | |
Bu | Network security based on k-means clustering algorithm in data mining research | |
Wu et al. | Computer Network Security in the Era of | |
Pavlikov et al. | Architecture and security tools in distributed information systems with Big Data | |
Warzyński et al. | Application and evaluation of selected machine learning algorithms in anomaly detection module for soc | |
Wang | Remote Data Security Monitoring Technology for Computer Networks Based on Machine Learning Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |