CN105471880B - 一种可容错的分布式安全事件数据传输协议的实现方法 - Google Patents

一种可容错的分布式安全事件数据传输协议的实现方法 Download PDF

Info

Publication number
CN105471880B
CN105471880B CN201510884097.1A CN201510884097A CN105471880B CN 105471880 B CN105471880 B CN 105471880B CN 201510884097 A CN201510884097 A CN 201510884097A CN 105471880 B CN105471880 B CN 105471880B
Authority
CN
China
Prior art keywords
node
performer
message
transactional
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510884097.1A
Other languages
English (en)
Other versions
CN105471880A (zh
Inventor
樊凯
梁志宏
吕华辉
王敏
欧阳可萃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Venus Information Security Technology Co Ltd
Information Center of China Southern Power Grid Co Ltd
Original Assignee
Beijing Venus Information Security Technology Co Ltd
Information Center of China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Venus Information Security Technology Co Ltd, Information Center of China Southern Power Grid Co Ltd filed Critical Beijing Venus Information Security Technology Co Ltd
Priority to CN201510884097.1A priority Critical patent/CN105471880B/zh
Publication of CN105471880A publication Critical patent/CN105471880A/zh
Application granted granted Critical
Publication of CN105471880B publication Critical patent/CN105471880B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • H04L63/0218—Distributed architectures, e.g. distributed firewalls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的目的在于提供一种可容错的分布式安全事件数据传输协议的实现方法。本发明采用分布式集群方式处理安全事件，采用定期选举机制确定集群中的事物节点，保证消息数据的事务性；集群中各个节点采用消息队列机制，保证安全事件处理的并行与可扩展；从而实现了可容错的安全事件传输机制。本方法包括如下步骤：A、对于全网的安全事件采用事件处理分布式集群的方式进行；B、所述事件处理集群会定期选举事物节点称为Transactional；C、事物节点Transactional选举的评分因素；D、一个Performer节点可以并行处理多个Performer节点的安全事件传输请求；E、Performer节点处理消息信息。

Description

一种可容错的分布式安全事件数据传输协议的实现方法
技术领域
本发明涉及信息安全领域，具体海量安全事件分布式处理和数据传输。
背景技术
互联网+的理念已经深入人心，各个行业信息网络中部署的应用***和各种设备的数量急剧增加，对复杂环境下IT操作的有效、及时审计分析极为迫切。安全审计的数据基础是防病毒***、防火墙、入侵检测***、漏洞扫描***、UTM、运行主机、交换机、路由器、数据库***、中间件等日志事件、状态事件和网络数据包信息。在目前的网络环境中，各种设备的安全事件已经成为海量数据，syslog作为主要的日志类型，被各种操作***，网络设备和安全设备广泛支持，成为日志的重要标准，对于其他类型的日志，也可以转换为syslog日志格式，便于统一分析。
借助大数据安全分析技术，人们能够更好地解决天量安全要素信息的采集、存储的问题，借助基于大数据分析技术的机器学习和数据挖据算法，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地应对新型复杂的威胁和未知多变的风险。
攻击者的攻击行为隐藏在海量的安全事件中，通过包捕获，也能拿到天量的包含攻击流量的数据。所有这些天量数据汇聚起来就是安全大数据。通过对这些安全大数据进行实时分析和历史分析，建立行为轮廓，并进行行为建模和数据挖掘，就能帮助安全分析师识别出攻击者及其攻击行为和过程，并提取攻击特征，反馈给安全防御设施进行阻断。
网络安全的主要思想是积极防御、积极对抗。这种思想的终极目标是不求阻止任何攻击，而是尽可能地延缓攻击，拖延攻击者的时间，以便为找到对策争取时间。网络攻防很多时候就是一场夺取时间的战斗，谁得到的时间越多，谁就越有可能掌握对抗的主动权，而掌握主动就意味着更有可能获取对抗的胜利意味着更有可能获取对抗的胜利。
在这种思想的指导下，对安全审计的核心数——安全事件的处理和传输必须高效并容错。目前业界的主流技术仍以双机热备作为主要的容错方案，这种方案扩展性差，难以使用大数据时代的要求。
发明内容
本发明的目的是为了克服现有技术的缺点，提出一种可容错的分布式安全事件数据传输协议的实现方法。本发明采用分布式集群方式处理安全事件，采用定期选举机制确定集群中的事物节点，并建立消息事物映射表，保证消息数据的事务性；集群中各个节点采用消息队列机制，保证安全事件处理的并行与可扩展；从而实现了可容错的安全事件传输机制。
本发明的目的是通过以下技术方案实现的：
一种可容错的分布式安全事件数据传输协议的实现方法，包括如下步骤：
A、对于全网的安全事件采用事件处理分布式集群的方式进行：所述分布式集群的每一个节点称为Performer，每一个Performer节点都是计算性能相当的、独立的实体服务器或虚拟机，每一个Performer节点都建立消息队列ML(Message List)，该消息队列ML是一个先入先出数组；
B、所述事件处理分布式集群会定期选举事物节点称为Transactional，所述事物节点Transcational负责进行集群的容错处理，事物节点Transactional除了具备一般Performer节点的功能外，还会构建事物消息映射表TMM(Transactional Message Map)，该映射表实时备份每个Performer节点中未处理的消息；如果某个Performer节点出现故障，事物节点Transcational会将Performer节点未处理的消息分发给其他Performer节点；
C、事物节点Transactional选举的评分因素包括：CPU利用率、内存利用率和消息队列ML中未处理消息个数，当事物节点Transactional出现故障时，所述集群会立即选择新的事物节点；事物节点选举的评分算法是：
首先计算除当前事物节点Transactional外的各个Performer节点的选举指数：
E I i = C * ( 2 M ) * ( N / L )
其中，表示序号为i的Performer节点的选举指数，C表示该Performer节点的CPU利用率，M表示该Performer节点的内存利用率，N表示该Performer节点未处理的消息个数，L表示消息队列ML的总长度。
其次，从选举指数最低的Performer节点确定为新的事物节点Transactional为T：
T＝min(EIi)
D、一个Performer节点可以并行处理多个Performer节点的安全事件传输请求，每次采集一个安全事件，构建该安全事件的消息信息Message，该消息信息包括MID和EventEntity字段，分别代表：
·MID：消息信息的唯一序号；
·EventEntity：安全事件的实体
将该Message写入消息队列ML，同时写入事物节点Transactional的事物消息映射表TMM中；
E、Performer节点在处理一个消息信息时，从其消息队列ML拿出一个消息信息Message进行处理，处理完毕后通知事物节点Transactional，如果事物节点在线，则事物节点事物消息映射表TMM删除该消息信息，如果事物节点故障，则重新选举事物节点。
优选的，在步骤B中，事物节点的事物消息映射表TMM(Transactional MessageMap)，其数据结构如下：TMM采用多层哈希映射表数据结构HashMap嵌套的方式实现，
HashMap<k_ip,Hashmap<k_message，v_event>>
其中，
k_ip是集群中某个Performer的IP地址；
k_message是消息信息Message的唯一序号MID；
v_event是该消息的事件数据。
优选的，在步骤B中，消息信息Message的唯一序号MID的实现算法为：
MID＝ip_performer+event_ssid
其中，
ip_performer是安全事件传输发起者Performer的IP地址；
event_ssid是事件数据的唯一序号。
优选的，在步骤D中，事件处理集群会定期选举事物节点Transactional，该选举周期为1天，选举时间点为3:00，一般认为这个时间点是安全事件最不活跃的时间。
优选的，在步骤E中，本发明处理的安全事件内容信息包含但不限于：事件名称、事件摘要、事件分类、采集类型、等级、网络协议、网络应用协议。
具体实施方式
本发明提供一种可容错的分布式安全事件数据传输协议的实现方法，包括如下步骤：
A、对于全网的安全事件采用事件处理分布式集群的方式进行：所述分布式集群的每一个节点称为Performer，每一个Performer节点都是计算性能相当的、独立的实体服务器或虚拟机，每一个Performer节点都建立消息队列ML(Message List)，该消息队列ML是一个先入先出数组；
B、所述事件处理集群会定期选举事物节点称为Transactional，所述事物节点Transcational负责进行集群的容错处理，事物节点Transactional除了具备一般Performer节点的功能外，还会构建事物消息映射表TMM(Transactional Message Map)，该映射表实时备份每个Performer节点中未处理的消息；如果某个Performer节点出现故障，事物节点Transcational会将该Performer节点未处理的消息分发给其他Performer节点；
C、事物节点Transactional选举的评分因素包括：CPU利用率、内存利用率和消息队列ML中未处理消息个数，当事物节点Transactional出现故障时，所述集群会立即选择新的事物节点；事物节点选举的评分算法是：
首先计算除当前事物节点Transactional外的各个Performer节点的选举指数：
E I i = C * ( 2 M ) * ( N / L )
其中，表示序号为i的Performer节点的选举指数，C表示该Performer节点的CPU利用率，M表示该Performer节点的内存利用率，N表示该Performer节点未处理的消息个数，L表示消息队列ML的总长度。
其次，从选举指数最低的Performer节点确定为新的事物节点Transactional为T：
T＝min(EIi)
D、一个Performer节点可以并行处理多个Performer节点的安全事件传输请求，每次采集一个安全事件，构建该安全事件的消息信息Message，该消息信息包括MID和EventEntity字段，分别代表：
·MID：消息信息的唯一序号；
·EventEntity：安全事件的实体
将该Message写入消息队列ML，同时写入事物节点Transactional的事物消息映射表TMM中；
E、Performer节点在处理一个消息信息时，从其消息队列ML拿出一个消息信息Message进行处理，处理完毕后通知事物节点Transactional，如果事物节点在线，则事物节点事物消息映射表TMM删除该消息信息，如果事物节点故障，则重新选举事物节点。
优选的，在步骤B中，事物节点的事物消息映射表TMM(Transactional MessageMap)，其数据结构如下：TMM采用多层哈希映射表数据结构HashMap嵌套的方式实现，
HashMap<k_ip,Hashmap<k_message，v_event>>
其中，
k_ip是集群中某个Performer的IP地址；
k_message是消息信息Message的唯一序号MID；
v_event是该消息的事件数据。
优选的，在步骤B中，消息信息Message的唯一序号MID的实现算法为：
MID＝ip_performer+event_ssid
其中，
ip_performer是安全事件传输发起者Performer的IP地址；
event_ssid是事件数据的唯一序号。
优选的，在步骤D中，事件处理集群会定期选举事物节点Transactional，该选举周期为1天，选举时间点为3:00，一般认为这个时间点是安全事件最不活跃的时间。
优选的，在步骤E中，本发明处理的安全事件内容信息包含但不限于：事件名称、事件摘要、事件分类、采集类型、等级、网络协议、网络应用协议。
本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。

Claims (4)

1.一种可容错的分布式安全事件数据传输协议的实现方法，其特征在于包括如下步骤：
A、对于全网的安全事件采用事件处理分布式集群的方式进行：所述分布式集群的每一个节点称为Performer，每一个Performer节点都是计算性能相当的、独立的实体服务器或虚拟机，每一个Performer节点都建立消息队列ML，该消息队列ML是一个先入先出数组；
B、所述事件处理分布式集群会定期选举事物节点Transactional，所述事物节点Transcational负责进行集群的容错处理，事物节点Transactional除了具备一般Performer节点的功能外，还会构建事物消息映射表TMM，该事物消息映射表实时备份每个Performer节点中未处理的消息；如果某个Performer节点出现故障，事物节点Transcational会将Performer节点未处理的消息分发给其他Performer节点；
C、事物节点Transactional选举的评分因素包括：CPU利用率、内存利用率和消息队列ML中未处理消息个数，当事物节点Transactional出现故障时，所述集群会立即选择新的事物节点；
D、一个Performer节点可以并行处理多个Performer节点的安全事件传输请求，每次采集一个安全事件，构建该安全事件的消息信息Message，该消息信息包括MID和EventEntity字段，分别代表：
·MID：消息信息的唯一序号；
·EventEntity：安全事件的实体
将该消息信息Message写入消息队列ML，同时写入事物节点Transactional的事物消息映射表TMM中；
E、Performer节点在处理一个消息信息时，从其消息队列ML拿出一个消息信息进行处理，处理完毕后通知事物节点Transactional，如果事物节点在线，则事物节点事物消息映射表TMM删除该消息信息，如果事物节点故障，则重新选举事物节点；
所述的步骤B的事物节点的事物消息映射表TMM数据结构如下：TMM采用多层哈希映射表数据结构HashMap嵌套的方式实现，
HashMap<k_ip,Hashmap<k_message，v_event>>
其中，
k_ip是集群中某个Performer的IP地址；
k_message是消息信息Message的唯一序号MID；
v_event是该消息的事件数据；
所述的步骤B中，所述事物节点选举的评分算法是：
首先计算除当前事物节点Transactional外的各个Performer节点的选举指数：
EIi＝C*(2M)*(N/L)
其中，EIi表示序号为i的Performer节点的选举指数，C表示该Performer节点的CPU利用率，M表示该Performer节点的内存利用率，N表示该Performer节点未处理的消息个数，L表示消息队列ML的总长度；
其次，从选举指数最低的Performer节点确定为新的事物节点Transactional为T：
T＝min(EIi)。
2.根据权利要求1的方法，其特征在于：在步骤B中，消息信息Message的唯一序号MID的实现算法为：
MID＝ip_performer+event_ssid
其中，
ip_performer是安全事件传输发起者Performer的IP地址；
event_ssid是事件数据的唯一序号。
3.根据权利要求1的方法，其特征在于：在步骤D中，事件处理集群会定期选举事物节点Transactional，该选举周期为1天，选举时间点为3:00。
4.根据权利要求1的方法，其特征在于：在步骤E中，本发明处理的安全事件内容信息包含但不限于：事件名称、事件摘要、事件分类、采集类型、等级、网络协议、网络应用协议。
CN201510884097.1A 2015-12-03 2015-12-03 一种可容错的分布式安全事件数据传输协议的实现方法 Expired - Fee Related CN105471880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510884097.1A CN105471880B (zh) 2015-12-03 2015-12-03 一种可容错的分布式安全事件数据传输协议的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510884097.1A CN105471880B (zh) 2015-12-03 2015-12-03 一种可容错的分布式安全事件数据传输协议的实现方法

Publications (2)

Publication Number Publication Date
CN105471880A CN105471880A (zh) 2016-04-06
CN105471880B true CN105471880B (zh) 2016-11-16

Family

ID=55609150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510884097.1A Expired - Fee Related CN105471880B (zh) 2015-12-03 2015-12-03 一种可容错的分布式安全事件数据传输协议的实现方法

Country Status (1)

Country Link
CN (1) CN105471880B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7496663B2 (en) * 2005-08-29 2009-02-24 International Business Machines Corporation System and method for detecting status changes in a network using virtual coordinate mapping
CN101834828B (zh) * 2009-03-13 2013-04-03 北京启明星辰信息技术股份有限公司 一种管理控制端***及其中安全事件的传输方法
CN103294479A (zh) * 2013-06-19 2013-09-11 成都市欧冠信息技术有限责任公司 分布式事务处理方法与***

Also Published As

Publication number Publication date
CN105471880A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
US10599456B2 (en) Centralized networking configuration in distributed systems
Sharma et al. SoftEdgeNet: SDN based energy-efficient distributed network architecture for edge computing
CN101719842B (zh) 一种基于云计算环境的分布式网络安全预警方法
CN107690776A (zh) 用于异常检测中的将特征分组为具有选择的箱边界的箱的方法和装置
Xuan et al. Detecting application denial-of-service attacks: A group-testing-based approach
CN102724063A (zh) 日志采集服务器及数据包分发、日志聚类方法及网络
CN104580222A (zh) 基于信息熵的DDoS攻击分布式检测与响应***及方法
Karimi et al. Distributed network traffic feature extraction for a real-time IDS
Varalakshmi et al. Thwarting DDoS attacks in grid using information divergence
CN105282169A (zh) 基于SDN控制器阈值的DDoS攻击预警方法及其***
Vilalta et al. Improving security in Internet of Things with software defined networking
Wang et al. A centralized HIDS framework for private cloud
CN105991617A (zh) 使用网络评分来选择安全路径的计算机实施***及方法
CN106203164B (zh) 基于可信计算和云计算的信息安全大数据资源管理***
Maheshwari et al. Faster detection and prediction of DDoS attacks using MapReduce and time series analysis
CN110247899A (zh) 基于sdn云环境检测和缓解arp攻击的***及方法
Zhang et al. A hadoop based analysis and detection model for ip spoofing typed ddos attack
Kim et al. Implementation of hybrid P2P networking distributed web crawler using AWS for smart work news big data
CN109102296A (zh) 一种节点共识方法及***
CN110061854A (zh) 一种无边界网络智能运维管理方法与***
CN107276857A (zh) 一种监测流量的方法及装置
Liu et al. DUET: A generic framework for finding special quadratic elements in data streams
Rashid et al. Edgestore: Towards an edge-based distributed storage system for emergency response
Lin et al. Security function virtualization based moving target defense of SDN-enabled smart grid
CN105471880B (zh) 一种可容错的分布式安全事件数据传输协议的实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161116

Termination date: 20171203

CF01 Termination of patent right due to non-payment of annual fee