CN107682166A - 基于大数据的安全运维服务平台远程数据采集的实现方法 - Google Patents
基于大数据的安全运维服务平台远程数据采集的实现方法 Download PDFInfo
- Publication number
- CN107682166A CN107682166A CN201610618184.7A CN201610618184A CN107682166A CN 107682166 A CN107682166 A CN 107682166A CN 201610618184 A CN201610618184 A CN 201610618184A CN 107682166 A CN107682166 A CN 107682166A
- Authority
- CN
- China
- Prior art keywords
- safe
- service platform
- data acquisition
- remote data
- soc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/085—Retrieval of network configuration; Tracking network configuration history
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1433—Vulnerability analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了基于大数据的安全运维服务平台远程数据采集的实现方法,包括远程数据采集模块、依赖策略配置模块。本发明通过创建远程数据采集模块和依赖策略配置模块,实现对漏洞、配置等信息的远程采集和实时分析,并将分析结果实时上传给平台;减轻了安全运维服务平台集中采集的压力,提高了安全运维服务平台的性能及其***的可扩展性,另一方面,也降低了安全运维服务平台的建设成本。
Description
技术领域
本发明涉及信息安全、大数据应用技术领域,尤其涉及到基于大数据安全运维服务平台数据采集的实现方法。
背景技术
本发明中包含的英文简称如下:
SOC:Security Operation Center安全管理中心
IDS:Intrusion Detection Systems入侵检测***
SNMP:Simple Network Management Protocol简单网络管理协议
CLF:Common Log Format 普通日志格式
JSON:JavaScript Object Notation JAVA脚本对象符号
HDFS:Hadoop Distribute File SystemHadoop分布式文件***。
安全生产历来是保障各项工作有序开展的前提,也是考核各级领导干部的否决指标。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络及信息***高效稳定地运行,是企业一切市场经营活动和正常运作的基础。
当前,企业IT***都不同程度地部署了各种不同的业务***和安全设备,有效地提高了劳动生产率,降低了运营成本,已经成为企业高效运营的重要支撑和生产环节中不可缺少的一环。一方面,因为一旦网络及各业务***出现安全事件或故障,如果不能及时发现、及时处理、及时恢复,这势必直接影响承载在其上所有业务的运行,影响企业的正常运营秩序,涉及到用户的***将直接导致用户投诉,满意度下降,企业形象受到损害,对于企业网络的安全保障就显得格外重要;另一方面,由于各种网络攻击技术也变得越来越先进,越来越普及化,企业的网络***面临着随时被攻击的危险,经常遭受不同程度的入侵和破坏,严重干扰了企业网络的正常运行;日益严峻的安全威胁迫使企业不得不加强对网络及业务***的安全防护,不断追求多层次、立体化的安全防御体系,建设安全运维服务中心,实时跟踪***事件和实时检测各种安全攻击、及时采取相应的控制动作,消除或缩减攻击所造成的损失,尽一切可能来保护企业网络及业务***正常运营。
然而,被用来执行安全运维服务任务的各种设备、数据库、中间件、操作***和Web服务器等所产生的日志,随着企业IT***规模的不断扩大,尤其是它的种类和数量正经历了巨大规模的上升,从而使日志存储、日志分析和问题跟踪变得越来越困难。企业IT***的日志规模的这样海量地增长,迫使安全运维服务提供商采用Hadoop/Spark这样的大数据架构来对日志进行集中存储、对日志进行集中处理和日志分析,对***事件进行实时跟踪,对安全攻击进行实时检测。
目前,已有的安全运维服务平台的数据采集的实现方法,都使用集中采集数据的方式,可能耗时和费钱,已无法胜任当前企业的安全运维服务平台对***实时性能和低成本的任务。因此,迫切需要一种全新的理念来对海量日志和漏洞信息进行实时分析和管理。
为此,如何利用信息化手段提高企业的运营效益,优化企业信息***,使得它能够为各类企业提供专业的和高性价比的信息安全运维服务,即成为尤其是信息安全运维管理设计上必须要解决的一个重要课题。
发明内容
本发明提供了一种基于大数据的安全运维服务平台的远程数据采集的实现方法,以解决现有技术问题存在数据采集可扩展性差、性能差、成本高等缺陷。
本发明的一种基于大数据的安全运维服务平台的远程数据采集的实现方法,应用于能够为多个企业提供各种安全服务和运维监控服务的安全运维监控服务平台中。
所述安全服务包括配置管理、安全风险评估、威胁检测、漏洞扫描、防病毒等。
所述运维监控服务包括配置管理、故障管理、性能管理、问题管理、变更管理等。
所述方法包括远程数据采集模块、依赖策略配置模块。
所述远程数据采集模块,根据安全运维服务平台的配置,负责采集平台所指派的SOC的漏洞、配置等信息。
所述依赖策略配置模块,配置远程数据采集的策略,远程数据采集模块承担一部分安全运维服务平台的数据采集任务,远程数据采集模块采集平台所指派的SOC的漏洞等信息,而与安全运维服务平台相距较远。
进一步地,平台根据远程数据采集模块与SOC的距离远近,指派相应的远程数据采集模块,
进一步地,远程数据采集模块对所述漏洞、配置等信息及时地进行分析,并将分析结果实时地传送给安全运维服务平台。
本发明通过创建远程数据采集模块和依赖策略配置模块,实现对漏洞、配置等信息的远程采集和实时分析,并将分析结果实时地上传给平台,减轻了安全运维服务平台的压力,提高了安全运维服务平台的性能及其***的可扩展性,另一方面,也降低了安全运维服务平台的建设成本。
附图说明
图1为本发明所述的基于大数据的安全运维服务平台远程数据采集的实现方法的示意图。
具体实施方式
下面是根据附图和实例对本发明的进一步详细说明:
图1为本发明所述的基于大数据的安全运维服务平台远程数据采集的实现方法的示意图,它具有如下功能:
(1)安全运维服务平台根据远程数据采集模块与SOC的距离远近,指派相应的远程数据采集模块,就近采集异地SOC的安全运维信息:例如安全事件、漏洞、故障和配置信息等。
(2)减轻安全运维服务平台的数据采集压力;
(3)提升***性能、可扩展性和降低建设成本。
所述安全运维服务平台,被设计成一种分布式的架构,由多个企业级的SOC所组成,每个SOC包含若干采集设备、远程采集设备、数据库、数据分析服务器等。
所述SOC,其中的一个SOC作为全局的安全操作中心,该SOC包含若干采集设备、远程采集设备(或远程采集模块)、本地数据库、全局数据库、全局数据分析服务器、依赖策略配置模块,等。
每一个SOC的采集设备负责采集所辖企业的网络设备事件信息、性能信息、漏洞信息和配置信息等,并经过预处理后转发给本地数据分析服务器。
每一个SOC的远程采集模块安装了安全运维服务工具软件,例如漏洞扫描软件等,根据采集配置策略,负责采集与之相邻的SOC的漏洞信息等,例如,下表所罗列的交换机采集内容与方式中,包括远程采集的内容。
所述依赖策略配置模块,通过安全运维服务平台,配置远程采集模块采集的对象,这里指的是其它SOC,即该远程采集模块不属于该SOC,且平台与这个SOC较该远程采集模块的距离远许多。
每一个SOC的远程采集模块也具有容错功能,如果当其中一台远程采集设备发生故障时,则能够自动地选择另一台备份的远程采集设备,选择的原则可以根据远程采集设备的CPU、内存、硬盘和存活信息等进行选择。
每一个SOC的远程采集设备采集与之邻近的SOC的网络设备的日志、格式化日志,并把这些日志发送到本地SOC的数据库和数据分析模块,然后发送给全局数据库。
每一个SOC,至少包含一个远程采集设备,在有多个远程采集设备的情况下,其中一个远程采集设备兼任管理角色,即它负责管理在同一个SOC之内的所有远程采集设备,这里被称之为管理远程采集设备。它周期性地轮询其它所辖的远程采集设备,并且当某一个远程采集设备发生故障时,则该设备根据依赖策略选择正常的远程采集设备代替已故障的远程采集设备来采集所在SOC的安全运维管理信息。负责管理的远程采集设备也有备份,这里称之为“管理远程采集设备”。
所述SOC的数据分析服务器负责本地SOC的安全分析和运维监控。它分析本地SOC数据库里的格式化的日志信息、配置信息和漏洞信息等,并产生告警。然后,关联该告警以发现更复杂的入侵(例如,一般由多个事件所组成)。通过SOC数据分析服务器,安全事件及故障告警数量减少了很多。由本地SOC的数据分析服务器产生的分析结果被发送到全局数据库。
所述全局数据分析模块负责该各个本地数据库发送过来的信息,关联全局数据库里的告警和合并全局数据库里的告警,产生基于全局的最优及最准确的输出。它也能够检测出牵涉多个SOC的更复杂的告警。全局数据分析服务器周期性地轮询所辖SOC数据库,并且当它们其中的一个SOC数据分析服务器发生故障而不能正常运行时,则全局数据分析服务器根据依赖策略代替该数据分析服务器的安全服务及运维监控。全局分析服务器也有备份。
所述全局数据分析模块,将有关分析结果发送到界面上进行显示、或发送给安全管理人员(或客服)进行处理和维护等。
所述全局的SOC,即安全运维服务平台。
以上所述仅为本发明的较佳实施例,并非用来限定本发明的实施范围;凡是依本发明所作的等效变化与修改,都被视为本发明的专利范围所涵盖。
Claims (5)
1.本发明提供了基于大数据的安全运维服务平台远程数据采集的实现方法,包括远程数据采集模块、依赖策略配置模块。
2.如权利要求1所述的基于大数据的安全运维服务平台远程数据采集的实现方法,所述远程数据采集模块,根据安全运维服务平台的配置,负责就近异地采集SOC的漏洞等信息。
3.如权利要求1所述的基于大数据的安全运维服务平台远程数据采集的实现方法,所述依赖策略配置模块,通过安全运维服务平台的配置,要求所述远程数据采集模块采集指定的SOC。
4.如权利要求2所述的基于大数据的安全运维服务平台远程数据采集的实现方法,所述漏洞扫描等信息进行分析,并将分析结果实时地传送给安全运维服务平台。
5.如权利要求3所述的基于大数据的安全运维服务平台远程数据采集的实现方法,所述远程数据采集模块采集指定的SOC,所述SOC与远程数据采集模块的距离较近,而与安全运维服务平台的距离较远。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610618184.7A CN107682166B (zh) | 2016-08-01 | 2016-08-01 | 基于大数据的安全运维服务平台远程数据采集的实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610618184.7A CN107682166B (zh) | 2016-08-01 | 2016-08-01 | 基于大数据的安全运维服务平台远程数据采集的实现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107682166A true CN107682166A (zh) | 2018-02-09 |
CN107682166B CN107682166B (zh) | 2021-06-11 |
Family
ID=61133529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610618184.7A Active CN107682166B (zh) | 2016-08-01 | 2016-08-01 | 基于大数据的安全运维服务平台远程数据采集的实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107682166B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109062762A (zh) * | 2018-07-26 | 2018-12-21 | 浙江数链科技有限公司 | 格式化日志推送方法及装置 |
CN109446817A (zh) * | 2018-10-29 | 2019-03-08 | 成都思维世纪科技有限责任公司 | 一种大数据检测与审计*** |
CN111027722A (zh) * | 2019-11-26 | 2020-04-17 | 常州工业职业技术学院 | 一种企业标签化运维方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101582883A (zh) * | 2009-06-26 | 2009-11-18 | 西安电子科技大学 | 通用网络安全管理***及其管理方法 |
CN101826993A (zh) * | 2010-02-04 | 2010-09-08 | 蓝盾信息安全技术股份有限公司 | 一种安全事件监测方法、***及装置 |
-
2016
- 2016-08-01 CN CN201610618184.7A patent/CN107682166B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101582883A (zh) * | 2009-06-26 | 2009-11-18 | 西安电子科技大学 | 通用网络安全管理***及其管理方法 |
CN101826993A (zh) * | 2010-02-04 | 2010-09-08 | 蓝盾信息安全技术股份有限公司 | 一种安全事件监测方法、***及装置 |
Non-Patent Citations (2)
Title |
---|
陈涛: ""分布式日志数据采集代理框架的研究与设计"", 《华中师范大学硕士学位论文》 * |
齐剑雄等: ""分布式日志采集***数据传输分析研究"", 《软件》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109062762A (zh) * | 2018-07-26 | 2018-12-21 | 浙江数链科技有限公司 | 格式化日志推送方法及装置 |
CN109446817A (zh) * | 2018-10-29 | 2019-03-08 | 成都思维世纪科技有限责任公司 | 一种大数据检测与审计*** |
CN111027722A (zh) * | 2019-11-26 | 2020-04-17 | 常州工业职业技术学院 | 一种企业标签化运维方法 |
CN111027722B (zh) * | 2019-11-26 | 2023-08-01 | 常州工业职业技术学院 | 一种企业标签化运维*** |
Also Published As
Publication number | Publication date |
---|---|
CN107682166B (zh) | 2021-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102033169B1 (ko) | 지능형 보안로그 분석방법 | |
CN105207826A (zh) | 一种基于Tachyou的Spark大数据平台的安全攻击告警定位*** | |
KR101375813B1 (ko) | 디지털 변전소의 실시간 보안감사 및 이상징후 탐지를 위한 능동형 보안 센싱 장치 및 방법 | |
CN105049291A (zh) | 一种检测网络流量异常的方法 | |
CN106254125A (zh) | 基于大数据的安全事件相关性分析的方法及*** | |
CN109150869A (zh) | 一种交换机信息采集分析***及方法 | |
CN114125083B (zh) | 工业网络分布式数据采集方法、装置、电子设备及介质 | |
CN107547228A (zh) | 一种基于大数据的安全运维管理平台的实现架构 | |
Wang et al. | A centralized HIDS framework for private cloud | |
CN107682166A (zh) | 基于大数据的安全运维服务平台远程数据采集的实现方法 | |
CN112416872A (zh) | 一种基于大数据的云平台日志管理*** | |
CN107809321B (zh) | 一种安全风险评估和告警生成的实现方法 | |
CN107733941A (zh) | 一种基于大数据的数据采集平台的实现方法及*** | |
CN107919970A (zh) | 一种安全运维服务云平台的日志管理实现方法及*** | |
CN112257069A (zh) | 一种基于流量数据分析的服务器安全事件审计方法 | |
CN116257021A (zh) | 一种工控***智能网络安全态势监测预警平台 | |
US20210126932A1 (en) | System for technology infrastructure analysis | |
JP2005202664A (ja) | 不正アクセス統合対応システム | |
CN104483943A (zh) | 环境监测*** | |
CN114124538B (zh) | 一种智能变电站goose、sv报文的入侵检测方法及*** | |
Meng et al. | Research and application based on network security monitoring platform and device | |
CN101360014B (zh) | 一种利用多点错位联合检测实现网络异常定位的方法 | |
CN112261017A (zh) | 一种面向云计算环境的服务器异常行为监测管理方法 | |
CN103401711A (zh) | 基于安全日志的网络状态分析*** | |
CN112685214B (zh) | 一种通过日志收集分析中毒机器并进行告警的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |