CN109977125A - 一种基于网络安全的大数据安全分析平台*** - Google Patents

一种基于网络安全的大数据安全分析平台*** Download PDF

Info

Publication number
CN109977125A
CN109977125A CN201910280131.2A CN201910280131A CN109977125A CN 109977125 A CN109977125 A CN 109977125A CN 201910280131 A CN201910280131 A CN 201910280131A CN 109977125 A CN109977125 A CN 109977125A
Authority
CN
China
Prior art keywords
data
module
analysis
network security
mining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910280131.2A
Other languages
English (en)
Inventor
张晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Singularity Space-Time Digital Technology Co Ltd
Original Assignee
Fujian Singularity Space-Time Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Singularity Space-Time Digital Technology Co Ltd filed Critical Fujian Singularity Space-Time Digital Technology Co Ltd
Priority to CN201910280131.2A priority Critical patent/CN109977125A/zh
Publication of CN109977125A publication Critical patent/CN109977125A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于网络安全的大数据安全分析平台***，包括数据采集模块、数据存储模块、数据挖掘分析模块和数据可视化展示模块；所述数据采集模块与所述数据存储模块连接；所述数据存储模块与所述数据挖掘分析模块连接；所述数据挖掘分析模块与所述数据可视化展示模块连接；所述数据采集模块被配置为采集结构化数据、非结构化数据和半结构化数据；所述数据存储模块被配置为存储所述数据采集模块采集的数据；所述数据挖掘分析模块被配置为对数据进行统计分析和挖掘分析；所述数据可视化展示模块被配置为向用户反馈数据。本发明降低了数据存储成本，提高了数据存储量，提高了网络安全分析处理效率。

Description

一种基于网络安全的大数据安全分析平台***
技术领域
本发明涉及网络安全技术领域，尤其涉及一种基于网络安全的大数据安全分析平台***。
背景技术
网络安全是指网络***的硬件、软件及其***中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改或泄露，***能连续、可靠且正常地运行，网络服务不中断。网络分析***是一个让网络管理者，能够在各种网络安全问题中，对症下药的网络管理方案，它对网络中所有传输的数据进行检测、分析、诊断，帮助用户排除网络事故，规避安全风险，提高网络性能，增大网络可用性价值。
大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有5V特点，即Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)和Veracity(真实性)。大数据处理主要包括以下几个阶段：采集、导入/预处理、统计/分析以及挖掘。
信息技术高速发展，网络架构日趋复杂，网络安全数据分析量增速和增量巨大，数据来源丰富，数据类别多样，为及时准确的检测出安全隐患和网络攻击行为，需提高信息采集和传输的速率；采用传统的结构化数据库存储数据具有存储成本高和存储量小的缺点，且对大量数据进行分析和复杂查询的效率低下，难以满足现阶段网络安全分析需求。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种基于网络安全的大数据安全分析平台***，降低了数据存储成本，提高了数据存储量，提高了网络安全分析处理效率。
(二)技术方案
为解决上述问题，本发明提供了一种基于网络安全的大数据安全分析平台***，包括数据采集模块、数据存储模块、数据挖掘分析模块和数据可视化展示模块；
所述数据采集模块与所述数据存储模块连接；所述数据存储模块与所述数据挖掘分析模块连接；所述数据挖掘分析模块与所述数据可视化展示模块连接；
所述数据采集模块被配置为采集结构化数据、非结构化数据和半结构化数据；
所述数据存储模块被配置为存储所述数据采集模块采集的数据；
所述数据挖掘分析模块被配置为对数据进行统计分析和挖掘分析；
所述数据可视化展示模块被配置为向用户反馈数据。
优选的，采用Hive实现数据的离线统计分析；采用Storm实现数据的实时在线分析。
优选的，对于分布式和高可用的海量日志的采集、聚合和传输，采用Flume实现；对于活跃流式数据的处理，采用Kafka进行缓存；对于实时数据的存储分析，采用Storm实现分布式实时消息处理。
优选的，采用具有高容错性和高吞吐量数据访问特性的HDFS分布式文件***存储所述数据采集模块采集的海量数据；采用Hbase进行高效大数据量的数据存储管理。
优选的，采用MapReduce进行数据划分、计算任务调度和分布式计算；采用Hive进行数据的统计分析；采用Mahout进行基于Hadoop的机器学习和数据挖掘。
本发明的上述技术方案具有如下有益的技术效果：数据采集模块采集日志数据和流量信息数据，并将采集的数据传输至数据存储模块；数据存储模块存储不同类型和用途的日志数据和流量信息数据，包括用于查询检索的原始日志数据和流量信息数据、用于数据挖掘分析的标准化处理后的日志数据和流量信息数据以及用于数据实时分析的日志数据和流量信息数据，数据存储模块将存储的数据传输至数据挖掘分析模块；数据挖掘分析模块对数据进行并行批处理、统计分析和挖掘分析，数据挖掘分析模块将数据分析结果传输至数据可视化展示模块；数据可视化展示模块将数据分析结果反馈至用户。综上，本发明降低了数据存储成本，提高了数据存储量，提高了网络安全分析处理效率。
附图说明
图1为本发明提出的基于网络安全的大数据安全分析平台***的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明提出的一种基于网络安全的大数据安全分析平台***，包括数据采集模块、数据存储模块、数据挖掘分析模块和数据可视化展示模块；
所述数据采集模块与所述数据存储模块连接；所述数据存储模块与所述数据挖掘分析模块连接；所述数据挖掘分析模块与所述数据可视化展示模块连接；
所述数据采集模块被配置为采集结构化数据、非结构化数据和半结构化数据；
所述数据存储模块被配置为存储所述数据采集模块采集的数据；
所述数据挖掘分析模块被配置为对数据进行统计分析和挖掘分析；
所述数据可视化展示模块被配置为向用户反馈数据。
本发明中，数据采集模块采集日志数据和流量信息数据，并将采集的数据传输至数据存储模块；数据存储模块存储不同类型和用途的日志数据和流量信息数据，包括用于查询检索的原始日志数据和流量信息数据、用于数据挖掘分析的标准化处理后的日志数据和流量信息数据以及用于数据实时分析的日志数据和流量信息数据，数据存储模块将存储的数据传输至数据挖掘分析模块；数据挖掘分析模块对数据进行并行批处理、统计分析和挖掘分析，数据挖掘分析模块将数据分析结果传输至数据可视化展示模块；数据可视化展示模块将数据分析结果反馈至用户。综上，本发明降低了数据存储成本，提高了数据存储量，提高了网络安全分析处理效率。
在一个可选的实施例中，采用Hive实现数据的离线统计分析；采用Storm实现数据的实时在线分析。
需要说明的是，平台对日志数据和流量信息数据的分析主要分为两类：离线统计分析和实时在线分析，离线统计分析通过Hive实现，实时在线分析通过Storm实现。
在一个可选的实施例中，对于分布式和高可用的海量日志的采集、聚合和传输，采用Flume实现；对于活跃流式数据的处理，采用Kafka进行缓存；对于实时数据的存储分析，采用Storm实现分布式实时消息处理。
需要说明的是，Flume支持在日志***中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力；Flume可以将应用产生的数据存储到任何集中存储器中，比如HDFS和HBase；当收集数据的速度超过将写入数据的时候，收集的信息非常大，甚至超过了***的写入数据能力，此时，Flume会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供平稳的数据；Flume能提供上下文路由特征；Flume的管道基于事务，保证了数据在传送和接收时的一致性；Flume是可靠的、容错性高的、可升级的、易管理的和可定制的。
Kafka是一种高吞吐量的分布式发布订阅消息***，它的目的是通过Hadoop的并行加载机制来统一离线的和线上的消息处理，通过集群来提供实时的消息。
Storm是一个免费且开源的分布式实时计算***，利用Storm可以做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据，Storm可以使用任何编程语言，Storm具有如下特点：编程简单、高性能、分布式、可扩展、容错和消息保存。
在一个可选的实施例中，采用具有高容错性和高吞吐量数据访问特性的HDFS分布式文件***存储所述数据采集模块采集的海量数据；采用Hbase进行高效大数据量的数据存储管理。
需要说明的是，HDFS具有高容错性特点，被设计于部署在低廉的硬件上，它通过高吞吐量的特性来访问应用程序的数据，适合超大数据集的应用程序；HDFS通过具有数据文件存储功能的数据节点管理文件***的命名空间。
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储***，HBase关系数据库具有两种特点，第一个特点在于它是一个适合于非结构化数据存储的数据库，第二个特点在于它基于列的而不是基于行的模式；HBase中的所有数据文件都存储在Hadoop HDFS文件***上，主要包括两种类型：Hfile和HLog File。
在一个可选的实施例中，采用MapReduce进行数据划分、计算任务调度和分布式计算；采用Hive进行数据的统计分析；采用Mahout进行基于Hadoop的机器学习和数据挖掘。
需要说明的是，MapReduce是面向大数据并行处理的计算模型、框架和平台，它有三层含义：第一层含义在于MapReduce是一个基于集群的高性能并行计算平台，它在实现一个包含数十、数百至数千个节点的分布和并行计算集群时，能仅用普通的商用服务器实现；第二层含义在于MapReduce是一个并行计算与运行软件框架，它通过提供一个庞大但设计精良的并行计算软件框架来自动完成计算任务的并行化处理、自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多***底层的复杂细节交由***负责处理；第三层含义在于MapReduce是一个并行程序设计模型与方法，用Map(映射)和Reduce(归约)两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。
Hive是建立在Hadoop上的数据仓库基础构架，其具有如下特点：支持创建索引以优化数据查询、存储不同类型文件、在关系数据库中存储元数据以减少查询时执行语义检查的时间、能直接使用存储于Hadoop***中的数据、支持用户扩展UDF函数以及类SQL的查询方式。
Mahout包含多种实现，包括聚类、分类、推荐过滤和频繁子项挖掘，通过使用Apache Hadoop库，Mahout能有效地扩展到云中，在创建智能应用程序方面，Mahout能有效地帮助开发人员更加方便快捷地实现程序的创建。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (5)

1.一种基于网络安全的大数据安全分析平台***，其特征在于，包括数据采集模块、数据存储模块、数据挖掘分析模块和数据可视化展示模块；
所述数据采集模块与所述数据存储模块连接；所述数据存储模块与所述数据挖掘分析模块连接；所述数据挖掘分析模块与所述数据可视化展示模块连接；
所述数据采集模块被配置为采集结构化数据、非结构化数据和半结构化数据；
所述数据存储模块被配置为存储所述数据采集模块采集的数据；
所述数据挖掘分析模块被配置为对数据进行统计分析和挖掘分析；
所述数据可视化展示模块被配置为向用户反馈数据。
2.根据权利要求1所述的基于网络安全的大数据安全分析平台***，其特征在于，采用Hive实现数据的离线统计分析；采用Storm实现数据的实时在线分析。
3.根据权利要求2所述的基于网络安全的大数据安全分析平台***，其特征在于，对于分布式和高可用的海量日志的采集、聚合和传输，采用Flume实现；对于活跃流式数据的处理，采用Kafka进行缓存；对于实时数据的存储分析，采用Storm实现分布式实时消息处理。
4.根据权利要求1所述的基于网络安全的大数据安全分析平台***，其特征在于，采用具有高容错性和高吞吐量数据访问特性的HDFS分布式文件***存储所述数据采集模块采集的海量数据；采用Hbase进行高效大数据量的数据存储管理。
5.根据权利要求1所述的基于网络安全的大数据安全分析平台***，其特征在于，采用MapReduce进行数据划分、计算任务调度和分布式计算；采用Hive进行数据的统计分析；采用Mahout进行基于Hadoop的机器学习和数据挖掘。
CN201910280131.2A 2019-04-09 2019-04-09 一种基于网络安全的大数据安全分析平台*** Pending CN109977125A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910280131.2A CN109977125A (zh) 2019-04-09 2019-04-09 一种基于网络安全的大数据安全分析平台***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910280131.2A CN109977125A (zh) 2019-04-09 2019-04-09 一种基于网络安全的大数据安全分析平台***

Publications (1)

Publication Number Publication Date
CN109977125A true CN109977125A (zh) 2019-07-05

Family

ID=67083580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910280131.2A Pending CN109977125A (zh) 2019-04-09 2019-04-09 一种基于网络安全的大数据安全分析平台***

Country Status (1)

Country Link
CN (1) CN109977125A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090646A (zh) * 2019-10-21 2020-05-01 中国科学院信息工程研究所 一种电磁数据处理平台
CN111753008A (zh) * 2020-06-30 2020-10-09 珠海迈越信息技术有限公司 一种基于大数据分析的机顶盒收视方法及***
CN112163060A (zh) * 2020-09-16 2021-01-01 安徽龙运智能科技有限公司 一种大数据技术处理海量gps数据***
CN113742413A (zh) * 2021-09-10 2021-12-03 湖南强智科技发展有限公司 一种准确性高的基于多形式处理的大数据分析***
CN114268503A (zh) * 2021-12-24 2022-04-01 湘潭大学 一种网络空间数据安全态势感知与预警方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820670A (zh) * 2015-03-13 2015-08-05 国家电网公司 一种电力信息大数据的采集和存储方法
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和***
CN107145587A (zh) * 2017-05-11 2017-09-08 成都四方伟业软件股份有限公司 一种基于大数据挖掘的医保反欺诈***
CN107181612A (zh) * 2017-05-08 2017-09-19 深圳市众泰兄弟科技发展有限公司 一种基于大数据的可视化网络安全监控方法
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测***、方法及部署架构
CN107515927A (zh) * 2017-08-24 2017-12-26 深圳市云房网络科技有限公司 一种房地产用户行为分析平台
CN109150870A (zh) * 2018-08-14 2019-01-04 中国电子科技集团公司电子科学研究院 网络安全态势分析与应用方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820670A (zh) * 2015-03-13 2015-08-05 国家电网公司 一种电力信息大数据的采集和存储方法
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和***
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测***、方法及部署架构
CN107181612A (zh) * 2017-05-08 2017-09-19 深圳市众泰兄弟科技发展有限公司 一种基于大数据的可视化网络安全监控方法
CN107145587A (zh) * 2017-05-11 2017-09-08 成都四方伟业软件股份有限公司 一种基于大数据挖掘的医保反欺诈***
CN107515927A (zh) * 2017-08-24 2017-12-26 深圳市云房网络科技有限公司 一种房地产用户行为分析平台
CN109150870A (zh) * 2018-08-14 2019-01-04 中国电子科技集团公司电子科学研究院 网络安全态势分析与应用方法及***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090646A (zh) * 2019-10-21 2020-05-01 中国科学院信息工程研究所 一种电磁数据处理平台
CN111090646B (zh) * 2019-10-21 2023-07-28 中国科学院信息工程研究所 一种电磁数据处理平台
CN111753008A (zh) * 2020-06-30 2020-10-09 珠海迈越信息技术有限公司 一种基于大数据分析的机顶盒收视方法及***
CN112163060A (zh) * 2020-09-16 2021-01-01 安徽龙运智能科技有限公司 一种大数据技术处理海量gps数据***
CN113742413A (zh) * 2021-09-10 2021-12-03 湖南强智科技发展有限公司 一种准确性高的基于多形式处理的大数据分析***
CN114268503A (zh) * 2021-12-24 2022-04-01 湘潭大学 一种网络空间数据安全态势感知与预警方法及***

Similar Documents

Publication Publication Date Title
CN109977125A (zh) 一种基于网络安全的大数据安全分析平台***
CN111984499B (zh) 一种大数据集群的故障检测方法和装置
CN104820670B (zh) 一种电力信息大数据的采集和存储方法
Gupta et al. Cloud computing and big data analytics: what is new from databases perspective?
CN111435344B (zh) 一种基于大数据的钻井提速影响因素分析模型
CN104881424B (zh) 一种基于正则表达式的电力大数据采集、存储及分析方法
JP2022078130A (ja) アプリケーションプログラミングインターフェイスのメタデータ駆動型外部インターフェイス生成ためのシステムおよび方法
Phaneendra et al. Big Data-solutions for RDBMS problems-A survey
CN109272155A (zh) 一种基于大数据的企业行为分析***
CN103631882B (zh) 基于图挖掘技术的语义化业务生成***和方法
CN107766402A (zh) 一种楼盘字典云房源大数据平台
CN106339509A (zh) 一种基于大数据技术的电网运营数据共享***
CN107943668A (zh) 计算机服务器集群日志监控方法及监控平台
CN106815338A (zh) 一种大数据的实时存储、处理和查询***
CN110347719A (zh) 一种基于大数据的企业外贸风险预警方法及***
Fu et al. Real-time data infrastructure at uber
CN105139281A (zh) 一种电力营销大数据的处理方法及***
CN112116488A (zh) 一种水利大数据综合维护***
CN112181960B (zh) 一种基于AIOps的智能运维框架***
CN109754219A (zh) 一种基于城市管理的大数据管理及分析平台***
CN102902813A (zh) 日志收集***
Caldarola et al. Big data: A survey-the new paradigms, methodologies and tools
CN107103064A (zh) 数据统计方法及装置
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN111126852A (zh) 一种基于大数据建模的bi应用***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190705