CN114448672A - 一种多源网络安全数据处理方法及装置 - Google Patents
一种多源网络安全数据处理方法及装置 Download PDFInfo
- Publication number
- CN114448672A CN114448672A CN202111614647.XA CN202111614647A CN114448672A CN 114448672 A CN114448672 A CN 114448672A CN 202111614647 A CN202111614647 A CN 202111614647A CN 114448672 A CN114448672 A CN 114448672A
- Authority
- CN
- China
- Prior art keywords
- data
- network security
- security data
- log
- source network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims abstract description 21
- 231100000279 safety data Toxicity 0.000 claims abstract description 8
- 230000006399 behavior Effects 0.000 claims description 59
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013075 data extraction Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000000682 scanning probe acoustic microscopy Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 5
- 235000002566 Capsicum Nutrition 0.000 description 7
- 239000006002 Pepper Substances 0.000 description 7
- 241000722363 Piper Species 0.000 description 7
- 235000016761 Piper aduncum Nutrition 0.000 description 7
- 235000017804 Piper guineense Nutrition 0.000 description 7
- 235000008184 Piper nigrum Nutrition 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1491—Countermeasures against malicious traffic using deception as countermeasure, e.g. honeypots, honeynets, decoys or entrapment
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种多源网络安全数据处理方法及装置，方法包括：获取多个数据源的日志数据，并对所述日志数据进行格式解析；从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；存储所述第二网络安全数据。本发明通过将安全设备产出的多源网络安全数据进行解析、汇聚、存储，并提供查询服务，极大地提升了对于安全设备产出数据的可利用性及利用率。
Description
技术领域
本发明涉及网络安全技术领域，尤其涉及一种多源网络安全数据处理方法及装置。
背景技术
在目前阶段的企业安全建设中，多数企业都会采购或者自研多种安全设备或者安全软件，这些安全软件针对网络安全攻击事件或产生告警或者发生阻断。但是在现阶段各种安全设备产生的告警或者阻断事件都集中在设备或者软件内部，无法汇集其他的设备或者软件，综合进行计算分析提供更加丰富的信息来辅助安全运营人员进行判断。同时也缺少一种查询装置可以通过一次查询来展示多个安全设备的告警及阻断事件，使得运营人员需要在各个不同安全设备或者平台之间来回跳转查看，同时也没法通过整体的综合趋势来进行安全态势分析。
发明内容
本发明的目的是提供一种多源网络安全数据处理方法及装置，用以解决现有技术中大部分安全设备产生的告警拦截日志只存储在设备本地且只在本地提供部分查询功能的问题，通过将安全设备产出的多源攻击数据进行解析、汇聚、存储，提供查询服务，极大地提升了对于安全设备产出数据的可利用性及利用率。
本发明提供一种多源网络安全数据处理方法，包括：
获取多个数据源的日志数据，并对所述日志数据进行格式解析；
从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
存储所述第二网络安全数据。
根据本发明提供的多源网络安全数据处理方法，所述获取多个数据源的日志数据，包括：
获取不同类型的多个数据源的打点日志数据，
和/或，获取同一类型的多个数据源的打点日志数据。
根据本发明提供的多源网络安全数据处理方法，所述从经过格式解析的日志数据中抽取涉及攻击行为的数据，包括：
从经过格式解析的日志数据中抽取涉及以下至少一种类型的数据作为涉及攻击行为的数据：DDoS、SPAM、Scanner、Brute Force、Compromised、Hijacked、Web Attacker以及Attacker。
根据本发明提供的多源网络安全数据处理方法，所述对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据，包括：
使用协议数据交换格式工具库对所述涉及攻击行为的数据进行编码；
对编码后的数据进行格式校验；
将经过格式校验的数据进行序列化操作，得到第一网络安全数据。
根据本发明提供的多源网络安全数据处理方法，所述对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据，包括：
将所述第一网络安全数据写入消息队列；
对所述消息队列进行基于滑窗统计的数据消费处理；其中，所述基于滑窗统计的数据消费处理包括：对于窗口内的数据按照预设的查询维度进行分析，筛选出符合所述查询维度的数据，得到第二网络安全数据。
根据本发明提供的多源网络安全数据处理方法，所述查询维度包括以下类型中的至少一种：IP地址、攻击类型以及时间范围。
根据本发明提供的多源网络安全数据处理方法，在所述存储所述第二网络安全数据之后，方法还包括：
接收用户的查询请求，根据所述查询请求在预设的查询维度内对所述第二网络安全数据进行查询。
本发明还提供一种多源网络安全数据处理装置，包括：
数据采集模块，用于获取多个数据源的日志数据，并对所述日志数据进行格式解析；
第一网络安全数据提取模块，用于从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
第二网络安全数据提取模块，用于对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
第二网络安全数据存储模块，用于存储所述第二网络安全数据。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述多源网络安全数据处理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述多源网络安全数据处理方法的步骤。
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现任一项所述多源网络安全数据处理方法的步骤。
本发明提供一种多源网络安全数据处理方法，包括：获取多个数据源的日志数据，并对所述日志数据进行格式解析；从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；存储所述第二网络安全数据。本发明通过将安全设备产出的多源网络安全数据进行解析、汇聚、存储，并提供查询服务，极大地提升了对于安全设备产出数据的可利用性及利用率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多源网络安全数据处理方法的流程示意图；
图2是本发明提供的多源网络安全数据处理装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明的多源网络安全数据处理方法、装置、电子设备与存储介质。
图1为本发明提供的多源网络安全数据处理方法的流程图，如图1所示，本发明提供的多源网络安全数据处理方法包括：
步骤110、获取多个数据源的日志数据，并对所述日志数据进行格式解析；
在本实施例中，日志英文名叫log，是指网络设备、***及服务程序等运作时产生的事件记录，记载着日期、时间、使用者及动作等相关操作的描述信息。数据格式(dataformat)是指数据保存在文件或记录中的编排格式。
在本实施例中，每个数据源的日志数据都有自己独特的数据特征，在进行整体的数据处理以前，要先对各个数据源的日志数据进行格式解析，统一各个数据源的日志数据的数据结构和逻辑。具体的数据格式解析过程包括：反序列化，将原始的日志数据转换为程序对象；过滤，基于安全知识将可能发生误报或者与安全攻击事件无关的数据剔除；格式转换，将不同格式的数据按照一定的字段抽取规则转换为统一的数据对象；序列化，将统一的数据对象转换为数据文本。
步骤120、从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
在本实施例中，攻击行为是指网络攻击行为，包括联网下的勒索、木马感染、锁屏、窃取隐私、不良信息传播等活动。格式化处理是指对数据格式进行统一格式化。
在本实施例中，接步骤110的实施例，多个数据源的日志数据在完成格式解析以后。基于安全知识，从经过格式解析的日志数据中找出并抽取与网络攻击行为对应的日志数据。对抽取的日志数据格式进行统一格式化，得到第一网络安全数据。
步骤130、对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
在本实施例中，查询维度是指以某个确定的维度对网络安全数据进行查询，包括IP地址、攻击类型以及时间范围。
在本实施例中，接步骤120的实施例，按照预设的查询维度，对第一网络安全数据进行分析。基于分析出的查询结果，从第一网络安全数据确定出与查询维度相符合的数据，作为第二网络安全数据。
步骤140、存储所述第二网络安全数据。
在本实施例中，对第二网络安全数据进行存储的方式为存储联机分析处理OLAP(On-Line Analytical Processing)。其中，OLAP是数据仓库***的主要应用，支持复杂的分析操作，侧重决策支持，并且可以提供直观易懂的查询结果。
本发明提供一种多源网络安全数据处理方法，包括：获取多个数据源的日志数据，并对所述日志数据进行格式解析；从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；存储所述第二网络安全数据。本发明通过将安全设备产出的多源网络安全数据进行解析、汇聚、存储，并提供查询服务，极大地提升了对于安全设备产出数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理方法，所述获取多个数据源的日志数据，包括：
获取不同类型的多个数据源的打点日志数据，
和/或，获取同一类型的多个数据源的打点日志数据。
在本实施例中，打点日志，是指用于数据统计的日志。打点日志的数据类型包括安域日志、椒图日志、探针日志、蜜罐日志等。其中，安域是奇安信自主研发的waf(webapplication firewall，既web应用防火墙)***的名字，安域会将拦截发现的web攻击行为或者cc ddos行为进行记录并作为安域日志发送到奇安信的公有云***上。安域日志包括攻击时间、攻击源IP、攻击目的IP、http协议请求头、http协议请求体、http协议请求方法和有效攻击载荷等关键数据。椒图是奇安信自主研发的hids(基于主机的入侵检测)***，椒图会将部署椒图的网络主机上遭受的网络攻击进行记录并作为椒图日志发送到奇安信的公有云***上。椒图日志包括攻击时间、攻击源IP、有效攻击载荷和攻击方法等关键数据。探针是指奇安信自主研发的网络探针设备***，探针会基于旁路对发生在探针部署位置接收到的网络流量进行记录，并识别其中涉及网络攻击的数据作为探针日志发送到奇安信的公有云***上。探针日志包括攻击时间、攻击源IP、攻击目的IP、有效攻击载荷和攻击方法等关键数据。蜜罐是一种对攻击方进行欺骗的技术，通过布置一些作为诱饵的主机、网络服务或者信息，诱使攻击方对诱饵实施攻击，从而可以对攻击行为进行捕获和分析，了解攻击方所使用的工具与方法。本实施例中，蜜罐特指奇安信自主研发并部署在公网节点的蜜罐***。蜜罐会记录对其发起攻击的相关信息，并作为蜜罐日志发送到奇安信的公有云***上。蜜罐日志包括攻击时间、攻击源IP、攻击目的IP、有效攻击载荷和攻击方法等关键数据。
在本实施例中，多个数据源的日志数据可以是来自多个数据源的不同类型的打点日志数据，也可以是来自多个数据源的相同类型的打点日志数据。
本发明提供一种多源网络安全数据处理方法，通过对多个数据源的日志数据进行进一步的公开说明，使多个数据源的打点日志的获取方式更加具体，有力的支撑了后续对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理方法，所述从经过格式解析的日志数据中抽取涉及攻击行为的数据，包括：
从经过格式解析的日志数据中抽取涉及以下至少一种类型的数据作为涉及攻击行为的数据：DDoS、SPAM、Scanner、Brute Force、Compromised、Hijacked、Web Attacker以及Attacker。
在本实施例中，DDoS即分布式拒绝服务攻击，是指不法黑客组织通过控制服务器等资源，发动对包括国家骨干网络、重要网络设施、政企或个人网站在内的互联网上任一目标的攻击，致使目标服务器断网，最终停止提供服务。SPAM是指邮件欺诈，既发送钓鱼邮件或者垃圾邮件。Scanner是指Network Scanner，即网络扫描器，指对广域网或者局域网大规模网络探测活动或者批量漏洞检测活动。Brute Force即暴力破解，是指试验所有可能的口令组合来破解口令，也就是通过穷举的方法来破解，将口令进行逐个推算或辅以字典来缩小口令范围，直到找出真正的口令的一种口令分析方法。Compromised即失陷主机，是指已经被僵尸网络攻陷成为了“肉鸡”的网络主机。Hijacked即网络劫持，是指利用黑客手段使受害者不能访问特定的网络或访问的是假网址。Web Attacker即web攻击，是针对用户上网行为或网站服务器等设备进行攻击的行为，如植入恶意代码、修改网站权限、获取网站用户隐私信息等。Attacker是指通用网络攻击行为，即其他7类攻击行为之外的网络攻击行为。
在本实施例中，攻击行为的数据类型包括DDoS、SPAM、Scanner、Brute Force、Compromised、Hijacked、Web Attacker以及Attacker。从经过格式解析的日志数据中，筛选出与上述攻击行为的数据类型相对应的日志数据。
本发明提供一种多源网络安全数据处理方法，通过对涉及攻击行为的数据进行进一步的公开说明，使筛选涉及攻击行为的数据的方式更加具体，有力的支撑了后续对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理方法，所述对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据，包括：
使用协议数据交换格式工具库对所述涉及攻击行为的数据进行编码；
对编码后的数据进行格式校验；
将经过格式校验的数据进行序列化操作，得到第一网络安全数据。
在本实施例中，协议数据交换格式工具库即protobuf(Google ProtocolBuffers)，是谷歌开发的一套在数据存储、网络通信时用来进行协议编解码的工具库。编码是信息从一种形式或格式转换为另一种形式的过程。格式校验是指一种校正数据格式错误的一种方式。序列化是将对象的状态信息转换为可以存储或传输的形式的过程。
在本实施例中，对涉及攻击行为的数据进行格式化处理的具体过程包括：首先利用protobuf对涉及攻击行为的数据进行编码，然后对编码后的数据进行格式校验，最后对经过格式校验的数据进行序列化操作。经过序列化以后的数据就是第一网络安全数据。
本发明提供一种多源网络安全数据处理方法，通过使用protobuf对涉及攻击行为的数据进行编码及格式校验后再进行序列化操作，得到第一网络安全数据，有力的支撑了对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理方法，所述对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据，包括：
将所述第一网络安全数据写入消息队列；
对所述消息队列进行基于滑窗统计的数据消费处理；其中，所述基于滑窗统计的数据消费处理包括：对于窗口内的数据按照预设的查询维度进行分析，筛选出符合所述查询维度的数据，得到第二网络安全数据。
在本实施例中，消息队列是在数据的传输过程中保存数据的容器。滑窗统计是指按照时间的顺序对每一个时间段的数据进行统计，从而得到每个时间段内目标数据体现的特征，进而从连续的时间片段中，通过对同一特征在不同时间维度下的分析，可以得到数据的变化趋势。数据消费处理是指对于消息队列这种传输数据的容器中的数据依次进行取出，并对取出的数据做数据格式的转换处理。
在本实施例中，消息队列汇总了第一网络安全数据，对消息队列中时间窗口内的数据按照预设的查询维度进行查询分析，从消息队列中筛选出符合查询维度的数据，筛选出的符合查询维度的数据就是第二网络安全数据。
本发明提供一种多源网络安全数据处理方法，通过将第一网络安全数据写入消息队列，对消息队列中时间窗口内的数据按照预设的查询维度进行查询分析，得到第二网络安全数据，有力的支撑了对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理方法，所述查询维度包括以下类型中的至少一种：IP地址、攻击类型以及时间范围。
在本实施例中，IP地址又译为网际协议地址，是IP协议提供的一种统一的地址格式，为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。网络攻击是指针对计算机信息***、基础设施、计算机网络或个人计算机设备的进攻动作，攻击类型有分布式拒绝服务攻击DDoS、邮件欺诈技术SPAM、Scanner、暴力破解BruteForce、Compromised、Hijacked、Web Attacker、Attacker等。时间范围是指查询时具体设定的一个时间段。
在本实施例中，具体公开了查询维度包括IP地址、攻击类型以及时间范围。即对第一网络安全数据进行查询是基于IP地址、攻击类型以及时间范围进行单个或者批量查询。
本发明提供一种多源网络安全数据处理方法，通过进一步公开查询维度包括IP地址、攻击类型以及时间范围，有力的支撑了对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理方法，在所述存储所述第二网络安全数据之后，方法还包括：
接收用户的查询请求，根据所述查询请求在预设的查询维度内对所述第二网络安全数据进行查询。
在本实施例中，第二网络安全数据批量存入存储联机分析处理OLAP(On-LineAnalytical Processing)以后，仍然可以处理用户的查询请求，对存入OLAP的第二网络安全数据进行基于IP地址、攻击类型以及时间范围的单个或者批量查询。
本发明提供一种多源网络安全数据处理方法，在第二网络安全数据存储以后，仍然可以基于用户的查询请求在预设的查询维度内对第二网络安全数据进行查询，有力的支撑了对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
下面对本发明提供的多源网络安全数据处理装置进行描述，下文描述的多源网络安全数据处理装置与上文描述的多源网络安全数据处理方法可相互对应参照。
图2为本发明提供的多源网络安全数据处理装置的结构图，如图2所示，本发明提供的多源网络安全数据处理装置，包括：
数据采集模块210，用于获取多个数据源的日志数据，并对所述日志数据进行格式解析；
第一网络安全数据提取模块220，用于从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
第二网络安全数据提取模块230，用于对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
第二网络安全数据存储模块240，用于存储所述第二网络安全数据。
本发明提供一种多源网络安全数据处理装置，通过设置数据采集模块，获取多个数据源的日志数据，并对所述日志数据进行格式解析；设置第一网络安全数据提取模块，从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；设置第二网络安全数据提取模块，对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；设置第二网络安全数据存储模块，存储所述第二网络安全数据。本发明通过将安全设备产出的多源网络安全数据进行解析、汇聚、存储，并提供查询服务，极大地提升了对于安全设备产出数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理装置，数据采集模块还包括：
第一数据采集子模块，用于获取不同类型的多个数据源的打点日志数据，
和/或，第二数据采集子模块，用于获取同一类型的多个数据源的打点日志数据。
本发明提供一种多源网络安全数据处理装置，通过设置第一数据采集子模块和/或第二数据采集子模块，对多个数据源的日志数据进行进一步的公开说明，使多个数据源的打点日志的获取方式更加具体，有力的支撑了后续对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理装置，第一网络安全数据提取模块还包括：
第一网络安全数据提取子模块，用于从经过格式解析的日志数据中抽取涉及以下至少一种类型的数据作为涉及攻击行为的数据：DDoS、SPAM、Scanner、Brute Force、Compromised、Hijacked、Web Attacker以及Attacker。
本发明提供一种多源网络安全数据处理装置，通过设置第一网络安全数据提取子模块，对涉及攻击行为的数据进行进一步的公开说明，使筛选涉及攻击行为的数据的方式更加具体，有力的支撑了后续对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理装置，第一网络安全数据提取模块还包括：
第一网络安全数据格式化子模块，用于使用协议数据交换格式工具库对所述涉及攻击行为的数据进行编码；对编码后的数据进行格式校验；将经过格式校验的数据进行序列化操作，得到第一网络安全数据。
本发明提供一种多源网络安全数据处理装置，通过设置第一网络安全数据格式化子模块，使用protobuf对涉及攻击行为的数据进行编码及格式校验后再进行序列化操作，得到第一网络安全数据，有力的支撑了对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理装置，第二网络安全数据提取模块还包括：
第二网络安全数据提取子模块，用于将所述第一网络安全数据写入消息队列；对所述消息队列进行基于时间窗口的数据消费处理；其中，所述基于时间窗口的数据消费处理包括：对于窗口内的数据按照预设的查询维度进行分析，筛选出符合所述查询维度的数据，得到第二网络安全数据。
本发明提供一种多源网络安全数据处理装置，通过设置第二网络安全数据提取子模块，将第一网络安全数据写入消息队列，对消息队列中时间窗口内的数据按照预设的查询维度进行查询分析，得到第二网络安全数据，有力的支撑了对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理装置，第二网络安全数据提取子模块还包括：
查询维度设置单元，用于设置查询维度包括以下类型中的至少一种：IP地址、攻击类型以及时间范围。
本发明提供一种多源网络安全数据处理装置，通过设置查询维度设置单元，进一步公开查询维度包括IP地址、攻击类型以及时间范围，有力的支撑了对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
基于上述任一实施例，在本实施例中，根据本发明提供的多源网络安全数据处理装置，装置还包括：
第二网络安全数据查询模块，用于接收用户的查询请求，根据所述查询请求在预设的查询维度内对所述第二网络安全数据进行查询。
本发明提供一种多源网络安全数据处理装置，通过设置第二网络安全数据查询模块，在第二网络安全数据存储以后，仍然可以基于用户的查询请求在预设的查询维度内对第二网络安全数据进行查询，有力的支撑了对多源网络安全数据的处理，也有利于提升多源网络安全数据的可利用性及利用率。
另一方面，本发明还提供一种电子设备，图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括处理器310、通信总线340、存储器330、通信接口320以及存储在所述存储器330上并可在所述处理器310上运行的计算机程序，其中，处理器310、通信接口320、存储器330通过通信总线340完成相互间的通信，处理器310可以调用存储器330中的逻辑指令，以执行多源网络安全数据处理方法，该方法包括：
获取多个数据源的日志数据，并对所述日志数据进行格式解析；
从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
存储所述第二网络安全数据。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，可以实现多源网络安全数据处理方法，该方法包括：
获取多个数据源的日志数据，并对所述日志数据进行格式解析；
从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
存储所述第二网络安全数据。
最后，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够实现多源网络安全数据处理方法，该方法包括：
获取多个数据源的日志数据，并对所述日志数据进行格式解析；
从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
存储所述第二网络安全数据。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种多源网络安全数据处理方法，其特征在于，包括：
获取多个数据源的日志数据，并对所述日志数据进行格式解析；
从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
存储所述第二网络安全数据。
2.根据权利要求1所述的多源网络安全数据处理方法，其特征在于，所述获取多个数据源的日志数据，包括：
获取不同类型的多个数据源的打点日志数据，
和/或，获取同一类型的多个数据源的打点日志数据。
3.根据权利要求1所述的多源网络安全数据处理方法，其特征在于，所述从经过格式解析的日志数据中抽取涉及攻击行为的数据，包括：
从经过格式解析的日志数据中抽取涉及以下至少一种类型的数据作为涉及攻击行为的数据：DDoS、SPAM、Scanner、Brute Force、Compromised、Hijacked、Web Attacker以及Attacker。
4.根据权利要求1所述的多源网络安全数据处理方法，其特征在于，所述对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据，包括：
使用协议数据交换格式工具库对所述涉及攻击行为的数据进行编码；
对编码后的数据进行格式校验；
将经过格式校验的数据进行序列化操作，得到第一网络安全数据。
5.根据权利要求1所述的多源网络安全数据处理方法，其特征在于，所述对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据，包括：
将所述第一网络安全数据写入消息队列；
对所述消息队列进行基于滑窗统计的数据消费处理；其中，所述基于滑窗统计的数据消费处理包括：对于窗口内的数据按照预设的查询维度进行分析，筛选出符合所述查询维度的数据，得到第二网络安全数据。
6.根据权利要求5所述的多源网络安全数据处理方法，其特征在于，所述查询维度包括以下类型中的至少一种：IP地址、攻击类型以及时间范围。
7.根据权利要求1至6任一项所述的多源网络安全数据处理方法，其特征在于，在所述存储所述第二网络安全数据之后，方法还包括：
接收用户的查询请求，根据所述查询请求在预设的查询维度内对所述第二网络安全数据进行查询。
8.一种多源网络安全数据处理装置，其特征在于，包括：
数据采集模块，用于获取多个数据源的日志数据，并对所述日志数据进行格式解析；
第一网络安全数据提取模块，用于从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
第二网络安全数据提取模块，用于对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
第二网络安全数据存储模块，用于存储所述第二网络安全数据。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述多源网络安全数据处理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多源网络安全数据处理方法的步骤。
11.一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，其特征在于，所述指令在被执行时用于实现如权利要求1至7任一项所述多源网络安全数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111614647.XA CN114448672A (zh) | 2021-12-27 | 2021-12-27 | 一种多源网络安全数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111614647.XA CN114448672A (zh) | 2021-12-27 | 2021-12-27 | 一种多源网络安全数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114448672A true CN114448672A (zh) | 2022-05-06 |
Family
ID=81365549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111614647.XA Pending CN114448672A (zh) | 2021-12-27 | 2021-12-27 | 一种多源网络安全数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114448672A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190098027A1 (en) * | 2016-12-14 | 2019-03-28 | Ping An Technology(Shenzhen) Co., Ltd. | Joint defence method and apparatus for network security, and server and storage medium |
| CN109861995A (zh) * | 2019-01-17 | 2019-06-07 | 安徽谛听信息科技有限公司 | 一种网络空间安全大数据智能分析方法、计算机可读介质 |
| CN110445807A (zh) * | 2019-08-23 | 2019-11-12 | 瑞森网安(福建)信息科技有限公司 | 网络安全态势感知***及方法 |
| CN110489464A (zh) * | 2019-07-02 | 2019-11-22 | 北京邮电大学 | 探索式图融合可视化方法和装置 |
| CN110908957A (zh) * | 2019-11-20 | 2020-03-24 | 国网湖南省电力有限公司 | 电力行业网络安全日志审计分析方法 |
| CN113220539A (zh) * | 2021-06-04 | 2021-08-06 | 北京伟途信息技术有限公司 | 一种安全态势感知多源数据可视化分析智能检测*** |
| CN113238912A (zh) * | 2021-05-08 | 2021-08-10 | 国家计算机网络与信息安全管理中心 | 一种网络安全日志数据的聚合处理方法 |
| CN113572781A (zh) * | 2021-07-28 | 2021-10-29 | 中国南方电网有限责任公司 | 网络安全威胁信息归集方法 |
-
2021
- 2021-12-27 CN CN202111614647.XA patent/CN114448672A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190098027A1 (en) * | 2016-12-14 | 2019-03-28 | Ping An Technology(Shenzhen) Co., Ltd. | Joint defence method and apparatus for network security, and server and storage medium |
| CN109861995A (zh) * | 2019-01-17 | 2019-06-07 | 安徽谛听信息科技有限公司 | 一种网络空间安全大数据智能分析方法、计算机可读介质 |
| CN110489464A (zh) * | 2019-07-02 | 2019-11-22 | 北京邮电大学 | 探索式图融合可视化方法和装置 |
| CN110445807A (zh) * | 2019-08-23 | 2019-11-12 | 瑞森网安(福建)信息科技有限公司 | 网络安全态势感知***及方法 |
| CN110908957A (zh) * | 2019-11-20 | 2020-03-24 | 国网湖南省电力有限公司 | 电力行业网络安全日志审计分析方法 |
| CN113238912A (zh) * | 2021-05-08 | 2021-08-10 | 国家计算机网络与信息安全管理中心 | 一种网络安全日志数据的聚合处理方法 |
| CN113220539A (zh) * | 2021-06-04 | 2021-08-06 | 北京伟途信息技术有限公司 | 一种安全态势感知多源数据可视化分析智能检测*** |
| CN113572781A (zh) * | 2021-07-28 | 2021-10-29 | 中国南方电网有限责任公司 | 网络安全威胁信息归集方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10855700B1 (en) | Post-intrusion detection of cyber-attacks during lateral movement within networks | |
| KR101689296B1 (ko) | 보안이벤트 자동 검증 방법 및 장치 | |
| CN109936545B (zh) | 暴力破解攻击的检测方法和相关装置 | |
| CN110730175B (zh) | 一种基于威胁情报的僵尸网络检测方法及检测*** | |
| CN110855676B (zh) | 网络攻击的处理方法、装置及存储介质 | |
| CN111651757A (zh) | 攻击行为的监测方法、装置、设备及存储介质 | |
| WO2019006412A1 (en) | CYBER SECURITY SYSTEM AND METHOD FOR DETECTING AND CORRELATING LOW INDICATORS FOR GENERATING STRONG INDICATORS | |
| CN111786966A (zh) | 浏览网页的方法和装置 | |
| US10511618B2 (en) | Website information extraction device, system website information extraction method, and website information extraction program | |
| JP7388613B2 (ja) | パケット処理方法及び装置、デバイス、並びに、コンピュータ可読ストレージ媒体 | |
| CN107204965B (zh) | 一种密码破解行为的拦截方法及*** | |
| US12003537B2 (en) | Mitigating phishing attempts | |
| EP4185975B1 (en) | Detection of anomalous count of new entities | |
| CN106790073B (zh) | 一种Web服务器恶意攻击的阻断方法、装置及防火墙 | |
| CN114928452A (zh) | 访问请求验证方法、装置、存储介质及服务器 | |
| CN114006772B (zh) | 一种反制黑客攻击的方法、装置、电子设备及存储介质 | |
| CN114448672A (zh) | 一种多源网络安全数据处理方法及装置 | |
| US20220391500A1 (en) | Automated adjustment of security alert components in networked computing systems | |
| CN113037779B (zh) | 一种积极防御***中的智能自学习白名单方法和*** | |
| CN110955890A (zh) | 恶意批量访问行为的检测方法、装置和计算机存储介质 | |
| US11683337B2 (en) | Harvesting fully qualified domain names from malicious data packets | |
| CN116668051A (zh) | 攻击行为的告警信息处理方法、装置、程序、电子及介质 | |
| CN115664686A (zh) | 一种登录方法、装置、计算机设备和存储介质 | |
| Lysenko et al. | Botnet Detection Approach Based on DNS. | |
| US20240179164A1 (en) | Strategically aged domain detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |