CN114915502B - 资产异常行为检测方法、装置、终端设备以及存储介质 - Google Patents
资产异常行为检测方法、装置、终端设备以及存储介质 Download PDFInfo
- Publication number
- CN114915502B CN114915502B CN202210829158.4A CN202210829158A CN114915502B CN 114915502 B CN114915502 B CN 114915502B CN 202210829158 A CN202210829158 A CN 202210829158A CN 114915502 B CN114915502 B CN 114915502B
- Authority
- CN
- China
- Prior art keywords
- asset
- feature vector
- model
- asset state
- network communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Alarm Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明公开了一种资产异常行为检测方法、装置、终端设备以及存储介质,该方法包括:获取网络通信行为数据;对网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;将原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,深度自编码器模型基于深度自编码神经网络训练得到;将计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,资产业务基线阈值基于所述深度自编码器模型确定。本发明实现了对资产异常行为的有效检测,减少了对有限时间段内的资产状态的依赖。
Description
技术领域
本发明涉及网络安全技术领域,尤其涉及一种资产异常行为检测方法、装置、终端设备以及存储介质。
背景技术
随着计算机技术的高度发展,越来越多的功能可以依托互联网平台实现。与企业管理变得灵活便捷同时产生的是大量的数据交互与资产变更,大大增加了安全隐患。在网络行为安全领域中,对整体资产的异常检测是比较困难的问题,特别是在日常无标记的数据中,检测数据中的异常,这需要充分找出历史数据中隐含的资产业务基线信息,从而形成可靠的参照基准,并用以判定网络行为是否异常。
目前,采用的一种资产异常行为的检测方法中,是根据资产在某一时间段内的网络行为,计算标准差和平均值,并以此为依据,判定现阶段资产行为是否为异常。这种方法对某一时间段内的资产状态有很强的依赖。若短时间内资产的网络行为有较大改变,则资产业务基线的范围也会大幅改变,不利于判定异常资产行为。
发明内容
本发明的主要目的在于提供一种资产异常行为检测方法、装置、终端设备以及存储介质,旨在实现对资产异常行为的有效检测,减少对有限时间段内的资产状态的依赖。
为实现上述目的,本发明提供一种资产异常行为检测方法,所述方法包括以下步骤:
获取网络通信行为数据;
对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;
将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;
将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。
可选地,所述将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果的步骤包括:
将所述原始资产状态特征向量输入预先训练好的深度自编码器模型,通过所述深度自编码器模型对所述原始资产状态特征向量进行编码与解码,得到资产状态重构特征向量;
计算所述资产状态重构特征向量与所述原始资产状态特征向量的均方误差,得到计算结果。
可选地,所述将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果的步骤之前还包括:
基于深度自编码神经网络训练得到所述深度自编码器模型,具体包括:
获取预先收集的网络通信行为数据包;
对所述网络通信行为数据包进行不同时刻资产状态特征提取,得到样本资产状态特征向量;
将所述样本资产状态特征向量输入预先构建的深度自编码神经网络进行模型训练,其中,通过随机初始化模型的权重,利用亚当优化算法并结合编码器和解码器训练整个模型,得到训练好的深度自编码器模型,并存储模型参数。
可选地,所述将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定的步骤之前还包括:
基于所述深度自编码器模型确定所述资产业务基线阈值,具体包括:
读取存储的所述模型参数;
获取实时网络通信行为数据,并对所述实时网络通信行为数据进行资产状态特征提取,得到实时资产状态特征向量;
将所述实际资产状态特征向量输入所述深度自编码器模型,基于所述模型参数进行编码与解码,得到实时资产状态重构特征向量;
计算所述实时资产状态重构特征向量与所述实时资产状态特征向量的均方误差;
以资产编号和时间序号为ID,记录所述ID与对应的均方误差;
每隔预设时间读取记录的所有ID与对应的均方误差;
计算各均方误差的概率分布;
根据各均方误差的概率分布得到概率阈值,作为资产业务基线阈值,存储至数据库。
可选地,所述通过所述深度自编码器模型对所述原始资产状态特征向量进行编码与解码,得到资产状态重构特征向量的步骤包括:
通过所述深度自编码器模型中的编码器对所述原始资产状态特征向量进行降维处理,得到低维特征向量;
通过所述深度自编码器模型中的解码器对所述低维特征向量进行重构,得到所述资产状态重构特征向量。
可选地,所述通过所述深度自编码器模型中的编码器对所述原始资产状态特征向量进行降维处理,得到低维特征向量的步骤包括:
通过所述编码器中的卷积层、池化层以及全连接层将高维的原始资产状态特征向量进行降维,得到低维特征向量;
所述通过所述深度自编码器模型中的解码器对所述低维特征向量进行重构,得到所述资产状态重构特征向量的步骤包括:
通过所述解码器中的反卷积层、上采样层以及全连接层将所述低维特征向量进行升维,得到重构特征向量。
可选地,所述将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常的步骤包括:
将所述计算结果与预先确定的资产业务基线阈值进行比较;
若所述计算结果超过预先确定的资产业务基线阈值,则确定所述资产网络通信行为异常;
所述方法还包括:
在确定所述资产网络通信行为异常时,发出告警提醒。
本发明实施例还提出一种资产异常行为检测装置,所述异常行为检测装置包括:
获取模块,用于获取网络通信行为数据;
特征提取模块,用于对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;
处理计算模块,用于将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;
异常确定模块,用于将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。
本发明实施例还提出一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的资产异常行为检测程序,所述资产异常行为检测程序被所述处理器执行时实现如上所述的资产异常行为检测方法的步骤。
本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有资产异常行为检测程序,所述资产异常行为检测程序被处理器执行时实现如上所述的资产异常行为检测方法的步骤。
本发明实施例提出的一种资产异常行为检测方法、装置、终端设备以及存储介质,通过获取网络通信行为数据;对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。由于采用深度自编码器模型对资产状态特征数据进行处理,并结合资产业务基线阈值进行异常判断,实现了对资产异常行为的有效检测,而且通过该方案,可以提取资产不同时刻状态特征数据进行学习,适应性地修改资产异常行为检测模型参数,识别突变的资产行为,并运用无监督进行模型训练,不断累积历史数据,短时间的剧烈波动对模型影响有限,从而减少对有限时间段内的资产状态的依赖。
相比现有技术,本发明实施例方案,具有如下优点:
(1)无需依靠其他日志或安全信息,仅靠资产的通讯流量作为依据,降低了日志或安全信息不全面,或者误报产生的影响。
(2)相比于传统方法,深度学习自编码器可以随着样本的增加不断的学习,调整参数,向资产业务基线靠拢,而且将会随着时间的推移越来越准确。
(3)高效的确认未知威胁的发生,且不断累积历史数据,有效避免短时间的剧烈波动对模型的影响。
附图说明
图1为本发明资产异常行为检测装置所属终端设备的功能模块示意图;
图2为本发明资产异常行为检测方法一示例性实施例的流程示意图;
图3为本发明资产异常行为检测方法另一示例性实施例的流程示意图;
图4为本发明资产异常行为检测方法实施例的总体流程示意图;
图5为本发明资产异常行为检测装置一示例性实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:通过获取网络通信行为数据;对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。由于采用深度自编码器模型对资产状态特征数据进行处理,并结合资产业务基线阈值进行异常判断,实现了对资产异常行为的有效检测,而且通过该方案,可以提取资产不同时刻状态特征数据进行学习,适应性地修改资产异常行为检测模型参数,识别突变的资产行为,并运用无监督进行模型训练,不断累积历史数据,短时间的剧烈波动对模型影响有限,从而减少对有限时间段内的资产状态的依赖。
现有技术中,采用的一种资产异常行为的检测方法中,是根据资产在某一时间段内的网络行为,计算标准差和平均值,并以此为依据,判定现阶段资产行为是否为异常。这种方法对某一时间段内的资产状态有很强的依赖。若短时间内资产的网络行为有较大改变,则资产业务基线的范围也会大幅改变,不利于判定异常资产行为。
本发明提出的一种基于资产业务基线的资产异常行为检测方案,可以实现对资产异常行为的有效检测,减少对有限时间段内的资产状态的依赖。
参照图1,图1为本发明资产异常行为检测装置所属终端设备的功能模块示意图。该资产异常行为检测装置可以为独立于终端设备的、能够进行数据处理的装置,其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端,还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中,该资产异常行为检测装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作***以及资产异常行为检测程序,资产异常行为检测装置可以将获取的网络通信行为数据、从网络通信行为数据提取的原始资产状态特征向量、深度自编码器模型输出的处理结果、计算结果等信息存储于该存储器130中;输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等,通过通信模块140与外部设备或服务器进行通信。
其中,存储器130中的资产异常行为检测程序被处理器执行时实现以下步骤:
获取网络通信行为数据;
对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;
将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;
将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。
进一步地,存储器130中的资产异常行为检测程序被处理器执行时还实现以下步骤:
将所述原始资产状态特征向量输入预先训练好的深度自编码器模型,通过所述深度自编码器模型对所述原始资产状态特征向量进行编码与解码,得到资产状态重构特征向量;
计算所述资产状态重构特征向量与所述原始资产状态特征向量的均方误差,得到计算结果。
进一步地,存储器130中的资产异常行为检测程序被处理器执行时还实现以下步骤:
基于深度自编码神经网络训练得到所述深度自编码器模型,具体包括:
获取预先收集的网络通信行为数据包;
对所述网络通信行为数据包进行不同时刻资产状态特征提取,得到样本资产状态特征向量;
将所述样本资产状态特征向量输入预先构建的深度自编码神经网络进行模型训练,其中,通过随机初始化模型的权重,利用亚当优化算法并结合编码器和解码器训练整个模型,得到训练好的深度自编码器模型,并存储模型参数。
进一步地,存储器130中的资产异常行为检测程序被处理器执行时还实现以下步骤:
基于所述深度自编码器模型确定所述资产业务基线阈值,具体包括:
读取存储的所述模型参数;
获取实时网络通信行为数据,并对所述实时网络通信行为数据进行资产状态特征提取,得到实时资产状态特征向量;
将所述实际资产状态特征向量输入所述深度自编码器模型,基于所述模型参数进行编码与解码,得到实时资产状态重构特征向量;
计算所述实时资产状态重构特征向量与所述实时资产状态特征向量的均方误差;
以资产编号和时间序号为ID,记录所述ID与对应的均方误差;
每隔预设时间读取记录的所有ID与对应的均方误差;
计算按各均方误差的概率分布;
根据各均方误差的概率分布得到概率阈值,作为资产业务基线阈值,存储至数据库。
进一步地,存储器130中的资产异常行为检测程序被处理器执行时还实现以下步骤:
通过所述深度自编码器模型中的编码器对所述原始资产状态特征向量进行降维处理,得到低维特征向量;
通过所述深度自编码器模型中的解码器对所述低维特征向量进行重构,得到所述资产状态重构特征向量。
进一步地,存储器130中的资产异常行为检测程序被处理器执行时还实现以下步骤:
通过所述编码器中的卷积层、池化层以及全连接层将高维的原始资产状态特征向量进行降维,得到低维特征向量;
所述通过所述深度自编码器模型中的解码器对所述低维特征向量进行重构,得到所述资产状态重构特征向量的步骤包括:
通过所述解码器中的反卷积层、上采样层以及全连接层将所述低维特征向量进行升维,得到重构特征向量。
进一步地,存储器130中的资产异常行为检测程序被处理器执行时还实现以下步骤:
将所述计算结果与预先确定的资产业务基线阈值进行比较;
若所述计算结果超过预先确定的资产业务基线阈值,则确定所述资产网络通信行为异常;
所述方法还包括:
在确定所述资产网络通信行为异常时,发出告警提醒。
本实施例通过上述方案,具体通过获取网络通信行为数据;对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。由于采用深度自编码器模型对资产状态特征数据进行处理,并结合资产业务基线阈值进行异常判断,实现了对资产异常行为的有效检测,而且通过该方案,可以提取资产不同时刻状态特征数据进行学习,适应性地修改资产异常行为检测模型参数,识别突变的资产行为,并运用无监督进行模型训练,不断累积历史数据,短时间的剧烈波动对模型影响有限,从而减少对有限时间段内的资产状态的依赖。
基于上述终端设备架构但不限于上述架构,提出本申请方法实施例。
本实施例方法的执行主体可以为一种资产异常行为检测装置或终端设备等,本实施例以资产异常行为检测装置进行举例。
参照图2,图2为本发明资产异常行为检测方法一示例性实施例的流程示意图。所述资产异常行为检测方法包括以下步骤:
步骤S101,获取网络通信行为数据;
其中,网络通信行为数据为实时的需要进行资产异常行为评估的网络数据,可以来自各种网络流量数据包。比如互联网平台上的各种网络通信行为数据,还比如各种企业基于互联网平台的大量交互数据与资产变更数据等,本实施例对此不作具体限定。
步骤S102,对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;
其中,资产状态特征可以包括开放端口数、进程数、安装软件数、内存使用率、磁盘使用率、CPU使用率、木马病毒数、TCP标志比例、平均包长、平均会话包数、数据入出度、DNS会话比例、ICMP会话比例、DNS解析失败比例、HTTP连接异常比例、加密会话比例、加密会话流入流出字节数、连接境外地址比例、连接境外地址流入流出字节数、连接非常见端口比例、连接非常见端口流入流出字节数、总数据吞吐量、敏感端口访问比例、访问端口数、访问服务器比例,访问终端比例、被访问数、被访问成功率等若干个特征。
作为一种实施方式,对所述网络通信行为数据进行资产状态特征提取,可以对提取的特征数据进行分词,然后进行嵌入向量化训练,进而得到对应的原始资产状态特征向量,以便将得到的原始资产状态特征向量输入深度自编码器模型进行处理。
步骤S103,将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;
具体地,作为一种实施方式,将所述原始资产状态特征向量输入预先训练好的深度自编码器模型,通过所述深度自编码器模型对所述原始资产状态特征向量进行编码与解码,得到资产状态重构特征向量;
然后,计算所述资产状态重构特征向量与所述原始资产状态特征向量的均方误差,得到计算结果。
由此,通过计算所述资产状态重构特征向量与所述原始资产状态特征向量的均方误差,可以结合预先确定的资产业务基线阈值确定资产网络通信行为是否异常。
在本实施例中,所述深度自编码器模型可以基于深度自编码神经网络训练得到。
具体地,其中深度自编码器神经网络可以基于TensorFlow框架或其他学习框架构建,通过TensorFlow框架或其他学习框架构建深度为m层的深度自编码器神经网络,该神经网络由卷积层、池化层、Dropout层、反卷积层、上采样层、全连接层等结构组成。大体可分为编码器和解码器两部分,资产网络通信行为数据进行特征提取后进入编码器,进入编码器后数据的维度逐层下降。编码结束后,数据进入解码器部分。在解码过程中,数据维度逐层上升,直至最后完全还原原数据的维度,即可得到重构特征向量。
其中,目前主流的学习框架包括TensorFlow,Keras,MXNet,PyTorch等学习框架,在本发明实施例中以采用TensorFlow作为学习框架进行举例,构建深度为m层的深度自编码器神经网络,其中m为大于或等于1的正整数。深度自编码器神经网络大体可分为编码器与解码器两部分,其中编码器部分主要由卷积层,池化层,全连接层等结构组成,用于数据的降维;解码器部分主要由反卷积层,上采样层,全连接层等结构组成,用于数据的升维,此外,在各全连接层之间加有Dropout层,可以防止模型过拟合。
其中,作为一种实施方式,所述通过所述深度自编码器模型对所述原始资产状态特征向量进行编码与解码,得到资产状态重构特征向量的步骤可以包括:
通过所述深度自编码器模型中的编码器对所述原始资产状态特征向量进行降维处理,得到低维特征向量;
通过所述深度自编码器模型中的解码器对所述低维特征向量进行重构,得到所述资产状态重构特征向量。
进一步地,所述通过所述深度自编码器模型中的编码器对所述原始资产状态特征向量进行降维处理,得到低维特征向量的步骤包括:
通过所述编码器中的卷积层、池化层以及全连接层将高维的原始资产状态特征向量进行降维,得到低维特征向量;
所述通过所述深度自编码器模型中的解码器对所述低维特征向量进行重构,得到所述资产状态重构特征向量的步骤包括:
通过所述解码器中的反卷积层、上采样层以及全连接层将所述低维特征向量进行升维,得到重构特征向量。
步骤S104,将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。
具体地,作为一种实施方式,将所述计算结果与预先确定的资产业务基线阈值进行比较;
若所述计算结果超过预先确定的资产业务基线阈值,则确定所述资产网络通信行为异常。
进一步地,在确定所述资产网络通信行为异常时,可以发出告警提醒。
本实施例通过上述方案,具体通过获取网络通信行为数据;对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。由于采用深度自编码器模型对资产状态特征数据进行处理,并结合资产业务基线阈值进行异常判断,实现了对资产异常行为的有效检测,而且通过该方案,可以提取资产不同时刻状态特征数据进行学习,适应性地修改资产异常行为检测模型参数,识别突变的资产行为,并运用无监督进行模型训练,不断累积历史数据,短时间的剧烈波动对模型影响有限,从而减少对有限时间段内的资产状态的依赖。
参照图3,图3为本发明资产异常行为检测方法另一示例性实施例的流程示意图。在上述图2所示的实施例的基础上,本实施例在上述步骤S104,将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果之前还包括:
步骤S100,基于深度自编码神经网络训练得到所述深度自编码器模型,
相比上述图2所示的实施例,本实施例还包括构建深度自编码器模型的方案。
具体地,本实施例基于深度自编码神经网络训练得到所述深度自编码器模型的过程可以如下:
首先,获取预先收集的网络通信行为数据包;
其中,网络通信行为数据包可以是预先收集的各种网络流量数据包。比如互联网平台上的各种网络通信行为数据,还比如各种企业基于互联网平台的大量交互数据与资产变更数据等,本实施例对此不作具体限定。
然后,对所述网络通信行为数据包进行不同时刻资产状态特征提取,得到样本资产状态特征向量;
其中,提取的资产状态特征包括开放端口数、进程数、安装软件数、内存使用率、磁盘使用率、CPU使用率、木马病毒数、TCP标志比例、平均包长、平均会话包数、数据入出度、DNS会话比例、ICMP会话比例、DNS解析失败比例、HTTP连接异常比例、加密会话比例、加密会话流入流出字节数、连接境外地址比例、连接境外地址流入流出字节数、连接非常见端口比例、连接非常见端口流入流出字节数、总数据吞吐量、敏感端口访问比例、访问端口数、访问服务器比例,访问终端比例、被访问数、被访问成功率等若干个特征。
然后,将所述样本资产状态特征向量输入预先构建的深度自编码神经网络进行模型训练,其中,通过随机初始化模型的权重,利用亚当优化算法并结合编码器和解码器训练整个模型,得到训练好的深度自编码器模型,并存储模型参数。
具体地,在本实施例中,所述深度自编码器模型可以基于深度自编码神经网络训练得到。
具体地,深度自编码器神经网络可以基于TensorFlow框架或其他学习框架构建,通过TensorFlow框架或其他学习框架构建深度为m层的深度自编码器神经网络,该神经网络由卷积层、池化层、Dropout层、反卷积层、上采样层、全连接层等结构组成。大体可分为编码器和解码器两部分,资产网络通信行为数据进行特征提取后进入编码器,进入编码器后数据的维度逐层下降。编码结束后,数据进入解码器部分。在解码过程中,数据维度逐层上升,直至最后完全还原原数据的维度,即可得到重构特征向量。
其中,目前主流的学习框架包括TensorFlow,Keras,MXNet,PyTorch等学习框架,在本发明实施例中以采用TensorFlow作为学习框架进行举例,构建深度为m层的深度自编码器神经网络,其中m为大于或等于1的正整数。深度自编码器神经网络大体可分为编码器与解码器两部分,其中编码器部分主要由卷积层,池化层,全连接层等结构组成,用于数据的降维;解码器部分主要由反卷积层,上采样层,全连接层等结构组成,用于数据的升维,此外,在各全连接层之间加有Dropout层,可以防止模型过拟合。过拟合是指神经网络模型由于学习迭代次数过多等原因导致拟合了数据中的噪声和数据中没有代表性的特征,从而影响输出结果的准确性,采用Dropout则可以防止模型过拟合。
其中,作为一种实施方式,在基于深度自编码神经网络进行模型训练时,具体可以采用如下方案:
将资产t时间内的网络通讯数据经过上述步骤进行特征提取后,得到样本资产状态特征向量X,将向量X作为模型输入值输入到搭建好的深度自编码器神经网络进行模型训练。
向量X进入到编码器中后,由编码器中的卷积层、池化层以及全连接层将高维的特征向量进行降维,通过卷积、池化及全连接的方式得到低维特征向量。
在通过编码器得到低维特征向量后,将其输入到解码器中,由解码器中的反卷积层、上采样层以及全连接层将低维特征向量进行升维,通过反卷积、上采样及全连接等方式重构特征向量。将低维特征向量通过解码升维直至最后完全数据的维度,即可得到重构特征向量,得到模型输出值X’。
在模型训练过程中,通过随机初始化神经网络的权重,然后利用亚当优化算法训练整个网络,使模型输出值X’与输入值X的均方误差(MSE)尽可能减小,训练两轮后结束,存储模型参数,该模型参数包括深度自编码器模型的深度自编码器神经网络的权重、亚当优化算法等相关参数。
由此,通过上述方案,基于深度自编码神经网络训练得到深度自编码器模型。
进一步地,可以基于训练好的深度自编码器模型确定资产业务基线阈值,以便结合资产业务基线阈值确定资产行为是否异常。
其中,资产业务基线阈值作为资产行为异常程度的判断指标,可以采用如下方式确定:
基于所述深度自编码器模型确定所述资产业务基线阈值,具体包括:
首先,读取存储的所述模型参数;
然后,获取实时网络通信行为数据,并对所述实时网络通信行为数据进行资产状态特征提取,得到实时资产状态特征向量;
然后,将所述实际资产状态特征向量输入所述深度自编码器模型,基于所述模型参数进行编码与解码,得到实时资产状态重构特征向量;
然后,计算所述实时资产状态重构特征向量与所述实时资产状态特征向量的均方误差;
以资产编号和时间序号为ID,记录所述ID与对应的均方误差;
每隔预设时间读取记录的所有ID与对应的均方误差;
计算各均方误差的概率分布,根据各均方误差的概率分布得到概率阈值,作为资产业务基线阈值,存储至数据库。
也就是说,将所有资产经过上述步骤中的训练好的深度自编码器模型,计算模型输出值X’与输入值X的均方误差(MSE),以资产编号和时间序号为ID,记录ID与其对应的均方误差值。每隔一段时间读取记录好的所有数据,按数据分布得到概率数值。根据概率分布得到阈值作为资产业务基线,存储至数据库,在数据库中设置罕见度接口,提供给用户进行查询等操作。
由于资产正常通讯通常是占比巨大且重复的,将数据输入模型进行训练,每个训练数据都将产生模型的微小变化。模型学习大量正常特征和少量异常特征作为噪声,将会更贴合资产正常业务,异常行为将得到更高的误差值,远离业务基线。
根据上述步骤中得到的资产业务基线阈值,可以作为资产异常行为的判断依据,对资产异常行为进行告警。
本实施例的整体流程可以参照图4所示。
本方法适用于资产异常行为检测,通过获取网络通信行为数据包提取资产状态数据,构成特征。将高维特征向量通过卷积,池化,全连接等方式进行降维,再将低维特征向量通过反卷积,上采样,全连接等方式重构特征向量。计算低维特征向量和重构向量之间的均方误差,再根据一段时间内均方误差的概率分布,根据分布确定资产业务基线阈值。对新产生的资产状态数据进行研判,并告警异常行为。
在本实施例方案中,通过获取网络通信行为数据,将处理后的资产状态特征数据,输入模型进行训练,每个训练数据都将产生模型的微小变化。由于正常流量是大量且重复的,因此模型学习大量正常特征和少量异常特征作为噪声。本模型的关键思想是通过学习输入输出的不同用于训练模型,利用自编码器训练过程中的感知损失,使自编码器重构大量重复的资产状态特征数据,用于检测后续数据是否符合该特征,该方法通过提取资产不同时刻状态特征数据进行学习,适应性地修改资产异常行为检测模型参数,识别突变的资产行为,发现资产异常。
相比现有技术,本发明实施例方案,无需依靠其他日志或安全信息,仅靠资产的通讯流量作为依据,降低了日志或安全信息不全面,或者误报产生的影响;深度学习自编码器可以随着样本的增加不断的学习,调整参数,向资产业务基线靠拢,而且将会随着时间的推移越来越准确;高效的确认未知威胁的发生,且不断累积历史数据,有效避免短时间的剧烈波动对模型的影响。
本实施例通过上述方案,基于深度自编码神经网络训练得到深度自编码器模型,基于深度自编码器模型确定所述资产业务基线阈值,在获取到带检测的网络通信行为数据时,对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。由于采用深度自编码器模型对资产状态特征数据进行处理,并结合资产业务基线阈值进行异常判断,实现了对资产异常行为的有效检测,而且通过该方案,可以提取资产不同时刻状态特征数据进行学习,适应性地修改资产异常行为检测模型参数,识别突变的资产行为,并运用无监督进行模型训练,不断累积历史数据,短时间的剧烈波动对模型影响有限,从而减少对有限时间段内的资产状态的依赖。
此外,如图5所示,本发明实施例还提出一种资产异常行为检测装置,所述异常行为检测装置包括:
获取模块,用于获取网络通信行为数据;
特征提取模块,用于对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;
处理计算模块,用于将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;
异常确定模块,用于将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。
本实施例实现资产异常行为检测的具体原理,请参照上述各实施例,在此不再赘述。
此外,本发明还提供一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异常行为检测程序,所述异常行为检测程序被所述处理器执行时实现如上述实施例所述的异常行为检测方法的步骤。
由于本异常行为检测程序被处理器执行时,采用了前述所有实施例的全部技术方案,因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果,在此不再一一赘述。
此外,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有异常行为检测程序,所述异常行为检测程序被处理器执行时实现如上述实施例所述的异常行为检测方法的步骤
由于本异常行为检测程序被处理器执行时,采用了前述所有实施例的全部技术方案,因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果,在此不再一一赘述。
相比现有技术,本发明实施例提出的一种资产异常行为检测方法、装置、终端设备以及存储介质,通过获取网络通信行为数据;对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定。由于采用深度自编码器模型对资产状态特征数据进行处理,并结合资产业务基线阈值进行异常判断,实现了对资产异常行为的有效检测,而且通过该方案,可以提取资产不同时刻状态特征数据进行学习,适应性地修改资产异常行为检测模型参数,识别突变的资产行为,并运用无监督进行模型训练,不断累积历史数据,短时间的剧烈波动对模型影响有限,从而减少对有限时间段内的资产状态的依赖。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种资产异常行为检测方法,其特征在于,所述方法包括以下步骤:
获取网络通信行为数据;
对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;
将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;
将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定;
所述将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果的步骤之前还包括:
基于深度自编码神经网络训练得到所述深度自编码器模型,具体包括:
获取预先收集的网络通信行为数据包;
对所述网络通信行为数据包进行不同时刻资产状态特征提取,得到样本资产状态特征向量;
将所述样本资产状态特征向量输入预先构建的深度自编码神经网络进行模型训练,其中,通过随机初始化模型的权重,利用亚当优化算法并结合编码器和解码器训练整个模型,得到训练好的深度自编码器模型,并存储模型参数;
所述将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定的步骤之前还包括:
基于所述深度自编码器模型确定所述资产业务基线阈值,具体包括:
读取存储的所述模型参数;
获取实时网络通信行为数据,并对所述实时网络通信行为数据进行资产状态特征提取,得到实时资产状态特征向量;
将所述实时 资产状态特征向量输入所述深度自编码器模型,基于所述模型参数进行编码与解码,得到实时资产状态重构特征向量;
计算所述实时资产状态重构特征向量与所述实时资产状态特征向量的均方误差;
以资产编号和时间序号为ID,记录所述ID与对应的均方误差;
每隔预设时间读取记录的所有ID与对应的均方误差;
计算各均方误差的概率分布;
根据各均方误差的概率分布得到概率阈值,作为资产业务基线阈值,存储至数据库。
2.根据权利要求1所述的方法,其特征在于,所述将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果的步骤包括:
将所述原始资产状态特征向量输入预先训练好的深度自编码器模型,通过所述深度自编码器模型对所述原始资产状态特征向量进行编码与解码,得到资产状态重构特征向量;
计算所述资产状态重构特征向量与所述原始资产状态特征向量的均方误差,得到计算结果。
3.根据权利要求2所述的方法,其特征在于,所述通过所述深度自编码器模型对所述原始资产状态特征向量进行编码与解码,得到资产状态重构特征向量的步骤包括:
通过所述深度自编码器模型中的编码器对所述原始资产状态特征向量进行降维处理,得到低维特征向量;
通过所述深度自编码器模型中的解码器对所述低维特征向量进行重构,得到所述资产状态重构特征向量。
4.根据权利要求3所述的方法,其特征在于,所述通过所述深度自编码器模型中的编码器对所述原始资产状态特征向量进行降维处理,得到低维特征向量的步骤包括:
通过所述编码器中的卷积层、池化层以及全连接层将高维的原始资产状态特征向量进行降维,得到低维特征向量;
所述通过所述深度自编码器模型中的解码器对所述低维特征向量进行重构,得到所述资产状态重构特征向量的步骤包括:
通过所述解码器中的反卷积层、上采样层以及全连接层将所述低维特征向量进行升维,得到重构特征向量。
5.根据权利要求1所述的方法,其特征在于,所述将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常的步骤包括:
将所述计算结果与预先确定的资产业务基线阈值进行比较;
若所述计算结果超过预先确定的资产业务基线阈值,则确定所述资产网络通信行为异常;
所述方法还包括:
在确定所述资产网络通信行为异常时,发出告警提醒。
6.一种资产异常行为检测装置,其特征在于,所述异常行为检测装置包括:
获取模块,用于获取网络通信行为数据;
特征提取模块,用于对所述网络通信行为数据进行资产状态特征提取,得到原始资产状态特征向量;
处理计算模块,用于将所述原始资产状态特征向量输入预先训练好的深度自编码器模型进行处理并计算,得到计算结果,所述深度自编码器模型基于深度自编码神经网络训练得到;
异常确定模块,用于将所述计算结果与预先确定的资产业务基线阈值进行比较,以确定资产网络通信行为是否异常,所述资产业务基线阈值基于所述深度自编码器模型确定;
模型构建模块,用于基于深度自编码神经网络训练得到所述深度自编码器模型,具体包括:获取预先收集的网络通信行为数据包;对所述网络通信行为数据包进行不同时刻资产状态特征提取,得到样本资产状态特征向量;将所述样本资产状态特征向量输入预先构建的深度自编码神经网络进行模型训练,其中,通过随机初始化模型的权重,利用亚当优化算法并结合编码器和解码器训练整个模型,得到训练好的深度自编码器模型,并存储模型参数;
所述异常确定模块,还用于基于所述深度自编码器模型确定所述资产业务基线阈值,具体包括:读取存储的所述模型参数;获取实时网络通信行为数据,并对所述实时网络通信行为数据进行资产状态特征提取,得到实时资产状态特征向量;将所述实时 资产状态特征向量输入所述深度自编码器模型,基于所述模型参数进行编码与解码,得到实时资产状态重构特征向量;计算所述实时资产状态重构特征向量与所述实时资产状态特征向量的均方误差;以资产编号和时间序号为ID,记录所述ID与对应的均方误差;每隔预设时间读取记录的所有ID与对应的均方误差;计算各均方误差的概率分布;根据各均方误差的概率分布得到概率阈值,作为资产业务基线阈值,存储至数据库。
7.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的资产异常行为检测程序,所述资产异常行为检测程序被所述处理器执行时实现如权利要求1-5中任一项所述的资产异常行为检测方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有资产异常行为检测程序,所述资产异常行为检测程序被处理器执行时实现如权利要求1-5中任一项所述的资产异常行为检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210829158.4A CN114915502B (zh) | 2022-07-15 | 2022-07-15 | 资产异常行为检测方法、装置、终端设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210829158.4A CN114915502B (zh) | 2022-07-15 | 2022-07-15 | 资产异常行为检测方法、装置、终端设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114915502A CN114915502A (zh) | 2022-08-16 |
CN114915502B true CN114915502B (zh) | 2022-10-04 |
Family
ID=82772194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210829158.4A Active CN114915502B (zh) | 2022-07-15 | 2022-07-15 | 资产异常行为检测方法、装置、终端设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114915502B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919489A (zh) * | 2019-03-08 | 2019-06-21 | 北京工业大学 | 基于企业资产管理***和ga-bp的企业设备寿命预测方法 |
CN110766329A (zh) * | 2019-10-25 | 2020-02-07 | 华夏银行股份有限公司 | 一种信息资产的风险分析方法、装置、设备及介质 |
CN112039903A (zh) * | 2020-09-03 | 2020-12-04 | 中国民航大学 | 基于深度自编码神经网络模型的网络安全态势评估方法 |
CN113632027A (zh) * | 2019-04-01 | 2021-11-09 | Abb瑞士股份有限公司 | 利用自动异常检测的资产状况监测方法 |
WO2022012429A1 (zh) * | 2020-07-13 | 2022-01-20 | 华为技术有限公司 | 用于实现终端验证的方法、装置、***、设备及存储介质 |
-
2022
- 2022-07-15 CN CN202210829158.4A patent/CN114915502B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919489A (zh) * | 2019-03-08 | 2019-06-21 | 北京工业大学 | 基于企业资产管理***和ga-bp的企业设备寿命预测方法 |
CN113632027A (zh) * | 2019-04-01 | 2021-11-09 | Abb瑞士股份有限公司 | 利用自动异常检测的资产状况监测方法 |
CN110766329A (zh) * | 2019-10-25 | 2020-02-07 | 华夏银行股份有限公司 | 一种信息资产的风险分析方法、装置、设备及介质 |
WO2022012429A1 (zh) * | 2020-07-13 | 2022-01-20 | 华为技术有限公司 | 用于实现终端验证的方法、装置、***、设备及存储介质 |
CN112039903A (zh) * | 2020-09-03 | 2020-12-04 | 中国民航大学 | 基于深度自编码神经网络模型的网络安全态势评估方法 |
Non-Patent Citations (1)
Title |
---|
自编码器;罗韦尔•阿蒂恩扎;《Keras高级深度学习》;20200331;第3章 * |
Also Published As
Publication number | Publication date |
---|---|
CN114915502A (zh) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109379379B (zh) | 基于改进卷积神经网络的网络入侵检测方法 | |
CN108737406B (zh) | 一种异常流量数据的检测方法及*** | |
CN112800116B (zh) | 一种业务数据的异常检测方法及装置 | |
CN111539769A (zh) | 基于差分隐私的异常检测模型的训练方法及装置 | |
CN111030992A (zh) | 检测方法、服务器及计算机可读存储介质 | |
CN115034286B (zh) | 一种基于自适应损失函数的异常用户识别方法和装置 | |
CN112418361A (zh) | 一种基于深度学习的工控***异常检测方法、装置 | |
CN113660196A (zh) | 一种基于深度学习的网络流量入侵检测方法及装置 | |
CN113610156A (zh) | 用于大数据分析的人工智能模型机器学习方法及服务器 | |
CN110659997A (zh) | 数据聚类识别方法、装置、计算机***及可读存储介质 | |
Yang et al. | Cloud-edge coordinated traffic anomaly detection for industrial cyber-physical systems | |
CN115102779B (zh) | 预测模型的训练、访问请求的决策方法、装置、介质 | |
CN114915502B (zh) | 资产异常行为检测方法、装置、终端设备以及存储介质 | |
CN113114489A (zh) | 一种网络安全态势评估方法、装置、设备及存储介质 | |
CN117097541A (zh) | Api服务攻击检测方法、装置、设备和存储介质 | |
CN116611064A (zh) | 一种基于门控循环单元的混合模型恶意软件检测方法 | |
CN110990837B (zh) | ***调用行为序列降维方法、***、设备和存储介质 | |
CN113935023A (zh) | 一种数据库异常行为检测方法及装置 | |
CN113515684A (zh) | 一种异常数据检测方法及装置 | |
Ramakotti et al. | An analysis and implementation of a deep learning model for image steganography | |
Bozdal et al. | Comparative analysis of dimensionality reduction techniques for cybersecurity in the SWaT dataset | |
KR20200048002A (ko) | 비대칭 tanh 활성 함수를 이용한 예측 성능의 개선 | |
CN112989342B (zh) | 恶意软件检测网络优化方法、装置、电子设备及存储介质 | |
Li et al. | Power terminal anomaly monitoring technology based on autoencoder and multi-layer perceptron | |
Nema et al. | Robust Anomaly Detection in Network Traffic using Deep Learning Models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |