CN109960631A - 一种安全事件异常的实时侦测方法 - Google Patents

一种安全事件异常的实时侦测方法 Download PDF

Info

Publication number
CN109960631A
CN109960631A CN201910210405.0A CN201910210405A CN109960631A CN 109960631 A CN109960631 A CN 109960631A CN 201910210405 A CN201910210405 A CN 201910210405A CN 109960631 A CN109960631 A CN 109960631A
Authority
CN
China
Prior art keywords
formula
sequence
time
value
security incident
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910210405.0A
Other languages
English (en)
Other versions
CN109960631B (zh
Inventor
崔煜华
何黎刚
吴文泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Kyushu Xintai Information Polytron Technologies Inc
Original Assignee
Shandong Kyushu Xintai Information Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Kyushu Xintai Information Polytron Technologies Inc filed Critical Shandong Kyushu Xintai Information Polytron Technologies Inc
Priority to CN201910210405.0A priority Critical patent/CN109960631B/zh
Publication of CN109960631A publication Critical patent/CN109960631A/zh
Application granted granted Critical
Publication of CN109960631B publication Critical patent/CN109960631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种安全事件异常的实时侦测方法，可以快速、有效地提取多通道安全事件计数序列在多个时间维度（如年、月、星期和日）上的周期性并量化为周期项（即各时间维度对安全事件计数值的贡献）。能够以低训练成本的方式针对多通道、长周期安全事件计数序列构建出高精度、实时预测模型，由于本方法向预测模型中引入多时间维度的周期项作为额外输入，训练循环神经网络预测模型的时间步长度可大幅缩短，使得网络复杂度下降，训练成本和过拟合可能性降低，同时提升预测精度。使用预测模型结合基于偏差分布估计的概率性异常判定方法，实现了相比目前基于绝对阈值、基于相对变化和基于简单预测等判定方式更加科学而准确的异常判定机制。

Description

一种安全事件异常的实时侦测方法
技术领域
本发明涉及服务器(集群)异常/受攻击监控与侦测技术领域，具体涉及一种安全事件异常的实时侦测方法。
背景技术
服务器***安全监控、网络安全监控是实现生产环境安全防护的基础，是运维工作中最重要的一部分。服务器/网络安全监控一直受到IT企业的高度重视，但长期实践表明恶意攻击和安全异常的出现往往具有不规律性，攻击/异常产生的效果(主要指目标***的状态变化)则具有不可预测性，导致安全监控中对它们的侦测十分困难。
目前有非常多的异常/攻击(以下统称异常)判定技术被运用在服务器***/网络安全监控领域，包括基于绝对阈值的异常侦测方法、基于相对变化的异常侦测方法、基于序列比对的异常侦测方法和基于简单预测的异常侦测方法等等，但均存在一些问题，主要表现在：
a)基于绝对阈值的异常侦测方法通过检查目标事件序列计数的绝对值是否超过预设阈值进行异常判定；基于相对变化的异常侦测方法则监听的是序列的波动大小，并依据波动阈值作异常判定。这两种方法实现简单、运用广泛且不容易出现“漏报”，但“误报”的概率相对较高。
b)基于序列比对的异常侦测方法一般事先挖掘正常序列的模式并存储下来，从而通过对照正常模型和目标事件的时间序列片段来进行异常判定；该类方法的主要问题是时间开销大(模式挖掘和序列比对均具有高时间复杂度)、仅适用单通道序列并且依赖基准序列的有效性，不能用于多通道安全事件的实时异常侦测。
c)基于预测的异常侦测方法是机器学习兴起后使用较多的方法，核心在于构建序列预测模型来学习序列的正常变化，从而根据预测和实际值偏差找出异常出现的时间点。目前，虽然有多样化的模型和工具可用于构建安全事件计数序列的预测模型(其本质为时间序列)，例如自回归模型、周期性分解模型和循环神经网络等等，然而大多数现有解决方案采用单一模型实现简单预测，因此往往存在缺陷；例如自回归模型(如ARMA)无法学习到周期性，分解模型(如Facebook.Prophet)对周期性弱的数据拟合不佳，循环神经网络模型对长周期、多周期数据学习困难且学习代价高。
发明内容
本发明为了克服以上技术的不足，提供了一种在不需要明显增加网络复杂度和训练代价的同时提升网络的预测精度的安全事件异常的实时侦测方法。
本发明克服其技术问题所采用的技术方案是：
一种安全事件异常的实时侦测方法，包括如下步骤：
a)通过公式计算预设的周期时间维度为P的且构造序列通道为m的周期项sm,p(t)的傅里叶级数，通过公式βm,p＝(αm,p,0,αm,p,1,bm,p,1，...，αm,p,N,bm,p,N)在带时间戳的训练数据集上进行拟合，拟合得到第m个通道在时间周期维度P上的级数系数向量βm,p，其中O为阶数，P为周期长度，k为傅里叶级数的项标，t为当前时刻；
b)通过公式计算复杂非线性函数值其中x(t)为当前时间帧事件序列向量，s(t)为当前帧周期项向量，x(t-1),x(t-2),...,x(0)为历史窗口帧序列向量；
c)利用已训练完成的并融入了多维周期性特征的循环神经网络在不含异常数据的基准数据集上预测输出，通过公式计算均方偏差序列ε(t)，将预测输出结合标签输出计算得到均方偏差序列，利用最大似然估计法计算偏差遵从的高斯分布的均值μe及高斯分布的标准差σe；
d)通过公式拟合密度函数fε(εi)，其中εi为基准数据集上得到的偏差序列中的各样本对应的偏差，根据公式建立最大似然估计函数L，式中Nb为基准测试集大小，通过公式计算最大似然估计函数L的对数ln(L)；
e)通过公式及公式使用最小二乘法求解对数ln(L)，得到分布参数的估计值和
f)以t-1时刻序列值x(t-1)和各通道周期项s(t-1)作为输入，代入步骤b)中公式对t时刻序列值x(t)进行预测得到预测值在t时刻计算预测值与实际值x的均方偏差ε(t)，将均方偏差ε(t)带入步骤d)中公式中使εi＝ε(t)计算得到偏差概率p(ε(t))，根据用户对异常数据的敏感度设置偏差概率阀值H，当p(ε(t))≥H时***判定为无异常，当p(ε(t))≤H且p(ε(t))≥μ时，***判定当前侦测窗口出现了异常，μ为偏差序列εi的平均值。
本发明的有益效果是：可以快速、有效地提取多通道安全事件计数序列在多个时间维度(如年、月、星期和日)上的周期性并量化为周期项(即各时间维度对安全事件计数值的贡献)。能够以低训练成本的方式针对多通道、长周期安全事件计数序列构建出高精度、实时预测模型，由于本方法向预测模型中引入多时间维度的周期项作为额外输入，训练循环神经网络预测模型的时间步长度可大幅缩短，使得网络复杂度下降，训练成本和过拟合可能性降低，同时提升预测精度。使用预测模型结合基于偏差分布估计的概率性异常判定方法，实现了相比目前基于绝对阈值、基于相对变化和基于简单预测等判定方式更加科学而准确的异常判定机制。
具体实施方式
下面对本发明做进一步说明。
一种安全事件异常的实时侦测方法，包括如下步骤：
a)通过公式计算预设的周期时间维度为P的且构造序列通道为m的周期项sm,p(t)的傅里叶级数，通过公式βm,p＝(αm,p,0,αm,p,1,bm,p,1，...，αm,p,N,bm,p,N)在带时间戳的训练数据集上进行拟合，拟合得到第m个通道在时间周期维度P上的级数系数向量βm,p，其中O为阶数，P为周期长度，k为傅里叶级数的项标，t为当前时刻。通过构建周期性模型，模型原理是根据预设的周期时间维度P(例如月和星期)构造序列通道m的周期项sm,p(t)相应的傅里叶级数，并在带时间戳的训练数据集上进行拟合。具体实现方法是使用Facebook的开源周期性模型Prophet依次拟合经过筛选、聚合、序列化和标准化预处理的输入序列的各个通道，每个通道的拟合结果中取为预定义的年、月、星期和日周期中的一个或多个；然后将相应的时间戳分量(一个日周期、星期周期的事件计数及其对应的时刻)代入各通道的周期性模型，以得到相应的周期项，例如在第1个通道中星期一对应周期项为s1,7(l)。
b)以提取出的序列周期项为新特征、安全事件计数序列值为原始特征，构建并训练以未来时间点的安全事件序列取值为输出的循环神经网络，该网络作为多通道事件序列的预测模型；使用循环神经网络建立预测模型的基本原理是将多通道序列的预测值构建为一个复杂非线性函数。通过公式计算复杂非线性函数值其中x(t)为当前时间帧事件序列向量(即预测值)，s(t)为当前帧周期项向量(即实际值)，x(t-1),x(t-2),...,x(0)为历史窗口帧序列向量。
c)利用已训练完成的并融入了多维周期性特征的循环神经网络在不含异常数据的基准数据集上预测输出，通过公式计算均方偏差序列ε(t)，将预测输出结合标签输出计算得到均方偏差序列，利用最大似然估计法计算偏差遵从的高斯分布的均值μe及高斯分布的标准差σe。
d)通过公式拟合密度函数fε(εi)，其中εi为基准数据集上得到的偏差序列中的各样本对应的偏差，根据公式建立最大似然估计函数L，式中Nb为基准测试集大小，通过公式计算最大似然估计函数L的对数ln(L)。
e)通过公式及公式使用最小二乘法求解对数ln(L)，得到分布参数的估计值和分布参数的估计值决定了本方法对偏差的高斯分布的估计。该估计作为后续事件序列异常判定的依据。
f)以t-1时刻序列值x(t-1)和各通道周期项s(t-1)作为输入，代入步骤b)中公式对t时刻序列值x(t)进行预测得到预测值在t时刻计算预测值与实际值x的均方偏差ε(t)，将均方偏差ε(t)带入步骤d)中公式中使εi＝ε(t)计算得到偏差概率p(ε(t))，根据用户对异常数据的敏感度设置偏差概率阀值H，当p(ε(t))≥H时***判定为无异常，当p(ε(t))≤H且p(ε(t))≥μ时，***判定当前侦测窗口出现了异常，μ为偏差序列εi的平均值。
本安全事件异常的实时侦测方法对多通道安全事件计数序列的周期性特征进行了有效的提取，利用Prophet工具构建了准确的周期性模型并通过拟合多周期傅里叶级数的方式分别提取(经过聚合、序列化和数据标准化等预处理后得到的)多通道安全事件计数序列在多个预设时间维度上的周期项。进一步以提取出的序列周期项为新特征、安全事件计数序列为原始特征，构建低复杂度但高精度的循环神经网络。该网络作为预测模型，用以在小时间粒度(例如秒级)上实现高效的连续预测；相比单纯的端到端循环神经网络，本发明使用的预测模型在长时间序列上训练成本低且不易出现过拟合。预测模型在当前帧的均方预测偏差为依据，结合在基准数据集上的偏差序列预先估计的偏差分布以及预先设定的偏差概率阈值，实时判定被监控***当前是否出现了异常。
通过上述操作步骤，可以快速、有效地提取多通道安全事件计数序列在多个时间维度(如年、月、星期和日)上的周期性并量化为周期项(即各时间维度对安全事件计数值的贡献)。能够以低训练成本的方式针对多通道、长周期安全事件计数序列构建出高精度、实时预测模型，由于本方法向预测模型中引入多时间维度的周期项作为额外输入，训练循环神经网络预测模型的时间步长度可大幅缩短，使得网络复杂度下降，训练成本和过拟合可能性降低，同时提升预测精度。使用预测模型结合基于偏差分布估计的概率性异常判定方法，实现了相比目前基于绝对阈值、基于相对变化和基于简单预测等判定方式更加科学而准确的异常判定机制。

Claims (1)

1.一种安全事件异常的实时侦测方法，其特征在于，包括如下步骤：
a)通过公式计算预设的周期时间维度为P的且构造序列通道为m的周期项sm,p(t)的傅里叶级数，通过公式βm,p＝(αm,p,0,αm,p,1,bm,p,1，...，αm,p,N,bm,p,N)在带时间戳的训练数据集上进行拟合，拟合得到第m个通道在时间周期维度P上的级数系数向量βm,p，其中O为阶数，P为周期长度，k为傅里叶级数的项标，t为当前时刻；
b)通过公式计算复杂非线性函数值其中x(t)为当前时间帧事件序列向量，s(t)为当前帧周期项向量，x(t-1),x(t-2),...,x(0)为历史窗口帧序列向量；
c)利用已训练完成的并融入了多维周期性特征的循环神经网络在不含异常数据的基准数据集上预测输出，通过公式计算均方偏差序列ε(t)，将预测输出结合标签输出计算得到均方偏差序列，利用最大似然估计法计算偏差遵从的高斯分布的均值μe及高斯分布的标准差σe；
d)通过公式拟合密度函数fε(εi)，其中εi为基准数据集上得到的偏差序列中的各样本对应的偏差，根据公式建立最大似然估计函数L，式中Nb为基准测试集大小，通过公式计算最大似然估计函数L的对数ln(L)；
e)通过公式及公式使用最小二乘法求解对数ln(L)，得到分布参数的估计值和
f)以t-1时刻序列值x(t-1)和各通道周期项s(t-1)作为输入，代入步骤b)中公式对t时刻序列值x(t)进行预测得到预测值在t时刻计算预测值与实际值x的均方偏差ε(t)，将均方偏差ε(t)带入步骤d)中公式中使εi＝ε(t)计算得到偏差概率p(ε(t))，根据用户对异常数据的敏感度设置偏差概率阀值H，当p(ε(t))≥H时***判定为无异常，当p(ε(t))≤H且p(ε(t))≥μ时，***判定当前侦测窗口出现了异常，μ为偏差序列εi的平均值。
CN201910210405.0A 2019-03-19 2019-03-19 一种安全事件异常的实时侦测方法 Active CN109960631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910210405.0A CN109960631B (zh) 2019-03-19 2019-03-19 一种安全事件异常的实时侦测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910210405.0A CN109960631B (zh) 2019-03-19 2019-03-19 一种安全事件异常的实时侦测方法

Publications (2)

Publication Number Publication Date
CN109960631A true CN109960631A (zh) 2019-07-02
CN109960631B CN109960631B (zh) 2020-01-03

Family

ID=67024518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910210405.0A Active CN109960631B (zh) 2019-03-19 2019-03-19 一种安全事件异常的实时侦测方法

Country Status (1)

Country Link
CN (1) CN109960631B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362437A (zh) * 2019-07-16 2019-10-22 张家港钛思科技有限公司 基于深度学习的嵌入式设备缺陷追踪的自动化方法
CN110830448A (zh) * 2019-10-16 2020-02-21 支付宝(杭州)信息技术有限公司 目标事件的流量异常检测方法、装置、电子设备及介质
CN110830450A (zh) * 2019-10-18 2020-02-21 平安科技（深圳）有限公司 基于统计的异常流量监测方法、装置、设备及存储介质
CN110895598A (zh) * 2019-10-23 2020-03-20 山东九州信泰信息科技股份有限公司 基于多源预测的实时异常检测并行化方法
CN114419528A (zh) * 2022-04-01 2022-04-29 浙江口碑网络技术有限公司 异常识别方法、装置、计算机设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170060844A1 (en) * 2015-08-28 2017-03-02 Microsoft Technology Licensing, Llc Semantically-relevant discovery of solutions
CN107153584A (zh) * 2016-03-03 2017-09-12 中兴通讯股份有限公司 异常检测方法及装置
CN107196930A (zh) * 2017-05-12 2017-09-22 苏州优圣美智能***有限公司 计算机网络异常检测的方法、***及移动终端
CN107332863A (zh) * 2017-08-16 2017-11-07 深信服科技股份有限公司 一种基于集中管理的主机的安全检测方法及***
CN109388548A (zh) * 2018-09-29 2019-02-26 北京京东金融科技控股有限公司 用于生成信息的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170060844A1 (en) * 2015-08-28 2017-03-02 Microsoft Technology Licensing, Llc Semantically-relevant discovery of solutions
CN107153584A (zh) * 2016-03-03 2017-09-12 中兴通讯股份有限公司 异常检测方法及装置
CN107196930A (zh) * 2017-05-12 2017-09-22 苏州优圣美智能***有限公司 计算机网络异常检测的方法、***及移动终端
CN107332863A (zh) * 2017-08-16 2017-11-07 深信服科技股份有限公司 一种基于集中管理的主机的安全检测方法及***
CN109388548A (zh) * 2018-09-29 2019-02-26 北京京东金融科技控股有限公司 用于生成信息的方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362437A (zh) * 2019-07-16 2019-10-22 张家港钛思科技有限公司 基于深度学习的嵌入式设备缺陷追踪的自动化方法
CN110362437B (zh) * 2019-07-16 2023-07-07 张家港钛思科技有限公司 基于深度学习的嵌入式设备缺陷追踪的自动化方法
CN110830448A (zh) * 2019-10-16 2020-02-21 支付宝(杭州)信息技术有限公司 目标事件的流量异常检测方法、装置、电子设备及介质
CN110830450A (zh) * 2019-10-18 2020-02-21 平安科技（深圳）有限公司 基于统计的异常流量监测方法、装置、设备及存储介质
CN110895598A (zh) * 2019-10-23 2020-03-20 山东九州信泰信息科技股份有限公司 基于多源预测的实时异常检测并行化方法
CN110895598B (zh) * 2019-10-23 2021-09-14 山东九州信泰信息科技股份有限公司 基于多源预测的实时异常检测并行化方法
CN114419528A (zh) * 2022-04-01 2022-04-29 浙江口碑网络技术有限公司 异常识别方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109960631B (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN109960631A (zh) 一种安全事件异常的实时侦测方法
Siegel Industrial anomaly detection: A comparison of unsupervised neural network architectures
CN109716303A (zh) 使用k最近邻及逻辑回归方法的时间序列故障检测、故障分类及转变分析
CN109753049B (zh) 一种源网荷互动工控***的异常指令检测方法
Ditzen et al. xtbreak: Estimating and testing for structural breaks in Stata
Qian et al. Deep learning based anomaly detection in water distribution systems
Wang et al. Stealthy attack detection method based on Multi-feature long short-term memory prediction model
CN111885084A (zh) 一种入侵检测方法、装置及电子设备
Li et al. Meteorological radar fault diagnosis based on deep learning
Bai et al. CrossFuN: Multi-View Joint Cross Fusion Network for Time series Anomaly Detection
CN104091047A (zh) 基于交通时空信息的交通流缺失数据估算***及方法
Ooi et al. Detection of oscillations in control loops in irrigation channels
Sparks et al. Exponentially weighted moving average plans for detecting unusual negative binomial counts
CN115293284A (zh) 交易异常检测方法及装置
CN114408694A (zh) 一种电梯故障预测***及其预测方法
Yan et al. The application of BP neural network algorithm in optical fiber fault diagnosis
Coccia et al. An application of data-driven analysis in road tunnels monitoring
Li et al. Anomaly detection based on robust spatial-temporal modeling for industrial control systems
Terai et al. Intrusion detection using long short-term memory model for industrial control system
Liu et al. Damage detection from continuous long-term static response using cointegration and MEWMA control chart
Patel et al. Novel resilient compensator design for FDI attack mitigation on AGC system
Li et al. Health Monitoring Framework for Weather Radar Based on Long Short‐Term Memory Network with a Real Case Study
Sanchez-Fernandez et al. Fault detection with distributed PCA methods in water distribution networks
CN118152856A (zh) 一种数据挖掘结合深度学习算法的煤矿井下顶板来压预警方法
Lin Intelligent Data Prediction Based on Fuzzy Reasoning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant