CN116723138A - 一种基于流量探针染色的异常流量监控方法及*** - Google Patents
一种基于流量探针染色的异常流量监控方法及*** Download PDFInfo
- Publication number
- CN116723138A CN116723138A CN202311003068.0A CN202311003068A CN116723138A CN 116723138 A CN116723138 A CN 116723138A CN 202311003068 A CN202311003068 A CN 202311003068A CN 116723138 A CN116723138 A CN 116723138A
- Authority
- CN
- China
- Prior art keywords
- user
- flow
- determining
- access
- access flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 57
- 238000004043 dyeing Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000000523 sample Substances 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000005856 abnormality Effects 0.000 claims description 54
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000010186 staining Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供一种基于流量探针染色的异常流量监控方法及***,属于流量管理技术领域,具体包括:通过流量探针获取用户在预设时间内的访问流量,并通过访问流量的信息熵在不同时刻的分布情况确定信息熵时序特征值,通过EEMD算法获取所述访问流量的IMF分量,并结合访问流量的空间特征以及信息熵时序特征值确定时序特征量,对访问流量所对应的数据包进行解析得到访问流量所对应的操作类型,并基于不同的操作类型的操作次数以及操作频率、操作类型的种类确定操作特征量,并结合幅值特征量以及时序特征量确定是否需要对用户进行染色处理,从而进一步提升了流量监控的准确性和全面性。
Description
技术领域
本发明属于流量管理技术领域,尤其涉及一种基于流量探针染色的异常流量监控方法及***。
背景技术
流量探针为一种常见的对特定的网络流量进行采集、分析、信息提取的网络流量处理工具,同时为了实现对不同类型的流量的差异化对待,通过染色的方式将不同类型的流量进行区分,并根据区分的结果对不同类型的流量进行差异性对待。
在现有技术中,由于信贷申请***已经转至线上,因此需要对来自不同来源的实时流量进行监测,以保证信贷申请***的运行的可靠性,而为了实现采用流量探针对流量进行异常流量检测的问题,在发明专利申请号 CN202011640745《流量异常检测方法、装置、存储介质及处理器》中通过流量采集探针获取用户网络的流量数据,根据流量历史记录确定第一预测值和第二预测值;采用泊松分布检测方法结合第一预测值和第二预测值进行分析,确定当前时刻的流量观测值是否异常,但是却存在以下技术问题:
1、忽视了结合用户的流量所对应的操作类型进行异常流量的识别与染色,具体的,当某些用户其单位时间内的网络流量并未超过流量限定值,但是其流量所对应的操作类型一致且均为类型或者相同的操作,例如用户多次尝试登录或者重复点击进入某一界面,则其为异常流量的风险明显要大于其它的网络流量,因此若不能考虑用户的流量类型,则无法准确的实现对异常流量的监控和染色。
2、忽视了结合用户的访问流量的时序特征对异常流量的识别与染色,具体的,用户在进行信贷申请时,其操作产生的流量的时序特征与异常的机器访问的时序特征存在较大的差异,因此若不考虑时序特征,则同样无法准确的实现对异常流量的监控和染色。
针对上述技术问题,本发明提供了一种基于流量探针染色的异常流量监控方法及***。
发明内容
为实现本发明目的,本发明采用如下技术方案:
根据本发明的一个方面,提供了一种基于流量探针染色的异常流量监控方法。
一种基于流量探针染色的异常流量监控方法,其特征在于,具体包括:
S11根据用户的访问终端或者访问IP确定所述用户是否为已染色用户,若是,则确定用户的访问流量为异常流量,若否,则进入步骤S12;
S12通过流量探针获取用户在预设时间内的访问流量,并通过所述访问流量进行数据包的大小以及方差的确定,并结合所述访问流量确定幅值特征量,并基于所述幅值特征量确定是否存在异常,若是,则进入步骤S13,若否,则确定无需对用户进行染色处理;
S13通过所述访问流量的信息熵在不同时刻的分布情况确定信息熵时序特征值,通过EEMD算法获取所述访问流量的IMF分量,并结合访问流量的空间特征以及信息熵时序特征值确定时序特征量,并基于所述时序特征量确定是否存在异常,若是,则进入步骤S14,若否,则确定无需对用户进行染色处理;
S14对所述数据包进行解析得到所述访问流量所对应的操作类型,并基于不同的操作类型的操作次数以及操作频率、操作类型的种类确定操作特征量,并结合幅值特征量以及时序特征量确定是否需要对用户进行染色处理。
通过流量探针获取用户在预设时间内的访问流量,并通过所述访问流量进行数据包的大小以及方差的确定,并结合所述访问流量确定幅值特征量,从而实现了从访问流量的幅值变化情况对异常的判断,在保证判断的可靠性的基础上,也保证了判断的效率。
通过所述访问流量的信息熵在不同时刻的分布情况确定信息熵时序特征值,通过EEMD算法获取所述访问流量的IMF分量,并结合访问流量的空间特征以及信息熵时序特征值确定时序特征量,从而实现了从访问流量在一段时间的时序特征对访问异常的判断,不仅考虑到不同时刻的信息熵的变动情况,同时还考虑到空间特征以及IMF分量,进一步拓展类分析确定的全面性和可靠性。
通过对所述述数据包进行解析得到所述访问流量所对应的操作类型,并基于不同的操作类型的操作次数以及操作频率、操作类型的种类确定操作特征量,并结合幅值特征量以及时序特征量确定是否需要对用户进行染色处理,从而不仅仅考虑到单一的流量特征量,同时也充分考虑到访问流量背后的操作类型,进一步保证了染色处理的判断的准确性。
进一步的,根据用户的访问终端或者访问IP确定所述用户是否为已染色用户,具体包括:
获取所述用户的访问终端的唯一标识,并根据所述唯一标识确定所述用户是否为已染色用户,若是,则确定所述用户为已染色用户,若否,则进入下一步骤;
获取所述用户的访问IP,并根据所述用户的访问IP确定所述用户是否为已染色用户。
进一步的,所述预设时间至少根据授信申请***的服务器的端口数量、并发量进行确定,其中所述授信申请***的服务器的端口数量越多,并发量越大,则所述预设时间越长。
进一步的,基于所述幅值特征量确定是否存在异常,具体包括:
当所述幅值特征量大于设定值时,则确定所述用户的访问流量存在异常。
进一步的,基于所述用户在预设时间内的访问流量确定是否存在异常,具体包括:
获取不同用户在预设时间内的访问流量进行访问流量的平均值的确定;
通过所述预设时间对所述访问流量的平均值进行修正得到修正平均值,其中所述修正平均值小于所述平均值;
判断所述用户在预设时间内的访问流量是否小于修正平均值,若是,则确定所述用户在预设时间内的访问流量不存在异常,若否,则确定所述用户在预设时间内的访问流量存在异常。
进一步的,所述时序特征量的取值范围在0到1之间,其中所述时序特征量越大,则所述用户的访问流量存在异常的概率越大。
进一步的,结合幅值特征量以及时序特征量确定是否需要对用户进行染色处理,具体包括:
通过所述操作特征量确定是否存在异常,若是,则确定需要对所述用户进行染色处理,若否,则进入下一步骤;
通过所述幅值特征量、时序特征量、所述操作特征量进行所述用户的访问流量的综合特征量的确定,并基于所述综合特征量确定是否存在异常,并当存在异常时,则确定需要对所述用户进行染色处理,当不存在异常时,则暂时不对所述用户进行染色处理,并根据所述综合特征量进行所述用户的访问流量的监测频率的确认。
第二方面,本发明提供了一种计算机***,包括:通信连接的存储器和处理器,以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于:所述处理器运行所述计算机程序时执行上述的一种基于流量探针染色的异常流量监控方法。
第三方面,本发明提供了一种计算机存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行上述的一种基于流量探针染色的异常流量监控方法。
其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
通过参照附图详细描述其示例实施方式,本发明的上述和其它特征及优点将变得更加明显;
图1是一种基于流量探针染色的异常流量监控方法的流程图;
图2是幅值特征量确定的方法的流程图;
图3是时序特征量确定的方法的流程图;
图4是操作特征量确定的具体方法的流程图;
图5是一种计算机存储介质的框架图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
为解决上述问题,根据本发明的一个方面,如图1所示,提供了根据本发明的一个方面,提供了一种基于流量探针染色的异常流量监控方法,其特征在于,具体包括:
S11根据用户的访问终端或者访问IP确定所述用户是否为已染色用户,若是,则确定用户的访问流量为异常流量,若否,则进入步骤S12;
需要说明的是,根据用户的访问终端或者访问IP确定所述用户是否为已染色用户,具体包括:
获取所述用户的访问终端的唯一标识,并根据所述唯一标识确定所述用户是否为已染色用户,若是,则确定所述用户为已染色用户,若否,则进入下一步骤;
获取所述用户的访问IP,并根据所述用户的访问IP确定所述用户是否为已染色用户。
S12通过流量探针获取用户在预设时间内的访问流量,并通过所述访问流量进行数据包的大小以及方差的确定,并结合所述访问流量确定幅值特征量,并基于所述幅值特征量确定是否存在异常,若是,则进入步骤S13,若否,则确定无需对用户进行染色处理;
可以理解的是,所述预设时间至少根据授信申请***的服务器的端口数量、并发量进行确定,其中所述授信申请***的服务器的端口数量越多,并发量越大,则所述预设时间越长。
具体的举例说明,预设时间根据服务器的端口数量与并发量的乘积进行确定,具体的根据服务器的端口数量与并发量的乘积构建本***的预设基础时间,并根据预设基础时间与预设修正量的乘积进行预设时间的确定。
具体的举例说明,如图2所示,所述幅值特征量确定的方法为:
S21通过所述流量探针获取所述用户在预设时间内的访问流量,并基于所述用户在预设时间内的访问流量确定是否存在异常,若是,则进入步骤S22,若否,则确定不存在异常,确定无需对用户进行染色处理;
S22通过所述用户在预设时间内的访问流量确定所述用户在预测时间内的单位时间的访问流量的最大值、单位时间的访问流量的最小值以及方差,并基于所述用户在预测时间内的单位时间的访问流量的最大值、单位时间的访问流量的最小值以及方差进行流量特征值的构建;
S23通过所述用户在预设时间内的访问流量确定所述访问流量所对应的数据包,并基于所述数据包的数据量至少将所述数据包划分为大数据量数据包、中等数据量数据包、一般数据量数据包,并根据所述大数据量数据包的数量、中等数据量数据包的数量、一般数据量数据包的数量,并结合所述数据包的数据量的方差进行数据包特征值的确定;
S24通过所述流量特征值、数据包特征值,并结合所述用户的数据包的数量以及所述用户的访问流量,进行所述幅值特征量的构建。
具体的,基于所述幅值特征量确定是否存在异常,具体包括:
当所述幅值特征量大于设定值时,则确定所述用户的访问流量存在异常。
具体的,基于所述用户在预设时间内的访问流量确定是否存在异常,具体包括:
获取不同用户在预设时间内的访问流量进行访问流量的平均值的确定;
通过所述预设时间对所述访问流量的平均值进行修正得到修正平均值,其中所述修正平均值小于所述平均值;
判断所述用户在预设时间内的访问流量是否小于修正平均值,若是,则确定所述用户在预设时间内的访问流量不存在异常,若否,则确定所述用户在预设时间内的访问流量存在异常。
在本实施例中,通过流量探针获取用户在预设时间内的访问流量,并通过所述访问流量进行数据包的大小以及方差的确定,并结合所述访问流量确定幅值特征量,从而实现了从访问流量的幅值变化情况对异常的判断,在保证判断的可靠性的基础上,也保证了判断的效率。
S13通过所述访问流量的信息熵在不同时刻的分布情况确定信息熵时序特征值,通过EEMD算法获取所述访问流量的IMF分量,并结合访问流量的空间特征以及信息熵时序特征值确定时序特征量,并基于所述时序特征量确定是否存在异常,若是,则进入步骤S14,若否,则确定无需对用户进行染色处理;
具体的举例说明,如图3所示,所述时序特征量确定的方法为:
S31通过所述访问流量的信息熵在不同时刻的分布情况确定所述信息熵的离散系数、自相关系数、信息熵的差值的绝对值大于信息熵设定量的间隔时间的最大值以及平均值进行所述信息熵时序特征值的确定,并通过所述信息熵时序特征值确定是否存在异常,若是,则进入步骤S32,若否,则确定不存在异常,确定无需对用户进行染色处理;
S32通过所述EEMD算法对所述访问流量在预设时间内的频谱图进行分解,通过预设的处理次数得到在不同模态的IMF分量,并通过所述IMF分量的幅值进行显著IMF分量和一般IMF分量的数量的确定,并至少通过所述显著IMF分量的数量和幅值的平均值、频谱特征量以及坡度确定显著IMF分量的特征量评估值,并通过所述显著IMF分量的特征量评估值确定是否存在异常,若是,则进入步骤S33,若否,则进入步骤S34;
S33至少通过所述一般IMF分量的数量和幅值的平均值、频谱特征量以及坡度确定一般IMF分量的特征量评估值,并通过所述一般IMF分量的特征量评估值与显著IMF分量的特征量评估值确定是否存在异常,若是,则进入步骤S34,若否,则确定不存在异常,确定无需对用户进行染色处理;
S34通过在预设时间内所述访问流量的频谱图,采用基于CNN算法的空间特征模型进行空间特征的提取,其中所述基于CNN算法的空间特征提取模型在输入层之后,包括两层重复的卷积层,并经过池化层后进行空间特征的输出,基于所述空间特征、一般IMF分量的特征量评估值与显著IMF分量的特征量评估值、信息熵时序特征值进行所述时序特征量的确定。
需要说明的是,所述时序特征量的取值范围在0到1之间,其中所述时序特征量越大,则所述用户的访问流量存在异常的概率越大。
在本实施例中,通过所述访问流量的信息熵在不同时刻的分布情况确定信息熵时序特征值,通过EEMD算法获取所述访问流量的IMF分量,并结合访问流量的空间特征以及信息熵时序特征值确定时序特征量,从而实现了从访问流量在一段时间的时序特征对访问异常的判断,不仅考虑到不同时刻的信息熵的变动情况,同时还考虑到空间特征以及IMF分量,进一步拓展类分析确定的全面性和可靠性。
S14对所述数据包进行解析得到所述访问流量所对应的操作类型,并基于不同的操作类型的操作次数以及操作频率、操作类型的种类确定操作特征量,并结合幅值特征量以及时序特征量确定是否需要对用户进行染色处理。
具体的举例说明,如图4所示,所述操作特征量确定的具体方法为:
S41对所述访问流量所对应的数据包进行解析得到所述访问流量所对应的操作类型,并基于所述操作类型的种类确定是否存在异常,若是,则确定需要对所述用户进行染色处理,若否,则进入步骤S42;
S42通过所述操作类型的种类确定不同种类的操作类型的操作次数,并基于所述不同种类的操作类型的操作次数确定是否存在异常,若是,则确定需要对所述用户进行染色处理,若否,则进入步骤S43;
S43将所述操作次数大于预设数量的操作类型作为备选操作类型,并基于所述备选操作类型的操作频率、操作频率大于设定频率的间隔时间、操作次数进行所述备选操作类型的操作评估值的确定,并基于所述备选操作类型的操作评估值进行异常操作类型的筛选,并通过所述异常操作类型的数量确定是否存在异常,若是,则确定需要对所述用户进行染色处理,若否,则进入步骤S44;
S44通过所述操作类型的种类、不同种类的操作类型的操作次数、异常操作类型的数量以及操作评估值、备选操作类型的操作评估值的均值进行所述操作特征量的确定。
具体的举例说明,结合幅值特征量以及时序特征量确定是否需要对用户进行染色处理,具体包括:
通过所述操作特征量确定是否存在异常,若是,则确定需要对所述用户进行染色处理,若否,则进入下一步骤;
通过所述幅值特征量、时序特征量、所述操作特征量进行所述用户的访问流量的综合特征量的确定,并基于所述综合特征量确定是否存在异常,并当存在异常时,则确定需要对所述用户进行染色处理,当不存在异常时,则暂时不对所述用户进行染色处理,并根据所述综合特征量进行所述用户的访问流量的监测频率的确认。
在本实施例中,通过对所述述数据包进行解析得到所述访问流量所对应的操作类型,并基于不同的操作类型的操作次数以及操作频率、操作类型的种类确定操作特征量,并结合幅值特征量以及时序特征量确定是否需要对用户进行染色处理,从而不仅仅考虑到单一的流量特征量,同时也充分考虑到访问流量背后的操作类型,进一步保证了染色处理的判断的准确性。
另一方面,本发明提供了一种计算机***,包括:通信连接的存储器和处理器,以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于:所述处理器运行所述计算机程序时执行上述的一种基于流量探针染色的异常流量监控方法。
上述的一种基于流量探针染色的异常流量监控方法,具体包括:
根据用户的访问终端或者访问IP确定所述用户是否为已染色用户,若是,则确定用户的访问流量为异常流量,若否,则进入下一步骤;
通过流量探针获取用户在预设时间内的访问流量,并通过所述访问流量进行数据包的大小以及方差的确定,并结合所述访问流量确定幅值特征量,并基于所述幅值特征量确定是否存在异常,若是,则进入下一步骤,若否,则确定无需对用户进行染色处理;
通过所述访问流量的信息熵在不同时刻的分布情况确定所述信息熵的离散系数、自相关系数、信息熵的差值的绝对值大于信息熵设定量的间隔时间的最大值以及平均值进行所述信息熵时序特征值的确定,并通过所述信息熵时序特征值确定不存在异常时,进入下一步骤;
通过所述EEMD算法对所述访问流量在预设时间内的频谱图进行分解,通过预设的处理次数得到在不同模态的IMF分量,并通过所述IMF分量的幅值进行显著IMF分量和一般IMF分量的数量的确定,并至少通过所述显著IMF分量的数量和幅值的平均值、频谱特征量以及坡度确定显著IMF分量的特征量评估值,并通过所述显著IMF分量的特征量评估值确定存在异常时,进入下一步骤;
至少通过所述一般IMF分量的数量和幅值的平均值、频谱特征量以及坡度确定一般IMF分量的特征量评估值,并通过所述一般IMF分量的特征量评估值与显著IMF分量的特征量评估值确定不存在异常时,则确定不存在异常,确定无需对用户进行染色处理;
另一方面,如图5所示,本发明提供了一种计算机存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行上述的一种基于流量探针染色的异常流量监控方法。
根据用户的访问终端或者访问IP确定所述用户是否为已染色用户,若是,则确定用户的访问流量为异常流量,若否,则进入下一步骤;
通过流量探针获取用户在预设时间内的访问流量,并通过所述访问流量进行数据包的大小以及方差的确定,并结合所述访问流量确定幅值特征量,并基于所述幅值特征量确定是否存在异常,若是,则进入下一步骤,若否,则确定无需对用户进行染色处理;
通过所述访问流量的信息熵在不同时刻的分布情况确定信息熵时序特征值,通过EEMD算法获取所述访问流量的IMF分量,并结合访问流量的空间特征以及信息熵时序特征值确定时序特征量,并基于所述时序特征量确定是否存在异常,若是,则进入下一步骤,若否,则确定无需对用户进行染色处理;
对所述访问流量所对应的数据包进行解析得到所述访问流量所对应的操作类型,并基于所述操作类型的种类确定不存在异常时,进入下一步骤;
通过所述操作类型的种类确定不同种类的操作类型的操作次数,并基于所述不同种类的操作类型的操作次数确定不存在异常时,进入下一步骤;
将所述操作次数大于预设数量的操作类型作为备选操作类型,并基于所述备选操作类型的操作频率、操作频率大于设定频率的间隔时间、操作次数进行所述备选操作类型的操作评估值的确定,并基于所述备选操作类型的操作评估值进行异常操作类型的筛选,并通过所述异常操作类型的数量确定不存在异常时,则进入下一步骤;
通过所述操作类型的种类、不同种类的操作类型的操作次数、异常操作类型的数量以及操作评估值、备选操作类型的操作评估值的均值进行所述操作特征量的确定。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种基于流量探针染色的异常流量监控方法,其特征在于,具体包括:
根据用户的访问终端或者访问IP确定所述用户是否为已染色用户,若是,则确定用户的访问流量为异常流量,若否,则进入下一步骤;
通过流量探针获取用户在预设时间内的访问流量,并通过所述访问流量进行数据包的大小以及方差的确定,并结合所述访问流量确定幅值特征量,并基于所述幅值特征量确定是否存在异常,若是,则进入下一步骤,若否,则确定无需对用户进行染色处理;
通过所述访问流量的信息熵在不同时刻的分布情况确定信息熵时序特征值,通过EEMD算法获取所述访问流量的IMF分量,并结合访问流量的空间特征以及信息熵时序特征值确定时序特征量,并基于所述时序特征量确定是否存在异常,若是,则进入下一步骤,若否,则确定无需对用户进行染色处理;
对所述数据包进行解析得到所述访问流量所对应的操作类型,并基于不同的操作类型的操作次数以及操作频率、操作类型的种类确定操作特征量,并结合幅值特征量以及时序特征量确定是否需要对用户进行染色处理。
2.如权利要求1所述的一种基于流量探针染色的异常流量监控方法,其特征在于,根据用户的访问终端或者访问IP确定所述用户是否为已染色用户,具体包括:
获取所述用户的访问终端的唯一标识,并根据所述唯一标识确定所述用户是否为已染色用户,若是,则确定所述用户为已染色用户,若否,则进入下一步骤;
获取所述用户的访问IP,并根据所述用户的访问IP确定所述用户是否为已染色用户。
3.如权利要求1所述的一种基于流量探针染色的异常流量监控方法,其特征在于,所述预设时间至少根据授信申请***的服务器的端口数量、并发量进行确定,其中所述授信申请***的服务器的端口数量越多,并发量越大,则所述预设时间越长。
4.如权利要求1所述的一种基于流量探针染色的异常流量监控方法,其特征在于,所述幅值特征量确定的方法为:
通过所述流量探针获取所述用户在预设时间内的访问流量,并基于所述用户在预设时间内的访问流量确定是否存在异常,若是,则进入下一步骤,若否,则确定不存在异常,确定无需对用户进行染色处理;
通过所述用户在预设时间内的访问流量确定所述用户在预测时间内的单位时间的访问流量的最大值、单位时间的访问流量的最小值以及方差,并基于所述用户在预测时间内的单位时间的访问流量的最大值、单位时间的访问流量的最小值以及方差进行流量特征值的构建;
通过所述用户在预设时间内的访问流量确定所述访问流量所对应的数据包,并基于所述数据包的数据量至少将所述数据包划分为大数据量数据包、中等数据量数据包、一般数据量数据包,并根据所述大数据量数据包的数量、中等数据量数据包的数量、一般数据量数据包的数量,并结合所述数据包的数据量的方差进行数据包特征值的确定;
通过所述流量特征值、数据包特征值,并结合所述用户的数据包的数量以及所述用户的访问流量,进行所述幅值特征量的构建。
5.如权利要求1所述的一种基于流量探针染色的异常流量监控方法,其特征在于,基于所述幅值特征量确定是否存在异常,具体包括:
当所述幅值特征量大于设定值时,则确定所述用户的访问流量存在异常。
6.如权利要求5所述的一种基于流量探针染色的异常流量监控方法,其特征在于,基于所述用户在预设时间内的访问流量确定是否存在异常,具体包括:
获取不同用户在预设时间内的访问流量进行访问流量的平均值的确定;
通过所述预设时间对所述访问流量的平均值进行修正得到修正平均值,其中所述修正平均值小于所述平均值;
判断所述用户在预设时间内的访问流量是否小于修正平均值,若是,则确定所述用户在预设时间内的访问流量不存在异常,若否,则确定所述用户在预设时间内的访问流量存在异常。
7.如权利要求1所述的一种基于流量探针染色的异常流量监控方法,其特征在于,所述时序特征量确定的方法为:
S31通过所述访问流量的信息熵在不同时刻的分布情况确定所述信息熵的离散系数、自相关系数、信息熵的差值的绝对值大于信息熵设定量的间隔时间的最大值以及平均值进行所述信息熵时序特征值的确定,并通过所述信息熵时序特征值确定是否存在异常,若是,则进入步骤S32,若否,则确定不存在异常,确定无需对用户进行染色处理;
S32通过所述EEMD算法对所述访问流量在预设时间内的频谱图进行分解,通过预设的处理次数得到在不同模态的IMF分量,并通过所述IMF分量的幅值进行显著IMF分量和一般IMF分量的数量的确定,并至少通过所述显著IMF分量的数量和幅值的平均值、频谱特征量以及坡度确定显著IMF分量的特征量评估值,并通过所述显著IMF分量的特征量评估值确定是否存在异常,若是,则进入步骤S33,若否,则进入步骤S34;
S33至少通过所述一般IMF分量的数量和幅值的平均值、频谱特征量以及坡度确定一般IMF分量的特征量评估值,并通过所述一般IMF分量的特征量评估值与显著IMF分量的特征量评估值确定是否存在异常,若是,则进入步骤S34,若否,则确定不存在异常,确定无需对用户进行染色处理;
S34通过在预设时间内所述访问流量的频谱图,采用基于CNN算法的空间特征模型进行空间特征的提取,其中所述基于CNN算法的空间特征提取模型在输入层之后,包括两层重复的卷积层,并经过池化层后进行空间特征的输出,基于所述空间特征、一般IMF分量的特征量评估值与显著IMF分量的特征量评估值、信息熵时序特征值进行所述时序特征量的确定。
8.如权利要求7所述的一种基于流量探针染色的异常流量监控方法,其特征在于,所述时序特征量的取值范围在0到1之间,其中所述时序特征量越大,则所述用户的访问流量存在异常的概率越大。
9.一种计算机***,包括:通信连接的存储器和处理器,以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于:所述处理器运行所述计算机程序时执行权利要求1-8任一项所述的一种基于流量探针染色的异常流量监控方法。
10.一种计算机存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-8任一项所述的一种基于流量探针染色的异常流量监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311003068.0A CN116723138B (zh) | 2023-08-10 | 2023-08-10 | 一种基于流量探针染色的异常流量监控方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311003068.0A CN116723138B (zh) | 2023-08-10 | 2023-08-10 | 一种基于流量探针染色的异常流量监控方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116723138A true CN116723138A (zh) | 2023-09-08 |
CN116723138B CN116723138B (zh) | 2023-10-20 |
Family
ID=87868347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311003068.0A Active CN116723138B (zh) | 2023-08-10 | 2023-08-10 | 一种基于流量探针染色的异常流量监控方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116723138B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117439827A (zh) * | 2023-12-22 | 2024-01-23 | 中国人民解放军陆军步兵学院 | 一种网络流量大数据分析方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102821002A (zh) * | 2011-06-09 | 2012-12-12 | ***通信集团河南有限公司信阳分公司 | 网络流量异常检测方法和*** |
CN109067586A (zh) * | 2018-08-16 | 2018-12-21 | 海南大学 | DDoS攻击检测方法及装置 |
CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
US20200374306A1 (en) * | 2017-11-14 | 2020-11-26 | ZICT Technology Co., Ltd | Network traffic anomaly detection method, apparatus, computer device and storage medium |
CN112543199A (zh) * | 2020-12-07 | 2021-03-23 | 北京明略昭辉科技有限公司 | Ip异常流量检测方法、***、计算机设备及存储介质 |
CN112788066A (zh) * | 2021-02-26 | 2021-05-11 | 中南大学 | 物联网设备的异常流量检测方法、***及存储介质 |
CN112788022A (zh) * | 2020-12-31 | 2021-05-11 | 山石网科通信技术股份有限公司 | 流量异常检测方法、装置、存储介质及处理器 |
CN113271297A (zh) * | 2021-04-28 | 2021-08-17 | 国家计算机网络与信息安全管理中心 | 基于相对信息熵和半监督聚类的多层流量入侵检测方法 |
WO2021207984A1 (zh) * | 2020-04-15 | 2021-10-21 | 深圳市欢太科技有限公司 | 流量检测方法、装置、服务器以及存储介质 |
CN113765873A (zh) * | 2020-11-02 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用于检测异常访问流量的方法和装置 |
US20220006666A1 (en) * | 2020-07-02 | 2022-01-06 | Shanghai Trusted Industrial Control Platform Co., Ltd. | Method and system for detecting and defending against abnormal traffic of in-vehicle network based on information entropy |
CN116257884A (zh) * | 2023-03-20 | 2023-06-13 | 杭州霖芮科技有限公司 | 一种基于流量分析的电商平台客户数据处理方法与*** |
-
2023
- 2023-08-10 CN CN202311003068.0A patent/CN116723138B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102821002A (zh) * | 2011-06-09 | 2012-12-12 | ***通信集团河南有限公司信阳分公司 | 网络流量异常检测方法和*** |
US20200374306A1 (en) * | 2017-11-14 | 2020-11-26 | ZICT Technology Co., Ltd | Network traffic anomaly detection method, apparatus, computer device and storage medium |
CN109067586A (zh) * | 2018-08-16 | 2018-12-21 | 海南大学 | DDoS攻击检测方法及装置 |
CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
WO2021207984A1 (zh) * | 2020-04-15 | 2021-10-21 | 深圳市欢太科技有限公司 | 流量检测方法、装置、服务器以及存储介质 |
US20220006666A1 (en) * | 2020-07-02 | 2022-01-06 | Shanghai Trusted Industrial Control Platform Co., Ltd. | Method and system for detecting and defending against abnormal traffic of in-vehicle network based on information entropy |
CN113765873A (zh) * | 2020-11-02 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用于检测异常访问流量的方法和装置 |
CN112543199A (zh) * | 2020-12-07 | 2021-03-23 | 北京明略昭辉科技有限公司 | Ip异常流量检测方法、***、计算机设备及存储介质 |
CN112788022A (zh) * | 2020-12-31 | 2021-05-11 | 山石网科通信技术股份有限公司 | 流量异常检测方法、装置、存储介质及处理器 |
CN112788066A (zh) * | 2021-02-26 | 2021-05-11 | 中南大学 | 物联网设备的异常流量检测方法、***及存储介质 |
CN113271297A (zh) * | 2021-04-28 | 2021-08-17 | 国家计算机网络与信息安全管理中心 | 基于相对信息熵和半监督聚类的多层流量入侵检测方法 |
CN116257884A (zh) * | 2023-03-20 | 2023-06-13 | 杭州霖芮科技有限公司 | 一种基于流量分析的电商平台客户数据处理方法与*** |
Non-Patent Citations (3)
Title |
---|
T. QIN; X. GUAN; W. LI; P. WANG: "Monitoring Abnormal Traffic Flows Based on Independent Component Analysis", 《2009 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS》 * |
吕宗平; 钟友兵; 顾兆军: "基于攻击链和网络流量检测的威胁情报分析研究", 《计算机应用研究》 * |
邵帅: "IPv4/IPv6过渡中的DNS64关键技术研究与实现", 《中国优秀硕士学位论文全文数据库》, no. 04 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117439827A (zh) * | 2023-12-22 | 2024-01-23 | 中国人民解放军陆军步兵学院 | 一种网络流量大数据分析方法 |
CN117439827B (zh) * | 2023-12-22 | 2024-03-08 | 中国人民解放军陆军步兵学院 | 一种网络流量大数据分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116723138B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11681574B2 (en) | Method and system for real-time and scalable anomaly detection and classification of multi-dimensional multivariate high-frequency transaction data in a distributed environment | |
CN116723138B (zh) | 一种基于流量探针染色的异常流量监控方法及*** | |
AU770611B2 (en) | Transaction recognition and prediction using regular expressions | |
GB2456914A (en) | Network management involving cross-checking identified possible root causes of events in different data subsets of events | |
CN109495291B (zh) | 调用异常的定位方法、装置和服务器 | |
KR102476126B1 (ko) | 고속 분석을 위한 네트워크 트래픽 준비 시스템 | |
CN107341095B (zh) | 一种智能分析日志数据的方法及装置 | |
CN109669766A (zh) | 批处理作业的处理方法、装置、设备及存储介质 | |
JP4504346B2 (ja) | トラブル要因検出プログラム、トラブル要因検出方法およびトラブル要因検出装置 | |
CN110008049A (zh) | 一种基于互联网平台的数据修正方法、终端设备及介质 | |
CN113098912B (zh) | 用户账户异常的识别方法、装置、电子设备及存储介质 | |
CN112291226B (zh) | 一种网络流量的异常检测方法及装置 | |
CN113612645A (zh) | 一种物联网数据处理方法及*** | |
WO2021101490A1 (en) | Network failure prediction module and the method performed by this module | |
CN115514620B (zh) | 一种异常检测的方法和云网络平台 | |
CN115150294B (zh) | 一种用于监控物联网设备的数据分析方法、设备及介质 | |
CN112087450A (zh) | 一种异常ip识别方法、***及计算机设备 | |
CN116485571A (zh) | 一种基于用户行为预测的审计追踪方法 | |
CN111176950A (zh) | 一种监控服务器集群的网卡的方法和设备 | |
KR101982235B1 (ko) | 생존 함수 기반의 특질 추출 방법을 이용한 유사 설비 군집화 방법 및 장치 | |
CN116108376A (zh) | 一种反窃电的监测***、方法、电子设备及介质 | |
Gonzalez-Granadillo et al. | An improved live anomaly detection system (i-lads) based on deep learning algorithm | |
CN111582343B (zh) | 一种设备故障预测的方法及装置 | |
CN115700553A (zh) | 一种异常检测方法及相关装置 | |
CN112541177A (zh) | 一种基于数据安全的异常检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |