CN114615020B - 基于特征约减和动态加权的网络设备快速识别方法及*** - Google Patents

基于特征约减和动态加权的网络设备快速识别方法及*** Download PDF

Info

Publication number
CN114615020B
CN114615020B CN202210139120.4A CN202210139120A CN114615020B CN 114615020 B CN114615020 B CN 114615020B CN 202210139120 A CN202210139120 A CN 202210139120A CN 114615020 B CN114615020 B CN 114615020B
Authority
CN
China
Prior art keywords
feature
features
type
data
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210139120.4A
Other languages
English (en)
Other versions
CN114615020A (zh
Inventor
罗向阳
王修婷
杜少勇
李玲玲
刘粉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202210139120.4A priority Critical patent/CN114615020B/zh
Publication of CN114615020A publication Critical patent/CN114615020A/zh
Application granted granted Critical
Publication of CN114615020B publication Critical patent/CN114615020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于特征约减和动态加权的网络设备快速识别方法及***。该方法包括:首先,基于快速过滤算法进行特征冗余分析,并删除冗余特征;然后,根据每个特征与设备类型的相关度进行动态加权;最后,通过计算目标设备与已知设备类型的相似性来识别目标设备。在已有公开数据集上的实验结果表明,本发明在随机森林中将已有方法的识别准确率提高了3.5%,时间开销减少80%;在LightGBM中将已有方法的识别准确率提高了10.8%;时间开销减少了72%。本发明方法显著优于现有的基于特征约减对设备类型识别的方法。

Description

基于特征约减和动态加权的网络设备快速识别方法及***
技术领域
本发明属于网络安全技术领域,尤其涉及一种基于特征约减和动态加权的网络设备快速识别方法及***。
背景技术
随着互联网技术的快速发展,越来越多的网络设备连接到互联网中,据IDC(Internet Data Center)预计,2025年将有559亿台网络设备连接到互联网,其类别包含有汽车、智能家居设备以及可穿戴设备等。海量的网络设备在带给人们便利的同时,也带来了各种各样的安全问题。2016年10月,一场超大规模的DDoS攻击导致大半个美国互联网瘫痪,实施此次攻击的黑客主要是利用了一个由大约150万台网络设备组成的“僵尸网络”。因此,出于维护网络安全的目的,需要对网络设备进行识别,提高网络设备的安全性已经刻不容缓。
高效准确识别网络设备是增强网络空间安全、实现资产评估、进行网络态势感知的基础。网络设备识别是指通过各种网络探测技术来获取目标设备的操作***、设备类型、位置、服务等信息。现有的网络设备识别方法主要分为两类:一类是通过专有网络空间搜索引擎进行识别,现有的搜索引擎有Shodan、Censys、ZoomEye等,这些网络空间搜索引擎能够在非常短的时间里反馈给搜索者所需的设备,大到服务器和工控设备,小到摄像头、智能手表等智能家居设备;另一类是通过将网络设备所产生的流量或者设备的标识信息进行处理,生成设备指纹,与已知的设备指纹库进行匹配,以此识别设备类型。目前第二类方法是网络设备识别领域的主要研究内容,学者们围绕第二类方法做了大量工作。文献[Q.Li,X.Feng,R.Wang,Z.Li and L.Sun,"Towards Fine-grained Fingerprinting of Firmwarein Online Embedded Devices,”in Proc.INFOCOM,Honolulu,HI,USA,pp.2537-2545,2018.]提出基于设备的硬件信息之间的细微差异来生成细粒度指纹,利用自然语言处理技术对设备的硬件信息进行处理,并通过***验证了所提方法的有效性。文献[S.Aneja,N.Aneja and M.S.Islam.“IoT Device Identification Using Deep Learning,”inProc.CISIS,Burgos,Spain,pp.76-86,2019.]提出将深度学习应用于网络流量,以自动识别连接到网络的网络设备。文献[X.M.Guo,X.N.Li,R.X.Li,X.X.Wang and X.Y.Luo.“Network Device Identification Based on MAC Boundary Inference,”inProc.ICAIS,Dublin,Ireland,pp.697-712,2021.]提出一种基于MAC边界推断的网络设备识别方法,该方法通过推断设备类型对应的MAC地址边界来识别设备类型。现有基于网络流量的设备识别提取到的特征属性往往存在冗余特征和干扰特征,增加了识别的时间开销,降低了识别准确率。
发明内容
本发明针对现有基于网络流量的设备识别提取到的特征属性往往存在冗余特征和干扰特征,增加了识别的时间开销,降低了识别准确率的问题,提出一种基于特征约减和动态加权的网络设备快速识别方法及***,采用特征约减策略和特征属性动态加权分配机制,降低设备识别时间开销,提高识别准确率。
为了实现上述目的,本发明采用以下技术方案:
本发明一方面提出一种基于特征约减和动态加权的网络设备快速识别方法,包括:
步骤1,数据预处理:对数据进行归一化处理,并进行低方差滤波,剔除属性值基本保持不变的特征;
步骤2,特征约减:分别计算各个特征属性之间的相关性以及各个特征与设备类型之间的相关性,首先剔除与设备类型相关性小的属性特征,即无用特征;再剔除冗余特征,若两个特征属性均与设备类型具有相关性且两个特征属性之间也具有较高的相关性,则剔除两个特征属性中对设备类型影响较小的一个;
步骤3,特征动态权值分配:对于约减之后的特征空间,使用互信息计算各个特征属性对设备类型的影响,按照对设备类型的影响程度为各个特征属性赋权值,之后将不同数据类型的特征数据整合到一个文件中,作为分类器的样本数据;
步骤4,构造分类器:为每一个设备类型构造一个分类器,将经过动态赋值的特征数据作为分类器的输入,训练最优分类模型;
步骤5,设备类型判别:将样本数据作为分类器的输入,通过相似性度量计算两组特征的相似性,根据相似性判断设备类型;若有两个以上分类器输出的相似性值相同,则取置信度最大的类型作为该设备类型。
进一步地,所述步骤2包括:
首先,设置一个阈值δ,计算特征与设备类型t之间的SU值SUf,t,比较SUf,t与δ的关系,如果SUf,t<δ,则剔除该特征;然后,分别计算特征fi、fj和设备类型t之间的SU值SU(fi,t)、SU(fj,t),并计算特征fi和特征fj之间的SU值SU(fi,fj);如果SU(fi,t)≥SU(fj,t)并且SU(fi,fj)≥SU(fj,t),则剔除特征fj;最终输出经过特征约减后的最优特征子集列表和SU值。
进一步地,所述步骤3包括:
首先计算设备类型t的熵H(t)和经过特征约减之后留下的最优特征子集列表中特征f的熵H(f),再基于得出的H(t)和H(f)计算设备类型t和特征f的互信息值ri,将互信息值ri作为对应特征f的权重,直至得出最优特征子集列表中所有特征对应的权重,最后输出设备特征权值列表。
本发明另一方面提出一种基于特征约减和动态加权的网络设备快速识别***,包括:
数据预处理模块,用于数据预处理:对数据进行归一化处理,并进行低方差滤波,剔除属性值基本保持不变的特征;
特征约减模块,用于特征约减:分别计算各个特征属性之间的相关性以及各个特征与设备类型之间的相关性,首先剔除与设备类型相关性小的属性特征,即无用特征;再剔除冗余特征,若两个特征属性均与设备类型具有相关性且两个特征属性之间也具有较高的相关性,则剔除两个特征属性中对设备类型影响较小的一个;
特征动态权值分配模块,用于特征动态权值分配:对于约减之后的特征空间,使用互信息计算各个特征属性对设备类型的影响,按照对设备类型的影响程度为各个特征属性赋权值,之后将不同数据类型的特征数据整合到一个文件中,作为分类器的样本数据;
分类器构造模块,用于构造分类器:为每一个设备类型构造一个分类器,将经过动态赋值的特征数据作为分类器的输入,训练最优分类模型;
设备类型判别模块,用于设备类型判别:将样本数据作为分类器的输入,通过相似性度量计算两组特征的相似性,根据相似性判断设备类型;若有两个以上分类器输出的相似性值相同,则取置信度最大的类型作为该设备类型。
进一步地,所述特征约减模块具体用于:
首先,设置一个阈值δ,计算特征与设备类型t之间的SU值SUf,t,比较SUf,t与δ的关系,如果SUf,t<δ,则剔除该特征;然后,分别计算特征fi、fj和设备类型t之间的SU值SU(fi,t)、SU(fj,t),并计算特征fi和特征fj之间的SU值SU(fi,fj);如果SU(fi,t)≥SU(fj,t)并且SU(fi,fj)≥SU(fj,t),则剔除特征fj;最终输出经过特征约减后的最优特征子集列表和SU值。
进一步地,所述特征动态权值分配模块具体用于:
首先计算设备类型t的熵H(t)和经过特征约减之后留下的最优特征子集列表中特征f的熵H(f),再基于得出的H(t)和H(f)计算设备类型t和特征f的互信息值ri,将互信息值ri作为对应特征f的权重,直至得出最优特征子集列表中所有特征对应的权重,最后输出设备特征权值列表。
与现有技术相比,本发明具有的有益效果:
(1)本发明提出了一种基于特征约减和动态加权的设备识别技术。该方法对网络流量特征进行冗余分析和删除,形成最优特征空间,并对最优特征子集中的特征进行动态赋权值,实现了对网络设备的快速高效识别,解决现有网络设备识别方法中时间开销大、准确率低的问题。与现有方法相比,该方法能够高效、准确地识别网络设备。
(2)本发明提出特征约减策略。通过快速滤波算法,分析并删除冗余特征,降低特征空间的维数,形成最优特征空间。与现有方法相比,该方法可以有效地减少设备识别的时间开销。
(3)本发明提出一种动态特征权值分配策略。该策略根据设备特征重要性不同的原则,计算每个特征与不同设备的识别之间的相关性,并将其作为特征的权重。与现有方法相比,该方法能有效提高设备识别的准确性。
(4)本发明针对不同的机器学习算法进行了时间成本和准确率的实验。在公共数据集上的实验结果表明,本发明方法在随机森林中识别准确率提高了3.5%,减少了80%的时间开销;现有方法的识别准确率提高了10.8%;LightGBM的时间花费减少了72%。
本发明的***有益效果与上述方法有益效果相同/相似,在此不再赘述。
附图说明
图1为本发明实施例一种基于特征约减和动态加权的网络设备快速识别方法的识别框架图;
图2为不同特征在不同设备类型中的比重示例图;
图3为RF算法下本发明方法与文献[16]方法准确率对比。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明:
针对现有基于网络流量的设备识别方法中存在特征冗余导致时间开销大的问题,本发明提出一种基于特征约减和动态加权的网络设备快速识别方法。该方法的基本思想是:首先删除相关度低的特征;再进行冗余分析并删除冗余特征,从而降低特征空间的维度,提高特征空间的数据质量和设备识别效率;然后根据特征属性对设备类型的影响程度确定各个特征属性的权值;最后计算待识别设备的相似度与已知设备的相似性,根据相似性确定待识别设备的类型。图1展示了基于特征约减和动态加权的网络设备快速识别方法的总体识别框架,该框架主要由数据预处理、特征约减、动态加权和设备类型判别模块四部分组成。
具体的工作流程如下:
1.数据预处理:对数据进行归一化处理,并进行低方差滤波,剔除属性值基本保持不变的特征,实验数据表明这些低方差特征携带的信息量非常少。因此,在本方法中提前设置一个阈值,删除方差小于这个阈值的特征。
2.特征约减:分别计算各个特征属性之间的相关性以及各个特征与类别之间的相关性,首先剔除与设备类别相关性非常小的属性特征,即无用特征;再剔除冗余特征,若两个特征属性均与设备类别具有相关性且两个特征属性之间也具有较高的相关性,则剔除两个特征属性中对设备类型影响较小的那一个。通过剔除无用特征和干扰特征,实现对特征的约减以降低特征空间维度,最终形成最优的特征空间。
3.特征动态权值分配:对于约减之后的特征空间,使用互信息计算各个特征属性对设备类型的影响,按照对设备类型的影响程度为各个特征属性赋权值,之后将不同数据类型的特征数据整合到一个文件中,作为分类器的样本数据。
4.构造分类器:为每一个设备类型构造一个分类器,将经过动态赋值的特征数据作为分类器的输入,训练最优分类模型。特征数据分为两部分,一部分作为训练数据构造分类器,另一部分作为验证数据集验证分类器的分类效果。
5.设备类型判别:将样本数据作为分类器的输入,通过相似性度量计算两组特征的相似性,根据相似性判定与哪个类型更相似,从而判断设备类型。若有两个以上分类器输出的相似性值相同,就通过计算两组数据的置信度判断该样本数据与哪类设备数据更具有相似性,取置信度最大的类型作为该设备类型。
具体地,在特征约减部分,本发明利用FCBF算法(Fast Correlation-BasedFilter,快速相关性滤波算法)实现特征约减,FCBF是一种基于SU(SymmetricalUncertainty)的方法。本实施例中设T为设备类型,其中包含有m个设备类型,将其表示为:
Tk=[t1,t2,t3,...,tm],k∈{1,2,3,...,m} (1)
设F为设备特征,其中包含有n个特征属性,将其表示为
Fi=[f1,f2,f3,...,fn],i∈{1,2,3,...,n} (2)
首先,设置一个阈值δ,用来判断特征与设备类别之间是否具有高相关性。计算特征与设备类别之间的SU值SUf,t,当SUf,t<δ,时,表示特征f与设备类别t之间的相关性太低,即对识别设备类型t的“贡献度”太小,因此剔除特征f。
然后,分别计算特征fi、fj与设备类别t之间的SU值SU(fi,t)、SU(fj,t),特征fi与特征fj之间的值SU(fi,fj)。当SU(fi,t)≥SU(fj,t)且SU(fi,fj)≥SU(fj,t)时,剔除fj。这是因为当SU(fi,t)≥SU(fj,t)时,说明特征fi与类别t具有更强的相关性,且特征fi与特征fj之间的SU值大于特征fi与设备类别t的SU值,即特征fi与特征fj之间的相关性更强。由马尔可夫毯(Markov Blanket)可知,fj可以由fi来表示,即fj为冗余特征,因此剔除特征fj。特征与设备类型之间的SU值计算公式可表示为:
Figure BDA0003505898270000061
由公式(3)可知SU是IG归一化的一种表示形式,将两个变量的相关性标准化在0-1之间,当SU=0时,两个变量互相独立;当SU=1时,两个变量完全相关。H(F)和H(T)分别表示特征和设备类型的信息熵。两个特征之间的SU值公式表示为:
Figure BDA0003505898270000071
其中IG信息增益公式可表示为:
IG(F)=H(T)-H(T|F) (5)
具体特征约减过程如算法1所示。算法1的输入是设备类型列表St,未选择的原始特征列表Su和阈值δ。算法首先遍历列表St和Su,分别计算每个特征与设备类型之间的SU值。然后计算两个特征之间的SU值,通过不相关性分析和分冗余分析,剔除原始特征列表Su中对应的不相关的特征和冗余特征,最后输出特征约简后的特征列表Sf
Figure BDA0003505898270000072
Figure BDA0003505898270000081
首先,设置一个阈值δ,用来判断特征与设备类别之间是否具有高相关性。计算特征f与设备类别t之间的SU值rs1,当rs1<δ时,表示特征f与设备类别t之间的相关性太低,即对识别设备类型t的“贡献度”太小,因此剔除特征f。然后,分别计算特征fi、fj与设备类别t之间的SU值rs1、rs2,特征fi与特征fj之间的值rs3。当rs1≥rs2并且rs3≥rs2时,剔除fj。最终输出经过特征约减后的最优特征子集列表Sf和SU值rs
具体地,在特征动态权值分配部分,本实施例采用公式(6)度量特征F与设备类型T之间的关系,两个变量的互信息指的是两个变量的关联程度。当互信息为0时,表示特征与设备类型相互独立;互信息值越大表示两者之间依赖性越强,即相关性越大。
Figure BDA0003505898270000082
其中,H(F)是F的熵,可以表示为H(F)=-∫FP(F)logP(F)。
具体特征动态加权过程如算法2所示。算法2的输入是设备列表St,经过选择的最优特征字迹列表Sf,输出是设备特征权重列表Sw。该算法首先遍历Sf和St,计算互信息值ri。然后,算法将互信息值ri输入到Sw列表中,即将每个互信息值ri作为权重赋给特征列表Sf中相应的特征。最后,算法输出权值列表Sw。算法步骤如下:
Figure BDA0003505898270000083
Figure BDA0003505898270000091
首先计算每个设备类型t的熵H(t),和经过特征约减之后留下的最优特征子集中每个特征f的熵H(f),再通过公式(6)计算设备类型t和特征f的互信息值ri,此互信息值ri即为对应特征f的权重,将ri一一对应到权重列表Sw中并输出。
为评估本发明的性能,本实施例开展了真实数据实验验证,将本发明中提出的快速识别方法与现有的基于网络流量的识别方法进行比较。实验采用文献[Y.Meidan,M.Bohadana,A.Shabtai,J.D.Guarnizo,M.Ochoa,N.O.Tippenhauer and Y.Elovici1.“ProfilIoT:a machine learning approach for IoT device identification based onnetwork traffic analysis,”in Proc.SAC,New York,NY,US,pp.506-509,2017.](为表述方便,后续简称为文献[16])的数据集,分别从时间开销以及准确率方面进行了对比实验。
本实验采用文献[16]的数据集,在该数据集中共采集了10种设备的网络流量,分别是婴儿监视器、灯、运动传感器、监控摄像头、烟雾报警器、插座、恒温器、电视、手表、水传感器。数据集中的每一个实例都表示一个会话,即从SYN包到FIN包的TCP连接,每一个会话又包含有若干个TCP包,每一条数据代表一个TCP包。本实验数据集中数据总数为大约390000条。本实验数据集的具体构成如表1所示。
表1实验数据集
Figure BDA0003505898270000092
Figure BDA0003505898270000101
(a)时间开销实验
本实验就识别所需的时间开销与文献[16]识别方法进行对比。本实施例在相同的数据集上分别进行了基于随机森林RF和Light GBM算法的识别方法的实验。我们对数据集中的特征数据采用特征约减算法进行特征约减处理,最终选取的特征及其SU值如表2所示。从表2中可以看出,不同的特征与设备的相关度是不同的,其中TCP包的存活时间和端口号对识别设备类型的区分度较高。
表2部分特征及其SU值
Figure BDA0003505898270000102
此实验均采用十折交叉验证,计算出代码测试所需时间的平均值,比较不同算法进行设备识别时所需的时间。表3给出了在不同的算法下,本发明方法与未经过特征选择算法的设备识别方法在进行识别测试时所需要的时间开销对比。由表3以看出,我们的算法与文献[16]算法相比,在随机森林RF和LightGBM算法中时,所需要的时间开销分别减少了80%,72%。因此,将FCBF运用到特征约减中时,所需要的时间开销会显著减少。
表3时间效率(秒)
Figure BDA0003505898270000103
(b)准确率实验
本实验以设备类型识别准确率为标准衡量本发明方法的性能。在该实验中,我们通过动态加权算法对经过约减后留下的特征进行赋值,通过增加对识别设备“贡献度”较高的重要特征的权重来提高准确率。我们统计出8个特征在10种设备类型中的比重,如图2所示。从图2中可以看出,不同设备类型的重要特征不同,如Lights中权值w1所对应的特征f1相较于其他特征更具有区分性,而设备类型Smoke_detector中权值w4所对应的特征f4相较于其他特征更具有区分性。基于此数据集,比较本发明方法与现有方法在不同机器学习算法上的识别效果。
本实验采用accuracy、precision、recall、F1-Score四种常见的性能指标来评估本方法在识别准确率方面的有效性。其中TP是指被判定为某种设备类型且实际为该设备类型的样本数量,FP是指被判定为某种设备类型但实际并不属于该设备类型的样本数量,TN是指被判定为不属于某种设备类型但实际上属于该设备类型的样本数量,FN指在判定和实际中都不属于某种设备类型的样本数量。
Figure BDA0003505898270000111
Figure BDA0003505898270000112
Figure BDA0003505898270000113
Figure BDA0003505898270000114
图3分别给出了经过十折交叉验证之后,使用本发明方法与文献[16]方法在RF下的识别准确率对比。由图3可以看出,在真实数据集上,虽然设备Security_camera、Thermostat、TV以及Watch中识别准确率略有下降,这是由于在经过特征约减和加权后,一些对识别该设备具有较高相关度的特征可能出现了信息损失,从而造成识别准确率略有下降。但是总体来说,本发明的基于特征约减和动态加权的网络设备快速识别方法在识别准确率方面比文献[16]所提方法略有提升,且比较稳定,波动幅度较小。
表4给出了在RF和LightGBM算法下的识别准确率、召回率以及F1值对比。由表4可以看出,使用特征约减和动态加权算法在识别准确率,召回率以及F1值上比文献[16]所提方法均有提升。进而表明本发明方法能够在保证准确率略有提升的情况下,明显减少时间开销,在大型数据集中具有更强的实用性。
表4在RF和LightGBM算法下的性能对比
Figure BDA0003505898270000121
上述实验结果表明,本发明所提出的基于特征约减和动态加权的网络设备快速识别方法,能够利用非常少的特征,就达到较好的识别性能,在提高准确率的同时减少了时间开销。通过在公开数据集上对本发明方法的评估,本发明方法的识别性能优于现有基于网络流量的网络设备类型识别方法。
现有基于网络流量的设备类型识别方法,往往忽略了同一特征属性对于特定设备类型的影响程度是不一样的,未能充分考虑冗余特征的带来的影响。本发明提出一种通过特征约减策略和特征属性动态加权来快速识别设备类型的方法,利用相同特征对不同设备类型的影响程度不尽相同的思想,将特征与设备类别的相关度作为权值动态赋予每一个特征,从而实现对网络设备的快速高效识别。我们在真实数据集上对10种智能网络设备进行了实验,实验结果表明,本发明方法可以使用更少的特征,在保证较高精度的同时减少时间开销,在实际应用中具有更强的实用性。
在上述实施例的基础上,本发明还提出一种基于特征约减和动态加权的网络设备快速识别***,包括:
数据预处理模块,用于数据预处理:对数据进行归一化处理,并进行低方差滤波,剔除属性值基本保持不变的特征;
特征约减模块,用于特征约减:分别计算各个特征属性之间的相关性以及各个特征与设备类型之间的相关性,首先剔除与设备类型相关性小的属性特征,即无用特征;再剔除冗余特征,若两个特征属性均与设备类型具有相关性且两个特征属性之间也具有较高的相关性,则剔除两个特征属性中对设备类型影响较小的一个;
特征动态权值分配模块,用于特征动态权值分配:对于约减之后的特征空间,使用互信息计算各个特征属性对设备类型的影响,按照对设备类型的影响程度为各个特征属性赋权值,之后将不同数据类型的特征数据整合到一个文件中,作为分类器的样本数据;
分类器构造模块,用于构造分类器:为每一个设备类型构造一个分类器,将经过动态赋值的特征数据作为分类器的输入,训练最优分类模型;
设备类型判别模块,用于设备类型判别:将样本数据作为分类器的输入,通过相似性度量计算两组特征的相似性,根据相似性判断设备类型;若有两个以上分类器输出的相似性值相同,则取置信度最大的类型作为该设备类型。
进一步地,所述特征约减模块具体用于:
首先,设置一个阈值δ,计算特征与设备类型t之间的SU值SUf,t,比较SUf,t与δ的关系,如果SUf,t<δ,则剔除该特征;然后,分别计算特征fi、fj和设备类型t之间的SU值SU(fi,t)、SU(fj,t),并计算特征fi和特征fj之间的SU值SU(fi,fj);如果SU(fi,t)≥SU(fj,t)并且SU(fi,fj)≥SU(fj,t),则剔除特征fj;最终输出经过特征约减后的最优特征子集列表和SU值。
进一步地,所述特征动态权值分配模块具体用于:
首先计算设备类型t的熵H(t)和经过特征约减之后留下的最优特征子集列表中特征f的熵H(f),再基于得出的H(t)和H(f)计算设备类型t和特征f的互信息值ri,将互信息值ri作为对应特征f的权重,直至得出最优特征子集列表中所有特征对应的权重,最后输出设备特征权值列表。
综上,本发明利用快速相关性滤波算法进行特征约减,并通过计算互信息为特征属性动态赋予权值,实现了对网络设备的快速高效识别,解决现有网络设备识别方法中时间开销大、准确率低的问题。
以上所示仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于特征约减和动态加权的网络设备快速识别方法,其特征在于,包括:
步骤1,数据预处理:对数据进行归一化处理,并进行低方差滤波,剔除属性值基本保持不变的特征;
步骤2,特征约减:分别计算各个特征属性之间的相关性以及各个特征与设备类型之间的相关性,首先剔除与设备类型相关性小的属性特征,即无用特征;再剔除冗余特征,若两个特征属性均与设备类型具有相关性且两个特征属性之间也具有较高的相关性,则剔除两个特征属性中对设备类型影响较小的一个;
步骤3,特征动态权值分配:对于约减之后的特征空间,使用互信息计算各个特征属性对设备类型的影响,按照对设备类型的影响程度为各个特征属性赋权值,之后将不同数据类型的特征数据整合到一个文件中,作为分类器的样本数据;特征数据分为两部分,一部分作为训练数据构造分类器,另一部分作为验证数据集验证分类器的分类效果;
步骤4,构造分类器:为每一个设备类型构造一个分类器,将经过动态赋值的特征数据作为分类器的输入,训练最优分类模型;
步骤5,设备类型判别:将样本数据作为每个分类器的输入,通过相似性度量计算每个分类器中两组特征的相似性,根据相似性判断设备类型;若有两个以上分类器输出的相似性值相同,则计算两组数据的置信度,取置信度最大的类型作为该设备类型。
2.根据权利要求1所述的基于特征约减和动态加权的网络设备快速识别方法,其特征在于,所述步骤2包括:
首先,设置一个阈值δ,计算特征f与设备类型t之间的SUSU f,t ,比较SU f,t 与δ的关系,如果SU f,t <δ,则剔除该特征;然后,分别计算特征f i f j 和设备类型t之间的SUSU(f i , t)、SU(f j , t),并计算特征f i 和特征f j 之间的SUSU(f i , f j );如果SU(f i , t)≥SU(f j , t)并且SU(f i , f j )≥SU(f j , t),则剔除特征f j ;最终输出经过特征约减后的最优特征子集列表和SU值。
3.根据权利要求2所述的基于特征约减和动态加权的网络设备快速识别方法,其特征在于,所述步骤3包括:
首先计算设备类型t的熵H(t)和经过特征约减之后留下的最优特征子集列表中特征f的熵H(f),再基于得出的H(t)H(f)计算设备类型t和特征f的互信息值r i ,将互信息值r i 作为对应特征f的权重,直至得出最优特征子集列表中所有特征对应的权重,最后输出设备特征权值列表。
4.一种基于特征约减和动态加权的网络设备快速识别***,其特征在于,包括:
数据预处理模块,用于数据预处理:对数据进行归一化处理,并进行低方差滤波,剔除属性值基本保持不变的特征;
特征约减模块,用于特征约减:分别计算各个特征属性之间的相关性以及各个特征与设备类型之间的相关性,首先剔除与设备类型相关性小的属性特征,即无用特征;再剔除冗余特征,若两个特征属性均与设备类型具有相关性且两个特征属性之间也具有较高的相关性,则剔除两个特征属性中对设备类型影响较小的一个;
特征动态权值分配模块,用于特征动态权值分配:对于约减之后的特征空间,使用互信息计算各个特征属性对设备类型的影响,按照对设备类型的影响程度为各个特征属性赋权值,之后将不同数据类型的特征数据整合到一个文件中,作为分类器的样本数据;特征数据分为两部分,一部分作为训练数据构造分类器,另一部分作为验证数据集验证分类器的分类效果;
分类器构造模块,用于构造分类器:为每一个设备类型构造一个分类器,将经过动态赋值的特征数据作为分类器的输入,训练最优分类模型;
设备类型判别模块,用于设备类型判别:将样本数据作为每个分类器的输入,通过相似性度量计算每个分类器中两组特征的相似性,根据相似性判断设备类型;若有两个以上分类器输出的相似性值相同,则计算两组数据的置信度,取置信度最大的类型作为该设备类型。
5.根据权利要求4所述的基于特征约减和动态加权的网络设备快速识别***,其特征在于,所述特征约减模块具体用于:
首先,设置一个阈值δ,计算特征f与设备类型t之间的SUSU f,t ,比较SU f,t 与δ的关系,如果SU f,t <δ,则剔除该特征;然后,分别计算特征f i f j 和设备类型t之间的SUSU(f i , t)、SU(f j , t),并计算特征f i 和特征f j 之间的SUSU(f i , f j );如果SU(f i , t)≥SU(f j , t)并且SU(f i , f j )≥SU(f j , t),则剔除特征f j ;最终输出经过特征约减后的最优特征子集列表和SU值。
6.根据权利要求5所述的基于特征约减和动态加权的网络设备快速识别***,其特征在于,所述特征动态权值分配模块具体用于:
首先计算设备类型t的熵H(t)和经过特征约减之后留下的最优特征子集列表中特征f的熵H(f),再基于得出的H(t)H(f)计算设备类型t和特征f的互信息值r i ,将互信息值r i 作为对应特征f的权重,直至得出最优特征子集列表中所有特征对应的权重,最后输出设备特征权值列表。
CN202210139120.4A 2022-02-15 2022-02-15 基于特征约减和动态加权的网络设备快速识别方法及*** Active CN114615020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210139120.4A CN114615020B (zh) 2022-02-15 2022-02-15 基于特征约减和动态加权的网络设备快速识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210139120.4A CN114615020B (zh) 2022-02-15 2022-02-15 基于特征约减和动态加权的网络设备快速识别方法及***

Publications (2)

Publication Number Publication Date
CN114615020A CN114615020A (zh) 2022-06-10
CN114615020B true CN114615020B (zh) 2023-05-26

Family

ID=81858622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210139120.4A Active CN114615020B (zh) 2022-02-15 2022-02-15 基于特征约减和动态加权的网络设备快速识别方法及***

Country Status (1)

Country Link
CN (1) CN114615020B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063745A (zh) * 2018-07-11 2018-12-21 南京邮电大学 一种基于决策树的网络设备类型识别方法及***
CN111709441A (zh) * 2020-05-07 2020-09-25 西安理工大学 基于改进特征子集区分度的行为识别特征选择方法
CN112633353A (zh) * 2020-12-18 2021-04-09 清华大学 基于包长概率分布与k近邻算法的物联网设备识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112292671B (zh) * 2018-06-08 2023-08-25 日本电信电话株式会社 器件识别装置及器件识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063745A (zh) * 2018-07-11 2018-12-21 南京邮电大学 一种基于决策树的网络设备类型识别方法及***
CN111709441A (zh) * 2020-05-07 2020-09-25 西安理工大学 基于改进特征子集区分度的行为识别特征选择方法
CN112633353A (zh) * 2020-12-18 2021-04-09 清华大学 基于包长概率分布与k近邻算法的物联网设备识别方法

Also Published As

Publication number Publication date
CN114615020A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
WO2019096099A1 (zh) Dga域名实时检测方法和装置
CN110557382A (zh) 一种利用域名共现关系的恶意域名检测方法及***
EP3311311A1 (en) Automatic entity resolution with rules detection and generation system
CN107239741B (zh) 一种基于稀疏重构的单样本人脸识别方法
CN113489685B (zh) 一种基于核主成分分析的二次特征提取及恶意攻击识别方法
CN115277189B (zh) 基于生成式对抗网络的无监督式入侵流量检测识别方法
CN115811440B (zh) 一种基于网络态势感知的实时流量检测方法
CN116633601A (zh) 一种基于网络流量态势感知的检测方法
CN114301850B (zh) 一种基于生成对抗网络与模型压缩的军用通信加密流量识别方法
Du et al. Cross-age identity difference analysis model based on image pairs for age invariant face verification
McCauley et al. Identical twins as a facial similarity benchmark for human facial recognition
CN114710417A (zh) 基于格拉姆角场变换的Tor用户访问网站识别方法及***
CN112001424B (zh) 基于对抗训练的恶意软件开放集家族分类方法和装置
CN114615020B (zh) 基于特征约减和动态加权的网络设备快速识别方法及***
Sameer et al. Source camera identification model: Classifier learning, role of learning curves and their interpretation
CN117118718A (zh) 一种基于多生成器gan数据增强的入侵检测方法及***
CN116647844A (zh) 一种基于堆叠集成算法的车载网络入侵检测方法
Chen et al. L-KPCA: an efficient feature extraction method for network intrusion detection
CN113159181B (zh) 基于改进的深度森林的工业控制***异常检测方法和***
Samadzadeh et al. Evaluating Security Anomalies by Classifying Traffic Using a Multi-Layered Model
CN114898137A (zh) 面向人脸识别的黑盒对抗样本攻击方法、装置、设备及介质
CN113935420A (zh) 恶意加密数据检测方法、装置、计算机设备和存储介质
CN113887633A (zh) 基于il的闭源电力工控***恶意行为识别方法及***
CN114710306A (zh) 基于LightGBM算法和卷积神经网络的两阶段细粒度网络入侵检测模型
Hendre et al. Utility of quality metrics in partial fingerprint recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant