CN112270346A - 基于半监督学习的物联网设备识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于半监督学习的物联网设备识别方法及装置，该方法包括：获取待识别设备的流量信息，通过特征抽取得到所述待识别设备的原始特征；将所述原始特征输入卷积神经网络得到嵌入特征，将所述嵌入特征输入两个全连接层，根据所述两个全连接层的输出结果识别所述待识别设备类型。该方法解决了有监督机器学习方法需要大量标签的问题，设计了一种半监督学习的物联网设备识别方法，能够利用少量有标签数据在被动流量中达到较高的设备识别精度且能发现新的设备类型。

Description

基于半监督学习的物联网设备识别方法及装置

技术领域

本发明涉及机器学习技术领域，特别涉及一种基于半监督学习的物联网设备识别方法及装置。

背景技术

物联网技术的发展为设备制造商、因特网服务提供商和应用开发者提供了广阔的市场空间，但物联网设备为人们的生产和生活带来各种便利的同时，也为网络管理和网络安全带来各种挑战。一方面，网络管理员通常不知道网络中有多少物联网设备，更不知道它们的运行状态或者是否有新设备接入，不利于网络管理；另一方面，由于物联网设备软硬件资源有限，难以部署传统的防御措施，导致它们正在成为攻击者攻击的目标。识别物联网设备并监控它们的状态对资产管理和安全管理具有重要意义。

目前，从被动流量中识别物联网设备的方法主要分为基于设备信息、基于静态规则和基于机器学习三类方法。

利用设备信息即从MAC OUI(Organizationally Unique Identifier)中识别设备制造商信息，从HTTP请求的user-agent字段或从DHCP协商报文中的主机名识别设备信息。但由于物联网设备的NIC(Network Interface Controller)通常由第三方提供，因此大多数MAC OUI中不含设备制造商信息；HTTP请求通常被加密，难以从user-agent字段中识别设备信息；很多设备的DHCP请求中不设置主机名，因此通常情况下也难以从DHCP请求中识别设备。

利用规则的方法即从已知设备连接的服务器IP地址或DNS请求中的域名来识别被动流量中相同的设备，但此方法难以扩展且难以区分同一设备制造商的不同设备。

基于机器学习的方法主要利用有监督学习，能够达到超过99％的分类精度，但这些方法需要大量的有标签数据，收集大量的标签是一个费时费力的工作，难以扩展至大规模物联网设备存在的场景。

为解决基于有监督机器学习方法需要收集大量标签的问题，本发明设计了一种基于半监督学习的物联网设备识别方法，能够利用少量标签在被动流量中达到较高的设备识别精度且能够识别新的设备类型。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于半监督学习的物联网设备识别方法，该方法能够利用少量有标签数据在被动流量中达到较高的设备识别精度且能够识别新的设备类型。

本发明的另一个目的在于提出一种基于半监督学习的物联网设备识别装置。

为达到上述目的，本发明一方面实施例提出了一种基于半监督学习的物联网设备识别方法，包括：

获取待识别设备的流量信息，通过特征抽取得到所述待识别设备的原始特征；

将所述原始特征输入卷积神经网络得到嵌入特征，将所述嵌入特征输入两个全连接层，根据所述两个全连接层的输出结果识别所述待识别设备类型。

为达到上述目的，本发明另一方面实施例提出了一种基于半监督学习的物联网设备识别装置，包括：

特征提取模块，用于获取待识别设备的流量信息，通过特征抽取得到所述待识别设备的原始特征；

识别模块，用于将所述原始特征输入卷积神经网络得到嵌入特征，将所述嵌入特征输入两个全连接层，根据所述两个全连接层的输出结果识别所述待识别设备类型。

本发明实施例的基于半监督学习的物联网设备识别方法及装置，能够利用少量有标签数据在被动流量中达到较高的设备识别精度且能够识别新的设备类型。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于半监督学习的物联网设备识别方法流程图；

图2为根据本发明一个实施例的基于半监督学习的物联网设备识别方法流程框图；

图3为根据本发明一个实施例的模型参数设计图；

图4为根据本发明一个实施例的新类型设备softmax层输出的最大概率值及其出现次数示意图；

图5为根据本发明一个实施例的已知类型设备softmax层输出的最大概率值及其出现次数示意图；

图6为根据本发明一个实施例的不同标签比例下的分类精度示意图；

图7为根据本发明一个实施例的不同标签比例下阈值对于模型分类精度的影响示意图；

图8为根据本发明一个实施例的基于半监督学习的物联网设备识别装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于半监督学习的物联网设备识别方法及装置。

首先将参照附图描述根据本发明实施例提出的基于半监督学习的物联网设备识别方法。

图1为根据本发明一个实施例的基于半监督学习的物联网设备识别方法流程图。

如图1所示，该基于半监督学习的物联网设备识别方法包括以下步骤：

步骤S1，获取待识别设备的流量信息，通过特征抽取得到待识别设备的原始特征。

步骤S2，将原始特征输入卷积神经网络得到嵌入特征，将嵌入特征输入两个全连接层，根据两个全连接层的输出结果识别待识别设备类型。

具体地，本发明的实施例需要首先从网络流量中提取特征，然后根据不同设备的特征使用神经网络进行训练，利用训练好的模型识别已知设备类型的新设备，模型设计如图2所示。

首先是特征提取，由于只依赖少量标签进行训练，因此选取的特征应尽量区分不同的物联网设备，本发明选取的特征包括三大类，时间间隔特征、流量特征、协议特征。时间间隔特征包括数据包时间间隔的最小值、25分位数、50分位数、最大值、平均数、方差、偏度和峰度、熵值以及ADF(augmented DickeyFuller)分解得到的P值、ADF值等。流量特征包括数据包大小的最小值、25分位数、50分位数、最大值、平均数、方差、偏度和峰度、熵值以及ADF分解得到的P值、ADF值等，以及流速率、数据包个数、传输的字节数以及字节数与包个数的比值。协议特征包括数据包中包含的ICMP、IPv4、IPv6、TCP、UDP、NTP、DNS和DHCP数目，TTL值的最小值、最大值和平均值，DF标志位置1的数据包占数据包总数的比率以及端口号和域名，TLS协议中服务器发送证书给客户端到客户端用证书中的公钥加密随机数之间的时间间隔以及TLS握手次数。

在本发明的神经网络的训练中，从每个设备30分钟流量中抽取以上原始特征作为一个实例后，需要将特征输入神经网络进行训练，神经网络包括卷积神经网络和两个全连接层。采用两个全连接层是使模型能够区分具体设备类型以及物联网设备和非物联网设备，在区分具体设备类型的同时又区分物联网设备/非物联网设备是为了减弱非物联网设备流量对模型分类效果造成的影响。

卷积神经网络部分包含6个卷积层、2个max-pooling层和1个average-pooling层，如图3所示。通过卷积神经网络将原始高维特征转变为80维的嵌入特征。然后嵌入特征通过多任务学习的方式分别输入两个全连接层，全连接层一和全连接层二。全连接层一含有的神经元个数为设备类别数；全连接层二含有两个神经元，分别对应于物联网设备和非物联网设备。模型训练时的损失包含三部分，分别为具体类别损失、物联网设备/非物联网设备类别损失。具体类别损失是神经网络输出的预测类别概率分布和真实标签经过独热编码后的交叉熵损失，物联网设备/非物联网设备标签损失是神经网络输出的物联网设备/非物联网设备的预测类别概率分布和真实物联网设备/非物联网设备标签经过独热编码后的交叉熵损失。通过最小化这两类损失函数，整个模型进行反向传播，以不断更新神经网络的参数从而进行训练。

最后，在新设备流量到达时，首先进行特征抽取得到原始特征，然后输入卷积神经网络和两个全连接层得到全连接层一和全连接层二的概率分布。在判断时首先根据全连接层二判断该设备是物联网设备还是非物联网设备，若是物联网设备，再根据全连接层一的概率分布判断具体的设备类型。

除了已知设备类型，本发明的实施例还能够识别新的设备类型，即发现神经网络不曾训练过的样本。根据实验，新类型设备通过训练好的神经网络后可以得到对应每一类设备的概率，即全连接层一输出的概率分布，其中最大的概率值及其出现次数如图4所示，而已知设备最大概率值及其出现次数如图5所示。

为了根据图4、图5所示的规律区分已知设备类型和新设备类型，本方法将[0,1]区间用threshold分成两个区间，分别为A、B区间。threshold的值计算方法如下：

1)假设每类已知设备经过训练好的模型后得到的最大概率值为label_i＝{prob₁,prob₂,...}，i＝1,2,...K,K为已知设备种类数。取每个label_i的1％分位数值per_i，即让1％的最大概率值落入A区间，而99％的最大概率值落入B区间；

2)取per_i(i＝1,2,...K)的最大值作为最终的threshold值。

根据threshold值，对于新出现的流量，引入score值判断它属于新类型设备或已知类型设备，具体方法为：

设置初始值s₀＝5,当前score＝s₀,参数a＝1,b＝0.2,θ＝0.7,θ₁＝0.5,θ₂＝9，该设备落入A，B区间的序列置空，即seq＝[]；

捕获该未知设备对应的流量并抽取特征得到一个实例对应的原始特征，用来更新score值。首先将原始特征输入模型首先判断它是物联网设备还是非物联网设备，若是非物联网设备，则结束，否则根据全连接层一的输出得到softmax对应的最大概率值，根据threshold值判断其落入A区间或B区间，并将加入seq中，得到seq＝[...,seq_i]。根据当前seq计算score的增量Δs。Δs的计算方法为：计算

其中N为seq中元素个数，若Y>θ,Δs＝a(Y+b)^N否则Δs＝-a(1-Y+b)^N。更新score值为score＝score+Δs；

若score<θ₁，则认为此设备为新类型设备，若score>θ₂，则认为此设备为已知设备类型，结束判断，否则回到步骤2)获取下一个实例并更新score值。

通过网络流量对该方法进行验证表明，该模型能够在仅使用5％的有标签数据的条件下达到超过99％的分类精度。如图6所示是标签数据比例不同时，该模型能够达到的精度，可以看出，当标签比例达到5％时，模型分类精度超过99％，即使在1％的标签比例下，该模型也能达到97.2％的分类精度，表明了该模型在少标签情况下的有效性。

为了观察不同阈值对于分类精度的影响，分别在3％，5％，8％标签比例下对于不同阈值进行模型精度测试，如图7所示，结果表明在相同标签比例下阈值越高，分类精度越高，表明了该模型能够较好地区分物联网设备和非物联网设备，体现了多任务学习的有效性。

利用本发明中的新设备发现方法，在已知20类物联网设备和4类新设备类型的流量中，对于已知类型设备和新类型设备的判断能否达到100％准确率，表明了本发明对于新设备发现具有极高的准确率。

根据本发明实施例提出的基于半监督学习的物联网设备识别方法，解决了有监督机器学习方法需要大量标签的问题，设计了一种半监督学习的物联网设备识别方法，能够利用少量有标签数据在被动流量中达到较高的设备识别精度且能发现新的设备类型。

其次参照附图描述根据本发明实施例提出的基于半监督学习的物联网设备识别装置。

图8为根据本发明一个实施例的基于半监督学习的物联网设备识别装置结构示意图。

如图8所示，该基于半监督学习的物联网设备识别装置包括：特征提取模块801和识别模块802。

特征提取模块801，用于获取待识别设备的流量信息，通过特征抽取得到待识别设备的原始特征。

识别模块802，用于将原始特征输入卷积神经网络得到嵌入特征，将嵌入特征输入两个全连接层，根据两个全连接层的输出结果识别待识别设备类型。

进一步地，在本发明的一个实施例中，原始特征包括时间间隔特征、流量特征、协议特征；

时间间隔特征包括数据包时间间隔的最小值、25分位数、50分位数、最大值、平均数、方差、偏度和峰度、熵值以及ADF分解得到的P值、ADF值；

流量特征包括数据包大小的最小值、25分位数、50分位数、最大值、平均数、方差、偏度和峰度、熵值以及ADF分解得到的P值、ADF值，以及流速率、数据包个数、传输的字节数以及字节数与包个数的比值；

协议特征包括数据包中包含的ICMP、IPv4、IPv6、TCP、UDP、NTP、DNS和DHCP数目，TTL值的最小值、最大值和平均值，DF标志位置1的数据包占数据包总数的比率以及端口号和域名，TLS协议中服务器发送证书给客户端到客户端用证书中的公钥加密随机数之间的时间间隔以及TLS握手次数。

进一步地，在本发明的一个实施例中，根据两个全连接层的输出结果识别待识别设备类型，包括：通过全连接层二判断待识别设备是物联网设备还是非物联网设备，若是物联网设备，再根据全连接层一的概率分布判断具体的设备类型。

进一步地，在本发明的一个实施例中，识别模块用于，根据全连接层一的概率分布判断待识别设备是否为新设备。

进一步地，在本发明的一个实施例中，全连接层一含有的神经元个数为设备类别数；全连接层二含有两个神经元，分别对应于物联网设备和非物联网设备；

训练时的损失包含分别为具体类别损失、物联网设备/非物联网设备类别损失；通过最小化两类损失函数，整个模型进行反向传播，不断更新神经网络的参数从而进行训练；

具体类别损失是神经网络输出的预测类别概率分布和真实标签经过独热编码后的交叉熵损失，物联网设备/非物联网设备标签损失是神经网络输出的物联网设备/非物联网设备的预测类别概率分布和真实物联网设备/非物联网设备标签经过独热编码后的交叉熵损失。

需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的基于半监督学习的物联网设备识别装置，解决了有监督机器学习方法需要大量标签的问题，设计了一种半监督学习的物联网设备识别方法，能够利用少量有标签数据在被动流量中达到较高的设备识别精度且能发现新的设备类型。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于半监督学习的物联网设备识别方法，其特征在于，包括以下步骤：

获取待识别设备的流量信息，通过特征抽取得到所述待识别设备的原始特征；

将所述原始特征输入卷积神经网络得到嵌入特征，将所述嵌入特征输入两个全连接层，根据所述两个全连接层的输出结果识别所述待识别设备类型。

2.根据权利要求1所述的基于半监督学习的物联网设备识别方法，其特征在于，所述原始特征包括时间间隔特征、流量特征、协议特征；

所述时间间隔特征包括数据包时间间隔的最小值、25分位数、50分位数、最大值、平均数、方差、偏度和峰度、熵值以及ADF分解得到的P值、ADF值；

所述流量特征包括数据包大小的最小值、25分位数、50分位数、最大值、平均数、方差、偏度和峰度、熵值以及ADF分解得到的P值、ADF值，以及流速率、数据包个数、传输的字节数以及字节数与包个数的比值；

所述协议特征包括数据包中包含的ICMP、IPv4、IPv6、TCP、UDP、NTP、DNS和DHCP数目，TTL值的最小值、最大值和平均值，DF标志位置1的数据包占数据包总数的比率以及端口号和域名，TLS协议中服务器发送证书给客户端到客户端用证书中的公钥加密随机数之间的时间间隔以及TLS握手次数。

3.根据权利要求1所述的基于半监督学习的物联网设备识别方法，其特征在于，所述根据所述两个全连接层的输出结果识别所述待识别设备类型，包括：通过全连接层二判断所述待识别设备是物联网设备还是非物联网设备，若是物联网设备，再根据全连接层一的概率分布判断具体的设备类型。

4.根据权利要求3所述的基于半监督学习的物联网设备识别方法，其特征在于，还包括：根据所述全连接层一的概率分布判断所述待识别设备是否为新设备。

5.根据权利要求1所述的基于半监督学习的物联网设备识别方法，其特征在于，全连接层一含有的神经元个数为设备类别数；全连接层二含有两个神经元，分别对应于物联网设备和非物联网设备；

训练时的损失包含分别为具体类别损失、物联网设备/非物联网设备类别损失；通过最小化两类损失函数，整个模型进行反向传播，不断更新神经网络的参数从而进行训练；

具体类别损失是神经网络输出的预测类别概率分布和真实标签经过独热编码后的交叉熵损失，物联网设备/非物联网设备标签损失是神经网络输出的物联网设备/非物联网设备的预测类别概率分布和真实物联网设备/非物联网设备标签经过独热编码后的交叉熵损失。

6.一种基于半监督学习的物联网设备识别装置，其特征在于，包括：

特征提取模块，用于获取待识别设备的流量信息，通过特征抽取得到所述待识别设备的原始特征；

识别模块，用于将所述原始特征输入卷积神经网络得到嵌入特征，将所述嵌入特征输入两个全连接层，根据所述两个全连接层的输出结果识别所述待识别设备类型。

7.根据权利要求6所述的基于半监督学习的物联网设备识别装置，其特征在于，所述原始特征包括时间间隔特征、流量特征、协议特征；

所述时间间隔特征包括数据包时间间隔的最小值、25分位数、50分位数、最大值、平均数、方差、偏度和峰度、熵值以及ADF分解得到的P值、ADF值；

所述流量特征包括数据包大小的最小值、25分位数、50分位数、最大值、平均数、方差、偏度和峰度、熵值以及ADF分解得到的P值、ADF值，以及流速率、数据包个数、传输的字节数以及字节数与包个数的比值；

所述协议特征包括数据包中包含的ICMP、IPv4、IPv6、TCP、UDP、NTP、DNS和DHCP数目，TTL值的最小值、最大值和平均值，DF标志位置1的数据包占数据包总数的比率以及端口号和域名，TLS协议中服务器发送证书给客户端到客户端用证书中的公钥加密随机数之间的时间间隔以及TLS握手次数。

8.根据权利要求6所述的基于半监督学习的物联网设备识别装置，其特征在于，所述根据所述两个全连接层的输出结果识别所述待识别设备类型，包括：通过全连接层二判断所述待识别设备是物联网设备还是非物联网设备，若是物联网设备，再根据全连接层一的概率分布判断具体的设备类型。

9.根据权利要求6所述的基于半监督学习的物联网设备识别装置，其特征在于，所述识别模块用于，根据所述全连接层一的概率分布判断所述待识别设备是否为新设备。

10.根据权利要求6所述的基于半监督学习的物联网设备识别装置，其特征在于，全连接层一含有的神经元个数为设备类别数；全连接层二含有两个神经元，分别对应于物联网设备和非物联网设备；

训练时的损失包含分别为具体类别损失、物联网设备/非物联网设备类别损失；通过最小化两类损失函数，整个模型进行反向传播，不断更新神经网络的参数从而进行训练；

具体类别损失是神经网络输出的预测类别概率分布和真实标签经过独热编码后的交叉熵损失，物联网设备/非物联网设备标签损失是神经网络输出的物联网设备/非物联网设备的预测类别概率分布和真实物联网设备/非物联网设备标签经过独热编码后的交叉熵损失。

Images