CN117851835B - 一种深度学习的物联网识别***及方法 - Google Patents

Abstract

本申请涉及物联网技术领域，提供一种深度学习的物联网识别***及方法，该***包括物联网识别中台、物联网数据获取模块、物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块；物联网数据获取模块、物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块分别与物联网识别中台连接。本申请提供的深度学习的物联网识别***能够通过深度学习的物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块进行精准且快速的物联网识别，能够快速精准的得到指纹识别结果、资产识别结果和关联识别结果。

Description

一种深度学习的物联网识别***及方法

技术领域

本申请涉及物联网技术领域，具体涉及一种深度学习的物联网识别***及方法。

背景技术

现有物联网识别方法主要是通过数据库匹配识别方法，即在进行物联网指纹识别、物联网资产识别以及物联网媒体数据的关联识别时，通过采集到的数据与数据库中的数据进行匹配识别，得到指纹识别结果、资产识别结果和关联识别结果。

然而，数据库中的数据单一，因此不能适用于复杂场景和变化多样的物体或事件的识别，导致识别结果准确性低，同时，在进行匹配识别时，每次都要遍历整个数据库，导致识别结果的耗时长。

发明内容

本申请提供一种深度学习的物联网识别***及方法，旨在实现快速精准的得到指纹识别结果、资产识别结果和关联识别结果。

第一方面，一种深度学习的物联网识别***，包括物联网识别中台、物联网数据获取模块、物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块；所述物联网数据获取模块、所述物联网指纹识别模块、所述物联网资产识别模块和所述物联网数据关联识别模块分别与所述物联网识别中台连接；

所述物联网指纹识别模块中训练有指纹增强模型，所述指纹增强模型是基于多个物联网指纹样本数据及其对应的指纹增强样本数据标签训练得到的；所述物联网资产识别模块中训练有资产被动指纹库，所述资产被动指纹库中包括多个第一特征及其对应的资产描述信息；所述物联网数据关联识别模块训练有物联网数据关联模型，所述物联网数据关联模型是基于物联网媒体样本数据的融合特征向量及其对应的关联识别结果标签训练得到的；

所述物联网识别中台用于：对所述物联网指纹识别模块、所述物联网资产识别模块和所述物联网数据关联识别模块进行管理；

所述物联网数据获取模块用于：获取待识别多模态数据；所述待识别多模态数据包括待识别的物联网媒体数据、物联网指纹数据和物联网资产被动数据；

所述物联网指纹识别模块用于：基于所述物联网指纹数据和所述指纹增强模型进行匹配，得到指纹识别结果；

所述物联网资产识别模块用于：将所述物联网资产被动数据与所述资产被动指纹库进行匹配，得到资产识别结果；

所述物联网数据关联识别模块用于：将所述物联网媒体数据输入所述物联网数据关联模型进行关联，得到关联识别结果。

第二方面，本申请提供一种深度学习的物联网识别方法，应用于第一方面所述的深度学习的物联网识别***，包括：

获取待识别多模态数据；所述待识别多模态数据包括待识别的物联网媒体数据、物联网指纹数据和物联网资产被动数据；

基于所述物联网指纹数据和指纹增强模型进行匹配，得到指纹识别结果；所述指纹增强模型是基于多个物联网指纹样本数据及其对应的指纹增强样本数据标签训练得到的；

将所述物联网资产被动数据与资产被动指纹库进行匹配，得到资产识别结果；所述资产被动指纹库中包括多个第一特征及其对应的资产描述信息；

将所述物联网媒体数据输入物联网数据关联模型进行关联，得到关联识别结果；所述物联网数据关联模型是基于物联网媒体样本数据的融合特征向量及其对应的关联识别结果标签训练得到的。

第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第二方面所述深度学习的物联网识别方法。

第四方面，本申请还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，所述计算机程序被所述处理器执行时实现第二方面所述深度学习的物联网识别方法。

第五方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被所述处理器执行时实现第二方面所述深度学习的物联网识别方法。

本申请实施例提供的深度学习的物联网识别***包括物联网识别中台、物联网数据获取模块、物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块；物联网数据获取模块、物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块分别与物联网识别中台连接。因此，本申请实施例能够通过深度学习的物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块进行精准且快速的物联网识别，能够快速精准的得到指纹识别结果、资产识别结果和关联识别结果。

附图说明

为了更清楚的说明本申请技术方案，下面将对实施例或现有技术描述中所需使用的附图作一简单的介绍，显而易见的，下面描述中的附图是本申请一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的深度学习的物联网识别***的结构示意图；

图2是本申请提供的深度学习的物联网识别方法的流程示意图；

图3是本申请提供的电子设备的结构示意图。

具体实施方式

为使本申请目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种深度学习的物联网识别***的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序完成所示出或描述的步骤。

参照图1，图1是本申请提供的深度学习的物联网识别***的结构示意图。本申请实施例提供的深度学习的物联网识别***包括物联网识别中台、物联网数据获取模块、物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块，其中，物联网数据获取模块、物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块分别与物联网识别中台连接。

在一实施例中，物联网识别中台可以理解为物联网控制中心，因此，物联网识别中台可以对物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块进行管理，如对物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块的数据进行处理、传输或者存储等等。

在一实施例中，物联网数据获取模块可以理解为物联网识别中台的数据采集单元，因此。物联网数据获取模块可以获取待识别多模态数据，其中，待识别多模态数据包括待识别的物联网媒体数据、物联网指纹数据和物联网资产被动数据，物联网媒体数据包括待识别文本、待识别图像、待识别音频和待识别视频，物联网指纹数据可以理解为物联网指纹图像，物联网资产被动数据可以理解为被动流量数据。

在一实施例中，物联网指纹识别模块可以理解为物联网识别中台的指纹识别分析单元，因此，物联网指纹识别模块可以根据物联网指纹数据和指纹增强模型进行匹配，得到指纹识别结果，其中，物联网指纹识别模块中训练有指纹增强模型，指纹增强模型是基于多个物联网指纹样本数据及其对应的指纹增强样本数据标签训练得到的。

在一实施例中，物联网资产识别模块可以理解为物联网识别中台的资产识别分析单元，因此，物联网资产识别模块可以将物联网资产被动数据与资产被动指纹库进行匹配，得到资产识别结果，其中，物联网资产识别模块中训练有资产被动指纹库，资产被动指纹库中包括多个第一特征及其对应的资产描述信息。

在一实施例中，物联网数据关联识别可以理解为物联网识别中台的关联识别分析单元，因此，物联网数据关联识别可以将物联网媒体数据输入物联网数据关联模型进行关联，得到关联识别结果，其中，物联网数据关联识别模块训练有物联网数据关联模型，物联网数据关联模型是基于物联网媒体样本数据的融合特征向量及其对应的关联识别结果标签训练得到的。

本申请实施例提供的深度学习的物联网识别***包括物联网识别中台、物联网数据获取模块、物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块；物联网数据获取模块、物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块分别与物联网识别中台连接。因此，本申请实施例能够通过深度学习的物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块进行精准且快速的物联网识别，能够快速精准的得到指纹识别结果、资产识别结果和关联识别结果。

可选的，参照图2，图2是本申请提供的深度学习的物联网识别方法的流程示意图。本申请实施例的执行主体以物联网识别***为例，本申请实施例提供的深度学习的物联网识别方法包括：

步骤10，获取待识别多模态数据。

可选的，待识别多模态数据包括待识别的物联网媒体数据、物联网指纹数据和物联网资产被动数据，其中，待识别多模态数据包括待识别的物联网媒体数据、物联网指纹数据和物联网资产被动数据，物联网媒体数据包括待识别文本、待识别图像、待识别音频和待识别视频，物联网指纹数据可以理解为物联网指纹图像，物联网资产被动数据可以理解为被动流量数据。

步骤20，基于物联网指纹数据和指纹增强模型进行匹配，得到指纹识别结果。

可选的，获取到的物联网指纹数据(物联网指纹图像)中会包括多种类型的噪声信息，不同噪声信息的来源不同。例如，噪声信息来源可以是理想的噪声信息，包括白噪声信息、高斯噪声信息、散点噪声信息等；噪声信息来源可以是模拟采集环境中的各种异物，包括手指上的划痕，包括屏幕裂纹、气泡、头发丝、胶带等；噪声信息来源可以是模拟采集时的手指扭曲，建立指纹按压扭曲场，从而扭曲指纹形态；噪声信息来源可以是模拟光学通路中的暗角，传感器和屏幕衍射产生的摩尔纹，光学畸变等。可以理解的是，物联网指纹数据中可以包括上述一种噪声信息，也可以包括上述多种噪声信息。

可选的，指纹识别结果可以理解为增强后的物联网指纹数据(增强后的物联网指纹图像)，指纹增强模型是基于多个物联网指纹样本数据及其对应的指纹增强样本数据标签训练得到的，指纹增强模型可以包括对抗网络模型和/或卷积神经网络模型。

可选的，物联网识别***根据物联网指纹数据和指纹增强模型进行匹配，得到指纹识别结果时，包括下述至少三种可能的实现方式：

第一种情况为：在指纹增强模型包括对抗网络模型的情况下，可以直接将物联网指纹数据输入对抗网络模型中，通过对抗网络模型对物联网指纹数据进行指纹数据增强处理，包括过滤物联网指纹数据中的噪声信息，有效恢复指纹结构信息，得到不含噪声信息的第一识别结果，该第一识别结果可作为最终的指纹识别结果，这样后续就可以将指纹识别结果作为指纹识别的依据进行指纹识别，从而有效的提高了指纹识别的准确度。示例性的，对抗网络可以包括生成网络，即可以直接将物联网指纹数据输入对抗网络模型中的生成网络，通过生成网络对物联网指纹数据进行指纹数据增强处理，包括过滤物联网指纹数据中的噪声信息，有效恢复指纹结构信息，得到不含噪声信息的第一识别结果。

第二种情况为：在指纹增强模型包括卷积神经网络模型的情况下，可以直接将物联网指纹数据输入卷积神经网络模型中，通过卷积神经网络模型对物联网指纹数据进行指纹数据增强处理，包括过滤物联网指纹数据中的噪声信息，有效恢复指纹结构信息，得到不含噪声信息的第二识别结果，该第二识别结果可作为最终的指纹识别结果，这样后续就可以将指纹识别结果作为指纹识别的依据进行指纹识别，从而有效的提高了指纹识别的准确度。示例性的，卷积神经网络模型可以包括编码网络和解码网络，即可以先将物联网指纹数据输入编码网络中，通过编码网络提取物联网指纹数据的指纹数据特征，并将提取到的指纹数据特征输入解码网络中，通过解码网络对物联网指纹数据进行指纹数据增强处理，包括过滤物联网指纹数据中的噪声信息，有效恢复指纹结构信息，得到不含噪声信息的第二识别结果。

第三种情况为：在指纹增强模型包括对抗网络模型和卷积神经网络模型的情况下，可以将物联网指纹数据分别输入对抗网络模型中和卷积神经网络模型中，如上述两种可能的实现方式所述，通过对抗网络模型得到第一识别结果，通过卷积神经网络模型得到第二识别结果，并基于第一识别结果和第二识别结果，可以获取到质量更好的指纹识别结果，这样后续就可以将该质量更好的指纹识别结果作为指纹识别的依据进行指纹识别，从而有效的提高了指纹识别的准确度。

示例，在本申请实施例中，基于第一识别结果和第二识别结果，确定指纹识别结果时，考虑到第一识别结果中的像素点和第二识别结果中的像素点是一一对应的，因此，可以基于第一识别结果中各第一像素点，对第一像素点的像素值和第二识别结果中，与第一像素点对应的第二像素点的像素值进行加权求和，得到第一像素点的目标像素值；再基于各第一像素点的目标像素值，生成指纹识别结果，这样基于第一识别结果和第二识别结果，共同生成指纹识别结果，可以有效的提高了指纹识别的准确度。

对抗网络模型的训练方法可以包括下述操作：

将各个物联网指纹样本数据输入初始对抗网络模型中的生成网络中，得到物联网指纹样本数据对应的预测指纹增强样本数据；将各个物联网指纹样本数据的预测指纹增强样本数据和指纹增强样本数据标签输入初始对抗网络模型的判别网络中，得到各个物联网指纹样本数据的指纹增强样本数据；基于各物联网指纹样本数据的指纹增强样本数据和指纹增强样本数据标签，更新初始对抗网络模型的模型参数，得到对抗网络模型。

具体的，物联网指纹样本数据可以理解为包括噪声信息的指纹图像样本，其中，包括的噪声信息可以为一种类型的噪声信息，也可以为多种类型的噪声信息。可以理解的是，在本申请实施例中，通过包括噪声信息的物联网指纹样本数据训练对抗网络模型时，每一个物联网指纹样本数据均会对应一个质量较好的指纹数据，可记为指纹增强样本数据标签，用于共同训练对抗网络模型。

示例，在获取物联网指纹样本数据时，可以先获取指纹增强样本数据(指纹增强样本图像)；对指纹增强样本数据进行指纹数据退化处理，得到物联网指纹样本数据。其中，指纹增强样本数据为质量较好的质量较好的指纹数据，即可以对质量较好的指纹数据进行指纹数据退化，以为质量较好的指纹数据添加噪声信息，添加噪声信息后的指纹数据即为物联网指纹样本数据，从而获取到物联网指纹样本数据，并将添加噪声信息之前的质量较好的指纹数据，作为物联网指纹样本数据对应的指纹增强样本数据标签。

示例，在本申请实施例中，对指纹增强样本数据进行指纹数据退化处理时，可以包括多种可能的实现方式：

第一种为：可以通过指纹数据退化模型，对指纹增强样本数据进行指纹数据退化处理。其中，指纹数据退化模型的一种实现方法可以线性叠加，则指纹数据退化模型可参见下述公式1所示：

g＝λI+(1-λ)N₁+N₀ 公式1

其中，g表示指纹数据退化后得到的物联网指纹样本数据，λ表示退化系数，可根据实际需要进行设置，I表示质量较好的质量较好的指纹数据，N₁和N₀表示添加的噪声信息。

第二种为：可以采用生成对抗网络(Generative Adversarial Networks，GAN)或者稳定扩散模型(Stable Diffusion Model)等模拟一个非线性的退化模型，通过模拟的非线性的退化模型，对指纹增强样本数据进行指纹数据退化处理。

可以理解的是，在本申请实施例中，在对指纹增强样本数据进行指纹数据退化处理时，只是以上述可能的实现方式为例进行说明，但并不代表本申请实施例仅局限于此。

示例，在本申请实施例中，初始对抗网络模型可以包括生成网络和对抗网络，在获取到物联网指纹样本数据后，就可以将物联网指纹样本数据输入初始对抗网络模型中的生成网络中，得到物联网指纹样本数据对应的预测指纹增强样本数据(预测指纹增强样本数据)。

通常情况下，生成网络生成的预测指纹增强样本数据与物联网指纹样本数据对应的指纹增强样本数据标签的相似度越高，说明生成网络的性能越好。示例，在本申请实施例中，在将物联网指纹样本数据输入初始对抗网络模型中的生成网络之前，还可以先对指纹数据进行预处理，例如随机仿射变换、颜色抖动，或者图像翻折中的至少一种等，从而提高训练得到的对抗网络模型的泛化性能。

进一步的，将预测指纹增强样本数据和物联网指纹样本数据对应的指纹增强样本数据标签输入初始对抗网络模型中的判别网络中，得到物联网指纹样本数据对应的指纹增强样本数据。其中，指纹增强样本数据即为初始对抗网络模型输出的指纹增强数据。

示例，基于各物联网指纹样本数据对应的指纹增强样本数据和指纹增强样本数据标签，更新初始对抗网络模型的模型参数时，针对各物联网指纹样本数据，可以基于物联网指纹样本数据对应的指纹增强样本数据和指纹增强样本数据标签，构建该物联网指纹样本数据对应的损失函数；并确定各物联网指纹样本数据对应的损失函数的平均值；再基于平均值更新初始对抗网络模型的模型参数，直至达到训练截止条件，例如，训练时长达到预设时长、训练次数达到预设次数，或者，更新后的对抗网络模型收敛等。

其中，预测时长可以根据实际需要进行设置，在此，对于预设时长的取值，本申请实施例不做进一步的限制。类似的，预设次数可以根据实际需要进行设置。

卷积神经网络模型的训练方法可以包括下述操作：

针对各个物联网指纹样本数据，将物联网指纹样本数据输入初始卷积神经网络模型中的编码网络中，得到物联网指纹样本数据对应的指纹数据特征；将指纹数据特征输入初始卷积神经网络模型中的解码网络中，得到物联网指纹样本数据对应的指纹增强样本数据；基于各个物联网指纹样本数据对应的指纹增强样本数据和指纹增强样本数据标签，更新初始卷积神经网络模型的模型参数，得到卷积神经网络模型。

具体的，物联网指纹样本数据可以理解为包括噪声信息的样本数据，其中，包括的噪声信息可以为一种类型的噪声信息，也可以为多种类型的噪声信息。可以理解的是，在本申请实施例中，通过包括噪声信息的物联网指纹样本数据训练对抗网络模型时，每一个物联网指纹样本数据均会对应一个质量较好的指纹数据，可记为指纹增强样本数据标签，用于共同训练对抗网络模型。

需要说明的是，在本申请实施例中，获取物联网指纹样本数据时，同样可以对指纹增强样本数据进行指纹数据退化处理，得到物联网指纹样本数据，其具体实现与上述实施例，在此不再进行赘述。

示例，在本申请实施例中，初始卷积神经网络模型可以包括编码网络和解码网络，在获取到物联网指纹样本数据后，就可以将物联网指纹样本数据输入编码网络中，得到物联网指纹样本数据对应的指纹数据特征。

示例，在本申请实施例中，在将物联网指纹样本数据输入初始卷积神经网络模型之前，还可以先对指纹数据进行预处理，例如随机仿射变换、颜色抖动，或者图像翻折中的至少一种等，从而提高训练得到的卷积神经网络模型的泛化性能。

进一步的，将指纹数据特征输入初始卷积神经网络模型中的解码网络中，得到物联网指纹样本数据对应的指纹增强样本数据。其中，指纹增强样本数据即为初始卷积神经网络模型输出的指纹增强数据。

示例，基于各物联网指纹样本数据对应的指纹增强样本数据和指纹增强样本数据标签，更新初始卷积神经网络模型的模型参数时，针对各物联网指纹样本数据，可以基于各物联网指纹样本数据对应的指纹增强样本数据和指纹增强样本数据标签，构建该物联网指纹样本数据对应的损失函数；并确定各物联网指纹样本数据对应的损失函数的平均值；再基于平均值更新初始对抗网络模型的模型参数，直至达到训练截止条件，例如，训练时长达到预设时长、训练次数达到预设次数，或者，更新后的对抗网络模型收敛等。

步骤30，将物联网资产被动数据与资产被动指纹库进行匹配，得到资产识别结果。

可选的，资产被动指纹库中包括多个第一特征及其对应的资产描述信息，第一特征包括物联网资产的网络的址、端口号或者协议内容等，具体可以根据实际需要进行设置，资产描述信息可以为资产名称、资产类型、厂商、版本号、更新时间、注册状态等信息，具体可以根据实际需要进行设置，物联网识别***将物联网资产被动数据与资产被动指纹库进行匹配，得到资产识别结果，具体如步骤301至步骤303。

在一可选实施例中，步骤301至步骤303的描述如下：

步骤301，对物联网资产被动数据进行资产数据解析，得到物联网资产被动数据对应的第一目标特征；

示例，在本申请实施例中，第一目标特征可以包括目标物联网资产的目标网络的址、目标端口号或者目标协议内容等，具体可以根据实际需要进行设置。

步骤302，将第一目标特征与资产被动指纹库进行匹配；

在本申请实施例中，将第一目标特征与预设的资产被动指纹库进行匹配，在第一目标特征与资产被动指纹库匹配成功的情况下，说明资产被动指纹库中包括第一目标特征，在该种情况下，可以直接确定目标物联网资产对应的资产描述信息，该资产描述信息即为目标物联网资产的资产识别结果；相反的，在第一目标特征与资产被动指纹库匹配失败的情况下，说明资产被动指纹库中未包括第一目标特征，无法通过资产被动指纹库确定目标物联网资产的资产识别结果，在该种情况下，即执行下述步骤303。

步骤303，在第一目标特征与资产被动指纹库匹配失败的情况下，基于物联网资产被动数据所属的目标物联网资产的预测类型，确定目标物联网资产的资产识别结果。

在本申请实施例中，在识别物联网资产时，可以对物联网资产被动数据(被动流量数据)进行资产数据解析，得到对应的第一目标特征；将第一目标特征与预设的资产被动指纹库进行匹配，资产被动指纹库中包括多个第一特征及其对应的资产描述信息；在第一目标特征与资产被动指纹库匹配失败的情况下，基于物联网资产被动数据所属的目标物联网资产的预测类型，确定目标物联网资产的资产识别结果。这样在第一目标特征与资产被动指纹库匹配失败的情况下，结合物联网资产被动数据所属的目标物联网资产的预测类型，确定目标物联网资产的资产识别结果，可以有效的提高物联网资产的识别准确度。

示例，在执行上述步骤302将第一目标特征与预设的资产被动指纹库进行匹配之前，可以将第一目标特征与预设的人工标签库进行匹配，在第一目标特征与预设的人工标签库进行匹配成功的情况下，说明预设的人工标签库中包括第一目标特征，在该种情况下，可以进一步对物联网资产被动数据中的协议进行解析，提取对应的协议内容；将目标物联网资产的资产识别结果和协议内容，存入物联网资产库中，以实现对物联网资产库的更新；相反的，在第一目标特征与预设的人工标签库进行匹配失败的情况下，说明预设的人工标签库中不包括第一目标特征，在该种情况下，可以进一步将第一目标特征与资产被动指纹库进行匹配。

示例，本申请实施例中，人工标签库中包括多个物联网资源各自的网络的址、端口号和协议内容，具体可以根据实际需要进行设置。

基于上述任一所述的实施例，为了便于理解在上述步骤303中，如何基于物联网资产被动数据所属的目标物联网资产的预测类型，确定目标物联网资产的资产识别结果，具体为：

步骤a，将目标物联网资产的预测类型与预设的物联网资产分类库进行匹配，物联网资产分类库中包括多个物联网资产类型。

示例，物联网资产类型可以包括网络摄像头类型、网络打印机类型或者其他网络终端类型，具体可以根据实际需要进行设置。

通过将目标物联网资产的预测类型与预设的物联网资产分类库进行匹配，在目标物联网资产的预测类型与预设的物联网资产分类匹配成功的情况下，执行下述步骤b-步骤c；相反的，在目标物联网资产的预测类型与预设的物联网资产分类匹配失败的情况下，执行下述步骤d-步骤e：

步骤b，在预测类型与物联网资产分类库匹配成功的情况下，获取目标物联网资产的待识别物联网资产主动数据。

其中，预测类型与物联网资产分类库匹配成功，说明物联网资产分类库中包括预测类型。示例，在本申请实施例中，获取目标物联网资产的待识别物联网资产主动数据时，可以先确定目标物联网资产的主动探测方式；并基于主动探测方式获取目标物联网资产的待识别物联网资产主动数据。

示例，主动探测方式可以包括不同厂商的API接口，通用的HTTP请求等，具体可以根据实际需要进行设置。

基于主动探测方式获取目标物联网资产的待识别物联网资产主动数据时，可以基于主动探测方式向目标物联网资产发送报文，并获取目标物联网资产的待识别物联网资产主动数据。

示例，在本申请实施例中，第二目标特征可以包括目标物联网资产的目标网络的址、目标端口号或者目标协议内容等，具体可以根据实际需要进行设置。

步骤c，基于待识别物联网资产主动数据，确定目标物联网资产的资产识别结果。

示例，在本申请实施例中，基于待识别物联网资产主动数据确定目标物联网资产的资产识别结果时，可以对待识别物联网资产主动数据进行资产数据解析，得到待识别物联网资产主动数据对应的第二目标特征；将第二目标特征与预设的资产主动指纹库进行匹配，资产主动指纹库中包括多个第二特征及其对应的资产描述信息。

示例，在第二目标特征与资产主动指纹库匹配失败的情况下，说明资产主动指纹库中不包括第二目标特征，无法通过资产主动指纹库确定目标物联网资产的资产识别结果，在该种情况下，丢弃第二目标特征对应的待识别物联网资产主动数据；相反的，在第二目标特征与资产主动指纹库匹配成功的情况下，说明资产主动指纹库中包括第二目标特征，在该种情况下，确定目标物联网资产对应的目标资产描述信息，目标资产描述信息为资产识别结果。

示例，在本申请实施例中，第二目标特征可以包括目标物联网资产的目标网络的址、目标端口号或目标协议内容等，具体可以根据实际需要进行设置。

步骤d，在预测类型与物联网资产分类库匹配失败的情况下，将预测类型与预设的物联网资产聚类库进行匹配，物联网资产聚类库中包括多个物联网资产聚类类别；在预测类型与物联网资产聚类库匹配成功的情况下，获取目标物联网资产的待识别物联网资产主动数据。

其中，预测类型与物联网资产分类库匹配失败，说明物联网资产分类库中不包括该预测类型，无法通过物联网资产分类库确定目标物联网资产的主动探测方式；预测类型与物联网资产聚类库匹配成功，说明物联网资产聚类库中包括该预测类型。

其中，相较于物联网资产分类库，物联网资产聚类库中包括的物联网资产聚类类别较少，且每个物联网资产聚类包含的内容较多。可以理解为物联网资产分类库可以用于进行精细分类，物联网资产聚类库可以用于进行粗分类，这样在精细分类失败的情况下，可以结合粗分类进行物联网资产的识别。

示例，在预测类型与物联网资产聚类库匹配失败的情况下，可以对该物联网资产被动数据进行人工设置标签，将该物联网资产被动数据及其对应的标签存入物联网资产库中的人工标签库。标签包括该物联网资产被动数据的第一目标特征及其对应的资产描述信息。

步骤e，基于待识别物联网资产主动数据，确定目标物联网资产的资产识别结果。

示例，在本申请实施例中，基于待识别物联网资产主动数据确定目标物联网资产的资产识别结果时，可以对待识别物联网资产主动数据进行资产数据解析，得到对应的第二目标特征；将第二目标特征与预设的资产主动指纹库进行匹配，资产主动指纹库中包括多个第二特征及其对应的资产描述信息；示例，在第二目标特征与资产主动指纹库匹配失败的情况下，丢弃第二目标特征对应的待识别物联网资产主动数据；相反的，在第二目标特征与资产主动指纹库匹配成功的情况下，确定目标物联网资产对应的目标资产描述信息，目标资产描述信息为资产识别结果。

基于上述任一实施例，在第二目标特征与资产主动指纹库匹配成功的情况下，还可以基于第二目标特征对资产被动指纹库进行更新，可以进一步完善资产被动指纹库，从而为后续的特征匹配提供参考。

示例，在本申请实施例中，基于第二目标特征对资产被动指纹库进行更新时，可以将第二目标特征作为新的第一特征，并将目标资产描述信息作为新的第一特征对应的资产描述信息，存入资产被动指纹库中，以实现对资产被动指纹库的更新。

示例，将第二目标特征作为新的第一特征，对资产被动指纹库进行更新时，可以先对待识别物联网资产主动数据矢量化处理，再进行分类训练，并基于分类训练结果提取第二目标特征。

示例，分类训练可以为LSTM训练和attention训练，具体可以根据实际需要进行设置。

基于上述方法，通过物联网资产被动数据或待识别物联网资产主动数据确定出目标物联网资产的资产识别结果后，还可以基于物联网资产被动数据或待识别物联网资产主动数据，更新物联网资产库。

示例，基于物联网资产被动数据存于并更新物联网资产库时，可以对物联网资产被动数据中的协议进行解析，提取对应的协议内容；将目标物联网资产的资产识别结果和协议内容，存入物联网资产库中，以实现对物联网资产库的更新。

示例，基于待识别物联网资产主动数据存于并更新物联网资产库时，可以对待识别物联网资产主动数据中的协议进行解析，提取对应的协议内容；将目标物联网资产的资产识别结果和协议内容，存入物联网资产库中，以实现对物联网资产库的更新。

可以看出，在本申请实施例中，基于第二目标特征对资产被动指纹库进行更新时，可以将第二目标特征作为新的第一特征，并将目标资产描述信息作为新的第一特征对应的资产描述信息，对资产被动指纹库进行更新，这样可以进一步完善资产被动指纹库，从而为后续的特征匹配提供参考。

为了便于理解本申请实施例提供的物联网资产的识别方法，下面，将通过一个具体的实施例，对本申请实施例提供的物联网资产的识别方法进行详细描述。

在检测到物联网资产被动数据的情况下，对物联网资产被动数据进行资产数据解析，得到对应的第一目标特征；并将第一目标特征与预设的人工标签库进行匹配。将第一目标特征与预设的人工标签库进行匹配时，可以有下述两种可能的情况：

在一种可能的情况下，第一目标特征与预设的人工标签库匹配成功。在该种可能的情况下，可以直接确定目标物联网资产对应的资产描述信息，该资产描述信息即为目标物联网资产的资产识别结果。并对物联网资产被动数据中的协议进行解析，提取对应的协议内容；将目标物联网资产的资产识别结果和协议内容，存入物联网资产库中，以实现对物联网资产库的更新。

在另一种可能的情况下，第一目标特征与预设的人工标签库匹配失败。在该种可能的情况下，将第一目标特征与预设的资产被动指纹库进行匹配。将第一目标特征与预设的资产被动指纹库进行匹配时，可以有下述两种可能的情况：

在一种可能的情况下，第一目标特征与资产被动指纹库匹配成功。在该种可能的情况下，可以直接确定目标物联网资产对应的资产描述信息，该资产描述信息即为目标物联网资产的资产识别结果。并对物联网资产被动数据中的协议进行解析，提取对应的协议内容；将目标物联网资产的资产识别结果和协议内容，存入物联网资产库中，以实现对物联网资产库的更新。

在另一种可能的情况下，第一目标特征与资产被动指纹库匹配失败。在该种可能的情况下，可以预测物联网资产被动数据所属的目标物联网资产的预测类型，并将目标物联网资产的预测类型与预设的物联网资产分类库进行匹配。

将目标物联网资产的预测类型与预设的物联网资产分类库进行匹配时，可以有下述两种可能的情况：

在一种可能的情况下，目标物联网资产的预测类型与预设的物联网资产分类库匹配成功。

在该种可能的情况下，可以基于目标物联网资产的预测类型，确定目标物联网资产的主动探测方式，并通过主动探测方式直接获取目标物联网资产的待识别物联网资产主动数据，对待识别物联网资产主动数据进行资产数据解析，得到对应的第二目标特征。

在另一种可能的情况下，目标物联网资产的预测类型与预设的物联网资产分类库匹配失败。在该种可能的情况下，将预测类型与预设的物联网资产聚类库进行匹配；在预测类型与物联网资产聚类库匹配失败的情况下，对该物联网资产被动数据人工设置标签，将该物联网资产被动数据及其对应的标签存入物联网资产库中的人工标签库，以实现对物联网资产库的更新；在预测类型与物联网资产聚类库匹配成功的情况下，基于目标物联网资产的预测类型，确定目标物联网资产的主动探测方式，并通过主动探测方式获取目标物联网资产的待识别物联网资产主动数据，对待识别物联网资产主动数据进行资产数据解析，得到对应的第二目标特征。

基于上述方法，在物联网资产被动数据对应的第一目标特征与资产被动指纹库匹配失败的情况下，通过主动探测方式获取并解析目标物联网资产的待识别物联网资产主动数据，得到对应的第二目标特征，并将第二目标特征与资产主动指纹库进行匹配。将第二目标特征与资产主动指纹库进行匹配时，可以有下述两种可能的情况：

在一种可能的情况下，第二目标特征与资产主动指纹库匹配失败。在该种可能的情况下，丢弃第二目标特征对应的待识别物联网资产主动数据。

在另一种可能的情况下，第二目标特征与资产主动指纹库匹配成功。在该种可能的情况下，确定目标物联网资产对应的目标资产描述信息，目标资产描述信息为资产识别结果。并对待识别物联网资产主动数据中的协议进行解析，提取对应的协议内容；将目标物联网资产的资产识别结果和协议内容，存入物联网资产库中，以实现对物联网资产库的更新。此外，还可以基于第二目标特征对资产被动指纹库进行更新，进一步完善资产被动指纹库。

步骤40，将物联网媒体数据输入物联网数据关联模型进行关联，得到关联识别结果。

可选的，物联网数据关联模型是基于物联网媒体样本数据的融合特征向量及其对应的关联识别结果标签训练得到的，物联网媒体数据包括待识别文本、待识别图像、待识别音频和待识别视频，在一实施例中，可以将待识别文本、待识别图像、待识别音频和待识别视频中的至少两种作为物联网媒体数据，如物联网媒体数据可以同时获取多个待识别音频和多个待识别图像，也可以获取一个待识别文本、一个待识别音频、多个待识别视频和多个待识别图像。物联网识别***将物联网媒体数据输入物联网数据关联模型进行关联，得到关联识别结果，具体如步骤401至步骤403的描述。

在一可选实施例中，步骤401至步骤403的描述如下：

步骤401，将物联网媒体数据输入意图识别模型，获得意图识别模型输出的物联网媒体数据对应的意图识别结果。

可选的，意图识别模型是基于物联网媒体样本数据及其对应的意图识别结果标签训练得到的。

具体的，将物联网媒体数据输入意图识别模型，意图识别模型可从物联网媒体数据中提取不同媒体数据的意图信息，识别不同媒体数据之间的意图关联，生成并输出物联网媒体数据对应的意图识别结果，作为后续模型的输入，为后续模型提供更丰富的参考信息。

步骤402，将物联网媒体数据和意图识别结果输入语义空间模型，获得语义空间模型输出的物联网媒体数据的融合特征向量。

可选的，语义空间模型是基于物联网媒体样本数据及其对应的意图识别结果标签和融合特征向量训练得到的。

由于物联网媒体数据存在异构性，导致不同物联网媒体数据具有不同的特征度量属性和标准化表示，因此需要对物联网媒体数据进行统一的特征处理，以便于进行后续的关联识别。

具体的，将物联网媒体数据和意图识别结果输入语义空间模型，由语义空间模型进行统一的特征处理，生成并输出每一物联网媒体数据对应的融合特征向量。

融合特征向量可反映该物联网媒体数据与其他数据的关联程度。

在一实施例中，将待识别文本A和待识别文本A对应的意图识别结果、待识别文本B和待识别文本B对应的意图识别结果、待识别图像C和待识别图像C对应的意图识别结果输入语义空间模型，语义空间模型可分别输出的待识别文本A对应的融合特征向量A1、待识别文本B对应的融合特征向量B1和待识别图像C对应的融合特征向量C1。其中，融合特征向量A1可反映待识别文本A与待识别文本B、待识别图像C的关联程度；融合特征向量B1可反映待识别文本B与待识别文本A、待识别图像C的关联程度；融合特征向量C1可反映待识别图像C与待识别文本A、待识别文本B的关联程度。

步骤403，将融合特征向量输入多物联网数据关联模型，获得多物联网数据关联模型输出的物联网媒体数据的关联识别结果。

多物联网数据关联模型是基于物联网媒体样本数据的融合特征向量及其对应的关联识别结果标签训练得到的。

具体的，将融合特征向量输入多物联网数据关联模型，多物联网数据关联模型根据融合特征向量包含的不同物联网媒体数据之间的关联程度信息，生成并输出物联网媒体数据的关联识别结果。

优选的，关联识别结果包括关联度评分。

物联网媒体数据之间可能存在关联，也可能不存在关联，即使部分物联网媒体数据之间存在关联，其关联程度也可能不一样，因此，可根据关联度评分判断不同物联网媒体数据之间的关联性。

优选的，多物联网数据关联模型可基于无监督学习的方式训练得到，以实现物联网媒体数据的无监督关联。

在本申请实施例中，由于意图识别结果可反映不同物联网媒体数据的意图关联，因此将意图识别结果和物联网媒体数据共同作为语义空间模型的输入，可为语义空间模型提供更丰富的关联信息，使得语义空间模型生成的融合特征向量包含更丰富的特征信息，实现特征的准确提取，进而可保证后续多物联网数据关联模型输出的关联识别结果的准确性，实现物联网媒体数据关联的准确识别。

可选的，将物联网媒体数据和意图识别结果输入语义空间模型，获得语义空间模型输出的物联网媒体数据的融合特征向量，包括：

将物联网媒体数据和意图识别结果输入语义空间模型的第一神经网络组，获得第一神经网络组输出的物联网媒体数据对应的物联网媒体特征向量；将物联网媒体特征向量输入语义空间模型的第二神经网络组，获得第二神经网络组输出的物联网媒体数据的相似性度量结果和相关性度量结果；将物联网媒体特征向量、相似性度量结果和相关性度量结果输入语义空间模型的第三神经网络组，获得第三神经网络组输出的物联网媒体数据的融合特征向量。

在一些实施例中，语义空间模型包括第一神经网络组、第二神经网络组和第三神经网络组；

由于物联网媒体数据存在异构性，导致不同物联网媒体数据具有不同的特征度量属性和标准化表示，因此需要对物联网媒体数据进行统一的特征处理，以便于进行后续的关联识别。

具体的，将物联网媒体数据和意图识别结果输入语义空间模型的第一神经网络组，第一神经网络组可根据物联网媒体数据和物联网媒体数据对应的意图识别结果进行特征提取处理和特征矢量化处理，从而将不同模态的数据映射到相同的多模态语义空间，使得不同模态的数据具有统一的特征表达形式，生成物联网媒体数据对应的物联网媒体特征向量，实现物联网媒体数据的特征表示。

其中，物联网媒体特征向量是高维向量。

具体的，第一神经网络组可为每一种物联网媒体数据生成对应的特征向量。

进一步的，将每一种物联网媒体数据对应的特征向量，即物联网媒体特征向量，输入语义空间模型的第二神经网络组，第二神经网络组可根据不同物联网媒体数据对应的特征向量进行相似性度量计算和相关性度量计算，生成物联网媒体数据的相似性度量结果和相关性度量结果。

具体的，第二神经网络组可实现不同特征向量之间的对齐映射，针对任意两个特征向量，第二神经网络组可计算两个特征向量之间的余弦相似性和/或欧几里得距离，由于特征向量之间的余弦相似性和欧几里得距离可以反映特征向量的相似性，因此可进一步根据两个特征向量之间的余弦相似性和/或欧几里得距离生成相似性度量结果。

一般的，两个特征向量越相似，则说明两个特征向量的关联越大。

具体的，在获得相似性度量结果之后，第二神经网络组可对相似性度量结果进行学习和计算，生成相关性度量结果。

优选的，在生成相似性度量结果和相关性度量结果的过程中，综合考虑不同物联网媒体数据对应的特征向量的维度差异、均衡性和有效性等因素，提高生成的相似性度量结果和相关性度量结果的准确性。

进一步的，将物联网媒体特征向量、相似性度量结果和相关性度量结果输入语义空间模型的第三神经网络组，第三神经网络组可根据物联网媒体特征向量、相似性度量结果和相关性度量结果确定不同物联网媒体数据对应的特征向量的参考权重，以便于进行特征选择和特征归一化处理，生成物联网媒体数据的融合特征向量，实现物联网媒体数据的特征融合处理，以便于进行后续的关联识别，确保后续关联识别结果的准确性和可解释性。

在一些实施例中，将物联网媒体数据和意图识别结果输入语义空间模型，获得语义空间模型输出的物联网媒体数据的融合特征向量之前，还包括：获取物联网媒体样本数据及其对应的意图识别结果标签及其对应的融合特征向量；物联网媒体样本数据包括样本文本、样本图像、样本音频、样本视频；基于物联网媒体样本数据及其对应的意图识别结果标签及其对应的融合特征向量，对第一初始模型进行无监督学习训练，得到语义空间模型。

无监督学习是机器学习中的一种训练方式或学习方式，其优势在于仅需要少量的标注数据即可实现模型的训练，从而摆脱了模型对大量标注数据的依赖，降低模型训练的成本。

具体的，基于物联网媒体样本数据、物联网媒体样本数据对应的意图识别结果标签和融合特征向量，对第一初始模型进行无监督学习训练，使得第一初始模型可从少量的标注数据中自动学习和训练，生成跨模态的语义空间模型。

第一初始模型是基于潜类别分析算法(Latent Class Analysis，LCA)/主题分析法(Thematic Analysis)/聚类分析法构建的。

在一些实施例中，意图识别模型包括特征提取网络和分类网络。

将物联网媒体数据输入意图识别模型，获得意图识别模型输出的物联网媒体数据对应的意图识别结果，包括：

将物联网媒体数据输入意图识别模型的特征提取网络，获得特征提取网络输出的物联网媒体数据对应的意图特征向量；将意图特征向量输入意图识别模型的分类网络，获得分类网络输出的物联网媒体数据对应的意图识别结果。

意图识别模型采用基于意图的识别策略准则，从物联网媒体数据中提取不同物联网媒体数据的意图信息，生成意图识别结果，为后续模型提供更丰富的参考信息，辅助后续物联网媒体数据的关联识别。

具体的，将物联网媒体数据输入意图识别模型的特征提取网络，特征提取网络可从物联网媒体数据中提取有效特征，生成物联网媒体数据对应的意图特征向量。

具体的，针对待识别文本，意图识别模型可提取文本特征，生成待识别文本对应的文本意图特征向量；针对待识别图像，意图识别模型可提取图像特征，生成待识别图像对应的图像意图特征向量；针对待识别音频，意图识别模型可提取音频特征，生成待识别音频对应的音频意图特征向量；针对待识别视频，意图识别模型可提取视频特征，生成待识别视频对应的视频意图特征向量。

进一步的，将意图特征向量输入意图识别模型的分类网络，分类网络可对意图特征向量进行分类识别，生成物联网媒体数据对应的意图识别结果。

在一实施例中，将物联网媒体数据输入意图识别模型，获得意图识别模型输出的物联网媒体数据对应的意图识别结果之前，还包括：

获取物联网媒体样本数据及其对应的意图识别结果标签；物联网媒体样本数据包括样本文本、样本图像、样本音频、样本视频；基于物联网媒体样本数据及其对应的意图识别结果标签，对第二初始模型进行训练，得到意图识别模型。

优选的，第二初始模型是基于支持向量机算法/贝叶斯算法/人工神经网络算法构建的。

在一些实施例中，获取物联网媒体数据，包括：获取原始物联网媒体数据；原始物联网媒体数据包括原始文本、原始图像、原始音频、原始视频中的至少两种；对原始物联网媒体数据进行数据清洗处理，获得第一中间数据；对第一中间数据进行特征提取处理，获得第二中间数据；对第二中间数据进行降噪处理，获得物联网媒体数据。

具体的，获取原始文本、原始图像、原始音频、原始视频中的至少两种。若获取的物联网媒体数据中包含原始音频或原始视频，则需要对原始音频或原始视频进行解码、切分等处理，降低数据的处理量。

进一步的，对原始物联网媒体数据进行数据清洗处理，去除原始物联网媒体数据中的异常数据或重复数据，降低后续模型的数据处理量，获得第一中间数据。进一步的，对第一中间数据进行特征提取处理，保留有价值的关键信息，获得第二中间数据。进一步的，对第二中间数据进行降噪处理，去除第二中间数据的冗余信息和噪声，获得物联网媒体数据。

在一些实施例中，将融合特征向量输入多物联网数据关联模型，获得多物联网数据关联模型输出的物联网媒体数据的关联识别结果之后，还包括：

响应于用户的检索指令，对目标物联网媒体数据进行检索，获取目标物联网媒体数据的关联识别结果；输出并展示目标物联网媒体数据的关联识别结果。

具体的，在获得物联网媒体数据的关联识别结果之后，基于关联识别结果建立关键词索引。例如，针对待识别文本、待识别图像、待识别音频和待识别视频，假设待识别文本包含关于猫的描述，待识别音频为猫的叫声，待识别图像为狗的图像，待识别视频为狗的活动视频，则物联网媒体数据之间的关联识别结果为待识别文本和待识别音频之间存在关联，待识别图像和待识别视频之间存在关联。此时，基于关联识别结果可分别建立索引关键词“猫”和“狗”；其中，索引关键词“猫”可对应待识别文本和待识别音频，索引关键词“狗”可对应待识别图像和待识别视频。

可以理解的，用户可能仅需要获取特定信息的关联关系。因此，可根据用户输入的索引关键词，生成对应的检索指令，以查询和检索用户所需获取的特定信息的关联关系。

进一步的，响应于用户的检索指令，根据检索指令携带的索引关键词信息，对目标物联网媒体数据进行检索，获取目标物联网媒体数据的关联识别结果，并将目标物联网媒体数据的关联识别结果以可视化的形式呈现给用户，使用户可以更好的理解物联网媒体数据之间的联系和结构，提高用户体验。

本申请实施例提供的深度学习的物联网识别方法能够通过深度学习的物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块进行精准且快速的物联网识别，能够快速精准的得到指纹识别结果、资产识别结果和关联识别结果。

参照图3，图3示例了一种电子设备的实体结构示意图，电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行深度学习的物联网识别方法。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本申请还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述深度学习的物联网识别方法。

又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的深度学习的物联网识别方法。

以上所描述的***实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个的方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚的了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本申请技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种深度学习的物联网识别***，其特征在于，包括物联网识别中台、物联网数据获取模块、物联网指纹识别模块、物联网资产识别模块和物联网数据关联识别模块；所述物联网数据获取模块、所述物联网指纹识别模块、所述物联网资产识别模块和所述物联网数据关联识别模块分别与所述物联网识别中台连接；

所述物联网指纹识别模块中训练有指纹增强模型，所述指纹增强模型是基于多个物联网指纹样本数据及其对应的指纹增强样本数据标签训练得到的；所述物联网资产识别模块中训练有资产被动指纹库，所述资产被动指纹库中包括多个第一特征及其对应的资产描述信息；所述物联网数据关联识别模块训练有物联网数据关联模型，所述物联网数据关联模型是基于物联网媒体样本数据的融合特征向量及其对应的关联识别结果标签训练得到的；所述第一特征包括物联网资产的网络地址、端口号和协议内容；

所述物联网识别中台用于：对所述物联网指纹识别模块、所述物联网资产识别模块和所述物联网数据关联识别模块进行管理；

所述物联网数据获取模块用于：获取待识别多模态数据；所述待识别多模态数据包括待识别的物联网媒体数据、物联网指纹数据和物联网资产被动数据；

所述物联网指纹识别模块用于：基于所述物联网指纹数据和所述指纹增强模型进行匹配，得到指纹识别结果；

所述物联网资产识别模块用于：将所述物联网资产被动数据与所述资产被动指纹库进行匹配，得到资产识别结果；

所述物联网数据关联识别模块用于：将所述物联网媒体数据输入所述物联网数据关联模型进行关联，得到关联识别结果；

其中，所述指纹增强模型包括对抗网络模型和/或卷积神经网络模型；所述基于所述物联网指纹数据和所述指纹增强模型进行匹配，得到指纹识别结果，包括：

所述指纹增强模型包括所述对抗网络模型的情况下，将所述物联网指纹数据输入所述对抗网络模型中，得到第一识别结果，所述第一识别结果为所述指纹识别结果；或，

所述指纹增强模型包括所述卷积神经网络模型的情况下，将所述物联网指纹数据输入所述卷积神经网络模型中，得到第二识别结果，所述第二识别结果为所述指纹识别结果；或，

所述指纹增强模型包括所述对抗网络模型和所述卷积神经网络模型，基于所述第一识别结果和所述第二识别结果，确定所述指纹识别结果；

所述基于所述第一识别结果和所述第二识别结果，确定所述指纹识别结果，包括：

基于所述第一识别结果中各第一像素点，对所述第一像素点的像素值和所述第二识别结果中，与所述第一像素点对应的第二像素点的像素值进行加权求和，得到所述第一像素点的目标像素值；

基于所述各第一像素点的目标像素值，生成所述指纹识别结果。

2.一种深度学习的物联网识别方法，其特征在于，应用于权利要求1所述的深度学习的物联网识别***，包括：

获取待识别多模态数据；所述待识别多模态数据包括待识别的物联网媒体数据、物联网指纹数据和物联网资产被动数据；

基于所述物联网指纹数据和指纹增强模型进行匹配，得到指纹识别结果；所述指纹增强模型是基于多个物联网指纹样本数据及其对应的指纹增强样本数据标签训练得到的；

将所述物联网资产被动数据与资产被动指纹库进行匹配，得到资产识别结果；所述资产被动指纹库中包括多个第一特征及其对应的资产描述信息；所述第一特征包括物联网资产的网络地址、端口号和协议内容；

将所述物联网媒体数据输入物联网数据关联模型进行关联，得到关联识别结果；所述物联网数据关联模型是基于物联网媒体样本数据的融合特征向量及其对应的关联识别结果标签训练得到的；

其中，所述指纹增强模型包括对抗网络模型和/或卷积神经网络模型；所述基于所述物联网指纹数据和所述指纹增强模型进行匹配，得到指纹识别结果，包括：

所述指纹增强模型包括所述对抗网络模型的情况下，将所述物联网指纹数据输入所述对抗网络模型中，得到第一识别结果，所述第一识别结果为所述指纹识别结果；或，

所述指纹增强模型包括所述卷积神经网络模型的情况下，将所述物联网指纹数据输入所述卷积神经网络模型中，得到第二识别结果，所述第二识别结果为所述指纹识别结果；或，

所述指纹增强模型包括所述对抗网络模型和所述卷积神经网络模型，基于所述第一识别结果和所述第二识别结果，确定所述指纹识别结果；

所述基于所述第一识别结果和所述第二识别结果，确定所述指纹识别结果，包括：

基于所述第一识别结果中各第一像素点，对所述第一像素点的像素值和所述第二识别结果中，与所述第一像素点对应的第二像素点的像素值进行加权求和，得到所述第一像素点的目标像素值；

基于所述各第一像素点的目标像素值，生成所述指纹识别结果。

3.根据权利要求2所述的深度学习的物联网识别方法，其特征在于，所述指纹增强模型包括所述对抗网络模型的情况下，所述指纹增强模型基于多个物联网指纹样本数据及其对应的指纹增强样本数据标签训练得到，包括下述操作：

将各个所述物联网指纹样本数据输入初始对抗网络模型中的生成网络中，得到所述物联网指纹样本数据对应的预测指纹增强样本数据；

将各个所述物联网指纹样本数据的预测指纹增强样本数据和指纹增强样本数据标签输入所述初始对抗网络模型的判别网络中，得到各个所述物联网指纹样本数据的指纹增强样本数据；

基于所述各物联网指纹样本数据的指纹增强样本数据和指纹增强样本数据标签，更新所述初始对抗网络模型的模型参数，得到所述对抗网络模型。

4.根据权利要求2所述的深度学习的物联网识别方法，其特征在于，所述将所述物联网资产被动数据与资产被动指纹库进行匹配，得到资产识别结果，包括：

对所述物联网资产被动数据进行资产数据解析，得到所述物联网资产被动数据对应的第一目标特征；所述第一目标特征包括目标物联网资产的目标网络地址、目标端口号和目标协议内容；

将所述第一目标特征与所述资产被动指纹库进行匹配；

所述第一目标特征与所述资产被动指纹库匹配失败的情况下，基于所述物联网资产被动数据所属的目标物联网资产的预测类型，确定所述目标物联网资产的资产识别结果。

5.根据权利要求4所述的深度学习的物联网识别方法，其特征在于，所述基于所述物联网资产被动数据所属的目标物联网资产的预测类型，确定所述目标物联网资产的资产识别结果，包括：

将所述预测类型与预设的物联网资产分类库进行匹配；所述物联网资产分类库中包括多个物联网资产类型；

所述预测类型与所述物联网资产分类库匹配成功的情况下，获取所述目标物联网资产的待识别物联网资产主动数据；

所述预测类型与所述物联网资产分类库匹配失败的情况下，将所述预测类型与预设的物联网资产聚类库进行匹配；所述物联网资产聚类库中包括多个物联网资产聚类类别；所述预测类型与所述物联网资产聚类库匹配成功的情况下，获取所述目标物联网资产的待识别物联网资产主动数据；

基于所述待识别物联网资产主动数据，确定所述目标物联网资产的资产识别结果。

6.根据权利要求5所述的深度学习的物联网识别方法，其特征在于，所述基于所述待识别物联网资产主动数据，确定所述目标物联网资产的资产识别结果，包括：

对所述待识别物联网资产主动数据进行资产数据解析，得到所述待识别物联网资产主动数据对应的第二目标特征；所述第二目标特征包括目标物联网资产的目标网络地址、目标端口号和目标协议内容；

将所述第二目标特征与预设的资产主动指纹库进行匹配；所述资产主动指纹库中包括多个第二特征及其对应的资产描述信息；所述第二特征包括物联网资产的网络地址、端口号和协议内容；

所述第二目标特征与所述资产主动指纹库匹配成功的情况下，确定所述目标物联网资产对应的目标资产描述信息，所述目标资产描述信息为所述资产识别结果。

7.根据权利要求2所述的深度学习的物联网识别方法，其特征在于，所述将所述物联网媒体数据输入物联网数据关联模型进行关联，得到关联识别结果，包括：

将所述物联网媒体数据输入意图识别模型，获得所述意图识别模型输出的所述物联网媒体数据对应的意图识别结果；所述意图识别模型是基于物联网媒体样本数据及其对应的意图识别结果标签训练得到的；

将所述物联网媒体数据和所述意图识别结果输入语义空间模型，获得所述语义空间模型输出的所述物联网媒体数据的融合特征向量；所述语义空间模型是基于物联网媒体样本数据及其对应的意图识别结果标签和融合特征向量训练得到的；

将所述融合特征向量输入多物联网数据关联模型，获得所述多物联网数据关联模型输出的物联网媒体数据的关联识别结果。

8.根据权利要求7所述的深度学习的物联网识别方法，其特征在于，所述语义空间模型包括第一神经网络组、第二神经网络组和第三神经网络组；

所述将所述物联网媒体数据和所述意图识别结果输入语义空间模型，获得所述语义空间模型输出的所述物联网媒体数据的融合特征向量，包括：

将所述物联网媒体数据和所述意图识别结果输入语义空间模型的第一神经网络组，获得所述第一神经网络组输出的所述物联网媒体数据对应的物联网媒体特征向量；

将所述物联网媒体特征向量输入语义空间模型的第二神经网络组，获得所述第二神经网络组输出的所述物联网媒体数据的相似性度量结果和相关性度量结果；

将所述物联网媒体特征向量、所述相似性度量结果和所述相关性度量结果输入语义空间模型的第三神经网络组，获得所述第三神经网络组输出的所述物联网媒体数据的融合特征向量。