CN115378856B - 通讯检测方法、设备及存储介质 - Google Patents
通讯检测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN115378856B CN115378856B CN202210973887.7A CN202210973887A CN115378856B CN 115378856 B CN115378856 B CN 115378856B CN 202210973887 A CN202210973887 A CN 202210973887A CN 115378856 B CN115378856 B CN 115378856B
- Authority
- CN
- China
- Prior art keywords
- communication
- vector
- loss function
- data
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/75—Information technology; Communication
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了通讯检测方法、设备及存储介质,其中方法通过根据通讯检测任务,利用数据之间的相似性从网络设备中选取用以辅助待测目标进行通讯检测的信息源,该网络设备包括物联网及其网络中心中的设备,再将待测目标的通讯数据和信息源的通讯数据输入至通讯检测模型进行通讯检测,得到待测目标针对于通讯类别的通讯检测结果,该通讯检测模型基于表征每个信息源分布信息及其重要性的第一损失函数和表征待测目标和信息源在空间聚拢上的第二损失函数训练得到。本发明通过利用信息源所携带的信息作为辅助,实现信息源与待测目标之间信息的互补,以提高对待测目标的通讯数据的检测准确率。
Description
技术领域
本申请涉及物联网技术领域,特别是涉及一种通讯检测方法、装置、设备及存储介质。
背景技术
随着物联网技术的进步,当前,越来越多的物联网设备被用于人们的日常生产生活之中,这些丰富的物联网设备也使得众多重要领域得以转型突破,例如智慧路联网与车联网设备支持了智慧城市与智慧交通,智慧医疗物联网设备支持了更加精准与人性化的智慧医疗。由于物联网设备自身的计算能力相对较弱,因此,物联网设备的使用往往需要一个网络中心的配合,该网络中心可以承载物联网设备所无法轻易完成的大规模数据计算、存储等任务。
物联网及其网络中心均涉及到大量的网络通讯,因此,实现对物联网及其网络中心通讯的检测是十分必要的。对物联网及其网络中心的通讯检测可以是多种多样的。如对通讯内容进行检测,可以用于物联网及其网络中心通讯的内容统计以及使用情况分析等,再如对通讯安全性的检测,可以用于分析物联网及其网络中心的哪些通讯为正常通讯,哪些为异常通讯,从而确保物联网设备及其网络中心的安全性。因此,一个准确的高效的物联网及其网络中心通讯检测方法是十分必要的,其可以用于对于物联网及其网络中心使用模式的分析,用于对其安全的监管与监测等诸多方面,从而确保物联网及其网络中心以一种高效可靠的方式运行。
然而,物联网设备与物联网设备之间,以及物联网与其网络中心在运行中所面对的通讯是有差别的。例如,物联网设备进行的通讯更多的是数据传输,而物联网中心所进行的通讯则可能会更多偏向于计算与存储的相关通讯。因此,不同物联网设备所面对的通讯以及网络中心所面对的通讯各有所长,但又都不是十分全面。例如,某一种物联网设备群,如果对待进行通讯检测的一方捕获的通讯数据不够丰富,则会导致检测到的结果与实际结果偏差较大,影响通讯检测的效果。
发明内容
有鉴于此,本申请提供一种通讯检测方法、装置、设备及存储介质,以解决现有的物联网及其网络中心等网络设备的通讯检测效果差的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种通讯检测方法,包括:接收通讯检测任务,通讯检测任务包括待测目标、通讯类别以及待测目标所处网络设备;基于待测目标在通讯类别对应的第一通讯数据和网络设备中其他目标在通讯类别对应的第二通讯数据之间的相似度从其他目标中筛选得到信息源;将第一通讯数据和信息源的第三通讯数据输入至通讯检测模型进行通讯检测,得到待测目标针对于通讯类别的通讯检测结果,通讯检测模型包括特征提取网络和全局公共检测器,特征提取网络和全局公共检测器基于表征每个信息源分布信息及其重要性的第一损失函数和表征待测设备待测目标和信息源在空间聚拢上的第二损失函数训练得到。
作为本申请的进一步改进,基于待测目标在通讯类别对应的第一通讯数据和网络设备中其他目标在通讯类别对应的第二通讯数据之间的相似度从其他目标中筛选得到信息源,包括:获取待测目标的第一通讯数据和其他目标的第二通讯数据,并利用特征提取网络从所述第一通讯数据中提取得到第一通讯向量,从第二通讯数据提取得到第二通讯向量;根据第一通讯数据在各个通讯类别的第一数据分布、第二通讯数据在各个通讯类别的第二数据分布计算得到统计量;根据统计量对所有其他目标进行排序,得到分布排序;计算第一通讯向量在各个通讯类别的第一均值向量与每个第二通讯向量在各个通讯类别的第二均值向量之间的欧式距离并取均值,得到平均欧式距离;根据平均欧式距离对所有其他目标进行排序,得到欧式排序;根据分布排序和欧式排序确认所有其他目标的最终排序,并根据最终排序选取第一预设数量个其他目标作为信息源。
作为本申请的进一步改进,训练通讯检测模型,具体包括:将待测目标的第一通讯样本数据和信息源的第二通讯样本数据分别输入至特征提取网络进行提取,得到第一通讯样本向量和第二通讯样本向量;利用第一通讯样本向量和第二通讯样本向量计算得到每个信息源的权重;将第一通讯样本向量、第二通讯样本向量分别输入至全局公共检测器进行分布预测,得到待测目标在各个通讯类别的第一预测分布向量和信息源在各个通讯类别的第二预测分布向量;根据第一预测分布向量、第二预测分布向量、权重、第一通讯样本向量、第二通讯样本向量、第一损失函数和第二损失函数计算得到损失函数值;根据损失函数值和预设优化算法对特征提取网络和全局公共检测器进行迭代训练。
作为本申请的进一步改进,利用第一通讯样本向量和第二通讯样本向量计算得到每个信息源的权重,包括:计算第一通讯样本向量在各个通讯类别的第一均值向量与每个第二通讯样本向量在各个通讯类别的第二均值向量之间的欧式距离并取均值,得到平均欧式距离;根据每个信息源对应的平均欧式距离计算得到信息源的权重,权重的计算公式表示为:
其中,ωj表示第j个信息源的权重,distj表示第j个信息源与待测目标之间的平均欧式距离。
作为本申请的进一步改进,计算第一损失函数的第一损失函数值,包括:根据第一预测分布向量计算第一预测分布均值向量;根据第一预测分布均值向量和第二预测分布向量计算信息源与待测目标之间的KL散度;根据第一预测分布均值向量、KL散度、权重计算第一损失函数值。
作为本申请的进一步改进,第一预测分布均值向量的计算公式为:其中,/>表示第一预测分布均值向量,|x(k)|表示属于第k类通讯类别的通讯数据的数量,C()表示全局公共检测器,f(x)表示特征提取网络,/>表示第一预测分布向量,T表示温度参数;
第一损失函数值的计算公式为:其中,LI为第一损失函数值,k表示通讯类别的数量,n表示信息源的数量,ωj表示第j个信息源的权重,|χD|表示第一通讯样本数据的数量,Lce()表示交叉熵损失,yi表示通讯检测类别标签。
作为本申请的进一步改进,计算第二损失函数的第二损失函数值,包括:将所有信息源的第二通讯样本数据合并为第三通讯样本数据,且将待测目标的第一通讯样本数据和所有信息源的第二通讯样本数据合并为第四通讯样本数据;利用特征提取网络从第三通讯样本数据、第四通讯样本数据中分别提取得到第三通讯样本向量、第四通讯样本向量;分别计算第一通讯样本向量、第三通讯样本向量、第四通讯样本向量在各个通讯类别的第一均值向量、第三均值向量、第四均值向量;计算第一均值向量、第三均值向量、第四均值向量两两之间的欧式距离,再求和,得到第一欧式距离损失函数值;利用聚类算法分别从各个通讯类别的第一通讯样本向量中选取第二预设数量个第一特征点、从各个通讯类别的第三通讯样本向量中选取第二预设数量个第二特征点;计算第一特征点与第二特征点两两之间的欧式距离,并取平均,得到第二欧式距离损失函数值;根据第一欧式距离损失函数值和第二欧式距离损失函数值计算得到第二损失函数值。
作为本申请的进一步改进,第一欧式距离损失函数值的计算公式为:
第二欧式距离损失函数值的计算公式为:
其中,LL表示第二欧式距离损失函数值,R表示第二预设数量,表示第一通讯样本向量中选取的R个第i类通讯类别的第一特征点中的第n个,/>表示第三通讯样本向量中选取的R个第i类通讯类别的第二特征点中的第m个。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种通讯检测装置,包括:接收模块,用于接收通讯检测任务,通讯检测任务包括待测目标、通讯类别以及待测目标所处网络设备;选取模块,用于基于待测目标在通讯类别对应的第一通讯数据和网络设备中其他目标在通讯类别对应的第二通讯数据之间的相似度从其他目标中筛选得到信息源;预测模块,用于将第一通讯数据和信息源的第三通讯数据输入至通讯检测模型进行通讯检测,得到待测目标针对于通讯类别的通讯检测结果,通讯检测模型包括特征提取网络和全局公共检测器,特征提取网络和全局公共检测器基于表征每个信息源分布信息及其重要性的第一损失函数和表征待测设备待测目标和信息源在空间聚拢上的第二损失函数训练得到。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种计算机设备,所述计算机设备包括处理器、与所述处理器耦接的存储器,所述存储器中存储有程序指令,所述程序指令被所述处理器执行时,使得所述处理器执行如上述任一项的通讯检测方法的步骤。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种存储介质,存储有能够实现上述任一项的通讯检测方法的程序指令。
本申请的有益效果是:本申请的通讯检测方法通过根据通讯检测任务,利用数据之间的相似性网络设备中选取用以辅助待测目标进行通讯检测的信息源,该网络设备包括物联网及其网络中心中的设备,再将待测目标的通讯数据和信息源的通讯数据输入至通讯检测模型进行通讯检测,得到待测目标针对于通讯类别的通讯检测结果,该通讯检测模型基于表征每个信息源分布信息及其重要性的第一损失函数和表征待测目标和信息源在空间聚拢上的第二损失函数训练得到,从而能够在检测待测目标的通讯数据时,以信息源作为辅助,利用信息源与待测目标进行信息之间的互补,帮助对待测目标的通讯数据进行更加精细化的检测,提升对待测目标通讯数据的检测效果,提高了检测准确性。
附图说明
图1是本发明实施例的通讯检测方法的一流程示意图;
图2是本发明实施例的通讯检测装置的功能模块示意图;
图3是本发明实施例的计算机设备的结构示意图;
图4是本发明实施例的存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本实施例的通讯检测方法应用于物联网及其网络中心中的网络设备,该网络设备包括但不限于计算机、手机、平板等。而由于物联网中网络设备自身的计算能力相对较弱,因此,物联网中网络设备的使用往往需要一个网络中心的配合,该网络中心可以承载物联网网络设备所无法轻易完成的大规模数据计算、存储等任务。需要理解的是,物联网及其网络中心中网络设备均可以在不同的场景下进行优势互补,被视为通讯检测信息丰富的信息源或者通讯检测信息不足的待测目标,并且,该待测目标并不局限于一台设备,其还可以是配置完全相同的一个设备集群,或者是物联网的网络中心,同样,信息源也可以是一台设备或者是配置完全相同的一个设备集群,或者是物联网的网络中心。本实施例中的互补则是指物联网中的网络设备,或是物联网的网络中心在某些通讯检测场景下可能成为信息源,即在通讯检测过程中提供帮助的一方,而在另一些通讯检测场景下可能成为待测目标,即在通讯检测过程中需要帮助的一方。因此,物联网网络设备与物联网网络设备之间,以及物联网网络设备与网络中心之间,形成了一种优势互补的关系。基于该种优势互补关系,本发明提出一种通讯检测方法,以实现对待测目标的更加精准的通讯检测。
图1是本发明实施例的通讯检测方法的流程示意图。需注意的是,若有实质上相同的结果,本发明的方法并不以图1所示的流程顺序为限。如图1所示,该通讯检测方法包括步骤:
步骤S101:接收通讯检测任务,通讯检测任务包括待测目标、通讯类别以及待测目标所处网络设备。
具体地,需要说明的是,网络设备是指物联网及其网络中心中的设备,本实施例中,通讯检测任务是指针对于物联网中设备上的数据进行检测,而基于通讯检测任务的不同,网络设备上的数据可划分为多个通讯类别,例如,当通讯检测任务为入侵数据检测时,该通讯类别划分为通讯入侵类别,需要对设备中的入侵数据进行通讯检测,当通讯检测任务为访问数据检测时,则该通讯类别划分为通讯访问类别,需要对设备中的访问数据进行通讯检测。
步骤S102:基于待测目标在通讯类别对应的第一通讯数据和网络设备中其他目标在通讯类别对应的第二通讯数据之间的相似度从其他目标中筛选得到信息源。
具体地,在接收到通讯检测任务后,为了提高对待测目标的检测效果,需要从物联网中选取信息源来辅助对待测目标的通讯数据检测。通过待测目标的通讯数据与物联网中其他目标之间的数据相似性筛选信息源。
进一步的,步骤S102具体包括:
1、获取待测目标的第一通讯数据和其他目标的第二通讯数据,并利用特征提取网络从第一通讯数据提取得到第一通讯向量,从第二通讯数据提取得到第二通讯向量。
具体地,将待测目标数据输入至特征提取网络,提取得到第一通讯向量,并将物联网及其网络中心中除待测目标之外的其他所有网络设备作为其他目标,其获取每个其他目标的通讯数据,并将通数据输入至特征提取网络,提取得到第二通讯向量。
2、根据第一通讯数据在各个通讯类别的第一数据分布、第二通讯数据在各个通讯类别的第二数据分布计算得到统计量。
需要说明的是,网络设备产生的通讯数据通常包括多个通讯类别,每个通讯类别包括多个数据。具体地,在得到第一通讯数据后,统计待测目标在各个通讯类别的数据的个数,即可获得待测目标的通讯数据的分布,例如,待测目标的通讯数据中有100条属于A类通讯,600条属于B类通讯,等等。从而,获得第一通讯数据在各个通讯类别的第一数据分布、第二通讯数据在各个通讯类别的第二数据分布,再基于卡方拟合优度检测方法计算得到统计量。需要说明的是,本实施例中的通讯类别是指在第一通讯数据和第二通讯数据共有的通讯类别。
该统计量的计算公式为:
其中,χ2表示统计量,k为通讯类别的数目,Oi为信息源的通讯数据处于第i类通讯类别的通讯数据的个数,Ei为待测目标通讯数据处于第i类通讯类别的通讯数据的个数。
3、根据统计量对所有其他目标进行排序,得到分布排序。
具体地,在得到统计量后,确认每个统计量对应的其他目标,再将所有其他目标按照统计量由低至高升序排序,从而得到分布排序。
4、计算第一通讯向量在各个通讯类别的第一均值向量与每个第二通讯向量在各个通讯类别的第二均值向量之间的欧式距离并取均值,得到平均欧式距离。
5、根据平均欧式距离对所有其他目标进行排序,得到欧式排序。
具体地,在得到每个信息源对应的平均欧式距离后,根据平均欧式距离对信息源进行升序排序,得到欧式排序。
6、根据分布排序和欧式排序确认所有其他目标的最终排序,并根据最终排序选取第一预设数量个其他目标作为信息源。
具体地,对于每一个其他目标,确认其在分布排序中对应的第一序号,同时确认其在欧式排序的第二序号,以第一序号和第二序号的均值作为最终排序的序号,从而得到每个其他目标的最终排序,再从最终排序中选取第一预设数量个其他目标作为信息源。需要说明的是,该第一预设数量预先设置,如2个、5个等。
本实施例中,通过采用与待测目标较为相近的信息源,可以更好的辅助待测目标进行更加精准的通讯检测。
步骤S103:将第一通讯数据和信息源的第三通讯数据输入至通讯检测模型进行通讯检测,得到待测目标针对于通讯类别的通讯检测结果,通讯检测模型包括特征提取网络和全局公共检测器,特征提取网络和全局公共检测器基于表征每个信息源分布信息及其重要性的第一损失函数和表征待测设备待测目标和信息源在空间聚拢上的第二损失函数训练得到。
具体地,在得到第一通讯数据和信息源的第三通讯数据后,将第一通讯数据和第三通讯数据输入至通讯检测模型进行通讯检测,得到待测目标针对于通讯类别的通讯检测结果。
需要说明的是,通讯检测模型包括特征提取网络和全局公共检测器,为了保证通信检测模型的检测效果,该特征提取网络和全局公共检测器基于表征每个信息源分布信息及其重要性的第一损失函数和表征待测设备待测目标和信息源在空间聚拢上的第二损失函数训练得到。
进一步的,训练通讯检测模型,具体包括:
1、将待测目标的第一通讯样本数据和信息源的第二通讯样本数据分别输入至特征提取网络进行提取,得到第一通讯样本向量和第二通讯样本向量。
本实施例中,需要理解的是,物联网中不同设备产生的通讯数据可能拥有不同的维度,例如,信息源为车载车联网设备,其通讯数据为一个10维向量,而物联网网络中心(待测目标)的通讯数据可能为一个160维向量,因此,本发明实施例需要构建特征提取网络,该特征提取网络包括一个两层的全连接神经网络,采取包括但不限于ReLU的激活函数。进一步的,本实施例中,特征提取网络的数量与待测目标和信息源的总数相同,每个特征提取网络分别负责从一种设备的通讯数据中提取通讯向量。
具体地,在对物联网中某一种网络设备进行通讯检测之前,以该网络设备作为待测目标,以基于预设规则指定的网络设备作为信息源,利用信息源的通讯数据作为辅助来提升对待测目标的通讯数据的检测效果。在获得待测目标的第一通讯样本数据和信息源的第二通讯样本数据后,利用特征提取网络分别从第一通讯样本数据、第二通讯样本数据提取得到第一通讯样本向量、第二通讯样本向量。
2、利用第一通讯样本向量和第二通讯样本向量计算得到每个信息源的权重。
需要说明的是,为了对信息源进行加权以反映每个信息源的重要性,即信息源将通讯检测信息传递给待测目标的传递程度,算法会根据信息源与待测目标之间的特征空间差异进行权重赋值。
具体地,利用第一通讯样本向量和第二通讯样本向量计算得到每个信息源的权重,包括:
2.1、计算第一通讯样本向量在各个通讯类别的第一均值向量与每个第二通讯样本向量在各个通讯类别的第二均值向量之间的欧式距离并取均值,得到平均欧式距离。
具体地,平均欧式距离的计算方式请参阅上文,此处不再赘述。
2.2、根据每个信息源对应的平均欧式距离计算得到信息源的权重,权重的计算公式表示为:
其中,ωj表示第j个信息源的权重,distj表示第j个信息源与待测目标之间的平均欧式距离。
本实施例中,根据上述权重计算公式所计算出来的权重处在[0.75,1.25]区间范围内,这使得即使信息源与待测目标相距较近,该信息源也不会出现0权重从而因此失去对于待测目标的影响。此外,当信息源与待测目标相距较近时,权重较小,此时意味着待测目标已经较为充分的获取了该信息源所传递的通讯检测信息,因此,该信息源被赋予了一个相对较小的权重以反映其较小的重要性;反之,当信息源与待测目标相距较远时,权重较大,此时意味着待测目标尚未较为充分的获取该信息源所传递的通讯检测信息,因此,该信息源被赋予了一个相对较大的权重以增强其重要性,从而使得待测目标可以更好的掌握该信息源所具备的通讯检测信息。
3、将第一通讯样本向量、第二通讯样本向量分别输入至全局公共检测器进行分布预测,得到待测目标在各个通讯类别的第一预测分布向量和信息源在各个通讯类别的第二预测分布向量。
具体地,将信息源与待测目标的原始通讯数据通过特征提取网络映射至全局特征空间之后,利用全局公共检测器进行检测。
4、根据第一预测分布向量、第二预测分布向量、权重、第一通讯样本向量、第二通讯样本向量、第一损失函数和第二损失函数计算得到损失函数值。
具体地,第一损失函数用于表示不同信息源分布信息及其重要性,第二损失函数表示在空间特征这一角度对信息源的通讯数据和待测目标的通讯数据进行聚拢。
进一步的,计算第一损失函数的第一损失函数值,包括:
4.11根据第一预测分布向量计算第一预测分布均值向量。
其中,第一预测分布均值向量的计算公式为:其中,/>表示第一预测分布均值向量,|χ(k)|表示属于第k类通讯类别的通讯数据的数量,C()表示全局公共检测器,f(x)表示特征提取网络,/>表示第一预测分布向量,T表示温度参数。
4.12根据第一预测分布均值向量和第二预测分布向量计算信息源与待测目标之间的KL散度。
4.13、根据第一预测分布均值向量、KL散度、权重计算第一损失函数值。
其中,第一损失函数值的计算公式为: 其中,LI为第一损失函数值,k表示通讯类别的数量,n表示信息源的数量,ωj表示第j个信息源的权重,|χD|表示第一通讯样本数据的数量,Lce()表示交叉熵损失,yi表示通讯检测类别标签。
本实施例中,可以实现在通讯检测过程中将分布信息从信息丰富的信息源传递至待测目标,并加以权重以动态的反映信息源中信息的重要性,从而更好的实现精准的通讯检测。
进一步的,计算第二损失函数的第二损失函数值,包括:
4.21、将所有信息源的第二通讯样本数据合并为第三通讯样本数据,且将待测目标的第一通讯样本数据和所有信息源的第二通讯样本数据合并为第四通讯样本数据。
具体地,首先从特征空间距离的角度辅助信息源与待测目标之间的通讯检测信息传递。
4.22、利用特征提取网络从第三通讯样本数据、第四通讯样本数据中分别提取得到第三通讯样本向量、第四通讯样本向量。
4.23、分别计算第一通讯样本向量、第三通讯样本向量、第四通讯样本向量在各个通讯类别的第一均值向量、第三均值向量、第四均值向量。
具体地,每个通讯类别对应有至少一个通讯数据,对所有的通讯数据对应的向量取均值即可得到每个通讯类别的均值向量。
4.24、计算第一均值向量、第三均值向量、第四均值向量两两之间的欧式距离,再求和,得到第一欧式距离损失函数值。
其中,第一欧式距离损失函数值的计算公式为:
4.25、利用聚类算法分别从各个通讯类别的第一通讯样本向量中选取第二预设数量个第一特征点、从各个通讯类别的第三通讯样本向量中选取第二预设数量个第二特征点。
需要说明的是,还需要从局部的代表性点的角度出发,对信息源与待测目标进行空间聚拢。其中,该聚类算法包括但不限于Kmeans++的聚类算法。
4.26、计算第一特征点与第二特征点两两之间的欧式距离,并取平均,得到第二欧式距离损失函数值。
其中,第二欧式距离损失函数值的计算公式为:
其中,LL表示第二欧式距离损失函数值,R表示第二预设数量,表示第一通讯样本向量中选取的R个第i类通讯类别的第一特征点中的第n个,/>表示第三通讯样本向量中选取的R个第i类通讯类别的第二特征点中的第m个。
4.27、根据第一欧式距离损失函数值和第二欧式距离损失函数值计算得到第二损失函数值。
具体地,第二损失函数值=第一欧式距离损失函数值+第二欧式距离损失函数值。
5、根据损失函数值和预设优化算法对特征提取网络和全局公共检测器进行迭代训练。
具体地,该预设优化算法包括但不限于随机梯度下降法等优化算法。
本实施例的通讯检测方法通过根据通讯检测任务,利用数据之间的相似性从网络设备中选取用以辅助待测目标进行通讯检测的信息源,该网络设备包括物联网及其网络中心中的设备,再将待测目标的通讯数据和信息源的通讯数据输入至通讯检测模型进行通讯检测,得到待测目标针对于通讯类别的通讯检测结果,该通讯检测模型基于表征每个信息源分布信息及其重要性的第一损失函数和表征待测目标和信息源在空间聚拢上的第二损失函数训练得到,从而能够在检测待测目标的通讯数据时,以信息源作为辅助,利用信息源与待测目标进行信息之间的互补,帮助对待测目标的通讯数据进行更加精细化的检测,提升对待测目标通讯数据的检测效果,提高了检测准确性。
图2是本发明实施例的通讯检测装置的功能模块示意图。如图2所示,该通讯检测装置20包括接收模块21、选取模块22和预测模块23。
接收模块21,用于接收通讯检测任务,通讯检测任务包括待测目标、通讯类别以及待测目标所处网络设备;选取模块22,用于基于待测目标在通讯类别对应的第一通讯数据和网络设备中其他目标在通讯类别对应的第二通讯数据之间的相似度从其他目标中筛选得到信息源;预测模块23,用于将第一通讯数据和信息源的第三通讯数据输入至通讯检测模型进行通讯检测,得到待测目标针对于通讯类别的通讯检测结果,通讯检测模型包括特征提取网络和全局公共检测器,特征提取网络和全局公共检测器基于表征每个信息源分布信息及其重要性的第一损失函数和表征待测设备待测目标和信息源在空间聚拢上的第二损失函数训练得到。
可选地,选取模块22执行基于待测目标在通讯类别对应的第一通讯数据和网络设备中其他目标在通讯类别对应的第二通讯数据之间的相似度从其他目标中筛选得到信息源,包括:获取待测目标的第一通讯数据和其他目标的第二通讯数据,并利用特征提取网络从第一通讯数据提取得到第一通讯向量,从第二通讯数据提取得到第二通讯向量;根据第一通讯数据在各个通讯类别的第一数据分布、第二通讯数据在各个通讯类别的第二数据分布计算得到统计量;根据统计量对所有其他目标进行排序,得到分布排序;计算第一通讯向量在各个通讯类别的第一均值向量与每个第二通讯向量在各个通讯类别的第二均值向量之间的欧式距离并取均值,得到平均欧式距离;根据平均欧式距离对所有其他目标进行排序,得到欧式排序;根据分布排序和欧式排序确认所有其他目标的最终排序,并根据最终排序选取第一预设数量个其他目标作为信息源。
可选地,该通讯检测装置20还包括训练模块,用于训练通讯检测模型,具体包括:将待测目标的第一通讯样本数据和信息源的第二通讯样本数据分别输入至特征提取网络进行提取,得到第一通讯样本向量和第二通讯样本向量;利用第一通讯样本向量和第二通讯样本向量计算得到每个信息源的权重;将第一通讯样本向量、第二通讯样本向量分别输入至全局公共检测器进行分布预测,得到待测目标在各个通讯类别的第一预测分布向量和信息源在各个通讯类别的第二预测分布向量;根据第一预测分布向量、第二预测分布向量、权重、第一通讯样本向量、第二通讯样本向量、第一损失函数和第二损失函数计算得到损失函数值;根据损失函数值和预设优化算法对特征提取网络和全局公共检测器进行迭代训练。
可选地,训练模块执行利用第一通讯样本向量和第二通讯样本向量计算得到每个信息源的权重,包括:计算第一通讯样本向量在各个通讯类别的第一均值向量与每个第二通讯样本向量在各个通讯类别的第二均值向量之间的欧式距离并取均值,得到平均欧式距离;根据每个信息源对应的平均欧式距离计算得到信息源的权重,权重的计算公式表示为:
其中,ωj表示第j个信息源的权重,distj表示第j个信息源与待测目标之间的平均欧式距离。
可选地,训练模块计算第一损失函数的第一损失函数值的操作具体包括:根据第一预测分布向量计算第一预测分布均值向量;根据第一预测分布均值向量和第二预测分布向量计算信息源与待测目标之间的KL散度;根据第一预测分布均值向量、KL散度、权重计算第一损失函数值。
可选地,第一预测分布均值向量的计算公式为:其中,/>表示第一预测分布均值向量,|χ(k)|表示属于第k类通讯类别的通讯数据的数量,C()表示全局公共检测器,f(x)表示特征提取网络,/>表示第一预测分布向量,T表示温度参数;
第一损失函数值的计算公式为:其中,LI为第一损失函数值,k表示通讯类别的数量,n表示信息源的数量,ωj表示第j个信息源的权重,|χD|表示第一通讯样本数据的数量,Lce()表示交叉熵损失,yi表示通讯检测类别标签。
可选地,训练模块执行计算第二损失函数的第二损失函数值的操作具体包括:将所有信息源的第二通讯样本数据合并为第三通讯样本数据,且将待测目标的第一通讯样本数据和所有信息源的第二通讯样本数据合并为第四通讯样本数据;利用特征提取网络从第三通讯样本数据、第四通讯样本数据中分别提取得到第三通讯样本向量、第四通讯样本向量;分别计算第一通讯样本向量、第三通讯样本向量、第四通讯样本向量在各个通讯类别的第一均值向量、第三均值向量、第四均值向量;计算第一均值向量、第三均值向量、第四均值向量两两之间的欧式距离,再求和,得到第一欧式距离损失函数值;利用聚类算法分别从各个通讯类别的第一通讯样本向量中选取第二预设数量个第一特征点、从各个通讯类别的第三通讯样本向量中选取第二预设数量个第二特征点;计算第一特征点与第二特征点两两之间的欧式距离,并取平均,得到第二欧式距离损失函数值;根据第一欧式距离损失函数值和第二欧式距离损失函数值计算得到第二损失函数值。
可选地,第一欧式距离损失函数值的计算公式为:
第二欧式距离损失函数值的计算公式为:
其中,LL表示第二欧式距离损失函数值,R表示第二预设数量,表示第一通讯样本向量中选取的R个第i类通讯类别的第一特征点中的第n个,/>表示第三通讯样本向量中选取的R个第i类通讯类别的第二特征点中的第m个。
关于上述实施例通讯检测装置中各模块实现技术方案的其他细节,可参见上述实施例中的通讯检测方法中的描述,此处不再赘述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
请参阅图3,图3为本发明实施例的计算机设备的结构示意图。如图3所示,该计算机设备30包括处理器31及和处理器31耦接的存储器32,存储器32中存储有程序指令,程序指令被处理器31执行时,使得处理器31执行上述任一实施例所述的通讯检测方法步骤。
其中,处理器31还可以称为CPU(Central Processing Unit,中央处理单元)。处理器31可能是一种集成电路芯片,具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图4,图4为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述通讯检测方法的程序指令41,其中,该程序指令41可以以软件产品的形式存储在上述存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等计算机设备设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的计算机设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种通讯检测方法,其特征在于,所述方法包括:
接收通讯检测任务,所述通讯检测任务包括待测目标、通讯类别以及所述待测目标所处网络设备;
基于所述待测目标在所述通讯类别对应的第一通讯数据和所述网络设备中其他目标在所述通讯类别对应的第二通讯数据之间的相似度从所述其他目标中筛选得到信息源;
将所述第一通讯数据和所述信息源的第三通讯数据输入至通讯检测模型进行通讯检测,得到所述待测目标针对于所述通讯类别的通讯检测结果,所述通讯检测模型包括特征提取网络和全局公共检测器,所述特征提取网络和所述全局公共检测器基于表征每个所述信息源分布信息及其重要性的第一损失函数和表征所述待测目标和所述信息源在空间聚拢上的第二损失函数训练得到。
2.根据权利要求1所述的通讯检测方法,其特征在于,所述基于所述待测目标在所述通讯类别对应的第一通讯数据和所述网络设备中其他目标在所述通讯类别对应的第二通讯数据之间的相似度从所述其他目标中筛选得到信息源,包括:
获取所述待测目标的所述第一通讯数据和其他目标的第二通讯数据,并利用所述特征提取网络从所述第一通讯数据中提取得到第一通讯向量,从所述第二通讯数据提取得到第二通讯向量;
根据所述第一通讯数据在各个通讯类别的第一数据分布、所述第二通讯数据在各个通讯类别的第二数据分布计算得到统计量;
根据所述统计量对所有其他目标进行排序,得到分布排序;
计算所述第一通讯向量在各个通讯类别的第一均值向量与每个第二通讯向量在各个通讯类别的第二均值向量之间的欧式距离并取均值,得到平均欧式距离;
根据所述平均欧式距离对所有其他目标进行排序,得到欧式排序;
根据所述分布排序和欧式排序确认所有其他目标的最终排序,并根据最终排序选取第一预设数量个其他目标作为所述信息源。
3.根据权利要求1所述的通讯检测方法,其特征在于,训练所述通讯检测模型,具体包括:
将所述待测目标的第一通讯样本数据和所述信息源的第二通讯样本数据分别输入至所述特征提取网络进行提取,得到第一通讯样本向量和第二通讯样本向量;
利用所述第一通讯样本向量和所述第二通讯样本向量计算得到每个信息源的权重;
将所述第一通讯样本向量、所述第二通讯样本向量分别输入至所述全局公共检测器进行分布预测,得到所述待测目标在各个通讯类别的第一预测分布向量和所述信息源在各个通讯类别的第二预测分布向量;
根据所述第一预测分布向量、所述第二预测分布向量、所述权重、所述第一通讯样本向量、所述第二通讯样本向量、所述第一损失函数和所述第二损失函数计算得到损失函数值;
根据所述损失函数值和预设优化算法对所述特征提取网络和所述全局公共检测器进行迭代训练。
5.根据权利要求3所述的通讯检测方法,其特征在于,计算所述第一损失函数的第一损失函数值,包括:
根据所述第一预测分布向量计算第一预测分布均值向量;
根据所述第一预测分布均值向量和所述第二预测分布向量计算所述信息源与所述待测目标之间的KL散度;
根据所述第一预测分布均值向量、所述KL散度、所述权重计算所述第一损失函数值。
6.根据权利要求5所述的通讯检测方法,其特征在于,所述第一预测分布均值向量的计算公式为:其中,/>表示所述第一预测分布均值向量,/>表示属于第k类通讯类别的通讯数据的数量,C()表示所述全局公共检测器,f(x)表示所述特征提取网络,/>表示所述第一预测分布向量,T表示温度参数;
7.根据权利要求3所述的通讯检测方法,其特征在于,计算所述第二损失函数的第二损失函数值,包括:
将所有信息源的第二通讯样本数据合并为第三通讯样本数据,且将所述待测目标的第一通讯样本数据和所有信息源的第二通讯样本数据合并为第四通讯样本数据;
利用所述特征提取网络从所述第三通讯样本数据、所述第四通讯样本数据中分别提取得到第三通讯样本向量、第四通讯样本向量;
分别计算所述第一通讯样本向量、所述第三通讯样本向量、所述第四通讯样本向量在各个通讯类别的第一均值向量、第三均值向量、第四均值向量;
计算所述第一均值向量、所述第三均值向量、所述第四均值向量两两之间的欧式距离,再求和,得到第一欧式距离损失函数值;
利用聚类算法分别从各个通讯类别的第一通讯样本向量中选取第二预设数量个第一特征点、从各个通讯类别的第三通讯样本向量中选取所述第二预设数量个第二特征点;
计算所述第一特征点与所述第二特征点两两之间的欧式距离,并取平均,得到第二欧式距离损失函数值;
根据所述第一欧式距离损失函数值和所述第二欧式距离损失函数值计算得到所述第二损失函数值。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、与所述处理器耦接的存储器,所述存储器中存储有程序指令,所述程序指令被所述处理器执行时,使得所述处理器执行如权利要求1-8中任一项权利要求所述的通讯检测方法的步骤。
10.一种存储介质,其特征在于,存储有能够实现如权利要求1-8中任一项所述的通讯检测方法的程序指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210973887.7A CN115378856B (zh) | 2022-08-15 | 2022-08-15 | 通讯检测方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210973887.7A CN115378856B (zh) | 2022-08-15 | 2022-08-15 | 通讯检测方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115378856A CN115378856A (zh) | 2022-11-22 |
CN115378856B true CN115378856B (zh) | 2023-07-14 |
Family
ID=84066571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210973887.7A Active CN115378856B (zh) | 2022-08-15 | 2022-08-15 | 通讯检测方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115378856B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344692A (zh) * | 2021-04-24 | 2021-09-03 | 大连理工大学 | 多信息源融合的网络借贷信用风险评估模型的建立方法 |
CN113392359A (zh) * | 2021-08-18 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 多目标预测方法、装置、设备及存储介质 |
WO2021258480A1 (zh) * | 2020-06-22 | 2021-12-30 | 网宿科技股份有限公司 | 一种基于图神经网络的网络爬虫检测方法、***及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003271656A (ja) * | 2002-03-19 | 2003-09-26 | Fujitsu Ltd | 関係付候補生成装置,関係付候補生成方法,関係付システム,関係付候補生成プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体 |
US8572107B2 (en) * | 2011-12-09 | 2013-10-29 | International Business Machines Corporation | Identifying inconsistencies in object similarities from multiple information sources |
-
2022
- 2022-08-15 CN CN202210973887.7A patent/CN115378856B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021258480A1 (zh) * | 2020-06-22 | 2021-12-30 | 网宿科技股份有限公司 | 一种基于图神经网络的网络爬虫检测方法、***及装置 |
CN113344692A (zh) * | 2021-04-24 | 2021-09-03 | 大连理工大学 | 多信息源融合的网络借贷信用风险评估模型的建立方法 |
CN113392359A (zh) * | 2021-08-18 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 多目标预测方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
基于KL距离的卷积神经网络人脸特征提取模型;罗可;周安众;;长沙理工大学学报(自然科学版)(02);全文 * |
检测信息源的群集人员监测及预警***研究;肖宾杰;;电气自动化(01);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115378856A (zh) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108280477B (zh) | 用于聚类图像的方法和装置 | |
CN109583332B (zh) | 人脸识别方法、人脸识别***、介质及电子设备 | |
CN111860573A (zh) | 模型训练方法、图像类别检测方法、装置和电子设备 | |
CN112085952A (zh) | 监控车辆数据方法、装置、计算机设备及存储介质 | |
WO2021253510A1 (zh) | 基于双向交互网络的行人搜索方法、***、装置 | |
CN110348516B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN109902644A (zh) | 人脸识别方法、装置、设备和计算机可读介质 | |
CN102254394A (zh) | 一种基于视频差异分析的输电线路杆塔防盗监控方法 | |
WO2021190470A1 (zh) | 电子设备定位的方法、装置、服务器、***以及存储介质 | |
WO2022142903A1 (zh) | 身份识别方法、装置、电子设备及相关产品 | |
CN112770265B (zh) | 一种行人身份信息获取方法、***、服务器和存储介质 | |
CN110909222A (zh) | 基于聚类的用户画像建立方法、装置、介质及电子设备 | |
CN112883990A (zh) | 数据分类方法及装置、计算机存储介质、电子设备 | |
CN112712102A (zh) | 可同时识别已知和未知雷达辐射源个体的识别仪 | |
CN113781767A (zh) | 一种基于多源感知的交通数据融合方法及*** | |
CN108304852B (zh) | 道路路段类型的确定方法、装置以及存储介质、电子装置 | |
US20230409422A1 (en) | Systems and Methods for Anomaly Detection in Multi-Modal Data Streams | |
CN115378856B (zh) | 通讯检测方法、设备及存储介质 | |
CN115114329A (zh) | 数据流异常检测的方法、装置、电子设备和存储介质 | |
CN116935083A (zh) | 一种图像聚类方法和装置 | |
CN116978093A (zh) | 基于空间数据增强和对称互注意力的跨模态行人重识别方法 | |
CN116484206A (zh) | 基于seim的未知辐射源个体识别方法及*** | |
CN115392351A (zh) | 风险用户识别方法、装置、电子设备及存储介质 | |
CN113762037A (zh) | 图像识别方法、装置、设备以及存储介质 | |
CN117478434B (zh) | 边缘节点网络流量数据处理方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |