CN116996527B - 一种汇聚分流器数据同步的方法及存储介质 - Google Patents
一种汇聚分流器数据同步的方法及存储介质 Download PDFInfo
- Publication number
- CN116996527B CN116996527B CN202311238138.0A CN202311238138A CN116996527B CN 116996527 B CN116996527 B CN 116996527B CN 202311238138 A CN202311238138 A CN 202311238138A CN 116996527 B CN116996527 B CN 116996527B
- Authority
- CN
- China
- Prior art keywords
- flow
- converging
- data
- png image
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012098 association analyses Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000013500 data storage Methods 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 101
- 238000013507 mapping Methods 0.000 claims description 64
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000014509 gene expression Effects 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000000265 homogenisation Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 11
- 230000002159 abnormal effect Effects 0.000 abstract description 9
- 238000012549 training Methods 0.000 description 51
- 230000002776 aggregation Effects 0.000 description 22
- 238000004220 aggregation Methods 0.000 description 22
- 238000009826 distribution Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
公开了一种汇聚分流器数据同步的方法及存储介质。其首先通过每个汇聚分流器的同步模块来控制所述每个汇聚分流器之间的数据通信与同步，接着，通过每个所述汇聚分流器的数据存储模块存储来自其他所述汇聚分流器的数据，然后，通过每个所述汇聚分流器的数据处理模块对所述来自其他所述汇聚分流器的数据进行处理。这样，可以在进行汇聚分流器的数据同步过程中，通过对于各个汇聚分流器的流量数据包进行关联分析来识别出整个网络中的异常流量模式，从而对于待诊断汇聚分流器的流量数据包是否正常进行检测，以能够及时发现数据同步或传输过程中的错误，确保汇聚分流器数据同步的一致性和完整性。
Description
技术领域
本公开涉及数据同步领域，且更为具体地，涉及一种汇聚分流器数据同步的方法及存储介质。
背景技术
在现代网络中，汇聚分流器扮演着重要的角色，用于收集和处理来自不同源的数据流量。然而，在多个汇聚分流器之间同步数据是一个复杂的问题。
传统的汇聚分流器数据同步方案通常涉及复杂的配置和管理过程，需要手动设置同步规则和参数，对网络管理员来说是一项繁琐的任务。此外，当网络规模增大时，管理和维护的复杂性也会增加。不仅如此，传统方案在数据量大、网络负载高的情况下，同步过程可能会出现延迟，导致数据在不同汇聚分流器之间的不一致性。
因此，期望一种优化的汇聚分流器数据同步的方案。
发明内容
有鉴于此，本公开提出了一种汇聚分流器数据同步的方法及存储介质，可以在进行汇聚分流器的数据同步过程中，通过对于各个汇聚分流器的流量数据包进行关联分析来识别出整个网络中的异常流量模式，从而对于待诊断汇聚分流器的流量数据包是否正常进行检测，以能够及时发现数据同步或传输过程中的错误，确保汇聚分流器数据同步的一致性和完整性。
根据本公开的一方面，提供了一种汇聚分流器数据同步的方法，其包括：
通过每个汇聚分流器的同步模块来控制所述每个汇聚分流器之间的数据通信与同步；
通过每个所述汇聚分流器的数据存储模块存储来自其他所述汇聚分流器的数据；以及
通过每个所述汇聚分流器的数据处理模块对所述来自其他所述汇聚分流器的数据进行处理。
根据本公开的另一方面，提供了一种存储介质，其中，所述存储介质中存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行前述的汇聚分流器数据同步的方法。
根据本公开的实施例，其首先通过每个汇聚分流器的同步模块来控制所述每个汇聚分流器之间的数据通信与同步，接着，通过每个所述汇聚分流器的数据存储模块存储来自其他所述汇聚分流器的数据，然后，通过每个所述汇聚分流器的数据处理模块对所述来自其他所述汇聚分流器的数据进行处理。这样，可以通过对于各个汇聚分流器的流量数据包进行关联分析来识别出整个网络中的异常流量模式，从而对于待诊断汇聚分流器的流量数据包是否正常进行检测，以能够及时发现数据同步或传输过程中的错误，确保汇聚分流器数据同步的一致性和完整性。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开的实施例的汇聚分流器数据同步的方法的流程图。
图2示出根据本公开的实施例的汇聚分流器数据同步的方法的子步骤S130的流程图。
图3示出根据本公开的实施例的汇聚分流器数据同步的方法的子步骤S130的架构示意图。
图4示出根据本公开的实施例的汇聚分流器数据同步的方法的子步骤S132的流程图。
图5示出根据本公开的实施例的汇聚分流器数据同步的方法进一步包括的训练步骤的流程图。
图6示出根据本公开的实施例的汇聚分流器数据同步的***的框图。
图7示出根据本公开的实施例的汇聚分流器数据同步的方法的应用场景图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本公开的部分实施例，而不是全部的实施例。基于本公开实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本公开保护的范围。
如本公开和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
针对上述技术问题，本申请的技术方案通过设置同步模块、时间戳模块和版本控制模块，可以实现在多个汇聚分流器之间同步数据，以保证数据的一致性和完整性。并且，通过设置数据存储模块和数据处理模块，可以实现对本地的数据和来自其他汇聚分流器的数据进行存储和处理，以生成最终的输出数据。同时，通过使用时间戳和版本号作为标识，可以实现对不同来源和状态的数据进行区分和选择，以提高数据的准确性和效率。
图1示出根据本公开的实施例的汇聚分流器数据同步的方法的流程图。如图1所示，根据本公开实施例的汇聚分流器数据同步的方法，包括步骤：S110，通过每个汇聚分流器的同步模块来控制所述每个汇聚分流器之间的数据通信与同步；S120，通过每个所述汇聚分流器的数据存储模块存储来自其他所述汇聚分流器的数据；以及，S130，通过每个所述汇聚分流器的数据处理模块对所述来自其他所述汇聚分流器的数据进行处理。
相应地，考虑到在实际进行汇聚分流器的数据同步过程中，可能会存在有故障或错误的汇聚分流器，此时需要对于异常汇聚分流器进行诊断以帮助识别汇聚分流器中的故障或错误。并且，还考虑到如果汇聚分流器的流量数据包出现异常，可能意味着汇聚分流器设备、软件或配置存在问题，需要及时进行故障诊断和修复，以确保网络的正常运行。然而，对于某一个汇聚分流器的流量数据包进行监测只能观察到特定区域或特定类型的流量，无法准确判断是否存在异常，也并不能够及时有效地发现其中存在的问题，导致对于汇聚分流器诊断的效果不理想，从而影响了汇聚分流器的数据同步质量和一致性。
基于此，本申请的技术构思为在进行汇聚分流器的数据同步过程中，通过对于各个汇聚分流器的流量数据包进行关联分析来识别出整个网络中的异常流量模式，从而对于待诊断汇聚分流器的流量数据包是否正常进行检测，以能够及时发现数据同步或传输过程中的错误，确保汇聚分流器数据同步的一致性和完整性。
图2示出根据本公开的实施例的汇聚分流器数据同步的子步骤S130的方法的流程图。图3示出根据本公开的实施例的汇聚分流器数据同步的方法的子步骤S130的架构示意图。如图2和图3所示，根据本公开实施例的汇聚分流器数据同步的方法，通过每个所述汇聚分流器的数据处理模块对所述来自其他所述汇聚分流器的数据进行处理，包括：S131，获取其他各个所述汇聚分流器的流量数据包；S132，对所述各个汇聚分流器的流量数据包进行关联分析以得到流量关联特征；S133，从所述各个汇聚分流器的流量数据包提取待诊断汇聚分流器的流量特征；S134，将所述待诊断汇聚分流器的流量特征映射到所述流量关联特征中以得到流量映射关联特征；以及，S135，基于所述流量映射关联特征，确定待诊断汇聚分流器的流量数据包是否正常。
具体地，在本申请的技术方案中，首先，获取各个汇聚分流器的流量数据包。应可以理解，由于所述各个汇聚分流器的流量数据包中包含了丰富的信息，包括源地址、目标地址、端口号、协议类型等，因而所述流量数据包通常是一系列的数字和字节，难以直接理解和分析。基于此，在本申请的技术方案中，进一步将所述各个汇聚分流器的流量数据包转化为流量PNG图像以得到多个流量PNG图像，以此来将复杂的数据转化为可视化的形式，可以提供更直观的可视化表示，使得数据更易于理解和分析。
然后，对于所述多个流量PNG图像来说，其中包含有所述各个汇聚分流器的流量数据包的特征分布信息，因此，在本申请的技术方案中，进一步将所述多个流量PNG图像分别通过基于卷积神经网络模型的流量模式特征提取器中进行特征挖掘，以分别提取出所述各个流量PNG图像中的隐含特征分布信息，从而得到多个流量PNG图像特征向量。并且，再从所述多个流量PNG图像特征向量中提取出有关于待诊断汇聚分流器的流量PNG图像特征向量，以用于表示所述待诊断汇聚分流器的流量PNG图像特征分布信息，即所述待诊断汇聚分流器的流量数据包隐含特征信息。
进一步地，还考虑到由于所述各个流量PNG图像中存在着有关于所述各个汇聚分流器的流量数据包隐含特征信息，并且所述各个汇聚分流器的流量数据包特征之间具有着关于整体的关联性关系，共同决定着网络的整体情况。因此，在本申请的技术方案中，进一步将所述多个流量PNG图像通过基于三维卷积神经网络模型的汇聚分流器间流量关联模式特征提取器中进行特征挖掘，以提取出所述各个流量PNG图像的隐含特征之间的关联性特征分布信息，从而得到流量PNG图像关联特征向量。这样，能够更好地捕捉到所述各个汇聚分流器之间的流量关联模式特征，从而提高数据同步和关联分析的准确性和可靠性。
相应地，在步骤S132中，如图4所示，对所述各个汇聚分流器的流量数据包进行关联分析以得到流量关联特征，包括：S1321，将所述各个汇聚分流器的流量数据包转化为流量PNG图像以得到多个流量PNG图像；以及，S1322，将所述多个流量PNG图像通过基于三维卷积神经网络模型的汇聚分流器间流量关联模式特征提取器以得到流量PNG图像关联特征向量作为所述流量关联特征。应可以理解，三维卷积神经网络模型是一种深度学习模型，与传统的二维卷积神经网络不同，三维卷积神经网络可以在时间维度上进行卷积操作，从而捕捉到数据在时间上的特征。在上述步骤中，使用基于三维卷积神经网络模型的汇聚分流器间流量关联模式特征提取器，主要是为了从多个流量PNG图像中提取出流量关联特征。通过对多个流量PNG图像进行卷积操作，网络可以学习到不同时间点上的流量分布、变化模式等关联信息。最终，提取到的流量PNG图像关联特征向量可以用作流量关联特征，用于后续的分析和处理。三维卷积神经网络模型的使用可以帮助提取出流量数据在时间维度上的关联特征，从而更好地理解和分析网络流量数据。这对于网络流量监测、异常检测、入侵检测等任务非常有用，可以提高对网络行为的理解和识别能力。
相应地，在步骤S133中，从所述各个汇聚分流器的流量数据包提取待诊断汇聚分流器的流量特征，包括：将所述多个流量PNG图像分别通过基于卷积神经网络模型的流量模式特征提取器以得到多个流量PNG图像特征向量，并从所述多个流量PNG图像特征向量提取待诊断汇聚分流器的流量PNG图像特征向量作为所述待诊断汇聚分流器的流量特征。应可以理解，卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，其通过卷积操作和池化操作来提取输入数据的特征，并通过全连接层进行分类或回归等任务。在步骤S133中，使用基于卷积神经网络模型的流量模式特征提取器来提取待诊断汇聚分流器的流量特征。具体而言，将多个流量PNG图像分别输入到流量模式特征提取器中，经过卷积操作和池化操作后，得到多个流量PNG图像特征向量。然后，从这些特征向量中提取出待诊断汇聚分流器的流量PNG图像特征向量，作为该汇聚分流器的流量特征。
进而，再计算所述待诊断汇聚分流器的流量PNG图像特征向量相对于所述流量PNG图像关联特征向量的转移矩阵，以此来将所述待诊断汇聚分流器的流量特征映射到所述各个汇聚分流器之间的流量关联模式特征的高维空间中，从而得到基于以所述各个汇聚分流器之间的全局流量关联特征分布信息为基础背景下的有关于所述待诊断汇聚分流器的流量隐含特征信息，从而得到流量PNG图像映射关联特征矩阵。
相应地，在步骤S134中，将所述待诊断汇聚分流器的流量特征映射到所述流量关联特征中以得到流量映射关联特征，包括：计算所述待诊断汇聚分流器的流量PNG图像特征向量相对于所述流量PNG图像关联特征向量的转移矩阵以得到流量PNG图像映射关联特征矩阵作为所述流量映射关联特征。
接着，进一步再将所述流量PNG图像映射关联特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待诊断汇聚分流器的流量数据包是否正常。也就是说，以所述各个汇聚分流器之间的全局流量关联特征为背景下的有关于所述待诊断汇聚分流器的流量隐含特征信息来进行分类处理，从而对于待诊断汇聚分流器的流量数据包是否正常进行检测，以及时发现数据同步或传输过程中的错误，确保汇聚分流器数据同步的一致性和完整性。
相应地，在步骤S135中，基于所述流量映射关联特征，确定待诊断汇聚分流器的流量数据包是否正常，包括：将所述流量PNG图像映射关联特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待诊断汇聚分流器的流量数据包是否正常。
也就是，在本公开的技术方案中，所述分类器的标签包括待诊断汇聚分流器的流量数据包正常(第一标签)，以及，待诊断汇聚分流器的流量数据包不正常(第二标签)，其中，所述分类器通过软最大值函数来确定所述流量PNG图像映射关联特征矩阵属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“待诊断汇聚分流器的流量数据包是否正常”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，待诊断汇聚分流器的流量数据包是否正常的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“待诊断汇聚分流器的流量数据包是否正常”的语言文本意义。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
特别地，在本申请的技术方案中，所述待诊断汇聚分流器的流量PNG图像特征向量表达待诊断汇聚分流器的流量PNG图像的图像语义特征，而所述流量PNG图像关联特征向量表达多个流量PNG图像之间的样本维度关联下的图像语义特征，因此，在增加了样本维度下的图像源语义表达的情况下，所述流量PNG图像关联特征向量与所述待诊断汇聚分流器的流量PNG图像特征向量分别对应于单样本模态和跨样本模态下的关联图像语义特征的特征分布会具有显著的不同，这样，在计算所述待诊断汇聚分流器的流量PNG图像特征向量相对于所述流量PNG图像关联特征向量的域转移特征的情况下，由于所述流量PNG图像映射关联特征矩阵的每个行特征向量与转移源特征向量的内积作为转移目的特征向量的相应位置的特征值，因此在所述流量PNG图像映射关联特征矩阵在分类时也会基于行特征向量的局部表达尺度下来进行尺度启发式的回归概率映射，但是考虑到在行特征向量的局部表达尺度上，所述流量PNG图像映射关联特征向量实质上也融合了单样本模态和跨样本模态下的关联图像语义特征的特征表示，这会导致所述分类器的训练效率降低。
基于此，本申请在将所述流量PNG图像映射关联特征矩阵通过分类器进行分类时，对所述流量PNG图像映射关联特征矩阵展开后得到的流量PNG图像映射关联特征向量，例如记为进行特征秩表达的语义信息均一化激活。
相应地，在一种可能的实现方式中，将所述流量PNG图像映射关联特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待诊断汇聚分流器的流量数据包是否正常，包括：对所述流量PNG图像映射关联特征矩阵进行矩阵展开以得到流量PNG图像映射关联特征向量；对所述流量PNG图像映射关联特征向量进行特征秩表达的语义信息均一化激活以得到优化流量PNG图像映射关联特征向量；使用所述分类器的全连接层对所述优化流量PNG图像映射关联特征向量进行全连接编码以得到全连接优化流量PNG图像映射关联特征向量；将所述全连接优化流量PNG图像映射关联特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
具体地，对所述流量PNG图像映射关联特征向量进行特征秩表达的语义信息均一化激活以得到优化流量PNG图像映射关联特征向量，包括：以如下优化公式对所述流量PNG图像映射关联特征向量进行特征秩表达的语义信息均一化激活以得到所述优化流量PNG图像映射关联特征向量；
其中，所述优化公式为：
其中，是所述流量PNG图像映射关联特征向量，/>是所述流量PNG图像映射关联特征向量/>的第/>个特征值，/>表示所述流量PNG图像映射关联特征向量的二范数，/>是以2为底的对数，且/>是权重超参数，/>是所述优化流量PNG图像映射关联特征向量的第/>个特征值。
这里，考虑到所述流量PNG图像映射关联特征向量的特征分布在高维特征空间到分类回归空间时的特征分布映射，在基于混合样本模态空间内的图像语义特征的不同的特征分布级别上会呈现不同的映射模式，导致基于尺度启发式的映射策略无法获得最优效率，因而基于特征向量范数的秩表达语义信息均一化结合尺度进行特征匹配，可以将相似特征秩表达以类似方式激活，并降低差异较大的特征秩表达之间的相关性，从而解决所述流量PNG图像映射关联特征向量/>的特征分布在不同空间秩表达下的概率表达映射效率低下的问题，提升所述流量PNG图像映射关联特征矩阵通过分类器进行分类回归时的训练效率。
进一步地，在本申请的技术方案中，所述的汇聚分流器数据同步的方法，其还包括训练步骤：用于对所述基于卷积神经网络模型的流量模式特征提取器、所述基于三维卷积神经网络模型的汇聚分流器间流量关联模式特征提取器和所述分类器进行训练。
相应地，如图5所示，所述训练步骤，包括：S210，获取训练数据，所述训练数据包括各个汇聚分流器的训练流量数据包，以及，所述待诊断汇聚分流器的流量数据包是否正常的真实值；S220，将所述各个汇聚分流器的训练流量数据包转化为训练流量PNG图像以得到多个训练流量PNG图像；S230，将所述多个训练流量PNG图像分别通过所述基于卷积神经网络模型的流量模式特征提取器以得到多个训练流量PNG图像特征向量，并从所述多个训练流量PNG图像特征向量提取待诊断汇聚分流器的训练流量PNG图像特征向量；S240，将所述多个训练流量PNG图像通过所述基于三维卷积神经网络模型的汇聚分流器间流量关联模式特征提取器以得到训练流量PNG图像关联特征向量；S250，计算所述待诊断汇聚分流器的训练流量PNG图像特征向量相对于所述训练流量PNG图像关联特征向量的转移矩阵以得到训练流量PNG图像映射关联特征矩阵；S260，将所述训练流量PNG图像映射关联特征矩阵通过所述分类器以得到分类损失函数值；S270，计算所述待诊断汇聚分流器的训练流量PNG图像特征向量和所述训练流量PNG图像关联特征向量的共有流形隐式相似性因数以得到共有流形隐式相似性损失函数值；以及，S280，以所述分类损失函数值和所述共有流形隐式相似性损失函数值的加权和作为损失函数值，并通过梯度下降的方向传播来对所述基于卷积神经网络模型的流量模式特征提取器、所述基于三维卷积神经网络模型的汇聚分流器间流量关联模式特征提取器和所述分类器进行训练。
特别地，在本申请的技术方案中，所述待诊断汇聚分流器的训练流量PNG图像特征向量表达待诊断汇聚分流器的训练流量PNG图像的图像语义特征，而所述训练流量PNG图像关联特征向量表达多个训练流量PNG图像之间的样本维度关联下的图像语义特征，因此，在增加了样本维度下的图像源语义表达的情况下，所述训练流量PNG图像关联特征向量与所述待诊断汇聚分流器的训练流量PNG图像特征向量分别对应于单样本模态和跨样本模态下的关联图像语义特征的特征分布会具有显著的不同，这样，在计算所述待诊断汇聚分流器的训练流量PNG图像特征向量相对于所述训练流量PNG图像关联特征向量的域转移特征的情况下，所述训练流量PNG图像映射关联特征矩阵也会具有在高维特征空间内的高维特征流形表达的几何单调性差的问题，从而影响其通过分类器的分类回归的收敛效果，即，降低了训练速度和训练结果的准确性。
基于此，本申请的申请人针对所述待诊断汇聚分流器的训练流量PNG图像特征向量，例如记为和所述训练流量PNG图像关联特征向量，例如记为/>，引入共有流形隐式相似性因数作为损失函数。
相应地，在一个具体示例中，计算所述待诊断汇聚分流器的训练流量PNG图像特征向量和所述训练流量PNG图像关联特征向量的共有流形隐式相似性因数以得到共有流形隐式相似性损失函数值，包括：以如下损失公式计算所述待诊断汇聚分流器的训练流量PNG图像特征向量和所述训练流量PNG图像关联特征向量的共有流形隐式相似性因数以得到所述共有流形隐式相似性损失函数值；其中，所述损失公式为：
其中，和/>分别是所述待诊断汇聚分流器的训练流量PNG图像特征向量和所述训练流量PNG图像关联特征向量，/>表示转置操作，/>表示向量的二范数，且/>表示矩阵的Frobenius范数的平方根，所述待诊断汇聚分流器的训练流量PNG图像特征向量和所述训练流量PNG图像关联特征向量均为列向量形式，/>、/>、/>和/>为权重超参数，/>表示向量乘法，/>表示按位置点乘，/>表示按位置差分，/>表示所述共有流形隐式相似性损失函数值。
这里，所述共有流形隐式相似性因数可以以所述待诊断汇聚分流器的训练流量PNG图像特征向量和所述训练流量PNG图像关联特征向量/>间的结构化关联来表示各自特征流形在交叉维度下的共有流形，并以相同因数化权重来共享所述待诊断汇聚分流器的训练流量PNG图像特征向量/>和所述训练流量PNG图像关联特征向量/>的差异性、对应性、关联性等流形结构性因素的共同约束，从而对依赖共有流形的几何衍生结构表示的分布相似性进行度量，以实现跨模态特征分布间的域转移特征的非线性几何单调性，提升所述训练流量PNG图像映射关联特征矩阵的高维特征流形表达的几何单调性，从而改进其通过分类器的分类回归的收敛效果，即，提升训练速度和训练结果的准确性。这样，能够对于待诊断汇聚分流器的流量数据包进行检测，以此能够及时发现数据同步或传输过程中的错误，确保汇聚分流器数据同步的一致性和完整性。
综上，基于本公开实施例的汇聚分流器数据同步的方法，其可以在进行汇聚分流器的数据同步过程中，通过对于各个汇聚分流器的流量数据包进行关联分析来识别出整个网络中的异常流量模式，从而对于待诊断汇聚分流器的流量数据包是否正常进行检测，以能够及时发现数据同步或传输过程中的错误，确保汇聚分流器数据同步的一致性和完整性。
图6示出根据本公开的实施例的汇聚分流器数据同步的***100的框图。如图6所示，根据本公开实施例的汇聚分流器数据同步的***100，包括：数据通信同步模块110，用于通过每个汇聚分流器的同步模块来控制所述每个汇聚分流器之间的数据通信与同步；数据存储模块120，用于通过每个所述汇聚分流器的数据存储模块存储来自其他所述汇聚分流器的数据；以及，处理模块130，用于通过每个所述汇聚分流器的数据处理模块对所述来自其他所述汇聚分流器的数据进行处理。
在一种可能的实现方式中，所述处理模块130，包括：流量数据包获取单元，用于获取其他各个所述汇聚分流器的流量数据包；关联分析单元，用于对所述各个汇聚分流器的流量数据包进行关联分析以得到流量关联特征；流量特征提取单元，用于从所述各个汇聚分流器的流量数据包提取待诊断汇聚分流器的流量特征；流量特征映射单元，用于将所述待诊断汇聚分流器的流量特征映射到所述流量关联特征中以得到流量映射关联特征；以及，流量数据包状态判断单元，用于基于所述流量映射关联特征，确定待诊断汇聚分流器的流量数据包是否正常。
这里，本领域技术人员可以理解，上述汇聚分流器数据同步的***100中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的汇聚分流器数据同步的方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本公开实施例的汇聚分流器数据同步的***100可以实现在各种无线终端中，例如具有汇聚分流器数据同步的算法的服务器等。在一种可能的实现方式中，根据本公开实施例的汇聚分流器数据同步的***100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该汇聚分流器数据同步的***100可以是该无线终端的操作***中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该汇聚分流器数据同步的***100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该汇聚分流器数据同步的***100与该无线终端也可以是分立的设备，并且该汇聚分流器数据同步的***100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
图7示出根据本公开的实施例的汇聚分流器数据同步的方法的应用场景图。如图7所示，在该应用场景中，首先，获取其他各个所述汇聚分流器的流量数据包（例如，图7中所示意的D），然后，将所述各个汇聚分流器的流量数据包输入至部署有汇聚分流器数据同步的算法的服务器中（例如，图7中所示意的S），其中，所述服务器能够使用所述汇聚分流器数据同步的算法对所述各个汇聚分流器的流量数据包进行处理以得到用于表示待诊断汇聚分流器的流量数据包是否正常的分类结果。
进一步地，本公开的技术方案中还提供一种存储介质，其中，所述存储介质中存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前述任一项所述的汇聚分流器数据同步的方法。
本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (7)
1.一种汇聚分流器数据同步的方法，其特征在于，包括：
通过每个汇聚分流器的同步模块来控制所述每个汇聚分流器之间的数据通信与同步；
通过每个所述汇聚分流器的数据存储模块存储来自其他所述汇聚分流器的数据；以及
通过每个所述汇聚分流器的数据处理模块对所述来自其他所述汇聚分流器的数据进行处理；
其中，通过每个所述汇聚分流器的数据处理模块对所述来自其他所述汇聚分流器的数据进行处理，包括：
获取其他各个所述汇聚分流器的流量数据包；
对所述各个汇聚分流器的流量数据包进行关联分析以得到流量关联特征；
从所述各个汇聚分流器的流量数据包提取待诊断汇聚分流器的流量特征；
将所述待诊断汇聚分流器的流量特征映射到所述流量关联特征中以得到流量映射关联特征；以及
基于所述流量映射关联特征，确定待诊断汇聚分流器的流量数据包是否正常；
其中，对所述各个汇聚分流器的流量数据包进行关联分析以得到流量关联特征，包括：
将所述各个汇聚分流器的流量数据包转化为流量PNG图像以得到多个流量PNG图像；以及
将所述多个流量PNG图像通过基于三维卷积神经网络模型的汇聚分流器间流量关联模式特征提取器以得到流量PNG图像关联特征向量作为所述流量关联特征。
2.根据权利要求1所述的汇聚分流器数据同步的方法，其特征在于，从所述各个汇聚分流器的流量数据包提取待诊断汇聚分流器的流量特征，包括：
将所述多个流量PNG图像分别通过基于卷积神经网络模型的流量模式特征提取器以得到多个流量PNG图像特征向量，并从所述多个流量PNG图像特征向量提取待诊断汇聚分流器的流量PNG图像特征向量作为所述待诊断汇聚分流器的流量特征。
3.根据权利要求2所述的汇聚分流器数据同步的方法，其特征在于，将所述待诊断汇聚分流器的流量特征映射到所述流量关联特征中以得到流量映射关联特征，包括：
计算所述待诊断汇聚分流器的流量PNG图像特征向量相对于所述流量PNG图像关联特征向量的转移矩阵以得到流量PNG图像映射关联特征矩阵作为所述流量映射关联特征。
4.根据权利要求3所述的汇聚分流器数据同步的方法，其特征在于，基于所述流量映射关联特征，确定待诊断汇聚分流器的流量数据包是否正常，包括：
将所述流量PNG图像映射关联特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待诊断汇聚分流器的流量数据包是否正常。
5.根据权利要求4所述的汇聚分流器数据同步的方法，其特征在于，将所述流量PNG图像映射关联特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待诊断汇聚分流器的流量数据包是否正常，包括：
对所述流量PNG图像映射关联特征矩阵进行矩阵展开以得到流量PNG图像映射关联特征向量；
对所述流量PNG图像映射关联特征向量进行特征秩表达的语义信息均一化激活以得到优化流量PNG图像映射关联特征向量；
使用所述分类器的全连接层对所述优化流量PNG图像映射关联特征向量进行全连接编码以得到全连接优化流量PNG图像映射关联特征向量；以及
将所述全连接优化流量PNG图像映射关联特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
6.根据权利要求5所述的汇聚分流器数据同步的方法，其特征在于，对所述流量PNG图像映射关联特征向量进行特征秩表达的语义信息均一化激活以得到优化流量PNG图像映射关联特征向量，包括：以如下优化公式对所述流量PNG图像映射关联特征向量进行特征秩表达的语义信息均一化激活以得到所述优化流量PNG图像映射关联特征向量；
其中，所述优化公式为：
其中，是所述流量PNG图像映射关联特征向量，/>是所述流量PNG图像映射关联特征向量/>的第/>个特征值，/>表示所述流量PNG图像映射关联特征向量的二范数，/>是以2为底的对数，且/>是权重超参数，/>是所述优化流量PNG图像映射关联特征向量的第/>个特征值。
7.一种存储介质，其特征在于，所述存储介质中存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-6中任一项所述的汇聚分流器数据同步的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311238138.0A CN116996527B (zh) | 2023-09-25 | 2023-09-25 | 一种汇聚分流器数据同步的方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311238138.0A CN116996527B (zh) | 2023-09-25 | 2023-09-25 | 一种汇聚分流器数据同步的方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116996527A CN116996527A (zh) | 2023-11-03 |
| CN116996527B true CN116996527B (zh) | 2023-12-12 |
Family
ID=88532322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311238138.0A Active CN116996527B (zh) | 2023-09-25 | 2023-09-25 | 一种汇聚分流器数据同步的方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116996527B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103379045A (zh) * | 2012-04-17 | 2013-10-30 | ***通信集团广东有限公司 | 一种接入设备在端口之间迁移的方法和汇聚层交换机 |
| CN105451210A (zh) * | 2014-09-29 | 2016-03-30 | 中兴通讯股份有限公司 | 数据同步处理方法及装置 |
| CN113489652A (zh) * | 2021-07-08 | 2021-10-08 | 恒安嘉新（北京）科技股份公司 | 一种数据流放大方法、装置、汇聚分流器以及存储介质 |
| CN115529232A (zh) * | 2021-06-08 | 2022-12-27 | ***通信有限公司研究院 | 汇聚分流设备的管控方法、装置及存储介质 |
| CN116781430A (zh) * | 2023-08-24 | 2023-09-19 | 克拉玛依市燃气有限责任公司 | 用于燃气管网的网络信息安全***及其方法 |
-
2023
- 2023-09-25 CN CN202311238138.0A patent/CN116996527B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103379045A (zh) * | 2012-04-17 | 2013-10-30 | ***通信集团广东有限公司 | 一种接入设备在端口之间迁移的方法和汇聚层交换机 |
| CN105451210A (zh) * | 2014-09-29 | 2016-03-30 | 中兴通讯股份有限公司 | 数据同步处理方法及装置 |
| CN115529232A (zh) * | 2021-06-08 | 2022-12-27 | ***通信有限公司研究院 | 汇聚分流设备的管控方法、装置及存储介质 |
| CN113489652A (zh) * | 2021-07-08 | 2021-10-08 | 恒安嘉新（北京）科技股份公司 | 一种数据流放大方法、装置、汇聚分流器以及存储介质 |
| CN116781430A (zh) * | 2023-08-24 | 2023-09-19 | 克拉玛依市燃气有限责任公司 | 用于燃气管网的网络信息安全***及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116996527A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376615B (zh) | 用于提升深度学习网络预测性能的方法、装置及存储介质 | |
| CN108304936B (zh) | 机器学习模型训练方法和装置、表情图像分类方法和装置 | |
| CN110472675B (zh) | 图像分类方法、图像分类装置、存储介质与电子设备 | |
| WO2019221965A1 (en) | Unsupervised cross-domain distance metric adaptation with feature transfer network | |
| CN112910859B (zh) | 基于c5.0决策树和时序分析的物联网设备监测预警方法 | |
| CN110909868A (zh) | 基于图神经网络模型的节点表示方法和装置 | |
| CN112767106B (zh) | 自动化审计方法、***、计算机可读存储介质及审计设备 | |
| CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN117041017B (zh) | 数据中心的智能运维管理方法及*** | |
| CN116451139B (zh) | 一种基于人工智能的直播数据快速分析方法 | |
| JP2019067299A (ja) | ラベル推定装置及びラベル推定プログラム | |
| CN117156442B (zh) | 基于5g网络的云数据安全保护方法及*** | |
| CN114492601A (zh) | 资源分类模型的训练方法、装置、电子设备及存储介质 | |
| CN113379059A (zh) | 用于量子数据分类的模型训练方法以及量子数据分类方法 | |
| CN113541985A (zh) | 物联网故障诊断方法、模型的训练方法及相关装置 | |
| CN113449778B (zh) | 用于量子数据分类的模型训练方法以及量子数据分类方法 | |
| US11847187B2 (en) | Device identification device, device identification method, and device identification program | |
| CN117388893A (zh) | 一种基于gps的多设备定位*** | |
| CN117056902A (zh) | 物联网密码管理方法及*** | |
| CN116996527B (zh) | 一种汇聚分流器数据同步的方法及存储介质 | |
| CN111738290A (zh) | 图像检测方法、模型构建和训练方法、装置、设备和介质 | |
| CN114610953A (zh) | 一种数据分类方法、装置、设备及存储介质 | |
| CN114241243B (zh) | 图像分类模型的训练方法、装置、电子设备和存储介质 | |
| CN113361402B (zh) | 识别模型的训练方法、确定准确率的方法、装置和设备 | |
| Zong et al. | Online intrusion detection mechanism based on model migration in intelligent pumped storage power stations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |