CN112506716A - 基于边缘计算和5g通信的数据处理方法及*** - Google Patents
基于边缘计算和5g通信的数据处理方法及*** Download PDFInfo
- Publication number
- CN112506716A CN112506716A CN202011398835.9A CN202011398835A CN112506716A CN 112506716 A CN112506716 A CN 112506716A CN 202011398835 A CN202011398835 A CN 202011398835A CN 112506716 A CN112506716 A CN 112506716A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- time
- path
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种基于边缘计算和5G通信的数据处理方法及***,能够将采集到的实时运行数据压缩为目标运行数据并存入预先划分的目标存储空间中。然后按照存入时间的先后顺序将目标运行数据按照设定比例划分为第一数据集和第二数据集。进而基于第一数据集生产多个目标数据集并确定每个目标数据集的路径特征,这样可以基于路径特征对多个目标数据集进行聚类,从而根据聚类结果确定备用路径。最后对每条备用路径进行实例化以确定每条备用路径的匹配率,这样可以在中心云服务器出现故障时选择当前的最大匹配率的备用路径对应的备用实例进行切换。如此,可以有效减小中心云服务器的故障恢复耗时,最大限度减少中心云服务器的故障影响。
Description
技术领域
本申请涉及应用于边缘计算和5G的数据处理技术领域,尤其涉及基于边缘计算和5G通信的数据处理方法及***。
背景技术
随着科技的发展,边缘计算和5G新基建已经广泛应用于社会生产中的各大重要领域,例如智慧城市、智能制造、远程医疗以及车联网控制等。在实际应用中,由于依赖边缘计算和5G形成的通信数据交互***的复杂度和集成度越来越高,因此难免在运行时出现故障。在上述***出现故障时,虽然***配备了自恢复程序,但是现有的自恢复程序在极端的故障状态下实现故障恢复的耗时较长。
发明内容
本申请提供基于边缘计算和5G通信的数据处理方法及***,以改善现有技术存在的上述技术问题。
本申请所提供的两种实施方案如下。
一种基于边缘计算和5G通信的数据处理方法,应用于与多个边缘设备通信的中心云服务器,所述方法包括:
在检测到当前存储占比没有达到设定占比的情况下,在存储区中划分出用于存储所述中心云服务器的实时运行数据的目标存储空间;将采集到的所述中心云服务器的实时运行数据进行压缩得到目标运行数据,并将所述目标运行数据存入所述目标存储空间中;
按照存入所述目标存储空间的时间先后顺序将所述目标存储空间中的目标运行数据按照设定比例划分为第一数据集和第二数据集;
针对所述第一数据集中的每组基准运行数据,将该组基准运行数据中的每个第一基准数据包与该组基准运行数据相对的上一组基准运行数据中的其中一个第二基准数据包和/或与该组基准运行数据相对的下一组基准运行数据中的其中一个第三基准数据包进行整合,以得到多个目标数据集;其中,每个目标数据集中的基准数据包类型不重复;
构建每个目标数据集的运行路径并提取每条运行路径的路径特征,基于所述路径特征对所述多个目标数据集进行聚类得到多个聚类集,确定每个聚类集的聚类中心的目标路径;依据所述第二数据集计算每条目标路径的路径指标系数并将所述路径指标系数大于设定指标系数的目标路径确定为备用路径;
对所述备用路径进行实例化,将所述多个边缘设备的实时状态数据加载至每条备用路径对应的数据容器中并计算所述实时状态数据与每条备用路径的匹配率;在所述中心云服务器出现故障时,选择当前的最大匹配率的备用路径对应的备用实例进行切换。
一种中心云服务器,所述中心云服务器与多个边缘设备通信,所述中心云服务器用于:
在检测到当前存储占比没有达到设定占比的情况下,在存储区中划分出用于存储所述中心云服务器的实时运行数据的目标存储空间;将采集到的所述中心云服务器的实时运行数据进行压缩得到目标运行数据,并将所述目标运行数据存入所述目标存储空间中;
按照存入所述目标存储空间的时间先后顺序将所述目标存储空间中的目标运行数据按照设定比例划分为第一数据集和第二数据集;
针对所述第一数据集中的每组基准运行数据,将该组基准运行数据中的每个第一基准数据包与该组基准运行数据相对的上一组基准运行数据中的其中一个第二基准数据包和/或与该组基准运行数据相对的下一组基准运行数据中的其中一个第三基准数据包进行整合,以得到多个目标数据集;其中,每个目标数据集中的基准数据包类型不重复;
构建每个目标数据集的运行路径并提取每条运行路径的路径特征,基于所述路径特征对所述多个目标数据集进行聚类得到多个聚类集,确定每个聚类集的聚类中心的目标路径;依据所述第二数据集计算每条目标路径的路径指标系数并将所述路径指标系数大于设定指标系数的目标路径确定为备用路径;
对所述备用路径进行实例化,将所述多个边缘设备的实时状态数据加载至每条备用路径对应的数据容器中并计算所述实时状态数据与每条备用路径的匹配率;在所述中心云服务器出现故障时,选择当前的最大匹配率的备用路径对应的备用实例进行切换。
应用本申请实施例基于边缘计算和5G通信的数据处理方法及***时,能够将采集到的实时运行数据压缩为目标运行数据并存入预先划分的目标存储空间中。然后按照存入时间的先后顺序将目标运行数据按照设定比例划分为第一数据集和第二数据集。进而基于第一数据集生产多个目标数据集并确定每个目标数据集的路径特征,这样可以基于路径特征对多个目标数据集进行聚类,从而根据聚类结果确定备用路径。最后对每条备用路径进行实例化以确定每条备用路径的匹配率,这样可以在中心云服务器出现故障时选择当前的最大匹配率的备用路径对应的备用实例进行切换。如此,可以有效减小中心云服务器的故障恢复耗时,最大限度减少中心云服务器的故障影响。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例性实施例示出的一种基于边缘计算和5G通信的数据处理***的示意图。
图2是本申请根据一示例性实施例示出的一种基于边缘计算和5G通信的数据处理方法的流程图。
图3是本申请根据一示例性实施例示出的一种基于边缘计算和5G通信的数据处理装置的一个实施例框图。
图4为本申请基于边缘计算和5G通信的数据处理装置所在中心云服务器的一种硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
发明人经进一步研究和调查发现,在极端的故障状态下,云端组件(例如中心云服务器)同样会出现故障,若出现这种故障情况,依照现有的自恢复程序对云端组件进行恢复,会耗费较长的时间,这对于毫秒级响应的***而言无疑是极大地影响,可能会由于故障恢复时间过长而导致***出现崩溃。
为改善上述问题,本发明提供一种基于边缘计算和5G通信的数据处理方法及***,能够在中心云服务器正常运行时采集自身的实时运行数据,然后对实时运行数据进行识别和分析,从而得到多个备用实例,这样可以在中心云服务器出现故障时根据边缘设备的实时状态进行中心云服务器的备用实例的快速切换,进而有效减小中心云服务器的故障恢复耗时,最大限度减少中心云服务器的故障影响。
为实现上述目的,请首先参照图1,提供了基于边缘计算和5G通信的数据处理***100的通信架构示意图。其中,所述数据处理***100包括互相之间通信的中心云服务器200和多个边缘设备300。在本发明中,边缘设备300可以根据不同的应用领域进行选取,在此不作限定。上述数据处理***100中的中心云服务器200在出现故障时能够快速地进行备用实例的切换,从而减少故障恢复的耗时。
进一步地,为了更好地阐述上述方法,请结合参阅图2,提供了一种基于边缘计算和5G通信的数据处理方法的流程示意图,所述方法可以应用于图1中的中心云服务器200,具体可以包括如下步骤S21-步骤S25所描述的内容。
步骤S21,在检测到当前存储占比没有达到设定占比的情况下,在存储区中划分出用于存储所述中心云服务器的实时运行数据的目标存储空间;将采集到的所述中心云服务器的实时运行数据进行压缩得到目标运行数据,并将所述目标运行数据存入所述目标存储空间中。
在本发明中,当前存储占比为中心云服务器200的存储区的空间占用率,例如,若当前存储占比为20%,则表征中心云服务器200的空间占用率达到20%。进一步地,存储区可以用于存储中心云服务器200的***数据以及与边缘设备300的交互数据,在此不作限定。目标存储空间的存储容量小于存储区的存储容量,并且划分出的目标存储空间不会占用中心云服务器200的***数据和交互数据所需要的空间,从而能够确保中心云服务器200的正常运行。
在本发明中,中心云服务器200的实时运行数据包括中心云服务器200的吞吐量数据、线程延时数据以及与每个边缘设备300之间的加密协议数据等,在此不作限定。通过对实时运行数据进行压缩,能够减少反映实时运行数据的数据特征的目标运行数据的容量大小,进而提高目标运行数据在目标存储空间中的存储效率,使得中心云服务器200能够利用有限的目标存储空间中的目标运行数据确定出更多的备用实例,以提高后续备用实例的快速切换的准确性。
步骤S22,按照存入所述目标存储空间的时间先后顺序将所述目标存储空间中的目标运行数据按照设定比例划分为第一数据集和第二数据集。
在步骤S22中,每组目标运行数据包括多个数据包,每个数据包表征中心云服务器200的不同维度的运行数据的数据特征。设定比例可以根据中心云服务器200的实际性能指标(例如容错率)进行调整,在此不作限定。进一步地,第一数据集可以是基准数据集,第二数据集可以是测试数据集。其中,基准数据集用于生成中心云服务器200的备用实例,测试数据集用于测试备用实例的可信度和稳定系数。通过步骤S22,能够为备用实例的生成提供完整准确的数据基础。
步骤S23,针对所述第一数据集中的每组基准运行数据,将该组基准运行数据中的每个第一基准数据包与该组基准运行数据相对的上一组基准运行数据中的其中一个第二基准数据包和/或与该组基准运行数据相对的下一组基准运行数据中的其中一个第三基准数据包进行整合,以得到多个目标数据集;其中,每个目标数据集中的基准数据包类型不重复。
例如,第一数据集中包括a、b、c三组基准运行数据,基准运行数据a的数据包为a1、a2、a3,基准运行数据b的数据包为b1、b2、b3,基准运行数据c的数据包为c1、c2、c3。以基准运行数据a为例,数据包a1、数据包a2和数据包a3的类型不同,则整合得到的其中一个目标数据集可以是a1、b2和c3。
步骤S24,构建每个目标数据集的运行路径并提取每条运行路径的路径特征,基于所述路径特征对所述多个目标数据集进行聚类得到多个聚类集,确定每个聚类集的聚类中心的目标路径;依据所述第二数据集计算每条目标路径的路径指标系数并将所述路径指标系数大于设定指标系数的目标路径确定为备用路径。
在步骤S24中,运行路径用于表征中心云服务器200在运行时的数据变化轨迹,运行路径可以用一条三维曲线表示,路径特征则可以表示运行路径的曲线性特征,便于后续采用k-means聚类方法进行聚类。进一步地,路径指标系数可以是目标路径的可信度均值和稳定系数均值的加权和。
步骤S25,对所述备用路径进行实例化,将所述多个边缘设备的实时状态数据加载至每条备用路径对应的数据容器中并计算所述实时状态数据与每条备用路径的匹配率;在所述中心云服务器出现故障时,选择当前的最大匹配率的备用路径对应的备用实例进行切换。
在本发明中,加载了每个边缘设备300的实时状态数据的备用路径可以理解为备用实例,备用实例则可以理解为中心云服务器200的虚拟运行状态与边缘设备300的实时状态数据相结合的模拟状态,匹配率则用于表征模拟状态的稳定性和可靠性。可以理解,匹配率越高,表明模拟状态越稳定,可靠性越高。
在对备用实例进行切换时,可以将中心云服务器200的虚拟运行状态与边缘设备300的实时状态数据相结合的模拟状态直接投入生产环境中进行上线运行,实现故障状态的快速恢复。
可以理解,通过上述步骤S21-步骤S25,能够将采集到的实时运行数据压缩为目标运行数据并存入预先划分的目标存储空间中。然后按照存入时间的先后顺序将目标运行数据按照设定比例划分为第一数据集和第二数据集。进而基于第一数据集生产多个目标数据集并确定每个目标数据集的路径特征,这样可以基于路径特征对多个目标数据集进行聚类,从而根据聚类结果确定备用路径。最后对每条备用路径进行实例化以确定每条备用路径的匹配率,这样可以在中心云服务器出现故障时选择当前的最大匹配率的备用路径对应的备用实例进行切换。如此,可以有效减小中心云服务器的故障恢复耗时,最大限度减少中心云服务器的故障影响。
在具体实施时发明人发现,在对实时运行数据进行压缩时,会出现压缩之后的目标运行数据的区别度较低的技术问题,这是由于实时运行数据存在时序上的“粘连”造成的。发明人经进一步分析发现,实时运行数据在时序上是连续的,但是若压缩多组目标运行数据,则难以进行准确的数据流切分。为了改善上述技术问题,在步骤S21中,将采集到的所述中心云服务器的实时运行数据进行压缩得到目标运行数据,具体可以包括以下步骤S211-步骤S215所描述的内容。
步骤S211,按照根据所述中心云服务器的内存容量确定出的目标时长间隔将所述实时运行数据切分为n个在时序上连续的数据段;其中,所述内存容量与所述目标时长间隔成反比,所述内存容量越大,所述目标时长越短,n为正整数。
步骤S212,针对n个数据段中的当前数据段,如果存在与当前数据段对应的前一个数据段,则计算当前数据段与前一个数据段之间的第一数据连续度,如果存在与当前数据段对应的后一个数据段,则计算当前数据段与后一个数据段之间的第二数据连续度。
在步骤S212中,数据连续度可以通过数据段之间的特征连续性计算得到,特征连续性可以通过特征值的形式进行表示,例如,可以将相邻两个数据段的特征值之差进行归一化处理,从而得到相邻两个数据段之间的数据连续度。
步骤S213,针对n个数据段中的当前数据段,根据当前数据段的第一数据连续度和/或第二数据连续度计算当前数据段相对于所述实时运行数据的目标连续度;其中,若当前数据段仅存在第一数据连续度或第二数据连续度,则将该第一数据或第二数据连续度确定为所述目标连续度;若当前数据段同时存在第一数据连续度和第二数据连续度,则根据当前数据段在所述实时运行数据中的位置对当前数据段的第一数据连续度和第二数据连续度进行加权,得到所述目标连续度;其中当前数据段的位置通过当前数据段在n个数据段中的序列位置确定。
步骤S214,确定在目标时长间隔下得到得n个数据段中的目标连续度的数量是否达到设定数量。
步骤S215,若在目标时长间隔下得到的n个数据段中的目标连续度的数量达到所述设定数量,则将n个数据段进行压缩得到n个目标运行数据;若在目标时长间隔下得到的n个数据段中的目标连续度的数量没有达到所述设定数量,则按照设定时间步长对目标时长间隔进行缩短并按照缩短之后的目标时长间隔将所述实时运行数据切分为m个在时序上连续的数据段,并返回执行与针对n个数据段中的当前数据段,根据当前数据段的第一数据连续度和/或第二数据连续度计算当前数据段相对于所述实时运行数据的目标连续度所对应的步骤;其中,m为大于n的整数。
可以理解,执行上述步骤S211-步骤S215能够达到如下技术效果:通过对切分得到得多个数据段进行目标连续度的计算,从而确保进行切分的目标时长间隔能够确保数据段的连续性。这样,能够对数据段进行准确切分,从而解决在对实时运行数据进行压缩时出现的压缩之后的目标运行数据的区别度较低的技术问题。
在一种可能的实施方式中,为了确保第一数据集具有足够的目标运行数据以生成更多的备用实例,同时确保第二数据集对备用实例进行测试的准确性和可靠性,在步骤S22中,设定比例可以根据以下步骤S221-步骤S223确定。
步骤S221,调取所述中心云服务器在设定时段内的备用实例切换记录;其中,所述设定时段为以当前时刻为终止时刻,以当前时刻之前的时刻为起始时刻之间的时段,所述备用实例切换记录包括所述中心云服务器所切换的设定数量个历史备用实例。
步骤S222,确定所述设定数量个历史备用实例对应的历史第一数据集的第一均值以及历史第二数据集的第二均值,并确定距离当前时刻最近的历史备用实例对应的切换时刻与所述设定时段之间的相对系数;其中,所述相对系数为第一时段和第二时段的比值,所述第一时段为所述切换时刻与所述终止时刻之间的时段,所述第二时段为所述切换时刻与所述起始时刻之间的时段。
步骤S223,采用所述相对系数对所述第一均值和所述第二均值之间的比例值进行加权得到所述设定比例。
可以理解,通过上述步骤S221-步骤S223所描述的步骤可以实现以下技术效果:通过对备用实例切换记录进行分析,能够确定出历史备用实例的第一数据集和第二数据集的均值并考虑历史备用实例在时间上的实时性,这样不仅可以确保设定比例对应的第一数据集具有足够的目标运行数据以生成更多的备用实例,同时可以确保设定比例对应的第二数据集对备用实例进行测试的准确性和可靠性。
在实际应用时发明人发现,构建出的运行路径与其对应的目标数据集所反映的中心云服务器200的运行状态会存在偏差。经过发明人进一步分析发现,造成上述问题的原因是在构建运行路径时没有考虑目标数据集中不同的数据包在时间层面上的异步性。因此,为了改善上述技术问题,在步骤S24中,构建每个目标数据集的运行路径,具体可以包括以下步骤S241-步骤S244所描述的内容。
步骤S241,针对每个目标数据集中的每个第四基准数据包,确定每个第四基准数据包的时序参数清单以及数据结构清单;其中,所述时序参数清单用于表征每个第四基准数据包的时序特征,所述数据结构清单用于表征每个第四基准数据包的数据结构特征,所述时序参数清单和所述数据结构清单均以清单列表的形式进行缓存。
步骤S242,将每个第四基准数据包的数据结构清单中的每组第一清单列表按照该第一清单列表在所述数据结构清单中的列表权重的由大到小的顺序依次映射到该第四基准数据包对应的时序参数清单的每个第二清单列表中,得到每个第四基准数据包对应的映射清单列表;其中,每个第四基准数据包对应的第一清单列表的数量小于等于该第四基准数据包对应的第二清单列表的数量。
步骤S243,根据每个第四基准数据包对应的多个映射清单列表中存在目标映射数据的目标映射清单列表的占比确定每个第四基准数据包对应的时序异步系数;其中,所述目标映射数据为目标映射清单列表中数据指向权重最大的映射数据,数据指向权重用于表征映射数据在其对应的第四基准数据包中的数据签名的调用活跃度,所述时序异步系数用于表征所述第四基准数据包在该第四基准数据包对应的目标数据集中的关联度。
步骤S244,将每个目标数据集中的每个第四基准数据包进行节点化处理,得到每个第四基准数据包在预设轨迹平面中的二维坐标,采用每个第四基准数据包的时序异步系数对该第四基准数据包对应的二维坐标进行调整得到修正坐标,将所述修正坐标进行拟合得到每个目标数据集的运行路径。
在应用上述步骤S241-步骤S244可以实现如下技术效果:能够在构建运行路径时考虑目标数据集中不同的数据包在时间层面上的异步性,并确定出每个第四基准数据包对应的时序异步系数,从而采用每个第四基准数据包的时序异步系数对该第四基准数据包对应的二维坐标进行调整得到修正坐标,将所述修正坐标进行拟合得到每个目标数据集的运行路径。如此,能够确保构建出的运行路径与其对应的目标数据集所反映的中心云服务器200的运行状态不会存在偏差,从而确保运行路径的准确性。
在一个可能的实施方式中,为了确保计算得到的匹配率的时效性,步骤S25所将所述多个边缘设备的实时状态数据加载至每条备用路径并计算所述实时状态数据与每条备用路径的匹配率,具体可以包括以下步骤S251-步骤S253所描述的内容。
步骤S251,获取每个边缘设备的实时状态数据并基于根据每个边缘设备的通信协议确定出的所述多个边缘设备的网络拓扑为每组实时状态数据添加数据签名;其中,所述数据签名具有唯一的签名编号。
步骤S252,抽取每条备用路径对应的模拟线程脚本,通过运行所述模拟线程脚本激活所述中心云服务器在每条备用路径下的虚拟运行线程,将每组实时状态数据按照所述数据签名的签名编号的由小到大的顺序依次加载至所述虚拟运行线程对应的线程参数容器中。
步骤S253,采用预设的函数调用方法调取所述线程参数容器中的目标线程数据并根据所述目标线程数据计算得到每条备用路径的匹配率;其中,所述目标线程数据包括所述线程参数容器的容器参数以及封装于所述线程参数容器中的实时状态数据,所述函数调用方法对应的调用函数为钩子hook函数。
可以理解,基于上述步骤S251-步骤S253,能够采用钩子hook函数快速地计算每条备用路径的匹配率,这样能够确保计算得到的匹配率的时效性。
在一种可替换的实施方式中,步骤S24所描述的提取每条运行路径的路径特征具体可以包括以下内容:
抽取每条运行路径对应的多个描述信息;其中,每条描述信息用于描述该运行路径的不同维度的特征信息;
在接下来的步骤中,确定每个描述信息的编码字符,将所述编码字符以预设转换方式转换为目标曲线;
在接下来的步骤中,采用预设神经网络对每条目标曲线进行识别,得到用于表征每条目标曲线的线性参数的识别结果;其中,所述识别结果以数组的形式进行展示;
在接下来的步骤中,将所述识别结果进行整合,得到每条运行路径对应的路径特征。
通过上述步骤所描述的内容,能够准确提取提取每条运行路径的路径特征。
在一个可能的实现方式中,步骤S24所描述的基于所述路径特征对所述多个目标数据集进行聚类得到多个聚类集,确定每个聚类集的聚类中心的目标路径,具体可以包括以下内容:根据所述路径特征对应的特征维度的数量对预设的k-means聚类模型进行参数调整得到目标聚类模型;将所述路径特征输入所述目标聚类模型以得到多个聚类集;计算每个聚类集中的每个聚类单元与其他聚类单元的聚类特征的相似度均值并将最大相似度均值对应的聚类单元确定为每个聚类集对应的聚类中心,将所述聚类中心对应的运行路径确定为所述目标路径。如此,可以采用k-means聚类方法对路径特征进行准确可靠地聚类,从而确保确定出的目标路径的置信度。
在一个可以替换的示例中,步骤S24所描述的依据所述第二数据集计算每条目标路径的路径指标系数,具体包括以下步骤(1)-步骤(5)所描述的内容。
(1)并行地将所述第二数据集中的每组测试运行数据导入每条目标路径对应的执行线程对应的数据库中,并通过所述数据库的调用参数确定每组测试运行数据在所述数据库中的动态存储系数以及各数据存储类别。
(2)在根据所述动态存储系数确定出每组测试运行数据在所述数据库中存在对应的关联存储区间的情况下,根据每组测试运行数据在其对应的关联存储区间下的数据存储类别以及所述数据存储类别的类别字段确定每组测试运行数据在所述数据库中对应的非关联存储区间中的各数据存储类别与每组测试运行数据在其对应的关联存储区间下的各数据存储类别之间的类别差异值。
(3)将每组测试运行数据在所述数据库中对应的非关联存储区间下的与对应的关联存储区间下的数据存储类别之间的类别差异值最小的数据存储类别导入每组测试运行数据对应的关联存储区间下。
(4)根据每组测试运行数据对应的关联存储区间下的每个目标数据存储类别的类别权重计算每条目标路径在每组测试运行数据下的可信度和稳定系数,并计算每条目标路径在所有测试运行数据下的可信度均值和稳定系数均值。
(5)按照每组测试运行数据对应的关联存储区间下的标数据存储类别的数量均值对所述可信度均值和所述稳定系数均值进行加权得到每条目标路径的路径指标系数。
可以理解,根据上述步骤(1)-(5)所描述的内容,能够准确确定出每条目标路径的路径指标系数,同时还可以确保路径指标系数的置信度。
在上述基础上,请结合参阅图3,还提供了一种基于边缘计算和5G通信的数据处理装置210的功能模块框图,关于所述数据处理装置210的具体描述如下。
A1.一种基于边缘计算和5G通信的数据处理装置,应用于与多个边缘设备通信的中心云服务器,所述装置包括:
数据压缩模块211,用于在检测到当前存储占比没有达到设定占比的情况下,在存储区中划分出用于存储所述中心云服务器的实时运行数据的目标存储空间;将采集到的所述中心云服务器的实时运行数据进行压缩得到目标运行数据,并将所述目标运行数据存入所述目标存储空间中;
数据划分模块212,用于按照存入所述目标存储空间的时间先后顺序将所述目标存储空间中的目标运行数据按照设定比例划分为第一数据集和第二数据集;
数据整合模块213,用于针对所述第一数据集中的每组基准运行数据,将该组基准运行数据中的每个第一基准数据包与该组基准运行数据相对的上一组基准运行数据中的其中一个第二基准数据包和/或与该组基准运行数据相对的下一组基准运行数据中的其中一个第三基准数据包进行整合,以得到多个目标数据集;其中,每个目标数据集中的基准数据包类型不重复;
路径确定模块214,用于构建每个目标数据集的运行路径并提取每条运行路径的路径特征,基于所述路径特征对所述多个目标数据集进行聚类得到多个聚类集,确定每个聚类集的聚类中心的目标路径;依据所述第二数据集计算每条目标路径的路径指标系数并将所述路径指标系数大于设定指标系数的目标路径确定为备用路径;
实例切换模块215,用于对所述备用路径进行实例化,将所述多个边缘设备的实时状态数据加载至每条备用路径对应的数据容器中并计算所述实时状态数据与每条备用路径的匹配率;在所述中心云服务器出现故障时,选择当前的最大匹配率的备用路径对应的备用实例进行切换。
A2.根据A1所述的装置,路径确定模块214,具体用于:
抽取每条运行路径对应的多个描述信息;其中,每条描述信息用于描述该运行路径的不同维度的特征信息;
确定每个描述信息的编码字符,将所述编码字符以预设转换方式转换为目标曲线;
采用预设神经网络对每条目标曲线进行识别,得到用于表征每条目标曲线的线性参数的识别结果;其中,所述识别结果以数组的形式进行展示;
将所述识别结果进行整合,得到每条运行路径对应的路径特征。
A3.根据A1所述的装置,路径确定模块214,具体用于:
根据所述路径特征对应的特征维度的数量对预设的k-means聚类模型进行参数调整得到目标聚类模型;
将所述路径特征输入所述目标聚类模型以得到多个聚类集;
计算每个聚类集中的每个聚类单元与其他聚类单元的聚类特征的相似度均值并将最大相似度均值对应的聚类单元确定为每个聚类集对应的聚类中心,将所述聚类中心对应的运行路径确定为所述目标路径。
A4.根据 A1所述的装置,路径确定模块214,具体用于:
并行地将所述第二数据集中的每组测试运行数据导入每条目标路径对应的执行线程对应的数据库中,并通过所述数据库的调用参数确定每组测试运行数据在所述数据库中的动态存储系数以及各数据存储类别;
在根据所述动态存储系数确定出每组测试运行数据在所述数据库中存在对应的关联存储区间的情况下,根据每组测试运行数据在其对应的关联存储区间下的数据存储类别以及所述数据存储类别的类别字段确定每组测试运行数据在所述数据库中对应的非关联存储区间中的各数据存储类别与每组测试运行数据在其对应的关联存储区间下的各数据存储类别之间的类别差异值;
将每组测试运行数据在所述数据库中对应的非关联存储区间下的与对应的关联存储区间下的数据存储类别之间的类别差异值最小的数据存储类别导入每组测试运行数据对应的关联存储区间下;
根据每组测试运行数据对应的关联存储区间下的每个目标数据存储类别的类别权重计算每条目标路径在每组测试运行数据下的可信度和稳定系数,并计算每条目标路径在所有测试运行数据下的可信度均值和稳定系数均值;
按照每组测试运行数据对应的关联存储区间下的标数据存储类别的数量均值对所述可信度均值和所述稳定系数均值进行加权得到每条目标路径的路径指标系数。
A5.根据A1所述的装置,数据划分模块212,具体用于:
调取所述中心云服务器在设定时段内的备用实例切换记录;其中,所述设定时段为以当前时刻为终止时刻,以当前时刻之前的时刻为起始时刻之间的时段,所述备用实例切换记录包括所述中心云服务器所切换的设定数量个历史备用实例;
确定所述设定数量个历史备用实例对应的历史第一数据集的第一均值以及历史第二数据集的第二均值,并确定距离当前时刻最近的历史备用实例对应的切换时刻与所述设定时段之间的相对系数;其中,所述相对系数为第一时段和第二时段的比值,所述第一时段为所述切换时刻与所述终止时刻之间的时段,所述第二时段为所述切换时刻与所述起始时刻之间的时段;
采用所述相对系数对所述第一均值和所述第二均值之间的比例值进行加权得到所述设定比例。
A6.根据A1所述的装置,实例切换模块215,具体用于:
获取每个边缘设备的实时状态数据并基于根据每个边缘设备的通信协议确定出的所述多个边缘设备的网络拓扑为每组实时状态数据添加数据签名;其中,所述数据签名具有唯一的签名编号;
抽取每条备用路径对应的模拟线程脚本,通过运行所述模拟线程脚本激活所述中心云服务器在每条备用路径下的虚拟运行线程,将每组实时状态数据按照所述数据签名的签名编号的由小到大的顺序依次加载至所述虚拟运行线程对应的线程参数容器中;
采用预设的函数调用方法调取所述线程参数容器中的目标线程数据并根据所述目标线程数据计算得到每条备用路径的匹配率;其中,所述目标线程数据包括所述线程参数容器的容器参数以及封装于所述线程参数容器中的实时状态数据,所述函数调用方法对应的调用函数为钩子hook函数。
A7.根据A1-A6任一项所述的装置,路径确定模块214,具体用于:
针对每个目标数据集中的每个第四基准数据包,确定每个第四基准数据包的时序参数清单以及数据结构清单;其中,所述时序参数清单用于表征每个第四基准数据包的时序特征,所述数据结构清单用于表征每个第四基准数据包的数据结构特征,所述时序参数清单和所述数据结构清单均以清单列表的形式进行缓存;
将每个第四基准数据包的数据结构清单中的每组第一清单列表按照该第一清单列表在所述数据结构清单中的列表权重的由大到小的顺序依次映射到该第四基准数据包对应的时序参数清单的每个第二清单列表中,得到每个第四基准数据包对应的映射清单列表;其中,每个第四基准数据包对应的第一清单列表的数量小于等于该第四基准数据包对应的第二清单列表的数量;
根据每个第四基准数据包对应的多个映射清单列表中存在目标映射数据的目标映射清单列表的占比确定每个第四基准数据包对应的时序异步系数;其中,所述目标映射数据为目标映射清单列表中数据指向权重最大的映射数据,数据指向权重用于表征映射数据在其对应的第四基准数据包中的数据签名的调用活跃度,所述时序异步系数用于表征所述第四基准数据包在该第四基准数据包对应的目标数据集中的关联度;
将每个目标数据集中的每个第四基准数据包进行节点化处理,得到每个第四基准数据包在预设轨迹平面中的二维坐标,采用每个第四基准数据包的时序异步系数对该第四基准数据包对应的二维坐标进行调整得到修正坐标,将所述修正坐标进行拟合得到每个目标数据集的运行路径。
A8.根据A1-A6任一项所述的装置,数据压缩模块211,具体用于:
按照根据所述中心云服务器的内存容量确定出的目标时长间隔将所述实时运行数据切分为n个在时序上连续的数据段;其中,所述内存容量与所述目标时长间隔成反比,所述内存容量越大,所述目标时长越短,n为正整数;
针对n个数据段中的当前数据段,如果存在与当前数据段对应的前一个数据段,则计算当前数据段与前一个数据段之间的第一数据连续度,如果存在与当前数据段对应的后一个数据段,则计算当前数据段与后一个数据段之间的第二数据连续度;
针对n个数据段中的当前数据段,根据当前数据段的第一数据连续度和/或第二数据连续度计算当前数据段相对于所述实时运行数据的目标连续度;其中,若当前数据段仅存在第一数据连续度或第二数据连续度,则将该第一数据或第二数据连续度确定为所述目标连续度;若当前数据段同时存在第一数据连续度和第二数据连续度,则根据当前数据段在所述实时运行数据中的位置对当前数据段的第一数据连续度和第二数据连续度进行加权,得到所述目标连续度;其中当前数据段的位置通过当前数据段在n个数据段中的序列位置确定;
确定在目标时长间隔下得到得n个数据段中的目标连续度的数量是否达到设定数量;
若在目标时长间隔下得到的n个数据段中的目标连续度的数量达到所述设定数量,则将n个数据段进行压缩得到n个目标运行数据;若在目标时长间隔下得到的n个数据段中的目标连续度的数量没有达到所述设定数量,则按照设定时间步长对目标时长间隔进行缩短并按照缩短之后的目标时长间隔将所述实时运行数据切分为m个在时序上连续的数据段,并返回执行与针对n个数据段中的当前数据段,根据当前数据段的第一数据连续度和/或第二数据连续度计算当前数据段相对于所述实时运行数据的目标连续度所对应的步骤;其中,m为大于n的整数。
基于上述同样的发明构思,还提供了一种基于边缘计算和5G通信的数据处理***,具体描述如下。
B1.一种基于边缘计算和5G通信的数据处理***,包括互相之间通信连接的中心云服务器和多个边缘设备;
所述中心云服务器,用于:
在检测到当前存储占比没有达到设定占比的情况下,在存储区中划分出用于存储所述中心云服务器的实时运行数据的目标存储空间;将采集到的所述中心云服务器的实时运行数据进行压缩得到目标运行数据,并将所述目标运行数据存入所述目标存储空间中;
按照存入所述目标存储空间的时间先后顺序将所述目标存储空间中的目标运行数据按照设定比例划分为第一数据集和第二数据集;
针对所述第一数据集中的每组基准运行数据,将该组基准运行数据中的每个第一基准数据包与该组基准运行数据相对的上一组基准运行数据中的其中一个第二基准数据包和/或与该组基准运行数据相对的下一组基准运行数据中的其中一个第三基准数据包进行整合,以得到多个目标数据集;其中,每个目标数据集中的基准数据包类型不重复;
构建每个目标数据集的运行路径并提取每条运行路径的路径特征,基于所述路径特征对所述多个目标数据集进行聚类得到多个聚类集,确定每个聚类集的聚类中心的目标路径;依据所述第二数据集计算每条目标路径的路径指标系数并将所述路径指标系数大于设定指标系数的目标路径确定为备用路径;
所述边缘设备,用于:
将实时状态数据上传至所述中心云服务器;
所述中心云服务器,用于:
对所述备用路径进行实例化,将所述多个边缘设备的实时状态数据加载至每条备用路径对应的数据容器中并计算所述实时状态数据与每条备用路径的匹配率;在所述中心云服务器出现故障时,选择当前的最大匹配率的备用路径对应的备用实例进行切换。
B2.根据B1所述的***,所述中心云服务器,用于:
抽取每条运行路径对应的多个描述信息;其中,每条描述信息用于描述该运行路径的不同维度的特征信息;
确定每个描述信息的编码字符,将所述编码字符以预设转换方式转换为目标曲线;
采用预设神经网络对每条目标曲线进行识别,得到用于表征每条目标曲线的线性参数的识别结果;其中,所述识别结果以数组的形式进行展示;
将所述识别结果进行整合,得到每条运行路径对应的路径特征。
B3.根据B1所述的***,所述中心云服务器,用于:
根据所述路径特征对应的特征维度的数量对预设的k-means聚类模型进行参数调整得到目标聚类模型;
将所述路径特征输入所述目标聚类模型以得到多个聚类集;
计算每个聚类集中的每个聚类单元与其他聚类单元的聚类特征的相似度均值并将最大相似度均值对应的聚类单元确定为每个聚类集对应的聚类中心,将所述聚类中心对应的运行路径确定为所述目标路径。
B4.根据 B1所述的***,所述中心云服务器,用于:
并行地将所述第二数据集中的每组测试运行数据导入每条目标路径对应的执行线程对应的数据库中,并通过所述数据库的调用参数确定每组测试运行数据在所述数据库中的动态存储系数以及各数据存储类别;
在根据所述动态存储系数确定出每组测试运行数据在所述数据库中存在对应的关联存储区间的情况下,根据每组测试运行数据在其对应的关联存储区间下的数据存储类别以及所述数据存储类别的类别字段确定每组测试运行数据在所述数据库中对应的非关联存储区间中的各数据存储类别与每组测试运行数据在其对应的关联存储区间下的各数据存储类别之间的类别差异值;
将每组测试运行数据在所述数据库中对应的非关联存储区间下的与对应的关联存储区间下的数据存储类别之间的类别差异值最小的数据存储类别导入每组测试运行数据对应的关联存储区间下;
根据每组测试运行数据对应的关联存储区间下的每个目标数据存储类别的类别权重计算每条目标路径在每组测试运行数据下的可信度和稳定系数,并计算每条目标路径在所有测试运行数据下的可信度均值和稳定系数均值;
按照每组测试运行数据对应的关联存储区间下的标数据存储类别的数量均值对所述可信度均值和所述稳定系数均值进行加权得到每条目标路径的路径指标系数。
B5.根据B1所述的***,所述中心云服务器,用于:
调取所述中心云服务器在设定时段内的备用实例切换记录;其中,所述设定时段为以当前时刻为终止时刻,以当前时刻之前的时刻为起始时刻之间的时段,所述备用实例切换记录包括所述中心云服务器所切换的设定数量个历史备用实例;
确定所述设定数量个历史备用实例对应的历史第一数据集的第一均值以及历史第二数据集的第二均值,并确定距离当前时刻最近的历史备用实例对应的切换时刻与所述设定时段之间的相对系数;其中,所述相对系数为第一时段和第二时段的比值,所述第一时段为所述切换时刻与所述终止时刻之间的时段,所述第二时段为所述切换时刻与所述起始时刻之间的时段;
采用所述相对系数对所述第一均值和所述第二均值之间的比例值进行加权得到所述设定比例。
B6.根据B1所述的***,所述中心云服务器,用于:
获取每个边缘设备的实时状态数据并基于根据每个边缘设备的通信协议确定出的所述多个边缘设备的网络拓扑为每组实时状态数据添加数据签名;其中,所述数据签名具有唯一的签名编号;
抽取每条备用路径对应的模拟线程脚本,通过运行所述模拟线程脚本激活所述中心云服务器在每条备用路径下的虚拟运行线程,将每组实时状态数据按照所述数据签名的签名编号的由小到大的顺序依次加载至所述虚拟运行线程对应的线程参数容器中;
采用预设的函数调用方法调取所述线程参数容器中的目标线程数据并根据所述目标线程数据计算得到每条备用路径的匹配率;其中,所述目标线程数据包括所述线程参数容器的容器参数以及封装于所述线程参数容器中的实时状态数据,所述函数调用方法对应的调用函数为钩子hook函数。
B7.根据B1-B6任一项所述的***,所述中心云服务器,用于:
针对每个目标数据集中的每个第四基准数据包,确定每个第四基准数据包的时序参数清单以及数据结构清单;其中,所述时序参数清单用于表征每个第四基准数据包的时序特征,所述数据结构清单用于表征每个第四基准数据包的数据结构特征,所述时序参数清单和所述数据结构清单均以清单列表的形式进行缓存;
将每个第四基准数据包的数据结构清单中的每组第一清单列表按照该第一清单列表在所述数据结构清单中的列表权重的由大到小的顺序依次映射到该第四基准数据包对应的时序参数清单的每个第二清单列表中,得到每个第四基准数据包对应的映射清单列表;其中,每个第四基准数据包对应的第一清单列表的数量小于等于该第四基准数据包对应的第二清单列表的数量;
根据每个第四基准数据包对应的多个映射清单列表中存在目标映射数据的目标映射清单列表的占比确定每个第四基准数据包对应的时序异步系数;其中,所述目标映射数据为目标映射清单列表中数据指向权重最大的映射数据,数据指向权重用于表征映射数据在其对应的第四基准数据包中的数据签名的调用活跃度,所述时序异步系数用于表征所述第四基准数据包在该第四基准数据包对应的目标数据集中的关联度;
将每个目标数据集中的每个第四基准数据包进行节点化处理,得到每个第四基准数据包在预设轨迹平面中的二维坐标,采用每个第四基准数据包的时序异步系数对该第四基准数据包对应的二维坐标进行调整得到修正坐标,将所述修正坐标进行拟合得到每个目标数据集的运行路径。
B8.根据B1-B6任一项所述的***,所述中心云服务器,用于:
按照根据所述中心云服务器的内存容量确定出的目标时长间隔将所述实时运行数据切分为n个在时序上连续的数据段;其中,所述内存容量与所述目标时长间隔成反比,所述内存容量越大,所述目标时长越短,n为正整数;
针对n个数据段中的当前数据段,如果存在与当前数据段对应的前一个数据段,则计算当前数据段与前一个数据段之间的第一数据连续度,如果存在与当前数据段对应的后一个数据段,则计算当前数据段与后一个数据段之间的第二数据连续度;
针对n个数据段中的当前数据段,根据当前数据段的第一数据连续度和/或第二数据连续度计算当前数据段相对于所述实时运行数据的目标连续度;其中,若当前数据段仅存在第一数据连续度或第二数据连续度,则将该第一数据或第二数据连续度确定为所述目标连续度;若当前数据段同时存在第一数据连续度和第二数据连续度,则根据当前数据段在所述实时运行数据中的位置对当前数据段的第一数据连续度和第二数据连续度进行加权,得到所述目标连续度;其中当前数据段的位置通过当前数据段在n个数据段中的序列位置确定;
确定在目标时长间隔下得到得n个数据段中的目标连续度的数量是否达到设定数量;
若在目标时长间隔下得到的n个数据段中的目标连续度的数量达到所述设定数量,则将n个数据段进行压缩得到n个目标运行数据;若在目标时长间隔下得到的n个数据段中的目标连续度的数量没有达到所述设定数量,则按照设定时间步长对目标时长间隔进行缩短并按照缩短之后的目标时长间隔将所述实时运行数据切分为m个在时序上连续的数据段,并返回执行与针对n个数据段中的当前数据段,根据当前数据段的第一数据连续度和/或第二数据连续度计算当前数据段相对于所述实时运行数据的目标连续度所对应的步骤;其中,m为大于n的整数。
在上述内容的基础上,请结合参阅图4,还提供了一种中心云服务器200,包括:处理器221与处理器221连接的内存222和网络接口223。所述网络接口223与中心云服务器200中的非易失性存储器224连接。所述处理器221在运行时通过所述网络接口223从所述非易失性存储器224中调取计算机程序,并通过所述内存222运行所述计算机程序,以执行上述的方法。
相应地,同样提供了一种应用于计算机的可读存储介质,所述可读存储介质烧录有计算机程序,所述计算机程序在中心云服务器200的内存中运行时实现上述的方法。
Claims (6)
1.一种基于边缘计算和5G通信的数据处理方法,其特征在于,应用于与多个边缘设备通信的中心云服务器,所述方法包括:
在检测到当前存储占比没有达到设定占比的情况下,在存储区中划分出用于存储所述中心云服务器的实时运行数据的目标存储空间;将采集到的所述中心云服务器的实时运行数据进行压缩得到目标运行数据,并将所述目标运行数据存入所述目标存储空间中;
按照存入所述目标存储空间的时间先后顺序将所述目标存储空间中的目标运行数据按照设定比例划分为第一数据集和第二数据集;
针对所述第一数据集中的每组基准运行数据,将该组基准运行数据中的每个第一基准数据包与该组基准运行数据相对的上一组基准运行数据中的其中一个第二基准数据包和/或与该组基准运行数据相对的下一组基准运行数据中的其中一个第三基准数据包进行整合,以得到多个目标数据集;其中,每个目标数据集中的基准数据包类型不重复;
构建每个目标数据集的运行路径并提取每条运行路径的路径特征,基于所述路径特征对所述多个目标数据集进行聚类得到多个聚类集,确定每个聚类集的聚类中心的目标路径;依据所述第二数据集计算每条目标路径的路径指标系数并将所述路径指标系数大于设定指标系数的目标路径确定为备用路径;
对所述备用路径进行实例化,将所述多个边缘设备的实时状态数据加载至每条备用路径对应的数据容器中并计算所述实时状态数据与每条备用路径的匹配率;在所述中心云服务器出现故障时,选择当前的最大匹配率的备用路径对应的备用实例进行切换;
其中:
加载了每个边缘设备的实时状态数据的备用路径为备用实例,备用实例为中心云服务器的虚拟运行状态与边缘设备的实时状态数据相结合的模拟状态。
2.根据权利要求1所述的方法,其特征在于,设定比例通过以下步骤确定:
调取所述中心云服务器在设定时段内的备用实例切换记录;其中,所述设定时段为以当前时刻为终止时刻,以当前时刻之前的时刻为起始时刻之间的时段,所述备用实例切换记录包括所述中心云服务器所切换的设定数量个历史备用实例;
确定所述设定数量个历史备用实例对应的历史第一数据集的第一均值以及历史第二数据集的第二均值,并确定距离当前时刻最近的历史备用实例对应的切换时刻与所述设定时段之间的相对系数;其中,所述相对系数为第一时段和第二时段的比值,所述第一时段为所述切换时刻与所述终止时刻之间的时段,所述第二时段为所述切换时刻与所述起始时刻之间的时段;
采用所述相对系数对所述第一均值和所述第二均值之间的比例值进行加权得到所述设定比例。
3.根据权利要求1所述的方法,其特征在于,将所述多个边缘设备的实时状态数据加载至每条备用路径并计算所述实时状态数据与每条备用路径的匹配率,包括:
获取每个边缘设备的实时状态数据并基于根据每个边缘设备的通信协议确定出的所述多个边缘设备的网络拓扑为每组实时状态数据添加数据签名;其中,所述数据签名具有唯一的签名编号;
抽取每条备用路径对应的模拟线程脚本,通过运行所述模拟线程脚本激活所述中心云服务器在每条备用路径下的虚拟运行线程,将每组实时状态数据按照所述数据签名的签名编号的由小到大的顺序依次加载至所述虚拟运行线程对应的线程参数容器中;
采用预设的函数调用方法调取所述线程参数容器中的目标线程数据并根据所述目标线程数据计算得到每条备用路径的匹配率;其中,所述目标线程数据包括所述线程参数容器的容器参数以及封装于所述线程参数容器中的实时状态数据,所述函数调用方法对应的调用函数为钩子hook函数。
4.根据权利要求1-3任一项所述的方法,其特征在于,构建每个目标数据集的运行路径,包括:
针对每个目标数据集中的每个第四基准数据包,确定每个第四基准数据包的时序参数清单以及数据结构清单;其中,所述时序参数清单用于表征每个第四基准数据包的时序特征,所述数据结构清单用于表征每个第四基准数据包的数据结构特征,所述时序参数清单和所述数据结构清单均以清单列表的形式进行缓存;
将每个第四基准数据包的数据结构清单中的每组第一清单列表按照该第一清单列表在所述数据结构清单中的列表权重的由大到小的顺序依次映射到该第四基准数据包对应的时序参数清单的每个第二清单列表中,得到每个第四基准数据包对应的映射清单列表;其中,每个第四基准数据包对应的第一清单列表的数量小于等于该第四基准数据包对应的第二清单列表的数量;
根据每个第四基准数据包对应的多个映射清单列表中存在目标映射数据的目标映射清单列表的占比确定每个第四基准数据包对应的时序异步系数;其中,所述目标映射数据为目标映射清单列表中数据指向权重最大的映射数据,数据指向权重用于表征映射数据在其对应的第四基准数据包中的数据签名的调用活跃度,所述时序异步系数用于表征所述第四基准数据包在该第四基准数据包对应的目标数据集中的关联度;
将每个目标数据集中的每个第四基准数据包进行节点化处理,得到每个第四基准数据包在预设轨迹平面中的二维坐标,采用每个第四基准数据包的时序异步系数对该第四基准数据包对应的二维坐标进行调整得到修正坐标,将所述修正坐标进行拟合得到每个目标数据集的运行路径。
5.根据权利要求1-3任一项所述的方法,其特征在于,将采集到的所述中心云服务器的实时运行数据进行压缩得到目标运行数据,包括:
按照根据所述中心云服务器的内存容量确定出的目标时长间隔将所述实时运行数据切分为n个在时序上连续的数据段;其中,所述内存容量与所述目标时长间隔成反比,所述内存容量越大,所述目标时长越短,n为正整数;
针对n个数据段中的当前数据段,如果存在与当前数据段对应的前一个数据段,则计算当前数据段与前一个数据段之间的第一数据连续度,如果存在与当前数据段对应的后一个数据段,则计算当前数据段与后一个数据段之间的第二数据连续度;
针对n个数据段中的当前数据段,根据当前数据段的第一数据连续度和/或第二数据连续度计算当前数据段相对于所述实时运行数据的目标连续度;其中,若当前数据段仅存在第一数据连续度或第二数据连续度,则将该第一数据或第二数据连续度确定为所述目标连续度;若当前数据段同时存在第一数据连续度和第二数据连续度,则根据当前数据段在所述实时运行数据中的位置对当前数据段的第一数据连续度和第二数据连续度进行加权,得到所述目标连续度;其中当前数据段的位置通过当前数据段在n个数据段中的序列位置确定;
确定在目标时长间隔下得到得n个数据段中的目标连续度的数量是否达到设定数量;
若在目标时长间隔下得到的n个数据段中的目标连续度的数量达到所述设定数量,则将n个数据段进行压缩得到n个目标运行数据;若在目标时长间隔下得到的n个数据段中的目标连续度的数量没有达到所述设定数量,则按照设定时间步长对目标时长间隔进行缩短并按照缩短之后的目标时长间隔将所述实时运行数据切分为m个在时序上连续的数据段,并返回执行与针对n个数据段中的当前数据段,根据当前数据段的第一数据连续度和/或第二数据连续度计算当前数据段相对于所述实时运行数据的目标连续度所对应的步骤;其中,m为大于n的整数。
6.一种基于边缘计算和5G通信的数据处理***,其特征在于,包括互相之间通信连接的中心云服务器和多个边缘设备;
所述中心云服务器,用于:
在检测到当前存储占比没有达到设定占比的情况下,在存储区中划分出用于存储所述中心云服务器的实时运行数据的目标存储空间;将采集到的所述中心云服务器的实时运行数据进行压缩得到目标运行数据,并将所述目标运行数据存入所述目标存储空间中;
按照存入所述目标存储空间的时间先后顺序将所述目标存储空间中的目标运行数据按照设定比例划分为第一数据集和第二数据集;
针对所述第一数据集中的每组基准运行数据,将该组基准运行数据中的每个第一基准数据包与该组基准运行数据相对的上一组基准运行数据中的其中一个第二基准数据包和/或与该组基准运行数据相对的下一组基准运行数据中的其中一个第三基准数据包进行整合,以得到多个目标数据集;其中,每个目标数据集中的基准数据包类型不重复;
构建每个目标数据集的运行路径并提取每条运行路径的路径特征,基于所述路径特征对所述多个目标数据集进行聚类得到多个聚类集,确定每个聚类集的聚类中心的目标路径;依据所述第二数据集计算每条目标路径的路径指标系数并将所述路径指标系数大于设定指标系数的目标路径确定为备用路径;
所述边缘设备,用于:
将实时状态数据上传至所述中心云服务器;
所述中心云服务器,用于:
对所述备用路径进行实例化,将所述多个边缘设备的实时状态数据加载至每条备用路径对应的数据容器中并计算所述实时状态数据与每条备用路径的匹配率;在所述中心云服务器出现故障时,选择当前的最大匹配率的备用路径对应的备用实例进行切换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011398835.9A CN112506716A (zh) | 2020-06-11 | 2020-06-11 | 基于边缘计算和5g通信的数据处理方法及*** |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011398835.9A CN112506716A (zh) | 2020-06-11 | 2020-06-11 | 基于边缘计算和5g通信的数据处理方法及*** |
CN202010529840.2A CN111737061B (zh) | 2020-06-11 | 2020-06-11 | 基于边缘计算和5g通信的数据处理方法及中心云服务器 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010529840.2A Division CN111737061B (zh) | 2020-06-11 | 2020-06-11 | 基于边缘计算和5g通信的数据处理方法及中心云服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112506716A true CN112506716A (zh) | 2021-03-16 |
Family
ID=72648758
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011398835.9A Withdrawn CN112506716A (zh) | 2020-06-11 | 2020-06-11 | 基于边缘计算和5g通信的数据处理方法及*** |
CN202010529840.2A Expired - Fee Related CN111737061B (zh) | 2020-06-11 | 2020-06-11 | 基于边缘计算和5g通信的数据处理方法及中心云服务器 |
CN202011403483.1A Withdrawn CN112506717A (zh) | 2020-06-11 | 2020-06-11 | 结合边缘计算和5g通信的数据处理方法及中心云服务器 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010529840.2A Expired - Fee Related CN111737061B (zh) | 2020-06-11 | 2020-06-11 | 基于边缘计算和5g通信的数据处理方法及中心云服务器 |
CN202011403483.1A Withdrawn CN112506717A (zh) | 2020-06-11 | 2020-06-11 | 结合边缘计算和5g通信的数据处理方法及中心云服务器 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN112506716A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117081983A (zh) * | 2023-09-14 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 数据传输方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113900771B (zh) * | 2021-10-14 | 2024-03-12 | 苏州申浪信息科技有限公司 | 一种使用容器云主机的工业数据传输方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107911242A (zh) * | 2017-11-15 | 2018-04-13 | 北京工业大学 | 一种基于工业无线网络的认知无线电与边缘计算方法 |
CN110209716A (zh) * | 2018-02-11 | 2019-09-06 | 北京华航能信科技有限公司 | 智能物联网水务大数据处理方法和*** |
EP3539728A1 (en) * | 2018-03-17 | 2019-09-18 | Tata Consultancy Services Limited | System and method for fault detection in robotic actuation |
CN108828409A (zh) * | 2018-08-03 | 2018-11-16 | 南方电网科学研究院有限责任公司 | 一种基于边缘计算的故障检测*** |
US11399038B2 (en) * | 2018-11-06 | 2022-07-26 | Schlumberger Technology Corporation | Cybersecurity with edge computing |
CN111225421A (zh) * | 2018-11-23 | 2020-06-02 | 中国电信股份有限公司 | 移动边缘计算设备及其切换的业务处理方法 |
CN109933004B (zh) * | 2019-03-27 | 2022-05-24 | 苏芯物联技术(南京)有限公司 | 基于边缘计算和云协同的机床故障诊断与预测方法及*** |
CN110300024A (zh) * | 2019-06-28 | 2019-10-01 | 中天宽带技术有限公司 | 一种服务器任务处理方法、装置及其相关设备 |
CN110602180B (zh) * | 2019-08-26 | 2021-03-19 | 中国生态城市研究院有限公司 | 一种基于边缘计算的大数据用户行为分析方法及电子设备 |
CN110830943A (zh) * | 2019-11-06 | 2020-02-21 | 湖南银河电气有限公司 | 一种基于边缘计算和大数据分析的设备状态监测*** |
CN111090518A (zh) * | 2019-12-04 | 2020-05-01 | 远景智能国际私人投资有限公司 | 边缘计算设备控制方法、装置及存储介质 |
-
2020
- 2020-06-11 CN CN202011398835.9A patent/CN112506716A/zh not_active Withdrawn
- 2020-06-11 CN CN202010529840.2A patent/CN111737061B/zh not_active Expired - Fee Related
- 2020-06-11 CN CN202011403483.1A patent/CN112506717A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117081983A (zh) * | 2023-09-14 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 数据传输方法及装置 |
CN117081983B (zh) * | 2023-09-14 | 2024-01-05 | 腾讯科技(深圳)有限公司 | 数据传输方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111737061A (zh) | 2020-10-02 |
CN111737061B (zh) | 2021-01-12 |
CN112506717A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108304936B (zh) | 机器学习模型训练方法和装置、表情图像分类方法和装置 | |
KR102522005B1 (ko) | 가상 네트워크 관리를 위한 머신 러닝 기반 vnf 이상 탐지 시스템 및 방법 | |
CN111737061B (zh) | 基于边缘计算和5g通信的数据处理方法及中心云服务器 | |
US20230289828A1 (en) | Data processing method, computer device, and readable storage medium | |
CN111352965B (zh) | 序列挖掘模型的训练方法、序列数据的处理方法及设备 | |
Karimi-Bidhendi et al. | Scalable classification of univariate and multivariate time series | |
CN107153841A (zh) | 一种城市轨道交通车辆门***的亚健康预测方法 | |
CN112560829A (zh) | 人群数量确定方法、装置、设备及存储介质 | |
CN112511547A (zh) | 基于Spark和聚类的网络异常流量分析方法及*** | |
CN111310918A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN112926645A (zh) | 一种基于边缘计算的窃电检测方法 | |
CN112463205B (zh) | 基于ai和大数据的应用程序管理方法及人工智能服务器 | |
CN114841222B (zh) | 构建高压断路器故障检测模型的方法、检测方法及配电*** | |
Simao et al. | A technique to reduce the test case suites for regression testing based on a self-organizing neural network architecture | |
CN112801156B (zh) | 用于人工智能机器学习的业务大数据采集方法及服务器 | |
CN116958020A (zh) | 异常图像检测方法、模型训练方法、装置、设备和介质 | |
CN115185768A (zh) | ***的故障识别方法、***、电子设备和存储介质 | |
CN111740494B (zh) | 基于边缘计算和云计算的数据管理方法及边缘计算平台 | |
Lustosa Filho et al. | An analysis of diversity measures for the dynamic design of ensemble of classifiers | |
CN114580761A (zh) | 蒸汽量异常确定方法、装置、电子设备和可读存储介质 | |
CN112116441A (zh) | 金融风险分类模型的训练方法、分类方法、装置及设备 | |
CN115114345B (zh) | 特征表示的提取方法、装置、设备、存储介质及程序产品 | |
CN117495563A (zh) | 基于深度神经网络的股票算法交易方法、电子设备及介质 | |
CN116755836A (zh) | 容器异常重启预测方法、训练方法、装置和计算机设备 | |
CN117395253A (zh) | 一种负载均衡方法、装置、设备及其存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210316 |