基于大数据和边缘计算的数据整合方法及云端大数据中心
技术领域
本发明涉及大数据和边缘计算处理技术领域,特别涉及一种基于大数据和边缘计算的数据整合方法及云端大数据中心。
背景技术
随着科技的发展,各类业务数据(例如工业生产数据、智慧城市监控数据、车自动驾驶控制数据、智能医疗调度数据等)的数据规模和数据类别逐渐增多,这对传统的云计算模式带来了极大数据处理挑战,常常会导致传统云计算模式的过负荷。
为改善这一技术问题,现有技术逐渐将云计算模式转换为边缘计算模式。这样,一方面能够将大量的业务数据处理边缘化以减小云计算模式对云服务器的负荷压力,另一方面还能够将大量业务数据进行分布式配置,从而提高数据处理的效率和时效性。
然而,发明人发现,现有的基于边缘计算的业务数据处理方法难以实现业务数据之间的有效整合。
发明内容
为改善相关技术中存在的难以实现业务数据之间的有效整合的技术问题,本发明提供了基于大数据和边缘计算的数据整合方法及云端大数据中心。
第一方面,提供一种基于大数据和边缘计算的数据整合方法,应用于云端大数据中心,包括以下步骤:
获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果;
通过查找预先建立的业务数据标签分布,针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息;
基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分,以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数;
根据所述目标路径参数,将各业务处理结果进行整合以得到综合处理结果。
可替换地,所述业务数据标签分布通过以下方式建立:
获取两个目标边缘计算节点设备分别记录的业务行为轨迹信息,以及各业务行为轨迹信息中对应的目标边缘计算节点设备的业务互动数据;
检测各业务行为轨迹信息的行为轨迹指向参数;通过所述行为轨迹指向参数的时序特征配对,拟合各业务行为轨迹信息的行为轨迹指向参数,得到各业务行为轨迹信息的业务行为队列的队列标签;
针对各业务行为轨迹信息,基于该业务行为轨迹信息的业务行为队列的队列标签,确定记录该业务行为轨迹信息的目标边缘计算节点设备的业务类型;根据各目标边缘计算节点设备的业务类型,对各业务行为轨迹信息分别进行业务映射,以在所述云端大数据中心中生成该业务行为轨迹信息对应的业务数据映射路径;
对各业务数据映射路径进行聚类,得到所述云端大数据中心中的所有业务数据映射路径对应的路径网络分布图;
根据各目标边缘计算节点设备的业务互动数据,获得所述路径网络分布图中的路径标签列表;基于所述路径标签列表对所述路径网络分布图进行业务数据标签提取,得到业务数据标签分布。
可替换地,根据所述目标路径参数,将各业务处理结果进行整合以得到综合处理结果,包括:
将所述目标路径参数相对于每个业务处理结果的业务数据逻辑信息列出;其中,所述业务数据逻辑信息包括对应的业务处理结果在所述云端大数据中心对应的控制线程上的逻辑关系;
按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果。
可替换地,按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果,包括:
确定所述逻辑优先级的目标排序序列,所述目标排序序列对应的业务数据逻辑信息为相关性系数大于设定系数值且逻辑优先级与所有逻辑优先级的中位数的差值不小于预设差值的业务数据逻辑信息;
将所述目标排序序列对应的业务数据逻辑信息的逻辑编码数据的编码脚本切换为与所述云端大数据中心所对应的的目标编码脚本;
根据所述目标编码脚本判断所述目标排序序列对应的业务数据逻辑信息是否存在迭代权重;如果所述目标排序序列对应的业务数据逻辑信息存在迭代权重,则根据所述迭代权重的大小顺序对各业务处理结果之间的相关性系数进行标定,得到标定的相关性系数对应的多个第一业务处理结果以及未标定的多个第二业务处理结果;
基于所述迭代权重对所述第一业务处理结果进行迭代,在每次迭代过程中,将所述多个第二业务处理结果中具有最大业务影响度的业务处理结果添加到所述迭代过程中,并在下一次迭代过程中将所述多个第二业务处理结果中具有最小业务影响度的业务处理结果添加到下一次迭代过程中,直至完成所述第一业务处理结果和所述第二业务处理结果之间的交叉迭代以得到所述综合处理结果。
可替换地,基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分,以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数,进一步包括:
向每个目标边缘计算节点设备发送携带有请求字段和第一校验结果的文本提取请求;其中,所述第一校验结果是所述云端大数据中心基于预存的第一动态随机数和第一身份校验码对所述请求字段进行循环冗余校验计算得到的校验结果;在接收到所述目标边缘计算节点设备基于所述请求字段反馈的授权指令时,访问所述目标边缘计算节点设备对应的设定存储区并从所述设定存储区中获取所述目标边缘计算节点设备对应的设备日志文本;其中,所述目标边缘计算节点设备通过以下方式反馈授权指令:根据预先与所述云端大数据中心建立的认证关系确定与所述第一动态随机数对应的第二动态随机数以及与所述第一身份校验码对应的第二身份校验码,采用所述第二动态随机数和所述第二身份校验码对所述请求数据进行循环冗余校验计算并得到第二校验结果,在所述第一校验结果和所述第二校验结果一致时向所述云端大数据中心反馈所述授权指令;
确定每组设备日志文本对应的文本更新信息并基于确定得到的文本更新信息构建文本更新列表,将所述文本更新列表的列表结构信息以图数据形式映射到预设的坐标平面中,以在所述坐标平面中绘制得到所述文本更新列表的图数据集;
对所述图数据集中的每个图数据节点进行特征提取以得到每个图数据节点对应的平面特征,依据所述平面特征的特征维度对预设的识别模型进行模型参数调整,并采用完成模型参数调整的识别模型对所述平面特征进行识别,得到多个特征聚类;
计算每个特征聚类的聚类指标权重并将最大聚类指标权重对应的特征聚类定义为动态特征聚类并依据所述动态特征聚类分别确定每组设备日志文本中的可更新文本对应的文本区域;判断所述传递路径信息中的每组路径参数是否均在每个文本区域内收敛,并将传递路径信息中的在每个文本区域内收敛的路径参数确定为目标路径参数。
可替换地,通过查找预先建立的业务数据标签分布,针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息,具体包括:
从所述业务数据指标分布中确定出与各业务处理结果对应的处理评价标签;
判断每个处理评价标签与其对应的业务处理结果的业务交互稳定性的稳定性标签是否匹配,若匹配,则根据所述处理评价标签在所述业务处理结果中的映射信息生成该业务处理结果所对应的业务传递信息;
确定各业务传递信息之间的信息容量存在周期性变化的信息包,提取所述信息包中具有至少两个地址标识的信息集按照所述业务传递信息的时序优先级进行整合以得到各业务传递信息之间的传递路径信息。
可替换地,获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果,包括:
判断其中一个目标边缘计算节点设备的第一数据传输协议与另一个目标边缘计算节点设备的第二数据传输协议之间的协议文本相似度是否大于设定相似度;
在所述协议文本相似度大于所述设定相似度时,按照第一设定收发频率获取其中一个目标边缘计算节点设备的业务处理结果并按照第二设定收发频率获取另一个目标边缘计算节点设备的业务处理结果;其中,所述第一设定收发频率和所述第二设定收发频率互补。
第二方面,提供一种云端大数据中心,所述云端大数据中心包括数据整合装置,所述数据整合装置中部署的模块在运行时实现上述的方法。
第三方面,提供一种云端大数据中心,所述云端大数据中心包括互相之间通信的处理器和存储器;其中:
所述存储器用于存储计算机程序;
所述处理器用于从所述存储器中读取所述计算机程序,并执行所述计算机程序以实现上述的方法。
第四方面,提供一种计算机用存储介质,其上存储有计算机程序,所述计算机程序在运行时实现上述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果。
首先目标边缘计算节点设备上传的业务处理结果,其次通过查找预先建立的业务数据标签分布针对各业务处理结果分别生成对应的业务传递信息以及各业务传递信息之间的传递路径信息,然后基于从每个目标边缘计算节点设备中提取得到的设备日志文本对传递路径信息进行筛分以确定出目标路径参数,最后根据目标路径参数将各业务处理结果进行整合以得到综合处理结果。这样以来,能够将业务处理结果进行云端化从而实现业务数据处理和业务结果整合的明确分工,使得边缘计算节点设备能够高效处理业务数据且云端大数据中心能够对边缘计算节点设备上报的业务处理结果进行有效整合。如此可以全局性地对待处理业务数据对应的综合处理结果进行分析。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据本发明所涉及的实施环境的示意图;
图2是根据一示例性实施例示出的一种基于大数据和边缘计算的数据整合方法的流程图;
图3是根据一示例性实施例示出的一种基于大数据和边缘计算的数据整合装置的流程图;
图4是根据一示例性实施例示出的一种云端大数据中心的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
关于背景技术所提到的技术问题,发明人对现有的边缘计算架构进行了研究和分析发现,现有的边缘计算架构中的边缘计算节点设备之间通常存在异构性,其中一个边缘计算节点设备无法兼容其他边缘计算设备的业务数据,且每个边缘计算节点设备所处理的业务数据是根据该边缘计算节点设备对应的业务场景所分配的,这样会导致在边缘计算节点设备侧无法实现业务数据处理结果的有效整合。
为改善这一技术问题,本发明实施例旨在提供一种基于大数据和边缘计算的数据整合方法及云端大数据中心,能够将业务数据处理结果进行云端化从而实现业务数据处理和业务数据整合的明确分工,也即:边缘计算节点设备高效处理业务数据,云端大数据中心对边缘计算节点设备上报的业务数据处理结果进行有效整合。
为了实现上述方案,请首先参阅图1,为本发明实施例所提供的一种基于大数据和边缘计算的数据整合***100的架构示意图,所述数据整合***100可以包括云端大数据中心200以及多个边缘计算节点设备400。其中,云端大数据中心200和每个边缘计算节点设备400通信连接,从而实现如图2所示以下步骤S21-步骤S24所描述的方法。
步骤S21,获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果。
例如,待处理业务数据可以是工业生产数据、智慧城市监控数据、车自动驾驶控制数据、智能医疗调度数据等,在此不作限定。
步骤S22,通过查找预先建立的业务数据标签分布,针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息。
例如,业务数据分布标签用于表征云端大数据中心下发的待处理业务数据之间的关联关系。业务传递信息用于表征业务处理结果之间的结果导向描述。传递路径信息用于表征业务传递信息之间的级联优先级。
步骤S23,基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分,以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数。
例如,设备日志文本记录了目标边缘计算节点设备对待处理业务数据进行处理时的全过程。目标路径参数用于表征路径传递信息的路径架构。
步骤S24,根据所述目标路径参数,将各业务处理结果进行整合以得到综合处理结果。
例如,综合处理结果用以表征待处理业务数据在被云端大数据分发之前的所对应的全局性处理结果。
进一步地,基于上述步骤S21-步骤S24所描述的内容,首先目标边缘计算节点设备上传的业务处理结果,其次通过查找预先建立的业务数据标签分布针对各业务处理结果分别生成对应的业务传递信息以及各业务传递信息之间的传递路径信息,然后基于从每个目标边缘计算节点设备中提取得到的设备日志文本对传递路径信息进行筛分以确定出目标路径参数,最后根据目标路径参数将各业务处理结果进行整合以得到综合处理结果。这样以来,能够将业务处理结果进行云端化从而实现业务数据处理和业务结果整合的明确分工,使得边缘计算节点设备能够高效处理业务数据且云端大数据中心能够对边缘计算节点设备上报的业务处理结果进行有效整合。如此可以全局性地对待处理业务数据对应的综合处理结果进行分析。
云端大数据中心200不仅可以应用于智慧城市,还可以应用于智慧医疗、智慧工业园区、智慧工业互联网,该数据整合***100可以应用于大数据、云计算以及边缘计算等场景中,包括但不限于新能源汽车***管理、智能在线办公、智能在线教育、云游戏数据处理、电商直播带货处理、云上车联网处理、区块链数字金融货币服务、区块链供应链金融服务等,在此不作限定。可以理解,当应用于上述相应的领域时,业务数据的类型随之进行调整和进一步细化,在此不再一一列举。
在具体实施过程中发明人发现,为了确保业务传递信息以及各业务传递信息之间的传递路径信息的准确性,需要确保业务数据标签分布的完整性和实时性。为实现这一目的,步骤S22中的业务数据标签分布具体可以通过以下步骤S221-步骤S225所描述的内容实现。
步骤S221,获取两个目标边缘计算节点设备分别记录的业务行为轨迹信息,以及各业务行为轨迹信息中对应的目标边缘计算节点设备的业务互动数据。
步骤S222,检测各业务行为轨迹信息的行为轨迹指向参数;通过所述行为轨迹指向参数的时序特征配对,拟合各业务行为轨迹信息的行为轨迹指向参数,得到各业务行为轨迹信息的业务行为队列的队列标签。
步骤S223,针对各业务行为轨迹信息,基于该业务行为轨迹信息的业务行为队列的队列标签,确定记录该业务行为轨迹信息的目标边缘计算节点设备的业务类型;根据各目标边缘计算节点设备的业务类型,对各业务行为轨迹信息分别进行业务映射,以在所述云端大数据中心中生成该业务行为轨迹信息对应的业务数据映射路径。
步骤S224,对各业务数据映射路径进行聚类,得到所述云端大数据中心中的所有业务数据映射路径对应的路径网络分布图。
步骤S225,根据各目标边缘计算节点设备的业务互动数据,获得所述路径网络分布图中的路径标签列表;基于所述路径标签列表对所述路径网络分布图进行业务数据标签提取,得到业务数据标签分布。
如此以来,通过以上步骤S221-步骤S225,能够基于目标边缘计算节点设备分别记录的业务行为轨迹信息完整且实时地确定出业务数据标签分布,从而确保业务传递信息以及各业务传递信息之间的传递路径信息的准确性。
在具体实施时,为了保证综合处理结果在数据逻辑上的连续性,步骤S24所描述的根据所述目标路径参数,将各业务处理结果进行整合以得到综合处理结果,具体可以包括以下步骤S241和步骤S242所描述的内容。
步骤S241,将所述目标路径参数相对于每个业务处理结果的业务数据逻辑信息列出;其中,所述业务数据逻辑信息包括对应的业务处理结果在所述云端大数据中心对应的控制线程上的逻辑关系。
步骤S242,按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果。
通过实施上述步骤S241和步骤S242所描述的内容,能够对目标路径参数的业务数据逻辑信息的逻辑优先级以及相关性系数进行分析,从而实现对业务处理结果的迭代整合,这样可以确保综合处理结果在数据逻辑上的连续性。
在一个可以实现的实施方式中,步骤S242所描述的按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果,进一步可以包括以下步骤S2421-步骤S2424所描述的内容。
步骤S2421,确定所述逻辑优先级的目标排序序列,所述目标排序序列对应的业务数据逻辑信息为相关性系数大于设定系数值且逻辑优先级与所有逻辑优先级的中位数的差值不小于预设差值的业务数据逻辑信息。
步骤S2422,将所述目标排序序列对应的业务数据逻辑信息的逻辑编码数据的编码脚本切换为与所述云端大数据中心所对应的的目标编码脚本。
步骤S2423,根据所述目标编码脚本判断所述目标排序序列对应的业务数据逻辑信息是否存在迭代权重;如果所述目标排序序列对应的业务数据逻辑信息存在迭代权重,则根据所述迭代权重的大小顺序对各业务处理结果之间的相关性系数进行标定,得到标定的相关性系数对应的多个第一业务处理结果以及未标定的多个第二业务处理结果。
步骤S2424,基于所述迭代权重对所述第一业务处理结果进行迭代,在每次迭代过程中,将所述多个第二业务处理结果中具有最大业务影响度的业务处理结果添加到所述迭代过程中,并在下一次迭代过程中将所述多个第二业务处理结果中具有最小业务影响度的业务处理结果添加到下一次迭代过程中,直至完成所述第一业务处理结果和所述第二业务处理结果之间的交叉迭代以得到所述综合处理结果。
可以理解,通过上述步骤S2421-步骤S2424所描述的内容,能够实现对各业务处理结果的精准迭代,以确保综合处理结果的准确性和可靠性。
在一个可以实现的方式中,为了从传递路径信息中筛分出没有携带逻辑聚类字段的目标路径参数,从而确保目标路径参数的参数稳定性,在步骤S23中,基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分,以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数,进一步可以包括以下步骤S231-步骤S234所描述的详细内容。
步骤S231,向每个目标边缘计算节点设备发送携带有请求字段和第一校验结果的文本提取请求;其中,所述第一校验结果是所述云端大数据中心基于预存的第一动态随机数和第一身份校验码对所述请求字段进行循环冗余校验计算得到的校验结果;在接收到所述目标边缘计算节点设备基于所述请求字段反馈的授权指令时,访问所述目标边缘计算节点设备对应的设定存储区并从所述设定存储区中获取所述目标边缘计算节点设备对应的设备日志文本;其中,所述目标边缘计算节点设备通过以下方式反馈授权指令:根据预先与所述云端大数据中心建立的认证关系确定与所述第一动态随机数对应的第二动态随机数以及与所述第一身份校验码对应的第二身份校验码,采用所述第二动态随机数和所述第二身份校验码对所述请求数据进行循环冗余校验计算并得到第二校验结果,在所述第一校验结果和所述第二校验结果一致时向所述云端大数据中心反馈所述授权指令。
步骤S232,确定每组设备日志文本对应的文本更新信息并基于确定得到的文本更新信息构建文本更新列表,将所述文本更新列表的列表结构信息以图数据形式映射到预设的坐标平面中,以在所述坐标平面中绘制得到所述文本更新列表的图数据集。
步骤S233,对所述图数据集中的每个图数据节点进行特征提取以得到每个图数据节点对应的平面特征,依据所述平面特征的特征维度对预设的识别模型进行模型参数调整,并采用完成模型参数调整的识别模型对所述平面特征进行识别,得到多个特征聚类。
步骤S234,计算每个特征聚类的聚类指标权重并将最大聚类指标权重对应的特征聚类定义为动态特征聚类并依据所述动态特征聚类分别确定每组设备日志文本中的可更新文本对应的文本区域;判断所述传递路径信息中的每组路径参数是否均在每个文本区域内收敛,并将传递路径信息中的在每个文本区域内收敛的路径参数确定为目标路径参数。
可以理解,通过执行上述步骤S231-步骤S234,能够从传递路径信息中筛分出没有携带逻辑聚类字段的目标路径参数,从而确保目标路径参数的参数稳定性。
在一个具体的实施方式中,步骤S22所描述的通过查找预先建立的业务数据标签分布,针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息,进一步可以包括如下步骤S221-步骤S223所描述的内容。
步骤S221,从所述业务数据指标分布中确定出与各业务处理结果对应的处理评价标签。
步骤S222,判断每个处理评价标签与其对应的业务处理结果的业务交互稳定性的稳定性标签是否匹配,若匹配,则根据所述处理评价标签在所述业务处理结果中的映射信息生成该业务处理结果所对应的业务传递信息。
步骤S223,确定各业务传递信息之间的信息容量存在周期性变化的信息包,提取所述信息包中具有至少两个地址标识的信息集按照所述业务传递信息的时序优先级进行整合以得到各业务传递信息之间的传递路径信息。
这样,基于上述步骤S221-步骤S223,能够确保业务传递信息和传递路径信息的置信度和实时性。
在实际应用时,为了确保获取到的业务处理结果的准确性,避免业务处理结果出现缺损,在步骤S21中,获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果,具体可以包括以下步骤S211和步骤S212所描述的内容。
步骤S211,判断其中一个目标边缘计算节点设备的第一数据传输协议与另一个目标边缘计算节点设备的第二数据传输协议之间的协议文本相似度是否大于设定相似度。
步骤S212,在所述协议文本相似度大于所述设定相似度时,按照第一设定收发频率获取其中一个目标边缘计算节点设备的业务处理结果并按照第二设定收发频率获取另一个目标边缘计算节点设备的业务处理结果;其中,所述第一设定收发频率和所述第二设定收发频率互补。
可以理解,通过上述步骤S211和步骤S212,能够采用互补的收发频率来获取较高协议文本相似度所对应的业务处理结果,这样可以在保证获取业务处理结果的及时性的前提下确保获取到的业务处理结果的准确性,避免业务处理结果出现缺损。
在一个可替换的实施方式中,为了实现对综合处理结果的业务校正,在步骤S21-步骤S24的基础上,具体还可以包括步骤S25所描述的内容:根据所述综合处理结果中的结果分隔标识对所述综合处理结果进行业务校正。这样以来,能够基于不同的结果分隔标识对综合处理结果进行业务校正,确保综合处理结果的可靠性和准确性。
在一个具体的实施方式中,步骤S25所描述的根据所述综合处理结果中的结果分隔标识对所述综合处理结果进行业务校正,具体可以包括以下步骤S251-步骤S253所描述的内容。
步骤S251,将所述结果分隔标识按照分别按照时序优先级的大小顺序以及权限优先级的大小顺序进行排序,得到与所述时序优先级对应的第一排序序列以及与所述权限优先级对应的第二排序序列。
步骤S252,对所述第一排序序列以及所述第二排序序列进行遍历比较,也即将所述第一排序序列中的每个结果分隔标识与所述第二排序序列中的相同位置上的结果分隔标识进行比较,得到比较结果。
步骤S253,在所述比较结果表征所述第一排序序列和所述第二排序序列之间的序列相关性系数大于目标系数时,以所述第一排序序列中的至少两个结果分隔标识为参考对所述综合处理结果进行业务校正;在所述比较结果表征所述第一排序序列和所述第二排序序列之间的序列相关性系数小于等于所述目标系数时,以所述第二排序序列中的至少两个结果分隔标识为参考对所述综合处理结果进行业务校正;其中,业务校正包括对综合处理结果的数据可信度和数据有效时段的校正。
可以理解,通过上述步骤S251-步骤S253,能够根据结果分隔标识对综合处理结果进行灵活的业务校正。
基于上述相类似的发明构思,请结合参阅图3,提供了一种基于大数据和边缘计算的数据整合装置300,应用于云端大数据中心,所述装置包括以下功能模块:
处理结果获取模块310,用于获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果;
路径信息生成模块320,用于通过查找预先建立的业务数据标签分布,针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息;
路径参数获取模块330,用于基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分,以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数;
处理结果整合模块340,用于根据所述目标路径参数,将各业务处理结果进行整合以得到综合处理结果;
处理结果校正模块350,用于根据所述综合处理结果中的结果分隔标识对所述综合处理结果进行业务校正。
进一步地,路径信息生成模块320,具体用于:
获取两个目标边缘计算节点设备分别记录的业务行为轨迹信息,以及各业务行为轨迹信息中对应的目标边缘计算节点设备的业务互动数据;
检测各业务行为轨迹信息的行为轨迹指向参数;通过所述行为轨迹指向参数的时序特征配对,拟合各业务行为轨迹信息的行为轨迹指向参数,得到各业务行为轨迹信息的业务行为队列的队列标签;
针对各业务行为轨迹信息,基于该业务行为轨迹信息的业务行为队列的队列标签,确定记录该业务行为轨迹信息的目标边缘计算节点设备的业务类型;根据各目标边缘计算节点设备的业务类型,对各业务行为轨迹信息分别进行业务映射,以在所述云端大数据中心中生成该业务行为轨迹信息对应的业务数据映射路径;
对各业务数据映射路径进行聚类,得到所述云端大数据中心中的所有业务数据映射路径对应的路径网络分布图;
根据各目标边缘计算节点设备的业务互动数据,获得所述路径网络分布图中的路径标签列表;基于所述路径标签列表对所述路径网络分布图进行业务数据标签提取,得到业务数据标签分布。
进一步地,处理结果整合模块340,具体用于:
将所述目标路径参数相对于每个业务处理结果的业务数据逻辑信息列出;其中,所述业务数据逻辑信息包括对应的业务处理结果在所述云端大数据中心对应的控制线程上的逻辑关系;
按照所述业务数据逻辑信息的逻辑优先级以及所述业务数据逻辑信息之间的相关性系数将各业务处理结果进行迭代整合以得到综合处理结果。
进一步地,处理结果整合模块340,具体用于:
确定所述逻辑优先级的目标排序序列,所述目标排序序列对应的业务数据逻辑信息为相关性系数大于设定系数值且逻辑优先级与所有逻辑优先级的中位数的差值不小于预设差值的业务数据逻辑信息;
将所述目标排序序列对应的业务数据逻辑信息的逻辑编码数据的编码脚本切换为与所述云端大数据中心所对应的的目标编码脚本;
根据所述目标编码脚本判断所述目标排序序列对应的业务数据逻辑信息是否存在迭代权重;如果所述目标排序序列对应的业务数据逻辑信息存在迭代权重,则根据所述迭代权重的大小顺序对各业务处理结果之间的相关性系数进行标定,得到标定的相关性系数对应的多个第一业务处理结果以及未标定的多个第二业务处理结果;
基于所述迭代权重对所述第一业务处理结果进行迭代,在每次迭代过程中,将所述多个第二业务处理结果中具有最大业务影响度的业务处理结果添加到所述迭代过程中,并在下一次迭代过程中将所述多个第二业务处理结果中具有最小业务影响度的业务处理结果添加到下一次迭代过程中,直至完成所述第一业务处理结果和所述第二业务处理结果之间的交叉迭代以得到所述综合处理结果。
进一步地,路径参数获取模块330,用于:
向每个目标边缘计算节点设备发送携带有请求字段和第一校验结果的文本提取请求;其中,所述第一校验结果是所述云端大数据中心基于预存的第一动态随机数和第一身份校验码对所述请求字段进行循环冗余校验计算得到的校验结果;在接收到所述目标边缘计算节点设备基于所述请求字段反馈的授权指令时,访问所述目标边缘计算节点设备对应的设定存储区并从所述设定存储区中获取所述目标边缘计算节点设备对应的设备日志文本;其中,所述目标边缘计算节点设备通过以下方式反馈授权指令:根据预先与所述云端大数据中心建立的认证关系确定与所述第一动态随机数对应的第二动态随机数以及与所述第一身份校验码对应的第二身份校验码,采用所述第二动态随机数和所述第二身份校验码对所述请求数据进行循环冗余校验计算并得到第二校验结果,在所述第一校验结果和所述第二校验结果一致时向所述云端大数据中心反馈所述授权指令;
确定每组设备日志文本对应的文本更新信息并基于确定得到的文本更新信息构建文本更新列表,将所述文本更新列表的列表结构信息以图数据形式映射到预设的坐标平面中,以在所述坐标平面中绘制得到所述文本更新列表的图数据集;
对所述图数据集中的每个图数据节点进行特征提取以得到每个图数据节点对应的平面特征,依据所述平面特征的特征维度对预设的识别模型进行模型参数调整,并采用完成模型参数调整的识别模型对所述平面特征进行识别,得到多个特征聚类;
计算每个特征聚类的聚类指标权重并将最大聚类指标权重对应的特征聚类定义为动态特征聚类并依据所述动态特征聚类分别确定每组设备日志文本中的可更新文本对应的文本区域;判断所述传递路径信息中的每组路径参数是否均在每个文本区域内收敛,并将传递路径信息中的在每个文本区域内收敛的路径参数确定为目标路径参数。
进一步地,路径信息生成模块320,用于:
从所述业务数据指标分布中确定出与各业务处理结果对应的处理评价标签;
判断每个处理评价标签与其对应的业务处理结果的业务交互稳定性的稳定性标签是否匹配,若匹配,则根据所述处理评价标签在所述业务处理结果中的映射信息生成该业务处理结果所对应的业务传递信息;
确定各业务传递信息之间的信息容量存在周期性变化的信息包,提取所述信息包中具有至少两个地址标识的信息集按照所述业务传递信息的时序优先级进行整合以得到各业务传递信息之间的传递路径信息。
进一步地,处理结果获取模块310,具体用于:
判断其中一个目标边缘计算节点设备的第一数据传输协议与另一个目标边缘计算节点设备的第二数据传输协议之间的协议文本相似度是否大于设定相似度;
在所述协议文本相似度大于所述设定相似度时,按照第一设定收发频率获取其中一个目标边缘计算节点设备的业务处理结果并按照第二设定收发频率获取另一个目标边缘计算节点设备的业务处理结果;其中,所述第一设定收发频率和所述第二设定收发频率互补。
进一步地,处理结果校正模块350,具体用于:
将所述结果分隔标识按照分别按照时序优先级的大小顺序以及权限优先级的大小顺序进行排序,得到与所述时序优先级对应的第一排序序列以及与所述权限优先级对应的第二排序序列;
对所述第一排序序列以及所述第二排序序列进行遍历比较,也即将所述第一排序序列中的每个结果分隔标识与所述第二排序序列中的相同位置上的结果分隔标识进行比较,得到比较结果;
在所述比较结果表征所述第一排序序列和所述第二排序序列之间的序列相关性系数大于目标系数时,以所述第一排序序列中的至少两个结果分隔标识为参考对所述综合处理结果进行业务校正;在所述比较结果表征所述第一排序序列和所述第二排序序列之间的序列相关性系数小于等于所述目标系数时,以所述第二排序序列中的至少两个结果分隔标识为参考对所述综合处理结果进行业务校正;其中,业务校正包括对综合处理结果的数据可信度和数据有效时段的校正。
关于上述处理结果获取模块310、路径信息生成模块320、路径参数获取模块330、处理结果整合模块340和处理结果校正模块350的说明请参阅对图2所示的方法的步骤的说明,在此不作赘述。
基于上述同样的发明构思,还提供了一种基于大数据和边缘计算的数据整合***,包括云端大数据中心和多个边缘计算节点设备,所述云端大数据中心和所述多个边缘计算节点设备通信;
所述多个边缘计算节点设备中任意两个目标边缘计算节点设备分别用于:向所述云端大数据中心上传对下发的待处理业务数据进行处理之后所生成的业务处理结果;
所述云端大数据中心用于:
获取多个边缘计算节点设备中任意两个目标边缘计算节点设备分别上传的对下发的待处理业务数据进行处理之后所生成的业务处理结果;
通过查找预先建立的业务数据标签分布,针对各业务处理结果分别生成该业务处理结果所对应的业务传递信息以及各业务传递信息之间的传递路径信息;
基于从每个目标边缘计算节点设备中提取得到的设备日志文本对所述传递路径信息进行筛分,以确定出所述传递路径信息中不随每组设备日志文本的更新而变化的目标路径参数;
根据所述目标路径参数,将各业务处理结果进行整合以得到综合处理结果;
根据所述综合处理结果中的结果分隔标识对所述综合处理结果进行业务校正。
关于上述基于大数据和边缘计算的数据整合***的描述可以参阅对图2所示的方法的描述,在此不作赘述。
在上述内容的基础上,请结合参阅图4,提供了云端大数据中心200的硬件结构示意图,所述云端大数据中心200包括互相之间通信的处理器210和存储器220;其中:
所述存储器220用于存储计算机程序;
所述处理器210用于从所述存储器220中读取所述计算机程序,并执行所述计算机程序以实现如图2所示的方法。
在上述内容的基础上,一种计算机用存储介质,其上存储有计算机程序,所述计算机程序在运行时实现如图2所示的方法。
综上,本发明揭示的基于大数据和边缘计算的数据整合方法及云端大数据中心,首先目标边缘计算节点设备上传的业务处理结果,其次通过查找预先建立的业务数据标签分布针对各业务处理结果分别生成对应的业务传递信息以及各业务传递信息之间的传递路径信息,然后基于从每个目标边缘计算节点设备中提取得到的设备日志文本对传递路径信息进行筛分以确定出目标路径参数,最后根据目标路径参数将各业务处理结果进行整合以得到综合处理结果。这样以来,能够将业务处理结果进行云端化从而实现业务数据处理和业务结果整合的明确分工,使得边缘计算节点设备能够高效处理业务数据且云端大数据中心能够对边缘计算节点设备上报的业务处理结果进行有效整合。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。