CN116781699A - 一种基于分布式边缘计算的数据通信方法及*** - Google Patents
一种基于分布式边缘计算的数据通信方法及*** Download PDFInfo
- Publication number
- CN116781699A CN116781699A CN202311041669.0A CN202311041669A CN116781699A CN 116781699 A CN116781699 A CN 116781699A CN 202311041669 A CN202311041669 A CN 202311041669A CN 116781699 A CN116781699 A CN 116781699A
- Authority
- CN
- China
- Prior art keywords
- data
- edge
- processing
- node
- edge node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004891 communication Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 128
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000006798 recombination Effects 0.000 claims abstract description 9
- 238000005215 recombination Methods 0.000 claims abstract description 9
- 230000003139 buffering effect Effects 0.000 claims abstract description 8
- 230000008439 repair process Effects 0.000 claims abstract description 8
- 239000012634 fragment Substances 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 10
- 229920006395 saturated elastomer Polymers 0.000 claims description 10
- 239000000872 buffer Substances 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 5
- 238000013467 fragmentation Methods 0.000 claims description 4
- 238000006062 fragmentation reaction Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000008521 reorganization Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/36—Flow control; Congestion control by determining packet size, e.g. maximum transfer unit [MTU]
- H04L47/365—Dynamic adaptation of the packet size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于分布式边缘计算的数据通信方法及***,涉及数据通信领域,其包括:获取传感器采集到的数据,对收集到的数据进行预处理;通过边缘节点的识别增加对数据的描述字段,并在边缘节点进行二次处理和分片处理;若数据量过大使边缘节点无法处理,则将节点任务对其他节点进行分配,对汇总后的内容重新修改后执行上传;对数据接收端接收的信息进行缓冲和修复,对缓冲和修复后的数据进行分片重组,并将重组后的数据进行二次修复作为输出数据;并对云端进行反馈;云端通过反馈结果对边缘节点的数据处理做出调整。提高了数据通信的效率,保证数据通信的稳定性和可靠性,提高了数据的完整性和准确性。
Description
技术领域
本发明涉及数据通信技术领域,具体为一种基于分布式边缘计算的数据通信方法及***。
背景技术
在21世纪,随着物联网、人工智能、5G等技术的发展,数据产生的规模和速度呈现出***性增长,特别是在物联网环境中,大量的设备和传感器不断产生着海量的数据。然而,将这些数据全部上传到云端进行处理会带来严重的带宽压力、延迟问题、安全隐患等问题。
对此,分布式边缘计算应运而生。边缘计算是一种计算架构,其核心理念是将计算任务从云端转移到网络边缘的设备上,即所谓的边缘节点,这些边缘节点可以是物联网网关、企业服务器,甚至是无人驾驶汽车等。这种方式可以有效降低网络延迟,提高数据处理效率,并且更好地保护数据隐私。
然而,边缘计算的分布式特性也带来了新的挑战,尤其是在数据通信方面。由于边缘节点分布广泛,网络环境复杂多变,如何有效、快速、安全地完成边缘节点与数据中心之间的数据交换,就成了一个需要解决的重要问题。这就需要设计出一种能够应对这些挑战的数据通信方法及***。
因此,设计一种基于分布式边缘计算的数据通信方法及***,具有重要的实际意义和价值。它能够帮助企业和组织更好地处理和利用大规模的数据,从而提高其业务效率,开创新的业务模式,甚至推动社会和经济的发展。
发明内容
鉴于上述存在的问题,提出了本发明。
因此,本发明解决的技术问题是:现有的分布式边缘计算的数据通信方法存在数据较大时容易出现崩溃的情况,以及如何解决边缘节点任务的分配问题。
为解决上述技术问题,本发明提供如下技术方案:一种基于分布式边缘计算的数据通信方法,包括:获取传感器采集到的数据,对收集到的数据进行预处理;将预处理后的数据传输到边缘节点,通过边缘节点的识别增加对数据的描述字段,并在边缘节点进行二次处理和分片处理;通过边缘节点对二次处理和分片处理后的数据执行分析,并将分析结果上传云端和数据接收端;若数据量过大时边缘节点无法处理,则将节点任务对其他节点进行分配并将处理结果汇总,对汇总后的内容重新修改后执行上传;对数据接收端接收的信息进行缓冲和修复,对缓冲和修复后的数据进行分片重组,并将重组后的数据进行二次修复作为输出数据;通过输出数据和所述描述字段的对比,评价输出数据的完整度和准确性,并对云端进行反馈;云端通过反馈结果对边缘节点的数据处理做出调整,若操作过度导致输出结果不准确,则削减边缘节点的处理能力。
作为本发明所述的基于分布式边缘计算的数据通信方法的一种优选方案,其中:所述预处理包括,在传感器过滤掉重复内容的数据信息,并将处理后的数据传输到边缘节点;所述二次处理包括,在边缘节点对数据进行清洗,去除无效和冗余数据、将初步识别的错误数据纠正。
作为本发明所述的基于分布式边缘计算的数据通信方法的一种优选方案,其中:所述边缘节点还包括,根据数据量和传感器分布位置对节点进行匹配,与传感器匹配的节点为传感器的边缘节点。
在边缘节点进行数据分片处理,在数据内容中***处理数据边缘节点编号和对数据的内容描述信息,将***后的数据分为多个数据片段,并在片段前后增加可识别的连接顺序字符,在接收端接收到信息后根据连接顺序字符对数据片段进行连接。
当数据分片完成并且分片的数据积累到预先设定的片段数时,启动数据发送;
所述分片大小S为:
S = min(D, NT, PT)
其中,S表示分片大小,D表示数据大小,N表示网络带宽,T表示目标的传输时间,P表示边缘节点的处理能力。
作为本发明所述的基于分布式边缘计算的数据通信方法的一种优选方案,其中:以数据采集的全部区域为坐标原点建立坐标系,对每个边缘节点以坐标的形式赋予编号,将数据通信必须使用的节点作为常规边缘节点,在每四个彼此相邻的常规边缘节点的中间位置设置一个特殊边缘节点;除数据采集的全部区域的区域边缘外,使每个常规边缘节点都能与周围4个特殊边缘节点相通信,每个特殊边缘节点都能与4个常规边缘节点相通信。
所述特殊边缘节点在常规边缘节点能够处理数据时,不参与数据的处理。
所述节点任务包括,当常规边缘节点处理的数据达到饱和时,特殊边缘节点介入处理数据;常规边缘节点相邻的4个特殊边缘节点分别记录有中间常规边缘节点的1/4种的处理数据的功能;在特殊边缘节点介入时,将常规边缘节点的功能运行负荷最高的数据处理能力进行特殊边缘节点的匹配,若一个节点介入无法仍为饱和状态,则根据常规边缘节点的功能运行负荷从高到低依次匹配具有处理能力的特殊边缘节点介入。
作为本发明所述的基于分布式边缘计算的数据通信方法的一种优选方案,其中:所述节点任务还包括,若特殊边缘节点介入仍为饱和状态,则将节点的数据处理任务无法处理的部分进行调度,利用具有相同处理能力的常规和特殊边缘节点对节点的数据处理任务进行调度;在调度时,若被调度的节点正在处理数据,则优先处理被调度节点的原任务,若被调度的节点原任务也处于饱和状态,则重新选择边缘节点。
在被调度的节点任务完成后,将处理结果汇总到任务调度出的原边缘节点,通过原边缘节点对数据处理结果进行核查,若核查无误,则通过处理数据的边缘节点发送处理结果;若核查存在异常,则回收调度任务同时限制处理数据的边缘节点上传处理结果,由原边缘节点对汇总后的内容重新修改后执行上传。
作为本发明所述的基于分布式边缘计算的数据通信方法的一种优选方案,其中:所述分片重组包括,接收单元对数据接收端接收的信息进行缓冲和修复,通过缓冲区收集分片,将收集到的分片按照所述顺序字符对数据片段进行连接。
对重组后的数据进行逻辑补充和数据的修复,根据在数据内容中***领导对数据的内容描述信息,对重组后的输出数据进行核验,若重组后的数据符合内容描述信息,则认可数据内容;若重组后的数据不符合内容描述信息,则不认可输出数据的完整度和准确性,将不符合的数据内容进行标注与在数据内容中***处理数据边缘节点的编号反馈到云端。
作为本发明所述的基于分布式边缘计算的数据通信方法的一种优选方案,其中:所述反馈包括,云端通过反馈结果对编号对应边缘节点的原始数据导出并重新计算,将重新计算的结果反馈到接收端;根据云端对原始数据的重新计算过程,更新编号对应边缘节点的数据处理方式,若操作过度导致输出结果不准确,则削减边缘节点的处理能力;若为计算过程不正确,则根据云端的计算更新计算过程;在更新边缘节点的数据处理方式后,同步与已更新边缘节点相邻的4个特殊边缘节点的数据处理方式。
本发明的另外一个目的是提供一种基于分布式边缘计算的数据通信***,其包括采集单元,获取传感器采集到的数据,对收集到的数据进行预处理,将信息传输到边缘计算模块;边缘计算模块,通过边缘节点的识别增加对数据的描述字段,并在边缘节点进行二次处理和分片处理,通过边缘节点对二次处理和分片处理后的数据执行分析,并将分析结果上传云端和数据接收端;若数据量过大使边缘节点无法处理,则将节点任务对其他节点进行分配并将处理结果汇总,对汇总后的内容重新修改后执行上传;数据接收模块,接收边缘计算模块信息,对数据接收端接收的信息进行缓冲和修复,对缓冲和修复后的数据进行分片重组,并将重组后的数据进行二次修复作为输出数据;通过输出数据和所述描述字段的对比,评价输出数据的完整度和准确性,并对云端进行反馈;云端,通过反馈结果对边缘节点的数据处理做出调整。
一种计算机设备,包括:存储器和处理器;所述存储器存储有计算机程序,其特征在于:所述处理器执行所述计算机程序时实现如上所述基于分布式边缘计算的数据通信方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如上所述基于分布式边缘计算的数据通信方法步骤。
本发明的有益效果:本发明提供的基于分布式边缘计算的数据通信方法通过在边缘节点进行数据的预处理、二次处理和分片处理,可以减少需要上传到的数据量,降低网络质量对数据传输的影响,提高数据通信的效率。当数据量过大或网络环境不佳时,可以动态调整数据分片的大小和发送的策略,以适应不同的网络环境和数据量,保证数据通信的稳定性和可靠性。数据接收端通过对接收的数据进行缓冲、修复和分片重组,可以有效地处理网络传输中的数据丢失、乱序等问题,提高数据的完整性和准确性。设计的节点任务分配机制,当常规边缘节点处理的数据达到饱和时,特殊边缘节点介入处理数据,有效地提高了整个***的处理能力,保证了数据处理的稳定性和效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明第一个实施例提供的一种基于分布式边缘计算的数据通信方法的整体流程图;
图2为本发明第二个实施例提供的一种基于分布式边缘计算的数据通信方法中常规边缘节点和特殊边缘节点的分布图;
图3为本发明第二个实施例提供的一种基于分布式边缘计算的数据通信方法在边缘节点算法更新效率和质量的对比图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1,为本发明的一个实施例,提供了一种基于分布式边缘计算的数据通信方法,包括:
S1:获取传感器采集到的数据,对收集到的数据进行预处理。
进一步的,预处理包括,在传感器过滤掉重复内容的数据信息,并将处理后的数据传输到边缘节点。
要知道的是,在传感器处进行的预处理,由于传感器上的计算能力不强,所以只能进行简单的数据处理。传感器的首要目的是采集数据,这个数据可以为数字数据也可以是图像数据。对这些数据进行过滤,将重复的内容过滤掉,能够保证数据量是小的,能够使数据传输更流畅。
S2:将预处理后的数据传输到边缘节点,通过边缘节点的识别增加对数据的描述字段,并在边缘节点进行二次处理和分片处理。
通过边缘节点对二次处理和分片处理后的数据执行分析,并将分析结果上传云端和数据接收端;若数据量过大时边缘节点无法处理,则将节点任务对其他节点进行分配并将处理结果汇总,对汇总后的内容重新修改后执行上传。
进一步的,二次处理包括,在边缘节点对数据进行清洗,去除无效和冗余数据、将初步识别的错误数据纠正。边缘节点还包括,根据数据量和传感器分布位置对节点进行匹配,与传感器匹配的节点为传感器的边缘节点。在边缘节点进行数据分片处理,在数据内容中***处理数据边缘节点编号和对数据的内容描述信息,将***后的数据分为多个数据片段,并在片段前后增加可识别的连接顺序字符,在接收端接收到信息后根据连接顺序字符对数据片段进行连接。
要说的是,边缘节点是处理数据的,具有较强的计算能力,在边缘节点对数据进行二次处理,能够提高数据质量。其中将初步识别的错误数据纠正说的是将数据信息或图像信息中明显失常的内容进行修正。例如在图像信息的处理时,画面内容出现偏差打破原本的图形轮廓,则对偏差位置进行修复。在数据内容中***处理数据边缘节点编号和对数据的内容描述信息是为了在后期识别出处理错误时,更新节点的算法提供根据;同时对数据的内容进行概述,这样能够在后续的分片整合时,及时对数据准确性进行评估。若内容描述信息描述数据不存在过高或过低数据,那么最后接收的数据出现异常数据就能够很快锁定;若内容描述信息描述图像为白天商场之中的图像,那么接收到的图像为黑天或为室外就是错误的。
当数据分片完成并且分片的数据积累到预先设定的片段数时,启动数据发送;若网络质量下降,则按网速缩减比例,等比缩减对发送片段的预先设定数量;确定合适的分片大小是一个重要的问题。分片太大可能会导致网络拥塞和分片处理延时,分片太小可能会增加网络开销和数据管理的复杂性。每一次的发送都会有一个限额,到了这个设定数量时启动数据的发送能够保证数据量的稳定性,按照网速缩减比例等比例的缩减发送时的数量设定,能够保证数据发送的大小能够被网速支持。还可以根据网络状况、边缘节点的处理能力以及数据类型来动态调整分片大小。
所述分片大小S为:
S = min(D, NT, PT)
其中,S表示分片大小,D表示数据大小,N表示网络带宽,T表示目标的传输时间,P表示边缘节点的处理能力。这样可以确保既不会超出网络的带宽,也不会超过节点的处理能力,同时也可以满足传输时间目标。对数据分片进行编码可以增加***的容错性。可以使用一些常见的编码方案,例如Reed-Solomon编码。编码可以为数据分片添加冗余信息,从而使得在丢失部分数据分片的情况下,仍然可以恢复出完整的数据。
还要说的是,以数据采集的全部区域为坐标原点建立坐标系,对每个边缘节点以坐标的形式赋予编号,将数据通信必须使用的节点作为常规边缘节点,在每四个彼此相邻的常规边缘节点的中间位置设置一个特殊边缘节点;除数据采集的全部区域的区域边缘外,使每个常规边缘节点都能与周围4个特殊边缘节点相通信,每个特殊边缘节点都能与4个常规边缘节点相通信;根据坐标编号能够精确锁定边缘节点位置。
在特殊边缘节点在常规边缘节点能够处理数据时,不参与数据的处理;节点任务包括,当常规边缘节点处理的数据达到饱和时,特殊边缘节点介入处理数据;常规边缘节点相邻的4个特殊边缘节点分别记录有中间常规边缘节点的1/4种的处理数据的功能;在特殊边缘节点介入时,将常规边缘节点的功能运行负荷最高的数据处理能力进行特殊边缘节点的匹配,若一个节点介入无法仍为饱和状态,则根据常规边缘节点的功能运行负荷从高到低依次匹配具有处理能力的特殊边缘节点介入。
要说的是,每个常规边缘节点的功能分为4个部分分别储存在4个特殊边缘节点,而一个特殊边缘节点能够储存4个常规边缘节点1/4的功能,这样就能保证每个边缘节点能够处理的数据总量是相差不大的,完整利用了节点的计算能力。将节点的功能分成4份分别存储是为了保证在特殊边缘节点发生损坏或故障时,其他3个边缘节点能够介入处理数据。在特殊边缘节点发生损坏或故障时,在介入处理时,变现为“饱和状态”,这样就能保证节点能够处理的数据量,不至于在数据量大时崩溃。
要知道的是,若特殊边缘节点介入仍为饱和状态,则将节点的数据处理任务无法处理的部分进行调度,利用具有相同处理能力的常规和特殊边缘节点对节点的数据处理任务进行调度;在调度时,若被调度的节点正在处理数据,则优先处理被调度节点的原任务,若被调度的节点原任务也处于饱和状态,则重新选择边缘节点;通过对节点任务的调度减轻任务量,通过对具有相同处理能力的节点调度,合理处理任务。
在被调度的节点任务完成后,将处理结果汇总到任务调度出的原边缘节点,通过原边缘节点对数据处理结果进行核查,若核查无误,则通过处理数据的边缘节点发送处理结果;若核查存在异常,则回收调度任务同时限制处理数据的边缘节点上传处理结果,由原边缘节点对汇总后的内容重新修改后执行上传。
要知道的是,若原本节点A的任务调度到了节点B,B处理的数据不符合标准,被A识别出了故障,就说明B是不适合处理这个内容的,A结合B处理的“半成品”数据内容重新处理或继续修正,这样对数据的最终处理单元就变成A,A就需要对输出内容负责。
S3:对数据接收端接收的信息进行缓冲和修复,对缓冲和修复后的数据进行分片重组,并将重组后的数据进行二次修复作为输出数据;通过输出数据和所述描述字段的对比,评价输出数据的完整度和准确性,并对云端进行反馈;云端通过反馈结果对边缘节点的数据处理做出调整,若操作过度导致输出结果不准确,则削减边缘节点的处理能力。
分片重组包括,接收单元对数据接收端接收的信息进行缓冲和修复,通过缓冲区收集分片,将收集到的分片按照所述顺序字符对数据片段进行连接。接收端需要为接收到的数据分片维护一个缓冲区。这个缓冲区需要能够容纳足够数量的数据分片,并且能够根据数据分片的元数据进行排序。对重组后的数据进行逻辑补充和数据的修复,根据在数据内容中***领导对数据的内容描述信息,对重组后的输出数据进行核验,若重组后的数据符合内容描述信息,则认可数据内容;若重组后的数据不符合内容描述信息,则不认可输出数据的完整度和准确性,将不符合的数据内容进行标注与在数据内容中***处理数据边缘节点的编号反馈到云端。
要说的是,当接收到连续的数据分片时,需要进行数据合并。合并的目标是将分片数据重新组装成原始的数据格式,例如一个完整的文件或数据流。数据合并需要处理分片丢失和乱序的问题。对于丢失的数据分片,需要向对应的边缘节点发送重传请求;对于乱序的数据分片,需要根据其分片顺序进行重新排序。对重组后的数据进行逻辑补充和数据的修复,在重组后的数据不符合内容描述字段的描述时,根据描述字段对内容进行补充和修复,例如,描述为一个人物的正脸照,在重组后的图像数据缺少一个耳朵,则根据描述,对缺失的耳朵进行补充和修复。按照常规逻辑,参照图像信息中出现的单只耳朵,复刻出另一个部位。
要说的是,反馈包括,云端通过反馈结果对编号对应边缘节点的原始数据导出并重新计算,将重新计算的结果反馈到接收端;根据云端对原始数据的重新计算过程,更新编号对应边缘节点的数据处理方式,若操作过度导致输出结果不准确,则削减边缘节点的处理能力;若为计算过程不正确,则根据云端的计算更新计算过程;在更新边缘节点的数据处理方式后,同步与已更新边缘节点相邻的4个特殊边缘节点的数据处理方式。
要知道的是,云端的计算能力和学习能力都高于边缘节点,所以通过云端更新算法和分析过程,将这个过程导入边缘节点,实现对边缘节点的更新。同时将特殊边缘节点的对应算法进行更新,能够保证介入数据处理时,算法和输出结果的一致性。
本实施例还提供了一种基于分布式边缘计算的数据通信***,其包括采集单元、边缘计算模块、数据接收模块和云端。
具体的,采集单元用于获取传感器采集到的数据,对收集到的数据进行预处理,将信息传输到边缘计算模块;边缘计算模块通过边缘节点的识别增加对数据的描述字段,并在边缘节点进行二次处理和分片处理,通过边缘节点对二次处理和分片处理后的数据执行分析,并将分析结果上传云端和数据接收端;若数据量过大时边缘节点无法处理,则将节点任务对其他节点进行分配并将处理结果汇总,对汇总后的内容重新修改后执行上传;数据接收模块用于接收边缘计算模块信息,对数据接收端接收的信息进行缓冲和修复,对缓冲和修复后的数据进行分片重组,并将重组后的数据进行二次修复作为输出数据;通过输出数据和所述描述字段的对比,评价输出数据的完整度和准确性,并对云端进行反馈;云端,通过反馈结果对边缘节点的数据处理做出调整。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器、磁变存储器、铁电存储器、相变存储器、石墨烯存储器等。易失性存储器可包括随机存取存储器或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器或动态随机存取存储器等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。
本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
实施例2
参照图2和图3,为本发明的一个实施例,提供了一种基于分布式边缘计算的数据通信方法,为了验证本发明的有益效果,通过经济效益计算和仿真实验进行科学论证。
首先,图2为一种基于分布式边缘计算的数据通信方法中常规边缘节点和特殊边缘节点的分布图,能够看每个常规边缘节点都与周围的4个特殊边缘节点之间存在联系,而每个特殊边缘节点都与周围的4个常规边缘节点存在联系。其中三角形代表特殊边缘节点,圆形代表常规边缘节点。
表1为本发明与传统方法的效果对比,通过多次的模拟测试得出的测试数据。
表1模拟测试结果表
能够看出,本发明在数据传输准确率上明显高于传统方法,且维持在一个稳定的水平;数据传输速度也快于传统方法。说明本发明能够快速且准确的进行数据通信。
图3为传统方法与本发明在边缘节点的算法更新的效率和质量的对比。其中数据质量和算法更新的效率以对参考值的比例体现。能够看出,本发明通过反馈和云端更新,使节点的算法更新速度更快,能够保证数据质量一直维持在较高的水平。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种基于分布式边缘计算的数据通信方法,其特征在于,包括:
获取传感器采集到的数据,对收集到的数据进行预处理;
将预处理后的数据传输到边缘节点,通过边缘节点的识别增加对数据的描述字段,并在边缘节点进行二次处理和分片处理;
通过边缘节点对二次处理和分片处理后的数据执行分析,并将分析结果上传云端和数据接收端;若数据量过大时边缘节点无法处理,则将节点任务对其他节点进行分配并将处理结果汇总,对汇总后的内容重新修改后执行上传;
对数据接收端接收的信息进行缓冲和修复,对缓冲和修复后的数据进行分片重组,并将重组后的数据进行二次修复作为输出数据;通过输出数据和所述描述字段的对比,评价输出数据的完整度和准确性,并对云端进行反馈;云端通过反馈结果对边缘节点的数据处理做出调整。
2.如权利要求1所述的基于分布式边缘计算的数据通信方法,其特征在于:所述预处理包括,在传感器过滤掉重复内容的数据信息,并将处理后的数据传输到边缘节点;
所述二次处理包括,在边缘节点对数据进行清洗,去除无效和冗余数据、将初步识别的错误数据纠正。
3.如权利要求2所述的基于分布式边缘计算的数据通信方法,其特征在于:所述边缘节点还包括,根据数据量和传感器分布位置对节点进行匹配,与传感器匹配的节点为传感器的边缘节点;
在边缘节点进行数据分片处理,在数据内容中***处理数据边缘节点编号和对数据的内容描述信息,将***后的数据分为多个数据片段,并在片段前后增加可识别的连接顺序字符,在接收端接收到信息后根据连接顺序字符对数据片段进行连接;
当数据分片完成并且分片的数据积累到预先设定的片段数时,启动数据发送;
所述分片大小S为:
S = min(D, NT, PT)
其中,S表示分片大小,D表示数据大小,N表示网络带宽,T表示目标的传输时间,P表示边缘节点的处理能力。
4.如权利要求3所述的基于分布式边缘计算的数据通信方法,其特征在于:以数据采集的全部区域为坐标原点建立坐标系,对每个边缘节点以坐标的形式赋予编号,将数据通信必须使用的节点作为常规边缘节点,在每四个彼此相邻的常规边缘节点的中间位置设置一个特殊边缘节点;除数据采集的全部区域的区域边缘外,使每个常规边缘节点都能与周围4个特殊边缘节点相通信,每个特殊边缘节点都能与4个常规边缘节点相通信;
所述特殊边缘节点在常规边缘节点能够处理数据时,不参与数据的处理;
所述节点任务包括,当常规边缘节点处理的数据达到饱和时,特殊边缘节点介入处理数据;常规边缘节点相邻的4个特殊边缘节点分别记录有中间常规边缘节点的1/4种的处理数据的功能;在特殊边缘节点介入时,将常规边缘节点的功能运行负荷最高的数据处理能力进行特殊边缘节点的匹配,若一个节点介入无法仍为饱和状态,则根据常规边缘节点的功能运行负荷从高到低依次匹配具有处理能力的特殊边缘节点介入。
5.如权利要求4所述的基于分布式边缘计算的数据通信方法,其特征在于:所述节点任务还包括,若特殊边缘节点介入仍为饱和状态,则将节点的数据处理任务无法处理的部分进行调度,利用具有相同处理能力的常规和特殊边缘节点对节点的数据处理任务进行调度;在调度时,若被调度的节点正在处理数据,则优先处理被调度节点的原任务,若被调度的节点原任务也处于饱和状态,则重新选择边缘节点;
在被调度的节点任务完成后,将处理结果汇总到任务调度出的原边缘节点,通过原边缘节点对数据处理结果进行核查,若核查无误,则通过处理数据的边缘节点发送处理结果;若核查存在异常,则回收调度任务同时限制处理数据的边缘节点上传处理结果,由原边缘节点对汇总后的内容重新修改后执行上传。
6.如权利要求5所述的基于分布式边缘计算的数据通信方法,其特征在于:所述分片重组包括,接收单元对数据接收端接收的信息进行缓冲和修复,通过缓冲区收集分片,将收集到的分片按照所述顺序字符对数据片段进行连接;
对重组后的数据进行逻辑补充和数据的修复,根据在数据内容中***领导对数据的内容描述信息,对重组后的输出数据进行核验,若重组后的数据符合内容描述信息,则认可数据内容;若重组后的数据不符合内容描述信息,则不认可输出数据的完整度和准确性,将不符合的数据内容进行标注与在数据内容中***处理数据边缘节点的编号反馈到云端。
7.如权利要求6所述的基于分布式边缘计算的数据通信方法,其特征在于:所述反馈包括,云端通过反馈结果对编号对应边缘节点的原始数据导出并重新计算,将重新计算的结果反馈到接收端;
根据云端对原始数据的重新计算过程,更新编号对应边缘节点的数据处理方式,若操作过度导致输出结果不准确,则削减边缘节点的处理能力;若为计算过程不正确,则根据云端的计算更新计算过程;
在更新边缘节点的数据处理方式后,同步与已更新边缘节点相邻的4个特殊边缘节点的数据处理方式。
8.一种采用如权利要求1-7任一所述的基于分布式边缘计算的数据通信方法的数据通信***,其特征在于:
采集单元,获取传感器采集到的数据,对收集到的数据进行预处理,将信息传输到边缘计算模块;
边缘计算模块,通过边缘节点的识别增加对数据的描述字段,并在边缘节点进行二次处理和分片处理,通过边缘节点对二次处理和分片处理后的数据执行分析,并将分析结果上传云端和数据接收端;若数据量过大时边缘节点无法处理,则将节点任务对其他节点进行分配并将处理结果汇总,对汇总后的内容重新修改后执行上传;
数据接收模块,接收边缘计算模块信息,对数据接收端接收的信息进行缓冲和修复,对缓冲和修复后的数据进行分片重组,并将重组后的数据进行二次修复作为输出数据;通过输出数据和所述描述字段的对比,评价输出数据的完整度和准确性,并对云端进行反馈;
云端,通过反馈结果对边缘节点的数据处理做出调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311041669.0A CN116781699B (zh) | 2023-08-18 | 2023-08-18 | 一种基于分布式边缘计算的数据通信方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311041669.0A CN116781699B (zh) | 2023-08-18 | 2023-08-18 | 一种基于分布式边缘计算的数据通信方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116781699A true CN116781699A (zh) | 2023-09-19 |
CN116781699B CN116781699B (zh) | 2023-10-27 |
Family
ID=87993388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311041669.0A Active CN116781699B (zh) | 2023-08-18 | 2023-08-18 | 一种基于分布式边缘计算的数据通信方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116781699B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117097592A (zh) * | 2023-10-20 | 2023-11-21 | 南京科控奇智能科技有限公司 | 一种基于云计算的边缘计算网关 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112511586A (zh) * | 2020-10-21 | 2021-03-16 | 中国铁道科学研究院集团有限公司通信信号研究所 | 一种基于云边协同的高速铁路智能行车调度安全卡控*** |
US20210344776A1 (en) * | 2020-04-30 | 2021-11-04 | Shenzhen Jingjiang Yunchuang Technology Co., Ltd. | Edge computing node device |
CN115604353A (zh) * | 2022-10-27 | 2023-01-13 | 广西电网有限责任公司(Cn) | 电力监控***中数据处理方法、***和计算机设备 |
US20230021868A1 (en) * | 2021-07-23 | 2023-01-26 | Ancestry.Com Operations Inc. | Data-sharding for efficient record search |
-
2023
- 2023-08-18 CN CN202311041669.0A patent/CN116781699B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210344776A1 (en) * | 2020-04-30 | 2021-11-04 | Shenzhen Jingjiang Yunchuang Technology Co., Ltd. | Edge computing node device |
CN112511586A (zh) * | 2020-10-21 | 2021-03-16 | 中国铁道科学研究院集团有限公司通信信号研究所 | 一种基于云边协同的高速铁路智能行车调度安全卡控*** |
US20230021868A1 (en) * | 2021-07-23 | 2023-01-26 | Ancestry.Com Operations Inc. | Data-sharding for efficient record search |
CN115604353A (zh) * | 2022-10-27 | 2023-01-13 | 广西电网有限责任公司(Cn) | 电力监控***中数据处理方法、***和计算机设备 |
Non-Patent Citations (1)
Title |
---|
***;林嘉韵;刘芳;: "区块链存储:技术与挑战", 网络与信息安全学报, no. 05 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117097592A (zh) * | 2023-10-20 | 2023-11-21 | 南京科控奇智能科技有限公司 | 一种基于云计算的边缘计算网关 |
CN117097592B (zh) * | 2023-10-20 | 2023-12-15 | 南京科控奇智能科技有限公司 | 一种基于云计算的边缘计算网关 |
Also Published As
Publication number | Publication date |
---|---|
CN116781699B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116781699B (zh) | 一种基于分布式边缘计算的数据通信方法及*** | |
US9983941B2 (en) | Method and apparatus for recovering data | |
CN111831223B (zh) | 提高数据去重***可扩展性的容错编码方法、装置及*** | |
JP5254443B2 (ja) | 通信システムの画像またはマルチメディアビデオ画像に使用される監視方法 | |
WO2023151290A1 (zh) | 一种数据编码方法、装置、设备及介质 | |
US11467905B1 (en) | Stripe merging method and system based on erasure codes | |
US10235401B2 (en) | Method and system for handling binary large objects | |
CN112131609A (zh) | 基于Merkle树的电能质量数据交换格式文件完整性校验方法及*** | |
CN114860745B (zh) | 基于人工智能的数据库扩展方法及相关设备 | |
CN103795490B (zh) | 一种数据传输加速的方法及*** | |
CN106953717B (zh) | 一种船舶ais数据大批量高效解码方法及*** | |
CN103838649A (zh) | 一种降低二进制编码存储***中计算量的方法 | |
CN116226139B (zh) | 一种适用大规模海洋数据的分布式存储和处理方法及*** | |
WO2018119976A1 (zh) | 应用于数据仓库***的高效优化数据布局方法 | |
CN116303789A (zh) | 多分片多副本数据库并行同步方法、装置及可读介质 | |
US20220245097A1 (en) | Hashing with differing hash size and compression size | |
CN103092716A (zh) | 纠删码参数获取方法和装置 | |
CN112365247A (zh) | 基于余数***与raft算法的区块链存储优化方法 | |
CN112131291A (zh) | 基于json数据的结构化解析方法、装置、设备及存储介质 | |
CN112199529A (zh) | 图片处理方法、装置、电子设备及存储介质 | |
CN115905131B (zh) | 一种航天测控重传数据处理方法和*** | |
CN111311471A (zh) | 一种基于fpga计算的批量图片分割调度处理合成***及方法 | |
CN115661495B (zh) | 一种紧凑划分及多层次合并策略的大规模SfM方法 | |
CN110928839A (zh) | 国际运价数据的存储方法和*** | |
DE102018105847A1 (de) | Datenwiederherstellung und Datenregeneration mittels Paritätscode |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |