CN109104464B - 一种边缘计算环境下面向协同存储的分布式数据更新方法 - Google Patents

Abstract

本发明公开了一种边缘计算环境下面向协同存储的分布式数据更新方法，本方法包括两个部分，分别是面向协同存储的覆盖网络构建方法和分布式数据更新方法。本发明首先根据边缘服务器的地理位置和网络探测信息，为每个边缘服务器确定邻居列表，构建覆盖网络；然后，每个边缘服务器根据本地和邻居的数据放置信息，为数据块排序；在满足本地存储限制的前提下，选择最优的本地数据块集合，并将该信息发送给邻居服务器；重复上述两个步骤，直到所有边缘服务器的本地数据放置策略不再变化为止；最后，每个边缘服务器根据本地数据放置策略，下载对应数据块至本地存储***，从而实现协同存储和分布式数据更新。

Description

一种边缘计算环境下面向协同存储的分布式数据更新方法

技术领域

本发明涉及边缘计算平台及边缘服务器管理领域，尤其涉及一种边缘计算环境下面向协同存储的分布式数据更新方法。

背景技术

边缘计算是一种介于云计算和移动计算之间的新兴技术。边缘计算通过给予网络边缘设备一定的计算能力和存储能力，形成“智能终端—边缘服务器—云数据中心”三层***结构，在网络的边缘提供通信和IT服务、存储和计算资源，以降低应用的处理延迟以及更有效地利用移动网络。边缘计算满足下一代网络的一个重要特征：信息本地产生、本地处理，因此被认为是实现5G生态***的重要技术之一，吸引了国内外众多知名网络运营商的关注。边缘计算环境下任务执行流程是：智能终端将无法在本地有效完成的任务迁移给边缘服务器去处理，从而降低自身负载和提高应用性能；边缘服务器接收到终端迁移的任务后，需要在尽可能短的时间内完成任务处理，并将处理结果返回给智能终端。在此过程中，边缘层的任务处理起到了至关重要的作用。

然而，近几年来随着深度学习、增强现实等新兴技术的发展，目标检测等数据敏感型应用层出不穷。这类应用不仅需要大量的计算资源，还需要特定的数据输入，比如深度学习模型、数据库和渲染材料等，这些数据种类繁多，导致数据规模庞大。对于数据敏感型应用产生的任务，边缘服务器只有获得了任务所需的数据，才能完成任务的处理。传统的解决方法是边缘服务器从云数据中心下载所需的数据，或者将数据集中式存储在边缘服务器本地，这两种做法均存在一定的缺陷。一方面，边缘服务器与云数据中心距离远、主干网络性能不稳定等因素会导致较高的下载延时，从而导致较高的处理延时；另一方面，边缘服务器拥有的存储资源是有限的，无法存储所有的数据，对于不能存储在本地的数据，从云数据中心下载同样会导致较高的计算延迟。此外，在不同时间段内，智能终端迁移给边缘服务器的任务是不同的，这意味着边缘服务器对数据的需求动态变化，需求的动态变化性要求定期的数据更新。因此，如何解决边缘服务器数据的存储和更新问题，降低边缘层任务处理延时，是一个关键的挑战性问题。

发明内容

发明目的：针对以上现有技术存在的问题，本发明提出了一种边缘计算环境下面向协同存储的分布式数据更新方法，着重解决边缘计算环境下边缘服务器的数据存储与更新问题。通过边缘服务器之间的协作，形成共享存储空间，分布式地将边缘服务器需要的数据存储在本地或者邻居服务器上，从而降低数据获取延时，提高边缘服务器性能。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种边缘计算环境下面向协同存储的分布式数据更新方法，包括以下步骤：

(1)根据每个边缘服务器以及每个边缘服务器的邻居服务器集合构建面向协同存储的边缘服务器网络拓扑；

(2)每个边缘服务器结合邻居服务器集合的数据放置信息，更新边缘服务器本地数据放置信息；

(3)根据更新的边缘服务器本地数据放置信息，每个边缘服务器从云数据中心下载相应的数据块，存储在本地。

其中，在步骤(1)中，所述构建面向协同存储的边缘服务器网络拓扑方法如下：

(1.1)边缘服务器s_A将自身的经纬度(x_A,y_A)发给中心管理服务器，中心管理服务器在数据库查询与边缘服务器s_A的距离小于L的相邻的边缘服务器集合S₁，并将查询结果返回；

(1.2)对于相邻服务器s_i∈S₁，s_A向s_i发送带有探测信号的网络数据包，并将该数据包的TTL字段设为k，若s_i在s_A的k跳之内，则s_i响应s_A的探测信号；

(1.3)若s_A收到邻居s_i的响应信号，则将s_i记为其邻居服务器；

(1.4)在所有边缘服务器确定完其邻居服务器之后，边缘服务器网络拓扑构建完成。

其中，在步骤(2)中，更新边缘服务器数据放置信息方法如下：

(2.1)s_A维护数据放置信息，令数据块b在数据放置信息中的记录为

BID_b为b的ID，

为在过去t小时内终端向s_A访问数据块b的次数，

表示数据块是否存放在s_A上，当某个终端向s_A请求数据块b时，该边缘服务器在数据放置信息中定位该数据块的BID，并将

加1；

(2.2)选择不同的策略计算s_A各个数据块的分值；

(2.3)s_A在完成所有数据块的分值计算后，对这些数据块按照分值进行排序，并根据排序结果，按照分值从大到小选择

个数据块，并生成新的数据块列表，

表示s_A的存储空间大小；

(2.4)将步骤(2.3)选中的数据块应条目的标志位I置为1，生成新的数据放置信息；

(2.5)在完成步骤(2.4)之后，s_A将更新后的数据放置信息发给其所有邻居服务器；

(2.6)所有边缘服务器重复步骤(2.1)-步骤(2.5)，更新每个边缘服务器的数据放置信息，直到所有边缘服务器的本地的数据放置信息不发生变化。

其中，在步骤(2.2)中，所述选择不同的策略计算s_A各个数据块的分值包括激进策略和保守策略，激进策略指的是：若数据块b未保存在邻居服务器s_i上，则s_A认为b也没保存在s_i的任意一个邻居服务器，s_A设置提高数据块b的分值，以保证b存储在s_A上，使s_i可以获取到b；如果数据块b保存在s_i本地，则s_A可以从s_i获得该数据块，而不需要本地存储该数据块；保守策略指的是若数据块b未保存在s_i上，则s_A认为b还会保存在s_i的邻居服务器上，因此，s_A在给b设置分值时，仅考虑自身的需求而不考虑s_i的需求。

其中，通过以下方法选择不同的策略：当服务器s_A存储空间

大于预设的阈值时，选择激进策略，否则选择保守策略。

其中，基于不同的策略下，s_A计算各个数据块的分值方法如下：

(4.1)基于激进策略，s_A上的数据块b的分值Score_A(b)的计算方式如下：

(4.2)基于保守策略，s_A上的数据块b的分值Score_A(b)的计算方式如下：

其中，

为在过去t小时内终端向边缘服务器s访问数据块b的次数，

为在过去t小时内终端向边缘服务器s_A访问数据块b的次数，

为在过去t小时内终端向边缘服务器s访问数据块j的次数，

为在过去t小时内终端向边缘服务器s_A访问数据块j的次数，

表示数据块b是否存放在s上，S是s_A的邻居服务器集合；其中，项

表示数据块b对于边缘服务器s_A的重要性，项

表示数据块b对于s_A的邻居服务器的重要性，0≤λ≤1。

有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：

(1)获取数据的时延低。一方面，多个边缘服务器共享存储空间，允许弱存储能力边缘服务器从邻居服务器获取数据，从而避免访问远端的云计算数据中心，减少数据传输时延。另一方面，各个边缘服务器在选择邻居服务器时，选择了地理位置接近且网络拓扑距离为k跳之内的边缘服务器，从而保证较小的传输时延。

(2)数据更新算法简单有效。一方面，各个边缘服务器分布式地、独立地更新协同存储的数据放置策略，更新过程既无需集中式的管理服务器参与，又无需全局同步，从而降低了数据更新算法的复杂性。另一方面，当一个边缘服务器更新本地数据存储时，其既考虑了本地数据的访问频率，又考虑了邻居服务器数据的访问频率，由此，可以提升协同存储的整体性能。

(3)数据更新算法有容错能力。一方面，各边缘服务器定期探测邻居边缘服务器，可发现邻居边缘服务器的异常状态，以及时调整数据放置策略。另一方面，在更新数据放置策略时，算法只更新异常状态边缘计算服务器附近的边缘计算服务器，而不需要计算全局的数据放置策略。

附图说明

图1边缘计算***架构；

图2本发明实现的边缘计算环境下面向协同存储的分布式数据更新方法流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

本发明在云数据中心和具有互相连接的边缘服务器集群运行，如图1所示。边缘计算环境是指由智能终端、边缘服务器和云数据中心构成的三层计算***，边缘服务器指的供智能终端接入，且具有计算、存储、网络功能的基站、网关、业务节点、路由器、交换机等设备。云数据中心的中心管理服务器负责搜集与管理边缘服务器信息，监控各服务器任务处理情况。在边缘服务器集群中，边缘服务器通过有线高速网络相连，负责处理智能终端迁移的数据敏感型任务，并返回计算结果。此外，所有数据文件被分割成等大的数据块，以便于分布式存储。任务执行流程为：终端设备将部分任务迁移给边缘服务器，边缘服务器和云数据中心完成任务处理并返回结果。本发明提出了一种边缘计算环境下面向协同存储的分布式数据更新方法，具体执行步骤如下：

步骤1.构建覆盖网络，覆盖网络从逻辑上规定边缘服务器间的连接拓扑。覆盖网络中的顶点表示边缘服务器，两顶点之间的边表示两个边缘服务器可以共享数据。给定一个边缘服务器s_A，覆盖网络中与s_A直接相连的边缘服务器称为s_A的邻居服务器。由此，每个边缘服务器通过自主发现其邻居服务器，进而构建覆盖网络。以下为边缘计算服务器s_A发现其邻居服务器的过程。假设s_A的经纬度坐标为(x_A,y_A)，则具体步骤为：

步骤101.边缘服务器s_A将自身的经纬度(x_A,y_A)发给中心管理服务器，中心管理服务器在数据库查询与边缘服务器s_A的距离小于L的边缘服务器集合S₁，并将查询结果返回；

步骤102.对于邻居服务器s_i∈S₁，s_A向s_i发送带有探测信号的网络数据包，并将该数据包的TTL字段设为k，k按照实际需要进行设置，比如k取3。若s_i在s_A的k跳之内，则s_i响应s_A的探测信号；

步骤103.若s_A收到邻居s_i的响应信号，则将s_i记为其邻居服务器。在所有边缘服务器确定完其邻居之后，覆盖网络构建完成。而且s_A和s_i都是边缘服务器，对于s_A来说，s_i是s_A是邻居服务器，而且s_i自己本身也有很多邻居服务器。

步骤2.更新边缘服务器s_A的本地数据放置策略。覆盖网络构建完成后，边缘服务器s_A与其邻居服务器交换数据放置信息，然后更新s_A的本地数据放置策略。

数据放置信息存储一个列表中，其包含了过去t小时，该边缘服务器对数据块的访问情况，t可以根据实际需要设置，例如t可取24。列表的每一项用三元组＜BID,w,I＞表示。其中BID是数据块的全局唯一标识，w是该数据块在过去t小时中被访问的次数，I表示该数据块是否存储在该边缘服务器本地。在实际实施过程中，BID可以用128个比特位表示，w可以用31个比特位表示，I用1个比特位表示，I＝1表示保存在本地，共合计160个比特位，即20字节。并且，实际工作中，上述三个参数可以按照实际需要选择位数表示。

在更新本地数据放置策略时，边缘服务器s_A首先计算所有数据块的协同存储分值，以评估每一份数据块的重用性，之后根据分值对所有数据块进行排序，在满足自身存储空间限制的前提下，更新本地的数据块集合，使得本地数据块的分值之和最大，生成新的数据放置信息。令数据块b在数据放置信息中的记录为

BID_b为b的ID，

为在过去t小时内终端向s_A访问数据块b的次数，

表示数据块是否存放在s_A上，此外，令

表示s_A的存储能力，S表示s_A的邻居服务器集合，B表示所有数据块的集合，则更新数据放置的过程主要包括以下步骤：

步骤201.s_A维护数据放置信息。当一个终端向s_A请求数据块b时，该边缘服务器在数据放置信息中定位该数据块的BID，并将

加1；

步骤202.s_A计算各个数据块的分值，通过“激进”和“保守”两种不同的策略，以评估数据块的重要性。在实际环境中，可根据边缘服务器存储空间的大小选择数据放置策略。当服务器s_A存储空间

大于预设的阈值时，选择激进策略，否则选择保守策略。以下为计算数据块b的分值的步骤：

激进策略：若数据块b未保存在邻居s_i上，则s_A可认为b也没保存在s_i的任意一个邻居服务器上。因此，s_A会尽可能为b设置更高的分值，以保证b存储在s_A上，使s_i可以获取到b。如果数据块b保存在s_i本地，则s_A可以从s_i获得该数据块，而不需要本地存储该数据块，因此，s_A会为b设置较低的分值。综上，基于激进策略，s_A上的数据块b的分值Score_A(b)的计算方式如下：

保守策略：若数据块b未保存在s_i上，则s_A可认为b还会保存在s_i的邻居服务器上。因此，s_A在给b设置分值时，仅考虑自身的需求而不考虑s_i的需求。综上，基于保守策略，s_A上的数据块b的分值Score_A(b)的计算方式如下：

在上述公式中，

为在过去t小时内终端向边缘服务器s访问数据块b的次数，

为在过去t小时内终端向边缘服务器s_A访问数据块b的次数，

为在过去t小时内终端向边缘服务器s访问数据块j的次数，

为在过去t小时内终端向边缘服务器s_A访问数据块j的次数，

表示数据块b是否存放在s上，S是s_A的邻居服务器集合；其中，项

表示数据块b对于边缘服务器s_A的重要性，项

表示数据块b对于s_A的邻居的重要性。这两项的权重通过系数λ(0≤λ≤1)调节。λ表示一个边缘服务器是否愿意和邻居服务器分享自身存储的数据。λ越大，说明该边缘服务器越愿意存储邻居服务器需要的数据块，λ值推荐设置为0＜λ＜0.5。

步骤203.s_A在完成所有数据块的分值计算后，对这些数据块按照分值进行排序，并根据排序结果，按照分值从大到小选择

个数据块，并生成新的数据块列表。

表示s_A的存储空间大小。

步骤204.根据步骤203得到的数据块集合，更新数据放置信息。若步骤203选中了数据块b，则将数据放置信息中b所对应条目的标志位I置为1，否则将标志位I置为0，生成新的数据放置信息。

步骤205.与邻居服务器交互候选数据信息。在完成步骤204之后，s_A将更新后的数据放置信息发给其所有邻居。

步骤206.迭代更新数据放置信息。所有边缘服务器重复步骤202-步骤205，更新每个边缘服务器的数据放置信息，并基于数据放置信息更新数据放置策略，直到所有边缘服务器的本地的数据放置策略都不发生变化。

步骤3.根据数据放置策略存储数据块，每个边缘服务器根据本地数据放置策略，从云数据中心下载相应的数据块，存储在本地。

Claims (2)

1.一种边缘计算环境下面向协同存储的分布式数据更新方法，其特征在于，包括以下步骤：

(1)根据每个边缘服务器以及每个边缘服务器的邻居服务器集合构建面向协同存储的边缘服务器网络拓扑；

(2)每个边缘服务器结合邻居服务器集合的数据放置信息，更新边缘服务器本地数据放置信息；

(3)根据更新的边缘服务器本地数据放置信息，每个边缘服务器从云数据中心下载相应的数据块，存储在本地；

其中，在步骤(2)中，更新边缘服务器数据放置信息方法如下：

(2.1)s_A维护数据放置信息，令数据块b在数据放置信息中的记录为

BID_b为b的ID，

为在过去t小时内终端向s_A访问数据块b的次数，

表示数据块是否存放在s_A上，当某个终端向s_A请求数据块b时，该边缘服务器在数据放置信息中定位该数据块的BID，并将

加1；

(2.2)选择不同的策略计算s_A各个数据块的分值：

当服务器s_A存储空间

大于预设的阈值时，选择激进策略计算s_A各个数据块的分值，否则选择保守策略计算s_A各个数据块的分值；

所述激进策略是指：若数据块b未保存在邻居服务器s_i上，则s_A认为b也没保存在s_i任意一个邻居服务器，s_A设置提高数据块b的分值，以保证b存储在s_A上，使s_i可以获取到数据块b；如果数据块b保存在s_i本地，则s_A可以从s_i获得该数据块，而不需要本地存储该数据块；

基于激进策略，s_A上的数据块b的分值Score_A(b)的计算方式如下：

所述保守策略是指：若数据块b未保存在s_i上，则s_A认为b还会保存在s_i的邻居服务器上，因此，s_A在给b设置分值时，仅考虑自身的需求而不考虑s_i的需求；

基于保守策略，s_A上的数据块b的分值Score_A(b)的计算方式如下：

其中，

为在过去t小时内终端向边缘服务器s访问数据块b的次数，

为在过去t小时内终端向边缘服务器s_A访问数据块b的次数，

为在过去t小时内终端向边缘服务器s访问数据块j的次数，

为在过去t小时内终端向边缘服务器s_A访问数据块j的次数，

表示数据块b是否存放在s上，存放在s上时取值为1，否则取值为0；S是s_A的邻居服务器集合，B表示s_A所有数据块的集合；其中，项

表示数据块b对于边缘服务器s_A的重要性，项

表示数据块b对于s_A的邻居服务器的重要性，λ为权重系数，并且0≤λ≤1；

(2.3)s_A在完成所有数据块的分值计算后，对这些数据块按照分值进行排序，并根据排序结果，按照分值从大到小选择

个数据块，并生成新的数据块列表，

表示s_A的存储空间大小；

(2.4)将步骤(2.3)选中的数据块应条目的标志位I置为1，生成新的数据放置信息；

(2.5)在完成步骤(2.4)之后，s_A将更新后的数据放置信息发给其所有邻居服务器；

(2.6)所有边缘服务器重复步骤(2.1)-步骤(2.5)，更新每个边缘服务器的数据放置信息，直到所有边缘服务器的本地的数据放置信息不发生变化。

2.根据权利要求1所述的一种边缘计算环境下面向协同存储的分布式数据更新方法，其特征在于，在步骤(1)中，所述构建面向协同存储的边缘服务器网络拓扑方法如下：

(1.1)边缘服务器s_A将自身的经纬度(x_A,y_A)发给中心管理服务器，中心管理服务器在数据库查询与边缘服务器s_A的距离小于L的相邻的边缘服务器集合S₁，并将查询结果返回；

(1.2)对于相邻服务器s_i∈S₁，s_A向s_i发送带有探测信号的网络数据包，并将该数据包的TTL字段设为k，若s_i在s_A的k跳之内，则s_i响应s_A的探测信号；

(1.3)若s_A收到邻居s_i的响应信号，则将s_i记为其邻居服务器，重复步骤(1.2)-(1.3)直到完成完成邻居服务器集合的确定；

(1.4)对所有边缘服务器确定其邻居服务器之后，边缘服务器网络拓扑构建完成。

Images