CN104796494A - 一种云平台数据传输方法 - Google Patents

Abstract

本发明提供了一种云平台数据传输方法，该方法包括：主服务器收到用户请求后，选择内部资源用于存储数据备份，当内部存储资源不足时，选择其他服务器的资源用于存储数据备份；在选择其他服务器时，主服务器根据服务器之间的存储开销和通信开销来确定数据备份的存储位置。本发明提出的方法提高了云平台***的资源利用率和负载均衡的效果。

Description

一种云平台数据传输方法

技术领域

本发明涉及云计算，特别涉及一种云平台数据传输方法。

背景技术

云存储具有高可靠性、高扩展性、廉价低开销的特点。每台存储机器都是一个独立的存储节点，节点的加入和分离不影响***的正常运行，文件的数据量大；在处理海量视频数据方面具有优势。但是，由于视频数据数据分块数量很多，并且每个数据分块及其版本都存储在云平台中的不同节点中，因此在大量节点上需要进行事务的最优调度，而目前云平台中的调度和资源分配机制是一种静态地局部调度机制，在进行资源分配和调度时，仅考虑距离数据最近节点的当前资源状态，而没有从***全局的角度进行资源的最佳分配。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种云平台数据传输方法，包括：

主服务器收到用户请求后，选择内部资源用于存储数据备份，当内部存储资源不足时，选择其他服务器的资源用于存储数据备份；

在选择其他服务器时，主服务器根据服务器之间的存储开销和通信开销来确定数据备份的存储位置，将用户数据传输至所确定的存储位置实现备份。

优选地，在所述主服务器收到用户请求之前，还包括，用户在主服务器内通过云平台通信接口向云服务器提交使用的申请，查询事务执行的状态，检验所存储数据的完整性

主服务器包括资源监视器，用于监视云服务器资源的变化情况，收集各个服务器的资源信息，为调度器提供各个服务器的当前资源状态：所述调度器根据用户的事务请求信息和当前各服务器的资源信息，将用户事务的多个数据备份根据预定义策略动态存储至不同的服务器的资源，并将调度结果反馈给云平台通信接口，当有新的用户事务到达时，调度器根据存储开销和通信开销将数据备份进行分配。

优选地，当主服务器提供经过调度策略计算后将一个用户事务的数据备份存储到其它云服务器之后，将该备份一直存储在对应的云服务器上，直到用户申请的存储时间到达为止，而不在主服务器资源空闲时再将存储在其他云服务器上的数据备份写回主服务器的云平台上；

每一个数据备份无法再进行分块存储到不同的服务器平台上，一个备份同时只能存储在一个服务器的硬件资源中；

用四元组{t_ij，S_ij，T_ij，D_ij}来表示每个事务的资源请求信息，其中，服务器当前有W个用户U₁，…，U_W，每个用户有多个事务N₁，…，N_w，t_ij表示第i个用户的第j个子事务，i＝1，2，…，W；j＝1，2，…，N_i；S_ij、T_ij和D_ij分别表示事务t_ij的开始时间、存储时间和存储容量

服务器的数据备份开销cost按下式计算：

$\cos t=\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{\mathrm{Ni}}{\mathrm{\Σ}}}\underset{k=1}{\overset{L}{\mathrm{\Σ}}}(T_{\mathrm{ijk}}\×D_{\mathrm{ij}}\×O_{\mathrm{ijk}}+D_{\mathrm{ij}}\×y_{\mathrm{ijk}})$

其中，L为服务器总数量，T_ijk表示用户i的事务j的一个数据备份存储在第k个服务器资源内的时间；D_ij表示用户i的第j个事务的数据存储量；O_ijk表示第k个服务器存储用户i的第j个事务的数据版本个数；y_ijk是一个布尔型变量，当第k个服务器中存储有用户i的事务j的备份时，y_ijk等于1，否则y_ijk为0。

本发明相比现有技术，具有以下优点：

本发明提出的方法提高了云平台***的资源利用率和负载均衡的效果。

附图说明

图1是根据本发明实施例的云平台数据传输方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明在云计算环境下，对处理视频数据的事务以及事务调度与资源分配方法进行建模，在此模型下提出了一种面向视频数据的事务调度方法。该方法以云存储***中视频数据文件的分块多版本存储形式为基础来规划并行处理事务，以数据块和版本的映射关系为特征对云平台中数据节点执行聚类，以已执行完毕事务的反馈信息为基础来动态调度未执行事务，以此来提高***资源利用率和负载均衡的效果。图1是根据本发明实施例的云平台数据传输方法流程图。

视频应用中的用户需求以事务描述文件的形式提交到云存储***的客户端。当一个事务被提交时，客户端根据数据分块信息把该事务划分成多个子事务来并行执行。每个子事务关联着一个数据块。这样同一个事务中不同子事务就可以分布到不同的节点上执行，能够避免子事务之间由于资源竞争而造成的瓶颈，更好地适应视频数据处理过程中资源消耗高的特点。数据分块信息通过树Tr来描述：

Tr＝(C，R)，其中C是一个数据元素集合，其中的元素代表一个数据块；R是一个二元关系集合，其中的元素代表两个数据块的内容是否相同。数据元素集合C中的元素c_i可以用一个二元组向量来描述：c_i＝<_blocki，a_i>

其中_blocki表示数据块i的编号，a_i表示数据块i所在节点的编号。二元关系集合R中的元素r_i，j表示数据块j是数据块i的版本。在随机的时间事务被提交到云存储***的客户端，提交到客户端的事务流可以描述为J＝{J₀，J₁，J₂，J_i，…，J_n-1，J_n}

其中j_i可用六元组向量来描述：j_i＝<transid_i，dec_id_i，file_id_i，level_i，rcv_t_i，end_t_i>，其中transid为事务编号，dec_id为事务描述文件编号，file_id为事务需要处理的视频数据文件编号，level为事务的优先级，rcv_t为事务的提交时间，end_t为完成该事务的截止时间。提交的事务j_i被客户端划分为多个子事务。划分后的子事务可以用一个有向图GR来描述：

GR＝<V，E>

顶点集合V中的每个元素代表一个子事务。对于子事务v_i用一个九元组向量来描述：v_i＝<taskid_i，transid_i，type_i，wl_i，cpu_i，mem_i，disk_i，band_i，block_i>

taskid为子事务编号，transid为子事务所属事务编号，type为子事务类型，wl负载量(百万指令级)，cpu，mem，disk，band为子事务执行时占用虚拟机中的抽象资源(CPU，内存，磁盘和带宽)数量。虽然在虚拟机的抽象资源中，CPU资源可以在多个不同子事务之间分时复用，但是相当一部分视频程序属于计算密集型事务(例如编解码)，对于CPU资源消耗相当大，多个计算密集型事务同时在一个CPU核上运行，会导致执行速度急剧降低，因此需要限制一个处理机上的计算密集型事务的数量。因此也将CPU资源抽象成数量来度量，将一个处理机抽象成4个CPU资源。blockid为事务需要处理的数据块编号。边集合E中的每个元素代表两个子事务之间的一个依赖关系。e_i，j(e_i，j∈E)表示子事务v_i是子事务v_j的前驱，子事务v_j是子事务v_i的后继。

结合视频数据处理的特点，在本发明提出的事务调度和资源分配模型中每个数据节点都有一个调度进程。这些调度进程知道它们所在数据节点的虚拟机的当前状态。并且不同节点的调度进程能够和客户端的调度进程通信，传递事务调度和控制信息。客户端的调度进程根据查询到的视频数据分块信息树Tr将事务划分成子事务后，根据二元关系集合R将数据节点执行聚类，聚类规则如下：

a_i∈D_m，对于任意a_i，如果a_j∈D_m，a_i≠a_j，则存在r_i，j∈R

存储同一个数据块m的所有数据节点组成一个聚类集合D_m，a_i为聚类集合D_m内的一个节点。客户端的调度进程从提高资源利用率和负载均衡的角度在D_m内选择一个最佳节点来执行任务。

如果数据节点的调度进程接受了一个事务，则该事务或者根据其优先级***这个节点的等待事务队列，或者抢占其它低优先级的事务立即执行。事务执行完毕后，数据节点的调度进程就通知客户端的调度进程，以便客户端的调度进程进行后继事务的调度。

在云存储***中，视频数据的数据块分布的节点数量巨大，因此存储有视频数据数据块的各个节点需要有效地减少管理节点的负载。在本发明提出的事务调度模型中，节点具有分配自身资源和事务调度的能力，具有统计自身资源和负载状态的能力。

在本发明提出的动态资源分配和事务调度的方法中，客户端c的调度进程向数据块m对应的聚类集合D_m内所有数据节点(a₁，a₂，a₃)发出事务处理请求。D_m内所有的数据节点根据内部资源和当前负载状态，并利用由历史运行状态信息提取出来的动态因数计算出事务v_i在该节点的估计执行效果，并反馈给客户端调度进程。客户端调度进程根据反馈信息选择能够最早完成该事务的节点来执行事务v_i。这种以客户端主导调度过程，数据节点主导资源分配以及动态反馈的方式对有利于整个云存储***的负载均衡。

第1步。客户端c的调度进程向管理节点查询事务需要处理的视频文件的分块信息树Tr。

第2步。客户端c的调度进程根据视频文件的分块信息把该事务划分成多个子事务，其中每个子事务处理一个数据块，划分后的结果以有向图GR的形式输出。

第3步。判断GR中是否存在无前驱的子事务，如果不存在，则等待。否则，从GR中选择一个无前驱或者所有前驱子事务都已经完成的子事务，假设为v_i。

第4步。客户端c通过数据分块信息树Tr和子事务v_i描述信息中的数据块编号block_i对节点执行聚类，输出一个节点集合D_blocki，D_blocki＝{a₁，a₂，a_j，…，a_n-1}。客户端c向D_blocki中的所有节点发送事务处理请求，事务处理请求中包含了子事务v_i的描述信息。

第5步。收到事务处理请求的节点a_j根据子事务v_i的负载量(wl_i)，事务类型以及节点a_j的资源特性，估计子事务v_i在节点a_j的估计处理时间ETM'_i，j。本发明用事务处理时间矩阵的一个元素ETM_i，j来表示子事务v_i在节点a_j的估计处理时间。当子事务v_i的负载量很大时，估算值与实际值之间会有比较大的偏差。因此引入一个调整因数fm_k，j来对ETM'_i，j进行校准，得到最终的TM_i，j。

ETM_i，j＝ETM'_i，j×fm_k，j

其中fm_k，j为第k类事务关于节点a_j的调整因数。调整因数fm_k，j反映了节点a_j执行第k类事务的历史特性。fm_k，j的初始值为1。

fm'_k，j＝Tact_i，j/ETM_i，j

fm_k，j＝(fm_k，j×λ+fm'_k，j×(1-λ))/2

fm_k，j是一个更新值，节点a_j每执行完一个第k类的子事务后，则计算出fm'_{k， j}，Tact_k，j为子事务k在节点a_j上的实际处理时间(包括子事务开始执行前或者被抢占后等待资源就绪的时间)。如果

|fm'_k，j-1|>Δfm，则该fm'_k，j舍弃，Δfm为一个预定义阈值，λ为一个预定义的权值，分别调节fm_k，j的更新速度和幅度。如果fm_k，j更新幅度太小，则当节点a_j的整体负载发生变化时，其值容易老化，影响ETM_i，j估计的准确性。如果fm_k，j更新幅度太大，则其值容易受个别局部事务的影响，变得不稳定，同样影响ETM_i，j估计的准确性。

第6步。依据事务调度模型中按照优先级来抢占资源的特点，本发明同时提出了资源队列管理方法来计算子事务v_i在节点a_j中的资源就绪时间，假设为ETA_i，j。以节点a_j中正在被执行的事务队列版本P、节点a_j中正在等待资源的事务队列版本W、节点a_j中当前空闲资源数量ar_j；子事务v_i的描述信息为输入；以子事务v_i在节点a_j的资源就绪时间ETA_i，j输出。

1.ETA_i，j初始化为当前时间。

2.将队列P中所有事务依次推入到队列G。

3.将队列W中所有事务依次推入队列G，假设队列G的长度为n。

4.根据子事务v_i的优先级，将子事务v_i***队列G，假设子事务v_i在队列G中的位置为i。

5.假设子事务v_i需要的资源为r_i，判断ar_j是否大于r_i，如是，则转第14步。

6.假设k为子事务v_k在队列G中的位置。对于每个k＝i+1，…，n，如果v_k∈P，则lr_j＝lr_j+r_k，并从队列C中移除v_k。

7.将队列G中正在执行的事务依次推入队列G₁，将队列G中正在等待执行的事务依次推入队列G₂。

8.根据每个事务的估计处理时间和已经处理时间(不包括被抢占后的等待时间)，计算队列G₁中每个事务的当前剩余处理时间，并根据每个事务的当前剩余处理时间进行降序排序。可以让那些当前剩余处理时间少的事务尽快完成，释放资源。

9.假设队列G₁当前的队首事务为vh₁，更新ETA_i，j和ar_j：

ETA_i，j＝ETA_i，j+vh₁的当前剩余处理时间，ar_j＝ar_j+rh₁。

10.弹出队列G₁的队首事务vh₁。

11.假设队列G₂当前的队首事务为vh₂，判断ar_j是否大于rh₂，如果否，则转第9步。

12.将队列G₂中的队首事务vh₂弹出，并将其推入队列G₁的尾部，并且更新arj：

ar_j＝ar_j-rh₂

13.判断队列G₂是否为空，如否，则转第9步。

14.输出ETA_i，j，结束。

第7步。计算出事务v_i在节点a_j的最早完成时间θ_i，j。

θ_i，j＝ETA_i，j+ETM_i，j

ETM_i，j和ETA_i，j这两个因素都会影响θ的准确性，进而直接影响事务调度和资源分配的最优性。对于第一个因素ETM_i，j的影响，已通过第5步中的调整因数fm_k，j来进行有效地抑制。对于第二个因素ETA_i，j的影响，还需要再引入一个调整因数fd_j到θ的计算过程中。

假设事务v_x为节点a_j已经执行完毕的一个历史事务。在执行完事务v_x后，立刻计算出节点a_j上最新的调整因数fd_j。

fdj＝α×(Tact_start_x-ETA_x，j)/ETA_x，j

其中Tact_start_x为事务v_x的实际资源就绪时间(相对于通过资源队列管理方法计算出来的资源就绪时间ETA_x，j)，α为预定义常数。调整因数fd_j表明的意义为：在单位等待时间内被延时的时间数量。α作为一个参数，来调节调整因数fd_j对θ进行动态纠偏的幅度。由于抢占事件的存在，通过高优先级事务的执行效果来计算出的调整因数fd_j显然更小。为此本发明扩充fd_j的维度为两维，即fd_j，l，其中j代表节点，l代表优先级。对于不同优先级的事务使用不同的调整因数fd_j来计算事务最早完成时间θ。引入调整因数fd_j后，事务最终的最早完成时间θfd_{i， j}的计算方法如下。

θfd_i，j＝(1+fd_j)×ETA_i，j+ETM_i，j

第8步。节点a_j向客户端c反馈子事务v_i的最早完成时间θfd_i，j。客户端c从D_blocki＝{a₁，a₂，a_j，…，a_n-1}中选择节点a_x来执行子事务v_i。其中θfd_i，x满足：

θfd_i，x＝min(θfd_i，1，θfd_i，2，…，θfd_i，n-1)

子事务v_i被客户端c分配到节点a_x后，根据其优先级***节点ax的等待事务队列，或者抢占其它低优先级的事务立即执行。

第9步。客户端c判断GR是否为空，如为空，则调度过程结束。如果不为空转到第3步。

为了避免大量高优先级事务到达节点时，节点中低优先级事务在节点等待队列中的等待时间不断延长或者在执行队列中不断被抢占，陷入实际处理时间不断延长的状态，每个节点以一个预定义频率遍历其等待队列中的事务，计算其执行效率θ。

θ＝γ(Tacte_y/ETM_y，j)

其中Tacte_y为事务v_y的当前实际处理时间(包括被抢占和在等待队列中的时间)，γ为一个预定义常数。将v_y的优先级提高θ个级别，同时将Tacte_y清零，然后根据事务v_y的优先级，重新将事务v_y***节点的等待队列中或者抢占低优先级事务来执行。

为了满足用户的事务请求，减少故障恢复时间，实现较低开销的数据备份，本发明进一步针对数据存储型事务，通过其他服务器资源进行备份，在进行数据备份操作时，服务器优先选择开销较低且故障恢复时间较短的内部资源用于存储数据备份，当内部存储资源不足时，选择其他服务器的资源用于存储数据备份。

将server₁作为接受用户事务请求的主服务器，server₂～server_L是可提供数据备份服务的其他服务器。主服务器收到用户请求后，会根据存储开销、通信开销合理地选择数据备份的存储位置，选择不同的服务器资源用于存储数据备份。

在主服务器内，用户可以通过云平台通信接口向云服务器提交使用的申请，查询事务执行的状态，检验所存储数据的完整性；资源监视器负责监视云服务器资源的变化情况，收集各个服务器的资源信息，为调度器提供各个服务器的当前资源状态；调度器根据用户的事务请求信息和当前各服务器的资源信息，将用户事务的多个数据备份根据预定义策略动态地存储至不同的服务器的资源内，并将调度结果反馈给云平台通信接口。当有新的用户事务到达时，调度器将数据备份进行分配，以实现较低开销的备份服务。

当主服务器提供经过调度策略计算后将一个用户事务的数据备份存储到云平台server_k(k＝1，2，…，L)后，则该备份将会一直存储在对应的云平台上直到用户申请的存储时间到达为止，而不会在主服务器资源空闲时再将存储在其他云平台上的数据备份写回主服务器的云平台上。

每一个数据备份无法再分块存储到不同的服务器平台上，即一个备份同时只能存储在一个服务器的硬件资源中。为了避免数据的冗余，当服务器server_k接到server₁的一个数据备份存储请求后，只需存储一个数据版本。

设服务器当前有W个用户U₁，…，U_W，每个用户有多个事务N₁，…，N_w，每个子事务的开始处理时间可以不同。用一个四元组{t_ij，S_ij，T_ij，D_ij}来表示每个事务的资源请求信息，其中，t_ij表示第i个用户的第j个子事务，i＝1，2，…，W；j＝1，2，…，N_i；S_ij、T_ij和D_ij分别表示事务t_ij的开始时间、存储时间和存储容量。

在本发明中，所有的存储备份会依据开销费用存储至不同服务器server₁，…，server_L的资源内。假定各服务器数据存储的带宽分别为BW₁，…，BW_L。

优选地，服务器的数据备份开销cost主要考虑数据的存储开销和通信开销2部分：

$\cos t=\underset{i=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\mathrm{Ni}}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}(T_{\mathrm{ijk}}\&times;D_{\mathrm{ij}}\&times;O_{\mathrm{ijk}}+D_{\mathrm{ij}}\&times;y_{\mathrm{ijk}})$

其中，T_ijk表示用户i的事务j的一个数据备份存储在第k个服务器资源内的时间；D_ij表示用户i的第j个事务的数据存储量；O_ijk表示第k个服务器存储用户i的第j个事务的数据版本个数；y_ijk是一个布尔型变量，当服务器server_k中存有用户i的事务j的备份时(即当O_ijk大于等于1时)，y_ijk等于1，否则y_ijk为0。

综上所述，本发明提出的方法提高了云平台***的资源利用率和负载均衡的效果。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算***来实现，它们可以集中在单个的计算***上，或者分布在多个计算***所组成的网络上，可选地，它们可以用计算***可执行的程序代码来实现，从而，可以将它们存储在存储***中由计算***来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (3)

1.一种云平台数据传输方法，其特征在于，包括：

主服务器收到用户请求后，选择内部资源用于存储数据备份，当内部存储资源不足时，选择其他服务器的资源用于存储数据备份；

在选择其他服务器时，主服务器根据服务器之间的存储开销和通信开销来确定数据备份的存储位置，将用户数据传输至所确定的存储位置实现备份。

2.根据权利要求1所述的方法，其特征在于，在所述主服务器收到用户请求之前，还包括，用户在主服务器内通过云平台通信接口向云服务器提交使用的申请，查询事务执行的状态，检验所存储数据的完整性；

所述主服务器包括资源监视器，用于监视云服务器资源的变化情况，收集各个服务器的资源信息，为调度器提供各个服务器的当前资源状态：所述调度器根据用户的事务请求信息和当前各服务器的资源信息，将用户事务的多个数据备份根据预定义策略动态存储至不同的服务器的资源，并将调度结果反馈给云平台通信接口，当有新的用户事务到达时，调度器根据存储开销和通信开销将数据备份进行分配。

3.根据权利要求2所述的方法，其特征在于，当主服务器提供经过调度策略计算后将一个用户事务的数据备份存储到其它云服务器之后，将该备份一直存储在对应的云服务器上，直到用户申请的存储时间到达为止，而不在主服务器资源空闲时再将存储在其他云服务器上的数据备份写回主服务器的云平台上；

每一个数据备份无法再进行分块存储到不同的服务器平台上，一个备份同时只能存储在一个服务器的硬件资源中；

用四元组{t_ij，S_ij，T_ij，D_ij}来表示每个事务的资源请求信息，其中，服务器当前有W个用户U₁，…，U_W，每个用户拥有的事务数量分别为N₁，…，N_w，t_ij表示第i个用户的第j个子事务，i＝1，2，…，W；j＝1，2，…，N_i；S_ij、T_ij和D_ij分别表示事务t_ij的开始时间、存储时间和存储容量

服务器的数据备份开销cost按下式计算：

$\cos t=\underset{i=1}{\overset{W}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\mathrm{Ni}}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}(T_{\mathrm{ijk}}\&times;D_{\mathrm{ij}}\&times;O_{\mathrm{ijk}}+D_{\mathrm{ij}}\&times;y_{\mathrm{ijk}})$

其中，L为服务器总数量，T_ijk表示用户i的事务j的一个数据备份存储在第k个服务器资源内的时间；D_ij表示用户i的第j个事务的数据存储量；O_ijk表示第k个服务器存储用户i的第j个事务的数据版本个数；y_ijk是一个布尔型变量，当第k个服务器中存储有用户i的事务j的备份时，y_ijk等于1，否则y_ijk为0。