CN104767833A - 一种移动终端的计算任务的云端转移方法 - Google Patents

Abstract

一种移动终端的计算任务的云端转移方法，涉及移动云计算技术。采用q学习算法，转移部分计算任务到云端的移动终端，不需要精确预知无线网络的动态信道特征等参数，即可获得最低移动终端能耗的计算任务的转移方法。可应用于动态变化的无线网络，显著节省移动终端的能量。

Description

一种移动终端的计算任务的云端转移方法

技术领域

本发明涉及移动云计算技术，尤其是涉及位于动态无线网络中的一种移动终端的计算任务的云端转移方法。

背景技术

移动云计算网络目前已经成为一种允许移动终端充分利用云计算网络资源的服务模式，并且不需要移动终端额外增加复杂的硬件和软件。考虑到智能手机等移动终端硬件性能上的限制，比如：存储量较小、计算能力较弱等，移动终端可以发送云计算服务请求，例如将图像处理等大计算量的本地计算任务分配到云端服务器执行，云端服务器执行完毕后，将运算结果反馈给移动设备。[Dinh H T,Lee C,Niyato D,et al.A survey of mobile cloudcomputing:architecture,applications,and approaches[J].Wireless communicationsand mobile computing,2013,13(18):1587-1611.]

移动终端分配本地计算任务到云端服务器执行，可以有效地减少移动终端自身的计算任务，节约执行计算任务所消耗的时间，从而减少其能量消耗。但是，由于无线通信网络的带宽有限，从移动设备传输计算数据到云端需要消耗一定时间，同时会产生新的能量消耗。因此，考虑到移动终端和无线通信网络两者存在的限制，移动终端通常需要根据移动终端、云端服务器和通信网络的具体性能分配部分计算任务至云端服务器执行，以达到节约移动设备自身能量的目的。[Kumar K,Lu Y H.Cloud computing for mobile users:Can offloadingcomputation save energy[J].Computer,2010(4):51-56.]

首先，考虑到不同计算任务所需运行时间的不同，我们可以利用累计分布函数得到移动终端运行任务的最佳时间限制。在该限制时间内，若任务未执行完毕，则将剩余部分转移到云端服务器继续执行。通过这种方法，移动终端不需要事先估计计算任务所需的时间，同时可以减少能量消耗。[Xian C,Lu Y H,Li Z.Adaptive computation offloading for energyconservation on battery-powered systems[C]//Parallel and Distributed Systems,2007International Conference on.IEEE,2007,2:1-8.]

同时，移动终端所处的无线网络是动态变化的，例如，中国主要存在GPRS/EDGE的2.5G网络，3G网络、4G网络以及WiFi四种无线通信网络，相应的信道特征等参数也大不相同。因而，在研究移动云计算网络的计算任务分配时，应当考虑动态变化的无线网络对移动终端能量消耗的影响。[Chun B G,Maniatis P.Dynamically partitioning applications betweenweak devices and clouds[C]//Proceedings of the 1st ACM Workshop on Mobile CloudComputing&Services:Social Networks and Beyond.ACM,2010:7.]

之前的研究都是建立在已知无线网络的情况下。但是，目前对于动态无线网络信息的检测尚未成熟，通常移动终端对于无线网络信息并不明确，因而根据已知带宽的计算任务的分配方法在这种情况下并不适用。

发明内容

本发明的目的是提供一种移动终端的计算任务的云端转移方法。

本发明包括以下步骤：

步骤1：假设移动终端所处的无线网络类型有L种，表示为B＝[b_j]_1≤j≤L；可选的计算任务的云端转移比率(即上传的任务与总任务的比值)有N种，表示为A＝[a_i]_1≤i≤N；移动终端在某时刻所处的无线网络类型记为移动终端的状态，即s＝b_j(1≤j≤L)；移动终端选择的任务转移比率记为移动终端的动作，即y＝a_i(1≤i≤N)；

步骤2：初始化Q值矩阵：对于移动终端的每一个可能状态s，对移动终端所有可选择的动作y分配一个对应的Q值；对每个初始Q值赋值为0；设置学习因子α(0＜α＜1)和折扣因子δ(0＜δ＜1)；

步骤3：在第k(k＞1)次的计算任务中，移动终端检测计算任务量C，并在本地执行所有的计算任务，移动终端检测消耗的能量，记为原始消耗能量Es；

步骤4：移动终端根据此刻状态s^k＝b_j，以概率1-ε选择使状态s^k＝b_j对应的Q值最大的动作，以概率随机选择剩下的N-1种任务转移比率，记为y^k＝a_i；

步骤5：移动终端将y^k×C计算任务上传至云端服务器执行，并在本地执行(1-y^k)×C计算任务，移动终端执行完本地计算任务后，等待直到接收到云端服务器的运行结果；

步骤6：移动终端检测步骤4和5消耗的能量，记为优化消耗能量Em(s^k,y^k)，移动终端计算原始消耗能量Es与优化消耗能量Em(s^k,y^k)的差值，即为节约的能量U(s^k,y^k)＝Es-Em(s^k,y^k)；

步骤7：移动终端根据公式：

$Q(s^k,y^k)=(1-\mathrm{\α})Q(s^k,y^k)+\mathrm{\α}(U(s^k,y^k)+\mathrm{\δ}\underset{y\∈A}{\max }Q(s^{k+1},y))$

对Q值矩阵更新，Q(s^k,y^k)是移动终端在状态s^k下采用y^k值为任务转移比率时的Q值，是移动终端在状态s^k+1下，所有的任务转移比率对应的Q值中的最大值；

步骤8：重复步骤3～7，每次任务次数k＝k+1，直到第n次的计算任务中移动终端的每一个状态对应的每一个任务转移比率满足|Q(sⁿ,yⁿ)-Q(s^n-1,y^n-1)|＜0.01时，即Q(sⁿ,yⁿ)收敛，则yⁿ为状态sⁿ下的最佳的任务转移比率；

步骤9：移动终端观察当前时刻所处的无线网络类型b_j∈B，记为状态s＝b_j；在通过步骤2获得的收敛的Q值矩阵中，选择使状态s＝b_j对应的Q值最大的任务转移比率，即 $y=\arg \underset{y\∈A}{\max }Q(s,y);$

步骤10：移动终端检测当前所需执行的总的计算任务C，将y×C任务上传至云端服务器执行，同时在本地执行(1-y)×C任务；

步骤11：移动终端执行完本地计算任务后，等待直到接收到云端服务器的运行结果为止。

移动终端通过q学习，得到在不同类型的无线网络中将计算任务转移到云端服务器的最佳转移比率。

在步骤1中，所述移动终端的状态为移动终端所处的无线网络类型，由于无线网络的信道特征等参数不断变化，移动终端无法预知无线网络状态，但移动终端可以检测到当前所处的无线网络类型。

在步骤6中，所述优化消耗能量包括执行本地计算任务消耗的能量以及转移部分计算任务到云端服务器所消耗的能量；若移动终端在处理完本地计算任务后，仍需等待接收云端服务器的运算结果，则还需加上空闲等待所消耗的能量。

在步骤7中，移动终端进行q学习，更新Q值矩阵，指下一个学习过程中，在状态s^k+1下采取不同动作产生的Q值中的最大值。

在步骤8中，所述最佳的任务转移比率是指能够节约最多移动终端能量的任务转移比率。

对于需要转移部分计算任务到云端服务器的移动终端，本发明采用q学习，使移动终端在未知动态变化的无线网络中能够学习到最节约移动终端能量的计算任务的云端转移方法。合理地将一部分计算任务转移到云端服务器执行，可以减少移动终端自身的计算量，并且节约更多的时间和能量。

在对周围网络信息并不明确的情况下，本发明提出了一种基于q学习的移动终端的计算任务的分配方法。根据检测到的无线网络类型，移动终端通过不断改变转移到云端服务器的计算任务的比例，以适应动态的无线网络，从而学习到各网络类型下最节约能量的计算任务的分配方法。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

一种移动终端的计算任务的云端转移方法，具体步骤如下：

步骤1：假设移动终端所处的无线网络类型有L种，表示为B＝[b_j]_1≤j≤L；可选的计算任务的云端转移比率(即上传的任务与总任务的比值)有N种，表示为A＝[a_i]_1≤i≤N。移动终端在某时刻所处的无线网络类型记为移动终端的状态，即s＝b_j(1≤j≤L)；移动终端选择的任务转移比率记为移动终端的动作，即y＝a_i(1≤i≤N)。

步骤2：初始化Q值矩阵：对于移动终端的每一个可能状态s，对移动终端所有可选择的动作y分配一个对应的Q值；对每个初始Q值赋值为0；设置学习因子α(0＜α＜1)和折扣因子δ(0＜δ＜1)。

步骤3：在第k(k＞1)次的计算任务中，移动终端检测计算任务量^C，并在本地执行所有的计算任务。移动终端检测消耗的能量，记为原始消耗能量Es。

步骤4：移动终端根据此刻状态s^k＝b_j，以概率1-ε选择使状态s^k＝b_j对应的Q值最大的动作，以概率随机选择剩下的N-1种任务转移比率，记为y^k＝a_i。

步骤5：移动终端将y^k×C计算任务上传至云端服务器执行，并在本地执行(1-y^k)×C计算任务。移动终端执行完本地计算任务后，等待直到接收到云端服务器的运行结果。

步骤6：移动终端检测步骤4和5消耗的能量，记为优化消耗能量Em(s^k,y^k)。移动终端计算原始消耗能量Es与优化消耗能量Em(s^k,y^k)的差值，即为节约的能量U(s^k,y^k)＝Es-Em(s^k,y^k)。

步骤7：移动终端根据公式：

$Q(s^k,y^k)=(1-\mathrm{\α})Q(s^k,y^k)+\mathrm{\α}(U(s^k,y^k)+\mathrm{\δ}\underset{y\∈A}{\max }Q(s^{k+1},y))$

对Q值矩阵更新。Q(s^k,y^k)是移动终端在状态s^k下采用y^k值为任务转移比率时的Q值，是移动终端在状态s^k+1下，所有的任务转移比率对应的Q值中的最大值。

步骤8：重复步骤3～7，每次任务次数k＝k+1，直到第n次的计算任务中移动终端的每一个状态对应的每一个任务转移比率满足|Q(sⁿ,yⁿ)-Q(s^n-1,y^n-1)|＜0.01时，即Q(sⁿ,yⁿ)收敛，则yⁿ为状态sⁿ下的最佳的任务转移比率。

步骤9：移动终端观察当前时刻所处的无线网络类型b_j∈B，记为状态s＝b_j；在通过步骤2获得的收敛的Q值矩阵中，选择使状态s＝b_j对应的Q值最大的任务转移比率，即 $y=\arg \underset{y\∈A}{\max }Q(s,y).$

步骤10：移动终端检测当前所需执行的总的计算任务C，将y×C任务上传至云端服务器执行，同时在本地执行(1-y)×C任务。

步骤11：移动终端执行完本地计算任务后，等待直到接收到云端服务器的运行结果为止。

本发明提供了一种移动终端的计算任务的云端转移方法，采用q学习算法，转移部分计算任务到云端的移动终端，不需要精确预知无线网络的动态信道特征等参数，即可获得最低移动终端能耗的计算任务的转移方法。本发明可应用于动态变化的无线网络，显著节省移动终端的能量。

Claims (5)

1.一种移动终端的计算任务的云端转移方法，其特征在于包括以下步骤：

步骤1：假设移动终端所处的无线网络类型有L种，表示为B＝[b_j]_1≤j≤L；可选的计算任务的云端转移比率(即上传的任务与总任务的比值)有N种，表示为A＝[a_i]_1≤i≤N；移动终端在某时刻所处的无线网络类型记为移动终端的状态，即s＝b_j(1≤j≤L)；移动终端选择的任务转移比率记为移动终端的动作，即y＝a_i(1≤i≤N)；

步骤2：初始化Q值矩阵：对于移动终端的每一个可能状态s，对移动终端所有可选择的动作y分配一个对应的Q值；对每个初始Q值赋值为0；设置学习因子α(0＜α＜1)和折扣因子δ(0＜δ＜1)；

步骤3：在第k(k＞1)次的计算任务中，移动终端检测计算任务量C，并在本地执行所有的计算任务，移动终端检测消耗的能量，记为原始消耗能量Es；

步骤4：移动终端根据此刻状态s^k＝b_j，以概率1-ε选择使状态s^k＝b_j对应的Q值最大的动作，以概率随机选择剩下的N-1种任务转移比率，记为y^k＝a_i；

步骤5：移动终端将y^k×C计算任务上传至云端服务器执行，并在本地执行(1-y^k)×C计算任务，移动终端执行完本地计算任务后，等待直到接收到云端服务器的运行结果；

步骤6：移动终端检测步骤4和5消耗的能量，记为优化消耗能量Em(s^k,y^k)，移动终端计算原始消耗能量Es与优化消耗能量Em(s^k,y^k)的差值，即为节约的能量U(s^k,y^k)＝Es-Em(s^k,y^k)；

步骤7：移动终端根据公式：

$Q(s^k,y^k)=(1-\mathrm{\α})Q(s^k,y^k)+\mathrm{\α}(U(s^k,y^k)+\mathrm{\δ}\underset{y\∈A}{\max }Q(s^{k+1},y))$

对Q值矩阵更新，Q(s^k,y^k)是移动终端在状态s^k下采用y^k值为任务转移比率时的Q值，是移动终端在状态s^k+1下，所有的任务转移比率对应的Q值中的最大值；

步骤8：重复步骤3～7，每次任务次数k＝k+1，直到第n次的计算任务中移动终端的每一个状态对应的每一个任务转移比率满足|Q(sⁿ,yⁿ)-Q(s^n-1,y^n-1)|＜0.01时，即Q(sⁿ,yⁿ)收敛，则yⁿ为状态sⁿ下的最佳的任务转移比率；

步骤9：移动终端观察当前时刻所处的无线网络类型b_j∈B，记为状态s＝b_j；在通过步骤2获得的收敛的Q值矩阵中，选择使状态s＝b_j对应的Q值最大的任务转移比率，即 $y=\arg \underset{y\∈A}{\max }Q(s,y);$

步骤10：移动终端检测当前所需执行的总的计算任务C，将y×C任务上传至云端服务器执行，同时在本地执行(1-y)×C任务；

步骤11：移动终端执行完本地计算任务后，等待直到接收到云端服务器的运行结果为止。

2.如权利要求1所述一种移动终端的计算任务的云端转移方法，其特征在于在步骤1中，所述移动终端的状态为移动终端所处的无线网络类型，由于无线网络的信道特征等参数不断变化，移动终端无法预知无线网络状态，但移动终端可以检测到当前所处的无线网络类型。

3.如权利要求1所述一种移动终端的计算任务的云端转移方法，其特征在于在步骤6中，所述优化消耗能量包括执行本地计算任务消耗的能量以及转移部分计算任务到云端服务器所消耗的能量；若移动终端在处理完本地计算任务后，仍需等待接收云端服务器的运算结果，则还需加上空闲等待所消耗的能量。

4.如权利要求1所述一种移动终端的计算任务的云端转移方法，其特征在于在步骤7中，移动终端进行q学习，更新Q值矩阵，指下一个学习过程中，在状态s^k+1下采取不同动作产生的Q值中的最大值。

5.如权利要求1所述一种移动终端的计算任务的云端转移方法，其特征在于在步骤8中，所述最佳的任务转移比率是指能够节约最多移动终端能量的任务转移比率。