CN111885155B - 一种车联网资源融合的车载任务协作迁移方法 - Google Patents

Abstract

本发明公开了一种车联网资源融合的车载任务协作迁移方法，首先构建结合软件定义网络技术的两层网络框架，并通过软件定义网络技术实时获得全局信息并计算各设备的计算资源租赁价格和集体通信矩阵。将最大化单位租金所能获得的服务质量作为优化目标确定优化问题构建函数；而后通过深度强化学习中算法求解最优调度方案，将计算得的任务迁移决策和所需数据获取决策由软件定义网络控制器向各设备传递，进行相应的任务迁移和数据传输操作，从而延长整体集群的生存周期。本发明在边缘设备资源有限的情况下，为能源将耗尽的电动车的待执行任务提供了协作迁移方案，从而延长电动车的生存时间至到达下一个充电桩充电，为车联网中的任务调度问题提供新思路。

Description

一种车联网资源融合的车载任务协作迁移方法

技术领域

本发明涉及车辆交通领域中的资源管理问题，通过管理异构资源进行车载任务设备间进 行协作计算，尤其涉及到网络资源虚拟化技术进行资源管理和深度强化学习方法相结合进行 任务调度和资源分配。

背景技术

为了响应绿色可再生能源的号召，电动汽车逐渐成为了如今汽车市场的主流。然而，由 于电池储能容量有限，电池耗尽而引起的汽车故障仍然是电动汽车所面临的最棘手的问题之 一。当电动车的状态不足以执行当前计算任务时，需要研究如何以低能耗的方式行驶到下一 个充电桩，在这个过程中需要保证计算任务的顺利执行。移动边缘计算(MobileEdgeComputing， 下文简称MEC)技术的出现解决了这一问题，通过充分利用网络边缘设备上的空闲资源，能 够大大降低移动设备的计算负载。在车联网环境中，如何分配整个网络的资源调度任务进行 计算成为了核心问题。随着物联网和通信技术的革命，软件定义网络(SoftwareDefinedNetwork， 下文简称SDN)技术得到了前所未有的发展，SDN将数据平面与控制平面分离，并将异构的 物理资源虚拟化，用来解决网络资源分配是个很有前途的方案。现有的MEC的研究常把基 础设施(如：路侧单元或基站)作为边缘设备并认为边缘设备上的资源总是充足的。但当网 络边缘设备上的资源不充足时，或者配置MEC服务器的设备数量较少时，如何处理无法在 本地及时计算的任务就成了主要的问题。对于这种情景，需要研究人员提出一种能够充分利 用网络中的有限资源来保证车辆上无法在本地执行的任务顺利完成的计算任务调度方案，从 而保证网络中的电动车计算任务能够顺利执行，并尽可能延长低电量车辆的生存周期。

发明内容

本发明的目的主要是针对现有研究的不足之处，在边缘计算网络资源有限的情况下，结 合SDN技术和人工智能算法，提出一种融合车联网3C(即Communication，Computation和 Caching资源，简称3C资源)资源的车载任务协作迁移策略，SDN控制器基于获取的用于实 时全局信息，对无法在本地执行的车载任务，通过向其他车辆付费迁移到其他车辆执行。该 策略通过资源租赁的方式促进车辆之间相互协作，电动车在资源充足时出租自身资源向其他 车辆提供计算服务以获取收益，在资源匮乏时租赁其他设备的资源执行自身的计算任务。

本发明的技术方案：

1.一种车联网资源融合的车载任务协作迁移方法，其步骤如下：

1)构建结合SDN技术的两层网络框架，明确SDN控制器的部署位置获得设备信息，计 算各设备的计算资源租赁单价；计算集体通信矩阵；明确待迁移任务列表；

2)基于1)中的模型，确定目标优化函数；

3)基于1)和2)中的信息确定深度强化学习的状态空间、动作空间和奖励函数；

4)基于3)中的状态、动作和奖励，获得当前状态使用DDQN得到任务迁移位置决策和 所需数据决策；

5)SDN控制器向各设备传递决策，进行相应的任务迁移和数据传输操作，从而延长整体 集群的生存周期。

步骤1)：明确场景中的主要元素，构建基于SDN技术的网络架构。在架构中，基础网络元素基于OpenFlow协议进行连接，部署在基站(Base station，下文简称BS)上的SDN控制器作为集群的中心控制器根据应用平面的要求分配底层资源，应用平面通过北向接口连接 到控制平面；SDN控制器根据应用程序的需求以及通过南向接口从数据平面获得的信息分配 物理基础结构的资源；在本方法，场景中的主要元素为N_V辆电动汽车和N_S个计算任务，电 动汽车的集合表示为V＝{1,2,...,N_V}，且|V|＝N_V，文中用下标i、j和h用来表示负责不同任 务的车辆，电动车v_i上待执行的计算任务表示为s_i，每一个任务s_i都对应着不同的服务类型， 服务类型的集合(包括不同的计算任务)表示为K＝{1,2,...,N_K}，下标k用来区分不同的服务 类型。

1.1)在本发明中，主要涉及电动车和计算任务两种模型。电动车和基站可以用来执行计 算任务。当电动车的情况不足以执行当前任务在任务时，该任务将被迁移到其他设备上执行。

1.2)车载任务迁移过程中主要存在两种通信方式：V2V(Vehicle-to-Vehicle，即车对车， 简称V2V)通信和V2B(Vehicle-to-Base Station，即车对基站，简称V2B)。在进行迁移决策 前，首先基于数据平面的数据计算集群的通信矩阵M，其元素m_p,q为设备v_p与设备v_q之间的 通信速率

通信速率由香农公式进行计算：车辆v_i与车辆v_j之间的通信速率

为

其中B_i,j是车辆v_i与车辆v_j之间的带宽，Γ_i,j为车辆v_i与车辆v_j之间 的信号噪声比(SignalNoiseRatio，简称SNR)反映了车辆v_i与车辆v_j之间的信道质量。而车 辆v_i和BS之间的传输速率为

其中ω为BS的子信道带宽，Γ_i,b表示车 辆v_i与BS的信号干扰噪声比(SignaltoInterferenceplusNoiseRatio，简称SINR)，不同于V2V， 其子信道之间存在干扰。

1.3)任务输入分为任务数据和所需数据库两部分数据获取，其中，任务数据的传输基于1.2)步骤中的V2V或V2B通信，而所需数据库的获取方式如下：设定集群中首次处理k_i服 务类型任务的车辆会从互联网下载所需数据库，若资源充足则将数据库缓存在车辆上；该缓 存数据可传输给同一集群中其他需要该类型任务的车辆，传输速率由1.2)中的公式计算。

1.4)基于步骤1.2)和1.3)执行车辆v_j获取了两部分输入数据后，进行任务计算，任务 s_i的计算延迟为：

其中f^cpu代表设备的可用计算能力，包括车辆

或基站

两种设备，f_i ^comp为执行任务s_i所需计算资源大小。将车辆的计算资源

建模为有限状态的 马尔可夫链。

1.5)对于剩余资源状态不同的车辆，通过单位租金不同来表达车辆出租自身计算资源协 助其他车辆执行车载任务的倾向。租金由函数

计算，其定义为：

其中α和β是价格因子，e为欧拉数，ε为设备剩余电量。

步骤2)：

优化目标为最大化全局总效益。本方法综合考虑延迟、存储容量、支付、功耗和速度的 约束。由部署在BS中的SDN控制器安排调度任务，以确保任务的成功执行并延长低电量电 动汽车的生命周期。车辆v_i迁移任务s_i能够获得的速率和

被定义为:

其中

为任务数据传输速率；

从车辆v_h到车辆v_j，所需数据的传输速率；

为 车辆v_j的数据下载速率；

为车辆v_j的计算能力；若任务迁移到BS上执行，

为车辆 v_i到BS的传输速率，

为BS的数据下载速率；

为BS的数据计算能力；

和

是 二进制变量，分别是任务迁移决策和所需数据获取决策。SDN控制器必须在支付费用和获得 的服务质量之间进行权衡。需要支付的总费用P_i ^total可通过下式计算：

其中，

和

分别为车辆v_j和BS计算资源的租金单价，通过1.3)中的公式可计 算，

和

分别为车辆v_j和BS下载资源的租金单价，综合二者，定义用户v_i获得的效益为单位支付费用所获得的服务速率，从车辆服务状态和单位支付费用联合考虑该问题，则 优化问题可以表述为：

C1～C6为优化函数P的限制条件。其中，C1是对车辆的移动性进行限制，L两辆车之间 的距离，分母的|μ_i-μ_j|为两车的相对速度，该约束限制了两辆车进行通信的时间要确保两 辆车在可通信范围之内；C2和C3是对任务迁移车辆和任务执行车辆的能耗限制，C2中的

和

分别为迁移车辆i与其他设备进行通信的时间和任务迁移执行等待传回需要等待 的时间；而C3中的

和

分别为执行车辆执行通信、计算和获取所需数据任务 的能耗。为了确保车辆不会因电池耗尽而抛锚。能耗计算公式为ε^cost＝e×t^cost，其中e是每单 位时间的功耗，包括EV的四个状态：行驶并执行通信任务(即e^comm，e^comm具有V2V和V2B 两种状态，即e^v2v和e^v2i)，行驶并执行计算任务(即e^comp)，行驶并执行下载任务(即e^down)和仅行驶状态(即e^wait)，而t^cost为车辆某状态的维持时间；C4是对集群中V2B的通信能力 的约束，Z_b为BS通信容量；C5限制了任务迁移执行时间必须满足任务本身的延迟限制，

为任务s_i的执行延迟限制；C6是对卸载决策的限制。

步骤3)：

使用深度强化学习算法之前，需要对深度强化学习中的几个重要要素进行详细说明，即 状态，动作和奖励函数。

3.1)***状态。在时隙t，集群中的状态空间为：

其中，Φ_i(t)为车辆设备的通信状态集合，

为车辆用户的计算能力集合，P_i(t)为每辆 车的计算资源租赁费用，I_i(t)为车辆的其他状态集合，包括车辆的速度、行驶方向、位置、 缓存数据所属服务类型、剩余电量。

3.2)***动作。动作可以表示为

其中x_i,j(t)是任务迁移决策，y_j,h(t) 是所需数据获取决策。x_i,j(t)定义为向量x_i,j(t)＝[x_i,1(t),x_i,2(t),...,x_i,V(t)]其中x_i,j(t)表示是否要 将车辆v_i上的任务s_i迁移到车辆v_j。如果任务s_i迁移到EVv_j，则x_i,j(t)＝1，否则在时隙t迁 移x_i,j(t)＝0。注意

表示任务s_i迁移到车辆执行，

表示 任务s_i迁移到BS执行。相同地，y_j,h(t)定义为向量y_j,h(t)＝[y_j,1(t),y_j,2(t),...,y_j,V(t)]，其中y_j,h(t) 表示数据获取决策，即车辆v_j是否从车辆v_h上获取所需要的缓存数据。

获取所需数据是否从车辆v_h的缓存传输。如果从车辆v_h传输到车辆v_j，则y_j,h(t)＝1，否则， y_j,h(t)＝0。其中，

意味着所需数据库从其他车辆的缓存中传输，

意味着所需数据库从互联网上下载。

3.3)奖励函数。本方案的目标在于最大程度地提高集群范围内迁移用户的总效用，即最 大化单位租金可获得的总服务速率。根据当前状态和动作决策，执行并计算奖励作为动作的 评估值。奖励的价值直接反映了行动的价值，基于对当前状态的观察来确定下一动作的方法 产生状态与动作之间的映射。奖励函数

定义如下：

其中，

为车辆v_i迁移任务s_i能够获得的速率和，P_i ^total为需要支付的总费用。当2)中 的优化目标的约束被满足时，奖励函数正常计算得到奖励，若优化目标不满足，则奖励为0 以示“惩罚”。

步骤4)

基于步骤3)中得到的***状态、***动作和奖励函数，基于深度强化学习中的DoubleDeepQ-Network(后文简称DDQN)算法进行任务的智能迁移。DDQN包含两个Q网 络即主Q网络Q_main和目标Q网络Q_target，除此之外还有一个经验回放缓冲区

用以存放样 本以供后期训练使用。

Step1：首先初始化两个Q网络以及两个网络的参数，并清空经验回放缓冲区

Step2：开始迭代，得到初始化状态，将该状态作为Q网络的输入，通过∈-greedy算法得 到该状态对应的动作，即：

其中

和

分别为状态和动作，

为第一次获取的第一部分的状态，θ为当前Q网络的 参数。而后通过得到的x_i,j(t)从通信矩阵中获取车辆v_j相应的通信状态，包括车辆v_j的其他 状态作为第二部分决策的输入状态，即

得到数据获取决策为：

Step3：执行动作

计算该动作的目标Q值r_j。执行动作后得到新状 态s_t+1，并更新状态，即

将四元组

存放至经验回放缓冲区

中。

Step4：判断当前状态是否满足终止条件，如果满足，则y_j＝r_j，否则，

其中ω是折损因子，θ和θ^-分别为Q网络的所有参数和目标Q网络参数。

Step5：计算损失函数：

通过神经网络梯度反向传播更新Q网络的参数θ，并每

步更新Q网络参数，更新方法 如下：

θ′＝σθ+(1-σ)θ′

其中，σ为更新系数。

Step6：累积奖励值收敛到一个值即得到目标函数的最优解。

步骤5)：

经过步骤4)求解得最优值后，SDN控制器将决策回传给集群中的车辆。集群中的车辆 根据得到的决策进行数据传输、任务计算或数据下载操作。

附图说明

图1为基于SDN技术，融合计算、通信和缓存资源的两层网络框架。

图2为计算任务的执行流程说明。

图3、图4为通信范围不同的条件下不同策略的性能对比情况，其中，图3是总效益和 平均延迟性能对比，a)是总效益，b)是平均延迟；图4是平均能耗和平均生存时间增益性能对比，a)是平均能耗，b)是平均生存时间增益。

图5、图6为计算负载不同的条件下不同策略的性能对比情况，其中，图5是总效益和 平均延迟性能对比，a)是平均能耗，b)是平均生存时间增益；图6是平均能耗和平均生存时间增益性能对比，a)是总效益，b)是平均延迟。

图7、图8为单位缓存数据不同的条件下(设置服务类别k∈K，缓存数据大小为k×单 位数据量大小)不同策略的性能对比情况，其中，图7是总效益和平均延迟性能对比，a)是 平均能耗，b)是平均生存时间增益；图8是平均能耗和平均生存时间增益性能对比，a)是总效益，b)是平均延迟。

具体实施方式

为了更加清楚详实地展现本发明的优点，下面将结合图片进一步描述本发明的实施方式。

本发明提供了一种车联网资源融合的车载任务协作迁移策略，旨在边缘计算资源有限的 情况下，促进电动车以协作的方式执行集群内无法本地执行的任务，来尽可能延长资源即将 耗尽的车辆的生存时间。

图1为支持SDN的两层网络体系结构。SDN的核心是将数据平面与控制平面分离。基础网 络元素基于OpenFlow协议连接。图2解释了整个任务的执行过程。基于图1和图2，本发明提 出了一种能够基于SDN技术管理3C资源从而进行任务迁移、协作执行的方案，具体步骤如下：

步骤1)：明确场景中的主要元素，构建基于SDN技术的网络架构。在架构中，基础网络元素基于OpenFlow协议进行连接，部署在基站上的SDN控制器作为集群的中心控制器根据应用平面的要求分配底层资源，应用平面通过北向接口连接到控制平面；SDN控制器根据应用程序的需求以及通过南向接口从数据平面获得的信息分配物理基础结构的资源；在本方 法，场景中的主要元素为N_V辆电动汽车和N_S个计算任务，电动汽车的集合表示为 V＝{1,2,...,N_V}，且|V|＝N_V，文中用下标i、j和h用来表示负责不同任务的车辆，电动车v_i上待执行的计算任务表示为s_i，每一个任务s_i都对应着不同的服务类型，服务类型的集合(包 括不同的计算任务)表示为K＝{1,2,...,N_K}，下标k用来区分不同的服务类型。基于SDN技 术，构建了图1中的两层网络架构。

1.1)电动车和计算任务模型

a.车辆模型：车辆v_i表示为：

v_i∈V其中各项元素的定义如下：

为车辆上所缓存的数据库所属的数据类型，

当

时，代表该车 上无缓存数据库；μ_i是车辆v_i的速度，当车辆正向行驶时，μ_i>0时，当车辆逆向行驶时μ_i<0；

为电动车v_i的可用计算资源，

随电动车的计算负载的变化而变化；ε_i为电动车v_i剩余 电量占总电量的百分比，且ε_i∈[0,1]。当车辆v_i的剩余电量或可用计算资源不足以执行任务s_i时，它将通过资源租赁的方式将任务迁移到其他设备执行。该类车辆通过SDN控制器构成集 合V'＝{1,2,...,N_V'}，

b.计算任务模型：电动车v_i上待执行的计算任务s_i表示为：

其中各项元素定义如下：

为任务s_i的任务数据大小；f_i ^comp为执行任务s_i所需计算资源大 小；k_i为任务s_i的服务类型k_i∈K；

为服务k_i所需计算资源的大小；

为任务s_i的执行 延迟限制。在本发明中，任务的计算输入部分分成两部分：任务数据和计算所需的数据库， 对于具有相同服务类型的任务，执行时所需要的数据库是相同的，该数据库可从互联网下载 获取。在获取数据库的过程中，重复下载同样服务类型的数据库产生冗余的网络开销，为了 充分利用网络资源，减少冗余开销，利用车辆上的空闲存储资源缓存数据库，可以大幅度减 少全局网络的延迟和能耗开销。

1.2)在任务迁移的过程中主要存在两种通信方式：车对车(vehicle-to-vehicle，V2V)通 信和车对基站(vehicle-to-base station，V2B)通信。SDN首先基于设备数据信息计算集群 (N_V+1)×(N_V+1)的通信矩阵M，N_V为集群中的车辆总数，其元素m_p,q为设备v_p与设备v_q之 间的通信速率

具体计算方法如下：

a.V2V通信：V2V通信使用正交频分多址技术来确保通信的质量和稳定性。车辆v_i与车 辆v_j之间的通信速率

通过香农公式

计算，其中B_i,j是车辆v_i与车辆v_j之间的通信带宽；信号噪声比

反映了车辆v_i与车辆v_j之间的信道质量；其中 p_i,j和g_i,j分别表示车辆v_i与车辆v_j之间的传输功率和信道增益，σ²为高斯噪声。

b.V2B通信：若当前场景无法通过V2V为任务待迁移车辆提供可靠通信，则可建立V2B 通信。基站总带宽B_b被平均分为N个子信道，每个子信道的信道带宽ω＝B_b/N；因此，传输速率

其中Γ_i,b表示车辆v_i与BS的信号干扰噪声比，SINR由公式

进行计算，其中p_i,b和g_i,b分别是车辆v_i和BS之间的传输功率和信道增益，I_i,b表示来自其他子信道的干扰，σ²为高斯噪声。

1.3)任务数据的传输基于1.2)步骤中提到的V2V或V2B通信。而获取所需数据库的方 式如下：设定集群中首次处理k服务类型任务的车辆从互联网下载所需数据库，若资源充足 则将数据库缓存在车辆上，该缓存数据可传输给同一集群中其他需要该类型任务的车辆，传 输速率由1.2)中的公式计算。当电动车v_j执行迁移任务s_i，该部分数据获取延迟可由

计算，其中ι是执行任务s_i的车辆v_j是否已经缓存了 任务s_i所需数据库的标志，如果车辆v_j已缓存需求数据库，则ι＝0，即无需从其他设备传输 或从网络下载该数据库；否则，ι＝1。当ι＝1且集群中存在缓存服务类型时，

和

分别 为数据库传输延迟和传输请求等待延迟；y_j,h为车辆v_j执行任务所需数据库是否从车辆v_h传 输的决策变量；而当ι＝1且该数据必须从互联网下载时，

是下载所需数据库的时长，即

为车辆v_j从互联网下载数据的速度，

为服务k_i所需计算资源的大小；

1.4)基于步骤1.2)和1.3)执行车辆v_j获取了两部分输入数据后，进行任务计算，任务s_i的 计算延迟为：

其中f^cpu代表设备的可用计算能力，包括车辆

或基站

两 种设备，

为执行任务s_i所需计算资源大小；将车辆的计算资源

建模为有限状态的马 尔可夫链。f^cpu可被分为L^comp个等级。如果

则

为级别

如果

则

为级别

以此类推。对于这些级别其状态空间为

状态s₁转移到s₂的一个时隙的状态转换概率可以表示为

和L^comp×L^comp矩阵可以定义为：

其中

且s₁,s₂∈S^comp。在本发明中，我们假设如果

其中

的下限是防止电动车计算资源过低而出现故障的阈 值。在BS中执行的任务i的计算延迟

可以通过1.2)中的公式计算，且BS的计算能力

对于执行所有类型的任务是足够且稳定的。

1.5)对电动车计算资源，其单位租金会随着可用计算能力f^cpu和剩余电量ε的状态而变 化；其租金由函数

计算，其定义为：

其中α和β是价格 因子，e为欧拉数，ε为设备剩余电量。车辆v_j的租金

由租金函数

计算，得 到车辆v_j上可用的计算资源和剩余电量越多，车辆倾向于协助其他车辆执行任务来赚取收益 的倾向就越强烈；在上述公式中，将租金函数分为两部分，

和

指数函数和反函数分 别表示对剩余电量和计算资源的敏感性；但是，单价对剩余电量和可用计算资源的敏感性不 同；如果电量ε_j极低，则无论剩余资源如何车辆v_j都倾向于不参与任务的协作执行；租金流 促进了全局车辆之间的合作；在这里，BS的电量始终是足够的，即ε＝1，而BS的租金

由

即

其中，

表示可用计算资源；

步骤2)：优化目标为最大化全局总效益；本方法综合考虑延迟、存储容量、支付、功耗 和速度的约束；由部署在BS中的SDN控制器安排调度任务，以确保任务的成功执行并延长 低电量电动汽车的生命周期；车辆v_i迁移任务s_i能够获得的速率和

被定义为：

其中

为任务数据传输速率；

从车辆v_h到车辆v_j，所需数据的传输速率；

为 车辆v_j的数据下载速率；

为车辆v_j的计算能力；若任务迁移到BS上执行，

为车辆v_i到BS的传输速率，

为BS的数据下载速率；

为BS的数据计算能力；

和

是 二进制变量，分别是任务迁移决策和所需数据获取决策，涉及到车辆v_i的两跳通信；决策

和

相互影响；SDN控制器必须在支付费用和获得的服务质量之间进行权衡需要支付的总 费用

可通过下式计算：

其中，

和

分别为车辆v_j和BS计算资源的租金单价，通过1.3)中的公式可计 算，

和

分别为车辆v_j和BS下载资源的租金单价，综合二者，定义用户v_i获得的效 益为单位支付费用所获得的服务速率，从车辆服务状态和单位支付费用联合考虑该问题，则 优化问题可以表述为：

C1～C6为优化函数P的限制条件；其中，C1是对车辆的移动性进行限制，L两辆车之间 的距离，分母的|μ_i-μ_j|为两车的相对速度，该约束限制了两辆车进行通信的时间要确保两 辆车在可通信范围之内；C2和C3是对任务迁移车辆和任务执行车辆的能耗限制，C2中的

和

分别为迁移车辆i与其他设备进行通信的时间和任务迁移执行等待传回需要等待 的时间；而C3中的

和

分别为执行车辆执行通信、计算和获取所需数据任务 的能耗；为了确保车辆不会因电池耗尽而抛锚；能耗计算公式为ε^cost＝e×t^cost，其中e是每单 位时间的功耗，包括EV的四个状态：行驶并执行通信任务即e^comm，e^comm具有V2V和V2B两种状态，即e^v2v和e^v2i，行驶并执行计算任务即e^comp，行驶并执行下载任务即e^down和仅行驶状态即e^wait，而t^cost为车辆某状态的维持时间；C4是对集群中V2B的通信能力的约束，Z_b为BS通信容量；C5限制了任务迁移执行时间必须满足任务本身的延迟限制，

为任务s_i的执行延迟限制；C6是对卸载决策的限制；

步骤3)：使用深度强化学习算法之前，需要对深度强化学习中的几个重要要素进行详细 说明，即状态，动作和奖励函数；

3.1)***状态；在时隙t，集群中的状态空间为：

其中，Φ_i(t)为车辆设备的通信状态集合，

为车辆用户的计算能力集合，P_i(t)为每辆 车的计算资源租赁费用，I_i(t)为车辆的其他状态集合，包括车辆的速度、行驶方向、位置、 缓存数据所属服务类型、剩余电量；

3.2)***动作；动作可以表示为

其中x_i,j(t)是任务迁移决策，y_j,h(t) 是所需数据获取决策；x_i,j(t)定义为向量x_i,j(t)＝[x_i,1(t),x_i,2(t),...,x_i,V(t)]其中x_i,j(t)表示是否要 将车辆v_i上的任务s_i迁移到车辆v_j；如果任务s_i迁移到EVv_j，则x_i,j(t)＝1，否则在时隙t迁 移x_i,j(t)＝0；注意

表示任务s_i迁移到车辆执行，

表示 任务s_i迁移到BS执行；相同地，y_j,h(t)定义为向量y_j,h(t)＝[y_j,1(t),y_j,2(t),...,y_j,V(t)]，其中y_j,h(t) 表示数据获取决策，即车辆v_j是否从车辆v_h上获取所需要的缓存数据；

获取所需数据是否从车辆v_h的缓存传输；如果从车辆v_h传输到车辆v_j，则y_j,h(t)＝1，否则， y_j,h(t)＝0；其中，

意味着所需数据库从其他车辆的缓存中传输，

意味着所需数据库从互联网上下载；

3.3)奖励函数；本方案的目标在于最大程度地提高集群范围内迁移用户的总效用，即最 大化单位租金可获得的总服务速率；奖励函数

定义如下：

其中，

为车辆v_i迁移任务s_i能够获得的速率和，P_i ^total为需要支付的总费用；当2)中 的优化目标的约束被满足时，奖励函数正常计算得到奖励，若优化目标不满足，则奖励为0 以示“惩罚”；

步骤4)：基于步骤3)中得到的***状态、***动作和奖励函数，基于深度强化学习中 的DoubleDeepQ-Network算法进行任务的智能迁移；DDQN包含两个Q网络即主Q网络Q_main和目标Q网络Q_target，除此之外还有一个经验回放缓冲区

用以存放样本以供后期训练使用；

Step1：首先初始化两个Q网络以及两个网络的参数，并清空经验回放缓冲区

Step2：开始迭代，得到初始化状态，将该状态作为Q网络的输入，通过∈-greedy算法得 到该状态对应的动作，即：

其中

和

分别为状态和动作，

为第一次获取的第一部分的状态，θ为当前Q网络的 参数；而后通过得到的x_i,j(t)从通信矩阵中获取车辆v_j相应的通信状态，包括车辆v_j的其他 状态作为第二部分决策的输入状态，即

得到数据获取决策为：

Step3：执行动作

计算该动作的目标Q值r_j；执行动作后得到新状 态s_t+1，并更新状态，即

将四元组

存放至经验回放缓冲区

中；

Step4：判断当前状态是否满足终止条件，如果满足，则y_j＝r_j，否则，

其中ω是折损因子，θ和θ^-分别为Q网络的所有参数和目标Q网络参数；

Step5：计算损失函数：

通过神经网络梯度反向传播更新Q网络的参数θ，并每

步更新Q网络参数，更新方法 为θ′＝σθ+(1-σ)θ′，其中，σ为更新系数；

Step6：累积奖励值收敛到一个值即得到目标函数的最优解；

步骤5)：经过步骤4)求解得最优值后，SDN控制器将决策回传给集群中的车辆；集群 中的车辆根据得到的决策进行数据传输、任务计算或数据下载操作。

图3、4为不同通信范围的条件下，不同决策的性能对比，图3为不同策略的集群总效益 和平均延迟性能对比，图4为不同策略的平均能耗和平均生存时间增益性能对比。通过图3、 4可以得到，随通信距离的增加，各策略性能相对稳定，且本发明所提出的方法能够在不同 通信范围条件下均得到较好的性能效果。

图5、6为不同计算负载条件下，不同决策的性能对比，图5为不同策略的集群总效益和 平均延迟性能对比，图6为不同策略的平均能耗和平均生存时间增益性能对比。通过图5、6 可以得到，随计算负载的增加，各策略总效益逐渐增加，在不同的情况下本发明所提出的方 法仍能取得最优的性能。

图7、8为不同服务类型所需单位数据大小(即：单位缓存数据大小)，不同决策的性能 对比，图7为不同策略的集群总效益和平均延迟性能对比，图8为不同策略的平均能耗和平 均生存时间增益性能对比。随着缓存数据量的增加，各策略的性能逐渐降低，且随着计算负 载的增加，本发明提出的方案的性能优势逐渐明显。

综上所述，本发明提出了融合3C资源的任务调度方案，使用深度强化学习算法解决边缘 计算中当边缘资源有限的情况下，为了保证集群设备的正常运行增加设备的生存时间而提出 的任务迁移协作执行方案，通过评估用户单位支出所能获得的服务速率来评估用户获得的效 益，从而最大化集群用户总效益。

以上方案内容仅表述本发明的技术方案，并非最完美精确的解决方案。随着技术的革新 与时代的变迁，方案可能产生更合理更高效的变化。选择示例性实施方式并进行描述是为了 解释本发明的原理和应用，为了便于研究人员与技术人员的参考、理解与实践本发明的具体 细节。若在本发明构想的基础上所作的改变，其所产生的功能作用仍未超出说明书及附图所 涵盖的内容时，仍应属本发明的保护范围。

Claims (1)

1.一种车联网资源融合的车载任务协作迁移方法，其步骤如下：

步骤1)：明确场景中的主要元素，构建基于SDN技术的网络架构；在架构中，基础网络元素基于OpenFlow协议进行连接，部署在基站上的SDN控制器作为集群的中心控制器根据应用平面的要求分配底层资源，应用平面通过北向接口连接到控制平面；SDN控制器根据应用程序的需求以及通过南向接口从数据平面获得的信息分配物理基础结构的资源；在本方法，场景中的主要元素为N_V辆电动汽车和N_S个计算任务，电动汽车的集合表示为

且|V|＝N_V，文中用下标i、j和h用来表示负责不同任务的车辆，电动车v_i上待执行的计算任务表示为s_i，每一个任务s_i都对应着不同的服务类型，服务类型的集合(包括不同的计算任务)表示为K＝{1,2,...,N_K}，下标k用来区分不同的服务类型；

1.1)电动车和计算任务模型

a.车辆模型：车辆v_i表示为：

v_i∈V其中各项元素的定义如下：

为车辆上所缓存的数据库所属的数据类型，

当

时，代表该车上无缓存数据库；μ_i是车辆v_i的速度，当车辆正向行驶时，μ_i>0时，当车辆逆向行驶时μ_i<0；f_i ^cpu为电动车v_i的可用计算资源，f_i ^cpu随电动车的计算负载的变化而变化；ε_i为电动车v_i剩余电量占总电量的百分比，且ε_i∈[0,1]；当车辆v_i的剩余电量或可用计算资源不足以执行任务s_i时，它将通过资源租赁的方式将任务迁移到其他设备执行；该类车辆通过SDN控制器构成集合

b.计算任务模型：电动车v_i上待执行的计算任务s_i表示为：

其中各项元素定义如下：

为任务s_i的任务数据大小；f_i ^comp为执行任务s_i所需计算资源大小；k_i为任务s_i的服务类型k_i∈K；

为服务k_i所需计算资源的大小；

为任务s_i的执行延迟限制；在本发明中，任务的计算输入部分分成两部分：任务数据和计算所需的数据库，对于具有相同服务类型的任务，执行时所需要的数据库是相同的，该数据库可从互联网下载获取；在获取数据库的过程中，重复下载同样服务类型的数据库产生冗余的网络开销，为了充分利用网络资源，减少冗余开销，利用车辆上的空闲存储资源缓存数据库，可以大幅度减少全局网络的延迟和能耗开销；

1.2)在任务迁移的过程中主要存在两种通信方式：车对车V2V通信和车对基站V2B通信；SDN首先基于设备数据信息计算集群(N_V+1)×(N_V+1)的通信矩阵M，N_V为集群中的车辆总数，其元素m_p,q为设备v_p与设备v_q之间的通信速率

具体计算方法如下：

a.V2V通信：V2V通信使用正交频分多址技术来确保通信的质量和稳定性；车辆v_i与车辆v_j之间的通信速率

通过香农公式

计算，其中B_i,j是车辆v_i与车辆v_j之间的通信带宽；信号噪声比

反映了车辆v_i与车辆v_j之间的信道质量；其中p_i,j和g_i,j分别表示车辆v_i与车辆v_j之间的传输功率和信道增益，σ²为高斯噪声；

b.V2B通信：若当前场景无法通过V2V为任务待迁移车辆提供可靠通信，则可建立V2B通信；基站总带宽B_b被平均分为N个子信道，每个子信道的信道带宽ω＝B_b/N；因此，传输速率

其中Γ_i,b表示车辆v_i与BS的信号干扰噪声比，SINR由公式

进行计算，其中p_i,b和g_i,b分别是车辆v_i和BS之间的传输功率和信道增益，I_i,b表示来自其他子信道的干扰，σ²为高斯噪声；

1.3)任务数据的传输基于1.2)步骤中提到的V2V或V2B通信；而获取所需数据库的方式如下：设定集群中首次处理k服务类型任务的车辆从互联网下载所需数据库，若资源充足则将数据库缓存在车辆上，该缓存数据可传输给同一集群中其他需要该类型任务的车辆，传输速率由1.2)中的公式计算；当电动车v_j执行迁移任务s_i，该部分数据获取延迟可由

计算，其中ι是执行任务s_i的车辆v_j是否已经缓存了任务s_i所需数据库的标志，如果车辆v_j已缓存需求数据库，则ι＝0，即无需从其他设备传输或从网络下载该数据库；否则，ι＝1；当ι＝1且集群中存在缓存服务类型时，

和

分别为数据库传输延迟和传输请求等待延迟；y_j,h为车辆v_j执行任务所需数据库是否从车辆v_h传输的决策变量；而当ι＝1且该数据必须从互联网下载时，

是下载所需数据库的时长，即

为车辆v_j从互联网下载数据的速度，

为服务k_i所需计算资源的大小；

1.4)基于步骤1.2)和1.3)执行车辆v_j获取了两部分输入数据后，进行任务计算，任务s_i的计算延迟为：

其中f^cpu代表设备的可用计算能力，包括车辆

或基站

两种设备，f_i ^comp为执行任务s_i所需计算资源大小；将车辆的计算资源

建模为有限状态的马尔可夫链；

1.5)对电动车计算资源，其单位租金会随着可用计算能力f^cpu和剩余电量ε的状态而变化；其租金由函数

计算，其定义为：

其中α和β是价格因子，e为欧拉数，ε为设备剩余电量；车辆v_j的租金

由租金函数

计算，得到车辆v_j上可用的计算资源和剩余电量越多，车辆倾向于协助其他车辆执行任务来赚取收益的倾向就越强烈；在上述公式中，将租金函数分为两部分，

和

指数函数和反函数分别表示对剩余电量和计算资源的敏感性；但是，单价对剩余电量和可用计算资源的敏感性不同；如果电量ε_j极低，则无论剩余资源如何，车辆v_j都倾向于不参与任务的协作执行；租金流促进了全局车辆之间的合作；在这里，BS的电量始终是足够的，即ε＝1，而BS的租金

由

即

其中，

表示可用计算资源；

步骤2)：优化目标为最大化全局总效益；本方法综合考虑延迟、存储容量、支付、功耗和速度的约束；由部署在BS中的SDN控制器安排调度任务，以确保任务的成功执行并延长低电量电动汽车的生命周期；车辆v_i迁移任务s_i能够获得的速率和

被定义为：

其中

为任务数据传输速率；

从车辆v_h到车辆v_j，所需数据的传输速率；

为车辆v_j的数据下载速率；

为车辆v_j的计算能力；若任务迁移到BS上执行，

为车辆v_i到BS的传输速率，

为BS的数据下载速率；

为BS的数据计算能力；

和

是二进制变量，分别是任务迁移决策和所需数据获取决策，涉及到车辆v_i的两跳通信；决策

和

相互影响；SDN控制器必须在支付费用和获得的服务质量之间进行权衡需要支付的总费用P_i ^total可通过下式计算：

其中，

和

分别为车辆v_j和BS计算资源的租金单价，通过1.3)中的公式可计算，

和

分别为车辆v_j和BS下载资源的租金单价，综合二者，定义用户v_i获得的效益为单位支付费用所获得的服务速率，从车辆服务状态和单位支付费用联合考虑该问题，则优化问题可以表述为：

P:

s.t.C1:

C2:

C3:

C4:

C5:

C6:

C1～C6为优化函数P的限制条件；其中，C1是对车辆的移动性进行限制，L两辆车之间的距离，分母的|μ_i-μ_j|为两车的相对速度，该约束限制了两辆车进行通信的时间要确保两辆车在可通信范围之内；C2和C3是对任务迁移车辆和任务执行车辆的能耗限制，C2中的

和

分别为迁移车辆i与其他设备进行通信的时间和任务迁移执行等待传回需要等待的时间；而C3中的

和

分别为执行车辆执行通信、计算和获取所需数据任务的能耗；为了确保车辆不会因电池耗尽而抛锚；能耗计算公式为ε^cost＝e×t^cost，其中e是每单位时间的功耗，包括EV的四个状态：行驶并执行通信任务即e^comm，e^comm具有V2V和V2B两种状态，即e^v2v和e^v2i，行驶并执行计算任务即e^comp，行驶并执行下载任务即e^down和仅行驶状态即e^wait，而t^cost为车辆某状态的维持时间；C4是对集群中V2B的通信能力的约束，Z_b为BS通信容量；C5限制了任务迁移执行时间必须满足任务本身的延迟限制，

为任务s_i的执行延迟限制；C6是对卸载决策的限制；

步骤3)：使用深度强化学习算法之前，需要对深度强化学习中的几个重要要素进行详细说明，即状态，动作和奖励函数；

3.1)***状态；在时隙t，集群中的状态空间为：

其中，Φ_i(t)为车辆设备的通信状态集合，

为车辆用户的计算能力集合，P_i(t)为每辆车的计算资源租赁费用，I_i(t)为车辆的其他状态集合，包括车辆的速度、行驶方向、位置、缓存数据所属服务类型、剩余电量；

3.2)***动作；动作可以表示为

其中x_i,j(t)是任务迁移决策，y_j,h(t)是所需数据获取决策；x_i,j(t)定义为向量x_i,j(t)＝[x_i,1(t),x_i,2(t),...,x_i,V(t)]其中x_i,j(t)表示是否要将车辆v_i上的任务s_i迁移到车辆v_j；如果任务s_i迁移到EVv_j，则x_i,j(t)＝1，否则在时隙t迁移x_i,j(t)＝0；注意

表示任务s_i迁移到车辆执行，

表示任务s_i迁移到BS执行；相同地，y_j,h(t)定义为向量y_j,h(t)＝[y_j,1(t),y_j,2(t),...,y_j,V(t)]，其中y_j,h(t)表示数据获取决策，即车辆v_j是否从车辆v_h上获取所需要的缓存数据；

获取所需数据是否从车辆v_h的缓存传输；如果从车辆v_h传输到车辆v_j，则y_j,h(t)＝1，否则，y_j,h(t)＝0；其中，

意味着所需数据库从其他车辆的缓存中传输，

意味着所需数据库从互联网上下载；

3.3)奖励函数；本方案的目标在于最大程度地提高集群范围内迁移用户的总效用，即最大化单位租金可获得的总服务速率；奖励函数

定义如下：

其中，

为车辆v_i迁移任务s_i能够获得的速率和，P_i ^total为需要支付的总费用；当2)中的优化目标的约束被满足时，奖励函数正常计算得到奖励，若优化目标不满足，则奖励为0以示“惩罚”；

步骤4)：基于步骤3)中得到的***状态、***动作和奖励函数，基于深度强化学习中的DoubleDeepQ-Network算法进行任务的智能迁移；DDQN包含两个Q网络即主Q网络Q_main和目标Q网络Q_target，除此之外还有一个经验回放缓冲区

用以存放样本以供后期训练使用；

Step1：首先初始化两个Q网络以及两个网络的参数，并清空经验回放缓冲区

Step2：开始迭代，得到初始化状态，将该状态作为Q网络的输入，通过∈-greedy算法得到该状态对应的动作，即：

其中

和

分别为状态和动作，

为第一次获取的第一部分的状态，θ为当前Q网络的参数；而后通过得到的x_i,j(t)从通信矩阵中获取车辆v_j相应的通信状态，包括车辆v_j的其他状态作为第二部分决策的输入状态，即

得到数据获取决策为：

Step3：执行动作

计算该动作的目标Q值r_j；执行动作后得到新状态s_t+1，并更新状态，即

将四元组

存放至经验回放缓冲区

中；

Step4：判断当前状态是否满足终止条件，如果满足，则y_j＝r_j，否则，

其中ω是折损因子，θ和θ^-分别为Q网络的所有参数和目标Q网络参数；

Step5：计算损失函数：

通过神经网络梯度反向传播更新Q网络的参数θ，并每

步更新Q网络参数，更新方法为θ′＝σθ+(1-σ)θ′，其中，σ为更新系数；

Step6：累积奖励值收敛到一个值即得到目标函数的最优解；

步骤5)：经过步骤4)求解得最优值后，SDN控制器将决策回传给集群中的车辆；集群中的车辆根据得到的决策进行数据传输、任务计算或数据下载操作。

Images