CN114490057B - 一种基于深度强化学习的mec已卸载任务资源分配方法 - Google Patents
一种基于深度强化学习的mec已卸载任务资源分配方法 Download PDFInfo
- Publication number
- CN114490057B CN114490057B CN202210078805.2A CN202210078805A CN114490057B CN 114490057 B CN114490057 B CN 114490057B CN 202210078805 A CN202210078805 A CN 202210078805A CN 114490057 B CN114490057 B CN 114490057B
- Authority
- CN
- China
- Prior art keywords
- task
- resource allocation
- computing
- state
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
- G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44594—Unloading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于边缘计算技术领域,具体是涉及一种基于深度强化学习的MEC已卸载任务计算资源分配方法。通过构建深度神经网络,将资源分配状态窗口与已卸载任务集合队列作为网络的输入,通过神经网络的前向传播输出每个动作a对应的Q值,根据资源分配策略π选择动作a从而与环境产生交互使当前状态s转换为下一状态s’,并获得奖励函数r,在训练阶段,神经网络会依据网络最大动作价值函数和当前动作价值—函数计算损失函数,通过最小化损失函数对网络参数权重进行更新,使得网络输出动作价值最大化,最终使得DQN算法曲线收敛,进而确定最优的计算资源分配方案π*。本发明旨在确保更多的任务请求数据能够在MEC***中尽快得到处理,从而达到最小的***总开销。
Description
技术领域
本发明属于边缘计算技术领域,具体是涉及一种基于深度强化学习的MEC已卸载任务计算资源分配方法。
背景技术
作为一种新兴技术,移动边缘计算(MEC)通过将云计算服务从集中式云扩展至网络边缘,具有在靠近终端设备的无线接入网(RAN)中提供云计算服务的能力。与移动云计算(MCC)相比,MEC使得各式各样的应用以及服务能在移动边缘网络中运行,不仅大大降低了整个业务延迟,而且极大程度上地缓解了由于数据交换所造成的移动核心网络的拥塞。因此,在MEC***部署应用程序和服务,通过将任务请求数据计算卸载到MEC边缘服务器执行,能够显著地提升用户体验。
通过利用移动边缘计算(MEC),物联网设备产生的大量数据可以在网络边缘进行处理和分析。然而,MEC***通常只有有限的虚拟资源,这些资源由物联网边缘应用程序共享和竞争。不同的物联网边缘应用可能需要不同数量的资源来保证服务质量,一个重要的挑战是如何协调每个应用程序的有限资源以实现高资源利用率,因此,寻找一种最优的分配方案来高效合理地利用有限的资源成为相关领域研究人员所需克服的难点之一。
发明内容
本发明的目的是,针对单边缘服务器计算资源的不足,提出一种基于深度强化学习的卸载任务资源分配方案。其特点是构建深度神经网络,将资源分配状态窗口与已卸载任务集合队列作为网络的输入,通过神经网络的前向传播输出每个动作a对应的Q值,根据资源分配策略π选择动作a从而与环境产生交互使当前状态s转换为下一状态s’,并获得奖励函数r,在训练阶段,神经网络会依据网络最大动作价值函数和当前动作价值—函数计算损失函数,通过最小化损失函数对网络参数权重进行更新,使得网络输出动作价值最大化,最终使得DQN算法曲线收敛,进而确定最优的计算资源分配方案π*。本发明旨在确保更多的任务请求数据能够在MEC***中尽快得到处理,从而达到最小的***总开销,该方法包括如下步骤:
步骤1,获取已卸载请求任务集合的状态信息,包含传输延迟,数据量大小(单位计算资源执行任务所需时延),任务优先级。
步骤2,对卸载任务资源分配方案进行问题描述,构建马尔可夫数学模型。
步骤3,利用DQN算法,构建评价Q网络和目标Q网络来近似估计动作—价值组的Q值。
步骤4,通过最小化损失函数对网络不断地进行迭代更新,直至其收敛。
①lj1表示卸载任务的传输延迟,即任务从本地传输到边缘服务器所需时延
②lj2为任务数据量大小,表示单位计算单元处理该任务的执行时间
③lj3表示任务的优先级别,优先级越高,则代表卸载任务就越亟需处理。
进一步,步骤2通过对卸载任务资源分配方案进行问题描述,记录单位时间窗口的卸载任务信息集合为L,假设边缘服务器拥有的计算资源数为nc,通过将单位时间窗口分割为nτ个时间片。任务信息L从当前的时间片开始分配计算资源,并展望未来nτ个时间片,一个时间片的持续时间称为一个时间单位,相当于一个时间步长的持续时间,时间单位的具体值取决于实际应用,例如几十毫秒。定义C中的每个计算单元表示一个时间片中的一个计算资源,是资源分配的最小单位。对于某一计算单元表示iτ个时间片的第ic个计算资源的分配状态,其中iτ∈{1,2,…,nτ}。另外,计算单元的取值被设置为{1,-1},代表两种不同的状态,具体如下所示:
通过问题描述,可以得出解决问题的难点在于确定最优的计算资源分配方案,以保证更多的任务请求数据能够在MEC***中尽快得到处理,从而达到最小的***总开销。可以将该问题转换为马尔可夫模型,其具体步骤为:
2.1建立马尔可夫状态空间s={L,C}
其中,L为单位时间窗口内的同批次卸载任务集合队列,具体表示为一个no行3列的矩阵;C为边缘节点的计算资源分配状态窗口,具体表示为一个nc行nτ列矩阵。
其中{δτ,δc}表示从资源分配窗口内第δτ时间片开始,连续向任务集合队列L第一个作业l1分配第δc位单位计算资源,直至作业完成(即执行完l1中的数据量lj2),表示不对第一个作业分配计算单元,直接转发到远端物联网云进行处理。
2.3状态转换分析
状态转换是状态和动作对的函数(s,a),例如对第t个决策epoch而言,通过从动作空间选择行为a∈A使某一状态s={L,C}转换为下一继承状态s′={L′,C′},具体表现如下:
2.4建立马尔可夫奖励函数r,由于动作的不同取值,所产生的奖励函数也会不同,具体定义如下:
其中,d表示将任务从MEC***发送到物联网云,然后处理它所花费的总时间,为了简化,将其定义为一个常量。根据奖励函数,我们可以进一步得到收益,其定义为长期每个决策期所产生的累计收益之和,即第t个决策epoch的收益G(t)为:
其中,γ(0<γ<1)是折扣率,R(k),S(k),A(k)分别表示第k个决策epoch时的奖励,状态和行为,因此,符号l1(k)表示状态为S(k)中的第一个作业的信息。
进一步,步骤3使用DQN算法,DQN算法由Q-learning演化而来,Q-learning是一种基于价值的方法,包含一个行为—价值函数(也称为Q-function),其目标是选择一种在每种状态下都能获得最大收益的最优策略,从而最大化长期累计收益。当在状态为S(t),执行策略π得到的动作—价值函数Qπ(s,a)为:
最佳动作—价值函数表示在所有动作集中最佳的一种,具体由下式表示:
与Q-learning不同的是,DQN算法包含两个结构相同但是参数不同的神经网络,即评价Q网络和目标Q网络,通过神经网络来近似估计动作—价值函数,即预测Q网络的Q(s,a;θ)≈Q*(s,a),θ表示神经网络的权重,通过Q网络对Q(s,a)的评估可以表示为下式:
其中,a为学习率,预测网络的输入为状态s,生成所有可能动作的对应值作为输出。
进一步,步骤4对整个网络进行训练学习,根据随机探测机制,智能体在步骤3中得到的最优动作和随机动作选择一种进行执行,通过不断的尝试,对Q网络进行迭代更新,直至其收敛。另外,目标Q网络的Q(s,a;θ-)用来预测最佳动作—价值函数,即:
目标Q网络的权值θ-在每个固定的迭代次数nθ后时从θ复制,而不是在每个训练轮数进行更新,其均方误差损失函数定义如下:
通过训练得到训练好的Q网络后,即可进行已卸载任务资源分配。
本发明的有益效果是:利用DQN算法,通过神经网络来近似估计Q-learning中的行为—价值函数,深度神经网络具有强大的数据拟合能力,通过学习高维原始数据提取到有用的特征,然后把这些特征作为强化学习的依据,最终得出最优的计算资源分配策略。与Q-learning相比,由于神经网络的权重θ的数量远小于状态空间s,能够更好的应对更加复杂的环境。
附图说明
图1为本发明的流程图
具体实施方式
下面结合附图对本发明做进一步说明:
1)首先,记录每单位时间窗口的卸载任务集合队列对于任务队列,令no=10,当单位时间窗口内的卸载任务数量大于no时,多余部分直接丢弃,少于no即用零向量进行填充。我们假设任务传输延迟lj1服从泊松分布,取值范围为[1,3],数据量lj1服从同一离散的随机分布,取值范围[1,4],任务优先级别同样服从离散随机分布,取值范围[1,3],此时初始化计算资源分配状态窗口C为全1矩阵,表示所有计算单元处于可分配状态,令nc=5,nτ=6。
3)利用DQN算法,构建Q网络来近似动作-价值函数,首先将状态s正规化为一维向量矩阵作为网络的输入,其网络的输入通道数为5*6+3*10=60。网络输出通道数对应动作空间大小|A|=(5*6+1=31),另外,在网络的输出层后额外添加了一层过滤层,其本质上在于判断动作行为所分配的计算单位是否处于未分配空闲状态,如果已经完成分配,则定义该行为为无效行为,并将其输出Q值设置为一个极大值M=-1000,注意,该过滤层不影响神经网络的反向传播,因为在计算损失函数时,无效动作的预测值和目标值都等于M,相互抵消。
其余网络参数设置:学习率a=0.001,折扣率γ=0.99。
4)训练预测Q网络,目标Q网络,具体步骤如下:
①获取初始状态s。
②根据随机探测机制,即在与环境的每次交互作用中,智能体根据ε-贪心规则选取概率为1-ε的贪心策略和概率为ε的随机行为a得到奖励r并进入下一状态s′(εmin<=ε<=1,参数初始化中令ε=1,εmin=0.01),并将状态转换经验样本e=(s,a,r(s,a),s′)存入经验回放池D中(|D|=10000)。
从而迭代更新预测Q网络的参数权重θ,同时每一次迭代贪心策略ε都按照εdecay=0.99衰减因子指数衰减,直到最小值εmin,另外,目标Q网络的权值θ-是在每个固定的迭代次数nθ(nθ=16)后从θ进行复制,即θ→θ-.
④DQN算法曲线是否收敛,如果收敛,训练完毕,否则转到①。
Claims (1)
1.一种基于深度强化学习的MEC已卸载任务资源分配方法,获取单位时间窗口的卸载任务集合队列L,基于边缘节点的计算资源分配状态窗口C;定义边缘服务器拥有的计算资源数为nc,通过将单位时间窗口分割为nτ个时间片,令L从当前的时间片开始分配计算资源,并展望未来nτ个时间片,一个时间片的持续时间称为一个时间单位,定义C中的每个计算单元表示一个时间片中的一个计算资源,是资源分配的最小单位;对于某一计算单元表示iτ个时间片的第ic个计算资源的分配状态,其中iτ∈{1,2,…,nτ},将计算单元的取值设置为{1,-1},代表两种不同的状态:
表示计算单元处于可分配状态;
表示该计算单元所占有的计算资源已被占有,即已经完成分配,此时已处于非空闲状态,不可继续分配;
其特征在于,所述资源分配方法是以获得最优的计算资源分配方案为目标,即保证更多的任务请求数据能够在MEC***中尽快得到处理,从而达到最小的***总开销;基于目标采用深度强化学习的方式进行卸载任务资源分配,深度强化学习的具体实现方式为基于马尔可夫模型:
状态设计:建立马尔可夫状态空间s={L,C},其中,L具体为一个no行3列的矩阵;C具体为一个nc行nτ列矩阵;
动作空间:建立马尔可夫动作空间其中,{δτ,δc}表示从资源分配窗口内第δτ时间片开始,连续向任务集合队列L第一个作业l1分配第δc位单位计算资源,直至作业完成,表示不对第一个作业分配计算单元,直接转发到远端物联网云进行处理,δc∈{1,2,…,nc},δτ∈{1,2,…,nτ};
奖励:建立马尔可夫奖励函数r为:
其中,lj1表示卸载任务的传输延迟,即任务从本地传输到边缘服务器所需时延,lj2为任务数据量大小,表示单位计算单元处理该任务的执行时间,lj3表示任务的优先级别,优先级越高,则代表卸载任务就越亟需处理,d表示将任务从MEC***发送到物联网云,然后处理它所花费的总时间,为了简化,将其定义为一个常量;根据奖励函数得到收益,定义为长期每个决策期所产生的累计收益之和,即第t个决策epoch的收益G(t)为:
其中,γ是折扣率,0<γ<1,R(k),S(k),A(k)分别表示第k个决策epoch时的奖励,状态和行为,因此,符号l1(k)表示状态为S(k)中的第一个作业的信息;
采用DQN算法,构建Q网络来近似动作-价值函数,目标是选择一种在每种状态下都能获得最大收益的最优策略,当在状态为S(t),执行策略π得到的动作—价值函数Qπ(s,a)为:
通过训练得到训练好的Q网络后,即可进行已卸载任务资源分配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210078805.2A CN114490057B (zh) | 2022-01-24 | 2022-01-24 | 一种基于深度强化学习的mec已卸载任务资源分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210078805.2A CN114490057B (zh) | 2022-01-24 | 2022-01-24 | 一种基于深度强化学习的mec已卸载任务资源分配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114490057A CN114490057A (zh) | 2022-05-13 |
CN114490057B true CN114490057B (zh) | 2023-04-25 |
Family
ID=81474629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210078805.2A Active CN114490057B (zh) | 2022-01-24 | 2022-01-24 | 一种基于深度强化学习的mec已卸载任务资源分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114490057B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115168027B (zh) * | 2022-06-15 | 2024-07-16 | 中国科学院沈阳自动化研究所 | 一种基于深度强化学习的算力资源度量方法 |
CN115551105B (zh) * | 2022-09-15 | 2023-08-25 | 公诚管理咨询有限公司 | 基于5g网络边缘计算的任务调度方法、装置和存储介质 |
CN115355604B (zh) * | 2022-10-19 | 2022-12-23 | 北京理工大学 | 一种基于区块链和强化学习的空调控制方法及其*** |
CN115914227B (zh) * | 2022-11-10 | 2024-03-19 | 国网重庆市电力公司电力科学研究院 | 一种基于深度强化学习的边缘物联网代理资源分配方法 |
CN117032992B (zh) * | 2023-10-07 | 2024-03-15 | 中国信息通信研究院 | 工业互联网***的任务处理方法和装置 |
CN117573307B (zh) * | 2023-11-13 | 2024-04-09 | 纬创软件(武汉)有限公司 | 云环境下多任务的统筹管理方法及*** |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110798849A (zh) * | 2019-10-10 | 2020-02-14 | 西北工业大学 | 一种超密网边缘计算的计算资源分配与任务卸载方法 |
CN110971706A (zh) * | 2019-12-17 | 2020-04-07 | 大连理工大学 | Mec中近似最优化与基于强化学习的任务卸载方法 |
CN111132175A (zh) * | 2019-12-18 | 2020-05-08 | 西安电子科技大学 | 一种协同计算卸载和资源分配方法及应用 |
CN111405569A (zh) * | 2020-03-19 | 2020-07-10 | 三峡大学 | 基于深度强化学习的计算卸载和资源分配方法及装置 |
CN111918339A (zh) * | 2020-07-17 | 2020-11-10 | 西安交通大学 | 移动边缘网络中基于强化学习的ar任务卸载和资源分配方法 |
CN112911648A (zh) * | 2021-01-20 | 2021-06-04 | 长春工程学院 | 一种空地结合的移动边缘计算卸载优化方法 |
CN112911647A (zh) * | 2021-01-20 | 2021-06-04 | 长春工程学院 | 一种基于深度强化学习的计算卸载和资源分配方法 |
CN113296845A (zh) * | 2021-06-03 | 2021-08-24 | 南京邮电大学 | 一种边缘计算环境下基于深度强化学习的多小区任务卸载算法 |
CN113504987A (zh) * | 2021-06-30 | 2021-10-15 | 广州大学 | 基于迁移学习的移动边缘计算任务卸载方法及装置 |
CN113573363A (zh) * | 2021-07-27 | 2021-10-29 | 西安热工研究院有限公司 | 基于深度强化学习的mec计算卸载与资源分配方法 |
CN113873022A (zh) * | 2021-09-23 | 2021-12-31 | 中国科学院上海微***与信息技术研究所 | 一种可划分任务的移动边缘网络智能资源分配方法 |
-
2022
- 2022-01-24 CN CN202210078805.2A patent/CN114490057B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110798849A (zh) * | 2019-10-10 | 2020-02-14 | 西北工业大学 | 一种超密网边缘计算的计算资源分配与任务卸载方法 |
CN110971706A (zh) * | 2019-12-17 | 2020-04-07 | 大连理工大学 | Mec中近似最优化与基于强化学习的任务卸载方法 |
CN111132175A (zh) * | 2019-12-18 | 2020-05-08 | 西安电子科技大学 | 一种协同计算卸载和资源分配方法及应用 |
CN111405569A (zh) * | 2020-03-19 | 2020-07-10 | 三峡大学 | 基于深度强化学习的计算卸载和资源分配方法及装置 |
CN111918339A (zh) * | 2020-07-17 | 2020-11-10 | 西安交通大学 | 移动边缘网络中基于强化学习的ar任务卸载和资源分配方法 |
CN112911648A (zh) * | 2021-01-20 | 2021-06-04 | 长春工程学院 | 一种空地结合的移动边缘计算卸载优化方法 |
CN112911647A (zh) * | 2021-01-20 | 2021-06-04 | 长春工程学院 | 一种基于深度强化学习的计算卸载和资源分配方法 |
CN113296845A (zh) * | 2021-06-03 | 2021-08-24 | 南京邮电大学 | 一种边缘计算环境下基于深度强化学习的多小区任务卸载算法 |
CN113504987A (zh) * | 2021-06-30 | 2021-10-15 | 广州大学 | 基于迁移学习的移动边缘计算任务卸载方法及装置 |
CN113573363A (zh) * | 2021-07-27 | 2021-10-29 | 西安热工研究院有限公司 | 基于深度强化学习的mec计算卸载与资源分配方法 |
CN113873022A (zh) * | 2021-09-23 | 2021-12-31 | 中国科学院上海微***与信息技术研究所 | 一种可划分任务的移动边缘网络智能资源分配方法 |
Non-Patent Citations (4)
Title |
---|
Chao Li等.Dynamic Offloading for Multiuser Muti-CAP MEC Networks: A Deep Reinforcement Learning Approach.《IEEE Transactions on Vehicular Technology (》.2021,2922-2927. * |
Xianfu Chen等.Performance optimization in mobile-edge computing via deep reinforcement learning.《2018 IEEE 88th Vehicular Technology Conference (VTC-Fall)》.2019,1-6. * |
李波 ; 牛力 ; 彭紫艺 ; 黄鑫 ; 丁洪伟 ; .基于马尔科夫决策过程的车载边缘计算切换策略.计算机工程与科学.2020,(05),31-37. * |
童钊 ; 叶锋 ; 刘碧篮 ; 邓小妹 ; 梅晶 ; 刘宏 ; .移动边缘计算中多约束下的任务卸载和资源分配算法.计算机工程与科学.2020,(10),162-172. * |
Also Published As
Publication number | Publication date |
---|---|
CN114490057A (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114490057B (zh) | 一种基于深度强化学习的mec已卸载任务资源分配方法 | |
CN113950066B (zh) | 移动边缘环境下单服务器部分计算卸载方法、***、设备 | |
CN111556461B (zh) | 一种基于深度q网络的车载边缘网络任务分发卸载方法 | |
CN107911478B (zh) | 基于化学反应优化算法的多用户计算卸载方法及装置 | |
CN113568727A (zh) | 一种基于深度强化学习的移动边缘计算任务分配方法 | |
CN112422644A (zh) | 计算任务卸载方法及***、电子设备和存储介质 | |
CN115168027B (zh) | 一种基于深度强化学习的算力资源度量方法 | |
CN116541176A (zh) | 算力资源分配的优化方法、优化装置、电子设备和介质 | |
Wang | Edge artificial intelligence-based affinity task offloading under resource adjustment in a 5G network | |
CN116938323B (zh) | 一种基于强化学习的卫星转发器资源分配方法 | |
Wang et al. | Resource allocation based on Radio Intelligence Controller for Open RAN towards 6G | |
CN117687759A (zh) | 一种任务调度方法、装置、处理设备及可读存储介质 | |
CN116954866A (zh) | 基于深度强化学习的边缘云下任务调度方法及*** | |
Huang et al. | Intelligent task migration with deep Qlearning in multi‐access edge computing | |
CN117331693A (zh) | 基于dag的边缘云的任务卸载方法、装置及设备 | |
Li et al. | Efficient data offloading using Markovian decision on state reward action in edge computing | |
CN114693141A (zh) | 一种基于端边协同的变电站巡检方法 | |
Chen et al. | Crowd 2: Multi-agent Bandit-based Dispatch for Video Analytics upon Crowdsourcing | |
CN117793805B (zh) | 动态用户随机接入的移动边缘计算资源分配方法与*** | |
CN114860345B (zh) | 一种智能家居场景下基于缓存辅助的计算卸载方法 | |
Yao et al. | Performance Optimization in Serverless Edge Computing Environment using DRL-Based Function Offloading | |
CN117171261B (zh) | 面向多数据库单元的弹性扩展智能调用方法和*** | |
CN117891532B (zh) | 一种基于注意力多指标排序的终端能效优化卸载方法 | |
CN114546660B (zh) | 一种多无人机协作边缘计算方法 | |
CN117499251A (zh) | 一种无服务器的资源主动弹性伸缩方法、装置和管理*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |