CN113015179B - 基于深度q网络的网络资源选择方法、装置以及存储介质 - Google Patents
基于深度q网络的网络资源选择方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN113015179B CN113015179B CN201911315452.8A CN201911315452A CN113015179B CN 113015179 B CN113015179 B CN 113015179B CN 201911315452 A CN201911315452 A CN 201911315452A CN 113015179 B CN113015179 B CN 113015179B
- Authority
- CN
- China
- Prior art keywords
- network
- service
- model
- resource selection
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000004088 simulation Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000006399 behavior Effects 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000018910 keratinopathic ichthyosis Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提供了一种基于深度Q网络的网络资源选择方法、装置以及存储介质,其中的方法包括:接收业务申请以及与业务申请相对应的业务需求;基于当前的网络模拟环境获取与业务需求相对应的业务特征以及网络状态;根据DQN算法更新基于DQN的网络资源选择网络模型的模型参数,用以确定最新的模型参数;根据网络资源选择网络模型获取与业务申请以及业务需求相对应的资源信息。本公开的方法、装置以及存储介质,能够根据业务需求、网络状态等自动生成网络资源选择方案,进行端到端输出,网络资源配置灵活度高,能够按需进行分配,节约了网络资源,可以快速实现业务的部署,满足业务需求,提高使用感受度。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种基于深度Q网络的网络资源选择方法、装置以及存储介质。
背景技术
第五代移动通信技术研究是目前通信行业重点关注领域,5G网络具有多种业务。例如,同4G网络相比,网络切片是5G网络鲜明的特征和优点之一。5G网络切片,是指对网络数据实行类似于交通管理的分流管理,其本质是将现实存在的物理网络在逻辑层面上,划分为多个不同类型的虚拟网络,依照不同用户的服务需求,以诸如时延高低、带宽大小、可靠性强弱等指标来进行划分,从而应对复杂多变的应用场景。对于网络切片过程需要根据应用需要,分配合理的网络资源。目前,现有技术中还没有能够自动分配网络资源的技术方案。
发明内容
有鉴于此,本发明要解决的一个技术问题是提供一种基于深度Q网络的网络资源选择方法、装置以及存储介质。
根据本公开的一个方面,提供一种基于深度Q网络的网络资源选择方法,包括:接收业务申请以及与所述业务申请相对应的业务需求;其中,所述业务需求包括:带宽、时延、价格指标;基于当前的网络模拟环境获取与所述业务需求相对应的业务特征以及网络状态;根据DQN算法以及所述业务特征和所述网络状态,更新基于DQN的网络资源选择网络模型的模型参数,用以确定最新的所述模型参数;根据所述网络资源选择网络模型获取与所述业务申请以及所述业务需求相对应的资源信息。
可选地,所述根据DQN算法以及所述业务特征和所述网络状态,更新基于DQN的网络资源选择网络模型的模型参数,用以确定最新的所述模型参数包括:设置所述网络资源选择网络模型以及与所述网络资源选择网络模型具有相同结构的目标Q网络模型;根据所述网络状态和所述业务特征确定状态si;基于所述网络资源选择网络模型获取与所述si相对应的行为ai;基于当前的网络模拟环境获取与所述ai相对应的奖励值ri和新状态si+1;生成元组数据(si,ai,ri,si+1);基于所述奖励值和所述元组数据(si,ai,ri,si+1)设置与所述目标Q网络模型相关联的目标值;基于所述元组数据(si,ai,ri,si+1)和所述目标值,更新所述网络资源选择网络模型的模型参数,并输出进行更新处理后的所述网络资源选择网络模型。
可选地,所述ai为调整带宽和时延的行为;所述奖励值为:
其中,所述价格为业务需求中的价格指标的值;所述I用于表征带宽、时延的满足程度,当最低带宽、时延未满足时,所述I=0,当带宽、时延全部满足最高要求时,所述I=1。
可选地,设置缓存区并获取数据存储数量;将所述元组数据(si,ai,ri,si+1)存储在缓存区中;如果所述元组数据(si,ai,ri,si+1)的数量大于所述数据存储数量,则使用新元组数据(si,ai,ri,si+1)替换缓存时间最长的元组数据(si,ai,ri,si+1)。
可选地,所述基于所述元组数据(si,ai,ri,si+1)和所述目标值,更新所述网络资源选择网络模型的模型参数包括:获取一个所述元组数据(si,ai,ri,si+1),计算与此元组数据(si,ai,ri,si+1)的所述y值;更新所述Q的模型参数,以使Q(si,ai)最接近于所述y值;其中,Q(si,ai)为所述网络资源选择网络模型相对于所述si和所述ai的值。
可选地,设置新元组数据的生成次数,每间隔所述新元组数据的生成次数并基于所述Q的模型参数更新一次所述Q的模型参数。
可选地,基于所述网络资源选择网络模型获取所述资源信息,生成业务调度信息并下发客户;其中,所述业务申请包括:网络切片业务申请。
根据本公开的另一方面,提供一种基于深度Q网络的网络资源选择装置,包括:业务请求模块,用于接收业务申请以及与所述业务申请相对应的业务需求;其中,所述业务需求包括:带宽、时延、价格指标;识别模块,用于基于当前的网络模拟环境获取与所述业务需求相对应的业务特征以及网络状态;更新模块,用于根据DQN算法以及所述业务特征和所述网络状态,更新基于DQN的网络资源选择网络模型的模型参数,用以确定最新的所述模型参数;计算模块,用于根据所述网络资源选择网络模型获取与所述业务申请以及所述业务需求相对应的资源信息。
可选地,所述更新模块,包括:神经网络模型构建模块,用于设置所述网络资源选择网络模型以及与所述网络资源选择网络模型具有相同结构的目标Q网络模型;通信网络模块,用于根据所述网络状态和所述业务特征确定状态si;网络资源选择模块,用于基于所述网络资源选择网络模型获取与所述si相对应的行为ai;所述通信网络模块,还用于基于当前的网络模拟环境获取与所述ai相对应的奖励值ri和新状态si+1,生成元组数据(si,ai,ri,si+1);目标Q网络模块,用于基于所述奖励值和所述元组数据(si,ai,ri,si+1)设置与所述目标Q网络模型相关联的目标值;学习模块,用于基于所述元组数据(si,ai,ri,si+1)和所述目标值,更新所述网络资源选择网络模型的模型参数;输出模块,用于输出进行更新处理后的所述网络资源选择网络模型。
可选地,所述ai为调整带宽和时延的行为;所述奖励值为:
其中,所述价格为业务需求中的价格指标的值;所述I用于表征带宽、时延的满足程度,当最低带宽、时延未满足时,所述I=0,当带宽、时延全部满足最高要求时,所述I=1。
可选地,所述更新模块,包括:行为存储模块,用于设置缓存区并获取数据存储数量;将所述元组数据(si,ai,ri,si+1)存储在缓存区中;如果所述元组数据(si,ai,ri,si+1)的数量大于所述数据存储数量,则使用新元组数据(si,ai,ri,si+1)替换缓存时间最长的元组数据(si,ai,ri,si+1)。
可选地,所述学习模块,用于获取一个所述元组数据(si,ai,ri,si+1),计算与此元组数据(si,ai,ri,si+1)的所述y值;更新所述Q的模型参数,以使Q(si,ai)最接近于所述y值;其中,Q(si,ai)为所述网络资源选择网络模型相对于所述st和所述ai的值。
可选地,所述更新模块,包括:总控模块,用于设置新元组数据的生成次数,每间隔所述新元组数据的生成次数并基于所述Q的模型参数更新一次所述Q的模型参数。
可选地,调度模块,用于基于所述网络资源选择网络模型获取所述资源信息,生成业务调度信息并下发客户;其中,所述业务申请包括:网络切片业务申请。
根据本公开的又一方面,提供一种基于深度Q网络的网络资源选择装置,包括:存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如上所述的方法。
根据本公开的再一方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述指令被处理器执行如上所述的方法。
本公开的基于深度Q网络的网络资源选择方法、装置以及存储介质,能够根据业务需求、网络状态等自动生成网络资源选择方案,进行端到端输出,网络资源配置灵活度高,能够按需进行分配,节约了网络资源,可以快速实现业务的部署,满足业务需求,提高使用感受度。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本公开的基于深度Q网络的网络资源选择方法的一个实施例的流程示意图;
图2为根据本公开的基于深度Q网络的网络资源选择方法的一个实施例中的确定最新的模型参数的流程示意图;
图3为根据本公开的基于深度Q网络的网络资源选择方法的一个实施例中的训练算法的示意图;
图4为根据本公开的基于深度Q网络的网络资源选择装置的一个实施例的模块示意图;
图5为根据本公开的基于深度Q网络的网络资源选择装置的一个实施例中的更新模块的模块示意图;
图6为根据本公开的基于深度Q网络的网络资源选择装置的另一个实施例的模块示意图。
具体实施方式
下面参照附图对本公开进行更全面的描述,其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
图1为根据本公开的基于深度Q网络的网络资源选择方法的一个实施例的流程示意图,如图1所示:
步骤101,接收业务申请以及与业务申请相对应的业务需求;其中,业务需求包括:带宽、时延、价格指标等。业务申请可以为多种,例如为网络切片业务申请等。
步骤102,基于当前的网络模拟环境获取与业务需求相对应的业务特征以及网络状态。
业务特征可以为带宽、时延等特征,网络模拟环境可以为与实际网络环境相对应的模拟环境,从网络模拟环境中获取的业务特征以及网络状态,相当于在实际网络环境中的业务特征以及网络状态,网络状态为与网络切片相对应的网络状态等。
步骤103,根据深度Q网络(Deep Q-Network,DQN)算法更新基于DQN的网络资源选择网络模型的模型参数,用以确定最新的模型参数。
网络资源选择网络模型为深度Q网络,基于深度Q网络算法更新网络资源选择网络模型的模型参数,可以获得最优的网络资源选择网络。
步骤104,根据网络资源选择网络模型获取与业务申请以及业务需求相对应的资源信息。
资源可以为多种,包括部署业务的设备、链路等资源。基于网络资源选择网络模型获取资源信息,生成业务调度信息并下发客户。例如,可以根据网络资源选择网络模型,调度网络资源池用以实施网络切片实例并下发用户。
图2为根据本公开的基于深度Q网络的网络资源选择方法的一个实施例中的确定最新的模型参数的流程示意图,设置所述网络资源选择网络模型以及与所述网络资源选择网络模型具有相同结构的目标Q网络模型,如图2所示:
步骤201,根据网络状态和业务特征确定状态;其中,状态为si。
步骤202,基于网络资源选择网络模型获取与状态相对应的行为;其中,行为为ai,可以为对于带宽、时延等的综合行为。
步骤203,基于当前的网络模拟环境获取与状态相对应的奖励值和新状态;其中,奖励值为ri,新状态为si+1。
步骤204,生成元组数据;其中,元组数据为(si,ai,ri,si+1)。深度Q网络算法为结合深度神经网络(DNN)和Q学习(Q-learning)算法,DQN留有一些空间来进一步增加训练的稳定性,需要一个目标值。
步骤205,基于奖励值和元组数据设置与目标Q网络模型相关联的目标值。
步骤206,基于元组数据和目标值,更新网络资源选择网络模型的模型参数,并输出进行更新处理后的网络资源选择网络模型。
在一个实施例中,at为调整带宽和时延的综合行为,奖励值为:
其中,I用于表征带宽、时延的满足程度;当最低带宽、时延未满足时,I=0,当带宽、时延全部满足最高要求时,I=1。例如,接收到带宽、时延、价格等三项指标作为业务需求,可以直接调用现有网络的模拟环境,获取业务特征和网络状态,将调整带宽,时延(跳转路径或直连链路)的行为确定为ai,价格用于通过计算表示为奖励值。
可以设置缓存区并获取数据存储数量,数据存储数量可以设置,例如为10,20等。将元组数据(si,ai,ri,si+1)存储在缓存区中,如果元组数据(si,ai,ri,si+1)的数量大于数据存储数量,则使用新元组数据(si,ai,ri,si+1)替换缓存时间最长的元组数据(si,ai,ri,si+1)。
获取一个元组数据(si,ai,ri,si+1),计算与此元组数据(si,ai,ri,si+1)的y值;更新Q的模型参数,以使Q(si,ai)最接近于y值;其中,Q(si,ai)为网络资源选择网络模型相对于si和ai的值。Q(si,ai)可以使用现有的多种方法进行求解,以使Q(si,ai)最接近于y值。设置新元组数据的生成次数,每间隔新元组数据的生成次数更新一次例如,对于每个元组数据(si,ai,ri,si+1),更新一次Q的模型参数;设置新元组数据的生成次数为3次,每间隔3次新元组数据的生成更新一次的参数,即将的模型参数设置与Q的模型参数相同。
例如,随机初始化网络资源选择网络模型的神经网络参数θ,记为Q;设置与网络资源选择网络模型具有相同结构的目标Q网络模型,其神经网络参数为θ,记为根据现在的网络状态si生成网络资源选择行为ai,其中,ai是将st输入网络资源选择网络模型,由网络资源选择网络模型输出的ai。执行ai的调整之后,网络状态变为si+1,得到ri,生成元组数据(si,ai,ri,si+1)并存储。随机选择一个元组数据(si,ai,ri,si+1),设置目标值:
如图3所示,对于网络资源选择网络模型进行训练的算法如下:
循环训练次数:
while not满足业务需求或KPI:
对于网络状态和业务需求的si,基于网络资源选择网络模型选择网络资源的ai;
获得奖励值ri和新状态si+1;
将元组数据(si,ai,ri,si+1)存储进缓存;
从缓存中选择一个(si,ai,ri,si+1);
更新Q的参数使得Q(si,ai)接近于y;
在一个实施例中,本公开提供一种基于深度Q网络的网络资源选择装置,包括:业务请求模块41、识别模块42、更新模块43、计算模块44和调度模块45。业务请求模块51接收业务申请以及与业务申请相对应的业务需求;其中,业务需求包括:带宽、时延、价格指标等。
识别模块42基于当前的网络模拟环境获取与业务需求相对应的业务特征以及网络状态。更新模块43根据DQN算法更新基于DQN的网络资源选择网络模型的模型参数,用以确定最新的模型参数,用于第一次使用或校准计算模块44。计算模块44根据网络资源选择网络模型获取与业务申请以及业务需求相对应的资源信息。调度模块45基于网络资源选择网络模型,获取资源信息,生成业务调度信息并下发客户;其中,业务申请包括:网络切片业务申请等。
在一个实施例中,如图5所示,更新模块43包括:总控模块431、神经网络构建模块432、通信网络模块433、网络资源选择模块434、目标Q网络模块435、行为存储模块436、学习模块437和输出模块438。
通信网络模块433根据网络状态和业务特征确定状态si。网络资源选择模块434基于网络资源选择网络模型获取与si相对应的行为ai。网络资源选择模块434可以以网络状态和业务需求的si为输入,获取与si相对应的行为ai。
通信网络模块433基于当前的网络模拟环境获取与ai相对应的奖励值ri和新状态si+1,生成元组数据(si,ai,ri,si+1)。通信网络模块433可以基于真实网络或仿真模型,用于观察或模拟网络资源选择网络模型的输出ai对网络的影响状态(实际状态)以及奖励值(影响是好是坏),奖励值的确定函数可根据业务需求自主设定。网络状态为识别模块42输出的原始网络状态和业务需求。
神经网络模型构建模块432设置所述网络资源选择网络模型和与网络资源选择网络模型具有相同结构的目标Q网络模型。神经网络训练模块432设计网络资源选择模块434、目标Q网络模块435中网络模型的结构(输出模块438、网络资源选择模块434与目标Q网络模块435处理的神经网络网络模型的架构都相同,目标Q网络模型的参数间断性更新成网络资源选择网络模型的参数,输出网络即为网络资源选择网络模型训练完成时的形态。
目标Q网络模块435基于奖励值和元组数据(si,ai,ri,si+1)设置与目标Q网络模型相关联的目标值。学习模块437基于元组数据(si,ai,ri,si+1)和目标值,更新网络资源选择网络模型的模型参数。学习模块437设定学习算法,输出模块438输出进行更新处理后的网络资源选择网络模型,输出到计算模块44。
行为存储模块436设置缓存区并获取数据存储数量,将元组数据(si,ai,ri,si+1)存储在缓存区中;如果元组数据(si,ai,ri,si+1)的数量大于数据存储数量,则行为存储模块436使用新元组数据(si,ai,ri,si+1)替换缓存时间最长的元组数据(si,ai,ri,si+1)。行为储存模块436可以设置有多组行为缓存区,组数多少由总控模块431确定,每组行为存储网络状态和业务需求si,网络资源选择行为ai,奖励值ri,行为发生后的新网络状态si+1,以及(si,ai,ri,si+1),当行为发生次数大于缓冲区大小时,由新发生的行为替代最原始的行为。
其中,为目标Q网络模型相对于si+1和ai的最大值。目标Q网络模块435与网络资源选择模块434的架构相同,属于训练核心部分,用来提供评价的目标值y,目标Q网络的参数间断性更新成网络资源选择网络模型的参数。
学习模块437获取一个元组数据(si,ai,ri,si+1),计算与此元组数据(si,ai,ri,si+1)的y值,更新Q的模型参数,以使Q(si,ai)最接近于y值;其中,Q(si,ai)为网络资源选择网络模型相对于st和ai的值。总控模块431设置新元组数据的生成次数,每间隔新元组数据的生成次数更新一次总控模块431管控训练核心部分以及输出模块438,设定整体训练策略,如训练次数、训练参数等。
图6为根据本公开的基于深度Q网络的网络资源选择装置的另一个实施例的模块示意图。如图6所示,该装置可包括存储器61、处理器62、通信接口63以及总线64。存储器61用于存储指令,处理器62耦合到存储器61,处理器62被配置为基于存储器61存储的指令执行实现上述的基于深度Q网络的网络资源选择方法。
存储器61可以为高速RAM存储器、非易失性存储器(non-volatile memory)等,存储器61也可以是存储器阵列。存储器61还可能被分块,并且块可按一定的规则组合成虚拟卷。处理器62可以为中央处理器CPU,或专用集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成实施本公开的基于深度Q网络的网络资源选择方法的一个或多个集成电路。
在一个实施例中,本公开提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,指令被处理器执行如上任一实施例中的方法。
上述实施例中提供的基于深度Q网络的网络资源选择方法、装置以及存储介质,能够根据业务需求、网络状态等自动生成网络资源选择方案,进行端到端输出,网络资源配置灵活度高,能够按需进行分配,节约了网络资源,可以快速实现业务的部署,满足业务需求,提高使用感受度。
可能以许多方式来实现本公开的方法和***。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和***。用于方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用,并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。
Claims (12)
1.一种基于深度Q网络的网络资源选择方法,包括:
接收业务申请以及与所述业务申请相对应的业务需求;其中,所述业务需求包括:带宽、时延、价格指标;
基于当前的网络模拟环境获取与所述业务需求相对应的业务特征以及网络状态;
根据DQN算法以及所述业务特征和所述网络状态,更新基于DQN的网络资源选择网络模型的模型参数,用以确定最新的所述模型参数,包括:
设置所述网络资源选择网络模型以及与所述网络资源选择网络模型具有相同结构的目标Q网络模型;
根据所述网络状态和所述业务特征确定状态si;
基于所述网络资源选择网络模型获取与所述si相对应的行为ai;
基于当前的网络模拟环境获取与所述ai相对应的奖励值ri和新状态si+1;
生成元组数据(si,ai,ri,si+1);
基于所述元组数据(si,ai,ri,si+1)和所述目标值,更新所述网络资源选择网络模型的模型参数,并输出进行更新处理后的所述网络资源选择网络模型;其中,所述ai为调整带宽和时延的行为,所述奖励值为:
所述价格为业务需求中的价格指标的值;所述I用于表征带宽、时延的满足程度,当最低带宽、时延未满足时,所述I=0,当带宽、时延全部满足最高要求时,所述I=1;i为自然数;
根据所述网络资源选择网络模型获取与所述业务申请以及所述业务需求相对应的资源信息。
2.如权利要求1所述的方法,还包括:
设置缓存区并获取数据存储数量;
将所述元组数据(si,ai,ri,si+1)存储在缓存区中;
如果所述元组数据(si,ai,ri,si+1)的数量大于所述数据存储数量,则使用新元组数据替换缓存时间最长的元组数据。
3.如权利要求1所述的方法,所述基于所述元组数据(si,ai,ri,si+1)和所述目标值,更新所述网络资源选择网络模型的模型参数包括:
获取一个所述元组数据(si,ai,ri,si+1),计算与此元组数据(si,ai,ri,si+1)的所述y值;
更新所述Q的模型参数,以使Q(si,ai)最接近于所述y值;其中,Q(si,ai)为所述网络资源选择网络模型相对于所述si和所述ai的值。
5.如权利要求1所述的方法,还包括:
基于所述网络资源选择网络模型获取所述资源信息,生成业务调度信息并下发客户;
其中,所述业务申请包括:网络切片业务申请。
6.一种基于深度Q网络的网络资源选择装置,包括:
业务请求模块,用于接收业务申请以及与所述业务申请相对应的业务需求;其中,所述业务需求包括:带宽、时延、价格指标;
识别模块,用于基于当前的网络模拟环境获取与所述业务需求相对应的业务特征以及网络状态;
更新模块,用于根据DQN算法以及所述业务特征和所述网络状态,更新基于DQN的网络资源选择网络模型的模型参数,用以确定最新的所述模型参数;
其中,所述更新模块,包括:
神经网络模型构建模块,用于设置所述网络资源选择网络模型以及与所述网络资源选择网络模型具有相同结构的目标Q网络模型;
通信网络模块,用于根据所述网络状态和所述业务特征确定状态si;
网络资源选择模块,用于基于所述网络资源选择网络模型获取与所述si相对应的行为ai;
所述通信网络模块,还用于基于当前的网络模拟环境获取与所述ai相对应的奖励值ri和新状态si+1,生成元组数据(si,ai,ri,si+1);
学习模块,用于基于所述元组数据(si,ai,ri,si+1)和所述目标值,更新所述网络资源选择网络模型的模型参数;其中,所述ai为调整带宽和时延的行为,所述奖励值为:
所述价格为业务需求中的价格指标的值;所述I用于表征带宽、时延的满足程度,当最低带宽、时延未满足时,所述I=0,当带宽、时延全部满足最高要求时,所述I=1;i为自然数;
输出模块,用于输出进行更新处理后的所述网络资源选择网络模型;
计算模块,用于根据所述网络资源选择网络模型获取与所述业务申请以及所述业务需求相对应的资源信息。
7.如权利要求6所述的装置,其中,
所述更新模块,包括:
行为存储模块,用于设置缓存区并获取数据存储数量;将所述元组数据(si,ai,ri,si+1)存储在缓存区中;如果所述元组数据(si,ai,ri,si+1)的数量大于所述数据存储数量,则使用新元组数据替换缓存时间最长的元组数据。
8.如权利要求6所述的装置,其中,
所述学习模块,用于获取一个所述元组数据(si,ai,ri,si+1),计算与此元组数据(si,ai,ri,si+1)的所述y值;更新所述Q的模型参数,以使Q(si,ai)最接近于所述y值;其中,Q(si,ai)为所述网络资源选择网络模型相对于所述si和所述ai的值。
10.如权利要求6至9任一所述的装置,还包括:
调度模块,用于基于所述网络资源选择网络模型获取所述资源信息,生成业务调度信息并下发客户;其中,所述业务申请包括:网络切片业务申请。
11.一种基于深度Q网络的网络资源选择装置,包括:
存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1至5中任一项所述的方法。
12.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述指令被处理器执行如权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911315452.8A CN113015179B (zh) | 2019-12-19 | 2019-12-19 | 基于深度q网络的网络资源选择方法、装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911315452.8A CN113015179B (zh) | 2019-12-19 | 2019-12-19 | 基于深度q网络的网络资源选择方法、装置以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113015179A CN113015179A (zh) | 2021-06-22 |
CN113015179B true CN113015179B (zh) | 2022-09-23 |
Family
ID=76382547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911315452.8A Active CN113015179B (zh) | 2019-12-19 | 2019-12-19 | 基于深度q网络的网络资源选择方法、装置以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113015179B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113747450B (zh) * | 2021-07-27 | 2022-12-09 | 清华大学 | 一种移动网络中业务部署方法、装置及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109614215A (zh) * | 2019-01-25 | 2019-04-12 | 广州大学 | 基于深度强化学习的流调度方法、装置、设备及介质 |
CN110113793A (zh) * | 2019-04-04 | 2019-08-09 | 北京邮电大学 | 一种基于深度增强学习的后5g前传网时间同步方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9882833B2 (en) * | 2015-09-28 | 2018-01-30 | Centurylink Intellectual Property Llc | Intent-based services orchestration |
-
2019
- 2019-12-19 CN CN201911315452.8A patent/CN113015179B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109614215A (zh) * | 2019-01-25 | 2019-04-12 | 广州大学 | 基于深度强化学习的流调度方法、装置、设备及介质 |
CN110113793A (zh) * | 2019-04-04 | 2019-08-09 | 北京邮电大学 | 一种基于深度增强学习的后5g前传网时间同步方法及装置 |
Non-Patent Citations (2)
Title |
---|
S2-1907401 "UDR service for mapping IMS Public Identity to HSS Group ID for HSS selection";Nokia等;《3GPP tsg_sa\wg2_arch》;20190617;全文 * |
基于增强学习的5G网络切片资源动态优化方案;任语铮等;《中兴通讯技术》;20180120(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113015179A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113015219B (zh) | 基于策略梯度的网络资源选择方法、装置以及存储介质 | |
Almezeini et al. | Task scheduling in cloud computing using lion optimization algorithm | |
CN111064633B (zh) | 一种云边协同电力信息通信设备自动化测试资源分配方法 | |
CN111966484A (zh) | 一种基于深度强化学习的集群资源管理和任务调度方法及*** | |
US10387909B2 (en) | Simulation-based evaluation of a marketing channel attribution model | |
US11514368B2 (en) | Methods, apparatuses, and computing devices for trainings of learning models | |
WO2019084560A1 (en) | SEARCH FOR NEURONAL ARCHITECTURES | |
JP2020013563A (ja) | 意味的情報に基づいてフォトリアリスティックな合成画像を生成するためのシステムおよび方法 | |
CN111523939A (zh) | 一种推广内容的投放方法、装置、存储介质和电子设备 | |
US20210312295A1 (en) | Information processing method, information processing device, and information processing program | |
CN109976901A (zh) | 一种资源调度方法、装置、服务器及可读存储介质 | |
CN112311578A (zh) | 基于深度强化学习的vnf调度方法及装置 | |
CN106230827B (zh) | 一种基于成本效益优化的多目标服务组合方法 | |
CN115080248B (zh) | 调度装置的调度优化方法、调度装置和存储介质 | |
CN114675975B (zh) | 一种基于强化学习的作业调度方法、装置及设备 | |
CN113015179B (zh) | 基于深度q网络的网络资源选择方法、装置以及存储介质 | |
CN111652382B (zh) | 基于区块链的数据处理方法、装置、设备及存储介质 | |
CN113222073A (zh) | 训练迁移学习模型和推荐模型的方法及装置 | |
CN114816395A (zh) | 一种页面布局方法及装置 | |
CN105389212B (zh) | 一种作业分配方法和装置 | |
JP2021163424A (ja) | Aiシステム開発シミュレータ及びハイパーパラメータ最適化方法 | |
CN115329985B (zh) | 无人集群智能模型训练方法、装置和电子设备 | |
CN115185606A (zh) | 业务配置参数的获得方法、装置、设备及存储介质 | |
CN112579246B (zh) | 虚拟机迁移处理方法及装置 | |
CN113395698B (zh) | 资源调度方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |