CN111917642B - 分布式深度强化学习的sdn网络智慧路由数据传输方法 - Google Patents
分布式深度强化学习的sdn网络智慧路由数据传输方法 Download PDFInfo
- Publication number
- CN111917642B CN111917642B CN202010673851.8A CN202010673851A CN111917642B CN 111917642 B CN111917642 B CN 111917642B CN 202010673851 A CN202010673851 A CN 202010673851A CN 111917642 B CN111917642 B CN 111917642B
- Authority
- CN
- China
- Prior art keywords
- network
- actor
- parameters
- local
- evaluator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000005540 biological transmission Effects 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000009471 action Effects 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 3
- 101150020966 Acta2 gene Proteins 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 8
- 230000004083 survival effect Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/124—Shortest path evaluation using a combination of metrics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/121—Shortest path evaluation by minimising delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/125—Shortest path evaluation based on throughput or bandwidth
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了分布式深度强化学习的SDN网络智慧路由数据传输方法,实现了快速路由路径的计算,在保证延迟的情况下最大化吞吐量,解决传统算法的慢速、吞吐量小的问题。本发明使用了强化学习算法,该算法将路由计算过程简化为简单的输入输出,避免了计算时的多次迭代从而实现路由路径的快速计算,路由算法速度的加快降低了转发延迟,使原本因ttl到期被丢弃的数据包有更大概率存活并成功转发,增大了网络吞吐量。本发明设置有离线训练和在线训练两个阶段的训练,在动态环境中更新参数选择最优路径因此具有拓扑自适应性。
Description
技术领域
本发明属于数据传输领域,具体涉及分布式深度强化学习的SDN网络智慧路由数据传输方法。
背景技术
当前信息技术步入成熟阶段,在SDN网络(软件定义网络Software DefinedNetwork)架构中数据流灵活可控、控制器具有全网视图并可实时感知网络状态变化(如流量分布、拥塞状况以及链路利用情况等),在现实中,路由选择问题往往通过最短路径算法来解决,将一些简单的网络参数(如路径跳数、时延等)作为算法的优化指标,以寻找跳数最少路径或时延最小路径作为算法的最终目标。单一的度量标准和优化目标,容易导致部分关键链路拥塞,造成网络负载不均衡的问题。虽然在多业务路径分配时,基于拉格朗日松弛的最短路由算法可以找到复合多约束条件的最优路径,但该类启发式路由算法必须经过多次迭代才能计算出最优路径,收敛速度慢、时效性不佳、吞吐量不大。
发明内容
针对现有技术中的上述不足,本发明提供的分布式深度强化学习的SDN网络智慧路由数据传输方法解决了上述现有技术中存在的问题。
为了达到上述发明目的,本发明采用的技术方案为:一种分布式深度强化学习的SDN网络智慧路由数据传输方法,包括以下步骤:
S1、构建奖励函数和包含行动者网络和评价者网络的深度强化学习模型,并在SDN网络的应用层布置深度强化学习模型;
S2、随机初始化深度强化学习模型的行动者网络参数θa和评价者网络参数θc;
S3、随机初始化SDN网络的控制层中第i个本地GPUi上行动者网络的本地行动者参数θ′a和评价者网络的本地评价者参数θ′c;
S4、根据奖励函数、行动者网络参数θa、评价者网络参数θc、本地行动者参数θ′a和本地评价者参数θ′c,使用A3C算法对第i个本地GPUi上的深度强化学习模型进行离线训练,更新行动者网络参数θa和评价者网络参数θc;
S5、将更新后的行动者网络参数θa和更新后的评价者网络参数θc作用于SDN网络全局,使用更新参数后的SDN网络进行数据的传输;
S6、定时检测SDN网络的拓扑结构是否发生改变,若是,则进入步骤S7,否则重复步骤S6;
S7、对深度强化学习模型进行在线训练,使用自适应运行算法对行动者网络参数θa和评价者网络参数θc进行更新,并将行动者网络参数θa和评价者网络参数θc作用于SDN网络全局,使用更新参数后的SDN网络进行数据的传输;
其中,i=1,2,...,L,L表示本地GPU的总数。
进一步地,所述步骤S1中行动者网络为全连接神经网络,所述步骤S1中评价者网络为全连接神经网络和CNN卷积神经网络的组合网络;所述行动者网络和评价者网络的输入均包括SDN网络的网络状态,所述网络状态包括当前节点信息、目的节点信息、带宽要求和时延要求,所述评价者网络的输入还包括由CNN卷积神经网络处理后的SDN网络的网络特征;所述CNN卷积神经网络包括依次连接的输入层、卷积层、池化层、全连接层和输出层。
进一步地,所述步骤S1中奖励函数为:
其中,表示在状态sn的情况下,SDN网络中第n个路由节点向第m个路由节点做出动作an后得到的奖励值;g表示动作惩罚,a1表示第一权重,a2表示第二权重,c(n)表示第n个路由节点的剩余容量,c(m)表示第m个路由节点的剩余容量,c(l)表示SDN网络中第l个链路的剩余容量,d(n)表示第n个路由节点与其邻接节点的流量负载的差异程度,d(m)示第m个路由节点与其邻接节点的流量负载的差异程度;所述状态sn包括:数据包所在节点为第n个路由节点、数据包的最终目的节点、数据报的转发带宽需求和数据包的延迟要求;所述动作an表示在状态sn的情况下可以采取的所有转发操作。
进一步地,所述步骤S4包括以下分步骤:
S41、设置第一计数器t=0、第二计数器T=0、最大迭代次数Tmax和路由跳数限制tmax;
S42、令dθa=0和dθc=0,并进行本地参数与全局参数的同步,将本地行动者参数θa'的值同步为行动者网络参数θa的值,将本地评价者参数θc'的值同步为评价者网络参数θc的值;
S43、令第一中间计数值tstart=t,通过本地GPUi读取当前时刻的状态st;
S44、通过行动者网络获取策略π(at|st;θ′a),并根据策略π(at|st;θ′a)执行动作at,其中,π(at|st;θ′a)表示在状态st和本地GPUi上本地行动者参数θ′a的情况下所需要执行的动作为at;
S45、获取执行动作at后的奖励值rt和新状态st+1,并令第一计数器t的计数值加一;
S46、判断新状态st是否达到最终状态所限定的条件,若是,则设置更新奖励值R=0,并进入步骤S48,否则进入步骤S47;
S47、判断t-tstart是否大于路由跳数限制tmax,若是,则设置更新奖励值R=V(st,θ′c),并进入步骤S48,否则返回步骤S44,其中V(st,θ′c)表示评价者网络在本地评价者参数θ′c时对到达状态st的路由策略评价值;
S48、设置第三计数器z=t-1和梯度更新奖励值Rupdata=rz+γR,初始化行动者网络参数的梯度Δθa和评价者网络参数的梯度Δθc为0;
S49、根据梯度更新奖励值Rupdata、本地行动者参数θ′a和本地评价者参数θ′c,获取本地行动者参数梯度Δθa的更新值和本地行动者参数梯度Δθc的更新值为:
其中,Δθa_updata表示梯度Δθa的更新值,表示本地行动者参数θ′a的导数,logπ(az|sz;θ′a)表示在参数θ′a和状态sz的情况下执行动作az这个策略的概率的对数,rz表示执行动作az的奖励值,γ表示奖励折扣率,V(sz;θ′c)表示评价者网络在本地评价者参数θ′c时对到达状态sz的路由策略评价值,Δθc_updata表示梯度Δθc的更新值,表示对(Rupdata-V(sz;θ′c))2求取θ′c的偏导数;
S410、令Δθa=Δθa_updata、Δθc=Δθc_updata和R=Rupdata,并判断第三计数器z是否等于第一中间计数值tstart,若是,则进入步骤S411,否则令第三计数器z的计数值减一,将梯度更新奖励值Rupdata更新为rz+γR,并返回步骤S49;
S411、判断第二计数器T是否大于或等于最大迭代次数Tmax,若是,则使用本地行动者参数梯度Δθa和本地行动者参数梯度Δθc分别更新行动者网络参数θa和评价者网络参数θc,并结束更新流程,否则令第二计数器T的计数值加一,并返回步骤S42。
进一步地,所述步骤S411中使用本地行动者参数梯度Δθa和本地行动者参数梯度Δθc分别更新行动者网络参数θa和评价者网络参数θc的公式为:
θa_updata=θa+βΔθa
θc_updata=θc+βΔθc
其中,θa_updata表示更新后的行动者网络参数θa,θc_updata表示更新后的评价者网络参数θc,β表示本地GPUi在SDN网络中的权重。
进一步地,所述步骤S7包括以下分步骤:
S71、设置第四计数器j=1,并采集路由请求任务f;
S72、将路由请求任务f分配给SDN网络中空闲的GPU,空闲的GPU为GPUidle;
S73、设定dθa=0和dθc=0,并将GPUidle的本地行动者参数θ′a同步为行动者网络参数θa参数值,将本地评价者参数θ′c同步为评价者网络参数θc参数值;
S74、令第二中间计数值jstart=j,并读取当前时刻的初始状态sj;
S75、通过行动者网络获取在状态sj和本地行动者参数θ′a的情况下执行动作aj的策略π(aj|sj;θ′a),并执行策略π(aj|sj;θ′a);
S76、获取执行动作aj后的奖励值rj和新状态sj+1,令第四计数器j的计数值加一,并将动作aj加入动作集合A;
S77、判断新状态sj是否达到路由请求任务f的最终状态所限定的条件,若是,则进入步骤S78,否则返回步骤S75;
S78、根据动作集合A获取路由路径p,并判断路由请求任务f是否与路由路径p匹配,若是,则令更新奖励值R=0,并进入步骤S79,否则令更新奖励值R=V(sj,θ′c),并进入步骤S79;
S79、设定第五计数器k=j-1和梯度更新奖励值Rupdata=rk+γR,初始化行动者网络参数的梯度Δθa和评价者网络参数的梯度Δθc为0;
S710、根据梯度更新奖励值Rupdata、本地行动者参数θ′a和本地评价者参数θ′c,获取本地行动者参数梯度Δθa的更新值和本地行动者参数梯度Δθc的更新值为:
其中,Δθa_updata表示梯度Δθa的更新值,表示本地行动者参数θ′a的导数,logπ(ak|sk;θ′a)表示在参数θ′a和状态sz的情况下执行动作ak这个策略的概率的对数,rk表示执行动作ak的奖励值,γ表示奖励折扣率,V(sk;θ′c)表示评价者网络在本地评价者参数θ′c时对到达状态sk的路由策略评价值,Δθc_updata表示梯度Δθc的更新值,表示对(Rupdata-V(sk;θ′c))2求取θ′c的偏导数;
S711、令Δθa=Δθa_updata、Δθc=Δθc_updata和R=Rupdata,并判断第五计数器k是否等于第二中间计数值jstart,若是,则进入步骤S712,否则令第五计数器k的计数值减一,将梯度更新奖励值Rupdata更新为rk+γR,并返回步骤S710;
S712、通过本地行动者参数梯度Δθa和本地行动者参数梯度Δθc分别更新行动者网络参数θa和评价者网络参数θc,并将行动者网络参数θa和评价者网络参数θc作用于SDN网络全局,使用更新参数后的SDN网络进行数据的传输。
本发明的有益效果为:
(1)本发明实现了快速路由路径的计算,在保证延迟的情况下最大化吞吐量,解决传统算法的慢速、吞吐量小的问题。
(2)本发明使用了强化学习算法,该算法将路由计算过程简化为简单的输入输出,避免了计算时的多次迭代从而实现路由路径的快速计算,路由算法速度的加快降低了转发延迟,使原本因ttl到期被丢弃的数据包有更大概率存活并成功转发,增大了网络吞吐量。
(3)本发明设置有离线训练和在线训练两个阶段的训练,在动态环境中更新参数选择最优路径因此具有拓扑自适应性。
(4)本发明设置了奖励函数,使节点或链路负载、路由需求和网络拓扑信息更好的约束强化学习的训练过程,使训练后的深度强化学习模型能够更加准确地执行路由任务。
附图说明
图1为本发明提出的分布式深度强化学习的SDN网络智慧路由数据传输方法流程图;
图2为本发明中CNN卷积神经网络示意图;
图3为本发明中深度强化学习模型示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
下面结合附图详细说明本发明的实施例。
如图1所示,一种分布式深度强化学习的SDN网络智慧路由数据传输方法,包括以下步骤:
S1、构建奖励函数和包含行动者网络和评价者网络的深度强化学习模型,并在SDN网络的应用层布置深度强化学习模型;
S2、随机初始化深度强化学习模型的行动者网络参数θa和评价者网络参数θc;
S3、随机初始化SDN网络的控制层中第i个本地GPUi上行动者网络的本地行动者参数θ′a和评价者网络的本地评价者参数θ′c;
S4、根据奖励函数、行动者网络参数θa、评价者网络参数θc、本地行动者参数θ′a和本地评价者参数θ′c,使用A3C算法对第i个本地GPUi上的深度强化学习模型进行离线训练,更新行动者网络参数θa和评价者网络参数θc;
S5、将更新后的行动者网络参数θa和更新后的评价者网络参数θc作用于SDN网络全局,使用更新参数后的SDN网络进行数据的传输;
S6、定时检测SDN网络的拓扑结构是否发生改变,若是,则进入步骤S7,否则重复步骤S6;
S7、对深度强化学习模型进行在线训练,使用自适应运行算法对行动者网络参数θa和评价者网络参数θc进行更新,并将行动者网络参数θa和评价者网络参数θc作用于SDN网络全局,使用更新参数后的SDN网络进行数据的传输;
其中,i=1,2,...,L,L表示本地GPU的总数。
所述步骤S1中行动者网络为全连接神经网络,所述步骤S1中评价者网络为全连接神经网络和CNN卷积神经网络的组合网络;所述行动者网络和评价者网络的输入均包括SDN网络的网络状态,所述网络状态包括当前节点信息、目的节点信息、带宽要求和时延要求,所述评价者网络的输入还包括由CNN卷积神经网络处理后的SDN网络的网络特征。
如图2所示,所述CNN卷积神经网络包括依次连接的输入层、卷积层、池化层、全连接层和输出层。
所述步骤S1中奖励函数为:
其中,表示在状态sn的情况下,SDN网络中第n个路由节点向第m个路由节点做出动作an后得到的奖励值;g表示动作惩罚,a1表示第一权重,a2表示第二权重,c(n)表示第n个路由节点的剩余容量,c(m)表示第m个路由节点的剩余容量,c(l)表示SDN网络中第l个链路的剩余容量,d(n)表示第n个路由节点与其邻接节点的流量负载的差异程度,d(m)示第m个路由节点与其邻接节点的流量负载的差异程度;所述状态sn包括:数据包所在节点为第n个路由节点、数据包的最终目的节点、数据报的转发带宽需求和数据包的延迟要求;所述动作an表示在状态sn的情况下可以采取的所有转发操作。
所述步骤S4包括以下分步骤:
S41、设置第一计数器t=0、第二计数器T=0、最大迭代次数Tmax和路由跳数限制tmax;
S42、令dθa=0和dθc=0,并进行本地参数与全局参数的同步,将本地行动者参数θ′a的值同步为行动者网络参数θa的值,将本地评价者参数θ′c的值同步为评价者网络参数θc的值;
S43、令第一中间计数值tstart=t,通过本地GPUi读取当前时刻的状态st;
S44、通过行动者网络获取策略π(at|st;θ′a),并根据策略π(at|st;θ′a)执行动作at,其中,π(at|st;θ′a)表示在状态st和本地GPUi上本地行动者参数θ′a的情况下所需要执行的动作为at;
S45、获取执行动作at后的奖励值rt和新状态st+1,并令第一计数器t的计数值加一;
S46、判断新状态st是否达到最终状态所限定的条件,若是,则设置更新奖励值R=0,并进入步骤S48,否则进入步骤S47;
S47、判断t-tstart是否大于路由跳数限制tmax,若是,则设置更新奖励值R=V(st,θ′c),并进入步骤S48,否则返回步骤S44,其中V(st,θ′c)表示评价者网络在本地评价者参数θ′c时对到达状态st的路由策略评价值;
S48、设置第三计数器z=t-1和梯度更新奖励值Rupdata=rz+γR,初始化行动者网络参数的梯度Δθa和评价者网络参数的梯度Δθc为0;
S49、根据梯度更新奖励值Rupdata、本地行动者参数θ′a和本地评价者参数θ′c,获取本地行动者参数梯度Δθa的更新值和本地行动者参数梯度Δθc的更新值为:
其中,Δθa_updata表示梯度Δθa的更新值,表示本地行动者参数θ′a的导数,logπ(az|sz;θ′a)表示在参数θ′a和状态sz的情况下执行动作az这个策略的概率的对数,rz表示执行动作az的奖励值,γ表示奖励折扣率,V(sz;θ′c)表示评价者网络在本地评价者参数θ′c时对到达状态sz的路由策略评价值,Δθc_updata表示梯度Δθc的更新值,表示对(Rupdata-V(sz;θ′c))2求取θ′c的偏导数;
S410、令Δθa=Δθa_updata、Δθc=Δθc_updata和R=Rupdata,并判断第三计数器z是否等于第一中间计数值tstart,若是,则进入步骤S411,否则令第三计数器z的计数值减一,将梯度更新奖励值Rupdata更新为rz+γR,并返回步骤S49;
S411、判断第二计数器T是否大于或等于最大迭代次数Tmax,若是,则使用本地行动者参数梯度Δθa和本地行动者参数梯度Δθc分别更新行动者网络参数θa和评价者网络参数θc,并结束更新流程,否则令第二计数器T的计数值加一,并返回步骤S42。
所述步骤S411中使用本地行动者参数梯度Δθa和本地行动者参数梯度Δθc分别更新行动者网络参数θa和评价者网络参数θc的公式为:
θa_updata=θa+βΔθa
θc_updata=θc+βΔθc
其中,θa_updata表示更新后的行动者网络参数θa,θc_updata表示更新后的评价者网络参数θc,β表示本地GPUi在SDN网络中的权重。
所述步骤S7包括以下分步骤:
S71、设置第四计数器j=1,并采集路由请求任务f;
S72、将路由请求任务f分配给SDN网络中空闲的GPU,空闲的GPU为GPUidle;
S73、设定dθa=0和dθc=0,并将GPUidle的本地行动者参数θ′a同步为行动者网络参数θa参数值,将本地评价者参数θ′c同步为评价者网络参数θc参数值;
S74、令第二中间计数值jstart=j,并读取当前时刻的初始状态sj;
S75、通过行动者网络获取在状态sj和本地行动者参数θ′a的情况下执行动作aj的策略π(aj|sj;θ′a),并执行策略π(aj|sj;θ′a);
S76、获取执行动作aj后的奖励值rj和新状态sj+1,令第四计数器j的计数值加一,并将动作aj加入动作集合A;
S77、判断新状态sj是否达到路由请求任务f的最终状态所限定的条件,若是,则进入步骤S78,否则返回步骤S75;
S78、根据动作集合A获取路由路径p,并判断路由请求任务f是否与路由路径p匹配,若是,则令更新奖励值R=0,并进入步骤S79,否则令更新奖励值R=V(sj,θ′c),并进入步骤S79;
S79、设定第五计数器k=j-1和梯度更新奖励值Rupdata=rk+γR,初始化行动者网络参数的梯度Δθa和评价者网络参数的梯度Δθc为0;
S710、根据梯度更新奖励值Rupdata、本地行动者参数θa'和本地评价者参数θc',获取本地行动者参数梯度Δθa的更新值和本地行动者参数梯度Δθc的更新值为:
其中,Δθa_updata表示梯度Δθa的更新值,表示本地行动者参数θ′a的导数,logπ(ak|sk;θ′a)表示在参数θ′a和状态sz的情况下执行动作ak这个策略的概率的对数,rk表示执行动作ak的奖励值,γ表示奖励折扣率,V(sk;θ′c)表示评价者网络在本地评价者参数θ′c时对到达状态sk的路由策略评价值,Δθc_updata表示梯度Δθc的更新值,表示对(Rupdata-V(sk;θ′c))2求取θ′c的偏导数;
S711、令Δθa=Δθa_updata、Δθc=Δθc_updata和R=Rupdata,并判断第五计数器k是否等于第二中间计数值jstart,若是,则进入步骤S712,否则令第五计数器k的计数值减一,将梯度更新奖励值Rupdata更新为rk+γR,并返回步骤S710;
S712、通过本地行动者参数梯度Δθa和本地行动者参数梯度Δθc分别更新行动者网络参数θa和评价者网络参数θc,并将行动者网络参数θa和评价者网络参数θc作用于SDN网络全局,使用更新参数后的SDN网络进行数据的传输。
如图3所示,在本实施例中,深度强化学习模型包括行为者和评论者对,它们都是使用神经网络NN构建的,行为者网络输出对于给定状态下所有动作的概率分布和路由策略,是多输出的神经网络。评论者网络使用时间差误差来评价行为者的策略,是一输出的神经网络。行动者网络是全连接神经网络,在当前节点、目的节点信息、带宽要求和时延要求等数据输入后会在每个神经网络节点计算加权求和及经过激活函数处理,输出多个结果。行动者网络根据当前状态给出下一步动作,动作有多种可选所以是多输出的神经网络,输出为多个路由选择的概率。而评价者网络包括四项网络信息输入外还有网络特征的输入,其输出是对行动者网络的策略的评价,所以是单一输出的。评价者网络输入中多了一个网络特征输入,该输入就是网络的变化信息,在评价行动者网络策略时加入实时的网络状态变化,使智慧路由具有自适应性。
Claims (6)
1.一种分布式深度强化学习的SDN网络智慧路由数据传输方法,其特征在于,包括以下步骤:
S1、构建奖励函数和包含行动者网络和评价者网络的深度强化学习模型,并在SDN网络的应用层布置深度强化学习模型;
S6、定时检测SDN网络的拓扑结构是否发生改变,若是,则进入步骤S7,否则重复步骤S6;
其中,i=1,2,...,L,L表示本地GPU的总数。
2.根据权利要求1所述的分布式深度强化学习的SDN网络智慧路由数据传输方法,其特征在于,所述步骤S1中行动者网络为全连接神经网络,所述步骤S1中评价者网络为全连接神经网络和CNN卷积神经网络的组合网络;所述行动者网络和评价者网络的输入均包括SDN网络的网络状态,所述网络状态包括当前节点信息、目的节点信息、带宽要求和时延要求,所述评价者网络的输入还包括由CNN卷积神经网络处理后的SDN网络的网络特征;所述CNN卷积神经网络包括依次连接的输入层、卷积层、池化层、全连接层和输出层。
3.根据权利要求1所述的分布式深度强化学习的SDN网络智慧路由数据传输方法,其特征在于,所述步骤S1中奖励函数为:
4.根据权利要求1所述的分布式深度强化学习的SDN网络智慧路由数据传输方法,其特征在于,所述步骤S4包括以下分步骤:
其中,表示梯度的更新值,表示本地行动者参数的导数,表示在参数和状态的情况下执行动作这个策略的概率的对数,表示执行动作的奖励值,表示奖励折扣率,表示评价者网络在本地评价者参数时对到达状态的路由策略评价值,表示梯度的更新值,表示对求取的偏导数;
6.根据权利要求4所述的分布式深度强化学习的SDN网络智慧路由数据传输方法,其特征在于,所述步骤S7包括以下分步骤:
S71、设置第四计数器j=1,并采集路由请求任务f;
其中,表示梯度的更新值,表示本地行动者参数的导数,表示在参数和状态的情况下执行动作这个策略的概率的对数,表示执行动作的奖励值,表示奖励折扣率,表示评价者网络在本地评价者参数时对到达状态的路由策略评价值,表示梯度的更新值,表示对求取的偏导数;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010673851.8A CN111917642B (zh) | 2020-07-14 | 2020-07-14 | 分布式深度强化学习的sdn网络智慧路由数据传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010673851.8A CN111917642B (zh) | 2020-07-14 | 2020-07-14 | 分布式深度强化学习的sdn网络智慧路由数据传输方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111917642A CN111917642A (zh) | 2020-11-10 |
CN111917642B true CN111917642B (zh) | 2021-04-27 |
Family
ID=73280083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010673851.8A Expired - Fee Related CN111917642B (zh) | 2020-07-14 | 2020-07-14 | 分布式深度强化学习的sdn网络智慧路由数据传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111917642B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112818788B (zh) * | 2021-01-25 | 2022-05-03 | 电子科技大学 | 一种基于无人机集群的分布式卷积神经网络分层匹配方法 |
CN113316216B (zh) * | 2021-05-26 | 2022-04-08 | 电子科技大学 | 一种用于微纳卫星网络的路由方法 |
CN113537628B (zh) * | 2021-08-04 | 2023-08-22 | 郭宏亮 | 一种基于分布强化学习的通用可靠最短路方法 |
CN114051272A (zh) * | 2021-10-30 | 2022-02-15 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 动态拓扑网络智能路由方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108803615A (zh) * | 2018-07-03 | 2018-11-13 | 东南大学 | 一种基于深度强化学习的虚拟人未知环境导航算法 |
CN109343341A (zh) * | 2018-11-21 | 2019-02-15 | 北京航天自动控制研究所 | 一种基于深度强化学习的运载火箭垂直回收智能控制方法 |
CN110472738A (zh) * | 2019-08-16 | 2019-11-19 | 北京理工大学 | 一种基于深度强化学习的无人艇实时避障算法 |
CN110472880A (zh) * | 2019-08-20 | 2019-11-19 | 李峰 | 评价合作问题解决能力的方法、装置及存储介质 |
CN110770761A (zh) * | 2017-07-06 | 2020-02-07 | 华为技术有限公司 | 深度学习***和方法以及使用深度学习的无线网络优化 |
CN111316295A (zh) * | 2017-10-27 | 2020-06-19 | 渊慧科技有限公司 | 使用分布式优先化回放的强化学习 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150269479A1 (en) * | 2014-03-24 | 2015-09-24 | Qualcomm Incorporated | Conversion of neuron types to hardware |
CN106873585B (zh) * | 2017-01-18 | 2019-12-03 | 上海器魂智能科技有限公司 | 一种导航寻路方法、机器人及*** |
US10396919B1 (en) * | 2017-05-12 | 2019-08-27 | Virginia Tech Intellectual Properties, Inc. | Processing of communications signals using machine learning |
US10375585B2 (en) * | 2017-07-06 | 2019-08-06 | Futurwei Technologies, Inc. | System and method for deep learning and wireless network optimization using deep learning |
CN108600104B (zh) * | 2018-04-28 | 2019-10-01 | 电子科技大学 | 一种基于树状路由的sdn物联网流量聚合方法 |
EP3769264A1 (en) * | 2018-05-18 | 2021-01-27 | Deepmind Technologies Limited | Meta-gradient updates for training return functions for reinforcement learning systems |
US10940863B2 (en) * | 2018-11-01 | 2021-03-09 | GM Global Technology Operations LLC | Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle |
CN109803344B (zh) * | 2018-12-28 | 2019-10-11 | 北京邮电大学 | 一种无人机网络拓扑及路由联合构建方法 |
CN110611619B (zh) * | 2019-09-12 | 2020-10-09 | 西安电子科技大学 | 一种基于ddpg强化学习算法的智能化路由决策方法 |
CN110515303B (zh) * | 2019-09-17 | 2022-09-09 | 余姚市浙江大学机器人研究中心 | 一种基于ddqn的自适应动态路径规划方法 |
CN111010294B (zh) * | 2019-11-28 | 2022-07-12 | 国网甘肃省电力公司电力科学研究院 | 一种基于深度强化学习的电力通信网路由方法 |
-
2020
- 2020-07-14 CN CN202010673851.8A patent/CN111917642B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110770761A (zh) * | 2017-07-06 | 2020-02-07 | 华为技术有限公司 | 深度学习***和方法以及使用深度学习的无线网络优化 |
CN111316295A (zh) * | 2017-10-27 | 2020-06-19 | 渊慧科技有限公司 | 使用分布式优先化回放的强化学习 |
CN108803615A (zh) * | 2018-07-03 | 2018-11-13 | 东南大学 | 一种基于深度强化学习的虚拟人未知环境导航算法 |
CN109343341A (zh) * | 2018-11-21 | 2019-02-15 | 北京航天自动控制研究所 | 一种基于深度强化学习的运载火箭垂直回收智能控制方法 |
CN110472738A (zh) * | 2019-08-16 | 2019-11-19 | 北京理工大学 | 一种基于深度强化学习的无人艇实时避障算法 |
CN110472880A (zh) * | 2019-08-20 | 2019-11-19 | 李峰 | 评价合作问题解决能力的方法、装置及存储介质 |
Non-Patent Citations (2)
Title |
---|
Multi-task Deep Reinforcement Learning for Scalable Parallel Task Scheduling;Lingxin Zhang;《2019 IEEE International Conference on Big Data (Big Data)》;20200224;正文第1-10页 * |
名址分离网络中一种新的双层映射***研究;章小宁;《电子与信息学报》;20141030(第36卷第10期);正文第1-7页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111917642A (zh) | 2020-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111917642B (zh) | 分布式深度强化学习的sdn网络智慧路由数据传输方法 | |
CN110611619B (zh) | 一种基于ddpg强化学习算法的智能化路由决策方法 | |
CN112437020B (zh) | 一种基于深度强化学习的数据中心网络负载均衡方法 | |
CN108111335B (zh) | 一种调度和链接虚拟网络功能的方法及*** | |
CN111988225A (zh) | 基于强化学习和迁移学习的多路径路由方法 | |
WO2020172825A1 (zh) | 一种确定传输策略的方法及装置 | |
CN114697229B (zh) | 一种分布式路由规划模型的构建方法及应用 | |
CN116527567B (zh) | 一种基于深度强化学习的智能网络路径优选方法与*** | |
CN113570039B (zh) | 一种基于强化学习的优化共识的区块链*** | |
CN113784410B (zh) | 基于强化学习td3算法的异构无线网络垂直切换方法 | |
CN112631717A (zh) | 基于异步强化学习的网络服务功能链动态部署***及方法 | |
CN114415735B (zh) | 面向动态环境的多无人机分布式智能任务分配方法 | |
CN113821041A (zh) | 一种多机器人协同导航与避障的方法 | |
CN111416774A (zh) | 网络拥塞控制方法、装置、计算机设备及存储介质 | |
CN117041129A (zh) | 一种基于多智能体强化学习的低轨卫星网络流路由方法 | |
CN113469891A (zh) | 一种神经网络架构搜索方法、训练方法、图像补全方法 | |
CN111340192B (zh) | 网络路径分配模型训练方法、路径分配方法、以及装置 | |
CN115225561A (zh) | 一种基于图结构特征的路由优化方法与*** | |
CN115033359A (zh) | 一种基于时延控制的物联代理多任务调度方法和*** | |
CN114707575A (zh) | 一种基于ap聚类的sdn多控制器部署方法 | |
CN114205251B (zh) | 基于时空特征的交换机链路资源预测方法 | |
Fuji et al. | Deep multi-agent reinforcement learning using dnn-weight evolution to optimize supply chain performance | |
CN117014355A (zh) | 一种基于ddpg深度强化学习算法的tssdn动态路由决策方法 | |
CN113887748B (zh) | 在线联邦学习任务分配方法、装置、联邦学习方法及*** | |
CN110852435A (zh) | 一种基于神经进化计算模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210427 |
|
CF01 | Termination of patent right due to non-payment of annual fee |