CN108540384A - 软件定义网络中基于拥塞感知的智能重路由方法和装置 - Google Patents

Abstract

软件定义网络中基于拥塞感知的智能重路由方法和装置，初始化后控制层的网络监测模块定期收集并计算数据层的网络状态，控制层的拥塞检测模块对链路已用负荷比和链路负荷变化率两个指标进行模糊评价，得到当前链路拥塞质量的模糊评价值，根据路径上所有链路的平均拥塞程度，得到本路径的拥塞质量模糊评价值；控制层的拥塞检测模块完成所有备选路径的拥塞质量评价后，路径选择模块与拥塞检测模块均和网络监测模块建立连接，获得路径选择参数，进行数据流传输最优路径选择。本发明为网络中的数据流提供了一种智能的拥塞避免路由选择方法，有效提高网络的性能和用户服务质量体验。

Description

软件定义网络中基于拥塞感知的智能重路由方法和装置

技术领域

本发明涉及通信领域，具体涉及一种软件定义网络中基于拥塞感知的智能重路由方法和装置。

背景技术

随着物联网、移动互联网、云计算网络等新型网络的不断涌现，流媒体数据呈现***式的增长，网络链路拥塞问题日益严重。传统网络的分布式体系结构缺乏对网络资源和全局信息的控制，因此很难对网络资源进行高效的利用。软件定义网络架构打破了传统网络***的设计理念，将集中式的控制面与分布式的数据面相分离，既可以实现控制面的全局优化和集中控制，又可以实现高性能的网络转发能力。软件定义网络架构主要由数据平面、控制平面和应用平面三部分组成。数据平面的设备只具备转发功能，不具备控制功能。控制平面具有底层网络的全局信息和集中控制的能力。应用平面对用户是开放的，用于用户更改网络需求和研究创新。软件定义网络的集中式管控和可编程接口为网络管理带来方便。

近年来，在软件定义网络架构下解决网络拥塞问题已有一些相关的研究。首先，对于网络拥塞评价方面，现有的评价方法有基于交换机端口数据的阈值法和模糊评价法。但却缺乏对数据传输路径的整体拥塞状况评价。其次，基于软件定义网络的拥塞管理机制主要分为终端侧和网络侧两大类。终端侧拥塞管理机制主要是对传统TCP协议的改进，通过对终端发送窗口和接收窗口的调整，暂时缓解链路的拥塞状况，包括SCCP协议，SDTCP协议等。但基于终端侧对网络拥塞调整，网络中大量的其他链路有可能处于空闲状态，网络资源得不到充分利用。网络侧拥塞控制方法主要是对拥塞路径上的数据进行重路由，将拥塞节点处的数据流路由至网络链路利用率较低的路径，缓解网络拥塞状况。包括ECMP路由方法，多备选路径方法和拥塞节点避免选择方法等。重路由方法能够更好的利用网络的资源，但重路由路径的优劣判断是该方法所面临的一个难点。

随着人工智能的发展，现已有研究应用强化学习方法解决网络路由问题。主要包括基于业务QoS的强化学习路由方法。强化学习方法可以根据网络的反馈实时对决策调整，更加智能。

总的来说，从目前的研究来看，网络拥塞管控主要包括以下两个方面的问题亟待解决：

(1)拥塞感知能力

传统的分段链路拥塞判断难以得到数据传输路径的整体拥塞效果，为最优路径选择带来不便。

(2)拥塞恢复机制

传统的网络侧拥塞恢复机制欠缺网络资源优化的考虑。忽略网络状态变化的特点，对于备份路径的选取过于死板，并且没有考虑重路由路径带来网络效果。

发明内容

本发明的目的是提出软件定义网络中基于拥塞感知的智能重路由方法和装置，该方法能够减少网络中的拥塞路径，提高网络的服务质量。

为实现上述目的，本发明采用如下的技术方案：

软件定义网络中基于拥塞感知的智能重路由方法，包括以下步骤：

(1)网络初始化；

(2)网络监测过程：

网络初始化完成后，控制层的网络监测模块定期收集并计算数据层的网络状态，包括：链路已用负荷比链路负荷变化率数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH，数据层的网络状态作为计算网络的路径质量的评价参数；

当数据流传输时，控制层的网络监测模块统计数据层数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH，并将数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH作为备选路径QoS数据，备选路径QoS数据用于数据传输效果的反馈值计算；

(3)拥塞检测过程：

基于模糊***方法，控制层的拥塞检测模块对链路已用负荷比和链路负荷变化率两个指标进行模糊评价，得到当前链路拥塞质量的模糊评价值rank_ij，根据路径上所有链路的平均拥塞程度，得到本路径的拥塞质量模糊评价值rank_i；

(4)路由选择过程：

控制层的拥塞检测模块完成所有备选路径的拥塞质量评价后，路径选择模块与拥塞检测模块均和网络监测模块建立连接，获得路径选择参数，进行数据流传输最优路径选择。

本发明进一步的改进在于，步骤(1)中初始化具体过程如下：用户接入层发送源节点和目的节点间数据流传输请求，控制层与网络中数据层建立连接，然后控制层的路由选择模块根据最短路径算法为数据流计算K条最短路径，作为流传输的备选路径集合，最后，对于新到达的流请求控制层对其选择一条最短路径，并将其下发给数据层进行流传输。

本发明进一步的改进在于，步骤(2)中链路已用负荷比通过式(1)计算：

式(1)中，为t时刻链路已用负荷，为t时刻链路总容量；

链路负荷变化率通过式(2)计算：

式中，为t时刻链路已用负荷，为t-1时刻链路已用负荷。

本发明进一步的改进在于，步骤(3)的具体过程如下：

(3a)控制层的拥塞检测模块与网络监测模块连接，获得路径拥塞质量评价参数：链路已用负荷比和链路负荷变化率

(3b)模糊化：采用链路已用负荷比隶属关系对链路已用负荷比进行模糊评价；采用链路负荷变化率隶属关系对链路负荷变化率进行模糊评价；

(3c)模糊规则表映射：将链路已用负荷比和链路负荷变化率通过模糊规则表进行映射，得到链路拥塞程度RANK_ij；

(3d)解模糊：采用最大程度隶属法对于已定义的模糊输出值链路拥塞程度RANK_ij进行解模糊化，得到链路拥塞质量的评价值rank_ij；

(3e)路径拥塞质量模糊评价：

对于源节点和目的节点间的所有路径p_i∈P进行路径拥塞质量评价，得到路径上所有链路的平均拥塞质量评价值rank_i：

式(3)中，rank_i表示一对源节点和目的节点间路径p_i的拥塞质量评价值，rank_ij(m)表示路径p_i上第m次序经过的链路的拥塞质量评价值，N表示路径p_i上经过的所有链路总数。

本发明进一步的改进在于，步骤(4)的具体过程如下：

(4a)路径选择模块与网络监测模块连接，获得所有备选路径QoS数据：数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH；

(4b)路径选择模块与拥塞检测模块连接，获得所有备选路径的拥塞质量评价值rank_i；

(4c)根据备选路径QoS数据计算网络长期收益值Rwd；

(4d)根据强化学习方法计算源节点到目的节点之间本周期所有备选路径p_i各自的综合质量评价值Q_i(P,p_i)，根据本周期所有备选路径p_i各自的综合质量评价值Q_i(P,p_i)更新备选路径的Q值表；

(4e)根据本周期所有备选路径p_i各自的综合质量评价值Q_i(P,p_i)，路径选择模块确定下一周期所有备选路径p_i被选择的概率π(p_i)，下一周期所有备选路径p_i被选择的概率π(p_i)的计算方法如式(6)所示；

其中，

式(6)和(7)中：

π(p_i)为下一周期所有备选路径p_i被选择的概率，K是每对源节点和目的节点之间的路径总数；τ_n是一个温度参数，该时变参数控制了选择某一路径的随机程度；T表示收敛时间；τ₀和τ_T表示初始温度和时间T的最终温度；

(4f)路径选择模块更新路径，并对数据层进行数据传输流表下发；检测数据流是否传输结束，若没有传输结束则返回步骤(2)，进行新一周期路径质量评价与更新，若传输数据结束，则网络监测结束。

本发明进一步的改进在于，步骤(4c)中网络长期收益值Rwd通过以下公式计算：

Rwd＝ω₁·TH+ω₂/Delay+ω₃/Loss (5)

其中：ω₁，ω₂，ω₃是各评价指标在反馈值中所占的比重。

本发明进一步的改进在于，本周期备选路径综合质量评价值Q_i(P,p_i)通过下式计算：

Q_i(P,p_i)←α×rank_i×{Rwd+γ×max_y∈PQ_i(P,y)}+(1-α)×Q_i(P,p_i) (4)

其中，rank_i是本周期备选路径p_i的拥塞质量评价值，α是学习率，Q_i(P,p_i)是本周期备选路径p_i的综合质量评价值。

一种软件定义网络中基于拥塞感知的智能重路由装置，包括用户接入层、数据层、控制层以及应用层；用户接入层由网络使用用户组成，用于提出数据流传输请求；数据层由交换机和网络链路组成，实现数据流的转发功能；控制层由软件定义网络控制器组成，软件定义网络控制器包括网络监测模块、拥塞检测模块和路由选择模块，网络监测模块用于周期性收集网络中链路状态和网络中各数据传输路径端到端QoS数据，并传输至拥塞检测模块和路由选择模块，拥塞检测模块用于根据网络监测模块收集到的数据对数据可传输路径的拥塞程度进行模糊评价，路由选择模块用于根据拥塞检测模块的路径拥塞状况评价值和网络监测模块的路径QoS数据反馈，采用强化学习方法综合评价备选路径的综合质量，并以备选路径的综合质量为基础进行路由选择；应用层用于用户更改网络需求和研究。

与现有技术相比，本发明具有的有益效果：本发明的路径拥塞评价方法为模糊***，路径选择方法为强化学习方法。以数据层的链路状态为拥塞质量评价参数，控制层的拥塞检测模块进行路径拥塞质量评价；以路径拥塞质量评价值和数据层的路径QoS数据为评价参数，控制层的路径选择模块进行路径的综合质量评价，并基于该综合评价值以一定概率选择最优路径，下发给数据层进行数据流转发。本发明首先，通过引入模糊***评价方法，实现了对网络中数据流传输路径拥塞程度的全面评价，实现了网络对拥塞路径的感知能力，降低了传统的拥塞恢复机制对拥塞检测的依赖程度，可以预感网络中路径拥塞情况的发生，提前做出反应；并在一定程度上提高了网络对拥塞路径感知的灵敏度，从而提高了网络的可靠性。其次，本方法利用数据流传输路径QoS数据作为评价参数，利用强化学习方法评价数据传输路径的综合质量，从而实现了数据流传输路径选择的智能性并且提高了网络的性能和用户服务质量体验。

附图说明

图1为本智能路由选择装置结构图。

图2为本智能路由选择装置整体流程图。

图3为控制层拥塞检测模块流程图。

图4为控制层路由选择模块流程图。

图5为拥塞检测模块链路已用负荷比隶属函数图。

图6为拥塞检测模块链路负荷变化率隶属函数图。

图7为拥塞检测模块链路拥塞质量评价值隶属函数图。

图中，101为应用层，102为控制层，103为数据层，104为用户接入层。

具体实施方式

下面将参考说明书附图并结合实例来详细说明本发明的内容。

本发明的实例中：一、软件定义网络通信环境是必要条件，图1是必要条件的具体体现，图2是图1的数据流处理流程；二、路径拥塞质量评价是本发明的特征之一，图3是路径拥塞质量评价实现的流程，图5、图6与图7是拥塞质量评价过程评价参量的模糊关系；三、路径选择方法是本发明的核心，图4是路径选择方法的流程。

本发明的实现环境分为用户接入层104、数据层103、控制层102以及应用层101。用户接入层104由网络使用用户组成，提出数据流传输请求；数据层103由交换机和网络链路组成，实现数据流的转发功能；控制层102由软件定义网络控制器组成，本发明中软件定义网络控制器主要包括网络监测模块、拥塞检测模块和路由选择模块；应用层101用于用户更改网络需求和研究创新。

网络监测模块，用于周期性收集网络中链路状态和网络中各数据传输路径端到端QoS数据。

拥塞检测模块，用于根据网络监测模块收集到的数据对数据可传输路径的拥塞程度进行模糊评价。

模糊化：基于本发明中的模糊关系对备选路径上所有链路的链路已用负荷比和链路负荷变化率进行模糊评价。

模糊规则映射：基于本发明中的规则表将模糊输入值：链路已用负荷比，链路负荷变化率和模糊输出值：链路拥塞程度进行映射。

解模糊化：基于最大隶属度方法对链路拥塞程度进行解模糊化，得到链路拥塞质量评价值。

备选路径拥塞状况评价：将备选路径上各链路的平均拥塞质量作为备选路径的拥塞质量评价值。

路由选择模块，用于根据拥塞检测模块的路径拥塞质量评价值和网络监测模块的路径QoS反馈数据，应用强化学习方法综合评价备选路径的综合质量。并以该值为基础进行路由选择。

基于网络监测模块的路径QoS反馈值计算路径的长期收益值。

基于备选路径的拥塞质量评价值和路径的长期收益值应用强化学习方法计算得到备选路径的综合质量评价值。

路由选择模块按照已定义公式以一定概率对数据流进行最优路由选择。

本发明的智能拥塞避免路由选择方法在控制层102中实现。图1是本发明实现的必要环境。具体实施过程如下：

(1)网络状态初始化

如图1所示，在网络初始化阶段，用户接入层104发送源节点和目的节点间数据流传输请求，控制层102与网络中数据层103建立连接。接着，控制层102的路由选择模块根据最短路径算法为数据流计算K条最短路径，作为流传输的备选路径集合。最后，对于新到达的流请求控制层102对其选择一条最短路径，并将其下发给数据层103进行流传输。在初始化阶段网络的工作流程和传统网络类似。

(2)网络监测过程

参见图2，当网络初始化阶段完成后，但不同于传统网络的是，开始工作后控制层102的网络监测模块定期收集数据层103的网络状态，包括：链路已用负荷比链路负荷变化率数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH，数据层103的网络状态作为计算网络的路径质量的评价参数。

其中，如果t时刻链路已用负荷比链路负荷变化率根据式(1)和(2)计算。

式(1)中，为t时刻链路已用负荷，为t时刻链路总容量。

如果t时刻链路负荷变化率为：

式中，为t时刻链路已用负荷，为t-1时刻链路已用负荷。

链路负荷变化率描述了当前时刻链路负荷相对于前一时刻链路负荷增加的比率。应当注意的是：链路负荷变化率为正值时，表示当前时刻链路上的负荷呈增加状态；链路上的负荷为负值时表示当前时刻链路上的负荷呈减少状态。链路负荷变化率的绝对值越大，表示链路上的负荷变化越显著。

同时，当数据流传输时，控制层102的网络监测模块统计数据层103数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH，并将该值作为备选路径QoS数据，备选路径QoS数据用于数据传输效果的反馈值计算。

(3)拥塞检测过程

首先在本发明中引入术语“模糊***”，模糊***是指一种模仿人的综合推理对***进行决策管理的方法。

基于模糊***方法，控制层102的拥塞检测模块对链路已用负荷比和链路负荷变化率两个指标进行模糊评价，得到当前链路拥塞质量的模糊评价值rank_ij，根据路径上所有链路的平均拥塞程度可以得到本路径的拥塞质量模糊评价值rank_i。

在数据流传输时，控制层102的拥塞检测模块定期评估源节点和目的节点间所有备选路径的拥塞质量，得到备选路径p_i的拥塞质量评价值rank_i。计算过程如图3所示，具体如下：

(3a)控制层102的拥塞检测模块与网络监测模块连接，获得路径拥塞质量评价参数：链路已用负荷比和链路负荷变化率

(3b)模糊化：参见图5，采用链路已用负荷比隶属关系对链路已用负荷比进行模糊评价；参见图6，采用链路负荷变化率隶属关系对链路负荷变化率进行模糊评价。

(3c)模糊规则表映射：参见表1，采用“如果…那么…”规则定义模糊规则表，例如，模糊规则表中的第一条“如果…那么…”规则定义如下：

如果链路已用负荷比的模糊评价值是低，链路负荷变化率的模糊评价值是负大，那么链路拥塞程度RANK_ij的模糊评价值是完美。

模糊规则表中共定义15条规则表示不同网络环境下链路拥塞程度的评价情况，详见表1。

将模糊输入变量链路已用负荷比和链路负荷变化率通过模糊规则表进行映射，得到模糊输出值链路拥塞程度RANK_ij。

表1拥塞检测模块模糊规则表

(3d)解模糊：参见图7，采用最大程度隶属法对于已定义的模糊输出变量链路拥塞程度RANK_ij进行解模糊化，得到链路拥塞质量的评价值rank_ij。

(3e)路径拥塞质量模糊评价：

对于源节点和目的节点间的所有路径p_i∈P进行路径拥塞质量评价。这里采用路径上所有链路的平均拥塞质量评价值rank_i作为路径的拥塞质量评价值，其计算方法如式(3)所示。

式(3)中，rank_i表示一对源节点和目的节点间路径p_i的拥塞质量评价值，rank_ij(m)表示路径p_i上第m次序经过的链路的拥塞质量评价值，N表示路径p_i上经过的所有链路总数。

(4)路由选择过程

控制层102拥塞检测模块完成所有备选路径的拥塞质量评价后，路径选择模块与拥塞检测模块和网络监测模块建立连接，获得路径选择参数，进行数据流传输最优路径选择。路径选择模块实现过程如图4所示，具体如下：

(4a)路径选择模块与网络监测模块连接，获得所有备选路径QoS数据：数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH。

(4b)路径选择模块与拥塞检测模块连接，获得所有备选路径的拥塞质量评价值rank_i。

(4c)根据备选路径QoS数据计算网络长期收益值Rwd，计算方法如式(5)所示。

(4d)以强化学习方法为计算模型，根据强化学习方法计算对源节点到目的节点之间的本周期所有备选路径p_i各自的综合质量评价值Q_i(P,p_i)，计算方法如式(4)所示。

Q_i(P,p_i)←α×rank_i×{Rwd+γ×max_y∈PQ_i(P,y)}+(1-α) (4)

×Q_i(P,p_i)

其中，

Rwd＝ω₁·TH+ω₂/Delay+ω₃/Loss (5)

式(4)(5)中：

Rwd是前一时刻选择本路径p_i后带来的网络路径长期收益值，ω₁，ω₂，ω₃是各评价指标在反馈值中所占的比重；rank_i是本周期备选路径p_i的拥塞质量评价值，α是学习率，Q_i(P,p_i)是本周期备选路径p_i的综合质量评价值。

(4e)路径选择模块根据本周期所有备选路径p_i各自的综合质量评价值Q_i(P,p_i)更新备选路径的Q值表。

(4f)根据根据本周期所有备选路径p_i各自的综合质量评价值Q_i(P,p_i)，路径选择模块确定下一周期所有备选路径p_i被选择的概率π(p_i)，下一周期所有备选路径p_i被选择的概率π(p_i)的计算方法如式(6)所示。

其中，

式(6)和(7)中：

π(p_i)为下一周期所有备选路径p_i被选择的概率，K是每对源节点和目的节点之间的路径总数；τ_n是一个温度参数，该时变参数控制了选择某一路径的随机程度；T表示收敛时间；τ₀和τ_T表示初始温度和时间T的最终温度。

在训练最初时τ_n较大，实现对备选路径的较优探索；而在网络环境趋于稳定时，该值较小，实现最优收敛。

(4g)路径选择模块更新路径，并对数据层103进行数据传输流表下发。

检测数据流是否传输结束，若没有传输结束则返回步骤(2)，进行新一周期路径质量评价与更新，若传输数据结束，则网络监测结束。

本发明中软件定义网络控制器包含三个模块，网络监测模块，拥塞检测模块和路由选择模块，各模块都在控制器中实现。网络监测模块周期性的收集网络链路状态和路径端到端QoS数据。基于模糊***方法，拥塞检测模块应用该数据对网络中每对源节点和目的节点之间所有备选路径的拥塞状况进行模糊评价，得到备选路径当前拥塞质量评价值。基于路径当前拥塞质量评价值，路径的QoS反馈数据，路由选择模块应用强化学习方法计算得到备选路径的综合评价值，并以该值为基础为数据流选择最优路由。本发明为网络中的数据流提供了一种智能的拥塞避免路由选择方法，有效提高网络的性能和用户服务质量体验。

通过以上对实施例的具体描述，本发明的基于软件定义网络的智能拥塞避免路径选择方法及装置，本领域专业技术人员可清楚了解到从模型上可达到对网络状态的获取，对网络拥塞发生避免的效果；同时，本发明的软件定义网络中拥塞避免的路径选择装置提供了对软件定义网络路径计算方法的支持，包含了数据层网络状态的获取、数据层数据传输路径的拥塞程度评价和数据流传输最优路径的选择。

以上实施方式为本发明的优选实例，本发明并不限于本实施例，也包含特征范围内的子发明及其方法、思想和精神。对于本发明及其主要特征和思想，以及子发明的主要特征和思想均应在保护范围之内。

Claims (8)

1.软件定义网络中基于拥塞感知的智能重路由方法，其特征在于，包括以下步骤：

(1)网络初始化；

(2)网络监测过程：

网络初始化完成后，控制层(102)的网络监测模块定期收集并计算数据层(103)的网络状态，包括：链路已用负荷比链路负荷变化率数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH，数据层(103)的网络状态作为计算网络的路径质量的评价参数；

当数据流传输时，控制层(102)的网络监测模块统计数据层(103)数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH，并将数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH作为备选路径QoS数据，备选路径QoS数据用于数据传输效果的反馈值计算；

(3)拥塞检测过程：

基于模糊***方法，控制层(102)的拥塞检测模块对链路已用负荷比和链路负荷变化率两个指标进行模糊评价，得到当前链路拥塞质量的模糊评价值rank_ij，根据路径上所有链路的平均拥塞程度，得到本路径的拥塞质量模糊评价值rank_i；

(4)路由选择过程：

控制层(102)的拥塞检测模块完成所有备选路径的拥塞质量评价后，路径选择模块与拥塞检测模块均和网络监测模块建立连接，获得路径选择参数，进行数据流传输最优路径选择。

2.根据权利要求1所述的软件定义网络中基于拥塞感知的智能重路由方法，其特征在于，步骤(1)中初始化具体过程如下：用户接入层(104)发送源节点和目的节点间数据流传输请求，控制层(102)与网络中数据层(103)建立连接，然后控制层(102)的路由选择模块根据最短路径算法为数据流计算K条最短路径，作为流传输的备选路径集合，最后，对于新到达的流请求控制层(102)对其选择一条最短路径，并将其下发给数据层(103)进行流传输。

3.根据权利要求1所述的软件定义网络中基于拥塞感知的智能重路由方法，其特征在于，步骤(2)中链路已用负荷比通过式(1)计算：

式(1)中，为t时刻链路已用负荷，为t时刻链路总容量；

链路负荷变化率通过式(2)计算：

式中，为t时刻链路已用负荷，为t-1时刻链路已用负荷。

4.根据权利要求1所述的软件定义网络中基于拥塞感知的智能重路由方法，其特征在于，步骤(3)的具体过程如下：

(3a)控制层(102)的拥塞检测模块与网络监测模块连接，获得路径拥塞质量评价参数：链路已用负荷比和链路负荷变化率

(3b)模糊化：采用链路已用负荷比隶属关系对链路已用负荷比进行模糊评价；采用链路负荷变化率隶属关系对链路负荷变化率进行模糊评价；

(3c)模糊规则表映射：将链路已用负荷比和链路负荷变化率通过模糊规则表进行映射，得到链路拥塞程度RANK_ij；

(3d)解模糊：采用最大程度隶属法对于已定义的模糊输出值链路拥塞程度RANK_ij进行解模糊化，得到链路拥塞质量的评价值rank_ij；

(3e)路径拥塞质量模糊评价：

对于源节点和目的节点间的所有路径p_i∈P进行路径拥塞质量评价，得到路径上所有链路的平均拥塞质量评价值rank_i：

式(3)中，rank_i表示一对源节点和目的节点间路径p_i的拥塞质量评价值，rank_ij(m)表示路径p_i上第m次序经过的链路的拥塞质量评价值，N表示路径p_i上经过的所有链路总数。

5.根据权利要求1所述的软件定义网络中基于拥塞感知的智能重路由方法，其特征在于，步骤(4)的具体过程如下：

(4a)路径选择模块与网络监测模块连接，获得所有备选路径QoS数据：数据传输路径端到端的时延Delay、路径的丢包率Loss和路径的吞吐量TH；

(4b)路径选择模块与拥塞检测模块连接，获得所有备选路径的拥塞质量评价值rank_i；

(4c)根据备选路径QoS数据计算网络长期收益值Rwd；

(4d)根据强化学习方法计算源节点到目的节点之间本周期所有备选路径p_i各自的综合质量评价值Q_i(P,p_i)，根据本周期所有备选路径p_i各自的综合质量评价值Q_i(P,p_i)更新备选路径的Q值表；

(4e)根据本周期所有备选路径p_i各自的综合质量评价值Q_i(P,p_i)，路径选择模块确定下一周期所有备选路径p_i被选择的概率π(p_i)，下一周期所有备选路径p_i被选择的概率π(p_i)的计算方法如式(6)所示；

其中，

式(6)和(7)中：

π(p_i)为下一周期所有备选路径p_i被选择的概率，K是每对源节点和目的节点之间的路径总数；τ_n是一个温度参数，该时变参数控制了选择某一路径的随机程度；T表示收敛时间；τ₀和τ_T表示初始温度和时间T的最终温度；

(4f)路径选择模块更新路径，并对数据层(103)进行数据传输流表下发；检测数据流是否传输结束，若没有传输结束则返回步骤(2)，进行新一周期路径质量评价与更新，若传输数据结束，则网络监测结束。

6.根据权利要求5所述的软件定义网络中基于拥塞感知的智能重路由方法，其特征在于，步骤(4c)中网络长期收益值Rwd通过以下公式计算：

Rwd＝ω₁·TH+ω₂/Delay+ω₃/Loss (5)

其中：ω₁，ω₂，ω₃是各评价指标在反馈值中所占的比重。

7.根据权利要求6所述的软件定义网络中基于拥塞感知的智能重路由方法，其特征在于，本周期备选路径综合质量评价值Q_i(P,p_i)通过下式计算：

Q_i(P,p_i)←α×rank_i×{Rwd+γ×max_y∈PQ_i(P,y)}+(1-α)×Q_i(P,p_i) (4)

其中，rank_i是本周期备选路径p_i的拥塞质量评价值，α是学习率，Q_i(P,p_i)是本周期备选路径p_i的综合质量评价值。

8.权利要求1所述软件定义网络中基于拥塞感知的智能重路由方法采用的装置，其特征在于，包括用户接入层(104)、数据层(103)、控制层(102)以及应用层(101)；用户接入层(104)由网络使用用户组成，用于提出数据流传输请求；数据层(103)由交换机和网络链路组成，实现数据流的转发功能；控制层(102)由软件定义网络控制器组成，软件定义网络控制器包括网络监测模块、拥塞检测模块和路由选择模块，网络监测模块用于周期性收集网络中链路状态和网络中各数据传输路径端到端QoS数据，并传输至拥塞检测模块和路由选择模块，拥塞检测模块用于根据网络监测模块收集到的数据对数据可传输路径的拥塞程度进行模糊评价，路由选择模块用于根据拥塞检测模块的路径拥塞状况评价值和网络监测模块的路径QoS数据反馈，采用强化学习方法综合评价备选路径的综合质量，并以备选路径的综合质量为基础进行路由选择；应用层(101)用于用户更改网络需求和研究。