CN111404815B - 一种基于深度学习的有约束路由选择方法 - Google Patents
一种基于深度学习的有约束路由选择方法 Download PDFInfo
- Publication number
- CN111404815B CN111404815B CN202010151257.2A CN202010151257A CN111404815B CN 111404815 B CN111404815 B CN 111404815B CN 202010151257 A CN202010151257 A CN 202010151257A CN 111404815 B CN111404815 B CN 111404815B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- routing
- learning model
- constraint
- tensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/08—Learning-based routing, e.g. using neural networks or artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/123—Evaluation of link metrics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于深度学习的路由选择方法,可用于不同应用下的智能流量控制场景。该方法结合了拉格朗日乘数法解决约束问题的优点和深度学习方法优秀的多维特征学习能力。相较于已有方法,本发明提供的路由服务不仅能学习复杂的多特征模式以适应多特征控制需求,还可以学习差异化的约束条件以满足用户的性能约束需求,更加适合为万物互联的下一代网络提供高质量的路由服务。
Description
技术领域
本发明适用于网络中有约束条件的路由选择问题,具体涉及到一种基于深度学习的有约束路由选择方法。
背景技术
近年来,随着互联网和通信技术的飞速发展,网络呈现出愈加复杂化和异构化的趋势。卫星网络,5G网络以及云环境中传输的大量数据在为人们的生活提供便利的同时也引入了多样化的特性,考虑单个特性的路由方法很难适应网络发展的需求。另外,车联网,增强现实(AR)和各种移动终端服务等应用的出现也带来了更多差异化的性能约束需求。例如,云游戏中用户的高延时感知会恶化玩家的互动并降低用户的体验;无人驾驶汽车在遇到危险情况时需要在规定的时间内做出紧急制动响应;不同的应用如AR交互或者视频呼叫在传输带宽和丢包率等性能指标上通常具有不同的需求等等。不能考虑性能约束的路由方法很难解决差异化的用户服务问题。
现有的路由选择方法可以分为两类:一类是无约束路由方法,另一类是有约束路由方法。常见的无约束路由方法主要基于单一度量值,它们旨在从一个方面提高网络的质量,例如SPF,OSPF算法仅使用最短路径特征来计算源路由器和目标路由器之间的路由路径。单一度量值虽然简单有效,但无法应对日益复杂的网络流量场景。随着硬件设备计算能力的显著提升和软件定义网络(SDN)的出现,研究人员开始思考如何考虑多种度量值以更好的应对下一代网络带来的挑战。深度学习是机器学习技术的一种新兴形式,已广泛应用于各个领域。通过使用示例数据进行训练,可以利用该技术有效地分析多个输入之间的复杂关系。当我们输入必要的信息时,已训练的深度学习***可以按照期望预测某些参数的值。与传统的路由方法相比,基于深度学习的路由方法可以学习多维特征,且在多个性能指标上有着优秀的表现。尽管如此,目前几乎所有基于深度学习的路由方法都可以视为无约束路由方法,因此在复杂网络中很难满足差异化的性能约束需求。在有约束的路由方法中,增加延迟约束可以解决实时传输和网络拥塞问题,增加成本约束则可以解决用户的差异化成本需求问题等等。但是,传统的约束路由方法在考虑约束时通常仅考虑单个特征(度量值)。因此,如何在下一代网络中既考虑用户的约束需求又考虑多个路由度量特征是当前亟需解决的一个重要问题。
发明内容
为了解决现有技术存在的问题,本发明提出一种基于深度学习的有约束路由选择方法,它包括以下步骤:
步骤1,多特征有约束路由问题的建模,根据拉格朗日乘数法将具有多特征和约束的QoS路由问题转换为公式(1)所示;
其中,P代表从源路由器(s)到目的路由器(t)之间存在的可达路径集,p代表所选路径,cm(p)代表所选路径中考虑多个特征构成的多特征函数,是cm(p)的度量值,λ是拉格朗日乘子,用于表示约束的加权因子,d(p)是通过路径需要的总时延,Δd是约束时延;
步骤3,根据输入数据的形式选择合适的深度学习模型,将带标签的数据输入到深度学习模型中进行训练,经过多次迭代后完成模型训练;
步骤4,根据步骤3训练好的深度学习模型,得到最佳拉格朗日乘子λ,
步骤5,将最佳λ代入步骤1中的公式(1)中,得到最佳路由。
x,y分别表示X,Y中的一个具体的张量,i,j分别代表张量x和y对应的维度变量,定义度量矩阵G′中的元素gij′如公式(3)所示,δ代表正则化参数,
进一步的,所述正指标包括带宽,剩余缓冲区大小,负指标包括成本。
进一步的,步骤2中选取的深度学习模型为长短期记忆网络LSTM模型。
进一步的,步骤3的训练过程包括前向传播和反向传播,其中,反向传播中采用具有精确误差梯度的时间算法对网络进行训练。
与现有技术相比,本发明具有如下优点和有益效果:本发明提出了一种基于深度学习的有约束路由选择方法。该方法结合了拉格朗日乘数法解决有约束问题的优势以及深度学习方法对多特征模式的优秀学习能力,能学习多维特征的同时保证性能约束需求,为用户提供更加智能化和个性化的路由服务。与传统有约束路由方法相比,本发明方法不需由人工手动设置特征模型,可以自动地从多维数据中智能地学习复杂特征模式;与现有基于深度学习的方法相比,本发明可以学习用户差异化的约束条件,以满足不同应用和用户对路由服务的性能约束需求,对于具有复杂特征模式和多类型接入应用的下一代网络场景将更加的适用。
附图说明
图1是本发明实施例的多特征有约束路由方法的总体示意图。
图2是有约束的路由任务的平均延迟。
具体实现方式
如图1所示,我们以常见的延时约束下QoS(服务质量)任务为例进行说明,一种基于深度学习的有约束路由选择方法,包括如下步骤:
步骤1:多特征有约束路由问题的建模,包括模型,映射关系和度量规则的构建。
我们首先根据拉格朗日乘数法将多特征有约束(例如延迟约束)的QoS路由问题转换为公式(1)所示。
其中,P代表从源路由器(s)到目的路由器(t)之间存在的可达路径集,p代表所选路径,cm(p)代表所选路径中考虑多个特征构成的多特征函数,是cm(p)的度量值,λ是拉格朗日乘子,用于表示约束的加权因子,d(p)是通过路径需要的总时延,Δd是约束时延。
我们根据TDBA[1]的方法学习多特征,该方法可以找到多个特征下的最佳路由路径,但它不能考虑用户的约束条件。我们以该路径的多特征作为参考参量,将每个张量映射到标量空间中。由于映射过程不仅需要测量多特征张量之间的距离,而且还要考虑路由任务的特殊性,因此,我们提出了一种新的度量标准。具体来说,对于2个N-维张量和IN代表张量的N个维度,X,Y分别代表2类不同的张量。(x,y分别表示X,Y中的一个具体的张量),的计算方法如公式(2)所示。
我们定义度量矩阵G′中的元素gij′,δ代表正则化参数,如公式(3)所示。
为了清楚起见,我们将具有值越大性能越好的指标定义为正指标,反之,定义为负指标。其中“正指标”参数,包括带宽,剩余缓冲区大小等等。“负指标”参数,例如成本。
[1]Mao B,Fadlullah Z M,Tang F,et al.A tensor based deep learningtechnique for intelligent packet routing[C]//GLOBECOM 2017-2017IEEE GlobalCommunications Conference.IEEE,2017:1-6.
步骤2:构建多特征有约束路由任务中深度学习的输入和输出。
通过步骤1的计算我们可以得到接下来,相应的路径时延d和时延约束Δd被引入以构建输入模式中的约束因子。结合和d-Δd,我们可以得到多特征有约束路由任务的输入,即是深度学习模型的输入其中np是源路由器到目的路由器所有路径的总数。深度学习的输出是公式(1)中的拉格朗日乘数λ。
步骤3:根据输入数据的形式选择LSTM模型作为使用的深度学习模型,使用带标签的数据输入到LSTM模型中进行训练,经过多次迭代后完成模型训练。
在实现具有多特征有约束的输入和输出之后,现在我们需要一个模型来学习它们之间的复杂关系并获得所需的路由结果。由于网络流量参数的可预测性,主要取决于它们的统计特性以及它们在时间顺序值之间很强的相关性。当按顺序排列包含流量参数特征的输入时,应该存在相同的关联。所以我们使用处理序列数据的深度学习方法来学习包含序列关系的输入。递归神经网络(RNN)是一种常用的处理序列数据的神经网络。但是,长时间的流量数据收集或着庞大的网络规模会使得送入RNN结构中的序列长度越来越长。传统的RNN在处理过长的序列数据时不可避免地会产生梯度***或梯度消失的问题。长短期记忆网络(LSTM)模型是对传统RNN模型的改进。它可以在有效解决梯度消失和梯度***问题的同时捕获信息的长期依赖关系,非常适合于多特征有约束路由任务中输入特征的学习。
本发明实施例中所用的LSTM的架构主要由称为“记忆块”的结构组成。记忆块包含具有自连接的存储单元,储存单元的作用分为两个部分,一部分用于存储网络的时间状态,另一部分用于控制信息流的传递。我们将控制信息流传递的部分称为“门结构”,它是一种特殊的乘法单元。每个记忆块包含一个输入门,一个输出门和一个遗忘门。输入门控制输入激活向储存单元的流动,输出门控制单元激活向网络的其余部分输出的流动,而遗忘门可对单元的内部状态进行缩放,然后再通过自循环连接将其添加回单元中作为输入,从而自适应地忘记或重置单元记忆。和d-Δd作为LSTM记忆块的输入,λ是记忆块的输出。
训练过程主要包括前向传播和反向传播。在反向传播算法中,我们采用具有精确误差梯度的时间算法对网络进行训练,直到λ能被准确的预测出。之后,将预测的λ代入式(1),可准确得到具有多个特征和约束的最优路由路径。
步骤4:根据步骤3中训练好的LSTM模型,可以得到最佳拉格朗日乘子λ。
在经过多次的迭代后,步骤3中的精确误差梯度的反向传播训练算法可以将深度学习模型训练完成,并得到LSTM模型预测的拉格朗日乘子λ。
步骤5:将最佳λ代入步骤1中的模型,得到最佳路由。
将拉格朗日乘子λ代入公式(1)中计算后,即可得到多特征有约束下的最优路由路径。
图2中给出了已有深度学***均延迟表现。可以看出,使用我们的方法所选择的路由路径的平均时延都满足用户的时延约束要求,而已有深度学习方法则无法做到。从中可见,相比于已有深度学习方法,我们的方法可以考虑根据不同应用的约束要求自动调整解决方案以满足用户的性能约束需求,更加适合于应用需求多样化的下一代网络应用场景。
以上内容是结合最佳实施方案对本发明所做的进一步详细说明,不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解,在不脱离由所附权利要求书限定的情况下,可以在细节上进行各种修改,都应当视为属于本发明的保护范围。
Claims (4)
1.一种基于深度学习的有约束路由选择方法,其特征在于,包括以下步骤:
步骤1,多特征有约束路由问题的建模,根据拉格朗日乘数法将具有多特征和约束的QoS路由问题转换为公式(1)所示;
其中,P代表从源路由器(s)到目的路由器(t)之间存在的可达路径集,p代表所选路径,cm(p)代表所选路径中考虑多个特征构成的多特征函数,是cm(p)的度量值,λ是拉格朗日乘子,用于表示约束的加权因子,d(p)是通过路径需要的总时延,Δd是约束时延;
x,y分别表示X,Y中的一个具体的张量,i,j分别代表张量x和y对应的维度变量,定义度量矩阵G′中的元素gij′如公式(3)所示,δ代表正则化参数,
步骤3,根据输入数据的形式选择合适的深度学习模型,将带标签的数据输入到深度学习模型中进行训练,经过多次迭代后完成模型训练;
步骤4,根据步骤3训练好的深度学习模型,得到最佳拉格朗日乘子λ,
步骤5,将最佳λ代入步骤1中的公式(1)中,得到最佳路由。
2.如权利要求1所述的一种基于深度学习的有约束路由选择方法,其特征在于:所述正指标包括带宽,剩余缓冲区大小,负指标包括成本。
3.如权利要求1所述的一种基于深度学习的有约束路由选择方法,其特征在于:步骤2中选取的深度学习模型为长短期记忆网络LSTM模型。
4.如权利要求1所述的一种基于深度学习的有约束路由选择方法,其特征在于:步骤3的训练过程包括前向传播和反向传播,其中,反向传播中采用具有精确误差梯度的时间算法对网络进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010151257.2A CN111404815B (zh) | 2020-03-06 | 2020-03-06 | 一种基于深度学习的有约束路由选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010151257.2A CN111404815B (zh) | 2020-03-06 | 2020-03-06 | 一种基于深度学习的有约束路由选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111404815A CN111404815A (zh) | 2020-07-10 |
CN111404815B true CN111404815B (zh) | 2021-03-16 |
Family
ID=71413237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010151257.2A Active CN111404815B (zh) | 2020-03-06 | 2020-03-06 | 一种基于深度学习的有约束路由选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111404815B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113177636A (zh) * | 2021-05-08 | 2021-07-27 | 中国电子科技集团公司第二十九研究所 | 一种基于多约束条件的网络动态路由方法及*** |
CN113452629B (zh) * | 2021-07-15 | 2022-06-14 | 深圳市高德信通信股份有限公司 | 一种路由交换*** |
CN114710433B (zh) * | 2021-12-03 | 2024-07-05 | 航天科工网络信息发展有限公司 | 一种智能路由方法、装置及网络设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102137026A (zh) * | 2011-04-29 | 2011-07-27 | 东北大学 | 一种wdm光网络中的多约束多播路由方法 |
JP2012175587A (ja) * | 2011-02-23 | 2012-09-10 | Ntt Docomo Inc | 移動通信システム、ルーティング機能を担うノード、キャッシュ制御方法 |
CN105393516A (zh) * | 2013-07-16 | 2016-03-09 | 思科技术公司 | 在自适应流送中用缓冲器和范围约束来进行质量优化 |
CN109951392A (zh) * | 2019-01-31 | 2019-06-28 | 武汉大学 | 一种基于深度学习的中大型网络智能路由选择方法 |
CN110149646A (zh) * | 2019-04-10 | 2019-08-20 | 中国电力科学研究院有限公司 | 一种基于时延和吞吐量的智能电网资源管理方法及*** |
CN110275758A (zh) * | 2019-05-09 | 2019-09-24 | 重庆邮电大学 | 一种虚拟网络功能智能迁移方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7020086B2 (en) * | 2000-07-03 | 2006-03-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Lagrange quality of service routing |
CN107343303B (zh) * | 2017-07-10 | 2019-11-01 | 东北大学 | 无线Mesh网络中基于对偶分解的路由优化方法 |
US10603593B2 (en) * | 2018-03-21 | 2020-03-31 | Valve Corporation | Automatically reducing use of cheat software in an online game environment |
CN108419282A (zh) * | 2018-04-04 | 2018-08-17 | 浙江理工大学 | 一种适用于机器人传感网的多约束QoS路由方法 |
CN108900413B (zh) * | 2018-06-05 | 2020-10-02 | 北京邮电大学 | 一种路由路径选择方法、装置、电子设备及存储介质 |
-
2020
- 2020-03-06 CN CN202010151257.2A patent/CN111404815B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012175587A (ja) * | 2011-02-23 | 2012-09-10 | Ntt Docomo Inc | 移動通信システム、ルーティング機能を担うノード、キャッシュ制御方法 |
CN102137026A (zh) * | 2011-04-29 | 2011-07-27 | 东北大学 | 一种wdm光网络中的多约束多播路由方法 |
CN105393516A (zh) * | 2013-07-16 | 2016-03-09 | 思科技术公司 | 在自适应流送中用缓冲器和范围约束来进行质量优化 |
CN109951392A (zh) * | 2019-01-31 | 2019-06-28 | 武汉大学 | 一种基于深度学习的中大型网络智能路由选择方法 |
CN110149646A (zh) * | 2019-04-10 | 2019-08-20 | 中国电力科学研究院有限公司 | 一种基于时延和吞吐量的智能电网资源管理方法及*** |
CN110275758A (zh) * | 2019-05-09 | 2019-09-24 | 重庆邮电大学 | 一种虚拟网络功能智能迁移方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111404815A (zh) | 2020-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111404815B (zh) | 一种基于深度学习的有约束路由选择方法 | |
Liu et al. | A new queueing model for QoS analysis of IEEE 802.11 DCF with finite buffer and load | |
CN112202672B (zh) | 一种基于业务服务质量需求的网络路由转发方法和*** | |
CN114286413B (zh) | Tsn网络联合路由选择与流分配方法及相关设备 | |
Wu et al. | Multi-agent DRL for joint completion delay and energy consumption with queuing theory in MEC-based IIoT | |
CN114124823B (zh) | 面向高动态网络拓扑下的自适应路由方法、***、设备 | |
CN113435472A (zh) | 车载算力网络用户需求预测方法、***、设备、介质 | |
Wang et al. | A multitask learning-based network traffic prediction approach for SDN-enabled industrial Internet of Things | |
CN113727306B (zh) | 一种基于深度强化学习的解耦c-v2x网络切片方法 | |
Wang et al. | A reinforcement learning approach for online service tree placement in edge computing | |
CN115333958A (zh) | 软件定义网络性能预测方法、装置、电子设备及存储介质 | |
Liang et al. | DNN surgery: Accelerating DNN inference on the edge through layer partitioning | |
CN114422453A (zh) | 一种在线规划时间敏感流的方法、装置及存储介质 | |
Liu et al. | Scalable deep reinforcement learning-based online routing for multi-type service requirements | |
Aït-Salaht et al. | Stochastic bounds and histograms for network performance analysis | |
Ren et al. | End-to-end network SLA quality assurance for C-RAN: a closed-loop management method based on digital twin network | |
Ferriol-Galmés et al. | FlowDT: a flow-aware digital twin for computer networks | |
Meng et al. | Intelligent routing orchestration for ultra-low latency transport networks | |
CN116545871A (zh) | 一种多模态网络流量预测方法、装置、介质 | |
CN116847425A (zh) | 一种基于高维数据联合优化的多资源路由优化方法 | |
Alpcan et al. | An information analysis of iterative algorithms for network utility maximization and strategic games | |
Wang et al. | Prediction of network traffic through light-weight machine learning | |
Qin et al. | MCRA: multicost rerouting algorithm in SDN | |
Yang et al. | Knowledge-defined edge computing networks assisted long-term optimization of computation offloading and resource allocation strategy | |
Zhang et al. | Network traffic classification method based on subspace triple attention mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |