CN107889195A - 一种区分业务的自学习异构无线网络接入选择方法 - Google Patents
一种区分业务的自学习异构无线网络接入选择方法 Download PDFInfo
- Publication number
- CN107889195A CN107889195A CN201711133779.4A CN201711133779A CN107889195A CN 107889195 A CN107889195 A CN 107889195A CN 201711133779 A CN201711133779 A CN 201711133779A CN 107889195 A CN107889195 A CN 107889195A
- Authority
- CN
- China
- Prior art keywords
- network
- access
- service
- value
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000010606 normalization Methods 0.000 claims description 21
- 238000003780 insertion Methods 0.000 claims description 10
- 230000037431 insertion Effects 0.000 claims description 10
- 230000000087 stabilizing effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000017105 transposition Effects 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 8
- 238000004891 communication Methods 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 4
- 235000013399 edible fruits Nutrition 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W48/00—Access restriction; Network selection; Access point selection
- H04W48/18—Selecting a network or a communication service
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种区分业务的自学习异构无线网络接入选择方法,属于无线网络接入选择技术领域。当移动终端业务到来时,本发明通过接入选择管理器为终端业务接入一个合适的无线网络,不仅能够满足终端的各类业务需求,该方法综合考虑网络服务质量和用户体验,针对不同类型的业务采用不同的接入选择准则,通过***模型的自学习机制,在不中断通信的情况下反映网络状态信息的动态变化,及时调整接入选择。
Description
技术领域
本发明属于无线网络接入选择技术领域,特别涉及一种区分业务的自学习异构无线网络接入选择方法。
背景技术
随着无线网络技术多元化趋势日益明显,各类无线网络协作互补所构成的异构无线网络,尤其是3G/4G蜂窝移动通信网络、IEEE802系列的无线局域网和无线城域网等构成的异构无线网络,已经成为无线网络发展融合的必然趋势。合适的接入选择方法是实现异构无线网络资源管理、提升网络容量与用户体验的关键。
现有异构无线网络接入选择方法存在以下问题:网络业务发展趋于多样化,用户个性化需求越来越突出,由此产生的不同类型业务需求也日益明显;现有接入选择方法法多侧重采用QoS作为网络选择标准,强调整体网络性能,忽略了不同用户的具体需求,虽然一般实现了整体网络性能的最优,但不能保证具体用户的体验;网络状态信息的可用性和动态变化未得到充分考虑,传统方法都是对最优网络的一次接入,一旦接入整个业务持续时长内保持接入,实际上并不能保证整个业务持续时长内接入的均为最优网络。
近年来,国内外学者在异构无线网络接入选择问题方面进行了深入的研究与尝试。文献(Q.Song,A.Jamalipour.Network selection in an integrated wireless LANand UMTS environment using mathematical modeling and computing techniques[J].IEEE Wireless Communications,2005,12(3):42-48.)提出的基于层次分析法的灰度关联接入选择算法中,采用典型的多属性决策方法确定业务属性的权重,通过拟合业务权重与网络属性的关联度选取最优接入网络,该方法综合考虑了多种业务属性,同时也区别不同类型的业务设定了针对性的选择标准,但其存在只针对当前网络状态一次决策的缺陷,不能对保证业务始终接入最优网络。文献(C.Sun,E.Stevens-Navarro,V.Shah-Mansouri,et al.A constrained MDP-based vertical handoff decision algorithm for 4Gheterogeneous wireless networks[J].Wireless Networks,2011,57(4):1243-1254.)将其它接入选择的目标作为当前决策目标的约束条件,实现所有当前目标的连续决策,采用值迭代算法实现最大化总回报的网络,即最优网络的选取,该方法实现了最优网络的连续决策,不中断通信的前提下动态感知网络状态变化,通过总回报进行接入反馈,但其缺点是回报函数定义只侧重网络端的Qos属性参数,不能反映用户体验质量。
发明内容
本发明的发明目的在于:针对上述存在的问题,提供一种区分业务的自学习异构无线网络接入选择方法,当移动终端业务到来时,为终端业务接入一个合适的无线网络,不仅能够满足终端的各类业务需求,该方法综合考虑网络服务质量和用户体验,针对不同类型的业务采用不同的接入选择准则,通过***模型的自学习机制,在不中断通信的情况下反映网络状态信息的动态变化,及时调整接入选择。
本发明的一种区分业务的自学习异构无线网络接入选择方法,包括下列步骤:
步骤1:设置各无线接入点节点信息,并发送给接入选择管理器,所述节点信息包括:网络服务质量属性参数(如带宽、时延、抖动和丢包率等)的上下门限、可捕获的终端的移动速度上下门限和网络接入成本;
步骤2:无线接入点收到来自终端的终端业务请求后,将所述终端业务请求和所述无线接入节点下的当前网络的服务质量参数一同发送给接入选择处理器;
所述终端业务请求包括:终端的可用网络集合(用Ap表示)、终端的移动速度、业务类型(如会话类、流类、交互类和背景类等),其中***网络集合A={1,2,...,M},M为***网络数。
步骤3:接入选择处理器按接收顺序对收到的终端业务请求进行最优网络选择,确定当前最优稳定网络策略:
301:确定当前决策最优网络:
为当前终端业务请求中的业务类型选择当前最优接入网络:若对应业务类型的已处理数量Ts(i)小于***的网络总数M,则顺序接入当前终端业务请求至终端的可用网络集合中未接入过的网络;否则分别根据公式计算当前决策时,终端的可用网络集合中各网络被选中概率pm(i),取pm(i)最大的网络作为当前终端业务请求的接入网络;其中m为网络标识符,i为当前决策次数,s为业务类型标识符,表示上一决策时将业务类型为s的终端业务请求接入网络m的回报均值,其中首次决策时,上一决策时的回报均值为预设值,e为自然底数,T为表示预置的温度系数,利用T可以实现探索与利用的权衡,T越小,各个臂被选中的概率的差别就越大,T越大,各个臂被选中的概率越趋向于相同;
302:确定当前最优稳定网络策略:
基于当前业务类型s所对应的最优接入网络,在接入策略集中匹配对应的接入策略,得到当前决策的接入策略θ,所述接入策略为业务类型与网络标识符的映射关系,并为每个接入策略设置唯一索引符;
对各接入策略θ的回报均值μθ进行遍历,将最大回报均值μθ对应的接入策略θ作为当前决策的最优稳定网络策略θ*,其中回报均值μθ为1×K维的矩阵,K表示业务类型数,即回报均值μθ的列矢量为不同业务类型的回报均值μθ(s),且μθ(s)的初始值为预设值;
步骤4:接入选择管理器根据当前最优接入网络计算当前决策的总回报值r(i):
分别基于当前最优接入网络,计算终端的移动速度、网络服务质量属性参数和网络接入成本的当前归一化回报值,再对各归一化回报值进行加权求和得到当前决策的总回报值r(i);
其中归一化回报值的计算公式为:其中am网络m的接入选择结果,且am∈{0,1},0表示未接入网络m,1表示接入网络m,a=(a1,a2,…,aM)T,m=1,2,…,M;fζ,m表示对应参量ζ的回报函数,其中参量ζ表示终端的移动速度、网络服务质量属性参数或网络成本,当ζ表示网络成本时,fζ,m为对应网络m的网络接入成本;当ζ表示终端的移动速度时,若终端的移动速度在移动速度上下门限区间范围以内,则fζ,m为第一速度预设值(如设置为);否则fζ,m为第二速度预设值(如设置为负无穷),且第一速度预设值大于第二速度预设值;当ζ表示网络服务质量属性参数时,基于网络服务质量属性参数的上下门限将网络服务质量属性参数的取值区间分为三段,并为各段设定对应的取值,基于当前最优接入网络的网络服务质量属性参数的取值所属的取值区间,得到对应fζ,m值,如其中ζm表示当前网络服务质量属性参数,ζmax,ζmin表示ζ的上下限;
步骤5:接入选择处理器更新相关统计信息:
更新当前业务类型s的已处理数量Ts(i);
更新当前业务类型s接入网络m的次数Tm,s(i);
更新当前业务类型s接入网络m的回报均值更新方式为:其中首次决策时,上一决策时的回报均值为预设值;
更新当前业务类型s对应的接入策略θ的回报均值μθ,即更新μθ(s)为:μθ(s)=[μθ(s)*Tp(idx)+r(i)]/(Tp(idx)+1),Tp(idx)表示接入策略θ的接入次数,其中idx为接入策略θ的索引符;
更新接入策略θ的决策次数Tp(idx)为:Tp(idx)=Tp(idx)+1;
更新记录业务类型的序列Tst,将第i次决策的业务类型Tst(i)设置为当前业务类型s;
步骤6:计算当前决策的总后悔值其中,μ*(Tps(t))表示第t次决策的最优稳定网络策略θ*的回报均值中的业务类型s的回报均值;
判断最近两次决策的总后悔值的插值是否小于预设门限,若是,则将当前最优稳定网络策略θ*作为无线网络接入选择处理结构;否则,继续执行步骤步骤3。
进一步的,步骤4中,设置各归一化回报值rζ(i)的权重具体为:
对终端的移动速度、网络接入成本和总网络服务质量需求的预设重要程度值进行两两比较,获取两者间的重要程度系数,构建第一判决矩阵H1;
对网络服务质量属性参数预设重要程度值进行两两比较,设置两者间的重要程度系数,构建第二判决矩阵H2;
分别求解第一、第二判决矩阵的最大特征值和特征向量;
分别计算两个判决矩阵的一致性比例值其中n表示矩阵元素数,R.I.是随矩阵阶数取值不同的预设值,阶数越大,取值越大;
若两个判决矩阵的均小于预设门限,则对两个判决矩阵的最大特征向量进行归一化处理,得到向量η1和η2;否则,重新构造两个判决矩阵;
将向量η1和η2中对应终端的移动速度、网络服务质量属性参数和网络接入成本的值作为对应的归一化回报值rζ(i)的权重。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、综合考虑网络服务质量和用户体验,制定网络接入选择标准。
2、考虑区分业务的接入选择。针对不同类型的业务,区分设定接入选择标准。
3、实现动态调整的自学习接入选择。通过学习机制,在不中断通信的情况下反映网络状态信息的动态变化,及时调整接入选择策略。
附图说明
图1是本发明的多业务异构无线网络接入选择流程图;
图2是各类业务各网络选中率变化曲线示意图;
图3是总后悔值变化曲线示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合实施方式和附图,对本发明作进一步地详细描述。
实施例
假设异构无线网络环境由LTE、WLAN1、WLAN2三个无线网络覆盖,***中网络个数M=3,三个网络的编号m依次为1、2、3,则该异构无线网络的可用网络集合可以表示为A={1,2,...,3},用户终端类型均为单模单待终端,在该无线网络环境下,所有终端都有机会接入任意一个网络,采用离散状态空间表示网络状态信息的变化,将各网络m的Qos属性参数,按照最大最小阈值范围进行区间内等间隔划分,取划分点的值为离散值,与离散值不同的连续值,根据就近约等的原则近似取为离散值,确定各属性的最大单元值即可,各网络对应的Qos属性参数最大单元值以及终端在各网络的移动速度最大单元值见表1。
表1各网络Qos属性参数及终端在各网络的移动速度最大单元值列表
参见图1,对上述实施例的具体处理步骤如下:
S1、定义接入选择处理器处理的业务类型,并对接入选择管理器信息初始化,所述业务类型包括会话类、流类、交互类和背景类四类业务,分别用s=1,2,3,4来表示,则得到业务类型集合分别用S={s|s=1,2,3,4}来表示,其他相关信息初始化具体为:
将决策次数i的计数初始化为0,
将某类型业务s产生的个数Ts(i)初始化为0,Ts(i)=0,
将某类型业务s接入网络m的次数Tm,s(i)初始化为0,Tm,s(i)=0,
将某类型业务s接入网络m的回报统计均值初始化为0,
对策略索引编号为idx的接入策略θ的回报均值μθ进行初始化,所述接入策略是以最大化回报均值为目标的业务与网络编号映射关系集合,满足回报均值μθ是一个1×|S|维矩阵,μθ(s)表示策略θ下各类业务s接入对应网络m的回报均值,即对于μθ(s)的初始值为0,将策略索引编号为idx的接入策略θ的决策次数Tp(idx)初始化为0,对于Tp(idx)的初始值为0,
设置记录每次决策业务类型的变长序列Tst,其中Tst(i)表示第i次决策时的业务类型;
S2、设置各无线接入点相关信息,并向接入选择管理器汇报,具体为:
设置各无线接入点的网络Qos属性参数的最大最小门限,所述网络Qos属性参数包括带宽、时延、抖动、丢包率等,分别用B、D、J、L表示,
设置各Qos属性参数对应的最大最小门限,分别用UB、LB、UD、LD、UJ、LJ、UL、LL表示,Qos属性参数的最大最小门限如表2所示,
表2 Qos属性参数最大最小门限
设置终端移动速度的最大门限Vmax=8,最小门限Vmin=0,
设置各无线接入点对应的归一化网络成本分别为fC,1=1.1/1.2,fC,2=1,fC,3=1;
S3、终端用户产生业务请求,具体为:终端用户向其归属无线网络的无线接入点发送请求,汇报终端用户的可用网络集合Ap、当前终端移动速度v、业务类型s,所述可用网络集合Ap是终端用户根据接收信号强度确定的当前业务的可用网络集合;
S4、各无线接入点汇集终端业务请求,并将其和该无线接入节点下的当前网络相关信息一同汇报至接入选择管理器,具体为:
各无线接入点在收到终端请求后,将该无线接入点下所有终端用户的可用网络集合Ap、业务类型s汇报至接入选择管理器,将移动速度做近似离散处理后的单元值v,汇报至接入选择管理器,
各无线接入点将当前网络m的带宽、时延、抖动、丢包率做近似离散处理,将离散处理后的单元值βm、τm、γm、lm,汇报至接入选择管理器;
S5、接入选择管理器按序处理S4所述的终端业务请求,进行最优网络选择,并确定当前最优稳定策略,
所述最优稳定策略θ*是具有最大回报均值的策略θ,满足其中,θ*是1×|S|维矩阵,θ*(s)表示任意业务s对应的最优网络编号,
具体实现步骤如下:
S51、确定当前决策最优网络,具体为:
对于当前请求中的业务类型s,
若满足Ts(i)<M,即***中已处理的类型为s的业务个数小于网络个数,则顺序接入当前业务s至未接入过的网络(可用网络集合Ap内的);
若不满足Ts(i)<M,则按照的概率选择网络接入,其中,pm(i)是第i次决策网络m被选中的概率,是当前类型业务s接入网络m的回报均值,温度系数T是算法本身的参数,利用T可以实现探索与利用的权衡,T越小,各个臂被选中的概率的差别就越大,T越大,各个臂被选中的概率越趋向于相同,选择最大pm(i)的网络作为对应的接入网络,从而确定接入网络的编号m;
S52、确定当前最优稳定策略,具体为:
对当前决策的各接入策略θ对应的回报均值μθ进行遍历,最大回报均值对应的策略即为最优策略θ*,即由于|S|=4,M=3,则该***中存在M|S|=81组策略,接入策略θ与策略索引编号idx之间的映射关系表可以表示为表3,实际应用中确定最优策略索引编号idx*,再通过映射关系表获取具体的最优策略θ*;
S6、接入选择管理器根据接入结果计算当前回报值,具体为:
S61、接入选择管理器确定接入选择影响属性,包括带宽、时延、抖动、丢包等网络Qos属性参数以及终端移动速度,网络成本等,计算各属性的归一化回报值,具体为:
多模移动终端在网络覆盖范围内自由移动,将当前接入结果定义为a=(a1,...,am,...,aM)T,其中,对于0表示未接入该网络,1表示接入该网络,结合S5所确定的接入网络编号m,当前接入结果可以表示为a=(0,...,0,1,0,...,0)T,其中am=1,其他位置为0,
将当前请求终端的移动速度v和接入结果a,代入终端移动速度归一化回报函数中,计算当前移动速度的归一化回报值rv(i),其中,是网络m下终端移动速度v的回报函数,Vmax和Vmin是S2所确定的终端移动速度的最大最小门限。
表3策略对照表
将接入结果a代入网络成本归一化回报函数计算归一化回报函数值rC(i),其中c=(fC,1,...,fC,m,...,fC,M)是S2所确定的各个接入点汇报至接入选择管理器的网络成本,
将当前各网络的带宽属性β和接入结果a,代入带宽归一化回报函数中,计算带宽归一化回报值rB(i),其中,表示网络m的带宽回报函数,β=(β1,···,βm,···,βM)表示各网络当前决策的带宽,UB和LB是S2所确定的带宽最大最小门限,
将当前各网络的时延属性τ和接入结果a,代入时延归一化回报函数计算时延归一化回报值rD(i),其中表示网络m的时延回报函数,τ=(τ1,···,τm,···,τM)表示各网络当前决策的时延,UD和是S2所确定的时延最大最小门限,
将当前各网络的抖动属性γ和接入结果a,代入抖动归一化回报函数中,计算抖动归一化回报值rJ(i),其中表示网络m的抖动回报函数,γ=(γ1,···,γm,···,γM)表示各网络当前决策的抖动,UJ和LJ是S2所确定的抖动的最大最小门限,
将当前各网络的丢包率属性l和接入结果a,代入丢包率归一化回报函数中,计算丢包率归一化回报值rL(i),其中表示网络m的丢包率回报函数,l=(l1,···,lm,···,lM)表示各网络当前决策的丢包率,UL和LL是S2所确定的丢包率的最大最小门限;
S62、根据S61所述的接入选择影响属性,接入选择管理器确定各属性相对重要程度,建立判决矩阵,计算各属性权重;
进一步地,S62所述影响接入选择属性的权重的计算过程为
步骤A、根据属性的重要性是否与业务类型相关,将影响接入选择的属性分为两类,第一类属性与业务类型无关,包括终端移动速度、网络成本等,第二类属性中,不同类型的业务会对其有不同需求,包括带宽、时延、抖动、丢包率等网络Qos属性参数;
步骤B、对两类属性分别建立判决矩阵,具体为:
与业务无关的终端移动速度、网络成本等属性和总QoS需求相结合,将上述各属性的重要程度两两做比较,采用0-9标度的方式来标识各属性两两之间的重要程度,数值越大表示重要程度越高,根据具体的属性重要程度,构造判决矩阵各属性在判断矩阵H中的行列关系如表3,hij表示第i个属性与第j个属性之间的重要程度关系,如,h11=1表示网络成本和自身相比重要性相同,h23=4表示总QoS需求比移动速度重要,重要程度系数是4,其中,判决矩阵H满足如下约束条件:1)hij>0,2)hji=1/hij,3)hii=1,
表3判断矩阵H中各属性的行列关系
与业务相关的带宽、时延、抖动和丢包率等Qos属性参数,可以根据当前业务类型s的具体网络QoS需求,将上述各属性的重要程度两两做比较,构造判决矩阵Hs,H1H2H3H4分别表示会话类、流类、交互类和背景类的QoS判决矩阵,四种业务典型的QoS判决矩阵分别如表4-表7所示,当前业务类型对应的QoS判决矩阵同样满足上述的约束条件;
表4会话类Qos属性参数判断矩阵
表5流类Qos属性参数判断矩阵
表6交互类Qos属性参数判断矩阵
表7背景类Qos属性参数判断矩阵
步骤C、对步骤B所述的判决矩阵H和Hs,分别求解最大特征值和特征向量,
其中,通过求解H可得,对应的最大特征值λmax=3,接入成本、总QoS、移动速度的权重(ωv,ωC,ωQoS)=(0.1176,0.7059,0.1765),记为η,
根据当前的业务类型s,根据Hs求取Qos属性参数权重ηs,
对于会话类,通过求解判决矩阵H1可得,会话类最大特征值λmax_1=4.0104,时延、抖动、丢包、带宽的权重(ωB_1,ωD_1,ωJ_1,ωL_1)=(0.5132,0.2751,0.1376,0.0741),记为η1,代入一致性比例值公式C.R.≈0.0039<0.1满足一致性检验,其中R.I.是随矩阵阶数取值不同的固定值,满足表8,
对于流类,通过求解判决矩阵H2可得,流类最大特征值λmax_2=4.0104,时延、抖动、丢包、带宽的权重(ωB_2,ωD_2,ωJ_2,ωL_2)=(0.0651,0.2418,0.02418,0.4512),记为η2,代入一致性比例值公式C.R.≈0.0039<0.1满足一致性检验,
表8不同阶判断矩阵随机一致性参数
对于交互类,通过求解判决矩阵H3可得,流类最大特征值λmax_3=4.1861,时延、抖动、丢包、带宽的权重(ωB_3,ωD_3,ωJ_3,ωL_3)=(0.3618,0.0491,0.440,0.1451),记为η3,代入一致性比例值公式C.R.≈0.0697<0.1满足一致性检验,
对于背景类,通过求解判决矩阵H4可得,流类最大特征值λmax_3=4.0328,时延、抖动、丢包、带宽的权重(ωB_4,ωD_4,ωJ_4,ωL_4)=(0.0751,0.0751,0.5168,0.3329),记为η4,代入一致性比例值公式C.R.≈0.0123<0.1满足一致性检验,
当前决策的移动速度、网络成本、带宽、时延、抖动、丢包率的权重(ωv,ωC,ωB,ωD,ωJ,ωL)
可以表示为(η(1),η(2)·ηs,η(3))=(ωv,ωQoS(ωB_s,ωD_s,ωJ_s,ωL_s),ωC),
若不满足C.R.<0.1,转入S62步骤B,对不满足一致性判断的各属性重新构造判决矩阵;
S63、根据S61所述的各属性的归一化回报值、S62所述的各属性权重,进行加权求和,r(i)=ωCrC(i)+ωVrv(i)+ωBrB(i)+ωDrD(i)+ωJrJ(i)+ωLrL(i)所得即为当前决策的总回报值;
S7、接入选择管理器更新用于后续接入选择的有用信息,具体为:
接入选择管理器对于当前业务类型s,更新Ts(i)=Ts(i)+1,
更新当前类型业务s接入网络m的次数Tm,s(i)=Tm,s(i)+1,
更新业务s接入网络m的回报均值所述回报均值的更新方式可以表示为
更新当前业务s接入S51所得的网络m所满足的所有接入策略θ对应的回报均值μθ,
所述μθ的更新方式可以表示为μθ(s)=[μθ(s)*Tp(idx)+r(i)]/(Tp(idx)+1),其中,μθ(s)表示策略θ下,当前业务s接入对应网络θ(s)的回报均值Tp(idx)是S1所述的编号为idx的策略θ的接入次数,idx与θ之间的映射关系可通过S52所述的映射关系表获取,r(i)是S63所得的当前决策的回报值,
更新策略索引编号为idx的接入策略θ的决策次数Tp(idx),令Tp(idx)=Tp(idx)+1,
更新记录业务类型的序列Tst,令Tst(i)为当前业务类型s;
S8、判断当前接入选择结果是否收敛为最优稳定策略,具体为:
判断当前决策的总后悔值R(i)与上一决策的总后悔值R(i-1)的差值是否小于某一门限值,如|R(i)-R(i-1)|≤0.001,所述总后悔值是最优稳定策略接入结果与实际接入结果的回报差值,第i次决策的总后悔值R(i)可以表示为其中,μ*是S52所确定的最优接入策略θ*对应的回报均值μ*,Tst(t)是S7所更新的业务类型的序列Tst中的元素,表示第t次决策的业务类型,μ*(Tps(t))表示第t次决策最优稳策略下,业务类型s对应的回报均值,
若不满足上述门限条件,在下一决策跳转到S5,继续接入选择,
若满足上述门限条件,则收敛,结束循环,此时对应的策略即为最优稳定策略。
对以上方法进行仿真:比较10000次决策过程中,各类业务的各网络选中率变化曲线和总后悔值变化曲线如图2、3所示,本发明综合考虑网络服务质量和用户体验,针对不同类型的业务采用不同的接入选择准则,通过***模型的自学习机制,在不中断通信的情况下反映网络状态信息的动态变化,及时调整接入选择。
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。
Claims (7)
1.一种区分业务的自学习异构无线网络接入选择方法,其特征在于,包括下列步骤:
步骤1:设置各无线接入点节点信息,并发送给接入选择管理器,所述节点信息包括:网络服务质量属性参数的上下门限、可捕获的终端的移动速度上下门限和网络接入成本;
步骤2:无线接入点收到来自终端的终端业务请求后,将所述终端业务请求和所述无线接入节点下的当前网络的服务质量参数一同发送给接入选择处理器;
所述终端业务请求包括:终端的可用网络集合、终端的移动速度、业务类型;
步骤3:接入选择处理器按接收顺序对收到的终端业务请求进行最优网络选择,确定当前最优稳定网络策略:
301:确定当前决策最优网络:
为当前终端业务请求中的业务类型选择当前最优接入网络:若对应业务类型的已处理数量Ts(i)小于***的网络总数M,则顺序接入当前终端业务请求至终端的可用网络集合中未接入过的网络;否则分别根据公式计算当前决策时,终端的可用网络集合中各网络被选中概率pm(i),取pm(i)最大的网络作为当前终端业务请求的接入网络;其中m为网络标识符,i为当前决策次数,s为业务类型标识符,表示上一决策时将业务类型为s的终端业务请求接入网络m的回报均值,其中首次决策时,上一决策时的回报均值为预设值,e为自然底数,T为表示预置的温度系数;
302:确定当前最优稳定网络策略:
基于当前业务类型s所对应的最优接入网络,在接入策略集中匹配对应的接入策略,得到当前决策的接入策略θ,所述接入策略为业务类型与网络标识符的映射关系,并为每个接入策略设置唯一索引符;
对各接入策略θ的回报均值μθ进行遍历,将最大回报均值μθ对应的接入策略θ作为当前决策的最优稳定网络策略θ*,其中回报均值μθ为1×K维的矩阵,K表示业务类型数,即回报均值μθ的列矢量为不同业务类型的回报均值μθ(s),且μθ(s)的初始值为预设值;
步骤4:接入选择管理器根据当前最优接入网络计算当前决策的总回报值r(i):
分别基于当前最优接入网络,计算终端的移动速度、网络服务质量属性参数和网络接入成本的当前归一化回报值,再对各归一化回报值进行加权求和得到当前决策的总回报值r(i);
其中归一化回报值的计算公式为:其中am网络m的接入选择结果,且am∈{0,1},0表示未接入网络m,1表示接入网络m,a=(a1,a2,…,aM)T,上标T表示转置符号,m=1,2,…,M;fζ,m表示对应参量ζ的回报函数,其中参量ζ表示终端的移动速度、网络服务质量属性参数或网络成本,当ζ表示网络成本时,fζ,m为对应网络m的网络接入成本;当ζ表示终端的移动速度时,若终端的移动速度在移动速度上下门限区间范围以内,则fζ,m为第一速度预设值;否则fζ,m为第二速度预设值,且第一速度预设值大于第二速度预设值;当ζ表示网络服务质量属性参数时,基于网络服务质量属性参数的上下门限将网络服务质量属性参数的取值区间分为三段,并为各段设定对应的取值,基于当前最优接入网络的网络服务质量属性参数的取值所属的取值区间,得到对应fζ,m值;
步骤5:接入选择处理器更新相关统计信息:
更新当前业务类型s的已处理数量Ts(i);
更新当前业务类型s接入网络m的次数Tm,s(i);
更新当前业务类型s接入网络m的回报均值更新方式为:其中首次决策时,上一决策时的回报均值为预设值;
更新当前业务类型s对应的接入策略θ的回报均值μθ,即更新μθ(s)为:μθ(s)=[μθ(s)*Tp(idx)+r(i)]/(Tp(idx)+1),Tp(idx)表示接入策略θ的接入次数,其中idx为接入策略θ的索引符;
更新接入策略θ的决策次数Tp(idx)为:Tp(idx)=Tp(idx)+1;
更新记录业务类型的序列Tst,将第i次决策的业务类型Tst(i)设置为当前业务类型s;
步骤6:计算当前决策的总后悔值其中,μ*(Tps(t))表示第t次决策的最优稳定网络策略θ*的回报均值中的业务类型s的回报均值;
判断最近两次决策的总后悔值的插值是否小于预设门限,若是,则将当前最优稳定网络策略θ*作为无线网络接入选择处理结构;否则,继续执行步骤步骤3。
2.如权利要求1所述的方法,其特征在于,步骤4中,设置各归一化回报值rζ(i)的权重具体为:
对终端的移动速度、网络接入成本和总网络服务质量需求的预设重要程度值进行两两比较,获取两者间的重要程度系数,构建第一判决矩阵H1;
对网络服务质量属性参数预设重要程度值进行两两比较,设置两者间的重要程度系数,构建第二判决矩阵H2;
分别求解第一、第二判决矩阵的最大特征值和特征向量;
分别计算两个判决矩阵的一致性比例值其中n表示矩阵元素数,R.I.是随矩阵阶数取值不同的预设值,阶数越大,取值越大;
若两个判决矩阵的均小于预设门限,则对两个判决矩阵的最大特征向量进行归一化处理,得到向量η1和η2;否则,重新构造两个判决矩阵;
将向量η1和η2中对应终端的移动速度、网络服务质量属性参数和网络接入成本的值作为对应的归一化回报值rζ(i)的权重。
3.如权利要求1或2所述的方法,其特征在于,步骤4中,第一速度预设值为
4.如权利要求3所述的方法,其特征在于,步骤4中,第二速度预设值为负无穷。
5.如权利要求1或2所述的方法,其特征在于,步骤4中,当ζ表示网络服务质量属性参数时,其中ζm表示当前网络服务质量属性参数,ζmax,ζmin表示ζ的上下限。
6.如权利要求1或2所述的方法,其特征在于,业务类型包括会话类、流类、交互类和背景类。
7.如权利要求1或2所述的方法,其特征在于,网络服务质量属性参数包括带宽、时延、抖动和丢包率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711133779.4A CN107889195B (zh) | 2017-11-16 | 2017-11-16 | 一种区分业务的自学习异构无线网络接入选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711133779.4A CN107889195B (zh) | 2017-11-16 | 2017-11-16 | 一种区分业务的自学习异构无线网络接入选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107889195A true CN107889195A (zh) | 2018-04-06 |
CN107889195B CN107889195B (zh) | 2020-06-16 |
Family
ID=61776845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711133779.4A Expired - Fee Related CN107889195B (zh) | 2017-11-16 | 2017-11-16 | 一种区分业务的自学习异构无线网络接入选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107889195B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111182454A (zh) * | 2020-02-24 | 2020-05-19 | 重庆邮电大学 | 异构无线网络中综合效益最大化的智能接入方法 |
CN111818620A (zh) * | 2020-06-05 | 2020-10-23 | 袁建涛 | 多模终端的网络选择方法和*** |
CN112867101A (zh) * | 2019-11-28 | 2021-05-28 | 哈尔滨工业大学 | 一种基于灰度综合评价值的公安异构无线专网选择方法 |
CN113055229A (zh) * | 2021-03-05 | 2021-06-29 | 北京工业大学 | 一种基于ddqn的无线网络自选择协议的方法 |
CN113099485A (zh) * | 2019-12-23 | 2021-07-09 | ***通信集团陕西有限公司 | 网络接入方法、装置、计算设备及计算机存储介质 |
CN114698012A (zh) * | 2022-01-20 | 2022-07-01 | 吉林大学 | 一种多模智能终端的网络垂直切换方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101562843A (zh) * | 2009-05-25 | 2009-10-21 | 北京邮电大学 | 异构网络中的网络选择方法 |
CN102238631A (zh) * | 2011-08-17 | 2011-11-09 | 南京邮电大学 | 基于强化学习的异构网络资源管理方法 |
CN102647773A (zh) * | 2012-05-02 | 2012-08-22 | 哈尔滨工业大学 | 基于q学习的异构网络接入控制优化选择方法 |
CN103220751A (zh) * | 2013-05-08 | 2013-07-24 | 哈尔滨工业大学 | 基于q学习资源分配策略的异构网络准入控制方法 |
CN107105455A (zh) * | 2017-04-26 | 2017-08-29 | 重庆邮电大学 | 一种基于自回程感知的用户接入负载均衡方法 |
-
2017
- 2017-11-16 CN CN201711133779.4A patent/CN107889195B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101562843A (zh) * | 2009-05-25 | 2009-10-21 | 北京邮电大学 | 异构网络中的网络选择方法 |
CN102238631A (zh) * | 2011-08-17 | 2011-11-09 | 南京邮电大学 | 基于强化学习的异构网络资源管理方法 |
CN102647773A (zh) * | 2012-05-02 | 2012-08-22 | 哈尔滨工业大学 | 基于q学习的异构网络接入控制优化选择方法 |
CN103220751A (zh) * | 2013-05-08 | 2013-07-24 | 哈尔滨工业大学 | 基于q学习资源分配策略的异构网络准入控制方法 |
CN107105455A (zh) * | 2017-04-26 | 2017-08-29 | 重庆邮电大学 | 一种基于自回程感知的用户接入负载均衡方法 |
Non-Patent Citations (2)
Title |
---|
QIHUI WU: "Traffic-Aware Online Network Selection in Heterogeneous Wireless Networks", 《 IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》 * |
陈红翠: "认知网络中基于***模型的信道选择机制研究", 《信息科技辑》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112867101A (zh) * | 2019-11-28 | 2021-05-28 | 哈尔滨工业大学 | 一种基于灰度综合评价值的公安异构无线专网选择方法 |
CN113099485A (zh) * | 2019-12-23 | 2021-07-09 | ***通信集团陕西有限公司 | 网络接入方法、装置、计算设备及计算机存储介质 |
CN111182454A (zh) * | 2020-02-24 | 2020-05-19 | 重庆邮电大学 | 异构无线网络中综合效益最大化的智能接入方法 |
CN111818620A (zh) * | 2020-06-05 | 2020-10-23 | 袁建涛 | 多模终端的网络选择方法和*** |
CN111818620B (zh) * | 2020-06-05 | 2022-04-01 | 袁建涛 | 多模终端的网络选择方法和*** |
CN113055229A (zh) * | 2021-03-05 | 2021-06-29 | 北京工业大学 | 一种基于ddqn的无线网络自选择协议的方法 |
CN113055229B (zh) * | 2021-03-05 | 2023-10-27 | 北京工业大学 | 一种基于ddqn的无线网络自选择协议的方法 |
CN114698012A (zh) * | 2022-01-20 | 2022-07-01 | 吉林大学 | 一种多模智能终端的网络垂直切换方法 |
CN114698012B (zh) * | 2022-01-20 | 2024-05-28 | 吉林大学 | 一种多模智能终端的网络垂直切换方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107889195B (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107889195A (zh) | 一种区分业务的自学习异构无线网络接入选择方法 | |
Zhang et al. | A hierarchical game framework for resource management in fog computing | |
Wang et al. | Mathematical modeling for network selection in heterogeneous wireless networks—A tutorial | |
CN111866954B (zh) | 一种基于联邦学习的用户选择和资源分配方法 | |
CN109286959A (zh) | 一种基于层次分析法的异构无线网络垂直切换方法 | |
Charilas et al. | Multiaccess radio network enviroments | |
CN110809306A (zh) | 一种基于深度强化学习的终端接入选择方法 | |
CN107484209B (zh) | 一种考虑用户QoS的网络负载均衡垂直切换方法 | |
Yu et al. | A hybrid MADM algorithm based on attribute weight and utility value for heterogeneous network selection | |
CN103108382A (zh) | 一种基于网络层次分析法的异构网络多属性决策方法 | |
Nkansah-Gyekye et al. | Vertical handoff decision algorithm for UMTS-WLAN | |
CN107105455A (zh) | 一种基于自回程感知的用户接入负载均衡方法 | |
CN114726743B (zh) | 一种基于联邦强化学习的服务功能链部署方法 | |
CN113727420B (zh) | 一种多模接入网络选择装置及方法 | |
CN112672366A (zh) | 异构无线网络中基于个性化消费偏好的垂直切换*** | |
CN107949038A (zh) | 一种基于ahp和相似度的网络选择方法 | |
Zhu et al. | Adaptive access selection algorithm for multi-service in 5G heterogeneous Internet of Things | |
CN105704741B (zh) | 一种异构网络接入选择方法 | |
Rao et al. | Network selection in heterogeneous environment: A step toward always best connected and served | |
CN111083724A (zh) | 一种雾计算网络下基于ocwg-topsis的用户关联方法 | |
Zhao et al. | Context-aware multi-criteria handover with fuzzy inference in software defined 5G HetNets | |
Wang et al. | Resource allocation based on Radio Intelligence Controller for Open RAN towards 6G | |
CN107484208A (zh) | 一种异构网络的负载均衡算法及*** | |
Rahman et al. | Radio access network selection mechanism based on hierarchical modelling and game theory | |
Tudzarov et al. | Efficient radio access technology selection for the next generation wireless networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200616 |
|
CF01 | Termination of patent right due to non-payment of annual fee |