CN103024847A - 一种TD-LTE femtocell接纳控制方法 - Google Patents

Abstract

一种TD-LTE femtocell接纳控制方法，通过用户的接纳鉴权，根据femtocell当前的工作模式对用户进行鉴权并确定用户的接入门限；通过基于业务多样化的动态保护信道（Guard Channel,GC）无线准入策略，一方面保证切换呼叫的优先级，另一方面解决不同类型的业务之间的资源分配问题，实现支持多样化业务的接纳控制。

Description

一种TD-LTE femtocell接纳控制方法

技术领域

本发明属于移动通信技术领域，涉及分时长期演进TD-LTE（Time Division LongTerm Evolution）***和毫微微蜂窝式基站femtocell，为一种TD-LTE femtocell接纳控制方法。 

背景技术

毫微微蜂窝式基站femtocell，也称为家庭基站（HeNB,Home eNodeB），是近年来顺应移动通信发展及宽带化趋势推出的超小型化移动基站。它是一种低功率无线接入点，工作于授权频段，使用IP协议，通过用户已有的ADSL、LAN等宽带电路连接接入，远程由专用的网关实现从IP网到移动核心网的互联互通。它的大小与ADSL调制解调器相似，具有安装方便、自动配置、自动网规、即插即用等特点。对运营商来说，femtocell可以节约运营维护成本，同时在保证室内空口质量的前提下，快速有效地改善室内覆盖问题。对用户来说，采用femtocell意味着可以获得室内高质量的语音服务以及更高速率的宽带数据业务体验，与此同时用户还可以享受更低廉的资费。 

接纳控制也称为准入控制或呼叫控制。对于一个已知呼叫连接请求，按照其服务质量的要求，并根据整个网络资源是否满足已连接业务的质量决定是否接纳一个新连接。随着移动通信技术的发展，移动用户人数剧增，业务逐渐趋于多样化，对***而言就产生了两个相互抵触的性能要求；一方面要保持***的资源利用率，另一方面对已经接受的多样化业务要尽可能保证最优的服务质量。显然，两者都必须兼顾，需要通过有效的接纳控制算法来找到一个平衡点，使尽量多的业务需求被满足，同时又使得资源利用率保持较高水平。 

第一代和第二代移动通信***中主要是提供语音业务，对用户而言通话中断比呼叫拒绝更难以接受，所以通常的做法是将切换发起的连接请求与本小区新呼叫的发起连接请求区别对待，优先处理切换请求。而LTE***除了支持传统的语音业务外，还支持多种宽带数据业务；特别是用户在室内环境中使用基于LTE的femtocell网络，将更多的体验多媒体业务所带来的享受。因此接纳控制策略不能在只是集中于切换掉线率和呼叫阻塞率的折中上，需要根据多样化业务的特性来制定合理的策略。 

在LTE***中，通过承载这一概念来保证多样化业务对应的服务质量需求（Qualityof Service,QoS），无线准入控制（Radio Admission Control,RAC）的主要任务就是准许 或者拒绝建立请求，而这种请求的目的就是为了建立新的无线承载。 

当前femtocell主要被部署在家庭、团体、公司等私人场所作为私人用户的专属资源使用或者是被部署在学校、商场、大型卖场作为宏蜂窝无线通信***覆盖不足的有效补充。与此对应，femtocell主要有三种工作模式：开放模式、封闭模式、混合模式。开放模式允许所有用户接入。封闭模式只允许经过授权的用户接入，如家庭成员或团体成员等用户。混合模式也允许所有用户接入，但是属于封闭用户组（Closed Subscriber Group,CSG）的用户享有优先或者优惠的条件。因此TD-LTE***下的femtocell接纳控制需要包括两个部分：（1）用户的接纳鉴权：根据femtocell当前的工作模式对用户进行鉴权并确定用户的接入门限；（2）无线准入控制：综合考虑***资源利用现状，多样化业务的QoS以及多样化业务的切换和呼叫阻塞特性判决是否准入该业务。 

发明内容

本发明的目的在于提供一种TD-LTE femtocell接纳控制方法，一方面保证切换呼叫的优先级，另一方面解决不同类型的业务之间的资源分配问题，实现支持多样化业务的接纳控制。 

本发明的技术方案为：一种TD-LTE femtocell接纳控制方法，毫微微蜂窝式基站femtocell收到用户的承载建立请求后，首先通过用户的接纳鉴权，根据femtocell当前的工作模式对用户进行鉴权并确定用户的接入门限，确定用户的准入优先级；然后通过基于业务多样化的动态保护信道无线准入策略，实现支持多样化业务的接纳控制，对于符合所述准入策略的用户建立承载，提供服务，对于不符合策略要求的用户拒绝接纳， 

所述动态保护信道无线准入策略为： 

对会话类业务配置切换保护信道；对流类业务以及尽力而为业务不配置切换保护信道；所述切换保护信道为femtocell***资源内一个比例阈值所对应的信道资源，当femtocell的空闲资源占总资源的比例小于该比例阈值时，拒绝新呼叫接入请求，当全部资源都被占用时，拒绝切换呼叫接入请求，所述比例阈值初始设定后，周期性动态更新； 

除了会话类业务的切换保护信道，femtocell***内的其他资源分割成两部分，一部分为尽力而为业务专用资源，另一部分为实时业务优先抢占资源，当分配给实时业务的信道空闲时，尽力而为业务可以使用该部分空闲信道资源，当实时业务需要时则从尽力而为业务手中抢占原分配给实时业务的资源，保证实时业务的服务质量QoS； 

femtocell***内资源拥塞时，暂时停止接入业务进入相应队列排队，不同队列设置 不同的排队门限，如果队列中的业务呼叫时间超过本队列的排队时限，就从队列中剔除该业务呼叫对应的业务； 

实时业务包括会话类业务和流类业务，采用预设门限动态优先接入的策略来保证这两种实时业务的资源利用率，对于会话类业务的切换保护信道，采用强化学***衡会话类业务的切换掉线率和呼叫阻塞率。 

根据femtocell当前的工作模式对用户进行鉴权并确定用户的接入门限具体为： 

如果femtocell工作在封闭模式下，则仅仅允许属于封闭用户组的用户有接入权限；如果femtocell工作在混合模式下，则属于非封闭用户组的用户也有接入的权限，但需要有比封闭用户组的用户更严格的接入门限，即η_Non-CSG≤η_CSG，η_Non-CSG指非封闭用户组的接入门限，η_CSG指封闭用户组的接入门限； 

如果femtocell工作在开放模式下，则所有用户都具有接入权限，且拥有相同的接入门限；L_required，L_free分别表示当前接入请求需要的物理资源块数和当前***空闲的物理资源块数，判决是否允许接入的标准如下： 

η_ue为根据用户的接入权限确定的相应的接入门限。 

采用预设门限动态优先接入的策略来保证实时业务的资源利用率，设O_voice、O_stream分别表示当前会话类业务和流类业务的负载，L_voice、L_stream分别表示会话类业务和流类业务的预设门限；则会话类业务和流类业务对应的优先级表示为： 

$\left\{\begin{array}{c}{P}_{\mathrm{voice}}=\frac{Q_{\mathrm{voice}}}{L_{\mathrm{voice}}}\\ P_{\mathrm{stream}}=\frac{O_{\mathrm{stream}}}{L_{\mathrm{stream}}}\end{array}\right.,$

动态优先接入的策略如下： 

通过各类业务占总业务的比重调整该femtocell小区内对会话类业务和对流类业务 的队列优先级，即通过调整业务的负载大小来调整业务的队列优先级；另外，结合该小区的业务分布配置L_voice和L_stream，保证实时业务总体的阻塞率，实时业务总体阻塞中，来自会话类业务的阻塞大于流类业务时，增大L_voice，反之增大L_stream。 

对切换保护信道GC设定更新周期，根据周期内femtocell无线通信***的切换掉线率和呼叫阻塞率周期性的调整切换保护信道GC大小；切换保护信道GC的动态更新是一个序列决策模型，在一个切换保护信道GC更新周期内，femtocell无线通信***针对当前切换掉线率、呼叫阻塞率，做出一个新的切换保护信道GC更新动作，从而使femtocell无线通信***转移到一个新的状态，每一个切换保护信道对应的比例阈值都对应一个无线通信***状态，状态的改变都会产生费用，所产生费用为： 

r=ω_ho×P_ho+ω_n×P_n

P_ho是切换掉线率，P_n是新呼叫阻塞率，ω_ho、ω_n对应切换掉线和新呼叫阻塞的权重，给予切换掉线率更高的加权值即ω_ho>ω_n，体现femtocell无线通信***对切换掉线更敏感；r费用函数体现了切换掉线率和呼叫阻塞率之间的折中，当切换保护信道GC增加时切换掉线率降低，而新呼叫阻塞率增加，反之亦然； 

通过强化学习寻找产生费用最小的保护信道动态更新策略： 

采用无限范围折扣准则： 

其中

为常数时间折现因子，s_t为时刻t比例阈值对应的状态，s₀为比例阈值初始状态，设初始时刻状态s₀的状态值为s，π(s_t)表示根据时刻t的状态由强化学习的决策算法决定的GC更新动作，在比例阈值更新策略π的作用下，状态s_t采取更新动作π(s_t)并产生的相应的费用为r(s_t,π(s_t))； 

最优更新策略为：

上式中，初始时刻采取的更新动作假设为a，即a₀=a，导致下一时刻的状态s₁发生改变，假设其状态值为s'，即s₁=s'；

表示状态在更新动作a的作用下从s转移到s'的概率，S_sum表示所有可能状态值的集合； 

将π(s_t)下每一对状态和更新动作对(s,a)与一个Q值函数相关联： 

在费用期望R(s,a)未知的情况下，通过Q值迭代找到最优的更新策略： 

其中α_t∈[0,1)是强化学习的学习率； 

在根据对应时刻的更新策略选择更新动作的过程中，以一定概率选择具体的更新动作，所述概率为： 

$p\left(a\right|s)=1-\frac{e^{Q^{\mathrm{\π}}(s,a)}}{\underset{a\∈A}{\mathrm{\Σ}}{e}^{Q^{\mathrm{\π}}}(s,a)}$

p(a|s)表示在状态值为s的情况下选择动作a的概率，A是所有可能的更新动作的集合。 

本发明根据femtocell当前的工作模式对用户进行鉴权并确定用户的接入门限；通过基于业务多样化的动态切换保护信道（Guard Channel,GC）无线准入策略，一方面保证切换呼叫的优先级，另一方面解决不同类型的业务之间的资源分配问题，实现支持多样化业务的接纳控制。 

附图说明

图1为本发明接纳控制整体流程图。 

图2为本发明基于业务多样化的优先级队列示意图。 

图3为本发明优先级队列处理流程图。 

图4为本发明切换保护信道动态更新示意图。 

具体实施方式

下面结合附图，对最佳实施例进行详细说明，但是本发明的保护范围不局限于所述实施例。 

在无线通信网络中，新呼叫是指移动台需要通话时向基站发起的呼叫，切换呼叫是由于移动台的移动性产生的，当移动台在通话过程中从一个服务小区移动到另一个服务小区时会发生切换。本发明中，用户发起业务包括新呼叫和切换呼叫，移动台即为用户设备，一个用户可能同时维持着多个具有不同QoS要求的业务。 

图1是本发明的整体流程图,主要包括如下步骤：（1）用户的接纳鉴权：根据femtocell当前的工作模式对用户进行接纳鉴权并确定用户的接入门限；（2）无线准入控制：综合考虑***资源利用现状，多样化业务的QoS以及多样化业务的切换和呼叫阻塞特性判决是否准入该业务。 

首先服务femtocell与移动性管理实体（Mobility Management Entity，MME）进行信令交互过程，以确定用户设备（User Equipment,UE）的权限并根据UE权限确定UE相应的门限：η_ue。如果femtocell工作在封闭模式下，则仅仅允许属于封闭用户组CSG的用户有接入权限；如果femtocell工作在混合模式下，则属于非封闭用户组Non-CSG的用户也有接入的权限，但需要有比CSG的用户更严格的接入门限，即η_Non-CSG≤η_CSG；如果femtocell工作在开放模式下，则所有用户都具有接入权限，且拥有相同的接入门限。 

比较***剩余资源是否满足业务需求，具体分析（1）根据TD-LTE的时隙配比，计算每个无线帧可用的物理资源块（Physical Resource Block,PRB）；（2）根据用户当前的信号状况，主要由调制编码方案（Modulation and Coding Scheme,MCS）表现，计算每个PRB的传输块大小；（3）根据业务对应的数据速率，计算当前接入请求对资源的需求。 

具体的方案如下：以一个无线帧为单位，计算当前小区的平均每个无线帧的空闲 PRB能否满足用户平均每个无线帧所需要的PRB，即满足下式 

$L_{\mathrm{free}}=L_{\mathrm{available}}-\underset{u}{\mathrm{\Σ}}\frac{R_u^k}{{\mathrm{TB}}_u^{\mathrm{mcs}}}$

$L_{\mathrm{required}}=\frac{R^k}{{\mathrm{TB}}^{\mathrm{mcs}}}$

L_available表示每个无线帧可用的物理资源块数，L_free表示当前***空闲的物理资源块数，L_required表示当前接入请求需要的物理资源块数。L_available取决于TD-LTE无线帧的时隙配比。

为已接纳用户当前占用的资源，其中

为用户u当前激活的业务k的数据速率，

反映当前用户的信号状况，为MCS对应的传输块的大小。 

判决是否允许用户接入的标准如下： 

通过考虑业务的特点，解决不同类型的业务之间的资源分配问题。根据业务的不同特性，设计基于多样化的优先级队列如图2所示。会话类业务（Conversational ClassService）对实时性的要求高，需要保证在切换过程中的阻塞率，所以针对会话类业务需要配置切换保护信道。流类业务（Streaming Class Service）对时延参数并没有会话类业务敏感，大部分用户设备支持排队且本身具有缓存，在切换过程中对时延敏感度低，所以针对视频业务不需要配置切换保护信道。此外，尽力而为业务（Best Effort Service）对差错率比较敏感，而对时延要求较低，因此尽力而为业务也不需要配置切换保护信道。 

除了会话类业务的保护信道，***其他资源被分割成两部分，一部分为尽力而为业务专用资源，另一部分为实时业务优先抢占资源，当属于实时业务优先抢占资源的信道空闲时，尽力而为业务可以使用该部分资源，使得资源利用率大大增加，当实时业务需要时，则从尽力而为业务手中抢占属于实时业务优先抢占资源的信道资源保证实时业务的QoS。 

优先级队列处理流程如图3所示。资源拥塞时，暂时无法接入的业务进入相应队列排队。不同队列有不同的超时门限，如果队列中的呼叫超过排队时限就从队列中剔除该 呼叫。 

由于实时业务包括会话类业务和流类业务，采用预设门限动态优先接入的策略来保证这两种实时业务的资源利用率。O_voice，O_stream分别表示当前会话类业务和流类业务的负载。L_voice，L_stream分别表示会话类业务和流类业务的预设门限。 

会话类业务和流类业务对应的优先级表示为 $\left\{\begin{array}{c}{P}_{\mathrm{voice}}=\frac{Q_{\mathrm{voice}}}{L_{\mathrm{voice}}}\\ P_{\mathrm{stream}}=\frac{O_{\mathrm{stream}}}{L_{\mathrm{stream}}}\end{array}\right.,$ 动态优先接入的策略如下： 

通过各类业务占总业务的比重可以调整该小区对会话类业务和对流类业务的队列优先级。还可以结合该小区的业务分布配置L_voice，L_stream这两个参数，保证实时业务总体的阻塞率。比如：实时业务总体阻塞大部分来自会话类业务时，应该增大L_voice，反之增大L_stream。 

对于会话类业务的切换保护信道，采用基于强化学***衡会话类业务的切换掉线率和呼叫阻塞率。本发明将切换保护信道GC看成是一个比例阈值对应的信道，不是从总资源中预留特定的资源，而是按设定的比例设置的信道，这个比例是切换保护信道占总资源的比例，切换保护信道在femtocell初始时作为空闲资源，一旦该资源被释放，就成为公共信道的一部分。当femtocell的空闲资源占总资源的比例小于该比例阈值，就限制新呼叫接入的请求，只有当全部资源都被占用时，才拒绝切换呼叫的接入请求。 

本发明的切换保护信道也不是不变的，而是随着femtocell无线通信***的状态不断变化的。切换保护信道动态更新如图4所示。设定切换保护信道GC的更新周期，根据该时间段内***的切换掉线率和呼叫阻塞率周期性的调整GC。GC动态更新是一个序列决策模型，无线通信***观察到当前的状态即切换掉线率、呼叫阻塞率，做出一个新的GC更新动作，从而使femtocell无线通信***转移到一个新的状态，并产生一定的费用： 

r=ω_ho×P_ho+ω_n×P_n

P_ho是切换掉线率，P_n是新呼叫阻塞率，ω_ho，ω_n对应切换掉线和新呼叫阻塞的 权重。给予切换掉线率更高的加权值即ω_ho>ω_n，体现***对切换掉线更敏感。r费用函数体现了切换掉线率和呼叫阻塞率之间的折中，当GC增加时切换掉线率降低，而新呼叫阻塞率增加，反之亦然。 

本发明通过切换保护信道设置，给予切换呼叫相比新呼叫更高的资源优先级，这必然影响新呼叫接入性能，导致呼叫阻塞率升高。针对这一点，本发明通过基于强化学***衡切换掉线率和呼叫阻塞率从而获得更佳的***整体性能。下面具体说明所述基于强化学习的截至优先策略。 

每一个切换保护信道对应的比例阈值都对应一个无线通信***状态，状态的改变都会产生费用，本发明通过强化学习寻找***费用最小的保护信道动态更新策略，以保证在切换保护信道的定期更新中，所采用的更新动作产生的费用最小。决策过程的最终结果得出某个策略是使得在一定的最优准则下***的总费用最小。这里最优准则采用无限范围折扣准则： 

其中

为常数时间折现因子(discount factor)，体现了未来费用相对当前费用的影响。s_t为时刻t比例阈值对应的状态，s₀为比例阈值初始状态，设初始时刻状态s₀的状态值为s。π(s_t)表示根据时刻t的状态由强化学习的决策算法决定的GC更新动作。在比例阈值更新策略π的作用下，状态s_t采取更新动作π(s_t)并产生的相应的费用为r(s_t,π(s_t))。 

最优更新策略为：

上式中，初始时刻采取的更新动作假设为a，即a₀=a，导致下一时刻的状态s₁发生改变，假设其状态值为s'，即s₁=s'；表示状态在更新动作a的作用下从s转 移到s'的概率，S_sum表示所有可能状态值的集合。 

将π(s_t)下每一对状态和更新动作对(s,a)与一个Q值函数相关联： 

强化学习的任务，同时也是它的优点就是能够在费用期望R(s,a)未知的情况下，通过简单的Q值迭代找到最优的策略： 

其中α_t∈[0,1)是强化学习的学习率(learning factor)，它决定了新获得的信息将在多大程度上取代旧信息。如果α_t为0，则***将停止学习，如果α_t趋近于1，则将只考虑最新的信息。r(s_t,a_t)表示状态s_t采取更新动作a_t并产生的相应的费用。s_t+1指t时刻之后下一个时刻的状态，a_t+1指t时刻之后下一个时刻的更新动作。 

在根据对应时刻的更新策略选择更新动作的过程中，要兼顾两种探索新费用和利用已知费用两个因素，这里以一定概率选择更新动作，所述概率为： 

$p\left(a\right|s)=1-\frac{e^{Q^{\mathrm{\π}}(s,a)}}{\underset{a\∈A}{\mathrm{\Σ}}{e}^{Q^{\mathrm{\π}}}(s,a)}$

p(a|s)表示在状态值为s的情况下选择动作a的概率，A是所有可能的更新动作的集合。 

熟知本领域的人士将理解，虽然这里为了便于解释已描述了具体实施例，但是可在不背离本发明精神和范围的情况下做出各种改变。因此，除了所附权利要求之外，不能用于限制本发明。 

Claims (5)

1.一种TD-LTE femtocell接纳控制方法，其特征是毫微微蜂窝式基站femtocell收到用户的承载建立请求后，首先通过用户的接纳鉴权，根据femtocell当前的工作模式对用户进行鉴权并确定用户的接入门限，确定用户的准入优先级；然后通过基于业务多样化的动态保护信道无线准入策略，实现支持多样化业务的接纳控制，对于符合所述准入策略的用户建立承载，提供服务，对于不符合策略要求的用户拒绝接纳，

所述动态保护信道无线准入策略为：

对会话类业务配置切换保护信道；对流类业务以及尽力而为业务不配置切换保护信道；所述切换保护信道为femtocell***资源内一个比例阈值所对应的信道资源，当femtocell的空闲资源占总资源的比例小于该比例阈值时，拒绝新呼叫接入请求，当全部资源都被占用时，拒绝切换呼叫接入请求，所述比例阈值初始设定后，周期性动态更新；

除了会话类业务的切换保护信道，femtocell***内的其他资源分割成两部分，一部分为尽力而为业务专用资源，另一部分为实时业务优先抢占资源，当分配给实时业务的信道空闲时，尽力而为业务可以使用该部分空闲信道资源，当实时业务需要时则从尽力而为业务手中抢占原分配给实时业务的资源，保证实时业务的服务质量QoS；

femtocell***内资源拥塞时，暂时停止接入业务进入相应队列排队，不同队列设置不同的排队门限，如果队列中的业务呼叫时间超过本队列的排队时限，就从队列中剔除该业务呼叫对应的业务；

实时业务包括会话类业务和流类业务，采用预设门限动态优先接入的策略来保证这两种实时业务的资源利用率，对于会话类业务的切换保护信道，采用强化学***衡会话类业务的切换掉线率和呼叫阻塞率。

2.根据权利要求1所述的一种TD-LTE femtocell接纳控制方法，其特征是根据femtocell当前的工作模式对用户进行鉴权并确定用户的接入门限具体为：

如果femtocell工作在封闭模式下，则仅仅允许属于封闭用户组的用户有接入权限；如果femtocell工作在混合模式下，则属于非封闭用户组的用户也有接入的权限，但需要有比封闭用户组的用户更严格的接入门限，即η_Non-CSG≤η_CSG，η_Non-CSG指非封闭用户组的接入门限，η_CSG指封闭用户组的接入门限；

如果femtocell工作在开放模式下，则所有用户都具有接入权限，且拥有相同的接入门限；L_required，L_free分别表示当前接入请求需要的物理资源块数和当前***空闲的物理资源块数，判决是否允许接入的标准如下：

η_ue为根据用户的接入权限确定的相应的接入门限。

3.根据权利要求1或2所述的一种TD-LTE femtocell接纳控制方法，其特征是采用预设门限动态优先接入的策略来保证实时业务的资源利用率，设O_voice、O_stream分别表示当前会话类业务和流类业务的负载，L_voice、L_stream分别表示会话类业务和流类业务的预设门限；则会话类业务和流类业务对应的优先级表示为：

$\left\{\begin{array}{c}{P}_{\mathrm{voice}}=\frac{Q_{\mathrm{voice}}}{L_{\mathrm{voice}}}\\ P_{\mathrm{stream}}=\frac{O_{\mathrm{stream}}}{L_{\mathrm{stream}}}\end{array}\right.,$

动态优先接入的策略如下：

4.根据权利要求3所述的一种TD-LTE femtocell接纳控制方法，其特征是通过各类业务占总业务的比重调整该femtocell小区内对会话类业务和对流类业务的队列优先级，即通过调整业务的负载大小来调整业务的队列优先级；另外，结合该小区的业务分布配置L_voice和L_stream，保证实时业务总体的阻塞率，实时业务总体阻塞中，来自会话类业务的阻塞大于流类业务时，增大L_voice，反之增大L_stream。

5.根据权利要求1或2所述的一种TD-LTE femtocell接纳控制方法，其特征是对切换保护信道GC设定更新周期，根据周期内femtocell无线通信***的切换掉线率和呼叫阻塞率周期性的调整切换保护信道GC大小；切换保护信道GC的动态更新是一个序列决策模型，在一个切换保护信道GC更新周期内，femtocell无线通信***针对当前切换掉线率、呼叫阻塞率，做出一个新的切换保护信道GC更新动作，从而使femtocell无线通信***转移到一个新的状态，每一个切换保护信道对应的比例阈值都对应一个无线通信***状态，状态的改变都会产生费用，所产生费用为：

r=ω_ho×P_ho+ω_n×P_n

P_ho是切换掉线率，P_n是新呼叫阻塞率，ω_ho、ω_n对应切换掉线和新呼叫阻塞的权重，给予切换掉线率更高的加权值即ω_ho>ω_n，体现femtocell无线通信***对切换掉线更敏感；r费用函数体现了切换掉线率和呼叫阻塞率之间的折中，当切换保护信道GC增加时切换掉线率降低，而新呼叫阻塞率增加，反之亦然；

通过强化学习寻找产生费用最小的保护信道动态更新策略：

采用无限范围折扣准则：

其中

为常数时间折现因子，s_t为时刻t比例阈值对应的状态，s₀为比例阈值初始状态，设初始时刻状态s₀的状态值为s，π(s_t)表示根据时刻t的状态由强化学习的决策算法决定的GC更新动作，在比例阈值更新策略π的作用下，状态s_t采取更新动作π(s_t)并产生的相应的费用为r(s_t,π(s_t))；

最优更新策略为：

上式中，初始时刻采取的更新动作假设为a，即a₀=a，导致下一时刻的状态s₁发生改变，假设其状态值为s'，即s₁=s'；表示状态在更新动作a的作用下从s转移到s'的概率，S_sum表示所有可能状态值的集合；

将π(s_t)下每一对状态和更新动作对(s,a)与一个Q值函数相关联：

在费用期望R(s,a)未知的情况下，通过Q值迭代找到最优的更新策略：

其中α_t∈[0,1)是强化学习的学习率；

在根据对应时刻的更新策略选择更新动作的过程中，以一定概率选择具体的更新动作，所述概率为：

$p\left(a\right|s)=1-\frac{e^{Q^{\mathrm{\π}}(s,a)}}{\underset{a\∈A}{\mathrm{\Σ}}{e}^{Q^{\mathrm{\π}}(s,a)}}$

p(a|s)表示在状态值为s的情况下选择动作a的概率，A是所有可能的更新动作的集合。

Images