CN108494632A - 一种基于强化学习的移动数据流量卸载方法 - Google Patents

一种基于强化学习的移动数据流量卸载方法 Download PDF

Info

Publication number
CN108494632A
CN108494632A CN201810298887.5A CN201810298887A CN108494632A CN 108494632 A CN108494632 A CN 108494632A CN 201810298887 A CN201810298887 A CN 201810298887A CN 108494632 A CN108494632 A CN 108494632A
Authority
CN
China
Prior art keywords
flow
utility function
content
user
intensified learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810298887.5A
Other languages
English (en)
Other versions
CN108494632B (zh
Inventor
江昊
曾园园
李倩
刘冰清
胡芷毅
张毅
彭铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810298887.5A priority Critical patent/CN108494632B/zh
Publication of CN108494632A publication Critical patent/CN108494632A/zh
Application granted granted Critical
Publication of CN108494632B publication Critical patent/CN108494632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/062—Generation of reports related to network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/067—Generation of reports using time frame reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • H04L47/826—Involving periods of time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/83—Admission control; Resource allocation based on usage prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于强化学习的移动数据流量卸载方法，首先基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；然后针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和***总效用函数，利用强化学习方法，求解令***的总效用目标函数最优化的流量卸载策略。本发明利用强化学习中的Gradient Bandit算法，通过多天长期学习训练，做出最优的流量卸载决策。

Description

一种基于强化学习的移动数据流量卸载方法
技术领域
本发明属于移动互联网技术领域，特别涉及一种基于强化学习的移动数据流量卸载方法。
背景技术
根据思科的移动网络前景报告预测，全球移动数据流量将在2019年增长到292EB，并且97％的数据流量为智能流量。移动数据流量卸载是近年来兴起的一种新兴技术，利用互补网络分担原本在蜂窝网络上传输的数据流量，能够有效解决蜂窝网络流量负载问题，并且可以提升运营商的服务质量，保障用户的使用体验，减小用户的数据流量费用，提供更大的接入带宽。由于大部分互补网络已经存在或部署代价较小，相较于建设更多宏蜂窝网络基站，升级网络配置的传统措施，移动数据流量卸载在经济成本、建设周期等投入代价方面有着巨大的优势。因此，移动数据流量卸载的研究成为一个热点问题，引起了业界学者的广泛关注。
移动数据流量卸载是利用互补网络传输数据，从而降低蜂窝网络负载的一种技术。流量卸载的目标是在保障用户服务质量QoS的前提下，降低移动网络上对带宽需求较大的服务的成本，减小其对网络负载的影响。该技术可以有效解决移动数据量的激增所造成的资源竞争和用户体验指数下降的问题。基于机会连接的移动数据流量卸载，利用用户之间的机会通信进行流量卸载，可以减小回程链路的负载和传输代价。
发明内容
为了解决上述技术问题，本发明提出了一种基于强化学习的移动数据流量卸载方法。
本发明所采用的技术方案是：一种基于强化学习的移动数据流量卸载方法，其特征在于，包括以下步骤：
步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；
步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和***总效用函数，利用强化学习方法，求解令***的总效用目标函数最优化的流量卸载策略。
本发明利用强化学习中的Gradient Bandit算法，通过多天长期学习训练，做出最优的流量卸载决策。
相对于现有技术，本发明的优点是：现有技术需要依赖于具体已知的流量负载情况，本发明可以在未来一天的流量负载是未知的情况下，通过分析流量负载的历史变化趋势，利用强化学习方法提前做出未来一天中最优的流量卸载决策。
附图说明
图1是本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于强化学习的移动数据流量卸载方法，包括以下步骤：
步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；
步骤1.1：基于手机用户上网记录数据，针对用户总流量进行统计分析，统计各天中每个时段的用户总流量需求；
步骤1.2：基于手机用户上网记录数据，针对可卸载流量进行统计分析，统计各天中每个时段的可卸载流量；利用用户之间的机会通信进行流量卸载，需要满足以下3个条件：用户对在时间、空间和内容维度有交集。因此对用户进行筛选，针对有相遇行为并且访问过相同类型的互联网内容的用户，进行流量需求统计，这一部分流量即为可卸载流量；
步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和***总效用函数，利用强化学习方法，求解令***的总效用目标函数最优化的流量卸载策略；
步骤2.1：设计运营商效用函数、内容提供方效用函数、内容需求方效用函数和***总效用函数；
运营商的效用函数由提供流量的收益和成本两部分构成，令用户需求总流量为q，可卸载流量为f,流量卸载比例为x,则运营商的真实流量负载为q-fx,运营商的每单位流量定价为p,单位流量的成本为e,效用函数为：
U1(x)＝(p-e)·(q-fx)；
内容提供方的效用函数由提供流量的收益和成本两部分构成，内容提供方提供的总流量为可卸载流量f和卸载比例x的乘积fx，令内容提供方的每单位流量定价为d，内容提供方的单位流量成本为g，则内容提供方的效用函数为：
U2(x)＝(d-g)fx；
内容需求方的效用由获得的流量收益和支付的费用两部分组成，如下式所示：
U3(x)＝αlog(1+q)-p(q-fx)-dfx
其中α是与用户体验相关的参数，第二项为支付给运营商的费用，第三项为支付给内容提供方的费用.
本发明的目标是制定流量卸载策略，使得***中各时段运营商、内容提供方和内容需求方三方的总效用目标函数达到最优，***总效用目标函数为：
U(x)＝λ1·U1(x)+λ2·U2(x)+λ3·U3(x)
s.t.λ1+λ2+λ3＝1
λ1≥0；λ2≥0；λ3≥0；
λ1、λ2和λ3为三方效用函数的归一化权重，其中对三方的效用函数分别进行了归一化，并且限制了优化式中各权重的取值范围；
步骤2.2：利用强化学习中的Gradient Bandit算法，求解令***的总效用目标函数最优化的流量卸载策略。
在强化学习模型中有2类行为action，在第t轮迭代中，当action为1时，表示选择从运营商获取内容，相应的收益为Rt(1)＝U(xt＝0)，当action为2时，表示选择从内容提供方获取内容，相应的收益为Rt(2)＝U(xt＝1)。这2类action的偏好因子分别记为Ht(1)和Ht(2)，初始时t＝0，令Ht(1)＝Ht(2)＝0，则选择这2类action的概率分别为
在后续t轮迭代中，πt(1)和πt(2)按照下式进行更新，假设当前t时刻的action为At,则迭代式为：
对于a≠At，则迭代式如下所示：
则选择行为a的概率为：
其中，α是可控参数，Rt是t时刻选择行为At的收益，是前t时刻选择行为At获得收益的平均值。在t+1时刻根据t时刻的概率πt(1)和πt(2)，选择从运营商或内容提供方获取数据。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于强化学习的移动数据流量卸载方法，其特征在于，包括以下步骤：
步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；
步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和***总效用函数，利用强化学习方法，求解令***的总效用目标函数最优化的流量卸载策略。
2.根据权利要求1所述的基于强化学习的移动数据流量卸载方法，其特征在于，步骤1的具体实现包括以下子步骤：
步骤1.1：基于手机用户上网记录数据，针对用户总流量进行统计分析，统计各天中每个时段的用户总流量需求；
步骤1.2：基于手机用户上网记录数据，针对可卸载流量进行统计分析，统计各天中每个时段的可卸载流量。
3.根据权利要求2所述的基于强化学习的移动数据流量卸载方法，其特征在于：步骤1.2中，利用用户之间的机会通信进行流量卸载，需要满足以下3个条件：用户对在时间、空间和内容维度有交集；因此对用户进行筛选，针对有相遇行为并且访问过相同类型的互联网内容的用户，进行流量需求统计，这一部分流量即为可卸载流量。
4.根据权利要求1所述的基于强化学习的移动数据流量卸载方法，其特征在于：步骤2的具体实现包括以下子步骤：
步骤2.1：设计运营商效用函数、内容提供方效用函数、内容需求方效用函数和***总效用函数；
运营商的效用函数由提供流量的收益和成本两部分构成，令用户需求总流量为q，可卸载流量为f,流量卸载比例为x,则运营商的真实流量负载为q-fx,运营商的每单位流量定价为p,单位流量的成本为e,效用函数为：
U1(x)＝(p-e)·(q-fx)；
内容提供方的效用函数由提供流量的收益和成本两部分构成，内容提供方提供的总流量为可卸载流量f和卸载比例x的乘积fx，令内容提供方的每单位流量定价为d，内容提供方的单位流量成本为g，则内容提供方的效用函数为：
U2(x)＝(d-g)fx；
内容需求方的效用由获得的流量收益和支付的费用两部分组成，如下式所示：
U3(x)＝αlog(1+q)-p(q-fx)-dfx；
其中α是与用户体验相关的参数，第二项为支付给运营商的费用，第三项为支付给内容提供方的费用；
***总效用目标函数为：
U(x)＝λ1·U1(x)+λ2·U2(x)+λ3·U3(x)
s.t.λ1+λ2+λ3＝1
λ1≥0；λ2≥0；λ3≥0；
λ1、λ2和λ3为三方效用函数的归一化权重，其中对三方的效用函数分别进行了归一化，并且限制了优化式中各权重的取值范围；
步骤2.2：利用强化学习中的Gradient Bandit算法，求解令***的总效用目标函数最优化的流量卸载策略。
5.根据权利要求1-4任意一项所述的基于强化学习的移动数据流量卸载方法，其特征在于：步骤2中所述强化学习方法，在强化学习模型中有2类行为action，在第t轮迭代中，当action为1时，表示选择从运营商获取内容，相应的收益为Rt(1)＝U(xt＝0)，当action为2时，表示选择从内容提供方获取内容，相应的收益为Rt(2)＝U(xt＝1)；这2类action的偏好因子分别记为Ht(1)和Ht(2)，初始时t＝0，令Ht(1)＝Ht(2)＝0，则选择这2类action的概率分别为：
在后续t轮迭代中，πt(1)和πt(2)按照下式进行更新，假设当前t时刻的action为At，则迭代式为：
对于a≠At，则迭代式如下所示：
则选择行为a的概率为：
其中，α是可控参数，Rt是t时刻选择行为At的收益，是前t时刻选择行为At获得收益的平均值；在t+1时刻根据t时刻的概率πt(1)和πt(2)，选择从运营商或内容提供方获取数据。
CN201810298887.5A 2018-04-04 2018-04-04 一种基于强化学习的移动数据流量卸载方法 Active CN108494632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810298887.5A CN108494632B (zh) 2018-04-04 2018-04-04 一种基于强化学习的移动数据流量卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810298887.5A CN108494632B (zh) 2018-04-04 2018-04-04 一种基于强化学习的移动数据流量卸载方法

Publications (2)

Publication Number Publication Date
CN108494632A true CN108494632A (zh) 2018-09-04
CN108494632B CN108494632B (zh) 2020-12-01

Family

ID=63314654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810298887.5A Active CN108494632B (zh) 2018-04-04 2018-04-04 一种基于强化学习的移动数据流量卸载方法

Country Status (1)

Country Link
CN (1) CN108494632B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798842A (zh) * 2019-01-31 2020-02-14 湖北工业大学 一种基于多用户深度强化学习的异构蜂窝网络流量卸载方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080246A1 (en) * 2014-09-12 2016-03-17 Futurewei Technologies, Inc. Offloading Tenant Traffic in Virtual Networks
CN105491510A (zh) * 2015-12-17 2016-04-13 西安电子科技大学 一种密集异构蜂窝网络中面向资源共享的业务卸载方法
CN105764121A (zh) * 2016-01-18 2016-07-13 浙江工业大学 一种蜂窝流量卸载网络中基于动态排序的设备与基站连接方法
CN106358300A (zh) * 2015-07-16 2017-01-25 中国人民解放军理工大学 一种微蜂窝网络中的分布式资源分配方法
CN106851741A (zh) * 2016-12-10 2017-06-13 浙江大学 蜂窝网络中基于社交关系的分布式移动节点文件缓存方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080246A1 (en) * 2014-09-12 2016-03-17 Futurewei Technologies, Inc. Offloading Tenant Traffic in Virtual Networks
CN106358300A (zh) * 2015-07-16 2017-01-25 中国人民解放军理工大学 一种微蜂窝网络中的分布式资源分配方法
CN105491510A (zh) * 2015-12-17 2016-04-13 西安电子科技大学 一种密集异构蜂窝网络中面向资源共享的业务卸载方法
CN105764121A (zh) * 2016-01-18 2016-07-13 浙江工业大学 一种蜂窝流量卸载网络中基于动态排序的设备与基站连接方法
CN106851741A (zh) * 2016-12-10 2017-06-13 浙江大学 蜂窝网络中基于社交关系的分布式移动节点文件缓存方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIAN LI等: "Collective Human Mobility Patterns: A Case Study Using Data Usage Detail Records", 《 2017 IEEE INTERNATIONAL CONFERENCE ON INTERNET OF THINGS (ITHINGS) AND IEEE GREEN COMPUTING AND COMMUNICATIONS (GREENCOM) AND IEEE CYBER, PHYSICAL AND SOCIAL COMPUTING (CPSCOM) AND IEEE SMART DATA (SMARTDATA)》 *
占庆祥等: "基于强化学习的异构网络流量卸载方案研究", 《电子测量技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798842A (zh) * 2019-01-31 2020-02-14 湖北工业大学 一种基于多用户深度强化学习的异构蜂窝网络流量卸载方法
CN110798842B (zh) * 2019-01-31 2022-06-28 湖北工业大学 一种基于多用户深度强化学习的异构蜂窝网络流量卸载方法

Also Published As

Publication number Publication date
CN108494632B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
Mishra et al. Economic analysis of networking technologies for rural developing regions
Oughton et al. Policy choices can help keep 4G and 5G universal broadband affordable
Oughton et al. Supportive 5G infrastructure policies are essential for universal 6G: Assessment using an open-source techno-economic simulation model utilizing remote sensing
Cano et al. Cooperative infrastructure and spectrum sharing in heterogeneous mobile networks
CN111047425B (zh) 一种行为预测方法及装置
CN111193615B (zh) 一种移动边缘计算网络中的边缘计算节点选择方法
Jha et al. Techno-economic assessment of the potential for LTE based 4G mobile services in rural India
US7561883B2 (en) System and method for management of the resources of a broadband mobile network having prolonged fixed accesses by wireless local area network access terminals
US11218369B2 (en) Method, apparatus and system for changing a network based on received network information
CN113891336B (zh) 通信网络减频退网方法、装置、计算机设备和存储介质
Koratagere Anantha Kumar et al. Techno-economic assessment of 5G infrastructure sharing business models in rural areas
Joe-Wong et al. Offering supplementary network technologies: Adoption behavior and offloading benefits
Abdel-Rahman et al. Dimensioning virtualized wireless access networks from a common pool of resources
CN108494632A (zh) 一种基于强化学习的移动数据流量卸载方法
Stordahl et al. Long-term mobile data traffic forecasts for the Western European market
CN104168660A (zh) 确定优先级的方法及装置
CN104010321A (zh) 无线网络网元割接性能和容量预测方法
Sadreddini et al. PSO-optimized Instant Overbooking Framework for cognitive radio networks
Kouhdaragh et al. Smart grid load balancing methods to make an efficient heterogeneous network by using the communication cost function
US8165135B2 (en) Methods, computer networks, and computer program products that facilitate providing broadband services wirelessly to third party users via a mesh network of customer premise equipment
CN113205231A (zh) 一种离网预测方法及装置
Tomaszewski et al. Network Slicing vs. Network Neutrality–Is Consent Possible?
CN105764121A (zh) 一种蜂窝流量卸载网络中基于动态排序的设备与基站连接方法
e Silva et al. Techno-economic evaluation for TV white spaces
CN103561471A (zh) 一种多用户单中继通信***中的带宽分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant