CN115361717B - 一种基于vr用户视点轨迹的毫米波接入点选择方法及*** - Google Patents
一种基于vr用户视点轨迹的毫米波接入点选择方法及*** Download PDFInfo
- Publication number
- CN115361717B CN115361717B CN202210819036.7A CN202210819036A CN115361717B CN 115361717 B CN115361717 B CN 115361717B CN 202210819036 A CN202210819036 A CN 202210819036A CN 115361717 B CN115361717 B CN 115361717B
- Authority
- CN
- China
- Prior art keywords
- user
- access point
- viewpoint
- millimeter wave
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 13
- 230000002787 reinforcement Effects 0.000 claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000000875 corresponding effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W36/00—Hand-off or reselection arrangements
- H04W36/08—Reselecting an access point
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W36/00—Hand-off or reselection arrangements
- H04W36/24—Reselection being triggered by specific parameters
- H04W36/32—Reselection being triggered by specific parameters by location or mobility data, e.g. speed data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W48/00—Access restriction; Network selection; Access point selection
- H04W48/20—Selecting an access point
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于VR用户视点轨迹的毫米波接入点选择方法及***，属于无线传输的连接与调度领域。包括如下步骤：VR用户头戴设备获取用户的历史视点坐标；利用深度神经网络预测VR用户的未来视点轨迹；分析VR用户的历史视点轨迹、预测视点轨迹、与毫米波接入点的历史连接方式；利用深度强化学习决定毫米波接入点的选择；获得执行选择动作后用户的累积奖励值反馈给强化学习网络进行接入点选择策略的更新。考虑到利用毫米波进行无线传输时接收端与发送端的强指向性和用户头部移动轨迹的剧烈变化，错误的接入点选择会造成频繁的连接中断，本发明通过预测用户的视点轨迹，决定毫米波接入点的切换方式，最大化VR用户接受的服务质量。
Description
技术领域
本发明属于无线传输的连接与调度领域，更具体地，涉及一种基于VR用户视点轨迹的毫米波接入点选择方法及***。
背景技术
由于网络技术、设备性能和音视频压缩方案的进步，VR技术迎来了新的发展契机。由于其丰富的视角信息和灵活的视场变换特性，传输VR视频所含的数据总量巨大；同时，全景视点自由切换复杂度高，对***响应的敏捷性要求严苛，现流行的无线传输模式无法实现VR用户百兆级带宽需求和毫秒级延时限制。
伴随着5G通信技术的发展，毫米波技术逐渐应用于VR视频的无线传输当中。毫米波指24GHz及以上的高频射信号，在802.11ad标准下，其无线传输速率高达6.8Gbps。由于毫米波使用高度定向天线，只有当发射器的波束与接收端对齐时，数据传输才会进行。因此，当VR用户头部与毫米波发送波束错开角度过大，传输速率会显著下降甚至造成传输断连。VR用户的头部会随着观看的视频内容进行旋转，因此需要在空间各处部署多个毫米波接入点，以保证发射端与VR头戴设备上接收端的连接。考虑毫米波波束对齐过程存在数秒的传输中断，频繁的接入点切换不但无法保证稳定高效的无线传输，还会导致无线服务质量的显著下降。亟需一种智能的接入点选择算法，根据视点轨迹判断在每个决策时隙到来时是否进行接入点的切换、切换至哪一个AP，实现感知与传输的一体化调控，以最大化用户接收到的服务质量。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于VR用户视点轨迹的毫米波接入点选择方法及***，旨在解决错误的接入点选择、频繁的接入点切换会造成传输质量的损失的问题。
为实现上述目的，本发明提供了一种基于VR用户视点轨迹的毫米波接入点选择方法，包括如下步骤：
S1.VR头戴设备逐帧记录用户的视点坐标，即用户头部在3D空间中的俯仰、偏航、翻滚角度，形成用户历史视点轨迹；
S2.利用深度神经网络学习视点轨迹的时间相关性，结合VR全景视频前景与背景内容对用户吸引程度的差异，输出预测的未来视点轨迹；
S3.利用用户历史视点轨迹、预测的未来视点轨迹、与毫米波接入点的历史连接方式，构建深度强化学习算法面临的状态空间，动作空间为毫米波接入点的序号，反映了用户选择与哪一个接入点进行数据的传输；
S4.深度强化学习网络根据输入的状态信息输出对应的动作，即决定用户是否更改连接方式、选择与哪一个接入点进行连接；
S5.用户更改连接完成后，根据用户的视点轨迹与连接的毫米波接入点的位置，获得对应的累积回报，即用户获得的服务质量，此累积回报受用户与毫米波接入点的距离、发送端与接收端波束的偏移角度、发送端与接收端信号遮挡效应的影响，服务质量的高低对应着选择方式的优劣；
S6.将累积回报反馈给强化学习智能体，以最大化累积回报为目标进行网络参数的迭代与更新；
S7.随着视频播放，用户的视点轨迹更新，重复S1-S6，强化学习算法根据损失函数的梯度下降逐渐迭代至算法收敛。
进一步地，S2所述的视点预测具体步骤如下：循环神经网络利用已知视点轨迹，获得时间序列的相关性，将决策时隙前K个历史视点数据输入进预测网络中，网络输出后续M个时隙的预测视点坐标，其中，K和M均为正整数。
进一步地，S4所述的强化学习获得选择结果方法具体步骤如下：每一次选择过程中，强化学习智能体选择一个动作，对应于不同接入点的选择。发送端与接收端执行接入点的切换，并将观测到的奖励值反馈给智能体，智能体动态地调整网络参数，最大化累积奖励值。
进一步地，S6所述累积奖励获得方法具体步骤如下：每间隔L帧进行一次AP切换的决策，因此累积奖励为在播放L帧的持续时间内用户获得的服务质量，其大小与发送端与接收端的距离、连接持续过程中发送端与接收端波束的偏移角度、发送信号受到的遮挡情况有关，其中，L为正整数。
有益效果：本发明利用用户的历史视点轨迹，推断用户视点的未来移动趋势。考虑到频繁的接入点切换会造成传输质量的损失，本发明利用深度强化学习决定毫米波接入点的选择，即当决策时隙到来时是否进行毫米波接入点的切换、切换到哪一个毫米波接入点。
本发明另一方面提供了一种基于VR用户视点轨迹的毫米波接入点选择***，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述的基于VR用户视点轨迹的毫米波接入点选择方法。
通过本发明所构思的以上技术方案，与现有技术相比，本发明将毫米波接入点的切换策略与用户的视点移动轨迹深度结合，考虑到毫米波接入点切换时带来的传输损耗，本发明通过预测用户的未来视点轨迹，利用强化学习算法决定是否进行毫米波接入点的切换以及具体切换至哪一个接入点，以最大化用户接收的服务质量。
附图说明
图1是本发明提供的基于VR用户视点轨迹的毫米波接入点选择方法的无线通信模型；
图2是本发明提供的基于VR用户视点轨迹的毫米波接入点选择方法的强化学习框架；
图3是本发明提供的基于VR用户视点轨迹的毫米波接入点选择方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间不构成冲突就可以相互组合。
图1是毫米波无线通信模型图：毫米波产生波束具有高度方向性，信号发送端与VR头盔接收端波束对齐后，数据传输开始。因此，当二者偏移角度过大，无线链路剧烈波动，传输质量显著下降。同时，毫米波信号极易被遮挡，此时用户需要切换毫米波接入点，以实现稳定且高效的数据流传输。
本发明提供一种基于VR用户视点轨迹的毫米波接入点选择方法，包括以下步骤：
S1.VR头戴设备逐帧记录用户的视点坐标，即用户头部在3D空间中的俯仰、偏航、翻滚角度，形成用户历史视点轨迹；
S2.利用深度神经网络学习视点轨迹的时间相关性，结合VR全景视频前景与背景内容对用户吸引程度的差异，输出预测的未来视点轨迹；
S3.利用用户历史视点轨迹、预测的未来视点轨迹、与毫米波接入点的历史连接方式，构建深度强化学习算法面临的状态空间，动作空间为毫米波接入点的序号，反映了用户选择与哪一个接入点进行数据的传输；
S4.深度强化学习网络根据输入的状态信息输出对应的动作，即决定用户是否更改连接方式、选择与哪一个接入点进行连接；
S5.用户更改连接完成后，根据用户的视点轨迹与连接的毫米波接入点的位置，获得对应的累积回报，即用户获得的服务质量。此累积回报受用户与毫米波接入点的距离、发送端与接收端波束的偏移角度、发送端与接收端信号遮挡效应的影响，服务质量的高低对应着选择方式的优劣；
S6.将累积回报反馈给强化学习智能体，以最大化累积回报为目标进行选择策略的迭代与更新；
S7.随着视频播放，用户的视点轨迹更新，重复S1-S6，强化学习算法根据损失函数的梯度下降逐渐迭代至算法收敛。
在一个可选的实施方式中，S2所述的视点预测具体步骤如下：循环神经网络利用已知视点轨迹，获得时间序列的相关性，将决策时隙前K个历史视点数据输入进预测网络中，网络输出后续M个时隙的预测视点坐标。
在一个可选的实施方式中，S4所述的强化学习获得选择结果方法具体步骤如下：每一次选择过程中，强化学习智能体选择一个动作，对应于不同接入点的选择。发送端与接收端执行接入点的切换，并将观测到的奖励值反馈给智能体，智能体动态地调整网络参数，最大化累积奖励值。
在一个可选的实施方式中，S6所述累积奖励获得方法具体步骤如下：每间隔L帧进行一次AP切换的决策，因此累积奖励为在播放L帧的持续时间内用户获得的服务质量，其大小与发送端与接收端的距离、连接持续过程中发送端与接收端波束的偏移角度、发送信号受到的遮挡情况有关。
图2为强化学习框架图：面对输入的状态信息，智能体做出决策动作，并与环境交互获得对应的奖励值，用以智能体决策算法的更新。环境执行决策动作，更新状态，继续与智能体交互获得新的决策动作。
图3为选择策略流程图：每个决策时隙到来时，算法根据前K个时隙的视点轨迹预测后M个时隙的视点坐标，结合历史连接方式构建状态s，根据状态s做出决策结果，并获得对应的累积奖励值，累积奖励值反馈给决策网络，进行算法的迭代和更新。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于VR用户视点轨迹的毫米波接入点选择方法，其特征在于，包括如下步骤：
S1.逐帧记录VR用户的视点坐标，包括用户头部在3D空间中的俯仰、偏航、翻滚角度，形成用户历史视点轨迹；
S2.利用深度神经网络学习视点轨迹的时间相关性，结合VR全景视频前景与背景内容对用户吸引程度的差异，输出预测的未来视点轨迹；
S3.利用用户历史视点轨迹、预测的未来视点轨迹、与毫米波接入点的历史连接方式，构建深度强化学习算法面临的状态空间，动作空间为毫米波接入点的序号，反映了用户选择与哪一个接入点进行数据的传输；
S4.深度强化学习网络根据输入的状态输出对应的动作，即决定用户是否更改连接方式、选择与哪一个接入点进行连接；
S5.用户更改连接完成后，根据用户的视点轨迹与连接的毫米波接入点的位置，获得对应的累积回报；
S6.将累积回报反馈给强化学习智能体，以最大化累积回报为目标进行网络参数的迭代与更新；
S7.随着视频播放，用户的视点轨迹更新，重复S1-S6，深度强化学习算法根据损失函数的梯度下降逐渐迭代至算法收敛。
2.如权利要求1所述的方法，其特征在于，步骤S2中深度神经网络利用已知视点轨迹，获得时间序列的相关性，将决策时隙前K个历史视点数据输入进预测网络中，网络输出后续M个时隙的预测视点坐标，其中，K和M均为正整数。
3.如权利要求1所述的方法，其特征在于，步骤S4中每一次选择过程中，强化学习智能体选择一个动作，对应于不同接入点的选择，发送端与接收端执行接入点的切换用于环境，环境执行该动作。
4.如权利要求1所述的方法，其特征在于，步骤S6中每间隔L帧进行一次AP切换的决策，累积奖励为在播放L帧的持续时间内用户获得的服务质量，其大小与发送端与接收端的距离、连接持续过程中发送端与接收端波束的偏移角度、发送信号受到的遮挡情况有关，其中，L为正整数。
5.一种基于VR用户视点轨迹的毫米波接入点选择***，其特征在于，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至4任一项所述的基于VR用户视点轨迹的毫米波接入点选择方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210819036.7A CN115361717B (zh) | 2022-07-12 | 2022-07-12 | 一种基于vr用户视点轨迹的毫米波接入点选择方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210819036.7A CN115361717B (zh) | 2022-07-12 | 2022-07-12 | 一种基于vr用户视点轨迹的毫米波接入点选择方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115361717A CN115361717A (zh) | 2022-11-18 |
| CN115361717B true CN115361717B (zh) | 2024-04-19 |
Family
ID=84031149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210819036.7A Active CN115361717B (zh) | 2022-07-12 | 2022-07-12 | 一种基于vr用户视点轨迹的毫米波接入点选择方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115361717B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110809306A (zh) * | 2019-11-04 | 2020-02-18 | 电子科技大学 | 一种基于深度强化学习的终端接入选择方法 |
| WO2021068638A1 (zh) * | 2019-10-12 | 2021-04-15 | 中国海洋大学 | 结合tamer框架和面部表情反馈的交互强化学习方法 |
| CN114302497A (zh) * | 2022-01-24 | 2022-04-08 | 厦门大学 | 一种应用于非授权毫米波段异构网络共存的调度方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11076324B2 (en) * | 2019-07-10 | 2021-07-27 | At&T Intellectual Property I, L.P. | Network assisted beam selection for handover in 5G or other next generation wireless communication systems |
-
2022
- 2022-07-12 CN CN202210819036.7A patent/CN115361717B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021068638A1 (zh) * | 2019-10-12 | 2021-04-15 | 中国海洋大学 | 结合tamer框架和面部表情反馈的交互强化学习方法 |
| CN110809306A (zh) * | 2019-11-04 | 2020-02-18 | 电子科技大学 | 一种基于深度强化学习的终端接入选择方法 |
| CN114302497A (zh) * | 2022-01-24 | 2022-04-08 | 厦门大学 | 一种应用于非授权毫米波段异构网络共存的调度方法 |
Non-Patent Citations (1)
| Title |
|---|
| Feeling of Presence Maximization: mmWave-Enabled Virtual Reality Meets Deep Reinforcement Learning;Peng Yang等;《 IEEE Transactions on Wireless Communications》;20220616;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115361717A (zh) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108769450A (zh) | 数据传输控制方法、信息发送端、接收端及飞行器图传*** | |
| US11606564B2 (en) | Video encoding code rate control method, apparatus, and device, and storage medium | |
| US10680927B2 (en) | Adaptive beam assessment to predict available link bandwidth | |
| JP6628229B2 (ja) | 無線通信システムにおける無線リンクを管理するための装置及び方法 | |
| CN109587519B (zh) | 基于q学习的异构网络多径视频传输控制***及方法 | |
| CN108777589B (zh) | 一种波束追踪的方法、装置和*** | |
| Qiao et al. | Improving video streaming quality in 5G enabled vehicular networks | |
| US11140368B2 (en) | Custom beamforming during a vertical blanking interval | |
| KR101872977B1 (ko) | 빔 포밍 링크를 생성하는 통신 기기 및 빔 포밍 링크 생성 방법 | |
| CN101355689B (zh) | 一种数字电视视频点播控制方法、***和数字电视接收终端 | |
| CN105812046B (zh) | 一种卫星移动通信***心跳消息的实现***及方法 | |
| KR20150067920A (ko) | 무선 통신시스템의 적응적 빔 선택 장치 및 방법 | |
| CN115361717B (zh) | 一种基于vr用户视点轨迹的毫米波接入点选择方法及*** | |
| CN112584466B (zh) | 一种信息接收方法及装置 | |
| Zhu et al. | Mobile edge resource optimization for multiplayer interactive virtual reality game | |
| US11115693B2 (en) | Source clock recovery in wireless video systems | |
| KR20220135372A (ko) | 미디어 스트리밍을 제공하기 위한 장치 및 방법 | |
| CN113259033B (zh) | 一种基于fpga的动态毫米波通信场景中高速波束控制方法 | |
| US20220279054A1 (en) | Compensating for interruptions in a wireless connection | |
| Zhu et al. | Joint adaptation of rate and beamwidth for large-scale antenna systems | |
| Xu et al. | Edge-Device Collaborative Rendering for Wireless Multi-User Interactive Virtual Reality in Metaverse | |
| CN115133977A (zh) | 基于信息年龄最小化的无人机通信感知一体化***位置优化方法 | |
| US11695453B2 (en) | Method for maintaining beamforming in wireless AV system, and wireless device using same | |
| Ding et al. | QoE-aware power control for UAV-aided media transmission with reinforcement learning | |
| CN114466386B (zh) | 一种d2d通信的直接接入方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |