CN113269896A - 提供内容的方法及其装置 - Google Patents

Abstract

提供内容的方法及其装置。一种方法可包括以下步骤：基于以用户的头部位置和用户的身***置为基础配置的第一用户位置来显示360°内容的第一正视图，360°内容基于用户位置信息显示在360°空间中；响应于确定用户位置信息指示在身***置保持不变的同时，头部位置改变为改变的头部位置，根据改变的头部位置来显示360°内容的第二正视图，第二正视图不同于第一正视图；以及响应于确定用户位置信息指示头部位置改变为改变的头部位置并且身***置改变为改变的身***置，根据改变的头部位置和改变的身***置来继续显示第一正视图。

Description

提供内容的方法及其装置

技术领域

根据实施方式的提供内容的方法及其装置涉及一种用于提供XR内容(例如，VR内容、AR内容、MR内容等)的方法和设备，其适用于5G通信、机器人、自主驾驶和人工智能(AI)的所有技术领域。

背景技术

虚拟现实(VR)技术仅作为CG(计算机图形)图像提供真实世界对象或背景，增强现实(AR)技术提供叠加在用户的真实世界视图上的CG图像，从而提供合成视图，混合现实(MR)技术是通过在真实世界中混合并组合来提供虚拟对象的计算机图形技术。上述VR、AR、MR等可全部被简称为扩展现实(ER)技术。

发明内容

根据实施方式的装置可基于用户位置来提供360°内容的正视图。然而，如果装置没有准确地检测用户位置，则其无法准确地响应与用户期望的方向对应的正视图。此外，在需要过多用户位置改变以提供360°内容的情况下，可能增加消费内容的用户的疲劳感。这种内容可能阻碍用户的沉浸感并且导致低质量用户体验。

因此，根据实施方式的装置可基于以用户的头部位置和身***置中的至少一个为基础获得的用户位置信息来提供360°内容的正视图。

因此，本公开的实施方式涉及一种提供内容的方法及其装置，其基本上消除了由于现有技术的限制和缺点而引起的一个或更多个问题。

本发明的附加优点、目的和特征将在本文的公开以及附图中阐述。这些方面也可由本领域技术人员基于本文的公开来理解。

为了实现这些目的和其它优点并且根据本发明的目的，如本文具体实现并广义描述的，根据本公开的一个实施方式的提供内容的方法可包括以下步骤：基于以用户的头部位置和身***置为基础配置的第一用户位置来显示360°内容的第一正视图，360°内容包括可基于用户位置信息显示在表示为一个或更多个区域的360°空间中的内容；确保用户位置信息；如果所确保的用户位置信息指示头部位置改变，则基于根据改变的头部位置确定的第二用户位置来显示360°内容的第二正视图；以及如果所确保的用户位置信息指示用户的头部位置和身***置改变，则基于根据改变的头部位置和身***置确定的第三用户位置来显示第一正视图。

在本公开的另一方面，如本文具体实现并广义描述的，根据本公开的另一实施方式的内容提供装置(或装置)可包括：一个或更多个传感器，其确保基于用户的头部位置和身***置配置的用户位置信息；一个或更多个处理器，其基于所确保的用户位置信息来处理要显示的360°内容，该360°内容包括可基于用户位置信息显示在表示为一个或更多个区域的360°空间中的内容；一个或更多个存储器；以及显示器，其基于以用户的头部位置和身***置为基础配置的第一用户位置来显示360°内容的第一正视图，并且如果所确保的用户位置信息指示头部位置改变，则基于根据改变的头部位置确定的第二用户位置来显示360°内容的第二正视图，如果所确保的用户位置信息指示用户的头部位置和身***置改变，则基于根据改变的头部位置和身***置确定的第三用户位置来显示第一正视图。

因此，本公开的实施方式提供各种效果和/或特征。

首先，根据实施方式的内容提供方法和装置可提供更逼真的XR内容。

其次，根据实施方式的内容提供方法和装置可增加用户便利并提供各种用户体验。

可从本公开获得的效果可不限于上述效果。并且，本公开所属技术领域的普通技术人员可从以下描述清楚地理解其它未提及的效果。

将理解，本公开的以上一般描述和以下详细描述二者均为说明性的，并且提供旨在提供所要求保护的本发明的进一步说明的示例。

附图说明

附图被包括以提供本发明的进一步理解，并且被并入本申请并构成本申请的一部分，附图示出本发明的实施方式并与说明书一起用于说明本发明的原理。在附图中：

图1是示出根据本公开的实施方式的在基于3GPP的***中物理信号/信道的映射的资源网格的示例的图；

图2是示出根据本公开的实施方式的3GPP信号发送/接收方法的一个示例的图；

图3是示出根据本公开的实施方式的SSB结构的示例的图；

图4是示出根据本公开的实施方式的随机接入处理的一个示例的图；

图5是示出根据本公开的实施方式的根据上行链路许可的UL传输的一个示例的图；

图6是示出根据本公开的实施方式的物理信道处理的概念的一个示例的图；

图7是示出根据本公开的实施方式的用于混合波束成形的发送级和接收级的一个示例的框图；

图8a是示出根据本公开的实施方式的窄带操作的一个示例的图，图8b是示出根据本公开的实施方式的具有RF重调谐的MTC信道重复的一个示例的图；

图9是示出根据本公开的实施方式的适用本说明书中建议的方法的无线通信***的示例的框图；

图10是示出根据实施方式的AI装置1000的图；

图11是示出根据实施方式的AI服务器1120的图；

图12是示出根据实施方式的AI***的图；

图13是示出根据实施方式的图10的XR装置的框图；

图14是具体地示出根据本公开的实施方式的图13所示的存储器的框图；

图15是示出根据本公开的实施方式的点云数据处理***的图；

图16是示出根据本公开的实施方式的包括学习处理器的XR装置1600的图；

图17是示出根据本公开的实施方式的由图16所示的XR装置1600提供XR服务的处理的图；

图18是示出根据本公开的实施方式的XR装置和机器人的外观的图；

图19是根据本公开的实施方式的使用加载XR技术的装置来控制机器人的处理的流程图；

图20是示出根据本公开的实施方式的提供自主驾驶服务的车辆的图；

图21是示出根据本公开的实施方式的在自主驾驶服务的过程中提供AR/VR服务的处理的图；

图22是示出根据实施方式的实现HMD型XR装置的情况的图；

图23是示出根据实施方式的实现AR眼镜型XR装置的情况的图；

图24是根据实施方式的表示360°空间的坐标系的图；

图25是示出根据实施方式的360°空间的图；

图26是示出根据实施方式的装置的配置的示例的框图；

图27是示出根据实施方式的装置的内容提供操作的示例的图；

图28是示出根据实施方式的用户姿态的示例的图；

图29是示出根据实施方式的360°内容提供处理的示例的图；

图30是示出根据实施方式的360°内容提供处理的示例的图；

图31是示出根据实施方式的视场(FOV)的图；

图32是示出响应于用户输入信号来配置优先级信息的处理的示例的图；

图33是示出根据实施方式的360°内容提供处理的示例的图；

图34是示出根据实施方式的360°内容提供处理的示例的图；

图35是示出根据实施方式的360°内容提供处理的示例的图；

图36是示出根据实施方式的内容提供方法的流程图。

具体实施方式

现在将详细参考本公开的实施方式，其示例示出于附图中。只要可能，贯穿附图将使用相同的标号来表示相同或相似的部分，并且将避免冗余描述。仅为了易于描述，术语“模块”和“单元”可互换使用，因此它们不应被认为具有不同的含义或角色。此外，在描述本公开的实施方式时将不给出熟知技术的详细描述，以免其模糊实施方式的主题。提供附图以帮助理解本公开的实施方式，而非限制本公开的范围。将理解，本公开涵盖落入本公开的范围和精神内的各种修改、等同物和/或替代。

本公开的以下实施方式旨在具体实现本公开，而非限制本公开的范围。本领域技术人员可从本公开的详细描述和实施方式容易地推导的内容被解释为落入本公开的范围内。

因此，上述实施方式在所有方面均被解释为例示性的，而非限制性的。本公开的范围应该由所附权利要求及其法律上的等同物，而非由以上描述确定，落入所附权利要求的含义和等同范围内的所有改变旨在涵盖于其中。

介绍

在本公开中，下行链路(DL)是指从基站(BS)到用户设备(UE)的通信，上行链路(UL)是指从UE至BS的通信。在DL上，发送机可以是BS的一部分，接收机可以是UE的一部分，而在UL上，发送机可以是UE的一部分，接收机可以是BS的一部分。在本公开中，UE可被称为第一通信装置，BS可被称为第二通信装置。术语BS可由固定站、节点B、演进节点B(eNB)、下一代节点B(gNB)、基站收发器***(BTS)、接入点(AP)、网络或第5代(5G)网络节点、人工智能(AI)***、路边单元(RSU)、机器人、增强现实/虚拟现实(AR/VR)***等代替。术语UE可由终端、移动站(MS)、用户终端(UT)、移动订户站(MSS)、订户站(SS)、高级移动站(AMS)、无线终端(WT)、装置对装置(D2D)装置、车辆、机器人、AI装置(或模块)、AR/VR装置(或模块)等代替。

以下技术可用在包括码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)、正交频分多址(OFDMA)和单载波FDMA(SC-FDMA)的各种无线接入***中。

为了描述方便，在第3代合作伙伴计划(3GPP)通信***(例如，长期演进-高级(LTE-A)和新无线电或新无线电接入技术(NR))的上下文中描述本公开，其不应被解释为限制本公开。作为参考，3GPP LTE是使用演进UMTS地面无线电接入(E-UTRA)的演进通用移动电信***(E-UMTS)的一部分，LTE-A/LTE-A pro是3GPP LTE的演进。3GPP NR是3GPP/LTE-A/LTE-A pro的演进。

在本公开中，节点是指能够通过与UE通信来发送/接收无线信号的固定点。可使用各种类型的BS作为节点，而与其名称无关。例如，BS、NB、eNB、微微小区eNB(PeNB)、归属eNB(HeNB)、中继器和转发器中的任一个可以是节点。在一个节点中安装至少一个天线。天线可指物理天线、天线端口、虚拟天线或天线组。节点也被称为点。

在本公开中，小区可指一个或更多个节点提供通信服务的特定地理区域或无线电资源。作为地理区域的“小区”可被理解为可在载波中提供服务的覆盖范围，而作为无线电资源的“小区”与载波中配置的频率大小(即，带宽(BW))关联。由于节点可发送有效信号的范围(即，DL覆盖范围)和节点可从UE接收有效信号的范围(即，UL覆盖范围)取决于承载信号的载波，因此节点的覆盖范围与节点所使用的无线电资源的“小区”覆盖范围关联。因此，在某些情况下，术语“小区”可意指节点的服务覆盖范围、无线电资源或者在无线电资源中信号以有效强度到达的范围。

在本公开中，与特定小区的通信可相当于与向特定小区提供通信服务的BS或节点的通信。此外，特定小区的DL/UL信号意指来自/去往向特定小区提供通信服务的BS或节点的DL/UL信号。具体地，向UE提供UL/DL通信服务的小区被称为UE的服务小区。此外，特定小区的信道状态/质量是指UE与向特定小区提供通信服务的BS或节点之间建立的信道或通信链路的信道状态/质量。

与无线电资源关联的“小区”可被定义为DL资源和UL资源的组合，即，DL分量载波(CC)和UL CC的组合。小区可仅配置有DL资源，或者DL资源和UL资源二者的组合。当支持载波聚合(CA)时，DL资源(或DL CC)的载波频率与UL资源(或UL CC)的载波频率之间的链接可由在对应小区中发送的***信息指示。载波频率可与各个小区或CC的中心频率相同或不同。在下文中，在主频率中操作的小区被称为主小区(Pcell)或PCC，在辅频率中操作的小区被称为辅小区(Scell)或SCC。Scell可在UE和BS执行无线电资源控制(RRC)连接建立过程，因此在UE和BS之间建立RRC连接(即，UE为RRC_CONNECTED)之后配置。RRC连接可意指UE的RRC可与BS的RRC交换RRC消息的路径。Scell可被配置为向UE提供附加无线电资源。Scell和Pcell可根据UE的能力形成用于UE的服务小区集合。对于未配置有CA或不支持CA的RRC_CONNECTED UE，仅存在配置有Pcell的一个服务小区。

小区支持独特的的无线电接入技术(RAT)。例如，在LTE小区中执行基于LTE RAT的发送/接收，在5G小区中执行基于5G RAT的发送/接收。

CA将各自具有比目标BW小的***BW的多个载波聚合以支持宽带。CA与OFDMA的不同之处在于，在前者中在各自形成***BW(或信道BW)的多个载波频率中进行DL或UL通信，在后者中通过在一个载波频率中加载分成多个正交子载波的基本频带来进行DL或UL通信。例如，在OFDMA或正交频分复用(OFDM)中，以预定子载波间距将具有特定***BW的一个频带分成多个子载波，将信息/数据映射到多个子载波，并且通过频率上转换在频带的载波频率中发送映射有信息/数据的频带。在无线CA中，各自具有***BW和载波频率的频带可同时用于通信，并且CA中使用的各个频带可按预定子载波间距分成多个子载波。

3GPP通信标准定义了与传递源自物理层的上层(例如，介质访问控制(MAC)层、无线电链路控制(RLC)层、分组数据会聚协议(PDCP)层、无线电资源控制(RRC)层、服务数据适配协议(SDAP)层和非接入层(NAS)层)的信息的资源元素(RE)对应的DL物理信道，以及与在物理层中使用但不传送源自上层的信息的RE对应的DL物理信号。例如，物理下行链路共享信道(PDSCH)、物理广播信道(PBCH)、物理多播信道(PMCH)、物理控制格式指示符信道(PCFICH)和物理下行链路控制信道(PDCCH)被定义为DL物理信道，并且参考信号(RS)和同步信号被定义为DL物理信号。RS(也称为导频)是BS和UE二者已知的预定义特殊波形的信号。例如，小区特定RS(CRS)、UE特定RS(UE-RS)、定位RS(PRS)、信道状态信息RS(CSI-RS)和解调RS(DMRS)被定义为DL RS。3GPP通信标准还定义了与传递源自上层的信息的RE对应的UL物理信道，以及与在物理层中使用但不承载源自上层的信息的RE对应的UL物理信号。例如，物理上行链路共享信道(PUSCH)、物理上行链路控制信道(PUCCH)和物理随机接入信道(PRACH)被定义为UL物理信道，并且定义了用于UL控制/数据信号的DMRS和用于UL信道测量的探测参考信号(SRS)。

在本公开中，物理共享信道(例如，PUSCH和PDSCH)用于传送源自物理层的上层(例如，MAC层、RLC层、PDCP层、RRC层、SDAP层和NAS层)的信息。

在本公开中，RS是BS和UE二者已知的预定义特殊波形的信号。例如，在3GPP通信***中，作为小区公共RS的CRS、用于特定UE的物理信道的解调的UE-RS、用于测量/估计DL信道状态的CSI-RS以及用于解调物理信道的DMRS被定义为DL RS，并且用于UL控制/数据信号的解调的DMRS和用于UL信道状态测量/估计的SRS被定义为UL RS。

在本公开中，传输块(TB)是用于物理层的有效载荷。例如，由上层或MAC层提供给物理层的数据基本上被称为TB。作为包括AR/VR模块的装置(例如，AR/VR装置)的UE可在PUSCH上将包括AR/VR数据的TB发送到无线通信网络(例如，5G网络)。此外，UE可从无线通信网络接收包括5G网络的AR/VR数据的TB或包括对UE所发送的AR/VR数据的响应的TB。

在本公开中，混合自动重传请求(HARQ)是一种错误控制技术。在DL上发送的HARQ确认(HARQ-ACK)用于UL数据的错误控制，在UL上发送的HARQ-ACK用于DL数据的错误控制。执行HARQ操作的发送机在发送数据(例如，TB或码字)之后等待接收ACK。执行HARQ操作的接收机仅在成功接收数据时才发送ACK，当所接收的数据具有错误时发送否定ACK(NACK)。在接收到ACK时，发送机可发送(新)数据，在接收到NACK时，发送机可重发数据。

在本公开中，CSI通常是指表示在UE与天线端口之间建立的无线电信道(或链路)的质量的信息。CSI可包括信道质量指示符(CQI)、预编码矩阵指示符(PMI)、CSI-RS资源指示符(CRI)、同步信号块资源指示符(SSBRI)、层指示符(LI)和秩指示符(RI)或参考信号接收功率(RSRP)中的至少一个。

在本公开中，频分复用(FDM)是在不同频率资源中的信号/信道/用户的发送/接收，时分复用(TDM)是在不同时间资源中的信号/信道/用户的发送/接收。

在本公开中，频分双工(FDD)是在UL载波中执行UL通信并且在链接到UL载波的DL载波中执行DL通信的通信方案，而时分双工(TDD)是在同一载波中以时分方式执行UL通信和DL通信的通信方案。在本公开中，半双工是通信装置在一个时间点仅在一个频率中在UL或DL上操作，并且在另一时间点在另一频率中在DL或UL上操作的方案。例如，当通信装置半双工操作时，通信装置在UL和DL频率中通信，其中通信装置在UL频率中执行UL传输达预定时间，并且重新调谐至DL频率并以时分方式在DL频率中执行DL接收达另一预定时间，而不同时使用UL和DL频率。

图1是示出3GPP***中映射有物理信号/信道的示例资源网格的图。

参照图1，对于各个子载波间距配置和载波，定义了

子载波×14·2^μ个OFDM符号的资源网格。本文中，N^size，μ _grid由来自BS的RRC信令指示，μ表示由△f＝2μ*15[kHz]给出的子载波间距△f，其中在5G***中μ∈{0,1,2,3,4}。

除了子载波间距配置μ之外，N^size，μ _grid可在UL和DL之间不同。对于子载波间距配置μ、天线端口p和传输方向(UL或DL)，存在一个资源网格。用于子载波间距配置μ和天线端口p的资源网格的各个元素被称为由索引对(k,l)唯一地标识的RE，其中k是频域索引，l是针对参考点在相对时域中符号的位置。用于将物理信道映射到RE的频率单位，资源块(RB)由频域中的12个连续子载波(NRB_SC＝12)定义。考虑到UE可能一时不支持5G***所支持的宽BW，UE可被配置为在小区的频率BW的一部分(称为带宽部分(BWP))中操作。

对于本公开中使用的背景技术、术语和缩写，可参考在本公开之前公布的标准规范。例如，可参考以下文献。

3GPP LTE

-3GPP TS 36.211：物理信道和调制

-3GPP TS 36.212：复用和信道编码

-3GPP TS 36.213：物理层过程

-3GPP TS 36.214：物理层；测量

-3GPP TS 36.300：总体描述

-3GPP TS 36.304：空闲模式下的用户设备(UE)过程

-3GPP TS 36.314：层2-测量

-3GPP TS 36.321：介质访问控制(MAC)协议

-3GPP TS 36.322：无线电链路控制(RLC)协议

-3GPP TS 36.323：分组数据会聚协议(PDCP)

-3GPP TS 36.331：无线电资源控制(RRC)协议

-3GPP TS 23.303：基于邻近的服务(Prose)；阶段2

-3GPP TS 23.285：用于V2X服务的架构增强

-3GPP TS 23.401：用于演进通用地面无线电接入网络(E-UTRAN)接入的通用分组无线电服务(GPRS)增强

-3GPP TS 23.402：用于非3GPP接入的架构增强

-3GPP TS 23.286：对V2X服务的应用层支持；功能架构和信息流

-3GPP TS 24.301：演进分组***(EPS)的非接入层(NAS)协议；阶段3

-3GPP TS 24.302：经由非3GPP接入网络接入3GPP演进分组核心(EPC)；阶段3

-3GPP TS 24.334：接近服务(ProSe)用户设备(UE)到ProSe功能协议方面；阶段3

-3GPP TS 24.386：用户设备(UE)到V2X控制功能；协议方面；阶段3

3GPP NR(例如，5G)

-3GPP TS 38.211：物理信道和调制

-3GPP TS 38.212：复用和信道编码

-3GPP TS 38.213：用于控制的物理层过程

-3GPP TS 38.214：用于数据的物理层过程

-3GPP TS 38.215：物理层测量

-3GPP TS 38.300：NR和NG-RAN总体描述

-3GPP TS 38.304：空闲模式和RRC不活动状态下的用户设备(UE)过程

-3GPP TS 38.321：介质访问控制(MAC)协议

-3GPP TS 38.322：无线电链路控制(RLC)协议

-3GPP TS 38.323：分组数据会聚协议(PDCP)

-3GPP TS 38.331：无线电资源控制(RRC)协议

-3GPP TS 37.324：服务数据适配协议(SDAP)

-3GPP TS 37.340：多连接性；总体描述

-3GPP TS 23.287：对V2X服务的应用层支持；功能架构和信息流

-3GPP TS 23.501：用于5G***的***架构

-3GPP TS 23.502：用于5G***的过程

-3GPP TS 23.503：用于5G***的策略和计费控制框架；阶段2

-3GPP TS 24.501：用于5G***(5GS)的非接入层(NAS)协议；阶段3

-3GPP TS 24.502：经由非3GPP接入网络接入3GPP 5G核心网络(5GCN)

-3GPP TS 24.526：用于5G***(5GS)的用户设备(UE)策略；阶段3

图2是示出发送/接收3GPP信号的示例方法的图。

参照图2，当UE通电或进入新小区时，UE执行涉及获取与BS的同步的初始小区搜索(S201)。对于初始小区搜索，UE接收主同步信道(P-SCH)和辅同步信道(S-SCH)，获取与BS的同步，并且从P-SCH和S-SCH获得诸如小区标识符(ID)的信息。在LTE***和NR***中，P-SCH和S-SCH分别被称为主同步信号(PSS)和辅同步信号(SSS)。下面将更详细地描述初始小区搜索过程。

在初始小区搜索之后，UE可从BS接收PBCH并从PBCH获取小区内的广播信息。在初始小区搜索期间，UE可通过接收DL RS来检查DL信道状态。

在初始小区搜索完成时，UE可通过接收PDCCH并根据PDCCH上承载的信息接收PDSCH来获取更多特定***信息(S202)。

当UE初始接入BS或没有用于信号传输的无线电资源时，UE可与BS执行随机接入过程(S203至S206)。为此，UE可在PRACH上发送预定序列作为前导码(S203和S205)并接收PDCCH，并且在与PDCCH对应的PDSCH上接收响应于前导码的随机接入响应(RAR)消息(S204和S206)。如果随机接入过程是基于竞争的，则UE可另外执行竞争解决过程。将在下面更详细地描述随机接入过程。

在上述过程之后，UE然后可在一般UL/DL信号传输过程中执行PDCCH/PDSCH接收(S207)和PUSCH/PUCCH发送(S208)。具体地，UE在PDCCH上接收DCI。

UE根据对应搜索空间配置在服务小区中为一个或更多个控制元素集合(CORESET)配置的监测时机中监测PDCCH候选集合。从搜索空间集合的角度定义UE要监测的PDCCH候选集合。搜索空间集合可以是公共搜索空间集合或UE特定搜索空间集合。CORESET包括持续一个至三个OFDM符号的持续时间的(物理)RB的集合。网络可为UE配置多个CORESET。UE在一个或更多个搜索空间集合中监测PDCCH候选。本文中，监测试图将搜索空间中的PDCCH候选解码。当UE成功将搜索空间中的PDCCH候选之一解码时，UE确定已从PDCCH候选检测到PDCCH并基于包括在所检测到的PDCCH中的DCI来执行PDSCH接收或PUSCH发送。

PDCCH可用于调度PDSCH上的DL传输和PUSCH上的UL传输。PDCCH中的DCI包括：DL指派(例如，DL许可)，其至少包括DL共享信道的调制和编码格式和资源分配信息；以及UL许可，其包括UL共享信道的调制和编码格式和资源分配信息。

初始接入(IA)过程

同步信号块(SSB)传输和相关操作

图3是示出示例SSB结构的图。UE可基于SSB来执行小区搜索、***信息获取、用于初始接入的波束对准、DL测量等。术语SSB可与同步信号/物理广播信道(SS/PBCH)互换使用。

参照图3，SSB包括PSS、SSS和PBCH。SSB包括四个连续OFDM符号，并且在各个OFDM符号中发送PSS、PBCH、SSS/PBCH或PBCH。PBCH基于极性码来编码/解码，并且按四相相移键控(QPSK)调制/解调。OFDM符号中的PBCH包括映射有PBCH的复调制值的数据RE和映射有用于PBCH的DMRS的DMRS RE。OFDM符号中每RB存在三个DMRS RE并且每两个DMRS RE之间存在三个数据RE。

小区搜索

小区搜索是由UE获取小区的时间/频率同步并检测小区的小区ID(例如，物理小区ID(PCI))的处理。PSS用于检测小区ID组中的小区ID，SSS用于检测小区ID组。PBCH用于SSB(时间)索引检测和半帧检测。

在5G***中，存在336个小区ID组，各个小区ID组包括3个小区ID。因此，总共1008个小区ID可用。通过/从小区的SSS提供/获取关于小区的小区ID所属的小区ID组的信息，通过/从PSS提供/获取关于小区ID内的336个小区当中的小区ID的信息。

以SSB周期性周期性地发送SSB。UE在初始小区搜索期间假设20ms的默认SSB周期性。在小区接入之后，SSB周期性可被网络(例如，BS)设定为{5ms,10ms,20ms,40ms,80ms,160ms}之一。在SSB周期的开始处配置SSB突发集合。SSB突发集合由5-ms时间窗口(例如，半帧)组成，并且SSB可在SSB突发集合内发送至多L次。SSB传输的最大数量L可根据载波的频带如下给出。

-对于直至3GHz的频率范围，L＝4

-对于从3GHz至6GHz的频率范围，L＝8

-对于从6GHz至52.6GHz的频率范围，L＝64

半帧中的SSB的可能时间位置由子载波间距确定，并且承载SSB的半帧的周期性由网络配置。SSB候选的时间位置在SSB突发集合(例如，半帧)中按时间顺序索引为0至L-1(SSB索引)。其它SSB可在半帧的持续时间期间在不同的空间方向上(由跨越小区的覆盖区域的不同波束)发送。因此，在5G***中，SSB索引(SSBI)可与BS传输(Tx)波束关联。

UE可通过检测SSB来获取DL同步。UE可基于所检测的(时间)SSBI以及因此符号/时隙/半帧边界来标识SSB突发集合的结构。可使用***帧号(SFN)信息和半帧指示信息来标识所检测到的SSB所属的帧/半帧的编号。

具体地，UE可从PBCH获取承载PBCH的帧的10比特SFN。随后，UE可获取1比特半帧指示信息。例如，当UE检测到半帧指示比特设定为0的PBCH时，UE可确定PBCH所属的SSB在帧的第一半帧中。当UE检测到半帧指示比特设定为1的PBCH时，UE可确定PBCH所属的SSB在帧的第二半帧中。最后，UE可基于DMRS序列和PBCH上传送的PBCH有效载荷来获取PBCH所属的SSB的SSBI。

***信息(SI)获取

SI被分成主信息块(MIB)和多个***信息块(SIB)。除了MIB之外的SI可被称为剩余最小***信息(RMSI)。细节可参考以下内容。

-MIB包括用于监测调度承载systemInformationBlock1(SIB1)的PDSCH的PDCCH的信息/参数，并且由BS在SSB的PBCH上发送。例如，UE可从MIB确定是否存在用于Type0-PDCCH公共搜索空间的任何CORESET。Type0-PDCCH公共搜索空间是一种PDCCH搜索空间并且用于发送调度SI消息的PDCCH。在存在Type0-PDCCH公共搜索空间的情况下，UE可基于包括在MIB中的信息(例如，pdcch-ConfigSIB1)来确定(1)包括在CORESET中的多个邻接RB和一个或更多个连续符号以及(ii)PDCCH时机(例如，要接收PDCCH的时域位置)。

-SIB1包括与剩余SIB(以下，称为SIBx，其中x是等于或大于2的整数)的可用性和调度(例如，传输周期和SI窗口大小)有关的信息。例如，SIB1可指示SIBx是周期性地还是应用户请求以按需方式广播。如果SIBx以按需方式提供，则SIB1可包括用于UE发送SI请求的信息。在Type0-PDCCH公共搜索空间中发送调度SIB1的PDCCH，并且在PDCCH所指示的PDSCH上发送SIB1。

-SIBx包括在SI消息中并且在PDSCH上发送。各个SI消息在周期性时间窗口(例如，SI窗口)内发送。

随机接入过程

随机接入过程用于各种目的。例如，随机接入过程可用于网络初始接入、切换和UE触发的UL数据传输。UE可在随机接入过程中获取UL同步和UL传输资源。随机接入过程可以是基于竞争的或无竞争的。

图4是示出示例随机接入过程的图。具体地，图4示出基于竞争的随机接入过程。

首先，UE可在PRACH上发送随机接入前导码作为随机接入过程的第一消息(Msg1)。在本公开中，随机接入过程和随机接入前导码也分别称为RACH过程和RACH前导码。

多个前导码格式由一个或更多个RACH OFDM符号和不同的循环前缀(CP)(和/或保护时间)定义。小区的RACH配置被包括在小区的***信息中并提供给UE。RACH配置包括关于PRACH的子载波间距、可用前导码、前导码格式等的信息。RACH配置包括SSB与RACH(时间-频率)资源之间的关联信息，即，SSBI与RACH(时间-频率)资源之间的关联信息。SSBI分别与BS的Tx波束关联。UE在与所检测或选择的SSB关联的RACH时间-频率资源中发送RACH前导码。BS可基于检测到RACH前导码的时间-频率资源来标识UE的优选BS Tx波束。

用于RACH资源关联的SSB阈值可由网络配置，并且基于测量到满足阈值的RSRP的SSB来执行RACH前导码传输(例如，PRACH传输)或重传。例如，UE可选择满足阈值的SSB之一并在与所选SSB关联的RACH资源中发送或重发RACH前导码。

在从UE接收到RACH前导码时，BS向UE发送RAR消息(第二消息(Msg2))。调度承载RAR消息的PDSCH的PDCCH是通过RA无线电网络临时标识符(RNTI)(RA-RNTI)进行循环冗余校验(CRC)掩码并发送。当UE检测到通过RA-RNTI掩码的PDCCH时，UE可在PDCCH上传送的DCI所调度的PDSCH上接收RAR消息。UE确定所发送的前导码(即，Msg1)的RAR信息是否包括在RAR消息中。UE可通过检查是否存在所发送的前导码的RACH前导码ID来确定是否包括所发送的Msg1的随机接入信息。如果UE未能接收到对Msg1的响应，则UE可在执行功率渐升的同时发送RACH前导码预定次数或更少次数。UE基于最新路径损耗和功率渐升计数器来计算前导码重传的PRACH传输功率。

在PDSCH上接收到UE的RAR信息时，UE可获取用于UL同步的定时提前信息、初始UL许可和UE临时小区RNTI(C-RNTI)。定时提前信息用于控制UL信号传输定时。为了允许在UE的PUSCH/PUCCH传输与网络端的子帧定时之间更好地对准，网络(例如，BS)可测量PUSCH/PUCCH/SRS接收与子帧之间的时间差，并且基于所测量的时间差来发送定时提前信息。UE可在PUSCH上执行UL传输作为RACH过程的第三消息(Msg3)。Msg3可包括RRC连接请求和UE ID。网络可响应于Msg3而发送第四消息(Msg4)，Msg4可被当作DL上的竞争解决消息。当UE接收到Msg4时，UE可进入RRC_CONNECTED状态。

无竞争RACH过程可用于UE切换到另一小区或BS，或者当通过BS命令请求时执行。无竞争RACH过程基本上与基于竞争的RACH过程类似。然而，与在多个RACH前导码当中随机选择要使用的前导码的基于竞争的RACH过程相比，BS在无竞争RACH过程中向UE分配UE要使用的前导码(称为专用RACH前导码)。关于专用RACH前导码的信息可被包括在RRC消息(例如，切换命令)中或根据PDCCH命令提供给UE。当RACH过程开始时，UE向BS发送专用RACH前导码。当UE从BS接收到RACH过程时，RACH过程完成。

DL和UL发送/接收操作

DL发送/接收操作

DL许可(也称为DL指派)可被分类为(1)动态许可和(2)配置的许可。动态许可是基于BS的动态调度的数据发送/接收方法，目标是使资源利用率最大化。

BS通过DCI调度DL传输。UE从BS接收用于DL调度(例如，包括PDSCH的调度信息)的DCI(称为DL许可DCI)。例如，用于DL调度的DCI可包括以下信息：BWP指示符、频域资源指派、时域资源指派以及调制和编码方案(MCS)。

UE可基于DCI中的MCS字段来确定PDSCH的调制阶数、目标码率和TB大小(TBS)。UE可根据频域资源指派和时域资源指派在时间-频率资源中接收PDSCH。

DL配置的许可也称为半持久调度(SPS)。UE可从BS接收包括用于DL数据传输的资源配置的RRC消息。在DL SPS的情况下，实际DL配置的许可由PDCCH提供，并且DL SPS由PDCCH启用或停用。当配置DL SPS时，BS通过RRC信令向UE提供至少以下参数：用于启用、停用和重传的配置的调度RNTI(CS-RNTI)；以及周期性。通过DCI在向CS-RNTI寻址的PDCCH中将用于DL SPS的实际DL许可(例如，频率资源指派)提供给UE。如果向CS-RNTI寻址的PDCCH的DCI中的特定字段被设定为特定值以用于调度启用，则与CS-RNTI关联的SPS被启用。向CS-RNTI寻址的PDCCH的DCI包括实际频率资源分配信息、MCS索引等。UE可基于SPS在PDSCH上接收DL数据。

UL发送/接收操作

UL许可可被分类为(1)通过UL许可DCI动态地调度PUSCH的动态许可以及(2)通过RRC信令半静态地调度PUSCH的配置的许可。

图5是示出根据UL许可的示例UL传输的图。具体地，图5的(a)示出基于动态许可的UL传输过程，图5的(b)示出基于配置的许可的UL传输过程。

在UL动态许可的情况下，BS向UE发送包括UL调度信息的DCI。UE在PDCCH上接收用于UL调度(例如，包括PUSCH的调度信息)的DCI(称为UL许可DCI)。用于UL调度的DCI可包括例如以下信息：BWP指示符、频域资源指派、时域资源指派和MCS。为了BS高效分配UL无线电资源，UE可向BS发送关于要发送的UL数据的信息，并且BS可基于该信息向UE分配UL资源。关于要发送的UL数据的信息被称为缓冲器状态报告(BSR)，并且BSR与存储在UE的缓冲器中的UL数据的量有关。

参照图5的(a)，所示UL传输过程针对没有可用于BSR传输的UL无线电资源的UE。在没有可用于UL数据传输的UL许可的情况下，UE无法在PUSCH上发送BSR。因此，UE应该从PUCCH上的SR传输开始请求用于UL数据的资源。在这种情况下，使用5步UL资源分配过程。

参照图5的(a)，在没有用于BSR传输的PUSCH资源的情况下，UE首先向BS发送SR，以用于PUSCH资源分配。当尽管发生缓冲器状态报告事件，没有PUSCH资源可用于UE时，SR用于UE向BS请求用于UL传输的PUSCH资源。在存在用于SR的有效PUCCH资源的情况下，UE在PUCCH上发送SR，而在没有用于SR的有效PUCCH资源的情况下，UE开始上述(基于竞争的)RACH过程。在UL许可DCI中从BS接收到UL许可时，UE在通过UL许可分配的PUSCH资源中向BS发送BSR。BS基于BSR来检查UE要发送的UL数据的量并在UL许可DCI中向UE发送UL许可。在检测到包括UL许可DCI的PDCCH时，UE基于包括在UL许可DCI中的UL许可在PUSCH上向BS发送实际UL数据。

参照图5的(b)，在配置的许可的情况下，UE从BS接收包括用于UL数据传输的资源配置的RRC消息。在NR***中，定义了两种类型的UL配置的许可：类型1和类型2。在UL配置的许可类型1的情况下，实际UL许可(例如，时间资源和频率资源)由RRC信令提供，而在UL配置的许可类型2的情况下，实际UL许可由PDCCH提供，并且由PDCCH启用或停用。如果配置的许可类型1被配置，则BS通过RRC信令向UE提供至少以下参数：用于重传的CS-RNTI；配置的许可类型1的周期性；关于时隙中用于PUSCH的起始符号索引S和符号数量L的信息；表示时域中相对于SFN＝0的资源偏移的时域偏移；以及表示调制阶数、目标码率和TB大小的MCS索引。如果配置的许可类型2被配置，则BS通过RRC信令向UE提供至少以下参数：用于启用、停用和重传的CS-RNTI；以及配置的许可类型2的周期性。通过向CS-RNTI寻址的PDCCH的DCI将配置的许可类型2的实际UL许可提供给UE。如果向CS-RNTI寻址的PDCCH的DCI中的特定字段被设定为特定值以用于调度启用，则启用与CS-RNTI关联的配置的许可类型2。PDCCH中设定为特定值以用于调度启用的DCI包括实际频率资源分配信息、MCS索引等。UE可基于类型1或类型2的配置的许可在PUSCH上执行UL传输。

图6是示出示例物理信道处理的概念图。

图6所示的各个块可在发送装置中的物理层块的对应模块中执行。更具体地，图6中描绘的信号处理可由本公开中描述的UE的处理器执行以用于UL传输。除了变换预编码之外以CP-OFDM信号生成代替SC-FDMA信号生成的图6的信号处理可在本公开中描述的BS的处理器中执行以用于DL传输。参照图6，UL物理信道处理可包括加扰、调制映射、层映射、变换预编码、预编码、RE映射和SC-FDMA信号生成。上述处理可在发送装置的模块中单独或一起执行。作为一种离散傅里叶变换(DFT)，变换预编码是以降低波形的峰均功率比(PAPR)的特殊方式对UL数据进行扩频。与用于DFT扩频的变换预编码一起使用CP的OFDM被称为DFT-s-OFDM，在没有DFT扩频的情况下使用CP的OFDM被称为CP-OFDM。通过DFT-s-OFDM生成SC-FDMA信号。在NR***中，如果为UL启用变换预编码，则可以可选地应用变换预编码。即，NR***针对UL波形支持两个选项：一个是CP-OFDM，另一个是DFT-s-OFDM。BS向UE提供RRC参数，使得UE确定对于UL传输波形是使用CP-OFDM还是DFT-s-OFDM。图6是示出用于DFT-s-OFDM的UL物理信道处理的概念图。对于CP-OFDM，从图6的处理省略变换预编码。对于DL传输，CP-OFDM用于DL波形传输。

将更详细地描述上述各个处理。对于一个码字，发送装置可通过加扰器对码字的编码比特进行加扰，然后在物理信道上发送加扰的比特。通过对TB进行编码来获得码字。通过调制映射器将加扰的比特调制为复值调制符号。调制映射器可按预定调制方案对加扰的比特进行调制并将调制的比特布置为表示信号星座上的位置的复值调制符号。Pi/2-二相相移键控(pi/2-BPSK)、m-相移键控(m-PSK)、m-正交幅度调制(m-QAM)等可用于编码数据的调制。可通过层映射器将复值调制符号映射到一个或更多个传输层。各个层上的复值调制符号可由预编码器预编码，以用于通过天线端口传输。如果变换预编码可用于UL传输，则预编码器可在复值调制符号经受变换预编码之后执行预编码，如图6所示。预编码器可通过根据多个Tx天线以多输入多输出(MIMO)方案处理复值调制符号来输出天线特定符号，并且将天线特定符号分布到对应RE映射器。预编码器的输出z可通过将层映射器的输出y乘以N×M预编码矩阵W来获得，其中N是天线端口数，M是层数。RE映射器将各个天线端口的复值调制符号映射到分配用于传输的RB中的适当RE。RE映射器可将复值调制符号映射到适当子载波，并根据用户来复用映射的符号。SC-FDMA信号发生器(当在DL传输或UL传输中禁用变换预编码时，CP-OFDM信号发生器)可通过按特定调制方案(例如，OFDM)调制复值调制符号来生成复值时域OFDM符号信号。SC-FDMA信号发生器可对天线特定符号执行快速傅里叶逆变换(IFFT)并将CP***到时域IFFT处理的符号中。OFDM符号经受数模转换、频率上转换等，然后通过各个Tx天线发送到接收装置。各个SC-FDMA信号发生器可包括IFFT模块、CP***器、数模转换器(DAC)、上变频器等。

接收装置的信号处理过程按发送装置的信号处理过程的相反顺序执行。细节参考以上描述和图6。

现在，将描述PUCCH。

PUCCH用于UCI传输。UCI包括请求UL传输资源的SR、表示UE基于DL RS测量的DL信道状态的CSI和/或指示UE是否成功接收DL数据的HARQ-ACK。

PUCCH支持多种格式，并且PUCCH格式根据符号持续时间、有效载荷大小以及复用或非复用来分类。下面的[表1]列出示例PUCCH格式。

[表1]

BS通过RRC信令为UE配置PUCCH资源。例如，为了分配PUCCH资源，BS可为UE配置多个PUCCH资源集，并且UE可选择与UCI(有效载荷)大小(例如，UCI比特数)对应的特定PUCCH资源集。例如，UE可根据UCI比特数N_UCI选择以下PUCCH资源集之一。

-如果UCI比特数≤2，则PUCCH资源集#0

-如果2<UCI比特数≤N₁，则PUCCH资源集#1

...

-如果N_K-2<UCI比特数≤N_K-1，则PUCCH资源集#(K-1)

本文中，K表示PUCCH资源集的数量(K>1)，Ni表示PUCCH资源集#i所支持的最大UCI比特数。例如，PUCCH资源集#1可包括PUCCH格式0至PUCCH格式1的资源，其它PUCCH资源集可包括PUCCH格式2至PUCCH格式4的资源。

随后，BS可在PDCCH上向UE发送DCI，通过DCI中的ACK/NACK资源指示符(ARI)指示特定PUCCH资源集的PUCCH资源当中要用于UCI传输的PUCCH资源。ARI可用于指示用于HARQ-ACK传输的PUCCH资源，也称为PUCCH资源指示符(PRI)。

增强移动宽带通信(eMBB)

在NR***中，考虑Tx/Rx天线的数量显著增加的大规模MIMO环境。另一方面，在6GHz或以上操作的NR***中，考虑波束成形，其中能量集中于特定方向而非全向地发送信号，以补偿快速传播衰减。因此，为了增加的性能、灵活的资源分配以及频率方面的波束控制容易，需要根据应用波束成形权重向量/预编码向量的位置将模拟波束成形和数字波束成形组合的混合波束成形。

混合波束成形

图7是示出用于混合波束成形的示例发送机和接收机的框图。

在混合波束成形中，BS或UE可通过使用适当的相位差经由多个天线发送相同的信号，因此仅增加特定方向上的能量来形成窄波束。

波束管理(BM)

BM是用于获取并维持可用于DL和UL发送/接收的一组BS(或发送和接收点(TRP))波束和/或UE波束的一系列处理。BM可包括以下处理和术语。

-波束测量：BS或UE测量所接收的波束成形信号的特性。

-波束确定：BS或UE选择其Tx波束/Rx波束。

-波束扫掠：在预定时间间隔内以预定方法使用Tx波束和/或Rx波束覆盖空间域。

-波束报告：UE报告关于基于波束测量波束成形的信号的信息。

BM过程可被分成(1)使用SSB或CSI-RS的DL BM过程以及(2)使用SRS的UL BM过程。此外，各个BM过程可包括用于确定Tx波束的Tx波束扫掠以及用于确定Rx波束的Rx波束扫掠。以下描述将集中于使用SSB的DL BM过程。

使用SSB的DL BM过程可包括(1)从BS发送波束成形的SSB以及(2)UE的波束报告。SSB可用于Tx波束扫掠和Rx波束扫掠二者。可通过在UE处改变Rx波束的同时尝试SSB接收来执行基于SSB的Rx波束扫掠。

当在RRC_CONNECTED状态下配置CSI/波束时，可配置基于SSB的波束报告。

-UE从BS接收关于用于BM的SSB资源集的信息。SSB资源集可配置有一个或更多个SSBI。对于各个SSB资源集，可定义SSBI 0至SSBI 63。

-UE基于关于SSB资源集的信息在SSB资源中从BS接收信号。

-当BS向UE配置SSBRI和RSRP报告时，UE向BS报告(最佳)SSBRI和与SSBRI对应的RSRP。

BS可基于从UE接收的波束报告来确定在向UE的DL传输中使用的BS Tx波束。

波束故障恢复(BFR)过程

在波束成形***中，由于UE的旋转或移动或者波束成形障碍，可能经常发生无线电链路故障(RLF)。因此，支持BFR以防止NR中频繁发生RLF。

为了波束故障检测，BS为UE配置波束故障检测RS。如果来自UE的物理层的波束故障指示的数量在由BS的RRC信令配置的周期内达到由RRC信令配置的阈值，则UE声明波束故障。

在检测到波束故障之后，UE通过在Pcell上发起RACH过程来触发BFR，并且通过选择合适的波束来执行BFR(如果BS为某些波束提供专用RACH资源，则UE首先使用专用RACH资源执行RACH过程以用于BFR)。在RACH过程完成时，UE认为BFR已完成。

超可靠和低延迟通信(URLLC)

NR中定义的URLLC传输可意指具有(1)相对小的业务大小、(2)相对低的到达率、(3)极低的延迟要求(例如，0.5ms或1ms)、(4)相对短的传输持续时间(例如，2个OFDM符号)和(5)紧急服务/消息的传输。

抢占指示

尽管可在非交叠的时间/频率资源中调度eMBB和URLLC服务，但是URLLC传输可在为正在进行的eMBB业务调度的资源中进行。为了使得接收PDSCH的UE能够确定PDSCH由于另一UE的URLLC传输而被部分地打孔，可使用抢占指示。抢占指示也可被称为中断传输指示。

关于抢占指示，UE通过RRC信令从BS接收DL抢占RRC信息(例如，DownlinkPreemption IE)。

UE基于DL抢占RRC信息从BS接收DCI格式2_1。例如，UE尝试使用由DL抢占RRC信息配置的int-RNTI来检测传送抢占指示相关DCI(DCI格式2_1)的PDCCH。

在检测到由DL抢占RRC信息配置的服务小区的DCI格式2_1时，UE可假设在DCI格式2_1所属的监测间隔之前不久的监测间隔期间在RB集合和符号集合中DCI格式2_1所指示的RB和符号中不存在指向UE的传输。例如，考虑到抢占指示所指示的时间-频率资源中的信号不是为UE调度的DL传输，UE基于在剩余资源区域中接收的信号对数据进行解码。

大规模MTC(mMTC)

mMTC是支持同时与多个UE进行通信的超连接服务的5G场景之一。在此环境中，UE在低移动性下以非常低的传输速率间歇地通信。因此，mMTC主要寻求UE以低成本的长操作。在这方面，下面将描述3GPP中处理的MTC和窄带物联网(NB-IoT)。

在物理信道的传输时间间隔(TTI)是子帧的认识下给出以下描述。例如，物理信道传输开始与下一物理信道传输开始之间的最小时间间隔是一个子帧。然而，在以下描述中子帧可由时隙、迷你时隙或多个时隙代替。

机器型通信(MTC)

MTC是不需要高吞吐量的应用，适用于机器对机器(M2M)或IoT。MTC是采用3GPP来满足IoT服务的要求的通信技术。

尽管以下主要描述与增强MTC(eMTC)有关的特征，但是除非另外提及，否则同样的内容适用于MTC、eMTC以及要应用于5G(或NR)的MTC。如本文中使用的术语MTC可与eMTC、LTE-M1/M2、带宽减小低复杂度(BL)/覆盖范围增强(CE)、非BL UE(增强覆盖范围中)、NRMTC、增强BL/CE等互换。

常规MTC

(1)MTC仅在特定***BW(或信道BW)中操作。

在传统LTE***或NR***中，MTC可使用***频带的RB当中的预定数量的RB。在NR中，可考虑频率范围和子载波间距来定义MTC的操作频率BW。MTC操作的特定***或频率BW被称为MTC窄带(NB)或MTC子带。在NR中，MTC可在至少一个BWP或BWP的特定频带中操作。

尽管具有比1.08MHz大许多的BW(例如，10MHz)的小区支持MTC，但是在MTC中发送/接收的物理信道和信号总是被限制为1.08MHz或6个(LTE)RB。例如，在LTE***中，窄带被定义为频域中6个非交叠连续物理资源块(PRB)。

在MTC中，在窄带内限制性地分配一些DL信道和UL信道，并且在一个时间单元中一个信道不占用多个窄带。图8a是示出示例窄带操作的图，图8b是示出具有RF重调谐的示例MTC信道重复的图。

可通过BS所发送的***信息或DCI为UE配置MTC窄带。

(2)MTC不使用要横跨传统LTE或NR的总***BW分布的信道(传统LTE或NR中定义的)。例如，由于传统LTE PDCCH横跨总***BW分布，所以在MTC中不使用传统PDCCH。相反，在MTC中使用新控制信道MTC PDCCH(MPDCCH)。在频域中在至多6个RB中发送/接收MPDCCH。在时域中，可在子帧的OFDM符号当中从来自BS的RRC参数所指示的起始OFDM符号索引的OFDM符号开始的一个或更多个OFDM符号中发送MPDCCH。

(3)在MTC中，可重复地发送PBCH、PRACH、MPDCCH、PDSCH、PUCCH和PUSCH。即使当信号质量或功率非常差时(如类似地下室的恶劣条件下)，MTC重复传输也可使得这些信道可解码，从而导致增加的小区半径和信号穿透的效果。

MTC操作模式和级别

对于CE，在MTC中使用两个操作模式，CE模式A和CE模式B以及四个不同的CE级别，如下面的[表2]中列出的。

[表2]

MTC操作模式由BS确定，并且CE级别由MTC UE确定。

MTC保护周期

用于MTC的窄带的位置可在各个特定时间单元(例如，子帧或时隙)中改变。MTC UE可在不同时间单元中调谐至不同频率。频率重调谐可能需要特定时间，因此用作MTC的保护周期。在保护周期期间不发生发送和接收。

MTC信号发送/接收方法

除了MTC固有的特征之外，MTC信号发送/接收过程类似于图2所示的过程。也可针对MTC执行图2中的S201的操作。在MTC中在初始小区搜索操作中使用的PSS/SSS可以是传统LTE PSS/SSS。

在使用PSS/SSS获取与BS的同步之后，MTC UE可通过从BS接收PBCH信号来获取小区内的广播信息。在PBCH上发送的广播信息是MIB。在MTC中，传统LTE MIB的比特当中的预留比特用于发送新***信息块1带宽减小(SIB1-BR)的调度信息。SIB1-BR的调度信息可包括关于传送SIB1-BR的PDSCH的重复次数和TBS的信息。对传送SIB-BR的PDSCH的频率资源指派可以是窄带内的6个连续RB的集合。SIB-BR直接在PDSCH上发送，而无需与SIB-BR关联的控制信道(例如，PDCCH或MPDCCH)。

在完成初始小区搜索之后，MTC UE可通过基于MPDCCH的信息接收MPDCCH和PDSCH来获取更多特定***信息(S202)。

随后，MTC UE可执行RACH过程以完成与BS的连接(S203至S206)。MTC UE的RACH过程的基本配置可在SIB2中发送。此外，SIB2包括寻呼相关参数。在3GPP***中，寻呼时机(PO)意指UE可尝试接收寻呼的时间单元。寻呼是指存在要发送到UE的数据的网络指示。MTCUE尝试在为寻呼配置的窄带(寻呼窄带(PNB))中与其PO对应的时间单元中基于P-RNTI接收MPDCCH。当UE基于P-RNTI成功解码MPDCCH时，UE可通过接收由MPDCCH调度的PDSCH来检查其寻呼消息。在存在其寻呼消息的情况下，UE通过执行RACH过程来接入网络。

在MTC中，可在RACH过程中重复地发送信号和/或消息(Msg1、Msg2、Msg3和Msg4)，并且可根据CE级别设定不同的重复图案。

为了随机接入，由BS用信号通知用于不同CE级别的PRACH资源。可将用于至多4个相应CE级别的不同PRACH资源用信号通知给MTC UE。MTC UE使用DL RS(例如，CRS、CSI-RS或TRS)来测量RSRP并基于该测量来确定BS用信号通知的CE级别之一。UE基于所确定的CE级别来选择用于随机接入的不同PRACH资源(例如，用于PARCH的频率、时间和前导码资源)之一并发送PRACH。BS可基于UE已用于PRACH传输的PRACH资源来确定UE的CE级别。BS可基于UE通过PRACH传输指示的CE级别来确定UE的CE模式。BS可在CE模式下向UE发送DCI。

BS在***信息中用信号通知对PRACH的RAR和竞争解决消息的搜索空间。

在上述过程之后，MTC UE可在一般UL/DL信号传输过程中接收MPDCCH信号和/或PDSCH信号(S207)并发送PUSCH信号和/或PUCCH信号(S208)。MTC UE可在PUCCH或PUSCH上向BS发送UCI。

一旦建立对MTC UE的RRC连接，MTC UE通过在配置的搜索空间中监测MPDCCH来尝试接收MDCCH，以便获取UL和DL数据分配。

在传统LTE中，PDSCH由PDCCH调度。具体地，PDCCH可在子帧的前N(N＝1、2或3)个OFDM符号中发送，并且由PDCCH调度的PDSCH在相同的子帧中发送。

与传统LTE相比，在MTC中在不同的子帧中发送/接收MPDCCH和由MPDCCH调度的PDSCH。例如，子帧#n中最后重复的MPDCCH调度在子帧#n+2中开始的PDSCH。MPDCCH可仅发送一次或重复地发送。通过来自BS的RRC信令为UE配置MPDCCH的最大重复次数。MPDCCH上承载的DCI提供关于MPDCCH重复多少次的信息，以使得UE可确定PDSCH传输何时开始。例如，如果在子帧#n中开始的MPDCCH中的DCI包括指示MPDCCH重复10次的信息，则MPDCCH可在子帧#n+9中结束并且PDSCH可在子帧#n+11中开始。MPDCCH上承载的DCI可包括关于由DCI调度的物理数据信道(例如，PUSCH或PDSCH)的重复次数的信息。UE可根据关于由DCI调度的物理数据信道的重复次数的信息在时域中重复地发送/接收物理数据信道。可在与发送调度PDSCH的MPDCCH的窄带相同或不同的窄带中调度PDSCH。当MPDCCH和PDSCH在不同的窄带中时，MTCUE需要在解码PDSCH之前重调谐至承载PDSCH的窄带的频率。对于UL调度，可遵循与传统LTE中相同的定时。例如，在子帧#n中结束的MPDCCH可调度在子帧#n+4中开始的PUSCH传输。如果重复地发送物理信道，则通过RF重调谐在不同的MTC子带之间支持跳频。例如，如果在32个子帧中重复地发送PDSCH，则在第一MTC子带中的前16个子帧和第二MTC子带中的剩余16个子帧中发送PDSCH。MTC可在半双工模式下操作。

窄带-物联网(NB-IoT)

NB-IoT可指通过与无线通信***(例如，LTE***或NR***)的一个RB对应的***BW来支持低复杂度、低功耗和频率资源的高效使用的***。NB-IoT可在半双工模式下操作。NB-IoT可用作在蜂窝***通过支持例如MTC装置(或UE)来实现IoT的通信方案。

在NB-IoT中，各个UE将一个RB感知为一个载波。因此，关于NB-IoT所提及的RB和载波可被解释为相同的含义。

尽管下面将在传统LTE***的上下文中描述关于NB-IoT的帧结构、物理信道、多载波操作和一般信号发送/接收，但是该描述也适用于下一代***(例如，NR***)。此外，NB-IoT的描述也可应用于为类似技术目的(例如，低功率、低成本和覆盖范围增强)服务的MTC。

NB-IoT帧结构和物理资源

可根据子载波间距配置不同的NB-IoT帧结构。例如，对于15kHz的子载波间距，NB-IoT帧结构可与传统***(例如，LTE***)相同。例如，10-ms NB-IoT帧可包括10个1-ms NB-IoT子帧，各个子帧包括两个0.5-ms时隙。各个0.5-ms NB-IoT时隙可包括7个OFDM符号。在另一示例中，对于具有3.75kHz的子载波间距的BWP或小区/载波，10-ms NB-IoT帧可包括五个2-ms NB-IoT子帧，各个子帧包括7个OFDM符号和一个保护周期(GP)。此外，2-ms NB-IoT子帧可在NB-IoT时隙或NB-IoT资源单元(RU)中表示。NB-IoT帧结构不限于15kHz和3.75kHz的子载波间距，也可通过改变时间/频率单元考虑其它子载波间距(例如，30kHz)的NB-IoT。

除了***BW被限制为预定数量的RB(例如，一个RB，即，180kHz)之外，可基于其它无线通信***(例如，LTE***或NR***)的物理资源来配置NB-IoT DL物理资源。例如，如果NB-IoT DL如前所述仅支持15-kHz子载波间距，则NB-IoT DL物理资源可被配置为图1所示的资源网格被限制为频域中的一个RB的资源区域。

类似NB-IoT DL物理资源，也可通过将***BW限制为一个RB来配置NB-IoT UL资源。在NB-IoT中，UL子载波的数量NUL_SC和时隙持续时间T_slot可如下面的[表3]所示给出。在LTE***的NB-IoT中，一个时隙的持续时间T_slot由时域中的7个SC-FDMA符号定义。

[表3]

子载波间距	NUL<sub>SC</sub>	T<sub>slot</sub>
			Δf＝3.75kHz	48	6144·T<sub>s</sub>
Δf＝15kHz	12	15360·T<sub>s</sub>

在NB-IoT中，RU用于映射到NB-IoT的PUSCH(称为NPUSCH)的RE。RU可由时域中的

个SC-FDMA符号×频域中的NRU_SC个连续子载波定义。例如，在[表4]中针对具有FDD帧结构的小区/载波并且在[表5]中针对具有TDD帧结构的小区/载波列出NPU_SC和

[表4]

[表5]

NB-IoT物理信道

可基于15-kHz子载波间距针对NB-IoT DL采用OFDMA。由于OFDMA提供子载波之间的正交性，所以可高效地支持与其它***(例如，LTE***或NR***)的共存。NB-IoT***的DL物理信道/信号的名称可具有“N(窄带)”前缀以与其在传统***中的对应物相区分。例如，DL物理信道可被命名为NPBCH、NPDCCH、NPDSCH等，DL物理信号可被命名为NPSS、NSSS、窄带参考信号(NRS)、窄带定位参考信号(NPRS)、窄带唤醒信号(NWUS)等。DL信道NPBCH、NPDCCH、NPDSCH等可在NB-IoT***中重复地发送以增强覆盖范围。此外，可在NB-IoT中使用新定义的DCI格式，例如DCI格式N0、DCI格式N1和DCI格式N2。

SC-FDMA可以15-kHz或3.75-kHz子载波间距应用于NB-IoT UL。如关于DL描述的，NB-IoT***的物理信道的名称可具有“N(窄带)”前缀以与其在传统***中的对应物相区分。例如，UL信道可被命名为NPRACH、NPUSCH等，UL物理信号可被命名为NDMRS等。NPUSCH可被分类为NPUSCH格式1和NPUSCH格式2。例如，NPUSCH格式1可用于发送(或传送)上行链路共享信道(UL-SCH)，NPUSCH格式2可用于诸如HARQ ACK信令的UCI传输。NB-IoT***中的UL信道NPRACH可重复地发送以增强覆盖范围。在这种情况下，重复的传输可经受跳频。

NB-IoT中的多载波操作

NB-IoT可在多载波模式下实现。多载波操作可指在BS与UE之间的发送/接收信道和/或信号中使用为不同用途配置的多个载波(例如，不同类型的多个载波)。

在NB-IoT中的多载波模式中，载波可被分成锚定型载波(例如，锚定载波或锚定PRB)和非锚定型载波(例如，非锚定载波或非锚定PRB)。

从BS的角度，锚定载波可指承载用于初始接入的NPSS、NSSS和NPBCH以及用于***信息块N-SIB的NPDSCH的载波。即，在NB-IoT中，用于初始接入的载波被称为锚定载波，其它载波被称为非锚定载波。

NB-IoT信号发送/接收处理

在NB-IoT中，除了NB-IoT固有的特征之外，以与图2所示的过程类似的方式发送/接收信号。参照图2，当NB-IoT UE通电或进入新的小区时，NB-IoT UE可执行初始小区搜索(S201)。对于初始小区搜索，NB-IoT UE可通过从BS接收NPSS和NSSS来获取与BS的同步并获得诸如小区ID的信息。此外，NB-IoT UE可通过从BS接收NPBCH来获取小区内的广播信息。

在初始小区搜索完成时，NB-IoT UE可通过接收NPDCCH并接收与NPDCCH对应的NPDSCH来获取更多特定***信息(S202)。换言之，BS可通过发送NPDCCH和与NPDCCH对应的NPDSCH来向已完成初始小区搜索的NB-IoT UE发送更多特定***信息。

然后，NB-IoT UE可执行RACH过程以完成与BS的连接建立(S203至S206)。为此，NB-IoT UE可在NPRACH上向BS发送前导码(S203)。如前所述，可配置基于跳频重复地发送NPRACH，以用于覆盖范围增强。换言之，BS可在NPRACH上从NB-IoT UE(重复地)接收前导码。然后，NB-IoT UE可在与NPDCCH对应的NPDSCH上从BS接收NPDCCH和响应于前导码的RAR(S204)。换言之，BS可在与NPDCCH对应的NPDSCH上向NB-IoT UE发送NPDCCH和响应于前导码的RAR。随后，NB-IoT UE可使用RAR中的调度信息向BS发送NPUSCH(S205)并通过接收NPDCCH和与NPDCCH对应的NPDSCH来执行竞争解决过程(S206)。

在上述处理之后，NB-IoT UE可在一般UL/DL信号传输过程中执行NPDCCH/NPDSCH接收(S207)和NPUSCH发送(S208)。换言之，在上述处理之后，BS可在一般UL/DL信号传输过程中与NB-IoT UE执行NPDCCH/NPDSCH发送和NPUSCH接收。

在NB-IoT中，NPBCH、NPDCCH和NPDSCH可重复地发送，以用于覆盖范围增强。在NB-IoT中，可在PUSCH上传送UL-SCH(例如，一般UL数据)和UCI。可配置UL-SCH和UCI以不同的NPUSCH格式(例如，NPUSCH格式1和NPUSCH格式2)发送。

在NB-IoT中，UCI通常可在NPUSCH上发送。此外，UE可根据网络(例如，BS)的请求/指示周期性地、非周期性地或半持久地发送NPUSCH。

无线通信设备

图9是本公开所提出的方法适用于的示例无线通信***的框图。

参照图9，无线通信***包括第一通信装置910和/或第二通信装置920。短语“A和/或B”和“A或B中的至少一个”可被解释为相同的含义。第一通信装置910可以是BS，第二通信装置920可以是UE(或者第一通信装置910可以是UE，第二通信装置920可以是BS)。

第一通信装置910和第二通信装置920中的每一个包括处理器911或921、存储器914或924、一个或更多个Tx/Rx RF模块915或925、Tx处理器912或922、Rx处理器913或923以及天线916或926。Tx/Rx模块也可被称为收发器。处理器执行上述功能、处理和/或方法。更具体地，在DL(从第一通信装置910到第二通信装置920的通信)上，来自核心网络的高层分组被提供给处理器911。处理器911实现层2(例如，L2)功能。在DL上，处理器911负责逻辑信道与传输信道之间的复用、向第二通信装置920提供无线电资源指派以及向第二通信装置920的信令。Tx处理器912执行L1(例如，物理层)的各种信号处理功能。信号处理功能方便第二通信装置920的前向纠错(FEC)，包括编码和交织。在加扰和调制之后，编码和交织的信号被调制为复值调制符号。对于调制，BPSK、QPSK、16QAM、64QAM、246QAM等根据信道而可用。复值调制符号(以下，称为调制符号)被分成并行流。各个流被映射到OFDM子载波并在时域和/或频域中与RS复用。通过使映射的信号经受IFFT，生成物理信道以承载时域OFDM符号流。OFDM符号流被空间预编码为多个空间流。各个空间流可通过单独的Tx/Rx模块(或收发器)915提供给不同天线916。各个Tx/Rx模块915可将各个空间流上变频为RF载波，以便于传输。在第二通信装置920中，各个Tx/Rx模块(或收发器)925通过各个天线926接收RF载波的信号。各个Tx/Rx模块925将RF载波的信号恢复为基带信号并将基带信号提供给Rx处理器923。Rx处理器923执行L1(例如，物理层)的各种信号处理功能。Rx处理器923可对信息执行空间处理以恢复指向第二通信装置920的任何空间流。如果多个空间流指向第二通信装置920，则多个Rx处理器可将多个空间流组合成单个OFDMA符号流。Rx处理器923通过FFT将作为时域信号的OFDM符号流转换为频域信号。频域信号在OFDM信号的各个子载波上包括单独的OFDM符号流。通过确定由第一通信装置910发送的最可能的信号星座点来恢复和解调各个子载波上的调制符号和RS。这些软判决可基于信道估计。软判决被解码和解交织，以恢复第一通信装置910在物理信道上发送的原始数据和控制信号。数据和控制信号被提供给处理器921。

在UL(从第二通信装置920到第一通信装置910的通信)上，第一通信装置910按关于第二通信装置920的接收机功能描述的相似方式操作。各个Tx/Rx模块925通过天线926接收信号。各个Tx/Rx模块925向Rx处理器923提供RF载波和信息。处理器921可与存储程序代码和数据的存储器924有关。存储器924可被称为计算机可读介质。

人工智能(AI)

人工智能是研究AI或创建AI的方法的领域，机器学习是定义AI领域中处理的各种问题并研究解决这些各种问题的方法的领域。机器学习被定义为通过操作的稳定体验来增加特定操作的性能的算法。

人工神经网络(ANN)是在机器学习中使用的模型，并且一般可指具有问题求解能力的模型，其由经由突触连接形成网络的人工神经元(节点)组成。ANN可由不同层中的神经元之间的连接图案、用于更新模型参数的学习处理以及用于生成输出值的激活函数定义。

ANN可包括输入层、输出层以及可选地一个或更多个隐藏层。各个层包括一个或更多个神经元，并且ANN可包括在神经元之间链接的突触。在ANN中，各个神经元可通过突触针对信号、权重和偏转的输入来输出激活函数的函数值。

模型参数是指通过学习确定的参数，并且包括神经元的突触连接和偏转的权重值。超参数意指要在学习之前在机器学习算法中设定的参数，并且包括学习速率、重复次数、迷你批大小和初始化函数。

ANN的学习目的可以是确定使损失函数最小化的模型参数。损失函数可用作确定ANN的学习过程中的最优模型参数的指标。

机器学习可根据学习方法分类为监督学习、无监督学习和强化学习。

监督学习可以是在给予训练数据的标签的状态下训练ANN的方法，并且标签可意指针对输入到ANN的训练数据ANN应该推断的正确答案(或结果值)。无监督学习可以是在没有给予训练数据的标签的状态下训练ANN的方法。强化学习可以是训练在特定环境中定义的代理在各个状态下选择使累积补偿最大化的行为或行为序列的学习方法。

由包括ANN当中的多个隐藏层的深度神经网络(DNN)实现的机器学习也被称为深度学习，深度学习是机器学习的一部分。在机器学习包括深度学习的认识下给出以下描述。

<机器人>

机器人可指通过其自身能力自动地处理或执行给定任务的机器。具体地，配备有识别环境并基于其决策执行操作的功能的机器人可被称为智能机器人。

机器人可根据其用途或应用领域被分类为工业机器人、医疗机器人、消费机器人、军用机器人等。

机器人可设置有包括致动器或电机的驱动单元，因此执行诸如移动机器人关节的各种物理操作。此外，可移动机器人可在驱动单元中包括轮子、制动器、推进器等，因此通过驱动单元在地面上行驶或在空中飞行。

<自驾驶>

自驾驶是指自主驾驶，自驾驶车辆是指在没有用户操纵或最小用户操纵的情况下行驶的车辆。

例如，自驾驶可包括在行驶的同时维持车道的技术、自动地调节速度的技术(例如，自适应巡航控制)、沿着预定路线自动地行驶的技术以及当设定目的地时自动地设定路线并沿着路线行驶的技术。

车辆可包括仅具有内燃发动机的车辆、具有内燃发动机和电动机二者的混合动力车辆以及仅具有电动机的电动车辆，并且可不仅包括汽车，而且包括火车、摩托车等。

本文中，自驾驶车辆可被视为具有自驾驶功能的机器人。

<扩展现实(XR)>

扩展现实是涵盖虚拟现实(VR)、增强现实(AR)和混合现实(MR)的总称。VR仅提供真实世界对象和背景作为计算机图形(CG)图像，AR在真实对象图像上提供虚拟CG图像，MR是将虚拟对象混合并组合到真实世界中的计算机图形技术。

MR与AR的相似之处在于，真实对象和虚拟对象被显示在一起。然而，在AR中，虚拟对象用作真实对象的补充，而在MR中，虚拟对象和真实对象被等同地对待。

XR可应用于头戴式显示器(HMD)、平视显示器(HUD)、便携式电话、平板PC、膝上型计算机、台式计算机、TV、数字标牌等。应用XR的装置可被称为XR装置。

图10示出根据本公开的实施方式的AI装置1000。

图10所示的AI装置1000可被配置为固定装置或移动装置，例如TV、投影仪、便携式电话、智能电话、台式计算机、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、平板PC、可穿戴装置、机顶盒(STB)、数字多媒体广播(DMB)接收机、收音机、洗衣机、冰箱、数字标牌、机器人或车辆。

参照图10，AI装置1000可包括通信单元1010、输入单元1020、学习处理器1030、感测单元1040、输出单元1050、存储器1070和处理器1080。

通信单元1010可通过有线或无线通信向外部装置(例如，另一AI装置或AI服务器)发送数据以及从其接收数据。例如，通信单元1010可向外部装置发送以及从其接收传感器信息、用户输入、学习模型和控制信号。

通信单元1010所使用的通信方案包括全球移动通信***(GSM)、CDMA、LTE、5G、无线局域网(WLAN)、无线保真(Wi-Fi)、BluetoothTM、射频识别(RFID)、红外数据协会(IrDA)、ZigBee、近场通信(NFC)等。具体地，也可应用之前参照图1至图9描述的5G技术。

输入单元1020可获取各种类型的数据。输入单元1020可包括用于输入视频信号的相机、用于接收音频信号的麦克风以及用于从用户接收信息的用户输入单元。相机或麦克风可被当作传感器，因此从相机或麦克风获取的信号可被称为感测数据或传感器信息。

输入单元1020可获取用于模型训练的训练数据以及要用于使用学习模型获取输出的输入数据。输入单元1020可获取原始输入数据。在这种情况下，处理器1080或学习处理器1030可通过预处理输入数据来提取输入特征。

学习处理器1030可使用训练数据来训练由ANN组成的模型。训练的ANN可被称为学习模型。学习模型可用于推断新输入数据而非训练数据的结果值，并且推断的值可用作确定执行特定操作的基础。

学习处理器1030可与AI服务器的学习处理器一起执行AI处理。

学习处理器1030可包括集成或实现在AI装置1000中的存储器。另选地，学习处理器1030可使用存储器1070、直接连接到AI装置1000的外部存储器或维持在外部装置中的存储器来实现。

感测单元1040可使用各种传感器来获取关于AI装置1000的内部信息、关于AI装置1000的周围环境信息以及用户信息中的至少一个。

包括在感测单元1040中的传感器可包括接近传感器、照度传感器、加速度传感器、磁传感器、陀螺仪传感器、惯性传感器、红绿蓝(RGB)传感器、IR传感器、指纹识别传感器、超声传感器、光学传感器、麦克风、光检测和测距(LiDAR)以及雷达。

输出单元1050可生成视觉、听觉或触觉输出。

因此，输出单元1050可包括用于输出视觉信息的显示单元、用于输出听觉信息的扬声器以及用于输出触觉信息的触觉模块。

存储器1070可存储支持AI装置1000的各种功能的数据。例如，存储器1070可存储通过输入单元1020获取的输入数据、训练数据、学习模型、学习历史等。

处理器1080可基于通过数据分析算法或机器学习算法确定或生成的信息来确定AI装置100的至少一个可执行操作。处理器1080可控制AI装置1000的组件执行所确定的操作。

为此，处理器1080可请求、搜索、接收或利用学习处理器1030或存储器1070的数据。处理器1080可控制AI装置1000的组件执行预测的操作或者至少一个可执行操作当中被确定为可取的操作。

当所确定的操作需要结合外部装置执行时，处理器1080可生成用于控制外部装置的控制信号并将所生成的控制信号发送到外部装置。

处理器1080可获取关于用户输入的意图信息并基于所获取的意图信息来确定用户的要求。

处理器1080可使用用于将语音输入转换为文本串的语音至文本(STT)引擎或用于获取自然语言的意图信息的自然语言处理(NLP)引擎中的至少一个来获取与用户输入对应的意图信息。

STT引擎或NLP引擎中的至少一个可被配置为ANN，其至少一部分根据机器学习算法来训练。STT引擎或NLP引擎中的至少一个可通过学习处理器、AI服务器的学习处理器或学习处理器的分布式处理来训练。作为参考，图11中示出AI服务器的特定组件。

处理器1080可收集包括AI装置1000的操作内容或用户对操作的反馈的历史信息，并且可将所收集的历史信息存储在存储器1070或学习处理器1030中或者将所收集的历史信息发送到诸如AI服务器的外部装置。所收集的历史信息可用于更新学习模型。

处理器1080可控制AI装置1000的至少一部分组件以驱动存储在存储器1070中的应用程序。此外，处理器1080可组合操作包括在AI装置1000中的两个或更多个组件以驱动应用程序。

图11示出根据本公开的实施方式的AI服务器1120。

参照图11，AI服务器1120可指通过机器学习算法训练ANN或使用训练的ANN的装置。AI服务器1120可包括执行分布式处理的多个服务器，或者可被定义为5G网络。AI服务器1120可被包括作为AI装置1100的一部分，并且执行至少一部分AI处理。

AI服务器1120可包括通信单元1121、存储器1123、学习处理器1122、处理器1126等。

通信单元1121可向诸如AI装置1100的外部装置发送数据以及从其接收数据。

存储器1123可包括模型存储部1124。模型存储部1124可存储通过学习处理器1122已训练或正在训练的模型(或ANN 1125)。

学习处理器1122可通过训练数据来训练ANN 1125。学习模型可在被加载在ANN的AI服务器1120上或诸如AI装置1110的外部装置上的同时使用。

学习模型可在硬件、软件或硬件和软件的组合中实现。如果学习模型的全部或部分实现于软件中，则学习模型的一个或更多个指令可被存储在存储器1123中。

处理器1126可使用学习模型来推断新输入数据的结果值，并且可基于所推断的结果值来生成响应或控制命令。

图12示出根据本公开的实施方式的AI***。

参照图12，在AI***中，AI服务器1260、机器人1210、自驾驶车辆1220、XR装置1230、智能电话1240或家用电器1250中的至少一个连接到云网络1200。应用了AI的机器人1210、自驾驶车辆1220、XR装置1230、智能电话1240或家用电器1250可被称为AI装置。

云网络1200可指形成云计算基础设施的一部分或存在于云计算基础设施中的网络。云网络1200可使用3G网络、4G或LTE网络或者5G网络来配置。

即，包括在AI***中的装置1210至1260可经由云网络1200互连。具体地，装置1210至1260中的每一个可直接地或通过BS彼此通信。

AI服务器1260可包括执行AI处理的服务器和对大数据执行计算的服务器。

AI服务器1260可经由云网络1200连接到包括在AI***中的AI装置中的至少一个，即，机器人1210、自驾驶车辆1220、XR装置1230、智能电话1240或家用电器1250中的至少一个，并且可辅助所连接的AI装置1210至1250的至少一部分AI处理。

AI服务器1260可代表AI装置1210至1250根据机器学习算法来训练ANN，并且可直接存储学习模型或将学习模型发送到AI装置1210至1250。

AI服务器1260可从AI装置1210至1250接收输入数据，使用学习模型来推断所接收的输入数据的结果值，基于所推断的结果值来生成响应或控制命令，并将响应或控制命令发送到AI装置1210至1250。

另选地，AI装置1210至1250可直接使用学习模型来推断输入数据的结果值，并且基于推断结果来生成响应或控制命令。

以下，将描述应用了上述技术的AI装置1210至1250的各种实施方式。图12所示的AI装置1210至1250可被视为图10所示的AI装置1000的特定实施方式。

<AI+XR>

应用了AI的XR装置1230可被配置为HMD、设置在车辆中的HUD、TV、便携式电话、智能电话、计算机、可穿戴装置、家用电器、数字标牌、车辆、固定机器人、移动机器人等。

XR装置1230可通过分析从各种传感器或外部装置获取的3D点云数据或图像数据并因此生成3D点的位置数据和属性数据来获取关于周围空间或真实对象的信息，并且可渲染要输出的XR对象。例如，XR装置1230可与所识别的对象对应输出包括关于所识别的对象的附加信息的XR对象。

XR装置1230可使用由至少一个ANN组成的学习模型来执行上述操作。例如，XR装置1230可使用学习模型来从3D点云数据或图像数据识别真实对象，并且可提供与所识别的真实对象对应的信息。可直接通过XR装置1230或通过诸如AI服务器1260的外部装置来训练学习模型。

尽管XR装置1230可通过直接使用学习模型生成结果来操作，但是XR装置1230可通过将传感器信息发送到诸如AI服务器1260的外部装置并接收结果来操作。

<AI+机器人+XR>

应用了AI和XR的机器人1210可被实现为引导机器人、递送机器人、清洁机器人、可穿戴机器人、娱乐机器人、宠物机器人、无人飞行机器人、无人机等。

应用了XR的机器人1210可指在XR图像内要控制/交互的机器人。在这种情况下，机器人1210可与XR装置1230相区分并与XR装置1230互通。

当在XR图像内要控制/交互的机器人1210从各自包括相机的传感器获取传感器信息时，机器人1210或XR装置1230可基于传感器信息来生成XR图像，并且XR装置1230可输出所生成的XR图像。机器人1210可基于通过XR装置1230接收的控制信号或基于用户的交互来操作。

例如，用户可通过诸如XR装置1210的外部装置检查与远程互通的机器人1210的视图对应的XR图像，通过交互来调节机器人1210的自驾驶路线，控制机器人1210的操作或驱动，或者检查关于机器人1210周围的环境对象的信息。

<AI+自驾驶+XR>

应用了AI和XR的自驾驶车辆1220可被实现为移动机器人、车辆、无人驾驶飞行器等。

应用了XR的自驾驶车辆1220可指设置有用于提供XR图像的装置的自驾驶车辆或者要在XR图像内控制/交互的自驾驶车辆。具体地，要在XR图像内控制/交互的自驾驶车辆1220可与XR装置1230相区分并与XR装置1230互通。

设置有用于提供XR图像的装置的自驾驶车辆1220可从各自包括相机的传感器获取传感器信息并基于所获取的传感器信息来输出所生成的XR图像。例如，自驾驶车辆1220可包括HUD以输出XR图像，从而向乘客提供与真实对象或画面上的对象对应的XR对象。

当XR对象被输出到HUD时，XR对象的至少一部分可被输出以叠加在乘客所注视的实际对象上。当XR对象被输出到设置在自驾驶车辆1220中的显示器时，XR对象的至少一部分可被输出以叠加在画面内的对象上。例如，自驾驶车辆1220可输出与诸如车道、另一车辆、交通信号灯、交通标志、两轮车、行人、建筑物等的对象对应的XR对象。

当要在XR图像内控制/交互的自驾驶车辆1220从各自包括相机的传感器获取传感器信息时，自驾驶车辆1220或XR装置1230可基于传感器信息来生成XR图像，并且XR装置1230可输出所生成的XR图像。自驾驶车辆1220可基于通过诸如XR装置1230的外部装置接收的控制信号或基于用户的交互来操作。

本公开的VR、AR和MR技术适用于各种装置，特别是例如HMD、附接到车辆的HUD、便携式电话、平板PC、膝上型计算机、台式计算机、TV和标牌。VR、AR和MR技术也可适用于配备有柔性或可卷曲显示器的装置。

上述VR、AR和MR技术可基于CG来实现并且通过用户所观看的图像中的CG图像的比率来区分。

即，VR仅在CG图像中提供真实对象或背景，而AR将虚拟CG图像叠加在真实对象的图像上。

MR与AR的相似之处在于，虚拟对象与真实世界混合并组合。然而，在AR中，真实对象和作为CG图像创建的虚拟对象彼此相区别并且虚拟对象用于补充真实对象，而在MR中，虚拟对象和真实对象被等同地对待。更具体地，例如，全息服务是MR表示。

近来，VR、AR和MR被统称为XR而彼此不区分。因此，本公开的实施方式适用于所有VR、AR、MR和XR。

例如，有线/无线通信、输入接口、输出接口和计算装置可用作应用于VR、AR、MR和XR的硬件(HW)相关元素技术。此外，跟踪和匹配、语音识别、交互和用户接口、基于位置的服务、搜索和AI可用作软件(SW)相关元素技术。

具体地，本公开的实施方式旨在解决与另一装置通信、高效内存使用、由不方便的用户体验/用户界面(UX/UI)导致的数据吞吐量降低、视频、声音、晕车或其它问题中的至少一个问题。

图13是示出根据本公开的实施方式的XR装置的框图。XR装置1300包括相机1310、显示器1320、传感器1330、处理器1340、存储器1350和通信模块1360。显然，当需要时，在不脱离本公开的范围和精神的情况下，可删除或修改一个或更多个模块，并且可向模块添加一个或更多个模块。

通信模块1360可与外部装置或服务器有线地或无线地通信。通信模块1360可使用例如Wi-Fi、蓝牙等进行短距离无线通信，并且使用例如3GPP通信标准进行远程无线通信。LTE是3GPP TS 36.xxx版本8以后的技术。具体地，3GPP TS 36.xxx版本10以后的LTE被称为LTE-A，3GPP TS 36.xxx版本13以后的LTE被称为LTE-A pro。3GPP 5G是指TS 36.xxx版本15以后的技术和TS 38.XXX版本15以后的技术。具体地，TS 38.xxx版本15以后的技术被称为3GPP NR，TS 36.xxx版本15以后的技术被称为增强LTE。“xxx”表示技术规范编号。LTE/NR可被统称为3GPP***。

相机1310可捕获XR装置1300的周围环境并将所捕获的图像转换为电信号。已由相机1310捕获并转换为电信号的图像可被存储在存储器1350中，然后通过处理器1340显示在显示器1320上。此外，图像可由处理器1340显示在显示器1320上，而不存储在存储器1350中。此外，相机110可具有视场(FoV)。例如，FoV是可检测相机1310周围的真实对象的区域。相机1310可仅检测FoV内的真实对象。当真实对象位于相机1310的FoV内时，XR装置1300可显示与真实对象对应的AR对象。此外，相机1310可检测相机1310与真实对象之间的角度。

传感器1330可包括至少一个传感器。例如，传感器1330包括诸如重力传感器、地磁传感器、运动传感器、陀螺仪传感器、加速度传感器、倾斜传感器、亮度传感器、高度传感器、嗅觉传感器、温度传感器、深度传感器、压力传感器、弯曲传感器、音频传感器、视频传感器、全球定位***(GPS)传感器和触摸传感器的感测装置。此外，尽管显示器1320可为固定类型，但显示器1320可被配置为液晶显示器(LCD)、有机发光二极管(OLED)显示器、电致发光显示器(ELD)或微型LED(M-LED)显示器，以具有灵活性。本文中，传感器1330被设计为检测配置为上述LCD、OLED显示器、ELD或M-LED显示器的显示器1320的弯曲度。

存储器1350配备有存储通过与外部装置或服务有线/无线通信而获得的全部或部分结果值的功能以及存储相机1310所捕获的图像的功能。具体地，考虑到通信数据业务增加的趋势(例如，在5G通信环境中)，期望高效的存储器管理。在这方面，下面将参照图14给出描述。

图14是图13所示的存储器1350的详细框图。参照图14，将描述根据本公开的实施方式的随机存取存储器(RAM)与闪存之间的换出处理。

在将AR/VR页数据从RAM 1410换出到闪存1420时，控制器1430可在要换出到闪存1420的AR/VR页数据当中仅换出相同内容的两个或更多个AR/VR页数据中的一个。

即，控制器1430可计算标识要换出的AR/VR页数据的各个内容的标识符(例如，散列函数)，并且确定所计算的标识符当中具有相同标识符的两个或更多个AR/VR页数据包含相同的内容。因此，可克服由于不必要的AR/VR页数据被存储在闪存1420中，包括闪存1420的AR/VR装置的寿命以及闪存1420的寿命缩短的问题。

在不脱离本公开的范围的情况下，控制器1430的操作可实现于软件或硬件中。更具体地，图14所示的存储器包括在HMD、车辆、便携式电话、平板PC、膝上型计算机、台式计算机、TV、标牌等中，并执行交换功能。

根据本公开的实施方式的装置可处理3D点云数据以向用户提供诸如VR、AR、MR、XR和自驾驶的各种服务。

收集3D点云数据的传感器可以是例如LiDAR、红绿蓝深度(RGB-D)和3D激光扫描仪中的任一种。传感器可被安装在HMD、车辆、便携式电话、平板PC、膝上型计算机、台式计算机、TV、标牌等内部或外部。

图15示出点云数据处理***。

参照图15，点云处理***1500包括：发送装置，其获取、编码和发送点云数据；以及接收装置，其通过接收并解码视频数据来获取点云数据。如图15所示，根据本公开的实施方式的点云数据可通过捕获、合成或生成点云数据来获取(S1510)。在获取期间，可生成点的3D位置(x,y,z)/属性(颜色、反射率、透明度等)的数据(例如，polygon文件格式或标准三角格式(PLY)文件)。对于多个帧的视频，可获取一个或更多个文件。可在捕获期间生成点云数据相关元数据(例如，与捕获有关的元数据)。根据本公开的实施方式的发送装置或编码器可通过基于视频的点云压缩(V-PCC)或基于几何的点云压缩(G-PCC)对点云数据进行编码，并输出一个或更多个视频流(S1520)。V-PCC是基于诸如高效视频编码(HEVC)或通用视频编码(VVC)的2D视频编解码器来压缩点云数据的方案，G-PCC是将点云数据分别编码为两个流的方案：几何和属性。几何流可通过重构和编码关于点的位置信息来生成，属性流可通过重构和编码与各个点有关的属性信息(例如，颜色)来生成。在V-PCC中，尽管与2D视频兼容，但与G-PCC相比，需要更多数据来恢复V-PCC处理的数据(例如，几何视频、属性视频、占据地图视频和辅助信息)，从而导致提供服务的延迟长。一个或更多个输出比特流可连同相关元数据一起以文件(例如，诸如ISOBMFF的文件格式)的形式封装并经由网络或通过数字存储介质发送(S1530)。

根据本公开的实施方式的装置或处理器可通过将所接收的视频数据解封装来获取一个或更多个比特流和相关元数据，并且通过将所获取的V-PCC或G-PCC的比特流解码来恢复3D点云数据(S1540)。渲染器可渲染解码的点云数据并在显示器上向用户提供适合于VR/AR/MR/服务的内容(S1550)。

如图15所示，根据本公开的实施方式的装置或处理器可执行将在渲染/显示期间获取的各种反馈信息发送到发送装置的解码处理或反馈处理(S1560)。根据本公开的实施方式的反馈信息可包括头部取向信息、指示用户正在观看的区域的视口信息等。由于用户通过反馈处理与服务(或内容)提供商交互，所以根据本公开的实施方式的装置可使用上述V-PCC或G-PCC方案提供更高的数据处理速度，或者可考虑用户的高度便利允许清晰视频构造以及提供各种服务。

图16是包括学习处理器的XR装置1600的框图。与图13相比，仅添加了学习处理器1670，因此避免冗余描述，因为其它组件可参考图13。

参照图16，XR装置1600可加载有学习模型。学习模型可在硬件、软件或硬件和软件的组合中实现。如果学习模型的整个或部分在软件中实现，则形成学习模型的一个或更多个指令可被存储在存储器1650中。

根据本公开的实施方式，学习处理器1670可在通信上联接到处理器1640，并且使用训练数据重复地训练包括ANN的模型。ANN是多个神经元按层链接的信息处理***，从而对生物神经元和神经元之间的链接的操作原理进行建模。ANN是在机器学习和认知科学中受神经网络(具体地，动物的中枢神经***中的大脑)启发的统计学习算法。机器学习是AI的一个领域，其中赋予计算机没有显程序的学习能力。机器学习是研究和构造用于基于经验数据来学习、预测和改进其能力的***以及该***的算法的技术。因此，根据本公开的实施方式，学习处理器1670可通过确定ANN的优化的模型参数来从新的输入数据推断结果值。因此，学习处理器1670可基于关于用户的装置使用历史信息来分析用户的装置使用模式。此外，学习处理器1670可被配置为接收、分类、存储和输出用于数据挖掘、数据分析、智能决策以及机器学习算法和技术的信息。

根据本公开的实施方式，处理器1640可基于由学习处理器1670分析或生成的数据来确定或预测装置的至少一个可执行操作。此外，处理器1640可请求、搜索、接收或使用学习处理器1670的数据，并且控制XR装置1600执行预测的操作或至少一个可执行操作当中被确定为可取的操作。根据本公开的实施方式，处理器1640可执行实现智能仿真的各种功能(例如，基于知识的***、推理***和知识获取***)。各种功能可应用于自适应***、机器学习***以及包括ANN的各种类型的***(例如，模糊逻辑***)。即，处理器1640可基于由学习处理器1670分析的使用模式数据来预测用户的装置使用模式，并且控制XR装置1600向UE提供更合适的XR服务。本文中，XR服务包括AR服务、VR服务或MR服务中的至少一个。

图17示出通过图16所示的本公开的XR服务1600提供XR服务的处理。

根据本公开的实施方式，处理器1670可将关于用户的装置使用历史信息存储在存储器1650中(S1710)。装置使用历史信息可包括关于提供给用户的内容的名称、类别和内容的信息、关于装置使用的时间的信息、关于装置使用的地点的信息、时间信息以及关于安装在装置中的应用的使用的信息。

根据本公开的实施方式，学习处理器1670可通过分析装置使用历史信息来获取关于用户的装置使用模式信息(S1720)。例如，当XR装置1600向用户提供特定内容A时，学习处理器1670可通过将关于内容A的特定信息(例如，关于通常使用内容A的用户的年龄的信息、关于内容A的内容的信息以及与内容A类似的内容信息)与关于使用对应终端的用户消费内容A的时间点、地点和次数的信息组合来学习关于使用对应终端的用户的装置使用模式的信息。

根据本公开的实施方式，处理器1640可获取基于由学习处理器1670学习的信息生成的用户装置模式信息，并且生成装置使用模式预测信息(S1730)。此外，当用户没有使用装置1600时，如果处理器1640确定用户位于用户频繁使用装置1600的地点或者差不多到了用户通常使用装置1600的时间，则处理器1640可指示装置1600操作。在这种情况下，根据本公开的实施方式的装置可基于用户模式预测信息来提供AR内容(S1740)。

当用户正在使用装置1600时，处理器1640可检查关于当前提供给用户的内容的信息，并且关于该内容生成关于用户的装置使用模式预测信息(例如，当用户请求其它相关内容或与当前内容有关的附加数据时)。此外，处理器1640可通过指示装置1600操作来基于装置使用模式预测信息提供AR内容(S1740)。根据本公开的实施方式的AR内容可包括广告、导航信息、危险信息等。

图18示出XR装置和机器人的外观。

之前参照先前附图描述了根据本公开的实施方式的XR装置1800的组件模块，因此本文中不提供冗余描述。

图18所示的机器人1810的外观仅是示例，根据本公开，机器人1810可被实现为具有各种外观。例如，图18所示的机器人1810可以是无人机、清洁器、炊具、可穿戴机器人等。具体地，机器人1810的各个组件可根据机器人1810的形状设置在诸如上、下、左、右、后或前的不同位置。

机器人1810可在其外部设置有各种传感器以识别周围对象。此外，为了向用户提供特定信息，机器人1810可在其顶表面或后表面1812上设置有接口单元1811。

为了感测机器人1810和周围对象的移动并控制机器人1810，机器人控制模块1850被安装在机器人1810内部。机器人控制模块1850可被实现为软件模块或者其中实现有软件模块的硬件芯片。机器人控制模块1850可包括深度学习器1851、感测信息处理器1852、移动路径发生器1853和通信模块1854。

感测信息处理器1852收集并处理由布置在机器人1810中的各种类型的传感器(例如，LiDAR传感器、IR传感器、超声传感器、深度传感器、图像传感器和麦克风)感测的信息。

深度学习器1851可接收由感测信息处理器1851处理的信息或在机器人1810移动期间存储的累积信息，并为机器人1810输出结果以确定周围情况，处理信息，或生成移动路径。

移动路径发生器1852可使用由深度学习器8151计算的数据或由感测信息处理器1852处理的数据来计算机器人1810的移动路径。

由于XR装置1800和机器人1810中的每一个设置有通信模块，所以XR装置1800和机器人1810可通过诸如Wi-Fi或蓝牙的短距离无线通信或者5G远程无线通信来发送和接收数据。下面将参照图19描述使用XR装置1800来控制机器人1810的技术。

图19是示出使用XR装置来控制机器人的处理的流程图。

XR装置和机器人在通信上连接到5G网络(S1901)。显然，在不脱离本公开的范围的情况下，XR装置和机器人可通过任何其它短距离或远程通信技术来发送和接收数据。

机器人通过安装在机器人的内部或外部的至少一个相机来捕获机器人周围环境的图像/视频(S1902)并将所捕获的图像/视频发送到XR装置(S1903)。XR装置显示所捕获的图像/视频(S1904)并将用于控制机器人的命令发送到机器人(S1905)。在不脱离本公开的范围的情况下，命令可由XR装置的用户手动输入或由AI自动生成。

机器人执行与步骤S1905中接收的命令对应的功能(S1906)并将结果值发送到XR装置(S1907)。结果值可以是指示数据是否已被成功处理的一般指示符、当前捕获的图像或者考虑XR装置的特定数据。特定数据被设计为例如根据XR装置的状态而改变。如果XR装置的显示器处于关闭状态，则在步骤S1907中将用于打开XR装置的显示器的命令包括在结果值中。因此，当机器人周围发生紧急情况时，即使远程XR装置的显示器关闭，也可发送通知消息。

根据步骤S1907中接收的结果值来显示AR/VR内容(S1908)。

根据本公开的另一实施方式，XR装置可使用附接到机器人的GPS模块来显示关于机器人的位置信息。

参照图13描述的XR装置1300可按允许有线/无线通信的方式连接到提供自驾驶服务的车辆，或者可安装在提供自驾驶服务的车辆上。因此，即使在提供自驾驶服务的车辆中，也可提供包括AR/VR的各种服务。

图20示出提供自驾驶服务的车辆。

根据本公开的实施方式，车辆2010可包括作为在道路或铁道上行驶的运输工具的汽车、火车和摩托车。根据本公开的实施方式，车辆2010可包括所有设置有发动机作为动力源的内燃发动机车辆、设置有发动机和电动机作为动力源的混合动力车辆以及设置有电动机作为动力源的电动车辆。

根据本公开的实施方式，车辆2010可包括以下组件以便控制车辆2010的操作：用户接口装置、对象检测装置、通信装置、驾驶操纵装置、主电子控制单元(ECU)、驱动控制装置、自驾驶装置、感测单元以及位置数据生成装置。

用户接口装置、对象检测装置、通信装置、驾驶操纵装置、主ECU、驱动控制装置、自驾驶装置、感测单元和位置数据生成装置中的每一个可生成电信号，并且被实现为交换电信号的电子装置。

用户接口装置可接收用户输入并将从车辆2010生成的信息以UI或UX的形式提供给用户。用户接口装置可包括输入/输出(I/O)装置和用户监测装置。对象检测装置可检测车辆2010外部是否存在对象，并生成关于对象的信息。对象检测装置可包括例如相机、LiDAR、IR传感器或超声传感器中的至少一个。相机可生成关于车辆2010外部的对象的信息。相机可包括一个或更多个透镜、一个或更多个图像传感器和一个或更多个处理器以用于生成对象信息。相机可通过各种图像处理算法来获取关于对象的位置、距离或相对速度的信息。此外，相机可被安装在车辆2010中相机可确保FoV的位置，以捕获车辆1020周围环境的图像，并且可用于提供基于AR/VR的服务。LiDAR可生成关于车辆2010外部的对象的信息。LiDAR可包括光发送器、光接收器以及至少一个处理器，至少一个处理器电联接到光发送器和光接收器，处理所接收的信号，并且基于所处理的信号来生成关于对象的数据。

通信装置可与车辆2010外部的装置(例如，诸如服务器或广播台的基础设施、另一车辆或终端)交换信号。驾驶操纵装置是接收用于驾驶的用户输入的装置。在手动模式下，车辆2010可基于驾驶操纵装置所提供的信号来行驶。驾驶操纵装置可包括转向输入装置(例如，方向盘)、加速输入装置(例如，加速度踏板)和制动输入装置(例如，制动踏板)。

感测单元可感测车辆2010的状态并生成状态信息。位置数据生成装置可生成车辆2010的位置数据。位置数据生成装置可包括GPS或差分全球定位***(DGPS)中的至少一个。位置数据生成装置可基于从GPS或DGPS中的至少一个生成的信号来生成车辆2010的位置数据。主ECU可对设置在车辆2010中的至少一个电子装置提供总体控制，并且驱动控制装置可电控制车辆2010中的车辆驱动装置。

自驾驶装置可基于从对象检测装置、感测单元、位置数据生成装置等获取的数据来生成用于自驾驶服务的路径。自驾驶装置可生成用于沿着所生成的路径行驶的行驶计划，并且根据该行驶计划来生成用于控制车辆的移动的信号。从自驾驶装置生成的信号被发送到驱动控制装置，因此驱动控制装置可控制车辆2010中的车辆驱动装置。

如图20所示，提供自驾驶服务的车辆2010以允许有线/无线通信的方式连接到XR装置2000。XR装置2000可包括处理器2001和存储器2002。尽管未示出，图20的XR装置2000还可包括之前参照图13描述的XR装置1300的组件。

如果XR装置2000以允许有线/无线通信的方式连接到车辆2010。XR装置2000可接收/处理可连同自驾驶服务一起提供的AR/VR服务相关内容数据，并且将所接收/处理的AR/VR服务相关内容数据发送到车辆2010。此外，当XR装置2000安装在车辆2010上时，XR装置2000可根据通过用户接口装置接收的用户输入信号来接收/处理AR/VR服务相关内容数据并将所接收/处理的AR/VR服务相关内容数据提供给用户。在这种情况下，处理器2001可基于从对象检测装置、感测单元、位置数据生成装置、自驾驶装置等获取的数据来接收/处理AR/VR服务相关内容数据。根据本公开的实施方式，AR/VR服务相关内容数据可包括与自驾驶服务无关的娱乐内容、天气信息等以及与自驾驶服务有关的信息(例如，驾驶信息、用于自驾驶服务的路径信息、驾驶操纵信息、车辆状态信息和对象信息)。

图21示出在自驾驶服务期间提供AR/VR服务的处理。

根据本公开的实施方式，车辆或用户接口装置可接收用户输入信号(S2110)。根据本公开的实施方式，用户输入信号可包括指示自驾驶服务的信号。根据本公开的实施方式，自驾驶服务可包括全自驾驶服务和一般自驾驶服务。全自驾驶服务是指车辆完全自驾驶到目的地而无需用户手动驾驶，而一般自驾驶服务是指通过用户手动驾驶和自驾驶组合驾驶车辆到目的地。

可确定根据本公开的实施方式的用户输入信号是否对应于全自驾驶服务(S2120)。当确定用户输入信号对应于全自驾驶服务时，根据本公开的实施方式的车辆可提供全自驾驶服务(S2130)。由于全自驾驶服务不需要用户的操纵，所以根据本公开的实施方式的车辆可通过车窗、车辆的后视镜、HMD或智能电话向用户提供VR服务相关内容(S2130)。根据本公开的实施方式的VR服务相关内容可以是与全自驾驶有关的内容(例如，导航信息、驾驶信息和外部对象信息)，并且还可以是根据用户选择与全自驾驶无关的内容(例如，天气信息、距离图像、自然图像和语音呼叫图像)。

如果确定用户输入信号不对应于全自驾驶服务，则根据本公开的实施方式的车辆可提供一般自驾驶服务(S2140)。由于在一般自驾驶服务中为了用户的手动驾驶应该确保用户的FoV，所以根据本公开的实施方式的车辆可通过车窗、车辆的后视镜、HMD或智能电话向用户提供AR服务相关内容(S2140)。

根据本公开的实施方式的AR服务相关内容可以是与全自驾驶有关的内容(例如，导航信息、驾驶信息和外部对象信息)，并且也可以是根据用户选择与自驾驶无关的内容(例如，天气信息、距离图像、自然图像和语音呼叫图像)。

尽管本公开如前所述适用于5G通信、机器人、自驾驶和AI的所有领域，但是以下将参照以下附图给出本公开适用于XR装置的描述。

图22是示出根据本公开的实施方式的使用HMD类型实现XR装置的示例方法的概念图。上述实施方式也可按照图22所示的HMD类型实现。

图22所示的HMD型XR装置100a可包括通信单元110、控制单元120、存储器单元130、输入/输出(I/O)单元140a、传感器单元140b、电源单元140c等。具体地，嵌入在XR装置10a中的通信单元110可与移动终端100b有线或无线通信。

图23是示出根据本公开的实施方式的使用AR眼镜实现XR装置的示例方法的概念图。上述实施方式也可按照图23所示的AR眼镜类型实现。

参照图23，AR眼镜可包括框架、控制单元200和光学显示单元300。

尽管框架可如图23所示形成为戴在用户10脸上的眼镜形状，但是本公开的范围或精神不限于此，应该注意的是，框架也可形成为与用户10的脸紧密接触地穿戴的护目镜形状。

框架可包括前框架110以及第一侧框架和第二侧框架。

前框架110可包括至少一个开口，并且可在第一水平方向(例如，X轴方向)上延伸。第一侧框架和第二侧框架可在垂直于前框架110的第二水平方向(例如，Y轴方向)上延伸，并且可彼此平行延伸。

控制单元200可生成用户10要观看的图像，或者可生成由连续图像形成的结果图像。控制单元200可包括被配置为创建和生成图像的图像源、被配置为漫射和会聚从图像源生成的光的多个透镜等。由控制单元200生成的图像可通过设置在控制单元200与光学显示单元300之间的引导透镜P200传送至光学显示单元300。

控制器200可被固定到第一侧框架和第二侧框架中的任一个。例如，控制单元200可被固定到任一个侧框架的内部或外部，或者可被嵌入在任一个侧框架中并与之成一体。

光学显示单元300可由半透明材料形成，以使得光学显示单元300可显示由控制单元200创建的图像以便于用户10识别，并且可允许用户通过开口查看外部环境。

光学显示单元300可被***到包含在前框架110中的开口中并固定，或者可位于开口的后表面(插置在开口和用户10之间)以使得光学显示单元300可被固定到前框架110。例如，光学显示单元300可位于开口的后表面，并且作为示例可被固定到前框架110。

参照图23所示的XR装置，当图像通过控制单元200入射在光学显示单元300的入射区域S1上时，图像光可穿过光学显示单元300透射到光学显示单元300的发射区域S2，可显示由控制器200创建的图像以便于用户10识别。

因此，用户10可通过框架100的开口观看外部环境，同时可观看由控制单元200创建的图像。

另外，以下，示出图24中作为显示装置示出的XR装置。将以其为例描述本发明的实施方式。然而，当然，根据本发明的实施方式的XR装置可利用图1至图23所示的XR装置来实现。

根据实施方式的多媒体装置(或装置)可包括配备有显示功能的装置，其与参照图1至图9描述的用户设备(UE)对应，而不限于XR装置，可另外执行5G通信。

根据实施方式的装置(例如，图1至图23中描述的装置)可提供内容(例如，VR内容、AR内容、MR内容、XR内容等)。根据实施方式的内容包括可显示在360°空间中的360°内容。360°内容是可基于用户位置信息显示在表示为一个或更多个区域的虚拟360°空间中的内容。因此，根据实施方式的360°内容可被表示为与一个或更多个区域对应的内容集合。根据实施方式的360°空间可被表示为2D或3D坐标系，并且各个区域可被表示为坐标系的坐标。因此，根据实施方式的360°内容可包括与一个或更多个区域有关的信令信息。根据实施方式的360°内容可用于提供导航服务(例如，汽车导航、自行车导航等)、体育服务(例如，高尔夫)，实施方式不限于此。

根据实施方式的装置通过跟踪用户位置来获得用户位置信息并根据用户位置信息基于信令信息在一个或更多个区域上提供360°内容。根据实施方式的用户位置信息是关于360°空间中的用户姿态的信息，并且基于用户的头部位置信息(例如，头部的姿态(位置和/或角度)信息)和/或用户的身***置信息(例如，身体的姿态(位置和/或角度)信息)来确定。另外，根据实施方式的用户位置信息可被表示为表示360°空间的坐标系的坐标。因此，装置可基于用户位置信息向用户提供与当前用户位置所对应的区域对应的内容。因此，根据用户位置提供给用户的内容将被称为正视图。根据实施方式的正视图的大小对应于视场(FOV)的大小。因此，装置根据用户的改变的位置提供即时内容，从而提供更逼真的XR环境。

图24是根据实施方式的表示360°空间的坐标系的图。

参照图24，坐标系2400包括通过将用户的位置设定为中心点2410而生成的2D坐标系。根据实施方式的360°空间可被表示为3D坐标系以及2D坐标系，本实施方式不限于此。上述装置可将正视图显示给位于中心点2410的用户。坐标系2400中的彩色区域2420指示用户在位于中心点2410的初始用户位置(例如，第一用户位置)处的FOV(例如，120°)。即，当位于中心点2410的用户观看与坐标系2400的垂直轴对应的箭头2415的方向时，FOV可被表示为坐标系2400中以垂直轴为中心向左和向右60°。因此，根据实施方式的装置显示作为与箭头2415的方向对应的区域的内容的正视图(例如，第一正视图)。

在身体固定的同时，人的头部可向左和向右转动最大90°。坐标系2400中的点区域2430指示当位于中心点2410的用户在身体固定的同时在图右侧所示的箭头2435的方向上将头部转动最大90°时的用户位置(例如，第二用户位置)处的FOV。尽管用户的头部或身***置改变，但是FOV的大小不改变。因此，如图所示，根据改变的用户位置的FOV的大小等于根据改变之前的用户位置的FOV的大小。然而，根据改变的用户位置的FOV在坐标系2400中被表示为+30°～+150°。因此，根据实施方式的装置可显示作为与箭头2435的方向对应的区域的内容的正视图(例如，第二正视图)。坐标系2400中的斜线区域2440指示彩色区域2420与点区域2430之间的交叠区域。因此，如果位于中心点2410的用户的头部位置逐渐改变直至90°(即，头部的最大旋转角度)，则斜线区域2440的大小逐渐减小。图中所示的斜线区域2440是最小交叠区域，在坐标系2400中表示为+30°～+60°。因此，如果用户的头部位置改变，则装置可提供与改变的头部位置所对应的区域对应的360°内容。

图25是示出根据实施方式的360°空间的图。

参照图25，左部所示的3D圆环指示可显示以用户的位置设定为中心点的360°内容的360°空间2500。如图所示，3D空间可被表示为至少四个区域。根据实施方式的四个区域可基于图24中描述的FOV的大小和头部位置的最大改变值来配置。

图中所示的第一区域2510是与位于中心点(例如，图24所示的中心点2410)的用户的位置(例如，第一用户位置)处的FOV对应的区域。因此，第一区域2501的大小对应于FOV的大小(例如，120°)。装置可基于用户的位置来提供作为属于第一区域的内容的第一正视图。图中所示的第二区域2505是根据用户的头部位置的最大改变值设定的区域。如参照图24描述的，由于在身体固定的同时人的头部可向左和向右转动最大90°，所以根据实施方式的头部位置的最大改变值对应于90°。因此，第二区域2505的大小对应于最大改变值的大小。如参照图24描述的，如果位于中心点(例如，中心点2410)的用户将他的头部转动最大90°，则在坐标系(例如，坐标系2400)中FOV可被表示为+30°～+150°。根据实施方式的装置可根据改变的头部位置显示与FOV对应的第二正视图。如参照图24描述的，与第二正视图对应的FOV的区域2430与第一正视图所对应的FOV的区域2420交叠。因此，第二正视图可包括与第一区域2501的一部分和第二区域2505的全部对应的内容。如上所述，第二正视图可根据头部位置的改变包括与第一区域2501的一部分和第二区域2505的一部分对应的内容。

如图中所示，第三区域具有与第二区域2505相同的大小，第四区域具有与第一区域2501相同的大小。因此，与图中所示的四个区域对应的角度的总和为360°。

图25的右部示出根据实施方式的以扩展3D圆环2500的方式表示的3D空间2510。如上所述，在用户的身体固定的同时，用户的头部可向左侧和右侧转动最大90°。因此，如果用户的头部在左箭头2511的方向上转动最大90°，则装置可提供作为与第一区域的一部分和第三区域的全部对应的内容的正视图。如果用户的头部在右箭头2515的方向上转动最大90°，则装置可提供作为与第一区域的一部分和第三区域的全部对应的内容的正视图。

图26是示出根据实施方式的装置的配置的示例的框图。

参照图26，装置2600是提供参照图24和图25描述的360°内容的内容提供装置的示例，并且可执行参照图1至图25描述的功能/操作。另外，图26所示的装置2600还可包括用于执行参照图1至图25描述的功能/操作的模式等。

根据实施方式的装置2600可包括一个或更多个传感器2610、一个或更多个处理器2620、显示器2632以及一个或更多个存储器2640。装置2620的组件可彼此连接以允许相互通信。

根据实施方式的一个或更多个传感器2610可确保用户位置信息。如上所述，根据实施方式的用户位置可基于用户的头部位置和身***置来设定。一个或更多个传感器2610可周期性地检测用户的头部位置和身***置。一个或更多个传感器2610可将确保的用户位置信息发送到一个或更多个处理器2620。尽管一个或更多个传感器2610被描绘为单个块，但是它们可被实现为物理传感器的集合或组。一个或更多个传感器2610可包括相机传感器、IR传感器等。根据实施方式的一个或更多个传感器2610可确保控制装置或执行装置所提供的内容的用户输入信号(例如，装置触摸输入信号、执行所显示的虚拟菜单的用户手势等)以及用户的头部位置和/或身***置信息。

根据实施方式的一个或更多个处理器2620可基于确保的用户位置信息来处理要显示的360°内容。如上所述，360°内容是可基于用户位置信息显示在表示为一个或更多个区域的360°空间中的内容。尽管一个或更多个处理器2620被描绘为单个块，但是它们可被实现为一个或更多个物理芯片。一个或更多个处理器2620可基于用户位置信息所指示的第一用户位置(例如，图24的第一用户位置)来提供第一正视图(例如，图24的第一正视图)。根据实施方式的第一正视图是与第一区域对应的内容。

如果用户位置信息指示用户的头部位置改变并且用户的身***置固定，则一个或更多个处理器2620可基于根据改变的头部位置确定的第二用户位置(例如，图24中描述的第二用户位置)来处理第二正视图(例如，图24的第二正视图)。如参照图24和图25描述的，可基于头部位置的最大改变值(例如，90°)来设定第二区域(例如，第二区域2505)或第三区域。因此，根据头部位置的改变值，根据实施方式的第二正视图可以是与第一区域的一部分和第二区域的一部分或第三区域的一部分对应的内容或者与第一区域的一部分和第二区域的全部或第三区域的全部对应的内容。

如果用户位置信息指示用户的头部位置和用户的身***置改变，则一个或更多个处理器2620可基于根据改变的头部位置和身***置确定的第三用户位置来处理要显示的第一正视图。即，如果头部位置和身***置一起改变，则一个或更多个处理器2620可处理基于第一用户位置显示的第一正视图以连续显示。

根据实施方式的显示器2632基于用户位置来显示360°内容。即，显示器2632可显示根据用户位置提供的正视图。如上所述，显示器2632可显示基于第一用户位置提供的第一正视图。显示器2632可显示基于根据改变的头部位置确定的第二用户位置提供的第二正视图。另外，显示器2632可基于第三用户位置来精确显示在第一用户位置提供的第一正视图。尽管显示器2632被描绘为单个块，但是其可被实现为一个或更多个物理显示器。

根据实施方式的一个或更多个存储器2640可存储一个或更多个程序，其包括用于执行和控制一个或更多个传感器2610、一个或更多个处理器2620和显示器2632的至少一个操作的指令。根据实施方式的一个或更多个程序可包括执行一个或更多个算法的指令。根据实施方式的一个或更多个存储器2640可包括高速随机存取存储器和非易失性存储器(例如，一个或更多个磁盘存储装置、闪存装置、非易失性固态存储器装置等)。上述一个或更多个处理器2620可允许或执行存储在一个或更多个存储器中的软件程序和/或指令的集合以执行装置2600的各种功能并处理数据。

图26所示的装置2600的一个或更多个组件可利用硬件、软件、固件或其组合来实现，其包括一个或更多个处理器或集成电路，上述实施方式不限于此。

图27是示出根据实施方式的装置的内容提供操作的示例的图。

图27示出图26中描述的装置(例如，装置2600)基于用户位置信息提供360°内容的处理的示例。图的左部示出根据实施方式的装置基于第一用户位置(例如，图24的第一用户位置、图26的第一用户位置等)提供第一正视图的处理2700。如参照图26和图27描述的，第一用户位置可基于用户的头部位置和用户的身***置二者来设定。如参照图24至图26描述的，第一正视图对应于第一用户位置处的FOV 2732并且是与第一区域对应的内容。

图27的中间部分示出根据实施方式的装置基于用户位置信息根据第二用户位置提供第二正视图的处理2710。如果用户位置信息指示第一用户位置的用户的身***置固定(例如，身***置不改变)并且仅头部位置改变，则根据实施方式的装置基于改变的头部位置来确定第二用户位置并基于第二用户位置来提供第二正视图。图中所示的处理2710示出用户的头部位置改变了最大改变值的情况。头部位置的改变值与图24至图26中描述的相同，并且将省略其描述。因此，如参照图24至图26描述的，第二正视图对应于第二用户位置处的FOV 2740。由于用户的FOV不改变，所以第二用户位置处的FOV 2740等于第一用户位置处的FOV 2732。另外，第二正视图是与第一区域的一部分和第二区域的全部对应的内容。

图27的底部示出根据实施方式的装置基于用户位置信息根据第三用户位置来提供第一正视图的处理2720。如果用户位置信息指示用户的头部位置和用户的身***置二者均从第一用户位置改变，则根据实施方式的装置基于改变的头部位置和身***置来确定第三用户位置并基于第三用户位置来提供第一正视图。具体地，如果头部位置和身***置一起改变，则根据实施方式的装置可继续提供第一正视图，而不管用户的位置如何。另外，由于用户的FOV没有改变，第三用户位置处的FOV 2750等于第一用户位置处的FOV 3732或第二用户位置处的FOV 2740。并且，第一正视图是与第一区域对应的内容。即，如果用户的头部位置和身***置一起(例如，同时)改变，则根据实施方式的装置确定基于改变的头部位置和身***置确定的用户位置作为参考位置并提供360°内容。

图28是示出根据实施方式的用户姿态的示例的图。

如参照图24至图27描述的，根据实施方式的装置确保用户位置信息并根据基于所确保的用户位置信息确定的用户位置来提供360°内容。根据实施方式的用户位置基于用户的头部位置和身***置来确定。

图28所示的左部指示第一用户位置2800(例如，图24至图27中描述的第一用户位置)。根据实施方式的装置可将第一用户位置2800设定为用于提供360°内容的360°空间的中心点(例如，图24的中心点2410)或参考位置。根据实施方式的装置可根据第一用户位置2800来提供第一正视图(例如，图24至图27中描述的第一正视图)。

图28中左侧的第二部分指示第二用户位置2810(例如，图24至图27中描述的第二用户位置)。如上所述，如果用户的身***置固定并且仅用户的头部位置改变，则可根据改变的头部位置来确定第二用户位置2810。装置可根据第二用户位置2810来提供第二正视图(例如，图24至图27中描述的第二正视图)。

图28中的第三部分指示第三用户位置2820。在头部位置改变之后，可基于改变的身***置来确定根据实施方式的第三用户位置2820。在这种情况下，根据实施方式的装置可基于第三用户位置3820来提供作为与第三用户位置3820对应的区域的内容的第三正视图。根据实施方式的第三视图可以是与图24和图25中描述的第一区域2510的一部分、第二区域2505的一部分和第四区域的一部分对应的内容。此外，第三正视图可以是根据第三用户位置与第二区域2505的一部分和第四区域的一部分或全部对应的内容。即，与参照图27的描述不同，装置不提供第一正视图，而是提供作为与第三位置对应的区域的内容的第三正视图。如果用户的身***置和头部位置一起改变，则根据实施方式的装置可执行图27中描述的用于根据第三用户位置提供第一正视图的处理2710。

图28中的上部指示在第三用户位置2820处用户的身***置和头部位置改变时确定的第四用户位置2830。根据实施方式的第四用户位置2830等于作为参考位置的第一用户位置2800。因此，装置可基于第四用户位置2830提供第一正视图(例如，图24至图27中描述的第一正视图)。

图29是示出根据实施方式的360°内容提供处理的示例的图。

如参照图24至图27描述的，根据实施方式的360°内容是可显示在表示为一个或更多个区域的360°空间中的内容。因此，装置(例如，图26的装置2600)可基于用户位置信息向用户提供作为与用户位置对应的区域的内容的正视图。根据实施方式的正视图可对应于单个区域(例如，图24至图27中描述的第一正视图)或一个或更多个区域的一部分或全部(例如，图24至图27中描述的第二正视图)。根据实施方式的360°内容可包括一个或更多个虚拟对象。根据实施方式的一个或更多个虚拟对象可指示装置相关信息(例如，电池信息、网络信息等)、时间信息、可提供给用户的应用等，并且可被表示为图像、文本等。根据实施方式的360°内容可包括与一个或更多个虚拟对象有关的信令信息。根据实施方式的信令信息可包括指示虚拟对象是不是应该一直显示的固定对象的标志信息。如果对应虚拟对象是固定对象，则根据实施方式的标志信息具有默认值。因此，如果根据实施方式的标志信息指示虚拟对象是固定对象，则装置(例如，装置2600)可始终显示包括虚拟对象的内容，而与用户位置信息无关。

图29的一部分示出根据实施方式的装置向用户提供第一正视图的处理2900。由于根据实施方式的用户位置对应于第一区域(例如，图24至图28中描述的第一用户位置)，所以第一正视图可包括与第一区域对应的一个或更多个虚拟对象。如图中所示，由于用户的位置不对应于第二区域，所以装置不提供与第二区域(例如，斜线区域)对应的内容。包括在根据实施方式的360°内容中的信令信息或预设标志信息可分别指示与第一区域对应的一个或更多个虚拟对象是不是固定对象。根据实施方式的第一正视图2900包括第一虚拟对象2901、第二虚拟对象2902和第三虚拟对象2903。

图29的另一部分示出根据实施方式的装置向用户提供第二正视图的处理2910。如果根据用户的头部位置改变确定的用户位置对应于第二区域(例如，图24至图28中描述的第二用户位置)，则根据实施方式的第二正视图可包括与第二区域对应的一个或更多个虚拟对象。然而，由于第一虚拟对象2901至第三虚拟对象2903是固定对象，所以尽管用户位置改变，也应该始终显示它们。因此，根据实施方式的第二正视图包括第一虚拟对象2901至第三虚拟对象2903。

图30是示出根据实施方式的360°内容提供处理的示例的图。

图30示出图29的示例。如参照图29描述的，根据实施方式的360°内容可包括与第一区域对应的一个或更多个虚拟对象以及与第二区域对应的一个或更多个虚拟对象。如果用户位置对应于第一区域，则装置(例如，装置2600)可提供包括与第一区域对应的一个或更多个虚拟对象的正视图。当用户位置改变并且对应于第二区域时，装置可提供包括与第二区域对应的一个或更多个虚拟对象的正视图。

图30的左部示出根据实施方式的装置提供与第一区域对应的第一正视图的处理3000。根据实施方式的第一正视图可包括作为固定对象的第一虚拟对象3001。如图中所示，由于用户的位置不对应于第二区域，所以装置不提供包括与第二区域(例如，斜线区域)对应的虚拟对象的内容。如果用户位置对应于第二区域，则根据实施方式的装置可提供与第二区域对应的第二正视图。如上所述，由于作为固定对象的第一虚拟对象3001应该始终显示而与用户位置的改变无关，所以第二正视图应该包括第一虚拟对象3001。如果至少一个虚拟对象3005对应于第二区域存在，则装置可能显示包括与对应虚拟对象3001完全或部分交叠的第一虚拟对象3001的第二正视图。这种内容可能破坏用户体验。

图30的右部示出根据实施方式的装置提供与第二区域对应的第二正视图的处理3010。对于与第一虚拟对象3001完全或部分交叠的虚拟对象3005，根据实施方式的装置(例如，一个或更多个处理器2610)可调节虚拟对象3005的深度信息或图像大小，以使得对应虚拟对象3005可显示在第一虚拟对象3001背后。因此，第二正视图可包括位于最前面的第一虚拟对象3001以及被处理为设置在第一虚拟对象3001背后的虚拟对象3005。

在360°内容用于提供自行车导航服务的情况下，360°内容可包括始终显示的一个或更多个固定对象。即，不管用户位置如何，根据实施方式的装置可始终显示固定对象。

根据实施方式的固定对象可包括指示用户状态信息(例如，用户的心率、用户的呼吸速率、用户的血糖水平等)的虚拟对象。根据实施方式的指示用户状态的信息可包括建议用户喝水的信息、调节呼吸速率的信息等。

根据实施方式的固定对象可包括指示与自行车有关的信息的虚拟对象。根据实施方式的自行车相关信息可包括关于自行车状态的信息(例如，平均速度、当前速度、骑行时间、头盔佩戴、轮胎气压、更换时间、制动器正常等)。

根据实施方式的固定对象可包括指示与自行车骑行有关的信息的虚拟对象。根据实施方式的与自行车骑行有关的信息可包括迷你地图(指示固定地图上的当前位置检查、洗手间、庇护所、便利店等)、目的地信息、到目的地的剩余距离(时间)、交通信号信息、关于应用执行的信息、天气推荐骑行穿戴信息、可通过自行车后视镜确保的信息等。根据实施方式的固定对象可包括指示与自行车骑行无关的信息的虚拟对象。例如，与自行车骑行无关的信息可包括用于摄影的操纵信息等。实施方式的固定对象不限于上述示例。

根据实施方式的360°内容可包括设定为不固定对象的一个或更多个虚拟对象。即，如上所述，如果用户位置对应于特定区域，则根据实施方式的装置可显示与对应区域对应的虚拟对象。

根据实施方式的不固定对象可包括指示行人检测、关于周围建筑物的信息、关于周围车辆的信息(例如，速度信息、车辆行驶预测信息、异常检测信息等)、停车信息、当前播放的音乐信息、图像再现、用于启动其它附加应用的信息等的虚拟对象。根据实施方式的异常检测信息包括关于自行车骑行的障碍物(例如，虫子等)的信息。

根据实施方式的不固定对象可包括指示风向信息、与用户姿态有关的信息、用户定制的车座高度信息、根据地形的驾驶辅助信息(例如，预测在可能跌倒的地形上跌倒的信息)等的虚拟对象。根据实施方式的不固定对象不限于上述示例。

当根据实施方式的360°内容用于提供高尔夫服务时，360°内容可包括始终显示的一个或更多个固定对象。即，不管用户位置如何，根据实施方式的装置可始终显示固定对象。

根据实施方式的固定对象可包括指示关于其他选手的信息、得分信息、天气信息、高尔夫球场相关信息(例如，地图、到球洞的距离、坡度信息等)、与杆数有关的信息、比赛进行时间等的虚拟对象。根据实施方式的固定对象不限于上述示例。

根据实施方式的360°内容可包括设定为不固定对象的一个或更多个虚拟对象。即，如上所述，如果用户位置对应于特定区域，则根据实施方式的装置可显示与对应区域对应的虚拟对象。

根据实施方式的不固定对象可包括指示根据正在进行的比赛位置的俱乐部推荐信息、风向信息、球相关信息(例如，球方向预测信息、关于球飞行方向的信息、球位置预测信息等)、用户姿态相关信息(例如，两脚之间分开的角度、球到用户的距离信息、用户的眼睛校正信息等)的虚拟对象。根据实施方式的不固定对象可包括指示用于辅助击球力量控制的信息以及与虚拟驱动范围有关的信息(例如，虚拟场地、球、风向等)的虚拟对象。根据实施方式的不固定对象不限于上述示例。

图31是示出根据实施方式的视场(FOV)的图。

图31示出指示在用户单目情况而非双目情况下由左眼和右眼中的每一个识别的FOV的示例3100。在图31中，实线指示由左眼识别的FOV(例如，155°)，虚线指示由右眼识别的FOV(例如，155°)。图31所示的角度3110指示通过用户的两只眼睛识别的FOV(例如，120°)。因此，单目情况的FOV大于双目情况。图中的斜线部分3120指示单目FOV与双目FOV之间的差异。

根据实施方式的装置(例如，一个或更多个传感器2610)可接收用于每虚拟对象配置优先级信息的用户输入信号。如果虚拟对象与至少一个其它虚拟对象完全或部分交叠，如图30所示，根据实施方式的优先级信息可用于确定显示设置顺序。根据实施方式的优先级信息可被称为优先级标志信息或标志信息。根据实施方式的装置(例如，一个或更多个处理器2620)可设定优先级信息的默认值。根据实施方式的装置可根据用户输入信号每虚拟对象配置和改变优先级信息，然后根据改变的优先级信息来显示包括虚拟对象的内容。

图32是示出响应于用户输入信号而配置优先级信息的处理的示例的图。

根据实施方式的装置(例如，装置2600)可接收选择第一虚拟对象3210的用户输入信号以用于配置与第一区域对应的第一虚拟对象3210的优先级信息。根据实施方式的选择第一虚拟对象3210的用户输入信号可包括从遥控器传送的信号、输入到装置的用户触摸手势、从装置的一个或更多个传感器(例如，一个或更多个传感器2610)确保的用户手势、用户姿态等。根据实施方式的选择第一虚拟对象3210的用户输入信号不限于上述示例。

基于选择第一虚拟对象3210的用户输入信号，根据实施方式的装置可显示所选第一虚拟对象3210的优先级信息3220。根据实施方式的优先级信息3220可按照用户可选择菜单、项目等的形式显示。如图中所示，根据实施方式的优先级信息3220可包括除了预设默认值之外的其余值。

如上所述，根据实施方式的默认值指示对应虚拟对象应该始终设置在最前面。因此，当响应于用户位置改变而提供与第二区域对应的第二正视图时，如果与第一区域对应的第一虚拟对象的优先级信息具有默认值，则根据实施方式的装置提供包括应该设置在最前面的第一虚拟对象的第二正视图。

根据实施方式的标志值“1”意指需要维持第一虚拟对象3210的相对位置。在根据实施方式的装置显示与第一区域对应的正视图的同时，如果用户位置对应于第二区域，则根据实施方式的装置可显示与第二区域对应的第二正视图。如果第一虚拟对象3210的优先级信息具有值“1”，则第二正视图可包括第一虚拟对象3210。如果存在与第二区域对应的一个或更多个对象并且至少一个虚拟对象与第一虚拟对象3210彼此完全或部分交叠，则根据实施方式的装置可将第一虚拟对象3210的优先级信息值和对应虚拟对象的优先级信息值彼此比较。

如果与第一虚拟对象3210完全或部分交叠的虚拟对象的优先级信息值为2或3，则根据实施方式的装置(例如，一个或更多个处理器2620)可通过改变对应虚拟对象的深度信息来提供第一虚拟对象3210设置在最前面的第二正视图。

如果与第一虚拟对象3210完全或部分交叠的虚拟对象的优先级信息值为1，则根据实施方式的装置(例如，一个或更多个处理器2620)可处理第一虚拟对象3210以设置在另一位置。例如，根据实施方式的装置可提供包括第一虚拟对象3210的第二正视图，该第一虚拟对象3210设置在与第二区域对应的虚拟对象当中的优先级信息值设定为2或3的虚拟对象前面。

根据实施方式的标志值“2”指示不维持第一虚拟对象3210的相对位置。因此，根据实施方式的装置可提供包括第一虚拟对象3210的第二正视图，该第一虚拟对象3210的尺寸等被调节以不与第二区域所对应的一个或更多个虚拟对象交叠。

根据实施方式的标志值“3”指示第一虚拟对象3210是不固定对象，并且在除了与第一区域对应的第一正视图之外的其它正视图中不提供。因此，根据实施方式的装置可提供不包括第一虚拟对象3210的第二正视图。

根据实施方式的装置可接收设定出现在优先级信息3220中的标志值的用户输入信号。根据实施方式的设定标志值的用户输入信号可包括从遥控器传送的信号、输入到装置的用户触摸手势、从装置的一个或更多个传感器(例如，一个或更多个传感器2610)确保的用户手势、用户姿态等。根据实施方式的设定标志值的用户输入信号不限于上述示例。

图33是示出根据实施方式的360°内容提供处理的示例的图。

图33示出根据实施方式的装置(例如，图26的装置2600)基于图32中描述的优先级信息来提供360°内容的处理。

图33的左部示出根据实施方式的装置(例如，装置2600)提供包括优先级信息值设定为1的第一虚拟对象3301的第一正视图的处理3300的示例。根据实施方式的360°内容可包括与第二区域对应的一个或更多个虚拟对象(例如，第二虚拟对象3302、第三虚拟对象3303和第四虚拟对象3304)。根据实施方式，第二虚拟对象3302的优先级信息值为1，第三虚拟对象3303的优先级信息值为3，第四虚拟对象3304的优先级信息值为2。由于用户位置不对应于第二区域，所以不显示与第二区域对应的第二正视图(表示为虚线)。

图33的右部示出如果用户位置对应于第二区域，则根据实施方式的装置提供包括第一虚拟对象3301的第二正视图的处理3320的示例。如上所述，由于第一虚拟对象3301的优先级信息值为1，所以应该维持第一虚拟对象3301的相对位置。然而，如果维持第一虚拟对象3301的相对位置，则第一虚拟对象3301和第二虚拟对象3302不可避免地彼此完全或部分交叠。因此，根据实施方式的装置(例如，一个或更多个处理器2620)可调节第三虚拟对象3303的深度信息，使得第一虚拟对象3301设置在优先级信息值为3的第三虚拟对象3303之前。即，如图中所示，第二正视图包括设置在第三虚拟对象3303之前的第一虚拟对象3301。

图34是示出根据实施方式的360°内容提供处理的示例的图。

作为图33的示例，图34示出根据实施方式的装置(例如，图26的装置2600)基于图32中描述的优先级信息来提供360°内容的处理。

图34的左部示出根据实施方式的装置(例如，装置2600)提供包括优先级信息值设定为1的第一虚拟对象3401的第一正视图的处理3400的示例。根据实施方式的360°内容可包括与第二区域对应的一个或更多个虚拟对象(例如，第二虚拟对象3402)。根据实施方式，第二虚拟对象3402的优先级信息值为1。由于用户位置不对应于第二区域，所以不显示与第二区域对应的第二正视图(表示为虚线)。

图34的右部示出如果用户位置对应于第二区域，则根据实施方式的装置提供包括第一虚拟对象3401的第二正视图的处理3410的示例。如上所述，由于第一虚拟对象3401的优先级信息值为1，则应该维持第一虚拟对象3401的相对位置。然而，如果维持第一虚拟对象3401的相对位置，则第一虚拟对象3401和第二虚拟对象3402不可避免地彼此完全或部分交叠。因此，根据实施方式的装置(例如，一个或更多个处理器2620)可调节第二虚拟对象3402的深度信息，使得第一虚拟对象3401设置在第二虚拟对象3402之前。即，如图中所示，第二正视图包括设置在第二虚拟对象3402之前的第一虚拟对象3401。

图35是示出根据实施方式的360°内容提供处理的示例的图。

作为图33和图34的示例，图35示出根据实施方式的装置(例如，图26的装置2600)基于图32中描述的优先级信息来提供360°内容的处理。

图35的左部示出根据实施方式的装置(例如，装置2600)提供包括优先级信息值设定为1的第一虚拟对象3501的第一正视图的处理3500的示例。根据实施方式的360°内容可包括与第二区域对应的一个或更多个虚拟对象(例如，第二虚拟对象3502)。根据实施方式，第二虚拟对象3502的优先级信息值为2。由于用户位置不对应于第二区域，所以不显示与第二区域对应的第二正视图(表示为斜线)。

图35的右部示出如果用户位置对应于第二区域，则根据实施方式的装置提供包括第一虚拟对象3501的第二正视图的处理3510的示例。如上所述，由于第一虚拟对象3501的优先级信息值为2，所以不维持第一虚拟对象3501的相对位置。因此，根据实施方式的装置(例如，一个或更多个处理器2620)可调节第一虚拟对象3501的大小，使得第一虚拟对象3501不与第二虚拟对象3502交叠。即，如图中所示，第二正视图包括设置在第二虚拟对象3502下方的可用空间中的第一虚拟对象3501。

图36是示出根据实施方式的内容提供方法的流程图。

图36是指示图24至图35中描述的装置(例如，装置2600)的内容提供方法的流程图3600。

参照图36，根据实施方式的装置(例如，装置2600)基于第一用户位置来显示360°内容的第一正视图[3610]。如参照图24至图35描述的，根据实施方式的第一用户位置基于用户的头部位置和身***置来配置，并且360°内容是可基于用户位置信息显示在表示为一个或更多个区域的360°空间中的内容。根据实施方式的一个或更多个区域包括第一区域以及与第一区域相邻的第二区域，第一正视图是与第一区域对应的内容，并且第一区域的大小对应于位于第一用户位置的用户的视场(FOV)的大小。第二区域的大小对应于头部位置的最大改变值。最大改变值为90°(即，用户的头部可从第一位置所指示的头部位置转动的最大角度)。根据实施方式的第二正视图的大小对应于位于第二用户位置的用户的FOV的大小，并且根据改变的头部位置，第二正视图是与第一区域的一部分和第二区域的一部分或第一区域的一部分和第二区域的全部对应的内容。根据实施方式的360°内容包括一个或更多个虚拟对象以及与这一个或更多个虚拟对象有关的信令信息。一个或更多个虚拟对象可包括与第一区域对应的第一虚拟对象以及与第二区域对应的第二虚拟对象。信令信息包括指示第一虚拟对象是不是始终显示的固定对象的第一标志信息以及指示第二虚拟对象是不是可始终显示的固定对象的第二标志信息(例如，图29和图30中描述的标志信息)。如果第一虚拟对象是固定对象，则第一标志信息具有默认值。根据实施方式的装置执行与图24至图35中描述的操作和/或方法相同或相似的操作和/或方法。由于与参照图24至图35的先前描述的冗余，将省略细节。

根据实施方式的装置(例如，一个或更多个传感器2610)确保用户位置信息[3620]。根据实施方式的装置(例如，一个或更多个传感器2610)可检测用于配置第一虚拟对象的第一优先级信息的用户输入信号。第一优先级信息是用于确定第一虚拟对象和至少一个虚拟对象的显示设置的信息，并且与图32至图35中描述的优先级信息相同。根据实施方式的装置执行与图24至图35中描述的操作和/或方法相同或相似的操作和/或方法。由于与参照图24至图35的先前描述的冗余，将省略细节。

如果所确保的用户位置信息指示头部位置改变，则根据实施方式的装置(例如，显示器2632)基于根据改变的头部位置确定的第二用户位置来显示360°内容的第二正视图。如果所确保的用户位置信息指示用户的头部位置和身***置改变，则装置基于根据改变的头部位置和身***置确定的第三用户位置来显示第一正视图[3630]。根据实施方式的装置(例如，显示器2632)可基于第一优先级信息和第二虚拟对象的第二优先级信息来显示包括第一虚拟对象和第二虚拟对象中的至少一个的第二正视图。当第一虚拟对象和第二虚拟对象彼此完全或部分交叠时，如果第一优先级信息具有默认值，则根据实施方式的装置(例如，显示器2632)可显示包括设置在第二虚拟对象之前的第一虚拟对象的第二正视图。根据实施方式的装置执行与图24至图35中描述的操作和/或方法相同或相似的操作和/或方法。由于与参照图24至图35的先前描述的冗余，将省略细节。

图1至图36中描述的根据实施方式的装置的元件可由包括连接到存储器的一个或更多个处理器的硬件、软件、固件及其组合实现。根据实施方式的装置的元件可被实现为单个芯片，例如单个硬件电路。另外，根据实施方式的装置的元件可分别被实现为单独的芯片。根据实施方式的装置的至少一个元件可被实现为能够执行一个或更多个程序的一个或更多个处理器，并且一个或更多个程序可包括允许或执行图24至图36中描述的装置的先前操作/方法当中的一个或更多个操作的指令。

执行根据实施方式的装置的操作的可执行指令可被存储在被配置为由一个或更多个处理器执行的非暂时CRM或其它计算机程序产品或者被配置为由一个或更多个处理器执行的暂时CRM或其它计算机程序产品中。根据实施方式的存储器可用于在概念上包括非易失性存储器、闪存、PROM等以及易失性存储器(例如，RAM等)。

将理解，尽管本文中可使用术语第一、第二等来描述各种元件，但是这些元件不应受这些术语限制。这些术语通常仅用于将一个元件与另一元件相区分。例如，第一图像可被称为第二图像。类似地，第二图像可被称为第一图像。这种改变应该被解释为不脱离上述各种实施方式的范围。尽管第一图像和第二图像二者指示图像，但是除非在上下文中清楚地指明，否则它们不被解释为相同的图像。

本领域技术人员将理解，可进行各种修改和变化

应该在所附权利要求中所限定的其范围内广义地考虑，因此落在权利要求的界限或者这些界限的等同物内的所有改变和修改因此旨在被所附权利要求涵盖。

Claims (20)

1.一种提供内容的方法，该方法包括以下步骤：

基于以用户的头部位置和所述用户的身***置为基础配置的第一用户位置来显示360°内容的第一正视图，所述360°内容基于用户位置信息显示在表示为一个或更多个区域的360°空间中；

响应于确定所述用户位置信息指示在所述身***置保持不变的同时，所述头部位置改变为改变的头部位置，基于根据所述改变的头部位置确定的第二用户位置来显示所述360°内容的第二正视图，所述第二正视图不同于所述第一正视图；以及

响应于确定所述用户位置信息指示所述头部位置改变为所述改变的头部位置并且所述身***置改变为改变的身***置，基于根据所述改变的头部位置和所述改变的身***置确定的第三用户位置来继续显示所述第一正视图。

2.根据权利要求1所述的方法，其中，所述一个或更多个区域包括第一区域以及与所述第一区域相邻的第二区域，

其中，所述第一正视图包括与所述第一区域对应的第一内容，

其中，所述第一区域的大小对应于位于所述第一用户位置的所述用户的视场FOV的大小，并且

其中，所述第二区域的大小对应于所述头部位置的最大改变值。

3.根据权利要求2所述的方法，其中，所述最大改变值包括所述用户的头部从所述第一用户位置所指示的头部位置转动离开的最大角度90°。

4.根据权利要求2所述的方法，其中，所述第二正视图的大小对应于位于所述第二用户位置的所述用户的所述FOV的大小，并且

其中，根据所述改变的头部位置，所述第二正视图包括与所述第一区域的一部分和所述第二区域的一部分或者所述第一区域的一部分和所述第二区域的全部对应的第二内容。

5.根据权利要求1所述的方法，其中，所述一个或更多个区域包括第一区域以及与所述第一区域相邻的第二区域，

其中，所述360°内容包括一个或更多个虚拟对象以及与所述一个或更多个虚拟对象有关的信令信息，并且

其中，所述一个或更多个虚拟对象包括与所述第一区域对应的第一虚拟对象以及与所述第二区域对应的第二虚拟对象。

6.根据权利要求5所述的方法，其中，所述信令信息包括第一标志信息和第二标志信息，所述第一标志信息指示所述第一虚拟对象是始终显示而与所述改变的头部位置无关的固定类型的对象还是基于所述用户的头部移动而消失的未固定类型的对象，所述第二标志信息指示所述第二虚拟对象是所述固定类型的对象还是所述未固定类型的对象。

7.根据权利要求6所述的方法，其中，当所述第一虚拟对象是所述固定类型的对象时，所述第一标志信息具有默认值。

8.根据权利要求5所述的方法，其中，基于所述第一用户位置显示所述360°内容的所述第一正视图的步骤包括检测用于配置所述第一虚拟对象的第一优先级信息的用户输入信号，并且

其中，基于所述第一优先级信息来确定所述第一虚拟对象的显示位置。

9.根据权利要求8所述的方法，其中，显示所述第二正视图的步骤包括基于所述第一优先级信息和所述第二虚拟对象的第二优先级信息来显示所述第一虚拟对象和所述第二虚拟对象中的至少一个。

10.根据权利要求9所述的方法，该方法还包括以下步骤：

当在所述第二正视图中所述第一虚拟对象和所述第二虚拟对象彼此交叠，并且所述第一优先级信息具有默认值或者比所述第二优先级信息更高的优先级时，将所述第一虚拟对象显示在所述第二虚拟对象的前面。

11.一种用于提供内容的装置，该装置包括：

至少一个传感器，所述至少一个传感器被配置为感测基于用户的头部位置和所述用户的身***置配置的用户位置信息；

显示器，该显示器被配置为基于用户位置信息将360°内容的至少一部分显示在表示为一个或更多个区域的360°空间中；以及

至少一个处理器，所述至少一个处理器被配置为：

基于以所述用户的所述头部位置和所述用户的所述身***置为基础配置的第一用户位置来显示所述360°内容的第一正视图，

响应于确定所述用户位置信息指示在所述身***置保持不变的同时，所述头部位置改变为改变的头部位置，基于根据所述改变的头部位置确定的第二用户位置来显示所述360°内容的第二正视图，所述第二正视图不同于所述第一正视图，并且

响应于确定所述用户位置信息指示所述头部位置改变为所述改变的头部位置并且所述身***置改变为改变的身***置，基于根据所述改变的头部位置和所述改变的身***置确定的第三用户位置来继续显示所述第一正视图。

12.根据权利要求11所述的装置，其中，所述一个或更多个区域包括第一区域以及与所述第一区域相邻的第二区域，

其中，所述第一正视图包括与所述第一区域对应的第一内容，

其中，所述第一区域的大小对应于位于所述第一用户位置的所述用户的视场FOV的大小，并且

其中，所述第二区域的大小对应于所述头部位置的最大改变值。

13.根据权利要求12所述的装置，其中，所述最大改变值包括所述用户的头部从所述第一用户位置所指示的头部位置转动离开的最大角度90°。

14.根据权利要求12所述的装置，其中，所述第二正视图的大小对应于位于所述第二用户位置的所述用户的所述FOV的大小，并且

其中，根据所述改变的头部位置，所述第二正视图包括与所述第一区域的一部分和所述第二区域的一部分或者所述第一区域的一部分和所述第二区域的全部对应的第二内容。

15.根据权利要求11所述的装置，其中，所述一个或更多个区域包括第一区域以及与所述第一区域相邻的第二区域，

其中，所述360°内容包括一个或更多个虚拟对象以及与所述一个或更多个虚拟对象有关的信令信息，并且

其中，所述一个或更多个虚拟对象包括与所述第一区域对应的第一虚拟对象以及与所述第二区域对应的第二虚拟对象。

16.根据权利要求15所述的装置，其中，所述信令信息包括第一标志信息和第二标志信息，所述第一标志信息指示所述第一虚拟对象是始终显示而与所述改变的头部位置无关的固定类型的对象还是基于所述用户的头部移动而消失的未固定类型的对象，所述第二标志信息指示所述第二虚拟对象是所述固定类型的对象还是所述未固定类型的对象。

17.根据权利要求16所述的装置，其中，当所述第一虚拟对象是所述固定类型的对象时，所述第一标志信息具有默认值。

18.根据权利要求15所述的装置，其中，所述至少一个传感器还被配置为：

检测用于配置所述第一虚拟对象的第一优先级信息的用户输入信号，并且

其中，基于所述第一优先级信息来确定所述第一虚拟对象的显示位置。

19.根据权利要求18所述的装置，其中，所述至少一个处理器还被配置为：

将所述第一优先级信息与第二优先级信息比较以生成比较结果，并且

基于比较结果将所述第一虚拟对象或所述第二虚拟对象中的至少一个显示在所述第二正视图中。

20.根据权利要求19所述的装置，其中，所述至少一个处理器还被配置为：

当在所述第二正视图中所述第一虚拟对象和所述第二虚拟对象彼此交叠，并且所述第一优先级信息具有默认值或者比所述第二优先级信息更高的优先级时，将所述第一虚拟对象显示在所述第二虚拟对象的前面。

Images