CN114402571A - 基于会话描述协议和实时协议的体积点云内容的流式传输 - Google Patents

基于会话描述协议和实时协议的体积点云内容的流式传输 Download PDF

Info

Publication number
CN114402571A
CN114402571A CN202080063485.2A CN202080063485A CN114402571A CN 114402571 A CN114402571 A CN 114402571A CN 202080063485 A CN202080063485 A CN 202080063485A CN 114402571 A CN114402571 A CN 114402571A
Authority
CN
China
Prior art keywords
data
rtp
stream
point cloud
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080063485.2A
Other languages
English (en)
Inventor
O·奥伊曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN114402571A publication Critical patent/CN114402571A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开描述了实时协议(RTP)数据流式传输的过程。一种过程包括生成多个编解码位流，每个编解码位流被配置为承载编码的信息，该编码的信息包括用于体积视频的占用图数据、几何结构数据或属性数据中的一者。该过程包括针对该多个编解码位流中的每个编解码位流生成专用RTP流，该专用RTP流包括基于针对该RTP流的相应编解码位流的RTP有效载荷格式。该过程包括将每个专用RTP流复用到用于该体积视频的结果RTP流中。

Description

基于会话描述协议和实时协议的体积点云内容的流式传输
相关申请的交叉引用
本申请要求2019年7月16日提交的名称为“SDP AND RTP-BASED METHODS FORSTREAMING OF VOLUMETRIC POINT CLOUD CONTENT”的美国临时专利申请第62/874,873号的优先权，该申请的全部内容以引用方式并入本文。
技术领域
本公开整体涉及无线通信，包括用于流式传输数据的协议。
背景技术
无线通信***的使用正在快速增长。另外，无线通信技术已从仅语音通信演进到也包括到各种设备的数据(诸如互联网和多媒体内容)的传输。为了适应越来越多的传送语音信号和数据信号两者的设备，许多无线通信***在设备之间共享可用的通信信道资源。
发明内容
本说明书描述基于会话描述协议(SDP)的程序和基于实时协议(RTP)的程序以支持体积视频内容的流式传输。一般来讲，体积内容分布可以被配置为递送6自由度(6DoF)沉浸式媒体体验。更新实时递送协议(诸如RTP)和会话管理协议(诸如SDP)，以便提供实时共享体积内容的方法。
在一般方面，用于实时协议(RTP)数据流式传输的方法包括生成多个编解码位流，每个编解码位流被配置为承载编码的信息，该编码的信息包括用于体积视频的占用图数据、几何结构数据或属性数据中的一者。该方法包括针对该多个编解码位流中的每个编解码位流生成专用RTP流，该专用RTP流包括基于针对该RTP流的相应编解码位流的RTP有效载荷格式。该方法包括将每个专用RTP流复用到用于体积视频的结果RTP流中。
在一个实施方案中，该方法包括使用结果RTP流执行基于视频的点云编码(V-PCC)。在一个实施方案中，每个编解码位流包括高效率视频编码(HEVC)位流。
在一个实施方案中，该方法包括生成包括压缩的补丁序列子流的附加的专用RTP流。在一个实施方案中，该方法包括将附加的RTP流复用到用于V-PCC视频的结果RTP流中。
在一个实施方案中，该方法包括生成结果RTP流的RTP报头扩展，该RTP报头扩展被配置为包括压缩的补丁序列子流。
在一个实施方案中，该方法包括生成一个或多个会话描述协议(SDP)属性以指示承载作为结果RTP流的一部分的点云视频的能力。
在一个实施方案中，结果RTP流的该一个或多个SDP属性指示以下各项中的至少一项：在专用RTP流中承载有关占用图数据、几何结构数据、属性数据和补丁序列数据的编码的点云信息的能力；在单个复用的RTP流中承载有关点云信息诸如占用图数据、几何结构数据、属性数据和补丁序列数据的专用RTP流的能力；在RTP报头扩展中承载序列参数集(SPS)单元类型信息的能力；承载作为RTP有效载荷格式的一部分的点云元数据信息的能力；以及支持编解码能力以满足针对点云视频的最低质量要求的能力。
在一个实施方案中，RTP有效载荷格式包括至少一个补充信息增强(SEI)消息，其中在点云视频特定SEI消息中承载的数据在接收器处用于渲染阶段。
在一个实施方案中，该一个或多个SDP属性指示以下各项中的至少一项：使用RTCP反馈消息来发信号通知期望的视口的能力；以及使用RTP报头扩展消息来发信号通知实际传输的视口的能力。在一个实施方案中，每个专用RTP流包括不同的媒体类型。
在一般方面，用户设备(UE)被配置用于实时协议(RTP)数据流式传输。UE包括处理电路，该处理电路被配置为：生成多个编解码位流，每个编解码位流被配置为承载编码的信息，该编码的信息包括用于体积视频的占用图数据、几何结构数据或属性数据中的一者。该处理电路被配置为针对该多个编解码位流中的每个编解码位流生成专用RTP流，该专用RTP流包括基于针对该RTP流的相应编解码位流的RTP有效载荷格式。该处理电路被配置为将每个专用RTP流复用到用于体积视频的结果RTP流中。该UE包括与该处理电路耦接的基带电路，该基带电路被配置为生成用于发送至联网设备的结果RTP流。
在一个实施方案中，该处理电路被进一步配置为使用结果RTP流执行基于视频的点云编码(V-PCC)。在一个实施方案中，每个编解码位流包括高效率视频编码(HEVC)位流。
在一个实施方案中，该处理电路被进一步配置为生成附加的专用RTP流，该附加的专用RTP流包括压缩的补丁序列子流。在一个实施方案中，该处理电路被进一步配置为将附加的RTP流复用到用于V-PCC视频的结果RTP流中。
在一个实施方案中，该处理电路被进一步配置为生成结果RTP流的RTP报头扩展。该RTP报头扩展被配置为包括压缩的补丁序列子流。
在一个实施方案中，该处理电路被进一步配置为生成一个或多个会话描述协议(SDP)属性以指示承载作为结果RTP流的一部分的点云视频的能力。
在一个实施方案中，结果RTP流的该一个或多个SDP属性指示以下各项中的至少一项：在专用RTP流中承载有关占用图数据、几何结构数据、属性数据和补丁序列数据的编码的点云信息的能力；在单个复用的RTP流中承载有关点云信息诸如占用图数据、几何结构数据、属性数据和补丁序列数据的专用RTP流的能力；在RTP报头扩展中承载序列参数集(SPS)单元类型信息的能力；承载作为RTP有效载荷格式的一部分的点云元数据信息的能力；以及支持编解码能力以满足针对点云视频的最低质量要求的能力。
在一个实施方案中，RTP有效载荷格式包括至少一个补充信息增强(SEI)消息。在点云视频特定SEI消息中承载的数据在接收器处用于渲染阶段。
在一个实施方案中，该一个或多个SDP属性指示以下各项中的至少一项：使用RTCP反馈消息来发信号通知期望的视口的能力；以及使用RTP报头扩展消息来发信号通知实际传输的视口的能力。在一个实施方案中，每个专用RTP流包括不同的媒体类型。
在一些实施方案中，该过程由网络元件、UE或基站，诸如下一代节点(gNB)执行。在一些具体实施中，一个或多个非暂时性计算机可读介质存储指令，该指令在由至少一个处理设备执行时使该至少一个处理设备(或与该至少一个处理设备通信的另一设备)执行该过程。
在一般方面，一种用于实时协议(RTP)数据流式传输的方法包括：将表示体积视频的RTP流解复用到多个编解码位流中。该方法包括从该多个编解码位流中解码纹理数据，该纹理数据包括用于体积视频的占用图数据、几何结构数据和属性数据。该方法包括从纹理数据生成用于体积视频的点云重构。该方法包括基于点云重构渲染体积视频。
在实施方案中，该方法包括从该多个编解码位流中解码一个或多个补充信息增强(SEI)消息，该补充信息增强消息包括用于渲染体积视频的元数据。
在实施方案中，该方法包括从该多个编解码位流中解码补丁序列数据，其中生成点云重构是基于补丁序列数据。
在实施方案中，渲染体积视频包括：从与被配置为显示体积视频的设备相关联的传感器接收指示显示器的位置的传感器数据；以及基于指示该位置的传感器数据渲染体积视频。在实施方案中，每个编解码位流包括高效率视频编码(HEVC)位流。
在实施方案中，该方法包括接收RTP流的RTP报头扩展，该RTP报头扩展被配置为包括压缩的补丁序列子流。在实施方案中，该方法包括接收包括一个或多个会话描述协议(SDP)属性的数据，以指示承载作为RTP流的一部分的点云视频的能力。
在实施方案中，RTP流的一个或多个SDP属性指示以下各项中的至少一项：在专用RTP流中承载有关占用图数据、几何结构数据、属性数据和补丁序列数据的编码的点云信息的能力；在单个复用的RTP流中承载有关点云信息诸如占用图数据、几何结构数据、属性数据和补丁序列数据的专用RTP流的能力；在RTP报头扩展中承载序列参数集(SPS)单元类型信息的能力；承载作为RTP有效载荷格式的一部分的点云元数据信息的能力；以及支持编解码能力以满足针对点云视频的最低质量要求的能力。
在实施方案中，该一个或多个SDP属性指示以下各项中的至少一项：使用RTCP反馈消息来发信号通知期望的视口的能力；以及使用RTP报头扩展消息来发信号通知实际传输的视口的能力。
在实施方案中，每个编解码位流包括不同的媒体类型。
在实施方案中，该方法由用户设备(UE)、联网设备或接入节点(AN)执行。
在下面的附图和描述中阐述了一个或多个具体实施的细节。其他特征和优点将在具体实施方式和附图以及权利要求中显而易见。
附图说明
图1示出了根据本文各种实施方案的示例性无线通信***。
图2示出了根据本文各种实施方案的平台或设备的示例。
图3示出了根据本文各种实施方案的可在无线通信***中实现的示例性协议功能。
图4示出了根据本文各种实施方案的计算机***或设备的示例。
图5示出了根据本文各种实施方案的基于视频的点云编码(V-PCC)架构的示例。
图6示出了根据本文各种实施方案的可能的接收器架构的概览的示例。
图7和图8示出了根据本文各种实施方案的基于会话描述协议和实时协议的体积点云内容的流式传输的示例性过程。
各个附图中的类似参考符号指示类似的元素。
具体实施方式
本说明书描述基于会话描述协议(SDP)的程序和基于实时协议(RTP)的程序以支持体积视频内容的流式传输。一般来讲，体积内容分布可以被配置为递送6自由度(6DoF)沉浸式媒体体验。更新实时递送协议(诸如RTP)和会话管理协议(诸如SDP)，以便提供实时共享体积内容的方法。
体积视频可以被配置为用于递送实时或接近实时6DoF体验。体积视频包括空间数据，并且使观察者能够在人和物体周围行走并与人和物体交互。体积视频比基于360度的视频片段更具沉浸性，因为体积视频以三维(3D)方式捕获环境中的运动。例如，体积视频可以以3D方式捕获人或物体的运动。体积视频的观察者或用户可以通过使用位置跟踪从任何角度观察这些运动。
点云是用于描述3D物体或场景的体积表示。点云可以包括3D空间中的一组无序数据点，其中的每个无序数据点由相应的空间(x，y，z)位置(或其它坐标)指定。在一些具体实施中，点云的每个点可以具有相关联的属性，诸如红绿蓝(RGB)颜色数据、表面正常数据和反射率数据。换句话讲，点云大致为众所周知的用于表示二维(2D)视频的像素的3D等效物。数据点共同描述场景或物体的3D几何结构和纹理。在一些具体实施中，可以通过量化位于边界立方体内的整数网格上的点位置来对点云进行体素化，这可以实现更有效的实时处理。一般来讲，如果体素包含点云的任何点，那么该体素被占用。
此类体积表示将其本身用于沉浸式形式的交互作用和利用6DoF的表现。因为与3D视频相比，点云表示需要相对大量的数据，所以期望开发有效的压缩技术，以便使用典型的宽带接入***到达消费者。本说明书描述了实现典型宽带接入***中的体积数据的实时流式传输的有效压缩技术。
图1示出了示例性无线通信***100。为了方便而非限制的目的，在由第三代合作伙伴项目(3GPP)技术规范定义的LTE和5G NR通信标准的上下文中描述示例性***100。更具体地讲，无线通信***100在结合LTE和NR两者的非独立(NSA)网络例如E-UTRA(演进通用陆地无线电接入)-NR双连接(EN-DC)网络和NE-DC网络的上下文中进行描述。然而，无线通信***100也可以是仅结合NR的独立(SA)网络。此外，其他类型的通信标准也是可能的，包括未来的3GPP***(例如，第六代(6G))***、IEEE 802.16协议(例如，WMAN、WiMAX等)等。
***100包括UE 101a和UE 101b(统称为“UE 101”)。在此示例中，UE 101示出为智能电话(例如，可连接到一个或多个蜂窝网络的手持式触摸屏移动计算设备)。在其他示例中，多个UE 101中的任一者可包括其他移动计算设备或非移动计算设备，诸如消费电子设备、蜂窝电话、智能电话、功能手机、平板电脑、可穿戴计算机设备、个人数字助理(PDA)、寻呼机、无线手持设备、台式计算机、膝上型计算机、车载信息娱乐(IVI)、车载娱乐(ICE)设备、仪表板(IC)、平视显示器(HUD)设备、板载诊断(OBD)设备、车载移动装备(DME)、移动数据终端(MDT)、电子引擎管理***(EEMS)、电子/引擎控制单元(ECU)、电子/引擎控制模块(ECM)、嵌入式***、微控制器、控制模块、引擎管理***(EMS)、联网或“智能”家电、机器类型通信(MTC)设备、机器对机器(M2M)设备、物联网(IoT)设备或它们的组合等。
在一些示例中，多个UE 101中的任一者可以是IoT UE，这种UE可包括被设计用于利用短期UE连接的低功率IoT应用的网络接入层。IoT UE可利用诸如M2M或MTC的技术以利用例如公共陆地移动网络(PLMN)、近距离服务(ProSe)、设备到设备(D2D)通信、传感器网络、IoT网络、或其组合等等与MTC服务器或设备交换数据。M2M或MTC数据交换可以是机器启动的数据交换。IoT网络描述了互连的IoT UE，这些UE可包括具有短暂连接的唯一可识别的嵌入式计算设备(在互联网基础设施内)。IoT UE可执行后台应用程序(例如，保持活动消息或状态更新)以促进IoT网络的连接。
UE 101被配置为与接入网络(AN)或无线电接入网络(RAN)110连接(例如，通信地耦接)。在一些示例中，RAN 110可以是下一代RAN(NG RAN)、演进UMTS陆地无线电接入网络(E-UTRAN)或传统RAN，诸如UMTS陆地无线电接入网络(UTRAN)或GSM EDGE无线电接入网络(GERAN)。如本文所用，术语“NG RAN”可以是指在5G NR***100中操作的RAN 110，而术语“E-UTRAN”可以是指在LTE或4G***100中操作的RAN 110。
为了连接到RAN 110，多个UE 101分别利用连接(或信道)103和104，每个连接(或信道)可包括物理通信接口或层，如下所述。在该示例中，连接103和连接104被示为空中接口以实现通信耦接，并且可以与蜂窝通信协议保持一致，诸如全球移动通信***(GSM)协议、码分多址(CDMA)网络协议、一键通(PTT)协议、蜂窝PTT(POC)协议、通用移动电信***(UMTS)协议、3GPP LTE协议、5G NR协议、或它们的组合，以及其他通信协议。在一些示例中，多个UE 101可使用接口105诸如ProSe接口直接交换通信数据。接口105可另选地被称为侧链路接口105并且可包括一个或多个逻辑信道，诸如物理侧链路控制信道(PSCCH)、物理侧链路共享信道(PSSCH)、物理侧链路下行链路信道(PSDCH)或物理侧链路广播信道(PSBCH)或它们的组合等。
示出UE 101b被配置为使用连接107访问接入点(AP)106(也称为“WLAN节点106”、“WLAN 106”、“WLAN终止106”、“WT 106”等)。连接107可包括本地无线连接，诸如与任何IEEE802.11协议一致的连接，其中AP 106将包括无线保真
Figure BDA0003540338480000081
路由器。在该示例中，示出AP 106连接到互联网而没有连接到无线***的核心网，如下文进一步详细描述。在各种示例中，UE 101b、RAN 110和AP 106可被配置为使用LTE-WLAN聚合(LWA)操作或与IPsec隧道(LWIP)集成的LTW/WLAN无线电级别操作。LWA操作可涉及由RAN节点111a、111b将处于RRC_CONNECTED状态的UE 101b配置为利用LTE和WLAN的无线电资源。LWIP操作可涉及UE 101b使用IPsec协议隧道来使用WLAN无线电资源(例如，连接107)来认证和加密通过连接107发送的分组(例如，IP分组)。IPsec隧道传送可包括封装整个原始IP分组并添加新的分组头，从而保护IP分组的原始头。
RAN 110包括启用连接103和104的一个或多个AN节点或RAN节点111a和111b(统称为“RAN节点111”)。如本文所用，术语“接入节点”、“接入点”等可描述为网络与一个或多个用户之间的数据或语音连接或两者提供无线电基带功能的装备。这些接入节点可被称为基站(BS)、gNodeB、gNB、eNodeB、eNB、NodeB、RAN节点、道路侧单元(RSU)、发射接收点(TRxP或TRP)等，并且可包括地面站(例如，陆地接入点)或在地理区域(例如，小区)内提供覆盖的卫星站等。如本文所用，术语“NG RAN节点”等可以指在5G NR***100中操作的RAN节点111(例如gNB)，而术语“E-UTRAN节点”可以指在LTE或4G***100中操作的RAN节点111(例如eNB)。在一些示例中，多个RAN节点111可被实现为专用物理设备诸如宏小区基站或用于提供与宏小区相比具有较小覆盖区域、较小用户容量或较高带宽的毫微微小区、微微小区或其他类似小区的低功率(LP)基站中的一者或多者。
在一些示例中，多个RAN节点111的一些或全部可被实现为在服务器计算机上运行的一个或多个软件实体，作为可被称为云RAN(CRAN)或虚拟基带单元池(vBBUP)的虚拟网络的一部分。CRAN或vBBUP可实现RAN功能划分，诸如分组数据汇聚协议(PDCP)划分，其中无线电资源控制(RRC)和PDCP层由CRAN/vBBUP操作，并且其他层2(例如，数据链路层)协议实体由各个RAN节点111操作；介质访问控制(MAC)/物理层(PHY)划分，其中RRC、PDCP、MAC、和无线电链路控制(RLC)层由CRAN/vBBUP操作，并且PHY层由各个RAN节点111操作；或“下部PHY”划分，其中RRC、PDCP、RLC、和MAC层以及PHY层的上部部分由CRAN/vBBUP操作，并且PHY层的下部部分由各个RAN节点111操作。该虚拟化框架允许RAN节点111的空闲处理器核心执行例如其他虚拟化应用程序。在一些示例中，单独的RAN节点111可表示使用各个F1接口(图1未示出)来连接到gNB中心单元(CU)的各个gNB分布式单元(DU)。在一些示例中，gNB-DU可包括一个或多个远程无线电头端或RFEM，并且gNB-CU可由位于RAN 110中的服务器(未示出)或由服务器池以与CRAN/vBBUP类似的方式操作。除此之外或另选地，RAN节点111中的一个或多个RAN节点可以是下一代eNB(ng-eNB)，包括向UE 101提供E-UTRA用户平面和控制平面协议终端并且利用下一代接口连接到5G核心网(例如，核心网120)的RAN节点。
在车辆到一切(V2X)场景中，RAN节点111中的一个或多个RAN节点可以是RSU或充当RSU。术语“路侧单元”或“RSU”是指用于V2X通信的任何交通基础设施实体。RSU可在合适的RAN节点或静止(或相对静止)的UE中实现或由其实现，其中在UE中实现或由其实现的RSU可被称为“UE型RSU”，在eNB中实现或由其实现的RSU可被称为“eNB型RSU”，在gNB中实现或由其实现的RSU可被称为“gNB型RSU”等等。在一些示例中，RSU是与位于道路侧上的射频电路耦接的计算设备，该计算设备向通过的车辆UE 101(vUE 101)提供连接性支持。RSU还可包括内部数据存储电路，用于存储交叉路口地图几何形状、交通统计、媒体，以及用于感测和控制正在进行的车辆和行人交通的应用程序或其他软件。RSU可在5.9GHz直接近程通信(DSRC)频带上操作以提供高速事件所需的极低延迟通信，诸如防撞、交通警告等。除此之外或另选地，RSU可在蜂窝V2X频带上操作以提供前述低延迟通信以及其他蜂窝通信服务。除此之外或另选地，RSU可作为Wi-Fi热点(2.4GHz频带)操作或提供与一个或多个蜂窝网络的连接以提供上行链路和下行链路通信，或者两者。计算设备和RSU的射频电路中的一些或全部可封装在适用于户外安装的耐候性封装件中，并且可包括网络接口控制器以提供与交通信号控制器或回程网络或两者的有线连接(例如，以太网)。
RAN节点111中的任一个节点都可作为空中接口协议的终点，并且可以是UE 101的第一联系点。在一些示例中，多个RAN节点111中的任一者都可执行RAN 110的各种逻辑功能，包括但不限于无线电网络控制器(RNC)的功能，诸如无线电承载管理、上行链路和下行链路动态无线电资源管理和数据分组调度以及移动性管理。
在一些示例中，多个UE 101可被配置为根据各种通信技术，使用正交频分复用(OFDM)通信信号在多载波通信信道上彼此或者与多个RAN节点111中的任一者进行通信，所述通信技术诸如但不限于OFDMA通信技术(例如，用于下行链路通信)或SC-FDMA通信技术(例如，用于上行链路和ProSe或侧链路通信)，尽管本文所述技术的范围在这方面不受限制。OFDM信号可包括多个正交子载波。
在一些示例中，下行链路资源网格可用于从多个RAN节点111中的任一者到多个UE101的下行链路传输，而上行链路传输可利用类似的技术。网格可以是时频网格，称为资源网格或时频资源网格，其是每个时隙中下行链路中的物理资源。对于OFDM***，此类时频平面表示是常见的做法，这使得无线资源分配变得直观。资源网格的每一列和每一行分别对应一个OFDM符号和一个OFDM子载波。时域中资源网格的持续时间与无线电帧中的一个时隙对应。资源网格中最小的时频单位表示为资源元素。每个资源网格包括多个资源块，这些资源块描述了某些物理信道到资源元素的映射。每个资源块包括资源元素的集合；在频域中，这可以表示当前可以分配的最少量资源。使用此类资源块来传送几个不同的物理下行链路信道。
在一些示例中，多个UE 101和多个RAN节点111通过许可介质(也称为“许可频谱”或“许可频带”)和未许可共享介质(也称为“未许可频谱”和/或“未许可频带”)来传送(例如，发射和接收)数据。许可频谱可包括在大约400MHz至大约3.8GHz的频率范围内操作的信道，而未许可频谱可包括5GHz频带。未许可频谱中的NR可被称为NR-U，并且未许可频谱中的LTE可被称为LTE-U、许可辅助接入(LAA)或MulteFire。
为了在未许可频谱中操作，多个UE 101和多个RAN节点111可使用许可辅助接入(LAA)、增强型LAA(eLAA)或另外的增强型LAA(feLAA)机制来操作。在这些具体实施中，多个UE 101和多个RAN节点111可执行一个或多个已知的介质感测操作或载波感测操作或两者，以确定未许可频谱中的一个或多个信道当在未许可频谱中发射之前是否不可用或以其他方式被占用。可根据先听后说(LBT)协议来执行介质/载波感测操作。LBT是装备(例如，多个UE 101、多个RAN节点111)用于感测介质(例如，信道或载波频率)并且在该介质被感测为空闲时(或者当感测到该介质中的特定信道未被占用时)发射的一种机制。介质感测操作可包括空闲信道评估(CCA)，其使用能量检测来确定信道上是否存在其他信号，以便确定信道是否被占用或清除。该LBT机制允许蜂窝/LAA网络与未许可频谱中的现有***以及与其他LAA网络共存。能量检测可包括感测一段时间内在预期传输频带上的RF能量，以及将所感测的RF能量与预定义或配置的阈值进行比较。
5GHz频带中的现有***可以是基于IEEE 802.11技术的WLAN。WLAN采用基于争用的信道接入机制(例如，带冲突避免的CSMA(CSMA/CA)。在一些示例中，当WLAN节点(例如，移动站(MS)诸如UE 101、AP 106等)打算发射时，WLAN节点可在发射之前首先执行CCA。另外，在多于一个WLAN节点将信道感测为空闲并且同时进行传输的情况下，使用退避机制来避免冲突。该退避机制可以是在争用窗口大小(CWS)内随机绘制的计数器，该计数器在发生冲突时呈指数增加，并且在传输成功时重置为最小值。在一些示例中，被设计用于LAA的LBT机制类似于WLAN的CSMA/CA。在一些示例中，DL或UL传输突发(包括PDSCH或PUSCH传输)的LBT过程可具有在X和Y扩展的CAA(ECCA)时隙之间长度可变的LAA争用窗口，其中X和Y为LAA的CWS的最小值和最大值。在一个示例中，LAA传输的最小CWS可为9微秒(μs)；然而，CWS的大小和最大信道占用时间(例如，传输突发)可基于政府监管要求。
在一些示例中，LAA机制构建在LTE-Advanced***的载波聚合技术上。在CA中，每个聚合载波都被称为分量载波。在一些示例中，分量载波可具有1.4、3、5、10、15或20MHz的带宽，并且最多可聚合五个分量载波以提供最大聚合带宽为100MHz。在频分双工(FDD)***中，对于DL和UL，聚合载波的数量可以不同。例如，UL分量载波的数量可等于或小于DL分量载波的数量。在一些情况下，各个分量载波可具有与其他分量载波不同的带宽。在时分双工(TDD)***中，对于DL和UL，分量载波的数量以及每个分量载波的带宽通常是相同的。
载波聚合还可包括单独的服务小区以提供单独的分量载波。服务小区的覆盖范围可不同，例如，因为不同频带上的分量载波可经历不同的路径损耗。主服务小区(PCell)可为UL和DL两者提供主分量载波，并且可处理RRC和非接入层(NAS)相关活动。其他服务小区被称为辅分量载波(SCell)，并且每个SCell可为UL和DL两者提供单独的辅分量载波。可按需添加和移除辅分量载波，而改变主分量载波可能需要UE 101经历切换。在LAA、eLAA和feLAA中，SCell中的一些或全部可在未许可频谱(称为“LAA SCell”)中操作，并且LAASCell由在许可频谱中操作的PCell协助。当UE被配置为具有多于一个LAA SCell时，UE可在配置的LAA SCell上接收UL授权，指示同一子帧内的不同PUSCH起始位置。
PDSCH将用户数据和较高层信令承载到多个UE 101。除其他信息外，PDCCH承载关于与PDSCH信道有关的传输格式和资源分配的信息。它还可以向UE 101通知关于与上行链路共享信道有关的传输格式、资源分配和混合自动重传请求(HARQ)信息。可以基于从UE101中的任一个反馈的信道质量信息在RAN节点111的任一个处执行下行链路调度(例如，向小区内的UE 101b分配控制和共享信道资源块)。可在用于(例如，分配给)UE 101中的每个UE的PDCCH上发送下行链路资源分配信息。
PDCCH使用控制信道元素(CCE)来传送控制信息。在被映射到资源元素之前，可以首先将PDCCH复数值符号组织为四元组，然后可以使用子块交织器对其进行排列以进行速率匹配。在一些示例中，可以使用这些CCE中的一个或多个来发射每个PDCCH，其中每个CCE可以对应于九个的四个物理资源元素集，统称为资源元素组(REG)。四个正交相移键控(QPSK)符号可以映射到每个REG。根据下行链路控制信息(DCI)的大小和信道条件，可以使用一个或多个CCE来传输PDCCH。在LTE中，可存在四个或更多个被定义具有不同数量的CCE(例如，聚合级别，L＝1、2、4或8)的不同的PDCCH格式。
一些具体实施可将针对资源分配的概念用于控制信道信息，资源分配的概念是上述概念的扩展。例如，一些具体实施可利用将PDSCH资源用于控制信息传输的增强PDCCH(EPDCCH)。可使用一个或多个增强CCE(ECCE)来传输EPDCCH。与以上类似，每个ECCE可以对应于九个包括四个物理资源元素的集合，统称为增强REG(EREG)。在一些示例中，ECCE可具有其他数量的EREG。
RAN节点111被配置为利用接口112彼此通信。在示例中，诸如***100是LTE***(例如，当核心网120是演进分组核心(EPC)网络时)，接口112可以是X2接口112。X2接口可被限定在连接到EPC 120的两个或更多个RAN节点111(例如，两个或更多个eNB等)之间，或连接到EPC 120的两个eNB之间，或者以上两者。在一些示例中，X2接口可包括X2用户平面接口(X2-U)和X2控制平面接口(X2-C)。X2-U可为通过X2接口传输的用户分组提供流控制机制，并且可用于传送关于eNB之间的用户数据的递送的信息。例如，X2-U可提供关于从主eNB传输到辅eNB的用户数据的特定序号信息；关于针对用户数据成功将PDCP协议数据单元(PDU)从辅eNB按序递送到UE 101的信息；未传递到UE 101的PDCP PDU的信息；关于辅eNB处用于向UE传输用户数据的当前最小期望缓冲器大小的信息；等等。X2-C可提供LTE内接入移动性功能，包括从源eNB到目标eNB的上下文传输、或用户平面传输控制；负载管理功能；小区间干扰协调功能；等等。
在一些示例中，诸如在***100是5G NR***的情况下(例如，当核心网120是5G核心网时)，接口112可以是Xn接口112。Xn接口可被限定在连接到5G核心网120的两个或更多个RAN节点111(例如，两个或更多个gNB等)之间、连接到5G核心网120的RAN节点111(例如，gNB)与eNB之间，或连接到5G核心网120的两个eNB之间，或者以上各项的组合。在一些示例中，Xn接口可包括Xn用户平面(Xn-U)接口和Xn控制平面(Xn-C)接口。Xn-U可提供用户平面PDU的非保证递送并支持/提供数据转发和流量控制功能。Xn-C可提供管理和错误处理功能，用于管理Xn-C接口的功能；对连接模式(例如，CM-CONNECTED)中的UE 101的移动性支持，包括用于管理一个或多个RAN节点111之间的连接模式的UE移动性的功能；等等。移动性支持可包括从旧(源)服务RAN节点111到新(目标)服务RAN节点111的上下文传输，以及对旧(源)服务RAN节点111到新(目标)服务RAN节点111之间的用户平面隧道的控制。Xn-U的协议栈可包括构建在因特网协议(IP)传输层上的传输网络层，以及用户数据报协议(UDP)或IP层或两者的顶部上的用于承载用户平面PDU的用户平面的GPRS隧道协议(GTP-U)层。Xn-C协议栈可包括应用层信令协议(称为Xn应用协议(Xn-AP))和构建在流控制传输协议(SCTP)上的传输网络层。SCTP可在IP层的顶部，并且可提供对应用层消息的有保证的递送。在传输IP层中，使用点对点传输来递送信令PDU。在其他具体实施中，Xn-U协议栈或Xn-C协议栈或这两者可与本文所示和所述的用户平面和/或控制平面协议栈相同或类似。
RAN 110被示出为通信地耦接到核心网120(称为“CN 120”)。CN 120包括一个或多个网络元件122，其被配置为向利用RAN 110连接到CN 120的客户/订阅者(例如，UE 101的用户)提供各种数据和电信服务。CN 120的部件可在一个物理节点或单独的物理节点中实现并且可包括用于从机器可读或计算机可读介质(例如，非暂态机器可读存储介质)读取和执行指令的部件。在一些示例中，网络功能虚拟化(NFV)可用于使用存储在一个或多个计算机可读存储介质中的可执行指令来虚拟化本文所述的网络节点功能中的一些或全部功能，如以下将进一步详细描述。CN 120的逻辑实例可被称为网络切片，并且CN 120的一部分的逻辑实例可被称为网络子切片。NFV架构和基础设施可用于将一个或多个网络功能虚拟化到包含行业标准服务器硬件、存储硬件或交换机的组合的物理资源上(另选地由专有硬件执行)。换句话讲，NFV***可用于执行一个或多个网络部件或功能的虚拟或可重新配置的具体实施，或这两者。
一般地，应用服务器130可以是提供与核心网一起使用IP承载资源的应用程序的元素(例如，UMTS分组服务(PS)域、LTE PS数据服务等)。应用服务器130还可被配置为利用CN 120支持针对UE 101的一种或多种通信服务(例如，VoIP会话、PTT会话、群组通信会话、社交网络服务等)。
在一些示例中，CN 120可以是5G核心网(称为“5GC 120”)，并且RAN 110可使用下一代接口113与CN 120连接。在一些示例中，下一代接口113可分成两部分：下一代用户平面(NG-U)接口114，该接口在多个RAN节点111和用户平面功能(UPF)之间承载流量数据；和S1控制平面(NG-C)接口115，该接口是RAN节点111和接入和移动性管理功能(AMF)之间的信令接口。
在一些示例中，CN 120可以是EPC(称为“EPC 120”等)，并且RAN 110可使用S1接口113与CN 120连接。在一些示例中，S1接口113可分成两部分：S1用户平面(S1-U)接口114，该接口在RAN节点111和服务网关(S-GW)之间承载流量数据；和S1-MME接口115，该接口是RAN节点111和移动性管理实体(MME)之间的信令接口。
图2示出了平台300(或“设备300”)的示例。在一些示例中，计算机平台300可适于用作UE 101、201、301、应用服务器130或本文所讨论的任何其他部件或设备。平台300可包括示例中所示的部件的任何组合。平台300的部件(或其部分)可被实现为集成电路(IC)、分立电子设备或适配在计算机平台300中的其他模块、逻辑、硬件、软件、固件或它们的组合，或者被实现为以其他方式结合在较大***的底盘内的部件。图2的框图旨在示出平台300的部件的高级视图。然而，在一些示例中，平台300可包括更少的、附加的或另选的部件，或者包括图2所示的部件的不同布置。
应用电路305包括电路，诸如但不限于一个或多个处理器(或处理器内核)、高速缓存存储器，以及LDO、中断控制器、串行接口(诸如SPI)、I2C或通用可编程串行接口模块、RTC、计时器(包括间隔计时器和看门狗计时器)、通用I/O、存储卡控制器(诸如SD MMC或类似控制器)、USB接口、MIPI接口和JTAG测试接入端口中的一者或多者。应用电路305的处理器(或核心)可与存储器/存储元件耦接或可包括存储器/存储元件，并且可被配置为执行存储在存储器或存储装置中的指令，以使各种应用程序或操作***能够在***300上运行。在一些示例中，存储器或存储元件可以为片上存储器电路，该存储器电路可包括任何合适的易失性或非易失性存储器，诸如DRAM、SRAM、EPROM、EEPROM、闪存存储器、固态存储器或它们的组合等。
应用电路305的处理器可包括例如一个或多个处理器内核、一个或多个应用处理器、一个或多个GPU、一个或多个RISC处理器、一个或多个ARM处理器、一个或多个CISC处理器、一个或多个DSP、一个或多个FPGA、一个或多个PLD、一个或多个ASIC、一个或多个微处理器或控制器、多线程处理器、超低电压处理器、嵌入式处理器、一些其他已知的处理元件或它们的任何合适的组合。在一些示例中，应用电路305可包括或可以是用于执行根据本文所述的技术的专用处理器/控制器。
作为示例，应用电路305的处理器可包括Apple A系列处理器。应用电路305的处理器还可以是以下中的一者或多者：基于
Figure BDA0003540338480000161
Architecture CoreTM的处理器，诸如QuarkTM、AtomTM、i3、i5、i7或MCU级处理器，或可购自加利福尼亚州圣克拉拉市
Figure BDA0003540338480000162
公司(
Figure BDA0003540338480000163
Corporation,Santa Clara,CA)的另一此类处理器；Advanced Micro Devices(AMD)
Figure BDA0003540338480000164
处理器或加速处理单元(APU)；来自
Figure BDA0003540338480000165
Technologies,Inc.的SnapdragonTM处理器、Texas Instruments,
Figure BDA0003540338480000166
Open Multimedia ApplicationsPlatform(OMAP)TM处理器；来自MIPS Technologies，Inc.的基于MIPS的设计，诸如MIPSWarrior M级、Warrior I级和Warrior P级处理器；获得ARM Holdings，Ltd.许可的基于ARM的设计，诸如ARM Cortex-A、Cortex-R和Cortex-M系列处理器；等。在一些具体实施中，应用电路305可以是片上***(SoC)的一部分，其中应用电路305和其他部件形成为单个集成电路。
附加地或另选地，应用电路305可包括电路，诸如但不限于一个或多个现场可编程设备(FPD)诸如FPGA；可编程逻辑设备(PLD)，诸如复杂PLD(CPLD)、大容量PLD(HCPLD)；ASIC，诸如结构化ASIC；可编程SoC(PSoC)，或它们的组合等等。在一些示例中，应用电路305可包括逻辑块或逻辑构架，以及可被编程用于执行各种功能诸如本文所述的过程、方法、功能的其他互连资源。在一些示例中，应用电路305可包括用于存储逻辑块、逻辑构架、数据或查找表(LUT)中的其他数据等的存储器单元(例如，可擦可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器、静态存储器(例如，静态随机存取存储器(SRAM)或防熔丝))。
基带电路310可被实现为例如焊入式衬底，其包括一个或多个集成电路、焊接到主电路板的单个封装集成电路或包含两个或更多个集成电路的多芯片模块。
RFEM 315可包括毫米波(mmWave)RFEM和一个或多个子毫米波射频集成电路(RFIC)。在一些示例中，该一个或多个子毫米波RFIC可与毫米波RFEM物理地分离。RFIC可包括到一个或多个天线或天线阵列的连接件，并且RFEM可连接到多个天线。在一些示例中，毫米波和子毫米波两者的无线电功能均可在结合毫米波天线和子毫米波两者的相同的物理RFEM 315中实现。
存储器电路320可包括用于提供给定量的***存储器的任何数量和类型的存储器设备。作为示例，存储器电路320可包括以下中的一者或多者：易失性存储器，诸如随机存取存储器(RAM)、动态RAM(DRAM)或同步动态RAM(SDRAM)；和非易失性存储器(NVM)，诸如高速电可擦存储器(通常被称为闪存存储器)、相变随机存取存储器(PRAM)、或磁阻随机存取存储器(MRAM)或它们的组合等。存储器电路320可根据电子设备工程联合委员会(JEDEC)基于低功率双倍数据速率(LPDDR)的设计诸如LPDDR2、LPDDR3、LPDDR4等来开发。存储器电路320可被实现为以下中的一者或多者：焊入式封装集成电路、单管芯封装(SDP)、双管芯封装(DDP)或四管芯封装(Q17P)、套接存储器模块、双列直插存储器模块(DIMM)包括微DIMM或迷你DIMM，或者使用球栅阵列(BGA)焊接到母板上。在低功率具体实施中，存储器电路320可以是与应用电路305相关联的片上存储器或寄存器。为了提供对信息诸如数据、应用程序、操作***等的持久存储，存储器电路320可包括一个或多个海量存储设备，其可包括例如固态磁盘驱动器(SSDD)、硬盘驱动器(HDD)、微型HDD、电阻变化存储器、相变存储器、全息存储器或化学存储器等。在一些示例中，计算机平台300可结合得自
Figure BDA0003540338480000172
和
Figure BDA0003540338480000171
的三维(3D)交叉点(XPOINT)存储器。
可移动存储器电路323可包括用于将便携式数据存储设备与平台300耦接的设备、电路、外壳、壳体、端口或插座等。这些便携式数据存储设备可用于大容量存储，并且可包括例如闪存存储器卡(例如，安全数字(SD)卡、微型SD卡、xD图片卡)，以及USB闪存驱动器、光盘、或外部HDD或它们的组合等。
平台300还可包括用于将外部设备与平台300连接的接口电路(未示出)。使用该接口电路连接到平台300的外部设备包括传感器电路321和机电式部件(EMC)322，以及耦接到可移除存储器电路323的可移除存储器设备。
传感器电路321包括设备、模块或子***，其目的在于检测其环境中的事件或变化，并且将关于所检测的事件的信息(例如，传感器数据)发送到一个或多个其他设备、模块或子***。此类传感器的示例包括：惯性测量单元(IMU)，诸如加速度计、陀螺仪、或磁力仪；包括三轴加速度计、三轴陀螺仪、或磁力仪的微机电***(MEMS)或纳机电***(NEMS)；液位传感器；流量传感器；温度传感器(例如，热敏电阻器)；压力传感器；气压传感器；重力仪；测高仪；图像捕获设备(例如，相机或无透镜孔径)；光检测和测距(LiDAR)传感器；接近传感器(例如，红外辐射检测器等)、深度传感器、环境光传感器、超声收发器；麦克风或其他音频捕获设备，或它们的组合等等。
EMC 322包括设备、模块或子***，其目的在于使平台300能够改变其状态、位置或取向或者移动或控制机构、***或子***。另外，EMC 322可被配置为生成消息或信令并向平台300的其他部件发送该消息或信令以指示EMC 322的当前状态。EMC 322的示例包括一个或多个电源开关、继电器(诸如机电继电器(EMR)和/或固态继电器(SSR))、致动器(例如，阀致动器)、可听声发生器、视觉警告设备、马达(例如，DC马达或步进马达)、轮、推进器、螺旋桨、爪、夹钳、钩或它们的组合等机电部件。在一些示例中，平台300被配置为基于从服务提供方或客户端或两者接收到的一个或多个捕获事件、指令或控制信号来操作一个或多个EMC 322。
在一些示例中，该接口电路可将平台300与定位电路345连接。定位电路345包括用于接收和解码由GNSS的定位网络发射或广播的信号的电路。GNSS的示例可包括美国的GPS、俄罗斯的GLONASS、欧盟的伽利略***、中国的北斗导航卫星***、区域导航***或GNSS增强***(例如，NAVIC)、日本的QZSS、法国的DORIS等。定位电路345包括各种硬件元件(例如，包括用于促进OTA通信的硬件设备诸如开关、滤波器、放大器、天线元件等)以与定位网络的部件诸如导航卫星星座节点通信。在一些示例中，定位电路345可包括微型PNT IC，其在没有GNSS辅助的情况下使用主定时时钟来执行位置跟踪或估计。定位电路345还可以是基带电路410或RFEM 315或两者的一部分或与之交互以与定位网络的节点和部件通信。定位电路345还可向应用电路305提供数据(例如，位置数据、时间数据)，该应用电路可使用该数据来使操作与各种基础结构(例如，无线电基站)同步，以用于逐个拐弯导航应用程序等。
在一些示例中，该接口电路可将平台300与近场通信(NFC)电路340连接。NFC电路340被配置为基于射频识别(RFID)标准来提供非接触式近程通信，其中磁场感应用于实现NFC电路340与平台300外部的支持NFC的设备(例如，“NFC接触点”)之间的通信。NFC电路340包括与天线元件耦接的NFC控制器和与NFC控制器耦接的处理器。NFC控制器可以是通过执行NFC控制器固件和NFC堆栈向NFC电路340提供NFC功能的芯片或IC。NFC堆栈可由处理器执行以控制NFC控制器，并且NFC控制器固件可由NFC控制器执行以控制天线元件发射近程RF信号。RF信号可为无源NFC标签(例如，嵌入贴纸或腕带中的微芯片)供电以将存储的数据传输到NFC电路340，或者发起在NFC电路340和靠***台300的另一个有源NFC设备(例如，智能电话或支持NFC的POS终端)之间的数据传输。
驱动电路346可包括用于控制嵌入在平台300中、附接到平台300或以其他方式与平台300通信地耦接的特定设备的软件元件和硬件元件。驱动电路346可包括各个驱动器，从而允许平台300的其他部件与可存在于平台300内或连接到该平台的各种输入/输出(I/O)设备交互或控制这些I/O设备。例如，驱动电路346可包括：用于控制并允许接入显示设备的显示驱动器、用于控制并允许接入平台300的触摸屏接口的触摸屏驱动器、用于获取传感器电路321的传感器读数并控制且允许接入传感器电路321的传感器驱动器、用于获取EMC322的致动器位置或者控制并允许接入EMC 322的EMC驱动器、用于控制并允许接入嵌入式图像捕获设备的相机驱动器、用于控制并允许接入一个或多个音频设备的音频驱动器。
电源管理集成电路(PMIC)325(也称为“电源管理电路325”)可管理提供给平台300的各种部件的电力。具体地讲，相对于基带电路310，PMIC 325可控制电源选择、电压缩放、电池充电或DC-DC转换。当平台300能够由电池330供电时，例如，当设备包括在UE 101、201、301中时，可包括PMIC 325。
在一些示例中，PMIC 325可控制或以其他方式成为平台300的各种省电机制的一部分。例如，如果平台300处于RRC_Connected状态，在该状态下该平台仍连接到RAN节点，因为它预期不久接收流量，则在一段时间不活动之后，该平台可进入被称为非连续接收模式(DRX)的状态。在该状态期间，平台300可以在短时间间隔内断电，从而节省功率。如果在一段较长的时间段内没有数据流量活动，则平台300可转变到RRC_Idle状态，在该状态下该设备与网络断开连接并且不执行操作诸如信道质量反馈或切换。这可允许平台300进入非常低的功率状态，其中该平台周期性地唤醒以监听网络，然后再次断电。在一些示例中，平台300可能不在RRC_Idle状态下接收数据，而是必须转换回RRC_Connected状态以接收数据。附加的省电模式可以使设备无法使用网络的时间超过寻呼间隔(从几秒到几小时不等)。在此期间，该设备可能无法连接到网络，并且可能完全断电。在此期间发送的任何数据可能发生很大的延迟，并且假定延迟是可接受的。
电池330可为平台300供电，但在一些示例中，平台300可被部署在固定位置，并且可具有耦接到电网的电源。电池330可以是锂离子电池、金属-空气电池诸如锌-空气电池、铝-空气电池或锂-空气电池等。在一些示例中，诸如在V2X应用中，电池330可以是典型的铅酸汽车电池。
在一些示例中，电池330可以是“智能电池”，其包括电池管理***(BMS)或电池监测集成电路或与其耦接。BMS可包括在平台300中以跟踪电池330的充电状态(SoCh)。BMS可用于监测电池330的其他参数，诸如电池330的健康状态(SoH)和功能状态(SoF)以提供故障预测。BMS可将电池330的信息传送到应用电路305或平台300的其他部件。BMS还可包括模数(ADC)转换器，该模数转换器允许应用电路305直接监测电池330的电压或来自电池330的电流。电池参数可用于确定平台300可执行的动作，诸如传输频率、网络操作、感测频率等。
耦接到电网的电源块或其他电源可与BMS耦接以对电池330进行充电。在一些示例中，可用无线功率接收器替换功率块330，以例如通过计算机平台300中的环形天线来无线地获取电力。在这些示例中，无线电池充电电路可包括在BMS中。所选择的具体充电电路可取决于电池330的大小，并因此取决于所需的电流。充电可使用航空燃料联盟公布的航空燃料标准、无线电力联盟公布的Qi无线充电标准，或无线电力联盟公布的Rezence充电标准来执行。
用户接口电路350包括存在于平台300内或连接到该平台的各种输入/输出(I/O)设备，并且包括被设计成实现与平台300的用户交互的一个或多个用户接口或被设计成实现与平台300的***部件交互的***部件接口。用户接口电路350包括输入设备电路和输出设备电路。输入设备电路包括用于接受输入的任何物理或虚拟装置，包括一个或多个物理或虚拟按钮(例如，复位按钮)、物理键盘、小键盘、鼠标、触控板、触摸屏、麦克风、扫描仪、或头戴式耳机、或它们的组合等。输出设备电路包括用于显示信息或以其他方式传达信息(诸如传感器读数、致动器位置或其他信息)的任何物理或虚拟装置。输出设备电路可包括任何数量或组合的音频或视觉显示，包括一个或多个简单的视觉输出或指示器(例如，二进制状态指示器(例如，发光二极管(LED))、多字符视觉输出，或更复杂的输出，诸如显示设备或触摸屏(例如，液晶显示器(LCD)、LED显示器、量子点显示器或投影仪)，其中字符、图形或多媒体对象的输出由平台300的操作生成或产生。输出设备电路还可包括扬声器或其他音频发射设备、或打印机。在一些示例中，传感器电路321可用作输入设备电路(例如，图像捕获设备或运动捕获设备)并且一个或多个EMC可用作输出设备电路(例如，用于提供触觉反馈的致动器)。在另一个示例中，可包括NFC电路以读取电子标签或与另一个支持NFC的设备连接，该NFC电路包括与天线元件耦接的NFC控制器和处理设备。***部件接口可包括但不限于非易失性存储器端口、USB端口、音频插孔或电源接口。
尽管未示出，但平台300的部件可使用合适的总线或互连(IX)技术彼此通信，所述技术可包括任何数量的技术，包括ISA、EISA、PCI、PCIx、PCIe、时间触发协议(TTP)***、FlexRay***或任何数量的其他技术。总线或IX可以是专有总线或IX，例如，在基于SoC的***中使用。可包括其他总线或IX***，诸如I2C接口、SPI接口、点对点接口和电源总线等等。
图3示出了可在无线通信设备中实现的各种协议功能。具体地，图3包括示出了各种协议层/实体之间的互连的布置500。针对结合5G NR***标准和LTE***标准操作的各种协议层和实体提供了图3的以下描述，但图3的一些或所有方面也可适用于其他无线通信网络***。
除了未示出的其他较高层功能之外，布置500的协议层还可包括PHY 510、MAC520、RLC 530、PDCP 540、SDAP 547、RRC 555和NAS层557中的一者或多者。这些协议层可包括可提供两个或更多个协议层之间的通信的一个或多个服务接入点(例如，图3中的项559、556、550、549、545、535、525和515)。
PHY 510可以发送和接收物理层信号505，这些物理层信号可以从一个或多个其他通信设备接收或发送到一个或多个其他通信设备。物理层信号505可包括一个或多个物理信道，诸如本文所讨论的那些。PHY 510还可执行链路自适应或自适应调制和编码(AMC)、功率控制、小区搜索(例如，用于初始同步和切换目的)以及由较高层(例如，RRC 555)使用的其他测量。PHY 510还可进一步执行传输信道上的错误检测、传输信道的前向纠错(FEC)编码和解码、物理信道的调制和解调、交织、速率匹配、映射到物理信道上以及MIMO天线处理。在一些示例中，PHY 510的实例可使用一个或多个PHY-SAP 515处理来自MAC 520的实例的请求并且向其提供指示。在一些示例中，使用PHY-SAP 515传送的请求和指示可包括一个或多个传输信道。
MAC 520的实例可使用一个或多个MAC-SAP 525处理来自RLC 530的实例的请求并且向其提供指示。使用MAC-SAP 525传送的这些请求和指示可包括一个或多个逻辑信道。MAC 520可执行逻辑信道与传输信道之间的映射，将来自一个或多个逻辑信道的MAC服务数据单元(SDU)复用到待利用传输信道递送给PHY 510的传输块(TB)上，将MAC SDU从利用传输信道从PHY 510递送的TB解复用到一个或多个逻辑信道，将MAC SDU复用到TB上，调度信息报告，通过HARQ进行纠错以及逻辑信道优先级划分。
RLC 530的实例可以使用一个或多个无线电链路控制服务接入点(RLC-SAP)535处理来自PDCP 540的实例的请求并且向其提供指示。使用RLC-SAP 535传送的这些请求和指示可以包括一个或多个RLC信道。RLC 530可以多种操作模式进行操作，包括：透明模式(TM)、未确认模式(UM)和已确认模式(AM)。RLC 530可以执行上层协议数据单元(PDU)的传输，通过用于AM数据传输的自动重传请求(ARQ)的纠错，以及用于UM和AM数据传输的RLCSDU的级联、分段和重组。RLC 530还可以对用于AM数据传输的RLC数据PDU执行重新分段，对用于UM和AM数据传输的RLC数据PDU进行重新排序，检测用于UM和AM数据传输的重复数据，丢弃用于UM和AM数据传输的RLC SDU，检测用于AM数据传输的协议错误，并且执行RLC重新建立。
PDCP 540的实例可使用一个或多个分组数据汇聚协议服务接入点(PDCP-SAP)545处理来自RRC 555的实例或SDAP 547的实例或这两者的请求，并且向其提供指示。使用PDCP-SAP 545传送的这些请求和指示可以包括一个或多个无线电承载。PDCP 540可以执行IP数据的报头压缩和解压缩，维护PDCP序号(SN)，在较低层重新建立时执行较高层PDU的顺序递送，在为RLC AM上映射的无线电承载重新建立较低层时消除较低层SDU的重复，加密和解密控制平面数据，对控制平面数据执行完整性保护和完整性验证，控制基于定时器的数据丢弃，并且执行安全操作(例如，加密、解密、完整性保护、或完整性验证)。
SDAP 547的实例可使用一个或多个SDAP-SAP 549处理来自一个或多个较高层协议实体的请求，并且向其提供指示。使用SDAP-SAP 549传送的这些请求和指示可包括一个或多个QoS流。SDAP 547可将QoS流映射到数据无线电承载(DRB)，反之亦然，并且还可标记DL分组和UL分组中的QoS流标识符(QFI)。单个SDAP实体547可被配置用于单独的PDU会话。在UL方向上，NG-RAN 110可以两种不同的方式(反射映射或显式映射)控制QoS流到DRB的映射。对于反射映射，UE 101的SDAP 547可监测每个DRB的DL分组的QFI，并且可针对在UL方向上流动的分组应用相同的映射。对于DRB，UE 101的SDAP 547可映射属于QoS流的UL分组，该QoS流对应于在该DRB的DL分组中观察到的QoS流ID和PDU会话。为了实现反射映射，NG-RAN310可通过Uu接口用QoS流ID标记DL分组。显式映射可涉及RRC 555用QoS流到DRB的显式映射规则配置SDAP 547，该规则可由SDAP 547存储并遵循。在一些示例中，SDAP 547可仅用于NR具体实施中，并且可不用于LTE具体实施中。
RRC 555可使用一个或多个管理服务接入点(M-SAP)配置一个或多个协议层的各方面，该一个或多个协议层可包括PHY 510、MAC 520、RLC 530、PDCP 540和SDAP 547的一个或多个实例。在一些示例中，RRC 555的实例可使用一个或多个RRC-SAP 556处理来自一个或多个NAS实体557的请求，并且向其提供指示。RRC 555的主要服务和功能可包括***信息的广播(例如，包括在与NAS有关的主信息块(MIB)或***信息块(SIB)中)，与接入层(AS)有关的***信息的广播，UE 101与RAN 110之间的RRC连接的寻呼、建立、维护和释放(例如，RRC连接寻呼、RRC连接建立、RRC连接修改和RRC连接释放)，点对点无线电承载的建立、配置、维护和释放，包括密钥管理的安全功能，RAT间的移动性以及用于UE测量报告的测量配置。MIB和SIB可包括一个或多个信息元素，其各自可以包括单独的数据字段或数据结构。
NAS 557可形成UE 101与AMF 321之间的控制平面的最高层。NAS 557可支持UE101的移动性和会话管理过程，以在LTE***中建立和维护UE 101与P-GW之间的IP连接。
在一些示例中，布置500的一个或多个协议实体可在UE 101、RAN节点111、NR具体实施中的AMF 321或LTE具体实施中的MME 221、NR具体实施中的UPF 302或LTE具体实施中的S-GW 222和P-GW 223等中实现，以用于前述设备之间的控制平面或用户平面通信协议栈。在一些示例中，可在UE 101、gNB 111、AMF 321等中的一者或多者中实现的一个或多个协议实体可以与可在另一个设备中或在另一个设备上实现的相应对等协议实体进行通信(使用相应较低层协议实体的服务来执行此类通信)。在一些示例中，gNB 111的gNB-CU可托管gNB的控制一个或多个gNB-DU操作的RRC 555、SDAP 547和PDCP 540，并且gNB 111的gNB-DU可各自托管gNB 111的RLC 530、MAC 520和PHY 510。
在一些示例中，控制平面协议栈可按从最高层到最低层的顺序包括NAS 557、RRC555、PDCP 540、RLC 530、MAC 520和PHY 510。在该示例中，上层560可以构建在NAS 557的顶部，该NAS包括IP层561、SCTP 562和应用层信令协议(AP)563。
在一些示例诸如NR具体实施中，AP 563可以是用于被限定在NG-RAN节点111与AMF321之间的NG接口113的NG应用协议层(NGAP或NG-AP)563，或者AP 563可以是用于被限定在两个或更多个RAN节点111之间的Xn接口112的Xn应用协议层(XnAP或Xn-AP)563。
NG-AP 563可支持NG接口113的功能，并且可包括初级程序(EP)。NG-AP EP可以是NG-RAN节点111与AMF 321之间的交互单元。NG-AP 563服务可包括两个组：UE相关联的服务(例如，与UE 101有关的服务)和非UE相关联的服务(例如，与NG-RAN节点111和AMF 321之间的整个NG接口实例有关的服务)。这些服务可包括功能，诸如但不限于：用于将寻呼请求发送到特定寻呼区域中涉及的NG-RAN节点111的寻呼功能；用于允许AMF 321建立、修改或释放AMF 321和NG-RAN节点111中的UE上下文的UE上下文管理功能；用于ECM-CONNECTED模式下的UE 101的移动性功能，用于***内HO支持NG-RAN内的移动性，并且用于***间HO支持从/到EPS***的移动性；用于在UE 101和AMF 321之间传输或重新路由NAS消息的NAS信令传输功能；用于确定AMF 321和UE 101之间的关联的NAS节点选择功能；用于设置NG接口并通过NG接口监测错误的NG接口管理功能；用于提供利用NG接口传输警告消息或取消正在进行的警告消息广播的手段的警告消息传输功能；用于利用CN 120在两个RAN节点111之间请求和传输RAN配置信息(例如，SON信息、或性能测量(PM)数据)的配置传输功能；或它们的组合等等。
XnAP 563可支持Xn接口112的功能，并且可包括XnAP基本移动性过程和XnAP全局过程。XnAP基本移动性过程可包括用于处理NG RAN 111(或E-UTRAN 210)内的UE移动性的过程，诸如切换准备和取消过程、SN状态传输过程、UE上下文检索和UE上下文释放过程、RAN寻呼过程、或与双连接有关的过程等。XnAP全局过程可包括不与特定UE 101相关的过程，诸如Xn接口设置和重置过程、NG-RAN更新过程、或小区激活过程等。
在LTE具体实施中，AP 563可以是用于被限定在E-UTRAN节点111与MME之间的S1接口113的S1应用协议层(S1-AP)563，或者AP 563可以是用于限定在两个或更多个E-UTRAN节点111之间的X2接口112的X2应用协议层(X2AP或X2-AP)563。
S1应用协议层(S1-AP)563可支持S1接口的功能，并且类似于先前讨论的NG-AP，S1-AP可包括S1-AP EP。S1-AP EP可以是LTE CN 120内的E-UTRAN节点111与MME 221之间的交互单元。S1-AP 563服务可包括两组：UE相关联的服务和非UE相关联的服务。这些服务执行的功能包括但不限于：E-UTRAN无线电接入承载(E-RAB)管理、UE能力指示、移动性、NAS信令传输、RAN信息管理(RIM)和配置传输。
X2AP 563可支持X2接口112的功能，并且可包括X2AP基本移动性过程和X2AP全局过程。X2AP基本移动性过程可包括用于处理E-UTRAN 120内的UE移动性的过程，诸如切换准备和取消过程、SN状态传输过程、UE上下文检索和UE上下文释放过程、RAN寻呼过程或与双连接有关的过程等。X2AP全局过程可包括不与特定UE 101相关的过程，诸如X2接口设置和重置过程、负载指示过程、错误指示过程、或小区激活过程等。
SCTP层(另选地称为SCTP/IP层)562可提供应用层消息(例如，NR具体实施中的NGAP或XnAP消息，或LTE具体实施中的S1-AP或X2AP消息)的保证递送。SCTP 562可以部分地基于由IP 561支持的IP协议来确保RAN节点111与AMF 321/MME 221之间的信令消息的可靠递送。互联网协议层(IP)561可用于执行分组寻址和路由功能。在一些具体实施中，IP层561可使用点对点传输来递送和传送PDU。就这一点而言，RAN节点111可包括与MME/AMF的L2和L1层通信链路(例如，有线或无线)以交换信息。
在一些示例中，用户平面协议栈可按从最高层到最低层的顺序包括SDAP 547、PDCP 540、RLC 530、MAC 520和PHY 510。用户平面协议栈可用于NR具体实施中的UE 101、RAN节点111和UPF 302之间的通信，或LTE具体实施中的S-GW 222和P-GW 223之间的通信。在该示例中，上层551可构建在SDAP 547的顶部，并且可包括用户数据报协议(UDP)和IP安全层(UDP/IP)552、用于用户平面的通用分组无线服务(GPRS)隧道协议层(GTP-U)553和用户平面PDU层(UP PDU)563。
传输网络层554(也称为“传输层”)可构建在IP传输上，并且GTP-U 553可用于UDP/IP层552(包括UDP层和IP层)的顶部以承载用户平面PDU(UP-PDU)。IP层(也称为“互联网层”)可用于执行分组寻址和路由功能。IP层可将IP地址分配给例如以IPv4、IPv6或PPP格式中的任一种格式用户数据分组。
GTP-U 553可用于在GPRS核心网内以及在无线电接入网与核心网之间承载用户数据。例如，传输的用户数据可以是IPv4、IPv6或PPP格式中任一种格式的分组。UDP/IP 552可提供用于数据完整性的校验和，用于寻址源和目的地处的不同功能的端口号，以及对所选择数据流的加密和认证。RAN节点111和S-GW 222可利用S1-U接口使用包括L1层(例如，PHY510)、L2层(例如，MAC 520、RLC 530、PDCP 540和/或SDAP 547)、UDP/IP层552以及GTP-U553的协议栈来交换用户平面数据。S-GW 222和P-GW 223可利用S5/S8a接口使用包括L1层、L2层、UDP/IP层552和GTP-U 553的协议栈来交换用户平面数据。如先前讨论的，NAS协议可支持UE 101的移动性和会话管理过程，以建立和维护UE 101与P-GW 223之间的IP连接。
此外，尽管图3未示出，但应用层可存在于AP 563和/或传输网络层554上方。应用层可以是其中UE 101、RAN节点111或其他网络元件的用户与例如分别由应用电路205或应用电路305执行的软件应用进行交互的层。应用层还可为软件应用提供一个或多个接口以与UE 101或RAN节点111的通信***(诸如基带电路410)进行交互。在一些示例中，IP层或应用层或两者可提供与开放***互连(OSI)模型的层5至层7或其部分(例如，OSI层7—应用层、OSI层6—表示层和OSI层5—会话层)相同或类似的功能。
图4是示出用于从机器可读或计算机可读介质(例如，非暂态机器可读存储介质)读取指令并执行本文所述的技术中的任一种或多种技术的部件的框图。具体地，图4示出了硬件资源600的示意图，包括一个或多个处理器(或处理器核心)610、一个或多个存储器/存储设备620以及一个或多个通信资源630，它们中的每个都可以使用总线640通信地耦接。对于其中利用节点虚拟化(例如，NFV)的具体实施，可执行管理程序602以提供用于一个或多个网络切片或子切片以利用硬件资源600的执行环境。
处理器610可包括处理器612和处理器614。处理器610可以是例如中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、DSP诸如基带处理器、ASIC、FPGA、射频集成电路(RFIC)、另一个处理器(包括本文所讨论的那些)，或它们的任何合适的组合。
存储器/存储设备620可包括主存储器、磁盘存储器或其任何合适的组合。存储器/存储设备620可包括但不限于任何类型的易失性存储器或非易失性存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器或固态存储装置或它们的组合等。
通信资源630可包括互连装置或网络接口部件或其他合适的设备，以使用网络608与一个或多个***设备604或一个或多个数据库606通信。例如，通信资源630可包括有线通信部件(例如，用于使用USB进行耦接)、蜂窝通信部件、NFC部件、
Figure BDA0003540338480000281
(或
Figure BDA0003540338480000282
低功耗)部件、
Figure BDA0003540338480000283
部件和其他通信部件。
指令650可包括用于使处理器610中的至少任一个执行本文所讨论的方法中的任一者或多者的软件、程序、应用程序、小应用程序、应用或其他可执行代码。指令650可完全地或部分地驻留在处理器610(例如，处理器的高速缓存存储器内)、存储器/存储设备620，或它们的任何合适的组合中的至少一者内。此外，指令650的任何部分可以从***设备604或数据库606的任何组合处被传送到硬件资源600。因此，处理器610的存储器、存储器/存储设备620、***设备604和数据库606是计算机可读和机器可读介质的示例。
图5示出了基于视频的点云编码(V-PCC)架构700的示例。V-PCC架构可以与诸如H.264/AVC和H.265/HEVC的传统视频节点一起使用。架构700包括一系列模块，用于处理作为输入的点云帧702并且生成作为输出的表示体积视频数据的压缩的位流750。随后详细描述V-PCC架构700的操作。通常，点云的3D几何结构和属性数据被转换为一组2D补丁。然后将该组2D补丁打包到图像中。诸如用任何现有的或未来的图像或视频编解码压缩图像。例如，视频编解码可以包含MPEG-4高级视频编码(AVC)、高效率视频编码(HEVC)、AV1等。
V-PCC架构700被配置为接收输入点云帧702并且通过随后进一步详细描述的补丁数据生成过程生成补丁数据708。补丁数据708被发送至处理补丁数据(和其它数据)以生成相应子流的多个模块，该子流包括补丁子流722、属性子流718、几何结构子流742和占用子流734。子流722、718、742和734由复用器724复用以生成压缩的位流750，该压缩的位流包括用于流式传输体积视频的所有数据。子流722、718、742和734中的每个子流的生成可以被称为子流生成过程。通常，用于生成子流722、718、742和734中的每个子流的架构700的模块并行起作用，使得在并行过程中生成子流。然而，在一些情况下，不同过程的模块彼此发送和接收数据，并且这些过程部分串行，如随后描述的。
V-PCC架构利用基于补丁的方法将点云分割成一组簇(或补丁)。输入云帧702数据用于通过3D补丁生成模块704生成3D补丁。通常，补丁通过正交投影映射到预定义的一组2D平面，而无需自动阻塞并且具有有限的失真。V-PCC架构被配置为生成时间相干的低失真单映射。映射用于将3D点云的每个点分配给2D网格的小区。然后在补丁打包过程中通过补丁打包模块706打包投影的补丁来获得点云与规则2D网格之间的映射。补丁打包模块706生成补丁数据708，该补丁数据被发送到用于生成子流722、718、742和734的每个子流生成过程。
补丁打包过程被约束为保证补丁之间没有重叠。此外，以T×T块表示的任何补丁的边界框(其中T是打包块大小)不应与属于先前编码的补丁的任何T×T块重叠。此类约束使得可以通过分析所有补丁的2D边界框针对打包网格的每个T×T块确定其所属的补丁。
然后并行处理T×T块以生成点云几何结构和属性。对于T×T块的每个小区，使用占用图中的对应像素来确定小区是满的还是空的。如果小区是满的，则根据补丁的类型，在两个不同程序之后生成3D点。
V-PCC支持规则补丁的概念，该规则补丁使用先前描述的补丁投影过程。对于规则补丁，通过将存储在几何图像中的深度信息与小区的2D位置、补丁的3D偏移和2D投影平面组合来计算3D点笛卡尔坐标。通过在同一网格位置采样2D属性帧来获得与重构点相关联的属性值。
补丁数据708由四个过程用于生成压缩的位流750。所描述的第一过程是补丁子流过程。被生成以从2D几何结构、属性和占用视频重构3D点云的补丁数据708被压缩。补丁数据708在V-PCC补丁序列子流中被编码，诸如通过补丁序列压缩模块720。V-PCC架构700引入被特别优化以处理补丁子流722的编解码，该补丁子流占据相对少量的总位流(例如，低于5％)。补丁子流722被发送到复用器724以与属性子流718、几何结构子流742和占用子流734组合。
所描述的第二过程是占用图生成过程。补丁数据708被发送到占用图图像生成模块728。模块728生成占用图730，该占用图指示哪些体素被占用。占用图730由视频压缩模块732处理以生成占用子流734。子流734包括指示压缩的位流750的占用信息的数据流。在重构过程期间(随后描述)，视频压缩模块732生成重构的占用图733，该占用图用于属性子过程和几何结构子过程中的图像填补。
第三过程是几何结构子过程，在该过程中确定帧的(例如，补丁的)几何结构数据，并且生成几何结构子流742。将补丁数据708发送到几何结构图像生成模块726以生成几何结构数据736。在重构过程期间可以使用来自重构的占用图733的数据的图像填补738之后，几何结构数据736由视频压缩模块740(其可以是用于几何结构数据的专用编解码)压缩。视频压缩模块740生成与补丁子流722的对应补丁序列和占用子流734的占用图730数据相关联的几何结构子流742。
第四过程是属性过程，在该过程中针对与补丁序列以及几何结构和占用数据相关联的属性确定属性值。属性图像生成模块710接收补丁数据708，并且在重构期间从平滑模块746接收平滑的几何结构数据748。平滑模块746继而接收重构的几何结构图像744、重构的占用图733和补丁数据708以生成平滑几何结构数据748。
属性图像生成模块710将属性数据发送到图像填补模块712，该图像填补模块可在重构过程期间接收占用图730。填补的属性数据714被发送到视频压缩模块716，该视频压缩模块可以与视频压缩模块732和/或740类似或相同(例如，使用共享的编解码)，或者可以与模块732和740完全不同。压缩模块716生成属性子流718，用于包括补丁子流722的相关联的补丁序列数据、几何结构子流742的几何结构数据以及占用子流734的占用图数据730的属性值。
一般来讲，附加的信息用于同步和链接视频，并且也在位流750中发信号通知补丁子流，诸如同步数据。然后通过将各种编码的信息(例如，占用图子流734、几何结构子流742、属性子流718和补丁序列子流722)串联到单个流750中来形成V-PCC位流750。这是通过将这些子流封装到V-PCC数据单元中来完成的，每个V-PCC数据单元由报头和有效载荷组成。
V-PCC单元报头描述了V-PCC单元类型。一般来讲，支持五种不同的单位类型。序列参数集(SPS)单元类型描述了整个V-PCC位流及其子分量。剩余的单元类型包括占用视频、几何结构视频、属性视频和补丁序列数据单元，该补丁序列数据单元分别封装占用图、几何结构、属性和补丁序列子流。
V-PCC解码过程被分成两个阶段，包括位流解码过程和重构过程。位流解码过程采用V-PCC压缩的位流750作为输入并输出解码的占用、几何结构和属性2D视频帧，以及与每个帧相关联的补丁信息。重构过程使用补丁信息将2D视频帧转换为一组重构的3D点云帧。重构过程需要在SPS中指定的标称2D分辨率下重采样占用、几何结构和属性视频序列。然后将重采样视频用于3D重构过程，该过程包括几何结构和属性重构以及几何结构和属性平滑。
对于基于V-PCC的位流，基于RTP的流式传输框架包括以下特征。该框架包括专用编解码位流(例如，HEVC位流)。专用位流各自承载子流722、718、742或734中的一个子流的编码的信息，包括占用图数据730、几何结构数据736和属性数据718。专用RTP流包括每个编解码/HEVC位流，使得存在用于占用图、几何结构和属性信息的专用RTP流。专用RTP流使用针对该编解码的特定RTP有效载荷格式(例如，用于HEVC的RTP有效载荷格式)。如先前所描述，专用RTP流722、718、742和734被复用到V-PCC视频的单个RTP流750中。用于复用的RTP流的RTP报头扩展可以承载序列参数集(SPS)单元类型信息。在一些具体实施中，SPS数据是编解码位流或单独位流中的一者的一部分，诸如HEVC位流的SEI消息。在另一个实施方案中，专用RTP流中的每个专用RTP流作为不同的媒体类型被单独协商和传送。例如，第一媒体类型用于几何结构数据，第二媒体类型用于属性数据，第三媒体类型用于占用图数据等等。另外，另一RTP流可以承载压缩的补丁序列子流722，并且也可以被复用到用于V-PCC视频的单个RTP流中。另选地，该信息可以作为RTP报头扩展(作为复用的RTP流的一部分)的一部分被承载。在一个实施方案中，针对每个专用HEVC位流的HEVC SEI消息可以承载有关每个编码的信息的附加的元数据，包括占用图数据730、几何结构数据736和属性数据714。
图6示出了接收器架构800的概览的示例。接收器架构800被配置为从在解复用含有V-PCC位流(例如，图5的位流750)的RTP流之后获得的接收到的RTP流中重构球形视频。架构800表示一组逻辑接收器功能，包括实时协议(RTP)接收器804、HEVC解码器808、点云重构模块814和视口渲染模块818。
基于一个或多个接收到的RTP媒体流，设备(例如，关于图1至图4描述的UE 101或其它网络设备)被配置为(在接收器804处)接收并解析、解密初级RTP流806和/或将该初级RTP流馈送到HEVC解码器808。HEVC解码器808获得解码器输出信号(称为纹理数据810)，以及解码器元数据812。在此上下文中，纹理数据810可以包括占用图、几何结构数据和属性数据，具体取决于HEVC位流。解码器元数据812包括SEI消息，诸如在V-PCC特定SEI消息中承载的信息，以用于渲染阶段。具体地，点云重构功能814可以使用解码器元数据812以及有关占用图、几何结构和属性的解码的纹理信息，以基于解码的输出信号(例如，纹理数据810)生成点云(或其一部分)。然后通过考虑来自传感器的视口位置信息、显示特性以及可能的其它元数据(诸如初始视口信息)从点云信号816(或其一部分)生成视口数据并渲染(例如，通过渲染模块818)。这些传感器可以包括任何定位传感器或其它传感器，诸如陀螺仪、磁性***等。
可以为点对点会话会话和多方会议场景支持视口依赖性处理，并且可以通过以下实现：从接收器发送具有期望的视口信息的RTCP反馈或RTP报头扩展消息，然后通过多媒体电话服务经由IP多媒体核心网络子***(IMS)(MTSI)发送器或由媒体网关(例如，MRF)编码和发送对应的视区。期望递送高于期望的视口的视口独立方法的分辨率。来自发送器的传输的RTP流还可以包括实际视口或覆盖信息，诸如在RTP报头扩展消息中，因为发送器生成、编码和流式传输的点云视频可以覆盖比期望的视口更大的面积。
对于用于承载V-PCC位流的RTP流的协商而言，可以重复使用IETF RFC 7798中指定的程序，用于HEVC的RTP有效载荷格式，其于2016年3月公布，并且其全部内容以引用方式并入本文。另外的SDP属性也可以代替地如下定义。基于以上内容，需要开发用于沉浸式视频交换的SDP框架以协商编解码支持、用于解码器渲染元数据的SEI消息以及视口依赖性处理所需的RTP/RTCP信令。这些能力可以单独协商，但是为了简化SDP交换并避免这些能力的碎裂，更优选的将是指定一个或多个MTSI客户端配置文件并且基于这些配置文件来开发SDP框架。
图5至图6的编码和解码架构700、800可以由先前描述的图1至图4的设备执行。例如，编码和解码架构700和800可以在UE、接入节点(AN)、联网设备、下一代节点(gNB)等上实现。
图7和图8示出了根据本文各种实施方案的基于会话描述协议和实时协议的用于体积点云内容的流式传输的示例性过程900和1000。在一些实施方案中，图1至图6或一些其他附图的电子设备、网络、***、芯片或部件或其部分或具体实施可被配置为执行如本文所述的一个或多个过程、技术或方法或其部分。图7中描绘了一个此类过程900。过程900可由网络元件、UE或基站执行。对于具体实施方案，该过程由网络元件(例如，gNB、接入节点(AN)等)执行。
图7中所示的过程900包括生成(902)多个编解码位流，每个编解码位流被配置为承载编码的信息，该编码的信息包括用于体积视频的占用图数据、几何结构数据或属性数据中的一者。该过程包括针对该多个编解码位流中的每个编解码位流生成(904)专用RTP流，该专用RTP流包括基于该RTP流的相应编解码位流的RTP有效载荷格式。该过程包括将每个专用RTP流复用(906)到体积视频的结果RTP流中。
在一些具体实施中，过程900包括使用结果RTP流执行基于视频的点云编码(V-PCC)。在一些实施方案中，每个编解码位流包括高效率视频编码(HEVC)位流。在一些实施方案中，过程900包括生成包括压缩的补丁序列子流的附加的专用RTP流。过程900包括将附加的RTP流复用到用于V-PCC视频的结果RTP流中。
在一些实施方案中，过程900包括生成结果RTP流的RTP报头扩展，该RTP报头扩展被配置为包括压缩的补丁序列子流。在一些实施方案中，过程900包括生成一个或多个会话描述协议(SDP)属性以指示承载作为结果RTP流的一部分的点云视频的能力。在一些具体实施中，结果RTP流的该一个或多个SDP属性指示以下各项中的至少一项：在专用RTP流中承载有关占用图数据、几何结构数据、属性数据和补丁序列数据的编码的点云信息的能力；在单个复用的RTP流中承载有关点云信息诸如占用图数据、几何结构数据、属性数据和补丁序列数据的专用RTP流的能力；在RTP报头扩展中承载序列参数集(SPS)单元类型信息的能力；承载作为RTP有效载荷格式的一部分的点云元数据信息的能力；以及支持编解码能力以满足针对点云视频的最低质量要求的能力。
在一些实施方案中，RTP有效载荷格式包括至少一个补充信息增强(SEI)消息，其中在点云视频特定SEI消息中承载的数据在接收器处用于渲染阶段。在一些具体实施中，该一个或多个SDP属性指示以下各项中的至少一项：使用RTCP反馈消息来发信号通知期望的视口的能力；以及使用RTP报头扩展消息来发信号通知实际传输的视口的能力。在一些实施方案中，每个专用RTP流包括不同的媒体类型。
图8示出了用于接收RTP位流并从RTP位流生成体积视频的过程1000。过程1000包括解复用(1002)含有V-PCC位流的RTP流。过程(1004)包括获得解码器输出信号和解码器元数据。过程1000包括基于解码的输出信号和解码器元数据生成(1006)点云信号。过程1000包括从点云信号生成(1008)视点信号。
本文所述的技术可由在一种或多种类型的网络部件、用户设备或这两者中实现或被其采用的装置来执行。在一些具体实施中，一个或多个非暂态计算机可读介质包括指令，用于在由电子设备的一个或多个处理器执行所述指令时使电子设备执行本文所述技术中的一者或多者。一种装置可包括一个或多个处理器和一个或多个计算机可读介质，计算机可读介质包括指令，指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行所述技术中的一者或多者。
在不同的具体实施中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的方框的顺序，并且可添加、重新排序、组合、省略、修改各种元素等。可作出各种修改和改变，这对于从本公开受益的本领域的技术人员来说将是显而易见的。本文所述的各种具体实施旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。
本文所述的方法可在电路中实施，诸如以下中的一者或多者：集成电路、逻辑电路、处理器(共享、专用或组)和/或存储器(共享、专用或组)、ASIC、现场可编程设备(FPD)(例如，现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、复杂PLD(CPLD)、大容量PLD(HCPLD)、结构化ASIC或可编程SoC)、数字信号处理器(DSP)、或它们的某种组合。处理器的示例可包括Apple A系列处理器、
Figure BDA0003540338480000341
Architecture CoreTM处理器、ARM处理器、AMD处理器和Qualcomm处理器。其他类型的处理器是可能的。在一些具体实施中，电路可执行一个或多个软件或固件程序以提供所述功能中的至少一些。术语“电路”还可以指一个或多个硬件元件与用于执行该程序代码的功能的程序代码的组合(或电气或电子***中使用的电路的组合)。在这些实施方案中，硬件元件和程序代码的组合可被称为特定类型的电路。电路还可包括无线电电路，诸如发射器、接收器或收发器。
如上所述，本说明书的主题的一些方面包括来自各种来源的数据的采集和使用以改善移动设备可向用户提供的服务。本公开预期，在一些情况下，该采集到的数据可基于设备使用情况来识别特定位置或地址。此类个人信息数据可包括基于位置的数据、地址、订阅者账户标识符或其他标识信息。
本公开还设想负责此类个人信息数据的收集、分析、公开、传输、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私做法。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法用途之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。
就广告递送服务而言，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就广告递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最小量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用信息来推断偏好，从而选择内容并递送至用户。
如本文所用，术语“用户设备”或“UE”是指具有无线电通信能力并且可描述通信网络中的网络资源的远程用户的设备。此外，术语“用户设备”或“UE”可被认为是同义的，并且可被称为客户端、移动电话、移动设备、移动终端、用户终端、移动单元、移动站、移动用户、订户、用户、远程站、接入代理、用户代理、接收器、无线电装备、可重新配置的无线电装备、可重新配置的移动设备等。此外，术语“用户设备”或“UE”可包括任何类型的无线/有线设备或包括无线通信接口的任何计算设备。
如本文所用，术语“网络元件”是指用于提供有线或无线通信网络服务的物理或虚拟化装备和/或基础设施。术语“网络元件”可被认为同义于和/或被称为联网计算机、联网硬件、网络装备、网络节点、路由器、开关、集线器、网桥、无线电网络控制器、RAN设备、RAN节点、网关、服务器、虚拟化VNF、NFVI等。
如本文所用，术语“计算机***”是指任何类型的互连电子设备、计算机设备或它们的部件。另外，术语“计算机***”和/或“***”可指计算机的彼此通信地耦接的各种部件。此外，术语“计算机***”和/或“***”可指彼此通信地耦接并且被配置为共享计算和/或联网资源的多个计算机设备和/或多个计算***。
如本文所用，术语“器具”、“计算机器具”等是指具有被特别设计成提供特定计算资源的程序代码(例如，软件或固件)的计算机设备或计算机***。“虚拟设备”是将由配备有管理程序的设备实现的虚拟机映像，该配备有管理程序的设备虚拟化或仿真计算机器具，或者以其他方式专用于提供特定计算资源。
如本文所用，术语“资源”是指物理或虚拟设备、计算环境内的物理或虚拟部件，和/或特定设备内的物理或虚拟部件，诸如计算机设备、机械设备、存储器空间、处理器/CPU时间和/或处理器/CPU使用率、处理器和加速器负载、硬件时间或使用率、电源、输入/输出操作、端口或网络套接字、信道/链路分配、吞吐量、存储器使用率、存储、网络、数据库和应用程序、工作量单位等。“硬件资源”可以指由物理硬件元件提供的计算、存储和/或网络资源。“虚拟化资源”可指由虚拟化基础设施提供给应用程序、设备、***等的计算、存储和/或网络资源。术语“网络资源”或“通信资源”可指计算机设备/***可经由通信网络访问的资源。术语“***资源”可指提供服务的任何种类的共享实体，并且可包括计算资源和/或网络资源。***资源可被视为可通过服务器访问的一组连贯功能、网络数据对象或服务，其中此类***资源驻留在单个主机或多个主机上并且可清楚识别。
如本文所用，术语“信道”是指用于传送数据或数据流的任何有形的或无形的传输介质。术语“信道”可与“通信信道”、“数据通信信道”、“传输信道”、“数据传输信道”、“接入信道”、“数据访问信道”、“链路”、“数据链路”“载波”、“射频载波”和/或表示通过其传送数据的途径或介质的任何其他类似的术语同义和/或等同。另外，如本文所用的术语“链路”是指通过RAT在两个设备之间进行的用于传输和接收信息的连接。
如本文所用，术语“使……实例化”、“实例化”等是指实例的创建。“实例”还指对象的具体发生，其可例如在程序代码的执行期间发生。
本文使用术语“耦接”、“可通信地耦接”及其衍生词。术语“耦接”可意指两个或更多个元件彼此直接物理接触或电接触，可意指两个或更多个元件彼此间接接触但仍然彼此配合或相互作用，并且/或者可意指一个或多个其他元件耦接或连接在据说彼此耦接的元件之间。术语“直接耦接”可意指两个或更多个元件彼此直接接触。术语“可通信地耦接”可意指两个或更多个元件可借助于通信彼此接触，包括通过导线或其他互连连接、通过无线通信信道或链路等。
众所周知，使用个人可识别信息应遵循公认为满足或超过维护用户隐私的行业或政府要求的隐私政策和做法。具体地，应管理和处理个人可识别信息数据，以使无意或未经授权的访问或使用的风险最小化，并应当向用户明确说明授权使用的性质。
术语“信息元素”是指包含一个或多个字段的结构元素。术语“字段”是指信息元素的各个内容，或包含内容的数据元素。
术语“SMTC”是指由SSB-MeasurementTimingConfiguration配置的基于SSB的测量定时配置。
术语“SSB”是指SS/PBCH块。
术语“主小区”是指在主频率上工作的MCG小区，其中UE要么执行初始连接建立程序要么发起连接重建程序。
术语“主SCG小区”是指在利用用于DC操作的同步过程执行重新配置时UE在其中执行随机接入的SCG小区。
术语“辅小区”是指在配置有CA的UE的特殊小区的顶部上提供附加无线电资源的小区。
术语“辅小区组”是指包括用于配置有DC的UE的PSCell和零个或多个辅小区的服务小区的子集。
术语“服务小区”是指用于处于RRC_CONNECTED中的未配置有CA/DC的UE的主小区，其中仅存在一个包括主小区的服务小区。
术语“服务小区”是指包括用于配置有CA/DC且处于RRC_CONNECTED中的UE的特殊小区和所有辅小区的小区组。
术语“特殊小区”是指MCG的PCell或用于DC操作的SCG的PSCell；否则，术语“特殊小区”是指PCell。
已描述了多个具体实施。然而，应当理解，可进行各种修改。一个或多个具体实施中的元素可被组合、删除、修改或者补充以形成另外的具体实施。作为另一个示例，附图中所示的逻辑流不要求所示的特定顺序或者相继顺序以实现期望的结果。此外，其他步骤可被提供或者步骤可被从所述流程中消除，并且其他部件可被添加到所述***或者从所述***移除。因此，其他具体实施在下面的权利要求书的范围内。
实施例
实施例1可包括一种RTP流式传输框架，该RTP流式传输框架具有以下各项中的一项或多项。RTP流式传输框架可以包含专用编解码位流(例如，HEVC位流)，该专用编解码位流承载编码的信息中的每个编码的信息，例如占用图、几何结构和属性。该RTP流式传输框架可包括含有每个编解码/HEVC位流的专用RTP流，使得将存在用于占用图、几何结构和属性信息的专用RTP流。
实施例2可包括如实施例1或本文的一些其它实施例所述的RTP流式传输框架，其中每个专用RTP流使用用于相应编解码的特定RTP有效载荷格式(例如，用于HEVC的RTP有效载荷格式)。该专用RTP流被复用到V-PCC视频的单个RTP流中。用于复用的RTP流的RTP报头扩展被配置为承载序列参数集(SPS)单元类型信息。SPS否则可以是编解码位流中的一个编解码位流的一部分，诸如用于HEVC位流的SEI消息。
实施例3可包括如实施例2或本文另一实施例所述的RTP流式传输框架，其中专用RTP流中的每个专用RTP流作为不同的媒体类型被单独协商和传送，该不同的媒体类型诸如用于几何结构的媒体类型、用于属性的媒体类型、用于占用图的媒体类型等。
实施例4可包括如实施例3或本文另一实施例所述的RTP流式传输框架，其中另一RTP流可被配置为承载压缩的补丁序列子流，并且也被复用到用于V-PCC视频的单个RTP流中。
实施例5可包括如实施例4或本文另一实施例所述的RTP流式传输框架，其中压缩的补丁序列子流可以被承载为作为复用的RTP流的一部分的RTP报头扩展的一部分。
实施例6可包括如实施例5或本文另一实施例所述的RTP流式传输框架，其中针对专用HEVC位流中的每个专用HEVC位流的HEVC SEI消息承载有关每个编码的信息的附加的元数据，诸如占用图、几何结构和属性。
实施例7可包括如实施例1所述的一个或多个SDP属性，以指示承载作为RTP流的一部分的点云视频的能力，包括(但不限于)以下各项中的一项或多项：在专用RTP流中承载有关占用图、几何结构、属性和补丁序列的编码的点云信息的能力，该专用RTP流具有对应的编解码有效载荷格式(例如，HEVC有效载荷格式)并且可能具有不同的媒体类型(例如，用于几何结构的媒体类型)；在单个复用的RTP流中承载有关点云信息的专用RTP流的能力，该点云信息诸如占用图、几何结构、属性和补丁序列；在RTP报头扩展中承载序列参数集(SPS)单元类型信息的能力；承载作为RTP有效载荷格式的一部分的点云元数据信息的能力，例如，使用补充信息增强(SEI)消息，诸如在点云视频特定SEI消息中承载的信息然后在接收器处用于渲染阶段；支持提供点云视频的足够高的质量诸如HEVC Main 10Profile、Main Tier、Level 5.1所需的高级编解码能力的能力。
实施例8可包括新SDP属性，以指示承载作为RTP流的一部分的点云视频的视口依赖性处理能力，包括以下各项中的一项或多项：使用RTCP反馈消息来发信号通知期望的视口的能力，如2/28/17提交的名称为“REGION OF INTEREST SIGNALING FOR STREAMINGTHREE-DIMENSIONAL VIDEO INFORMATION”(下文称为“PCT/US2017/020041”)的PCT/US2017/020041中详细描述的，其全部内容以引用方式并入本文；以及使用RTP报头扩展消息来发信号通知实际传输的视口的能力，如PCT/US2017/020041中详细描述的。
实施例9可包括如实施例7或本文的一些其它实施例所述的SDP属性，其中因此可协商两个或更多个RTP流。
实施例10可包括单个SDP属性，该单个SDP属性将实施例7和实施例8或本文的一些其它实施例中的能力相组合。
实施例11可包括如实施例8或本文的一些其它实施例所述的SDP属性，其中一个RTP流用于基点云视频，并且另一个RTP流是视口优化的RTP流，其具有对应于期望视口的高质量点云视频。
实施例12可包括一种RTP流式传输的方法，该方法包括：生成专用编解码位流(例如，HEVC位流)以承载包括例如占用图、几何结构和属性的编码的信息；生成包括编解码/HEVC位流的专用RTP流，例如用于占用图、几何结构和属性信息的专用RTP流，该专用RTP流使用用于该编解码的特定RTP有效载荷格式(例如，用于HEVC的RTP有效载荷格式)；以及将该专用RTP流复用到用于V-PCC视频的单个RTP流中。
实施例13可包括如实施例12或本文的一些其它实施例所述的方法，还包括：生成另一RTP流以承载压缩的补丁序列子流；以及将另一RTP流复用到用于V-PCC视频的单个RTP流中。
实施例14可包括如实施例12或本文的一些其它实施例所述的方法，还包括：生成复用的RTP流的RTP报头扩展以承载压缩的补丁序列子流。
实施例15可包括一种方法，该方法包括：生成一个或多个SDP属性以指示承载作为RTP流的一部分的点云视频的能力。
实施例16可包括如实施例15或本文的一些其它实施例所述的方法，其中该一个或多个SDP属性指示：在专用RTP流中承载有关占用图、几何结构、属性和补丁序列的编码的点云信息的能力，该专用RTP流具有对应的编解码有效载荷格式(例如，HEVC有效载荷格式)并且任选地具有不同的媒体类型(例如，用于几何结构的媒体类型)；在单个复用的RTP流中承载有关点云信息的专用RTP流的能力，该点云信息诸如占用图、几何结构、属性和补丁序列；在RTP报头扩展中承载序列参数集(SPS)单元类型信息的能力；承载作为RTP有效载荷格式的一部分的点云元数据信息的能力，诸如使用补充信息增强(SEI)消息，其中点云视频特定SEI消息中承载的信息在接收器处用于渲染阶段；或支持提供点云视频的足够高的质量诸如HEVC Main 10Profile、Main Tier、Level 5.1所需的高级编解码能力的能力。
实施例17可包括一种方法，该方法包括生成SDP属性以指示承载作为RTP流的一部分的点云视频的视口依赖性处理能力。
实施例18可包括如实施例17或本文的一些其它实施例所述的方法，其中SDP属性用于指示：使用RTCP反馈消息来发信号通知期望的视口的能力，如P112382PCT中详细描述的；或使用RTP报头扩展消息来发信号通知实际传输的视口的能力，如P112382PCT中描述的。
实施例19可包括一种装置，该装置包括用于执行实施例1-18中任一项所述或与之相关的方法或本文所述的任何其他方法或过程的一个或多个元素的装置。
实施例20可包括一个或多个非暂态计算机可读介质，该一个或多个非暂态计算机可读介质包括指令，该指令在由电子设备的一个或多个处理器执行指令时使得该电子设备执行实施例1-18中任一项所述或与之相关的方法或本文所述的任何其他方法或过程的一个或多个元素。
实施例21可包括一种装置，该装置包括用于执行实施例1至18中任一项所述或与之相关的方法或本文所述的任何其他方法或过程的一个或多个元素的逻辑部件、模块或电路。
实施例22可包括如实施例1-18中任一项所述或与之相关的方法、技术或过程，或其部分或零件。
实施例23可包括一种装置，该装置包括：一个或多个处理器以及一个或多个计算机可读介质，该一个或多个计算机可读介质包括指令，这些指令在由一个或多个处理器执行时，使得该一个或多个处理器执行如实施例1-18中任一项所述或与之相关的方法、技术或过程或其部分。
实施例24可包括如实施例1至18中任一项所述或与之相关的信号，或其部分或零件。
实施例25可包括如实施例1至18中任一项所述或与之相关的数据报、分组、帧、段、协议数据单元(PDU)或消息，或其部分或零件，或者在本公开中以其他方式描述的。
实施例26可包括如实施例1至18中任一项所述或与之相关的编码有数据的信号，或其部分或零件，或者在本公开中以其他方式描述的。
实施例27可包括如实施例1至18中任一项所述或与之相关的编码有数据报、分组、帧、段、协议数据单元(PDU)或消息的信号，或其部分或零件，或者在本公开中以其他方式描述的。
实施例28可包括承载计算机可读指令的电磁信号，其中由一个或多个处理器执行计算机可读指令将使一个或多个处理器执行如实施例1至18中任一项所述或与之相关的方法、技术或过程，或其部分。
实施例29可包括一种计算机程序，该计算机程序包括指令，其中由处理元件执行程序将使处理元件执行如实施例1至18中任一项所述或与之相关的方法、技术或过程，或其部分。
实施例30可包括如本文所示和所述的无线网络中的信号。
实施例31可包括如本文所示和所述的在无线网络中进行通信的方法。
实施例32可包括如本文所示和所述的用于提供无线通信的***。
实施例33可包括如本文所示和所述的用于提供无线通信的设备。
除非另有明确说明，否则上述示例中的任一者可与任何其他示例(或示例的组合)组合。一个或多个具体实施的前述描述提供了说明和描述，但是并不旨在穷举或将实施方案的范围限制为所公开的精确形式。鉴于上面的教导内容，修改和变型是可能的，或者可从各种实施方案的实践中获取修改和变型。
除非另有明确说明，否则上述示例中的任一者可与任何其他示例(或示例的组合)组合。一个或多个具体实施的前述描述提供了说明和描述，但是并不旨在穷举或将实施方案的范围限制为所公开的精确形式。鉴于上面的教导内容，修改和变型是可能的，或者可从各种实施方案的实践中获取修改和变型。

Claims (32)

1.一种用于实时协议(RTP)数据流式传输的方法，所述方法包括：
生成多个编解码位流，每个编解码位流被配置为包括编码的信息，所述编码的信息包括用于体积视频的占用图数据、几何结构数据或属性数据中的一者；
针对所述多个编解码位流中的每个编解码位流，生成专用RTP流，所述专用RTP流包括基于针对所述RTP流的相应编解码位流的RTP有效载荷格式；以及
将每个专用RTP流复用到用于所述体积视频的结果RTP流中。
2.根据权利要求1所述的方法，还包括：
使用所述结果RTP流执行基于视频的点云编码(V-PCC)。
3.根据权利要求1所述的方法，其中每个编解码位流包括高效率视频编码(HEVC)位流。
4.根据权利要求1所述的方法，还包括：
生成包括压缩的补丁序列子流的附加的专用RTP流；以及
将所述附加的RTP流复用到用于V-PCC视频的所述结果RTP流中。
5.根据权利要求1所述的方法，还包括：
生成所述结果RTP流的RTP报头扩展，所述RTP报头扩展被配置为包括压缩的补丁序列子流。
6.根据权利要求1所述的方法，还包括：
生成一个或多个会话描述协议(SDP)属性以指示承载作为所述结果RTP流的一部分的点云视频的能力。
7.根据权利要求6所述的方法，其中针对所述结果RTP流的所述一个或多个SDP属性指示以下各项中的至少一项：
在专用RTP流中承载有关占用图数据、几何结构数据、属性数据和补丁序列数据的编码的点云信息的能力；
在单个复用的RTP流中承载有关点云信息诸如占用图数据、几何结构数据、属性数据和补丁序列数据的所述专用RTP流的能力；
在RTP报头扩展中承载序列参数集(SPS)单元类型信息的能力；
承载作为所述RTP有效载荷格式的一部分的点云元数据信息的能力；和
支持编解码能力以满足针对点云视频的最低质量要求的能力。
8.根据权利要求7所述的方法，其中所述RTP有效载荷格式包括至少一个补充信息增强(SEI)消息，其中点云视频特定SEI消息中承载的数据在接收器处用于渲染阶段。
9.根据权利要求6所述的方法，其中所述一个或多个SDP属性指示以下各项中的至少一项：
使用RTCP反馈消息来发信号通知期望的视口的能力；和
使用RTP报头扩展消息来发信号通知实际传输的视口的能力。
10.根据权利要求1所述的方法，其中每个专用RTP流包括不同的媒体类型。
11.根据权利要求1至10中任一项所述的方法，其中所述方法由用户设备(UE)、联网设备或接入节点(AN)执行。
12.一种被配置用于实时协议(RTP)数据流式传输的用户设备(UE)，所述UE包括：
处理电路，所述处理电路被配置为：
生成多个编解码位流，每个编解码位流被配置为承载编码的信息，所述编码的信息包括用于体积视频的占用图数据、几何结构数据或属性数据中的一者；
针对所述多个编解码位流中的每个编解码位流生成专用RTP流，所述专用RTP流包括基于针对所述RTP流的相应编解码位流的RTP有效载荷格式；以及
将每个专用RTP流复用到用于所述体积视频的结果RTP流中；和
与所述处理电路耦接的基带电路，所述基带电路被配置为生成用于发送至联网设备的所述结果RTP流。
13.根据权利要求12所述的UE，所述处理电路被进一步配置为：
使用所述结果RTP流执行基于视频的点云编码(V-PCC)。
14.根据权利要求12所述的UE，其中每个编解码位流包括高效率视频编码(HEVC)位流。
15.根据权利要求12所述的UE，所述处理电路被进一步配置为：
生成附加的专用RTP流，所述附加的专用RTP流包括压缩的补丁序列子流；以及
将所述附加的RTP流复用到用于V-PCC视频的所述结果RTP流中。
16.根据权利要求12所述的UE，所述处理电路被进一步配置为：
生成所述结果RTP流的RTP报头扩展，所述RTP报头扩展被配置为包括压缩的补丁序列子流。
17.根据权利要求12所述的UE，所述处理电路被进一步配置为：
生成一个或多个会话描述协议(SDP)属性以指示承载作为所述结果RTP流的一部分的点云视频的能力。
18.根据权利要求17所述的UE，其中针对所述结果RTP流的所述一个或多个SDP属性指示以下各项中的至少一项：
在专用RTP流中承载有关占用图数据、几何结构数据、属性数据和补丁序列数据的编码的点云信息的能力；
在单个复用的RTP流中承载有关点云信息诸如占用图数据、几何结构数据、属性数据和补丁序列数据的所述专用RTP流的能力；
在RTP报头扩展中承载序列参数集(SPS)单元类型信息的能力；
承载作为所述RTP有效载荷格式的一部分的点云元数据信息的能力；和
支持编解码能力以满足针对点云视频的最低质量要求的能力。
19.根据权利要求18所述的UE，其中所述RTP有效载荷格式包括至少一个补充信息增强(SEI)消息，其中点云视频特定SEI消息中承载的数据在接收器处用于渲染阶段。
20.根据权利要求17所述的UE，其中所述一个或多个SDP属性指示以下各项中的至少一项：
使用RTCP反馈消息来发信号通知期望的视口的能力；和
使用RTP报头扩展消息来发信号通知实际传输的视口的能力。
21.根据权利要求12所述的UE，其中每个专用RTP流包括不同的媒体类型。
22.一种用于实时协议(RTP)数据流式传输的方法，所述方法包括：
将表示体积视频的RTP流解复用到多个编解码位流中；
从所述多个编解码位流中解码纹理数据，所述纹理数据包括用于所述体积视频的占用图数据、几何结构数据和属性数据；
从所述纹理数据生成用于所述体积视频的点云重构；以及
基于所述点云重构渲染所述体积视频。
23.根据权利要求22所述的方法，还包括：
从所述多个编解码位流解码一个或多个补充信息增强(SEI)消息，所述SEI消息包括用于渲染所述体积视频的元数据。
24.根据权利要求22所述的方法，还包括从所述多个编解码位流解码补丁序列数据，其中生成所述点云重构基于所述补丁序列数据。
25.根据权利要求22所述的方法，其中渲染所述体积视频包括：
从与被配置为显示所述体积视频的设备相关联的传感器接收指示显示器的位置的传感器数据；以及
基于指示所述位置的所述传感器数据渲染所述体积视频。
26.根据权利要求22所述的方法，其中每个编解码位流包括高效率视频编码(HEVC)位流。
27.根据权利要求22所述的方法，还包括：
接收所述RTP流的RTP报头扩展，所述RTP报头扩展被配置为包括压缩的补丁序列子流。
28.根据权利要求22所述的方法，还包括：
接收包括一个或多个会话描述协议(SDP)属性的数据以指示承载作为所述RTP流的一部分的点云视频的能力。
29.根据权利要求28所述的方法，其中针对所述RTP流的所述一个或多个SDP属性指示以下各项中的至少一项：
在专用RTP流中承载有关占用图数据、几何结构数据、属性数据和补丁序列数据的编码的点云信息的能力；
在单个复用的RTP流中承载有关点云信息诸如占用图数据、几何结构数据、属性数据和补丁序列数据的所述专用RTP流的能力；
在RTP报头扩展中承载序列参数集(SPS)单元类型信息的能力；
承载作为所述RTP有效载荷格式的一部分的点云元数据信息的能力；和
支持编解码能力以满足针对点云视频的最低质量要求的能力。
30.根据权利要求28所述的方法，其中所述一个或多个SDP属性指示以下各项中的至少一项：
使用RTCP反馈消息来发信号通知期望的视口的能力；和
使用RTP报头扩展消息来发信号通知实际传输的视口的能力。
31.根据权利要求22所述的方法，其中每个编解码位流包括不同的媒体类型。
32.根据权利要求22至31中任一项所述的方法，其中所述方法由用户设备(UE)、联网设备或接入节点(AN)执行。
CN202080063485.2A 2019-07-16 2020-07-16 基于会话描述协议和实时协议的体积点云内容的流式传输 Pending CN114402571A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962874873P 2019-07-16 2019-07-16
US62/874,873 2019-07-16
PCT/US2020/042330 WO2021011772A1 (en) 2019-07-16 2020-07-16 Streaming of volumetric point cloud content based on session description protocols and real time protocols

Publications (1)

Publication Number Publication Date
CN114402571A true CN114402571A (zh) 2022-04-26

Family

ID=71995099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080063485.2A Pending CN114402571A (zh) 2019-07-16 2020-07-16 基于会话描述协议和实时协议的体积点云内容的流式传输

Country Status (4)

Country Link
US (1) US11588871B2 (zh)
EP (1) EP4000276A1 (zh)
CN (1) CN114402571A (zh)
WO (1) WO2021011772A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200329088A1 (en) * 2019-07-26 2020-10-15 Intel Corporation Viewport indication during streaming of volumetric point cloud content
US11380019B2 (en) * 2019-10-07 2022-07-05 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102423499B1 (ko) 2020-01-07 2022-07-22 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP4075804A4 (en) * 2020-01-07 2023-01-25 LG Electronics Inc. POINT CLOUD DATA TRANSMISSION DEVICE, TRANSMISSION METHOD, PROCESSING DEVICE AND PROCESSING METHOD
KR20210102065A (ko) * 2020-02-11 2021-08-19 현대자동차주식회사 M2m 시스템에서 개인 데이터를 취급하기 위한 방법 및 장치
CN117978996A (zh) * 2020-04-11 2024-05-03 Lg电子株式会社 点云数据发送设备和方法、点云数据接收设备和方法
KR20220135483A (ko) * 2021-03-30 2022-10-07 삼성전자주식회사 이동 통신 시스템에서 영상 대화 서비스를 제공하기 위한 방법 및 장치
EP4342157A1 (en) * 2021-06-02 2024-03-27 Google LLC Exchanging status messages during a call
JP2024520680A (ja) * 2021-06-02 2024-05-24 グーグル エルエルシー 通話品質問題を解決すること
WO2023014085A1 (ko) * 2021-08-03 2023-02-09 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2023062271A1 (en) * 2021-10-14 2023-04-20 Nokia Technologies Oy A method, an apparatus and a computer program product for video coding
WO2023073283A1 (en) * 2021-10-28 2023-05-04 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
US20230144442A1 (en) * 2021-11-05 2023-05-11 Tencent America LLC Immersive media streaming prioritized by asset complexity
WO2023099809A1 (en) * 2021-12-03 2023-06-08 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
WO2023175050A1 (en) * 2022-03-16 2023-09-21 Analog Devices International Unlimited Company Wireless battery management system servicing
WO2023175234A1 (en) * 2022-03-17 2023-09-21 Nokia Technologies Oy A method, an apparatus and a computer program product for streaming volumetric video
US20240163702A1 (en) * 2022-11-10 2024-05-16 Qualcomm Incorporated Heterogeneous point cloud reporting in cellular systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090303255A1 (en) * 2008-02-22 2009-12-10 Nokia Corporation Systems and methods for providing information in a rich media environment
WO2019129923A1 (en) * 2017-12-29 2019-07-04 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US20190215729A1 (en) * 2018-03-15 2019-07-11 Intel Corporation Session description protocol mechanisms for signaling radio access network capabilities in multimedia telephony sessions
WO2019135024A1 (en) * 2018-01-02 2019-07-11 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106105416B (zh) 2014-03-07 2019-04-09 株式会社富士 元件安装机的维护管理装置及维护管理方法
US10187429B2 (en) * 2016-01-22 2019-01-22 Cisco Technology, Inc. Selective redundancy for media sessions
WO2018075090A1 (en) 2016-10-17 2018-04-26 Intel IP Corporation Region of interest signaling for streaming three-dimensional video information
US11140417B2 (en) * 2016-11-01 2021-10-05 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10984541B2 (en) * 2018-04-12 2021-04-20 Samsung Electronics Co., Ltd. 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud
CN110798707B (zh) * 2018-08-02 2023-06-16 华为技术有限公司 传输媒体数据的方法、客户端和服务器
US10812818B2 (en) * 2018-12-14 2020-10-20 Tencent America LLC Network abstraction unit layer type classes in network abstraction layer unit header

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090303255A1 (en) * 2008-02-22 2009-12-10 Nokia Corporation Systems and methods for providing information in a rich media environment
WO2019129923A1 (en) * 2017-12-29 2019-07-04 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
WO2019135024A1 (en) * 2018-01-02 2019-07-11 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US20190215729A1 (en) * 2018-03-15 2019-07-11 Intel Corporation Session description protocol mechanisms for signaling radio access network capabilities in multimedia telephony sessions

Also Published As

Publication number Publication date
WO2021011772A1 (en) 2021-01-21
EP4000276A1 (en) 2022-05-25
US11588871B2 (en) 2023-02-21
US20210021664A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
US11588871B2 (en) Streaming of volumetric point cloud content based on session description protocols and real time protocols
US11729243B2 (en) Dash-based streaming of point cloud content based on recommended viewports
US20210105451A1 (en) Scene construction using object-based immersive media
US11652862B2 (en) Immersive teleconferencing and telepresence
US11838345B2 (en) Session description protocol (SDP) based signaling of camera calibration parameters
CN114128359A (zh) 非陆地网络的时隙偏移确定
US11831861B2 (en) Methods for viewport-dependent adaptive streaming of point cloud content
US20210029326A1 (en) Session description protocol (sdp) based signaling of camera calibration parameters
US20200329088A1 (en) Viewport indication during streaming of volumetric point cloud content
US20220159740A1 (en) Mapping between prach preambles and pusch resource units for 2-step rach
US11704867B2 (en) Methods for timed metadata priority rank signaling for point clouds
CN113950800A (zh) 分组数据汇聚协议(pdcp)层处的网络编码以提高通信可靠性
US20220166538A1 (en) Methods for fast secondary cell activation and deactivation
US11785580B2 (en) Location based sidelink (SL) hybrid automatic repeat request (HARQ) feedback transmission
US20220141890A1 (en) Link Establishment in Relay Nodes
US20220167359A1 (en) Methods for fast serving cell activation with short channel-state information reporting
US11985552B2 (en) Methods of detecting fake base station by UE during handover
US20220182867A1 (en) Measurement gap pattern use and management for wireless communication systems
US20220159529A1 (en) Enhancing inter-node handover signaling for conditional handover
US20210051511A1 (en) Cross-layer quality of service (qos) indication for sidelink communications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination