CN114375583A - 用于自适应小透镜光场传输和渲染的***和方法 - Google Patents

用于自适应小透镜光场传输和渲染的***和方法 Download PDF

Info

Publication number
CN114375583A
CN114375583A CN202080063308.4A CN202080063308A CN114375583A CN 114375583 A CN114375583 A CN 114375583A CN 202080063308 A CN202080063308 A CN 202080063308A CN 114375583 A CN114375583 A CN 114375583A
Authority
CN
China
Prior art keywords
lenslet
sub
representations
light field
sampled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080063308.4A
Other languages
English (en)
Inventor
塔图·V·J·哈尔维艾宁
路易斯·克伦斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
PCMS Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCMS Holdings Inc filed Critical PCMS Holdings Inc
Publication of CN114375583A publication Critical patent/CN114375583A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

方法的一些实施例可以包括：流式传输光场视频内容的光场小透镜表示；以及改变所述光场小透镜表示的分辨率。方法的一些实施例可以包括：从光场内容的部分的多个小透镜表示中选择一小透镜表示；检索所选择的小透镜表示的子采样小透镜表示；以及从所述子采样小透镜表示内插视图。

Description

用于自适应小透镜光场传输和渲染的***和方法
相关申请的交叉引用
本申请是在2019年7月23日提交的标题为“SYSTEM AND METHOD FOR ADAPTIVELENSLET LIGHT FIELD TRANSMISSION AND RENDERING(用于自适应小透镜光场传输和渲染的***和方法)”的美国临时专利申请序列号62/877,574的非临时申请，并按照35 U.S.C.§119(e)要求其权益，该申请通过引用整体结合于此。
背景技术
作为3D场景的表示的高保真光场可能包含大量数据。为了支持实时传输和可视化，可以使用有效的数据分发优化方法。为了压缩传统的2D视频，已经开发了各种无损和有损比特率缩减和压缩方法。
发明内容
根据一些实施例的示例方法可以包括：从服务器接收描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；从所述多个子采样小透镜(sub-sampledlenslet)表示中选择一子采样小透镜表示；从所述服务器检索(retrieving)所选择的子采样小透镜表示；使用所述清单文件中的关于所选择的子采样小透镜表示的所述描述，从检索到的所选择的子采样小透镜表示内插(interpolating)视图；以及显示所内插的视图。
示例方法的一些实施例还可以包括：确定可用于流式传输所述光场视频内容的估计带宽。
对于示例方法的一些实施例，选择所述子采样小透镜表示可基于以下中的至少一者来所述选择子采样小透镜表示：用户的视点、估计带宽或观看客户端的显示能力。
示例方法的一些实施例还可以包括：预测所述用户的预测视点，使得所述用户的所述视点是所述用户的预测视点。
对于示例方法的一些实施例，选择所述子采样小透镜表示可以包括：确定所述多个子采样小透镜表示中至少一个子采样小透镜表示的相应最小支持带宽；以及选择所述子采样小透镜表示，该子采样小透镜表示具有小于所述估计带宽的多个相应最小支持带宽中的最大最小支持带宽。
示例方法的一些实施例还可以包括：确定所述估计带宽所支持的估计最大内容大小，使得选择所述子采样小透镜表示可以选择所述多个子采样小透镜表示中具有小于所述估计最大内容大小的内容大小的一个子采样小透镜表示。
示例方法的一些实施例还可以包括：跟踪用户的注视方向，使得选择所述子采样小透镜表示使用所述用户的所述注视方向。
对于示例方法的一些实施例，选择所述子采样小透镜表示可以包括：针对所述光场内容的位于用户的注视方向的注视阈值内的部分，选择一子采样小透镜表示，其具有高于密度阈值的密度。
示例方法的一些实施例还可以包括：预测用户的视点；以及针对预测视点，调整所选择的小透镜表示。
示例方法的一些实施例还可以包括：选择光场空间分辨率；将所述光场内容划分成与所述光场空间分辨率相对应的部分；以及针对光场内容的至少一部分的至少一个子采样小透镜表示的至少一帧，选择一小透镜图像，使得选择所述子采样小透镜表示可以选择用于所述光场内容的至少一部分的相应子采样小透镜表示，并且使得从所述子采样小透镜表示内插视图可以使用所述相应小透镜图像。
示例方法的一些实施例还可以包括：调整光场空间分辨率以改进所内插的视图的性能度量。
对于示例方法的一些实施例，从检索到的子采样小透镜表示内插视图可以包括：将检索到的子采样小透镜表示拆包到所述清单文件中指示的光场视频内容的所述部分的原始小透镜位置；以及内插从检索到的子采样小透镜表示中省略的小透镜样本。
对于示例方法的一些实施例，从检索到的子采样小透镜表示内插视图可以生成所述光场视频内容的所述部分的完整光场区域图像。
对于示例方法的一些实施例，选择所述子采样小透镜表示可基于以下中的至少一者来选择所述子采样小透镜表示：所选择的子采样小透镜表示的密度、或所选择的子采样小透镜表示的范围。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时操作以执行以上列出的权利要求中的任一项的方法。
根据一些实施例的示例方法可以包括：从媒体清单文件中描述的光场内容的部分的多个小透镜表示中选择一小透镜表示；从服务器检索所选择的小透镜表示的子采样小透镜表示；以及从所述子采样小透镜表示内插视图。
示例方法的一些实施例还可以包括：检索描述光场视频内容的部分的多个小透镜表示的媒体清单文件；以及显示所内插的视图。
对于示例方法的一些实施例，从检索到的子采样小透镜表示内插视图可以使用所述清单文件中的关于所述小透镜表示的描述。
示例方法的一些实施例还可以包括：确定客户端与服务器之间的估计带宽，使得选择所述小透镜表示可以使用所述估计带宽。
对于示例方法的一些实施例，关于所述多个小透镜表示中的至少一个小透镜表示的描述可以包括关于该相应小透镜表示的范围或密度中的至少一者的信息。
对于示例方法的一些实施例，选择所述子采样小透镜表示可包括：选择具有最大范围的子采样小透镜表示。
对于示例方法的一些实施例，选择所述子采样小透镜表示可包括：选择具有最高密度的子采样小透镜表示。
对于示例方法的一些实施例，选择所述小透镜表示可以使用客户端的能力。
对于示例方法的一些实施例，选择所述子采样小透镜表示可包括：选择具有高于所述客户端支持的阈值的密度的子采样小透镜表示。
对于示例方法的一些实施例，所述客户端的所述能力可以是所述客户端所支持的最大小透镜密度。
对于示例方法的一些实施例，从所述子采样小透镜表示内插视图可以使用所述清单文件中的关于所述小透镜表示的描述。
示例方法的一些实施例还可以包括：更新用户的视点；以及针对更新后的视点，调整所选择的小透镜表示。
示例方法的一些实施例还可以包括：预测所述用户的视点，使得选择子采样小透镜表示可以包括：针对光场内容的位于预测的视点的阈值内的部分，选择具有高于阈值的密度的子采样小透镜表示。
示例方法的一些实施例还可以包括：针对所选择的小透镜表示，选择子采样率。
示例方法的一些实施例可以进一步包括：估计可用于流式传送光场视频内容的带宽，使得选择所述子采样率可以使用所估计的可用带宽。
示例方法的一些实施例还可以包括：为所述光场内容的每个部分的每个子采样小透镜表示的每个帧，选择小透镜图像，使得从所述多个小透镜表示中选择所述小透镜表示为所述光场内容的每个部分选择相应的子采样小透镜表示，使得从所述子采样小透镜表示内插视图使用该相应的小透镜图像，并且使得选择所述小透镜图像基于内插结果的估计质量从多个小透镜图像中选择所述小透镜图像。
示例方法的一些实施例还可以包括：确定所述多个小透镜图像的相应的内插结果估计质量，使得选择所述小透镜图像基于所述多个小透镜图像中的哪个小透镜图像具有确定的最高相应内插结果估计质量来选择所述小透镜图像。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。
根据一些实施例的示例方法可以包括：流式传输光场视频内容的光场小透镜表示；以及改变所述光场小透镜表示的分辨率。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。
根据一些实施例的示例方法可以包括：从光场内容的部分的多个小透镜表示中选择一小透镜表示；检索所选择的小透镜表示的子采样小透镜表示；以及从所述子采样小透镜表示内插视图以重构在所述子采样表示中缺失的小透镜样本。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。
根据一些实施例的示例方法可以包括：检索光场内容的子采样小透镜表示；以及通过对检索到的子采样小透镜表示进行内插来重构从所述子采样小透镜表示中省略的小透镜样本。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。
根据一些实施例的示例方法可以包括：发送描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；接收指示从所述多个子采样小透镜表示中选择的子采样小透镜表示的信息；以及发送所选择的子采样小透镜表示。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以：发送描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；接收指示从所述多个子采样小透镜表示中选择的子采样小透镜表示的信息；以及发送所选择的子采样小透镜表示。
附图说明
图1A是根据一些实施例的示例通信***的***图。
图1B是根据一些实施例的可以在图1A所示的通信***内使用的示例无线发射/接收单元(WTRU)的***图。
图2是示出了根据一些实施例的使用5×5子视图渲染的示例全光场的示意图。
图3A是示出了根据一些实施例的示例小透镜表示的示意图。
图3B是示出了根据一些实施例的示例性视图阵列表示的示意图。
图4A-4B是示出了根据一些实施例的小透镜格式的光场数据的示例的示意图。
图5是示出了根据一些实施例的用于观看客户端的一组示例接口的***图。
图6是示出了根据一些实施例的典型会话序列的示例过程的消息序列图。
图7A-7B是示出了根据一些实施例的内容服务器过程的示例过程的流程图。
图8是示出了根据一些实施例的被划分为多个区域的示例性全小透镜光场(fulllenslet light field)的示意图。
图9A-9C是示出了根据一些实施例的在第一时间步长(time step)具有变化子采样密度的示例性子采样集合的示意图。
图10A-10C是示出了根据一些实施例的在第二时间步长具有变化子采样密度的示例子采样集合的示意图。
图11A-11C是示出了根据一些实施例的为了被打包为密集积分图像的子采样集合而选择的示例子视图的示意图。
图12是示出了根据一些实施例的示例MPEG-DASH媒体呈现描述(MPD)的数据结构图。
图13是示出了根据一些实施例的具有示例小透镜光场描述(一个或多个)、子采样集合、分辨率和比特率的示例媒体呈现描述(MPD)的数据结构图。
图14是示出了根据一些实施例的示例小透镜阵列重构过程的过程图。
图15是示出了根据一些实施例的用于观看客户端的示例过程的流程图。
图16A是示出了根据一些实施例的示例多视图阵列表示的示意图。
图16B是示出了根据一些实施例的示例性全小透镜表示的示意图。
图17A是示出了根据一些实施例的具有所图示的ROI的示例多视图阵列表示的示意图。
图17B是示出了根据一些实施例的具有所图示的ROI的示例性全小透镜表示的示意图。
图18A是示出了根据一些实施例的具有所图示的ROI和所选择的视图的示例多视图阵列表示的示意图。
图18B是示出了根据一些实施例的具有所图示的ROI的示例性全小透镜表示的示意图。
图19是示出了根据一些实施例的用于选择小透镜视图的示例子采样过程的过程图。
图20是示出了根据一些实施例的具有425×425个样本和5×5个视图的示例全小透镜图像的图像图示。
图21是示出了根据一些实施例的具有255×255个样本和3×3个视图的示例子采样小透镜图像的图像图示。
图22是示出了根据一些实施例的具有255×85个样本和1×3个视图的示例子采样小透镜图像的图像图示。
图23是示出了根据一些实施例的具有85×85个样本和1×1个视图的示例子采样小透镜图像的图像图示。
图24A-24C是示出了根据一些实施例的以两个子采样密度子采样的示例小透镜光场的示意图。
图25是示出了根据一些实施例的用于使用估计带宽和视图内插的自适应光场流式传输的示例过程的消息序列图。
图26是示出了根据一些实施例的用于观看客户端的示例过程的流程图。
图27是示出了根据一些实施例的用于观看客户端的示例过程的流程图。
在各个附图中描绘并结合各个附图描述的实体、连接、布置等是作为示例而非作为限制来给出的。因此，关于特定附图“描绘了什么”、“特定附图中的特定元素或实体“是”或“具有”什么的任何和所有陈述或其他指示，以及任何和所有类似陈述—其可能是孤立的且在上下文之外被解读为绝对的且因此是限制性的—可以仅被适当地解读为其前建设性地加有诸如“在至少一个实施例中，…”之类的前缀。为了简洁和清楚地呈现，在详细描述中并不重复这个隐含的前缀。
具体实施方式
在本文描述的一些实施例中，无线发射/接收单元(WTRU)可以被用作例如观看客户端、内容服务器、传感器或显示器。
图1A是示出了可以实施一个或多个所公开的实施例的示例通信***100的示图。该通信***100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入***。该通信***100可以通过共享包括无线带宽在内的***资源而使多个无线用户能够接入此类内容。举例来说，通信***100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示，通信***100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用程序(例如远程手术)、工业设备和应用程序(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
通信***100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN 106、因特网110、和/或其他网络112)的任何类型的设备。举例来说，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解。基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。举例来说，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信***100可以是多址接入***，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信***(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信***(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106来接入因特网110。
RAN 104/113可以与CN 106进行通信，其中所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用程序和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN 104/113和/或CN 106可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备***。所述网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，所述其他网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
通信***100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是示出了例示WTRU 102的***图示。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位***(GPS)芯片组136以及其他周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户标识模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0003536674510000161
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动***等等。周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减少和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
鉴于图1A-1B和图1A-1B的相应描述，可以由一个或多个仿真设备(未示出)执行本文关于以下各项中的一者或一者以上描述的功能中的一者或一者以上或全部：WTRU 102a-d、基站114a-b和/或这里描述的任何其他设备(一个或多个)。所述仿真设备可以是被配置为仿真这里描述的功能中的一个或多个或全部的一个或多个设备。例如，所述仿真设备可以用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如，所述一个或多个仿真设备可以执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。所述一个或多个仿真设备可以执行一个或多个或所有功能，同时被临时实现/部署为有线和/或无线通信网络的一部分。所述仿真设备可出于测试目的而直接耦合到另一设备，且/或可使用空中无线通信执行测试。
所述一个或多个仿真设备在不是作为有线和/或无线通信网络的一部分来实现/部署时，可以执行一个或多个功能(这其中包括所有)功能。例如，仿真设备可以在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用经由RF电路(例如，其可以包括一个或多个天线)的直接RF耦合和/或无线通信来发送和/或接收数据。
除了时空压缩方法之外，一类比特率降低方法整体地发送在时间上多路复用的信息的部分。对于CRT显示器，多路复用通过在模拟TV传输中进行隔行扫描图像行而被广泛地应用。另一类压缩算法使用各种预测方法，其通常在传输侧(编码器或服务器)和接收侧(解码器)两者上进行。这些预测可以是空间的(帧内)或时间的(帧间)。
这些算法中的一些已经用于光场。例如，以下论文被理解为描述了光场渲染的主观质量如何受到质量切换和停止(帧冻结)方法以及在传送比特率、光场角分辨率和空间分辨率之间的相关折衷之间的平衡的影响：Kara,Peter A.等人,Evaluation of theConcept of Dynamic Adaptive Streaming of Light Field Video(光场视频的动态适配流式传输的概念的评估),64(2)IEEE Transactions on Broadcasting 407-421(2018)。
通常，将预测编码方法应用于光场的实时传输的方法仍然很少。这些方法的示例在以下关于光场压缩的论文中被讨论：Ebrahimi,Touradj等人,JPEG Pleno:Toward anEfficient Representation of Visual Reality(为了有效地表示视觉现实),23(4)IEEEMultimedia 14-20(2016年10-12月)(“Ebrahimi”)。该提议被理解为描述了现有的多视图编码方法(例如，MPEG HEVC或3D HEVC)可以如何用于光场的压缩。3D HEVC是HEVC的用于支持深度图像的扩展。
光场压缩所做的大部分工作集中在多视图图像阵列型光场格式上，使得光场数据由以变化的视点捕获的整个场景的多个视图组成。在现有的多视图编码标准中，即使当仅观看特定子视图时，通常也需要对所有视图进行解码，如以下文章中所理解的：Sullivan,Gary J等人,Standardized Extensions of High Efficiency Video Coding(HEVC)(高效视频编码(HEVC)的标准化扩展),7(6)IEEE J.Selected Topics in Signal Proc.(2013年12月)。相应地，由于子视图之间的数据依赖性，一次仅解码一个子视图或者并行地解码多个子视图可能是不可能的。
图2是示出了根据一些实施例的用5×5子视图渲染的示例全光场的示意图。在图2中，利用5×5虚拟相机阵列200来渲染全光场。图2示出了具有5×5全视图阵列202的示例多视图光场。
图3A是示出了根据一些实施例的示例小透镜表示的示意图。图3B是示出根据一些实施例的示例性阵列视图的示意图。图3A示出了全小透镜光场表示300和作为全小透镜光场表示300的一部分的区域302的示例。图3A中的示例区域302在图3B中更详细地示出。图3B示出了与示例区域302、350相对应的示例各个子视图352。对于一些实施例，例如图3B中所示的示例，在相同时间点以不同视点拍摄场景的子视图352。
正在出现使得能够自由视点观看视频内容的显示技术。这些显示器所使用的光场产生大量的数据。光场数据的渲染和传输可能成为瓶颈。数据优化可用于避免这种瓶颈。分辨率和帧速率是视频序列的两个方面，其可以适于使得能够经由DASH进行内容流式传输。
许多自适应视频流送设备不使用光场内容的角度方面。可能出现的一个问题是如何将视图适配用于流式传输被表示为交错“小透镜”图像的视频内容中。基于空间分块(tiled)的流式传输提取内容的子集的所有观看方向而不是整个内容的视图的子集的所有观看方向，使得为了获得单个视图，所述图块(tile)承载整个小透镜表示。
图4A-4B是示出了根据一些实施例的小透镜格式的光场数据的示例的示意图。用相机阵列捕获的光场产生多视图格式的光场数据，诸如用变化的视点拍摄的场景的全图像阵列。参见图2中的例子，除了产生高分辨率子视图的照相机阵列之外，在表示光场数据而不是全视图阵列中的一种替代方法例如是产生大得多的数目的子视图，其中每个子视图仅以小图像区域为特征，但是具有更高的角分辨率。在图4A-4B中可以看到这种小透镜光场图像400、450的一些示例。图4A示出了具有一组子视图404的光场区域402。通常，这些小透镜类型的光场是使用捕获设备中的微透镜阵列光学器件产生的。类似的透镜阵列可以用在光场显示设备中，以将光场数据扩展到角域，从而重新创建原始光场的近似。这些类型的光场显示器使用与显示透镜阵列几何结构相对应的小透镜光场图像。小透镜光场格式交错在每一小透镜下的各个视图的样本。例如，Ostendo已经开发了在每个微透镜下支持50×50＝2500个样本的光场显示器。参见例如以下文章：Zahir Alipasian&Hussein El-Ghoroury,Small Form Factor Full Parallax Tiled Light Field Display(小型全视差分块光场显示器),Proceedings of SPIE(2015年3月17日)。术语全光也用于描述该格式，而不是术语小透镜。
在一些情况下，在没有显著数据优化的情况下递送用于这种大量视图的数据可能是不切实际的。通过在压缩(参见Ebrahimi)之前将小透镜光场的内容转换为多视图光场，并且如果需要的话，在接收机中将其转换回小透镜格式，可以优化小透镜光场数据。这种优化是针对多视图视频和图像阵列光场开发的。然而，用于这种转换的处理量和存储器带宽可能使得这种优化不切实际。
有一些文章描述了为小透镜光场开发的专用优化。考虑到如Viola,Irene等人Objective and Subjective Evaluation of Light Field Image CompressionAlgorithms(光场图像压缩算法的客观和主观评价),32nd Picture Coding Symposium(2016)中所理解的，小透镜图像与帧到帧的时空压缩之间存在相似性，这些文章中的许多文章引入了单独的压缩步骤。然而，如果显示设备仅使用一个或几个视点，或者如果可以根据视网膜中央凹(fovea)调整视图保真度，则这些文章中的许多文章不被理解为考虑了光场数据中的冗余。对于一些实施例，如果视觉对象在观看者的视网膜中央凹和/或周边视觉内，则可以调整视觉元素的保真度。
取决于应用，用于压缩光场数据的许多方法可能不是最优的，尤其是在例如客户端视点可以用于引导渲染和优化过程的情况下。为了优化渲染和数据分发，依赖于观看客户端能够估计要使用的数据，可以仅产生和传输全光场数据的最小子集。对于小透镜光场，光场数据可以以实现光场区域上的不均匀光场保真度的方式而被分成单独的流。
光场产生大量数据，并且优化数据产生、存储和传输可能是有帮助的。光场的小透镜格式包括以高角分辨率采样的大量局部视图。局部视图被收集为阵列，其格式可以由用于捕获数据的微透镜阵列或由光场显示器使用的小透镜光学器件来确定。小透镜光场中的每个单个局部视图可与透镜阵列的单个透镜对应。因为小透镜光场格式不同于图像阵列类型的光场，小透镜光场可使用专用方法来优化渲染和传输。
对于一些实施例，通过将小透镜光场数据分成若干子流来优化小透镜光场数据传输。划分成子流使得能够实现自适应流式传输***实现，其减少了为内容递送而发送的光场数据量。
对于一些实施例，内容服务器可以将小透镜光场数据划分成若干子流，从而优化客户端用于合成视图或者在具有特定显示能力的光场显示器上显示光场的光场数据的量。在服务器侧，可以通过估计用于以高质量再现全光场的全小透镜视图的数目来优化小透镜光场数据。优化的小透镜数据可以被分成若干子流，从而使得观看客户端能够选择性地控制全光场区域上的光场质量，同时还使传输的数据量适配于可用的传输带宽和客户端侧处理资源。
在主要实施例中，观看客户端是具有产生具有高角分辨率的图像的透镜阵列的显示设备。这种类型的显示器可以是大型固定光场显示器或单用户光场HMD，例如被理解为由以下文章中公开的那些：Lanman,Douglas和Luebke,David,Near-Eye Light FieldDisplays(近眼光场显示器),32.6ACM Transactions on Graphics(TOG)220(2013)。两种类型的设备都可以使用用户和/或眼睛跟踪，以便调整显示保真度来匹配观看者的视觉感知特性。
一些实施例利用类似于MPEG-DASH的客户端拉取(client-pull)模型来操作，其中服务器向客户端提供指示可用的数据流的清单文件。客户端执行性能分析以确定带宽和处理限制，并相应地调整数据传输。在适配数据传输时，客户端可以基于对用户的跟踪和内容分析来对要拉取的流进行优先级排序并且使感知的体验质量(QoE)最大化。
传输具有每个小透镜的全角信息的全小透镜光场可使用广泛的传输带宽。这些数据中的大部分可能是冗余的，并且可以由接收客户端从更稀疏采样的数据中再现。
此外，如果根据内容特征和观看者的感知特性来动态地调整质量，则观看客户端可以在不减小QoE的情况下将光场渲染的质量调整为在全光场上是不均匀的。
一些实施例使得客户端能够仅拉取小透镜光场数据的一部分以在特定时刻使用，从而减少传输的数据量。此外，因为内容服务器将小透镜光场数据划分成多个子流，所以已经通过减少小透镜视图的数量来优化数据，其中全角数据用于再现全光场。
图5是示出根据一些实施例的用于观看客户端的一组示例接口的***图。对于一些实施例，观看客户端510可与显示器516和一个或多个传感器对接。观看客户端510可包括本地缓存存储器514。对于一些实施例，一个或多个显示器516和一个或多个传感器可以位于本地。对于其它实施例，一个或多个显示器516和一个或多个传感器(诸如跟踪和输入传感器518)可以位于外部。对于一些实施例，观看客户端510可将内容本地存储在本地缓存514中。在一些实施例中，观看客户端510可执行流式传输适配和渲染过程512。观看客户端510可经由网络508(例如，云网络)连接到内容服务器502。对于一些实施例，媒体呈现描述(MPD)文件和空间数据的子采样集合(例如空间数据的各种分辨率和比特率版本)506可以存储在内容服务器502上。对于一些实施例，内容服务器502可以将原始小透镜光场内容504存储在数据库中。
对于一些实施例，内容服务器502可以从小透镜格式504的原始光场内容产生多个子采样集合。除了子采样集合之外，内容服务器502可以产生描述所述原始光场数据以及可用子采样集合的属性的元数据。所述元数据可被存储在被称为用于MPEG-DASH协议的媒体呈现描述(MPD)的描述文件中。
图6是示出了根据一些实施例的典型会话序列的示例过程的消息序列图。图6示出了在典型使用会话中观看者客户端602和内容服务器604之间的通信序列。对于一些实施例，内容服务器604可以渲染606小透镜光场子采样集合和映射元数据，并且可以生成610MPD。观看客户端602可以向内容服务器604发送608内容请求，并且内容服务器604可以发送回610MPD文件。对于一些实施例，内容服务器604可以将光场内容划分成一个或多个光场区域。观看客户端602可以为每个光场区域选择612子采样集合。观看客户端602可向内容服务器604请求614子采样集合，并且内容服务器604可发送616被重新打包为更小密集光场的视频序列的子采样集合和映射元数据。观看客户端602可更新618用户视点，并从接收到的数据再现全小透镜光场，其中考虑了光场数据的时间变化性。观看客户端可建立620视点运动的运动模型并预测下一个时间步长的视点位置。观看客户端可基于预测的视图位置和性能度量来分析622内容，并且可调整子采样集合请求。
对于一些实施例，内容服务器可以向观看客户端发送描述光场视频内容的多个部分的多个子采样小透镜表示的媒体清单文件。对于一些实施例，内容服务器可以从观看客户端接收指示从所述多个子采样小透镜表示中选择的子采样小透镜表示的信息。对于一些实施例，所述内容服务器可以向观看客户端发送所选择的子采样小透镜表示
图7A-7B是示出根据一些实施例的内容服务器过程的示例过程的流程图。在小透镜光场格式中，对于每个小透镜，具有角度变化的视图被交错。角分辨率的交错特性使得利用小透镜格式难以在角分辨率上进行适配。然而，由于小透镜密度和空间分辨率之间的直接关系，可以调整空间分辨率。对于一些实施例，内容服务器将整个小透镜光场划分为较小子区域并且以多种采样率对每个子区域的小透镜数据进行子采样以产生多个子采样子集，请求数据的客户端可以选择该多个子采样子集以便使数据流适配每个客户端约束和要求。
本文进一步描述了小透镜光场视频的示例预处理和渲染以实现自适应流式传输。此外，这里进一步描述了MPD中包含的用于将光场规范和可用子集从服务器传送到连接客户端的示例结构和数据。除了光场数据处理和专用元数据格式之外，内容服务器可以例如类似于使用MPEG-DASH类型的自适应内容分发向客户端递送数据的视频内容服务器来操作。图7A-7B示出了由内容服务器执行的示例处理。
所述服务器过程可以执行内容预处理，其中服务器产生多个光场数据子集和描述该子集的元数据。该过程的第一步是选择702全小透镜光场规范。服务器可以产生要流式传输的光场数据，例如，从以下产生：现有小透镜光场708、图像阵列光场或从全3D格式的空间数据704，诸如实时3D场景或点云。服务器可以确定706是否要使用原始输入小透镜光场。对于图像阵列光场和全3D场景，服务器将所述数据渲染和/或变换为710小透镜格式。为了渲染和/或变换710所述数据，服务器使用特定的小透镜光场规范，该光场规范可以在第一时间步长上被选择712和/或被设置，并且可以被保存到MPD。对于现有的小透镜光场，所述规范可以被收集并保存到MPD。可确定712所述全小透镜光场的区域划分。可确定714将在区域内使用的采样，且可产生716具有所选择的采样的子采样集合。本文中进一步更详细地描述子采样集合产生的这个示例过程。
所产生的子采样集合718可以被压缩和存储720，以准备用于流式传输。可以利用适当的现有编码器针对流式传输视频格式来压缩视频文件的子采样集合和元数据722，并且可以使用变化的压缩和分辨率来产生各种版本。在MPD中收集了关于所产生的子采样集合版本的信息。
如果服务器已经产生了可以流式传输到观看客户端的子采样集合，并且如果服务器已经将关于小透镜光场规范和可用子采样集合的信息编译(或收集724)到MPD 726，则服务器可以准备响应于客户端请求而将内容流式传输到客户端。服务器可以切换到运行时(run-time)模式(主要是图7B)并等待752客户请求。如果客户端连接并请求内容，则MPD被传输754到客户端。客户端可以基于所述MPD，选择请求流式传输所述内容的哪些部分。对于一些实施例，流式传输756可以继续直到请求了会话结束758。对于一些实施例，所述运行时过程继续，直到请求了处理的结束760，此时过程可结束762。
对于一些实施例，内容服务器过程可以包括：对全小透镜数据集进行子采样以得到多个稀疏采样的区域；产生指定原始小透镜数据属性和可用子样本集的媒体呈现描述(MPD)，等待内容请求，将MPD发送到请求内容的客户端，以及将所请求的子样本集合流式传输到客户端。
对于一些实施例，可以为小透镜表示选择一子采样率。对于一些实施例，可以选择光场空间分辨率，并且可以将光场内容划分成对应于所选择的光场空间分辨率。
图8是示出了根据一些实施例的被划分为多个区域的示例性全小透镜光场的示意图。对于一些实施例，在内容服务器以自适应小透镜格式分发光场数据之前，对光场数据进行预处理。在预处理中，所述小透镜光场可以被划分为多个区域，并且可以针对每个区域产生子采样集合。对于每个区域，可以存在可用的光场数据的多个版本，使得客户端可以以非均匀保真度请求光场的各个部分的光场数据。
图8示出了被分成若干区域的全小透镜光场帧。例如，可以进行区域划分，使得在单个区域中有预定数量的各个小透镜子视图，或者可以进行划分，使得有预定数量的区域。对于一些实施例，可以使用非均匀区域大小来完成所述划分，或者可以动态地指派区域大小或面积，并且可以基于例如内容分析来指派。对于图8所示的例子，所述全小透镜光场帧被分成7×7的区域阵列802，并且在每个区域中，存在6×4的小透镜子视图阵列804。
图9A-9C是示出了根据一些实施例的在第一时间步长具有变化子采样密度的示例性子采样集合的示意图。图10A-10C是示出了根据一些实施例的在第二时间步长具有变化子采样密度的示例子采样集合的示意图。
如果内容已经被划分成多个区域，则内容服务器可以产生用于该多个区域的子采样集合。内容服务器可以产生光场内容的若干版本，其中每个区域的光场数据的子采样密度不同。可以通过减少与数据一起包括的各个小透镜子视图的数目，从而从全光场数据中省略所述子视图中的一个或多个，来产生子采样集合。对于给定的子采样密度，要存储的小透镜子视图的数量是固定的。实际小透镜的位置可以在整个小透镜光场视频中改变(或具有时间变化)或可以是固定的。选择子采样集合中包括的小透镜位置可以基于子视图分析，该子视图分析估计哪些子视图可以用于被省略的子视图的最准确内插。该分析可以逐帧进行，这可以引起在所述子采样集合中使用的子视图位置的动态变化。
图9A-9C和10A-10C示出了被选择为包括在子采样集合中的小透镜子视点位置，该子采样集合在两个不同的时间步长具有三个不同的采样密度和位置。图9A和10A分别示出了在第一和第二时间步长的子采样集合902、904的示例，其具有1/6子采样密度的子视图904、1004。图9B和10B分别示出了在第一和第二时间步长的子采样集合932、1032的示例，其具有3/8子采样密度的子视图934、1034。图9C和10C分别示出了在第一和第二时间步长上的子采样集合的示例，其具有1/2子采样密度的子视图964、1064。
图11A-11C是示出根据一些实施例的被选择用于打包为密集积分图像的子采样集合的示例子视图的示意图。图11A示出了子采样集合1102的示例，其具有被打包为密集积分图像的1/6子采样密度的子视图1104。图11B示出了子采样集合1132的示例，其具有被打包为密集积分图像的3/8子采样密度的子视图1134。图11C示出了子采样集合1162的示例，其具有被打包为密集积分图像的1/2子采样密度的子视图1164。
为子采样集合选择的子视图可以被重新布置成密集阵列，形成密集积分图像，但是具有减少数量的子视图。对于每个子采样集合，由所打包的子视图形成的各个帧可以与元数据文件一起被编译到视频文件中，该元数据文件指示所打包的积分图像小透镜位置到原始小透镜光场积分图像中的原始小透镜子视图位置的映射。映射元数据可被编译成MPD，作为每个表示块的一部分以指示子采样集合的映射。此外，元数据头部可以指示针对可用子采样集合的特定分辨率的小透镜大小。列表1示出了根据一些实施例的将打包的子采样2×2阵列(图11A)映射到原始图像(图9A和10A)的示例元数据。对于该示例，利用原点在右上角的x-y坐标系(x，y)来给出位置。
分辨率1
按照像素的各个样本大小:n1 x m1像素
分辨率2
按照像素的各个样本大小:n2 x m2像素
时间步长1
打包位置1,1原始位置1,1
打包位置2,1原始位置5,2
打包位置1,2原始位置2,3
打包位置2,2原始位置6,4
时间步长2
打包位置1,1原始位置4,1
打包位置2,1原始位置3,2
打包位置1,2原始位置5,2
打包位置2,2原始位置5,3
列表1.映射元数据
一些实施例可以使用子采样模式来简化对样本位置的描述。例如，映射元数据可以指示时间步长和子采样模式，而不是指示各个小透镜样本从打包格式到原始完整小透镜阵列的映射。可以在映射元数据的头部中标识规则的子采样模式以及各个样本像素大小配置。
可以使用其它视频格式和编解码器来编码和压缩从子采样集合编译的视频文件。对于一些实施例，可以产生具有不同分辨率的子采样集合视频文件的若干版本。降低小透镜积分图像的分辨率有效地降低了可从数据重构的光场的角度和空间分辨率。
图12是示出了根据一些实施例的示例MPEG-DASH媒体呈现描述(MPD)的数据结构图。客户端拉取模型可以使用图12中所示的MPEG-DASH媒体呈现描述(MPD)的一般结构，因为用于发送总体媒体描述的文件格式可以由观看客户端下载以初始化流式传输会话。
图12是示出了根据一些实施例的示例MPEG-DASH媒体呈现描述(MPD)的数据结构图。图12示出了MPEG-DASH媒体呈现描述(MPD)文件的结构。该文件格式可用于由内容服务器向观看客户端发送的MPD。对于一些实施例，可以发送MPD文件以开始流式传输会话的初始化。所述MPD文件1202可以包括作为顶层实体的一个或多个时段(period)1204、1226。时段1204、1226可以包括内容的开始时间和持续时间。每个时段提供关于单个小透镜光场场景的信息，例如使用固定相机位置和/或光场规范的光场。整个用户体验可包括若干场景，其中每一场景对应于一时段块。
所述时段1204、1226可包括一个或多个适配集1206、1224。第一适配集1206可以列出针对光场的每个区域的每个可用的小透镜光场子采样集合。在描述为每个区域创建的子采样集合的总体结构的第一适配集1206之后，第二和后续适配集1224可以指示关于每个区域的子采样集合的细节。
许多适配集1206、1224可以包含媒体流。适配集1206、1224可包含一或多个表示1208、1222。表示1208、1222可以包括内容的一个或多个编码，例如720p和1080p编码。表示1208、1222可以包括一个或多个片段1210、1220。片段1210、1220是媒体播放器(或观看客户端)可以用来显示内容的媒体内容数据。片段1210、1220可以包括一个或多个子片段1216、1218，其通过表示字段来表示子表示1212、1214。子表示可以包含应用于特定媒体流的信息。
图13是示出了根据一些实施例的具有示例小透镜光场描述(一个或多个)、子采样集合、分辨率和比特率的示例媒体呈现描述(MPD)的数据结构图。图13示出了如何在MPEG-DASH一般MPD结构中组织MPD 1302数据。
在时段1304、1346之后的下一级层次是小透镜光场规范1306。光场规范1306可以指示：全小透镜光场到多个区域的划分、每个区域中的各个小透镜图像、小透镜的空间和角分辨率、小透镜光场捕捉和/或渲染设置的位置和测量、以及场景布局的概览、场景元素的大小和放置。
每个子采样集合1308、1340、1342可以具有元数据1338，其描述了视频文件中密集打包的子采样小透镜图像位置与原始全小透镜光场中的小透镜位置之间的映射。在每个子采样集合1308、1340、1342中，可以提供以不同方式编码的相同数据的多个版本。每个版本可以具有不同的分辨率1310、1312，并且不同的分辨率版本1310、1312可以使用具有不同比特率1314、1316、1318或不同的所支持的编解码器的压缩提供相同的分辨率内容。
图13中称为比特率1314、1316、1318的每一编码版本提供到视频文件的链接，其中子采样小透镜图像可被重新打包为密集小透镜光场。每个视频文件可以在时间上被划分成子片段，从而使得客户端能够在单个时段内在不同版本之间切换。MPD的子片段块可提供到实际视频数据的URL链接1326、1328、1330、1332、1334、1336。这些URL可以与时间步长1320、1322、1324相关联。一些时段1304、1346可以包括音频数据1344。
将图12和13关联在一起，子采样集合可以对应于MPEG-DASH适配集，并且在给定子采样集合下的分辨率可以对应于MPEG-DASH表示和片段。对于一些实施例，媒体块可以对应于MPEG-DASH表示，并且时间步长可以对应于子表示。
图14是示出了根据一些实施例的示例小透镜阵列重构过程的过程图。图14示出了由诸如观看客户端之类的客户端执行的示例过程。对于一些实施例，用户启动实现所述观看客户端的应用程序，并且由观看客户端执行过程。如果用户启动所述应用程序，则用户可以指示要观看的内容。对于一些实施例，内容可以作为到驻留在内容服务器上的内容的链接来传送。到内容的链接可以是标识所述内容服务器和特定MPD文件的URL。观看客户端应用程序可由例如用户的显式命令启动，或由操作***基于标识内容类型请求和与特定内容类型相关联的应用程序来自动启动。对于一些实施例，所述应用程序是独立应用程序。对于一些实施例，观看客户端可与web浏览器或社交媒体客户端集成。对于一些实施例，所述应用程序可以是操作***的一部分。
如果启动观看客户端应用程序，则该应用程序可以初始化用于跟踪设备、用户和/或用户的注视方向的传感器(例如，地理位置和成像传感器)。基于显示器规范、跟踪设置和应用程序专用设置，观看客户端可确定要向服务器请求的初始子采样集合。对于一些实施例，跟踪诸如HMD、用户(诸如对于独立显示器的使用)和/或用户的眼睛之类的设备可以用于确定用户的注视方向。对于一些实施例，注视方向可以用于确定哪些内容区域被用户的视网膜中央凹看到以及哪些内容区域在用户的周围视觉中被看到。对于一些实施例，这样的确定可以用于控制保真度水平和流式传输的适配。
如果已经请求了所选择的子采样集合，则客户端可以下载相关联的视频和元数据，并且从服务器顺序地下载子片段。如果已经接收到第一子片段，则客户端可以开始运行时操作。在运行时，客户端可以基于所述跟踪和用户输入(例如，用户利用用户接口控件调整视点)来更新视点。使用更新的视点，客户端可以根据接收的数据，将光场渲染为显示器特定格式。
对于一些实施例，在图14中示出了用于示例2×2阵列子采样集合1410的示例渲染过程。客户端可以接收1402所述子采样集合1410和集合特定映射元数据1412。在一些实施例中，客户端可以使用该子采样集合特定映射元数据1412来将小透镜图像从接收到的子采样子片段映射到1404、1406到全小透镜光场1414的小透镜位置。对于一些实施例，可以通过在接收的小透镜图像之间内插1408来重构从接收的子采样集合缺失的小透镜图像1416，以产生例如小透镜图像1418的全小透镜光场，如图14的示例过程所示。在一些实施例中，在渲染中产生的全小透镜1420可以具有例如与服务器最初用于创建所述子采样集合的原始小透镜光场不同的规格。例如，观看客户端可以在渲染过程中产生与显示设备规格相对应的小透镜光场。
对于一些实施例，客户端可以接收一打包子采样集合和映射元数据。可以根据元数据中指示的正确时间步长映射，将各个小透镜样本从打包位置变换到原始小透镜阵列中的原始小透镜位置。对于一些实施例，从子采样集合中省略的小透镜样本可以通过从所传送的样本进行内插来重构。对于一些实施例，可通过针对帧中的每一光场区域，重复此过程来产生全小透镜光帧。在一些实施例中，重构的全小透镜光帧可由观看客户端显示。
对于一些实施例，使用清单文件中的关于小透镜表示的描述从检索到的子采样小透镜表示内插视图可以包括：将检索到的子采样小透镜表示拆包到所述清单文件中指示的光场视频内容的部分的原始小透镜位置；以及内插从检索到的子采样小透镜表示中省略的小透镜样本。对于一些实施例，从检索到的子采样小透镜表示内插视图生成所述光场视频内容的一部分的完整光场区域图像。
图15是示出了根据一些实施例的用于观看客户端的示例过程的流程图。在运行时过程期间，客户端可以适配对于子采样集合的选择。根据该示例，客户端可以逐个区域地决定要拉取哪些和多少个子采样集合以及以什么分辨率和压缩质量拉取光场。对于一些实施例，可以针对每个区域使用不同的压缩质量和不同的压缩技术。对于一些实施例，可以根据视点运动、内容复杂度、显示能力、当前网络和处理性能或任何其它本地标准来进行所述选择。
对于一些实施例，示例观看客户端过程可以包括从内容服务器请求1502内容。观看客户端可在响应中接收1504MPD。观看客户端可以初始化1506跟踪(其可以包括例如眼睛跟踪、注视跟踪、用户跟踪和/或设备跟踪)。对于一些实施例，可以设置初始视点。观看客户端可选择1508要请求的初始子采样集合，并向内容服务器请求1510这些所选子采样集合。可由观看客户端从内容服务器接收1512所请求的子采样集合和映射元数据。可更新所述视点1514。观看客户端可将所接收的小透镜子采样集合从分组传输格式拆包为全小透镜图像，这可通过使用指示全小透镜图像(或一些实施例的帧或区域)中的原始位置的映射元数据进行。缺失的小透镜样本可被内插，并且保真度可基于当前视点来适配。对于一些实施例，如果内插所缺失的小透镜样本，则可以调整观看区域的分辨率。对于一些实施例，如果该区域不在视网膜中央凹区域中，则可以以较低的空间分辨率来完成该区域的原始全小透镜光场的重构。全小透镜光场图像可被渲染和显示1516。可以基于跟踪数据(其可以包括眼睛跟踪、注视跟踪、用户跟踪和/或设备跟踪)、用户输入、内容分析和/或性能度量来更新1518子采样集合选择。对于一些实施例，基于通过所述跟踪检测到的注视方向，可以将更远离视网膜中央凹的区域设置为具有较低的子采样率。对于一些实施例，基于用户输入或性能度量，所有区域的子采样率可以被调整为更低或更高。如果没有接收到1520的处理的结束，则可以通过请求子采样集合的更新的选择来重复观看客户端过程。否则，过程结束1522。
对于一些实施例，观看客户端可更新用户的视点；并且可以针对更新后的视点，调整所选择的小透镜表示。对于一些实施例，观看客户端可预测用户的视点改变；并且可以针对预测视点，调整所选的小透镜表示。对于一些实施例，观看客户端可以选择用于所选择的小透镜表示的子采样率，使得该子采样率使用所述预测视点。例如，如果用户视点改变为当前视点左边的点，则光场图像的更靠近新视点的区域可以具有增加的关联子采样率，以在新视点周围的区域中生成更高质量的图像。同样，远离新视点的区域可以具有减小的相关联的子采样率。对于一些实施例，可以调整光场空间分辨率以改进内插视图的性能度量。例如，对于更靠近用户视点的区域和区域的部分，空间分辨率可以增加，而对于更远离当前视点的区域和区域的部分，空间分辨率可以减小。这些改变可以导致例如在当前用户视点周围的区域中的更高的用户满意度、更高的图像分辨率和/或更高的小透镜密度。
图16A是示出根据一些实施例的示例多视图阵列表示的示意图。图16B是示出了根据一些实施例的示例性全小透镜表示的示意图。Ebrahimi的测试数据集m41995用于图16A至18B。图16A和16B中分别示出了样本内容的两个等效表示：多视图(多视图阵列表示1602)和小透镜(全小透镜表示1652)。对于图16B，多个视图是每像素交错的。
图17A是示出根据一些实施例的具有所图示的ROI的示例多视图阵列表示的示意图。图17B是示出了根据一些实施例的具有所图示的ROI的示例性全小透镜表示的示意图。感兴趣区域(ROI)1704、1754被示为每个表示1702、1752的中心处的小虚线矩形。图17A和17B分别示出了样本内容的两个等效表示：多视图和小透镜。如果客户端想要有限的感兴趣区域(ROI)，则可在MPD中指示该有限的ROI。
图18A是示出了根据一些实施例的具有所图示的ROI和所选择的视图的示例多视图阵列表示的示意图。图18B是示出了根据一些实施例的具有所图示的ROI的示例性全小透镜表示的示意图。图18A和18B分别示出了样本内容的两个等效表示：多视图1802和小透镜1852。针对图18A的多视图阵列示出了有限的所选择的视图。在图18A中，所选择的视图被示为虚线ROI矩形1804，并且未选择的视图被示为实线ROI矩形1806。图18B示出了具有虚线ROI矩形1854的所选择的视图。如果客户端想要与小透镜表示的子采样相对应的有限数量的视图(例如，仅虚线ROI矩形)，则可以在MPD中指示该有限数量的视图。
图19是示出了根据一些实施例的用于选择小透镜视图的示例子采样过程的过程图。图18A-18B中示出了关于视图子集的指示。未示出小透镜表示以避免关于交错的混淆。图19中示出了相应的ROI裁剪和子采样。
在图19的左侧，示出了具有425×425个样本的全图像1902。在全图像1902的中心示出了感兴趣区域(ROI)1904。从全图像1902提取ROI 1904。对于该示例，ROI 1904的左上角在坐标(200,200)处，并且ROI 1904的右下角在坐标(325,325)处。裁剪后的图像1906具有125×225个样本。将裁剪图像1906分割成5个垂直区域和5个水平区域(总共25个区域)。对裁剪后的图像1906进行子采样以限制视图，并且子采样集合1908是具有1个垂直区域和3个水平区域(总共3个区域)的25×133个样本。
根据一些实施例，在列表2中示出了给出不同ROI和小透镜采样选项的样本MPD。该列表示出了三个不同的LF小透镜适配集：全、中心和左。针对每个不同的集合表达小透镜视图的范围。注意，对于给定的总分辨率，较少的视图给出了每个视图更多的像素。注意，子范围可以重叠，从而给出不同的表示。除范围之外，还指定小透镜密度。仅水平方向由[N，1]密度指定。传统的DASH速率和分辨率适配可以在每个视图类别内使用。在“中心”适配集中示出了UHD/HD的示例。列表2中所示的MPD示例对应于图19中所示的子采样过程。
Figure BDA0003536674510000351
列表2.示例MPD列表
MPD可以包括整个光场小透镜表示的细节(诸如NxM视图位置)。对
应于有限水平和垂直范围的子集可在MPD中被指示。MPD内的适配集可以包括多个小透镜表示子集，其具有变化的小透镜表示角位置和范围。
对于一些实施例，在自适应流的上下文中，内容服务器可以准备相对于整个场景减小的内容的版本。减小可以包括有限的图像ROI和有限数量的观察方向。观看客户端可将其选择基于包括例如显示能力、观看者注视和带宽的多个因素。
小透镜子视图的数量和细节可以取决于显示器的期望特性。实现简单多视图表示的显示器可以选择很少的稀疏小透镜视图。能够通过原生多视图或观看者跟踪而提供平滑运动视差的显示器可以选择中等密度的小透镜视图。提供自然聚焦提示的显示器可以使用高小透镜密度。对于另一示例，如果显示器仅提供在水平方向上不同的视图，诸如在lookingglassfactory<dot>com可获得的观看玻璃显示器，则可选择仅水平视差的表示。
对于一些实施例，可以基于当前或预测的观看者注视来选择ROI。此选定ROI可与个别流的显式ROI表示一起使用，或可经由小透镜图像的基于分块的流式传输而被启用。通常，可以以观看者注视的位置为中心选择高密度小透镜数据，而可以远离观看者注视的位置选择较低密度小透镜或平面2D数据。
自适应流式传输***可以使用带宽的测量来在内容的不同分辨率或比特率表示中进行选择。对于流式传输小透镜内容，除了上述显示能力之外，带宽限制可能导致客户端选择较低小透镜密度，客户端能够依赖于视图内插来生成未被传输的中间视图。因此，小透镜密度是适应空间分辨率的附加因素。
对于一些实施例，观看客户端可以使用客户端的能力来选择小透镜表示。例如，观看客户端可以选择具有较高分辨率图像的小透镜表示，因为观看客户端的显示器能够处理较高分辨率图像。其它示例包括比特率、可用带宽、要消耗的带宽以及观看客户端的显示器所支持的最大小透镜密度。对于一些实施例，选择子采样小透镜表示可包括：选择具有高于客户端支持的阈值的密度的子采样小透镜表示。
图20是示出了根据一些实施例的具有425×425个样本和5×5个视图的示例全小透镜图像的图像图示。图20中的示例是全小透镜图像2002。如上文关于使用观看者注视用于特定微透镜流所提到的，基于分块的流式传输可以用于一些实施例，使得可以产生微透镜密度不同的多个内容表示。每个表示是场景的整个图像，但是被分解为用于分发的图块。客户端可以选择观看者注视点周围的图块以用高小透镜密度来表示，并且选择观看者注视点区域之外的图块以用较低小透镜密度来表示，诸如平面2D表示。对于一些实施例，流可以不使用ROI声明，依赖于分块来解决有限的ROI，但是对于具有不同小透镜密度的流，可以提供ROI。图20-23中示出了可以用作自适应流式传输的源的全子采样小透镜图像。图20示出了具有425×425个样本和5×5个视图的示例全小透镜图像。
图21是示出根据一些实施例的具有255×255个样本和3×3个视图的示例子采样小透镜图像的图像图示。图21是图20的示例子采样版本2102。
图22是示出根据一些实施例的具有255×85个样本和1×3个视图的示例子采样小透镜图像的图像图示。图22是图20的示例子采样版本2202。
图23是示出根据一些实施例的具有85×85个样本和1×1个视图的示例子采样小透镜图像的图像图示。图23是图20的示例子采样版本2302。
根据一些实施例，在列表3的示例MPD中基于小透镜密度来描述图21至图23中所示的不同小透镜密度的各个表示。在一密度内，可存在分辨率和比特率表示。客户端可以基于先前概述的标准来选择用于不同小透镜密度表示的图块。
Figure BDA0003536674510000381
列表3.具有不同小透镜密度表示的示例MPD
图24A-C是示出根据一些实施例的以两个子采样密度子采样的示例小透镜光场的示意图。图24A示出了被分成区域2402的7×7阵列的全小透镜光场图像。例如，示出了区域10：小透镜子视图的6×4阵列2404。图24B示出了具有1/6子采样密度的第一子采样集合2432。图24C示出了具有3/8子采样密度的第二子采样集合2462。
对于图24A-24C中所示的示例性小透镜光场，根据一些实施例，伪MPD可具有列表4中所示的结构。该伪MPD描述了适配集1块中的光场结构。适配集22和23描述了区域10的两个不同的采样集。图24B对应于适配集22下的示例性时间步长1。图24C对应于适配集23下的示例时间步长1。对于这两个示例，(x，y)坐标使用左上角的原点。下面列出的示例编解码器具有用于编解码器的不同名称，尽管具有不同名称的编解码器可以使用相同的编解码器(例如，下面示出的“编解码器5”和“编解码器4”可以使用相同的编解码器)。
时段
适配集1:光场场景描述:
全小透镜光场分辨率,区域定义,区域规范:原始分辨率,小透镜图像的数量及位置,小透镜图像的角分辨率.关于区域及每个区域可用的子采样集合的列表.
...
适配集22:区域10,子采样集合1(2 x 2小透镜采样)
映射元数据:包含将小透镜图像从子采样集合的打包小透镜光场映射到全小透镜光场中的原始小透镜图像位置的时间标记坐标变换的文件.数据的伪示例:
分辨率1
按照像素的各个样本大小:16 x 16像素
分辨率2
按照像素的各个样本大小:12 x 12像素
时间步长1
打包位置1,1原始位置6,1
打包位置2,1原始位置2,2
打包位置1,2原始位置5,3
打包位置2,2原始位置1,4
时间步长2
打包位置1,1原始位置4,1
打包位置2,1原始位置3,2
打包位置1,2原始位置5,2
打包位置2,2原始位置5,3
...
分辨率1:1024 x 768px
比特率1:利用编解码器5进行编码,需要传输容量5
Mbps
比特率2:利用编解码器4进行编码,需要传输容量4
Mbps
分辨率2:800 x 600px
比特率1:利用编解码器3进行编码,需要传输容量3
Mbps
比特率2:利用编解码器2进行编码,需要传输容量2
Mbps
适配集23:区域10,子采样集合2(3 x 3小透镜采样)
映射元数据:包含将小透镜图像从子采样集合的打包小透镜光场映射到全小透镜光场中的原始小透镜图像位置的时间标记坐标变换的文件.数据的伪示例:
分辨率1
按照像素的各个样本大小:15 x 15像素
分辨率2
按照像素的各个样本大小:11 x 11像素
时间步长1
打包位置1,1原始位置1,1
打包位置2,1原始位置3,1
打包位置3,1原始位置5,1
打包位置1,2原始位置2,2
打包位置2,2原始位置6,2
打包位置3,2原始位置3,3
打包位置1,3原始位置5,3
打包位置2,3原始位置1,4
打包位置3,3原始位置6,4
时间步长2
打包位置1,1原始位置2,1
打包位置2,1原始位置4,1
打包位置3,1原始位置5,1
打包位置1,2原始位置4,2
打包位置2,2原始位置6,2
打包位置3,2原始位置1,3
打包位置1,3原始位置4,3
打包位置2,3原始位置6,3
打包位置3,3原始位置5,4
...
分辨率1:1920 x 1080px
比特率1:利用编解码器9进行编码,需要传输容量9
Mbps
比特率2:利用编解码器8进行编码,需要传输容量8
Mbps
分辨率2:1280 x 720px每子视图
比特率1:利用编解码器6进行编码,需要传输容量6
Mbps
比特率2:利用编解码器5进行编码,需要传输容量5
Mbps
...
列表4.示例MPD
对于一些实施例，关于小透镜表示的描述(其可以是MPD或清单文件的一部分)可以包括关于小透镜表示的范围和密度中的至少一个的信息。对于一些实施例，从子采样小透镜表示内插视图可以使用所述清单文件中的关于小透镜表示的描述。对于一些实施例，选择子采样小透镜表示包括选择具有最大范围的子采样小透镜表示。对于一些实施例，选择子采样小透镜表示包括选择具有最高密度的子采样小透镜表示。对于一些实施例，选择子采样小透镜表示基于以下中的至少一个来选择子采样小透镜表示：所选择的子采样小透镜表示的密度，或所选择的子采样小透镜表示的范围。
对于一些实施例，一种过程可以包括选择光场空间分辨率；将所述光场内容划分成与所述光场空间分辨率相对应的多个部分；以及为所述光场内容的至少一部分的至少一个子采样小透镜表示的至少一帧选择小透镜图像，使得选择子采样小透镜表示为所述光场内容的至少一部分选择相应子采样小透镜表示，并且使得从所述子采样小透镜表示内插视图使用所述相应小透镜图像。
图25是示出了根据一些实施例的用于使用估计带宽和视图内插的自适应光场流式传输的示例过程的消息序列图。对于一些实施例，示例过程可以包括内容服务器2502生成2506子采样小透镜表示和描述性MPD。对于一些实施例，示例过程还可以包括观看客户端2504跟踪2508观看者注视(或用户位置、设备位置或眼睛位置)。对于一些实施例，示例过程还可以包括客户端2504向内容服务器2502发送2510内容请求。对于一些实施例，示例过程还可以包括内容服务器2502利用MPD进行响应2512。对于一些实施例，示例过程还可以包括客户端2504估计2514可用于和/或预测将由所请求的内容使用的带宽。对于一些实施例，估计带宽可以包括确定可用于流式传送光场视频内容的估计带宽。对于一些实施例，示例过程还可以包括观看客户端2504选择2516小透镜表示。对于一些实施例，示例过程还可以包括观看客户端向内容服务器2502发送2518光场表示请求。对于一些实施例，示例过程还可包括内容服务器2502检索2520并将所请求的表示片段传送2522到观看客户端2504。对于一些实施例，示例过程还可包括观看客户端2504内插2524所述内容的视图以填充未被传送给观看客户端的视图。对于一些实施例，示例过程可进一步包括观看客户端2504显示2526用于全光场图像和/或帧的光场。
对于一些实施例，选择小透镜表示(其可以是子采样小透镜表示)可以基于以下中的至少一个：用户的视点、估计带宽或观看客户端的显示能力。对于一些实施例，观看客户端可以检索描述光场视频内容的多个小透镜表示的媒体清单文件；并且可以显示一组内插视图。对于一些实施例，观看客户端可以确定客户端与服务器之间的估计带宽，其中选择所述小透镜表示可以使用所述估计带宽。对于一些实施例，观看客户端可以确定可用于流式传输光场视频内容的估计带宽，使得选择小透镜表示可以选择所述多个小透镜表示中具有小于估计带宽的内容大小的一个小透镜表示。对于一些实施例，观看客户端可以跟踪用户的注视方向，使得选择小透镜表示可以使用用户的注视方向。对于一些实施例，观看客户端可以估计可用于流式传输光场视频内容的带宽，使得选择子采样率使用所估计的可用带宽。对于一些实施例，观看客户端可以确定多个子采样小透镜表示中的每个子采样小透镜表示的相应最小支持带宽。观看客户端可以选择具有小于所述估计带宽的最大最小支持带宽的子采样小透镜表示。对于一些实施例，选择子采样小透镜表示包括选择对于位于用户的注视方向的阈值内的光场内容的部分具有高于阈值的密度的子采样小透镜表示。例如，光场图像的更靠近用户的注视的部分可以用子采样表示来表示，该子采样表示具有比光场图像的更远离用户的注视的部分更高的光密度。对于一些实施例，选择子采样小透镜表示包括：选择针对光场内容的位于预测视点的阈值内的部分具有高于阈值的密度的子采样小透镜表示。
对于一些实施例，观看客户端可以针对光场内容的每个部分的每个子采样小透镜表示的每个帧，选择小透镜图像，使得从多个小透镜表示中选择小透镜表示针对光场内容的每个部分选择相应的子采样小透镜表示，并且使得从子采样小透镜表示内插视图使用相应的小透镜图像。对于一些实施例，选择小透镜图像可以从多个小透镜图像中选择产生最佳内插结果的小透镜图像。对于一些实施例，选择小透镜图像可以基于与内插结果的质量相对应的参数从多个小透镜图像中选择小透镜图像。对于一些实施例，用户的视点可以被预测(例如，由观看客户端基于跟踪的观看者注视进行预测)。对于一些实施例，可以确定估计带宽所支持的估计最大内容大小。可选择子采样小透镜表示，使得该表示具有小于估计的最大内容大小的内容大小。对于一些实施例，可以基于用户的预测视点来调整所选择的小透镜表示。
图26是示出了根据一些实施例的用于观看客户端的示例过程的流程图。对于一些实施例，示例过程可以包括：检索2602描述光场视频内容的多个小透镜表示的媒体清单文件。对于一些实施例，示例过程还可以包括：估计2604可用于流式传输光场视频内容的带宽。对于一些实施例，示例过程还可以包括：从所述多个小透镜表示中选择2606一小透镜表示。对于一些实施例，示例过程还可以包括：检索2608所选择的子采样表示。对于一些实施例，示例过程还可以包括：使用所述清单文件中的关于所述小透镜表示的所述描述从所述小透镜表示内插2610个视图。对于一些实施例，示例过程还可以包括：显示2612所内插的视图。
对于一些实施例，检索媒体清单文件可以包括：从服务器请求光场视频内容。对于一些实施例，检索所选择的子采样表示可以包括：请求所选择的子采样表示并接收该子采样表示。对于一些实施例，检索所述子采样表示可从服务器检索所述子采样表示。对于一些实施例，另一示例过程可以包括：从媒体清单文件中描述的光场内容的部分的多个小透镜表示中选择小透镜表示；从服务器检索所选择的小透镜表示的子采样小透镜表示；以及从所述子采样小透镜表示内插视图。对于一些实施例，示例方法可以包括：流式传输光场视频内容的光场小透镜表示；以及改变所述光场小透镜表示的分辨率。对于一些实施例，示例方法可以包括：从光场内容的部分的多个小透镜表示中选择一小透镜表示；检索所选择的小透镜表示的子采样小透镜表示；以及从该子采样小透镜表示内插视图。对于一些实施例，一种装置可包含处理器和存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行上文所描述的方法中的一者或多者。
图27是示出了根据一些实施例的用于观看客户端的示例过程的流程图。对于一些实施例，示例过程可以包括从服务器接收2702描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件。对于一些实施例，示例性方法还可以包括从所述多个子采样小透镜表示中选择2704一子采样小透镜表示。对于一些实施例，示例过程还可以包括从服务器检索2706所选择的子采样小透镜表示。对于一些实施例，示例过程还可以包括使用所述清单文件中的关于所选子采样小透镜表示的描述，从检索到的所选子采样小透镜表示内插2708视图。对于一些实施例，所述示例过程可进一步包含显示2710所内插的视图。
虽然在虚拟现实(VR)的上下文中讨论了根据一些实施例的方法和***，但是一些实施例也可以应用于混合现实(MR)/增强现实(AR)上下文。此外，尽管根据一些实施例在本文中使用术语“头戴式显示器(HMD)”，但是对于一些实施例，一些实施例可以应用于能够例如VR、AR和/或MR的可穿戴设备(其可以附接到头部或者可以不附接到头部)。
根据一些实施例的示例方法可以包括：从服务器请求光场视频内容；接收描述所述光场内容的多个部分的多个小透镜表示的媒体清单文件；确定可用于流式传输所述光场视频内容的估计带宽；从所述多个子采样小透镜表示中选择一子采样小透镜表示；从服务器请求所选择的子采样小透镜表示；接收所述子采样表示；通过使用所述清单文件中的关于所述小透镜表示的描述从所接收的子采样小透镜表示内插视图；以及显示所内插的视图。
对于示例方法的一些实施例，选择所述子采样小透镜表示基于估计带宽来选择所述子采样小透镜表示。
对于示例方法的一些实施例，选择子采样小透镜表示可以包括：确定所述多个子采样小透镜表示中每个子采样小透镜表示的相应最小支持带宽；以及选择所述子采样小透镜表示，该子采样小透镜表示具有多个相应最小支持带宽中小于估计带宽的最大最小支持带宽。
根据一些实施例的示例方法可以包括：检索描述光场视频内容的部分的多个小透镜表示的媒体清单文件；从所述多个小透镜表示中选择一小透镜表示；检索所选择的子采样表示；使用所述清单文件中的关于所述小透镜表示的描述，从检索到的子采样小透镜表示内插视图；以及显示所内插的视图。
根据一些实施例的示例方法可以包括：从媒体清单文件中描述的光场内容的部分的多个小透镜表示中选择一小透镜表示；从服务器检索所选择的小透镜表示的子采样小透镜表示；以及从该子采样小透镜表示内插视图。
示例方法的一些实施例还可以包括：检索描述光场视频内容的部分的多个小透镜表示的媒体清单文件；以及显示所内插的视图。
示例方法的一些实施例还可以包括：确定客户端与服务器之间的估计带宽，其中选择所述小透镜表示使用该估计带宽。
示例方法的一些实施例还可以包括：确定可用于流式传输光场视频内容的估计带宽；以及确定由所述估计带宽支持的估计最大内容大小，其中选择所述小透镜表示选择所述多个小透镜表示中具有小于所述估计最大内容大小的一个小透镜表示。
对于示例方法的一些实施例，对所述多个小透镜表示中的至少一个小透镜表示的所述描述可以包括关于该相应小透镜表示的范围或密度中的至少一个的信息。
对于示例方法的一些实施例，选择所述子采样小透镜表示可包括选择具有最大范围的子采样小透镜表示。
对于示例方法的一些实施例，选择所述子采样小透镜表示可包括选择具有最高密度的子采样小透镜表示。
示例方法的一些实施例还可以包括：跟踪用户的注视方向，其中选择所述小透镜表示可以使用所述用户的注视方向。
对于示例方法的一些实施例，选择所述子采样小透镜表示可以包括：选择对于位于用户的注视方向的阈值内的光场内容的部分具有高于阈值的密度的子采样小透镜表示。
对于示例方法的一些实施例，选择所述小透镜表示可以使用客户端的能力。
对于示例方法的一些实施例，选择所述子采样小透镜表示可包括选择具有高于客户端支持的阈值的密度的子采样小透镜表示。
对于示例方法的一些实施例，客户端的能力可以是客户端所支持的最大小透镜密度。
对于示例方法的一些实施例，其中从子采样小透镜表示内插视图可以使用所述清单文件中的关于所述小透镜表示的所述描述。
示例方法的一些实施例还可以包括：更新用户的视点；以及针对更新后的视点，调整所选择的小透镜表示。
示例方法的一些实施例还可以包括：预测用户的视点；以及针对预测视点，调整所选择的小透镜表示。
示例方法的一些实施例还可以包括：选择用于所选择的小透镜表示的子采样率，其中选择该子采样率可以使用所述预测视点。
对于示例方法的一些实施例，选择所述子采样小透镜表示可包括选择对于位于预测视点的阈值内的光场内容的部分具有高于阈值的密度的子采样小透镜表示。
示例方法的一些实施例还可以包括选择针对所选择的小透镜表示的子采样率。
示例方法的一些实施例还可以包括估计可用于流式传输光场视频内容的带宽，其中选择所述子采样率可以使用所估计的可用带宽。
示例方法的一些实施例还可以包括：选择光场空间分辨率；以及将所述光场内容划分为与所选择的光场空间分辨率相对应的多个部分。
示例方法的一些实施例还可以包括调整光场空间分辨率以改进所内插的视图的性能度量。
示例方法的一些实施例还可以包括针对光场内容的每个部分的每个子采样小透镜表示的每个帧，选择小透镜图像，其中从所述多个小透镜表示中选择所述小透镜表示可以针对所述光场内容的每个部分，选择相应的子采样小透镜表示，并且其中从所述子采样小透镜表示内插视图可以使用所述相应的小透镜图像。
对于示例方法的一些实施例，选择所述小透镜图像可以从多个小透镜图像中选择产生最佳内插结果的小透镜图像。
对于示例方法的一些实施例，使用所述清单文件中的关于所述小透镜表示的所述描述从检索到的子采样小透镜表示内插视图可以包括：将检索到的子采样小透镜表示拆包到所述清单文件中指示的所述光场视频内容的所述部分的原始小透镜位置；以及内插从检索到的子采样小透镜表示中省略的小透镜样本。
对于示例方法的一些实施例，从检索到的子采样小透镜表示内插视图生成针对所述光场视频内容的所述部分的完整光场区域图像。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行以上列出的示例方法中的任一个。
根据一些实施例的另一示例方法可以包括：流式传输光场视频内容的光场小透镜表示；以及改变所述光场小透镜表示的分辨率。
根据一些实施例的另外的示例方法可以包括：从光场内容的部分的多个小透镜表示中选择一小透镜表示；检索所选择的小透镜表示的子采样小透镜表示；以及从该子采样小透镜表示内插视图以重构在所述子采样表示中缺失的小透镜样本。
根据一些实施例的另一附加示例方法可以包括：检索光场内容的子采样小透镜表示；以及通过对检索到的子采样小透镜表示进行内插来重构从该子采样小透镜表示中省略的小透镜样本。
根据一些实施例的示例方法可以包括：从服务器接收描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；从所述多个子采样小透镜表示中选择一子采样小透镜表示；从所述服务器检索所述选择的子采样小透镜表示；使用所述清单文件中的关于所选择的子采样小透镜表示的所述描述，从检索到的所选择的子采样小透镜表示内插视图；以及显示所内插的视图。
示例方法的一些实施例还可以包括确定可用于流式传输所述光场视频内容的估计带宽。
对于示例方法的一些实施例，选择所述子采样小透镜表示可基于以下中的至少一者来选择所述子采样小透镜表示：用户的视点、估计带宽或观看客户端的显示能力。
示例方法的一些实施例还可以包括预测用户的预测视点，使得用户的视点是用户的预测视点。
对于示例方法的一些实施例，选择所述子采样小透镜表示可以包括：确定所述多个子采样小透镜表示中至少一个子采样小透镜表示的相应最小支持带宽；以及选择所述子采样小透镜表示，该子采样小透镜表示具有多个相应最小支持带宽中小于所述估计带宽的最大最小支持带宽。
示例方法的一些实施例还可以包括：确定所述估计带宽所支持的估计最大内容大小，使得选择所述子采样小透镜表示可以选择所述多个子采样小透镜表示中具有小于所述估计最大内容大小的一个子采样小透镜表示。
示例方法的一些实施例还可以包括：跟踪用户的注视方向，使得选择所述子采样小透镜表示使用所述用户的注视方向。
对于示例方法的一些实施例，选择子采样小透镜表示可以包括选择所述光场内容的位于用户的注视方向的注视阈值内的部分的具有高于密度阈值的密度的子采样小透镜表示。
示例方法的一些实施例还可以包括：预测用户的视点；以及针对预测视点，调整所选择的小透镜表示。
示例方法的一些实施例还可以包括：选择光场空间分辨率；将所述光场内容划分成与所述光场空间分辨率相对应的多个部分；以及针对所述光场内容的至少一部分的至少一个子采样小透镜表示的至少一帧，选择一小透镜图像，使得选择所述子采样小透镜表示可以选择用于光场内容的至少一部分的相应子采样小透镜表示，并且使得从子采样小透镜表示内插视图可以使用该相应小透镜图像。
示例方法的一些实施例还可以包括调整光场空间分辨率以改进所内插的视图的性能度量。
对于示例方法的一些实施例，从检索到的子采样小透镜表示内插视图可以包括：将检索到的子采样小透镜表示拆包到所述清单文件中指示的关于光场视频内容的所述部分的原始小透镜位置；以及内插从检索到的子采样小透镜表示中省略的小透镜样本。
对于示例方法的一些实施例，从检索到的子采样小透镜表示内插视图可以生成所述光场视频内容的所述部分的完整光场区域图像。
对于示例方法的一些实施例，选择所述子采样小透镜表示可基于以下中的至少一者来选择所述子采样小透镜表示：所选择的子采样小透镜表示的密度，或所选择的子采样小透镜表示的范围。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时操作以执行以上列出的权利要求中的任一项的方法。
根据一些实施例的示例方法可以包括：从媒体清单文件中描述的光场内容的部分的多个小透镜表示中选择一小透镜表示；从服务器检索所选择的小透镜表示的子采样小透镜表示；以及从该子采样小透镜表示内插视图。
示例方法的一些实施例还可以包括：检索描述光场视频内容的部分的多个小透镜表示的媒体清单文件；以及显示所内插的视图。
对于示例方法的一些实施例，从检索到的子采样小透镜表示内插视图可以使用所述清单文件中的关于所述小透镜表示的所述描述。
示例方法的一些实施例还可以包括：确定客户端与服务器之间的估计带宽，使得选择所述小透镜表示可以使用所述估计带宽。
对于示例方法的一些实施例，关于多个小透镜表示中的至少一个小透镜表示的描述可以包括关于该相应小透镜表示的范围或密度中的至少一个的信息。
对于示例方法的一些实施例，选择子采样小透镜表示可包括选择具有最大范围的子采样小透镜表示。
对于示例方法的一些实施例，选择子采样小透镜表示可包括选择具有最高密度的子采样小透镜表示。
对于示例方法的一些实施例，选择小透镜表示可以使用客户端的能力。
对于示例方法的一些实施例，选择子采样小透镜表示可包括选择具有高于客户端支持的阈值的密度的子采样小透镜表示。
对于示例方法的一些实施例，所述客户端的所述能力可以是客户端所支持的最大小透镜密度。
对于示例方法的一些实施例，从子采样小透镜表示内插视图可以使用所述清单文件中的关于所述小透镜表示的所述描述。
示例方法的一些实施例还可以包括：更新用户的视点；以及针对更新后的视点，调整所选择的小透镜表示。
示例方法的一些实施例还可以包括：预测用户的视点，使得选择子采样小透镜表示可以包括选择针对光场内容的位于预测的视点的阈值内的部分具有高于阈值的密度的子采样小透镜表示。
示例方法的一些实施例还可以包括：选择针对所选择的小透镜表示的子采样率。
示例方法的一些实施例可以进一步包括：估计可用于流式传输光场视频内容的带宽，使得选择所述子采样率可以使用所估计的可用带宽。
示例方法的一些实施例还可以包括：为光场内容的每个部分的每个子采样小透镜表示的每个帧，选择小透镜图像，使得从所述多个小透镜表示中选择所述小透镜表示为所述光场内容的每个部分选择相应的子采样小透镜表示，使得从所述子采样小透镜表示的内插视图使用所述相应的小透镜图像，并且使得选择所述小透镜图像基于内插结果的估计质量从多个小透镜图像中选择小透镜图像。
示例方法的一些实施例还可以包括：确定所述多个小透镜图像的内插结果的相应估计质量，使得选择所述小透镜图像基于所述多个小透镜图像中的哪个小透镜图像具有确定的最高相应估计的内插结果质量来选择所述小透镜图像。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。
根据一些实施例的示例方法可以包括：流式传输光场视频内容的光场小透镜表示；以及改变所述光场小透镜表示的分辨率。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。
根据一些实施例的示例方法可以包括：从光场内容的部分的多个小透镜表示中选择一小透镜表示；检索所选择的小透镜表示的子采样小透镜表示；以及从所述子采样小透镜表示内插视图以重构在该子采样表示中缺失的小透镜样本。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。
根据一些实施例的示例方法可以包括：检索光场内容的子采样小透镜表示；以及通过对检索到的子采样小透镜表示进行内插来重构从该子采样小透镜表示中省略的小透镜样本。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。
根据一些实施例的示例方法可以包括：发送描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；接收指示从所述多个子采样小透镜表示中选择的子采样小透镜表示的信息；以及发送所选择的子采样小透镜表示。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。
根据一些实施例的示例装置可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以：发送描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；接收指示从所述多个子采样小透镜表示中选择的子采样小透镜表示的信息；以及发送所选择的子采样小透镜表示。
注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其实施(即，执行、运行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令和/或软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒体中，其诸如通常被称为RAM、ROM等。
尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁媒体(例如内部硬盘和可移除磁盘)、磁光媒体和光学媒体(例如CD-ROM盘和数字通用盘(DVD))。与软件相关联的处理器可用于实施用于WTRU、UE、终端、基站、RNC和/或任何主计算机的射频收发信机。

Claims (42)

1.一种方法，包括：
从服务器接收描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；
从所述多个子采样小透镜表示中选择子采样小透镜表示；
从所述服务器检索所述选择的子采样小透镜表示；
使用所述清单文件中的所选择的子采样小透镜表示的所述描述，从检索到的所选择的子采样小透镜表示内插视图；以及
显示所内插的视图。
2.根据权利要求1所述的方法，还包括：确定可用于流式传输所述光场视频内容的估计带宽。
3.根据权利要求1-2中任一项所述的方法，其中选择所述子采样小透镜表示基于以下中的至少一个来选择所述子采样小透镜表示：用户的视点、估计带宽或观看客户端的显示能力。
4.根据权利要求1-3中任一项所述的方法，
还包括预测所述用户的预测视点，
其中，所述用户的所述视点是所述用户的所述预测视点。
5.根据权利要求1至4中任一项所述的方法，其中选择所述子采样小透镜表示包括：
确定所述多个子采样小透镜表示中至少一个子采样小透镜表示的相应最小支持带宽；以及
选择所述子采样小透镜表示，所述子采样小透镜表示具有所述多个相应最小支持带宽中小于所述估计带宽的最大最小支持带宽。
6.根据权利要求1至5中任一项所述的方法，还包括：
确定由所述估计带宽支持的估计最大内容大小，
其中选择所述子采样小透镜表示选择所述多个子采样小透镜表示中具有小于所述估计最大内容大小的一个子采样小透镜表示。
7.根据权利要求1至6中任一项所述的方法，还包括：
跟踪用户的注视方向，
其中所述选择所述子采样小透镜表示使用所述用户的所述注视方向。
8.根据权利要求1-7中任一项所述的方法，其中选择所述子采样小透镜表示包括：选择具有高于位于所述用户的所述注视方向的注视阈值内的所述光场内容的部分的密度阈值的密度的子采样小透镜表示。
9.根据权利要求1至8中任一项所述的方法，还包括：
预测用户的视点；以及
针对所述预测视点，调整所选择的小透镜表示。
10.根据权利要求1至9中任一项所述的方法，还包括：
选择光场空间分辨率；
将所述光场内容划分成与所述光场空间分辨率相对应的部分；以及
为所述光场内容的至少一部分的至少一个子采样小透镜表示的至少一帧，选择小透镜图像，
其中选择所述子采样小透镜表示为所述光场内容的至少一部分选择相应的子采样小透镜表示，以及
其中，从所述子采样小透镜表示内插视图使用所述相应的小透镜图像。
11.根据权利要求1-10中任一项所述的方法，还包括：调整所述光场空间分辨率以改进所内插的视图的性能度量。
12.根据权利要求1-11中任一项所述的方法，其中从检索到的子采样小透镜表示内插视图包括：
将检索到的子采样小透镜表示拆包为清单文件中指示的光场视频内容的部分的原始小透镜位置；以及
内插从检索到的子采样小透镜表示中省略的小透镜样本。
13.根据权利要求1-12中任一项所述的方法，其中从检索到的子采样小透镜表示内插视图生成所述光场视频内容的所述部分的完整光场区域图像。
14.根据权利要求1-13中任一项所述的方法，其中选择所述子采样小透镜表示基于以下中的至少一个来选择所述子采样小透镜表示：所选择的子采样小透镜表示的密度，或所选择的子采样小透镜表示的范围。
15.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求1至14中任一项所述的方法。
16.一种方法，包括：
从媒体清单文件中描述的光场内容的部分的多个小透镜表示中选择一小透镜表示；
从服务器检索所选择的小透镜表示的子采样小透镜表示；以及
从所述子采样小透镜表示内插视图。
17.根据权利要求16所述的方法，还包括：
检索描述光场视频内容的部分的多个小透镜表示的媒体清单文件；以及
显示所内插的视图。
18.根据权利要求16-17中任一项所述的方法，其中从检索到的子采样小透镜表示内插所述视图使用所述清单文件中的所述小透镜表示的所述描述。
19.根据权利要求16至18中任一项所述的方法，还包括：
确定客户端和服务器之间的估计带宽，
其中选择所述小透镜表示使用所述估计带宽。
20.根据权利要求16至19中任一项所述的方法，其中所述多个小透镜表示中的至少一个小透镜表示的所述描述包括：关于相应小透镜表示的范围或密度中的至少一者的信息。
21.根据权利要求16-20中任一项所述的方法，其中选择所述子采样小透镜表示包括：选择具有最高范围的子采样小透镜表示。
22.根据权利要求16-21中任一项所述的方法，其中选择所述子采样小透镜表示包括：选择具有最高密度的子采样小透镜表示。
23.根据权利要求16至22中任一项所述的方法，其中，选择所述小透镜表示使用客户端的能力。
24.根据权利要求16至23中任一项所述的方法，其中选择所述子采样小透镜表示包括：选择具有高于所述客户端支持的阈值的密度的子采样小透镜表示。
25.根据权利要求16-24中任一项所述的方法，其中所述客户端的所述能力是由所述客户端支持的最大小透镜密度。
26.根据权利要求16至25中任一项所述的方法，其中从所述子采样小透镜表示内插视图使用所述清单文件中的所述小透镜表示的所述描述。
27.根据权利要求16至26中任一项所述的方法，还包括：
更新用户的视点；以及
针对所更新的视点，调整所选择的小透镜表示。
28.根据权利要求16-27中任一项所述的方法，还包括：
预测所述用户的视点，
其中选择所述子采样小透镜表示包括：针对位于所预测的视点的阈值内的所述光场内容的部分，选择具有高于阈值的密度的子采样小透镜表示。
29.根据权利要求16至28中任一项所述的方法，还包括：为所选择的小透镜表示选择子采样率。
30.根据权利要求16至29中任一项所述的方法，还包括：
估计可用于流式传输光场视频内容的带宽，
其中选择所述子采样率使用所估计的可用带宽。
31.根据权利要求16至30中任一项所述的方法，还包括：
为所述光场内容的每个部分的每个子采样小透镜表示的每个帧选择小透镜图像，
其中从所述多个小透镜表示选择所述小透镜表示针对所述光场内容的每个部分选择相应的子采样小透镜表示，
其中，从所述子采样小透镜表示内插视图使用所述相应的小透镜图像，以及
其中选择所述小透镜图像基于内插结果的估计质量从多个小透镜图像中选择所述小透镜图像。
32.根据权利要求16-31中任一项所述的方法，还包括：
确定所述多个小透镜图像的内插结果的相应估计质量，
其中选择所述小透镜图像基于所述多个小透镜图像中的哪个小透镜图像具有最高确定的相应内插结果估计质量来选择所述小透镜图像。
33.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求16至32中任一项所述的方法。
34.一种方法，包括：
流式传输光场视频内容的光场小透镜表示；以及
改变所述光场小透镜表示的分辨率。
35.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求34所述的方法。
36.一种方法，包括：
从光场内容的部分的多个小透镜表示中选择小透镜表示；
检索所选择的小透镜表示的子采样小透镜表示；以及
从所述子采样小透镜表示内插视图以重构所述子采样表示中缺失的小透镜样本。
37.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求36所述的方法。
38.一种方法，包括：
检索光场内容的子采样小透镜表示；以及
通过对检索到的子采样小透镜表示进行内插来重构从所述子采样小透镜表示中省略的小透镜样本。
39.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求38所述的方法。
40.一种方法，包括：
发送描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；
接收指示从所述多个子采样小透镜表示中选择的子采样小透镜表示的信息；以及
发送所选择的子采样小透镜表示。
41.一种装置，包括：
处理器；以及
一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求40所述的方法。
42.一种装置，包括：
处理器；以及
非暂时性计算机可读介质，其存储指令，所述指令在由所述处理器执行时操作以：
发送描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；
接收指示从所述多个子采样小透镜表示中选择的子采样小透镜表示的信息；以及
发送所选择的子采样小透镜表示。
CN202080063308.4A 2019-07-23 2020-07-20 用于自适应小透镜光场传输和渲染的***和方法 Pending CN114375583A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962877574P 2019-07-23 2019-07-23
US62/877,574 2019-07-23
PCT/US2020/042756 WO2021016176A1 (en) 2019-07-23 2020-07-20 System and method for adaptive lenslet light field transmission and rendering

Publications (1)

Publication Number Publication Date
CN114375583A true CN114375583A (zh) 2022-04-19

Family

ID=72473938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080063308.4A Pending CN114375583A (zh) 2019-07-23 2020-07-20 用于自适应小透镜光场传输和渲染的***和方法

Country Status (4)

Country Link
US (1) US20220264080A1 (zh)
EP (1) EP4005200A1 (zh)
CN (1) CN114375583A (zh)
WO (1) WO2021016176A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2613153A (en) * 2021-11-24 2023-05-31 Sony Interactive Entertainment Inc Data codec method and apparatus
US11895173B2 (en) * 2022-01-07 2024-02-06 Avago Technologies International Sales Pte. Limited Gapped and/or subsegmented adaptive bitrate streams
US20240129562A1 (en) * 2022-10-14 2024-04-18 Rovi Guides, Inc. Systems personalized spatial video/light field content delivery
US20240129564A1 (en) * 2022-10-14 2024-04-18 Rovi Guides, Inc. Bandwidth-adaptive light field video transmission on mobile and portable devices

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3055763A1 (en) * 2013-10-07 2016-08-17 VID SCALE, Inc. User adaptive 3d video rendering and delivery
US10440407B2 (en) * 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US11284124B2 (en) * 2016-05-25 2022-03-22 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming
CN115766679A (zh) * 2017-03-23 2023-03-07 Vid拓展公司 改进用于360度自适应流传输的体验的度量和消息
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
EP3489900A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Method, apparatus and stream for encoding/decoding volumetric video
US11991402B2 (en) * 2019-03-26 2024-05-21 Interdigital Vc Holdings, Inc. System and method for multiplexed rendering of light fields

Also Published As

Publication number Publication date
EP4005200A1 (en) 2022-06-01
WO2021016176A1 (en) 2021-01-28
US20220264080A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
US11601676B2 (en) Sample derivation for 360-degree video coding
US20200120359A1 (en) 360-degree video coding using face continuities
JP7446329B2 (ja) サブ画像ビットストリーム抽出および再位置付け
US20220264080A1 (en) System and method for adaptive lenslet light field transmission and rendering
CN113424549A (zh) 用于利用多个细节级别和自由度的自适应空间内容流传输的***和方法
US11991402B2 (en) System and method for multiplexed rendering of light fields
CN112219406A (zh) 视口相关的视频流传输事件
WO2019089382A1 (en) 360-degree video coding using face-based geometry padding
US20240195999A1 (en) Dynamic adaptation of volumetric content component sub-bitstreams in streaming services
US11223848B2 (en) Weighted to spherically uniform PSNR for 360-degree video quality evaluation using cubemap-based projections
JP2023523393A (ja) ビデオベース点群ストリームのｉｓｏｂｍｆｆコンテナにおける部分的なアクセスサポート
US20230276053A1 (en) Adaptive streaming of geometry-based point clouds
KR20230129259A (ko) 시각적 볼류메트릭 비디오 기반(v3c) 및 기하구조 기반 포인트 클라우드(g-pcc) 매체들의 스트리밍을 위한 mmt 시그널링
US20240259616A1 (en) System and method for multiplexed rendering of light fields
WO2023122077A1 (en) Temporal attention-based neural networks for video compression
WO2023133350A1 (en) Coordinate refinement and upsampling from quantized point cloud reconstruction
KR20240089338A (ko) 기하구조 기반 포인트 클라우드의 적응적 스트리밍
WO2023208808A1 (en) Providing segmentation information for immersive video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230505

Address after: Delaware

Applicant after: Interactive Digital VC Holdings

Address before: Wilmington, Delaware, USA

Applicant before: PCMS HOLDINGS, Inc.

TA01 Transfer of patent application right