CN110024002B

CN110024002B - 用于根据光场渲染视图的方法和***

Info

Publication number: CN110024002B
Application number: CN201780074450.7A
Authority: CN
Inventors: 瑞安·奥弗贝克
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2016-12-30
Filing date: 2017-10-30
Publication date: 2021-05-04
Anticipated expiration: 2037-10-30
Also published as: CN110024002A; EP3563351A1; US10460505B2; WO2018125374A1; US20180190006A1

Abstract

一种用于根据光场(100、1212、1214)渲染视图的方法包括识别与视图的一部分相关联的光线(122、124)并且基于光线与平面(108)的交点(106)从表示光场的多个相机视图中选择相机视图集合。每一个相机视图具有设置在平面上的相关联的贡献区域(302、304、602、604)。相关联的贡献区域与在交点处的相机视图集合中的其他相机视图所关联的贡献区域重叠。所述方法也包括基于用于相机视图集合中的每一个相机视图的贡献因子来确定光线的特征。基于在相关联的贡献区域内的交点的相对位置来确定所述贡献因子。

Description

用于根据光场渲染视图的方法和***

背景技术

虚拟现实(VR)和增强现实(AR)应用通常寻求使用户能够在场景(虚拟的或现实世界的)中各处移动并且使用户能够从用户的头戴设备(HMD)或其他VR/AR观看设备的当前姿态处观看该场景。已将光场作为光内容格式提出以能够根据多个不同视图渲染场景的影像。然而，适合用于现实描述的光场可以使用大量的处理资源，包括中央处理单元(CPU)和图形处理单元(GPU)的大量的处理循环。对于移动消费者设备，由于移动消费者设备相对有限的存储、传输和处理资源，使用用于VR和AR应用的光场所需要的资源量通常尤其成问题。

附图说明

通过参考附图可以更好地理解本公开并且使本公开的多个特征和优势对于本领域的技术人员显而易见。

图1和图2是根据某些实施例的示例光场表示的图。

图3是根据某些实施例的示例相机平面的图。

图4是图示出根据某些实施例的用于在光场中渲染视图的示例方法的框图。

图5是根据某些实施例的示例相机层级的图。

图6和图7是根据某些实施例的对用于实现相机层级的相机的示例选择的图。

图8是图示出根据某些实施例的用于在光场中渲染视图的示例方法的框图。

图9和图10是图示出根据某些实施例的在光场中更改视图的焦点的示例的图。

图11是图示出根据某些实施例的用于在光场中更改视图的焦点的示例方法的框图。

图12是根据某些实施例的能够使用光场的显示***的框图。

图13是图示出根据某些实施例的图12中的显示***的光场压缩设备的示例实现方式的图。

图14是图示出根据某些实施例的图12中的显示***的光场解压缩/渲染设备的示例实现方式的图。

不同的附图中的相同的附图标记的使用指示相似或相同的项。

具体实施方式

以下描述旨在通过提供涉及在光场中渲染视图的多个特定实施例和细节来传达对本公开的全面的理解。然而，需要理解的是，本公开不限于这些特定实施例和细节，所述特定实施例和细节仅作为示例并且因此本公开的范围旨在仅由所附权利要求及其同等物限制。需要进一步理解的是，本领域的普通技术人员根据已知的***和方法将领会，取决于特定的设计和其他需求，在任何数量的替代实施例中使用本公开以用于预期的目的和益处。

可以将光场(lightfield)(也称为流明图(lumigraph)或透光场(photic field))概念化为在限定的空间或环境中通过每一个点在每一个方向上流动的光的量，其中由五维全光函数指定光场中的每条光线的方向并且由对应的辐射亮度指定每一条光线的幅度。参数化用于计算机图形实现方式的光场的常见方法是经由双平面参数化，在所述双平面参数化中将光场表示为st平面(通常称作“焦平面”)的透视图像集合，所述集合中的每一个图像表示来自与st平面平行的uv平面(通常称作“相机平面”)上对应位置处的虚拟相机的透视图。

如图1所示，可以使用与表面(诸如平面表面，例如焦平面110)相关联的图像的阵列来渲染来自观察者126的视角的视图。可以根据从表面(例如，焦平面110)延伸至观察者126的光线(例如，光线122或光线124)来构建观察者126的视图。尽管将表面(例如，下面所述的焦平面110或相机平面108)图示为平面，表面可以具有其他非平面流形的形式。

在图1中的图示的实施例中，根据在两个平行平面(例如，相机平面108和焦平面110)上光线的交点来表示光线的方向。在一个示例中，使用具有指定的坐标“u”和“v”的相机平面108和具有指定的坐标“s”和“t”的焦平面110来指定通过相机平面108在焦平面110和观察者126之间延伸的光线的方向。

在显示设备120上显示观察者126的视图。基于通过相机平面108和建模的显示设备120在焦平面110和观察者126之间延伸的光线(例如，光线122或光线124)的特征来渲染要在显示设备120上显示的视图的部分。尽管图示出单一显示器和观察者，可以使用多于一个显示设备。例如，可以使用两个显示器，一个用于左眼视图以及一个用于右眼视图，并且可以对观察者的每一只眼睛渲染视图或图像。视图的一部分可以是像素或像素集合。在一个示例中，特征包括辐射亮度(radiance)。在另一个示例中，特征可以包括颜色值或透明度(alpha)。

可以基于相机视图的对应部分来确定光线特征。可以基于光线与相机平面108的相交来将对相机或相机位置子集的选择与光线相关联。基于光线与焦平面110的相交来选择与相机或相机位置子集相关联的相机视图。在一个示例中，可以将相机位置的二维阵列与相机平面108相关联。可以将相机视图的二维阵列与来自平面108的相机位置和在焦平面110上的相机视图位置相关联。例如，在焦平面110中的相机视图的二维阵列独特地与相机位置的阵列中的每一个相机位置相关联，所述相机位置的阵列与相机平面108相关联。

尽管将焦平面110和相机平面108图示为平面，可以使用其他的非平面流形。例如，相机平面108中的相机可以相机朝向外侧地排布在球体上。观察者可以在球体内部任何位置，并且可以从球体内部重构任何视图。在这样的示例中，存在用以表示在其上投影光场图像的焦平面的多种方式：可以将相机视图图像投影到比相机球体更大的球体上，可以将相机视图图像投影到观察者前面的单一平面上，或者可以将相机视图图像投影到每一个相机或相机位置前面的平面上等。这里所描述的方法允许在其上分布相机阵列或投影相机视图图像的、提供不同用户观看体验的各种非平面流形。

图2图示出根据某些实施例的典型的光场的双平面表示。示例光场100由图像(例如，图像103、104、105)的二维(2D)阵列102构成，所述图像在这里也称作相机视图，其中阵列102中的每一个图像表示从焦平面110(具有维度“s”和“t”)上的全部点到达相机平面108(具有维度“u”和“v”)上的对应点(例如，点106)的光线。在这样的实现方式中，阵列102中的图像(相机视图)表示场景或环境的离轴的或剪切的、透视的视图。因此，可以将2D阵列102表示为图像的阵列，其中每一个图像i具有由坐标(s_i,t_i)定义的阵列中的位置。此外，每一个图像由像素的2D阵列表示。可以将图像的像素的阵列构想为图像瓦片的阵列，其中每一个图像瓦片表示对应的像素区域。参考图像105来说明，每一个图像由例如4x4瓦片(例如，瓦片114、115)阵列构成。尽管将瓦片114和115图示为四边形瓦片，瓦片可以具有多边形状，例如，三角形。可以将每一个瓦片(例如，瓦片114、115)与其他瓦片分离地发送到中央处理单元和图形处理单元以便渲染。

因此，如图2中的光场100所示，可以由场景的图像或相机视图的阵列来表示光场，其中每一个图像表示相对于光场中的其他图像的透视图轻微平面移位的场景的透视图。通常，光场包括相对大数量的这类图像，并且可以以相对高的分辨率渲染或捕获这些图像。

在渲染来自光场的视图时，基于从相机平面108和焦平面110延伸到观察者126的光线的特征来渲染视图的部分。基于图像或相机视图的子集来确定每一条光线的特征。相机视图与相机位置相关联并且基于光线与相机平面108上的相机位置所关联的贡献区域的相交和基于光线与焦平面110的相交来选择相机视图。

在一个实施例中，可以基于光线与相机平面108中的每一个相机位置所关联的贡献区域的相交的位置来选择相机位置和相关联的相机视图的子集。在一个替代实施例中，贡献区域可以与焦平面110中的每一个相机视图相关联。可以基于相机视图的加权的贡献来确定光线的特征(例如，辐射亮度、颜色值或透明度)，所述相机视图与具有与相机平面108内的光线的相交重叠的贡献区域的相机位置的子集中的每一个相机位置相关联。例如，可以基于从与所选择的相机位置相关联的相机视图得到的加权的特征的总和来确定光线的特征。与相机视图相关联的加权值，也称作贡献因子，可以基于在贡献区域内的光线相交的相对位置来确定。可选地，例如可以使用所选择的相机视图的贡献因子的总和来归一化与贡献相关联的加权值(贡献因子)。

例如，如图3中所示出的，与相机平面108相关联的相机位置的阵列内的相机位置可以具有相关联的贡献区域302或304。相关联的相机位置被设置在贡献区域的中心处。尽管将贡献区域302或304图示为圆盘，贡献区域可以具有其他形状。例如，贡献可以是圆形、椭圆形、四边形或多边形盘。

如图所示，光线与相机平面在某一位置(例如，位置306或位置308)相交。选择具有与相交位置重叠的贡献区域的相机位置以提供相机位置的子集。使用相机位置的子集来选择用于确定光线的特征的相机视图。例如，基于与光线的相交的位置306重叠的贡献区域，相交于位置306的光线可以导致对相机位置C0、C1、C2和C4的选择。在另一示例中，在光线与相机平面在位置308处相交时，选择相机位置C0、C4、C6和C7。

可以基于相机位置的子集和光线在焦平面上的投影来选择相机视图。可以基于贡献区域内光线相交的相对位置来对相机视图的贡献进行加权。例如，贡献的加权值或贡献因子可以随距贡献区域内的相机位置的径向距离而变化。在一个示例中，贡献因子可以随距相机位置的距离增加以平滑的方式从1变到0。例如，贡献可以随距相机位置的距离增加线性地减小。在另一示例中，贡献可以随距相机位置的径向距离以高斯关系减小。

为了进一步说明使用所选择的相机视图来渲染视图，图4中所示出的方法400包括如框402所示的确定观察者的视点。基于观测者的位置和定向，使用延伸到光场中的光线来渲染要向观察者显示的视图并且例如使用设置在两个平行平面(诸如，相机平面和焦平面)上的四维坐标系可以生成光线。

如在框404中所示，可以选择光线来渲染显示图像或视图。光线穿过相机平面和穿过表示显示设备的显示平面，从焦平面延伸到观察者。光线与要显示的视图或图像的一部分相关联。视图的部分可以是像素或可以是像素集合。可以使用光线的特征以重构显示的一部分，诸如指定将要通过像素来显示的光的特征。

如在框406中所示，可以识别相机位置的阵列中的相机位置集合。所选择的光线与相机平面相交。可以选择具有与相机平面内的光线的相交的点重叠的贡献区域的相机位置。可以使用贡献区域来确定哪些相机位置与光线相关联以及确定与相机视图关联的贡献因子，所述相机视图与所选择的相机位置相关联。

如在框408中所示，基于所选择的相机位置和光线与焦平面的相交，可以选择相机视图集合。可以使用与和光线相交的视图的部分相关联的相机视图的部分来生成光线的特征，所述光线的特征用于确定视图或所显示的图像的部分。

如在410中所示，可以使用相机视图集合来确定光线的特征。在一个示例中，特征可以包括辐射亮度、颜色值或透明度。特别地，从对应于与光线相关联的视图或图像的部分的每一个相机视图中选择一部分，并且在确定光线的特征时，使用相机视图中的该部分的特征。例如，可以使用所选择的相机视图的部分的特征的归一化的加权的总和来指定光线的特征。

可以基于与相机视图相关联的相机位置到贡献区域内的光线的交点的相对距离来确定来自每一个相机视图的特征的加权值或贡献因子。或者，可以基于光线与焦平面相交和焦平面内相机视图的位置的相对距离来确定贡献因子。可以基于贡献因子的总和来归一化贡献因子中的每一个。例如，每一个相机视图对于光线的特征的贡献是与相机视图相关联的贡献因子和相机视图的部分的特征的值的乘积。将每一个所选择的相机视图的贡献相加并且可选地基于所选择的相机视图的贡献因子的总和来归一化每一个所选择的相机视图的贡献。

换句话说，光线的特征可以是每一个相机视图的贡献的总和。通过将贡献因子乘以相机视图的特征值并将乘积除以每一个贡献因子的总和以归一化贡献来确定每一个相机视图的贡献。或者，可以将每一个贡献因子与相机视图的值的乘积相加并且将总和除以每一个贡献因子的总和以归一化。

如在框412中所示，可以基于光线的特征来渲染显示图像的部分。例如，可以将与光线的特征相关联的辐射亮度值应用于显示图像的部分。在特定的示例中，可以基于光线的特征设置像素值。

可以针对显示图像中的每一个部分重复选择光线的过程。如在框414中所示，视图或图像的所渲染的部分可以显示在显示设备上，并且可以表示观察者的视点。

这种方法提供技术优势，包括使用更少的处理器资源并且加速要向观察者显示的视图或图像的渲染。例如，可见性计算和渲染着色器比传统方法更简单并且通常更快。重构滤波器是灵活的，并且该方法允许通过更改贡献区域的尺寸以在用边缘加倍和景深光圈模糊之间折衷。贡献区域的尺寸和形状可以是散景的尺寸和形状。因此，贡献区域仿效相机光圈。

此外，使用贡献区域的方法提供了改进的适应性光场的细节层次。例如，该方法允许细节渲染的层级层次。例如，相机位置或相关联的贡献区域可以按层级组织。示例层级包括kd树，八叉树或包围体层级(BVH)等。在至少一个实施例中，将表示光场的二维图像阵列中的图像组织为二叉树结构。

在调整细节层次时，用以识别相机视图以及确定光线的特征的贡献区域的层级的使用提供了进一步的优势。例如，在处理资源内存在预算以逐渐渲染更细节的视图或图像以供显示时，可以逐渐增强细节层次。在另一示例中，随着观察者位置更靠近场景，可以计算越来越详细的视图。在另一示例中，可以确定逐渐增加的细节层次直到满足标准。

从概念上讲，可以通过增加相机密度和相机视图的密度或接近度，或通过使用越来越高的分辨率的相机视图，或两者，来提供逐渐更详细的细节。例如，如图5中所示，可以通过选择相机位置的子集来选择性地改变相机密度。在初始细节层次中，可以选择相机位置502，并且可以使用来自相机位置502的相机视图来确定一条或多条光线的特征。为了提高细节层次，可以添加额外的相机或相机位置。例如，可以使用来自相机位置502和504的相机视图来生成中级的细节层次。可选地，在中级的细节层次处，中级的分辨率图像可以用于从相机位置502或504中生成的每一个相机视图。使用更大密度的相机或相机位置可以改进进一步的细节层次，例如，使用相机位置502、504和506来选择在生成光线的特征中有用的相机视图。可选地，在选择更大数量或密度的相机或相机位置时，还可以选择更高分辨率的相机视图。

如上所述，使用逐渐增高的相机视图的分辨率可以进一步增大增加的相机密度。例如，在使用相机位置502生成光线的特征时，也可以使用低分辨率相机视图。在使用增加的相机密度时，诸如在使用相机位置502和504时，可以将中级分辨率用于相机视图。在另一示例中，在使用利用相机位置502、504和506的高密度配置时，可以将更高分辨率的图像用于相机视图。在一个示例中，较高分辨率的每个图像的边可以是前述的较低分辨率图像的尺寸的大约两倍。

这种方法可以有利于用于在处理器利用预算允许时提供改进的图像质量，或者可以用于在视距处生成较低分辨率的图像并且在观察者明显极为接近时，生成较高分辨率的图像。

进一步说明相机层级的使用，图6图示了相机阵列600，其中基于层级内的所选择的层次来选择相机位置602。可以基于光线与贡献区域(例如，贡献区域604)的相交来选择相机位置602和与相机位置602相关联的相机视图并且相关联的相机视图的贡献因子可以从光线与相机平面的交点和在贡献区域604内的相对位置得到。

如图所示，在选择相机视图或相机位置602的子集或较低密度排布时，贡献区域604可以相对大地与阵列内不是层级中的所选择的层次的一部分的其他相机位置606重叠。可选地，在确定层级的低密度层次的光线特征时，低分辨率相机视图可以与相机位置602相关联。

使用相机位置的增加的密度以及可选地与所述相机位置相关联的更高分辨率的相机视图可以实现更高的细节层次。例如，如图7中所示，可以选择具有比相机阵列600中所选择的相机位置602更高的相机密度的相机位置702的相机阵列700。可以减小贡献区域704的尺寸以适应针对阵列700所选择的相机位置的更高密度。可选地，可以将更高分辨率的图像用作相机视图以进一步增强要渲染的细节层次。如图所示，贡献区域704小于贡献区域604。

例如，图8中图示出的方法800，如框802处所示，可以包括选择细节层次。如框804处所示，基于所选择的细节层次，可以选择相机阵列中的相机位置的子阵列。子阵列可以包括较低密度的相机位置集合或者可以包括少于全部的相机位置。

如框806处所示，可以基于子阵列的密度来设置与子阵列上的每个相机位置相关联的贡献区域的尺寸。例如，较低密度的相机位置的子阵列具有更大尺寸的贡献区域。

如框808处所示，可以渲染视图或显示图像。例如，可以通过以下来渲染视图或显示图像：确定与显示图像的各部分相关联的光线，基于与所选择的光线相交的贡献区域来选择相机或相机位置以及基于与所选择的相机位置相关联的相机视图的加权的贡献来确定光线的特征。可以利用光线特征来渲染视图或显示图像的各部分。可选地，如框812处所示，视图可以在显示设备上显示。

或者，如框810处所示，可以使用迭代过程来确定是否满足准则或是否已经耗尽预算(诸如，处理预算)。例如，如果渲染低分辨率视图，***可以确定附加的处理预算是否可用并且可以使用额外的处理预算来提高视图或图像的细节层次。例如，如框802处所示，可以选择更详细的层次，如框804处所示，可以选择更大密度的相机子阵列，如框806处所示，可以为更大密度的子阵列设置更小的贡献区域，并且可以基于相机子阵列的增加的密度和相关联的相机视图来渲染更详细的显示图像或视图。

其他标准可以，例如，包括观察者距相机平面或相机视图平面的相对距离，图像的清晰度，或说明观察者的移动的函数。如框812处所示，在渲染具有期望的细节层次的图像或视图时，可以在显示设备上显示所述视图或图像。

上述方法进一步有利于允许具有焦点上的变化的视图的更有效的生成。在示例中，可以通过改变焦平面110和相机平面108的相对位置来更改视图的焦点。例如，如图9和图10所示，可以通过移动焦平面110相对于相机平面108的位置以增大距离或减小距离来更改视图的焦点位置。例如，如果将焦平面110从位置A移动到位置B，光线与相机平面108的相交不改变。然而，光线与焦平面110相交的位置改变。例如，将焦平面110从位置A移动到位置B(图9)使焦平面110中的交点从点A转变到点B(见图10)，这导致对贡献光线特征的相机视图的不同的选择。在贡献区域存在于相机平面中时，调整焦平面的相对距离保持对相机位置和贡献因子的选择。重新选择相机视图。或者，在贡献因子基于焦平面110中的贡献区域的相交的位置时，焦平面110的相对位置的改变可以导致与相机视图相关联的不同贡献因子，而所选择的相机位置保持不变。

例如，图11中所图示出的方法1100，如框1102处所示，包括重新定位焦平面110。如框1104处所示，基于光线的相交的位置的变化，选择不同的相机视图子集。在贡献区域与相机平面相关联时，所选择的相机位置和相关联的贡献因子保持不变，减少用于改变焦点的处理负担。

如框1106处所示，可以使用修正的相机视图子集来确定光线特征。特别地，可以使用修正的相机视图子集的各部分的特征的加权组合来确定光线特征。例如，可以使用相机视图的各部分的特征的加权的总和来确定光线特征。可以基于光线与贡献区域的相交的位置来确定贡献因子。在示例中，基于贡献因子的总和来归一化贡献因子。在特定的示例中，基于光线与相机平面中的贡献区域的相交的位置来确定贡献因子。或者，基于光线与焦平面中的贡献区域的相交的位置来确定贡献因子。

如框1108处所示，可以重复基于光线相交的更改的位置来选择相机视图子集的过程以生成显示图像或视图的各部分。如框1112处所示，由过程所渲染的显示图像或视图可以显示在显示设备上。

在另一个示例中，视野和散景可以受到贡献区域的尺寸和形状的影响。特别地，贡献区域仿效相机光圈。

上述方法可以在一个或多个***中实现，可选地使用网络。图12图示出示例显示***1200。显示***1200包括光场生成设备1202、光场压缩部件1206、光场解压缩/渲染部件1208和显示设备1210。

在示例中，光场生成设备1202生成或获得表示场景1213的光场1212。为了说明，光场生成设备1202可以包括光场相机，例如，该光场相机被配置为捕获光场1212，诸如经由被配置为在相机平面上从不同视角捕获场景1213的多个图像的多个相机设备，其中得到的多个图像以2D图像阵列格式排布，诸如图2中的2D图像阵列102所图示的。或者，光场生成设备1202可以包括图形渲染设备，所述图形渲染设备被配置为通过使用光场渲染技术(诸如，如上所述的贡献区域技术)来渲染光场1212的图像阵列中的图像来生成场景1213的VR或AR实现方式的的光场1212。无论所述光场1212是通过图像捕获还是图形渲染所生成，将光场1212缓存或以其他方式存储在存储设备1204中(例如，随机存取存储器、盘驱动器等)以便进一步处理。

光场压缩部件1206可以操作以压缩光场1212来生成由比光场1212更少的数据所表示的压缩的光场1214，并且因此更适合于有效的存储、传输和处理。

在一个示例中，将压缩的光场1214提供给光场解压缩/渲染部件1208以便进一步处理，由此，通过将压缩的光场1214存储在可由部件1206、1208访问的存储设备1216中，通过经由一个或多个网络1218或其他数据通信互连(例如，数据传输电缆)或其组合来将压缩的光场1214的表示从光场压缩部件1206传送到光场解压缩/渲染部件1208，来提供压缩的光场1214。

为了说明，可以将部件1206、1208实现为较大设备的部件，并且存储设备1216可以包括***存储器或较大设备的硬盘。作为另一示例，部件1206、1208可以彼此远离，并且经由位于网络1218上的服务器将压缩的光场1214从部件1206提供给部件1208。

在另一示例中，光场解压缩/渲染部件208可以操作以识别要在显示设备1210处显示的场景1213的视图，并且从该识别的视图可以识别压缩的光场1214中的哪些图像的哪些瓦片将要用于渲染表示视图的影像(即，在所识别的视图中哪些图像瓦片是“可见的”)。光场解压缩/渲染部件1208可以从压缩的光场1214访问所识别的图像瓦片并解压缩瓦片以生成解压缩的图像瓦片。根据解压缩的图像瓦片，光场解压缩/渲染部件1208可以渲染一个或多个显示图像(渲染影像1220)，所述一个或多个显示图像被提供给显示设备1210用于显示。

为了说明，在一些实施例中，显示设备1210包括头戴显示器(HMD)设备，并且要渲染的场景1213的视图基于HMD设备相对于场景1213的参考坐标系的当前姿态。在识别出该姿态的情况下，光场解压缩/渲染部件1208识别表示从给定的姿态处可见的影像的压缩的光场1214的瓦片，解压缩所识别的瓦片，根据解压缩的瓦片渲染左眼图像和右眼图像，并且向HMD设备提供左眼图像和右眼图像用于同时显示以便向HMD的用户提供场景1213的3D视图。

在一些实现方式中，光场解压缩/渲染部件1208在具有相对有限的处理、存储或传输资源的移动设备或其他设备上实现。因此，为了便利用于生成渲染的影像1220的压缩的光场1214的有效处理，光场压缩部件1206使用一种或多种光场压缩技术，诸如视差预测替换(DPR)压缩技术1222以减少表示被提供给光场解压缩/渲染部件1208的压缩的光场1214所需的数据量。

除了DPR压缩技术1222，光场压缩部件1206可以使用一种或多种其他压缩技术，并且除了DPR压缩技术1222之外，光场解压缩/渲染部件1208可以使用一种或多种补偿的解压缩技术。例如，光场压缩部件1206可以采用视差补偿预测(DCP)压缩过程1226并且光场解压缩/渲染部件1208可以采用对应的DCP解压缩过程1228。

图13图示出根据至少某些实施例的光场压缩组件1206的示例硬件实现方式。在所描绘的示例中，光场压缩组件1206包括应用处理器1302，所述应用处理器1302具有耦合到非暂时性计算机可读存储介质1304的接口，耦合到存储设备1204的接口，以及耦合到网络1218和存储设备1216中的一个或二者的接口。应用处理器1302可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或其组合。计算机可读存储介质1304包括例如一个或多个随机存取存储器(RAM)、一个或多个只读存储器(ROM)、一个或多个硬盘驱动器、一个或多个光盘驱动器、一个或多个闪存驱动器等。

计算机可读存储介质1304以可执行指令的形式存储软件，所述可执行指令被配置为操纵应用处理器1302以执行本文所描述的过程中的一个或多个。为了说明，该软件可以包括，例如，用于执行DCP编码过程的DCP模块1310、用于执行二叉树生成和遍历过程的树操作模块1312、用于基于一个或多个运动搜索过程来计算用于每个参考瓦片的DDV的运动搜索模块1314、以及用于执行选择性瓦片消除过程的瓦片替换模块1316。

图14图示出根据至少某些实施例的光场解压缩/渲染部件1208的示例硬件实现方式。在所描述的示例中，光场解压缩/渲染组件1208包括CPU 1402，所述CPU 1402具有耦合到非暂时性计算机可读存储介质1404的接口和耦合到惯性测量单元(IMU)1406的接口，以及耦合到网络1218和存储设备1216(图14中未示出)中的一个或二者的接口。光场解压缩/渲染部件1208进一步包括GPU 1408，所述GPU 1408具有耦合到CPU 1402的接口、耦合到非暂时性计算机可读存储介质1410的接口、耦合到帧缓冲器1412的接口以及耦合到显示控制器1414的接口。继而，显示控制器耦合到一个或多个显示面板，诸如HMD设备的左眼显示面板1416和右眼显示面板1418。

在至少一个实施例中，光场解压缩过程和渲染过程的工作负载在CPU 1402和GPU1408之间分配。为了说明，计算机可读存储介质1404以可执行指令的形式存储软件，所述可执行指令被配置为操作CPU 1402识别和DCP解码(按需)光场瓦片以渲染表示场景的特定视图的影像，同时计算机可读存储介质1410以可执行指令的形式存储软件，所述可执行指令被配置为操作GPU 1408以重构渲染影像所需的任何所消除的瓦片，并且然后使用所获取的和重构的瓦片来渲染影像。为了说明，CPU端软件可以包括：视图确定模块1420，所述视图确定模块1420用于经由IMU 1406确定HMD设备1210(图12)的姿态并且根据姿态确定场景1213中的当前视图；可见性分析模块1422，所述可见性分析模块1422用于识别从当前视图“可见”的或者如上所述的用于根据当前视图渲染场景1213的影像的压缩的光场1214的图像瓦片集合；以及瓦片解码器模块1424，所述瓦片解码器模块1424用于访问在压缩的光场1214中呈现的集合中的那些瓦片，对瓦片进行DCP解码，并向GPU 1408提供当前瓦片(例如，瓦片1426)。

在贡献区域方法的示例实现方式中，可以将光场瓦片发送到GPU，并且可以将盘几何结构作为着色器变量发送以用于确定每个片段的加权值或贡献因子。可以由CPU进行对要渲染哪些光场瓦片的选择。更具体地，可以通过将瓦片四边形作为几何结构传递给GPU来完成有效的GPU实现方式。盘的位置和形状作为着色器参数传递。然后使用投影纹理来对瓦片进行纹理化。使用从眼睛到瓦片上的着色点的光线与盘或贡献区域的截距来确定该样本的加权值。

示例

将使用贡献区域渲染图像的方法与使用具有重心插值(barycentricinterpolation)的三角形网格(triangular mesh)的方法进行比较。出于测试目的，在实现两种方法时使用包括相机位置和相机视图的相同光场。

表1说明了不同设备上每种方法的每帧渲染时间。

表1渲染时间

*调整贡献区域半径提供将保持贡献区域的完全覆盖的更好的性能。

如表1所示，在使用贡献区域方法时，特别是在移动设备上实现时，获得了相当大的性能增益。

在一些实施例中，上述技术的某些方面可以由执行软件的处理***中的一个或多个处理器实现。软件包括存储或以其他方式有形地体现在非暂时性计算机可读存储介质上的一个或多个可执行指令集合。软件可以包括指令和某些数据，在所述指令和某些数据由一个或多个处理器执行时，操作一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可包括例如，磁盘或光盘存储设备、固态存储设备(诸如闪存)、高速缓存、随机存取存储器(RAM)或其他非易失性存储设备或装置等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或由一个或多个处理器解译的或以其他方式可执行的其他指令格式。

计算机可读存储介质可以包括在使用期间可由计算机***访问的任何存储介质或存储介质的组合以向计算机***提供指令和/或数据。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字化通用光盘(DVD)、蓝光光盘)、磁介质(例如，软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓冲存储器)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电***(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算***(例如，***RAM或ROM)中，固定地附接到计算***(例如，磁性硬盘驱动器)，可移除地附接到计算***(例如，光盘或基于通用串行总线(USB)的闪存)或经由有线或无线网络(例如，网络可访问存储设备(NAS))耦合到计算机***。

注意的是，不需要以上在一般描述或示例中所描述的全部活动，可能不需要特定活动的一部分，并且除了所描述的那些活动之外可以执行一个或多个其他活动。此外，活动列出的顺序不一定是其执行的顺序。

在前面的说明书中，已经参考特定实施例描述了这些概念。然而，本领域普通技术人员理解的是，在不违背在所附权利要求中所提出的本发明的范围的情况下，可以进行各种修改和改变。因此，说明书和附图应被视为说明性的而非限制性的，并且所有这些修改旨在包括在本发明的范围内。

如本文所使用的，术语“包括”、“含有”、“包含”、“包含”、“具有”、“具备”或其任何其他变化旨在涵盖非排他性的包含。例如，包括特征的列表的过程、方法、物品或装置不一定仅限于所述特征，而是可以包括未明确列出的或这种过程、方法、物品或装置所固有的其他特征。此外，除非有相反的明确说明，“或”是指包含性的或并且不是指排他性的或。例如，在以下任何一项情况下条件A或B被满足：A为真(或存在)且B为假(或不存在)，A为假(或不存在)且B为真(或存在)以及A和B都为真(或存在)。

而且，使用“一”或“一个”来描述本文所述的元素和部件。这仅仅是为了方便并且给出对本发明范围的一般意义。该描述应该被理解为包括一个或至少一个，并且单数也包括复数，除非明显地另有所指。

上面已经相对于特定实施例描述了益处、其他优势和问题的解决方案。然而，益处、优势、问题的解决方案以及可能使得任何益处、优势或解决方案发生或变得更加显著的任何特征未被解释为任一或全部权利要求的关键的、必需的或基本的特征。

在阅读说明书之后，本领域技术人员将理解的是，为了清楚而在本文中在单独的实施例的上下文中所描述的某些特征，也可以在单个实施例中以组合提供。相反，为了简洁而在单个实施例的上下文中所描述的各种特征也可以单独提供或以任何子组合提供。此外，对范围中所述值的引用包括该范围内的每个和每一个值。

Claims

1.一种用于根据光场渲染视图的方法，所述方法包括：

选择用于渲染所述视图的细节层次；

选择相机阵列的子阵列，所述子阵列具有基于所选择的细节层次的相机位置密度并且与表示所述光场的多个相机视图相关联；

识别与所述视图的一部分相关联的光线；

基于所述光线与相机平面的交点来从所述多个相机视图中选择相机视图集合，所述相机视图集合中的每一个相机视图具有设置在所述相机平面上的相关联的贡献区域，所述相关联的贡献区域的尺寸是基于所述子阵列的所述相机位置密度，所述相关联的贡献区域与在所述交点处的所述相机视图集合中的其他相机视图所关联的贡献区域重叠；以及

基于用于所述相机视图集合中的每一个相机视图的贡献因子来确定所述光线的特征，所述贡献因子基于在所述相关联的贡献区域内的所述交点的相对位置来确定。

2.根据权利要求1所述的方法，其中所述相机平面与相机位置的阵列相关联，每一个相机视图具有相关联的相机位置，具有所述相关联的贡献区域。

3.根据权利要求2所述的方法，其中所述相关联的相机位置被设置在所述贡献区域的中心。

4.根据权利要求2所述的方法，其中所述多个相机视图与焦平面相关联。

5.根据权利要求4所述的方法，进一步包括在从所述多个相机视图中选择相机视图集合之前选择所述相机平面与所述焦平面之间的相对距离。

6.根据权利要求1所述的方法，其中所述视图的所述部分是像素或像素集合。

7.根据权利要求1所述的方法，其中所述特征是颜色值。

8.根据权利要求1所述的方法，其中所述贡献区域在所述相机平面中是圆形或椭圆盘形状。

9.根据权利要求1所述的方法，其中所述贡献区域在所述相机平面中具有多边形形状。

10.根据权利要求1所述的方法，其中所述贡献因子随所述交点距所述贡献区域的相机位置的径向距离增加而减少。

11.根据权利要求10所述的方法，其中所述贡献因子随所述交点距所述贡献区域的所述相机位置的径向距离增加而线性地减少。

12.根据权利要求1所述的方法，其中所述特征基于所述相机视图集合的贡献的总和来确定，所述相机视图集合中的每一个相机视图的贡献基于每一个相机视图的一部分的特征的值与所述贡献因子的乘积来确定。

13.根据权利要求12所述的方法，其中所述贡献因子使用所述相机视图集合的贡献因子的总和来归一化。

14.根据权利要求1所述的方法，进一步包括：

对所述视图的每一个部分，识别所述光线，选择所述相机视图集合，并且确定所述光线的所述特征；

基于各光线的特征来渲染所述视图；以及

在显示设备上显示所述视图。

15.一种用于根据光场渲染视图的***，所述***包括：

显示设备；

存储设备，所述存储设备存储由多个相机视图所表示的所述光场；以及

计算电路，所述计算电路与所述显示设备和所述存储设备通信，所述计算电路用于：

选择用于渲染所述视图的细节层次；

识别与所述视图的一部分相关联的光线；

基于用于所述相机视图集合中的每一个相机视图的贡献因子来确定所述光线的特征，所述贡献因子基于在所述贡献区域内的所述交点的相对位置来确定。