CN109510977A - 使用同心观察圆来生成立体光场全景 - Google Patents

使用同心观察圆来生成立体光场全景 Download PDF

Info

Publication number
CN109510977A
CN109510977A CN201810928649.8A CN201810928649A CN109510977A CN 109510977 A CN109510977 A CN 109510977A CN 201810928649 A CN201810928649 A CN 201810928649A CN 109510977 A CN109510977 A CN 109510977A
Authority
CN
China
Prior art keywords
image
light field
distortion
straight line
line image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810928649.8A
Other languages
English (en)
Inventor
张帆
奥斯卡·内斯塔雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109510977A publication Critical patent/CN109510977A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及使用同心观察圆来生成立体光场全景。用于生成立体光场全景的示例***包括用于接收多个同步的图像的接收器。该***还包括校准器和投影仪，用于校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体以生成经去失真的直线图像。该***还包括差异估计器，用于估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流。该***包括视图插值器，用于基于光流对经去失真的直线图像执行视图间插值。该***还包括光场全景生成器，用于使用同心观察圆来生成针对多个视角的立体光场全景。

Description

使用同心观察圆来生成立体光场全景
技术领域
本公开涉及虚拟现实(Virtual Reality，VR)，并且更具体地，涉及使用同心观察圆(viewing circle)来生成立体光场全景(panoramas)。
背景技术
虚拟现实(VR)***可以包括VR捕获***和VR视频生成算法。例如，这种VR视频生成算法可以使用单眼提示和双眼提示两者来进行深度感知。
发明内容
根据本公开的实施例，提供了一种用于生成立体光场全景的***。该***包括接收器，用于接收多个同步的图像；校准器和投影仪，用于校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像；差异估计器，用于估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流；视图插值器，用于基于光流对经去失真的直线图像执行视图间插值；以及光场全景生成器，用于使用同心观察圆来生成针对多个视角的立体光场全景。
根据本公开的实施例，提供了一种用于生成立体光场全景的方法。该方法包括通过处理器接收多个同步的图像；通过处理器校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体上，以生成经去失真的直线图像；通过处理器估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流；通过处理器基于光流对经去失真的直线图像执行视图间插值；并且通过处理器使用同心观察圆来生成针对多个视角的立体光场全景。
根据本公开的实施例，提供了一种计算机可读介质，其中存储有指令。这些指令响应于在计算设备上被执行而使得该计算设备执行下述操作：接收多个同步的图像；校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像；估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流；基于光流对经去失真的直线图像执行视图间插值；使用同心观察圆生成针对多个视角的立体光场全景；从头戴式显示器接收与视角相对应的坐标；以及将与坐标相对应的视角的立体光场全景发送到头戴式显示器。
根据本公开的实施例，还提供了一种用于生成立体光场全景的***。该***包括：用于接收多个同步的图像的装置；用于执行下述操作的装置：校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像；用于估计经去失真的直线图像的相邻视图之间的差异以确定经去失真的直线图像之间的光流的装置；用于基于光流对经去失真的直线图像执行视图间插值的装置；用于使用同心观察圆生成针对多个视角的立体光场全景的装置；用于从头戴式显示器接收与视角相对应的坐标的装置；以及用于将与坐标相对应的视角的立体光场全景发送到头戴式显示器的装置。
附图说明
图1是示出用于使用同心观察圆来生成立体光场全景的示例***的框图；
图2是示出用于使用同心观察圆来生成立体光场全景的示例***流水线的流程图；
图3是示出使用来自一对重叠图像平面的切片来生成立体光场全景的示例全方位技术的图示；
图4A是示出用于生成立体光场全景的一对示例同心观察圆的图示；
图4B是示出用于生成立体光场全景的另一对示例同心观察圆的图示；
图5是示出用于生成立体光场全景的一对示例重叠视图的图示；
图6是示出用于生成的立体光场全景的示例支持头部平移的图示；
图7是示出生成的立体光场全景中所包括的三维空间中的示例点的图示；
图8是示出使用同心观察圆来生成立体光场全景的方法的流程图；
图9是示出可以使用同心观察圆来生成立体光场全景的示例计算设备的框图；以及
图10是示出存储用于使用同心观察圆来生成立体光场全景的代码的计算机可读介质的框图。
贯穿本公开和附图使用相同的数字来引用相同的组件和特征。100系列中的数字指的是最初在图1中找到的特征；200系列中的数字指的是最初在图2中找到的特征；以此类推。
具体实施方式
如上所述，VR视频生成算法可以使用单眼提示和双眼提示两者来进行深度感知。如这里所使用的，单眼提示在用一只眼睛观看场景时提供深度信息。双眼提示在用双眼观看场景时提供深度信息。例如，立体视觉(stereopsis)和会聚度(convergence)是双眼提示的示例，其可用于向观看者提供深度感知。具体地，立体视觉包括引入双眼差异，其可以在大脑的视觉皮层中被处理以生成深度感知。然而，这样的现有***可能不包括运动视差(parallax)的单眼提示。因此，当观看者在VR场景中移动时，观看者可能不会像现实中那样感知VR场景中的不同物体的相对运动。因此，当观看VR场景时，这种运动视差的缺乏可能削弱观众的现实感。视差是沿着两条不同视线观察的物体的视位置上的位移或差异，并且通过这两条线之间的倾角的角度或半角度来测量。由于视角缩短，当从不同位置观察时，附近物体可能比更远的物体显示更大的视差，因此可以使用视差来确定距离。这里使用的运动视差因此指的是远处的物体看起来比靠近相机或观察者的物体运动得慢。
本公开一般涉及使用同心观察圆来生成立体光场全景的技术。如这里所使用的，全景是通过将光场的一个或多个其它图像的切片拼接在一起以创建特定场景的完整视图而生成的图像。具体地，同心观察圆可用于选择要拼接在一起的切片。立体显示(stereoscopic)是指在由具有双眼视觉的个体从两只眼睛获得的视觉信息的基础上使用立体视觉或深度和三维结构的感知。具体地，本文描述的技术包括用于使用同心观察圆来生成立体光场全景的装置、方法和***。示例***包括用于接收多个同步图像的接收器。***还包括校准器和投影仪，用于校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体以生成经去失真的直线图像(rectilinear image)。***还包括视差估计器，用于估计经去失真的直线图像的相邻视图之间的视差，以确定经去失真的直线图像之间的光流(optical flow)。***包括视图插值器，用于基于光流对经去失真的直线图像执行视图间插值。***还包括光场全景生成器，用于使用同心观察圆为多个视角(perspective)生成立体光场全景。***还可以包括发送器，用于将对应于特定视角的立体光场全景发送到头戴式显示器。
因此，本文描述的技术使得运动视差能够被包括在所呈现的VR视频中。例如，通过使用同心圆而不是同一观察圆内的两个视点，可以将运动视差效果引入表示不同视角的生成光场全景中。当检测到头戴式显示器的平移时，可以相应地显示不同的视角。特别地，引入的运动视差效果改善了使用头戴式显示器观看VR的用户的深度感知。例如，这里描述的技术可以允许用户在移动他们的头部时感觉到运动视差，从而提供更加身临其境的观看体验。此外，这些技术还提供了用于显示所生成的光场全景的设备的应用。
图1是示出用于使用同心观察圆来生成立体光场全景的示例***的框图。示例***通常由附图标记100来表示，并且可以使用下面的图8的方法800在下面的图9中的计算设备900中实现。
示例***100包括多个相机102、计算设备104和头戴式显示器106。计算设备104包括接收器108、校准器和投影仪110、观察圆生成器112，视图插值器114，光场全景生成器116和发送器118。头戴式显示器106包括显示应用120。
如图1所示，多个相机102可以捕获要转换成光场全景的视频。例如，相机102可以布置在相机环中。在一些示例中，相机可包括广角镜头。例如，相机102可以是八个具有广角镜头(其具有至少220度的视野)的相机。这种配置可以提供图像质量和性能的良好平衡。例如，使用至少220度的视野可以用于收集比普通镜头更多的光线并且有助于光场重建，从而实现更多的视差。在一些示例中，还可以使用更多数量的相机来提供更多视差。
计算设备104可以从相机102接收图像，并且将对应于特定视角的光场全景输出到头戴式显示器106。在一些示例中，可以使用音频在时间上同步图像。接收器108可以接收多个同步图像并将多个图像发送到校准器和投影仪110。校准器和投影仪110可以对图像执行各种预处理。例如，校准器和投影仪110可以校准同步图像。如下所述，可以使用固有和外部参数来校准同步图像。校准器和投影仪110也可以对图像进行去失真。例如，可以将图像投影到球体以生成去失真的直线图像。随后，视差估计器112可以估计经去失真的直线图像的相邻视图之间的视差，以确定经去失真的直线图像之间的光流。随后，视图插值器114可以使用光流来对经去失真的直线图像执行视图间插值。例如，可以在与相邻相机对应的经去失真的直线图像之间执行视图间插值。在一些示例中，插值还可以基于平滑因子，平滑因子可以随着检测到的头戴式显示器的移动的速度而变化，如下所述。光场全景生成器116可以使用同心观察圆为多个视角生成立体光场全景。例如，全景可以是与每个同心观察圆的视图对应的图像平面的切片，如下面关于图4A和图4B的示例同心观察圆更详细地描述的。随后，发送器118可以发送对应于从头戴式显示器106的显示应用120请求的特定视角的特定光场全景。
因此，显示应用120可以被配置为检测头戴式显示器(HMD)的平移。例如，显示应用120可以检测HMD的平移，并基于HMD的更新的坐标发送对更新的视角的请求。显示应用120可以被配置为从发送器118接收所生成的光场全景并在头戴式显示器106中显示光场全景。例如，所接收的光场全景可以来自对应于HMD的最新坐标的视角。用户例如向右或向左平移头戴式显示器可能导致由于更新的光场全景被显示而引起的明显的运动视差，从而产生在外观上更加逼真的改进的虚拟现实体验。
图1的图示不旨在指示示例***100将包括图1中所示的所有组件。相反，可以使用更少的组件或图1中未示出的附加组件(例如，附加的相机、计算设备、组件、头戴式显示器等)来实现示例***100。
图2是示出用于使用同心观察圆来生成立体光场全景的示例***流水线的流程图。示例过程通常由附图标记200来表示，并且可以使用上面的***100或下面的计算设备900来实现。
在框202处，执行具有音频同步的360度视频捕获。例如，可以使用多个相机来拍摄场景的视频。如框202内的图像所示，可以使用一圈相机或相机环204来执行360度视频捕获。在一些示例中，相机环中的相机可以包括广角镜头。例如，相机可包括八个具有广角镜头的相机。在一些示例中，广角镜头可具有220度或更大的视野(FOV)。在一些示例中，任何合适的音频可以用于同步。例如，捕获环境中的环境噪声可以用于通过在给定时间点在相机上同步音频并在相同时间点捕获图像来同步相机。
在框206处，执行校准图像、鱼眼到球投影、和校正。在一些示例中，可以基于用于捕获鱼眼图像208的相机的固有和外在参数来执行鱼眼图像208的校准。固有参数可以包括相机本身固有的参数，例如，焦距和镜头失真。在一些示例中，棋盘格(checkerboard)可用于执行固有校准。外部参数是用于描述相机与其外部世界之间的平移的参数。例如，鱼眼视频208可以看起来是圆形的并且需要不失真。可以执行鱼眼到球210投影以生成相应的直线图像。在一些示例中，相机可具有需要校准的各种偏移。通过将两个或更多个图像投影到共同的图像平面上，可以使用校正来变换图像。例如，代替保持完美的相机对准，可以使用图像的校正来对准可能未对准的相机拍摄的图像。得到的图像可能没有垂直差异，也没有任何鱼眼失真。
在框212处，执行邻居视图差异估计。举例来说，可在相邻视图214之间执行差异估计。在一些实例中，可基于差异估计生成差异图216。例如，框212中的差异图216示出了使用各种灰度梯度的两个图像之间的差异。可以使用由邻居视图图像差异估计生成的视差图来估计每个图像对之间的光流。
在框218处，执行视图间插值。例如，可以基于平滑因子来插值相同方向上的视图对222。可以执行更多插值以生成更多的平滑性。在一些示例中，平滑因子可以基于视图密度阈值和头部运动速度阈值。例如，插值量可以基于检测到的头戴式显示器的平移速度超过头部运动速度阈值。例如，在预定视图密度阈值以下，可以将更多插值用于超出头部运动速度阈值的快速头部运动。然而，在视图密度阈值之上，较少的插值可用于超过头部运动速度阈值的快速头部运动。例如，对于其间***10个视图的具有相当大的基线的两个相机，如果用户从左向右移动得非常快，则用户可能立即感觉到抖动效果。由于不同视图之间的不连续性，用户也可能感到不舒服。然而如果用户缓慢移动，则用户可能不会感到不适，因为用户的眼睛可有一定的时间来调整不连续性。在另一示例中，如果插值500个视图使得视图密度高于视图密度阈值，则用户可能无法注意到他们的头部快速或慢速移动的区别。在一些示例中，甚至仅***400个视图用户也可能感觉不到区别。在一些示例中，不同的视图密度阈值可以针对不同的人，这也影响插值数目。例如，可以根据用户的敏感度来调整视图密度阈值。某些用户可能对每秒30帧(FPS)敏感，而某些用户可能对60FPS敏感。由于前者可以容忍较低的视密度，因此可以设置较低的视密度阈值。相反，后者不能容忍较低的视密度并且如果视密度低则可能感到不适，因此可以对这样的用户使用更高的视密度阈值。例如，插值的结果可以是具有220度的FOV的数以千计的插值的视图222。在一些示例中，取决于所使用的相机的数量，可以使用其它FOV值。例如，要捕获的总FOV可以基于等式8。例如，给定固定的相机臂长度、相机数量和视差预算，可以相应地计算FOV。
在框224处，执行全方位拼接(omnistereo stitching)。例如，可以从插值的图像中获取切片并将其拼接在一起以形成全景226。在一些示例中，可以使用本文描述的全方位光场技术来执行拼接。例如，两个不同的同心观察圆可以用于左眼和右眼视点。在一些示例中，固定的r瞳孔间距离可以用作同心观察圆的约束，如下面更详细地描述的。例如，固定的瞳孔距离值可以是6.4厘米，因为它对应于平均人瞳孔距离。在一些示例中，瞳孔间距离可以基于用户的实际瞳孔距离。
在框228处，执行光场生成。例如，可以通过将来自适当的同心观察圆的切片拼接在一起来为每个视角生成全景。如本文所使用的，视角指的是来自特定坐标集的视点。对于每个视角，所得到的光场230可以是数千个全景。在一些示例中，光场生成可以离线执行并存储以供稍后取回。在一些示例中，光场生成可以在线执行并实时渲染。
在框232处，输出360度立体光场全景。在一些示例中，可以输出立体光场全景。可以使用头戴式显示器234上的应用来显示光场全景式全景。例如，应用可以使得头部跟踪和头部坐标能够用于允许从光场全景视频获取和显示每个特定位置的视角。响应于检测到的头戴式显示器到更新的坐标的平移，可以从数据库获取给定更新的坐标的新视角。因此，观看者的头部的平移可产生具有明显的运动视差的不同视角。例如，背景中的物体可以以比前景中的物体更低的速度移动。
该过程流程图不旨在指示示例***管线200的块将按任何特定顺序被执行，或者在每种情形下都包括所有的块。此外，取决于具体实现方式的细节，可以在示例***管线200内包括未示出的任何数量的附加块。
图3是示出使用来自一对重叠图像平面的切片来生成立体光场全景的示例全方位技术的图示。示例显示器通常由附图标记300来表示，并且可以在下面的计算设备900中实现。例如，显示器300可以由图1的视图插值器114、下面的图9的计算设备900的视图插值器938或下面的图10的计算机可读介质1000的视图插值器模块1012使用。
图3示出了具有旋转轴304的左眼位置302A和右眼位置302B。图3还示出了分别由眼睛位置302A和302B观察的一对重叠平面图像306A和306B。显示器300还包括分别对应于眼睛位置302A和302B的光学中心308A和308B。显示器300还包括场景点310和观察圆312。眼睛位置302A和302B位于观察圆312的相对端上。图3还包括通过旋转相机而生成的光学中心圆314，以及指图示像平面的旋转轨迹的平面圆316。例如，相机的旋转可以生成落在光学中心圆314上的移动轨迹。显示器300还包括观察圆312的观察圆半径316和长度为r的相机环半径318。显示器300还包括分别在场景点310与左眼302A和右眼302B之间的长度为Z的距离320A、320B。显示器300还包括场景点310与左眼302A和右眼302B之间的中点之间的距离322。此外，显示器300包括大小为V的距离324A、324B，分别指示条带326A和326B与重叠平面图像306A、306B的中心之间的距离。显示器还包括左眼位置302A与左眼位置302A和右眼位置302B之间的长度为i的中点之间的距离328。
在一些示例中，观察圆半径316，瞳孔间距离2i，相机环半径r 318，场景点310与左眼/右眼之间的距离Z 320A、320B，场景点310与左眼和右眼位置302A和302B之间的中点304之间的距离D 322之间的关系，可以由以下等式表示：
左条带326A和右条带326B之间的距离2v 324A和324B可以由瞳孔间距离2i、相机环半径r、图像宽度w和水平视野(FOV)确定如下：
在一些示例中，水平FOV可以是鱼眼图像校准、去失真和校正之后的有效FOV。假设最近的物体和相机之间的距离是一米，并且瞳孔间距离是6.4厘米，那么d＝1.00051187(i)。因此，在一些示例中，可以使用距离324的近似值d≈i，其中最近的物体限制在捕获期间距离相机环的任何边缘至少一米。
图3的图示不旨在指示示例显示器300将包括图3中所示的所有组件。相反，示例显示器300可以使用更少的组件或图3中未示出的附加组件(例如，附加平面图像、观察圆等)来实现。
图4A是示出用于生成立体光场全景的一对示例同心观察圆的图示。一对示例同心观察圆通常由附图标记400A来表示，并且可以使用下面的计算设备900来生成。例如，可以使用图1的视图插值器114、下面的图9的计算设备900的视图插值器938，或者下面的图10的计算机可读介质1000的视图插值器模块1012来生成查看圆400A。
图4A示出了一圈相机402。在相机环402内，是分别与两组视图408和410相关联的一组同心圆404和406，分别用粗体箭头和虚线箭头表示。举例来说，视图408可对应于左眼，且视图410可对应于右眼。瞳孔间距离412由多组虚线表示。
如图4A所示，代替限制左眼和右眼共享相同的观察圆，两只眼睛可以使用两个不同的同心观察圆。另外，瞳孔间距离可以用作约束以确定在每个移动位置处使用哪些圆。在一些示例中，瞳孔间距离可以被设定为作为眼睛的平均瞳孔间距离的6.4厘米。在一些示例中，可以使用任何其它合适的值，例如，用户的实际瞳孔间距离。例如，可以基于用户的实际瞳孔间距来设置瞳孔间距离。例如，每个圆中的最远点之间的距离可以在瞳孔间距离内。具体地，光场全方位光线构造可以使用半径为i cm的左眼观察圆和具有半径|6.4-i|cm的右眼观察圆。如图4A所示，如果i小于6.4，则左/右眼位置位于两个观察圆的相对侧。否则，左/右眼位置可以位于两个观察圆的相同侧，如下面的图4B所示。以这种方式，可以利用不同的i值构造不同的立体全景，以模拟每个观察方向上的头部平移。由于观察圆是同心的，因此运动视差量可以通过相机环可以支持多大的瞳孔间距来确定。
因此，全方位技术可以使用圆形投影从两组光线构建360立体全景。给定一圈相机402，为了从捕获的场景感知立体视觉，左眼和右眼位置分别位于观察圆404和406中，如图4A所示。随后，分别从观察圆404和406的顺时针和逆时针方向的切线上的光线构造左眼和右眼全景，如图4A所示。例如，可以通过使用图像右侧的垂直条带来拼接左眼全景。通过使用图像左侧的垂直条带来拼接右眼全景。
图4A的图示不旨在表示示例观察圆400A将包括图4A中所示的所有组件。相反，示例观察圆400A可以使用更少的组件或图4A中未示出的附加组件(例如，附加相机、观察圆、瞳孔间距离等)来实现。
图4B是示出用于生成立体光场全景的另一对示例同心观察圆的图示。示例观察圆通常由附图标记400来表示，并且可以在下面的计算设备900中实现。例如，可以使用图1的视图插值器114，下面的图9的计算设备900的视图插值器938、或者下面的图10的计算机可读介质1000的视图插值器模块1012来生成同心视圆400。
图4B示出了上面参照图4A更详细地命名和描述的类似编号的部件。然而，在图4B中，左眼和右眼位置已被平移到左侧。另外，图4B中的光场全方位光线构造可以使用半径为i cm的左眼观察圆和具有半径|6.4-i|cm的右眼观察圆。但在图4B中，i大于6.4。因此，通过图4B中向左的平移，左眼和右眼位置位于两个观察圆的相同侧。
图4B的图示不旨在表示示例观察圆400将包括图4B中所示的所有组件。相反，示例观察圆400可以使用更少的组件或图4B中未示出的附加组件(例如，附加相机、观察圆、瞳孔间距离、平移等)来实现。例如，从图4A到右边的平移可以产生右眼和左眼的不同观察圆。
图5是示出用于生成立体光场全景的一对示例重叠视图的图示。示例视图通常由附图标记500来表示，并且可以在下面的计算设备900中实现。例如，可以使用图1的视图插值器114、下面的图9的计算设备900的视图插值器938、或下面的图10的计算机可读介质1000的视图插值器模块1012来生成视图500。
图5示出了分别由重叠的灰线和黑色虚线表示的一组视图502和504。例如，视图502可能已被一个相机捕获，并且视图504可能已被另一相机捕获。图5还示出了左条带位置506、图像中间点508、和多个角度510、512、514和516。在一些示例中，如下面关于图6所描述的，在给定如下所述的附加值的情况下，可以基于角度510、512、514和516来计算瞳孔间距离。具体地，角度510与视图502的非重叠部分相关联。角度512与图像中点508左侧的视图502和504之间的重叠的一部分相关联。具体地，角度514与视图502和504之间的重叠部分相关联。角度516与整个视图502相关联。
图5的图示不旨在指示示例视图500将包括图5中所示的所有组分。相反，示例视图500可以使用更少的组分或图5中未示出的附加组分(例如，附加视图、视野等)来实现。
图6是示出针对生成的立体光场全景的示例支持的头部平移的图示。示例头部平移通常由附图标记600来表示，并且可以在下面的计算设备900中得到支持。例如，可以使用上面的图1的计算设备104、下面的图9的计算设备900的光场全景生成器930、或下面的图10的计算机可读介质1000的光场全景生成器模块1014来支持头部平移600。
图6示出了使用本文描述的技术提供支持的头部平移的示例相机环。如图5和图6所示，可以使用以下等式来计算特定相机环配置的支持的瞳孔间距离：
在图6的示例中，给定示例相机环半径r为21.8，示例FOV为77，以及示例相机的数量n为14，则：
因此，使用全向立体光场生成算法，上述配置可以支持大约1.18厘米的头部平移612。在一些示例中，可以使用相机环半径、FOV和相机的数量的任何其它合适的值。例如，可以根据等式8设置不同的配置。对于近眼显示器，光场视差可以不是非常大，但是对于距眼睛较远的显示器，可以使用更大的视差。还可以使用等式8的所有因子来计算视差。在一些示例中，如果相机数量较少，则可以增大FOV。但是，如果相机数量很小，那么为了获得良好的光流效果，相机环半径也可以很小以使得两个相邻相机之间的基线合理。
在一些示例中，可以使用实用且经济的相机阵列402来捕获足够的数据以支持头部平移并且同时提供舒适的观看体验。从上面的等式8可见，头部平移量可以由相机环半径r、相机的FOV和相机环402中的相机的数量n确定。增加半径r或相机环402中的相机的数量可能对立体全方位拼接造成更多困难，同时占用更多存储空间并降低相机装备的移动性。因此，在一些示例中，可以增加相机环402中的每个相机的FOV。因此，代替使用典型的鱼眼相机，可以通过将集成的鱼眼镜头改变为超广角镜头来修改每个鱼眼相机。例如，94×120FOV鱼眼镜头可以修改为220×220FOV超广角镜头。在一个示例中，可以在9.6cm相机环上使用8个具有220×220FOV的相机。在该示例中，使用数量为8的并且FOV为220的相机并且相机环半径r为9.6可以提供8.7厘米的可允许的头部平移612。
图6的图示不旨在指示示例相机环600将包括图6中所示的所有组件。相反，示例相机环600可以使用更少的组件或图6中未示出的附加的组件(例如，附加相机、相机环、以及相机数量、FOV、环半径等的不同组合)来实现。
图7是示出生成的立体光场全景中所包括的三维空间中的示例点的图示。示例三维空间通常由附图标记700表示，并且可以由下面的的计算设备900使用。
图7示出了由球702表示的示例三维空间，其中示例点704在左视图和右视图中被感知。XY平面中的第一角度α706表示箭头708的旋转位移，箭头708表示从X轴的头部的观察方向。三维空间700还包括XZ平面中的第二角度θ710。XY平面中的第三角度φ712表示点704距X轴的旋转位移。在一些示例中，当左眼和右眼位于两个不同的观察圆时，由于非水平对准的相机，左视图和右视图可能在x和y方向上都遭受不一致。例如，给定示例3D空间700中的点704P(px,py,0)，点704在以瞳孔间距离为2i的圆形投影之后的左透视图和右透视图中的坐标可以使用以下等式来表达：
其中f是焦距，i1是眼1的观察圆半径，i2是眼2的观察圆半径，并且：
2i＝i1+i2 等式15
对于每只眼睛，使用图7中所示的角度α706、θ710和φ712。利用不同的观察圆，因此可以在左视图和右视图中不一致地感知相同的场景点704。这种不一致可能导致观看者的视觉疲劳。然而，通过将最近的物体控制在距离相机阵列至少一米的位置并将观察圆半径约束在合理的范围内，左视图和右视图之间的不一致可能太小而不被觉察。因此，在一些示例中，相机阵列可以位于距离要在图像中捕获的最近的物体的至少一米处，并且观察圆半径可以基于场景的深度分布，如上面的等式10中的θ710所描述的。例如，在最近的物体可能很远的室外场景中，θ可以接近90度，因此可以使用大的相机环并且不一致性可以很小。然而，在室内场景中物体可能更近，并且从而可以使用更小的相机环。
图7的图示和描述并非旨在指示本文描述的技术将包括图7中所示的所有组分。相反，可使用更少的组分或图7中未示出的附加的组分(例如，附加约束、场景点等)来实施本文中所描述的技术。
图8是示出使用同心观察圆来生成立体光场全景的方法的流程图。示例方法通常由附图标记800来表示，并且可以使用上面的图1的计算设备104、下面的图9的计算设备900的处理器902、或下面的图10的执行计算机可读介质1000的指令的处理器1002来实现。
在框802处，处理器接收多个同步的图像。例如，可以使用一圈相机来捕获图像。在一些示例中，相机可具有220度或更大的视野。在一些示例中，可以使用音频来同步图像。例如，音频可以是来自环境的环境噪声。在一些示例中，可以从不同的相机匹配音频，并且可以使用来自相同时间点的视频帧来生成全景。在一些示例中，处理器可以使相机捕获同步的图像。
在框804处，处理器校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体以生成去经失真的直线图像。例如，可以使用固有和外部相机参数来校准同步的图像。在一些示例中，处理器还可以校正经去失真的直线图像以补偿相机未对准。
在框806处，处理器估计经去失真的直线图像的相邻视图之间的视差，以确定经去失真的直线图像之间的光流。
在框808处，处理器基于光流对经去失真的直线图像执行视图间插值。例如，处理器可以对来自相邻相机的经去失真的直线图像执行视图间插值。在一些示例中，插值还可以基于平滑因子。例如，平滑因子可以基于头戴式显示器的平移速度。在一些示例中，平滑因子可以随着从头戴式显示器检测到的更低速度而更高。在一些示例中，平滑因子可以随着从头戴式显示器检测到的更高速度而更低。
在框810处，处理器使用同心观察圆来生成多个视角的立体光场全景。在一些示例中，处理器可以使用同心观察圆来执行全方位拼接。例如，处理器可针对每个视角拼接对应于同心观察圆的多个图像平面的多个切片，如上面的图4A和图4B中所述。在一些示例中，可以基于固定的瞳孔间距离来约束同心观察圆。
在框812处，处理器响应于从头戴式显示器接收与视角相对应的坐标，而将对应于视角的立体光场全景发送到头戴式显示器。在一些示例中，处理器随后可以从头戴式显示器接收对应于检测到的平移的更新的坐标，并且将对应于更新的视角的更新的立体光场全景发送到头戴式显示器。在头戴式显示器上显示的更新的立体光场全景可以使得用户能够检测与头戴式显示器的平移相对应的运动视差。
该过程流程图不旨在指示示例过程800的块将以任何特定顺序被执行，或者在每种情形下都包括所有块。此外，取决于具体实现方式的细节，可以在示例过程800中包括未示出的任何数量的附加块。
现在参考图9，展示了示出可以使用同心观察圆来生成立体光场全景的示例计算设备的框图。计算设备900可以是例如膝上型计算机、台式计算机、平板计算机、移动设备、或可穿戴设备等。在一些示例中，计算设备900可以是智能相机或数字安全监视相机。计算设备900可以包括：被配置为执行存储的指令的中央处理单元(CPU)902；以及存储可由CPU902执行的指令的存储器设备904。CPU 902可以耦接到存储器设备。另外，CPU 902可以是单核处理器、多核处理器、计算集群或任何数量的其它配置。此外，计算设备900可以包括不止一个CPU 902。在一些示例中，CPU 902可以是具有多核处理器架构的片上***(SoC)。在一些示例中，CPU 902可以是用于图像处理的专用数字信号处理器(DSP)。存储器设备904可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其它合适的存储器***。例如，存储器设备904可以包括动态随机存取存储器(DRAM)。
存储器设备904可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其它合适的存储器***。例如，存储器设备904可以包括动态随机存取存储器(DRAM)。存储器设备904可以包括被配置为执行用于设备发现的指令的设备驱动器910。设备驱动器910可以是软件、应用程序、应用代码等。
计算设备900还可以包括图形处理单元(GPU)908。如图所示，CPU 902可以通过总线906耦接到GPU 908。GPU 908可以被配置为在计算设备900内执行任意数量的图形操作。例如，GPU 908可以被配置为呈现或操纵要显示给计算设备900的用户的图形图像、图形帧、视频等。
存储器设备904可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其它合适的存储器***。例如，存储器设备904可以包括动态随机存取存储器(DRAM)。存储器设备904可以包括被配置为执行用于生成光场全景的指令的设备驱动器910。设备驱动器910可以是软件、应用程序、应用代码等。
CPU 902还可以通过总线906连接到输入/输出(I/O)设备接口912，I/O设备接口912被配置为将计算设备900连接到一个或多个I/O设备914。I/O设备914例如可以包括键盘和指点(pointing)设备，其中指点设备可以包括触摸板或触摸屏等。I/O设备914可以是计算设备900的内置组件，或者可以是外部连接到计算设备900的设备。在一些示例中，存储器904可以通过直接存储器访问(DMA)通信地耦接到I/O设备914。
CPU 902还可以通过总线906链接到显示接口916，显示接口916被配置为将计算设备900连接到显示设备918。显示设备918可以包括作为计算设备900的内置组件的显示屏。显示设备918还可以包括在计算设备900内部或外部连接到计算设备900的计算机监视器、电视机或投影仪等。显示设备918还可以包括头戴式显示器。例如，头戴式显示器可以接收对应于特定视角的立体光场全景。例如，头戴式显示器可以检测平移并将对应于视角的更新的坐标发送到下面描述的接收器932。
计算设备900还包括存储设备920。存储设备920是物理存储器，例如，硬盘驱动器、光盘驱动器、拇指驱动器、驱动器阵列、固态驱动器、或其任何组合。存储设备920还可以包括远程存储驱动器。
计算设备900还可以包括网络接口控制器(NIC)922。NIC 922可以被配置为通过总线906将计算设备900连接到网络924。网络924可以是广域网(WAN)、局域网(LAN)、或互联网等。在一些示例中，设备可以通过无线技术与其它设备通信。例如，设备可以经由无线局域网连接与其它设备通信。在一些示例中，设备可以经由(蓝牙)或类似技术与其它设备连接和通信。
计算设备900还包括相机接口926。例如，相机接口926可以连接到多个相机928。在一些示例中，多个相机可以布置在相机环中。在一些示例中，相机928可以包括广角镜头。例如，可以基于目标视差范围、相机的相机环的半径、以及根据上面的等式1-5的广角镜头的目标视野来设计广角镜头。在一些示例中，相机928可以用于捕获场景的360度角视频。
计算设备900还包括光场全景生成器930。例如，光场全景生成器930可用于生成要在头戴式显示器中观看的立体光场全景视频。光场全景生成器930可包括接收器932、校准器和投影仪934、观察圆生成器936、视图插值器938、光场视频生成器940和发送器942。在一些示例中，光场全景生成器930的每个组件932-942可以是微控制器、嵌入式处理器或软件模块。接收器932可以接收多个同步的图像。例如，同步的图像可以包括距离用于捕获同步的图像的一圈相机至少一米的物体。在一些示例中，使用多个广角镜头捕获多个同步图像并使用音频进行同步。校准器和投影仪934可校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像。在一些示例中，校准器和投影仪934还可以校正经去失真的直线图像以补偿相机未对准。差异估计器936可以估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流。视图插值器938可以基于光流对经去失真的直线图像执行视图间插值。例如，插值可以基于平滑因子。平滑因子可以指示要应用的插值的密度。在一些示例中，平滑因子可以基于检测到的头戴式显示器的平移速度。例如，较高的平移速度可以产生较低的平滑因子。较低的速度可以产生较高的平滑度因子。光场视频生成器940可以使用同心观察圆来生成针对多个视角的立体光场全景。例如，可以基于固定的瞳孔间距离来生成同心观察圆。立体光场全景可分别包括对应于每个视角的同心观察圆的多个图像平面切片。发送器942可以将对应于特定视角的立体光场全景发送到头戴式显示器。
图9的框图不旨在指示计算设备900将包括图9中所示的所有组件。相反，计算设备900可以包括更少的组件或图9中未示出的附加的组件(例如，附加的缓冲器、附加的处理器等)。取决于具体实现方式的细节，计算设备900可以包括图9中未示出的任何数量的附加组件。此外，接收器932、校准器和投影仪934、观察圆生成器936、视图插值器938、光场视频生成器940、和发送器942的任何功能可以部分地或全部地在硬件中和/或在处理器902中实现。例如，可以用专用集成电路实现、在处理器902中实现的逻辑中实现、或者在任何其它设备中实现这些功能。例如，可以用专用集成电路实现、在处理器中实现的逻辑中实现、在诸如GPU908之类的专用图形处理单元中实现的逻辑中实现或者在任何其它设备中实现光场全景生成器930的功能。
图10是示出计算机可读介质1000的框图，计算机可读介质1000存储用于使用同心观察圆来生成立体光场全景的代码。计算机可读介质1000可以由处理器1002通过计算机总线1004访问。此外，计算机可读介质1000可以包括被配置为指示处理器1002执行本文描述的方法的代码。在一些实施例中，计算机可读介质1000可以是非暂态计算机可读介质。在一些示例中，计算机可读介质1000可以是存储介质。
这里讨论的各种软件组件可以存储在一个或多个计算机可读介质1000上，如图10所示。例如，接收器模块1006可以被配置为接收多个同步的图像。例如，可以使用音频来对同步的图像进行去失真。校准器和投影仪模块1008可以被配置为校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体以生成经去失真的直线图像。在一些示例中，校准器和投影仪模块1008还可以被配置为对经去失真的直线图像进行校正以补偿相机未对准。差异估计器模块1010可以被配置为估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流。视图插值器模块1012可以被配置为基于光流对经去失真的直线图像执行视图间插值。例如，视图插值器模块1012可以被配置为对来自相邻相机的经去失真的直线图像执行视图间插值。在一些示例中，视图插值器模块1012可以被配置为基于平滑因子来对经去失真的直线图像进行插值。例如，平滑因子可以基于检测到的头戴式显示器的平移速度。光场全景生成器模块1014可以被配置为使用同心观察圆为每个视角生成立体光场全景。在一些示例中，光场全景生成模块1014可以被配置为使用同心观察圆执行全方位拼接。例如，光场全景生成模块1014可以被配置为针对每个视角拼接对应于同心观察圆的多个图像平面的多个切片。在一些示例中，可以基于固定的瞳孔间距离来约束同心观察圆。发送器模块1016可以被配置为从头戴式显示器接收与视角相对应的坐标。例如，坐标可以指示头戴式显示器的平移。发送器模块1016可以被配置为将对应于坐标的视角的立体光场全景发送到头戴式显示器。在一些示例中，发送器模块1016还可以被配置为响应于接收对应于不同视角的更新的坐标，将对应于不同视角的更新的立体光场全景发送到头戴式显示器。
图10的框图不旨在指示计算机可读介质1000将包括图10中所示的所有组件。此外取决于具体实现方式的细节，计算机可读介质1000可包括图10中未示出的任何数量的附加组件。
示例
示例1是用于生成立体光场全景的***。该***包括用于接收多个同步的图像的接收器。该***还包括校准器和投影仪，用于校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体以生成经去失真的直线图像。该***还包括差异估计器，用于估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流。该***还包括视图插值器，用于基于光流对经去失真的直线图像执行视图间插值。该***包括光场全景生成器，以使用同心观察圆生成针对多个视角的立体光场全景。
示例2包括示例1的***，包括或排除可选特征。在该示例中，该***包括发送器，用于将对应于特定视角的立体光场全景发送到头戴式显示器。
示例3包括示例1至2中任一示例的***，包括或排除可选特征。在该示例中，将基于固定的瞳孔间距离生成同心观察圆。
示例4包括示例1至3中任一示例的***，包括或排除可选特征。在该示例中，将要使用的视图间插值的量是基于视图密度阈值和头部运动速度阈值的。
示例5包括示例1至4中任一示例的***，包括或排除可选特征。在该示例中，立体光场全景分别包括对应于每个视角的同心观察圆的多个图像平面的多个切片。
示例6包括示例1至5中任一示例的***，包括或排除可选特征。在该示例中，同步的图像包括距离用于捕获同步图像的一圈相机至少一米的物体。
示例7包括示例1至6中任一示例的***，包括或排除可选特征。在该示例中，使用音频来同步多个同步的图像。
示例8包括示例1至7中任一示例的***，包括或排除可选特征。在该示例中，校准器和投影仪将进一步校正经去失真的直线图像以补偿相机未对准。
示例9包括示例1至8中任一示例的***，包括或排除可选特征。在该示例中，该***包括头戴式显示器以检测平移并将对应于视角的更新的坐标发送到接收器。
示例10包括示例1至9中任一示例的***，包括或排除可选特征。在该示例中，***包括布置在相机环中的多个相机，其中相机包括多个广角镜头，多个广角镜头是基于目标视差范围、相机的相机环的半径、和广角镜头的目标视野进行设计的。
示例11是一种用于生成立体光场全景的方法。该方法包括通过处理器接收多个同步的图像。该方法还包括通过处理器校准同步的图像，对同步的图像进行去失真，以及将经去失真的图像投影到球体以生成经去失真的直线图像。该方法还包括通过处理器估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流。该方法还包括通过处理器基于光流在经去失真的直线图像上执行视图插值。方法包括通过处理器使用同心观察圆来生成针对多个视角的立体光场全景。
示例12包括示例11的方法，包括或排除可选特征。在该示例中，该方法包括通过处理器响应于从头戴式显示器接收到与视角相对应的坐标而将对应于视角的立体光场全景发送到头戴式显示器。
示例13包括示例11至12中任一示例的方法，包括或排除可选特征。在该示例中，该方法包括捕获同步的图像，其中同步的图像是使用音频进行同步的。
示例14包括示例11至13中任一示例的方法，包括或排除可选特征。在该示例中，基于固定的瞳孔间距离来约束同心观察圆。
示例15包括示例11至14中任一示例的方法，包括或排除可选特征。在该示例中，生成立体光场全景视频包括使用同心观察圆来执行全方位拼接。
示例16包括示例11至15中任一示例的方法，包括或排除可选特征。在该示例中，生成立体光场全景视频包括针对每个视角拼接对应于同心观察圆的多个图像平面的多个切片。
示例17包括示例11至16中任一示例的方法，包括或排除可选特征。在该示例中，方法包括校正经去失真的直线图像以补偿相机未对准。
示例18包括示例11至17中任一示例的方法，包括或排除可选特征。在该示例中，方法包括从头戴式显示器接收与检测到的平移相对应的更新的坐标，并将对应于更新的视角的更新的立体光场全景发送到头戴式显示器。
示例19包括示例11至18中任一示例的方法，包括或排除可选特征。在该示例中，所使用的视图间插值的量是基于视图密度阈值和头部运动速度阈值的。
示例20包括示例11至19中任一示例的方法，包括或排除可选特征。在该示例中，对来自相邻相机的经去失真的直线图像执行视图间插值。
示例21是用于生成立体光场全景的至少一个计算机可读介质，其中存储有指示处理器接收多个同步的图像的指令。计算机可读介质还包括指示处理器校准同步的图像、对同步的图像进行去失真、并将经去失真的图像投影到球体以生成经去失真的直线图像的指令。该计算机可读介质还包括指示处理器估计经去失真的直线图像的相邻视图之间的差异以确定经去失真的直线图像之间的光流的指令。该计算机可读介质还包括指示处理器基于光流对经去失真的直线图像执行视图插值的指令。该计算机可读介质还包括指示处理器使用同心观察圆来为生成针对每个视角的立体光场全景的指令。该计算机可读介质还包括指示处理器从头戴式显示器接收与视角相对应的坐标的指令。该计算机可读介质还包括指示处理器将对应于坐标的视角的立体光场全景发送到头戴式显示器的指令。
示例22包括示例21的计算机可读介质，包括或排除可选特征。在该示例中，计算机可读介质包括使用同心观察圆来执行全方位拼接的指令。
示例23包括示例21至22中任一示例的计算机可读介质，包括或排除可选特征。在该示例中，计算机可读介质包括基于平滑因子对经去失真的直线图像进行插值的指令，其中平滑因子是基于检测到的头戴式显示器的平移速度的。
示例24包括示例21至23中任一示例的计算机可读介质，包括或排除可选特征。在该示例中，计算机可读介质包括用于校正经去失真的直线图像以补偿相机未对准的指令。
示例25包括示例21至24中任一示例的计算机可读介质，包括或排除可选特征。在该示例中，计算机可读介质包括响应于接收到对应于不同视角的更新的坐标而将对应于不同视角的更新的立体光场全景发送到头戴式显示器的指令。
示例26包括示例21至25中任一示例的计算机可读介质，包括或排除可选特征。在该示例中，计算机可读介质包括针对每个视角拼接对应于同心观察圆的多个图像平面的多个切片的指令。
示例27包括示例21至26中任一个的计算机可读介质，包括或排除可选特征。在该示例中，计算机可读介质包括基于视图密度阈值和头部运动速度阈值来设置视图间插值的量的指令。
示例28包括示例21至27中任一示例的计算机可读介质，包括或排除可选特征。在该示例中，计算机可读介质包括对来自相邻相机的经去失真的直线图像执行视图间插值的指令。
示例29包括示例21至28中任一示例的计算机可读介质，包括或排除可选特征。在该示例中，基于固定的瞳孔间距离来约束同心观察圆。
示例30包括示例21至29中任一示例的计算机可读介质，包括或排除可选特征。在该示例中，计算机可读介质包括捕获图像并使用音频来同步图像的指令。
示例31是用于生成立体光场全景的装置。该装置包括接收器，用于接收多个同步的图像。该装置还包括校准器和投影仪，用于校准同步的图像，对同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像。该装置还包括差异估计器，用于估计经去失真的直线图像的相邻视图之间的差异，以确定经去失真的直线图像之间的光流。该装置还包括视图插值器，用于基于光流对经去失真的直线图像执行视图间插值。该装置还包括光场全景生成器，用于使用同心观察圆来生成针对多个视角的立体光场全景。
示例32包括示例31的装置，包括或排除可选特征。在该示例中，该装置包括发送器，用于将对应于特定视角的立体光场全景发送到头戴式显示器。
示例33包括示例31至32中任一个的装置，包括或排除可选特征。在该示例中，将基于固定的瞳孔间距离生成同心观察圆。
示例34包括示例31至33中任一个的装置，包括或排除可选特征。在该示例中，将要使用的视图间插值的量是基于视图密度阈值和头部运动速度阈值的。
示例35包括示例31至34中任一个的装置，包括或排除可选特征。在该示例中，立体光场全景分别包括对应于每个视角的同心观察圆的多个图像平面的多个切片。
示例36包括示例31至35中任一个的装置，包括或排除可选特征。在该示例中，同步的图像包括距离用于捕获同步图像的一圈相机至少一米的物体。
示例37包括示例31至36中任一个的装置，包括或排除可选特征。在该示例中，使用音频来同步多个同步的图像。
示例38包括示例31至37中任一个的装置，包括或排除可选特征。在该示例中，校准器和投影仪将进一步校正经去失真的直线图像以补偿相机未对准。
示例39包括示例31至38中任一个的装置，包括或排除可选特征。在该示例中，装置包括头戴式显示器以检测平移并将对应于视角的更新的坐标发送到接收器。
示例40包括示例31至39中任一个的装置，包括或排除可选特征。在该示例中，该装置包括布置在相机环中的多个相机，其中相机包括多个广角镜头，多个广角镜头是基于目标视差范围、相机的相机环的半径和广角镜头的目标视场视野进行设计的。
示例41是用于生成立体光场全景的***。该***包括用于接收多个同步的图像的装置。该***还包括用于校准同步的图像、对同步的图像进行去失真、以及将经去失真的图像投影到球体以生成经去失真的直线图像的装置。该***还包括用于估计经去失真的直线图像的相邻视图之间的差异以确定经去失真的直线图像之间的光流的装置。该***还包括用于基于光流对经去失真的直线图像执行视图间插值的装置。该***还包括用于使用同心观察圆来生成针对多个视角的立体光场全景的装置。
示例42包括示例41的***，包括或排除可选特征。在该示例中，***包括用于将对应于特定视角的立体光场全景发送到头戴式显示器的装置。
示例43包括示例41至42中任一示例的***，包括或排除可选特征。在该示例中，将基于固定的瞳孔间距离生成同心观察圆。
示例44包括示例41至43中任一示例的***，包括或排除可选特征。在该示例中，将要使用的视图间插值的量是基于视图密度阈值和头部运动速度阈值的。
示例45包括示例41至44中任一示例的***，包括或排除可选特征。在该示例中，立体光场全景分别包括对应于每个视角的同心观察圆的多个图像平面的多个切片。
示例46包括示例41至45中任一示例的***，包括或排除可选特征。在该示例中，同步的图像包括距离用于捕获同步图像的一圈相机至少一米的物体。
示例47包括示例41至46中任一示例的***，包括或排除可选特征。在该示例中，使用音频来同步多个同步的图像。
示例48包括示例41至47中任一示例的***，包括或排除可选特征。在该示例中，用于校准同步图像的装置进一步校正经去失真的直线图像以补偿相机未对准。
示例49包括示例41至48中任一示例的***，包括或排除可选特征。在该示例中，***包括用于检测平移并将对应于视角的更新的坐标发送到接收器的装置。
示例50包括示例41至49中任一示例的***，包括或排除可选特征。在该示例中，***包括布置在相机环中的多个相机，其中相机包括多个广角镜头，多个广角镜头是基于目标视差范围、相机的相机环的半径、和广角镜头的目标视野进行设计的。
并非本文描述和示出的所有组件、特征、结构、特性等都需要被包括在特定的一个或多个方面中。如果说明书阐述了组件、特征、结构、或特性“可以(may)”、“可能(might)”、“能够(can)”、或“能(could)”被包括，则例如该特定组件、特征、结构、或特性不一定被包括。如果说明书或权利要求提及“一个(a)”或“某个(an)”元素，那并不意味着仅有一个元素。如果说明书或权利要求提及“附加”元素，则不排除存在不止一个附加元素。
应注意的是，尽管已参考特定实现方式描述了一些方面，但根据一些方面的其他实现方式也是可能的。另外，附图中示出的和/或本文所描述的电路元素或其他特征的布置和/或顺序不需要以所示出和所描述的特定方式来布置。根据一些方面，许多其他布置是可能的。
在图中所示的每个***中，在一些情况下，元素可以各自具有相同的参考数字或不同的参考数字，以表明所表示的元素可以是不同的和/或相似的。然而，元素可以足够灵活以具有不同的实现方式并且与本文示出或描述的***中的一些或全部一起起作用。图中所示的各种元素可以相同或不同。哪个被称为第一元素，哪个被称为第二元素是任意的。
应理解的是，前述示例中的细节可用于一个或多个方面中的任何地方。例如，上面所描述的计算设备的全部可选特征也可以关于本文所描述的方法或计算机可读介质中的任一项来实现。此外，虽然本文可能已经使用流程图和/或状态图来描述各方面，但本技术不限于那些图或者本文相应的描述。例如，流程不需要穿过每个示出的框或状态或者以与本文所示出和描述的完全相同的顺序移动。
本技术不限于本文列出的具体细节。实际上，受益于本公开的本领域技术人员将理解的是，可以在本技术的范围内对前述描述和附图进行许多其他变型。因此，所附权利要求包括限定本技术范围的任何修改。

Claims (25)

1.一种用于生成立体光场全景的***，包括：
接收器，用于接收多个同步的图像；
校准器和投影仪，用于校准所述同步的图像，对所述同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像；
差异估计器，用于估计所述经去失真的直线图像的相邻视图之间的差异，以确定所述经去失真的直线图像之间的光流；
视图插值器，用于基于所述光流对所述经去失真的直线图像执行视图间插值；以及
光场全景生成器，用于使用同心观察圆来生成针对多个视角的立体光场全景。
2.如权利要求1所述的***，包括发送器，用于将对应于特定视角的立体光场全景发送到头戴式显示器。
3.如权利要求1所述的***，其中，所述同心观察圆是基于固定的瞳孔间距离生成的。
4.如权利要求1所述的***，其中，将要使用的所述视图间插值的量是基于视图密度阈值和头部运动速度阈值的。
5.如权利要求1所述的***，其中，所述立体光场全景分别包括多个图像平面的多个切片，所述多个图像平面对应于针对每个视角的同心观察圆。
6.如权利要求1所述的***，其中，所述同步的图像包括距离用于捕获所述同步的图像的一圈相机至少一米的物体。
7.如权利要求1所述的***，其中，所述多个同步的图像是使用音频进行同步的。
8.如权利要求1所述的***，其中，所述校准器和投影仪进一步校正所述经去失真的直线图像以补偿相机未对准。
9.如权利要求1所述的***，包括头戴式显示器，用于检测平移并将与视角相对应的更新的坐标发送到所述接收器。
10.如权利要求1所述的***，包括布置在相机环中的多个相机，其中所述相机包括多个广角镜头，所述多个广角镜头是基于目标视差范围、所述相机的相机环的半径、以及所述广角镜头的目标视野进行设计的。
11.一种用于生成立体光场全景的方法，包括：
通过处理器接收多个同步的图像；
通过所述处理器校准所述同步的图像，对所述同步的图像进行去失真，并将经去失真的图像投影到球体上，以生成经去失真的直线图像；
通过所述处理器估计所述经去失真的直线图像的相邻视图之间的差异，以确定所述经去失真的直线图像之间的光流；
通过所述处理器基于所述光流对所述经去失真的直线图像执行视图间插值；并且
通过所述处理器使用同心观察圆来生成针对多个视角的立体光场全景。
12.如权利要求11所述的方法，包括：通过所述处理器响应于从头戴式显示器接收到与视角相对应的坐标而将与所述视角相对应的立体光场全景发送到所述头戴式显示器。
13.如权利要求11所述的方法，包括捕获所述同步的图像，其中所述同步的图像是使用音频进行同步的。
14.如权利要求11所述的方法，其中，所述同心观察圆基于固定的瞳孔间距离被约束。
15.如权利要求11所述的方法，其中，生成所述立体光场全景视频包括使用所述同心观察圆来执行全方位拼接。
16.如权利要求11所述的方法，其中，生成所述立体光场全景视频包括针对每个视角拼接与所述同心观察圆相对应的多个图像平面的多个切片。
17.如权利要求11所述的方法，包括校正所述经去失真的直线图像以补偿相机未对准。
18.如权利要求11所述的方法，包括从头戴式显示器接收与检测到的平移相对应的更新的坐标，并将与更新的视角相对应的更新的立体光场全景发送到所述头戴式显示器。
19.如权利要求11所述的方法，其中，所使用的视图间插值的量是基于视图密度阈值和头部运动速度阈值的。
20.如权利要求11所述的方法，其中，所述视图间插值在来自相邻相机的经去失真的直线图像上被执行。
21.用于生成立体光场全景的至少一种计算机可读介质，其中存储有指令，所述指令响应于在计算设备上被执行而使得所述计算设备执行下述操作：
接收多个同步的图像；
校准所述同步的图像，对所述同步的图像进行去失真，并将经去失真的图像投影到球体上以生成经去失真的直线图像；
估计所述经去失真的直线图像的相邻视图之间的差异，以确定所述经去失真的直线图像之间的光流；
基于所述光流对所述经去失真的直线图像执行视图间插值；
使用同心观察圆生成针对多个视角的立体光场全景；
从头戴式显示器接收与视角相对应的坐标；以及
将与所述坐标相对应的所述视角的立体光场全景发送到所述头戴式显示器。
22.如权利要求21所述的至少一种计算机可读介质，包括使用所述同心观察圆来执行全方位拼接的指令。
23.如权利要求21所述的至少一种计算机可读介质，包括基于平滑因子对所述经去失真的直线图像进行插值的指令，其中所述平滑因子是基于检测到的所述头戴式显示器的平移速度的。
24.如权利要求21所述的至少一种计算机可读介质，包括校正所述经去失真的直线图像以补偿相机未对准的指令。
25.如权利要求21所述的至少一种计算机可读介质，包括响应于接收到与不同视角相对应的更新的坐标而将与所述不同视角相对应的更新的立体光场全景发送到所述头戴式显示器的指令。
CN201810928649.8A 2017-09-15 2018-08-15 使用同心观察圆来生成立体光场全景 Pending CN109510977A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/705,550 US10917633B2 (en) 2017-09-15 2017-09-15 Generating stereoscopic light field panoramas using concentric viewing circles
US15/705,550 2017-09-15

Publications (1)

Publication Number Publication Date
CN109510977A true CN109510977A (zh) 2019-03-22

Family

ID=63407018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810928649.8A Pending CN109510977A (zh) 2017-09-15 2018-08-15 使用同心观察圆来生成立体光场全景

Country Status (3)

Country Link
US (2) US10917633B2 (zh)
EP (1) EP3460746B1 (zh)
CN (1) CN109510977A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047430A (zh) * 2019-04-26 2019-07-23 京东方科技集团股份有限公司 光场数据重构方法、光场数据重构器件及光场显示装置
CN113570620A (zh) * 2021-07-14 2021-10-29 北京达佳互联信息技术有限公司 一种光场数据获取方法、装置、电子设备及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354547B1 (en) * 2016-07-29 2019-07-16 Relay Cars LLC Apparatus and method for virtual test drive for virtual reality applications in head mounted displays
EP3523777A4 (en) * 2016-12-06 2019-11-13 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE
US10917633B2 (en) 2017-09-15 2021-02-09 Intel Corporation Generating stereoscopic light field panoramas using concentric viewing circles
US11812009B2 (en) 2018-06-22 2023-11-07 Intel Corporation Generating virtual reality content via light fields
EP3651119A1 (en) * 2018-11-06 2020-05-13 Koninklijke Philips N.V. Disparity estimation from a wide angle image
CN111147815A (zh) * 2019-12-25 2020-05-12 北京恒峰致远科技有限公司 一种视频监控***
CN111147768A (zh) * 2019-12-25 2020-05-12 北京恒峰致远科技有限公司 一种提高回看效率的智能监控视频回看方法
CN111064933B (zh) * 2019-12-27 2021-04-06 成都英飞睿技术有限公司 一种红外全景监控***
US11917119B2 (en) 2020-01-09 2024-02-27 Jerry Nims 2D image capture system and display of 3D digital image
KR20220105192A (ko) * 2021-01-18 2022-07-27 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
WO2022261111A1 (en) * 2021-06-07 2022-12-15 Jerry Nims 2d digital image capture system and simulating 3d digital image and sequence

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548269B2 (en) * 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
US10038887B2 (en) * 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
FI20165059A (fi) * 2016-01-29 2017-07-30 Nokia Technologies Oy Menetelmä ja laite videoinformaation käsittelemiseksi
US10116880B2 (en) * 2016-02-05 2018-10-30 Sintai Optical (Shenzhen) Co., Ltd. Image stitching method and image processing apparatus
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
US10928638B2 (en) * 2016-10-31 2021-02-23 Dolby Laboratories Licensing Corporation Eyewear devices with focus tunable lenses
US10419669B2 (en) * 2017-01-17 2019-09-17 Disney Enterprises, Inc. Omnistereoscopic panoramic video
US11252391B2 (en) * 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US11184599B2 (en) * 2017-03-15 2021-11-23 Pcms Holdings, Inc. Enabling motion parallax with multilayer 360-degree video
US10621767B2 (en) * 2017-06-12 2020-04-14 Qualcomm Incorporated Fisheye image stitching for movable cameras
US10917633B2 (en) 2017-09-15 2021-02-09 Intel Corporation Generating stereoscopic light field panoramas using concentric viewing circles

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047430A (zh) * 2019-04-26 2019-07-23 京东方科技集团股份有限公司 光场数据重构方法、光场数据重构器件及光场显示装置
CN113570620A (zh) * 2021-07-14 2021-10-29 北京达佳互联信息技术有限公司 一种光场数据获取方法、装置、电子设备及存储介质
CN113570620B (zh) * 2021-07-14 2024-03-05 北京达佳互联信息技术有限公司 一种光场数据获取方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3460746B1 (en) 2020-11-18
US20210120225A1 (en) 2021-04-22
EP3460746A1 (en) 2019-03-27
US20190089940A1 (en) 2019-03-21
US10917633B2 (en) 2021-02-09
US11368669B2 (en) 2022-06-21

Similar Documents

Publication Publication Date Title
CN109510977A (zh) 使用同心观察圆来生成立体光场全景
CN106413829B (zh) 图像编码和显示
CN106464854B (zh) 图像编码和显示
US10054796B2 (en) Display
JP6020923B2 (ja) 焦点可変レンズを有するビューア、および映像表示システム
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
CN205195880U (zh) 观看设备及观看***
EP3729166A1 (en) Head-mountable apparatus and methods
CN111712859B (zh) 用于生成视图图像的装置和方法
US11187895B2 (en) Content generation apparatus and method
JP2012129768A (ja) 書画カメラ、書画カメラの制御方法、プログラムおよび表示処理システム
US20240036327A1 (en) Head-mounted display and image displaying method
CN113438465A (zh) 一种显示调节方法、装置、设备及介质
EP4207067A1 (en) Apparatus and method for virtual reality
Hasmanda et al. The modelling of stereoscopic 3D scene acquisition
JP2012244466A (ja) 立体画像処理装置
CN115202475A (zh) 显示方法、装置、电子设备及计算机可读存储介质
BR112021014724A2 (pt) Aparelho para renderizar imagens, aparelho para gerar um sinal de imagem, método para renderizar imagens, método para gerar um sinal de imagem e produto de programa de computador
EP4030752A1 (en) Image generation system and method
CN117203668A (zh) 2d数字图像捕获***、帧速度和模拟3d数字图像序列
CN116097644A (zh) 2d数字图像捕获***和模拟3d数字图像序列
WO2012169220A1 (ja) 立体画像表示装置および立体画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination