CN112868052A - 用于提供具有六个自由度的至少部分内容的方法和*** - Google Patents

用于提供具有六个自由度的至少部分内容的方法和*** Download PDF

Info

Publication number
CN112868052A
CN112868052A CN201980067733.8A CN201980067733A CN112868052A CN 112868052 A CN112868052 A CN 112868052A CN 201980067733 A CN201980067733 A CN 201980067733A CN 112868052 A CN112868052 A CN 112868052A
Authority
CN
China
Prior art keywords
content
point
geometry
geometric shape
virtual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980067733.8A
Other languages
English (en)
Inventor
J·D·麦克尤恩
M·安德
C·G·R·沃利斯
M·达维扎克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caganova Ltd
Original Assignee
Caganova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caganova Ltd filed Critical Caganova Ltd
Publication of CN112868052A publication Critical patent/CN112868052A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种用于在虚拟环境中提供具有六个自由度的至少部分内容的方法，包括：接收虚拟环境的部分内容；将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；将所述部分内容投影到第一几何形状的表面的第一点上；基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；将所述部分内容投影到第一几何形状的表面或第二几何形状的表面的第二点上，所述第二点与所述第一点不同；基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动。

Description

用于提供具有六个自由度的至少部分内容的方法和***
技术领域
本发明涉及一种用于提供具有六个自由度的至少部分内容的方法和***。
背景技术
随着近来新一代虚拟现实(VR)硬件(例如Google Cardboard，Google Daydream，Samsung Gear，HTC Vive，Oculus Rift)的普及，对VR体验的兴趣迅速增长。从观看360°照片和视频到合成环境的计算机生成图像(CGI)，范围广泛的VR体验均可获得。尽管前者(360°内容)由于是基于捕获的摄影内容而非常逼真，但它们不是交互式的。相反，尽管后者(CGI合成环境)通常是交互式的，但它们通常很不逼真。
当前的360°VR体验允许用户环顾四周场景，但不能在场景内移动。从技术上讲，当前体验仅支持旋转运动的3自由度(DOF)。当前的360°体验不支持允许用户在场景内移动的3DOF位置(平移)移动。这打破了沉浸式360°内容提供的存在感。同时支持旋转和位置移动会产生6DOF移动，其中3DOF来自旋转移动，3DOF来自位置(平移)移动。
缺乏对6DOF的支持也会导致网络晕动症。网络晕动症的主要原因之一是感觉冲突。感觉冲突发生在身体的不同感觉不协调时，就像他们在物理世界时通常遇到的感觉冲突一样。最常见的感觉冲突是视觉-前庭冲突。当视觉和前庭(即内耳)的感觉***处于冲突时，就会发生视觉-前庭冲突。在当前的360°VR***中，如果用户在物理世界中移动(例如，倾斜或向前迈步)，则内耳会感觉到该运动，但是相应的运动没有在虚拟环境中可视地反映出来。由于前庭***(内耳)感知到运动，而视觉***无法感知，因此这两个***处于冲突中，这可能导致网络晕动症。
已经尝试了其他方法来解决上述问题。下面概述两种这样的方法。
体积捕获
体积捕获方法试图获取完整的三维体积信息。一旦获取了完整的体积内容，就可以从任一视点重新渲染场景，从而支持6DOF运动。体积视频的效果令人印象深刻，但需要高度专业化的摄影装备来获取体积信息。获取体积信息的过程是很耗时的，并且数据量通常非常大。体积捕获装置需要额外的传感器，也非常昂贵。体积方法不能应用于标准消费者或专业360°摄像机获取的内容，也不能与无法获得完整三维体积信息的已有媒体和/或内容一起使用。
三维几何结构的重构
一种替代方法是尝试恢复场景的整个三维几何结构，然后使用恢复的几何结构合成场景的新的视图。几何结构可以从双目立体匹配(stereo correspondence)中恢复。这可以通过一对立体摄像机或用于静态场景的运动摄像机(运动摄像机需要静态场景，以便可以恢复场景的帧之间的对应关系)来实现，在Huang，Chen，Ceylan，Jin，2017，IEEE虚拟现实，3744，https：//ieeexplore.ieee.org/document/7892229/的文章中，提出了一种通过从单个运动360°摄像机恢复几何结构来支持6DOF的***。该***不仅支持6DOF，而且还可以合成立体视图。然而，恢复完整的三维几何结构是一个具有挑战性的问题，正如在Huang等人的文章所提到的(2017)，效果的质量取决于恢复的几何结构的准确性。例如，由于噪声、无纹理区域、遮挡和照明变化而导致的几何结构中的大的孔洞将有问题的伪像引入场景中。此外，该***需要一个移动摄像机，因此无法应用于单张360°照片。该***还需要静态场景，因此无法应用于具有动态场景的视频。
本发明试图通过在现有的沉浸式内容中提供对6DOF运动的支持来解决上述问题，以改善用户体验并减少可能由于用户的前庭和视觉***之间的冲突而引起的恶心的情况和影响。
发明内容
本发明的一个方面提供了一种用于在虚拟环境中提供具有六个自由度的至少部分内容的方法，包括：
a)接收所述虚拟环境的部分内容；
b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；
c)将所述部分内容投影到第一几何形状的表面的第一点上；
d)基于步骤c)的输出，确定与第一位置处的部分内容有关的第一结果；
e)将所述部分内容投影到位于以下表面上的第二点：
ο第一几何形状的表面或
ο第二几何形状的表面，
所述第二点与所述第一点不同；
f)基于步骤e)的输出，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及
g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动
其中每个步骤均由至少一个处理器独立执行。
本发明认识到，通过消除视觉-前庭冲突，支持用于通过VR头戴式设备观看的沉浸式内容的6DOF运动，显著减少了网络晕动症。上面概述的现有技术方法通常需要通过使用昂贵的视频捕获和处理装置来获取大量的体积数据或重新创建整个场景。此外，现有技术方法不能应用于某些内容类型或已有的内容。本发明提供了一种解决方案，该解决方案可以通过仅操作将由VR***的用户立即观看的部分内容，来应用于现有的沉浸式内容。其数据规模可由诸如移动电话和个人计算机之类的普通消费电子装置管理。本发明的方法还可以应用于包括360°沉浸式内容、180°内容、标准照片和空间音频的现有内容。
本发明的另一方面提供了一种***，包括：
存储器，其包括指令；以及
至少一个处理器，其耦合到所述存储器，其中，所述指令被配置为使所述处理器：
a)接收所述虚拟环境的至少部分内容；
b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；
c)将所述部分内容投影到第一几何形状的表面的第一点上；
d)基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；
e)将所述部分内容投影到位于以下表面上的第二点：
ο第一几何形状的表面或
ο第二几何形状的表面，
所述第二点与所述第一点不同；
f)基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及
g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动。
本发明的另一方面提供一种其上存储有指令的有形计算机可读装置，所述指令在由至少一个计算装置执行时，使所述至少一个计算装置执行以下操作：
a)接收所述虚拟环境的至少部分内容；
b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；
c)将所述部分内容投影到第一几何形状的表面的第一点上；
d)基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；
e)将所述部分内容投影到位于以下表面上的第二点：
ο第一几何形状的表面或
ο第二几何形状的表面，
所述第二点与所述第一点不同；
f)基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及
g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，所述六个自由度包括在虚拟环境中的旋转运动和位置运动。
附图说明
现在将参考以下附图描述本发明的各个方面和实施例：
图1a示出了具有基于偏航(yaw)、俯仰(pitch)或翻滚(roll)运动的3DOF的现有技术的VR***。
图1b示出了在本发明中通过在x、y和z维度上的平移运动外还提供另外的3DOF运动。以及
图2示出了球体S的表面到位移球体S'的表面上的投影，其中点P被映射到P'。
具体实施方式
出于本描述的目的，要理解，可以通过移动电话、专用VR头戴式设备或其他计算装置(例如游戏机、个人计算机或平板电脑)创建在虚拟环境中使用的内容。
如附图所示，本发明的一方面使得能够合成一个资产(asset)的一种新的形式，将其显示成就好像该资产是从一个位移位置获取的一样。在合成位移(沿任一路径)逐渐增加的情况下，通过观看原资产的合成形式，可以实现场景中位置移动的印象。所有谈到的资产包括(但不限于)对360°和180°媒体内容以及空间音频和数字照片的指称。
本发明通过考虑在几何形状上显示的360°资产，可能是在球体的表面或弯曲/变形的球体的表面上(以下，当谈到球体表面或球体模型时，我们分别指球体或扭曲/变形的球体的表面或模型)来合成位移。注意，所述资产不一定需要显式映射到(可能变形/扭曲的)球体表面上。通过对资产的球体表示形式进行新颖的重投影变换，可以构建360°资产的合成形式，将其表示成就好像它是从一个位移位置获取的一样。请注意，不必合成完整资产，而仅合成用户正在观察的区域。此重投影变换精确地模拟了在少量移动的微小范围(即，在获取的位置与合成位置之间的位置存在小的偏移)中发生的视图变化。随着位移大小的增加，该变换变得越来越接近。然而，即使是相对较大的位移，其效果也是相当逼真。有多种可用于实现该效果的方法，下面概述了其中的三种。应当理解，下面概述的方法不是互相排斥的。例如，在某些实施例中，可将重投影方法与位置摄像机模型结合。
球体投影
如图2所示，实现本发明的一种方法是考虑一个球体表面的显式重投影。将点P映射到位移球体的显式解析表达式可以如下推导：球体模型(S)的表面上的点(P)可以投影到位移球体模型(S')的表面上的点(P')处，如图2所示。从显示的球体模型S'的原点发出一条射线到原球体模型S上点P。投影点P'从该射线与球体表面S'的交点中恢复(recovery)。以这种方式，可以恢复P和P'之间的投影，并通过三角公式解析地表示。
球体建模和映射
实现本发明的另一种方法是在合成来自不同位置的模型的视图之前，显式地构建三维球体模型(或扭曲/变形球体模型)并将资产投影到球体模型上。要构建球体模型，可以考虑多种方法，例如，三维三角形网格。然后可以考虑各种标准投影，根据原资产的数据格式将资产投影到球体模型上。例如，如果资产以通常的等矩形格式存储，则可以使用标准的等角或圆柱形投影。一旦资产映射到三维球体模型，可以将合成摄像机放置在球体模型的中心，以恢复资产的原视图。对于合成摄像机模型，可以考虑各种模型，例如投影摄像机建模，诸如透视效应，CCD(电荷耦合装置)效应等。通过简单地移动合成摄像机来模仿用户的物理移动，即可获得场景中位置运动的印象。为了在实践中实施此方法，可以利用标准的图形开发编程语言或平台，例如OpenGL、Unity等。这些***通常具有摄像机模型，例如，可以轻松部署以生成三维模型的合成视图。
隐式表面
实现本发明的另一种方法是通过函数S的等值线(iso-contour)(等值面(level-set))隐式表示表面，其中3D点x使得S(x)＝0定义该表面。然后，如下合成原360°资产在位移位置的新的视图。找到从要合成的新视点沿所有方向投射的射线到原隐式表面的交点。该交点可以通过解析或数值方式求解。找到交点后，计算原视点的观看方向。一旦知道该观看方向，就通过将其与针对该观看方向的原资产中的相应强度相关联(可选地插值)，对该合成视点计算要显示的适当的强度。
在一些实施例中，仅操作场景中对于佩戴VR头戴式设备的用户可见的部分。当用户在现实世界中移动时，无论是平移运动，即向前、向后、向左、向右、向上或向下，还是旋转运动，即偏航、俯仰或翻滚，都将对场景进行数字化修改，以在场景中显示用户在现实世界中体验到的等效运动。例如，基于360°内容的冒险角色扮演游戏，其中用户被分派检查某些数字人工制品以寻找线索。例如，如果该人工制品是放在桌子上或书架上，用户的倾向将是向前倾斜或向对象走去。使用传统的VR头戴式设备和软件，这种向前运动不会反映在360°内容中。使用本发明的***和方法，用户可见的场景部分将***作以合成或重投影场景的相关部分，并提供用户在场景内移动的效果。由场景的部分的合成或重投影提供的移动效果具有减少网络晕动症和增强用户体验的效果。用户的现实生活中的移动也可以按比例缩放，以使得用户响应于现实生活中的移动而感知到更大或更小的场景移动。例如，现实生活中向前或向后10cm的移动在场景移动中可能会放到1米。
通过至少包括耦合到存储器的处理器和存储器的计算机操作***来实现本发明。存储器包括计算机可读指令，该计算机可读指令在被执行时使处理器接收用于虚拟环境的至少部分内容。该部分内容根据上述方法进行操作，以提供6DOF的沉浸式内容。
尽管前面的描述集中于光领域，即照片和视频，但是该同一发明可以应用于一般的360°领域，包括但不限于声领域，例如空间音频。
前面的描述仅以示例的方式提供，并且仅旨在提供实现本发明的可能方式。应当理解，所概述的三种方法不是互相排斥的，在不脱离本发明的范围的情况下可以组合每种方法的部分。

Claims (19)

1.一种用于在虚拟环境中提供具有六个自由度的至少部分内容的方法，包括：
a)接收所述虚拟环境的所述部分内容；
b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；
c)将所述部分内容投影到第一几何形状的表面的第一点上；
d)基于步骤c)的输出，确定与第一位置处的部分内容有关的第一结果；
e)将所述部分内容投影到位于以下表面上的第二点：
o第一几何形状的表面或
o第二几何形状的表面，
所述第二点与所述第一点不同；
f)基于步骤e)的输出，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及
g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动
其中每个步骤均由至少一个处理器独立执行。
2.根据权利要求1所述的方法，其中步骤c)包括：
-将所述部分内容映射到所述第一几何形状的表面的所述第一点上，并且
步骤e)包括：
-将所述部分内容映射到位于以下表面上的第二点：
o第一几何形状的表面或
o第二几何形状的表面。
3.根据前述权利要求中任一项所述的方法，其中，所述第一几何形状的表面的第二点被投影到所述第一几何形状上，并且所述第一几何形状是球体。
4.根据前述权利要求中任一项所述的方法，其中，所述第一几何形状的表面的第二点被投影到所述第二几何形状的表面上。
5.根据前述权利要求中任一项所述的方法，其中，所述第一几何形状和所述第二几何形状中的每一个都是球体，并且其中，所述第一几何形状的中心与所述第二几何形状的中心发生位移。
6.根据前述权利要求中任一项所述的方法，其中：
将所述第二点投影到所述第一几何形状的表面和所述第二几何形状的表面上，并且
使用所述第一几何形状的表面和所述第二个几何形状的表面分开执行步骤f)。
7.根据前述权利要求中任一项所述的方法，其中步骤d)和/或步骤f)包括：
-将所述部分内容划分为多个区域，所述多个区域包括第一和第二前景区域以及第一和第二背景区域，其中
o第一前景区域和第一背景区域被投影到第一几何形状上，以及
o第二前景区域和第二背景区域被投影到第二几何形状上，
使得第一几何形状包括第一前景区域和第一背景区域，并且第二几何形状包括第二前景区域和第二背景区域；以及
-使第一几何形状和第二几何形状变形。
8.根据前述权利要求中任一项所述的方法，进一步包括转换所述部分内容以提供所述部分内容的360°信息。
9.根据前述权利要求中任一项所述的方法，其中：
-步骤a)包括从第一摄像机和第二摄像机接收所述部分内容，并且
-步骤b)包括将所述第一几何形状和所述第二几何形状中的至少一个分别与所述第一摄像机和第二摄像机相关联。
10.根据权利要求9所述的方法，其中，所述第一摄像机和/或所述第二摄像机被配置为基于运动的方向或对象的距离以给定的速度运动，其中，所述运动的方向和所述对象的距离中的每一个与虚拟环境的部分内容中的第一参考点和第二参考点有关。
11.根据权利要求9或权利要求10所述的方法，还包括：在用于虚拟环境的所述部分内容中，基于第一参考点与第二参考点处的对象的距离，来校准所述第一运动摄像机或所述第二运动摄像机。
12.根据前述权利要求中任一项所述的方法，其中，所述部分内容包括声音、图像和视频中的一个。
13.根据前述权利要求中任一项所述的方法，其中，所述第一几何形状和所述第二几何形状中的每一个是球体。
14.一种***，包括：
存储器，其包括指令；以及
至少一个处理器，其耦合到所述存储器，其中，所述指令被配置为使所述处理器：
a)接收所述虚拟环境的至少部分内容；
b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；
c)将所述部分内容投影到第一几何形状的表面的第一点上；
d)基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；
e)将所述部分内容投影到位于以下表面上的第二点：
o第一几何形状的表面或
o第二几何形状的表面，
所述第二点与所述第一点不同；
f)基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及
g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动。
15.根据权利要求14所述的***，其中，所述第一几何形状的表面的第二点被投影到所述第一几何形状上，并且所述第一几何形状是球体模型。
16.根据权利要求14或15所述的***，其中，所述第一几何形状的表面的第二点被投影到所述第二几何形状的表面上。
17.根据权利要求14至16中的任一项所述的***，其中，在步骤d)和步骤f)中的至少一个期间，所述处理器被配置为：
-将所述部分内容划分为多个区域，所述多个区域包括第一和第二前景区域以及第一和第二背景区域，其中
o第一前景区域和第一背景区域被投影到第一几何形状上，以及
o第二前景区域和第二背景区域被投影到第二几何形状上，
使得第一几何形状包括第一前景区域和第一背景区域，并且第二几何形状包括第二前景区域和第二背景区域；以及
-使第一几何形状和第二几何形状变形。
18.根据权利要求14至17中的任一项所述的***，其中，所述部分内容包括声音、图像和视频之一。
19.一种其上存储有指令的有形计算机可读装置，所述指令在由至少一个计算装置执行时，使所述至少一个计算装置执行以下操作：
a)接收所述虚拟环境的至少部分内容；
b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；
c)将所述部分内容投影到第一几何形状的表面的第一点上；
d)基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；
e)将所述部分内容投影到位于以下表面上的第二点：
o第一几何形状的表面或
o第二几何形状的表面，
所述第二点与所述第一点不同；
f)基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及
g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，所述六个自由度包括在虚拟环境中的旋转运动和位置运动。
CN201980067733.8A 2018-10-26 2019-10-25 用于提供具有六个自由度的至少部分内容的方法和*** Pending CN112868052A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1817454.0 2018-10-26
GB1817454.0A GB2574487A (en) 2018-10-26 2018-10-26 Method and system for providing at least a portion of content having six degrees of freedom motion
US16/402,701 US10902554B2 (en) 2018-10-26 2019-05-03 Method and system for providing at least a portion of content having six degrees of freedom motion
US16/402701 2019-05-03
PCT/GB2019/053029 WO2020084312A1 (en) 2018-10-26 2019-10-25 Method and system for providing at least a portion of content having six degrees of freedom motion

Publications (1)

Publication Number Publication Date
CN112868052A true CN112868052A (zh) 2021-05-28

Family

ID=64560516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980067733.8A Pending CN112868052A (zh) 2018-10-26 2019-10-25 用于提供具有六个自由度的至少部分内容的方法和***

Country Status (6)

Country Link
US (1) US10902554B2 (zh)
EP (1) EP3871196A1 (zh)
CN (1) CN112868052A (zh)
CA (1) CA3155612A1 (zh)
GB (1) GB2574487A (zh)
WO (1) WO2020084312A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2604344A (en) 2021-03-01 2022-09-07 Kagenova Ltd Configuring an immersive experience
GB2604343A (en) 2021-03-01 2022-09-07 Kagenova Ltd Rendering an immersive experience

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350973A1 (en) * 2015-05-28 2016-12-01 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US20170237971A1 (en) * 2015-04-15 2017-08-17 Lytro, Inc. Image capture for virtual reality displays
US20180122042A1 (en) * 2016-10-31 2018-05-03 Adobe Systems Incorporated Utilizing an inertial measurement device to adjust orientation of panorama digital images
US20180234669A1 (en) * 2017-02-15 2018-08-16 Adobe Systems Incorporated Six-degree of freedom video playback of a single monoscopic 360-degree video

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10009629B2 (en) 2013-10-11 2018-06-26 Sony Corporation Video coding system with search range and method of operation thereof
JP2016031439A (ja) * 2014-07-28 2016-03-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム
US10222932B2 (en) * 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
JP7028168B2 (ja) * 2016-07-29 2022-03-02 ソニーグループ株式会社 画像処理装置および画像処理方法
US10169919B2 (en) * 2016-09-09 2019-01-01 Oath Inc. Headset visual displacement for motion correction
US10708569B2 (en) * 2016-09-29 2020-07-07 Eric Wilson Turbine-Powered Pool Scrubber
EP3523784A1 (en) * 2016-10-07 2019-08-14 VID SCALE, Inc. Geometry conversion and frame packing associated with 360-degree videos
EP3586315B1 (en) * 2017-03-28 2024-06-26 Samsung Electronics Co., Ltd. Method and apparatus for displaying image based on user motion information
US10474227B2 (en) * 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10469968B2 (en) * 2017-10-12 2019-11-05 Qualcomm Incorporated Rendering for computer-mediated reality systems
US10621777B2 (en) * 2018-05-15 2020-04-14 Adobe Inc. Synthesis of composite images having virtual backgrounds
US10733786B2 (en) * 2018-07-20 2020-08-04 Facebook, Inc. Rendering 360 depth content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170237971A1 (en) * 2015-04-15 2017-08-17 Lytro, Inc. Image capture for virtual reality displays
US20160350973A1 (en) * 2015-05-28 2016-12-01 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US20180122042A1 (en) * 2016-10-31 2018-05-03 Adobe Systems Incorporated Utilizing an inertial measurement device to adjust orientation of panorama digital images
US20180234669A1 (en) * 2017-02-15 2018-08-16 Adobe Systems Incorporated Six-degree of freedom video playback of a single monoscopic 360-degree video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李兴东 等: "TOF激光相机六自由度位姿变换估计", 《红外与激光工程》, vol. 44, no. 7, 25 July 2015 (2015-07-25), pages 2231 - 2238 *
李徽 等: "六自由度机构位姿的单相机照相测量研究", 《光学技术》, vol. 36, 15 May 2010 (2010-05-15), pages 344 - 349 *

Also Published As

Publication number Publication date
WO2020084312A1 (en) 2020-04-30
GB201817454D0 (en) 2018-12-12
CA3155612A1 (en) 2020-04-30
US10902554B2 (en) 2021-01-26
EP3871196A1 (en) 2021-09-01
US20200134779A1 (en) 2020-04-30
GB2574487A (en) 2019-12-11

Similar Documents

Publication Publication Date Title
US11010958B2 (en) Method and system for generating an image of a subject in a scene
CN110889890B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
US11282264B2 (en) Virtual reality content display method and apparatus
US8933928B2 (en) Multiview face content creation
JPWO2019031259A1 (ja) 画像処理装置および方法
TW201835723A (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
CN110378947B (zh) 3d模型重建方法、装置及电子设备
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2014119524A1 (ja) 三次元オブジェクトの多視点描画装置、方法、及びプログラム
US9754398B1 (en) Animation curve reduction for mobile application user interface objects
KR20060131145A (ko) 이차원 영상을 이용한 삼차원 물체의 렌더링 방법
JP2001022936A (ja) ３次元形状生成装置
CN112868052A (zh) 用于提供具有六个自由度的至少部分内容的方法和***
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム
JP3538263B2 (ja) 画像生成方法
JP6555755B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2019042028A1 (zh) 全视向的球体光场渲染方法
JP2003284095A (ja) 立体画像処理方法および装置
KR101566459B1 (ko) 이미지 기반의 비주얼 헐에서의 오목 표면 모델링
KR20150001580A (ko) 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품
US20220044351A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
CN110363860B (zh) 3d模型重建方法、装置及电子设备
CN113139992A (zh) 多分辨率体素网格化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination