CN109643465B - 用于创建混合现实环境的***、方法、显示装置、介质 - Google Patents

用于创建混合现实环境的***、方法、显示装置、介质 Download PDF

Info

Publication number
CN109643465B
CN109643465B CN201780050510.1A CN201780050510A CN109643465B CN 109643465 B CN109643465 B CN 109643465B CN 201780050510 A CN201780050510 A CN 201780050510A CN 109643465 B CN109643465 B CN 109643465B
Authority
CN
China
Prior art keywords
color information
pixel
dimensional
information
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780050510.1A
Other languages
English (en)
Other versions
CN109643465A (zh
Inventor
仓林修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cygames Inc
Original Assignee
Cygames Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cygames Inc filed Critical Cygames Inc
Publication of CN109643465A publication Critical patent/CN109643465A/zh
Application granted granted Critical
Publication of CN109643465B publication Critical patent/CN109643465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

提供一种能够在混合现实环境中实时识别真实空间环境的***。根据本发明的***是包括服务器、便携式的显示装置和图像获取装置的***，所述显示装置包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，以及所述图像获取装置用于从能够拍摄预定真实空间中的区域的多个固定点分别获取图像，所述***使得能够针对用户经由显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，所述服务器或所述显示装置包括三维空间数据存储部、表存储部、颜色信息确定部、颜色信息更新部、用户环境确定部、虚拟照明信息生成部和绘制部。

Description

用于创建混合现实环境的***、方法、显示装置、介质
技术领域
本发明涉及***，特别涉及在混合现实环境中实时识别真实空间环境的***。
背景技术
近来，已知被称为MR的混合现实技术作为用于将现实世界与虚拟世界实时无缝融合的技术。该技术使得体验它的用户能够感知到如同那里存在虚拟物体一样。MR技术在各领域中正受到关注。为了实现MR技术，用户穿戴光学透视HMD(头戴式显示器)或视频透视HMD，这使得用户能够观看在HMD上以叠加方式显示的混合现实图像。
作为用于将现实世界识别为3D空间的技术，已知两种方法：即，安装用户视点的高精度照相机的方法、以及以围绕观察空间的方式安装照相机的方法。
作为安装用户视点的高精度照相机的方法，存在使用红外投影器和红外照相机的方法。例如，作为安装用户视点的高精度照相机的方法，存在照射红外线并且根据红外线的反射图案中的变形来测量物体的深度的方法。此外，作为被称为飞行时间(TOF)的方法，存在照射诸如红外线等的不可见光并且测量其反射以计算到对象物体的往返距离的方法。这些方法的问题在于，可以三维地处理的空间范围限制于红外线的到达范围，并且在太阳效果下无法使用。
此外，作为以极高精度拍摄三维信息的方法，存在采用3D激光扫描器的方法。利用这种方法，虽然可以实现高测量精度，但是为了进行360度测量，最少耗费10分钟，并且对于标准图像质量耗费大约30分钟。这抑制了在实时应用中采用该方法。此外，每一个3D激光扫描器花费几百万到几千万日元，这使得它们不适合在大范围内进行大规模部署。由于这些特性，3D激光扫描器正在诸如土木工程中的测量和工厂中的布局确认等的为了高精度3D建模而承受足够长时间的应用中使用。例如，在根据专利文献1实现的技术中，向通过利用3D图像扫描器扫描而创建的点云数据赋予由照相机拍摄的图像的颜色，这使得可以将现实世界实现为3D空间。
作为以围绕观察空间的方式安装多个照相机的方法，存在如下方法：通过使用非专利文献1中描述的被称为运动恢复结构(Structure-from-Motion,SfM)的技术从分别拍摄的多个图像恢复原始三维信息。采用这种方法的众所周知的产品是MicrosoftPhotosynth(注册商标)。尽管SfM实现的精度与MR技术所需的精度相比相对较低，但是SfM是一种可以廉价地构建3D模型的方法。然而，SfM仅具有低的实时属性，并且无法直接应用于MR环境的实现。
如上所述，利用这些方法，无法同时实现实时特性和高精度测量。因此，难以高精度地拍摄诸如建筑物等的背景并且难以识别由于太阳的移动或人的移动而引起的间接照明的变化。
{引用列表}
{专利文献}
专利文献1：日本特开2013-69235
{非专利文献}
非专利文献1：Sameer Agarwal,Yasutaka Furukawa,Noah Snavely,Ian Simon,Brian Curless,Steven M.Seitz,and Richard Szeliski.2011.Building Rome in aday.Commun.ACM 54,10(October 2011),105-112.DOI＝http://dx.doi.org/10.1145/2001269.2001293
发明内容
发明要解决的问题
如上所述，还未建立用于实时且高精度地识别现实世界中的结构或环境并将结果反映在虚拟空间中的任何方法。这例如在MR环境中实现对绘制的虚拟物体的高质量全局照明或用户(HMD)的位置追踪的情况下是问题。
本发明是为了解决该问题而作出的，并且其目的在于提供一种使得能够在混合现实环境中实时地实现真实空间的环境的***。
用于解决问题的方案
为了实现上述目的，根据本发明的方面的***是一种***，其包括服务器、便携式的显示装置和图像获取装置，所述显示装置包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，以及所述图像获取装置用于从能够拍摄预定真实空间中的区域的多个固定点分别获取图像，所述***使得能够针对用户经由所述显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，所述***的特征在于，所述服务器或所述显示装置包括：三维空间数据存储部，其被配置为存储基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的三维空间数据，所述三维空间数据包括各自具有三维位置信息的三维形状要素；表存储部，其被配置为存储表，其中在所述表中，所述图像获取装置所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；颜色信息确定部，其被配置为基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息；颜色信息更新部，其被配置为基于所述图像获取装置所获取到的图像的各个像素的颜色信息的变化来更新所述三维形状要素的颜色信息；用户环境确定部，其被配置为确定所述显示装置的位置和所述拍摄单元的拍摄方向；虚拟照明信息生成部，其被配置为基于所述三维形状要素的颜色信息和三维位置信息来生成针对要绘制的虚拟物体的虚拟照明信息；以及绘制部，其被配置为基于所述显示装置的位置、所述拍摄单元的拍摄方向和所述虚拟照明信息来在所述显示单元上绘制所述虚拟物体。
根据如上所述配置的本发明，通过使用构成三维空间数据的三维形状要素(例如，网格或体素)的位置信息与由图像获取装置(例如，固定照相机)获取到的图像的各个像素的位置信息相关联的表，基于由图像获取装置获取到的图像的像素的颜色信息来确定并更新三维形状要素的颜色信息。通过以这种方式使用该表，可以实时地将从图像获取装置获得的颜色信息反映到各个三维形状要素。
此外，在本发明中，优选地，所述虚拟照明信息生成部基于所述三维形状要素的颜色信息和三维位置信息，来生成与用于容纳要绘制的虚拟物体的虚拟多面体的各个面有关的虚拟照明信息作为针对要绘制的虚拟物体的虚拟照明信息。
根据如上所述配置的本发明，针对要绘制的虚拟物体，假设用于容纳虚拟物体的虚拟多面体，并且根据反映真实空间中的颜色的各个三维形状要素来确定多面体的各个面的颜色(光)的状态。然后，将所确定的各个面的颜色状态用作针对所绘制的虚拟物体的虚拟间接照明。这使得可以绘制颜色和阴影更接近真实空间中的环境的颜色和阴影的虚拟物体。
此外，在本发明中，优选地，所述显示装置还包括位置姿势传感器，以及所述用户环境确定部将所述位置姿势传感器所获取到的所述显示装置的位置和所述拍摄单元的拍摄方向视为临时用户环境，从所述三维空间数据存储部获得所述拍摄单元在相对于所述临时用户环境的预定范围内的位置和方向上能够拍摄到的三维形状要素，并且基于所获得的三维形状要素的颜色信息和三维位置信息以及所述真实空间的拍摄图像来确定所述显示装置的位置和所述拍摄单元的拍摄方向。
根据如上所述配置的本发明，将通过使用位置姿势传感器所确定的显示装置的粗略位置和拍摄单元的拍摄方向视为是临时用户环境，并且通过将位于临时用户环境附近的拍摄单元可拍摄的区域中的三维形状要素的颜色信息和三维位置信息与由拍摄单元拍摄的图像相比较以进行匹配，来确定显示装置的位置和拍摄单元的拍摄方向。这里，通常，显示装置的位置对应于用户的位置，并且拍摄单元的拍摄方向对应于用户面向的方向。
如上所述，通过在从传统的位置姿势传感器获得的粗略位置信息与基于三维空间数据的高精度虚拟空间之间进行匹配，可以对用户的位置以及用户所面向的方向在真实空间和虚拟空间之间的偏差进行实时校正。这使得可以实现与现实高精度地链接的MR环境，从而使得可以实现位置追踪。
此外，在本发明中，优选地，所述三维形状要素是包括基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的多边形的网格。
根据如上所述配置的本发明，可以使用网格作为三维形状要素。
此外，为了实现上述目的，根据本发明的方面的显示装置是一种便携式的显示装置，其包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，所述显示装置使得能够针对用户经由所述显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，所述显示装置的特征在于包括：三维空间数据存储部，其被配置为存储基于预先获得的位于预定真实空间中的真实物体的点云数据而创建的三维空间数据，所述三维空间数据包括各自具有三维位置信息的三维形状要素；表存储部，其被配置为存储表，其中在所述表中，从能够拍摄所述预定真实空间中的区域的多个固定点分别获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；颜色信息确定部，其被配置为基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息；颜色信息更新部，其被配置为基于所获取到的图像的各个像素的颜色信息的变化来更新所述三维形状要素的颜色信息；用户环境确定部，其被配置为确定所述显示装置的位置和所述拍摄单元的拍摄方向；虚拟照明信息生成部，其被配置为基于所述三维形状要素的颜色信息和三维位置信息来生成针对要绘制的虚拟物体的虚拟照明信息；以及绘制部，其被配置为基于所述显示装置的位置、所述拍摄单元的拍摄方向和所述虚拟照明信息来在所述显示单元上绘制所述虚拟物体。
根据如上所述配置的本发明，可以通过显示装置来实现由上述***实现的技术。
此外，为了实现上述目的，根据本发明的方面的***是一种***，其包括服务器和便携式的显示装置，所述显示装置包括用于向用户显示三维虚拟物体的显示单元、用于拍摄真实空间的拍摄单元以及位置姿势传感器，所述***使得能够针对用户经由所述显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，所述***的特征在于，所述服务器或所述显示装置包括：三维空间数据存储部，其被配置为存储基于预先获得的位于预定真实空间中的真实物体的点云数据而创建的三维空间数据，所述三维空间数据包括各自具有颜色信息和三维位置信息的三维形状要素；以及用户环境确定部，其被配置为将所述位置姿势传感器所获取到的所述显示装置的位置和所述拍摄单元的拍摄方向视为临时用户环境，从所述三维空间数据存储部获得所述拍摄单元在相对于所述临时用户环境的预定范围内的位置和方向上能够拍摄到的三维形状要素，并且基于所获得的三维形状要素的颜色信息和三维位置信息以及所述真实空间的拍摄图像来确定所述显示装置的位置和所述拍摄单元的拍摄方向。
根据如上所述配置的本发明，将通过使用位置姿势传感器所确定的显示装置的粗略位置和拍摄单元的拍摄方向视为是临时用户环境，并且通过将位于临时用户环境附近的拍摄单元可拍摄的区域中的三维形状要素的颜色信息和三维位置信息与由拍摄单元拍摄的图像相比较以进行匹配，来确定显示装置的位置和拍摄单元的拍摄方向。
如上所述，通过在从传统的位置姿势传感器获得的粗略位置信息与基于三维空间数据的高精度虚拟空间之间进行匹配，可以对用户的位置以及用户所面向的方向在真实空间和虚拟空间之间的偏差进行实时校正。这使得可以实现与现实高精度地链接的MR环境，从而使得可以实现位置追踪。
此外，为了实现上述目的，根据本发明的方面的方法是一种方法，用于针对用户经由便携式的显示装置的显示单元在预定真实空间中观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，所述方法的特征在于包括：用于从能够拍摄所述预定真实空间中的区域的多个固定点分别获取图像的步骤；用于基于所获取到的图像在与三维形状要素相对应的位置处的像素的颜色信息来确定所述三维形状要素的颜色信息的步骤，其中，所述三维形状要素具有三维位置信息，并且所述三维形状要素构成基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的三维空间数据；用于基于所获取到的图像的各个像素的颜色信息的变化来更新所述三维形状要素的颜色信息的步骤；用于确定所述显示装置的位置和所述显示装置中所包括的拍摄单元的拍摄方向的步骤；用于基于所述三维形状要素的颜色信息和三维位置信息来生成针对要绘制的虚拟物体的虚拟照明信息的步骤；以及用于基于所述显示装置的位置、所述拍摄单元的拍摄方向和所述虚拟照明信息来在所述显示单元上绘制所述虚拟物体的步骤。
此外，为了实现上述目的，根据本发明的方面的程序是一种用于***的程序，所述***包括服务器、便携式的显示装置和图像获取装置，所述显示装置包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，以及所述图像获取装置用于从能够拍摄预定真实空间中的区域的多个固定点分别获取图像，所述程序使得能够针对用户经由所述显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，所述程序的特征在于使得所述服务器执行：用于从所述显示装置获得图像的步骤；用于基于所述图像获取装置所获取到的图像在与三维形状要素相对应的位置处的像素的颜色信息来确定所述三维形状要素的颜色信息的步骤，其中，所述三维形状要素具有三维位置信息，并且所述三维形状要素构成基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的三维空间数据；用于基于所述图像获取装置所获取到的图像的各个像素的颜色信息的变化来更新所述三维形状要素的颜色信息的步骤；用于确定所述显示装置的位置和所述拍摄单元的拍摄方向的步骤；用于基于所述三维形状要素的颜色信息和三维位置信息来生成针对要绘制的虚拟物体的虚拟照明信息的步骤；以及用于基于所述显示装置的位置、所述拍摄单元的拍摄方向和所述虚拟照明信息来在所述显示单元上绘制所述虚拟物体的步骤。
此外，为了实现上述目的，根据本发明的方面的方法是一种用于创建混合现实环境的方法，所述混合现实环境用于针对用户经由便携式的显示装置的显示单元在预定真实空间中观看的真实空间或真实空间的拍摄图像以叠加方式绘制三维虚拟物体，所述方法的特征在于包括：用于基于位于所述预定真实空间中的真实物体的点云数据来创建三维空间数据的步骤，其中，所述三维空间数据包括各自具有三维位置信息的三维形状要素；用于从能够拍摄所述预定真实空间中的区域的多个固定点分别获取图像的步骤；用于创建表的步骤，其中在所述表中，所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；以及用于基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息的步骤。
根据如上所述配置的本发明，创建表示在虚拟空间中包括真实物体的预定真实空间的三维空间数据，从固定照相机等获得图像，创建用于将构成三维空间数据的三维形状要素的位置信息与由固定照相机等获取到的图像的各个像素的位置信息相关联的表，并且通过使用该表来确定三维形状要素的颜色信息。
这使得可以实时且高精度地将真实空间中的颜色的状态(光的状态)反映到三维形状要素的颜色信息。结果，可以实现实时且高精度地反映了真实空间中的颜色的状态的混合现实环境。
此外，在本发明中，优选地，该方法还包括用于基于所获取到的图像的各个像素的颜色信息的变化来更新所述三维形状要素的颜色信息的步骤。
此外，为了实现上述目的，根据本发明的方面的***是一种用于创建混合现实环境的***，所述混合现实环境用于针对用户经由便携式的显示装置的显示单元在预定真实空间中观看的真实空间或真实空间的拍摄图像以叠加方式绘制三维虚拟物体，所述***的特征在于包括：三维空间数据创建部，其被配置为基于位于所述预定真实空间中的真实物体的点云数据来创建三维空间数据，所述三维空间数据包括各自具有三维位置信息的三维形状要素；图像获取部，其被配置为从能够拍摄所述预定真实空间中的区域的多个固定点分别获取图像；表创建部，其被配置为创建表，其中在所述表中，所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；以及颜色信息确定部，其被配置为基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息。
此外，为了实现上述目的，根据本发明的方面的数据结构是一种用于创建混合现实环境的数据结构，所述混合现实环境用于针对用户经由便携式的显示装置的显示单元在预定真实空间中观看的真实空间或真实空间的拍摄图像以叠加方式绘制三维虚拟物体，所述数据结构的特征在于包括：二维坐标数据，用于表示从能够拍摄所述预定真实空间中的区域的多个固定点分别获取到的图像的各个像素的位置信息；以及三维坐标数据，用于表示与所述各个像素相关联的三维形状要素的三维位置信息，所述三维形状要素构成基于位于所述预定真实空间中的真实物体的点云数据而创建的三维空间数据。
根据如上所述配置的本发明，该数据结构包括用于将构成三维空间数据(其表示在虚拟空间中包括真实物体的预定真实空间)的三维形状要素的位置信息与由图像获取装置(例如，固定照相机)获取到的图像的各个像素的位置信息相关联的表。通过使用该表，可以根据由固定照相机等获取到的图像的像素的颜色信息来确定并更新三维形状要素的颜色信息。
发明的效果
本发明使得可以在混合现实环境中实时识别真实空间的环境。
附图说明
图1是根据本发明的实施例的***的总体结构图。
图2是示出根据本发明的实施例的利用现实世界中的光的状态的全局照明的概述的图。
图3是示出根据本发明的实施例的位置追踪的概述的图。
图4是示出根据本发明的实施例的服务器的硬件结构的框图。
图5是示出根据本发明的实施例的显示装置的硬件结构的框图。
图6a是根据本发明的实施例的真实空间的示意图。
图6b是从上方观看的图6a中的真实空间的平面图。
图6c示出由在图6a的真实空间中获取到的点云数据表示的三维空间数据。
图6d示出由从图6c中的点云数据创建的体素表示的三维空间数据。
图7是根据本发明的实施例的***的功能框图。
图8是用于说明由固定照相机获取到的图像的各像素的位置信息与由该像素表示的体素的三维位置信息之间的关联的图。
图9是用于说明根据本发明的实施例的用户面向的方向和拍摄单元203的拍摄方向的图。
图10是示出根据本发明的实施例的用于创建真实空间的环境被实时反映到虚拟空间的混合现实环境的方法的图。
图11是示出用于提供利用真实空间中的光的状态的全局照明和用户的高精度位置追踪的方法的图，该方法使得用户能够在如图10所示那样创建的混合现实环境中体验混合现实感。
图12是根据本发明的实施例的真实空间的示意图。
具体实施方式
现在将参考附图来描述根据本发明的实施例的用于向用户提供虚拟空间和真实空间混合在一起的混合现实空间的***。
根据本发明的实施例的***的技术特征之一是生成结构和颜色以极高精度与真实空间的结构和颜色一致的高精度三维虚拟空间。这使得可以实现：(1)利用现实世界中的光的状态的全局照明；(2)用户的高精度位置追踪。
将描述(1)利用现实世界中的光的状态的全局照明的概述。根据本发明的实施例的***假设计算机图形(CG)如游戏角色那样仅占据画面的一小部分的MR环境的操作方式。例如，在图2中，在作为存在于虚拟空间中的虚拟物体(即CG)的角色24通过真实空间中的光源21而进入由真实空间中的建筑物22形成的阴影23的情况下，角色24的图像的亮度根据该地方的暗度(亮度)而改变。根据本发明的实施例的***根据建筑物和地板的三维空间数据(例如，3D网格(mesh)或体素(voxel))的颜色信息中的亮度来计算角色图像的亮度，并相应地绘制角色图像，从而实现与现实世界中的光的状态一致的角色显示。
将描述(2)用户的高精度位置追踪的概述。图3示出存在用户的真实世界31、由三维空间数据(DB)构成的虚拟世界32、以及通过匹配现实世界31和虚拟世界32而生成的混合现实世界(MR环境)33。在MR环境33中，通常，用户穿戴诸如HMD等的具有显示单元的设备。尽管HMD配备有各种传感器装置，但是传统上使用的传感器的测量精度不足以高精度地识别现实世界31的结构并且实现MR环境33使得将识别结果反映在虚拟世界32中。
因此，根据本发明的实施例的***进行高精度虚拟空间32与从传统上使用的各种传感器(例如，距离传感器、图像传感器、方向传感器、GPS传感器和蓝牙(注册商标)信标)所获得的粗略位置信息之间的匹配，并且实时对用户的位置和用户面向的方向在现实世界31和虚拟世界32之间的偏差进行校正。因此，实现了高精度地与现实链接的MR环境33，由此实现了位置追踪。在上述MR环境33中，在使角色24站立在作为虚拟世界32中的虚拟物体的台座26上的情况下，用户可以在没有不自然的感觉的情况下看到站立在真实世界31中的台座25上的角色24。
根据本发明的实施例的上述***在预定义的真实空间(预定真实空间)中实现。根据本发明的实施例的***被配置为包括：生成阶段，其中识别存在于诸如建筑物和工作台等的预定真实空间中的真实物体的状态，并且生成高精度三维空间；识别阶段，其中识别真实空间中的光的状态并将其映射到高精度三维空间，以使存在于预定真实空间中的用户体验混合现实感。以下描述具体结构。
[***结构]
图1是根据本发明的实施例的***10的整体结构图的示例。如图1所示，***10包括服务器100、一个或多个显示装置200以及一个或多个图像获取装置300。服务器100、显示装置200和图像获取装置300连接到诸如因特网等的网络50，以使得能够彼此进行通信。
假设***10是服务器-客户端***，并且优选地，显示装置200和图像获取装置300仅与服务器100进行通信。然而，可选地，***10可以被配置为诸如P2P***等的不包括服务器的***。
***10使得存在于预定真实空间中的用户能够体验混合现实感。该预定真实空间是预定义的室内或室外真实空间，并且在该空间中存在作为现实世界中的物体的真实物体。例如，该真实物体是在真实空间中是静止的诸如建筑物、工作台和墙壁等的结构。然而，在该真实物体中可以包括移动项。
图4是示出根据本发明的实施例的服务器100的硬件结构的框图。服务器100包括处理单元101、显示单元102、输入单元103、存储单元104和通信单元105。这些组件经由总线110彼此连接。然而，可选地，组件可以根据需要分别彼此连接。
处理单元101包括用于控制服务器100的各个组件的处理器(例如，CPU)，并且通过使用存储单元104作为工作区来执行各种处理。在服务器100绘制虚拟物体的情况下，处理单元101优选地包括与CPU分开执行绘制处理的GPU。显示单元102具有用于向服务器用户显示信息的功能。输入单元103具有如键盘和鼠标的用于接受来自服务器用户的输入的功能。
存储单元104包括硬盘、主存储器和缓冲存储器。硬盘存储程序。然而，可选地，代替硬盘，可以使用可以存储信息并且可以是可移除的任何类型的非易失性存储装置或非易失性存储器。存储单元104存储程序以及针对该程序的执行而可参考的各种数据。在处理单元101包括GPU的情况下，存储单元104可以包括视频存储器。
在一个示例中，该程序是用于经由显示装置200针对用户的位置、方向和动作来显示和移动虚拟物体的一个或多个程序，并且各种数据包括要绘制的3D角色等的虚拟物体数据。
存储单元104可以存储用于各种数据库的数据(例如，表)和程序。通过处理单元101等的操作来实现各种数据库。例如，服务器100可以包括数据库服务器的功能，可以包括数据库服务器，或者可以包括或提供有其它类型的服务器。
通信单元105执行使用以太网(注册商标)线缆等的有线通信或者诸如移动通信或无线LAN通信等的无线通信，以连接到网络50。
服务器100的各种功能通过执行程序来实现；然而，可选地，可以通过配置电子电路等来实现一些功能。
在一个示例中，当服务器100进行绘制时，CPU将绘制命令写入主存储器，并且GPU参考绘制命令并将绘制数据写入视频存储器上的帧缓冲器中。然后，服务器100将从帧缓冲器读取的数据原样发送到显示装置200。
在一个示例中，通过组合针对各个功能或各个区域所设置的多个服务器来配置服务器100。例如，可以将预定的真实空间划分为多个区域，针对各区域安装服务器，并安装用于整合这些服务器的服务器。
图5是示出根据本发明的实施例的显示装置200的硬件结构的框图。显示装置200包括处理单元201、显示单元202、拍摄单元203、存储单元204、通信单元205以及位置姿势传感器206。这些组件经由总线210彼此连接。然而，可选地，组件可以根据需要分别彼此连接。
处理单元201包括用于控制显示装置200的各个组件的处理器(例如，CPU)，并且通过使用存储单元204作为工作区来执行各种处理。在显示装置200进行绘制的情况下，处理单元201优选地包括与CPU分开地执行绘制处理的GPU。在一个示例中，显示装置200从服务器100接收绘制命令并执行绘制处理。
存储单元204包括硬盘，主存储器和缓冲存储器。硬盘存储程序。然而，可选地，代替硬盘，可以使用可以存储信息并且可以是可移除的任何类型的非易失性存储装置或非易失性存储器。存储单元204存储程序以及针对该程序的执行可参考的各种数据。此外，存储单元204可以存储用于各种数据库的数据和程序。通过处理单元201等的操作来实现各种数据库。在处理单元201包括GPU的情况下，存储单元204可以包括视频存储器。
显示单元202是向用户显示虚拟物体的透过型显示器、半透过型显示器或非透过型显示器。
拍摄单元203拍摄真实空间并将各个帧的拍摄图像(现实世界的图像)存储在例如存储单元204中。优选地，拍摄单元203所拍摄的区域与携带或穿戴显示装置200的用户的视野相同。
显示装置200可以由用户携带，并且优选地是可以穿戴在头上的头戴式图像显示装置(HMD)。在下文中，假设HMD 200用作本实施例中的显示装置200。HMD 200可以是光学透视HMD或视频透视HMD。
光学透视HMD包括由透过型显示器实现的显示单元202。光学透视HMD使得穿戴HMD的用户能够通过显示单元202在视觉上识别真实空间，并通过在显示单元202上以叠加的方式绘制虚拟物体来提供混合现实图像。
视频透视HMD包括由非透过型显示器实现的显示单元202。视频透视HMD使得穿戴HMD的用户能够通过显示单元202在视觉上识别真实空间的拍摄图像，并通过在显示单元202上以叠加方式绘制虚拟物体来提供混合现实图像。
可选地，显示装置200可以是由用户手持的类型的显示装置(手持显示器)。
位置姿势传感器206包括GPS单元、陀螺仪传感器和加速度计，并且实时地确定显示装置的粗略位置和显示装置的拍摄单元203的粗略拍摄方向(或显示单元202面向的方向)。位置姿势传感器206可以包括传统上使用的其它类型的传感器。
通信单元205执行诸如移动通信或无线LAN通信等的无线通信以连接到网络50。在一个示例中，通信单元205经由网络50将由拍摄单元203拍摄的图像数据发送到服务器100。
图像获取装置300获取真实空间的视频(图像)，并且经由网络50将所获取到的图像数据发送到服务器100或显示装置200。此外，图像获取装置300作为固定设备安装在围绕预定真实空间的固定点处，以使得能够拍摄存在于预定真实空间中的用户可观看的区域。
在一个示例中，图像获取设备300是安装在固定点处的固定照相机。此外，在一个示例中，图像获取装置300每秒获取30个图像帧，并将图像帧发送到服务器100。在下文中，假设固定照相机300用作本实施例中的图像获取装置300。
[第一实施例]
作为根据本发明的实施例的***10向用户提供混合现实环境43的现实世界空间(预定真实空间)，假设如图6a至6d所示的作为由墙壁27包围的室内空间的真实空间41。图6a是真实空间41的示意图，以及图6b是从上方观看的真实空间41的平面图。在真实空间41中，存在现实世界中的光源21和作为现实世界中的真实物体的建筑物22。如图6a至6d所示，在真实空间41中，安装多个固定照相机300，以使得可以拍摄存在于观察空间(即，真实空间41)中的用户可观看的空间。
在本发明的实施例中，例如通过使用高精度激光扫描器(未示出)预先获得表示真实空间41中的真实物体的三维形状的点云数据(point cloud data)。优选在将固定照相机300安装在真实空间41中之后获得点云数据，并且还优选在获得点云数据的同时从固定照相机300获得图像数据。然而，可选地，可以在通过使用激光扫描器获得点云数据之后安装固定照相机300。图6c示出由在真实空间41中获得的点云数据表示的三维空间数据的示例。
如图6c所示，各点云数据具有三维坐标(x，y，z)，并且位于与真实空间41相关联的虚拟空间42中。此外，各点云数据是包括颜色信息的彩色点云数据。根据拍摄时照相机的位置和姿势，将从与使用激光扫描器中所包括的照相机获取点云数据分开地拍摄的图像获得的颜色信息映射到点云的各个坐标(x，y，z)，来创建彩色点云数据。
为了表示如上所述的与真实空间41相关联的虚拟空间42中的真实物体的三维形状的目的，可以通过使用点云数据作为基本单位(基本构成要素)来构建三维空间数据。在本说明书中，该基本单位将被称为三维形状要素。
在本发明的实施例中，为了简化说明，通过使用已知方法来将所获取到的点云数据转换为所谓的体素的数据结构，其中该已知方法例如为OctoMap("OctoMap:AnEfficient Probabilistic 3D Mapping Framework Based on Octrees"in AutonomousRobots,2013；A.Hornung,K.M.Wurm,M.Bennewitz,C.Stachniss,and W.Burgard(http://dx.doi.org/10.1007/s10514-012-9321-0)DOI:10.1007/s10514-012-9321-0.)。体素是与二维空间的像素相对应的三维空间的单位构成要素，并且是通过使用三维空间中的坐标来识别的具有一定大小的立方体。
在下文中，假设如下：在第一实施例中，表示与真实空间41相关联的虚拟空间42中的真实物体的三维形状的三维空间数据由体素构成。在这种情况下，体素用作三维空间数据的三维形状要素。图6d示出由根据图6c中的点云数据创建的体素表示的三维空间数据。然而，可选地，如稍后将描述的，可以使用网格(3D网格)作为三维形状要素或者将点云数据本身用作三维形状要素。
在本发明的实施例中，例如，将真实空间划分为各自具有1cm3大小的体素体积以设置体素空间(由体素表示的三维空间)。除了位置信息x、y和z之外，各体素V还具有从固定照相机300观看的一个或多个颜色信息c。
V：＝{x，y，z，c0，c1，c2，…，cr} (1)
颜色信息c以诸如RGB或HSV等的格式表示。在以HSV格式表示的情况下，颜色信息包括色相、色度和亮度。
此外，在本发明的实施例中，虚拟空间42被认为限制于与真实空间41相关联的区域(0≤X≤X1，0≤Y≤Y1，0≤Z≤Z1)。然而，可选地，可以针对更小的区域设置虚拟空间42并且将多个虚拟空间分别与真实空间41相关联，或者为针对更大的区域设置虚拟空间42。在针对更小的区域设置虚拟空间42的情况下，固定照相机300被分别安装在多个固定点处，其中在这些固定点处，可以拍摄用户在与各个虚拟空间42相关联的各真实空间41中可观看的区域。
在一个示例中，在真实空间41是宽空间的情况下，优选地，针对多个区域分别设置虚拟空间42，并且还针对多个区域分别安装服务器100。例如，在服务器100的存储单元104存储体素数据的情况下，假设1体素＝(int16x，int16y，int16z，int32rgb)，则等式(1)中的各体素V具有10字节。在根据各自具有大小为10mm3的体素的集合的形式的模型来考虑真实空间的情况下，1000mm3＝100万体素，并且数据大小为约10兆字节。在将诸如主题公园等的宽空间转换为高精度体素空间的情况下，假设主题公园的区域被划分为各自具有10m＝10000mm的大小的格子(grid)，由于各格子的体积为10000m3，因此体素数量约为10亿。在空间减小到直至5米的高度的情况下，体素的数量约为5亿。也就是说，即使针对5亿体素按原样分配存储器，5兆字节也足以用于存储，因此容易针对各格子分配服务器以使得实现存储器化。
图7示出根据本发明的实施例的***的功能框图。***10包括存储部11、三维空间数据创建部12、表创建部13、颜色信息确定部14、颜色信息更新部15、虚拟照明信息生成部16、用户环境确定部17和绘制部18。
这些功能通过服务器100执行程序，通过HMD 200执行程序，或者通过服务器100执行程序并且通过HMD 200执行程序来实现。由于各种功能通过读取程序来实现，因此一部分的功能可以部分地在另一部分中实现。如上所述，本***由具有图7所示的各种功能的服务器100和HMD 200中的至少一个来实现。
存储部11包括在服务器100和HMD 200这两者中，并且具有用于在存储单元104或204中存储程序、数据等的功能。在一个示例中，服务器100中包括的存储部11在存储单元104中存储与位于虚拟空间42中的虚拟物体的位置和移动有关的数据以及虚拟物体的三维数据，并且包括在HMD 200中的存储部11将从服务器100接收到的绘制命令临时存储在存储单元204中，由此执行绘制处理。在另一示例中，存储部11执行相对于各种数据库的数据输入/输出。
三维空间数据创建部12将表示与真实空间41相关联的虚拟空间42中的真实物体的三维形状的点云数据转换为体素，从而创建三维空间数据(三维体素数据)。
这里，由于点云数据是彩色点云数据，因此所创建的体素是彩色体素。此外，各体素具有三维位置信息。例如，作为三维位置信息，各体素具有最接近虚拟空间中所设置的三维坐标原点的立方体的顶点的三维坐标(x，y，z)。
优选地，三维空间数据创建部12包括在服务器100中。然而，在预先创建三维空间数据并将其存储在存储单元104等中的情况下，***10不需要包括三维空间数据创建部12。
包括在服务器100中的存储部11包括用于将所创建的三维空间数据存储在存储单元104中的三维空间数据存储部。在一个示例中，服务器100具有数据库服务器的功能，并且服务器100响应于与三维位置信息有关的查询而适当地输出所存储的三维空间数据。然而，可选地，包括在HMD 200中的存储部11可以包括用于将三维空间数据存储在存储单元204中的三维空间数据存储部。
表创建部13通过将由固定照相机300获取到的图像的各个像素的位置信息与由各个像素表示的一个或多个体素的三维位置信息相关联来创建表。将参考图8对此进行描述。
如图8所示，由固定照相机300中的单个固定照相机300a获取到的图像的任意单个像素(x，y)反映真实空间中的真实物体的微区域。反映的微区域对应于体素空间中的多个体素(x，y，z)。然而，存在任意单个像素对应于单个体素的情况。
这里，如前所述，各体素具有颜色信息。此外，固定照相机300固定在预定点处，并且虚拟空间42中的固定照相机300的三维位置信息被存储为三维空间数据。例如，如图6c所示，通过预先获取表示作为真实物体的固定照相机300的三维形状的点云数据，来将固定照相机300的三维坐标存储为三维空间数据。
因此，通过将体素(点云数据)的三维位置信息和颜色信息与由固定照相机300拍摄的图像数据进行比较，可以将图像数据的各像素的位置信息(二维坐标)与同由该像素表示的真实物体的微区域相对应的体素的位置信息(三维坐标)关联。以这种方式，表创建部13通过将由固定照相机300拍摄的图像的像素的位置信息与由各个像素表示的体素的三维位置信息相关联来创建表。在一个示例中，通过使用三维空间数据中的体素的三维位置信息和颜色信息与由固定照相机300拍摄的图像数据的位置信息和颜色信息之间的相似性来进行该关联。
此外，该关联使得可以高精度地确定固定照相机300的三维位置信息和拍摄方向(例如，6DOF坐标)。
优选地，表创建部13包括在服务器100中。然而，在预先创建表数据并将其存储在存储单元104等中的情况下，***10不需要包括表创建部13。
包括在服务器100中的存储部11还包括用于将所创建的表存储在存储单元104中的表存储部。例如，存储的表可以用作从数据库参考的表。在另一示例中，包括在HMD 200中的存储部11还包括用于将所创建的表存储在存储单元204中的表存储部。
颜色信息确定部14通过使用所创建的表来确定表示真实空间41中的真实物体的三维形状的各个体素的颜色信息。这里，从彩色点云数据创建的彩色体素的颜色信息仅用于创建上述表。
在特定的单个体素的(位置信息)仅与由单个固定照相机300拍摄的图像的单个像素(的位置信息)相关联的情况下，颜色信息确定部14确定该像素的颜色信息作为该体素的颜色信息。
在特定的单个体素与由多个固定照相机300分别拍摄的图像的各个像素相关联的情况下，颜色信息确定部14确定与以最大大小反映与该体素相对应的真实物体的微区域的、由固定照相机300获取到的图像中的该体素相关联的像素的颜色信息，作为该体素的颜色信息。然而，在这种情况下，可以将在由表创建部13创建的表中与该体素相关联的像素中的任意单个像素的颜色信息确定为该体素的颜色信息。
如前所述，根据本发明的实施例的***10使用体素的颜色信息作为全局照明中的所绘制的虚拟物体的间接照明。优选地，颜色信息确定部14包括在服务器100中，并且由颜色信息确定部14确定的体素的颜色信息与各个体素相关联地存储在存储单元104中。
在一个示例中，如等式(1)所示，体素的颜色信息与三维位置信息一起被存储为三维空间数据的要素。在另一示例中，体素的颜色信息作为表数据而存储在数据库中。
在另一示例中，在特定的单个体素与由多个固定照相机300分别拍摄的图像的各个像素相关联的情况下，可以将通过对各个像素的颜色信息进行平均而获得的颜色信息确定为该体素的颜色信息。可选地，可以将通过对各个像素的颜色信息进行加权而获得的颜色信息确定为该体素的颜色信息。
在由固定照相机300获取到的图像的像素的颜色信息的变化满足预定条件的情况下，颜色信息更新部15通过使用该像素的最新颜色信息来更新(新确定)由颜色信息确定部14通过使用该像素的颜色信息所确定的体素的颜色信息。
在一个示例中，像素的颜色信息的变化满足预定条件的情况是该像素的最新颜色信息位于该像素的原始颜色信息的特定距离范围(HSV颜色空间等中的距离)内的情况。在另一示例中，该像素的颜色信息的变化满足预定条件的情况是对于各单个像素、过去30个图像帧的颜色信息的平均值位于该像素的原始颜色信息的特定距离范围内的情况。
如上所述，如果颜色信息的变化满足预定条件，则可以判断为该变化可归因于光的状态，因此可以更新体素的颜色信息，使得在判断时的该像素的最新颜色信息反映在该体素中。另一方面，在由固定照相机300获取到的图像包括了经过该照相机的人的情况下，颜色信息更新部15判断为表示该人的像素处的颜色变化不在特定距离内，因此不更新该体素的颜色信息。
优选地，颜色信息更新部15包括在与颜色信息确定部14相同的装置中；即，优选地，颜色信息更新部15包括在服务器100中。
为了考虑间接照明来绘制阴影，虚拟照明信息生成部16基于体素的颜色信息和三维位置信息来生成要绘制的虚拟物体的虚拟照明信息。由于虚拟照明信息是基于体素的颜色信息的，因此当更新体素的颜色信息时也更新虚拟照明信息。优选地，虚拟照明信息生成部16包括在与颜色信息更新部15相同的装置中；即优选地，虚拟照明信息生成部16包括在服务器100中。
在一个示例中，基于体素的颜色信息和三维位置信息来生成用于容纳要绘制的虚拟物体的虚拟多面体的各个面的虚拟照明信息，作为要绘制的虚拟物体的虚拟照明信息。这里，在假设如在基于图像的照明(IBL)的方法中那样虚拟多面体的各个面用作间接照明(光源)的情况下，使用虚拟照明信息。如上所述，根据本发明的实施例，由于从真实空间获得的纹理被实时地映射到用作环境光源(间接照明)的真实物体，因此用于移动的虚拟物体的IBL也变得可能。传统上，在通过IBL的方式绘制虚拟物体的情况下，由于需要安装用于从绘制点沿所有方向获得环境光的照相机，因此难以将IBL应用于诸如游戏角色等的自由移动的虚拟物体。
用户环境确定部17确定用户穿戴的HMD 200的位置和拍摄单元203的拍摄方向。优选地，用户环境确定部17包括在服务器100中。
具体地，用户环境确定部17通过使用位置姿势传感器206来获得HMD 200的粗略位置和拍摄单元203的拍摄方向，并将该位置和拍摄方向视为临时用户环境。然后，用户环境确定部17从存储单元104或存储单元204获得用户在相对于临时用户环境的预定范围内的位置和方向上可观看的体素的颜色信息和三维位置信息。然后，用户环境确定部17将由拍摄单元203拍摄的真实空间41的图像与所获得的体素的位置信息和颜色信息相比较以进行匹配，从而确定HMD 200的位置和拍摄单元203的拍摄方向。
在一个示例中，通过将拍摄图像的颜色信息的图案和所获得的体素的颜色信息的图案进行匹配来确定HMD 200的位置和拍摄单元203的拍摄方向。在本发明的实施例中，HMD200的位置对应于用户的位置，并且拍摄单元203的拍摄方向对应于用户面向的方向。
图9是用于说明用户面向的方向和拍摄单元203的拍摄方向的图。在用户存在于图9所示的位置的情况下，由拍摄单元203拍摄的真实空间41的拍摄图像如图9的下部所示。将拍摄图像的颜色信息的图案与如下的体素的颜色信息的图案进行比较以进行匹配，其中该体素是在位置姿势传感器206所获得的HMD 200的位置和在该位置的特定范围内的位置处的拍摄单元203的拍摄方向以及在这些方向的特定范围内的方向上的体素。这使得可以确定HMD 200的位置和拍摄单元203的拍摄方向。
绘制部18在HMD 200的显示单元202上绘制虚拟物体。在一个示例中，服务器100中包括的CPU将绘制命令写入主存储器并将绘制命令发送到HMD 200。HMD 200中包括的GPU参考所接收到的绘制命令并将绘制数据写入视频存储器等上的帧缓冲器，并且将从帧缓冲器读取的内容按原样绘制在显示单元202上。
在创建绘制命令时，绘制部18通过使用由用户环境确定部17确定的HMD 200的位置和拍摄单元203的拍摄方向来确定要在显示单元202上显示的虚拟物体的位置和姿势。此外，在创建绘制命令时，绘制部18通过使用虚拟照明信息将阴影添加到虚拟物体。
如上所述，优选地，通过在服务器100和HMD 200之间分担工作来执行绘制部18。然而，可以是如下配置：服务器100包括绘制部18，服务器100在执行整个绘制处理之后将图像数据发送到HMD 200，并且HMD 200显示所接收到的图像数据。可选地，可以是如下配置：HMD200包括绘制部18，并且HMD 200执行整个绘制处理。
接着，将描述生成阶段。图10示出根据本发明的实施例的用于创建真实空间41的环境实时反映在虚拟空间42中的混合现实环境43的方法。如图6a所示，在真实空间41中，固定照相机300预先安装在多个固定点处，其中在这些固定点处可以拍摄用户可观看的真实空间41中的区域。
首先，通过使用激光扫描器(未示出)预先获得表示真实空间41中的真实物体的三维形状的彩色点云数据，并且将彩色点云数据转换为体素以创建三维空间数据(三维体素数据)(步骤1001)。
然后，从预先安装的固定照相机300获取图像(步骤1002)。然而，可选地，由于可以在安装固定照相机300之后获取图像，因此可以在步骤1001之前执行该步骤。
然后，通过将体素的三维位置信息和颜色信息与由固定照相机300拍摄的图像数据进行比较，创建将图像数据的各像素的位置信息(二维坐标)与同由该像素表示的真实物体的微区域相对应的一个或多个体素的位置信息(三维坐标)相关联的表(步骤1003)。
通过使用如上所述创建的表，确定表示真实空间41中的真实物体的三维形状的各个体素的颜色信息(步骤1004)。在该步骤中，对于与由单个固定照相机300拍摄的图像的仅单个像素相关联的各体素，将该像素的颜色信息确定为该体素的颜色信息。此外，在该步骤中，对于与由多个固定照相机300分别拍摄的图像的各个像素相关联的各体素，将与以最大大小反映与该体素相对应的真实物体的微区域的、由固定照相机300获取到的图像中的该体素相关联的像素的颜色信息确定为该体素的颜色信息。
然而，可选地，对于与由多个固定照相机300各自拍摄的图像的各个像素相关联的各体素，可以将通过对各个像素的颜色信息进行平均而获得的颜色信息确定为该体素的颜色信息。
然后，对于由多个固定照相机300获取到的图像的各像素，判断颜色信息的变化是否满足预定条件(步骤1005)。例如，针对各像素的预定条件是过去30个图像帧的颜色信息的平均值是否在该像素的原始颜色信息的特定距离范围(HSV颜色空间等中的距离)内。
对于满足预定条件的各像素，通过使用像素的最新颜色信息来更新(确定)在确定体素的颜色信息时参考该像素的颜色信息的该体素的颜色信息(步骤1006)。对于不满足预定条件的各像素，不更新(确定)在确定体素的颜色信息时参考该像素的颜色信息的该体素的颜色信息。然后，如果应继续创建混合现实环境43(步骤1007)，则处理返回到步骤1005。
接着，将描述识别阶段。图11示出根据本发明的实施例的利用真实空间41中的光的状态的全局照明和用户的高精度位置追踪的方法，其中该方法使得用户能够体验到如图10所示那样创建的混合现实环境43的混合现实感。假设用户正穿戴HMD 200并且存在于真实空间41(混合现实环境43)中。此外，注意，当开始该步骤时，已经在图10中的步骤1004或1006中确定(更新)了各个体素的颜色信息。
通过确定HMD 200的位置和拍摄单元203的拍摄方向来确定用户环境，即用户的位置和用户面向的方向(步骤1101)。在该步骤中，作为临时用户环境，通过使用位置姿势传感器206来获得HMD 200的粗略位置和拍摄单元203的拍摄方向。此外，在该步骤中，获得可以由拍摄单元203在相对于临时用户环境的预定范围内的位置和拍摄方向上可以拍摄的体素的颜色信息和三维位置信息。此外，在该步骤中，通过将由拍摄单元203拍摄的真实空间的拍摄图像与所获得的体素的位置信息和颜色信息相比较以进行匹配，来确定HMD 200的位置和拍摄单元203的拍摄方向。
然后，判断是否存在要在拍摄单元203的拍摄方向上绘制的任何虚拟物体(步骤1102)。这里，在虚拟物***于与构成混合现实环境43的虚拟空间42中的拍摄单元203的拍摄方向相对应的地方的情况下，判断为存在要绘制的虚拟物体。
在存在要绘制的虚拟物体的情况下，使用体素的颜色信息和三维位置信息经由IBL来生成容纳要绘制的虚拟物体的虚拟多面体的各个面上的虚拟照明信息，作为针对要绘制的虚拟物体的虚拟照明信息(步骤1103)。
可选地，可以使用体素的颜色信息和三维位置信息经由光线追踪来生成针对要绘制的虚拟物体的虚拟照明信息。
然后，通过使用在步骤1101中所确定的HMD 200的位置和拍摄单元203的拍摄方向来确定位置和方向，并且在HMD 200的显示单元202上绘制通过使用步骤1103中所生成的虚拟照明信息而添加了阴影(颜色)的虚拟物体(步骤1104)。在不存在要绘制的虚拟物体的情况下，跳过步骤1103和1104。
下一步骤1105是与图10中的步骤1005相同的处理，并且步骤1106是与图10中的步骤1006相同的处理，因此将省略这些步骤的描述。然后，只要继续提供混合现实环境(全局照明和位置追踪)(步骤1107)，处理就返回到步骤1101。
如上所述，在本发明的实施例中，通过使用激光扫描器预先获得表示真实空间41中的真实物体的三维形状的彩色点云数据。然而，注意，由于通过激光扫描器进行测量需要时间，因此除非真实物体的位置、形状等发生变化，否则仅在开始时进行一次测量。
接着，将描述根据本发明第一实施例的***10的操作和优点。在本实施例中，通过使用将体素的位置信息与由固定照相机300获取到的图像的各个像素的位置信息相关联的表，根据由固定照相机300获取到的图像的像素的颜色信息来确定并更新体素的颜色信息。通过以这种方式使用该表，可以在各个体素中实时地反映由固定照相机300获取到的颜色信息。这使得可以在高精度地再现真实空间中的形状的混合现实环境中以高精度且实时地识别真实空间41的颜色，并且可以反映虚拟空间中的颜色。
此外，在本实施例中，将反映真实空间41的颜色的各个体素用作针对所绘制的虚拟物体的虚拟间接照明(光源)。这使得可以利用真实空间41中的光的状态来实现全局照明，这使得可以绘制具有与真实空间41的环境中的颜色和阴影非常接近的颜色和阴影的虚拟物体。
此外，在本实施例中，可以在真实空间41中将真实空间41用作虚拟空间42。例如，游戏开发者可以以与游戏引擎中的游戏空间(虚拟空间)相同的方式来处理真实空间。
此外，在本实施例中，对于要绘制的虚拟物体，假设容纳虚拟物体的虚拟多面体，并且根据反映真实空间41的颜色的体素来分别确定多面体的各个面上的颜色(光)的状态。然后，将所确定的各个面上的颜色状态用作针对所绘制的虚拟物体的虚拟间接照明。这使得可以绘制颜色和阴影甚至更接近真实空间41的环境中的颜色和阴影的虚拟物体。
此外，在本实施例中，通过使用位置姿势传感器206所确定的HMD 200的粗略位置和拍摄单元203的拍摄方向被认为是临时用户环境，并且通过将位于临时用户环境附近的拍摄单元203可以拍摄的区域中的体素的颜色信息和三维位置信息与由拍摄单元203拍摄的图像相比较以进行匹配，确定HMD 200的位置和拍摄单元203的拍摄方向。如上所述，通过进行从传统的位置姿势传感器206获取到的粗略位置信息与通过使用三维空间数据所生成的高精度虚拟空间42之间的匹配，可以对用户的位置和用户面向的方向在真实空间41和虚拟空间42之间的偏差进行实时校正。这使得可以实现与现实高精度链接的混合现实环境43，这使得可以实现位置追踪。
[第二实施例]
在本实施例中，网格用作三维形状要素。与第一实施例的情况类似，将已获得的彩色点云数据转换为被称为网格的数据结构。例如，根据已获得的彩色点云数据，通过使用已知方法形成以各个点云为顶点的多边形，并且将该多边形转换为由一个或多个多边形形成的网格。然而，由于基本思想与第一实施例中的体素的情况相同，因此描述将主要针对与第一实施例不同的点。
将描述在本实施例中由表创建部13创建的表。如前所述，可以高精度地确定固定照相机300的三维位置信息和拍摄方向。通过将所获得的彩色点云数据与由固定照相机300获取到的图像的各个像素进行比较，获得用于将从固定照相机300获取到的像素的颜色信息转换为点云的颜色信息的投影矩阵(变换矩阵)。用于此目的的已知方法包括基于光流的方法和基于颜色信息的相似性的方法。
表创建部13创建上述投影矩阵。矩阵是用于将由固定照相机300获取到的图像的坐标系转换为用于三维空间的坐标系的表。在一个示例中，创建用于将由固定照相机300获取到的图像的坐标系转换为三维空间中的网格的UV坐标的表。
下面将描述关于投影矩阵的具体示例。在可以获得固定照相机300的位置信息的情况下，如下所述，可以设置投影矩阵并将来自固定照相机300的图像的像素映射到三维空间中的物体所位于的地方的颜色。令投影矩阵由P表示。P是A(R|t)形式的3×4矩阵。A是根据固定照相机300的图像角度、分辨率、图像中心等获得的矩阵，并且该矩阵具有取决于装置规格的固定值，而且A还将被称为内部参数矩阵。R是3×3旋转矩阵，并且t是平移向量。通过排列R|t而形成的3×4矩阵将被称为外部参数矩阵。A对应于固定照相机300的规格值。R|t表示世界坐标系中的旋转和位置，并且在本实施例中可以通过将点云数据与来自固定照相机300的图像进行匹配来获得R|t。因此，可以通过使用投影变换的一般公式m＝P·X来将图像坐标m转换成世界坐标X。
颜色信息确定部14通过使用变换矩阵对由固定照相机300获取到的图像的各个像素的颜色信息进行变换来确定各个网格的颜色信息。优选地，预先确定针对各个网格的颜色信息所参考的图像，即，预先确定用作各个网格的颜色信息的源的固定照相机300。
在由固定照相机300获取到的图像的像素的颜色信息的变化满足预定条件的情况下，颜色信息更新部15通过使用该像素的最新颜色信息来更新(新确定)由颜色信息确定部14通过使用该像素的颜色信息所确定的网格的颜色信息。
此外，在步骤1004至1006和步骤1105至1106中，与上述情况类似地执行处理。
如上所述，本实施例中的网格的颜色信息是通过使用变换矩阵来对由固定照相机300获取到的图像的像素的颜色信息进行变换而获得的。因此，注意，在单个网格内包括不同的颜色，这与颜色信息在各体素内相同的第一实施例不同。
[第三实施例]
作为根据本发明的实施例的***10向用户提供混合现实环境53的现实世界空间(预定真实空间)，假设作为如图12所示的室外空间的真实空间51。除了省略了天花板和一对侧壁并且包括太阳光的光源22设置在真实空间外而不是设置在真实空间内以外，真实空间51与真实空间41相同。同样，在真实空间51中，固定照相机300被分别安装在多个固定点处，其中在这些固定点处可以拍摄用户可观看的真实空间51中的区域。此外，尽管在本实施例中为了简化说明而假设体素用作三维形状要素，但是可选地，网格或点云数据可以用作三维形状要素。以下描述将主要针对与第一实施例不同的点。
同样，在本实施例中，虚拟空间52被认为限制于与真实空间51相关联的区域(0≤X≤X1，0≤Y≤Y1，0≤Z≤Z1)。
由于本实施例涉及室外空间，因此与第一实施例相反，存在固定照相机300没有反映真实物体的区域。
在由固定照相机300获取到的图像的至少一部分中不存在真实物体的情况下，对于在该图像中没有反映真实物体的各像素，表创建部13通过使用固定照相机300的三维位置信息和拍摄方向来将该像素与虚拟空间52的边界上的位置(x，y，z)相关联。在这种情况下，例如，在假设在边界的位置处存在大网格(或体素)的情况下，可以通过使用在第一实施例或第二实施例的上下文中描述的方法来创建表。
通过使用所创建的表，颜色信息确定部14确定虚拟空间52的边界处的各个位置信息的颜色信息。
在由固定照相机300获取到的图像中的像素的颜色信息的变化满足预定条件的情况下，颜色信息更新部15通过使用该像素的最新颜色信息来更新(新确定)由颜色信息确定部14通过使用该像素的颜色信息所确定的虚拟空间52的边界的位置处的(例如网格的)颜色信息。
此外，在步骤1004至1006和步骤1105至1106中，与上述情况类似地执行处理。
[***架构]
根据一个实施例的具有如上所述的图7所示的功能的***架构可以包括以下六个模块。六个模块是体素转换器(点云至体素转换器)、体素DB、3D地址映射表生成器(以下称为“生成器”)、3D地址映射表(以下称为“表”)、位置追踪器和环境照明参数。该模块化使得可以修改一些模块并将修改后的模块应用于***。
体素转换器通过使用诸如Octomap等的方法来将预先获得并存储在云中的点云数据转换为无间隙的体素集合。向体素的该转换有助于用作直接在游戏中使用的3D信息，并且使得更容易通过使用坐标唯一地识别体素，因此体素是适合于更新颜色的格式。
体素转换器具有与三维空间数据创建部12相对应的功能。注意，由于本发明的实施例不依赖于使用体素的方法，因此代替体素转换器，可以采用用于将点云数据转换为无间隙的网格集合的网格转换器作为构成模块。
体素DB是通过将现实世界划分为特定大小的立体区域、将各个立体区域的整个内容转换为体素、并且可以通过使用以形式(x，y，z)表示的位置信息来识别各个体素而创建的数据库。优选地，体素空间是可以通过使用与现实世界中的特定最小大小(例如，1cm)相对应的体素作为最小单位来映射物理空间的高精度体素空间。
体素DB具有与用于存储由三维空间数据创建部12创建的三维空间数据的数据库相对应的功能。注意，本发明的实施例不依赖于使用体素的方法，并且可以直接存储点云数据，或者可以将三维空间中的网格的UV坐标集合存储在体素DB中。
在该空间中，生成器通过使用体素的位置信息和颜色信息，来映射视频数据的各个像素和根据点云数据所生成的彩色体素。注意，本发明的实施例不依赖于使用体素的方法，并且例如可以通过使用点云数据中的单个点的位置信息和颜色信息来进行映射。生成器的功能是在由固定照相机获取到的图像与点云数据或体素数据之间进行匹配，从而生成用于将由固定照相机获取到的图像的坐标系转换为三维空间中的坐标系的表。生成器具有与表创建部13相对应的功能。
该表是固定照相机的各像素与三维空间中的n个体素静态关联的表。该表是下面给出的映射项目E的集合。
E：＝{cid，cx，cy，vx，vy，vz} (2)
这里，cid表示固定照相机的标识符，cx和cy表示固定照相机的像素，并且vx、vy和vz表示映射目的地处的体素的三维坐标。注意，本发明的实施例不依赖于使用体素的方法，并且vx、vy和vz可以是点云数据的坐标或三维空间中的特定网格的UV坐标。该表具有与由表创建部13创建的表相对应的功能。
位置追踪器是通过连续追踪用户的当前位置和观看方向来识别用户的视野的模块。位置追踪器具有与用户环境确定部相对应的功能。
环境照明参数构成如下模块，该模块以与向体素DB的查询相对应的x、y和z的形式获得要显示的角色在现实世界中的位置，并且根据周围体素的颜色信息来计算该地方附近的全局照明。环境照明参数具有与虚拟照明信息生成部16相对应的功能。
在上述处理或操作中，可以自由修改处理或操作，只要在处理或操作中不会产生矛盾(例如，特定步骤涉及在该步骤中使用不可用的数据的矛盾)即可。此外，上述实施例是用于说明本发明的示例，并且本发明不限于这些实施例。本发明可以以不偏离本发明的精神的各种形式来实现。
附图标记列表
1 ***
11 存储部
12 三维空间数据创建部
13 表创建部
14 颜色信息确定部
15 颜色信息更新部
16 虚拟照明信息生成部
17 用户环境确定部
18 绘制部
21 光源
22 建筑物
23 阴影
24 角色
25,26 台座
27 墙壁
31,41,51 现实世界(真实空间)
32,42,52 虚拟世界(虚拟空间)
33,43,53 混合现实世界(混合现实环境)
50 网络
100 服务器
101,201 处理单元
102,202 显示单元
103 输入单元
104,204 存储单元
105,205 通信单元
110,210 总线
200 显示装置
203 拍摄单元
206 位置姿势传感器
300 固定照相机

Claims (10)

1.一种用于创建混合现实环境的***，其包括服务器、便携式的显示装置和图像获取装置，所述显示装置包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，以及所述图像获取装置用于从能够拍摄预定真实空间中的区域的多个固定点分别获取图像，所述***使得能够针对用户经由所述显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，
所述服务器或所述显示装置包括：
三维空间数据存储部，其被配置为存储基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的三维空间数据，所述三维空间数据包括各自具有三维位置信息的三维形状要素；
表存储部，其被配置为存储表，其中在所述表中，所述图像获取装置所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；
颜色信息确定部，其被配置为使用所述表以基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息；
颜色信息更新部，其被配置为针对所述图像获取装置所获取到的图像的各个像素，判断所述各个像素的颜色信息的变化是否满足预定条件，并使用满足所述预定条件的各个像素的最新颜色信息来更新所述三维形状要素的颜色信息，其中，所述像素的颜色信息的变化满足所述预定条件的情况是该像素的最新颜色信息位于该像素的原始颜色信息的特定距离范围内的情况，或者对于各单个像素、预定数量的过去的图像帧的颜色信息的平均值位于该像素的原始颜色信息的特定距离范围内的情况；
用户环境确定部，其被配置为确定所述显示装置的位置和所述拍摄单元的拍摄方向；
虚拟照明信息生成部，其被配置为基于所述三维形状要素的颜色信息和三维位置信息来生成针对要绘制的虚拟物体的虚拟照明信息；以及
绘制部，其被配置为基于所述显示装置的位置、所述拍摄单元的拍摄方向和所述虚拟照明信息来在所述显示单元上绘制所述虚拟物体。
2.根据权利要求1所述的***，其中，所述虚拟照明信息生成部基于所述三维形状要素的颜色信息和三维位置信息，来生成与用于容纳要绘制的虚拟物体的虚拟多面体的各个面有关的虚拟照明信息作为针对要绘制的虚拟物体的虚拟照明信息。
3.根据权利要求1或2所述的***，
其中，所述显示装置还包括位置姿势传感器，以及
其中，所述用户环境确定部将所述位置姿势传感器所获取到的所述显示装置的位置和所述拍摄单元的拍摄方向视为临时用户环境，从所述三维空间数据存储部获得所述拍摄单元在相对于所述临时用户环境的预定范围内的位置和方向上能够拍摄到的三维形状要素，并且基于所获得的三维形状要素的颜色信息和三维位置信息以及所述真实空间的拍摄图像来确定所述显示装置的位置和所述拍摄单元的拍摄方向。
4.根据权利要求1或2所述的***，其中，所述三维形状要素是包括基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的多边形的网格。
5.一种便携式的显示装置，其包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，所述显示装置使得能够针对用户经由所述显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，
所述显示装置包括：
三维空间数据存储部，其被配置为存储基于预先获得的位于预定真实空间中的真实物体的点云数据而创建的三维空间数据，所述三维空间数据包括各自具有三维位置信息的三维形状要素；
表存储部，其被配置为存储表，其中在所述表中，从能够拍摄所述预定真实空间中的区域的多个固定点分别获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；
颜色信息确定部，其被配置为使用所述表以基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息；
颜色信息更新部，其被配置为针对所获取到的图像的各个像素，判断所述各个像素的颜色信息的变化是否满足预定条件，并使用满足所述预定条件的各个像素的最新颜色信息来更新所述三维形状要素的颜色信息，其中，所述像素的颜色信息的变化满足所述预定条件的情况是该像素的最新颜色信息位于该像素的原始颜色信息的特定距离范围内的情况，或者对于各单个像素、预定数量的过去的图像帧的颜色信息的平均值位于该像素的原始颜色信息的特定距离范围内的情况；
用户环境确定部，其被配置为确定所述显示装置的位置和所述拍摄单元的拍摄方向；
虚拟照明信息生成部，其被配置为基于所述三维形状要素的颜色信息和三维位置信息来生成针对要绘制的虚拟物体的虚拟照明信息；以及
绘制部，其被配置为基于所述显示装置的位置、所述拍摄单元的拍摄方向和所述虚拟照明信息来在所述显示单元上绘制所述虚拟物体。
6.一种用于创建混合现实环境的***，其包括服务器和便携式的显示装置，所述显示装置包括用于向用户显示三维虚拟物体的显示单元、用于拍摄真实空间的拍摄单元以及位置姿势传感器，所述***使得能够针对用户经由所述显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，
所述服务器或所述显示装置包括：
三维空间数据存储部，其被配置为存储基于预先获得的位于预定真实空间中的真实物体的点云数据而创建的三维空间数据，所述三维空间数据包括各自具有颜色信息和三维位置信息的三维形状要素；
表存储部，其被配置为存储表，其中在所述表中，所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；
颜色信息确定部，其被配置为使用所述表以基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息；
颜色信息更新部，其被配置为针对所获取到的图像的各个像素，判断所述各个像素的颜色信息的变化是否满足预定条件，并使用满足所述预定条件的各个像素的最新颜色信息来更新所述三维形状要素的颜色信息，其中，所述像素的颜色信息的变化满足所述预定条件的情况是该像素的最新颜色信息位于该像素的原始颜色信息的特定距离范围内的情况，或者对于各单个像素、预定数量的过去的图像帧的颜色信息的平均值位于该像素的原始颜色信息的特定距离范围内的情况；以及
用户环境确定部，其被配置为将所述位置姿势传感器所获取到的所述显示装置的位置和所述拍摄单元的拍摄方向视为临时用户环境，从所述三维空间数据存储部获得所述拍摄单元在相对于所述临时用户环境的预定范围内的位置和方向上能够拍摄到的三维形状要素，并且基于所获得的三维形状要素的颜色信息和三维位置信息以及所述真实空间的拍摄图像来确定所述显示装置的位置和所述拍摄单元的拍摄方向。
7.一种用于创建混合现实环境的方法，用于针对用户经由便携式的显示装置的显示单元在预定真实空间中观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，所述方法包括：
用于从能够拍摄所述预定真实空间中的区域的多个固定点分别获取图像的步骤；
用于使用表以基于所获取到的图像在与三维形状要素相对应的位置处的像素的颜色信息来确定所述三维形状要素的颜色信息的步骤，其中，在所述表中，所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联，所述三维形状要素具有三维位置信息，并且所述三维形状要素构成基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的三维空间数据；
用于针对所获取到的图像的各个像素，判断所述各个像素的颜色信息的变化是否满足预定条件，并使用满足所述预定条件的各个像素的最新颜色信息来更新所述三维形状要素的颜色信息的步骤，其中，所述像素的颜色信息的变化满足所述预定条件的情况是该像素的最新颜色信息位于该像素的原始颜色信息的特定距离范围内的情况，或者对于各单个像素、预定数量的过去的图像帧的颜色信息的平均值位于该像素的原始颜色信息的特定距离范围内的情况；
用于确定所述显示装置的位置和所述显示装置中所包括的拍摄单元的拍摄方向的步骤；
用于基于所述三维形状要素的颜色信息和三维位置信息来生成针对要绘制的虚拟物体的虚拟照明信息的步骤；以及
用于基于所述显示装置的位置、所述拍摄单元的拍摄方向和所述虚拟照明信息来在所述显示单元上绘制所述虚拟物体的步骤。
8.一种计算机可读介质，其存储用于***的程序，所述***包括服务器、便携式的显示装置和图像获取装置，所述显示装置包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，以及所述图像获取装置用于从能够拍摄预定真实空间中的区域的多个固定点分别获取图像，所述程序使得能够针对用户经由所述显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，
所述程序使得所述服务器执行：
用于从所述图像获取装置获得图像的步骤；
用于使用表以基于所述图像获取装置所获取到的图像在与三维形状要素相对应的位置处的像素的颜色信息来确定所述三维形状要素的颜色信息的步骤，其中，在所述表中，所述图像获取装置所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联，所述三维形状要素具有三维位置信息，并且所述三维形状要素构成基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的三维空间数据；
用于针对所述图像获取装置所获取到的图像的各个像素，判断所述各个像素的颜色信息的变化是否满足预定条件，并使用满足所述预定条件的各个像素的最新颜色信息来更新所述三维形状要素的颜色信息的步骤，其中，所述像素的颜色信息的变化满足所述预定条件的情况是该像素的最新颜色信息位于该像素的原始颜色信息的特定距离范围内的情况，或者对于各单个像素、预定数量的过去的图像帧的颜色信息的平均值位于该像素的原始颜色信息的特定距离范围内的情况；
用于确定所述显示装置的位置和所述拍摄单元的拍摄方向的步骤；
用于基于所述三维形状要素的颜色信息和三维位置信息来生成针对要绘制的虚拟物体的虚拟照明信息的步骤；以及
用于基于所述显示装置的位置、所述拍摄单元的拍摄方向和所述虚拟照明信息来在所述显示单元上绘制所述虚拟物体的步骤。
9.一种用于创建混合现实环境的方法，所述混合现实环境用于针对用户经由便携式的显示装置的显示单元在预定真实空间中观看的真实空间或真实空间的拍摄图像以叠加方式绘制三维虚拟物体，所述方法包括：
用于基于位于所述预定真实空间中的真实物体的点云数据来创建三维空间数据的步骤，其中，所述三维空间数据包括各自具有三维位置信息的三维形状要素；
用于从能够拍摄所述预定真实空间中的区域的多个固定点分别获取图像的步骤；
用于创建表的步骤，其中在所述表中，所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；
用于使用所述表以基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息的步骤；以及
用于针对所获取到的图像的各个像素，判断所述各个像素的颜色信息的变化是否满足预定条件，并使用满足所述预定条件的各个像素的最新颜色信息来更新所述三维形状要素的颜色信息的步骤，其中，所述像素的颜色信息的变化满足所述预定条件的情况是该像素的最新颜色信息位于该像素的原始颜色信息的特定距离范围内的情况，或者对于各单个像素、预定数量的过去的图像帧的颜色信息的平均值位于该像素的原始颜色信息的特定距离范围内的情况。
10.一种用于创建混合现实环境的***，所述混合现实环境用于针对用户经由便携式的显示装置的显示单元在预定真实空间中观看的真实空间或真实空间的拍摄图像以叠加方式绘制三维虚拟物体，所述***包括：
三维空间数据创建部，其被配置为基于位于所述预定真实空间中的真实物体的点云数据来创建三维空间数据，所述三维空间数据包括各自具有三维位置信息的三维形状要素；
图像获取部，其被配置为从能够拍摄所述预定真实空间中的区域的多个固定点分别获取图像；
表创建部，其被配置为创建表，其中在所述表中，所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；
颜色信息确定部，其被配置为使用所述表以基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息；以及
颜色信息更新部，其被配置为针对所述图像获取部所获取到的图像的各个像素，判断所述各个像素的颜色信息的变化是否满足预定条件，并使用满足所述预定条件的各个像素的最新颜色信息来更新所述三维形状要素的颜色信息，其中，所述像素的颜色信息的变化满足所述预定条件的情况是该像素的最新颜色信息位于该像素的原始颜色信息的特定距离范围内的情况，或者对于各单个像素、预定数量的过去的图像帧的颜色信息的平均值位于该像素的原始颜色信息的特定距离范围内的情况。
CN201780050510.1A 2016-06-20 2017-02-24 用于创建混合现实环境的***、方法、显示装置、介质 Active CN109643465B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016121928A JP6088094B1 (ja) 2016-06-20 2016-06-20 複合現実環境を作成するためのシステム等
JP2016-121928 2016-06-20
PCT/JP2017/007027 WO2017221461A1 (ja) 2016-06-20 2017-02-24 複合現実環境を作成するためのシステム等

Publications (2)

Publication Number Publication Date
CN109643465A CN109643465A (zh) 2019-04-16
CN109643465B true CN109643465B (zh) 2023-08-01

Family

ID=58186064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780050510.1A Active CN109643465B (zh) 2016-06-20 2017-02-24 用于创建混合现实环境的***、方法、显示装置、介质

Country Status (5)

Country Link
US (1) US11282279B2 (zh)
JP (1) JP6088094B1 (zh)
KR (1) KR102164471B1 (zh)
CN (1) CN109643465B (zh)
WO (1) WO2017221461A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6171079B1 (ja) 2016-12-22 2017-07-26 株式会社Ｃｙｇａｍｅｓ 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
EP3407607A1 (en) * 2017-05-24 2018-11-28 Thomson Licensing Method and device for encoding and reconstructing a point cloud
JP7033865B2 (ja) * 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
US11475636B2 (en) * 2017-10-31 2022-10-18 Vmware, Inc. Augmented reality and virtual reality engine for virtual desktop infrastucture
US10621768B2 (en) 2018-01-09 2020-04-14 Vmware, Inc. Augmented reality and virtual reality engine at the object level for virtual desktop infrastucture
WO2019142227A1 (ja) 2018-01-16 2019-07-25 株式会社ソニー・インタラクティブエンタテインメント 移動体および移動体制御方法
JP6948409B2 (ja) * 2018-01-16 2021-10-13 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
WO2019142229A1 (ja) 2018-01-16 2019-07-25 株式会社ソニー・インタラクティブエンタテインメント ロボット装置、ロボット装置の制御方法およびプログラム
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
US11734477B2 (en) * 2018-03-08 2023-08-22 Concurrent Technologies Corporation Location-based VR topological extrusion apparatus
JP7209474B2 (ja) * 2018-03-30 2023-01-20 株式会社スクウェア・エニックス 情報処理プログラム、情報処理方法及び情報処理システム
JP7187182B2 (ja) * 2018-06-11 2022-12-12 キヤノン株式会社 データ生成装置、方法およびプログラム
CN109215136B (zh) * 2018-09-07 2020-03-20 百度在线网络技术（北京）有限公司 一种真实数据增强方法、装置以及终端
US11087502B2 (en) * 2018-10-31 2021-08-10 International Business Machines Corporation Multimodal data visualization using bandwidth profiles and optional environmental compensation
JP2020098381A (ja) * 2018-12-17 2020-06-25 未來市股▲ふん▼有限公司 測位方法及び現実感提示装置
JP6611294B1 (ja) * 2019-03-01 2019-11-27 森ビル株式会社 情報提供システム
CN110113528B (zh) * 2019-04-26 2021-05-07 维沃移动通信有限公司 一种参数获取方法及终端设备
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
JP6833925B2 (ja) * 2019-07-29 2021-02-24 株式会社スクウェア・エニックス 画像処理プログラム、画像処理装置及び画像処理方法
JP6892904B2 (ja) * 2019-08-29 2021-06-23 株式会社スクウェア・エニックス 画像処理プログラム、及び画像処理システム
CN110458959B (zh) * 2019-09-04 2024-03-15 京东方科技集团股份有限公司 体三维显示仿真方法、装置、设备及计算机可读存储介质
US20210279967A1 (en) * 2020-03-06 2021-09-09 Apple Inc. Object centric scanning
CN111429528A (zh) * 2020-04-07 2020-07-17 高深智图(广州)科技有限公司 大型分布式高精地图数据处理***
CN111639567B (zh) * 2020-05-19 2024-03-22 广东小天才科技有限公司 一种三维模型的互动显示方法、电子设备及存储介质
CN113760088A (zh) * 2020-06-04 2021-12-07 史克威尔·艾尼克斯有限公司 增强现实显示装置以及记录介质
CN111738923B (zh) * 2020-06-19 2024-05-10 京东方科技集团股份有限公司 图像处理方法、设备及存储介质
CN111640179B (zh) * 2020-06-26 2023-09-01 百度在线网络技术（北京）有限公司 宠物模型的显示方法、装置、设备以及存储介质
CN111862339A (zh) * 2020-06-30 2020-10-30 北京市商汤科技开发有限公司 虚拟标签展示方法、装置、设备及计算机可读存储介质
CN111815785A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 现实模型的呈现方法、装置、电子设备及存储介质
US11403831B1 (en) 2021-01-14 2022-08-02 Microsoft Technology Licensing, Llc Efficient color theming of background images in web-based mixed reality environments
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US12028507B2 (en) 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
CN112837375B (zh) * 2021-03-17 2024-04-30 北京七维视觉传媒科技有限公司 用于真实空间内部的相机定位的方法和***
CN113379884B (zh) * 2021-07-05 2023-11-17 北京百度网讯科技有限公司 地图渲染方法、装置、电子设备、存储介质以及车辆
US20230319426A1 (en) * 2022-04-04 2023-10-05 Genome International Corporation Traveling in time and space continuum
CN115578499B (zh) * 2022-11-29 2023-04-07 北京天图万境科技有限公司 一种非对称色彩失调一致性的拟合重建的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147980B1 (ja) * 2011-09-26 2013-02-20 アジア航測株式会社 対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000034919A1 (en) * 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
JP3592168B2 (ja) * 1999-12-22 2004-11-24 キヤノン株式会社 画像データの符号化復号化方法及び装置
US7536032B2 (en) * 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP5025496B2 (ja) * 2008-01-09 2012-09-12 キヤノン株式会社 画像処理装置及び画像処理方法
JP2009199284A (ja) * 2008-02-21 2009-09-03 Univ Of Tokyo 道路地物認識方法
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US9578226B2 (en) * 2012-04-12 2017-02-21 Qualcomm Incorporated Photometric registration from arbitrary geometry for augmented reality
NO334902B1 (no) * 2012-12-07 2014-07-07 Kongsberg Defence & Aerospace As System og fremgangsmåte for overvåking av minst ett observasjonsområde
JP5909176B2 (ja) * 2012-12-18 2016-04-26 日本電信電話株式会社 陰影情報導出装置、陰影情報導出方法及びプログラム
KR20150103723A (ko) 2013-01-03 2015-09-11 메타 컴퍼니 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스
WO2015199470A1 (ko) * 2014-06-25 2015-12-30 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
CN104574376B (zh) * 2014-12-24 2017-08-08 重庆大学 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
TWI526992B (zh) * 2015-01-21 2016-03-21 國立清華大學 擴充實境中基於深度攝影機之遮蔽效果優化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147980B1 (ja) * 2011-09-26 2013-02-20 アジア航測株式会社 対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム

Also Published As

Publication number Publication date
JP6088094B1 (ja) 2017-03-01
KR102164471B1 (ko) 2020-10-12
US11282279B2 (en) 2022-03-22
WO2017221461A1 (ja) 2017-12-28
JP2017227975A (ja) 2017-12-28
KR20190020758A (ko) 2019-03-04
CN109643465A (zh) 2019-04-16
US20190147658A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
CN109643465B (zh) 用于创建混合现实环境的***、方法、显示装置、介质
US10896497B2 (en) Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method
CN113396443B (zh) 增强现实***
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
JP4804256B2 (ja) 情報処理方法
CN113826148B (zh) 使用经修改的从阴影恢复形状(sfs)方案对三角形三维网格进行形状细化
US8963943B2 (en) Three-dimensional urban modeling apparatus and method
US8892358B2 (en) System and method for distortion correction in three-dimensional environment visualization
US7583275B2 (en) Modeling and video projection for augmented virtual environments
JP4392507B2 (ja) ３次元サーフェス生成方法
JP5093053B2 (ja) 電子カメラ
US20110261187A1 (en) Extracting and Mapping Three Dimensional Features from Geo-Referenced Images
CN105190703A (zh) 使用光度立体来进行3d环境建模
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2018106661A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
KR102317182B1 (ko) 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치
CN115641401A (zh) 一种三维实景模型的构建方法及相关装置
JP2014514539A (ja) 共線変換ワープ関数を用いて第１の画像の少なくとも一部と第２の画像の少なくとも一部を位置合わせする方法
Reitinger et al. Augmented reality scouting for interactive 3d reconstruction
CN114283243A (zh) 数据处理方法、装置、计算机设备及存储介质
JP6134874B1 (ja) 複合現実環境を作成するためのシステム等
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN114723923B (zh) 一种传动解决方案模拟展示***和方法
CN114332207A (zh) 距离确定的方法、装置、计算机设备及存储介质
CN111581322B (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1262910

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant