CN115698870A - 信息处理装置、信息处理方法、程序和全息图显示*** - Google Patents

信息处理装置、信息处理方法、程序和全息图显示*** Download PDF

Info

Publication number
CN115698870A
CN115698870A CN202180038466.9A CN202180038466A CN115698870A CN 115698870 A CN115698870 A CN 115698870A CN 202180038466 A CN202180038466 A CN 202180038466A CN 115698870 A CN115698870 A CN 115698870A
Authority
CN
China
Prior art keywords
information processing
phase
pixels
groups
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180038466.9A
Other languages
English (en)
Inventor
温仕豪
赤尾雅人
神山佳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115698870A publication Critical patent/CN115698870A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/32—Systems for obtaining speckle elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0833—Look up table
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G03H2001/0883—Reconstruction aspect, e.g. numerical focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2284—Superimposing the holobject with other visual information
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/44—Digital representation
    • G03H2210/441—Numerical processing applied to the object data other than numerical propagation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明改善了用户体验。该信息处理装置包括：分组单元(21)，其将包括在一条图像数据中的构成一个或更多个对象的多个像素分组成一个或更多个组；相位调整单元(22)，其向多个像素分配具有对于一个或更多个组中的每个组不同的相位差的相位图案；以及计算单元(30)，其根据被赋予了相位图案的图像数据生成全息图数据。

Description

信息处理装置、信息处理方法、程序和全息图显示***
技术领域
本公开内容涉及信息处理装置、信息处理方法、程序和全息图显示***。
背景技术
计算机生成的全息图(在下文中，也称为CGH)是仅通过计算生成全息图的技术。因为经常难以直接存储场景的全息图，所以需要这样的技术。
常规地，在波传播处理之前将随机相位添加到输入像素或输入体素，在波传播处理中，由像素或体素传播的信息在全息图上的宽区域上扩展。当信息扩展到全息平面的宽范围时，再现的图像具有较浅的景深，并且提高了对伪影和附着到光学***的透镜的灰尘的鲁棒性。
然而，向输入图像添加随机相位在再现场上引起其他类型的噪声。这种噪声被称为散斑噪声，并且基本上随机地出现在再现场上。用于减少散斑噪声的许多技术基于耗时的迭代算法，这些迭代算法在实时性能方面是不利的。
还开发了不使用随机相位的CGH计算算法，并且通过使用这种不使用随机相位的方法获得的再现图像可以实现相当高的图像质量而没有散斑噪声。在不使用随机相位的情况下，具有来自空间中的采样点的信息的全息图集中在窄区域中。因此，再现图像的光束变细，并且因此再现图像的景深变深。在这点上，已经开发了用于减轻这两种现象的常规技术。
引文列表
专利文献
专利文献1：JP 2005-195803 A
发明内容
技术问题
然而，上述两种现象总是具有折衷关系。因此，在相关技术中，对于同一图像不能同时减少图像分辨率差和深景深这两个问题，并且难以改善用户体验。
在这点上，本公开内容提出了能够改善用户体验的信息处理装置、信息处理方法和程序。
问题的解决方案
为了解决上述问题，根据本公开内容的一个方面的信息处理装置包括：分组单元，其将包括在一条图像数据中的构成一个或更多个对象的多个像素分组成一个或更多个组；相位调整单元，其向多个像素分配具有对于一个或更多个组中的每个组不同的相位差的相位图案；以及计算单元，其根据添加了相位图案的图像数据生成全息图数据。
附图说明
图1是用于说明根据第一实施方式的全息图显示***的概要的示意图。
图2是示出根据第一实施方式的信息处理装置的示意性配置示例的框图。
图3是示出根据第一实施方式的信息处理装置的操作示例的流程图。
图4是示出根据第一实施方式的构成输入图像数据的对象图像的示例的图。
图5是示出根据第一实施方式的构成输入图像数据的深度图像的示例的图。
图6是示出根据第一实施方式的构成输入图像数据的标签图像的示例的图。
图7是示出根据第一实施方式的随机相位补丁的示例的图。
图8是示出根据第一实施方式的降频随机相位补丁的示例的图。
图9是示出第一实施方式中要再现的全息图、全息图显示***和观看者(用户)之间的位置关系的图。
图10是示出根据第一实施方式的向用户显示的全息图的示例的图(看前面的婴儿的情况)。
图11是示出根据第一实施方式的向用户显示的全息图的示例的图(看后面的男孩的情况)。
图12是示出根据第二实施方式的信息处理装置的示意性配置示例的框图；
图13是示出根据第三实施方式的信息处理装置的示意性配置示例的框图。
图14是用于说明根据第三实施方式的由视线跟踪单元检测到的用户的视线方向的图。
图15是用于说明基于图14所示的视线方向对对象进行分组的示例的图。
图16是示出根据第三实施方式的向用户显示的全息图的示例的图(看前面的婴儿的情况)。
图17是示出根据第三实施方式的向用户显示的全息图的示例的图(看后面的男孩的情况)。
图18是示出根据第四实施方式的信息处理装置的示意性配置示例的框图。
图19是示出根据第四实施方式的由摄像装置获取的周围图像的示例的视图。
图20是示出根据第四实施方式的由特征检测单元基于周围图像生成的特征图的示例的图。
图21是用于说明根据第四实施方式的对象的分组的示例的图。
图22是示出根据第四实施方式的向用户显示的全息图的示例的图(看前面的婴儿的情况)。
图23是示出根据第四实施方式的向用户显示的全息图的示例的图(看后面的男孩的情况)。
图24是用于说明根据第五实施方式的由视线跟踪单元检测到的用户的视线方向的图。
图25是用于说明基于图24所示的视线方向对对象进行分组的示例的图。
图26是示出根据第五实施方式的向用户显示的全息图的示例的图(看前面的婴儿的情况)。
图27是示出根据第五实施方式的向用户显示的全息图的示例的图(看后面的男孩的情况)。
图28是示出根据实施方式的信息处理装置的硬件配置示例的框图。
具体实施方式
在下文中，将基于附图详细描述本公开内容的实施方式。顺便提及，在下面的实施方式的每一个中，相同的附图标记分配给相同的部分，并且将省略重复的描述。
将根据以下描述的项的顺序来描述本公开内容。
1.第一实施方式
1.1概要
1.2信息处理装置的示意性配置示例
1.3信息处理装置的操作示例
1.4作用和效果
2.第二实施方式
3.第三实施方式
4.第四实施方式
5.第五实施方式
6.硬件配置
1.第一实施方式
下文中，将参照附图详细描述根据第一实施方式的信息处理装置、信息处理方法和程序。
1.1概要
首先，将描述本实施方式的概要。图1是用于说明根据本实施方式的全息图显示***的概要的示意图。注意，在图1和随后的附图中，(A)至(F)指示相应的示意性位置。
如图1所示，在本实施方式中，示出了全息图显示***，包括光源101、包括多个透镜102和透镜103的放大光学***、分束器104和空间光调制器105。
在图1中，来自光源101的激光L1被转换成具有由包括多个透镜102和透镜103的放大光学***放大的光束直径的相干光L2。相干光L2穿过分束器104并且进入空间光调制器105。
在本实施方式中，空间光调制器105由反射式空间光调制器来示出。相干光L2由空间光调制器105调制以在空间中的预定区域中的点处形成全息图。
分束器104例如在空间中的位置E处投影由空间光调制器105再现的全息图106，使得用户107可以观察全息图。位于位置F的用户107可以通过观察位置E的方向来观看叠加在通过分束器104可见的真实空间上的全息图106。
如上所述，根据本实施方式的全息图显示***可以提供以下用户体验：使虚拟对象等出现在真实空间中、以特殊效果等在真实空间中渲染主体、向用户呈现预定信息等。
注意，在上述配置中，显示装置50可以是例如光学透视型头戴式显示器(下文中，称为AR HMD)。另外，预处理单元20、CGH计算单元30和后处理单元40可以构成全息图显示***中的信息处理装置。信息处理装置的一部分或全部可以被布置在显示装置50中(即，布置在AR HMD中)，或者可以被布置在经由预定网络(例如，包括局域网(LAN)、因特网、长期演进(LTE)、无线保真(WiFi)、4G、5G等的移动通信网络)连接至显示装置50的服务器(包括云服务器)等中。
1.2信息处理装置的示意性配置示例
接下来，将参照附图详细描述包括在根据本实施方式的全息图显示***中的信息处理装置的示意性配置示例。图2是示出根据本实施方式的信息处理装置的示意性配置示例的框图。如图2所示，信息处理装置1包括预处理单元20、CGH计算单元30和后处理单元40。
(预处理单元20)
预处理单元20包括分组单元21和相位调整单元22，并且对输入图像数据(稍后描述的输入图像数据10)执行稍后描述的预处理。
(CGH计算单元30)
CGH计算单元30根据由预处理单元20预处理的输入图像数据通过计算生成要在SLM平面上输入的全息图数据。
(后处理单元40)
后处理单元40将由CGH计算单元30生成的全息图数据转换成可在显示装置50上显示的全息图信号。
(显示装置50)
显示装置50输出由后处理单元40转换的全息图信号，以将由输入图像数据再现的对象的全息图立体地显示给用户。
1.3信息处理装置的操作示例
接下来，将参照附图详细描述根据本实施方式的信息处理装置1的操作示例。图3是示出根据本实施方式的信息处理装置的操作示例的流程图。
如图3所示，在本操作中，首先，在步骤S101中，信息处理装置1输入与要作为全息图显示的图像有关的信息(下文中，称为输入图像数据)。在本实施方式中，输入图像数据10例如可以是2维图像数据、2.5维图像数据、3维图像数据等。注意，2.5维图像数据可以是例如包括针对每个像素或体素(下文中，简称为像素)的RGB的三原色的颜色信息和深度信息(也称为距离信息)的图像数据。另外，三维图像数据可以是例如包括RGB的三原色的颜色信息和三维信息的图像数据。
在以下描述中，将描述输入2.5维图像数据作为输入图像数据10的情况作为示例。图4和图5是根据本实施方式的输入图像数据的示例，图4示出了包括输入图像数据10中的每个像素的RGB颜色信息的图像数据(称为对象图像)，图5示出了包括每个像素的深度信息的图像数据(下文中，称为深度图像)。
图4所示的对象图像G40包括：位于左上方的男孩的对象C41、位于右下方的婴儿的对象C42、以及位于左下方的时钟的对象C43。在以下描述中，在区分了要对真实空间中的主体显示的对象(在本示例中为对象C41和对象C42)与要在虚拟设置的屏幕上显示的对象(在本示例中为对象C43)的情况下，将要对真实空间中的主体显示的对象称为虚拟对象(包括演出效果等)(下文中，称为AR对象)，并且将要在真实空间中的预定平面上虚拟设置的屏幕上显示的对象称为OSD对象。注意，在图4中，白色背景区域R41指示没有颜色信息的透明点，即，不存在对象的区域。
图5所示的深度图像D10包括与位于左上方的男孩的AR对象C41对应的区域C51、与位于右下方的婴儿的AR对象C42对应的区域C52、以及与位于左下方的时钟的OSD对象C43对应的区域D23。在图5中，涂黑区域R51指示未添加深度信息或者添加最远点的深度信息的区域。
在深度图像中，被表达为像素的每个点添加的深度信息可以是与从用户107在真实空间中的位置到真实空间中与每个像素对应的位置的实际距离对应的深度信息。
在本说明书中，将与距用户107的500mm的距离对应的深度信息添加到与位于左下方的时钟的OSD对象C43对应的区域C53。将与距用户107的1000mm的距离对应的深度信息添加到与位于右下方的婴儿的AR对象C42对应的区域C52，并且将与距用户107的2000mm的距离对应的深度信息添加到与位于左上方的男孩的AR对象C41对应的区域C51。
注意，输入图像数据10可以包括关于要被再现为全息图的图像的类型的映射信息。
在本实施方式中，输入图像数据10可以包括关于包括在对象图像中的对象的标签信息。在图4和图5所示的示例中，如图6所示，可以将标签信息添加到分别对应于男孩的AR对象C41、婴儿的AR对象C42和时钟的OSD对象C43的区域C61至区域C63。在下文中，将其上映射了添加了标签信息的区域C61至区域C63的图像称为标签图像G60。注意，在图6中，白色区域R61指示未添加标签信息的区域。
在图6中，区域C61是添加了指示男孩的AR对象C41的标签信息的区域，区域C62是添加了指示婴儿的AR对象C42的标签信息的信息，并且区域C63是添加了指示时钟的OSD对象C43的标签信息的信息。注意，在图6中，与要叠加在真实空间中的主体上的对象C41和对象C42对应的区域C61和区域C62用斜线阴影指示，并且与屏幕上对象C43对应的区域C63用黑色指示。
在图3的步骤S102中，将在步骤S101中输入的构成输入图像数据10的点(对应于像素)(下文中，描述为像素)分组成一个或更多个组。用于对像素进行分组的算法可以根据实际用例而进行各种改变。在本实施方式中，由于难以同时实现高分辨率和浅景深，因此将需要高分辨率的像素和需要浅景深的像素分组成不同的组，并且进行不同的处理。
例如，对于诸如作为时钟的OSD对象C43的屏幕上对象，认为用户期望能够清楚地观看屏幕上对象，而不管用户的视点对准的距离如何。因此，期望屏幕上对象具有高分辨率和深景深。
另一方面，期望将诸如AR对象C41和AR对象C42的AR对象显示在靠近真实空间上与AR对象对应的主体的位置处，并且出于该目的，必须具有与真实空间上的主体的景深相同的景深。即，浅景深对于AR对象是重要的。
如上所述，需要OSD对象具有高分辨率和深景深，并且需要AR对象具有浅景深，即使以分辨率为代价。在这点上，在本实施方式中，基于标签信息将输入图像数据10的像素分组成一个或更多个组。例如，输入图像数据10被分类为OSD对象的组(下文中，称为OSD对象组)和AR对象的组(下文中，称为AR对象组)。注意，不存在对象的透明区域不需要分组，因此可以省略。
在图3的步骤S103中，预处理单元20的相位调整单元22将相位值添加到输入图像数据10的所有像素。此时，在属于AR对象组的像素和属于OSD对象组的像素中，不同特征的相位值被添加到其中，使得再现的像素具有不同的特征。注意，可以不将相位值添加到不属于AR对象组或OSD对象组的像素。
作为向每个像素添加相位值的方法，例如，可以使用重复随机相位(RRP)方法。在RRP方法中，首先，生成将被分配给被称为预定大小(例如，m像素×n像素)的单元的区域的随机相位图案的补丁(下文中，称为随机相位补丁)。随机相位图案例如可以是如下图案：其中添加到相邻像素的相位值之间的差为不是固定值的随机值。
在本示例中，将补丁中具有最大相位差π的随机相位补丁分配给包括在一个单元中的多个像素。对于输入图像数据10的整个范围执行以单元为单位的随机相位补丁的这种分配。图7是示出在单元大小为1像素×32像素的情况下，分配给一个单元的随机相位补丁的示例的图。在图7中，横轴表示输入图像数据中在水平方向上排列的像素的数目(样本数目)，而纵轴表示添加到每个像素的相位值。
对于输入图像数据10的像素的水平列重复图7所示的32个像素的随机相位补丁。该重复被应用于输入图像数据10的所有列。
通过使用图4所示的对象图像G40中的每个像素的颜色强度的平方根，将输入图像数据10从实值图像转换为具有根据新添加的相位信息的幅度的复值图像。
随机相位图案可以散射光，以使波传播后光在SLM平面上形成的区域变宽。即，输入图像空间中的高频相位信息散射光以使形成在SLM平面上的光的区域变宽，而低频相位信息散射光以使形成在SLM平面上的光的区域变窄。
通过进一步在SLM平面上散射光图案，高频相位有助于使景深变浅。因此，可以说高频相位补丁更适合于AR对象组。
另一方面，低频相位通过减少SLM平面上的光图案而有助于增加景深。因此，可以说低频相位补丁更适合OSD对象组。
从图7所示的随机相位补丁可以看出，存在降低或提高相位分量的频率的各种方法。降低相位分量的频率的方法的示例包括：将相位分量乘以小于1.0的系数(下文中，称为相位系数)以减小随机相位补丁的幅度的方法；以及用低通滤波器对相位分量进行滤波的方法。在本实施方式中，如图8所示，示出了如下情况：通过将随机相位补丁乘以相位系数0.25来新生成具有频率低于图7所示的随机相位补丁的频率的随机相位补丁。
当通过使用如图8所示的低频随机相位补丁将相位值添加到属于OSD对象组的每个像素时，可以以更清楚和更深的景深再现OSD对象C43。
类似地，当通过使用如图7所示的高频随机相位补丁将相位值添加到属于AR对象组的每个像素时，可以以更浅的景深和更低的分辨率再现AR对象C41和AR对象C42。
在图3的步骤S104中，基于与使用图5描述的每个对象对应的区域C51至区域C34的深度信息，将通过使用上述规则由预处理单元20的相位调整单元22生成的复数场传播到SLM平面。
图9是示出本实施方式中要再现的全息图、全息图显示***和观看者(用户)之间的位置关系的图。在图9中，在要再现的三个全息图106a至106c中，位于位置E1的全息图106a对应于时钟的OSD对象C43，位于位置E2的全息图106b对应于婴儿的AR对象C42，并且位于位置E3的全息图106c对应于男孩的AR对象C41。
CGH计算单元30通过使用波传播公式获得作为SLM平面上的像素出现的每个点。作为这样的波传播公式，例如，可以使用如以下公式(1)所示的菲涅耳衍射公式。在公式(1)中，z表示从要再现的每个图像(全息图)平面到空间光调制器105的距离。
Figure BDA0003964035250000101
其中
E(x′，y′，0)是孔径处的电场，
Figure BDA0003964035250000102
k是波数2π/λ
i是虚数单位。
例如，在图9中，假设从位于位置A的空间光调制器105到位于位置E3的全息图106c的距离为1000mm，则用于显示全息图的图像从位置E3传播到位置A的距离z的值为1000mm。
注意，用于在SLM平面上生成全息图的波传播函数不限于公式(1)中所示的波传播公式。例如，也可以使用基于其他假设的瑞利索莫菲的衍射型或夫琅禾费的衍射型等。
不同深度的像素彼此分离地传播到SLM平面中，并且在SLM平面上的相同场中累积。将不同距离的场整合为一个场的最简单方法的示例包括整合场的方法。然而，基于实际用例，可以将整合不同深度的场的更复杂的方法应用于本实施方式。
在图3的步骤S105中，对在步骤S104中生成的整合的复数场执行上述后处理。注意，在后处理中，根据空间光调制器105的类型执行不同的处理。在使用反射型空间光调制器105的本实施方式中，可以使用直接显示复数场的过程。
在复值SLM中，幅度分量在0到255范围内被量化，并且在0到2π范围内的相位分量被量化成255个级的离散值。在根据本实施方式的后处理中，将复数场映射为可以由SLM显示并且被量化的信号。
在幅度信息的映射中，可以使用下面的公式(2)。根据公式(2)，由CGH计算单元30生成的场U被转换成可以由SLM显示的信号。
Figure BDA0003964035250000111
Figure BDA0003964035250000112
Figure BDA0003964035250000113
其中
U(x，y)是要显示的复数场，
A(x，y)是场的幅度分量，
φ(x，y)是场的相位分量，
M(x，y)是要由SLM显示的量化的幅度信号，
Amax是A(x，y)中的最大值，
θ(x，y)是要由SLM显示的量化的相位值，以及
Floor()是取值的整数部分的函数。
在图3的步骤S106中，显示了穿过空间光调制器105的信号。在本示例中，如图9所示，时钟的OSD对象C43被显示为位置E1处的全息图106a，该位置E1位于距处于位置F处的用户107为500mm的距离处，婴儿的AR对象C42被显示为位置E2处的全息图106b，该位置E2位于距用户107为1000mm的距离处，并且男孩的AR对象C41被显示为位置E3处的全息图106c，该位置E3位于距用户107为2000mm的距离处。
图10和图11是示出取决于用户正在看的地方、即用户的关注位置所在，对用户可见的场景的示例的图。图10是示出在用户正在看前面的婴儿的情况下对用户可见的场景的图，以及图11是示出在用户正在看后面的男孩的情况下对用户可见的场景的图。注意，在图10和图11中，假设对于与除了图4所示的对象C41至对象C43之外的背景对应的区域R101和区域R111，用户经由光学透视型AR HMD直接观看真实空间。
如上所述，在本实施方式中，将高频相位值添加到AR对象C41和AR对象C42，从而设置浅景深。因此，如在图10中所示的图像G100中，在用户107正在看前面的婴儿的情况下，以清晰的方式显示婴儿的AR对象C102，而以模糊的方式显示位于后面的男孩的AR对象C101。另一方面，如在图11中所示的图像G110中，在用户107正在看后面的男孩的情况下，以清晰的方式显示男孩的AR对象C111，而以模糊的方式显示位于前面的婴儿的AR对象C112。
如上所述，根据本实施方式，用户107可以以与真实空间中存在的主体的视觉效果类似的视觉效果(例如，距离感测)来观看AR对象。相应地，可以增强AR对象的真实感，从而可以改善用户体验。
另一方面，在本实施方式中，将低频相位值添加到OSD对象C43，从而设置深景深。因此，如图10和图11所示，无论用户107在看哪里，时钟的OSD对象C103和OSD对象C113都以清晰的方式显示给用户107。
1.4作用和效果
如上所述，根据本实施方式，由于可以针对同一图像上的不同点设置适当的参数，因此可以改善用户体验。
具体地，由于可以针对包括在同一图像中的每个对象自由地设置分辨率和景深，所以可以将具有高分辨率的对象和具有浅景深的对象同时呈现给用户。因此，可以在具有浅景深的对象中再现自然深度模糊，并且可以在具有高分辨率的对象中执行易于观看的清晰再现，使得可以改善提供给用户的用户体验。
注意，上述实施方式是一个灵活的框架，并且不言而喻，AR开发者可以根据AR开发者正在开发的***的用例来自由地调整对象的分辨率和景深。另外，在上述实施方式中，示出了其中通过针对像素所分配到的每个组分配具有不同最大相位差的相位补丁来调整每个对象的景深的情况，但是本发明不限于此。可以进行各种修改，例如，使得针对每个组分配具有不同相位差的相位图案的相位补丁或者分配具有不同相位图案的相位补丁。
2.第二实施方式
接下来，将参照附图详细描述根据第二实施方式的信息处理装置、信息处理方法和程序。注意，在下面的描述中，由相同的附图标记表示与上述实施方式的配置相同的配置，并且将省略其冗余描述。
图12是示出根据本实施方式的信息处理装置的示意性配置示例的框图。如图12所示，在与第一实施方式中参照图2描述的信息处理装置1的配置类似的配置中，根据本实施方式的信息处理装置2具有其中预处理单元20还包括图像分析单元23的配置。
在本实施方式中，与第一实施方式不同，输入图像数据10不包括标签图像(见图6)。取而代之，在本实施方式中，预处理单元20包括图像分析单元23。
图像分析单元23通过使用诸如卷积神经网络(CNN)的神经网络的机器学习来分析输入图像数据10。例如，图像分析单元23通过分类将输入图像数据10的像素分类成多个类别，并且标记分类成每个类别的像素。可以使用以这种方式添加到像素的标签来代替第一实施方式中的标签信息。
作为使用诸如卷积神经网络(CNN)的神经网络的机器学习，例如，可以使用金字塔场景解析网络(PSPNet)等。PSPNet可以通过在第一实施方式中参照图6描述的方法将输入图像数据10的像素分类成多个类别。
其他配置、操作和效果可以类似于上述实施方式的配置、操作和效果，并且因此此处将省略对其的详细描述。
3.第三实施方式
接下来，将参照附图详细描述根据第三实施方式的信息处理装置、信息处理方法和程序。注意，在下面的描述中，由相同的附图标记表示与上述实施方式的配置相同的配置，并且将省略其冗余描述。
图13是示出根据本实施方式的信息处理装置的示意性配置示例的框图。如图13所示，在与第一实施方式中参照图2描述的信息处理装置1的配置类似的配置中，根据本实施方式的信息处理装置3还包括摄像装置(成像单元)60，并且预处理单元20还包括视线跟踪单元24。注意，在本实施方式中，类似于第二实施方式，输入图像数据10不包括标签图像(见图6)。
摄像装置60例如对作为观看者的用户107成像。通过对用户107成像而获得的图像数据(下文中，称为用户图像)被输入到预处理单元20的视线跟踪单元24。另一方面，视线跟踪单元24通过分析输入的用户图像来检测用户的视线方向。
在本实施方式中，分组单元21基于从视线跟踪单元24输入的视线信息对输入图像数据10的像素进行分组。例如，根据本实施方式的分组单元21基于像素是否对应于用户107当前正在看的对象，将输入图像数据10的像素分组为两组。一组是用户107当前正在看的对象的组(本文中，称为关注组)，而另一组是不包括在用户107当前正在看的对象中的对象的组(下文中，称为不关注组)。
图14是示出输入图像数据中与用户观看的方向对应的部分的图，并且图15是示出例如与图6所示的标签图像对应的图像(下文中，称为分组图像)的示例的图，并且是用于说明基于图14所示的视线方向对对象进行分组的示例的图。
如图14所示，在用户107的视线V141指向婴儿的AR对象C142的情况下，如图15所示，属于与AR对象C142对应的区域C152的像素被分组成关注组，并且除了AR对象C142之外的AR对象，在本示例中，属于与AR对象C141对应的区域C151的像素以及属于与OSD对象C143对应的区域C153的像素被分组成不关注组。
如上所述，当基于用户107的视线方向对与每个对象对应的区域进行分组时，将要添加的相位值分配给属于每个组的像素。由于本示例是用户107正在看前面的婴儿的情况，所以将低频随机相位补丁分配给与AR对象C142对应的像素(即，属于关注组的像素)，从而以高分辨率的清晰的方式显示AR对象C142。
对于被分组成不关注组的与AR对象C141对应的像素以及与OSD对象C143对应的像素，分配用于实现浅景深的高频随机相位补丁，从而将像素显示为模糊到与真实世界中的主体相同的程度。
注意，将相位值分配给属于关注组的像素的方法以及将相位值分配给属于不关注组的像素的方法可以例如类似于上面参照图8描述的方法，并且因此，此处将省略其详细描述。
图16和图17是示出取决于用户的视线方向而对用户可见的场景的示例的图，图16是示出在用户的视线方向指向前面的婴儿的情况下对用户可见的场景的图，并且图17是示出在用户的视线方向指向后面的男孩的情况下对用户可见的场景的图。注意，在图16和图17中，假设对于与除了图14所示的对象C141至对象C143之外的背景对应的区域R161和区域R171，用户经由光学透视型AR HMD直接观看真实空间。
在如图16所示的图像G160中用户107的视线方向指向前面的婴儿的情况下，将低频相位信息添加到被分组成关注组并且与婴儿的AR对象C142对应的像素。因此，以深景深的清晰方式显示用户107正在看的婴儿的AR对象C162。
另一方面，对于被分组到不关注组并且与男孩的AR对象C141和时钟的OSD对象C143对应的像素，通过添加高频相位信息来将景深设置为浅的。因此，以模糊的方式显示男孩的AR对象C161和时钟的OSD对象C163。
另一方面，如在图17所示的图像G170中，在用户107的视线方向指向后面的男孩的情况下，将低频相位信息添加到被分组成关注组并且与男孩的AR对象C141对应的像素。因此，以深景深的清晰方式显示用户107正在看的男孩的AR对象C171。
另一方面，对于被分组在不关注组中并且与婴儿的AR对象C142和时钟的OSD对象C143对应的像素，通过添加高频相位信息将景深设置为浅的。因此，以模糊的方式显示婴儿的AR对象C171和时钟的OSD对象C173。
注意，OSD对象C143可以总是以高分辨率和深景深显示，而与用户107的视线方向无关。在这种情况下，可以将与OSD对象C143对应的区域C153分组成不同于关注组和不关注组的组(下文中，称为OSD组)。
其他配置、操作和效果可以类似于上述实施方式的配置、操作和效果，并且因此此处将省略对其的详细描述。
4.第四实施方式
接下来，将参照附图详细描述根据第四实施方式的信息处理装置、信息处理方法和程序。注意，在下面的描述中，由相同的附图标记表示与上述实施方式的配置相同的配置，并且将省略其冗余描述。
图18是示出根据本实施方式的信息处理装置的示意性配置示例的框图。如图18所示，在与第一实施方式中参照图2描述的信息处理装置1的配置类似的配置中，根据本实施方式的信息处理装置4还包括摄像装置60，并且预处理单元20还包括特征检测单元25。注意，在本实施方式中，类似于第二实施方式，输入图像数据10不包括标签图像(见图6)。
例如，摄像装置60对包括用户107的视角的用户107的周围环境成像。特征检测单元25基于由摄像装置60成像的用户107周围的图像(下文中，称为周围图像)，来生成指示真实空间中的哪个区域可能被用户107观看到的特征图。用户107可能观看到的区域例如是可能吸引用户107注意的区域，并且在由特征检测单元25生成的特征图中，可以在该区域中设置高特征值。
图19是示出由摄像装置获取的周围图像的示例的图，并且图20是示出根据本实施方式的由特征检测单元基于周围图像生成的特征图的示例的图。
如图19所示，摄像装置60的视角包括例如用户107的视角。摄像装置60的视角不一定比用户107的视角宽。如图20所示，特征检测单元25基于从摄像装置60输入的周围图像生成特征图。
在本示例中，例如，如在图20所示的特征图G200中，针对与图19所示的周围图像G190中的婴儿的区域C192对应的区域C202设置最高特征值，针对与女性的区域C194对应的区域C204设置下一最高特征值，并且针对与男孩和男性的区域C191对应的区域C201设置下一最高特征值。
根据本实施方式的分组单元21基于如上所述生成的特征图G200，根据区域C201、区域C202和区域C204与输入图像数据10中的AR对象之间的位置关系来分组AR对象。例如，如图21所示，分组单元21可以将与对应于特征图G200的区域C202的婴儿的AR对象C212对应的像素分组成具有最高关注度的组(下文中，称为高关注组)，并且可以将与其他对象(在本示例中，男孩的AR对象C211和时钟的OSD对象C213)对应的像素分组成具有低关注度的组(下文中，称为低关注组)。
为了始终以高分辨率的清晰的方式显示具有高关注度的AR对象C202，相位调整单元22通过参照图8描述的方法将低频相位值添加到被分组成高关注组的像素。
另一方面，在正常状态下，为了以模糊的方式显示具有低关注度的AR对象C201而没有不适，相位调整单元22通过参照图7描述的方法将高频相位值添加到被分组成低关注组的像素。注意，与正常状态相反的异常状态可以是用户107注视与不同于被分组到高关注组中的AR对象的AR对象对应的真实空间中的主体的状态。
图22和图23是示出取决于用户的视线方向而对用户可见的场景的示例的图，图22是示出在用户的视线方向指向前面的婴儿的情况下对用户可见的场景的图，并且图23是示出在用户的视线方向指向后面的男孩的情况下对用户可见的场景的图。注意，在图22和图23中，假设对于与除了图21所示的对象C211至对象C213之外的背景对应的区域R221和区域R231，用户经由光学透视型AR HMD直接观看真实空间。
在图22和图23中，由于将低频随机相位补丁分配给具有高关注度的婴儿的AR对象C222和AR对象C232，所以以深景深的清晰的方式显示婴儿的AR对象C222和AR对象C232，而不管用户107正看向何处。
另一方面，由于将高频随机相位补丁分配给具有低关注度的男孩的AR对象C221和AR对象C231，所以以浅景深显示男孩的AR对象C222和AR对象C232。因此，在用户107正在看男孩的情况下，如图23所示以清晰的方式显示男孩的AR对象C231，但是在用户107没有看男孩而是例如看婴儿的情况下，如图22所示以模糊的方式显示男孩的AR对象C231。
例如，在用户107总是高度关注或需要高度关注现实空间中的特定主体的情况下，本实施方式被认为是特别有效的。即使在这种情况下，由于用户107没有注意的主体的AR对象以根据用户107的关注位置等的清晰度来显示，所以可以提供没有不适的用户体验。
其他配置、操作和效果可以类似于上述实施方式的配置、操作和效果，并且因此此处将省略对其的详细描述。
5.第五实施方式
接下来，将参照附图详细描述根据第五实施方式的信息处理装置、信息处理方法和程序。注意，在下面的描述中，由相同的附图标记表示与上述实施方式的配置相同的配置，并且将省略其冗余描述。
例如，根据本实施方式的信息处理装置可以具有与根据上述第三实施方式的信息处理装置3的配置类似的配置。然而，根据本实施方式的信息处理装置执行以下操作。
图24和图25是用于说明由根据本实施方式的信息处理装置执行的操作的图，图24是示出输入图像数据中与用户观看的方向对应的部分的图，并且图25是用于说明基于图24所示的视线方向对对象进行分组的示例的图。
如图24所示，在本实施方式中，视线跟踪单元24与第三实施方式类似，基于由摄像装置60获取的图像，检测用户107的视线方向。
另一方面，如图25所示，根据本实施方式的分组单元21基于每个像素的深度信息对输入图像数据10中的深度图像进行分组。在本示例中，类似于上述示例，对象图像G240包括：男孩的AR对象C241、婴儿的AR对象C242和时钟的OSD对象C243，并且将不同的深度信息添加到深度图像F160中的每个对象。例如，将指示距用户107的距离为2000mm的深度信息添加到与男孩的AR对象C241对应的区域C251，将指示距用户107的距离为1000mm的深度信息添加到与婴儿的AR对象C242对应的区域C252，以及将指示距用户107的距离为500mm的深度信息添加到与时钟的OSD对象C243对应的区域C253。
在这种情况下，分组单元21基于深度图像G250中与男孩的AR对象C241对应的区域C251、与婴儿的AR对象C242对应的区域C252、以及与时钟的OSD对象C243对应的区域C253，对输入图像数据10的对象的区域进行分组。
如上所述，通过使用包括在输入图像数据10中的深度信息，分组单元21可以容易地对输入图像数据10的像素进行分组。
与上述实施方式类似，相位调整单元22基于如上所述生成的每个距离的组，将与用户107的视线方向V241对应的相位值添加到属于每个组的像素。
注意，在本实施方式中，使用如下表1所示的查找表来设置每个分组像素的相位值。
表1
Figure BDA0003964035250000181
如表1所示，在查找表中，针对距位于用户107的视线方向V241上的主体(即，用户正在看的主体)的每个距离来定义补丁中的最大相位差。注意，分配给预定大小的单元的随机相位补丁可以是上面参照图8描述的随机相位补丁，或者是通过基于从查找表指定的最大相位差调整随机相位补丁而获得的随机相位补丁(例如，见图7)。
因此，如图24所示，在用户107正在看位于距用户1000mm距离处的婴儿的情况下，将其中补丁中的最大相位差被设置为1π的随机相位补丁(例如，参见图7)分配给属于与位于距婴儿1000mm远的男孩的AR对象C241对应的组的像素，以及将其中补丁中的最大相位差被设置为1/4π的随机相位补丁(例如，参见图8)分配给属于与位于距婴儿500mm远的时钟的OSD对象C243对应的组的像素。
注意，补丁中的最大相位差0π(即，没有相位差的恒定相位值)被分配给属于与用户107正在看的婴儿的AR对象C242对应的组的像素。
如上所述，基于查找表将与距用户107正在看的主体的距离对应的相位差提供给每个对象，使得可以提供以下用户体验。
图26和图27是用于说明根据本实施方式的提供给用户的用户体验的图。图26是示出在用户正在看前面的婴儿的情况下对用户可见的场景的图，并且图27是示出在用户正在看后面的男孩的情况下对用户可见的场景的图。注意，在图26和图27中，假设对于与除了图24所示的对象C241至对象C243之外的背景对应的区域R261和区域R271，用户经由光学透视型AR HMD直接观看真实空间。
在如图26所示的图像G260中用户107的视线方向指向前面的婴儿的情况下，将相当低频率(在本示例中没有相位差)的随机相位补丁分配给与婴儿的AR对象C242对应的像素。因此，以深景深的清晰的方式显示用户107正在看的婴儿的AR对象C262。
另一方面，将补丁中具有与每个主体距婴儿(或用户107)的距离对应的最大相位差的高频随机相位补丁分配给与具有距用户107的距离与婴儿到用户107的距离不同的主体(在本示例中为男孩和时钟)的对象C241和对象C243对应的像素，使得将景深设置为浅。例如，基于表1的查找表，将具有与距婴儿+1000mm的距离所属的范围对应的最大相位差1π的高频随机相位补丁分配给与男孩的AR对象C241对应的像素，并且基于表1的查找表，将具有与距婴儿-500mm的距离所属的范围对应的最大相位差1/4π的高频随机相位补丁分配给与时钟的OSD对象C243对应的像素。因此，以模糊的方式显示这些主体的对象(男孩的AR对象C261和时钟的OSD对象C263)。
另一方面，在如图27所示的图像G270中用户107的视线方向指向后面的男孩的情况下，将相当低频率(在本示例中没有相位差)的随机相位补丁分配给与男孩的AR对象C242对应的像素。因此，以深景深的清晰的方式显示用户107正在看的男孩的AR对象C272。
另一方面，将补丁中具有与每个主体距男孩(或用户107)的距离对应的最大相位差的高频随机相位补丁分配给与具有距用户107的距离与男孩到用户107的距离不同的主体(在本示例中，婴儿和时钟)的对象C241和对象C243对应的像素，使得将景深设置为浅。例如，基于表1的查找表，将具有与距男孩-1000mm的距离所属的范围对应的最大相位差1π的高频随机相位补丁分配给与婴儿的AR对象C242对应的像素，并且基于表1的查找表，将具有与距婴儿-1500mm的距离所属的范围对应的最大相位差2/3π的高频随机相位补丁分配给与时钟的OSD对象C243对应的像素。因此，以模糊的方式显示这些主体的对象(婴儿的AR对象C272和时钟的OSD对象C273)。
其他配置、操作和效果可以类似于上述实施方式的配置、操作和效果，并且因此此处将省略对其的详细描述。
6.硬件配置
例如，可以通过具有如图28所示的配置的计算机1000来实现上述根据实施方式的信息处理装置、其修改和应用示例。图28是示出实现根据上述实施方式的信息处理装置的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并且控制每个单元。例如，CPU 1100在RAM 1200中开发存储在ROM 1300或HDD 1400中的程序，并且执行与各种程序对应的处理。
ROM 1300存储诸如在计算机1000启动时由CPU 1100执行的基本输入输出***(BIOS)的引导程序、取决于计算机1000的硬件的程序等。
HDD 1400是计算机可读记录介质，其非暂态地记录由CPU 1100所执行的程序、由程序所使用的数据等。具体地，HDD 1400是记录作为程序数据1450的示例的根据本公开内容的投影控制程序的记录介质。
通信接口1500是用于计算机1000连接至外部网络1550(例如，因特网)的接口。例如，CPU 1100经由通信接口1500从其他装置接收数据或者将由CPU 1100生成的数据发送至其他装置。
输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘和鼠标的输入装置接收数据。另外，CPU 1100经由输入/输出接口1600向诸如显示器、扬声器或打印机的输出装置发送数据。另外，输入/输出接口1600可以用作读取记录在预定记录介质(介质)中的程序等的媒体接口。例如，介质是诸如数字多功能光盘(DVD)或相变可重写盘(PD)的光学记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
例如，在计算机1000用作根据上述实施方式的信息处理装置的情况下，计算机1000的CPU 1100通过执行加载在RAM 1200上的程序来实现预处理单元20、CGH计算单元30和后处理单元40的功能。另外，HDD 1400存储根据本公开内容的程序等。顺便提及，CPU1100从HDD 1400读取程序数据1450，并且执行程序数据，但是作为另一示例，可以经由外部网络1550从其他装置获取这些程序。
尽管上面已经描述了本公开内容的实施方式中的每一个，但是本公开内容的技术范围并不限于上述实施方式中的每一个，并且在不脱离本公开内容的要旨的情况下可以进行各种修改。此外，可以在不同的实施方式和修改中适当地组合该部件。
在本说明书中描述的每个实施方式中的效果仅是示例而非限制，并且可以存在其他效果。
顺便提及，本技术还可以如下配置。
(1)
一种信息处理装置，包括：
分组单元，所述分组单元将包括在一条图像数据中的构成一个或更多个对象的多个像素分组成一个或更多个组；
相位调整单元，所述相位调整单元向所述多个像素分配具有对于所述一个或更多个组中的每个组不同的相位差的相位图案；以及
计算单元，所述计算单元根据添加了所述相位图案的图像数据生成全息图数据。
(2)
根据(1)所述的信息处理装置，其中，所述相位调整单元向所述多个像素分配具有对于所述一个或更多个组中的每个组不同的最大相位差的相位图案。
(3)
根据(1)或(2)所述的信息处理装置，其中
所述图像数据包括关于所述一个或更多个对象的标签信息，并且
所述分组单元基于所述标签信息将所述多个像素分组成所述一个或更多个组。
(4)
根据(1)所述的信息处理装置，还包括：
图像分析单元，所述图像分析单元分析所述图像数据以将标签添加到构成所述图像数据的每个像素，其中
所述分组单元基于由所述图像分析单元添加的所述标签将所述多个像素分组成所述一个或更多个组。
(5)
根据(1)所述的信息处理装置，还包括：
视线跟踪单元，所述视线跟踪单元检测用户的视线方向，其中
所述分组单元将构成所述一个或更多个对象中的与真实空间中位于所述视线方向上的主体相关联的对象的像素分组成第一组，并且将构成与不位于所述视线方向上的主体相关联的对象的像素分组成第二组。
(6)
根据(1)所述的信息处理装置，还包括：
成像单元，所述成像单元对用户的周围环境进行成像；以及
特征检测单元，所述特征检测单元通过分析由所述成像单元获取的图像数据，来检测所述用户周围存在的主体的特征，其中
所述分组单元基于由所述特征检测单元检测到的所述主体的特征，将构成与所述主体相关联的所述一个或更多个对象的所述多个像素分组成所述一个或更多个组。
(7)
根据(1)所述的信息处理装置，其中
所述图像数据包括构成所述图像数据的每个像素的深度信息，以及
所述分组单元基于所述深度信息将所述多个像素分组成所述一个或更多个组。
(8)
根据(7)所述的信息处理装置，还包括：
视线跟踪单元，所述视线跟踪单元检测用户的视线方向；
存储单元，所述存储单元存储保持距离与相位差之间的对应关系的查找表，其中
所述相位调整单元通过基于与由被分组成所述一个或更多个组中的每个组的像素构成的对象相关联的主体与真实空间中位于所述视线方向上的主体之间的距离参照所述查找表，来确定要添加到属于所述一个或更多个组中的每个组的像素的所述相位图案的所述相位差。
(9)
根据(1)至(7)中任一项所述的信息处理装置，其中
所述相位调整单元
将所述相位差为第一相位差的第一相位图案分配给由所述分组单元分组成第一组的像素，以及
将所述相位差为大于所述第一相位差的第二相位差的第二相位图案分配给被分组成第二组的像素。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其中
所述相位图案具有预定像素大小，以及
所述相位调整单元以通过将所述图像数据划分为所述预定像素大小而获得的单元为单位来分配所述相位图案。
(11)
根据(1)至(10)中任一项所述的信息处理装置，其中，所述相位图案是随机相位图案，在所述随机相位图案中添加到相邻像素的相位值之间的差是随机值。
(12)
根据(1)至(11)中任一项所述的信息处理装置，其中，所述一个或更多个对象包括与真实空间中的主体相关联的第一对象以及显示在所述真实空间中设置的虚拟屏幕上的第二对象。
(13)
根据(12)所述的信息处理装置，其中，所述相位调整单元将具有小相位差的低频相位图案分配给对应于所述第二对象的像素。
(14)
—种信息处理方法，包括：
将包括在一条图像数据中的构成一个或更多个对象的多个像素分组成一个或更多个组；
向所述多个像素分配具有对于所述一个或更多个组中的每个组不同的相位差的相位图案；以及
根据添加了所述相位图案的图像数据生成全息图数据。
(15)
一种用于使计算机执行以下操作的程序，所述计算机根据图像数据生成用于显示全息图的全息图数据：
将包括在一条图像数据中的构成一个或更多个对象的多个像素分组成一个或更多个组；
向所述多个像素分配具有对于所述一个或更多个组中的每个组不同的相位差的相位图案；以及
根据添加了所述相位图案的图像数据生成全息图数据。
(16)
一种全息图显示***，包括：
根据(1)至(13)中任一项所述的信息处理装置；以及
显示装置，所述显示装置基于由所述信息处理装置生成的所述全息图数据为用户显示全息图。
(17)
根据(16)所述的全息图显示***，其中
所述信息处理装置还包括后处理单元，所述后处理单元将所述全息图数据转换为能够被立体地显示在所述显示装置上的全息图信号；以及
所述显示装置包括空间光调制器，所述空间光调制器基于所述全息图信号调制光输出以向所述用户显示所述全息图。
(18)
根据(17)所述的全息图显示***，其中，所述空间光调制器是反射型空间光调制器。
附图标记列表
1、2、3、4 信息处理装置
10 输入图像数据
20 预处理单元
21 分组单元
22 相位调整单元
23 图像分析单元
24 视线跟踪单元
25 特征检测单元
30 CGH计算单元
40 后处理单元
50 显示装置
60 摄像装置
101 光源
102，103 透镜
104 分束器
105 空间光调制器(SLM)
106、106a、106b、106c 全息图
107 用户

Claims (18)

1.一种信息处理装置，包括：
分组单元，所述分组单元将包括在一条图像数据中的构成一个或更多个对象的多个像素分组成一个或更多个组；
相位调整单元，所述相位调整单元向所述多个像素分配具有对于所述一个或更多个组中的每个组不同的相位差的相位图案；以及
计算单元，所述计算单元根据添加了所述相位图案的图像数据生成全息图数据。
2.根据权利要求1所述的信息处理装置，其中，所述相位调整单元向所述多个像素分配具有对于所述一个或更多个组中的每个组不同的最大相位差的相位图案。
3.根据权利要求1所述的信息处理装置，其中
所述图像数据包括关于所述一个或更多个对象的标签信息，并且
所述分组单元基于所述标签信息将所述多个像素分组成所述一个或更多个组。
4.根据权利要求1所述的信息处理装置，还包括：
图像分析单元，所述图像分析单元分析所述图像数据以将标签添加到构成所述图像数据的每个像素，其中
所述分组单元基于由所述图像分析单元添加的所述标签将所述多个像素分组成所述一个或更多个组。
5.根据权利要求1所述的信息处理装置，还包括：
视线跟踪单元，所述视线跟踪单元检测用户的视线方向，其中
所述分组单元将构成所述一个或更多个对象中的与真实空间中位于所述视线方向上的主体相关联的对象的像素分组成第一组，并且将构成与不位于所述视线方向上的主体相关联的对象的像素分组成第二组。
6.根据权利要求1所述的信息处理装置，还包括：
成像单元，所述成像单元对用户的周围环境进行成像；以及
特征检测单元，所述特征检测单元通过分析由所述成像单元获取的图像数据，来检测所述用户周围存在的主体的特征，其中
所述分组单元基于由所述特征检测单元检测到的所述主体的特征，将构成与所述主体相关联的所述一个或更多个对象的所述多个像素分组成所述一个或更多个组。
7.根据权利要求1所述的信息处理装置，其中
所述图像数据包括构成所述图像数据的每个像素的深度信息，以及
所述分组单元基于所述深度信息将所述多个像素分组成所述一个或更多个组。
8.根据权利要求7所述的信息处理装置，还包括：
视线跟踪单元，所述视线跟踪单元检测用户的视线方向；
存储单元，所述存储单元存储保持距离与相位差之间的对应关系的查找表，其中
所述相位调整单元通过基于与由被分组成所述一个或更多个组中的每个组的像素构成的对象相关联的主体与真实空间中位于所述视线方向上的主体之间的距离参照所述查找表，来确定要添加到属于所述一个或更多个组中的每个组的像素的所述相位图案的所述相位差。
9.根据权利要求1所述的信息处理装置，其中
所述相位调整单元
将所述相位差为第一相位差的第一相位图案分配给由所述分组单元分组成第一组的像素，以及
将所述相位差为大于所述第一相位差的第二相位差的第二相位图案分配给被分组成第二组的像素。
10.根据权利要求1所述的信息处理装置，其中
所述相位图案具有预定像素大小，以及
所述相位调整单元以通过将所述图像数据划分为所述预定像素大小而获得的单元为单位来分配所述相位图案。
11.根据权利要求1所述的信息处理装置，其中，所述相位图案是随机相位图案，在所述随机相位图案中添加到相邻像素的相位值之间的差是随机值。
12.根据权利要求1所述的信息处理装置，其中，所述一个或更多个对象包括与真实空间中的主体相关联的第一对象以及显示在所述真实空间中设置的虚拟屏幕上的第二对象。
13.根据权利要求12所述的信息处理装置，其中，所述相位调整单元将具有小相位差的低频相位图案分配给对应于所述第二对象的像素。
14.一种信息处理方法，包括：
将包括在一条图像数据中的构成一个或更多个对象的多个像素分组成一个或更多个组；
向所述多个像素分配具有对于所述一个或更多个组中的每个组不同的相位差的相位图案；以及
根据添加了所述相位图案的图像数据生成全息图数据。
15.一种用于使计算机执行以下操作的程序，所述计算机根据图像数据生成用于显示全息图的全息图数据：
将包括在一条图像数据中的构成一个或更多个对象的多个像素分组成一个或更多个组；
向所述多个像素分配具有对于所述一个或更多个组中的每个组不同的相位差的相位图案；以及
根据添加了所述相位图案的图像数据生成全息图数据。
16.一种全息图显示***，包括：
根据权利要求1所述的信息处理装置；以及
显示装置，所述显示装置基于由所述信息处理装置生成的所述全息图数据为用户显示全息图。
17.根据权利要求16所述的全息图显示***，其中
所述信息处理装置还包括后处理单元，所述后处理单元将所述全息图数据转换为能够被立体地显示在所述显示装置上的全息图信号；以及
所述显示装置包括空间光调制器，所述空间光调制器基于所述全息图信号调制光输出以向所述用户显示所述全息图。
18.根据权利要求17所述的全息图显示***，其中，所述空间光调制器是反射型空间光调制器。
CN202180038466.9A 2020-06-02 2021-05-26 信息处理装置、信息处理方法、程序和全息图显示*** Pending CN115698870A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020096399 2020-06-02
JP2020-096399 2020-06-02
PCT/JP2021/019938 WO2021246255A1 (ja) 2020-06-02 2021-05-26 情報処理装置、情報処理方法、プログラム及びホログラム表示システム

Publications (1)

Publication Number Publication Date
CN115698870A true CN115698870A (zh) 2023-02-03

Family

ID=78831070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180038466.9A Pending CN115698870A (zh) 2020-06-02 2021-05-26 信息处理装置、信息处理方法、程序和全息图显示***

Country Status (4)

Country Link
US (1) US20230350344A1 (zh)
JP (1) JPWO2021246255A1 (zh)
CN (1) CN115698870A (zh)
WO (1) WO2021246255A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110371A (ja) * 1992-09-30 1994-04-22 Fujitsu Ltd 立体表示方法及び装置
JP2000322594A (ja) * 1999-05-14 2000-11-24 Taito Corp 画像表示装置、画像表示方法、及び表示プログラムが記憶された記憶媒体
DE102004063838A1 (de) * 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
JP5265546B2 (ja) * 2006-09-01 2013-08-14 シーリアル テクノロジーズ ソシエテ アノニム サブホログラムを使用してビデオホログラムをリアルタイムに生成する方法
GB2461894B (en) * 2008-07-16 2010-06-23 Light Blue Optics Ltd Holographic image display systems

Also Published As

Publication number Publication date
US20230350344A1 (en) 2023-11-02
JPWO2021246255A1 (zh) 2021-12-09
WO2021246255A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
Kruijff et al. Perceptual issues in augmented reality revisited
JP6873096B2 (ja) イメージ形成における及びイメージ形成に関する改良
Weier et al. Foveated real‐time ray tracing for head‐mounted displays
Terzić et al. Methods for reducing visual discomfort in stereoscopic 3D: A review
US11353703B2 (en) Image processing via multi-sample anti-aliasing
US11663733B2 (en) Depth determination for images captured with a moving camera and representing moving features
TWI336420B (en) Method and apparatus for generating binary matte signal
US20130335535A1 (en) Digital 3d camera using periodic illumination
US8213708B2 (en) Adjusting perspective for objects in stereoscopic images
US20050195478A1 (en) Apparatus for and method of generating image, and computer program product
US20120068996A1 (en) Safe mode transition in 3d content rendering
US10775742B2 (en) Method and apparatus for processing holographic image
Ledda et al. A wide field, high dynamic range, stereographic viewer
JP2014059691A (ja) 画像処理装置および方法、並びにプログラム
Turban et al. Extrafoveal video extension for an immersive viewing experience
CN114616587A (zh) 基于学习的镜头眩光移除
US20230089872A1 (en) Information processing device, information processing method, and information processing program
CN112802170A (zh) 光照图像生成方法、装置、设备和介质
WO2021246255A1 (ja) 情報処理装置、情報処理方法、プログラム及びホログラム表示システム
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
Kara et al. On the use-case-specific quality degradations of light field visualization
Zhou Accurate depth based post-processing for perception enhancement in real time three-dimensional graphics
EP4258221A2 (en) Image processing apparatus, image processing method, and program
Thatte Cinematic virtual reality with head-motion parallax

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination