CN107683497A - 信息处理设备、信息处理方法及程序 - Google Patents

信息处理设备、信息处理方法及程序 Download PDF

Info

Publication number
CN107683497A
CN107683497A CN201680033793.4A CN201680033793A CN107683497A CN 107683497 A CN107683497 A CN 107683497A CN 201680033793 A CN201680033793 A CN 201680033793A CN 107683497 A CN107683497 A CN 107683497A
Authority
CN
China
Prior art keywords
virtual objects
display
control unit
display control
real object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680033793.4A
Other languages
English (en)
Other versions
CN107683497B (zh
Inventor
西部满
石川毅
市川浩丈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107683497A publication Critical patent/CN107683497A/zh
Application granted granted Critical
Publication of CN107683497B publication Critical patent/CN107683497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

为了提出信息处理设备、信息处理方法和程序，利用所述信息处理设备、信息处理方法和程序可以将使用增强现实AR技术表示虚拟对象的方法进一步多样化。提供了信息处理设备，该信息处理设备包括显示控制单元，该显示控制单元执行第一处理或第二处理，所述第一处理为将虚拟对象显示成叠加在被检测并且被视为参考位置的真实对象上的真实空间上，所述第二处理为将虚拟对象显示成叠加在具有被检测并且不被视为参考位置的真实对象的真实空间上。

Description

信息处理设备、信息处理方法及程序
技术领域
本公开内容涉及信息处理设备、信息处理方法和程序。
背景技术
近年来，向用户呈现叠加在真实世界上的附加信息的称为增强现实(AR)的技术已经引起了公众注意。在AR技术中，呈现给用户的信息也称为注释，并且可以使用各种形式的虚拟对象比如文本、图标或动画来可视化。例如，专利文献1中公开了以下技术：AR的虚拟对象与真实对象关联地显示，例如，虚拟对象显示在真实对象的表面上，或者使虚拟对象漂浮在真实对象之上并且使虚拟对象被显示。
引用列表
专利文献
专利文献1：WO 2014/162823
发明内容
技术问题
自专利文献1等中提出的AR技术被开发起时间不长，很难说已经充分提出了在各种情况下利用AR的技术。例如，使用AR技术实现虚拟对象的方法的多样化也是没有充分提出的技术之一。
就这一点而言，本公开内容提出了一种新颖且改进的并且能够进一步使使用AR技术实现虚拟对象的方法多样化的信息处理设备、信息处理方法和程序。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，该信息处理设备包括：显示控制单元，被配置成执行第一处理或第二处理，所述第一处理为在基于在真实空间中检测到的真实对象的位置处将虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在所述真实空间上。
此外，根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：由处理器执行第一处理或第二处理，所述第一处理为在基于在真实空间中检测到的真实对象的位置处将虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在所述真实空间上。
此外，根据本公开内容，提供了一种使计算机用作显示控制单元的程序，该显示控制单元被配置成执行第一处理或第二处理，所述第一处理为在基于在真实空间中检测到的真实对象的位置处将虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在所述真实空间上。
发明的有益效果
如上所述，根据本公开内容，可以进一步使使用AR技术实现虚拟对象的方法多样化。注意，上述效果不一定是限制性的。连同或代替上述效果，可以实现本说明书中描述的效果或者可以从本说明书领会的其他效果中的任何一种效果。
附图说明
[图1]图1是示出了根据本实施方式的显示装置的外部配置的示例的图。
[图2]图2是示出了根据本实施方式的显示装置的内部配置的示例的框图。
[图3]图3是示出了在根据本实施方式的显示装置中执行的处理的概述的图。
[图4]图4是用于描述由根据本实施方式的显示装置执行的显示控制处理的图。
[图5]图5是用于描述根据本实施方式的虚拟对象的显示示例的图。
[图6]图6是用于描述根据本实施方式的虚拟对象的显示示例的图。
[图7]图7是用于描述根据本实施方式的虚拟对象的显示示例的图。
[图8]图8是用于描述根据本实施方式的虚拟对象的显示示例的图。
[图9]图9是用于描述根据本实施方式的虚拟对象的显示示例的图。
[图10]图10是用于描述根据本实施方式的虚拟对象的显示示例的图。
[图11]图11是用于描述根据本实施方式的虚拟对象的显示示例的图。
[图12]图12是用于描述根据本实施方式的虚拟对象的显示示例的图。
[图13]图13是用于描述根据本实施方式的虚拟对象的显示示例的图。
[图14]图14是用于描述根据本实施方式的虚拟对象的显示示例的图。
[图15]图15是示出了在根据本实施方式的显示装置中执行的预处理的流程的示例的流程图。
[图16]图16是示出了在根据本实施方式的显示装置中执行的渲染处理的流程的示例的流程图。
[图17]图17是示出了在根据本实施方式的显示装置中执行的渲染处理的流程的示例的流程图。
[图18]图18是示出了在根据本实施方式的显示装置中执行的根据交互的显示控制处理的流程的示例的流程图。
[图19]图19是示出了根据本实施方式的信息处理设备的硬件配置的示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。在本说明书和附图中，用相同的附图标记表示具有基本上相同的功能和结构的结构元素，并且省略对这些结构元素的重复说明。
另外，在本说明书和附图中存在以下情况：通过对相同的附图标号附加不同的字母来彼此区分具有基本上相同的功能配置的构成元件。例如，如果需要的话，具有基本上相同的功能配置的多个构成元件像成像单元10A和10B一样被区分。然而，当不存在对将具有基本上相同的功能配置的多个构成元件彼此区分开的特定需求时，仅对其附加同一附图标号。例如，当不存在对区分成像单元10A与10B的特定需求时，它们被简称为成像单元10。
描述将按照下面的顺序进行。
1.配置示例
1.1.外部配置示例
1.2.内部配置示例
2.技术特征
2.1.处理的概述
2.2.显示处理的变型
2.3.显示区域设置标准
2.4.基于交互的显示控制
2.5.根据显示区域进行处理
2.6.根据用户的显示控制
2.7.其他显示控制
3.操作处理示例
4.硬件配置示例
5.结论
<<1.配置示例>>
<1.1.外部配置示例>
首先，将参照图1来描述根据本公开内容的一个实施方式的信息处理设备的外部配置的示例。
图1是示出了根据本实施方式的显示装置1的外部配置的示例的图。图1所示的显示装置1是也被称为智能眼镜或头戴式显示器(HMD)的装置。显示装置1包括框架结构的安装单元50，该框架结构围绕例如用户的头部并且通过安装单元50固定至用户的头部。显示装置1具有如下配置：用于左眼和右眼的一对显示单元20A和20B以图1所示的安装状态布置在用户眼睛前方。例如，使用透射型显示器作为显示单元20，并且通过控制透射型显示器的透射率，显示装置1能够进入透过状态，即，透明或半透明状态。当显示单元20处于透过状态时，即使用户像佩戴眼镜一样时常地佩戴显示装置1，正常生活也不存在困难。
显示单元20能够通过以透明或半透明状态显示图像比如文本或图画来将AR的虚拟对象显示为叠加在真实空间的风景上。换言之，显示装置1可以被实现为透射型HMD。注意，在透射型HMD中，优选地，通过安装单元50将显示装置1固定至用户的头部，并且如图1所示的那样来固定用户的双眼与显示单元20之间的相对位置关系。这是因为：如果相对位置关系改变，则用于显示虚拟对象的显示器上的位置可能改变。
此外，显示单元20还能够将虚拟对象显示为叠加在由成像单元10A和10B捕获的真实空间的捕获图像上，同时显示真实空间的捕获图像。显示单元20还能够将虚拟对象显示为叠加在虚拟空间的图像上，同时显示与通过成像单元10A和10B对虚拟空间进行成像所获得的图像类似的图像。换言之，显示装置1可以被实现为沉浸式(视频透过型)HMD。
可替选地，显示单元20可以被实现为将图像直接投射到用户的视网膜上的LED光源等。换言之，显示装置1可以被实现为投射型HMD。
各种类型的内容可以显示在显示单元20上作为虚拟对象。例如，内容可以是数据比如包括电影或视频剪辑的运动图像内容、由数字静止摄像装置等成像的静止图像内容、电子书等。此外，这样的内容可以都是要显示的数据，如计算机使用数据比如由用户使用个人计算机等生成的图像数据、文本数据或电子表格数据、基于游戏程序的游戏图像等。
成像单元10A和10B被布置成：在用户佩戴显示装置1的状态下，使用沿用户观察的方向的真实空间作为成像范围来执行成像。成像单元10A和10B中的每一个可以被实现为能够获取指示用户观察的方向上的距离的信息(在下文中也称为“深度信息”)的立体摄像装置。在成像单元10A和10B中的每一个被实现为立体摄像装置的情况下，显示装置1能够以高精确度识别真实空间中的真实对象的形状和姿势。在下文中，成像单元10A和10B中的每一个也被称为“向外的立体摄像装置10”。
另一方面，成像单元10C和10D被布置成：在用户佩戴显示装置1的状态下，使用用户(更具体地，用户的双眼)的方向作为成像范围来执行成像。成像单元10C和10D中的每一个可以被实现为能够获取用户双眼的方向上的深度信息的立体摄像装置。在成像单元10C和10D中的每一个被实现为立体摄像装置的情况下，显示装置1能够以高精确度识别用户的眼球位置、瞳孔位置、视线方向等。在下文中，成像单元10C和10D中的每一个也被称为“向内的立体摄像装置10”。
此外，虽然图1未示出，但是显示装置1可以具有扬声器或耳机扬声器。此外，显示装置1可以包括用于获取外部声音的麦克风。
图1所示的显示装置1的外观是示例，并且可以考虑用户佩戴显示装置1的各种结构。显示装置1可以由通常被认为是眼镜型或者头戴式的安装单元构成，并且至少在该实施方式中，显示单元20靠近用户的眼睛布置就足够了。此外，显示单元20可以被配置成使得：设置与双眼对应的一对单元或者可以设置与一个眼睛对应的单个单元。
类似地，可以设置与左耳和右耳对应的两个扬声器或两个耳机扬声器，或者可以设置与一个耳朵对应的一个扬声器或一个耳机扬声器。此外，可以设置一个或更多个麦克风，并且这种布置是任意的。
上面已经描述了根据本实施方式的显示装置1的外部配置的示例。接下来，将参照图2来描述根据本实施方式的显示装置1的内部配置的示例。
注意，在下面的描述中，作为示例，假设显示装置1被实现为透射型HMD。在下文中，显示在显示装置1的显示单元20(透射型显示器)上的图像(包括透明地可见背景和交叠地显示的虚拟对象)也被称为“真实空间图像”。
<1.2.内部配置示例>
图2是示出了根据本实施方式的显示装置1的内部配置的示例的框图。如图2所示，显示装置1包括成像单元10、显示单元20、存储单元30和控制单元40。
成像单元10具有对真实空间成像并输出捕获的图像的功能。例如，成像单元10能够被实现为图1所示的向外的立体摄像装置10和向内的立体摄像装置10。
显示单元20具有显示图像的功能。例如，显示单元20可以被实现为布置在图1所示的用户的双眼处的透射型显示器。
存储单元30具有存储各种信息的功能。例如，存储单元30存储与显示在显示单元20上的虚拟对象有关的信息。例如，存储单元30存储内容比如用作虚拟对象的源的图像或文本。
控制单元40用作操作处理装置和控制装置，并且具有根据各种类型的程序来控制显示装置1的整体操作的功能。控制单元40由电子电路比如中央处理单元(CPU)、微处理器等来实现。注意，控制单元40可以包括存储要使用的程序、操作参数等的只读存储器(ROM)以及临时存储适当地改变的参数的随机存取存储器(RAM)等。此外，控制单元40可以包括用于图像处理的图形处理单元(GPU)和视频RAM(VRAM)等。
如图2所示，控制单元40用作检测单元41、存储控制单元43和显示控制单元45。检测单元41具有根据从成像单元10输出的捕获图像检测各种类型的信息的功能。存储控制单元43具有将信息存储在存储单元30中并获取存储在存储单元30中的信息的功能。显示控制单元45具有执行用于使图像显示在显示单元20上的显示控制的功能。具体地，显示控制单元45控制显示单元20以使得虚拟对象被显示为叠加在真实空间上(在下文中，这也被描述为“显示装置1叠加地显示虚拟对象。”)。
上面已经描述了根据本实施方式的显示装置1的内部配置的示例。
<<2.技术特征>>
接下来，将按顺序描述根据本实施方式的显示装置1的技术特征。
<2.1.处理的概述>
首先，将参照图3来描述在显示装置1中执行的处理的概述。图3是示出了在根据本实施方式的显示装置1中执行的处理的概述的图。
(1)成像处理
如图3所示，成像单元10首先执行成像处理并获取捕获的图像。
(2)空间识别处理
接下来，如图3所示，检测单元41基于从成像单元10输出的捕获图像来执行空间识别处理。通过空间识别处理来获取指示显示装置1在真实空间中的位置和姿势的空间信息。
例如，空间信息可以是通过公知的图像识别技术比如来自运动的结构(SfM)技术或同时定位和映射(SLAM)技术识别的环境识别矩阵。例如，环境识别矩阵指示参考环境(真实空间)的坐标系相对于显示装置1的装置特定坐标系的相对位置和姿势。例如，在使用SLAM方法的情况下，基于扩展卡尔曼滤波器的原理，针对捕获图像的每一帧来更新包括装置的位置、姿势、速度和角速度以及包括在捕获图像中的至少一个特征点的位置的状态变量。因此，可以使用从单目摄像装置输入的输入图像基于装置的位置和姿势来识别参考环境的位置和姿势。注意，对于SLAM技术的详细描述，参见例如“Real-Time SimultaneousLocalization and Mapping witha Single Camera(使用单个摄像装置的实时同时定位和映射)”(Andrew J.Davison，(Proceedings of the 9thIEEE International ConferenceonComputer Vision)关于计算机视觉的第9届IEEE国际会议的论文集，第2卷，2003年，1403页至1410页)。
另外，只要空间信息指示成像单元在真实空间中的相对位置和姿势，空间信息就可以是任何信息。例如，可以基于从可以安装在成像单元中的深度传感器获得的深度数据来识别环境识别矩阵。也可以基于从环境识别***比如红外测距***或运动捕获***输出的输出数据来识别环境识别矩阵。例如，在以下文献中描述了这样的技术的示例：S.Izadi等，KinectFusion：Real-time 3D Reconstruction and InteractionUsing a MovingDepthCamera，ACMSymposium onUser Interface Software and Technology(使用运动深度摄像装置的实时3D重构和交互，关于用户界面软件和技术的ACM讨论会)，2011年，但所述技术不限于此，可以使用各种公知的技术来生成空间信息。
可替选地，可以通过针对通过对真实空间进行成像而获得的一系列帧图像的拼接分析来指定每个帧图像的相对位置关系来生成空间信息。在这种情况下，拼接分析可以是将帧图像附着到基准平面上的二维拼接分析或者将帧图像附着到空间中的任意位置上的三维拼接分析。
此外，可以使用惯性传感器比如一起包括在显示装置1中的加速度传感器或陀螺仪传感器来获取空间信息。在这种情况下，可以以较高的速度来估计空间信息。此外，即使在由于用户(摄像装置位置)的快速移动引起的运动模糊等而难以基于捕获图像来获取空间信息的情况下，也可以以一定的精确度来获取空间信息。
(3)真实对象识别处理
此外，如图3所示，检测单元41基于从成像单元10输出的捕获图像来执行真实对象识别处理。例如，通过真实对象识别处理来检测包括在真实空间图像中的接近佩戴显示装置1的用户的真实对象。具体地，指示真实对象的位置和形状的真实对象信息，更准确地，真实空间图像中的真实对象的位置和形状、即从成像单元10观察的真实空间的不平坦通过真实对象识别处理来获取。
例如，真实对象信息可以是基于由立体摄像装置获得的图像的每个像素的深度信息和该深度信息的可靠性程度。例如，检测单元41基于同一真实空间是从不同视点的成像目标的多个捕获图像中的真实对象的差异(双眼视差)来获取真实对象信息。注意，由于立体图像识别的特性，与色调等的变化小的区域相关的深度信息的可靠性程度可能低。此外，可以使用任意技术比如飞行时间(ToF)方案的深度传感器来获取深度信息。
此外，可以通过将根据从成像单元10输出的捕获图像计算的特征量与预先存储在存储单元30中的真实对象的特征量进行比较来获取真实对象信息。在这种情况下，真实对象信息可以包括目标真实对象的识别信息以及指示其位置和姿势的信息。例如，特征量可以通过公知的特征量计算技术比如SIFT技术或随机蕨技术(random ferns technique)来计算。
另外，可以通过识别已知的图表或符号、人造标记(例如，条形码或QR码(注册商标))或自然标记来获取真实对象信息。
(4)姿势识别处理
此外，如图3所示，检测单元41基于从成像单元10输出的捕获图像来执行姿势识别处理。通过姿势识别处理来获取指示由佩戴显示装置1的用户或附近的其他用户执行的姿势的内容的姿势信息。可以使用例如与用于真实对象识别处理的技术类似的技术来获取姿势信息。
(5)视点位置估计处理
接下来，如图3所示，显示控制单元45执行视点位置估计处理。通过视点位置估计处理来获取指示佩戴显示装置1的用户的眼睛的位置的视点位置信息。例如，显示控制单元45基于通过空间识别处理获取的空间信息来估计视点位置信息。显示控制单元45可以还基于从由向内的立体摄像装置10获取的图像识别的用户的眼球位置、瞳孔位置、视线方向等来估计视点位置信息。
(6)遮蔽对象确定处理
此前，如图3所示，显示控制单元45执行遮蔽对象确定处理。通过遮蔽对象确定处理来获取指示由佩戴显示装置1的用户观察的真实对象的交叠的遮蔽对象信息。例如，显示控制单元45基于真实对象信息来识别真实对象之间的位置关系、由于交叠而对用户不可见的区域等。
(7)显示区域设置处理
此外，如图3所示，显示控制单元45执行为虚拟对象设置显示区域的处理。通过显示区域设置处理将虚拟对象被显示(叠加)的显示区域设置在真实空间上的一个区域中。
例如，显示控制单元45基于真实对象信息来检测平面区域。平面区域指真实对象中的平坦表面(没有或很少有不平坦)。此外，显示控制单元45基于深度信息和捕获图像来计算例如平面区域的面积、法线、颜色和颜色变化程度。然后，显示控制单元45将适合于在平面区域中显示虚拟对象的区域设置为显示区域。优先于基于具有较低可靠性程度的深度信息所计算的平面区域，显示控制单元45可以将基于具有较高可靠性程度的深度信息所计算的平面区域设置为显示区域。显示区域可以具有各种形状，如矩形、三角形、多边形或圆形。例如，合适的区域是真实对象的平坦表面，并且指示具有足够面积的表面，此外，指示从成像单元10到平面的矢量与平面(即，面向用户的表面)的法线之间的小角度。此外，合适的区域可以是颜色变化平坦的区域。如上所述，当显示区域被设置在适合于显示的区域中时，防止或减少真实世界信息与虚拟对象之间的冲突。
另一方面，显示控制单元45可以将例如除真实对象的表面之外的空间上的任意区域(例如，空中的区域)设置为显示区域。例如，在真实对象中不存在平坦表面的情况下，在不存在具有足够面积的表面的情况下，或者在从成像单元10到平面的矢量与平面的法线之间的角度大的情况下(即，在它不面向用户的情况下，例如，视线方向与平面基本上平行)，显示控制单元45将空气中的区域设置为显示区域。
此外，显示控制单元45可以基于姿势信息来设置显示区域。例如，显示控制单元45根据用户的指示来扩大、减小或移动显示区域。
显示控制单元45根据所设置的显示区域来布局内容，并且将所布局的内容渲染到虚拟对象的纹理中。
(8)虚拟对象渲染处理
然后，如图3所示，显示控制单元45执行虚拟对象渲染处理。例如，显示控制单元45基于视点位置信息和空间信息来决定用于渲染的视点。具体地，显示控制单元45基于视点位置信息和空间信息，执行在显示区域设置处理中设置的显示区域到显示单元20上的坐标的投影变换。在下文中，已经经历投影变换的显示区域也被简称为“显示区域”。然后，显示控制单元45通过GPU变换虚拟对象的纹理，并且将所得到的信息写入与已经经历投影变换的显示区域对应的VRAM中。注意，显示控制单元45可以基于遮蔽对象信息使虚拟对象的遮蔽部分消失。
(9)显示处理
最后，如图3所示，显示单元20执行显示处理。例如，显示单元20通过显示控制器(例如，显示控制单元45)基于从VRAM读取的像素信息来执行显示。因此，虚拟对象被显示为叠加在真实空间图像上。
<2.2.显示控制处理的变型>
根据本实施方式的显示装置1(例如，显示控制单元45)能够同时或选择性地执行多种类型的叠加处理。例如，显示装置1能够执行第一处理或第二处理，所述第一处理为在基于在真实空间中检测到的真实对象的位置处将虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于在真实空间中检测到的真实对象的位置处将虚拟对象显示为叠加在真实空间上。在下文中，将参照图4来描述由显示装置1执行的显示控制处理的变型。
图4是用于描述根据本实施方式的虚拟对象的显示示例的图。如图4所示，佩戴显示装置1的用户正在看桌子。虚拟对象110A和110B由显示装置1显示并且对用户可见。例如，在第一处理中，显示装置1根据真实对象的位置、姿势、形状等来显示虚拟对象。例如，在图4所示的示例中，虚拟对象110A通过第一处理被显示为好像虚拟对象110A粘附到桌子的上表面。另一方面，在第二处理中，显示装置1显示虚拟对象而不管真实对象如何。例如，在图4所示的示例中，虚拟对象110B通过第二处理被显示为好像虚拟对象110B漂浮同时在沿着用户的视线向前移动。
在此，在本说明书中，“位置”可以表示用户感知的真实空间中的位置(即，真实空间坐标)，或者可以表示显示单元20(例如，透射型显示器)上的位置(即，屏幕上的坐标)。然而，虚拟对象的显示可以根据其意义而不同。例如，即使当作为用户感知的位置而存在透视感时，它仍然可以显示在显示单元20上的同一位置处。
虚拟对象可以是作为由用户操作的目标的操作信息。例如，用户能够通过触摸虚拟对象来输入信息等。在虚拟对象漂浮在空中的情况下，在接收到指示通过触摸虚拟对象执行操作的反馈时，用户难以执行操作。另一方面，在虚拟对象显示在真实对象的表面上的情况下，用户能够触摸虚拟对象并且触摸真实对象，因此用户能够在接收到反馈时执行操作。
下面将详细描述第一处理和第二处理。
(1)第一处理
(1a)基本策略
例如，显示装置1可以在第一处理中基于检测到的真实对象的形状来改变虚拟对象的显示。因此，当由用户观察时，虚拟对象更自然地叠加在真实空间上。
具体地，显示装置1通过改变虚拟对象与检测到的真实对象的相对姿势和/或通过变换虚拟对象的形状来改变虚拟对象的显示。例如，在检测到的真实对象中被设置为显示区域的平面不面向用户的情况下，即，在显示区域与用户的视线方向不正交的情况下，显示装置1使虚拟对象旋转由显示区域和视线方向形成的角度。此外，例如，在被设置为显示区域的平面的形状与虚拟对象的原始形状不匹配的情况下，显示装置1根据显示区域的形状来变换虚拟对象的形状。因此，当由用户观察时，虚拟对象被观察为与真实对象更完整地结合。作为用于改变虚拟对象相对于真实对象的相对姿势的技术，例如，可以应用公知的技术比如在JP 2012-221249A中描述的技术。
(1b)真实对象表面上的叠加显示
显示装置1可以将虚拟对象显示为叠加在检测到的真实对象的表面上。例如，显示装置1将真实对象的表面设置为显示区域，并且将虚拟对象映射到真实对象的表面，以及显示虚拟对象。因此，当由用户观察时，虚拟对象看起来粘附至真实对象。在虚拟对象被显示为叠加在真实对象的表面上的情况下，与虚拟对象被显示在可以与背景交叠的空气中的情况相比，改善可见性。注意，显示装置1可以将虚拟对象显示为叠加在与真实对象的表面相同的表面上(即，在真实对象的表面上)，或者可以将虚拟对象显示为叠加在与所述表面分离的表面(例如，与真实对象的平面区域水平地间隔几毫米或几厘米的平面区域)上。
在此，显示装置1可以将虚拟对象显示为叠加在检测到的真实对象的表面中的连续表面上。例如，连续表面是在平面区域中不具有遮蔽对象或不被遮蔽对象分割的区域等。此外，例如，连续表面可以被认为是具有平坦的倾斜度变化和/或平坦的色调变化的表面。因此，当由用户观察时，虚拟对象被显示为更容易可见。在此，将参照图5和图6来描述本显示示例。
图5是用于描述根据本实施方式的虚拟对象的显示示例的图。在图5所示的示例中，在真实空间图像120中，信封122放在桌子上。例如，显示装置1将信封122的具有平坦的倾斜度变化和平坦的色调变化的表面设置为显示区域，并且在信封122上显示虚拟对象124。
图6是用于描述根据本实施方式的虚拟对象的显示示例的图。在图6所示的示例中，在真实空间图像130中，信封132放在桌子上，而电缆134和键盘136进一步放在信封132上。例如，显示装置1将没有被用作信封132的作为具有平坦的倾斜度变化和平坦的色调变化的连续表面的表面中的遮蔽对象的电缆134和键盘136阻挡的部分设置为显示区域，并且使虚拟对象138显示在所设置的区域上。
此外，显示装置1可以将虚拟对象显示为叠加在检测到的真实对象的表面中的被确定为水平的表面或被确定为竖直的表面上。显示装置1可以基于空间信息来确定水平表面或竖直表面。例如，显示装置1将虚拟对象显示在地面或被确定为水平的桌子等的上表面上，或者将虚拟对象显示在被确定为竖直的墙上等。因此，当由用户观察时，虚拟对象被显示为容易可见。
注意，基于加速度方向、平面的大小、与显示装置1的相对位置、所述平面是否是水平平面中最低的等来确定它是否是地面。在将地面设置为显示区域的情况下，显示装置1能够根据地形来执行导航。
(1c)在空中的叠加显示
此外，显示装置1可以将虚拟对象显示为叠加在与检测到的真实对象间隔开的位置上。例如，显示装置1将显示区域设置在各种空间比如真实对象的表面的延伸上的表面、真实对象之上的空间或者真实对象与用户之间的空间中。更简单地，显示装置1将虚拟对象显示为好像它漂浮在空中。因此，例如即使当真实对象的表面没有合适的显示区域时，也可以将虚拟对象与真实对象相关联地显示。注意，优选地，设置在空中的显示区域面向用户。
(2)第二处理
例如，显示装置1可以在第二处理中将虚拟对象显示为在用户的视线方向上叠加在真实空间上。例如，显示装置1基于空间信息和/或识别由向内的立体摄像装置10捕获的图像的结果，使虚拟对象随着用户的视线的移动而移动。因此，当由用户观察时，虚拟对象被看成在眼睛前方的空中的预定距离处跟随视线。
此外，显示装置1可以在第二处理中将虚拟对象显示为叠加在基于用户的头部的位置上。例如，显示装置1可以基于空间信息使虚拟对象随着用户的头部的移动而继续移动。因此，例如，由于当由用户观察时虚拟对象始终位于视野内，所以可以使眼睛不被阻挡。出于类似的目的，显示装置1可以在第二处理中将虚拟对象显示为叠加在基于显示表面(例如，显示单元20)的位置上。
此外，显示装置1可以在第二处理中将虚拟对象显示为叠加在真实空间中的任意位置上。例如，显示装置1将虚拟对象显示为叠加在与真实对象和用户都不关联的位置上。例如，显示装置1可以在与地理位置对应的位置处显示虚拟对象。
(3)切换
显示装置1可以执行上述第一处理和第二处理之间的切换。因此，显示装置1能够根据用户的环境和/或内容来选择适当的处理。可以考虑各种切换标准。
例如，显示装置1可以基于与用户有关的信息和/或与虚拟对象有关的信息来执行切换。可以考虑各种与用户有关的信息。与用户有关的信息的示例可以包括：与用户的环境有关的信息、指示由用户给出的指令的信息、生物学信息、位置信息、操作信息、与被使用的应用有关的信息以及指示用户与真实对象之间的关系的信息。注意，指示关系的信息可以表示例如指示位置关系的信息、指示姿势关系的信息、指示属性信息的关系的信息等。也可以考虑各种与虚拟对象有关的信息。例如，与虚拟对象有关的信息可以包括指示虚拟对象的内容或新鲜度、虚拟对象与真实对象之间的关系的信息等。除了上述信息以外，例如，还可以将指示用户与虚拟对象之间的关系的信息视为与用户有关的信息以及与虚拟对象有关的信息。显示装置1可以基于上述信息中的至少一段信息来执行切换。
例如，显示装置1可以根据虚拟对象的内容来执行切换。例如，显示装置1可以在内容的紧急程度低的情况下在基于真实对象的位置处(例如，真实对象的表面)显示虚拟对象，或者可以在紧急程度高的情况下在不基于真实对象的位置处(例如，用户的眼睛前方的空中)显示虚拟对象。此外，显示装置1可以在内容与真实对象相关联的情况下在基于真实对象的位置处(例如，真实对象的表面或附近的空中)显示虚拟对象，或者可以在内容与真实对象不关联的情况下在不基于真实对象的位置处(例如，用户的眼睛前方的空中)显示虚拟对象。
例如，显示装置1可以根据真实对象与用户之间的距离来执行切换。例如，显示装置1可以在显示区域能够设置的真实对象位于用户附近的情况下在基于真实对象的位置处显示虚拟对象，或者可以在显示区域能够设置的真实对象位于远离用户处的情况下在不基于真实对象的位置处显示虚拟对象。
例如，显示装置1可以根据用户给出的指令进行切换。
<2.3.显示区域设置标准>
显示装置1(例如，显示控制单元45)能够基于各种标准来设置显示区域。
例如，显示装置1可以给予真实对象的表面、基于真实对象的空间和不基于真实对象的空间优先级，并且设置显示区域。
例如，显示装置1可以优先地将显示区域设置在真实对象的表面上。此外，在真实对象的表面上不存在适当的显示区域的情况下或者在它由内容请求的情况下，显示装置1可以将显示区域设置在空中。此外，对于具有平坦的颜色变化但是不面向用户的平面区域，显示区域1可以将显示区域设置在真实对象附近的空中面向用户。此外，在在多个虚拟对象被显示的状态下用于显示新的虚拟对象的显示区域不足的情况下，显示装置1可以将显示区域设置在空中或者将显示区域设置在已经在视野之外的平面上。
例如，在虚拟对象显示在空中的情况下，显示装置1可以将显示区域设置成避开遮蔽对象。例如，虽然显示区域被设置在原本隐藏在真实对象之后并且不可见的位置处，但是虚拟对象可以显示在真实对象前方。在这样的情况下，例如，显示装置1将显示位置调整到真实对象的左侧或右侧上，或者将显示区域设置在真实对象前方以避开真实对象。因此，解决了视差不一致，并且减轻了眼睛的负担。
例如，显示装置1可以根据内容的紧急程度来设置显示区域。例如，对于紧急程度高的内容，显示装置1通过评估内容是否位于用户的视野的中间而不评估色彩平坦度等来设置显示区域。此外，显示装置1可以将显示区域设置在眼睛前方的空中以与用户的视线一起继续前进。因此，用户能够容易地注意到紧急程度高的信息。
例如，显示装置1可以将显示区域固定至真实世界。例如，显示装置1可以存储显示区域的位置，并且使虚拟对象显示在同一显示区域上。此外，显示装置1可以针对每个相同或相似的内容来固定显示区域。例如，显示装置1可以使视频的虚拟对象显示在墙表面上，并且使文本的虚拟对象显示在桌子上。
例如，显示装置1可以根据真实对象与用户之间的距离，来控制虚拟对象被叠加显示的位置。例如，显示装置1优先地设置位于靠近用户的位置处的真实对象的表面上的显示区域。因此，虚拟对象显示在用户能够容易地执行操作的范围内，例如显示在手到达的范围内，从而提高便利性。
例如，显示装置1可以在与虚拟对象的内容相关联的真实对象的表面上或者真实对象附近的区域设置显示区域。例如，在识别放在桌子上的真实对象的结果被显示的情况下，显示装置1可以使识别结果显示在真实对象附近。
例如，显示装置1可以基于与真实对象有关的信息来设置显示区域。例如，显示装置1可以将显示区域设置成避开不期望用户触摸的真实对象。例如，显示装置1不将显示区域设置在由红外线传感器检测为非常热的真实对象的表面上。因此，在虚拟对象是用户的操作目标的情况下，可以增加用户的安全性。
例如，除了平面以外，显示装置1可以将弯曲表面设置为显示区域。在这种情况下，显示装置1以弯曲表面形式布局对虚拟象，并且将虚拟对象显示成粘附至弯曲表面。此外，在显示区域中存在起伏部分的情况下，显示装置1可以根据起伏部分来布局虚拟对象。
例如，在显示多个虚拟对象的情况下，显示装置1可以根据虚拟对象所需的区域来选择显示区域。例如，显示装置1参照内容中描述的显示尺寸等，使具有大显示尺寸的虚拟对象显示在大平面上，并且使具有小显示尺寸的虚拟对象显示在小平面上。
<2.4.基于交互的显示控制>
显示装置1(例如，显示控制单元45)能够根据与用户的交互来执行显示控制。
例如，显示装置1根据用户给出的指令来控制虚拟对象被叠加显示的位置。此外，显示装置1可以根据用户指令来切换内容或者控制显示形式(颜色等)。因此，执行用户更期望的显示，并且实现对于虚拟对象的舒适操作。例如，可以由用户通过由手等执行的姿势、视线、标记嵌入等来给出指令。在此，将参照图7至图10来描述本显示示例。
图7是用于描述根据本实施方式的虚拟对象的显示示例的图。在图7所示的示例中，显示装置1根据姿势来设置显示区域。如图7所示，如果用户用手指将显示在空中的虚拟对象140拖动到平面142上，则显示装置1将虚拟对象140移动至平面142的表面并且显示虚拟对象140。
图8是用于描述根据本实施方式的虚拟对象的显示示例的图。图8所示的示例是显示装置1根据视线来设置显示区域的示例。如图8所示，在用户看平面142预定时间的情况下，显示装置1将显示在空中的虚拟对象140移动至平面142的表面并且显示虚拟对象140。
图9是用于描述根据本实施方式的虚拟对象的显示示例的图。在图9所示的示例中，显示装置1根据标记来设置显示区域。如图9所示，在检测到嵌入了诸如QR码(注册商标)的特定标记150的平面152的情况下，显示装置1将与显示在空中的标记150对应的虚拟对象154移动至平面152并且显示虚拟对象154。
图10是用于描述根据本实施方式的虚拟对象的显示示例的图。在图10所示的示例中，显示装置1根据标记来设置显示区域。如图10所示，标记162嵌入在诸如玻璃面板的透明面板164中。例如，显示装置1可以以特定波长照射面板164并且检测标记162。因此，在真实空间图像160中，将用裸眼看成是仅透明平面的面板164用作虚拟对象166的显示区域。
注意，在图7至图10所示的示例中，虚拟对象被移动至平面，但是本技术不限于这些示例。例如，显示装置1可以根据用户的指令将虚拟对象从平面移动至平面，将虚拟对象从空中移动至空中，或者将虚拟对象从平面移动至空中。
此外，在用户将可抓握的平面放在眼前或者用手掌创建平面的情况下，显示装置1也能够将显示区域设置在这些平面上。作为检测显示在这样的平面上的虚拟对象上的用户操作的方法，显示装置1可以从诸如佩戴在用户的身体上的手表类型的可穿戴装置获取振动信息，并且将该振动信息用于检测用户操作。在这种情况下，显示装置1能够通过振动信息准确地识别用户的手指是否触摸平面，从而进一步提高触摸操作的可操作性。此外，由于显示装置1能够将触摸平面的触摸操作与在平面的前方执行的姿势操作区分开，因此可以以较高的精确度实现使用操作单独或一起执行的操作。
<2.5.根据显示区域的处理>
显示装置1(例如，显示控制单元45)能够根据显示区域来执行各种类型的处理。
例如，显示装置1可以根据显示区域的形状来处理虚拟对象。具体地，显示装置1根据显示区域的形状来控制虚拟对象的布局。显示装置1可以采用诸如HTML渲染器的公知技术作为布局引擎。例如，可以采用根据窗口尺寸、装置的类型等来切换屏幕布局的技术或者根据图像等在HTML中的布置来改变文本等的布局的技术。在此，将参照图11来描述本显示示例。
图11是用于描述根据本实施方式的虚拟对象的显示示例的图。在图11所示的示例中，在真实空间图像170中，虚拟对象174显示在除了真实对象172之外的显示区域上。如图11所示，包括在虚拟对象174中的文本根据显示区域的形状来开始新的行。
然而，显示区域的形状可以改变。例如，可以将新的真实对象(遮蔽对象)添加至显示区域，或者可以删除或移动现有的真实对象。在这样的情况下，显示装置1可以根据显示区域的形状的变化来控制虚拟对象的布局。在此，将参照图12来描述本显示示例。
图12是用于描述根据本实施方式的虚拟对象的显示示例的图。图12所示的显示示例示出了从图11所示的显示示例的变化。如图12所示，在真实空间图像180中，真实对象182被移动至包括在图11所示的真实空间图像170中的显示区域中的区域，虚拟对象184的布局根据变窄的形状而改变，并且文本开始新的行的位置被改变。此外，在将新平面设置为显示区域的情况下，期望的是将新显示区域设置在位置、与其交叠的真实对象的属性、斜率等方面接近先前的显示区域的平面上。
此外，显示装置1可以根据显示区域来处理虚拟对象的内容。例如，显示装置1根据显示区域的形状、颜色、尺寸等来切换要显示的内容。此外，显示装置1可以基于用作显示区域的位置的参考的真实对象、靠近显示区域的真实对象等来切换要显示的内容。在此，将参照图13来描述本显示示例。
图13是用于描述根据本实施方式的虚拟对象的显示示例的图。在图13所示的示例中，在真实空间图像190中，模拟时钟的虚拟对象192显示在墙壁表面上。例如，由于显示区域是墙壁表面并且显示区域的面积大，因此执行该布置。另一方面，在真实空间图像194中，数字时钟的虚拟对象196显示在桌子上。例如，由于显示区域是桌子的表面并且显示区域的面积小，因此执行该布置。
此外，显示装置1可以根据背景来设置显示区域或者处理虚拟对象。
例如，显示装置1可以根据可以叠加显示虚拟对象的区域的背景以及虚拟对象的显示形式来控制虚拟对象被叠加显示的位置。例如，根据背景的亮度可能难以看到虚拟对象的内容。此外，根据背景的色调与虚拟对象的色调之间的关系，可能难以看到虚拟对象的内容。考虑到这样的情况，显示装置1可以将显示区域设置成避开难以观察虚拟对象的区域。因此，当被用户观察时，虚拟对象被显示成更容易可见。在此，将参照图14来描述本显示示例。
图14是用于描述根据本实施方式的虚拟对象的显示示例的图。在图14所示的示例中，在真实空间图像200中，各个虚拟对象显示在漂浮在空中的显示区域202、204和206上。例如，在显示区域202中，在背景中存在电灯，并且由于亮度的影响而难以观察虚拟对象的内容。此外，在显示区域204中，由于在背景中存在真实对象，因此难以观察虚拟对象的内容。另一方面，在显示区域206中，背景是平坦的，因此清楚地看到虚拟对象的内容。因此，显示装置1优先地采用显示区域206。
此外，显示装置1可以根据虚拟对象被叠加显示在其上的区域的背景来控制虚拟对象的显示形式。例如，取决于显示区域的背景的色调与虚拟对象的色调之间的关系，可能难以看到虚拟对象的内容。考虑到这样的情况，例如，显示装置1使用与背景的颜色互补的颜色来执行强调虚拟图像的处理，或者使用与背景的颜色接近的颜色不强调虚拟图像。这个处理功能可以包括在内容本身中。
此外，显示装置1可以执行与显示区域附近的真实对象对应的显示控制。例如，在用户将句子写在桌子上的笔记本上的情况下，显示装置1可以使包括与句子有关的信息的虚拟对象显示在桌子上的笔记本旁边。用户能够通过操作虚拟对象来执行例如信息搜索。此外，由于在笔记本被移动的情况下进行移动，因此显示装置1可以例如通过使虚拟对象显示在桌子上形成的新的空白区域上来实时地更新显示区域。
<2.6.根据用户的显示控制>
显示装置1(例如，显示控制单元45)能够根据用户来执行显示控制。
例如，显示装置1可以根据用户的动作来执行显示控制。例如，在用户正驾驶车辆时，显示装置1从显示区域设置目标中排除阻挡视野的中心的区域。此外，显示装置1可以根据用户是否静止来执行显示控制。例如，在用户静止的情况下，例如，在用户面对桌子的情况下，在桌子上设置固定的显示区域，并且在用户正移动的情况下，例如在用户正跑步的情况下，设置与用户一起移动的显示区域。换言之，在用户静止时，显示装置1将显示区域固定地设置在真实世界的坐标系中，并且在用户移动时，将显示区域固定地设置在将用户用作原点的坐标系中。
例如，显示装置1可以根据用户的位置来执行显示控制。例如，在显示地图信息的情况下，当用户远离目的地时，显示装置1使地图信息显示在地面上，并且当用户靠近目的地时，使指示目的地的虚拟对象显示在目的地附近。
例如，显示装置1可以根据用户的视线来执行显示控制。例如，在显示区域从视野消失的情况下，显示装置1可以设置新的显示区域同时存储显示区域的位置，显示虚拟对象，并且当先前的区域再次进入视野时，使虚拟对象返回至先前的显示区域。此外，显示装置1可以显示其中视线不集中在正常模式下的虚拟对象，并且显示其中视线集中在显著模式下的虚拟对象，在显著模式下，使用容易可见的明显的颜色、布局等。
<2.7.其他显示控制>
显示装置1(例如，显示控制单元45)能够执行各种其他显示控制。
例如，显示装置1可以根据时间来执行显示控制。例如，显示装置1在早晨显示指示新闻或天气预报等的虚拟对象，并且在晚上显示指示食谱网站的虚拟对象。
例如，显示装置1可以将多个区域处理为一个显示区域。例如，在电缆放置在桌子上并且平面被划分为两个的情况下，显示装置1可以将两个划分的平面都设置为显示区域。在这种情况下，显示装置1仅将仅放置电缆的区域设置为防止渲染的区域，并且对内容进行布局以避开该区域。
例如，在虚拟对象的数量较大的情况下，或者在虚拟对象的颜色与环境密切的情况下，当用户观察时可能难以看到虚拟对象。在这样的情况下，例如在出现新的虚拟对象的情况下或者在虚拟对象存在变化的情况下，显示装置1可以暂时改变颜色或执行振动。因此，用户能够注意到新的虚拟对象或改变的虚拟对象。
上面已经描述了根据本实施方式的显示装置1的技术特征。接下来，将参照图15至图18来描述根据本实施方式的显示装置1的操作处理示例。
<<3.操作处理示例>>
(1)预处理
图15是示出了根据本实施方式的在显示装置1中执行的预处理的流程的示例的流程图。本流程与上面参照图3描述的真实对象识别处理、遮蔽对象确定处理和显示区域设置处理对应。
如图15所示，检测单元41从由向外的立体摄像装置10获得的图像获取每个像素的深度信息以及该深度信息的可靠性程度(步骤S102)。然后，显示控制单元45基于深度信息和可靠性程度来检测真实对象表面上的平面区域(步骤S104)。然后，显示控制单元45计算每个平面区域的特征(步骤S106)。每个平面区域的特征包括例如平面区域的面积、法线、颜色和颜色变化程度，并且可以基于例如深度信息和可靠性程度来计算。
然后，显示控制单元45确定是否存在适合于显示的平面区域(步骤S108)。例如，在以下情况下显示控制单元45确定存在适合于显示的平面区域：存在具有平坦的颜色变化、面向用户、距用户的距离小并且没有虚拟对象显示在其上的平面区域。此外，在不存在满足条件的平面区域的情况下，显示控制单元45确定不存在适合于显示的平面区域。
当确定存在适合于显示的平面区域时(步骤S108中的“是”)，显示控制单元45在平面区域中设置显示区域(步骤S110)。另一方面，在确定不存在适合于显示的平面区域的情况下(步骤S108中的“否”)，显示控制单元45将显示区域设置在空中(步骤S112)。
显示控制单元45然后通过根据所设置的显示区域布局和渲染内容来创建虚拟对象的纹理(步骤S114)。然后，根据本流程的处理结束。
(2)渲染处理
图16是示出了在根据本实施方式的显示装置1中执行的渲染处理的流程的示例的流程图。本流程与上面参照图3描述的视点位置估计处理、虚拟对象渲染处理和显示处理对应，并且在上面参照图15描述的预处理之后来执行。
如图16所示，首先，检测单元41获取空间信息和视点位置信息(步骤S202)。然后，显示控制单元45基于空间信息和视点位置信息，来执行在预处理中设置的显示区域到显示单元20上的坐标的投影变换(步骤S204)。然后，显示控制单元45将在预处理中生成的虚拟对象的纹理映射到已经经历了投影变换的显示区域，并且显示虚拟对象(步骤S206)。
显示装置1对每个帧执行上述处理。在渲染处理没有结束的情况下(步骤S208中的“否”)，针对下一帧从步骤S202再次执行处理。在渲染处理结束的情况下(步骤S208中的“是”)，根据本流程的处理结束。
图17是示出了在根据本实施方式的显示装置1中执行的渲染处理的流程的示例的流程图。本流程是图16所示的流程的修改。
如图17所示，首先在步骤S302至S306中，执行与上面参照图16描述的步骤S202至S206类似的处理。然后，在步骤S308至S312中，执行与上面参照图15描述的步骤S102至S106类似的处理。
然后，显示控制单元45确定显示区域是否改变(步骤S314)。例如，显示控制单元45根据视野的移动、真实对象的添加/删除/移动、内容的紧急程度的改变、用户指令的存在或不存在等，来确定是否将显示区域改变为更合适的区域(平面区域或空中)。
在确定显示区域被改变的情况下(步骤S314中的“是”)，显示控制单元45将显示区域重新设置为新的区域(步骤S316)。另一方面，在确定显示区域没有被改变的情况下(步骤S314中的“否”)，保持显示区域的设置。
显示装置1对每个帧执行上述处理。在渲染处理没有结束的情况下(步骤S318中的“否”)，针对下一帧从步骤S302再次执行处理。在渲染处理结束的情况下(步骤S318中的“是”)，根据本流程的处理结束。
(3)根据交互的显示控制处理
图18是示出了根据在根据本实施方式的显示装置1中执行的交互的显示控制处理的流程的示例的流程图。
如图18所示，首先，检测单元41获取与显示区域的设置相关的用户指令(步骤S402)。例如，检测单元41检测姿势、视线或嵌入标记的平面。
然后，显示控制单元45基于用户指令来设置显示区域(步骤S404)。例如，显示控制单元45将显示区域设置在用户用手指将虚拟对象拖动到其上的平面上。此外，显示控制单元45将显示区域设置在用户观看了预定时间的平面上。此外，显示控制单元45将显示区域设置在嵌入特定标记的平面上。
然后，显示控制单元45使虚拟对象显示在所设置的显示区域上(步骤S406)。
然后，检测单元41获取对虚拟对象的用户指令(步骤S408)。例如，检测单元41基于深度信息等来识别设置了显示区域的平面上或空中的触摸。此外，检测单元41确定用户是否正穿戴可穿戴装置(步骤S410)，在用户正穿戴可穿戴装置的情况下，检测单元41从可穿戴装置获取振动信息(步骤S412)。然后，显示控制单元45显示对所获取的用户指令的反馈(步骤S414)。在振动信息被获取的情况下，显示控制单元45还基于振动信息显示反馈。然后，根据本流程的处理结束。
<<4.硬件配置示例>>
最后，将参照图19来描述根据本实施方式的信息处理设备的硬件配置。图19是示出了根据本实施方式的信息处理设备的硬件配置的示例的框图。同时，例如，图19所示的信息处理设备900可以实现图2所示的显示装置1。通过根据本实施方式的显示装置1的信息处理根据下面描述的软件与硬件之间的协作来实现。
如图19所示，信息处理设备900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。另外，信息处理设备900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911和通信装置913。代替CPU 901或者连同CPU 901一起，信息处理设备900可以包括诸如DSP或ASIC的处理电路。
CPU 901用作算术处理装置和控制装置，并且根据各种程序来控制信息处理设备900中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在执行中适当地改变的参数等。例如，CPU 901能够构成图2所示的检测单元41、存储控制单元43和显示控制单元45。
CPU 901、ROM 902和RAM903通过包括CPU总线等的主机总线904a来连接。主机总线904a经由桥接器904与诸如***部件互连/接口(PCI)总线的外部总线904b连接。此外，主机总线904a、桥接器904和外部总线904b不一定被单独配置，并且这样的功能可以安装在单总线中。
输入装置906由用户通过其输入信息的装置比如鼠标、键盘、触摸面板、按钮、麦克风、开关和操纵杆来实现。另外，例如，输入装置906可以是使用红外线或其他电波的遥控装置或者与信息处理设备900的操作对应的外部连接设备比如蜂窝电话或PDA。此外，例如，输入装置906可以包括输入控制电路等，该输入控制电路基于用户使用上述输入装置输入的信息来生成输入信号并且将该输入信号输出至CPU 901。信息处理设备900的用户可以通过操作输入装置906来输入各种类型的数据或者命令信息处理设备900进行处理操作。
例如，输入装置906可以被实现为成像装置。成像装置包括：由成像透镜、虹膜、变焦透镜、聚焦透镜等构成的透镜***，用于使透镜***执行聚焦操作和变焦操作的驱动***，用于对通过透镜***获取的成像光进行光电转换以生成成像信号的固态成像传感器阵列等。例如，固态成像传感器阵列可以通过电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列来实现。成像装置以数字信号的形式输出拍摄的图像的数据。例如，成像装置可以形成图1和图2所示的成像单元10。
输出装置907由可以在视觉上或听觉上向用户通知所获取的信息的装置形成。作为这样的装置，存在显示装置比如CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置、激光投影仪、LED投影仪或灯，声音输出装置比如扬声器和耳机，打印装置等。例如，输出装置907输出通过由信息处理设备900执行的各种处理获取的结果。具体地，显示装置以各种形式比如文本、图像、表格和图形视觉上显示通过由信息处理设备900执行的各种处理获取的结果。另一方面，声音输出装置将由再现的声音数据、音频数据等构成的音频信号转换为模拟信号，并且听觉上输出模拟信号。例如，上述显示装置可以形成图1和图2所示的显示单元20。
存储装置908是作为信息处理设备900的存储单元的示例形成的用于数据存储的装置。例如，存储装置908由诸如HDD的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等来实现。存储装置908可以包括存储介质、用于在存储介质上记录数据的记录装置、用于从存储介质读取数据的读取装置、用于删除记录在存储介质上的数据的删除装置等。存储装置908存储由CPU 901执行的程序和各种类型的数据、从外部获取的各种类型的数据等。例如，存储装置908可以形成图2所示的存储单元30。
驱动器909是用于存储介质的读取器/写入器，并且包括在信息处理装置900中或外部地附接至信息处理设备900。驱动器909读取记录在可移除存储介质比如磁盘、光盘、磁光盘或安装在其上的半导体存储器上的信息，并且将该信息输出至RAM903。另外，驱动器909可以将信息写在可移除存储介质上。
连接端口911是与外部设备连接的接口，并且例如是通过其可以通过通用串行总线(USB)等发送数据的到外部设备的连接器。
例如，通信装置913是由连接至网络920等的通信装置形成的通信接口。例如，通信装置913是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡等。另外，通信装置913可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、各种通信调制解调器等。例如，通信装置913可以根据预定的协议、例如TCP/IP等向/从因特网和其他通信设备发送/接收信号等。
此外，网络920是从连接至网络920的装置发送的信息的有线或无线传输路径。例如，网络920可以包括公共电路网络比如因特网、电话电路网络或卫星通信网络、包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。另外，网络920可以包括专用电路网络，如互联网协议-虚拟专用网络(IP-VPN)。
在上文中，示出了能够实现根据本实施方式的信息处理设备900的功能的硬件配置的示例。各个部件可以使用通用构件来实现，或者可以通过特定于各个部件的功能的硬件来实现。因此，根据执行实施方式时的技术水平，可以适当地改变要使用的硬件配置。
另外，可以创建用于实现如上所述的根据本实施方式的信息处理设备900的每个功能的计算机程序，并且该计算机程序可以被安装在PC等中。此外，可以设置其上存储有这样的计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，可以通过例如网络而不使用记录介质来传送计算机程序。
<<5.结论>>
上面已经参照图1至图19详细描述了本公开内容的一个实施方式。如上所述，根据本实施方式的显示装置1执行第一处理或第二处理，所述第一处理为在基于真实对象的位置处将虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于真实对象的位置处将虚拟对象显示为叠加在真实空间上。因此，将使用AR技术实现虚拟对象的方法多样化。
例如，在第一处理中，虚拟对象的显示可以根据检测到的真实对象的形状而改变。更具体地，根据真实对象的形状将虚拟对象显示在真实对象的表面上。通过这样的显示，虚拟对象变得与真实世界更加密切，并且用户能够接受虚拟对象和真实对象的混合而没有不适的感觉。此外，不管地点如何，显示装置1还能够根据重要程度以强调的方式使时钟、新闻、电子邮件或SNS等的新到达的信息显示在墙壁的空白区域等上。因此，用户能够容易地获取信息，而不用单独地检查终端如智能电话。此外，即使在家具排列在墙壁前方或者对象分散在桌子上的情况下，显示装置1仍然能够根据空白区域的形状来显示虚拟对象。
此外，在第二处理中，可以将虚拟对象叠加显示在基于用户的头部的位置上。因此，例如，虽然虚拟对象在用户观察时一直进入视野，但是可以保持眼睛不被阻挡的状态。
上面已经参照附图描述了本公开内容的优选实施方式，而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种变化和修改，并且应当理解，所述各种变化和修改将自然地落入本公开内容的技术范围内。
例如，在上述实施方式中，已经描述了将显示装置1形成为单个装置的示例，但是本技术不限于该示例。例如，可以将显示装置1的一部分或全部构成为分离的装置。例如，在图2所示的显示装置1的功能配置示例中，存储单元30和控制单元40可以安装在比如经由网络等与包括成像单元10和显示单元20的显示装置连接的云上的服务器的装置中。
注意，本说明书中描述的处理不必参照流程图和时序图以流程图中所示的顺序来执行。一些处理步骤可以并行执行。此外，可以采用一些附加的步骤，或者可以省略一些处理步骤。
此外，本说明书中描述的效果仅是说明性或示例性的效果，而不是限制性的。即，连同或代替上述效果，根据本公开内容的技术可以根据本说明书的描述来实现本领域技术人员清楚的其他效果。
另外，本技术还可以配置如下。
(1)一种信息处理设备，包括：
显示控制单元，被配置成执行第一处理或第二处理，所述第一处理为在基于在真实空间中检测到的真实对象的位置处将虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在所述真实空间上。
(2)根据(1)所述的信息处理设备，
其中，所述显示控制单元执行所述第一处理与所述第二处理之间的切换。
(3)根据(2)所述的信息处理设备，
其中，所述显示控制单元基于与用户有关的信息和/或与所述虚拟对象有关的信息来执行所述切换。
(4)根据(3)所述的信息处理设备，
其中，所述显示控制单元根据所述虚拟对象的内容来执行所述切换。
(5)根据(3)或(4)所述的信息处理设备，
其中，所述显示控制单元根据所述真实对象与所述用户之间的距离来执行所述切换。
(6)根据(1)所述的信息处理设备，
其中，所述显示控制单元在所述第一处理中基于检测到的真实对象的形状来改变所述虚拟对象的显示。
(7)根据(6)所述的信息处理设备，
其中，所述显示控制单元通过改变所述虚拟对象相对于所检测到的真实对象的相对姿势和/或通过变换所述虚拟对象的形状来改变所述虚拟对象的显示。
(8)根据(6)或(7)所述的信息处理设备，
其中，所述显示控制单元将所述虚拟对象显示为叠加在所检测到的真实对象的表面上。
(9)根据(8)所述的信息处理设备，
其中，所述显示控制单元将所述虚拟对象显示为叠加在所检测到的真实对象的表面中的连续表面上。
(10)根据(8)或(9)所述的信息处理设备，
其中，所述显示控制单元将所述虚拟对象显示为叠加在所检测到的真实对象的表面中的被确定为水平的表面或被确定为竖直的表面上。
(11)根据(8)至(10)中的任意一项所述的信息处理设备，
其中，所述显示控制单元将所述虚拟对象显示为叠加在与所检测到的真实对象间隔开的位置上。
(12)根据(1)至(11)中的任意一项所述的信息处理设备，
其中，所述显示控制单元在所述第二处理中将所述虚拟对象显示为叠加在基于用户的头部的位置上或所述用户的视线方向上的真实空间上。
(13)根据(1)至(11)中的任意一项所述的信息处理设备，
其中，所述显示控制单元在所述第二处理中将所述虚拟对象显示为叠加在所述真实空间中的任意位置上。
(14)根据(1)至(13)中的任意一项所述的信息处理设备，
其中，所述显示控制单元根据所述真实对象与用户之间的距离来控制所述虚拟对象被叠加显示的位置。
(15)根据(1)至(14)中的任意一项所述的信息处理设备，
其中，所述显示控制单元根据用户给出的指令来控制所述虚拟对象被叠加显示的位置。
(16)根据(1)至(15)中的任意一项所述的信息处理设备，
其中，所述显示控制单元根据所述虚拟对象能够被叠加显示的区域的背景和所述虚拟对象的显示形式来控制所述虚拟对象被叠加显示的位置。
(17)根据(1)至(16)中的任意一项所述的信息处理设备，
其中，所述显示控制单元根据所述虚拟对象被叠加显示的区域的背景来控制所述虚拟对象的显示形式。
(18)根据(1)至(17)中的任意一项所述的信息处理设备，
其中，所述虚拟对象是用户操作的目标。
(19)一种信息处理方法，包括：
由处理器执行第一处理或第二处理，所述第一处理为在基于在真实空间中检测到的真实对象的位置处将虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在所述真实空间上。
(20)一种程序，所述程序使计算机用作：
显示控制单元，被配置成执行第一处理或第二处理，所述第一处理为在基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在所述真实空间上。
附图标记列表
1 显示装置
10 成像单元
20 显示单元
30 存储单元
40 控制单元
41 检测单元
43 存储控制单元
45 显示控制单元
50 安装单元

Claims (20)

1.一种信息处理设备，包括：
显示控制单元，被配置成执行第一处理或第二处理，所述第一处理为在基于在真实空间中检测到的真实对象的位置处将虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在所述真实空间上。
2.根据权利要求1所述的信息处理设备，
其中，所述显示控制单元执行所述第一处理与所述第二处理之间的切换。
3.根据权利要求2所述的信息处理设备，
其中，所述显示控制单元基于与用户有关的信息和/或与所述虚拟对象有关的信息来执行所述切换。
4.根据权利要求3所述的信息处理设备，
其中，所述显示控制单元根据所述虚拟对象的内容来执行所述切换。
5.根据权利要求3所述的信息处理设备，
其中，所述显示控制单元根据所述真实对象与所述用户之间的距离来执行所述切换。
6.根据权利要求1所述的信息处理设备，
其中，所述显示控制单元在所述第一处理中基于检测到的真实对象的形状来改变所述虚拟对象的显示。
7.根据权利要求6所述的信息处理设备，
其中，所述显示控制单元通过改变所述虚拟对象相对于所检测到的真实对象的相对姿势和/或通过变换所述虚拟对象的形状来改变所述虚拟对象的显示。
8.根据权利要求6所述的信息处理设备，
其中，所述显示控制单元将所述虚拟对象显示为叠加在所检测到的真实对象的表面上。
9.根据权利要求8所述的信息处理设备，
其中，所述显示控制单元将所述虚拟对象显示为叠加在所检测到的真实对象的表面中的连续表面上。
10.根据权利要求8所述的信息处理设备，
其中，所述显示控制单元将所述虚拟对象显示为叠加在所检测到的真实对象的表面中的被确定为水平的表面或被确定为竖直的表面上。
11.根据权利要求8所述的信息处理设备，
其中，所述显示控制单元将所述虚拟对象显示为叠加在与所检测到的真实对象间隔开的位置上。
12.根据权利要求1所述的信息处理设备，
其中，所述显示控制单元在所述第二处理中将所述虚拟对象显示为叠加在基于用户的头部的位置上或所述用户的视线方向上的真实空间上。
13.根据权利要求1所述的信息处理设备，
其中，所述显示控制单元在所述第二处理中将所述虚拟对象显示为叠加在所述真实空间中的任意位置上。
14.根据权利要求1所述的信息处理设备，
其中，所述显示控制单元根据所述真实对象与用户之间的距离来控制所述虚拟对象被叠加显示的位置。
15.根据权利要求1所述的信息处理设备，
其中，所述显示控制单元根据用户给出的指令来控制所述虚拟对象被叠加显示的位置。
16.根据权利要求1所述的信息处理设备，
其中，所述显示控制单元根据所述虚拟对象能够被叠加显示的区域的背景和所述虚拟对象的显示形式来控制所述虚拟对象被叠加显示的位置。
17.根据权利要求1所述的信息处理设备，
其中，所述显示控制单元根据所述虚拟对象被叠加显示的区域的背景来控制所述虚拟对象的显示形式。
18.根据权利要求1所述的信息处理设备，
其中，所述虚拟对象是用户操作的目标。
19.一种信息处理方法，包括：
由处理器执行第一处理或第二处理，所述第一处理为在基于在真实空间中检测到的真实对象的位置处将虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在所述真实空间上。
20.一种程序，所述程序使计算机用作：
显示控制单元，被配置成执行第一处理或第二处理，所述第一处理为在基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在真实空间上，所述第二处理为在不基于在真实空间中检测到的真实对象的位置处将所述虚拟对象显示为叠加在所述真实空间上。
CN201680033793.4A 2015-06-15 2016-03-03 信息处理设备、信息处理方法及程序 Active CN107683497B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015120186 2015-06-15
JP2015-120186 2015-06-15
PCT/JP2016/056666 WO2016203792A1 (ja) 2015-06-15 2016-03-03 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN107683497A true CN107683497A (zh) 2018-02-09
CN107683497B CN107683497B (zh) 2022-04-08

Family

ID=57546642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680033793.4A Active CN107683497B (zh) 2015-06-15 2016-03-03 信息处理设备、信息处理方法及程序

Country Status (4)

Country Link
US (2) US10832479B2 (zh)
JP (2) JP6780642B2 (zh)
CN (1) CN107683497B (zh)
WO (1) WO2016203792A1 (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347657A (zh) * 2018-03-07 2018-07-31 北京奇艺世纪科技有限公司 一种显示弹幕信息的方法和装置
CN108958469A (zh) * 2018-05-07 2018-12-07 中德（珠海）人工智能研究院有限公司 一种基于增强现实的在虚拟世界增加超链接的方法
CN109379581A (zh) * 2018-12-05 2019-02-22 北京阿法龙科技有限公司 一种头戴式双屏幕立体显示***的坐标变换及显示方法
CN110888567A (zh) * 2018-09-11 2020-03-17 苹果公司 三维内容中基于位置的虚拟元件模态
CN111819518A (zh) * 2018-03-13 2020-10-23 索尼公司 信息处理设备、信息处理方法和记录介质
CN111819521A (zh) * 2018-03-12 2020-10-23 索尼公司 信息处理装置、信息处理方法和程序
CN112753050A (zh) * 2018-09-28 2021-05-04 索尼公司 信息处理装置、信息处理方法和程序
TWI743454B (zh) * 2018-03-09 2021-10-21 財團法人工業技術研究院 擴增實境顯示系統及其顯示方法
EP3803545A4 (en) * 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
US11347960B2 (en) 2015-02-26 2022-05-31 Magic Leap, Inc. Apparatus for a near-eye display
US11415798B2 (en) 2018-03-09 2022-08-16 Industrial Technology Research Institute Augmented reality device
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
US11567324B2 (en) 2017-07-26 2023-01-31 Magic Leap, Inc. Exit pupil expander
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11609645B2 (en) 2018-08-03 2023-03-21 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
US11630507B2 (en) 2018-08-02 2023-04-18 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US11737832B2 (en) 2019-11-15 2023-08-29 Magic Leap, Inc. Viewing system for use in a surgical environment
US11762222B2 (en) 2017-12-20 2023-09-19 Magic Leap, Inc. Insert for augmented reality viewing device
US11762623B2 (en) 2019-03-12 2023-09-19 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
US11776509B2 (en) 2018-03-15 2023-10-03 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11790554B2 (en) 2016-12-29 2023-10-17 Magic Leap, Inc. Systems and methods for augmented reality
US11854444B2 (en) 2019-07-26 2023-12-26 Sony Group Corporation Display device and display method
US11874468B2 (en) 2016-12-30 2024-01-16 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
US11953653B2 (en) 2017-12-10 2024-04-09 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US12016719B2 (en) 2018-08-22 2024-06-25 Magic Leap, Inc. Patient viewing system
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US12033380B2 (en) 2018-08-07 2024-07-09 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10444930B2 (en) * 2014-08-05 2019-10-15 Lg Electronics Inc. Head-mounted display device and control method therefor
US10725297B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10521941B2 (en) 2015-05-22 2019-12-31 Samsung Electronics Co., Ltd. System and method for displaying virtual image through HMD device
IL289973B2 (en) 2016-03-31 2023-11-01 Magic Leap Inc Interactions with 3D virtual objects using pose controllers and multiple degrees of freedom
EP3459071B1 (en) 2016-05-20 2022-05-11 Magic Leap, Inc. Contextual awareness of user interface menus
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US10438399B2 (en) * 2017-02-10 2019-10-08 Sony Interactive Entertainment LLC Paired local and global user interfaces for an improved augmented reality experience
KR102544062B1 (ko) * 2017-02-21 2023-06-16 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
WO2018179972A1 (ja) * 2017-03-28 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3612878B1 (en) * 2017-04-19 2023-06-28 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
EP3619688A1 (en) * 2017-05-01 2020-03-11 Magic Leap, Inc. Matching content to a spatial 3d environment
US10405060B2 (en) * 2017-06-28 2019-09-03 At&T Intellectual Property I, L.P. Method and apparatus for augmented reality presentation associated with a media program
US10733799B2 (en) * 2017-07-26 2020-08-04 Daqri, Llc Augmented reality sensor
IL300465A (en) 2017-12-22 2023-04-01 Magic Leap Inc Methods and system for managing and displaying virtual content in a mixed reality system
US10699485B2 (en) * 2018-01-04 2020-06-30 Universal City Studios Llc Systems and methods for textual overlay in an amusement park environment
JP6976186B2 (ja) * 2018-02-01 2021-12-08 Kddi株式会社 端末装置及びプログラム
JP7279646B2 (ja) * 2018-02-07 2023-05-23 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US11087563B2 (en) 2018-02-22 2021-08-10 Magic Leap, Inc. Object creation with physical manipulation
AU2019225989A1 (en) 2018-02-22 2020-08-13 Magic Leap, Inc. Browser for mixed reality systems
JP6698971B2 (ja) 2018-02-26 2020-05-27 三菱電機株式会社 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム
JP2019152794A (ja) * 2018-03-05 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3803688A4 (en) 2018-06-05 2021-08-04 Magic Leap, Inc. MATCHING CONTENT WITH A 3D SPATIAL ENVIRONMENT
US11087545B2 (en) * 2018-06-19 2021-08-10 Guangdong Virtual Reality Technology Co., Ltd. Augmented reality method for displaying virtual object and terminal device therefor
CN109284456B (zh) * 2018-08-30 2022-04-12 广东越维信息科技有限公司 网页控件在ar中的空间定位方法和ar***
JP7180253B2 (ja) * 2018-09-28 2022-11-30 大日本印刷株式会社 透過型表示装置、情報処理方法及びプログラム
EP3879391B1 (en) * 2018-12-07 2023-12-27 Mitsubishi Electric Corporation Input display control device, input display control method, and input display system
WO2020188655A1 (ja) * 2019-03-15 2020-09-24 マクセル株式会社 複合現実表示装置および複合現実表示方法
CN113711174A (zh) 2019-04-03 2021-11-26 奇跃公司 用混合现实***在虚拟三维空间中管理和显示网页
JP2020177534A (ja) * 2019-04-19 2020-10-29 京セラドキュメントソリューションズ株式会社 透過型ウェアラブル端末
US10922892B1 (en) * 2019-04-30 2021-02-16 Splunk Inc. Manipulation of virtual object position within a plane of an extended reality environment
JP2020197835A (ja) * 2019-05-31 2020-12-10 ファナック株式会社 産業用機械のデータ収集設定装置
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021044787A1 (ja) * 2019-09-04 2021-03-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11232646B2 (en) * 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US11961294B2 (en) 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
US10699124B1 (en) * 2019-09-09 2020-06-30 Ar, Llc Augmented reality content selection and display based on printed objects having security features
JP2022025475A (ja) * 2020-07-29 2022-02-10 株式会社AniCast RM アニメーション制作システム
CN112053449A (zh) 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
JP6892961B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、表示制御方法及び表示制御プログラム
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
CN117897948A (zh) * 2021-09-13 2024-04-16 麦克赛尔株式会社 便携信息终端以及目标显示方法
WO2023160830A1 (en) * 2022-02-28 2023-08-31 Mind Switch AG Electronic treatment device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970268A (zh) * 2013-02-01 2014-08-06 索尼公司 信息处理设备、客户端设备、信息处理方法以及程序
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的***和方法
CN104077023A (zh) * 2013-03-28 2014-10-01 索尼公司 显示控制设备、显示控制方法以及记录介质
US20140333666A1 (en) * 2013-05-13 2014-11-13 Adam G. Poulos Interactions of virtual objects with surfaces
CN104641319A (zh) * 2012-09-18 2015-05-20 高通股份有限公司 用于使头戴式显示器的使用对非用户较不明显的方法和***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493106B (zh) * 2011-03-29 2017-11-07 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上的方法和装置
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
CN105264572B (zh) 2013-04-04 2018-09-21 索尼公司 信息处理设备、信息处理方法和程序
CN105190480B (zh) * 2013-05-09 2018-04-10 索尼电脑娱乐公司 信息处理设备和信息处理方法
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6362391B2 (ja) * 2014-04-10 2018-07-25 キヤノン株式会社 情報処理端末、情報処理方法及びコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的***和方法
CN104641319A (zh) * 2012-09-18 2015-05-20 高通股份有限公司 用于使头戴式显示器的使用对非用户较不明显的方法和***
CN103970268A (zh) * 2013-02-01 2014-08-06 索尼公司 信息处理设备、客户端设备、信息处理方法以及程序
CN104077023A (zh) * 2013-03-28 2014-10-01 索尼公司 显示控制设备、显示控制方法以及记录介质
US20140333666A1 (en) * 2013-05-13 2014-11-13 Adam G. Poulos Interactions of virtual objects with surfaces

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11756335B2 (en) 2015-02-26 2023-09-12 Magic Leap, Inc. Apparatus for a near-eye display
US11347960B2 (en) 2015-02-26 2022-05-31 Magic Leap, Inc. Apparatus for a near-eye display
US11790554B2 (en) 2016-12-29 2023-10-17 Magic Leap, Inc. Systems and methods for augmented reality
US11874468B2 (en) 2016-12-30 2024-01-16 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US11927759B2 (en) 2017-07-26 2024-03-12 Magic Leap, Inc. Exit pupil expander
US11567324B2 (en) 2017-07-26 2023-01-31 Magic Leap, Inc. Exit pupil expander
US11953653B2 (en) 2017-12-10 2024-04-09 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US11762222B2 (en) 2017-12-20 2023-09-19 Magic Leap, Inc. Insert for augmented reality viewing device
CN108347657A (zh) * 2018-03-07 2018-07-31 北京奇艺世纪科技有限公司 一种显示弹幕信息的方法和装置
CN108347657B (zh) * 2018-03-07 2021-04-20 北京奇艺世纪科技有限公司 一种显示弹幕信息的方法和装置
US11415798B2 (en) 2018-03-09 2022-08-16 Industrial Technology Research Institute Augmented reality device
TWI743454B (zh) * 2018-03-09 2021-10-21 財團法人工業技術研究院 擴增實境顯示系統及其顯示方法
US11635628B2 (en) 2018-03-09 2023-04-25 Industrial Technology Research Institute Augmented reality display system and display method thereof
CN111819521A (zh) * 2018-03-12 2020-10-23 索尼公司 信息处理装置、信息处理方法和程序
CN111819521B (zh) * 2018-03-12 2024-04-12 索尼公司 信息处理装置、信息处理方法和程序
CN111819518A (zh) * 2018-03-13 2020-10-23 索尼公司 信息处理设备、信息处理方法和记录介质
US11908434B2 (en) 2018-03-15 2024-02-20 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11776509B2 (en) 2018-03-15 2023-10-03 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN108958469B (zh) * 2018-05-07 2020-01-24 中德（珠海）人工智能研究院有限公司 一种基于增强现实的在虚拟世界增加超链接的方法
CN108958469A (zh) * 2018-05-07 2018-12-07 中德（珠海）人工智能研究院有限公司 一种基于增强现实的在虚拟世界增加超链接的方法
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
EP3803545A4 (en) * 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US12001013B2 (en) 2018-07-02 2024-06-04 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
US11630507B2 (en) 2018-08-02 2023-04-18 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US11609645B2 (en) 2018-08-03 2023-03-21 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11960661B2 (en) 2018-08-03 2024-04-16 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US12033380B2 (en) 2018-08-07 2024-07-09 Sony Corporation Information processing apparatus and information processing method
US12016719B2 (en) 2018-08-22 2024-06-25 Magic Leap, Inc. Patient viewing system
CN110888567A (zh) * 2018-09-11 2020-03-17 苹果公司 三维内容中基于位置的虚拟元件模态
CN112753050A (zh) * 2018-09-28 2021-05-04 索尼公司 信息处理装置、信息处理方法和程序
CN109379581A (zh) * 2018-12-05 2019-02-22 北京阿法龙科技有限公司 一种头戴式双屏幕立体显示***的坐标变换及显示方法
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US11762623B2 (en) 2019-03-12 2023-09-19 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
US11854444B2 (en) 2019-07-26 2023-12-26 Sony Group Corporation Display device and display method
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11737832B2 (en) 2019-11-15 2023-08-29 Magic Leap, Inc. Viewing system for use in a surgical environment

Also Published As

Publication number Publication date
WO2016203792A1 (ja) 2016-12-22
US20180174366A1 (en) 2018-06-21
CN107683497B (zh) 2022-04-08
JP2021036438A (ja) 2021-03-04
JP6780642B2 (ja) 2020-11-04
US20210056765A1 (en) 2021-02-25
US11386626B2 (en) 2022-07-12
US10832479B2 (en) 2020-11-10
JPWO2016203792A1 (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
CN107683497A (zh) 信息处理设备、信息处理方法及程序
KR101823182B1 (ko) 동작의 속성을 이용한 디스플레이 상의 3차원 사용자 인터페이스 효과
US12008153B2 (en) Interactive augmented reality experiences using positional tracking
US20180240220A1 (en) Information processing apparatus, information processing method, and program
KR20180122637A (ko) 물리적 환경의 시각 이미지들의 가상 현실에의 통합을 위한 공간 관계들
US9933853B2 (en) Display control device, display control program, and display control method
US11302077B2 (en) Augmented reality guidance that generates guidance markers
US9979946B2 (en) I/O device, I/O program, and I/O method
US20150378158A1 (en) Gesture registration device, gesture registration program, and gesture registration method
US11741679B2 (en) Augmented reality environment enhancement
JP2013050883A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
CN110073660A (zh) 信息处理设备、信息处理方法和程序
JPWO2019044188A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20150381970A1 (en) Input/output device, input/output program, and input/output method
WO2024049578A1 (en) Scissor hand gesture for a collaborative object
US20230396750A1 (en) Dynamic resolution of depth conflicts in telepresence
CN109313823A (zh) 信息处理装置、信息处理方法和程序
WO2022219877A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant