CN108292448B - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

[问题]提供一种信息处理装置、信息处理方法和程序。[解决方案]一种信息处理装置被设置有：显示模式选择单元，其基于用户的第一视场范围、包括在第一视场范围中的第二视场范围以及真实对象的位置关系来从多个显示模式中选择一个显示模式；以及显示控制单元，其根据所选择的显示模式来控制与真实对象相关联的虚拟对象在显示单元上的显示。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开涉及信息处理装置、信息处理方法和程序。

背景技术

近年来，通过将附加信息(内容)叠加到现实世界中存在的真实对象上来增强人们所感知的真实环境的增强现实(AR)技术变得广泛使用，并且正使用AR技术来呈现信息。使用AR技术呈现给用户的内容可以使用采用各种形式(如文本、图标、图像和3D模型)的虚拟对象进行可视化。例如，专利文献1描述了用于平滑用户之间的交互的AR技术。而且，专利文献1描述了使用具有透射式显示单元的透视显示器的AR技术。

引用列表

专利文献

专利文献1：WO 2014/162825

发明内容

技术问题

然而，许多透视显示器仅可以在能够被视觉识别并且被包括在从用户观看的显示区域中(在用户的第二视场范围内)并且能够被用户视觉识别的真实空间中的范围(用户的第一视场范围)中的一部分范围中执行叠加显示。结果，例如，存在与用户看到的并且被用户识别的真实对象有关的内容不能被呈现给用户的情况。在这种情况下，用户可能无法确定是否存在与真实对象相关联的内容。

此外，另一方面，存在获取关于用户用他的或她的眼睛不能看到(视觉识别)的范围内的真实对象的信息的情况，结果，与没有被用户识别的真实对象有关的信息被呈现，这可能会使用户困惑。

因此，本公开提出了一种能够根据用户的视场范围和真实对象的位置关系向用户呈现信息的信息处理装置、信息处理方法和程序。

问题解决方案

根据本公开，提供了一种信息处理装置，包括：显示模式选择单元，被配置为根据用户的第一视场范围、包括在第一视场范围中的第二视场范围以及真实对象的位置关系来从多个显示模式中选择一个显示模式；以及显示控制单元，被配置为根据所选择的显示模式来控制虚拟对象在显示单元上的显示，虚拟对象与真实对象相关联。

另外，根据本公开，提供了一种信息处理方法，包括：根据用户的第一视场范围、包括在第一视场范围内的第二视场范围以及真实对象的位置关系，从多个显示模式中选择一个显示模式；以及由处理器根据所选择的显示模式来控制虚拟对象在显示单元上的显示，虚拟对象与真实对象相关联。

另外，根据本公开，提供了一种程序，该程序用于使计算机实现：显示模式选择功能，其根据用户的第一视场范围、包括在第一视场范围内的第二视场范围以及真实对象的位置关系，从多个显示模式中选择一个显示模式；以及显示控制功能，其根据所选择的显示模式来控制虚拟对象在显示单元上的显示，虚拟对象与真实对象相关联。

发明的有益效果

如上所述，根据本公开，可以根据用户的视场范围和真实对象的位置关系向用户呈现信息。

注意，上述效果不一定是限制性的。利用或替代上述效果，可以实现本说明书中描述的效果或可以从本说明书掌握的其他效果中的任何一种效果。

附图说明

图1是示出根据本公开的实施例的信息处理装置的概要的说明图。

图2是示出根据实施例的信息处理装置1的配置的框图。

图3是示出根据实施例的信息处理装置1的操作的示例的流程图。

图4是示出图3所示的步骤S40中的显示模式的选择的说明图。

图5是示出图3所示的步骤S50中的显示模式的选择的说明图。

图6是示出图3所示的步骤S60中的显示模式的选择的说明图。

图7是示出根据实施例的指示的第一具体示例的说明图。

图8是示出根据实施例的指示的第二具体示例的说明图。

图9是示出根据实施例的指示的第三具体示例的说明图。

图10是示出根据实施例的指示的第四具体示例的说明图。

图11是图10所示的指示N100的放大图。

图12是示出根据实施例的指示的第五具体示例的说明图。

图13是图12所示的指示N200的放大图。

图14是示出根据实施例的指示的第六具体示例的说明图。

图15是示出根据实施例的指示的第七具体示例的说明图。

图16是示出根据实施例的指示的第八具体示例的说明图。

图17是示出根据实施例的修改示例1的说明图。

图18是示出根据实施例的修改示例1的说明图。

图19是示出根据本公开的信息处理装置的硬件配置的示例的说明图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的附图标记表示，并且省略这些结构元件的重复说明。

注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件有时使用在相同的附图标记之后的不同的字母来进行彼此区分。但是，当没有需要特别区分具有基本上相同的功能和结构的元件时，附加仅相同的附图标记。

注意，描述将按照以下顺序给出。

《1.概要》

《2.配置》

《3.操作》

《4.指示的具体示例》

<4-1.第一具体示例>

<4-2.第二具体示例>

<4-3.第三具体示例>

<4-4.第四具体示例

<4-5.第五具体示例>

<4-6.第六具体示例>

<4-7.第七具体示例>

<4-8.第八具体示例>

《5.修改示例》

<5-1.修改示例1>

<5-2.修改示例2>

<5-3.修改示例3>

《6.硬件配置示例》

《7.结论》

《1.概要》

在最近的AR技术中，具有透射式显示单元的透视显示器经常被用作显示装置。由于透视显示器的显示区域受到物理限制等的限制，因此存在仅可以在能够被用户视觉识别的一部分范围内执行叠加显示的情况。

图1是示出根据本公开的实施例的信息处理装置的概要的说明图。注意，图1是示出从穿戴信息处理装置1的用户U1的上方观看的示意图的图。

图1所示的信息处理装置1是包括透射式显示单元(透射式显示器)的显示装置。注意，在图1中，示出了信息处理装置1是眼镜型显示装置(头戴式显示器)的示例，但是根据本实施例的信息处理装置1不限于眼镜型显示装置，并且可以为头盔式显示装置(头盔式显示器)。信息处理装置1可以通过各种模式来实现，例如透射式头戴式显示器或头盔式显示器(HMD)或使用车辆的前风挡的平视显示器(HUD)。

图1所示的范围A12是可以由信息处理装置1进行叠加显示的范围，即包括在信息处理装置1的透射式显示单元的显示区域中并且能够被用户视觉识别的范围。例如，信息处理装置1使得显示单元显示虚拟对象，结果，虚拟对象被叠加在范围A12中的真实空间上并且被用户视觉识别。注意，在图1中示出了信息处理装置1针对用户的双眼进行显示的示例，但是信息处理装置1可以是针对用户的一只眼睛进行显示的单眼型显示装置。在这种情况下，用户能够同时视觉识别真实空间和在显示单元上显示的信息，并且上述第二视场范围被包括在显示单元的显示区域中并且能够被视觉识别，而无论信息处理装置的显示单元是透射式显示单元还是非透射式显示单元。

另外，图1中所示的范围A14是用户的视野，即能够被用户视觉识别的范围，并且如上所述的范围A12被包括在范围A14中，如图1所示。另外，图1所示的范围A16是不能够被用户视觉识别的范围，并且是范围A14外的范围。注意，在以下描述中，范围A14可以被称为用户的第一视场范围A14或第一视场范围A14，并且范围A12可以被称为用户的第二视场范围A12或第二视场范围A12。

使用AR技术，可以使用采用各种形式(如文本、图标、图像和3D模型)的虚拟对象来可视化与真实对象(包括真实空间中的对象和真实空间中的特定位置等)相关联的内容。例如，已经识别真实对象的信息处理装置1指定用于显示与真实对象相关联的内容的内容位置(内容的位置)，并在内容位置处显示内容。内容位置可以在真实空间坐标系上指定，或者可以在基于信息处理装置1的显示单元的平面坐标系上指定。

信息处理装置1指定内容位置的方法根据应用而变化，但是内容位置可以被指定为使得用户能够视觉识别叠加在真实对象或真实对象附近的内容。然而，如果指定的内容位置在第二视场范围A12外，则由于显示单元的显示区域的限制，信息处理装置1将不能向用户呈现(显示)内容。

在此，如果真实对象在范围A12外，则可以在范围A12外指定基于真实对象的位置而指定的内容位置。在这种情况下，内容将不会呈现给用户，并且用户将不能掌握存在与真实对象相关联的内容。

因此，例如，如果基于真实对象指定的内容的位置在第二视场范围A12外，则可以通过给用户呈现指示内容存在的指示(通知)来使用户意识到内容的存在。然而，如果如上所述基于内容的位置是否在第二视场范围A12外做出确定，则即使真实对象在第一视场范围A14外，也可以向用户呈现指示。在这种情况下，用户将不能够视觉识别真实对象，因此用户将不知道内容与什么相关联，这可能使用户困惑。

因此，本实施例是考虑到上述情况而创建的。根据本实施例的信息处理装置1能够通过根据用户的第一视场范围和第二视场范围以及真实对象的位置关系来从多个显示模式中选择一个显示模式而使用户意识到内容的存在而不会使用户困惑。在下文中，将描述实现上述效果的根据本实施例的信息处理装置1的配置。

《2.配置》

迄今为止，描述了根据本实施例的图像处理***1的概要。接下来，将参照图2描述根据本公开的一个实施例的信息处理装置1的配置。图2是示出根据本实施例的信息处理装置1的配置的框图。如图1所示，信息处理装置1包括成像单元110、图像识别单元120、显示模式选择单元130、显示控制单元140、存储单元150和显示单元160。

成像单元110是获取图像的相机模块。成像单元110通过使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的成像元件捕获真实空间来获取捕获图像。由成像单元110获取的捕获图像被提供给图像识别单元120。

本实施例的成像单元110优选地能够捕获比穿戴信息处理装置1的用户能够视觉识别的范围更宽(比参照图1描述的第一视场范围A14更宽)的范围。例如，成像单元110可以由具有能够捕获比第一视场范围A14更宽的范围的视角的一个成像元件实现，或者可以由多个成像元件实现，以便能够通过多个捕获图像来捕获比第一视场范围A14更宽的范围。例如，成像单元110可以是由多个成像元件实现的全向相机。

另外，成像单元110可以是具有多个成像元件并且同时获取多个图像的立体相机。在这种情况下，多个成像元件水平排列，并且因此能够通过稍后将要描述的图像识别单元120使用立体匹配方法等分析所获取的多个图像来获取关于真实空间的三维形状信息(深度信息)。

图像识别单元120分析由成像单元110获取的捕获图像，并且识别真实空间的三维形状以及真实空间中的真实对象。图像识别单元120识别的真实对象可以是建筑物、特定形状或标记(例如，特定图案的纹理信息或由二维码等呈现的图像特征点信息的集合)等。

例如，图像识别单元120可以识别真实空间的三维形状，并且通过将立体匹配方法应用于同时获取的多个图像或者将运动恢复结构(SfM)方法或者SLAM方法应用于以时间顺序获取的多个图像来获取三维信息。另外，图像识别单元120可以识别真实空间中的真实对象，并且通过将从捕获图像检测到的特征点信息与预先准备的特征点信息进行匹配来获取关于真实对象的信息(真实对象信息)。关于真实对象的信息可以包括真实对象的位置(真实空间坐标系上的位置或基于显示单元160的平面坐标系上的位置)。

注意，由图像识别单元120获取的三维形状信息被提供给显示控制单元140。另外，由图像识别单元120获取的真实对象信息被提供给显示模式选择单元130和显示控制单元140。

显示模式选择单元130基于由图像识别单元120提供的真实对象信息来从多个显示模式中选择一个显示模式。与真实对象相关联的虚拟对象通过稍后描述的显示控制单元140根据由显示模式选择单元130选择的显示模式控制显示来显示在稍后描述的显示单元160上。

例如，显示模式选择单元130根据参照图1描述的用户的第一视场范围A14、包括在第一视场范围A14中的第二视场范围A12以及真实对象的位置关系来从多个显示模式中选择一个显示模式。

例如，作为能够被用户视觉识别的范围的第一视场范围A14可以作为包括在以用户为中心的人视角中的范围来获得。例如，可以使用预定值作为人视角，或者可以通过用户使用未示出的操作部分输入人视角等来获得人视角。此外，例如，作为能够被用户视觉识别并且包括在显示单元160的显示区域中的范围的第二视场范围A12可以被获得作为以用户为中心的包括在显示单元160的显示视角中的范围。在这种情况下，显示视角可以是测量的或预先设置的值，或者可以基于由未示出的距离传感器等感测到的显示单元160与用户的眼睛之间的距离来计算。

例如，在真实对象处于第一视场范围A14中包括的第二视场范围A12中的情况下，例如，显示模式选择单元130可以选择显示与真实对象相关联的内容的显示模式。根据这样的配置，例如，在真实对象处于用户的视场(第一视场范围A14)中的范围内并且能够进行叠加显示(在第二视场范围A12中)的情况下，用户能够视觉识别与真实对象有关的附加信息(内容)。

另外，在真实对象处于第一视场范围A14内但不在第二视场范围A12内的情况下，显示模式选择单元130可以选择显示指示存在与真实对象相关联的内容的指示的显示模式。根据这样的配置，即使在用户的视场内的真实对象处于能够进行叠加显示的范围之外，使得不显示内容，用户也能够掌握存在与真实对象相关联的内容。注意，稍后将参照图5和图7至图16来描述指示的具体示例。

另外，在真实对象处于第一视场范围A14外的情况下，显示模式选择单元130可以选择其中将不显示与真实对象相关联的虚拟对象的显示模式。注意，即使在这种情况下，也可以显示与另一真实对象相关联的虚拟对象。

如果与不在用户的视场内的真实对象相关联的指示或内容结束显示，则用户将不知道该内容与什么相关联，这可能使用户困惑。然而，根据上述配置，将不显示与不在用户的视场内的真实对象相关联的指示或内容，这使得可以避免用户如上所述变得困惑。

注意，在本公开中，真实对象处于第一视场范围或第二视场范围内可以意味着真实对象的全部或一部分处于第一视场范围或第二视场范围内。另外，在本公开中，真实对象处于第一视场范围或第二视场范围外可以意味着真实对象的全部或一部分处于第一视场范围或第二视场范围外。

显示控制单元140控制显示单元160以使得显示各种信息。例如，显示控制单元140根据由显示模式选择单元130选择的显示模式来控制与真实对象相关联的虚拟对象在显示单元160上的显示。

根据所选择的显示模式，显示控制单元140可以使内容被显示为虚拟对象，或者可以使指示被显示为虚拟对象。另外，显示控制单元140可以根据所选择的显示模式使虚拟对象不被显示。

另外，关于指示的信息以及显示控制单元140使得被显示为虚拟对象的内容可以被存储在存储单元150中并且被提供给显示控制单元140。另外，显示控制单元140可以基于关于真实对象的信息来从存储在存储单元150中的内容指定与真实对象相关联的内容。

另外，在内容被显示为虚拟对象的情况下，显示控制单元140可以基于真实对象来指定用于显示内容的内容位置(内容的位置)，并且使内容在内容位置处被显示。注意，显示控制单元140可以进一步基于三维形状信息来指定内容位置，或者可以进一步基于关于内容的信息来指定内容位置。注意，指定内容位置的方法根据应用而变化，但是可以使用AR技术中的任何公知的方法。

存储单元150存储关于内容的信息和关于指示的信息。与关于存储在存储单元150中的内容的信息有关的内容可以包括例如文本数据、图像、3D模型、效果、标记、剪影、游戏角色和游戏中的项目等。

此外，关于存储在存储单元150中的内容的信息可以包括用于指定使得内容被显示的内容位置的信息。例如，在内容是使真实对象被强调的效果的情况下，用于指定内容位置以使得内容将被叠加在真实对象上显示的信息可以被包括在关于内容的信息中。此外，在内容是与真实对象有关的文本数据的情况下，用于指定内容位置以使得内容将显示为不与真实对象附近的内容叠加的信息可以被包括在关于内容的信息中。

显示单元160是显示虚拟对象的透射式(透视)光学透视显示器。例如，显示单元160可以是显示使用全息光学元件或半反射镜等反射的图像的部件，或者可以是通过在用户的视网膜处照射光来显示图像的部件。

如上所述，第二视场范围A12是能够被用户视觉识别并包括在显示单元160的显示区域中的范围。即，第二视场范围A12也是从用户的视角来看的显示单元160的显示区域，因此在下文中，范围A12也可以被称为显示区域A12。

《3.操作》

迄今为止，描述了根据本公开的实施例的信息处理装置1的配置示例。接下来，将参照图3至图6描述根据本实施例的信息处理装置1的操作的示例，特别是，根据显示模式的选择的处理。图3是示出根据本实施例的信息处理装置1的操作的示例的流程图。

首先，图像识别单元120分析由成像单元110获取的捕获图像，并获取真实对象信息(S10)。接下来，基于真实对象信息由显示模式选择单元130选择显示模式(S20至S60)。

图4是示出图3所示的步骤S40中的显示模式的选择的说明图。在真实对象R12处于第一视场范围A14中并且也处于第二视场范围A12中(S20中为是，并且在S30中为是)的情况下，选择将显示与真实对象相关联的内容C12的显示模式(S40)。

另外，图5是示出图3所示的步骤S50中的显示模式的选择的说明图。在真实对象R14处于第一视场范围A14中但处于第二视场范围A12外(S20中为是，并且S30中为否)的情况下，选择将显示指示存在内容的指示N12的显示模式(S50)。注意，在图5中，圆形光被示出作为指示的示例，但是根据本实施例的指示不限于该示例。稍后将参照图7至图16来描述根据本实施例的指示的详细示例。

另外，图6是示出图3所示的步骤S60中的显示模式的选择的说明图。在真实对象R16处于第一视场范围A14外(S20中为否)的情况下，选择如图6所示的将不显示与真实对象相关联的虚拟对象的显示模式(S60)。

现在将返回到图3继续进行描述。在由显示模式选择单元130已经选择了显示模式之后，显示单元160的显示控制由显示控制单元140根据所选择的显示模式来执行(S70)。

注意，上述步骤S10至S70的处理可以根据需要或以规律的间隔重复。另外，在步骤S10中，在获取关于多个真实对象的信息的情况下，可以在对每个真实对象已经执行了显示模式选择处理(S20至S60)之后执行显示控制处理(S70)。

《4.指示的具体示例》

迄今为止，描述了根据本实施例的信息处理装置1的配置和操作。以下，将描述在真实对象处于第一视场范围A14中但是处于第二视场范围A12外(图3中示出的S20中为是，并且S30中为否)的情况下在显示单元160上显示的指示的几个具体示例。

注意，根据本实施例的信息处理装置1可以显示任何一个指示，或者可以显示下面描述的具体示例中描述的指示的组合的多个指示。另外，可以显示已经预先设置的指示，可以显示通过由用户输入从多个指示中选择的指示，或者可以显示由显示控制单元140根据内容指定的指示。

<4-1.第一具体示例>

图7是示出根据本实施例的指示的第一具体示例的说明图。如图7所示，在本具体示例中，在显示单元160的显示区域A12中显示内容C22和指示N22和N24。

内容C22是在图3所示的显示模式选择处理中选择了要显示内容的显示模式(S40)时显示的虚拟对象。另一方面，指示N22和N24是在图3所示的显示模式选择处理中选择了要显示指示的显示模式(S50)时显示的虚拟对象。

指示N22和N24可以显示在显示单元160的显示区域A12的***边缘部分处的与其存在由指示来指示的内容的位置对应的位置处，如图7所示。

在图7所示的示例中，在显示区域A12的左侧***边缘部分处显示的指示N22位于显示区域A12的左侧外侧，并且在显示单元160上指示存在未显示的内容C24和C26。另外，类似地，在图7所示的示例中，在显示区域A12的左侧***边缘部分处显示的指示N24位于显示区域A12的右侧外侧，并且在显示单元160上指示存在未显示的内容C28至C34。注意，每个内容C24至C34指示与在第一视场范围A14内但在第二视场范围A12外的真实对象相关联的内容。另外，在图7所示的示例中，由显示控制单元140指定的内容C24至C34的内容位置也在第二视场范围(显示区域)A12外，因此内容C24至C34不显示在显示单元160上。

根据这样的配置，用户能够掌握其存在由指示所指示的未显示的内容在显示区域的哪一侧。

此外，根据本具体示例的指示可以根据其存在由指示所指示的内容的数目在显示条件下显示。例如，根据本具体示例的显示条件可以包括指示的强度(例如，在指示是光的情况下光的强度)、亮度、颜色、数目和尺寸等。

在图7所示的示例中，分别在根据与其存在由指示N22和N24所指示的内容相关联的真实对象的数目而增大指示N22和N24的大小的显示条件下显示指示N22和N24。根据这样的配置，用户能够估计其存在由指示所指示的未显示的内容的数目。

<4-2.第二具体示例>

图8是示出根据本实施例的指示的第二具体示例的说明图。在本具体示例中，在显示单元160的显示区域A12中显示内容C22和指示N34至N44。

根据本具体示例的指示N34至N44分别指示内容C24至C34的存在，并且用与内容的数目对应的指示数目(显示条件的一个示例)来显示，如图8所示。根据这样的配置，用户能够更清楚地掌握其存在由指示所指示的内容的数目。

另外，根据本具体示例的指示N34至N44分别在与内容C24至C34的位置对应的位置处显示，如图8所示。根据这样的配置，用户能够估计其存在由指示所指示的未显示的内容的位置。

此外，根据本具体示例的指示可以在根据距离的显示条件下显示。例如，在用真实空间坐标系指定内容位置的情况下，距离可以是从用户到内容位置的距离。此外，在用基于显示单元160的平面坐标系指定内容位置的情况下，距离可以是从显示单元160的显示区域到内容的位置的距离。

例如，图8中所示的指示N34至N44在根据从显示区域A12到其存在由每个指示所指示的内容C24至C34的位置的距离而减小指示N34至N44的大小的显示条件下被显示。根据这样的配置，用户能够更准确地估计其存在由指示所指示的未显示的内容的位置。

<4-3.第三具体示例>

在上述第二具体示例中，指示的大小被用作根据距离的显示条件的示例，但是根据本实施例的根据距离的显示条件不限于指示的大小。以下，将描述作为第三具体示例的在根据距离的另一显示条件下显示指示的示例。

图9是示出根据本实施例的指示的第三具体示例的说明图。在本具体示例中，在显示单元160的显示区域A12中显示内容C22和指示N54至N64。

类似于参照图8描述的第二具体示例，根据本具体示例的指示N54至N64分别指示内容C24至C34的存在，并且用与内容的数目对应的指示数目(显示条件的一个示例)来显示。此外，与第二具体示例类似，根据本具体示例的指示N54至N64分别在与内容C24至C34的位置对应的位置处显示。

例如，图9中所示的指示N54至N64以与从显示区域A12到其存在由每个指示所指示的内容C24至C34的位置的距离对应的亮度(显示条件的一个示例)被显示。根据这样的配置，用户能够通过显示条件来估计其存在由指示所指示的未显示的内容的位置。

注意，根据本实施例的根据距离的显示条件不限于上述指示的大小和亮度，并且可以是指示的强度、亮度或数目等。

<4-4.第四具体示例>

图10是示出根据本实施例的指示的第四具体示例的说明图。在本具体示例中，在显示单元160的显示区域A12中显示内容C22和指示N100。

图11是图10所示的指示N100的放大图。

如图11所示，指示N100包括指示基于用户的方位轴(如从用户所看到的)的指示N120、以及指示图10中所示的内容C22至C34的存在以及从用户朝向内容C22至C34的位置的方位的指示N124至N134。根据这样的配置，用户能够容易地掌握从他或她自己朝向内容的位置的方位。

注意，如图10和图11中所示，根据本具体示例的指示N100可以包括指示在显示区域A12中显示的内容C22的存在以及从用户朝向内容C22的位置的方位的指示N122。此外，指示N122以及与显示区域A12中未显示的内容C24至C34相关的指示N124至N134可以以不同的亮度或颜色等被显示，如图11所示。根据这样的配置，用户能够掌握与正被显示的内容有关的指示和与未被显示的内容有关的指示之间的差异。

此外，根据本具体示例的指示N122至S134可以在根据距离的显示条件下显示，类似于参照图8描述的根据第二具体示例的指示。另外，根据本具体示例的指示N122至N134可以在根据内容的大小的显示条件下显示。

<4-5.第五具体示例>

图12是示出根据本实施例的指示的第五具体示例的说明图。在本具体示例中，在显示单元160的显示区域A12中显示内容C22和指示N200。

图13是图12所示的指示N200的放大图。

如图13所示，指示N200包括指示内容(除了内容C22以外的内容未示出)的存在以及从用户观看的内容的相对位置的指示N202至N214，以及指示视场范围的虚线L202至L208。虚线L202与虚线L204之间的范围指示显示区域(第二视场范围A12)，虚线L206与虚线L208之间的范围指示可叠加显示范围(第一视场范围A14)。

注意，图13中所示的指示N202指示在图12所示的显示区域A12中显示的内容C22的存在以及从用户观看的相对位置。指示N202以及指示未在显示区域A12中显示的内容的存在以及从用户观看的相对位置的指示N204至N208可以用不同的亮度或颜色等来显示，如图13所示。根据这样的配置，用户能够掌握与正被显示的内容有关的指示和与未被显示的内容有关的指示之间的差异。

<4-6.第六具体示例>

图14是示出根据本实施例的指示的第六具体示例的说明图。在本具体示例中，在显示单元160的显示区域A12中显示内容C22和指示N302至N308。

如图14所示，根据本具体示例的指示N302至N308可以包括其存在由指示N302至N308指示的内容的一部分(未示出)，并且可以从显示区域A12的***边缘部分突出显示。根据这样的配置，用户能够根据包括内容的一部分的指示来估计内容的形状、类型或特性等。

<4-7.第七具体示例>

图15是示出根据本实施例的指示的第七具体示例的说明图。在图15中左侧，作为人物角色的内容C400被显示在显示单元160的显示区域A12中。在图15中右侧，与内容C400相关联的真实对象存在于显示区域A12外，并且指示内容C400的存在的指示N400被显示在显示单元160的显示区域A12中。

如同图15所示的指示N400一样，根据本具体示例的指示可以包括指示内容的图标。例如，根据本具体示例的图标可以是内容的简化图像或符号。根据这样的配置，用户能够从包括指示内容的图标的指示中掌握内容的近似形式、类型或特性等。

<4-8.第八具体示例>

图16是示出根据本实施例的指示的第八具体示例的说明图。在本具体示例中，在显示单元160的显示区域A12中显示指示未显示的内容(未示出)以及从用户朝向内容的位置的方向的指示N500。根据本具体示例的指示可以是诸如图16中所示的指示N500的箭头。

根据这样的配置，用户的视线由诸如箭头的指示朝向内容的位置的方向的指示来引导，这具有使得用户更容易将他或她的视线指向该方向并使内容更容易被显示的效果。

《5.修改示例》

迄今为止，已经描述了本公开的实施例。下面将描述实施例的几个修改示例。下面描述的修改示例可以单独或组合应用于本实施例。此外，替代本实施例中描述的配置或者除了本实施例中描述的配置之外，还可以应用每个修改示例。

<5-1.修改示例1>

上述实施例的图4示出了其中与真实对象R12相关联的内容C12显示为真实对象R12附近的虚拟对象的示例，但是本实施例不限于此。例如，可以执行进一步阐明真实对象与内容之间的关系的计算。以下，作为修改示例1，将参照图17和图18描述进行进一步阐明真实对象与内容之间的联系的计算的示例。图17和图18是示出本修改示例的说明图。

例如，可以通过用如图17所示的线连接真实对象和内容来阐明联系。如图17所示，根据本修改示例，可以在显示区域A12中显示与真实对象R600相关联的内容C600和用于阐明真实对象R600与内容C600之间的联系的线段L600。线段L600可以通过被显示为连接真实对象R600与内容C600来阐明真实对象R600和内容C600之间的联系，如图17所示。

另外，真实对象与内容之间的联系可以通过如图18所示的着色来阐明。如图18所示，根据本修改示例，可以在显示区域A12中显示与真实对象R700相关联的内容C700以及用于阐明真实对象R700与内容C700之间的联系的效果E700。如图18所示，效果E700可以通过以与内容C700相同的颜色显示在真实对象R700周围来阐明真实对象R700与内容C700之间的联系。

根据这样的配置，真实对象与内容之间的联系变得更清楚，使得用户可以容易地掌握真实对象与所显示的内容之间的联系。

<5-2.修改示例2>

另外，在上述实施例中，描述了其中预定值被用于获得第一视场范围的人视角或者通过用户的输入来获得用于获得第一视场范围的人视角的示例，但是本公开不限于该示例。例如，信息处理装置1可以包括传感器，并且可以基于通过感测获得的用户的情况或者用户周围的情况来指定人视角。例如，信息处理装置1可以包括各种传感器，例如麦克风、全球定位***(GPS)传感器、加速度传感器、视觉(诸如注视、关注点、焦点或眨眼)传感器、生物信息(诸如心率、体温、血压或脑波)传感器、陀螺仪传感器或照度传感器。

例如，根据感测效果，在检测到用户的移动速度快或者用户周围的区域拥挤(在用户周围存在很多真实对象)的情况下，可以将小的值指定为人视角。

根据这种配置，能够以较高的准确度指定人视角，例如，可以基于用户的情况和用户周围的情况向用户呈现不太可能使用户困惑的信息。

<5-3.修改示例3>

此外，在上述实施例中，描述了其中信息处理装置1包括成像单元110并且基于由成像单元110获取的捕获图像通过图像识别来获取真实对象信息的示例，但是本公开不限于该示例。

例如，捕获图像可以通过设置在另一装置中的成像单元或安装在街道上的监控相机等获取，并且通过网络等提供给信息处理装置1。此外，替代使用图像识别的方法或者除了使用图像识别的方法之外，还可以通过使用红外传感器、磁传感器、雷达或超声波传感器等的方法来获取真实对象信息。此外，在内容与真实空间中的预定位置相关联的应用(例如，地图应用等)中，可以根据本实施例将由GPS传感器等获取的位置作为真实对象来处理，并且可以执行上述处理。

另外，在信息处理装置1中设置的成像单元110可以捕获的视角小于人视角的情况下，图像识别单元120可以基于由成像单元110获取的多个捕获图像来识别周围环境的三维形状。例如，图像识别单元120可以通过将运动恢复结构(SfM)方法或者SLAM方法等应用于以时间顺序获取的多个捕获图像来识别真实空间的三维形状。

《6.硬件配置示例》

迄今为止，已经描述了本公开的每个实施例。上述诸如显示模式选择处理和显示控制处理的信息处理是通过软件的协作以及以下描述的信息处理装置1的硬件来实现的。

图19是示出信息处理装置1的硬件配置的示例的说明图。如图19所示，信息处理装置1包括中央处理单元(CPU)11、只读存储器(ROM)12、随机存取存储器(RAM)13、输入装置14、输出装置15、存储装置16、成像装置17和通信装置18。

CPU 11用作操作处理装置和控制装置，并且根据各种程序控制信息处理装置1中的整体操作。CPU 11也可以是微处理器。ROM 12存储由CPU 11使用的程序、操作参数等。RAM13临时存储由CPU 11执行中使用的程序、在该执行中适当改变的参数等。这些通过包括CPU总线等的主机总线连接在一起。图像识别单元120、显示模式选择单元130和显示控制单元140的功能主要通过与CPU 11、ROM 12和RAM 13协同工作的软件来实现。

输入装置14包括：用于用户输入信息的诸如鼠标、键盘、触摸板、按钮、麦克风、开关和杆的输入装置，基于用户的输入生成输入信号并将所生成的输入信号输出到CPU 11的输入控制电路等。通过操作输入装置14，信息处理装置1的用户能够输入各种数据并且引导关于信息处理装置1的处理操作。

输出装置15例如包括诸如液晶显示(LCD)装置、OLED装置、透视显示器和灯的显示装置。此外，输出装置15包括诸如扬声器和耳机的语音输出装置。例如，显示装置显示捕获图像、所生成的图像等。另一方面，语音输出装置将语音数据等转换为语音，然后输出该语音。输出装置15对应于参照图2描述的显示单元160。

存储装置16是用于存储数据的装置。存储装置16可以包括存储介质、将数据存储在存储介质中的记录装置、从存储介质读出数据的读出装置、删除存储介质中记录的数据的删除装置等。存储装置16存储由CPU 11执行的程序和各种数据。存储装置16对应于参照图2描述的存储单元150。

成像装置17包括诸如收集光的拍摄镜头以及变焦镜头的成像光学***、以及诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)的信号转换器件。成像光学***收集从对象发射的光以在信号转换单元处形成对象图像，并且信号转换装置将所形成的对象图像转换为电图像信号。成像装置17对应于参照图2描述的成像单元110。

通信装置18是例如包括用于连接到通信网络的通信装置等的通信接口。另外，通信装置18可以是兼容无线局域网(LAN)的通信装置、兼容长期演进(LTE)的通信装置、经由有线执行通信的有线通信装置、或蓝牙通信装置。

《7.结论》

如上所述，根据本公开的实施例，可以根据用户的视觉范围和真实对象的位置关系向用户呈现信息。

以上已经参照附图描述了本公开的优选实施例，然而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变化和修改，并且应该理解，它们将自然落入本公开的技术范围内。

此外，在上述实施例中，描述了其中执行显示模式选择处理和显示控制处理的信息处理装置1设置有成像单元110、图像识别单元120和存储单元150等的示例，但是本技术不限于该示例。例如，执行显示模式选择处理和显示控制处理的信息处理装置可以通过直接或经由网络等从另一装置接收关于捕获图像、图像识别结果和显示对象等的信息来执行显示模式选择处理和显示控制处理。

此外，在上述实施例中，描述了其中根据第一视场范围、第二视场范围和真实对象的位置关系来确定要显示的内容的数目和指示的数目的示例，但是本技术不限于该示例。

例如，在可以在视场内显示大量内容的应用中，可以设置要显示的内容的最大数目和指示的最大数目。另外，即使在第一视场范围或第二视场范围内存在真实对象，也可以根据用户与真实对象之间的距离或从用户到真实对象的位置的方位(角度)来限制要显示的内容的数目和指示的数目。

根据这样的配置，能够防止用户由于显示大量的内容或大量的指示而困惑。

另外，在上述实施例的第二具体示例和第三具体示例等中，描述了其中在与内容的位置对应的位置处显示指示的示例，但是如果与内容相关联的真实对象频繁移动，则可能会导致用户分心。因此，指示可以被显示为使得所显示的指示的移动频率或移动的宽度等被限制为预定值或更小，使得用户不会容易分心。

此外，在由于用户的移动或者真实对象的移动而导致真实对象从可叠加显示范围(第二视场范围)外移动到可叠加显示范围内的情况下，可以执行动画显示，使得用户不会失去指示与真实对象之间的联系。例如，可以执行在指示被放大的同时与内容交叉渐变的动画显示或者以指示为起点的内容弹出的动画显示。注意，在真实对象从可叠加显示范围(第二视场范围)内移动到可叠加显示范围外的情况下，也可以执行类似的动画显示。

根据这样的配置，当显示模式被切换时，用户能够更容易地掌握指示与真实对象之间的联系以及内容与真实对象之间的联系。

注意，在上述实施例中，描述其中能够被用户视觉识别的范围以及包括在显示区域中并且能够被用户视觉识别的范围(可叠加显示的范围)被用作视场范围的示例，但是本技术不限于该示例。例如，替代上述范围或者除了上述范围之外，还可以使用其中可以识别真实对象的范围，例如可以由获取捕获图像的成像单元捕获的范围。

另外，上述实施例中的各个步骤不一定必须按照流程图中所示的顺序按时间顺序执行。例如，上述实施例的处理中的各个步骤也可以以与流程图中所示的顺序不同的顺序执行，或者它们可以并行执行。

另外，还可以创建用于使得内置在信息处理装置1中的诸如CPU、ROM、RAM的硬件等来呈现上述信息处理装置1的功能的计算机程序。另外，还提供了具有存储在其中的计算机程序的存储介质。

此外，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。也就是说，利用或替代上述效果，根据本公开的技术可以实现本领域技术人员根据本说明书的描述而清楚的其他效果。

此外，本技术也可以如下配置。

(1)一种信息处理装置，包括：

显示模式选择单元，被配置为根据用户的第一视场范围、包括在所述第一视场范围中的第二视场范围以及真实对象的位置关系来从多个显示模式中选择一个显示模式；以及

显示控制单元，被配置为根据所选择的显示模式来控制虚拟对象在显示单元上的显示，所述虚拟对象与所述真实对象相关联。

(2)根据(1)所述的信息处理装置，其中，

所述第二视场范围是被包括在所述显示单元的显示区域中并且能够被所述用户视觉识别的范围。

(3)根据(2)所述的信息处理装置，其中，

在所述真实对象在所述第一视场范围内但在所述第二视场范围外的情况下，所述显示模式选择单元选择显示指示存在与所述真实对象相关联的内容的指示的显示模式。

(4)根据(3)所述的信息处理装置，其中，

所述指示被显示在与所述内容的位置对应的位置处。

(5)根据(3)或(4)所述的信息处理装置，其中，

所述指示被显示在所述显示区域的***边缘部分处。

(6)根据(3)至(5)中任一项所述的信息处理装置，其中，

在根据由所述指示指示其存在的内容的数目的显示条件下显示所述指示。

(7)根据(3)至(6)中任一项所述的信息处理装置，其中，

在根据从所述用户或所述显示区域到所述内容的位置的距离的显示条件下显示所述指示。

(8)根据(6)或(7)所述的信息处理装置，其中，

所述显示条件包括与所述指示的强度、亮度、颜色、数目和大小中的至少一个有关的条件。

(9)根据(3)至(8)中任一项所述的信息处理装置，其中，

所述指示还指示从所述用户朝向所述内容的位置的方位。

(10)根据(3)至(9)中任一项所述的信息处理装置，其中，

所述指示还指示从所述用户观看的内容的相对位置。

(11)根据(3)至(10)中任一项所述的信息处理装置，其中，

所述指示包括所述内容的一部分。

(12)根据(3)至(11)中任一项所述的信息处理装置，其中，

所述指示包括指示所述内容的图标。

(13)根据(3)至(12)中任一项所述的信息处理装置，其中，

所述指示还指示从所述用户朝向所述内容的位置的方向。

(14)根据(1)至(13)中任一项所述的信息处理装置，其中，

在所述真实对象在所述第一视场范围外的情况下，所述显示模式选择单元选择不显示与所述真实对象相关联的虚拟对象的显示模式。

(15)根据(1)至(14)中任一项所述的信息处理装置，其中，

在所述真实对象在所述第二视场范围内的情况下，所述显示模式选择单元选择显示与所述真实对象相关联的内容的显示模式。

(16)根据(1)至(15)中任一项所述的信息处理装置，其中，

所述第一视场范围是能够被所述用户视觉识别的范围。

(17)根据(1)至(16)中任一项所述的信息处理装置，还包括：

所述显示单元，其中，

所述显示单元是透射式显示器。

(18)根据(17)所述的信息处理装置，其中，

所述信息处理装置是透射式HMD。

(19)一种信息处理方法，包括：

根据用户的第一视场范围、包括在所述第一视场范围内的第二视场范围以及真实对象的位置关系，从多个显示模式中选择一个显示模式；以及

由处理器根据所选择的显示模式来控制虚拟对象在显示单元上的显示，所述虚拟对象与所述真实对象相关联。

(20)一种程序，所述程序用于使计算机实现：

显示模式选择功能，所述显示模式选择功能根据用户的第一视场范围、包括在所述第一视场范围内的第二视场范围以及真实对象的位置关系，从多个显示模式中选择一个显示模式；以及

显示控制功能，所述显示控制功能根据所选择的显示模式来控制虚拟对象在显示单元上的显示，所述虚拟对象与所述真实对象相关联。

附图标记列表

1 信息处理装置

110 成像单元

120 图像识别单元

130 显示模式选择单元

140 显示控制单元

150 存储单元

160 显示单元

A12 第二视场范围

A14 第一视场范围

U1 用户

Claims (15)

1.一种信息处理装置，包括：

显示单元；

图像识别单元，被配置为识别真实空间中的真实对象，并且获取关于所述真实对象的信息，其中，所述信息包括所述真实对象的位置；

显示模式选择单元，被配置为根据用户的第一视场范围、包括在所述第一视场范围中的第二视场范围、以及所述真实对象、所述第一视场范围与第二视场范围之间的位置关系来从多个显示模式中选择一个显示模式，其中，所述第一视场范围是以所述用户为中心的视角中包括的范围，并且所述第二视场范围是被包括在所述显示单元的显示区域中的范围；以及

显示控制单元，被配置为根据所选择的显示模式来控制虚拟对象在所述显示单元上的显示，所述虚拟对象与所述真实对象相关联，其中，所述虚拟对象使与所述真实对象相关联的内容可视化，

其中，在所述真实对象在所述第一视场范围内但在所述第二视场范围外的情况下，所述显示模式选择单元选择显示指示存在与所述真实对象相关联的内容的指示的显示模式，以及

其中，在所述真实对象在所述第一视场范围外的情况下，所述显示模式选择单元选择不显示与所述真实对象相关联的虚拟对象的显示模式，并且在所述真实对象在所述第二视场范围内的情况下，所述显示模式选择单元选择显示与所述真实对象相关联的内容的显示模式。

2.根据权利要求1所述的信息处理装置，其中，

所述指示被显示在与所述内容的位置对应的位置处。

3.根据权利要求1所述的信息处理装置，其中，

所述指示被显示在所述显示区域的***边缘部分处。

4.根据权利要求1所述的信息处理装置，其中，

在根据由所述指示指示其存在的内容的数目的显示条件下显示所述指示。

5.根据权利要求1所述的信息处理装置，其中，

在根据从所述用户或所述显示区域到所述内容的位置的距离的显示条件下显示所述指示。

6.根据权利要求4所述的信息处理装置，其中，

所述显示条件包括与所述指示的强度、亮度、颜色、数目和大小中的至少一个有关的条件。

7.根据权利要求1所述的信息处理装置，其中，

所述指示还指示从所述用户朝向所述内容的位置的方位。

8.根据权利要求1所述的信息处理装置，其中，

所述指示还指示从所述用户观看的内容的相对位置。

9.根据权利要求1所述的信息处理装置，其中，

所述指示包括所述内容的一部分。

10.根据权利要求1所述的信息处理装置，其中，

所述指示包括指示所述内容的图标。

11.根据权利要求1所述的信息处理装置，其中，

所述指示还指示从所述用户朝向所述内容的位置的方向。

12.根据权利要求1所述的信息处理装置，其中，

所述显示单元是透射式显示器。

13.根据权利要求1所述的信息处理装置，其中，

所述信息处理装置是透射式头盔式显示器HMD。

14.一种由包括显示单元和图像识别单元的信息处理装置执行的信息处理方法，包括：

识别真实空间中的真实对象，并且获取关于所述真实对象的信息，其中，所述信息包括所述真实对象的位置；

根据用户的第一视场范围、包括在所述第一视场范围内的第二视场范围、以及所述真实对象、所述第一视场范围与第二视场范围之间的位置关系，从多个显示模式中选择一个显示模式，其中，所述第一视场范围是以所述用户为中心的视角中包括的范围，并且所述第二视场范围是被包括在所述显示单元的显示区域中的范围；以及

由处理器根据所选择的显示模式来控制虚拟对象在所述显示单元上的显示，所述虚拟对象与所述真实对象相关联，其中，所述虚拟对象使与所述真实对象相关联的内容可视化，

其中，在所述真实对象在所述第一视场范围内但在所述第二视场范围外的情况下，显示指示存在与所述真实对象相关联的内容的指示，以及

其中，在所述真实对象在所述第一视场范围外的情况下，不显示与所述真实对象相关联的虚拟对象，并且在所述真实对象在所述第二视场范围内的情况下，显示与所述真实对象相关联的内容。

15.一种计算机可读记录介质，其上存储有程序，所述程序用于使包括显示单元和图像识别单元的信息处理装置实现：

图像识别功能，所述图像识别功能识别真实空间中的真实对象，并且获取关于所述真实对象的信息，其中，所述信息包括所述真实对象的位置；

显示模式选择功能，所述显示模式选择功能根据用户的第一视场范围、包括在所述第一视场范围内的第二视场范围、以及所述真实对象、所述第一视场范围与第二视场范围之间的位置关系，从多个显示模式中选择一个显示模式，其中，所述第一视场范围是以所述用户为中心的视角中包括的范围，并且所述第二视场范围是被包括在所述显示单元的显示区域中的范围；以及

显示控制功能，所述显示控制功能根据所选择的显示模式来控制虚拟对象在所述显示单元上的显示，所述虚拟对象与所述真实对象相关联，其中，所述虚拟对象使与所述真实对象相关联的内容可视化，

其中，在所述真实对象在所述第一视场范围内但在所述第二视场范围外的情况下，所述显示模式选择功能选择显示指示存在与所述真实对象相关联的内容的指示的显示模式，以及

其中，在所述真实对象在所述第一视场范围外的情况下，所述显示模式选择功能选择不显示与所述真实对象相关联的虚拟对象的显示模式，并且在所述真实对象在所述第二视场范围内的情况下，所述显示模式选择功能选择显示与所述真实对象相关联的内容的显示模式。

Images