CN108431667A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

一种信息处理装置，其包括电路，所述电路被配置为获取与用户情况有关的信息，根据与用户情况有关的所述信息确定显示模式，并且根据在该确定的显示模式中显示的对象允许操作单元接收用户输入。

Description

信息处理装置、信息处理方法和程序

相关申请的交叉引用

本申请主张2015年12月28日递交的日本优先权专利申请JP2015-257065的权益，其全部内容通过参考引入本文。

技术领域

本公开涉及一种信息处理装置、信息处理方法和程序。

背景技术

近年来，已经开发了装备有操作设备的头戴式显示器(以下也称为“HMD”)。当HMD被戴在用户的头上时具有位于该用户的眼睛的前面的显示器的HMD在该用户的前面显示对象这种HMD包括非透射显示器或透射显示器。

在透射显示器的情况下，显示上述显示对象，同时该显示对象被叠加在可以通过该显示器观看的真实空间上。例如，下列PTL1的HMD中，将与显示器表面平行移动的显示对象显示在用户的面前，而用于选择显示对象的光标根据通过操作设备检测的用户操作在显示轴上移动。

引用列表

专利文献

[PTL1]JP2014-164449A

发明内容

技术问题

利用上述PTL1，通过执行显示控制来改进用户操作以便显示轴具有根据用户操作的垂直分量。然而，很难依据用户行为的状态(例如当用户停止或当用户移动时)输入具有相同精度的操作，并且可操作性降低。

因此，本公开提出一种可以通过根据用户活动的状态动态地切换输入方法而进一步提高可操作性的信息处理装置、信息处理方法和程序。

问题的解决方案

根据本公开的实施方案，提供了一种信息处理装置，其包括电路，所述电路被配置为获取与用户情况相关联的信息，根据与用户情况有关的所述信息确定显示模式，并且根据在该确定的显示模式中显示的对象允许操作单元接收用户输入。

根据本公开的实施方案；提供了一种信息处理方法，其包括：获取与用户情况相关联的信息；根据与用户情况有关的所述信息确定显示模式，并且根据在该确定的显示模式中显示的对象允许操作单元接收用户输入。

根据本公开的实施方案，提供了一种其上包含程序的非暂时性电脑可读存储介质，该非暂时性电脑可读存储介质在被电脑执行时使该电脑执行方法，该方法包括获取与用户情况相关联的信息；根据与用户情况有关的所述信息确定显示模式，并且根据在该确定的显示模式中显示的对象允许操作单元接收用户输入。

发明的有益效果

如上所述，根据本公开的实施方案，可以根据用户活动的状态通过动态地切换操作输入模式来进一步提高可操作性。

请注意，如上所述的效果不一定是限制性的。利用上述效果或者代替上述效果，可能获得本说明书中所述的任何一个效果或可从本说明书中获得的其他效果。

附图概述

[图1]图1解释根据实施方案的信息处理装置的略图的示意图。

[图2]图2是示出根据实施方案的信息处理装置的配置的实例的方框图。

[图3]图3是解释其中根据实施方案的根据识别精度切换操作输入模式的情况的示意图。

[图4]图4是解释其中根据实施方案的根据用户行为的状态切换操作输入模式的情况的示意图。

[图5]图5是解释其中根据实施方案的根据识别精度和用户行为的状态切换操作输入模式的情况的示意图。

[图6]图6是解释其中根据实施方案的根据行走状态切换操作输入模式的情况的示意图。

[图7]图7是解释其中根据实施方案的根据自行车骑行状态切换操作输入模式的情况的示意图。

[图8]图8是示出根据实施方案的显示控制处理的流程图。

[图9]图9是示出根据实施方案的用户行为识别处理的流程图。

[图10]图10是示出根据实施方案的得分获取处理的流程图。

[图11]图11是示出根据实施方案的操作输入模式选择处理的流程图。

[图12]图12是示出根据实施方案的基于识别精度的操作输入模式选择处理的流程图。

[图13]图13是示出根据实施方案的用户骑上自行车之前自行车UI的显示实例的示意图。

[图14]图14是示出根据实施方案的用户骑上自行车时自行车UI的显示实例的示意图。

[图15]图15是示出根据实施方案的用户骑自行车时自行车UI的显示实例的示意图。

[图16]图16是示出根据实施方案的用户到达终点线时自行车UI的显示实例的示意图。

[图17]图17是示出根据实施方案的当领步人根据用户行为停止时自行车UI的显示实例的示意图。

[图18]图18是解释在根据实施方案的自行车UI中根据用户行为的状态切换操作输入模式的示意图。

[图19]图19是解释根据实施方案的自行车UI中用户选择行为的示意图。

[图20]图20是解释根据实施方案的自行车UI中对用户选择操作的反馈的示意图。

[图21]图21是解释其中根据实施方案的自行车UI中根据骑行状态选项的数量增加或减少的情况的示意图。

[图22]图22是解释根据实施方案的自行车UI中当用户骑自行车时选择行为的另一个实例的示意图。

[图23]图23是解释根据实施方案的根据识别精度的信息的显示实例的示意图。

[图24]图24是解释根据实施方案的根据识别精度的信息的显示实例的示意图。

[图25]图25是解释根据实施方案在将操作输入模式的限制报告给用户的情况下的显示实例的示意图。

[图26]图26是解释根据实施方案在将输入模式的限制报告给用户的情况下的显示实例的示意图。

[图27]图27是示出根据实施方案的通信UI的实例的示意图。

[图28]图28是示出根据实施方案的通信UI的实例的示意图。

具体实施方式

以下，将参照附图具体描述本公开的实施方案。在本说明书和附图中，具有基本上相同功能和结构的结构元件用相同的参考符号来表示，并且省略这些结构元素的重复说明。

进一步地，将按照下列次序进行描述。

1.根据本公开的实施方案的信息处理装置的概述

2.信息处理装置的配置

3.操作处理

3-1.显示控制处理

3-2.用户行为识别处理

3-3.得分获取处理

3-4.输入方法选择处理

4.显示实例

4-1.自行车UI

4-2.通信UI

5.结论

<<1.根据本公开的实施方案的信息处理装置的概述>>

首先，将描述根据本公开的实施方案的信息处理装置的概述。图1解释根据实施方案的信息处理装置1的略图的示意图。如图1中所示，根据实施方案的信息处理装置1用例如安装在用户的头上的眼镜型头戴式显示器(HMD)来实现。当用户佩戴信息处理装置1时对应于位于用户的眼睛前方的眼镜的透镜的显示装置13可以是透视型显示装置或非透视型显示装置。信息处理装置1在显示装置13显示对象，从而可以将该显示对象呈现在用户的视线前面。进一步地，作为信息处理装置的一个实例的HMD不限于向两只眼睛呈现图像的HMD，而是可以是仅在一只眼镜处显示图像的HMD。例如，HMD可以是其中设置在一只眼睛处显示图像的显示装置13的单眼型。

进一步地，在信息处理装置1处设置拍摄用户的视线方向(即，当用户佩戴信息处理装置1时的表面的方向)的向外摄像机110。更进一步地，虽然未在图1中示出，在信息处理装置1处设置各种传感器，例如在当用户佩戴信息处理装置1和扩音器(以下称为"麦克风")时拍摄用户的眼睛的向内摄像机。可以设置多个向外摄像机110和向内摄像机。请注意，当存在多个向外摄像机110时，可以通过视差信息获得深度图像(距离图像)，以便可以感测周围环境。

请注意，信息处理装置1的形状不限于图1中示出的实例。例如，信息处理装置1可以是头带型HMD(其中信息处理装置1是用绕过头的整个圆周的带或者用同时绕过头的顶部以及头的侧面的带来佩戴)或头盔型的HMD(其中头盔的面盔部分相当于显示器)。进一步地，信息处理装置1可以用例如腕带型可穿戴装置(例如，智能手表，包括有显示器或没有显示器的情况)、头戴式耳机型可穿戴装置(没有显示器)和颈戴式耳机型可穿戴装置(佩戴在颈部周围，包括有显示器或没有显示器的情况)来实现。

进一步地，因为根据实施方案的信息处理装置1用上述可穿戴装置实现并且可以由用户穿戴，所以假定在各种状态例如当用户停止，以及当用户行走时，当用户跑步，以及当用户骑自行车等等时输入操作。因此，除按钮、开关(操作构件的实例)等等之外，信息处理装置1包括各种输入能力例如声音输入、使用手或头的姿势输入和使用视线的输入。

这里，存在可操作性降低的情况，因为很难依据用户行为的状态例如当用户停止和当用户移动时输入相同精度的操作。进一步地，当用户习惯性地佩戴透视型HMD(以下称为"智能目镜")时，存在由于下午太阳、背光等等很难通过视线输入操作所以用户不能操作的风险。

因此，根据实施方案的信息处理装置1可以通过根据用户活动的状态准备各种操作输入模式并且根据用户活动状态动态地切换操作输入模式来进一步提高可操作性。

已经如上描述了根据实施方案的信息处理装置1的概述。随后，将参考图2描述根据实施方案的信息处理装置1的配置。

<<2.配置>>

图2是示出根据实施方案的信息处理装置的配置的实例的方框图。如图2中所示，信息处理装置1具有控制单元10、传感器11、操作输入单元12、显示单元13、扬声器14、通信单元15和存储单元16。

(控制单元10)

起到算术处理单单元和控制装置的控制单元10根据各种程序控制信息处理装置1中内部的整体操作。控制单元10例如用电子电路诸如中央处理器(CPU)和微处理器实现。进一步地，控制单元10可以包括存储将要使用的程序、操作参数等等的只读存储器(ROM)和暂时存储酌情变化的参数等等的随机存取存储器(RAM)。

进一步地，如图2所示，根据实施方案的控制单元10作为识别引擎100、得分获取单元101、行为识别单元102、输入方法选择单元103、显示模式确定单元104、显示信息生成单元105、显示控制单元106和操作输入接受单元107。

识别引擎100具有使用传感器单元11感测的各种传感器信息识别用户的各种状态或周围情况的功能。更具体地，识别引擎100包括头部姿势识别引擎100a、深度识别引擎100b、同步定位和地图构建(SLAM)识别引擎100c、视线识别引擎100d、声音识别引擎100e和位置识别引擎100f。请注意，图1中示出的识别引擎是实例，并且不限于此。

头部姿势识别引擎100a使用传感器单元11感测的各种传感器信息识别用户的头部的姿势(面部相对于身体的方向或倾斜)。例如，头部姿势识别引擎100a可以通过分析向外摄像机110拍摄的周围图像、陀螺传感器113获得的陀螺信息、加速度传感器114获得的加速度信息和方位传感器115获得的方位信息中的至少任何一个来识别用户的头部的姿势。请注意，可以使用典型已知的算法作为用来识别头部的姿势的算法，并且该算法没有特别限制。

深度识别引擎100b使用传感器单元11感测的各种传感器信息识别用户周围空间中的深度信息。例如，深度识别引擎100b可以通过分析向外摄像机111获得的拍摄周围图像来识别周围空间中对象的距离信息和对象的平面位置。请注意，可以使用典型已知的算法作为用于深度识别的算法，并且该算法没有特别限制。

SLAM识别引擎100c可以在使用传感器单元11感测的各种传感器信息的同时通过估计自身位置和创建周围空间的地图来识别自身在周围空间中的位置。例如，SLAM识别引擎100c可以通过分析向外摄像机110获得的拍摄周围图像来识别信息处理装置1的自身位置。请注意，可以使用典型已知的算法作为用于SLAM识别的算法，并且该算法没有特别限制。

请注意，识别引擎100可以基于深度识别引擎100b的上述识别结果和SLAM识别引擎100c的上述识别结果识别空间(抓取空间)。具体地，识别引擎100可以识别信息处理装置1在周围的三维空间中的位置。

视线识别引擎100d使用传感器单元11感测的各种传感器信息检测用户的视线。例如，视线识别引擎100d通过分析通过向内摄像机111获得的用户的眼睛的拍摄图像来识别用户的视线方向。请注意，虽然检测视线的算法没有特别限制，但是例如用户的视线方向可以基于眼睛的内角和虹膜间的位置关系或角膜反射和瞳孔间的位置关系来进行识别。

声音识别引擎100e使用传感器单元11感测的各种传感器信息来识别用户或环境声音。例如，声音识别引擎100e可以通过对麦克风112获得的声音拾取信息执行噪声排除或声源分离等等来执行声音识别、形态分析、声源的识别、噪声电平的识别等等。

位置识别引擎100f使用传感器单元11感测的各种传感器信息来识别信息处理装置1的绝对位置。例如，位置识别引擎100f根据位置测量单元116测量的位置信息和预先获得的地图信息来识别信息处理装置1的定位(诸如，例如，车站、学校、房屋、公司、火车和主题游乐园)。

得分获取单元101可以获取显示识别引擎100的识别精度的得分。例如，得分获取单元101根据识别引擎100的＝各识别引擎中的识别结果来计算指示识别引擎的精度的得分。请注意，可以使用典型已知的算法作为用于计算得分的算法，并且该算法没有特别限制。

行为识别单元102使用传感器单元11感测的各种传感器信息来识别用户的行为。例如，行为识别单元102使用由向外摄像机110拍摄的图像、麦克风112拾取的声音、陀螺传感器113的角速度信息、加速度传感器114的加速度信息、方位传感器115的方位信息和位置测量单元116的绝对位置信息的至少任何一个来识别用户行为的状态(活动的状态的实例)。作为用户行为的状态，例如，可以识别静止状态、行走状态(徐步或漫步)、跑步状态(猛冲或高速跑动)、就坐状态、站立状态、睡眠状态、用户骑自行车的状态、用户上火车的状态和用户进入汽车的状态。进一步地，更具体地说，行为识别单元102可能根据基于角速度信息和加速度数据测量的活动量来识别状态。请注意，上述根据实施方案的各种传感器信息是关于用户活动的状态的信息的一个实例。

输入方法选择单元103选择对于信息处理装置1的用户操作的输入方法。根据实施方案的信息处理装置1具有如上所述各种输入方法。具体地，例如，操作输入模式可以包括使用操作输入单元12(诸如按钮和开关)的操作输入、声音输入、使用手或头部的姿势输入、使用视线的输入和使用空间识别的输入。使用空间识别的输入是由例如在空间上用户位置至预定位置的移动触发的操作输入模式。使用空间识别的输入的实例将参考图16进行描述。

在操作可以用这样的方式使用各种模式来输入的状态下，输入方法选择单元103根据当前状态选择最佳操作输入模式。操作输入模式的选择不限于最佳操作输入模式的选择、并且可以是多个操作输入模式的选择。当选择多个操作输入模式时，输入方法选择单元103可以根据优先级选择操作输入模式。

进一步地，输入方法选择单元103根据状态动态地选择操作输入模式。例如，假定下列标准作为选择操作输入模式的标准。即，输入方法选择单元103可以根据行为识别单元102识别的"用户行为的状态"或得分获取单元101获取的得分(识别引擎的精度得分，即，识别精度)来选择操作输入模式，或可以在考虑用户行为的状态和识别精度两者的同时选择操作输入模式。

例如，当用户行为的状态(是活动的状态的一个实例，诸如例如静止状态、行走状态和跑步状态)是第一状态时，输入方法选择单元103选择第一操作(输入模式)用于使操作对象在第一操作用中操作，并且当用户行为的状态是第二状态时，输入方法选择单元103选择第二操作输入模式用于使操作对象在不同于第一操作的第二操作中操作。通过这样，可以防止错误的操作或危险，并且自动地选择可以使操作对象更容易操作的操作输入模式。

进一步地，作为识别精度，假定用于声音输入的声音识别引擎100e、用于头部姿势输入的头部姿势识别引擎100a、用于使用视线输入的视线识别引擎100d用于空间识别的深度识别引擎100b和SLAM识别引擎100c的精度。通过在考虑识别精度的同时选择操作输入模式，可以防止由于低识别精度引起的错误的输入或可能不执行识别并且因而可能不接收操作的危险，并且可以自动地选择具有较高可操作性的操作输入模式。

这里，将参考图3至图7描述操作输入模式的选择。图3至图7示出了将在根据状态选择的操作输入模式中使用的识别引擎(即，可利用的模态)。

图3是解释其中根据实施方案的识别精度切换操作输入模式的情况的示意图。这里，举例来说，纵轴显示通过分析从向外摄像机110获取的拍摄图像执行识别的识别引擎(具体地，例如SLAM识别、深度识别以及共同地称为“图像识别”)的精度，横轴显示用户行为的状态(例如，活动量)。

如图3中示出，在图像识别的精度最低的的区域的情况下，很可能不能使用(空间识别没有正确的运行)使用基于图像识别的结果的空间识别的操作输入模式。因此，输入方法选择单元103可以基于陀螺传感器113、加速度传感器114等等的传感器信息选择使用头部姿势识别的任何头部姿势输入，和使用基于由向内摄像机111拍摄的图像使用视线识别的视线的输入。请注意，当向内摄像机111由于下午太阳(当视线的识别精度低时)不能从用户的眼睛的图像正确地获取视线时，输入方法选择单元103可以仅选择头部姿势输入。

接着，在图像识别的精度第二低的区域的情况下，如图3中所示，输入方法选择单元103可以选择使用头部姿势识别的头部姿势输入和使用视线识别的输入。用户可以使用任一模式输入操作。

接着，当图像识别的精度中等时，如图3中所示，输入方法选择单元103可以选择使用空间识别的输入和使用头部姿势识别的头部姿势输入。

接着，当图像识别的精度高于中等时，如图3中所示，输入方法选择单元103可以选择使用空间识别的输入和使用视线识别的使用视线的输入。

然后，当图像识别的精度高时，如图3所示，输入方法选择单元103可以选择使用空间识别的输入、使用视线识别的视线的输入、使用头部姿势识别的头部姿势和使用声音识别的声音输入。由于识别精度较高，可以使用更多种类的操作输入模式来执行输入。

请注意，当用户高速跑动时(例如，当用户跑步或骑自行车时)、(或当活动量大，例如当用户快速摇动他的/她的头时)，为了防止错误的操作，信息处理装置1不选择任何操作输入模式并且关掉操作，以便仅执行显示对象的显示和传感器单元11的信息获取。

如此，通过在考虑例如图像识别的精度的同时动态地改变输入模式，可以向用户提供具有高可操作性的操作输入模式。进一步地，当因为所有识别引擎的精度都低而不能使用任何识别引擎时，信息处理装置1的控制单元10显示指示在显示单元13处目前不能接收操作的图标，或输出指示目前不能从扬声器14接收操作的声音。

图4是解释其中根据实施方案的根据用户行为的状态切换操作输入模式的情况的示意图。用户行为的状态可以由行为识别单元102基于例如从加速度传感器114检测的加速度信息获取的活动量来识别。进一步地，如图3中，图4中示出的纵轴上的识别精度指示例如图像识别的精度。

如图4中所示，根据用户行为的状态，例如“静止状态”、“行走状态(缓慢的至快速的)”和“跑步状态(缓慢的至快速的)”，分别选择使用空间识别的输入、使用视线识别的使用视线的输入、使用头部姿势识别的头部姿势和使用声音识别的声音输入。在图4中所示的实例中，由于活动量较低，可以使用更多种的输入方法来执行输入。例如，如图4中所示，在静止状态的情况下，选择使用空间识别的输入、使用视线识别的使用视线的输入、使用头部姿势识别的头部姿势和使用声音识别的声音输入。接着，当用户缓慢行走时，选择使用空间识别的输入和使用视线识别的使用视线的输入。然后，当用户快速行走时，选择使用视线识别的使用视线的输入和使用头部姿势识别的头部姿势。然后，当用户缓慢跑动时，仅选择使用头部姿势识别的头部姿势或仅选择使用视线识别的使用视线的输入。进一步地，当用户以高速跑动时(即，当活动量高时)信息处理装置1不选择任何操作输入模式并且关掉操作，以便仅仅执行显示对象的显示和传感器单元11进行的信息获取，以防止错误的操作。

图5是解释其中根据实施方案的根据识别精度和用户行为的状态切换输入方法的情况的示意图。在图5中示出的实例中，由于活动量较低和识别精度较高，可以使用更多的操作输入模式来执行输入。进一步地，当活动量高并且识别精度低时，信息处理装置1不选择任何操作输入模式并且关掉操作以防止错误的操作。

虽然已经使用选择标准基于两个轴的情况描述了上述输入方法的选择，但是实施方案不限于此，并且例如选择标准可以基于一个轴。将参考图6和图7对此进行描述。

图6是解释其中根据实施方案的根据行走状态切换操作输入模式的情况的示意图。在图6中示出的实例中，由于行走状态的水平较低，即，活动量较低，那么可以使用更多种的操作输入模式来执行输入。这里，根据例如活动量来根据行走状态，并且当活动量足够低时，可以识别为“坐下”，当活动量低时，可以识别为“站立”，当活动量中等时，可以是被为“慢步行走”，当活动量高于高于中等时，可以识别为“慢跑”，当活动量足够高时，可以识别为“猛冲”。在行走状态的水平足够高时的“猛冲”的情况下，信息处理装置1不选择任何操作输入模式并且关掉操作(以便使该状态进入不接收操作输入的状态)以防止错误的操作。

图7是解释其中根据实施方案的根据行自行车骑行状态切换操作输入模式的情况的示意图。即，图7示出了当用户佩戴信息处理装置1的同时骑自行车时的操作输入模式的切换。在图7中所示的实例中，由于骑行状态的水平较低，即，活动量较低，可以使用更多的输入方法来执行输入。这里，自行车的骑行状态通过例如活动量来识别，并且活动量低时，其可以识别为“停止”或“低速骑行”，当活动量中等时，其可以识别为“中速骑型”，当活动量高时，其可以识别为“高速骑行”，当活动量更高时，其可以识别为“跳跃或在曲线中”。进一步地，在骑行状态的水平高的“跳跃或在曲线中”的情况下，信息处理装置1不选择任何操作输入模式并且关掉操作以防止错误的操作。

在如上所述的实例中，虽然描述了其中待选择的操作输入模式基于识别精度和用户行为的状态来进行切换，但是实施方案不限于此，并且操作输入模式可以通过由其他的因素诸如环境的改变其他设备的状态来触发而进行切换。例如，操作输入模式可以根据“取决于用户”的触发(诸如，例如，视线的注视点、生物信息、感觉、姿势和位置(定位))来选择。进一步地，操作输入模式可以根据"取决于内容"的触发(诸如显示尺寸、显示位置、显示动画模式、内容的属性(类型、重要性程度、赔款分保的自付金额或应用类型)、分辩率和显示对象的颜色)来进行选择。更进一步地，操作输入模式可以根据"取决于环境"的触发(诸如背景(视野的风景)、照明度、定位(户外、室内、情形)、行为历史(用户是否熟悉该地点)、周围情况(是否有其他人的车辆、密度)、时间、风向和风量)来进行选择。进一步地、操作输入模式可以根据"取决于设备"的触发(诸如设备属性(腕套、HMD、TV、智能电话)、剩余电池量、电池容量、CPU的处理负荷、CPU温度、佩戴可穿戴设备的状态(佩戴、未佩戴、穿戴该设备的地点))来进行选择。

显示模式确定单元104确定对应于输入方法选择单元103选择的操作输入模式的显示模式(表现方法)。例如，当选择了第一操作输入模式时，显示模式确定单元104确定第一显示模式，当选择第二操作输入模式时，显示模式确定单元104确定不同于第一显示模式的第二显示模式。例如，当通过输入方法选择单元103选择使用空间识别的操作输入模式时，显示模式确定单元104确定允许使用空间识别的操作输入模式的表现方法，并且当选择使用视线的输入时，显示模式确定单元104确定允许使用利用视线的输入的表现方法。进一步地，当选择头部姿势时，显示模式确定单元104确定允许使用头部姿势输入的表现方法。

进一步地，当通过输入方法选择单元103选择多个操作输入模式时，显示模式确定单元104可以确定对应于具有最高优先级的操作输入模式的显示模式。例如，设置操作输入模式使得使用空间识别的输入具有最高优先级，使用视线的输入具有第二高优先级，头部姿势具有第三高优先级，并且声音输入具有第四高优先级。

显示信息生成单元105在显示单元13处生成待显示的显示对象(也称为"显示图像")。进一步地，根据实施方案的显示信息生成单元105根据显示模式确定单元104确定的显示模式生成显示图像。例如，显示信息生成单元105以显示模式确定单元104确定的显示模式产生用于显示作为显示图像的一个实例的选择对象(选项)的信息。

显示控制单元106执行控制以将显示信息生成单元105生成的显示信息从显示单元13输出。例如，显示控制器106执行控制以在显示器13处显示(在用户面前显示)由显示信息生成单元105生成的、对应于选择的操作输入模式的显示模式的选择对象(显示对象)。

操作输入接收单元107接收来自用户的输入并且将操作输入信息输出至显示信息生成单元105(或控制单元10)。根据实施方案的操作输入接收单元107使用输入方法选择单元103选择的一种或多种操作输入模式接收操作输入。即，由输入接收单元107用来接收用户操作输入的信息根据输入方法选择单元103选择的操作输入模式而不同。例如，当输入方法选择单元103选择"头部姿势"和"使用视线的输入"时，使用陀螺传感器信息、方位信息和有关向内摄像机111拍摄的图像的信息。进一步地、当输入方法选择单元103选择使用空间识别的输入"时，使用有关由向外摄像机110拍摄的图像的信息。

(传感器单元11)

传感器单元11具有获取各种关于用户或周围环境的信息的功能。例如，传感器单元11包括向外摄像机110、向内摄像机111、麦克风112、陀螺传感器113、加速度传感器114、方位传感器115和位置测量单元116。请注意，这里描述的传感器单元11的具体实例是实例，并且不限于此。进一步地，可以设置多个传感器作为该传感器的每一个。

向外摄像机110和向内摄像机111各自具有由图像透镜构成的透镜***、光阑、变焦透镜、聚焦透镜等等、使该透镜***执行聚焦操作或变焦操作的驱动***、对由透镜***获得的成像光执行光电转换以产生图像信号的固态成像元件阵列等等。该固态像素阵列可以用例如电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列来实现。

麦克风112拾取用户的声音或周围的环境声音并且将声音输出至控制单元10作为声音数据。

用例如三轴陀螺传感器实现的陀螺传感器113检测角速度(转速)。

用例如三轴加速度传感器(也称为“G传感器”)实现的加速度传感器114检测行进中的加速度。

用例如三轴地磁传感器(指南针)实现的方位传感器115检测绝对方向(方位)。

位置测量单元116具有基于从外部获取的信号检测信息处理装置1的当前位置的功能。具体地，例如，用全球定位***(GPS)测量单元实现的位置测量单元116从GPS卫星接收无线电波，检测信息处理装置1存在的位置并将检测的位置信息输出至控制单元10。进一步地，除了GPS以外，位置测量单元116可以通过用例如Wi-Fi(注册商标)、Bluetooth(注册商标)、移动式电话、PHS、智能电话等等的传输/接收，或通过近场通信等等检测位置。

(操作输入单元12)

操作输入单元12用具有物理结构诸如开关、按钮和杠杆的操作构件来实现。

(显示单元13)

显示单元13用透镜单元(传送类型显示单元的一个实例)来实现，该透镜单元使用例如全息图光学技术、液晶显示(LCD)装置、有机发光二极管(OLED)装置等等来执行显示。进一步地，显示单元13可以是透射的、半透射的或非透射的单元。

(扬声器14)

扬声器14根据控制单元10的控制来再现声音信号。

(通信单元15)

通信单元15是用于以有线/无线方式向/从其他装置传送/接收数据的通信模块。通信单元15直接地或通过使用诸如例如有线局域网(LAN)、无线LAN、无线保真(Wi-Fi，注册商标)、红外通信、Bluetooth(注册商标)和近场/无接触通信的网络访问点来与外部设备进行无线通信。

(存储单元16)

存储单元16存储用于上述控制单元10执行各功能的程序和参数。例如，在存储单元16中，存储用于由行为识别单元102执行的、用于用户行为识别处理的各种阈值、识别算法、用于计算识别精度得分的算法、用于输入方法选择处理的各种阈值等等。

虽然已经具体地描述了根据实施方案的信息处理装置1的配置，但是根据实施方案的信息处理装置1的配置不限于图2中示出的实例。例如，信息处理装置1的控制单元10的至少部分处理可以在信息处理装置1通过通信单元15所连接的云中的服务器来执行。

<<3.操作处理>>

随后，将参考图8至图12具体地描述根据实施方案的信息处理装置1的操作处理。

<3-1.显示控制处理>

图8是示出根据实施方案的显示控制处理的流程图。如图8中所示，首先，信息处理装置1的控制单元10从传感器单元11(步骤)获取传感器信息。

然后，行为识别单元102基于获取的传感器信息(步骤S106)识别用户行为状态。稍后将参考图9详细地描述用户行为识别处理。

同时，得分获取单元101基于获取的传感器信息从识别引擎100的处理结果获取(计算)精度得分(步骤S109)。稍后将参考图10详细描述得分获取处理。

然后，输入方法选择单元103基于用户行为识别(即，用户行为状态)和识别精度得分选择操作输入模式(即，确定要使用的识别引擎)(步骤S112)。稍后将参考图11和图12详细描述输入方法选择处理。进一步地，在图8示出的实例中，虽然基于用户行为状态和识别精度得分选择操作输入模式，但是实施方案不限于此，并且可以基于他们中的至少一个或使用如上所述其他的触发来选择操作输入模式。

然后，显示模式确定单元104根据输入方法选择单元103选择的操作输入模式确定显示模式(步骤S115)。

然后，显示信息生成单元105根据确定的显示模式生成显示信息(UI绘制处理)(步骤S118)，并且因而生成的显示信息由显示控制单元106显示在显示单元13处(步骤S121)。

连续地执行上述传感器信息的获得物(步骤S103)、用户行为状态的识别(步骤S106)和识别精度得分的获取(步骤S109)，并且当用户行为状态或得分存在变化时(步骤S124/是)，重选操作输入模式(步骤S112)。通过这样，因为根据状态的改变(例如从用户行走的状态改变为用户骑上自行车的状态，并进一步变为用户骑行自行车的状态)来选择不同的操作输入模式，所以可以根据操作输入模式通过不同的显示模式来显示相同的选项。稍后将参考图18描述根据行为状态的选项的显示模式改变的实例。

重复上述步骤S103至S124直到显示处理(UI绘制处理)完成(步骤S127)。<3-2.用户行为识别处理>

接下来将参考图9具体地描述上述步骤S106中描述的用户行为状态识别处理的实例。图9是示出根据实施方案的用户行为识别处理的流程图。

如图9中所示，行为识别单元102根据传感器单元11获取的传感器信息(具体地例如加速度信息)来测量用户活动的量(步骤S130)。

接着，当所测量的活动的量低于阈值Th1(步骤S133/是)时，行为识别单元102将状态识别为静止状态(步骤S136)。

然后，当所测量的活动的量高于阈值Th1并且低于阈值Th2(步骤S139/是)时，行为识别单元102将状态识别为慢走状态(步骤S142)。

然后，当所测量的活动的量高于阈值Th2并且低于阈值Th3(步骤S145/是)时，行为识别单元102将状态识别为快速走或慢跑状态(步骤S148)。

进一步地，当所测量的活动的量高于阈值Th3(步骤S151/是)时，行为识别单元102将状态识别为跑步状态(步骤S154)。

以上已经描述了根据活动量执行用户行为状态识别处理的情况。请注意，根据实施方案用户行为状态识别处理不限于根据活动量执行处理的情况，并且可以根据用户是否行驶在公路或人行道上基于例如位置信息来将状态识别为行走状态、跑步状态或自行车骑行状态。

<3-3.得分获取处理>

接下来将参考图10具体地描述上述步骤S109中描述的识别精度得分获取处理的实例。图10是示出根据实施方案的得分处理的流程图。

如图10中所示，首先，头部姿势识别引擎100a根据陀螺传感器113和加速度传感器114中的至少一个获取的传感器信息和方位传感器115获取的传感器信息识别头部姿势(步骤S160)。

然后，得分获取单元101获取(计算)指示头部姿势识别引擎100a的识别处理结果的精度的得分(步骤S163)。

进一步地，当深度识别引擎100b根据向外摄像机110拍摄的图像执行深度识别(步骤S166)，得分获取单元101获取(计算)指示深度识别引擎100b的识别处理结果的精度的得分(步骤S169)。

进一步地，当SLAM识别引擎100c根据向外摄像机110拍摄的图像执行SLAM识别(步骤S172)时，得分获取单元101获取(计算)指示SLAM识别引擎100c的识别处理结果的精度的得分(步骤S175)。

更进一步地，当视线识别引擎100d基于向内摄像机111拍摄的图像执行视线识别时(步骤S178)，得分获取单元101获取(计算)指示视线识别引擎100d的识别处理结果的精度的得分(步骤S181)。

进一步地，当声音识别引擎100e基于麦克风112的声音拾取信息执行声音识别时(步骤S184)，得分获取单元101获取(计算)指示声音识别引擎100e的识别处理结果的精度的得分(步骤S187)。

<3-4.输入方法选择处理>

接下来将参考图11具体地描述上述步骤S112中描述的输入方法选择处理的实例。图11是示出根据实施方案的输入方法选择处理的流程图。

如图11中所示，首先，输入方法选择单元103根据识别的用户行为状态选择可利用的操作输入模式(步骤S200)。例如，当状态是静止状态时(图9中示出的步骤S136)，输入方法选择单元103可以选择“使用空间识别的输入、使用视线的输入和头部姿势输入”、“声音输入”、“使用手的姿势输入”和“使用按钮或开关的输入”中任意一个。进一步地，当状态是慢走状态时(图9中示出的步骤S142)，输入方法选择单元103可以选择“使用视线的输入和头部姿势输入”、“声音输入”、“使用手的姿势输入”和“使用按钮或开关的输入”中任意一个。进一步地，当状态是快走或慢跑状态时(图9中示出的步骤S148)，输入方法选择单元103可以选择“使用视线的输入”、“声音输入”、“使用手的姿势输入”和“使用按钮或开关的输入”中任意一个。更进一步地，当状态是跑步状态时(图9中示出的步骤S154)，输入方法选择单元103不选择任何操作输入模式并且将状态置于不能执行操作的状态，以便仅执行信息的显示和声音的输出。

进一步地，输入方法选择单元103根据识别引擎的精度得分选择可利用的操作输入模式(步骤S203)。稍后将参考图12描述该选择。

然后，输入方法选择单元103在考虑上述各选择结果的同时选择可利用的操作输入模式(步骤S206)。

图12是示出根据实施方案的、基于识别精度的输入方法选择处理的流程图。如图12中所示，首先，当头部姿势识别引擎100a的得分超过预定阈值Th10时(步骤S230/是)，输入方法选择单元103开启使用头部姿势识别的操作输入模式的应用旗标(步骤S233)。

另一方面，当头部姿势识别引擎100a的得分不超过预定阈值Th10时(步骤S230/否)，输入方法选择单元103关掉使用头姿势识别的操作输入模式的应用旗标(步骤S236)。

接着，当深度识别引擎100b的得分超过预定阈值Th11时(步骤S239/是)，输入方法选择单元103开启使用深度识别的操作输入模式的应用旗标(步骤S242)。

另一方面，当深度识别引擎100b的得分不超过预定阈值Th11时(步骤S239/否)，输入方法选择单元103关掉使用深度识别的操作输入模式的应用旗标(步骤S245)。

接着，当SLAM识别引擎100c的得分超过预定阈值Th12时(步骤S248/是)，输入方法选择单元103开启使用SLAM识别的操作输入模式的应用旗标(步骤S251)。

另一方面，当SLAM识别引擎100c的得分不超过预定阈值Th12时(步骤S248/否)，输入方法选择单元103关掉使用SLAM识别的操作输入模式的应用旗标(步骤S254)。

接着，当视线识别引擎100d的得分超过预定阈值Th13时(步骤S257/是)，输入方法选择单元103开启使用视线识别的操作输入模式的应用旗标(步骤S260)。

另一方面，当视线识别引擎100d的得分不超过预定阈值Th13时(步骤S257/否)，输入方法选择单元103关掉使用视线识别的操作输入模式的应用旗标(步骤S263)。

接着，当声音识别引擎100e的得分超过预定阈值Th14时(步骤S266/是)，输入方法选择单元103开启使用声音识别的操作输入模式的应用旗标(步骤S269)。

另一方面，当声音识别引擎100e的得分不超过预定阈值Th14时(步骤S266/否)，输入方法选择单元103关掉使用声音识别的操作输入模式的应用旗标(步骤S272)。

如此，输入方法选择单元103可以根据各操作输入模式的应用旗标是否开启或关闭根据基于精度得分确定的识别精度选择操作输入模式。

<<4.显示实例>

接着，将参考图13至图28具体地描述根据实施方案的显示实例。根据实施方案的信息处理装置用例如图1中所示的透射HMD(即，智能目镜)来实现，并且可以在位于用户的眼睛的前面的显示单元13(相当于透镜单元)处显示(增强现实(AR))显示信息，同时该显示信息在用户佩戴信息处理装置1被叠加在真实空间中的景物之上。在本说明书中，AR显示执行显示以便观察者可以感知虚对象，就像该虚对象是真实空间中存在的真实对象一样。信息处理装置1可以基于观察者附近的真实空间的感测结果改变虚拟对象的显示。例如，信息处理装置1可以感测观察者观看的区域中存在的真实对象的ID、位置或姿势，并且可以通过改变虚拟对象的显示以便相应于感测结果来显示该虚拟对象，就像该虚拟对象附于该真实对象上。进一步地，信息处理装置1可以在光透视型显示单元的情况下基于观察者的视觉条件(诸如视点、视线、视野焦点和头的姿势)的感测结果、或在影像透视型显示单元的情况下摄像机的拍摄条件(诸如摄像机位置、姿势、焦点和拍摄范围)的感测结果来改变虚拟对象的显示。例如，进行控制使得该用户接近虚拟对象时虚拟物体被更大地显示，并且当视点在虚拟点附件移动时，该虚拟点在根据视点的移动而旋转的同时被显示。进一步地，例如，假定运动、游戏，娱乐或通信作为使用根据实施方案的信息处理装置1的情景，并且当用户做运动等时，呈现各种有关信息。进一步地，因为可以通过使用空间识别的输入、声音输入、头部姿势或使用视线的输入来输入操作，所以用户可以不用他的/她的手来输入操作。进一步地，根据实施方案的信息处理装置1可以通过根据用户行为状态自动切换操作输入模式为自然的输入模式来进一步提高用户友好性。

<4-1.自行车UI>

首先，举例来说，将参考图13至图26具体地描述图1中示出的用户在佩戴信息处理装置1的同时使用自行车的各种显示实例。

图13是示出根据实施方案的用户骑上自行车之前自行车UI的显示实例的示意图。当信息处理装置1通过行为识别检测到用户接近自行车时，如图13中所示，在用户的自行车20(真实对象)附近显示有关信息(诸如今天的累计骑行距离、轮胎的气压和钥匙的显示)和领步人30(图像)。在这种情况下，信息处理装置1通过用户接近自行车20以骑上他的/她的自行车20的自然行为的识别(空间识别)来接收自行车20的选择。自行车20的选择的决定可以通过例如执行显示控制以鼓励用户解锁图15中示出的自行车20的钥匙标记来进行反馈。进一步地，可以通过例如向外110拍摄的图像的分析结果(对象提取)和用户预先注册的自行车的图像间的图案匹配来检测用户的自行车20，或者可以通过来自自行车上设置的通信设备的信标接收来进行检测。

图14是示出根据实施方案的用户骑上自行车时自行车UI的显示实例的示意图。当用户骑上自行车，在自行车处显示菜单的精选选项。在图14中示出的实例中，导航和训练的两个选项32和33显示在车把21上面。在这种情况下，例如，信息处理装置1通过例如用户看见该用户想要利用的菜单的自然动作(视线识别)来接收菜单选择。

图15示出了根据实施方案的当用户骑自行车时的自行车UI的显示实例。当用户选择“训练”时，如图15中所示，领步人30(图像)被显示在用户前面。用户可以通过追随领步人30的同时骑自行车来进行训练。信息处理装置1的控制单元10根据领步人30的预定速度(目标速度、步距)和用户速度针对该用户连续地调整领步人30的虚拟显示位置(在空间中与该用户的距离)。如图16所示，用户可以通过在追随领步人30的同时骑自行车来到达终点线。进一步地，可以通过用户行进(空间识别)或用户是否看见领步人30(视线识别)来识别骑行期间的用户状态。当用户不跟随领步人30或看不到领步人30时，例如，如图17中所示，可以执行显示控制使得领步人30停止并且转向该用户。通过这样，当用户看不见或不跟随领步人30时，可以防止领步人30以自身速度(目标速度、步距)从用户的视野消失。当用户看到领步人30或再次开始骑行时，领步人30也再次开始骑行并且训练继续。进一步地，如图17中所示，可以通过领步人30根据用户行为停止来通知用户应用正确地运行。

接着，将参考图18描述自行车UI中根据用户行为状态切换操作输入模式。图18是解释在根据实施方案的自行车UI中根据用户行为的状态切换操作输入模式的示意图。根据实施方案的操作输入模式的切换可以因此被认为是选项的显示模式的切换。

如图18中所示，切换操作输入模式，并且选项的显示模式根据骑行状态的水平(活动量)来改变。具体地，例如，在停止状态的情况下，选择"使用视线的输入"和"使用手的姿势输入，并且在车把21之上以立体方式显示导航选项32和训练选项33。通过这样，鼓励用户执行自然行为(操作输入)，例如，看见用户期望选择的选项或将他的/她的手放在用户期望选择的选项的三维显示之上。

进一步地，在低速骑行或中速骑行的情况下，选择"使用空间识别的输入"，并且在用户的前面显示训练领步人30和导航领步人31作为选项(显示对象)。用户可以通过实际上骑行自行车(选择行为)来选择选项，以便跟随用户期望选择的领步人。这里，将参考图19具体地描述用户选择行为。

图19是解释根据实施方案的自行车UI中的户选择行为的示意图。首先，如图19的上部中所示，在骑上自行车的用户的前面显示训练领步人30和导航领步人31作为选项。然后，如图19的中部中所示，领步人30和31显示在开始骑行的用户的前面，并且该用户将车把转向该用户期望选择的领步人的方向。然后，如图19的下部中所示，当用户实际上跟随该用户期望选择的领步人30时，该领步人31向后移动，以便可以选择领步人30(训练)。可以通过例如使用深度识别引擎100b和SLAM识别引擎100c的识别结果的空间识别处理来识别该用户的这种选择行为。请注意，该显示的领步人可以是实物大小的领步人或可以是单纯的文本显示。进一步地，当在用户的前面显示领步人作为选项时，操作输入不限于用户的选择行为，但是可以使用其他的选择的操作输入模式诸如使用视线的输入(将他的/她的眼睛固定在用户期望选择的领步人上)和头部姿势(将他的/她的脸转向用户期望选择的领步人)来进行接收。

进一步地，作为对于在用户的前面显示的领步人(选项)的选择操作的反馈，例如，如图20中所示，用户的选择操作的反馈可以通过执行显示控制来实现以便使选择的领步人30转身。也可以根据选择的操作输入模式(诸如使用空间识别的输入、使用视线的输入和头部姿势)使选择操作的反馈不同。

接着，回到图18，当该用户以高速骑行自行车、跳跃或处于曲线中时，为了避免错误的操作，也可以执行设置使得不提供任何选项(不接收选择操作，关闭操作)。

如此，在实施方案中，甚至根据用户行为状态(例如，当用户停止时、或当用户骑自行车时)以不同的显示模式显示相同的选项(这里，举例来说训练和导航的选择)。

接着，将参考图21描述根据骑行状态的选项的显示模式的改变的另一个实例。图21是解释根据骑行状态选项的数量增加或减少的情况的示意图。如图21所示，例如，当用户停止时，可以显示N个选项(例如，三个选项34a、34b和34c)，和当用户以低速或中速骑行时，可以显示N-1个选项(例如，两个选项34a和34b)。因为在低速骑行至中速骑行的情况中，假定与用户停止时的情况相比很难看见选项，因此通过减少选项的数量，降低了用户的负担。进一步地，在低速骑行至中速骑行的情况中，通过以更宽的显示间隔显示选项，可以避免选择中错误的操作或操作的困难。进一步地，如图21中所示，当该用户以高速骑行、跳跃或处于曲线中时，为了避免错误的操作，也可以执行设置使得不提供任何选项(不接收选择操作，关闭操作)。

如此，在实施方案中，可以根据用户行为状态增加或减少选项。

接下来将参考图22描述用户骑行自行车的时候选择行为的另一个实例。图22是解释根据实施方案的选择行为的另一个实例的示意图。如图22中所示，例如，当用户骑行自行车时，可以在用户前方的道路上显示选项35和36。选项35和36分别包括相应应用的箭头和图标。用户可以在跟随道路上显示的箭头的同时通过骑行选项(图标)上的自行车来选择该选项。信息处理装置1可以通过空间识别来识别用户骑上AR显示的选项。

进一步地，可以例如在用户到达目的地后显示图22中示出的UI。例如，当选项35和36分别相应于社会通信时，激活用所选的图标表示的社交通信(诸如，例如电子邮件、博客、微博站点、图像张帖站点和电子公告板)，并且将用户骑行信息张贴在该社交通信的网址。进一步地，当选择了对应于数据存储的选项时，可以存储骑行信息(诸如训练数据)。如此，可以通过用户骑自行车的自然行为来执行选择操作而不执行明确的操作诸如屏幕上的操作。进一步地，因为信息(包括选项)与真实对象诸如在路上一致地来显示，所以可以同时看见信息和真实对象，以便可以以低负载确认UI。

接着，将参考图23和图24描述在根据识别精度切换信息显示方法的情况。图23和图24是解释根据的信息显示实例的示意图。

图23的左部示出了空间识别精度低或者不能执行空间识别的情况中的显示实例。在这种情况下，例如，包括信息诸如实时速度、平均速度、最高速度、当前日期和时间、时间(训练时间)、距离和心率的信息图像40被显示在用户的眼睛的前面的确定位置处(例如眼睛前面1.5米)一段时间。图23的左部示出的显示是非AR显示，信息图像40相对于该显示来定位(换言之，信息图像40不相对于待识别的空间或该空间中存在的对象来定位)。另一方面，图23的右部示出了空间识别精度高的情况下的显示实例。在这种情况下，例如，指示实时速度的信息图像41AR显示在用户前面的道路上。即，例如，在例如被固定在道路上(相对于"道路"的真实对象定位)的同时显示信息图像41，并且当用户通过信息图像41时从视野消失。

图24的左部示出了空间识别精度低并且仅仅可以在用户周围(近侧)执行空间识别的情况中的显示实例。在这种情况下，例如，包括关于速度等等的信息的信息图像42相对于用户周围(例如车把21)识别的真实对象来定位，并且在车把21上方显示(AR显示)一段时间。另一方面，图24的右部示出了空间识别精度高的情况下的显示实例。在这种情况下，例如，指示用户前面骑行的人的姓名、实时心率、转动数量等等的信息图像43与该人(真实对象)相关联地(在定位至该人的同时)来显示(AR显示)。请注意，图23和图24中示出的信息图像40、41、42和43可以以所谓的二维(非立体)方式或三维(立体)方式来表示。

接下来将参考图25和图26描述通知用户操作输入模式的限制的情况下的显示实例。如图25中所示，例如，当不能执行使用空间识别的输入时，在用户前面显示带有指示“空间识别不可用”的文字的通知显示45。进一步地，当不能执行使用声音识别的输入时，在用户前面显示其中禁止符号交叠在麦克风的图标上的通知显示46。进一步地，当不能使用多个操作输入模式时，例如当不能使用使用声音识别的输入和使用视线识别的输入时，可以在用户前面显示上述通知显示46和其中禁止符号交叠在眼睛的图标上的通知显示47。

进一步地，如图26中所示，也可以用声音或使用虚拟显示字符诸如在用户前面骑行的领步人30的文字来通知不可用的操作输入模式。在图26的左部示出的实例中，显示其中领步人30与用户用文字"以下不能使用声音识别"通信的通知显示48。进一步地，在图26的右侧部分示出的实例中，通过执行显示控制以便领步人30给出预定的手部符号49，可以向用户传达不可用的操作输入模式。该用户可以通过记住预定的手部符号来识别不可用的操作输入模式。

如此，通过通知该用户不可用的操作输入模式，该用户可以清楚地识别操作输入模式的限制，以便可以提高用户友好性。请注意，对用户的通知不限于不可用的操作输入模式，并且可以通知用户可利用的操作输入方法。

<4-2.通信UI>

图27和图28示出了根据实施方案的通信UI的实例。例如，当用户放松或在咖啡厅休息等等时(可以通过图像识别等等识别行为)，如图27的上部所示，信息处理装置1执行控制使得头像50和51显示在眼睛前面(例如，桌子(真实对象)上)。头像50和51相应于通信应用并且例如通过对从其接收新到达的消息(通过声音、课文或图像的消息)的对应用户的面部图像进行合成而生成。进一步地，可以根据例如生物信息识别用户放松的状态下的行为。生物信息可以包括例如心率、体温、排汗、血压、脉搏、吸气、眨眼、眼球移动、注视时长、瞳孔直径、脑电波、人体运动、身***置、皮肤温度、皮肤电阻、肌电位等等。

用户可以通过看该用户感兴趣(使用视线的输入)的头像或将他的/她的头部(脸)转向该用户感兴趣(头部姿势)的头像来自然地选择该头像。选择的头像靠近该用户。

接着，如图27的中部所示，当仅仅存在选择的符号50时，如图27的下部所示，显示对应于符号50的对应用户的新到达消息52，以便该用户可以确认来自该对应用户的消息。

接着，如图28的上部中所示，在桌子(真实对象)上显示作为用于答复的选项的图标53和54。图标53用于使用地图数据答复用户的当前位置。进一步地，用于答复的图标54用于通过声音输入答复。用户可以通过观看图标(选项)使用视线的输入)或通过将他的/她的头(脸)转向该用户期望执行的选项来自然地选择该用户期望执行的图标。

例如，当该用户通过将他的/她的眼睛转向图标54来选择图标54时，如图28的中部所示，图标54的颜色或形状改变，以便该用户可以识别他/她选择了该图标54。当通过麦克风112检测到用户发声(声音输入)时，如图28的下部所示，信息处理装置1显示图标43飞至头像50的动画，以便通知该用户消息的传输完成。

进一步地，头像的选择不限于上述视线或头的移动，并且可以通过用户实际上靠近该头像来选择该头像。靠近头像的行为可以通过使用拍摄图像的空间识别来进行识别。

如此，可以通过将用户选择行为(视线或头部的移动、行为识别)与UI的移动相协调来自然地鼓励用户选择操作。

请注意，显示的头像不限于如上所述的新到达消息的对应用户，并且可以是例如该用户日常与其交换消息的对应用户、该用户基于该用户的提成表等等最近与其交换消息的对应用户、该用户近期与其约定会面或打过电话的对应用户。

<<5.结论>>

如上所述，根据本公开的实施方案的信息处理装置1，可以根据用户活动的状态通过动态地切换操作输入模式来进一步地提高可操作性。

通过这样，可以降低错误的操作，以便该用户可以自在地使用该装置。

进一步地，通过在考虑识别精度的同时动态地切换操作输入模式，即使在环境很可能改变的户外或当用户运动时，可以通过能容忍改变的UI实现输入。

进一步地，因为信息处理装置1用智能眼镜来实现并且不同地提供不用手的操作输入诸如使用视线的输入、头部姿势和使用空间识别的输入，所以可以提高可操作性。

本领技术人应理解，在所附权利要求或其等价物的范围内，可以根据设计要求及其他因素产生各种修改、组合、子组合和改变。

例如，也可以创造使合并在上述信息处理装置1中的硬件诸如CPU、ROM和RAM发挥信息处理装置1的功能的计算机程序。进一步地，也设置其中存储该计算机程序的计算机可读存储介质。

进一步地，根据图3至图7中示出的状态的操作输入模式可以任意组合，并且组合不限于图3至图7中示出的实例。根据状态的操作输入模式的组合对各个用户可以是不同的。例如，在即使活动量大时也不太可能执行错误操作的用户的情况下，也可以在活动量大时增加可利用的操作输入模式。

进一步地，本说明书描述的效果仅仅是说明性的或例证效果，并且是没有限制的。即，与上述效果一起或代替上述效果，根据本公开的技术可以获得对本领域技术人来说在基于本说明书的基础上显而易见的其他的效果。

另外，本技术还可以如下配置。

(1)

一种信息处理装置，其包括：

电路，其配置为

获取与用户情况相关联的信息，

基于与所述用户情况有关的所述信息确定显示模式，和

基于在所确定的所述显示模式中显示的对象允许操作单元接收用户输入。

(2)

根据(1)所述的信息处理装置，其中所述电路进一步配置为启用与所述用户输入相关联的操作输入模式。

(3)

根据(1)或(2)所述的信息处理装置，其中所述用户情况包括用户的速度。

(4)

根据(1)至(3)任一项所述的信息处理装置，其中所述用户情况包括交通条件、道路条件、时间或天气信息。

(5)

根据(1)至(4)任一项所述的信息处理装置，其中所述用户情况包括用户活动的量。

(6)

根据(1)至(5)任一项所述的信息处理装置，其中所述电路进一步配置为在所述用户活动的量高于预定阈值时关掉所述显示模式。

(7)

根据(1)至(6)任一项所述的信息处理装置，其中所述用户情况包括用户活动的量，并且其中所述电路进一步配置为当所述用户活动的量大时禁用所述操作输入模式。

(8)

根据(1)至(7)任一项所述的信息处理装置，其中所述用户情况包括用户活动的量，并且其中所述电路进一步配置为当所述用户活动的量提高时减少与所述操作输入模式相关联的输入性能的数量。

(9)

根据(1)至(8)任一项所述的信息处理装置，其中所述输入性能的每一个表现为虚拟对象。

(10)

根据(1)至(9)任一项所述的信息处理装置，其中所述用户情况包括用户活动的量，并且其中所述电路进一步配置为当所述用户活动的量降低时增加与所述操作输入模式相关联的输入性能的数量。

(11)

根据(1)至(10)任一项所述的信息处理装置，其中所述电路进一步配置为当所述用户活动的量提高时禁用与所述操作输入模式相关联的第一输入性能。

(12)

根据(1)至(11)任一项所述的信息处理装置，其中所述第一输入性能与空间识别相关联。

(13)

根据(1)至(12)任一项所述的信息处理装置，其中所述电路进一步配置为当所述第一输入性能被禁用时允许与所述操作相关联的第二输入性能。

(14)

根据(1)至(13)任一项所述的信息处理装置，其中所述电路进一步配置为当所述用户活动的量变化时改变与所述操作输入模式相关联的输入性能的组合。

(15)

根据(1)至(14)任一项所述的信息处理装置，其中所述用户情况与骑自行车的用户相关联。

(16)

根据(1)至(15)任一项所述的信息处理装置，其中所述用户情况与开汽车的用户相关联。

(17)

根据(1)至(16)任一项所述的信息处理装置，其中所述电路进一步配置为使用以下中的至少一项检测所述用户情况：

空间识别；

视线识别；

头部姿势识别；或

声音识别。

(18)

根据(1)至(17)任一项所述的信息处理装置，其中所述信息处理装置是可穿戴装置，并且所述信息处理装置进一步包括显示单元。

(19)

一种信息处理方法，所述方法经由有电路的至少一个处理器执行，并且包括：

获取与用户情况相关联的信息，

基于与所述用户情况相关联的所述信息确定显示模式，和

基于在所确定的所述显示模式中显示的对象允许操作单元接收用户输入。

(20)

一种非暂态计算机可读存储介质，其上包含有程序，当通过计算机执行时使所述计算机执行方法，所述方法包括：

获取与用户情况相关联的信息，

基于与所述用户情况相关联的所述信息确定显示模式，和

基于在所确定的所述显示模式中显示的对象允许操作单元接收用户输入。

(21)

一种信息处理装置，其包括：

选择单元，其根据关于用户活动的信息选择一种或多种操作输入方法。

其中所述选择单元在所述用户活动的状态被确定为是第一状态时选择用于使操作对象在第一操作中操作的第一操作输入方法，并且

所述选择单元在所述用户活动的状态被确定为是第二状态时选择用于使操作对象在第二操作中操作的第二操作输入方法。

(22)

根据(21)所述的信息处理装置，进一步包括：

确定单元，其根据所选择的所述操作输入方法确定所述操作对象的显示模式，

其中在选择第一操作输入方法时所述操作对象以通过所述确定单元确定的第一显示模式进行显示，并且

其中在选择第二操作输入方法时所述操作对象以通过所述确定单元确定的、不同于所述第一显示模式的第二显示模式进行显示。

(23)

根据(22)所述的信息处理装置，进一步包括：

接收单元，其针对所述操作对象接收用户操作输入，

其中所述接收单元用来接收所述用户操作输入的信息根据所述选择单元选择的操作输入方法而不同。

(24)

根据(23)所述的信息处理装置，

其中所述操作对象是用于选择的对象，并且

所述接收单元接收选择所述操作对象的操作作为所述用户的所述操作输入。

(25)

根据(24)所述的信息处理装置，进一步包括：

生成单元，其根据所确定的所述显示模式生成所述用于选择的对象的显示图像。

(26)

根据(21)至(25)任何一项所述的信息处理装置，

其中所述活动状态基于关于所述用户活动的所述信息中包括的活动量来进行识别。

(27)

根据(23)所述的信息处理装置，

其中所述接收单元基于传感器检测的信息接收所述用户操作输入。

(28)

根据(27)所述的信息处理装置，

其中所述选择单元根据基于由所述传感器检测的所述信息执行识别的识别引擎的精度得分来选择所述操作输入方法。

(28)

根据(27)所述的信息处理装置，

其中所述选择单元在所述精度得分低于阈值时选择用于使所述操作对象在所述第一操作中操作的第一操作输入方法，并且

所述选择单元在所述精度得分超过所述阈值时选择用于使所述操作对象在不同于所述第一操作的所述第二操作中操作的所述第二操作输入方法。

(30)

根据(29)所述的信息处理装置，

其中所述识别引擎是头部姿势识别引擎、深度识别引擎、SLAM识别引擎、视线识别引擎、方位识别引擎和声音识别引擎中的至少任一种。

(31)

根据(25)所述的信息处理装置，进一步包括：

显示控制单元，其执行控制以便所述用于选择的对象的所述显示图像在显示单元处显示，所述显示图像由所述生成单元生成，

其中选择所述用于选择的对象的用户操作的反馈控制根据所选择的所述操作输入方法而不同，所述反馈控制由所述显示控制单元执行。

(32)

根据(31)所述的信息处理装置，

其中所述信息处理装置是穿戴在头部上的可穿戴装置，并且

所述信息处理装置进一步包括在所述用户佩戴所述信息处理装置时位于所述用户的眼睛前面的显示单元。

(33)

根据(32)所述的信息处理装置，

其中所述显示单元是透射显示单元，并且

所述显示控制单元执行控制以便所述用于选择的对象的所述生成的显示图像在叠加在真实空间中真实对象之上的同时进行显示。

(34)

根据(21)至(33)任何一项所述的信息处理装置，

其中所述操作输入方法是使用空间识别的输入、使用头部姿势的输入、使用视线的输入和声音输入中的至少任一种。

(35)

根据(25)所述的信息处理装置，

其中由所述生成单元生成的用于选择的对象的数量根据所选择的操作输入方法而不同。

(36)

一种信息处理方法，其包括：

处理器根据有关用户活动的信息选择一种或多种操作输入方法，

其中在所述选择中，

在所述用户活动的状态被确定为是第一状态时选择用于使操作对象在第一操作中操作的第一操作输入方法，并且

在所述用户活动的状态被确定为是第二状态时选择用于使操作对象在第二操作中操作的第二操作输入方法。

(37)

一种程序，用于使计算机用作：

选择单元，其根据关于用户活动的信息选择一种或多种操作输入方法，

其中所述选择单元在所述用户活动的状态被确定为是第一状态时选择用于使操作对象在第一操作中操作的第一操作输入方法，并且

所述选择单元在所述用户活动的状态被确定为是第二状态时选择用于使操作对象在第二操作中操作的第二操作输入方法。

参考符号列表

1 信息处理装置

10 控制单元

100 识别引擎

100a 头部姿势识别引擎

100b 深度识别引擎

100c SLAM识别引擎

100d 视线识别引擎

100e 声音识别引擎

100f 位置识别引擎

101 得分获取单元

102 行为识别单元

103 输入方法选择单元

104 显示模式确定单元

105 显示信息生成单元

106 显示控制单元

107 操作输入接收单元

110 摄像机

111 摄像机

112 麦克风

113 陀螺传感器

114 加速度传感器

115 方位传感器

116 位置测量单元

121 得分获取单元

123 输入方法选择单元

11 传感器单元

12 操作输入单元

13 显示单元

14 扬声器

15 通信单元

16 存储单元。

Claims (20)

1.一种信息处理装置，其包括：

电路，其配置为

获取与用户情况相关联的信息，

基于与所述用户情况有关的所述信息确定显示模式，和

基于在所确定的所述显示模式中显示的对象允许操作单元接收用户输入。

2.根据权利要求1所述的信息处理装置，其中所述电路进一步配置为启用与所述用户输入相关联的操作输入模式。

3.根据权利要求1所述的信息处理装置，其中所述用户情况包括用户的速度。

4.根据权利要求1所述的信息处理装置，其中所述用户情况包括交通条件、道路条件、时间或天气信息。

5.根据权利要求1所述的信息处理装置，其中所述用户情况包括用户活动的量。

6.根据权利要求5所述的信息处理装置，其中所述电路进一步配置为在所述用户活动的量高于预定阈值时关掉所述显示模式。

7.根据权利要求2所述的信息处理装置，其中所述用户情况包括用户活动的量，并且

其中所述电路进一步配置为当所述用户活动的量大时禁用所述操作输入模式。

8.根据权利要求2所述的信息处理装置，其中所述用户情况包括用户活动的量，并且

其中所述电路进一步配置为当所述用户活动的量提高时减少与所述操作输入模式相关联的输入性能的数量。

9.根据权利要求8所述的信息处理装置，其中所述输入性能的每一个表现为虚拟对象。

10.根据权利要求2所述的信息处理装置，其中所述用户情况包括用户活动的量，并且

其中所述电路进一步配置为当所述用户活动的量降低时增加与所述操作输入模式相关联的输入性能的数量。

11.根据权利要求5所述的信息处理装置其中所述电路进一步配置为当所述用户活动的量提高时禁用与所述操作输入模式相关联的第一输入性能。

12.根据权利要求11所述的信息处理装置，其中所述第一输入性能与空间识别相关联。

13.根据权利要求11所述的信息处理装置，其中所述电路进一步配置为当所述第一输入性能被禁用时允许与所述操作相关联的第二输入性能。

14.根据权利要求5所述的信息处理装置，其中所述电路进一步配置为当所述用户活动的量变化时改变与所述操作输入模式相关联的输入性能的组合。

15.根据权利要求1所述的信息处理装置，其中所述用户情况与骑自行车的用户相关联。

16.根据权利要求1所述的信息处理装置，其中所述用户情况与开汽车的用户相关联。

17.根据权利要求1所述的信息处理装置，其中所述电路进一步配置为使用以下中的至少一项检测所述用户情况：

空间识别；

视线识别；

头部姿势识别；或

声音识别。

18.根据权利要求1所述的信息处理装置，其中所述信息处理装置是可穿戴装置，并且

所述信息处理装置进一步包括显示单元。

19.一种信息处理方法，所述方法经由具有电路的至少一个处理器执行，并且包括：

获取与用户情况相关联的信息，

基于与所述用户情况相关联的所述信息确定显示模式，和

基于在所确定的所述显示模式中显示的对象允许操作单元接收用户输入。

20.一种非暂态计算机可读存储介质，其上包含有程序，当通过计算机执行时使所述计算机执行方法，所述方法包括：

获取与用户情况相关联的信息，

基于与所述用户情况相关联的所述信息确定显示模式，和

基于在所确定的所述显示模式中显示的对象允许操作单元接收用户输入。