CN101080691B - 信息提示装置及信息提示方法 - Google Patents

Abstract

本发明提供一种信息提示装置，可以进一步确保安全性来使用户视认提示信息。信息提示装置，其中，包括：状况信息获得部(101)，获得关于用户的状况的状况信息；观察视线估计部(102)，估计观察外界的观察视线；提示信息获得部(103)，获得向用户提示的提示信息；视认视线估计部(104)，估计视认提示信息的用户的视认视线；提示方法决定部(105)，根据观察视线和视认视线，决定提示信息的提示方法；以及信息提示部(106)，根据由提示方法决定部(105)所决定的提示方法，将提示信息提示给用户。

Description

信息提示装置及信息提示方法

技术领域

本发明涉及向用户提示信息的信息提示装置。

背景技术

近年来，像防护镜或头盔那样形状的被称为HMD(Head Mounted Display：头部安装显示器)的信息提示装置正在普及。若将HMD戴上头部，则在左右眼睛的近前方一个接一个地提示图像。通过使左右图像稍微不同，可以表现立体感。向用户提示的信息不限于静止图像。还可以向用户提示如电视节目那样的影像或文本等。

HMD可以大致分为两个类型。一种是遮断外界光的入射而仅向用户提示虚拟图像的封闭型。另一种是向用户提示基于外界光的入射的自然图像，同时提示虚拟图像的透射型。

根据透射型的HMD，可以边行动(步行等)边视认信息。但是，有时因外界的场景和向用户提示的信息(以下称为“提示信息”)的相互作用，难以视认提示信息。

例如，在提示信息的颜色和与该提示信息重叠的部分的外界的颜色类似的情况下，难以视认提示信息。因此，提出了根据外界的颜色来控制提示信息的颜色的HMD(例如专利文献1)。

在该以往的HMD中，具有监视外界的摄像机，通过该摄像机来检 测外界的颜色。

并且，判断提示信息的颜色和与该提示信息重叠的部分的外界的颜色是否类似，在两者类似的情况下，变更提示信息的颜色。据此，由于可以用不与外界的颜色类似的颜色向用户提示信息，因此不会发生因与外界的关系而难以视认提示信息的问题。

专利文献1：(日本)特开平9-101477号公报

但是，在上述以往的HMD中存在的问题是：在视认长句文本或电视节目等需要较长时间的信息的情况下，不能放心地视听信息。即，在视认长句文本或电视节目的情况下，可以预料到的情况是，因只关注视认而不能仔细观察外界。当然，用户本人注意仔细观察外界，来可以进一步确保安全性，然而，在此情况下，导致妨碍视认提示信息。

发明内容

于是，鉴于这些问题，本发明的目的在于提供信息提示装置，可以进一步确保用户的安全性来使用户视认提示信息。

为了实现上述目的，本发明采取以下技术方案：

一种信息提示装置，向用户提示信息，其特征在于，包括：

状况信息获得单元，获得关于用户的状况的状况信息；观察视线估计单元，根据由上述状况信息获得单元所获得的状况信息，在不同单位时间估计从用户眼睛朝向外界观察对象的观察视线的将来视点位置；提示信息获得单元，获得向用户提示的提示信息；视认视线估计单元，根据与上述提示信息的各类别相对应的基准，在不同单位时间估计对由上述提示信息获得单元获得的提示信息进行视认的用户视认 视线的将来视点位置；提示方法决定单元，在不同单位时间求出上述观察视线和上述视认视线的两个视线与配置在用户眼睛前方的光学元件上的特定面的交点，并使两个交点间的距离处于规定的范围内，以此决定上述提示信息的提示方法；以及信息提示单元，根据由上述提示方法决定单元所决定的提示方法，向用户提示由上述提示信息获得单元所获得的提示信息。

所述的信息提示装置，其特征在于，上述状况信息获得单元，获得关于用户的路径的信息；上述提示方法决定单元，沿着用户的路径在重叠的上述光学元件上的位置以虚拟投影的方式配置上述提示信息。

所述的信息提示装置，其特征在于，上述状况信息获得单元，获得关于用户的路径的信息；上述提示方法决定单元，沿着用户的路径在重叠的上述光学元件上的位置以虚拟投影的方式，以时序配置上述提示信息的构成部分。

所述的信息提示装置，其特征在于，上述状况信息获得单元，获得关于用户的路径的信息；上述提示方法决定单元，在用户快要到交叉路口的情况下，以虚拟投影的方式将上述提示信息配置到使用户确认交叉路口左右的上述光学元件上的位置。

所述的信息提示装置，其特征在于，上述视认视线估计单元，将上述提示信息分割为多个部分；上述提示方法决定单元，对各分割后的部分以时序方式提示上述提示信息。

所述的信息提示装置，其特征在于，上述信息提示单元，在上述光学元件上提示上述提示信息。

所述的信息提示装置，其特征在于，上述信息提示装置，进一步包括，传感器，检测观察外界的用户的视线，上述观察视线估计单元，将检测出的视线作为上述观察视线采用。

一种信息提示方法，向用户提示信息，其特征在于，包括：

状况信息获得步骤，获得关于用户的状况的状况信息；观察视线估计步骤，根据由上述状况信息获得步骤所获得的状况信息，在不同单位时间估计从用户眼睛朝向外界观察对象的观察视线的将来视点位置；提示信息获得步骤，获得向用户提示的提示信息；视认视线估计步骤，根据与上述提示信息的各类别相对应的基准，在不同单位时间估计对由上述提示信息获得单元获得的提示信息进行视认的用户视认视线的将来视点位置；提示方法决定步骤，在不同单位时间求出上述观察视线和上述视认视线的两个视线与配置在用户眼睛前方的光学元件上的特定面的交点，并使两个交点间的距离处于规定的范围内，以此决定上述提示信息的提示方法；以及

信息提示步骤，根据由上述提示方法决定步骤所决定的提示方法，向用户提示由上述提示信息获得步骤所获得的提示信息。

本发明涉及的信息提示装置是向用户提示信息的信息提示装置，其中，包括：状况信息获得单元，获得关于用户的状况的状况信息；观察视线估计单元，根据由上述状况信息获得单元所获得的状况信息，估计观察外界的用户的观察视线；提示信息获得单元，获得向用户提示的提示信息；视认视线估计单元，估计视认提示信息的用户的视认视线，该提示信息是由上述提示信息获得单元所获得的信息；提示方法决定单元，根据观察视线和视认视线，决定提示信息的提示方法，该观察视线是由上述观察视线估计单元所估计的视线，该视认视线是由上述视认视线估计单元所估计的视线，该提示信息是由上述提示信息获得单元所获得的信息；以及信息提示单元，根据由上述提示方法决定单元所决定的提示方法，向用户提示由上述提示信息获得单元所获得的提示信息。据此，考虑观察视线和视认视线的两个视线来提示信息，因此，可以进一步确保用户的安全性来使用户视认提示信息。

具体而言，也可以是，上述状况信息获得单元，获得关于用户的路径的信息；上述提示方法决定单元，沿着用户的路径以投影方式配置上述提示信息。据此，可以减轻视线移动的负担，也可以进一步确保用户的安全性来使用户视认提示信息。

或者，也可以是，上述状况信息获得单元，获得关于用户的路径的信息；上述提示方法决定单元，沿着用户的路径以时序配置上述提示信息的构成部分。据此，可以减轻视线移动的负担，也可以进一步确保用户的安全性来使用户视认提示信息。

更具体而言，上述观察视线估计单元，在每单位时间估计观察外界的用户的视点位置；上述视认视线估计单元，在每单位时间估计视认上述提示信息的用户的视点位置；上述提示方法决定单元，在不同单位时间对于上述观察视线和上述视认视线的两个视线，求出与特定面的交点，并决定上述提示信息的提示方法，以便使两个交点间的距离处于规定的范围内。

据此，使规定范围为短距离，来可以减轻视线移动的负担，也可 以进一步确保用户的安全性来使用户视认提示信息。并且，也有以下效果，即，在不能仔细估计观察视线或视认视线的情况下，或在不能仔细控制提示信息的提示方法的情况下，也可以以一定的程度改善提示方法。进一步，也有以下效果，即，通过不使上述观察视线和上述视认视线的差异为0，来可以避免提示信息与用户周边的外界完全重叠来阻碍识别外界的情况。

在此，也可以是，上述视认视线估计单元，将上述提示信息分割为多个部分；上述提示方法决定单元，对分割后的部分分别决定提示方法。据此，除了文件信息以外，也可以将照片等静止图像或电视节目等影像，边走路边放心地视认。

并且，也可以是，上述状况信息获得单元，获得关于存在于用户的路径上的物体的物体信息；上述提示方法决定单元，配置上述提示信息，以便将用户的视线转向上述物体。据此，将用户的视线转向应该注视的物体，因此，可以进一步确保用户的安全性。

或者，也可以是，上述状况信息获得单元，获得关于存在于用户的路径上的物体的物体信息；上述提示方法决定单元，配置上述提示信息，以便将用户的视线不转向上述物体。据此，将用户的视线不转向应该不凝视的物体，因此，可以进一步确保用户的安全性。

在此，也可以是，上述观察视线估计单元，按照有可能发生的用户的状况，估计适于该状况的多个上述观察视线。据此，可以将按照用户的行动模式或兴趣的视线作为观察视线来选择。

同样，也可以是，上述视认视线估计单元，按照上述提示信息的 构成部分，估计以适于视认该部分的速度视认时的多个上述视认视线。据此，可以使用户慢慢地看重要的部分，反而，使用户快速来看不重要的部分。并且，若将视认在用户周边的对象中对用户重要的对象时的视线作为视认视线来选择，则随着提示信息的视认移动用户的视线，因此可以注意到重要的对象。

并且，也可以是，上述状况信息获得单元，获得关于用户的路径的信息；上述提示方法决定单元，在用户快要到交叉路口的情况下，将上述提示信息配置到使用户确认交叉路口左右的位置。据此，可以在快要到交叉路口时使用户确认左右，因此，可以进一步提高用户的安全性。

并且，本发明，除了如上所述的信息提示装置以外，也可以将上述信息提示装置具有的特征单元作为步骤的信息提示方法来实现，还可以使计算机执行这些步骤的程序来实现。并且，当然也可以通过CD-ROM等记录介质或互联网等传输介质来分发这些程序。

根据上述说明可见，根据本实施方式涉及的信息提示装置，可以减轻视线移动的负担，也可以进一步确保用户的安全性来使用户视认提示信息。

附图说明

图1是示出用户戴上本发明涉及的HMD的状态的图。

图2是本发明涉及的HMD的主要部分的功能方框图。

图3是示出本发明涉及的HMD获得地图信息的情况的图。

图4是示出用户戴上本发明涉及的HMD的状态的图。

图5是示出本发明涉及的HMD的工作的流程图。

图6是示出用户的步行的路径的图。

图7是示出电子邮件的内容的图。

图8是示出用户看到的状态的图。

图9(A)及图9(B)是示出记忆在观察视线估计基准记忆部的基准信息的一个例子的图。

图10是示出观察视线的估计方法的图。

图11(A)及图11(B)是示出记忆在视认视线估计基准记忆部的基准信息的一个例子的图。

图12是示出视认视线的估计方法的图。

图13是示出观察视线和视认视线的差异的图。

图14(A)、图14(B)及图14(C)是示出观察视线和视认视线的差异的图。

图15是示出是示出记忆在提示方法记忆部的提示方法信息的一个例子的图。

图16是示出提示方法的一个例子的图。

图17是示出在0秒后用户看到的状态的图。

图18是示出在2秒后用户看到的状态的图。

图19是示出在4秒后用户看到的状态的图。

图20是示出在7秒后用户看到的状态的图。

图21是示出在0秒后用户看到的状态的图。

图22是示出在2秒后用户看到的状态的图。

图23是示出在4秒后用户看到的状态的图。

图24是示出在7秒后用户看到的状态的图。

图25是示出在0秒后用户看到的状态的图。

图26是示出在2秒后用户看到的状态的图。

图27是示出在4秒后用户看到的状态的图。

图28是示出在7秒后用户看到的状态的图。

图29是示出在0秒后用户看到的状态的图。

图30是示出在2秒后用户看到的状态的图。

图31是示出在4秒后用户看到的状态的图。

图32是示出在7秒后用户看到的状态的图。

图33是示出步行中的用户直行交叉路口的状况的图。

图34是示出直行交叉路口的用户的步行的路径的图。

图35是示出直行交叉路口的用户看到的状态的图。

图36是示出直行步行中的用户接近注视物体的情况的提示例。

图37是示出直行步行中的用户接近凝视回避物体的情况的提示例。

符号说明

1     用户的头部

11    计算机

12    显示装置(LCD)

13    光学元件

14    耳机

15    戴上构件

16    接收机

17    电缆

18    存储部

101   状况信息获得部

102   观察视线估计部

103   提示信息获得部

104   视认视线估计部

105   提示方法决定部

106   信息提示部

具体实施方式

以下，参照附图对本发明的实施方式进行详细说明。以下，将HMD作为本发明涉及的信息提示装置的例子进行说明。

(实施方式1)

图1是示出用户戴上本发明涉及的HMD100的图。

如图所示，本发明涉及的HMD100，外观上与以往的HMD相同，包括：计算机11，为了向用户提示信息进行各种控制；显示装置12，LCD(Liquid Crystal Display：液晶显示器)等；光学元件(提示屏)13，配置在用户眼睛的前方；耳机14，用于声音向导；戴上构件15，用于将该HMD戴上在用户的头部1；以及接收机16，用于通过互联网等接收提示信息。

光学元件13的一侧面是呈凹面的非球面，在该上面涂敷半反射镜 膜，将显示在显示装置12的信息反射来形成虚拟图像。并且，光学元件13的另一侧面是与呈凹面的非球面大致相同的呈凸面的非球面，且可以观察外界，因此用户可以视认与外界重叠的显示在显示装置12的信息。

图2是本发明涉及的HMD100的主要部分的功能方框图。该HMD100是向用户提示信息的装置，在功能上包括：状况信息获得部101，观察视线估计部102。提示信息管理部103，视认视线估计部104，提示方法决定部105，信息提示部106，观察视线估计基准记忆部107，视认视线估计基准记忆部108，以及提示方法记忆部109。

状况信息获得部101是获得关于用户的状况的状况信息的摄像机、GPS(全球定位***：Global Positioning System)、加速度传感器、倾斜传感器、磁气传感器等。状况信息是关于用户的当前位置、地图信息、用户移动的方向或速度、用户的身体状况(头部或眼球等身体的各部位的位置、方向、姿势、心搏数、体温等)的信息。若记录过去的行动历史，并若预先设定行动预定(目的地等)，则可以将这些信息作为状况信息来使用。

图3是示出本发明涉及的HMD100获得地图信息的情况的图。即，HMD100的状况信息获得部101，通过互联网200，从设置在用户自己家的终端300、用户持有的移动电话400以及提供地图分发信息的服务器500等获得地图信息。不通过互联网200，也可以从这些装置直接获得地图信息。

观察视线估计部102，根据由状况信息获得部101所获得的状况信 息，估计观察外界的用户的观察视线。例如，若由状况信息获得部101获得路径信息，则估计基于该路径的观察视线。路径信息是指，关于用户的路径的信息，具体而言，由GPS所获得的用户的当前位置、地图信息、预先所设定的行动预定(目的地)等。

提示信息获得部103是获得向用户提示的提示信息的通信接口等。提示信息是如电子邮件那样的文本或如电视节目那样的影像。图1所示的接收机16，通过互联网等可以接收这些提示信息。或者，可以采用以下结构，即，通过电缆17将提示信息从预先存储提示信息的存储部18发送到计算机11。该存储部18可以是如个人电脑，且该个人电脑可以与LAN(局域网：Local Area Network)或互联网等连接。

视认视线估计部104，估计视认由提示信息获得部103所获得的提示信息的用户的视认视线。例如，考虑提示信息的属性或HMD100的属性来决定在单位时间(例如1秒)由用户所视认的文字数，并根据该文字数来估计视认提示信息的用户的视认视线。

提示方法决定部105，根据由观察视线估计部102所估计的观察视线和由视认视线估计部104所估计的视认视线，决定由提示信息获得部103所获得的提示信息的提示方法。具体而言，决定提示信息的提示方法，以便使观察视线和视认视线的差异处于规定的范围内。

信息提示部106，根据由提示方法决定部105所决定的提示方法，将由提示信息获得部103所获得的提示信息向用户提示。对于具体提示形式，以后参照附图进行详细说明。

观察视线估计基准记忆部107，记忆表示估计观察视线时的基准的 信息。视认视线估计基准记忆部108，记忆表示估计视认视线时的基准的信息。提示方法记忆部109，记忆表示提示信息的提示方法的信息。对于这些记忆部所记忆的信息的具体例子，以后进行说明。

下面，参照图5说明HMD100的工作。

在此，假设用户在戴上HMD100的状态下，如图6所示，正在沿着没有交叉路口的直线道路直行步行。并且，假设在此步行中途，如图7所示，接收由“寄件人”“标题”“正文”编成的电子邮件A。

根据以往的HMD，如图8所示，从跟前向远处显示步行中的道路，与该道路跟前重叠来提示接收后的电子邮件A的内容。根据这些提示方法，用户的视线集中到画面下边，不能放心地视听信息，因此，在本发明涉及的HMD100中采用以下的方法。

首先，状况信息获得部101，将步行中的用户的状况作为状况信息获得(S201)。在此，状况信息是，例如路径信息。如上所述，由GPS可以获得用户的当前位置，根据在地图上预先设定的目的地可以算出路径信息。若有曾经步行过的行动历史，则使用该行动历史可以预测路径信息。

这样，若获得状况信息，则观察视线估计部102参照记忆在观察视线估计基准记忆部107的基准信息，来估计用户的观察视线。

图9(A)是示出记忆在观察视线估计基准记忆部107的基准信息的一个例子的图。在此，用户的状况，分别与估计观察视线时的基准相对应。具体而言，用户的状况为“等速直线运动”与观察视线为“等速直线运动”相对应。并且，用户的状况为“直行交叉路口”与观察 视线为“确认左右”相对应。

于是，用户正在沿着呈直线状的道路直行，因此，观察视线估计部102，估计用户的观察视线也随着步行从道路前边向里边移动。(S202)。具体而言，如图10所示，估计如下：0秒后的视点位置为R0点，2秒后的视点位置为R2点，4秒后的视点位置为R4点，7秒后的视点位置为R7点。

另一方面，提示信息获得部103，若接收电子邮件(S203)，则将该电子邮件作为提示信息管理。这样，若提示信息处于提示信息管理部103的管理下，则视认视线估计部104参照记忆在视认视线估计基准记忆部108的基准信息，来估计视认电子邮件的用户的视认视线(S204)。

图11(A)是示出记忆在视认视线估计基准记忆部108的基准信息的一个例子的图。在此，提示信息的类别，分别与估计观察视线时的基准相对应。具体而言，提示信息为“电子邮件”与视认速度为“5文字/秒”相对应。并且，提示信息为“电视节目”与视认速度为“1场面/秒”相对应。

图12是示出视认电子邮件的用户的视点移动的图。由于以横写提示电子邮件，因此可以估计，视认该电子邮件的用户的视点从第1行开始从左边向右边依次移动。在此、估计如下：0秒后的视点位置为V0点，2秒后的视点位置为V2点，4秒后的视点位置为V4点，7秒后的视点位置为V7点。即，将看文字的速度为一定的速度(在此，5文字/秒)，并确定将来要看的文字，从而将提示该文字的位置作为视点位置来估计。

这样，若估计观察视线和视认视线，提示方法决定部105求出两个视线的差异(S205)。即，如图13所示，可以表示：0秒后的两个视线的差异为箭头D0，2秒后的两个视线的差异为箭头D2，4秒后的两个视线的差异为箭头D4，7秒后的两个视线的差异为箭头D7。

参照图14，对于求出两个视线的差异的方法进行详细说明。首先，如图14(A)所示，求出观察视线和光学元件13的交点P1。其次，如图14(B)所示，求出视认视线和光学元件13的交点P2。最后，如图14(C)所示，求出交点P1和交点P2间的距离L1。该距离L1为如箭头D0的大小。

其次，提示方法决定部105，判定如上求出的差异是否在规定的范围内(S206)。例如，判定在光学元件13上箭头D0、D2、D4、D7的大小是否为2mm以下。而且，在光学元件13上箭头D0、D2、D4、D7的大小全部为2mm以下的情况下，不变更电子邮件的提示方法(S206→S208)。另一方面，在光学元件13上至少箭头D0、D2、D4、D7的大小中的任一个超过2mm的情况下，变更电子邮件的提示方法(S206→S207)。

图15是示出记忆在提示方法记忆部109的提示信息的一个例子的图。在此，提示信息的类别，分别与提示方法的类别相对应。具体而言，提示信息为“电子邮件”与提示方法为“投影提示方法”相对应。并且，提示信息为“电视节目”与提示方法为“部分提示方法”相对应。投影提示方法是一种提示方法，沿着用户的路径，以投影方式配置提示信息。并且，部分提示方法是一种提示方法，沿着用户的路径， 以时序配置提示信息的构成部分。在此，提示信息是电子邮件，因此，提示方法决定部105，将电子邮件的提示方法从图13所示的提示方法变更为投影提示方法。

图16是示出电子邮件的提示方法的变更例的图。如该图所示，提示方法决定部105，变更电子邮件的提示方法，以便在光学元件13上使箭头D0、D2、D4、D7的大小全部为2mm以下。与图13所示的提示方法相比可见，在图16所示的投影提示方法中R0点和V0点、R2点和V2点、R4点和V4点、R7点和V7点分别接近。

如此，若决定电子邮件的提示方法，则信息提示部106，通过投影提示方法提示电子邮件(S208)。即，图17示出在0秒后用户看到的状态，在该状态下，在前边显示“寄件人”的文字。图18示出在2秒后用户看到的状态，在该状态下，在前边显示“标题”的文字。图19示出在4秒后用户看到的状态，在该状态下，在前边显示“正文”的文字。图20示出在7秒后用户看到的状态，在该状态下，在前边显示“正文”的下文。如此，根据本提示方法，可以视认为如同在道路上写有电子邮件的内容。

如上所述，HMD100，根据状况信息估计观察视线，并且，根据提示信息估计视认视线。并且，求出如此估计后的两个视线和光学元件13的交点P1及P2，在该交点P1和交点P2间的距离L1超过2mm的情况下，变更电子邮件的提示方法，以便使该距离L1为2mm以下。

根据上述说明可见，根据本发明涉及的信息提示装置，可以配置提示信息，以便将用户的视线转向对用户安全的方向。具体而言，求 出观察视线和视认视线的差异，决定提示信息的提示方法，以便使该差异为较短的距离，据此，可以减轻视线移动的负担，也可以进一步确保安全性来使用户视认提示信息。

而且，电子邮件的提示方法不限于上述投影提示方法。例如，也可以将电子邮件的内容分割为多个构成部分，来沿着用户的路径，以时序提示各构成部分。即，仅说明提示形式，图21示出0秒后用户看到的状态，图22示出2秒后用户看到的状态，图23示出4秒后用户看到的状态，图24示出7秒后用户看到的状态。或者，也可以沿着用户的路径在上面以竖写提示电子邮件。即，图25示出0秒后用户看到的状态，图26示出2秒后用户看到的状态，图27示出4秒后用户看到的状态，图28示出7秒后用户看到的状态。

并且，提示信息不限于电子邮件。将电视节目的影像按每场面分割，并沿着用户的路径以时序提示各场面的影像也可以。即，图29示出0秒后用户看到的状态，图30示出2秒后用户看到的状态，图31示出4秒后用户看到的状态，图32示出7秒后用户看到的状态。

当然，在提示信息本来就由多个部分构成的情况下，不需要将提示信息分割为多个构成部分。例如，由于电视节目本来由多个场面构成，因此，在此情况下，可以省略分割电视节目的影像的处理。对于电子邮件，若考虑为本来以如“寄件人”“标题”“正文”那样的单位来分割，则与电视节目的影像相同，也可以省略分割处理。

再者，可以先进行图5的S201的工作，也可以先进行图5的S203的工作。即，在S202的工作之前完成S201的工作就可以，在S204的 工作之前完成S203的工作就可以。同样，可以先进行S202的工作，也可以先进行S204的工作。即，在S205的工作之前完成S202和S204的工作就可以。当然，图5所示的各工作，可以立即依次进行，也可以同时进行，还可以隔开时间进行。

并且，在图5的S202或S204中估计的视线可以不是一种。即，可以估计多个视线候补，也可以估计该视线候补的各个实现概率。

图9(B)是示出记忆在观察视线估计基准记忆部107的基准信息的另一个例子的图。在此，按照快要到交叉路口时紧后的用户的状况，与该状况的发生概率相对应，且与适于该状况的观察视线相对应。具体而言，要直行的概率为80％，在此情况下，规定为以“右”“左”“前”顺序使观察视线迁移。并且，要右拐的概率为20％，在此情况下，规定为以“右”“左”“右”顺序使观察视线迁移。并且，要左拐的概率为0％，在此情况下，规定为以“左”“右”“左”顺序使观察视线迁移。并且，要返回的概率为0％，在此情况下，规定为使观察视线旋转180度。

在此，观察视线估计部102，步行中的用户快要到交叉路口时，将要直行的概率为80％，将要右拐的概率为20％，来估计2个观察视线也可以。在此情况下，要直行的概率最高，因此，最好是选择适于直行的观察视线。但是，在用户不直行而右拐的情况下，最好是变更为适于预先估计的右拐的观察视线。

同样，电子邮件的内容存在重要部分和不重要部分，因此，也可以按电子邮件的构成部分估计多个视认视线候补。

图11(B)是示出记忆在视认视线估计基准记忆部108的基准信息的另一个例子的图。在此，按照电子邮件的内容的重要度，分别规定适于看该部分的视认速度。具体而言，规定为以下视认速度：重要度最高的A的部分为“3个字/秒”，重要度为第二的B的部分“4个字/秒”，重要度为第三的C的部分“5个字/秒”，重要度为第四的D的部分“6个字/秒”，重要度为第五的E的部分“7个字/秒”。

于是，视认视线估计部104，对电子邮件的构成部分分别决定重要度A至E，估计以与决定后的重要度相对应的速度来看该部分时的视认视线。据此，可以使用户慢慢地看重要的部分，反而，使用户快速来看不重要的部分。

再者，在此，判定D0、D2、D4、D7的大小在光学元件13上是否为2mm以下，但是，本发明不限于此。即，可以判定两个视线的角度差是例如是否为1度以内，或者，也可以判定与提示信息重叠的道路上的距离例如是否为50cm以内。在两个视线的差异为0的情况下，由于提示信息有可能遮盖重要的光景，因此，例如将两个视线的差异为设5mm至2mm间等，也可以将为0的差异设为范围外。

(实施方式2)

其次，说明本发明的实施方式2。

在实施方式1中，假设用户沿着没有交叉路口的直线道路直行步行的情况，因此，用户的步行的路径与观察视线几乎一致。在本实施方式中，说明用户的步行的路径与观察视线不一致的情况。

图33是示出步行中的用户直行交叉路口的状况的图。在直行道路 的情况下，步行的路径与观察视线几乎一致，但是，在直行交叉路口的情况下，最好是使观察视线左右移动，以便使用户确认交叉路口的左右。

即，在这些情况下，如图34所示，估计观察视线从路径前边移动到“右”“左”“右”后，再返回到前边，据此配置电子邮件。图35示出将电子邮件如上述配置时的用户看到的光景。若依次看电子邮件，则在交叉路口视线向“右”“左”“右”移动，来可以确认左右。

根据上述说明可见，根据本实施方式涉及的信息提示装置，使直行交叉路口的用户确认左右，因此，可以进一步提高用户的安全性。对于其他内容，与上述实施方式1相同，因此省略详细说明。

(实施方式3)

其次，说明本发明的实施方式3。

在上述实施方式1中示出了沿着用户的路径将提示信息同样配置的结构的例子，但是，在本实施方式中，按照影响到视线的物体，将提示信息的位置、间隔或分布偏在一侧来配置。即，状况信息获得部101获得关于在用户的路径上存在的物体的信息，根据如此获得后的物体信息，提示方法决定部105决定提示信息的提示方法。

图36是在直行步行中的用户接近注视物体的情况的提示例。该注视物体是指，如自行车等，用户应该注视的物体。在如此接近注视物体的情况下，如图36所示，最好是将提示信息配置到，使视线转向该注视物体附近的位置。在此，在夹起注视物体的位置配置电子邮件的“标题”和“正文”，从而，在先看“标题”后看“正文”的期间，使 用户容易注意到注视物体。

图37是在直行步行中的用户接近凝视回避物体的情况的提示例。该凝视回避物体是指，如陌生人等，不应该过度凝视的物体。在如此接近凝视回避物体的情况下，如图37所示，使在该凝视回避物体附近的信息配置变低，来不使视线长时间转向凝视回避物体。而且，拍摄前边的光景后分析该拍摄图像，来可以判别在用户的路径上存在的物体是注视物体还是凝视回避物体。

根据上述说明可见，根据本实施方式涉及的信息提示装置，按照影响到视线的物体，可以将提示信息的位置、间隔或分布偏在一侧来配置，因此，可以进一步提高用户的安全性。对于其他内容，与上述实施方式1相同，因此省略详细说明。

而且，图2的各部分，可以存在于1台计算机上，也可以不存在于1台计算机上。例如，提示方法决定部105和信息提示部106可以分别存在于其他机器，也可以提示信息获得部103存在于互联网上的服务器。并且，可以在多个计算机上分散存在各部分，也可以在1台计算机上存在多个图2的各部分(如信息提示部106)。当然，也可以多个用户共享图2的各部分。

并且，在此示出了透射型的HMD的例子，但是，本发明不限于此。即，本发明可以适用于封闭型的HMD，该封闭型的HMD，将由摄像机等所拍摄的外界的图像与虚拟图像重叠来显示在LCD等显示装置。并且，信息提示部106可以包括：头部安装显示器，脸部安装显示器，眼镜型显示器，透射型显示器，视网膜扫描型显示器，移动电话、移 动电视机或移动终端的信息提示部，投影机等。当然，不仅HMD，图2所示的具有各部分的装置，都可以适用本发明。

再者，对于视线的估计方法，有各种方法，不限于上述方法。例如，根据摄像机所拍摄的眼球的影像抽出眼睛的特点(白眼珠和黑眼珠的边界等)来估计视线也可以。或者，向隐形眼镜或眼球表面附加标记等识别信息，并识别该位置来估计视线也可以。或者，也可以测量眼球附近的电阻、电流或电压等的电气特性的变化来估计视线。或者，也可以如“头部转向左边，因此视点也向左边移动”等那样，使用如随着身体或头部的移动视线也移动等的人的身体条件，来估计视线。或者，也可以考虑到像在交叉路口确认左右那样的一般知识，或考虑到像该用户会对小猫感兴趣那样的个人爱好，来预测针对用户周边的状况或物体的用户的关心的强度，从而从注视关心度强的物体那样的观点来估计视线。而且，对于作为视线的估计对象的眼睛，可以是左边或右边的任一侧的眼睛，也可以是左边和右边的双眼。并且，在此估计视线，但是，估计视点或注视点，也实际上与估计视线相同。当然，要估计的视线的方向，不是点而是区域也可以。例如，像“2秒后看左侧”等那样，以区域估计视线也可以。

再者，在此变更提示信息的提示位置，但是，可以变更至少要提示的色调、亮度、透明度、大小、方向、深度等的任一个，或可以变更提示信息的再生状态(再生的暂停、再开始、中断、快进、快退、慢进、摘要再生、部分再生等)。并且，可以断续变更提示方法。例如，在变更提示位置的情况下，也可以一旦停止提示后，在与上次不同的 位置重新提示。

再者，在此，作为提示信息的例子示出了电子邮件和电视节目，不过，提示信息，至少包括像电视节目那样的影像、像电子邮件那样的文本、静止图像以及信号等中的任一个就可以。并且，对于提示信息的管理方法没有特别的说明，但是，对于该方法，可以采用以下方法：提示信息获得部103本身持有提示信息本身的全部或一部分；持有提示信息的位置，以便可以获得提示信息；将持有提示信息的位置的其他提示信息获得部的位置持有。

并且，在此，决定提示信息的提示方法，以便使观察视线和视认视线的差异处于规定的范围内，但是不限于此。即，可以决定提示方法，以便使视认视线或观察视线的任一个领先于另一个，且，以便按照观察视线的运动停止信息提示、或变更用户的行动。

Claims (8)

1.一种信息提示装置，向用户提示信息，其特征在于，包括：

状况信息获得单元，获得关于用户的状况的状况信息；

观察视线估计单元，根据由上述状况信息获得单元所获得的状况信息，在不同单位时间估计从用户眼睛朝向外界观察对象的观察视线的将来视点位置；

提示信息获得单元，获得向用户提示的提示信息；

视认视线估计单元，根据与上述提示信息的各类别相对应的基准，在不同单位时间估计对由上述提示信息获得单元获得的提示信息进行视认的用户的视认视线的将来视点位置；

提示方法决定单元，在不同单位时间求出上述观察视线和上述视认视线的两个视线与配置在用户眼睛前方的光学元件上的特定面的交点，并使两个交点间的距离处于规定的范围内，以此决定上述提示信息的提示方法；以及

信息提示单元，根据由上述提示方法决定单元所决定的提示方法，向用户提示由上述提示信息获得单元所获得的提示信息。

2.如权利要求1所述的信息提示装置，其特征在于，

上述状况信息获得单元，获得关于用户的路径的信息；

上述提示方法决定单元，沿着用户的路径在重叠的上述光学元件上的位置以虚拟投影的方式配置上述提示信息。

3.如权利要求1所述的信息提示装置，其特征在于，

上述状况信息获得单元，获得关于用户的路径的信息；

上述提示方法决定单元，沿着用户的路径在重叠的上述光学元件上的位置以虚拟投影的方式，以时序配置上述提示信息的构成部分。

4.如权利要求1所述的信息提示装置，其特征在于，

上述状况信息获得单元，获得关于用户的路径的信息；

上述提示方法决定单元，在用户快要到交叉路口的情况下，以虚拟投影的方式将上述提示信息配置到使用户确认交叉路口左右的上述光学元件上的位置。

5.如权利要求1所述的信息提示装置，其特征在于，

上述视认视线估计单元，将上述提示信息分割为多个部分；

上述提示方法决定单元，对各分割后的部分以时序方式提示上述提示信息。

6.如权利要求1所述的信息提示装置，其特征在于，

上述信息提示单元，在上述光学元件上提示上述提示信息。

7.如权利要求1所述的信息提示装置，其特征在于，

上述信息提示装置，进一步包括，

传感器，检测观察外界的用户的视线，

上述观察视线估计单元，将检测出的视线作为上述观察视线采用。

8.一种信息提示方法，向用户提示信息，其特征在于，包括：

状况信息获得步骤，获得关于用户的状况的状况信息；

观察视线估计步骤，根据由上述状况信息获得步骤所获得的状况信息，在不同单位时间估计从用户眼睛朝向外界观察对象的观察视线的将来视点位置；

提示信息获得步骤，获得向用户提示的提示信息；

视认视线估计步骤，根据与上述提示信息的各类别相对应的基准，在不同单位时间估计对由上述提示信息获得单元获得的提示信息进行视认的用户的视认视线的将来视点位置；

提示方法决定步骤，在不同单位时间求出上述观察视线和上述视认视线的两个视线与配置在用户眼睛前方的光学元件上的特定面的交点，并使两个交点间的距离处于规定的范围内，以此决定上述提示信息的提示方法；以及

信息提示步骤，根据由上述提示方法决定步骤所决定的提示方法，向用户提示由上述提示信息获得步骤所获得的提示信息。

Images