CN107798733A - 显示***、便携信息设备、可佩戴型终端和信息显示方法 - Google Patents

Abstract

显示***、便携信息设备、可佩戴型终端和信息显示方法，能够根据用户的可佩戴终端的使用状态在可佩戴终端和外部装置中适当进行显示。信息显示方法能够利用佩戴在使用者的头部且具有第1显示部的可佩戴型终端和具有第2显示部的可佩戴型终端以外的设备显示大致相同的内容，在该信息显示方法中，检测使用者凝视的对象(S1、S21～S37)，在利用第1显示部显示利用第2显示部显示的图像时，根据对象对显示形式的变更进行控制(S3、S5、S9)。

Description

显示***、便携信息设备、可佩戴型终端和信息显示方法

技术领域

本发明涉及眼镜型的具有显示部的可佩戴型终端、显示***、便携信息设备和信息显示方法。

背景技术

近年来，所谓的增强现实(AR：Augmented Reality)技术发展，能够像在现实空间内存在虚拟物体那样显示由计算机生成的CG(Computer Graphics：计算机图形)等虚拟物体的图像。例如，提出了如下的可佩戴型终端：用户佩戴带显示部的眼镜(可佩戴型终端)，经由该可佩戴型终端视觉辨认现实空间时，各种信息重叠在现实空间内并在显示部中显示(参照日本公开特许2011-253324号公报(以下称为“专利文献1”))。

发明内容

发明要解决的课题

在上述现有技术中，公开了在眼镜型的可佩戴终端的显示部中进行显示的情况。但是，用户凝视的对象，不限于眼镜型可佩戴终端的显示部，有时在其他外部装置中进行显示更好。但是，在上述专利文献1中，关于这点，没有任何记载。

本发明是鉴于这种情况而完成的，其目的在于，提供能够根据用户的可佩戴终端的使用状态在可佩戴终端和外部装置中适当进行显示的显示***、便携信息设备、可佩戴型终端、信息显示方法和记录介质。

用于解决课题的手段

本发明的第1方式的显示***能够利用佩戴在使用者的头部且具有第1显示部的可佩戴型终端和具有第2显示部的上述可佩戴型终端以外的设备显示大致相同的内容，其中，该显示***具有：判定部，其判定上述使用者凝视的对象；以及显示控制部，其在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述判定的上述对象对显示形式的变更进行控制。

本发明的第2方式的便携信息设备能够与可佩戴型终端进行通信，该可佩戴型终端佩戴在使用者的头部，在上述使用者直接视觉辨认现实空间的方向上具有能够透射可视光的第1显示部，其中，上述便携信息设备具有：第2显示部，其设置在上述便携信息设备上；判定部，其检测上述使用者凝视的对象；以及显示控制部，其在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述对象对显示形式的变更进行控制。

本发明的第3方式的可佩戴型终端能够与便携信息设备进行通信，该便携信息设备具有第2显示部和判定使用者凝视的对象的判定部，其中，上述可佩戴型终端具有：第1显示部，其设置在上述可佩戴型终端上；以及显示控制部，其在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述对象对显示形式的变更进行控制。

本发明的第4方式的信息显示方法能够利用佩戴在使用者的头部且具有第1显示部的可佩戴型终端和具有第2显示部的上述可佩戴型终端以外的设备显示大致相同的内容，其中，上述信息显示方法具有以下步骤：检测上述使用者凝视的对象；以及在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述对象对显示形式的变更进行控制。

本发明的第5方式的便携信息设备中的信息显示方法中，该便携信息设备能够与可佩戴型终端进行通信，该可佩戴型终端佩戴在使用者的头部，在上述使用者直接视觉辨认现实空间的方向上具有能够透射可视光的第1显示部，该便携信息设备具有第2显示部，其中，上述信息显示方法具有以下步骤：检测上述使用者凝视的对象；以及在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述检测到的上述对象对显示形式的变更进行控制。

本发明的第6方式的记录介质存储有由便携信息设备内设置的计算机执行的程序，该便携信息设备能够与可佩戴型终端进行通信，该可佩戴型终端佩戴在使用者的头部，在上述使用者直接视觉辨认现实空间的方向上具有能够透射可视光的第1显示部，该便携信息设备具有第2显示部，其中，上述程序具有以下步骤：检测上述使用者凝视的对象，在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述检测到的上述对象对显示形式的变更进行控制。

发明效果

根据本发明，能够提供能够根据用户的可佩戴终端的使用状态在可佩戴终端和外部装置中适当进行显示的显示***、便携信息设备、可佩戴型终端、信息显示方法和记录介质。

附图说明

图1A-图1C是示出本发明的第1实施方式的显示***的主要电气结构的框图。

图2是示出本发明的第1实施方式的显示***的使用状态的图。

图3A和图3B是示出本发明的第1实施方式的显示***的使用状态的图。

图4A和图4B是示出本发明的第1实施方式的显示***的动作的流程图。

图5是示出本发明的第1实施方式的信息显示装置的便携终端控制的动作的流程图。

图6是示出本发明的第1实施方式的便携终端的动作的流程图。

图7是示出本发明的第1实施方式的无人机的动作的流程图。

图8是示出本发明的第1实施方式的眼镜型终端的动作的流程图。

图9A-图9C是示出本发明的第2实施方式的信息显示装置的使用状态的图。

图10是示出本发明的第2实施方式的医院内终端的动作的流程图。

图11是示出本发明的第2实施方式的可佩戴部的动作的流程图。

具体实施方式

下面，作为本发明的优选实施方式，对由眼镜型信息显示装置(以下称为可佩戴部10)和外部设备20构成的显示***进行说明。

图1A是示出信息显示***的概略的框图，图1B示出用户40在头部佩戴了可佩戴部10的状态。可佩戴部10呈所谓的眼镜的形状，具有光学部件41、42以及用于佩戴在用户40的头部的佩戴部。另外，光学部件41、42也可以是不具有屈光力的透明玻璃、透明塑料等。并且，可佩戴部10具有控制部11、第1显示部12、信息取得部13。

该可佩戴部10作为佩戴在使用者的头部且具有第1显示部的可佩戴型终端发挥功能。并且，可佩戴部10作为佩戴在使用者的头部、且在使用者直接视觉辨认现实空间的方向上具有能够透射可视光的第1显示部的可佩戴型终端发挥功能。

第1显示部12具有显示器，在用户40经由右眼用光学部件41观察外界时，将由控制部11生成的图像重叠在外界的风景中并使显示器进行显示。该光学部件41假设为与显示部对应的部分具有放大功能等、其他部分为可透视的平光镜的结构。但是，不限于此，也可以使用半透射的反射镜、放大半透半反镜等。

如图1C所示，用户40能够通过左眼用光学部件42观察左视场(光学眼镜视场)，但是，该光学部件42也可以是平光镜，还可以不具有光学部。并且，能够通过右眼用光学部件41观察右视场(光学眼镜视场)，但是，该光学部件41也可以如上所述是平光镜，还可以不具有光学部。并且，在右眼用光学部件41的下侧的显示区域12a中，用户40能够通过所述第1显示部12观察所形成的图像。

另外，第1显示部12的显示区域12a设置在右眼用部件41侧，但是不限于此，也可以将显示区域设置在左眼用部件42侧。此时，显示部成为视野整体，但是，例如，如果以必须看到眼前部分的方式显示由后述信息取得部13得到的眼前的摄像结果，则能够发挥与平光镜相同的功能。

本实施方式是着眼于用户“凝视”在现实世界中位于前方的对象物的方案。用户不仅通过基于眼睛的视觉，还通过其他五感来观察感觉到的物体，所以，经常进行要清楚观察现实世界的对象物的动作。在本实施方式中，将检测要清楚观察现实世界的对象物的动作、即要观察位于平光镜前方的现实对象物的状况设为“凝视检测”或“凝视判定”。即，作为本实施方式，对如下情况进行说明：存在凝视眼镜型可佩戴终端中虚拟显示的物体的状况，但是，还通过检测伴有用户的姿态或体态等的变化的、现实世界的注视状态，由此直观地、无意识地、不用手地进行显示切换，而不进行特别的操作。

信息取得部13具有图像输入部13a和声音输入部13b。如图1B所示，图像输入部13a具有照相机13aa，该照相机13aa包含用于形成图像的摄影镜头、用于对图像进行光电转换的摄像元件、摄像电路等。由图像输入部13a转换后的图像数据被输出到控制部11。声音输入部13b具有用于将声音转换为声音数据的麦克风13bb，这里转换后的声音数据被输出到控制部11。另外，在图1B中，第1显示部12、图像输入部13a、照相机13aa、声音输入部13b和麦克风13bb分开描绘，但是，它们作为可佩戴部10而一体构成。

用户凝视什么时，成为特定姿态进行凝视，所以，在特定时间内检测到图像或声音信息没有变化的状态的情况下，也可以判定为“凝视”。或者，在检测到的图像是监视器的图像或者预先学习或程序中记录的特定对象物的图像、或者检测到的声音是特定设备的声音或用户的声音的情况下，也可以判定为“凝视”。

在本实施方式中，根据本次正在观察什么来切换显示部中的显示，所以，在容易判定用户的表情、姿态、体态的可佩戴部10中设置信息取得部13是有利的。不仅检测用户正在观察的图像，还可以检测正在观察的图像的变化和推移等。信息取得部13和运动传感器部都能够用于凝视判定，但是，也可以仅是任意一方，并且还可以是两者的组合。任意情况下，能够通过从成为特定状态起的时间、从特定的第1状态向特定的第2状态推移的特征等进行判定。

当然，可以学习该人的嘟囔或身体的动作方式的癖好(利用声音等判定用户是否满意并设为教示数据即可)来进行利用。这样的信息取得部和运动传感器部也可以分开使用该数据进行凝视判定，也可以由其他设备接收该数据而进行凝视判定。即，能够根据使用者的姿态随时间变化的特征或特定时间的姿态的持续，判定用户的凝视状态。该姿态能够通过运动本身、运动的结果、图像本身和图像的推移来进行判定。

控制部11具有CPU(Central Processing Unit：中央处理单元)及其周边电路和存储器等。CPU根据存储器中存储的程序对可佩戴部10内的各部进行控制，由此执行可佩戴部10的整体。周边电路具有用于检测可佩戴部10朝向哪个方位的电子指南针、用于测定凝视仰角的倾斜检测用传感器、检测运动的陀螺仪等运动传感器部。

并且，作为控制部11内的周边电路，具有通信电路，与外部设备20进行通信。作为通信方式，可以使用WiFi或蓝牙(注册商标)等无线通信、红外通信等，该情况下，可以是任意一种通信方式，并且也可以使用两种方式。并且，在使用两种方式的情况下，也可以通过广播模式等的WiFi通信进行图像通信，通过蓝牙(注册商标)进行与外部设备之间的控制用信号的通信。

外部设备20是台式PC(Personal Computer：个人计算机)、笔记本型PC、平板PC、智能手机等具有显示部和通信电路的设备即可。在本实施方式中，作为外部设备20，对应用于智能手机的情况进行说明，但是，当然也可以是除此以外的设备。

外部设备20具有控制部21、第2显示部22、信息取得部23。外部设备20作为具有第2显示部的可佩戴型终端以外的设备发挥功能。该可佩戴型终端以外的设备和可佩戴型终端能够显示大致相同的内容。并且，外部设备20作为便携信息设备发挥功能，该便携信息设备具有第2显示部和判定使用者凝视的对象的判定部。另外，该判定部不限于配置在便携信息设备中，也可以配置在可佩戴型终端中。该情况下，判定部根据使用者的姿态随时间变化的特征、使用者的姿态信息、周围的声音信息、由摄像部取得的图像信息中的至少一方，判定使用者凝视的对象。

第2显示部20具有液晶面板、有机EL面板等，显示图像。作为该显示图像，在外部设备20是智能手机的情况下，存在智能手机的菜单画面等，并且，如后所述在与无人机协作的情况下，存在从无人机发送来的图像等。信息取得部23供用户对外部设备20输入信息，例如存在键盘、触摸面板等。

控制部21具有CPU(Central Processing Unit：中央处理单元)及其周边电路和存储器等。CPU根据存储器中存储的程序对外部设备20内的各部进行控制，由此执行外部设备20的整体。并且，作为控制部21内的周边电路，具有通信电路，与可佩戴部10或第2外部设备等进行通信。

另外，在图1A中，控制部11配置在可佩戴部10中，控制部21配置在外部设备20中。但是，进行第1显示部12和第2显示部22的显示控制(包含切换控制)的显示控制部30的功能可以仅由控制部11承担，并且也可以仅由控制部21承担。并且，除了任意一个控制部承担以外，两个控制部11、21也可以协作执行。

可以使用由图像输入部13a取得的图像信息，根据外部设备20的形状判定用户是否正在观察外部设备20，也可以根据外部设备20的显示内容判定用户是否正在观察外部设备20。通过在外部设备20中进行特别的显示(例如条形码或图案等、设备容易读取的显示)，可以在判定时进行辅助，也可以组合发光模式和发声模式。在用户瞥一眼外部设备20的情况下，在瞥一眼时，有时也具有希望观察的意志，因此，可以分类为“凝视”。与利用凝视的时间进行判定相比，利用图像或运动(姿态变化)判定瞥一眼时的运动模式等即可。

显示控制部30作为判定使用者凝视的对象的判定部(例如图4A的S1、图4B、图6的S67)发挥功能。如上所述，取得图像、声音、运动等数据，根据其特征、变化的特征等进行该判定即可。利用显示判定结果时的用户的声音和身体动作等，判定用户是否满意判定结果，按照每个状况蓄积好坏等结果，使用利用了人工智能的学习，由此能够进一步实现性能提高。

并且，显示控制部30作为如下的显示控制部发挥功能：在利用第1显示部显示利用第2显示部显示的图像时，根据判定出的对象对显示形式的变更进行控制(例如参照图4A的S3、S5、S9)。该显示控制部可以设置在一体地具有显示部的可佩戴部内，并且也可以设置在外部设备侧。并且，显示控制部可以通过这些设备内所具有的控制部进行协作来实现，进而，也可以通过与其他设备进行协作来实现。

上述判定部取得使用者的姿态信息，根据该姿态信息进行判定(例如参照图4B的S23、S25、S31)。并且，判定部取得周围的声音信息，根据该取得的声音信息进行判定(例如参照图4B的S27、S31)。并且，判定部根据由摄像部取得的图像信息进行判定(例如参照图4B的S29、S31)。

并且，判定部根据使用者的姿态随时间变化的特征或特定时间的姿态的持续进行判定。也可以不仅考虑所取得的图像、声音、姿态的信息本身，还考虑其持续时间、直到成为该状态为止的过程来进行该判定。也可以复合地组合来进行学***光镜进行观察，能够根据所取得的信息进行判定。

接着，使用图2和图3A、图3B对本实施方式中的显示***的使用例进行说明。图2示出如下状况：用户40在头部佩戴可佩戴部10，一边使用外部设备20操纵能够远程操作的无线操纵飞行器(无人机50)，一边进行拍摄。另外，作为外部设备20，使用智能手机。并且，在本实施方式中，使用无人机，但是，不限于飞行器，也可以应用于机器人、能够在陆地上移动的机械(移动设备)、能够在水中移动的机械(移动设备)。

从确保安全的观点来看，无人机50期望由用户目视进行操纵。因此，用户40一边透过可佩戴部10的右眼用光学部件41和左眼用光学部件42观察无人机50，一边对外部设备20的第2显示部22上设置的触摸面板22a进行触摸操作，由此进行无人机50的操纵。通过使光学部成为平光镜状态，消除多余的显示，能够集中于操纵。

如后所述，当用户40凝视无人机50时，切换为无人机操纵用的目镜部显示模式1和外部设备显示模式1(参照图4A的S3→S9→S11的目镜部显示模式1)。也可以通过图像识别，针对由可佩戴部10的图像输入部13a取得的图像判定是否正在进行该凝视。例如，如果图像中存在无人机50，则可以判定为用户40正在凝视无人机50。并且，在由于显示状态而无法观察图像中的操纵部(显示在外部设备20的第2显示部22中)的情况下，也可以判定为用户40正在凝视无人机50。当然，如果得知是无人机操纵时，则也可以利用逐渐上升、逐渐下降、仰视上空这样的姿态或姿态的变化，推测(凝视判定)操纵时正在观察的物体。

切换为无人机操纵用的目镜部显示模式1和外部设备显示模式1后，在外部设备20的显示部22a中显示用于对无人机50进行前进操纵的图标22b、用于进行后退操纵的图标22c、用于进行左转操纵的图标22d、用于进行右转操纵的图标22e。

并且，在右眼用光学部件41的显示区域12a(目镜部显示)中进行操纵引导显示。作为操纵引导显示，能够显示上述图标22b～22e和由无人机拍摄的图像。在图2所示的例子中，用户40对使其前进的图标22b进行触摸操作，所以，显示区域12a中显示的图标22b以与其他图标进行辨别的方式被显示。

并且，无人机50搭载照相机51，经由外部设备20、或者从无人机50直接向可佩戴部10的通信电路发送由照相机51拍摄的动态图像的图像数据。来自无人机50的图像数据与图标22b～22e一起显示在显示区域12a中。由此，能够进行无人机视点的观察，能够简单地确认此前未观察到的物体。如果能够无缝地进行操纵和观察，则谁都能安全地、容易地详细观察位于很难直接目视的场所的观察对象物。并且，还能够实现一并进行专注于进行曝光控制和焦点控制等的观察的操作、专注于安全接近目标物的操作的高级观察。

如上所述，显示区域12a位于右眼用光学部件41的下侧，在该显示区域12a中未显示来自无人机50的图像和外部设备20的图标的情况下，能够观察到外部设备20。因此，显示区域12a中的显示是在与外部设备20的显示面板重合的位置，用户40具有好像直接观察外部设备20并进行操纵那样的感觉，没有违和感。

另外，在操纵无人机50以使其上升的情况下，使外部设备20向近前摆动(图中的箭头A的方向)，在操纵无人机50以使其下降的情况下，使外部设备20向对面侧摆动(图中的箭头B的方向)。

接着，图3A示出为了进行照相机51的照相机操作而使用户40的凝视对象从无人机50移动到外部设备20的状态。凝视对象改成外部设备20后，如图3A所示，用户40能够透过右眼用光学部件41和左眼用光学部件42观察外部设备20。如后所述，用户40凝视外部设备20时，切换为外部设备操作用的目镜部显示模式2和外部设备显示模式2(参照图4A的S3→S5→S7的目镜部显示模式1)。

用户40的凝视对象未朝向无人机50，所以，为了确保安全的飞行，从外部设备20对无人机50进行指示，以停止移动并进行停留在相同位置的悬停。并且，在右眼用光学部件41的显示区域12a中显示无人机50处于移动停止状态。

在外部设备20的显示面板中进行菜单等的用于进行照相机操作的显示，并且，还显示来自无人机50的图像22f。用户40一边观察该图像，一边进行对焦、调整曝光、进行静态图像拍摄指示等照相机操作。

图3B示出用户40让他人43确认由无人机50拍摄的图像等的状况。该情况下，用户40处于凝视着外部设备20的状态，所以，该情况下，也以目镜部显示模式2和外部设备显示模式2进行外部设备20和显示区域12a的显示。

这样，在本实施方式中，根据用户40凝视的对象物，切换可佩戴部10的显示区域12a和外部设备20中的显示。因此，在可佩戴部10的显示区域12a中进行必要的引导显示，能够集中于无人机50的操纵。并且，外部设备20能够根据用户40的凝视对象，进行最适合于无人机50的操纵装置的显示。

接着，使用图4A～图8所示的流程图对本实施方式的动作进行说明。图4A所示的流程图示出由可佩戴部10、外部设备20和无人机50构成的显示***中的主动作。在可佩戴部10内的控制部11、外部设备20内的控制部12和无人机50内的控制部中分别设置的CPU根据各自的内部存储器中存储的程序对各设备的各部进行控制，由此执行该流程。另外，使用图5～图8所示的流程图对各设备中的动作进行说明。

图4A所示的流程开始后，首先，进行眼镜型终端的状态判定(S1)。这里，判定佩戴有眼镜型终端即可佩戴部10的用户40的凝视对象是无人机50还是外部设备20。关于该眼镜型终端的状态判定的详细动作，使用典型的容易说明的例子即图4B在后面叙述。

在步骤S1中进行眼镜型终端的状态判定后，判定凝视对象是对象1还是对象2(S3)。这里，根据步骤S1中的判定结果，判定凝视对象是无人机50(对象1)还是外部设备20(对象2)。

在本实施方式的例子中，在步骤S3中的判定结果为对象1、即用户的凝视对象为无人机50的情况下，执行目镜部显示模式1(S5)，执行外部设备显示模式1(S7)。在步骤S5中，在目镜部、即右眼用光学部件41的下侧的显示区域12a中进行图2所示的无人机操纵用等的操纵引导显示。在步骤S7中，在外部设备20(在该实施方式中为智能手机)中进行无人机50的操纵用的显示。具体而言，显示图2所示的图标22b～22e。

另一方面，在本实施方式的例子中，在步骤S3中的判定结果为对象2、即用户的凝视对象为外部设备20的情况下，执行目镜部显示模式2(S9)，执行外部设备显示模式2(S11)。在步骤S9中，在目镜部、即右眼用光学部件41的下侧的显示区域12a中进行图3A所示的无人机处于停止状态的显示。并且，在步骤S11中，在外部设备20中进行无人机50的照相机操作的显示。具体而言，显示图3A所示的无人机拍摄的实时取景图像(或拍摄图像)、菜单画面、照相机操作图标等。

在步骤S7中执行外部设备显示模式1后、或在步骤S11中执行外部设备显示模式2后，返回步骤S1。

这样，在本实施方式的***中的显示部控制的流程中，判定用户40凝视着对象1(在该例子中为无人机50)还是凝视着对象2(在该例子中为外部设备20)，根据判定结果对目镜部(显示区域12a)中的显示模式和外部设备20(智能手机)中的显示模式进行切换。因此，在可佩戴部10的目镜部(显示区域12a)和外部设备20的显示部中适当进行与用户40的***使用状况对应的显示。

另外，在本实施方式中，对象1设为无人机50，对象2设为外部设备20，但是不限于此，根据应用本发明的***适当选择对象1、2即可。

接着，使用图4B所示的流程图对步骤S1中的眼镜型终端状态判定的详细动作进行说明。

进入眼镜型终端状态判定的流程后，首先，进行通信状态的判定(S21)。这里，判定可佩戴部10正在与哪个设备进行通信。在图2和图3A、3B所示的例子中，可佩戴部10能够与外部设备20进行通信，并且，外部设备20能够与无人机50进行通信，判定其通信目的地。可佩戴部10能够利用外部设备20判定外部设备20和/或无人机50之间的通信状态，并且，能够取得这些设备的信息。

接着，进行凝视方位判定(S23)。这里，通过可佩戴部10内的电子指南针来检测可佩戴部10朝向的方向。并且，进行凝视仰角判定(S25)。这里，使用可佩戴部10内的倾斜传感器或运动传感器等检测可佩戴部10朝向的仰角。

接着，进行内置照相机图像判定(S27)。这里，根据由信息取得部13内的图像输入部13a取得的图像数据，通过图像识别来识别图像。并且，进行内置麦克风声音判定(S29)。这里，根据由信息取得部13内的声音输入部13b取得的声音数据，识别周围的声音。

进行以上处理后，接着，利用有力信息进行对象判定(S31)。这里，根据步骤S21～S29中取得的信息，显示控制部30判定佩戴有可佩戴部10的用户凝视着的对象。例如，在仰角判定结果为仰视天空、照相机图像判定结果为存在无人机的影像、麦克风声音判定结果为提取出螺旋桨声音的情况下，判定为凝视对象是对象1(无人机)。另一方面，在仰角判定结果为从水平俯视、照相机图像判定结果为存在外部设备的影像的情况下，判定为凝视对象是对象2(外部设备20)。该判定由显示控制部30进行，但是，也可以由可佩戴部10内的控制部11或外部设备20内的控制部21中的任意一方单独进行，并且，也可以由两个控制部协作进行。

在步骤S31中进行对象判定后，接着，判定凝视对象是否是对象1(S33)。在步骤S31中的判定结果为凝视对象是对象1的情况下，设为“对象1”(S35)，另一方面，在凝视对象是对象2的情况下，设为“对象2”(S37)。

这样，在眼镜型终端状态判定的流程中，判定各设备的状态，根据该判定结果判定佩戴有可佩戴部10的用户40凝视着对象1(这里为无人机50)还是凝视着对象2(这里为智能手机)。另外，在该流程中，根据步骤S21～S29中的信息进行判定，但是，作为判定用的信息，也可以省略任意步骤，并且还可以取得其他信息。根据应用本发明的***适当选择即可。

另外，在图4A、图4B所示的流程中，为了容易说明，强调各状态的静止状态的状况判断进行说明，但是，如上所述，也可以分别根据规定时间的持续、变化的特征等进行判定。如果是转变模式或复合的判断，则精度和满意度提高，进而，也可以利用人工智能学习各种参数和图像等来进行判断。

接着，使用图5～图8所示的流程图对各设备的动作进行说明。图5所示的流程图示出外部设备20的动作。外部设备20的控制部21内的CPU根据内部存储器中存储的程序对外部设备20内的各部进行控制，由此执行该流程。

便携终端控制的流程开始后，首先，进行不同功能图标的一览显示(S41)。这里，关于外部设备20能够执行的功能，在第2显示部22中以图标的一览形式进行显示。作为这里显示的功能，存在“眼镜型协作”。眼镜型协作是如下模式：如使用图2和图3A、图3B说明的那样，根据用户40使用的智能手机(外部设备20)的状态对显示状态进行变更。另外，除了眼镜型协作以外，例如也可以显示显微镜协作、内窥镜协作等与其他外部设备进行协作的模式。

接着，判定是否选择了眼镜型协作(S43)。用户40在希望选择眼镜型协作的情况下，能够通过操作部件使光标移动，或者通过触摸操作等选择眼镜型协作。在该步骤中，根据用户40的操作状态进行判定。

在步骤S43中的判定结果不是眼镜型协作的情况下，显示下位功能的图标(S45)。这里，关于与步骤S41中显示的图标中、由用户40选择出的图标对应的功能，在第2显示部22中显示下位功能的图标。

接着，判定是否选择了图标(S47)。这里，在步骤S47中判定用户40是否在所显示的图标中进行了选择。在该判定结果为选择了图标的情况下，起动选择功能(S49)。接着，判定是否结束(S51)。这里，判定所选择的功能是否结束。在该判定结果为未结束的情况下，执行所选择的功能。

在步骤S47中的判定结果为未选择图标的情况下，判定是否返回(S53)。在外部设备20中设置有用于返回最初状态(原始位置)的图标或操作部件。在该步骤中，根据是否触摸了该图标或操作了操作部件来进行判定。在该判定结果为未选择返回的情况下，返回步骤S45，显示下位功能的图标。

在步骤S53中的判定结果为选择了返回的情况下、或步骤S51中的判定结果为结束的情况下，返回步骤S41。

返回所述步骤S43，在该步骤中的判定结果为眼镜型协作的情况下，除此之外还进行协作功能一览显示(图6的S61)。这里，显示眼镜型协作中的协作目的地、无人机50、除此以外的协作目的地例如显微镜协作、内窥镜协作等与其他外部设备进行协作的模式。

接着，判定是否是无人机协作(S63)。用户40在希望选择无人机协作的情况下，能够通过操作部件使光标移动，或者通过触摸操作等选择无人机协作。在该步骤中，根据用户40对外部设备20的操作状态进行判定。在该判定结果为用户选择了与无人机以外的协作的情况下，执行其他功能。

在步骤S63中的判定结果为选择了无人机协作的情况下，接着，显示无人机协作中的菜单(S65)。这里，在第2显示部22中显示各种菜单。例如，进行在存在多个无人机的情况下与哪个无人机进行协作、以及与外部设备20或无人机50之间的通信方式、搭载在无人机50中的照相机的初始设定、无人机50自身的初始设定等各种设定用的菜单显示。当选择任意菜单的项目后，按照选择事项来执行。

接着，判定目视对象是操纵部还是无人机(S67)。这里，根据图4B中说明的眼镜型终端状态判定等，判定用户40凝视着的对象是无人机50还是具有操纵部的外部设备20(智能手机)。在本实施方式中，由显示控制部30进行该判定。显示控制部30内的对外部设备20的控制部21单独进行该判定。除此以外，也可以由外部设备20和可佩戴部10协作进行该判定，并且，也可以接收可佩戴部10判定出的结果。

在步骤S67中的判定结果为目视对象是无人机的情况下，在目镜部和终端显示部中进行操纵部引导显示(S69)。这里，如使用图2说明的那样，用户40处于凝视着无人机50的状态。因此，在可佩戴部10的显示区域12a和外部设备20(智能手机)中进行显示，使得用户40能够专心于无人机50的操纵。即，向可佩戴部10发送信号，以在可佩戴部10的显示区域12a中显示操纵用图标22b～22e。并且，在外部设备20的第2显示部22中较大地显示操纵用的图标22b～22e，用户40在不看画面的状态下也容易摸索着通过触摸操作进行操纵。

接着，按照操作来发送无人机操作信号(S71)。这里，根据图标22b～22e的触摸状态、用户对外部设备20的动作方式等，向无人机50发送使无人机50前进、后退、左右旋转、上升、下降等的操纵信号(参照图7的S95)。

接着，判定是否进行实时取景(S73)。用户40有时希望一边确认来自无人机50搭载的照相机51的图像，一边进行无人机50的操纵。另一方面，多数情况下可佩戴部10的电源为小型，在希望防止电源消耗的情况下，用户40不希望显示来自照相机51的图像。因此，在该步骤中，为了使用户40能够选择是否进行实时取景显示，设置实时取景显示用的图标或操作部，根据其操作状态判定是否进行实时取景。

在步骤S73中的判定结果为进行实时取景的情况下，起动无人机50的照相机51，在目镜部(显示区域12a)中显示图像(S75)。如图3A所示，在显示区域12a中进行实时取景显示(参照后述图7的S99)。

另一方面，在步骤S73中的判定结果为不进行实时取景的情况下，关闭无人机照相机，也关闭显示(S77)。这里，为了防止电源消耗，关闭无人机50中搭载的照相机，并且还关闭可佩戴部10的显示区域12a的显示。

返回步骤S67，在该步骤中的判定结果为目视对象是操纵部的情况下，停止无人机(S79)。如上所述，在无人机50的操纵时，从确保安全的观点来看，用户40期望在直接观察着无人机50的状态下进行操纵。因此，用户40在观察着外部设备20(智能手机)的第2显示部22的操纵用画面(图标22b～22e等)的状态下，不期望使无人机50飞行。因此，在本实施方式中，在目视对象是操纵部的情况下，外部设备20对无人机50进行指示，以使其成为在空中停止的状态、即进行悬停。

接着，在目镜部中进行无人机停止显示(S81)。用户40透过可佩戴部10的光学部件41、42目视观察着操纵部。因此，经由通信进行指示，使得如图3A所示，在可佩戴部10的显示区域12a中显示处于停止状态。

进行无人机的停止显示后，接着，判定是否是实时取景(S83)。这里，与步骤S73同样，用户40选择是否进行实时取景显示，所以，根据该选择结果进行判定。

在步骤S83中的判定结果为进行实时取景的情况下，起动无人机50的照相机，在目镜部(显示区域12a)中显示图像(S85)。这里，与步骤S75同样，如图3A所示，在显示区域12a中进行实时取景显示(参照后述图7的S99)。

接着，在终端显示部中也进行实时取景显示(S87)。这里，在外部设备20的第2显示部22中也进行实时取景显示。用户40观察着外部设备20的第2显示部22，所以，在该显示部中也进行实时取景显示，能够确认无人机50的状态。

接着，根据操作来进行照相机控制(S89)。在外部设备20的第2显示部22中显示照相机51中的拍摄用的菜单画面、静态图像和动态图像的拍摄指示、对焦指示、曝光校正指示、光学滤镜***指示、图像处理指示等各种图标。在该步骤中，根据用户40的触摸操作等来进行照相机操作(参照后述图7的S103)。另外，除了图标以外，也可以设置照相机操作用的操作部件，根据其操作状态来进行照相机控制。

返回步骤S83，在该步骤中的判定结果为不进行实时取景的情况下，关闭无人机照相机，也关闭显示(S91)。这里，为了防止电源消耗，关闭无人机50中搭载的照相机，并且还关闭可佩戴部10的显示区域12a的显示。

在步骤S75、S77、S89、S91中执行各自的处理后，接着，判定无人机操作是否结束(S93)。用户40在结束无人机50的操作的情况下，对结束图标或结束操作部件等进行操作。在该步骤中，根据这些操作进行判定。在步骤S93中的判定结果为无人机操作未结束的情况下，返回步骤S67。

另一方面，在步骤S93中的判定结果为无人机操作结束的情况下，使无人机返回(S95)。这里，进行返回用的控制，使得无人机50平安返回用户40的位置(参照后述图7的S95)。无人机50返回后，返回步骤41。

这样，在便携终端控制的流程中，选择眼镜型协作、无人机协作后(参照S43、S63)，根据用户40凝视着无人机50还是凝视着外部设备20这一目视对象物，对可佩戴部10的显示区域12a和外部设备20的第2显示部22中的显示进行切换(S69、S81)。因此，根据用户的凝视对象进行最佳显示。并且，可佩戴部10与外部设备20进行协作，所以，能够利用外部设备20所具有的信息、例如无人机50的操纵过程和历史信息等，能够进行综合判断。进而，经由外部设备20而与外部的设备或数据库等进行协作，并且，能够活用人工智能。

另外，本流程利用便携终端(智能手机)进行无人机50的控制。但是，不限于该例子，例如，也可以通过专用控制器进行控制，该情况下，通过眼镜型终端(可佩戴部)进行无人机50的控制即可。并且，在图5和图6所示的流程中，为了容易说明，强调各状态的静止状态的状况判断而进行说明，但是，如上所述，也可以分别根据规定时间的持续、变化的特征进行判定。如果是转变模式或复合的判断，则精度和满意度提高，进而，也可以利用人工智能学习各种参数和图像等进行判断。

接着，使用图7所示的流程图示出无人机50的动作。无人机50的控制部内的CPU根据内部存储器中存储的程序对无人机50内的各部进行控制，由此执行该流程。

无人机控制的流程开始后，首先，等待通信(S91)。在本实施方式中，外部设备20具有作为无人机50的操纵设备的作用，无人机50根据来自外部设备20的控制信号进行动作。在该步骤中，等待从外部设备20向无人机50发送信号。存在通信后，执行步骤S93以后的步骤。

接着，判定是否是移动操作通信(S93)。在用户40凝视着无人机50的情况下，从外部设备20发送来无人机操作信号(参照图6的S71)。在该步骤中，判定来自外部设备20的通信是否是移动操作用的通信。

在步骤S93中的判定结果为是移动操作通信的情况下，进行与操作对应的移动控制(S95)。这里，根据来自外部设备20的指示，进行前进、后退、左转、右转、上升、下降、悬停等控制。并且，在从外部设备20进行了返回指示的情况下，返回用户40身边。

在步骤S93中的判定结果为不是移动操作通信的情况下，接着，判定是否是实时取景通信(S97)。如上所述，在用户40希望确认由无人机50的照相机部拍摄的实时取景图像的情况下，进行指示以起动无人机照相机并发送图像。在该步骤中，根据是否接收到该指示来进行判定。

在步骤S97中的判定结果为存在实时取景通信的情况下，向指定发送目的地进行发送(S99)。这里，起动无人机50中搭载的照相机51，向指定目的地发送由该照相机51取得的图像数据。作为指定目的地，存在可佩戴部10和/或外部设备20，并且，也可以是除此以外的发送目的地。

在步骤S97中的判定结果为不是实时取景通信的情况下，接着，判定是否是照相机模式等(S101)。用户40在进行无人机50中搭载的照相机51的操作的情况下，发送来操作指示(参照图6的S89)。在该步骤中，判定是否进行了该指示。

在步骤S101中的判定结果为是照相机模式等的情况下，进行与操作对应的拍摄控制(S103)。这里，根据来自外部设备20的指示进行拍摄控制。

在步骤S101中的判定结果为不是照相机模式等的情况下，并且在执行步骤S95、S99、S103中的处理后，返回步骤S91。

这样，在本实施方式中的无人机控制的流程中，用户40根据从外部设备20通过通信所指示的命令，进行无人机50的控制。另外，在无人机50中，在希望防止电源消耗的情况下，也可以限制摄像动作和所拍摄的图像的发送等。并且，在图7所示的流程中，为了容易说明，强调各状态的静止状态的状况判断进行说明，但是，如上所述，也可以分别根据规定时间的持续、变化的特征进行判定。如果是转变模式或复合的判断，则精度和满意度提高，进而，也可以利用人工智能学习各种参数和图像等进行判断。

接着，使用图8所示的流程图对眼镜型终端(可佩戴部10)的动作进行说明。可佩戴部10的控制部11内的CPU根据内部存储器中存储的程序对可佩戴部10内的各部进行控制，由此执行该流程。

眼镜型终端的流程开始后，首先，等待通信(S111)。在本实施方式中，可佩戴部10根据来自外部设备20的通信进行动作。在该步骤中，等待从外部设备20向可佩戴部10发送来信号。

接着，判定是否存在通信(S113)。如上所述，作为通信方式，使用WiFi或蓝牙(注册商标)等无线通信、红外通信等中的任意一个或多个通信方式。在该步骤中，判定是否通过任意通信方式从外部设备20进行访问。

在步骤S113中的判定结果为存在通信的情况下，开启各传感器(S115)。如上所述，在本实施方式中，可佩戴部10具有凝视方位检测用的电子指南针、凝视仰角检测用的传感器、内置照相机、内置麦克风等各种传感器(参照图4B)，开始进行这些传感器的动作。

开启各种传感器后，接着，进行凝视对象的判定(S117)。这里，使用步骤S115中开始进行动作的各种传感器的检测输出，根据图4B的流程等进行凝视对象的判定。

进行凝视对象的判定后，接着，发送判定结果(S119)。这里，经由通信电路向外部设备20发送步骤S117中的凝视对象的判定结果。外部设备20根据该检测结果进行凝视对象的判定，根据该判定结果进行显示的切换(参照图6的S69、S81)。

接着，判定是否是命令通信(S121)。这里，判定是否从外部设备20(智能手机)向眼镜型终端发送来了命令。

在步骤S121中的判定结果为发送来了命令的情况下，进行与命令一致的控制(显示)(S123)。如上所述，外部设备20向可佩戴部10发送来与显示控制有关的命令(图6的S69、S75、S77、S81、S85、S87等)，所以，进行与这些命令对应的控制。例如，如上所述，在希望防止可佩戴部10的电源消耗的情况下，发送来关闭实时取景显示的命令。该情况下，在可佩戴部10中不进行实时取景显示。

在步骤S123中进行与命令一致的控制后、或步骤S121中的判定结果为不是命令通信的情况下、或步骤S113中的判定结果为不是通信的情况下，返回步骤S111。

这样，在眼镜型终端的流程中，根据来自外部设备20的命令进行显示(参照S123)。因此，能够利用眼镜型终端和外部设备进行与状况对应的适当显示。并且，通过关闭实时取景显示，能够防止电源消耗。

另外，在图8所示的流程中，为了容易说明，强调各状态的静止状态的状况判断进行说明，但是，如上所述，也可以分别根据规定时间的持续、变化的特征进行判定。如果是转变模式或复合的判断，则精度和满意度提高，进而，也可以利用人工智能学习各种参数和图像等进行判断。

如以上说明的那样，在本发明的第1实施方式中，在由应用于眼镜型终端的可佩戴部10、应用于智能手机的外部设备20和无人机50构成的***中，根据用户40的凝视对象，使可佩戴部10和外部设备20中显示的内容不同，容易进行操作。

接着，使用图9A～图11对本发明的第2实施方式进行说明。在第2实施方式中，在佩戴有可佩戴部10的医师44对患者进行诊察时，能够在显示部中显示各种信息。

在本实施方式的结构中，医师44佩戴图1A中的可佩戴部10，使用个人计算机(PC)60作为外部设备20，这些主要结构与第1实施方式相同。另外，外部设备20的第2显示部22相当于个人计算机的显示面板，具有控制部21、信息取得部23。

作为信息取得部23，具有键盘、触摸面板、麦克风等。作为控制部21的周边电路，具有用于与可佩戴部10进行通信的通信电路。个人计算机60可以是单机，但是，在本实施方式中，设为与医院内的LAN(Local Area Network：局域网)连接的医院内终端进行说明。

接着，使用图9A-图9C对本实施方式中的可佩戴部10和个人计算机60的使用方法进行说明。

图9A示出佩戴有可佩戴部10的医师44正在对患者45进行诊察的状况。在该状态下，佩戴有可佩戴部10的医师44凝视着患者45。由设置在可佩戴部10中的图像输入部13a取得的图像不显示在个人计算机60的显示监视器中，仅显示在可佩戴部10的第1显示部12的显示区域12a中。并且，向个人计算机60发送此时的实时取景图像，存储在个人计算机60内的存储器中。

图9B示出医师44正在对患者45说明症状(诊断结果)的状况。在该状态下，佩戴有可佩戴部10的医师44凝视着个人计算机60的显示监视器。可佩戴部10的显示区域12a熄灭，在个人计算机60的显示监视器中显示存储器中存储的患者的图像。

图9C示出个人计算机60的显示面板上的显示的变形例。即，在图9B所示的例子中，当医师44凝视患者45时，自动地在个人计算机60的显示面板中显示患者45的患部。与此相对，在图9C所示的变形例中，在患者45委托“请让我看”、医师44对其应答“是”的情况下、即通过会话进行许可的情况下，在个人计算机60的显示面板中显示患者45的患部。因此，个人计算机60使用由麦克风收集的声音数据进行声音识别来进行判定。在个人计算机60的显示面板中进行显示后，可佩戴部10的显示区域12a中的显示也可以熄灭。

另外，如图9C所示，也可以在显示区域12a中并列显示患者45的2个患部。该情况下，显示过去拍摄并记录的图像和本次诊察中拍摄的图像以进行比较。在图9C中，在通过会话许可显示后，在个人计算机60的显示面板中并列显示2个图像，用于对过去和本次的图像进行比较。

接着，使用图10所示的流程图对个人计算机60中的动作进行说明。在该流程中，个人计算机60内的控制部的CPU根据内部存储器中存储的程序对个人计算机60内的各部进行控制。

图10所示的医院内终端的流程开始后，首先，等待操作(S131)。例如，判定是否进行了鼠标、键盘、条形码读取等各种操作，在不存在这些操作的情况下，成为待机状态。在步骤S131中的判定结果为检测到操作后，与可佩戴部10进行终端通信(S133)。这里，在个人计算机60与可佩戴部10之间进行无线通信(参照后述图11的S161)。

进行可佩戴终端通信后，接着，判定是否进行了信息取得用的输入操作(S135)。作为信息取得用的输入操作，存在键盘输入、基于麦克风的声音输入等。在该步骤中，判定是否进行了任意一种信息输入。

在步骤S135中的判定结果为进行了信息输入操作的情况下，接着，判定信息取得的输入方是什么(S137)。这里，判定信息输入方是键盘等还是声音输入。另外，在信息取得的输入方的判定时，也可以利用可佩戴部10中的信息(参照后述图11的S163、S165)。

在步骤S137中的判定结果为是声音输入的情况下，取得信息，进行目镜显示(S139)。这里，从麦克风输入声音数据，根据该输入，例如确定患者。例如，在医师44称呼患者的姓名等时，进行声音识别。在可佩戴部10的显示区域12a中进行所取得的信息的显示。例如，在确定了患者的情况下，显示患者的姓氏等。

接着，进行声音谈判判定(S143)。这里，根据从麦克风输入的声音数据，判定医师44和患者45的会话内容。例如，根据图9C所示的会话进行判定。另外，在该会话内容的识别(声音识别)时，可以由个人计算机60进行，并且，也可以由医院内的服务器进行，进而，还可以与外部服务器连接而通过该外部服务器进行声音识别。

在步骤S143中的判定结果是判定出基于声音的谈判内容的情况下(分享的情况下)，取得信息，进行桌面显示(S145)。这里，取得与声音谈判的结果对应的信息，在个人计算机的显示面板中显示该取得的信息。

返回步骤S137，在该步骤中的判定结果为是键盘等输入方的情况下，取得信息，进行桌面显示(S141)。这里，在个人计算机60的显示面板中显示通过键盘等取得的信息。

在步骤S141或S145中取得信息并进行桌面显示后、或步骤S143中的判定结果为不分享声音谈判结果的情况下、或步骤S135中未进行信息取得输入操作的情况下，进行凝视方向的判定(S147)。这里，判定医师44朝向患者45还是朝向个人计算机60的显示面板。作为凝视方向的判定方法，根据图4B的流程图所示的条件等进行判定即可。另外，在凝视方向的判定时，也可以利用可佩戴部10中的信息(参照后述图11的S163、S165)。

如果步骤S147中的判定结果为医师44的凝视方向是患者45的方向，则进行目镜显示(S149)。这里，如图9A所示，在可佩戴部10的显示区域12a中显示由可佩戴部10的图像输入部13a取得的图像。

另一方面，在步骤S147中的判定结果为医师44朝向个人计算机60的显示面板的情况下，进行桌面显示(S151)。这里，熄灭可佩戴部10的显示区域12a的显示，在个人计算机60的显示面板中进行患者45的患部等、有助于对患者说明诊察结果的信息的显示。

在步骤S149或S151中进行显示后，接着，判定是否是注销(S153)。这里，判定是否在个人计算机60中实施了注销处理。在该判定结果为未实施注销处理的情况下，返回步骤S133。

另一方面，在步骤S153中的判定结果为实施了注销处理的情况下，关闭可佩戴型终端(S155)。在可佩戴部10中实施关闭处理后(图11的S177)，进行该意思的通信，所以，根据该通信进行判定。关闭可佩戴型终端后，返回步骤S131。

这样，在医院内终端的流程中，可佩戴部10一边与PC等医院内终端进行通信，一边对信息进行处理，能够适当切换显示。另外，在本实施方式中，未进行图6的S73、S83中的可否进行实时取景的判定。但是，与第1实施方式同样，为了防止可佩戴部10中的电源消耗，当然能够进行实时取景显示的开启关闭。并且，医院内终端也可以与医院内服务器或外部服务器连接，取得各种信息，并且进行声音识别、图像识别等外部处理。能够进行外部协作，由此，容易进行各种作业。

接着，使用图11所示的流程图对本实施方式中的可佩戴部10的动作进行说明。在该流程中，可佩戴部10的控制部11内的CPU根据内部存储器中存储的程序对可佩戴部10内的各部进行控制。

图11所示的可佩戴部的流程开始后，首先，进行通信等待(S161)。医院内终端(个人计算机60)在步骤S133中与可佩戴部10进行通信，所以，等待该通信。

在步骤S161中的判定结果为存在通信时，接着，进行各种输入部的起动(S163)。这里，起动可佩戴部10内的图像输入部13a或声音输入部13b等各种输入部。

起动各种输入部后，接着，发送各种输入结果(S165)。这里，向医院内终端(个人计算机60)发送由在步骤S163中起动的输入部取得的信息。另外，在信息的发送时，也可以不是原始的数据。

进行各种输入结果的发送后，接着，判定目镜部(显示区域12a)是否能够显示(S167)。根据所述信息取得的输入方的判定结果，在步骤S139中，能够利用目镜部进行显示，另一方面，在步骤141中，在目镜部中不进行显示。并且，根据医师44的凝视方向，在步骤S149中，能够利用目镜部进行显示，另一方面，在步骤S151中，在目镜部中不进行显示。在该步骤中，根据来自医院内终端的指示，判定目镜部是否能够显示。

在步骤S167中的判定结果为能够进行目镜显示的情况下，进行目镜显示(S171)。这里，在显示区域12a中进行例如图9A所示的显示。另一方面，在判定结果为不能进行目镜显示的情况下，关闭目镜显示(S169)。这里，例如，如图9B所示，关闭显示区域12a的显示。另外，如果没有不妥，则也可以依然继续进行显示。通过关闭显示，能够防止可佩戴部10中的电源消耗。

在步骤S171中进行目镜显示后，接着，判定是否进行了拍摄指示或解除(S173)。进行拍摄指示后，执行基于由图像输入部13a取得的图像数据的静态图像拍摄，直到解除为止进行显示。这里，判定是否进行了该拍摄指示/解除。并且，在动态图像的情况下，判定是指示了动态图像拍摄的开始还是指示了动态图像拍摄的结束等。

在步骤S173中的判定结果为进行了拍摄指示/解除的情况下，进行拍摄结果的保持或解除(S175)。这里，根据步骤S173的判定结果，进行静态图像的显示(冻结)、动态图像的记录开始/结束。另外，向个人计算机60发送由图像输入部13a取得的图像数据并在个人计算机60中进行记录，但是，也可以在可佩戴部10中进行记录。解除拍摄结果后，返回通常的实时取景显示。

在步骤S175中进行拍摄结果的保持/解除后、或步骤S169中关闭目镜显示后、或步骤S173中的判定结果为不存在拍摄指示/解除的情况下，接着，判定是否是终端关闭信息(S177)。如上所述，在医院内终端的动作中，在步骤S155中进行可佩戴型终端的关闭后，通过通信发来通知。在该步骤中，根据是否存在该通知来进行判定。在该判定结果为不存在终端关闭信息的情况下，返回步骤S161。

在步骤S177中的判定结果为存在终端关闭信息的情况下，关闭各种输入部(S179)。这里，关闭步骤S163中起动的各种输入部。关闭各种输入部后，返回步骤S161。

这样，在本发明的第2实施方式中，在医师44凝视着患者45的情况下，在可佩戴部10的显示区域12a中显示患者的患部等的图像(图9A、图10的S149、图11的S171等)。并且，在医师44一边观察个人计算机60一边对患者45说明症状的情况下，在个人计算机60中显示图像(图9B、图10的S151、图11的S169等)。因此，在本实施方式中，也能够根据佩戴有可佩戴部10的用户的凝视方向，适当进行可佩戴部10和外部设备20(个人计算机60)的显示部中的显示。

并且，在第2实施方式中，具有在佩戴有可佩戴型终端时取得对面人物的反应信息的反应信息取得部(图像输入部13a的摄像元件、声音输入部13b的麦克风等)，显示控制部根据由反应信息取得部取得的反应信息，利用第1显示设备显示利用第2显示部显示的图像(例如参照图9C、图10的S143、S145)。因此，能够根据周围的状况，自动地在第1显示部和第2显示部中进行适当的显示。另外，作为反应信息取得部，在本实施方式中，例如具有麦克风、电子指南针、图像输入部、倾斜检测传感器、陀螺仪等运动传感器，但是，除此以外，只要能够检测用户的反应信息即可。

如以上说明的那样，在本发明的各实施方式中，检测使用者凝视的对象(例如参照图4A的S1、图4B、图6的S67等)，在利用第1显示部显示利用第2显示部显示的图像时，根据对象进行切换而控制(例如参照图4A的S3、S5、S9、图6的S69、S81等)。因此，能够根据用户的可佩戴型终端的使用状态，在可佩戴型终端和外部装置中适当进行显示。即，能够根据用户凝视的对象适当进行显示。

另外，在本发明的各实施方式中，说明了经由智能手机对无线操纵型飞行器进行操纵的例子、以及在医师对患者进行诊察的情况下应用本发明的例子。但是，除了该例子以外，只要是在可佩戴型终端和其他外部设备双方中进行显示的***，则能够应用本发明。

并且，在本发明的各实施方式中，作为控制部，说明了由CPU及其周边电路和程序来执行的例子。但是不限于此，关于功能的一部分或全部，也可以是根据由Verilog记述的程序语言生成的门电路等硬件结构，并且，可以利用使用了DSP(Digital SignalProcessor：数字信号处理器)等软件的硬件结构。这些当然可以适当组合。并且，关于各种判定的功能，也可以反映基于人工智能的学习结果。

并且，关于本说明书中说明的技术中主要利用流程图说明的控制，多数情况下能够利用程序进行设定，有时也收纳在记录介质或记录部中。关于在该记录介质、记录部中进行记录的方法，可以在产品出厂时进行记录，也可以利用发布的记录介质，还可以经由因特网进行下载。

并且，关于权利要求书、说明书和附图中的动作流程，为了简便而使用“首先”、“接着”等表现顺序的词语进行了说明，在没有特别说明的部位，不意味着必须按照该顺序进行实施。

本发明不限于上述实施方式的原样，能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。并且，通过上述实施方式所公开的多个结构要素的适当组合，能够形成各种发明。例如，也可以删除实施方式所示的全部结构要素中的若干个结构要素。进而，还可以适当组合不同实施方式中的结构要素。

Claims (19)

1.一种显示***，其能够利用佩戴在使用者的头部且具有第1显示部的可佩戴型终端和具有第2显示部的上述可佩戴型终端以外的设备显示大致相同的内容，其中，上述显示***具有：

判定部，其判定上述使用者凝视的对象；以及

显示控制部，其在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述判定的上述对象对显示形式的变更进行控制。

2.根据权利要求1所述的显示***，其中，

上述判定部根据使用者的姿态随时间变化的特征或特定时间的姿态的持续进行判定。

3.根据权利要求1所述的显示***，其中，

上述判定部取得上述使用者的姿态信息，根据该姿态信息进行判定。

4.根据权利要求1所述的显示***，其中，

上述判定部取得周围的声音信息，根据该取得的声音信息进行判定。

5.根据权利要求1所述的显示***，其中，

上述判定部根据由摄像部取得的图像信息进行判定。

6.根据权利要求1所述的显示***，其中，

上述显示***具有反应信息取得部，在佩戴了上述可佩戴型终端时，该反应信息取得部取得对面的人物的反应信息，

上述显示控制部根据由上述反应信息取得部取得的上述反应信息，利用上述第1显示部显示利用上述第2显示部显示的图像。

7.一种便携信息设备，其能够与可佩戴型终端进行通信，该可佩戴型终端佩戴在使用者的头部，在上述使用者直接视觉辨认现实空间的方向上具有能够透射可视光的第1显示部，其中，上述便携信息设备具有：

第2显示部，其设置在上述便携信息设备上；

判定部，其检测上述使用者凝视的对象；以及

显示控制部，其在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述对象对显示形式的变更进行控制。

8.根据权利要求7所述的便携信息设备，其中，

上述判定部根据使用者的姿态随时间变化的特征或特定时间的姿态的持续进行判定。

9.根据权利要求7所述的便携信息设备，其中，

上述判定部取得上述使用者的姿态信息，根据该姿态信息进行判定。

10.根据权利要求7所述的便携信息设备，其中，

上述判定部取得周围的声音信息，根据该取得的声音信息进行判定。

11.根据权利要求7所述的便携信息设备，其中，

上述判定部根据由摄像部取得的图像信息进行判定。

12.根据权利要求7所述的便携信息设备，其中，

上述显示***具有反应信息取得部，在佩戴了上述可佩戴型终端时，该反应信息取得部取得对面的人物的反应信息，

上述显示控制部根据由上述反应信息取得部取得的上述反应信息，利用上述第1显示部显示利用上述第2显示部显示的图像。

13.一种可佩戴型终端，其能够与便携信息设备进行通信，该便携信息设备具有第2显示部和判定使用者凝视的对象的判定部，其中，上述可佩戴型终端具有：

第1显示部，其设置在上述可佩戴型终端上；以及

显示控制部，其在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述对象对显示形式的变更进行控制。

14.根据权利要求13所述的可佩戴型终端，其中，

上述可佩戴型终端具有判定部，该判定部根据使用者的姿态随时间变化的特征、使用者的姿态信息、周围的声音信息、由摄像部取得的图像信息中的至少一方，判定使用者凝视的对象。

15.一种信息显示方法，能够利用佩戴在使用者的头部且具有第1显示部的可佩戴型终端和具有第2显示部的上述可佩戴型终端以外的设备显示大致相同的内容，其中，上述信息显示方法具有以下步骤：

检测上述使用者凝视的对象；以及

在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述对象对显示形式的变更进行控制。

16.根据权利要求15所述的信息显示方法，其中，

根据使用者的姿态随时间变化的特征、使用者的姿态信息、周围的声音信息、由摄像部取得的图像信息中的至少一方，判定上述使用者凝视的对象。

17.一种便携信息设备中的信息显示方法，该便携信息设备能够与可佩戴型终端进行通信，该可佩戴型终端佩戴在使用者的头部，在上述使用者直接视觉辨认现实空间的方向上具有能够透射可视光的第1显示部，该便携信息设备具有第2显示部，其中，上述信息显示方法具有以下步骤：

检测上述使用者凝视的对象；以及

在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述检测到的上述对象对显示形式的变更进行控制。

18.根据权利要求17所述的信息显示方法，其中，

根据使用者的姿态随时间变化的特征、使用者的姿态信息、周围的声音信息、由摄像部取得的图像信息中的至少一方，判定上述使用者凝视的对象。

19.一种记录介质，该记录介质存储有由便携信息设备内设置的计算机执行的程序，该便携信息设备能够与可佩戴型终端进行通信，该可佩戴型终端佩戴在使用者的头部，在上述使用者直接视觉辨认现实空间的方向上具有能够透射可视光的第1显示部，该便携信息设备具有第2显示部，其中，上述程序具有以下步骤：

检测上述使用者凝视的对象，

在利用上述第1显示部显示利用上述第2显示部显示的图像时，根据上述检测到的上述对象对显示形式的变更进行控制。