CN114648623A - 信息处理装置、信息处理方法以及计算机可读介质 - Google Patents

Abstract

本发明公开了一种信息处理装置、信息处理方法以及计算机可读介质。信息处理装置具有对将虚拟图像配置在现实空间中的设备进行控制的处理器，所述处理器进行以下处理：在具有物理显示设备的外部终端与所述信息处理装置连接的情况下，在该显示设备的前方侧配置所述虚拟图像时，配置指示所述终端的动作的按钮作为所述虚拟图像。

Description

信息处理装置、信息处理方法以及计算机可读介质

技术领域

本公开涉及信息处理装置、信息处理方法以及计算机可读介质。

背景技术

如今，存在一种目视确认现实世界和虚拟视觉信息合成的虚拟世界的技术。这种技术被称作扩增现实(即，AR：Augmented Reality)或混合现实(即，MR：Mixed Reality)。并且，作为相关技术文献，例如可以列举日本专利第5263049号公报。

发明内容

随着能够体验扩增现实或混合现实等的设备(以下，称作“xR设备”)的普及，可以预测今后同时看到物理显示设备上显示的画面(以下，称作“真实画面”)和通过xR设备显示的虚拟图像这两者的机会也会增加。例如，还可以预测将虚拟图像并排显示在显示设备的前方侧的用法。

本公开的目的在于，实现虚拟图像并排配置在显示设备的前方侧的情况下的虚拟图像和显示设备的协作。

根据本公开的第1方案，提供一种信息处理装置，其具有对将虚拟图像配置在现实空间中的设备进行控制的处理器，所述处理器进行以下处理：在具有物理显示设备的外部终端与所述信息处理装置连接了的情况下，在该显示设备的前方侧配置所述虚拟图像时，配置指示所述终端的动作的按钮作为所述虚拟图像。

根据本公开的第2方案，所述按钮是选择按钮。

根据本公开的第3方案，所述选择按钮是选择基于所述终端的动作的执行与否的选择用按钮。

根据本公开的第4方案，所述执行与否的对象是在所述终端的***构成中伴随变更的动作。

根据本公开的第5方案，所述选择按钮是选择针对所述显示设备上显示的信息的同意不同意的选择用按钮。

根据本公开的第6方案，所述按钮是确定按钮。

根据本公开的第7方案，所述确定按钮指示动作的开始。

根据本公开的第8方案，所述处理器在现实空间中配置表示开始了的动作的进展状况的信息作为所述虚拟图像。

根据本公开的第9方案，在所述显示设备上显示有多个内容的情况下，所述处理器在现实空间中配置确定所述按钮所关联的特定内容的信息作为所述虚拟图像。

根据本公开的第10方案，所述信息配置在所述特定内容的上方的现实空间中。

根据本公开的第11方案，所述按钮是与应用程序关联起来的图标。

根据本公开的第12方案，所述应用程序是消息应用程序，所述图标是通知消息的接收的通知用图标。

根据本公开的第13方案，在满足预先规定的第1条件的情况下，所述处理器将显示在所述终端的所述显示设备上的光标切换到向现实空间中的作为所述虚拟图像的配置。

根据本公开的第14方案，在满足预先规定的第2条件的情况下，所述处理器将作为所述虚拟图像配置在现实空间中的所述光标切换到基于所述显示设备的显示。

根据本公开的第15方案，在未确认所述按钮的操作的状态下检测到预先规定的事件的情况下，所述处理器输出警报。

根据本公开的第16方案，所述预先规定的事件是如下情况中的任意1个：断开所述信息处理装置的电源的操作；断开所述终端的电源的操作；从身上摘下已佩戴的本终端的操作；解除连接的操作；所述信息处理装置与该终端之间的距离超过阈值的情况；以及配置在现实空间中的所述虚拟图像从所述显示设备的前方侧的位置偏离的情况。

根据本公开的第17方案，在恢复了未确认所述按钮的操作的状态下被解除的与所述终端之间的连接的情况下，所述处理器将该按钮作为所述虚拟图像再次配置在现实空间中。

根据本公开的第18方案，在配置于现实空间中的所述虚拟图像与所述显示设备之间的位置关系不满足预先规定的条件的情况下，所述处理器停止向现实空间中的所述虚拟图像的配置。

根据本公开的第19方案，在停止向现实空间中的所述虚拟图像的配置的情况下，所述处理器使该虚拟图像缓慢地从现实空间中淡出。

根据本公开的第20方案，在停止向现实空间中的所述虚拟图像的配置的情况下，所述处理器在停止该虚拟图像的配置之前输出暗示停止的警报。

根据本公开的第21方案，即使是在配置于现实空间中的所述虚拟图像与所述显示设备之间的位置关系不满足预先规定的条件的情况下，在存在事先的设定时，所述处理器也继续进行向现实空间中的该虚拟图像的配置。

根据本公开的第22方案，在配置于现实空间中的所述虚拟图像与所述显示设备之间的位置关系满足预先规定的条件的情况下，所述处理器恢复向现实空间中的所述虚拟图像的配置。

根据本公开的第23方案，在恢复向现实空间中的所述虚拟图像的配置的情况下，所述处理器使该虚拟图像缓慢地淡入到现实空间中。

根据本公开的第24方案，在恢复向现实空间中的所述虚拟图像的配置的情况下，所述处理器在恢复该虚拟图像的配置之前输出暗示恢复的警报。

根据本公开的第25方案，即使是在停止配置于现实空间中的所述虚拟图像与所述显示设备之间的位置关系满足预先规定的条件的情况下，在存在事先的设定时，所述处理器也继续停止向现实空间中的将该虚拟图像的配置。

根据本公开的第26方案，所述信息处理装置还具有摄像机，在所述摄像机拍摄的范围内包含所述显示设备的情况下，所述处理器在预先规定的时刻拍摄该显示设备上显示的画面并保存。

根据本公开的第27方案，提供一种计算机可读介质，其存储有使计算机执行处理的程序，所述计算机对将虚拟图像配置在现实空间中的设备进行控制，所述处理具有以下工序：在具有物理显示设备的外部终端与信息处理装置连接了的状态下，将所述虚拟图像配置在该显示设备的前方侧；以及配置指示所述终端的动作的按钮作为所述虚拟图像。

根据本公开的第28方案，提供一种信息处理方法，其是对将虚拟图像配置在现实空间中的设备进行控制的计算机用信息处理方法，所述信息处理方法具有如下工序：在具有物理显示设备的外部终端与信息处理装置连接了的状态下，将所述虚拟图像配置在该显示设备的前方侧；以及配置指示所述终端的动作的按钮作为所述虚拟图像。

(效果)

根据所述第1方案，能够实现虚拟图像并排配置在显示设备的前方侧的情况下的虚拟图像和显示设备的协作。

根据所述第2方案，能够容易使用户注意到选择按钮的显示。

根据所述第3方案，能够容易使用户注意到需要选择的操作的存在。

根据所述第4方案，能够容易使用户注意到重要性高的操作的存在。

根据所述第5方案，能够容易使用户注意到重要性高的操作的存在。

根据所述第6方案，能够容易使用户注意到确定按钮的显示。

根据所述第7方案，能够使用户注意到需要确定的操作的存在。

根据所述第8方案，能够容易确认开始了的动作的进展状况。

根据所述第9方案，即使在显示设备上显示有多个内容，也容易确定与按钮相关的内容。

根据所述第10方案，能够减少用户的误解。

根据所述第11方案，能够容易使用户注意到可操作图标的存在。

根据所述第12方案，能够容易使用户注意到所接收的消息的存在。

根据所述第13方案，能够通过从显示设备上移动作为虚拟图像的光标来促进用户的按钮操作。

根据所述第14方案，即使在未操作按钮的情况下，也能够在显示设备上进行操作。

根据所述第15方案，能够容易使用户注意到未结束操作的按钮的存在。

根据所述第16方案，能够催促对未结束操作的按钮进行操作。

根据所述第17方案，能够容易使用户注意到未结束操作的按钮的存在。

根据所述第18方案，在不需要与显示设备之间的协作的状况下，能够停止虚拟图像的配置。

根据所述第19方案，能够根据在现实空间中目视确认的形态的变化对虚拟图像的配置的停止进行预告。

根据所述第20方案，能够对虚拟图像的配置的停止进行预告。

根据所述第21方案，能够容易使用户注意到按钮的存在。

根据所述第22方案，在能够与显示设备协作的状况下，能够恢复虚拟图像的配置。

根据所述第23方案，能够根据在现实空间中目视确认的形态的变化对虚拟图像的配置的恢复进行预告。

根据所述第24方案，能够对虚拟图像的配置的恢复进行预告。

根据所述第25方案，能够设定成关于重要性低的按钮或即时性高的事件的存在不进行恢复。

根据所述第26方案，能够活用信息处理装置上设置的摄像机来记录显示设备的画面。

根据所述第27方案，能够实现虚拟图像并排配置在显示设备的前方侧的情况下的虚拟图像和显示设备的协作。

根据所述第28方案，能够实现虚拟图像并排配置在显示设备的前方侧的情况下的虚拟图像和显示设备的协作。

附图说明

图1是对在实施方式1中设想的信息处理***的使用例进行说明的图。

图2是对计算机的硬件结构的一例进行说明的图。

图3是对xR设备的硬件结构的一例进行说明的图。

图4是对AR模块的概念性结构的一例进行说明的图。

图5是对通过实施方式1中的计算机和xR设备的协作来执行的处理动作的一例进行说明的图。

图6是对将AR图像配置在显示器的前方侧的模式关闭的情况下的呈现的一例进行说明的图。

图7是对将AR图像配置在显示器的前方侧的模式开启的情况下的呈现的一例进行说明的图。

图8是对将AR图像配置在显示器的前方侧的模式开启的情况下的呈现的其他例进行说明的图。

图9是对将AR图像配置在显示器的前方侧的模式开启的情况下的呈现的其他例进行说明的图。

图10是对与下载相关地配置的AR图像的一例进行说明的图。

图11是对将AR图像配置在显示器的前方侧的模式开启的情况下的呈现的其他例进行说明的图。

图12是对将AR图像配置在显示器的前方侧的模式开启的情况下的呈现的其他例进行说明的图。

图13是对将AR图像配置在显示器的前方侧的模式开启的情况下的呈现的其他例进行说明的图。

图14是对将AR图像配置在显示器的前方侧的模式开启的情况下的呈现的其他例进行说明的图。

图15是对在计算机的工作中用户将面部朝向显示器的左外侧的情况下的AR图像的配置的变化进行说明的图，图15的(A)示出了用户正在看显示器的情况下的配置，图15的(B)示出了用户正在看显示器的左外侧的情况下的配置。

图16是对在计算机的工作中用户将面部朝向显示器的上方的情况下的AR图像的配置的变化进行说明的图，图16的(A)示出了用户正在看显示器的情况下的配置，图16的(B)示出了用户正在看显示器的上方的情况下的配置。

图17是对在实施方式2中使用的处理动作和AR图像的变化的一例进行说明的图，图17的(A)示出了通过计算机和xR设备的协作来执行的处理动作的一例，图17的(B)示出了AR图像的移动等。

图18是对在实施方式3中使用的处理动作和AR图像的变化的一例进行说明的图，图18的(A)示出了使AR图像内的光标移动到显示器侧的处理动作的一例，图18的(B)示出了用户的操作例。

图19是对在实施方式3中使用的处理动作和AR图像的变化的一例进行说明的图，图19的(A)示出了使显示器上显示的光标移动到AR图像内的处理动作的一例，图19的(B)示出了用户的操作例。

图20是对在实施方式3中使用的处理动作和AR图像的变化的一例进行说明的图，图20的(A)示出了使AR图像内的光标移动到显示器侧的方法的其他例，图20的(B)示出了用户的操作例。

图21是对在实施方式4中设想的指示的一例进行说明的图。

图22是对在实施方式5中设想的指示的一例进行说明的图。

图23是对通过实施方式6中的计算机和xR设备的协作来执行的处理动作的一例进行说明的图。

图24是示出在步骤42中得到否定结果的情况下的用户界面的例的图。

图25是示出在步骤42中得到肯定结果的情况下的用户界面的例的图。

图26是对在实施方式7中使用的处理动作的一例进行说明的图，图26的(A)示出了在断开xR设备的电源的情况下执行的处理动作的例，图26的(B)示出了警报的输出例。

图27是对在实施方式8中使用的处理动作的一例进行说明的图，图27的(A)示出了在从用户摘下xR设备的情况下执行的处理动作的例，图27的(B)示出了警报的输出例。

图28是对在实施方式9中使用的处理动作的一例进行说明的图，图28的(A)示出了在xR设备与计算机之间的位置关系满足预先规定的条件的情况下执行的处理动作的例，图28的(B)示出了警报的输出例。

图29是对实施方式9中的AR图像的输出的变化进行说明的图，图29的(A)示出了xR设备与计算机之间的距离比阈值短的情况下的AR图像的输出例，图29的(B)～(D)示出了随着xR设备与计算机之间的距离远离而缓慢地淡出的情形。

图30是对实施方式9中的AR图像的输出的变化的其他例进行说明的图，图30的(A)示出了xR设备与计算机之间的距离比阈值长的情况下的AR图像的输出例，图30的(B)～(D)示出了随着xR设备与计算机之间的距离靠近而缓慢地淡入的情形。

图31是对在实施方式10中使用的处理动作的一例进行说明的图，图31的(A)示出了在恢复xR设备的连接的情况下执行的处理动作的例，图31的(B)是对所设想的情景进行说明的图。

图32是对通过实施方式11中的计算机和xR设备的协作来执行的处理动作的一例进行说明的图。

图33是对实施方式12中的提示框的呈现的一例进行说明的图。

图34是对实施方式13中的提示框的呈现的一例进行说明的图。

图35是对实施方式14中的xR设备的使用例进行说明的图，图35的(A)示出了时刻T1的截屏T1的摄像例，图35的(B)示出了时刻T2的截屏T2的摄像例。

图36是对在实施方式15中使用的信息处理***的使用例进行说明的图。

图37是对在实施方式16中使用的信息处理***的使用例进行说明的图。

图38是对在实施方式17中使用的信息处理***的使用例进行说明的图。

图39是对实施方式18中的xR设备的使用例进行说明的图，图39的(A)示出了A遇见B之前的状态，图39的(B)示出了A遇见B之后的状态。

图40是对实施方式19中的xR设备的使用例进行说明的图。

图41是对在实施方式19中使用的xR设备的概念性结构的一例进行说明的图。

图42是对在实施方式20中使用的信息处理***的结构例进行说明的图。

具体实施方式

以下，参照附图对本公开的实施方式进行说明。

＜实施方式1＞

＜***的整体结构＞

图1是对在实施方式1中设想的信息处理***1的使用例进行说明的图。

图1所示的信息处理***1由相互连接的计算机10和xR设备20构成。在此，“连接”是指能够通信的状态。

在图1的情况下，在计算机10上连接有1台xR设备20，但是可以连接多台xR设备20。并且，可以在多台计算机10上连接1台xR设备20，也可以是多台计算机10与多台xR设备20连接。

在图1的情况下，计算机10是笔记本式，但是可以是台式，也可以是平板式，还可以是智能手机。此处的计算机10是相对于xR设备20的“外部终端”的一例。

在计算机10上设置有显示器11、键盘12、摄像机13以及触摸板14。显示器11是物理显示设备的一例，显示有各种信息。

在图1的情况下，在显示器11上显示有文档D。并且，使用作为点击设备(pointingdevice)的鼠标30。

在图1的情况下，xR设备20是用户U佩戴于头部的眼镜型设备。本实施方式中的xR设备20具有摄像机，具有通过拍摄到的图像识别现实空间的功能。

带摄像机的xR设备20还被称作AR眼镜或MR眼镜。本实施方式中的xR设备20也可以是不具有摄像机的智能眼镜。

xR设备20是将并非实际存在于现实空间中的虚拟图像(以下，还称作“AR图像”)配置在现实空间中的“信息处理装置”的一例。

AR图像可以是二维图像，也可以是三维图像。在图1的情况下，在空中配置有1个AR图像，但是也可以将多个AR图像配置在空中。在将多个AR图像配置在空中的情况下，各AR图像可以从用户U观察时左右并排配置，也可以沿进深方向并排配置。

顺便说一下，AR图像能够配置在现实空间中的任意位置。例如，AR图像只要还能够配置在与显示器11同一面上，则还能够配置在比显示器11靠前方侧的位置、比显示器11靠里侧的位置以及显示器11的外侧。本实施方式的情况下，显示器11的外侧是指关于用户U的视线方向不与显示器11重合的空间。

在本实施方式中，将AR图像配置在显示器11的前方侧。换句话说，从用户U观察时，目视确认到AR图像和显示器11的至少一部分重合。

在图1中，通过由虚线围着的对话框来表示佩戴有xR设备20的用户U所识别到的空间的状态。用户U目视确认到以与显示器11重合的方式配置的AR图像。

在本实施方式中，作为xR设备20对眼镜型设备进行说明，但是也可以是如帽子那样戴在头部的头戴式设备。

＜计算机的结构＞

图2是对计算机10的硬件结构的一例进行说明的图。

图2所示的计算机10具有数据处理部100、显示器11、键盘12、摄像机13、触摸板14、硬盘驱动器(即，“HDD”)15、麦克风16、扬声器17以及通信模块18。

显示器11例如使用有机EL(＝Electro Luminescent)显示器或液晶显示器。

可以在显示器11的表面安装有不妨碍目视确认显示器11的具有透光性的触摸传感器。安装有触摸传感器的显示器11还被称作触摸面板。触摸传感器例如使用静电电容式薄膜传感器。

键盘12用于输入对计算机10的操作。

摄像机13安装于显示器11的框体等，使用于对计算机10进行操作的用户U或显示器11前方的风景的拍摄。不过，摄像机13也可以设成能够相对于计算机10安装以及拆卸。

摄像机13例如使用CMOS(＝Complementary Metal Oxide Semiconductor、互补型金属氧化物半导体)图像传感器或CCD(＝Charge-Coupled Device、电荷耦合器件)图像传感器。

即使在用户U所佩戴的xR设备20为智能眼镜的情况下，也能够对由摄像机13拍摄到的图像进行处理，来检测用户U位于计算机10的前方的情况、以及正在看显示器11的情况等。例如能够通过拍摄眼睛而得到的图像内的白眼球或黑眼球的位置来估计用户U的视线方向。

触摸板14是点击设备，与鼠标30相同地使用于光标等的移动。

硬盘驱动器15是以磁盘为记录介质的辅助存储装置。在本实施方式中，将硬盘驱动器15用作辅助存储装置，但是也可以使用非易失性的可改写半导体存储器。在硬盘驱动器15中安装有操作***以及应用程序。

以下，不区分操作***以及应用程序而称作程序。

并且，还将应用程序称作“应用”或“App”。

并且，在硬盘驱动器15中存储有由计算机10进行处理的数据文件。

麦克风16是将声音变换为电信号的设备。通过麦克风16获取的音频数据除了记录于硬盘驱动器15等以外，还使用于基于语音的操作或输入。

扬声器17是将电信号变换为声音的设备。扬声器17例如还使用于警报音或指导的输出。

通信模块18例如通过Wifi(注册商标)、Bluetooth(蓝牙)(注册商标)、以太网(注册商标)等而与外部设备进行通信。本实施方式中的计算机10与xR设备20通过Bluetooth连接。

数据处理部100具有处理器101、ROM(＝Read Only Memory)102以及RAM(＝RandomAccess Memory)103。

处理器101例如由CPU(＝Central Processing Unit)构成。处理器101通过执行程序而实现各种功能。

ROM102和RAM103均为半导体存储器。在ROM102中存储有BIOS(＝Basic InputOutput System、基本输入输出***)等。RAM103作为使用于执行程序的主存储装置来使用。

＜xR设备的结构＞

图3是对xR设备20的硬件结构的一例进行说明的图。

图3所示的xR设备20具有数据处理部200、AR模块21、摄像机22、麦克风23、扬声器24、惯性传感器25、测位传感器26、振动器(vibrator)27以及通信模块28。

AR模块21是实现使用户U目视确认现实中不存在的AR图像的体验的模块，AR模块21由光学部件和电子部件构成。

AR模块21的代表方式有在用户U的眼睛的前方配置半反射镜的方式、在用户U的眼睛的前方配置体积全息图的方式以及在用户U的眼睛的前方配置闪耀光栅(blazedgrating)的方式。

此外，AR模块21有在用户U的眼睛的前方配置小型显示器并且将合成由摄像机22拍摄到的图像和AR图像而成的图像显示在显示器上的方式。

在该方式中，将通过专用算法处理的图像显示在贴合有透光性薄膜的显示器上，在所述透光性薄膜上形成有大量细微的针孔。即，通过专用算法的图像处理和调光的组合，使用户U目视确认到清晰的图像。该技术还作为矫正视力的技术已经被实用化。并且，在一部分供应商中公布了眼镜型xR设备20的使用预定。

摄像机22例如使用CMOS图像传感器或CCD图像传感器。摄像机22的个数可以是单个，也可以是多个。例如，在使用2个摄像机22的情况下，2个摄像机22配置在框架的前侧部分的两端。通过使用2个摄像机22，能够进行立体摄像，从而能够测量到被摄体为止的距离或估计被摄体之间的前后关系。

麦克风23是将用户的语音或周围的声音变换为电信号的设备。

扬声器24是将电信号变换为声音来输出的设备。另外，扬声器24可以是骨传导扬声器或软骨传导扬声器。

另外，扬声器24也可以是如无线耳机那样与xR设备20独立的设备。

惯性传感器25例如由六轴传感器构成。六轴传感器由三轴加速度传感器和三轴角速度传感器构成。通过惯性传感器25的输出来估计出佩戴有xR设备20的用户U的头部的活动。

测位传感器26是通过接收从例如3个以上的GPS(＝Global Positioning System、全球定位***)卫星发送来的GPS信号来测量本终端的位置的GPS模块。

并且，作为测位传感器26，可以另外设置室内用的测位模块。室内用的测位模块例如有接收BLE(＝Bluetooth Low Energy、蓝牙低功耗)信标来测量本终端的位置的模块、接收WiFi(注册商标)信号来测量本终端的位置的模块、通过自主导航法测量本终端的位置的模块以及接收IMES信号来测量本终端的位置的模块。

振动器27是产生连续振动或间歇振动的设备。振动器27的振动使用于针对用户U的警报等的通知。

通信模块28例如通过Wifi(注册商标)、Bluetooth(注册商标)、以太网(注册商标)等而与外部设备进行通信。本实施方式中的计算机10与xR设备20通过Bluetooth连接。

数据处理部200具有处理器201、ROM202、RAM203以及闪存204。

处理器201例如由CPU构成。处理器201通过执行程序来实现各种功能。

ROM202和RAM203均为半导体存储器。在ROM202中存储有BIOS等。RAM203是使用于执行程序的主存储装置。

闪存204用于操作***或固件、程序或数据文件的记录。闪存204用作辅助存储装置。

图4是对AR模块21的概念性结构的一例进行说明的图。图4所示的AR模块21与在用户U的眼睛的前方配置闪耀光栅的方式对应。

图4所示的AR模块21具有导光板211、微显示器212、被输入影像光L2的衍射光栅213A以及输出影像光L2的衍射光栅213B。

导光板211相当于眼镜的镜片。导光板211具有例如85％以上的透明度。因此，用户U能够透过导光板211而直接目视确认到前方的景色。外光L1以透过导光板211以及衍射光栅213B的方式前进，并射入用户U的眼睛E内。

微显示器212是显示使用户U目视确认的AR图像的显示设备。显示于微显示器212的AR图像的光作为影像光L2投影到导光板211。影像光L2通过衍射光栅213A弯曲，一边在导光板211的内部反射，一边到达衍射光栅213B。衍射光栅213B将影像光L2向用户U的眼睛E的方向弯曲。

由此，用户U的眼睛E内同时入射外光L1和影像光L2。其结果是，如图4中对话框所示，用户U目视确认到AR图像存在于计算机10的前方侧。

＜处理动作＞

图5是对通过实施方式1中的计算机10和xR设备20的协作来执行的处理动作的一例进行说明的图。

在本实施方式中使用的计算机10和xR设备20能够各自单独工作。

因而，计算机10即使在不与xR设备20协作的情况下，也能够单独工作。例如，用户在未佩戴有xR设备20的状态下，能够对计算机10进行操作。

关于xR设备20也如此，即使在不与计算机10协作的情况下，也能够单独工作。例如，佩戴有xR设备20的用户即使在计算机10关闭的状态下，也能够在现实空间中目视确认AR图像。

图5所示的处理动作以能够各自单独工作为前提。

在图5的情况下，xR设备20判定开始连接的计算机10的显示器11(参照图1)是否存在于用户U的视线方向上(步骤1)。另外，实际上由xR设备20的处理器201(参照图3)执行判定等。

在本实施方式的情况下，用户U的视线方向假设为设置于已安装xR设备20的摄像机22(参照图3)所拍摄的范围的中央所处的方向。不过，“中央”不是点，可以具有预先规定的面积。这是因为，用户U有将面部朝向感兴趣的方向的倾向。

在xR设备20设置有追踪用户的视线的传感器的情况下，可以使用该传感器检测到的视线的方向。追踪视线的技术有：在角膜上生成光的反射点来拍摄该图像的“角膜反射法”；以及拍摄在角膜上生成的反射图案，并使用专用的图像处理算法和生理三维模型的“眼球追踪***”；等等。

能够通过例如配置于侧头部或鼻子部分的接触传感器检测xR设备20的佩戴。

在步骤1中得到否定结果的期间，xR设备20重复步骤1的判定。在图5的情况下，AR图像并非固定地配置在现实空间中的特定坐标，所配置的坐标根据视线方向的变化而发生变化。因此，在佩戴有xR设备20的用户将视线朝向与计算机10不同的方向的情况下，在步骤1中得到否定结果。

在步骤1中得到肯定结果的情况下，xR设备20接下来判定将AR图像配置在显示器11的前方侧的模式是否开启(步骤2)。

在步骤2中得到否定结果的情况下，xR设备20返回步骤1的判定。

另外，可以调换步骤2的判定和步骤1的判定的顺序。在步骤1之前执行步骤2的判定的情况下，xR设备20在步骤2中得到否定结果的期间，重复步骤2的判定。

在步骤2中也得到肯定结果的情况下，xR设备20向计算机10请求指示计算机10的动作的按钮的显示的移动(步骤3)。例如，在浏览器的图像显示于显示器11的情况下，指示动作的按钮有关闭网络页面的链接按钮、进入网络页面的链接按钮以及返回页面的链接按钮等。

并且，例如在由计算机10执行文档D的创建或编辑中所使用的App(以下，还称作“办公软件”)的情况下，指示动作的按钮有配置于工具栏的按钮或菜单等。

此外，指示动作的按钮有显示在电脑桌面、任务栏、启动菜单等上的与特定文件或应用关联的快捷图标、通知用图标等。

例如，若操作快捷图标，则打开特定文件。并且，若操作快捷图标，则所关联的应用被激活。

并且，通知用图标有电子邮件或短消息(以下，还称作“消息应用程序(消息App)”)等在接收消息时显示于显示器11的图标等。

在本实施方式中，将用户为了指示计算机10的动作而操作的按钮或图标等总称为“按钮”。

不过，从显示器11上的显示移动到利用AR图像的提示的按钮并不全是指示动作的按钮，也可以限定于预先规定的种类的按钮。

例如，可以只将用于选择的按钮(以下，还称作“选择按钮”)或用于确定的按钮(以下，还称作“确定按钮”)设为移动的对象，其他按钮继续用于显示器11上的显示。另外，按钮的移动包括具有相应的按钮的提示框的移动。

用于选择的按钮除了包括如“是/否”、“同意/不同意”、“执行/不执行”、“进入/返回”等那样二选一的按钮之外，还包括从多个选项中选择一个的按钮。多个选项有“允许任意位置的应用/在安装存储区以外的应用之前进行警告/只允许存储区的应用”、“保存/不保存/取消”等。记号“/”以“或”的含义使用。

并且，选择按钮包括用于选择动作的执行与否的按钮。例如，使用于与安装、卸载、下载、上传、启动、结束、发送、接收、打开、关闭等动作有关的选择。

在本实施方式的情况下，“执行与否”的选择包括在计算机10的***构成中伴随变更的动作。在该例中，有程序的安装、卸载、下载、上传。

确定按钮例如有与语音指导“开始处理。请按OK”组合显示的“OK”按钮。此外，例如有与指导“请输入认证编码”成组而显示的“认证”按钮。

在本实施方式的情况下，确定按钮还包括确认用的按钮(以下，还称作“确认按钮”)。另外，在确认按钮中也包含选项的情况下，包含于选择按钮。

接收到步骤3的请求的计算机10停止在显示器11上显示作为移动的对象的按钮，将停止显示的按钮的图像发送到xR设备20(步骤4)。

接着，xR设备20将接收到的按钮的图像作为AR图像配置在显示器11的前方侧的空间中(步骤5)。

“前方侧”是指如图1中例示那样计算机10的显示器11与xR设备20之间的空间。在本实施方式中，是指该空间内的从佩戴有xR设备20的用户U观察到的AR图像看起来与显示器11重合的范围。

在本实施方式的情况下，使用与计算机10连接的鼠标30(参照图1)进行AR图像内的光标C的移动或对按钮的操作。即，在本实施方式中，在AR图像的显示中，也通过鼠标30执行光标C的操作。

顺便说一下，也可以设成能够在显示器11中的从用户U观察时不与AR图像重合的区域内显示光标C。

并且，若进行使光标C移动到显示器11的显示范围外的操作，则可以设定成光标C移动到AR图像内。在该设定的情况下，若用户U以超过显示器11的显示范围的方式移动显示器11上显示的光标C，则光标C移动到AR图像内的按钮的位置。通过该设定，仅通过鼠标30就能够进行对显示在显示器11上的图像和AR图像这两者的操作。

对键盘12(参照图1)或触摸板14(参照图1)等的操作在AR图像提示给用户U的期间也有效。

因而，在AR图像提示给用户U的情况下，也能够操作键盘12等来进行文本的输入或网络图像的阅览等。

本实施方式的xR设备20和计算机10共享配置有AR图像的现实空间中的坐标。

在以上前提下，本实施方式中的计算机10即使在停止在显示器11上显示光标C之后，也继续监视用户U通过光标C的指示。

即，计算机10判定是否在停止显示器11上的按钮的显示之后，也检测到用户对AR图像中所包含的按钮的指示(步骤6)。

在步骤6中得到否定结果的期间，计算机10重复步骤6的判定。不过，在检测到对未移动到AR图像侧的按钮等的操作的情况下，执行检测到的操作。

在步骤6中得到肯定结果的情况下，计算机10将操作的检测通知给xR设备20(步骤7)。

接收到步骤7的通知的xR设备20停止AR图像的配置(步骤8)。即，停止包括从显示器11的前方侧指示计算机10的动作的按钮的AR图像的配置。

不过，关于与检测到的指示无关的按钮，可以继续进行作为AR图像的提示。此外，还可以继续进行所接受动作的执行所产生的信息的提示以及与各种警报的提示相关的AR图像的提示。

另一方面，执行了步骤7的计算机10通过按钮的操作来执行所接受的指示(步骤9)。计算机10根据需要而恢复在显示器11上显示光标C。

＜呈现例＞

＜例1＞

图6是对将AR图像配置在显示器11的前方侧的模式关闭的情况下的呈现的一例进行说明的图。

在图6中标注对应于与图1的对应部分的符号来进行示出。另外，图6所示的呈现在xR设备20与计算机10未连接的情况下也相同。

图6所示的呈现相当于在步骤1(参照图5)或步骤2(参照图5)中得到否定结果的情况。

图中的对话框示出了佩戴有xR设备20的用户在大脑中识别到的空间的情形。用户在大脑中识别到的空间的情形与实际物理存在的现实空间相同。

顺便说一下，在显示器11上显示有文档D和光标C。文档D是内容的一例。

图7是对将AR图像配置在显示器11的前方侧的模式开启的情况下的呈现的一例进行说明的图。在图7中对于与图6的对应部分标注对应的符号来示出。

图7所示的呈现相当于在步骤1(参照图5)以及步骤2(参照图5)这两个步骤中得到肯定结果的情况。

图中的对话框示出了佩戴有xR设备20的用户U在大脑中识别到的空间的情形。在图7的情况下，被识别成存在有在现实空间中不存在的AR图像。

在图7的情况下，AR图像包含文本“是否同意该内容？”、“是”按钮、“否”按钮以及光标C。图7所示的AR图像是包含选择按钮的提示框。

图7所示的提示框例如设想在显示器11上显示有请求当事人之间的同意的文档D的情况。

在图7的情况下，由于光标C移动到AR图像侧，因此在计算机10的显示器11上并未显示有光标C。

在图7的情况下，若用户U操作鼠标30，则AR图像内的光标C移动，若在对准“是”或“否”按钮的状态下进行左点击的操作，则由计算机10执行与“是”或“否”对应的处理。

并且，在图7的情况下，由于AR图像的透明程度高，因此透过AR图像而看到从用户观察时位于里侧的显示器11的显示内容。因此，透过AR图像而看到文档D。

不过，降低AR图像的透明程度而防止透过AR图像而看到显示器11的显示内容的情况也能够通过AR模块21(参照图3)的方式实现。

该AR图像的配置持续至用户操作“是”或“否”按钮为止。

通过AR图像配置在比显示器11的显示面靠前方侧的位置，能够引起用户对提示框的注意。换句话说，看漏提示框的风险变低。

尤其是，由于本实施方式的情况下的AR图像配置在比显示器11靠近用户U的空中，因此容易注意到提示框的出现。

并且，由于持续显示器11的前方侧的AR图像的配置，直至检测到按钮的操作，因此即使在操作按钮之前进行其他工作的情况下，也很少忘记操作按钮。例如，在将提示框显示于显示器11的情况下，当进行其他工作时，需要操作按钮的提示框有时隐藏在工作中的画面的背后，有可能忘掉还有剩下的按钮操作。

并且，若AR图像继续配置在显示器11的前方侧，则因配置AR图像的位置以及大小也会导致显示器11的目视确认性下降，因此在心理上也能够催促用户操作按钮。

＜例2＞

图8是对将AR图像配置在显示器11的前方侧的模式开启的情况下的呈现的其他例进行说明的图。在图8中对于与图7的对应部分标注对应的符号来示出。

在图8的情况下，图中的对话框也示出了佩戴有xR设备20的用户U在大脑中识别到的空间的情形。

在图8的情况下，AR图像包含文本“是否打开该文件？”、文本“ABC.doc”、“是”按钮、“否”按钮以及光标C。图8所示的AR图像也是包含用于选择的按钮的提示框的例。

图8所示的提示框在计算机10执行打开作为处理对象的文档D的文件的处理之前提示给用户U。

本实施方式中的文档D除了所谓的文本之外，还有通过制图应用而描绘的二维视图、使用CAD(＝Computer Aided Design)应用而制图的二维或三维视图、照片、通过扫描仪读取到的图像等静态图像、影像等动态图像、FAX、电子邮件、日志数据、与设备的设定有关的数据等。

并且，文档D可以是伦琴或CT图像等医疗***的数据、游戏***的应用的数据、地图数据。

＜例3＞

图9是对将AR图像配置在显示器11的前方侧的模式开启的情况下的呈现的其他例进行说明的图。在图9中对于与图7的对应部分标注对应的符号来示出。

在图9的情况下，图中的对话框也示出了佩戴有xR设备20的用户U在大脑中识别到的空间的情形。

在图9的情况下，AR图像包含文本“是否开始下一个程序的下载？”、文本“程序名：XYZ”、“是”按钮、“否”按钮以及光标C。图9所示的AR图像也是包含用于选择的按钮的提示框的例。

图9所示的提示框在开始程序的下载之前提示给用户U。

另外，程序的下载是以下载之后安装于计算机10为前提的动作，在这一点上还是在***构成中伴随变更的动作的准备动作的一例。

即使在下载的执行中，用户也能够使用计算机10进行其他工作。因而，通过将包含开始下载所需的按钮的AR图像配置在显示器11的前方侧来催促用户U进行操作，能够将下载中的时间分配给其他工作。

另外，在结束其他工作之后注意到并未开始下载的情况下，需要从该时刻起开始下载，浪费时间。

图10是对与下载关联地配置的AR图像的一例进行说明的图。在图10中对于与图9的对应部分标注对应的符号来示出。

在图10的情况下，由于结束了按钮的操作，因此光标C显示在显示器11上。

在图10的情况下，AR图像中包含文本“正在下载中”、表示下载进程的状态的柱状图以及文本“需要约5分钟”。此处的时间可以是剩余时间，也可以是下载所需的整体时间。另外，时间也可以是目标时间。这是因为，通信速度会因线路的混杂状况而发生变化。并且，剩余时间根据进程的状况或通信速度而逐渐变更。

图10所示的提示框中所提示的信息是表示已开始动作的进展状况的信息的一例。

图10所示的AR图像还能够作为专用的提示框显示在显示器11上，但是通过作为AR图像提示给用户U，显示器11上的图像的重合变少，提高显示器11上显示的图像的目视确认性以及作业性。

并且，通过与下载相关的信息作为AR图像配置在显示器11的前方侧，容易确认下载进度。

＜例4＞

图11是对将AR图像配置在显示器11的前方侧的模式开启的情况下的呈现的其他例进行说明的图。在图11中对于与图9的对应部分标注对应的符号来示出。

在图11的情况下，图中的对话框也示出了佩戴有xR设备20的用户U在大脑中识别到的空间的情形。

与图9不同，图11所示的例是询问程序的安装的执行与否的例。另外，程序的安装是在计算机10的***构成中伴随变更的动作的一例。

在图11的情况下，AR图像中包含文本“是否开始下一个程序的安装？”、文本“程序名：XYZ”、“是”按钮、“否”按钮以及光标C。图11所示的AR图像也是包含用于选择的按钮的提示框的例。

图11所示的提示框在开始程序的安装之前提示给用户U。

与下载的情况相同地，在程序的安装的情况下，也可以在开始安装之后，提示表示安装进程的状态的柱状图或安装所需的剩余时间等信息。

＜例5＞

图12是对将AR图像配置在显示器11的前方侧的模式开启的情况下的呈现的其他例进行说明的图。在图12中标注对应于与图7的对应部分的符号来进行示出。

在图12的情况下，图中的对话框也示出了佩戴有xR设备20的用户U在大脑中识别到的空间的情形。

在图12的情况下，AR图像中包含文本“开始处理。请按OK。”、“OK”按钮以及光标C。

图12所示的AR图像中所包含的按钮只有1个。换句话说，此处的AR图像是包含确定按钮的提示框的一例。

图12所示的提示框在计算机10执行打开作为处理对象的文档D的文件的处理之前等提示给用户U。

图12所示的AR图像还是在执行作为对象的动作之前请求用户确认的提示框，这一点与例4相同。

但是，在本例的情况下，用于指示动作的开始的按钮只有1个，这一点与准备“是”按钮和“否”按钮的例4不同。

＜例6＞

图13是对将AR图像配置在显示器11的前方侧的模式开启的情况下的呈现的其他例进行说明的图。在图13中对于与图7的对应部分标注对应的符号来示出。

在图13的情况下，图中的对话框也示出了佩戴有xR设备20的用户U在大脑中识别到的空间的情形。

在图13的情况下，AR图像包含具有标题“使用许诺契约书”和“客户注意事项”的正文、与“同意”关联的按钮、与“不同意”关联的按钮、“取消”按钮、“返回”按钮、“下一个”按钮以及光标C。

换句话说，图13所示的AR图像包含：与用于选择对文档D的内容的同意和不同意的选项对应的按钮；以及与用于选择该选择后的动作的执行的选项对应的按钮。

另外，在图13中作为文档D例示了“使用许诺契约书”，但是需要同意的文档D还包含所谓的同意书、被传阅的文档、需要审批的文档等。

并且，本实施方式中的“同意”还包含批准或授权。

＜例7＞

图14是对将AR图像配置在显示器11的前方侧的模式开启的情况下的呈现的其他例进行说明的图。在图14中对于与图7的对应部分标注对应的符号来示出。

在图14的情况下，图中的对话框也示出了佩戴有xR设备20的用户U在大脑中识别到的空间的情形。

图14所示的事例设想在多个文档D显示于显示器11的状态下显示请求同意的AR图像的情况。

在大多情况下，通过用户对特定文档D进行特定操作而产生来自***侧的同意请求，但是在显示有多个类似的文档D的情况下，有可能无法区分请求了同意的文档D。

本例设想这样的情况，将指向请求同意的文档D的箭头作为AR图像进行配置。箭头例如配置在作为对象的文档D的上空。

另外，为了能够配置箭头，从计算机10向本例中的xR设备20提供与显示在显示器11上的多个文档D有关的信息。确定文档D的位置的方法例如有：通过显示器11内的排列顺序进行确定的方法；通过显示器11内的区域进行确定的方法；以及通过显示器11内的坐标进行确定的方法；等等。

例如，若是通过排列顺序进行确定的方法，则通过“右端的文档”、“从右侧数第1个文档”、“正中央的文档”等来确定位置。

并且，若是通过区域进行确定的方法，则通过“在显示器11上下分割成2段并且各段分割成3个区域的情况下，上段正中央的区域的文档”等来确定位置。

并且，若是通过坐标进行确定的方法，则通过“左上角由x＝○○、y＝△△确定的文档”等来确定位置。

另外，箭头的方向并不限于向下，可以是向上、横向、斜方向中的任一个。

并且，还能够通过箭头以外的方法指向作为对象的文档D。例如，可以配置星形或双圈等记号，也可以将作为对象的文档D用框圈起来。

此外，箭头也可以配置在显示器11的外侧的空间。在图14中，以与显示器11的框重合的方式配置有箭头。

AR图像还能够配置于显示器11的显示面。在该情况下，AR图像尽管实际未显示，但是被用户U目视确认成显示于显示器11。

另外，清楚地显示作为同意的对象的文档D的方法不仅能够通过使用AR图像的情况实现，还能够通过显示在与xR设备20协作的计算机10的显示器11上来实现。例如，若是图14的例，则还能够在显示器11中的右端的文档D上方的区域显示箭头。

如本例这样，通过将清楚地显示请求同意的文档D的信息另外作为AR图像进行提示，即使在多个文档D显示在显示器11上的状态下，用户U也能够容易地确定请求同意的文档D。

＜例8＞

在本例中，对佩戴有xR设备20的用户在工作中变更面部的方向的情况下的AR图像的配置的变化进行说明。

图15是对在计算机10的工作中用户将面部朝向显示器11的左外侧的情况下的AR图像的配置的变化进行说明的图。图15的(A)示出了用户U正在看显示器11的情况下的配置，图15的(B)示出了用户U正在看显示器11的左外侧的情况下的配置。

在图15中对于与图6的对应部分标注对应的符号来示出。

在本实施方式的情况下，配置AR图像的位置不固定，取决于用户U的视线方向。因此，若在工作中改变面部的方向，则AR图像也向面部所朝的方向移动。

在图15的情况下，AR图像移动到不与显示器11重合的位置。换句话说，目视确认到AR图像浮现在不存在显示器11的空气中。

图16是对在计算机10的工作中用户将面部朝向显示器11的上方的情况下的AR图像的配置的变化进行说明的图。图16的(A)示出了用户U正在看显示器11的情况下的配置，图16的(B)示出了用户U正在看显示器11的上方的情况下的配置。

在图16的情况下，AR图像也移动到不与显示器11不重合的位置。换句话说，目视确认到AR图像浮现在不存在显示器11的空气中。

如图15以及图16所示，若AR图像的配置跟随用户U的视线方向而移动，则用户U容易注意到AR图像，需要选择或同意等的操作的执行遗漏变少。

换句话说，即使在因AR图像的尺寸小等理由而在工作中没有注意到AR图像的存在的情况或在工作中遗忘操作的必要性的情况下，也容易在改变面部的方向的时刻注意到AR图像的存在。其结果是，选择或同意的操作等的执行遗漏变少。

＜实施方式2＞

在本实施方式中，对以满足特定条件为条件而允许停止AR图像的配置或允许向其他位置移动的情况进行说明。

另外，在实施方式2中使用的信息处理***1的结构与图1相同。

图17是对在实施方式2中使用的处理动作和AR图像的变化的一例进行说明的图。图17的(A)示出了通过计算机10和xR设备20的协作来执行的处理动作的一例，图17的(B)示出了AR图像的移动等。在图17中对于与图6的对应部分标注对应的符号来进行示出。

图17的(A)所示的处理动作与图5所示的处理动作独立地执行。不过，也可以在步骤6(参照图5)中得到否定结果的情况下执行。

计算机10判定不接受按钮的操作的状态是否经过预先规定的时间以上(步骤11)。此处的按钮是AR图像中所包含的按钮。

在步骤11中得到否定结果的情况下，计算机10重复步骤11的判定。另外，在步骤6中得到否定结果的情况下执行的例中，在步骤11中得到否定结果的情况下，返回步骤6。

预先规定的时间可以作为初始值赋予，也可以由用户U自由设定。例如，将3分钟用作预先规定的时间。

在图17的情况下，在步骤11中虽然判定为经过预先规定的时间但是用户U希望保留选择等操作的情况下，也可以将预先规定的操作的输入有无作为判定条件。预先规定的操作例如有显示于显示器11的特定图标等的操作。

在步骤11中得到肯定结果的情况下，计算机10指示停止AR图像的配置(步骤12)。不过，如图17的(B)所示，计算机10也可以指示向显示器11的背后移动AR图像。

接受指示的xR设备20停止AR图像的配置(步骤13)。在该情况下，AR图像从显示器11的前方侧的现实空间中消失。其结果是，容易观察显示器11。

在步骤12中，在指示移动AR图像的情况下，如图17的(B)所示，AR图像向显示器11的背面侧移动。此时，若AR图像全部与显示器11重合，则用户U看不到AR图像。相应地，容易集中工作。

不过，在图17的(B)所示的例中，AR图像的上部位于比显示器11的上边靠上方的位置。因此，用户U集中工作的同时，不忘记包含需要选择或同意等的按钮的AR图像的存在。

其结果是，能够在工作告一段落的时刻恢复对AR图像的操作。

另外，在位于显示器11的背面的状态下，很难进行AR图像内的按钮的操作。因此，若用户U输入预先规定的操作，则也可以执行AR图像的重新显示或AR图像的向显示器11的前方侧的移动。

预先规定的操作例如使用：显示于显示器11的重新显示用的图标或移动用的图标的操作；以及使光标C移动到显示有文档D的区域上的状态下的鼠标的双击；等等。

在图17的(A)所示的处理动作中，在停止配置AR图像的情况或者AR图像整体隐藏在显示器11的背后的情况下，很难注意到AR图像的配置。

因此，也可以设成，若在对AR图像的配置进行停止等之后也从执行该处理起经过预先规定的时间，则即使没有用户U的指示，也将AR图像再次配置在显示器11的前方侧。

并且，也可以设成，若结束用户U对文档D的工作，例如指示保存，则将AR图像再次配置在显示器11的前方侧。

＜实施方式3＞

在本实施方式中，对通过用户U的指示而在AR图像与显示器11之间切换光标C的配置的情况进行说明。

图18是对在实施方式3中使用的处理动作和AR图像的变化的一例进行说明的图。图18的(A)示出了使AR图像内的光标C移动到显示器11侧的处理动作的一例，图18的(B)示出了用户U的操作例。在图18中对于与图6的对应部分标注对应的符号来示出。

图18的(A)所示的处理动作与图5所示的处理动作独立地执行。

在图18的(A)的情况下，计算机10判定是否一边按左按钮一边使鼠标30前进(步骤21)。前进是指从配置有AR图像的位置观察时设置有显示器11的方向，在以用户U为基准的表达时为里侧方向。换句话说，前进是指远离用户U的方向。

在步骤21中，为了与对显示于显示器11的文档的操作进行区分，将在按鼠标30的左按钮的状态下使鼠标30前进作为条件。

另外，按左按钮的操作是一例，可以将特定键操作和鼠标30的前进作为条件。

并且，也可以将配置在键盘12(参照图1)上的特定键的操作作为条件。例如，可以将一边按移位键一边向上的箭头键的操作作为条件。

此外，在步骤21中，也可以将用户U指示保留或重新考虑与AR图像中所包含的按钮对应的选择等作为条件来进行判定。

在步骤21的判定中使用的条件是预先规定的第2条件的一例。

在步骤21中得到否定结果的期间，计算机10重复步骤21的判定。

在步骤21中得到肯定结果的情况下，计算机10对xR设备20指示向显示器11移动光标C(步骤22)。

并且，计算机10将光标C显示于显示器11(步骤23)。

另一方面，xR设备20根据来自计算机10的指示，从AR图像内消除光标C(步骤24)。

图18的(B)所示的处理与步骤23以及步骤24对应。

通过光标C从AR图像移动到显示器11侧，用户U能够恢复对显示器11上显示的文档D的操作。例如，能够在保留对AR图像中所包含的按钮的操作的状态下，对文档D进行操作。

图19是对在实施方式3中使用的处理动作和AR图像的变化的一例进行说明的图。图19的(A)示出了使显示于显示器11的光标C移动到AR图像内的处理动作的一例，图19的(B)示出了用户U的操作例。在图19中对于与图6的对应部分标注对应的符号来示出。

图19的(A)所示的处理动作与图5所示的处理动作独立地执行。

在图19的(A)的情况下，计算机10判定是否一边按左按钮一边使鼠标30后退(步骤31)。后退是指从设置有显示器11的位置观察时配置有AR图像的方向，在以用户U为基准的表达时为前方方向。换句话说，后退是指靠近用户U的方向。

在步骤31中，为了与对显示器11上显示的文档D的操作进行区分，将在按鼠标30的左按钮的状态下使鼠标30后退作为条件。

另外，按左按钮的操作是一例，可以将特定键操作和鼠标30的后退作为条件。

并且，也可以将配置于键盘12(参照图1)上的特定键的操作作为条件。例如，可以将一边按移位键一边向下的箭头键的操作作为条件。

此外，在步骤31中，也可以将用户U指示恢复与AR图像中所包含的按钮对应的选择等作为条件来进行判定。

在步骤31的判定中使用的条件是预先规定的第1条件的一例。

在步骤31中得到否定结果的期间，计算机10重复步骤31的判定。

在步骤31中得到肯定结果的情况下，计算机10从显示器11上消除光标C(步骤32)。

接着，计算机10对xR设备20指示向AR图像移动光标(步骤33)。

另一方面，xR设备20根据来自计算机10的指示将光标C配置在AR图像内(步骤34)。

图19的(B)所示的处理与步骤33以及步骤34对应。

通过光标C从显示器11移动到AR图像侧，用户U能够按照自己的想法恢复AR图像中所包含的按钮的操作。

然而，光标C的移动并不限于如图18或图19所示那样根据用户U的指示。

图20是对在实施方式3中使用的处理动作和AR图像的变化的一例进行说明的图。图20的(A)示出了使AR图像内的光标C移动到显示器11侧的方法的其他例，图20的(B)示出了用户U的操作例。在图20中对于与图18的对应部分标注对应的符号来示出。在图20中对于与图6的对应部分标注对应的符号来示出。

在图20的(A)的情况下，代替步骤21(参照图18)而执行步骤21A。在步骤21A中，判定是否从在AR图像上配置光标C起经过了预先规定的时间。

预先规定的时间例如有3分钟。顺便说一下，在实施方式2的情况下，对AR图像本身的配置进行了停止等，但是在本实施方式中只设想光标C的移动。

这是因为，在即使AR图像以弹出方式出现之后经过长时间也未检测到用户的操作的情况下，AR图像中所包含的按钮的操作的可能性较低。例如在用户犹豫操作哪个按钮的情况下，当存在优先度更高的工作时等，有可能引起这样的事例。

通过光标C移动到计算机10的显示器11侧，用户能够在保留AR图像中所包含的按钮的操作的状态下，对显示器11上显示的画面进行操作。

＜实施方式4＞

在本实施方式中，对通过语音进行AR图像中所包含的按钮的操作的情况进行说明。

图21是对在实施方式4中设想的指示的一例进行说明的图。在图21中对于与图6的对应部分标注对应的符号来示出。

在图21的情况下，用户U发出“同意。”的声音。通过计算机10的麦克风16(参照图2)或xR设备20的麦克风23(参照图3)获取该语音。通过现有的语音识别技术对指示的内容进行分析。

通过语音对电子设备输入指示的方法已经在具有人工智能(即，AI)助手功能的扬声器(所谓的智能扬声器)或智能手机等中实用化。若是通过语音的指示，则无需使光标C移动到按钮的位置的操作，也无需中断执行中的工作。

并且，在本实施方式的情况下，即使不进行使显示在显示器11上的光标C移动到AR图像侧的操作，也能够输入指示。

＜实施方式5＞

在本实施方式中，对通过手势操作AR图像中所包含的按钮的情况进行说明。

图22是对在实施方式5中设想的指示的一例进行说明的图。在图22中对于与图6的对应部分标注对应的符号来示出。

在图22的情况下，用户U移动手指，对配置成浮现在空中的按钮进行操作。具体地说，移动右手的食指，单击配置于空中的按钮。换句话说，用户U朝远离自己的方向移动右手的手指尖。

另外，作为接受基于手势的操作的条件，在未指定右手的食指的情况下，可以使用其他手指进行操作，也可以检测利用铅笔或圆珠笔等书写用具、指示棒等其他棒状部件对按钮进行的操作。当然，用于指示的物体并不限于例示的物体。

并且，按钮操作的接受并不限于单击，例如可以在按钮的位置静止预先规定的时间以上，也可以是双击，或者可以是向特定方向的滑动，也可以是使用多根手指的手势。

在本实施方式中，通过对利用设置于xR设备20的摄像机22拍摄到的图像进行分析，来确定空中的手指尖的坐标与配置在空中的按钮的坐标之间的关系，或者检测按钮的操作。不过，也可以使用以LiDAR为代表的三维扫描仪测量从xR设备20到手指尖为止的距离或坐标，并使用该测量结果检测按钮的操作。

另外，如果能够将用户U的手势与特定按钮关联起来，则无需严格意义上的坐标的检测或坐标的一致。

并且，在从xR设备20对计算机10提供配置于空中的AR图像或AR图像中所包含的按钮的位置的信息的情况下，可以通过对利用设置于计算机10的摄像机13拍摄到的图像进行分析，来确定空中的手指尖的坐标与配置在空中的按钮的坐标之间的关系，检测按钮的操作。

在本实施方式的情况下，能够实现配置于空中的按钮的多种操作。

＜实施方式6＞

在本实施方式中，对指示计算机10(参照图1)的动作的按钮是通知通过消息App接收消息的图标的情况进行说明。

图23是对通过实施方式6中的计算机10和xR设备20的协作来执行的处理动作的一例进行说明的图。

首先，计算机10的处理器101(参照图2)在检测到事件的时刻将通知用图标等显示在显示器11(参照图2)上(步骤41)。如上所述，在本实施方式中，作为通知用图标，设想通知通过消息App接收消息的图标。换句话说，是表示未读消息的图标。另外，也可以是如图标等那样以弹出形式显示的文本。在本实施方式中，用于接收消息的文本也是图标的一例。

接着，计算机10判定是否经过预先规定的时间也未操作与通知相关的应用(步骤42)。在本实施方式中，对未操作消息App的时间的长度进行测量，关于所测量的时间长度执行步骤42的判定。

在步骤42中得到否定结果的情况下，计算机10将与通知用图标等对应的应用的图像展开到显示器11上(步骤49)。在该情况下，由于通知用图标等不作为AR图像配置在空中，因此用户U通过展开在显示器11上的消息App确认消息的内容。

另一方面，在步骤42中得到肯定结果的情况下，计算机10向xR设备20指示移动通知用图标等(步骤43)，并且停止显示通知用图标等(步骤44)。

从计算机10收到通知的xR设备20将通知用图标等的图像作为AR图像配置在显示器11的前方侧的空间内(步骤45)。

从经验方面讲，在集中工作的情况或弹出显示通知用图标等时没看显示器11的情况下，有时不会注意到通知用图标等的显示。

但是，通过AR图像出现在空中，与显示于显示器11时相比显眼，用户U容易注意到。

之后，计算机10判定是否检测到与通知用图标等对应的应用的操作(步骤46)。

在步骤46中得到否定结果的期间，计算机10重复步骤46的判定。

另一方面，在步骤46中得到肯定结果的情况下，计算机10将操作的检测通知给xR设备20(步骤47)，并且将与通知用图标等对应的应用的图像展开到显示器11上(步骤49)。

另外，收到通知的xR设备20停止配置AR图像(步骤48)。

不过，在图23的例中，计算机10在检测到消息的接收的情况下，执行了步骤41和步骤42的处理，但是也可以在检测到消息的接收时立即执行步骤43。即，可以在接收消息的同时，将表示消息的接收的图标等作为AR图像配置在空中。顺便说一下，在该情况下，步骤44也不需要。

在该情况下，用户U在接收消息的同时，能够注意到消息的接收。

在图24以及图25中示出了本实施方式中的用户界面的变化。

图24是示出在步骤42(参照图23)中得到否定结果的情况下的用户界面的例的图。图25是示出在步骤42(参照图23)中得到肯定结果的情况下的用户界面的例的图。在图24和图25中对于与图6的对应部分标注对应的符号来示出。

图24的例是用户U没有注意到模仿纸飞机或信封形状的图标的状态，因此佩戴有xR设备20的用户U识别到的图像与显示在显示器11上的图像一致。

另一方面，在图25的例中，由于AR图像突出配置在显示器11的前方，因此用户U容易注意到图标的出现。其结果是，用户U不会看漏图标的出现。

＜实施方式7＞

在本实施方式中，对AR图像配置在空中的状态下有断开电源的操作的情况下使用的用户界面进行说明。

图26是对在实施方式7中使用的处理动作的一例进行说明的图。图26的(A)示出了在断开xR设备20的电源的情况下执行的处理动作的例，图26的(B)示出了警报的输出例。

在图26的(A)的情况下，xR设备20判定是否检测到断开本装置的电源的操作(步骤51)。此处的断开电源的操作是预先规定的事件的一例。

另外，在图26的例中，将断开xR设备20的电源的操作作为检测的对象，但是可以将断开协作中的计算机10的电源的操作作为检测的对象，也可以将断开xR设备20和计算机10中的任一方的电源的操作作为检测的对象。

在步骤51中得到否定结果的期间，xR设备20重复步骤51的判定。

在步骤51中得到肯定结果的情况下，xR设备20判定是否为伴随与计算机之间的协作的对AR图像的操作的待机中(步骤52)。换句话说，xR设备20判定是否为包含指示计算机10的动作的按钮的AR图像的显示中。

在步骤52中得到否定结果的情况下，xR设备20直接断开电源。

另一方面，在步骤52中得到肯定结果的情况下，xR设备20输出警报(步骤53)。

此处的警报以将等待处理的事件的存在通知给用户并提供取消断开电源的操作的机会为目的执行。

警报的输出可以考虑如下方法：使用声音的方法；使用振动的方法；使用语音的方法；追加配置新的AR图像的方法；在现有的AR图像中追加文本的方法；改变现有的AR图像的亮度或色调的方法；以及组合它们中的任意多个的方法；等等。

图26的(B)示出了通过语音输出警报的例，从xR设备20的扬声器24(参照图3)播放“没有结束操作。是否执行电源的断开？”的语音。

通过输出这种警报，即使在剩下等待操作的事件的状态下执行了断开电源的操作的情况下，也能够使用户U注意到等待操作的事件的存在。并且，能够及时取消断开电源的操作。

在图26的情况下，由xR设备20判定了步骤51以及步骤52这两者，但是可以由计算机10判定步骤51和步骤52中的两者或任意一方。

＜实施方式8＞

在本实施方式中，对输出警报的其他使用例进行说明。

图27是对在实施方式8中使用的处理动作的一例进行说明的图。图27的(A)示出了在从用户U上摘下xR设备20的情况下执行的处理动作的例，图27的(B)示出了警报的输出例。

在图27的(A)的情况下，xR设备20判定是否摘下了本装置(步骤61)。在本实施方式的情况下，xR设备20的摘下是从用户U的头部的摘下。本装置的摘下是预先规定的事件的一例。

在步骤61中得到否定结果的情况下，xR设备20重复步骤61的判定。在步骤61中得到否定结果的情况是指xR设备20佩戴于用户U的头部并且用户U识别到AR图像的状态。

另外，通过配置在用户U的侧头部或与鼻根部接触的部分的传感器检测xR设备20的佩戴。另外，此处的传感器例如使用检测压力的感压传感器、检测体温的温度传感器。

在步骤61中得到肯定结果的情况下，xR设备20判定是否为伴随与计算机10之间的协作的对AR图像的操作的待机中(步骤62)。在步骤61中得到肯定结果的情况是指xR设备20从用户U的头部摘下并且用户U未识别到AR图像的状态。

步骤62的内容与图26中的步骤52相同。

在步骤62中得到否定结果的情况下，xR设备20不输出警报。另外，保持计算机10与xR设备20的连接。不过，还能够在摘下的阶段暂时解除连接。

另一方面，在步骤62中得到肯定结果的情况下，xR设备20输出警报(步骤63)。此处的警报以将等待处理的事件的存在通知给用户并催促佩戴xR设备20为目的执行。

警报的输出可以考虑如下方法：使用声音的方法；使用振动的方法；使用语音的方法；追加配置新的AR图像的方法；在现有的AR图像中追加文本的方法；改变现有的AR图像的亮度或色调的方法；以及组合它们中的任意多个的方法；等等。

在图27的(B)中示出了输出“哔哔”等警报音的例。所输出的警报除了使用警报音之外，还可以使用语音。并且，在用户U佩戴有与xR设备20或计算机10连接的其他可穿戴终端的情况下，可以通过使其他可穿戴终端振动来通知警报。

另外，在用户U佩戴有无线耳机的情况下，可以通过无线耳机向用户U播放警报音。通过输出这种警报，即使在等待操作的状态下错误地摘下xR设备20，也能够使用户U注意到等待操作的事件的存在。

在图27的情况下，由xR设备20判定了步骤61以及步骤62这两者，但是可以由计算机10判定步骤61和步骤62中的两者或任意一方。

＜实施方式9＞

在本实施方式中，对输出警报的其他使用例进行说明。

图28是对在实施方式9中使用的处理动作的一例进行说明的图。图28的(A)示出了在xR设备20与计算机10之间的位置关系满足预先规定的条件的情况下执行的处理动作的例，图28的(B)示出了警报的输出例。

在图28的(A)的情况下，判定本装置与显示器11之间的距离是否超过阈值(步骤71)。

此处的距离可以是与计算机10之间的距离。xR设备20与计算机10的显示器11之间的距离只要使用通过利用摄像机22(参照图3)拍摄到的图像的分析或使用LiDAR测量到的距离即可。不过，不需要严格意义上的距离测量。

另外，为了测量距离，还能够在计算机10中使用利用摄像机13(参照图2)拍摄到的图像。

预先规定有阈值，还能够由用户U指定或调整该阈值。还取决于显示器11的尺寸，但是例如将1m用作阈值。

本装置与计算机10之间的距离超过阈值是预先规定的事件的一例。不过，在步骤71的判定中，也可以如图15或图16中例示那样判定配置有AR图像的空间是否偏离显示器11的前方侧的位置。AR图像偏离显示器11的前方侧也是预先规定的事件的一例。

在步骤71中得到否定结果的情况下，xR设备20重复步骤71的判定。在步骤71中得到否定结果的情况是指xR设备20与计算机10的显示器11之间的距离为阈值以内的情况。

在步骤71中得到肯定结果的情况下，xR设备20判定是否为伴随与计算机10之间的协作的对AR图像的操作的待机中(步骤72)。

步骤72的内容与图26中的步骤52相同。

在步骤72中得到否定结果的情况下，xR设备20不输出警报。另外，保持计算机10与xR设备20的连接。

另一方面，在步骤72中得到肯定结果的情况下，xR设备20输出警报(步骤73)。此处的警报以将等待处理的事件的存在通知给用户并且提供靠近显示器11的机会为目的执行。

警报的输出可以考虑如下方法：使用声音的方法；使用振动的方法；使用语音的方法；追加配置新的AR图像的方法；在现有的AR图像中追加文本的方法；改变现有的AR图像的亮度或色调的方法；以及组合它们中的任意多个的方法；等等。

图28的(B)示出了输出“哔哔”等警报音的例。所输出的警报除了使用警报音之外，还可以考虑如下情况：使用振动的情况；使用语音的情况；追加配置新的AR图像的情况；在现有的AR图像中追加文本的情况；改变现有的AR图像的亮度或色调的情况；以及组合它们中的任意多个的情况；等等。

通过输出这种警报，能够使用户U注意到等待操作的事件的存在。

在图28的情况下，由xR设备20判定了步骤71以及步骤72这两者，但是可以由计算机10判定步骤71和步骤72中的两者或任意一方。

图29是对实施方式9中的AR图像的输出的变化进行说明的图。图29的(A)示出了xR设备20与计算机10之间的距离比阈值短的情况下的AR图像的输出例，图29的(B)～(D)示出了随着xR设备20与计算机10之间的距离远离而缓慢地淡出的情形。

在与计算机10距离1m以内的位置使用xR设备20的图29的(A)的情况是在设定范围内最清晰地目视确认AR图像的状态。另外，最清晰地目视确认的状态并不是xR设备20的性能上的上限的含义。这只不过是设定范围内的上限的含义。

若xR设备20与计算机10分离1m以上，则如图29的(B)所示，AR图像的透明度缓慢地上升或者输出下降。即，xR设备20越是与计算机10分离，则AR图像越是缓慢地变薄。

而且，若xR设备20与计算机10之间的距离超过2m，则如图29的(C)所示，AR图像的透明度进一步上升或者输出进一步下降。由此，AR图像的目视确认性缓慢地下降。

之后，若xR设备20与计算机10之间的距离超过2m，则如图29的(D)所示，在输出警报之后停止输出AR图像。另外，在图29的(D)中，作为警报的例，例示了“结束AR图像的输出。”的语音。此处的警报暗示停止配置AR图像。

在图29的例中，用户目视确认到的AR图像根据xR设备20与计算机10之间的距离而缓慢地淡出，但是也可以分步切换呈现。

并且，在图29的例中，AR图像的尺寸相同，但是可以设成距离越远离，则AR图像的尺寸变得越小。

并且，也可以设成当超过预先规定的距离时停止配置AR图像，而不是如图29所示那样将AR图像缓慢地淡出。

图29所例示的距离关系是预先规定的条件的一例。另外，停止配置AR图像之前的警报的输出是任意的。即，可以在不输出警报的前提下停止配置AR图像。

并且，即使在满足预先规定的条件的情况下，当设定成用户不使用淡出功能的情况或存在从淡出的对象中删除的设定的情况等时，也可以继续配置AR图像。在这些例中，存在同意或安装等重要度设定成高的信息或者来自特定对象的消息或来电的接收通知。

然而，图29所例示的AR图像的输出形态在如图15或图16的情况那样用户U的视线方向与显示器11分离的情况下也能够采用。具体地说，可以设成AR图像越相对于显示器11向上下方向或水平方向分离，则AR图像越淡出。

并且，可以组合采用所显示的AR图像的显示大小缓慢地变小的效果，也可以只采用保持AR图像的显示浓度而使AR图像的显示大小缓慢地变小的效果。而且，在AR图像的显示大小缓慢地变小的情况下，可以使显示大小朝向显示中的AR图像的中心位置缓慢地变小，也可以使显示大小朝向显示中的AR图像的1个端部缓慢地变小。此处的中心位置可以与显示器11的中心位置相同。

图30是对实施方式9中的AR图像的输出的变化的其他例进行说明的图。图30的(A)示出了xR设备20与计算机10之间的距离比阈值长的情况下的AR图像的输出例，图30的(B)～(D)示出了随着xR设备20与计算机10之间的距离靠近而缓慢地淡入的情形。

在与计算机10距离2m以上的位置使用xR设备20的图30的(A)的情况下，AR图像并未输出到空中。

若xR设备20靠近与计算机10距离2m以内的位置，则恢复AR图像的提示。在图30的(B)的例中，在播报“恢复图像的提示。”之后恢复AR图像的输出。另外，在图30的(B)的阶段，虽然识别到AR图像的存在，但是透明度高或者输出等级低。

之后，若xR设备20靠近与计算机10距离2m以内且1m以上的位置，则如图30的(C)所示，AR图像的透明度缓慢地下降或者输出等级缓慢地上升。即，随着xR设备20与计算机10之间的距离靠近，AR图像缓慢地变浓。

最后，若xR设备20与计算机10之间的距离成为1m以内，则如图30的(D)所示，AR图像成为在设定范围内最清晰地目视确认的状态。另外，如上所述，最清晰地目视确认的状态并不是xR设备20的性能上的上限的含义。这只不过是设定范围内的上限的含义。

在图30的例中，用户目视确认到的AR图像根据xR设备20与计算机10之间的距离而缓慢地淡入，但是也可以分步切换呈现。

并且，在图30的例中，AR图像的尺寸相同，但是也可以设成距离越靠近，则AR图像的尺寸变得越大。

并且，可以设成当超过预先规定的距离时出现AR图像，而不是如图30所示那样将AR图像缓慢地淡入。

图30所例示的距离关系是预先规定的条件的一例。另外，配置AR图像之前的播报的输出是任意的。即，可以在不输出播报的前提下配置AR图像。

并且，即使在满足预先规定的条件的情况下，当设定成用户不使用淡入功能的情况或存在从淡入的对象中删除的设定的情况等时，也可以继续停止配置AR图像。在这些例中，存在消息的接收通知等重要度设定成低的信息或者来电的接收等即时性高的事件的通知。

然而，图30所例示的AR图像的输出形态在如图15或图16的情况那样用户U的视线方向从与显示器11分离的位置靠近显示器11的情况下也能够采用。

具体地说，可以以如下方式变化：AR图像越相对于显示器11向上下方向或水平方向靠近，则AR图像越淡入。

并且，可以组合采用在使消失了的AR图像以点的形式或较小的大小出现在空中之后缓慢地增大其显示大小的效果，也可以只采用保持AR图像的显示浓度而使消失了的AR图像以点的形式或较小的大小出现在空中之后，缓慢地增大其显示大小的效果。而且，在使消失了的AR图像以点的形式或较小的大小出现在空中之后缓慢地增大其显示大小的情况下，可以以AR图像最初出现的位置为中心缓慢地向周围扩大显示大小，也可以将AR图像最初出现的位置作为四个角中的1个角进行固定，以该位置为起点向对角线方向扩大显示大小。此时，也可以将AR图像最初出现的位置与显示器11的四个角中的1个角合并。

＜实施方式10＞

在本实施方式中，对在恢复了计算机10与xR设备20的连接的情况下当检测到AR图像中所包含的按钮的等待操作的事件时使用的用户界面进行说明。

顺便说一下，作为本实施方式的前提的连接的解除例如有如下情况：断开计算机10和xR设备20中的任一方的电源的情况；按照用户U的指示切断连接的情况；计算机10与xR设备20之间的距离超过可通信范围的情况；以及计算机10和xR设备20即使在可通信范围内也不满足预先规定的条件的情况。电源的断开还包括过渡到休眠状态的情况。

图31是对在实施方式10中使用的处理动作的一例进行说明的图。图31的(A)示出了在恢复xR设备20的连接的情况下执行的处理动作的例，图31的(B)是对所设想的情景进行说明的图。

在图31的(A)的情况下，xR设备20判定是否恢复与计算机之间的连接(步骤81)。

与解除连接的情况相反地，与计算机10之间的连接的恢复有如下情况：通过接通计算机10和xR设备20中的任一方的电源而两者的电源均接通的情况；计算机10和xR设备20中的任一方从休眠状态复原的情况；按照用户U的指示再次连接计算机10与xR设备20的情况；计算机10与xR设备20之间的距离复原到可通信范围内的情况；以及计算机10和xR设备20在可通信范围内再次满足预先规定的条件的情况。

在步骤81中得到否定结果的期间，xR设备20重复步骤81的判定。不过，在电源从断开切换为接通的情况或从休眠状态复原的情况下，在能够执行负责本实施方式的功能的应用的阶段判定事件的内容。

另一方面，在步骤81中得到肯定结果的情况下，xR设备20判定是否有在待机状态下解除了与计算机之间的连接的操作历史(步骤82)。

在步骤82中得到否定结果的情况下，xR设备20结束连接的恢复所产生的本处理。

在步骤82中得到肯定结果的情况下，xR设备20判定相应的操作是否在计算机侧也未完成(步骤83)。该判定以找出xR设备20侧的操作历史与计算机10侧的操作历史的不匹配为目的执行。这是因为，例如在解除连接的期间，用户U还有可能使用计算机10完成按钮操作。

在步骤83中得到否定结果的情况下，xR设备20结束连接的恢复所产生的本处理。

另一方面，在步骤83中得到肯定结果的情况下，xR设备20将包含等待操作的按钮的AR图像再次配置在空中(步骤84)。

在图31的(B)的情况下，如实施方式1中说明那样，AR图像相对于显示器11再次配置在前方侧。换句话说，在恢复连接的同时，在空中出现AR图像。通过该AR图像的出现，用户U能够注意到还剩下等待操作的处理，并完成处理。

＜实施方式11＞

在本实施方式中，对将指示计算机10(参照图1)的动作的按钮从最开始就作为AR图像进行提示而不显示于显示器11(参照图1)的情况进行说明。

图32是对通过实施方式11中的计算机10和xR设备20的协作来执行的处理动作的一例进行说明的图。在图32中标注对应于与图5的对应部分的符号来进行示出。

在图32的情况下，也通过xR设备20执行步骤1～步骤3的处理。即，xR设备20最开始确认到连接中的计算机10位于用户的视线方向上并且通过与计算机10的协作而配置AR图像的模式开启。接着，xR设备20指示移动对计算机10的动作进行指示的按钮的显示。

收到步骤3的指示的计算机10判定是否检测到输出相应的按钮的事件(步骤91)。此处的事件例如是请求用户U选择的事件或请求同意的事件。

在步骤91中得到否定结果的期间，计算机10重复步骤91的判定。

另一方面，若在步骤91中得到肯定结果，则计算机10将包含相应的按钮的图像传输给xR设备20(步骤92)。

在本实施方式的情况下，计算机10无需将按钮显示于显示器11，因此不会如图5的情况那样停止显示按钮。

下面的处理与图5相同。

＜实施方式12＞

在本实施方式中，对将包含预先规定的按钮的提示框通过显示器11(参照图1)和AR图像这两者提示给用户U的情况进行说明。

图33是对实施方式12中的提示框的呈现的一例进行说明的图。在图33中对于与图6的对应部分标注对应的符号来进行示出。

在图33的情况下，在显示器11上以与文档D重叠的方式显示有提示框，同时相同的提示框作为AR图像配置在空中。

在图33的例中，显示在显示器11上的提示框的尺寸与AR图像的尺寸相等，但是在显示器11上显示的提示框隐藏在其他图像的背后的情况等时，通过提示框还作为AR图像配置在空中，用户U看漏提示框的风险较小。

＜实施方式13＞

在本实施方式中，对将预先规定的按钮作为AR图像始终配置在空中的情况进行说明。

图34是对实施方式13中的提示框的呈现的一例进行说明的图。在图34中对于与图6的对应部分标注对应的符号来进行示出。

在图34的情况下，由预先规定的按钮构成的AR图像始终配置在不妨碍使用显示器11的工作的位置。

预先规定的按钮例如是在使用频度高的应用的调出中使用的图标或表示激活中的应用的图标。在应用的调出中使用的图标还被称作快捷键。

在图34的情况下，以沿着显示器11的下边的方式排列有作为AR图像的图标。不过，配置作为AR图像的图标的位置并不限于显示器11的外缘部，也可以是显示器11的外侧的空间。

＜实施方式14＞

在本实施方式中，对使用xR设备20的摄像机22(参照图3)的功能进行说明。

图35是对实施方式14中的xR设备20的使用例进行说明的图。图35的(A)示出了时刻T1的截屏ST1的摄像例，图35的(B)示出了时刻T2的截屏ST2的摄像例。

在xR设备20中，为了确定与显示器11之间的位置关系而由摄像机22对用户U的前方进行拍摄。在本实施方式中，将通过该摄像机22拍摄图像的功能活用于获取显示器11上显示的图像的截屏。

例如，在图35的(A)的情况下，显示在显示器11上的文档D1的图像被拍摄为截屏ST1，并传输到计算机10。不过，截屏ST1也可以存储于xR设备20。

并且，在图35的(B)的情况下，显示在显示器11上的文档D1和文档D2的图像被拍摄为截屏ST2，并传输到计算机10。

在此，截屏的摄像可以例如每隔1分钟那样以预先规定的周期执行，也可以在用户U所指示的时刻执行，还可以在检测到显示器11上显示的文档D的变化的情况下执行。

基于计算机10的文档D的备份按照每个文档执行，但是若为截屏，则还对多个文档D所相关的工作的情形进行记录。

＜实施方式15＞

在本实施方式中，对多台计算机10和xR设备20的协作进行说明。

图36是对在实施方式15中所使用的信息处理***1A的使用例进行说明的图。在图36中对于与图1的对应部分标注对应的符号来进行示出。

在图36的情况下，A先生佩戴有xR设备20而操作计算机10A。并且，由作为技术支持人员等的B先生操作计算机10B。

在图36的情况下，计算机10A与计算机10B通过网络50而连接。

此处的网络50例如是因特网、LAN(＝Local Area Network)。

在图36的情况下，A先生从B先生侧接受关于显示在显示器11上的画面的操作的指导。在图36的情况下，计算机10A的显示器11的显示不与B先生所操作的计算机10B同步。

若B先生使光标C在计算机10B的显示器11上移动，则其情形通过A先生所佩戴的xR设备20作为AR图像提示到A先生所操作的计算机10A的前方侧。即，AR图像内的光标C按照B先生的操作而移动。

A先生将该光标C的移动作为自己应进行的操作的范本进行识别。之后，A先生自己操作鼠标30等，使光标C在计算机10A上移动。

与被动地确认B先生的光标C的移动的情况相比，该方法能够期待学习效果的提高。这是因为，对计算机10A的操作始终伴随A先生的主体行动。

并且，由于A先生对计算机10A的操作内容由操作计算机10B的B先生通过网络50确认，因此还能够得到针对A先生的操作的来自B先生的反馈。例如，能够接受不正确的操作的指摘。该反馈也有效地提高A先生的学习效果。

＜实施方式16＞

本实施方式也对多台计算机10和xR设备20的协作进行说明。

图37是对在实施方式16中使用的信息处理***1B的使用例进行说明的图。在图37中对于与图36的对应部分标注对应的符号来示出。

图37所示的例设想了位于室外的A允许公司B内的B先生对公司A内的计算机10A进行操作的情况。B先生操作计算机10B来操作A先生的计算机10A。

图37的A先生通过所佩戴的xR设备20并通过以浮现在空中的方式提示的AR图像来确认由计算机10A进行的工作的情形。

＜实施方式17＞

本实施方式对xR设备20和远程计算机10的协作进行说明。

图38是对在实施方式17中使用的信息处理***1C的使用例进行说明的图。在图38中对于与图36的对应部分标注对应的符号来示出。

图38所示的例是B先生从远处对A先生进行引路的情况。在本实施方式的情况下，在B先生所操作的计算机10B的显示器11中的左半部分实时显示有通过xR设备20拍摄到的图像，在右半部分显示有A先生周边的地图。

另外，关于A先生的位置，通过网络50将xR设备20的测位传感器26(参照图3)的输出提供给计算机10B。

在该情况下，若B先生对计算机10B输入文本“请在前方10m处右拐”，则相同的文本作为AR图像出现在A先生的前方。另外，也可以从由计算机10B执行的导航软件输出文本。同样地，根据B先生的指示或来自导航软件的指示生成的箭头作为AR图像被A先生目视确认。

在图38的例中，由xR设备20拍摄到的图像显示在B先生所操作的计算机10B的显示器11上，但是也可以仅使地图和表示地图上的用户位置的标记显示于计算机10B。

另外，无论实施方式15～实施方式17中的任一情况，均由B先生操作计算机10B，但是也可以是无论任一情况均使B先生佩戴有xR设备20。

＜实施方式18＞

图39是对实施方式18中的xR设备20的使用例进行说明的图。图39的(A)示出了A先生遇见B先生之前的状态，图39的(B)示出了A先生遇见B先生之后的状态。在图39中对于与图1的对应部分标注对应的符号来示出。

在图39的(A)的情况下，A先生目视确认到AR图像。在即使A先生遇见B先生之后也继续输出AR图像的设定中，存在AR图像与B先生的面部重合而形成干扰的情况或无法集中到与B先生的对话中的情况。并且，还存在即使在与B先生的对话中也提示AR图像而对B先生失礼的情况。

因此，在本实施方式的情况下，将在遇见B之后停止输出AR图像的功能设置于xR设备20。

另外，本实施方式中的B先生设想为面对面对话的对象。因而，在通过由摄像机22(参照图3)拍摄到的图像或由麦克风23(参照图3)获取到的语音判定为不符合面对面对话的对象的情况下，即使行人横穿眼前等，也不停止输出AR图像。

＜实施方式19＞

图40是对实施方式19中的xR设备20A的使用例进行说明的图。

在图40的情况下，A先生佩戴有xR设备20A，B与A对话。图40所示的xR设备20A能够以作为对话的对方的B先生看得到的方式显示A先生的自我介绍等。

图41是对在实施方式19中使用的xR设备20A的概念性结构的一例进行说明的图。在图41中对于与图4的对应部分标注对应的符号来示出。

在本实施方式中使用的xR设备20A的情况下，在导光板211的面上贴合有能够以像素单位控制光的透明度的薄膜状设备。此处的薄膜状设备具有将液晶物质填充到一对透明电极膜之间的结构。通过以像素单位控制液晶物质的取向，光的透明度以像素单位发生变化。通过该特性显示字符。

如图40所示，自我介绍等的显示可以按照A先生的指示来执行，也可以在xR设备20A检测到“初次见面”或“请问从事什么样的工作？”等包含事先登记的关键词的语音的情况下执行。顺便说一下，xR设备20A通过语音识别引擎对由麦克风23(参照图3)获取到的语音进行分析，由此检测关键词的出现。

＜实施方式20＞

图42是对在实施方式20中使用的信息处理***1D的结构例进行说明的图。在图42中标注对应于与图1的对应部分的符号来进行示出。

在本实施方式的情况下，AR图像作为空中图像提示在现实空间中。空中图像也是配置在现实空间中的虚拟图像的一例。空中图像以悬浮在空中的方式形成。在空中图像的形成中使用空中图像形成装置60。

空中图像形成装置60是直接在空中形成空中图像的装置，已经提出了各种各样的方法，一部分被实用化。

例如，空中图像的形成有如下方法：使用半反射镜的方法；使用光束分离器的方法；使用微小的反射镜阵列的方法；使用微小的镜片阵列的方法；使用视差屏障的方法；以及使用等离子发光的方法；等等。通过这些方式生成的空中图像能够穿透。

另外，形成无法穿透的空中图像的空中图像形成装置60有将图像投影到存在于现实空间中的屏幕上的投影仪。此外，空中图像形成装置60还有使发光元件的阵列在实际空间中高速移动并使用残像现象目视确认空中图像的装置。

空中图像的形状是任意的，可以是立体形状，也可以是平面形状。立体形状的例有球形、多面体、圆柱等其他曲面体、人字形、动物形状、电器用品形状、水果形状等。

平面形状的例有圆形、多边形、人字形、动物形状、电器用品形状、水果形状等。此处的人或动物可以是虚拟人物或生物。

形成于空中的空中图像并不限于规定立体表面的图像，可以由规定立体表面的图像和与其内部对应的图像这两者构成。换句话说，空中图像可以通过体素数据表示。

本实施方式中的空中图像可以是静态图像，也可以是动态图像。

＜其他实施方式＞

(1)以上，对本公开的实施方式进行了说明，本公开的技术范围并不限定于前述的实施方式所记载的范围。从权利要求书的记载中明确可知，对前述的实施方式实施各种各样的变更或改良的方式也包含于本公开的技术范围。

(2)在前述的实施方式中，AR图像配置在显示器11(参照图1)的前方侧的空间中，但是AR图像也可以配置在比显示器11靠里侧的位置。不过，在该情况下，配置成AR图像存在于在现实空间中看不到的显示器11的背后。

(3)在前述的实施方式中，说明为由xR设备20(参照图1)执行的处理也可以由计算机10(参照图1)执行。相反地，说明为由计算机10执行的处理也可以由xR设备20执行。

(4)在前述的实施方式中，将AR图像配置在笔记本式计算机10(参照图1)的显示器面的前方侧，但是并不限于前述的台式计算机等，也可以是外置于计算机的监视器、所谓的电视接收器、IoT家电、以佩戴于手腕等来使用的智能手表为代表的可穿戴终端。

(5)在前述的实施方式中，由xR设备20将与通过所协作的计算机10进行的下载等的进程有关的信息作为AR图像配置在空中，但是也可以由与所协作的计算机10连接的外部设备将执行中的进程作为AR图像提示在显示器11的前方。

例如，在外部设备是将图像打印到纸张上的打印机或形成立体图像的三维打印机的情况下，可以将结束各打印机的输出为止的时间等作为AR图像进行提示。并且，也可以将结束各打印机的假脱机为止的时间等作为AR图像进行提示。

(6)前述的各实施方式中的处理器是指广义上的处理器，除了包含通用的处理器(例如CPU等)，还包含专用的处理器(例如GPU(＝Graphical Processing Unit、图形处理器)、ASIC(＝Application Specific Integrated Circuit、专用集成电路)、FPGA(＝FieldProgrammable Gate Array、现场可编程阵列)、程序逻辑设备等)。

并且，前述的各实施方式中的处理器的动作可以由1个处理器单独执行，但是也可以由存在于物理分离的位置处的多个处理器协作执行。并且，处理器中的各动作的执行顺序并不仅限于前述的各实施方式所记载的顺序，也可以个别地变更。

Claims (28)

1.一种信息处理装置，其具有对将虚拟图像配置在现实空间中的设备进行控制的处理器，所述处理器进行以下处理：

在具有物理显示设备的外部终端与所述信息处理装置连接了的情况下，在该显示设备的前方侧配置所述虚拟图像时，配置指示所述终端的动作的按钮作为所述虚拟图像。

2.根据权利要求1所述的信息处理装置，其中，

所述按钮是选择按钮。

3.根据权利要求2所述的信息处理装置，其中，

所述选择按钮是选择基于所述终端的动作的执行与否的选择用按钮。

4.根据权利要求3所述的信息处理装置，其中，

所述执行与否的对象是在所述终端的***构成中伴随变更的动作。

5.根据权利要求2所述的信息处理装置，其中，

所述选择按钮是选择针对所述显示设备上显示的信息的同意不同意的选择用按钮。

6.根据权利要求1所述的信息处理装置，其中，

所述按钮是确定按钮。

7.根据权利要求6所述的信息处理装置，其中，

所述确定按钮指示动作的开始。

8.根据权利要求3、4、7中的任意一项所述的信息处理装置，其中，

所述处理器在现实空间中配置表示开始了的动作的进展状况的信息作为所述虚拟图像。

9.根据权利要求1所述的信息处理装置，其中，

在所述显示设备上显示有多个内容的情况下，所述处理器在现实空间中配置确定所述按钮所关联的特定内容的信息作为所述虚拟图像。

10.根据权利要求9所述的信息处理装置，其中，

所述信息配置在所述特定内容的上方的现实空间中。

11.根据权利要求1所述的信息处理装置，其中，

所述按钮是与应用程序关联起来的图标。

12.根据权利要求11所述的信息处理装置，其中，

所述应用程序是消息应用程序，所述图标是通知消息的接收的通知用图标。

13.根据权利要求1所述的信息处理装置，其中，

在满足预先规定的第1条件的情况下，所述处理器将显示在所述终端的所述显示设备上的光标切换到向现实空间中的作为所述虚拟图像的配置。

14.根据权利要求13所述的信息处理装置，其中，

在满足预先规定的第2条件的情况下，所述处理器将作为所述虚拟图像配置在现实空间中的所述光标切换到基于所述显示设备的显示。

15.根据权利要求1所述的信息处理装置，其中，

在未确认所述按钮的操作的状态下检测到预先规定的事件的情况下，所述处理器输出警报。

16.根据权利要求15所述的信息处理装置，其中，

所述预先规定的事件是如下情况中的任意1个：断开所述信息处理装置的电源的操作；断开所述终端的电源的操作；从身上摘下已佩戴的本终端的操作；解除连接的操作；所述信息处理装置与该终端之间的距离超过阈值的情况；以及配置在现实空间中的所述虚拟图像从所述显示设备的前方侧的位置偏离的情况。

17.根据权利要求1所述的信息处理装置，其中，

在恢复了未确认所述按钮的操作的状态下被解除的与所述终端之间的连接的情况下，所述处理器将该按钮作为所述虚拟图像再次配置在现实空间中。

18.根据权利要求1所述的信息处理装置，其中，

在配置于现实空间中的所述虚拟图像与所述显示设备之间的位置关系不满足预先规定的条件的情况下，所述处理器停止向现实空间中的所述虚拟图像的配置。

19.根据权利要求18所述的信息处理装置，其中，

在停止向现实空间中的所述虚拟图像的配置的情况下，所述处理器使该虚拟图像缓慢地从现实空间中淡出。

20.根据权利要求18或19所述的信息处理装置，其中，

在停止向现实空间中的所述虚拟图像的配置的情况下，所述处理器在停止该虚拟图像的配置之前输出暗示停止的警报。

21.根据权利要求18所述的信息处理装置，其中，

即使是在配置于现实空间中的所述虚拟图像与所述显示设备之间的位置关系不满足预先规定的条件的情况下，在存在事先的设定时，所述处理器也继续进行向现实空间中的该虚拟图像的配置。

22.根据权利要求1所述的信息处理装置，其中，

在配置于现实空间中的所述虚拟图像与所述显示设备之间的位置关系满足预先规定的条件的情况下，所述处理器恢复向现实空间中的所述虚拟图像的配置。

23.根据权利要求22所述的信息处理装置，其中，

在恢复向现实空间中的所述虚拟图像的配置的情况下，所述处理器使该虚拟图像缓慢地淡入到现实空间中。

24.根据权利要求22或23所述的信息处理装置，其中，

在恢复向现实空间中的所述虚拟图像的配置的情况下，所述处理器在恢复该虚拟图像的配置之前输出暗示恢复的警报。

25.根据权利要求22所述的信息处理装置，其中，

即使是在停止配置于现实空间中的所述虚拟图像与所述显示设备之间的位置关系满足预先规定的条件的情况下，在存在事先的设定时，所述处理器也继续停止向现实空间中的该虚拟图像的配置。

26.根据权利要求1所述的信息处理装置，其中，

所述信息处理装置还具有摄像机，

在所述摄像机拍摄的范围内包含所述显示设备的情况下，所述处理器在预先规定的时刻拍摄该显示设备上显示的画面并保存。

27.一种计算机可读介质，其存储有使计算机执行处理的程序，所述计算机对将虚拟图像配置在现实空间中的设备进行控制，

所述处理具有以下工序：

在具有物理显示设备的外部终端与信息处理装置连接了的状态下，将所述虚拟图像配置在该显示设备的前方侧；以及

配置指示所述终端的动作的按钮作为所述虚拟图像。

28.一种信息处理方法，其是对将虚拟图像配置在现实空间中的设备进行控制的计算机用信息处理方法，

所述信息处理方法具有如下工序：

在具有物理显示设备的外部终端与信息处理装置连接了的状态下，将所述虚拟图像配置在该显示设备的前方侧；以及

配置指示所述终端的动作的按钮作为所述虚拟图像。

Images