CN112840379A - 信息处理装置、信息处理方法及程序 - Google Patents

Abstract

根据本技术的一个实施方式的信息处理装置配备有获取单元、操作检测单元、区域检测单元和显示控制单元。获取单元获取拍摄了真实空间的一个或更多个拍摄图像。操作检测单元检测触摸操作，该触摸操作是当用户触摸真实空间中的真实对象时的一系列动作。区域检测单元根据所检测到的触摸操作来检测包括真实对象的被摄体区域。显示控制单元从一个或更多个拍摄图像中提取与被摄体区域相对应的部分图像，生成真实对象的虚拟图像，并且根据触摸操作来控制虚拟图像的显示。

Description

信息处理装置、信息处理方法及程序

技术领域

本技术涉及提供虚拟体验的信息处理装置、信息处理方法及程序。

背景技术

专利文献1描述了一种用于使用实际空间的图像来提供虚拟体验的***。在该***中，使用由第一用户穿戴的可穿戴显示器和广角摄像机来生成表示第一用户的视场的图像。该图像被呈现给第二用户。第二用户可以将诸如文本和图标的虚拟对象输入到所呈现的图像中。此外，输入的虚拟对象被呈现给第一用户。这能够实现用户之间共享视觉的虚拟体验(专利文献1、第[0015]至[0017]、[0051]、[0062]段，图1、图3等)。

引用列表

专利文献

专利文献1：日本专利申请公开第2015-95802号

发明的公开内容

技术问题

如上所述，已经开发了一种使用实际空间的图像等来提供各种虚拟体验的技术，并且需要一种能够无缝地连接实际空间和虚拟空间的技术。

鉴于以上情况，本技术的目的是提供一种能够无缝地连接实际空间和虚拟空间的信息处理装置、信息处理方法及程序。

问题的解决方案

为了实现以上目的，根据本技术的实施方式的信息处理装置包括获取单元、动作检测单元、区域检测单元和显示控制单元。

获取单元获取拍摄实际空间的一个或更多个拍摄图像。

动作检测单元检测接触动作，该接触动作是当用户接触实际空间中的实际对象时的一系列动作。

区域检测单元，其检测包括与所检测到的接触动作相对应的实际对象的目标区域。

显示控制单元，其通过从一个或更多个拍摄图像中提取与目标区域相对应的部分图像来生成实际对象的虚拟图像，并且控制与接触动作相对应的虚拟图像的显示。

在该信息处理装置中，检测用户接触实际对象的接触动作，并且检测与接触动作相对应的包括实际对象的目标区域。从通过拍摄实际对象所存在的实际空间而获得的拍摄图像中提取与目标区域相对应的部分图像，并且生成实际对象的虚拟图像。然后，执行与用户的接触动作相对应的虚拟图像的显示控制。因此，变得可以容易地显示拍摄了实际对象的虚拟图像，并且可以无缝地连接实际空间和虚拟空间。

显示控制单元可以生成表示未被遮蔽对象遮蔽的实际对象的虚拟图像。

这使得能够将未被遮蔽对象遮蔽的实际对象的清晰的图像引入到虚拟空间，并且能够无缝地连接实际空间和虚拟空间。

显示控制单元可以从一个或更多个拍摄图像中的对象不包括在目标区域中的拍摄图像生成部分图像。

这使得可以容易地将表示实际对象的虚拟图像不加遮蔽地带入虚拟空间中。结果，变得可以无缝地连接实际空间和虚拟空间。

显示控制单元可以将虚拟图像叠加在实际对象上并进行显示。

因此，其中复制了实际对象的虚拟图像被显示在实际对象上。结果，可以容易地处理虚拟图像，并且可以展示优良的可用性。

获取单元可以从拍摄实际空间的拍摄装置或存储拍摄装置的输出的数据库中的至少一个获取一个或更多个拍摄图像。

因此，例如，变得可以容易地生成没有遮蔽地表示实际对象的具有高精度的虚拟图像。

接触动作可以包括使用户的手更靠近实际对象的动作。在这种情况下，动作检测单元可以确定接触动作的状态是否是预测用户的手相对于实际对象的接触的预接触状态。另外，如果确定接触动作的状态是预接触状态，则获取单元可以通过控制拍摄装置来获取一个或更多个拍摄图像。

因此，例如，变得可以在用户接触实际对象之前立即拍摄实际对象。这使得可以充分地提高虚拟图像的精度。

如果接触动作的状态被确定为预接触状态，则获取单元可以增加拍摄装置的拍摄分辨率。

例如，这使得可以生成具有高分辨率的虚拟图像。

动作检测单元可以检测实际对象与用户的手之间的接触位置。在这种情况下，区域检测单元可以基于所检测到的接触位置来检测目标区域。

因此，例如，变得可以通过简单的动作指定拍摄目标、范围等，并且无缝地连接实际空间和虚拟空间。

区域检测单元可以将包括接触位置的实际对象的边界检测为目标区域。

因此，例如，变得可以精确地分离实际对象和其他区域，并且生成高度精确的虚拟图像。

信息处理装置还可以包括视线检测单元，用于检测用户的视线方向。在这种情况下，区域检测单元可以基于用户的视线方向来检测实际对象的边界。

因此，变得可以提高要拍摄的实际对象与目标区域之间的分离精度。结果，可以生成适当的虚拟图像。

视线检测单元可以基于用户的视线方向来检测注视位置。在这种情况下，区域检测单元可以将包括接触位置和注视位置的实际对象的边界检测为目标区域。

因此，变得可以极大地提高要拍摄的实际对象与目标区域之间的分离精度，并且可以充分地提高装置的可靠性。

区域检测单元可以基于实际对象的阴影、尺寸或形状中的至少一个来检测实际对象的边界。

例如，这使得可以精确地检测实际对象的边界，而不管实际对象的状态等。结果，变得可以充分地提高装置的可用性。

动作检测单元可以检测用户的手的指尖位置。在这种情况下，区域检测单元可以基于伴随指尖位置的移动的指尖位置的轨迹来检测目标区域。

例如，这使得可以容易地设置拍摄范围。

显示控制单元可以将表示目标区域的区域图像叠加在实际对象上并进行显示。

因此，例如，变得可以将目标区域确认为拍摄范围，并且可以充分地避免诸如生成不必要的虚拟图像的状态。

可以显示区域图像，使得形状、尺寸或位置中的至少一个可以被编辑。在这种情况下，区域检测单元可以基于所编辑的区域图像来改变目标区域。

因此，变得可以精确地设置拍摄范围，并且例如，可以容易地生成期望的实际对象的虚拟图像等。

动作检测单元可以检测实际对象与用户的手之间的接触位置。在这种情况下，显示控制单元可以控制与检测到的接触位置相对应的虚拟图像的显示。

因此，例如，变得可以没有与接触位置相对应的不舒适感地显示虚拟图像，并且可以无缝地连接实际空间和虚拟空间。

动作检测单元可以检测用户的手接触实际对象的姿势。在这种情况下，显示控制单元可以控制与检测到的用户的手的姿势相对应的虚拟图像的显示。

因此，例如，变得可以切换与手的姿势相对应的虚拟图像的显示方法，并且提供易于使用的界面。

虚拟图像可以是实际对象的二维图像或三维图像中的至少一个。

因此，变得可以生成存在于实际空间中的各种实际对象的虚拟图像，并且可以无缝地连接实际空间和虚拟空间。

根据本技术的实施方式的信息处理方法是由计算机***执行的信息处理方法，并且包括获取拍摄了实际空间的一个或更多个拍摄图像。

检测接触动作，该接触动作是当用户接触实际空间中的实际对象时的一系列动作。

检测包括与所检测到的接触动作相对应的实际对象的目标区域。

从一个或更多个拍摄的图像中提取与目标区域相对应的部分图像以生成实际对象的虚拟图像并且控制与接触动作相对应的虚拟图像的显示。

一种根据本技术的实施方式的使计算机***执行以下步骤的程序：

获取拍摄了实际空间的一个或更多个拍摄图像的步骤；

检测接触动作的步骤，接触动作是当用户接触实际空间中的实际对象时的一系列动作；

检测包括与检测到的接触动作相对应的实际对象的目标区域的步骤；以及

通过从一个或更多个拍摄图像中提取与目标区域相对应的部分图像来生成实际对象的虚拟图像，并且控制与接触动作相对应的虚拟图像的显示的步骤。

发明的有益效果

如上所述，根据本技术，可以无缝地连接实际空间和虚拟空间。注意，这里描述的效果不一定是限制性的，并且可以提供本公开内容中描述的任何效果。

附图说明

[图1]图1是用于解释根据本技术的实施方式的HMD的动作的概要的示意图。

[图2]图2是示意性地示出根据本技术的实施方式的HMD的外观的立体图。

[图3]图3是示出图2中所示的HMD的配置示例的框图。

[图4]图4是示出HMD 100的动作的示例的流程图。

[图5]图5是示出相对于用户的实际对象的接触动作的示例的示意图。

[图6]图6是示出区域自动检测模式下的拍摄区域的检测处理的示例的示意图。

[图7]图7是示出区域自动检测模式下的拍摄区域的检测处理的另一示例的示意图。

[图8]图8是示出拍摄区域的校正处理的示例的示意图。

[图9]图9是示出用于生成虚拟图像的拍摄图像的示例的示意图。

[图10]图10是示出虚拟图像的显示的示例的示意图。

[图11]图11是示出虚拟图像的显示的示例的示意图。

[图12]图12是示出虚拟图像的显示的示例的示意图。

[图13]图13是示出虚拟图像的显示的示例的示意图。

[图14]图14是示出虚拟图像的显示的另一示例的示意图。

[图15]图15是示出包括遮蔽对象的拍摄区域的检测处理的示例的示意图。

[图16]图16是示出通过图15所示的检测处理生成的虚拟图像的示例的示意图。

[图17]图17是示出HMD的动作的另一示例的流程图。

[图18]图18是示出由用户指定的拍摄区域6的示例的示意图。

[图19]图19是示意性地示出根据另一实施方式的HMD的外观的透视图。

[图20]图20是示意性地示出根据另一实施方式的移动终端的外观的透视图。

实现本发明的方式

现在将在下面参照附图描述根据本技术的实施方式。

HMD的配置

图1是用于解释根据本技术的实施方式的HMD的动作的概要的示意图。HMD 100(头戴式显示器)是具有透射型显示器的眼镜型装置，并且通过佩戴在用户1的头部上来使用。

佩戴HMD 100的用户1将能够在视觉上识别实际场景，并且同时在视觉上识别在透射型显示器上显示的图像。也就是说，通过使用HMD 100，能够在用户1周围的真实空间(实际空间)上叠加虚拟图像等并进行显示。因此，用户能够体验增强现实(AR)等。

图1A是示出用户1在视觉上看到的示例虚拟空间(AR空间)的示意图。佩戴HMD 100的用户1a坐在图1A中的左侧椅子上。例如，坐在桌子另一侧的其他用户1b的图像被显示在HMD 100的显示器上。结果，佩戴HMD 100的用户1a可以体验增强现实，就好像用户1a与另一用户1b面对面坐着一样。

注意，图中实线所示的部分(例如，用户1a所坐的椅子、桌子、桌子上的文档2)是布置在用户实际存在的实际空间中的实际对象3。此外，图中虚线所示的部分(例如，其他用户1b及其椅子)是显示在透射型显示器上的图像，并且成为AR空间中的虚拟图像4。在本公开内容中，虚拟图像4是用于显示例如在虚拟空间中显示的各种对象(虚拟对象)的图像。

通过以这种方式佩戴HMD 100，例如即使在其他用户1b位于远程位置的情况下，也能够自然地执行使用手势等的对话，可以进行良好的交流。当然，即使当用户1a和另一用户1b在相同的空间中时，也可以应用本技术。

HMD 100包括拍摄功能，该拍摄功能生成实际空间中的实际对象3的虚拟图像4并将其显示在AR空间中。例如，假设佩戴HMD 100的用户1a将他的手伸向桌子上的文档2并且接触文档2。在这种情况下，在HMD 100中，生成用户1a所接触的文档2的虚拟图像4。在本实施方式中，文档2是实际空间中的实际对象3的示例。

图1B示意性地示出了用户1a接触文档2的示例接触动作。例如，当用户1a接触文档2时，检测到要拍摄的文档2的区域(文档2的边界)。基于检测结果，生成表示用户1a接触的文档2的虚拟图像4(图中的阴影区域)，并将其显示在HMD 100显示器(AR空间)上。稍后将详细描述检测要拍摄的区域的方法、生成虚拟图像4的方法等。

例如，如图1B所示，当用户1a手动摩擦桌子上的文档2时，拍摄的文档2(虚拟图像4)被显示为好像它翻动了实际文档2。也就是说，生成的虚拟图像4被叠加在实际文档2上并被显示，好像实际文档2被翻动了一样。注意，用户1a不需要实际翻动文档2，并且例如可以仅通过执行翻动文档2的姿势来生成虚拟图像4。

因此，在HMD 100中，要拍摄的实际对象3(文档2)由用户1a的手指定，并且生成目标虚拟图像4。将所拍摄的虚拟图像4叠加并显示在目标实际对象上。在AR空间中显示的文档2的虚拟图像4可以对应于用户1a的各种手势(例如，抓取、移动虚拟图像4或使虚拟图像4变形)在AR空间中自由显示。

此外，作为虚拟图像4被带入AR空间的文档2可以在虚拟AR空间中自由移动。例如，图1C示出了用户1a抓取虚拟对象文档2(虚拟图像4)并将其交给在HMD 100显示器上显示的远程位置处的另一用户1b。例如，通过使用虚拟图像4，这样的通信可行。

如上所述，在HMD 100中，存在于实际空间(真实世界)中的实际对象3被简单地拍摄并呈现在虚拟空间(虚拟世界)中。也就是说，可以说HMD 100具有简单地拍摄实际空间的功能。这使得能够容易地将实际空间的对象引入诸如AR空间的虚拟空间，并且能够无缝地连接实际空间和虚拟空间。在下文中，将详细描述HMD 100的配置。

图2是示意性地示出根据本技术的实施方式的HMD 100的外观的透视图。图3是示出了图2中所示的HMD 100的示例配置的框图。

HMD 100包括框架10、左眼透镜11a和右眼透镜11b、左眼显示器12a和右眼显示器12b、左眼摄像机13a和右眼摄像机13b以及向外摄像机14。

框架10具有眼镜状的形状并且包括镜框部分15和镜腿部分16。镜框部分15是设置在用户的左眼和右眼的前面并且支承左眼透镜11a和右眼透镜11b中的每一个的部分。镜腿部分16从镜框部分15的两端朝向用户1的双耳向后延伸，并且双耳都戴着尖端。例如，镜框部分15和镜腿部分16由诸如合成树脂和金属的材料形成。

左眼透镜11a和右眼透镜11b分别设置在用户的左眼和右眼的前方，以覆盖用户的视场的至少一部分。通常，每个透镜被设计成矫正用户的视力。当然，本发明不限于此，也可以使用所谓的无度数透镜。

左眼显示器12a和右眼显示器12b是透射型显示器，并且被布置成分别覆盖左眼透镜11a和右眼透镜11b的部分区域。也就是说，左眼透镜11a和右眼透镜11b分别设置在用户的左眼和右眼的前面。

用于左眼和右眼的图像等分别显示在左眼显示器12a和右眼显示器12b上。在显示器12a和12b中的每一个上显示诸如虚拟图像4的虚拟显示对象(虚拟对象)。因此，佩戴HMD100的用户1在视觉上看到诸如实际对象3的实际空间场景，在该实际空间场景上叠加了显示器12a和12b上显示的虚拟图像4。

例如，使用透射型有机电致发光显示器、LCD(液晶显示器)显示器等作为左眼显示器12a和右眼显示器12b。另外，左眼显示器12a和右眼显示器12b的具体配置不受限制，并且例如，可以适当地使用任意方法的透射型显示，例如在透明屏幕上投影和显示图像的方法或使用棱镜等显示图像的方法。

左眼摄像机13a和右眼摄像机13b被适当地放置在框架10中，使得用户1的左眼和右眼可以被成像。例如，可以基于由左眼摄像机13a和右眼摄像机13b拍摄的左眼和右眼的图像来检测用户1的视线、用户1正注视的注视点等。

例如，使用包括诸如CMOS(互补金属氧化物半导体)传感器和CCD(电荷耦合器件)传感器的图像传感器的数字摄像机作为左眼摄像机13a和右眼摄像机13b。此外，例如，可以使用配备有红外照明(例如，红外LED)的红外摄像机。

以下，左眼透镜11a和右眼透镜11b两者都被称为透镜11，并且在一些情况下，左眼显示器12a和右眼显示器12b都被称为透射型显示器12。左眼摄像机13a和右眼摄像机13b在一些情况下被称为向内摄像机13。

向外摄像机14设置在框架10(框架部分15)的中心朝向外部(与用户1相对的一侧)。向外摄像机14拍摄用户1周围的实际空间，并且输出拍摄了该实际空间的拍摄图像。例如，向外摄像机14的拍摄范围被设置为与用户1的视场基本相同，或者被设置为比用户1的视场更宽的范围。也就是说，可以说向外摄像机14拍摄用户1的视场。在本实施方式中，向外摄像机14与拍摄装置相对应。

例如，使用包括诸如CMOS传感器或CCD传感器的图像传感器的数字摄像机作为向外摄像机14。另外，例如能够检测实际空间的深度信息等的立体摄像机、配备有TOF(飞行时间)传感器的摄像机等可以用作向外摄像机14。向外摄像机14的具体配置没有特别限定，例如，能够以期望的精度拍摄实际空间的任何摄像机可以用作向外摄像机14。

如图3所示，HMD 100还包括传感器单元17、通信单元18、存储单元20和控制器30。

传感器单元17包括用于检测周围环境的状态、HMD 100的状态、用户1的状态等的各种传感器元件。在本实施方式中，安装了用于测量到目标的距离传感器(深度传感器)作为传感器元件。例如，上述立体摄像机等是距离传感器的示例。另外，LiDAR传感器、各种雷达传感器等可以用作距离传感器。

另外，作为传感器元件，例如，可以使用3轴加速度传感器、3轴陀螺仪传感器、包括3轴罗盘传感器的9轴传感器、用于获取HMD 100的当前位置的信息的GPS传感器等。此外，可以使用用于检测用户1的生物信息的生物传感器(心率)，例如，脑电图传感器、肌电图传感器或脉搏传感器。

传感器单元17包括用于检测用户的语音或周围声音的声音信息的麦克风。例如，适当地检测用户发出的语音。因此，例如，用户可以在进行语音呼叫时体验AR，并且使用语音输入来执行HMD 100的操作输入。另外，作为传感器单元17而设置的传感器元件等没有限制。

通信单元18是用于执行与其他设备的网络通信、短距离无线通信等的模块。例如，设置诸如WiFi的无线LAN模块和诸如Bluetooth(注册商标)的通信模块。

存储单元20是非易失性存储装置，并且例如使用硬盘驱动器(HDD)、固态驱动器(SSD)等。

存储单元20存储拍摄图像数据库21。例如，拍摄图像数据库21是存储由向外摄像机14拍摄的实际空间的图像的数据库。由不同于向外摄像机14的其他摄像机等拍摄的实际空间的图像等可以存储在拍摄图像数据库21中。

例如，拍摄图像数据库21将实际空间的拍摄图像和与各拍摄图像的拍摄状态有关的拍摄信息彼此关联地存储。例如，当拍摄图像时，存储拍摄时间、拍摄时HMD 100的位置、拍摄方向(HMD 100姿态等)、拍摄分辨率、拍摄放大倍数、曝光时间等作为拍摄信息。另外，拍摄图像数据库21的具体配置不受限制。在本实施方式中，拍摄图像数据库与存储拍摄装置的输出的数据库相对应。

此外，存储单元20存储用于控制HMD 100的整体动作的控制程序22。将拍摄图像数据库21和控制程序22安装到HMD 100的方法不受限制。

控制器30与根据本实施方式的信息处理装置相对应，并且控制HMD100的各个块的动作。控制器30包括计算机所需的硬件配置，例如CPU和存储器(RAM、ROM)。当CPU将存储在存储单元20中的控制程序22加载到RAM并执行时，执行各种处理。

例如，可以使用诸如FPGA(现场可编程门阵列)的PLD(可编程逻辑器件)和其他ASIC(专用集成电路)等的器件作为控制器30。

在本实施方式中，控制器30的CPU执行根据本实施方式的程序，由此图像获取单元31、接触检测单元32、视线检测单元33、区域检测单元34和AR显示单元35被实现为功能块。通过这些功能块执行根据本实施方式的信息处理方法。注意，为了实现每个功能块，可以适当地使用诸如IC(集成电路)的专用硬件。

图像获取单元31获取拍摄了实际空间的一个或更多个拍摄图像。例如，图像获取单元31通过适当地控制向外摄像机14来读取由向外摄像机14拍摄到的拍摄图像。在这种情况下，图像获取单元31可以获取实时拍摄的图像。

例如，当从稍后将描述的接触检测单元32接收到用户1和实际对象3即将彼此接触的通知时，图像获取单元31控制向外摄像机14开始拍摄要拍摄的实际对象3。此外，在向外摄像机14正在执行连续拍摄的情况下，改变向外摄像机14的拍摄参数，并将其切换到拍摄更高分辨率图像。也就是说，图像获取单元31控制向外摄像机14以切换到拍摄要拍摄的实际对象3的模式。下面将参照图5等详细描述这一点。

此外，例如，图像获取单元31适当地访问存储单元20以读取存储在拍摄图像数据库21中的拍摄图像40。也就是说，图像获取单元31可以适当地参考拍摄图像数据库21并且获取过去拍摄的拍摄图像。

因此，在本实施方式中，图像获取单元31从用于拍摄实际空间的向外摄像机14或存储有向外摄像机14的输出的拍摄图像数据库21中的至少一个获取一个或更多个拍摄图像。例如，所获取的拍摄图像被适当地提供给其他功能块。另外，从向外摄像机14获取的拍摄图像被适当地存储在拍摄图像数据库21中。在该实施方式中，图像获取单元31与获取单元相对应。

接触检测单元32检测用户1接触实际空间中的实际对象3时的一系列接触动作。作为接触动作的检测，例如，使用由作为传感器单元17安装的距离传感器等检测的深度信息、由向外摄像机14拍摄的用户1的视野的图像(拍摄图像)等。

在本公开内容中，接触动作是当用户1接触实际对象3时执行的一系列动作(手势)，并且通常是由用户1执行的使得用户1的手(手指)接触实际对象3的动作。例如，当用户1的手接触实际对象3时用户的手指的手势是接触动作。例如，诸如捏、翻动、抓取、轻敲和移动文档2(实际对象3)的手势被包括在接触动作中。顺便提及，手势并不限于在接触实际对象3时执行的手势。例如，在用户1没有接触实际对象3的状态下执行的手势等(例如，张开或聚拢手指以捏住实际对象3)也是接触动作。

接触动作包括使用户1的手更接近实际对象3的动作。也就是说，为了接触实际对象3，用户1将手伸向要作为目标的实际对象3的动作也包括在接触动作中。例如，用户1移动手以接近文档2(实际对象3)的动作(接近动作)是接触动作。因此，可以说接触检测单元32将当用户接触实际对象3时执行的一系列动作(例如在接触时的接近动作和手势)检测为用户1的接触动作。

接触检测单元32确定接触动作的状态。例如，接触检测单元确定接触动作的状态是否是预测用户1的手相对于实际对象3的接触的预接触状态。也就是说，判断用户1的手是否有可能接触实际对象3。例如，当用户1的手指与周围的实际对象3之间的距离小于特定阈值时，判断用户1的手有可能接触实际对象3，并且用户1的接触动作处于预接触状态(见图4的步骤102)。在这种情况下，手指与实际对象3之间的距离小于阈值并且手指不与实际对象3接触的状态是预接触状态。

另外，接触检测单元32判断接触动作的状态是否是用户1的手与实际对象3彼此接触的接触状态。也就是说，接触检测单元32检测用户1的手指与实际对象3的表面(平面)的接触。

当检测到用户1与实际对象3之间的接触时，接触检测单元32检测用户1的手与实际对象3之间的接触位置P。例如，检测用户1的手和实际对象3在HMD 100中设置的预定坐标系中彼此接触的位置的坐标作为接触位置P。

检测接触动作等的方法不受限制。例如，接触检测单元32使用附接至HMD 100的距离传感器等，适当地测量用户1的手的位置和周围的实际对象3的位置。基于相应位置的测量结果，例如，确定状态是否为预接触状态，并且检测用户1的手是否可能接触实际对象3。此外，例如确定状态是否为接触状态，并且确定手是否接触实际对象3。

为了检测是否有可能接触，例如，使用了通过机器学习的预测处理、使用用户1的手与实际对象3之间的距离缩短的事实的预测处理等。替选地，也可以基于用户1的手的移动方向、移动速度等，执行预测用户1与实际对象3的接触的处理。

此外，接触检测单元32基于由向外摄像机14拍摄的拍摄图像等来检测用户1的手势。例如，可以适当地使用通过检测拍摄图像中手指的面积来检测手势的方法、检测每个手指的指尖并检测手势的方法等。可以执行使用机器学习等检测手势的处理。另外，检测手势等的方法不受限制。

视线检测单元33检测用户1的视线方向。例如，基于由向内摄像机13拍摄到的用户1的左眼和右眼的图像来检测用户1的视线方向。视线检测单元33基于用户的视线方向来检测注视位置Q。例如，在用户1正看着实际空间中的某个实际对象3的情况下，将实际对象3与用户1的视线方向相交的位置检测为用户1的注视位置Q。

检测用户1的视线方向和注视位置Q的方法不受限制。例如，在安装了红外摄像机(向内摄像机13)和红外光源的配置中，拍摄其中从红外光源发射的红外光的反射(亮点)被反射的眼球的图像。在这种情况下，根据红外光的亮点和瞳孔位置估计视线方向，并检测注视位置Q。

另外，可以基于眼球的图像使用基于诸如眼角等的特征点来估计视线方向和注视位置Q的方法。此外，可以基于由眼球的充电生成的眼电位等的变化来检测视线方向或注视位置Q。另外，可以使用能够检测用户1的视线方向、注视位置Q等的任何算法等。

区域检测单元34检测包括与由接触检测单元32检测的接触动作相对应的实际对象3的拍摄区域。例如，该拍摄区域是用于生成其中拍摄了实际对象3的虚拟图像4的区域。也就是说，可以说包括要拍摄作为虚拟图像4的实际对象3的区域是拍摄区域。在本实施方式中，拍摄区域与目标区域相对应。

例如，获取拍摄用户1与实际对象3接触的状态的拍摄图像(在下文中，称为接触图像)。区域检测单元34分析接触图像，并且检测要被拍摄的接触图像中的范围作为虚拟图像4。注意，不限于从接触图像中检测拍摄区域的情况。例如，可以基于用户1的接触位置等从除了接触图像之外的拍摄图像中检测拍摄区域。

在本实施方式中，执行用于自动检测拍摄区域的区域自动检测模式。在区域自动检测模式下，例如，用户1接触的实际对象3被自动识别为拍摄目标。然后，可以将表示要拍摄的实际对象3的表面的延伸的区域，也就是说，用户1所接触的实际对象3的边界(周边)检测为拍摄区域。另外，表示与用户1接触的实际对象3相关的实际对象3的边界(周边)的区域可以被检测为拍摄区域。例如，用户1接触的文档的顶面、背面等上的文档的边界可以被检测为拍摄区域。替选地，当接触边界具有活页夹的一个文档时，可以检测诸如包含另一文档的拍摄区域。

以这种方式，在区域自动检测模式下，检测用户1将要接触哪个表面以及该表面延伸到什么程度。这使得可以识别用户1接触的表面的范围(文档2的范围、白板等)。自动检测拍摄区域的方法不受限制，并且例如，可以适当地使用能够检测对象、识别边界等的任意图像分析处理，或者通过机器学习等的检测处理。

此外，在本实施方式中，执行用于检测由用户1指定的拍摄区域的区域手动指定模式。在区域手动指定模式下，例如，适当地检测用户1追踪实际对象3的动作，并且将用户1指定的范围检测为拍摄区域。稍后将详细描述区域自动检测模式和区域手动指定模式。

AR显示单元35生成显示在HMD 100的透射型显示器12上的AR图像(虚拟图像4)，并且控制其显示。例如，对应于HMD 100的状态、用户1的状态等，计算显示AR图像的位置、形状、姿态等。

AR显示单元35从一个或更多个拍摄图像中提取与拍摄区域相对应的部分图像以生成实际对象3的虚拟图像4。例如，该部分图像是切取拍摄图像中与拍摄区域相对应的部分而生成的图像。基于所切出的部分图像，生成用于在AR空间中显示的虚拟图像4。因此，可以说虚拟图像4是与AR空间处理相对应的部分图像。

例如，如果拍摄了具有二维扩展的实际对象3，例如文档2和白板，则生成用于显示写在实际对象3的表面上的内容的具有二维扩展的虚拟图像4。在这种情况下，虚拟图像4是实际对象3的二维图像。

另外，在HMD 100中，可以拍摄具有三维形状的实际对象3。例如，生成虚拟图像4，使得可以在AR空间中表示实际对象3的立体形状。在这种情况下，虚拟图像4是实际对象3的三维图像。以这种方式，AR显示单元35生成与实际对象3的形状相对应的虚拟图像4。

此外，AR显示单元35生成表示未被遮蔽对象遮蔽的实际对象的虚拟图像。这里，被遮蔽对象(其他对象)遮蔽的状态是实际对象3的一部分被遮蔽对象隐藏的状态。例如，在用户1的手与实际对象3接触的状态下拍摄的接触图像中，可以想到实际对象3的一部分被用户1的手遮挡。在这种情况下，用户1的手成为遮蔽实际对象3的遮蔽对象。

在本实施方式中，AR显示单元35生成其中不遮蔽实际对象3而显示整个实际对象3的虚拟图像4。因此，虚拟图像4是表示拍摄对象的整个实际对象3的清晰的图像(参照图9等)。对于这样的虚拟图像4，可以从所拍摄的图像生成部分图像，例如，在其中实际对象3被没有遮蔽地拍摄。顺便提及，可以生成其中实际对象3的一部分被遮蔽的虚拟图像4(参见图16A等)。

AR显示单元35将生成的虚拟图像4显示在透射型显示器12上以便与实际对象3交叠。也就是说，将清晰的实际对象3的图像(虚拟图像4)叠加在实际对象3上并进行显示。另外，对应于实际对象3接触的用户1的手的手的动作(手势)等显示虚拟图像4。例如，针对接触实际对象3的每种类型的动作(例如，轻敲或摩擦实际对象3)，改变虚拟图像4的显示类型。以这种方式，AR显示单元35控制与用户1的接触动作相对应的虚拟图像4的显示。

稍后将详细描述生成实际对象3的虚拟图像4的方法、显示虚拟图像4的方法等。在本实施方式中，AR显示单元35与显示控制单元相对应。

HMD的动作

图4是示出HMD 100的动作的示例的流程图。图4所示的处理是在区域自动检测模式下执行的处理，并且例如是在HMD 100的动作期间重复执行的循环处理。

接触检测单元32测量用户1的手指位置和存在于用户1的手指周围的实际对象3的表面位置(步骤101)。这里，例如，测量手指周围存在的任意实际对象3的表面的位置。顺便提及，在该时刻，不需要识别用户1要接触的实际对象3。

例如，基于由距离传感器检测到的深度信息，测量在HMD 100(距离传感器)上设置的坐标系中的用户1的手指的位置和实际对象3表面位置。在这种情况下，可以说测量了用户1的手指与手指周围的实际对象3之间的空间布置关系。例如，检测用户1的指向实际对象3的每个指尖作为手指位置。另外，例如，检测表示用户1的手指附近的实际对象3的表面的形状等作为表面位置。

此外，在通过向外摄像机14等拍摄用户1的视场的情况下，可以根据深度信息和所拍摄的图像来适当地检测手指位置和表面位置(手指和实际对象的布置)。通过使用向外摄像机14，可以提高每个位置的检测精度。另外，检测手指位置和表面位置的方法不受限制。

接触检测单元32确定用户1的手指是否有可能接触实际对象3的表面(步骤102)。也就是说，确定用户1的接触动作的状态是否是预测接触的预接触状态。

例如，执行手指位置与表面位置之间的距离的阈值确定作为预接触状态的确定。也就是说，确定手指位置与表面位置之间的距离是否大于预定阈值。例如，适当地设置预定阈值，以使得能够适当地执行实际对象3的拍摄处理。

例如，如果用户1的手指位置与实际对象3的表面位置之间的距离大于预定阈值，则确定用户1的手指充分远离实际对象3并且不处于预接触状态(步骤102中的“否”)。在这种情况下，返回到步骤101，在下一时刻测量手指位置和表面位置，并且确定该状态是否为预接触状态。

如果手指位置与表面位置之间的距离等于或小于预定阈值，则确定用户1的手指处于接近实际对象3的状态，并且处于预测接触的预接触状态(步骤102中的“是”)。在这种情况下，图像获取单元31控制向外摄像机14，并且以适合于拍摄的设置开始实际空间的拍摄(步骤103)。也就是说，当预测到实际对象3与用户1之间发生交互时，切换拍摄模式并且开始具体拍摄。

具体地，通过图像获取单元31，将诸如向外摄像机14的拍摄分辨率、曝光时间和拍摄间隔等的各拍摄参数设置为用于拍摄的值。例如，适当地设置用于拍摄的值，使得可以生成期望的虚拟图像4。

例如，在向外摄像机14始终拍摄用户1的视野的配置中，设置用于监视的拍摄分辨率以抑制图像数据量。用于监视的拍摄分辨率被改变为用于更详细拍摄的拍摄分辨率。也就是说，在接触动作的状态被确定为预接触状态的情况下，图像获取单元31增大向外摄像机14的拍摄分辨率。例如，这使得可以生成具有高分辨率的详细拍摄图像(虚拟图像4)。

此外，例如，适当地设置向外摄像机14的曝光时间，以使得拍摄到具有期望亮度和对比度的图像。替选地，如稍后将描述的，适当地设置拍摄间隔，使得可以拍摄足够数量的拍摄图像。

当将向外摄像机14的各拍摄参数设置为用于拍摄的值并且切换拍摄模式时，开始向外摄像机14对实际空间的拍摄(用户1的视野的拍摄)。由向外摄像机14拍摄到的拍摄图像由图像获取单元31适当地读取。例如，重复执行拍摄处理，直到满足生成虚拟图像4的预定条件。

图5是示出用户1相对于实际对象3的接触动作的示例的示意图。图5A示意性地示出在确定为处于预接触状态的时刻的用户1的手指5和实际对象3(文档2)。注意，在图5A所示的状态下，没有识别图5A所示的文档2是否是接触动作的目标(要拍摄的目标)。

在图5A所示的状态下，向外摄像机14的拍摄区域(图5A中的虚线)包括用户1的手指5和文档2的一部分。例如，在这样的拍摄范围内拍摄具有高分辨率的拍摄图像。在这种情况下，所拍摄的图像是其中仅拍摄文档2的一部分的图像。

图5B示出了其中用户1的手指5比图5A所示的状态更接近实际对象3的预接触状态。在图5B所示的状态下，整个文档2被包括在向外摄像机14的拍摄区域中。用户1的手指5不与文档2接触，并且文档2在未被遮蔽对象遮蔽的情况下被拍摄。也就是说，在图5B所示的状态下拍摄的拍摄图像变成其中拍摄了未被遮蔽对象遮蔽的文档2(实际对象3)的图像。

图5C示出了用户1的手指5与实际对象3彼此接触的接触状态。即使在接触状态下，也可以继续向外摄像机14的拍摄处理。在这种情况下，整个文档2被包括在向外摄像机14的拍摄范围中，但是文档2的一部分被用户1的手指遮蔽。在这种情况下，所拍摄的图像是文档2的一部分被遮蔽的图像。

在向外摄像机14的拍摄处理中，在例如图5A至图5C所示的状态下执行拍摄，并且适当地读取各个状态下的拍摄图像。因此，在接触动作的状态被确定为预接触状态的情况下，图像获取单元31控制向外摄像机14获取一个或更多个拍摄图像。也就是说，可以说图像获取单元31获取通过拍摄设置拍摄的图像(拍摄图像)。

执行用于通过向外摄像机14进行拍摄的拍摄处理的时段不受限制。例如，可以继续拍摄处理，直到生成虚拟图像4。替选地，可以在执行预定数量的拍摄处理时结束拍摄处理。此外，例如，在预定数量的拍摄处理之后，如果不存在生成虚拟图像4所需的拍摄图像，则可以重新开始拍摄处理。另外，可以适当地设置拍摄处理的次数、时间等，使得可以适当地生成虚拟图像4。

返回图4，当开始用于拍摄的拍摄处理时，在步骤104中确定用户1的手指5是否接触实际对象3的表面。也就是说，确定用户1的接触动作的状态是否是接触状态。

，例如，执行手指位置与表面位置之间的距离的阈值确定作为接触状态的确定。例如，当手指位置与表面位置之间的距离大于接触检测阈值时，确定不存在接触状态，并且当该距离等于或小于接触检测阈值时，确定存在接触状态。确定接触状态的方法不受限制。

例如，在图5A和图5B中，用户1的手指5和实际对象3(文档2)彼此分开的距离大于接触检测的阈值。在这种情况下，确定用户1的手指5没有与实际对象3的表面接触(步骤104中的“否”)，并且再次执行接触状态的确定。

此外，例如，在图5C中，用户1的手指5与实际对象3之间的距离等于或小于用于检测接触的阈值。在这种情况下，确定用户1的手指5与实际对象3的表面接触(步骤104中的“是”)，并且区域检测单元34执行用户1的手指5所接触的表面的范围(拍摄区域)的检测处理(步骤105)。

图6是示出区域自动检测模式下的拍摄区域的检测处理的示例的示意图。图6示意性地示出了在用户1的手指5与文档2(实际对象3)接触的时刻拍摄的拍摄图像40(接触图像41)。顺便提及，用户1的手指5使用虚线示意性地示出。

在图6所示的示例中，用户1的手指5与放置在以交叠方式布置的多个文档2的最上面的文档2接触。因此，最上面的文档2是用户1的接触动作的目标，即，拍摄对象。

在本实施方式中，当检测到接触时，由接触检测单元32检测实际对象3与用户1的手之间的接触位置P。例如，在图6中，将用户1的食指的指尖与最上面的文档2接触的位置检测为接触位置P。注意，当用户1用多个手指接触实际对象3时，接触实际对象3的每个手指的指尖的位置等可以被检测为接触位置P。

在图6所示的处理中，基于接触检测单元32检测出的接触位置P来检测拍摄区域6。具体地，区域检测单元34将包括接触位置P的实际对象3的边界7检测为拍摄区域6。这里，例如，实际对象3的边界7是单个实际对象3的表面的外缘，并且是表示实际对象3的连续表面的范围的边界。

例如，在接触图像41中，在最上面的文档2上检测接触位置P。也就是说，最上面的文档2成为包括接触位置P的实际对象3。区域检测单元34执行预定的图像处理以检测最上面的文档2的边界7。也就是说，使用由用户1的手指5接触的表面的接触点(接触位置P)为线索，通过图像处理自动地检测连续的表面区域(拍摄区域6)。在图6所示的示例中，检测与最上面的文档2的边界7相对应的矩形拍摄区域6。

例如，将接触图像41中的颜色不连续地变化的区域检测为边界7。替选地，可以通过检测接触图像41中的连续线(例如，直线或曲线)来检测边界7。当要拍摄的目标是文档2等时，可以通过检测文档表面上的字符的排列等来检测边界7。

另外，例如，在厚文档2、翻动文档2等的情况下，可能在其外边缘处生成阴影。可以基于实际对象3的阴影来检测实际对象3的边界7。结果，可以正确地检测具有与背景颜色相同的颜色的实际对象3的拍摄区域6。

此外，可以基于要拍摄的实际对象3的尺寸来检测实际对象3的边界7。例如，实际对象3的尺寸是实际空间中的尺寸，并且基于用户1的手的尺寸、深度信息等被适当地估计。例如，适当地设置用户1所持有的尺寸的范围，并且检测实际对象3等的边界7以使其落入该范围内。因此，例如，当手接触放置在桌子上的文档2(实际对象3)时，检测文档2的边界7而不是桌子。结果，防止检测到不必要的大或小尺寸的边界等，并且使得可以适当地检测拍摄区域6。

此外，例如，对于具有固定形状的实际对象3，例如文档2等，可以基于该形状来检测实际对象3的边界7。例如，实际对象3的形状是实际空间中的形状。例如，通过对倾斜拍摄的接触图像41执行诸如梯形失真校正的校正处理，能够估计从正面观察到的形状。例如，基于关于诸如纵横比的形状的信息来检测具有A4形状、明信片形状等的文档2的边界7。顺便提及，关于实际对象3的尺寸和形状的信息可以例如经由外部网络等获取，或者可以基于存储在拍摄图像数据库21等中的过去拍摄图像40获取。另外，可以使用能够检测实际对象3的边界7的任何方法。

图7是示出区域自动检测模式下的拍摄区域的检测处理的另一示例的示意图。在图7所示的处理中，基于用户1的接触位置P和注视位置Q来检测拍摄区域6。也就是说，使用用户1的视线来检测用户1的手指5将要接触的表面的展开。

例如，视线检测单元33基于在拍摄接触图像41的时刻检测出的用户1的视线方向，检测接触图像41中的用户1的注视位置Q。例如，如图7所示，由于用户1很可能通过视线同时观看所选择的实际对象3(最上面的文档2)，因此很可能在实际对象3上检测到用户1的注视位置Q。

在图7所示的处理中，由区域检测单元34检测包括接触位置P和注视位置Q的实际对象3的边界7作为拍摄区域6。也就是说，检测存在接触位置P和注视位置Q的连续表面的边界7。作为检测边界7的方法，例如，使用参照图6描述的各种方法。由此，可以大幅提高拍摄区域6(目标实际对象3的边界7)的检测精度。

注意，它不限于使用注视位置Q的情况。例如，也可以执行基于用户1的视线方向计算用户的注视区域并且在接触图像41中检测包括接触位置P和注视区域的实际对象3的边界7的处理。另外，也可以使用用户1的视线方向等利用任意方法来检测实际对象3的边界7。

以这种方式，区域检测单元34基于用户1的视线方向来检测实际对象3的边界7。因此变得可以高精度地确定用户1尝试接触的目标，并且可以适当地检测边界7。结果，变得可以准确地拍摄用户1所期望的实际对象3，并且提高装置的可靠性。

注意，在用户1正在除接触对象等以外的地方进行观察的情况下，不能在同一实际对象3上检测出接触位置P和注视位置Q。在这样的情况下，将包括接触位置P的实际对象3的边界7检测为拍摄区域6。因此能够充分避免检测出错误区域的状态。

通过图6、图7等所示的处理检测到的关于拍摄区域6(实际对象3的边界7)的信息被输出到AR显示单元35。

在本实施方式中，AR显示单元35在实际对象3上叠加并显示表示拍摄区域6的每个区域图像42。例如，在图6和图7所示的示例中，生成表示最上面文档2的边界7的每个区域图像42，并将其显示在透射型显示器12上，以便与最上面文档2的边界7交叠。结果，用户1将能够在视觉上看到要拍摄的实际空间上的区域。

区域图像42的具体配置不受限制。例如，拍摄区域6可以由显示成预定颜色等的线来表示。替选地，可以通过诸如闪烁等的动画来显示表示拍摄区域6的线等。另外，可以使用具有透明度的预定图案等来显示整个拍摄区域6。

注意，例如，即使用户1(HMD 100)的视点发生变化，也可以通过适当调整形状、显示位置等来显示区域图像42，以使其交叠在实际对象3上。因此，通过如下所述的手动操作来校正通过AR显示而能够看到的拍摄区域6(矩形区域框等)。

返回图4，当检测到拍摄区域6时，接受用户1的用于修改拍摄区域6的输入操作(步骤106)。也就是说，在步骤106中，用户1将能够手动修改拍摄区域6。

图8是示出拍摄区域6的校正处理的示例的示意图。图8是与参照图6和图7说明的接触图像41类似的图像。在最上面的文档2(实际对象3)的边界7中，示意性地示出用于校正的区域图像42。

在本实施方式中，区域图像42被显示成使得形状、尺寸或位置中的至少一个可以被编辑。例如，在HMD 100中，通过检测用户1的手指5的位置等，检测用户1在显示画面(透射型显示器12)上的输入操作。区域图像42被显示为可对应于用户1的输入操作(校正操作)进行编辑。

在图8所示的示例中，用户1的左手的指尖被布置在与拍摄区域6的左侧交叠的位置。此外，用户1的右手的指尖被布置在与拍摄区域6的右侧交叠的位置。在这种情况下，AR显示单元35接收来自用于选择拍摄区域6的左侧和右侧的用户1的操作输入。顺便提及，在图8中，使用虚线示出了所选的左侧和右侧。以这种方式，可以适当地改变拍摄区域6的显示，以便指示各部分被选择。

例如，如果用户1将左手向左移动并且将右手向右移动，则拍摄区域6的左侧被向左拖动并且右侧被向右拖动。结果，用户1通过用手展开在左右方向上扩大可见拍摄区域6，并且修改尺寸和形状。当然，也可以在上下方向上扩大拍摄区域6。

另外，拍摄区域6的位置也可以是可修改的。例如，如果用户1将手指5布置在拍摄区域6内并且移动手指5，则可以接受校正操作，例如，对应于手指的移动方向或手指的移动量移动拍摄区域6。另外，区域图像42被显示为能够接受与用户1的手操作相对应的任何校正操作。

以这种方式，通过拍摄区域6的检测处理自动地确定要拍摄的实际对象3的范围，但是可以进一步手动地校正该范围。这使得能够容易地执行拍摄区域6的微调等，并且能够生成其中适当拍摄了用户1所希望的范围的虚拟图像4等。在用户1的修改操作完成之后，基于编辑的区域图像42来改变拍摄区域6。

注意，在执行拍摄区域6的修改(编辑)的同时，可以继续步骤103中描述的用于拍摄的拍摄图像40的拍摄处理。在这种情况下，执行将用于拍摄的向外摄像机14的设置改变为对编辑后的拍摄区域6进行拍摄最佳的拍摄参数的处理。

例如，如果向外摄像机14具有光学变焦功能等，则对应于编辑后的拍摄区域6适当地调整向外摄像机14的光学变焦比等。因此，例如，即使当拍摄区域6的尺寸小时，也可以生成具有高分辨率等的虚拟图像4。当然，可以改变其他拍摄参数。

顺便提及，可以不执行手动校正拍摄区域6的处理。在这种情况下，可以缩短显示虚拟图像4的时间。而且，可以选择用于修改拍摄区域6的模式。

返回图4，基于由向外摄像机14拍摄的拍摄图像40来生成虚拟图像4(步骤107)。具体地，从在步骤103中拍摄的拍摄图像40(拍摄视频)提取拍摄区域6的清晰的部分图像。然后，使用该部分图像，生成所拍摄的实际对象3的虚拟图像4。

在本实施方式中，AR显示单元35根据由向外摄像机14拍摄到的一个或更多个拍摄图像40中的在拍摄区域6中不包括遮蔽对象的拍摄图像40来生成部分图像。也就是说，通过使用未被遮蔽对象(用户1的手指)遮蔽的拍摄图像的帧来生成与拍摄区域6相对应的部分图像。

例如，从在检测到预接触状态之后拍摄的每个拍摄图像40中检测要拍摄的实际对象3。通过使用例如特征点匹配等的匹配处理来适当地检测要拍摄的实际对象3。从每个拍摄图像40检测拍摄目标的方法不受限制。

确定包括在每个拍摄图像40中的要拍摄的实际对象3是否被遮蔽。即，确定每个拍摄图像40中的拍摄区域6是否包括遮蔽对象。例如，如果要拍摄的实际对象3的边界7被不连续地切割，则确定实际对象3被遮蔽。此外，例如，如果在每个拍摄图像40中检测到用户1的每个手指5并且每个手指5包括在拍摄区域6中，则确定实际对象3被遮蔽。确定遮蔽的存在或不存在的方法不受限制。

在各个拍摄图像40中，选择其中要拍摄的实际对象3被确定为没有被遮蔽的拍摄图像40。因此，其中要拍摄的实际对象3没有被遮蔽的拍摄图像40，即，其中以清晰的方式拍摄了要拍摄的实际对象3的拍摄图像40被用作用于生成虚拟图像4的图像。

图9是示出用于生成虚拟图像的拍摄图像的示例的示意图。图9所示的拍摄图像40是表示在图5B所示的预接触状态下拍摄的拍摄图像40的示意图。

在图9所示的拍摄图像40中，拍摄作为要拍摄的实际对象3的整个文档2。文档2包括文档2的未被用户1的手指5隐藏并且未被遮蔽对象遮蔽的清晰图像。AR显示单元35从这样的拍摄图像40生成与拍摄区域6相对应的部分图像43。在图9中，要生成的部分图像43(文档2)由阴影区域表示。

注意，拍摄图像40可以包括其中拍摄区域6(实际对象3)的一部分被切掉的图像(参见图5A)、其中拍摄区域6(实际对象3)的一部分被遮蔽的图像(参见图5C)等。例如，可以通过在这些图像中补充拍摄区域6的清晰部分来生成部分图像43。例如，这样的处理也是可能的。

当生成部分图像43时，执行诸如梯形失真校正的校正处理。例如，如果从倾斜方向拍摄拍摄图像40，则即使矩形文档也可能被拍摄成变形为梯形形状。通过梯形失真校正处理来校正这样的变形，并且例如生成矩形部分图像43。另外，可以适当地执行用于去除部分图像43的噪声分量的噪声去除处理、用于校正部分图像43的颜色、亮度等的处理等。

基于部分图像43，生成用于在AR空间中显示部分图像43(要拍摄的实际对象3)的虚拟图像4。也就是说，适当地生成用于在三维AR空间中显示平面部分图像43的虚拟图像4。

因此，在本实施方式中，当预测到实际对象3与用户1的每个手指5之间的接触时，切换向外摄像机14的拍摄模式，并且连续拍摄详细的拍摄图像40。然后，当通过每个手指5的接触指定带入虚拟世界的实际对象3(拍摄目标)时，回溯拍摄的图像，并且使用其中用户1的每个手指5不交叠的图像(拍摄图像40)来生成实际对象3的清晰虚拟图像4。因此，用户1将能够利用简单的操作容易地创建实际对象3的高质量副本(虚拟图像4)。

AR显示单元35显示叠加在实际对象3上的虚拟图像4(步骤108)。也就是说，用户1将能够在视觉上看到显示成叠加在现实中拍摄的实际对象3上的虚拟图像4。例如，通过在实际对象3上显示实际对象3的拍摄图像(虚拟图像4)，用户1能够直观地理解实际对象3被复制到了AR空间中。

从实际空间复制的实际对象3的虚拟图像4可以在AR空间中被自由地处理。因此，例如，用户1可以执行诸如抓取复制的虚拟图像4并将其传递给远程伙伴(参见图1)的动作。如上所述，通过使用本技术，实际空间中的信息将能够被容易地带入虚拟空间中。

图10至图13是分别示出了虚拟图像4的显示的示例的示意图。在本实施方式中，接触检测单元32检测用户1的手接触实际对象3的姿势。AR显示单元35对应于接触检测单元32检测的用户1的手的姿势来控制虚拟图像4的显示。

也就是说，在用户1指定了拍摄目标时，虚拟图像4被重叠在与所指定的操作相对应的实际对象3上。在下文中，参照图10至图13，将描述与用户1的手的姿势(手势)相对应的拍摄图像(虚拟图像4)的交叠显示的变型。

在图10所示的示例中，执行其中用户1翻动文档2(实际对象3)的手势。例如，如图10的上图所示，假设用户1在拇指和食指打开的情况下接触文档2的角。在这种情况下，如图10的下图所示，控制虚拟图像4的显示以便显示在用户1的拇指与食指之间被翻动的文档2的角。图10所示的显示示例与图1B所示的显示示例相同。

例如，在接触位置P的周边被翻动的状态下，虚拟图像4被叠加并显示在实际文档2上。因此，虚拟图像4以与实际纸张相同的方式显示，并且呈现视觉效果。结果，即使在AR空间中，也可以提供其中实际文档2被翻动的自然虚拟体验。

此外，例如，可以仅在用户1的每个手指接触的位置附近(文档2的角)显示虚拟图像4。在这种情况下，当用户1执行抓取虚拟图像4的动作时，执行诸如显示整个虚拟图像4的处理。

以这种方式，可以对应于由接触检测单元32检测出的接触位置P来控制虚拟图像4的显示。因此，在用户1紧接着接触实际对象3(文档2)之后，仅在接触位置P的附近显示虚拟图像4，使得可以抑制图像处理等的处理量。这使得可以平滑地显示虚拟图像4而没有不协调感。另外，避免了不必要的处理，使得能够抑制HMD 100消耗的功率。

在图11所示的示例中，执行用户1捏取并提起文档2(实际对象3)的中央部分的手势。例如，如图11的上图所示，当用户1执行用拇指和食指捏取文档2的操作时，虚拟图像4(虚拟纸张)的文档2以被捏取的形状叠加并显示在实际文档2上。

如图11的下图所示，当用户1将手从虚拟图像4移开时，虚拟图像4保持在该位置。此时，虚拟图像4以从被捏取的形状恢复为平面形状并在实际文档2上方保持浮动状态的方式显示。在这种情况下，例如，用户1可以抓取并移动浮在空中显示的虚拟图像4。顺便提及，在用户1松开手之后，虚拟图像4可以逐渐降低到实际文档2正上方的位置。

另外，在捏的手势中，当诸如文档2的实际对象3被带入AR空间中时，存在于实际空间中的拍摄的实际对象3可能变灰。也就是说，可以执行用灰色填充作为复制源的实际对象3的处理。通过以这种方式使实际对象3变灰，变得可以容易地呈现出在AR空间中生成了实际对象3的克隆。

顺便提及，可以标记拍摄之后的对象，即复制的虚拟图像4，以便被称为AR上的虚拟对象。因此，变得可以容易地区别虚拟图像4与实际对象3。在执行其他手势的情况下，能够适当地应用变灰处理、AR标记添加处理等。

在图12所示的示例中，执行用户1敲击文档2(实际对象3)的手势。例如，如图12的上图所示，假设用户1用指尖敲击实际文档2的表面。在这种情况下，如图12的下图所示，虚拟图像4被叠加并显示在实际文档2上，就好像它是浮动的一样。此时，可以添加效果，使得二维虚拟图像4弯曲并且像实际纸张一样浮动。

此外，可以执行处理，使得从用户1敲击的位置逐渐地升高和显示虚拟图像4。此外，例如，当执行用户1瞬间摩擦实际文档2的手势时，可以执行其中在摩擦方向上升高虚拟图像4的处理。

在图13所示的示例中，执行用户1握住圆柱形的实际对象3的手势。也可以拍摄这样的立体的实际对象3。例如，如图13的上图所示，假设用户1抓住或握住实际对象3。例如，从用户1的手指5的排列等检测对实际对象3施加的力的状态。在这种情况下，如图13的下图所示，适当地生成复制了圆柱形的实际对象3的虚拟图像4，并在实际对象3的附近，以使虚拟图像4被挤出的方式逐渐显示。

在这种情况下，虚拟图像4是表示立体实际对象3的三维图像。例如，通过拍摄三维实际对象3(立体对象)的3D拍摄来生成三维图像。例如，在3D拍摄中，也与除向外摄像机14以外的其他摄像机结合使用以拍摄实际对象3。然后，基于由各摄像机拍摄的拍摄图像40和由距离传感器检测出的深度信息等，执行实际对象3的3D建模。顺便提及，即使当拍摄平面的实际对象3时，也可以与其结合地使用其他摄像机。

当呈现所拍摄的图像(表示3D模型的虚拟图像4)时，可能花费更长的时间来显示以便执行建模等。在这样的情况下，粗略的虚拟图像4(3D模型)可以被初始地呈现并且用逐步高度精确的数据来替换。这使得即使在拍摄了立体的实际对象3等的情况下，也能够高速地显示虚拟图像4。

图14是示出虚拟图像的显示的另一示例的示意图。在图14所示的示例中，对应于用户1敲击文档2(实际对象3)的手势来显示虚拟图像4。在图14所示的示例中，在复制了文档2的形状(拍摄区域6的形状)的框中，生成显示指示处理正在进行的图标44的虚拟图像4。

例如，在生成了实际对象3的虚拟图像4的情况下，如上所述，执行部分图像43的诸如噪声去除和梯形失真校正的处理。执行处理可能需要一些时间以使实际对象3生成拍摄的虚拟图像4。因此，显示指示处理正在进行的图标44等而不是拍摄的图像，直到生成最终虚拟图像4。

顺便提及，当生成最终虚拟图像4时，显示从指示处理正在进行的图标44切换到复制实际对象3的最终虚拟图像4。图标44的类型、切换显示的方法等不受限制。例如，可以执行淡入处理，使得最终虚拟图像4逐渐变得更暗。

在以上描述中，作为实际对象3的示例，对布置在最上部并且未被遮蔽的文档2进行拍摄处理。例如，本技术也适用于被其他实际对象3等遮蔽的实际对象3。

图15是示出包括遮蔽对象的拍摄区域的检测处理的示例的示意图。图16是示出通过图15所示的检测处理生成的虚拟图像的示例的示意图。

图15示意性地示出了部分交叠布置的第一文件2a至第三文件2c。第一文件2a是最后面的文件，并且被第二文件2b部分地遮蔽。第二文件2a布置在第一文件2a与第三文件2c之间，并且被第三文件2c部分地遮蔽。第三文件2c是最上面的文件并且没有被遮蔽。

例如，假设用户1的手指5接触第二文档2b的表面。在这种情况下，区域检测单元34检测第二文档2b的边界7。如图15所示，第二文件2b的边界7的一部分(图中的虚线)被第三文件2c遮蔽。通过适当地补充，例如，基于未遮蔽边界7(图中的粗实线)等来检测遮蔽边界7。

因此，通过自动检测拍摄区域6来确定要剪切的区域(拍摄区域6)，但是要剪切的实际对象3(第二文档2b)可能被部分地隐藏。在这种情况下，在由向外摄像机14拍摄的拍摄图像40中，可以想到其他遮蔽对象位于预期的实际对象3的顶部，并且不能拍摄某部分。

在AR显示单元35中，例如，通过图16A至图16C所示的方法，生成由遮蔽对象遮蔽的实际对象3(第二文档2b)的虚拟图像4。

在图16A所示的示例中，按照原样生成表示被遮蔽对象遮蔽的状态的虚拟图像4。例如，从由向外摄像机14拍摄的拍摄图像40中适当地选择包括拍摄区域6的拍摄图像40。然后，从所选择的拍摄图像40生成与拍摄区域6相对应的部分图像43，并且生成使用部分图像43的虚拟图像4。

因此，图16A所示的虚拟图像4是表示其中第二文档2b的一部分由第三文档2c遮蔽的情况的图像。因此，通过照原样使用部分图像43，变得可以缩短生成虚拟图像4的处理，并且提高对用户1的交互的响应速度。

在图16B所示的示例中，生成由遮蔽对象遮蔽的部分变灰的虚拟图像4。例如，从以与图16A中相同的方式生成的部分图像43中检测实际对象3的边界7。也就是说，检测包括在部分图像43中的遮蔽对象(第三文档2c)的边界7。然后，生成其中遮蔽对象的边界7的内部填充有灰度的虚拟图像4。通过以这种方式填充不必要的信息，变得可以明确地呈现缺失的部分。

在图16C所示的示例中，生成由遮蔽对象遮蔽的部分由其他数据补充的虚拟图像4。例如，基于第二文档2b的正面的描述，参考拍摄图像数据库21，并且搜索拍摄了与第二文档2b相似的文档2的拍摄图像40等。使用预定的匹配处理等来搜索相似文档2。

在搜索包括相似文档2的拍摄图像40的情况下，从拍摄图像40生成被第三文档2c遮蔽的缺失部分的部分图像43b。然后，使用未遮蔽区域的部分图像43a和缺失部分的部分图像43b生成第二文档2b的虚拟图像4。因此，虚拟图像4是其中组合了两个部分图像43a和43b的图像。

以这种方式，通过查询拍摄图像数据库21等，从目标文档2的类似文档补充缺失部分。因此，即使当被遮蔽对象遮蔽的实际对象3变为拍摄目标时，变得可以生成表示未被遮蔽的实际对象3的虚拟图像4。注意，由于存在所搜索的类似文档不同于目标文档2的可能性，因此通过使用框线(图中的虚线)等来明确地显示补充区域。因此，变得可以通知虚拟图像4被补充并生成。

图17是示出HMD 100的其他示例动作的流程图。图17所示的处理是在区域手动指定模式下执行的处理，并且例如是在HMD 100的动作期间重复执行的循环处理。以下描述了当用户1手动地指定拍摄区域6时的处理(区域手动指定模式)。

在图17所示的步骤201至203中，例如，执行与图4所示的区域自动检测模式中的步骤101至103相同的处理。在步骤206至208中，例如，使用由用户1手动指定的拍摄区域6来执行与图4所示的步骤206至208中相同的处理。

测量用户1的手指位置和实际对象3的表面位置(步骤201)，并且确定用户1的手指5是否可能与实际对象3的表面接触(步骤202)。如果确定用户1的手指5不太可能接触表面(不是预测接触的预接触状态)(步骤202中的“否”)，则再次执行步骤201。

如果确定用户1的手指5可能与表面接触(是预测接触的预接触状态)(步骤202中的“是”)，则以适合于拍摄的设置使用向外摄像机14开始拍摄处理(步骤203)。重复执行该拍摄处理，例如直到生成虚拟图像4。

当开始拍摄处理时，执行由用户1指定的拍摄区域6的检测处理(步骤204)。更具体地，跟踪用户1的指尖位置R，并且获取范围指定的信息。指定范围被适当地显示在AR空间上。

图18是表示由用户1指定的拍摄区域6的示例的示意图。图18示意性地示出了其中用户1移动食指5以便跟踪作为实际对象3的文档2的外周的状态。

当执行区域手动指定模式时，通过接触检测单元32检测用户1的手的指尖位置R。例如，检测用户1的手指5在最接近实际对象3的位置处的指尖位置作为指尖位置R。注意，用户1的手指5可以与实际对象3的表面接触或离开实际对象3的表面。也就是说，不管用户1的接触动作的状态是接触状态还是预接触状态，都适当地检测用户1的指尖位置R。

用户1的指尖位置R的信息被用户1顺序地记录为范围指定信息。如图17所示，步骤204是循环处理，并且例如，每当执行步骤204时，记录用户1的指尖位置R的信息。也就是说，可以说执行了用于记录用户1的指尖位置R的轨迹8的指尖位置R的跟踪处理。

图18使用黑色圆圈示意性示出用户1的指尖位置R。另外，使用粗黑线示意性地示出了通过跟踪指尖位置R而检测的指尖位置R的轨迹8。指尖位置R的轨迹8的信息是用户1的范围指定信息。

另外，AR显示单元35在用户1通过AR利用指尖跟踪的位置处显示框线等。也就是说，用户1的指尖位置R的轨迹8被显示在AR空间上。因此，例如，如图18所示，用户1变得可以在视觉上看到自己的指尖(手指5)的轨迹以叠加方式显示在实际对象3上的状态。结果，变得可以容易地执行拍摄区域6的指定，并且提高了可用性。

返回到图17，判断用户1的手动范围指定是否完成(步骤205)。例如，确定用户1输入的范围(指尖位置R的轨迹8)是否是闭合范围。替选地，判断用户1的指尖(手指5)是否与实际对象3的表面分离。另外，判断范围指定完成的方法不受限制。例如，可以基于用户1的手势或其他输入操作来终止指定范围的操作。

如果确定没有完成手动范围指定(步骤205中的“否”)，则执行步骤204，并且继续指尖位置R等的跟踪。

如果确定完成了手动范围指定(步骤205中的“是”)，则区域检测单元34将用户1指定的范围检测为拍摄区域6。也就是说，也可以说在拍摄区域6中设置了用户1的指尖位置R的轨迹8。

因此，在区域手动指定模式下，区域检测单元34基于与指尖位置R的移动相关联的指尖位置R的轨迹8来检测拍摄区域6。因此，变得可以手动指定拍摄区域6并且拍摄实际空间中的任意区域。结果，例如，变得可以容易地提供例如具有高自由度的虚拟体验。

当完成范围指定并且检测到拍摄区域6时，执行接受拍摄区域6的手动校正的处理(步骤206)。当校正了拍摄区域6时，从拍摄图像40中适当地提取清楚拍摄了拍摄区域6的部分图像43，并且基于部分图像43来生成实际对象3的虚拟图像4(步骤207)。所生成的虚拟图像4被叠加在实际对象3上，并且对应于用户1的手势等被适当地显示。

注意，基于手动指定的拍摄区域6生成并显示虚拟图像4的方法等不受限制，并且例如参照图10至图16描述的方法是适用的。也就是说，可以用关于手动指定的拍摄区域6的描述来适当地替换关于上述自动检测的拍摄区域6的描述。

注意，区域自动检测模式和区域手动指定模式中的每个模式可以单独执行，或者可以对其进行适当地切换和并执行。例如，如果用户1的手势是用于指定区域的手势，则执行区域手动指定模式，而如果是诸如轻敲实际对象3的另一手势，则执行区域自动检测模式。例如，可以采用这样的配置。

如上所述，在根据本实施方式的控制器30中，检测作为当用户接触实际对象3时的一系列操作的接触动作，并且检测与接触动作相对应的包括实际对象3的拍摄区域6。从由实际对象3所存在的实际空间拍摄到的拍摄图像40中，提取与拍摄区域6相对应的部分图像43，并且生成实际对象3的虚拟图像4。然后，对应于用户1的接触动作执行虚拟图像4的显示控制。这使得可以容易地显示拍摄了实际对象3的虚拟图像4，并且无缝地连接实际空间和虚拟空间。

作为拍摄真实世界的方法，例如，可以想到响应于预定输入操作自动拍摄真实世界的方法。例如，该方法需要指定要拍摄的范围的动作，并且拍摄处理可能是麻烦的。另外，由于对应于执行输入操作的定时来自动执行拍摄，因此例如可能存在遮蔽对象等被包括在拍摄范围中的情况。在这种情况下，需要重新拍摄图像等，这可能干扰用户的体验等。

在本实施方式中，对应于用户1相对于实际对象3的接触动作来检测拍摄区域6。因此，例如，当用户1接触实际对象3时，自动检测用于拍摄实际对象3的拍摄区域6。

也就是说，即使在用户1没有明确地设置拍摄区域6等的情况下，也可以容易地生成拍摄了期望的实际对象3的虚拟图像4等。结果，用户1可以容易地将适当的拍摄图像(虚拟图像4)带入虚拟空间中，而无需输入拍摄区域6。结果，变得可以无缝地连接实际空间和虚拟空间。

此外，在本实施方式中，从拍摄实际空间的一个或更多个拍摄图像40中提取与拍摄区域6相对应的部分图像，并且生成虚拟图像4。因此，例如，变得可以获取在时间上后退没有生成遮蔽的部分图像，并且可以生成没有生成遮蔽的实际对象3的清晰的虚拟图像4等。结果，变得可以通过一次拍摄处理适当地生成期望的虚拟图像4，并且充分地避免重新拍摄等的发生。

另外，生成的虚拟图像4与用户1的接触动作相应地叠加并显示在实际对象3上。因此，在HMD 100中，当发生接触动作(交互)时，呈现基于之前刚刚拍摄的图像生成的高精度虚拟图像4。与接触动作的类型等相应地适当控制虚拟图像4的显示。这使得可以自然地将真实世界的实际对象3带入AR空间等。结果，对象从真实世界(实际空间)到虚拟世界(虚拟空间)的移动变得容易，并且变得可以实现真实世界与虚拟世界之间的无缝连接。

<其他实施方式>

本技术不限于上述实施方式，并且可以实现各种其他实施方式。

在参照图4和图17描述的处理中，在检测到预测用户1与实际对象3之间的接触的预接触状态之后，利用用于拍摄的设置，通过向外摄像机14开始拍摄处理(步骤103和步骤203)。执行拍摄处理的定时不受限制。

例如，可以在未检测到预接触状态的状态下执行拍摄处理。例如，可以执行拍摄处理，其中，顺序地拍摄在用户1周围可能接触的对象，以准备接触。

另外，在用户1试图接触的实际对象3不能被指定的情况下，用户1可能接触的实际对象3可以以推测的方式被拍摄。例如，佩戴HMD 100的用户1将视线指向各个方向，可以拍摄用户1周围的各种实际对象3。例如，当存在于用户1周围的实际对象3被包括在向外摄像机14的拍摄范围中时，以推测的方式执行用于拍摄的拍摄处理。

这使得可以配置在拍摄图像数据库21中拍摄了用户1周围的实际对象3的库等。结果，例如即使在难以立即拍摄用户1的接触动作的对象的状态下，变得可以适当地生成用户1接触的实际对象3的虚拟图像4。替选地，也能够在生成虚拟图像4之前的任意时刻执行拍摄处理。

当拍摄失败时，例如，可以搜索经由通信单元18等HMD 100可连接的云上的所拍摄的对象数据等。这使得即使当适当的拍摄图像40不包括在拍摄图像数据库21等中时也可以生成虚拟图像4。

在图13中，用户1抓取立体实际对象3，以生成表示实际对象3的三维形状的三维图像(虚拟影像4)。例如，拍摄方法可以对应于手势的类型而切换至2D拍摄和3D拍摄的任一者。例如，当用户1执行用于捏住实际对象3的姿势时，执行2D拍摄，而当用户1执行用于抓取实际对象3的姿势时，执行3D拍摄。例如，可以执行这样的处理。

在以上实施方式中，使用了其上安装有透射型显示器的透射型HMD100。例如，本技术可应用于使用覆盖用户1的视野的沉浸式HMD的情况。

图19是示意性地示出根据另一实施方式的HMD的外观的立体图。HMD 200包括佩戴在用户1的头部上且位于用户1的双眼前方的身体部分220的安装部分210。HMD 200是被配置成覆盖用户1的视野的沉浸式头戴式显示器。

主体部分220包括被布置成面对用户1的左眼和右眼的显示器(未示出)。在该显示器上显示用于左眼的图像和用于右眼的图像，这使得用户1可以在视觉上辨认虚拟空间。

此外，在主体部分220的外侧上，安装了向外摄像机221。通过在内部显示器上显示由向外摄像机221拍摄到的图像，用户1可以在视觉上识别真实世界的视频。在显示器上，各种虚拟图像4被叠加并显示在由向外摄像机拍摄的图像上。结果，可以使用增强现实(AR)来提供虚拟体验。

例如，使用参照图3描述的控制器30等来执行用户1相对于实际对象3的接触动作、拍摄区域6的检测、显示器上的虚拟图像4的显示控制等。因此，变得可以容易地生成拍摄用户1接触的实际对象3的虚拟图像4并且在虚拟空间中显示虚拟图像4，由此实际空间和虚拟空间可以无缝地连接。

图20是示意性地示出根据另一实施方式的移动终端300的外观的透视图。在图20的左侧和右侧，分别示意性地示出了提供显示表面310的移动终端300的前侧和与前侧相对的后侧。在移动终端300的前侧，安装向内摄像机320。在背面上，安装向外摄像机330。

例如，在移动终端300的显示表面310上，显示由向外摄像机330拍摄的实际空间的图像。另外，在显示表面310上，各种虚拟图像4等相对于实际空间中的图像被叠加并显示。这允许用户1在视觉上辨识扩展了实际空间的AR空间。

例如，使用参照图3描述的控制器20等，可以从由向外摄像机330拍摄的图像拍摄与用户1的接触动作相对应的实际对象3。这使得可以容易地将实际对象3带入AR空间。如上所述，本技术也适用于使用移动终端300等的情况。替选地，可以使用平板终端、笔记本PC等。

此外，本技术还可以应用于虚拟现实(VR)空间中。例如，在视觉上辨识VR空间的用户1实际行动的实际空间中，拍摄用户1接触的实际对象3。这使得可以容易地将实际空间中的对象带入VR空间中。结果，变得可以在体验VR空间的用户之间交换实际对象3的克隆(虚拟图像4)，从而激活通信。

在以上描述中，描述了由安装在HMD等上的控制器执行根据本技术的信息处理方法的情况。然而，根据本技术的信息处理方法和程序可以由能够经由网络等由安装在HMD等上的控制器通信的其他计算机来执行。另外，安装在HMD等和其他计算机上的控制器可以被互锁以构造根据本技术的虚拟空间显示***。

换言之，根据本技术的信息处理方法和程序不仅可以在由单个计算机配置的计算机***中执行，而且可以在多个计算机彼此结合操作的计算机***中执行。注意，在本公开内容中，***是指一组部件(装置、模块(部件)等)，并且所有部件是否在同一壳体中并不重要。因此，容纳在单独的壳体中并经由网络彼此连接的多个装置以及具有容纳在单个壳体中的多个模块的单个装置都是该***。

通过计算机***执行根据本技术的信息处理方法和程序包括例如两种情况，其中通过单个计算机执行用户的接触动作的检测、包括实际对象的目标区域的检测、虚拟图像的生成、虚拟图像的显示控制等，并且其中通过不同的计算机执行每个处理。此外，由预定计算机执行每个处理包括使其他计算机执行这些处理中的一些或全部并获取其结果。

也就是说，根据本技术的信息处理方法和程序可以应用于云计算的配置，其中，经由网络在多个装置之间共享和一起处理一个功能。

在本公开内容中，“相同”、“相等”、“垂直”等是包括“基本上相同”、“基本上相等”、“基本上垂直”等的概念。例如，还包括参照“完全相同”、“完全相等”、“完全垂直”等包括在预定范围内(例如，±10％的范围内)的状态。

上述本技术的至少两个特征也可以被组合。换言之，在各个实施方式中描述的各种特征可以任意组合，而与实施方式无关。此外，上述各种效果不是限制性的，而仅仅是说明性的，并且可以提供其他效果。

本技术还可以具有以下结构。

(1)一种信息处理装置，包括：

获取单元，其获取通过拍摄实际空间而得到的一个或更多个拍摄图像；

动作检测单元，其检测接触动作，所述接触动作是当用户接触所述实际空间中的实际对象时的一系列动作；

区域检测单元，其根据检测到检测到的接触动作检测包括所述实际对象的目标区域；以及

显示控制单元，其通过从所述一个或更多个拍摄图像中提取与所述目标区域相对应的部分图像来生成所述实际对象的虚拟图像，并且根据所述接触动作控制所述虚拟图像的显示。。

(2)根据(1)所述的信息处理装置，其中，

所述显示控制单元生成表示未被遮蔽对象遮蔽的所述实际对象的虚拟图像。

(3)根据(2)所述的信息处理装置，其中，

所述显示控制单元从所述一个或更多个拍摄图像中的在所述目标区域中不包括所述遮蔽对象的拍摄图像生成所述部分图像。

(4)根据(1)至(3)中任一项所述的信息处理装置，其中，

所述显示控制单元将所述虚拟图像叠加并显示在所述实际对象上并进行显示。

(5)根据(1)至(4)中任一项所述的信息处理装置，其中，

所述获取单元从拍摄所述实际空间的拍摄装置以及存储所述拍摄装置的输出的数据库中的至少一个获取所述一个或更多个拍摄图像。

(6)根据(5)所述的信息处理装置，其中，

所述接触动作包括使用户的手更靠近所述实际对象的动作，

所述动作检测单元确定所述接触动作的状态是否为预测到所述用户的手对所述实际对象的接触的预接触状态，以及

如果所述接触动作的状态被确定为所述预接触状态，则所述获取单元通过控制所述拍摄装置来获取所述一个或更多个拍摄图像。

(7)根据(6)所述的信息处理装置，其中，

如果所述接触动作的状态被确定为所述预接触状态，则所述获取单元增加所述拍摄装置的拍摄分辨率。

(8)根据(1)至(7)中任一项所述的信息处理装置，其中，

所述动作检测单元检测所述实际对象与所述用户的手之间的接触位置，以及

所述区域检测单元基于所检测到的接触位置来检测所述目标区域。

(9)根据(8)所述的信息处理装置，其中，

所述区域检测单元将所述实际对象的包括所述接触位置的边界检测为所述目标区域。

(10)根据(9)所述的信息处理装置，还包括：

视线检测单元，其检测所述用户的视线方向，其中，

所述区域检测单元基于所述用户的所述视线方向来检测所述实际对象的边界。

(11)根据(10)所述的信息处理装置，其中，

所述视线检测单元基于所述用户的所述视线方向来检测注视位置，以及

所述区域检测单元将所述实际对象的包括所述接触位置和所述注视位置的边界检测为所述目标区域。

(12)根据(1)至(11)中任一项所述的信息处理装置，其中，

所述区域检测单元基于所述实际对象的阴影、尺寸以及形状中的至少一个来检测所述实际对象的边界。

(13)根据(1)至(12)中任一项所述的信息处理装置，其中，

所述动作检测单元检测所述用户的手的指尖位置，以及

所述区域检测单元基于伴随所述指尖位置的移动的所述指尖位置的轨迹来检测所述目标区域。

(14)根据(1)至(13)中任一项所述的信息处理装置，其中，

所述显示控制单元将表示所述目标区域的区域图像叠加并显示在所述实际对象上。

(15)根据(14)所述的信息处理装置，其中，

显示所述区域图像，使得形状、尺寸以及位置中的至少一个能够被编辑，以及

所述区域检测单元基于经过编辑的区域图像来改变所述目标区域。

(16)根据(1)至(15)中任一项所述的信息处理装置，其中，

所述动作检测单元检测所述实际对象与所述用户的手之间的接触位置，以及

所述显示控制单元根据所检测到的接触位置来控制所述虚拟图像的显示。

(17)根据(1)至(16)中任一项所述的信息处理装置，其中，

所述动作检测单元检测接触所述实际对象的用户的手的姿势，以及

所述显示控制单元根据所检测到的用户的手的姿势来控制所述虚拟图像的显示。

(18)根据(1)至(17)中任一项所述的信息处理装置，其中，

所述虚拟图像是所述实际对象的二维图像以及三维图像中的至少一个。

(19)一种信息处理方法，包括由计算机***执行：

获取通过拍摄实际空间而得到的一个或更多个拍摄图像；

检测接触动作，所述接触动作是当用户接触所述实际空间中的实际对象时的一系列动作；

检测包括与所检测到的接触动作相对应的所述实际对象的目标区域；以及

通过从所述一个或更多个拍摄图像中提取与所述目标区域相对应的部分图像来生成所述实际对象的虚拟图像，并且根据所述接触动作控制所述虚拟图像的显示。

(20)一种使计算机***执行以下步骤的程序：

获取通过拍摄实际空间而得到的一个或更多个拍摄图像的步骤；

检测接触动作的步骤，所述接触动作是当用户接触所述实际空间中的实际对象时的一系列动作；

根据所检测到的接触动作检测包括所述实际对象的目标区域的步骤；以及

通过从所述一个或更多个拍摄图像中提取与所述目标区域相对应的部分图像来生成所述实际对象的虚拟图像，并且根据所述接触动作控制所述虚拟图像的显示的步骤。

参考符号列表

1 用户

3 实际对象

4 虚拟图像

5 手指

6 拍摄区域

7 边界

8 轨迹

12 透射型显示器

14 向外摄像机

21 拍摄图像数据库

30 控制器

31 图像获取单元

32 接触检测单元

33 视线检测单元

34 区域检测单元

35 AR显示单元

40 拍摄图像

42 区域图像

43，43a，43b 部分图像

100，200 HMD

Claims (20)

1.一种信息处理装置，包括：

获取单元，其获取通过拍摄实际空间而得到的一个或更多个拍摄图像；

动作检测单元，其检测接触动作，所述接触动作是当用户接触所述实际空间中的实际对象时的一系列动作；

区域检测单元，其根据检测到的接触动作检测包括所述实际对象的目标区域；以及

显示控制单元，其通过从所述一个或更多个拍摄图像中提取与所述目标区域相对应的部分图像来生成所述实际对象的虚拟图像，并且根据所述接触动作控制所述虚拟图像的显示。

2.根据权利要求1所述的信息处理装置，其中，

所述显示控制单元生成表示未被遮蔽对象遮蔽的所述实际对象的虚拟图像。

3.根据权利要求2所述的信息处理装置，其中，

所述显示控制单元从所述一个或更多个拍摄图像中的、在所述目标区域中不包括所述遮蔽对象的拍摄图像生成所述部分图像。

4.根据权利要求1所述的信息处理装置，其中，

所述显示控制单元将所述虚拟图像叠加并显示在所述实际对象上。

5.根据权利要求1所述的信息处理装置，其中，

所述获取单元从拍摄所述实际空间的拍摄装置以及存储所述拍摄装置的输出的数据库中的至少一个获取所述一个或更多个拍摄图像。

6.根据权利要求5所述的信息处理装置，其中，

所述接触动作包括使用户的手更靠近所述实际对象的动作，

所述动作检测单元确定所述接触动作的状态是否为预测到所述用户的手对所述实际对象的接触的预接触状态，以及

如果所述接触动作的状态被确定为所述预接触状态，则所述获取单元通过控制所述拍摄装置来获取所述一个或更多个拍摄图像。

7.根据权利要求6所述的信息处理装置，其中，

如果所述接触动作的状态被确定为所述预接触状态，则所述获取单元增加所述拍摄装置的拍摄分辨率。

8.根据权利要求1所述的信息处理装置，其中，

所述动作检测单元检测所述实际对象与用户的手之间的接触位置，以及

所述区域检测单元基于所检测到的接触位置来检测所述目标区域。

9.根据权利要求8所述的信息处理装置，其中，

所述区域检测单元将所述实际对象的包括所述接触位置的边界检测为所述目标区域。

10.根据权利要求9所述的信息处理装置，还包括：

视线检测单元，其检测用户的视线方向，其中，

所述区域检测单元基于用户的视线方向来检测所述实际对象的边界。

11.根据权利要求10所述的信息处理装置，其中，

所述视线检测单元基于用户的视线方向来检测注视位置，以及

所述区域检测单元将所述实际对象的包括所述接触位置和所述注视位置的边界检测为所述目标区域。

12.根据权利要求9所述的信息处理装置，其中，

所述区域检测单元基于所述实际对象的阴影、尺寸以及形状中的至少一个来检测所述实际对象的边界。

13.根据权利要求1所述的信息处理装置，其中，

所述动作检测单元检测用户的手的指尖位置，以及

所述区域检测单元基于伴随所述指尖位置的移动的所述指尖位置的轨迹来检测所述目标区域。

14.根据权利要求1所述的信息处理装置，其中，

所述显示控制单元将表示所述目标区域的区域图像叠加并显示在所述实际对象上。

15.根据权利要求14所述的信息处理装置，其中，

显示所述区域图像，使得形状、尺寸以及位置中的至少一个能够被编辑，以及

所述区域检测单元基于经过编辑的区域图像来改变所述目标区域。

16.根据权利要求1所述的信息处理装置，其中，

所述动作检测单元检测所述实际对象与用户的手之间的接触位置，以及

所述显示控制单元根据所检测到的接触位置来控制所述虚拟图像的显示。

17.根据权利要求1所述的信息处理装置，其中，

所述动作检测单元检测接触所述实际对象的用户的手的姿势，以及

所述显示控制单元根据所检测到的用户的手的姿势来控制所述虚拟图像的显示。

18.根据权利要求1所述的信息处理装置，其中，

所述虚拟图像是所述实际对象的二维图像以及三维图像中的至少一个。

19.一种信息处理方法，包括由计算机***执行：

获取通过拍摄实际空间而得到的一个或更多个拍摄图像；

检测接触动作，所述接触动作是当用户接触所述实际空间中的实际对象时的一系列动作；

根据所检测到的接触动作检测包括所述实际对象的目标区域；以及

通过从所述一个或更多个拍摄图像中提取与所述目标区域相对应的部分图像来生成所述实际对象的虚拟图像，并且根据所述接触动作控制所述虚拟图像的显示。

20.一种使计算机***执行以下步骤的程序：

获取通过拍摄实际空间而得到的一个或更多个拍摄图像的步骤；

检测接触动作的步骤，所述接触动作是当用户接触所述实际空间中的实际对象时的一系列动作；

根据所检测到的接触动作检测包括所述实际对象的目标区域的步骤；以及

通过从所述一个或更多个拍摄图像中提取与所述目标区域相对应的部分图像来生成所述实际对象的虚拟图像并且根据所述接触动作控制所述虚拟图像的显示的步骤。

Images