CN116917951A - 图像合成装置、图像合成方法、以及程序 - Google Patents

Abstract

本发明提供能够适当地合成立体图像与三维对象的图像合成装置。图像合成装置(1)具备：存储部(11)，存储具有第一右眼用图像及第一左眼用图像的第一立体图像；受理部(12)，受理三维对象的操作；配置部(13)，在以使连结右眼用视点和第一右眼用图像的与无限远相对应的点的直线、及连结左眼用视点和第一左眼用图像的与无限远相对应的点的直线相交的方式配置两个图像的三维虚拟空间配置与操作相应的三维对象；生成部(14)，在配置有三维对象的三维虚拟空间中，生成包含第二右眼用图像及第二左眼用图像的第二立体图像，所述第二右眼用图像为在显示第一右眼用图像的状态下从右眼用视点观察的图像，所述第二左眼用图像为在显示第一左眼用图像的状态下从左眼用视点观察的图像；以及输出部(15)，输出第二立体图像。

Description

图像合成装置、图像合成方法、以及程序

技术领域

本发明涉及合成立体图像与三维对象的图像合成装置等。

背景技术

以往，进行通过将立体图像显示在头戴式显示器(HMD)，来向穿戴HMD的用户提供立体的图像的技术(例如，参照日本特开2020-071718号公报)。另外，还已知在三维虚拟空间配置三维对象，并生成从任意的视点观察的二维的图像的渲染处理等的三维计算机图形(3DCG)。

发明内容

本发明所要解决的技术问题

然而，用于将三维对象适当地合成到立体图像的方法不为人知。例如，在将由3DCG生成的一个二维图像分别与包含在立体图像中的右眼用图像及左眼用图像合成的情况下，存在三维对象以平面形式显示的问题。

本发明是用于解决上述技术问题而作出的，其目的在于提供一种用于将三维对象适当地合成到立体图像的图像合成装置等。

用于解决技术问题的技术手段

为了达成上述目的，本发明的一个方式的图像合成装置具备：存储部，存储具有第一右眼用图像及第一左眼用图像的第一立体图像；受理部，受理配置在三维虚拟空间的三维对象的操作；配置部，在以使第一直线与第二直线相交的方式配置第一右眼用图像及第一左眼用图像的三维虚拟空间，配置与由受理部受理的操作相应的三维对象，所述第一直线为连结右眼用视点和第一右眼用图像的与无限远相对应的点的直线，所述第二直线为连结左眼用视点和第一左眼用图像的与无限远相对应的点的直线；生成部，在配置有三维对象的三维虚拟空间中，生成包含第二右眼用图像及第二左眼用图像的第二立体图像，所述第二右眼用图像为在显示第一右眼用图像的状态下从右眼用视点观察的图像，所述第二左眼用图像为在显示第一左眼用图像的状态下从左眼用视点观察的图像；以及输出部，输出第二立体图像。

根据这种结构，例如，能够根据三维虚拟空间中的第一右眼用图像及第一左眼用图像的配置，不使作为操作的对象的三维对象位于两个图像的背面侧。因此，能够适当地合成三维对象与第一立体图像。另外，例如，在三维对象位于第一立体图像的背面侧时，也能够根据第一右眼用图像及第一左眼用图像的更短距离的移动，不使三维对象位于第一立体图像的背面侧。

另外，在本发明的一个方式的图像合成装置中，也可以在三维虚拟空间中，以使与规定的距离相对应的点重叠的方式配置第一右眼用图像及第一左眼用图像。

根据这种结构，在三维对象位于比规定的距离靠跟前侧的情况下，不使三维对象位于第一立体图像的背面侧。

另外，在本发明的一个方式的图像合成装置中也可以，进一步具备特定部，所述特定部特定包含在第一立体图像中的规定的对象的距离，规定的距离大于由特定部特定的最长的距离。

根据这种结构，在三维对象位于比由特定部特定了距离的规定的对象靠跟前侧的情况下，不使三维对象位于第一立体图像的背面侧。

另外，在本发明的一个方式的图像合成装置中，规定的对象也可以是包含在第一立体图像中的全部的对象。

根据这种结构，在三维对象位于比包含在第一立体图像中的最进深侧的对象靠跟前侧的情况下，不使三维对象位于第一立体图像的背面侧。

另外，在本发明的一个方式的图像合成装置中，受理部还可以受理指定规定的对象的信息，规定的对象是通过由受理部受理的信息来指定的对象。

根据这种结构，在三维对象位于比通过由受理部受理的信息来指定的对象靠跟前侧的情况下，不使三维对象位于第一立体图像的背面侧。

另外，在本发明的一个方式的图像合成装置中，配置部也可以在至三维对象为止的距离接近规定的距离的情况下，增加规定的距离配置第一立体图像。

根据这种结构，能够通过重新配置第一立体图像，来避免三维对象位于第一立体图像的背面侧。

另外，在本发明的一个方式的图像合成装置中，也可以在三维虚拟空间中，以使与无限远相对应的点重叠的方式配置第一右眼用图像及第一左眼用图像。

根据这种结构，位于与包含在第一立体图像中的任意的对象相同的距离的三维对象不位于第一立体图像的背面侧。

另外，在本发明的一个方式的图像合成装置中，第一立体图像也可以是由以使光轴平行的方式配置的一对相机拍摄的。

另外，在本发明的一个方式的图像合成装置中，第一立体图像也可以是由以使光轴相交的方式配置的一对相机拍摄的。

另外，在本发明的一个方式的图像合成装置中，第一立体图像、以及第二立体图像也可以是视频。

根据这种结构，例如，在第一立体图像为手术的图像的情况下，能够使作为三维对象的钳子等的器具与包含在该第一立体图像中的钳子等的器具重叠，初学者的手术人员能够在虚拟空间模仿经验丰富的手术人员的操作，能够进行手术的训练。

另外，在本发明的一个方式的图像合成装置中，也可以进一步具备判断部，所述判断部根据配置在三维虚拟空间的第一右眼用图像及第一左眼用图像，特定包含在第一立体图像中的对象在三维虚拟空间中的位置，进行与该特定的位置和三维对象的位置的关系相关的判断，输出部进行与判断部的判断结果相关的输出。

根据这种结构，例如，操作三维对象的用户可以知晓是否在适当地操作三维对象。

另外，本发明的一个方式的图像合成方法具备：受理配置在三维虚拟空间的三维对象的操作的步骤；在以使第一直线与第二直线相交的方式配置第一立体图像所具有的第一右眼用图像及第一左眼用图像的三维虚拟空间，配置与受理的操作相应的三维对象的步骤，所述第一直线为连结右眼用视点和第一右眼用图像的与无限远相对应的点的直线，所述第二直线为连结左眼用视点和第一左眼用图像的与无限远相对应的点的直线；在配置有三维对象的三维虚拟空间中，生成包含第二右眼用图像及第二左眼用图像的第二立体图像的步骤，所述第二右眼用图像为在显示第一右眼用图像的状态下从右眼用视点观察的图像，所述第二左眼用图像为在显示第一左眼用图像的状态下从左眼用视点观察的图像；以及输出第二立体图像的步骤。

发明的效果

根据本发明的一个方式的图像合成装置等，能够适当地合成立体图像与三维对象。

附图说明

图1是示出本发明的实施方式的图像合成装置的结构的框图。

图2是示出该实施方式的图像合成装置的动作的流程图。

图3是用于说明该实施方式中的立体图像的拍摄的图。

图4A是用于说明该实施方式中的立体图像的生成的图。

图4B是示出该实施方式中的合成后的立体图像的显示的一例的图。

图4C是示出该实施方式中的合成后的立体图像的显示的一例的图。

图5是用于说明该实施方式中的与无限远相对应的点的图。

图6A是用于说明该实施方式中的立体图像的生成的图。

图6B是示出该实施方式中的合成后的立体图像的显示的一例的图。

图6C是用于说明该实施方式中的立体图像的生成的图。

图7A是用于说明该实施方式中的与无限远相对应的点的图。

图7B是用于说明该实施方式中的与无限远相对应的点的图。

图8A是示出该实施方式中的配置在三维虚拟空间的立体图像以及三维对象的一例的图。

图8B是示出该实施方式中的配置在三维虚拟空间的立体图像以及三维对象的一例的图。

图9是示出该实施方式的图像合成装置的其他结构的框图。

图10是示出该实施方式中的配置在三维虚拟空间的立体图像的一例的图。

图11是示出该实施方式中的配置在三维虚拟空间的立体图像的一例的图。

图12是示出该实施方式中的配置在三维虚拟空间的立体图像的一例的图。

图13是示出该实施方式的图像合成装置的其他结构的框图。

图14是示出该实施方式中的计算机***的外观的一例的示意图。

图15是示出该实施方式中的计算机***的结构的一例的图。

具体实施方式

以下，利用实施方式，对本发明的图像合成装置、以及图像合成方法进行说明。此外，在以下的实施方式中，赋予相同的附图标记的构成要素以及步骤是相同或者对应的，有时省略再次的说明。本实施方式的图像合成装置、以及图像合成方法根据配置在三维虚拟空间的第一立体图像、以及三维对象，生成合成了两者的第二立体图像。

图1是示出本实施方式的图像合成装置1的结构的框图。本实施方式的图像合成装置1具备存储部11、受理部12、配置部13、生成部14以及输出部15。图像合成装置1例如既可以是个人计算机、或智能手机、平板终端等的通用的装置，或者，也可以是进行立体图像与三维对象的合成的专用的装置。另外，图像合成装置1例如既可以是独立的装置，或者，也可以是服务器/客户端***中的服务器装置。在后者的情况下，受理部12或输出部15也可以借助因特网等的通信线路受理输入，或者输出信息。在本实施方式中，主要对图像合成装置1为独立的装置的情况进行说明。

在存储部11中，存储具有第一右眼用图像及第一左眼用图像的第一立体图像。第一立体图像例如既可以是视频，或者，也可以是静止图像。在本实施方式中，主要对第一立体图像为视频的情况进行说明。第一立体图像例如既可以是拍摄的图像，或者，也可以是通过3DCG等生成的图像。在本实施方式中，主要对第一立体图像为拍摄的立体图像的情况进行说明。

此外，在本实施方式中，主要对作为视频的第一立体图像的全部的数据存储在存储部11的情况进行说明，但是也可以不是。例如，也可以在图像合成装置1中实时受理作为视频的第一立体图像，仅将处理对象的一部分数据存储在存储部11。即使是在这种情况下，构成作为视频的第一立体图像的各个帧至少临时存储在存储部11，因此可以说，第一立体图像存储在存储部11。

另外，在本实施方式中，主要对作为拍摄图像的第一立体图像为由以使光轴平行的方式配置的一对相机拍摄的情况进行说明，对于由以使光轴相交的方式配置的一对相机拍摄的情况将在后面进行说明。

在存储部11存储第一立体图像的过程不限。例如，既可以借助存储介质将第一立体图像存储于存储部11，也可以将借助通信线路等发送的第一立体图像存储于存储部11，或者，还可以将从拍摄设备等输入的第一立体图像存储于存储部11。存储部11优选通过非易失性的存储介质来实现，但是也可以通过易失性的存储介质来实现。存储介质例如也可以是半导体存储器或磁盘、光盘等。

受理部12受理配置在三维虚拟空间的三维对象的操作。该操作例如也可以是与三维对象的姿势、位置、形状等相关联的操作。由受理部12受理的操作只要是在配置在三维虚拟空间的三维对象的朝向、位置、形状等中产生变化的操作，可以是任意的操作。与三维对象的形状相关的操作例如也可以是在三维对象为在手术中使用的钳子的情况下，打开或者关闭钳子的顶端的操作。受理部12例如既可以根据从图像合成装置1输出将在后面进行说明的第二立体图像的VR(Virtual Reality)头戴设备(headset)(例如，Oculus Quest2等)的控制器等，受理三维对象的操作，也可以从操纵杆(joystick)或鼠标等其他的输入设备受理三维对象的操作。此外，三维对象的操作的受理例如既可以使用加速度传感器或陀螺仪传感器等的传感器，受理检测三维实际空间中的位置的变化、角度的变化的结果，也可以受理对于按钮等输入设备的输入。受理部12通常从HMD2或VR头戴设备等的控制器等的输入设备实时受理三维对象的操作。受理部12也可以借助输入设备或通信线路等，受理三维对象的操作。此外，受理部12既可以包含用于进行受理的设备(例如，输入设备或通信设备等)，或者也可以不包含。另外，受理部12既可以通过硬件来实现，或者也可以通过驱动规定的设备的驱动程序等的软件来实现。

配置部13在配置第一右眼用图像及第一左眼用图像的三维虚拟空间配置与由受理部12受理的操作相应的三维对象。由于根据受理的操作，三维对象的位置和姿势、形状等变化，因此配置部13根据其操作，使三维虚拟空间上的三维对象变化。由于根据由受理部12受理的操作进行基于配置部13的三维对象的配置，因此例如，在持续受理操作的情况下，三维虚拟空间中的三维对象的配置也持续变化。根据操作配置在三维虚拟空间配置的三维对象的方法已是公知的，省略其详细的说明。此外，配置在三维虚拟空间的三维对象的信息例如也可以存储在存储部11。

此外，三维虚拟空间中的第一立体图像所具有的第一右眼用图像及第一左眼用图像的配置位置、与右眼用视点及左眼用视点的关系通常是预先确定的。对于两者的具体的关系将在后面进行说明，但是例如，(A)第一右眼用图像及第一左眼用图像也可以配置在平行的视线方向的前方侧。另外，例如，(B)也可以以使与无限远相对应的点重叠的方式配置第一右眼用图像及第一左眼用图像。

通常，三维对象配置在第一立体图像与视点之间。这是因为，当在三维对象与视点之间存在第一立体图像时，在渲染之后的第二立体图像中不包含三维对象。

生成部14在配置有三维对象的三维虚拟空间中，生成包含作为在显示第一右眼用图像的状态下从右眼用视点观察的图像的第二右眼用图像、及作为在显示第一左眼用图像的状态下从左眼用视点观察的图像的第二左眼用图像的第二立体图像。即，在生成第二右眼用图像时，优选在三维虚拟空间显示第一右眼用图像，而不显示第一左眼用图像。另外，在生成第二左眼用图像时，优选在三维虚拟空间显示第二右眼用图像，而不显示第二左眼用图像。此外，只要第一左眼用图像不进入第二右眼用图像，也可以在使用右眼用视点的渲染时，显示第一左眼用图像。在使用左眼用视点的渲染时也是同样的。第二立体图像优选生成为，使包含在第一立体图像中的立体地显示的对象、及三维对象也在第二立体图像中立体地显示。另外，渲染时的视角例如既可以与拍摄第一立体图像的相机的视角相同，或者，也可以不同。

三维虚拟空间中的右眼用视点及左眼用视点的各个位置例如既可以预先确定，或者，也可以实时变更。在后者的情况下，例如，也可以根据HMD2的位置或朝向变更右眼用视点及左眼用视点的各个位置。另外，也可以根据视点的变更，还变更三维虚拟空间中的第一立体图像的配置。这是因为，通常，视点的位置、与配置有第一右眼用图像及第一左眼用图像的位置的相对关系是预先确定的。此外，对于与HMD2的位置或朝向相应的视点的变更已是公知的，省略其详细的说明。另外，视线方向优选分别朝向所对应的图像的中心。例如，右眼用视点的视线方向优选朝向右眼用图像的中心。在本实施方式中，为了便于说明，主要对右眼用视点及左眼用视点的各个视线方向为水平方向的情况进行了说明，但是理所当然地，各个视线方向也可以是水平以外的方向。

在第一立体图像为视频的情况下，生成合成了该视频的各个帧与三维对象的第二立体图像，因此第二立体图像也是视频。在这种情况下，例如，也可以在三维虚拟空间中，再现第一立体图像，或者，根据受理的操作变更三维对象的配置，生成包含再现的第一立体图像、及根据操作变更的三维对象的第二立体图像。另外，在第二立体图像所具有的第二右眼用图像及第二左眼用图像中，既可以显示第一立体图像的框(即，外缘)，或者，也可以不是。在后者的情况下，也可以以使第一右眼用图像(或者，第一左眼用图像)的框为第二右眼用图像(或者，第二左眼用图像)的框的方式生成第二立体图像。

此外，例如，也可以使用Unity(Unity Technologies公司)等的实时3D开发平台实现配置部13以及生成部14。图8A、图8B是示出配置在Unity的三维虚拟空间的第一立体图像与作为三维对象的手术用的钳子的图。在图8A中，错开配置有第一右眼用图像与第一左眼用图像的位置。例如，在上述(A)的情况下，这样配置。此外，本来，两个图像存在于同一平面内，但是为了便于说明使两者稍微错开。在图8B中，重叠配置有第一右眼用图像及第一左眼用图像。例如，在上述(B)的情况下，这样配置。另外，基于生成部14的图像的生成作为3DCG中的渲染的处理是公知的，省略其详细的说明。此外，理所当然地，该渲染时可以进行纹理映射等。

输出部15输出通过生成部14生成的第二立体图像。在此，该输出例如既可以是向显示立体图像的显示设备(例如，HMD、VR头戴设备等)的显示，也可以是借助通信线路向规定的设备的发送，也可以是向存储介质的积存，还可以是向其他构成要素的交付。在本实施方式中，如上述那样，主要对输出部15向HMD2输出第二立体图像的情况进行说明。此外，输出部15既可以包含进行输出的设备(例如，显示设备或通信设备等)，或者也可以不包含。另外，输出部15既可以通过硬件来实现，或者，也可以通过驱动这些设备的驱动程序等的软件来实现。

接下来，利用图2的流程图对本实施方式的图像合成装置1的动作、即图像合成方法进行说明。在该流程图中，对通过将与由受理部12受理的操作相应的三维对象合成到作为存储在存储部11的视频的第一立体图像来生成第二立体图像的情况进行说明。

(步骤S101)生成部14判断是否生成第二立体图像。然后，在生成第二立体图像的情况下，进入步骤S102，在不是的情况下，重复步骤S101的处理，直至判断为生成第二立体图像。此外，生成部14例如也可以定期地判断为生成第二立体图像。更加具体而言，生成部14也可以按照第二立体图像的帧之间的时间间隔单位判断为生成第二立体图像。

(步骤S102)受理部12判断是否受理了三维对象的操作。然后，在受理了操作的情况下，进入步骤S103，在不是的情况下，进入步骤S104。

(步骤S103)配置部13根据由受理部12受理的操作，在三维虚拟空间配置三维对象。该三维对象的配置也可以是变更配置在三维虚拟空间的三维对象的配置，例如，变更三维对象的位置或角度、形状等。

(步骤S104)生成部14在三维虚拟空间中显示第一右眼用图像而不显示第一左眼用图像的状态下，生成第二右眼用图像，在显示第一左眼用图像而不显示第一右眼用图像的状态下，生成第二左眼用图像，从而生成第二立体图像。此外，该第二右眼用图像及第二左眼用图像的生成也可以是生成右眼用的一个帧及左眼用的一个帧。在这种情况下，也可以每执行步骤S104的处理，配置在三维虚拟空间的第一右眼用图像及第一左眼用图像1帧1帧地变更。生成的一对帧例如也可以存储在未图示的存储介质或存储部11。

(步骤S105)输出部15输出在步骤S104中生成的第二立体图像。该输出例如也可以是右眼用的一个帧及左眼用的一个帧的输出。然后，返回步骤S101。这样，通过重复步骤S101～S105的处理，在HMD2显示合成了第一立体图像与根据操作变更配置的三维对象的第二立体图像。

此外，在图2的流程图中，例如，也可以并行步骤S101、S104、S105的处理、与步骤S102、S103的处理。另外，在图2的流程图中，通过电源关闭或处理结束的中断来结束处理。

接下来，对第一立体图像的拍摄、以及第一立体图像与三维对象的合成具体地进行说明。

图3是用于说明第一立体图像的拍摄的图。在图3中，使用右眼用相机21a与左眼用相机21b拍摄第一立体图像。即，通过右眼用相机21a来拍摄第一右眼用图像22a，通过左眼用相机21b来拍摄第一左眼用图像22b。右眼用相机21a及左眼用相机21b通常为相同的规格，其结果，第一右眼用图像22a及第一左眼用图像22b也都是相同的像素数的图像。在图3中，假设第一立体图像是通过以使光轴平行的方式配置的一对相机21a、21b拍摄的。另外，假设两个相机21a、21b的光轴这两者均在水平面内。右眼用相机21a的光轴与左眼用相机21b的光轴之间的距离例如也可以是人的平均瞳孔之间距离左右。此外，在该例子中，假设作为拍摄对象的对象20是以使中心轴为铅锤方向的方式配置的圆锥。而且，假设对象20包含在第一右眼用图像22a及第一左眼用图像22b中。此外，图3示出从与水平面垂直的铅锤方向观察相机21a、21b的状态，因此，严格地说，对象20应为圆形状，但是为了便于说明，将对象20显示为三角形状。在其他附图中也同样。

接下来，分别对在三维虚拟空间中分别将第一右眼用图像22a及第一左眼用图像22b(A)配置在平行的视线方向的前方侧的情况、(B)以使与无限远相对应的点重叠的方式配置的情况进行说明。

(A)分别配置在平行的视线方向的前方侧的情况

图4A是用于说明在三维虚拟空间中，分别将第一右眼用图像22a及第一左眼用图像22b配置在平行的视线方向的前方侧的情况的图。在图4A中，右眼用视点23a及左眼用视点23b配置成隔开瞳孔间距离、或立体相机21a、21b的光轴之间的距离程度。另外，用箭头示出的视线方向平行，且朝向相同的方向(在图4A中上方向)。此外，在图4A中，假设视线方向存在于水平面内。即，图4A与图3同样地，假设从与水平面垂直的铅锤方向观察视点23a、23b、或配置的图像22a、22b。另外，第一右眼用图像22a及第一左眼用图像22b分别在右眼用视点23a及左眼用视点23b的前方侧配置成，视线方向与图像正交，且视线方向朝向图像的中心。另外，假设右眼用视点23a与第一右眼用图像22a的位置关系、和左眼用视点23b与第一左眼用图像22b的位置关系相同。另外，第一右眼用图像22a及第一左眼用图像22b配置成包含在同一平面内。从右眼用视点23a及左眼用视点23b到包含第一右眼用图像22a及第一左眼用图像22b的平面为止的距离例如也可以是在此，U是第一右眼用图像22a及第一左眼用图像22b在水平方向上的长度，/>是右眼用视点23a及左眼用视点23b在水平方向上的视角。此外，在图4A中，示出了第一右眼用图像22a及第一左眼用图像22b向右侧与左侧分离配置的情况，但是两个图像也可以配置成一部分重叠(例如，参照图8A)。

在图4A中，假设在显示第一右眼用图像22a的状态下生成从右眼用视点23a观察的第二右眼用图像，在显示第一左眼用图像22b的状态下生成从左眼用视点23b观察的第二左眼用图像，它们的第二立体图像输出至HMD2。于是，如图4A的虚线示出那样，观察到该第二立体图像的用户看起来如同在所配置的第一右眼用图像22a及第一左眼用图像22b的进深侧存在对象20。

在图4A中，假设穿戴着HMD2的用户通过控制器来操作作为机械手的三维对象，并将其配置在三维对象25a所示的位置。于是，如图4B所示，对于用户来说，机械手看起来在跟前侧，且对象20看起来在进深侧。因此，在用户试图用机械手触碰对象20的情况下，需要使三维对象向进深侧、即远离视点侧移动。然后，当用户操作控制器，使三维对象向进深侧移动，并配置在三维对象25b所示的位置时，三维对象25b的顶端侧位于第一右眼用图像22a的背面侧，无法从视点看到。其结果是，如图4C所示，用户无法观察到机械手的顶端侧。这是因为第一右眼用图像22a通常为不透明。此外，在图4C中，用虚线示出机械手的无法观察到的部分。这样，在分别在平行的视线方向的前方侧配置第一右眼用图像22a及第一左眼用图像22b的情况下，很难调整在第一立体图像中显示的对象(例如，对象20)、与三维对象的置关系。即，在第二立体图像中，很难使两者重叠。此外，图4B、图4C是在二维平面上示出立体图像的图，与实际的第二立体图像不同。对于示出立体图像的其他的附图也同样。

此外，在此，对分别在平行的视线方向的前方侧配置右眼用图像及左眼用图像的情况下的缺点进行了说明，但是在包含在第一立体图像中的对象与三维对象独立的状况、即两者不相关的状况下，即使合成如上述那样的立体图像与三维对象也不存在缺点。例如，在第一立体图像为风景的图像，三维对象为根据用户的操作跳舞的角色的情况下，只要角色在风景的前景侧跳舞即可，因此能够使用该合成方法。

(B)以使与无限远相对应的点重叠的方式配置的情况

图5是用于说明立体图像中的与无限远相对应的点的图。如图5所示，当假设分别设定右眼用拍摄位置、左眼用拍摄位置、视角、以及用箭头示出的拍摄方向时，设右眼用图像及左眼用图像是在附图中的虚拟平面上投影分别从右眼用拍摄位置在拍摄方向上观察到的视角的范围内的对象等的图像。此外，虚拟平面是与拍摄方向垂直的平面。在这种情况下，在拍摄方向的前方侧的无限远处存在的点投影至虚拟平面上的点α、以及点β的位置。即，假设右眼用图像的点α、以及左眼用图像的点β是与无限远相对应的点。此外，点α、以及点β分别是右眼用图像与从右眼用拍摄位置延伸的拍摄方向相交的点、以及左眼用图像与从左眼用拍摄位置延伸的拍摄方向相交的点。因此，在以使与无限远相对应的点重叠的方式将第一右眼用图像及第一左眼用图像配置在三维虚拟空间的情况下，将两者配置在相同的位置。即，将两个图像重叠配置即可。

图6A是用于说明在三维虚拟空间中，以使与无限远相对应的点重叠的方式配置被拍摄到的第一右眼用图像22a及第一左眼用图像22b的情况的图。在图6A中，也与图4A同样地，右眼用视点23a及左眼用视点23b配置成隔开瞳孔间距离、或立体相机21a、21b的光轴间的距离程度。此外，在这种情况下，用箭头示出的视线方向朝向第一右眼用图像22a及第一左眼用图像22b的中心。另外，在图6A中，也假设视线方向存在于水平面内。另外，图6A是从铅锤方向观察的图。在图6A中示出的第一右眼用图像22a及第一左眼用图像22b分别从在图4A中示出的位置移动相同距离，直至两者在图像的面方向上重叠。

在图6A中，假设在显示第一右眼用图像22a而不显示第一左眼用图像22b的状态下生成从右眼用视点23a观察的第二右眼用图像，在显示第一左眼用图像22b而不显示第一右眼用图像22a的状态下生成从左眼用视点23b观察的第二左眼用图像，它们的第二立体图像输出至HMD2。于是，如用图6A的虚线示出那样，观察到该第二立体图像的用户看起来如同在所配置的第一右眼用图像22a及第一左眼用图像22b的跟前侧存在对象20。

在图6A中，假设穿戴着HMD2的用户通过控制器操作作为机械手的三维对象，并将其配置在三维对象25c所示的位置。于是，如图6B所示，对于用户来说，机械手看起来在对象20的附近。因此，与上述(A)的状况不同，用户能够通过操作控制器，使机械手的顶端与对象20重叠。这样，能够通过以使与无限远相对应的点重叠的方式配置第一右眼用图像22a及第一左眼用图像22b，容易地调整在第一立体图像中显示的对象(例如，对象20)与三维对象的位置关系。即，能够使在立体图像中显示的对象与三维对象重叠。这是因为，与无限远相对应的第一右眼用图像22a上的点和与无限远相对应的第一左眼用图像22b上的点重叠，因此在图像上存在与无限远相当的位置，能够将三维对象通过配置在从视点到图像为止的范围内的任意的位置，而配置在从距离视点最近的位置到无限远为止的任意的位置。

接下来，对由以使光轴相交的方式配置的一对相机拍摄第一立体图像的情况进行说明。例如，在使用作为手术支援机器人的达·芬奇拍摄立体图像的情况下，存在以使光轴相交的方式配置的情况。在这种情况下，如图7A所示，从右眼用拍摄位置用箭头示出的拍摄方向(即，相机的光轴)、与从左眼用拍摄位置用箭头示出的拍摄方向在视线的前方侧(即，相机的前方侧)相交。这样拍摄的右眼用图像和左眼用图像的与无限远相对应的位置为附图中的点α1及点β1。这些点是以使与拍摄方向所成角度相等的方式从右眼用拍摄位置及左眼用拍摄位置延伸的平行的两条直线、与右眼用图像及左眼用图像的交点。此外，右眼侧的状况与左眼侧的状况形成对照，因此只要能够在右眼用图像中特定(确定)点α1，就能够在左眼用图像中特定点β1。因此，以下，对右眼用图像中的点α1的位置的特定进行说明。

如图7B所示，如果令从拍摄方向与右眼用图像的交点到点α1为止的距离为X，令从右眼用拍摄位置到拍摄图像为止的距离为L，令右眼用图像在水平方向上的长度为U，令水平方向的视角为令拍摄方向、与连结右眼用拍摄位置和点α1的直线所成角度为θ，则可以获得下式。

tanθ＝X/L

因此，X如下式所述。

在此，是由拍摄中使用的相机确定的，因此是已知的。另外，由于2θ为图7A中的右眼侧及左眼侧的视线方向所成角度，因此θ也是已知的。因此，在以使与无限远相对应的点重叠的方式配置如图7A那样拍摄的第一右眼用图像22a及第一左眼用图像22b时，使用作为该图像在水平方向上的宽度的U、与θ及/>如上述那样计算X，以使在第一右眼用图像22a中从中心在水平方向上隔开X的点α1、与在第一左眼用图像22b中从中心在水平方向上隔开X的点β1重叠的方式配置两个图像即可。此外，当在三维虚拟空间配置第一右眼用图像22a及第一左眼用图像22b时，也可以使图7B中的右眼用拍摄位置为右眼用视点。即，也可以以使点α1与点β1重叠的方式将第一右眼用图像22a及第一左眼用图像22b配置在距配置在三维虚拟空间的右眼用视点及左眼用视点的距离为L的平面上。在此，L从上式可知为另外，第一右眼用图像22a及第一左眼用图像22b优选配置成，经过连结右眼用视点23a及左眼用视点23b的线段的中点，相对于与该线段垂直的平面对称。即，在从正面侧观察如图6A配置的图像的情况下，使第一右眼用图像22a在包含图像的平面内向左侧移动X，且使第一左眼用图像22b在包含图像的平面内向右侧移动X。其结果是，如用图6C示出那样，配置第一右眼用图像22a及第一左眼用图像22b。此外，在图6C中，为了便于说明，错开显示了第一右眼用图像22a及第一左眼用图像22b，但是实际上，第一右眼用图像22a及第一左眼用图像22b存在于同一平面上。在这种情况下，视线方向也设定为分别朝向相对应的图像的中心。这样，即使是在由以使光轴相交的方式配置的一对相机拍摄第一立体图像的情况下，也能够以使与无限远相对应的点重叠的方式配置第一右眼用图像及第一左眼用图像，其结果是，能够容易调整包含在第一立体图像中的对象、与三维对象的位置关系。

如以上那样，根据本实施方式的图像合成装置1以及图像合成方法，在三维虚拟空间配置第一立体图像所具有的第一右眼用图像及第一左眼用图像、与三维对象，在显示第一右眼用图像的状态下生成新的右眼用图像，在显示第一左眼用图像的状态下生成新的左眼用图像，由此能够生成合成了第一立体图像与三维对象的第二立体图像。能够通过这样合成两者，生成可以立体地显示包含在立体图像中的对象及三维对象这两者的第二立体图像。另外，在三维虚拟空间中，通过以使与无限远相对应的点重叠的方式配置第一右眼用图像及第一左眼用图像，能够适当地调整包含在立体图像中的对象与三维对象的位置关系。例如，也可以将三维对象与包含在立体图像中的对象重叠显示。另外，在使三维对象与包含在立体图像中的对象重叠时，能够避免三维对象的一部分位于立体图像的背面侧而无法观察到的情况。

此外，在本实施方式中，主要对第一及第二立体图像为视频的情况进行了说明，但是也可以不是。第一及第二立体图像也可以是静止图像。在这种情况下，生成将根据操作配置的三维对象合成到作为静止图像的第一立体图像、作为静止图像的第二立体图像。

接下来，对本实施方式的图像合成装置1的使用例进行说明。

第一立体图像是拍摄到熟练者的动作的视频，三维对象相当于熟练者所使用的器具等，操作该三维对象的用户也可以是模仿熟练者的动作的初学者。在这种情况下，生成将初学者操作的三维对象合成到表示熟练者的动作的第一立体图像的第二立体图像。更具体而言，熟练者的动作既可以是手术的动作，也可以是运动中的比赛的动作、或乐器的演奏等中的动作。另外，三维对象例如也可以是手术中使用的钳子等的器具、或运动中使用的棒球的球棒、高尔夫球的球杆、网球或羽毛球、乒乓球的球拍等的器具、音乐的演奏中使用的乐器等。这样，初学者能够模仿熟练者的动作，能够对手术或运动的比赛、乐器的演奏等进行练习。在这种情况下，由于可以认为使三维对象与包含在第一立体图像中的对象重叠是重要的，因此优选如上述(B)那样进行第一立体图像与三维对象的合成。

也可以是，第一立体图像是演员或女演员、歌手等人的视频，三维对象是用户的手等，用户能够通过操作作为三维对象的手等，在虚拟空间上与演员等握手。在这种情况下，第二立体图像是合成了演员等的人与作为用户操作的三维对象的手等的图像。这样，用户例如能够与名人握手。在这种情况下，也可以认为将与用户的手相当的三维对象与包含在第一立体图像中的名人等的手的位置重叠是重要的，因此优选如上述(B)那样进行第一立体图像与三维对象的合成。

也可以是，第一立体图像是建筑物的内部的拍摄图像或CG等的静止图像，三维对象是家具，用户通过操作该家具，变更家具的配置，并生成表示配置在建筑物的内部的家具的状况的第二立体图像。用户能够通过该第二立体图像，立体地观察配置家具后的状况。在这种情况下，也可以认为将三维对象与包含在第一立体图像中的对象重叠是重要的，因此优选如上述(B)那样进行第一立体图像与三维对象的合成。

也可以是，第一立体图像是由位于工程现场或修理现场等的实际空间的用户穿戴的立体相机拍摄到的视频，三维对象是相当于熟练者表示第一立体图像上的位置的指针、或在实际空间使用的器具的对象，第二立体图像是将三维对象合成到实际空间的第一立体图像中的图像。也可以由熟练者以及位于实际空间的用户观察该第二立体图像。熟练者能够通过操作三维对象，来向实际空间的用户发出指示，或者使用三维对象演示实际空间的用户应执行的处理。另外，位于实际空间的用户能够通过观察由熟练者操作的包含三维对象的第二立体图像进行作业，从而在实际空间适当地进行作业。在这种情况下，图像合成装置1也可以实时受理第一立体图像，并实时输出第二立体图像。在这种情况下，也可以认为将三维对象与包含在第一立体图像中的对象重叠是重要的，因此优选如上述(B)那样进行第一立体图像与三维对象的合成。

此外，在此示出了几个使用例，但是显而易见地对于合成第一立体图像与三维对象的其他例子可以使用图像合成装置1，理所当然地也可以在上述以外的状况下使用图像合成装置1。

另外，也可以在图像合成装置1中，进行关于包含在第一立体图像中的对象和与由受理部12受理的操作相应地配置的三维对象的位置关系的判断。关于位置关系的判断例如既可以是判断包含在第一立体图像中的对象与三维对象是否碰到的碰触判断，也可以是判断两者是否重叠的重叠判断，还可以是关于两者的位置关系的其他的判断。在这种情况下，如在图9中示出那样，图像合成装置1可以进一步具备判断部16。另外，在这种情况下，包含在第一立体图像中的对象与三维对象的位置关系的调整变得重要，因此优选如上述(B)那样进行第一立体图像与三维对象的合成。

判断部16根据配置在三维虚拟空间的第一右眼用图像及第一左眼用图像，特定(确定)包含在第一立体图像中的对象在三维虚拟空间中的位置。该位置的特定例如也可以特定第一右眼用图像及第一左眼用图像的对应点，并使用三维虚拟空间中的对应点的位置、与右眼用视点及左眼用视点的位置进行。例如，与第一右眼用图像及第一左眼用图像的一对对应点相当的三维虚拟空间中的位置也可以是在三维虚拟空间中，连结第一右眼用图像的对应点与右眼用视点的直线、和连结第一左眼用图像的对应点与左眼用视点的直线的交点的位置。此外，在由于误差等而两个直线不相交的情况下，也可以将两个直线间的距离最近的两个直线上的位置的中点作为与第一右眼用图像及第一左眼用图像的一对对应点相当的三维虚拟空间中的位置。此外，这样，特定与立体图像上的对应点相当的三维空间上的点的处理已是公知的，省略其详细的说明。判断部16能够通过对第一立体图像的各个对应点进行这种处理，来特定与包含在第一右眼用图像及第一左眼用图像中的各个像素相当的三维虚拟空间中的位置。此外，这样特定的位置通常在三维虚拟空间中构成面。这是因为在立体图像中，无法连背面侧的构造也知晓。另外，判断部16也可以通过在第一立体图像中进行轮廓提取等来特定包含在图像中的对象，针对每个所特定的对象进行位置的特定。

当特定出包含在第一立体图像中的对象在三维虚拟空间中的位置时，判断部16进行关于该特定的位置与三维虚拟空间中的三维对象的位置的关系的判断。该判断也可以是碰触判断以及重叠判断的至少一者。判断部16例如也可以在由包含在第一立体图像中的对象在三维虚拟空间中的位置构成的面、与三维虚拟空间中的三维对象的至少一部分重叠的情况下，判断为两者碰到。另外，判断部16例如也可以在由包含在第一立体图像中的对象在三维虚拟空间中的位置构成的至少一部分的面、与三维虚拟空间中的三维对象的至少一部分的面重叠的情况下，判断为两者重叠。在这种情况下，例如，也可以取得表示重叠的程度的指标。该指标例如也可以是将由包含在第一立体图像中的对象在三维虚拟空间中的位置构成的面、与三维虚拟空间中的三维对象的面的重叠最多的情况下的重叠设为100％的、表示重叠的程度的指标。

输出部15也可以进行关于包含在第一立体图像中的对象与三维对象的位置关系的、关于判断部16的判断结果的输出。该输出例如既可以是碰触判断的结果、或重叠判断的结果的输出，也可以是在通过碰触判断的结果表示两者碰到的情况下，表示两者碰到的输出，还可以是在通过重叠判断的结果表示两者重叠的情况下，表示两者重叠的输出、或表示其重叠的程度的指标的输出。更具体而言，输出部15既可以将与判断结果相应的显示与第二立体图像重叠输出，也可以根据判断结果，使用户操作的控制器振动，也可以输出与判断结果相应的声音，还可以进行与判断结果相应的其他的输出。例如，如图6B中示出那样，用户操作作为三维对象的机器人臂，该机器人臂碰到包含在第一立体图像中的圆锥形状的对象时，也可以进行表示两者碰到的显示(例如，画面整体的闪烁等)、或表示两者碰到的振动输出或声音输出。另外，例如，如图8A、图8B所示，用户操作作为三维对象的钳子，该钳子与包含在作为模拟手术的影像的第一立体图像中的钳子重叠时，进行表示两者重叠的显示(例如，表示重叠的图形的显示等)、或表示两者的重叠程度的指标的输出。这样，通过进行关于包含在第一立体图像中的对象的位置与三维对象的位置的关系的判断，操作三维对象的用户例如能够确认三维对象的位置，并且可以知晓是否在适当地操作三维对象。

此外，在上述(B)中，对在三维虚拟空间中，以使与无限远相对应的点重叠的方式配置第一右眼用图像22a及第一左眼用图像22b的情况进行了说明，但是也可以不是。例如，在三维对象与从视点隔开规定的距离的位置相比位于跟前侧(即，视点侧)的情况下，第一右眼用图像22a及第一左眼用图像22b也可以在三维虚拟空间中以使与该规定的距离相对应的点重叠的方式配置。例如，在图10中，当在三维虚拟空间中以使与无限远相对应的点重叠的方式配置用虚线示出的第一右眼用图像22a-1及第一左眼用图像22b-1时，如图10的第一右眼用图像22a-2及第一左眼用图像22b-2示出那样，第一右眼用图像22a-1及第一左眼用图像22b-1也可以在其面方向上分别在用箭头示出的方向移动相同的距离而配置。更具体而言，也可以是，第一右眼用图像22a-2从第一右眼用图像22a-1向右侧移动，第一左眼用图像22b-2从第一左眼用图像22b-1向左侧移动。而且，假设在第一左眼用图像22b-2及第一左眼用图像22b-2中，以使与从视点23a、23b隔开N米的位置相对应的点重叠的方式配置在三维虚拟空间。在此，N是正实数。另外，在图10中，假设视线方向存在于水平面内，表示从铅锤方向观察的状况。假设图11、图12也同样。另外，针对每个所配置的位置使用如第一右眼用图像22a-1、22a-2等那样不同的附图标记，但是在不特别区分位置的情况下，也可以称为第一右眼用图像22a。对于第一左眼用图像22b也同样。

此外，以使与从视点23a、23b隔开N米的位置相对应的点重叠的方式配置第一立体图像也可以是，例如，以使拍摄第一立体图像时存在于距相机N米之前的物体重叠的方式配置第一左眼用图像22b-2及第一左眼用图像22b-2。此外，例如，也可以使用视差、立体相机的焦距、立体相机的相机间的距离特定第一右眼用图像22a及第一左眼用图像22b中与隔开N米的位置相对应的点。该距离例如也可以是与连结视点23a、23b的直线的距离。另外，N米例如也可以由用户指定。例如，也可以由受理部12受理表示N米的信息，并根据此，在三维虚拟空间中，以使与隔开N米的位置相对应的点重叠的方式配置第一立体图像。例如，也可以由配置部13进行该配置。在这种情况下，第一右眼用图像22a及第一左眼用图像22b中与隔开N米的位置相对应的点例如既可以使用视差、或焦点距离、视点间的距离特定，也可以通过其他的方法来特定。另外，例如，在使距离与以使与隔开该距离的位置相对应的点重叠的方式配置第一右眼用图像22a及第一左眼用图像22b时的两个图像的重叠程度相对应关联的信息存储于存储部11的情况下，使用该信息，取得与N米相对应的两个图像的重叠程度，并配置成使得第一右眼用图像22a及第一左眼用图像22b重叠到该重叠程度。另外，在图10中，分别在第一右眼用图像22a及第一左眼用图像22b中，用黑圆点示出与无限远相对应的点(即，图像的中心点)的位置。另外，本来，第一左眼用图像22b-2及第一左眼用图像22b-2存在于同一平面上(即，在附图中同一直线上)，但是为了便于说明使两者稍微上下错开。这些在图11、图12中也是同样的。

在如图10所示的第一右眼用图像22a-2及第一左眼用图像22b-2那样配置第一立体图像的情况下，在三维虚拟空间中，包含在第一立体图像中的、从视点到N米为止的对象全部可以在第一左眼用图像22b-2以及第一左眼用图像22b-2的跟前侧立体地观察到。因此，在试图用三维对象来触碰包含在第一立体图像中的到N米为止的距离的对象的情况下，也能够避免三维对象的至少一部分位于第一立体图像的进深侧而无法观察的情况。这样，也可以在三维虚拟空间中，取代以使与无限远相对应的点重叠的方式配置第一右眼用图像22a及第一左眼用图像22b，而是以使与规定的距离相对应的点重叠的方式配置第一右眼用图像22a及第一左眼用图像22b。规定的距离例如也可以是有限的距离。

另外，如图11所示，第一右眼用图像22a-2、22a-3、22a-4分别配置成使从右眼用视点23a观察的视角不变化。此外，从图11可知，以视点为基准配置在更进深侧的第一右眼用图像22a-3是比配置在跟前侧的第一右眼用图像22a-2大的图像，另外，配置在进深侧的第一右眼用图像22a-4是比配置在跟前侧的第一右眼用图像22a-3大的图像。此外，各个图像优选以使纵横比不变的方式改变大小。假设对于第一左眼用图像22b-2、22b-3、22b-4也同样。另外，在图11中，用点划线示出连结视点23a、23b和各个图像的与无限远相对应的点的直线26a、26b。而且，在第一右眼用图像22a-2及第一左眼用图像22b-2中与规定的距离(例如，N米)相对应的点重叠，在第一右眼用图像22a-3及第一左眼用图像22b-3中与无限远相对应的点重叠，在第一右眼用图像22a-4及第一左眼用图像22b-4中不存在重叠的点。这样，在以使连结右眼用视点23a与第一右眼用图像22a的与无限远相对应的点的第一直线26a、及连结左眼用视点23b与第一左眼用图像22b的与无限远相对应的点的第二直线26b相交的方式在三维虚拟空间中配置第一右眼用图像22a及第一左眼用图像22b的情况下，还能够在三维虚拟空间中，对于与以使与无限远相对应的点或者与规定的距离相对应的点重叠的方式配置第一右眼用图像22a及第一左眼用图像22b的状况相同的状况，通过与之不同的第一右眼用图像22a及第一左眼用图像22b的配置来实现。因此，也可以以使第一直线26a与第二直线26b相交的方式在三维虚拟空间中配置第一右眼用图像22a及第一左眼用图像22b。在这种情况下，也例如，优选在三维虚拟空间配置第一右眼用图像22a及第一左眼用图像22b，使得作为包含在第一立体图像中的对象的、由根据由受理部12受理的操作配置的三维对象触碰或者重叠的对象立体地显示在比第一右眼用图像22a及第一左眼用图像22b靠跟前侧的位置。例如，也可以在到由三维对象触碰或者重叠的对象为止的距离小于N米的情况下，既可以在三维虚拟空间中以使与N米相对应的点或者与大于N米的距离相对应的点重叠的方式配置第一立体图像，或者也可以如第一右眼用图像22a-4及第一左眼用图像22b-4那样，在比第一及第二直线26a、26b的交点靠进深侧(即，远离视点侧)的位置配置第一立体图像。

接下来，对使第一右眼用图像22a及第一左眼用图像22b在面方向移动的情况下的效果进行说明。在图12中，示出了第一右眼用图像22a-2及第一左眼用图像22b-2、与以使它们分别在向右的箭头的方向及向左的箭头的方向上移动相同距离的第一右眼用图像22a-5及第一左眼用图像22b-5。分别连结第一右眼用图像22a-2及第一左眼用图像22b-2的与无限远相对应的点、和视点23a、23b的直线26a、26b的交点为点31a，分别连结第一右眼用图像22a-5及第一左眼用图像22b-5的与无限远相对应的点、和视点23a、23b的直线26a、26b的交点为点31b。点31a、31b分别为配置在三维虚拟空间的与第一右眼用图像22a-2及第一左眼用图像22b-2相对应的无限远的位置、以及与第一右眼用图像22a-5以及第一左眼用图像22b-5相对应的无限远的位置。因此，在如第一右眼用图像22a-2及第一左眼用图像22b-2那样配置第一立体图像时，用户看起来如同在视点23a、23b与点31a之间存在包含在第一立体图像中的全部的对象。另外，在如第一右眼用图像22a-5及第一左眼用图像22b-5那样配置第一立体图像时，用户看起来如同在视点23a、23b与点31b之间存在包含在第一立体图像中的全部的对象。因此，通过使第一右眼用图像22a及第一左眼用图像22b向重叠减少的方向或者两个图像分离的方向移动，包含在第一立体图像中的对象的显示范围的进深变得更长。另一方面，通过使第一右眼用图像22a及第一左眼用图像22b向重叠增加的方向或者两个图像靠近的方向移动，包含在第一立体图像中的对象的显示范围的进深变得更短。因此，例如，也可以在试图使作为操作对象的三维对象与包含在第一立体图像中的各种对象重叠的情况下等，配置第一右眼用图像22a及第一左眼用图像22b，使得包含在第一立体图像中的对象的显示范围的进深更短。根据这种配置，能够减少使三维对象与包含在第一立体图像中的各种对象重叠时的三维对象的移动量。例如，受理部12也可以从用户处受理指示从视点23a、23b至直线26a、26b的交点为止的距离的变更的信息。而且，配置部13也可以根据该受理的信息，变更第一右眼用图像22a及第一左眼用图像的配置，以使直线26a、26b的交点的位置变更。这样，例如，也可以根据来自用户的输入，变更第一立体图像的进深。还能够通过以使直线26a、26b相交的方式配置第一右眼用图像22a及第一左眼用图像22b，像这样调整第一立体图像的进深感。

接下来，对根据包含在第一立体图像中的对象的距离，在三维虚拟空间中，配置第一右眼用图像22a及第一左眼用图像22b的情况进行说明。在这种情况下，如图13所示，图像合成装置1也可以进一步具备特定部17。此外，如使用图9说明那样，在图13中示出的图像合成装置1还可以进一步具备判断部16，输出部15输出与基于该判断部16的判断结果相关的输出。

特定部17特定包含在第一立体图像中的规定的对象的距离。该距离例如，也可以使用与规定的对象相关的第一右眼用图像22a与第一左眼用图像22b中的视差、相机21a、21b的焦距、相机21a、21b间的距离等计算。这样，只要确定包含在第一立体图像中的距离的测量对象的对象，就可以计算到该对象为止的距离。此外，该计算出的距离例如也可以换算成三维虚拟空间中的距离而在后阶段的处理中使用。

作为距离的测量对象的对象例如也可以是包含在第一立体图像中的全部的对象。在这种情况下，例如，特定部17也可以特定包含在第一立体图像中的各个对象，对于该特定的各个对象分别特定距离。对象的特定例如也可以通过轮廓提取、或图像分割(segmentation)等来进行。此外，特定部17例如也可以作为对象特定包含在第一立体图像中的天空或道路等的背景。

另外，作为距离的测量对象的对象例如也可以是由用户指定的对象。在这种情况下，受理部12也可以受理指定该对象的信息。而且，也可以通过由受理部12受理的信息来指定的对象为作为距离的测量对象的对象。指定对象的信息例如既可以是指定图像中的对象的位置的信息，也可以是指定对象的种类的信息(例如，“手”或“球”等)。例如也可以通过点状的位置的指定、或矩形状的区域的指定来进行对象的位置的指定。另外，指定对象的种类的信息的受理例如既可以是来自键盘等的输入设备的受理，也可以是来自存储介质的信息的读取，也可以是与从麦克风等输入的语音相关的语音识别结果的受理，还可以是指定对象的种类的其他信息的受理。在这种情况下，受理部12例如也可以进行多个种类的受理、即三维对象的操作的受理、与指定对象的信息的受理。

在指定对象的信息为指定对象的位置的信息的情况下，特定部17例如既可以特定显示在该指定的位置的对象，且特定该特定的对象的距离，或者，也可以特定与该指定的位置相对应的第一右眼用图像22a及第一左眼用图像22b中的位置，且特定与该特定的位置相关的距离。另外，在指定对象的信息为特定对象的种类的信息的情况下，特定部17例如也可以在第一右眼用图像22a及第一左眼用图像22b中特定该种类的对象，且特定该特定的对象的距离。作为特定受理的种类的对象的方法，例如，也可以使用通过模式匹配(patternmatching)来特定图像中的对象的位置的方法、或根据与通过图像分割来特定的图像的各个像素相对应的种类，特定受理的种类的区域的方法、通过物体检测，来特定与受理的种类的对象相关的图像中的区域的方法等。

在指定对象的信息为指定对象的位置的信息的情况下，例如，也可以在指定了该位置的帧中，进行距离的特定(确定)。另外，在指定对象的信息为指定对象的种类的信息的情况下，作为距离的测量对象的对象的特定(确定)例如在第一立体图像为视频的情况下，既可以对特定的帧进行，或者，也可以对多个帧反复进行。在前者的情况下，例如，也可以在作为第二立体图像的视频的输出中，在由受理部12受理了指定规定的对象的信息时，对该时间点的帧进行对象的特定。另外，在后者的情况下，即在对多个帧进行对象的特定的情况下，例如，也可以按照规定的间隔的帧单位进行对象的特定。此外，在实时地受理第一立体图像，并使用该受理的第一立体图像实时地生成第二立体图像的情况下，例如，也可以实时地进行对象的特定。另一方面，在第一立体图像预先存储在存储部11的情况下，例如，对象的特定也可以预先进行，直至生成第二立体图像。

在三维虚拟空间中，第一右眼用图像22a及第一左眼用图像22b也可以以使与大于由特定部17特定的最长的距离的距离相对应的点重叠的方式配置。这样，由特定部17特定的对象在三维虚拟空间中显示在比第一立体图像靠跟前侧的位置，例如，能够使三维对象与该对象重叠。此外，在特定出多个对象的距离的情况下，优选以使与大于多个距离中最长的距离的距离相对应的点重叠的方式配置第一立体图像。另外，在对多个帧特定出对象的距离的情况下，优选，例如以使与大于特定出的距离中最长的距离的距离相对应的点重叠的方式配置第一立体图像。此外，大于特定出的最长距离的距离例如也可以是将预先确定的距离与特定出的最长距离相加的距离。作为相加对象的预先确定的距离例如也可以是在进行用于使三维对象与包含在第一立体图像中的对象重叠的操作时可发生的两个对象的位置错开程度以上的长度。这样，即使产生这种位置错开，也可以避免三维对象位于第一立体图像的背面侧。此外，例如也可以通过配置部13来进行这种第一立体图像的配置。

此外，也可以不使用特定部17，而避免三维对象位于第一右眼用图像22a及第一左眼用图像22b的背面侧。在这种情况下，也可以在第一立体图像以使与规定的距离相对应的点重叠的方式配置在三维虚拟空间时，当至作为操作对象的三维对象为止的距离接近该规定的距离时(即，三维对象接近第一立体图像时)，配置部13增加该规定的距离而配置第一立体图像。例如，也可以在将预先确定的距离与从视点23a、23b至三维对象为止的距离相加的距离达到该规定的距离的情况下，配置部13以使与比该规定的距离长的距离相对应的点重叠的方式在三维虚拟空间重新配置第一立体图像。比规定的距离长的距离例如也可以是将既定的距离与规定的距离相加的距离。此外，配置部13例如也可以在进行第二立体图像的生成或输出时，实时地进行第一立体图像的重新配置。因此，例如也可以根据三维对象的操作反复进行第一立体图像的重新配置。

作为第一立体图像的重新配置的方法，例如存在：如图11所示，不改变从视点23a、23b观察的视角，而使第一右眼用图像22a及第一左眼用图像22b向进深侧移动的方法；以及如图12所示，不改变距视点23a、23b的距离，而使第一右眼用图像22a及第一左眼用图像22b在图像的面方向移动的方法。在后者的情况下，通过改变第一立体图像的配置，包含在第一立体图像中的对象的进深感变化，伴随于此，配置在三维虚拟空间的三维对象的合成位置也变化。因此，从不产生这些变化的观点来看，优选通过如图11所示不改变视角而使第一立体图像的配置位置向进深侧移动的方法重新配置第一立体图像。此外，能够根据第一立体图像的更短距离的移动，使三维对象不位于第一立体图像的背面侧，这是因为，第一立体图像以直线26a、26b相交的方式配置。因此，在这种情况下，也优选以使直线26a、26b相交的方式重新配置第一立体图像。

此外，在通过重新配置第一立体图像，避免三维对象位于第一立体图像的背面侧的情况下，例如，配置部13也可以在第一右眼用图像22a及第一左眼用图像22b以使与规定的距离相对应的点重叠的方式配置在三维虚拟空间时，根据三维对象的位置，仅进行用于使该规定的距离变长的第一立体图像的重新配置，即使三维对象的位置接近视点23a、23b，也不进行用于使该规定的距离变短的第一立体图像的重新配置。

另外，理所当然地，例如，也可以对由以使光轴相交的方式配置的一对相机拍摄到的第一立体图像进行如下操作：以使第一直线26a与第二直线26b相交的方式在三维虚拟空间配置第一立体图像；以使与规定的距离相对应的点重叠的方式在三维虚拟空间配置立体图像；使该规定的距离大于由特定部17特定的最长的距离；或者，在三维对象接近第一立体图像的情况下重新配置第一立体图像；等。

另外，在上述实施方式中，各个处理或者各个功能既可以通过由单个装置或者单个***进行集中处理来实现，或者，也可以通过由多个装置或者多个***进行分散处理来实现。

另外，在上述实施方式中，各个构成要素之间进行的信息的交接，例如，在进行该信息的交接的两个构成要素在物理上不同的情况下，可以通过一侧的构成要素的信息的输出、与另一侧的构成要素的信息的受理来进行，或者，在进行该信息的交接的两个构成要素在物理上相同的情况下，可以通过从与一侧的构成要素相对应的处理的阶段移向与另一侧的构成要素相对应的处理的阶段来进行。

另外，在上述实施方式中，即使未在上述说明中明确记载，也可以在未图示的存储介质中临时或者长期保存与各个构成要素所执行的处理相关的信息，例如各个构成要素所受理、取得、选择、生成、发送、或接收的信息、或者各个构成要素在处理中使用的阈值或数学式、地址等的信息等。另外，也可以由各个构成要素或者未图示的积存部进行向该未图示的存储介质的信息的积存。另外，也可以由各个构成要素或者未图示的读取部进行来自该未图示的存储介质的信息的读取。

另外，在上述实施方式中，在也可以由用户变更各个构成要素等中使用的信息，例如，各个构成要素在处理中使用的阈值或地址、各种设定值等的信息的情况下，即使未在上述说明中明确记载，用户也可以适当地变更这些信息，或者，也可以不是。在用户能够变更这些信息的情况下，该变更例如也可以通过受理来自用户的变更指示的未图示的受理部与根据该变更指示变更信息的未图示的变更部来实现。基于该未图示的受理部的变更指示的受理例如既可以是来自输入设备的受理，也可以是借助通信线路发送的信息的接收，还可以是从规定的存储介质读取的信息的受理。

另外，在上述实施方式中，在包含在图像合成装置1中的两个以上的构成要素具有通信设备或输入设备等的情况下，两个以上的构成要素既可以在物理上具有单个设备，或者，也可以具有各自分开的设备。

另外，在上述实施方式中，各个构成要素既可以由专用的硬件构成，或者，对于能够通过软件来实现的构成要素，也可以通过执行程序来实现。例如，可以通过由CPU等的程序执行部读取并执行存储在硬盘或半导体存储器等的存储介质中的软件程序，来实现各个构成要素。在其执行时，程序执行部也可以一边访问存储部或存储介质一边执行程序。此外，实现上述实施方式中的图像合成装置1的软件是如以下那样的程序。也就是说，该程序是用于使能够访问存储具有第一右眼用图像及第一左眼用图像的第一立体图像的存储部的计算机执行以下步骤的程序：受理配置在三维虚拟空间的三维对象的操作的步骤；在以使连结右眼用视点和第一右眼用图像的与无限远相对应的点的第一直线、及连结左眼用视点和第一左眼用图像的与无限远相对应的点的第二直线相交的方式配置第一右眼用图像及第一左眼用图像的三维虚拟空间，配置与受理的操作相应的三维对象的步骤；在配置有三维对象的三维虚拟空间中，生成包含作为在显示第一右眼用图像的状态下从右眼用视点观察的图像的第二右眼用图像、及作为在显示第一左眼用图像的状态下从左眼用视点观察的图像的第二左眼用图像的第二立体图像的步骤；以及输出第二立体图像的步骤。

此外，在上述程序中，上述程序所实现的功能中不包含只能通过硬件来实现的功能。例如，只能通过受理信息的受理部、或输出信息的输出部等中的调制解调器或接口卡等的硬件来实现的功能至少不包含于上述程序所实现的功能中。

另外，该程序既可以通过从服务器等下载来执行，也可以通过读取存储在规定的存储介质(例如，CD-ROM等的光盘或磁盘、半导体存储器等)的程序来执行。另外，该程序也可以用作构成程序产品的程序。

另外，执行该程序的计算机既可以是单个，也可以是多个。即，既可以进行集中处理，或者也可以进行分散处理。

图14是示出执行上述程序，并实现上述实施方式的图像合成装置1的计算机的外观的一例的示意图。上述实施方式也可以通过计算机硬件以及在其上执行的计算机程序来实现。

在图14中，计算机***900具备包含CD-ROM驱动器905的计算机901、键盘902、鼠标903以及监视器904。

图15是示出计算机***900的内部结构的图。在图15中，计算机901除了CD-ROM驱动器905之外，还具备：MPU(Micro Processing Unit；微处理器)911、用于存储启动程序(bootup program)等的程序的ROM912、连接于MPU911且临时存储应用程序的命令并且提供临时存储空间的RAM913、存储应用程序、***程序及数据的硬盘914、以及将MPU911、ROM912等相互连接的总线915。此外，计算机901也可以包含提供向LAN或WAN等的连接的未图示的网卡。

使计算机***900执行上述实施方式的图像合成装置1的功能的程序也可以存储于CD-ROM921，并***至CD-ROM驱动器905，且转发至硬盘914。取而代之地，该程序也可以借助未图示的网络发送至计算机901，并存储于硬盘914。程序在执行时加载到RAM913。此外，也可以直接从CD-ROM921或者网络加载程序。另外，也可以取代CD-ROM921而借助其他的存储介质(例如，DVD等)将程序读入计算机***900。

程序也可以不一定包含使计算机901执行上述实施方式的图像合成装置1的功能的操作***(OS)、或者第三方程序等。程序也可以仅包含以受控的方式调用适当的功能或模块并获得期望的结果的命令的一部分。计算机***900如何动作是公知的，省略详细的说明。

另外，本发明不局限于以上的实施方式，可以进行种种变更，理所当然地，这些也包含在本发明的范围内。

Claims (13)

1.一种图像合成装置，其具备：

存储部，存储具有第一右眼用图像及第一左眼用图像的第一立体图像；

受理部，受理配置在三维虚拟空间的三维对象的操作；

配置部，在以使第一直线与第二直线相交的方式配置所述第一右眼用图像及所述第一左眼用图像的三维虚拟空间，配置与由所述受理部受理的操作相应的三维对象，所述第一直线为连结右眼用视点和所述第一右眼用图像的与无限远相对应的点的直线，所述第二直线为连结左眼用视点和所述第一左眼用图像的与无限远相对应的点的直线；

生成部，在配置有所述三维对象的三维虚拟空间中，生成包含第二右眼用图像及第二左眼用图像的第二立体图像，所述第二右眼用图像为在显示所述第一右眼用图像的状态下从右眼用视点观察的图像，所述第二左眼用图像为在显示所述第一左眼用图像的状态下从左眼用视点观察的图像；以及

输出部，输出所述第二立体图像。

2.根据权利要求1所述的图像合成装置，其中，

在所述三维虚拟空间中，以使与规定的距离相对应的点重叠的方式配置所述第一右眼用图像及所述第一左眼用图像。

3.根据权利要求2所述的图像合成装置，其中，

进一步具备特定部，所述特定部特定包含在所述第一立体图像中的规定的对象的距离，

所述规定的距离大于由所述特定部特定的最长的距离。

4.根据权利要求3所述的图像合成装置，其中，

所述规定的对象是包含在所述第一立体图像中的全部的对象。

5.根据权利要求3所述的图像合成装置，其中，

所述受理部还受理指定所述规定的对象的信息，

所述规定的对象是通过由所述受理部受理的信息来指定的对象。

6.根据权利要求2所述的图像合成装置，其中，

所述配置部在至所述三维对象为止的距离接近所述规定的距离的情况下，增加所述规定的距离配置所述第一立体图像。

7.根据权利要求1所述的图像合成装置，其中，

在所述三维虚拟空间中，以使与无限远相对应的点重叠的方式配置所述第一右眼用图像及所述第一左眼用图像。

8.根据权利要求1～7中任一项所述的图像合成装置，其中，

所述第一立体图像是由以使光轴平行的方式配置的一对相机拍摄的。

9.根据权利要求1～7中任一项所述的图像合成装置，其中，

所述第一立体图像是由以使光轴相交的方式配置的一对相机拍摄的。

10.根据权利要求1～9中任一项所述的图像合成装置，其中，

所述第一立体图像以及所述第二立体图像是视频。

11.根据权利要求1～10中任一项所述的图像合成装置，其中，

进一步具备判断部，所述判断部根据配置在所述三维虚拟空间的所述第一右眼用图像及所述第一左眼用图像，特定包含在所述第一立体图像中的对象在所述三维虚拟空间中的位置，进行与该特定的位置和所述三维对象的位置的关系相关的判断，

所述输出部还进行与所述判断部的判断结果相关的输出。

12.一种图像合成方法，其具备：

受理配置在三维虚拟空间的三维对象的操作的步骤；

在以使第一直线与第二直线相交的方式配置第一立体图像所具有的第一右眼用图像及第一左眼用图像的三维虚拟空间，配置与所受理的所述操作相应的三维对象的步骤，所述第一直线为连结右眼用视点和所述第一右眼用图像的与无限远相对应的点的直线，所述第二直线为连结左眼用视点和所述第一左眼用图像的与无限远相对应的点的直线；

在配置有所述三维对象的三维虚拟空间中，生成包含第二右眼用图像及第二左眼用图像的第二立体图像的步骤，所述第二右眼用图像为在显示所述第一右眼用图像的状态下从右眼用视点观察的图像，所述第二左眼用图像为在显示所述第一左眼用图像的状态下从左眼用视点观察的图像；以及

输出所述第二立体图像的步骤。

13.一种程序，用于使能够访问存储具有第一右眼用图像及第一左眼用图像的第一立体图像的存储部的计算机执行以下步骤：

受理配置在三维虚拟空间的三维对象的操作的步骤；

在以使第一直线与第二直线相交的方式配置所述第一右眼用图像及所述第一左眼用图像的三维虚拟空间，配置与所受理的所述操作相应的三维对象的步骤，所述第一直线为连结右眼用视点和所述第一右眼用图像的与无限远相对应的点的直线，所述第二直线为连结左眼用视点和所述第一左眼用图像的与无限远相对应的点的直线；

在配置有所述三维对象的三维虚拟空间中，生成包含第二右眼用图像及第二左眼用图像的第二立体图像的步骤，所述第二右眼用图像为在显示所述第一右眼用图像的状态下从右眼用视点观察的图像，所述第二左眼用图像为在显示所述第一左眼用图像的状态下从左眼用视点观察的图像；以及

输出所述第二立体图像的步骤。