CN103150009B - 信息处理装置和信息处理方法 - Google Patents

Abstract

本申请涉及信息处理装置、信息处理方法和程序。信息处理装置包括被配置成生成从预定的虚拟视点观看在三维虚拟空间内设置的注视点的情况下的视点图像的图像生成单元，被配置成检测操作者运动的检测单元，以及被配置成基于检测出的操作者的运动、以设置的注视点作为参考来移位虚拟视点的视点移位单元。

Description

信息处理装置和信息处理方法

技术领域

本公开涉及能在三维虚拟空间中显示图像等的信息处理装置、信息处理方法和程序。

背景技术

已知一种利用图像传感器测量如头部姿态、注视方向、眼睛闭合以及表情的面部参数来获得操作者图像的***。例如，在日本专利翻译公开No.2009-517745(以下称为专利文献1)中所公开的，测量得到的面部参数用于在人机接口(HMI)设计等领域中测量***和操作者之间的对话。进一步地，专利文献1公开了一种通过面部参数得出疲乏和注意力分散信息的汽车驾驶员辅助***(参见专利文献1的第0005,0006段等)。

发明内容

进一步地，专利文献1公开了：随着与个人电脑相关的接口的发展，利用上述面部参数的面部和注视的追踪***可变得与计算机键盘和鼠标的传播一样普及(普遍存在)(参见专利文献1的第0007段等)。换言之，认为作为上述追踪***的基于操作者运动的信息处理***会变得普及。

鉴于上述情况，希望提供能够获得基于操作者运动的具有高可操作性的图像显示***的信息处理装置、信息处理方法和程序。

根据本公开的实施例，提供一种信息处理装置，包括图像生成单元、检测单元和视点移位单元。

图像生成单元被配置成生成从预定的虚拟视点观察在三维虚拟空间内设置的注视点的情况下的视点图像。

检测单元被配置成检测操作者的运动。

视点移位单元被配置成基于检测出的操作者的运动以设置的注视点作为参照来移位虚拟视点。

在信息处理装置中，生成在从预定的虚拟视点观看注视点的情况下的视点图像。基于操作者的运动，以设置的注视点作为参照来移位虚拟视点。因此，可以获得具有高可操作性的基于操作者运动的图像显示***。

视点移位单元可被配置成以设置的注视点为中心来移位虚拟视点。

因此，例如有可能执行如下直观操作：在三维虚拟空间中从注视点绕过去观看该点。

检测单元可被配置成从操作者的拍摄图像检测操作者的运动。

因此，有可能以高准确度基于操作者图像检测操作者的运动。

检测单元可被配置成检测操作者的面部位置。在这种情况下，视点移位单元可被配置成基于面部位置的移位来移位虚拟视点。

这样，基于面部位置的移位，可移位虚拟视点。因此，有可能执行通过移动面部来观看注视点的直观操作。

检测单元可被配置成检测操作者的面部方向。在这种情况下，视点移位单元可被配置成基于面部方向的移位来移位虚拟视点。

这样，基于面部方向的移位，可移位虚拟视点。因此，有可能执行通过移动面部来观看注视点的直观操作。

检测单元可被配置成检测操作者的手部运动。在这种情况下，视点移位单元可被配置成基于手部运动来移位虚拟视点。

这样，基于手部运动，可移位虚拟视点。因此，有可能执行在用手旋转注视点的同时观看注视点的周围等的直观操作。

信息处理装置可进一步包括被配置成设置注视点的设置单元。

通过该结构，例如，有可能执行如下操作：在虚拟空间中关于注意力集中于其上的对象等设置注视点。

信息处理装置可进一步包括被配置成接收操作者的操作的接口单元。在这种情况下，设置单元可基于接口单元接收的操作来设置注视点。

这样，可通过操作者的操作来设置注视点。因此，有可能提高可操作性。

设置单元可基于检测到的操作者的运动来设置注视点。

这样，注视点可基于操作者的运动来设置。因此，可以提高可操作性。

信息处理装置可进一步包括注视点移位单元和切换单元。

注视点移位单元被配置成以虚拟视点为参照移位注视点。

切换单元被配置成在视点移位单元和注视点移位单元之间切换。

通过该结构，可以以观看的点位参照来切换视点控制。因此，可以获得具有高可操作性的图像显示***。

根据本发明的实施例，提供一种信息处理方法，包括生成从预定的虚拟视点观看在三维虚拟空间内设置的注视点的情况下的视点图像。

检测操作者的运动。

基于检测出的操作者的运动以设置的注视点作为参照来移位虚拟视点。

根据本发明的另一实施例，提供一种程序使计算机执行生成步骤、检测步骤和移位步骤。

生成步骤生成从预定的虚拟视点观看在三维虚拟空间内设置的注视点的情况下的视点图像。

检测步骤检测操作者的运动。

移位步骤基于检测到的操作者的运动以设置的注视点作为参照来移位虚拟视点。

如上所述，根据本发明的实施例，可以获得具有高可操作性的基于操作者运动的图像显示***。

通过以下对在附图中图示的本公开的最佳实施例的详细描述，本公开的这些及其他目的、特征和优点将变得更为明显。

附图说明

图1为示出包括至少根据本公开第一实施例的信息处理装置的信息处理***的结构的框图；

图2为用于解释根据第一实施例的信息处理装置的功能性结构示例的示意图；

图3为用于解释根据第一实施例的注视点和虚拟视点的示意图；

图4A和4B为各自示出根据第一实施例以注视点为参照的虚拟视点确 定过程的示例的示意图；

图5A和5B为各自示出根据第一实施例以注视点为参照的虚拟视点确定过程的示例的示意图；

图6为示出根据第一实施例以注视点为参照的虚拟视点确定过程的示例的示意图；

图7为示出根据第一实施例的信息处理装置的操作示例的流程图；

图8A和8B为用于解释根据第一实施例以当前位置作为中心的视点控制的示意图；

图9为用于解释根据本公开的第二实施例的信息处理装置的操作的示意图；

图10A和10B为用于解释根据本公开的第三实施例的信息处理装置的操作的示意图；

图11为示出根据本公开的图像显示***的另一示例的示意图。

具体实施方式

根据本发明实施例，提供一种信息处理装置，包括：图像生成单元，被配置成生成从预定的虚拟视点观看在三维虚拟空间内设置的注视点的情况下的视点图像；检测单元，被配置成检测操作者的运动；以及视点移位单元，被配置成基于检测出的操作者的运动、以设置的注视点作为参照来对虚拟视点进行移位。

根据本发明另一实施例，提供一种信息处理方法，包括：生成步骤，生成从预定的虚拟视点观看在三维虚拟空间内设置的注视点的情况下的视点图像；检测步骤，检测操作者的运动；以及移位步骤，基于检测出的操作者的运动、以设置的注视点作为参照来对所述虚拟视点进行移位。

下面，将参照附图来说明本公开的实施例。

<第一实施例>

图1为示出包括至少根据本公开第一实施例的信息处理装置的信息处理***的结构的框图。作为信息处理装置100，使用各种计算机例如游戏设备和PC(个人计算机)。

根据本实施例的信息处理装置100对置于3D虚拟空间中的由多个多 边形等组成的3D对象执行呈现(レンダリング，rendering)。该3D图像用在CAD(计算机辅助设计)、游戏等中。

信息处理装置100设置有CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机存取存储器)103、输入输出接口105以及连接上述部件的总线104。

显示单元106、输入单元107、存储单元108、通信单元109、图像拾取单元110、驱动单元111等连接到输入输出接口105。

显示单元106是使用例如液晶、EL(电致发光)或CRT(阴极射线管)的显示设备。

输入单元107为例如控制器、指向设备、键盘、触摸板或其他操作设备。在输入单元107包括触摸板的情况下，触摸板可与显示单元106集成地提供。在本实施例中，输入输出接口105通过输入单元107接收操作者的操作。

存储单元108为非易失性存储设备，如HDD(硬盘驱动器)、闪存以及其他固态存储器。

图像拾取单元110具有图中未示出的图像拾取控制单元、图像拾取元件和图像拾取光学***。作为图像拾取元件，采用CMOS(互补金属氧化物半导体)传感器，CCD(电荷耦合元件)传感器等。图像拾取光学***使被摄体图像在图像拾取元件的图像拾取面上成像。图像拾取控制单元驱动图像拾取元件，并基于CPU 101的指令关于图像拾取元件输出的图像信号执行信号处理。

在本实施例中，在显示单元106上方提供对面照相机(facing camera)作为图像拾取单元110。通过该对面照相机，对用信息处理装置100玩游戏等的操作者拍照。

驱动单元111是能够驱动如光学记录介质、软(floppy，注册商标)盘、磁记录带和闪存的可卸除记录介质112的设备。相反地，存储单元108通常用作预先配置到信息处理装置100上主要驱动非卸除式记录介质的设备。

通信单元109为调制解调器、路由器或者与其他可连接至LAN(局域网)、WAN(广域网)等的设备进行通信的其他通信设备。通信单元109可执行有线或无线通信。通信单元109通常与信息处理装置100分开使用。

图2为用于解释根据第一实施例的信息处理装置100的功能性结构示例的示意图。通过使如存储在如图1所示的ROM 102或存储单元108中的程序的软件资源与如CPU 101的硬件资源彼此协作来实现图2所示的功能块。

例如，从记录介质112将程序安装到信息处理装置100中。可替代地，可通过通信单元109将程序安装到信息处理装置100中。

如图2所示，信息处理装置100具有呈现单元120、面部检测单元121、面部位置计算单元122、注视点确定单元123和虚拟视点确定单元124。

呈现单元120生成从预定的虚拟视点上观看3D虚拟空间中设置的注视点的情况下的视点图像。即，在本实施例中，基于与注视点、虚拟视点的3D坐标及其方向相关的信息，生成表示3D虚拟空间的视点图像。在本实施方式中，呈现单元120用作图像生成单元。

图3为用于解释上述注视点和虚拟视点的示意图。如图3所示，在3D虚拟空间500中布置对象501。在该示例中，在对象501的中心处设置注视点505。然后，生成从虚拟视点510观看注视点505的情况下的视点图像。该视点图像被输出至用作显示单元106的显示设备中。

例如，呈现单元120从存储单元108等读取3D地图中与多边形或纹理相关的数据。然后，作为2D图像生成视点图像，并输出该生成的2D图像。应当注意，表示3D虚拟空间500的图像的生成方法和用于其的技术等不受限制。更进一步地，作为视点图像，生成3D图像，并可将该3D图像输出至能够显示3D图像的显示装置。

面部检测单元121从用作图像拾取单元110的照相机接收操作者的拍摄图像，并从拍摄图像中检测操作者的面部。例如，关于从照相机输入的2D拍摄图像来执行面部检测处理。对于面部检测处理，采用如基于Viola-Jones的学习的算法。然而，用于面部检测处理的技术不受限制，可适当地使用其他技术、算法等。

在本实施例中，作为面部检测单元121的检测结果，输出指示在拍摄图像的坐标***(在x-y像素单元)中检测到面部的位置的面部矩形坐标数据。面部矩形坐标数据被输出至面部位置计算单元122。

面部位置计算单元122根据面部矩形坐标数据计算矩形的重心位置，并根据重心计算面部位置。更进一步地，面部位置计算单元122从矩形的宽度和高度计算面部的尺寸。面部位置计算单元122计算的面部的位置和 尺寸的数据被输出到虚拟视点确定单元124。

在本实施例中，面部检测单元121和面部位置计算单元122用作检测操作者运动的检测单元。如上所述，在本实施例中，根据操作者的拍摄图像来检测操作者的运动。更进一步地，通过操作者的拍摄图像检测操作者的面部位置。

注视点确定单元123基于使用用作输入单元107的控制器输入的操作来确定注视点505。在本实施例中，注视点确定单元123用作设置注视点的设置单元。

例如，显示能够选择被显示的2D图像上的特定位置的指针。操作者操作控制器来将指针移动到2D图像上的期望位置。然后，操作者按下预定按钮等，从而将指针的位置确定为注视点505。

可替代地，可以将如显示在指针位置上的3D多边形的对象501设置为注视对象。例如，可将已设置的注视对象的中心位置或者重心位置确定为注视点505。可替代地，基于作为注视对象而选择的对象501的形状等，可在适当时将能轻易观察到对象501的周围的点确定为注视点505。

在本实施例中，通过参考3D地图计算注视点505的3D坐标。坐标数据被输出到虚拟视点确定单元124。

应当注意，作为利用控制器操作的指针的位置，输入2D坐标，并且基于该2D坐标，可设置注视点505的3D坐标。可替代地，在指针可按照3D坐标进行显示的情况下，作为指针的位置输入3D坐标，且该坐标可被设置成注视点505的坐标。

虚拟视点确定单元124基于面部的位置和尺寸，以注视点505为参照来确定虚拟视点510。在面部的位置和尺寸移位的情况下，根据该移位，虚拟视点510以注视点505为参照来移位。换言之，在本实施例中，虚拟视点确定单元124用作视点移位单元，该视点移位单元基于检测到的操作者的运动，以设置的注视点505为参照来移位虚拟视点510。虚拟视点由3D坐标表示。

图4A和4B、5A和5B以及图6为各自示出以注视点505为参考对虚拟视点510的确定处理的例子的示意图。如图4A所示，从操作者550的拍摄图像551中，计算操作者550的面部552的位置及其移位553。

例如，当操作者550将面部移动到相对于显示屏的右侧时，操作者550的面部552显示在拍摄图像551中的左侧(参照附图标记552R)。即， 在面部552的位置移位至拍摄图像551中的左侧的情况下，检测到操作者550向右侧的运动。

另一方面，例如，当操作者550将面部移动到相对于显示屏的左侧时，操作者550的面部552显示在拍摄图像551的右侧(参照附图标记552L)。即，在面部552的位置移位至拍摄图像551中的右侧的情况下，检测到操作者550向左侧的运动。

如图4B所示，在本实施例中，将虚拟视点510布置在以注视点505为中心的球面520上。基于检测到的面部552的位置的移位，虚拟视点510在球面520上移位以绕注视点505旋转。应当注意，在图4B中，为了易于解释，在虚拟视点510的位置上示出操作者550。

在本实施例中，根据操作者550向右侧的运动，虚拟视点510关于注视点505移位至右侧(在箭头R指示的方向上)。进一步地，根据操作者550向左侧的运动，虚拟视点510关于注视点505移位至左侧(在箭头L指示的方向上)。

例如，如图4A所示，在面部552沿水平方向运动的情况下，虚拟视点510可在平行于XY平面、以注视点505为中心的圆521的圆周上移位，如图5A所示。因此，可以在注视着注视点505的同时执行从右和左绕过去的操作。

进一步地，可从拍摄图像551中检测面部552在垂直方向上的运动。在这种情况下，如图5B所示，虚拟视点510可在平行于XZ平面、以注视点505为中心的圆522的圆周上移位。在面部向上运动的情况下，虚拟视点510在相对于对象501从上看的方向上移位。在面部向下运动的情况下，虚拟视点510在与之相反的方向上移位。

如上所述，在本实施例中，检测出面部沿水平方向和垂直方向的运动，虚拟视点510根据该运动在球面520上移位。因此，可以得到具有高可操作性的基于操作者550的运动的图像显示***。

应当注意，虚拟视点510的对应于面部在水平方向和垂直方向的运动的移位不限于上述的移位。例如，基于对象501的形状、尺寸等，面部位置的移位和虚拟视点510的移位可适当地匹配。

如图6所示，在本实施例中，对虚拟视点510的确定处理还使用面部尺寸数据。在本实施例中，采用如下映射：其中面部尺寸(即照相机和面部之间的距离)变化反映在对象501与操作者550之间距离的变化上。

即，在本实施例中，基于面部552的尺寸来确定球面520的半径。在操作者550将面部552移动得更靠近显示屏的情况下，检测到面部552尺寸的增大。相应地，根据面部尺寸的增大，球面520的半径减小(在箭头E指示的方向)。即，在显示屏上，对象501放大显示。

另一方面，在操作者550将面部552远离显示屏移动的情况下，检测到面部552尺寸的减小。相应地，根据面部552尺寸的减小，球面520的半径增大(在箭头S指示的方向上)。即，在显示屏上，对象501缩小显示。如上所述，通过利用与面部尺寸相关的数据，可以得到具有高可操作性的基于操作者550的运动的图像显示***。

在首先设置虚拟视点510的情况下，可预先对虚拟视点510进行缺省设置。然后，可生成从虚拟视点510观看注视点505的情况下的视点图像。此后，基于面部552的位置和尺寸的移位，可进行如上所述的虚拟视点510的移位处理。

图7为示出根据本实施例的信息处理装置100的操作示例的流程图。

首先，面部检测单元121进行面部检测处理(步骤101)。然后，确定面部552是否存在于拍摄图像551中(步骤102)。在确定出面部552不存在于拍摄图像551中的情况下(否)，执行以当前位置为中心的视点控制(步骤103)。

将描述以当前位置为中心的视点控制。图8A和8B为用于解释以当前位置为中心的视点控制的示意图。在本实施例中，基于利用控制器的箭头键等的操作，执行如下所述的以当前位置为中心的视点控制。

如图8A和8B所示，将当前位置作为中心的视点控制是以当前虚拟视点510为中心而移位目标点515的视点控制。目标点515为将从虚拟视点510观看的点。如图8A所示，目标点515以虚拟视点510为参照在(由箭头R、L、E和S指向的)旋转方向和线性方向上移位。

然后，如图8B所示，目标点515从对象501移位至另一对象511。生成对象511显示在其中的视点图像。即，以当前位置作为中心的视点控制使得操作者550能够执行例如观看操作者的周围的操作。

应当注意，视点控制不限于例如如下情况：虚拟视点510在位置上被固定，且目标点515绕其旋转。可以变化地使用所谓的第一人称视点控制，其中将操作者550或由操作者550操作的显示屏上的字符等设置为参考。

在步骤102中，在确定面部552存在于拍摄图像551(是)中的情况 下，面部位置计算单元122计算面部的位置和尺寸(步骤104)。然后，在步骤105中，确定是否输入了设定注视点505的按钮操作。

在没有输入按钮按压操作(步骤105为“否”)的情况下，执行以当前位置为中心的视点控制(步骤103)。在输入按钮按压操作(步骤105为“是”)的情况下，确定在显示屏上的指针的坐标上是否有占优势3D对象(步骤106)。占优势3D对象指的是如下对象，该对象可以是经受如上所述的在注视点505被设为参照的情况下以注视点为中心的视点控制的目标。

即，在本实施例中，预先设定可经受以注视点作为中心的视点控制的对象501。在以指针选择对象501的情况下，执行以注视点为中心的视点控制(从步骤106的“是”至步骤107)。

操作者550可执行这样的直观操作，即操作者550在移动面部552的同时绕着对象501过去以观察对象501。因此，例如，即便在显示2D图像的显示装置中，也可以在充分感受3D空间的同时观察视点图像。

在确定出在指针的坐标上没有占优势3D对象(步骤106为“否”)的情况下，执行以当前位置为中心的视点控制(步骤103)。这样，通过适当设定占优势对象，可以在步骤103的视点控制和步骤107的视点控制之间执行平滑的切换。例如，可以进行这样的设置，即可仅在如财宝箱的重要对象的情况下才执行以注视点作为中心的视点控制。

应当注意，如果按下控制器的注视点设置按钮，通常可在不设置占优势对象的情况下来执行以注视点作为中心的视点控制。

如图7的流程图所示，在本实施例中，基本上执行利用控制器、以当前位置作为中心的视点控制。因此，首先，操作者550可直观地操作在第一人称视点处的运动、字符的运动等。

然而，在视点控制中，当例如绕着重要对象501过去以仔细观察该对象时，有必要在执行旋转运动的同时移动目标点515。换言之，需要重复以下操作：在运动的同时调节视线的方向，这可能造成操作复杂化。

在这种情况下，操作者550用控制器来设置在重要对象501上的注视点505。因此，如步骤107所示，选择以注视点作为中心的视点控制。因而，操作者550可在移动面部552的同时绕过对象501去，以从不同角度仔细观察对象501。于是，得到了具有高可操作性和高自由度的图像显示***。

如上所述，在根据本实施例的信息处理装置100中，生成在从预定的虚拟视点510观看注视点505的情况下的视点图像。然后，基于操作者550的运动，虚拟视点510以设置的注视点505为参照而移位。因此，可以得到基于操作者550的运动的、具有高可操作性的图像显示***。

进一步地，在本实施例中，虚拟视点510以注视点505为中心而移位。因此，可以在3D虚拟空间500中执行如下直观操作：绕过注视点505和注视对象以观察该注视点和注视对象。

进一步地，在本实施例中，由于从操作者550的拍摄图像551中检测操作者550的运动，可以以高精确度来检测操作者550的运动。进一步地，由于虚拟视点510基于面部552的位置和尺寸而移位，可以进行如下直观操作：操作者通过移动面部来注视注视点505。更进一步地，在本实施例中，利用控制器，可以执行将注视点505设置到操作者550集中注意力的对象501等上的操作。

应当注意，在图8A和8B所示的以当前位置作为中心的视点控制中，在以注视点作为中心的视点控制中设置的注视点505本身可用作目标点515。即，注视点505可以以虚拟视点510为参照来移位，且在这种情况下，CPU 101用作注视点移位单元。进一步地，在以注视点作为中心的视点控制中，在以当前位置作为中心的视点控制中设定的目标点515本身可用作注视点505。

在这种情况下，例如，可将在两种视点控制操作之间进行切换的按钮等设置到控制器。通过该按钮的操作，CPU 101执行在视点移位单元和注视点移位单元之间的切换(CPU101用作切换单元)。因此，可以执行以在视点控制操作中观看的点(注视点505和目标点515)为参照的两种视点控制操作的切换处理。因而，得到了具有高可操作性的图像显示***。

<第二实施例>

将描述根据本公开的第二实施例的信息处理装置。在以下的描述中，将省略或简化与根据第一实施例的信息处理装置100中相同的结构和操作的描述。

图9为用于解释根据本公开的第二实施例的信息处理装置的操作的示意图。在本实施例中，从操作者的面部552的图像，检测操作者的面部552的方向。基于检测到的面部552的方向的移位，以注视点为参照移位虚拟视点。

例如，从操作者的面部图像中，检测如嘴、鼻子、眼睛的部分的位置及其尺寸等。基于其位置或尺寸等，检测面部552的方向。此外，可采用各种用于检测面部552的方向等的面部追踪***。进一步地，例如，可适当地使用能够分析视线方向的视线分析技术。

如图9所示，在本实施例中，面部552的方向指的是通过在三轴方向上旋转得到的面部552的方向，包括分别针对轴方向的滚动(roll)、俯仰(pitch)和偏离(yaw)这三种类型。通常，虚拟视点按照偏离轴的旋转方向来移位。

例如，操作者关于对象将面部的方向移位至左侧(由图9中所示的偏离轴的箭头指示的方向)。通过该操作，生成从右侧看进对象中的视点图像。即，生成操作者沿图4B中箭头R指示的方向绕过去的视点图像。

另一方面，如果操作者将面部移位至右侧，生成操作者从左侧看进对象中的视点图像。即，生成在与操作者面部的方向相同的方向上旋转对象的视点图像。因此，获得具有高可操作性的图像显示***。

应当注意，可以适当地设置面部552的方向与虚拟视点的移位之间的对应关系(映射)。例如，面部552在图9中所示的俯仰轴的旋转方向上旋转。在这种情况下，可生成在垂直方向上绕过去并观看对象的视点图像。

如在本实施例中一样，通过基于面部552的方向的移位来移位虚拟视点，可以执行通过移动面部552来观看注视点的直观操作。

<第三实施例>

图10A和10B为用于解释根据本公开的第三实施例的信息处理装置的操作的示意图。在本实施例中，通过操作者的拍摄图像651来检测操作者的手652的运动。基于操作者的手652的位置、方向、姿态等来移位虚拟视点610。

例如，如果操作者将手652移动到相对于显示屏的右侧(在如图10A所示的拍摄图像651中将手移动到左侧)，如图10B所示，生成绕过到对象601的左侧(箭头L)的视点图像。另一方面，如果操作者将手652移动到相对于显示屏的左侧(拍摄图像651中的右侧)，生成绕过到对象601的右侧(箭头R)的视点图像。

即，在本实施例中，可以执行如下直观操作：在例如用手旋转包含注视点605的对象601的同时观看对象601的周围等。应当注意，可以适当地设置手652的移位和虚拟视点610的移位之间的对应关系。例如，可进 行如下设置：在手运动的方向上绕过去并观看对象。

进一步地，可生成如下视点图像：当手652相对于显示屏上下运动时，根据运动在垂直方向上绕过去并观察对象601。

如上所述，虚拟视点可基于操作者手部而非面部的运动而移位。另外，虚拟视点可基于身体其它部分或整个身体的位置、方向、姿势等而移位。

<修改示例>

本公开的实施例不限于上述实施例，且可进行各种修改。

例如，图11为示出根据本公开的图像显示***的另一示例的示意图。在本实施例中，向操作者750提供用于检测操作者750的运动的检测目标物体770。例如，具有用于检测操作者750A手部运动的检测目标物体770A的控制器707由手握持。进一步地，在操作者750B的头部，提供用于检测操作者750B的位置、方向等的检测目标物体770B。

在本修改示例的信息处理装置700中，基于操作者750的拍摄图像，以检测目标物体770为参照(图像输入单元701和运动检测单元702)来检测操作者750的运动。然后，其数据被输出到信息集成单元703。进一步地，与使用控制器707等的注视点设定操作相关的信息等也从控制器控制单元704被输出至信息集成单元703。信息集成单元703执行如上所述的虚拟视点的移位处理，且其信息被输出至游戏控制单元705和呈现单元706。

如上所述，用于检测操作者750的运动的检测目标物体770可以以辅助方式使用。在本实施例中，将发出彩色光的发光体用作检测目标物体770。因此，可以在执行图像分析中容易地检测操作者的运动(发光体的运动)。然而，检测目标物体并不限于此，对其可采用各种物体。

另外，可不使用操作者的拍摄图像来检测操作者的运动。例如，将红外线传感器、测距传感器等适当地互相组合以形成检测单元，且通过这些传感器来检测操作者的运动。进一步地，可使用分析操作者的视线的眼部照相机等来检测操作者面部的位置、方向等。

另外，各种技术、设备等可适当地用来检测操作者面部的位置和方向、其视线、其手部运动、其身体运动等。

进一步地，在上述实施例中，基于以控制器输入的操作来确定注视点。然而，可基于检测单元检测出的操作者的运动来确定注视点。例如，在检 测到操作者视线的情况下，可基于在视线方向上是否存在对象、视线停留的时间段等来确定注视点。可替代地，基于手的运动、面部的位置、其停止时间段等，可计算操作者想要集中注意的对象从而确定注视点。可替代地，可基于操作者的语音来确定注视点。

进一步地，当设置了注视点时，可将注视点或包含注视点的对象放置至显示屏的中心。因此，可以充分观察注意力集中于其上的对象等。可替代地，例如可以以使得放置在显示屏的边缘的对象移动到中心的方式来适当地调整注视点或对象的显示位置。

例如，基于手的运动来确定注视点，且根据手的运动将注视点的位置移动到预定位置如屏幕中心。然后，通过移动面部位置，可执行充分观察注视点的周围的操作等。

在上述描述中，基于对控制器的操作，执行以当前位置作为中心的视点控制。然而，以当前位置为中心的视点控制可基于操作者的运动来执行。即，以注视点作为中心的视点控制和以当前位置作为中心的视点控制二者都可基于操作者的运动来执行。例如，操作者可操作按钮等来适当地切换视点控制的模式，以切换注视点为中心的视点控制和当前位置为中心的视点控制。

可根据操作者的运动来控制虚拟视点的移位速度。例如，在基于面部位置的移位来移位虚拟视点时，虚拟视点的移位速度可以根据面部方向来调整。例如，在对象极大的情况下，仅通过面部位置的改变，可能会限制虚拟视点的移位范围，这会导致难以观察到对象的整个周围。在这种情况下，改变面部的方向，并且提高虚拟视点的移位速度。因此，根据面部位置的改变，虚拟视点可在大范围内移位，这使得可以观察对象的整个周围。

例如，图标等可显示在显示屏上，其提示操作者当前视点控制是以当前位置作为中心的视点控制或是以注视点为中心的视点控制。例如，在当前视点控制是以当前位置作为中心的视点控制的情况下，如图8A所示的图标显示在显示屏的右角等。进一步地，在以注视点作为中心的视点控制的情况下，如图6所示的图标显示在显示屏上。因此，对操作者提高了可操作性。

进一步地，例如，在选择以注视点作为中心的视点控制的情况下，可连同如图6所示的图标一起显示与用于解释面部位置等与图标的箭头之间对应关系的文本或图像(例如，在箭头侧显示如右和左的字符)。

上述的实施例和修改示例的组合可用作为本公开的实施例。

应当注意本公开可采用如下的构造。

(1)一种信息处理装置，包括：

图像生成单元，被配置成生成从预定的虚拟视点观看在三维虚拟空间内设置的注视点的情况下的视点图像；

检测单元，被配置成检测操作者的运动；以及

视点移位单元，被配置成基于检测出的操作者的运动、以设置的注视点作为参照来对虚拟视点进行移位。

(2)根据项目(1)的信息处理装置，其中

所述视点移位单元被配置成以设置的注视点为中心来移位所述虚拟视点。

(3)根据项目(1)或(2)的信息处理装置，其中

所述检测单元被配置成从拍摄的操作者的图像检测操作者的运动。

(4)根据项目(1)至(3)任意一项的信息处理装置，其中

所述检测单元被配置成检测操作者的面部的位置，并且

所述视点移位单元被配置成基于所述面部的位置的移位来对所述虚拟视点进行移位。

(5)根据项目(1)至(4)任意一项的信息处理装置，其中

所述检测单元被配置成检测操作者的面部的方向，并且

所述视点移位单元被配置成基于所述面部的方向的移位来对所述虚拟视点进行移位。

(6)根据项目(1)至(5)任意一项的信息处理装置，其中

所述检测单元被配置成检测操作者的手部的运动，并且

所述视点移位单元被配置成基于所述手部的运动来对所述虚拟视点进行移位。

(7)根据项目(1)至(6)任意一项的信息处理装置，进一步包括

设置单元，被配置成设置所述注视点。

(8)根据项目(7)的信息处理装置，进一步包括

接口单元，被配置成接收操作者的操作，其中

所述设置单元基于所述接口单元接收的操作来设置所述注视点。

(9)根据项目(7)或(8)的信息处理装置，其中

所述设置单元基于检测到的操作者的运动来设置所述注视点。

(10)根据项目(1)至(9)任意一项的信息处理装置，进一步包括：

注视点移位单元，被配置成以所述虚拟视点作为参照来对所述注视点进行移位；以及

切换单元，被配置成在所述视点移位单元和所述注视点移位单元之间切换。

(11)一种信息处理方法，包括：

生成从预定的虚拟视点观看在三维虚拟空间内设置的注视点的情况下的视点图像；

检测操作者的运动；以及

基于检测出的操作者的运动、以设置的注视点作为参照来对虚拟视点进行移位。

(12)一种程序，使计算机执行步骤：

生成从预定的虚拟视点观看在三维虚拟空间内设置的注视点的情况下的视点图像；

检测操作者的运动；以及

基于检测出的操作者的运动、以设置的注视点作为参照来对虚拟视点进行移位。

(13)根据项目(12)的程序，其中

所述移位步骤以设置的注视点为中心来移位所述虚拟视点。

(14)根据项目(12)或(13)的程序，其中

所述检测步骤从拍摄的操作者的图像检测操作者的运动。

(15)根据项目(12)至(14)任意一项的程序，其中

所述检测步骤检测操作者的面部的位置，以及

所述移位步骤基于所述面部的位置的移位来移位所述虚拟视点。

(16)根据项目(12)至(15)任意一项的程序，其中

所述检测步骤检测操作者的面部的方向，以及

所述移位步骤基于所述面部的方向的移位来移位所述虚拟视点。

(17)根据项目(12)至(16)任意一项的程序，其中

所述检测步骤检测操作者的手部的运动，以及

所述移位步骤基于所述手部的运动来移位所述虚拟视点。

(18)根据项目(12)至(17)任意一项的程序，进一步使计算机执行步骤

设置注视点。

(19)根据项目(18)的程序，进一步使计算机执行步骤

接收操作者的操作，其中

设置步骤基于接收到的操作来设置注视点。

(20)根据项目(18)或(19)的程序，其中

设置步骤基于检测出的操作者的运动来设置注视点。

本发明包含与2011年7月28日提交日本专利局的日本优先权专利申请JP2011-165129中的公开相关的主题内容，其全部内容作为参考合并于此。

本领域技术人员应当理解，根据设计需求和其它因素可出现各种改进、组合、子组合和变更，只要其在权利要求或其等同物的范围内即可。

Claims (21)

1.一种信息处理装置，包括：

图像生成单元，被配置为使用注视点和虚拟视点的三维坐标在显示单元上生成视点图像，其中所述视点图像表示三维虚拟空间，其中从所述虚拟视点观看在所述三维虚拟空间内设置的所述注视点；

检测单元，被配置成检测操作者的运动；以及

视点移位单元，被配置成基于检测出的操作者的运动、以设置的注视点作为参照来对虚拟视点进行移位。

2.根据权利要求1所述的信息处理装置，其中

所述视点移位单元被配置成以设置的注视点为中心来移位所述虚拟视点。

3.根据权利要求2所述的信息处理装置，其中所述视点移位单元被配置成在以所设置的注视点为球面中心的球面上移位所述虚拟视点。

4.根据权利要求3所述的信息处理装置，其中所述检测单元被配置成检测所述操作者的面部的尺寸，且所述球面的半径根据面部的尺寸的减小而增加，所述球面的半径根据面部的尺寸的增加而减小。

5.根据权利要求1所述的信息处理装置，其中

所述检测单元被配置成从拍摄的操作者的图像检测操作者的运动。

6.根据权利要求1所述的信息处理装置，其中

所述检测单元被配置成检测操作者的面部的位置，并且

所述视点移位单元被配置成基于所述面部的位置的移位来对所述虚拟视点进行移位。

7.根据权利要求1所述的信息处理装置，其中

所述检测单元被配置成检测操作者的面部的方向，并且

所述视点移位单元被配置成基于所述面部的方向的移位来对所述虚拟视点进行移位。

8.根据权利要求1所述的信息处理装置，其中

所述检测单元被配置成检测操作者的手部的运动，并且

所述视点移位单元被配置成基于所述手部的运动来对所述虚拟视点进行移位。

9.根据权利要求1所述的信息处理装置，进一步包括

设置单元，被配置成设置所述注视点。

10.根据权利要求9所述的信息处理装置，进一步包括

接口单元，被配置成接收操作者的操作，其中

所述设置单元基于所述接口单元接收的操作来设置所述注视点。

11.根据权利要求9所述的信息处理装置，其中

所述设置单元基于检测到的操作者的运动来设置所述注视点。

12.根据权利要求1所述的信息处理装置，进一步包括：

注视点移位单元，被配置成以所述虚拟视点作为参照来对所述注视点进行移位；以及

切换单元，被配置成在所述视点移位单元和所述注视点移位单元之间切换。

13.一种信息处理方法，包括：

生成步骤，使用注视点和虚拟视点的三维坐标在显示单元上生成视点图像，其中所述视点图像表示三维虚拟空间，其中从所述虚拟视点观看在所述三维虚拟空间内设置的所述注视点；

检测步骤，检测操作者的运动；以及

移位步骤，基于检测出的操作者的运动、以设置的注视点作为参照来对所述虚拟视点进行移位。

14.根据权利要求13所述的信息处理方法，其中

所述移位步骤以设置的注视点为中心来移位所述虚拟视点。

15.根据权利要求13所述的信息处理方法，其中

所述检测步骤从拍摄的操作者的图像检测操作者的运动。

16.根据权利要求13所述的信息处理方法，其中

所述检测步骤检测操作者的面部的位置，以及

所述移位步骤基于所述面部的位置的移位来移位所述虚拟视点。

17.根据权利要求13所述的信息处理方法，其中

所述检测步骤检测操作者的面部的方向，以及

所述移位步骤基于所述面部的方向的移位来移位所述虚拟视点。

18.根据权利要求13所述的信息处理方法，其中

所述检测步骤检测操作者的手部的运动，以及

所述移位步骤基于所述手部的运动来移位所述虚拟视点。

19.根据权利要求13所述的信息处理方法，还包括以下设置步骤：

设置所述注视点。

20.根据权利要求19所述的信息处理方法，还包括以下步骤：

接收操作者的操作，其中

所述设置步骤基于接收到的操作来设置所述注视点。

21.根据权利要求19所述的信息处理方法，其中

所述设置步骤基于检测出的操作者的运动来设置所述注视点。