CN101963839A - 操作控制装置和操作控制方法 - Google Patents

Abstract

公开了操作控制装置和操作控制方法。该操作控制装置包括：运动检测部分，该运动检测部分检测由用户的运动所移动的要检测的对象；运动确定部分，该运动确定部分基于检测结果而确定要检测的对象的运动；可移动区域移动处理部分，该可移动区域移动处理部分移动包括操作在显示区域中显示的对象的光标的光标可移动区域；以及光标移动处理部分，该光标移动处理部分移动光标。基于第一检测对象的运动，可移动区域移动处理部分以第一移动单位而在显示区域中随着光标一起移动光标可移动区域。基于第二检测对象的运动，光标移动处理部分以小于第一移动单位的第二移动单位而仅在光标可移动区域中移动光标。

Description

操作控制装置和操作控制方法

技术领域

本发明涉及操作控制装置和操作控制方法。

背景技术

在相关技术中，当远程操作设备时，已使用利用红外线或射频(RF)信号的遥控器或者诸如鼠标、操纵杆和轨迹球之类的指示装置。例如，在操作电视时，通常使用遥控器，例如可以操作电视的频道、音量、色调、浓度和对比度。根据许多要控制的对象、将来的广播服务的多样化以及电视到PC的转换，预期对电视的操作将更加复杂。因此，认为对用户的便利性降低，例如遥控器的操作键的数量增加，功能复杂化，并且遥控器的尺寸增加。

为了解决上述问题，近来公开了作为设备的操作装置的输入装置(例如日本专利申请公开5-324181)。用户用其手指远程操作输入装置，以将信息直接输入到输入装置，而不使用诸如遥控器之类的装置。例如，如图10所示，当使用输入装置10时，用户P在电视接收器26的显示屏28前面移动手指F，由此可以将信息输入到输入装置10。输入装置10通过诸如立体摄像机之类的空间位置检测器22检测手指F的位置。然后，控制部分24在与空间位置检测器22检测到的位置相对应的显示屏28的二维坐标上显示光标。此外，控制部分24响应于手指F的移动而移动光标。当用户P移动手指F从而移动光标并由此选择在显示屏28上显示的执行按钮时，控制部分24执行与该执行按钮相关的操作。

发明内容

然而，在相关技术中，由于按原样使用从检测手指位置的空间位置检测器输出的结果作为显示屏上的光标位置，因此光标在显示屏上的运动可能与用户的手指的运动不对应。例如，由于用户不希望的诸如手抖之类的手指的运动、背景的动作和空间位置检测器在空间中以低检测精度进行的错误检测，光标在显示屏上的运动可能与用户的手指的运动不对应。在这种情况下，显示屏上的光标从用户希望的轨迹偏离，因此用户难以精确地指示目标执行按钮。

在姿势识别中，作为识别的基础的光标踪迹由连续坐标数据组构成。因此，这种光标的运动与用户的手指的运动不对应的问题在姿势功能中更为严重。

随着电视的分辨率的精细度越高，该问题越明显。因此，在保持用鼠标操作光标的这种精细度时，需要包括空间姿势的直观性的接口。

鉴于上述内容，希望提供一种新颖的改进的操作控制装置和操作控制方法，其能够实现对操作对象的直观且高度精确的操作。

根据本发明的实施例，提供了一种操作控制装置，包括：运动检测部分，该运动检测部分检测由用户的运动所移动的要检测的对象；运动确定部分，该运动确定部分基于运动检测部分获得的检测结果而确定要检测的对象的运动；可移动区域移动处理部分，该可移动区域移动处理部分移动包括对在显示区域中显示的对象进行操作的光标的光标可移动区域；以及光标移动处理部分，该光标移动处理部分移动光标。操作控制装置基于运动检测部分检测到的第一检测对象的运动，可移动区域移动处理部分以第一移动单位在显示区域中随着光标一起移动光标可移动区域，并且光标移动处理部分基于运动检测部分检测到的第二检测对象的运动而以小于第一移动单位的第二移动单位仅在光标可移动区域中移动光标。

根据本发明，基于第一检测对象的运动而以第一移动单位移动光标可移动区域和光标，并且基于第二检测对象的运动而可以以小于第一移动单位的第二移动单位移动光标。光标的步进移动可以实现光标的直观的粗略移动和光标的精细移动。

这里，当通过将显示区域划分为预定数量的区域而形成的区域是第一单位区域时，光标可移动区域包括一个或两个或更多个第一单位区域，并且可移动区域移动处理部分可以根据第一检测对象的移动量而以第一单位区域为单位随着光标一起移动光标可移动区域。

此外，当通过将光标可移动区域划分为预定数量的区域而形成的区域是第二单位区域时，光标移动处理部分可以根据第二检测对象的移动量而以第二单位区域为单位移动光标。

此外，当在由第二检测对象移动光标时，光标位于光标可移动区域外部时，可移动区域移动处理部分可以随着由第二检测对象移动的光标一起移动光标可移动区域。

此外，仅当第一检测对象处于使得能够移动光标可移动区域的移动模式中时，可移动区域移动处理部分可以移动光标可移动区域，并且仅当第二检测对象处于使得能够移动光标的移动模式中时，光标移动处理部分可以移动光标。

此外，可以改变由该操作控制装置移动的光标可移动区域的尺寸。

根据本发明的另一实施例，提供了一种操作控制方法，包括以下步骤：检测由用户的运动所移动的要检测的对象；基于检测结果而确定更检测的对象的运动；基于第一检测对象的运动而以第一移动单位在整个显示区域中一起移动显示对在显示区域中显示的对象进行操作的光标显示的光标可移动区域以及所述光标；以及基于第二检测对象的运动而以小于第一移动单位的第二移动单位在光标可移动区域中移动光标。

如上所述，本发明能够提供一种操作控制装置和操作控制方法，其能够实现对操作对象的直观且高度精确的操作。

附图说明

图1是示出根据本发明的实施例的由用户的姿势操作的屏幕的构成的示例的说明图；

图2是示出根据实施例的操作控制装置的硬件配置的框图；

图3是示出根据本实施例的操作控制装置的功能配置的功能框图；

图4是示出当使用左手和右手时使用根据实施例的操作控制装置的操作控制方法的流程图；

图5是说明移动光标可移动区域的操作的说明图；

图6是说明移动光标的操作的说明图；

图7是示出当使用不同的关节时使用根据实施例的操作控制装置的操作控制方法的流程图；

图8是示出当使用双手和一只手时使用根据实施例的操作控制装置的操作控制方法的流程图；

图9是示出当使用用户的视线和其一只手时使用根据实施例的操作控制装置的操作控制方法的流程图；以及

图10是示出使用姿势的相关技术的输入装置的说明图。

具体实施方式

下文中参考附图详细描述本发明的优选实施例。应当指出，在本说明书和附图中，用相同的附图标记表示具有基本相同的功能和结构的构成要素，并省略对这些构成要素的重复说明。

另外，将以下面的顺序进行描述。

1.由操作控制装置操作并控制的操作屏幕的示例

2.操作控制装置的构成

3.使用操作控制装置的操作控制方法

1.由操作控制装置操作并控制的操作屏幕的示例

首先，基于图1描述操作屏幕的示例。通过根据本发明的实施例的操作控制装置识别用户的姿势，然后操作并控制屏幕。图1是示出通过用户的姿势操作的屏幕的构成的示例的说明图。

在本实施例中，由在通用个人计算机中和鼠标中使用的自由光标来选择目标，进行确定、取消和菜单的显示。例如，如图1所示，在屏幕的显示区域200中显示个人计算机的设置菜单。在显示区域200的左侧显示示出个人计算机的设置信息的分类的类别视图202。当从类别视图202中选择了一个类别图标时，显示在所选择的类别中包括的设置信息的视图(设置信息视图)204。例如，当从类别视图202中选择了“显示”类别时，显示包括在“显示”类别中包含的标志灯、屏幕、颜色模式和屏幕保存器的设置的设置信息视图204。

从设置信息视图204中选择一个设置信息，然后，当从操作按钮206中选择“确认(OK)”按钮时，将屏幕改变为所选择的设置信息的设置屏幕。替代性地，当从操作按钮206中选择“取消”按钮时，解除对从设置信息视图204中选择的设置信息的选择。

在这种屏幕中，使用光标220选择类别图标、设置信息和操作按钮206。在本实施例中，响应于用户的操作体的姿势而移动光标220。此时，在光标220周围设置示出光标220的可移动区域的光标可移动区域210。例如，如图1所示，本实施例的光标可移动区域210是圆形光标。光标可移动区域210和在光标可移动区域210中显示的光标220响应于用户的操作体的预定姿势而一起在显示区域200中移动。

在根据本实施例的操作控制装置中，光标可移动区域210和光标220二者的移动一起在光标可移动区域210中移动，并且可以独立地进行光标220在光标可移动区域210中的移动。根据这种构成，将光标可移动区域210指向在显示区域200中显示的由光标220指示的指示对象，由此光标220可以容易地在指示的对象附近移动。光标220在光标可移动区域210中细微地移动，因此可以将光标220精确地指向指示的对象。下文中将详细描述能够实现对光标220的直观且高度精确的操作的操作控制装置的构成和使用该操作控制装置的操作控制方法。

2.操作控制装置的构成

硬件配置

首先，基于图2描述根据本实施例的操作控制装置100的硬件配置。图2是示出根据本实施例的操作控制装置100的硬件配置的框图。

如图2所示，根据本实施例的操作控制装置100设置有CPU(中央处理器)101、RAM(随机存取存储器)102和非易失性存储器103。操作控制装置100还设置有立体摄像机104和显示装置105。

CPU 101作为运算处理装置和控制装置工作，并根据各种程序控制操作控制装置100中的整体操作。CPU 101可以是微处理器。RAM 102临时存储在CPU 101的执行中使用的程序和在执行中适当改变的参数。CPU101和RAM 102通过由CPU总线构成的主机总线相互连接。非易失性存储器103存储CPU 101使用的程序和运算参数。例如，非易失性存储器103可以使用ROM(只读存储器)和闪存。

立体摄像机104是可以识别深度方向上的位置的输入装置。在立体摄像机104中，两个摄像机从不同的方向同时对由用户移动的多个输入部分进行成像，由此可以记录所成像的图像在深度方向上的信息。作为对立体摄像机104的替代，例如，可以使用利用视差的测距器。立体摄像机104由成像装置和输入控制电路构成，成像装置对用户作出的姿势进行成像，输入控制电路将成像装置成像的成像图像输出到CPU 101。由立体摄像机104获得用户的姿势，由此可以将各种数据输入到操作控制装置100，或者可以对操作控制装置100指示处理操作。

显示装置105是输出信息的输出装置的示例。例如，可以使用CRT(阴极射线管)显示装置、液晶显示(LCD)装置、OLED(有机发光二极管)装置作为显示装置105。

功能配置

接下来，基于图3描述根据本实施例的操作控制装置100的功能配置。图3是示出根据本实施例的操作控制装置100的功能配置的功能框图。

如图3所示，根据本实施例的操作控制装置100设置有输入信息获取部分110、检测部分120、运动确定部分130、可移动区域移动处理部分140、光标移动处理部分150、显示处理部分160和显示部分170。

输入信息获取部分110是获得要检测的对象的位置信息的操作部分，其对应于图2的立体摄像机104。根据本实施例的输入信息获取部分110对执行操作控制的用户进行成像以获得图像。使用该图像来确定用户移动的操作体并获得操作体的移动信息。输入信息获取部分110将获得的图像输出到检测部分120。

检测部分120根据输入信息获取部分110获得的图像而检测移动光标可移动区域210或光标220的操作体，并获得操作体的操作体信息。检测部分120使用图像的深度信息和任意图像识别方法来识别操作体。预先分别设置用于在移动光标可移动区域210和光标220中使用的操作体。例如，可以将操作光标可移动区域210的第一操作体设置为用户的左手，将操作光标220的第二操作体设置为右手。检测部分120从图像中识别操作体，并检测操作体的位置和形状作为操作体信息，将该操作体信息输出到运动确定部分130。

例如，可以使用能够实现对象的三维位置测量的立体图像处理来获得操作体的深度信息。在操作体的检测中，使用诸如形状检测、肤色检测和纹理匹配方法之类的图像处理方法，因此，可以根据图像估计并检测操作体和操作体的位置和形状。根据本实施例的操作控制装置可以设置有存储在操作控制处理中使用的信息的存储部分(未示出)。存储部分对应于图2的非易失性存储器。存储部分可以存储操作光标可移动区域210的第一操作体的信息、操作光标220的第二操作体的信息以及使得每个操作体能够移动光标的光标移动模式中的形状的信息。

运动确定部分130基于从检测部分120接收的操作体信息而确定检测到的操作体的移动(姿势)。运动确定部分130确定所检测到的操作体是操作光标可移动区域210还是操作光标220。运动确定部分130基于检测到的操作体的位置和形状而确定操作体是否处于操作光标可移动区域210或者光标220的光标移动模式中。

当运动确定部分130确定操作光标可移动区域210的第一操作体处于光标移动模式中时，运动确定部分130使可移动区域移动处理部分140执行用于根据第一操作体的移动量而移动光标可移动区域210的处理。此时，由于根据光标可移动区域210的移动来移动光标220，因此运动确定部分130使光标移动处理部分150根据第一操作体的移动量来移动光标220。

当运动确定部分130确定操作光标220的第二操作体处于光标移动模式中时，运动确定部分130使光标移动处理部分150执行用于根据第二操作体的移动量移动光标220的处理。当运动确定部分130确定操作体的状况与上述两种状况不对应时，运动确定部分130不向可移动区域移动处理部分140和光标移动处理部分150执行任何输出。

可移动区域移动处理部分140响应于操作体的移动而执行用于移动在显示区域200中显示的光标可移动区域210的处理。基于操作光标可移动区域210的第一操作体的当前位置信息，可移动区域移动处理部分140根据先前时间时的第一操作体的位置而计算第一操作体的移动的方向和量。然后，可移动区域移动处理部分140根据第一操作体的移动的方向和量而计算光标可移动区域210在显示区域200中移动的方向和量。可移动区域移动处理部分140将所计算的光标可移动区域210的移动的方向和量输出到显示处理部分160。当光标220由于光标220的移动而位于光标可移动区域210外部时，可移动区域移动处理部分140接收来自光标移动处理部分150的指令，以执行用于根据光标220的移动来移动光标可移动区域210的处理。

光标移动处理部分150响应于操作体的移动而执行用于移动在显示区域200中显示的光标220的处理。基于当前位置信息，光标移动处理部分150根据先前时间时第一操作体或第二操作体的位置而计算操作光标可移动区域210的第一操作体或操作光标220的第二操作体的移动的方向和量。然后，光标移动处理部分150根据操作体的移动的方向和量而计算光标220的移动的方向和量。光标移动处理部分150将所计算的光标220的移动的方向和量输出到显示处理部分160。

光标移动处理部分150确定光标220是否由于第二操作体进行的光标220的移动而位于光标可移动区域210外部。当光标移动处理部分150确定光标220位于光标可移动区域210外部时，光标移动处理部分150向可移动区域移动处理部分140输出指令，以引导可移动区域移动处理部分140移动光标可移动区域210。

显示处理部分160基于从可移动区域移动处理部分140或光标移动处理部分150接收的信息而执行用于移动和显示光标可移动区域210和/或光标220的显示处理。显示处理部分160将显示处理之后的显示信息输出到显示部分170，以使显示部分170对显示信息进行显示。显示部分170对应于图2的显示装置105。例如，可以使用CRT显示装置、液晶显示装置和OLED装置作为显示部分170。虽然本实施例的操作控制装置100设置有显示部分170，但是可以使用操作控制装置100以使操作控制装置100连接到外部显示装置(未示出)，而不提供显示部分170。

已经描述了根据本实施例的操作控制装置100的功能配置。通过利用操作控制装置100，可以独立地操作光标可移动区域210和光标220，因此可以以步进的方式操作光标220。根据这种构成，用户可以直观且高度精确地操作光标220。下文中，基于图4至图9而描述使用操作控制装置100的操作控制方法。在图7至图9中，对与使用图4描述的操作控制方法中的处理相同的处理分配相同的附图标记。

3.使用操作控制装置的操作控制方法

为了以步进的方式操作光标220，在本实施例中设置操作光标可移动区域210的第一操作体和操作光标220的第二操作体。可以使用易于被用户操作且适用于作出易于与移动光标220的操作相关联的姿势的操作体作为这些操作体。例如，可以使用诸如右手和左手、不同的部分、双手和一只手、以及用户的视线及其手之类的被用户移动的对象或人体的部分作为第一操作体和第二操作体。下文中描述当使用各种操作体时使用操作控制装置100的针对光标220的操作控制方法。

(1)使用左手和右手的操作控制

首先，将操作光标可移动区域210的第一操作体和操作光标220的第二操作体分别设置为左手和右手，基于图4至图6来描述使用操作控制装置100的针对光标220的操作控制方法。图4是示出当使用左手和右手时使用根据本实施例的操作控制装置的操作控制方法的流程图。图5是说明移动光标可移动区域210的操作的说明图。图6是说明在光标可移动区域210中移动光标220的操作的说明图。

首先，根据本实施例的操作控制装置100通过输入信息获取部分110对用户进行成像，并通过检测部分120检测操作光标可移动区域210的左手和操作光标220的右手的相应的位置(步骤S110)。本实施例的输入信息获取部分110例如是立体摄像机104，其可以根据通过对用户进行成像而获得的成像图像获得用户的位置和深度信息。检测部分120根据从输入信息获取部分110接收的成像图像而检测作为操作体的左手和右手的深度信息和位置。检测部分120可以使用诸如通过对事先存储在存储部分(未示出)中的人体的区域和关节的位置进行建模而获得的人体解剖模型之类的设置信息并通过使用诸如形状检测、肤色检测和纹理匹配方法之类的图像处理方法来识别左手和右手。

随后，运动确定部分130确定左手是否处于光标移动模式中(步骤S120)。如在本实施例中，当通过用户的姿势来对操作对象进行操作时，一般进行设置以使得对于一个操作体而言操作体的运动和操作处理彼此相关。当左手是操作体时，可以使光标的移动处理和音量控制处理与沿着左方向和右方向移动左手的姿势相关。此时，为了指定将进行的处理，可以通过用户当前作出的姿势来设置作为示出要执行的处理的信息的模式。例如，可以设置模式以使得用户紧握左手的状态表示执行光标的移动处理的光标移动模式，而用户张开左手的状态表示执行音量控制处理的音量控制模式。通过提供光标移动模式，用户将操作体设置为光标移动模式或者解除操作体的光标移动模式，由此用户可以有意移动光标220。

在步骤S120中，确定操作光标可移动区域210的左手是否处于光标移动模式中。也就是说，仅当左手的状态对应于移动并操作光标可移动区域210的光标移动模式时，通过左手的运动来移动光标可移动区域210和光标220。可以对光标移动模式分配诸如紧握手之类的任意姿势。在这种情况下，当用户在空间内沿着上、下、左、右方向移动其紧握的左手时，检测部分120确定左手被紧握，以由此确定左手是否处于光标移动模式中。

当在步骤S120中确定左手没有处于光标移动模式中时，运动确定部分130执行步骤S140的处理。同时，当在步骤S120中确定左手处于光标移动模式中时，可移动区域移动处理部分140和光标移动处理部分150根据左手的移动量而随着光标220移动光标可移动区域210(步骤S130)。

可移动区域移动处理部分140执行用于粗略地移动光标220的处理。更具体地，首先，如图5所示，设置通过将显示区域200划分为预定数量的区域而获得的单位区域230。在图5中，将通过将显示区域200划分为m1×n1而获得的一个区域设置为单位区域230。可移动区域移动处理部分140根据左手LH的移动量而以单位区域230为单位沿着上、下、左、右方向移动光标可移动区域210和光标220。因此，随着显示区域200的划分数量变得越大而越精细地移动光标可移动区域210和光标220。同时，随着显示区域200的划分数量变得越小而越粗略地移动光标可移动区域210和光标220。

例如，将显示区域200划分为32×32个，并且当左手LH移动1cm时，光标可移动区域210和光标220沿着左手LH的移动方向而移动一个单位区域。根据这种构成，在左手LH每次移动1cm时，可移动区域移动处理部分140使光标可移动区域210和光标220移动与显示区域200的1/32相对应的移动量，由此在显示区域200中粗略地移动光标220。光标的粗略移动的实现具有免受手的移动的噪声影响和避免对左手LH的轻微移动的错误响应的优点。另外，可以在操作对象附近快速地移动光标220。

运动确定部分130确定是否移动了光标可移动区域210，然后确定操作光标220的右手是否处于光标移动模式中(步骤S140)。如同步骤S120中那样，仅当右手处于移动并操作光标220的光标移动模式时，通过右手的运动来移动光标220。如同上述情况中那样，可以对移动光标220的操作体的光标移动模式分配诸如紧握手之类的任意姿势。当在步骤S140中确定右手没有处于光标移动模式中时，操作控制装置100不移动光标220，并终止该处理。同时，当在步骤S140中确定右手处于光标移动模式中时，光标移动处理部分150根据右手的移动量而在光标可移动区域210内移动光标220(步骤S150)。

光标移动处理部分150进行高度精确地移动光标220的处理。更具体地，首先，如图6所示，设置通过将包括光标可移动区域210的预定区域240划分为预定数量的区域而获得的单位区域245。在本实施例中，虽然内接圆形光标可移动区域210的四边形是区域240，但是本发明不限于该示例，区域240和光标可移动区域210可以是同一区域。在图6中，将通过将区域240划分为m2×n2个而获得的一个区域设置为单位区域245。光标移动处理部分150根据右手RH的移动量而以单位区域245为单位沿着上、下、左、右方向移动光标220。

例如，将区域240划分为32×32个，当右手RH移动1cm时，光标220仅沿着右手RH的移动方向移动一个单位区域。根据这种构成，在右手RH每次移动1cm时，光标移动处理部分150可以使光标220移动与区域240的1/32相对应的移动量。也就是说，与由左手LH移动光标可移动区域210和光标220的情况相比，当手被移动相同的距离时，光标220的移动量小，并且可以在显示区域200中精细地移动光标220。随着单位区域245的尺寸减小(例如，单位区域245由一个像素构成)，右手RH可以更精细地移动光标220。

当响应于右手RH的移动而移动光标220时，光标移动处理部分150确定光标220是否位于光标可移动区域210外部(步骤S160)。光标移动处理部分150根据右手RH的移动的方向和量而计算光标220的移动的方向和量，以掌握显示区域200中的移动的光标220和光标可移动区域210之间的位置关系。例如，可以根据移动的光标220在显示区域220中的坐标和表示光标可移动区域210的函数来计算该位置关系。

当在步骤S160中确定移动的光标220位于光标可移动区域210中时，响应于右手RH的移动而仅移动光标220，然后操作控制装置100终止该处理。同时，当在步骤S160中确定移动的光标220位于光标可移动区域210外部时，光标移动处理部分150指示可移动区域移动处理部分140以响应于右手RH的移动来移动光标可移动区域210。根据这种构成，随着光标220一起移动光标可移动区域210(步骤S170)。该处理可以防止光标220位于光标可移动区域210外部。

已经描述了当使用左手和右手时使用根据本实施例的操作控制装置100的操作控制方法。在该操作控制方法中，由左手粗略地移动光标可移动区域210和光标220，并且由右手精细地移动光标220。由于可以以步进的方式移动光标220，因此可以直观且高度精确地操作光标220。

(1)使用不同部分的操作控制

接下来基于图7描述通过不同的关节而以步进的方式移动光标220的示例。图7是示出当使用不同的部分时使用根据本实施例的操作控制装置100的操作控制方法的流程图。在该示例中，从肘关节到腕部的部分是操作光标可移动区域210的第一操作体，从腕关节到手指末端的部分是操作光标220的第二操作体。也就是说，例如，当以肘关节作为支点移动腕部时，响应于腕部的移动来移动光标可移动区域210和光标220。当以腕关节为支点移动手掌或诸如手指等的下部时，响应于手掌或手指的移动而仅移动光标220。

在上述操作控制方法中，首先，根据输入信息获取部分110获得的图像而估计用户身体的关节的位置，并由检测部分120检测肘关节和腕关节的位置(步骤S110)。在检测每个关节时，例如，如上所述，使用存储在存储部分(未示出)中的人体解剖模型而根据身体的相应部分之间的位置关系来估计关节位置，由此可以检测关节位置。

随后，确定移动并操作光标可移动区域210和光标220的手是否处于光标移动模式中(步骤S120a)。例如，当右手操作光标可移动区域210和光标220时，仅当右手处于光标移动模式中时，移动光标可移动区域210和光标220。例如，手被抬起高于预定高度(例如，腰部的高度)的状态可以被设置为光标移动模式。根据这种构成，当用户举起不是操作光标可移动区域210和光标220的操作体的另一只手时，可以防止错误地移动光标可移动区域210和光标220。

当在步骤S120a中确定没有抬高右手时，执行步骤S150a的处理。同时，当在步骤S120a中确定右手被抬高时，可移动区域移动处理部分140和光标移动处理部分150根据位于比肘关节更低的部分的移动量而移动光标可移动区域210和光标220(步骤S130a)。位于比肘关节更低的部分包括腕部侧的部分。例如，臂部包括肩膀、肘部、腕部、手指的底部以及手指的关节和部分。对于这些部分中的任意部分而言，位于肩膀侧的部分是上部，位于手指侧的部分是下部。

在步骤S130a中，可移动区域移动处理部分140使光标可移动区域210和光标220一起沿着位于比肘关节更低的下部的移动方向而移动该下部的移动量。可以以与图4的步骤S130相类似的方式确定步骤S130a中光标可移动区域210和光标220的移动的方向和量。也就是说，在显示区域200中粗略地移动光标可移动区域210和光标220。

随后，光标移动处理部分150根据位于比腕部更低的部分的移动量而仅移动光标220(步骤S150a)。基于检测部分120获得的检测结果，光标移动处理部分150使光标220沿着诸如手指之类的位于比腕部更低的下部的移动方向而移动该下部的移动量。可以以与图4的步骤S150相类似的方式来确定步骤S150a中光标220的移动的方向和量。也就是说，可以在光标可移动区域210中精细地移动光标220。

当响应于位于比腕部更低的下部的移动而移动光标220时，光标移动处理部分150确定光标220是否位于光标可移动区域210外部(步骤S160)。当在步骤S160中确定光标220位于光标可移动区域210外部时，可移动区域移动处理部分140响应于该下部的移动而随着光标220一起移动光标可移动区域210(步骤S170)。同时，当在步骤S160中确定光标220没有位于光标可移动区域210外部时，响应于位于比腕部更低的下部的移动而仅移动光标220，然后，操作控制装置100终止该处理。

描述了当使用不同的部分时使用根据本实施例的操作控制装置100的操作控制方法。根据该操作控制方法，可以通过移动不同的部分，以步进的方式移动光标220。此外，该示例的操作控制方法具有可以用同一只手粗略地或精细地移动光标220的优点。

(3)使用双手和一只手的操作控制

接下来基于图8描述通过双手和一只手而以步进的方式移动光标220的示例。图8是示出当使用双手和一只手时使用根据本实施例的操作控制装置100的操作控制方法的流程图。在该示例中，使用双手作为操作光标可移动区域210的第一操作体，使用左手或者右手作为操作光标220的第二操作体。也就是说，当在光标移动模式中移动双手时，可以移动光标可移动区域210和光标220。当仅移动被设置为第二操作体的一只手时，仅可以移动光标220。下文中，作为第二操作体的手是主手。

在该操作控制方法中，首先，检测部分120根据输入信息获取部分110获得的图像而估计用户身体的部分的位置，并检测双手的位置(步骤S110)。随后，确定在步骤S110中检测到的双手是否处于光标移动模式中(步骤S120b)。例如，可以设置右手紧握和左手张开的状态作为光标移动模式。可以使用预先存储在存储部分(未示出)中的诸如人体解剖模型之类的设置信息并通过使用诸如形状检测之类的图像处理方法来识别手的状态。

运动确定部分130根据检测到的手的状态而确定双手是否处于光标移动模式中。当至少一只手没有处于光标移动模式中时，执行步骤S140b的处理。同时，当在步骤S120b中确定双手处于光标移动模式中时，可移动区域移动处理部分140和光标移动处理部分150使光标可移动区域210和光标220沿着双手的移动方向而移动双手的移动量(步骤S130b)。双手的移动的方向和量可以是各个手的移动的方向和量的平均值，或者可以是任意一只手的移动的方向和量。可以以与图4的步骤S130相类似的方式确定步骤S130b中光标可移动区域210和光标220的移动的方向和量。也就是说，在显示区域200中粗略地移动光标可移动区域210和光标220。

随后，光标移动处理部分150确定主手是否处于光标移动模式中(步骤S140b)。此时，以与步骤S120b相同的方式，例如，作为主手的右手的光标移动模式可以是手被紧握的状态。在该示例中，在由双手移动光标可移动区域210和光标220的情况下以及由主手仅移动光标220的情况下，优选地设置光标移动模式，使得可以明显地区分这两种情况。在该示例中，作为主手的右手的光标移动模式是相同的，根据不是主手的左手的状态来区分移动光标可移动区域210和光标220的情况以及仅移动光标220的情况。

当在步骤S140b中确定主手没有处于光标移动模式中时，可移动区域移动处理部分140终止该处理。同时，当步骤S140b中确定主手处于光标移动模式中时，根据主手的移动量而仅移动光标220(步骤S150)。基于检测部分120获得的检测结果，光标移动处理部分150使光标220沿着右手的移动方向而移动右手的移动量。可以以与图4的步骤S150相类似的方式确定步骤S150中的光标220的移动的方向和量。也就是说，可以在光标可移动区域210中精细地移动光标220。

当响应于作为主手的右手的移动而移动光标220时，光标移动处理部分150确定光标220是否位于光标可移动区域210外部(步骤S160)。当在步骤S160中确定光标220位于光标可移动区域210外部时，可移动区域移动处理部分140响应于右手的移动而随着光标220一起移动光标可移动区域210(步骤S170)。同时，当在步骤S160中确定光标220没有位于光标可移动区域210外部时，响应于右手的移动而仅移动光标220，并且随后操作控制装置100终止该处理。

描述了当使用双手和一只手时使用根据本实施例的操作控制装置100的操作控制方法。根据该操作控制方法，可以通过移动双手或仅移动一只手而以步进的方式移动光标220。

(4)使用用户的视线及其手的操作控制

接下来基于图9描述通过用户的视线及其手而以步进的方式移动光标220的示例。图9是示出当使用用户的视线及其手时使用根据本实施例的操作控制装置100的操作控制方法的流程图。在该示例中，由作为第一操作体的用户的视线操作光标可移动区域210，由作为第二操作体的用户的手操作光标220。根据该示例中的操作控制方法，视线指向用户希望移动光标220的近似方向，由此可以快速地移动光标可移动区域210和光标220，并且可以以高精度手动地操作在操作对象附近移动的光标220。

在上述操作控制方法中，首先，检测部分120根据输入信息获取部分110获得的图像而估计用户身体的关节的位置，并检测用户的视线和操作光标220的手的位置(步骤S110)。如上所述，可以使用预先存储在存储部分(未示出)中的诸如人体解剖模型之类的设置信息并通过使用诸如形状检测之类的图像处理方法来检测手的位置。例如，可以使用在日本专利申请未审公开8-308801中描述的方法来检测用户的视线的方向。也就是说，将两个光通量以不同的入射角投射到用户的眼球上，并接收从眼球反射的投射的光通量的反射光。生成两个对应于反射光的图像信号，并基于图像信号的差分信息而计算与眼球的瞳孔的位置相对应的值。可以基于瞳孔的位置和根据来自眼球的反射光检测到的眼球的浦肯野(Purkinje)图像的位置来检测用户的视线的方向。

随后，确定在步骤S110中检测到的作为操作体的手是否处于光标移动模式中(步骤S120c)。在步骤S120c中，当确定是否沿着用户的视线的方向而移动光标可移动区域210和光标220时，使用操作光标220的操作体的光标移动模式。当操作光标220的操作体是右手时，可以将仅右手被抬高到不低于预定高度(例如腕部的高度)的状态设置为光标移动模式。在步骤S120c中，移动光标220的手局限于一只手(该示例中为右手)，由此可以防止当抬高双手时发生错误检测。

当在步骤S120c中确定作为操作体的手没有处于光标移动模式中时，处理返回到步骤S110，并重复从步骤S110开始的处理。同时，当在步骤S120c中确定作为操作体的手处于光标移动模式中时，可移动区域移动处理部分140和光标移动处理部分150计算用户的视线的方向，以移动光标可移动区域210和光标220(步骤S130c)。

此时，例如，可以移动光标可移动区域210，使得光标可移动区域210的中心位于包括用户的视线的方向和显示区域200之间的交点的显示区域200的单位区域230中。光标移动处理部分150可以与光标可移动区域210的移动相同步地移动光标220。以这种方式移动光标可移动区域210和光标220，由此可以在显示区域200中粗略地移动光标可移动区域210和光标220。

随后，当在光标移动模式中移动作为操作体的手时，光标移动处理部分150沿着手的移动方向而仅使光标220移动手的移动量(步骤S150c)。可以以与图4的步骤S150相类似的方式来确定步骤S150c中的光标220的移动的方向和量。根据这种构成，可以在光标可移动区域210中精细地移动光标220。

当响应于作为操作体的手(右手)的移动而移动光标220时，光标移动处理部分150确定光标220是否位于光标可移动区域210外部(步骤S160)。当在步骤S160中确定光标220位于光标可移动区域210外部时，可移动区域移动处理部分140响应于右手的移动而随着光标220一起移动光标可移动区域210(步骤S170)。同时，当在步骤S160中确定光标220没有位于光标可移动区域210外部时，响应于右手的移动而仅移动光标220，并且随后操作控制装置100终止该处理。

描述了使用用户的视线及其手的操作控制方法。根据该操作控制方法，可以通过移动用户的视线及其手而以步进的方式移动光标220。

描述了根据本实施例的操作控制装置100和使用操作控制装置100的操作控制方法。根据本实施例，可以随着光标可移动区域210一起粗略地移动光标220，另外可以仅精细地移动光标220。可以通过姿势以步进的方式操作光标220，并且可以直观且高度精确地操作光标220。

本领域的技术人员应当理解，可以根据设计需要和其它因素进行各种变型、组合、子组合和改变，只要所述变型、组合、子组合和改变在所附权利要求或其等同内容的范围之内即可。

例如，在本实施例中，虽然光标可移动区域210是圆形光标，但是本发明不限于该示例。例如，光标可移动区域210可以是具有诸如四边形等的多边形形状的光标。

在本实施例中，虽然光标可移动区域210的尺寸是固定的，但是本发明不限于该示例。例如，可以改变光标可移动区域210的尺寸，由此用户可以设置具有与在移动光标220的显示区域200中显示的屏幕的布局相对应的适当尺寸的光标可移动区域210。

例如，当光标220指示的对象的尺寸稍微大于光标可移动区域210时，可以在该对象附近容易地移动光标220。随后，用户移动第二操作体，以在光标可移动区域210中对光标220的位置进行精细调整，由此移动光标220，从而可以精确地选择对象。

可以通过用户的姿势来改变光标可移动区域210的尺寸。例如，当用户将其手掌相对以将双手分离时，可以增大光标可移动区域210的尺寸，并且当用户将其手掌相对以使双手向一起靠近时，可以减小光标可移动区域210的尺寸。此时，设置使得能够改变光标可移动区域210的尺寸的尺寸改变模式，并且可以仅在用户想要改变尺寸时改变光标可移动区域210的尺寸。

本申请包含与2009年7月22日在日本专利局提交的日本优先权专利申请JP 2009-171053中公开的主题相关的主题，其全部内容通过引用包含于此。

Claims (7)

1.一种操作控制装置，包括：

运动检测部分，所述运动检测部分检测由用户的运动所移动的要检测的对象；

运动确定部分，所述运动确定部分基于所述运动检测部分获得的检测结果而确定所述要检测的对象的运动；

可移动区域移动处理部分，所述可移动区域移动处理部分移动包括对在显示区域中显示的对象进行操作的光标的光标可移动区域；以及

光标移动处理部分，所述光标移动处理部分移动所述光标，

其中，基于所述运动检测部分检测到的第一检测对象的运动，所述可移动区域移动处理部分以第一移动单位而在所述显示区域中随着所述光标一起移动所述光标可移动区域，以及

基于所述运动检测部分检测到的第二检测对象的运动，所述光标移动处理部分以小于所述第一移动单位的第二移动单位而在所述光标可移动区域中仅移动所述光标。

2.根据权利要求1所述的操作控制装置，其中，当通过将所述显示区域划分为预定数量的区域而形成的区域是第一单位区域时，所述光标可移动区域包括一个或两个或更多个所述第一单位区域，以及

所述可移动区域移动处理部分根据所述第一检测对象的移动量而以所述第一单位区域为单位随着所述光标一起移动所述光标可移动区域。

3.根据权利要求1所述的操作控制装置，其中，当通过将所述光标可移动区域划分为预定数量的区域而形成的区域是第二单位区域时，

所述光标移动处理部分根据所述第二检测对象的移动量而以所述第二单位区域为单位移动所述光标。

4.根据权利要求3所述的操作控制装置，其中，当在由所述第二检测对象移动所述光标时所述光标位于所述光标可移动区域外部时，所述可移动区域移动处理部分随着由所述第二检测对象移动的所述光标一起移动所述光标可移动区域。

5.根据权利要求1所述的操作控制装置，其中，仅当所述第一检测对象处于使得能够移动所述光标可移动区域的移动模式中时，所述可移动区域移动处理部分移动所述光标可移动区域，以及

仅当所述第二检测对象处于使得能够移动所述光标的移动模式中时，所述光标移动处理部分移动所述光标。

6.根据权利要求1所述的操作控制装置，其中，所述光标可移动区域的尺寸是变化的。

7.一种操作控制方法，包括以下步骤：

检测由用户的运动所移动的要检测的对象；

基于检测结果而确定所述要检测的对象的运动；

基于第一检测对象的运动而以第一移动单位在整个显示区域中一起移动在其中显示对在显示区域中显示的对象进行操作的光标的光标可移动区域以及所述光标；以及

基于第二检测对象的运动而以小于所述第一移动单位的第二移动单位在所述光标可移动区域中移动所述光标。

Images