CN103309439A - 姿势识别装置、电子器件、及姿势识别方法 - Google Patents

Abstract

通过使姿势识别装置识别重复操作而改善用户操作性。本发明的至少一个实施例的一种姿势识别装置，包括：姿势识别单元，用于基于指示体的移动轨迹来识别姿势，并辨别与其对应的处理；以及执行量确定单元，用于确定待由处理执行实体执行的处理的处理执行量，其中该执行量确定单元基于指示体的形态的改变来确定处理执行量。

Description

姿势识别装置、电子器件、及姿势识别方法

技术领域

本发明涉及一种用于识别姿势(gesture)的姿势识别装置、电子器件、及姿势识别方法。

背景技术

近年来，在诸如智能机器人、游戏、仿真、和生产领域等不同领域中，作为个人与计算机之间的通信手段，姿势识别技术得以应用和发展。更具体而言，姿势识别装置对通过用摄像机(图像拍摄单元)拍摄对象(该对象给装置发出指示)的移动而获得的动图(motion picture)来进行图像处理，并识别对象的一系列特定移动(此后称为姿势)。给装置发出指示的对象将在后文中称为指示体。该指示体例如是手、手指、手臂、动物(特别是人)的整个身体、或物体。

计算机能够根据由姿势识别装置识别的指示体的姿势类型进行各种处理。

更具体而言，姿势识别装置将动图中的某一帧与其他帧进行比较，并确定指示体已经从哪里移动到哪里，即，获得在多帧之间的变化量，因此而识别指示体的移动(例如移动方向)，从而能够识别姿势。

例如，日本未审专利公开号2005-352531(公开于2005年12月22日)公开了一种姿势检测方法和装置用于检测对象的特定部件的往复运动。

日本未审专利公开(PCT申请的日译文)号2011-517357(公开于2011年6月2日)公开了一种用于从指示体(对象)的2幅图像识别姿势的装置，以及一种用于根据输入的姿势利用用户界面操作所显示的图像对象的方法。日本未审专利公开(PCT申请的日译文)号2011-517357(公开于2011年6月2日)指出，使用能够测量到指示体的距离的摄像头，并且基于针对指示体的深度的移动而识别姿势。

然而，上述现有的配置包含以下问题。更具体而言，其问题是现有的姿势识别装置不适用于用于输入指示以从显示为选项的很多对象(在PCT申请号2011-517357(公开于2011年6月2日)的日译文的示例中的图像对象)中选择目标对象的输入器件。

利用常规可用的键盘(例如，箭头键)等，用户重复进行用于移动光标的操作(例如压下箭头键)，直到用户达到目标对象为止。同样地，利用姿势识别装置，用户不得不重复进行用于移动光标的姿势直到光标达到目标对象为止。

过去，有很多方式使用选择对象的列表显示布局来减少选择操作的数目以达到目标对象。然而，不可能完全避免重复操作，并且对用户而言，进行重复输入姿势(移动指示体)的动作也很麻烦。

已经构思本发明来解决上述问题，并且其目的在于实现一种用于通过基于简单姿势输入识别重复操作而改善用户操作性的姿势识别装置、电子器件、姿势识别方法和记录介质。

发明内容

根据本发明的至少一个实施例的一个方面，为了解决所述问题，本发明的至少一个实施例的姿势识别装置包括：姿势识别部，基于对其拍摄图像的指示体的移动轨迹而识别姿势，并辨别与所识别的姿势对应的处理作为待由处理执行实体执行的处理；以及处理执行量确定部，确定由该姿势识别部辨别的待由该处理执行实体执行的处理的处理执行量，其中该处理执行量确定部基于其图像已被拍摄的该指示体的形态的改变来确定该处理执行量。

根据该配置，首先，该姿势识别部基于对其拍摄图像的指示体的移动轨迹来识别姿势，并辨别对应于所识别的姿势的处理。该对应于该姿势的处理是指待由处理执行实体执行的处理。该处理执行实体是指执行对应于用户指示的姿势的处理的实体。

然后，基于其图像已被拍摄的指示体的形态的改变，处理执行量确定部确定由姿势识别部辨别的处理的处理执行量。该处理执行量是表示待由处理执行实体执行的处理量的信息。

更具体而言，姿势识别装置处理通过拍摄指示体的图像而获得的动图，从而，该姿势识别装置不仅能够辨别由处理执行实体执行的处理内容，而且还能确定待执行的处理量。

因此，通过仅仅利用移动指示体来输入姿势以及简单地移动指示体的形态，用户就能够很容易地将由姿势指示的处理要执行多少通知给该姿势识别装置。更具体而言，用户能够通过输入改变指示体的形态的简单操作来指示该姿势识别装置(处理执行实体)重复进行同一处理，而不用重复输入该姿势很多次。

例如，过去，当用户想要处理执行实体向左移动光标10次时，用户不得不做10次与该处理对应的姿势(例如，用于向左移动指示体的操作)。作为对比，根据本发明的至少一个实施例的姿势识别装置，用户可仅进行一次“向左”“移动”指示体的操作，并且仅实施一次指示体的形态的改变(在此情况下，例如，实施的是与处理执行量“10次”对应的改变)。

作为结果，其优点是用户操作性能够得以改善。

进而，该姿势识别装置优选包括形态监测部，其从通过拍摄该指示体的图像而获得的每帧动图识别该指示体的形态的改变量，其中该处理执行量确定部与由该形态监测部辨别的改变量成比例地来确定该处理执行量。

根据该配置，形态监测部监测形态改变的指示体，并辨别改变量。处理执行量确定部可进行这样的确定，使得改变量越大，处理执行量就变得越高。

因而，用户调节指示体的形态的改变量，因此而简单地给处理执行实体指定其重复次数(处理执行量)。例如，当指示体的改变量被增加到初始的10倍的量时，借助于姿势识别装置，能够指示处理执行实体重复进行一个处理10次。

作为结果，其优点是用户操作性能够得以改善。

更具体而言，通过将预先确定的指示体的基准形态(例如，图9和图13中的基准线49)与对其拍摄图像的指示体的最新(1atest)形态进行比较，形态监测部可辨别该改变量。

根据该配置，通过与预先确定的指示体的绝对基准形态进行比较，形态监测部能够获得表示所拍摄的最新指示体的形态如何改变的该改变量。因此，能够简化用于辨别改变量的处理。

可选地，通过将该指示体在该姿势识别部识别出姿势的时间点的形态(例如，在图14和图15中的开始形态s)与对其拍摄图像的该指示体的最新形态进行比较，该形态监测部识别该改变量。

根据该配置，在用户结束用于移动指示体(其用于姿势输入)的移动之后，形态监测部监测由用户持续执行的改变指示体形态的操作来指定处理执行量。形态监测部认为当指示体的移动已经结束时指示体的形态是第一形态(开始形态)，并识别这之后指示体是如何改变的，以作为改变量。

更具体而言，在用户结束用于移动指示体的操作之后，用以指定处理执行量的量(该量为用户已经移动指示体的量)被形态监测部直接辨别为改变量，并由处理执行量确定部直接转换成处理执行量。

因而，用户会感觉用于指定处理执行量的操作更精确地匹配于作为结果的由处理执行实体进行的处理的重复量，并且这就实现了更直观的面向用户的用户界面。

进而，基于在由该形态监测部辨别的该最新形态中的改变量(例如，图13和图15中的θt)与在预先确定的最后(final)基准形态(例如，图13和图15中的最终(ultimate)形态e)中的最大改变量(例如，图13和图15中的θall)的比率，该处理执行量确定部确定该处理执行量，其中该最大改变量与该处理执行实体的处理执行量的最大值对应。

根据该配置，处理执行实体的处理执行量的最大值被预先确定，并且用户能够明白用户需要在多大程度上改变指示体的形态以使处理执行实体执行最大的量的处理。更具体而言，得以明白该基准最终形态。

根据由用户改变的指示体的形态改变量相对于基准最终形态的最大改变量达到百分之多少，处理执行量确定部确定由处理执行实体实际执行的处理执行量。

如上所述，在其中相对于处理执行量的最大值的最大改变量是预先确定的配置中，用户能够通过指示体的形态改变了多少而预料执行的处理量是多少。

须注意，形态监测部可辨别指示体的倾斜改变的角度，以作为该改变量。须注意，形态监测部可辨别作为指示体的手指的倾斜的改变量。

根据该配置，用户能够通过执行改变手指倾斜度的简单操作而给姿势识别装置(处理执行实体)指定处理执行量。

进而，当由形态监测部辨别的指示体的最新形态的改变量小于指示体的前一(immediately-before)形态的改变量时，处理执行量确定部可确定停止该处理执行实体对处理的执行。

当指示体的最新形态的改变量小于指示体的前一形态的改变量时，这是指用户对该指示体目前为止已经进行的形态改变进行返回，并使其更靠近指示体的初始形态(基准形态或开始形态)。

用户可能会认为用于将目前为止执行的操作返回到初始操作的操作与停止目前为止已经执行的处理的结果相关联。

如上所述，用于指示停止执行处理的用户界面能够被制成面向用户的直观界面。

可选地，该形态监测部用负数来辨别该指示体沿与该指示体的移动方向相反的进行方向改变的该形态改变量，并且当由该形态监测部辨别的该指示体的最新形态的改变量是负数时，该处理执行量确定部确定沿与由该姿势识别部辨别的处理的初始进行方向相反的该进行方向的处理执行量。

当指示体的最新形态的改变量是负数时，这是指用户沿与用户移动指示体(用于姿势输入)的方向相反的方向改变指示体的形态。

用户可能会认为用于沿与目前为止移动该指示体的方向相反的方向移动指示体的操作与沿与目前为止处理的进行方向相反的方向继续处理的结果相关联。

如上所述，用于指示将处理的进行方向切换到相反侧的用户界面能够被制成面向用户的直观界面。

进而，该处理执行量确定部可确定该处理执行实体执行由该姿势识别部辨别的处理的次数，以作为该处理执行量。

可选地，当由该姿势识别部辨别的处理是用于将焦点从依序排列的多个选项中的任意一个改变到另一选项的处理时，该处理执行量确定部确定示出该焦点移动了多少相隔的选项的选项数目，以作为该处理执行量。

如上所述，在本发明的至少一个实施例的姿势识别装置中，该处理执行量确定部可与作为该指示体(其图像被拍摄)的且由该形态监测部进行辨别的手指的倾斜角度的改变量成比例地来确定该处理执行量，并且当由该姿势识别部辨别的处理是用于将焦点从依序排列的多个选项中的任意一个改变到另一选项的处理时，该处理执行量是示出该焦点移动了多少相隔的选项的选项数目。

须注意，该处理执行量确定部可基于已经开始该移动的该指示体的形态的改变而确定该处理执行量。

因此，针对用于指定处理执行量的操作，用户能够持续使用指示体(其被用于姿势输入的移动)。

可选地，该处理执行量确定部可基于不同于已经开始该移动的该指示体并且图像被拍摄的第二指示体的形态的改变而确定该处理执行量。

当使用多个指示体时，对用于指定处理执行量的操作的表现力得以增加，并且其允许利用更多数目的步骤来更精确地指定处理执行量。

根据本发明的至少一个实施例的另一方面，本发明的应用的至少一个实施例还包括一种电子器件，该电子器件包括：上述姿势识别装置；图像拍摄单元，用于将通过拍摄该指示体的图像获得的拍摄图像提供至该姿势识别装置；以及处理执行实体，用于根据由该姿势识别装置确定的该处理执行量而执行由该姿势识别装置辨别的该处理。

在该电子器件中，当由该姿势识别部辨别的处理可以是用于将焦点从依序排列的多个选项中的任意一个改变到另一选项的处理时，由该姿势识别装置确定的该处理执行量可以是示出该焦点移动了多少相隔的选项的选项数目，并且该处理执行实体可按照由该姿势识别装置确定的数目的相隔的选项来移动该焦点。

根据本发明的至少一个实施例的又一个方面，为了解决所述问题，本发明的至少一个实施例的姿势识别方法包括：姿势识别步骤，基于对其拍摄图像的指示体的移动轨迹来识别姿势，并辨别与所识别的姿势对应的处理作为待由处理执行实体执行的处理；以及处理执行量确定步骤，确定由该姿势识别步骤辨别且待由该处理执行实体执行的处理的处理执行量，其中在该处理执行量确定步骤中，基于其图像已被拍摄的该指示体的形态的改变来确定该处理执行量。

根据本发明的至少一个实施例的再一个方面，该姿势识别装置可利用计算机实现，并且在此情况下，本发明的至少一个实施例的保护范围还包括一种用于姿势识别装置的控制程序和其上记录有该控制程序的计算机可读记录介质，其中该控制程序用于通过使计算机操作每个部件以利用该计算机来实现该姿势识别装置。

为了解决所述问题，本发明的至少一个实施例的姿势识别装置包括：姿势识别部，基于对其拍摄图像的指示体的移动轨迹而识别姿势，并辨别与所识别的姿势对应的处理作为待由处理执行实体执行的处理；以及处理执行量确定部，确定由该姿势识别部辨别且待由该处理执行实体执行的处理的处理执行量，其中该处理执行量确定部基于其图像已被拍摄的该指示体的形态的改变来确定该处理执行量。

为了解决所述问题，本发明的至少一个实施例的姿势识别方法包括以下步骤：姿势识别步骤，基于对其拍摄图像的指示体的移动轨迹来识别姿势，并辨别与所识别的姿势对应的处理作为待由处理执行实体执行的处理；以及处理执行量确定步骤，确定由该姿势识别步骤辨别且待由该处理执行实体执行的处理的处理执行量，其中在该处理执行量确定步骤中，基于其图像已被拍摄的该指示体的形态的改变来确定该处理执行量。

其优点是能够基于简单的姿势输入来识别重复的操作，而作为结果，用户操作性能够得以改善。

附图说明

图1是示出根据本发明的至少一个实施例的姿势识别装置(其被设置在数字电视机(电子器件)中)的必要配置的方框图；

图2是示出提供给姿势识别装置的一帧动图的特定示例的视图，并且是解释开始识别单元的操作的视图；

图3A和图3B是示出提供给指示体检测单元的指示体包含区域的特定示例的视图，并且是解释指示体检测单元的操作的视图；

图4是示出由姿势识别单元22追踪的帧中的指示体基准点的特定示例的视图；

图5是示出由姿势识别单元22追踪的帧中的指示体基准点的特定示例的视图；

图6是示出存储在姿势规则存储单元中的姿势规则的特定示例和数据结构的视图；

图7是示出紧接在姿势识别单元识别姿势之后提供给形态监测单元23的帧的特定示例的视图；

图8是示出用于由形态监测单元识别监测目标的手指倾斜度的辨别手指主轴的方法的特定示例的视图；

图9是示出形态监测单元识别手指的倾斜度的方法的特定示例的视图；

图10是示出作为由处理执行实体根据所识别的姿势执行处理的结果而获得的显示屏幕的特定示例的视图；

图11是示出作为由处理执行实体根据所识别的姿势执行处理的结果而获得的显示屏幕的特定示例的视图；

图12是示出由处理执行实体执行的对象处理流程和由姿势识别装置执行的姿势识别处理流程的流程图；

图13是用于解释根据本发明的至少一个实施例的另一个实施例的处理执行量确定方法的视图；

图14是用于解释根据本发明的至少一个实施例的另一个实施例的处理执行量确定方法的视图；

图15是用于解释根据本发明的至少一个实施例的另一个实施例的处理执行量确定方法的视图；

图16是用于解释在姿势输入期间考虑到相对于移动方向的形态改变的进行方向来确定停止执行处理的方法的视图；

图17是用于解释在姿势输入期间考虑到相对于移动方向的形态改变的进行方向来确定待执行的处理的进行方向的方法的视图；

图18是示出由形态监测单元监测的指示体的形态的改变量的另一个示例的视图；

图19是示出由形态监测单元监测的指示体的形态的改变量的另一个示例的视图；

图20A至图20C是示出由形态监测单元监测的指示体的形态的改变量的另一个示例的视图；

图21是由形态监测单元监测的指示体的形态的改变量的另一个示例的视图；

图22是示出安装在另一个电子器件上的本发明的至少一个实施例的姿势识别装置的视图；

图23是示出安装在另一个电子器件上的本发明的至少一个实施例的姿势识别装置的视图；

图24是示出安装在另一个电子器件上的本发明的至少一个实施例的姿势识别装置的视图。

具体实施方式

<<第一实施例>>

下面参照附图描述本发明的实施例如下。

在下面描述的实施例中，将要描述的是本发明的至少一个实施例的姿势识别装置应用于用作处理执行实体的显示装置的情况。处理执行实体是指执行与由本发明的至少一个实施例的姿势识别装置识别的姿势对应的处理的实体。该显示装置例如是但不限于，数字电视机、台式PC(个人计算机)、智能手机、移动手机、电子书阅读器、电子记事簿、PDA(个人数字助理)、个人计算机、笔记本PC、数字摄像头、数字摄像机、家用游戏机、便携式游戏机、以及数码相框等。须注意，本发明的至少一个实施例的姿势识别装置也可应用于作为处理执行实体的记录/重放装置(BD(蓝光盘)记录仪和DVD(数字通用盘)记录仪)等，该姿势识别装置被连接至这些显示装置。

在下面的描述中，例如，将要描述的是本发明的至少一个实施例的姿势识别装置应用于数字电视机的情况。

在下面的附图中，同样的或对应的部件被赋予相同的附图标记，并且不对其进行重复描述。为了清楚起见和便于简化附图，附图中的诸如长度、尺寸和宽度等空间关系和形状必要时可以改变，它们并不表示实际尺寸和形状。

【姿势识别装置的配置】

图1是示出根据本发明的实施例的姿势识别装置(其被设置在作为显示装置的数字电视机中)的必要配置的方框图。

首先，将描述数字电视机的硬件配置。如图1所示，数字电视机100至少包括控制单元10、存储单元11、图像拍摄单元12，以及显示单元13。此外，该数字电视机100具有数字电视机的常规功能，但忽略对其不直接涉及本发明的至少一个实施例的部件的描述。

图像拍摄单元12拍摄数字电视机100周围的图像(具体而言，数字电视机100前面的图像)，并获得用于发现指示体的移动的动图。图像拍摄单元12例如被实现为CCD(电荷耦合器件)摄像头或CMOS(互补式金属氧化物半导体)摄像头，但其他图像拍摄装置也可用作图像拍摄单元12。由图像拍摄单元12通过图像拍摄获得的动图被提供给设置在数字电视机100中的姿势识别装置1。例如，用户在图像拍摄单元12前面移动指示体(手指、面部、整个身体或工具等)。因此，用户能够将姿势输入到姿势识别装置1中。

显示单元13显示由数字电视机100(姿势识别装置1或在数字电视机100中实现数字电视机的常规功能的显示装置2)处理的信息。例如，显示单元13将用户操作数字电视机100的操作屏幕显示为GUI(用户图形界面)屏幕。显示单元13显示为能够由数字电视机100处理的列表、图像(动图或静止图片)或图标。显示单元13不仅能显示图像或图标，还能将能够由用户选择的各种选项(此后称为对象)显示为列表。显示单元13例如由诸如LCD(液晶显示器)等显示装置构成。

存储单元11非临时性地存储(1)由数字电视机100的控制单元10执行的控制程序、(2)由控制单元10执行的OS程序、(3)控制单元10用来执行在姿势识别装置1或显示装置2中提供的各种功能的应用程序、以及(4)在执行该应用程序时读取的各种数据。可选地，存储单元11临时存储(5)在控制单元10执行各种功能的处理中的运行所用到的数据和运行结果等。例如，上述数据(1)至(4)被存储到诸如ROM(只读存储器)、闪存、EPROM(可擦除式可编程ROM)、EEPROM(电性EPROM)和HDD(硬盘驱动器)等非易失性存储装置。例如，数据(5)被存储到诸如RAM(随机存取存储器)等易失性存储装置。必要时，例如根据数字电视机100的使用目的、便利性、造价和物理约束而确定存储某一类型的数据的存储装置的类型。例如，由图像拍摄单元12通过图像拍摄而获得的动图数据被临时保存在实现为易失性存储装置的存储单元11中，使得姿势识别装置1能够进行处理。另一方面，当姿势识别装置1识别姿势时需要的规则等被非临时性地保存在实现为非易失性存储装置的存储单元11中。例如，通过显示装置2(数字电视机100)在显示单元13上显示的对象的数据非临时性地保存在实现为非易失性存储装置的存储单元11中。

控制单元10对数字电视机100的每个单元进行中央控制。作为用于实现姿势识别装置1的功能模块，控制单元10至少包括姿势识别单元22、形态监测单元23和执行量确定单元24。进而，作为用于实现姿势识别装置1的功能模块，控制单元10可包括开始识别单元20以及指示体检测单元21。

控制单元10可包括对象处理单元25，作为用于实现显示装置2(数字电视机)的功能模块。

能够通过使CPU(中央处理单元)等将存储在实现为ROM(只读存储器)和NVRAM(非易失性随机存取存储器)等的非易失性存储装置中的程序读出至诸如RAM(随机存取存储器)等易失性存储装置并执行该程序而实现控制单元10的每个功能模块。

下面将具体描述由数字电视机100的控制单元10实现的各种功能。

(本发明的至少一个实施例的姿势识别装置1的姿势识别功能)

由开始识别单元20识别姿势输入的开始。

当打开数字电视机100时，图像拍摄单元12一直持续拍摄动图。更具体而言，不管用户输入姿势(有意地移动指示体)或用户未输入姿势(未有意地移动指示体)，从图像拍摄单元12一直提供动图。因而，为了使后一种情况区分于前一种情况，仅在前一种情况下优选处理动图并执行姿势识别处理。因此，不会徒劳无益地对不需要任何姿势识别处理的多帧动图执行处理负荷很高的姿势识别处理。

开始识别单元20识别由姿势识别单元22识别的特定移动(其类型不同于当姿势被输入至数字电视机100时的移动)。然后，开始识别单元20将此特定移动识别为指示姿势输入开始的符号，该符号被输入到姿势识别装置1中。

图2是示出提供给姿势识别装置1的一帧动图的特定示例的视图，并且是解释开始识别单元20的操作的视图。

在本实施例中，例如，开始识别单元20将用户快速移动的手指或手臂的移动识别为姿势输入开始的符号。

更具体而言，开始识别单元20依序处理由图像拍摄单元12持续提供的每帧动图，并依序获得帧间差异。开始识别单元20将所获得的帧之间的差异值临时存储并累积至存储单元11。当此差异值累积值大于预定值时，开始识别单元20识别已经输入了姿势输入开始的符号。

例如，如图2所示，用户在图像拍摄单元12前面持续特定时段地向右和向左迅速摇动手指。开始识别单元20通过比较多帧而识别区域40中快速改变的部分。因此，开始识别单元20能够识别已经输入了姿势输入开始的符号。

在本实施例中，进而，开始识别单元20优选将被确定为具有等于或高于特定水平的差异值的累积量的区域40识别为包括指示体的指示体包含区域40。

这样就能改善在下游步骤中每个功能单元(尤其是，指示体检测单元21)的处理效率。首先，在下游步骤中，为了识别指示体的移动，每个功能单元执行用于辨别指示体的处理。当从全部帧中将扫描用以辨别指示体的区域限于指示体包含区域40时，显然指示体检测单元21的处理效率得以显著改善。

指示体检测单元21被配置为检测输入姿势所利用的指示体。

姿势识别装置1是识别根据指示体进行何种类型的移动而输入的姿势的装置，从而，必须辨别待追踪其移动的目标的位于该帧中的何处。指示体检测单元21检测待追踪的指示体区域。

图3A和图3B是示出提供给指示体检测单元21的指示体包含区域40的特定示例的视图，并且是解释指示体检测单元21的操作的视图。

在本实施例中，指示体是用户的手指，而用户通过在图像拍摄单元12前面移动该手指而输入姿势。因而，在本实施例中，如图3A或图3B所示，指示体检测单元21检测在指示体包含区域40中包括的用户的手指的区域，以作为指示体区域41。

用于指示体检测单元21检测指示体区域41的方法不限于此，而下列方法也是可用的。例如，指示体检测单元21可通过诸如蛇形算法(图3A的虚线帧区域)等轮廓提取方法来检测指示体区域41。可选地，指示体检测单元21可使用HSV颜色空间中的肉色(flesh color)模式来检测肉色区域，以作为指示体区域41(图3B中的点划线区域)。

因此，在下游步骤中，每个功能单元(尤其是，姿势识别单元22)能够清楚地将用于姿势识别的待追踪指示体限定到指示体区域41中。

进而，在本实施例中，指示体检测单元21优选检测指示体区域41中包括的一个点以作为指示体基准点42。在本实施例中，例如，指示体检测单元21检测手指端部以作为指示体基准点42。

因此，姿势识别单元22能够清楚地将用于姿势识别的待追踪指示体不是限定到指示体区域41而是限定到指示体基准点42。当将用于追踪指示体的目标从指示体区域41限定到指示体基准点42时，显然姿势识别单元22的处理效率得以显著改善。

姿势识别单元22根据指示体的移动来识别姿势，并识别与姿势对应的指示内容。在本实施例中，每个姿势与待由数字电视机100执行的处理相关联。因而，姿势识别单元22辨别与所识别的姿势对应的由数字电视机100执行的处理内容。

图4至图6是解释姿势识别单元22的操作的视图。图4和图5是示出在由姿势识别单元22追踪的帧中的指示体基准点42的特定示例的视图。图6是示出存储在姿势规则存储单元30中的姿势规则的特定示例和数据结构的视图。

在本实施例中，例如，姿势识别单元22将指示体的向上、向下、向右和向左侧的移动识别为姿势。更具体而言，如图4所示，姿势识别单元22识别四种类型的姿势，即，指示体的“向左移动”、“向右移动”、“向上侧移动”和“向下侧移动”。姿势识别单元22还可识别不限于上述四种类型的任何姿势(例如“转圈”)。

更具体而言，姿势识别单元22追踪由指示体检测单元21检测的指示体基准点42，并持续处理每帧动图。然后，姿势识别单元22持续获得指示体基准点42的移动方向和位移。能够通过寻求关于指示体基准点42的位置的帧间差异而获得该位移。姿势识别单元22将指示体基准点42的位移临时存储并累积至存储单元11。当位移的累积值大于预定值时，姿势识别单元22识别指示体以这样求得的移动方向而移动。

例如，在如图5所示的示例中，姿势识别单元22识别指示体基准点42的“移动”，并识别当指示体基准点42从初始位置(白圈)移动到当前位置(黑圈)时的移动方向43。

在图4中的向右箭头(即，移动方向43)表示指示体基准点42在此帧中向右移动(当从图像拍摄单元12观看时)。另一方面，移动方向43是识别为由移动指示体的用户他自己/她自己向左移动指示体的方向。因而，当指示体(指示体基准点42)的移动方向被确定为该移动方向43时，姿势识别单元22识别已经输入的是“向左移动”姿势。在相反方向上，也即，当移动方向44被获得作为指示体基准点42的移动方向时，姿势识别单元22识别已经输入的是“向右移动”姿势。

在此情况下，未示出姿势类型，但可通过辨识信息而辨识该姿势类型。例如，诸如“00”、“01”、“10”和“11”等辨识信息可被分别分派给这样的姿势(即，“向左移动”、“向右移动”，“向上侧移动”和“向下侧移动”)。在此情况下，当移动方向43(图4和图5)被辨识时，姿势识别单元22识别已经输入的是姿势“00”。

然后，姿势识别单元22辨识对应于所识别的姿势的指示内容，即，待由数字电视机100执行的处理内容。在本实施例中，姿势识别单元22根据存储在姿势规则存储单元30中的姿势规则(图6)来辨识对应于输入姿势的处理。

如图6所示，在姿势规则存储单元30中，由数字电视机100执行的处理与由姿势识别单元22识别的每个类型的姿势相关联。在图6中，姿势规则被示出为表格形式，但这不是将姿势规则存储单元30中存储的姿势规则的数据结构仅限定为表格。

在如图6所示的示例中，基于移动方向43的姿势“向左移动”与“将焦点向左移一个对象”的处理相关联。因而，当指示体沿着移动方向43移动时，姿势识别单元22识别姿势“向左移动”，并识别待由数字电视机100执行的处理是“将焦点向左移一个对象”。

形态监测单元23监测指示体的形态的改变，并识别其改变量。形态监测单元23可在姿势识别单元22开始姿势识别处理之后开始监测指示体的形态，或可在姿势识别单元22识别出姿势之后开始监测指示体的形态。形态监测单元23可监测由用户移动用以输入姿势的指示体(手指)的形态改变，或监测与所述指示体在同一帧中出现的另一个指示体(第二指示体)的形态改变。

在本实施例中，首先，姿势识别单元22识别姿势，而后，此时，形态监测单元23监测移动(被移动)用以输入姿势的指示体的形态改变。更具体而言，用户沿任何方向(即，上侧、下侧、向左和向右任意之一)移动指示体以输入姿势，而后，改变指示体的形态。在本发明的至少一个实施例中，用于改变指示体的形态的操作是一处理执行量指定操作，其用于指示重复与预先输入的姿势对应的处理的量。在本发明的至少一个实施例中，作为对重复输入同一姿势的替换，用户通过仅执行一次上述处理执行量指定操作就能够指示数字电视机100进行重复处理。

图7至图9是用于解释形态监测单元23的操作的视图。图7是示出紧接在姿势识别单元识别出姿势之后输入至姿势识别装置1中的帧的特定示例的视图。图8是示出形态监测单元23获得作为指示体的形态的手指倾斜度所依据的辨别手指主轴的方法的特定示例的视图。图9是示出形态监测单元23识别手指倾斜度所依据的方法的特定示例的视图。

在本实施例中，例如，形态监测单元23监测已经完成了用于输入的移动的指示体的形态的改变(即，用户的手指的倾斜度的改变)。

首先，如图7所示，形态监测单元23从紧接在姿势识别单元22识别出姿势之后的帧中识别变成开始目标的指示体。在此情况下，形态监测单元23识别由开始识别单元20辨识的指示体包含区域40，并识别由指示体检测单元21辨识的指示体区域41。在此情况下，指示体区域41是目前为止已经输入的姿势所利用的手指。

然后，在本实施例中，为了获得用户手指的倾斜度，形态监测单元23识别用作监测目标的手指的基准的主轴。形态监测单元23获得手指主轴所依据的方法不限于此，并且，例如，下列方法也是可用的。

如图8所示，形态监测单元23从指示体包含区域40中的指示体区域41识别具有突出形状(手指形状)的突出部41’，并裁切出此突出部件的外接矩形作为一关注区域45。然后，形态监测单元23获得关注区域45的突出部件41’的重心46。形态监测单元23定义通过重心46的直线47。有多条直线47通过重心46，从而，在本实施例中，例如，形态监测单元23可相对于垂直通过重心46的直线47每隔五度定义通过重心46的直线47。然后，形态监测单元23将定义的直线47中与关注区域45中的突出部件41’重叠的线段最长的一条直线47识别为手指的主轴。在如图8所示的示例中，形态监测单元23将粗直线47识别为主轴48，其是与突出部件41’重叠的线段最长的直线。

最后，通过获得在如此获得的手指的主轴48与具有基准角度的直线之间的角度，形态监测单元23能够获得指示体(用户的手指)(即，监测目标)的倾斜度。然后，通过监测所述角度的改变，能够监测形态的改变(即，手指倾斜度的改变)。

在本实施例中，例如，如图9所示，形态监测单元23针对该帧而将垂直线定义作为基准线49。在此情况下，形态监测单元23认为基准线49的倾斜度θs是0度。然后，形态监测单元23获得在特定时间点t的帧中基准线49与如此获得的手指主轴48之间的角度θt。形态监测单元23将获得的角度θt作为在时间点t的手指倾斜度。

用户能够根据待由数字电视机100执行的处理执行量而逐渐地倾斜手指。每帧动图示出从图像拍摄单元12持续提供给姿势识别装置1的手指倾斜的操作。

对于每个帧(t，t+1，t+2......)，形态监测单元23持续获得手指主轴48，并监测手指倾斜度的改变。形态监测单元23将如此获得的手指倾斜度θt持续通报给执行量确定单元24。

须注意，形态监测单元23不限于上述示例，并且，例如，可通过使用适配于指示体区域41的椭圆而获得手指倾斜度。

根据由形态监测单元23获得的指示体的形态，执行量确定单元24确定待由数字电视机100执行的处理量(此后称处理执行量)。执行量确定单元24可使用任意单位来表达该处理执行量。例如，执行量确定单元24可将执行处理的次数确定为处理执行量，或可将待处理的对象的数目确定为处理执行量。

在本实施例中，如图6所示，由数字电视机100执行的处理是用于使焦点(光标)沿任意方向移动一个对象(选项)的处理。因此，在本实施例中，根据由形态监测单元23获得的手指倾斜度，执行量确定单元24将用于“沿预定方向使焦点改变一个对象”的处理持续执行的次数(处理执行次数)确定为处理执行量。根据由形态监测单元23获得的手指倾斜度，在执行用于“沿预定方向使焦点改变预定数目的对象”的处理时，执行量确定单元24也可将上述“预定数目的对象”确定为处理执行量。

当执行量确定单元24确定上述处理的执行次数时，数字电视机100按照所确定的处理执行次数持续执行用于“沿预定方向使焦点改变一个对象”的处理。

当执行量确定单元24确定上述“预定数目的对象”时，数字电视机100沿预定方向按照所确定的数目的对象来改变焦点。

为了让执行量确定单元24确定处理执行量，必须预先定义在形态的改变量(即，手指倾斜度(形态改变量)与相应的处理执行量之间的关联性。

形态关联性存储单元31存储在指示体的形态的改变量与处理执行量之间的关联性。存储在形态关联性存储单元31中的关于关联性的信息可实现为关联表的形式，或可实现为计算表达式的形式。在任何情况下，通过查找存储在形态关联性存储单元31中的关于关联性的信息，执行量确定单元24能够基于如此获得的形态的改变量而确定处理执行量。

执行量确定单元24确定处理执行量的方法不限于此，并且，例如，下列方法也是可用的。

假设已经输入了姿势，且用户随后执行用于倾斜作为指示体的手指的操作。在此情形下，在特定时间点t，从图像拍摄单元12获得在时间点t的帧。

形态监测单元23获得在时间点t的手指倾斜度θt。

根据下面的预定的计算表达式，执行量确定单元24根据手指倾斜度θt而确定在时间点t的处理执行量Mt。

Mt＝α×θt

在此情况下，α表示预先定义的系数。上述计算表达式和系数α被存储在形态关联性存储单元31中，并且由执行量确定单元24读出。以这种方式，根据该计算表达式，用户手指倾斜越多，执行量确定单元24能够确定的处理执行量越高。

例如，当系数α是‘0.5(次)’时，由形态监测单元23获得的在时间点t的手指倾斜度θt是60度。在此情况下，执行量确定单元24确定在时间点t的处理执行量Mt是0.5×60＝30次。然而，如果用户将手指倾斜80度，则执行量确定单元24确定处理执行量是40次。

此时，假设在形态监测单元23和执行量确定单元24的上游步骤中，姿势识别单元22识别与输入姿势对应的处理为“将焦点向‘左’移一个对象”。

在此情况下，用于“将焦点向‘左’移一个对象”的处理重复30次的指示从姿势识别装置1输入至显示装置2(即，数字电视机100)中。

(显示装置2中的对象处理功能)

对象处理单元25处理存储在对象存储单元32中的每个对象。在本实施例中，对象处理单元25将作为选项的每个对象显示至显示单元13。进而，对象处理单元25以与其他未被选择的对象相区分的方式显示所选择的(聚焦的)对象。

例如，对象处理单元25控制对象的焦点。更具体而言，对象处理单元25将焦点应用于特定对象，使得该对象与其他未被选择的对象相区分。进而，为了显现它，对象处理单元25控制光标显示位置以将光标应用于聚焦的对象。当焦点被移向另一个对象时，对象处理单元25将光标设定在该另一个对象上。例如，当对象是缩略图时，对象处理单元25从对象存储单元32读出多个缩略图，并将它们显示为呈瓷砖状形式的列表。然后，光标被应用于聚焦的一个缩略图并被显示。

可选地，当对象是电子书的一页(选项)时，对焦点进行如下控制。更具体而言，对象处理单元25可仅将聚焦的一页显示给显示单元13。然后，当选择另一页时，焦点被改变至该另一页，不是显示目前为止所显示的那页，而是显示新聚焦的该另一页。

对象处理单元25能够根据从姿势识别装置1提供的指示而操作。更具体而言，由对象处理单元25根据来自姿势识别单元22的指示而执行与由姿势识别装置1的姿势识别单元22所识别的姿势对应的处理。重复上述处理以满足由执行量确定单元24确定的处理执行量。

如上述示例中所述，是假设使用于“将焦点向左移一个对象”的处理重复30次的指示从姿势识别装置1输入到显示装置2(即，数字电视机100)中。在此情况下，对象处理单元25将在显示为列表的对象中当前位于焦点的对象的焦点改变至作为位于该对象(当前位于焦点的对象)左侧第30个对象的对象。然后，对象处理单元25将光标向左移动30个对象。可选地，当对象是书页时，对象处理单元25将焦点改变至往前30页的一页(翻页30次)并显示关注页(当此书是右侧装订并向左侧打开时)。

图10和图11是示出作为由对象处理单元25根据由姿势识别装置1识别的姿势执行处理的结果而获得的显示屏幕的特定示例的视图。

在如图10和图11所示的示例中，例如，对象处理单元25在显示屏幕(13a，13b)的上侧将存储在对象存储单元32中的静止图片的缩略图显示为列表(缩略图51’至55’)。进而，对象处理单元25在显示屏幕(13a，13b)的下侧显示与显示为列表的缩略图的聚焦的缩略图对应的静止图片。例如，焦点被赋予在图10的显示屏幕13a中的缩略图52’，从而，对应于缩略图52’的静止图片52被显示在下侧。进而，为了清楚地表示聚焦的缩略图，对象处理单元25在聚焦的缩略图的位置处显示光标50。

例如，假设当缩略图51’在显示单元13的显示屏幕中呈聚焦的状态时，用户通过向左移动手指(图10的Scel；场景1)而输入姿势。在此情况下，姿势识别单元22识别姿势“向左移动”，并指示对象处理单元25进行用于“将焦点向‘左’移动一个对象”的对应处理。

如显示屏幕13a所示，根据来自姿势识别单元22的指示，对象处理单元25将焦点移动至缩略图51’左侧的缩略图52’。然后，在本实施例中，进而，对象处理单元25从缩略图51’向左移动光标50并将该光标应用于缩略图52’。进而，对应于缩略图52’的静止图片52被显示在下侧。

在用户完成手指移动之后，用户随后改变手指的形态。更具体而言，按照预定角度向左改变手指倾斜度(图10的Sce2；场景2)。形态监测单元23监测手指是怎样倾斜的，并持续获得手指倾斜度。例如，在场景2的时间点，形态监测单元23识别在基准线49与手指主轴48之间的角度θa，以作为在场景2的时间点的手指倾斜度(形态改变量)。

例如，根据角度θa和存储在形态关联性存储单元31中的关于关联性的信息，执行量确定单元24确定角度θa的处理执行量是“一页”。在此情况下，沿向左方向执行手指的移动和形态改变。因此，在场景2的时间点，执行量确定单元24将处理执行量是“一页”和移动方向是“向左”的处理作为指示给予对象处理单元25。

根据来自执行量确定单元24的指示，对象处理单元25重复之前由姿势识别单元22指示的处理。更具体而言，对象处理单元25再次将焦点“向左”移动一个对象。作为结果，如显示屏幕13b所示，对象处理单元25将焦点从缩略图52’移动到缩略图53’，并且还向左移动一次光标50。

在此情况下，当用户仍然按照角度θa继续用于倾斜手指的操作时，执行量确定单元24将处理执行量是“一页”和移动方向是“向左”持续发给对象处理单元25以作为指示。

当提供上述指示时，对象处理单元25持续执行用于将焦点从缩略图53’移动至图像54’、图像55’......(即，往前一页)的处理。在此情况下，光标50也从缩略图53’逐一地移动至54’、55’......。

另一方面，如图11所示，在图10的同一场景1(图11的Scel)之后，此时用户以角度θb倾斜手指(图11的Sce2’)。场景2’(Sce2’)的θb是大于场景2(图10的Sce2)的θa的角度。因此，执行量确定单元24确定对应于角度θb是“两页”的处理执行量，并且确定处理移动的方向是“向左”。

当继续此场景2’时，执行量确定单元24持续将处理执行量“两页”和移动方向“向左”发给对象处理单元25以作为指示。

在此情况下，如显示屏幕13b所示，当给出指示时，对象处理单元25将焦点从缩略图52’改变到缩略图54’(其是往前两页)。然后，对象处理单元25在有指示给出时继续此处理。更具体而言，对象处理单元25将焦点持续改变到缩略图56’、58’、60’......，未示出(其是往前两页)。

须注意，当手指倾斜度θb继续增加时，执行量确定单元24将处理执行量接连确定为“3页”、“4页”......。当从执行量确定单元24提供新的处理执行量时，对象处理单元25能够根据处理执行量而以诸如往前三页、往前四页......等更高的速度改变焦点。须注意，上述“往前一页”是指使焦点改变一个对象。“往前两页”是指跳过一个对象而使焦点改变两个对象。“往前三页(往前四页)”分别是指跳过两个(三个)对象而使焦点改变三个(四个)对象。对象处理单元25被配置为能够使焦点改变任意数目的对象。例如，当一千个对象被显示为列表时，对象处理单元25也能够使焦点改变一百个对象。

根据上述配置，仅利用通过移动指示体和改变指示体的形态而输入姿势，用户就能够很容易地将等效于重复输入姿势很多次的指示输入到数字电视机100中。

例如，过去，当用户想要向左移动光标十次时，用户不得不进行十次用于向左移动指示体的操作，但根据本发明的至少一个实施例的姿势识别装置1，用户能够通过仅执行一次用于向左移动指示体的操作并仅执行一次用于倾斜指示体的操作来完成上述操作。

进而，用户能够通过调节指示体的改变量而给数字电视机100指定重复次数。例如，当指示体的形态的改变量(手指倾斜度)增加十倍时，用户能够指示数字电视机100移动光标100页而不是10页。

【处理流程】

图12是示出由显示装置2(数字电视机100)执行的对象处理流程和由姿势识别装置1执行的姿势识别处理流程的流程图。

为了输入姿势，首先，用户例如通过执行在图像拍摄单元12前面晃动手指的操作而发出姿势输入开始的符号。当通过拍摄此符号的图像而获得的动图(帧组)被提供给姿势识别装置1时，开始识别单元20基于在帧之间的改变量而识别姿势输入开始的符号(S101)。然后，开始识别单元20从帧中识别包括用于输入姿势的指示体的区域(例如，指示体包含区域40)(S102)。

在此情况下，然后，指示体检测单元21优选从指示体包含区域40检测指示体区域41，进而，优选检测在指示体区域41上的指示体基准点42。

然后，姿势识别单元22追踪指示体以开始姿势识别处理(S103)。例如，优选追踪由指示体检测单元21检测的指示体基准点42。

在本实施例中，用户沿任意方向(即，上侧、下侧、向左和向右任意之一)移动指示体(手指)，以输入期望的姿势。当通过对此进行拍摄而获得的动图(帧组)被提供给姿势识别装置1时，姿势识别单元22根据帧间差异而获得指示体基准点42的移动方向和位移。通过持续提供多个帧而累积位移。当位移等于或大于特定水平时，姿势识别单元22识别“已经被移动的”指示体。当姿势识别单元22识别出指示体的移动(在S104中为是)时，姿势识别单元22基于作为追踪指示体基准点42的结果而获得的指示体基准点42的移动方向来识别姿势(S105)。例如，如图5所示，当指示体基准点42沿移动方向43移动时，姿势识别单元22识别姿势“向左移动”的输入(如图6所示)。然后，姿势识别单元22根据输入姿势识别待由显示装置2执行的处理(S106)。例如，根据如图6所示的姿势规则，将与“向左移动”相关联的用于“将焦点向左移一个对象”的处理辨识为由显示装置2执行的处理。姿势识别单元22将使显示装置2执行辨识处理的指示输出至显示装置2(在此情况下，是对象处理单元25)(S107)。

作为对比，显示装置2的对象处理单元25根据该指示而执行所指示的处理(S108)。在上述示例中，对象处理单元25将焦点改变到显示于曾被聚焦的对象的左侧的对象。对象处理单元25还将目前为止曾被应用于所聚焦的对象的光标移动到左边新聚焦的对象。

另一方面，在本实施例中，当用户完成姿势输入并且用户想要由装置对该姿势重复执行处理时，用户使用指示体(在此情况下，例如为手指)执行用于持续执行该处理的操作。当通过对此进行拍摄而获得的动图(帧组)被提供给姿势识别装置1时，姿势识别装置1的形态监测单元23通过处理必要时持续提供的帧来监测指示体(其图像被拍摄)的形态(S109)。形态监测单元23监测在每个上游步骤中辨识的指示体包含区域40中的指示体形态区域41(手指)。在此情况下，例如，形态监测单元23还从指示体区域41识别包括一部分突出手指的关注区域45，并识别关注区域45中的手指主轴48。然后，追踪手指主轴48的倾斜度。

当形态监测单元23累积帧间差异值并识别出指示体的移动(即，形态的改变)(在S110中为是)时，形态监测单元23获得最后一帧在关注区域45中的手指倾斜度(S111)。例如，形态监测单元23获得在主轴48与基准线49(其在该帧中是垂直的)之间形成的角度，以作为手指倾斜度。

然后，根据存储在形态关联性存储单元31中的关于关联性的信息，执行量确定单元24基于由形态监测单元23获得的手指倾斜度而确定处理执行量。关于关联性的信息是表示在处理执行量与形态改变量之间的关联性的信息，并根据此信息获得与由形态监测单元23获得的手指倾斜度对应的处理执行量。

例如，执行量确定单元24获得“30次”的处理执行量Mt，基于形态改变量θt是60度的事实，根据计算表达式，“Mt＝0.5(次)×θt”(关于关联性的信息)。

然后，执行量确定单元24将S112中确定的“30次”的处理执行量输出至显示装置2(S113)。

作为对比，当显示装置2的对象处理单元25从姿势识别装置1接收到处理执行量(在S114中为是)时，基于由所述处理执行量指定的次数来执行在S108中指示的处理(S115)。在上述示例中，对象处理单元25对用于“将焦点向左移动一个对象”的处理执行30次。进而，对象处理单元25可将光标沿向左方向移动到第30个对象。在此情况下，对象处理单元25可通过将光标逐个应用于每个对象而移动光标，但优选一次性地将光标沿向左方向移动至第30个对象(沿向左方向跳转到第30个对象)。

当用户想要进一步提高光标的移动速度时，可增加手指倾斜度。当指示体被认为位于帧(在S116中为否)内时，重复执行S110至S115的处理。更具体而言，对象处理单元25重复用于沿向左方向每隔30个对象跳转光标的处理。

可选地，当用户想要结束光标的(重复)移动时，用户能够通过使指示体自身移动出图像拍摄单元12的图像拍摄范围而完成姿势的输入。当在由图像拍摄单元12提供的帧中不再识别出指示体(在S116中为是)时，形态监测单元23结束对形态的监测，并停止提供给执行量确定单元24的形态改变量(手指倾斜度)。据此，执行量确定单元24停止提供给显示装置2的处理执行量，并且作为替代，指示显示装置2停止执行处理(S117)。

作为对比，当显示装置2的对象处理单元25从姿势识别装置1接收到处理停止指示(在S118中为是)时，停止在S108中指示的处理(S119)。更具体而言，对象处理单元25停止光标的移动(焦点变换)。

根据上述方法，仅利用通过移动指示体和改变指示体的形态而输入姿势，用户就能够很容易地将等效于重复输入姿势很多次的指示输入至数字电视机100中。

例如，过去，当用户想要向左移动光标十次时，用户不得不进行用于向左移动指示体十次的操作，但根据本发明的至少一个实施例的姿势识别装置1，用户能够通过仅执行一次用于向左移动指示体的操作并仅执行一次用于倾斜指示体的操作来完成此操作。

进而，用户能够通过调节指示体的改变量而给数字电视机100指定重复量(处理执行量)。例如，当指示体的形态的改变量(手指倾斜度)增加十倍时，用户能够指示数字电视机100将光标移动100页而不是10页。

<<改型例>>

【关于处理执行量确定方法】

在上述实施例中，如图9所示，形态监测单元23被配置为对绝对基准形态(θs＝0度的垂直基准线49)与在当前时间点t的形态(主轴48)进行比较以获得指示体在当前时间点的形态改变量(θt)。执行量确定单元24被配置为根据Mt＝α×θt(α是常数)来确定处理执行量。

然而，可对形态监测单元23和执行量确定单元24进行如下配置，并且可根据其他方法而确定处理执行量。下面将参照图13至图15来描述本发明的至少一个实施例的另一个处理执行量确定方法。

图13是用于解释根据本发明的另一个实施例的处理执行量确定方法的视图。

在如图13所示的改型例中，显示装置2被配置为使得处理执行量的最大值被预先限定。例如，在显示装置2的对象处理单元25中，光标跳转的对象数目的最大值被限定为“100”。更具体而言，对象处理单元25被配置为能够最多每隔100个对象来向上、向下、向右和向左侧移动光标(焦点)。

类似于第一实施例，形态监测单元23定义基准线49，获得在当前时间点t的改变量θt，并将其提供给执行量确定单元24。

在本改型例中，如图13所示，执行量确定单元24还将与预先定义的处理执行量的最大值(例如，100)对应的基准形态(最终形态e)定义为水平基准线70。执行量确定单元24认为与处理执行量θs的最小值(例如，0)对应的基准形态是0度(垂直的基准线49)。执行量确定单元24认为与处理执行量θe的最大值(例如，100)对应的基准形态(最终形态e)是90度(水平基准线70)。然后，执行量确定单元24基于垂直基准线49的θs(0度)和水平基准线70的θe(90度)而获得最大改变量(θe-θs＝θall＝90度)。

在本改型例中，执行量确定单元24获得在当前时间点t的形态改变量(θt)与最大改变量(θall＝90度)的比率。然后，执行量确定单元24与该比率的大小成比例地来确定处理执行量。

例如，根据存储在形态关联性存储单元31中的下列预定计算表达式，执行量确定单元24根据手指倾斜度θt而确定在时间点t的处理执行量Mt。

Mt＝(θt÷θall)×β

在此情况下，β是预先定义的最大处理执行量。在上述示例中，β＝100(个)。因而，更具体而言，当由形态监测单元23获得的时间点t的手指倾斜度θt是45度时，执行量确定单元24确定处理执行量Mt是(45÷90)×100＝50次。

即使在上述配置中，执行量确定单元24能够与由形态监测单元23获得的指示体的形态改变量成比例地来确定处理执行量，并能够实现与第一实施例相同的效果。

图14是用于解释根据本发明的另一个实施例的处理执行量确定方法的视图。

在如图14所示的改型例中，与根据第一实施例的处理执行量确定方法(如图9所示)不同的特征如下。更具体而言，形态监测单元23被配置为在帧中将垂直线定义为绝对基准线。在本改型例中，形态监测单元23认为在开始监测指示体的形态改变的时间点处的指示体的形态是基准形态(开始形态s)。因而，即使当用户的手指在完成姿势输入的时间点已经倾斜且形态监测单元23在此时开始监测时，在此时间点的手指主轴被定义为基准线49’。形态监测单元23定义基准线49’的倾斜度θs，其被定义为0度。

形态监测单元23获得在当前时间点t的手指主轴48，并将在基准线49’与主轴48之间的角度θt提供给执行量确定单元24，以作为指示体在当前时间点t的形态改变量。

类似于第一实施例，执行量确定单元24可根据存储在形态关联性存储单元31中的关于关联性的信息(Mt＝α×θt)来确定处理执行量。系数α可与第一实施例相同，或可设定为另一个值。

即使在上述配置中，执行量确定单元24能够与由形态监测单元23获得指示体的形态改变量成比例地来确定处理执行量，并能够实现与第一实施例相同的效果。

图15是用于解释根据本发明的另一个实施例的处理执行量确定方法的视图。

在如图15所示的改型例中，如上所述，显示装置2被配置为使得处理执行量的最大值被预先限定。例如，将对象处理单元25能够使光标跳转的对象数目的最大值限定为“100”。

类似于第一实施例，本改型例被配置为使得形态监测单元23在帧中定义垂直基准线49，并将基准线49的倾斜度θ定义为0度。在本改型例中，然而，形态监测单元23还认为指示体在开始监测指示体的形态改变的时间点的形态是基准形态(开始形态s)。形态监测单元23将在开始形态s处的手指主轴定义为基准线49’。

形态监测单元23获得在当前时间点t的手指主轴48，并将在基准线49’与主轴48之间的角度θt提供给执行量确定单元24，以作为指示体在当前时间点t的形态改变量。

在本改型例中，如图15所示，执行量确定单元24还将与预先限定的处理执行量的最大值(例如，100)对应的基准形态(最终形态e)定义为水平基准线70。在本改型例中，执行量确定单元24认为与处理执行量的最小值(例如，0)对应的基准形态是与开始形态s对应的基准线49’(θs)。执行量确定单元24认为与处理执行量θe的最大值(例如，100)对应的基准形态(最终形态e)是90度(水平基准线70)。然后，执行量确定单元24基于基准线49’的θs和水平基准线70的θe(90度)而获得最大改变量(θe-θs＝θall)。在此情况下，根据在开始形态s处的基准线49’与垂直基准线49之间的角度而获得θs。

在本改型例中，执行量确定单元24获得在当前时间点t的形态改变量(θt)与最大改变量(θall)的比率。然后，执行量确定单元24与该比率的大小成比例地来确定处理执行量。

例如，根据存储在形态关联性存储单元31中的下列预定计算表达式，执行量确定单元24根据手指倾斜度θt而确定在时间点t的处理执行量Mt。

Mt＝(θt÷θall)×β

在此情况下，β是预先限定的最大处理执行量。在上述示例中，β＝100(个)。因而，更具体而言，当θs是30度，θall是60度，且由形态监测单元23获得的在时间点t的手指倾斜度θt是15度时，执行量确定单元24确定处理执行量Mt是(15÷60)×100＝25次。

即使在上述配置中，执行量确定单元24能够与由形态监测单元23获得的指示体的形态改变量成比例地来确定处理执行量，并能够实现与第一实施例相同的效果。

【相对于在姿势输入期间的移动方向考虑形态改变的进行方向】

在上述实施例中，在姿势输入期间指示体(手指)的移动方向和当指定处理执行量时指示体的形态改变的进行方向被认为是相同的，并且总是沿一特定方向。例如，在姿势输入期间手指向左移动的情况就是其后手指沿向左方向持续倾斜的情况。

然而，用户可沿与在姿势输入期间的指示体(手指)移动方向相反的进行方向来改变指示体的形态。

(情况1)

与这种情形对应的配置如下。当执行量确定单元24对从形态监测单元23提供的在当前时间点t的形态改变量θt与在前一时间点t-1的改变量θt-1进行比较，并发现形态改变量θt从那有所减少时，可将其识别为用户给出的停止指示。然后，执行量确定单元24可将用于指示停止执行处理的处理停止指示输出给显示装置2。

图16示出这样的情形的示例，当对在当前时间点t的形态改变量θt与在前一时间点t-1的改变量θt-1进行比较时，形态改变量θt小于改变量θt-1。

如图16所示，在姿势输入期间的移动方向是移动方向43(向左移动)，而当指定处理执行量时指示体的形态改变的进行方向也是进行方向71(其是向左方向，如同移动方向43)。在此情况下，手指倾斜度(形态改变量)随着手指相对于基准线49向左倾斜而增加。

因而，当用户沿与进行方向71(移动方向43)相反的进行方向72(向右方向)使手指倾斜度返回哪怕一点点时，手指倾斜度(形态改变量)比前一改变量θt-1都有很大减少。

如上所述，当执行操作以沿与目前为止的移动方向(向左)相反的方向(向右)返回手指倾斜度时，数字电视机100被配置为停止目前为止一直持续执行的处理。

目前为止，用户执行操作以沿与手指的移动方向相同的方向移动光标(焦点)。在此情况下，用于朝与该移动方向相反的方向返回手指倾斜度的操作通常被用户认为是对光标移动进行制动。

因而，根据上述配置，用户能够直观地明白该操作，并且其优点是数字电视机100的可操作性得以改善。

(情况2)

可选地，在上述条件下，手指倾斜度(形态改变量)可相对于基准线49向右(更具体而言，与移动方向43相反的方向)倾斜。

作为用于处理此种条件的配置，当指示体(手指)沿与移动方向相反的方向从基准线49倾斜时，形态监测单元23可用负数表示指示体的改变量。

例如，如图17所示，假设在姿势输入期间的移动方向是移动方向43(向左移动)，而在指定处理执行量期间指示体的形态改变的进行方向是与移动方向43相反的进行方向72(向右方向)。在此情况下，随着手指倾斜度(形态改变量)从基准线49向右倾斜，它变成负的并减小(其绝对值增大)。

当由形态监测单元23提供的形态改变量是正数时，执行量确定单元24确定与之前的移动方向43相同的方向是由数字电视机100执行的处理的进行方向。更具体而言，执行量确定单元24指示显示装置2进行“使焦点每隔Mt个对象向左移动”的处理。

另一方面，当由形态监测单元23提供的形态改变量是负数时，执行量确定单元24确定与之前的移动方向43相反的方向是由数字电视机100执行的处理的进行方向43。更具体而言，执行量确定单元24指示显示装置2进行“使焦点每隔Mt个对象向右移动”的处理。

当然，处理执行量Mt是根据手指主轴48在当前时间点t从基准线49向左倾斜(或向右)多少而确定。倾斜得越多，处理执行量就越高。

如上所述，当执行操作以朝与目前为止的移动方向(向左)相反的方向(向右)倾斜手指时，数字电视机100被配置为沿与目前为止执行的处理的进行方向相反的进行方向继续进行处理。

在此情况下，用于沿与该移动方向相反的进行方向倾斜手指的操作通常被用户认为是沿与由最初的姿势指示的进行方向相反的方向来改变光标的移动方向(光标返回)。

因而，根据上述配置，用户能够直观地明白该操作，其优点是数字电视机100的可操作性得以改善。

【形态改变监测目标】

在上述实施例中，作为指示体的形态，形态监测单元23被配置为采用手指倾斜度作为监测目标。然而，本发明的至少一个实施例的姿势识别装置1的配置不限于此。

例如，形态监测单元23还可采用在为了姿势输入而移动的指示体中手指弯曲了多少以作为监测目标。

更具体而言，如图18所示，形态监测单元23可通过获得在当手指弯曲(中间关节)时角度改变的部分处的主轴来监测倾斜，并可获得当手指弯曲时改变的中间关节的角度θ的大小，作为形态改变量。可选地，如图19所示，形态监测单元23监测在帧中手指尖的Y坐标(指示体基准点42)，并可获得根据与当手指弯曲时改变的指示体基准点42的Y坐标相关的Y坐标差异而获得的位移d，作为形态改变量。

可选地，例如，形态监测单元23可获得在指示体的为了姿势输入而已经移动的两根手指之间的角度θ，作为形态改变量。图20A是示出在完成姿势输入的时间点的指示体的视图。这里所说的两根手指是指拇指和食指。形态监测单元23获得每个手指的主轴，并获得在这些主轴之间的角度。在完成姿势输入的时间点，角度θ(图20A中未示出)很小。图20B和图20C是示出当执行处理执行量指定操作时在特定时间点的指示体的视图。在两根手指之间的角度θ大于图20A中的角度。执行量确定单元24根据关于关联性的信息来确定处理执行量，即，随着在两根手指之间的角度的增大，处理执行量增大。

可选地，在帧内，形态监测单元23可辨别跟为了姿势输入而已经移动的指示体分离的第二指示体，并可监测第二指示体的形态改变量。更具体而言，如图21所示，形态监测单元23可采用用户他的/她的头部倾斜了多少，作为监测目标。形态监测单元23辨别包括用户面部的指示体包含区域73。然后，形态监测单元23可基于鼻梁而获得面部主轴，并可获得面部倾斜的改变量θ1以作为形态改变量。可选地，形态监测单元23可采用用户他的/她的手臂弯曲了多少以作为监测目标。形态监测单元23辨别包括该手臂的指示体包含区域74。然后，形态监测单元23可获得用户的上臂部分和前臂部分的主轴，并可获得在这些主轴之间的角度θ2以作为形态改变量。

<<应用示例>>

在关于上述实施例的描述中，如图10和图11所示，例如，本发明的至少一个实施例的姿势识别装置1被提供至作为处理执行实体的数字电视机100(用作显示装置2)中。本发明的至少一个实施例的姿势识别装置1不仅能被提供至数字电视机100中，而且还能提供至其他任何显示装置中。

例如，如图22所示，本发明的至少一个实施例的姿势识别装置1能够被实现在电子书阅读器200上。电子书阅读器200的对象处理单元25使显示单元13显示电子书多个页面的聚焦页面。例如，对象处理单元25将电子书显示为右侧装订并向左侧打开的书的图像。在电子书阅读器200中，姿势识别装置1是用于识别姿势以翻页的元件。

为了显示后面的页，用户执行操作以从左向右地翻动当前显示页。类似于第一实施例，用户在图像拍摄单元12前面从左向右移动指示体(白色箭头76)。当姿势识别单元22识别出“向右移动”的姿势时，对象处理单元25将焦点改变到在当前页(第15页)之后的页(第16页)，并显示第16页(白色箭头77)。进而，当形态监测单元23识别出手指沿向右方向倾斜(白色箭头78)时，对象处理单元25按照指定的处理执行量(页数)将焦点从当前页(第16页)往前移动，并显示新的页。黑色箭头表示与如上所述相反的移动。

如上所述，用户能够利用改变指示体的形态的简单操作一次翻很多页，而不用输入同一姿势很多次。

可选地，如图23所示，本发明的至少一个实施例的姿势识别装置1能够实现在智能手机300上。

为了显示后面的页，用户执行操作以从右向左滑动当前显示页。类似于第一实施例，用户在图像拍摄单元12前面从右向左移动指示体(白色箭头79)。当姿势识别单元22识别出“向左移动”的姿势时，对象处理单元25将焦点改变到在当前页(3/10)之后的页(4/10)，并显示4/10的页。例如，4/10的页向内滑动(白色箭头80)。进而，当形态监测单元23识别出手指沿向左方向倾斜(白色箭头81)时，对象处理单元25按照指定的处理执行量(页数)将焦点从当前页(4/10)往前移动，并显示新的页。黑色箭头表示与如上所述相反的移动。

如上所述，用户能够利用改变指示体的形态的简单操作一次翻很多页，而不用输入同一姿势很多次。

可选地，如图24所示，本发明的至少一个实施例的姿势识别装置1能够实现在台式PC400上。

台式PC400的对象处理单元25以这种方式显示作为对象的光标(选项)，它们被分成主项和子项。对象处理单元25将主项(通过图24中的字母标识)显示为水平行的列表。然后，属于所聚焦的主项的子项(通过图24中的数值标识)被显示为垂直列的列表。进而，对象处理单元25在聚焦的图标处显示光标50。

首先，为了选择期望的主项，用户执行操作以移动光标50。类似于第一实施例，用户在图像拍摄单元12的前面从左向右移动指示体(白色箭头82)。当姿势识别单元22识别出“向右移动”的姿势时，对象处理单元25将焦点改变到在当前图标(高级项D)右侧的图标(高级项E)，并且还将光标50向右移动(白色箭头83)。进而，当形态监测单元23识别出手指沿向右方向倾斜(白色箭头84)时，对象处理单元25按照指定的处理执行量(光标数目)将焦点移动到排列在当前图标(高级项E)右侧的图标，并将光标50应用到新的图标且对其进行显示。黑色箭头表示向右或向左与如上所述均相反的移动。

如上所述，用户能够利用改变指示体的形态的简单操作而快速选择排列在远离当前焦点的位置的图标，而无须输入同一姿势很多次。

本发明不限于上述每个实施例。在权利要求中描述的范围内，能够以各种方式改变本发明。本发明的技术范围还包括通过适当组合在每个不同实施例中公开的技术手段而获得的实施例。

【以软件实现的示例】

最后，在姿势识别装置1中，每个模块(即，具体而言，开始识别单元20、指示体检测单元21、姿势识别单元22、形态监测单元23和执行量确定单元24)既可以由硬件逻辑件构成，或者也可如下面所描述的利用CPU以软件实现。

更具体而言，姿势识别装置1包括执行控制程序的指令而实现每个功能的CPU(中央处理单元)以及诸如存储程序和各种数据的存储器等存储器件(记录介质)(例如存储程序的ROM(只读存储器)、程序在其中被提取的RAM(随机存取存储器))。进而，通过给姿势识别装置1提供以计算机可读方式记录有作为实现上述功能的软件的姿势识别装置1的控制程序(执行格式程序、中间码程序、源程序)的程序代码的记录介质，并通过使计算机(或CPU或MPU)读出和执行在记录介质中记录的程序代码，还能实现本发明的至少一个实施例的目的。

记录介质的示例包括：诸如磁带和盒带等磁带***，诸如软盘(注册商标)和硬盘等包括磁盘的磁盘***，以及诸如CD-ROM、MO、MD、DVD和CD-R等光盘，诸如IC卡(包括存储卡)和光学卡等卡片***，以及诸如掩模型ROM、EPROM、EEPROM和闪存ROM等半导体存储器***。

可选地，姿势识别装置1可被配置为可连接至通信网络，且可通过通信网络提供程序码。对通信网络没有特别的限制。例如为互联网、内联网、外联网、LAN、ISDN、VAN、CATV通信网络、虚拟个人网络、电话线网络、移动通信网络、以及卫星通信网络等能够被用作通信网络的网络。对构成通信网络的传输介质没有特别的限制。传输介质例如可以是有线介质，其中该有线介质例如为IEEE1394、USB、电力线通信、有线TV网络、电话线缆和ADSL线缆。可选地，传输介质也可以无线方式实现，而该无线方式例如采用诸如IrDA和遥控器等红外线通信、蓝牙(注册商标)、802.11无线线路、HDR(高数据比率)、移动电话网、卫星电路、以及地面数字网络等。须注意，本发明的至少一个实施例也能以嵌入载波中的计算机数据信号的形式实现。在这种情况下，上述程序码具体实现为电子传输。

【工业实用性】

本发明的至少一个实施例的姿势识别装置优选用于具有用于拍摄指示体的相片的图像拍摄单元的各种电子器件。尤其是，本发明的至少一个实施例的姿势识别装置优选用于显示装置。本发明的至少一个实施例的姿势识别装置不限于此，而是还可利用数字电视机、台式PC(个人计算机)、智能手机、移动电话、电子书阅读器、电子记事簿、PDA(个人数字助理)、个人计算机、笔记本PC、数字摄像头、数字摄像机、家用游戏机、便携式游戏机和数码相框等而实现为作为处理执行实体的显示装置。

Claims (17)

1.一种姿势识别装置，包括：

姿势识别部，基于对图像被拍摄的指示体的移动轨迹而识别姿势，并辨别与所识别的姿势对应的处理作为待由处理执行实体执行的处理；以及

处理执行量确定部，确定由该姿势识别部辨别的待由该处理执行实体执行的该处理的处理执行量，

其中该处理执行量确定部基于图像已被拍摄的该指示体的形态的改变来确定该处理执行量。

2.根据权利要求1所述的姿势识别装置，还包括形态监测部，该形态监测部从通过拍摄该指示体的图像而获得的每帧动图识别该指示体的形态的改变量，

其中该处理执行量确定部与由该形态监测部辨别的改变量成比例地来确定该处理执行量。

3.根据权利要求2所述的姿势识别装置，其中该形态监测部通过将预先确定的该指示体的基准形态与图像被拍摄的该指示体的最新形态相比较来识别该改变量。

4.根据权利要求2所述的姿势识别装置，其中该形态监测部通过将该指示体在该姿势识别部识别出姿势的时间点的形态与图像被拍摄的该指示体的最新形态进行比较来识别该改变量。

5.根据权利要求3或4所述的姿势识别装置，其中该处理执行量确定部基于由该形态监测部辨别的该最新形态中的改变量与预先确定的最后的基准形态中的最大改变量的比率来确定该处理执行量，所述最大改变量对应于该处理执行实体的处理执行量的最大值。

6.根据权利要求2至4的任意一个所述的姿势识别装置，其中该形态监测部辨别该指示体的倾斜所改变的角度作为该改变量。

7.根据权利要求6所述的姿势识别装置，其中该形态监测部辨别作为该指示体的手指的倾斜的改变量。

8.根据权利要求2至4的任意一个所述的姿势识别装置，其中，当由该形态监测部辨别的该指示体的最新形态的改变量小于该指示体的前一形态改变量时，该处理执行量确定部确定停止该处理执行实体对该处理的执行。

9.根据权利要求2至4的任意一个所述的姿势识别装置，其中该形态监测部用负数来辨别该指示体沿与该指示体的移动方向相反的进行方向改变的该形态改变量，并且

当由该形态监测部辨别的该指示体的最新形态的改变量是负数时，该处理执行量确定部确定沿与由该姿势识别部辨别的处理的初始进行方向相反的该进行方向的处理执行量。

10.根据权利要求1至4的任意一个所述的姿势识别装置，其中该处理执行量确定部确定该处理执行实体执行由该姿势识别部辨别的处理的次数作为该处理执行量。

11.根据权利要求1至4的任意一个所述的姿势识别装置，其中当由该姿势识别部辨别的处理是用于将焦点从依序排列的多个选项中的任意一个改变到另一选项的处理时，该处理执行量确定部确定示出该焦点移动了多少相隔的选项的选项数目作为该处理执行量。

12.根据权利要求2所述的姿势识别装置，其中该处理执行量确定部与手指的倾斜角度的改变量成比例地来确定该处理执行量，该手指是作为图像被拍摄的该指示体且是由该形态监测部进行辨别，并且

当由该姿势识别部辨别的处理是用于将焦点从依序排列的多个选项中的任意一个改变到另一选项的处理时，该处理执行量是示出该焦点移动了多少相隔的选项的选项数目。

13.根据权利要求1至4的任意一个所述的姿势识别装置，其中该处理执行量确定部基于已经开始该移动的该指示体的形态的改变而确定该处理执行量。

14.根据权利要求1至4的任意一个所述的姿势识别装置，其中该处理执行量确定部基于不同于已经开始该移动的该指示体且图像被拍摄的第二指示体的形态的改变而确定该处理执行量。

15.一种电子器件，包括：根据权利要求1至14的任意一个所述的姿势识别装置；

图像拍摄单元，用于将通过拍摄该指示体的图像获得的拍摄图像提供至该姿势识别装置；以及

处理执行实体，用于根据由该姿势识别装置确定的该处理执行量而执行由该姿势识别装置辨别的该处理。

16.根据权利要求15所述的电子器件，其中当由该姿势识别部辨别的处理是用于将焦点从依序排列的多个选项中的任意一个改变到另一选项的处理时，由该姿势识别装置确定的该处理执行量是示出该焦点移动了多少相隔的选项的选项数目，并且该处理执行实体按照由该姿势识别装置确定的数目的相隔的选项来移动该焦点。

17.一种姿势识别方法，包括以下步骤：

姿势识别步骤，基于对图像被拍摄的指示体的移动轨迹来识别姿势，并辨别与所识别的姿势对应的处理作为待由处理执行实体执行的处理；以及

处理执行量确定步骤，确定由该姿势识别步骤辨别的待由该处理执行实体执行的处理的处理执行量，

其中在该处理执行量确定步骤中，基于图像已被拍摄的该指示体的形态的改变来确定该处理执行量。

Images