CN105159445B - 输入装置 - Google Patents

Abstract

本发明提供一种对于用户而言使用便利的输入装置，其具备：作为图像信号输入操作者的运动的输入部；根据输入到输入部的图像信号检测运动的运动检测部；显示图形用户界面的显示部；和根据由运动检测部检测到的运动，在显示部中变更图形用户界面的显示的控制部，其中，在操作者操作运动前，控制部在显示部中显示运动向导，该运动向导通过动画的变化表示与操作者的运动不同步的、所需要的操作者的运动和通过进行所需要的操作者的运动导致的显示的图形用户界面的变更状态，在操作者依照动画的变化操作运动后，控制部在显示部中，改变图形用户界面的显示，使得动画的变化与由运动检测部检测到的操作者的运动同步。

Description

输入装置

本案是申请号为201010167387.1、申请日为2010年4月23日的同名专利申请的分案申请

技术领域

本发明涉及输入装置。

背景技术

经由图形用户界面(以下称作GUI)接收用户(操作者)的操作，同时赋予用户操作结果的反馈的计算机及电视机正在普及。

专利文献1中，公开有显示用于辅助用户的操作的操作引导信息的便携终端。用户可根据该引导使手指上下左右动作，执行目的功能。

专利文献2中，公开有进行用于以视觉方式表示成为用户的操作的姿势的识别对象的姿势图像显示的接口装置。用户可边确认姿势图像边进行装置的操作。

专利文献3中公开有显示成为用户的操作的姿势的图表和显示所进行的操作的车载设备。用户为了容易地进行而可以了解姿势。

专利文献4中公开有表示驾驶中手的状态和显示操作对象设备的选择向导信息的车辆用操作输入装置。用户参照该向导动手，可选择目的操作设备。

专利文献1：日本专利特开2007－213245号公报

专利文献2：日本专利特开2008－52590号公报

专利文献3：日本专利特开2001－216069号公报

专利文献4：日本专利特开2005－250785号公报

任一专利文献都公开有表示用于操作的动作、停顿，用户根据这些指示执行与规定的装置相关的动作。

但是，用户为进行操作而进行规定的动作或采取规定的停顿时，直至规定的动作、规定的停顿，偶尔会将无意识进行的其它动作、其它停顿识别为用于操作的动作，可能会执行与非意图的装置相关的动作。

例如，用户为使所显示的内容向右方向动作，在将手向右方向动作时，处于右方向的手返回左方向的动作被识别为使内容向左方向动作的操作，可能会执行该动作。

即，任一专利文献中都没有考虑，在用户进行用于操作的姿势时，对于用户来说，是从直觉上理解用户的每一个动作是否是被识别的状态。

发明内容

因此，本发明的目的在于，在考虑到这样的事情方面，提供显示用户操作时进行的动作如何识别，且没有非意图的操作的使用性好的输入装置。

为实现所述目的，本发明提供一种输入装置，其具备：作为图像信号输入操作者的运动的输入部；根据输入到上述输入部的图像信号检测运动的运动检测部；显示图形用户界面的显示部；和根据由上述运动检测部检测到的运动，在上述显示部中变更上述图形用户界面的显示的控制部，上述控制部，在上述显示部中显示与由上述运动检测部检测到的运动同步的运动，并变更上述图形用户界面的显示。

在此，上述图形用户界面的显示是为从多个选择项目选择任意的选择项目而使多个选择项目的显示位置移动的显示，上述控制部在上述显示部中显示与由上述运动检测部检测到的运动同步的运动，并且根据该运动使上述多个选择项目的显示位置移动。

另外，上述输入装置中，上述控制部在上述显示部中显示用于对操作前的操作者说明通过哪一运动进行哪一操作的、需要由上述运动检测部进行检测的运动。

在此，上述图形用户界面的显示是为从多个选择项目选择任意的选择项目而使多个选择项目的显示位置移动的显示，上述控制部在上述显示部中显示使上述多个选择项目的显示位置移动所需的、需要由上述运动检测部进行检测的运动。

根据本发明，例如在用户根据姿势进行电视等装置的操作的情况下，用户了解目前自己进行的姿势如何识别，可以以仅进行有意识的操作的方式进行姿势调节。

附图说明

图1是表示实施例1的输入装置的概略图；

图2是表示实施例1的输入装置的构成的框图；

图3是表示实施例1的输入装置的用户的操作方法的概略图；

图4是说明实施例1的用户操作和输入装置的动作的对应的概略图；

图5是说明实施例1的输入装置的动作的流程图；

图6是说明实施例1的用户操作和输入装置的动作的对应的概略图；

图7是表示实施例2的输入装置的用户的操作方法的概略图；

图8是说明实施例2的用户操作和输入装置的动作的对应的概略图；

图9是说明实施例2的用户操作和输入装置的动作的对应的概略图；

图10是说明实施例3的用户操作和输入装置的动作的对应的概略图；

符号说明

100 输入装置

101 显示部

102 摄像部

103 用户

104 操作向导

200 动作检测(运动检测)部

201 控制部

202 影像信号处理部

300 左右摆动手的动作

301 操作滚轮

302 选择项目

303 转动手的动作

400 动画操作向导

700 操作菜单

701 手的动作

800 动画操作向导

1000 操作映像

具体实施方式

下面，对应用了本发明的各实施例进行说明。

(实施例1)

本实施例的输入装置100是从拍摄到用户的动图像检测用户的手的动作并可根据该动作变更GUI的装置。

图1表示用户通过显示部101、摄像部102、用户103、操作引导部104使用输入装置100时的动作环境的概括。

显示部101是输入装置100的显示装置，例如由液晶显示器及等离子体显示器等显示装置构成。显示部101由显示面板和面板控制电路和面板控制驱动器构成，将从后述的影像信号处理部202供给的影像数据显示在该显示面板上。摄像部102是用于向输入装置100输入动图像的装置，例如为相机。用户103是对输入装置100进行操作的用户。操作引导部104是显示在显示部101上的GUI，是用于对上述用户103说明上述输入装置100的操作方法的文字及图。

例如图2所示，输入装置100具备显示部101、摄像部102、动作检测(运动检测)部200、控制部201、影像信号处理部202。

动作检测(运动检测)部200从摄像部102接收动图像信号，根据接收到的动图像信号检测例如人物伸出手、摆手、转动手等人物的动作。另外，根据检测到的动作输出与该动作相对应的规定的指令。控制部201例如由微处理机构成，根据从动作检测(运动检测)部200接收到的上述指令控制影像信号处理部202的动作。影像信号处理部202例如由ASIC、FPGA、MPU等处理装置构成。影像信号处理部202根据控制部201的控制将GUI的影像数据转换成可在显示部101进行处理的形式并输出。

图3表示用户103操作本发明的输入装置100时的用户103的动作和上述显示部101的动作及显示的对应。图3的“通常状态”的图表示用户103未进行输入装置100的操作的状态。本实施例的输入装置100的构成为，识别用户103左右摆手的动作300，开始左右摆手的动作300的识别，输入装置100开始用户103的操作的接收。因此，如图3的“开始操作”的图所示，用户103向输入装置100伸出手，进而左右摆动伸出的手，由此，如图3的“操作状态”的图所示，在上述显示部101显示操作用的菜单。另外，该菜单由操作滚轮301和多个选择项目302构成。用户103进行转动手的动作303时，与之连动，该操作滚轮301转动，并且，该多个选择项目302转动移动。这样，可用户103可选择该选择项目302的任意的项目。

图4是说明用户103操作图3所示的输入装置100时的用户103的动作和上述显示部101的显示的对应的图。作为显示对对应，有上述操作引导部104，动画操作向导400的显示方法及显示时机。动画操作向导400是操作向导，其通过运动的图像向用户说明用于对显示在上述显示部101中的菜单进行操作的方法。

其次，使用图1～图4、及图5的流程图对输入装置100的动作进行说明。

输入装置100是检测从拍摄到用户103的动图像信号检测用户103的手的动作并可根据该动作变更GUI的显示的装置。

首先，参照图2对输入装置100检测用户103的手的动作并根据该动作显示GUI之前的处理的流程。用户103对于输入装置100通过进行未图示的电源按钮等而开始输入装置100的动作。控制部201响应上述动作的开始，赋予影像信号处理部202显示规定的图像的指示。影像信号处理部202响应上述指示，输出用于显示部101的输入的影像信号。由此，在显示部101显示图像。

另外，控制部201响应上述动作的开始，对摄像部102指示动图像的拍摄的开始。摄像部102响应上述指示，开始动图像的拍摄，并将拍摄到的动图像数据向动作检测(运动检测)部200输出。动作检测(运动检测)部200使用从接收到的上述动图像的数据进行特征点提取等的方法来检测用户手的动作，进而在将该手的动作判断为是跟随预先决定的图案的情况下，向控制部201输出对应于该图案的指令。控制部201根据该指令对影像信号处理部202指示GUI的显示及显示的变更。影像信号处理部202响应上述指示，变更输出的影像信号，由此变更显示部101上的GUI的显示。

其次，使用图4及图5的流程图对用户103操作输入装置100时的操作向导104及动画操作导向件400的显示方法进行说明。

首先，用户103按规定的顺序开始输入装置100的动作，输入装置100的控制部201按之前叙述的顺序开始人物的手的动作(姿势)的识别(步骤500)。此时的用户103和输入装置100的状态之一例是图4的“通常状态”。

其次，如图4的“开始操作向导”，用户103向输入装置100伸出手(步骤501：Yes)。输入装置100识别用户103伸出手的动作，将操作向导104显示于显示部101(步骤502)。此时，操作向导104为用户103开始输入装置100的操作时进行的动作(操作开始用姿势)即说明手左右摆动的动作300的向导。另外，用户103放下手时，输入装置100使操作向导104的显示消失(步骤501：No或步骤503：No)。

其次，如图4的“开始操作”，用户103根据由操作向导104说明的内容进行朝向输入装置100左右摆手的动作(步骤503：Yes)。输入装置100识别该左右摆手的动作300，如图4的“动画操作向导”所示，在显示部101中显示由操作滚轮301和选择项目302构成的姿势操作用菜单(步骤504)。进而，输入装置100为说明该姿势操作用菜单的操作方法而在显示部101显示上述动画操作向导400(步骤505)。此时，动画操作向导400以描绘被拍摄的人物，描绘出的人物的手触摸操作滚轮301，手与操作滚轮一同转动移动的方式进行显示。由此，可以对用户103直观地说明在哪一位置进行哪一动作时进行哪一操作或手动作何种程度。

其次，如图4的“操作状态”所示，用户103根据动画操作向导400的显示进行转动手的动作303。当为(步骤506：Yes)时，输入装置100识别用户103的该动作，并通过动画操作向导400显示与所识别的该动作同步的动作，同时将识别出的该动作反映在姿势操作用菜单上(步骤507)。即，用户进行转动手的动作303时，在显示画面上也进行由动画操作向导400显示的人转动接触操作滚轮301的手，而使操作滚轮301转动，并使选择项目302转动的显示。

这样，动画操作向导400在步骤505中，在用户进行操作之前，与用户的动作无关地作为动画变化的非同步型操作向导动作。另外，在步骤507中用户开始操作的情况下，与用户103的动作同步，作为动画变化的同步操作向导进行动作(参照图6)。

这样，输入装置100识别用户103动手的动作，并根据该动作显示操作向导104和动画操作向导400，对用户103提示操作有效的动作(姿势)。由此，用户103可以确认在哪一时机进行哪一动作(姿势)时可以进行所希望的操作，因此，可以顺畅地进行菜单的显示及菜单项目的选择等操作。

另外，上述非同步型操作向导相对于操作前的用户使动画变化，对理解在进行哪一动作时进行哪一操作是有效的。本实施例中，在显示画面内显示操作滚轮301和选择项目302，这样，通过操作使绘画、图、图像移动，与之相对，对于不知道该进行哪一动作的用户特别有效。

另外，上述同步型操作向导对于操作后的用户，通过动画显示用户进行的动作，同时，为进行或不进行实际的操作，而可以使用户直觉上理解用户的每一个动作的状态是否被识别。因此，用户可以通过自身不进行非意图的操作的方式来修正动作。

(实施例2)

接着，对实施例2进行说明。本实施例中，与实施例1的输入装置100的操作方法不同，对用户通过两手的动作可操作输入装置100的情况下的操作方法和操作向导的显示方法进行说明。输入装置100的构成与实施例1相同，用户的操作方法不同。

下面，基于附图说明本实施例。另外，下面，与上述实施例相同的部分标注同一符号，省略其说明。

图7表示本实施例中用户操作输入装置100时的用户手的动作和显示于显示部101的GUI的状态。显示于显示部101的该操作菜单700中，在模拟三维空间内，在圆形的表(table)上配置三个选择项目。而且，通过该圆形的表旋转，位于画面正前的项目成为被选择的项目。另外，在该操作菜单700中，通过对用户103提示在该圆形的表上重叠手形的外观，赋予用户103手放在表上且旋转表的映像。用户手的动作701表示用户103为了操作上述操作菜单700而两手沿圆轨道动作。这样，用户通过使两手沿圆轨道动作而在圆表上转动，可在画面正前使要选择的项目动作。

使用图8对本实施例的输入装置100的动作和操作向导的显示方法进行说明。

图8的“菜单显示”的图表示以与实施例1相同的方法显示菜单的状态。输入装置100可以通过与实施例1相同的方法识别用户103的手的动作。用户103相对于输入装置100伸出双手时，如图8的“动画操作向导显示”所示，表示动画操作向导800。该动画操作向导800显示模拟了人物两手动作的样子的图像，表示用于用户使用有动作的图像操作操作菜单700的情况下进行的动作。其次，用户103根据该动画操作向导800所说明的动作开始操作菜单700的操作时，如图8的“操作”所示，该动画操作向导800的显示消除，将用户103的动作反映成向操作菜单700的操作。

这样，输入装置100通过操作菜单700的形状及外观赋予用户103操作方法的映像。另外，实际上用户103基于该映像进行操作时，更具体地提示说明用户的操作方法的动画操作向导800。

由此，用户可以在进行操作的定时接收有关操作的具体的向导。因此，用户自身要进行的操作有效，即能够理解是哪一操作方法并顺畅地进行菜单项目的操作。

另外，上述操作菜单700例如图9所示，也可以与由实施例1中说明的操作滚轮301和选择项目302构成的操作用菜单的组合构成。本构成中，在用户103对输入装置100伸出单手时，显示单手操作用的动画操作向导。另外，在用户103对于输入装置100伸出两手时，显示两手操作用的动画操作向导。据此，可经由菜单的形状及外观反映多个操作面板，并且可以中实际上用户进行特定的操作时引导用户的操作方法。

(实施例3)

其次，对实施例3进行说明。本实施例中，对在实施例2的输入装置100中，不显示上述动画操作向导，通过在上述操作菜单中操作动作的部位显示用户进行操作映像，实现与实施例2相同的操作方法的输入装置进行说明。

下面，基于附图说明本实施例。另外，下面对与上述的实施例相同的部分标注同一符号，省略其说明。

使用图10说明本实施例的输入装置100的动作和操作映像的显示方法。

图10的操作映像1000是反映了用户的手的图。本图中，用手按住上述操作菜单上的两个选择项目，对用户提示使上述操作菜单700内的圆形的表转动的操作方法。如图10的“抬起两手的状态1”，当用户103对输入装置100伸出两手时，显示操作圆形1000。由此，用户103可以理解，用户自身进行的操作是有效的状态、还是怎样操作方法。另外，图10的“抬起两手的状态2”表示用户103将两手伸出到比该图的“抬起两手的状态1”高的位置的状态。在该图的“抬起两手的状态2”中，操作有效1000的显示状态与该图的“抬起两手的状态1”相同。因此，用户103可以不依赖于伸手的位置，只要伸出两手，就可以识别为输入装置100为相同的动作。

这样，输入装置100不依赖于用户103的动作位置不同时的动作偏差，根据简单的动作在操作菜单上实际操作作用的部位显示操作映像1000。由此，用户在进行操作时，在理解为实际可操作的状态对同时在操作菜单上确认操作动作的部位，以不需要正确度的动作进行操作。

Claims (7)

1.一种输入装置，其特征在于，具备：

作为图像信号输入操作者的运动的输入部；

根据输入到所述输入部的图像信号检测运动的运动检测部；

显示图形用户界面的显示部，该图形用户界面包括菜单画面；和

根据由所述运动检测部检测到的运动，变更所述图形用户界面的显示的控制部，

其中，所述运动检测部作为运动至少检测第一姿势和与所述第一姿势不同的第二姿势，

所述控制部在所述显示部进行：

显示操作向导，其表示所述第一姿势如何动作；

当所述运动检测部检测到所述第一姿势时，用运动向导代替所述操作向导，与所述菜单画面一起显示，该运动向导通过动画的变化表示与操作者的运动不同步的所述第二姿势如何动作，

在所述运动检测部检测到所述第二姿势后，所述控制部改变所述图形用户界面的显示，使得动画的变化与由所述运动检测部检测到的所述第二姿势同步，并且，

能够进行基于检测到的第二姿势的、所述菜单画面的操作。

2.如权利要求1所述的输入装置，其特征在于，

所述图形用户界面的显示包括：

具有多个选择项目的第一图形用户界面部分；

通过操作者改变所述第一图形用户界面部分的选择项目的被选择的状态的第二图形用户界面部分；和

指示所需要的操作者的运动的第三图形用户界面部分，

所述控制部在所述显示部中，显示用于表示随着所述第三图形用户界面部分的变化所述第二图形用户界面部分的操作的方式，以改变所述第一图形用户界面部分的选择项目的被选择的状态的向导，

在操作者操作运动时，所述第二图形用户界面部分和所述第三图形用户界面部分与由所述运动检测部检测到的操作者的运动同步运动，并且，所述控制部在所述显示部中改变所述第一图形用户界面部分的选择项目的被选择的状态，

其中，所述第一图形用户界面部分为所述菜单画面，并且，多个选择项目被排列为圆环状，

所述第一图形用户界面部分和所述第二图形用户界面部分与所述第三图形用户界面部分被重合显示，在所述运动向导对操作者提示第二姿势的动作时，所述第一图形用户界面部分和所述第二图形用户界面部分被显示在所述第三图形用户界面部分的前面一侧，在通过所述第二姿势操作所述菜单画面时，所述第一图形用户界面部分和所述第二图形用户界面部分被显示在所述第三图形用户界面部分的背面一侧。

3.如权利要求1所述的输入装置，其特征在于，

所述控制部在所述显示部中显示用于对操作前的操作者说明通过哪一运动进行哪一操作的、需要由所述运动检测部进行检测的运动。

4.如权利要求3所述的输入装置，其特征在于，

所述图形用户界面的显示是为从多个选择项目选择期望的选择项目而使多个选择项目的显示位置移动的显示，

所述控制部在所述显示部中显示使所述多个选择项目的显示位置移动所需的、需要由所述运动检测部进行检测的运动。

5.如权利要求3所述的输入装置，其特征在于，

需要被显示的运动是操作者单手操作的运动。

6.如权利要求5所述的输入装置，其特征在于，

需要被显示的运动是操作者双手操作的运动。

7.如权利要求3所述的输入装置，其特征在于，

所述控制部在所述显示部中显示运动向导，该运动向导通过动画的变化表示利用操作者伸出的单手或双手的、所需要的操作者的运动和通过进行所需要的操作者的运动导致的显示的图形用户界面的变更状态。