CN104914990B - 姿势辨识装置以及姿势辨识装置的控制方法 - Google Patents

姿势辨识装置以及姿势辨识装置的控制方法 Download PDF

Info

Publication number
CN104914990B
CN104914990B CN201510051340.1A CN201510051340A CN104914990B CN 104914990 B CN104914990 B CN 104914990B CN 201510051340 A CN201510051340 A CN 201510051340A CN 104914990 B CN104914990 B CN 104914990B
Authority
CN
China
Prior art keywords
shape
pointer
object position
movement
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510051340.1A
Other languages
English (en)
Other versions
CN104914990A (zh
Inventor
田中清明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104914990A publication Critical patent/CN104914990A/zh
Application granted granted Critical
Publication of CN104914990B publication Critical patent/CN104914990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及姿势辨识装置以及姿势辨识装置的控制方法。一种姿势辨识装置，从所取得的图像检测姿势，对应于该姿势，将使指针移动的命令发送至对象设备，其特征在于，具有：图像取得部件，取得图像；姿势取得部件，从所述取得的图像取得做出姿势的对象部位的形状和该对象部位的运动；以及指针控制部件，对应于所述对象部位的运动，生成使指针移动的命令，并输出至所述对象设备，所述指针控制部件基于所述对象部位的形状以及所述对象部位的运动而决定指针的移动量。

Description

姿势辨识装置以及姿势辨识装置的控制方法
技术领域
本发明涉及对基于姿势(gesture)的输入操作进行辨识的姿势辨识装置。
背景技术
利用姿势来对计算机或信息设备那样的能够进行基于指示(pointing)的操作的设备进行输入操作的装置被实用化。在这样的装置中，例如使用摄像机来拍摄用户，对用户的身体部位的运动进行辨识，基于辨识结果而使指针(pointer)移动。由此，用户不触摸输入设备就能够在GUI画面上操作指针。
例如，在专利文献1中，记载了以下姿势辨识装置：根据所取得的图像而检测正在做出姿势的部位，取得该部位中包含的特征点的移动方向，从而检测该部位的移动轨迹。通过综合地判定特征点的移动方向，能够高精度地取得正在做出姿势的部位整体的运动。
现有技术文献
专利文献
专利文献1：(日本)特开2011－076255号公报
专利文献2：(日本)特开2012－058854号公报
在通过姿势而使指针移动的情况下，能够表示移动方向，但不能表示绝对的移动量。从而，姿势辨识装置需要基于用户做出的姿势，决定指针的最佳移动量。
但是，指针的最佳移动量并不一定在全部姿势中相同。例如，在以指尖做出姿势时的手指的移动量、和在移动手腕整体而做出姿势时的手的移动量分别不同。从而，若将指针的移动量设为一样，则会产生以下不好的情况：即使移动指尖，指针也不能如想象般移动，或者若移动手，则指针移动得比设想大。
为了解决该问题，需要判定是通过较大的运动来做出姿势，还是通过较小的运动来做出姿势，从而调整指针的移动量。
另一方面，专利文献2所述的姿势辨识装置具有以下功能：将所拍摄到的图像分割为多个区域，检测手存在的区域，从而判定姿势整体的运动的大小。
但是，专利文献2所述的装置检测根据姿势而描绘的图形，基于描绘该图形所需的运动来判定姿势的运动的大小，所以不能在姿势结束之前进行判定。即，该技术不能应用于根据姿势而以实时的方式使指针移动的装置。
发明内容
本发明是考虑上述的课题而完成的，其目的在于，提供在对应于所输入的姿势而使指针移动的姿势辨识装置中，适当地决定指针的移动量的技术。
为了解决上述课题，本发明所涉及的姿势辨识装置采取以下结构：判定做出姿势的身体部位即对象部位的形状，使用该形状来决定指针的移动量。
具体而言，本发明所涉及的姿势辨识装置是从所取得的图像检测姿势，将对应于该姿势而使指针移动的命令发送至对象设备的姿势辨识装置，其特征在于，具有：图像取得部件，取得图像；姿势取得部件，从所述取得的图像取得做出姿势的对象部位的形状和该对象部位的运动；以及指针控制部件，对应于所述对象部位的运动，生成使指针移动的命令，并输出至所述对象设备，所述指针控制部件基于所述对象部位的形状以及所述对象部位的运动而决定指针的移动量。
对象部位是用户做出姿势的部位，典型地说是人的手。指针的位置能够基于对象部位的运动而决定，但在本发明所涉及的姿势辨识装置中，基于对象部位的形状来决定指针的移动量。
例如，在用户竖起食指而做出姿势的情况下，能够估计为通过移动指尖而使指针移动，所以能够以更小的运动进行操作，因此指针的移动量比张开手掌而做出姿势的情况大。
像这样，本发明所涉及的姿势辨识装置除了基于对象部位的运动之外，还基于对象部位的形状来决定指针的移动量，从而实现可用性的提高。
此外，也可以是，所述姿势取得部件的特征在于，从所述取得的图像进一步取得所述对象部位的大小，所述指针控制部件进一步基于所述对象部位的大小而决定指针的移动量。
也可以是，所取得的姿势的移动量根据正在做出姿势的用户与装置之间的距离而改变，所以对其进行校正，因此根据图像中的对象部位的大小来改变指针的移动量。
此外，也可以是，所述姿势取得部件判定所述对象部位的形状是第一形状，还是与所述第一形状不同的第二形状，所述指针控制部件在所述对象部位的形状为第一形状的情况下，与所述对象部位的形状为第二形状的情况相比，使得指针的移动量更大。
像这样，也可以根据对象部位的形状而切换指针的移动量的大小。
此外，也可以是，所述对象部位是人的手，所述第一形状是能够估计为通过移动指尖而做出姿势的形状，所述第二形状是能够估计为通过移动手整体而做出姿势的形状。
第一以及第二形状优选能够判定用户是通过移动手整体而做出姿势，还是通过移动指尖而做出姿势的形状。在估计为不是使用手整体而是使用指尖来做出姿势的情况下，使得指针的移动量更大。由此，即使在以指尖的较小的运动做出姿势的情况下，也能够确保指针的移动量。
此外，也可以是，其特征在于，所述姿势取得部件在作为对象部位的手的形状是一部分的手指竖起的形状的情况下，判定为是第一形状，在为全部的手指打开的形状的情况下，判定为是第二形状。
在五根手指之中的一部分竖起的情况下，能够估计为使用指尖做出姿势，在全部的手指打开的情况下，能够估计为通过移动手整体做出姿势。另外，一部分的手指竖起的状态不包含打开全部手指的状态。
此外，也可以是，其特征在于，所述姿势取得部件在作为对象部位的手的形状是仅一根手指伸展的形状的情况下，判定为是第一形状。
像这样，在检测到仅一根伸展的手指的情况下，能够估计为使用指尖做出姿势。
此外，也可以是，其特征在于，所述指针控制部件在所述取得的图像中，设定坐标与所述对象设备具有的显示画面建立对应的区域即辨识区域，将所述辨识区域中的对象部位的运动映射到所述显示画面从而决定指针的位置，基于所述对象部位的形状，变更所述辨识区域的大小。
辨识区域是所取得的图像中设定的、坐标与对象设备的画面相映射的区域。即，在辨识区域小的情况下，与辨识区域大的情况相比，能够以更小的姿势更大地移动指针。像这样，也可以基于对象部位的形状而设定辨识区域的大小，从而变更指针的移动量。
另外，本发明能够特定为包含上述部件的至少一部分的姿势辨识装置。此外，还能够特定为所述姿势辨识装置的控制方法或用于使所述姿势辨识装置动作的程序、记录了该程序的记录介质。只要没有产生技术上的矛盾，则能够将上述处理或部件自由组合而实施。
根据本发明，能够提供在对应于所输入的姿势而使指针移动的姿势辨识装置中，适当地决定指针的移动量的技术。
附图说明
图1是第一实施方式所涉及的姿势辨识***的结构图。
图2(A)～(B)是说明姿势和与该姿势对应的指针的运动的图。
图3(A)～(B)是说明对象部位的形状的差异的图。
图4是说明用于决定指针的移动量的校正数据的图。
图5是表示第一实施方式中姿势辨识装置进行的处理的流程图。
图6是表示第二实施方式中姿势辨识装置进行的处理的流程图。
图7(A)～(B)是说明第二实施方式中的辨识区域的图。
图8是说明第二实施方式中的辨识区域的第二图。
图9是说明第二实施方式中的辨识区域的第三图。
标号说明
100···姿势辨识装置
101···图像取得部
102···姿势提取部
103···指针控制部
104···指令生成部
200···对象设备
具体实施方式
(第一实施方式)
<***结构>
参照作为***结构图的图1说明第一实施方式所涉及的姿势辨识***的概要。第一实施方式所涉及的姿势辨识***是由姿势辨识装置100以及对象设备200构成的***。
对象设备200具有画面(未图示)，是通过该画面上显示的指针而进行输入操作的设备。对象设备200除了能够通过鼠标等指示设备来操作指针之外，还能够通过从姿势辨识装置100接收到的信号来使指针移动。
另外，只要对象设备200能够通过有线或者无线而从姿势辨识装置100接收信号，则也可以是电视、录影机、计算机等任意设备。在本实施方式的说明中，将对象设备200具有的、显示指针的画面称为操作画面。
姿势辨识装置100是使用摄像机来辨识用户做出的姿势，且基于所辨识出的姿势运算指针的移动目的地，将使该指针移动的命令发送至对象设备200的装置。例如，若用户进行如图2(A)那样的姿势，则用于使指针移动的信号从姿势辨识装置100被发送至对象设备200，如图2(B)那样指针移动。
在本实施方式中，设为对象设备200是电视，姿势辨识装置100是被内置于该电视的装置。图2都是从用户侧观看电视画面侧的图。
接着，参照图1，详细说明姿势辨识装置100。
姿势辨识装置100具有图像取得部101、姿势提取部102、指针控制部103、指令生成部104。
图像取得部101是从外部取得图像的部件。在本实施方式中，使用被安装在电视画面的正面上部的摄像机(未图示)来拍摄用户。图像取得部101使用的摄像机也可以是取得RGB图像的摄像机，也可以是取得灰阶图像或红外线图像的摄像机。此外，图像不一定通过摄像机而取得，例如也可以是距离传感器生成的表示距离的分布的图像(距离图像)。此外，也可以是距离传感器和摄像机的组合等。
只要图像取得部101所取得的图像(以下，摄像机图像)能够取得用户做出的姿势的运动和做出了该姿势的身体部位的形状，则也可以是任意图像。此外，摄像机图像的视场角与电视的可视角大致相同即可。
姿势提取部102是从图像取得部101取得的摄像机图像中检测做出姿势的身体部位(以下，对象部位)，追踪其运动从而提取姿势的部件。在本实施方式的情况下，设为用户使用手做出姿势。姿势提取部102例如从摄像机图像之中检测表示人的手的区域，追踪其运动，从而提取姿势。
此外，姿势提取部102同时取得针对对象部位的形状的信息。关于对象部位的形状，在之后详细说明。
指针控制部103是基于所提取到的姿势来决定指针的移动目的地的部件。具体而言，基于对象部位的移动方向以及移动量来决定指针的移动方向以及移动量。此外，使用针对对象部位的形状的信息来校正指针的移动量。关于具体的方法在后面叙述。
指令生成部104是生成用于使指针移动到指针控制部103所决定的移动目的地的信号，并向对象设备200发送的部件。所生成的信号是对对象设备200命令指针的移动的信号，例如也可以是电信号，也可以是通过无线调制的信号、或被脉冲调制的红外线信号等。
姿势辨识装置100是具有处理器、主存储装置、辅助存储装置的计算机，通过辅助存储装置中存储的程序被加载到主存储装置中并由处理器执行，从而前述的各部件发挥作用(处理器、主存储装置、辅助存储装置都未图示)。
<指针的控制方法概要>
接着，参照图3，关于基于所提取到的姿势而决定指针的移动目的地的方法，说明其概要。图3是摄像机图像的例子(对象部位以外省略图示)。图3(A)表示平行地移动食指的指尖的姿势，图3(B)表示平行地移动手掌的姿势。
该两个姿势都意味着“使指针向左移动”，但在竖起手指而做出姿势的情况下，想要通过指尖的微小的运动来操作指针的情况较多，在由手掌做出姿势的情况下，想要通过手整体的较大的运动来操作指针的情况较多。从而，若单纯地根据对象部位的移动量而决定指针的移动量，则不能得到用户意图的移动量，从而有导致可用性的降低的顾虑。
因此，在本实施方式所涉及的姿势辨识装置中，与以往的姿势辨识装置相同，在基于对象部位的移动方向以及移动量而决定了指针的移动方向以及移动量之后，根据对象部位的形状而校正指针的移动量。
在本实施方式中，对象部位的形状根据竖起的手指的根数而识别。例如，在图3(A)的情况下，判定为竖起的手指的数目为一根，在图3(B)的情况下，判定为竖起的手指的数目为五根。在以后的说明中，将竖起一根手指的状态成为“形状1”，将打开手而竖起五根手指的状态称为“形状5”。
竖起的手指的数目例如也可以对所取得的摄像机图像应用模板图像来进行匹配从而判定，也可以通过模板匹配检测到手掌之后，从周边区域搜索手指。此外，也可以使用手的骨骼模型等。对手指的数目的判定来说，由于使用已知的方法，所以省略详细的说明。
在本实施方式中，指针控制部103在基于对象部位的移动方向以及移动量而决定了指针的移动方向以及移动量之后，乘以与所判定的手指的根数对应的校正值，从而校正指针的移动量。
在此，说明校正值。图4是指针控制部103具有的、将对象部位的形状和校正值建立了对应的数据。将该数据称为校正数据。
竖起的手指的根数越少则校正值变得越大。例如，在图4的例子中，在对象部位为形状1的情况，作为校正值而乘以3.0，在对象部位为形状5的情况下，作为校正值而乘以1.0。即，在对象部位为形状1的情况下，与为形状5的情况相比，指针的移动量成为3倍。
<整体处理>
接着，参照作为处理流程图的图5说明本实施方式所涉及的姿势辨识装置100进行的处理的整体。
图5所示的处理在存在表示输入开始的操作的情况下(例如，将指示所需的功能在对象设备侧启动时等)开始。
首先，图像取得部101取得摄像机图像(步骤S11)。在本步骤中，例如使用电视画面的正面上部具备的摄像机，取得RGB彩色图像。
接着，姿势提取部102从所取得的摄像机图像，尝试对象部位的检测(步骤S12)。对象部位的检测例如能够通过图案(pattern)匹配等而进行。在存在多个设想的对象部位的形状的情况下，也可以使用多个图像模板来进行匹配。在此，在没有检测到对象部位的情况下，在待机规定的时间后重新取得图像，重复同样的处理。
接着，姿势提取部102判定所检测到的对象部位的形状(步骤S13)。在本实施方式中，判定对象部位的形状是形状1还是形状5。如果对象部位的形状为预先定义的形状以外的情况下，也可以中断处理而返回步骤S11，也可以作为“没有相应”而继续处理。
接着，姿势提取部102使用步骤S11中取得的摄像机图像，提取由对象部位做出的姿势(步骤S14)。另外，对姿势的提取来说，由于需要多张图像，所以在初次执行了步骤S14的情况下，将所取得的图像暂时存储，并返回步骤S11。
通过执行步骤S14，能够取得对象部位的移动方向和移动量。对象部位的移动方向和移动量例如能够通过提取对象部位中包含的特征点，追踪该特征点从而取得。由于该方法是已知的方法，所以省略详细的说明。
接着，指针控制部103基于步骤S14中取得的对象部位的移动方向和移动量，如以下那样决定指针的移动方向和移动量(步骤S15)。
(1)指针的移动方向＝(从用户看到的)对象部位的移动方向
在从用户观看而对象部位向右方向移动的情况下，指针的移动方向也成为右方向。
(2)指针的移动量(像素)＝对象部位的移动量(像素)×系数C1
对象部位的移动量是所取得的摄像机图像中的像素数。此外，系数C1是用于决定指针的默认的移动量的系数。例如，在操作画面的分辨率与摄像机的分辨率相同的情况下，也可以使用1.0这样的值作为系数C1，在分辨率不同的情况下，为了校正分辨率，也可以使用任意的值。
另外，也可以基于摄像机图像中的对象部位的大小而改变系数C1。例如，在与图像尺寸相比对象部位的大小较小的情况下，认为用户从装置远离而做出姿势，所以也可以使得系数C1变大。
此外，系数C1也可以在纵向和横向分别使用不同的值。由此，例如，在操作画面和摄像机图像的长宽比不同的情况下，能够对其进行校正。
通过步骤S15的处理，决定指针的移动方向和移动量。
接着，指针控制部103校正指针的移动量(步骤S16)。
例如，如图4所示，考虑对应于“形状1”的校正值为3.0，对应于“形状5”的校正值为1.0，且对象部位在帧间移动了10像素的情况(系数C1在此不考虑)。此时，在对象部位为形状5的情况下，指针的移动量成为10像素，在对象部位为形状1的情况下，指针的移动量成为30像素。
接着，指令生成部104生成用于使指针移动的控制信号，并发送至对象设备200(步骤S17)。在前述的例子中，例如生成表示“将指针向右方向移动30像素”这样的命令的控制信号，并发送至对象设备200。
另外，步骤S11～S17的处理被周期性地执行。此外，图5所示的处理在存在表示输入结束的操作的情况下(例如，将指示所需的操作在对象设备侧结束时等)结束。
如上说明，第一实施方式所涉及的姿势辨识装置通过做出了姿势的对象部位的形状来校正指针的移动量。由此，能够识别以指尖做出了姿势的情况(即姿势的运动较小的情况)、和以手整体做出了姿势的情况(即姿势的运动较大的情况)，能够适当地设定指针的移动量。
另外，在实施方式的说明中，在步骤S13中每次判定对象部位的形状，但该步骤也可以仅执行在检测到对象部位之后的一次，在开始姿势之后跳过。通过这样，能够抑制处理量。
其中，由于存在姿势结束而接着开始不同的姿势的情况，所以在这样的情况下，也可以再次执行该步骤。例如，也可以在对象部位的形状或大小显著变化的情况、或对象部位从图像离开(flame out)后再次进入(flame in)的情况下等，判断为开始了不同的姿势，再次执行步骤S13。此外，也可以通过明示的操作而再执行。
(第二实施方式)
第二实施方式是通过对区域之间进行映射从而决定指针的移动目的地而不是使用对象部位的移动量以及移动方向来决定指针的移动目的地的实施方式。第二实施方式所涉及的姿势辨识装置的结构除去以下说明的点，与第一实施方式相同。
图6是第二实施方式中的姿势辨识装置100的处理流程图。关于步骤S11～S13、S17的处理，由于与第一实施方式相同，所以省略说明。
在步骤S24中，指针控制部103对所取得的摄像机图像设定与操作画面对应的区域即辨识区域。
参照图7说明辨识区域。图7(A)是摄像机图像的例子，图7(B)是操作画面的例子。辨识区域是所取得的摄像机图像中设定的区域，是坐标与操作画面建立了对应的区域。
在本例中，辨识区域51与操作画面52对应。即，辨识区域51的左上与操作画面52的右上对应，辨识区域51的右下与操作画面52的左下对应。
并且，在步骤S25中，姿势提取部102检测处于辨识区域中的对象部位的坐标，指针控制部103进行坐标变换，生成操作画面中的对应坐标。
并且，在步骤S17中，指令生成部104生成在该坐标上使指针移动的信号。其结果，与第一实施方式相同，在操作画面上指针移动。
在第二实施方式中，基于所检测到的对象部位的形状，变更辨识区域的尺寸从而校正指针的移动量。
在此，说明步骤S25中进行的辨识区域的具体的设定方法。在本实施方式中，如以下那样设定辨识区域。
(1)辨识区域的尺寸＝(预定的尺寸×系数C2)÷校正值
(2)辨识区域的中心坐标＝对象部位的中心坐标
系数C2是用于决定校正前的辨识区域的尺寸的数值。系数C2也可以是固定值，也可以是根据对象部位的大小而增减的值。例如，也可以是在与摄像机图像相比对象部位的大小较小的情况下，认为用户从装置远离而做出姿势，所以通过将系数C2设为1以下从而使得辨识区域变小。
此外，在第二实施方式中，将校正前的辨识区域的尺寸以校正值进行除法。例如，考虑校正前的辨识区域的尺寸为600×450像素，使用图4所示的校正数据的情况。
此时，在对象部位为形状5的情况下，以校正值1.0进行除法，其结果，辨识区域的尺寸成为600×450像素。此外，在对象部位为形状1的情况下，以校正值3.0进行除法，其结果，辨识区域的尺寸成为200×150像素。
与第一实施方式相同，图6所示的各步骤被周期性地执行。此外，图6所示的处理的开始以及结束条件与第一实施方式相同。
根据第二实施方式，例如在对象部位为形状1的情况下，如图8以及图9所示，与为形状5的情况相比，辨识区域被设定得较小。即，由于指针相对于对象部位的移动量而移动得更大，所以能够得到与第一实施方式相同的效果。
另外，步骤S13以及S24仅执行检测到对象部位之后的一次，在开始了姿势之后跳过。其中，由于还存在姿势结束而接着开始不同的姿势的情况，在这样的情况下，也可以再次执行该步骤。例如，也可以是在对象部位的形状或大小显著地变化的情况、对象部位从图像离开后再次进入的情况下等，判断为开始了不同的姿势，再次执行步骤S13以及S24。此外，也可以通过明示的操作而再执行。
另外，在本实施方式的说明中，以检测到的对象部位来到辨识区域的中心的方式设定辨识区域的位置，但辨识区域的位置也可以根据操作画面正在显示的指针的位置而变更。例如，也可以是在指针处于操作画面的左端的情况下，以所检测到的对象部位来到辨识区域的左端的方式设定辨识区域的位置。
(变形例)
另外，各实施方式的说明是在说明本发明的基础上的例示，本发明能够在不脱离发明的意旨的范围内适当变更或者组合而实施。
例如，在实施方式的说明中，将姿势辨识装置100设为嵌入对象设备200的装置，但姿势辨识装置100也可以是独立的装置。
此外，姿势辨识装置100也可以在对象设备200上作为进行动作的程序而安装。在作为程序而安装的情况下，也可以构成为处理器执行存储器中存储的程序，也可以构成为通过FPGA(现场可编程门阵列，Field Programmable Gate Array)或ASIC(专用集成电路，Application Specific Integrated Circuit)等而执行。
此外，在实施方式的说明中，列举了使用摄像机来取得图像的例子，但只要能够取得姿势且识别对象部位的形状，则也可以通过例如经由网络而接收图像等所例示的方法以外的方法来取得图像。
此外，对象部位也可以不一定是人的手。例如，也可以是其他身体部位，也可以是姿势输入用的标记物等。
此外，本发明中的“对象部位的形状”意味着姿势辨识装置通过图像而辨识出的形状，不需要必须使对象部位物理地变形。例如，在对摄像机举起了手掌的情况、和举起了手背的情况下，分别作为不同的形状来处理。同样，在使用姿势输入用的标记物的情况下，在将标记物保持为纵朝向的情况、保持为横朝向的情况下，分别作为不同的形状而处理。
此外，在实施方式的说明中，关于对象部位的形状，设为识别“形状1”和“形状5”这两种，但也可以识别其他形状。其他形状例如也可以是握着的状态的手，也可以是竖起两根手指的状态。此外，也可以识别三种以上的形状。无论在哪个的情况下，使与各形状建立了关联的校正值存储至指针控制部103，通过前述的方法进行校正即可。

Claims (6)

1.一种姿势辨识装置，从所取得的图像检测姿势，对应于该姿势，将使指针移动的命令发送至对象设备，其特征在于，具有：
图像取得部件，取得图像；
姿势取得部件，从所述取得的图像取得做出姿势的对象部位的形状、所述对象部位的大小、以及所述对象部位的运动；以及
指针控制部件，对应于所述对象部位的运动，生成使指针移动的命令，并输出至所述对象设备，
所述指针控制部件基于所述对象部位的形状、所述对象部位的大小、以及所述对象部位的运动而决定指针的移动量，
所述姿势取得部件判定所述对象部位的形状是第一形状，还是与所述第一形状不同的第二形状，
所述指针控制部件在所述对象部位的形状为第一形状的情况下，与所述对象部位的形状为第二形状的情况相比，使得指针的移动量更大。
2.如权利要求1所述的姿势辨识装置，其特征在于，
所述对象部位是人的手，
所述第一形状是能够估计为通过移动指尖而做出姿势的形状，
所述第二形状是能够估计为通过移动手整体而做出姿势的形状。
3.如权利要求2所述的姿势辨识装置，其特征在于，
所述姿势取得部件在作为对象部位的手的形状为一部分的手指竖起的形状的情况下，判定为是第一形状，在为全部的手指打开的形状的情况下，判定为第二形状。
4.如权利要求2所述的姿势辨识装置，其特征在于，
所述姿势取得部件在作为对象部位的手的形状是仅一根手指伸展的形状的情况下，判定为是第一形状。
5.如权利要求1所述的姿势辨识装置，其特征在于，
所述指针控制部件
在所述取得的图像中，设定坐标与所述对象设备具有的显示画面建立对应的区域即辨识区域，将所述辨识区域中的对象部位的运动映射到所述显示画面从而决定指针的位置，
基于所述对象部位的形状，变更所述辨识区域的大小。
6.一种姿势辨识装置的控制方法，从所取得的图像检测姿势，对应于该姿势，将使指针移动的命令发送至对象设备，其特征在于，包含：
图像取得步骤，取得图像；
姿势取得步骤，从所述取得的图像取得做出姿势的对象部位的形状、所述对象部位的大小、以及所述对象部位的运动；以及
指针控制步骤，对应于所述对象部位的运动，生成使指针移动的命令，并输出至所述对象设备，
在所述指针控制步骤中，基于所述对象部位的形状、所述对象部位的大小、以及所述对象部位的运动而决定指针的移动量，
所述姿势取得步骤判定所述对象部位的形状是第一形状，还是与所述第一形状不同的第二形状，
在所述指针控制步骤中，在所述对象部位的形状为第一形状的情况下，与所述对象部位的形状为第二形状的情况相比，使得指针的移动量更大。
CN201510051340.1A 2014-03-12 2015-01-30 姿势辨识装置以及姿势辨识装置的控制方法 Active CN104914990B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-048910 2014-03-12
JP2014048910A JP6287382B2 (ja) 2014-03-12 2014-03-12 ジェスチャ認識装置およびジェスチャ認識装置の制御方法

Publications (2)

Publication Number Publication Date
CN104914990A CN104914990A (zh) 2015-09-16
CN104914990B true CN104914990B (zh) 2018-09-11

Family

ID=54068892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510051340.1A Active CN104914990B (zh) 2014-03-12 2015-01-30 姿势辨识装置以及姿势辨识装置的控制方法

Country Status (4)

Country Link
US (1) US20150261409A1 (zh)
JP (1) JP6287382B2 (zh)
KR (1) KR101631015B1 (zh)
CN (1) CN104914990B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6008904B2 (ja) * 2014-07-03 2016-10-19 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置、表示制御方法、及び、プログラム
KR20170066021A (ko) * 2015-12-04 2017-06-14 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
WO2017138545A1 (ja) * 2016-02-08 2017-08-17 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
JP2019164440A (ja) * 2018-03-19 2019-09-26 株式会社リコー 情報処理装置及び情報処理方法
JP7186999B2 (ja) * 2018-05-16 2022-12-12 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム
WO2023055365A1 (en) 2021-09-30 2023-04-06 17Live Japan Inc. System, method and computer-readable medium for video processing
CN114911384B (zh) * 2022-05-07 2023-05-12 青岛海信智慧生活科技股份有限公司 镜子显示器及其远程控制方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4610942B2 (ja) * 2004-06-22 2011-01-12 アルプス電気株式会社 カーソル移動量の変換比調整装置および方法
JP5631535B2 (ja) * 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
TW201027399A (en) * 2009-01-09 2010-07-16 E Lead Electronic Co Ltd Method for aiding control of cursor movement through a track pad
KR101617645B1 (ko) * 2009-02-24 2016-05-04 삼성전자주식회사 디스플레이 제어 방법 및 이를 이용한 장치
JP5381569B2 (ja) 2009-09-29 2014-01-08 富士通株式会社 ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
JP5412227B2 (ja) * 2009-10-05 2014-02-12 日立コンシューマエレクトロニクス株式会社 映像表示装置、および、その表示制御方法
GB2483168B (en) * 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
CN102754048A (zh) * 2009-12-04 2012-10-24 奈克斯特控股公司 用于位置探测的成像方法和***
KR101307341B1 (ko) * 2009-12-18 2013-09-11 한국전자통신연구원 동적 개체 모션 캡쳐 방법 및 그 장치
US8730164B2 (en) * 2010-05-28 2014-05-20 Panasonic Corporation Gesture recognition apparatus and method of gesture recognition
EP2395413B1 (en) * 2010-06-09 2018-10-03 The Boeing Company Gesture-based human machine interface
US8416187B2 (en) * 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
JP5264844B2 (ja) 2010-09-06 2013-08-14 日本電信電話株式会社 ジェスチャ認識装置及び方法
US8817087B2 (en) * 2010-11-01 2014-08-26 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
CN102073408A (zh) * 2010-12-29 2011-05-25 杨开艳 触控板双指滑动加速光标移动的方法
WO2012171116A1 (en) * 2011-06-16 2012-12-20 Rafal Jan Krepec Visual feedback by identifying anatomical features of a hand
US9292112B2 (en) * 2011-07-28 2016-03-22 Hewlett-Packard Development Company, L.P. Multimodal interface
US9032334B2 (en) * 2011-12-21 2015-05-12 Lg Electronics Inc. Electronic device having 3-dimensional display and method of operating thereof
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US20150220150A1 (en) * 2012-02-14 2015-08-06 Google Inc. Virtual touch user interface system and methods
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
SE537553C2 (sv) * 2012-08-03 2015-06-09 Crunchfish Ab Förbättrad identifiering av en gest
CN102854983B (zh) * 2012-09-10 2015-12-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
US8890812B2 (en) * 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition
US9696867B2 (en) * 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
CN103926999B (zh) * 2013-01-16 2017-03-01 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
JP6349800B2 (ja) * 2014-03-12 2018-07-04 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2015176253A (ja) * 2014-03-13 2015-10-05 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9317129B2 (en) * 2014-03-25 2016-04-19 Dell Products, Lp System and method for using a side camera for a free space gesture inputs

Also Published As

Publication number Publication date
KR20150106824A (ko) 2015-09-22
KR101631015B1 (ko) 2016-06-15
JP2015172886A (ja) 2015-10-01
CN104914990A (zh) 2015-09-16
JP6287382B2 (ja) 2018-03-07
US20150261409A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
CN104914990B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
US11003253B2 (en) Gesture control of gaming applications
EP2577426B1 (en) Information processing apparatus and method and program
US8768006B2 (en) Hand gesture recognition
CN104914989B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
KR101083408B1 (ko) 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
KR101364571B1 (ko) 영상 기반의 손 검출 장치 및 그 방법
US20140240225A1 (en) Method for touchless control of a device
US20140139429A1 (en) System and method for computer vision based hand gesture identification
KR101360149B1 (ko) 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US9218060B2 (en) Virtual mouse driving apparatus and virtual mouse simulation method
US20140118244A1 (en) Control of a device by movement path of a hand
US10719943B2 (en) Program and image processing device
JP5464661B2 (ja) 情報端末装置
KR20210003515A (ko) 인터렉티브모드를지원하는증강현실구현장치
JP6762544B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5773421B2 (ja) 情報端末装置
EP2919096B1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
CN115836270A (zh) 用户界面方法和***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant