CN104914989B - 姿势辨识装置以及姿势辨识装置的控制方法 - Google Patents

姿势辨识装置以及姿势辨识装置的控制方法 Download PDF

Info

Publication number
CN104914989B
CN104914989B CN201510051339.9A CN201510051339A CN104914989B CN 104914989 B CN104914989 B CN 104914989B CN 201510051339 A CN201510051339 A CN 201510051339A CN 104914989 B CN104914989 B CN 104914989B
Authority
CN
China
Prior art keywords
shape
object position
gesture recognition
point
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510051339.9A
Other languages
English (en)
Other versions
CN104914989A (zh
Inventor
田中清明
山下隆义
古田瑞希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104914989A publication Critical patent/CN104914989A/zh
Application granted granted Critical
Publication of CN104914989B publication Critical patent/CN104914989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及姿势辨识装置以及姿势辨识装置的控制方法。一种姿势辨识装置，从所取得的图像检测姿势，生成与该姿势对应的对于对象设备的命令，所述姿势辨识装置具有：图像取得部件，取得图像；对象部位提取部件，从所述取得的图像，提取做出姿势的对象部位；对象部位形状确定部件，确定所述提取到的对象部位的形状；代表点决定部件，对所述对象部位设定代表所述对象部位的位置的点即代表点；姿势辨识部件，基于所述代表点的运动而对姿势进行辨识；以及指令生成部件，生成与所述辨识出的姿势对应的命令，所述代表点决定部件使用所述对象部位的形状，决定与所述对象部位对应的代表点的位置。

Description

姿势辨识装置以及姿势辨识装置的控制方法
技术领域
本发明涉及对基于姿势(gesture)的输入操作进行辨识的姿势辨识装置。
背景技术
示出了能够通过姿势来对计算机或电子设备进行输入的装置普及的征兆。
例如，在专利文献1中，记载了通过摄像机等拍摄用户在空间上做出的姿势，将该姿势变换为输入指令的输入装置。该装置具有：将特定的姿势与特定的输入指令建立关联而存储，对姿势进行辨识的部件；以及将所辨识出的姿势变换为输入指令的部件。由此，用户能够仅通过在设备的前面做出姿势动作而输入任意的指令，而不直接操作输入设备。
现有技术文献
专利文献
专利文献1：(日本)特开2012－123608号公报
在对姿势进行辨识的输入装置中，一般而言，从做出姿势的部位的图像提取代表该部位的位置的点(以下，代表点)，追踪所提取到的代表点的运动，从而判别做出了怎样的姿势。例如，在用户做出张开手掌并描绘图形的姿势的情况下，检测手的中心点，追踪该中心点的轨迹，从而对通过姿势而描绘出的图形的形状进行辨识。
但是，在使用手做出姿势的情况下，将代表点设定为手的中心不一定是好的。例如，在竖起食指而做出姿势的情况下，追踪食指的前端对用户来说能够得到更自然的辨识结果。在这样的情况下，若将代表点设定为手的中心，则在手没有较大地移动而仅移动了指尖的情况下，存在没有准确地进行输入的顾虑。
像这样，在使用身体的一部分做出姿势的情况下，在以往的姿势辨识装置中，不能适当地判别代表点处于何处，作为结果，存在不能依照用户的意图来辨识通过姿势表现的轨迹的状况。
发明内容
本发明是考虑上述的课题而完成的，其目的在于，提供在对用户移动对象部位而做出的姿势进行辨识的姿势辨识装置中，依照用户的意图而对姿势进行辨识的技术。
为了解决上述课题，本发明所涉及的姿势辨识装置采取判定做出姿势的身体部位即对象部位的形状，考虑该形状而决定代表点的位置的结构。
具体而言，本发明所涉及的姿势辨识装置是从所取得的图像检测姿势，生成与该姿势对应的对于对象设备的命令的姿势辨识装置，其特征在于，具有：图像取得部件，取得图像；对象部位提取部件，从所述取得的图像，提取做出姿势的对象部位；对象部位形状确定部件，确定所述提取到的对象部位的形状；代表点决定部件，对所述对象部位设定代表所述对象部位的位置的点即代表点；姿势辨识部件，基于所述代表点的运动而对姿势进行辨识；以及指令生成部件，生成与所述辨识出的姿势对应的命令，所述代表点决定部件使用所述确定出的对象部位的形状，决定与所述对象部位对应的代表点的位置。
对象部位是用户做出姿势的部位，典型地说是人的手，但也可以是人体整体，也可以是用户保持的输入用的标记物等。能够通过追踪与对象部位对应的代表点的运动而对所输入的姿势进行辨识，但在本发明所涉及的姿势辨识装置中，使用该对象部位的形状来决定对象部位中的代表点的位置。
本发明所涉及的姿势辨识装置像这样考虑对象部位的形状而设定代表点的位置。由此，能够依照用户的意图，对通过移动对象部位而输入的姿势进行辨识。
此外，也可以是，其特征在于，所述代表点决定部件在所述对象部位形状确定部件确定出的对象部位的形状是包含突出的部位的形状的情况下，将代表点设定为该突出的部位的前端。
在对象部位的一部分是突出的形状的情况下，通过该突出的部位的运动而做出姿势输入的可能性高。例如，用户竖起一部分手指的情况或保持棒状的输入用标记物的情况等。在这样的情况下，优选将代表点设定为该部位的前端。
此外，也可以是，其特征在于，所述对象部位是人的手，所述代表点决定部件判定所述对象部位形状确定部件确定出的对象部位的形状是第一形状，还是与所述第一形状不同的第二形状，在所述对象部位的形状是第一形状的情况下，将代表点设定为对应于指尖的位置，在所述对象部位的形状是第二形状的情况下，将代表点设定为对应于手的中心的位置。
在对象部位是人的手的情况下，考虑使用指尖做出姿势的情况和使用手整体做出姿势的情况的两种模式(pattern)。从而，代表点的位置优选设为指尖或手的中心的其中一个。
在能够估计为使用指尖而不是手整体来做出姿势的情况下，将代表点设定为对应于指尖的位置。由此，即使在以指尖的较小的运动来做出姿势的情况下，也能够依照用户的意图而对该姿势进行辨识。
此外，也可以是，其特征在于，所述代表点决定部件在所述对象部位形状确定部件确定出的作为对象部位的手的形状是一部分手指伸展的形状的情况下，判定为是第一形状，在是全部手指伸展的形状或者全部手指弯曲的形状的情况下，判定为是第二形状。此外，也可以是，其特征在于，在作为对象部位的手的形状是仅1根手指伸展的形状的情况下，判定为是第一形状。
在5根手指之中的一部分伸展的情况下，能够估计为使用指尖做出姿势。此外，在全部手指伸展的情况或全部手指弯曲的情况下，能够估计为通过移动手整体而做出姿势。此外，在仅检测到1根伸展的手指的情况下，能够估计为使用指尖做出姿势。另外，一部分手指伸展的状态不包含张开全部手指的状态。
此外，也可以是，其特征在于，所述代表点决定部件使用由所述对象部位提取部件提取到的对应于该手的区域的重心，作为与所述手的中心对应的位置。
优选使用易于计算的重心作为与手的中心对应的位置。
此外，也可以是，本发明所涉及的姿势辨识装置的特征在于，还具有：通知部件，将所设定的代表点的位置通知给用户。
通知部件例如是显示装置或声音输出装置等。例如，也可以将代表点被设定于何处显示在画面上。通过这样构成，用户能够知道姿势辨识装置追踪的点处于何处，能够进一步提高可用性。
另外，本发明能够特定为包含上述部件的至少一部分的姿势辨识装置。此外，还能够特定为所述姿势辨识装置的控制方法、用于使所述姿势辨识装置动作的程序、记录了该程序的记录介质。只要没有产生技术上的矛盾，则能够将上述处理或部件自由组合而实施。
根据本发明，能够在对用户移动对象部位而做出的姿势进行辨识的姿势辨识装置中，依照用户的意图而对姿势进行辨识。
附图说明
图1是第一实施方式所涉及的姿势辨识***的结构图。
图2是说明姿势定义数据的例子的图。
图3是说明对象部位的提取例的图。
图4(A)～(B)是说明对象部位的形状的差异的图。
图5是表示第一实施方式中姿势辨识装置进行的处理的流程图。
图6是表示第一实施方式中姿势辨识装置进行的处理的流程图。
图7(A)～(B)是第二实施方式中的通知画面的例子。
标号说明
100···姿势辨识装置
101···图像取得部
102···姿势提取部
103···姿势辨识部
104···指令生成部
200···对象设备
具体实施方式
(第一实施方式)
参照作为***结构图的图1说明第一实施方式所涉及的姿势辨识***的概要。第一实施方式所涉及的姿势辨识***是由姿势辨识装置100以及对象设备200构成的***。
姿势辨识装置100是使用摄像机对用户做出的姿势进行辨识，且生成对应于该姿势的指令，并发送至对象设备200的装置。
此外，对象设备200是从姿势辨识装置100接收指令的装置(控制对象的设备)，典型地说，是电视、录影机、计算机、空调、电视会议***等的电子产品。只要对象设备200能够通过有线或者无线而从姿势辨识装置100接收指令，则也可以是任意的设备。在本实施方式中，设为对象设备200是电视接收机，姿势辨识装置100是被内置于该电视中的装置。
详细说明姿势辨识装置100。姿势辨识装置100具有图像取得部101、姿势提取部102、姿势辨识部103、指令生成部104。
图像取得部101是从外部取得图像的部件。在本实施方式中，使用被安装在电视画面的正面上部的摄像机(未图示)来拍摄用户。图像取得部101所使用的摄像机也可以是取得RGB图像的摄像机，也可以是取得灰阶图像或红外线图像的摄像机。此外，图像不一定由摄像机取得，例如也可以是距离传感器生成的表示距离的分布的图像(距离图像)。此外，也可以是距离传感器和摄像机的组合等。
只要图像取得部101所取得的图像(以下，摄像机图像)能够取得用户做出的姿势的运动和做出了该姿势的身体部位的形状，则可以是任意的图像。此外，摄像机图像的视场角与电视的可视角大致相同即可。
姿势提取部102是从图像取得部101取得的摄像机图像，检测做出姿势的身体部位(以下，对象部位)的部件。在本实施方式的情况下，设为用户使用手做出姿势。姿势提取部102例如从摄像机图像之中，检测表示人的手的区域。
此外，姿势提取部102对所检测到的对象部位设定代表该对象部位的位置的点即代表点，追踪该代表点的运动。由此，能够提取通过姿势而表现的运动。
关于对象部位的形状以及代表点，在之后详细说明。
姿势辨识部103是基于姿势提取部102提取到的代表点的运动，确定姿势的内容的部件。例如，存储如图2所示的那样的将代表点的运动和姿势的内容建立关联的数据(姿势定义数据)，进行通过姿势而表现的命令的确定。通过姿势而表现的命令也可以如图2所示那样一系列的姿势动作对应于单独的命令，也可以是基于代表点的移动量以及移动方向而使画面上显示的指针移动的命令。
指令生成部104是生成与姿势辨识部103确定出的姿势对应的指令的部件。指令是用于控制对象设备200的信号，也可以是电信号，也可以是通过无线而调制的信号或被脉冲调制的红外线信号等。
姿势辨识装置100是具有处理器、主存储装置、辅助存储装置的计算机，通过辅助存储装置中存储的程序被加载到主存储装置并由处理器执行，从而前述的各部件发挥作用(处理器、主存储装置、辅助存储装置都未图示)。
接着，详细说明姿势的辨识处理。
图3是图像取得部101取得的图像的例子。即，是从画面侧观看与电视画面正对的用户的图。
姿势的辨识处理由从图像检测做出姿势的对象部位的处理、设定与所检测到的对象部位对应的代表点的处理、以及追踪该代表点的运动而确定姿势的内容的处理构成。
首先，说明对象部位的检测。
姿势提取部102从所取得的图像之中，检测包含人的手的区域(标号31)。包含人的手的区域例如也可以通过色彩或形状而判定，也可以通过检测特征点而判定。此外，也可以通过与预先存储的模型或模板等比较而判定。对手的检测来说能够使用公知的技术，所以省略详细的说明。
接着，说明代表点。
代表点是代表对象部位的位置的点，对一个对象部位设定一个。例如，在对象部位是人的手的情况下，能够将表示手掌的中心的点(标号32)设为代表点。
通过对对象部位设定代表点并追踪代表点的运动，能够取得通过手的运动而表示的姿势。例如，能够取得“移动手整体而表示方向”、“描绘图形”这样的姿势。
在此，参照图4，说明现有技术的问题。
图4是摄像机图像的例子(对象部位以外省略图示)。图4(A)表示移动食指的指尖的姿势，图4(B)表示平行地移动手掌的姿势。
该两个姿势都意味着“向左方向的移动”，但在竖起手指而做出姿势的情况下，想要通过指尖的微小的运动而做出姿势的情况较多，在张开手而做出姿势的情况下，想要通过使用腕整体的较大的运动而做出姿势的情况较多。从而，根据将代表点设定为对象部位的哪个部分而姿势的辨识精度变化。
例如，在图4(A)的情况下，若将代表点设定为食指的指尖，则移动距离成为标号41所示的距离，但若将代表点设定为手掌的中心，则移动距离成为标号42所示的距离。即，在根据移动距离而分配了不同的指令的情况下，存在被输入与期望的指令不同的指令的顾虑。此外，在想要根据移动距离而移动指针的情况下，存在不能得到用户期望的移动量的顾虑。
因此，在本实施方式所涉及的姿势辨识装置中，通过使用对象部位的形状来决定代表点的位置从而提高姿势的辨识精度。
在本实施方式中，通过竖起的手指的根数而识别对象部位的形状。例如，在图4(A)的状况的情况下，判定为竖起的手指的数目为1根，在图4(B)的状况的情况下，判定为竖起的手指的数目为5根。在以后的说明中，将竖起1根手指的状态称为“形状1”，将张开手而竖起5根手指的状态称为“形状5”。此外，设为“形状n”意味着竖起的手指有n根。
竖起的手指的数目例如也可以通过在检测到的手的周边搜索被认为是手指的尖的形状(或突出的部位)从而进行判定，也可以通过使用模板图像或手的骨骼模型等进行匹配从而进行判定。对手指的数目的判定来说，能够使用已知的方法，所以省略详细的说明。
在本实施方式中，姿势提取部102判定手的形状，在是能够判定为以指尖做出姿势的形状的情况下，将代表点设定为对应于指尖的位置。在这以外的情况下，将代表点设定为所检测到的手的重心。能够判定为以指尖做出姿势的形状例如设为竖起的手指的数目为1根的情况(对象部位的形状为“形状1”的情况)。
接着，参照作为处理流程图的图5以及图6说明本实施方式所涉及的姿势辨识装置100进行的处理的整体。
图5所示的处理是图像取得部101以及姿势提取部102进行的处理。该处理也可以在存在表示输入开始的操作的情况下(例如，将姿势输入所需的功能在对象设备侧启动时等)开始，也可以在接通了对象设备的电源时开始。
首先，图像取得部101取得摄像机图像(步骤S11)。在本步骤中，例如使用电视画面的正面上部具备的摄像机，取得RGB彩色图像。
接着，姿势提取部102从所取得的摄像机图像，尝试对象部位(手)的检测(步骤S12)。对象部位的检测如前述那样，也可以以颜色或形状为基准而进行，也可以通过模式(pattern)匹配等而进行。在此，在没有检测到对象部位的情况下，在待机规定的时间后重新取得图像，重复同样的处理。
接着，姿势提取部102判定所检测到的对象部位的形状(步骤S13)。在本例中，设为判定对象部位的形状是形状1，还是这以外的形状。如果对象部位的形状是预先定义的形状以外的情况下，也可以中断处理而返回步骤S11，也可以作为“没有相应”而继续处理。
接着，判定所检测到的对象部位的形状是否从上次执行时发生变化(步骤S14)。在步骤S14首次执行的情况下，判断为“有变化”。
在步骤S14中判断为“有变化”的情况下，转移至步骤S15，姿势提取部102将代表点设定为所检测到的对象部位。具体而言，在步骤S13中判定的对象部位的形状是形状1的情况下，将代表点设定为伸展的手指的前端，在这以外的情况下，将代表点设定为手的重心点。
在步骤S14中判断为“没有变化”的情况下，转移至步骤S16。
接着，姿势提取部102取得摄像机图像中的代表点的坐标，并发送至姿势辨识部103(步骤S16)。
重复执行步骤S11～S16的处理，代表点的坐标被依次发送至姿势辨识部103。
图6所示的处理是姿势辨识部103以及指令生成部104进行的处理。该处理与图5所示的处理同时开始。
步骤S21是姿势辨识部103基于所取得的代表点的坐标而对姿势进行辨识的处理。例如，在存在图2所示的姿势定义数据的情况下，在检测到代表点的坐标向右方向移动100像素以上的情况下，判定为做出了表示“音量增加(UP)”的姿势。
另外，只要从姿势提取部102被发送至姿势辨识部103的信息能够表示代表点的移动方向以及移动量，则不一定是摄像机图像中的坐标。例如，也可以将代表点的坐标变换到以用户为原点的坐标系，也可以是表示移动方向或移动量的其他数据。
此外，也可以将表示摄像机图像中的对象部位的大小的信息同时发送。由于姿势辨识装置所取得的对象部位的移动量根据用户与装置的距离而变化，所以通过这样，能够根据对象部位的大小而校正移动量。
接着，指令生成部104生成与所辨识出的姿势对应的控制信号，并发送至对象设备200(步骤S22)。在前述的例子中，生成与例如“音量增加”这样的命令建立对应的控制信号(将音量提高一级)，并发送至对象设备200。
图5以及图6所示的处理周期性地执行，并在存在表示输入结束的操作的情况下(例如，将使用了姿势输入的操作在对象设备侧结束时等)结束。
如上说明，第一实施方式所涉及的姿势辨识装置根据做出了姿势的对象部位的形状，将代表点的位置设定为不同的位置。由此，即使在使用指尖来做出姿势的情况下，或在使用手整体来做出姿势的情况下，也能够准确地对该姿势进行辨识。
另外，在实施方式的说明中，在步骤S13中判定对象部位的形状，但该步骤也可以仅执行检测到对象部位之后的一次，在开始了姿势后跳过。通过这样，能够抑制处理量。
其中，由于还存在姿势结束而继续开始不同的姿势的情况，在这样的情况下，也可以再次执行该步骤。例如，也可以在对象部位的形状或大小显著地变化的情况、或对象部位从图像离开(flame out)后再次进入(flame in)的情况下等，判断为开始了不同的姿势，再次执行步骤S13。此外，也可以通过明示的操作而再执行。
(第二实施方式)
第二实施方式是对第一实施方式所涉及的姿势辨识***追加了将代表点的位置通知给用户的部件的实施方式。第二实施方式所涉及的姿势辨识***的结构除了以下说明的点以外，与第一实施方式相同。
第二实施方式所涉及的姿势辨识装置100进行的处理的流程图与图5以及图6相同，但在以下点上不同：在步骤S15中设定了对象部位的情况下，姿势提取部102通过对象设备200具有的画面(在本例中为电视画面)，将设定了代表点的位置通知给用户。
图7是作为对象设备的电视画面上显示的图像的例子。例如，在所检测到的对象部位的形状是形状1的情况下，通知能够通过移动指尖而做出姿势的意旨，在是这以外的形状的情况下，通知能够通过移动手整体而做出姿势的意旨。
另外，对用户进行通知的方法也可以是这以外的方法。例如，也可以仅以文章显示引导，也可以对通常的操作画面追加引导用的窗口来显示图形或文章。此外，也可以通过声音等进行通知。
根据第二实施方式，用户能够辨识***追踪的代表点处于何处，所以能够进行更直观的姿势输入。
(变形例)
另外，各实施方式的说明是在说明本发明的基础上的例示，本发明能够在不脱离发明的意旨的范围内进行适当变更或者组合而实施。
例如，在实施方式的说明中，将姿势辨识装置100设为嵌入对象设备200的装置，但姿势辨识装置100也可以是独立的装置。
此外，姿势辨识装置100也可以在对象设备200上作为进行动作的程序而安装。在作为程序而安装的情况下，也可以构成为处理器执行存储器中存储的程序，也可以构成为通过FPGA(现场可编程门阵列，Field Programmable Gate Array)或ASIC(专用集成电路，Application Specific Integrated Circuit)等而执行。
此外，在实施方式的说明中，列举了使用摄像机来取得图像的例子，但只要能够取得姿势且识别对象部位的形状，则也可以通过例如经由网络而接收图像等所例示的方法以外的方法来取得图像。
此外，对象部位也可以不一定是人的手。例如，也可以是其他身体部位，也可以是姿势输入用的标记物等。在使用标记物的情况下，姿势提取部102检测标记物的存在，将代表点设定为该标记物的前端即可。
此外，本发明中的“对象部位的形状”意味着姿势辨识装置通过图像而辨识出的形状，不需要必须使对象部位物理地变形。
此外，在实施方式的说明中，关于对象部位的形状，设为识别“形状1”和“这以外的形状”这两种，但也可以识别其他形状。其他形状例如也可以是握着的状态的手，也可以是竖起两根手指的状态。此外，也可以识别三种以上的形状。无论在哪个的情况下，基于所识别出的形状而决定代表点的位置，通过前述的方法进行处理即可。
例如，也可以将设定代表点的位置设为下述那样。
在是形状0的情况下：将拳头的重心设为代表点
在是形状1的情况下：将竖起的手指的指尖设为代表点
在是形状2的情况下：将竖起的2根指尖的中点设为代表点
在是形状3的情况下：将竖起的3根手指之中的正中间的手指的指尖设为代表点
在是形状4以及5的情况下：将手掌的重心设为代表点
此外，在各实施方式的说明中，在步骤S12中从摄像机图像检测到对象部位之后，在步骤S13中对该对象部位的形状进行识别，但也可以通过模板匹配等而同时执行这些处理。只要能够取得对象部位存在的位置和该对象部位的形状，则不特别限定处理的内容以及处理顺序。

Claims (7)

1.一种姿势辨识装置，从所取得的图像检测姿势，生成与该姿势对应的对于对象设备的命令，其特征在于，具有：
图像取得部件，取得图像；
对象部位提取部件，从所述取得的图像，提取做出姿势的对象部位；
对象部位形状确定部件，确定所述提取到的对象部位的形状；
代表点决定部件，对所述对象部位设定代表所述对象部位的位置的点即代表点；
姿势辨识部件，基于所述代表点的运动而对姿势进行辨识；以及
指令生成部件，生成与所述辨识出的姿势对应的命令，
所述代表点决定部件使用所述确定出的对象部位的形状，决定与所述对象部位对应的代表点的位置，
所述对象部位是人的手，
所述代表点决定部件判定所述对象部位形状确定部件确定出的对象部位的形状是第一形状，还是与所述第一形状不同的第二形状，在所述对象部位的形状是第一形状的情况下，将代表点设定为对应于指尖的位置，在所述对象部位的形状是第二形状的情况下，将代表点设定为对应于手的中心的位置。
2.如权利要求1所述的姿势辨识装置，其特征在于，
所述代表点决定部件在所述对象部位形状确定部件确定出的对象部位的形状是包含突出的部位的形状的情况下，将代表点设定为该突出的部位的前端。
3.如权利要求1所述的姿势辨识装置，其特征在于，
所述代表点决定部件在所述对象部位形状确定部件确定出的作为对象部位的手的形状是一部分手指伸展的形状的情况下，判定为是第一形状，在是全部手指伸展的形状或者全部手指弯曲的形状的情况下，判定为是第二形状。
4.如权利要求1所述的姿势辨识装置，其特征在于，
所述代表点决定部件在所述对象部位形状确定部件确定出的作为对象部位的手的形状是仅1根手指伸展的形状的情况下，判定为是第一形状。
5.如权利要求1至4的任一项所述的姿势辨识装置，其特征在于，
所述代表点决定部件使用由所述对象部位提取部件提取到的对应于该手的区域的重心，作为与所述手的中心对应的位置。
6.如权利要求1至4的任一项所述的姿势辨识装置，其特征在于，还具有：
通知部件，将所设定的代表点的位置通知给用户。
7.一种姿势辨识装置的控制方法，从所取得的图像检测姿势，生成与该姿势对应的对于对象设备的命令，其特征在于，包含：
图像取得步骤：取得图像；
对象部位提取步骤，从所述取得的图像，提取做出姿势的对象部位；
对象部位形状确定步骤，确定所述提取到的对象部位的形状；
代表点决定步骤，对所述对象部位设定代表所述对象部位的位置的点即代表点；
姿势辨识步骤，基于所述代表点的运动而对姿势进行辨识；以及
指令生成步骤，生成与所述辨识出的姿势对应的命令，
在所述代表点决定步骤中，使用所述确定出的对象部位的形状，决定与所述对象部位对应的代表点的位置，
所述对象部位是人的手，
在所述代表点决定步骤中，判定所述对象部位形状确定步骤中确定出的对象部位的形状是第一形状，还是与所述第一形状不同的第二形状，在所述对象部位的形状是第一形状的情况下，将代表点设定为对应于指尖的位置，在所述对象部位的形状是第二形状的情况下，将代表点设定为对应于手的中心的位置。
CN201510051339.9A 2014-03-12 2015-01-30 姿势辨识装置以及姿势辨识装置的控制方法 Active CN104914989B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014048911A JP6349800B2 (ja) 2014-03-12 2014-03-12 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2014-048911 2014-03-12

Publications (2)

Publication Number Publication Date
CN104914989A CN104914989A (zh) 2015-09-16
CN104914989B true CN104914989B (zh) 2018-08-28

Family

ID=52423599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510051339.9A Active CN104914989B (zh) 2014-03-12 2015-01-30 姿势辨识装置以及姿势辨识装置的控制方法

Country Status (4)

Country Link
US (1) US9557821B2 (zh)
JP (1) JP6349800B2 (zh)
KR (1) KR101631011B1 (zh)
CN (1) CN104914989B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6287382B2 (ja) * 2014-03-12 2018-03-07 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP6488961B2 (ja) * 2015-09-28 2019-03-27 富士通株式会社 生成方法、判別方法、プログラム及び情報処理装置
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107179826B (zh) * 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入***和姿势输入方法
JP6530357B2 (ja) * 2016-09-06 2019-06-12 株式会社日立ビルシステム 保全作業管理システム及び保全作業管理装置
JP6958951B2 (ja) * 2018-03-02 2021-11-02 Ｎｅｃソリューションイノベータ株式会社 操作推定装置、操作推定方法、及びプログラム
JP2023139535A (ja) 2022-03-22 2023-10-04 キヤノン株式会社 ジェスチャ認識装置、頭部装着型表示装置、ジェスチャ認識方法、プログラム、および記憶媒体
KR20240017702A (ko) * 2022-08-01 2024-02-08 삼성전자주식회사 센서를 통해 사용자 제스처를 인식하는 디스플레이 장치 및 그 제어 방법
CN115891883A (zh) * 2022-11-07 2023-04-04 中国第一汽车股份有限公司 一种应用于智能座舱的健康监测***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200834A (zh) * 2011-05-26 2011-09-28 华南理工大学 面向电视控制的指尖鼠标交互方法
CN102467657A (zh) * 2010-11-16 2012-05-23 三星电子株式会社 手势识别***和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3440641B2 (ja) * 1995-07-26 2003-08-25 松下電器産業株式会社 動作開始位置検出方法
JP2001306049A (ja) * 2000-04-21 2001-11-02 Sony Corp 情報処理装置、動作認識過程表示方法及びプログラム格納媒体
JP2005135439A (ja) * 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
JP2007164814A (ja) * 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置
US9069386B2 (en) * 2010-05-11 2015-06-30 Nippon Systemware Co., Ltd. Gesture recognition device, method, program, and computer-readable medium upon which program is stored
US8730164B2 (en) 2010-05-28 2014-05-20 Panasonic Corporation Gesture recognition apparatus and method of gesture recognition
CN102402680B (zh) * 2010-09-13 2014-07-30 株式会社理光 人机交互***中手部、指示点定位方法和手势确定方法
JP5604279B2 (ja) 2010-12-08 2014-10-08 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US9189072B2 (en) * 2011-02-08 2015-11-17 Lg Electronics Inc. Display device and control method thereof
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
WO2014009561A2 (en) * 2012-07-13 2014-01-16 Softkinetic Software Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467657A (zh) * 2010-11-16 2012-05-23 三星电子株式会社 手势识别***和方法
CN102200834A (zh) * 2011-05-26 2011-09-28 华南理工大学 面向电视控制的指尖鼠标交互方法

Also Published As

Publication number Publication date
KR101631011B1 (ko) 2016-06-15
JP2015172887A (ja) 2015-10-01
CN104914989A (zh) 2015-09-16
US9557821B2 (en) 2017-01-31
KR20150106823A (ko) 2015-09-22
US20150261303A1 (en) 2015-09-17
JP6349800B2 (ja) 2018-07-04

Similar Documents

Publication Publication Date Title
CN104914989B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
EP2793167B1 (en) Expression estimation device, control method, control program, and recording medium
US8638987B2 (en) Image-based hand detection apparatus and method
US8934673B2 (en) Image processing method and apparatus for detecting target
KR101302638B1 (ko) 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
CN104914990B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
CN108304819B (zh) 姿态识别***及方法、存储介质
KR20130099317A (ko) 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
CN105205454A (zh) 自动捕捉目标物的***和方法
CN105518579A (zh) 信息处理设备和信息处理方法
KR101745651B1 (ko) 손 제스처 인식 시스템 및 방법
US20190035089A1 (en) Program and image processing device
CN108829239A (zh) 终端的控制方法、装置及终端
US10180717B2 (en) Information processing device, information processing method, and program
CN113989832A (zh) 姿势识别方法、装置、终端设备及存储介质
CN105468249B (zh) 智能互动***及其控制方法
CN112837339B (zh) 基于运动捕捉技术的轨迹绘制方法及装置
CN115543135A (zh) 显示屏幕的控制方法、装置及设备
Su et al. Kinect-based midair handwritten number recognition system for dialing numbers and setting a timer
CN111103967A (zh) 虚拟对象的控制方法和装置
US20230061557A1 (en) Electronic device and program
Brandão et al. M5aie: A method for body part detection, tracking and pose classification using rgb-d images
EP2919096B1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
CN111627097A (zh) 一种虚拟景物的展示方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant