CN101131609A - 接口装置和接口方法 - Google Patents

接口装置和接口方法 Download PDF

Info

Publication number
CN101131609A
CN101131609A CNA2007101466668A CN200710146666A CN101131609A CN 101131609 A CN101131609 A CN 101131609A CN A2007101466668 A CNA2007101466668 A CN A2007101466668A CN 200710146666 A CN200710146666 A CN 200710146666A CN 101131609 A CN101131609 A CN 101131609A
Authority
CN
China
Prior art keywords
gesture
posture
display unit
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101466668A
Other languages
English (en)
Inventor
池司
谷口恭弘
冈田隆三
岸川晋久
横井谦太朗
汤浅真由美
美余音主典雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101131609A publication Critical patent/CN101131609A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

通过用户身体局部的姿态或动作让用户与控制对象装置联系的接口装置和接口方法。所述接口装置包括:图像输入单元输入,包含用户身体局部的图像;姿势识别单元,从图像识别用户身体局部的姿态或动作;控制单元,基于相应姿态或动作的指示控制所述控制对象装置;姿势信息显示单元,显示姿态或动作的示范图像,所述姿态或动作被识别来用于用户指示控制对象装置。

Description

接口装置和接口方法
技术领域
本发明涉及通过处理用户身体局部的姿态或动作的图像来控制对象装置的接口装置和接口方法。
背景技术
操作诸如电视或计算机等控制对象装置的接口装置包括例如遥控器、键盘或鼠标等指示设备。然而,这种指示设备对用户来说不易操作,因为用户是间接地通过指示设备操作对象装置。另外,如果用户丢失了指示设备,就不能操作对象装置。
因此,作为解决上述问题的接口装置,提出了姿势-用户接口装置(JP-A(Kokai)第2004-78977号)。在该装置中,通过移动用户的手或改变用户手的姿势,能操作对象装置而无需指示设备。
例如,通过安装到显示器上的CCD照相机捕获包含用户手的图像,并从图像识别出用户手的姿势或手的运动。基于用户手的姿势或手的运动,显示在屏幕上的指示图标的形状和位置发生改变。通过这样的显示控制,公开了要通过用户姿势指示的接口装置。
在这种接口装置中,用户执行预定义的姿势。例如,用户执行预定义的姿势、用户做预定义的姿势,或用户根据预定义的轨迹移动他/她的手。简言之,通过预定义的姿势,用户可以指示对应于所述姿势的预定义指令或状态。
然而,在上述接口装置中,用户必须事先记得可作为指示使用的姿势。对于使用姿势来指示的用户来说,这是一种负担。
发明内容
本发明旨在为用户提供接口装置和接口方法,以简单地执行用户身体局部的姿态或动作来控制对象装置,而无需记住所述姿态或动作。
根据本发明的一个方面,提供了一种与控制对象装置接口的装置,该装置包括:图像输入单元,被配置为输入包含用户身体局部的图像;姿势识别单元,被配置为从图像识别用户身体局部的姿态或动作;控制单元,被配置为基于对应于所述姿态或动作的指示控制所述控制对象装置;以及姿势信息显示单元,被配置为显示由姿势识别单元识别的姿态或动作的示范图像。
根据本发明的另一个方面,还提供了与控制对象装置接口的方法,该方法包括:输入包括用户身体局部的图像;从图像识别用户身体局部的姿态或动作;基于对应于所述姿态或动作的指示,控制所述控制对象装置;显示识别的所述姿态或动作的示范图像,用于由用户参考来指示控制对象装置。
附图说明
图1是根据第一个实施例的HGUI装置的结构图。
图2是图1中的姿势识别单元2的结构图。
图3是通过图2中局部区域产生单元21产生的局部区域的示意图。
图4是图2中对象检测单元22的多个分类器的示意图。
图5是解释对象检测单元22的处理的示意图。
图6是被图1中的控制单元控制的一个屏幕范例的示意图。
图7A和图7B是用于操作的手姿势示意图。
图8是按照图1中姿势信息显示单元4的姿势用户接口的一个例子的示意图。
图9是根据第二个实施例的HGUI装置的结构图。
图10是图9中的姿势识别单元5的结构图。
图11是图9中的姿势信息显示单元6的结构图。
图12是按照图11中姿势信息显示单元6的姿势用户接口的一个例子的示意图。
图13是按照图11中姿势信息显示单元6的姿势用户接口的另一个例子的示意图。
具体实施方式
在下文中,本发明的各种实施例将参照附图进行说明。本发明不受限于下面的实施例。
(第一实施例)
在下文中,通过参照图1-8说明用来操作控制对象装置的手姿势用户接口装置(它被称为HGUI装置)。图1是根据第一个实施例的HGUI装置的结构图。在下面的说明中,作为识别对象的用户身体局部是至少一只手。然而,用户身体局部不限制于手。例如,用户的面部表情、用户头部的运动、用户躯体的运动、或用户腿部的运动也可以作为识别对象。
在图1中,图像输入单元1通过诸如CCD视频相机的摄影设备输入包含用户手的图像,并将图像提供到姿势识别单元2。姿势识别单元2判断识别对象(用户的手)的区域和识别对象的姿势的类型,并输出姿势的区域和类型。在这种情况下,“姿势”不仅仅表示用户身体局部的“动作”也表示用户身体局部的“姿态”。控制单元3决定控制对象装置(图1中没有显示)的控制内容,并基于控制内容控制所述控制对象装置。姿势信息显示单元4显示信息,所述信息在指示HGUI装置情况下用于用户参考。
接下来,将参照在美国专利第7099510 B2号公开的对象评估装置来详细说明姿势识别单元2。图2是姿势识别单元2的结构图。在图2中,局部区域产生单元21在输入图像上的不同位置设置多个具有不同大小的局部区域,从输入图像提取每个局部区域的内部图像,并将每个局部区域的内部图像提供到对象检测单元22。如图3所示,在设置每个局部区域的情况下,预备了窗口的尺寸W1-Wn,且在输入图像上扫描每个窗口尺寸。这样,在每个扫描位置的每个窗口尺寸的内部图像被作为局部区域图像从输入图像提取。
对象检测单元22使局部区域图像标准化到预定大小,并通过参考存储在姿势词典存储单元23中的词典数据判断局部区域图像是否代表识别对象(用户的手)。
如图4中所示,识别对象的判断通过m个串联连接的强分类器单元S(1)、...、S(m)来完成。每个强分类器S包含n个弱分类器单元W(1)、...、W(n)。每个弱分类器W通过评估局部区域图像的预定部分来判断局部区域图像是否代表识别对象。
强分类器S总体评估n个弱分类器单元的判断结果,并判断局部区域图像是否代表识别对象。如果所有的强分类器S都表示局部区域图像是识别对象,则对象检测单元22判定局部区域图像是识别对象。
接下来,通过参考图5说明通过弱分类器W评估局部区域图像的方法。当对局部区域图像标准化到N×N大小之后,强分类器i中的每个弱分类器W(i,1)、...、W(i,n(i))判断局部区域图像是否代表识别对象(用户的手)。
对于区域A和区域B(由每个分类器W定义),计算区域A内所有像素的亮度值的和SA与区域B内所有像素的亮度值的和SB。计算SA和SB之间的差,并将差与对象判定阈值T相比较。如图5所示,在这种情况下,两区域A和B分别被一个或两个矩形区域表示。至于区域A和B的位置和形状及对象判定阈值T的值,通过使用对象或非对象图像的学习,事先选定有效判断对象和非对象的位置、形状和值。
弱分类器W的判断结果h(i,j,x)按下式计算:
Figure A20071014666600071
在上面的式(1)中,SA(i,j,x)是区域A亮度值的和,SB(i,j,x)是区域B亮度值的和,而T(i,j)是在组成强分类器Si的弱分类器Wj中的对象判定阈值。另外,“p(i,j)={1,-1}”表示均等值。在“p(i,j)=-1”的情况下,在“SA(i,j,x)-SB(i,j,x)<T(i,j)”的条件下判定对象。
强分类器i的判断结果H(i,x)通过每个弱分类器W的评估结果h(i,j,x)按照下式计算:
在上面的式(2)中,α(i,j)表示弱分类器W(i,j)的可靠度,所述可靠度由用于学习的图像中的正确回答率来决定。
接着,对象检测单元22的最终判断结果由下式表示:
Figure A20071014666600082
在判断多种识别对象的情况下,为每个识别对象准备了分类器,并且通过相应的分类器为每个识别对象执行上述判断处理。
姿势识别方法不限制于上述方法。例如,通过从输入图像生成等高线图,可以评估等高线图与识别对象的模版图像之间的相似性。另外,从输入图像生成肤色区域,可以计算肤色区域与识别对象的模版区域之间的相似性。
接下来,控制单元3基于姿势识别单元2识别的手姿势位置和类型来决定控制内容。参照图6说明了控制单元3的控制处理的一个例子。
图6表示显示在监视器上的菜单屏幕。这种菜单屏幕用于向用户通知控制单元3的内部状态。菜单屏幕由多个矩形区域31a-31i组成,每个区域都关联了预定指令。在图6中,矩形区域31e通过与其它矩形区域不同的颜色(阴影线)来表示。这意味着当前选择了对应于矩形区域31e的指令。
用户在图像输入单元1前面从上到下和从右到左地移动他/她的手而同时保持图7A中的手姿势。响应于用户手的运动,控制单元3改变在菜单屏幕上所选择的矩形区域。例如,在图6中,当用户将他/她的手向左移动固定的距离而同时保持图7A中的手姿势,矩形区域31e的选择状态被释放,且矩形区域31d被选中。
然后,用户执行在图像输入单元1前面执行图7B中的手姿势。响应于这种手姿势,控制单元3执行与当前所选择矩形区域相关联的指令。例如,在图6的状态下,当用户执行图7B的手姿势时,控制单元3执行与矩形区域31e相关联的指令(例如,在录像机中记录备用或视频数据库呼叫)。
在HGUI装置中,在指示的情况下,用户必须记得图7A和图7B中所示的手姿势。结果,用户必须设法正确地记住用于操作的每一种手姿势,或者必须参照说明来操作。对于用户这是一种负担。
因此,在第一实施例中,姿势信息显示单元4向用户显示用于操作的每一种手姿势。通过参照图8说明姿势信息显示单元4的处理。图8表示除图6的菜单屏幕之外,设置在姿势信息显示单元4上的菜单屏幕。
姿势信息显示单元4包括姿势列表显示单元41。姿势列表显示单元41包含至少一个识别对象姿势显示单元42a(42b),用来显示作为姿势识别单元2的识别对象的示范姿势。识别对象姿势显示单元42a(42b)包括姿势图像显示单元43a(43b)和姿势名称显示单元44a(44b)。
姿势图像显示单元43a(43b)显示视觉上代表识别对象姿势的图像。这种图像可以是静态图像也可以是动态图像。例如,在姿势是手的姿势的情况下,显示由姿势识别单元2识别的示范手姿势的静态图像(在下文中,它被称为示范手姿势)。
另外,在姿势是手的运动的情况下,可以显示示范手轨迹的图例。可选地,可以显示真实手运动的动态图像。姿势名称显示单元44a(44b)显示识别对象姿势的名称。
如上所述,在第一实施例的HGUI装置中,用于操作的每个姿势的示范图像显示在姿势信息显示单元4上。因此,用户可以通过确认示范姿势图像来操作接口装置而无须事先记住姿势。因此,能提高接口装置的可操作性。
(变体1)
识别对象姿势显示单元42a(42b)的目的是向用户直观地表示作为姿势识别单元2的识别对象的姿势。因此,可以考虑能够实现这种目的的各种变体。例如,识别对象姿势显示单元42a(42b)可以仅仅由姿势图像显示单元43a(43b)组成。
(变体2)
姿势信息显示单元4不限制于对图6的HGUI装置的应用,且可以应用到其它类型的HGUI装置。例如,在JP-A(KoKai)第2004-78977号中公开的HGUI装置中,姿势信息显示单元4可以设置在显示屏的一部分上。
(变体3)
姿势信息显示单元4不必设置在控制对象装置的屏幕上。可以专门准备显示姿势信息的屏幕显示装置(例如,小型显示器或PDA)。例如,控制对象装置可以显示图6的菜单屏幕(无需姿势列表显示单元41)同时另一个屏幕显示姿势信息。另外,在操作没有屏幕显示器的控制对象装置(例如,空气调节器)的HGUI装置中,姿势信息可以显示在用户端的屏幕显示装置上。
(第二实施例)
在下文中,通过参考图9-13来说明第二实施例的HGUI装置。在第一实施例中,用于操作的姿势列表(示范图像)被显示在姿势信息显示单元4上。在这种情况下,用户可以通过确认列表来操作,而无需记住用于操作的姿势类型和示范姿势之间的关系。
然而,即使用户参考示范手姿势做了手姿势,用户的手姿势也不总是匹配示范手姿势。结果,HGUI装置不能正确识别出用户的手姿势。
在这种情况下,用户不能了解HGUI装置怎样识别用户的手姿势。因此,用户不能纠正他/她的用于HGUI装置识别的手姿势。换句话说,用户不能平稳地操作接口装置。
在第二实施例中,HGUI装置配备识别结果显示装置61以显示姿势识别结果识别结果。在这种情况下,用户能够了解HGUI装置怎样识别用户的手姿势。结果,用户可以参考识别结果纠正他/她的手姿势。
图9是根据第二实施例的HGUI装置的结构图。在第二实施例中,姿势识别单元5和姿势信息显示单元6的功能与第一实施例中的不同。在下文的说明中,对于具有和第一实施例相同元件(功能)的单元,指定了相同的附图标记并且省略了它的说明。第二实施例中的图像输入单元1和控制单元3与第一实施例的图1中的相同。因此,忽略了对它们的说明。
图10是根据第二实施例的姿势识别单元5的结构图。姿势评估单元51在输入图像上设置不同的局部区域,并且评估每个局部区域包含检测对象的姿势的概率。这样,姿势评估单元51基于评估结果计算每个局部区域的得分,并输出得分。
在图4和图5中说明的姿势识别方法的情况下,作为用于计算得分的方法,通过评估结果和公式(2)中弱分类器W的可靠度计算得分如下:
Σ i Σ j ( h ( i , j , x ) · α ( i , j ) ) - - - ( 4 )
另外,在用于评估等高线图(从输入图像中提取)与模版图像之间相似度的方法中,或在评估肤色区域与模版区域之间的图形相似度的方法中,相似度可以被当作得分使用。
手候选区域选择单元52从姿势评估单元51评估的多个局部区域中选择具有最高得分的局部区域。在第二实施例中,具有最高得分的局部区域可以被选作手候选区域。然而,在同时识别多个人员姿势的情况下,可以选择具有较高得分的多个局部区域。
姿势判断单元53判断手候选区域是否包含识别对象的姿势。在使用图4和图5中的姿势识别方法的情况下,这种判断使用等式(3)来执行。
图11是根据第二实施例的姿势信息显示单元6的结构图。姿势列表显示单元41的功能与图8中的相同。因此,将它的说明省略。
识别结果显示单元61显示姿势识别结果。识别结果包含至少关于哪种姿势被姿势识别单元5识别的信息。关于信息,可以包括一些被提取的姿势。另外,至于被手候选区域选择单元52所选择的手候选区域,可以包含手候选区域代表每个手姿势的概率(通过姿势评估单元51评估)和决定手候选区域是否代表每个手姿势的阈值。
接下来,通过参照图12进一步说明姿势信息显示单元6。图12是配备姿势信息显示单元6的菜单屏幕的一个例子。
在图12中,识别结果显示单元61包含手候选区域图像显示单元62、姿势检测结果显示单元63和姿势概率显示单元64a(64b)。手候选区域图像显示单元62在手候选区域内显示局部区域图像。姿势检测结果显示单元63显示用户手姿势是否被识别作为示范姿势(检测对象)。姿势概率显示单元64a(64b)显示手候选区域代表示范姿势的概率。
手候选区域图像显示单元62显示通过手候选区域选择单元22选择的手候选区域的图像。
姿势检测结果显示单元63被设置作为手候选区域图像显示单元62的外部框架。姿势检测结果通过姿势检测结果显示单元63的颜色来显示。每一个识别对象的特有颜色可以预先确定(例如,光标移动姿势是蓝色,判定姿势是红色)。在将手候选区域识别为识别对象姿势的情况下,通过将姿势检测结果显示单元63的颜色改变为对应于识别的姿势的颜色,手候选区域被识别为对应于所述颜色的姿势的事件就被告知用户。另外,当手候选区域没有被识别为任何姿势时,通过将姿势检测结果显示单元63的颜色改变为对应于未识别的颜色(例如,无色),手候选区域未被识别的事件就被告知用户。
姿势概率显示单元64a(64b)被设置为每个识别对象姿势条形图。条形图被显示为基于手候选区域代表对应于手姿势(通过姿势评估单元51计算得到)的得分值(概率)的长度。另外,条形图的颜色被设置为每个识别对象姿势特有的颜色(和姿势检测结果显示单元63的颜色相同)。因此,用户能够理解对应于手姿势的概率。
简言之,通过确认显示在手候选区域图像显示单元62上的图像,用户可以了解图像输入单元1怎样观察用户的手姿势。另外,通过确认姿势检测结果显示单元63的颜色,用户可以在视觉上确认姿势检测的结果。
此外,通过将手候选区域图像显示单元62上的图像和姿势图像显示单元43的图像进行比较,或者通过确认姿势概率显示单元64a(64b)的概率,用户能确认用户手姿势与示范图像怎样不同。结果,用户能将他/她的姿势纠正到HGUI能识别的姿势,并能平稳地操作控制对象装置。
如上所述,在第二实施例的HGUI装置中,识别结果显示单元61显示用户的手姿势被怎样识别。因此,通过确认这种识别结果,用户能将他/她的手姿势纠正到HGUI能识别的手姿势,并进一步提高了HGUI装置的可操作性。
(变体1)
在第二实施例中,识别结果显示单元61包含手候选区域图像显示单元62和姿势概率显示单元64a(64b)。然而,并不总是需要两个单元62和64a(64b)。即使具备任何一个单元,都可以解决上面的问题。简言之,如果仅仅具备手候选区域图像显示单元62,通过纠正手姿势以致手候选区域与示范姿势图像相似,用户能执行易于被HGUI装置识别的手姿势。
(变体2)
如果仅仅具备姿势概率显示单元64a(64b),通过确认概率,用户以不同的方式改变他/她的手姿势并找到一个具有最高概率的手姿势。结果,用户可以执行易于被HGUI装置识别的手姿势。
(变体3)
姿势检测结果显示单元63的功能可以用姿势概率显示单元64a(64b)替代。如图12中所示,通过在条形图上显示对应于姿势判断阈值的标记,用户能通过检查条形图的长度是否超过阈值来了解他/她的手姿势是否被识别。可选地,对应于姿势列表显示单元41上被识别手姿势的姿势名称可以被加亮。
(变体4)
可以考虑条形图之外的姿势概率显示单元64a(64b)。例如,概率值自身可以替代条形图而被显示。
(变体5)
姿势列表显示单元41和识别结果显示单元61不需要各自显示在不同的区域。如图13中所示,可以设置具有单元41和61合并功能的显示单元。
如图13中所示,姿势检测结果显示单元63a(63b)被设置在对应每个姿势的示范姿势图像(在姿势列表显示单元41上)的左右,而不是姿势检测结果显示单元63(在图12中)被设置在手候选区域图像显示单元62的左右。当用户的手姿势被识别为对应于颜色的姿势时,则每个姿势的颜色改变。因此,用户手姿势被识别的事件就告知用户。另外,通过在姿势列表显示单元41上每个姿势名的下面设置姿势概率显示单元64a(64b),用户能容易地了解概率和姿势之间的关系。
(变体6)
关于用户手的运动(姿势),识别结果显示单元61显示识别结果。例如,对于检测到的一系列手候选区域(在下文中,它们被称为手运动候选),手运动候选信息(位置时序和手运动候选图像)被存储在手运动候选信息存储器中(图9中未标示)。
使用公知的基于手边界信息的跟踪方法作为检测手运动候选的方法。关于检测到的手运动候选的位置时序,计算位置时序与理想的位置时序之间的距离d。简言之,计算理想手运动与用户手运动之间的距离。
可以使用诸如DP匹配的方法作为计算距离d的方法。基于理想手运动的距离d和正态分布N(μ,ρ2),用户手运动是理想手运动的概率p计算如下:
p = 1 2 π σ exp ( - ( d - μ ) 2 2 σ 2 ) - - - ( 5 )
概率p被显示在姿势概率显示单元63上,且同步于姿势列表显示单元41上的理想手运动的动态图像,一系列手运动候选图像被显示在手候选区域图像显示单元62上。因此,HGUI装置怎样识别用户手运动的事件就被告知用户。
在公开的实施例中,处理可以通过计算机可执行程序来实现,且这种程序可以实现在计算机可读存储器设备中。
在实施例中,存储器设备,例如磁盘、软磁盘、硬盘、光盘(CD-ROM、CD-R、DVD等等)、光磁盘(MD等等)可以用来存储指令,所述指令用于使处理器或计算机执行上述处理。
另外,基于从存储器安装到计算机的程序的指令,运行在计算机上的OS(操作***)、或MW(中间件软件),例如数据库管理软件/网络,可以执行实现实施例的每一处理的一部分。
另外,存储设备不限制于独立于计算机的设备。通过下载LAN或网络传输的程序时,存储有所述程序的存储设备被包括。另外,存储设备也不限制于一个。在实施例的处理被多个存储设备执行的情况下,多个存储设备可以包含在所述存储设备中。设备的元件可以任意组成。
计算机可以根据存储在存储设备中的程序执行实施例的每一个处理阶段。计算机可以是例如个人计算机或***的一个装置,所述***内通过网络连接多个处理装置。另外,计算机不限制于个人计算机。本领域技术人员将意识到计算机包括信息处理器中的处理单元、微计算机等等。简言之,使用程序可执行实施例中的功能的设备和装置统称为计算机。
通过考虑此处公开的本发明的说明和实践,对于本领域技术人员来说,本发明的其它实施例将变得显而易见。需要指出,说明和范例仅仅是示例性的,且本发明的准确范围和精神通过下面的权利要求来阐明。

Claims (19)

1.一种用于与控制对象装置接口的装置,包括:
图像输入单元,被配置为输入包含用户身体局部的图像;
姿势识别单元,被配置为从所述图像识别所述用户身体局部的姿态或动作;
控制单元,被配置为基于对应于所述姿态或所述动作的指示,控制所述控制对象装置;和
姿势信息显示单元,被配置为显示被所述姿势识别单元识别的所述姿态或所述动作的示范图像。
2.根据权利要求1的装置,其中所述用户身体局部至少是一只手。
3.根据权利要求1的装置,其中所述姿势信息显示单元显示对应于所述指示的所述示范图像。
4.根据权利要求1的装置,其中所述姿势信息显示单元显示一列每个都对应于不同指示的示范图像。
5.根据权利要求4的装置,其中所述姿势信息显示单元显示菜单和所述示范图像。
6.根据权利要求5的装置,其中所述姿势信息显示单元基于所述指示有区别地显示所述菜单之一。
7.根据权利要求1的装置,其中所述姿势信息显示单元显示被所述姿势识别单元识别的所述姿态或所述运动。
8.根据权利要求1的装置,其中所述姿势识别单元包括:
姿势评估单元,被配置为计算所述姿态或所述运动被包含在图像的每个局部区域的概率;
候选区域选择单元,被配置为选择至少一个具有最高概率的局部区域作为身体局部候选区域;
姿势判断单元,被配置为:如果所述概率高于阈值,则判断所述姿态或所述运动包含在所述身体局部候选区域中;
9.根据权利要求8的装置,其中所述姿势判断单元判断包含在所述身体局部候选区域内的所述姿态或所述运动是否代表所述指示。
10.根据权利要求8的装置,其中所述姿势信息显示单元显示被所述姿势识别单元识别的所述姿态或所述运动,以及所述概率。
11.根据权利要求9的装置,其中所述姿势信息显示单元显示所述身体局部候选区域的图像。
12.根据权利要求11的装置,其中所述姿势信息显示单元基于所述姿态或所述运动代表的指示,有区别地显示所述身体局部候选区域的图像。
13.根据权利要求9的装置,其中所述姿势信息显示单元有区别地显示所述姿态或所述运动代表每个指示的概率。
14.根据权利要求13的装置,其中所述姿势信息显示单元基于所述概率有区别地显示对应于每个指示的图形。
15.根据权利要求14的装置,其中所述姿势信息显示单元在所述图形上附加地显示所述阈值的标记。
16.根据权利要求14的装置,其中所述姿势信息显示单元有区别地显示包括在所述身体局部候选区域中的所述姿态或所述运动所代表的所述指示的示范图像。
17.根据权利要求16的装置,其中所述姿势信息显示单元显示所述示范图像和所述图形,每个都对应于相同指示。
18.根据权利要求17的装置,其中,所述姿势信息显示单元显示多个菜单、多个示范图像、每个示范图像的图形,并且基于所述指示有区别地显示所述多个菜单中的至少一个。
19.一种用于与控制对象装置接口的方法,包括:
输入包括用户身体局部的图像;
从所述图像识别所述用户身体局部的姿态或动作;
基于对应于所述姿态或所述动作的指示,控制所述控制对象装置;
显示识别的所述姿态或所述动作的示范图像,用于由用户参考以指示所述控制对象装置。
CNA2007101466668A 2006-08-25 2007-08-24 接口装置和接口方法 Pending CN101131609A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006229572A JP4267648B2 (ja) 2006-08-25 2006-08-25 インターフェース装置及びその方法
JP229572/2006 2006-08-25

Publications (1)

Publication Number Publication Date
CN101131609A true CN101131609A (zh) 2008-02-27

Family

ID=39128897

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101466668A Pending CN101131609A (zh) 2006-08-25 2007-08-24 接口装置和接口方法

Country Status (3)

Country Link
US (1) US7844921B2 (zh)
JP (1) JP4267648B2 (zh)
CN (1) CN101131609A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901050A (zh) * 2009-04-23 2010-12-01 日立民用电子株式会社 输入装置
CN101930286A (zh) * 2009-06-22 2010-12-29 索尼公司 操作控制装置、操作控制方法和计算机可读的记录介质
CN102033703A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 输入装置
CN102033702A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 影像显示装置及其显示控制方法
CN102298442A (zh) * 2010-06-24 2011-12-28 索尼公司 手势识别设备、手势识别方法及程序
CN102542247A (zh) * 2010-09-27 2012-07-04 索尼公司 信息处理设备、信息处理方法以及程序
WO2012088634A1 (en) * 2010-12-30 2012-07-05 Technicolor (China) Technology Co., Ltd. User interface, apparatus and method for gesture recognition
CN101989378B (zh) * 2009-08-06 2012-10-10 广达电脑股份有限公司 遥控装置及其遥控方法
CN102750519A (zh) * 2012-05-30 2012-10-24 北京城市网邻信息技术有限公司 一种图像的识别及过滤方法和装置
WO2012160566A1 (en) * 2011-05-23 2012-11-29 Hewlett-Packard Development Company, L.P. Multimodal interactions based on body postures
CN102906670A (zh) * 2010-06-01 2013-01-30 索尼公司 信息处理设备和方法以及程序
CN102981604A (zh) * 2011-06-07 2013-03-20 索尼公司 图像处理设备、图像处理方法和程序
CN103038727A (zh) * 2010-06-29 2013-04-10 微软公司 骨架关节识别和跟踪***
CN103207985A (zh) * 2012-01-13 2013-07-17 索尼公司 图像处理装置及其方法和程序
CN103294186A (zh) * 2012-03-05 2013-09-11 东芝泰格有限公司 操作支援显示装置及其控制方法
CN103336578A (zh) * 2013-07-05 2013-10-02 广州新节奏智能科技有限公司 一种新型动作感应互动广告设备
CN103363633A (zh) * 2012-04-02 2013-10-23 三菱电机株式会社 空气调节机的室内机
CN103430215A (zh) * 2011-03-21 2013-12-04 Lg电子株式会社 显示装置及其控制方法
CN103942524A (zh) * 2013-01-23 2014-07-23 纬创资通股份有限公司 手势辨识模块及手势辨识方法
CN104244049A (zh) * 2014-10-21 2014-12-24 三星电子(中国)研发中心 一种动态调节曲率和方向的曲面电视和方法
CN104246661A (zh) * 2012-04-16 2014-12-24 高通股份有限公司 使用手势与装置交互
CN105224090A (zh) * 2010-12-27 2016-01-06 日立麦克赛尔株式会社 图像显示装置
CN107273019A (zh) * 2011-09-20 2017-10-20 谷歌公司 基于协同姿势的输入语言
CN107491717A (zh) * 2016-06-13 2017-12-19 科大讯飞股份有限公司 ***检测方法和装置
CN109328447A (zh) * 2016-06-24 2019-02-12 哈廷电子有限公司及两合公司 接口模块、具有接口模块的***和用于耦联数据总线的方法

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
CN102016975A (zh) 2008-03-28 2011-04-13 寇平公司 适合用作移动式互联网装置的具有高分辨率显示器的手持式无线显示装置
DE102008020772A1 (de) * 2008-04-21 2009-10-22 Carl Zeiss 3D Metrology Services Gmbh Darstellung von Ergebnissen einer Vermessung von Werkstücken
WO2010011923A1 (en) 2008-07-24 2010-01-28 Gesturetek, Inc. Enhanced detection of circular engagement gesture
ES2648049T3 (es) * 2008-07-25 2017-12-28 Qualcomm Incorporated Detección mejorada de gesto ondulatorio
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
JP4720874B2 (ja) 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP4670976B2 (ja) 2008-10-03 2011-04-13 ソニー株式会社 学習装置および方法、認識装置および方法、プログラム、並びに記録媒体
US9202137B2 (en) 2008-11-13 2015-12-01 Google Inc. Foreground object detection from multiple images
JP5361355B2 (ja) * 2008-12-08 2013-12-04 キヤノン株式会社 情報処理装置とその制御方法及び印刷装置とその制御方法
US9134798B2 (en) 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
US8030914B2 (en) * 2008-12-29 2011-10-04 Motorola Mobility, Inc. Portable electronic device having self-calibrating proximity sensors
US8275412B2 (en) * 2008-12-31 2012-09-25 Motorola Mobility Llc Portable electronic device having directional proximity sensors based on device orientation
US10019081B2 (en) * 2009-01-15 2018-07-10 International Business Machines Corporation Functionality switching in pointer input devices
US8593399B2 (en) 2009-02-18 2013-11-26 Kabushiki Kaisha Toshiba Interface apparatus and method for controlling a device
JP5300555B2 (ja) * 2009-03-26 2013-09-25 三洋電機株式会社 情報表示装置
US20100271312A1 (en) * 2009-04-22 2010-10-28 Rachid Alameh Menu Configuration System and Method for Display on an Electronic Device
US20100271331A1 (en) * 2009-04-22 2010-10-28 Rachid Alameh Touch-Screen and Method for an Electronic Device
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8344325B2 (en) * 2009-05-22 2013-01-01 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting basic gestures
US8294105B2 (en) * 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US8788676B2 (en) 2009-05-22 2014-07-22 Motorola Mobility Llc Method and system for controlling data transmission to or from a mobile device
US8391719B2 (en) * 2009-05-22 2013-03-05 Motorola Mobility Llc Method and system for conducting communication between mobile devices
US8542186B2 (en) * 2009-05-22 2013-09-24 Motorola Mobility Llc Mobile device with user interaction capability and method of operating same
US8304733B2 (en) * 2009-05-22 2012-11-06 Motorola Mobility Llc Sensing assembly for mobile device
US8269175B2 (en) * 2009-05-22 2012-09-18 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting gestures of geometric shapes
US8319170B2 (en) 2009-07-10 2012-11-27 Motorola Mobility Llc Method for adapting a pulse power mode of a proximity sensor
KR20110020642A (ko) * 2009-08-24 2011-03-03 삼성전자주식회사 사용자 접근을 인식하여 반응하는 gui제공 장치 및 방법
US8261212B2 (en) * 2009-10-20 2012-09-04 Microsoft Corporation Displaying GUI elements on natural user interfaces
KR101623007B1 (ko) * 2009-11-11 2016-05-20 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US8622742B2 (en) * 2009-11-16 2014-01-07 Microsoft Corporation Teaching gestures with offset contact silhouettes
US20110117526A1 (en) * 2009-11-16 2011-05-19 Microsoft Corporation Teaching gesture initiation with registration posture guides
US8665227B2 (en) * 2009-11-19 2014-03-04 Motorola Mobility Llc Method and apparatus for replicating physical key function with soft keys in an electronic device
US20110141013A1 (en) * 2009-12-14 2011-06-16 Alcatel-Lucent Usa, Incorporated User-interface apparatus and method for user control
JP4783456B2 (ja) 2009-12-22 2011-09-28 株式会社東芝 映像再生装置及び映像再生方法
JP5342693B2 (ja) * 2010-03-18 2013-11-13 日本電信電話株式会社 情報入力装置、情報入力方法、及び情報入力プログラム
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
US8963845B2 (en) 2010-05-05 2015-02-24 Google Technology Holdings LLC Mobile device with temperature sensing capability and method of operating same
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US9103732B2 (en) 2010-05-25 2015-08-11 Google Technology Holdings LLC User computer device with temperature sensing capabilities and method of operating same
US8751056B2 (en) 2010-05-25 2014-06-10 Motorola Mobility Llc User computer device with temperature sensing capabilities and method of operating same
US8520901B2 (en) 2010-06-11 2013-08-27 Namco Bandai Games Inc. Image generation system, image generation method, and information storage medium
EP2421252A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
WO2012063561A1 (ja) * 2010-11-10 2012-05-18 日本電気株式会社 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム
JP2014029565A (ja) 2010-11-24 2014-02-13 Panasonic Corp 情報処理装置
US8920241B2 (en) * 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
JP2015038648A (ja) * 2010-12-24 2015-02-26 株式会社東芝 情報処理装置、制御方法およびプログラム
US9176001B2 (en) * 2011-02-01 2015-11-03 Bonal Technologies, Inc. Vibration treatment method and graphical user interface
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
CN103562822A (zh) * 2011-04-28 2014-02-05 Nec软件***科技有限公司 信息处理设备、信息处理方法以及记录介质
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
JP5747695B2 (ja) * 2011-07-07 2015-07-15 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US8217856B1 (en) 2011-07-27 2012-07-10 Google Inc. Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view
EP2555536A1 (en) 2011-08-05 2013-02-06 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US20130159940A1 (en) * 2011-08-22 2013-06-20 International Technological University Gesture-Controlled Interactive Information Board
JP5921835B2 (ja) 2011-08-23 2016-05-24 日立マクセル株式会社 入力装置
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
KR101322465B1 (ko) 2011-11-17 2013-10-28 삼성전자주식회사 셀프 카메라 촬영을 위한 방법 및 장치
US8963885B2 (en) 2011-11-30 2015-02-24 Google Technology Holdings LLC Mobile device for interacting with an active stylus
US9063591B2 (en) 2011-11-30 2015-06-23 Google Technology Holdings LLC Active styluses for interacting with a mobile device
WO2013095677A1 (en) 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
WO2013095679A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
JP2013206273A (ja) * 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
CN104303177B (zh) 2012-04-25 2018-08-17 寇平公司 执行即时语音翻译的方法及耳机计算装置
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US10097496B2 (en) 2012-05-09 2018-10-09 Apple Inc. Electronic mail user interface
US10235014B2 (en) 2012-05-09 2019-03-19 Apple Inc. Music user interface
US9804759B2 (en) 2012-05-09 2017-10-31 Apple Inc. Context-specific user interfaces
US10649622B2 (en) 2012-05-09 2020-05-12 Apple Inc. Electronic message user interface
KR101328441B1 (ko) * 2012-06-07 2013-11-20 자동차부품연구원 차량용 스티어링 휠의 사용자 인터페이스 장치
JP2014085967A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理装置、情報処理方法、及びプログラム
JP5831883B2 (ja) * 2012-10-25 2015-12-09 Necパーソナルコンピュータ株式会社 情報処理装置、情報処理方法、及びプログラム
KR102049475B1 (ko) * 2013-01-08 2020-01-08 삼성전자주식회사 입력 장치, 디스플레이 장치 및 제어 방법
JP6159323B2 (ja) 2013-01-31 2017-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法及び情報処理装置
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
CN103268150A (zh) * 2013-05-13 2013-08-28 苏州福丰科技有限公司 一种基于表情识别的智能机器人管控***及管控方法
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
TWI633461B (zh) 2013-09-03 2018-08-21 蘋果公司 用於操縱使用者介面物件之電腦實施方法、非暫時性電腦可讀儲存媒體及電子器件
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
JP6124745B2 (ja) * 2013-09-19 2017-05-10 アルパイン株式会社 車載システム
US20150193111A1 (en) * 2013-10-01 2015-07-09 Google Inc. Providing Intent-Based Feedback Information On A Gesture Interface
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
JP6349800B2 (ja) * 2014-03-12 2018-07-04 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP6550643B2 (ja) * 2014-03-14 2019-07-31 本田技研工業株式会社 動作推定装置、ロボット、及び動作推定方法
US9978043B2 (en) 2014-05-30 2018-05-22 Apple Inc. Automatic event scheduling
US10782787B2 (en) * 2014-06-06 2020-09-22 Adobe Inc. Mirroring touch gestures
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
JP6350018B2 (ja) * 2014-06-25 2018-07-04 株式会社デンソー 対象物検出装置及び要素選択装置
CN106462340B (zh) 2014-06-27 2019-09-13 苹果公司 尺寸减小的用户界面
EP3195098A2 (en) 2014-07-21 2017-07-26 Apple Inc. Remote user interface
CN110072131A (zh) 2014-09-02 2019-07-30 苹果公司 音乐用户界面
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
EP3189406B1 (en) 2014-09-02 2022-09-07 Apple Inc. Phone user interface
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
FR3026502A1 (fr) * 2014-09-30 2016-04-01 Valeo Comfort & Driving Assistance Systeme et procede de commande d'un equipement d'un vehicule automobile
US10055121B2 (en) 2015-03-07 2018-08-21 Apple Inc. Activity based thresholds and feedbacks
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US11216119B2 (en) 2016-06-12 2022-01-04 Apple Inc. Displaying a predetermined view of an application
CN106920251A (zh) * 2016-06-23 2017-07-04 阿里巴巴集团控股有限公司 人手检测跟踪方法及装置
US10687759B2 (en) 2018-05-29 2020-06-23 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
WO2018022657A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
US10489986B2 (en) * 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
US10772519B2 (en) 2018-05-25 2020-09-15 Facebook Technologies, Llc Methods and apparatus for providing sub-muscular control
WO2018022597A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
EP3487457B1 (en) 2016-07-25 2023-09-06 Facebook Technologies, LLC. Adaptive system for deriving control signals from measurements of neuromuscular activity
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
JP6790769B2 (ja) * 2016-11-30 2020-11-25 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
FR3074327B1 (fr) * 2017-11-27 2021-04-23 Commissariat Energie Atomique Procede de commande d'un robot de manipulation et dispositif mettant en oeuvre un tel procede
CN112074870A (zh) 2018-01-25 2020-12-11 脸谱科技有限责任公司 重构的手部状态信息的可视化
US10460455B2 (en) 2018-01-25 2019-10-29 Ctrl-Labs Corporation Real-time processing of handstate representation model estimates
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
EP3743790A4 (en) 2018-01-25 2021-03-17 Facebook Technologies, Inc. RECONSTRUCTION OF HAND STATE ON THE BASIS OF MULTIPLE ENTRIES
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
CN111902077B (zh) 2018-01-25 2023-08-04 元平台技术有限公司 利用神经肌肉信号进行手部状态表示建模的校准技术
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10970374B2 (en) 2018-06-14 2021-04-06 Facebook Technologies, Llc User identification and authentication with neuromuscular signatures
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
WO2020036958A1 (en) 2018-08-13 2020-02-20 Ctrl-Labs Corporation Real-time spike detection and identification
EP3843617B1 (en) 2018-08-31 2023-10-04 Facebook Technologies, LLC. Camera-guided interpretation of neuromuscular signals
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
EP3853698A4 (en) 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
US10921764B2 (en) 2018-09-26 2021-02-16 Facebook Technologies, Llc Neuromuscular control of physical objects in an environment
CN112822992A (zh) 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
JP2022171477A (ja) 2021-04-30 2022-11-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
US11893212B2 (en) 2021-06-06 2024-02-06 Apple Inc. User interfaces for managing application widgets
JP7234324B1 (ja) 2021-09-28 2023-03-07 三菱電機インフォメーションシステムズ株式会社 通知受付装置、通知受付方法及び通知受付プログラム
US20240103632A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Probabilistic gesture control with feedback for electronic devices

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126161A1 (en) * 1994-07-05 2002-09-12 Hitachi, Ltd. Information processing system
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
JP3777650B2 (ja) * 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
JP2001306049A (ja) * 2000-04-21 2001-11-02 Sony Corp 情報処理装置、動作認識過程表示方法及びプログラム格納媒体
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP2002292020A (ja) * 2001-03-28 2002-10-08 Aruze Corp 遊技機、遊技機における確率変動状態継続確率の変化方法、記憶媒体、及びサーバ
ATE528724T1 (de) * 2002-08-30 2011-10-15 Mvtec Software Gmbh Auf hierarchischen gliedern basierte erkennung von gegenständen
US7225414B1 (en) * 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
EP1477924B1 (en) * 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US20060085414A1 (en) * 2004-09-30 2006-04-20 International Business Machines Corporation System and methods for reference resolution
US8250001B2 (en) * 2008-12-18 2012-08-21 Motorola Mobility Llc Increasing user input accuracy on a multifunctional electronic device

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901050A (zh) * 2009-04-23 2010-12-01 日立民用电子株式会社 输入装置
US9411424B2 (en) 2009-04-23 2016-08-09 Hitachi Maxell, Ltd. Input device for operating graphical user interface
CN105159445B (zh) * 2009-04-23 2019-03-01 麦克赛尔株式会社 输入装置
US11036301B2 (en) 2009-04-23 2021-06-15 Maxell, Ltd. Input device for motion operating graphical user interface
CN105159445A (zh) * 2009-04-23 2015-12-16 日立麦克赛尔株式会社 输入装置
US9164578B2 (en) 2009-04-23 2015-10-20 Hitachi Maxell, Ltd. Input device for operating graphical user interface
CN101930286B (zh) * 2009-06-22 2013-01-09 索尼公司 操作控制装置及操作控制方法
CN101930286A (zh) * 2009-06-22 2010-12-29 索尼公司 操作控制装置、操作控制方法和计算机可读的记录介质
CN101989378B (zh) * 2009-08-06 2012-10-10 广达电脑股份有限公司 遥控装置及其遥控方法
CN102033702A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 影像显示装置及其显示控制方法
CN102033703A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 输入装置
CN102906670A (zh) * 2010-06-01 2013-01-30 索尼公司 信息处理设备和方法以及程序
CN102906670B (zh) * 2010-06-01 2015-11-25 索尼公司 信息处理设备和方法
CN102298442A (zh) * 2010-06-24 2011-12-28 索尼公司 手势识别设备、手势识别方法及程序
CN103038727A (zh) * 2010-06-29 2013-04-10 微软公司 骨架关节识别和跟踪***
CN102542247A (zh) * 2010-09-27 2012-07-04 索尼公司 信息处理设备、信息处理方法以及程序
CN105224090A (zh) * 2010-12-27 2016-01-06 日立麦克赛尔株式会社 图像显示装置
WO2012088634A1 (en) * 2010-12-30 2012-07-05 Technicolor (China) Technology Co., Ltd. User interface, apparatus and method for gesture recognition
CN103430215B (zh) * 2011-03-21 2017-03-22 Lg电子株式会社 显示装置及其控制方法
CN103430215A (zh) * 2011-03-21 2013-12-04 Lg电子株式会社 显示装置及其控制方法
WO2012160566A1 (en) * 2011-05-23 2012-11-29 Hewlett-Packard Development Company, L.P. Multimodal interactions based on body postures
US9619018B2 (en) 2011-05-23 2017-04-11 Hewlett-Packard Development Company, L.P. Multimodal interactions based on body postures
US9916012B2 (en) 2011-06-07 2018-03-13 Sony Corporation Image processing apparatus, image processing method, and program
CN102981604B (zh) * 2011-06-07 2016-12-14 索尼公司 图像处理设备和图像处理方法
US9785245B2 (en) 2011-06-07 2017-10-10 Sony Corporation Image processing apparatus, image processing method, and program for recognizing a gesture
CN102981604A (zh) * 2011-06-07 2013-03-20 索尼公司 图像处理设备、图像处理方法和程序
CN107273019B (zh) * 2011-09-20 2020-12-01 谷歌有限责任公司 基于协同姿势的输入语言
CN107273019A (zh) * 2011-09-20 2017-10-20 谷歌公司 基于协同姿势的输入语言
CN103207985A (zh) * 2012-01-13 2013-07-17 索尼公司 图像处理装置及其方法和程序
CN103294186B (zh) * 2012-03-05 2016-02-17 东芝泰格有限公司 操作支援显示装置及其控制方法
CN103294186A (zh) * 2012-03-05 2013-09-11 东芝泰格有限公司 操作支援显示装置及其控制方法
US9347716B2 (en) 2012-04-02 2016-05-24 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
CN103363633A (zh) * 2012-04-02 2013-10-23 三菱电机株式会社 空气调节机的室内机
CN104246661A (zh) * 2012-04-16 2014-12-24 高通股份有限公司 使用手势与装置交互
CN104246661B (zh) * 2012-04-16 2017-10-31 高通股份有限公司 使用手势与装置交互
CN102750519A (zh) * 2012-05-30 2012-10-24 北京城市网邻信息技术有限公司 一种图像的识别及过滤方法和装置
CN103942524B (zh) * 2013-01-23 2017-05-17 纬创资通股份有限公司 手势辨识模块及手势辨识方法
CN103942524A (zh) * 2013-01-23 2014-07-23 纬创资通股份有限公司 手势辨识模块及手势辨识方法
CN103336578A (zh) * 2013-07-05 2013-10-02 广州新节奏智能科技有限公司 一种新型动作感应互动广告设备
CN104244049A (zh) * 2014-10-21 2014-12-24 三星电子(中国)研发中心 一种动态调节曲率和方向的曲面电视和方法
CN107491717A (zh) * 2016-06-13 2017-12-19 科大讯飞股份有限公司 ***检测方法和装置
CN109328447A (zh) * 2016-06-24 2019-02-12 哈廷电子有限公司及两合公司 接口模块、具有接口模块的***和用于耦联数据总线的方法
CN109328447B (zh) * 2016-06-24 2020-11-20 哈廷电子有限公司及两合公司 接口模块、具有接口模块的***和用于耦联数据总线的方法

Also Published As

Publication number Publication date
JP2008052590A (ja) 2008-03-06
US20080052643A1 (en) 2008-02-28
US7844921B2 (en) 2010-11-30
JP4267648B2 (ja) 2009-05-27

Similar Documents

Publication Publication Date Title
CN101131609A (zh) 接口装置和接口方法
US8405712B2 (en) Gesture recognition apparatus and method thereof
US7680295B2 (en) Hand-gesture based interface apparatus
US10156909B2 (en) Gesture recognition device, gesture recognition method, and information processing device
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
CN108960067B (zh) 基于深度学习的实时的列车驾驶员动作识别***和方法
EP2908220A1 (en) Gesture recognition device and method of controlling gesture recognition device
JP5598751B2 (ja) 動作認識装置
KR20150055543A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US20140071042A1 (en) Computer vision based control of a device using machine learning
CN115315679A (zh) 在多用户环境中使用手势来控制设备的方法和***
US9557821B2 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
US11082634B2 (en) Image processing system, image processing method, and program
KR20110003146A (ko) 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
KR20140002007A (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP5001930B2 (ja) 動作認識装置及び方法
JP2007131382A (ja) エレベータのかご内監視装置、及び監視プログラム
KR100692526B1 (ko) 시스템 자동제어용 제스처 인식 장치 및 그 방법
JP2017084335A (ja) ユーザーインターフェースのリアルタイムインタラクティブ操作のためのシステム及び方法
JP2007163864A (ja) 表示制御装置、表示制御方法、表示制御プログラム、および表示制御プログラム記録媒体
JP4470434B2 (ja) 動作識別装置、及び対象物の姿勢識別装置
CN111656313A (zh) 屏幕显示切换方法、显示设备、可移动平台
JP2015127976A (ja) 認識装置
JP2011089784A (ja) 物体方向推定装置
KR101653235B1 (ko) 제스쳐 인식 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication