CN1307510C - 确定预定义屏幕上目标点的位置的方法 - Google Patents

确定预定义屏幕上目标点的位置的方法 Download PDF

Info

Publication number
CN1307510C
CN1307510C CNB018069614A CN01806961A CN1307510C CN 1307510 C CN1307510 C CN 1307510C CN B018069614 A CNB018069614 A CN B018069614A CN 01806961 A CN01806961 A CN 01806961A CN 1307510 C CN1307510 C CN 1307510C
Authority
CN
China
Prior art keywords
target
video camera
plane
direction vector
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB018069614A
Other languages
English (en)
Other versions
CN1636178A (zh
Inventor
S·古塔
M·特拉科维克
M·-S·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1636178A publication Critical patent/CN1636178A/zh
Application granted granted Critical
Publication of CN1307510C publication Critical patent/CN1307510C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Infusion, Injection, And Reservoir Apparatuses (AREA)
  • External Artificial Organs (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

通过把被计算地投影的指示方向输入在一个平面上来指示位于平面上的一个目标的位置。如果已知该目标位于一个等高线上，则该位置被明白地规定。可替代地，一个目标的位置可以通过以连续步进的形式输入它的轴向坐标而被规定。在另一替换方法中，包含目标的图像被转换和/或被旋转并且目标再一次被指示。两个方向投射然后被用于确定目标在2维空间中的位置。方向指示可以通过一台摄像机或者诸如一个或多个无线电发射机之类的其它方法而被输入。

Description

确定预定义屏幕上目标点的位置的方法
技术领域
本发明涉及用于输入有关目标位置的信息的***和方法，并且具体地涉及使用单个摄影图像的那些***。
背景技术
许多基于计算机的***需要有关目标位置的信息。例如，常见的鼠标被用来选择屏幕上的一个控制或一个坐标。在其中把目标位置数据输入到在自动视频会议***的领域中的计算机。例如，用户通过简单地指示物体或者通过用手柄控制它从而可以把一台摄像机瞄准在感兴趣的物体上。在允许用户不必使用鼠标或手柄而是通过使用通常用于向别人指示目标的常见手势来指示目标，根据***上的许多工作面进行工作。
这些基于手势的***比需要诸如话音命令(“命令控制”，本质上，一个基于语音的码元处理器，在此每个言语命令对应一个指令，例如“PAN-LEFT”“UP”“DOWN”等等)之类的显式命令、手柄控制的传统***更直观并且更易于控制。
存在有一些确定方向的方法，其中，用户使用多个摄影视图来瞄准。例如，一个基于摄像机的***在Masaaki Fukumoto，YasuhitoSuenga和Kenji Mase的文章“′Finger-Pointer′：Pointinginterface by Image Processing”(“′手指-指针′：图像处理的瞄准接口”)中被详细描述。这些***常常很复杂，因为可能需要把多个角度视图合并来产生实际场景的三维模型以便确定与用户指示相合的三维向量。而且，摄像机需要被定位并被瞄准，并且将它们的位置和方向正确地定义。然后将三维模型用于确定用户指向的目标。在目标位于一个已知表面中的受限环境中，一种用于克服这种复杂性的技术是：使用两个未校准摄像机和二维投射变换，这在美国序列号为No.09/572,991、申请日为2000年5月17日的另一专利申请“APPARATUS AND METHOD FOR INDICATION A TARGET BY IMAGEPROCESSING WITHOUT THREE-DIMENSIONAL MODELING”(用于通过没有三维模拟的图像处理来指示目标的设备和方法)中被描述，现将此申请的全部引用在此供参考。在这里，即使不需要校准，此申请的这种方法也需要多个摄像机，这些摄象机必须以一个真正分开的距离而被定位。
鼠标通过指示相对位置来指示屏幕上的一个期望的二维坐标位置。当一个鼠标最初被控制时，被它指示的那个位置的开始位置是随机的。只有通过使用反馈以及相对移动，用户才可以最终指示一个目标位置。工作与鼠标很像的另一种简单的单个摄像机的基于手势的技术在美国专利No.5,594,469中被描述。在这种方法中，通过单个摄像机来获得用户的手势，并且通过反馈指示位置。然后用户修改手势直到反馈信号指示所期望的结果为止。例如，用户移动他/她的手部并且位移的方向和幅度被映射为屏幕上光标的相对方向和幅度位移。可是，这种***具有与鼠标或手柄相同的缺点，即，开始位置是随机的并且(通常可见的)需要反馈。
发明内容
简要地，通过把指示方向的投射输入在平面上来指示位于平面上的一个目标的位置。如果已知目标位于该平面中的一个等高线，则通过方向投射清楚地规定该位置，等高线和投射的交点就是期望的目标。可替代地，一个目标的二维位置可以通过按照连续步进的形式输入它的轴向坐标来被规定。在另一替换方法中，包含目标的图像被转换和/或被旋转并且再一次指示目标。然后将两个方向投射的交点用于确定目标在2维空间中的位置。可以通过一台摄像机或者诸如一个或多个无线电发射机、盲区投射等等之类的其它方法来输入这些方向指示。
在本***中，策略是按照上面参考的美国专利申请No.09/572,991中公开的方式来使用二维投射变换，但是代替使用两个摄像机来提供单个方向指示向量在一个公共平面上独立的二维投射，单个摄像机的图像坐标被映射到只提供一维(而不是二维)坐标信息的一个已知平面上。然而，这种单一维数可以按照许多方式而被使用。例如，可以利用指示手势来控制诸如游标控制之类的单一轴线控制。显示在线路图上的直线上的一个点也可以被指示。同时，通过使用连续的手势输入，表明表格的一行和一列，则可指示一个期望的单元。可替代地，可将场景的图像投影在屏幕上并且在场景上指示目标。然后，在第一指示之后，可将该场景转换和/或旋转，并且再一次指出目标。从这两种瞄准指示的二维投射中，可以通过简单地找到两个投射的交点来推断目标的位置。
现在将结合附图描述本发明的一些优选实施例，以便更充分地了解本发明。参考附图，强调通过示例来示出的细节只是为了对本发明优选实施例的说明讨论的目的，为了提供相信是最有用并且最易于理解的本发明原理和概念。关于这点，除对于本发明的一种基本理解所必要的之外，不想更详细地示出本发明的结构细节，与附图一起做出的说明使得对本领域技术人员明确：如何具体地实施本发明的多种形式。
附图说明
图1A是用于实现本发明实施例的模具的一个顶视图。
图1B是图1A的模具的一个前视图。
图1C是图1A和1B的模具的一个侧视图。
图2是用于本发明实施例的建立结构的一个说明。
图3和4说明了在一个建立的摄影图像中的二维投射坐标之间的几何关系，其中，在两个等高线上指示的位置被用来指示一个点。
图5和6说明了在一个建立的摄影图像中的二维投射坐标之间的几何关系，其中，被移到两个位置在单一等高线上的指示位置被用来指示一个点。
图7是可用来实现本发明的物理结构的一个说明。
最佳实施方式
参见图1A，1B和1C，一个摄像机150被提供在屏幕135与小孔155后面的平台110上。摄像机150可瞄准在屏幕前面的一个场景处如此以使摄像机150通过小孔155观看该场景。摄像机的150如此瞄准以使在它的图像中可看见小孔155的边缘170。因此，摄像机150的视域被小孔155稍微省略一部分。注意，在设备200中，屏幕135的目的是以小孔155的拐角261-264的形式呈现四个标记，并且有效用于那个目的的任何装置都将满足。例如，一个具有标记的透明玻璃或一个线路框架物体。正如由矩形小孔155或一个线路框架提供的，在拐角处加入直线在感测方面是有益的，它们允许使用内插来识别四个拐角的坐标从而相对于小标记的直接测量可增加坐标测量的精度。
现在参见图2，设备200处于它被用来观看用户30的一个位置中。在建立期间，摄像机240暂时被放置于这样一个位置和方向上以使目标可以放置的点的轨迹，例如屏幕210，和设备200屏幕135的四个点261-264在它的视域之内。另外的四个点221-224也被标记在屏幕210上。这四个点221-224也在建立的摄像机240的视图范围中。单个建立的图像是建立的摄像机240所需要的全部。图像被用来计算把摄像机150图像中四个点261-264映射到建立的摄像机240图像中的四个点去的二维投射变换。一旦这个建立的变换被计算出，则它被用来把摄像机150图像中的任何图像坐标变换为建立的摄像机240的图像坐标。建立的摄像机240的图像是所有目标位置数据的根据，或者，通过适当地修改建立的变换，它的图像可以被变换到任何期望的平面。在一个示例实施例中，用户30的眼236和指尖235的坐标从摄像机150图像中的坐标被变换为摄像机240图像的坐标。
例示示出了用户30使用一个指示手势来指向一个目标260。在实验上已经确定：被人使用来指向比如目标260之类的一个目标的手势是如此以致用户的指尖235、用户的右(或左)眼230以及目标260通过一条直线被结合。现在参见图3和4，屏幕210的平面被表示在350处而把用户30的眼236和指尖235结合的那条直线在330处。在建立的摄像机240视野中目标260的二维投射沿着由用户30的眼236和指尖235定义的直线或方向向量330的二维投射而存在。以325指示的摄像机240的焦点，和方向向量一起定义一个平面320。平面320和目标所在的平面350的交点定义方向向量330的投射。如果已知目标(例如T1)存在于平面350中的一个特定直线或等高线上，例如垂直轴或游标控制360，则可以通过寻找直线330和垂直轴或游标控制360的二维投射310的交点来获得目标点。
仍然参见图3和4，为了指示在平面350上的一个任意点，两个轴或游标控制360和365可以被连续地投影在屏幕210上，并且，位置可通过把垂直位置例如首先指示在垂直轴或游标控制360上并把水平位置例如然后指示在水平轴线或游标控制365上而被指示。这类似于这种方式：通过规定一个表格的列然后它的行来挑选该表格的一个特定单元。
现在参见图5，一个点可以被规定在一个非直线460上。如果相应于方向向量430的投射线410只是在一个点处与曲线或等高线460交点，那么目标点可以被明白地确定。例如，可以用这种方式规定一个点在路线或另一物体的周线上的位置。同样，目标被认为存在于平面450上。
现在一起参见图5和6，假定一个任意的图像被规定在第一位置和方向上。在这个第一位置和方向中，一个目标473由方向向量430来指示。一旦此情形发生，则知道目标473存在于由方向向量430的投射所规定的直线410所定义的一条路径上。在这个实施例中，而非要求目标473存在于预定义直线或等高线460上，可是，图像的位置和/或方向被改变并且用户产生由方向向量430表示的另一指示。第二投射直线412然后被定义在平面450中。投射直线410和412的交点表示目标473的位置。当然，明显地，投射直线410和412相对于该场景而被定义。
虽然在上述的实施例中，目标是由一个指示手势以一种特定的方式(眼到指尖)来指示，但是没有理由此指示不能以其他方式而被导出。例如，一个瞄准设备或棍棒可以被使用。同时，目标可以是大体上存在于一个公共平面上的任意对象或图像，而不是该目标在一个屏幕上。然而进一步，对象或目标不需要存在于单个平面上，而是可以存在于多个平面上，其每一平面具有分别的记录标记组。通过使用其它变换还可以扩展本发明以使目标能够存在于除了平面表面之外的表面上。另一变化是以手势的方式来指示一个方向。图像的时序可用于得出一个方向，比如，在一个短时间间隔上手或手指的摆动方向，其将参加一个移动手势来指示一个方向。同时，另外一个适当的应用是一种白板应用。然而进一步，记录标记不需要是一个屏幕上的标记，而是可以是屏幕的拐角。同时，记录标记可以在建立期间在一个点处被投影在屏幕上然后被移走。记录点坐标然后可以被用来计算变换而不必另外参考记录标记直到建立被改变为止。此技术的另一应用是用于把摄像机瞄准在目标上的使用。一旦参考图像中的坐标是已知的，则摄像机可以被重新瞄准并被缩放以便获得目标。这在自动视频会议***环境中很有用。
现在参见图7，可用来实现本发明应用的设备和方法在方框图中被说明。图像处理器505接收来自摄像机501中的图像数据。图像和坐标数据可以被储存在存储器510或非易失存储器520中。例如，变换数据(一旦被计算出)可以被储存在非易失存储器520中而存储器510用于来自摄像机501中的图像的计算以便导出可以被应用到应用处理530的目标的坐标x，y。应用处理可以操作多个图像处理步骤来完成上述连续的目标指示步骤。每次一个目标被指示时，则一个指示器522，比如一个话音响应***，可以指示用户的输入。在一个语音响应***中，用户可以这样指示，即，通过说出一个特定的单词或命令来完成他/她的当前手势。可替代地，用户可以使用手势、遥控按键或其它指示器522指示相同的内容。应用处理530然后在输出设备540上产生一个输出，比如在白板上的一个轨迹或者一个游戏化身的控制数据。在通过无线设备来获得二维投射的那些***中，一个RF检测器524可以被提供。
注意：由摄像机501收集的投射数据还可以从诸如声纳、无线、超频音响医学设备之类的其它来源或者能够形成二维投射的其它设备中得来。同时注意，可将同样的计算方法论用在与指示符的连接中，而不是通过摄像机获得它的方向。例如，瞄准管或枪瞄准与无线电发射机的方向可以通过计算机来获得并被用于确定目标在屏蔽上的位置。该技术使用于基于无线的写字板、网络白板，并且这样可以被使用来确定一个定点设备的方向而完全地避免对于摄像机的需要。注意，此设备还可以使用于美国专利申请No.09/572,991中，其在上面通过参考被结合。
对本领域技术人员来说很明显，本发明不局限于前述说明实施例的细节，并且本发明可以按照其它具体的形式被具体表达而没有偏离它的精神或重要属性。本实施例因此在各方面被考虑为是说明性的而非限定性的，由附加而不是前述的说明和出现在权利要求等价含意和范围内的所有变化来表示的本发明的范围因此意指被包含在其中。

Claims (5)

1.一种确定位于预定义屏幕上的目标点的位置的方法，包括如下步骤：
生成方向矢量；
计算由摄像机的焦点和所述方向矢量确定的平面；
通过获得所述平面与所述屏幕的交点来计算所述方向矢量到所述屏幕上的平面投影；
通过获得所述平面投影与所述屏幕上已知轮廓的交点来确定所述屏幕上的目标点。
2.如权利要求1所述的方法，其中，生成方向矢量包括利用摄像机获得一个人的手势。
3.如权利要求1所述的方法，其中，生成方向矢量包括获得指示装置的方位。
4.如权利要求3所述的方法，其中，获得所述指示装置的方位包括利用摄像机或利用接收由所述指示装置发送的无线电信号的无线电接收机来获得所述指示装置的图像。
5.如权利要求1所述的方法，其中，计算所述方向矢量到所述屏幕上的所述平面投影包括将通过第一摄像机获得的所述方向矢量的坐标变换成第二摄像机的图像坐标。
CNB018069614A 2001-01-22 2001-12-17 确定预定义屏幕上目标点的位置的方法 Expired - Fee Related CN1307510C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/766,710 US6600475B2 (en) 2001-01-22 2001-01-22 Single camera system for gesture-based input and target indication
US09/766,710 2001-01-22

Publications (2)

Publication Number Publication Date
CN1636178A CN1636178A (zh) 2005-07-06
CN1307510C true CN1307510C (zh) 2007-03-28

Family

ID=25077269

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018069614A Expired - Fee Related CN1307510C (zh) 2001-01-22 2001-12-17 确定预定义屏幕上目标点的位置的方法

Country Status (8)

Country Link
US (1) US6600475B2 (zh)
EP (1) EP1629366B1 (zh)
JP (1) JP4278979B2 (zh)
KR (1) KR100878127B1 (zh)
CN (1) CN1307510C (zh)
AT (1) ATE447735T1 (zh)
DE (1) DE60140387D1 (zh)
WO (1) WO2002057894A2 (zh)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6943774B2 (en) * 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method
JP3811025B2 (ja) * 2001-07-03 2006-08-16 株式会社日立製作所 ネットワーク・システム
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
GB2407635B (en) * 2003-10-31 2006-07-12 Hewlett Packard Development Co Improvements in and relating to camera control
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US7969409B2 (en) * 2004-02-18 2011-06-28 Rafal Jan Krepec Camera assisted pen tablet
JP4566596B2 (ja) * 2004-03-29 2010-10-20 アルパイン株式会社 操作指示装置
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
US7338449B2 (en) * 2004-05-25 2008-03-04 Siemens Medical Solutions Usa, Inc. Three dimensional locator for diagnostic ultrasound or medical imaging
US7787706B2 (en) * 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US20060072009A1 (en) * 2004-10-01 2006-04-06 International Business Machines Corporation Flexible interaction-based computer interfacing using visible artifacts
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US7796116B2 (en) 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
KR100724939B1 (ko) * 2005-06-20 2007-06-04 삼성전자주식회사 카메라부를 이용한 유저 인터페이스 구현 방법 및 이를위한 이동통신단말기
US20070018966A1 (en) * 2005-07-25 2007-01-25 Blythe Michael M Predicted object location
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8060840B2 (en) 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
US7984995B2 (en) 2006-05-24 2011-07-26 Smart Technologies Ulc Method and apparatus for inhibiting a subject's eyes from being exposed to projected light
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US20110025818A1 (en) * 2006-11-07 2011-02-03 Jonathan Gallmeier System and Method for Controlling Presentations and Videoconferences Using Hand Motions
US7770115B2 (en) * 2006-11-07 2010-08-03 Polycom, Inc. System and method for controlling presentations and videoconferences using hand motions
JP4171039B2 (ja) 2006-12-22 2008-10-22 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
JP4171040B2 (ja) * 2006-12-22 2008-10-22 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
US8212857B2 (en) * 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20110035662A1 (en) 2009-02-18 2011-02-10 King Martin T Interacting with rendered documents using a multi-function mobile device, such as a mobile phone
TW200919336A (en) * 2007-10-25 2009-05-01 Ind Tech Res Inst Method for positioning a non-structural object in a series of continuing images
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
WO2009089045A1 (en) * 2008-01-08 2009-07-16 Kessler Jonathan A Image based interaction and communication method
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US8305345B2 (en) * 2008-08-07 2012-11-06 Life Technologies Co., Ltd. Multimedia playing device
CN103324386A (zh) * 2008-08-22 2013-09-25 谷歌公司 移动设备上的三维环境中的导航
US20100105479A1 (en) 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
DE202010018551U1 (de) 2009-03-12 2017-08-24 Google, Inc. Automatische Bereitstellung von Inhalten, die mit erfassten Informationen, wie etwa in Echtzeit erfassten Informationen, verknüpft sind
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8547327B2 (en) 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9189949B2 (en) 2010-12-09 2015-11-17 Sealed Air Corporation (Us) Automated monitoring and control of contamination in a production area
US9406212B2 (en) 2010-04-01 2016-08-02 Sealed Air Corporation (Us) Automated monitoring and control of contamination activity in a production area
US9143843B2 (en) 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US9011607B2 (en) 2010-10-07 2015-04-21 Sealed Air Corporation (Us) Automated monitoring and control of cleaning in a production area
US20120095575A1 (en) * 2010-10-14 2012-04-19 Cedes Safety & Automation Ag Time of flight (tof) human machine interface (hmi)
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
KR101804848B1 (ko) 2011-04-22 2017-12-06 삼성전자주식회사 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
US9317130B2 (en) 2011-06-16 2016-04-19 Rafal Jan Krepec Visual feedback by identifying anatomical features of a hand
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
US20130204408A1 (en) * 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
CN103294173A (zh) * 2012-02-24 2013-09-11 冠捷投资有限公司 基于使用者动作的遥控***及其方法
WO2013136333A1 (en) 2012-03-13 2013-09-19 Eyesight Mobile Technologies Ltd. Touch free user interface
KR101533320B1 (ko) * 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
CN103873760B (zh) * 2012-12-17 2017-12-26 联想(北京)有限公司 一种对焦点调整方法及电子设备
TWI486820B (zh) * 2012-12-28 2015-06-01 Wistron Corp 用於互動系統之座標轉換方法及電腦系統
US8933882B2 (en) * 2012-12-31 2015-01-13 Intentive Inc. User centric interface for interaction with visual display that recognizes user intentions
US9141198B2 (en) * 2013-01-08 2015-09-22 Infineon Technologies Ag Control of a control parameter by gesture recognition
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
JP6171452B2 (ja) * 2013-03-25 2017-08-02 セイコーエプソン株式会社 画像処理装置、プロジェクターおよび画像処理方法
TWI563818B (en) * 2013-05-24 2016-12-21 Univ Central Taiwan Sci & Tech Three dimension contactless controllable glasses-like cell phone
JP6480434B2 (ja) 2013-06-27 2019-03-13 アイサイト モバイル テクノロジーズ リミテッド デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
CN105531646A (zh) 2013-09-17 2016-04-27 皇家飞利浦有限公司 手势驱动的范围和值的同时选择
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
CN104978012B (zh) 2014-04-03 2018-03-16 华为技术有限公司 一种指向交互方法、装置及***
KR101453815B1 (ko) 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
DE102015201728A1 (de) * 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen eines Bedienelements eines Kraftfahrzeugs und Bediensystem für ein Kraftfahrzeug
EP3309708A4 (en) * 2015-06-10 2019-03-06 Vtouch Co., Ltd. METHOD AND DEVICE FOR DETECTING GESTURES IN A USER-BASED SPATIAL COORDINATE SYSTEM
US10390736B1 (en) 2015-08-22 2019-08-27 Bertec Corporation Force measurement system that includes a force measurement assembly, at least one visual display device, and one or more data processing devices
US10555688B1 (en) 2015-08-22 2020-02-11 Bertec Corporation Measurement system that includes at least one measurement assembly, a head-mounted visual display device, and a data processing device
US10860843B1 (en) 2015-08-22 2020-12-08 Bertec Corporation Measurement system that includes at least one measurement assembly, a head-mounted visual display device, and a data processing device
US10216262B1 (en) * 2015-08-22 2019-02-26 Bertec Corporation Force management system that includes a force measurement assembly, a visual display device, and one or more data processing devices
US11301045B1 (en) 2015-08-22 2022-04-12 Bertec Corporation Measurement system that includes at least one measurement assembly, a visual display device, and at least one data processing device
US11992746B1 (en) 2015-08-22 2024-05-28 Bertec Corporation Hybrid display system for a force measurement assembly, an exercise device, or an interactive game
TWI553509B (zh) * 2015-10-30 2016-10-11 鴻海精密工業股份有限公司 手勢控制系統及方法
WO2018042639A1 (ja) * 2016-09-02 2018-03-08 楽天株式会社 情報処理装置、情報処理方法、及びプログラム
CN107346175B (zh) * 2017-06-30 2020-08-25 联想(北京)有限公司 一种手势位置校正方法和增强现实显示设备
CN110554784B (zh) * 2018-05-31 2023-07-14 广东虚拟现实科技有限公司 输入方法、装置、显示设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999032959A2 (en) * 1997-12-22 1999-07-01 Koninklijke Philips Electronics N.V. Method and system for gesture based option selection
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2695745B1 (fr) 1992-09-15 1994-10-28 Sextant Avionique Procédé de dialogue gestuel multimode dans un environnement virtuel.
FR2696574B1 (fr) 1992-10-06 1994-11-18 Sextant Avionique Procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine.
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JP3267047B2 (ja) 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
JP3270643B2 (ja) * 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
KR19990008158A (ko) 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
EP0919906B1 (en) 1997-11-27 2005-05-25 Matsushita Electric Industrial Co., Ltd. Control method
DE19845028A1 (de) 1998-09-30 2000-06-08 Siemens Ag Magnetresonanz (MR)-System
KR100869447B1 (ko) 2000-05-17 2008-11-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 3차원 모델링 없이 이미지 처리에 의해 타겟을 지시하는 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999032959A2 (en) * 1997-12-22 1999-07-01 Koninklijke Philips Electronics N.V. Method and system for gesture based option selection
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom

Also Published As

Publication number Publication date
US20020097218A1 (en) 2002-07-25
CN1636178A (zh) 2005-07-06
JP2004522220A (ja) 2004-07-22
WO2002057894A3 (en) 2007-11-08
JP4278979B2 (ja) 2009-06-17
EP1629366B1 (en) 2009-11-04
WO2002057894A2 (en) 2002-07-25
KR20020086931A (ko) 2002-11-20
KR100878127B1 (ko) 2009-01-14
EP1629366A2 (en) 2006-03-01
ATE447735T1 (de) 2009-11-15
US6600475B2 (en) 2003-07-29
DE60140387D1 (de) 2009-12-17

Similar Documents

Publication Publication Date Title
CN1307510C (zh) 确定预定义屏幕上目标点的位置的方法
CN110019580B (zh) 地图显示方法、装置、存储介质及终端
JP6223122B2 (ja) 拡張現実のための自動基準フレーム較正
US8593402B2 (en) Spatial-input-based cursor projection systems and methods
KR100869447B1 (ko) 3차원 모델링 없이 이미지 처리에 의해 타겟을 지시하는 장치 및 방법
US7268781B2 (en) Image display control method
CN102984565A (zh) 具有多输入模式的多维度遥控器及电视输入指令的方法
TWI661210B (zh) 座標系統制定方法、裝置及資料結構產品
CN108388341B (zh) 一种基于红外摄像机-可见光投影仪的人机交互***及装置
US20110109628A1 (en) Method for producing an effect on virtual objects
CN104620201A (zh) 不需要指针的三维虚拟对象信息获得装置
CN109961523A (zh) 虚拟目标的更新方法、装置、***、设备及存储介质
CA3018886C (en) Three-dimensional measuring system and measuring method with multiple measuring modes
KR101683763B1 (ko) 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법
CN1922464B (zh) 表面计量装置
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109840943B (zh) 三维可视化分析方法及***
TWI668492B (zh) 透明顯示裝置及使用其之控制方法
JPH04257014A (ja) 入力装置
CN103034345A (zh) 一种真实空间中的地理虚拟仿真三维鼠标笔
WO2021166751A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN110554784B (zh) 输入方法、装置、显示设备及存储介质
CN116233392B (zh) 虚拟拍摄***的校准方法、装置、电子设备及存储介质
CN113465600B (zh) 一种导航方法、装置及电子设备和存储介质
EP1131792A1 (en) Method and device for creating and modifying digital 3d models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070328

Termination date: 20191217

CF01 Termination of patent right due to non-payment of annual fee