CN102422306A - 增强型手持式屏幕感测指针 - Google Patents

增强型手持式屏幕感测指针 Download PDF

Info

Publication number
CN102422306A
CN102422306A CN2010800209869A CN201080020986A CN102422306A CN 102422306 A CN102422306 A CN 102422306A CN 2010800209869 A CN2010800209869 A CN 2010800209869A CN 201080020986 A CN201080020986 A CN 201080020986A CN 102422306 A CN102422306 A CN 102422306A
Authority
CN
China
Prior art keywords
benchmark
display equipment
handheld apparatus
camera image
confirm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800209869A
Other languages
English (en)
Other versions
CN102422306B (zh
Inventor
埃文·希尔德雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102422306A publication Critical patent/CN102422306A/zh
Application granted granted Critical
Publication of CN102422306B publication Critical patent/CN102422306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种增强型手持式屏幕感测指向，其中手持式装置俘获显示器装置呈现的一个或一个以上基准的相机图像，且确定所述所俘获的相机图像中所述一个或一个以上基准的位置或角度。至少基于所述相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定所述显示器装置上的所述手持式装置朝向的位置，且基于所述显示器装置上的所述所确定的位置控制应用。

Description

增强型手持式屏幕感测指针
相关申请案的交叉参考
本申请案主张2009年4月8日申请的第61/167,738号美国临时申请案的权益，所述临时申请案以引用的方式并入。
技术领域
本发明大体涉及用户接口。
背景技术
发明内容
根据一个大体实施方案，一种计算机实施的过程包含由手持式装置俘获显示器装置呈现的一个或一个以上基准的相机图像，以及确定所俘获的相机图像中所述一个或一个以上基准的位置或角度。所述过程还包含至少基于相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定显示器装置上的手持式装置朝向的位置，以及基于显示器装置上的所述所确定的位置控制应用。
在实例实施方案中，所述过程可包含控制显示器装置在表示正控制的应用的输出的用户接口内呈现所述一个或一个以上基准。另外，所述一个或一个以上基准可包含第一和第二基准，或第一到第四基准。显示器装置可为LCD、等离子、DLP或CRT显示器。手持式装置可进一步包含激光指针，且相机图像可俘获由激光指针投射在显示器装置上的激光。所述一个或一个以上基准可进一步包含显示器装置的屏幕的一个或一个以上隅角。所述过程还可包含基于亮度或色调的差异检测屏幕的所述一个或一个以上隅角。所述一个或一个以上基准可构成用户接口控制，可为例如公司标志等桌面图标，或视频游戏参考部件。
在一些实施方案中，所述过程可包含从多个不同显示器装置类型中确定一显示器装置类型。在这些实施方案中，所述过程可包含从多个不同过滤技术中选择适于所确定的显示器装置类型的过滤技术，以及将选定的过滤技术应用于所俘获的相机图像。
在一些实例中，所述过程可包含分析针对可用作所述一个或一个以上基准的所显示元素的表示正控制的应用的输出的用户接口。在这些实例中，所述过程可包含从表示正控制的应用的输出的所述用户接口内的所述所显示元素选择所述一个或一个以上基准，以及将从表示正控制的应用的输出的所述用户接口内的所述所显示元素选择的所述一个或一个以上基准的形状和位置的描述发射到手持式装置。
所述过程还可包含从手持式装置的存储器存取识别所述一个或一个以上基准的形状或位置的信息或识别显示器装置呈现的所述一个或一个以上基准的显示的定时的信息。所述一个或一个以上基准可在显示器装置上闪光。
在一些实施方案中，所述过程可包含从多个不同显示器装置类型中确定一显示器装置类型。在这些实施方案中，所述过程可包含从多个不同闪光技术中选择适于所确定的显示器装置类型的闪光技术，以及控制显示器装置使用选定的闪光技术在显示器装置上使所述一个或一个以上基准闪光。
所述过程还可包含至少基于相机图像中所述一个或一个以上基准的所确定的位置或角度确定手持式装置的定向，其中可进一步基于所确定的定向来控制应用。所述过程还可包含确定手持式装置的距离或位置，其中可相对于显示器装置确定手持式装置的距离、位置或定向。所述过程还可包含基于显示器装置上的手持式装置朝向的所确定位置确定手持式装置的用户的身份。
所述过程还可包含由第二手持式装置俘获显示器装置呈现的所述一个或一个以上基准的第二相机图像、确定第二所俘获的相机图像中所述一个或一个以上基准的位置或角度，以及至少基于第二相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定显示器装置上的第二手持式装置朝向的第二位置，其中可基于所述所确定的位置和所述所确定的第二位置控制应用。所述应用可为视频游戏应用或媒体中心应用。控制应用可进一步包含基于确定手持式装置的定向已改变而改变虚拟空间中化身(avatar)的视图。
所述过程还可包含在手持式装置处俘获显示器装置呈现的所述一个或一个以上基准的第二相机图像、确定第二所俘获的相机图像中所述一个或一个以上基准的第二位置或第二角度、至少基于第二相机图像中所述一个或一个以上基准的所述所确定的第二位置或第二角度确定显示器装置上的手持式装置朝向的第二位置，以及基于将所述位置与第二位置进行比较而确定手持式装置的运动，其中可基于所述所确定的运动控制应用。所述过程还可包含确定第二手持式装置的距离、位置或定向，其中可相对于显示器装置确定手持式装置的距离、位置或定向。
所述过程还可包含基于将第二手持式装置的所确定的距离、位置或定向与第一手持式装置的所确定的距离、位置或定向进行比较而确定手持式装置的用户的身份。所述过程还可包含确定手持式装置相对于显示器装置的第一距离、位置或定向、确定第二手持式装置相对于显示器装置的第二距离、位置或定向，以及基于手持式装置的所确定的第一距离、位置或定向相对于第二手持式装置的所确定的第二距离、位置或定向而确定第一用户的身份和第二用户的身份。
根据另一大体实施方案，一种***包含一个或一个以上计算机，以及上面存储有指令的耦合到所述一个或一个以上计算机的计算机可读媒体，所述指令当由所述一个或一个以上计算机执行时致使所述一个或一个以上计算机执行操作。所述操作可包含由手持式装置俘获显示器装置呈现的一个或一个以上基准的相机图像、确定所俘获的相机图像中所述一个或一个以上基准的位置或角度、至少基于相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定显示器装置上的手持式装置朝向的位置，以及基于显示器装置上的所述所确定的位置控制应用。
根据另一大体实施方案，一种计算机存储媒体以计算机程序进行编码，所述程序包含当由数据处理设备执行时致使所述数据处理设备执行操作的指令。所述操作可包含由手持式装置俘获显示器装置呈现的一个或一个以上基准的相机图像、确定所俘获的相机图像中所述一个或一个以上基准的位置或角度、至少基于相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定显示器装置上的手持式装置朝向的位置，以及基于显示器装置上的所述所确定的位置控制应用。
已提供简要概述以实现对本文献描述的各种概念和实施方案的快速理解。可通过参考结合附图进行的以下详细描述而获得更完整的理解。应理解，可利用其它实施方案且可作出改变。
附图说明
图1是示例的情境图。
图2说明应用控制***。
图3是示范性过程的流程图。
图4说明使用手持式装置的基准图像俘获。
图5说明相对于一对基准位置的光标位置的预期准确度。
图6和7A-D说明基于一个基准的光标移动。
图8说明光标位置的准确度。
图9说明屏幕隅角基准。
图10说明用户接口控制基准的使用。
图11和12说明覆盖在视频图像上的基准。
图13说明示范性计算装置。
相同参考数字始终表示对应的部件。
具体实施方式
图2是示例经由使用手持式装置101的应用控制的概念图。手持式装置101可为(例如)远程控制或游戏控制器。手持式装置101可与显示器装置102通信。显示器装置102可为(例如)桌上型计算机、膝上型计算机、视频游戏控制台、机顶盒等。显示器装置102包含用户接口104。用户接口104可为(例如)计算机监视器或电视显示器。
用户接口104呈现基准106a-d。基准是在形状或颜色上独特的图像的视觉特征。举例来说，显示到用户接口104上的现有用户接口组件可用作基准。基准的其它实例包含桌面图标、公司标志，或用户接口104的一个或一个以上隅角。
手持式装置101包含相机108。相机108俘获基准106a-d的相机图像。可俘获多个相机图像。举例来说，如果用户将手持式装置101向右移动，如手持式装置101a所说明，那么相机108a可在第二时间点俘获基准106a-d的相机图像。
可确定每一所俘获的相机图像中基准106a-d的每一者的位置或角度。举例来说，由手持式装置101俘获的相机图像110包含所俘获的基准图像112a-d。归因于当俘获相机图像110时由手持式装置101的角度形成的远近关系(perspective)，基准图像112a-d不如用户接口104中显示的对应基准106a-d那样呈现为准确的矩形对准。举例来说，基准106b在基准106d上方垂直对准，同时基准图像112d呈现在基准图像112b右侧。作为另一实例，基准106b与基准106a水平对准，同时基准图像112b呈现在基准图像112a上方。
此外，远近关系相关的失真可随手持式装置101的定向改变而改变。举例来说，由手持式装置101(例如，在用户将手持式装置101向右移动之后)俘获的相机图像114覆盖在(例如，以用于比较)相机图像110的顶部上。手持式装置101b的角度越大致使与相机图像110相比向相机图像114的右侧“拉伸”越多。举例来说，基准图像116d比对应的基准图像112d更低且向右更远，且基准图像116c比对应的基准图像112b更高且向右更远。
可将相机图像110和114进行比较，且可基于所确定的基准位置信息执行计算(例如，三角测量)以确定用户接口104上的手持式装置101a朝向的位置。并且，在一些实施方案中，可确定手持式装置101a相对于用户接口104的位置和距离或定向。举例来说，表120显示实例所计算的信息，其指示：在第一时间点，显示器装置101确定为距用户接口104六英尺，定向为三十度，且指向用户接口104上的坐标位置(400，400)；且在第二时间点，显示器装置101a确定为距用户接口104六英尺，定向为三十五度，且指向用户接口104上的坐标位置(600，400)。
可响应于确定用户接口104上的位置而控制应用。举例来说，用户接口130正呈现基准132a-d和表示虚拟空间的区域134。所述区域134显示虚拟门136(例如，作为虚拟游戏的一部分)。光标138显示在先前确定的位置处。响应于用户将手持式装置101向右移动(如手持式装置101a所指示)，可确定用户接口130上的新的位置。光标140可显示在新的位置处(例如，且光标138可从用户接口130移除，例如以模拟光标移动)。响应于检测到的位置改变，可在虚拟世界中执行动作，例如在虚拟空间中关闭门136。
在图1所示的实例中，用户接口可经控制以在用户接口内的特定位置(例如，多个基准的特定型式)呈现基准，且每一基准具有特定形状和颜色。在用户接口内的特定位置且以特定形状和颜色呈现基准允许容易地检测基准且对其进行分析以确定手持式装置相对于用户接口的位置和/或角度。用户接口可经控制以以非突出方式将基准与其它显示元素集成或用其它显示元素覆盖基准。手持式装置或显示器装置可致使将基准呈现(可能)为应用(例如，视频游戏)所提供的输出的额外元素。手持式装置或显示器装置也可选择已呈现在显示器装置上的适当基准作为应用(例如，视频游戏)所提供的输出。因为在显示器装置的用户接口上呈现基准，所以可检测手持式装置相对于用户接口的位置和/或角度，而不必添加额外硬件组件以补充显示器装置且产生参考点。
图2说明应用控制***200。***200包含经由网络211连接到一个或一个以上手持式装置212的显示器装置201。显示器装置201包含处理器202、用户接口204、媒体206和网络接口208。手持式装置212包含相机214、处理器216、媒体218、网络接口220和时钟222。
显示器装置201可为桌上型计算机、膝上型计算机、视频游戏控制台、机顶盒、数字相框，或任何其它能够显示图像的装置。手持式装置212可为远程控制、游戏控制器、激光指针、移动电话、PDA(个人数字助理)或其它移动装置。在一替代实施方案中，手持式装置212可固持在静态位置中，且显示器装置201可为围绕手持式装置212移动的手持式显示器装置。
媒体202和218存储并记录信息或数据，且每一者可为光学存储媒体、磁性存储媒体、快闪存储器或任何其它存储媒体类型。媒体206包含基准数据库210，且媒体218包含基准数据库224。基准数据库210和224存储(例如)形状数据、定时数据(例如，针对闪光基准)，以及用户接口204上基准的位置。在一些实施方案中，使用基准数据库210和224两者。在其它实施方案中，使用基准数据库210和224中的一者。可使用时钟222(例如)来协调显示闪光基准的定时。
用户接口204可经配置以呈现视觉显示图像。举例来说，用户接口204可为监视器、电视机、液晶显示器(LCD)、等离子显示器装置、具有投影屏幕的投影仪、自动立体显示器、阴极射线管(CRT)显示器、数字光处理(DLP)显示器，或经配置以呈现显示图像的任何其它类型的显示器装置。用户接口204可包含一个或一个以上显示器装置。在一些配置中，用户接口204可经配置以显示与应用相关联的图像，例如显示由应用产生的图像，包含控制和例如化身等对象。
显示器装置201可连接到网络211，且可能经由网络接口208连接到一个或一个以上其它网络。类似地，手持式装置212可连接到网络211，且可能经由网络接口220连接到一个或一个以上其它网络。网络211可包含(例如)因特网、广域网(WAN)、局域网(LAN)、模拟或数字有线和无线电话网络(例如，PSTN、集成服务数字网络(ISDN)，和数字订户线(xDSL))、无线电、电视、电缆、卫星和/或任何其它用于携载数据服务的递送或隧穿机制中的一者或一者以上。网络可包含多个网络或子网，其每一者可包含(例如)有线或无线数据路径。在另一实施方案中，省略网络211，且显示器装置201例如使用蓝牙、Wi-Fi、经调制近红外信号或经调制短程射频通信经由直接、无线或有线线路通信信道连接到手持式装置。
相机214俘获或以另外方式产生相机图像，所述相机图像可发射到处理器216且可发射到显示器装置201。处理器202和216可使用贯穿本发明中描述的技术处理相机图像。相机214可将图像俘获为静态照片或移动图像序列。相机214可使用可见光谱的光或利用电磁频谱的其它部分。举例来说，相机214可为数码相机、数字视频相机，或经配置以俘获图像任何其它类型的装置。相机214可包含一个或一个以上相机。在一些实例中，相机214可经配置以在相机214的视场内俘获用户接口204的图像。
相机214可为能够检测显示器装置产生的信号的任何传感器。相机214可为灰阶相机或彩色相机。或者，如果显示器装置能够产生红外图像，那么相机214可为红外相机。
处理器216可能够从相机214接收图像并对其进行处理以产生位置数据。处理器202可能够从手持式装置212接收图像并对其进行处理以产生位置数据。处理器202还可产生在用户接口204上显示的显示图像。
尽管显示器装置201已描述为包含个人计算机(PC)或机顶盒或与之介接，但此描述仅为了简洁而作出，且也预期其它实施方案或表现形式。举例来说，可使用电视机、超移动个人计算机(UMPC)、移动因特网装置(MID)、数字相框(DPF)、便携式媒体播放器(PMP)、通用计算机(例如，桌上型计算机、工作站或膝上型计算机)、服务器、游戏装置或控制台，或包含处理器或经配置以执行指令的其它控制电路的任何其它类型的电子装置，或者包含用户接口的任何其它设备来实施显示器装置201。
图3是说明用于控制应用的计算机实施的过程300的流程图。简要来说，过程300包含：由手持式装置俘获显示器装置呈现的一个或一个以上基准的相机图像；确定所俘获的相机图像中所述一个或一个以上基准的位置或角度；至少基于相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定显示器装置上的手持式装置朝向的位置；以及基于显示器装置上的所述所确定的位置控制应用。
更详细来说，当过程300开始时(S302)，由手持式装置俘获显示器装置呈现的一个或一个以上基准的相机图像(S304)。基准是在形状或颜色上独特的图像的视觉特征。可包含在所俘获的相机图像中的实例基准包含用户接口组件、桌面图标、公司标志、屏幕隅角，以及视频游戏参考部件(例如，视频游戏健康指示符、视频游戏武器部件、视频游戏标志、视频游戏界面控制等)。
确定所俘获的相机图像中所述一个或一个以上基准的位置或角度(S306)。举例来说，可从手持式装置的存储器存取识别所述一个或一个以上基准的形状或位置的信息。
至少基于相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定显示器装置上的手持式装置朝向的位置(S308)。
基于显示器装置上的所述所确定的位置控制应用(S310)，借此结束过程300(S312)。举例来说，可控制视频游戏应用或媒体中心应用。作为一更具体实例，可基于显示器装置上的手持式装置朝向的所述所确定的位置确定手持式装置的用户的身份。
图4说明应用控制***400。手持式装置401包含相机402和处理器(未图示)。相机402检测呈现到显示器405的显示图像上的一组基准404a-d。相机402的视场406可使得当手持式装置401正指向显示器405的任何位置(例如，位置407)时所述组基准404在视场406内。光标408可呈现到显示图像上，在手持式装置401指向的位置(例如，位置407)处。
手持式装置401可包含可按压的按钮。手持式装置401可具有类似于电视机远程控制的大小和外观。手持式装置401可进一步包含发射器，例如无线蓝牙发射器。所述发射器可将位置数据(例如，坐标)和按钮数据发射到显示器装置409。显示器装置409可将指令(例如，开始或停止跟踪、描述基准的类型)发射到手持式装置401。
显示器装置409可为桌上型计算机、膝上型计算机、游戏控制台、机顶盒等。显示器装置409可产生在显示器405上显示的显示图像。产生显示图像可包含将基准覆盖到视频图像上，或呈现包含基准的图形用户接口。在***400的一替代变型中，将相机图像发射到显示器装置409，且相机图像可由显示器装置409内的处理器处理。然而，在此实施方案中，图像可需要比位置数据更多的带宽来进行发射。
在***400的另一替代变型中，可在手持式装置401内执行显示图像的呈现(实际上，在此实施方案中，视频游戏控制台集成到手持式装置401中)。举例来说，手持式装置401可为执行光线枪游戏的玩具枪，且可包含连线到电视机的视频输出。
在相机402安装到手持式装置401上的情况下跟踪可为比在相机402安装到显示器405的情况下跟踪更精确的量级。因此，将相机402安装在手持式装置401上可优于将相机402安装在显示器405上。
当将相机402安装到手持式装置401上时，随着光标从显示器405的一侧向另一侧扫掠的基准的位移可在相机图像的一半与四分之一之间，这取决于距离、屏幕大小和相机的视场。假定1024x768分辨率的传感器，可辨清250与500之间的离散水平光标位置。子像素内插的使用可增加有效分辨率且允许在显示屏的原始分辨率下或附近计算光标位置。
当将相机402安装在显示器405上且在手持式装置401上跟踪标记时，可将标记的非常小的位移扩大为屏幕上光标的大位移。即使在子像素内插的情况下，光标位置也可具有显著抖动。
如下文更详细论述，检测和/或显示基准的方面可基于正使用的显示器装置的类型而变化。在此方面，***可从多种不同类型的显示器装置中(例如，从至少LCD、等离子、DLP或CRT显示器中)确定正使用的显示器装置的类型。***可从多个不同过滤技术中选择适于所确定的显示器装置类型的过滤技术，且可将选定的过滤技术应用于所俘获的相机图像来执行基准检测。过滤技术可指代适当检测所确定的类型的显示器装置显示的图像中的基准所需的帧速率和/或滤色。可针对不同类型的显示器装置中的每一者应用不同的过滤技术，或在一些情况下，可将相同过滤技术应用于不同的显示器装置。
当通过相机俘获时，液晶(例如，LCD)和等离子显示器产生相对稳定的图像。可以与显示器装置相同的帧速率(通常60帧/秒)发生跟踪。有可能以更快的帧速率(例如，240帧/秒)进行跟踪，但可丢弃临时帧。举例来说，如果相机正以240帧/秒操作，那么三个连续相机帧可俘获完整的显示图像，之后是一个相机帧俘获不完整的显示图像(如果所述帧的曝光时间与显示器装置的刷新一致)或破损的图像(如果所述帧的曝光时间俘获两个不同显示帧的一部分)。可检测到不完整或破损的相机帧(例如，由处理器基于如相机图像内呈现的显示图像的亮度或完整性所确定)并将其丢弃。对较快帧速率的支持可影响硬件的选择且影响手持式装置401的成本。
大多数DLP(数字光处理)装置循序显示红色、绿色和接着蓝色，当由相机402俘获时其可产生闪光型式。依据各种因素，可以与显示器405相同的帧速率(通常60帧/秒)执行跟踪。由于DLP装置循环颜色的方式的缘故，相机402可俘获完整的蓝色和绿色图像，但仅俘获部分红色图像。另一相机帧可俘获完整的蓝色和红色图像，但仅俘获部分绿色图像。软件可过滤相机图像以选择最完整(例如，最亮)的一个或一个以上颜色通道且丢弃仅部分俘获的颜色通道(例如，较暗的、不完整的图像)。如果基准为黑色和白色，那么经过滤的图像可经正常处理，或可以较高帧速率处理(例如，恰好为显示器帧速率的三倍，其中每一连续相机帧检测显示图像的一种颜色)。
在一些情况下，如果基准涉及彩色，那么跟踪DLP装置可限于较慢帧速率(例如，30帧/秒)。在俘获DLP的颜色轮盘的一个以上完整循环的时间周期内使相机402曝光可确保所有颜色通道(红色、滤色和蓝色)均是完整的。
当由相机402俘获时，CRT(阴极射线管)显示器可产生暗带。如果手持式装置401可与显示器同步，那么可以与显示器相同的帧速率(通常60帧/秒)跟踪CRT显示器。如果手持式装置401不能与显示器同步，那么跟踪可限于较慢帧速率(例如，30帧/秒)使得暗带不会使基准的任何部分模糊不清。
为了跟踪DLP和CRT显示器，手持式装置401可执行上文描述的额外处理。可通过分析显示图像在连续相机图像中呈现时的亮度和连贯性的变化而自动检测显示器类型。手持式装置401可或可不经手动校准，且可将基准的类型和位置存储在手持式装置401的存储器中或发射到手持式装置401。多个手持式装置401可共享呈现到显示器405上的相同基准。因此，如果多个用户各自具有一手持式装置401，那么可同时计算或确定每一手持式装置401的位置。
显示器装置409上的过程可分析显示图像以选择一组基准，且将基准形状和位置的描述发射到手持式装置401。使用此过程，可在不修改应用的外观的情况下跟踪许多显示图像，只要所述显示图像含有例如隅角和边缘等一些较强特征即可。
分析显示图像可包含通过分析显示图像缓冲器中的像素数据而识别例如隅角和边缘等特征。显示图像可含有(例如)视频、照片、视频游戏，或计算机桌面应用。选择一组基准可包含选择最强特征(例如，具有最高对比度)。
作为另一实例，可通过分析描述桌面组件(例如，窗口、标题栏、菜单、工具栏等)的较高层级数据而识别特征。可针对每一类型的高层级桌面组件预定一组特征或形状描述(例如，可假定窗口具有四个隅角特征)。选择一组基准可包含选择可见(例如，未被其它桌面组件阻挡)且可能包含最强特征(例如，最高对比度)的桌面组件。
发射到手持式装置401的基准的描述可能是简洁的(这可减少带宽要求)，且可随着显示图像的外观改变而更新。作为另一实例，显示图像可发射到手持式装置401，且可在手持式装置401上执行分析和选择的步骤(但在此实例中，发射图像所需的带宽可能较高)。基准或相机图像的描述可经缓冲以考虑图像的呈现、显示和俘获过程中的等待时间，或发射基准描述的等待时间。
基准无需在所呈现的显示图像边缘。举例来说，图5说明相对于一对基准位置的光标位置的预期准确度。概念上，误差502表示与激光点的位置相比光标的偏移，例如在激光指针安装到手持式装置的情况下。当装置被指向在基准边界外部较远时，光标和激光可逐渐偏离。然而，在无激光指针的辅助的情况下，即使基准的分隔仅为显示屏的尺寸的三分之一，用户也不可能感知到此误差，如图5中的显示504中所说明。
可使用两个基准的最小值。如果使用单个基准，那么可估计位置，但手持式装置指向得距基准越远，则实际位置可偏离于预期位置。当手持式装置朝基准移动时，实际位置和所估计位置可再次汇合。
如果使用一个基准，那么在用户固持手持式装置使得其并非水平的情况下，移动可能不准确。如图6中说明，如果用户将手持式装置601在方向602上朝右移动，同时将装置601固持在角度603处，那么光标604可沿着路径605行进，路径605偏离于预期路径606与角度603类似的角度。
如果使用一个基准，那么移动可能不适当地按比例缩放，因为可能不能确定用户相对于显示器的大小的距离。图7A-7D中说明实例。在距屏幕某一距离处，用户可能必须将手持式装置移动一角距离以在显示屏上扫掠光标，其中定向独立于屏幕大小。举例来说，当显示屏702较小时(如图7A所示)，用户可能必须将手持式装置706a移动到比预期定向708远的定向707，借此提供装置706a对运动不够敏感的感觉。
作为另一实例，当显示屏710较大时(如图7B所示)，用户可能必须将手持式装置706b移动到比预期定向714近的定向712，借此提供装置706b对运动过于敏感的感觉。
在恒定大小的显示器的情况下，用户可能必须移动某一角距离以在显示器上扫掠光标，其中所述角度独立于距屏幕的距离。举例来说，当用户距显示屏720较远时(如图7C所示)，用户可能必须将手持式装置706c移动到比预期定向724远的定向722，借此提供装置706c对运动不够敏感的感觉。作为另一实例，当用户靠近显示屏730时(如图7D所示)，用户可能必须将手持式装置706d移动到比预期定向734近的定向732，借此提供装置706d对运动过于敏感的感觉。
相机图像中的检测到的基准的位置可经校正以考虑透镜失真。在一些情形中，可不执行校正，例如在确定透镜失真不可由用户检测到的情况下。如果执行校正，那么可将相机图像中的检测到的基准的经校正位置与参考位置进行比较。举例来说，参考位置可为在手持式装置对准在显示屏的中心处的情况下基准预期呈现在相机图像中的位置。所检测到的位置与参考位置之间的差异可乘以比例因数以将检测到的位置重新映射到计算机/游戏控制台的坐标空间中。经按比例缩放的位置可相对于显示图像内基准的位置，且在此情况下，可从基准显示位置减去经按比例缩放的位置以产生相对于显示图像的位置。光标可呈现到显示图像中在相对于显示图像的位置处。
比例因数可经预先定义以考虑平均大小显示屏和距屏幕的平均用户距离。如果用户的显示屏大小或距离显著不同于预先定义的设置，那么可给予用户调整比例因数的选择。
使用两个基准可足以计算手持式装置被固持的角度和用户相对于显示屏的大小的距离两者。使用两个基准可消除上文相对于图6和图7A-D论述的问题。
图8说明相对于用户801的位置的光标位置的准确度(例如，在用户801直接坐在显示屏802前方或离开在其一侧的情况下)。概念上，误差803表示与激光点的位置相比的光标的偏移，例如在激光指针安装到手持式装置的情况下。光标位置对于直接坐在屏幕802前方的用户可非常准确，但用户坐得距中心越远，光标和激光可逐渐偏离。对于在屏幕802上方或下方的用户，遵循类似关系。然而，在无激光指针的辅助的情况下，如果用户801坐在距中心达30度处(例如，如用户804所说明)，那么用户可能不可能感知到此误差。
在两个基准的情况下，可基于第一基准与第二基准之间的距离计算比例因数。可基于第二基准相对于第一基准的相对x和y位置计算角度。可将所计算的角度与预期角度(例如，如果基准并排的话则为零度)进行比较。第二基准的检测到的位置可围绕第一基准的检测到的位置旋转所计算的角度差。后续处理可类似于单一基准的处理。举例来说，相机图像中检测到的第一基准的位置可与参考位置进行比较。参考位置可为(例如)在手持式装置对准在显示屏的中心处的情况下第一基准预期呈现在相机图像中的位置。所检测到的第一位置与参考位置之间的差异可乘以所计算的比例因数以将检测到的第一位置重新映射到计算机/游戏控制台的坐标空间中。可从第一基准显示位置减去经按比例缩放的位置以产生相对于显示图像的位置。光标可呈现到显示图像中在相对于显示图像的位置处。
四个基准的使用可显著减少上文相对于图5描述的误差。此外，可以四个基准计算用户相对于屏幕左侧、右侧、上方或下方的位置的粗略估计。尽管准确度可能不足以跟踪用户的精细移动，但在多个用户各自具有一手持式装置的情境中，可确定用户的次序(例如，用户A坐在用户B左侧)。
基准的外观可变化。此外，由于一些方法可较适于特定应用，所以***可通过将基准的类型和位置发射到手持式装置而在基准类型之间切换。
可将屏幕的隅角或边缘检测为四个基准。图9中说明屏幕隅角的实例。例如在显示屏901的背景色呈现为与显示屏901周围的边框902不同(在亮度或色调方面)的情况下，可检测屏幕的隅角或边缘。即使边框902为灰色的，也可基于色调检测蓝色背景或菜单栏的隅角903。
屏幕的隅角或边缘可用于其中桌面颜色受控的任何屏幕(例如，视窗媒体中心(Windows Media Center))。然而，在全屏视频的重放期间可能不能跟踪屏幕隅角或边缘，因为视频可含有过暗以致不能提供屏幕与边框之间的对比度的场景。
可通过使用隅角特征来检测显示屏的隅角。另外，可使用霍夫变换(Houghtransform)算法来检测显示屏的左侧、右侧、顶部和底部边缘。
例如圆形或矩形等规则目标形状可伪装为图形用户接口内的按钮或装饰物，例如图10中说明的实例媒体控制栏1001，其覆盖到全屏视频图像1002上。在此实例中，基准1003和1004呈现为栏1001的任一端上的圆形按钮。
可针对基准使用厚边界。举例来说，边界可在相机图像中呈现为两个或两个以上像素厚。然而，相机的分辨率可比显示屏低，且显示屏可为相机视场的宽度的四分之一。因此，边界可能需要达25像素厚，这取决于若干因素。可使用高对比度。举例来说，媒体栏可具有不透明的暗背景。在另一实例中，所述背景可稍许半透明。可使用圆形和矩形，因为其可能相对容易检测且可实现准确的子像素位置计算。可在用户接口的其它部分中避免使用形状。可基于所有潜在检测到的目标形状的相对布置检测并滤出目标形状的无意出现。如果用户接口的其它部分中呈现形状的其它出现，那么可减小稳健性。
可通过使用经配置以检测圆形或直线边缘的霍夫变换算法来检测圆形和矩形。或者，可通过执行阈值和集群操作而检测圆形和矩形。阈值操作可选择局部最小值与最大值之间的阈值，且可将相机图像的像素分类为高于阈值或低于阈值。如果(例如)所述形状在暗背景上为亮的，那么可将分类为高于阈值的像素集群。作为另一实例，如果所述形状在亮背景上为暗的，那么可将分类为暗于阈值的像素集群。集群可包含形成邻近像素的集合。
标志和图标可用作基准。举例来说，图11说明覆盖在全屏视频图像1103上的两个独特形状的基准1101和1102。基准1101是胶片相机图标，且基准1102是公司标志。基准1101和1102可对准或可不对准，且跟踪软件可了解其在所呈现的屏幕图像内的位置。图12中说明第二实例，其说明覆盖在视频游戏图像1203上的两个独特形状的基准1201(健康指示符)和1202(武器部件)。
基准的外观可包含梯度和阴影。描述基准的外观的数据可存储在手持式装置的存储器中，或发射到手持式装置。此外，因为形状可能较复杂，所以其可能不太可能呈现在显示图像的其它部分内。
检测复杂的目标形状可利用比例不变特征变换(SIFT)算法。检测复杂形状的处理要求显著高于检测规则目标形状所需的处理要求，且可影响处理器的选择和手持式装置的成本。
在除SIFT算法以外的复杂目标形状检测算法中，如果手持式装置固持在一角度(例如，装置601，图6)，那么可能不能检测到复杂形状。角度限制可为(例如)10或15度，但可通过执行额外处理以搜索所述形状的经旋转型式而延展。如果用户坐得距显示屏的中心过远(例如，如图8所示)，那么也可能不能检测到复杂形状。偏移限制可为(例如)30度，但可通过执行额外处理以搜索所述形状的透视失真型式而延展。
基准可在屏幕上闪光。可在目标显示于屏幕上的时间期间跟踪基准位置。归因于一些显示器装置在显示之前处理图像的方式的缘故，目标可能需要闪光持续多个帧，这可增加其可见性。归因于这些限制，闪光目标可能不适于连续跟踪光标，但可用于例如光线枪游戏。
在一些实施方案中，***可基于显示器装置的类型控制显示器装置上基准的闪光。在这些实施方案中，***可从多个不同显示器装置类型中(例如，从至少LCD、等离子、DLP或CRT显示器中)确定一显示器装置类型。***可从多个不同闪光技术中选择适于所确定的显示器装置类型的闪光技术，并将选定的闪光技术应用于所显示的基准。举例来说，***可控制显示器装置以适于所确定的显示器装置类型的特定速率使基准闪光。因为不同类型的显示器装置具有不同的帧速率和不同的彩色显示器特性，所以***可以不同方式控制显示器装置上基准的闪光以增强对于正使用的显示器装置的基准的检测。所选择的闪光技术可传送到手持式装置以提醒手持式装置闪光型式且借此增强闪光检测。
静止装置上的过程可分析显示图像以选择一组基准，且将基准形状和位置的描述发射到手持式装置。使用此过程，可在不修改应用外观的情况下跟踪许多显示图像，只要显示图像含有例如隅角和边缘等一些较强特征即可。
分析显示图像可包含通过分析显示图像缓冲器中的像素数据而识别例如隅角和边缘等特征。显示图像可含有视频、照片、视频游戏，或计算机桌面应用。选择一组基准可包含选择最强特征(例如，具有最高对比度)。
或者，可通过分析描述桌面应用(例如，窗口、标题栏、菜单、工具栏等)的较高层级数据而识别特征。可针对每一类型的高层级桌面组件预定一组特征或形状描述(例如，可假定窗口具有四个隅角特征)。选择一组基准可包含选择可见(例如，未被其它桌面组件阻挡)且已知为最强特征(例如，最高对比度)的桌面组件。
发射到手持式装置的基准的描述是简洁的(使带宽要求最小化)，且可随着显示图像的外观改变而更新。或者，显示图像可发射到手持式装置，且可在手持式装置上执行分析和选择的步骤(但发射图像所需的带宽非常高，且因此这不是优选的)。
对于所有类型的基准，基准的描述可经缓冲或相机图像可经缓冲，以考虑图像的呈现、显示和俘获过程中的等待时间，或发射基准描述的等待时间。
可俘获来自一个以上手持式装置的图像。举例来说，在已基于第一手持式装置确定显示器装置上的第一位置之后，可由第二手持式装置俘获显示器装置呈现的一个或一个以上基准的第二相机图像，且可在第二所俘获的相机图像中确定一个或一个以上基准的位置或角度。可基于第二相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定显示器装置上的第二手持式装置朝向的第二位置，且可基于第一所确定的显示器装置位置和第二所确定的显示器装置位置控制应用。
可基于显示器装置上的手持式装置朝向的所确定的位置确定用户的身份。举例来说，如果显示器装置上的第二位置在显示器装置的预先定义的区内(例如，分屏游戏的右半部)，那么可向控制第一手持式装置的第一用户指派身份“玩家2”。
可将第一距离、位置或定向确定为第一手持式装置相对于显示器装置的距离、位置或定向。可将第二距离、位置或定向确定为第二手持式装置相对于显示器装置的距离、位置或定向。可基于第二距离、位置或定向相对于第一距离、位置或定向来计算相对距离、位置或定向。可基于第一、第二或相对距离、位置或定向来确定手持式装置的用户的身份。举例来说，可向控制第一手持式装置的第一用户指派身份“玩家2”，且可向控制第二手持式装置的第二用户指派身份“玩家1”，第二位置在第一位置左侧。
图13是一般计算机***1300的实例的示意图。***1300包含处理器1310、存储器1320、存储装置1330，和输入/输出装置1340。组件1310、1320、1330和1340中的每一者使用***总线1350互连。处理器1310能够处理用于在***1300内执行的指令。在一个实施方案中，处理器1310是单线程处理器。在另一实施方案中，处理器1310是多线程处理器。处理器1310能够处理存储在存储器1320中或存储装置1330上的指令以在输入/输出装置1340上显示用户接口的图形信息。
存储器1320存储***1300内的信息。在一个实施方案中，存储器1320是计算机可读媒体。在另一实施方案中，存储器1320是易失性存储器单元。在又一实施方案中，存储器1320是非易失性存储器单元。
存储装置1330能够为***1300提供大容量存储。在一个实施方案中，存储装置1330是计算机可读媒体。在各种不同实施方案中，存储装置1330可为软盘装置，硬盘装置、光盘装置或磁带装置。
输入/输出装置1340为***1300提供输入/输出操作。在一个实施方案中，输入/输出装置1340包含键盘和/或指向装置。在另一实施方案中，输入/输出装置1340包含用于显示图形用户接口的显示器单元。
可在数字电子电路中、计算机硬件中或计算机硬件与固件或软件的组合中实施所描述的特征。所述设备可实施于具体地体现于机器可读存储装置中以供可编程处理器执行的计算机程序产品中；且可由可编程处理器执行指令的程序以通过对输入数据进行操作且产生输出而执行所描述的实施方案的功能来执行方法步骤。所描述的特征可有利地实施于可在可编程***上执行的一个或一个以上计算机程序中，所述可编程***包含经耦合以从数据存储***、至少一个输入装置和/或至少一个输出装置接收数据和指令以及向其发射数据和指令的至少一个可编程处理器。计算机程序是可在计算机中直接或间接使用以执行某一活动或带来某一结果的指令集合。计算机程序可以任何形式的编程语言编写，包含经编译或解译的语言，且其可以任何形式部署，包含作为单独程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。
适于执行指令的程序的处理器包含(借助实例)通用和专用微处理器两者，以及任何种类的计算机的唯一处理器或多个处理器中的一者。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或一个以上存储器。通常，计算机还将包含用于存储数据文件的一个或一个以上大容量存储装置或在操作上经耦合以与所述大容量存储装置通信；此类装置包含磁盘(例如内部硬盘和可拆卸盘)、磁-光盘和光盘。适合于具体体现计算机程序指令和数据的存储装置包含所有形式的非易失性存储器，包含(例如)半导体存储器装置(例如，EPROM、EEPROM和快闪存储器装置)、磁盘(例如，内部硬盘和可拆卸盘)、磁-光盘以及CD-ROM和DVD-ROM盘。处理器和存储器可由专用集成电路(ASIC)进行补充或并入在其中。
为了提供与用户的交互，所述特征可实施于计算机上，所述计算机具有用于向用户显示信息的显示器装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)和键盘以及用户可借以将输入提供到计算机的指向装置(例如，鼠标或跟踪球)。
所述特征可实施于计算机***中，所述计算机***包含后端组件(例如，数据服务器)，或包含中间件组件(例如，应用服务器或因特网服务器)，或包含前端组件(例如，具有图形用户接口的客户端计算机，或因特网浏览器，或其任何组合)。***的组件可通过例如通信网络等任何形式或媒介的数字数据通信来连接。通信网络的实例包含例如LAN、WAN，以及形成因特网的计算机和网络。
计算机***可包含客户端和服务器。客户端和服务器通常彼此远离且通常经由网络(例如上文描述的网络)交互。借助在相应计算机上运行且彼此具有客户端-服务器关系的计算机程序而形成客户端和服务器的关系。
已描述若干实施方案。然而将了解，可在不脱离本发明的精神和范围的情况下作出各种修改。因此，其它实施方案在所附权利要求书的范围内。

Claims (23)

1.一种计算机实施的方法，其包括：
由手持式装置俘获显示器装置呈现的一个或一个以上基准的相机图像；
确定所述所俘获的相机图像中所述一个或一个以上基准的位置或角度；
至少基于所述相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定所述显示器装置上的所述手持式装置朝向的位置；以及
基于所述显示器装置上的所述所确定的位置控制应用。
2.根据权利要求1所述的方法，其进一步包括控制所述显示器装置在表示正控制的所述应用的输出的用户接口内呈现所述一个或一个以上基准。
3.根据权利要求1所述的方法，其中所述一个或一个以上基准包括第一和第二基准。
4.根据权利要求1所述的方法，其中所述一个或一个以上基准包括第一到第四基准。
5.根据权利要求1所述的方法，其进一步包括：
从多个不同显示器装置类型中确定所述显示器装置的一类型；
从多个不同过滤技术中选择适于所述所确定的所述显示器装置类型的过滤技术；以及
将所述选定的过滤技术应用于所述所俘获的相机图像。
6.根据权利要求1所述的方法，其进一步包括：
分析针对可用作所述一个或一个以上基准的所显示元素的表示正控制的所述应用的输出的用户接口；
从表示正控制的所述应用的输出的所述用户接口内的所述所显示元素选择所述一个或一个以上基准；以及
将从表示正控制的所述应用的输出的所述用户接口内的所述所显示元素选择的所述一个或一个以上基准的形状和位置的描述发射到所述手持式装置。
7.根据权利要求1所述的方法，其中所述一个或一个以上基准进一步包括所述显示器装置的屏幕的一个或一个以上隅角。
8.根据权利要求7所述的方法，其进一步包括基于亮度或色调的差异检测所述屏幕的所述一个或一个以上隅角。
9.根据权利要求1所述的方法，其中所述一个或一个以上基准包括用户接口控制。
10.根据权利要求1所述的方法，其中所述一个或一个以上基准包括桌面图标。
11.根据权利要求1所述的方法，其中所述一个或一个以上基准包括视频游戏参考部件。
12.根据权利要求1所述的方法，其进一步包括从所述手持式装置的存储器存取识别所述一个或一个以上基准的形状或位置的信息。
13.根据权利要求1所述的方法，其进一步包括从所述手持式装置的存储器存取识别所述显示器装置呈现的所述一个或一个以上基准的显示的定时的信息。
14.根据权利要求1所述的方法，其进一步包括：
从多个不同显示器装置类型中确定所述显示器装置的一类型；
从多个不同闪光技术中选择适于所述所确定的所述显示器装置类型的闪光技术；以及
控制所述显示器装置使用所述选定的闪光技术在所述显示器装置上使所述一个或一个以上基准闪光。
15.根据权利要求1所述的方法，其进一步包括至少基于所述相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定所述手持式装置的定向，其中进一步基于所述所确定的定向来控制所述应用。
16.根据权利要求15所述的方法，其进一步包括确定所述手持式装置的距离或位置，其中相对于所述显示器装置确定所述手持式装置的所述距离、位置或定向。
17.根据权利要求1所述的方法，其进一步包括：
由第二手持式装置俘获所述显示器装置呈现的所述一个或一个以上基准的第二相机图像；
确定所述第二所俘获的相机图像中所述一个或一个以上基准的位置或角度；以及
至少基于所述第二相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定所述显示器装置上的所述第二手持式装置朝向的第二位置，
其中基于所述所确定的位置和所述所确定的第二位置控制所述应用。
18.根据权利要求17所述的方法，其进一步包括：
确定所述手持式装置相对于所述显示器装置的第一距离、位置或定向；
确定所述第二手持式装置相对于所述显示器装置的第二距离、位置或定向；以及
基于所述手持式装置的所述所确定的第一距离、位置或定向相对于所述第二手持式装置的所述所确定的第二距离、位置或定向而确定第一用户的身份和第二用户的身份。
19.根据权利要求1所述的方法，其中所述应用包括视频游戏应用或媒体中心应用。
20.根据权利要求1所述的方法，其中控制所述应用进一步包括基于确定所述手持式装置的定向已改变而改变虚拟空间中化身的视图。
21.根据权利要求1所述的方法，其进一步包括：
在所述手持式装置处俘获所述显示器装置呈现的所述一个或一个以上基准的第二相机图像；
确定所述第二所俘获的相机图像中所述一个或一个以上基准的第二位置或第二角度；
至少基于所述第二相机图像中所述一个或一个以上基准的所述所确定的第二位置或第二角度确定所述显示器装置上的所述手持式装置朝向的第二位置；以及
基于将所述位置与所述第二位置进行比较而确定所述手持式装置的运动，
其中基于所述所确定的运动控制所述应用。
22.一种***，其包括：
一个或一个以上计算机；以及
计算机可读媒体，其耦合到所述一个或一个以上计算机且上面存储有指令，所述指令当由所述一个或一个以上计算机执行时致使所述一个或一个以上计算机执行包括以下各项的操作：
由手持式装置俘获显示器装置呈现的一个或一个以上基准的相机图像；
确定所述所俘获的相机图像中所述一个或一个以上基准的位置或角度；
至少基于所述相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定所述显示器装置上的所述手持式装置朝向的位置；以及
基于所述显示器装置上的所述所确定的位置控制应用。
23.一种计算机存储媒体，其以计算机程序进行编码，所述程序包括当由数据处理设备执行时致使所述数据处理设备执行包括以下各项的操作的指令：
由手持式装置俘获显示器装置呈现的一个或一个以上基准的相机图像；
确定所述所俘获的相机图像中所述一个或一个以上基准的位置或角度；
至少基于所述相机图像中所述一个或一个以上基准的所述所确定的位置或角度确定所述显示器装置上的所述手持式装置朝向的位置；以及
基于所述显示器装置上的所述所确定的位置控制应用。
CN201080020986.9A 2009-04-08 2010-04-08 增强型手持式屏幕感测指针 Active CN102422306B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16773809P 2009-04-08 2009-04-08
US61/167,738 2009-04-08
PCT/US2010/030345 WO2010118202A1 (en) 2009-04-08 2010-04-08 Enhanced handheld screen-sensing pointer

Publications (2)

Publication Number Publication Date
CN102422306A true CN102422306A (zh) 2012-04-18
CN102422306B CN102422306B (zh) 2015-09-09

Family

ID=42933973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080020986.9A Active CN102422306B (zh) 2009-04-08 2010-04-08 增强型手持式屏幕感测指针

Country Status (6)

Country Link
US (2) US9189082B2 (zh)
EP (1) EP2417557B1 (zh)
JP (1) JP5710589B2 (zh)
KR (1) KR101337204B1 (zh)
CN (1) CN102422306B (zh)
WO (1) WO2010118202A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331809A (zh) * 2016-08-31 2017-01-11 北京酷云互动科技有限公司 电视控制方法和电视控制***

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9586135B1 (en) 2008-11-12 2017-03-07 David G. Capper Video motion capture for wireless gaming
US9383814B1 (en) 2008-11-12 2016-07-05 David G. Capper Plug and play wireless video game
US10086262B1 (en) 2008-11-12 2018-10-02 David G. Capper Video motion capture for wireless gaming
US9189082B2 (en) 2009-04-08 2015-11-17 Qualcomm Incorporated Enhanced handheld screen-sensing pointer
US20120206350A1 (en) * 2011-02-13 2012-08-16 PNI Sensor Corporation Device Control of Display Content of a Display
EP3561440A1 (en) * 2012-01-09 2019-10-30 Packsize LLC Cable-based measuring system
US9439623B2 (en) * 2012-05-22 2016-09-13 Covidien Lp Surgical planning system and navigation system
US9439627B2 (en) * 2012-05-22 2016-09-13 Covidien Lp Planning system and navigation system for an ablation procedure
US9439622B2 (en) * 2012-05-22 2016-09-13 Covidien Lp Surgical navigation system
US9724597B2 (en) * 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
US8942420B2 (en) * 2012-10-18 2015-01-27 Qualcomm Incorporated Detecting embossed characters on form factor
US20150324076A1 (en) 2012-12-14 2015-11-12 Biscotti Inc. Distributed Infrastructure
US9300910B2 (en) 2012-12-14 2016-03-29 Biscotti Inc. Video mail capture, processing and distribution
JP2014119915A (ja) * 2012-12-14 2014-06-30 Funai Electric Co Ltd 画像表示装置、ポインター装置
US9485459B2 (en) 2012-12-14 2016-11-01 Biscotti Inc. Virtual window
US9654563B2 (en) 2012-12-14 2017-05-16 Biscotti Inc. Virtual remote functionality
US20150262501A1 (en) * 2013-03-15 2015-09-17 Verbum, Llc Continuous User Control of Rapid Serial Visual Presentation of Text
US20140368434A1 (en) * 2013-06-13 2014-12-18 Microsoft Corporation Generation of text by way of a touchless interface
WO2015035247A1 (en) * 2013-09-06 2015-03-12 Biscotti Inc. Virtual window
WO2015156068A1 (ja) * 2014-04-10 2015-10-15 ソニー株式会社 画像処理装置及び画像処理方法
CN105573605A (zh) * 2014-10-10 2016-05-11 广州杰赛科技股份有限公司 一种手机与电脑互动游戏方法
JP2016110436A (ja) * 2014-12-08 2016-06-20 株式会社リコー 画像投影装置、及び対話型入出力システム。
US9967529B2 (en) * 2015-06-04 2018-05-08 Disney Enterprises, Inc. Output light monitoring for benchmarking and enhanced control of a display system
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10345925B2 (en) * 2016-08-03 2019-07-09 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US11366431B2 (en) * 2016-09-29 2022-06-21 Intel Corporation Multi-function antenna and input interface
US10466774B2 (en) 2016-11-22 2019-11-05 Honeywell International Inc. NTE display systems and methods with optical trackers
JP7111416B2 (ja) 2017-03-24 2022-08-02 日本電気株式会社 携帯端末、情報処理システム、制御方法、及びプログラム
WO2018195973A1 (zh) * 2017-04-28 2018-11-01 王长海 利用手持终端进行光标定位的方法、手持终端和电子设备
US11533450B2 (en) * 2017-09-25 2022-12-20 Comcast Cable Communications, Llc Anti-piracy video transmission and display
KR102435193B1 (ko) * 2017-11-09 2022-08-24 삼성전자주식회사 전자 장치, 디스플레이 장치 및 멀티비전 설정 방법
US10969600B2 (en) * 2018-03-08 2021-04-06 Apple Inc. Electronic devices with optical markers
KR102261530B1 (ko) * 2018-05-29 2021-06-07 이승희 필기 입력 장치
WO2020033947A1 (en) 2018-08-10 2020-02-13 Covidien Lp Systems for ablation visualization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050116931A1 (en) * 2003-12-01 2005-06-02 Olbrich Craig A. Determining positioning and/or relative movement of graphical-user interface element based on display images
US20060177103A1 (en) * 2005-01-07 2006-08-10 Evan Hildreth Optical flow based tilt sensor
US20080001918A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Generating Position Information Using a Video Camera

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07121293A (ja) * 1993-10-26 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> 表示画面をアクセスするリモートコントローラ
JP3517482B2 (ja) * 1995-06-08 2004-04-12 キヤノン株式会社 座標検出装置及び方法
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
JP3847057B2 (ja) * 2000-05-24 2006-11-15 アルプス電気株式会社 指示位置検出装置及び前記装置を用いたゲーム用コントローラ
JP4581204B2 (ja) 2000-09-11 2010-11-17 ソニー株式会社 位置解析装置及び位置解析方法、並びに、エンターテインメント装置
JP2002215321A (ja) * 2001-01-19 2002-08-02 Nissan Motor Co Ltd 指示画像制御装置
US7256772B2 (en) * 2003-04-08 2007-08-14 Smart Technologies, Inc. Auto-aligning touch system and method
US7486297B2 (en) 2003-09-22 2009-02-03 Ati Technologies, Inc. Method and apparatus for image processing in a handheld device
RU2006121437A (ru) 2003-12-18 2007-12-27 Конинклейке Филипс Электроникс Н.В. (Nl) Способ и система для управления устройством
WO2006018776A1 (en) 2004-08-12 2006-02-23 Philips Intellectual Property & Standards Gmbh Method for control of a device
JP5231809B2 (ja) * 2005-01-12 2013-07-10 スィンクオプティクス インコーポレイテッド ハンドヘルドビジョン型絶対ポインティングシステム
EP1844456A2 (en) 2005-01-28 2007-10-17 Philips Intellectual Property & Standards GmbH Method for control of a device
JP2006301915A (ja) * 2005-04-20 2006-11-02 Olympus Corp 電子データ操作装置
JP2007066080A (ja) * 2005-08-31 2007-03-15 Casio Comput Co Ltd ポインティングデバイス
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
TWI305892B (en) * 2005-11-23 2009-02-01 Inst Information Industry Apparatus, computer equipment, method and computer readable media for simultaneously controlling a cursor and an optical pointer
TWI351224B (en) * 2006-12-28 2011-10-21 Pixart Imaging Inc Cursor controlling method and apparatus using the same
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
JP2008181198A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 画像表示システム
EP1983406A1 (de) * 2007-04-20 2008-10-22 Enwemedia GMBH Verfahren und Vorrichtung zur Eingabe von Daten in eine Datenverarbeitungsanlage
US8472665B2 (en) * 2007-05-04 2013-06-25 Qualcomm Incorporated Camera-based user input for compact devices
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
US9189082B2 (en) 2009-04-08 2015-11-17 Qualcomm Incorporated Enhanced handheld screen-sensing pointer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050116931A1 (en) * 2003-12-01 2005-06-02 Olbrich Craig A. Determining positioning and/or relative movement of graphical-user interface element based on display images
US20060177103A1 (en) * 2005-01-07 2006-08-10 Evan Hildreth Optical flow based tilt sensor
US20080001918A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Generating Position Information Using a Video Camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331809A (zh) * 2016-08-31 2017-01-11 北京酷云互动科技有限公司 电视控制方法和电视控制***

Also Published As

Publication number Publication date
EP2417557A1 (en) 2012-02-15
US20100259474A1 (en) 2010-10-14
CN102422306B (zh) 2015-09-09
WO2010118202A1 (en) 2010-10-14
EP2417557B1 (en) 2020-03-11
US20160041611A1 (en) 2016-02-11
KR20120012466A (ko) 2012-02-09
US10146298B2 (en) 2018-12-04
JP5710589B2 (ja) 2015-04-30
JP2012523630A (ja) 2012-10-04
US9189082B2 (en) 2015-11-17
EP2417557A4 (en) 2016-06-29
KR101337204B1 (ko) 2013-12-06

Similar Documents

Publication Publication Date Title
CN102422306B (zh) 增强型手持式屏幕感测指针
US8217997B2 (en) Interactive display system
JP6153564B2 (ja) カメラとマーク出力とによるポインティング装置
US20010045940A1 (en) Computer presentation system and method with optical tracking of wireless pointer
US8884985B2 (en) Interface apparatus, method, and recording medium
EP3072103B1 (en) User feedback for real-time checking and improving quality of scanned image
CA2468904C (en) Device and method for calculating a location on a display
US7342572B2 (en) System and method for transforming an ordinary computer monitor into a touch screen
US8007110B2 (en) Projector system employing depth perception to detect speaker position and gestures
US10192310B2 (en) Operating a computing device by detecting rounded objects in an image
US7477236B2 (en) Remote control of on-screen interactions
US20010030668A1 (en) Method and system for interacting with a display
US20110273369A1 (en) Adjustment of imaging property in view-dependent rendering
EP3276951A1 (en) Image processing system, image processing method, and program
CN102053789A (zh) 演示***和演示***的显示装置
US8752967B2 (en) Projection system and image processing method thereof
GB2488785A (en) A method of user interaction with a device in which a cursor position is calculated using information from tracking part of the user (face) and an object
CN109429087B (zh) 虚拟现实视频弹幕的显示方法、介质和***
CN117274383A (zh) 视点预测方法及装置、电子设备和存储介质
CN110597593B (zh) 用户引导任务的处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant