CN103069363A - 用于通过在电子装置显示器上方的空中移动物体与电子装置应用程序交互的方法和设备 - Google Patents

用于通过在电子装置显示器上方的空中移动物体与电子装置应用程序交互的方法和设备 Download PDF

Info

Publication number
CN103069363A
CN103069363A CN2011800403134A CN201180040313A CN103069363A CN 103069363 A CN103069363 A CN 103069363A CN 2011800403134 A CN2011800403134 A CN 2011800403134A CN 201180040313 A CN201180040313 A CN 201180040313A CN 103069363 A CN103069363 A CN 103069363A
Authority
CN
China
Prior art keywords
electronic installation
coordinate
application program
display
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800403134A
Other languages
English (en)
Inventor
巴巴科·福鲁坦保尔
布赖恩·莫迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103069363A publication Critical patent/CN103069363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

在第一方面中，提供一种与电子装置交互的第一方法。所述第一方法包含以下步骤：(1)追踪在电子装置的显示器上方移动的物体的x、y和z坐标，其中所述显示器的顶表面与xy平面大致对准；(2)产生包含x、y和z坐标的中断；以及(3)由所述电子装置的应用程序采用移动的物体的追踪到的z坐标。还提供许多其它方面。

Description

用于通过在电子装置显示器上方的空中移动物体与电子装置应用程序交互的方法和设备
技术领域
本发明总体上涉及电子装置，且更具体来说涉及用于通过在电子装置显示器上方的空中移动物体来与电子装置应用程序交互的方法和设备。
背景技术
具有触摸屏的常规电子装置使得用户能够使用两个维度来输入数据。然而，使用此常规装置的交互效率不高。举例来说，电子装置可能需要用户按压触摸屏上的许多按键，就为了输入单个字符。因此，需要用于与电子装置交互的改进的方法和设备。
发明内容
为了克服现有技术的缺点，在本发明的一个或一个以上方面中，提供用于与电子装置交互的方法和设备。举例来说，在第一方面中，提供一种用于与电子装置交互的第一方法。所述第一方法包含以下步骤：(1)追踪在电子装置的显示器上方移动的物体的x、y和z坐标，其中所述显示器的顶表面与xy平面大致对准；(2)产生包含x、y和z坐标的中断；以及(3)由所述电子装置的应用程序采用移动物体的追踪到的z坐标。
在第二方面中，提供一种第一电子装置。所述第一电子装置包含：(1)电路，其经配置以追踪在电子装置的显示器上方移动的物体的x、y和z坐标，其中所述显示器的顶表面与xy平面大致对准；(2)控制器，其耦合到所述电路且经配置以产生包含x、y和z坐标的中断；以及(3)处理器，其耦合到控制器且经配置以由所述处理器执行的应用程序采用移动物体的追踪到的z坐标。还提供许多其它方面，还有根据本发明的这些和其它方面的***和计算机可读媒体。
通过以下具体实施方式、所附权利要求和附图，将更完全地明白本发明的其它特征和方面。
附图说明
图1是用于与根据一方面提供的电子装置交互的第一示范性设备的框图。
图2是用于与根据一方面提供的电子装置交互的第二示范性设备的框图。
图3是用于与根据一方面提供的电子装置交互的第三示范性设备的框图。
图4是用于与根据一方面提供的电子装置交互的方法的流程图。
图5是根据一方面的用于数据输入应用程序的电子装置的显示器的侧视图。
图6A-C图解说明根据一方面的用于鉴别应用程序的电子装置的显示器。
具体实施方式
图1是用于与根据一方面提供的电子装置交互的第一示范性设备的框图。第一示范性设备100可以是电子装置102，例如蜂窝式电话、个人数字助理(PDA)、膝上型计算机、用户装置、智能电话、自动表示器等等。电子装置102可包含处理器104，其耦合到存储器106。处理器104可适于存储和执行代码(例如，一个或一个以上应用程序108)。存储器106可存储程序代码和数据。此外，电子装置102可包含用于向电子装置102的用户呈现数据的显示器110。所述显示器可以是LCD或任何其它可由电子装置用来向用户呈现数据的类似装置。电子装置102可包含调制解调器112，其适于向电子装置102提供网络连接性。电子装置102还可包含加速计114，或耦合到处理器104且适于检测移动(例如，电子装置102的摇动)的类似装置。电子装置102可包含电池116，其用作用于耦合到电子装置102的组件的电力源。电子装置102的显示器110可经由控制器120耦合(例如，操作性地耦合)到多个氧化铟锡(ITO)层(例如，双ITO层)118，从而形成触摸屏122。然而，可采用包含额外或不同材料的层。触摸屏122可以是电容或电阻触摸屏。但是也可采用其它类型的触摸屏。多个ITO层118可适于检测或计算物体(图1中未图示；图5中的506)的存在和/或位置(例如，x、y和z坐标)，所述物体例如是显示器110上方的手写笔、手指等等。举例来说，在接近后，此物体506即刻可用作电容或电阻触摸屏122的电介质(例如，接地源)。因此，触摸屏122可追踪物体506在显示器110上(例如，通过抵靠显示器按压ITO层)或在显示器110上方的空中的移动(例如，随时间的x、y和/或z坐标)。举例来说，控制器120可从多个ITO层118接收与物体移动相关联的数据，且可产生一个或一个以上中断。中断可包含与物体506的一个或一个以上位置相关联的x、y和/或z坐标。可将此些中断提供给处理器104，处理器104可向处理器104执行的一个或一个以上应用程序108中的适当应用程序报告所述中断。所述中断可用作应用程序108的编程事件。以此方式，物体506在显示器110上和/或显示器110上方的空中的移动可用来与电子装置102(例如，电子装置102的一个或一个以上应用程序108)交互。举例来说，用户可将物体506在实施盘旋技术的屏幕(例如，触摸屏122)上方盘旋，以选择应用程序108的用户接口的特征。
图2是用于与电子装置交互的第二示范性设备的框图。第二示范性设备200包含电子装置201，且类似于第一示范性设备100。然而，第二示范性设备200不是包含电容或电阻触摸屏的ITO层118，而是可包含经由编码/解码(codec)逻辑208耦合到显示器206的一个或一个以上换能器(例如，扬声器)202和一个或一个以上麦克风204，从而形成触摸屏210。所述一个或一个以上换能器202和一个或一个以上麦克风204可适于检测或计算物体506的存在和/或位置(例如，x、y和z坐标)，所述物体例如是显示器206上方的手写笔、手指等等。举例来说，所述一个或一个以上换能器202可发射声波(例如，超声波)，且所述一个或一个以上麦克风204可检测此些声波。显示器206上方的物体506的存在可能会影响显示器206上方的声波路径或气压，使得一个或一个以上麦克风204接收到的声波可能指示物体506的存在。因此，触摸屏210可追踪物体506在显示器206上或在显示器206上方的空中的移动(例如，随时间的x、y和/或z坐标)。举例来说，编解码逻辑208可接收与移动物体506相关联的数据，且产生一个或一个以上中断。编解码逻辑208可包含模/数(A/D)转换器209以将接收到的数据转换成数字信号。可向处理器212提供此些中断，且可由处理器212存储和/或执行的一个或一个以上应用程序214用类似于上文针对图1的处理器104和应用程序108所述的类似的方式来采用此些中断。此外，耦合到处理器212，第二示范性设备200可包含存储器216，其可存储程序代码和数据。第二示范性设备200可包含适于向第二示范性设备200提供网络连接性的调制解调器218。第二示范性设备200还可包含加速计220或类似装置，其耦合到处理器212且适于检测移动(例如，第二示范性设备200的摇动)。电子装置201可包含电池222，其用作用于上述组件的电力源。
图3是用于与电子装置交互的第三示范性设备的框图。第三示范性设备300包含电子装置301，且类似于第一和第二示范性设备100、200。然而，第三示范性设备300不是包含第一示范性设备100的电容或电阻触摸屏122的ITO层118或第二示范性设备200的一个或一个以上换能器202和一个或一个以上麦克风204，而是包含经由控制器308耦合到显示器306的一个或一个以上光源(例如，红外光发射器)302和一个或一个以上光传感器304，从而形成触摸屏310。所述一个或一个以上光源302和一个或一个以上光传感器304可适于检测或计算物体506的存在和/或位置(例如，x、y和z坐标)，所述物体例如是显示器306上方的手写笔、手指等等。举例来说，所述一个或一个以上光源302可发射光波，且所述一个或一个以上光传感器304可检测光波。显示器306上方的物体506的存在可能会影响显示器306上方的光波路径，使得一个或一个以上光传感器304接收到的光波可指示物体506的存在。因此，触摸屏310可追踪物体506在显示器306上或在显示器306上方的空中的移动(例如，随时间的x、y和/或z坐标)。举例来说，控制器308可接收与移动物体506相关联的数据，且产生一个或一个以上中断。可向处理器312提供此些中断，且可由处理器312存储和/或执行的一个或一个以上应用程序314用类似于上文参看图1和2所述的类似的方式来采用此些中断。此外，耦合到处理器312，第三示范性设备300可包含存储器316，其可存储程序代码和数据。第三示范性设备300可包含适于向第三示范性设备300提供网络连接性的调制解调器318。第三示范性设备300还可包含加速计320或类似装置，其耦合到处理器312且适于检测移动(例如，第三示范性设备300的摇动)。电子装置301可包含电池322，其用作用于上述组件的电力源。
图4是用于与根据一方面提供的电子装置交互的方法400的流程图。参看图4，在步骤402中，与电子装置交互的方法400开始。在步骤404中，追踪在电子装置102、201、301的显示器108、206、306上方移动的物体的x、y和z坐标。显示器108、206、306的顶表面(图5中的508)可与坐标系的xy平面大致对准。显示器108、206、306可包含或耦合到任何追踪远离电子装置102、201、301的显示器108、206、306(例如，显示器108、206、306的顶表面508)的物体的距离(例如，垂直距离)的屏幕技术，所述屏幕技术例如是耦合到控制器118的ITO层118、耦合到编解码逻辑208的一个或一个以上换能器202和一个或一个以上麦克风204，和/或耦合到控制器308的一个或一个以上光源302和一个或一个以上光传感器304。物体506可以是手写笔、手指或任何(举例来说)通过允许用户从电子装置102、201、301执行的应用程序108、214、314的用户接口中选择特征来允许用户与电子装置102、201、301交互的物体。在用户正在与电子装置102、201、301交互时，物体506可能或可能不触摸显示器108、206、306的顶表面508。举例来说，在显示器108、206、306上方移动的物体506可在移动的一部分期间触摸显示器108、206、306的顶表面508，且在移动的另一部分期间在显示器108、206、306上方的空中移动。
在步骤406中，可以产生包含物体506的x、y和z坐标的中断。举例来说，当用户正在与电子装置102、201、301的数据键入应用程序交互时，可在所追踪的物体506的z坐标具有预定值或在预定的值范围中时产生中断。以此方式，在物体506被移动到显示器108、206、306上方的第一高度或空中时，可产生第一中断，在物体506被移动到显示器102、201、301上方的第二高度或空中时，可产生第二中断。在一些实施例中，当所追踪的物体506的一个坐标(例如，z坐标)在预定时间周期(例如，1秒)中未改变时，电子装置102、201、301(例如，电子装置102、201、301的组件)可产生中断。然而，可采用更大或更小的时间周期。或者，当所追踪的物体506的一个以上坐标在预定时间周期中未改变时，电子装置102、201、301(例如，电子装置102、201、301的组件)可产生中断。举例来说，当物体506的移动停止时，可产生此中断。在一些实施例中，电子装置102、201、301可响应于在用户已经将物体506移动到显示器108、206、306上的期望位置或所述显示器上方的空中之后产生的独特可听声音而产生包含物体506的x、y和z坐标的中断。独特可听声音可以是手指拍击、脚趾敲打、咂嘴、说出的词语等等。在一些实施例中，可以响应于用户按压电子装置102、201、301上的按钮、用物体506作手势(例如，在显示器102、201、301上方的期望位置中摇动或摆动物体)或用户摇动电子装置102、201、301来产生包含物体506的x、y和z坐标的中断。当用户正在与电子装置102、201、301的另一应用程序(例如，鉴别应用程序)108、214、314交互时，可用类似方式产生中断。
除了基于物体506的x、y和z坐标产生包含所述坐标的中断之外，在一些实施例中，还可响应于独特的可听声音、用户按压按钮、使用物体作手势和/或用户摇动电子装置102、201、301来产生中断。此中断可用作一个或一个以上应用程序108、214、314的可编程事件。举例来说，可编程事件可包含对与应用程序108、214、314相关联的用户接口的元素或特征的选择。所述元素或特征可对应于物体506的x、y和z坐标。在物体506停止移动之后的第一时间周期内，可能需要产生独特的可听声音、按压按钮、用物体作手势，和/或摇动电子装置102、201、301。以此方式，一些本发明的方法和设备可利用耦合到电子装置102、201、301的一个或一个以上麦克风204来实现与应用程序108、214、314相关联的用户接口的元素或特征，例如“选择”按键。用户可使用他的手指来导览到期望的用户接口元素或特征，且用户不是触摸显示器，而是可有1秒来产生可听的声音，例如他的手指“拍击”。所述一个或一个以上麦克风204将捕获这个声音，经由逻辑(例如，A/D转换器209)将声音转换成数字信号。在电子装置102、201、301的数字信号处理器(DSP)或处理单元上运行的算法可将所述信号解释为拍击或者不解释为拍击。当触摸可能无法获得时，一种非常自然且高效的输入方法是这样一种范例：用户在被经由x、y、z坐标物体追踪(例如，盘旋启用)技术追踪时指向电子装置屏幕的一部分，且接着拍击(“盘旋拍击”)以调用按键按压。通过要求用户在从用户接口的对应于物体506的光标被移动到期望的用户接口元素或特征(例如，一图标)的时间起1秒内拍击，可以减少或消除因房间里的其他人在远处拍击而引起的假阳性。用户可在此选择过程期间沿着x、y和z轴中的一者或一者以上移动物体506，只要光标保持在图标上方即可。
在一些实施例中，响应于独特的可听的声音、用户按压按钮、用物体作手势和/或用户摇动电子装置102、201、301的中断可用作可编程事件，其指示电子装置102、201、301的应用程序108、214、314可能或将使用物体移动的开始或结束。举例来说，电子装置102、201、301(例如，电子装置102、201、301的组件)可响应于以下操作中的至少一者来产生包含物体506的x、y和z坐标的一个或一个以上中断：按压电子装置102、201、301上的按钮、产生第一可听的声音、用物体506作手势、摇动电子装置102、201、301，或在第一时间周期(例如，1秒)中停止物体506的移动。然而，可采用更大或更小的时间周期。以此方式，虽然触摸屏116、210、310可在物体506在显示器108、206、306上方移动(例如，物体在其上方移动的任何位置)时追踪物体506，但是电子装置102、201、301可在用户按压电子装置102、201、301上的按钮、产生第一可听的声音、用物体作手势(例如，在显示器102、201、301上方的期望位置中摇动或摆动物体)、摇动电子装置102、201、301和/或在第一时间周期中停止物体506的移动之后开始产生包含所追踪的物体506的x、y和z坐标的一个或一个以上中断。因此，此动作可用于通知电子装置102、201、301物体506的后续移动可能意在与电子装置102、201、301的一个或一个以上应用程序108、214、314交互。
类似地，举例来说，电子装置102、201、301可在以下情况之后停止产生包含所追踪的物体506的x、y和z坐标的一个或一个以上中断：用户按压电子装置102、201、301上的按钮，产生第二可听的声音，用物体作手势(例如，在显示器102、201、301上方的期望位置中摇动或摆动物体)，摇动电子装置102、201、301和/或在第二时间周期中停止移动物体506，例如从物体实质性静止时起一秒。因此，此动作可用于通知电子装置102、201、301物体506的后续移动可能并不意在与电子装置102、201、301的一个或一个以上应用程序108、214、314交互。在一些实施例中，第二可听的声音可与第一可听的声音相同。然而，第二可听的声音可与第一可听的声音不同。此外，在一些实施例中，第二时间周期可与第一时间周期相同。然而，第二时间周期可与第一时间周期不同。用于通知电子装置102、201、301物体506的后续移动可能意在与电子装置102、201、301的一个或一个以上应用程序108、214、314交互的手势可与用于通知电子装置102、201、301物体506的后续移动可能并不意在与电子装置102、201、301的一个或一个以上应用程序108、214、314交互的手势相同或不同。
在步骤408中，应用程序108、214、314可采用移动物体506的所追踪的z坐标。举例来说，数据输入应用程序可采用移动物体506的所追踪的z坐标来***字符或更新输入到数据输入应用程序中或将输入到数据输入应用程序中的字符的格式。所追踪的z坐标可作为中断被接收。在一个实施例中，电子装置102、201、301上的应用程序108、214、314可使物体506的接收到的x、y和z坐标与特定虚拟键盘上的特定字符按键的选择相关联。举例来说，应用程序108、214、314可使物体506的x、y和z坐标与虚拟大写字母键盘上的“A”的选择、虚拟小写字母键盘上的“b”、虚拟数字键盘上的“1”或虚拟符号键盘上的“&”相关联。物体506在显示器108、206、306上的高度(例如，z坐标)或在所述显示器上方的空中的高度可指示从其进行选择的虚拟键盘。类似地，在一些实施例中，电子装置102、201、301上的应用程序108、214、314可使物体506的接收到的x、y和z坐标与虚拟格式键盘上的特定格式按键(例如，粗体、斜体、下划线、删除线、下标、上标、字体、字体大小、字体颜色)的选择相关联。输入的字符或将输入的字符可以基于格式按键选择来格式化。在一些实施例中，物体506的z坐标控制输入的字符或将输入的字符的格式。举例来说，在显示器108、206、306上方的不同高度可分别对应于不同格式(例如，粗体、斜体、下划线、删除线、下标、上标、字体、字体大小)。以此方式，用户可通过将物体506移动到显示器108、206、306上方的第一高度来选择用于输入的字符或将输入的字符的粗体格式。此外或替代地，用户可通过将物体506移动到显示器108、206、306等等上方的第二高度来选择用于输入的字符或将输入的字符的斜体格式。
在一些实施例中，电子装置102、201、301上的应用程序108、214、314可使用户用物体506在显示器108、206、306上和/或所述显示器上方的空中挥击的手势与字符相关联。如上所述，显示器108、206、306上方的不同高度可对应于不同格式。在作手势之前、之后或同时物体506在显示器108、206、306上的高度或在所述显示器上方的空中的高度可控制字符的格式。以此方式，使物体在电子装置显示器108、206、306上方盘旋可用于改变所书写的字符的一个或一个以上属性。
在一些实施例中，用户可在电子装置102、201、301的显示器108、206、306上方移动物体506，以在接入电子装置102、201、301之前验证用户的身份。举例来说，用户可通过在显示器108、206、306上方移动物体506(例如，用其执行手势)来编写鉴别应用程序。鉴别应用程序可以保存与此移动相关联的x、y和z坐标作为密码。此后，当用户重复所述移动，例如当电子装置102、201、301被锁定时，电子装置102、201、301上的鉴别应用程序接收对应于物体在显示器108、206、306上和/或在所述显示器上方的空中的移动的x、y和z坐标，且将所述坐标与预定密码比较。
采用物体(例如，手指)离显示器108、206、306的距离，给密码添加了一个新的维度。即，使密码基于物体506在三个维度上的移动，会显著增加可用密码的数目，因此，需要此些增加数目的密码中的可接受的密码，会增加电子装置102、201、301的安全性。举例来说，在常规触摸屏上作出的手势(例如，所执行的签名)可映射到向量<4，2：3，2：2，2：2，3：2，4：2，5：3，5：3，4：3，3>。相比之下，根据本发明的方法和设备在触摸屏上和/或触摸屏上方的空中执行的签名可映射到(举例来说)例如以下向量：<4，2，0：3，2，0：2，2，0：2，3，3：2，4，3：2，5，2：3，5，2：3，4，1：3，3，0>，其在作手势的同时记录手指在LCD上方的三维的位置。一旦通过在显示器108、206、306上方移动物体506而输入了可接受的密码，用户便可接入电子装置102、201、301的其它特征。
此后，可执行步骤410，其中与电子装置102、201、301交互的方法400结束。以此方式，用户可通过在电子装置102、201、301的显示器108、206、306上或所述显示器上方的空中移动物体506而与电子装置102、201、301的一个或一个以上应用程序108、214、314交互。虽然上文参照数据输入和/或鉴别应用程序描述了方法，但是本发明的方法和设备可用于与其它应用程序介接，所述其它应用程序例如但不限于照片应用程序或网络浏览器。此些应用程序108、214、314可使基于物体506的移动的x、y和z坐标与可编程事件(例如，对用户接口上的按钮或超链接的选择)相关联。
以此方式，本发明的方法和设备可向电子装置用户提供更多输入模式以与电子装置102、201、301交互。举例来说，通过采用物体506的z轴坐标，本发明的方法和设备可使得用户能够通过使物体在电子装置显示器108、206、306上方盘旋而与电子装置102、201、301交互。举例来说，用户可经由使物体506在电子装置显示器108、206、306上方盘旋而控制电子装置的应用程序用户接口，而根本不需要触摸电子装置显示器108、206、306。此些方法和设备可能在需要手消毒的行业(例如，其中用户(例如医生、护士或其他已经对他们的手消过毒的医疗人员)可能需要与电子装置102、201、301交互的医疗行业)中是至关重要的。允许用户甚至不需要触摸屏幕就可与电子装置102、201、301交互可减少和/或消除此用户在与电子装置102、201、301交互时弄脏他们的手指的风险。
图5是根据一方面的用于数据输入应用程序的电子装置504的x、y和z坐标物体追踪显示器502的侧视图500。参看图5，物体506在显示器502(例如，显示器502的顶表面508)上方的高度确定了将从其输入字符的虚拟键盘。举例来说，如果物体506被移动到高度h0，则可显示例如虚拟小写键盘510的第一键盘，可基于用户对物体506选择的x和/或y坐标而从中选择字符按键。类似地，高度h1可对应于第二键盘，例如虚拟大写键盘512，用户可通过将物体506移动到期望的x和/或y坐标而从中选择字符按键。如图所示，物体506处在高度h1，从而显示虚拟大写键盘。
高度h2可对应于另一键盘(例如，虚拟符号键盘514)。高度h3可对应于粗体字符格式。因此，用户可通过将显示器502上方的物体506移动到坐标x、y和h1而从虚拟大写键盘512中选择字符。此外，通过移动物体506，使得其具有z坐标h3，将把所选的大写字符的格式516更新成粗体。高度h4可对应于照片应用程序518，用户可在物体506处在高度h4时，基于物体506的至少一个x和/或y位置来从所述应用程序从照片应用程序用户接口中选择项目。
虽然展示了对应于相应的虚拟键盘的三个高度，对应于字符格式的一个高度，和对应于应用程序的一个高度，但是可采用更大或更小数目的高度映射。举例来说，可采用分别对应于字符斜体格式和字符下划线格式的两个额外高度。此外或替代地，可采用额外高度以分别对应于额外的电子装置应用程序108、214、314。虽然上文参照了特定高度h0-h4，但是本发明的方法和设备除了特定高度之外或者替代特定高度可以采用某些范围的高度。
与如今的计算机***相比，本发明的实施盘旋技术的方法和设备可在物体在触摸屏上方的空中时或在物体在按压触摸屏时产生中断，借此窗口管理器向适当的应用程序报告所述事件。所触发的事件可包含距离参数，其被转发给应用程序以供使用。
以此方式，本发明的方法和设备可允许经常使用手写笔或其食指的电子装置用户(例如)可能通过使手写笔或食指在显示器108、206、306上方盘旋来与其电子装置触摸屏116、210、310交互(例如，在所述触摸屏上书写)，以轻松地输入字符，和轻松地改变字符的大小写、字体大小、加粗、划下划线等等。因此，本发明的方法和设备可允许“盘旋数据输入”和/或“盘旋数据格式化”。本发明的方法和设备可采用书写表面上方的距离作为用以编写正被书写的字符的属性的手段。举例来说，用户可使用其食指在电话的显示器上书写字母，且稍微抬高其手指，以使字母变为大写，且在手势期间甚至进一步抬高手指，以使字符变成粗体。可以使用同一手势来产生大写字母、其小写形式，或字母的某种风格版本(例如，粗体或下划线)，这取决于显示器表面上方作出手势的水平高度。在一些实施例中，本发明的方法和设备可允许电子装置用户通过使用盘旋数据输入来输入字母数字密码而在登录到其电子装置102、201、301中之前验证其身份。
图6A-C图解说明根据一方面的用于鉴别应用程序的电子装置602的显示器600。参看图6A-C，在图6A中，用户通过定位物体604使得z坐标为h1而开始鉴别过程。在图6B中，用户通过在x、y和/或z方向上移动物体604而执行手势606。如图6C所示，用户完成手势，且停止移动物体604。现在物体604被定位，使得z坐标为h2。鉴别应用程序可接收所追踪的物体的移动的x、y和z坐标，且将此些坐标与预定密码比较。基于所述比较，鉴别应用程序可允许用户接入电子装置602。举例来说，如果手势606与预定密码匹配或大致类似于预定密码，则鉴别应用程序可允许用户接入电子装置602。或者，如果手势606不与预定密码匹配或不大致类似于预定密码，则鉴别应用程序可拒绝用户接入电子装置602。
以此方式，本发明的方法和设备可允许电子装置用户通过在电子装置显示器102、201、301上方拖拽手指而在登录到其电子装置102、201、301中之前验证其身份。因此，本发明的方法和设备可通过允许通过“盘旋签字”而进行用户验证来实施安全性的盘旋技术。
所属领域的技术人员将了解，可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中可能始终参考的数据、指令、命令、信息、信号、位、符号和码片。
所属领域的技术人员将进一步了解，在本文中结合揭示内容而描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。所述功能性是实施为硬件还是软件取决于特定应用程序和施加于整个***的设计约束。所属领域的技术人员可针对每一特定应用程序以不同方式实施所描述功能性，但所述实施决策不应被解释为导致偏离本发明的范围。
可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其经设计以执行本文中所描述的功能的任何组合来实施或执行在本文中结合揭示内容而描述的各种说明性逻辑区块、模块和电路。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一个或一个以上微处理器与DSP核心的联合，或任何其它此配置。
在本文中结合揭示内容而描述的方法或算法的步骤可直接体现在硬件中、由处理器执行的软件模块中，或两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM，或此项技术中已知的任一其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻留在用户终端中。
在一个或一个以上示范性设计中，所述的功能可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，则所述功能可作为一个或一个以上指令或代码在计算机可读媒体上加以存储或传输。计算机可读媒体包括计算机存储媒体与包括促进计算机程序从一处传递到另一处的任何媒体的通信媒体两者。存储媒体可为可由通用或专用计算机存取的任何可用媒体。举例来说(且并非限制)，此些计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于承载或存储呈指令或数据结构的形式的所要程序代码装置且可由通用或专用计算机或者通用或专用处理器存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源传输软件，则将同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波的无线技术包括在媒体的定义中。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文的组合也应包括在计算机可读媒体的范围内。
上文的描述仅揭示本发明的示范性实施例。所属领域的技术人员将容易明白属于本发明的范围内的对本发明的上文揭示的实施例的修改。举例来说，在一些实施例中，物体506、604在电子装置显示器108、206、306上方的高度可对应于应用程序108、214、314的相应用程序户接口。
因此，虽然已经配合本发明的示范性实施例揭示了本发明，但是应了解，其它实施例可属于所附权利要求书定义的本发明的精神和范围内。

Claims (53)

1.一种与电子装置交互的方法，其包括：
追踪在所述电子装置的显示器上方移动的物体的x、y和z坐标，其中所述显示器的顶表面与xy平面大致对准；
产生包含所述x、y和z坐标的中断；以及
由所述电子装置的应用程序采用所述移动的物体的所述追踪到的z坐标。
2.根据权利要求1所述的方法，其中：
所述应用程序是数据输入或鉴别应用程序；且
由所述电子装置的所述应用程序采用所述移动的物体的所述追踪到的z坐标包含基于所述追踪到的z坐标***字符、更新所输入的字符的格式或更新将输入到所述数据输入应用程序中的字符的所述格式。
3.根据权利要求2所述的方法，其中所述格式选自由粗体、斜体、下划线、删除线、下标、上标、字体、字体大小和字体颜色组成的群组。
4.根据权利要求1所述的方法，其中：
所述应用程序是数据输入或鉴别应用程序；且
由所述电子装置的所述数据输入或鉴别应用程序采用所述移动的物体的所述追踪到的z坐标包含在解锁所述电子装置之前基于所述追踪到的z坐标来验证所述电子装置的用户的身份。
5.根据权利要求1所述的方法，其中所述物体是手指或手写笔。
6.根据权利要求1所述的方法，其中追踪在所述电子装置的显示器上方移动的物体的所述x、y和z坐标包含采用电容或电阻触摸屏来追踪所述x、y和z坐标。
7.根据权利要求1所述的方法，其中追踪在所述电子装置的显示器上方移动的物体的所述x、y和z坐标包含采用至少一个换能器和至少一个接收器来追踪所述x、y和z坐标。
8.根据权利要求1所述的方法，其中追踪在所述电子装置的显示器上方移动的物体的所述x、y和z坐标包含采用至少一个光源和至少一个光接收器来追踪所述x、y和z坐标。
9.根据权利要求1所述的方法，其中在所述显示器上方移动的所述物体不触摸所述显示器。
10.根据权利要求1所述的方法，其进一步包括由所述电子装置的所述应用程序采用可听的声音、按钮按压、用所述物体作的手势或对所述电子装置的摇动作为可编程事件。
11.根据权利要求10所述的方法，其中由所述电子装置的所述应用程序采用所述可听的声音、按钮按压、用所述物体作的手势或对所述电子装置的摇动作为可编程事件包含在所述物体在第一时间周期内停止移动时，由所述电子装置的所述应用程序采用所述可听的声音、按钮按压、用所述物体作的手势或对所述电子装置的摇动作为所述可编程事件。
12.根据权利要求1所述的方法，其中在所述显示器上方移动的所述物体在所述移动的一个部分期间触摸所述显示器，且在所述移动的另一部分期间在所述显示器上方的空中移动。
13.根据权利要求1所述的方法，其中产生包含所述x、y和z坐标的中断包含响应于以下情况中的至少一者而产生包含所述x、y和z坐标的中断：按压所述电子装置上的按钮，产生第一可听的声音，用所述物体作手势，摇动所述电子装置或者在第一时间周期中停止所述物体的移动。
14.根据权利要求13所述的方法，其进一步包括响应于以下情况中的至少一者而停止产生包含所述x、y和z坐标的所述中断：释放所述电子装置上的按钮，产生第二可听的声音，用所述物体作手势，摇动所述电子装置或者在第二时间周期中停止所述物体的移动。
15.一种电子装置，其包括：
电路，其经配置以追踪在所述电子装置的显示器上方移动的物体的x、y和z坐标，其中所述显示器的顶表面与xy平面大致对准；
控制器，其耦合到所述电路且经配置以产生包含所述x、y和z坐标的中断；以及
处理器，其耦合到所述控制器且经配置以针对所述处理器执行的应用程序采用所述移动的物体的所述追踪到的z坐标。
16.根据权利要求15所述的电子装置，其中：
所述应用程序是数据输入或鉴别应用程序；以及
所述处理器进一步经配置以基于所述追踪到的z坐标***字符、更新所输入的字符的格式或更新将输入到所述应用程序中的字符的格式。
17.根据权利要求16所述的电子装置，其中所述格式选自由粗体、斜体、下划线、删除线、下标、上标、字体、字体大小和字体颜色组成的群组。
18.根据权利要求15所述的电子装置，其中：
所述应用程序是数据输入或鉴别应用程序；且
所述处理器进一步经配置以在解锁所述电子装置之前基于所述追踪到的z坐标来验证所述电子装置的用户的身份。
19.根据权利要求15所述的电子装置，其中所述物体是手指或手写笔。
20.根据权利要求15所述的电子装置，其中所述电路包含电容或电阻触摸屏。
21.根据权利要求15所述的电子装置，其中所述电路包含至少一个换能器和至少一个接收器。
22.根据权利要求15所述的电子装置，其中所述电路包含至少一个光源和至少一个光接收器。
23.根据权利要求15所述的电子装置，其中在所述显示器上方移动的所述物体不触摸所述显示器。
24.根据权利要求15所述的电子装置，其中所述处理器进一步经配置以采用可听的声音、按钮按压、用所述物体作的手势或对所述电子装置的摇动作为所述应用程序的可编程事件。
25.根据权利要求24所述的电子装置，其中所述处理器进一步经配置以在所述物体在第一时间周期内停止移动时，采用所述可听的声音、按钮按压、用所述物体作的手势或对所述电子装置的摇动作为所述应用程序的所述可编程事件。
26.根据权利要求15所述的电子装置，其中在所述显示器上方移动的所述物体在所述移动的一个部分期间触摸所述显示器，且在所述移动的另一部分期间在所述显示器上方的空中移动。
27.根据权利要求15所述的电子装置，其中所述控制器进一步经配置以响应于以下情况中的至少一者而产生包含所述x、y和z坐标的中断：按压所述电子装置上的按钮，产生第一可听的声音，用所述物体作手势，摇动所述电子装置或者在第一时间周期中停止所述物体的移动。
28.根据权利要求27所述的电子装置，其中所述控制器进一步经配置以响应于以下情况中的至少一者而停止产生包含所述x、y和z坐标的中断：释放所述电子装置上的按钮，产生第二可听的声音，用所述物体作手势，摇动所述电子装置或者在第二时间周期中停止所述物体的移动。
29.一种电子装置，其包括：
用于追踪在所述电子装置的显示器上方移动的物体的x、y和z坐标的装置，其中所述显示器的顶表面与xy平面大致对准；
用于产生包含所述x、y和z坐标的中断的装置；以及
用于由所述电子装置的应用程序采用所述移动的物体的所述追踪到的z坐标的装置。
30.根据权利要求29所述的电子装置：
其中所述应用程序是数据输入或鉴别应用程序；且
所述电子装置进一步包括用于基于所述追踪到的z坐标***字符、更新所输入的字符的格式或更新将输入到所述数据输入或鉴别应用程序中的字符的格式的装置。
31.根据权利要求30所述的电子装置，其中所述格式选自由粗体、斜体、下划线、删除线、下标、上标、字体、字体大小和字体颜色组成的群组。
32.根据权利要求29所述的电子装置：
其中所述应用程序是数据输入或鉴别应用程序；且
所述电子装置进一步包括用于在解锁所述电子装置之前基于所述追踪到的z坐标来验证所述电子装置的用户的身份的装置。
33.根据权利要求29所述的电子装置，其中所述物体是手指或手写笔。
34.根据权利要求29所述的电子装置，其中在所述显示器上方移动的所述物体不触摸所述显示器。
35.根据权利要求29所述的电子装置，其进一步包括用于由所述电子装置的所述数据输入或鉴别应用程序采用可听的声音、按钮按压、用所述物体作的手势或对所述电子装置的摇动作为可编程事件的装置。
36.根据权利要求35所述的电子装置，其进一步包括当所述物体在第一时间周期内停止移动时用于由所述电子装置的所述数据输入或鉴别应用程序采用可听的声音、按钮按压、用所述物体作的手势或对所述电子装置的摇动作为所述可编程事件的装置。
37.根据权利要求29所述的电子装置，其中在所述显示器上方移动的所述物体在所述移动的一个部分期间触摸所述显示器，且在所述移动的另一部分期间在所述显示器上方的空中移动。
38.根据权利要求29所述的电子装置，其进一步包括用于响应于以下情况中的至少一者而产生包含所述x、y和z坐标的中断的装置：按压所述电子装置上的按钮，用所述物体作手势，产生第一可听的声音，摇动所述电子装置或者在第一时间周期中停止所述物体的移动。
39.根据权利要求38所述的电子装置，其进一步包括用于响应于以下情况中的至少一者而停止产生包含所述x、y和z坐标的中断的装置：释放按钮，产生第二可听的声音，用所述物体作手势，摇动所述电子装置或者在第二时间周期中停止所述物体的移动。
40.一种非暂时性存储媒体，其包括程序指令，所述程序指令是计算机可执行的以实施与电子装置的交互且在被执行时执行以下步骤：
追踪在所述电子装置的显示器上方移动的物体的x、y和z坐标，其中所述显示器的顶表面与xy平面大致对准；
产生包含所述x、y和z坐标的中断；以及
由所述电子装置的应用程序采用所述移动的物体的所述追踪到的z坐标。
41.根据权利要求40所述的非暂时性存储媒体，其中：
所述应用程序是数据输入或鉴别应用程序；且
由所述电子装置的所述数据输入或鉴别应用程序采用所述移动的物体的所述追踪到的z坐标包含基于所述追踪到的z坐标***字符、更新所输入的字符的格式或更新将输入到所述数据输入应用程序中的字符的格式。
42.根据权利要求41所述的非暂时性存储媒体，其中所述格式选自由粗体、斜体、下划线、删除线、下标、上标、字体、字体大小和字体颜色组成的群组。
43.根据权利要求40所述的非暂时性存储媒体，其中：
所述应用程序是数据输入或鉴别应用程序；且
由所述电子装置的所述数据输入或鉴别应用程序采用所述移动的物体的所述追踪到的z坐标包含在解锁所述电子装置之前基于所述追踪到的z坐标来验证所述电子装置的用户的身份。
44.根据权利要求40所述的非暂时性存储媒体，其中所述物体是手指或手写笔。
45.根据权利要求40所述的非暂时性存储媒体，其中追踪在所述电子装置的显示器上方移动的物体的所述x、y和z坐标包含采用电容或电阻触摸屏来追踪所述x、y和z坐标。
46.根据权利要求40所述的非暂时性存储媒体，其中追踪在所述电子装置的显示器上方移动的物体的所述x、y和z坐标包含采用至少一个换能器和至少一个接收器来追踪所述x、y和z坐标。
47.根据权利要求40所述的非暂时性存储媒体，其中追踪在所述电子装置的显示器上方移动的物体的所述x、y和z坐标包含采用至少一个光源和至少一个光接收器来追踪所述x、y和z坐标。
48.根据权利要求40所述的非暂时性存储媒体，其中在所述显示器上方移动的所述物体不触摸所述显示器。
49.根据权利要求40所述的非暂时性存储媒体，其中所述程序指令进一步包括由所述电子装置的所述数据输入或鉴别应用程序采用可听的声音、按钮按压、用所述物体作的手势或对所述电子装置的摇动作为可编程事件的步骤。
50.根据权利要求49所述的非暂时性存储媒体，其中由所述电子装置的所述数据输入或鉴别应用程序采用所述可听的声音、按钮按压、用所述物体作的手势或对所述电子装置的摇动作为可编程事件包含在所述物体在第一时间周期内停止移动时，由所述电子装置的所述数据输入或鉴别应用程序采用所述可听的声音、按钮按压、用所述物体作的手势或对所述电子装置的摇动作为所述可编程事件。
51.根据权利要求40所述的非暂时性存储媒体，其中在所述显示器上方移动的所述物体在所述移动的一个部分期间触摸所述显示器，且在所述移动的另一部分期间在所述显示器上方的空中移动。
52.根据权利要求40所述的非暂时性存储媒体，其中产生包含所述x、y和z坐标的中断包含响应于以下情况中的至少一者而产生包含所述x、y和z坐标的中断：按压所述电子装置上的按钮，用所述物体作手势，产生第一可听的声音，摇动所述电子装置或者在第一时间周期中停止所述物体的移动。
53.根据权利要求52所述的非暂时性存储媒体，其中所述程序指令进一步包括响应于以下情况中的至少一者而停止产生包含所述x、y和z坐标的所述中断的步骤：释放按钮，产生第二可听的声音，用所述物体作手势，摇动所述电子装置或者在第二预定时间周期中停止所述物体的移动。
CN2011800403134A 2010-08-24 2011-08-24 用于通过在电子装置显示器上方的空中移动物体与电子装置应用程序交互的方法和设备 Pending CN103069363A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/862,066 2010-08-24
US12/862,066 US20120050007A1 (en) 2010-08-24 2010-08-24 Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display
PCT/US2011/048884 WO2012027422A2 (en) 2010-08-24 2011-08-24 Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display

Publications (1)

Publication Number Publication Date
CN103069363A true CN103069363A (zh) 2013-04-24

Family

ID=44675811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800403134A Pending CN103069363A (zh) 2010-08-24 2011-08-24 用于通过在电子装置显示器上方的空中移动物体与电子装置应用程序交互的方法和设备

Country Status (7)

Country Link
US (1) US20120050007A1 (zh)
EP (1) EP2609487A2 (zh)
JP (1) JP5905007B2 (zh)
KR (1) KR101494556B1 (zh)
CN (1) CN103069363A (zh)
IN (1) IN2013CN00518A (zh)
WO (1) WO2012027422A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598032A (zh) * 2015-01-30 2015-05-06 乐视致新电子科技（天津）有限公司 一种屏幕控制方法和装置
CN105264870A (zh) * 2013-05-21 2016-01-20 三星电子株式会社 使用悬停输入的用户输入

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120066650A1 (en) * 2010-09-10 2012-03-15 Motorola, Inc. Electronic Device and Method for Evaluating the Strength of a Gestural Password
WO2012050924A2 (en) * 2010-09-28 2012-04-19 Quang Sy Dinh Apparatus and method for providing keyboard functionality, via a limited number of input regions, to a separate digital device
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
JP6073782B2 (ja) * 2011-05-16 2017-02-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
JP6232694B2 (ja) * 2012-10-15 2017-11-22 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム
CN103777740A (zh) * 2012-10-18 2014-05-07 富泰华工业（深圳）有限公司 便携式电子装置解锁***及方法
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
CN102981764B (zh) * 2012-11-19 2018-07-20 北京三星通信技术研究有限公司 触控操作的处理方法及设备
KR20140087731A (ko) 2012-12-31 2014-07-09 엘지전자 주식회사 포터블 디바이스 및 사용자 인터페이스 제어 방법
US10331219B2 (en) 2013-01-04 2019-06-25 Lenovo (Singaore) Pte. Ltd. Identification and use of gestures in proximity to a sensor
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
KR102086799B1 (ko) * 2013-02-21 2020-03-09 삼성전자주식회사 가상 키 패드를 디스플레이하기 위한 방법 및 그 전자 장치
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
JP2014182459A (ja) * 2013-03-18 2014-09-29 Fujitsu Ltd 情報処理装置及びプログラム
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
EP2821885B1 (en) * 2013-07-01 2021-11-24 BlackBerry Limited Password by touch-less gesture
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
CN104427081B (zh) * 2013-08-19 2019-07-02 中兴通讯股份有限公司 一种移动终端的解锁方法及装置
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
KR102143574B1 (ko) 2013-09-12 2020-08-11 삼성전자주식회사 근접 터치를 이용한 온라인 서명 인증 방법 및 이를 위한 장치
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
TWI488106B (zh) * 2013-12-13 2015-06-11 Acer Inc 可攜式電子裝置及其圖示位置調整方法
KR20150072764A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 전자기기에서 해상도 레벨을 제어하기 위한 방법 및 장치
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
GB2522410A (en) * 2014-01-20 2015-07-29 Rockley Photonics Ltd Tunable SOI laser
US9916014B2 (en) * 2014-04-11 2018-03-13 Continental Automotive Systems, Inc. Display module with integrated proximity sensor
US9883301B2 (en) * 2014-04-22 2018-01-30 Google Technology Holdings LLC Portable electronic device with acoustic and/or proximity sensors and methods therefor
KR102265143B1 (ko) 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
JP7320854B2 (ja) * 2021-03-10 2023-08-04 株式会社テクナート タッチパネル
KR102625552B1 (ko) * 2023-02-11 2024-01-16 (주)유오더 테이블 결합형 태블릿 거치대 구조체

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080100572A1 (en) * 2006-10-31 2008-05-01 Marc Boillot Touchless User Interface for a Mobile Device
US20080111710A1 (en) * 2006-11-09 2008-05-15 Marc Boillot Method and Device to Control Touchless Recognition
US20080120568A1 (en) * 2006-11-20 2008-05-22 Motorola, Inc. Method and device for entering data using a three dimensional position of a pointer
US20080266271A1 (en) * 2004-06-09 2008-10-30 Koninklijke Philips Electronics, N.V. Input System
US20090103780A1 (en) * 2006-07-13 2009-04-23 Nishihara H Keith Hand-Gesture Recognition Method
US20090202153A1 (en) * 2000-03-01 2009-08-13 Palmsource, Inc. Method and apparatus for using pressure information for improved computer controlled handwriting recognition data entry and user authentication
US20090295715A1 (en) * 2008-06-02 2009-12-03 Lg Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein
US20100107099A1 (en) * 2008-10-27 2010-04-29 Verizon Data Services, Llc Proximity interface apparatuses, systems, and methods

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153415A (ja) * 1988-12-06 1990-06-13 Hitachi Ltd キーボード装置
JP2003005912A (ja) * 2001-06-20 2003-01-10 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP4479962B2 (ja) * 2005-02-25 2010-06-09 ソニー エリクソン モバイル コミュニケーションズ， エービー 入力処理プログラム、携帯端末装置、及び入力処理方法
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US8279168B2 (en) 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
JP2008009759A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp タッチパネル装置
US20080252595A1 (en) * 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
JP2009116769A (ja) * 2007-11-09 2009-05-28 Sony Corp 入力装置、入力装置の制御方法、及びプログラム
DE102008051756A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
JP2009183592A (ja) * 2008-02-08 2009-08-20 Ge Medical Systems Global Technology Co Llc 操作情報入力装置および超音波撮像装置
JP5127547B2 (ja) * 2008-04-18 2013-01-23 株式会社東芝 表示オブジェクト制御装置、表示オブジェクト制御プログラムおよび表示装置
US9030418B2 (en) * 2008-06-24 2015-05-12 Lg Electronics Inc. Mobile terminal capable of sensing proximity touch
US9658765B2 (en) * 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
JP4752887B2 (ja) * 2008-09-12 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP2010092219A (ja) * 2008-10-07 2010-04-22 Toshiba Corp タッチパネル入力装置
JP2010108255A (ja) * 2008-10-30 2010-05-13 Denso Corp 車載操作システム
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
JP2010128685A (ja) * 2008-11-26 2010-06-10 Fujitsu Ten Ltd 電子機器
US20110221776A1 (en) * 2008-12-04 2011-09-15 Mitsuo Shimotani Display input device and navigation device
WO2010064423A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
CN102239068B (zh) * 2008-12-04 2013-03-13 三菱电机株式会社 显示输入装置
JP4683126B2 (ja) * 2008-12-26 2011-05-11 ブラザー工業株式会社 入力装置
CN102334086A (zh) * 2009-01-26 2012-01-25 泽罗技术(2009)有限公司 用于监测物体行为的装置和方法
JP5382313B2 (ja) * 2009-02-06 2014-01-08 株式会社デンソー 車両用操作入力装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090202153A1 (en) * 2000-03-01 2009-08-13 Palmsource, Inc. Method and apparatus for using pressure information for improved computer controlled handwriting recognition data entry and user authentication
US20080266271A1 (en) * 2004-06-09 2008-10-30 Koninklijke Philips Electronics, N.V. Input System
US20090103780A1 (en) * 2006-07-13 2009-04-23 Nishihara H Keith Hand-Gesture Recognition Method
US20080100572A1 (en) * 2006-10-31 2008-05-01 Marc Boillot Touchless User Interface for a Mobile Device
US20080111710A1 (en) * 2006-11-09 2008-05-15 Marc Boillot Method and Device to Control Touchless Recognition
US20080120568A1 (en) * 2006-11-20 2008-05-22 Motorola, Inc. Method and device for entering data using a three dimensional position of a pointer
US20090295715A1 (en) * 2008-06-02 2009-12-03 Lg Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein
US20100107099A1 (en) * 2008-10-27 2010-04-29 Verizon Data Services, Llc Proximity interface apparatuses, systems, and methods

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264870A (zh) * 2013-05-21 2016-01-20 三星电子株式会社 使用悬停输入的用户输入
CN105264870B (zh) * 2013-05-21 2018-06-29 三星电子株式会社 使用悬停输入的用户输入
CN104598032A (zh) * 2015-01-30 2015-05-06 乐视致新电子科技（天津）有限公司 一种屏幕控制方法和装置

Also Published As

Publication number Publication date
KR101494556B1 (ko) 2015-02-17
JP5905007B2 (ja) 2016-04-20
KR20130062996A (ko) 2013-06-13
EP2609487A2 (en) 2013-07-03
US20120050007A1 (en) 2012-03-01
WO2012027422A2 (en) 2012-03-01
WO2012027422A3 (en) 2012-05-10
IN2013CN00518A (zh) 2015-07-03
JP2013539113A (ja) 2013-10-17

Similar Documents

Publication Publication Date Title
CN103069363A (zh) 用于通过在电子装置显示器上方的空中移动物体与电子装置应用程序交互的方法和设备
CN104272240B (zh) 用于修改在用户界面上的虚拟键盘的***和方法
CN203405773U (zh) 压敏键、键盘和计算***
CN101498979B (zh) 利用电容式触摸屏实现虚拟键盘的方法
CN105359086A (zh) 控制聊天窗口的方法和实施该方法的电子设备
EP2631749A2 (en) Hybrid touch screen device and method for operating the same
CN104049737A (zh) 用户设备的对象控制方法和装置
CN104281317A (zh) 用于切换数字化器模式的方法
US10747357B2 (en) Coordinate measuring apparatus for measuring input position of a touch and a coordinate indicating apparatus and driving method thereof
CN103314343A (zh) 使用手势控制键盘应用，例如移动设备上的键盘应用
CN102402286A (zh) 动态姿势参数
CN103262006A (zh) 激活电子设备的功能的方法和装置
CN105518606A (zh) 用户接口装置和关联方法
CN103415835A (zh) 一种触屏装置用户界面的处理方法及触屏装置
CN104007922A (zh) 响应于用户输入提供反馈的方法和实现所述方法的终端
CN102411439A (zh) 指示笔模式
US20120075202A1 (en) Extending the touchable area of a touch screen beyond the borders of the screen
GB2479458A (en) Correlating the mode or identification of an input prosthetic with a function
CN108475126A (zh) 触摸操作的处理方法和触摸键盘
CN105009038A (zh) 具有触敏用户界面的电子装置以及相关操作方法
CN103558913A (zh) 一种具有振动反馈的虚拟输入手套键盘
KR102491207B1 (ko) 멀티 터치 인식 장치 및 방법
EP3350677B1 (en) Coordinate measuring apparatus and method of controlling the same
CN103984427A (zh) 多点触控的方法及其设备
CN103189821A (zh) 键输入错误减少

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130424