CN103309441A - 与显示的虚拟键盘一起使用的手势控制技术 - Google Patents

与显示的虚拟键盘一起使用的手势控制技术 Download PDF

Info

Publication number
CN103309441A
CN103309441A CN2013100664332A CN201310066433A CN103309441A CN 103309441 A CN103309441 A CN 103309441A CN 2013100664332 A CN2013100664332 A CN 2013100664332A CN 201310066433 A CN201310066433 A CN 201310066433A CN 103309441 A CN103309441 A CN 103309441A
Authority
CN
China
Prior art keywords
location
motion
existence
dummy keyboard
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100664332A
Other languages
English (en)
Inventor
B·M·达考斯塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103309441A publication Critical patent/CN103309441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及与显示的虚拟键盘一起使用的手势控制技术。该手势控制技术包括从诸如照相机、触摸板、陀螺仪等的定位接口接收表示用户的手指等的存在、定位、位置、运动和方向中的一个或多个的数据。在显示器上显示包括虚拟键盘的图形用户接口。将存在、定位、位置、运动和方向数据与显示器上的虚拟键盘的检视空间定位进行比较，以确定存在、定位、位置、运动和方向数据是否与虚拟键盘上的定位相关联。如果相关联，则在虚拟键盘上覆盖显示存在、定位、位置、运动和方向数据。另外，根据一组或多组存在、定位、位置、运动和方向数据确定一个或多个手势。此外，根据所述一个或多个手势确定虚拟键盘的一个或多个字母数字输入或控制输入。

Description

与显示的虚拟键盘一起使用的手势控制技术
技术领域
本发明涉及与显示的虚拟键盘一起使用的手势控制技术。
背景技术
电子***对现代社会的进步已经做出了显著的贡献，并且在大量的应用中电子***被利用以实现有益的结果。在娱乐、教育、商业和科学的大多数领域中，诸如计算机、电视机、智能电话等的大量装置推动了内容消费的增长、传送内容的成本降低等。电子装置正日益从越来越多的源接收内容。例如，目前电视机适于从广播、线缆、卫星、互联网等源接收内容。
电子***的一个共有方面是用户接口。大多数电子***包括诸如控制面板、遥控器、键盘和/或指针装置等一个或多个用户接口。在电子***中正逐渐普及的另一用户接口是触摸屏显示器。然而，对于诸如在“后倾（lean-back）”的环境（例如，起居室、卧室）中的电视机的电子装置，传统的控制面板、键盘、指针装置、触摸屏显示器接口并不有利。另外，难以使用遥控器进行文本输入。因此，一直需要改进电子装置的用户接口。
发明内容
通过参照下面的描述和附图可最好地理解本技术，附图用于针对手势控制技术例示本技术的实施例。
在一个实施例中，一种手势控制方法包括接收表示用户手势构件的存在、定位（location）、位置（position）、运动和方向中的一个或多个的数据。还显示包括虚拟键盘的用户图形接口。将存在、定位、位置、运动和方向数据与显示器上的虚拟键盘的检视空间定位进行比较，以确定存在、定位、位置、运动和方向数据是否与虚拟键盘上的定位相关联。根据一组或多组存在、定位、位置、运动和方向数据，确定一个或多个手势。如果存在、定位、位置、运动和方向数据与虚拟键盘的检视空间定位相关联，则在虚拟键盘上还覆盖显示该存在、定位、位置、运动和方向数据。之后，根据所述一个或多个手势，确定一个或多个字母数字或控制输入。
可根据虚拟键盘的布局、上下文、一个或多个先前字母数字或控制输入、来自另一源的一个或多个输入、一个或多个应用、一个或多个用户偏好、用户的一次或多次先前使用、一个或多个数据组（例如，交互节目指南、拼写检查字典）和/或一个或多个可用的菜单选择等，无歧义地确定所述一个或多个字母数字或控制输入。可利用自动完成算法和/或消歧算法等，确定所述一个或多个字母数字或控制输入。
提供发明内容部分是为了以简单的形式介绍挑选的构思，下面还会对这些构思进行详细的描述。发明内容部分不是意图确定要求保护的主题的关键特征或必要特征，也不是意图用于限制要求保护的主题的范围。
附图说明
在附图的各幅图中，通过示例的方式而不是限制的方式示出了本技术的实施例，其中相同的标号表示相似的元件，并且在附图中：
图1示出了根据本技术的一个实施例的包括手势控制接口的***的框图。
图2A至图2B示出了根据本技术的一个实施例的手势输入/控制方法的流程图。
图3A至图3B示出了根据本技术的一个实施例的示例性手势。
图4示出了根据本技术的一个实施例的手势输入技术。
具体实施方式
现在将详细说明本技术的实施例，本技术实施例的示例示出在附图中。尽管将结合这些实施例描述本技术，但是应理解的是，它们不意图将本发明限制为这些实施例。相反，本发明意图覆盖可包括在由权利要求限定的本发明的范围内的替换、变型和等同物。此外，在下面对本技术的详细描述中，阐述了大量具体的细节，从而提供对本技术的彻底的理解。然而，将理解的是，在没有这些具体细节的情况下也可以实施本技术。在其它情况下，不再详细描述公知的方法、过程、组件和电路，以避免不必要地模糊本技术的各个方面。
在下文中，在一个或多个电子装置内的例程、模块、逻辑块和数据操作的其它符号表示方面提出了本技术的一些实施例。描述和表示是本领域技术人员所使用的手段，以最有效地将他们的工作内容传达给本领域的其它技术人员。这里的例程、模块和/或逻辑块等通常被设想为导致期望结果的处理或指令的自洽序列。所述处理为包括物理量的物理操作的处理。通常，尽管不是必须地，这些物理操作采用能够在电子装置中被存储、传递、比较和以其它方式操作的电信号或磁信号的形式。为了方便并且参考通常的用途，参照本技术的实施例，这些信号被称作数据、比特、值、元件、符号、字符、术语、数字和/或字串等。
然而，应该记住的是，所有这些术语应被解释为参考物理操作和物理量并仅仅是方便的标签，并且根据本领域通用的术语进行进一步解释。除非与下面的讨论明显不同地进行具体声明，否则将理解的是，在本技术的整个讨论中，利用诸如“接收”等的术语的讨论参照诸如操作并转换数据的电子计算装置的电子装置的动作和处理。在电子装置的逻辑电路、寄存器和/或存储器等内，数据被表示为物理（例如，电子）量，并被转换为如电子装置内的物理量所相似表示的其它数据。
在本申请中，析取的使用意图包括合取。定冠词或不定冠词的使用不意图表示基数。具体地讲，“所述”对象或对象意图表示可能的多个这种对象中的一个。还应该理解的是，这里使用的措词和术语是出于描述的目的，而不应该被看作是限制。
参照图1，示出了根据本技术的一个实施例的包括手势控制接口的***。***100包括通信地耦接到处理单元130的显示器110、和存在、定位、位置、运动和/或方向等数据输入接口120。***100还可以包括一个或多个子***，和/或可耦接到一个或多个其它***、装置等。为了简单，能够接收存在、定位、位置、运动和/或方向等数据的输入接口在后面被称作定位接口120。然而，应该理解的是，定位接口120适于接收与存在、定位、位置、运动和/或方向等相关的数据。将理解的是，在一个实施方式中，处理单元130和位置接口120可与显示器（例如，电视机）110成为一体。在另一实施方式中，处理单元130可与显示器110成为一体，并且位置接口120可为***设备或与诸如电视遥控器、智能电话等的另一***设备成为一体。在又一实施方式中，处理单元130和/或位置接口120可与诸如***接收器、有线电视机顶盒、音频/视频放大器和/或光盘播放器（例如，蓝光播放器）等的其它装置成为一体。以上描述的实施方式仅为实现本技术的实施例的很多方式中的一些方式，并不意图以任何方式进行限制。
将参照图2A和图2B进一步解释***100的操作，图2A和图2B示出了根据本技术的一个实施例的手势输入/控制方法。该方式可实现为计算装置可执行的指令（例如，软件），所述指令存储在计算装置可读介质（例如，存储器）中并由计算装置（例如，处理器）执行。该方法还可以实现为固件、硬件或者软件、固件和/或硬件的组合。
该手势输入/控制方法包括在205接收表示用户手势构件140在定位接口120上或在定位接口120中的存在、定位、位置、运动和/或方向等的数据。用户手势构件140可为用户的伸出的手指、用户的手或相似的部位。在一个实施方式中，定位接口120可为电视遥控器的触摸板。该触摸板捕获用户的手指或触笔的存在、定位、位置、运动和/或方向等。在另一实施方式中，遥控器、智能电话等的触摸屏捕获存在、定位、位置、运动和/或方向等数据。触摸屏包括覆盖在显示面板上的触敏面板，其中触敏面板捕获用户的手指或触笔的存在、定位、位置、运动和/或方向等。在又一实施方式中，由遥控器、智能电话等的加速度计和/或陀螺仪等捕获存在、定位、位置、运动和/或方向等。在另一实施方式中，由照相机、3D照相机或立体照相机捕获存在、定位、位置、运动和/或方向等。以上描述的实施方式仅是实现定位接口120的很多方式中的一些方式，并不意图以任何方式对其进行限制。此外，对于包括用于接收存在、定位、位置、运动和/或方向等的触摸屏的位置接口，将理解的是，利用触摸屏接收输入数据并且触摸屏被当作辅助装置，而显示包括虚拟键盘和覆盖在虚拟键盘上的手势的图形用户接口的显示器是主显示器。
在示例性***中，照相机（未示出）可捕获如图3A和图3B中示出的用户的手指310的存在、定位、位置、运动和/或方向等。当用户的手指310不在第一平面320和第二平面330之间时，忽略手指310的存在、定位、位置、运动和/或方向等。当用户的手指310位于第一平面和第二平面之间时，照相机接收手指310的存在、定位、位置、运动和/或方向等作为对应的输入数据。例如，可接收用户的手指从第一位置340到第二位置350的移动作为对应的存在、定位、位置、运动和/或方向等数据。或者，用户持有的遥控器、智能电话等中的陀螺仪可捕获用户的手的存在、定位、位置、运动和/或方向等。在另一示例中，如图4所示，当用户正观看显示器110上的图形用户接口150时，遥控器的触敏板410可捕获用户的手指310的存在、定位、位置、运动和/或方向等作为对应的输入数据。触敏板410上也可显示虚拟键盘以进一步帮助用户，或者触敏板410可为空白的。在后者的情况下，在观看显示器时，用户在触摸板上作出手势。
在210，包括虚拟键盘150的图形用户接口（GUI）显示在显示器110上。在一个实施方式中，处理单元130产生包括虚拟键盘的图形用户接口的图像数据并将该图像数据输出到显示器110以进行显示。可响应于在输入接口120上接收到存在、定位、位置、运动和/或方向等数据、来自处理单元130（例如，应用）、***100的某其它输入/输出接口的某其它输入等，而显示虚拟键盘。
在215，将存在、定位、位置、运动和/或方向等数据与虚拟键盘的检视空间定位进行比较，以确定所述数据是否与虚拟键盘和/或键盘的一个或多个部分相关联。在一个实施方式中，处理单元130确定存在、定位、位置、运动和/或方向等数据是否与显示器上的虚拟键盘的检视空间定位相关联。如果存在、定位、位置、运动和/或方向等数据与虚拟键盘的检视空间定位相关联，则处理单元还可以确定存在、定位、位置、运动和/或方向等数据与哪个或哪些键相关联。
在220，根据一组存在、定位、位置、运动和/或方向等数据，确定一个或多个手势。在一个实施方式中，处理单元130根据从定位接口120接收的一组存在、定位、位置、运动和/或方向等数据确定手势。在一个实施方式中，可使用一个或多个存在、定位、位置、运动或方向值来识别用于确定手势的多组存在、定位、位置、运动和/或方向等数据。还可以基于存在、定位、位置、运动和/或方向等数据与虚拟键盘的一个或多个键的关联来确定手势。还可以基于上下文、一个或多个先前手势、从一个或多个先前手势确定的一个或多个先前的字母数字和/或控制输入、来自其它源的一个或多个输入、一个或多个应用和/或一个或多个数据组（例如，交互节目指南、拼写检查字典）等，来确定手势。例如，相对于虚拟键盘的键的位置的方向变化可指示方向变化前的数据值位于第一组中并对应于第一手势，并且方向变化后的数据值位于第二组中并对应于第二手势。在另一示例中，在某位置持续至少预定时长的暂停可相似地指示不同的组和/或不同的手势。在又一示例中，从大致在第一平面内的位置变化到大致在横向于第一平面的第二平面中的位置然后返回至大致在第一平面内的位置（例如，模拟对键盘的给定键的激活）可相似地指示不同的组和/或不同的手势。
例如，在“e”键的对应位置然后到“y”键的方向变化可被解释为给定手势，如图4所示。可采用消歧技术来确定给定手势。
在225，如果存在、定位、位置、运动和/或方向等数据对应于虚拟键盘的检视空间定位，则在显示器上将存在、定位、位置、运动和/或方向等数据显示为虚拟键盘上的覆盖物。在一个实施方式中，处理单元130产生带有覆盖在虚拟键盘的一个或多个对应部分上的手势的虚拟键盘的图像数据。还可以显示虚拟键盘的检视空间外的存在、定位、位置、运动和/或方向等数据。例如，与虚拟键盘的检视空间对应的存在、定位、位置、运动和/或方向等数据可以以第一格式（例如，颜色）显示，而位于虚拟键盘的检视空间外的存在、定位、位置、运动和/或方向等数据可以以第二格式显示。
例如，如图4所示，在显示器上将存在、定位、位置、运动和/或方向等数据作为覆盖物显示为虚拟键盘上的高亮部分420。在另一示例中，不在预定的第一平面和第二平面之间的存在、定位、位置、运动和/或方向等数据以另一高亮颜色覆盖。类似地，不与虚拟键盘的检视空间对应的存在、定位、位置、运动和/或方向等数据可以以另一高亮颜色覆盖在图形用户接口的另一对应部分上。
在230，如果存在、定位、位置、运动和/或方向等数据对应于显示器上的虚拟键盘的一个或多个部分（例如，键），则可根据一个或多个手势确定来自虚拟键盘的一个或多个对应的字母数字和/或控制输入。在一个实施方式中，处理单元130确定手势是否表示虚拟键盘的一个或多个字母数字或控制键的激活（例如，用户选择）。还可以基于虚拟键盘的布局、上下文、一个或多个先前字母数字和/或控制输入、来自其它源的一个或多个输入、一个或多个适用的应用、用户偏好、用户先前的使用和/或一个或多个数据组（例如，交互节目指南、拼写检查字典），来确定所述一个或多个字数数字输入和/或控制输入。例如，可使用自动完成算法基于一个或多个先前确定的字母来确定一个或多个字母。在另一示例中，可基于一个或多个先前确定的字母数字和/或控制输入以及可用的菜单选择来确定一个或多个字母数字和/或控制输入。在又一示例中，可基于一个或多个先前确定的字母、交互节目指南的数据组和/或拼写检查字典等，来确定一个或多个字母数字输入和/或控制输入。
例如，从在“e”键的对应位置然后在“y”键的方向变化确定的手势可被解释为一个或多个字母数字和/或控制输入，诸如在图形用户接口150中选择虚拟键盘的“e”键然后选择“y”键，如图4所示。从在“y”的对应位置然后到“b”键上的方向变化确定的下一手势可被解释为选择“b”键。另外，选择多个键“keyb”的先前确定还可以使用自动完成算法被进一步解释为表示进一步选择图形用户接口150的虚拟键盘上的多个键“oard”。可采用各种基于单词的消歧技术以确定用户正在选择的哪个给定键。因此，可根据手势确定一个或多个实际和/或预测的字母数字和/或控制输入。
在235，可将所述一个或多个确定的字母数字和/或控制键输入到一个或多个程序（例如，操作***、用户应用、实用程序、例程和驱动程序）中。在一个实施方式中，处理单元向在处理器和/或另一计算装置上执行的一个或多个程序提供所述一个或多个手势选择的字母数字和/或控制键。在240，也可以在图形用户接口的输入栏中显示所述一个或多个字母数字和/或控制键。例如，可在图形用户接口150的输入栏430中显示确定的字母数字键输入“keybo”，如图4所示。此外，可通过自动完成算法进一步解释所确定的字母数字键输入“keybo”，以表示输入“keyboard”（可在图形用户接口150的建议栏440中显示）。用户可以从图形用户接口的建议栏440或其它相关栏中的一个或多个选项中选择替换的预期字母数字和/或控制键字串。重复205-240的处理以检测一个或多个手势中的每一个。
本技术的实施例的优势在于能够在包括显示器的装置（诸如大电视机）上使用手势实现输入。用户可以在辅助装置上或在空间（例如，空气）中使用手势有利地输入文本。对于未预计与传统物理键盘、指针装置和/或触摸屏显示器一起使用的***，可有利地利用所述实施例。例如，在“后倾”观看环境（诸如起居室和卧室）中或为了被动观看，可有利地采用所述实施例。
出于例示和描述的目，已经给出了本技术的特定实施例的以上描述。上述描述并不意图是穷举性的或者将本发明限制为公开的精确形式，显然，根据上述教导可以有很多修改和变型。选择和描述这些实施例是为了最好地解释本技术的原理及其实际应用，从而使本领域技术人员能够最好地利用本技术以及具有适于设想的特定用途的各种变型的各种实施例。本发明的范围要由权利要求及其等同物限定。

Claims (12)

1.一种用于手势控制的方法，包括：
由定位接口接收表示用户手势构件的存在、定位、位置、运动和方向中的一个或多个的数据；
在显示器上显示包括虚拟键盘的用户图形接口；
由处理单元确定存在、定位、位置、运动和方向数据是否与显示器上的虚拟键盘的检视空间定位相关联；
由处理单元根据一组或多组存在、定位、位置、运动和方向数据来确定一个或多个手势；
如果所述存在、定位、位置、运动和方向数据与虚拟键盘的检视空间定位相关联，则在显示器上覆盖虚拟键盘地显示所述存在、定位、位置、运动和方向数据；以及
由处理单元确定对应于所述一个或多个手势的、来自虚拟键盘的一个或多个字母数字输入或控制输入。
2.根据权利要求1所述的方法，还包括由处理单元将一个或多个字母数字或控制键发送到一个或多个程序。
3.根据权利要求1所述的方法，还包括在显示器上的图形用户接口的输入栏中显示一个或多个字母数字或控制键。
4.根据权利要求1所述的方法，其中，如果所述存在、定位、位置、运动和方向数据与虚拟键盘的检视空间定位相关联，则在显示器上以第一格式显示所述存在、定位、位置、运动和方向数据。
5.根据权利要求4所述的方法，还包括：如果所述存在、定位、位置、运动和方向数据不与虚拟键盘的检视空间定位关联，则在显示器上覆盖图形用户接口的另一对应部分以第二格式显示所述存在、定位、位置、运动和方向数据。
6.根据权利要求1所述的方法，其中，用于接收表示用户手势构件的存在、定位、位置、运动和方向中的一个或多个的数据的定位接口包括照相机、触摸板、或者电视遥控器或智能电话的陀螺仪或加速度计。
7.根据权利要求1所述的方法，其中，处理单元还根据上下文、一个或多个先前手势、来自另一源的一个或多个输入、一个或多个应用或者一个或多个数据组，来确定所述一个或多个手势。
8.根据权利要求1所述的方法，其中，处理单元根据虚拟键盘的布局、上下文、一个或多个先前字母数字输入或控制输入、来自另一源的一个或多个输入、一个或多个应用、一个或多个用户偏好、一个或多个先前使用、一个或多个数据组、交互节目指南、拼写检查字典、一个或多个可用的菜单选择、自动完成算法或消歧算法中的一个或多个，进一步确定所述一个或多个字母数字输入或控制输入。
9.一种用于手势控制的***包括：
用于接收表示用户手势构件的存在、定位、位置、运动和方向中的一个或多个的数据的装置；
用于显示包括虚拟键盘的用户图形接口的装置；
用于确定存在、定位、位置、运动和方向数据是否与显示器上的虚拟键盘的检视空间定位相关联的装置；
用于根据一组或多组存在、定位、位置、运动和方向数据来确定一个或多个手势的装置；
用于如果所述存在、定位、位置、运动和方向数据与虚拟键盘的检视空间定位相关联，则在显示器上覆盖虚拟键盘地显示所述存在、定位、位置、运动和方向数据的装置；
用于无歧义地确定对应于所述一个或多个手势的、来自虚拟键盘的一个或多个字母数字输入或控制输入的装置；
用于在图形用户接口的输入栏中显示一个或多个字母数字或控制键的装置。
10.根据权利要求9所述的***，其中，如果所述存在、定位、位置、运动和方向数据与虚拟键盘的检视空间定位相关联，则以第一格式显示所述存在、定位、位置、运动和方向数据。
11.根据权利要求10所述的***，还包括如果所述存在、定位、位置、运动和方向数据不与虚拟键盘的检视空间定位关联，则在图形用户接口的另一对应部分上覆盖地以第二格式显示所述存在、定位、位置、运动和方向数据的装置。
12.根据权利要求9所述的***，其中，用于接收表示用户手势构件的存在、定位、位置、运动和方向中的一个或多个的数据的装置相对于空间中的第一平面和第二平面进行接收。
CN2013100664332A 2012-03-06 2013-03-04 与显示的虚拟键盘一起使用的手势控制技术 Pending CN103309441A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/413,061 US20130239041A1 (en) 2012-03-06 2012-03-06 Gesture control techniques for use with displayed virtual keyboards
US13/413,061 2012-03-06

Publications (1)

Publication Number Publication Date
CN103309441A true CN103309441A (zh) 2013-09-18

Family

ID=49115211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100664332A Pending CN103309441A (zh) 2012-03-06 2013-03-04 与显示的虚拟键盘一起使用的手势控制技术

Country Status (2)

Country Link
US (1) US20130239041A1 (zh)
CN (1) CN103309441A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108700940A (zh) * 2016-05-10 2018-10-23 谷歌有限责任公司 体量虚拟现实键盘方法、用户接口和交互

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410500B2 (en) 2010-09-23 2019-09-10 Stryker Corporation Person support apparatuses with virtual control panels
US9690465B2 (en) * 2012-06-01 2017-06-27 Microsoft Technology Licensing, Llc Control of remote applications using companion device
CN105867599A (zh) * 2015-08-17 2016-08-17 乐视致新电子科技（天津）有限公司 一种手势操控方法及装置
US10146321B1 (en) * 2015-12-10 2018-12-04 Massachusetts Mutual Life Insurance Company Systems for integrating gesture-sensing controller and virtual keyboard technology
CN105872674A (zh) * 2015-12-18 2016-08-17 乐视致新电子科技（天津）有限公司 用于显示遥控器的操作轨迹的方法、遥控器和显示终端
US10614595B2 (en) 2016-04-20 2020-04-07 Google Llc Assigning textures to graphical keyboards based on thematic textures of applications
US11402917B2 (en) * 2018-06-20 2022-08-02 Sony Interactive Entertainment Inc. Gesture-based user interface for AR and VR with gaze trigger
AU2021279100B2 (en) * 2020-05-29 2022-09-08 Marthinus Van Der Merwe A contactless touchscreen interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080270896A1 (en) * 2007-04-27 2008-10-30 Per Ola Kristensson System and method for preview and selection of words
US20100199226A1 (en) * 2009-01-30 2010-08-05 Nokia Corporation Method and Apparatus for Determining Input Information from a Continuous Stroke Input
US20100259561A1 (en) * 2009-04-10 2010-10-14 Qualcomm Incorporated Virtual keypad generator with learning capabilities
CN101964141A (zh) * 2009-06-02 2011-02-02 义隆电子股份有限公司 多功能触控板遥控器及其操控方法
CA2768893A1 (en) * 2009-08-12 2011-02-17 Shimane Prefectural Government Image recognition apparatus, operation determining method and program

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020072367A (ko) * 2001-03-09 2002-09-14 삼성전자 주식회사 바이오 피드백을 이용한 정보 입력 시스템 및 정보 입력방법
US20100103103A1 (en) * 2008-08-22 2010-04-29 Palanker Daniel V Method And Device for Input Of Information Using Visible Touch Sensors
US20100194694A1 (en) * 2009-01-30 2010-08-05 Nokia Corporation Method and Apparatus for Continuous Stroke Input
KR20110109551A (ko) * 2010-03-31 2011-10-06 삼성전자주식회사 터치스크린 장치 및 터치스크린 장치의 입력 처리 방법
JP2012032872A (ja) * 2010-07-28 2012-02-16 Funai Electric Co Ltd 文字入力装置
US9395907B2 (en) * 2010-08-20 2016-07-19 Nokia Technologies Oy Method and apparatus for adapting a content package comprising a first content segment from a first content source to display a second content segment from a second content source
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US9588680B2 (en) * 2011-11-09 2017-03-07 Blackberry Limited Touch-sensitive display method and apparatus
US9423877B2 (en) * 2012-02-24 2016-08-23 Amazon Technologies, Inc. Navigation approaches for multi-dimensional input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080270896A1 (en) * 2007-04-27 2008-10-30 Per Ola Kristensson System and method for preview and selection of words
US20100199226A1 (en) * 2009-01-30 2010-08-05 Nokia Corporation Method and Apparatus for Determining Input Information from a Continuous Stroke Input
US20100259561A1 (en) * 2009-04-10 2010-10-14 Qualcomm Incorporated Virtual keypad generator with learning capabilities
CN101964141A (zh) * 2009-06-02 2011-02-02 义隆电子股份有限公司 多功能触控板遥控器及其操控方法
CA2768893A1 (en) * 2009-08-12 2011-02-17 Shimane Prefectural Government Image recognition apparatus, operation determining method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108700940A (zh) * 2016-05-10 2018-10-23 谷歌有限责任公司 体量虚拟现实键盘方法、用户接口和交互

Also Published As

Publication number Publication date
US20130239041A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
CN103309441A (zh) 与显示的虚拟键盘一起使用的手势控制技术
CN104199552B (zh) 多屏显示方法、设备及***
CN105339872B (zh) 电子设备和识别电子设备中的输入的方法
US7760190B2 (en) Remote controller with touchpad for receiving handwritten input functions
US8762869B2 (en) Reduced complexity user interface
CN103646570B (zh) 量身定做的操作***学习体验
US9811303B2 (en) Display apparatus, multi display system including the same, and control method thereof
US9721365B2 (en) Low latency modification of display frames
CN101916159A (zh) 一种利用遥控器的虚拟输入***
US20180232059A1 (en) Chinese character entry via a pinyin input method
US9426606B2 (en) Electronic apparatus and method of pairing in electronic apparatus
US9182908B2 (en) Method and electronic device for processing handwritten object
KR20150087665A (ko) 핸드라이팅 정보 운용 방법 및 이를 지원하는 전자 장치
CN103677628A (zh) 图像处理设备及其控制方法
US20130311689A1 (en) Tablet computer screen & mobile phone screen to digital i/o converter
US20140191992A1 (en) Touch input method, electronic device, system, and readable recording medium by using virtual keys
CN105829998B (zh) 将装置绑定到计算设备
CN110012327B (zh) 电子设备、电子设备的控制方法和计算机可读记录介质
CN103902526A (zh) 以不同屏幕参数和取向操作的显示器中显示子部件的方法
US20160124603A1 (en) Electronic Device Including Tactile Sensor, Operating Method Thereof, and System
US20140331186A1 (en) Display apparatus and controlling method thereof
KR102008692B1 (ko) 전자 기기 및 전자 기기의 오브젝트 포인팅 방법
CN103034352B (zh) 触控式感应装置及运用触控式感应装置的电子***
Lee et al. Video event control system by recognition of depth touch
US20230401757A1 (en) Target object localization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130918