CN104272224A - 用于识别来自虚拟键盘的键输入的方法及装置 - Google Patents

用于识别来自虚拟键盘的键输入的方法及装置 Download PDF

Info

Publication number
CN104272224A
CN104272224A CN201380019732.9A CN201380019732A CN104272224A CN 104272224 A CN104272224 A CN 104272224A CN 201380019732 A CN201380019732 A CN 201380019732A CN 104272224 A CN104272224 A CN 104272224A
Authority
CN
China
Prior art keywords
key
user instrument
user
moment
tracks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380019732.9A
Other languages
English (en)
Inventor
金颖焕
赵诚仁
刘烔坤
金湘勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy Industry Foundation of POSTECH
Original Assignee
Academy Industry Foundation of POSTECH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy Industry Foundation of POSTECH filed Critical Academy Industry Foundation of POSTECH
Publication of CN104272224A publication Critical patent/CN104272224A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种用于识别来自根据本发明的实施例的虚拟键盘的键输入的方法和装置。用于识别来自根据本发明的实施例的虚拟键盘的键输入的方法为使用至少一个相机，例如两个相机或者一个3D相机，用于识别来自虚拟键盘的键输入的方法，并包括以下步骤：当使用相机，用于在虚拟键盘上的键输入的用户工具的动作被检测时，跟踪用户工具；以及持续跟踪，直至用户工具的位置的垂直坐标小于或者等于预定的垂直阈值；以及确认在用户工具的最终跟踪的水平位置上键输入已被执行。

Description

用于识别来自虚拟键盘的键输入的方法及装置
技术领域
本申请涉及用于在虚拟键盘上识别键输入的方法及装置，更加特别地，涉及用于在不同类型的虚拟键盘上识别键输入的方法。
背景技术
传统的物理键盘笨重且难以清洁，因此，通过在平面上投射键盘而获得的虚拟键盘成为替代方案。然而，由于它们不易操作，用户难以适应此类投射的虚拟键盘，并且由于类型和形状受限，用户需要适应键盘的形状。此外，为了形成虚拟键盘，这些键盘需要昂贵的硬件资源以及用于识别用户键盘输入的红外接收机。
此外，在将虚拟键盘应用至平板电脑、智能手机等的情形下，存在的问题在于：虚拟键盘覆盖了接近半个屏幕。此外，当2字节字符、特殊字符、数字等需要被交替输入时，虚拟键盘上的键也在屏幕上交替显示，因此，键输入不方便成为问题。
发明内容
技术问题
本发明旨在提供一种识别键输入的方法，其为用户提供便利并可应用于各种类型的虚拟键盘。
本发明旨在提供一种识别键输入的装置，其为用户提供便利并可应用于各种类型的虚拟键盘。
技术方案
本发明一方面提供了一种在使用至少一个相机的虚拟键盘上识别键输入的方法，包括：跟踪步骤，当用于使用至少一个相机的虚拟键盘上的键输入的用户工具的操作被检测时，跟踪用户工具直至用户工具的垂直坐标上的位置小于或者等于预定的垂直阈值；以及确定步骤，确定最终跟踪的用户工具的水平位置上的键为输入。
在此，跟踪步骤之前，识别键输入的方法可进一步包括：根据使用相机的预定的样式识别方法，识别根据在虚拟键盘上的每个键的样式的位置。
同样地，在跟踪步骤之前，识别键输入的方法可进一步包括：测量步骤，测量在垂直坐标上的最低位置，所述垂直坐标识别用于在虚拟键盘上键输入的用户工具与虚拟键盘的平面接触，从而确定测量的最低位置作为垂直阈值。
同样地，当用户工具为用户的手时，测量步骤包括测量在虚拟键盘上打字的用户的指尖的垂直坐标，从而确定最低位置作为垂直阈值。
同样地，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与当用户工具被最终跟踪的时刻相同时，确定步骤可包括确定在水平位置上的键为输入。
同样地，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与当用户工具被最终跟踪的时刻之间的差值不超过预定的允许误差时，确定步骤可包括确定在最终跟踪用户工具的水平位置上的键为输入。
同样地，当至少一个预定的另一信号产生的时刻与当用户工具被最终跟踪的时刻之间的差值不超过预定的允许误差时，识别键输入的方法可进一步包括：根据至少一个预定的另一信号被检测的时刻，修正垂直阈值。
同样地，当用户工具的水平位置上的键为输入被确定时，识别键输入的方法可进一步包括：产生用于确认键输入的信号。
同样地，用于确认键输入的信号可包括震动、声音以及发光中的至少一个。
本发明的另一方面提供了一种用于在使用至少一个相机的虚拟键盘上识别键输入的装置，包括：至少一个相机；用户工具跟踪单元，当用于在使用至少一个相机的虚拟键盘上的键输入的用户工具的操作被检测时，其跟踪用户工具直至用户工具的垂直坐标上的位置小于或者等于预定的垂直阈值；以及键值识别单元，其确定在用户工具跟踪单元中最终跟踪的用户工具的水平位置上的键为输入。
在此，用于识别键输入的装置可进一步包括：样式识别单元，其识别根据在使用预定的样式识别方法的虚拟键盘上的每个键样式的位置。
同样地，用于识别键输入的装置可进一步包括：阈值初始化单元，其确定垂直坐标上的最低位置作为垂直阈值，所述垂直坐标识别用于在虚拟键盘上的键输入的用户工具与虚拟键盘的平面接触。
同样地，当用户工具为用户的手时，阈值初始化单元可测量在虚拟键盘上打字的用户指尖的垂直坐标，从而确定最低位置作为垂直阈值。
同样地，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻相同时，键值识别单元可确定水平位置上的键为输入。
同样地，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻的差值不超过预定的允许误差时，键值识别单元可确定最终跟踪的用户工具的水平位置上的键为输入。
同样地，至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻之间的差值不超过预定的允许误差时，键值识别单元根据至少一个预定的另一信号被检测的时刻，修正垂直阈值。
同样地，当确定用户工具的水平位置上的键为输入时，键值识别单元产生用于确认键输入的信号。
同样地，用于确认键输入的信号可包括震动、声音以及发光中的至少一个。
有益效果
根据用于在根据本发明的虚拟键盘上识别键输入方法和装置，显示在各种虚拟键盘上的键的样式可使用相机而被识别，以及敲击键的用户的移动可被跟踪，以识别输入键值，从而可识别用户的键输入而与键盘的类型以及形状无关。特别地，当用于在根据本发明的虚拟键盘上识别键输入的方法和装置被应用至平板电脑或者智能手机时，可使用单独的虚拟键盘，从而诸如被传统电脑或者智能手机的屏幕上显示的虚拟键盘所隐藏的屏幕，或者当输入不同类型的两字节编码键时，交替显示在屏幕上的不同类型的两字节编码键所带来的不便被克服。此外，由于诸如3D摄影的平板电脑等的附加功能，当至少两个相机或者一个三维(3D)相机已经被附加时，不需要额外的硬件资源。
附图说明
图1为说明在根据本发明的实施例的虚拟键盘上识别键输入的过程的流程图；
图2为说明在根据本发明的实施例的虚拟键盘上识别键的实施例的概念图；
图3为说明按照根据本发明的实施例的键输入和用户信号的检测时间差处理过程的概念图；和
图4为说明用于在根据本发明的实施例的虚拟键盘上识别键输入的装置的配置的框图。
具体实施例
本发明的实施例在此公开。然而，此处公开的特殊结构性和功能性细节仅旨在描述本发明的实施例，本发明的实施例可有多种替换形式并且不应解释为局限于此处陈述的本发明的实施例。
相应地，尽管本发明易受到各种变形和替换形式的影响，其特殊实施例以附图中例举的方式给出并作详细描述。应当理解的是，此处并不意欲将本发明限制于所公开的特殊形式，相反地，本发明涵盖了不超出本发明的精神和范围内的所有变型、等同物以及替代物。附图中相同的附图标记对应同样的部件。
应当理解的是，尽管在此描述各个部件时使用第一、第二等术语，这些部件并不受到这些术语的限制。此类术语仅用于将一个部件从另一部件区分开来。例如，在不脱离本发明的范围的情形下，第一部件可以叫做第二部件，同样地，第二部件可以叫做第一部件。此处所用的术语“和/或”包括一个以上相关列出的术语中的任何以及所有组合。
应当理解的是，当一个部件被提及“连接”或者“耦合”到另一部件时，其可以直接连接或者耦合到另一部件或者出现中间部件。相比之下，当一个部件被提及“直接连接”或者“直接耦合”至另一部件时，则不存在中间部件。用于描述部件之间关系的其它词应以同样的方式解释(即，“位于…之间”与“直接位于…之间”相对，“相邻”与“直接相邻”相对，等等)。
此处使用的术语仅旨在描述特殊实施例，并不意欲限制本发明。除非上下文明确给出相反指示，在此所用的单数形式“一个”、“一种”以及“所述”同样包括了复数形式。应当进一步理解的是，当此处使用术语“包含”、“由…组成”、“由…构成”和/或“包括”指定了阐明的特征、整体、步骤、操作、元件和/或部件，但是并不排除一个以上的其它特征、整体、步骤、操作、元件、部件和/或其组合的出现或者增加。
除非另作定义，在此使用的所有术语(包括技术术语和科学术语)具有本发明所属领域的普通技术人员通常所理解的含义。应当进一步理解的是，除非在此特意地定义，诸如在公共使用的字典中所定义的术语应被解释为具有与相关领域上下文中它们的含义相一致的含义，并且不应作理想化或者过分正式理解。
在下文中，本发明的优选实施例将参照附图给出详细描述。为了便于对本发明的彻底理解，附图中相同的附图标记对应同样的部件，并且同样部件的重复描述将会被省略。
图1为说明在根据本发明的实施例的虚拟键盘上识别键输入的过程的流程图。
参照图1，在根据本发明的实施例的虚拟键盘上识别键输入的过程包括键样式识别操作S110，阈值初始化操作S120，键输入工具移动跟踪操作S130，键输入样式比较操作S140，用户信号检测操作S150，阈值校正操作S160，键输入确认操作S170，以及确认信号声音输出操作S180。
此外，参照图1，可以使用至少一个相机，执行在根据本发明的实施例的虚拟键盘上识别键输入的过程，以下将会对每个操作进行描述。
键样式识别操作S110可以是在其中基于虚拟键盘上每个键的样式的位置根据预定的样式识别方法被识别的操作，所述预定的样式识别方法使用至少一个相机。以下，将结合附图对虚拟键盘上的键样式识别方法进行描述。在此情形下，两个相机或者一个三维(3D)相机作为相机被使用。
图2为说明在根据本发明的实施例的虚拟键盘上识别键的实施例的概念图。
参照图2，根据本发明的虚拟键盘200中各个键的位置通过使用相机的识别字符(″″，″″，″″等)样式的方法而被确定。例如，当根据样式识别方法搜索″″时，在搜索″″210之后，周围闭合区域被作为″″的区域。
同时，使用图像跟踪方法，在根据本发明的虚拟键盘上的键输入被识别，因此，通过如在传统投射键盘中同样的方式使用激光，投射键盘被创建，键盘可由使用的用户直接画出，或者使用传统的物理键盘。此外，由于没有物理边界，因此，键的尺寸和位置可随意改变。例如，″Esc″键可比传统的键更大或者在两边均配置″Enter″键。因此，尽管通过如在现有投射键盘中同样的方式使用激光而创建键盘，创建键盘的激光设备以及识别激光设备的相机设备的位置可被彼此独立地确定，其有利于设计。
此外，特殊键的范围可根据用户输入样式而改变。当手放在平面上而不欲执行键输入时，除了用户的全局习惯之外，特殊用户相关的数据被累计并被识别，从而便利用户。
阈值初始化操作S120可以是测量垂直坐标的最低位置以及确定测量到的最低位置作为垂直阈值的操作，在所述垂直坐标中，用于在虚拟键盘上键输入的用户工具与虚拟键盘的平面接触被识别。例如，当用户工具为用户的手并且虚拟键盘上的键被触摸时，通过相机识别的手指的垂直坐标可根据用户手指的厚度等而不同。
因此，当用户的指尖位于最低位置同时用户最初敲击任意键数次时，来自虚拟键盘的垂直坐标上的最低点可被设置为垂直阈值。接下来，当指尖位于比设置的垂直阈值更低的位置时，在相应位置的键上执行的输入被确定。在此情况下，为了使用相机识别输入，指尖的位置应首先被确定，已开发的基于手的颜色的现有的位置搜索方法，通过用户在预定区域中定位手的现有方法等可被使用。
在键输入工具移动跟踪操作S130中，当用于在虚拟键盘上的键输入的用户工具的操作通过使用相机而被检测时，用户工具可被跟踪。在此情形下，用户工具可被跟踪直至在垂直坐标上的用户工具的位置小于或者等于预定的垂直阈值，例如，在阈值初始化操作S120中设置的垂直阈值。
键输入样式比较操作S140可以是包括通过分析用户的打字***面上而不欲执行键输入的情形。
例如，用户在备用状态下可选取舒适的位置而不执行打字操作，则存在在其中不再执行打字操作的情形。作为最简单的示例，存在识别在其中除拇指外的八根手指同时触摸作为备用状态的情形的方法，以及存在创建用于进入备用状态的键等的方法，等等。
用户信号检测操作S150可以是至少一个预定的其它信号与用于键输入的用户工具操作一起被检测的操作，即按照选择由用户引起的用户信号。在此情形下，用户信号被检测到的时刻与用户工具被最终跟踪的时刻之间的差值进行比较并且比较的差值不超过预定的允许误差时，在操作S160中垂直阈值可根据用户信号被检测的时刻进行修正。
也就是说，为了增加与在虚拟键盘上输入键的用户工具(例如，用户的手)相关的跟踪图像识别的精确度，来自用户的诸如声音以及震动的信号被检测，为了同步基于图像识别结果以及用户信号的检测结果的时间差，修正垂直阈值的方法可被采用。
图3为说明依照根据本发明的实施例的用户信号的检测时间差以及键输入的处理过程的概念图。
参照图3，作为跟踪图像信号310和用户信号320的三个不同信号输入被示出。在第一种情形中，由于图像信号311和用户信号321之间显著的检测时间差，键不被确定为输入。在第二情形中，由于图像信号313和用户信号323之间的检测时间差为允许的差值，键被确定为输入。此外，在此情形下，为了调整在操作S150中信号间的到达时间差，阈值可根据用户信号检测时间被修正。在第三种情形下，由于图像信号315和用户信号325之间不存在差值，键被确定为输入。此外，在此情形下，不需执行阈值的修正。
键输入确认操作S170可以是确定最终跟踪的用户工具的水平位置上的键为输入的操作。即，在其中最终跟踪的用户工具的垂直坐标上的位置小于预定的垂直阈值的位置的水平坐标上的位置可被推导出，以及与推导出的位置相对应的键值为输入被确定。在此情形下，参考按照在键样式识别操作S110中识别的样式的键的位置，与推导出的位置相对应的键值可被确定。
可替换地，当在用户信号检测操作S150中允许的用户信号被检测时，用户信号被检测的时刻以及用户工具被最终跟踪的时刻之间的差值被比较以及比较的差值不超过预定的允许误差时，相应的水平坐标上位置的键值为输入可被确定。
确认信号声音输出操作S180可以是当用户工具的水平位置上的键被确定为在键输入确认操作S170中输入时，产生用于确认键的输入的信号的操作。即，诸如震动、发光、信号声音等的反馈信号被给出，从而用户可确认键被正常输入。此类反馈信号可再现用户在传统键盘上敲打键时用户的感受。
图4为说明用于在根据本发明的实施例的虚拟键盘上识别键输入的装置的配置的框图。
参照图4，用于在根据本发明的实施例的虚拟键盘30上识别键输入的装置10可包括相机410、样式识别单元420、阈值初始化单元430以及键值识别单元440。
此外，参照图4，用于在根据本发明的实施例的虚拟键盘上识别键输入的装置10的每个部件以及部件之间的连接关系在下面将会给出详细介绍。
相机410通过识别在虚拟键盘30上的键样式可被用于确定每个键的位置，以及通过跟踪用户的键输入操作可被用于识别键输入的位置。在此情形下，对于相机410，可使用双相机以识别用户输入。
样式识别单元420可识别根据使用至少一个相机410(例如，两个相机或者一个3D相机)的预定的样式识别方法的虚拟键盘30上的每个键的样式的位置。
阈值初始化单元可测量垂直坐标中的最低位置，从而确定测量的最低位置为垂直阈值，所述垂直坐标识别用于在虚拟键盘30上的键输入的用户工具与虚拟键盘的平面接触。
当用于在虚拟键盘30上的键输入的用户工具的操作通过使用相机410被检测时，键值识别单元440可跟踪用户工具。在此情形下，键值识别单元440可跟踪用户工具，直至用户工具的垂直坐标上的位置小于或者等于预定的垂直阈值。
此外，键值识别单元440可检测至少一个预定的另一信号，即，与用于根据选择的键输入的用户工具的操作一起的由用户引起的用户信号。在此情形下，用户信号被检测的时刻与用户工具被最终跟踪的时刻之间的差值被比较，以及用户信号被检测的时刻以及用户工具被最终跟踪的时刻相同时，最终跟踪的用户工具的水平位置上的键为输入被确定。也就是说，当用户敲击在其中显示“1”的位置时，通过将相应的位置值与预先识别的样式相关联，“1”作为输入可被确定，并执行相应的处理。
然而，当差值超出预定的允许误差范围时，键不是输入被确定，同时忽略相应的操作，以及当差值不超过允许的误差范围时，根据用户信号被检测的时刻，垂直阈值被修正，相应水平位置的键为输入被确定。
在此情形下，可使用用于检测用户信号的传感器，以及为了将模拟信号转换以及测量为数字信号，可使用ADC。此外，为了测量图像信号以及用户信号之间的差值，使用在时间轴上的两个信号的最高点之间的差值的方法，测量在其中通过执行定期采样产生两个信号的间隔的方法，使用相位测量工具的方法可被采用。
此外，当用户工具水平位置上的键为输入被确定时，键值识别单元440可产生用于确认键输入的信号。即，诸如震动、发光、信号声音等的反馈信号可被给出，从而用户可确定键被正常输入。
在说明书中，本发明的实施例被分为第一、第二以及第三实施例，以方便描述。然而，一个实施例各自的步骤或者功能可与其它实施例的步骤或者功能相结合，以执行仍属于本发明的另一实施例。
尽管本发明参照其特定的实施例公开并描述，本领域技术人员应当理解，在不脱离通过权利要求书所定义的本发明的精神和范围的情形下，可以做出各种形式和细节上的变化。

Claims (18)

1.一种在使用至少一个相机的虚拟键盘上识别键输入的方法，包括：
跟踪步骤，当用于使用至少一个相机的虚拟键盘上的键输入的用户工具的操作被检测时，跟踪用户工具直至用户工具的垂直坐标上的位置小于或者等于预定的垂直阈值；以及
确定步骤，确定最终跟踪的用户工具的水平位置上的键为输入。
2.根据权利要求1所述的方法，在跟踪步骤之前，进一步包括：
识别步骤，根据使用相机的预定的样式识别方法，识别基于在虚拟键盘上每个键的样式的位置。
3.根据权利要求1所述的方法，在跟踪步骤之前，进一步包括：
测量步骤，测量在垂直坐标上的最低位置，所述垂直坐标识别用于在虚拟键盘的键输入的用户工具与虚拟键盘的平面接触，从而确定测量的最低位置作为垂直阈值。
4.根据权利要求3所述的方法，其中，当用户工具为用户的手时，测量步骤包括测量在虚拟键盘上打字的用户的指尖的垂直坐标，从而确定最低位置作为垂直阈值。
5.根据权利要求1所述的方法，其中，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻相同时，确定步骤包括确定在水平位置上的键为输入。
6.根据权利要求1所述的方法，其中，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻之间的差值不超过预定的允许误差时，确定步骤包括确定在最终跟踪的用户工具的水平位置上的键为输入。
7.根据权利要求6所述的方法，至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻之间的差值不超过预定的允许误差时，进一步包括：
修正步骤，根据至少一个预定的另一信号被检测的时刻，修正垂直阈值。
8.根据权利要求1所述的方法，当用户工具的水平位置上的键为输入被确定时，进一步包括：
信号产生步骤，产生用于确认键输入的信号。
9.根据权利要求8所述的方法，其中，用于确认键输入的信号包括震动、声音以及发光中的至少一个。
10.一种用于在使用至少一个相机的虚拟键盘上识别键输入的装置，包括：
所述至少一个相机；
用户工具跟踪单元，当用于在使用至少一个相机的虚拟键盘上的键输入的用户工具的操作被检测时，其跟踪用户工具直至用户工具的垂直坐标上的位置小于或者等于预定的垂直阈值；以及
键值识别单元，其确定在用户工具跟踪单元中最终跟踪的用户工具的水平位置上的键为输入。
11.根据权利要求10所述的装置，进一步包括：
样式识别单元，其识别基于在使用预定的样式识别方法的虚拟键盘上每个键的样式的位置。
12.根据权利要求10所述的装置，进一步包括：
阈值初始化单元，其确定垂直坐标上的最低位置作为垂直阈值，所述垂直坐标识别用于在虚拟键盘上的键输入的用户工具与虚拟键盘的平面接触。
13.根据权利要求12所述的装置，其中，当用户工具为用户的手时，阈值初始化单元测量在虚拟键盘上打字的用户指尖的垂直坐标，从而确定最低位置作为垂直阈值。
14.根据权利要求10所述的装置，其中，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻相同时，键值识别单元确定水平位置上的键为输入。
15.根据权利要求10所述的装置，其中，当至少一个预定的另一信号与用于键输入的用户工具的操作一起被检测，以及至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻之间的差值不超过预定的允许误差时，键值识别单元确定最终跟踪的用户工具的水平位置上的键为输入。
16.根据权利要求15所述的装置，其中，当至少一个预定的另一信号产生的时刻与用户工具被最终跟踪的时刻之间的差值不超过预定的允许误差时，键值识别单元根据至少一个预定的另一信号被检测的时刻修正垂直阈值。
17.根据权利要求10所述的装置，其中，当确定用户工具的水平位置上的键为输入时，键值识别单元产生用于确认键输入的信号。
18.根据权利要求17所述的装置，其中，用于确认键输入的信号包括震动、声音以及发光中的至少一个。
CN201380019732.9A 2012-04-13 2013-03-05 用于识别来自虚拟键盘的键输入的方法及装置 Pending CN104272224A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2012-0038351 2012-04-13
KR1020120038351A KR20130115750A (ko) 2012-04-13 2012-04-13 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치
PCT/KR2013/001762 WO2013154268A1 (ko) 2012-04-13 2013-03-05 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN104272224A true CN104272224A (zh) 2015-01-07

Family

ID=49327801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380019732.9A Pending CN104272224A (zh) 2012-04-13 2013-03-05 用于识别来自虚拟键盘的键输入的方法及装置

Country Status (5)

Country Link
US (1) US9766714B2 (zh)
JP (1) JP5965540B2 (zh)
KR (1) KR20130115750A (zh)
CN (1) CN104272224A (zh)
WO (1) WO2013154268A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452191B1 (ko) * 2014-03-28 2014-10-22 주식회사 한글과컴퓨터 터치스크린 장치 및 상기 터치스크린 장치의 가상 키보드 터치 인식 영역 조정 방법
US10402089B2 (en) * 2015-07-27 2019-09-03 Jordan A. Berger Universal keyboard
US10282090B2 (en) * 2015-09-30 2019-05-07 Apple Inc. Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones
KR101719454B1 (ko) * 2016-05-26 2017-03-23 한국과학기술원 키보드 타이핑 모션 생성 방법 및 장치
CN114356140B (zh) * 2021-12-31 2024-02-13 上海永亚智能科技有限公司 一种红外感应悬浮按键的按键动作识别方法
US20230343005A1 (en) * 2022-04-22 2023-10-26 Zebra Technologies Corporation Methods and Systems for Automated Structured Keyboard Layout Generation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288156A (ja) * 2002-03-28 2003-10-10 Minolta Co Ltd 入力装置
JP2007072637A (ja) * 2005-09-06 2007-03-22 Hitachi Ltd 弾力性素材を用いた入力装置
KR20090100934A (ko) * 2008-03-21 2009-09-24 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
JP2010067062A (ja) * 2008-09-11 2010-03-25 Ntt Docomo Inc 入力システム及び入力方法
TW201025078A (en) * 2008-12-26 2010-07-01 Inventec Appliances Corp Virtual keyboard of an electronic device and a data inputting method therefor
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
CN102385459A (zh) * 2010-08-31 2012-03-21 卡西欧计算机株式会社 信息处理装置及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
AU2002243265A1 (en) * 2000-11-19 2002-06-24 Canesta, Inc. Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions
US8866745B1 (en) * 2002-03-11 2014-10-21 Brad Schrick System and method for providing a touch input interface for information computing and control devices
US20070159453A1 (en) * 2004-01-15 2007-07-12 Mikio Inoue Mobile communication terminal
US20070115261A1 (en) * 2005-11-23 2007-05-24 Stereo Display, Inc. Virtual Keyboard input system using three-dimensional motion detection by variable focal length lens
US20100302165A1 (en) * 2009-05-26 2010-12-02 Zienon, Llc Enabling data entry based on differentiated input objects
US20060244720A1 (en) * 2005-04-29 2006-11-02 Tracy James L Collapsible projection assembly
KR20070009207A (ko) * 2005-07-15 2007-01-18 엘지전자 주식회사 가상 키보드 입력 장치를 갖는 이동통신 단말기 및 이를이용한 입력 방법
US20070035521A1 (en) * 2005-08-10 2007-02-15 Ping-Chang Jui Open virtual input and display device and method thereof
KR101079598B1 (ko) * 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2009099280A2 (en) * 2008-02-05 2009-08-13 Lg Electronics Inc. Input unit and control method thereof
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288156A (ja) * 2002-03-28 2003-10-10 Minolta Co Ltd 入力装置
JP2007072637A (ja) * 2005-09-06 2007-03-22 Hitachi Ltd 弾力性素材を用いた入力装置
KR20090100934A (ko) * 2008-03-21 2009-09-24 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
JP2010067062A (ja) * 2008-09-11 2010-03-25 Ntt Docomo Inc 入力システム及び入力方法
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
TW201025078A (en) * 2008-12-26 2010-07-01 Inventec Appliances Corp Virtual keyboard of an electronic device and a data inputting method therefor
CN102385459A (zh) * 2010-08-31 2012-03-21 卡西欧计算机株式会社 信息处理装置及方法

Also Published As

Publication number Publication date
KR20130115750A (ko) 2013-10-22
US20150084869A1 (en) 2015-03-26
US9766714B2 (en) 2017-09-19
JP2015513163A (ja) 2015-04-30
WO2013154268A1 (ko) 2013-10-17
JP5965540B2 (ja) 2016-08-10

Similar Documents

Publication Publication Date Title
CN104272224A (zh) 用于识别来自虚拟键盘的键输入的方法及装置
EP3046002B1 (en) Virtual input device and method for receiving user input using the same
JP5788588B2 (ja) 仮想キーボードおよびその提供方法
CN103677644B (zh) 一种智能移动终端的解锁方法及***
KR101411569B1 (ko) 가상 키보드를 이용한 정보 처리 장치 및 방법
KR20150010702A (ko) 제스처 인식 디바이스들 및 방법들
KR20100138602A (ko) 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법
KR100777107B1 (ko) 가속도 센서를 이용한 문자인식 장치 및 방법
EP2725458B1 (en) Information processing device, input control method, and input control program
KR20150104619A (ko) 원형의 접촉 감지 키보드를 위한 타이핑 방법 및 타이핑 디바이스
KR20140016987A (ko) 가상 필기 입력을 위한 방법 및 전자 장치
US9348465B2 (en) Input method, input device, and storage medium
WO2018092368A1 (ja) 検出装置、情報処理装置および情報処理方法
CN103513775A (zh) 键盘装置以及按键状态的检测方法
Ding et al. Handwriting recognition system leveraging vibration signal on smartphones
KR101392981B1 (ko) 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치
Habibi Detecting surface interactions via a wearable microphone to improve augmented reality text entry
KR101299695B1 (ko) 시차 맵을 사용한 포인팅 장치 및 제스쳐 인식 방법
US8433131B2 (en) Method for recognizing three-dimensional control point and computer readable medium using the same thereof
TW202340927A (zh) 頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體
KR20140108788A (ko) 단일 마이크로폰을 이용한 접촉식 인터페이스 장치
CN104035628B (zh) 虚拟触控装置
Sakata et al. Fingertips 3D mouse using a camera
CN103885641A (zh) 信息处理的方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20180525