CN110209337A - 用于基于手势的用户界面的方法和设备 - Google Patents

用于基于手势的用户界面的方法和设备 Download PDF

Info

Publication number
CN110209337A
CN110209337A CN201910491038.6A CN201910491038A CN110209337A CN 110209337 A CN110209337 A CN 110209337A CN 201910491038 A CN201910491038 A CN 201910491038A CN 110209337 A CN110209337 A CN 110209337A
Authority
CN
China
Prior art keywords
gesture
area
region
tracked
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910491038.6A
Other languages
English (en)
Other versions
CN110209337B (zh
Inventor
申昌雨
柳贤锡
禹周延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110209337A publication Critical patent/CN110209337A/zh
Application granted granted Critical
Publication of CN110209337B publication Critical patent/CN110209337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种用于基于手势的用户界面的方法和设备。所述方法包括：基于要跟踪的至少一个对象的检测位置或预设位置来设置包括至少一个基本区域和至少一个导航区域的至少一个手势区域，其中，所述至少一个导航区域包括至少一个项目；使用输入装置来检测要跟踪的至少一个对象的手势；以及从检测到的手势识别用于选择在所述至少一个导航区域的所述至少一个项目当中的任何一个项目的选择手势和用于从所述至少一个导航区域移动到所述至少一个基本区域的确认手势中的至少一个。

Description

用于基于手势的用户界面的方法和设备
本申请是申请日为2014年05月23日，申请号为“201410221687.1”，标题为“用于基于手势的用户界面的方法和设备”的发明专利申请的分案申请。
本申请要求于2013年5月23日在韩国知识产权局提交的第10-2013-0058491号韩国专利申请的权益，该韩国专利申请的全部公开内容出于所有的目的而通过引用合并于此。
技术领域
本申请涉及用于基于手势的用户界面的方法和设备。
背景技术
随着计算机辅助的图像处理技术和图像识别技术取得了进展，使用这些技术的各种应用领域也已成长。在这些应用领域中，手势识别技术是用于信息发送的一种方法，并且，在该技术的使用中已经有了稳定进步。手势识别技术是使得计算机或机器人能够自主地分析和识别人行为的技术，并且包括触摸手势技术和空间手势技术。触摸手势技术是使得用户能够使用输入装置(例如，触摸屏或其它触摸输入装置)选择项目的技术，并且，随着智能电话的使用增长而正在被越来越多地使用。空间手势技术使用输入装置(例如，相机或其它成像输入装置)来分析要跟踪的对象随着时间的运动变化，并且，在抽象的意义上解释该变化。
发明内容
本“发明内容”被提供用来以简化的形式介绍对下面将在“具体实施方式”中描述的构思的选择。本“发明内容”并不意图确定要求保护的主题的关键特征或实质特征，也不意图用于帮助确定要求保护的主题的范围。
在一个总体方面中，一种用于基于手势的用户界面的方法包括：基于要跟踪的至少一个对象的检测位置或预设位置来设置包括至少一个基本区域和至少一个导航区域的至少一个手势区域，其中，所述至少一个导航区域包括至少一个项目；使用输入装置来检测要跟踪的至少一个对象的手势；以及从检测到的手势识别用于选择在所述至少一个导航区域的所述至少一个项目当中的任何一个项目的选择手势和用于从所述至少一个导航区域移动到所述至少一个基本区域的确认手势中的至少一个。
设置所述至少一个手势区域的步骤可包括：基于要跟踪的所述至少一个对象的检测位置或预设位置来设置在所述至少一个基本区域和所述至少一个导航区域当中的任何一个区域；以及基于预设规则和设置的所述任何一个区域来设置在所述至少一个基本区域和所述至少一个导航区域当中的剩余区域。
设置所述至少一个手势区域的步骤可包括分层地设置所述至少一个手势区域。
识别选择手势和确认手势中的所述至少一个的步骤可包括：识别用于从所述至少一个基本区域移动到所述至少一个导航区域当中的任何一个导航区域的导航区域选择手势；以及识别用于选择在所述至少一个导航区域的所述至少一个项目当中的任何一个项目的项目选择手势。
识别选择手势和确认手势中的所述至少一个的步骤可包括：响应于选择手势和确认手势中的所述至少一个的识别来重置所述至少一个手势区域；以及基于重置的所述至少一个手势区域从检测到的手势识别选择手势和确认手势中的所述至少一个。
所述方法还可包括：识别在所述至少一个手势区域内或者在除所述至少一个手势区域以外的预设命令区域内的命令手势；确定与识别的命令手势相应的命令模式；以及执行与命令模式相应的功能。
识别选择手势和确认手势中的所述至少一个的步骤可包括：基于要跟踪的所述至少一个对象的位置和要跟踪的所述至少一个对象从所述至少一个基本区域移动到所述至少一个导航区域的方向中的至少一个、以及要跟踪的至少一个对象的位置和要跟踪的所述至少一个对象从所述至少一个导航区域移动到所述至少一个基本区域的方向中的至少一个，来识别选择手势和确认手势中的至少一个。
识别选择手势和确认手势中的所述至少一个的步骤还可包括：基于以下信息中的至少一个来识别选择手势和确认手势中的所述至少一个：与要跟踪的所述至少一个对象在所述至少一个手势区域内的运动相关联的信息、与要跟踪的所述至少一个对象的移动轨迹相关联的信息、与要跟踪的所述至少一个对象的移动速度相关联的信息、与要跟踪的所述至少一个对象的形状相关联的信息。
识别命令手势的步骤可包括：基于以下信息中的至少一个来识别命令手势：与要跟踪的所述至少一个对象在所述至少一个手势区域内的运动相关联的信息、与要跟踪的所述至少一个对象的移动轨迹相关联的信息、与要跟踪的所述至少一个对象的移动速度相关联的信息、与要跟踪的所述至少一个对象的形状相关联的信息。
识别命令手势的步骤可包括：识别用于取消对选择手势或确认手势的识别的取消手势。
取消手势可包括以下手势中的至少一个：在至少一个预设取消手势当中的任何一个手势、用于移动到除预设区域以外的区域的手势、用于在预设的时间段期间不执行确认手势的手势。
输入装置可包括相机、检测传感器和基于事件的图像处理装置中的至少一个。
基于事件的图像处理装置可包括动态视觉传感器(DVS)。
所述方法还可包括：使用包括显示装置、音频装置、触觉装置、嗅觉装置、味觉装置、电装置和磁装置中的至少一个的输出装置来实时地向用户反馈所述至少一个手势区域。
要跟踪的所述至少一个对象可以是物理对象或虚拟对象。
在另一个总体方面中，一种用于基于触摸手势的用户界面的方法包括：使用触摸屏检测至少一个触摸手势和至少一个滑动手势；基于所述至少一个触摸手势的初始位置或预设位置来设置至少一个手势区域；以及基于所述至少一个触摸手势在所述至少一个手势区域内的位置和所述至少一个滑动手势在所述至少一个手势区域内的方向中的至少一个，来识别输入手势。
识别输入手势的步骤可包括：基于所述至少一个滑动手势的长度和所述至少一个滑动手势的速度中的至少一个来识别输入手势。
在另一个总体方面中，一种用于基于手势的用户界面的方法包括：基于要跟踪的至少一个对象的检测位置或预设位置来设置包括至少一个基本区域和至少一个导航区域的至少一个手势区域，其中，所述至少一个导航区域包括至少一个字符；使用输入装置来检测要跟踪的所述至少一个对象的手势；以及从检测到的手势识别用于选择在所述至少一个导航区域的所述至少一个字符当中的任何一个字符的字符选择手势和用于从所述至少一个导航区域移动到所述至少一个基本区域的字符确认手势中的至少一个。
在另一个总体方面中，一种用于基于手势的用户界面的方法包括：基于离要跟踪的至少一个对象的位置或预设位置的深度来设置手势区域的至少两个区域；识别要跟踪的至少一个对象在手势区域内的手势和位置信息，其中，所述位置信息包括与离要跟踪的所述至少一个对象的位置或预设位置的深度相关联的信息；以及基于要跟踪的所述至少一个对象的手势和位置信息，来识别在与所述至少两个区域相应的多个功能当中的至少一个功能。
与所述至少两个区域相应的多个功能包括“移动”功能、“指向”功能、“选择”功能、“执行”功能和“命令”功能。
设置所述至少两个区域的的步骤可包括：基于要跟踪的至少一个对象的位置来设置至少一个参考平面；以及基于所述至少一个参考平面来设置所述至少两个区域。
设置所述至少两个区域的步骤可包括：基于要跟踪的所述至少一个对象与显示器之间的相对位置，来设置所述至少两个区域。
与所述至少两个区域相应的多个功能包括与要跟踪的所述至少一个对象在所述至少两个区域之间的移动相应的功能。
识别在与所述至少两个区域相应的多个功能当中的所述至少一个功能的步骤可包括：基于要跟踪的所述至少一个对象的移动速度来设置运动模式，其中，所述运动模式是从导航模式和命令模式中选择的；以及识别与运动模式相应的多个功能当中的至少一个功能。
所述方法还可包括：对于多个项目当中的至少一个项目执行识别的所述至少一个功能。
在另一个总体方面中，一种用于基于手势的用户界面的方法包括：设置手势区域和无效区域；忽略无效区域内的任何对象的任何手势；使用输入装置来检测要跟踪的对象在手势区域内的手势；以及从检测到的手势识别用于执行功能的手势。
手势区域可包括多个区域；所述区域中的一个区域可包括多个项目；以及识别手势的步骤可包括：基于检测到的手势来将手势识别为多个手势中的一个手势，其中，所述多个手势包括用于选择所述项目中的一个项目的手势、用于在所述区域中的两个区域之间移动的手势、用于确认所述项目中的一个项目的选择的手势。
根据下面的详细描述、附图和权利要求，其它的特征和方面将是明显的。
附图说明
图1是示出用于基于手势的用户界面的方法的示例的流程图。
图2是示出手势区域的示例的示图。
图3是示出选择手势和确认手势中的至少一个的识别的示例的示图。
图4A和4B是示出命令模式的示例的示图。
图5是示出取消手势的识别的示例的示图。
图6是示出基于要跟踪的对象的移动轨迹来识别选择手势和确认手势的示例的示图。
图7是示出对于手势区域的重置和对于重置的手势区域的反馈的示例的示图。
图8是示出用于基于手势的用户界面的方法的示例的示图。
图9是示出要跟踪的对象的示例的示图。
图10是示出用于基于触摸手势的用户界面的方法的另一示例的示图。
图11A和11B是示出用于基于手势的用户界面的方法的另一示例的示图。
图12是示出用于基于手势的用户界面的方法中的无效区域的示例的示图。
图13是示出用于基于手势的用户界面的方法的另一示例的示图。
图14是示出用于基于手势的用户界面的设备的示例的框图。
具体实施方式
下面的详细描述被提供用来帮助读者获得对本文中描述的方法、设备和/或***的全面的理解。但是，本文中描述的方法、设备和/或***的各种改变、修改和等同物对于本领域的普通技术人员来说将是清楚的。本文中描述的操作顺序仅仅是示例，并不限于本文中阐述的示例，但是，对于本领域的普通技术人员来说清楚的是，除了必须按照某种顺序发生的操作以外，可改变所述操作顺序。此外，为了更加清楚和简明，可省略对于本领域的普通技术人员来说公知的功能和结构的描述。
在所有的附图和详细描述中，相同的参考标号指相同的元件。这些图可能不是按比例的，为了清楚、说明和方便，可夸大这些附图中的元件的相对尺寸、比例和描绘。
在本申请中，“A和B中的至少一个”和“A、B和C中的至少一个”形式的表述将被解释为覆盖所列项目中的任何一个项目和所列项目中的任何两个或更多个的任何组合。
图1是示出用于基于手势的用户界面的方法的示例的流程图。参照图1，在110中，基于要跟踪的至少一个对象的检测位置或预设位置来设置包括至少一个基本区域和至少一个导航区域的至少一个手势区域。要跟踪的对象可以是将被检测位置和运动的对象，并且可以是物理对象或虚拟对象。例如，物理对象可以是物理上存在于现实世界中的对象，例如，人的手、脚和脸部，或者东西。虚拟对象可以是物理上不存在于现实世界中但被显示在显示装置上的对象，并且，具有可由用户控制的虚拟世界中的位置和运动。要跟踪的对象可以是单数或复数。例如，当使用两个手执行手势时，可跟踪两个对象。
手势区域可以是这样的区域：在该区域中检测和识别要跟踪的对象的位置和运动。具体地，手势区域可被设置在空间中或者在平面或线上。手势区域的位置可被设置在预设的位置处，并且，可基于预设规则来被设置。例如，预设规则可包括基于来自用户的位置输入来设置手势区域的位置的方法、基于要跟踪的对象的检测位置来设置手势区域的位置的方法、或者设置手势区域的位置的任何其他方法。手势区域可包括基本区域和导航区域。基本区域可以是作为手势区域的参考区域的区域，并且可以是用于手势识别的开始区域和结束区域。导航区域可以是用于基于手势来导航和选择项目的区域，并且可包括至少一个组和至少一个项目。至少一个基本区域和至少一个导航区域可存在于手势区域内。
更具体地，可基于要跟踪的至少一个对象的检测位置或预设位置来设置至少一个基本区域和至少一个导航区域当中的任何一个区域。例如，当检测到要跟踪的对象的位置时，可将在检测位置周围的区域设置为基本区域。基于设置的任何一个区域，可基于预设规则来设置所述至少一个基本区域和所述至少一个导航区域当中的剩余区域。例如，当基于要跟踪的至少一个对象的检测位置或预设位置来设置导航区域时，剩余区域可成为基本区域，并且，可基于预设规则和设置的导航区域来设置基本区域。此外，当基于要跟踪的至少一个对象的检测位置或预设位置来设置基本区域时，可基于预设规则和设置的基本区域来设置导航区域。
又例如，当设置基本区域的位置时，可相对于基本区域的位置来确定导航区域的位置。此外，可由用户任意地设置导航区域的位置。作为一个特定的示例，在用户摆动手的情况中，可检测手的位置，并且，可将在检测到的手周围的区域设置为基本区域。可将基本区域的邻近区域设置为导航区域。
可分层地设置所述至少一个手势区域。具体地，可基于每一个手势区域的相关性来分层地设置多个手势区域。例如，在设置三个手势区域的情况中，第二手势区域可以是第一手势区域的子菜单，第三手势区域可以是第二手势区域的子菜单，并且，可按照第一手势区域、第二手势区域和第三手势区域的顺序来分层地设置这三个手势区域。当用户选择第一手势区域中的任何一个导航区域时，可通过如稍后将描述的那样重置手势区域来调出(call out)第二手势区域，并且，可通过再次重置手势区域来调出第三手势区域。又例如，可基于空间中的深度来设置分层的手势区域。用户可在按照深度分类的期望的手势区域中执行手势。
所述至少一个手势区域可被反馈给用户。具体地，可使用包括显示装置、音频装置、触觉装置、嗅觉装置、味觉装置、电装置和磁装置中的至少一个的输出装置来实时地向用户反馈手势区域、其配置、以及用于手势检测和识别的处理中的至少一个。触觉装置可包括触感装置(haptic device)和温度装置。例如，在用户伸展手的情况中，在手的位置的周围的区域可被设置为基本区域，并且，可使用显示装置通过视觉向用户提供设置的基本区域来作为视觉反馈。在将基本区域的邻近区域设置为导航区域之后，可使用显示装置通过视觉向用户反馈设置的导航区域。通过参考正被反馈的基本区域和导航区域，用户可通过移动手来从基本区域移动到导航区域。可响应于选择手势和确认手势中的至少一个的识别来重置手势区域，并且，可通过视觉向用户反馈重置的手势区域。因此，用户可在通过显示图像在视觉上被反馈的手势区域或者重置的手势区域中执行手势。又例如，当在导航区域中包括“面条”项目、“比萨”项目和“炸鸡”项目的情况中，用户可使用手势区域来选择“面条”、“比萨”和“炸鸡”当中的任何一个项目。用于基于手势的用户界面的方法可被实现为使用音频装置通过听觉反馈由用户选择的项目。此外，用于基于手势的用户界面的方法可被实现为：使用嗅觉装置来提供由用户选择的项目的气味作为嗅觉反馈，并且，使用味觉装置(例如，电子舌)来提供由用户选择的项目的味道作为味觉反馈。又例如，用于基于手势的用户界面的方法可被实现为：提供关于要跟踪的对象(例如，用户的手)是否位于基本区域或导航区域的触觉反馈。为此，当要跟踪的对象位于基本区域时，用于基于手势的用户界面的方法可被实现为向用户提供弱的振动，并且，当要跟踪的对象位于导航区域时，用于基于手势的用户界面的方法可被实现为向用户提供强的振动。
在120中，可使用输入装置来检测要跟踪的至少一个对象的手势。要跟踪的对象的手势可包括要跟踪的对象的位置和运动中的至少一个。具体地，可检测要跟踪的对象的位置、移动方向、移动轨迹、移动速度和形状。可使用输入装置来检测要跟踪的对象的手势。输入装置可包括相机、检测传感器和基于事件的图像处理装置中的至少一个。更具体地，检测传感器可包括光学传感器、加速计传感器、陀螺仪传感器、接近传感器、深度传感器或者本领域的普通技术人员已知的能够检测要跟踪的对象的手势的任何其他传感器。基于事件的图像处理装置可包括动态视觉传感器(DVS)。例如，当使用DVS检测要跟踪的对象的手势的情况中，可通过在只检测光的变化之后提取要跟踪的对象的运动来快速地检测要跟踪的对象的位置和移动方向。此外，输入装置可包括外部输入装置，例如，操纵杆、鼠标或者本领域的普通技术人员已知的任何其他外部输入装置。
在一个示例中，可不检测在设置的手势区域之外执行的手势，并且，可只检测在手势区域内执行的手势。例如，在将伸展的手臂从用户的当前位置可达到的范围设置为手势区域的情况中，可将在手臂的可及范围内的手势检测为要跟踪的对象的手势。通过此处理，用户的意图可被正确地理解，并且，可防止手势识别的错误。
在130中，可从检测到的手势识别用于选择在至少一个导航区域中包括的至少一个项目当中的任何一个项目的选择手势和用于从至少一个导航区域移动到基本区域的确认手势中的至少一个。项目可以是用户使用手势可控制的实体，并且，可包括字符、词语、图像、视频或者本领域的普通技术人员已知的用户使用手势可控制的任何其他实体。具体地，选择手势可包括用于从至少一个基本区域移动到至少一个导航区域当中的任何一个导航区域的手势和用于选择在任何一个导航区域中包括的至少一个项目当中的任何一个项目的手势。例如，在一个基本区域和四个导航区域被设置为被包括在手势区域中的情况中，可从检测到的手势识别用于选择四个导航区域当中的一个导航区域的手势。在选择的导航区域包括三个项目的情况中，可从检测到的手势识别用于选择三个项目当中的任何一个项目的手势。
在识别用于从所述至少一个基本区域移动到所述至少一个导航区域当中的任何一个导航区域的手势的情况中，可响应于手势的识别来重置所述至少一个手势区域。重置后的手势区域可不同于重置之前的手势区域。例如，重置后的手势区域可具有与重置之前的手势区域不同的数量的基本区域和导航区域。此外，重置后的手势区域和重置之前的手势区域可包括不同的项目。当手势区域被重置时，可基于重置的手势区域从检测到的手势识别选择手势和确认手势中的至少一个。
可通过手势区域的重置来配置分层菜单。例如，在需要重置手势区域三次来选择特定项目的情况中，第一手势区域可成为第一菜单，第二手势区域可成为第二菜单，该第二菜单是第一菜单的子菜单。可使用用于选择特定项目的手势来调出第一菜单和第二菜单中的每一个。第三手势区域可成为第三菜单，并且，用户可使用用于选择特定菜单的手势和用于选择特定项目的手势来选择在第三手势区域中包括的项目。
可基于要跟踪的至少一个对象从所述至少一个基本区域移动到所述至少一个导航区域的方向和位置中的至少一个、以及要跟踪的至少一个对象从所述至少一个导航区域移动到所述至少一个基本区域的方向和位置中的至少一个，来识别选择手势和确认手势中的至少一个。例如，用户可从基本区域移动到包括特定项目的导航区域，以选择用户期望的项目。要跟踪的对象的移动的方向和位置中的至少一个可基于项目的位置而不同。当执行用于从包括特定项目的导航区域移动到基本区域的确认手势时，要跟踪的对象的移动的方向和位置中的至少一个可基于项目的位置而不同。这可意味着需要要跟踪的对象的特定移动方向和特定位置中的至少一个来识别对于每一个项目的选择。基于选择手势的位置和方向中的至少一个以及确认手势的位置和方向中的至少一个，可识别选择手势和确认手势中的至少一个。选择手势和确认手势中的至少一个的识别还可基于以下信息中的至少一个：与要跟踪的对象在手势区域中的运动、移动轨迹和移动速度相关联的信息、以及与要跟踪的对象的形状相关联的信息。与运动相关联的信息可表示要跟踪的对象在基本区域或导航区域内的特定运动，例如，抖动要跟踪的对象的运动，按照顺时针或逆时针方向旋转要跟踪的对象的运动，推或拉要跟踪的对象的运动，以及在要跟踪的对象是手的情况中打开或闭合手的运动。与运动相关联的信息、与移动轨迹相关联的信息、与移动速度相关联的信息、以及与要跟踪的对象的形状相关联的信息可在稍后将描述的命令模式中被使用，并且，可被用来识别命令手势或取消手势。
为了用户的便利性，可提供命令模式。命令模式可以是允许选择特定项目的状态，并且，在手势区域中包括的项目可基于命令模式而不同。具体地，在至少一个预设的命令手势当中的任何一个命令手势可在基本区域或除了基本区域以外的预设命令区域内被识别。可基于与要跟踪的至少一个对象在至少一个手势区域内的运动相关联的信息、与移动轨迹相关联的信息、与移动速度相关联的信息以及与要跟踪的至少一个对象的形状相关联的信息来识别命令手势。命令手势可包括稍后将描述的取消手势。
可确定与识别的命令手势相应的命令模式，并且，可执行与命令模式相应的功能。与命令模式相应的功能的示例可包括选择手势的识别的重复和取消，并且，在项目是字符的情况中，与命令模式相应的功能的示例可包括韩语/英语切换、大写/小写字母切换、笔画添加、单/双辅音转换、或者与字符有关的任何其他命令。
可识别用于取消选择手势的识别的取消手势。取消手势可包括以下手势中的至少一个：在至少一个预设取消手势当中的任何一个手势、用于移动到除预设区域以外的区域的手势、以及用于在预设的时间段期间不执行确认手势的手势。此外，取消手势可被包括在命令手势中。
可使用触摸手势。具体地，可使用触摸屏检测至少一个触摸手势和至少一个滑动手势。至少一个手势区域可基于触摸手势的初始位置或者预设位置来被设置，并且，基于手势区域，输入手势可基于至少一个触摸手势的位置和至少一个滑动手势的方向中的至少一个来被识别。除了触摸手势的位置和滑动手势的方向中的至少一个以外，输入手势的识别还可基于滑动手势的长度和速度中的至少一个。
图2是示出手势区域的示例的示图。参照图2，手势区域可具有在空间中或者在平面或线上的任意的位置、尺寸和形状。具体地，可基于要跟踪的对象的检测位置或预设位置来设置基本区域。基于基本区域的位置，可基于预设规则来设置至少一个导航区域。
例如，在要跟踪一个对象的情况中，可基于要跟踪的对象211的位置将基本区域212和导航区域213设置在相同的空间中。此外，可基于要跟踪的对象221的位置将基本区域222和导航区域223设置在不同的空间中。基本区域222和导航区域223可具有不同的深度，例如，在要跟踪的对象211和用于提供视觉反馈信息的显示器之间的不同的距离，并且，用户可基于不同的深度来执行选择手势和导航手势。
甚至在要跟踪多个对象的情况中，也可应用用于基于手势的用户界面的方法。例如，在要跟踪的对象231和236都是手的情况中，可分别基于左手和右手的位置来设置基本区域232和237。基于基本区域232和237的位置，可根据预设规则来设置导航区域233和238。
又例如，对于要跟踪的对象231和236中的每一个，可将手势区域设置为不同的区域。具体地，在要跟踪的对象241是左手的情况中，可就将基本区域242和导航区域246设置在不同的空间中。在要跟踪的对象243是右手的情况中，可将基本区域244和导航区域245设置在相同的空间中，这与要跟踪的对象241是左手的情况不相似。再例如，可将当要跟踪的对象241是左手时的导航区域246设置在与当要跟踪的对象243是右手时的导航区域245相同的空间中。
图3是示出选择手势和确认手势中的至少一个的识别的示例的示图。参照图3，手势区域可包括至少一个基本区域311和至少一个导航区域312。例如，在一个基本区域311和八个导航区域312的情况中，要跟踪的对象可从基本区域311移动到八个导航区域312当中的一个导航区域322。在导航区域322包括多个项目的情况中，手势323可被识别为用于从基本区域移动到导航区域当中的任何一个导航区域的手势。在一个项目位于导航区域322的情况中，手势323可被识别为用于选择所述项目的手势。
可选地，在导航区域332或基本区域331中的抖动手势333可被识别为用于选择项目的手势。
用于从导航区域342移动到基本区域341的手势343可被识别为确认手势。通过识别确认手势，可以正确地判断用户的意图，并且，可防止将意外的运动识别为手势。
图4A和4B是示出命令模式的示例的示图。参照图4A，可通过识别在至少一个基本区域或者除基本区域以外的预设命令区域中的至少一个预设命令手势当中的任何一个命令手势来确定命令模式。可重置与确定的命令模式相应的至少一个手势区域。
例如，在项目是小写字母表的情况中，导航区域413可包括小写字母表。为了选择大写字母表，用户可执行用于按照顺时针方向旋转的手势411，手势411是基本区域412中的至少一个预设手势之一。与手势411相应的命令模式可被确定，并且，用于选择大写字母表的视觉反馈可被提供给用户。因此，用户可使用手势区域414和415来选择大写字母表。
又例如，用户可执行与基本区域422和425中的预设命令手势之一相应的用于打开和闭合用户的手的手势421和424。与基本区域425中的手势424相应的命令模式可被确定，并且，用于选择大写字母表的视觉反馈可被提供给用户。
参照图4B，当用户执行与基本区域432和435中的预设命令手势之一相应的用于推手的手势431和434时，与手势431和434相应的命令模式可被确定，并且，用于选择大写字母表的视觉反馈可被提供给用户。当用户执行基本区域435中的用于拉手的手势时，用于选择小写字母表的视觉反馈可被提供给用户。
又例如，在显示韩语辅音的情况中，当用户想要选择韩语元音时，用户可执行在除了基本区域442以外的预设命令区域中的命令手势441。当用户执行命令手势441时，命令手势可被识别，并且，与命令手势441相应的命令模式可被确定。因此，用于在手势区域444、445和446中选择韩语元音的视觉反馈可通过显示器被提供给用户。
图5是示出取消手势的识别的示例的示图。参照图5，可识别用于取消选择手势的识别的取消手势。取消手势可包括以下手势中的至少一个：至少一个预设取消手势当中的任何一个手势、用于移动到除预设区域以外的区域的手势、以及用于在预设的时间段期间不执行确认手势的手势。取消手势可被包括在命令手势中。例如，用于从导航区域513(而不是从基本区域512)移动到基本区域512的手势511可被识别为取消手势。又例如，用于横跨区域而不是在预设区域(例如，导航区域522)内移动的手势521可被识别为用于取消由用户选择的项目的取消手势。
此外，空区域532中的选择手势和确认手势531可被识别为取消手势。又例如，基本区域542或导航区域543中的抖动手势541可被识别为取消手势。此外，用于在执行选择手势之后的预设的时间段期间不执行确认手势的手势可被识别为取消手势。
图6是示出基于要跟踪的对象的移动轨迹来识别选择手势和确认手势的示例的示图。参照图6，至少一个导航区域可基于深度包括不同的项目。如前所述，深度可以是要跟踪的对象与用于提供视觉反馈信息的显示器之间的距离。深度越深，显示器和要跟踪的对象之间的距离就越长，深度越浅，显示器和要跟踪的对象之间的距离就越短。例如，具有离基本区域611浅深度的导航区域612的项目可与小写字母表相应，并且，具有离基本区域611的深深度的导航区域613的项目可与大写字母表相应。此外，当用于从基本区域移动到导航区域当中的任何一个导航区域的手势被识别时，基本区域611以及导航区域612和613可被重置为基本区域621以及导航区域622和623。当在手势区域621和623中具有短移动轨迹的手势631和632被检测到时，手势631和632可被识别为用于选择小写字母表字母“b”的手势。具体地，用户可执行手势631或632以选择小写字母表字母“b”。即使手势631和632都与用于选择小写字母表字母“b”的手势相应，从基本区域621向外移动到导航区域622的方向或位置可不同，并且，从导航区域622向内移动到基本区域621的方向或位置也可不同。手势631和632可被识别为不同的手势。为了提高手势识别率，可考虑用户的意图和测量方法，在手势识别中使用要跟踪的对象从基本区域621移动到导航区域622的方向和位置中的至少一个以及要跟踪的对象从导航区域622移动到基本区域621的方向和位置中的至少一个。当用户执行手势631时，可基于要跟踪的对象从基本区域621移动到导航区域622的方向或位置以及要跟踪的对象从导航区域622向内移动到基本区域621的方向或位置来正确地识别用户的手势，并且，当用户执行手势632时，可基于要跟踪的对象从基本区域621移动到导航区域622的方向或位置以及要跟踪的对象从导航区域622向内移动到基本区域621的方向或位置来正确地识别用户的手势。
此外，当检测到具有长移动轨迹的手势633和634时，手势633和634可被识别为用于选择大写字母表字母“B”的手势。类似于前面的描述，可通过识别要跟踪的对象从基本区域621移动到导航区域623的方向和位置中的至少一个以及要跟踪的对象从导航区域623移动到基本区域621的方向和位置中的至少一个来增大手势633和634的识别率。
图7是示出手势区域的重置和重置的手势区域的反馈的示例的示图。参照图7，当识别用于从至少一个基本区域移动到至少一个导航区域当中的任何一个导航区域的手势时，可响应于所述手势的识别来重置至少一个手势区域。在一个示例中，当用于选择导航区域713内的数字导航区域的手势711被识别时，手势区域可被重置在与导航区域713相同的空间中。重置后的手势区域可包括两个基本区域712和721以及十个导航区域722。
在另一个示例中，当例如在处于正方形形状的第一手势区域732和733中的用于选择数字导航区域的手势731被识别时，可提供第二手势区域741和742。第二手势区域741和742可具有圆形的形状，并且，可基于第一手势区域732和733与第二手势区域741和742之间的深度的差来识别第二手势区域741和742中的选择手势和确认手势。例如，当在与第一手势区域732和733相应的空间中检测到手势时，可识别第一手势区域732和733中的选择手势和确认手势中的至少一个。当在具有比第一手势区域732和733深的深度的第二手势区域741和742中检测到用户的手势时，可识别第二手势区域741和742中的选择手势和确认手势中的至少一个。此外，第一手势区域732和733以及第二手势区域741和742可全部通过视觉被反馈给用户，并且，用户可在参考视觉反馈信息的同时执行手势。
在另一个示例中，当在手势区域752和753中的用于选择任何一个导航区域的手势751被识别时，可提供第二手势区域762和763。当第二手势区域762和763通过视觉被反馈给用户时，以轮的形式的用于在导航区域和分别与所述导航区域相应的项目之间移动的配置可通过视觉被反馈给用户。
图8是示出用于基于手势的用户界面的方法的示例的示图。参照图8，手势区域可包括一个基本区域811和八个导航区域812。此外，八个导航区域812中的每一个可包括分组的字符项目。为了输入字母表字母“C”，可输入用于移动到八个导航区域812当中的包括字母表字母“A、B、C”的导航区域823的手势821。手势821的移动方向可与从基本区域822向外移动到导航区域823的方向相应。响应于手势821的识别，手势区域811和812可被重置为手势区域832和833。因此，可识别在手势区域832和833中的用于选择字母表字母“C”的手势831。当识别在手势区域842和843当中的从包括选择的项目的导航区域843向内移动到基本区域842的方向上的确认手势841时，在执行字母表字母“C”的输入之后，第二手势区域842和843可被重置为第一手势区域811和812。
图9是示出要跟踪的对象的示例的示图。参照图9，要跟踪的对象可以是物理对象或虚拟对象。在一个示例中，用户可使用移动装置来选择多个项目当中的任何一个项目。在该示例中，要跟踪的对象可以是虚拟对象。此外，在用户通过摇晃或倾斜移动装置来执行手势的情况中，用户可使用输入装置(例如，传感器)来控制虚拟对象的运动。例如，在使用移动装置来执行菜单的输入的情况中，可基于预设位置来设置包括基本区域912和四个导航区域913的手势区域。此外，可使用输入装置(例如，加速计传感器、陀螺仪传感器、运动识别传感器等)来检测要跟踪的对象911的手势。要跟踪的对象911可通过视觉被反馈给用户，或者可不被反馈。通过识别手势，在识别用于将要跟踪的对象911从基本区域912移动到四个导航区域913当中的包括“面条”项目的导航区域913的选择手势和用于将要跟踪的对象911移回到基本区域912的确认手势的情况中，可执行“面条”项目的输入。通过安装在移动装置中的运动识别传感器识别的实际上倾斜移动装置的手势或者移动用户的手的手势可被用作手势。
图10是示出用于基于触摸手势的用户界面的方法的另一示例的示图。参照图10，可使用触摸屏检测至少一个触摸手势和至少一个滑动手势。可基于触摸手势的初始位置或预设位置来设置至少一个手势区域，从而手势区域的位置可能会与项目在显示器上的位置不匹配。例如，当识别在移动装置的下部处的触摸手势时，可基于触摸手势的初始位置来设置手势区域1011和1012。项目1021可被设置在预设位置处。基于手势区域，手势区域1011和1012中的输入手势可基于触摸手势的位置和滑动手势的方向中的至少一个来被识别。输入手势的识别还可基于滑动手势的长度和速度中的至少一个。例如，可将在十一点钟方向上具有短长度的滑动手势1031识别为韩语字母可将具有短长度且在十一点钟方向上开始并在三点钟方向结束的滑动手势1032识别为韩语字母可将具有短长度且在十一点钟方向上开始并在六点钟方向结束的滑动手势1033识别为韩语字母
可选地，可将在十一点钟方向上具有短长度且具有与手势1031的开始位置不同的开始位置的滑动手势1041识别为韩语字母可将在十一点钟方向上具有长的长度的滑动手势1043识别为韩语字母甚至在滑动手势1042延伸超出手势区域1011和1012的情况中，通过基于触摸手势的位置和滑动手势的长度中的至少一个来识别输入手势，可将延伸超出手势区域1011和1012的手势1042识别为韩语字母可将具有短长度且在十一点钟方向和五点钟方向之间往复的滑动手势1044识别为韩语字母
图11A和11B是示出用于基于手势的用户界面的方法的另一示例的示图。参照图11A，基于离要跟踪的至少一个对象的检测位置或预设位置的深度来设置至少两个区域。如前所述，深度可以是要跟踪的对象与用于提供视觉反馈信息的显示器之间的距离。
所述至少两个区域处于手势区域中。例如，如图11A所示，手势区域1120可包括第一区域1121和第二区域1122。基于离要跟踪的至少一个对象的位置或预设位置的深度来设置第一区域1121和第二区域1122。所述至少两个区域可以是这样的区域：在该区域中对项目执行在与所述至少两个区域相应的功能当中的至少一个功能的区域。
例如，第一区域1121可以是这样的区域：在该区域中用户使用要跟踪的对象1111可移动或指出项目(例如，光标)。第二区域1122可以是这样的区域：用户使用要跟踪的对象1111可选择或执行项目。可选地，第二区域1122可以是这样的区域：在该区域中通过要跟踪的对象1111可移动或指出项目，并且，第一区域1121可以是这样的区域：在该区域中通过要跟踪的对象1111可选择或执行项目。此外，在另一个示例中，通过在区域之间移动要跟踪的对象1111，可移动、指出、选择或者执行项目。例如，当要跟踪的对象1111从第一区域1121移动到第二区域1122时，可指出项目，并且，当要跟踪的对象1111从第二区域1122移动到第一区域1121时，可执行项目。
可识别在手势区域中的要跟踪的对象的手势和位置信息，并且，基于要跟踪的对象的手势和位置信息，可识别以下功能中的至少一个：与第一区域相应的功能、与第二区域相应的功能、与要跟踪的对象在区域之间的移动相应的功能。
在图11A的示例中，项目可通过显示器1123(例如，监视器)通过视觉被反馈给用户。可忽略要跟踪的对象在除手势区域1120以外的无效区域1110中的手势。无效区域1110可以是这样的区域：在该区域中要跟踪的对象的手势不被识别。例如，无效区域1110可以是具有比第一区域1121离显示器1123的深度更深的离显示器1124的深度的区域。
参照图11B，基于离要跟踪的至少一个对象1136的位置或预设位置的深度来设置至少两个区域1142和1143。在一个示例中，可基于要跟踪的对象1136的位置和显示器1150的位置来相对地设置第一参考平面1134和第二参考平面1135。从要跟踪的至少一个对象1136到第二参考平面1135的距离比从要跟踪的至少一个对象1136到第一参考平面1134的距离更深。可将与第一参考平面1134和第二参考平面1135之间的深度1132相应的区域设置为第一区域1142，并且，可将与第二参考平面1135与显示器1150之间的深度1133相应的区域设置为第二区域1143。可将具有比显示器1150和第一参考平面1134之间的深度更深的深度1131的区域设置为无效区域1141。
此外，在另一个示例中，不管要跟踪的对象1136的位置如何，都可基于预设的位置来设置至少两个区域1142和1143。例如，不管要跟踪的对象1136的位置如何，都可基于预设方法(例如，离显示器1150的预设距离)来设置第一参考平面1134和第二参考平面1135。可基于预设的第一参考平面1134和预设的第二参考平面1135来设置第一区域1142和第二区域1143。
在一个示例中，可响应于第一区域1142和第二区域1143中的手势的识别来重置手势区域。在另一个示例中，响应于执行用于实现用于基于手势的用户界面的方法的程序或应用，可基于离要跟踪的至少一个对象1136的位置或预设位置的深度来重置至少两个区域。手势区域可被分成N个区域。
可识别在手势区域内的要跟踪的至少一个对象的手势和位置信息。位置信息可包括与深度相关联的信息，例如，与从要跟踪的对象1136到显示器1150的深度相关联的信息。具体地，可使用接近传感器、深度传感器或者立体型传感器来提取要跟踪的至少一个对象的深度。基于提取的深度，可进行关于要跟踪的至少一个对象的手势是否可在由预设的参考平面分类的两个区域当中的第一区域或第二区域中执行的确定。
可忽略在除手势区域以外的无效区域中的手势。因此，可只检测手势区域中的手势。在一个示例中，要跟踪的至少一个对象的手势可以是标签选择、切换选择(toggleselection)、滚动标签选择和移动中的至少一个。
显示器1150可通过视觉将多个项目1160和1171至1179反馈给用户。在图11B的示例中，多个项目可包括光标1160和多个应用1171至1179。
可基于要跟踪的至少一个对象的手势和位置信息来识别与至少两个区域相应的功能中的至少一个。在一个示例中，可识别以下功能中的至少一个：与第一区域相应的功能、与第二区域相应的功能、与区域之间的移动相应的功能。例如，1)可识别第一区域中的“指向”功能或“移动”功能，并且，2)在识别第一区域中的“指向”功能或“移动”功能之后，可识别对第二区域中的多个项目当中的任何一个项目的“执行”功能。此外，3)在识别第一区域中的“指向”功能或“移动”功能之后，可识别对第二区域中的多个项目当中的任何一个项目的“选择”功能，并且，4)在识别第一区域中的“指向”功能或“移动”功能并识别对第二区域中的多个项目当中的任何一个项目的“选择”功能之后，可再次识别“移动”功能1144。在示例4)的情况中，可响应于第二区域中的“选择”功能的识别来设置第三区域(未示出)。因此，可识别第三区域中的“移动”功能1144。
在一个示例中，可随着要跟踪的对象1136的移动来移动光标1160。例如，在要跟踪的对象1136在第一区域1142内从左向右移动的情况中，光标1160可在显示器1150上从左向右移动。
在一个示例中，可通过识别要跟踪的至少一个对象的预设手势来识别运动模式。例如，当要跟踪的至少一个对象的移动速度小于预设的阈值时，运动模式可被识别为导航模式。因此，要跟踪的至少一个对象在第一区域内的运动可与“指向”功能或“移动”功能相应。当要跟踪的至少一个对象的移动速度高于或等于预设的阈值时，运动模式可被识别为命令模式。因此，要跟踪的至少一个对象在第一区域内的运动可被识别为与命令模式相应的命令功能。作为特定的示例，当要跟踪的至少一个对象在第一区域内的移动速度高于或等于预设的阈值时，可通过将运动模式识别为命令模式来重置手势区域。
在一个示例中，在要跟踪的对象是复数的情况中，可通过要跟踪的多个对象的位置和手势的组合来识别在与至少两个区域相应的功能中的至少一个功能。
图12是示出用于基于手势的用户界面的方法中的无效区域的示例的示图。参照图12，第一区域1212和第二区域1213被设置在预定的空间中。具体地，第一区域1212和第二区域1213被设置在预设的位置处，并且，可基于要跟踪的至少一个对象与显示器1214之间的深度(即，相对位置)来被设置。无效区域1211被设置在具有比显示器1214与第一区域1212之间的深度更深的深度的区域中。无效区域1211可以是这样的区域：在该区域中要跟踪的对象的手势不被识别。
例如，在第一用户的手1221处于第一区域内的情况中，可将第一用户的手1221识别为要跟踪的对象，并且，可通过识别第一用户的手1221的位置信息和手势来识别与第一区域1212相应的功能中的至少一个功能。当第二用户移动到无效区域1211时，可忽略第二用户的运动，并且，仍然可识别第一用户的手1221的位置信息和手势。此外，即使使用第二用户的手1222来执行手势，如果第二用户的手1222在除了第一区域1212或第二区域1213以外的无效区域1211内，则仍可忽略第二用户的手1222的位置、运动或手势也。
图13是示出用于基于手势的用户界面的方法的另一示例的示图。在图13的(a)中，要跟踪的对象1301和显示器1330位于预定的区域中。第一区域1312、第二区域1313和无效区域1311基于深度(即，在对象1301和显示器1330之间的相对位置或预设位置)来设置。可在显示器1330上提供多个项目(例如，应用)和光标1331。可随着要跟踪的对象1301的移动来移动光标1331。例如，在要跟踪的对象1301向上移动的情况中，光标1331可向上移动。因此，光标1331可被覆盖在多个项目当中的一个项目1332上。
在图13的(b)中，当要跟踪的对象1341从第一区域1352移动到第二区域1353时，可识别要跟踪的对象1341的位置信息和手势。在与手势相应的功能是选择功能的情况中，可基于要跟踪的对象1341的位置信息和手势来识别选择功能。可通过手势来点击项目1362。在要跟踪的对象1341从第一区域1352移动到无效区域1352的情况中，手势可被忽视。
图14是示出用于基于手势的用户界面的设备的示例的框图。参照图14，手势区域设置器1410基于要跟踪的至少一个对象的检测位置或预设设置来设置包括至少一个基本区域和至少一个导航区域的至少一个手势区域。
手势检测器1420使用输入装置来检测要跟踪的至少一个对象的手势。
手势识别器1430从检测到的手势识别以下手势中的至少一个：用于选择至少一个导航区域中包括的至少一个项目当中的任何一个项目的选择手势、用于从至少一个导航区域移动到至少一个基本区域的确认手势。
上面参照图1至3、4A、4B、5至10、11A、11B、12和13提供的描述也适用于图14中示出的用于基于手势的用户界面的设备，并且这里将不再被重复。
执行在图1至3、4A、4B、5至10、11A、11B、12和13中示出的操作的上述的图14中的手势区域设置器1410、手势检测器1420和手势识别器1430可使用一个或更多个硬件组件、一个或更多个软件组件、或者一个或更多个硬件组件和一个或更多个软件组件的组合来实现。
硬件组件可以是，例如，物理上执行一个或更多个操作的物理装置，但不限于此。硬件组件的示例包括电阻器、电容器、电感器、电源、频率发生器、运算放大器、功率放大器、低通滤波器、高通滤波器、带通滤波器、模拟-数字转换器、数字-模拟转换器以及处理装置。
例如，软件组件可通过由软件或指令控制以执行一个或更多个操作的处理装置来实现，但不限于此。计算机、控制器或其它控制装置可使得处理装置运行软件或者执行指令。一个软件组件可由一个处理装置来实现，或者，两个或更多个软件组件可由一个处理装置来实现，或者，一个软件组件可由两个或更多个处理装置来实现，或者，两个或更多个软件组件可由两个或更多个处理装置来实现。
处理装置可以使用一个或更多个通用或专用计算机(例如，处理器、控制器和算术逻辑单元)、数字信号处理器、微型计算机、场可编程阵列、可编程逻辑单元、微处理器或能够运行软件或执行指令的任何其它的装置来实现。处理装置可运行操作***(OS)并运行在OS下操作的一个或更多个软件应用。处理装置可在运行软件或执行指令时访问、存储、操纵、处理和创建数据。为了简单起见，在描述中可使用单数术语“处理装置”，但是，本领域的普通技术人员将会认识到，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括一个或更多个处理器、或者一个或更多个处理器和一个或更多个控制器。另外，不同的处理配置也是可能的，例如，并行处理器或多核处理器。
被配置为实现软件组件以执行操作A的处理装置可包括被编程为运行软件或执行指令以控制处理器来执行操作A的处理器。另外，被配置为实现软件组件以执行操作A、操作B和操作C的处理装置可具有各种配置，例如，被配置为实现软件组件以执行操作A、B和C的处理器；被配置为实现软件组件以执行操作A的第一处理器，以及被配置为实现软件组件以执行操作B和C的第二处理器；被配置为实现软件组件以执行操作A和B的第一处理器，以及被配置为实现软件组件以执行操作C的第二处理器；被配置为实现软件组件以执行操作A的第一处理器，被配置为实现软件组件以执行操作B的第二处理器，以及被配置为实现软件组件以执行操作C的第三处理器；被配置为实现软件组件以执行操作A、B和C的第一处理器，以及被配置为实现软件组件以执行操作A、B和C的第二处理器，或者，每一个都实现操作A、B和C中的一个或更多个的一个或更多个处理器的任何其他配置。虽然这些示例提及三个操作A、B、C，但是，可实现的操作的数量并不限于三个，而且，可以是实现期望的结果或者执行期望的任务所需的任何数量的操作。
用于控制处理装置以实现软件组件的软件或指令可包括用于独立地或共同地指示或配置处理装置来执行一个或更多个期望的操作的计算机程序、代码段、指令或它们的某一组合。软件或指令可包括可直接由处理装置执行的机器代码，例如，由编译器产生的机器代码和/或可由处理装置使用解释器执行的更高级代码。软件或指令以及任何相关数据、数据文件和数据结构可以以机器、组件、物理或虚拟设备、计算机存储介质或装置、或者能够提供指令或数据到处理装置或者由处理装置解释的传播信号波的任何类型被永久地或临时地实施。软件或指令以及任何相关数据、数据文件和数据结构也可被分布在联网的计算机***上，从而软件或指令以及任何相关数据、数据文件和数据结构以分布的方式被存储和执行。
例如，软件或指令以及任何相关数据、数据文件和数据结构可被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质可以是能够存储软件或指令以及任何相关数据、数据文件和数据结构使得它们可由计算机***或处理装置读取的任何数据存储装置。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROMs、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘或者本领域的普通技术人员已知的任何其他非暂时性计算机可读存储介质。
用于实现本文中公开的示例的功能程序、代码和代码段可由这些示例所属技术领域的程序员基于本文中提供的附图及其相应描述来容易地构建。
虽然本公开包括特定的示例，但是本领域的普通技术人员将清楚的是，在不脱离权利要求及其等同物的精神和范围的情况下可以在这些示例中进行形式或细节上的各种改变。如果按照不同的顺序执行描述的技术，并且/或者，如果描述的***、构架、装置或电路中的组件以不同的方式组合和/或被其它的组件或其等同物替换或补充，则可以实现合适的结果。因此，本公开的范围不由详细描述来限定，而是由权利要求及其等同物来限定，并且，在权利要求及其等同物的范围内的所有的变化都将被解释为被包括在本公开中。

Claims (20)

1.一种用于基于手势的用户界面的方法，所述方法包括：
使用输入装置识别现实世界中的要跟踪的对象；
设置现实世界中的至少一个手势区域，其中，所述至少一个手势区域包括至少一个基本区域和不同于基本区域的至少一个预设命令区域；
使用输入装置检测对象的手势；
在所述至少一个手势区域内识别命令手势；
确认与所述命令手势相应的命令模式；以及
执行与所述命令模式相应的功能；
其中，识别命令手势的步骤包括基于以下信息中的任意一个信息或者以下信息中的任意两个或更多个信息的任意组合来识别所述命令手势：与所述至少一个手势区域内的所述对象的移动相关联的信息、与所述对象的移动轨迹相关联的信息、与所述对象的移动速度相关联的信息以及与所述对象的形状相关联的信息。
2.如权利要求1所述的方法，其中，所述至少一个手势区域还包括不同于所述至少一个基本区域的至少一个导航区域。
3.如权利要求2所述的方法，其中，所述至少一个基本区域被设置在距提供视觉反馈的显示器的第一深度，所述至少一个导航区域被设置在第一深度并被布置为与所述至少一个基本区域相邻。
4.如权利要求2所述的方法，其中，所述至少一个基本区域被设置在距提供视觉反馈的显示器的第一深度，所述至少一个导航区域被设置在距输入装置的第二深度，并且
第一深度不同于第二深度。
5.如权利要求2所述的方法，其中，所述至少一个导航区域包括基于深度的不同项目，其中，所述深度是所述对象与提供视觉反馈的显示器之间的距离。
6.如权利要求1所述的方法，其中，所述至少一个手势区域与所述命令模式相应地被重置。
7.如权利要求6所述的方法，其中，执行与所述命令模式相应的功能的步骤包括：
基于所述命令手势重置所述至少一个手势区域；
向用户提供针对重置的所述至少一个手势区域的视觉反馈；
识别重置的所述至少一个手势区域内的至少一个预设手势；以及
执行与所述至少一个预设手势相应的功能。
8.如权利要求7所述的方法，其中，所述命令手势包括彼此不同的第一命令手势和第二命令手势，
当第一命令手势被识别时，所述至少一个手势区域被重置为与第一命令手势相应的第一手势区域，并且第一视觉反馈被提供给用户，以及
当第二命令手势被识别时，所述至少一个手势区域被重置为与第二命令手势相应的第二手势区域，并且第二视觉反馈被提供给用户。
9.如权利要求8所述的方法，其中，第一手势区域是用于选择第一项目的区域，第二手势区域是用于选择与第一项目不同的第二项目的区域。
10.如权利要求9所述的方法，其中，第一项目是大写字母，第二项目是小写字母。
11.如权利要求9所述的方法，其中，第一项目是辅音，第二项目是元音。
12.如权利要求5所述的方法，还包括：
从检测到的手势识别选择手势和确认手势中的一个或两者。
13.如权利要求12所述的方法，其中，识别选择手势和确认手势中的一个或两者的步骤包括：
识别从所述至少一个基本区域移动到所述至少一个导航区域之中的任意一个导航区域的导航区域选择手势；以及
识别选择所述不同项目之中的任意一个项目的项目选择手势。
14.如权利要求12所述的方法，其中，识别选择手势和确认手势中的一个或两者的步骤包括：
响应于识别出选择手势和确认手势中的所述一个或两者，重置所述至少一个手势区域；以及
基于重置的所述至少一个手势区域，从检测到的手势识别选择手势和确认手势中的一个或两者。
15.如权利要求12所述的方法，其中，识别命令手势的步骤还包括：识别取消对选择手势和确认手势中的一个或两者的识别的取消手势。
16.如权利要求15所述的方法，其中，取消手势包括以下手势中的任意一个或者以下手势中的任意两个或更多个的任意组合：至少一个预设的取消手势、移动到除预设区域之外的区域的手势、以及在预设时间段期间未执行确认手势的手势。
17.如权利要求1所述的方法，其中，输入装置包括相机、检测传感器和基于事件的图像处理装置中的任意一个或者任意两个或更多个的任意组合。
18.如权利要求17所述的方法，其中，所述基于事件的图像处理装置包括动态视觉传感器DVS。
19.一种用于基于手势的用户界面的方法，所述方法包括：
设置至少一个手势区域，其中，所述至少一个手势区域包括处于第一深度的至少一个基本区域和处于第二深度的至少一个导航区域，第二深度不同于第一深度；
在所述至少一个手势区域内检测现实世界中的要跟踪的对象的手势；以及
使用显示器向用户提供至少一个手势区域的视觉反馈，
其中，第一深度是所述至少一个基本区域和显示器之间的距离，第二深度是所述至少一个导航区域和显示器之间的距离。
20.一种用于基于手势的用户界面的方法，所述方法包括：
使用输入装置识别现实世界中的要跟踪的对象；
设置现实世界中的至少一个手势区域，其中，所述至少一个手势区域包括基于所述对象的检测位置或者预设位置的至少一个基本区域和至少一个导航区域；
在所述至少一个手势区域内或在不同于所述至少一个手势区域的预设命令区域内识别命令手势；
确认与所述命令手势相应的命令模式；以及
执行与所述命令模式相应的功能，
其中，识别命令手势的步骤包括识别取消手势，其中，取消手势用于取消对在所述至少一个手势区域内检测到的选择手势和确认手势中的一个或两者的识别。
CN201910491038.6A 2013-05-23 2014-05-23 用于基于手势的用户界面的方法和设备 Active CN110209337B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130058491A KR20140138424A (ko) 2013-05-23 2013-05-23 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
KR10-2013-0058491 2013-05-23
CN201410221687.1A CN104182169B (zh) 2013-05-23 2014-05-23 用于基于手势的用户界面的方法和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410221687.1A Division CN104182169B (zh) 2013-05-23 2014-05-23 用于基于手势的用户界面的方法和设备

Publications (2)

Publication Number Publication Date
CN110209337A true CN110209337A (zh) 2019-09-06
CN110209337B CN110209337B (zh) 2022-07-01

Family

ID=50693483

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910491038.6A Active CN110209337B (zh) 2013-05-23 2014-05-23 用于基于手势的用户界面的方法和设备
CN201410221687.1A Active CN104182169B (zh) 2013-05-23 2014-05-23 用于基于手势的用户界面的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410221687.1A Active CN104182169B (zh) 2013-05-23 2014-05-23 用于基于手势的用户界面的方法和设备

Country Status (4)

Country Link
US (1) US9652119B2 (zh)
EP (1) EP2806334A1 (zh)
KR (1) KR20140138424A (zh)
CN (2) CN110209337B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023093661A1 (zh) * 2021-11-26 2023-06-01 维沃移动通信有限公司 界面控制方法、装置、电子设备及存储介质

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD745533S1 (en) * 2013-08-27 2015-12-15 Tencent Technology (Shenzhen) Company Limited Display screen or a portion thereof with graphical user interface
DE202015009325U1 (de) * 2014-03-04 2017-02-22 Google Inc. Schematische Darstellung von geografischen Standorten
JP5963806B2 (ja) * 2014-05-30 2016-08-03 京セラドキュメントソリューションズ株式会社 文字入力システム、情報処理装置、文字入力方法
US9313397B2 (en) * 2014-05-30 2016-04-12 Apple Inc. Realtime capture exposure adjust gestures
TWI600322B (zh) 2014-09-02 2017-09-21 蘋果公司 用於操作具有整合式相機之電子器件之方法及相關電子器件，以及非暫時性電腦可讀取儲存媒體
JP2016110177A (ja) * 2014-12-02 2016-06-20 株式会社トプコン ３次元入力装置及び入力システム
JP6043334B2 (ja) * 2014-12-22 2016-12-14 京セラドキュメントソリューションズ株式会社 表示装置、画像形成装置、及び、表示方法
CN105844128B (zh) * 2015-01-15 2021-03-02 北京三星通信技术研究有限公司 身份识别方法和装置
FR3034539B1 (fr) * 2015-04-02 2017-03-24 Eric Didier Jean Claude Provost Procede de selection d'element parmi un groupe d'elements affichables sur une petite surface de saisie
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
KR102307055B1 (ko) * 2015-04-28 2021-10-01 삼성전자주식회사 이벤트 기반 센서의 출력에 기초하여 정적 패턴을 추출하는 방법 및 장치
US20160331584A1 (en) * 2015-05-14 2016-11-17 Novartis Ag Surgical tool tracking to control surgical system
US10402554B2 (en) * 2015-06-27 2019-09-03 Intel Corporation Technologies for depth-based user authentication
USD823866S1 (en) * 2015-09-11 2018-07-24 Under Armour, Inc. Display screen with graphical user interface
KR102457724B1 (ko) * 2015-09-22 2022-10-24 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치
KR102530219B1 (ko) 2015-10-30 2023-05-09 삼성전자주식회사 동작 인식의 오류를 검출하는 방법 및 장치
CN105260124B (zh) * 2015-11-22 2018-04-20 韩祯 六按键汉字及英文触摸屏滑行输入方法
ES2628592B1 (es) 2015-12-22 2018-05-14 Bsh Electrodomésticos España, S.A. Dispositivo de aparato doméstico
JP6798117B2 (ja) * 2016-03-15 2020-12-09 ヤマハ株式会社 入力支援装置
US10528241B2 (en) * 2016-03-21 2020-01-07 Roku, Inc. Controlling display device settings from a mobile device touch interface
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
DK179754B1 (en) * 2016-06-12 2019-05-08 Apple Inc. USER INTERFACE FOR CAMERA EFFECTS
USD807384S1 (en) * 2016-06-14 2018-01-09 Miq Limited Display screen or portion thereof with animated graphical user interface
KR102462813B1 (ko) * 2016-07-21 2022-11-02 한화테크윈 주식회사 파라미터 설정 방법 및 장치
EP3285107B2 (en) 2016-08-16 2024-02-28 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope with gesture control and method for a gesture control of a surgical microscope
CN111610858B (zh) 2016-10-26 2023-09-19 创新先进技术有限公司 基于虚拟现实的交互方法及装置
CN108205399A (zh) * 2016-12-19 2018-06-26 北京嘀嘀无限科技发展有限公司 取消服务请求的方法及装置
KR102316024B1 (ko) * 2017-03-02 2021-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
FR3065299A1 (fr) * 2017-04-17 2018-10-19 Eric PROVOST Procede optimise de saisie de commandes, de caracteres et de designations.
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DE102020106021A1 (de) * 2020-03-05 2021-09-09 Gestigon Gmbh Verfahren und system zum betreiben eines auswahlmenüs einer grafischen benutzeroberfläche basierend auf dem erfassen einer rotierenden freiraumgeste
WO2021184356A1 (en) 2020-03-20 2021-09-23 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US20240094882A1 (en) * 2022-09-21 2024-03-21 Apple Inc. Gestures for selection refinement in a three-dimensional environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390038A (zh) * 2005-12-30 2009-03-18 苹果公司 具有界面重配置模式的便携式电子设备
CN102455862A (zh) * 2010-10-15 2012-05-16 鸿富锦精密工业（深圳）有限公司 屏幕数据操作方法
CN102754062A (zh) * 2010-01-06 2012-10-24 苹果公司 具有内容显示模式和显示旋转启发的装置、方法和图形用户接口
US20120327106A1 (en) * 2011-06-27 2012-12-27 Won Yoonchan Mobile terminal and screen partitioning method thereof
CN102880304A (zh) * 2012-09-06 2013-01-16 天津大学 用于便携设备的字符输入方法及装置
CN102880420A (zh) * 2012-09-19 2013-01-16 广州视睿电子科技有限公司 基于触摸屏的启动并执行区域选择操作的方法及***

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764794A (en) 1993-10-27 1998-06-09 Perlin; Kenneth Method and apparatus for electronically storing alphanumeric characters
US6925611B2 (en) 2001-01-31 2005-08-02 Microsoft Corporation Navigational interface for mobile and wearable computers
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7456823B2 (en) * 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
US8062126B2 (en) * 2004-01-16 2011-11-22 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
JP5090161B2 (ja) 2004-06-29 2012-12-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ グラフィカルユーザインタフェースの多階層表示
CA2609623C (en) 2005-06-03 2015-12-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
KR20070113022A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 사용자 입력에 반응하는 터치스크린 장치 및 이의 작동방법
US20090213086A1 (en) * 2006-04-19 2009-08-27 Ji Suk Chae Touch screen device and operating method thereof
WO2008066366A1 (en) 2006-12-01 2008-06-05 Eui-Jin Oh Data input device
KR101304461B1 (ko) 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
KR101141087B1 (ko) 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
US20090174679A1 (en) * 2008-01-04 2009-07-09 Wayne Carl Westerman Selective Rejection of Touch Contacts in an Edge Region of a Touch Surface
CN101667091A (zh) 2008-05-15 2010-03-10 杭州惠道科技有限公司 实时预测用户输入的人机界面
US8402391B1 (en) 2008-09-25 2013-03-19 Apple, Inc. Collaboration system
KR101593727B1 (ko) 2008-12-29 2016-02-15 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 제스처 검출 시스템, 방법 및 컴퓨터 판독가능 매체
US9383897B2 (en) 2009-01-29 2016-07-05 International Business Machines Corporation Spiraling radial menus in computer systems
KR101899506B1 (ko) 2009-01-29 2018-09-20 임머숀 코퍼레이션 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법
EP2394208A1 (en) 2009-02-04 2011-12-14 Systems Ltd. Keyless Data entry system
US8549432B2 (en) 2009-05-29 2013-10-01 Apple Inc. Radial menus
KR101657168B1 (ko) 2009-12-01 2016-09-19 삼성전자주식회사 사용자 위치 기반의 디스플레이 방법 및 장치
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
JP5167523B2 (ja) 2010-09-22 2013-03-21 島根県 操作入力装置および操作判定方法並びにプログラム
US20120089948A1 (en) 2010-10-11 2012-04-12 Third Wave Power Pte Ltd Gesture controlled user interface
KR101740436B1 (ko) * 2010-12-08 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互***及其实时手势跟踪处理方法
US8854325B2 (en) * 2012-02-29 2014-10-07 Blackberry Limited Two-factor rotation input on a touchscreen device
US10503373B2 (en) * 2012-03-14 2019-12-10 Sony Interactive Entertainment LLC Visual feedback for highlight-driven gesture user interfaces
WO2013169845A1 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
KR102058990B1 (ko) * 2012-09-19 2019-12-24 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
KR20140042280A (ko) * 2012-09-28 2014-04-07 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US8756533B2 (en) * 2012-10-16 2014-06-17 Google Inc. Multiple seesawing panels
US20140282233A1 (en) * 2013-03-15 2014-09-18 Google Inc. Graphical element expansion and contraction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390038A (zh) * 2005-12-30 2009-03-18 苹果公司 具有界面重配置模式的便携式电子设备
CN102754062A (zh) * 2010-01-06 2012-10-24 苹果公司 具有内容显示模式和显示旋转启发的装置、方法和图形用户接口
CN102455862A (zh) * 2010-10-15 2012-05-16 鸿富锦精密工业（深圳）有限公司 屏幕数据操作方法
US20120327106A1 (en) * 2011-06-27 2012-12-27 Won Yoonchan Mobile terminal and screen partitioning method thereof
CN102880304A (zh) * 2012-09-06 2013-01-16 天津大学 用于便携设备的字符输入方法及装置
CN102880420A (zh) * 2012-09-19 2013-01-16 广州视睿电子科技有限公司 基于触摸屏的启动并执行区域选择操作的方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023093661A1 (zh) * 2021-11-26 2023-06-01 维沃移动通信有限公司 界面控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN104182169B (zh) 2019-08-30
KR20140138424A (ko) 2014-12-04
CN104182169A (zh) 2014-12-03
EP2806334A1 (en) 2014-11-26
US20140351753A1 (en) 2014-11-27
CN110209337B (zh) 2022-07-01
US9652119B2 (en) 2017-05-16

Similar Documents

Publication Publication Date Title
CN104182169B (zh) 用于基于手势的用户界面的方法和设备
US20210342012A1 (en) User-Defined Virtual Interaction Space and Manipulation of Virtual Cameras with Vectors
US11048333B2 (en) System and method for close-range movement tracking
US9405404B2 (en) Multi-touch marking menus and directional chording gestures
Seo et al. Direct hand touchable interactions in augmented reality environments for natural and intuitive user experiences
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
US8810509B2 (en) Interfacing with a computing application using a multi-digit sensor
US10503373B2 (en) Visual feedback for highlight-driven gesture user interfaces
US10234953B1 (en) Cross-device interaction through user-demonstrated gestures
US20110119216A1 (en) Natural input trainer for gestural instruction
CN105808136A (zh) 控制屏幕的方法和用于处理该方法的电子设备
US10402067B2 (en) Bi-directional search and sorting
JP2017033528A (ja) 情報表示装置、情報表示方法、及びプログラム
CN109478121A (zh) 用于设置参数的方法和装置
Tuntakurn et al. Natural interactive 3D medical image viewer based on finger and arm gestures
Andolina et al. Experimenting with large displays and gestural interaction in the smart factory
CN103869959B (zh) 电子装置控制方法以及电子装置
Mallan et al. Comparative empirical usability assessment of two HRI input devices for a mobile robot
Yang A Smartphone-Based Pointing Technique in Cross-Device Interaction
EP3374847B1 (en) Controlling operation of a 3d tracking device
Srivastava et al. Design and Development of Gesture Recognition Based Virtual Mouse System
CN104951051A (zh) 一种信息处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant