CN105229582B - 基于近距离传感器和图像传感器的手势检测 - Google Patents

基于近距离传感器和图像传感器的手势检测 Download PDF

Info

Publication number
CN105229582B
CN105229582B CN201480014533.3A CN201480014533A CN105229582B CN 105229582 B CN105229582 B CN 105229582B CN 201480014533 A CN201480014533 A CN 201480014533A CN 105229582 B CN105229582 B CN 105229582B
Authority
CN
China
Prior art keywords
processor
data
image sensor
gesture
proximity sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480014533.3A
Other languages
English (en)
Other versions
CN105229582A (zh
Inventor
伊泰·卡茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eyesight Mobile Technologies Ltd
Original Assignee
Eyesight Mobile Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyesight Mobile Technologies Ltd filed Critical Eyesight Mobile Technologies Ltd
Priority to CN202010266743.9A priority Critical patent/CN111475059A/zh
Publication of CN105229582A publication Critical patent/CN105229582A/zh
Application granted granted Critical
Publication of CN105229582B publication Critical patent/CN105229582B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了***、方法和非暂时性计算机可读介质。例如，本申请公开了包含从近距离传感器和图像传感器接收信息的至少一个处理器的双传感器控制装置。该处理器可配置为：在所述图像传感器处于第一状态时，从所述近距离传感器接收第一数据；使用所述第一数据，判断所述近距离传感器附近是否存在对象。该处理器还可配置为根据所判断的在所述近距离传感器附近的对象的存在，向所述图像传感器输出信号，以使得所述图像传感器进入不同于所述第一状态的第二状态。该处理器还可配置为从处于所述第二状态的所述图像传感器接收第二数据，以及输出与所述第二数据相关的消息和命令这两者中的至少一种。

Description

基于近距离传感器和图像传感器的手势检测
相关申请
本申请要求2013年3月14日提交的美国临时申请61/782678的优先权，该申请以引用方式全文并入本申请。
技术领域
本公开涉及免触摸式手势检测领域，具体而言，涉及使用近距离传感器和图像传感器来检测免触摸式手势的装置和计算机可读介质。
背景技术
在许多不同的设置下，允许用户与装置或装置上运行的应用进行互动都是有用的。例如，电子***常包括键盘、鼠标、摇杆以允许用户输入数据、操作数据并使得***处理器执行多种其他行为。但是，触摸式输入装置，例如键盘、鼠标、摇杆等，逐渐被允许免触摸式用户互动的装置所取代或辅助。例如，***中可以包括图像传感器，以捕捉用户图像，包括，例如，用户的手和/或手指。处理器可以用于接收所述图像并基于用户所执行的免触摸式手势来启动操作。
图像传感器消耗的装置资源量通常相对较大。例如，图像传感器可能需要能源(通常由具有有限电量的电池提供)，且来自图像传感器的数据可能需要处理器分析。因此，可能需要限制图像传感器所需的资源，同时保持免触摸式手势检测功能性。因此，需要对检测免触摸式手势并据此操作的技术进行改进。
发明内容
在一个公开实施例中，本申请公开了一种双传感器控制装置。该双传感器控制装置包括：至少一个处理器，用于从近距离传感器和图像传感器接收信息。所述至少一个处理器可以用于：在所述图像传感器处于第一状态时，从所述近距离传感器接收第一数据；使用所述第一数据，判断所述近距离传感器附近是否存在对象；根据对所述近距离传感器附近存在对象的确定，向所述图像传感器输出信号，以使得所述图像传感器进入不同于所述第一状态的第二状态；从处于所述第二状态的所述图像传感器接收第二数据；以及输出所述第二数据相关的消息和命令这两者中的至少一种。
在另一个公开实施例中，本实施例公开了一种三维控制装置。所述三维控制装置包括：至少一个处理器，用于从近距离传感器和图像传感器接收信息。所述至少一个处理器可以用于：当所述近距离传感器以第一功率消耗水平运行时，从所述近距离传感器接收与检测对象相关的第一数据，其中所述第一数据反映了所述对象相对于所述近距离传感器的至少一维位置；当所述近距离传感器以大于所述第一水平的第二功率消耗水平运行时，从所述图像传感器接收与检测对象相关的第二数据，其中所述第二数据反映了所述对象相对于所述图像传感器的至少二维位置；以及整合所述第一数据和第二数据来获得与所检测对象相关的三维信息。
实施例相关的其他方面将部分在下文的描述中列举，且部分从该描述中理解，或可以通过实施所述公开实施例来领会。
应当理解，上述概述和下文详细描述仅出于示例和说明目的，并不对权利要求形成限制。
附图说明
图1展示了可用于实施本申请实施例的双传感器控制装置的示例；
图2展示了一些公开实施例中的双传感器控制装置的图示示例；
图3展示了一些公开实施例中的双传感器控制装置的又一图示示例；
图4展示了一些公开实施例中的方法示例；
图5展示了一些公开实施例中的又一方法示例；
图6A-6F展示了手势的若干图示；
图7展示了判断手势速度的图解。
具体实施方式
下面将引用附图，更详细地描述示例实施例，附图中相同或相似的部分尽可能地使用了相同标号来表示。
本发明实施例可以包括双传感器控制装置，该装置可以包括采用了探测近距离、图像数据或环境条件中的一种或多种的至少2个传感器的任何装置。图1展示了可用于实施所述公开实施例的双传感器控制装置100的一个示例。该双传感器控制装置可以与其他部件一同包含在下述物体中：移动电话、智能眼镜、个人电脑(PC)、娱乐装置、机顶盒、电视、移动游戏机、平板电脑、电子阅读器、便携游戏机、便携电脑(例如笔记本电脑或超极本电脑)、家用电器(例如厨房电器)、通讯装置、空调恒温器、插接站、游戏机(例如移动视频游戏装置)、数码相机、手表、娱乐装置、音箱、智能家庭设备、多媒体播放器或多媒体***、基于位置的装置、微型投影仪或嵌入式投影仪、医疗装置(例如医疗显示装置)、运载装置、车载/空中信息娱乐***、导航***、可穿戴式设备、增强现实装置、可佩戴护目镜、机器人、交互式数字标牌、数字报刊亭、自动售货机、自动取款机(ATM)，或可从用户接收数据或输出数据给用户的任何其它装置。此外，所述双传感器控制装置可以是手持式(例如由用户手持)或非手持式的。如图1所示，装置100可以包括处理器110、图像传感器120、近距离传感器130、存储器140和显示器150。
本发明的实施例可以包括至少一个处理器。在本申请中，处理器除其他部分外还可以包括：可用于在至少一个输入变量上执行逻辑操作的任何电路，包括例如一个或多个集成电路、微芯片、微控制器和微处理器，其可以是部分或整个的中央处理器(CPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、图形处理器(GPU)或本领域技术人员已知的任何其他适用于执行指令或实现逻辑操作的电路。图1中的示例处理器110可以从近距离传感器和图像传感器接收信息。例如，如图1所示，处理器110可以连接至少一个图像传感器120和至少一个近距离传感器130，由此处理器110可以从所述至少一个图像传感器120和至少一个近距离传感器130接收信息。虽然图1中显示了一个处理器，但装置100可以包括多个处理器，其可以提供不同的处理能力(例如，专门的图形处理)和/或可以提供平行处理功能。可以使用单一处理器实现多个功能，或可以在多个处理器之间分配多个相关和/或不相关的功能。
本发明的实施例可以包括图像传感器。除其他部分外，图像传感器还可以包括一个或多个CCD图像传感器、CMOS图像传感器、照相机、光传感器、IR传感器、超声传感器、近距离传感器、短波红外(SWIR)图像传感器、反射率传感器，或任何其他能够感应到环境视觉特征的装置。此外，图像传感器可以包括，例如，单个感光器或能够扫描区域的1-D线传感器、2-D传感器，或包含例如多个2-D图像传感器的立体传感器。图像传感器可以关联用于将特定区域的光聚焦到图像传感器上的透镜。图像传感器捕捉到的图像可以由图像传感器数字化后输入到处理器中，或可以模拟形式输入到处理器中再由处理器数字化。举例而言，图1展示了作为装置100部件的图像传感器120。但是，在可选实施例中，图像传感器120可以位于装置100外部。
实施例还可以包含近距离传感器。除其他部分外，示例性近距离传感器还可以包括以下一种或多种：电容传感器、电容位移传感器、激光测距仪、使用飞行时间(TOF)技术的传感器、IR传感器、检测磁畸变的传感器，或能够生成表明对象存在于近距离传感器附近的信息的任何其他传感器。在一些实施例中，近距离传感器产生的信息可以包括对象与近距离传感器的距离。近距离传感器可以是单一传感器或一组传感器。图1展示了作为装置100部件的近距离传感器130。但是，在可选实施例中，近距离传感器130可以位于装置100外部。
实施例还可以包含存储器。存储器可以包含，例如，以下一种或多种：永久存储器、ROM、EEPROM、EAROM、闪存装置、磁碟、磁光碟、CD-ROM、DVD-ROM、蓝光等，且可以包含指令(即软件或固件)或其他数据。举例而言，图1展示了连接在处理器110上的存储器140。一般而言，处理器110可以接收由存储器140存储的指令和数据。因此，在一些实施例中，处理器110执行软件或固件，从而通过操作输入的数据并产生输出来实现功能。但是，处理器100也可以是，例如，专门的硬件或应用专用集成电路(ASIC)，通过操作输入的数据并产生输出来履行流程。处理器110可以是以下各项的任意组合：专用硬件、一种或多种ASIC、一种或多种通用处理器、一种或多种DSP、一种或多种GPU，或一种或多种其他能够处理数字信息的处理器。图1展示了作为装置100部件的存储器140。但是，在可选实施例中，存储器140可以位于装置100外部。
实施例还可以包括显示器。显示器可以包括，例如，以下一种或多种：电视机、计算机显示器、头戴式显示器、广播参考监视器、液晶显示器(LCD)屏幕、发光二极管(LED)显示器、LED背光液晶显示器、阴极射线管(CRT)显示器、电致发光(ELD)显示器、电子纸/墨水显示器、等离子体显示面板、有机发光二极管(OLED)显示器、薄膜晶体管显示器(TFT)、高性能寻址显示器(HPA)、表面传导电子发射显示器、量子点显示器、干涉式调制显示器、扫描体显示器、碳纳米管显示器、变焦镜显示器、发射体积显示器、激光显示器、全息显示器、光场显示、投影仪及投影其上的表面，或任何其他用于输出视觉信息的电子装置。显示器可以包括触摸屏或作为触摸屏的一部分。图1展示了作为装置100部件的显示器150。但是，在可选实施例中，显示器150可以位于装置100外部。此外，在一些实施例中，可以完全省略显示器150。
图2提供了装置100的图解示例。如图2所示，图像传感器120的位置可以设置为捕捉可在显示器150上查看的某区域图像。类似地，近距离传感器130的位置可以设置为捕捉与至少部分显示器可查看位置相关的近距离数据。在图2所示实施例中，图像传感器120位于中央水平位置，且近距离传感器130位于图像传感器130侧面。但是，在其他实施例中，图像传感器120和近距离传感器130都可以位于中央水平位置，或图像传感器120和近距离传感器130都可以位于非中央水平位置。此外，在一些实施例中，近距离传感器130无方向性(即，其可用于在所有方向上提供对象相关的近距离数据)；在所述实施例中，近距离传感器130可以位于装置100上或装置100内部的任意位置，或位于装置100外部的任意位置。
图3提供了装置100的又一图解示例。虚线310可以代表图像传感器120的视野。虚线320可以代表近距离传感器130可检测到对象存在和/或与对象之间距离的区域。如图3所示，在一些实施例中，图像传感器120的视野可以窄于近距离传感器130可以检测到对象存在和/或与对象之间距离的区域。但是，在其他实施例中，近距离传感器130的视野可以窄于图像传感器120，或与之相同，或指向与之不同的方向。
图4展示了处理器110可以执行的示例方法400。例如，如上所述，装置100的处理器110可用于，通过执行存储于存储器140中的软件或固件，执行所述操作，或可以用于使用专用硬件或一个或多个ASIC来执行所述操作。
在一些实施例中，可以使用至少一个处理器，来在图像传感器处于第一状态时，从近距离传感器接收第一数据。例如，关于图4所示的操作410，处理器110可以在图像传感器120处于第一状态时，从近距离传感器130接收第一数据。
可由处理器110接收的第一数据可以包括表示待测对象存在的任何信息。例如，该第一数据可以包括一维数据，所述一维数据反映着虚线320所示区域内且距离近距离传感器130某距离内的存在对象。例如，在一些实施例中，该一维数据可以表示对象是否处在距近距离传感器130预定距离(例如20cm)内。在其他实施例中，该一维数据可以表示近距离传感器130离最近对象的距离。在其他实施例中，该一维数据可以表示对象是否存在于近距离传感器130的视野(例如，虚线320内)内。例如，在一些实施例中，近距离传感器130可以包括用于判断近距离传感器130的视野内是否存在任何对象并输出该判断结果至处理器110的处理器。
在一些实施例中，近距离传感器130可用于向处理器110输出表示对象存在和/或距离的模拟信号。在所述实施例中，处理器110可用于将模拟信号转换为表示对象存在和/或距离的数字信号。例如，处理器110可以向模拟信号应用一个或多个阈值，以判断对象存在和/或距离。在其他实施例中，处理器110可以直接从近距离传感器130接收表示对象存在和/或距离的数字信号。
在一些实施例中，所述第一数据与第一分辨率相关联。例如，该第一分辨率可以是对单一传感器检测到的对象的存在和/或距离的单一表示(例如，一维数据)。在其他实施例中，该第一分辨率可以是对对象存在和/或距离的多个表示。例如，近距离传感器130可以包括一组近距离传感器(例如一组16个近距离传感器)，其中每个均用于判断虚线320所示区域内的一个对象的存在和/或距离。
图像传感器的第一状态可以包括图像传感器的任何操作模式。如下文中更详细叙述，图像传感器120可用于在第一状态和第二状态下运行，其中该第二状态不同于第一状态。例如，在一些实施例中，图像传感器120可以包括关闭状态和第一功率状态中的至少一种。所述第一功率状态可以是，例如，图像传感器120不会伴随其一种或多种设定而显著占用处理器和/或电池资源的状态。例如，该第一功率状态可以包括待机模式。在又一实施例中，该第一功率状态可以包括第一采样率、第一分辨率和第一曝光时长中的至少一种。对于第一采样率，图像传感器120可用于捕捉仅有限的少量图像。例如，图像传感器120可以仅在用户请求(例如在用户选择图像捕捉按钮后)后捕捉图像。第一采样率可以还包括，例如，低频捕捉的图像(例如，图像传感器120可以每分钟一次地自动捕捉图像)。类似地，第一分辨率可以包括暂停图像传感器120相关的某些传感器的方案。例如，图像传感器120可以由1024个传感器的网格组成。当在第一分辨率下操作时，图像传感器120可用于仅使用16个传感器。第一曝光时长可以包括，例如，长曝光时长(例如，当需保存处理器资源时)或短曝光时长(例如，当需保存电池资源时)。
图像传感器120的第一状态无需限于功耗节省状态。例如，图像传感器120可用作非手势检测相关目的(例如，用于摄影)。图像传感器120的第一状态可以是优化图像传感器120用于非手势检测相关目的的设定。例如，可以优化图像传感器120的分辨率、帧频和曝光时长以用于非手势检测相关目的。在一个实施例中，若图像传感器120用于摄影，则可以使用高于手势检测分辨率的分辨率。
在一些实施例中，处理器110还用于，基于从加速计和陀螺仪中的至少一种，判断近距离传感器和图像传感器面朝用户。例如，装置100可以包括加速计和陀螺仪中的至少一种(图1中未显示)。处理器110可用于从加速计和/或陀螺仪接收数据。处理器110可用于从加速计和/或陀螺仪接收数据，以判断装置100的位置和运动。存储器140可以存储关于多种可能位置和/或动作及相关的可能动作的数据。例如，处理器110可以分析装置100的已判断位置和运动，以判断装置100是否来回移动(例如在用户口袋中)或朝上移动然后静止(例如被用户拿起继而面朝用户)。若判断结果是近距离传感器和图像传感器并未面朝用户，则处理器110可设置为忽略所述第一数据。
在一些实施例中，可以设置至少一个处理器来利用所述第一数据，以判断近距离传感器附近存在对象。在本发明的实施例中，处理器可设置为通过分析来自近距离传感器的数据，用任何判断对象存在的方法，来判断对象的存在。例如，如图4所示的操作420中，处理器110可用于使用第一数据来判断近距离传感器130附近存在对象。
该对象可以包括，例如，一只或多只手、一个或多个手指、一个或多个指尖、手的一个或多个其他部分，或一个或多个用户相关的手持对象。可以根据从近距离传感器130接收到的第一数据来判断对象的存在。在一些实施例中，只要第一数据表示虚线320所示区域中存在对象，则处理器110可以判断对象的存在。在其他实施例中，若第一数据表示虚线320所示区域中距离近距离传感器130预定距离内存在对象，则处理器110可以判断对象的存在。
在分析第一数据的一个实施例中，近距离传感器130可以生成具有表示与对象间距离的电压水平的模拟信号。若近距离传感器130附近无对象，则该电压水平可以是最大值，例如1V。若对象在距离近距离传感器130预定距离内，则该电压水平可以反映对象距离近距离传感器130有多近(例如，若对象位于预定距离与近距离传感器130之间的中点，则该电压水平可以是一个中间值(例如，0.5V))。近距离传感器130可以包括将模拟值转换为距离数据的处理器。例如，近距离传感器130可以接入将模拟值映射为距离值的数据库。可选地，该模拟值可以传递给可以将模拟值转化为距离值的处理器110。
处理器110可用于，基于对所判断的在近距离传感器附近的对象的存在，启用手势控制。例如，如下文中更详细所述，处理器110可用于改变图像传感器120的状态，以允许手势检测。此外，处理器110可执行例如存储在存储器140中的手势检测程序。在一些实施例中，处理器110还用于，基于对近距离传感器附近存在对象的确定，开启显示器150。
在一些实施例中，可以设置至少一个处理器，来基于对近距离传感器附近存在对象的确定，向图像传感器输出信号，以使得图像传感器进入不同于第一状态的第二状态。例如，关于图4中的操作430，处理器110可用于，基于对近距离传感器附近存在对象的确定，向图像传感器120输出信号，以使得图像传感器120进入不同于第一状态的第二状态。
例如，若处理器110判断近距离传感器视野内任一处存在对象，则处理器110可以向图像传感器120输出信号。例如，若处理器110判断对象在虚线320所示区域内存在了预定时长，则处理器110可以向图像传感器120输出信号。在又一实施例中，若处理器110判断对象在虚线320所示区域内存在了任意时长，则处理器110可以向图像传感器120输出信号。
图像传感器120的第二状态可以包括，例如，开启状态和高于第一功率状态的第二功率状态中的至少一种。例如，若第一状态是关闭状态或待机模式，则第二状态可以是开启状态。类似地，若该第一状态为第一功率状态，则第二状态可以是高于所述第一功率状态的第二功率状态。
在一些实施例中，该第二状态是不同于第一采样率的第二采样率、不同于第一分辨率的第二分辨率、不同于第一曝光时长的第二曝光时长中的至少一种。例如，当以第二采样率运行时，图像传感器120可用于比第一采样率更频繁地捕捉图像。类似地，当以第二分辨率运行时，图像传感器120可以用于使用图像传感器120相关的更多传感器(例如，可以重新启动此前暂停的图像传感器120传感器)。该第二曝光时长可以包括，例如，短曝光时长(例如，若在第一状态下节省处理器资源)或长曝光时长(例如，若在第一状态下节省电池资源)。
此外，如上所述，图像传感器120的第一状态可以是一种对图像传感器120进行优化，以将其用于不涉及功耗节省的非手势检测相关目的的设定。在第二状态下，可以优化图像传感器120的分辨率、帧频和曝光时长，以用于手势检测。例如，可以通过实验判断足以检测对象的分辨率、足以检测手势的帧频和足以检测手势的曝光时长。
在一些实施例中，处理器110还可以用于输出信号至图像传感器，以令其在对象到达图像传感器视野前进入第二状态。例如，在一些实施例中，处理器110可以在处理器110判断近距离传感器130附近存在对象后，在执行任何其他操作前先立即输出信号至图像传感器120。在又一实施例中，存储器140可以存储关于典型手势从被判断存在于近距离传感器130附近后至到达图像传感器120的视野前所需时间长度的信息。处理器110可以用于使用存储器140中的数据，计算何时发送信号，由此在手势到达图像传感器120的视野前令信号到达图像传感器120。
在一些实施例中，可以使用至少一个处理器来从处于第二状态的图像传感器接收第二数据。例如，关于图4中的操作440，处理器110可用于从处于第二状态的图像传感器120接收第二数据。
第二数据可以包括处理器从图像传感器接收的任何信息。例如，该第二数据可以包括二维数据。该二维数据可以包括，例如，图像传感器120捕获的图像信息。该图像信息可以包括，例如，一种或多种模拟图像、数字图像、模拟图像的子集、数字图像的子集、图像信号处理器处理后的数字信息、图像传感器120感应到的数据相关信息的数学表达式或变形、视觉信息(例如图像中的一种或多种频率)、概念信息(例如一个或多个对象在图像传感器视野中的存在)。在一些实施例中，该图像信息还可以包括，例如，表示图像传感器120的状态、图像传感器120的参数(例如曝光)、帧频、图像分辨率、颜色比特分辨率、深度分辨率和视野的信息，在图像捕捉期间来自其他传感器的信息(例如近距离传感器信息、加速计信息、描述图像捕获后的进一步处理的信息、图像捕获期间的照明条件、图像传感器120从数字图像中提取的特征或任何其他与图像传感器120感应到的数据有关的信息)。该图像信息可以包括，例如，单一静止图像或一组图像(例如视频)。
在一些实施例中，该第二数据关联着高于第一分辨率的第二分辨率。例如，如上所述，当以第二分辨率运行时，图像传感器120可以用于使用图像传感器120相关的更多传感器(例如，可以重新启动图像传感器120此前暂停的的传感器)。
所述第二数据可以包括对象的一幅或多幅图像。例如，该第二数据可以包括关联着虚线310所示视野的图像信息。若用户将手、手指或其他对象置于虚线310所示视野中，则图像传感器120可以捕捉该手、手指或其他对象的图像。
处理器110可以用于，根据例如第二数据中的对象轮廓和/或位置，检测第二数据中的对象。例如，处理器110可以接入对象相关的滤波掩模，并将该滤波掩模应用于第二数据，以判断对象是否存在于第二数据中。亦即，例如，可以将第二数据中与该滤波掩模相关性最高的位置判断为对象相关位置。处理器110还可以用于接入关联着多个不同手势的多个不同滤波掩模。因此，例如，可以使用多个不同滤波掩模中与图像信息相关性最高的一个滤波掩模，来判断该滤波掩模所关联的手势是对象的手势。本领域已知其他用于检测真实世界对象的图像信息的技术(例如，边缘匹配、灰度匹配、梯度匹配和其他基于图像特征的方法)，且所述技术还可以用于检测第二数据中的对象。此外，相同技术可用于检测第二数据中的多个对象。例如，处理器110可以用于检测第二数据中可见的手的中心位置和该手的每一指尖的中心位置。例如，美国专利7584113和美国专利8199115公开了用于执行对象检测的技术，两者均以引用方式全文并入本申请。
在一些实施例中，装置100配置为启用手势控制。例如，在一些实施例中，处理器110还配置为根据所判断的在近距离传感器附近的对象的存在，启用手势控制。除其他方面外，该手势控制还可基于第二数据。在一些实施例中，该第二数据反映了手势。例如，对象可以正在一次或多次作出手势，期间图像传感器120捕捉对象图像。因此，第二数据可以反映作出该手势的对象。在一些实施例中，作出手势的是手和手指中的至少一种。手势可以包括，例如，轻扫手势、两指收缩手势、指向存在于显示屏上的对象的指点手势、从右向左手势、向上手势、向下手势、推动手势、挥动手势、拍掌手势、反拍手势、展开手指的手势、展开手指的相反手势、对显示屏上呈现的对象持握预定时长的持握手势、与显示屏上呈现的对象相关联的点击手势、双击手势、右点击手势、左点击手势、底部点击手势、顶部点击手势、抓取手势、从右侧向显示屏呈现的对象推进的手势、从左侧向显示屏呈现的对象推进的手势、从显示屏呈现的对象穿过的手势、***手势、倾斜手势、对显示屏上呈现对象的顺时针或逆时针两指抓取手势、点击-拖动-释放手势、滑动图标(例如音量条)的手势，或与手、手指或其他对象相关的任何其他动作。
在一些实施例中，处理器110还用于区分多个预设手势。例如，处理器110可以用于判断第二数据中的对象相关的一个或多个位置，以判断对象所执行的手势。例如，处理器110可以用于分析第二数据，从中判断用户的手从图像传感器120视野左侧向图像传感器120视野右侧的移动，并且根据该判断结果，检测从左到右的手势。类似地，处理器110可用于分析第二数据，从中判断一个或多个手指位置以环形动作来回运动，且根据该判断结果，检测挥动手势。在一些实施例中，处理器110还用于，至少部分根据对第一数据和第二数据的分析判断手势。例如，处理器110可以用于根据下文中详述的方法500中的操作判断手势。
在一些实施例中，可以设置至少一个处理器来输出第二数据所关联的消息和命令中的至少一种。例如，关于图4中的操作450，处理器110可以用于输出第二数据所关联的消息和命令中的至少一种。例如，处理器110可以用于将所述消息或命令发往任意类型的目的地，包括但不限于，操作***、一种或多种服务、一种或多种引用、一种或多种装置、一种或多种远程引用、一种或多种远程服务，或一种或多种远程装置。
信息可以包括，例如，发往外部装置上运行的应用、外部装置上运行的服务、外部装置上运行的操作***、外部装置上运行的进程、外部装置上运行的一种或多种应用、外部装置背景下运行的软件程序，或外部装置上运行的一种或多种服务的信息。此外，例如，该信息可以包括发往装置上运行的应用、装置上运行的服务、装置上运行的操作***、装置上运行的进程、装置上运行的一种或多种应用、装置背景下运行的软件程序，或装置上运行的一种或多种服务的信息。
该信息还可以包括，例如，作为对选取的图形元素的响应，而对外部装置上运行的应用、外部装置上运行的服务、外部装置上运行的操作***、外部装置上运行的进程、外部装置上运行的一种或多种应用、外部装置背景下运行的软件程序，或外部装置上运行的一种或多种服务所识别出的图形元素相关数据的请求信息。该信息还可以包括，例如，作为对选取的图形元素的响应，而对装置上运行的应用、装置上运行的服务、装置上运行的操作***、装置上运行的进程、装置上运行的一种或多种应用、装置背景下运行的软件程序，或装置上运行的一种或多种服务所识别出的图形元素相关数据的请求信息。
指令可以包括，例如，在外部装置或网站上运行应用的指令、停止在外部装置或网站上运行应用的指令、在外部装置或网站上启用服务的指令、停止外部装置或网站上运行的服务的指令，或发送在图像中识别的图形元素相关信息的指令。发往装置的信息可以是指令。例如，该指令可以选自在装置上运行应用的指令、停止在装置上运行应用的指令、在装置上启用服务的指令、停止装置上运行的服务的指令，或发送从图像中识别的图形元素相关信息的指令。
如上所述，在一些实施例中，第二数据反映的至少是对象相对于图像传感器的二维位置。此外，如上所述，处理器110可以用于，根据该二维位置所关联的手势，判断特定信息或特定指令。在一些实施例中，所述消息和命令中的至少一种还关联着所述二维位置。例如，处理器110可以用于根据该二维位置所关联的手势判断特定信息或特定指令。例如，存储器140可以存储将多种不同手势关联到多个不同信息和/或多个不同指令的数据库。处理器110可以用于根据该数据库选择特定消息或命令。例如，从左到右的手势可以使得处理器110选择令显示器150上呈现的图片向右移动的指令。挥动手势可以使得处理器110选择令装置100上运行的应用停止的指令。
如上所述，在一些实施例中，第一数据反映了对象相对于近距离传感器的至少一维位置。此外，如上所述，处理器110可以用于根据第一数据判断手势。例如，若用户以预定模式将对象置于近距离传感器130附近(例如接近预定时长，再远离预定时长，然后再次接近预定时长)，则处理器110可以用于检测特定手势。在一些实施例中，所述消息和命令中的至少一种还关联着该一维位置。例如，处理器110可以用于根据特定检出手势，选择消息和命令中的至少一种。例如，处理器110可以用于，通过选择数据库中与所检出的特定手势相关联的消息和命令中的至少一种，来选择消息和命令中的至少一种。
如上所述，在一些实施例中，处理器110可以用于根据第一数据和第二数据来判断手势，所述第一数据可以至少包括对象的一维位置，所述第二数据可以至少包括对象的二维位置。如下文中详细叙述的方法500，处理器110可以用于根据该第一数据和第二数据来判断手势。此外，如下文中详细叙述的方法500，在一些实施例中，进一步将所述消息和命令中的至少一种与所述一维位置和二维位置相关联。例如，处理器110可以用于，根据与所述一维位置和二维位置相关联的已判断手势，选择消息和命令中的至少一种。
在一些实施例中，所述消息和命令中的至少一种进一步与第一数据和第二数据相关联，所述第一数据是在对象到达图像传感器视野前获得的，所述第二数据是在对象到达图像传感器视野后获得的。例如，在对象(例如，手或手指)到达图像传感器140视野前从近距离传感器130获得的第一数据可以与来自图像传感器120的第二数据相整合，以判断对象相关的三维信息。处理器110可以用于以如下方法500所述的方式来执行该数据整合。可以分析该三维信息，来以如下方法500所述的方式判断手势。
在一些实施例中，处理器110还用于输出第二信号至图像传感器，以使得该图像传感器在达成预设条件后进入第三状态。例如，处理器110可以用于，使用来自近距离传感器的数据，判断对象是否离开了近距离传感器的视野，并根据对其是否离开的判断结果，输出第二信号至图像传感器，以使得图像传感器进入第三状态。该第三状态可以是，例如，与第二状态不同的任何状态，上述的任何相对于第一状态的状态，或功率需求低于第二状态但高于第一状态的任何状态。该预设条件可以包括，例如，确定对象离开了近距离传感器130的视野。预设条件的其他例子可以包括，例如，选择了关闭装置100的按钮，确定对象离开了图像传感器120的视野，确定近距离传感器130在预定时间长度内未检测到对象，选择了关闭显示器150的按钮，预设手势，预设装置状态，装置位置，应用在前台运行，以及应用在后台运行。
在一些实施例中，处理器110还用于输出第二信号至近距离传感器，以使得近距离传感器改变为不同状态。例如，近距离传感器130的不同状态可以包括关闭状态、具有改变的采样率的状态和具有改变的功率模式的状态中的至少一种。处理器110可以用于输出第二信号至近距离传感器130，以根据例如关闭装置100的按钮选择或关闭显示器150的按钮选择，使得近距离传感器130改变为不同状态。
图5展示了可以由处理器110执行的示例性方法500。例如，如上所述，装置100的处理器110可以用于通过运行存储器140中存储的软件或固件，执行所述操作，或可以用于使用专用硬件或一个或多个ASIC执行所述操作。
在一些实施例中，可以使用至少一个处理器，以在近距离传感器以第一功率消耗水平运行时，从近距离传感器接收与检测对象相关联的第一数据，其中所述第一数据至少反映了对象相对于近距离传感器的一维位置。例如，关于图5中的操作510，处理器110可以用于在近距离传感器130以第一功率消耗水平运行时，从近距离传感器130接收与检测对象相关联的第一数据。所述第一数据可以至少反映对象相对于近距离传感器130的一维位置。
检测对象可以包括，例如，任何上述对象。例如，检测对象可以包括一只或多只手、一只或多只手指、一只或多只指尖、手的一个或多个其他部分，或用户相关的一个或多个手持对象。如上关于方法400所述，第一数据可以包括，例如，反映存在于虚线320所示区域中距离近距离传感器130一定距离的对象的一维位置。例如，在一些实施例中，一维位置可以表示对象是否存在于距离近距离传感器130预设距离(例如20cm)内。在其他实施例中，一维位置可以表示近距离传感器130至最近对象的距离。在一些实施例中，所述一维位置可以反映近距离传感器130检出的信号强度。
如上所述，在一些实施例中，近距离传感器130可以用于向处理器110输出表示对象的存在和/或距离的模拟信号。在所述实施例中，处理器110可以用于将模拟信号转化为表示对象的存在和/或距离的数字信号。例如，处理器110可以向模拟信号应用一个或多个阈值，或使用数据库将模拟信号映射至距离，以判断对象存在和/或距离。在其他实施例中，处理器110可以直接从近距离传感器130接收表示对象存在和/或距离的数字信号。一维位置可以包括，例如，反映与对象相距距离的任何信息，例如距离近距离传感器130的实际距离、对象和另一位置之间的相对距离、可能距离范围、对象是否有远离近距离传感器130的迹象、对象是否有接近近距离传感器130的迹象等等。
在一些实施例中，第一数据关联着第一分辨率。例如，第一分辨率可以是对单一传感器检测到的对象的存在和/或距离的单一表示(例如，一维数据)。在其他实施例中，该第一分辨率可以是对对象存在和/或距离的多个表示。例如，近距离传感器130可以包括一组近距离传感器(例如一组16个近距离传感器)，其中每个均用于判断虚线320所示区域内的一个对象的存在和/或距离。
近距离传感器130相关的第一功率消耗水平可以包括，例如，相对较低的功率消耗。例如，如下所述，第一功率消耗水平可以低于图像传感器120的相关功率消耗。例如，近距离传感器130相关的每个传感器可以需要特定量的功率来运行。此外，近距离传感器130可以用于根据感应速率在各种不同功率消耗水平上运行。例如，近距离传感器130可以用于每隔10毫秒、每隔1秒、每隔10秒、每隔1分钟或以其他任意频率感应一次接近它的对象。在一些实施例中，近距离传感器130可以在探测到对象之前以第一频率运行，然后近距离传感器130可以在高于第一频率的第二频率下运行。
在一些实施例中，可以设置至少一个处理器，从而在图像传感器以高于第一水平的第二功率消耗水平运行时，从图像传感器处接收检测对象相关的第二数据，其中该第二数据反映了对象相对于图像传感器的至少二维位置。例如，关于图5中的操作520，处理器110可以用于在图像传感器120以高于第一水平的第二功率消耗水平运行时，从图像传感器120处接收检测对象相关的第二数据。该第二数据可以反映对象相对于图像传感器120的至少二维位置。
如上关于方法400所述，该第二数据可以包括，例如，二维数据。该二维数据可以包括，例如，图像传感器120捕获的图像信息。该图像信息可以包括，例如，一种或多种模拟图像、数字图像、模拟图像的子集、数字图像的子集、图像信号处理器处理后的数字信息、图像传感器120感应到的数据相关信息的数学表达式或变形、视觉信息(例如图像中的一种或多种频率)、概念信息(例如一个或多个对象在图像传感器视野中的存在)。在一些实施例中，该图像信息还可以包括，例如，表示图像传感器120的状态、图像传感器120的参数(例如曝光)、帧频、图像分辨率、颜色比特分辨率、深度分辨率和视野的信息，在图像捕捉期间来自其他传感器的信息(例如近距离传感器信息、加速计信息、描述图像捕获后的进一步处理的信息、图像捕获期间的照明条件、图像传感器120从数字图像中提取的特征或任何其他与图像传感器120感应到的数据有关的信息)。该图像信息可以包括，例如，单一静止图像或一组图像(例如视频)。
在一些实施例中，该第二数据关联着高于第一分辨率的第二分辨率。例如，如上所述，当以第二分辨率运行时，图像传感器120可以用于使用图像传感器120相关的更多传感器(例如，可以重新启动此前暂停的图像传感器120的传感器)。
所述第二数据可以包括对象的一幅或多幅图像。例如，该第二数据可以包括关联着虚线310所示视野的图像信息。若用户将一只手、手指或其他对象置于虚线310所示视野中，则图像传感器120可以捕捉该手、手指或其他对象的图像。该第一数据可以反映与对象之间的距离，而第二数据可以反映对象的水平和垂直位置。因此，该二维位置可以包括对象的水平位置和对象的垂直位置。该水平和垂直位置可以是，例如，相对于图像传感器120的位置的位移，可以是图像传感器120捕获的图像内的相对位置，或可以是反映对象的水平位置和垂直位置的其他数值。
处理器110可以用于，根据例如第二数据中的对象轮廓和/或位置，检测第二数据中的对象。例如，处理器110可以接入对象相关的滤波掩模，并将该滤波掩模应用于第二数据，以判断对象是否存在于第二数据中。亦即，例如，可以将第二数据中与该滤波掩模相关性最高的位置判断为对象相关位置。处理器110还可以用于接入关联着多个不同手势的多个不同滤波掩模。因此，例如，可以使用多个不同滤波掩模中与图像信息相关性最高的一个滤波掩模，来判断该滤波掩模所关联的手势是对象的手势。本领域已知其他用于检测真实世界对象的图像信息的技术(例如，边缘匹配、灰度匹配、梯度匹配和其他基于图像特征的方法)，且所述技术还可以用于检测第二数据中的对象。此外，相同技术可用于检测第二数据中的多个对象。例如，处理器110可以用于检测第二数据中可见的手的中心位置和该手的每一指尖的中心位置。例如，美国专利7584113和美国专利8199115公开了用于执行对象检测的技术，两者均以引用方式全文并入本申请。
图像传感器120相关的第二功率消耗水平可以高于近距离传感器130相关的第一功率消耗水平。例如，图像传感器120可以包括大量传感器，其中每个传感器需要的功率均相对高于于近距离传感器130的一个或多个传感器，和/或可以在高于近距离传感器130的频率(需要更高的总功率)运行。
在一些实施例中，处理器110还用于，基于从加速计和陀螺仪中的至少一种，判断近距离传感器和图像传感器面朝用户。例如，如上所述，装置100可以包括加速计和陀螺仪中的至少一种(图1中未显示)。处理器110可用于从加速计和/或陀螺仪接收数据。处理器110可用于从加速计和/或陀螺仪接收数据，以判断装置100的位置和运动。存储器140可以存储关于多种可能位置和/或动作及相关的可能动作的数据。例如，处理器110可以分析装置100的已判断位置和运动，以判断装置100是否来回移动(例如在用户口袋中)或朝上移动随即静止(例如被用户拿起继而面朝用户)。若判断结果是近距离传感器和图像传感器并未面朝用户，则处理器110可设置为忽略所述第一数据。
在一些实施例中，可以设置至少一个处理器，用于整合第一数据和第二数据，以获得检测对象相关的三维信息。例如，关于图5中的操作520，处理器110可以用于整理第一数据和第二数据以获得检测对象相关的三维信息。第一数据和第二数据的整合可以包括，例如，生成一个或多个时间点上的三维信息。例如，第一数据可以包括捕获第一数据的一个或多个时间点。相似地，第二数据可以包括捕获第二数据的一个或多个时间点。处理器110可以用于，例如匹配相同时间点或基本相同时间点上的第一数据信息和第二数据信息(例如，在手或手指没有或几乎没有发生移动的时间间隔内捕获的信息)。但是，处理器110还可以用于不考虑时间点地匹配第一数据和第二数据中的信息。
如上所述，处理器110可用于从第一数据确定对象距离相关信息，并从第二数据确定对象的水平和垂直位置相关信息。处理器110可以用于整合距离信息、水平位置信息和垂直位置信息，以获得三维信息。例如，距离信息、水平位置信息和垂直位置信息可以均关联着对象的位置。此外，如上所述，处理器110可以用于确定第二数据中的多个对象(例如，多个指尖和全手)。在一些事实在，第一数据所关联的距离信息可以应用于第二数据中的多个检测对象中的每个对象的水平和垂直位置上。但是，若近距离传感器130包括足以区分多个对象的分辨率，则第一数据中代表与多个对象之间距离的不同部分可以被关联于多个检测对象中每个对象的水平和垂直位置。
在一些实施例中，处理器110可以用于，根据在多个不同时间点捕获的一系列距离、水平位置和垂直位置来确定对象的一系列三维位置。例如，可以通过上述方式，确定对象的每个三维位置。此外，在一些实施例中，处理器110可以用于确定多个对象中的每个对象的一系列三维位置(例如，用户指尖和全手所关联的一系列三维位置)。
在一些实施例中，处理器110还用于使用三维信息判断手势。例如，由手和手指中的至少一种所执行的手势。除了如上方法400中所述的手势之外，所述手势还可以包括，例如，放大手势、缩小手势、顺时针圆形手势、逆时针圆形手势、与显示屏平行的手势、与显示屏不平行的手势、对象先接近再远离装置的定向手势，或对象先远离再接近装置的定向手势。
图6A图解了放大手势的示例。放大手势可以包括，例如，手向显示器150靠近同时两只或更多手指相互远离的动作。图6B图解了缩小手势的示例。缩小手势可以包括，例如，手远离显示器150同时两个或更多手指朝彼此移动的动作。若仅使用水平和垂直位置信息，可能难于区分放大手势和缩小手势。例如，用户可能将初始为分开的分开多个指尖聚拢，以开始放大手势，而该手势的初始阶段可能被误认为是缩小手势。类似地，用户可能将初始为聚拢的多个指尖分开以开始缩小手势。处理器110可以用于，使用所述三维信息来区分放大手势和缩小手势。例如，处理器110可以用于使用第一数据来判断检测对象是否正在接近或远离所述装置，使用第二数据来判断检测对象所关联的一个或多个指尖是否分开或并拢，并根据对检测对象是否正在接近或远离所述装置的判断和对检测对象所关联的一个或多个指尖是否分开或并拢的判断，确定放大手势和缩小手势中的至少一种。例如，若处理器110判断检测对象正在接近所述装置，且检测对象在接近所述装置期间，一个或多个指尖是最初并拢然后分开的，则处理器110可以检测到放大手势。若处理器110判断检测对象正在远离所述装置，且检测对象在远离所述装置期间，一个或多个指尖是最初分开然后并拢的，则处理器110可以检测到缩小手势。
在又一实施例中，处理器110可以用于，若检测到手指在手向装置移动的同时分开，在手远离装置移动的同时初始保持张开，并在手远离装置的同时闭合，则检测到放大手势。在又一实施例中，处理器110可以用于，若检测到手指在手向装置移动的同时分开，在手在装置附近时闭合，并在手向后远离装置的同时保持闭合，则检测到缩小手势。
在一些实施例中，处理器110还用于判断圆形手势。圆形手势可以包括，例如，顺时针圆形手势或逆时针圆形手势。图6C图解了顺时针圆形手势的示例。顺时针圆形手势可以包括，例如，对象(手或手指)做出沿第一方向接近或远离显示器150的环形、大致环形、椭圆形或大致椭圆形的动作。图6D图解了逆时针圆形手势的示例。逆时针圆形手势可以包括，例如，对象(手或手指)做出沿与第一方向相反的第二方向接近或远离显示器150的环形、大致环形、椭圆形或大致椭圆形的动作。若仅对第二数据中的二维水平和垂直位置数据进行分析，则可能难于区分顺时针和逆时针方向，因为在两种情景中，图像传感器120均可能探测到对象从左向右和从右向左运动。亦即，顺时针和逆时针圆形手势中可能出现相同的从左向右和从右向左动作。但是，在一些实施例中，处理器110可用于区分顺时针和逆时针圆形手势。特别地，处理器110可以用于，在对象移动时，分析对象与近距离传感器130之间的距离，以区分顺时针和逆时针圆形手势。在一个实施例中，若处理器110判断对象从左向右移动地接近装置100，继而从右向左移动地接近装置100，然后开始仍是从右向左移动地远离装置100，然后继续从左向右移动地远离装置100，则处理器110可以判断为顺时针圆形手势。若处理器110判断对象从左向右移动地远离装置100，继而从右向左移动地远离装置100，然后开始仍是从右向左移动地接近装置100，然后继续从左向右移动地接近装置100，则处理器110可以判断为逆时针圆形手势。
在一些实施例中，处理器110还用于，使用第一数据判断对象是否执行了与显示屏平行的手势。例如，如图6E中所示，对象可以平行于显示屏150沿从右向左的方向移动。相反，如图6F中所示，该对象可以沿从右向左方向移动同时远离近距离传感器130。在又一个非平行手势的实施例中，对象可以沿从右向左的方向移动，同时接近近距离传感器130。沿着相同水平和垂直路径和不同距离路径的平行和非平行手势，可能难于仅使用第二数据来却分。但是，处理器110可以用于通过分析第一数据来判断对象是否执行了平行于显示屏150的手势。例如，若手势到近距离传感器130的距离保持不变，以近距离传感器130和显示器150之间的位移相关的恒定速率减小或以近距离传感器130和显示器150之间的位移相关的恒定速率增大，则处理器110可以判断为平行于显示器150的手势。
在一些实施例中，处理器110还用于，使用第一数据，判断对象是否执行了点击手势。例如，处理器110可以用于分析第一数据和第二数据，以判断手是否接近所述装置然后远离所述装置。若处理器110判断手接近所述装置然后远离所述装置，则处理器110可以检测到点击手势。
在一些实施例中，处理器110还用于输出所述三维信息相关的消息和命令中的至少一种。信息可以包括如上方法400所述的各种信息。相似地，指令可以包括如上方法400中所述的各种指令。
在一些实施例中，处理器110可以用于输出已确定手势的相关信息和已确定手势的相关指令中的至少一种，从而允许手势控制。例如，若处理器110检测到放大手势，则处理器110可以用于向在显示器150上显示图片的应用输出指令，以放大部分图片。该图片的放大部分可以是根据例如对象相对于显示器150的位置。例如，图片的放大部分可以对应于显示器150与对象垂直的位置。类似地，若处理器110检测到了缩小手势，则处理器110可以用于输出指令至在显示器150上显示图片的应用，以减小图片尺寸。
在又一实施例中，若处理器110检测到顺时针圆形手势，则处理器110可以用于输出指令至在显示器150上显示大于显示器150的窗口的应用(例如展示着具有数个网页内容的网站的浏览器)，以令其在第一方向上滚动(例如，向上、向下、向左或向右)。类似地，若处理器110检测到逆时针圆形手势，则处理器110可以用于输出指令至在显示器150上显示大于显示器150的窗口的应用，以令其在不同于第一方向的第二方向上滚动(例如，向上、与第一方向相反的方向)。
在又一实施例中，若处理器110检测到平行于显示屏150的手势，则处理器110可以用于输出指令至在显示器150上显示图片的应用，以在手势方向上移动图片。但是，若处理器110检测到的是非平行手势而不是平行手势，哪怕其方向与平行手势相同，处理器110也可能用于执行不同动作。例如，若处理器110检测到相对于显示器150的向上方向的非平行手势，则处理器110可以用于输出信息至外部音箱，以提高音量。在又一实施例中，处理器110还可以用于根据检测到的手势来输出指令以启动应用或服务。
在又一实施例中，若处理器110检测到点击手势，处理器110可以用于输出指令以选择在显示器150上显示的应用的相关按钮。在又一实施例中，若处理器110检测到点击手势，则处理器110可以用于输出指令来启动点击手势所关联的应用。
在一些实施例中，处理器110还用于，使用第一数据确定对象到近距离传感器的距离，使用第二数据确定对象的运动，以及使用上述距离和运动，确定对象的速度。图7展示了确定速度的两个示例。在第一个实施例中，处理器110可以确定，对象的距离为z1，且对象在第一时间段内，水平移动穿过图像传感器120视野的第一部分，其移动量为x1。图像传感器120可以向处理器110提供图像传感器120的视野，或处理器110可以从存储器140访问视野相关数据。基于视野数据、距离数据和对象水平移动的相关数据，处理器110可以用于计算对象移动的实际距离。例如，处理器110可以用于确定特定距离上，视野所覆盖的全长，并将该全长乘以对象水平移动所覆盖的视野百分比。处理器110可以用于将对象移动的实际距离除以第一时间段，以确定对象的速度v1。
在第二个实施例中，处理器110可以确定对象的距离为z2，且对象在第一时间段内，水平移动穿过图像传感器120视野的第一部分，其移动量为x2。如图7所示，z2可以是长于z1的距离，且x2可以是与x1相等的图像传感器120视野部分。使用上述相同技术，处理器110可以确定与z2和x2相关的对象速度为v2。因为z2大于z1，本例中，v2大于v1。因此，处理器110可以用于确定手势相关的速度。
例如，如上所述，处理器110可以用于，使用三维数据来确定从左向右手势和从右向左手势中的至少一种。在一些实施例中，在从左向右手势和从右向左手势中，所述对象为手。处理器110可以用于确定对象速度，由此该速度反映的是手的速度。
类似地，如上所述，处理器110可以用于使用三维信息来确定圆形手势。在一些实施例中，环行手势中的对象为手指。处理器110可以用于确定对象速度，由此该速度反映的是手指的速度。所述消息或命令可以反映对象速度。例如，相对较快的顺时针圆形手势(例如，一圈小于0.5秒)可以使得处理器110输出指令以令显示器150上的窗口进行大滚动(例如，对于每圈，该窗口可以向下滚动一整页)。另一方面，相对较慢的顺时针圆形手势(例如，一圈大于0.5秒)可以使得处理器110输出指令以令显示器150上的窗口进行小滚动(例如，对于每圈，该窗口可以向下滚动一行)。
在所公开的实施例中，通过使用图像传感器120和近距离传感器130，可以在用于执行免触摸式姿态检测的已知技术上达成各种改进。例如，在一些实施例中，装置100的电池和处理器资源可以通过实施方法400和500来节省。又如，在一些实施例中，可以通过实施方法500，来达成对三维信息相关的手势检测的改进。
为了表达清楚，本说明书中将某些特征在不同实施例中进行了分别描述，但这些特征还可以组合在单一实施例中。反而言之，为了表达简要，本说明书还将多个特征在单一实施例中进行了描述，但这些特征还可以在多个实施例中分开实施，或以任何适当的亚组合实施。此外，虽然技术特征可以如上所述为以某些组合实施，且甚至在权利要求中作此表述，但在一些情况下，权利要求所述组合中的一个或多个特征可以从该组合中分离，且权利要求所述组合可以指向其亚组合或其亚组合的变形。
虽然本说明书描述了特定具体实施例，但仍存在不脱离权利要求书的其他实施例。

Claims (36)

1.双传感器控制装置，包括：
至少一个处理器，用于从近距离传感器和图像传感器接收信息，所述至少一个处理器配置为：
在所述图像传感器处于第一状态时，从所述近距离传感器接收第一数据；
使用接收到的所述第一数据，检测在所述近距离传感器附近是否有对象的存在；
根据所检测的所述对象的存在，输出信号，以在所述对象到达所述图像传感器的视野前，使得所述图像传感器进入不同于所述第一状态的第二状态；
从处于所述第二状态的所述图像传感器接收反映所述对象的图像的第二数据；
根据所述第一数据和所述第二数据的结合，判断所述对象执行的手势；和
输出与判断的所述手势相关的消息和命令中的至少一种。
2.根据权利要求1所述的装置，其特征在于，所述对象是手、手指和用于指示的手持对象中的至少一种。
3.根据权利要求2所述的装置，其特征在于，所述至少一个处理器进一步配置为区分多种预设手势。
4.根据权利要求2所述的装置，其特征在于，所述第一数据反映了所述对象相对于所述近距离传感器的至少一维位置，且所述消息和命令中的至少一种还与所述一维位置相关联。
5.根据权利要求2所述的装置，其特征在于，所述第二数据反映了所述对象相对于所述图像传感器的至少二维位置，且所述消息和命令中的至少一种还与所述二维位置相关联。
6.根据权利要求2所述的装置，其特征在于，所述第一数据反映了所述对象相对于所述近距离传感器的至少一维位置，所述第二数据反映了所述对象相对于所述图像传感器的至少二维位置，且所述消息和命令中的至少一种还与所述一维位置和所述二维位置相关联。
7.根据权利要求1所述的装置，其特征在于，所述至少一个处理器还配置为向所述图像传感器输出信号，以使得所述图像传感器在所述对象到达所述图像传感器的视野之前进入所述第二状态。
8.根据权利要求7所述的装置，其特征在于，所述消息和命令中的至少一种还与在所述对象到达所述图像传感器的视野之前所获得的所述第一数据、以及在所述对象到达所述图像传感器的视野之后所获得的第二数据相关联。
9.根据权利要求1所述的装置，其特征在于，所述至少一个处理器还配置为根据所判断的在所述近距离传感器附近对象的存在，允许手势控制。
10.根据权利要求1所述的装置，其特征在于，所述至少一个处理器还配置为根据所判断的在所述近距离传感器附近对象的存在，开启显示器。
11.根据权利要求1所述的装置，其特征在于，所述第一状态是关闭状态和第一功率状态这两者中的至少一种，且所述第二状态是开启状态和高于所述第一功率状态的第二功率状态这两者中的至少一种。
12.根据权利要求1所述的装置，其特征在于，所述第一状态是第一采样率、第一分辨率和第一曝光时长这三者中的至少一种，且所述第二状态是与第一采样率不同的第二样率、与第一分辨率不同的第二分辨率和与第一曝光时长不同的第二曝光时长这三者中的至少一种。
13.根据权利要求1所述的装置，其特征在于，所述第一数据与第一分辨率相关联，且所述第二数据与高于所述第一分辨率的第二分辨率相关联。
14.根据权利要求1所述的装置，其特征在于，所述至少一个处理器还配置为，根据从加速计和陀螺仪中的至少一种接收的信息，判断所述近距离传感器和所述图像传感器是否面朝用户。
15.根据权利要求1所述的装置，其特征在于，所述至少一个处理器还配置为：
使用来自所述近距离传感器的数据，判断所述对象是否退出了所述近距离传感器的视野；以及
根据所判断的退出，向所述图像传感器输出第二信号，以使得所述图像传感器进入第三状态。
16.根据权利要求1所述的装置，其特征在于，所述至少一个处理器还用于向所述图像传感器输出第二信号，以在满足预定条件之后使得所述图像传感器进入第三状态。
17.根据权利要求1所述的装置，其特征在于，所述至少一个处理器还配置为向所述近距离传感器输出第二信号，以使得所述近距离传感器变成不同状态。
18.包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时，使得所述至少一个处理器执行下列操作：
当图像传感器处于第一状态时，从近距离传感器接收第一数据；
使用接收到的所述第一数据，检测在所述近距离传感器附近是否有对象的存在；
根据所检测的所述对象的存在，输出信号，以在所述对象到达所述图像传感器的视野前，使得所述图像传感器进入不同于所述第一状态的第二状态；
从处于所述第二状态的所述图像传感器接收反映所述对象的图像的第二数据；
根据所述第一数据和所述第二数据的结合，判断所述对象执行的手势；和
输出与判断的所述手势相关的消息和命令中的至少一种。
19.三维控制装置，包括：
至少一个处理器，用于从近距离传感器和图像传感器接收信息，所述至少一个处理器配置为：
在所述图像传感器以第一功率消耗水平运行的同时，从所述近距离传感器接收与检测对象相关的第一数据，其中所述第一数据反映了所述对象相对于所述近距离传感器的至少一维位置；
根据所检测的所述对象，输出信号，以在所述对象到达所述图像传感器的视野前，使得所述图像传感器进入不同于所述第一功率消耗水平的第二功率消耗水平；
在所述图像传感器以大于所述第一水平的所述第二功率消耗水平运行的同时，从所述图像传感器接收与检测对象相关的第二数据，其中所述第二数据反映了所述对象相对于所述图像传感器的至少二维位置；
整合所述第一数据和第二数据来获得与所述检测对象相关的三维信息；和
根据所获得的所述三维信息，确定所述对象所执行的手势。
20.根据权利要求19所述的装置，其特征在于，所述至少一个处理器还配置为输出与所述三维信息相关的消息和命令这两者中的至少一种。
21.根据权利要求19所述的装置，其特征在于，所述手势由手和手指这两者的至少一种作出。
22.根据权利要求19所述的装置，其特征在于，所述至少一个处理器还配置为输出与所判断的手势相关的消息和与所判断的手势相关的命令这两者中的至少一种，从而启用手势控制。
23.根据权利要求19所述的装置，其特征在于，所述至少一个处理器还配置为使用所述三维信息来区分放大手势和缩小手势。
24.根据权利要求19所述的装置，其特征在于，所述至少一个处理器还配置为：
使用所述第一数据，判断所述检测对象是否正在朝向或背离所述装置而移动；
使用所述第二数据，判断与所述检测对象相关的一个或多个手指是否张开或合拢；以及
根据对所述检测对象是否正在朝向或背离所述装置移动的判断，以及对与所述检测对象相关的一个或多个手指是否张开或合拢的判断，判断放大手势和缩小手势中的至少一种。
25.根据权利要求19所述的装置，其特征在于，所述至少一个处理器还配置为，使用所述三维信息判断圆形手势。
26.根据权利要求25所述的装置，其特征在于，所述至少一个处理器还配置为区分顺时针圆形手势和逆时针圆形手势。
27.根据权利要求19所述的装置，其特征在于，所述第一数据与第一分辨率相关，且所述第二数据与高于所述第一分辨率的第二分辨率相关。
28.根据权利要求19所述的装置，其特征在于，所述至少一个处理器还配置为，根据从加速计和陀螺仪这两者中的至少一种接收的信息，判断所述近距离传感器和所述图像传感器是否面朝用户。
29.根据权利要求19所述的装置，其特征在于，所述至少一个处理器还配置为，使用所述第一数据，判断所述对象是否作出了与显示器平行的手势。
30.根据权利要求19所述的装置，其特征在于，所述至少一个处理器还配置为：
使用所述第一数据，判断所述对象与所述近距离传感器的距离；
使用所述第二数据，判断所述对象的运动；以及
使用所述距离和所述运动，判断所述对象的速度。
31.根据权利要求30所述的装置，其特征在于，所述至少一个处理器还配置为，使用所述三维信息，判断从左到右手势和从右到左手势中的至少一种，其中所述对象是手，且所述速度反映的是手的速度。
32.根据权利要求30所述的装置，其特征在于，所述至少一个处理器还配置为，使用所述三维信息，判断圆形手势，其中所述对象是手指，且所述速度反映的是手指的速度。
33.包含指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时，使得所述至少一个处理器执行下列操作：
在图像传感器以第一功率消耗水平运行的同时、从近距离传感器接收与检测对象相关的第一数据，其中所述第一数据反映了所述对象相对于所述近距离传感器的至少一维位置；
根据所检测的所述对象，输出信号，以在所述对象到达所述图像传感器的视野前，使得所述图像传感器进入不同于所述第一功率消耗水平的第二功率消耗水平；
在所述图像传感器以大于所述第一水平的所述第二功率消耗水平运行的同时、从所述图像传感器接收与检测对象相关的第二数据，其中所述第二数据反映了所述对象相对于所述图像传感器的至少二维位置；
整合所述第一数据和第二数据来获得与所检测对象相关的三维信息；和
根据所获得的所述三维信息，确定所述对象所执行的手势。
34.根据权利要求33所述的非暂时性计算机可读介质，其特征在于，所述指令当由所述至少一个处理器执行时，还使得所述至少一个处理器执行额外的操作，所述额外的操作包括：
使用所述第一数据，判断所述检测对象是否正在朝向或背离所述近距离传感器而移动；
使用所述第二数据，判断与所述检测对象相关的一个或多个手指是否张开或合拢；以及
根据对所述检测对象是否正在朝向或背离所述近距离传感器移动的判断，以及对所述检测对象相关的一个或多个手指是否张开或合拢的判断，判断放大手势和缩小手势中的至少一种。
35.根据权利要求33所述的非暂时性计算机可读介质，其特征在于，所述指令当由所述至少一个处理器执行时，还使得所述至少一个处理器执行额外的操作，所述额外的操作包括区分顺时针圆形手势和逆时针圆形手势。
36.根据权利要求33所述的非暂时性计算机可读介质，其特征在于，所述指令当由所述至少一个处理器执行时，还使得所述至少一个处理器执行额外的操作，所述额外的操作包括使用所述第一数据判断所述对象是否执行了与显示器平行的手势。
CN201480014533.3A 2013-03-14 2014-03-13 基于近距离传感器和图像传感器的手势检测 Expired - Fee Related CN105229582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010266743.9A CN111475059A (zh) 2013-03-14 2014-03-13 基于近距离传感器和图像传感器的手势检测

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361782678P 2013-03-14 2013-03-14
US61/782,678 2013-03-14
PCT/IB2014/000908 WO2014140827A2 (en) 2013-03-14 2014-03-13 Systems and methods for proximity sensor and image sensor based gesture detection

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010266743.9A Division CN111475059A (zh) 2013-03-14 2014-03-13 基于近距离传感器和图像传感器的手势检测

Publications (2)

Publication Number Publication Date
CN105229582A CN105229582A (zh) 2016-01-06
CN105229582B true CN105229582B (zh) 2020-04-28

Family

ID=51538205

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480014533.3A Expired - Fee Related CN105229582B (zh) 2013-03-14 2014-03-13 基于近距离传感器和图像传感器的手势检测
CN202010266743.9A Pending CN111475059A (zh) 2013-03-14 2014-03-13 基于近距离传感器和图像传感器的手势检测

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010266743.9A Pending CN111475059A (zh) 2013-03-14 2014-03-13 基于近距离传感器和图像传感器的手势检测

Country Status (3)

Country Link
US (3) US9977507B2 (zh)
CN (2) CN105229582B (zh)
WO (1) WO2014140827A2 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691219B2 (en) * 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US20230325005A1 (en) * 2012-01-17 2023-10-12 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) * 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9207759B1 (en) * 2012-10-08 2015-12-08 Edge3 Technologies, Inc. Method and apparatus for generating depth map from monochrome microlens and imager arrays
TW201419036A (zh) 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
KR20150068001A (ko) * 2013-12-11 2015-06-19 삼성전자주식회사 센서를 이용한 동작 인식 방법 및 장치
US10013025B2 (en) 2014-12-11 2018-07-03 Intel Corporation Wearable device with power state control
US9949013B2 (en) * 2015-08-29 2018-04-17 Bragi GmbH Near field gesture control system and method
DE102015226153A1 (de) * 2015-12-21 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Anzeigevorrichtung und Bedieneinrichtung
CN105718056B (zh) * 2016-01-19 2019-09-10 北京小米移动软件有限公司 手势识别方法及装置
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10775151B2 (en) 2016-04-22 2020-09-15 Hewlett-Packard Development Company, L.P. Distance determination
KR102524498B1 (ko) * 2016-07-06 2023-04-24 삼성전자주식회사 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법
CN107562198A (zh) * 2016-11-14 2018-01-09 上海闻泰电子科技有限公司 Vr设备控制方法
JP6914065B2 (ja) * 2017-03-17 2021-08-04 シャープ株式会社 障害物検出装置、走行装置、障害物検出システムおよび障害物検出方法
CN110546592A (zh) * 2017-07-25 2019-12-06 惠普发展公司，有限责任合伙企业 基于感测到的距离来确定用户存在
CN107635057A (zh) * 2017-07-31 2018-01-26 努比亚技术有限公司 一种虚拟现实终端控制方法、终端和计算机可读存储介质
US10599931B2 (en) * 2017-08-21 2020-03-24 2236008 Ontario Inc. Automated driving system that merges heterogenous sensor data
CN111213073B (zh) * 2017-10-17 2024-03-12 昕诺飞控股有限公司 占用传感器校准和占用估计
CN108735128A (zh) * 2018-04-19 2018-11-02 浙江大学 基于手势控制的博物馆自助讲解***
CN109033985B (zh) * 2018-06-29 2020-10-09 百度在线网络技术（北京）有限公司 商品识别的处理方法、装置、设备、***及存储介质
US10755250B2 (en) 2018-09-07 2020-08-25 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
US10462425B1 (en) 2018-09-07 2019-10-29 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
US11681415B2 (en) * 2018-10-31 2023-06-20 Apple Inc. Near-viewing notification techniques
TWI676974B (zh) * 2018-11-05 2019-11-11 友達光電股份有限公司 水中生物展示系統與水中生物展示方法
JP7248037B2 (ja) * 2018-11-13 2023-03-29 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
EP3903169A1 (en) * 2018-12-27 2021-11-03 Snap Inc. Fade-in user interface display based on finger distance or hand proximity
US10993417B2 (en) * 2019-08-14 2021-05-04 International Business Machines Corporation Detection and management of disease outbreaks in livestock using health graph networks
CN111240472A (zh) * 2019-12-31 2020-06-05 Oppo广东移动通信有限公司 电子设备、手势识别装置和方法
CN111580656B (zh) * 2020-05-08 2023-07-18 安徽华米信息科技有限公司 可穿戴设备及其控制方法、装置
CN115190239B (zh) * 2022-06-27 2024-04-19 联宝(合肥)电子科技有限公司 一种图像采集方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012054060A1 (en) * 2010-10-22 2012-04-26 Hewlett-Packard Development Company, L.P. Evaluating an input relative to a display
CN102822773A (zh) * 2010-03-24 2012-12-12 惠普开发有限公司 用于显示设备的手势映射
WO2013021385A2 (en) * 2011-08-11 2013-02-14 Eyesight Mobile Technologies Ltd. Gesture based interface system and method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US8952895B2 (en) * 2011-06-03 2015-02-10 Apple Inc. Motion-based device operations
US8599132B2 (en) * 2008-06-10 2013-12-03 Mediatek Inc. Methods and systems for controlling electronic devices according to signals from digital camera and sensor modules
TWI501121B (zh) * 2009-07-21 2015-09-21 Pixart Imaging Inc 手勢辨識方法及使用該方法之觸控系統
KR20110010906A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
US8730164B2 (en) * 2010-05-28 2014-05-20 Panasonic Corporation Gesture recognition apparatus and method of gesture recognition
AU2011202049B2 (en) * 2010-07-27 2014-05-08 Wms Gaming, Inc. Virtual banks for community group bonus games
US9063704B2 (en) * 2011-05-05 2015-06-23 Net Power And Light, Inc. Identifying gestures using multiple sensors
CN103534664B (zh) * 2011-05-12 2016-08-31 苹果公司 存在感测
US20130009875A1 (en) * 2011-07-06 2013-01-10 Fry Walter G Three-dimensional computer interface
US20130022950A1 (en) * 2011-07-22 2013-01-24 Muniz Simas Fernando Moreira Method and system for generating behavioral studies of an individual
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US20140059489A1 (en) * 2012-08-21 2014-02-27 Amulet Technologies, Llc Rotate Gesture
US10013024B2 (en) * 2012-09-28 2018-07-03 Nokia Technologies Oy Method and apparatus for interacting with a head mounted display
WO2014065595A1 (ko) * 2012-10-23 2014-05-01 엘지전자 주식회사 영상표시장치 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102822773A (zh) * 2010-03-24 2012-12-12 惠普开发有限公司 用于显示设备的手势映射
WO2012054060A1 (en) * 2010-10-22 2012-04-26 Hewlett-Packard Development Company, L.P. Evaluating an input relative to a display
WO2013021385A2 (en) * 2011-08-11 2013-02-14 Eyesight Mobile Technologies Ltd. Gesture based interface system and method

Also Published As

Publication number Publication date
WO2014140827A3 (en) 2015-04-16
US10761610B2 (en) 2020-09-01
WO2014140827A2 (en) 2014-09-18
US20160026255A1 (en) 2016-01-28
US9977507B2 (en) 2018-05-22
US20210096651A1 (en) 2021-04-01
CN111475059A (zh) 2020-07-31
CN105229582A (zh) 2016-01-06
US20180356896A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US11494000B2 (en) Touch free interface for augmented reality systems
US20220382379A1 (en) Touch Free User Interface
US10120454B2 (en) Gesture recognition control device
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
US10901519B2 (en) Cursor mode switching
US20180292907A1 (en) Gesture control system and method for smart home
JP6480434B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
US20200142495A1 (en) Gesture recognition control device
US20120019460A1 (en) Input method and input apparatus
Komuro Vision-based 3D input interface technologies

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200428

Termination date: 20210313

CF01 Termination of patent right due to non-payment of annual fee