CN105787485A - 识别点击操作的装置和方法 - Google Patents

Abstract

提供了一种识别点击操作的装置和方法，能够降低对设备的精度要求极高，能够适用于小型设备，减小识别误差，改善使用效果和用户体验，该方法包括：向呈现媒介投射操作界面，该操作界面包括至少两个界面元素；向该操作界面投射红外光；在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取至少一帧彩色图像以及基于该红外光线的至少两帧红外图像；根据该彩色图像，确定该目标元素；在第一点击深度与第二点击深度相异时，确定该用户进行了点击操作，以识别该用户对该目标元素进行了点击操作，该第一点击深度是第一红外图像所呈现的该点击操作的深度，该第二点击深度是第二红外图像所呈现的该点击操作的深度。

Description

识别点击操作的装置和方法

技术领域

本发明涉及手势识别领域，并且更具体地，涉及识别点击操作的装置和方法。

背景技术

随着科学技术的发展，手势操作逐渐作为人机交互的重要手段而愈发受到重视，例如，可以通过摄像装置捕获用户的手势，从而实现手势操作，该技术可以应用于用户对投射在屏幕上的投影操作界面的操作，在该技术中，手势操作可以分为平面操作和点击操作()，平面操作是指用户在面对或背对该摄像装置时，在沿身体左右方向和上下方向所形成的平面，或者说，与上述屏幕平行或近似平行的平面(以下，为了便于理解和区分，称为投射平面)上的手势操作，例如，滑动操作等手势。点击操作，也称为深度手势操作，是指用户在面对或背对该摄像装置时，在沿垂直于上述投射平面的方向上的手势操作。

针对点击操作的识别，可以采用例如，红外深度探测等技术。

但是，由于上述技术是利用红外光投射在用户上而产生的纹理进行深度探测而仅能够区分出纹理发生的位置，进而将该位置所对应的界面元素作为操作对象，因此，如果上述操作界面包括多个界面元素，特别是位置较近的界面元素，如果要识别用户具体是对哪个图标进行了点击操作，则需要使红外光的投射平面与操作界面的投射平面完美对应，因此，对设备的精度要求极高，难以应用于例如手机等小型设备，并且，识别误差较大，严重影响了使用效果和用户体验。

发明内容

本发明实施例提供一种识别点击操作的装置和方法，能够降低对设备的精度要求极高，能够适用于小型设备，并且，能够减小识别误差，改善使用效果和用户体验。

第一方面，提供了一种识别点击操作的装置，其特征在于，该装置包括：第一投射单元，用于向呈现媒介投射操作界面，该操作界面包括至少两个界面元素，以便于用户对该至少两个界面元素中的目标元素进行点击操作；第一摄像单元，用于在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取至少一帧彩色图像；第二投射单元，用于向该操作界面投射红外光；至少一个第二摄像单元，用于在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取基于该红外光线的至少两帧红外图像；处理单元，用于根据该彩色图像，确定该目标元素，并用于在第一点击深度与第二点击深度相异时，确定该用户进行了点击操作，以识别该用户对该目标元素进行了点击操作，其中，该第一点击深度是该至少两帧红外图像中的第一红外图像所呈现的该点击操作的深度，该第二点击深度是该至少两帧红外图像中的第二红外图像所呈现的该点击操作的深度。

结合第一方面，在第一方面的第一种实现方式中，该第一摄像单元与该第二摄像单元使用同一摄像头，该摄像头配置有可开闭设置的红外滤光片，其中在不同时刻获取该彩色图像和该至少两帧红外图像时，该红外滤光片开启时第一摄像单元通过该摄像头获取该彩色图像，该红外滤光片关闭时第二摄像单元通过该摄像头获取该红外图像。

结合第一方面及其上述实现方式，在第一方面的第二种实现方式中，该装置包括两个第二摄像单元，且该两个第二摄像单元之间的在第一平面方向上的距离大于等于第一预设门限，其中，该点击操作的深度方向垂直于该第一平面。

结合第一方面及其上述实现方式，在第一方面的第三种实现方式中，该处理单元具体用于在第一点击深度与第二点击深度相异，且该第一点击深度与该第二点击深度的差值大于等于第二预设门限时，识别为该用户对该目标元素进行了点击操作，其中，该第二预设门限是根据该第二投射单元与第二投射单元之间的在第一平面方向上的距离确定的，其中，该点击操作的深度方向垂直于该第一平面。

第二方面，提供了一种识别点击操作的方法，该方法包括：向呈现媒介投射操作界面，该操作界面包括至少两个界面元素，以便于用户对该至少两个界面元素中的目标元素进行点击操作；向该操作界面投射红外光；在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取至少一帧彩色图像以及基于该红外光线的至少两帧红外图像；根据该彩色图像，确定该目标元素；在第一点击深度与第二点击深度相异时，确定该用户进行了点击操作，以识别该用户对该目标元素进行了点击操作，其中，该第一点击深度是该至少两帧红外图像中的第一红外图像所呈现的该点击操作的深度，该第二点击深度是该至少两帧红外图像中的第二红外图像所呈现的该点击操作的深度。

结合第二方面，在第二方面的第一种实现方式中，该对该操作界面进行拍摄，以获取至少一帧彩色图像以及基于该红外光线的至少两帧红外图像包括：通过设置有可开闭设置的红外滤光片的摄像头，对该操作界面进行拍摄，以在不同时刻获取该彩色图像和该至少两帧红外图像，该彩色图像是在该红外滤光片开启时通过该摄像头获取的，该至少两帧红外图像是在该红外滤光片关闭时通过该摄像头获取的。

结合第二方面及其上述实现方式，在第二方面的第二种实现方式中，该对该操作界面进行拍摄，包括：通过两个摄像头对该操作界面进行拍摄，其中，该两个摄像头之间的在第一平面方向上的距离大于等于第一预设门限，其中，该点击操作的深度方向垂直于该第一平面。

结合第二方面及其上述实现方式，在第二方面的第三种实现方式中，该在第一点击深度与第二点击深度相异时，识别为该用户对该目标元素进行了点击操作，包括：在第一点击深度与第二点击深度相异，且该第一点击深度与该第二点击深度的差值大于等于第二预设门限时，识别为该用户对该目标元素进行了点击操作，其中，该第二预设门限是根据该第二投射单元与第二投射单元之间的在第一平面方向上的距离确定的，其中，该点击操作的深度方向垂直于该第一平面。

根据本发明实施例的识别点击操作的装置和方法，当用户对操作界面中的目标界面元素进行点击操作时，通过对该操作界面进行拍摄，以获取彩色图像，能够通过该彩色图像从该操作界面包括的至少两个界面元素中确定该目标界面元素，并且，通过对该操作界面进行拍摄，以获取红外图像，能够通过该红外图像，确定用户进行了点击操作，进而能够容易地识别出对目标界面元素进行了点击操作，从而，能够降低对设备的精度要求极高，能够适用于小型设备，并且，能够减小识别误差，改善使用效果和用户体验。

附图说明

图1是根据本发明实施例的识别点击操作的装置100的示意性框图。

图2是根据本发明实施例的摄像头的示意性结构图。

图3是适用本发明的识别点击操作的方法和装置的终端设备的示意性结构图。

图4是根据本发明实施例的识别点击操作的方法的示意性流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例的识别点击操作的装置100的示意性框图，如图1所示，该装置100包括：

第一投射单元110，用于向呈现媒介投射操作界面，该操作界面包括至少两个界面元素，以便于用户对该至少两个界面元素中的目标元素进行点击操作；

第一摄像单元120，用于在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取至少一帧彩色图像；

第二投射单元130，用于向该操作界面投射红外光；

至少一个第二摄像单元140，用于在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取基于该红外光线的至少两帧红外图像；

处理单元150，用于根据该彩色图像，确定该目标元素，并用于在第一点击深度与第二点击深度相异时，确定该用户进行了点击操作，以识别该用户对该目标元素进行了点击操作，其中，该第一点击深度是该至少两帧红外图像中的第一红外图像所呈现的该点击操作的深度，该第二点击深度是该至少两帧红外图像中的第二红外图像所呈现的该点击操作的深度。

下面，对各单元的功能及处理流程进行详细说明。

A.第一投射单元110

在本发明实施例中，第一投射单元110可以将操作界面投射至呈现媒介，作为该呈现媒介，可以是墙体、投影屏幕或水幕等各种媒介，本发明并未特别限定，并且，该第一投射单元110投射操作界面的方法和过程可以与现有技术相似，这里，为了避免赘述，省略其详细说明。

在本发明实施例中，该操作界面可以包括图形化的用户界面，即图形用户界面(GUI，GraphicUserInterface)，是当今世界最常见的一种用户界面，例如手机在通电状态下显示的界面即为图形用户界面，用户通过显示的图形(图标)、虚拟键盘(软键盘)、虚拟鼠标等来与设备硬件进行交互。上述***和用户之间进行交互和信息交换的信息可以包括听觉信息、视觉信息、触觉信息、动作信息、气味信息等等。

在本发明实施例中，用户可以通过对用户界面(具体地说，是用户界面上的界面元素)的手势操作，与***进行信息交互。

在本发明实施例中，该界面元素可以是呈现于操作界面的图形元件。

具体地说，界面元素是指可在用户界面上放置的可视化图形“元件”，如按钮、文件编辑框等，其中大多数是具有执行功能或通过“事件”引发代码运行并完成响应的功能，事件是指控件对输入操作(例如，点击操作)的响应，任何控件都有自己的事件集合，一旦控件的某个事件发生，就可以引起相应事件过程的执行，事件对象有自己特定的名称，事件过程代码是由程序员根据自己的问题需求编写的。在本发明实施例中，作为示例而非限定，界面控件可以包括：页签(Tab)、标题栏(Titlebar)、动作栏(Actionbar)、进度条(Progressbar)、多选按钮(Checkbox)等。

应理解，以上列举的用户界面仅为本发明的一个实施例，本发明并不限定于此，其他能够通过投影方式等呈现给用户以供用户执行操作的用户界面均落入本发明的保护范围内。

需要说明的是，在该操作界面包括至少两个界面元素时，由于***需要区分用户是对那个界面元素进行的点击操作，因此，在适用于操作界面包括至少两个界面元素的场景时，能够进一步体现本发明的优越效果。

从而，用户可以对该操作界面进行点击操作，例如，点击至少两个界面元素中的目标界面元素，从而，上述装置100具体地说是后述处理器150需要识别该点击操作，以及该点击操作的对象(即，上述目标界面元素)，已完成上述信息交互。

B.第一摄像单元120

在本发明实施例中，第一摄像单元120用于在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取至少一帧彩色图像，从而，该彩色图像能够记录用户点击操作时手(或者，用户所使用的进行点击操作的工具)在操作界面上的位置，或者说，是手与各界面元素之间的位置关系。

并且，作为该第一摄像单元120可以使用现有的任意的能够进行彩色图像拍摄的器件，例如，手机的摄像头等。

C.第二投射单元130

在本发明实施例中，第二投射单元130可以向上述呈现媒介，具体地说，是呈现媒介上投射有该操作界面的范围内照射红外光。在本发明实施例中，可以采用例如，红外线发射二极管(IRLED)等器件。

D.至少一个第二摄像单元140

在本发明实施例中，第二摄像单元140用于在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取至少两帧红外图像，从而，该彩少两帧红外图像能够用户进行点击操作时所拍摄的物体的红外信息，例如，纹理。

需要说明的是，作为该第二摄像单元140可以使用现有的任意的能够进行红外图像拍摄的器件，或者，也可以是在能够进行彩色图像拍摄的器件上配置红外滤光片，以进行红外图像拍摄。

并且，在本发明实施例中，第二投射单元130与第二摄像单元140可以集成于同一器件也可以分别配置，本发明并未特别限定。

可选地，该第一摄像单元与该第二摄像单元使用同一摄像头，该摄像头配置有可开闭设置的红外滤光片，其中在不同时刻获取该彩色图像和该至少两帧红外图像时，该红外滤光片开启时第一摄像单元通过该摄像头获取该彩色图像，该红外滤光片关闭时第二摄像单元通过该摄像头获取该红外图像

具体地说，如图2所示，在本发明实施例中，第一摄像单元120与第二摄像单元140可以公用同一摄像头，具体地说，该摄像头可以是能够进行彩色图像拍摄的器件，通过在该器件上设置红外滤光片，使该摄像头能够进行红外图像拍摄。

并且，该红外滤光片可以设置为可开闭式，当红外滤光片敞开时该摄像头能够进行彩色图像拍摄，当红外滤光片闭合时，该摄像头能够进行红外图像拍摄。

可选地，该装置包括两个第二摄像单元，且该两个第二摄像单元之间的在第一平面方向上的距离大于等于第一预设门限，其中，该点击操作的深度方向垂直于该第一平面。

具体地说，在本发明实施例中，可以采用双目技术进行点击操作的识别。双目技术也称为双目立体视觉是计算机视觉研究领域的重要分支之一，它通过直接模拟人类视觉***的方式感知客观世界，广泛应用于微操作***的位姿检测与控制、机器人导航与航测、三维非接触测量及虚拟现实等领域。基于双目技术，在本发明实施例中，通过配置两个第二摄像单元140，能够实现基于双目视差的非接触式深度测量，较使用单个第二摄像单元140的情况，能够显著提高点击操作识别的准确性。

另外，在本发明实施例中，两个第二摄像单元140在配置平面(点击操作的深度方向所垂直的平面)上距离(或者说，上述第一预设门限)可以根据与现有技术相似的方法设定，这里，为了避免赘述，省略其详细说明。

E.处理单元150

具体地说，在本发明实施例中，处理单元150可以与第一摄像单元120通信连接，从而能够从该第一摄像单元120获取上述彩色图像，并且，可以基于预先存储的先验模型，识别用户的手(或者，用户进行点击操作所使用的工具)，从而能够确定用户的手所处于的位置，并可以将与该位置相对应的界面元素(例如，位于手的覆盖范围内的界面元素，或者，覆盖范围包括手的位置的界面元素)确定为目标界面元素。

并且，在本发明实施例中，处理单元150可以与第二摄像单元140通信连接，从而能够从该第二摄像单元140获取上述两帧红外图像，并且，通过对该红外图像所记录的红外信息进行分析处理，以识别上述两帧红外图像中用户的手的深度(或者说，点击操作的深度)，这里，识别红外图像中物体(例如，用户的手)的深度的方法和过程可以与现有技术相似，这里，为了避免赘述，省略其详细说明。

并且，当两帧红外图像中用户的手的深度相异时，处理单元150可以识别为用户进行了点击操作。

可选地，该处理单元具体用于在第一点击深度与第二点击深度相异，且该第一点击深度与该第二点击深度的差值大于等于第二预设门限时，识别为该用户对该目标元素进行了点击操作，其中，该第二预设门限是根据该第二投射单元与第二投射单元之间的在第一平面方向上的距离确定的，其中，该点击操作的深度方向垂直于该第一平面。

具体地说，在本发明实施例中，当两帧红外图像中用户的手的深度相异时，处理单元150可以进一步识别该上述差异的差值，当该差值大于预设门限(即，第二预设门限)时，处理单元150可以识别为用户进行了点击操作，从而，能够进一步提高识别点击操作的准确性。

综上所述处理单元150可以通过不同的器件，分别地识别用户是否进行了点击操作，以及点击操作的目标。

另外，识别用户是否进行了点击操作的过程与识别点击操作的目标的过程可以同时进行也可以分时段进行，本发明并未特别限定。

另外，在本发明实施例中，该识别点击操作的装置100可以嵌入或者本身即为能够向外界进行投影以呈现操作界面，并通过捕获用户的手势识别用户操作的终端设备或***，例如，手机、平板电脑、计算设备、信息显示设备或体感游戏***等。

以图3所示的手机为例对本发明所适用的终端设备(UE，UserEquipment)进行介绍。在本发明实施例中，手机可以包括射频(RF，RadioFrequency)电路210、存储器220、输入单元230、无线保真(WiFi，wirelessfidelity)模块270、显示单元240、传感器250、音频电路260、处理器280、投影单元290、拍摄单元295等部件。

其中，投影单元290的功能和结构与上述第一投射单元和第二摄像单元类似，这里，为了避免赘述，省略其详细说明。

同样拍摄单元295的功能和结构与上述第一摄像单元和第二摄像单元类似，这里，为了避免赘述，省略其详细说明。

另外，本领域技术人员可以理解，图3中示出的手机结构仅为示例而非限定，手机还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

RF电路210可用于在收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器280处理；另外，将手机上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LNA，LowNoiseAmplifier)、双工器等。此外，RF电路210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(GSM，GlobalSystemforMobilecommunication)、通用分组无线服务(GPRS，GeneralPacketRadioService)、码分多址(CDMA，CodeDivisionMultipleAccess)、宽带码分多址(WCDMA，WidebandCodeDivisionMultipleAccess)、长期演进(LTE，LongTermEvolution)、电子邮件、短消息服务(SMS，ShortMessagingService)等。

其中，存储器220可用于存储软件程序以及模块，处理器280通过运行存储在存储器220的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器220可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(如音频数据、电话本等)等。此外，存储器220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元230可用于接收输入的数字或字符信息，以及产生与手机200的用户设置以及功能控制有关的键信号。具体地，输入单元230可包括触控面板231以及其他输入设备232。触控面板231，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板231上或在触控面板231附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板231可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器280，并能接收处理器280发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板231。除了触控面板231，输入单元230还可以包括其他输入设备232。具体地，其他输入设备232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

其中，显示单元240可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元240可包括显示面板241，可选的，可以采用液晶显示单元(LCD，LiquidCrystalDisplay)、有机发光二极管(OLED，OrganicLight-EmittingDiode)等形式来配置显示面板241。进一步的，触控面板231可覆盖显示面板241，当触控面板231检测到在其上或附近的触摸操作后，传送给处理器280以确定触摸事件的类型，随后处理器280根据触摸事件的类型在显示面板241上提供相应的视觉输出。

其中，该人眼能够识别的该视觉输出外显示面板241中的位置，可以作为后述“显示区域”。虽然在图3中，触控面板231与显示面板241是作为两个独立的部件来实现手机的输入和输出功能，但是在某些实施例中，可以将触控面板231与显示面板241集成而实现手机的输入和输出功能。

另外，手机200还可包括至少一种传感器250，比如姿态传感器、光传感器、以及其他传感器。

具体地，姿态传感器也可以称为运动传感器，并且，作为该运动传感器的一种，可以列举重力传感器，重力传感器采用弹性敏感元件制成悬臂式位移器，并采用弹性敏感元件制成的储能弹簧来驱动电触点，从而实现将重力变化转换成为电信号的变化。

作为运动传感器的另一种，可以列举加速计传感器，加速计传感器可检测各方向上(一般为三轴)加速度大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。

在本发明实施例中，可以采用以上列举的运动传感器作为获得后述“姿态参数”元件，但并不限定于此，其他能够获得“姿态参数”的传感器均落入本发明的保护范围内，例如，陀螺仪等，并且，该陀螺仪的工作原理和数据处理过程可以与现有技术相似，这里，为了避免赘述，省略其详细说明。

此外，在本发明实施例中，作为传感器250，还可配置气压计、湿度计、温度计和红外线传感器等其他传感器，在此不再赘述。

光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板241的亮度，接近传感器可在手机移动到耳边时，关闭显示面板241和/或背光。

音频电路260、扬声器261，传声器262可提供用户与手机之间的音频接口。音频电路260可将接收到的音频数据转换后的电信号，传输到扬声器261，由扬声器261转换为声音信号输出；另一方面，传声器262将收集的声音信号转换为电信号，由音频电路260接收后转换为音频数据，再将音频数据输出处理器280处理后，经RF电路210以发送给比如另一手机，或者将音频数据输出至存储器220以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图3示出了WiFi模块270，但是可以理解的是，其并不属于手机200的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器280是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器220内的软件程序和/或模块，以及调用存储在存储器220内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器280可包括一个或多个处理单元；优选的，处理器280可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。

可以理解的是，上述调制解调处理器也可以不集成到处理器280中。

并且，该处理器280可以作为上述处理单元的实现元件，执行与处理单元相同或相似的功能。

手机200还包括给各个部件供电的电源(比如电池)。

优选的，电源可以通过电源管理***与处理器280逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。尽管未示出，手机200还可以包括蓝牙模块等，在此不再赘述。

需要说明的是，图3所示手机仅为一种终端设备的举例，本发明并未特别限定，本发明可以应用于手机、平板电脑等电子设备，本发明对此不做限定。

根据本发明实施例的识别点击操作的装置，当用户对操作界面中的目标界面元素进行点击操作时，通过对该操作界面进行拍摄，以获取彩色图像，能够通过该彩色图像从该操作界面包括的至少两个界面元素中确定该目标界面元素，并且，通过对该操作界面进行拍摄，以获取红外图像，能够通过该红外图像，确定用户进行了点击操作，进而能够容易地识别出对目标界面元素进行了点击操作，从而，能够降低对设备的精度要求极高，能够适用于小型设备，并且，能够减小识别误差，改善使用效果和用户体验。

以上，结合图1至图3详细说明了本发明实施例的识别点击操作的装置，下面，结合图4，详细说明本发明实施例的识别点击操作的方法。

图4示出了本发明一实施例的识别点击操作的300的示意性流程图，如图4所示，该方法300包括：

S310，向呈现媒介投射操作界面，该操作界面包括至少两个界面元素，以便于用户对该至少两个界面元素中的目标元素进行点击操作；

S320，向该操作界面投射红外光；

S330，在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取至少一帧彩色图像以及基于该红外光线的至少两帧红外图像；

S340，根据该彩色图像，确定该目标元素；

S350，在第一点击深度与第二点击深度相异时，确定该用户进行了点击操作，以识别该用户对该目标元素进行了点击操作，其中，该第一点击深度是该至少两帧红外图像中的第一红外图像所呈现的该点击操作的深度，该第二点击深度是该至少两帧红外图像中的第二红外图像所呈现的该点击操作的深度。

可选地，该对该操作界面进行拍摄，以获取至少一帧彩色图像以及基于该红外光线的至少两帧红外图像包括：

通过设置有可开闭设置的红外滤光片的摄像头，对该操作界面进行拍摄，以在不同时刻获取该彩色图像和该至少两帧红外图像，该彩色图像是在该红外滤光片开启时通过该摄像头获取的，该至少两帧红外图像是在该红外滤光片关闭时通过该摄像头获取的。

可选地，该对该操作界面进行拍摄，包括：

通过两个摄像头对该操作界面进行拍摄，其中，该两个摄像头之间的在第一平面方向上的距离大于等于第一预设门限，其中，该点击操作的深度方向垂直于该第一平面。

可选地，该在第一点击深度与第二点击深度相异时，识别为该用户对该目标元素进行了点击操作，包括：

在第一点击深度与第二点击深度相异，且该第一点击深度与该第二点击深度的差值大于等于第二预设门限时，识别为该用户对该目标元素进行了点击操作，其中，该第二预设门限是根据该第二投射单元与第二投射单元之间的在第一平面方向上的距离确定的，其中，该点击操作的深度方向垂直于该第一平面。

具体地说，在本发明实施例中，可以将操作界面投射至呈现媒介，作为该呈现媒介，可以是墙体、投影屏幕或水幕等各种媒介，本发明并未特别限定，并且，该过程可以与现有技术相似，这里，为了避免赘述，省略其详细说明。

在本发明实施例中，用户可以通过对用户界面(具体地说，是用户界面上的界面元素)的手势操作，与***进行信息交互。

需要说明的是，在该操作界面包括至少两个界面元素时，由于***需要区分用户是对那个界面元素进行的点击操作，因此，在适用于操作界面包括至少两个界面元素的场景时，能够进一步体现本发明的优越效果。

从而，用户可以对该操作界面进行点击操作，例如，点击至少两个界面元素中的目标界面元素，从而，需要识别该点击操作，以及该点击操作的对象(即，上述目标界面元素)，已完成上述信息交互。

在本发明实施例中，在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取至少一帧彩色图像，从而，该彩色图像能够记录用户点击操作时手(或者，用户所使用的进行点击操作的工具)在操作界面上的位置，或者说，是手与各界面元素之间的位置关系。

在本发明实施例中，可以向上述呈现媒介，具体地说，是呈现媒介上投射有该操作界面的范围内照射红外光。

在本发明实施例中，在该用户对该目标元素的点击操作时，对该操作界面进行拍摄，以获取至少两帧红外图像，从而，该彩少两帧红外图像能够用户进行点击操作时所拍摄的物体的红外信息，例如，纹理。

需要说明的是，可以使用现有的任意的能够进行红外图像拍摄的器件，或者，也可以是在能够进行彩色图像拍摄的器件上配置红外滤光片，以进行红外图像拍摄。

并且，在本发明实施例中，拍摄彩色图像的设备与拍摄红外图像的设备可以集成于同一器件也可以分别配置，本发明并未特别限定。

例如，在本发明实施例中，拍摄彩色图像的设备与拍摄红外图像的设备以公用同一摄像头，具体地说，该摄像头可以是能够进行彩色图像拍摄的器件，通过在该器件上设置红外滤光片，使该摄像头能够进行红外图像拍摄。

并且，该红外滤光片可以设置为可开闭式，当红外滤光片开启时该摄像头能够进行彩色图像拍摄，当红外滤光片关闭(或者说，闭合)时，该摄像头能够进行红外图像拍摄。

在本发明实施例中，可以采用双目技术进行点击操作的识别。双目技术也称为双目立体视觉是计算机视觉研究领域的重要分支之一，它通过直接模拟人类视觉***的方式感知客观世界，广泛应用于微操作***的位姿检测与控制、机器人导航与航测、三维非接触测量及虚拟现实等领域。基于双目技术，在本发明实施例中，通过配置两个摄像头，能够实现基于双目视差的非接触式深度测量，较使用单个摄像头的情况，能够显著提高点击操作识别的准确性。

另外，在本发明实施例中，两个摄像头在配置平面(点击操作的深度方向所垂直的平面)上距离(或者说，上述第一预设门限)可以根据与现有技术相似的方法设定，这里，为了避免赘述，省略其详细说明。

在本发明实施例中，可以基于预先存储的先验模型，识别用户的手(或者，用户进行点击操作所使用的工具)，从而能够确定用户的手所处于的位置，并可以将与该位置相对应的界面元素(例如，位于手的覆盖范围内的界面元素，或者，覆盖范围包括手的位置的界面元素)确定为目标界面元素。

并且，在本发明实施例中，可以通过对该红外图像所记录的红外信息进行分析处理，以识别上述两帧红外图像中用户的手的深度(或者说，点击操作的深度)，这里，识别红外图像中物体(例如，用户的手)的深度的方法和过程可以与现有技术相似，这里，为了避免赘述，省略其详细说明。

并且，当两帧红外图像中用户的手的深度相异时，可以识别为用户进行了点击操作。

在本发明实施例中，当两帧红外图像中用户的手的深度相异时，可以进一步识别该上述差异的差值，当该差值大于预设门限(即，第二预设门限)时，可以识别为用户进行了点击操作，从而，能够进一步提高识别点击操作的准确性。

综上所述，可以通过不同的器件，分别地识别用户是否进行了点击操作，以及点击操作的目标。

另外，识别用户是否进行了点击操作的过程与识别点击操作的目标的过程可以同时进行也可以分时段进行，本发明并未特别限定。

根据本发明实施例的识别点击操作的方法300可以由图1中的识别点击操作的的装置100的各器件执行。

根据本发明实施例的识别点击操作的方法，当用户对操作界面中的目标界面元素进行点击操作时，通过对该操作界面进行拍摄，以获取彩色图像，能够通过该彩色图像从该操作界面包括的至少两个界面元素中确定该目标界面元素，并且，通过对该操作界面进行拍摄，以获取红外图像，能够通过该红外图像，确定用户进行了点击操作，进而能够容易地识别出对目标界面元素进行了点击操作，从而，能够降低对设备的精度要求极高，能够适用于小型设备，并且，能够减小识别误差，改善使用效果和用户体验。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在本发明中，当描述到特定部件位于第一部件和第二部件之间时，在该特定部件与第一部件或第二部件之间可以存在居间部件，也可以不存在居间部件；当描述到特定部件连接其它部件时，该特定部件可以与所述其它部件直接连接而不具有居间部件、也可以不与所述其它部件直接连接而具有居间部件。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种识别点击操作的装置，其特征在于，该装置包括：

第一投射单元，用于向呈现媒介投射操作界面，所述操作界面包括至少两个界面元素，以便于用户对所述至少两个界面元素中的目标元素进行点击操作；

第一摄像单元，用于在所述用户对所述目标元素的点击操作时，对所述操作界面进行拍摄，以获取至少一帧彩色图像；

第二投射单元，用于向所述操作界面投射红外光；

至少一个第二摄像单元，用于在所述用户对所述目标元素的点击操作时，对所述操作界面进行拍摄，以获取基于所述红外光线的至少两帧红外图像；

处理单元，用于根据所述彩色图像，确定所述目标元素，并用于在第一点击深度与第二点击深度相异时，确定所述用户进行了点击操作，以识别所述用户对所述目标元素进行了点击操作，其中，所述第一点击深度是所述至少两帧红外图像中的第一红外图像所呈现的所述点击操作的深度，所述第二点击深度是所述至少两帧红外图像中的第二红外图像所呈现的所述点击操作的深度。

2.根据权利要求1所述的装置，其特征在于，所述第一摄像单元与所述第二摄像单元使用同一摄像头，所述摄像头配置有可开闭设置的红外滤光片，其中在不同时刻获取所述彩色图像和所述至少两帧红外图像时，所述红外滤光片开启时第一摄像单元通过所述摄像头获取所述彩色图像，所述红外滤光片关闭时第二摄像单元通过所述摄像头获取所述红外图像。

3.根据权利要求1或2所述的装置，其特征在于，所述装置包括两个第二摄像单元，且所述两个第二摄像单元之间的在第一平面方向上的距离大于等于第一预设门限，其中，所述点击操作的深度方向垂直于所述第一平面。

4.根据权利要求1所述的装置，其特征在于，所述处理单元具体用于在第一点击深度与第二点击深度相异，且所述第一点击深度与所述第二点击深度的差值大于等于第二预设门限时，识别为所述用户对所述目标元素进行了点击操作，其中，所述第二预设门限是根据所述第二投射单元与第二投射单元之间的在第一平面方向上的距离确定的，其中，所述点击操作的深度方向垂直于所述第一平面。

5.一种识别点击操作的方法，其特征在于，所述方法包括：

向呈现媒介投射操作界面，所述操作界面包括至少两个界面元素，以便于用户对所述至少两个界面元素中的目标元素进行点击操作；

向所述操作界面投射红外光；

在所述用户对所述目标元素的点击操作时，对所述操作界面进行拍摄，以获取至少一帧彩色图像以及基于所述红外光线的至少两帧红外图像；

根据所述彩色图像，确定所述目标元素；

在第一点击深度与第二点击深度相异时，确定所述用户进行了点击操作，以识别所述用户对所述目标元素进行了点击操作，其中，所述第一点击深度是所述至少两帧红外图像中的第一红外图像所呈现的所述点击操作的深度，所述第二点击深度是所述至少两帧红外图像中的第二红外图像所呈现的所述点击操作的深度。

6.根据权利要求5所述的方法，其特征在于，所述对所述操作界面进行拍摄，以获取至少一帧彩色图像以及基于所述红外光线的至少两帧红外图像包括：

通过设置有可开闭设置的红外滤光片的摄像头，对所述操作界面进行拍摄，以在不同时刻获取所述彩色图像和所述至少两帧红外图像，所述彩色图像是在所述红外滤光片开启时通过所述摄像头获取的，所述至少两帧红外图像是在所述红外滤光片关闭时通过所述摄像头获取的。

7.根据权利要求1或2所述的方法，其特征在于，所述对所述操作界面进行拍摄，包括：

通过两个摄像头对所述操作界面进行拍摄，其中，所述两个摄像头之间的在第一平面方向上的距离大于等于第一预设门限，其中，所述点击操作的深度方向垂直于所述第一平面。

8.根据权利要求1所述的方法，其特征在于，所述在第一点击深度与第二点击深度相异时，确定所述用户进行了点击操作，包括：

在第一点击深度与第二点击深度相异，且所述第一点击深度与所述第二点击深度的差值大于等于第二预设门限时，确定所述用户对所述目标元素进行了点击操作，其中，所述第二预设门限是根据所述第二投射单元与第二投射单元之间的在第一平面方向上的距离确定的，其中，所述点击操作的深度方向垂直于所述第一平面。