CN104951200B - 一种执行界面操作的方法和装置 - Google Patents

Abstract

本发明公开了一种执行界面操作的方法和装置，属于计算机技术领域。所述方法应用于电子设备，所述电子设备设置有投影器件和深度摄像器件，所述方法包括：通过所述投影器件向目标投影面投射所述电子设备的显示界面；通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息；其中，所述目标检测范围与所述目标投影面中投射的所述显示界面的范围相对应；根据所述深度信息，确定对应的界面操作，并执行所述界面操作。采用本发明，可以提高界面操作的触发方式的灵活性。

Description

一种执行界面操作的方法和装置

技术领域

本发明涉及计算机技术领域，特别涉及一种执行界面操作的方法和装置。

背景技术

随着计算机技术和投影技术的快速发展，投影仪已经成为了一种非常常用的视频输出设备，在多种场合中都得到了广泛的应用，尤其是在会议中最为常用。

在会议的过程中，主讲人一方面需要在投影仪投射的内容进行指示说明，另一方面需要对计算机进行操作，针对这种情况，一般采用的方式是，在计算机上连接红外摄像机，还需要使用红外笔，该红外笔的笔头点压其它物体时则发出红外光，主持人手持红外笔在投影图像所在的墙面上进行点压、滑动等操作，触发红外笔发光，计算机通过红外摄像机检测投影图像中的光点，获取光点的位置信息，并触发执行相应的界面操作，如点击、拖动、划线等。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

通过上述方式在投影场景下进行界面操作，需要使用红外笔才能够进行，在没有红外笔的情况下则无法触发执行界面操作，这导致界面操作的触发方式的灵活性较差。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种执行界面操作的方法和装置。所述技术方案如下：

一方面，提供了一种执行界面操作的方法，所述方法应用于电子设备，所述电子设备设置有投影器件和深度摄像器件，所述方法包括：

通过所述投影器件向目标投影面投射所述电子设备的显示界面；

通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息；其中，所述目标检测范围与所述目标投影面中投射的所述显示界面的范围相对应；

根据所述深度信息，确定对应的界面操作，并执行所述界面操作。

另一方面，提供了一种执行界面操作的装置，所述装置应用于电子设备，所述电子设备设置有投影器件和深度摄像器件，所述装置包括：

显示模块，用于通过所述投影器件向目标投影面投射所述电子设备的显示界面；

获取模块，用于通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息；其中，所述目标检测范围与所述目标投影面中投射的所述显示界面的范围相对应；

执行模块，用于根据所述深度信息，确定对应的界面操作，并执行所述界面操作。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例中，通过投影器件向目标投影面投射所述电子设备的显示界面，通过深度摄像器件，在目标检测范围中，获取控制主体相对于目标投影面的深度信息，其中，目标检测范围与目标投影面中投射的显示界面的范围相对应，根据深度信息，确定对应的界面操作，并执行所述界面操作。这样，可以通过对用户使用的控制主体与目标投影面的距离的检测，来控制执行相应的界面操作，可见该控制主体可以是任意物体或用户的手指，也即该操作过程中不需要使用红外笔等专用工具，从而，可以提高界面操作的触发方式的灵活性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的执行界面操作的方法流程图；

图2是本发明实施例提供的电子设备的结构示意图；

图3是本发明实施例提供的执行界面操作的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本发明实施例提供了一种执行界面操作的方法，该方法应用于电子设备，该电子设备设置有投影器件和深度摄像器件。如图1所示，该方法的处理流程可以包括如下步骤：

步骤101，通过投影器件向目标投影面投射电子设备的显示界面。

步骤102，通过深度摄像器件，在目标检测范围中，获取控制主体相对于目标投影面的深度信息；其中，目标检测范围与目标投影面中投射的显示界面的范围相对应。

步骤103，根据上述深度信息，确定对应的界面操作，并执行界面操作。

本发明实施例中，通过投影器件向目标投影面投射所述电子设备的显示界面，通过深度摄像器件，在目标检测范围中，获取控制主体相对于目标投影面的深度信息，其中，目标检测范围与目标投影面中投射的显示界面的范围相对应，根据深度信息，确定对应的界面操作，并执行所述界面操作。这样，可以通过对用户使用的控制主体与目标投影面的距离的检测，来控制执行相应的界面操作，可见该控制主体可以是任意物体或用户的手指，也即该操作过程中不需要使用红外笔等专用工具，从而，可以提高界面操作的触发方式的灵活性。

实施例二

本发明实施例提供了一种执行界面操作的方法，该方法应用于电子设备，该电子设备设置有投影器件和深度摄像器件。该方法的执行主体可以为该电子设备也可以为电子设备中的一个或多个部件。该电子设备可以是手机、平板电脑等移动终端。

其中，投影器件是具有投影功能的器件。深度摄像器件是通过拍摄来确定物品与深度摄像器件之间距离信息的器件。如图2所示，深度摄像器件可以包括红外发光器件和红外摄像器件。

优选的，可以设置投影器件在大于或等于预设深度的第一深度处的投影范围，包含于红外摄像器件在第一深度处的拍摄范围，且包含于红外发光器件在第一深度处的光照范围。

其中，预设深度是可以进行投影面界面操作的最小深度，如20厘米。该深度可以认为是与红外摄像器件焦平面（或称为深度摄像器件焦平面）的距离。这种情况下，在与焦平面的距离大于或等于预设深度的平面上，拍摄范围与光照范围的重叠范围包含投影范围。

下面将结合具体的处理方式，对图1所示的处理流程进行详细的阐述，内容可以如下：

步骤101，通过投影器件向目标投影面投射电子设备的显示界面。

其中，目标投影面可以是墙面、投影幕布或桌面等。显示界面可以是电子设备当前显示的内容，如移动终端屏幕显示内容。

在实施中，如图2所示，投影器件、红外发光器件和红外摄像器件可以设置于电子设备的某一侧壁上，在使用过程中，可以将电子设备平稳防止于桌面上，向目标投影面（如投影幕布）上投射电子设备的显示界面，可以控制红外摄像器件的焦平面与目标投影面的距离大于预设距离（如20厘米）。

步骤102，通过深度摄像器件，在目标检测范围中，获取控制主体相对于目标投影面的深度信息。

其中，目标检测范围与目标投影面中投射的显示界面的范围相对应。目标检测范围是深度摄像器件进行深度检测的范围。控制主体是用户控制触发界面操作所使用的物体，可以是任意物体，如笔、棒子或手指等。控制主体相对于目标投影面的深度信息，可以是控制主体与目标投影面的的距离。

具体的，步骤102的处理可以包括如下步骤：

步骤一，通过红外发光器件向目标检测范围中投射预设的红外光图像。

在实施中，当深度摄像器件的焦平面与目标投影面之间的距离为某预设数值时，目标检测范围可以与投射的显示界面的范围相同。红外发光器件向目标投影面上投射红外光，红外光的范围覆盖整个显示界面的范围。此预设的红外光图像用于通过图案的变化来定位图案中的各不同点，该红外光图像可以是多个条纹组成的图像，对条纹设置不同的间距，以使图像中的各点可以被查找定位。

步骤二，通过红外摄像器件，在目标检测范围中，拍摄控制主体和目标投影面上投射的红外光图像。

在实施中，用户想要进行界面操作时，可以用手指或其他物体在投射的显示界面中进行操作，这时控制主体则在目标检测范围内，红外发光器件发射的红外光则照射在控制主体和目标投影面上，此时，可以通过红外摄像器件拍摄控制主体和目标投影面上的红外光。

步骤三，根据拍摄的红外光图像中各目标图像点的位置相对于其基准位置的位移量，确定各目标图像点对应的控制主体和目标投影面上的位置点的深度信息，进而确定控制主体相对于目标投影面的深度信息。

其中，目标图像点可以是红外光图像中任意的图像点。目标图像点的基准位置是，红外发光器将预设的红外光图像投射到预设基准深度（如50厘米）的投影面上时，红外摄像器件拍摄到的红外光图像中目标图像点的位置。该位移量可以是在某个方向上的位移量，如横向位移量。

在实施中，可以确定目标检测范围内所有目标图像点（红外图像点）相对于基准位置的位移量，进而确定每个目标图像点的深度信息，即相对于红外摄像器件的焦平面的距离，然后，可以根据各目标图像点的深度分布，确定哪些目标像素点投射在目标投影面上，哪些目标像素点投射在控制主体上，进而根据投射在目标投影面上的目标像素点的深度信息，可以确定目标投影面的深度，即目标投影面与焦平面的距离，根据根据投射在控制主体上的目标像素点的深度信息，可以确定控制主体上各位置点的深度，即各位置点与焦平面的距离，再后，对目标投影面的深度与各位置点的深度求差，得到各位置点与目标投影面的距离，将其中最近的距离作为控制主体相对于目标投影面的深度信息。

可选的，上述根据各目标图像点的深度分布，确定哪些目标像素点投射在目标投影面上，哪些目标像素点投射在控制主体上之后，还可以进一步确定控制主体在目标检测范围中的位置，具体可以是上述距离最近的位置点在目标检测范围中的位置。

优选的，可以根据以下的公式（1）确定每个目标图像点的深度信息，相应的步骤三的处理可以如下：根据拍摄的红外光图像中各目标图像点的位置相对于基准位置的位移量dX₁，以及公式（公式（1）），确定各目标图像点对应的控制主体和目标投影面上的位置点的深度信息Z₁。

其中，k_m=1/fB，f为红外摄像器件的焦距，B为红外发光器件和红外摄像器件之间的轴距，Z_ref为预设的基准平面距离红外摄像器件的焦点的深度。

在实施中，红外发光器件将预设的红外光图像进行投射时，对于每一个图像点，投在不同深度的物体上，在拍摄的红外光图像中，该图像点会有不同的位置。这样，当物体的深度与上述基准平面的深度存在差距时，则相应的图像点的位置会相对于基准位置发生位移。深度Z₁与位移量dX₁存在对应关系，可以通过上述公式（1）进行计算。

步骤103，根据上述深度信息，确定对应的界面操作，并执行界面操作。

其中，界面操作可以是点击、长按、滑动等。

在实施中，可以预先记录深度信息与界面操作的对应关系，在确定深度信息后，可以在该对应关系中查找对应的界面操作并执行。

优选的，在步骤102中还可以获取控制主体的位置信息，相应的处理可以是：通过深度摄像器件，在目标检测范围中，获取控制主体相对于目标投影面的深度信息，以及控制主体在目标检测范围中的位置信息。进而步骤103的处理可以包括如下步骤：

步骤一，根据控制主体在目标检测范围中的位置信息，确定位置信息在显示界面中对应的操作位置。

例如，控制主体在目标检测范围的中心位置，则确定操作位置为显示界面的中心位置，控制主体在目标检测范围的右上角，则确定操作位置为显示界面的右上角。

步骤二，根据深度信息和操作位置，确定对应的界面操作，并执行界面操作。

在实施中，可以预先记录深度信息的变化及操作位置的变化，与界面操作的对应关系，根据该对应关系可以确定相应的界面操作。对于不同的深度信息和操作位置，可以对应出多种多样的界面操作，以下给出了其中的几种情况：

情况一，如果深度信息由非零值变至零值后再变至非零值，持续为零值的时长小于预设时长阈值，且在深度信息持续为零值的过程中操作位置保持不变，则在显示界面中该操作位置处执行点击操作。

情况二，如果深度信息由非零值变至零值，持续为零值的时长达到预设时长阈值，且在深度信息持续为零值的过程中操作位置保持不变，则在显示界面中该操作位置处执行长按操作。

情况三，如果深度信息为零值，且操作位置存在变化，则根据该操作位置，在显示界面中执行滑动操作。

本发明实施例中，通过投影器件向目标投影面投射所述电子设备的显示界面，通过深度摄像器件，在目标检测范围中，获取控制主体相对于目标投影面的深度信息，其中，目标检测范围与目标投影面中投射的显示界面的范围相对应，根据深度信息，确定对应的界面操作，并执行所述界面操作。这样，可以通过对用户使用的控制主体与目标投影面的距离的检测，来控制执行相应的界面操作，可见该控制主体可以是任意物体或用户的手指，也即该操作过程中不需要使用红外笔等专用工具，从而，可以提高界面操作的触发方式的灵活性。

实施例三

基于相同的技术构思，本发明实施例还提供了一种执行界面操作的装置，如图3所示，所述装置应用于电子设备，所述电子设备设置有投影器件和深度摄像器件，所述装置包括：

显示模块310，用于通过所述投影器件向目标投影面投射所述电子设备的显示界面；

获取模块320，用于通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息；其中，所述目标检测范围与所述目标投影面中投射的所述显示界面的范围相对应；

执行模块330，用于根据所述深度信息，确定对应的界面操作，并执行所述界面操作。

优选的，所述深度摄像器件包括红外发光器件和红外摄像器件；

所述获取模块320，用于：

通过所述红外发光器件向所述目标检测范围中投射预设的红外光图像；

通过所述红外摄像器件，在所述目标检测范围中，拍摄控制主体和所述目标投影面上投射的红外光图像；

根据拍摄的红外光图像中各目标图像点的位置相对于其基准位置的位移量，确定所述各目标图像点对应的所述控制主体和所述目标投影面上的位置点的深度信息，进而确定所述控制主体相对于所述目标投影面的深度信息。

优选的，所述获取模块320，用于：

根据拍摄的红外光图像中各目标图像点的位置相对于基准位置的位移量dX₁，以及公式确定所述各目标图像点对应的所述控制主体和所述目标投影面上的位置点的深度信息Z₁；其中，k_m=1/fB，f为所述红外摄像器件的焦距，B为所述红外发光器件和所述红外摄像器件之间的轴距，Z_ref为预设的基准平面距离所述红外摄像器件的焦点的深度。

优选的，所述深度摄像器件包括红外发光器件和红外摄像器件；

所述投影器件在大于或等于预设深度的第一深度处的投影范围，包含于所述红外摄像器件在所述第一深度处的拍摄范围，且包含于所述红外发光器件在所述第一深度处的光照范围。

优选的，所述获取模块320，用于：

通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息，以及所述控制主体在目标检测范围中的位置信息；

所述执行模块330，用于：

根据所述控制主体在目标检测范围中的位置信息，确定所述位置信息在所述显示界面中对应的操作位置；

根据所述深度信息和所述操作位置，确定对应的界面操作，并执行所述界面操作。

优选的，所述执行模块330，用于：

如果所述深度信息由非零值变至零值后再变至非零值，持续为零值的时长小于预设时长阈值，且在所述深度信息持续为零值的过程中所述操作位置保持不变，则在所述显示界面中所述操作位置处执行点击操作；

如果所述深度信息由非零值变至零值，持续为零值的时长达到预设时长阈值，且在所述深度信息持续为零值的过程中所述操作位置保持不变，则在所述显示界面中所述操作位置处执行长按操作；

如果所述深度信息为零值，且所述操作位置存在变化，则根据所述操作位置，在所述显示界面中执行滑动操作。

本发明实施例中，通过投影器件向目标投影面投射所述电子设备的显示界面，通过深度摄像器件，在目标检测范围中，获取控制主体相对于目标投影面的深度信息，其中，目标检测范围与目标投影面中投射的显示界面的范围相对应，根据深度信息，确定对应的界面操作，并执行所述界面操作。这样，可以通过对用户使用的控制主体与目标投影面的距离的检测，来控制执行相应的界面操作，可见该控制主体可以是任意物体或用户的手指，也即该操作过程中不需要使用红外笔等专用工具，从而，可以提高界面操作的触发方式的灵活性。

需要说明的是：上述实施例提供的执行界面操作的装置在执行界面操作时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的执行界面操作的方法与执行界面操作的装置实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种执行界面操作的方法，其特征在于，所述方法应用于电子设备，所述电子设备设置有投影器件和深度摄像器件，所述方法包括：

通过所述投影器件向目标投影面投射所述电子设备的显示界面；

通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息；其中，所述目标检测范围与所述目标投影面中投射的所述显示界面的范围相同；

根据所述深度信息，确定对应的界面操作，并执行所述界面操作；

其中，所述深度摄像器件包括红外发光器件和红外摄像器件；

所述投影器件在大于或等于预设深度的第一深度处的投影范围，包含于所述红外摄像器件在所述第一深度处的拍摄范围，且包含于所述红外发光器件在所述第一深度处的光照范围。

2.根据权利要求1所述的方法，其特征在于，所述深度摄像器件包括红外发光器件和红外摄像器件；

所述通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息，包括：

通过所述红外发光器件向所述目标检测范围中投射预设的红外光图像；

通过所述红外摄像器件，在所述目标检测范围中，拍摄控制主体和所述目标投影面上投射的红外光图像；

根据拍摄的红外光图像中各目标图像点的位置相对于其基准位置的位移量，确定所述各目标图像点对应的所述控制主体和所述目标投影面上的位置点的深度信息，进而确定所述控制主体相对于所述目标投影面的深度信息。

3.根据权利要求2所述的方法，其特征在于，所述根据拍摄的红外光图像中各目标图像点的位置相对于基准位置的位移量，确定所述各目标图像点对应的所述控制主体和所述目标投影面上的位置点的深度信息，包括：

根据拍摄的红外光图像中各目标图像点的位置相对于基准位置的位移量dX₁，以及公式确定所述各目标图像点对应的所述控制主体和所述目标投影面上的位置点的深度信息Z₁；其中，k_m＝1/fB，f为所述红外摄像器件的焦距，B为所述红外发光器件和所述红外摄像器件之间的轴距，Z_ref为预设的基准平面距离所述红外摄像器件的焦点的深度。

4.根据权利要求1所述的方法，其特征在于，所述通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息，包括：

通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息，以及所述控制主体在目标检测范围中的位置信息；

所述根据所述深度信息，确定对应的界面操作，并执行所述界面操作，包括：

根据所述控制主体在目标检测范围中的位置信息，确定所述位置信息在所述显示界面中对应的操作位置；

根据所述深度信息和所述操作位置，确定对应的界面操作，并执行所述界面操作。

5.根据权利要求4所述的方法，其特征在于，所述根据所述深度信息和所述操作位置，确定对应的界面操作，并执行所述界面操作，包括：

如果所述深度信息由非零值变至零值后再变至非零值，持续为零值的时长小于预设时长阈值，且在所述深度信息持续为零值的过程中所述操作位置保持不变，则在所述显示界面中所述操作位置处执行点击操作；

如果所述深度信息由非零值变至零值，持续为零值的时长达到预设时长阈值，且在所述深度信息持续为零值的过程中所述操作位置保持不变，则在所述显示界面中所述操作位置处执行长按操作；

如果所述深度信息为零值，且所述操作位置存在变化，则根据所述操作位置，在所述显示界面中执行滑动操作。

6.一种执行界面操作的装置，其特征在于，所述装置应用于电子设备，所述电子设备设置有投影器件和深度摄像器件，所述装置包括：

显示模块，用于通过所述投影器件向目标投影面投射所述电子设备的显示界面；

获取模块，用于通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息；其中，所述目标检测范围与所述目标投影面中投射的所述显示界面的范围相同；

执行模块，用于根据所述深度信息，确定对应的界面操作，并执行所述界面操作；

其中，所述深度摄像器件包括红外发光器件和红外摄像器件；

所述投影器件在大于或等于预设深度的第一深度处的投影范围，包含于所述红外摄像器件在所述第一深度处的拍摄范围，且包含于所述红外发光器件在所述第一深度处的光照范围。

7.根据权利要求6所述的装置，其特征在于，所述深度摄像器件包括红外发光器件和红外摄像器件；

所述获取模块，用于：

通过所述红外发光器件向所述目标检测范围中投射预设的红外光图像；

通过所述红外摄像器件，在所述目标检测范围中，拍摄控制主体和所述目标投影面上投射的红外光图像；

根据拍摄的红外光图像中各目标图像点的位置相对于其基准位置的位移量，确定所述各目标图像点对应的所述控制主体和所述目标投影面上的位置点的深度信息，进而确定所述控制主体相对于所述目标投影面的深度信息。

8.根据权利要求7所述的装置，其特征在于，所述获取模块，用于：

根据拍摄的红外光图像中各目标图像点的位置相对于基准位置的位移量dX₁，以及公式确定所述各目标图像点对应的所述控制主体和所述目标投影面上的位置点的深度信息Z₁；其中，k_m＝1/fB，f为所述红外摄像器件的焦距，B为所述红外发光器件和所述红外摄像器件之间的轴距，Z_ref为预设的基准平面距离所述红外摄像器件的焦点的深度。

9.根据权利要求6所述的装置，其特征在于，所述获取模块，用于：

通过所述深度摄像器件，在目标检测范围中，获取控制主体相对于所述目标投影面的深度信息，以及所述控制主体在目标检测范围中的位置信息；

所述执行模块，用于：

根据所述控制主体在目标检测范围中的位置信息，确定所述位置信息在所述显示界面中对应的操作位置；

根据所述深度信息和所述操作位置，确定对应的界面操作，并执行所述界面操作。

10.根据权利要求9所述的装置，其特征在于，所述执行模块，用于：

如果所述深度信息由非零值变至零值后再变至非零值，持续为零值的时长小于预设时长阈值，且在所述深度信息持续为零值的过程中所述操作位置保持不变，则在所述显示界面中所述操作位置处执行点击操作；

如果所述深度信息由非零值变至零值，持续为零值的时长达到预设时长阈值，且在所述深度信息持续为零值的过程中所述操作位置保持不变，则在所述显示界面中所述操作位置处执行长按操作；

如果所述深度信息为零值，且所述操作位置存在变化，则根据所述操作位置，在所述显示界面中执行滑动操作。