CN104618698A - 一种终端操控方法及装置 - Google Patents

Abstract

本发明公开了一种终端操控方法及装置，所述方法包括：通过视频获取单元获取投影单元的部分投影光路***控物体遮挡时所形成的投影图像；将获取到的投影图像和终端显存中投出的与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息；将所述位置信息作为操控数据信息发送给终端当前应用，指示所述当前应用根据所述操控数据信息执行相应的操控动作。在本发明所述技术方案中，在不改变终端硬件配置的前提下，提出了一种基于终端投影的新的操控方式，在扩展了终端操控方式的基础上，达到了提高终端操控的灵活性与智能性的目的。

Description

一种终端操控方法及装置

技术领域

本发明涉及终端技术领域，尤其涉及一种终端操控方法及装置。

背景技术

目前，常见的终端操控方式主要可以包括鼠标操控、键盘操控、触摸屏操控以及动作识别操控等几种。其中，鼠标操控、键盘操控等操控方式相对较为传统、智能程度较低；触摸屏操控智能性相对较高，但由于其仅能应用于具备触摸屏的终端设备当中，因而操控成本相对较高；动作识别操控的智能性也相对较高，但由于其技术尚未成熟、且具备动作识别能力的识别设备需要作为外设接入，因而导致操控成本相对较高，再有，由于在进行动作识别时，用于进行动作识别的摄像头需要设置于操作者前方且面向操作者，在具备投影的情况下所述摄像头将正对投影镜头，强光的干扰会对动作识别的准确度造成极大的影响，因此，操控效果并不佳。

也就是说，目前存在的终端操控方式的类别有限，且在一定程度上存在智能性较低或操控效果并不佳等问题。

发明内容

本发明实施例提供了一种终端操控方法及装置，用以解决终端操控方式类别有限所导致的操控智能性较低或效果并不佳等问题。

本发明实施例提供了一种终端操控方法，包括：

通过视频捕获单元获取投影单元的部分投影光路***控物体遮挡时所形成的投影图像；

将获取到的投影图像和终端显存中投出的与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息；

将所述位置信息作为操控数据信息发送给终端当前应用，指示所述当前应用根据所述操控数据信息执行相应的操控动作。

具体地，通过视频捕获单元获取投影单元的部分投影光路***控物体遮挡时所形成的投影图像，包括：

采用实时获取或定时获取的方式，通过所述视频捕获单元获取所述投影单元的部分投影光路***控物体遮挡时所形成的投影图像。

其中，所述视频捕获单元获取投影图像时所采用的图像获取帧数与所述投影单元进行投影时所采用的投射帧数相同。

进一步地，将获取到的投影图像和与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息，包括：

将所述获取到的投影图像转换为与所述原始投影图像尺寸一致的图像，并在确定转换后的投影图像中的满足设定条件的像素点的个数大于设定阈值时，根据所述满足设定条件的像素点所在区域，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息；

其中，所述设定条件为：相互之间连续排列且投影颜色深于所述原始投影图像相应区域像素点所能投射的最深投影颜色。

进一步地，所述视频捕获单元与所述投影单元设置于终端同一侧。

在本发明实施例所述技术方案中，可通过视频捕获单元捕获终端投影单元的部分投影光路***控物体遮挡时所形成的有阴影投影图像，并与原投影图像进行比较，来确定操控物体相对所述原始投影图像的位置信息，并将此位置信息转换为操控数据信息后反馈给当前运行应用，以达到操控和交互的目的，从而在不改变终端硬件配置的前提下，提出了一种基于终端投影的新的操控方式，在扩展了终端操控方式的基础上，达到了提高终端操控的灵活性与智能性的目的。

本发明实施例还提供了一种终端操控装置，包括：

投影单元，用于对终端中的待投影图像进行投影操作；

视频捕获单元，用于获取所述投影单元的部分投影光路***控物体遮挡时所形成的投影图像；

位置确定单元，用于将所述视频捕获单元获取到的投影图像和终端显存中投出的与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息；

指示发送单元，用于将所述位置信息作为操控数据信息发送给终端当前应用，指示所述当前应用根据所述操控数据信息执行相应的操控动作。

具体地，所述视频捕获单元，具体用于采用实时获取或定时获取的方式，获取所述投影单元的部分投影光路***控物体遮挡时所形成的投影图像。

其中，所述视频捕获单元获取投影图像时所采用的图像获取帧数与所述投影单元进行投影时所采用的投射帧数相同。

进一步地，所述位置确定单元，具体用于将所述视频捕获单元获取到的投影图像转换为与所述原始投影图像尺寸一致的图像，并在确定转换后的投影图像中的满足设定条件的像素点的个数大于设定阈值时，根据所述满足设定条件的像素点所在区域，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息；

其中，所述设定条件为：相互之间连续排列且投影颜色深于所述原始投影图像相应区域像素点所能投射的最深投影颜色。

进一步地，所述视频捕获单元与所述投影单元设置于终端同一侧。

本发明有益效果如下：

本发明实施例提供了一种终端操控方法及装置，通过视频捕获单元捕获终端投影单元的部分投影光路***控物体遮挡时所形成的有阴影投影图像，并与原投影图像进行比较，来确定操控物体相对所述原始投影图像的位置信息，并将此位置信息作为操控数据信息反馈给当前运行应用，以达到操控和交互的目的，从而在不改变终端硬件配置的前提下，提出了一种基于终端投影的新的操控方式，在扩展了终端操控方式的基础上，达到了提高终端操控的灵活性与智能性的目的。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明实施例一中所述终端操控方法的流程示意图；

图2所示为本发明实施例二中所述终端操控方法的操控示意图一；

图3所示为本发明实施例二中所述终端操控方法的操控示意图二；

图4所示为本发明实施例二中所述终端操控方法的操控示意图三；

图5所示为本发明实施例二中所述终端操控方法的操控示意图四；

图6所示为本发明实施例二中所述终端操控方法的操控示意图五；

图7所示为本发明实施例三中所述终端操控装置的结构示意图。

具体实施方式

本发明实施例提供了一种终端操控方法及装置，所述方法包括：通过视频获取单元获取投影单元的部分投影光路***控物体遮挡时所形成的投影图像；将获取到的投影图像和终端显存中投出的与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息；将所述位置信息作为操控数据信息发送给终端当前应用，指示所述当前应用根据所述操控数据信息执行相应的操控动作。在本发明实施例所述技术方案中，在不改变终端硬件配置的前提下，提出了一种基于终端投影的新的操控方式，在扩展了终端操控方式的基础上，达到了提高终端操控的灵活性与智能性的目的。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一：

如图1所示，其为本发明实施例一中所述终端操控方法的流程示意图，所述终端操控方法可适用于手机、平板电脑、PDA（Personal Digital Assistant，掌上电脑）等终端设备，本发明实施例对此不作任何限定。具体地，所述终端操控方法可包括以下步骤：

步骤101：通过视频捕获单元获取投影单元的部分投影光路***控物体遮挡时所形成的投影图像。

需要说明的是，在本发明所述实施例中，所涉及到的可适用所述终端操控方法的终端通常可为具备视频捕获单元（如摄像单元等）以及投影单元的终端，并且，通常情况下，所述视频捕获单元以及所述投影单元常处于关闭状态，在采用本发明实施例所述的终端操控方式时，可采用手动或自动的方式将所述视频捕获单元以及所述投影单元设置为开启状态，本发明实施例对此不作赘述。

具体地，所述视频捕获单元与所述投影单元可设置于终端同一侧；进一步地，为了避免投影单元的投影镜头与视频捕获单元的视频捕获镜头距离太近时所造成的操控物体遮挡视频捕获镜头的问题，可采用将所述视频捕获镜头设置为外置镜头的方式，或者，可采用将所述视频捕获镜头（如内置的视频捕获镜头）与所述投影镜头的距离设置为大于设定阈值的方式来使其与所述投影镜头保持一定距离，以避免两者的光路有较大的重叠；再有，若所述视频捕获镜头（如内置的视频捕获镜头）与所述投影镜头位于终端同一侧面的两端，也可通过改变终端放置方式（如横置或竖置）的方法来避免操控物体遮挡视频捕获镜头；另外，还可通过软件智能识别来过滤操控物体遮挡视频捕获镜头所造成的干扰，以使所述终端操控方式能够在绝大多数状态下正常工作，本发明实施例对此不作任何限定。

进一步地，在本发明所述实施例中，通常可采用实时获取或定时获取的方式，通过设置于终端中的视频捕获单元获取设置于终端中的投影单元的部分投影光路***控物体遮挡时所形成的投影图像。较优地，为了达到对投影单元所形成的投影图像进行实时采集以提高操控准确性的目的，通常可采用实时获取的方式，获取所述投影单元在投影时所形成的投影图像，以便即时地获取到投影单元的部分投影光路***控物体遮挡时所形成的投影图像，从而较为准确、即时地完成终端的操控动作。

需要说明的是，在进行投影图像的获取时，所述视频捕获单元所采用的图像获取帧数与所述投影单元进行投影时所采用的投射帧数相同，以保证图像数据的一致性。

步骤102：将获取到的投影图像和终端显存中投出的与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息。

具体地，在本发明所述实施例中，将获取到的投影图像和与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息，可以包括：

将所述获取到的投影图像转换为与所述原始投影图像尺寸一致的图像，需要说明的是，当所述获取到的投影图像与所述原始投影图像的尺寸一致时，无需执行所述转换操作；以及，

在确定转换后的投影图像中的满足设定条件的像素点的个数大于设定阈值时，根据所述满足设定条件的像素点所在区域，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息，其中，所述设定条件为：相互之间连续排列（即所确定的满足设定条件的像素点不是相互孤立的像素点）且投影颜色深于所述原始投影图像相应区域像素点所能投射的最深投影颜色。

具体地，所述设定阈值可以根据实际情况进行调整设置，本发明实施例对此不作任何限定。例如，当用于遮挡所述投影单元投影时的投影光路的操控物体为手指或木棒等遮挡面积较小的物体、或多采用对屏幕边缘位置进行遮挡的方式进行终端操控时，可将所述设定阈值设置为相对较小的数值；而当用于遮挡所述投影单元投影时的投影光路的操控物体为手等遮挡面积较大的物体、或多采用对屏幕中心位置进行遮挡的方式或利用双手进行遮挡的方式进行终端操控时，可将所述设定阈值设置为相对较大的数值，本发明实施例对此不作任何限定。

步骤103：将所述位置信息作为操控数据信息发送给终端当前应用，指示所述当前应用根据所述操控数据信息执行相应的操控动作。

具体地，在本发明所述实施例中，终端当前应用在接收到所述位置信息时，可按照设定的软件处理方式对所述位置信息进行智能解析，并根据解析后的数据、按照设定的操控方式执行相应的操控动作，以达到操控和交互的目的；其中，所述操控动作可以为拨动操作、捏动操作、滑动操作、按动操作以及拖动窗口操作等，本发明实施例对此不作任何限定。

本发明实施例一提供了一种终端操控方法，通过视频捕获单元捕获终端投影单元的部分投影光路***控物体遮挡时所形成的有阴影投影图像，并与原投影图像进行比较，来确定操控物体相对所述原始投影图像的位置信息，并将此位置信息作为操控数据信息反馈给当前运行应用，以达到操控和交互的目的，从而在不改变终端硬件配置的前提下，提出了一种基于终端投影的新的操控方式，在扩展了终端操控方式的基础上，达到了提高终端操控的灵活性与智能性的目的。

实施例二：

本发明实施例二以在一个射门游戏中控制终端屏幕上的足球完成射门为例，对本发明实施例一中所述终端操控方法的流程进行具体说明，如图2～图6所示，其为本发明实施例二中所述终端操控方法对应的各操控示意图，所述终端操控方法具体可以包括以下步骤：

步骤201：终端进入射门游戏，并开启设置于所述终端中的投影单元以及视频捕获单元，具体可如图2所示。

此时，所述视频捕获单元可采用实时获取的方式，来获取所述投影单元在投影时所形成的各投影图像，并将获取到的每一幅投影图像与终端显存中投出的原始投影图像进行对比；其中，在进行投影图像的获取时，所述视频捕获单元所采用的图像获取帧数与所述投影单元进行投影时所采用的投射帧数相同，以保证图像数据的一致性。

步骤202：通过木棒等操控物体挡住投影单元的部分投影光路，来使视频捕获单元获取到的投影图像上出现阴影，具体可如图3所示。

此时，终端可将视频捕获单元获取到的有阴影投影图像和终端显存中投出的与所述获取到的有阴影投影图像相对应的原始投影图像进行对比，确定木棒在所述获取到的有阴影投影图像中形成的阴影相对所述原始投影图像的位置信息，并将所述位置信息反馈给终端射门游戏程序；终端射门游戏程序可根据终端反馈的位置信息，得到木棒位置信息，但因为所述木棒的位置信息并没有与图像中的足球进行接触，因此，终端射门游戏程序可不进行任何操作。

步骤203：通过移动木棒使视频捕获单元获取到的投影图像上的阴影能够遮挡到足球旁的像素点，如图4所示。

此时，由于终端射门游戏程序所得到的木棒位置信息与图像中的足球存在一定的接触，因此，可按照设定的操控方式，如拨动操控方式执行射门操作，具体可如图5以及图6所示。

本发明实施例二提供了一种终端操控方法，通过视频捕获单元捕获终端投影单元的部分投影光路***控物体遮挡时所形成的有阴影投影图像，并与原投影图像进行比较，来确定操控物体相对所述原始投影图像的位置信息，并将此位置信息作为操控数据信息反馈给当前运行应用，以达到操控和交互的目的，从而在不改变终端硬件配置的前提下，提出了一种基于终端投影的新的操控方式，在扩展了终端操控方式的基础上，达到了提高终端操控的灵活性与智能性的目的。

实施例三：

如图7所示，其为本发明实施例三中所述终端操控装置的结构示意图，所述终端操控装置可为手机、平板电脑、PDA等独立的终端设备或集成在上述各终端设备中的集成设备，本发明实施例对此不作任何限定。具体地，所述终端操控装置可以包括投影单元11、视频捕获单元12、位置确定单元13以及指示发送单元14，其中：

所述投影单元11可用于对终端中的待投影图像进行投影操作；其中，所述待投影图像可以为动态图像或静态图像，本发明实施例对此不作任何限定。

所述视频捕获单元12可用于获取所述投影单元11的部分投影光路***控物体遮挡时所形成的投影图像，其中，所述操控物体可以为手指、木棒等物体，本发明实施例对此不作任何限定。

具体地，所述视频捕获单元12可用于采用实时获取或定时获取的方式，获取所述投影单元11的部分投影光路***控物体遮挡时所形成的投影图像；较优地，为了达到对投影单元11所形成的投影图像进行实时采集以提高操控准确性的目的，所述视频捕获单元12通常可采用实时获取的方式，获取所述投影单元11在投影时所形成的投影图像，以便即时地获取到投影单元11的部分投影光路***控物体遮挡时所形成的投影图像，从而较为准确、即时地完成终端的操控动作。其中，所述视频捕获单元12获取投影图像时所采用的图像获取帧数通常与所述投影单元11进行投影时所采用的投射帧数相同，以保证图像数据的一致性。

所述位置确定单元13可用于将所述视频捕获单元12获取到的投影图像和终端显存中投出的与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息。

具体地，所述位置确定单元13可用于将所述视频捕获单元12获取到的投影图像转换为与所述原始投影图像尺寸一致的图像，并在确定转换后的投影图像中的满足设定条件的像素点的个数大于设定阈值时，根据所述满足设定条件的像素点所在区域，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息，其中，所述设定条件为：相互之间连续排列且投影颜色深于所述原始投影图像相应区域像素点所能投射的最深投影颜色。

所述指示发送单元14可用于将所述位置信息作为操控数据信息发送给终端当前应用，指示所述当前应用根据所述操控数据信息执行相应的操控动作。

具体地，在本发明所述实施例中，终端当前应用在接收到所述位置信息时，可按照设定的软件处理方式对所述位置信息进行智能解析，并根据解析后的数据、按照设定的操控方式执行相应的操控动作，以达到操控和交互的目的；其中，所述操控动作可以为拨动操作、捏动操作、滑动操作、按动操作以及拖动窗口操作等，本发明实施例对此不作任何限定。

本发明实施例三提供了一种终端操控装置，通过视频捕获单元捕获终端投影单元的部分投影光路***控物体遮挡时所形成的有阴影投影图像，并与原投影图像进行比较，来确定操控物体相对所述原始投影图像的位置信息，并将此位置信息作为操控数据信息反馈给当前运行应用，以达到操控和交互的目的，从而在不改变终端硬件配置的前提下，提出了一种基于终端投影的新的操控方式，在扩展了终端操控方式的基础上，达到了提高终端操控的灵活性与智能性的目的。

本领域技术人员应明白，本发明的实施例可提供为方法、装置（设备）、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置（设备）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种终端操控方法，其特征在于，包括：

通过视频捕获单元获取投影单元的部分投影光路***控物体遮挡时所形成的投影图像；

将获取到的投影图像和终端显存中投出的与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息；

将所述位置信息作为操控数据信息发送给终端当前应用，指示所述当前应用根据所述操控数据信息执行相应的操控动作。

2.如权利要求1所述的终端操控方法，其特征在于，通过视频捕获单元获取投影单元的部分投影光路***控物体遮挡时所形成的投影图像，包括：

采用实时获取或定时获取的方式，通过所述视频捕获单元获取所述投影单元的部分投影光路***控物体遮挡时所形成的投影图像。

3.如权利要求1或2任一所述的终端操控方法，其特征在于，

所述视频捕获单元获取投影图像时所采用的图像获取帧数与所述投影单元进行投影时所采用的投射帧数相同。

4.如权利要求1或2任一所述的终端操控方法，其特征在于，将获取到的投影图像和与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息，包括：

将所述获取到的投影图像转换为与所述原始投影图像尺寸一致的图像，并在确定转换后的投影图像中的满足设定条件的像素点的个数大于设定阈值时，根据所述满足设定条件的像素点所在区域，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息；

其中，所述设定条件为：相互之间连续排列且投影颜色深于所述原始投影图像相应区域像素点所能投射的最深投影颜色。

5.如权利要求1或2任一所述的终端操控方法，其特征在于，

所述视频捕获单元与所述投影单元设置于终端同一侧。

6.一种终端操控装置，其特征在于，包括：

投影单元，用于对终端中的待投影图像进行投影操作；

视频捕获单元，用于获取所述投影单元的部分投影光路***控物体遮挡时所形成的投影图像；

位置确定单元，用于将所述视频捕获单元获取到的投影图像和终端显存中投出的与所述获取到的投影图像相对应的原始投影图像进行对比，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息；

指示发送单元，用于将所述位置信息作为操控数据信息发送给终端当前应用，指示所述当前应用根据所述操控数据信息执行相应的操控动作。

7.如权利要求6所述的终端操控装置，其特征在于，

所述视频捕获单元，具体用于采用实时获取或定时获取的方式，获取所述投影单元的部分投影光路***控物体遮挡时所形成的投影图像。

8.如权利要求6或7任一所述的终端操控装置，其特征在于，

所述视频捕获单元获取投影图像时所采用的图像获取帧数与所述投影单元进行投影时所采用的投射帧数相同。

9.如权利要求6或7任一所述的终端操控装置，其特征在于，

所述位置确定单元，具体用于将所述视频捕获单元获取到的投影图像转换为与所述原始投影图像尺寸一致的图像，并在确定转换后的投影图像中的满足设定条件的像素点的个数大于设定阈值时，根据所述满足设定条件的像素点所在区域，确定所述操控物体在所述获取到的投影图像中形成的阴影相对所述原始投影图像的位置信息；

其中，所述设定条件为：相互之间连续排列且投影颜色深于所述原始投影图像相应区域像素点所能投射的最深投影颜色。

10.如权利要求6或7任一所述的终端操控装置，其特征在于，所述视频捕获单元与所述投影单元设置于终端同一侧。