CN109471541A - 基于虚拟画面的空中鼠标追踪方法、***及存储介质 - Google Patents

Abstract

本发明涉及一种基于虚拟画面的空中鼠标追踪方法及***，其中基于虚拟画面的空中鼠标追踪方法，包括：显示大屏在正常显示帧中***显示虚拟画面，其中，所述虚拟画面为预设内容的画面；获取目标区域画面，其中所述目标区域画面为有指示光斑的虚拟画面的图像；结合所述虚拟画面中的预设内容，识别所述指示光斑在目标区域中的位置，计算出所述指示光斑在显示画面上的指示位置；将鼠标移动到所述指示位置。在显示大屏中***显示具有辅助定位的预设内容的虚拟画面，获取有指示光斑的虚拟画面的图像作为目标区域画面，利用虚拟画面中的预设内容，辅助计算得到指示光斑在显示画面上的指示位置，实现了空中鼠标的位置追踪，计算量小，准确度高。

Description

基于虚拟画面的空中鼠标追踪方法、***及存储介质

技术领域

本发明涉及大屏显示控制领域，特别是涉及基于虚拟画面的空中鼠标追踪方法、***及存储介质。

背景技术

在教学、汇报演讲、演示文稿、宣传等面向众多人员的活动场景下，经常会使用到大屏幕，来显示内容，比如投影大屏幕、LED显示大屏或者其他种类的显示大屏。讲演人员，为了更好的阐述自己，一般会利用激光演示笔，指出显示大屏上希望听众关注的内容。而现有的激光演示笔，除了激光以及翻页等操作以外，并不能进行鼠标操作。如若讲演人回到讲台进行鼠标操作，则很容易破坏讲演氛围，影响讲演人的思路及听众的兴趣。因此，亟需一种空中鼠标追踪的方案，可以让显示大屏的应用场景中，既能实现激光指示的功能，又能实现鼠标定位，甚至鼠标操作等功能。

发明内容

基于此，有必要针对现有演示笔不能实现鼠标定位、操作的问题，提供一种基于虚拟画面的空中鼠标追踪方法、***及存储介质。

本发明一实施例提供的基于虚拟画面的空中鼠标追踪方法，包括：

显示大屏在正常显示帧中***显示虚拟画面，其中，所述虚拟画面为预设内容的画面；

获取目标区域画面，其中所述目标区域画面为有指示光斑的虚拟画面的图像；

结合所述虚拟画面中的预设内容，识别所述指示光斑在目标区域中的位置，计算出所述指示光斑在显示画面上的指示位置；

将鼠标移动到所述指示位置。

优选的，所述方法还包括，接收鼠标追踪信号。

优选的，所述获取目标区域画面，具体包括：

拍摄显示虚拟画面的显示大屏的画面；

从所述显示大屏的画面中提取目标区域画面。

优选的，所述从所述显示大屏的画面中提取目标区域画面，具体包括：

识别出所述显示大屏的画面中的显示区域；

对所述显示区域的画面进行几何校正，得到目标区域画面。

优选的，所述从所述显示大屏的画面中提取目标区域画面，具体包括：

识别出所述显示大屏的画面中的指示光斑；

按照预设规则，围绕所述指示光斑，得到目标区域画面。

优选的，所述预设规则，具体为目标区域内具有至少一种识别特征。

优选的，所述虚拟画面中的预设内容为带网格标记的网格。

本发明另一实施例还提供了一种基于虚拟画面的空中鼠标追踪***，包括空中鼠标、显示大屏、控制后台；所述显示大屏，根据所述控制后台的控制，在正常显示帧中***显示虚拟画面，其中，虚拟画面为预设内容的画面；所述空中鼠标与所述控制后台通信连接，所述空中鼠标包括指示单元，在所述显示大屏上形成指示光斑；

所述空中鼠标还包括：

成像单元，用于获取目标区域画面，其中目标区域画面为有指示光斑的虚拟画面的图像；

发送单元，用于向外发送目标区域画面；

控制后台，包括：

接收单元，用于接收目标区域画面；

位置确定单元，结合虚拟画面中的预设内容，识别指示光斑在目标区域中的位置，计算出指示光斑在显示画面上的指示位置；

鼠标移动单元，用于将鼠标移动到指示位置。

优选的，所述成像单元的成像方向与所述指示单元的指示方向被设置为相同方向；

所述成像单元的焦距满足预设焦距范围。

本发明另一实施例还提供了一种机器可读存储介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现前述的基于虚拟画面的空中鼠标追踪方法。

本发明实施例中的空中鼠标追踪方法，在显示大屏中***显示具有辅助定位的预设内容的虚拟画面，获取有指示光斑的虚拟画面的图像作为目标区域画面，利用虚拟画面中的预设内容，辅助计算得到指示光斑在显示画面上的指示位置，实现了空中鼠标的位置追踪。通过设置虚拟画面中辅助定位的预设内容，指示光斑的识别、定位，计算量小，准确度高。还可以进一步执行鼠标操作，能够很好的满足用户的需求。

附图说明

图1为本发明一实施例的基于虚拟画面的空中鼠标追踪***的结构示意图；

图2为本发明一实施例的基于虚拟画面的空中鼠标追踪方法的流程示意图；

图3为本发明一实施例中有指示光斑且显示虚拟画面的显示大屏的画面示意图；

图4为本发明一实施例中目标区域画面的示意图；

图5为本发明另一实施例的基于虚拟画面的空中鼠标追踪方法的流程示意图；

图6为本发明又一实施例的基于虚拟画面的空中鼠标追踪方法的流程示意图；

图7为本发明一种细化步骤S430的基于虚拟画面的空中鼠标追踪方法的流程示意图；

图8为本发明另一种细化步骤S430的基于虚拟画面的空中鼠标追踪方法的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。

如图1所示，本发明的一实施例提供了一种基于虚拟画面的空中鼠标追踪方法，包括：

S200，显示大屏在正常显示帧中***显示虚拟画面，其中，虚拟画面为预设内容的画面；

S400，获取目标区域画面，其中目标区域画面为有指示光斑的虚拟画面的图像；

S600，结合虚拟画面中的预设内容，识别指示光斑在目标区域中的位置，计算出指示光斑在显示画面上的指示位置；

S800，将鼠标移动到指示位置。

在本发明实施例的方案中，显示大屏在正常显示帧中***显示虚拟画面，其中，虚拟画面为与预设内容的画面。虚拟画面中的预设内容，主要用于辅助定位。虚拟画面仅是用于空中鼠标追踪，不能被观众查看到，以免影响正常显示内容。为了避免观众察觉到虚拟画面，虚拟画面的显示时间应该足够短，但同时要足够拍摄到在显示大屏上显示虚拟画面的图像。在一个实现方式中，虚拟画面的显示时间可以设置为1/250s。可以理解的是，虚拟画面的显示时间，还可以设置为其他时间，只要不被观众察觉到虚拟画面、且能被拍摄即可。

预设内容，可以是布满整个画面的网格，也可以是具有横轴和纵轴的坐标系，还可以是多个辅助定位的特征点，或者前述两种或三种内容的结合，或者其他辅助定位的特征。在一些实现方式中，虚拟画面中，预设内容之外的区域，可以采用单一色彩和/或低亮度。比如，预设内容之外的区域都是白色，与指示光斑的色彩具有明显的差异，以便于快速识别出指示光斑。可以理解的是，预设内容之外的区域的色彩，优选与指示光斑的色彩具有足够差异的色彩。

优选的，预设内容为网格，如图3所示。在网格内还可以设置有网格标记，并事先编制每个网格标记在画面中的坐标范围。网格标记可以是该网格在整体网格中的行号和列号，如图3中的1-1、X-Y等行号和列号；也可以是依照一定顺序串联的序列号，或者其他能指示该网格在整体网格中的位置的标记。同时，网格标记也可以指示方向，以有助于识别指示光斑在目标区域中的位置。可以理解的是，网格也可以不采用矩形，而是每个网格采用不同的形状，利用网格各自的形状，来标记各自网格，此时，就不需要单独设置网格标记。

得到指示光斑在目标区域中的位置之后，即可根据网络标记在画面中的坐标范围，快速得到指示光斑在画面中的具***置，进而得到指示光斑在显示画面中的指示位置。网格的边框上，还可以设置刻度标记，帮助计算指示光斑在目标区域中的位置。可以理解的是，每个网格内，还可以设置其他辅助计算指示光斑位置的定位标记，比如对角线、以网格中心为原点的坐标轴等。

指示光线照射在显示大屏上，会形成指示光斑。当显示大屏上显示虚拟画面，且有指示光斑时，通过拍摄的方式，可以获取到显示大屏有指示光斑的一定区域的图像，即为目标区域画面。目标区域画面为有指示光斑的虚拟画面的图像。

借助图像识别，可以识别出指示光斑在目标区域中的位置。可以首先识别出指示光斑，再计算指示光斑在区域中的位置。由于指示光斑的亮度与显示大屏上显示的亮度具有较大差异，因此，可以基于亮度的因素，识别出指示光斑。当然，如果指示光斑的色彩也具有可识别的特征，也可以基于色彩进行识别。可以理解的是，对指示光斑的识别，除了依据前述的单一因素之外，还可以基于多种因素组合的特征，比如亮度、色彩和/或形状的组合等。计算指示光斑在区域中的位置时，可以借助虚拟画面中的预设内容，以降低识别所需的计算量。

得到指示光斑在目标区域中的位置，借助目标区域中的预设内容与虚拟画面中的完整的预设内容之间的关系，可以得到指示光斑在虚拟画面中的具***置。显示画面是输出到显示大屏的原始画面，鼠标的定位、移动均是根据显示画面进行的。虚拟画面与显示画面之间具有预设的映射关系，指示光斑在虚拟画面中的具***置，根据前述的映射关系进行转换，即可得到指示光斑在显示画面中的位置，即指示位置。之后，即可让鼠标，在显示画面上，移动指示位置。如此，实现了鼠标对显示光斑的位置追踪。

本发明实施例中的空中鼠标追踪方法，在显示大屏中***显示具有辅助定位的预设内容的虚拟画面，获取有指示光斑的虚拟画面的图像作为目标区域画面，利用虚拟画面中的预设内容，辅助计算得到指示光斑在显示画面上的指示位置，实现了空中鼠标的位置追踪。通过设置虚拟画面中辅助定位的预设内容，指示光斑的识别、定位，计算量小，准确度高。

为了更好地阐述本发明的基于虚拟画面的空中鼠标追踪方法，下面结合***进行说明。如图1所示，本发明一实施例的基于虚拟画面的空中鼠标追踪***，包括空中鼠标10、显示大屏20、控制后台30。显示大屏20，根据控制后台30的控制，在正常显示帧中***显示虚拟画面，其中，虚拟画面为预设内容的画面。空中鼠标10与控制后台30之间通信连接。空中鼠标10具有指示单元，在显示大屏20上形成指示光斑，以对显示大屏20上的显示内容进行指示。同时，空中鼠标10还具有成像单元。

具体的，显示大屏20，既可以是投影屏幕，也可以是LED显示屏，或者液晶显示屏，或者其他结构的显示屏。空中鼠标10与控制后台30之间，可以通过无线通信方式连接，比如WiFi、蓝牙、ZIG BEE等无线通信技术。空中鼠标 10的本体可以是遥控器，也可以是激光笔，或者其他多媒体演示设备。

空中鼠标10的指示单元，具体可以是激光笔单元，发出的激光照射在显示大屏20上形成指示光斑，指示需要关注的显示内容。可以理解的是，空中鼠标 10的指示单元，除了激光笔单元以外，也可以是其他结构，只要能够形成指示光斑即可。这里，不做具体限定。

空中鼠标10的成像单元，用于拍摄显示大屏方向的画面。空中鼠标10的成像单元可以是常见的成像设备，比如CCD成像设备，或者CMOS成像设备。优选CCD成像设备。空中鼠标10的成像单元的成像方向与指示单元的指示方向，可以设置为相同方向。

一般情况下，空中鼠标10拍摄的画面是包含整个显示大屏的较大区域的画面，需要进一步处理，才能得到目标区域画面。目标区域画面中有指示光斑。空中鼠标10与控制后台30之间通信连接。这里对画面进行处理以得到目标区域画面的操作，即可以在空中鼠标10上进行，也可以在控制后台30上进行。优选在控制后台30进行。在控制后台30上进行处理以得到目标区域画面的，则空中鼠标10将拍摄的画面传输给控制后台30，再由控制后台30进行处理。

根据焦距与视野范围之间的反比关系，焦距越长，则视野范围越小。当空中鼠标10的成像单元选择合适的焦距时，即使空中鼠标10与显示大屏20之间具有较大的距离，空中鼠标10的成像单元拍摄出来的画面，可以仅是包含指示光斑的、显示大屏上的局部区域，而不是整个显示大屏的较大区域的画面，此时，拍摄的画面就是目标区域画面。

因此，为了减少计算量，通过选择预设焦距范围的成像单元，空中鼠标10 的成像单元拍摄出来的画面，就是目标区域画面，即有指示光斑的虚拟画面的图像，而非包含整个显示大屏的较大区域的画面，不需要进一步处理。空中鼠标10的成像单元的焦距，可以根据显示大屏20的尺寸、场地的尺寸以及焦距与视野范围的反比关系确定。当预设内容为网格时，为了保证目标区域的尺寸至少能够容纳一个网格，在确定成像单元的焦距时，还需要考虑网格的大小。

为了保证空中鼠标10的成像单元拍摄出来的目标区域画面能够包含指示光斑，空中鼠标10的成像单元的成像方向与指示单元的指示方向被设置为相同方向。如此，就能保证空中鼠标10的成像单元拍摄的画面包含有指示光斑。

得到目标区域画面之后，即可结合虚拟画面中的预设内容，识别指示光斑在目标区域中的位置，计算出指示光斑在显示画面上的指示位置。这一步骤同样可以在空中鼠标10或控制后台30上进行。优选在控制后台30进行该步骤，此时无需在空中鼠标10上设置较强性能的处理器或芯片，可以降低成本。

得到指示光斑在显示画面中的指示位置之后，控制后台30将鼠标移动到该指示光斑对应的位置，实现鼠标对指示光斑的追踪。

在前述实施例中，可以让鼠标实时追踪显示光斑。而实际使用中，也可以仅在需要时才让鼠标追踪显示光斑。为了在需要时才让鼠标追踪显示光斑，降低计算量以及能耗、成本，如图5所示，基于虚拟画面的空中鼠标追踪方法中，在步骤S200之前，还包括：

S100，接收鼠标追踪信号。

在空中鼠标10上设置鼠标追踪按键。当用户按下鼠标追踪按键时，才会开始进行鼠标对显示光斑的追踪。可以理解的是，空中鼠标10上可以设置鼠标追踪按键，也可以是类似鼠标左键、右键的按键，比如可以在空中鼠标10上设置鼠标左键、右键。

当用户按下空中鼠标10上的鼠标左键时，即产生鼠标追踪信号。空中鼠标 10接收鼠标追踪信号，与控制后台30进行通信。控制后台30控制传输给显示大屏20的信号，让显示大屏20在正常显示帧中***显示虚拟画面，其中，虚拟画面为预设内容的画面。空中鼠标10的成像单元对显示虚拟画面的显示大屏进行拍摄，以便于获取目标区域画面，目标区域画面为有指示光斑的虚拟画面的图像。空中鼠标10与控制后台30会进行同步控制，以便于空中鼠标10的成像单元能够拍摄到显示虚拟画面的显示大屏的图像。同步控制的方式可以有很多种，比如控制后台30控制显示大屏***显示虚拟画面时或之前一定时间，可以通知空中鼠标10的成像单元开启拍摄动作；或者空中鼠标10与控制后台30 利用相同的控制时序，进行各自的动作，实现相互之间的配合。

通过设置接收鼠标追踪信号的触发步骤，进行鼠标对显示光斑的追踪，可以降低计算量以及能耗、成本。

基于虚拟画面的空中鼠标追踪方法还可以进一步包括，鼠标追踪信号包括按键功能信号，在步骤S800之后，根据按键功能信号，执行相应的操作。比如鼠标左键操作、右键操作。

如此，空中鼠标10不仅可以实现鼠标追踪，更可以实现完整的鼠标功能，能够更好的满足用户的需求。

在一个实施例中，如图6所示，步骤S400，获取目标区域画面，具体为：

S410，拍摄显示虚拟画面的显示大屏的画面；

S430，从显示大屏的画面中提取目标区域画面。

如前所述，空中鼠标10，可以拍摄包含整个显示大屏的较大区域的画面，即为显示大屏的画面。本发明的实施例中，需要拍摄大屏显示虚拟画面的显示大屏的画面。显示大屏的画面中，既有显示大屏的显示区域内的虚拟画面，也可能包括有超出显示区域的图像，比如显示大屏之外的墙体等图像。如图3所示，此时即为显示大屏显示虚拟画面的完整画面以及指示光斑。但是，拍摄的显示大屏的画面，可能还包括该显示区域之外的其他区域(比如墙体、显示大屏边缘的非显示区域)的图像。此时，需要从显示大屏的画面中，提取目标区域画面，才能方便与原始图像进行对比识别，避免显示大屏的显示区域之外的图像的干扰，也能降低识别难度。

目标区域画面，可以是显示区域的虚拟画面的图像(如图3所示)，也可以是包含指示光斑的、局部显示区域的虚拟画面的图像(如图4所示)。

当目标区域画面为显示区域的虚拟画面的图像时，如图7所示，S430，从显示大屏的画面中提取目标区域画面的步骤，具体可以包括：

S431，识别出显示大屏的画面中的显示区域；

S433，对显示区域的画面进行几何校正，得到目标区域画面。

当目标区域画面为显示区域的虚拟画面的图像，需要从显示大屏的画面中提取出显示区域的画面。首先，从显示大屏的画面中识别出显示区域。可以基于显示区域的亮度与周围环境的不同，或者显示大屏非显示区域的形状、色彩等特性，进行识别。也可以对每个显示大屏事先建立显示区域识别模型，实际使用时，调用该显示区域识别模型进行识别。

由于拍摄时的角度问题，拍摄的显示大屏的画面中的显示区域可能是倾斜的，甚至会出现一定的拉伸、变形。因此，在识别出显示区域之后，还要对提取出来的显示区域的画面进行几何校正，以使显示区域能够恢复正常的矩形形状，如图3所示的矩形，以有利于后面步骤的识别、计算。

当目标区域画面为包含指示光斑的、局部显示区域的虚拟画面的图像(如图4所示)时，如图8所示，S430，从显示大屏的画面中提取目标区域画面的步骤，具体可以包括：

S432，识别出显示大屏的画面中的指示光斑；

S434，按照预设规则，围绕指示光斑，得到目标区域画面。

当目标区域画面为包含指示光斑的、局部显示区域的虚拟画面的图像时，首先，需要在显示大屏的画面中识别出指示光斑。由于指示光斑的亮度与显示大屏上显示的亮度具有较大差异，因此，可以基于亮度的因素，识别出指示光斑。当然，如果指示光斑的色彩也具有可识别的特征，也可以基于色彩进行识别。可以理解的是，对指示光斑的识别，除了依据前述的单一因素之外，还可以基于多种因素组合的特征，比如亮度、色彩和/或形状的组合等。

识别出指示光斑之后，可以指示光斑为中心，提取符合预设规则的区域的显示大屏的画面，作为目标区域画面。比如，可以指示光斑为中心的圆形区域、矩形区域或者其他几何形状的区域，预设规则可以是区域的大小。

由于虚拟画面的预设内容可能会存在单一色彩区域等缺少识别特征的区域，比如，当预设内容为有网格标记的网格时，每个网格内部可以显示单一色彩。此时，如果目标区域仅包含该网格内的单一色彩区域的画面，则无法对指示光斑进行定位。为了避免出现上述情形，保证目标区域画面具有识别特征，预设规则可以是目标区域内具有至少一种识别特征，比如一个有网格标记的、完整的网格，或者有网格标记及所属网格的至少一个角。可以理解的是，根据预设内容的不同，选用的识别特征也可以是不相同的，比如，如果预设内容是具有横轴和纵轴的坐标系，识别特征可以是包含有横轴和纵轴；如果预设内容是辅助定位的特征点时，识别特征可以是至少包括2个特征点，以满足三角定位的基本条件。

当预设内容为有网格标记的网格时，S434，按照预设规则，围绕指示光斑，得到目标区域画面之后，还可以，根据目标区域内的网格，对目标区域画面进行几何校正。如此，让目标区域画面还原为矩形，目标区域内的网格也能还原为矩形，可以简化后续步骤中识别指示光斑在目标区域中的位置的计算，提升处理识别速度及准确度。

本发明实施例中的基于虚拟画面的空中鼠标追踪方法，在显示大屏中***显示具有辅助定位的预设内容的虚拟画面，获取有指示光斑的虚拟画面的图像作为目标区域画面，利用虚拟画面中的预设内容，辅助计算得到指示光斑在显示画面上的指示位置，实现了空中鼠标的位置追踪。通过设置虚拟画面中辅助定位的预设内容，指示光斑的识别、定位，计算量小，准确度高。还可以进一步执行鼠标操作，能够很好的满足用户的需求。

如图1所示，并结合前述实施例中基于虚拟画面的空中鼠标追踪***的描述，本发明一实施例还提供了一种基于虚拟画面的空中鼠标追踪***，包括空中鼠标10、显示大屏20、控制后台30。显示大屏20，根据控制后台30的控制，在正常显示帧中***显示虚拟画面，其中，虚拟画面为预设内容的画面。空中鼠标10具有指示单元，在显示大屏20上形成指示光斑。空中鼠标10与控制后台30之间通信连接，比如WiFi、蓝牙、ZIG BEE等无线通信技术。

空中鼠标10还包括：

成像单元，用于获取目标区域画面，其中目标区域画面为有指示光斑的虚拟画面的图像；

发送单元，用于向外发送目标区域画面；

控制后台30，包括：

接收单元，用于接收目标区域画面；

位置确定单元，结合虚拟画面中的预设内容，识别指示光斑在目标区域中的位置，计算出指示光斑在显示画面上的指示位置；

鼠标移动单元，用于将鼠标移动到指示位置。

通过选择预设焦距范围的成像单元，空中鼠标10的成像单元拍摄出来的画面，就是目标区域画面，即有指示光斑的虚拟画面的图像。即可直接用于控制后台30进行识别、计算，得到指示光斑在显示画面上的指示位置。具体可参见前面的描述，这里不再赘述。

控制后台30，还可以包括显示控制单元，用于控制显示大屏20对图像的显示。比如，当显示大屏20是投影屏幕时，显示控制单元可以是投影仪。当显示大屏20是LED显示屏时，显示控制单元可以是LED显示控制器。当显示大屏 20是其他种类的显示屏时，显示控制单元可以选择相应的控制器。

当虚拟画面的预设内容为带网格标记的网格，且显示大屏20是LED显示屏时，显示大屏20可以由多个LED显示模组拼接而成。此时，预设内容中的一个网格，可以对应一个LED显示模组，即，每个LED显示模组的边界上显示为网格线，LED显示模组内可以显示网格标记，网格标记可以是该LED显示模组在显示大屏20上的编址地址。可以理解的是，预设内容的网格，与LED显示模组的对应关系，除了一对一之外，也可以其他对应形式，网络标记进行相应调整即可。

优选的，空中鼠标10的成像单元的成像方向与指示单元的指示方向被设置为相同方向。如此，就能保证空中鼠标10的成像单元拍摄的画面包含有指示光斑，即目标区域画面中有指示光斑。

在显示大屏中***显示具有辅助定位的预设内容的虚拟画面，获取有指示光斑的虚拟画面的图像作为目标区域画面，利用虚拟画面中的预设内容，辅助计算得到指示光斑在显示画面上的指示位置，实现了空中鼠标的位置追踪。通过设置虚拟画面中辅助定位的预设内容，指示光斑的识别、定位，计算量小，准确度高。

在一个实现方式中，空中鼠标10上设置鼠标追踪按键。当用户按下空中鼠标10上的鼠标追踪按键时，即产生鼠标追踪信号。空中鼠标10接收鼠标追踪信号，触发空中鼠标的位置追踪。

优选的，空中鼠标10上的鼠标追踪按键可以具有鼠标左键、右键，鼠标追踪信号包括按键功能信号。控制后台30，还包括鼠标操作单元，根据按键功能信号，执行相应的操作。比如鼠标左键操作、右键操作。

如此，空中鼠标10不仅可以实现鼠标追踪，更可以实现完整的鼠标功能，能够更好的满足用户的需求。

在一个实现方式中，空中鼠标10的成像单元拍摄的画面既有显示大屏的显示区域内的画面，也可能包括有超出显示区域的图像，比如显示大屏之外的墙体等图像。此时，需要对拍摄的画面做进一步的处理，才能得到目标区域画面。从显示大屏的画面中提取目标区域画面，即可以在空中鼠标10上执行，也可以在控制后台30上执行。

在空中鼠标10上执行从显示大屏的画面中提取目标区域画面的操作时，空中鼠标10的成像单元，用于拍摄显示虚拟画面的显示大屏的画面；空中鼠标10 还包括目标区域提取单元，用于从显示大屏的画面中提取目标区域画面。

为了降低空中鼠标10的成本，合理利用控制后台的计算资源，优选的，从显示大屏的画面中提取目标区域画面，在控制后台30上执行。即，空中鼠标10 的成像单元，用于拍摄显示虚拟画面的显示大屏的画面；发送单元，用于向外发送显示大屏的画面；控制后台30的接收单元，用于接收显示大屏的画面；控制后台30还包括提取单元，用于从显示大屏的画面中提取目标区域画面。

目标区域画面，可以是显示区域的虚拟画面的图像，也可以是包含指示光斑的、局部显示区域的虚拟画面的图像。

当目标区域画面为显示区域的虚拟画面的图像(如图3所示)时，控制后台30的提取单元，具体可以包括：

显示区域识别模块，用于识别出显示大屏的画面中的显示区域；

校正模块，用于对显示区域的画面进行几何校正，得到目标区域画面。

当目标区域画面为包含指示光斑的、局部显示区域的虚拟画面的图像(如图4所示)时，控制后台30的提取单元，具体可以包括：指示光斑识别模块，用于识别出显示大屏的画面中的指示光斑；

目标区域确定模块，用于按照预设规则，围绕指示光斑，得到目标区域画面。

上述模块的具体执行内容，可以参见前面实施例中的对应描述。这里，不再赘述。可以理解的是，前述目标区域画面的具体实现模块，也可以设置在空中鼠标上。

本发明实施例的基于虚拟画面的鼠标追踪***，在显示大屏中***显示具有辅助定位的预设内容的虚拟画面，获取有指示光斑的虚拟画面的图像作为目标区域画面，利用虚拟画面中的预设内容，辅助计算得到指示光斑在显示画面上的指示位置，实现了空中鼠标的位置追踪。通过设置虚拟画面中辅助定位的预设内容，指示光斑的识别、定位，计算量小，准确度高。还可以进一步执行鼠标操作，能够很好的满足用户的需求。

本发明一实施例还提供了一种机器可读存储介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现上述任一实施例所述的基于虚拟画面的空中鼠标追踪方法。

所述***/计算机装置集成的部件/模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施方式方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施方式的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM， Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

在本发明所提供的几个具体实施方式中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，以上所描述的***实施方式仅仅是示意性的，例如，所述部件的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

另外，在本发明各个实施例中的各功能模块/部件可以集成在相同处理模块/ 部件中，也可以是各个模块/部件单独物理存在，也可以两个或两个以上模块/部件集成在相同模块/部件中。上述集成的模块/部件既可以采用硬件的形式实现，也可以采用硬件加软件功能模块/部件的形式实现。

对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于虚拟画面的空中鼠标追踪方法，其特征在于，包括：

显示大屏在正常显示帧中***显示虚拟画面，其中，所述虚拟画面为预设内容的画面；

获取目标区域画面，其中所述目标区域画面为有指示光斑的虚拟画面的图像；

结合所述虚拟画面中的预设内容，识别所述指示光斑在目标区域中的位置，计算出所述指示光斑在显示画面上的指示位置；

将鼠标移动到所述指示位置。

2.根据权利要求1所述的基于虚拟画面的空中鼠标追踪方法，其特征在于，所述方法还包括，

接收鼠标追踪信号。

3.根据权利要求1所述的基于虚拟画面的空中鼠标追踪方法，其特征在于，所述获取目标区域画面，具体包括：

拍摄显示虚拟画面的显示大屏的画面；

从所述显示大屏的画面中提取目标区域画面。

4.根据权利要求3所述的基于虚拟画面的空中鼠标追踪方法，其特征在于，所述从所述显示大屏的画面中提取目标区域画面，具体包括：

识别出所述显示大屏的画面中的显示区域；

对所述显示区域的画面进行几何校正，得到目标区域画面。

5.根据权利要求3所述的基于虚拟画面的空中鼠标追踪方法，其特征在于，所述从所述显示大屏的画面中提取目标区域画面，具体包括：

识别出所述显示大屏的画面中的指示光斑；

按照预设规则，围绕所述指示光斑，得到目标区域画面。

6.根据权利要求5所述的基于虚拟画面的空中鼠标追踪方法，其特征在于，所述预设规则，具体为目标区域内具有至少一种识别特征。

7.根据权利要求1-6任一项所述的基于虚拟画面的空中鼠标追踪方法，其特征在于，所述虚拟画面中的预设内容为带网格标记的网格。

8.一种基于虚拟画面的空中鼠标追踪***，包括空中鼠标、显示大屏、控制后台；所述显示大屏，根据所述控制后台的控制，在正常显示帧中***显示虚拟画面，其中，虚拟画面为预设内容的画面；所述空中鼠标与所述控制后台通信连接，所述空中鼠标包括指示单元，在所述显示大屏上形成指示光斑，其特征在于，

所述空中鼠标还包括：

成像单元，用于获取目标区域画面，其中目标区域画面为有指示光斑的虚拟画面的图像；

发送单元，用于向外发送目标区域画面；

控制后台，包括：

接收单元，用于接收目标区域画面；

位置确定单元，结合虚拟画面中的预设内容，识别指示光斑在目标区域中的位置，计算出指示光斑在显示画面上的指示位置；

鼠标移动单元，用于将鼠标移动到指示位置。

9.根据权利要求8所述的基于虚拟画面的空中鼠标追踪***，其特征在于，

所述成像单元的成像方向与所述指示单元的指示方向被设置为相同方向；

所述成像单元的焦距满足预设焦距范围。

10.一种机器可读存储介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现权利要求1-7任一项所述的基于虚拟画面的空中鼠标追踪方法。