CN103019375B - 一种基于图像识别的光标控制方法及其*** - Google Patents

Abstract

本发明涉及光标控制技术领域，具体涉及一种基于图像识别的光标控制方法及其***。本发明提供的基于图像识别来对显示设备的光标进行控制的方法及其***，通过在遥控器上设置摄像头，从而摄取显示设备所显示的图像，获取图像帧，再在该图像帧中对光标进行图像识别，并通过逼近法计算出光标的位移点，最后将光标移动至目标点，从而实现对光标的控制。本发明的运算简单且计算量小，光标控制的操作性好、定位精度高和具有良好的平滑性，用户体验佳。而且，本发明的光标控制方法适用范围广，无需对显示设备拍摄全部的显示区域，只要能拍摄到光标所在的显示区域即可对光标进行控制，因此可适用于近距离操作。

Description

一种基于图像识别的光标控制方法及其***

技术领域

本发明涉及光标控制技术领域，具体涉及一种基于图像识别的光标控制方法及其***。

背景技术

电视机与互联网应用的结合越来越密切，例如具有网络高清视频播放功能的电视盒的出现，使得电视可以通过该电视盒播放互联网的高清视频、访问互联网网站等，传统的鼠标必须借助平面才能实现对光标的控制，显然不适用于对电视光标的控制，因此需要对电视的光标移动进行空中无线控制以便于实现良好的人机交互。遥控器与电视之间的无线控制信号传输技术已经较为成熟，可采用红外、蓝牙、2.4G标准无线传输等，目前人机交互主要是通过遥控器控制电视显示屏的光标移动来实现，即空中鼠标，评价空中鼠标用户体验的指标包括定位精度、平滑性和操作性。传统的方式是在遥控器上设置上下左右的方向按键，通过按下按键来调整电视显示屏的光标移动方向和距离，从而实现遥控器对光标的控制，该方式较容易实现，定位精度较好，但平滑性差且不易操作。随着科技的发展，新一代空中鼠标采用三维重力传感器，获取遥控器空间三向的加速度分量，并转换为重力遥控控制信号发送至显示设备从而对显示设备的光标进行控制，该光标控制方式需要对重力传感器的三向加速分量进行精确的采集和大量复杂的运算，不易实施，三维重力传感器的采集精度直接影响光标移动的控制精度，而且计算量较大，产生延迟，因而平滑性较差，不适用于快速、准确的光标控制应用。另一种空中鼠标采用图像传感器来摄取图像，利用图像处理和模式识别技术计算遥控器的位置信息，从而控制屏幕光标，但现有技术提供的光标控制方式对所摄取的图像要求高，例如需要将整个屏幕都纳入图像中，而且其图像处理和模式识别运算复杂，计算量巨大，因而光标的移动滞后严重，平滑性差，而且图像处理和模式识别本身会产生误差，经过运算后误差扩大，导致光标定位不准确，不具有良好的用户体验。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于图像识别来对显示设备的光标进行控制的方法，该方法解决了本技术领域存在的运算复杂、计算量较大导致光标控制滞后以及光标控制误差较大的技术问题，使得本发明光标控制的操作性好、定位精度高和具有较好的平滑性，用户体验佳。

为了实现上述目的，本发明采用如下技术方案。

一种基于图像识别的光标控制方法，包括：

步骤1，获取当前时刻的图像帧；

步骤2，判断图像帧中的光标点是否与参照点重合；如果是，执行步骤6；如果否，执行步骤3；

步骤3，计算当前时刻显示屏坐标系相对图像帧坐标系的关系参数[β，k]；其中，β为旋转角度，β等于向量A到A'的夹角；k为缩放比例系数，k等于|A'|/|A|；A为显示屏坐标系中上一时刻到当前时刻的光标点移动向量，A'为图像帧坐标系中上一时刻到当前时刻的光标点移动向量；

步骤4，计算当前时刻在图像帧坐标系中光标点到参照点的向量C，并结合当前时刻的关系参数[β，k]，计算出显示屏坐标系中光标点在下一时刻需要移动的向量B；其中，向量B到向量C的夹角为β，|C|/|B|=k；

步骤5，判断向量B的目标端点坐标是否位于显示屏区域外；如果是，移动光标点至向量B与显示屏边界的交点处，并返回步骤1；如果否，移动光标点至向量B的目标端点坐标位置，并返回步骤1；

步骤6，结束。

优选地，所述参照点为图像帧的中心点。

优选地，所述参照点为图像帧的中心区域。

另外，在步骤1之后、步骤2之前还包括步骤1-2，判断是否在图像帧中识别到光标点；如果是，执行步骤2；如果否，返回步骤1。

此外，本发明还提供了一种用于实现上述光标控制方法的光标控制***，具体如下。

一种用于实现所述的基于图像识别的光标控制方法的光标控制***，包括：

摄像装置，用于获取图像帧；

运算装置，用于根据所述图像帧实现所述步骤1～5的判断、计算；

光标控制装置，用于控制光标点的操作。

其中，所述摄像装置为cmos感光摄像头。

其中，所述光标控制装置为遥控器。

其中，所述摄像装置通过2.4G无线传输方式将所述图像帧传输到运算装置。

本发明的有益效果：

与现有技术相比较，本发明的运算简单且计算量小，光标能够快速、平滑地移动到目标点，并且定位精度高，用户能很好地控制光标。而且，本发明的光标控制方法适用范围广，无需对显示设备拍摄全部的显示区域，只要能拍摄到光标所在的显示区域即可对光标进行控制，因此可适用于近距离操作。

附图说明

利用附图对本发明作进一步说明，但附图中的内容不构成对本发明的任何限制。

图1是本发明的一种基于图像识别的光标控制方法的流程图。

图2是本发明实施例的一种图像帧的示意图。

图3是本发明实施例的一种基于图像识别的光标控制***的结构示意图。

具体实施方式

下面结合实施例对本发明作进一步的说明。

本发明提供的基于图像识别来对显示设备的光标进行控制的方法，通过在遥控器上设置摄像头，从而摄取显示设备所显示的图像，获取图像帧，再在该图像帧中对光标进行图像识别，并通过逼近法计算出光标的位移点，最后将光标移动至目标点，从而实现对光标的控制。

具体地，本发明的光标控制方法包括以下步骤：

步骤1，获取当前时刻i的图像帧Fi。

此步骤中，可以通过在显示设备的遥控器上设置摄像头来获取图像帧；本实施例中，摄像头可采用普通cmos感光摄像头，拍摄图像频率约30帧/秒。另外，图像帧Fi-1和Fi不限定为两连续的图像帧。图像帧的示意图可参见图2。图2中，虚线框即表示图像帧，实线框表示显示屏幕。

步骤2，判断图像帧Fi的光标点Pi是否与图像帧Fi的参照点重合；如果是，则结束；如果否，执行步骤3。

本实施例中，优选地，将图像帧的中心点作为参照点，图像帧的参照点对应于显示设备中光标点需移至的目标点；之所以选择图像帧的中心点作为参照点，是为了便于计算且精度较高。当图像帧中的光标点与图像帧的中心点重合时，则判定显示设备中的光标点已准确移至目标点，从而实现对光标点的定位，并可以对光标点实行进一步的控制操作。图像帧中心点可以是一个区域，当光标点位于该区域内，即认为光标点与图像帧中心点重合，从而解决光标定位时的抖动问题。

但应当注意的是，并不限定以图像帧中心点（区域）作为参照点，参照点可选用图像帧中位置关系已知的任一点或区域。

当图像帧中的光标点不与图像帧的参照点重合时，则需计算图像帧的光标点到参照点的移动向量，然后进一步计算显示设备中的光标点需要移动的向量；即，执行下面步骤。

步骤3，计算当前时刻显示屏幕的坐标系相对图像帧坐标系的关系参数【β，k】，其中β为旋转角度，k为缩放比例系数。具体计算如下。

根据显示屏幕中i-1时刻（即，当前时刻i的上一时刻）光标点Pi-1和i时刻（即，当前时刻i）光标点Pi的坐标位置计算得出向量A；A即为显示屏幕的坐标系中上一时刻到当前时刻的光标点移动向量。

根据图像帧中i-1时刻识别到的光标点Pi-1和i时刻识别到的光标点Pi的坐标位置计算得出向量A'；A'即为图像帧坐标系中上一时刻到当前时刻的光标点移动向量。

根据已知向量A，A'，计算出显示屏幕的坐标系相对图像帧坐标系的关系参数【β，k】：β等于向量A到A'的夹角；k的值为|A'|/|A|。

步骤4，计算当前时刻在图像帧坐标系中光标点Pi到参照点的向量C，并结合当前时刻的关系参数[β，k]，计算出显示屏坐标系中光标点Pi从i时刻到i+1时刻（即，当前时刻到下一时刻）需要移动的向量B；其中，向量B到向量C的夹角为β，|C|/|B|=k。

同样地，上述向量C可根据图像帧中i时刻的光标点Pi和图像帧参照点的坐标位置计算得出。结合关系参数【β，k】计算出向量B之后，将向量B的目标端点换算成显示屏幕中的具体坐标值。

步骤5，判断向量B的目标端点坐标是否位于显示屏幕区域外；如果是，移动显示屏幕的光标点Pi至向量B与显示屏幕边界的交点处，并返回步骤1；如果否，移动显示屏幕的光标点Pi至向量B的端点坐标位置，并返回步骤1。

由于向量B是根据图像帧坐标系中的向量C和两坐标系之间的关系参数计算得出，向量B和向量C是分别对应于两坐标系的向量，两者是映射关系，据此计算得出的向量B的端点坐标有可能出现位于显示屏幕区域外的情况，因此，需要对此进行判断，并根据判断结果对光标点进行相应的移动；对于向量B的目标端点坐标位于显示屏幕区域内的情况，则直接将光标点移动到向量B的目标端点，即可实现光标的定位、控制；而对于向量B的目标端点坐标位于显示屏幕区域外的情况，因为事实上是无法将光标点移动到显示屏幕外的，因此只需将光标点移动到向量B与显示屏幕边界的交点处即可。

另外，考虑到光标点有可能出现不正常显示的情况，本发明实施例还包括一个判断识别步骤，具体的，在上述步骤1和步骤2之间包括：判断是否在图像帧Fi中识别到光标点Pi；如果是，执行步骤2；如果否，返回步骤1。

对于光标点Pi，可采用特殊形状和/或色彩来显示，以便于快速地进行图像识别。当光标点Pi未出现在图像帧Fi中，或者未识别到光标点Pi时，可以利用程序让光标点Pi自动回到显示设备的屏幕中，或者等待片刻，直到重新识别到光标点Pi；上述程序类似于鼠标识别程序，鼠标使用者皆有过这样的体验，有时会出现鼠标的指示符号没有显示在屏幕中的情况，此时只需要晃动一下鼠标，或者等待片刻，便可在屏幕中重新显示鼠标的指示符号；此自动识别程序属于现有技术，在此不再赘述。

也就是说，当光标点Pi未显示在图像帧Fi的区域中（即，未在图像帧识别到光标点），只需通过自动程序让光标点Pi回到屏幕中或者等待重新识别到光标点Pi，然后再进行图像帧Fi的拍摄。

在本实施例中，利用光标点Pi上一时刻的实际位移（即，显示设备的显示屏幕坐标系X,Y方向上的移动）和图像帧Fi的光标点Pi的虚拟位移（即，图像帧Fi坐标系X',Y'方向上的移动）的比例关系来计算光标点Pi当前时刻的实际位移。而图像帧是通过设置在遥控器的摄像头来获取的；考虑到当人为操控遥控器时，并非一直保持静止不动，随着摄像头的移动，两坐标系关系参数【β，k】随之变化，因而需要重新计算【β，k】，进入迭代循环，直到显示屏幕中的光标点移动到目标点（区域）。

另外，由于摄像头的光轴线与显示屏幕存在多种角度，而且两图像帧之间的摄像头也非绝对静止，因而光标点的移动是存在误差的，不能一步便准确地移动到目标点，但是通过上述步骤的迭代循环，光标点以逐步逼近的方式移动到目标点。

比如说，当摄像头光轴线与显示屏幕垂直或近似垂直，而且摄像头在i到i+1时刻静止或旋转、位移变化足够小（即，对于显示屏幕而言，i和i+1时刻目标点重合），则在i时刻和i+1时刻计算得出的两坐标系的关系参数【β，k】几乎不存在误差，由关系参数推导得出的向量值亦几乎不存在误差，从而可以快速、准确地使光标点移动到目标点。

当摄像头光轴线不与显示屏幕垂直，两者之间存在倾斜角度，而且摄像头在i到i+1时刻发生移动，亦产生位置偏差，从而导致在i时刻和i+1时刻计算得出的两坐标系的关系参数【β，k】存在误差，进一步导致由关系参数推导得出的向量值亦存在误差；但是，算法本身是允许误差存在的，而且，通过迭代循环的计算，总会有一个移动趋势，并以逐步逼近的方式使光标点到达目标点。另外，考虑到摄像头的普通拍摄频率为30帧/秒，也即意味着两帧之间的间隔时间为1/30秒，那么在这么短的间隔时间内，由于摄像头的移动导致的位置偏差是非常小的，甚至可以忽略不计，因此不同时刻计算得出的关系参数【β，k】存在的误差是属于算法允许的误差范围之内的。

另外，本发明还提供了一种实现上述光标控制方法的光标控制***，如图3所示，其包括：

摄像装置，用于获取图像帧；

运算装置，用于根据图像帧实现上述步骤1～5的判断、计算；

光标控制装置，用于控制光标点的操作。

在本实施例中，优选地，采用cmos感光摄像头来作为摄像装置；采用显示设备的遥控器来作为光标控制装置。而摄像头则安装在遥控器上，由此，操作者可以方便地通过遥控器便可实现摄像和光标控制。

另外，考虑到遥控器的小型化，优选地，将运算装置设置在显示设备内部或者作为一个独立部件来设置，比如说，显示设备是一台电视机，则可以将运算装置设置在电视机中，或者设置在电视机外部的电视盒中；摄像装置所获取的图像帧则可以通过2.4G无线传输方式传输到运算装置；当然，也可以采用其他的无线或有线传输方式。

综上，本发明主要采用近似解和逼近算法来实现光标点的移动。经过多次循环计算，光标点逐步逼近图像帧的参照点，即实现光标点的准确定位。如果采用30帧/秒的摄像头，一般情况下6帧内即可完成定位，即定位时间不超过0.2秒；在摄像头保持静止的情况下，3帧便可将光标点移动到目标点（区域），仅需耗时100毫秒。本发明的算法简单，1/30秒内即可完成运算并实现光标位移，光标每秒最多可移动30次，因而当光标移动时具有良好的平滑性，用户体验较好。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细的说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (8)

1.一种基于图像识别的光标控制方法，其特征在于，包括：

步骤1，通过在显示设备的遥控器设置摄像头来获取当前时刻的图像帧；

步骤2，判断图像帧中的光标点是否与参照点重合；如果是，执行步骤6；如果否，执行步骤3；

步骤3，计算当前时刻显示屏坐标系相对图像帧坐标系的关系参数[β，k]；其中，β为旋转角度，β等于向量A到A'的夹角；k为缩放比例系数，k等于|A'|/|A|；A为显示屏坐标系中上一时刻到当前时刻的光标点移动向量，A'为图像帧坐标系中上一时刻到当前时刻的光标点移动向量；

步骤4，计算当前时刻在图像帧坐标系中光标点到参照点的向量C，并结合当前时刻的关系参数[β，k]，计算出显示屏坐标系中光标点在下一时刻需要移动的向量B；其中，向量B到向量C的夹角为β，|C|/|B|=k；

步骤5，判断向量B的目标端点坐标是否位于显示屏区域外；如果是，移动光标点至向量B与显示屏边界的交点处，并返回步骤1；如果否，移动光标点至向量B的目标端点坐标位置，并返回步骤1；

步骤6，结束。

2.根据权利要求1所述的基于图像识别的光标控制方法，其特征在于，所述参照点为图像帧的中心点。

3.根据权利要求1所述的基于图像识别的光标控制方法，其特征在于，所述参照点为图像帧的中心区域。

4.根据权利要求1所述的基于图像识别的光标控制方法，其特征在于，在步骤1之后、步骤2之前还包括：

步骤1-2，判断是否在图像帧中识别到光标点；如果是，执行步骤2；如果否，返回步骤1。

5.一种用于实现权利要求1-4任意一项所述的基于图像识别的光标控制方法的光标控制***，其特征在于，包括：

摄像装置，用于获取图像帧；

运算装置，用于根据所述图像帧实现所述步骤1～5的判断、计算；

光标控制装置，用于控制光标点的操作。

6.根据权利要求5所述的光标控制***，其特征在于，所述摄像装置为cmos感光摄像头。

7.根据权利要求5所述的光标控制***，其特征在于，所述光标控制装置为遥控器。

8.根据权利要求5所述的光标控制***，其特征在于，所述摄像装置通过2.4G无线传输方式将所述图像帧传输到运算装置。