CN101262557A - 遥控器、视频设备遥控***及电视机遥控方法 - Google Patents

Abstract

本发明公开了一种遥控器、视频设备遥控***及电视机遥控方法，用以解决现有技术中遥控器上的按键多而使用不便的问题；其遥控器包括：成像装置，用于拍摄成像目标图像；识别装置，用来监测和识别成像目标图像中的成像目标；计算装置，用来计算来自识别装置输出的识别后的信号的重心位置坐标，并将所述的重心位置坐标进行线形变换，输出成像目标最终的位置；移动装置，根据所述计算装置输出的成像目标的最终位置在预定方向上移动操作目标。本发明适用于对各种电视机、机顶盒等视频设备的遥控操作。

Description

遥控器、视频设备遥控***及电视机遥控方法

技术领域

本发明涉及一种遥控器，尤其涉及到一种电视机遥控器、电视机遥控***及遥控方法。

背景技术

遥控技术在视频设备中已经得到了广泛的应用，为人们操作视频设备提供了方便。现有遥控技术一般为在遥控器上设置功能按键，通过功能按键向视频设备控制***发送指令，控制***实施指令的相应功能，完成用户对视频设备的操作目的；然而，近年来随着交互式多媒体视频设备的快速发展，视频设备的功能越来越强大，使得视频设备的操作也越来越复杂，遥控器上面的按键也越来越多，不仅使掌握遥控器每一个按键的具体功能及操作方法，成为用户的一项负担，而且在实际使用时，操作遥控器也成为一件非常麻烦的事情。

遥控技术已经成为制约视频设备，如电视机、机顶盒等应用技术发展的瓶颈。中国专利申请99108226.5公开了一种带有鼠标功能的电视遥控器及遥控方法，该方法是通过在遥控器上设置多个方向键来控制光标的移动，仍然存在需要设置多个按键的问题；中国专利申请02824745.0公开了一种用于电视接收机的遥控***和方法，该方法在遥控单元上设置控制光标在屏幕上移动方向的按键，在电视机上设置光检测器提取遥控单元中发射的光移动，从而在屏幕上显示光标的移动位置；该方法存在的问题是：需要设置光检测器来实现对光标移动的定位，因此，该方法增加了电视机及遥控器的生产难度，相应增加了生产成本。

中国专利CN200610087120.5公开了一种控制器及信息处理设备，该控制器上设置有成像信息计算部分，拍摄并计算成像目标图像中的亮点与定点的图像及坐标组的二维矢量，最后根据二维矢量的计算值在预定的方向上移动操作目标。该控制器存在的问题，内部实现很麻烦，成本很高，而且只能应用于人机互动游戏中，不能大众推广应用，尤其不适合应用于电视、投影仪等互动界面中。

发明内容

本发明的一个目的是提供一种采取实时追踪技术控制目标在屏幕上定位和移动的遥控器、视频设备遥控***及电视机遥控方法。

本发明的另一个目的是提供一种遥控器上的按键少、方便使用、可广泛推广的遥控器、视频设备遥控***及电视机遥控方法。

本发明的目的是由下述技术方案实现的：

本发明的第一方面是提供一种遥控器，用来遥控视频设备，包括：

成像装置，用于拍摄成像目标图像；

识别装置，用来监测和识别成像目标图像中的成像目标；

计算装置，用来计算来自识别装置输出的识别后的信号的重心位置坐标，并将所述的重心位置坐标进行线形变换，输出成像目标最终的位置；

移动装置，根据所述计算装置输出的成像目标的最终位置在预定方向上移动操作目标。

进一步的，本发明提供了一种识别装置，该识别装置还包括：

包括二值化装置，用来将所拍摄成像目标图像二值化；

搜索装置，用来将所述的二值化的图像进行连通搜索，得到独立的连通区域；

评分装置，用来计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分；

确定装置，根据评分装置输出的评分值，确定所述成像目标的最终位置。

本发明遥控器通过拍摄成像目标的图像数据，识别成像目标在图像中位置的变化，计算成像目标的最终位置，并根据最终位置确定在预定方向上移动操作目标。本发明遥控器的遥控方式以实时追踪技术实现，克服现有遥控器需要设置大量按键实现对视频设备的操作，使用不方便的问题。

第二方面，本发明提供了一种视频设备遥控***，包括：

成像装置，用于拍摄成像目标图像；

识别装置，用来监测和识别成像目标图像中的成像目标；

计算装置，用来计算来自识别装置输出的识别后的信号的重心位置坐标，并将所述的重心位置坐标进行线形变换，输出成像目标最终的位置；

移动装置，根据所述计算装置输出的成像目标的最终位置在预定方向上移动操作目标；

显示控制装置，用于在视频显示装置的显示区域上显示操作目标移动和变化的虚拟空间。

进一步的，上述的视频设备遥控***的识别装置包括：二值化装置，用来将所拍摄成像目标图像二值化；搜索装置，用来将所述的二值化的图像进行连通搜索，得到独立的连通区域；

评分装置，用来计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分；

确定装置，根据评分装置输出的评分值，确定所述成像目标的最终位置。

进一步的，上述视频遥控***用于接收来自包括用于拍摄成像目标图像的成像装置的操作设备的操作数据，以及用于在视频显示装置上显示通过使用所述操作数据对预定操作目标执行计算处理所获得的虚拟空间。

再进一步的，上述的视频设备遥控***的虚拟空间包括要由视频显示装置在显示区域的预定范围内显示为表示可选择项目的项目图像的对象。

上述移动装置移动由操作目标设置装置所设置的对象的显示内容，以便于可选择项目在预定方向上滚动于在预定范围内顺序显示。

本发明的视频设备遥控***，接收来自包括用于拍摄成像目标图像的成像装置的操作设备的操作数据，以及用于在视频显示装置上显示通过使用所述操作数据对预定操作目标执行计算处理所获得的虚拟空间，通过拍摄成像目标的图像数据，识别成像目标在图像中位置的变化，计算成像目标的最终位置，并根据最终位置确定在预定方向上移动操作目标，在视频显示装置的显示区域上显示操作目标移动和变化的虚拟空间。本发明与现有技术相比，以一种实时追踪技术实现对操作目标在电视屏幕上定位和移动的远距离控制，这种实时追踪技术克服了现有遥控器需要设置大量按键来实现对电视机的操作，从而随着电视机功能的日益强大，使得遥控器上按键数量日益增多，使用越来越不方便的问题。

第三方面，本发明还提供了一种电视机遥控方法，包括以下步骤：

S1  设置成像目标；

S2  拍摄成像目标图像；

S3  对成像目标图像中的成像目标进行监测和识别；

S4  计算识别后的成像目标的重心位置坐标，并对所述的重心位置坐标进行线形变换，输出成像目标最终的位置；

S5  对步骤4输出的成像目标最终位置在预定方向上移动操作目标。

进一步的，在上述步骤S3中还包括以下步骤：

S31  对成像目标图像二值化；

S32  对二值化的图像进行连通搜索，得到独立的连通区域；

S33  计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分；

S34  根据评分值确定所述成像目标的最终位置。

本发明方法通过拍摄成像目标的图像数据，识别成像目标在图像中位置的变化，计算成像目标的最终位置，并根据最终位置确定在预定方向上移动操作目标。本发明与现有技术相比，以一种实时追踪技术实现对操作目标在电视屏幕上定位和移动的远距离控制，这种实时追踪技术克服了现有遥控器需要设置大量按键来实现对电视机的操作，从而随着电视机功能的日益强大，使得遥控器上按键数量日益增多，使用越来越不方便的问题。

附图说明

图1是视频设备遥控***的外部示意图；

图2是视频设备遥控***的外部示意图；

图3是视频设备遥控***的内部框图；

图4是识别装置的内部流程框图；

图5是二值化装置的内部流程框图；

图6是比较器的内部流程框图；

图7是计算装置的内部流程框图；

图8是遥控器的外部示意图；

图9是遥控器的内部流程框图；

图10是电视遥控方法的流程图；

图11是基于图10上的步骤S3的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合实施例及说明书附图对本发明做进一步详细的说明。

参考图1至3，将说明作为根据本发明的遥控器***的实例，图1、图2是示例视频设备遥控***的外部视图，包括电视机1、显示屏2、将操作数据发送给电视机的遥控器4。在显示屏2的附近设置有标志点3，几个标志点3所组成的标志点组为成像目标14。其中，图1是实施例1的外部示意图，图2是实施例2的外部示意图。其两者之间的差异在于成像目标14的安装位置。

标志点3具体为红外LED，发出红外光。为了扩大标志点3所发出的红外光的可见角度，可以在标志点3上贴敷泛光膜，泛光膜优选为薄毛玻璃。标志点3可以设置在遥控器4所能拍摄到的任何位置，既可以设置在电视机1上(如图1所示)，标志点3也可以单独的设置在标志装置5上(如图2所示)。标志点3为位于预定对象的顶部和底部的轮廓点，及位于顶部和底部轮廓点连线上的区分点，且该区分点距顶部和底部的轮廓点的距离不相等。轮廓点可以根据轮廓点的分布情况分辨出成像目标的轮廓(如形状)。区分点可以根据该区分点与轮廓点的距离特征，区分出各个轮廓点的点。轮廓点为2个及以上，区分点为1个及以上，轮廓点和区分点越多，越能表示成像目标的即时位置姿态。当成像目标14表示的是一个对称的图像时，为了区分成像目标的方向，在成像目标14中还设有一个及以上方向点。在本实施例的电视***上，优选的，成像目标为等间距的4个标志点。成像目标14会出现在后面所拍的图像中，成像目标14预定的分布特征是指能够从红外图像上的发光点中分辨出该目标的分布特征，从多个发光点中区分那个是轮廓点、区分点或方向点。

图3是示例视频设备遥控***的内部视图，分为遥控器端及与遥控器端对应的电视端。遥控器端包括成像装置6、识别装置7、计算装置8、移动装置9、发射器10，电视端包括成像目标14、接收器11、处理器12、显示控制装置13。成像目标14中的各标志点3发出红外光。移动装置9的具体功能实现既可以在遥控器中设置移动装置9完成该步骤功能，也可以在电视机***里的处理器电路实现对电视显示装置13的控制。在此，优选在遥控器中设置移动装置9实现其功能。

当遥控器处于可操作范围内，成像装置6拍摄成像目标14的图像，并获得所拍图像的图像数据。

接着该图像进入识别装置7中进行检测和识别：所拍图像的图像数据中，会出现高亮度区域，这些高亮度区域是由我们的成像目标的图像和一些少量的噪声光斑及其他的荧光灯的光而形成的。可以直接在所拍图像中，将作为高亮度区域出现的成像目标14中的各标志点3的图像检测为目标图像的首选者。基于每个被检测的高亮度区域，因为目标图像具有预定尺寸范围，只需要通过将各个被检测的高亮度区域进行比较，看其是否具有预定尺寸范围内的尺寸，当高亮度区域具有预定尺寸范围内的尺寸时，该高亮度区域被确定为成像目标图像，而当高亮度区域具有处于预定尺寸范围之外的尺寸时，高亮度区域被确定为非成像目标图像。以上技术在一些游戏***里已经得到了广泛应用。

为了提高监测和识别的精准度，在本发明中，我们在识别装置7中设置了二值化装置22，可以将拍摄成像目标图像二值化，将成像目标14中的各标志点3的图像保留，而将其他的所有背景灰度层次全部抹去。目前的图像二值化方法很多，有阈值法、边界检测法和区域生长法。都可以应用于本发明中。在此，以下着重介绍阈值法在本发明中的应用。

如图5、图6所示，首先输入成像目标图像26，再将成像目标图像进入比较器27内进行比较。

以下为比较器27的具体工作流程：将成像目标图像按照像素点分成不同的区域，此时计算目标对象(即输入比较器的成像目标图像)的像素点图像灰度，在每一个区域内设有一灰度阈值，使每一个像素的亮度值同灰度阈值进行比较，高于该灰度阈值，则表示为1，低于该灰度阈值，则表示为0。经过二值化，表示在成像目标图像中的图片为由0和1表示的数字图像，该数字图像进入寄存器29保存，并给下一步的工作提供图像数据信息。

为了进一步精确成像目标的最终位置，在识别装置7中还设置了搜索装置23和评分装置24，如图4所示，对高亮度区域或二值化的数字图像进行连通搜索，得到独立的连通区域，再计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分，并根据评分装置输出的评分值，确定所述成像目标的最终位置。

识别装置7输出的识别后的图像信号进入计算装置8进行计算，得到成像目标14的最终位置。计算装置8如图7所示，包括如下：重心位置计算装置27，计算识别装置7输出的识别后的图像信号的重心位置坐标，然后该中心位置坐标信号进入线性变换装置28进行线形变换，得到成像目标最终的输出位置。该成像目标最终的输出位置信号进入移动装置9，该移动装置9发出指令，使操作目标在预定方向上移动。该指令通过发射器10发送给电视端。

与遥控器端对应的电视端包括接收器11、处理器12、显示控制装置13，如图3所示。接收器11接收来自遥控器4发射的遥控指令，传送给处理器12处理，处理器12将操作目标定位数据转换为操作目标屏幕坐标数据，传送给显示控制装置13，显示控制装置13将操作目标显示在电视机屏幕上。操作目标的形式可以多种多样，根据显示器的虚拟空间形式自由确定，操作目标表示在电视显示屏上的形式可以是光标形式，也可以是抓手形状，也可以是可爱的卡通形象或其他人们喜爱的形式，如笑脸、苹果、宝石、宝剑等等。

以上视频设备遥控***可以直接接收来自包括用于拍摄成像目标图像的成像装置6的操作设备的操作数据，及可以用于在电视显示装置13上显示通过使用所述操作数据对预定操作目标执行计算处理所获得的虚拟空间，该虚拟空间包括由电视显示装置在显示区域的预定范围内显示为表示可选择项目的项目图像的对象。

移动装置9移动由操作目标设置装置所设置的对象的显示内容，以便于可先选择项目在预定方向上滚动于在预定范围内顺序显示。例如在电视显示的虚拟空间中，寄存于电视***内部的丰富多彩的多媒体界面和选项图标，可以由***作目标通过菜单设定来选择，并在操作目标接收到移动指令后，选择选项图标。实现预定功能。

上述虚拟世界是指一个具有无限可能性的数字空间，随着信息网络技术的发展，视频控制设备将具有越来越多的功能。本发明的视频设备遥控***可以使用户在简单操作遥控器时，在电视显示装置显示的虚拟世界中完成自己虚拟化身的虚拟生活，如生活、学习、工作、赚钱、消费等等。

以下着重介绍遥控器4，图8和图9是本发明的一个实施例的遥控器的实例。如图8至图9所示，遥控器4上有一些常用按键，遥控器4上还设置有成像装置6，成像装置6可以为摄像机、数码相机或其他点阵式照相机。成像装置6优选为CCD摄像头。CCD摄像头外部设置有红外截止滤光片，该红外截止滤光片为截止频率为760nm-960nm的带通滤光片，也就是说，只有波长在760nm-960nm范围内的光才能通过该滤光片。这个频率范围属于近红外区，大多数可见光都能被很好的过滤掉，可以增强成像装置6的稳定性和可靠性。当遥控器4的摄像头拍摄成像目标时，其它的可见光被红外截止滤光片很好的过滤掉，成像目标的标志点3发出的红外光很好的被摄像头捕捉拍摄形成成像目标图像。优选的方式是：成像目标14为等间距的4个标志点3。标志点3每个均以视角θ1辐射红外光，成像装置6以视角θ2来接收入射在其上的光。操作者抓持遥控器4，在成像装置6的视角θ2内存在成像目标的各标志点3，且遥控器4存在于成像目标的各标志点的视角θ1内，使得遥控器4的成像装置6可以接收来自成像目标的标志点3的红外光。在这个范围内改变遥控器4的位置和方向，都可以遥控视频设备尤其是电视机。当遥控器4的位置和方向超出所述角度和位置范围，就不能执行遥控器4的操作。为了扩大成像装置6的视角θ2，使得成像目标的各标志点都在成像装置6视场内，在遥控器4上还设置有一个功能按键，可以根据需要调节摄像头的焦距，也可以根据需要调节遥控器和电视***虚拟空间的虚拟距离。

遥控器4还包括识别装置7、计算装置8、移动装置9，都是由处理电路实现的。当成像目标图像进入识别装置7时，先进入识别装置7中的二值化装置22二值化。所采用的二值化方法采用阈值法二值化，首先将成像目标图像进入比较器内进行比较。比较器27包括：计算目标对象图像灰度30、阈值设置31、与阈值进行比较32和输出设置33。比较器27的具体工作流程：将成像目标图像按照像素点分成不同的区域，此时计算目标对象(即输入比较器的成像目标图像)的像素点图像灰度，在每一个区域内设有一灰度阈值。使每一个像素的亮度值同灰度阈值进行比较，高于该灰度阈值，则表示为1，低于该灰度阈值，则表示为0。比如：图像的灰度值一般为0～255，设定灰度阈值为100，像素的亮度值＞100，则将该像素点标示为1，像素的亮度值＜100，则将该像素点标示为0。

经过二值化，表示在成像目标图像中的图片为由0和1表示的数字图像，该数字图像进入寄存器保存。之后二值化的图像再进入搜索装置23将所述的二值化的图像进行连通搜索，得到独立的连通区域，再进入评分装置24计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分，最后根据评分装置24输出的评分值，确定所述成像目标的最终位置。然后成像目标的最终位置信号进入计算装置8计算成像目标14最终位置的重心位置坐标，并将所述的重心位置坐标进行线形变换，输出成像目标最终的位置。然后进入移动装置9，根据输出的成像目标最终位置信号在预定方向上移动操作目标。在遥控器4上有一个确定键15，当内部处理电路完成以上功能时，按下确定键15，将该确定信号通过红外发送装置16发送给电视机，完成遥控功能。

遥控器上还设有方向导航键，即可以完成普通电视上操作目标的随意方向移动，还可以完成虚拟空间的方向导航功能。当在虚拟世界中，遥控者所设定的虚拟形象面对一个固定可选择项目的项目图像时，方向导航键自动切换为正面对的可选择项目的项目图像。如，当虚拟形象想进入虚拟世界的电影院时，方向导航键可以根据遥控器的即时位置，自动将电影院切正为虚拟形象正面面对的场景，虚拟形象进入电影院后，通过遥控器对设定项目的选择，完成虚拟世界的选择任务。

基于以上遥控原理，我们提出了一种电视机遥控的方法，图10至图11是本发明所述电视机遥控方法的一个实施例。

如图10至图11所示，该电视机遥控方法包括以下步骤：

S1设置成像目标；将该成像目标14设置在遥控器4所能拍摄的范围内，优选的，将成像目标14设置在电视机上，优选的成像目标14为4个等距离直线排列的标志点3；

S2拍摄成像目标图像；遥控器4上设置的CCD摄像头捕捉拍摄成像目标的即时图像，为了增强拍摄的图像效果，在CCD摄像头的外部设有红外截止滤光片，用来将其它可见光过滤掉；

S3对成像目标图像中的成像目标进行监测和识别；S3还包括以下步骤：

S31对成像目标图像二值化；优选的二值化方法是阈值法二值化，具体的工作原理和实现步骤见前述，在此不作赘述；

S32对二值化的图像进行连通搜索，得到独立的连通区域；

S33计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分；

S34根据评分值确定所述成像目标的最终位置。

S4计算识别后的成像目标的重心位置坐标，并对所述的重心位置坐标进行线形变换，输出成像目标最终的位置；

S5对步骤4输出的目标最终位置在预定方向上移动操作目标。S5步骤的具体实现既可以在遥控器4中设置移动装置9完成该步骤功能，也可以在电视机***里的处理器电路中实现。

以上所述，仅为本发明的具体实施方式，本发明还可以应用在其它视频遥控设备中，如电脑***、人机游戏***、投影***、IPTV(Interactive personalTV)等。本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (10)

1、一种遥控器，用来遥控视频设备，其特征在于，包括：

成像装置，用于拍摄成像目标图像；

识别装置，用来监测和识别成像目标图像中的成像目标；

计算装置，用来计算来自识别装置输出的识别后的信号的重心位置坐标，并将所述的重心位置坐标进行线形变换，输出成像目标最终的位置；

移动装置，根据所述计算装置输出的成像目标的最终位置在预定方向上移动操作目标。

2、根据权利要求1所述的遥控器，其特征在于：所述识别装置还包括二值化装置，用来将所拍摄成像目标图像二值化。

3、根据权利要求2所述的遥控器，其特征在于：所述识别装置还包括：

搜索装置，用来将所述的识别后的二值化的图像进行连通搜索，得到独立的连通区域；

评分装置，用来计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分；

确定装置，根据评分装置输出的评分值，确定所述成像目标的最终位置。

4、一种视频设备遥控***，包括：

成像装置，用于拍摄成像目标图像；

识别装置，用来监测和识别成像目标图像中的成像目标；

计算装置，用来计算来自识别装置输出的识别后的信号的重心位置坐标，并将所述的重心位置坐标进行线形变换，输出成像目标最终的位置；

移动装置，根据所述计算装置输出的成像目标的最终位置在预定方向上移动操作目标；

显示控制装置，用于在视频显示装置的显示区域上显示操作目标移动和变化的虚拟空间。

5、根据权利要求4所述的视频设备遥控***，其特征在于：所述识别装置包括：二值化装置，用来将所拍摄成像目标图像二值化。

6、根据权利要求5所述的视频设备遥控***，其特征在于：所述识别装置还包括：

搜索装置，用来将所述的二值化的图像进行连通搜索，得到独立的连通区域；

评分装置，用来计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分；

确定装置，根据评分装置输出的评分值，确定所述成像目标的最终位置。

7、根据权利要求4至6任～所述的视频设备遥控***，其特征在于：所述视频遥控***用于接收来自包括用于拍摄成像目标图像的成像装置的操作设备的操作数据，以及用于在视频显示装置上显示通过使用所述操作数据对预定操作目标执行计算处理所获得的虚拟空间。

8、根据权利要求7任一所述的视频设备遥控***，其特征在于：所述虚拟空间包括要由视频显示装置在显示区域的预定范围内显示为表示可选择项目的项目图像的对象；

移动装置移动由操作目标设置装置所设置的对象的显示内容，以便于可选择项目在预定方向上滚动于预定范围内顺序显示。

9、一种电视机遥控方法，包括以下步骤：

S1设置成像目标；

S2拍摄成像目标图像；

S3对成像目标图像中的成像目标进行监测和识别；

S4计算识别后的成像目标的重心位置坐标，并对所述的重心位置坐标进行线形变换，输出成像目标最终的位置；

S5对步骤4输出的目标最终位置在预定方向上移动操作目标。

10、根据权利要求9所述的电视机遥控方法，其特征在于：在步骤S3中还包括以下步骤：

S31对成像目标图像二值化；

S32对二值化的图像进行连通搜索，得到独立的连通区域；

S33计算所述的连通区域拟合直线的距离之和及所述的连通区域之间位置的比例，得到评分；

S34根据评分值确定所述成像目标的最终位置。

Images