CN1533180A - 基于视频画面检测的遥控装置及其方法 - Google Patents

基于视频画面检测的遥控装置及其方法 Download PDF

Info

Publication number
CN1533180A
CN1533180A CNA031072488A CN03107248A CN1533180A CN 1533180 A CN1533180 A CN 1533180A CN A031072488 A CNA031072488 A CN A031072488A CN 03107248 A CN03107248 A CN 03107248A CN 1533180 A CN1533180 A CN 1533180A
Authority
CN
China
Prior art keywords
remote control
mark
video image
image
detects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA031072488A
Other languages
English (en)
Other versions
CN1258135C (zh
Inventor
余旭文
郑文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to CNB031072488A priority Critical patent/CN1258135C/zh
Priority to PCT/CN2004/000210 priority patent/WO2004084544A1/zh
Publication of CN1533180A publication Critical patent/CN1533180A/zh
Application granted granted Critical
Publication of CN1258135C publication Critical patent/CN1258135C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Details Of Television Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于视频图像检测的遥控装置,包括图像采集装置,用于采集视频图像并将所述视频图像转换成视频信号,选取位置计算装置,用于检测所述视频信号中的标志物和计算所述遥控装置指向的光标位置,指令输入装置,用于向所述遥控装置输入进入或退出菜单选项选取状态的指令,和遥控信号发射装置,用于接收所述选取位置计算装置输出的光标位置信息并发射指示所述光标位置信息的控制信号,以使显示装置显示所述遥控装置指向的目标。本发明还包括采用该遥控装置的遥控***及遥控方法。

Description

基于视频画面检测的遥控装置及其方法
技术领域
本发明涉及一种基于画面检测的遥控装置和及其方法,特别是,涉及一种在交互电视中通过检测标志物来确定遥控装置的指向,以此选择侯选对象,从而执行遥控操作的遥控装置和方法。
背景技术
普通的电视遥控器通过按动遥控器上提供的数字和功能按键来选择电视频道和不同的功能。但这些遥控器不具备交互选择功能。随着电视功能的不断扩展,只具有简单的收看功能的模拟电视正在向具有交互性、智能化的数字电视发展。在数字电视画面中,除了显示视频之外,还可以提供菜单界面实现多种数据广播,多媒体服务和视频点播(VOD)服务等。方便简单地选取画面中的菜单等的特定部分,进行点击选择等操作,是实现数字电视与人之间交互的基础。
如同在计算机领域中,目前已经实现相似功能的工具主要是鼠标,但是鼠标的运动与光标的移动并不是直接而自然的对应,而是将光标的运动与上下左右箭头键联系或与鼠标在另一个平面的运动相对应,操作不够自然。
目前备有配置有菜单和编程菜单的电子设备通常是利用遥控器上的功能键调出菜单画面。在菜单画面调出时,指示光标通常位于菜单的左上角,用户通过遥控器上的方向键将指示光标移动到要选择的选项上,再按动确定键来选定该选项。在现有技术的遥控器中,用户需要反复按动遥控器上的方向键才能使指示光标移动到要选择的菜单选项。在屏幕上显示的菜单选项较多时,会造成操作比较烦琐,缺乏灵活性。另外,在菜单比较复杂的情况下,现有技术的遥控器的操作影响交互操作的速度。
发明内容
本发明的一个目的是提供一种通过检测电视画面中的标志物来确定遥控装置的指向,并通过移动遥控装置使其指向要选取的选项从而选定特定选项的遥控***。
本发明的另一个目的是提供一种利用遥控装置检测电视画面中的标志物来确定遥控装置的指向,并通过移动遥控装置使其指向要选取的选项从而选定特定选项的遥控装置。
本发明的再一个目的是提供一种通过检测电视画面中的标志物来确定遥控装置的指向,并通过移动遥控装置使其指向要选取的选项从而选定特定选项的方法。
根据本发明的第一方面,提供一种基于视频图像检测的遥控***,包括:设置有图像采集装置的遥控装置,所述图像采集装置用于采集视频图像,以使所述遥控装置检测视频图像中的标志物,并根据标志物的位置信息计算所述遥控装置指向的目标;和显示装置,用于接收所述遥控装置发出的控制信号,并通过视频显示界面显示供所述遥控装置检测的标志物的视频图像和供选取的交互菜单选项,并指示遥控装置指向的目标。
根据本发明的第二方面,提供一种基于视频图像检测的遥控装置,包括:图像采集装置,用于采集视频图像并将所述视频图像转换成视频信号;选取位置计算装置,用于检测所述视频信号中的标志物和计算所述遥控装置指向的光标位置;指令输入装置,用于向所述遥控装置输入进入或退出菜单选项选取状态的指令;和遥控信号发射装置,用于接收所述选取位置计算装置输出的光标位置信息并发射指示所述光标位置信息的控制信号,以使显示装置显示所述遥控装置指向的目标。
根据本发明的第三方面,提供一种基于视频图像检测的遥控方法,包括步骤:采集显示装置显示的视频图像;检测所采集的视频图像中是否包含用于确定遥控装置的指向的标志物;如果所述视频图像中包含所述标志物,则计算所述标志物在所述显示装置的显示界面上的位置信息;根据计算的所述标志物的所述位置信息计算所述遥控装置指向显示界面的位置信息;将计算的所述遥控装置指向所述显示界面的位置信息发送到所述显示装置,并在显示界面上显示所述遥控装置当前所选取的选项。
根据本发明的遥控装置和方法克服了现有技术中需要反复按动按键才能选定待选选项以及操作烦琐的缺陷。
附图说明
通过下面结合附图对本发明的非限定性实施例所做的详细描述,将使本发明的上述和其它目的,特性及优点变得更加清楚,其中:
图1是表示根据本发明实施例的遥控***的示意图;
图2是表示根据本发明实施例的遥控***的方框图;
图3是表示根据本发明实施例的遥控***的操作处理的流程图;
图4是表示根据本发明一个实施例的标志物的外形;
图5是表示本发明的遥控器所拍摄的图像的一个实例;和
图6是表示根据本发明另一个实施例的标志物的外形。
具体实施方式
下面描述本发明的原理。首先,利用遥控装置上功能键向电视机发出控制信号,使电视机进入电视交互操作状态,电视除在屏幕上显示交互菜单画面外,还在画面上自动显示一个特殊的标志物。其次,通过安装在遥控装置上的图像采集装置拍摄该菜单画面以检测出标志物,并通过计算该标志物的位置得出遥控装置所指向的位置,亦即应该选取的画面中的特定部分。最后,在计算出的画面位置显示出一个对应的指示光标反馈给操作者。操作者可以参照该指示光标改变选取的位置或进行选取操作。
下面参考附图描述本发明的实施例。
首先参考图1描述根据本发明实施例的遥控***的示意图。根据本发明的遥控***由包括遥控器及电视机。根据本发明的原理,通过检测屏幕显示的画面来确定遥控器所指向的位置,并通过改变遥控器的指向来选择要采择的菜单选项。屏幕检测本身是一个比较困难的问题,因为屏幕上的图案不断变化,外界背景光线也随时可能发生变化,而且本***要求检测速度是实时的,因此给画面检测造成很多干扰。为了解决这些问题,本发明采用进入检测状态后在电视屏幕上显示标志物的方法,实现快速而准确的屏幕检测。
具体地说,在电视遥控器上安装图像采集装置。当按动遥控器上的功能键将画面切换到菜单画面时,通过遥控器中的图像采集装置拍摄到的图像中的标志物的位置实时地检测电视屏幕的位置,确定遥控器所指的位置和指向,达到选取画面中的特定位置的目的。
图1中包括电视机1,遥控器2和遥控器的图像采集装置所拍摄的画面3。在电视机的屏幕中标出了标志物所在的位置和遥控器指向的位置。图中电视机1的屏幕中右上角的椭圆部分显示的是标志物,屏幕中的圆点显示的遥控器指向的点,参考标号3表示遥控器2的图像采集装置所拍摄的画面。
下面参考图2描述本发明的遥控***的一个实施例。如图2所示,该遥控***包括发出控制信号的遥控器部分21和电视机部分22。其中遥控器部分21包括采集图象的图像采集装置23,计算检测标志物并计算指示光标位置的选取位置计算装置24,向电视机部分发射遥控信号的遥控信号发射装置25,用于控制***进入或退出菜单选项选取状态的指令输入键26。指令输入键26包括菜单选取启动键和选取消除键。电视机部分22包括视频显示装置27和遥控信号接收器28,以及电视机中包括的其它装置(未示出)。
下面描述本发明的遥控***的操作。遥控器检测是否进入屏幕选取状态,如果遥控器的选取启动键被按下,向图象采集装置23,在本实施例中是摄像头,及选取位置计算装置24发出进入屏幕菜单选取状态的指令。通过遥控器中的信号发射器25向设置在电视机中的信号接受器28发射进入菜单选取状态的信号。遥控***则进入菜单选取状态。此时,电视屏幕上显示可供选择的菜单选项。作为一种替换方式,目前数字电视遥控器上一般设置有一个数据键,用于接收一般视频观赏之外的数据广播服务。因而,也可以设定在数据键被按下时使遥控***进入菜单选取状态。进入菜单选取状态后,电视内部产生待检测的标志物的视频信号并在屏幕上显示该标志物。
接下来,将遥控器指向显示屏幕,遥控器上的图像采集装置23,在本实施例中是摄像头,开始拍摄所指方向的图像,并将所拍摄的图像转换成视频信号提供给选取位置计算装置24进行处理(其处理过程将在下文描述),由此得到遥控器所指向的位置,并确定遥控器的指向位置处在哪个菜单选项的范围内,并使相应的菜单选项处于高亮状态,即,使光标指向该菜单选项。此后,用户可通过简单地改变遥控器指向,使遥控器指向要选择的选项并利用指令输入键26进行选定。
现有技术的屏幕位置选取装置,例如普通菜单选取遥控器,进入选取状态后一般光标或焦点落于某个菜单条上,通过按动遥控器上的前后左右键或数字键选取相应的菜单条,操作起来不方便也不自然。
与现有技术的位置选取装置不同,本发明需要确定遥控器与屏幕的位置关系。这是通过检测屏幕上的标志物来达到的。确定了相对位置关系后,我们就可以确定指示光标应该指向的位置,如把遥控器向左指,光标也可以在屏幕上相对的左移,给人的感觉就象光标是由遥控器发出的光点一样。操作起来更加方便而且自然。
在本发明的优选实施例中,首先是检测标志物,以确定遥控器上的摄像头23拍摄的图像上的哪些点是我们需要的标志物点。其次是确定标志物的位置,以便通过这些检测出的标志物点确定标志物的中心点。由于标志物与屏幕的相对位置是确定的,知道了标志物与遥控器的相对位置关系也就知道了屏幕与遥控器的相对位置关系。确定了标志物的位置后,通过几何关系就可以确定在屏幕上要显示的指示光标的位置。
下面对本发明中检测标志物和计算遥控器指向位置的优选实施例进行详细描述。首先说明标志物的检测。在屏幕的右上角显示标志物,但本发明不限于此,标志物可显示在屏幕上的任何位置,如右下或左下角等。这时遥控器指向电视屏幕,图像采集装置23,即摄像头,将标志物拍摄下来。
本实施例中,通过检测标志物的颜色来确定标志物。在拍摄的图像中采用HSI颜色模型的点检测和中值滤波方法实时检测标志物。其中H表示色度(Hue),S表示饱和度(Saturation),I表示亮度(Intensity)。通常,RGB颜色模型最为常用,它认为颜色是由红(Red),绿(Green)、蓝(Blue)三种基本色彩混合而成的。每一种基本色彩的不同强度的组合就构成了不同的色彩。例如,如果每种基本色彩的最大强度用8位二进制数表示,那么每种基本色彩的最大强度就是255,则红色即R=255,G=B=0;而黄色为R=G=255,B=0。但是随着光线的明暗变化,RGB三个分量同时发生变化,没有体现对色彩的独立描述。
HSI色彩空间是从人的视觉***出发,能把色调、亮度和色饱和度的变化情形表现得很清楚。通常把色调和饱和度通称为色度,用来表示颜色的类别与深浅程度。由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度,为了便于色彩处理和识别,人的视觉***经常采用HSI色彩空间,它比RGB色彩空间更符合人的视觉特性。在图像处理和计算机视觉中大量算法都可在HSI色彩空间中方便地使用,它们可以分开处理而且是相互独立的。因此,在HSI色彩空间可以大大简化图像分析和处理的工作量。
HSI色彩空间和RGB色彩空间只是同一物理量的不同表示法,因而它们之间存在着转换关系。
本发明中的标志物检测是将物体的颜色表示从RGB颜色空间变换到HSI颜色空间。图像采集装置23拍摄到标志物后,对其颜色进行处理得到该标志物的RGB的颜色二值图。然后,选取位置计算装置24通过计算下面的转换公式可以得到标志物的HIS值。其中通过下面的公式(1)得到标志物的灰度值
I=(R+G+B)/3            (1)
其中R、G、B表示三原色的数值。
利用下面的公式(2)计算标志物的饱和度:
S=1-min(R,G,B)/I     (2)
其中min(R,G,B)表示取R,G,B中的最小值。
利用下面的公式(3)计算色度:
H = ( ( &pi; / 2 - arctan ( F / 3 ) + { 0 , G > B ; &pi; , G < B } ) / 2 &pi; ; - - - ( 3 )
其中F是一个变量,利用经验公式得到F=(2*R-G-B)/(G-B);。
H,S分量在光线明暗发生变化时能保持基本不变,所以当光照变化时,可以通过检测H、S分量来检测标志物,消除外界光线的干扰,达到了检测标志物的目的。作为例子,选取位置计算装置24可以由微处理器实施。图4示出选择的标志物的一个实施例,该标志物采用单一的颜色特征(兰色),映射到色度H和饱和度S分量后,通过将计算得到的H和S分量值与选取位置计算装置24中设置色度和饱和度的阈值比较,大于或等于预定阈值的点设置为1,小于该阈值的点设置为0,满足预定条件图像部分即为标志物。由此得到标志物的二值图B,从而得到标志物的候选点。其中B中设为1的点为标志物点。不可避免的,在二值图B中有一些孤立的噪声点,可以采用中值滤波方法除去这些孤立的噪声点。通过上述处理,可确定屏幕上显示的标志物。
上述实施例中采用单一颜色的标志物存在着标志物的颜色与屏幕显示的图像中同一颜色的对象相混淆的可能。作为替换,检测标志物也可以有其它的实施方式。如进入检测状态后标志物可以设置在屏幕外,虽然将标志物设置在屏幕外增加了生产的成本,但处理的效果会更好,因为其所受到的屏幕图像的干扰小一些。
上面描述的点颜色检测与简单滤波的检测方法计算速度比较快,但是也可采用其他图象处理技术,如模式识别和一些较为复杂的滤波技术等。例如标志物的设计可以采用规则的形状,如圆形,菱形等,这样对于标志物的检测还可以辅助以模式识别中模板匹配的方法,即已经知道标志物的形状后,就可以把不与这种形状匹配的干扰点去除。
此外标志物的检测还可以用多种颜色组合判断的方法,即标志物采用多种色彩及合适的颜色分布形状设计来提高检测的抗干扰能力。图6示出了标志物的另一个实施例。该标志物中包含空间上规则分布的三种颜色,本例子中的规则是:蓝色点的左边是红色而右边是绿色。在检测出三种颜色后,只有满足三种颜色的空间分布规则的点才认为是标志物点。该方法能够提高***的稳定性,有效地克服检测过程中可能受到的干扰,如屏幕上出现了色度和饱和度都完全与标志物相同的情况等等。
以上说明了把摄像头所拍摄的标志物图像转化为二值图B,B中设为1的点为标志物点。由此可以确定标志物的中心点在摄像头所拍摄的图像中的位置。
下面说明选取位置计算装置24计算标志物的位置过程,作为本发明的优选实施例,采用下面的重心计算公式(4)和(5)得到标志物的重心位置Xz和Yz如下:
X z = &Sigma; i = 1 W &Sigma; j = 1 H B ( i , j ) X ( i , j ) / &Sigma; i = 1 W &Sigma; j = 1 H B ( i , j ) - - - ( 4 )
Y z = &Sigma; i = 1 W &Sigma; j = 1 H B ( i , j ) Y ( i , j ) / &Sigma; i = 1 W &Sigma; j = 1 H B ( i , j ) - - - ( 5 )
其中B代表二值图,X(i,j)为横坐标,Y(i,j)为纵坐标,选取拍摄图像的左下角为坐标原点,W,H分别是摄像头的水平、垂直分辨率。
得到了标志物在拍摄图像的重心位置后,由于重心位置可以作为标志物的中心位置,并且摄像头的水平、垂直分辨率是固定的,可以由此计算出指示光标所在的位置。例如,如果标志物在拍摄的图像中偏右,可使遥控器上的摄像头指向偏向屏幕的左侧,那么指示光标应该出现在遥控器所指向的方向,也就是屏幕的左侧。其它标志物和指示光标的相对位置可以此类推。通过标志物在拍摄的图像中的位置就可以换算出指示光标在屏幕中的位置Xs、Ys(以屏幕的左下角为原点)。
光标在屏幕中的位置Xs、Ys可由下面的换算公式(6)和(7)得出:
Xs=Ws/2+Kx*(W/2-Xz)                (6)
Ys=Hs/2+Ky*(H/2-Yz)                (7)
其中Ws代表屏幕的水平分辨率,Hs代表垂直分辨率,Kx是表示光标运动快慢的系数,其它符号表示与上文所述的相同。
以公式(6)为例,如果标志物在摄象头拍摄图象的Xz处,那么相应的说明摄像头指向偏向相反的方向,就是-Xz处,指示光标运动的快慢由系数Kx控制,因为原点取在左下角,加上平移的补偿量,最终公式表示就如(6)所示。(7)亦同理。
总之,公式(6)和(7)的意义在于如果标志物出现在摄像头的一侧,那么指示光标出现在屏幕的对应一侧,指示光标运动的快慢由系数Kx、Ky控制。
通过上面的公式(6)和(7)的计算获得了指示光标的位置信息后,通过遥控器中的信号发射装置25将光标位置信息发送给电视机。电视机在屏幕上显示出目前所选取的位置。
在菜单选取应用中,如果位置落在某个菜单区域内,那么该菜单条就处于被选中状态;按动按键可以进入该选项。另外,位置信息也可以应用于以后的交互电视中,如连续的区域选定。
如果按下遥控器的选取取消键,则进入非选取状态,相应的特定标志和位置指示消失。
下面结合图3描述遥控***的操作流程。首先,在步骤S31,检测遥控***是否处于交互操作状态。如果结果为否定,则在步骤S32检测屏幕上是否显示标志物,如果屏幕上显示了标志物,则在步骤S33将该标志物消除,以便于观看显示的图像。如果步骤S32的判断结果为否定,即屏幕上未显示标志物,流程则返回到步骤S31,检测遥控***是否处在交互状态。如果步骤S31的结果为肯定,流程则进入步骤S34,由遥控装置21向电视机发出遥控信号,在电视上显示标志物。接下来,流程进行到步骤S35,遥控装置21判断是否在图像采集装置23采集的图像中检测出图像上的标志物。如果未检测到标志物,则返回步骤S31。如果在步骤S35检测到了图像中的标志物,则执行计算标志物的中心位置,及遥控装置的光标所指向的点的位置,并使该点所选取的选项通过“高亮”等方式反馈给操作者,以使操作者可以参照指示光标通过调节遥控器的指向来改变选取的位置或进行选取操作。此后,遥控器可发出遥控信号并将指示点击光标的位置信息传送到后续操作。
图5示出了利用本发明的遥控***拍摄的屏幕标志物的具体实例。图中的左半部分示出了带有标志物的屏幕图,其中带有“PANASONIC”文字的兰色标志物显示在屏幕的右上角。图中的右半部分示出了遥控器的摄像头实际拍摄的图像,其中显示了兰色的标志物。
以上说明了根据本发明的基于电视画面的位置检测来选取画面中的特定位置的遥控***和方法。
本发明中,在进入电视交互操作状态时,电视自动在画面上显示一个特殊的标志物。通过安装在遥控器上的摄像头来检测出该标志物,并由此计算出遥控器所指的位置,亦即应该选取的画面中的特定部分。最后,在计算出的画面位置显示出一个对应的指示光标反馈给操作者。操作者可以参照指示光标改变选取位置或进行选取操作。采用本技术,选择屏幕上的特定位置显得更加方便而自然。
虽然参考本发明的优选实施例给出并说明了本发明,但是,本领域的技术人员应当理解,在不脱离本发明的精神和范围的情况下,可以对本发明进行各种变化和改变。

Claims (15)

1.一种基于视频图像检测的遥控***,包括:
设置有图像采集装置的遥控装置,所述图像采集装置用于采集视频图像,以使所述遥控装置检测视频图像中的标志物,并根据标志物的位置信息计算所述遥控装置指向的目标;和
显示装置,用于接收所述遥控装置发出的控制信号,并通过视频显示界面显示供所述遥控装置检测的标志物的视频图像和供选取的交互菜单选项,并指示遥控装置指向的目标。
2.一种基于视频图像检测的遥控装置,包括:
图像采集装置,用于采集视频图像并将所述视频图像转换成视频信号;
选取位置计算装置,用于检测所述视频信号中的标志物和计算所述遥控装置指向的光标位置;
指令输入装置,用于向所述遥控装置输入进入或退出菜单选项选取状态的指令;和
遥控信号发射装置,用于接收所述选取位置计算装置输出的光标位置信息并发射指示所述光标位置信息的控制信号,以使显示装置显示所述遥控装置指向的目标。
3.根据权利要求2所述的基于视频图像检测的遥控装置,其中所述图像采集装置是一个摄像头。
4.根据权利要求2所述的基于视频图像检测的遥控装置,其中所述选取位置计算装置将所述图像采集装置采集的标志物的RGB三基色颜色模型转换成色调-饱和度-亮度(HSI)颜色模型来检测所述标志物。
5.根据权利要求4所述的基于视频图像检测的遥控装置,其中所述选取位置计算装置按照下面的公式执行把RGB三基色颜色模型转换成色调-饱和度-强度(HIS)颜色模型:
I=(R+G+B)/3
S=1-min(R,G,B)/I
H = ( ( &pi; / 2 - arctan ( F / 3 ) + { 0 , G > B ; &pi; , G > B } ) / 2 &pi; ;
其中R、G、B分别表示标志物中红色,绿色和兰色三个分量的数值,F=(2*R-G-B)/(G-B);I表示亮度,S表示色饱和度,H表示色度。
6.根据权利要求5所述的基于视频图像检测的遥控装置,其中映射到色度H和色饱和度S分量后,将计算得到的H和S分量值与选取位置计算装置中设置色度和色饱和度的阈值比较,大于或等于预定阈值的点设置为1,小于所述阈值的点设置为0,满足预定条件的图像部分即为标志物。
7.根据权利要求6所述的基于视频图像检测的遥控装置,其中所述选取位置计算装置检测到标志物后,将所述标志物图像转化为二值图B,按照下面的公式计算所述标志物在拍摄的图像中的位置Xz和Yz
X z = &Sigma; i = 1 W &Sigma; j = 1 H B ( i , j ) X ( i , j ) / &Sigma; i = 1 W &Sigma; j = 1 H B ( i , j )
Y z = &Sigma; i = 1 W &Sigma; j = 1 H B ( i , j ) Y ( i , j ) / &Sigma; i = 1 W &Sigma; j = 1 H B ( i , j )
其中B代表标志物图像转化的二值图,X(i,j)为横坐标,Y(i,j)为纵坐标,选取拍摄图像的左下角为坐标原点,W,H分别是摄像头的水平、垂直分辨率。
8.根据权利要求7所述的基于视频图像检测的遥控装置,其中所述选取位置计算装置根据标志物在拍摄的图像中的位置信息Xz和Yz按照下面的公式计算指示光标在屏幕中的位置Xs、Ys
Xs=Ws/2+Kx*(W/2-Xz)
Ys=Hs/2+Ky*(H/2-Yz)
其中Ws代表屏幕的水平分辨率,Hs代表垂直分辨率,Kx是表示光标运动快慢的系数。
9.根据权利要求2所述的基于视频图像检测的遥控装置,其中所述指令输入装置在向所述遥控装置输入进入菜单选项选取状态的指令时启动所述图像采集装置和所述选取位置计算装置。
10.一种基于视频图像检测的遥控方法,包括步骤:
采集显示装置显示的视频图像;
检测所采集的视频图像中是否包含用于确定遥控装置的指向的标志物;
如果所述视频图像中包含所述标志物,则计算所述标志物在所述显示装置的显示界面上的目标信息;
根据计算的所述标志物的所述位置信息计算所述遥控装置指向显示界面的目标信息;
将计算的所述遥控装置指向所述显示界面的目标信息发送到所述显示装置,并在显示界面上显示所述遥控装置当前所选取的选项。
11.根据权利要求10所述的基于视频图像检测的遥控方法,还包括在所述遥控装置未指向显示界面上要选取的选项时,调节所述遥控装置的指向,以使所述遥控装置指向要选取的选项。
12.根据权利要求10所述的基于视频图像检测的遥控方法,其中检测所述标志物的步骤包括将所述标志物的RGB三基色颜色模型转换成色调-饱和度-亮度(HSI)颜色模型的步骤。
13.根据权利要求12所述的基于视频图像检测的遥控方法,其中进一步包括将RGB三基色颜色模型转换成色度H和色饱和度S分量后,将计算得到的H和S分量值与选取位置计算装置中设置色度和色饱和度的阈值比较,大于或等于预定阈值的点设置为1,小于所述阈值的点设置为0的步骤。
14.根据权利要求10所述的基于视频图像检测的遥控方法,其中进一步包括在检测到标志物后,将所述标志物图像转化为二值图B,计算所述标志物的在采集的图像中的位置Xz和Yz的步骤。
15.根据权利要求14所述的基于视频图像检测的遥控方法,其中进一步包括根据标志物在拍摄的图像中的位置信息Xz和Yz计算所述遥控装置的指示光标在屏幕中的位置Xs、Ys的步骤。
CNB031072488A 2003-03-19 2003-03-19 基于视频画面检测的遥控装置及其方法 Expired - Fee Related CN1258135C (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CNB031072488A CN1258135C (zh) 2003-03-19 2003-03-19 基于视频画面检测的遥控装置及其方法
PCT/CN2004/000210 WO2004084544A1 (fr) 2003-03-19 2004-03-17 Telecommande et procede a detection d'images video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB031072488A CN1258135C (zh) 2003-03-19 2003-03-19 基于视频画面检测的遥控装置及其方法

Publications (2)

Publication Number Publication Date
CN1533180A true CN1533180A (zh) 2004-09-29
CN1258135C CN1258135C (zh) 2006-05-31

Family

ID=32997022

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031072488A Expired - Fee Related CN1258135C (zh) 2003-03-19 2003-03-19 基于视频画面检测的遥控装置及其方法

Country Status (2)

Country Link
CN (1) CN1258135C (zh)
WO (1) WO2004084544A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100407760C (zh) * 2004-12-10 2008-07-30 精工爱普生株式会社 控制***和适合于该***的被控制装置以及遥控器
CN101388138B (zh) * 2007-09-12 2011-06-29 原相科技股份有限公司 互动图像***、互动装置及其运作方法
CN102289304A (zh) * 2011-08-17 2011-12-21 Tcl集团股份有限公司 一种遥控器模拟鼠标移动的实现方法、实现***及遥控器
CN102646326A (zh) * 2012-03-26 2012-08-22 赵舜培 与具有触控屏电子产品适配的非接触型遥控器
CN103051964A (zh) * 2011-10-14 2013-04-17 中国科学院计算技术研究所 基于定位遥控器的智能电视人机交互方法、装置和***
CN103885610A (zh) * 2012-12-21 2014-06-25 联想(北京)有限公司 控制方法及电子设备
CN103051964B (zh) * 2011-10-14 2016-11-30 中国科学院计算技术研究所 基于定位遥控器的智能电视人机交互方法、装置和***
CN106817611A (zh) * 2016-12-01 2017-06-09 青岛海信电器股份有限公司 一种屏幕定位方法及设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2006121437A (ru) 2003-12-18 2007-12-27 Конинклейке Филипс Электроникс Н.В. (Nl) Способ и система для управления устройством
CN102984563A (zh) * 2011-09-05 2013-03-20 富士通半导体(上海)有限公司 一种智能遥控电视***及其遥控方法
CN115174975B (zh) * 2022-06-27 2023-08-18 湖南嘻呱网络科技有限公司 基于电视遥控全景图交互方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284166A (ja) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
US6727887B1 (en) * 1995-01-05 2004-04-27 International Business Machines Corporation Wireless pointing device for remote cursor control
JP3475419B2 (ja) * 1995-10-11 2003-12-08 ソニー株式会社 テレビジョン受像機
US6564378B1 (en) * 1997-12-08 2003-05-13 United Video Properties, Inc. Program guide system with browsing display
US6535198B1 (en) * 1999-03-28 2003-03-18 Nongqiang Fan Remote control for interactive television

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100407760C (zh) * 2004-12-10 2008-07-30 精工爱普生株式会社 控制***和适合于该***的被控制装置以及遥控器
CN101388138B (zh) * 2007-09-12 2011-06-29 原相科技股份有限公司 互动图像***、互动装置及其运作方法
CN102289304A (zh) * 2011-08-17 2011-12-21 Tcl集团股份有限公司 一种遥控器模拟鼠标移动的实现方法、实现***及遥控器
CN102289304B (zh) * 2011-08-17 2014-05-07 Tcl集团股份有限公司 一种遥控器模拟鼠标移动的实现方法、实现***及遥控器
CN103051964A (zh) * 2011-10-14 2013-04-17 中国科学院计算技术研究所 基于定位遥控器的智能电视人机交互方法、装置和***
CN103051964B (zh) * 2011-10-14 2016-11-30 中国科学院计算技术研究所 基于定位遥控器的智能电视人机交互方法、装置和***
CN102646326A (zh) * 2012-03-26 2012-08-22 赵舜培 与具有触控屏电子产品适配的非接触型遥控器
CN102646326B (zh) * 2012-03-26 2014-04-23 赵舜培 与具有触控屏电子产品适配的非接触型遥控器
CN103885610A (zh) * 2012-12-21 2014-06-25 联想(北京)有限公司 控制方法及电子设备
CN103885610B (zh) * 2012-12-21 2019-02-05 联想(北京)有限公司 控制方法及电子设备
CN106817611A (zh) * 2016-12-01 2017-06-09 青岛海信电器股份有限公司 一种屏幕定位方法及设备
CN106817611B (zh) * 2016-12-01 2020-06-02 海信视像科技股份有限公司 一种屏幕定位方法及设备

Also Published As

Publication number Publication date
CN1258135C (zh) 2006-05-31
WO2004084544A1 (fr) 2004-09-30

Similar Documents

Publication Publication Date Title
US8648811B2 (en) Remote control system for electronic device and remote control method thereof
CN100555185C (zh) 功能命令***、功能命令装置、功能命令分析***、演示***及功能命令分析方法
US6641269B2 (en) Indicated position detection by multiple resolution image analysis
US11561608B2 (en) Method for controlling an application employing identification of a displayed image
US7787693B2 (en) Text detection on mobile communications devices
CN102682589B (zh) 一种用于对受控设备进行遥控的***
CN1156758C (zh) 校准计算机产生的投影图像的方法和装置
Finlayson et al. Hue that is invariant to brightness and gamma.
CN1680867A (zh) 投影仪-摄像机-白板***中视觉回波消除***和方法
CN1367616A (zh) 视频序列中产生对象标识图象的装置和方法
CN1258135C (zh) 基于视频画面检测的遥控装置及其方法
CN105915816A (zh) 用于确定给定场景的亮度的方法和设备
CN1411284A (zh) 取决于图像的面部检测方法
CN102063231A (zh) 一种基于图像检测的非接触式电子白板***及检测方法
JP2017504017A (ja) 計測機器、システム、及びプログラム
CN106060473A (zh) 大数据处理方法及大数据处理装置
CN102667689B (zh) 交互式显示器
CN106162076A (zh) 大数据图像灰度化处理装置
CN103297675A (zh) 图像提取方法与相关图像提取***
CN103765473A (zh) 提供视图的调整的数字图像表示的方法以及装置
US20230376104A1 (en) Method for controlling an application employing identification of a displayed image
CN105872115B (zh) 一种基于云计算的远程监测***
CN106162077A (zh) 基于互联网的智能业务管理***
CN107545212A (zh) 双通道云数据管理平台
CN103106785A (zh) 具有3d鼠标功能的遥控器及其遥控方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060531

Termination date: 20200319