CN103491444B - 图像互动方法和***以及对应的显示装置 - Google Patents

Abstract

一种图像互动方法包括如下步骤：通过控制装置获取显示装置显示的图像画面，得到采集画面；控制装置的接收在采集画面上的控制操作，并得到控制操作在采集画面中的位置信息；将采集画面以及控制操作的位置信息发送给显示装置；显示装置将采集画面和自身显示的图像画面进行图像识别，得到自身显示的图像画面中和采集画面相同的映射画面及其位置信息；根据采集画面以及控制操作的位置信息，映射画面及其位置信息，得到控制操作的位置对应在显示装置中的位置；将控制操作移植到图像画面中与控制操作的位置对应位置，并执行预设功能。本发明还提一种对应的图像互动***和显示装置。如此便将触摸屏虚拟的移植到了另外一个显示装置上，操作直观、方便。

Description

图像互动方法和***以及对应的显示装置

技术领域

本发明涉及一种遥控技术，尤其涉及家庭遥控上基于图像的互动方法和***以及对应的显示。

背景技术

如今，电视机已经不再是单一电视机节目播放。由于网络的发展，电视机也具备了互动功能，用户可以对电视机画面进行操作，实现电视节目点播，游戏，上网等功能，俗称“智能电视机”。

电视机相对其他具有显示模块的电子产品（手机，笔记本电脑等）而言，其屏幕较大，能给与用户更好的体验。

然而，电视机通常距离用户较远，要对电视机画面进行操作，主要采用遥控器，现有的控制方式主要有以下2种：

1，传统遥控器，通过数字、功能、方向按钮，对电视机进行控制操作。然而这样的控制方式功能固化，很多功能不便实现。如要点击画面中某个按钮，需要用方向键一步步选择到对应按钮后再点击，操作麻烦。

2，电视触摸屏，部分电视机配置了触摸屏，用户可以通过触摸电视屏幕实现对电视机画面的操作。但是用户很少会站在电视机面前，而是距离较远，不便操作。

发明内容

基于此，提供一种操作方便的图像互动方法和***以及对应的显示装置。

一种图像互动方法，包括如下步骤：

通过控制装置获取显示装置显示的图像画面，得到采集画面；

所述控制装置的接收在所述采集画面上的控制操作，并得到所述控制操作在所述采集画面中的位置信息；

所述控制装置将所述采集画面以及所述控制操作的位置信息发送给所述显示装置；

所述显示装置接收所述控制装置发送的所述采集画面以及所述控制操作的位置信息，并将所述采集画面和自身显示的图像画面进行图像识别，得到自身显示的图像画面中和所述采集画面相同的映射画面及其位置信息；

所述显示装置根据所述采集画面以及所述控制操作的位置信息，所述映射画面及其位置信息，得到所述控制操作的位置对应在所述显示装置显示的图像画面中的位置；

所述显示装置将所述控制操作移植到其显示的图像画面中与所述控制操作的位置对应位置，并执行与所述控制操作对应的预设功能。

一种图像交互***，包括用于控制的控制装置和被控制的显示装置，所述控制装置包括：图像获取模块、显示屏、控制模块、处理模块和发射模块，

所述图像获取模块用于获取所述显示装置显示的图像画面，得到采集画面，并通过所述显示屏显示；

所述控制模块用于响应用户输入，在所述采集画面上进行控制操作；

所述处理模块用于获取所述控制操作在所述采集画面中的位置信息；

所述发射模块用于将所述图像获取模块获取的所述采集画面以及所述控制操作的位置信息发送给所述显示装置；

所述显示装置包括：显示模块、接收模块、识别模块、解析模块和执行模块，

所述显示模块用于显示图像画面；

所述接收模块用于接收所述控制装置发出的所述采集画面以及所述控制操作的位置信息；

所述识别模块用于将接收模块接收的所述采集画面和所述显示模块显示的图像画面进行图像识别，得到所述显示模块显示的图像画面中和所述采集画面相同的映射画面及其位置信息；

所述解析模块用于根据所述采集画面以及所述控制操作的位置信息，所述映射画面及其位置信息，得到所述控制操作的位置对应在所述显示模块显示的图像画面中的位置；

所述执行模块用于将所述控制操作移植到所述显示模块显示的图像画面中与所述控制操作的位置对应位置，并执行与所述控制操作对应的预设功能。

一种显示装置，包括：显示模块、接收模块、识别模块、解析模块和执行模块，

所述显示模块用于显示图像画面；

所述接收模块用于接收控制装置发出的采集画面以及在所述采集画面上进行控制操作的位置信息；

所述识别模块用于将接收模块接收的所述采集画面和所述显示模块显示的图像画面进行图像识别，得到所述显示模块显示的图像画面中和所述采集画面相同的映射画面及其位置信息；

所述解析模块用于根据所述采集画面以及所述控制操作的位置信息，所述映射画面及其位置信息，得到所述控制操作的位置对应在所述显示模块显示的图像画面中的位置；

所述执行模块用于将所述控制操作移植到所述显示模块显示的图像画面中与所述控制操作的位置对应位置，并执行与所述控制操作对应的预设功能。

上述图像互动方法和***以及对应的显示装置利用控制装置获取显示装置的画面，并通过图像识别，把在控制装置上的操作转换为对显示装置中画面进行控制控制，相比传统的遥控方式，操作直观、方便。

附图说明

图1为一实施例的图像交互方法的演示示意图；

图2为一实施例的图像交互方法的步骤流程图；

图3为一实施例的图像交互***的功能模块图。

具体实施方式

下文中图像交互方法和***涉及控制装置和显示装置，为了便于理解，首先以手机作为控制装置，电视机作为显示装置为例对本方案思想进行简单介绍：

手机具备图像获取模块（后置）和触摸屏。如图1所示，电视机屏幕100用于显示图像画面，手机触摸屏120用于显示从电视机屏幕100上拍摄到的被拍画面140。图1中的黑色方块121和菱形表示图像内容。用户触摸手机触摸屏120上的A点后，手机将触摸屏120显示的图像以及A点位置信息发送给电视机。电视通过图像识别找到对应的被拍画面140，并计算得到A点对应在电视机屏幕100显示的画面中的位置a点。然后电视机执行类似鼠标点击/触摸电视机上a点处画面对应的功能。

如此便达到了通过手机触摸屏实现对电视机图像触摸控制的效果，操作方便且用户体验度高。其他实施方式中，控制装置上的触摸屏控制也可以是鼠标操作等其他控制方式。

请同时参阅图2，其为一实施例的图像互动方法的步骤流程图，包括如下步骤：

步骤S201，通过控制装置获取显示装置显示的图像画面，得到采集画面。

一实施例中，所述控制装置具有摄像头，其通过摄像头获取显示装置显示的部分或者全部图像。控制装置可以是手机、笔记本电脑或平板电脑等具有拍摄功能的电子设备，以便携式为佳。显示装置可以是电视机或其他具有图像显示功能的电子设备。

步骤S202，控制装置的接收在所述采集画面上的控制操作，并得到控制操作在采集画面中的位置信息。

所述控制操作可以是鼠标操作或者是在具有触摸屏的控制装置上的触摸操作等。

步骤S203，控制装置将采集画面以及控制操作的位置信息发送给显示装置。

本实施方式中，发送方式为无线传输，如wifi，蓝牙等。

步骤S204，显示装置接收控制装置发送的采集画面以及所述控制操作的位置信息，并将采集画面和自身显示的图像画面进行图像识别，得到自身显示的图像画面中和采集画面相同的映射画面及其位置信息。

所述采集画面对应图1中手机触摸屏120显示的画面，所述映射画面对应图1中所示的被拍画面140。映射画面（被拍画面140）的位置信息可以用其左上角顶点坐标（x,y）表示。

步骤S205，显示装置根据采集画面以及所述控制操作的位置信息，映射画面及其位置信息，得到控制操作的位置对应在显示装置显示的图像画面中的位置。

一实施例中，显示装置先获取采集画面的尺寸和映射画面的尺寸，再根据采集画面的尺寸、控制操作的位置信息以及映射画面的位置信息和尺寸，得到控制操作的位置对应在显示装置显示的图像画面中的位置。

假设获取的采集画面的尺寸为宽高w₁,h₁，映射画面的尺寸为宽高w₂，h₂。

假设控制操作的位置信息，即对应图1中A点坐标为(m,n)，那便可以计算得到图1中a点的坐标(m',n')，

$m^{\′}=x+\frac{{\mathrm{mw}}_2}{w_1},$ $n^{\′}=y+\frac{{\mathrm{nh}}_2}{h_1}$

上述位置信息的表示方式也可以采用其他方式，如用距离顶点的角度和长度，或者用网格划分的方式进行位置表示，这里不再一一列举。

步骤S206，显示装置将所述控制操作移植到其显示的图像画面中与控制操作的位置对应位置，并执行与所述控制操作对应的预设功能。

即将用户在控制装置上的操作虚拟的移植到了显示装置上，达到遥控的效果。

以用户在控制装置的触摸屏上的触摸操作为例，触控操作可以分解成三种行为，所有操作都可以由这三种行为排列组合来表达。

这三种行为为：触下、滑动、抬起。抽象成数据结构表达如下：

触下事件：包含触发触下事件的点的坐标(m₀,n₀)，如有多指触摸，则附带上共i（i>0）个已经处于触摸状态的其他点的坐标(m₁,n₁)~(m_i,n_i)。(m_j,n_j)∈(X,Y)(0≤j≤i)。

滑动事件：包含触发滑动事件的点的坐标(m₀,n₀)，如有多指触摸，则附带上共i（i>0）个已经处于触摸状态的其他点的坐标(m₁,n₁)~(m_i,n_i)。(m_j,n_j)∈(X,Y)(0≤j≤i)。

抬起事件：包含触抬起动事件的点的坐标(m₀,n₀)，如有多指触摸，则附带上共i（i>0）个已经处于触摸状态的其他点的坐标(m₁,n₁)~(m_i,n_i)。(m_j,n_j)∈(X,Y)(0≤j≤i)。

一个事件只能有一个触发点，如果是同时改变两个点的状态，这个行为会被拆分为两个连续的对应事件。

用户在触摸屏上点击可以表达为：触下(m₀,n₀)，抬起(m₀,n₀)两个行为。

用户在触摸屏上拖拽、框选可以表达为：触下(m₀,n₀)，移动(m₀,n₀)，移动(m₀,n₀)...移动(m₀,n₀)，抬起(m₀,n₀)。

用户在触摸屏上双指放大的手势可以表达为：触下(m₀,n₀)，触下(m₀,n₀)(m₁,n₁)，移动(m₀,n₀)(m₁,n₁)，移动(m₀,n₀)(m₁,n₁)...移动(m₀,n₀)(m₁,n₁)，抬起(m₀,n₀)(m₁,n₁)，抬起(m₀,n₀)。

以上这些行为都是控制装置的触摸屏上的，把这些操作的数据通过无线网络发送给显示装置，显示装置把其转变为大屏幕上的事件时，仅需要把事件涉及的点的坐标，通过前文所述转换公式：

$m^{\′}=x+\frac{{\mathrm{mw}}_2}{w_1};$

$n^{\′}=y+\frac{{\mathrm{nh}}_2}{h_1};$

简单转换即可变成显示装置上的坐标。而显示装置的手势识别即可根据这些数据转化成相应的手势。

上述图像交互方法通过控制装置获取显示装置的画面，并通过图像识别，把在控制装置上的操作转换为对显示装置中画面进行控制控制，相比传统的遥控方式，不仅操作直观、方便，而且用户体验感更高。

如图3所示，其为一实施例的图像交互***30的功能模块图，包括用于控制的控制装置300和被控制的显示装置400。

控制装置300包括：图像获取模块301、显示屏302、控制模块303、处理模块304和发射模块305。

图像获取模块301用于获取显示装置400显示的图像画面，得到采集画面，并通过显示屏302显示。

一实施例中，所述图像获取模块301为摄像头，用于拍摄得到所述采集画面。

控制模块303用于响应用户输入，在所述采集画面上进行控制操作。

所述控制操作可以是鼠标操作或者其他操作，一实施例中，所述显示屏302和控制模块303结合为触摸屏，控制操作则是在触摸屏上的触控操作。

处理模块304用于获取控制操作在采集画面中的位置信息。

发射模块305用于将图像获取模块301获取的采集画面以及控制操作的位置信息发送给显示装置400。

显示装置400包括：显示模块402、接收模块403、识别模块404、解析模块405和执行模块406。

显示模块402用于显示图像画面。

接收模块403用于接收控制装置300发出的采集画面以及控制操作的位置信息。

识别模块404用于将接收模块403接收的采集画面和显示模块402显示的图像画面进行图像识别，得到显示模块402显示的图像画面中和采集画面相同的映射画面及其位置信息。

解析模块406用于根据采集画面以及控制操作的位置信息，映射画面及其位置信息，得到所述控制操作的位置对应在显示模块402显示的图像画面中的位置。

一实施例中，解析模块406用于获取采集画面和映射画面的尺寸，并根据采集画面的尺寸、控制操作的位置信息、映射画面的位置信息和尺寸，得到控制操作的位置对应在显示模块402显示的图像画面中的位置。

假设采集画面的尺寸为宽高w₁,h₁；映射画面的尺寸为宽高w₂，h₂；映射画面的位置用左上角顶点坐标（x,y）表示；假控制操作的位置信息，即对应图1中A点坐标为(m,n)；那么便可以计算得到图1中a点的坐标(m',n')。

$m^{\′}=x+\frac{{\mathrm{mw}}_2}{w_1},$ $n^{\′}=y+\frac{{\mathrm{nh}}_2}{h_1}$

上述位置信息的表示方式也可以采用其他方式，如用距离顶点的角度和长度，或者用网格划分的方式进行位置表示。

执行模块406用于将所述控制操作移植到显示模块402显示的图像画面中与控制操作的位置对应位置，并执行与所述控制操作对应的预设功能。

关于各种操作的映射有很多方式实现，如前列举的触摸屏操作的映射方法，这里不再赘述。

上述图像交互***通过控制装置300获取显示装置400显示的图像画面，在将用户在控制装置300的操作转换为对显示装置400的图像画面进行控制操作。相比传统的方式，不仅操作直观、方便，而且用户体验感更高。

上述控制装置若是通过拍摄的方式获得采集画面，在拍摄显示装置的图像画面时，可能存在拍摄频率和显示频率不一致的情况，如显示装置的显示频率为60帧/s，拍摄频率为24帧/s。（液晶显示屏和等离子显示屏则不会出现这样的问题）

一实施例中，可将显示装置显示的若干帧图像画面重叠/合并并存储，用重叠后的图像画面进行图像识别。如重叠3帧图像画面，由于连续3帧图像画面内容差距不会太大，重叠出的图像画面也是可以用图像识别算法进行识别。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种图像互动方法，其特征在于，包括如下步骤：

通过控制装置获取显示装置显示的图像画面，得到采集画面；

所述控制装置的接收在所述采集画面上的控制操作，并得到所述控制操作在所述采集画面中的位置信息；

所述控制装置将所述采集画面以及所述控制操作的位置信息发送给所述显示装置；

所述显示装置接收所述控制装置发送的所述采集画面以及所述控制操作的位置信息，并将所述采集画面和自身显示的图像画面进行图像识别，得到自身显示的图像画面中和所述采集画面相同的映射画面及其位置信息；

所述显示装置根据所述采集画面以及所述控制操作的位置信息，所述映射画面及其位置信息，得到所述控制操作的位置对应在所述显示装置显示的图像画面中的位置，具体为：显示装置先获取采集画面的尺寸和映射画面的尺寸，再根据采集画面的尺寸、控制操作的位置信息以及映射画面的位置信息和尺寸，得到控制操作的位置对应在显示装置显示的图像画面中的位置；

所述显示装置将所述控制操作移植到其显示的图像画面中与所述控制操作的位置对应位置，并执行与所述控制操作对应的预设功能。

2.根据权利要求1所述的图像互动方法，其特征在于，所述控制装置具有摄像头，其通过所述摄像头获取所述显示装置显示的图像画面，得到所述采集画面。

3.根据权利要求1所述的图像互动方法，其特征在于，所述控制装置具有触摸屏，所述在采集画面上的控制操作是在所述触摸屏上的操作。

4.根据权利要求1所述的图像互动方法，其特征在于，所述显示装置先获取所述采集画面的尺寸和所述映射画面的尺寸，再根据所述采集画面的尺寸、所述控制操作的位置信息以及所述映射画面的位置信息和尺寸，得到控制操作的位置对应在所述显示装置显示的图像画面中的位置。

5.根据权利要求1所述的图像互动方法，其特征在于，所述显示装置是将自身显示的若干帧图像画面重叠并存储，用重叠后的图像画面进行图像识别。

6.一种图像互动***，包括用于控制的控制装置和被控制的显示装置，其特征在于，所述控制装置包括：图像获取模块、显示屏、控制模块、处理模块和发射模块，

所述图像获取模块用于获取所述显示装置显示的图像画面，得到采集画面，并通过所述显示屏显示；

所述控制模块用于响应用户输入，在所述采集画面上进行控制操作；

所述处理模块用于获取所述控制操作在所述采集画面中的位置信息；

所述发射模块用于将所述图像获取模块获取的所述采集画面以及所述控制操作的位置信息发送给所述显示装置；

所述显示装置包括：显示模块、接收模块、识别模块、解析模块和执行模块，

所述显示模块用于显示图像画面；

所述接收模块用于接收所述控制装置发出的所述采集画面以及所述控制操作的位置信息；

所述识别模块用于将接收模块接收的所述采集画面和所述显示模块显示的图像画面进行图像识别，得到所述显示模块显示的图像画面中和所述采集画面相同的映射画面及其位置信息；

所述解析模块用于根据所述采集画面以及所述控制操作的位置信息，所述映射画面及其位置信息，得到所述控制操作的位置对应在所述显示模块显示的图像画面中的位置，具体为：显示装置先获取采集画面的尺寸和映射画面的尺寸，再根据采集画面的尺寸、控制操作的位置信息以及映射画面的位置信息和尺寸，得到控制操作的位置对应在显示装置显示的图像画面中的位置；

所述执行模块用于将所述控制操作移植到所述显示模块显示的图像画面中与所述控制操作的位置对应位置，并执行与所述控制操作对应的预设功能。

7.根据权利要求6所述的图像互动***，其特征在于，所述图像获取模块为摄像头，用于拍摄得到所述采集画面。

8.根据权利要求6所述的图像互动***，其特征在于，所述显示屏和控制模块结合为触摸屏，控制操作是在所述触摸屏上的触控操作。

9.根据权利要求6所述的图像互动***，其特征在于，所述解析模块用于获取所述采集画面和映射画面的尺寸，并根据所述采集画面的尺寸、所述控制操作的位置信息、所述映射画面的位置信息和尺寸，得到所述控制操作的位置对应在所述显示模块显示的图像画面中的位置。

10.根据权利要求6所述的图像互动***，其特征在于，所述识别模块是将所述显示模块显示的若干帧图像画面重叠并存储，用重叠后的图像画面进行图像识别。

11.一种显示装置，其特征在于，包括：显示模块、接收模块、识别模块、解析模块和执行模块，

所述显示模块用于显示图像画面；

所述接收模块用于接收控制装置发出的采集画面以及在所述采集画面上进行控制操作的位置信息；

所述识别模块用于将接收模块接收的所述采集画面和所述显示模块显示的图像画面进行图像识别，得到所述显示模块显示的图像画面中和所述采集画面相同的映射画面及其位置信息；

所述解析模块用于根据所述采集画面以及所述控制操作的位置信息，所述映射画面及其位置信息，得到所述控制操作的位置对应在所述显示模块显示的图像画面中的位置，具体为：显示装置先获取采集画面的尺寸和映射画面的尺寸，再根据采集画面的尺寸、控制操作的位置信息以及映射画面的位置信息和尺寸，得到控制操作的位置对应在显示装置显示的图像画面中的位置；

所述执行模块用于将所述控制操作移植到所述显示模块显示的图像画面中与所述控制操作的位置对应位置，并执行与所述控制操作对应的预设功能。

12.根据权利要求11所述的显示装置，其特征在于，所述解析模块用于获取所述采集画面和映射画面的尺寸，并根据所述采集画面的尺寸、所述控制操作的位置信息、所述映射画面的位置信息和尺寸，得到所述控制操作的位置对应在所述显示模块显示的图像画面中的位置。

13.根据权利要求11所述的显示装置，其特征在于，所述识别模块是将所述显示模块显示的若干帧图像画面重叠并存储，用重叠后的图像画面进行图像识别。