CN102508544A

CN102508544A - 一种基于投影互动的智能电视交互方法

Info

Publication number: CN102508544A
Application number: CN2011103253978A
Authority: CN
Inventors: 刘威; 肖建; 李华宇; 刘�东
Original assignee: Sichuan Changhong Electric Co Ltd
Current assignee: Sichuan Changhong Electric Co Ltd
Priority date: 2011-10-24
Filing date: 2011-10-24
Publication date: 2012-06-20

Abstract

本发明公开了一种基于投影互动的智能电视交互方法，涉及智能电视交互技术，本发明的目的在于将微型投影技术整合到智能电视上，用户可以使用各种肢体动作与智能电视进行交互，智能电视用户能够获得很好的交互体验。本发明技术要点：智能电视机内部微投影仪将交互背景投影在一定区域上；智能电视机摄像头采集所述投影区域中的交互背景图像并预处理；提取交互背景图像中的特征目标；标定特征目标以获取特征目标在交互背景图像中的坐标位置；智能电视机摄像头采集用户交互场景，根据特征目标被遮蔽的区域及顺序识别出用户在交互场景内的位置和运动轨迹，最后智能电视结合预先交互场景的定义，解释用户的交互指令，对用户的交互指令做出反馈。

Description

一种基于投影互动的智能电视交互方法

技术领域

本发明涉及智能电视交互技术，尤其是一种基于投影互动的智能电视交互方法。

背景技术

随着智能电视的迅猛发展，智能电视的用户数量越来越多，与传统的数字电视不同，智能电视增加了上网浏览、收发邮件、电视购物、远程教学、远程医疗、股票交易、信息咨询等各种新功能，这些新功能下要求用户的交互越来越多，传统数字电视依赖红外遥控器的交互，已经不能给用户创造良好的交互体验。为了改善智能电视用户的交互体验，智能电视开始创新应用手机交互、手势识别等新的交互技术，但这些新的交互技术都存在某些不足，比如手机交互仍然依靠用户手握交互介质交互，手势识别虽然用户不再手握交互介质，但是交互仅限于手势，并且手环境光照的影响，用户交互体验不好。

发明内容

投影交互属于近几年兴起的新的交互技术，受传统投影技术的限制，目前局限于展馆、展厅、商场、卖场等区域用于形象展示。随着微型投影仪的日趋发展成熟，投影技术开始出现整合到消费类电子产品上的趋势。

本发明的目的在于将微型投影技术整合到智能电视上，用投影技术为智能电视用户创造一个增强现实的交互场景，用户可以沉浸在交互场景中交互，智能电视用户能够获得很好的交互体验。

本发明采用的技术方案是这样的：包括：

步骤101：智能电视机内部微投影仪将交互背景投影在一定空间区域上，交互背景中设置有特征目标，且特征目标由设定灰度的色块构成，且各个色块的灰度具有明显的区别；

步骤102：智能电视机摄像头采集所述投影区域中的交互背景，并对采集的交互背景图像进行滤波，以除去采集的交互背景图像中的噪声；

步骤103：提取交互背景图像中的特征目标；

步骤104：标定特征目标以获取特征目标在交互背景图像中的坐标位置；

步骤105：智能电视机摄像头采集用户交互场景，对采集的用户交互场景图像进行滤波，以除去采集的用户交互场景图像中的噪声；

步骤106：提取用户交互场景图像中的特征目标；

步骤107：标定用户交互场景图像中特征目标以获取特征目标在用户交互场景图像中的坐标位置；

步骤108：比较用户交互场景图像中特征目标的坐标位置与所述交互背景图像中特征目标的坐标位置，识别出用户交互场景图像中特征目标被用户遮挡的位置和大小，进而确定用户在用户交互场景中的位置；

多次重复步骤105~步骤108，获取用户交互场景图像中特征目标被用户遮挡的时间顺序，进而确定用户在用户交互场景中的运动轨迹；最后，根据用户在用户交互场景内的位置和其运动轨迹，结合预先对用户交互肢体动作的定义，解释用户的交互指令，对用户的交互指令做出反馈。

优选地，还包括将所述交互背景中特征目标隐藏的加非显现水印的步骤以及在交互背景与用户交互场景图像中提取特征目标之前的解水印的步骤。

优选地，所述步骤102或步骤105中的滤波方法为中值滤波方法。

优选地，所述提取交互背景或用户交互场景图像中特征目标的方法为：首先判断图像中各个像素的灰度值；再把灰度值为所述设定灰度的像素的灰度改为黑色，其余像素的灰度改为白色。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明将微型投影技术整合到智能电视上，用投影技术为智能电视用户创造一个增强现实的交互背景，并用合适的图像处理和模式识别算法识别用户的交互过程，并对用户的交互指令做出正确的反馈，使交互方式不再局限于手势，用户可以在微投影仪创造的交互背景中的运用各种肢体运动与智能电视机进行交互，智能电视用户能够获得更好的交互体验。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是交互背景中特征目标未被提取时的图像。

图2是交互背景中特征目标被提取后的图像。

图3是交互背景中特征目标标定后的结果。

图4是交互背景中特征目标在坐标系中标识的结果。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明中基于投影互动的智能电视交互方法包括：微投影技术创造一个增强现实的交互背景的步骤；获取交互背景的图像并预处理的步骤；提取交互背景内特征目标的步骤；标定交互背景内特征目标的步骤；获取用户交互场景图像并预处理的步骤；提取用户交互场景内特征目标的步骤；标定用户交互场景内特征目标的步骤；确定用户在用户交互场景中的位置和运动轨迹的步骤；响应用户交互指令的步骤。

1、微投影技术创造一个增强现实的交互背景的步骤具体是：

嵌在智能电视内部的微型投影仪在一定空间区域投影出用户需要交互的交互背景。为了准确检测用户的交互位置和轨迹，提高交互的准确性，交互场景的关键交互位置设置有特征目标，特征目标由事先设定的色块构成，这些色块在图像的灰度直方图上灰度分布要有明显的区分；为了获得更好的交互体验，可以利用加非显现水印算法将特征目标以非显现水印的形式隐藏在交互背景图像中，这样用户在体验时就不会看到交互背景中毫无美感的特征目标。

2、获取交互背景的图像并预处理的步骤具体是：

嵌在智能电视机内部的CCD摄像头采集交互背景投影区域内的图像。由于采集的原始图像或多或少存在一定程度的噪音污染，使得图像失真，淹没有用的图像特征，必须对采集的图像进行预处理。考虑到智能电视采集的交互背景投影区域往往带有脉冲和点状噪声等噪音，本方法中采用非线性中值滤波技术抑制采集图像的脉冲和点状噪声，这一处理技术对图像边缘有较好保持作用，对边缘有增强作用。

中值滤波的数学表达式如下式1：

（1）

其中Sxy 表示中心在（x，y），尺寸为m×n矩形子图像窗口的坐标组，g（s,t）为图像??(x,y)在Sxy区域中的图像数据。

3、提取交互背景内特征目标的步骤具体是：

若交互背景中的特征目标用加加非显现水印算法进行隐藏时，首先需要采用加加非显现水印算法逆运算，提取交互场景内的特征目标图像。对于交互场景的特征目标，其各个色块的灰度值是预先知道，选择合适分割阈值，直接将特征目标和背景分开，数学表达式如下式2：

Figure 2011103253978100002DEST_PATH_IMAGE004

（2）

其中，??(x,y)表示原图像（x,y）点的灰度值，[T1,T2]表示特征目标灰度值区间，b(x,y)表示结果图像，0表示特征目标（黑色像素表示），1表示背景（白色像素表示）。结果如图1、图2中，圆心特征目标从背景提取出来的效果。

4、标定交互背景内特征目标的步骤具体是：

每个特征目标是由多个像素组成的连通区域构成，需要对这些区域的特征参数进行测量，就是标定交互场景区域内的各个特征目标的坐标位置。标定借助于队列，遍历整张交互背景图像，对特征目标分配相应标号。本发明采用现有技术中已有的基于4邻域区域生长连通区域标定方法进行特定目标的标定，可以有效节省嵌入式处理器内存等资源。图3、图4显示的是将圆心特征目标标定出来，并在座标图上标识出来的结果。

5、获取用户交互场景图像并预处理的步骤具体是：

嵌在智能电视机内部的CCD摄像头采集用户交互场景图像，并对图像进行滤波以抑制采集图像的脉冲和点状噪声，具体可以采用中值滤波的方法。

6、提取用户交互场景内特征目标的方法与前面介绍的提取交互背景内特征目标的方法相同，将落在特征目标灰度值区间中的像素灰度值设为0，其余像素的灰度值设为1。

7、标定用户交互场景内特征目标的步骤与前面介绍的标定交互背景内特征目标的方法相同，在此不再赘述。

8、确定用户在用户交互场景中的位置和运动轨迹的步骤具体是：

比较用户交互场景图像中特征目标的坐标位置与所述场景交互背景图像中特征目标的坐标位置，识别出用户交互场景图像中特征目标被用户遮挡的位置和大小，进而确定用户在用户交互场景中的位置。

多次重复上述步骤5~步骤8，获取用户交互场景图像中特征目标被用户遮挡的时间顺序，进而确定用户在用户交互场景中的运动轨迹。

最后，根据用户在用户交互场景内的位置和其动轨迹，结合预先对用户交互肢体动作的定义，解释用户的交互指令，对用户的交互指令做出反馈。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims

1.一种基于投影互动的智能电视交互方法，其特征在于，包括：

步骤103：提取交互背景图像中的特征目标；

步骤106：提取用户交互场景图像中的特征目标；

2.根据权利要求1所述的一种基于投影互动的智能电视交互方法，其特征在于，还包括将所述交互背景中特征目标隐藏的加非显现水印的步骤以及在交互背景与用户交互场景图像中提取特征目标之前的解水印的步骤。

3.根据权利要求2所述的一种基于投影互动的智能电视交互方法，其特征在于，所述步骤102或步骤105中的滤波方法为中值滤波方法。

4.根据权利要气2或3所述的一种基于投影互动的智能电视交互方法，其特征在于，所述提取交互背景或用户交互场景图像中特征目标的方法为：首先判断图像中各个像素的灰度值；再把灰度值为所述设定灰度的像素的灰度改为黑色，其余像素的灰度改为白色。