CN104581313B - 观众睡眠时电视节目信息记录*** - Google Patents

Abstract

本发明涉及一种观众睡眠时电视节目信息记录***，所述记录***包括第一摄像头、第二摄像头、节目内容提取设备、观众状态检测设备和主控设备，第一摄像头用于拍摄观众图像，观众状态检测设备用于对观众图像进行图像处理，以获得观众状态，第二摄像头用于拍摄电视图像，节目内容提取设备用于对电视图像进行图像处理，以获得电视节目信息，主控设备与节目内容提取设备、第二摄像头和观众状态检测设备分别连接，基于观众状态确定是否启动第二摄像头和节目内容提取设备，以在观众睡眠时记录电视节目信息。通过本发明，能够在观众进入睡眠状态后，自动记录当前的电视节目信息，以便于观众睡醒后立即进行电视回放。

Description

观众睡眠时电视节目信息记录***

技术领域

本发明涉及图像处理领域，尤其涉及一种观众睡眠时电视节目信息记录***。

背景技术

在观看电视节目的过程中，观众往往会因为疲倦或其他原因不经意地进入睡眠状态，这时电视会继续播放节目，而在观众清醒后，喜爱的电视节目很有可能已经结束，或者电视节目的关键内容以及播放结束，观众因为昏睡而错过的这些内容，再去寻找以恢复播放一般不太容易，观众只能继续收看其他节目，这样，给收看电视节目的观众带来不便。

现有技术中，为解决这一问题，电视供应商主要采取了两种措施：(1)在电视的机顶盒中设置回放功能，让清醒后的观众凭借记忆确定中断收看的节目时间点和节目所属电视台的名称，以在回放***中仔细查找，重新观看；(2)将所有电视节目上传到网络端，让清醒后的观众登陆电视供应商的网络服务器去查找、回放。

但是，这两种措施都存在一定的弊端，都需要清醒后的观众的记忆可靠，而且需要观众进入复杂的回放***或网络播放***中进行人工节目匹配，这就导致了上述两种措施的回放效率低下、实时性不高，而且操作比较复杂。

因此，需要一种新的电视节目回放模式，能够在观众进入睡眠状态后，立即自动记录下电视节目所属电视台名称和当前时刻，以在观众恢复清醒后，通过简单的操作即可将电视节目所属电视台名称和当前时刻提供给电视端以快速进行节目回放。

发明内容

为了解决上述问题，本发明提供了一种观众睡眠时电视节目信息记录***，采用红外线传输信道实现本***与电视端的信号交互，采用图像采集和检测技术有效识别观众状态和电视节目信息，并在判断观众进入睡眠状态时立即将当前电视节目信息进行存储，以便于观众后续一键进行回放。

根据本发明的一方面，提供了一种观众睡眠时电视节目信息记录***，包括第一摄像头、第二摄像头、节目内容提取设备、观众状态检测设备和主控设备，所述第一摄像头用于拍摄观众图像，所述观众状态检测设备与所述第一摄像头连接，用于对所述观众图像进行图像处理，以获得观众状态，所述第二摄像头用于拍摄电视图像，所述节目内容提取设备与所述第二摄像头连接，用于对所述电视图像进行图像处理，以获得电视节目信息，所述主控设备与所述节目内容提取设备、所述第二摄像头和所述观众状态检测设备分别连接，基于所述观众状态确定是否启动所述第二摄像头和所述节目内容提取设备，其中，所述主控设备在所述观众状态为睡眠状态时，启动所述第二摄像头和所述节目内容提取设备以接收并记录所述电视节目信息。

更具体地，在所述观众睡眠时电视节目信息记录***中，还包括：遥控器，用于接收从睡眠状态清醒后的观众所发送的恢复节目收看指令；红外线接收器，与所述主控设备连接，接收从所述遥控器发送的恢复节目收看指令，并将所述恢复节目收看指令转发给所述主控设备；二进制编码器，与所述主控设备和所述移动硬盘分别连接，在接收到所述恢复节目收看指令后，从所述移动硬盘处读取所述电视节目信息，并将所述电视节目信息进行二进制编码；红外线调制器，与所述二进制编码器连接，基于脉冲宽度调制PWM将所述二进制编码器的编码结果调制成脉冲信号；红外线发射器，与所述红外线调制器连接，用于将所述红外线调制器的脉冲信号通过红外线发射信道发射出去；移动硬盘，用于预先存储面部上限灰度阈值和面部下限灰度阈值，还用于预先存储各种观众面部状态图案，所述各种观众面部状态图案包括观众睡眠状态图案、观众清醒状态图案和观众疲倦状态图案，所述面部上限灰度阈值和所述面部下限灰度阈值用于将图像中的观众面部和背景分离；所述节目内容提取设备包括台标识别单元、计时单元和台标存储单元，所述台标存储单元中预先存储了台标对照表，所述台标对照表包括了台标图案与电视台名称的一一对应关系，所述台标识别单元与所述第二摄像头和所述台标存储单元分别连接，用于识别出所述电视图像中的台标图案，基于所述台标对照表和所述识别出的台标图案确定当前电视台名称，将所述当前电视台名称和所述计时单元返回的当前节目时间封装在所述电视节目信息中输出；所述观众状态检测设备与所述第一摄像头和所述移动硬盘分别连接，包括对比度增强单元、小波滤波单元、灰度化处理单元、观众面部图像分割单元和观众状态识别单元，所述对比度增强单元与所述第一摄像头连接，对所述观众图像执行对比度增强处理，以获得增强观众图像，小波滤波单元与所述对比度增强单元连接，基于Harr小波滤波器对所述增强观众图像执行小波滤波，以输出滤波观众图像，所述灰度化处理单元与所述小波滤波单元连接，对所述滤波观众图像执行灰度化处理，以获得灰度化图像，所述观众面部图像分割单元与所述灰度化处理单元和所述移动硬盘分别连接，将所述灰度化图像中灰度值在所述面部上限灰度阈值和所述面部下限灰度阈值之间的像素识别并组成面部子图案，所述观众状态识别单元与所述移动硬盘和所述观众面部图像分割单元分别连接，将所述面部子图像与各种观众面部状态图案逐一匹配，输出匹配到的图案所对应的观众状态；所述主控设备与所述节目内容提取设备、所述观众状态检测设备和所述移动硬盘分别连接，接收所述观众状态检测设备输出的观众状态，当所述观众状态为观众睡眠状态时，启动所述第二摄像头和所述节目内容提取设备以接收所述电视节目信息，并将所述电视节目信息记录到所述移动硬盘中，当所述观众状态为观众清醒状态或观众疲倦状态时，关闭所述第二摄像头和所述节目内容提取设备；其中，所述主控设备在接收到所述恢复节目收看指令后，将所述恢复节目收看指令转发给所述二进制编码器；所述红外线发射器的发射信号在电视端被进行红外线接收、解调和解码处理，以获得所述电视节目信息，电视端根据所述电视节目信息控制电视节目的回放。

更具体地，在所述观众睡眠时电视节目信息记录***中，还包括：显示设备，与所述主控设备连接，用于实时显示所述主控设备接收的观众状态，还用于显示所述主控设备接收的电视节目信息。

更具体地，在所述观众睡眠时电视节目信息记录***中，所述显示设备为液晶显示屏。

更具体地，在所述观众睡眠时电视节目信息记录***中，所述对比度增强单元、所述小波滤波单元、所述灰度化处理单元、所述观众面部图像分割单元和所述观众状态识别单元分别采用不同的FPGA芯片来实现。

更具体地，在所述观众睡眠时电视节目信息记录***中，所述遥控器包括红外线发射单元，用于发送所述恢复节目收看指令。

附图说明

以下将结合附图对本发明的实施方案进行描述，其中：

图1为根据本发明实施方案示出的观众睡眠时电视节目信息记录***的结构方框图。

图2为根据本发明实施方案示出的观众睡眠时电视节目信息记录***的节目内容提取设备的结构方框图。

具体实施方式

下面将参照附图对本发明的观众睡眠时电视节目信息记录***的实施方案进行详细说明。

电视节目指电视台通过载有声音、图像的信号传播作品的节目。电视节目制作主要分成三个过程：创意与选题、拍摄、后期制作。编辑属电视节目后期制作***，主要有早期的线性编辑与目前较为流行的非线性编辑***二个发展阶段。

从内容上看，电视节目类型大致地可分为新闻类节目(正规的)，财经类节目(相关咨讯、评述)，体育类节目(赛事转播及体育消息报道)，文化娱乐类节目(包括影视，综艺，娱乐咨讯等)，生活类节目(包括生活见闻，百姓平日关心的一些内容)，谈话类节目，军事类节目，教育类节目，科技类节目，少儿节目，老年节目，广告节目等。由于电视节目的发展，许多节目的类型复杂多样，包含了多种类型。

由于当前电视节目内容的多样性，以及电视画面分辨率的日益细化，人们愿意花在电视上的时间也越来越多，但是，经常发生的是，人们在观看电视过久后因为发困而进入睡眠状态，而错过的电视画面却是观众期望已久的节目内容，当观众醒来后想回到节目中断点恢复观看却不太方便，现有技术中的机顶盒回放模式和网络重播模式都具有实时性差，操作复杂的弊端。

本发明搭建了一种观众睡眠时电视节目信息记录***，在检测到观众睡着后，立即记录当前节目相关信息，以在观众清醒后只需一键即可完成对应节目的回放操作，该记录***操作简便，回放节目时间点定位更为精确。

图1为根据本发明实施方案示出的观众睡眠时电视节目信息记录***的结构方框图，所述记录***包括：第一摄像头1、第二摄像头3、节目内容提取设备4、观众状态检测设备2和主控设备5，所述第一摄像头1用于拍摄观众图像，所述观众状态检测设备2与所述第一摄像头1连接，用于对所述观众图像进行图像处理，以获得观众状态，所述第二摄像头3用于拍摄电视图像，所述节目内容提取设备4与所述第二摄像头3连接，用于对所述电视图像进行图像处理，以获得电视节目信息。

其中，所述主控设备5与所述节目内容提取设备4、所述第二摄像头3和所述观众状态检测设备2分别连接，基于所述观众状态确定是否启动所述第二摄像头3和所述节目内容提取设备4，其中，所述主控设备5在所述观众状态为睡眠状态时，启动所述第二摄像头3和所述节目内容提取设备4以接收并记录所述电视节目信息。

接着，继续对本发明的观众睡眠时电视节目信息记录***的具体结构进行进一步的说明。

所述记录***还包括：遥控器，用于接收从睡眠状态清醒后的观众所发送的恢复节目收看指令。

所述记录***还包括：红外线接收器，与所述主控设备5连接，接收从所述遥控器发送的恢复节目收看指令，并将所述恢复节目收看指令转发给所述主控设备5。

所述记录***还包括：二进制编码器，与所述主控设备5和所述移动硬盘分别连接，在接收到所述恢复节目收看指令后，从所述移动硬盘处读取所述电视节目信息，并将所述电视节目信息进行二进制编码。

所述记录***还包括：红外线调制器，与所述二进制编码器连接，基于脉冲宽度调制PWM将所述二进制编码器的编码结果调制成脉冲信号。

所述记录***还包括：红外线发射器，与所述红外线调制器连接，用于将所述红外线调制器的脉冲信号通过红外线发射信道发射出去。

所述记录***还包括：移动硬盘，用于预先存储面部上限灰度阈值和面部下限灰度阈值，还用于预先存储各种观众面部状态图案，所述各种观众面部状态图案包括观众睡眠状态图案、观众清醒状态图案和观众疲倦状态图案，所述面部上限灰度阈值和所述面部下限灰度阈值用于将图像中的观众面部和背景分离。

如图2所示，所述节目内容提取设备4包括台标识别单元42、计时单元41、台标存储单元43和输出单元44，所述台标存储单元43中预先存储了台标对照表，所述台标对照表包括了台标图案与电视台名称的一一对应关系，所述台标识别单元42与所述第二摄像头3和所述台标存储单元43分别连接，用于识别出所述电视图像中的台标图案，基于所述台标对照表和所述识别出的台标图案确定当前电视台名称，通过输出单元44将所述当前电视台名称和所述计时单元41返回的当前节目时间封装在所述电视节目信息中输出。

所述观众状态检测设备2与所述第一摄像头1和所述移动硬盘分别连接，所述观众状态检测设备2包括对比度增强单元、小波滤波单元、灰度化处理单元、观众面部图像分割单元和观众状态识别单元，所述对比度增强单元与所述第一摄像头1连接，对所述观众图像执行对比度增强处理，以获得增强观众图像，小波滤波单元与所述对比度增强单元连接，基于Harr小波滤波器对所述增强观众图像执行小波滤波，以输出滤波观众图像，所述灰度化处理单元与所述小波滤波单元连接，对所述滤波观众图像执行灰度化处理，以获得灰度化图像。

所述观众面部图像分割单元与所述灰度化处理单元和所述移动硬盘分别连接，将所述灰度化图像中灰度值在所述面部上限灰度阈值和所述面部下限灰度阈值之间的像素识别并组成面部子图案，所述观众状态识别单元与所述移动硬盘和所述观众面部图像分割单元分别连接，将所述面部子图像与各种观众面部状态图案逐一匹配，输出匹配到的图案所对应的观众状态。

所述主控设备5与所述节目内容提取设备4、所述观众状态检测设备和所述移动硬盘分别连接，接收所述观众状态检测设备2输出的观众状态，当所述观众状态为观众睡眠状态时，启动所述第二摄像头3和所述节目内容提取设备4以接收所述电视节目信息，并将所述电视节目信息记录到所述移动硬盘中，当所述观众状态为观众清醒状态或观众疲倦状态时，关闭所述第二摄像头3和所述节目内容提取设备4。

其中，所述主控设备5在接收到所述恢复节目收看指令后，将所述恢复节目收看指令转发给所述二进制编码器；所述红外线发射器的发射信号在电视端被进行红外线接收、解调和解码处理，以获得所述电视节目信息，电视端根据所述电视节目信息控制电视节目的回放。

其中，所述记录***还可以包括：显示设备，与所述主控设备5连接，用于实时显示所述主控设备5接收的观众状态，还用于显示所述主控设备5接收的电视节目信息，所述显示设备可选择为液晶显示屏，可选地，所述对比度增强单元、所述小波滤波单元、所述灰度化处理单元、所述观众面部图像分割单元和所述观众状态识别单元分别采用不同的FPGA芯片来实现，以及可选的，所述遥控器可以包括红外线发射单元，用于发送所述恢复节目收看指令。

另外，传统的信号理论，是建立在Fourier分析基础上的，而Fourier变换作为一种全局性的变化，其有一定的局限性，如不具备局部化分析能力、不能分析非平稳信号等。在实际应用中人们开始对Fourier变换进行各种改进，以改善这种局限性，如STFT(短时傅立叶变换)。由于STFT采用的滑动窗函数一经选定就固定不变，故决定了其时频分辨率固定不变，不具备自适应能力，而小波分析很好的解决了这个问题。

小波分析是一种新兴的数学分支，他是泛函数、Fourier分析、调和分析、数值分析的最完美的结晶；在应用领域，特别是在信号处理、图像处理、语音处理以及众多非线性科学领域，他被认为是继Fourier分析之后的又一有效的时频分析方法。小波变换与Fourier变换相比，是一个时间和频域的局域变换因而能有效地从信号中提取信息，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析(Multiscale Analysis)，解决了Fourier变换不能解决的许多困难问题。

小波变换，是由法国从事石油信号处理的工程师J.Morlet在1974年首先提出的，通过物理的直观和信号处理的实际需要经验的建立了反演公式，当时未能得到数学家的认可。正如1807年法国的热学工程师J.B.J.Fourier提出任一函数都能展开成三角函数的无穷级数的创新概念未能得到认可一样。早在七十年代，A.Calderon表示定理的发现、Hardy空间的原子分解和无条件基的深入研究为小波变换的诞生做了理论上的准备，而且J.O.Stromberg还构造了历史上非常类似于现在的小波基；1986年著名数学家Y.Meyer偶然构造出一个真正的小波基，并与S.Mallat合作建立了构造小波基的统一方法：多尺度分析之后，小波分析才开始蓬勃发展起来，其中比利时女数学家I.Daubechies撰写的《小波十讲(Ten Lectureson Wavelets)》对小波的普及起了重要的推动作用。

与Fourier变换、视窗Fourier变换(Gabor变换)相比，具有良好的时频局部化特性，因而能有效的从信号中提取资讯，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析(Multiscale Analysis)，解决了Fourier变换不能解决的许多困难问题，因而小波变化被誉为“数学显微镜”，他是调和分析发展史上里程碑式的进展。小波变换联系了应用数学、物理学、计算机科学、信号与信息处理、图像处理、地震勘探等多个学科。

小波分析属于信号时频分析的一种，在小波分析出现之前，傅立叶变换是信号处理领域应用最广泛、效果最好的一种分析手段。傅立叶变换是时域到频域互相转化的工具，从物理意义上讲，傅立叶变换的实质是把这个波形分解成不同频率的正弦波的叠加和。正是傅立叶变换的这种重要的物理意义，决定了傅立叶变换在信号分析和信号处理中的独特地位。傅立叶变换用在两个方向上都无限伸展的正弦曲线波作为正交基函数，把周期函数展成傅立叶级数，把非周期函数展成傅立叶积分，利用傅立叶变换对函数作频谱分析，反映了整个信号的时间频谱特性，较好地揭示了平稳信号的特征。

小波变换是一种新的变换分析方法，他继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口，是进行信号时频分析和处理的理想工具。他的主要特点是通过变换能够充分突出问题某些方面的特征，因此，小波变换在许多领域都得到了成功的应用，特别是小波变换的离散数字算法已被广泛用于许多问题的变换研究中。从此，小波变换越来越引起人们的重视，其应用领域来越来越广泛。

采用本发明的观众睡眠时电视节目信息记录***，针对现有电视回放***操作复杂、实时性差的技术问题，通过红外线传输通道作为信息交互通道，通过图像识别技术检测观众状态和节目信息，形成了一个可一键操控即实现节目实时回放的节目播放控制模式，为观众观看到因沉睡而遗漏过去的电视节目提供了方便。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (1)

1.一种观众睡眠时电视节目信息记录***，其特征在于，所述记录***包括第一摄像头、第二摄像头、节目内容提取设备、观众状态检测设备和主控设备，所述第一摄像头用于拍摄观众图像，所述观众状态检测设备与所述第一摄像头连接，用于对所述观众图像进行图像处理，以获得观众状态，所述第二摄像头用于拍摄电视图像，所述节目内容提取设备与所述第二摄像头连接，用于对所述电视图像进行图像处理，以获得电视节目信息，所述主控设备与所述节目内容提取设备、所述第二摄像头和所述观众状态检测设备分别连接，基于所述观众状态确定是否启动所述第二摄像头和所述节目内容提取设备，其中，所述主控设备在所述观众状态为睡眠状态时，启动所述第二摄像头和所述节目内容提取设备以接收并记录所述电视节目信息；

所述记录***还包括：

遥控器，用于接收从睡眠状态清醒后的观众所发送的恢复节目收看指令；

红外线接收器，与所述主控设备连接，接收从所述遥控器发送的恢复节目收看指令，并将所述恢复节目收看指令转发给所述主控设备；

二进制编码器，与所述主控设备和所述移动硬盘分别连接，在接收到所述恢复节目收看指令后，从所述移动硬盘处读取所述电视节目信息，并将所述电视节目信息进行二进制编码；

红外线调制器，与所述二进制编码器连接，基于脉冲宽度调制PWM将所述二进制编码器的编码结果调制成脉冲信号；

红外线发射器，与所述红外线调制器连接，用于将所述红外线调制器的脉冲信号通过红外线发射信道发射出去；

移动硬盘，用于预先存储面部上限灰度阈值和面部下限灰度阈值，还用于预先存储各种观众面部状态图案，所述各种观众面部状态图案包括观众睡眠状态图案、观众清醒状态图案和观众疲倦状态图案，所述面部上限灰度阈值和所述面部下限灰度阈值用于将图像中的观众面部和背景分离；

所述节目内容提取设备包括台标识别单元、计时单元和台标存储单元，所述台标存储单元中预先存储了台标对照表，所述台标对照表包括了台标图案与电视台名称的一一对应关系，所述台标识别单元与所述第二摄像头和所述台标存储单元分别连接，用于识别出所述电视图像中的台标图案，基于所述台标对照表和所述识别出的台标图案确定当前电视台名称，将所述当前电视台名称和所述计时单元返回的当前节目时间封装在所述电视节目信息中输出；

所述观众状态检测设备与所述第一摄像头和所述移动硬盘分别连接，包括对比度增强单元、小波滤波单元、灰度化处理单元、观众面部图像分割单元和观众状态识别单元，所述对比度增强单元与所述第一摄像头连接，对所述观众图像执行对比度增强处理，以获得增强观众图像，小波滤波单元与所述对比度增强单元连接，基于Harr小波滤波器对所述增强观众图像执行小波滤波，以输出滤波观众图像，所述灰度化处理单元与所述小波滤波单元连接，对所述滤波观众图像执行灰度化处理，以获得灰度化图像，所述观众面部图像分割单元与所述灰度化处理单元和所述移动硬盘分别连接，将所述灰度化图像中灰度值在所述面部上限灰度阈值和所述面部下限灰度阈值之间的像素识别并组成面部子图案，所述观众状态识别单元与所述移动硬盘和所述观众面部图像分割单元分别连接，将所述面部子图像与各种观众面部状态图案逐一匹配，输出匹配到的图案所对应的观众状态；

所述主控设备与所述节目内容提取设备、所述观众状态检测设备和所述移动硬盘分别连接，接收所述观众状态检测设备输出的观众状态，当所述观众状态为观众睡眠状态时，启动所述第二摄像头和所述节目内容提取设备以接收所述电视节目信息，并将所述电视节目信息记录到所述移动硬盘中，当所述观众状态为观众清醒状态或观众疲倦状态时，关闭所述第二摄像头和所述节目内容提取设备；

其中，所述主控设备在接收到所述恢复节目收看指令后，将所述恢复节目收看指令转发给所述二进制编码器；

其中，所述红外线发射器的发射信号在电视端被进行红外线接收、解调和解码处理，以获得所述电视节目信息，电视端根据所述电视节目信息控制电视节目的回放；

显示设备，与所述主控设备连接，用于实时显示所述主控设备接收的观众状态，还用于显示所述主控设备接收的电视节目信息。