CN1551624A - 广播节目内容菜单建立装置和方法 - Google Patents

Abstract

确定所存储的视频信号的广播节目是否为预定类别的广播节目。从所存储的视频信号检测在所述预定类别的广播节目的视频信号中的每个帧的预定特征图像部分。从所检测的预定特征图像部分中提取满足预定显现条件的帧的特征图像部分的视频数据。每次提取视频数据时，建立和输出视频信号，用于将包括由视频数据表示的特征图像部分的图像表示为菜单。

Description

广播节目内容菜单建立装置和方法

技术领域

本发明涉及一种广播节目内容菜单建立装置，它建立菜单，用于指示诸如新闻节目之类的广播节目的内容。

背景技术

在诸如硬盘记录器之类的视频记录装置中，记录了例如24小时的广播节目。以后，用户可以从所记录的节目中选择任意的节目，并且观看它。

如果这样的视频记录装置具有显示指示关于诸如新闻节目之类的节目——它在每天的广播内容上改变并且包括多个项目——的广播内容的菜单的功能，则变得用户有可能仅仅选择和观看在所述节目中的感兴趣项目。因此可以大幅度地改善在使用视频记录装置中的便利性。

但是，迄今为止认为不可避免地需要人的行为来建立和显示关于诸如新闻节目的广播节目的内容的菜单，并且自动菜单建立是不可能的。

发明内容

关于本发明要解决的问题，可以将上述问题作为一个示例。

本发明的目的是提供一种广播节目内容菜单建立装置和方法，用于自动建立表示广播节目的内容的菜单。

本发明的上述目的可以通过一种广播节目内容菜单建立装置实现，它建立关于广播节目的内容的菜单，所述装置包括：存储器件，用于存储广播节目的视频信号；类别判定器件，它确定具有在存储器件中存储的视频信号的广播节目是否为预定类别的广播节目；特征图像检测器件，它从存储在存储器件中的视频信号检测在所述预定类别的广播节目的视频信号中的每个帧的预定特征图像部分；视频提取器件，它从由特征图像检测器件检测的预定特征图像部分提取仅仅满足预定显现条件的帧的特征图像部分的视频数据；菜单建立器件，每次由视频提取器件提取视频数据时，它建立和输出视频信号，用于将包括由视频数据表示的特征图像部分的图像表示为菜单。

本发明的上述目的可以通过一种广播节目内容菜单建立方法实现，它用于建立关于广播节目的内容的菜单，包括下述处理：存储广播节目的视频信号；确定所存储的视频信号的广播节目是否为预定类别的广播节目；从所存储的视频信号检测在所述预定类别的广播节目的视频信号中的每个帧的预定特征图像部分；从所检测的预定特征图像部分中提取满足预定显现条件的帧的特征图像部分的视频数据；每次提取视频数据时，建立和输出视频信号，用于将包括由视频数据表示的特征图像部分的图像表示为菜单。

附图说明

图1是示出按照本发明的新闻节目内容菜单建立装置的方框图；

图2是示出边缘检测操作的流程图；

图3是示出字幕(telop)检测操作的流程图；

图4是示出字幕信息的数据表格的图；

图5是示出场景广播检测操作的流程图；

图6是示出一个开始字幕(beginning teop)确定操作的流程图；

图7是示出包括章节菜单的监控器视图的图；

图8是示出作为本发明的另一个实施例的边缘检测操作的流程图；

图9是示出一种用于设置将亮度直方图划分为亮度区域的门限的方法的图：图9A是示出通过平分整个亮度直方图而获得门限M的图，图9B是示出获得门限L和H的图，图9C是示出将亮度直方图划分为三个亮度区域的图；

图10是示出作为本发明的另一个实施例的开始字幕确定操作的流程图；

图11是示出作为本发明的另一个实施例的开始字幕确定操作的流程图；

图12是示出作为本发明的另一个实施例的开始字幕确定操作的流程图。

具体实施方式

以下，参照附图来详细说明本发明的实施例。

图1示出了按照本发明的新闻节目内容菜单建立装置。这个新闻节目内容菜单建立装置包括：视频存储部分1、类别判定部分2、字幕检测部分3、场景改变检测部分4、开始字幕判定部分5、章节菜单建立部分6、用户接口部分7和显示部分8。

视频存储部分1经由天线10来接收任意的电视广播电波，解调所接收的信号，获得至少一个视频信号(在一些情况下是音频信号)，并且内部地存储视频信号。而且，视频存储部分1提取在电视广播电波或不同的广播电波中包括的诸如EPG(电子节目指南)之类的节目信息，并且将所提取的节目信息存储为数据。视频存储部分1包括例如硬盘驱动器。通过使用上述的节目信息，类别判定部分2判断由存储在视频存储部分1中的视频信号表示的节目的类别。

通过使用存储在视频存储部分1中的视频信号的亮度信号，字幕(telop)检测部分3检测字幕信息，诸如由视频信号表示的节目中出现的字幕的位置、其字符大小和包括字幕的帧。可以从类别判定部分2向字幕检测部分3提供被类别判定部分2判断为新闻节目的视频信号。或者，字幕检测部分3可以从视频存储部分1接收被类别判定部分2判断为新闻节目的视频信号。

通过使用在视频存储部分1中存储的视频信号的亮度信号，场景改变检测部分4检测一个时间点(在场景之间的间隙)来作为场景改变信息，在此时间点，由视频信号表示的节目中的场景改变。

开始字幕判定部分5按照由字幕检测部分3检测的字幕信息和由场景改变检测部分4检测的场景改变信息来判断新闻节目的开始字幕。“开始字幕”表示一个字幕，它指示在新闻节目中的每个新闻项目的第一场景中出现的新闻标题开始字幕判定部分5也从包括在字幕信息中的字幕的帧提取由开始字幕判定部分5判断的开始字幕来作为图像数据。

通过使用由开始字幕判定部分5提取的开始字幕的图像数据，章节菜单建立部分6建立新闻节目的章节菜单。章节菜单建立部分6将包括章节菜单的视频信号与对应于在视频存储部分1中存储的字幕的视频信号相混合，并且向显示部分8输出产生的视频信号。

用户接口部分7是这样的操作部分：用于选择在显示部分8上显示的章节菜单中的项目(缩小的字幕)。用户接口部分7可以被用户操作。

如果由具有这样的配置的新闻节目内容菜单建立装置中的类别判定部分2检测到在视频存储部分1中存储的视频信号中的节目类别是新闻，则向字幕检测部分3提供检测信号。

响应于所述检测信号，字幕检测部分3检测在视频存储部分1中存储的视频信号中(即在新闻节目的视频信号中)字幕信息。例如，通过检测在视频信号中的帧内边缘或帧间边缘，字幕检测部分检测字幕。帧内边缘是在帧中的相邻像素之间的亮度差高的部分。帧间边缘是当在相邻帧之间比较内边时、在同一像素部分中存在的边的部分。在此，边是形成在屏幕上的视频片断的边缘的部分。

在边缘检测中，字幕检测部分3首先从存储在视频存储部分1中的视频信号提取一个新闻节目的开始帧，如图2所示(步骤S1)。在所提取的最新帧中检测帧内边(步骤S2)。所述最新帧和紧前面的帧的帧间边缘被检测(步骤S3)。如果所述最新帧是开始帧，则省略步骤S3。在执行步骤S3之后，确定是否已经从视频存储部分1提取了新闻节目的所有帧(步骤S4)。如果还没有提取所有帧，则从视频存储部分1提取下一个帧(步骤S5)，并且字幕检测部分3返回步骤S2。因此，进行了帧内边和帧间边的检测。

如果已经提取了所有的帧，则进行字幕检测操作以从所有边检测内容获得字幕信息。如图3所示，从存储在视频存储部分1中的视频信号提取新闻节目的开始帧(步骤S11)。在步骤S的开始帧是在具有被检测的边的帧中的时间上最旧的帧。开始帧的帧编号被保存(步骤S12)。确定从当前帧是否检测到由边围绕的区域(步骤S13)。如果检测到由边围绕的区域(即边围绕区域)，则检测这样一个帧：它在当前帧后面，并且与在当前帧中的边围绕区域相同的区域中的边消失(步骤S14)。确定范围从边围绕区域出现帧到边围绕区域消失帧的显示时间是否长于预定的时间，然后将所述边围绕区域作为字幕区域，并且保存其ID(号)、其出现帧、其消失帧、字幕位置和在其帧中的其字符尺寸(步骤S16)。在步骤S16，扫描字幕区域内部以检测字符大小。对于字符大小的检测，可以使用公知的字符串信息提取方法。例如参见日本专利申请公布的出版物第2001-76094号。

如图4所示，在步骤S16保存的、每个字幕的字幕信息被写入内部存储器(未示出)中来作为包括ID、出现帧、消失帧、字幕位置和字幕的字符大小的数据表。在此，每个字幕采取矩形的形状，这是通常的形状。在字幕位置中的X1和Y1表示字幕的左上角的坐标，X2和Y2表示字幕的右下角的坐标。顺便提及，因为在一些情况下字幕不是矩形的，因此字幕信息在那种情况下需要包括其形状。

在执行步骤S16后，确定是否已经从视频存储部分1取出了已经检测了边的所有帧(步骤S17)。如果还没有取出所有的帧，则取出下一个已经检测了边的帧(步骤S18)，并且处理返回步骤S12以重复上述的字幕区域确定。

为了响应于上述的检测信号而检测由视频信号表示的新闻节目的场景改变的时间点，场景改变检测部分4进行图5所示的操作。首先，场景改变检测部分4从存储在视频存储部分1中的视频信号取出新闻节目的开始帧(步骤S21)。取出在被取出的当前帧的下一个帧(步骤S22)。计算在当前帧的所有像素的亮度值的总和值和在下一个帧中的所有像素的亮度值的总和之间的差、即亮度差(步骤S23)。确定是否所述亮度差大于预定值(步骤S24)。如果所述亮度差大于预定值，则当前帧被保存为在其中场景改变的场景改变帧(步骤S25)。

在执行步骤S25后，确定是否从视频存储部分1中取出了所有帧(步骤S26)。如果还没有取出所有帧，则将下一个帧设置为当前帧(步骤S27)。其后，处理返回步骤S22，在其中从视频存储部分1取出下一个帧，并且重复上述的场景改变检测操作。

如果由此检测到字幕信息和场景改变信息，则开始字幕判定部分5根据所述信息来确定下一个节目的开始字幕。对于对开始字幕的确定，确定下面四个条件。

(a)字符大小较大，并且对于各个新闻项目几乎不变。

(b)在一个新闻节目中多次出现开始字幕。

(c)每次几乎在同一位置布置开始字幕。

(d)在开始字幕的出现和消失之间，没有场景改变。

开始字幕判定部分5进行下列字幕确定操作，以便提取满足所有条件(a)-(d)的字幕。

在所述开始字幕的确定操作中，首先，将字符大小X设置为等于最大值MAX(步骤S31)，如图6所示，并且从由字幕检测部分3检测的字幕信息提取具有字符大小X的所有字幕(步骤S32)。确定具有字符大小X的字幕的数量是否大于第一预定数量TH1(步骤S33)。如果具有字符大小X的字幕的数量大于第一预定数量TH1，则满足上述的条件(a)和(b)。在这种情况下，从具有字符大小X的字幕中提取具有相同字幕位置和位于字幕的数量最大的位置的所有字幕(步骤S34)。确定被提取的字幕的数量是否大于第二预定数量TH2(步骤S35)。

如果被提取的字幕的数量大于第二预定数量TH2，则意味着满足条件(c)，并且获取在那些字幕中包括的字幕的出现帧和消失帧。可以从数据表读出并且可以由此获得字幕的出现帧和消失帧。在执行步骤S36后，确定是否在字幕的出现帧和消失帧之间存在场景改变(步骤S37)。如果在字幕的出现帧和消失帧之间出现场景改变，则确定对于在步骤S34提取的所有字幕已经结束了关于场景改变的存在的确定(步骤S38)。当未完成确定时，处理返回步骤S36，其中获取剩余的字幕之一的出现帧和消失帧。

如果在字幕的出现帧和消失帧之间不存在场景改变，则意味着满足条件(d)，并且将开始字幕设置为所述那个字幕(步骤S39)。其后，执行步骤S38。

如果在步骤S38判断对于所有的字幕已经完成了关于场景改变存在的确定，则确定是否已经检测了开始字幕(步骤S40)。换句话说，确定是否已经执行了步骤S39。如果在步骤S33判断具有字符大小的字幕的数量等于或小于第一预定数量TH1，或如果在步骤S35判断字幕的数量等于或小于第二预定数量TH2，则立即执行在步骤S40的处理。

如果还没有检测到开始字幕，则字符大小X降低1，并且处理返回步骤S32，重复上述操作。换句话说，字符大小降低一个单位，并且以同样的方式下进行开始字幕的确定。另一方面，如果已经检测到开始字幕，则向章节菜单建立部分6输出在步骤S39确定的开始字幕的图像部分(图像数据)和指示帧编号的开始字幕信息(步骤S41)，并且结束开始字幕的确定操作。开始字幕信息的帧编号是包括所述开始字幕的出现帧的编号。

关于开始字幕的字符大小和位置，有可能按照字符的特许和接收情况而出现一定程度的误差。因此，可以放送字符大小和位置的重合条件。

章节菜单建立部分6按照从开始字幕判定部分5通过的开始字幕信息来建立新闻节目的章节菜单。每次提供一段开始字幕信息时，在开始字幕图像中增加和形成章节菜单的一个项目。所述章节菜单的这个项目表示关于一个新闻项目的概述或题目。以开始字幕的视频图像的缩小图像形式来在显示部分8的监控器上显示各个项目。所述章节菜单被显示在监控器上，由图7中的符号A表示。

用户经由用户接口部分7从在监控器上显示的章节菜单中的多个项目中选择期望的项目(在图7中的符号B表示)。通过使用与所选择的项目对应的开始字幕信息的帧编号，章节菜单建立部分6从视频存储部分1读出在预定的间隔上以所述帧编号开始的视频信号，将所述视频信号与章节菜单的视频信号混合，并且向显示部分8提供产生的信号。在图7所示的显示示例中，在显示部分8的监控器屏幕上显示关于所选择的项目“火箭发射成功”的图像。所选择的项目的内容在监控器上被显示为视频图像的预定间隔可以是这样的间隔，在其上，显示开始字幕(范围从出现帧到消失帧的间隔)；或者所选择的项目的内容在监控器上被显示为视频图像的预定间隔可以是与其无关的不变间隔。

(实施例)

为了改善由开始字幕判定部分5进行的对开始字幕的确定的精度，可以在由字幕检测部分3进行边缘检测时省略具有中间亮度的像素。换句话说，在边缘检测中，字幕检测部分3检测在步骤S2中取得的当前帧中的边，如图8所示，其后确定边像素是否包括具有中间亮度的像素(步骤S6)。在具有中间亮度边的情况下，取出所述边，并且留下具有除了中间亮度之外的亮度的边、即具有高亮度和低亮度的边(步骤S7)。其后，处理进行到步骤S3。在边操作中的其他步骤与图2所示的相同。

为什么在边检测时排除具有中间亮度的像素的原因是形成字幕的像素包括许多高亮度或低亮度的像素和很少的具有中间亮度的像素。在步骤S6，建立边像素的亮度直方图，并且设置两个门限，以便按照直方图将边像素划分为三个亮度区域，即高亮度区域、低亮度区域和中间亮度区域。通过使用所述门限，确定边像素是否具有中间亮度。

作为用于设置门限以便将亮度直方图划分为多个亮度区域的方法，公知的是Otsu的方法。参见例如“图像分析手册(image analysis handbook)”，东京大学出版社，第502-504页。

通过使用Otsu的方法，首先，如图9A所示，通过将整个亮度直方图平分而获得门限M。随后，如图9B所示，通过平分具有比门限M低的低亮度的低亮度区域和平分具有比门限M高的高亮度的高亮度区域，获得门限L和H。如图9C所示，通过门限L和H，亮度直方图被划分为三个亮度区域，即高亮度区域、低亮度区域和中间亮度区域。

在设置用于平分的门限中，首先，将M设置为在亮度中的某个值，并且当对于M的亮度直方图的“分散度”变为最小值时，将M定义为门限。具体地说，假定亮度直方图由N个像素形成，并且每个像素具有LUM_i的亮度(1≤i≤N)，计算

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(M-{\mathrm{LUM}}_i)}^2.$

将最小化这个计算值的M定义为门限。

在步骤S7排除属于中间亮度区域的边，并且仅仅属于高亮度区域或低亮度区域的边用于开始字幕的确定。结果，可以改善开始字幕确定的精度。

关于由开始字幕判定部分5进行的开始字幕确定，条件(e)，即开始字幕出现在屏幕的下部，可以被进一步加到四个条件(a)-(d)。图10示出了当增加条件(e)时由开始字幕判定部分5进行的开始字幕判定操作。在步骤S32，从由字幕检测部分3检测的字幕信息提取具有字符大小X的所有字幕。随后，从所述字幕中选择字幕(步骤S51)。确定是否所选择的那个字幕位于平面的下半范围中(步骤S52)。在步骤S52，通过从设计所述那个字幕的字幕信息获得字幕位置来确定。如果所述那个字幕不位于屏幕的下半范围中，则从在步骤S32中提取的字幕中去除那个字幕(步骤S53)，随后处理进行到步骤S54。如果所述那个字幕位于屏幕的下半范围内，则处理连接进行到步骤S54。在步骤S54，确定是否已经对在步骤S32中提取的所有字幕进行了处理。换句话说，确定是否已经对所有被提取的字幕执行了在步骤S52中的确定。如果还没有结束对于所有被提取的字幕的处理，则处理返回步骤S51并且从剩余的字幕选择一个新的字幕。如果已经结束了对于所有被提取的字幕的处理，则对于在步骤S32提取的和在步骤S53中保留而未被去除的字幕进行步骤33的操作和随后的步骤。

通过由此向开始字幕确定增加在屏幕的下部出现开始字幕的条件，可以进一步改善开始字幕确定的准确性。

在步骤S52，屏幕的下部被定义为屏幕的下半范围。或者，屏幕的下部也可以例如是屏幕的下1/3的范围。

关于由开始字幕判定部分5进行的开始字幕确定，可以向四个条件(a)-(d)进一步增加条件(f)，即短时间间隔出现的字幕不是开始字幕。即，条件(f)是开始字幕在长时间间隔中出现。图11示出了当增加条件(f)时由开始字幕判定部分5进行的开始字幕操作。在步骤S34，从具有字符大小X的字幕中，提取具有相同字幕位置并且在字幕数量最大的位置的所有字幕。随后，对于被提取的字幕设置帧门限Fr(步骤S61)。根据通常的开始字幕的出现间隔来设置帧门限Fr，并且它是例如一分钟。关于帧门限Fr，在步骤S61，可以像它未被设置那样来使用其初始值。在执行步骤S61后，以字幕出现的顺序来从所提取的字幕检测比帧门限Fr在出现间隔上短的字幕组，并且找到字幕组的数量“对”(步骤S62)。例如，如果在第一字幕出现后出现第二字幕，则根据在第一字幕的消失帧和第二字幕的出现帧之间的相差帧的数量来检测出现间隔。在出现间隔上比帧门限Fr短的所有的字幕组被检测，并且所有被检测的字幕组的数量是所述“对”。在执行步骤S62后，从被提取的字幕的数量减去字幕组“对”的数量，并且将计算结果定义为字幕的数量(步骤S63)。而且，从在步骤34提取的字幕中，取出比下述字幕组在时间上晚的字幕：在出现间隔上比帧门限Fr短的字幕组。对于在取出后获得的字幕执行步骤S35的操作和随后的步骤。

在新闻节目的情况下，通常在开始字幕已经消失后显示关于开始字幕的详细场景。因此，开始字幕出现在一定程度的时间间隔上。通过向开始字幕确定增加条件：短时间间隔出现的字幕不是开始字幕，可以进一步改善开始字幕确定的准确度。

关于由开始字幕判定部分5进行的开始字幕确定，可以还向四个条件(a)-(d)增加条件(g)：在新闻节目中的前半部分中出现的字幕被定义为开始字幕。图12示出了当增加条件(d)时由开始字幕判定部分5进行的开始字幕确定操作。首先，其中要判断开始字幕的主题新闻节目的广播时间被获取为“TOTAL”(步骤S71)。这可以从上述节目信息获得。在执行步骤S71后，以与图6所示的开始字幕操作相同的方式来将字符大小X设置为最大值MAX(步骤S31)。另外，提取字幕位置相同并且在最大字幕数量的位置的所有字幕。随后，获取在广播时间“TOTAL”的后半部分(在开始广播后的“TOTAL”/2开始)中出现的字幕的所有数量“Later”(步骤S72)。在执行步骤S72后，从所提取的字幕的数量减去字幕的数量“Later”，并且将计算结果定义为字幕的数量(步骤S73)。而且，从在步骤S34提取的字幕，去除在广播时间“TOTAL”的后半部分中出现的字幕，并且对于在去除后剩余的字幕进行步骤S35和后续步骤的操作。

关于新闻节目的配置，通常前半部分包括一般的新闻，后半部分包括其他项目(诸如专版、体育和天气预报)。因此，开始字幕在新闻节目的前半部分中出现的可能不可避免的变高。通过向开始字幕确定增加条件：在新闻节目的前半部分中出现的字幕被定义为开始字幕，可以进一步改善开始字幕的确定的准确度。

在步骤S72，为了找到在新闻节目的后半部分中出现的字幕的数量“Later”，所述后半部分被限定为当从新闻节目的开始后过去时间“TOTAL”/2时开始。但是，这不是限定性的。也可以找到在所述后半部分中出现的字幕的数量“Later”，它限定后半部分当从新闻节目的广播开始后过去30分钟时开始。

而且，对于早晨的长时间新闻节目，可以通过将时间划分为多个部分来进行开始字幕检测。例如。在诸如早5点和早8点之间的早晨广播的新闻节目具有诸如2-3小时的长广播时间。在那个节目中，每几十分钟略为改变字幕配置(诸如播音室的背景和环绕字幕的模式)，并且重复广播类似的新闻项目。对于具有这样长时间的新闻节目，可以通过将广播时间按照每个不变的时间(例如一小时)划分并且在每个结果产生的时域中进行开始字幕检测来进一步改善开始字幕确定。

像在上述实施例中，从包括开始字幕的帧提取开始字幕，并且将其用作章节菜单的项目。因此，不需要诸如字符识别、图像识别和语音识别的重负荷处理。因此，在实现章节菜单显示中，可以节约资源。而且，即使新闻节目的配置不同，也可以处理它。

而且，对于在章节菜单中的项目，由仅仅开始字幕部分的图像数据指示的图像被缩小和使用。因此，多个项目可以被显示在图7所示的菜单中。而且，即使图像被缩小为较小的尺寸，也有可能便于识别各个项目。

在上述的实施例中，已经说明了其中广播节目的类别是新闻的情况。但是，这不是限定性的。本发明可以被应用到其他类别的广播节目，诸如体育节目和歌曲节目。例如，在相扑摔跤的电视广播中，交战的相扑摔跤员的环形姓名(ring name)被显示为字幕。因此，通过使用与上述实施例中相同的方式来检测字幕，每次交战可以被显示为菜单。

而且，已经在假定在新闻节目的视频信号中每个帧的预定特征图像部分是字幕的情况下说明了实施例。这也不是限定性的。所述预定特征图像部分可以是静止图像。所述预定特征图像部分可以是特定人的脸的图像。通过使用脸识别装置——它根据脸的轮廓和眼睛和鼻子和嘴的位置关系来识别一个人，可以提取特定人的脸图像。

如上所述，按照本发明的装置包括：类别确定器件，它确定具有在存储器件中的视频信号的广播节目是否是预定类别的广播节目；特征图像检测器件，它从在存储器件中存储的视频信号中检测在预定类别的广播节目的视频信号中的每个帧的预定特征图像部分；视频提取器件，它从由特征图像检测器件检测的预定特征图像部分中提取仅仅满足预定出现条件的帧的特征图像部分的视频数据；菜单建立器件，每次由视频提取器件提取视频数据时，它建立和输出视频信号，用于将包括由视频数据表示的特征图像部分的图像表示为菜单。因此，可以自动建立表示广播节目的内容的菜单。而且，本发明可以被应用到诸如硬盘记录器之类的视频记录装置。

顺便提及，例如，按照这个实施例的视频存储部分1作为按照本发明的存储器件，按照这个实施例的类别判定部分2作为按照本发明的类别判定器件。按照这个实施例的字幕检测部分3作为按照本发明的字幕检测器件，并且所述字幕检测器件包括按照本发明的特征图像检测器件、边区域检测器件、边检测器件和字幕确定器件。按照这个实施例的场景改变检测部分4和开始字幕判定部分5作为按照本发明的视频提取器件。按照这个实施例的场景改变检测部分4作为按照本发明的场景检测器件、亮度平均计算器件和判定器件，按照这个实施例的开始字幕判定部分5作为按照本发明的特征大小设置器件、第一确定器件、第二确定器件、第三确定器件、第四确定器件、第五确定器件和第六确定器件。按照这个实施例的章节菜单建立部分6作为按照本发明的菜单建立器件，并且按照这个实施例的用户接口部分7作为按照本发明的操作器件。

在不脱离本发明的精神或必要特征的情况下，可以以其他特定形式来实现本发明。因此现有的实施例在所有方面中被考虑为说明性的和非限定性的，本发明的范围被所附的权利要求指示，而不是被上述的说明指示，在权利要求的等同内容的含义和范围内的所有改变因此意欲被包括在此。

Claims (20)

1.一种广播节目内容菜单建立装置，它建立关于广播节目的内容的菜单，其特征在于所述广播节目内容菜单建立装置包括：

存储器件(1)，用于存储广播节目的视频信号；

类别判定器件(2)，它确定具有在存储器件(1)中存储的视频信号的广播节目是否为预定类别的广播节目；

特征图像检测器件(3)，它从存储在存储器件(1)中的视频信号检测在所述预定类别的广播节目的视频信号中的每个帧的预定特征图像部分；

视频提取器件(4，5)，它从由特征图像检测器件(3)检测的预定特征图像部分提取仅仅满足预定显现条件的帧的特征图像部分的视频数据；以及

菜单建立器件(6)，每次由视频提取器件(4，5)提取视频数据时，它建立和输出视频信号，用于将包括由视频数据表示的特征图像部分的图像表示为菜单。

2.按照权利要求1的广播节目内容菜单建立装置，其中

预定类别的广播节目是新闻节目，

特征图像检测器件(3)包括字幕检测器件(3)，它检测在每个组中的字幕来作为预定的特征图像部分，

视频提取器件(4，5)包括类别检测器件(4)，它检测在这样一个时间点的帧，在所述时间点，在存储器件(1)中存储的视频信号的一系列帧中的场景改变，并且

预定的出现条件将满足下面所有条件：

条件(a)字符大小大于预定大小，并且对于各个新闻项目是不变的；

条件(b)在一个新闻节目中多次出现一个字幕；

条件(c)每次在同一位置布置每个新闻项目的第一场景中出现的开始字幕；和

条件(d)在开始字幕的出现和消失之间，没有场景改变。

3.按照权利要求2的广播节目内容菜单建立装置，其中字幕检测器件(3)包括：

边区域检测器件(3)，它从存储在存储器件(1)中的视频信号中检测由具有在新闻节目的视频信号中的每个帧中的相邻像素之间的高亮度差的部分围绕的边围绕区域；和

字幕检测器件(3)，它当边围绕区域是多于预定数量的帧的连续帧上的相同区域时、将由边区域检测器件(3)检测的边围绕区域判定为字幕，并且向视频提取器件(4，5)提供字幕信息，其中包括出现帧、消失帧、字幕位置和字幕的字符大小。

4.按照权利要求2或3的广播节目内容菜单建立装置，其中所述视频提取器件(4，5)包括：

字符大小设置器件(5)，它设置字幕的字符大小；

第一确定器件(5)，当在由字幕检测器件(3)检测的字幕中包含的和包括具有由字符大小设置器件(5)设置的字符大小的字符的字幕的数量大于定义预定数量时，所述第一确定器件(5)判定满足条件(a)和条件(b)；

第二确定器件(5)，当从满足条件(a)和条件(b)的字幕检测到字幕位置相同并且位于字幕的数量最大的位置的所有字幕，并且当所检测的字幕的数量大于第二预定数量时，第二确定器件(5)判定满足条件(c)；以及

第三确定器件(5)，当在范围从满足条件(c)的字幕中包括的同一字幕的出现帧到消失帧的间隔中由场景检测器件(4)未检测到场景改变时，第三确定器件(5)判定满足条件(d)。

5.按照权利要求4的广播节目内容菜单建立装置，其中，当第一确定器件(5)已经判定在由字幕检测器件(3)检测的字幕中包含的并且具有所设置的字符大小的字符的字幕的数量等于或小于第一预定数量时，当第二确定器件(5)已经判定在字幕的数量最大的位置中的字幕的数量等于或小于第二预定数量时，或者当第三确定器件(5)已经判定在范围从出现帧到消失帧的间隔中由场景检测器件(4)已经检测到场景改变时，字符大小设置器件(5)将字幕的字符大小降低一个单位，并且使得第一确定器件(5)再次执行确定操作。

6.按照权利要求1的广播节目内容菜单建立装置，其中边区域检测器件(3)包括边检测器件(3)，它检测在具有高亮度差和具有除了中间亮度之外的亮度的边像素中包括的像素形成的边，并且边区域检测器件(3)根据由边检测器件(3)检测的边来检测边围绕区域。

7.按照权利要求6的广播节目内容菜单建立装置，其中边检测器件(3)对于在视频信号中的每个帧中建立边像素的亮度直方图，按照亮度直方图将边像素划分为低亮度组、中间亮度组和高亮度组这三个亮度组，根据分类的结果来检测由具有低亮度或高亮度的像素形成的边。

8.按照权利要求2的广播节目内容菜单建立装置，其中，除了条件(a)(d)之外，预定的出现条件还包括条件(e)：开始字幕位于对应于一个帧的屏幕的下部。

9.按照权利要求8的广播节目内容菜单建立装置，其中

视频提取器件(4，5)包括第四确定器件(5)，当由字幕检测器件(3)检测的字幕位于对应于一个帧的屏幕的下部时，第四确定器件(5)判定满足条件(e)，并且

第一确定器件(5)确定由第四确定器件(5)判定的字幕是否满足条件(a)和条件(b)。

10.按照权利要求2的广播节目内容菜单建立装置，其中，除了条件(a)-(d)之外，预定的出现条件还包括条件(f)：以长时间间隔出现开始字幕。

11.按照权利要求9的广播节目内容菜单建立装置，其中

视频提取器件(4，5)包括第五确定器件(5)，当满足条件(a)和条件(b)的字幕在长时间间隔中出现时，第五确定器件(5)判定一个字幕满足条件(f)；以及

第二判定器件(5)确定由第五确定器件(5)判断的字幕是否满足条件(c)。

12.按照权利要求2的广播节目内容菜单建立装置，其中，除了条件(a)-(d)之外，预定的出现条件还包括条件(g)：开始字幕出现在新闻节目的前半部分中。

13.按照权利要求9的广播节目内容菜单建立装置，其中

视频提取器件(4，5)包括第六确定器件(5)，当满足条件(a)和条件(b)出现在新闻节目的前半部分中时，第六确定器件(5)判断字幕满足条件(g)，并且

第二确定器件(5)确定由第六确定器件(5)判定的字幕是否满足条件(c)。

14.按照权利要求2的广播节目内容菜单建立装置，其中，通过将长时间新闻节目按照每个固定时间来划分，视频提取器件(4，5)检测包括满足预定出现条件的字幕的帧。

15.按照权利要求4的广播节目内容菜单建立装置，其中，字符大小设置器件(5)将字符大小的初始值设置为其最大值。

16.按照权利要求5的广播节目内容菜单建立装置，其中字符大小设置器件(5)将字符大小的初始值设置为其最大值。

17.按照权利要求2的广播节目内容菜单建立装置，其中场景检测器件(4)包括：

亮度平均计算器件(4)，它计算在存储器件(1)中存储的视频信号中包括的新闻节目的视频信号中的每个帧的亮度平均值；以及

判定器件(4)，当在新闻节目的视频信号中的连续中之间的亮度平均值中的差别大于预定值时，判定器件(4)判断所述视频信号位于在场景改变的时间点的帧之间。

18.按照权利要求1的广播节目内容菜单建立装置，还包括一个操作器件(7)，它从在菜单中的显示项目中检测任何一个项目，

其中菜单建立器件(6)从存储器件(1)取出范围从由操作器件(7)选择的一个项目对应的预定特征图像部分的出现帧到至少一个消失帧的视频信号，并且将视频信号与表示所述菜单的视频信号混合。

19.按照权利要求1的广播节目内容菜单建立装置，其中菜单建立器件(6)使用通过收缩由视频数据表示的特征图像部分而获得的数据来作为表示菜单的视频信号。

20.一种广播节目内容菜单建立方法，它用于建立关于广播节目的内容的菜单，其特征在于所述广播节目内容菜单建立方法包括下述处理：

存储广播节目的视频信号；

确定所存储的视频信号的广播节目是否为预定类别的广播节目；

从所存储的视频信号中检测在所述预定类别的广播节目的视频信号中的每个帧的预定特征图像部分；

从所检测的预定特征图像部分中提取满足预定显现条件的帧的特征图像部分的视频数据；以及

每次提取视频数据时，建立和输出视频信号，用于将包括由视频数据表示的特征图像部分的图像表示为菜单。

Images