CN1679027A - 用于检测视频图像序列中内容属性的设备和方法 - Google Patents

用于检测视频图像序列中内容属性的设备和方法 Download PDF

Info

Publication number
CN1679027A
CN1679027A CNA038203014A CN03820301A CN1679027A CN 1679027 A CN1679027 A CN 1679027A CN A038203014 A CNA038203014 A CN A038203014A CN 03820301 A CN03820301 A CN 03820301A CN 1679027 A CN1679027 A CN 1679027A
Authority
CN
China
Prior art keywords
contents attribute
behavioural characteristic
determined
detect
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038203014A
Other languages
English (en)
Inventor
F·斯尼德
I·W·F·保鲁斯森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1679027A publication Critical patent/CN1679027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提出了一种基于低层特征在数据流中检测内容属性的方法。该方法包括:从该低层特征序列确定(202)一个行为特征(例如320);确定(204)所确定的行为特征(320)属于行为特征空间(300)中的行为特征(318-328)的哪一个预定聚类(304);基于行为特征的所确定的聚类(304)和所确定的行为特征确定该内容属性出现的置信水平;和基于该内容属性出现的置信水平检测该内容属性。

Description

用于检测视频图像序列中内容属性的设备和方法
本发明涉及基于低层特征检测数据流中内容属性的方法。
本发明进一步涉及基于低层特征检测数据流中内容属性的设备。
本发明进一步涉及包括这样的设备的图像处理装置。
本发明进一步涉及包括这样的设备的音频处理装置。
从人们起居室中可访问和消费的视频信息量一直在增长。由于未来电视接收机和个人计算机所提供的技术和功能的集成,这一增长趋势可能会进一步加速。为了获得感兴趣的视频信息,需要工具帮助用户提取相关的视频信息并在大量可用视频信息中有效导航。现有的基于内容的视频索引和获取方法不能提供上述应用所需的工具。多数这些方法划分到下述三类中:1)视频句法结构化;2)视频分类;3)语义提取。
第一类中的工作集中于镜头边界检测和关键帧提取、镜头聚类、内容创建表、视频摘要和视频浏览。这些方法通常计算简单并且其性能相对鲁棒。但是这些方法的结果不一定具有语义含义或语义相关。对于面向用户的应用,语义无关的结果会使用户感到困惑并得到失败的搜索或浏览过程。
第二类中的工作,即视频分类,试图将视频序列划分为新闻、体育、动作影片、特写、人群等类别。这些方法提供了便于用户粗略浏览视频序列的分类结果。可能需要更细致层次上的视频内容分析帮助用户更有效地找到他们正在寻找的东西。事实上,消费者通常用更精确的语义符号来表示搜索项,例如描述对象的关键词、动作和事件。
第三类中的工作,即语义提取,通常针对特定领域。例如,已经提出了探测事件的方法用于:橄榄球比赛、英式足球比赛、篮球比赛和受监视的场合。这些方法的优点是所探测的事件是有语法含义的并且通常对于用户来说是有意义的。然而,一个缺点是,许多这些方法严重依赖于特定的人为因素,例如新闻节目中的编辑模式,这使得这些新闻节目很难扩展用于其它事件的检测。
开篇所描述的这种方法的一个实施例可参见文献“语义事件检测方法及其在野生动物录像中打猎检测的应用”,该篇文章的作者为NielsHaering,Richard J.Qian和M.Ibrahim Sezan,发表于2000年九月第10卷第6期的IEEE视频技术电路与***学报上。在那篇文章中,提出了面向用于语义事件检测的可扩展方法的一种计算方法和几种组成算法。这种自动事件检测算法促进了视频内容中语义显著性事件的检测,并有助于生成用于快速浏览的具有语义含义的重要部分。这是一种可扩展的适于在不同领域中检测不同事件的方法。提出了一种三层视频事件检测算法。第一层从视频图像中提取低层特征,例如色彩、纹理和运动特征。
本发明的目的是提供一种开篇中所述的相对鲁棒的方法:
本发明的目的的实现是由于该方法包括:
-从低层特征序列中确定一个行为特征;
-从行为特征空间中的一组行为特征的预定的聚类中确定所确定的行为特征属于哪一个聚类;
-基于所确定的行为特征和所确定的聚类确定内容属性出现的置信水平;并
-基于该内容属性出现的置信水平确定该内容属性。
利用低层特征检测检测内容属性的一个问题是低层特征的变化相对较高。通过从低层特征序列中提取行为特征并基于所确定的聚类和该行为特征确定一个置信水平,在不损失有关信息的情况下可以降低该变化。本方法的一个优点是这是一种用于在不同的时标检测不同内容属性的通用方法,例如类似情景变化的事件也是类型(genres)。
该数据流可能与视频图像序列或音频数据有关。低层特征提供了有关内容的非常粗略的信息并具有时间上的低信息密度。低层特征是基于对数据流采样的简单运算,例如对图像来说是对像素值的运算。该运算可以包括加、减、和乘。低层特征是指,例如,象平均帧亮度、帧内亮度偏差、平均均值绝对差分(MAD)这样的特征。例如高MAD值可能表示内容中有大量运动或动作,而高亮度可能说明了有关内容的类型的信息。例如,商业广告和卡通片中具有高亮度值。可选地,低层特征与从运动估计过程中得到的参数有关,例如运动向量的大小或者从解码过程中得到的参数,例如DCT系数。
行为特征与低层特征的行为有关。这说明,例如,作为时间函数的低层特征的值被包含在行为特征中。行为特征的值是通过合并低层特征的多个值而计算出来的。
根据本发明,在该方法的一个实施例中,所确定的行为特征包括序列中第一个低层特征值的第一均值。这说明该平均值是在该序列的一个时间窗内为第一个低层特征计算出来。计算平均值相对容易。另一优点是,该平均值的计算是减少该偏差的优良的测度。用于从低层特征中提取行为特征的可选方法如下所示:
-在该窗内计算该低层特征的标准偏差;
-在该窗内取该低层特征的傅立叶变换的N个最重要的功率谱值;
-在该窗内取N个最重要的主成分。参见剑桥大学出版社1995年出版的Christopher M.Bishop所著“用于模式识别的神经网络”。另参见T.Kohonen所著“自组织图”,Springer,2001,ISBN 3-540-67921-9。
-在该窗内应用低层特征事件的频率和/或密度,例如情景变换或者黑帧。
优选地,所确定的该行为特征包括序列中第二个低层特征的值的第二均值。在那种情况下,该行为特征是一个包含多个分量的向量,每个分量都与各自的低层特征有关。可选地,一个行为特征包括多个分量,每个分量都与一个低层特征有关,例如亮度的均值和标准偏差。分别查看一个低层特征或者多个低层特征很可能不能提供有关风格类型或发生的事件的足够的信息,但是查看多个低层特征的组合却提供了更多信息并给出更强的区分能力。
根据本发明,在该方法的一个实施例中,基于所确定的行为特征的聚类的模型来确定该内容属性出现的置信水平。优选地,该模型是线性模型,因为其简单且鲁棒。在设计阶段,要为测试数据确定行为特征的许多例子。该测试数据可以是,例如数小时的带有标注的视频图像。标注是指对于每个视频图像,已知并示出该图像是否具有该内容属性,例如,该图像是否属于某种风格。通过分割测试数据的行为特征的分布,建立多个预定的聚类。对于每个预定的聚类,计算出一个模型和一个聚类中心。在检测阶段,即根据本发明应用该方法时,为特定的行为特征确定合适的聚类。依赖于所使用的聚类方法,可以通过计算特定行为特征和各种聚类中心之间的欧氏距离来为特定的行为特征确定合适的聚类。该最小欧氏距离就得到特定行为特征所属的预定的聚类。通过为特定的行为特征估计合适的预定模型,确定相应的置信水平。该置信水平与为特定行为特征预定的聚类的模型和模型设计阶段所用的标注数据的匹配程度有关。或者换句话说,这是一个特定行为特征与内容属性实际相关性概率的度量。
可选地,该内容属性出现的置信水平由神经网络确定。
根据本发明,在该方法的一个实施例中,通过将该内容属性出现的置信水平与预定的阈值进行比较来检测该内容属性,例如,如果该内容属性出现的置信水平容易简单。
根据本发明该方法的一个实施例进一步包括通过将该内容属性出现的置信水平和与深层行为特征有关的深层置信水平进行比较的野值滤波。可选地,应用多个行为特征来确定该置信水平是否正确表示了该内容属性确实被该数据流所包含。优选地,与围绕该特定行为特征的一个时间窗内的多个行为特征有关的置信水平被用于野值滤波。根据本发明,这一实施例的一个优点是其相对鲁棒和简单。
根据本发明,该方法的一个实施例进一步包括确定哪一视频图像与包含该内容属性的视频图像序列的一个部分有关。通过从低层特征序列中提取行为特征,例如通过求平均,时间位移被引入到内容属性检测中和包含该内容属性的视频图像序列部分的实际起点中。例如,检测出一个视频图像序列中包含卡通片的一部分并且另外一部分不属于卡通片。从卡通到非卡通的真实过渡的检测是基于能够在视频图像序列中检测出卡通的行为特征的实例,以及基于与时间有关的参数,例如用来从低层特征中提取该行为特征的窗的大小。
根据本发明,在该方法的一个实施例中,来自EPG的数据流被用于内容属性的检测。更高层数据(例如来自电子节目向导)非常适于提高用于检测该内容属性的方法的鲁棒性。该更高层数据给出了检测问题的上下文。当该检测装置被限于EPG所示的运动节目的视频流时,构造一个用于检测橄榄球比赛的检测装置更容易些。
根据本发明,该方法的一个实施例进一步包括:
-从行为特征空间中的一组预定行为特征聚类中确定该确定的行为特征属于哪一深层聚类;
-基于该确定的行为特征和该深层的确定聚类,确定深层内容属性出现的深层置信水平;和
-基于该深层内容属性出现的深层的确定置信水平,确定深层内容属性。
根据本发明,这一实施例的优点是深层内容属性相对容易被检测。代价最高的计算,例如用于计算低层特征和用于提取行为特征,被共享。只有相对简单的处理步骤被特别用于该深层内容属性的进一步检测。利用这一实施例,例如,可以检测出该视频图像序列是否与卡通片有关以及该视频图像序列是否与野生动物电影有关。
本发明进一步的一个目的是提供一个开篇中所述用于完成相对鲁棒的检测的这样一个设备。
本发明的目的能够被实施是由于该设备包括:
-用于从该低层特征序列中确定行为特征的第一决策装置;
-从行为特征空间中的一组预定行为特征聚类中确定该确定的行为特征属于哪一聚类的第二决策装置;
-基于该确定的行为特征和该确定的聚类用于确定内容属性出现的置信水平的第三决策装置;和
-基于该内容属性出现的确定的置信水平用于检测该内容属性的装置。
优选地,在开篇所述图像处理装置中应用根据本发明的该设备的一个实施例。该图像处理装置可以包括附加的元件,例如用于显示图像的显示设备、用于存储图像的存储设备和用于视频压缩的图像压缩设备,即(例如根据MPEG标准或H26L标准)编码和解码。该图像处理装置可以支持下述应用之一:
-基于类型或事件信息检索录制的数据;
-基于类型或事件信息自动录制数据;
-回放过程中,在所存储的同一类型的数据流之间切换;
-回放过程中从同一类型的事件到事件之间切换,例如从橄榄球得分到橄榄球得分之间切换;
-如果某个类型在不同的频道广播则通知用户。例如用户正在观看一个频道,当橄榄球比赛在另外一个频道开始时则通知用户。
-如果特定事件发生则通知用户。例如用户正在观看一个频道,但通知用户在另外一个频道发生了橄榄球射门。用户就可以切换到另外一个频道并观看射门。
-通知安全官员在被摄像机监控的房间内有事情发生;
对该方法的修改和及其变更与对上述设备的修改和变更有关。
根据本发明该方法、该设备和该图像处理装置的这些和其它方面将是显而易见的,并将根据下文所述实现和实施例结合附图进行说明,其中:
图1A表示低层特征和从这些低层特征提取的行为特征的示例;
图1B表示来自图1A的行为特征向量的最优匹配聚类的示例;
图1C表示基于图1A的该行为特征向量和图1B的最优匹配聚类所确定的置信水平;
图1D表示对图1C的该置信水平进行阈值处理并去除了野值的的最终输出;
图2表示用于检测数据流中的内容属性的设备示意图;
图3表示包含多个行为特征向量的聚类的行为特征空间示意图;
图4表示基于低层特征的内容分析过程的框图的示意图;
图5表示根据本发明的图像处理装置的组成部分的示意图;
同一参考数字在全部图中表示相似的部分。
根据本发明的方法将通过示例在下文中进行说明。该示例涉及卡通片检测。在图1A-1D中绘出了一些属于该示例的曲线。用于卡通片检测的低层特征是从MPEG2编码器中提取出来。用于编码的GOP(图片组)长度是12。一些特征仅每I帧可用,其它特征每帧都可用。表1是所用的全部低层AV特征。在这一示例中,没有使用音频特征,仅使用了视频特征。
图1A表示低层特征和从这些低层特征提取的行为特征的示例。图1A表示每帧104的MAD和该数据流的示例部分的每I帧的全部帧亮度102。该数据流与六分钟视频图像有关并包含从非卡通资料到卡通资料之间的转换。该转换的位置用垂直线101标记出来。低层特征102、104在一个时间窗内的均值106、108和标准偏差110、112作为行为特征被计算出来。在该均值和标准偏差被计算之前该低层特征被归一化。被计算出的均值和标准偏差值被依次放入一个向量中形成行为特征向量。该窗被移位到每个GOP,就计算出一个新的行为特征向量。所用的窗长为250GOP,大约为两分钟。基于GOP内的统计对帧求平均能得到更鲁棒的特征。例如该MAD具有非常大的动态范围:当镜头剪辑发生时该值可以高于幅值的数次方,当内容中没有更多运动时。
在设计阶段,利用自组织图将行为特征向量空间分割为聚类。见T.Kohonen所著“自组织图”,Springer,2001,ISBN 3-540-67921-9。该自组织图能够对行为特征空间进行聚类从而形成该行为特征空间中的行为特征向量分布的良好表达。该SOM的聚类在图中被空间地组织,在我们的例子中该图由包含该聚类的3×3的设备图组成。在这一例子中该空间组织性质没有被应用,但是由于该图上的位置提供了信息因此仍进一步提高了检测质量。换句话说,有9个预定的聚类。在该设计阶段,对于SOM中的每个聚类也构造一个局部线性分类模型。
在每个行为特征向量的检测过程中确定合适的聚类。这意味着利用该行为特征向量估计出该SOM。该估计得到一个表示该聚类最优匹配该行为特征向量的聚类的索引。图1B表示最优匹配该示例数据流的行为特征向量的聚类的索引。
在检测阶段,利用该行为特征向量估计属于该选定的聚类的模型。每次估计得到一个置信水平,即“卡通置信度”。图1C表示示例数据的每个GOP116的“卡通置信度”,即图1C表示基于图1A的行为特征向量和图1B的聚类索引所确定的置信水平。注意,所示的该置信水平并不一定具有严格意义上的概率含义,因为其值不在0到1之间的范围内。
假设:每个每个GOP计算出了一个新的行为特征向量,并且找到了最优匹配这一行为特征向量的聚类索引。因此对每个GOP,只对该计算出的行为特征向量估计一个局部线性模型。
通过阈值处理检测出该内容属性,即通过比较该置信水平和预定的阈值,检测出包含属于一个卡通片的图像的数据流。该预定的阈值在设计阶段确定。图1C的下面部分表示阈值处理的输出118。如果该“卡通置信度”等于或高于该预定的阈值,输出118为1;如果该“卡通置信度”小于该预定的阈值,输出则为0。
在阈值处理的输出118中,有一些野值120-126。这说明在输出118中有尖峰。通过滤波可以去除这些野值120-126。这一滤波过程如下所述。在一个时间窗内计算出通过该阈值处理所确定的分类的百分比有多少是正值(即为“1”)。如果该百分比高于第二确定阈值,则作出卡通存在的决策,否则说明卡通不存在。野值去除的窗长和第二确定阈值已经在设计阶段计算出来。
在确定了表示数据流的视频序列中存在卡通后,可能需要确定该卡通的起始和结束。通过考虑各种时间窗长,例如用于提取行为特征和用于去除野值,可计算出最坏情况的起始和结束。该最坏情况的起始103和结束的含义是该完整的卡通非常可能存在于这一起始103和结束之间。这正是所关心的,因为不应该让根据本发明的该图像处理装置的用户感受到在该卡通已经开始后还要开始回放所检测的卡通,或者在该卡通结束之前停止回放这样的不便。图1D绘出了示例数据流中所计算出的最坏情况起始103。
图2表示基于低层特征用于在数据流中检测内容属性的设备200的示意图。该设备200包括:
-用于从低层特征序列中提取行为特征的提取设备202,该低层特征序列在输入连接器212提供。该低层特征可以基于视频或音频计算出来。行为特征可以是标量或向量;
-用于确定该行为特征属于行为特征空间300中行为特征318-328的哪一预定聚类302-316的第一决策设备204。另见图1B和图3;
-基于行为特征318-328的选定聚类302-316用于确定每个行为特征的置信水平的第二决策设备206。另见图1C和图3;
-基于该行为特征的置信水平用于检测该内容属性的分类设备208。可选地,这一分类设备208包含野值去除滤波器,如上结合图1D所示;和
-用于计算包含该内容属性的序列的一部分的起点的起点和终点计算设备210。这一起点计算设备210如结合图1D所述。该起点计算设备210是可选的。提取设备202、第一决策设备204、第二决策设备206、分类设备208和设备200的用于检测内容属性的起点和终点计算设备210可以用一个处理器实现。通常,这些功能在软件程序产品的控制下完成。在执行过程中通常该软件程序产品被载入到内存中,例如RAM,并从那里执行。该程序可以从后台内存载入,例如ROM、硬盘或者磁和/或光存储,或者可以通过网络例如因特网加载。可选地,面向应用的集成电路提供了上述功能。
该方法为硬件检测设备提供了设计模板,在每个设备中组成部分是相同的,但设计参数是不同的。
图3表示包含行为特征向量318-328的多个聚类302-316的行为特征空间300的示意图。图3所示行为特征空间300是一个多维空间。行为特征空间300的每个轴与行为特征向量318-328的各个成分有关。行为特征空间300中的每个聚类302-316可以被看作是该内容的一个模式。例如,在该内容属性与“视频图像序列中的卡通”有关的情况下,第一聚类302可能与具有快速移动人物的卡通的第一模式有关。该聚类理论上与特定内容属性无关;一个聚类可以表示具有变化亮度的快速移动的资料。然后,局部模式所表示的关系可以说明具有低亮度的特征向量不是卡通,而具有高亮度的向量是卡通。在其它聚类中存在另外一种关系(由属于那一聚类的局部模式所描述)。第二聚类316可能与具有缓慢移动人物的卡通的第二模式有关并且第三聚类306可能与夜晚的卡通场景有关。
在设计阶段为每个聚类302-316确定一个模型。那可能是一个通过最小平方法解一组方程所确定的线性模型。对于具有N个分量的行为特征向量x的一个例子,线性模型Mi的方程由方程1给出:
M i : y = Σ k = 1 α k X k + β i - - - ( 1 )
在设计阶段要确定参数αk(1≤k≤N)的N值和参数βi的N值。在设计阶段,如果测试数据的某个行为特征向量与数据的一部分(例如不含有该行为特征的视频图像)有关,则y的值为0;并且如果测试数据的某个行为特征向量与包含该内容属性的数据的一部分有关,则y的值为1。
在检测阶段对于目标数据的某个行为特征向量,y的值与置信水平有关。y的后一值可以通过根据已知的参数αk(1≤k≤N)和参数βi为目标数据的某个行为特征解向量方程1而很容易得到。
图4示意性示出基于为数据流计算出的低层特征的内容分析过程的框图。该低层特征为行为特征提取402输入。这些行为特征用于多决策过程404-408。例如检测表示视频序列的数据流是否包含卡通404,或者包含商业节目406或者包含体育节目408。可选地应用来自与该数据流有关的EPG的信息或从有关数据流的EPG信息得到的统计数据来分析该数据流。
可选地,来自第一决策过程408的中间结果414被提供给第二决策过程406,并且第二决策过程306的结果412被提供给第三决策过程404。这些决策过程404-408可能与不同的时标有关,即从带有场景变换和商业节目分离器的短时(例如),到带有(例如)精彩镜头、视频剪辑和类似内容的中时,到带有类型识别和用户爱好识别的长时。可选地,决策过程404-408的最终结果被合并410。特别地,例如,来自408的信息也可以直接到404。
图5示意性示出根据本发明的图像处理装置500的组成部分,包括:
-用于接收数据流的接收设备502,该数据流表示在完成了一些处理后,将被显示的图像。该信号可以是通过天线或电缆接收的广播信号,但也可以是来自存储设备,例如VCR(盒式录像机)或数字通用唱片(DVD)的信号。该信号由输入连接器510提供。
-基于结合图1A-1D所述的低层特征用于在数据流中检测内容属性的设备504;
-由设备504控制基于该内容属性用于检测内容属性的图像处理设备506。该图像处理设备506可以用于降低噪声。例如在设备504已经检测到该数据流与卡通有关的情况下,噪声减少量就增加;和
-用于显示所处理的图像的显示设备508。该显示设备508是可选的。
应注意到,上述实施例所示并非是对本发明的限制,那些熟悉本领域的技术人员在不背离附加权利要求的范围的前提下,将能够设计出可选的实施例。在权利要求中,圆括号中的任何参考符号不应被构成对该权利要求的限制。“包括”一词并不排除在权利要求中未列出的设备或步骤。设备之前的词“一个”不排除有多个这样的设备。本发明可以通过包括几个独立设备的硬件和通过合适的程控计算机实现。在列举了多个装置的权利要求部分中,这些装置中的几个可以由一个以及相似的硬件实现。

Claims (17)

1.基于低层特征在数据流中检测内容属性的方法,该方法包括:
-从该低层特征序列中确定一个内容属性;
-从行为特征空间中的一组行为特征的预定聚类中确定所确定的行为特征属于哪一个聚类;
-基于所确定的行为特征和所确定的聚类,确定内容属性出现的置信水平;
-基于该内容属性出现的所确定的置信水平检测该内容属性。
2.如权利要求1所述检测内容属性的方法,其中该数据流与视频图像序列有关。
3.如权利要求1所述检测内容属性的方法,其中该确定的行为特征包括序列中第一个低层特征的值的第一均值。
4.如权利要求3所述检测内容属性的方法,其中该确定的行为特征包括序列中第二个低层特征的值的第二均值。
5.如权利要求1所述检测内容属性的方法,其中该内容属性出现的置信水平是基于行为特征的所确定的聚类的模型确定。
6.如权利要求5所述检测内容属性的方法,其中行为特征的所确定的聚类的模型是线性模型。
7.如权利要求1所述检测内容属性的方法,其中该内容属性出现的置信水平用神经网络确定。
8.如权利要求1所述检测内容属性的方法,其中内容属性的检测通过比较该内容属性出现的置信水平和预定的阈值来完成。
9.如权利要求1所述检测内容属性的方法,进一步包括通过比较该内容属性出现的置信水平和与深层行为特征有关的深层置信水平的野值滤波。
10.如权利要求2所述检测内容属性的方法,进一步包括确定哪一视频图像与具有该内容属性的视频图像序列的一部分有关。
11.如权利要求1所述检测内容属性的方法,,其中来自EPG的数据用于检测该内容属性。
12.如权利要求1所述检测内容属性的方法,进一步包括:
-从行为特征空间(300)中的一组行为特征的预定聚类中确定所确定的行为特征属于哪一深层聚类;
-基于所确定的行为特征和所确定的深层聚类确定深层内容属性出现的深层置信水平;和
-基于该深层内容属性出现的所确定的深层置信水平确定深层内容属性。
13.基于低层特征在数据流中检测内容属性的设备,该设备包括;
-用于从低层特征序列中确定行为特征的第一决策装置;
-用于从行为特征空间中的一组行为特征的预定聚类中确定所确定的行为特征属于哪一聚类的第二决策装置;
-基于所确定的内容属性和所确定的聚类用于确定内容属性出现的置信水平的第三决策装置;和
-基于所确定的该内容属性出现的置信水平确定该内容属性的检测装置。
14.一个图像处理装置,包括:
-用于从表示视频图像的序列中接收数据流的装置;
-基于权利要求13所述低层特征用于在视频图像序列中检测内容属性的设备;和
-基于该内容属性由该设备控制用于检测内容属性的图像处理设备。
15.如权利要求13所述的图像处理装置,其中该图像处理装置包括一个存储设备。
16.如权利要求13所述的图像处理装置,其中该图像处理设备包括一个视频图像压缩设备。
17.一个音频处理装置,包括:
-用于接收表示音频的数据流的接收装置。
-基于权利要求13所述的低层特征用于检测音频中的内容属性的设备;和
-基于该内容属性,在该设备的控制下用于检测内容属性的音频处理设备。
CNA038203014A 2002-08-26 2003-07-31 用于检测视频图像序列中内容属性的设备和方法 Pending CN1679027A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02078516.8 2002-08-26
EP02078516 2002-08-26

Publications (1)

Publication Number Publication Date
CN1679027A true CN1679027A (zh) 2005-10-05

Family

ID=31896929

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038203014A Pending CN1679027A (zh) 2002-08-26 2003-07-31 用于检测视频图像序列中内容属性的设备和方法

Country Status (7)

Country Link
US (1) US20060074893A1 (zh)
EP (1) EP1537498A2 (zh)
JP (1) JP2005536937A (zh)
KR (1) KR20050033075A (zh)
CN (1) CN1679027A (zh)
AU (1) AU2003250422A1 (zh)
WO (1) WO2004019224A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135979A (zh) * 2010-12-08 2011-07-27 华为技术有限公司 数据清洗方法及装置
CN103565411A (zh) * 2012-07-25 2014-02-12 奥林巴斯株式会社 荧光观察装置
WO2017166597A1 (zh) * 2016-03-31 2017-10-05 乐视控股(北京)有限公司 一种卡通视频识别方法、装置和电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050285937A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Unusual event detection in a video using object and frame features
JP2008541645A (ja) * 2005-05-19 2008-11-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツアイテムの境界を検出するための方法及び装置
JP5591538B2 (ja) * 2006-10-20 2014-09-17 トムソン ライセンシング ビデオコンテンツにおける関心領域を生成する方法、装置及びシステム
JP5008484B2 (ja) * 2007-07-11 2012-08-22 株式会社日立国際電気 映像処理方法
US8149093B2 (en) * 2008-06-06 2012-04-03 Lyngsoe Systems System and method for wireless communications
CN103365765B (zh) * 2012-03-28 2016-10-12 腾讯科技(深圳)有限公司 测试用例筛选方法和***
US20140201120A1 (en) * 2013-01-17 2014-07-17 Apple Inc. Generating notifications based on user behavior
CN116704387B (zh) * 2023-08-04 2023-10-13 众芯汉创(江苏)科技有限公司 一种基于视频结构化的电力线路通道巡检***和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496228B1 (en) * 1997-06-02 2002-12-17 Koninklijke Philips Electronics N.V. Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds
US6278446B1 (en) * 1998-02-23 2001-08-21 Siemens Corporate Research, Inc. System for interactive organization and browsing of video
US6721454B1 (en) * 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
US6272250B1 (en) * 1999-01-20 2001-08-07 University Of Washington Color clustering for scene change detection and object tracking in video sequences
US6751354B2 (en) * 1999-03-11 2004-06-15 Fuji Xerox Co., Ltd Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
US6678635B2 (en) * 2001-01-23 2004-01-13 Intel Corporation Method and system for detecting semantic events
US6956904B2 (en) * 2002-01-15 2005-10-18 Mitsubishi Electric Research Laboratories, Inc. Summarizing videos using motion activity descriptors correlated with audio features
US7120300B1 (en) * 2002-05-14 2006-10-10 Sasken Communication Technologies Limited Method for finding representative vectors in a class of vector spaces
US7103222B2 (en) * 2002-11-01 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Pattern discovery in multi-dimensional time series using multi-resolution matching
US7177470B2 (en) * 2002-11-13 2007-02-13 Koninklijke Philips Electronics N. V. Method of and system for detecting uniform color segments

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135979A (zh) * 2010-12-08 2011-07-27 华为技术有限公司 数据清洗方法及装置
WO2011147366A1 (zh) * 2010-12-08 2011-12-01 华为技术有限公司 数据清洗方法及装置
CN102135979B (zh) * 2010-12-08 2013-10-09 华为技术有限公司 数据清洗方法及装置
CN103565411A (zh) * 2012-07-25 2014-02-12 奥林巴斯株式会社 荧光观察装置
CN103565411B (zh) * 2012-07-25 2017-03-01 奥林巴斯株式会社 荧光观察装置
WO2017166597A1 (zh) * 2016-03-31 2017-10-05 乐视控股(北京)有限公司 一种卡通视频识别方法、装置和电子设备

Also Published As

Publication number Publication date
KR20050033075A (ko) 2005-04-08
WO2004019224A2 (en) 2004-03-04
JP2005536937A (ja) 2005-12-02
WO2004019224A3 (en) 2004-07-22
EP1537498A2 (en) 2005-06-08
AU2003250422A1 (en) 2004-03-11
US20060074893A1 (en) 2006-04-06

Similar Documents

Publication Publication Date Title
US6744922B1 (en) Signal processing method and video/voice processing device
US7653131B2 (en) Identification of replay segments
JP4332700B2 (ja) マルチメディアの手掛かりを利用したテレビ番組をセグメント化及びインデクス化する方法及び装置
CN1520561A (zh) 流式视频书签
Karaman et al. Human daily activities indexing in videos from wearable cameras for monitoring of patients with dementia diseases
Chen et al. Detection of soccer goal shots using joint multimedia features and classification rules
CN111757170A (zh) 一种视频分段和标记的方法及装置
Chen et al. A multimodal data mining framework for soccer goal detection based on decision tree logic
CN1679027A (zh) 用于检测视频图像序列中内容属性的设备和方法
Ren et al. Football video segmentation based on video production strategy
Kolekar et al. Semantic event detection and classification in cricket video sequence
Duan et al. Semantic shot classification in sports video
Gade et al. Audio-visual classification of sports types
Liu et al. Effective feature extraction for play detection in american football video
CN116261009A (zh) 智能转化影视受众的视频检测方法、装置、设备及介质
Ciocca et al. Supervised and unsupervised classification post-processing for visual video summaries
Khan et al. Semantic analysis of news based on the deep convolution neural network
Sigari et al. Sport video classification using an ensemble classifier
Chen et al. Exciting event detection using multi-level multimodal descriptors and data classification
Montagnuolo et al. TV genre classification using multimodal information and multilayer perceptrons
Kim et al. Real-time highlight detection in baseball video for TVs with time-shift function
Zhu et al. Scene segmentation and semantic representation for high-level retrieval
Chudasama et al. Views Detection from Cricket Video using Low Level Features.
Yang et al. Improved quality keyframe selection method for hd video
Kim et al. Video segmentation algorithm using threshold and weighting based on moving sliding window

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication