CN1456015A - 识别并行地出现在单个电视信号场中的影片和视频对象 - Google Patents

识别并行地出现在单个电视信号场中的影片和视频对象 Download PDF

Info

Publication number
CN1456015A
CN1456015A CN02800058A CN02800058A CN1456015A CN 1456015 A CN1456015 A CN 1456015A CN 02800058 A CN02800058 A CN 02800058A CN 02800058 A CN02800058 A CN 02800058A CN 1456015 A CN1456015 A CN 1456015A
Authority
CN
China
Prior art keywords
pattern
succession
exercise parameter
film
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN02800058A
Other languages
English (en)
Inventor
G·德哈安
R·B·维特布罗德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1456015A publication Critical patent/CN1456015A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

检测具有一系列接连的场的影片内容的图象重复模式的方法和设备,该设备具有处理装置和存储器(M),处理装置被安排成实行以下步骤:通过使用分段方法识别接连的场内的多个不同的对象,一个对象被规定为可以用单个运动模型描述的接连的场的图象部分;以及对于多个对象中的每一个对象实行以下步骤:建立接连的场内的每个对象的运动参量图案;把运动参量图案与多个预定的运动参量图案进行比较;以及通过使用前面步骤的结果来确定对于每个对象的图象重复模式。

Description

识别并行地出现在单个电视信号场中的 影片和视频对象
                       发明领域
本发明涉及检测影片内容中的活动图象影片源的领域。
                       现有技术
在US-A-5,734,735中,描述了一种分析一系列视频图象的方法和***。被使用来产生这些视频图象的产生媒体的类型被加以检测。每个系列的视频图象被分段成一系列单元,以便保持空间信息。空间信息被使用来检测产生媒体的类型。然而,它没有揭示对于来自不同的源和被混合形成单个图象的、在一个图象内的不同的情景检测产生的类型的技术。
US-A-6,014,182也涉及到用于检测活动图象影片源的方法。这样的检测在几种环境下是有用的,例如,行倍增器、电视标准变换器、电视慢运动处理和视频压缩。例如,60Hz NTSC电视信号具有24帧/秒的活动图象影片作为它的源。在这样的方案中,使用3-2下拉比(3-2pull down ratio),即,三个视频场来自一个影片帧,而下两个视频场来自下一个影片帧,等等。例如,把相继的视频场称为A、B、C、D、E,3-2下拉比看起来就像AAABBCCCDDEEE。其他的源具有2-2下拉比或与视频摄影机有关,正如本领域技术人员已知的那样。因此,对接连的场进行比较就可以产生有关所使用的活动图象源的信息。
US-A-5,365,280提出对于不同的场使用不同的运动矢量,以及产生一种图象信号处理模式控制信号,它可被电视接收机作为关于该场是涉及到电影片还是非电影片的指示来使用。
运动估值算法可以在M.Tekalp的“Digital VideoProcessing(数字视频处理)”,Prentice Hall,ISBN 0-13-190075-7中找到。基于对象的运动估值方法的概貌由Paolo Vicari给出:“Representation and regularization of motion fields withregion-based models(基于区域的模型的运动的场的代表和正规化)”对于Politecnico di Milano的论文,No.598034。
                      发明概要
至今为止,现有技术集中在检测具有起源于单个活动图象源的场的影片或具有起源于两个或多个不同的活动图象源的相继场的影片的活动图象源。然而,数量不断增加的影片包括起源于不同的活动图象源的场内的图象的混合。以上讨论的现有技术方法都不能检测影片的场内的各个不同图象的图象重复模式。然而,例如,在图象速率变换的应用中,需要知道在场内的各个不同图象的起源的指示。更具体地,必须知道该视频是否来源于影片内容,以便最佳地执行去交织和影片震颤去除。
所以,本发明的目的是提供允许检测在场中的各个不同对象的图象重复模式的设备和方法。在这方面,“对象”可以是一个场的一个单独的图象的一部分。“对象”被定义为这样一个图象部分,它可以用单个运动模型来描述。这样的“对象”不一定必须包括一个“物理的”对象,例如一个人的图象。对象可以很好地涉及到一个以上的物理对象,例如,乘坐在自行车上的人,其中人和自行车的运动基本上可以用同一个运动模型来描述。另一方面,可以安全地假设,这样规定的对象属于起源于一个单个影片源的一个单个图象。
为了达到本发明的目的,提供了用于检测包括一系列接连的场的影片内容的图象重复模式的方法,该方法包括以下步骤:
-建立影片内容的运动参量图案;
-把图案与多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定图象重复模式;
其特征在于,方法包括以下步骤:
·识别在接连的场内的多个不同的对象,一人对象被定义为可以用单个运动模式描述的接连的场的图象部分;
·实行以下步骤:
-建立接连的场内的每个对象的的运动参量图案;
-把运动参量图案与多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定每个对象的图象重复模式。
因此,按照本发明,在检测影片模式之前,电视信号的场通过分段技术被分离成不同的对象。任何可以达到这个目的已知技术都可以被使用。然后,检测每个不同对象的影片模式。任何已知的影片模式检测技术可被使用于这个目的。
优选地,也使用运动参量估值技术。
至今为止,正如本发明人知道的,还没有人尝试使用运动参量估值技术来识别起源于不同的源由于混合而形成的不同的图象部分(对象)。
本发明也涉及检测包括一系列接连的场的影片内容的图象重复模式的设备,该设备包括处理装置和存储器,处理装置被安排成可执行以下步骤:
-建立影片内容的运动参量图案;
-把图案与被存储在存储器中的多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定图象重复模式;
其特征在于,处理装置被安排成可执行以下步骤:
·识别在接连的场内的多个不同的对象,一个对象被定义为可以用单个运动模式描述的接连的场的一个图象部分;
·执行以下步骤:
-建立接连的场内的每个对象的的运动参量图案;
-把运动参量图案与被存储在存储器中的多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定每个对象的图象重复模式。
这样的设备可以有利地被实施在芯片上。包括这样的芯片的电视机以及芯片本身也是本发明要求得到专利权保护的。
本发明也涉及被计算机设备装载的计算机程序产品,包括用于检测其中包含了一系列接连的场的影片内容的图象重复模式的指令,该设备包括处理装置和存储器,计算机程序产品在被装载后可向处理装置提供执行以下步骤的能力:
-建立影片内容的运动参量图案;
-把图案与被存储在存储器中的多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定图象重复模式;
其特征在于,处理装置被安排成可执行以下步骤:
·识别在接连的场内的多个不同的对象,一个对象被定义为可以用单个运动模式描述的接连的场的一个图象部分;
·执行以下步骤:
-建立接连的场内的每个对象的运动参量图案;
-把运动参量图案与被存储在存储器中的多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定每个图案的图象重复模式。
这样的设备可以有利地被实施在芯片上。包括这样的芯片的电视机以及芯片本身也是本发明要求得到专利权保护的。
                      附图简述
现在参照一些附图说明本发明,这些附图只打算用来说明本发明而不是限制它的范围。该范围只由所附上的权利要求限制。
图1显示多参量估值器和分段设备的方框图;
图2A,2B,2C,2D显示电视屏幕图,这些图说明选择感兴趣的点的处理过程,在这些点上参量估值器使得它们的参量最佳化;
图3A,3B,3C,3D显示电视屏幕图,这些图说明分段的处理过程。
                   优选实施例详细描述
引言
下面,提出一种检测在一幅情景图象上各个对象的影片模式的方法。为此,首先描述一种识别在一幅情景图象上各个对象的方法。各个对象是通过运动估值被识别的,即,可以利用同一个运动模式来描述的情景中的那些部分被识别为属于该情景中同一个对象。运动估值器正如从现有技术(例如从[1],[3],[4],[5],和[6])中知道的那样。在这些参考文献中,[1]描述了一种运动估值器,它允许识别在情景中的对象,而不需要应用图象分段。
对于本发明,运动估值器最好是被设计成适合于图象速率变换,它具有的计算复杂性适合于消费电子应用,即,可以与[5,6]相比较的。
早先在[1]中描述的对象运动估值器的最显著的特性是在估值模型参量之前没有在把图象分段成对象方面花费力气,正像在其他的现有技术对象运动估值器中那样。基本上,选择相对较小数目的感兴趣的图象部分,以及多个并行运动模型参量估值器试图对这个数据组执行它们的参量的最佳化。只要一个估值器在一定的数目的感兴趣的图象部分上比另一个估值器更成功,它就集中在这些部分,而其余估值器集中在其他部分。简言之,各个估值器试图打破各个图象部分,把总的图象划分成各个“对象”。这种现有技术对象运动估值器允许实时的基于对象的运动估值,以及可以有利地使用于本发明的影片检测技术。
基本上,这样的基于对象的运动估值器,没有浪费精力在昂贵的图象分段上,它在运行方面应当能够与基于块的运动估值器竞争,因为人们预期在现实的图象中对象应当比块的数量少。仅仅是在把图象部分分配给对象方面,所需要的努力是与基于块的候选矢量的估值可比较的。如果对象的数目没有超过候选矢量数目太多,则基于对象的运动估值器的附加开销应当是可忽略的。这里假设,每个对象的运动可以用相当简单的参量模型来描述。
在以下的段落中,我们将描述所使用的优选的运动模型、运动模型参量的估值、所使用的优选的费用函数、分段处理过程、和一个情景内各个对象的影片模型检测。
运动模型
为了减小复杂性,每个对象o的运动用简单的一阶线性模型来描述,一阶线性模型只能描述变换和缩放。更复杂的参量运动模型对于本领域技术人员是已知的,例如,各种包括旋转的模型,它们确实可以与所建议的算法相组合地应用,但这里将不考虑。因为我们将引入一种可使得这样的复杂的模型过时的改进。
所使用的模型是: D → o ( x → , n ) = s x ( o , n ) + xd x ( o , n ) s y ( o , n ) + yd y ( o , n ) , - - - ( 1 )
其中
Figure A0280005800082
是对象o在具有下标n的图象中的位置 x → = x y 处的位移矢量。显然, 是与象素位置有关的。
参量估值
给定运动模型后,接着需要把它的参量对于图象中的给定的对象进行最佳化。由于在几乎每个情景中出现静止图象部分,我们假设存在一个对象o,o>0’,它的运动用 (零矢量)来描述。显然,为了使得这是可提供的,并不需要进行估值。附加的对象o,o>0,的参量矢量由如图1所示的、它们的各个参量估值器(PEm,m=1,2,...,M)被并行地分开地估值。
图1显示具有多个被并行地连接到数据减缩单元DRU的输出端的参量估值器PEm(n)的设备的方框图。数据减缩单元DRU被安排来选择一组感兴趣的、被用于进行计算的图象象素。施加到数据减缩单元DRU的输入是在时间n的图象和在时间n-1的所述图象。PEm(n)的每个输出被连接到分段单元SU。
分段单元SU的输出被反馈到参量估值器PEm(n),因为它们优选地一起执行递归运行,正如下面将说明的那样。分段处理过程的最终结果由一个情景的一些象素组形成,每个象素组属于不同的对象以及把它分配给不同的运动矢量。这些输出数据被提供给处理单元PU,该单元被安排来检测每个对象的影片源的类型,并且对不同的对象执行预定的任务,诸如图象速率变换。处理单元PU被连接到存储器M,后者存储被使用来检测影片源的类型的、预定的运动参量图案,正如在下面说明的那样。存储器可以是任何已知的类型,即,RAM、ROM、EEPROM、硬盘等等。处理单元PU的输出用于例如控制电视屏幕。
可以看到,数据减缩单元DRU、参量估值器PEm(n)、分段单元SU和处理单元PU被显示为分开的模块。这些模块可被实施为具有不同的处理器和存储器的、分开的智能单元。然而,正如本领域技术人员将会看到的,这些单元可被集成为单个单元,诸如包括处理器和装载有适用的软件的适用的存储器的通用微处理器。这样的微处理器未显示出,但可以从任何计算机手册中知道。替换地,图1所示的设备可以以硬连线的逻辑单元的形式来实施,正如本领域技术人员知道的那样。优选地,图1所示的整个设备作为单个芯片被封装在单个组件中。这样的单个芯片组件可以容易地被包括在电视设备中。
每个PEm(n)更新先前估值的参量矢量,然后最佳的参量候选矢量按照费用函数被选择为该对象的结果参量矢量。考虑公式(1)的四参量模型,对象o,o>0,的参量被看作为参量矢量 P → o ( n ) = s x ( o , n ) s y ( o , n ) d x ( o , n ) d y ( o , n ) - - - ( 2 )
我们规定我们的任务是从多个候选参量矢量 中选择
Figure A0280005800104
作为以后我们将说明的具有费用函数的最小数值的参量矢量。
优选地,候选者是以非常类似于在[5,6]中利用的策略被产生的,即,取预测矢量,添加至少一个更新矢量,和按照误差准则选择最佳的候选的参量矢量。候选参量组CSo(n)按照以下公式包含三个候选者
Figure A0280005800105
CS o ( n ) = { C → o ( n ) | C → o ( n ) = P → o ( n - 1 ) + m U → o ( n ) , U → o ( n ) ∈ US o ( n ) , m = - 1,0,1 } - - - ( 3 ) 其中更新参量
Figure A0280005800107
是从更新参量组USo(n)中选择的: US o ( n ) = { i 0 0 0 , 0 i 0 0 , 0 0 i 0 , 0 0 0 i } - - - ( 4 ) (i=1,2,4,8,16)
费用函数
给定运动模型和某些候选参量组后,我们需要按照费用函数选择最佳的候选者作为给定的对象的结果。费用函数可以是在来自相邻的图象的运动补偿的象素之间的绝对差值的和值,并且矢量利用(候选)矢量模型来产生。然而,我们需要知道运动模型将要被分配到的区域。两个问题,(即分段和运动估值)是互相依赖的。为了正确地估计在一个对象中的运动,应当知道对象以及反之亦然。
作为运动估值处理过程的第一步,我们规定感兴趣的象素块为一个组,它们形成“感兴趣的”图象部分的组SI(n),它们将被用作为使得所有的参量模型最佳化的基础。
现在,各个参量估值器的焦点必须是在不同的对象上。为此,每个参量估值器PEm(n)将对于在组SI中规定的同一组感兴趣的位置计算它的费用函数,对不同的位置给出不同的加权因子
Figure A0280005800111
。这里, 与象素块的位置有关。建议的算法是直截了当的:
·按照先前的图象分段步骤,在SI(n)中的象素属于同一个对象,(即,同一个参量估值器)的情形下,象素数值与大于1的第一加权因子(例如,8)相乘。
·在分段把位置分配给另一个参量估值器以及这个估值器达到低的匹配误差的情形下,象素数值与小于1的第一加权因子(例如,0.1)相乘。
图2给出在具有单个运动对象(即,骑自行车者)和运动背景的图象中选择感兴趣的象素块的例子。这个选择是由数据减缩单元DRU实行的。因此,数据减缩单元呈现出一组最感兴趣的象素单元(SI),导致相当便宜(很少的计算)和有效的参量估值。图2显示的屏幕图说明选择感兴趣的点的处理过程,在这些点上参量估值器可以使得它们的参量最佳化。在两个接连的图象之间的时间差值图象不是被实际计算的,但它可被用来理解为什么矢量
Figure A0280005800113
(即,具有感兴趣的点的整个组)的高的匹配误差是在图3C所示的位置上。在图3D上,显示了本例中两个参量估值器的注意力如何被分开在这些感兴趣的点。即,图3D显示:有两个不同的运动模型被检测到。两个子组以不同的亮度被显示,即一个是黑色,另一个是灰色。
图象的运动背景是对象o=1,骑自行车者是对象o=2。有两个参量估值器,它们都对包含感兴趣的块的同一个组进行最佳化,但只要一个估值器在分段时被选择为区域中最佳的,则在该区域中感兴趣的象素块在费用函数上就是突出的。然后,这将收敛到所显示的情形,在其中一个估值器聚焦在灰色块,另一个估值器聚焦在SI(n)中的白色象素块。
更正式地,费用函数按照下式计算: ϵ ( C → o , n ) = Σ x → ∈ Sf W o ( x → ) . | F s ( x → , n ) - F s ( x → - C → o ( x → , n ) , n - 1 ) | - - - ( 5 ) 其中
Figure A0280005800122
是下标为n的二次采样的图象中位置
Figure A0280005800123
处象素的亮度值,以及
Figure A0280005800124
是从在位置 处的候选模型 得到的矢量。
二次采样有效地减小所需要的存储器带宽。图象以一个场为基础用等于4的因子被水平地二次采样和用等于2的因子被垂直地二次采样,从而从每个原先的场F(n)中产生二次采样的图象Fs(n)。为了在F的原先的象素栅格上达到象素精度,需要在二次采样的栅格上进行内插。
递归分段
分段是算法中最关键的步骤。它的任务是将一个运动模型分配给每个象素组。对于每个块,相应于每个估值的参量矢量
Figure A0280005800127
的块匹配误差
Figure A0280005800128
可按照下式进行计算: ϵ ( X → , n ) = Σ x → ∈ B ( X → ) | F s ( x → + ( 1 - α ) D → o ( x → , n ) , n ) - F s ( x → - α D → o ( x → , n ) , n - 1 | - - - ( 6 )
这种分段正确的时间事例(temporal instance)被定义为α。
我们采用这样一种递归分段方法,它非常近似于3-DRS块匹配器的策略,例如,如在[5]中揭示的,即,使用最佳PEm(n)的空间和时间预测,以及惩罚对于在空间-时间邻居中没有出现的PEm(n)的选择。正式地,分段掩膜片
Figure A02800058001210
把具有最低的局部修改的费用函数 的对象o分配给块
Figure A02800058001212
,其中 ϵ o ′ = ϵ o + P ( X → , n ) 是按照以下的法则选择的惩罚因子:
Figure A02800058001215
δ → = i j , i , j = 0 , ± 1 - - - ( 9 )
类似于对于3-D RS块匹配器所建议的内容[5],Pu是最大惩罚因子,Pt只是小的惩罚因子,虽然不存在为什么Ps不能正好是零的理由。一个相当明显的简化是把 固定到与扫描方向相反的方向,以及逐场地交替扫描。图3A-3D给出按照基于对象的运动估值方法的分段的例子,其中具有原先的亮度的图象。图3A-3D显示从电视屏幕上拍摄的并且可以说明分段处理过程的照片。图3A显示原先的图象,而图3B-3D显示接连的分段结果。显然,图3A上的第一图象具有很差的、几乎是随机的分段,然而,各个估值器在分段时集中在它们的区域,从而快速地收敛到有用的分段:图3D显示可以区分两个不同的对象,一个涉及到骑自行车者以及一个涉及到背景。
现有技术影片模式识别
与对于图象中的每个对象的运动矢量的计算不同,在图象速率变换中的应用需要图象系列的原点的表示。更具体地,必须知道该视频是否起源于影片内容,以便最佳地执行去交织和影片震颤去除。而且,必须在2-2下拉图象内容、2-3下拉图象内容、和来自视频摄影机的视频之间进行区分。
正如这里先前讨论的,在现有技术方法中,这个检测关系到全局判决,即,在视频摄影机与各个影片格式之间的鉴别只对于整个图象来进行。
由于[8]的适配性,对于基于对象的运动估值器,可靠的电影检测器可以通过分析只由覆盖最大的图象区域的参量估值器描述的运动而实现,它明显地不考虑零矢量“估值器”。
让我们把max(n)定义为参量矢量Po(n)的最大分量(在此,不取参量矢量的最大分量,同样有可能地使用其中任一个或所有两个参量分量的平均值、绝对值、或相加的绝对值),即,
     max(n)=max{sx(o,n),sy(o,n),dx(o,n),dy(o,n)}       (10)我们现在把最新的历史组RH(n)组合为:
RH(n)={max(n),max(n-1),max(n-2),max(n-3),max(n-4),max(n-5),max(n-6)}
                                                                          (11)
它可以通过取适合的门限值而被变换成二进制电影检测组MD(n),对于2-2下拉,将给出如下的结果:
MD(n)={0,1,0,1,0,1,0},              (12)对于2-3下拉给出如下的结果:
MD(n)={0,1,0,0,1,0,1},              (13)以及对于视频给出如下的结果:
MD(n)={1,1,1,1,1,1,1},              (14)
把该实际的组与被存储在存储器M中的有限数目的已知图案进行比较,从而产生关于电影类型和阶段的信息。在景象切割的情形下,检测器产生输出不可靠,这表示运动补偿最好是被加以关断。
按照本发明的影片模式识别
本发明涉及一种检测在情景中各个对象的影片模式的方法。来自不同的源的越来越多的图象在产生期间被混合。所以,我们建议采用基于对象的运动估值器,这样,它连同在情景中的对象的运动参量估值一起,决定它们的原点。
为此,我们分析由所有的各个参量估值器描述的运动。
让我们把maxo(n)定义为参量矢量Po(n)的最大分量(在此,不取参量矢量的最大分量,同样有可能地使用其中任一个或所有两个参量分量的平均值、绝对值、或相加的绝对值),即,
        maxo(n)=max{sx(o,n),sy(o,n),dx(o,n),dy(o,n)}.    (15)我们现在把最新的历史组RHo(n)组合为:
         RHo(n)={maxo(n),maxo(n-1),maxo(n-2),maxo(n-3),maxo(n-4),maxo(n-5),
 maxo(n-6)                                                                  (16)
它可以通过取适合的门限值而被变换成二进制电影检测组MDo(n),对于2-2下拉,将给出如下的结果:
MDo(n)={0,1,0,1,0,1,0},                (17)对于2-3下拉给出如下的结果:
MDo(n)={0,1,0,0,1,0,1},                (18)以及对于视频给出如下的结果:
MDo(n)={1,1,1,1,1,1,1},                (19)
把实际的组与被存储在存储器M中的有限数目的已知图案进行比较,可以产生对于每个各个对象的关于电影类型和阶段的信息。在景象切割的情形下,检测器产生不可靠的输出,这表示对于所有的对象,运动补偿最好是被加以关断。
参考文献
[1]G.de Haan,R.J.Schutten和A.Pelagotti,”Motionestimation and motion compensated interpolation(运动估值和运动补偿的内插)”,WO 99/16251.
[2]de Haan,”Judder-free video on PC’s(PC上的无震颤的视频)”,Proc.of the WinHEC’98,March 1998,Orlando,(CD-ROM).
[3]G.de Haan和P.W.A.C.Biezen,“An efficient true-motion estimator using candidate vectors from a parametricmotion model(使用来自参量运动模型的候选矢量的有效的真实运动估值器)”,IEEE Tr.On Circuits and Systems for Video Technology,Vol.8,No.1,Mar.1998,pp.85-91.
[4]R.J.Schutten和de Haan,“Real-time 2-3 pull-downelimination applying motion estimation/compensation on aprogrammable device(在可编程设备上应用运动估值/补偿的实时2-3下拉消除)”,IEEE Tr.On Consumer Electronics,Vo l.44,No.3,Aug.1998,pp.930-938.
[5]G.de Haan,P.W.A.C.Biezen,H.Huijgen,和O.A.Ojo,“True motion estimation with 3-D recursive search block-matching(具有三维递归搜索块匹配的真实运动估值)”,IEEE Tr.OnCircuits and Systems for Video Technology,Vol.3,October 1993,pp.368-388.
[6]G.de Haan和P.W.A.C.Biezen,“Sub-pixel motionestimation with 3-D recursive search block-matching(具有三维递归搜索块匹配的子象素运动估值)”,Signal Processing:ImageCommunication 6,1994,pp.229-239.G.de Haan,J.Kettenis,andB.Deloore,“IC for motion compensated 100Hz TV,with a smoothmotion movie-mode(用于具有平滑运动电影模式的,运动补偿的100Hz电视的集成电路)”,IEEE Tr.On Consumer Electronics,Vol.42,No.2,May 1996,pp.165-174.
[7]G.de Haan和P.W.A.C.Biezen,“Time-recursive de-interlacing for high-quality television receivers(用于高质量电视机的时间递归去交织)”,Proc.Of the Int.Workshop on HDTVand the Evolution of Television,Taipei,Taiwan,November 1995,pp.8B25-8B33.
[8]G.de Haan,H.Huijgen,P.W.A.C.Biezen和O.A.Ojo,“Method and appaatus for discriminating between movie film andnon-movie film and generating a picture signal processing modecontrol signal(用于鉴别电影影片和非电影影片以及产生图象信号处理模式控制信号的方法和设备)”,United States PatentNo.US5,365,280,November 15,1994。

Claims (13)

1.一种用于检测包括一系列接连的场的影片内容的图象重复模式的方法,该方法包括以下步骤:
-建立影片内容的运动参量图案;
-把图案与多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定图象重复模式;
其特征在于,该方法包括以下步骤:
·识别在接连的场内的多个不同的对象,一个对象被定义为可以用单个运动模式描述的接连的场的一个图象部分;
·实行以下步骤:
-建立接连的场内的每个对象的的运动参量图案;
-把运动参量图案与多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定每个对象的图象重复模式。
2.用于检测包括一系列接连的场的影片内容的图象重复模式的设备,该设备包括处理装置和存储器(M),处理装置被安排成可以执行以下步骤:
-建立影片内容的运动参量图案;
-把图案与被存储在存储器中的多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定图象重复模式;
其特征在于,处理装置被安排成可执行以下步骤:
·识别在接连的场内的多个不同的对象,一个对象被定义为可以用单个运动模式描述的接连的场的一个图象部分;
·执行以下步骤:
-建立接连的场内的每个对象的的运动参量图案;
-把运动参量图案与被存储在存储器中的多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定每个图案的图象重复模式。
3.按照权利求2的设备,其中所述处理装置被安排成可通过也使用运动估值技术来识别所述多个不同的对象。
4.按照权利求3的设备,包括多个运动模型参量估值器(PEm(n)),它们并行地运行,以执行所述运动估值技术。
5.按照权利求2的设备,包括分段单元(SU),以便执行递归的分段方法来识别所述多个对象。
6.按照权利求2的设备,包括数据减缩单元(DRU)。
7.按照权利求2的设备,其中所述预定的运动参量图案涉及到以下的影片模式组中的至少一个影片模式:2-2下拉模式、3-2下拉模式、和视频模式。
8.按照权利求2的设备,还包括影片处理单元,它执行影片内容处理步骤。
9.按照权利求8的设备,其中所述影片处理单元被安排成可执行以下步骤中的至少一个步骤:图象速率变换、去交织、和影片震颤去除。
10.提供有按照权利求2到9的任一项的设备的芯片。
11.提供有按照权利求10的芯片的电视设备。
12.被计算机设备装载的计算机程序产品,包括用于检测其中包含了一系列接连的场的影片内容的图象重复模式的指令,该设备包括处理装置和存储器,计算机程序产品在被装载后可向处理装置提供执行以下步骤的能力:
-建立影片内容的运动参量图案;
-把图案与被存储在存储器中的多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定图象重复模式;
其特征在于,处理装置被安排成可执行以下步骤:
·识别在接连的场内的多个不同的对象,一个对象被定义为可以用多个运动模式描述的接连的场的一个图象部分;
·执行以下步骤:
-建立接连的场内的每个对象的的运动参量图案;
-把运动参量图案与被存储在存储器中的多个预定的运动参量图案进行比较;
-通过使用前面步骤的结果来确定每个图案的图象重复模式。
13.提供有按照权利求12的计算机程序产品的数据载体。
CN02800058A 2001-01-11 2002-01-04 识别并行地出现在单个电视信号场中的影片和视频对象 Pending CN1456015A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01200082 2001-01-11
EP01200082.4 2001-01-11

Publications (1)

Publication Number Publication Date
CN1456015A true CN1456015A (zh) 2003-11-12

Family

ID=8179740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN02800058A Pending CN1456015A (zh) 2001-01-11 2002-01-04 识别并行地出现在单个电视信号场中的影片和视频对象

Country Status (6)

Country Link
US (1) US6937655B2 (zh)
EP (1) EP1352528A1 (zh)
JP (1) JP2004518341A (zh)
KR (1) KR20030008150A (zh)
CN (1) CN1456015A (zh)
WO (1) WO2002056597A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100370807C (zh) * 2004-04-30 2008-02-20 松下电器产业株式会社 采用自适应时间预测的运动向量估计方法及其运动估计器
CN100417188C (zh) * 2004-04-30 2008-09-03 松下电器产业株式会社 块模式自适应运动补偿
CN101175205B (zh) * 2006-11-03 2010-05-19 联发科技股份有限公司 检测方法
CN101378500B (zh) * 2007-08-29 2012-12-26 Lg电子株式会社 管理视频数据的方法和装置
CN104217420A (zh) * 2013-05-31 2014-12-17 三星Sds株式会社 检测图像中的重复图案的方法及装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100854091B1 (ko) * 2002-07-13 2008-08-25 삼성전자주식회사 영상신호의 필름 모드 검출장치 및 방법
US7362374B2 (en) * 2002-08-30 2008-04-22 Altera Corporation Video interlacing using object motion estimation
KR100529308B1 (ko) * 2002-09-17 2005-11-17 삼성전자주식회사 영상신호 처리에서의 필름 모드 검출 방법 및 장치
KR100927143B1 (ko) 2002-11-27 2009-11-18 삼성전자주식회사 움직임 검출장치 및 방법
KR20050085567A (ko) * 2002-12-12 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 텔레비전 필드들에서 동시에 발생하는 필름 및 비디오의인식
KR20040054032A (ko) * 2002-12-16 2004-06-25 삼성전자주식회사 영상신호의 포맷 검출장치 및 방법
KR20040055059A (ko) 2002-12-20 2004-06-26 삼성전자주식회사 영상포맷의 변환장치 및 방법
KR100518580B1 (ko) 2003-06-10 2005-10-04 삼성전자주식회사 인버스 텔레시네 변환장치 및 변환방법
TWI236283B (en) * 2004-01-20 2005-07-11 Realtek Semiconductor Corp Apparatus and related method for film mode detection using motion estimation
EP1592258B1 (en) * 2004-04-30 2011-01-12 Panasonic Corporation Motion estimation employing adaptive spatial update vectors
EP1592254A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film mode extrapolation
EP1592250A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film-mode detection in video sequences
EP1592246A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film mode determination in video image still areas
US7697759B2 (en) * 2004-05-11 2010-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Split-remerge method for eliminating processing window artifacts in recursive hierarchical segmentation
EP1769642A1 (en) * 2004-06-30 2007-04-04 Koninklijke Philips Electronics N.V. Motion estimation with video mode detection
KR100574503B1 (ko) * 2004-08-26 2006-04-27 삼성전자주식회사 필름모드 판별장치 및 그 방법
KR100633143B1 (ko) * 2004-08-26 2006-10-11 삼성전자주식회사 배드에딧 검출이 가능한 필름모드 판별장치 및 그 방법
US20080192827A1 (en) * 2005-04-12 2008-08-14 Koninklijke Philips Electronics, N.V. Video Processing With Region-Based Multiple-Pass Motion Estimation And Update Of Temporal Motion Vector Candidates
WO2007017808A2 (en) 2005-08-09 2007-02-15 Nxp B.V. Motion judder cancellation in image sequences
FR2901951A1 (fr) * 2006-06-06 2007-12-07 St Microelectronics Sa Detecteur de cadence par regions
JP4181592B2 (ja) * 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8233087B2 (en) 2006-11-08 2012-07-31 Marvell International Ltd. Systems and methods for deinterlacing high-definition and standard-definition video
US20080301211A1 (en) * 2007-06-01 2008-12-04 United States of America as represented by the Administrator of the National Aeronautics and Systems, methods and apparatus for d-dimensional formulation and implementation of recursive hierarchical segmentation
KR100855450B1 (ko) * 2007-06-04 2008-09-01 에스케이 텔레콤주식회사 동영상 객체의 모션 스타일 전이 방법 및 이에 적용되는장치
JP5187568B2 (ja) * 2008-05-14 2013-04-24 ソニー株式会社 信号判別装置、信号処理装置、画像表示装置および再生装置
JP4643727B2 (ja) * 2009-05-29 2011-03-02 株式会社東芝 画像処理装置及び画像処理方法
US20110268365A1 (en) * 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof
KR20120004203A (ko) * 2010-07-06 2012-01-12 삼성전자주식회사 디스플레이 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982280A (en) * 1989-07-18 1991-01-01 Yves C. Faroudja Motion sequence pattern detector for video
US5291280A (en) * 1992-05-05 1994-03-01 Faroudja Y C Motion detection between even and odd fields within 2:1 interlaced television standard
US6222589B1 (en) * 1996-08-08 2001-04-24 Yves C. Faroudja Displaying video on high-resolution computer-type monitors substantially without motion discontinuities
KR100582856B1 (ko) * 1997-09-23 2006-05-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 추정 및 움직임 보상된 보간법
US6108041A (en) * 1997-10-10 2000-08-22 Faroudja Laboratories, Inc. High-definition television signal processing for transmitting and receiving a television signal in a manner compatible with the present system
US6014182A (en) * 1997-10-10 2000-01-11 Faroudja Laboratories, Inc. Film source video detection
US6111610A (en) * 1997-12-11 2000-08-29 Faroudja Laboratories, Inc. Displaying film-originated video on high frame rate monitors without motions discontinuities
EP1149496B1 (en) * 1998-12-02 2002-07-31 STMicroelectronics Asia Pacific Pte Ltd. Progressive/interlace and redundant field detection for encoder

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100370807C (zh) * 2004-04-30 2008-02-20 松下电器产业株式会社 采用自适应时间预测的运动向量估计方法及其运动估计器
CN100417188C (zh) * 2004-04-30 2008-09-03 松下电器产业株式会社 块模式自适应运动补偿
CN101175205B (zh) * 2006-11-03 2010-05-19 联发科技股份有限公司 检测方法
CN101378500B (zh) * 2007-08-29 2012-12-26 Lg电子株式会社 管理视频数据的方法和装置
CN104217420A (zh) * 2013-05-31 2014-12-17 三星Sds株式会社 检测图像中的重复图案的方法及装置
CN104217420B (zh) * 2013-05-31 2018-01-26 三星Sds株式会社 检测图像中的重复图案的方法及装置

Also Published As

Publication number Publication date
WO2002056597A1 (en) 2002-07-18
US6937655B2 (en) 2005-08-30
KR20030008150A (ko) 2003-01-24
EP1352528A1 (en) 2003-10-15
US20020131499A1 (en) 2002-09-19
JP2004518341A (ja) 2004-06-17

Similar Documents

Publication Publication Date Title
CN1456015A (zh) 识别并行地出现在单个电视信号场中的影片和视频对象
CN100342401C (zh) 基于段的运动估计
CN1284373C (zh) 用于运动或深度估计的方法和装置和配备这种运动估计装置的图像处理设备
CN1846445A (zh) 基于遮蔽检测对像素的时间插值
US7542600B2 (en) Video image quality
US7982771B2 (en) Method of emendation for attention trajectory in video content analysis
CN1131439C (zh) 目标跟踪方法及其设备
US6173077B1 (en) Image segmentation
CN101048799A (zh) 通过实时视频动作分析理解视频内容
KR20110124222A (ko) 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅
CN1311409C (zh) 用于分割的***和方法
CN1922631A (zh) 创建深度图
CN1650622A (zh) 用于数字重新灌录或修改电影或其他图像序列数据的***和方法
CN1711556A (zh) 检测均匀色片段的方法和***
CN1601914A (zh) 解交错装置及其方法
CN1125570C (zh) 运动图象转换装置
CN1930585A (zh) 建立深度图
CN1711776A (zh) 用于非线性的多运动模型和移动边界提取的方法和设备
CN1742486A (zh) 背景运动向量检测
CN1433640A (zh) 用于子画面生成的全局运动估计
CN1706189A (zh) 带有降质的图像处理单元
CN1723711A (zh) 用于数字视频处理的一元化量度(umdvp)
CN1606345A (zh) 进行反向电视电影处理的装置与方法
CN1231055C (zh) 电视中传送电影场景的数字检测装置
US6687405B1 (en) Image segmentation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication