CN101772950A - 处理动态图像的方法及设备 - Google Patents

处理动态图像的方法及设备 Download PDF

Info

Publication number
CN101772950A
CN101772950A CN200880101785A CN200880101785A CN101772950A CN 101772950 A CN101772950 A CN 101772950A CN 200880101785 A CN200880101785 A CN 200880101785A CN 200880101785 A CN200880101785 A CN 200880101785A CN 101772950 A CN101772950 A CN 101772950A
Authority
CN
China
Prior art keywords
dynamic image
vector
characteristic vector
common ground
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880101785A
Other languages
English (en)
Inventor
李载炯
赵仙玉
金洁延
朴大锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enswers Co Ltd
Original Assignee
Enswers Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020070054601A external-priority patent/KR100888804B1/ko
Priority claimed from KR1020070060978A external-priority patent/KR100842310B1/ko
Priority claimed from KR1020080051688A external-priority patent/KR100981125B1/ko
Application filed by Enswers Co Ltd filed Critical Enswers Co Ltd
Publication of CN101772950A publication Critical patent/CN101772950A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种处理动态图像的方法及设备。提供了一种处理动态图像的方法，包括：将动态图像的帧划分生成多个子帧，计算每个子帧的颜色分布向量；基于颜色分布向量，生成所述颜色分布向量的一阶微分；基于颜色分布向量的一阶微分，生成所述颜色分布向量的二阶微分；并且基于颜色分布向量、颜色分布向量的一阶微分和颜色分布向量的二阶微分，生成帧的特征向量。动态图像处理方法能够提供一种通过从动态图像的帧中提取特征来确定动态图像之间的共同特征的有效的方式。

Description

处理动态图像的方法及设备
技术领域
本发明涉及一种处理动态图像的方法及设备。
背景技术
随着互联网技术的发展以及动态图像拍摄设备(包括数码相机)的普及，UCC(用户创建内容)成为了一个公知术语。更便宜的存储器和更快的宽带连接网络，使人们能够用动态图像而不是静止图像来分享信息。而且，服务提供商如YouTube(http://www.youtube.com)能够提供一个容易分享动态图像的环境。
但是，尽管在互联网上共享的动态图像的数量急剧增加，动态图像搜索技术的发展相对缓慢。通常，动态图像搜索结果提供一个相关于用户输入的关键字的动态图像的简单列表(例如，动态图像的标题包括关键字)。
在这种情况下，重复示出相同动态图像的列表可能被频繁地提供。这就需要考虑动态图像之间的共同特征(commonality)或相似性，以改进搜索结果。考虑动态图像之间的共同特征和相似性能够有助于检测利用内容非法散布的著作权侵权。
但是，为了确定动态图像的共同特征或相似性，用二进制代码作动态图像的直接比较需要极强的运算能力。因此就需要能代表动态图像信息的相对小型的比较标准(比较数据)。
因为即使利用相对小型的比较标准比较大型动态图像，也是一项耗时的工作，所以就需要更有效的比较动态图像的方法。
在由搜索引擎提供的动态图像搜索结果中，重复示出相同的动态图像或极相似的动态图像的列表，作为用于该列表的一个解决方案，就需要一种考虑共同特征(或相似性)的多个动态图像的聚类(clustering)方法。
发明内容
技术问题
一方面，本发明提供了动态图像处理方法及设备，用以提高动态图像比较方法并提高比较结果的效率。
一方面，本发明提供了一种用以生成动态图像的特征向量(帧特征向量)的方法和设备，所述特征向量能够作为用于确定动态图像之间的共同特征和相似性的比较标准来使用。
一方面，本发明提供了一种用以利用动态图像的特征向量在两个动态图像之间检测共同部分、并且用以获得共同部分的时间信息的方法和设备。
一方面，本发明是为了提供一种用以将具有共同特征(即共享共同部分)的动态图像聚集成族的方法和设备。
技术方案
一方面，本发明提供了一种处理动态图像的方法。将动态图像的帧划分生成多个子帧，每个子帧的颜色分布向量能够被计算。颜色分布向量的一阶微分能够基于颜色分布向量生成。颜色分布向量的二阶微分能够基于所述帧的颜色分布向量的一阶微分生成。所述帧的特征向量能够基于颜色分布向量、颜色分布向量的一阶微分和颜色分布向量的二阶微分生成。
为了生成帧的特征向量，可以从一组由所述帧的颜色分布向量、所述颜色分布向量的一阶微分和所述颜色分布向量的二阶微分的分量所组成的组中选定多个分量作为帧特征向量的分量。
为了生成子帧的颜色分布向量，通过对子帧的象素的颜色向量取平均值，能够计算所述子帧的平均颜色向量。
所述子帧的平均颜色向量能够被归一化。在所述平均颜色向量的归一化过程中，能够利用至少一个从由多个子帧的平均颜色向量的最小向量和平均向量所组成的组中选定的向量。所述多个子帧属于包括所述子帧并且对应于动态图像中子帧的显示区域的时间段。
另一方面，本发明提供了一种处理动态图像的方法。分别对应第一动态图像和第二动态图像的帧特征向量能够被生成。第一动态图像和第二动态图像的共同部分能够通过将第一动态图像的帧特征向量与第二动态图像的帧特征向量进行比较而被检测。
为了共同部分的检测，能够执行动态图像区段的比较。为了动态图像区段的比较，能够通过相应地将第一动态图像的第一动态图像区段的p(p是任意自然数，p≥1)帧的特征向量与第二动态图像的第二动态图像区段的p帧的特征向量进行比较，生成第一动态图像区段和第二动态图像区段的共同特征评估值。第二动态图像区段的p帧能够具有与第一动态图像区段的p帧的排列相对应的排列。
共同特征评估值能够基于第一动态图像区段的特征向量与第二动态图像区段的相应的特征向量之间的距离生成(第一和第二动态图像区段能够具有相同长度的Δt)。
动态图像区段的比较能够分别对应第一动态图像区段开始时间t1(从第一动态图像的开始点经过t1之后)和第二动态图像区段开始时间t2(从第二动态图像的开始点经过t2之后)执行。t1能够等于或大于0，并且小于第一动态图像的长度。t2能够等于或大于0，并且小于第二动态图像的长度。
假使共同特征评估值表示第一动态图像区段和第二动态图像区段中的共同特征，就能够通过将第一动态图像的特征向量与第二动态图像的特征向量进行比较，应用比第一动态图像区段和第二动态图像区段中的p帧的fps(每秒帧数)更大的fps来分别检测第一动态图像和第二动态图像中的共同部分的开始时间和结束时间。
动态图像区段的比较，通过从第二动态图像的开始点(t2＝0)增加第二动态图像区段的开始时间t2而执行，其中开始时间t1设于第一动态图像的开始点(t1＝0)。在这种情况下，为了第二动态图像区段的开始时间tg，所述开始时间tg使得共同特征评估值显示第一动态图像区段和第二动态图像区段中的共同特征，共同部分开始-结束点检测能够将第一动态图像的特征向量仅与第二动态图像的帧的特征向量进行比较，所述第二动态图像的帧位于开始点后tg之后。
为了重复动态图像区段的比较，假使共同特征评估值不满足需要示出第一动态图像区段和第二动态图像区段的共同特征的参考值，那么第一动态图像区段开始时间t1的变化和/或第二动态图像区段开始时间t2的变化能够正比于所述参考值和共同特征评估值之间的差值。
另一方面，本发明提供了一种处理动态图像的方法。从包括多个动态图像的动态图像族中，第一动态图像和第二动态图像各自的特征向量能够被生成。通过将第一动态图像的特征向量和第二动态图像的特征向量进行比较，能够检测两个动态图像的共同部分。假使第一动态图像和第二动态图像的共同部分被检测到，那么族标识符匹配能够被执行用于使第一动态图像和第二动态图像具有相同的族标识符。假使在族标识符匹配过程中，一个动态图像中的原来的族标识符被新的族标识符所替代，那么具有原来的族标识符的另一个动态图像(既不是第一动态图像，也不是第二动态图像)的族标识符的替换能够被执行，以将原来的族标识符替换为新的族标识符。
在动态图像族中用于动态图像的文本标记能够被生成。用于共享文本标记的动态图像的共同部分的检测和族标识符的处理，能够先于那些用于并不共享文本标记的动态图像的过程。
上述动态图像处理方法(帧特征向量生成方法、共同部分检测方法和动态图像聚类方法)能够由计算机执行。动态图像处理方法能够作为程序存储在计算机可读介质中。
另一方面，本发明提供了一种处理动态图像的方法的设备。所述设备的特征向量生成模块能够生成第一动态图像的特征向量和第二动态图像的特征向量。所述设备的共同部分检测模块能够通过将第一动态图像的特征向量与第二动态图像的特征向量进行比较，检测第一动态图像和第二动态图像的共同部分。
特征向量生成模块能够计算通过划分动态图像的帧而生成的多个子帧中每个子帧的颜色分布向量。特征向量生成模块能够基于颜色分布向量、颜色分布向量的一阶微分以及颜色分布向量的二阶微分，生成帧的特征向量。特征向量生成模块能够从由颜色分布向量的分量、颜色分布向量的一阶微分的分量和颜色分布向量的二阶微分的分量所组成的组中，选择多个分量，作为帧特征向量的分量。
动态图像处理设备的共同部分检测模块能够包括动态图像区段比较模块。动态图像区段比较模块能够生成第一动态图像区段和第二动态图像区段之间的共同特征评估值，所述第一动态图像区段具有第一动态图像的开始点之后的开始时间t1和长度Δt，所述第二动态图像区段具有第二动态图像的开始点之后的开始时间t2和长度Δt。共同特征评估值能够通过将第一动态图像区段的p(p是任意自然数，p≥1)帧的特征向量和第二动态图像区段的p帧的特征向量进行比较而生成，所述第二动态图像区段的p帧相应地具有与第一动态图像区段的p帧的排列相对应的排列。
共同部分检测模块能够包括共同部分开始-结束点检测模块。共同部分开始-结束点检测模块分别检测第一动态图像和第二动态图像的共同部分的开始点和结束点。假使由动态图像区段比较模块生成的共同特征评估值表示第一动态图像区段和第二动态图像区段中的共同特征，就能够通过将第一动态图像的特征向量和第二动态图像的特征向量进行比较，应用比第一动态图像区段和第二动态图像区段中的p帧的fps更大的fps，检测所述开始点和结束点。
动态图像处理设备能够包括动态图像聚类模块。假使第一动态图像和第二动态图像之间的共同部分由动态图像处理设备的共同部分检测模块所检测，那么动态图像聚类模块能够执行族标识符匹配。利用族标识符匹配，第一动态图像和第二动态图像能够具有相同的族标识符。假使在族标识符匹配过程中，原来的族标识符被新的族标识符所替代，那么动态图像聚类模块能够用新的族标识符替代另一个动态图像(既不是第一动态图像，也不是第二动态图像)的原来的族标识符。
动态图像处理设备能够包括文本标记生成模块。文本标记生成模块能够分别生成第一至第三动态图像的文本标记。动态图像处理设备的特征向量生成模块能够生成第三动态图像的特征向量。
假使第一动态图像和第二动态图像之间存在共享的文本标记，并且第一动态图像和第三动态图像之间不存在共享的文本标记。动态图像处理设备的共同部分检测模块能够先于第一动态图像和第三动态图像的共同部分检测而执行第一动态图像和第二动态图像的共同部分检测。
通过本发明的实施例，本发明额外的方面和优势将在后面的说明中部分地描述，并且部分地将从说明中明显地看出或得知。
附图说明
图1示出本发明的一个实施例的动态图像的帧和其子帧。
图2示出本发明的一个实施例的帧特征向量生成方法的流程图。
图3示出本发明的一个实施例的颜色分布向量、颜色分布向量的一阶微分以及颜色分布向量的二阶微分之间的关系。
图4示出本发明的一个实施例的颜色分布向量、颜色分布向量的一阶微分以及颜色分布向量的二阶微分的特征向量的构成。
图5示出本发明的一个实施例的动态图像共同部分检测方法的流程图。
图6示出本发明的一个实施例的动态图像区段比较过程。
图7示出本发明的一个实施例的两个动态图像之间的共同部分检测方法的流程图。
图8示出本发明的一个实施例的两个动态图像之间的共同特征关系。
图9示出本发明的一个实施例的动态图像聚类方法的流程图。
图10示出本发明的一个实施例的动态图像聚类的条件和结果。
图11示出本发明的一个实施例的动态图像族的动态图像在共同时间轴上的排列结果。
图12示出本发明的一个实施例的动态图像族的数据结构存储信息。
图13示出本发明的一个实施例的动态图像族中代表性动态图像的确定过程。
图14示出本发明的一个实施例的动态图像处理设备的构造。
具体实施方式
下面将参照附图更加详细地描述根据本发明特定方面的处理动态图像的方法和设备的实施例。但是，实施例的描述并非将本发明限定于特定的实施例。实施例的描述能够理解为包括所有的变换、等效和替代。假使相关现有技术的详细描述模糊了本发明的要点，那么能够忽略该详细描述。并且，在对附图的描述中，用相同的附图标记所表示的部件是相同的或一致的，不考虑附图编号，并且省略多余的解释。
图1示出本发明的一个实施例的动态图像的帧和其子帧。
帧能够是组成动态图像的静止图像。帧能够用作用于编辑动态图像的单位。通常，动态图像能够被编码成每秒具有24或30帧。高质量的动态图像能够被编码成每秒具有60帧。
在本发明的实施例中，动态图像的目标帧不必维持动态图像的编码fps，其中用于动态图像比较的特征向量是从所述动态图像的目标帧中提取的。目标帧之间的时间间隔不必是恒定的。
图1中的第一帧(110)是动态图像的第一帧。对于动态图像的时间轴，时间轴的原点能够是图1中动态图像的开始点。第一帧能够是在动态图像的开始点(t＝0)的静止图像。
第二帧(120)和第三帧(130)是两个相邻的帧。这两个相邻的帧之间的时间间隔能够作为定义帧的fps的倒数计算。用于从中提取用于两个动态图像比较的特征向量的帧能够被限定于另一个独立于这两个动态图像的编码fps的特征fps。
参照图1，第二帧(120)被以4×4形式划分，并且第一子帧(121)是第二帧的16个子帧中的一个。在本发明的该实施例中，帧的特征向量源于子帧的颜色分布信息。下面将参照图2的流程图详细描述生成特征向量的过程。
图2示出本发明的一个实施例中的帧特征向量生成方法的流程图。在步骤S210计算子帧的颜色分布向量时，向量代表子帧的颜色分布，所述子帧通过划分动态图像的帧而形成。
颜色分布向量是代表每个子帧中颜色分布信息的向量。每个子帧中的信息能够通过子帧中象素的颜色向量表达。每个子帧的信息能够由代表该子帧的颜色分布的向量所代表。
在该实施例中，以n×n形式划分的动态图像的帧能够具有n2个子帧。但是，帧不必以n×n形式划分。帧能够以m×n形式划分(n、m是两个不同的任意自然数)。
代表性颜色分布向量计算方法是为了获得子帧中象素的颜色向量的平均向量。子帧的颜色分布向量能够通过以下等式表达。
【等式1】
Di(t)＝[Ri(t)，Gi(t)，Bi(t)]
t是表示时间轴上帧的位置的时间变量，其中时间轴具有在动态图像的开始点的原点。i是所述帧的每个子帧的索引(i＝1，2...n2)。Ri(t)，Gi(t)和Bi(t)分别是子帧i中红、绿、蓝分量的平均值。
颜色分布向量表示在RGB颜色坐标系中。但是，其它颜色坐标系例如YUV和CYMK能够用以表示子帧中象素的颜色向量。子帧的颜色分布向量能够表示在相同的颜色坐标系中作为象素的颜色向量。明显地，一种颜色坐标系中的向量能够被变换为另一种颜色坐标系中的向量。
在步骤S220对所获得的颜色分布向量Di(t)执行归一化。为此，Di(t)能够除以颜色分布向量的平均值，所述颜色分布向量的平均值属于包括t的特定时间段(例如，从t-ε至t+ε)。该时间段的颜色分布向量的最小值能够从Di(t)减去。
根据本发明的一个实施例，描述了利用子帧的颜色分布向量的最小值和/或平均值的颜色分布向量的归一化，其中所述子帧对应于动态图像中相同的显示区域。但是，颜色分布向量的归一化方法不限于在此描述的内容。
在步骤S230生成颜色分布向量的一阶微分，颜色分布向量的一阶微分能够被定义为一个子帧的颜色分布向量和另一个子帧的颜色分布向量之间的差值。
但是，一阶微分可以不是与颜色分布向量相同维数的向量。一阶微分可以是作为一个颜色分布向量的分量与另一个颜色分布向量的对应分量之间的差值计算的标量值。同理此论述可应用于二阶微分。
颜色分布向量的一阶微分Eij(t)能够通过以下数学等式计算。其中，Eij(t)是微分向量。
【等式2】
Eij(t)＝Di(t)-Dj(t)
t是表示时间轴上帧的位置的时间变量，始于动态图像的开始点。i和j是子帧的索引(i，j＝1，2...n2，n是任意自然数)。在该实施例中，Di(t)和Dj(t)是RGB颜色坐标系的三维向量。颜色分布向量的一阶微分Eij(t)可以是三维向量。
在步骤S240生成颜色分布向量的二阶微分，所述颜色分布向量的二阶微分能够被定义为一个一阶微分和另一个一阶微分之间的差值。
如之前对一阶微分的讲述，二阶微分可以不是向量。二阶微分可以由一个一阶微分和另一个一阶微分之间的差值算得，并且所述微分不必是与颜色分布向量或一阶微分相同维数的向量。
颜色分布向量的二阶微分Aijkl(t)能够通过以下数学等式计算。
【等式3】
Aijkl(t)＝Eij(t)-Ekl(t)
t是表示时间轴上帧的位置的时间变量，其中时间轴具有在动态图像的开始点的原点。i，j，k和1是子帧的索引(i，j，k，l＝1，2...n2)。颜色分布向量、颜色分布向量的一阶微分、颜色分布向量的二阶微分之间的关系参照图3理解。
在步骤S250生成帧的特征向量，帧的特征向量是基于上述计算(S110，S120，S130，S140)的结果生成。
在该实施例中，在RGB颜色坐标系(3维)中子帧的颜色分布的特征值基于子帧中象素的颜色向量计算。子帧的颜色分布向量、颜色分布向量的一阶微分和颜色分布向量的二阶微分都是三维向量。这些向量的维数能够从属于坐标系的维数，子帧的颜色分布的特征值表示在该坐标系。
算得的颜色分布向量、颜色分布向量的一阶微分和颜色分布向量的二阶微分代表帧中的信息。因此，代表帧信息的特征向量能够通过从这些向量中选择多个分量而生成。
特征向量能够通过从颜色分布向量、颜色分布向量的一阶微分和颜色分布向量的二阶微分的分量所组成的组中选择不止一个分量而组成。假使从这些向量中选择h(h是任意自然数)个分量，那么帧的特征向量可以是h维向量。特征向量的维数可针对动态图像比较的精确度和速度而更改。
参照图4能够理解由向量组成特征向量。在图4中，示出子帧的颜色分布向量、颜色分布向量的一阶微分和颜色分布向量的二阶微分的不止一个分量。并非必要的是，至少一个分量选自三个向量(子帧的颜色分布向量、颜色分布向量的一阶微分和颜色分布向量的二阶微分)中的每一个。所述三类中不止一类的向量能够从特征向量的组成中排除。
上述选择方法不是生成特征向量的唯一的解决方案，并且另外的计算过程能够用于从子帧的颜色分布向量、颜色分布向量的一阶微分和颜色分布向量的二阶微分中生成特征向量。
所述特征向量能够用作帧的指纹数据。对于比较帧的全部信息以确定动态图像共同特征或相似性的问题，能够通过利用上述简化的特征向量来解决。
特征向量的更高维数可能需要更强的计算能力，并且能够提供更精确的动态图像比较。因此，确定合适的特征向量维数是需要的。
参照图4，一阶微分和二阶微分是与颜色分布向量相同维数的向量。如上文所述，一阶微分和二阶微分可以不是向量。一阶微分和二阶微分能够基于形成特征向量所需的子帧的颜色分布向量的分量而计算。这种情况下，一阶微分和二阶微分可以是比颜色分布向量更低维数的向量或是标量值。
动态图像数据可以分为音频数据和视频数据。可以对每个数据进行特征向量提取。图1至图4的描述主要是关于基于视频数据的帧特征向量提取。
图5示出本发明的一个实施例的动态图像共同部分检测方法的流程图。
在步骤S410生成动态图像的特征向量，其中能够对每个比较目标动态图像进行帧的特征向量的提取。特征向量表示动态图像中帧的信息。上文参照图1至图4对本发明的一个实施例的特征向量生成方法进行了描述。
用于检测共同部分(S420)的特征向量生成方法并不限于上述特征向量生成(提取)方法。从动态图像的帧中提取的信息能够作为在检测共同部分(S420)中两个动态图像比较的基础。
在检测第一动态图像和第二动态图像的共同部分(S420)中，两个动态图像之间的共同部分能够通过比较两个动态图像的特征向量来检测。
共同部分的检测(S420)能够包括：比较动态图像区段的步骤S421，通过比较动态图像的区段以计算两个动态图像中存在共同部分的可能性；以及检测共同部分的详细信息的步骤S422，以获得共同部分的详细信息(信息关于每个动态图像的共同部分的开始点和结束点)。
在动态图像区段的比较(S421)中，通过比较第一动态图像的动态图像区段与第二动态图像的动态图像区段，能够测量两个动态图像中的共同特征。
根据本发明的一个实施例，两个动态图像区段之间的共同特征能够基于动态图像区段相应的特征向量的比较而计算。
第一和第二动态图像区段的帧中相应两个特征向量是具有相同的时间间隔的帧的特征向量，所述时间间隔从每个动态图像区段的开始时间开始。
特征向量的比较能够通过计算第一动态图像区段的特征向量和第二动态图像区段的(相应的)特征向量的距离来实现。
根据本发明的一个实施例，上文图2至图4所述的特征向量，可以是基于帧的颜色分布向量、颜色分布向量的一阶微分和颜色分布向量的二阶微分组成的h维向量。假使Fb(t1)是F(t1)的特征向量的第b个分量，其中F(t1)是从第一动态图像区段的开始点起t1时间后的帧，并且Gb(t2)是G(t2)的特征向量的第b个分量，其中G(t2)是从第二动态图像区段的开始点起t2时间后的帧，则两个相应的特征向量之间的距离D(t1，t2)能够由它们之间的向量长度L1来定义。所述距离能够通过下列等式表示。
【等式4】
D ( t 1 , t 2 ) = Σ b = 1 h | F b ( t 1 ) - G b ( t 2 ) |
b是特征向量的索引，并且h是特征向量的维数。
根据本发明的一个实施例，可以针对第一和第二动态图像区段的每个特征向量对计算距离。在动态图像区段的比较中，两个动态图像区段之间的共同特征评估值能够基于特征向量之间的距离来计算。特征向量对的距离之和或平均值可以是共同特征评估值的基础。
特征向量之间的距离不必通过向量长度L1来表示。向量长度L2以及具有有限最大值的向量长度L1等能够用于表示特征向量之间的距离。而且，假使向量长度L1的值不满足特定阈值，那么所述距离可以设为0(例如，假使向量长度L1达到阈值，那么所述距离可以设为1，并且否则所述距离可以设为0)。
满足预设阈值的共同特征评估值能够表示两个目标区段(第一和第二动态图像区段)之间存在共同特征。所述阈值能够基于利用简单动态图像的预测试而确定。
假使针对第一动态图像区段和第二动态图像区段所计算的共同特征评估值表示没有共同特征，那么动态图像区段比较可以重复用于第一动态图像和第二动态图像中动态图像区段的其它开始点。
假使，共同特征评估值表示两个动态图像区段之间明显不同，那么相邻区段之间的共同特征也无指望。因此，针对距当前比较目标区段有相对较长的时间间隔的动态图像区段执行动态图像区段比较是有效的。
因此，为了改变时间变量以指向下一个比较目标动态图像区段以重复执行比较，能够应用与表示共同特征所需要的共同特征评估值和阈值之差成正比的变量。
假使，共同特征评估值表示两个动态图像区段中有共同特征，就能够执行检测共同部分的开始-结束点的步骤S422。
参照图6能够理解本发明的一个实施例的动态图像区段比较过程。第一动态图像和第二动态图像的动态图像区段的长度分别是Δt。其中第二动态图像区段的开始点设于第二动态图像的开始，动态图像区段比较能够通过改变从第一动态图像的开始起的第一动态图像区段的开始点而重复执行。
参照图6，对于第一动态图像区段的开始点tf，共同特征评估值表示两个比较目标区段之间有共同特征。因为共同特征评估值是基于相对较少的帧的比较，所以能够执行共同部分的开始-结束点的检测(S422)以检测共同部分的准确的开始-结束点。
通过在共同部分开始-结束点的检测之前利用更小的fps执行动态图像区段的比较，能够节省比较很多动态图像所需的计算能力。
在共同部分的开始点和结束点的检测(S422)中，假使在动态图像区段比较(S421)中所算得的共同特征评估值表示两个动态图像区段中的共同特征，那么能够分别检测第一动态图像和第二动态图像中的共同部分的开始点和结束点。
如上文所述，对于共同部分开始-结束点的检测，能够应用比动态图像区段比较中所用的帧的fps更大的fps(每秒帧数)。这样就能够提高共同部分开始-结束点检测的准确性，并节省用于动态图像区段的比较所需的计算能力。
参照图6，由于当第一动态图像的动态图像区段的开始时间达到tf时才能识别共同特征，所以共同部分检测可以限于tf之后执行。即，在共同部分开始-结束点的检测中，第一动态图像中只有在tf之后的帧能够用来与第二动态图像的帧进行比较。
如图6所示，第二动态图像的开始部分能够对应于第一动态图像的中间部分，并且反之亦然。即使第一动态图像和第二动态图像互换，也能够理解上述参照图6的描述。
图7示出本发明的一个实施例的两个动态图像之间共同部分检测方法的流程图，并且图8示出本发明的一个实施例的两个动态图像之间的共同特征关系。
通过在第二动态图像的开始点起重复执行比较，能够检测第二动态图像中与第一动态图像的开始区段(包括第一动态图像的开始点的区段)相同(相同/相似)的区段(S450)。图8示出4类可检测的共同部分。
在图8中，在(a)类中，所述两个动态图像能够完全重叠。在(b)类中，上方的动态图像(第一动态图像)能够被包括在下方的动态图像(第二动态图像)中。在(c)和(d)类中，所述两个动态图像示出部分重叠的共同部分。这4类共同部分能够通过将上方动态图像(第一动态图像)的开始部分与下方动态图像(第二动态图像)进行比较来检测。
假使共同部分被检测，那么在步骤S460共同部分的开始-结束点能够被检测。例如，第一动态图像和第二动态图像各自的共同部分的开始点可以是示出每个动态图像中的共同特征的动态图像区段的开始点。在图8中，第一动态图像的共同部分开始点可以是第一动态图像的开始点，并且由于动态图像区段比较是从第二动态图像的开始点重复执行至结束点的，所以第二动态图像的共同部分开始点可以是示出与第一动态图像的动态图像区段的共同特征的第一区段的开始点。当通过仅比较开始点后的每个动态图像的帧的帧特征向量确定共同部分开始点时，就能够确定共同部分结束点。
在步骤S470此关于共同部分的检测信息能够存储在数据库中。共同部分开始-结束点信息能够包括时间信息和/或帧信息。同样，假使在第二动态图像中找不到对应于第一动态图像的开始(第一)区段的区段，那么在步骤S452能够执行针对第二动态图像的第一(开始)区段的两个动态图像的比较。比较过程可类似于参照图6所给出的描述。假使在步骤S450、S452动态图像区段比较中不存在共同特征，就认为两个动态图像之间没有共同部分。图7和图8中动态图像区段的共同部分检测能够通过利用参照图5描述的共同特征评估值来执行。
对于动态图像之间的共同部分的检测，还可以附加考虑音频数据生成的特征向量。为了提高利用视频数据生成的帧特征向量所进行的动态图像比较的准确性，以及为了验证比较结果，能够利用音频特征向量，假使在动态图像中存在空白部分(例如，在一段时间或丢失/损坏的视频数据中全部是黑/蓝帧)，那么可以利用从音频数据中提取的音频特征向量(音频指纹)。
多种方法能够用于从音频数据中提取音频特征向量。例如，音频特征向量能够基于动态图像的帧的MFCC(Mel倒谱系数)、PLPC(感知线性预测系数)和LPC(线性预测系数)中的至少一个被提取。可以理解，音频特征向量生成方法不必限于上述内容。也可应用本领域技术人员已知的方法。
图9示出本发明的一个实施例的动态图像聚类方法的流程图。参照图9，生成第一动态图像和第二动态图像的特征向量的步骤S610、以及检测两个动态图像的共同部分的步骤S620，先于动态图像的族标识符处理而执行。这两个过程已在上文中参照图1至图8进行描述。
但是，用于动态图像聚类的特征向量生成方法和共同部分检测方法并不限于上述内容。聚类可基于两个动态图像共享共同部分的信息而实现，所述信息是基于另一个标准推得。
在步骤S630处理第一动态图像和/或第二动态图像的族标识符中，相同的族标识符能够授于两个共享共同部分的动态图像。另一个动态图像(既不是第一动态图像，也不是第二动态图像)的族标识符能够被修改为相同的族标识符。
例如，假使两个共享共同部分的动态图像的两个族标识符是不同的，就必须修改至少其中一个族标识符。动态图像的原来的族标识符能被修改成新的族标识符(与其它动态图像相同的族标识符)。
假使两个比较目标动态图像并不共享共同部分，新族的新的族标识符能够被给予该两个动态图像中的动态图像。
通过检查多个动态图像的所有可能的对来处理动态图像的族标识符是一项辛苦的工作。可以利用多种节省计算能力的方法。
例如，对于一样的(相同的)动态图像，可以应用相同的族标识符。用于一样的动态图像之一的比较结果能够用于另一个一样的动态图像。
同样，动态图像的比较效率能够通过先于其它动态图像而比较更可能组成单独一族动态图像而提高。例如，对于选择有待比较的动态图像，优先选择共享共同部分的动态图像对是有效的。
根据本发明的一个实施例，用于聚类的动态图像能够从网络上采集。所选动态图像的文本标记能够包括动态图像的标题、动态图像的背景和主题说明文本、由使用者输入以搜索动态图像的关键字以及包括动态图像的博文(blog post)的标签。
图10示出本发明的一个实施例的动态图像聚类的条件和结果。对于多个动态图像数据，动态图像聚类能够包括具有共同特征的数据的检测，所述检测是通过比较动态图像数据和对它们分组而实现的。
参照图10，族1仅包括动态图像C。这是指没有其它动态图像与动态图像C具有共同特征。族4包括动态图像数据B-B′-B″-B。这是指在族4中有4个不同的动态图像数据具有共同特征。动态图像B包括2个相同的(一样的)动态图像。
族L-1包括动态图像B和动态图像D。该族能够并入族4。假使族4中动态图像B′和族L-1中动态图像B的共同特征被检测到，那么这两个族可以合并。但是，假使图像D和动态图像B之间有共同特征，并且图像D和动态图像B′以及图像D与动态图像B″没有共同特征，那么两族的合并是选择性的。
图11示出本发明的一个实施例的动态图像族的动态图像在共同时间轴上的排列结果。其中示出4个动态图像V1、V2、V3和V4。这4个动态图像参考共同部分而排列。
族中的每个动态图像能够具有关于共同部分(重叠部分)的开始点和结束点的时间信息。动态图像V3长度为40秒。动态图像V1长度为30秒。
V3中共同部分的开始点:结束点信息在相关时间轴上能够表示为30:40，所述时间轴开始于V3的开始点。对于V1，共同部分的信息能够表示为0:10。从共同部分的开始点时间信息可知，V1比V3迟30秒开始。(两个动态图像的共同部分开始于V1的O秒点和V3的30秒点。)因此，两个动态图像的相关排列能够通过比较共同部分的开始点信息而确定，所述开始点信息是参考两个动态图像的各自的开始点而表示的。
在这种情况下，通过增加开始点时间的时间差值(30秒)至上述相关时间轴上表示的开始点:结束点信息(共同时间轴可以是具有位于最前的动态图像的开始点的原点的时间轴)，V1的开始点:结束点信息能够表示在两个动态图像的共同时间轴上。因此，V1的开始点:结束点时间信息能够被变换为30:60秒(在时间轴1)。同样，V1中共同部分的开始点:结束点信息能够被变换为图11所示时间轴1上的30:40。
通过对族中动态图像重复执行这个过程，能够确定共享共同部分的动态图像的相对排列，并且该族中动态图像数据的时间信息能够表示在共同时间轴上。
图12示出本发明的一个实施例的动态图像族的数据结构存储信息。参照图12，用动态图像的标识符和开始点/结束点时间信息描述的每个族都能生成一个动态图像列表。
对于族标识符为1，动态图像列表由3:0/1202、5:220/600、7:500/700、9:600/800和11:700/900组成。列表中的3、5、7、9和11是动态图像(动态图像数据)的标识符。0/1202、220/600、500/700、600/800和700/900是族中每个动态图像数据的开始点/结束点。
参照图12，族信息能够包括等级(rank)信息和族日期信息。等级信息是动态图像列表中动态图像数据的总数。族日期信息是动态图像列表中动态图像的文件生成(修改)时间信息中最早的时间信息。确定族中动态图像的顺序时可参考等级信息和族日期信息。
代表性动态图像能够被选择用于动态图像族。例如，代表性动态图像可以是示出动态图像族的大体内容的动态图像。因此，如果一个较长的动态图像涵盖了族中所有动态图像的全部内容，那么该动态图像能够被选作该族的代表性动态图像。
假使没有一个动态图像能够涵盖全部动态图像，那么动态图像小组(set)中的用最少的元动态图像涵盖该族内容的的动态图像能够作为该族的代表性动态图像。
图13示出本发明的一个实施例的动态图像族中代表性动态图像的确定过程。参照图13，在步骤S1201，最长的动态图像被移动至代表性动态图像列表中。假使存在多个最长的动态图像，那么通过参考显示质量信息选定具有最高质量的(或任意选定)动态图像。
随后，在剩余的动态图像中，接着选定的动态图像，其与选定的动态图像数据不重叠部分的播放时间最长，并将该动态图像移动至代表性动态图像列表中。这些过程能够在步骤S1202、S1203重复地执行。
通过重复这些过程，能够得到代表性动态图像列表。全部动态图像数据能够用代表性动态图像列表中的动态图像数据组成。
图14示出本发明的一个实施例的动态图像处理设备的构造。参照图14，动态图像处理设备(700)能够包括特征向量生成模块(710)、共同部分检测模块(720)和动态图像聚类模块(730)。
特征向量生成模块(710)能够加载目标动态图像，分析该动态图像的划分的帧，并且生成该帧的特征向量。动态图像处理设备(700)从作为动态图像的帧显示的静止图像的颜色分布信息中，提取出代表帧的特征向量。在该过程中，所述帧能够被划分为多个子帧。
颜色分布向量能够从子帧的象素的颜色向量中获得。通过利用颜色分布向量的一阶微分和二阶微分，能够计算特征向量的分量。关于特征向量生成的详细描述已在上文参照图2至图4给出。
共同部分检测模块(720)通过比较动态图像而识别目标动态图像共享的共同部分。
动态图像之间共同部分的检测能够通过比较动态图像特征向量而执行。在这个过程中，共同部分存在的可能性能够通过动态图像区段的比较而检测。通过所述区段比较，所述可能性能够以共同特征评估值表示。计算共同特征评估值的详细描述已在上文参照图5至图8给出。
同样，假使共同特征评估值表示两个动态图像之间的共同特征，那么共同部分检测模块(720)能够检测由两个动态图像分别部分地占据的共同部分。为此，能够应用比动态图像区段比较更大的fps(每秒帧数)。共同部分的开始点和结束点能够被定义为动态图像中共同部分的开始/结束时间(或帧)。检测共同部分的开始-结束点的详细描述已在上文参照图5给出，并且省略多余的描述。
动态图像聚类模块(730)能够将共享共同部分的动态图像集合为一族。动态图像的聚类能够通过将共享共同部分的动态图像赋以相同的标识符而实现。在这个过程中，取代动态图像原来的族标识符的新的族标识符被赋于另一个具有原来的族标识符的动态图像。
动态图像聚类中处理族标识符的详细描述已在上文参照图9给出。同样，值得注意的是对于共享文本标记的动态图像的共同部分检测和聚类能够预先地实现。
动态图像聚类模块(730)能够为已创建的族选择代表性动态图像。如上文参照图13的描述，选择代表性动态图像的一般方法是选择族中最长的动态图像。同样，值得注意的是，涵盖动态图像族中动态图像的全部视频信息的多个动态图像能够被选定作为代表性动态图像。
动态图像聚类模块(730)能够安排(转换)已创建族的多个动态图像的时间信息。根据本发明的一个实施例，共同部分检测模块(720)能够检测动态图像的共同部分在相对时间轴上的开始-结束点，所述时间轴开始于动态图像的开始点。参照图11和图12所述，通过动态图像聚类模块(730)，族中每个动态图像的时间信息(所有动态图像的开始-结束点和重叠时间信息)能被表示在共同时间轴上。共同时间轴的原点能够设于族中最先(最早/最初)的动态图像的开始点。
本发明的一个实施例的动态图像处理方法能够作为数字代码被记录在计算机可读介质上。所述计算机可读介质能够包括计算机***可读的所有类型的媒体。例如，可用ROM、RAM、CD-ROM、磁带、软盘、光学数据存储介质。
上述内容已经指出本发明的用于多个实施例的新颖特征，技术人员能够理解所述设备或方法的形式和细节的多处省略、替代和变换并不背离本发明的范围。因此，本发明的范围是由所附权利要求而不是由前述说明书所限定。在所述权利要求的等价含意和范围内的所有变化都包含在权利要求的范围内。
【工业适用性】
根据本发明的一个实施例，提供了用以提高动态图像比较方法和提高比较结果的效率的动态图像处理方法和设备。
根据本发明的一个实施例，提供了用以生成特征向量的方法和设备，所述特征向量能够用作用于确定动态图像之间的共同特征和相似性的比较标准。
根据本发明的一个实施例，提供了用以利用动态图像的特征向量检测两个动态图像之间共同部分的方法和设备，以及用以获得共同部分的时间信息的方法和设备。
根据本发明的一个实施例，提供了用以将具有共同特征(即共享共同部分)的动态图像集合为一族的方法和设备。

Claims (24)

1.一种处理动态图像的方法，包括：
计算通过划分动态图像的帧而生成的多个子帧中每个子帧的颜色分布向量；
基于所述颜色分布向量，生成所述颜色分布向量的一阶微分；
基于所述颜色分布向量的一阶微分，生成所述颜色分布向量的二阶微分；以及
基于所述颜色分布向量、所述颜色分布向量的一阶微分以及所述颜色分布向量的二阶微分，生成所述帧的特征向量。
2.根据权利要求1所述的方法，其特征在于，帧特征向量的生成包括：从所述颜色分布向量、所述颜色分布向量的一阶微分以及所述颜色分布向量的二阶微分的分量所组成的组中，选择多个分量作为所述帧特征向量的分量。
3.根据权利要求1所述的方法，其特征在于，所述颜色分布向量的计算包括：通过将所述子帧的象素的颜色向量取平均值，计算所述子帧的平均颜色向量。
4.根据权利要求1所述的方法，其特征在于，所述颜色分布向量是利用从RGB、YUV和CYMK坐标系所组成的组中选择的至少一个坐标系来表示的。
5.根据权利要求3所述的方法，其特征在于，所述颜色分布向量的计算包括：所述子帧的平均颜色向量的归一化，并且
所述平均颜色向量的归一化利用了从所述多个子帧的平均颜色向量的最小向量和平均向量所组成的组中选择的至少一个向量，所述多个子帧属于包括所述子帧、并且对应于与所述子帧在动态图像中的显示区域相同的显示区域的时间段。
6.一种处理动态图像的方法，包括：
生成第一动态图像和第二动态图像中每一个动态图像的帧特征向量；以及
通过将所述第一动态图像的所述帧特征向量与所述第二动态图像的所述帧特征向量进行比较，检测所述第一动态图像和所述第二动态图像的共同部分，
其中所述共同部分的检测包括：通过生成第一动态图像区段和第二动态图像区段的共同特征评估值来比较动态图像区段，其中所述共同特征评估值是通过将所述第一动态图像的第一动态图像区段的p帧的特征向量与所述第二动态图像的第二动态图像区段的p帧的特征向量进行比较而生成的，其中所述第二动态图像区段的p帧的特征向量的排列与所述第一动态图像区段的p帧的排列相对应，p为大于或等于1的自然数。
7.根据权利要求6所述的方法，其特征在于，所述共同特征评估值是基于所述第一动态图像区段的所述特征向量和所述第二动态图像区段的对应的特征向量之间的距离而计算的。
8.根据权利要求6所述的方法，其特征在于，所述第一动态图像区段的特征向量和所述第二动态图像区段的特征向量之间的距离是基于向量长度L1、向量长度L2、具有有限最大值的向量长度L1和具有阈函数的向量长度L1中的至少一个而定义的，并且
所述共同特征评估值是基于所述第一动态图像区段和所述第二动态图像区段之间的p个向量对的距离之和而生成的。
9.根据权利要求6所述的方法，其特征在于，所述第一动态图像区段具有在所述第一动态图像开始后的开始时间t1，并且所述第二动态图像区段具有在所述第二动态图像开始后的开始时间t2，并且
所述动态图像区段的比较对于t1和t2是重复的，t1是所述第一动态图像区段的开始时间，t1等于或大于0并且小于所述第一动态图像的长度，t2是所述第二动态图像区段的开始时间，t2等于或大于0并且小于所述第二动态图像的长度，并且
所述共同部分的检测进一步包括：假使所述共同特征评估值表示所述第一动态图像区段和所述第二动态图像区段存在共同特征，那么检测共同部分开始-结束点，其中通过应用比所述第一动态图像区段和所述第二动态图像区段中所述p帧的每秒帧数更大的每秒帧数，来将所述第一动态图像的所述特征向量与所述第二动态图像的所述特征向量进行比较，通过分别地检测所述第一动态图像和所述第二动态图像的共同部分的开始时间和结束时间来检测共同部分开始-结束点。
10.根据权利要求9所述的方法，其特征在于，所述动态图像区段的比较是通过设置t1作为所述第一动态图像的开始点(t1＝0)，并从所述第二动态图像的开始点(t2＝0)起增加t2来执行的，并且
所述共同部分开始-结束点的检测将所述第一动态图像的所述特征向量仅与位于tg之后的帧的特征向量进行比较，所述tg是所述第二动态图像开始之后的点、是所述第二动态图像区段的开始时间、并且表示出：所述共同特征评估值表示所述第一动态图像区段和所述第二动态图像区段存在共同特征。
11.根据权利要求9所述的方法，其特征在于，当重复所述动态图像区段的比较时，如果所述共同特征评估值不满足参考值，那么t1和/或t2的变化正比于所述参考值和所述共同特征评估值之间的差值，所述参考值表示所述第一动态图像区段和所述第二动态图像区段存在共同特征。
12.根据权利要求6所述的方法，其特征在于，所述动态图像共同部分的检测是通过进一步参考音频特征向量执行的，所述音频特征向量是基于从所述第一动态图像和所述第二动态图像中提取的音频数据而生成的。
13.一种处理动态图像的方法，包括：
分别生成第一动态图像和第二动态图像的特征向量；
通过将所述第一动态图像的特征向量和所述第二动态图像的特征向量进行比较来检测两个动态图像的共同部分；以及
处理动态图像族标识符，其中，假使在所述共同部分的检测过程中在所述第一动态图像和所述第二动态图像中检测到共同部分，那么通过匹配所述第一动态图像和所述第二动态图像的族标识符来处理动态图像族标识符，使得所述第一动态图像和所述第二动态图像具有相同的族标识符，
以及替代族标识符，其中，假使在所述族标识符匹配过程中所述两个动态图像中任一动态图像的原来的族标识符被新的族标识符所替代，那么另一个具有所述原来的族标识符的动态图像的族标识符也将被所述新的族标识符替代。
14.根据权利要求13所述的方法，进一步包括：
生成第三动态图像的特征向量；
分别生成所述第一至第三动态图像的文本标记；以及
通过将所述第一动态图像的所述特征向量与所述第三动态图像的所述特征向量进行比较，检测第一动态图像与第三动态图像中的共同部分，
其中，假使所述第一动态图像与所述第二动态图像之间有共享的文本标记，而所述第一动态图像与所述第三动态图像之间没有共享的文本标记，那么检测所述第一动态图像与所述第二动态图像的共同部分先于检测所述第一动态图像与所述第三动态图像的共同部分。
15.根据权利要求14所述的方法，其特征在于，所述文本标记是分别基于所述第一至第三动态图像的标题信息、文件名信息、标签信息和URL信息中的至少一个获得的。
16.根据权利要求13所述的方法，进一步包括，对于单独一族中的多个动态图像，将所述多个动态图像的时间信息变换到时间轴上，其中所述时间轴共用于所述多个动态图像。
17.根据权利要求13所述的方法，进一步包括，在单独一族的多个动态图像中确定代表性动态图像，
其中，所述代表性动态图像是所述单独一族的多个动态图像中最长的动态图像。
18.一种记录有用于执行权利要求1-17中任一项所述的方法的程序的记录介质，所述记录介质为计算机可读介质。
19.一种处理动态图像的设备，包括：
特征向量生成模块，用于生成第一动态图像与第二动态图像中每一个动态图像的特征向量；以及
共同部分检测模块，用于通过将所述第一动态图像的特征向量与所述第二动态图像的特征向量进行比较来检测所述第一动态图像与所述第二动态图像中的共同部分，
其中所述特征向量生成模块计算通过划分所述动态图像的帧而生成的多个子帧中每个子帧的颜色分布向量，并且基于所述颜色分布向量、所述颜色分布向量的一阶微分和所述颜色分布向量的二阶微分，生成特征向量。
20.根据权利要求19所述的设备，其特征在于，所述特征向量生成模块从所述颜色分布向量的分量、所述颜色分布向量的一阶微分的分量和所述颜色分布向量的二阶微分的分量所组成的组中选择多个分量作为所述帧特征向量的分量。
21.一种处理动态图像的设备，包括：
特征向量生成模块，用于分别生成所述第一动态图像和所述第二动态图像的特征向量；以及
共同部分检测模块，用于通过将所述第一动态图像的特征向量与所述第二动态图像的特征向量进行比较，检测所述第一动态图像和所述第二动态图像之间的共同部分，
其中所述共同部分检测模块包括动态图像区段比较模块，所述动态图像区段比较模块用于通过将所述第一动态图像的所述第一动态图像区段的p帧的特征向量与所述第二动态图像的所述第二动态图像区段的p帧的特征向量进行比较来生成第一动态图像区段和第二动态图像区段的共同特征评估值，其中，所述第二动态图像区段的p帧的特征向量的排列对应于所述第一动态图像区段的p帧的排列，p是大于或等于1的自然数，所述第一动态图像区段具有在所述第一动态图像开始后的开始时间t1和长度Δt，所述第二动态图像区段具有在所述第二动态图像开始后的开始时间t2和长度Δt。
22.根据权利要求21所述的设备，进一步包括：
共同部分开始-结束点检测模块，假使所述共同特征评估值表示在所述第一动态图像区段和所述第二动态图像区段中存在共同特征，那么所述共同部分开始-结束点检测模块通过应用比所述第一动态图像区段和所述第二动态图像区段的所述p帧的每秒帧数更大的每秒帧数、通过将所述第一动态图像的所述特征向量与所述第二动态图像的所述特征向量进行比较，分别检测所述第一动态图像和所述第二动态图像中的共同部分的开始时间和结束时间。
23.一种用于处理动态图像的设备，包括：
特征向量生成模块，用于生成第一动态图像和第二动态图像的每一个动态图像的特征向量；以及
共同部分检测模块，用于通过将所述第一动态图像的特征向量与所述第二动态图像的特征向量进行比较来检测所述第一动态图像和所述第二动态图像中的共同部分；以及
动态图像聚类模块，假使，在共同部分的检测中，在所述第一动态图像和所述第二动态图像中检测到共同部分，那么所述动态图像聚类模块匹配所述第一动态图像和所述第二动态图像的族标识符，使得所述第一动态图像和所述第二动态图像具有相同的标识符；并且假使，在族标识符的匹配中，所述两个动态图像的任一动态图像的原来的族标识符被新的族标识符替代，那么另一个具有所述原来的族标识符的动态图像的族标识符将被所述新的族标识符替代。
24.根据权利要求23所述的设备，其特征在于，
所述特征向量生成模块生成第三动态图像的特征向量，
并且进一步包括，文本标记生成模块，其分别生成所述第一至第三动态图像的文本标记，
其中，所述第一动态图像与所述第二动态图像之间有共享的文本标记，而所述第一动态图像与所述第三动态图像之间不存在共享的文本标记，共同部分检测模块在执行所述第一动态图像和所述第三动态图像的共同部分的检测之前，先执行所述第一动态图像和所述第二动态图像的共同部分的检测。
CN200880101785A 2007-06-04 2008-06-04 处理动态图像的方法及设备 Pending CN101772950A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR1020070054601A KR100888804B1 (ko) 2007-06-04 2007-06-04 동영상 데이터의 동일성 판단 및 동일 구간 검출 방법 및장치
KR10-2007-0054601 2007-06-04
KR10-2007-0060978 2007-06-21
KR1020070060978A KR100842310B1 (ko) 2007-06-21 2007-06-21 동영상 데이터들을 서로 동일성이 있는 동영상데이터들끼리 클러스터링하는 방법 및 시스템
KR1020080051688A KR100981125B1 (ko) 2008-06-02 2008-06-02 동영상 처리 방법 및 그 장치
KR10-2008-0051688 2008-06-02
PCT/KR2008/003142 WO2008150109A1 (en) 2007-06-04 2008-06-04 Method of processing moving picture and apparatus thereof

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201210033359.XA Division CN102638686B (zh) 2007-06-04 2008-06-04 处理动态图像的方法及设备

Publications (1)

Publication Number Publication Date
CN101772950A true CN101772950A (zh) 2010-07-07

Family

ID=40093863

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210033359.XA Active CN102638686B (zh) 2007-06-04 2008-06-04 处理动态图像的方法及设备
CN200880101785A Pending CN101772950A (zh) 2007-06-04 2008-06-04 处理动态图像的方法及设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201210033359.XA Active CN102638686B (zh) 2007-06-04 2008-06-04 处理动态图像的方法及设备

Country Status (4)

Country Link
US (2) US8345742B2 (zh)
EP (2) EP3438883B1 (zh)
CN (2) CN102638686B (zh)
WO (1) WO2008150109A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103083005A (zh) * 2011-11-01 2013-05-08 北京瓦力网络科技有限公司 一种心率检测的方法
CN108292311A (zh) * 2015-11-11 2018-07-17 三星电子株式会社 用于处理元数据的设备和方法
CN111126390A (zh) * 2019-12-23 2020-05-08 腾讯科技（深圳）有限公司 一种用于识别媒体内容中标识图案的相关方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101385700B1 (ko) * 2009-04-13 2014-04-18 (주)엔써즈 동영상 관련 광고를 제공하는 방법 및 그 장치
JP6032093B2 (ja) * 2013-03-26 2016-11-24 富士通株式会社 動画像データ比較方法、動画像データ比較プログラム、動画像データ比較装置
KR101463864B1 (ko) 2013-08-07 2014-11-21 (주)엔써즈 직접 반응 광고 검출 및 분류 시스템 및 방법
KR102560635B1 (ko) 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
US10616631B2 (en) 2016-08-01 2020-04-07 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
CN111862255A (zh) 2020-07-17 2020-10-30 上海联影医疗科技有限公司 正则化图像重建方法、***、可读存储介质和设备
CN112559974A (zh) * 2020-11-13 2021-03-26 山东浪潮质量链科技有限公司 一种基于区块链的图片著作权保护方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402853A (zh) * 1999-12-02 2003-03-12 三菱电机株式会社 图像检索***及图像检索方法
US20030161396A1 (en) * 2002-02-28 2003-08-28 Foote Jonathan T. Method for automatically producing optimal summaries of linear media

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
AU2207599A (en) * 1997-12-29 1999-07-19 Cornell Research Foundation Inc. Image subregion querying using color correlograms
AUPP340798A0 (en) * 1998-05-07 1998-05-28 Canon Kabushiki Kaisha Automated video interpretation system
US7212667B1 (en) 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
US6925455B2 (en) * 2000-12-12 2005-08-02 Nec Corporation Creating audio-centric, image-centric, and integrated audio-visual summaries
JP4527322B2 (ja) * 2001-07-25 2010-08-18 日本電気株式会社 画像検索装置、画像検索方法、及び画像検索用プログラム
CN100493201C (zh) * 2002-01-24 2009-05-27 株式会社日立制作所 运动图像的解码方法
US6961736B1 (en) * 2002-05-31 2005-11-01 Adobe Systems Incorporated Compact color feature vector representation
EP2312475B1 (en) * 2004-07-09 2012-05-09 Nippon Telegraph and Telephone Corporation Sound signal detection and image signal detection
US7783115B2 (en) * 2004-12-14 2010-08-24 Fujifilm Corporation Apparatus and method for setting degrees of importance, apparatus and method for representative image selection, apparatus and method for printing-recommended image selection, and programs therefor
JP4197014B2 (ja) * 2006-07-18 2008-12-17 株式会社日立製作所 映像の検索方法および装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402853A (zh) * 1999-12-02 2003-03-12 三菱电机株式会社 图像检索***及图像检索方法
US20030161396A1 (en) * 2002-02-28 2003-08-28 Foote Jonathan T. Method for automatically producing optimal summaries of linear media

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103083005A (zh) * 2011-11-01 2013-05-08 北京瓦力网络科技有限公司 一种心率检测的方法
CN103083005B (zh) * 2011-11-01 2015-05-13 北京瓦力网络科技有限公司 一种心率检测的方法
CN108292311A (zh) * 2015-11-11 2018-07-17 三星电子株式会社 用于处理元数据的设备和方法
US11328186B2 (en) 2015-11-11 2022-05-10 Samsung Electronics Co., Ltd. Device and method for processing metadata
CN111126390A (zh) * 2019-12-23 2020-05-08 腾讯科技（深圳）有限公司 一种用于识别媒体内容中标识图案的相关方法及装置

Also Published As

Publication number Publication date
CN102638686A (zh) 2012-08-15
US20130088645A1 (en) 2013-04-11
WO2008150109A1 (en) 2008-12-11
EP3438883B1 (en) 2023-11-29
EP3438883A1 (en) 2019-02-06
CN102638686B (zh) 2015-04-22
EP2165525A1 (en) 2010-03-24
EP2165525A4 (en) 2013-09-11
US20100134693A1 (en) 2010-06-03
EP2165525B1 (en) 2018-09-12
US8345742B2 (en) 2013-01-01

Similar Documents

Publication Publication Date Title
CN102638686B (zh) 处理动态图像的方法及设备
US9280709B2 (en) Information processing device, information processing method and program
CN101635843B (zh) 一种基于帧间变化特征的视纹提取、查找比对方法及***
CN111932431B (zh) 基于水印分解模型的可见水印去除方法和电子设备
CN107534796A (zh) 检测视频节目的片段
CN102884538A (zh) 通过内容检测、搜索和信息聚集来丰富在线视频
EP2388745A1 (en) Method and apparatus for providing moving image advertisements
CN103052953A (zh) 信息处理设备、信息处理方法和程序
US9549162B2 (en) Image processing apparatus, image processing method, and program
CN112132030B (zh) 视频处理方法及装置、存储介质及电子设备
CN113761253A (zh) 视频标签确定方法、装置、设备及存储介质
CN105453577B (zh) 直接反应广告检测及分类***及方法
US20100054691A1 (en) Video processing apparatus and video processing method
US20190258629A1 (en) Data mining method based on mixed-type data
KR20090099622A (ko) 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법
US11728914B2 (en) Detection device, detection method, and program
CN113987274A (zh) 视频语义表示方法、装置、电子设备和存储介质
KR20090020005A (ko) 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
CN110769291B (zh) 一种视频处理方法、装置、电子设备及存储介质
CN115983873B (zh) 一种基于大数据的用户数据分析管理***及方法
CN114820891A (zh) 唇形生成方法、装置、设备及介质
JP6091552B2 (ja) 動画処理装置及び動画処理システム
KR100981125B1 (ko) 동영상 처리 방법 및 그 장치
US20210235160A1 (en) Commercial information generating device, commercial information generating method, and program
US20140189769A1 (en) Information management device, server, and control method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100707