CN102222103B - 视频内容的匹配关系的处理方法及装置 - Google Patents

Abstract

本发明公开了一种视频内容的匹配关系的处理方法及装置。其中，该方法包括：获取视频内容，并根据视频内容的参数来确定视频内容的视频类型；根据视频类型来提取视频内容的视频特征；根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容，并生成视频关联关系库，其中，在成功查询到匹配视频内容的情况下，将匹配成功的视频内容与匹配视频内容之间的关联关系保存至视频关联关系库。通过本发明，能够实现通过自动匹配视频内容提高了搜索视频的效率，节省了人力成本。

Description

视频内容的匹配关系的处理方法及装置

技术领域

本发明涉及视频领域，具体而言，涉及一种视频内容的匹配关系的处理方法及装置。

背景技术

随着媒体行业和网络视频行业的高速发展，视频网站每天都有大量的新视频更新上线。这些视频除了网友上传的和网站自己制作的视频外，有很多是来自于媒体生产方的。媒体生产方的***一般都是电视直播信号，由于电视台电视频道数量非常多，媒体生产方每天制作出来的视频数量也就非常庞大，覆盖了各种电视节目。

一般来说，媒体生产方提供的视频有两种常见的形式，一种是完整节目视频，另一种是节目片段视频。完整节目视频相对较长，比如一场完整的球赛、一个完整的新闻联播等。节目片段视频一般都是一个剪辑后的节目片段，相对较短，比如一个足球射门的镜头、一条新闻等。两种视频都来自于相同的视频信号源，虽然是不同的视频文件，但是从内容上来说，节目片段视频是完整节目视频的一部分，可以在完整节目视频上找到对应的时间段儿。

因此，节目片段视频和完整节目视频之间存在着一种关联关系，即一个节目片段视频对应一个完整节目视频，它出现在这个完整节目视频的一个时间段儿上。这种关联关系非常重要，有了这个信息，对于一个节目片段视频，可以找到包含它的完整节目视频以及它出现的时间点；对于完整节目视频，可以找到它包含了多少个节目片段，并且每个节目片段出现的时间点是哪里。并且，这种关联信息是真正基于视频内容的，它挖掘了视频之间在内容层面上的关系，是一种高级的关联信息。我们称这种新颖的关联关系为“内容重复关联”。

现有的视频网站每天都有大量的完整节目视频和节目片段视频上线，但是它们之间还不存在内容重复关联关系，因为没有一种有效的方法可以方便地找到它们之间的这种关联关系。

针对上述问题，可以通过人工输入视频的编目信息来实现网络视频之间的关联关系，这些编目信息是人工输入的文字信息，比如视频名字、栏目名称、演员列表等信息。因此这种传统的关联关系严重依赖于人工输入，且没有挖掘到视频内容层面上的信息，在后续的进入人工对完整节目视频和节目片段视频进行匹配的工作流程时，不但要查找大量视频，还要查找每个视频上对应的时间点，由于媒体生产方每天生产出的视频数量非常庞大，人工查找的任务量非常巨大，是几乎不可能完成的。

目前针对相关技术的通过人工建立网络视频之间的关联关系，导致视频内容匹配过程中查找工作繁重，且效率低的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术的通过人工建立网络视频之间的关联关系，导致视频内容匹配过程中查找工作繁重，且效率低的问题，目前尚未提出有效的问题而提出本发明，为此，本发明的主要目的在于提供一种视频内容的匹配关系的处理方法及装置，以解决上述问题。

为了实现上述目的，根据本发明的一个方面，提供了一种视频内容的匹配关系的处理方法，该视频内容的匹配关系的处理方法包括：获取视频内容，并根据视频内容的参数来确定视频内容的视频类型；根据视频类型来提取视频内容的视频特征；根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容，并生成视频关联关系库，其中，在成功查询到匹配视频内容的情况下，将匹配成功的视频内容与匹配视频内容之间的关联关系保存至视频关联关系库。

进一步地，视频类型包括完整节目视频和节目片段视频，其中，获取视频内容，并根据视频内容的参数来确定视频内容的视频类型包括：获取视频内容；通过验证视频内容的属性标记来确定视频内容的视频类型，或者，根据视频内容的视频长度来确定视频内容的视频类型；其中，当视频内容的视频长度大于等于第一阈值时，视频内容是完整节目视频；当视频内容的视频长度小于等于第二阈值时，视频内容是节目片段视频，且第一阈值大于第二阈值。

进一步地，提取视频内容的视频特征，并根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容包括：在视频内容中提取预定长度的时间窗口；在时间窗口内均匀采样预定数目的视频特征；将采样到的预定数目的视频特征进行组合，以获取时间窗口内的窗口视频特征；在视频特征库中查询与窗口视频特征匹配的匹配视频内容。

进一步地，在视频特征库中查询与窗口视频特征匹配的匹配视频内容包括：对窗口视频特征与视频特征库中的所有窗口视频特征进行距离比较，其中，在距离小于等于验证值的情况下，窗口视频特征匹配成功。

进一步地，视频特征包括图像特征和音频特征，提取视频内容的图像特征的步骤包括：将视频内容的图像进行分块；提取每一块图像的图像特征；将每一块图像对应的图像特征进行组合，以获取图像特征；以及提取视频内容的音频特征的步骤包括：将视频内容按照预订时间片长度划分为均匀的时间片，且相邻的时间片相重叠；提取每一个时间片区间内的音频特征。

进一步地，在获取视频内容之前，方法还包括：制作视频内容以获取视频文件，并建立视频特征库，视频特征库包括：完整节目特征库和节目片段特征库。

进一步地，根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容，并生成视频关联关系库包括：在视频内容为完整节目视频的情况下，将完整节目视频的每一个时间窗口中的视频特征在节目片段特征库中进行匹配，以获取与完整节目视频对应的一个或多个第一节目片段视频，并将完整节目视频与各个第一节目片段视频之间的关联关系保存至视频关联关系库；或者，在视频内容为节目片段视频的情况下，将节目片段视频的第一个时间窗口中的视频特征在完整节目特征库中进行匹配，以获取与节目片段视频对应的第一完整节目视频，并将节目片段视频与第一完整节目视频之间的关联关系保存至视频关联关系库。

进一步地，在根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容，并生成视频关联关系库之后，方法还包括：读取视频内容；在视频关联关系库中查询视频内容对应的匹配视频内容；在查找匹配视频内容成功的情况下，播放视频内容对应的匹配视频。

进一步地，在查找匹配视频内容成功的情况下，播放视频内容对应的匹配视频包括：在视频内容为节目片段视频的情况下，直接播放查找到的第一完整节目视频；或者，在视频内容为完整节目视频的情况下，直接播放查找到的一个或多个第一节目片段视频，并将一个或多个第一节目片段视频以标签的形式标注在完整节目视频的进度条上。

为了实现上述目的，根据本发明的另一方面，提供了一种视频内容的匹配关系的处理装置，该视频内容的匹配关系的处理装置包括：视频类型处理单元，用于根据获取到的视频内容的参数来确定视频内容的视频类型；提取单元，用于根据视频类型来提取视频内容的视频特征；匹配处理单元，用于根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容，并生成视频关联关系库，其中，在成功查询到匹配视频内容的情况下，将匹配成功的视频内容与匹配视频内容之间的关联关系保存至视频关联关系库。

进一步地，视频类型处理单元包括：接收模块，用于获取视频内容；验证模块102，用于通过验证视频内容的属性标记来确定视频内容的视频类型；或者，根据视频内容的视频长度来确定视频内容的视频类型，视频类型包括：完整节目视频和节目片段视频；其中，当视频内容的视频长度大于等于第一阈值时，视频内容是完整节目视频；当视频内容的视频长度小于等于第二阈值时，视频内容是节目片段视频，且第一阈值大于第二阈值。

进一步地，提取单元包括：获取模块，用于在视频内容中提取一个或多个预定长度的时间窗口；采样模块，用于在时间窗口内均匀采样预定数目的视频特征。

进一步地，匹配处理单元包括：组合模块，用于将采样到的预定数目的视频特征进行组合，以获取时间窗口内的窗口视频特征；查询模块，用于在视频特征库中查询与窗口视频特征匹配的匹配视频内容。

进一步地，查询模块包括：比较模块，用于对窗口视频特征与视频特征库中的所有窗口视频特征进行距离比较，其中，在距离小于等于验证值的情况下，窗口视频特征匹配成功。

进一步地，提取单元为第一提取单元或第二提取单元，其中，第一提取单元用于提取视频内容的图像特征，第一提取单元包括：第一划分模块，用于将视频内容的图像进行分块；第一获取模块，用于提取每一块图像的图像特征；第二组合模块，用于将每一块图像对应的图像特征进行组合，以获取图像特征；以及第二提取单元用于提取视频内容的音频特征，第一提取单元包括：第二划分模块，用于将视频内容按照预订时间片长度划分为均匀的时间片，且相邻的时间片相重叠；第二获取模块，用于提取每一个时间片区间内的音频特征。

进一步地，装置还包括：创建特征库单元，用于在制作视频内容时建立视频特征库，视频特征库包括：完整节目特征库和节目片段特征库。

进一步地，匹配处理单元包括第一匹配处理单元或第二匹配处理单元，其中，第一匹配处理单元用于在视频内容为完整节目视频的情况下，将完整节目视频的每一个时间窗口中的视频特征在节目片段特征库中进行匹配，以获取与完整节目视频对应的一个或多个第一节目片段视频，并将完整节目视频与各个第一节目片段视频之间的关联关系保存至视频关联关系库；第二匹配处理单元用于在视频内容为节目片段视频的情况下，将节目片段视频的第一个时间窗口中的视频特征在完整节目特征库中进行匹配，以获取与节目片段视频对应的第一完整节目视频，并将节目片段视频与第一完整节目视频之间的关联关系保存至视频关联关系库。

进一步地，装置还包括：读取单元，用于读取视频内容；查询处理单元，用于在视频关联关系库中查询视频内容对应的匹配视频内容；播放单元，用于在查找匹配视频内容成功的情况下，播放视频内容对应的匹配视频。

进一步地，播放单元包括：第一播放单元，用于在视频内容为节目片段视频的情况下，直接播放查找到的第一完整节目视频；或者，第二播放单元，用于在视频内容为完整节目视频的情况下，直接播放查找到的一个或多个第一节目片段视频，并将一个或多个第一节目片段视频以标签的形式标注在完整节目视频的进度条上。

通过本发明，采用获取视频内容，并根据视频内容的参数来确定视频内容的视频类型，视频类型包括：完整节目视频和节目片段视频；根据视频类型来提取视频内容的视频特征；根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容，并生成视频关联关系库，其中，在成功查询到匹配视频内容的情况下，将匹配成功的视频内容及其对应的匹配视频内容保存至视频关联关系库，视频关联关系库还包括视频内容及其对应的匹配视频内容之间的关联关系，解决了相关现有技术的通过人工建立网络视频之间的关联关系，导致视频内容匹配过程中查找工作繁重，且效率低的问题，进而实现了通过自动匹配视频内容提高了搜索视频的效率，节省了人力成本的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的视频内容的匹配关系的处理装置的结构示意图；

图2是根据本发明实施例的对图像分块的示意图；

图3是根据本发明实施例的视频内容的匹配关系的处理方法的流程图；

图4是根据本发明实施例的视频内容的视频特征提取方法的流程图；

图5是根据本发明实施例的创建视频关联关系库的方法流程图；

图6是根据本发明实施例的播放查询到的视频内容的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1是根据本发明实施例的视频内容的匹配关系的处理装置的结构示意图。如图1所示，该视频内容的匹配关系的处理装置包括：视频类型处理单元10，用于根据获取到的视频内容的参数来确定视频内容的视频类型；提取单元30，用于根据视频类型来提取视频内容的视频特征；匹配处理单元50，用于根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容，并生成视频关联关系库，其中，在成功查询到匹配视频内容的情况下，将匹配成功的视频内容与匹配视频内容之间的关联关系保存至视频关联关系库，即可以将匹配成功的视频内容的ID标识及其对应的匹配视频内容保存至视频关联关系库，同时将视频内容及其对应的匹配视频内容之间的关联关系保存至视频关联关系库。

本申请上述实施例通过匹配处理单元50实现视频内容重复关联关系的建立，然后采用基于视频特征进行视频内容匹配的算法，可以完全替代人工工作，在自动分析处理所有视频内容的匹配视频的同时建立了它们之间的内容重复关联关系，不但有很高的查询效率，而且查询到的时间点十分精确，从而替代了人工建立网络视频之间的关联关系，解决了人工进行视频内容匹配过程中查找工作繁重，且效率低的问题，进而实现了通过自动匹配视频内容提高了搜索视频的效率，节省了人力成本。而且进一步可以实现基于内容匹配在视频内容重复关联关系中搜索视频片段的来源，以及基于内容匹配在视频内容重复关联关系中自动生成精彩片段。

如图1所示，本发明上述实施例中的视频类型处理单元10可以包括：接收模块101，用于获取视频内容；验证模块102，用于通过验证视频内容的属性标记来确定视频内容的视频类型；或者，根据视频内容的视频长度来确定视频内容的视频类型，视频类型包括：完整节目视频和节目片段视频；其中，当视频内容的视频长度大于等于第一阈值时，视频内容是完整节目视频；当视频内容的视频长度小于等于第二阈值时，视频内容是节目片段视频；当视频内容的视频长度在第一阈值和第二阈值之间时，视频内容是完整节目视频，也是节目片段视频，且第一阈值大于第二阈值。

本发明上述视频类型处理单元10可以实现根据视频本身的属性来区分接收到的视频内容的类型，也可以通过视频长度阈值来划分该视频内容的类型。

具体的，在有些应用场合中，视频在制作出来的时候，会有一个属性来标记该视频是一个完整节目还是一个节目片段，这种情况下，直接根据该属性就可以对视频进行分类。在另一些应用场合，视频没有相应的属性标记，只能根据视频长度来对其进行分类，例如：双阈值重叠分类的方法。设定两个阈值第一阈值Threshold1和第二阈值Threshold2，其中第一阈值Threshold1小于第二阈值Threshold2。如果视频长度小于Threshold1，则认为它是节目片段视频，如果视频长度大于Threshold2，则认为它是完整节目视频，如果视频长度在Threshold1和Threshold2之间，则认为它既是节目片段视频，也是完整节目视频。

本发明上述实施例中的提取单元30可以包括如下功能模块：获取模块301，用于在视频内容中提取预定长度的时间窗口；以及采样模块302，用于在时间窗口内均匀采样预定数目的视频特征。通过上述功能模块实现了视频内容的视频特征的选择与提取。

具体地，本申请中的提取单元30可以采用在一个时间窗口s秒内进行特征匹配的方式，在这个时间窗口s秒内均匀抽样f个特征，将这些特征进行比较，比较的结果作为这个时间窗口内视频的匹配结果。例如，我们采用s＝10秒作为一个时间窗口，然后在这个窗口内均匀选取f＝10个特征进行连接组合，作为这个时间窗口的特征。上述方法比较现有的在两个视频进行特征匹配的时候采用单帧图像或者单个时间片的技术，减少了匹配结果的误差，使得匹配效果更好。

针对不同的视频特征，上述实施例中涉及到的提取单元30可以是第一提取单元，也可以是第二提取单元，第一提取单元和第二提取单元中涉及到的视频特征可以为图像特征或音频特征，图像特征为以下任意一种特征：图像整体特征、颜色直方图特征和YUV颜色特征，音频特征为以下任意一种特征：Mel频率倒普系数特征和傅立叶系数特征。这种第一提取单元和第二提取单元采用图像特征和音频特征双重特征来描述视频，在视频匹配的时候，将图像特征和音频特征分开独立匹配，只有两种特征都匹配成功，才算是视频匹配成功，这样可以保证较高的匹配准确率。

优选地，第一提取单元用于提取视频内容的图像特征，第一提取单元包括：第一划分模块，用于将视频内容的图像进行分块；第一获取模块，用于提取每一块图像的图像特征，该图像特征可以是直方图图像特征；第二组合模块，用于将每一块图像对应的图像特征进行组合，以获取图像特征。

优选地，第二提取单元用于提取视频内容的音频特征，第一提取单元包括：第二划分模块，用于将视频内容按照预订时间片长度划分为均匀的时间片，且相邻的时间片相重叠；第二获取模块，用于提取每一个时间片区间内的音频特征。具体的，第二提取单元可以用于提取视频内容的Mel频率倒普系数特征，该第一提取单元包括：第二划分模块，用于将时间按照预定时间长度划分为均匀的时间片；第二获取模块，用于提取预订时间片长度的Mel频率倒普系数特征，且相邻的Mel频率倒普系数特征的时间片相重叠，并在Mel频率倒普系数特征中加入语音动态特征的差分参数。

由于描述图像内容的特征有很多，根据目的是描述视频的整体情况的原则，第一提取单元选择提取图像整体特征，而不是局部特征。为了保证特征提取的速度，可以选择颜色直方图类特征，这种特征既可以描述图像的整体情况，又可以快速计算提取。优选地，在颜色空间上，可以选择YUV颜色空间，它与RGB颜色空间相比，更加符合人眼的视觉特性。

另外，由于整个图像的直方图特征没有包含图像的位置信息，为了使得图像特征包含一定的位置信息，可以采用对图像进行分块，然后对每一块分别提取直方图特征，将这些特征组合后作为图像的整体特征。

如图2所示的图像分块的方式，首先，将图像切割成3x3的9宫格，水平方向和垂直方向所采用的比例都是0.25∶0.5∶0.25，即1∶2∶1。这样切割下来，中间格占了图像四分之一的面积，4个角的4个格共占了图像四分之一面积，剩下4个边的4个格占了剩下的二分之一的面积。对于每一个格，赋予不同的权值，中间格最重要，权重最大为4，四角的4个格最不重要，权重赋为零，其他4个格权重为1。然后，在每个格内提取直方图特征后，对不同的格的特征乘以不同的权值，然后将它们顺序连接组合起来，作为图像的整体特征。

第二提取单元采用Mel频率倒谱系数(MFCC)特征，这种提取方式不仅从频域上很好地描述了音频的特点，而且与傅里叶系数等音频特征相比，更接近人的耳朵的听觉特性。一般在语音识别算法中，提取的语音特征中经常会加入表征语音动态特性的差分参数，能够提高***的识别性能。在本***中，优选提取MFCC参数的一阶差分参数和二阶差分参数，从而生成的音频特征能够提高本***的准确率。

另外，为了保持音频特征的连贯性，第二提取单元在提取音频特征时可以选择0.08秒长度的时间片，而且相邻的两个时间片采用重叠的方式，重叠的长度可以为一个时间片长度的一半，即0.04秒，这样使得相邻的音频特征在音频数据上有一定连续性，会减小因为时间片太长引起的特征匹配准确率下降。按照这种方式，平均一秒钟音频会提取到25个音频特征。

综上可知，视频特征的选择十分重要，直接影响到特征提取的速度、视频匹配的准确率和速度。如果特征的计算过程十分复杂耗时，那么特征提取会花费很多时间。本发明上述提取视频特征的方式不仅很好地描述了视频内容，而且有较高的准确率。同时，由于特征向量的长度和特征距离的计算方法会影响到视频匹配的速度，本实施例中提取的视频特征向量较短，因此计算特征距离的方法较简洁，从而提高了特征匹配的速度。

如图1所示，本申请上述实施例中的匹配处理单元50可以包括：组合模块501，用于将采样到的预定数目的视频特征进行组合，以获取时间窗口内的窗口视频特征；查询模块502，用于在视频特征库中查询与窗口视频特征匹配的匹配视频内容。优选地，该查询模块502可以包括：比较模块，用于对窗口视频特征与视频特征库中的所有窗口视频特征进行距离比较，其中，在距离小于等于验证值的情况下，窗口视频特征匹配成功，并将匹配成功的视频内容和匹配视频内容保存至视频关联关系库。

针对不同的视频类型，本申请上述实施例中的匹配处理单元50可以是第一匹配处理单元，也可以是第二匹配处理单元，其中，第一匹配处理单元用于在视频内容为完整节目视频的情况下，根据完整节目视频的视频特征在节目片段特征库中获取与完整节目视频对应的一个或多个第一节目片段视频，并将完整节目视频与每一个第一节目片段视频之间的关联关系保存至视频关联关系库。上述实施例实现了对于完整节目视频，用每一个时间窗口特征去匹配节目片段特征库中的所有窗口特征，最后可能找到多条匹配结果，并将该匹配结果保存至关联关系数据库。

第二匹配处理单元用于在视频内容为节目片段视频的情况下，将节目片段视频的第一个时间窗口中的视频特征在完整节目特征库中进行匹配，以获取与节目片段视频对应的第一完整节目视频，并将节目片段视频与第一完整节目视频之间的关联关系保存至视频关联关系库。上述实施例实现对于节目片段视频，用第一个时间窗口特征在完整节目特征库中去匹配所有的窗口特征，最后可能找到一条匹配结果，并将该匹配结果保存至关联关系数据库。

具体实现过程中，每一个新加入的视频，对其进行视频分类，然后提取特征，如果该视频是节目片段视频，就用它的特征在完整节目特征库中匹配；如果是完整节目视频，就用它的特征在节目片段特征库中匹配。如果匹配到相应的视频，就生成一个新的关联关系，将该关联关系存入关联关系库中。

上述实施例中涉及到的匹配处理单元50实现了特征匹配以及关联关系库的建立。由于提取单元30提取到的图像特征和音频特征都是一个由浮点数组成的特征向量，特征的每一维都是一个浮点数，N维直方图特征就是N个浮点数。两个N维的特征向量进行距离计算，如果直接采用欧氏距离，会有N次浮点数相乘和一次开方运算，计算量较大。为了提高特征比较的速度，可以采用棋盘距离，即将每一维的距离求和作为两个向量的距离，这样只需要N+1次加减运算，计算量大大减小。

由上可知，在一个时间窗口s秒内均匀抽样f个特征之后，本申请中的匹配处理单元50对两个视频进行匹配，可以将节目片段视频VideoA作为匹配请求视频，完整节目视频VideoB作为被匹配的视频。在VideoA的起始处取一个时间窗口，用这个时间窗口的特征FeatureAt(t＝0)在VideoB上与该视频的所有时间窗口特征FeatureBt(t＝0-end)进行距离计算，如果在某一个时间点t0处距离小于阈值，该阈值为一个验证值，说明特征FeatureAt(t＝0)与FeatureBt(t＝t0)匹配成功。如果两个特征匹配成功的情况出现，就进一步进行验证。在VideoA的起始时间点之后间隔Dt时间长度均匀选取M-1个时间窗口特征FeatureAt(t＝Dt*m，m＝1，2...M-1)，在VideoB的时间点t0处之后同样间隔Dt时间长度均匀选取M-1个时间窗口特征FeatureBt(t＝t0+Dt*m，m＝1，2...M-1)，将这些时间窗口特征分别对应进行匹配，如果这M-1个时间窗口特征都匹配成功，说明VideoA和VideoB在时间点t0处匹配成功。

优选地，对于视频数量很大的数据库，特征匹配花费的时间较长，还可以采用以下多种方法来减少特征匹配的时间，例如：建立索引、时间限制、栏目限制等。建立索引可以快速地进行特征检索，但是会使***变得复杂，索引的更新频率也会对结果带来很大影响。时间限制是指只对一个时间范围内的视频进行匹配，制作时间比较久远的视频自动从特征库中删除，这样会减小特征匹配的范围。栏目限制是指根据视频的栏目属性标签，每一个匹配视频只对栏目属性相同的视频进行匹配，同样也能大大减小视频匹配的范围。

如果VideoA和VideoB在时间点t0处匹配成功，就生成一个关联关系(VideoA，VideoB，t0)，表示VideoA在VideoB的t0处出现或者说视频匹配成功，并将这条关联关系存入关联关系库中，该关联关系库为视频关联关系库。

本申请上述各个实施例中装置还可以包括：创建特征库单元70，用于在制作视频内容时建立视频特征库，视频特征库包括：完整节目特征库和节目片段特征库。

本申请在进入视频内容提取及匹配处理过程之前，首先建立视频特征库，由于视频将被分成两类，完整节目视频和节目片段视频，因此，视频特征库可以包括完整节目特征库和节目片段特征库。视频分类时，可以根据视频本身的属性来区分，也可以通过视频长度阈值来划分。

本申请上述实施例中的装置还可以包括：读取单元601，用于读取视频内容；查询处理单元，用于在视频关联关系库中查询视频内容对应的匹配视频内容；播放单元602，用于在查找匹配视频内容成功的情况下，播放视频内容对应的匹配视频。优选地，播放单元602可以包括：第一播放单元，用于在视频内容为节目片段视频的情况下，直接播放查找到的第一完整节目视频；或者，第二播放单元，用于在视频内容为完整节目视频的情况下，直接播放查找到的一个或多个第一节目片段视频，并将一个或多个第一节目片段视频以标签的形式标注在完整节目视频的进度条上。这种方式可以快速搜索到当前视频片段的来源，即包含当前视频片段的完整视频，给用户带来很大的便利和新颖的体验。

上述实施例实现在视频被用户选择观看的时候，装置会自动在关联关系库中查询该视频是否存在关联关系。如果查询结果表示该视频是节目片段视频，对应有完整节目视频，就将完整节目视频展示给用户，让用户知道当前节目片段来自于那个完整节目，并可以选择观看完整节目。如果查询结果表示该视频是完整节目视频，对应有多个节目片段视频，那么就将这些节目片段视频的信息在完整节目上展示出来，让用户知道该节目可以被分成多个精彩片段，每一个片段都可以直接定位观看。

目前已经有在视频上通过标记标签的方式来改善用户体验的方法，但是这些标签都是采用人工方式生成的，需要编辑提前选好时机点和输入标签的内容，这样的方法要花费人力成本和时间代价，无法在大规模视频上应用。具体的，上述实施例中，在装置自动生成视频内容关联关系之后，由装置同时自动生成精彩视频的标签，即每个节目片段视频的标签，并将该标签***到完整节目视频中，该视频标签包括标签的时间点和标签的内容，实现了时间点精确，而且可以在大规模视频上广泛应用。

图3是根据本发明实施例的视频内容的匹配关系的处理方法的流程图。如图3所示该方法包括如下步骤：

步骤S10，通过图1中的视频类型处理单元10来获取视频内容，并根据视频内容的参数来确定视频内容的视频类型。

步骤S30，通过图1中的提取单元30实现根据视频类型来提取视频内容的视频特征。

步骤S50，通过图1中的匹配处理单元50实现根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容，并生成视频关联关系库，其中，在成功查询到匹配视频内容的情况下，将匹配成功的视频内容与匹配视频内容之间的关联关系保存至视频关联关系库，即可以将匹配成功的视频内容的ID标识及其对应的匹配视频内容保存至视频关联关系库，同时将视频内容及其对应的匹配视频内容之间的关联关系保存至视频关联关系库。

本申请上述实施例通过匹配处理单元50实现视频内容重复关联关系的建立，然后采用基于视频特征进行视频内容匹配的算法，可以完全替代人工工作，在自动分析处理所有视频内容的匹配视频的同时建立了它们之间的内容重复关联关系，不但有很高的查询效率，而且查询到的时间点十分精确，从而替代了人工建立网络视频之间的关联关系，解决了人工进行视频内容匹配过程中查找工作繁重，且效率低的问题，进而实现了通过自动匹配视频内容提高了搜索视频的效率，节省了人力成本。而且进一步可以实现基于内容匹配在视频内容重复关联关系中搜索视频片段的来源，以及基于内容匹配在视频内容重复关联关系中自动生成精彩片段。

图4是根据本发明实施例的视频内容的视频特征提取方法的流程图。如图4所示，上述实施例中的步骤S10中，视频类型包括完整节目视频和节目片段视频，其中，获取视频内容，并根据视频内容的参数来确定视频内容的视频类型可以包括如下步骤：

步骤S101，获取视频内容，即向装置输入视频。

步骤S102，通过验证视频内容的属性标记来确定视频内容的视频类型，或者，根据视频内容的视频长度来确定视频内容的视频类型；其中，当视频内容的视频长度大于等于第一阈值时，视频内容是完整节目视频；当视频内容的视频长度小于等于第二阈值时，视频内容是节目片段视频；当视频内容的视频长度在第一阈值和第二阈值之间时，视频内容是完整节目视频，也是节目片段视频，且第一阈值大于第二阈值。上述步骤中的实施方式实现根据视频本身的属性来区分接收到的视频内容的类型，也可以通过视频长度阈值来划分该视频内容的类型。

优选地，在步骤S10获取视频内容之前，方法还可以包括如下步骤：制作视频内容，并通过提取视频特征来建立视频特征库，视频特征库包括：完整节目特征库和节目片段特征库。

图5是根据本发明实施例的创建视频关联关系库的方法流程图，如图5所示，本发明上述步骤S30和步骤S50中的提取视频内容的视频特征，并根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容的实施方式可以包括如下步骤：

步骤S301，在视频内容中提取预定长度的时间窗口，并在时间窗口内均匀采样预定数目的视频特征；将采样到的预定数目的视频特征进行组合，以获取时间窗口内的窗口视频特征。该提取视频内容的视频特征的提取方法可以应用在创建视频特征库或视频关联关系库的过程中。

步骤S501，在视频特征库中查询与窗口视频特征匹配的匹配视频内容。

优选地，在上述步骤中的在视频特征库中查询与窗口视频特征匹配的匹配视频内容的步骤可以包括：对窗口视频特征与视频特征库中的所有窗口视频特征进行距离比较，其中，在距离小于等于验证值的情况下，窗口视频特征匹配成功。

具体的，步骤S301可以采用在一个时间窗口s秒内进行特征匹配的方式，在这个时间窗口s秒内均匀抽样f个特征，将这些特征进行比较，比较的结果作为这个时间窗口内视频的匹配结果。上述方法比较现有的在两个视频进行特征匹配的时候采用单帧图像或者单个时间片的技术，减少了匹配结果的误差，使得匹配效果更好。

同时，在上述视频特征抽样的过程中，由于本申请中的视频内容类型包括完整节目视频和节目片段视频，因此，本申请步骤S301中的节目片段视频从节目片段特征库中提取，完整节目视频在完整节目特征库中提取。其中，视频特征包括图像特征和音频特征，提取视频内容的图像特征的步骤包括：将视频内容的图像进行分块；提取每一块图像的图像特征；将每一块图像对应的图像特征进行组合，以获取图像特征；以及提取视频内容的音频特征的步骤包括：将视频内容按照预订时间片长度划分为均匀的时间片，且相邻的时间片相重叠；提取每一个时间片区间内的音频特征。

由于描述图像内容的特征有很多，提取视频特征的过程中选择提取图像整体特征，而不是局部特征。而且为了保证特征提取的速度，可以选择颜色直方图类特征，这种特征既可以描述图像的整体情况，又可以快速计算提取。优选地，在颜色空间上，可以选择YUV颜色空间，它与RGB颜色空间相比，更加符合人眼的视觉特性。

另外，由于整个图像的直方图特征没有包含图像的位置信息，为了使得图像特征包含一定的位置信息，可以采用对图像进行分块，然后对每一块分别提取直方图特征，将这些特征组合后作为图像的整体特征。

具体的，在步骤S501中实现两个视频进行匹配的过程中，可以以节目片段视频VideoA为匹配请求视频，完整节目视频VideoB为被匹配的视频为例，在VideoA的起始处取一个时间窗口，用这个时间窗口的特征FeatureAt(t＝0)在VideoB上与该视频的所有时间窗口特征FeatureBt(t＝0-end)进行距离计算，如果在某一个时间点t0处距离小于阈值，说明特征FeatureAt(t＝0)与FeatureBt(t＝t0)匹配成功。如果两个特征匹配成功的情况出现，就进一步进行验证。在VideoA的起始时间点之后间隔Dt时间长度均匀选取M-1个时间窗口特征FeatureAt(t＝Dt*m，m＝1，2...M-1)，在VideoB的时间点t0处之后同样间隔Dt时间长度均匀选取M-1个时间窗口特征FeatureBt(t＝t0+Dt*m，m＝1，2...M-1)，将这些时间窗口特征分别对应进行匹配，如果这M-1个时间窗口特征都匹配成功，说明VideoA和VideoB在时间点t0处匹配成功。

对于视频数量很大的数据库，特征匹配花费的时间较长，可以采用多种方法来减少特征匹配的时间，例如：建立索引、时间限制、栏目限制等。建立索引可以快速地进行特征检索，但是会使***变得复杂，索引的更新频率也会对结果带来很大影响。时间限制是指只对一个时间范围内的视频进行匹配，制作时间比较久远的视频自动从特征库中删除，这样会减小特征匹配的范围。栏目限制是指根据视频的栏目属性标签，每一个匹配视频只对栏目属性相同的视频进行匹配，同样也能大大减小视频匹配的范围。

如果VideoA和VideoB在时间点t0处匹配成功，就生成一个关联关系(VideoA，VideoB，t0)，表示VideoA在VideoB的t0处出现或者说视频匹配成功，并将这条关联关系存入关联关系库中。

如图5所示，在根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容，并生成视频关联关系库的步骤中，可以通过步骤S502或步骤S503来实现：

步骤S502，在视频内容为完整节目视频的情况下，可以根据完整节目视频的视频特征在节目片段特征库中获取与完整节目视频对应的第一节目片段视频，并将完整节目视频的ID标识、第一节目片段视频以及他们之间的关联关系保存至视频关联关系库。该步骤中，可以将完整节目视频的每一个时间窗口中的视频特征在节目片段特征库中进行匹配，以获取与完整节目视频对应的一个或多个第一节目片段视频，对于完整节目视频最后可能找到若干条匹配结果。

步骤S503，在视频内容为节目片段视频的情况下，根据节目片段视频的视频特征在完整节目特征库中获取与节目片段视频对应的第一完整节目视频，并将节目片段视频、第一完整节目视频以及他们之间的关联关系保存至视频关联关系库。该步骤中，可以将节目片段视频的第一个时间窗口中的视频特征在完整节目特征库中进行匹配，以获取与节目片段视频对应的第一完整节目视频，对于节目片段视频最后可能仅找到一条匹配结果。

本发明上述实施例中，在步骤S50根据视频特征在视频特征库中查询与视频内容对应的匹配视频内容，并生成视频关联关系库之后，还可以包括如下步骤：读取视频内容；在视频关联关系库中查询视频内容对应的匹配视频内容；在查找匹配视频内容成功的情况下，播放视频内容对应的匹配视频。优选地，在查找匹配视频内容成功的情况下，播放视频内容对应的匹配视频的步骤中可以包括：在视频内容为节目片段视频的情况下，直接播放查找到的第一完整节目视频；或者，在视频内容为完整节目视频的情况下，直接播放查找到的一个或多个第一节目片段视频，并将一个或多个第一节目片段视频以标签的形式标注在完整节目视频的进度条上。

图6是根据本发明实施例的播放查询到的视频内容的流程图。如图6所示，本申请上述实施例中，实现了视频片段来源搜索和精彩片段自动生成的过程。用户打开一个视频的同时，装置根据视频唯一的ID号在关联关系库中查找它的关联关系。如果找到了它对应的完整节目视频，装置便将完整节目展示出来；如果找到了它对应的节目片段视频，就把所有它关联的节目片段以精彩片段标签的形式展示出来；如果什么都没有找到，就不做任何展示，只正常播放当前视频。

如果当前视频是一个节目片段，并在关联关系库中找到关联关系，那么在关联关系中对应的完整节目视频，就是当前节目片段的来源视频。这时候可以向用户展示这个完整视频，并且提示用户当前节目片段来自于这个完整视频，并且给用户提供一个链接入口，让用户可以选择观看这个完整视频。

如果当前视频是一个完整节目，并在关联关系库中找到关联关系，那么一般情况都会找到若干个关联关系，每一个关联关系对应一个节目片段视频，这些节目片段视频都来自于当前的完整节目，并且出现在这个完整节目的不同的时间点。向用户展示这些节目片段的时候可以采用精彩片段标签的形式，即在当前完整节目视频的进度条上标记上若干个标签，每一个标签对应一个节目片段视频，表示一个精彩片段的开始。可以为每一个标签加上提示内容，提示内容可以包括精彩片段视频的视频名称等信息。每一个标签可以为用户提供一个操作入口，让用户可以直接跳转到该标签的位置观看精彩片段。

综上所示，本申请通过计算机算法来实现通过基于内容的视频匹配与检索算法，快速自动并精确地建立海量视频之间的内容重复关联关系，并且利用这种新颖的关联关系设计两种应用装置：视频片段来源搜索和精彩片段自动生成。这两种应用将为用户带来新颖的便利的体验。

其中，如图6所示，片段***搜索：用户在播放一个节目片段视频的时候，装置会自动搜索到当前视频的来源，即包含当前节目片段的完整节目，将搜索结果展示给用户并提示用户可以直接播放完整节目。

如图6所示，精彩片段自动生成：用户在播放一个完整节目视频的时候，装置会自动搜索与当前视频有内容重复关联关系的所有节目片段，经过整理筛选后，将节目片段以标签的形式标注在完整节目的进度条上。每一个节目片段生成一个标签，作为一个精彩片段，提示用户可以直接点击标签跳到该位置观看该节目片段。如图所示，屏幕下方的蓝色点表示精彩片段的起始点标记，这是一种展示精彩片段的方式。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机装置中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

从以上的描述中，可以看出，本发明实现了如下技术效果：全自动，完全替代了人工操作，节省大量人力成本；速度快，视频匹配需要的时间很小，使得可以进行海量视频处理；精确，可以精确地定位节目片段视频在它对应的完整节目视频上的时间点；新颖的用户体验，用全新的方式展示视频间的内容关联关系，使得网友用户可以较好地体验本专利带来的便利性。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种视频内容的匹配关系的处理方法，其特征在于，包括：

获取视频内容，并根据所述视频内容的参数来确定所述视频内容的视频类型；

根据所述视频类型来提取所述视频内容的视频特征；

根据所述视频特征在视频特征库中查询与所述视频内容对应的匹配视频内容，并生成视频关联关系库，其中，

在成功查询到所述匹配视频内容的情况下，将匹配成功的所述视频内容与所述匹配视频内容之间的关联关系保存至所述视频关联关系库；

其中，所述视频类型包括完整节目视频和节目片段视频，其中，获取视频内容，并根据所述视频内容的参数来确定所述视频内容的视频类型包括：获取所述视频内容；通过验证所述视频内容的属性标记来确定所述视频内容的视频类型，或者，根据所述视频内容的视频长度来确定所述视频内容的视频类型；其中，当所述视频内容的所述视频长度大于等于第一阈值时，所述视频内容是所述完整节目视频；当所述视频内容的所述视频长度小于等于所述第二阈值时，所述视频内容是所述节目片段视频，且所述第一阈值大于所述第二阈值；

其中，根据所述视频特征在视频特征库中查询与所述视频内容对应的匹配视频内容，并生成视频关联关系库包括：在所述视频内容为所述完整节目视频的情况下，将所述完整节目视频的每一个所述时间窗口中的视频特征在所述节目片段特征库中进行匹配，以获取与所述完整节目视频对应的一个或多个第一节目片段视频，并将所述完整节目视频与各个所述第一节目片段视频之间的关联关系保存至所述视频关联关系库；或者，在所述视频内容为所述节目片段视频的情况下，将所述节目片段视频的第一个时间窗口中的视频特征在所述完整节目特征库中进行匹配，以获取与所述节目片段视频对应的第一完整节目视频，并将所述节目片段视频与所述第一完整节目视频之间的关联关系保存至所述视频关联关系库。

2.根据权利要求1所述的方法，其特征在于，提取所述视频内容的视频特征，并根据所述视频特征在视频特征库中查询与所述视频内容对应的匹配视频内容包括：

在所述视频内容中提取一个或多个预定长度的时间窗口；

在所述时间窗口内均匀采样预定数目的视频特征；

将采样到的所述预定数目的视频特征进行组合，以获取所述时间窗口内的窗口视频特征；

在视频特征库中查询与所述窗口视频特征匹配的所述匹配视频内容。

3.根据权利要求2所述的方法，其特征在于，在视频特征库中查询与所述窗口视频特征匹配的所述匹配视频内容包括：

对所述窗口视频特征与所述视频特征库中的所有窗口视频特征进行距离比较，其中，在所述距离小于等于验证值的情况下，所述窗口视频特征匹配成功。

4.根据权利要求2所述的方法，其特征在于，所述视频特征包括图像特征和音频特征，其中，

提取所述视频内容的所述图像特征的步骤包括：将所述视频内容的图像进行分块；提取每一块图像的图像特征；将每一块图像对应的所述图像特征进行组合，以获取所述图像特征；以及

提取所述视频内容的所述音频特征的步骤包括：将所述视频内容按照预订时间片长度划分为均匀的时间片，且相邻的所述时间片相重叠；提取每一个所述时间片区间内的音频特征。

5.根据权利要求1-4中任一项所述的方法，其特征在于，在获取视频内容之前，所述方法还包括：

制作所述视频内容以获取视频文件，并建立所述视频特征库，所述视频特征库包括：完整节目特征库和节目片段特征库。

6.根据权利要求5所述的方法，其特征在于，在根据所述视频特征在视频特征库中查询与所述视频内容对应的匹配视频内容，并生成视频关联关系库之后，所述方法还包括：

读取所述视频内容；

在视频关联关系库中查询所述视频内容对应的匹配视频内容；

在查找所述匹配视频内容成功的情况下，播放所述视频内容对应的所述匹配视频。

7.根据权利要求6所述的方法，其特征在于，在查找所述匹配视频内容成功的情况下，播放所述视频内容对应的所述匹配视频包括：

在所述视频内容为所述节目片段视频的情况下，直接播放查找到的所述第一完整节目视频；或者，

在所述视频内容为所述完整节目视频的情况下，直接播放查找到的一个或多个所述第一节目片段视频，并将一个或多个所述第一节目片段视频以标签的形式标注在所述完整节目视频的进度条上。

8.一种视频内容的匹配关系的处理装置，其特征在于，包括：

视频类型处理单元，用于根据获取到的视频内容的参数来确定所述视频内容的视频类型；

提取单元，用于根据所述视频类型来提取所述视频内容的视频特征；

匹配处理单元，用于根据所述视频特征在视频特征库中查询与所述视频内容对应的匹配视频内容，并生成视频关联关系库，用于根据所述视频特征在视频特征库中查询与

所述视频内容对应的匹配视频内容，并生成视频关联关系库，其中，

在成功查询到所述匹配视频内容的情况下，将匹配成功的所述视频内容与所述匹配视频内容之间的关联关系保存至所述视频关联关系库

其中，所述视频类型处理单元包括：接收模块，用于获取所述视频内容；验证模块，用于通过验证所述视频内容的属性标记来确定所述视频内容的视频类型，或者，根据所述视频内容的视频长度来确定所述视频内容的视频类型，所述视频类型包括：完整节目视频和节目片段视频；其中，当所述视频内容的所述视频长度大于等于第一阈值时，所述视频内容是所述完整节目视频；当所述视频内容的所述视频长度小于等于所述第二阈值时，所述视频内容是所述节目片段视频，且所述第一阈值大于所述第二阈值；

其中，所述匹配处理单元包括第一匹配处理单元或第二匹配处理单元，其中，所述第一匹配处理单元用于在所述视频内容为所述完整节目视频的情况下，将所述完整节目视频的每一个所述时间窗口中的视频特征在所述节目片段特征库中进行匹配，以获取与所述完整节目视频对应的一个或多个第一节目片段视频，并将所述完整节目视频与各个所述第一节目片段视频之间的关联关系保存至所述视频关联关系库；所述第二匹配处理单元用于在所述视频内容为所述节目片段视频的情况下，将所述节目片段视频的第一个时间窗口中的视频特征在所述完整节目特征库中进行匹配，以获取与所述节目片段视频对应的第一完整节目视频，并将所述节目片段视频与所述第一完整节目视频之间的关联关系保存至所述视频关联关系库。

9.根据权利要求8所述的装置，其特征在于，所述提取单元包括：

获取模块，用于在所述视频内容中提取一个或多个预定长度的时间窗口；

采样模块，用于在所述时间窗口内均匀采样预定数目的视频特征。

10.根据权利要求9所述的装置，其特征在于，所述匹配处理单元包括：

组合模块，用于将采样到的所述预定数目的视频特征进行组合，以获取所述时间窗口内的窗口视频特征；

查询模块，用于在视频特征库中查询与所述窗口视频特征匹配的所述匹配视频内容。

11.根据权利要求10所述的装置，其特征在于，所述查询模块包括：

比较模块，用于对所述窗口视频特征与所述视频特征库中的所有窗口视频特征进行距离比较，其中，在所述距离小于等于验证值的情况下，所述窗口视频特征匹配成功。

12.根据权利要求8所述的装置，其特征在于，所述提取单元为第一提取单元或第二提取单元，其中，

所述第一提取单元用于提取所述视频内容的所述图像特征，所述第一提取单元包括：

第一划分模块，用于将所述视频内容的图像进行分块；

第一获取模块，用于提取每一块图像的所述图像特征；

第二组合模块，用于将每一块图像对应的所述图像特征进行组合，以获取所述图像特征；以及

所述第二提取单元用于提取所述视频内容的所述音频特征，所述第一提取单元包括：

第二划分模块，用于将所述视频内容按照预订时间片长度划分为均匀的时间片，且相邻的所述时间片相重叠；

第二获取模块，用于提取每一个所述时间片区间内的音频特征。

13.根据权利要求8-12中任一项所述的装置，其特征在于，所述装置还包括：

创建特征库单元，用于在制作所述视频内容时建立所述视频特征库，所述视频特征库包括：完整节目特征库和节目片段特征库。

14.根据权利要求8所述的装置，其特征在于，所述装置还包括：

读取单元，用于读取所述视频内容；

查询处理单元，用于在视频关联关系库中查询所述视频内容对应的匹配视频内容；

播放单元，用于在查找所述匹配视频内容成功的情况下，播放所述视频内容对应的所述匹配视频。

15.根据权利要求14所述的装置，其特征在于，所述播放单元包括：

第一播放单元，用于在所述视频内容为所述节目片段视频的情况下，直接播放查找到的所述第一完整节目视频；或者，

第二播放单元，用于在所述视频内容为所述完整节目视频的情况下，直接播放查找到的一个或多个所述第一节目片段视频，并将一个或多个所述第一节目片段视频以标签的形式标注在所述完整节目视频的进度条上。

Images