CN103942337A - 一种基于图像识别与匹配的视频搜索*** - Google Patents

Abstract

一种基于图像识别与匹配的视频搜索***，包括：服务器端和用户端两部分，所述服务器端包括：视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；所述用户端包括：用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块。本发明提供一种利用图片搜索视频的方法，具有良好的用户体验，用户可以通过上传一张图片便可以获得与图片内容相关的视频资料信息，返回搜索结果准确、信息量大，可以充分地利用互联网络上的海量视频资源。

Description

一种基于图像识别与匹配的视频搜索***

技术领域

本发明涉及一种视频搜索***，涉及互联网搜索及视频处理。

背景技术

早在2011年，全球互联网消费者总流量中视频播放的流量所占比例已经超过了50％，还不包括通过P2P方式下载视频文件所消耗的流量。视频信息已占据了互联网所有信息的主要部分。而且，视频中蕴含了极其丰富的信息，这是文字信息所无法替代的。而对于如此丰富的信息资源，目前的索引方式仅仅是通过视频发布者对其添加的非常简短的描述来实现，可见视频中被浪费掉的潜在资源是非常丰富的。我们希望通过这种方式，充分利用视频中的潜在资源，为用户提供更加丰富的搜索结果信息，为一些特殊的行业领域，例如历史视频文献、新闻视频追踪提供一种新的解决方案。

现在中也有少量通过图片搜索视频的服务平台，但是基本上都集中在国外，且多为概念产品。少量提供者也很难提供精确的搜索结果，充分利用视频特征。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种通过图片搜索视频的服务***及使用平台，用户通过一张图片就可以获得图片相关的视频资料或影像文献的信息、图片的来源以及图片的主体内容。为用户提供了一种更加便捷有效地查找视频资料的方式，提供更加丰富的搜索结果展示形式。

本发明技术解决方案：一种基于图像识别与匹配的视频搜索***，包括服务器端和用户端两部分。服务器端包括视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；用户端包括用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块。

视频采集模块，实现搜索信息数据库原始资源的构建；通过网络爬虫获取网络视频资料或使用合作视频网站现有的视频内容资源，采集视频资料及其附加的文字描述、评论信息，将所获得的视频资源送入视频预处理模块，将所获得的文字资料送往视频文字特征采集模块；

视频文字特征采集模块，获取视频文字的特征；利用获取到的视频的文字描述、评论信息，通过关键词提取，获得文字信息的关键字，获得的信息送往视频文字信息分析模块；

视频文字信息分析模块，获取视频资料的文字特征；利用视频文字信息的关键词，分析关键词与视频内容的相关程度，得到描述视频特征的文字关键词，所获得的数据送往服务器数据库；

视频预处理模块，获得无污染的视频影像；由于原始视频资料可能会有台标、嵌入式字幕等信息，这些信息出现在画面上会对视频原始内容产生一定的干扰，此模块对此类信息进行特征提取并清除，将获得的视频送往视频内容分析模块；

视频内容分析模块，获得视频的内容信息；通过对视频播放过程中画面的整体动态变化的分析，获得视频的内容风格，拆分视频场景，分析场景之间的联系；将所获得的上述数据送往视频特征提取模块；

视频特征提取模块，获得视频画面的特征；通过所获得的视频场景信息及整体的视频内容风格，对视频每个场景提取画面特征信息，其中包括画面的变化特征、画面图像特征以及画面中物体的特征。通过视频内容分析模块中所获得的场景联系特征对上述信息进行校正，最终获得视频特征，将其送往服务器数据库模块；

服务器数据库模块，接收视频特征并储存，以备用户搜索；其信息会被服务器控制模块调用，以进行下一步的处理；

图像特征提取模块，获得用户上传待搜索图片的特征；对用户上传图片进行图像特征分析，并对用户可能添加的文字信息进行特征分析，获得用户待搜索内容的特征，将其送往服务器控制模块；

服务器控制模块，返回用户搜索结果；利用从图像特征提取模块获得用户上传图片的特征信息，在服务器数据库模块中进行查找匹配，将特征符合的视频资源即搜索结果返回，数据发送到用户端的视频搜索信息展示模块；

用户反馈信息分析处理模块，校正数据库中视频的特征信息；对从搜索结果用户反馈模块获得的用户反馈信息进行分析，校正数据库中视频的特征信息，校正后的信息仍被送入服务器数据库模块进行存储；

用户搜索信息上传模块，获得用户待搜索的内容；基于Html网页实现，将用户上传和输入的待搜索信息上传到图像特征提取模块，所发送信息包括用户搜索内容和用户的ID；

视频搜索结果展示模块，向用户展示搜索结果；基于Html网页实现，将用户通过用户搜索信息上传模块上传的内容的搜索结果，即服务器控制模块返回的搜索结果，在用户端进行展示；

搜索结果用户反馈模块，获得用户对搜索结果的反馈信息；在客户端视频搜索结果展示模块展示搜索结果时，记录用户获得搜索结果后，选择了那些结果进行浏览，对搜索结果项的浏览时间等信息，将这些信息提交给用户反馈信息分析处理模块进行分析处理。

本发明与现有技术相比的优点在于：

(1)相对于文字搜索，本发明可以更提供更加丰富的搜索结果展示形式，相对于常见的搜索文字信息，搜索的视频资料蕴含更加丰富的内容和信息；

(2)相对于视频搜索，本发明可以提供更多的搜索条件选择，搜索结果充分利用视频画面内容信息，搜索结果更加有效；

(3)综合使用视频画面特征和文字描述特征确定视频特征，搜索结果更加准确；

(4)采集用户反馈信息，根据用户浏览搜索结果的选择以及浏览时间，评判用户对搜索结果项的满意程度，对视频特征进行反馈校正，使视频特征信息更加精准；

(5)Html网页实现，用户在使用时登陆网站，无需安装任何插件。

附图说明

图1为搜索结果展示界面(部分)；

图2为本发明的模块流程图；

图3为本发明的模块结构图；

图4为本发明中视频特征权值确定的工作流程。

具体实施方式

如图3所示，本发明视频搜索***，包括服务器端和用户端两部分。服务器端包括视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；用户端包括用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块。

视频采集模块，由于视频版权限制，暂不使用网络爬虫对互联网上传播的视频进行下载采集分析，使用合作视频网站现有的视频内容资源，获得视频文件，然后利用网络爬虫，获得视频所在页面的文字材料，包括但不限于视频评论、分类、标题、相关视频链接等；

视频文字特征采集模块，现有视频网站对视频都有视频分类，这个分类可能来自于视频发布者自己添加，可能会不太准确，但提供了一个可以参考基本特征。对同一基本特征的视频，将其视频的文字描述信息汇总，进行聚类分析，提出这些文字信息中所主要包含的关键词，记为此类视频的基础词，那么对于每一个视频来说，其文字描述信息在基础词中出现的词语可记为这个视频文字信息的关键词，这一部分关键词仅仅来自于文字材料，可能与视频内容无关，分析出的词语例如：“很好”，“演员”，“美剧”，“张艺谋”，“家居”，“楼上”，“抢沙发”，“优酷”等。

视频文字信息分析模块，在视频文字特征采集模块中获取到的文字关键词可能与视频无关。以上一段中的例子分析，其中“张艺谋”、“美剧”、“家居”等词语与视频内容有关；“很好”、“演员”虽然与视频内容相关，但是描述过于宽泛，对视频特征基本没有作用；“楼上”、“抢沙发”、“优酷”等词语对视频内容特征完全没有意义。本模块需要对三类词语进行分辨，将后两类词语删除，将第一类词语按照出现次数进行加权，作为视频的文字关键词。

其中第二、三类词语具有以下特征：其在每一类的视频文字描述信息中都会出现，而且概率相近，我们通过统计分析词语在不同类别视频中出现的概率分布，对同一关键词在不同类别视频中出现概率的方差设置一定的阈值，方差较小的即可判定为此类词语。

视频预处理模块，原始视频资料可能会有台标、嵌入式字幕，对于台标、嵌入式字幕等，其在一个视频中会在绝大多数画面中出现并且位于同一位置且具有相近的颜色，我们对视频在时间维度上进行随机抽样，计算画面每一个位置上点的颜色变化幅度和方差，设置一定的阈值，小于阈值的代表此位置颜色变化幅度较小，可能是台标等信息。如果这些点附近的点也具有这样的特征(因为台标等会占据一定的面积)，那么就可以把这种集中分布的疑似污染信息进行标记。被标记位置的画面对视频关键词的提取不产生影响。

视频内容分析模块，画面的整体动态变化的分析，例如视频画面整体颜色较为昏暗或者较为明快，画面基本色调及色调变化情况等。对视频中相近画面之间进行SIFT和光流特征匹配，可以拆分视频场景，或者说拆分视频镜头，记录镜头切换频率变化信息。

视频特征提取模块，一方面，根据视频内容分析模块中提供的画面色调信息以及镜头切换频率，可以基本确定视频风格，而且，对于不同视频文件包含相同或相似视频内容的，例如不同格式的视频文件可能内容都是同一部电影，我们可以进行识别并统一归类，其可以共享视频特征信息、视频文字描述信息，这样可以极大地丰富视频文件的描述信息，提高视频特征提取的准确度。另一方面，对于每一个镜头(场景)，从图形学的角度，提取画面的特征点，例如颜色剧烈变化的点、有棱角物体的棱角点等，构建这些特征点的空间描述向量，作为场景的画面特征。

服务器数据库模块，对于每一个视频，记录以下信息：***网址，视频标题，视频文字信息关键词，相关视频及其相关程度，视频画面整体风格描述信息，视频场景画面特征描述信息。

图像特征提取模块，对用户上传的图片进行图形学上的特征提取，提取方法与视频中画面特征提取方式类似，不再赘述。并记录。

服务器控制模块，对图像特征提取模块提供的用户上传图片的特征信息，在数据库中进行查找匹配，对于匹配程度比较大，即有可能是搜索结果的，根据匹配程度赋予一定的权值。同时，该视频的相关视频也由于此视频获得权值而额外增加权值。搜索结束后，根据权值进行排序，取权值较高的结果如前100个，作为搜索结果进行返回。

用户反馈信息分析处理模块，一个视频作为搜索结果返回，说明其特征与用户上传的图片特征相近，但是如果返回以后用户没有浏览该搜索结果，那么说明这个特征匹配可能存在问题。针对此特征，我们对该搜索结果视频进行降权处理。同时，该视频的相关视频也由于此视频降低权值而额外降低权值。相反的，如果用户选择了某个搜索结果项，并进行了长时间的浏览，那么说明这个特征匹配可能是非常合理的，针对此特征，我们对该搜索结果视频进行升权处理。同时，该视频的相关视频也由于此视频提升权值而额外提升权值。

用户搜索信息上传模块，通过网页实现即可，提供图片上传功能。

视频搜索结果展示模块，通过网页实现即可，提供视频播放功能。

搜索结果用户反馈模块，通过网页和网站服务器后台配合实现，记录用户在搜索后点击了那些搜索结果，在搜索结果页面里停留了多长时间。

总之，本发明提供了一种通过图片搜索视频的服务***及使用平台，用户通过一张图片就可以获得图片相关的视频资料或影像文献的信息、图片的来源以及图片的关键词。为用户提供了一种更加便捷有效地查找视频资料的方式，提供更加丰富的搜索结果展示形式。

以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于图像识别与匹配的视频搜索***，其特征在于：包括服务器端和用户端两部分，所述服务器端包括：视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；所述用户端包括：用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块；

视频采集模块，实现搜索信息数据库原始资源的构建；通过网络爬虫获取网络视频资源或使用合作视频网站现有的视频资源，采集视频影像及其附加的文字描述、评论信息，将所获得的视频资源送入视频预处理模块，将所获得的文字描述、评论信息送往视频文字特征采集模块；

视频文字特征采集模块，获取视频文字的特征；利用获取到的视频的文字描述、评论信息，通过关键词提取，获得文字信息的关键字，获得的信息送往视频文字信息分析模块；

视频文字信息分析模块，获取视频资料的文字特征；利用视频文字信息的关键词，分析关键词与视频内容的相关程度，得到描述视频特征的文字关键词，所获得的数据送往服务器数据库；

视频预处理模块，获得无污染的视频影像；由于原始视频资料可能会有台标信息、嵌入式字幕信息，这些信息出现在画面上会对视频原始内容产生干扰，此模块对上述这些信息进行特征提取并清除，将获得的视频送往视频内容分析模块；

视频内容分析模块，获得视频的内容信息；通过对视频播放过程中画面的整体动态变化的分析，获得视频的内容风格，拆分视频场景，分析场景之间的联系；将所获得的上述数据送往视频特征提取模块；

视频特征提取模块，获得视频画面的特征；通过所获得的视频场景信息及整体的视频内容风格，对视频每个场景提取画面特征信息，其中包括画面的变化特征、画面图像特征以及画面中物体的特征，通过视频内容分析模块中所获得的场景联系特征对每个场景的画面特征信息进行校正，最终获得视频特征，将其送往服务器数据库模块；

服务器数据库模块，接收视频特征并储存，以备用户搜索；其信息会被服务器控制模块调用，以进行下一步的处理；

图像特征提取模块，获得用户上传待搜索图片的特征；对用户上传图片进行图像特征分析，并对用户可能添加的文字信息进行特征分析，获得用户待搜索内容的特征，将其送往服务器控制模块；

服务器控制模块，返回用户搜索结果；利用从图像特征提取模块获得用户上传图片的特征信息，在服务器数据库模块中进行查找匹配，将特征符合的视频资源即搜索结果返回，数据发送到用户端的视频搜索信息展示模块；

用户反馈信息分析处理模块，校正数据库中视频的特征信息；对从搜索结果用户反馈模块获得的用户反馈信息进行分析，校正数据库中视频的特征信息，校正后的信息仍被送入服务器数据库模块进行存储；

用户搜索信息上传模块，获得用户待搜索的内容；基于Html网页实现，将用户上传和输入的待搜索信息上传到图像特征提取模块，所发送信息包括用户搜索内容和用户的ID；

视频搜索结果展示模块，向用户展示搜索结果；基于Html网页实现，将用户通过用户搜索信息上传模块上传的内容的搜索结果，即服务器控制模块返回的搜索结果，在用户端进行展示；

搜索结果用户反馈模块，获得用户对搜索结果的反馈信息；在客户端视频搜索结果展示模块展示搜索结果时，记录用户获得搜索结果后，选择了那些结果进行浏览，对搜索结果项的浏览时间等信息，将这些信息提交给用户反馈信息分析处理模块进行分析处理。

2.根据权利要求1所述的基于图像识别与匹配的视频搜索***，其特征在于：所述视频预处理模块用于：

(1)对视频在时间维度上进行随机抽样；

(2)计算每一个位置上点在每个抽样中的颜色变化幅度和方差；

(3)设置一定的阈值，对于方差小于阈值的点，根据其方差与所设阈值，计算该点与视频内容不相关的概率，并进行标记；对于方差大于阈值的点，认为该点与视频内容有关，无需处理；

(4)对于0中被标记过的点，进行二维的K-means聚类，将位置比较接近的点划归为一个集合，从而得到多个由点构成的集合，每个集合内的点不相交；

(5)对于0中得到的每一个集合，计算集合中的点数在该集合凸包区域内的分布概率，概率高的，认为该集合凸包范围内的视频画面与视频内容不相关；

(6)对于0中获得到的与视频内容不相关的画面区域，即确认是与视频内容无关的，进行标记删除。

3.根据权利要求1所述的基于图像识别与匹配的视频搜索***，其特征在于：所述视频内容分析模块如下：

所述视频内容分析模块包括两部分，视频整体特征提取和视频场景分隔；其中视频整体特征提取的实现过程为：

(1)对视频中的每一帧画面的整体动态变化的分析，获取画面的平均颜色特征；

(2)指定每秒钟采样的次数；

(3)整个视频所获得的按时间排序的，每个画面的平均颜色特征，就是该视频的整体特征；

其中视频场景分隔的实现过程为：

(1)指定一个步长帧数，取视频第1帧作为起始帧；

(2)取起始帧，将其与加上一个步长后的视频帧作为结束帧，对起始帧和结束帧画面进行SIFT和光流特征匹配；

(3)如果能匹配，则认为这一段视频都都来自于同一个场景，起始帧增加一个步长转入(2)继续处理；如果不匹配，则认为在起始帧和结束帧之间的某一帧处，场景进行了切换，通过二分查找找到场景切换的位置；

(4)将所获得的一个场景切换位置记录下来，这时起始帧和结束帧之间为一个场景；取结束帧的下一帧作为起始帧，转入(2)继续处理，直到视频结束。

4.根据权利要求1所述的基于图像识别与匹配的视频搜索***，其特征在于：所述视频特征提取模块用于：

(1)根据权利要求3获得该视频的整体特征后，对数据库中的视频进行比对；

(2)对比相似度高于阈值的，认为视频内容很可能是相同的，将其归为同一类；

(3)对于同一类的视频，进一步比较其场景分割结果，并对对应场景中的画面进行抽样比对，如果相似度仍然非常高，则认为视频内容是相同的；

(4)对于视频中的每一个镜头，从图形学的角度，提取画面的特征点，包括颜色剧烈变化的点、有棱角物体的棱角点，构建这些特征点的空间描述向量，作为场景的画面特征；

(5)对于内容相同的视频，共享其视频特征，以降低其他因素对视频特征提取结果的影响。

5.根据权利要求1所述的基于图像识别与匹配的视频搜索***，其特征在于：所述用户反馈信息分析处理模块用于：

(1)在对用户的搜索内容处理并返回结果后，统计用户点击的搜索结果，以及用户浏览该搜索结果的时间；

(2)对于用户没有点击的搜索结果，说明在这次的搜索中的这个特征匹配可能存在问题，降低该视频针对该特征的权值；同时，对于与该视频内容相似的视频，也降低其针对该特征的权值；对于用户点击的搜索结果，说明在这次的搜索中的这个特征匹配比较合理，根据用户浏览该搜索结果的时间，提升该视频针对该特征的权值；同时，对于与该视频内容相似的视频，也提升其针对该特征的权值。