CN109101558B - 一种视频检索方法及装置 - Google Patents

Abstract

本发明提供了一种视频检索方法和装置。所述方法包括：接收用户输入的检索文本；将所述检索文本与视频数据库中预存的关键词进行匹配；其中，视频数据库中保存有关键词与视频片段的关联关系；在匹配到与所述检索文本匹配的关键词时，获取并展示所述关键词对应的至少一个视频片段。本发明通过视频数据库对用户输入的检索文本进行匹配，从而获取关键词对应的视频片段，无需人工进行视频素材的收集和筛选，减少了人力资源的浪费，节省了经济开支。

Description

一种视频检索方法及装置

技术领域

本发明涉及视频检索技术领域，特别是涉及一种视频检索方法及装置。

背景技术

随着人们娱乐内容消费方式的提升，视频剪辑工作一直有较大的需求量。视频剪辑是指对视频中的视频片段进行剪切，然后对剪切得到的视频片段进行拼接，以得到用户期望的视频的过程。影视剧剪辑工作很多时候是再创作工作，而创作过程中的素材通常是由人工进行收集和筛选的，需要很多的人工经验，比较浪费人力资源，进而造成了经济损失。

发明内容

本发明提供一种视频检索方法及装置，以解决现有技术中通过人工进行视频素材的收集和筛选耗费人力资源，造成经济损失的问题。

为了解决上述问题，本发明公开了一种视频检索方法，包括：接收用户输入的检索文本；将所述检索文本与视频数据库中预存的关键词进行匹配；其中，视频数据库中保存有关键词与视频片段的关联关系；在匹配到与所述检索文本匹配的关键词时，获取并展示所述关键词对应的至少一个视频片段。

优选地，在所述接收用户输入的检索文本的步骤之前，还包括：对目标视频进行分割处理，以得到分割处理后的各视频片段；针对每个所述视频片段，依次提取所述视频片段的视频字幕文本；对所述视频字幕文本进行分词处理，以获取所述视频片段对应的至少一个关键词；建立并保存所述视频片段与对应的所述至少一个关键词之间的关联关系。

优选地，所述对目标视频进行分割处理，以得到分割处理后的各视频片段的步骤，包括：对所述目标视频中的各帧视频图像进行分块处理，以将各帧视频图像分成若干视频块；将所述目标视频中相邻两帧视频图像的对应视频块进行对比，以获取各对应视频块的变化值；去除所述变化值中最大值的对应视频块，并将其余对应视频块的差值平方和进行归一化处理，以得到设定值；在所述设定值大于差值阈值时，将所述相邻两帧视频图像中靠后的一帧视频图像作为视频分割点；以所述视频分割点对所述目标视频进行分割处理，以得到分割处理后的各视频片段。

优选地，所述针对每个所述视频片段，依次提取所述视频片段的视频字幕文本的步骤，包括：获取各所述视频片段对应的字幕文件，从各所述字幕文件中提取各所述视频片段对应的视频字幕文本；或依次选取各所述视频片段中的字幕区域；针对每个视频片段的字幕区域，对所述字幕区域进行文字识别，以获取所述视频片段对应的视频字幕文本。

优选地，所述获取并展示所述关键词对应的至少一个视频片段的步骤，包括：获取所述关键词在所述至少一个视频片段中所占权重；依据所述权重对所述至少一个视频片段按照权重大小进行排序展示。

为了解决上述技术问题，本发明还公开了一种视频检索装置，包括：接收模块，用于接收用户输入的检索文本；匹配模块，用于将所述检索文本与视频数据库中预存的关键词进行匹配；其中，视频数据库中保存有关键词与视频片段的关联关系；获取展示模块，用于在匹配到与所述检索文本匹配的关键词时，获取并展示所述关键词对应的至少一个视频片段。

优选地，还包括：分割处理模块，用于对目标视频进行分割处理，以得到分割处理后的各视频片段；提取模块，用于针对每个所述视频片段，依次提取所述视频片段的视频字幕文本；关键词获取模块，用于对所述视频字幕文本进行分词处理，以获取所述视频片段对应的至少一个关键词；关联建立模块，用于建立并保存所述视频片段与对应的所述至少一个关键词之间的关联关系。

优选地，所述分割处理模块包括：分块处理子模块，用于对所述目标视频中的各帧视频图像进行分块处理，以将各帧视频图像分成若干视频块；变化值获取子模块，用于将所述目标视频中相邻两帧视频图像的对应视频块进行对比，以获取各对应视频块的变化值；设定值获取子模块，用于去除所述变化值中最大值的对应视频块，并将其余对应视频块的差值平方和进行归一化处理，以得到设定值；视频分割点确定子模块，用于在所述设定值大于差值阈值时，将所述相邻两帧视频图像中靠后的一帧视频图像作为视频分割点；视频片段获取子模块，用于以所述视频分割点对所述目标视频进行分割处理，以得到分割处理后的各视频片段。

优选地，所述提取模块包括：第一视频字幕获取子模块，用于获取各所述视频片段对应的字幕文件，从各所述字幕文件中提取各所述视频片段对应的视频字幕文本；或字幕区域选取子模块，用于依次选取各所述视频片段中的字幕区域；第二视频字幕获取子模块，用于针对每个视频片段的字幕区域，对所述字幕区域进行文字识别，以获取所述视频片段对应的视频字幕文本。

优选地，所述获取展示模块包括：权重获取子模块，用于获取所述关键词在所述至少一个视频片段中所占权重；排序展示子模块，用于依据所述权重对所述至少一个视频片段按照权重大小进行排序展示。

与现有技术相比，本发明包括以下优点：

本发明实施例提供了一种视频检索方法及装置，通过接收用户输入的检索文本，将检索文本与视频数据库中预存的关键词进行匹配，其中，视频数据库中保存有关键词与视频片段的关联关系，在匹配到与检索文本匹配的关键词时，获取并展示关键词对应的至少一个视频片段。本发明通过视频数据库对用户输入的检索文本进行匹配，从而获取关键词对应的视频片段，无需人工进行视频素材的收集和筛选，减少了人力资源的浪费，节省了经济开支。

附图说明

图1示出了本发明实施例提供的一种视频检索方法的步骤流程图；

图2示出了本发明实施例提供的一种视频检索装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

参照图1，示出了本发明实施例提供的一种视频检索方法的步骤流程图，具体可以包括如下步骤：

步骤101：接收用户输入的检索文本。

本发明实施例可以应用于视频片段检索的场景下。

用户输入的检索文本可以是一个词，如“金刚”或“科幻”等，也可以是一段文字，如“关于科幻类的短视频”等，本发明实施例对此不加以限制。

在本发明实施例的一种优选实施例中，在上述步骤101之前，还可以包括：

步骤S1：对目标视频进行分割处理，以得到分割处理后的各视频片段。

在本发明实施例中，目标视频是指需要进行视频分割以得到对应的各视频片段的视频。

通过对目标视频的分割处理，可以获取到目标视频对应的各视频片段，具体实现过程可以参照下述步骤执行：

步骤S1-1：对所述目标视频中的各帧视频图像进行分块处理，以将各帧视频图像分成若干视频块。

在本发明实施例中，可以对目标视频中的各帧视频图像进行分块处理，以将各帧视频图像分成若干视频块，例如，将第一帧视频图像分成3*3的视频块等。

在实际应用中，本领域技术人员可以根据实际需要设置对各帧视频图像分块的数目，本发明实施例对此不加以限制。

在对目标视频各帧视频图像分成若干视频块之后，执行步骤S1-2。

步骤S1-2：将所述目标视频中相邻两帧视频图像的对应视频块进行对比，以获取各对应视频块的变化值。

在将目标视频中各帧视频图像进行分块之后，则可以对目标视频中相邻两帧视频图像的对应视频块进行对比，以获取各对应视频块的变化值，例如，在对第一帧视频图像和第二帧视频图像均分为3*3的视频块之后，可以将第一帧视频图像的第一视频块，即左上角第一视频块与第二帧视频图像的第二视频块进行对比，将第二视频块，即与同一行中，第一视频块后面的视频块与第二视频图像中的第二视频块进行对比。

在本发明实施例中，可以预先设置各对应视频块的变化值，例如，相邻两帧视频图像中对应视频块中，如果景色完全一样，则变化值可以设为0，如果完全不同，则变化值可以设为1，如果部分一样，可以根据不同部分的大小设定对应的变化值。

在实际应用中，本领域技术人员可以根据实际需要自行设定个视频块变化值的大小，本发明实施例对此不加以限制。

在获取目标视频中相邻两帧视频图像的对应视频块的变化值之后，则执行步骤S1-3。

步骤S1-3：去除所述变化值中最大值的对应视频块，并将其余对应视频块的差值平方和进行归一化处理，以得到设定值。

在获取目标视频中相邻两帧视频图像中各对应视频块的变化值之后，可以将变化值中的最大值对应的视频块去除，并将其余对应视频块的差值平方和进行归一化处理，以得到一个设定值。

本发明实施例，通过将最大值去除，可以避免某视频块突然间出现的景物对后续分析产生的影响。

步骤S1-4：在所述设定值大于差值阈值时，将所述相邻两帧视频图像中靠后的一帧视频图像作为视频分割点。

在本发明实施例中，可以设置差值阈值，也即相邻两帧视频图像中对应视频块变化值对应的阈值，以差值阈值与设定值进行比较，在设定值小于差值阈值时，表示该相邻两帧视频图像的变化较小，不做考虑，从而对下一相邻两帧视频图像进行比较。

而在设定值大于差值阈值时，则表示该相邻两帧视频图像的变化较大，则以该相邻两帧视频图像中靠后的一帧视频图像作为视频分割点，以完成对目标视频图像的分割处理。

在确定视频分割点之后，则执行步骤S1-5。

步骤S1-5：以所述视频分割点对所述目标视频进行分割处理，以得到分割处理后的各视频片段。

在获取视频分割点之后，则可以以视频分割点对目标视频进行分割，从而得到分割处理后的各视频片段。

当然，上述仅为本发明实施例提供的一种视频分割方案，在实际应用中，本领域技术人员也可以采用其它方式对目标视频进行分割处理，本发明实施例对此不加以限制。

在对目标视频进行分割处理得到各视频片段之后，执行步骤S2。

步骤S2：针对每个所述视频片段，依次提取所述视频片段的视频字幕文本。

在获取目标视频的各视频片段之后，针对每个视频片段可以进行视频字幕文本的提取。

具体地，可以采用如下两种方式进行视频字幕文本的提取：

1、对于有视频字幕文件的视频片段，可以直接从各视频片段对应的视频字幕文件中提取视频字幕文本。

2、对于通过视频中和视频片段图像嵌在一起的字幕，可以依次选取各视频片段中的字幕区域，如选取视频片段图像中下半部分，且左右对称的白色像素点作为字幕的矩形区域等，针对每个视频片段的字幕区域，可以对字幕区域进行文字识别，从而获取各视频片段对应的视频字幕文本。

在实际应用中，本领域技术人员还可以采用其它方式获取各视频片段中的视频字幕文本，本发明实施例对此不加以限制。

在针对每个视频片段，依次提取视频片段的视频字幕文本之后，则执行步骤S3。

步骤S3：对所述视频字幕文本进行分词处理，以获取所述视频片段对应的至少一个关键词。

在提取各视频片段的视频字幕文本之后，可以对视频字幕文本进行分词，以提取各视频片段的关键词，作为该视频频段的关键词，例如，视频片段A的视频字幕文本为“西湖的景色真美”，提取出的关键词可以为“西湖”“景色”，以提取出的“西湖”“景色”词汇作为该视频片段A的关键词。

对于一个视频片段可以对应有一个关键词，也可以对应有多个视频关键词，本发明实施例对此不加以限制。

在获取各视频片段对应的至少一个关键词之后，执行步骤S4。

步骤S4：建立并保存所述视频片段与对应的所述至少一个关键词之间的关联关系。

在获取各视频片段对应的至少一个关键词之后，可以建立至少一个关键词与视频片段的关联关系，并将关联关系保存至视频数据库中，例如，关键词A与视频片段A之间有关联关系，关键词A和关键词B与视频片段B之间有关联关系等等，在获取该关联关系之后，可以将关键词A与视频片段A 关联并保存，并将关键词A和关键词B与视频片段B关联并保存。

可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明的唯一限制。

在接收用户输入的检索文本之后，执行步骤102。

步骤102：将所述检索文本与视频数据库中预存的关键词进行匹配。

在本发明实施例中，可以预先设置视频数据库，在视频数据库中存储有各视频片段，并保存了各视频片段与关键词的关联关系，可以针对一个视频片段建立与一个或多个关键词之间的关联关系，也可以针对一个关键词建立与一个或多个视频片段之间的关联关系，本发明实施例对此不加以限制。

当然，可以在终端侧保存视频数据库，也可以在服务器侧保存视频数据库。

在视频数据库保存于终端侧时，在接收到用户输入的检索文本时，如“金刚”，则可以将该检索文本与视频数据库中保存的关键词进行匹配，或者是用户输入一段文字“关于科幻类的短视频”，则可以对该检索文本进行解析，从而提取出关键词，如“科幻”，依据科幻直接在本地视频数据库中进行匹配。

在视频数据库保存于服务器侧时，在接收到用户输入的检索文本时，可以将该检索文本发送至服务器进行匹配处理，具体匹配过程与在终端侧类似，本发明实施例在此不再加以赘述。

在将检索文本与视频数据库中预存的关键词进行匹配之后，则执行步骤103。

步骤103：在匹配到与所述检索文本匹配的关键词时，获取并展示所述关键词对应的至少一个视频片段。

在从视频数据库中匹配到与用户输入的检索文本对应的关键词之后，可以从视频数据库中获取关键词对应的至少一个视频片段，例如，用户输入的检索文本A，在视频数据库中对应关键词有b、c、d，关键词b与视频片段 1、视频片段2之间有关联关系，关键词c与视频片段1、视频片段3之间有关联关系，关键词d与视频片段1、视频片段3之间有关联关系，则依据检索文本A获取的视频频段有：视频片段1、视频片段2、视频片段3。

可以理解地，上述示例仅是为了更好地理解本发明实施例的技术方案而列举的示例，不作为对本发明的唯一限制。

在本发明实施例的一种优选实施例中，在上述步骤103之后，还可以包括：

步骤N1：获取所述关键词在所述至少一个视频片段中所占权重；

步骤N2：依据所述权重对所述至少一个视频片段按照权重大小进行排序展示。

在本发明实施例中，可以预先设置不同关键词在一个视频片段中所占的权重，例如，视频片段A关联有关键词1和关键词2，关键词1在视频片段 A中所占权重为0.6，关键词2在视频片段A中所占权重为0.4等。而在一个视频片段仅关联一个关键词时，则可以设定该关键词在该视频片段所占权重为1等。

在获取多个视频片段之后，各视频片段可能关联一个或多个关键词，在获取用户输入的检索文本对应的关键词之后，可以依据对应关键词在搜索到的各视频片段之后，可以依据对应关键词在各视频片段中所占权重，对各视频片段进行排序展示。

当然，在实际应用中，本领域技术人员也可以采用其它方式对搜索到的各视频片段进行排序展示，本发明实施例对此不加以限制。

本发明实施例提供的视频检索方法，通过接收用户输入的检索文本，将检索文本与视频数据库中预存的关键词进行匹配，其中，视频数据库中保存有关键词与视频片段的关联关系，在匹配到与检索文本匹配的关键词时，获取并展示关键词对应的至少一个视频片段。本发明通过视频数据库对用户输入的检索文本进行匹配，从而获取关键词对应的视频片段，无需人工进行视频素材的收集和筛选，减少了人力资源的浪费，节省了经济开支。

实施例二

参照图2，示出了本发明实施例提供的一种视频检索装置的结构示意图，具体可以包括：

接收模块210，用于接收用户输入的检索文本；匹配模块220，用于将所述检索文本与视频数据库中预存的关键词进行匹配；其中，视频数据库中保存有关键词与视频片段的关联关系；获取展示模块230，用于在匹配到与所述检索文本匹配的关键词时，获取并展示所述关键词对应的至少一个视频片段。

优选地，还包括：分割处理模块，用于对目标视频进行分割处理，以得到分割处理后的各视频片段；提取模块，用于针对每个所述视频片段，依次提取所述视频片段的视频字幕文本；关键词获取模块，用于对所述视频字幕文本进行分词处理，以获取所述视频片段对应的至少一个关键词；关联建立模块，用于建立并保存所述视频片段与对应的所述至少一个关键词之间的关联关系。

优选地，所述分割处理模块包括：分块处理子模块，用于对所述目标视频中的各帧视频图像进行分块处理，以将各帧视频图像分成若干视频块；变化值获取子模块，用于将所述目标视频中相邻两帧视频图像的对应视频块进行对比，以获取各对应视频块的变化值；设定值获取子模块，用于去除所述变化值中最大值的对应视频块，并将其余对应视频块的差值平方和进行归一化处理，以得到设定值；视频分割点确定子模块，用于在所述设定值大于差值阈值时，将所述相邻两帧视频图像中靠后的一帧视频图像作为视频分割点；视频片段获取子模块，用于以所述视频分割点对所述目标视频进行分割处理，以得到分割处理后的各视频片段。

优选地，所述提取模块包括：第一视频字幕获取子模块，用于获取各所述视频片段对应的字幕文件，从各所述字幕文件中提取各所述视频片段对应的视频字幕文本；或字幕区域选取子模块，用于依次选取各所述视频片段中的字幕区域；第二视频字幕获取子模块，用于针对每个视频片段的字幕区域，对所述字幕区域进行文字识别，以获取所述视频片段对应的视频字幕文本。

优选地，所述获取展示模块230包括：权重获取子模块，用于获取所述关键词在所述至少一个视频片段中所占权重；排序展示子模块，用于依据所述权重对所述至少一个视频片段按照权重大小进行排序展示。

本发明实施例提供的视频检索装置，通过接收用户输入的检索文本，将检索文本与视频数据库中预存的关键词进行匹配，其中，视频数据库中保存有关键词与视频片段的关联关系，在匹配到与检索文本匹配的关键词时，获取并展示关键词对应的至少一个视频片段。本发明通过视频数据库对用户输入的检索文本进行匹配，从而获取关键词对应的视频片段，无需人工进行视频素材的收集和筛选，减少了人力资源的浪费，节省了经济开支。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种视频检索方法和一种视频检索装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种视频检索方法，其特征在于，包括：

接收用户输入的检索文本；

将所述检索文本与视频数据库中预存的关键词进行匹配；其中，关键词通过以下步骤获得：

对目标视频中的各帧视频图像进行分块处理，得到相邻帧中对应块之间的变化值，去除所述变化值中最大值的对应视频块，并在该变化值大于差值阈值时，对图像进行分割得到各个视频片段；

获取所述视频片段对应的视频字幕文本，对视频字幕文本进行处理后得到所述视频片段对应的至少一个关键词；

其中，视频数据库中保存有所述目标视频的各视频片段以及关键词与各视频片段的关联关系；

在匹配到与所述检索文本匹配的关键词时，获取并展示所述关键词对应的至少一个视频片段。

2.根据权利要求1所述的方法，其特征在于，所述获取所述视频片段对应的视频字幕文本，包括：

获取各所述视频片段对应的字幕文件，从各所述字幕文件中提取各所述视频片段对应的视频字幕文本；或

依次选取各所述视频片段中的字幕区域；

针对每个视频片段的字幕区域，对所述字幕区域进行文字识别，以获取所述视频片段对应的视频字幕文本。

3.根据权利要求1所述的方法，其特征在于，所述获取并展示所述关键词对应的至少一个视频片段的步骤，包括：

获取所述关键词在所述至少一个视频片段中所占权重；

依据所述权重对所述至少一个视频片段按照权重大小进行排序展示。

4.一种视频检索装置，其特征在于，包括：

接收模块，用于接收用户输入的检索文本；

匹配模块，用于将所述检索文本与视频数据库中预存的关键词进行匹配；其中，关键词通过以下步骤获得：

对目标视频中的各帧视频图像进行分块处理，得到相邻帧中对应块之间的变化值，去除所述变化值中最大值的对应视频块，并在该变化值大于差值阈值时，对图像进行分割得到各个视频片段；

获取所述视频片段对应的视频字幕文本，对视频字幕文本进行处理后得到所述视频片段对应的至少一个关键词；

其中，视频数据库中保存有所述目标视频的各视频片段以及关键词与视频片段的关联关系；

获取展示模块，用于在匹配到与所述检索文本匹配的关键词时，获取并展示所述关键词对应的至少一个视频片段。

5.根据权利要求4所述的装置，其特征在于，所述匹配模块包括：

第一视频字幕获取子模块，用于获取各所述视频片段对应的字幕文件，从各所述字幕文件中提取各所述视频片段对应的视频字幕文本；或

字幕区域选取子模块，用于依次选取各所述视频片段中的字幕区域；

第二视频字幕获取子模块，用于针对每个视频片段的字幕区域，对所述字幕区域进行文字识别，以获取所述视频片段对应的视频字幕文本。

6.根据权利要求4所述的装置，其特征在于，所述获取展示模块包括：

权重获取子模块，用于获取所述关键词在所述至少一个视频片段中所占权重；

排序展示子模块，用于依据所述权重对所述至少一个视频片段按照权重大小进行排序展示。

Images