CN102402536A - 从视频中提取关键帧的方法和设备 - Google Patents

Abstract

本发明涉及从视频中提取关键帧的方法和设备。从视频中提取关键帧的方法包括：将所述视频划分为多个层次的视频段，每个非最低层次的视频段包括一个或多个下一层次的视频段，多个层次包括第1到第N层次，N为大于1的整数，第1层次为最低层次，第N层次为最高层次；从视频的一个非最高层次的各个视频段提取非最高层次的候选帧；针对从非最高层次的上一层次到最高层次的每个层次，从每个该层次的视频段所包括的下一层次的候选帧中选择出0个、1个或多个该层次的候选帧；以及输出最高层次的候选帧作为视频的关键帧。本发明可以很好地平衡来自视频的不同内容单元的关键帧在视频关键帧列表中所占的比例，以实现更好的预览效果。

Description

从视频中提取关键帧的方法和设备

技术领域

本发明涉及视频的处理和分析，尤其涉及从视频中提取关键帧的方法和设备。

背景技术

日常生活中，我们阅读的较长的文章往往都提供简略的摘要，书籍一般都提供目录。随着信息技术的不断发展，视频也成为了现代生活中不可或缺的一种媒体。因此，为视频内容制作摘要，以方便用户浏览和查找就成为了一个重要工作。对于部分视频内容(例如，电影)，可以采用人工的方式制作视频摘要。但是对于许多视频内容(例如，网络分享视频)而言，人工方式由于需要耗费大量的工时和资金而变得不现实。对于这些应用，计算机自动视频摘要生成技术十分重要。

视频中视觉相关部分是由一系列在时间上顺序排列的帧构成的。提取这些帧中最具代表性的关键帧作为视频摘要是一种直观而有效的方式。现有技术一般都从视频的各个镜头或者子镜头中提取出候选的关键帧。如何从候选帧中选取出整个视频的关键帧，使得用户浏览尽量少的关键帧便可以有效理解视频的大概内容，是自动视频摘要的一种重要技术。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于提供一种从视频中提取关键帧的方法。

根据本发明的一个方面，一种从视频中提取关键帧的方法包括：将视频划分为多个层次的视频段，其中每个非最低层次的视频段包括一个或多个下一层次的视频段，多个层次包括从第1层次到第N层次，N为大于1的整数，第1层次为最低层次，第N层次为最高层次；从视频的一个非最高层次的各个视频段提取非最高层次的候选帧；针对从非最高层次的上一层次到最高层次的每个层次，从每个该层次的视频段所包括的下一层次的候选帧中选择出0个、1个或多个该层次的候选帧；以及输出最高层次的候选帧作为视频的关键帧。

根据本发明的另一方面，一种包括从视频中提取关键帧的设备，包括：划分单元，被配置为将视频划分为多个层次的视频段，其中每个非最低层次的视频段包括一个或多个下一层次的视频段，多个层次包括从第1层次到第N层次，N为大于1的整数，第1层次为最低层次，第N层次为最高层次；提取单元，被配置为从视频的一个非最高层次的各个视频段提取非最高层次的候选帧；选择单元，被配置为针对从上述非最高层次的上一层次到最高层次的每个层次，从每个该层次的视频段所包括的下一层次的候选帧中选择出0个、1个或多个该层次的候选帧；以及输出单元，被配置为输出最高层次的候选帧作为视频的关键帧。

另外，本发明的实施例还提供了用于实现上述从视频中提取关键帧的方法的计算机程序。

此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述从视频中提取关键帧的方法的计算机程序代码。

本发明能够很好地平衡来自视频的不同内容单元的关键帧在视频关键帧列表中所占的比例，以使用尽量少的关键帧实现有效理解的预览效果。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是根据本发明的实施例的从视频中提取关键帧的方法的流程图；

图2是图1中根据本发明的实施例的从视频中提取关键帧的方法中的从下一层次的候选帧中选择本层次的候选帧的方法的流程图；

图3是实现本发明的实施例的从视频中提取关键帧的一种方法的示意图；

图4是根据本发明的实施例的从视频中提取关键帧的设备的框图；以及

图5是可以用于实施本发明的从视频中提取关键帧的方法和设备的计算设备的举例的结构图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

下面首先参照图1来描述根据本发明的实施例的从视频中提取关键帧的方法。

如图1所示，在步骤S102中，将视频划分为多个层次的视频段，其中每个非最低层次的视频段包括一个或多个下一层次的视频段，所述多个层次包括从第1层次到第N层次，N为大于1的整数，第1层次为最低层次，第N层次为最高层次。例如，可以将视频划分为两个层次的视频段，这两个层次的视频段中较低层次的视频段是镜头(shot)或子镜头(sub-shot)，较高层次的视频段是视频章节(chapter)或场景(scene)。在一个示例中，也可以将视频划分为多于两个层次的视频段。例如，可以按照具体需要而将视频划分为三个层次或四个层次的视频段。例如，在三个层次的情况下，第一层次的视频段可以是子镜头，第二层次的视频段可以是镜头，第三层次的视频段可以是场景。关于划分子镜头、镜头或场景等是本领域技术人员可以实现的，这里不再详细描述。在另一个示例中，可以按照等长时间来划分第一层次的视频段。在一个示例中，最高层次的视频段可以只有一个，也就是整个视频。每个候选帧可以代表视频中的一定数目的视频帧。同一层次的所有候选帧所代表的视频帧数的总和小于等于视频的总帧数。每个层次的视频段中可以具有0个、1个或多个该层次的候选帧。例如一个场景中可以具有0个、一个或多个场景候选帧。在一个示例中，每个最低层次的视频段具有一个最低层次的候选帧。在一个示例中，每个非最低层次的视频段具有一个或多个该非最低层次的候选帧。例如，一个场景可以具有两个场景层次的候选帧。这两个场景层次的候选帧分别代表该场景中的一部分帧。这两个场景层次的候选帧所代表的帧的总和小于等于该场景的帧的总和。

在步骤S104中，从视频的一个非最高层次的各个视频段提取非最高层次的候选帧。在该步骤中的非最高层次可以是最低层次，也可以不是最低层次。例如，可以选取该非最高层次的视频段的中间帧、开始帧、结束帧或者随机选择的一个帧作为该非最高层次的候选帧。

在步骤S106中，针对从步骤S104所述的非最高层次的上一层次到最高层次的每个层次，从每个该层次的视频段所包括的下一层次的候选帧中选择出0个、1个或多个该层次的候选帧。由于在步骤S104中，提取了一个非最高层次的候选帧，在步骤S106中，可以从这些已经提取的候选帧中选择上一层次的候选帧。然后逐层次对候选帧进行进一步选择，直到获得最高层次的候选帧。可以采用各种方法来从下一层次的候选帧中选择本层次的候选帧。例如，该本层次的视频段中所包含的本层次的候选帧的数目可以与本层次的视频段所包含的下一层次的视频段的个数的数目基本成正比。具体的，假设本层次的视频段是场景，下一层次的视频段是镜头，视频中共有100个镜头，并且预定本层次的候选帧为10个，则对与一个包含10个镜头的场景，要从该场景中选择1个该层次的候选帧。可以将该场景所包含的下一层次的候选帧(即镜头层次的候选帧)中的第一个、最后一个、中间一个或者随机选择的一个作为该层次的候选帧(即场景层次的候选帧)。在一个示例中，也可以使该本层次的视频段中所包含的本层次的候选帧的数目与本层次的视频段所包含的帧的数目基本成正比。对于不同的层次，可以采用不同的从下一层次的候选帧选择本层次的候选帧的方法。

在步骤S108中，输出最高层次的候选帧作为视频的关键帧。

通过逐层次地进行候选帧的选择，可以很好地平衡来自视频的不同内容单元的关键帧在视频关键帧列表中所占的比例，以实现更好的预览效果。

在本实施例中，可以预先确定各个层次的候选帧的数目，也可以不预先确定，也可以对于一个或多个层次预先确定候选帧的数目，而对于其他层次不预先确定。例如，在镜头层次，可以不预先确定该层次的候选帧的数目，而是根据规定每个镜头中选出一个候选帧，这样镜头层次的候选帧的数目与视频所包含的镜头的数目相同。又例如，可以根据视频的长度和/或用户偏好来预先确定关键帧的数目。

以下参照图2来详细描述一个示例中的从下一层次的候选帧选择本层次的候选帧的方法。该方法可以称为选举法。图2中的方法可以应用于一个层次或者多个层次，也就是说，在图1的步骤S106中，针对从非最高层次的上一层次到最高层次中的至少一个第M层次，M为大于1的整数，从每个第M层次的视频段所包括的第M-1层次的候选帧中选择出第M层次的候选帧的步骤可以包括步骤S602至步骤S612。可选地，所述至少一个第M层次可以包括最高层次。

具体地，从第M层为上述非最高层次开始，在步骤S602中，针对每个第M层次的视频段，对该视频段的第M-1层次的候选帧进行去除近似重复的候选帧的处理。例如可以采用聚类或者逐帧比较的方法来发现近似重复的帧，这些方法是本领域的技术人员可以实现的，这里不再详细描述。在一个示例中，也可以不执行步骤S602。换句话说，可以在不进行去除近似重复的候选帧的处理的情况下，执行步骤S604。

在步骤S604中，针对每个第M层次的视频段，将该视频段包括的第M-1层次的候选帧按照其所代表的帧数从大到小排列。

在步骤S606中，对于每个第M层次的视频段，推举该视频段的M-1层次的候选帧中尚未被选择作为第M层次的候选帧且排位最靠前的一个参选。

在步骤S608中，根据每个参选的候选帧所代表的帧数以及该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数来计算每个参选的候选帧的选票数，其中每个参选的候选帧的选票数与该参选的候选帧所在的第M层次的视频段中的已确定的第M层次的候选帧所代表的帧数总数之和不大于该参选的候选帧所在的第M层次的视频段的总帧数。

在步骤S610中，选择选票数最多的参选的候选帧作为第M层次的视频段的候选帧。这里，可以称为一轮选举完成。在下面的步骤S612中可以判断是否需要进行下一轮选举。

在步骤S612中，判断所选举出的第M层次的候选帧的数目是否已达到预定数目。在所选举出的第M层次的候选帧的数目未达到预定数目的情况下(步骤S612中为否)，进行到步骤S606。在所选举出的第M层次的候选帧的数目达到预定数目的情况下(步骤S612中为是)，进行到步骤S614。在步骤S614中，判断当前的第M层次是否为最高层次，如果是，则进行到图1中的步骤S108。如果否，则进入步骤S616。在步骤S616，将M递增1。然后返回步骤S602。

可选地，在步骤S608中，计算参选的候选帧的选票数的步骤可以包括：将每个参选的候选帧所代表的帧数以及该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数加权相加作为该参选的候选帧的选票数。例如，参选的候选帧的选票数可选地由以下公式决定：

V＝R+S

其中，V表示参选的候选帧的选票数，R为此参选的候选帧所代表的帧数，S表示参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数，S为非负值。假设第M层次是场景层次，则S表示参选的候选帧所在的场景中尚未被确定为场景层次的候选帧的其他的候选帧所支援的选票数。

在上述公式中，参选的候选帧所在的第M层次的视频段中的已确定的第M层次的候选帧所代表的帧数总数与V之和不大于该参选的候选帧所在的第M层次的视频段的总帧数。假设第M层次是场景层次，则参选的候选帧所在的场景中的已确定的场景层次的候选帧所代表的帧数总数与V之和不大于该参选的候选帧所在的场景的总帧数。

在上述公式中，R和S的权值都取1，但本发明的实施例不限于此。在一个示例中，在步骤S608的加权相加中的权重可以取决于该参选的候选帧所在的第M层次的视频段中的已确定的第M层次的候选帧的数目与已确定的第M层次的候选帧总数之间的关系和/或该参选的候选帧所代表的帧数与该参选的候选帧所在的第M层次的视频段的总帧数之间的关系和/或该参选的候选帧所代表的帧数与该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的候选帧所代表的帧数总和之间的关系。在一个示例中，在步骤S608的加权相加中的权重可以不小于0且不大于1。

在一个示例中，假设X为该参选的候选帧所代表的帧数占该参选的候选帧所在的第M层次的视频段的总帧数的比例，Y为该参选的候选帧所代表的帧数占该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的候选帧所代表的帧数总和的比例，Z为该参选的候选帧所在的第M层次的视频段中的已确定的第M层次的候选帧的数目占已确定的第M层次的候选帧总数的比例，则权重X和Y都可以作为S的权重；权重1-Z可以作为R或者S的权重，也可以同时作为R和S的权重。

可选地，参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数的上限值可以随着该视频段中尚未被确定为第M层次的候选帧的其他候选帧所代表的帧数总和单调递增。例如，假设第M层次是场景层次，则参选的候选帧所在的场景中尚未被确定为场景层次的候选帧的其他候选帧所支援的选票数的上限值可以随着该场景中尚未被确定为场景层次的候选帧的其他候选帧所代表的帧数总和单调递增。

图3是实现本发明的实施例的从视频中提取关键帧的方法的一个更具体的示例的示意图。在该示例中，将视频划分为两个层次的视频段。较低层次的视频段是镜头，较高层次的视频段是场景。如图3所示，可以将视频划分为多个场景，诸如，场景n-1、场景n和场景n+1等，其中n为整数。进一步地，每个场景可以包括多个镜头。例如，场景n包括镜头i、镜头i+1、...、镜头j，其中i、j均为整数且j大于或等于i。从每个镜头中选出可以代表相应镜头的帧(即，镜头层次候选帧)。对选自每个场景的所有镜头层次代表帧进行去除近似重复的帧的处理，例如可以利用提取特征并进行谱聚类的方法进行处理以去除近似重复的帧，此时也可以称为合并处理。接下来，利用选举法从合并后的镜头层次候选帧中选举出场景层次候选帧。由于在本示例中，场景是最高的层次，所以将场景层次候选帧作为视频的关键帧。

以下参照图4来描述根据本发明的实施例的从视频中提取关键帧的设备400。

如图4所示，从视频中提取关键帧的设备400可以包括划分单元402、提取单元404、选择单元406和输出单元408。

具体地，划分单元402可以被配置为将视频划分为多个层次的视频段，其中每个非最低层次的视频段包括一个或多个下一层次的视频段，所述多个层次包括从第1层次到第N层次，N为大于1的整数，第1层次为最低层次，第N层次为最高层次。

例如，划分单元402可以将视频划分为两个层次的视频段，这两个层次的视频段中较低层次的视频段是镜头或子镜头，较高层次的视频段是视频章节或场景。但实际上，划分单元402可以将视频划分为多于两个层次的视频段。例如，划分单元402可以按照具体需要而将视频划分为三个层次或四个层次的视频段。

提取单元404可以被配置为从视频的一个非最高层次的各个视频段提取非最高层次的候选帧。选择单元406可以被配置为针对从上述非最高层次的上一层次到最高层次的每个层次，从每个该层次的视频段所包括的下一层次的候选帧中选择出0个、1个或多个该层次的候选帧。输出单元408可以被配置为输出最高层次的候选帧作为视频的关键帧。

在一个示例中，选择单元406可以包括排列模块4064和选举模块4066。

具体地，排列模块4064可以被配置为针对从上述非最高层次的上一层次到最高层次的至少一个第M层次，针对每个第M层次的视频段，将该视频段的第M-1层次的候选帧按照其所代表的帧数从大到小排列。可选地，上述至少一个第M层次可以包括最高层次。

选举模块4066可以被配置为针对所述至少一个第M层次，重复以下操作，直到选举出预定数目的第M层次的候选帧：对于每个第M层次的视频段，推举该视频段的第M-1层次的候选帧中尚未被选择作为第M层次的候选帧且排位最靠前的一个参选；根据每个参选的候选帧所代表的帧数以及该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数来计算每个参选的候选帧的选票数，其中每个参选的候选帧的选票数与该参选的候选帧所在的第M层次的视频段中的已确定的第M层次的候选帧所代表的帧数总数之和不大于该参选的候选帧所在的第M层次的视频段的总帧数；以及选择选票数最多的参选的候选帧作为第M层次的视频段的候选帧。

可选地，选举模块4066可以将每个参选的候选帧所代表的帧数以及该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数加权相加作为该参选的候选帧的选票数。

在一个示例中，在加权相加中的权重可以取决于该参选的候选帧所在的第M层次的视频段中的已确定的第M层次的候选帧的数目与已确定的第M层次的候选帧总数之间的关系和/或该参选的候选帧所代表的帧数与该参选的候选帧所在的第M层次的视频段的总帧数之间的关系和/或该参选的候选帧所代表的帧数与该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的候选帧所代表的帧数总和之间的关系。

此外，可选地，在选举模块4066中，参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数的上限值可以随着该视频段中尚未被确定为第M层次的候选帧的其他候选帧所代表的帧数总和单调递增。

可选地，选择单元406还可以包括过滤模块4062。过滤模块4062可以被配置为针对所述至少一个第M层次，对视频段的第M-1层次的候选帧进行去除近似重复的候选帧的处理，并将去除了近似重复的候选帧之后的候选帧发送给排列模块4064。

在一个示例中，从视频中提取关键帧的设备400还可以包括设置单元(未示出)。设置单元可以被配置为根据视频的长度和/或用户偏好来设置关键帧的数目。

关于设备400的各个部件的操作的更具体的细节可以参考结合图1～3描述的本发明的实施例，这里不再详细描述。

通过本发明的实施例，可以很好地平衡来自视频的不同内容单元的关键帧在视频关键帧列表中所占的比例，以使用尽量少的关键帧实现有效理解的预览效果。

在图5中，中央处理单元(CPU)501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM 503中，也根据需要存储当CPU 501执行各种处理等等时所需的数据。CPU 501、ROM 502和RAM 503经由总线504彼此链路。输入/输出接口505也链路到总线504。

下述部件链路到输入/输出接口505：输入部分506(包括键盘、鼠标等等)、输出部分507(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分508(包括硬盘等)、通信部分509(包括网络接口卡比如LAN卡、调制解调器等)。通信部分509经由网络比如因特网执行通信处理。根据需要，驱动器510也可链路到输入/输出接口505。可拆卸介质511比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器510上，使得从中读出的计算机程序根据需要被安装到存储部分508中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质511安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 502、存储部分508中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。

在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。

作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图5所示的通用计算机500)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (18)

1.一种从视频中提取关键帧的方法，包括：

将所述视频划分为多个层次的视频段，其中每个非最低层次的视频段包括一个或多个下一层次的视频段，所述多个层次包括从第1层次到第N层次，N为大于1的整数，第1层次为最低层次，第N层次为最高层次；

从所述视频的一个非最高层次的各个视频段提取所述非最高层次的候选帧；

针对从所述非最高层次的上一层次到最高层次的每个层次，从每个该层次的视频段所包括的下一层次的候选帧中选择出0个、1个或多个该层次的候选帧；以及

输出最高层次的候选帧作为视频的关键帧。

2.如权利要求1所述的方法，其中，针对从所述非最高层次的上一层次到最高层次中的至少一个第M层次，M为大于1的整数，从每个第M层次的视频段所包括的第M-1层次的候选帧中选择出第M层次的候选帧的步骤包括：

针对每个第M层次的视频段，将该视频段包括的第M-1层次的候选帧按照其所代表的帧数从大到小排列；

重复以下选举步骤，直到选举出预定数目的第M层次的候选帧：

对于每个第M层次的视频段，推举该视频段的M-1层次的候选帧中尚未被选择作为第M层次的候选帧且排位最靠前的一个参选；

根据每个参选的候选帧所代表的帧数以及该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数来计算每个参选的候选帧的选票数，其中每个参选的候选帧的选票数与该参选的候选帧所在的第M层次的视频段中的已确定的第M层次的候选帧所代表的帧数总数之和不大于该参选的候选帧所在的第M层次的视频段的总帧数；以及

选择选票数最多的参选的候选帧作为第M层次的视频段的候选帧。

3.如权利要求2所述的方法，其中计算参选的候选帧的选票数的步骤包括将每个参选的候选帧所代表的帧数以及该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数加权相加作为该参选的候选帧的选票数。

4.如权利要求3所述的方法，其中在所述加权相加中的权重取决于该参选的候选帧所在的第M层次的视频段中的已确定的第M层次的候选帧的数目与已确定的第M层次的候选帧总数之间的关系和/或该参选的候选帧所代表的帧数与该参选的候选帧所在的第M层次的视频段的总帧数之间的关系和/或该参选的候选帧所代表的帧数与该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的候选帧所代表的帧数总和之间的关系。

5.如权利要求1所述的方法，其中所述多个层次的视频段包括两个层次的视频段，并且两个层次的视频段中较低层次的视频段是镜头或子镜头，较高层次的视频段是视频章节或场景。

6.如权利要求2所述的方法，其中在所述至少一个第M层次中，从每个第M层次的视频段所包括的第M-1层次的候选帧中选择出第M层次的候选帧的步骤还包括在将该视频段的第M-1层次的候选帧按照其所代表的帧数从大到小排列之前，对该视频段的第M-1层次的候选帧进行去除近似重复的候选帧的处理。

7.如权利要求2所述的方法，其中参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数的上限值随着所述尚未被确定为第M层次的候选帧的其他候选帧所代表的帧数总和单调递增。

8.如权利要求1所述的方法，还包括根据所述视频的长度和/或用户偏好来设置关键帧的数目。

9.如权利要求2所述的方法，其中所述至少一个第M层次包括最高层次。

10.一种从视频中提取关键帧的设备，包括：

划分单元，被配置为将所述视频划分为多个层次的视频段，其中每个非最低层次的视频段包括一个或多个下一层次的视频段，所述多个层次包括从第1层次到第N层次，N为大于1的整数，第1层次为最低层次，第N层次为最高层次；

提取单元，被配置为从所述视频的一个非最高层次的各个视频段提取所述非最高层次的候选帧；

选择单元，被配置为针对从所述非最高层次的上一层次到最高层次的每个层次，从每个该层次的视频段所包括的下一层次的候选帧中选择出0个、1个或多个该层次的候选帧；以及

输出单元，被配置为输出最高层次的候选帧作为视频的关键帧。

11.如权利要求10所述的设备，其中所述选择单元包括：

排列模块，被配置为针对从所述非最高层次的上一层次到最高层次的至少一个第M层次，针对每个第M层次的视频段，将该视频段的第M-1层次的候选帧按照其所代表的帧数从大到小排列；和

选举模块，被配置为针对所述至少一个第M层次，重复以下操作，直到选举出预定数目的第M层次的候选帧：

对于每个第M层次的视频段，推举该视频段的第M-1层次的候选帧中尚未被选择作为第M层次的候选帧且排位最靠前的一个参选；

根据每个参选的候选帧所代表的帧数以及该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数来计算每个参选的候选帧的选票数，其中每个参选的候选帧的选票数与该参选的候选帧所在的第M层次的视频段中的已确定的第M层次的候选帧所代表的帧数总数之和不大于该参选的候选帧所在的第M层次的视频段的总帧数；以及

选择选票数最多的参选的候选帧作为第M层次的视频段的候选帧。

12.如权利要求11所述的设备，其中所述选举模块将每个参选的候选帧所代表的帧数以及该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数加权相加作为该参选的候选帧的选票数。

13.如权利要求12所述的设备，其中在所述加权相加中的权重取决于该参选的候选帧所在的第M层次的视频段中的已确定的第M层次的候选帧的数目与已确定的第M层次的候选帧总数之间的关系和/或该参选的候选帧所代表的帧数与该参选的候选帧所在的第M层次的视频段的总帧数之间的关系和/或该参选的候选帧所代表的帧数与该参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的候选帧所代表的帧数总和之间的关系。

14.如权利要求10所述的设备，其中所述多个层次的视频段包括两个层次的视频段，并且两个层次的视频段中较低层次的视频段是镜头或子镜头，较高层次的视频段是视频章节或场景。

15.如权利要求11所述的设备，所述选择单元还包括过滤模块，被配置为针对所述至少一个第M层次，对视频段的第M-1层次的候选帧进行去除近似重复的候选帧的处理，并将去除了近似重复的候选帧之后的候选帧发送给排列模块。

16.如权利要求11所述的设备，在选举模块中，参选的候选帧所在的第M层次的视频段中尚未被确定为第M层次的候选帧的其他候选帧所支援的选票数的上限值随着所述尚未被确定为第M层次的候选帧的其他候选帧所代表的帧数总和单调递增。

17.如权利要求10所述的设备，还包括设置单元，被配置为根据所述视频的长度和/或用户偏好来设置关键帧的数目。

18.如权利要求11所述的设备，其中所述至少一个第M层次包括最高层次。

Images