CN114708287A - 一种镜头边界检测方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种镜头边界检测方法、设备及存储介质。在本申请实施例中，可接收针对目标视频的镜头边界检测请求；从目标视频中提取时空切片；根据时空切片，在目标视频中确定疑似镜头边界的视频帧，作为候选帧；从候选帧中，选择符合预设的局部特征匹配要求的目标帧，作为目标视频中的镜头边界帧。据此，本申请实施例中，采用时空切片和局部特征匹配相结合的方式，基于时空切片可初步筛选出疑似镜头边界的视频帧，而通过局部特征匹配可进一步选择出真正的镜头边界帧，这可大大减少计算量并可多层次查找镜头边界帧，因此，可有效提高镜头边界检测的效率、召回率和准确率。

Description

一种镜头边界检测方法、设备及存储介质

技术领域

本申请涉及视频处理技术领域，尤其涉及一种镜头边界检测方法、设备及存储介质。

背景技术

镜头(shot)作为组成视频的基本语义单元，其边界的检查是进行视频分段、视频索引的基础，也是视频检索中语义获取、内容分析的关键。

目前，深度学习的方法越来越多地被用来解决镜头边界检测的问题，但是，深度学习的运算非常耗时，而且，视频中包含的镜头切换的形式很多，尤其是随着短视频的流行，各种各样的新的转场特效层出不穷，导致检测模型的实现成本高、检测性能不足。

发明内容

本申请的多个方面提供一种镜头边界检测方法、设备及存储介质，用以提高镜头边界检测的效率和/或精度。

本申请实施例提供一种镜头边界检测方法，包括：

接收针对目标视频的镜头边界检测请求；

从所述目标视频中提取时空切片；

根据所述时空切片，在所述目标视频中确定疑似镜头边界的视频帧，作为候选帧；

从所述候选帧中，选择符合预设的局部特征匹配要求的目标帧，作为所述目标视频中的镜头边界帧。

本申请实施例还提供一种计算设备，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

接收针对目标视频的镜头边界检测请求；

从所述目标视频中提取时空切片；

根据所述时空切片，在所述目标视频中确定疑似镜头边界的视频帧，作为候选帧；

从所述候选帧中，选择符合预设的局部特征匹配要求的目标帧，作为所述目标视频中的镜头边界帧。

本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的镜头边界检测方法。

在本申请实施例中，可接收针对目标视频的镜头边界检测请求；从目标视频中提取时空切片；根据时空切片，在目标视频中确定疑似镜头边界的视频帧，作为候选帧；从候选帧中，选择符合预设的局部特征匹配要求的目标帧，作为目标视频中的镜头边界帧。据此，本申请实施例中，采用时空切片和局部特征匹配相结合的方式，基于时空切片可初步筛选出疑似镜头边界的视频帧，而通过局部特征匹配可进一步选择出真正的镜头边界帧，这可大大减少计算量并可多层次查找镜头边界帧，因此，可有效提高镜头边界检测的效率、召回率和准确率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的一种镜头边界检测方法的流程示意图；

图2为本申请一示例性实施例提供的一种镜头边界检测方案的逻辑示意图

图3为本申请一示例性实施例提供的一种镜头边界检测的一种实现方式的流程示意图；

图4为本申请一示例性实施例提供的镜头边界检测方法的另一种实现方式的逻辑示意图；

图5为本申请另一示例性实施例提供的一种计算设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有深度学习方式进行镜头边界检测存在的计算耗时大、精度低等技术问题，本申请实施例的一些实施例中：可接收针对目标视频的镜头边界检测请求；从目标视频中提取时空切片；根据时空切片，在目标视频中确定疑似镜头边界的视频帧，作为候选帧；从候选帧中，选择符合预设的局部特征匹配要求的目标帧，作为目标视频中的镜头边界帧。据此，本申请实施例中，采用时空切片和局部特征匹配相结合的方式，基于时空切片可初步筛选出疑似镜头边界的视频帧，而通过局部特征匹配可进一步选择出真正的镜头边界帧，这可大大减少计算量并可多层次查找镜头边界帧，因此，可有效提高镜头边界检测的效率、召回率和准确率。

在介绍本申请提出的技术方案之前，先对几个技术概念进行解释：

镜头，是在时间上连续的若干视频帧组成的片段，用于描述视频中连续场景的一个基本单位。视频中通常包含多个镜头，镜头存在边界，镜头之间可相互切换。

镜头边界检测，是指将镜头从视频中分割提取出来的过程，通常可采用镜头边界帧来表征镜头的边界。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的一种镜头边界检测方法的流程示意图。图2为本申请一示例性实施例提供的一种镜头边界检测方案的逻辑示意图。本实施例提供的镜头边界检测方法可以由一镜头边界检测装置来执行，该镜头边界检测装置可以实现为软件或实现为软件和硬件的组合，该镜头边界检测装置可集成设置在计算设备中。如图1所示，该方法包括：

步骤100、接收针对目标视频的镜头边界检测请求；

步骤101、从目标视频中提取时空切片；

步骤102、根据时空切片，在目标视频中确定疑似镜头边界的视频帧，作为候选帧；

步骤103、从候选帧中，选择符合预设的局部特征匹配要求的目标帧，作为目标视频中的镜头边界帧。

本实施例提供的镜头边界检测方法，可应用于各种需要进行镜头边界检测的场景中，例如视频分段、视频索引、视频内容分析等，当然，还可用于视频教学、优秀片源教学、体现转场的衔接艺术等，本实施例对应用场景不做限定。

在步骤100中，可接收针对目标视频的镜头检测请求。其中，目标视频可以是需要进行镜头边界检测的任意场景中的视频。本实施例对目标视频的规格、格式等属性以及对目标视频中的视频内容均不作限定。

在步骤101中，可从目标视频中提取时空切片。其中，时空切片是由在连续视频帧序列的固定位置提取的像素线组合而成的一幅二维图像，像素线是指视频帧中一条线上像素点的组合。本实施例中，可从目标视频帧包含的至少一个视频帧的同一位置提取L行(列)像素组成一幅二维图像，以获得时空切片。其中，本实施例中，可根据实际需要设定L的取值，例如，L可设定为3。这样，可在单个视频帧的指定位置上提取3行(列)像素，从而与在其它视频帧上提取到的像素组成二维图像。

基于此，步骤102中，可根据时空切片，在目标视频中确定疑似镜头边界的视频帧，作为候选帧。其中，时空切片中可包含颜色、纹理等切片特征。发明人在研究过程中发现，由于单个镜头内部的视频帧在时间、空间和图像结构上通常是连续的，因此，在时空切片上的表现通常为切片特征具有连续性。而镜头发生切换时，时空切片上的表现通常为切片特征出现明显的不连续现象。

为此，本实施例中，在步骤102中，可根据时空切片中的切片特征的连续性情况，查找符合镜头切换特点的视频帧，并可将这类视频帧确定为疑似镜头边界的视频帧。应当理解的是，在步骤102中，可基于时空切片进行镜头边界检测，而这种方式检测出的镜头边界的精度不足，因此，本实施例中，经基于时空切片进行镜头边界检测的结果，描述为疑似镜头边界的视频帧。

本实施例中，可将根据时空切片在目标视频中确定出的疑似镜头边界的视频帧，作为候选帧。其中，候选帧的数量可以是多个。值得说明的是，实际应用中，可以镜头中的起始站作为镜头边界帧，来表征镜头边界，因此，本实施例中，根据时空切片在目标视频中确定出的疑似镜头边界的视频帧，可选用疑似镜头起始的视频帧，也即是疑似的镜头起始帧。当然，本实施例对此并不做限定，也可采用镜头的结束帧来表征镜头边界。

本实施例中，可遍历目标视频中的至少一个视频帧，以分别确定至少一个视频帧是否可作为候选帧。由于对各视频帧的分析过程类似，以下将以目标视频中的第一视频帧为例，说明确定候选帧的过程。应当理解的是，第一视频帧可以是目标视频中的至少一个视频帧中的任意一个。

本实施例中，在时空切片上，若存在第一视频帧对应的切片特征符合预设的连续性要求，则可确定第一视频帧为疑似镜头边界的视频帧，也即候选帧。

在一种可选的实现方式中，可计算第一视频帧与其前一帧的切片特征之间的差异度，若该差异度大于预设阈值，则可确定第一视频帧对应的切片特征符合预设的连续性要求，并作为候选帧。当然，还可计算第一视频帧与其后一帧的切片特征之间的差异度，若该差异度大于预设阈值则可确定第一视频帧为候选帧。

在该实现方式中，可基于目标视频中各视频帧与其相邻帧在切片特征上的差异度，从中挑选出大于预设阈值的差异度，从而直接筛选出候选帧。但发明人在研究过程中发现，这种实现方式筛选出的候选帧的精度不足，候选帧的数量级仍然比较大。

在另一种可选的实现方式中，可获取第一视频帧及其对应的N个在前帧和M个在后帧，组成第一帧图像序列，N和M为正整数；计算第一视频帧与其相邻的前一帧对应的切片特征之间的差异度以及第一帧图像序列中其它相邻帧对应的切片特征之间的差异度；对第一帧图像序列下的差异度进行突变检测；若在第一视频帧上检测到差异度突变，则确定第一视频帧对应的切片特征符合预设的连续性要求，并作为候选帧。

图3为本申请一示例性实施例提供的一种镜头边界检测的一种实现方式的流程示意图。参考图3，在该实现方式中，可维护一帧图像队列，实际应用中可采用先进先出队列等。当遍历到第一视频帧时，可将第一视频帧机器对应的N个在前帧和M个在后帧按序加载到帧图像队列中，也即是，将第一帧图像序列加载到帧图像队列中。例如，N可设定为6，M可设定为7，这样，第一帧图像序列中可包含14个视频帧，以加载到帧图像队列中。在开始第一视频帧的下一视频帧的分析过程时，可将帧图像队列中的视频帧替换为该下一视频帧的在前帧和在后帧。

参考图3，在该实现方式中，还可维护一差异度队列，承接上例，对于第一视频帧来说，在第一帧图像序列下，可获得13个差异度，该13个差异度可加载到差异度队列中，并可在差异度队列中进行突变检测。

在对第一帧图像下的差异度进行突变检测的过程中，可根据第一帧图像序列下的差异度，构建差异度变化曲线；若第一视频帧对应的差异度位于差异度变化曲线中的波峰区域，则确定在第一视频帧上检测到差异度突变。其中，波峰区域不仅包含波峰处，还可包含波峰附近区域。例如，若在指定坐标系中，横轴代表视频帧，纵轴代表差异度，则从差异度变化曲线上来看，若第一视频帧刚好位于波峰处，则可确定第一视频帧为候选帧；当然，若第一视频与位于波峰处的视频帧的帧距离小于预设距离阈值，比如，帧距离为2，小于预设距离5，则也可确定第一视频帧为候选帧。

据此，在该实现方式中，可将第一视频帧与其在前帧和在后帧形成的帧图像序列作为分析单位，并在帧图像序列中分析各相邻帧在切片特征上的差异度的变化状态，若在第一视频帧上检测到突变，则可确定第一视频帧为候选帧。这样，可使用更宽泛的参考帧来检测第一视频帧是否具有镜头边界的特点，因此，与前一种实现方式中使用第一视频帧与其相邻帧之间的差异度绝对值来直接分析的方式相比，可获得更高的分析精度，这可有效减少候选帧的数量，并提高候选帧的准确率。

在确定出候选帧的基础上，参考图1-3，在步骤103中，可从候选帧中，选择符合预设的局部特征匹配要求的目标帧，作为目标视频中的镜头边界帧。

本实施例中，局部特征可采用快速定向旋转ORB(Oriented Fast and RotatedBrief)特征、加速鲁棒SURF(speed up robust feature)特征或尺度不变特征变换SIFT(Scale Invariant Feature Transform)特征等等，本实施例对局部特征的类型不作限定。

以下将以ORB特征为例，示例性说明一下局部特征匹配的过程。由于对各候选帧的处理过程类似，以下将以第一候选帧为例，说明确定局部特征匹配的过程。应当理解的是，第一候选帧可以是各候选帧中的任意一个。

在一种实现方式中，可在目标视频中，确定第一候选帧的前一帧；分别提取第一候选帧及其前一帧中的局部特征；若第一候选帧与其前一帧之间的局部特征匹配，则确定第一候选帧为目标帧。通过对候选帧进行局部特征匹配，可实现对候选帧的二次判断，以确定候选帧是否为镜头边界帧，这可有效提高镜头边界检测的召回率和准确率。

其中，步骤103中，可继续沿用前文中提到的帧图像队列，因此，可在帧图像队列中快速确定出第一候选帧的前一帧。

在此基础上，可从第一候选帧及其前一帧中提取ORB局部特征。实际应用中，可首选确定第一候选帧和其前一帧中的特征点，例如，可利用FAST特征点检测的方法来检测特征点，然后利用Harris角点的度量方法，从FAST特征点从挑选出Harris角点响应值最大的P个特征点。之后，可采用BRIEF作为特征描述方法，产生各特征点的BRIEF描述子，例如，BRIEF描述子可以是一个长度为n的二值码串。

在该实现方式中，可采用基于网格运动统计GMS的特征匹配方案，确定第一候选帧与其前一帧之间的局部特征是否匹配。实际应用中，可基于上述确定出的各特征点的BRIEF描述子进行初步比对。例如，可遍历第一候选帧中的各特征点，以分别基于BRIEF描述子在其前一帧中查找匹配点。初步比对确定出的匹配对将比较多。之后，可将第一候选帧划分为若干网格，并遍历各匹配对，以第一匹配对为例，可判断第一匹配对所在的网格中存在的匹配对的数量，若数量足够多，则可确定第一匹配对正确，从而找出初步比对结果中正确的匹配对。如果正确的匹配对的数量足够多，则可确定第一候选帧与其前一帧的局部特征匹配。

值得说明的是，上述ORB局部特征匹配的方案仅是示例性的，本实施例并不限于此。另外，对于其它局部特征的具体匹配过程在此不再详述。

本实施例中，还可为在目标视频中确定出的镜头边界帧配置标注信息，以向用户提示镜头边界帧。实际应用中，可在目标视频播放至镜头边界帧的情况下，展示对应的标注信息，这样，用户可及时发现镜头边界帧，从而可为视频切换、视频剪辑等工作提供辅助。

本实施例中，还可根据不同的应用需求，确定不同的镜头边界检测方案，也即是，为上述的时空切片方式和局部特征匹配方式配置不同的处理参数，以获得符合不同应用需求的镜头边界帧。

据此，本实施例中，一方面由于仅对目标视频中的时空切片进行分析，而无需对整体帧图像进行分析，可有效提高镜头边界检测效率；仅对目标视频中的候选帧进行局部特征分析，也可减少局部特征分析的数量级，从而提高镜头边界检测效率。另一方面，基于局部特征对候选帧进行二次判断，可更加准确地确定出目标视频中的镜头边界帧，因此，可有效提高镜头边界检测的召回率和准确率。

图4为本申请一示例性实施例提供的镜头边界检测方法的另一种实现方式的逻辑示意图。参考图4，在上述或下述实施例中，若第一视频帧之前连续K个视频帧均为非镜头边界帧，则计算第一视频帧与上一镜头边界帧之间的差异度，K为正整数；若第一视频帧与上一镜头边界帧之间的差异度大于预设差异度阈值，则确定第一视频帧为叠化/划变镜头的边界帧。

其中，本实施例中，提及的镜头边界帧是指普通镜头对应的边界帧，例如，切变镜头等。本实施例还可支持对特殊镜头的边界检测，例如上述的叠化/划变镜头以及后续实施例中提到的淡入淡出镜头等。

参考图4，本实施例中，K可设定为15，这样，若第一视频帧之前连续15帧均不是镜头边界帧，则可将第一视频帧与上一镜头边界帧进行比对，若第一视频帧和上一镜头边界帧的差异足够大，则可确定第一视频帧为叠化/划变镜头的边界帧。

另外，参考图4，若第一视频帧的在前帧的数量满足N和/或在后帧的数量满足M，则可按照前述实施例中提供的突变检测方案，确定第一视频帧上是否存在突变；而若第一视频帧的在前帧的数量小于N和/或在后帧的数量小于M，则可按照本实施提出的，通过参考上一镜头边界帧来确定第一视频帧上是否存在突变。

例如，N设定为6、M设定为7的情况下，若第一视频帧为目标视频中的第3帧，则第一视频帧的在前帧少于7个，则帧图像队列不满，这种情况下可能导致前述实施例中的突变检测方案因数据依据不足而无法实现或结果不准确。这种情况下，若上一镜头边界帧为目标视频中的第1帧，则可计算目标视频中第3帧和第1帧之间的差异度，若该差异度足够大，则可确定该第3帧上存在切片特征的突变。

据此，可实现对叠化/划变镜头的检测。

参考图4，本实施例中，还可确定第一帧图像序列对应的时空切片片段；计算时空切片片段下各视频帧的切片像素之间的方差；若方差小于预设方差阈值，则确定第一视频帧为淡入淡出镜头的边界帧。

据此，可实现对淡入淡出镜头的检测。

继续参考图4，在对第一候选帧进行局部特征匹配的过程中，若第一候选帧与其前一帧之间的局部特征匹配不成功，则分别提取第一候选帧及其前一帧的直方图；若第一候选帧与其前一帧之间的直方图匹配，则确定第一候选帧为镜头边界帧。

据此，本实施例中，可实现对各种类型镜头的边界检测，而且，在基于局部特征进行的二次判断之后，还可基于直方图进行进一步判断，以避免错过镜头边界帧，这可有效扩大镜头边界检测的适用场景，提高镜头边界检测的召回率和准确率。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤103的执行主体可以为设备A；又比如，步骤101和102的执行主体可以为设备A，步骤103的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的视频帧、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图5为本申请另一示例性实施例提供的一种计算设备的结构示意图。如图5所示，该计算设备包括：存储器50和处理器51。

存储器50，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，消息，图片，视频等。

存储器50可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器51，与存储器50耦合，用于执行存储器50中的计算机程序，以用于：

接收针对目标视频的镜头边界检测请求；

从目标视频中提取时空切片；

根据时空切片，在目标视频中确定疑似镜头边界的视频帧，作为候选帧；

从候选帧中，选择符合预设的局部特征匹配要求的目标帧，作为目标视频中的镜头边界帧。

在一可选实施例中，处理器51在根据时空切片，在目标视频中确定疑似镜头边界的视频帧时，用于：

在时空切片上，若存在第一视频帧对应的切片特征符合预设的连续性要求，则确定第一视频帧为疑似镜头边界的视频帧；

其中，第一视频帧为目标视频包含的至少一个视频帧中的任意一个。

在一可选实施例中，处理器51还用于：

获取第一视频帧及其对应的N个在前帧和M个在后帧，组成第一帧图像序列，N和M为正整数；

计算第一视频帧与其相邻的前一帧对应的切片特征之间的差异度以及第一帧图像序列中其它相邻帧对应的切片特征之间的差异度；

对第一帧图像序列下的差异度进行突变检测；

若在第一视频帧上检测到差异度突变，则确定第一视频帧对应的切片特征符合预设的连续性要求。

在一可选实施例中，处理器51在对第一帧图像序列下的差异度进行突变检测时，用于：

根据第一帧图像序列下的差异度，构建差异度变化曲线；

若第一视频帧对应的差异度位于差异度变化曲线中的波峰区域，则确定在第一视频帧上检测到差异度突变。

在一可选实施例中，处理器51还用于：

若第一视频帧之前连续K个视频帧均为非镜头边界帧，则计算第一视频帧与上一镜头边界帧之间的差异度，K为正整数；

若第一视频帧与上一镜头边界帧之间的差异度大于预设差异度阈值，则确定第一视频帧为叠化/划变镜头的边界帧。

在一可选实施例中，处理器51还用于：

确定第一帧图像序列对应的时空切片片段；

计算时空切片片段下各视频帧的切片像素之间的方差；

若方差小于预设方差阈值，则确定第一视频帧为淡入淡出镜头的边界帧。

在一可选实施例中，处理器51在从候选帧中，选择符合预设的局部特征匹配要求的目标帧时，用于：

在目标视频中，确定第一候选帧的前一帧；

分别提取第一候选帧及其前一帧中的局部特征；

若第一候选帧与其前一帧之间的局部特征匹配，则确定第一候选帧为目标帧；

其中，第一候选帧为各候选帧中的任意一个。

在一可选实施例中，处理器51还用于：

采用基于网格运动统计的特征匹配方案，确定第一候选帧与其前一帧之间的局部特征是否匹配。

在一可选实施例中，处理器51还用于：

若第一候选帧与其前一帧之间的局部特征匹配不成功，则分别提取第一候选帧及其前一帧的直方图；

若第一候选帧与其前一帧之间的直方图匹配，则确定第一候选帧为目标帧。

在一可选实施例中，处理器51还用于：

为镜头边界帧配置标注信息，以向用户提示镜头边界帧。

进一步，如图5所示，该计算设备还包括：通信组件52、电源组件53等其它组件。图5中仅示意性给出部分组件，并不意味着计算设备只包括图5所示组件。

值得说明的是，上述关于计算设备各实施例中的技术细节，可参考前述的方法实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成本申请保护范围的损失。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由计算设备执行的各步骤。

上述图5中的通信组件，被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述图5中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理***，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (21)

1.一种镜头边界检测方法，其特征在于，包括：

接收针对目标视频的镜头边界检测请求；

从所述目标视频中提取时空切片；

根据所述时空切片，在所述目标视频中确定疑似镜头边界的视频帧，作为候选帧；

从所述候选帧中，选择符合预设的局部特征匹配要求的目标帧，作为所述目标视频中的镜头边界帧。

2.根据权利要求1所述的方法，其特征在于，所述根据所述时空切片，在所述目标视频中确定疑似镜头边界的视频帧，包括：

在所述时空切片上，若存在第一视频帧对应的切片特征符合预设的连续性要求，则确定所述第一视频帧为疑似镜头边界的视频帧；

其中，所述第一视频帧为所述目标视频包含的至少一个视频帧中的任意一个。

3.根据权利要求2所述的方法，其特征在于，还包括：

获取所述第一视频帧及其对应的N个在前帧和M个在后帧，组成第一帧图像序列，N和M为正整数；

计算所述第一视频帧与其相邻的前一帧对应的切片特征之间的差异度以及所述第一帧图像序列中其它相邻帧对应的切片特征之间的差异度；

对所述第一帧图像序列下的差异度进行突变检测；

若在所述第一视频帧上检测到差异度突变，则确定所述第一视频帧对应的切片特征符合预设的连续性要求。

4.根据权利要求3所述的方法，其特征在于，所述对所述第一帧图像序列下的差异度进行突变检测，包括：

根据所述第一帧图像序列下的差异度，构建差异度变化曲线；

若所述第一视频帧对应的差异度位于所述差异度变化曲线中的波峰区域，则确定在所述第一视频帧上检测到差异度突变。

5.根据权利要求3所述的方法，其特征在于，还包括：

若所述第一视频帧之前连续K个视频帧均为非镜头边界帧，则计算所述第一视频帧与上一镜头边界帧之间的差异度，K为正整数；

若所述第一视频帧与上一镜头边界帧之间的差异度大于预设差异度阈值，则确定所述第一视频帧为叠化/划变镜头的边界帧。

6.根据权利要求3所述的方法，其特征在于，还包括：

确定所述第一帧图像序列对应的时空切片片段；

计算所述时空切片片段下各视频帧的切片像素之间的方差；

若所述方差小于预设方差阈值，则确定所述第一视频帧为淡入淡出镜头的边界帧。

7.根据权利要求1所述的方法，其特征在于，所述从所述候选帧中，选择符合预设的局部特征匹配要求的目标帧，包括：

在所述目标视频中，确定第一候选帧的前一帧；

分别提取所述第一候选帧及其前一帧中的局部特征；

若所述第一候选帧与其前一帧之间的局部特征匹配，则确定所述第一候选帧为目标帧；

其中，所述第一候选帧为各候选帧中的任意一个。

8.根据权利要求7所述的方法，其特征在于，还包括：

采用基于网格运动统计的特征匹配方案，确定所述第一候选帧与其前一帧之间的局部特征是否匹配。

9.根据权利要求7所述的方法，其特征在于，还包括：

若所述第一候选帧与其前一帧之间的局部特征匹配不成功，则分别提取所述第一候选帧及其前一帧的直方图；

若所述第一候选帧与其前一帧之间的直方图匹配，则确定所述第一候选帧为镜头边界帧。

10.根据权利要求7所述的方法，其特征在于，所述局部特征包括快速定向旋转ORB特征、加速鲁棒SURF特征或尺度不变特征变换SIFT特征。

11.根据权利要求1所述的方法，其特征在于，还包括：

为所述镜头边界帧配置标注信息，以向用户提示所述镜头边界帧。

12.一种计算设备，其特征在于，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

接收针对目标视频的镜头边界检测请求；

从所述目标视频中提取时空切片；

根据所述时空切片，在所述目标视频中确定疑似镜头边界的视频帧，作为候选帧；

从所述候选帧中，选择符合预设的局部特征匹配要求的目标帧，作为所述目标视频中的镜头边界帧。

13.根据权利要求12所述的设备，其特征在于，所述处理器在根据所述时空切片，在所述目标视频中确定疑似镜头边界的视频帧时，用于：

在所述时空切片上，若存在第一视频帧对应的切片特征符合预设的连续性要求，则确定所述第一视频帧为疑似镜头边界的视频帧；

其中，所述第一视频帧为所述目标视频包含的至少一个视频帧中的任意一个。

14.根据权利要求13所述的设备，其特征在于，所述处理器还用于：

获取所述第一视频帧及其对应的N个在前帧和M个在后帧，组成第一帧图像序列，N和M为正整数；

计算所述第一视频帧与其相邻的前一帧对应的切片特征之间的差异度以及所述第一帧图像序列中其它相邻帧对应的切片特征之间的差异度；

对所述第一帧图像序列下的差异度进行突变检测；

若在所述第一视频帧上检测到差异度突变，则确定所述第一视频帧对应的切片特征符合预设的连续性要求。

15.根据权利要求14所述的设备，其特征在于，所述处理器在对所述第一帧图像序列下的差异度进行突变检测时，用于：

根据所述第一帧图像序列下的差异度，构建差异度变化曲线；

若所述第一视频帧对应的差异度位于所述差异度变化曲线中的波峰区域，则确定在所述第一视频帧上检测到差异度突变。

16.根据权利要求14所述的设备，其特征在于，所述处理器还用于：

若所述第一视频帧之前连续K个视频帧均为非镜头边界帧，则计算所述第一视频帧与上一镜头边界帧之间的差异度，K为正整数；

若所述第一视频帧与上一镜头边界帧之间的差异度大于预设差异度阈值，则确定所述第一视频帧为叠化/划变镜头的边界帧。

17.根据权利要求14所述的设备，其特征在于，所述处理器还用于：

确定所述第一帧图像序列对应的时空切片片段；

计算所述时空切片片段下各视频帧的切片像素之间的方差；

若所述方差小于预设方差阈值，则确定所述第一视频帧为淡入淡出镜头的边界帧。

18.根据权利要求12所述的设备，其特征在于，所述处理器在从所述候选帧中，选择符合预设的局部特征匹配要求的目标帧时，用于：

在所述目标视频中，确定第一候选帧的前一帧；

分别提取所述第一候选帧及其前一帧中的局部特征；

若所述第一候选帧与其前一帧之间的局部特征匹配，则确定所述第一候选帧为目标帧；

其中，所述第一候选帧为各候选帧中的任意一个。

19.根据权利要求18所述的设备，其特征在于，所述处理器还用于：

采用基于网格运动统计的特征匹配方案，确定所述第一候选帧与其前一帧之间的局部特征是否匹配。

20.根据权利要求18所述的设备，其特征在于，所述处理器还用于：

若所述第一候选帧与其前一帧之间的局部特征匹配不成功，则分别提取所述第一候选帧及其前一帧的直方图；

若所述第一候选帧与其前一帧之间的直方图匹配，则确定所述第一候选帧为镜头边界帧。

21.一种存储计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-11任一项所述的镜头边界检测方法。

Images