CN103093458A - 关键帧的检测方法及装置 - Google Patents

Abstract

本发明提出一种关键帧的检测方法及装置，所述方法包括以下步骤：S1：对输入的当前视频帧和当前视频帧的相邻视频帧进行非均匀分块，并统计两个相邻视频帧在各个分块和各个颜色分量上的直方图分布概率及联合直方图分布概率；S2：根据两个相邻视频帧的直方图分布概率及联合直方图分布概率计算两个相邻视频帧之间的分块加权交互信息量，并根据分块加权交互信息量计算两个相邻视频帧的帧差；S3：根据帧差对当前视频帧进行第一次关键帧检测以获得当前视频帧的初检结果；S4：根据当前视频帧的初检结果对当前视频帧进行第二次关键帧检测以获得当前视频帧的最终检测结果。根据本发明的方法，计算速度快、查全率和查准率高、拓展性和移植性强。

Description

关键帧的检测方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种关键帧的检测方法及装置。

背景技术

视频由不同场景构成，场景由不同镜头组成，每个镜头则包含了几个至几百甚至以上的不等视频帧，关键帧的检测是指检测出这些不等视频的镜头边界，找出镜头变化时对应的视频帧。一般镜头变化包括镜头突变、淡入淡出型渐变和溶解型渐变。

现有技术的关键帧的检测方法是利用图像直方图距离来表征相邻帧的帧差，从而找出镜头变化时对应的视频帧，例如直方图最小帧差法，这种方法存在的问题是，图像直方图只是通过简单的累积统计，不足以确切的变现出相邻两帧直方图之间的特征差异。

现有技术可采用双阈值法进行关键帧的检测，能够同时检测出视频的突变型和渐变性关键帧，这种方法存在的问题是，一方面是对光照及大物体的运动干扰，存在明显的错检，另一方面对于部分渐变型的关键帧，例如溶解型渐变关键帧，并不能正确地检测出来，出现了错检及漏检的情况。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

为达到上述目的，本发明的一方面提出一种关键帧的检测方法，包括以下步骤：S1：对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率；S2：根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差；S3：根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果；S4：根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。

根据本发明实施例的关键帧的检测方法，具有以下优点：（1）计算速度快、处理效率高：对于任意分辨率的视频能够进行采样处理，可实现实时的关键帧检测；（2）查全率和查准率高：能够准确地定位关键帧，具有很高的查全率和查准率；（3）良好的拓展性和移植性、使用方便：可与其它关键帧检测方法以及其它应用结合起来，具有良好的拓展性和广阔的应用空间。

为实现上述方法，本发明的另一方面还提出一种关键帧的检测装置，包括：分布概率统计模块，用于对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率；帧差计算模块，与所述分布概率统计模块相连，用于根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差；第一检测模块，与所述帧差计算模块相连，用于根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果；第二检测模块，与所述第一关键帧检测模块相连，用于根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。。

根据本发明实施例的关键帧的检测装置，使用方便，处理效率高，查全率和查准率高，并具有良好的拓展性和移植性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一方面实施例的关键帧的检测方法流程图；

图2为本发明实施例的非均匀分块及对应权重的示意图；

图3为本发明实施例的第一次关键帧检测的原理示意图；

图4为本发明实施例的像素点采样点的分布示意图；

图5为本发明另一方面实施例的关键帧的检测装置的结构示意图；

图6为本发明实施例的分布概率统计模块100的结构示意图；

图7为本发明实施例的帧差计算模块200的结构示意图；

图8为本发明实施例的第一检测模块300的结构示意图；以及

图9为本发明实施例的第二检测模块400的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

为说明本发明实施例的关键帧的检测方法及装置的效果优劣定义了查全率和查准率。查全率是指视频镜头分割中正确关键帧的检出数目除以实际关键帧数目，查准率是指视频镜头分割中正确关键帧的检出数目除以总关键帧的检出数目。

图1为本发明一方面实施例的关键帧的检测方法流程图。如图1所示，根据本发明实施例的关键帧的检测方法，包括以下步骤：

步骤S101，对输入的当前视频帧和当前视频帧的相邻视频帧进行非均匀分块，并统计两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率。

具体地，首先，对两个相邻的视频帧按照1:3:1的比例分别对长和宽进行分块，获得9个非均匀分块m(m=1，2，...,9)，并根据非均匀分块的位置赋予权值W，其中，

$W=\left[\begin{array}{ccc}{w}_1& w_2& w_3\\ w_4& w_5& w_6\\ w_7& w_8& w_9\end{array}\right]=\left[\begin{array}{ccc}1& 1& 1\\ 2& 4& 2\\ 1& 1& 1\end{array}\right].$

根据传统直方图计算方法只能反映视频帧图像的全局颜色分布，难以反映视频帧图像的空间信息。由于在普通视频中，经常在视频帧的顶端和底端出现广告或字幕，广告或字幕的频繁变化对镜头的关键帧检测构成干扰，因此本发明的实施例对视频帧进行不均匀分块，并根据非均匀分块的位置赋予不同的权值，体现视频帧中主要内容的变化，由此提高查全率和查准率。如图2所示为本发明实施例的非均匀分块及对各分块赋予权值的示意图，根据1:3:1的比例将视频帧划分为3×3的不等分块，其中，在图2中，非均匀分块中的数字表示权值，W表示视频帧图像的宽度，H表示视频帧图像的高度。

然后，统计两个相邻的视频帧在m分块、R颜色分量上取值为i的像素数目，并将像素数目除以m分块的像素总数目，获得直方图分布概率

和

并依次获得G、B颜色分量上的直方图分布概率

和

和

其中t表示当前视频帧，t-1表示当前视频帧的相邻视频帧。

最后，统计两个相邻的视频帧在相对应的m分块、R颜色分量上取值分别为i和j的像素对数目，并将像素对数目除以m分块的像素总数目，获得联合直方图分布概率并依次获得G、B颜色分量上的联合直方图分布概率

步骤S102，根据两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算两个相邻的视频帧之间的分块加权交互信息量，并根据分块加权交互信息量计算两个相邻的视频帧的帧差。

具体地，首先，根据两个相邻的视频帧的直方图分布概率

以及联合直方图分布概率

按照以下公式计算两个相邻的视频帧在m分块、R颜色分量上的交互信息量

$I_{t,t-1}^m\left(R\right)=-\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{p}_{t,t-1}^m(R_i,R_j)*{\log }_2\frac{p_{t,t-1}^m(R_i,R_j)}{p_t^m\left(R_i\right)*p_{t-1}^m\left(R_j\right)},$

并依次计算获得两个相邻的视频帧在m分块，G、B颜色分量上的交互信息量 $I_{t,t-1}^m\left(B\right).$

然后，根据两个相邻的视频帧在m分块，R、G、B颜色分量上的交互信息量

及

按照以下公式计算总颜色交互信息量

$I_{t,t-1}^m(R,G,B)=\frac{1}{3}(I_{t,t-1}^m\left(R\right)+I_{t,t-1}^m\left(G\right)+I_{t,t-1}^m\left(B\right)).$

根据权重矩阵W及总颜色交互信息量

按照以下公式计算分块加权交互信息量I_t，t-1，

$I_{t,t-1}=\underset{m=1}{\overset{9}{\mathrm{\Σ}}}(w_m*I_{t,t-1}^m(R,G,B))/\underset{m=1}{\overset{9}{\mathrm{\Σ}}}{w}_m.$

最后，根据分块加权交互信息量I_t,t-1，按照以下公式计算两个相邻的视频帧的帧差dist_t，t-1，

dist_t，t-1=1-I_t，t-1。

步骤S103，根据两个相邻的视频帧的帧差对当前视频帧进行第一次关键帧检测以获得当前视频帧的初检结果。

如图3所示为本发明实施例的第一次关键帧检测的原理示意图，通过设置两个判断帧差大小的第一阈值TH和第一阈值TL分别检测突变关键帧和渐变关键帧。

具体地，首先，将两个相邻的视频帧的帧差与第一阈值TH和第一阈值TL进行比较。

在本发明的一个实施例中，第一阈值TH和第二阈值TL的设置具体包括如下步骤：首先，计算当前视频帧的前一个关键帧和当前视频帧的相邻视频帧之间视频序列长度为S的视频帧的帧差dist_i，i1(i=1,...,S-1)，然后根据视频序列长度为S的视频帧的帧差dist_i，i-1(i＝1,...,S-1)，计算帧差均值μ，其中，

$\mathrm{\μ}=\frac{1}{S}\underset{i=1}{\overset{i=S-1}{\mathrm{\Σ}}}{\mathrm{dist}}_{i,i-1}.$

最后根据帧差均值μ按照以下公式计算所述阈值，

TH=5μ，TL=3μ。

应理解的是，第一阈值TH和第二阈值TL的设置，可根据本发明实施例在计算过程中根据不同的视频内容进行自适应调整，也可自行根据需要设置。

如果两个相邻的视频帧的帧差大于第一阈值TH，则当前视频帧可能为突变关键帧，进行如下步骤的第一次关键帧检测：根据环形阵列存储以当前视频帧为中心的、左右各r帧的两个相邻视频帧的帧差，其中，r=3~5；判断两个相邻的视频帧的帧差与环形阵列中所有2r+1个相邻视频帧的帧差的大小，如果两个相邻的视频帧的帧差为最大值，则继续下一步判断，否则当前视频帧不是突变关键帧；继续判断两个相邻的视频帧的帧差与环形阵列中所有2r+1个相邻视频帧的帧差中次大帧差的大小，如果两个相邻的视频帧的帧差比环形阵列中所有2r+1个相邻视频帧的帧差中次大帧差大3倍，则当前视频帧为突变关键帧，否则当前视频帧不是突变关键帧。

如果两个相邻的视频帧的帧差小于第一阈值TH且大于第二阈值TL，则当前视频帧为渐变起始帧，进行如下步骤的第一次关键帧的渐变结束帧检测：计算当前视频帧与其后的第k视频帧的帧差dist_t,k，其中k=t+1,t+2,...；判断当前视频帧与其后的第k视频帧的帧差dist_t,k与第一阈值的大小，如果当前视频帧与其后的第k视频帧的帧差dist_t,k大于第一阈值，则第k帧为候选结束帧；继续计算第k帧与其之后的第a视频帧的帧差dist_k+j+1,k+j，其中，j=0,1,2,...,a-1；继续判断第k帧与其之后的第a视频帧的帧差dist_t,k与第二阈值的大小，如果第k帧与其之后的第a视频帧的帧差dist_k+j+1，k+j小于第二阈值，则第k帧为渐变结束帧。

步骤S103的初检方法又称双阈值法，通过设置阈值TH和TL两个参数值可满足不同视频内容变化的要求，既能检测突变关键帧也能很好地检测渐变关键帧，特别是淡入淡出渐变关键帧。

步骤S104，根据当前视频帧的初检结果对当前视频帧进行第二次关键帧检测以获得当前视频帧的最终检测结果。

具体地，首先，获取当前视频帧的初检结果。

如果当前视频帧的初检结果为突变关键帧，则进行如下步骤的第二次关键帧检测：根据当前视频帧计算分块直方图差及像素差异直方图方差；根据分块直方图差确定第一变化阈值，并根据像素差异直方图方差确定第二变化阈值；判断像素差异直方图方差与第一变化阈值的大小以及分块直方图差与第二变化阈值的大小；如果像素差异直方图方差大于第一变化阈值或分块直方图差小于第二变化阈值，则当前视频帧不是突变关键帧，如果像素差异直方图方差小于或等于第一变化阈值且分块直方图差大于或等于第二变化阈值，则当前视频帧为突变关键帧。

更具体地，分块直方图差BHDM为D(t，t-1)计算过程如下，

$D(t,t-1)=\frac{\left[\underset{k=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{DB}(t,t-1,k)\right]-\mathrm{Max}\left(\mathrm{DB}(t,t-1,k)\right)}{m-1},$

$\mathrm{DB}(t,t-1,k)=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|H_{t,k}\left(j\right)-H_{t-1,k}\left(j\right)|}{n},$

其中，H_t，k(j)是当前视频帧t的第k分块的归一化直方图在灰度级别j上的值，对当前视频帧t进行如步骤S101所示的非均匀分块之后，取其灰度图，统计当前视频帧t在第k分块，灰度值为j的像素数目并将像素数目除以第k分块的像素总数目，获得H_t，k(j)，n表示灰度级的数量，m表示视频帧的分块数目，并按照此计算方法计算获得当前视频帧t的相邻视频帧t-1的H_t-1，k(j)。

像素差异直方图方差（VDHM）为V(t,t-1)计算过程如下，

$V(t,t-1)=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{({\mathrm{DH}}_{t,t-1}\left(j\right)-\stackrel{\‾}{\mathrm{DH}})}^2}{n}$

其中，DH_t,t-1(j)表示两个相邻视频帧t及t-1的归一化像素差异直方图在差异级别j上的值，取两个相邻视频帧t及t-1的灰度图，然后将两个相邻视频帧的灰度图按照像素对应位置相减并取像素差值绝对值，获得新灰度图，统计该新灰度图在灰度取值为j的像素个数，并将像素个数除以灰度图的像素总个数，获得DH_t,t-1(j)。是DH_t,t-1(j)的平均值，n表示灰度级的数量。

在计算过程中，j在[0,255]区间取整数值，n=256。

由此可知，0≤D(t,t-1)≤1，分块直方图差（BHDM）反映的是视频帧的图像间的颜色差异，0≤V(t,t-1)≤1，像素差异直方图方差（VDHM）反映的是视频帧的图像间的空间差异。如果当前视频帧t不是突变关键帧，则其对应的像素差异直方图方差（VDHM）V(t，t-1)比较大而分块直方图差（BHDM）D(t，t-1)比较小。如果当前视频帧t是突变关键帧，则其对应的像素差异直方图方差（VDHM）值V(t，t-1)比较小而分块直方图差（BHDM）值D(t，t-1)比较大。

分块直方图差（BHDM）对应的第一变化阈值T_b和像素差异直方图方差（VDHM）对应的第二变化阈值T_v可通过基于滑动窗口的自适应阈值方法确定，其中，

$T_v=\frac{1}{3}*\frac{1}{S}\underset{i=1}{\overset{i=S-1}{\mathrm{\Σ}}}V(t,t-1),$ $T_b=3*\frac{1}{S}\underset{i=1}{\overset{i=S-1}{\mathrm{\Σ}}}D(t,t-1).$

如果当前视频帧的初检结果为渐变关键帧，则分别进行如下（a）和（b）所示的第二次关键帧检测。

（a）根据步骤S103的初检结果，对当前视频帧即渐变起始帧到渐变结束帧之间视频帧序列进行像素点R、G、B的采样，如图4所示为像素点采样点的分布图，黑点为像素采样点位置，其分别为各条线段的中点；判断采样点序列中是否存在全黑采样点，如果存在全黑采样点，则当前视频帧及渐变结束帧为淡入淡出渐变关键帧，如果不存在全黑采样点，则初检结果为误检。

在一般的淡入淡出的镜头变化过程，总存在一帧或者几帧全黑图像，可通过检测黑视频帧来确定是否是淡入淡出镜头。

（b）根据所述步骤S103的初检结果，判断两个初检关键帧S_a和S_b间的视频帧序列长度是否大于30帧，如果视频帧序列长度大于30帧，则继续下一步计算和判断，如果视频帧序列长度不大于30帧，则两个初检关键帧S_a和S_b之间不存在溶解型渐变关键帧；统计两个初检关键帧S_a,S_b间的相邻视频帧的帧差均值λ；判断两个初检关键帧S_a,S_b间视频帧序列S_a,S_a+1，S_a+2，…,S_b-1，S_b中是否存在某帧S_k，其之后a帧的两个相邻视频帧的帧差都大于所述均值λ且小于第二阈值，如果存在则S_k是溶解型渐变的候选起始帧，此时已检测到帧序列S_k+α+1，继续下一步计算和判断，否则继续检测溶解型渐变的候选起始帧，其中a=5~8；判断S_k+α+1，…,S_b-1，S_b中存在是否存在某帧S_r，其之后ω帧的两个相邻视频帧的帧差都小于均值λ，如果存在则S_r是溶解型渐变的结束帧，令k=r+ω转入（b）继续检测，当k>b时结束检测，其中ω=5~8。

根据本发明实施例的关键帧的检测方法，综合利用了非均匀分块、交互信息量、改进双阈值法的初检以及复检等算法，具体具有以下优点：（1）计算速度快、处理效率高：本发明实施例的方法对于任意分辨率的视频能够进行采样处理，可实现实时的关键帧检测；（2）查全率和查准率高：本发明综合利用了非均匀分块、交互信息量、改进双阈值法的初检、复检等算法的优点，使得本发明实施例的方法能够准确地定位关键帧，具有很高的查全率和查准率；（3）良好的拓展性和移植性、使用方便：本发明实施例的方法可以与其它关键帧检测方法以及其它应用结合起来，具有良好的拓展性和广阔的应用空间。

图5为本发明另一方面实施例的关键帧的检测装置的结构示意图。如图5所示，根据本发明实施例的关键帧的检测装置，包括分布概率统计模块100、帧差计算模块200、第一检测模块300和第二检测模块400。

其中，分布概率统计模块100用于对输入的当前视频帧和当前视频帧的相邻视频帧进行非均匀分块，并统计两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率。

如图6所示，分布概率统计模块100包括非均匀分块单元110、直方图分布概率统计单元120和联合直方图分布概率统计单元130。其中，非均匀分块单元110用于对两个相邻的视频帧按照1:3:1的比例分别对长和宽进行分块，获得9个非均匀分块m(m=1，2，...,9)，并根据非均匀分块的位置赋予权值W。直方图分布概率计算单元120与非均匀分块单元110相连，用于统计两个相邻的视频帧在m分块、R颜色分量上取值为i的像素数目，并将像素数目除以m分块的像素总数目，获得直方图分布概率

和

并依次获得G、B颜色分量上的直方图分布概率

和

和

其中t表示当前视频帧，t-1表示当前视频帧的相邻视频帧。联合直方图分布概率计算单元130与直方图分布概率计算单元120相连，用于统计两个相邻的视频帧在相对应的m分块、R颜色分量上取值分别为i和j的像素对数目，并将像素对数目除以m分块的像素总数目，获得联合直方图分布概率

并依次获得G、B颜色分量上的所述联合直方图分布概率

帧差计算模块200与分布概率计算模块100相连，用于根据两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算两个相邻的视频帧之间的分块加权交互信息量，并根据分块加权交互信息量计算两个相邻的视频帧的帧差。

如图7所示，帧差计算模块200包括单颜色交互信息量计算单元210、总颜色交互信息量计算单元220、分块加权交互信息量计算单元230和帧差计算单元240。其中，单颜色交互信息量计算单元210用于根据两个相邻的视频帧的直方图分布概率

以及联合直方图分布概率

计算两个相邻的视频帧在m分块、R颜色分量上的交互信息量

并依次计算两个相邻的视频帧在m分块，G、B颜色分量上的交互信息量

总颜色交互信息量计算单元220与单颜色交互信息量计算单元210相连，用于根据两个相邻的视频帧在m分块，R、G、B颜色分量上的交互信息量

及

计算总颜色交互信息量

分块加权交互信息量计算单元230与总颜色交互信息量计算单元220相连，用于根据权重矩阵W及总颜色交互信息量

计算分块加权交互信息量I_t，t-1。帧差计算单元240与分块加权交互信息量计算单元230相连，用于根据分块加权交互信息量I_t,t-1，计算相邻两视频帧的帧差dist_t,t-1。

详细的计算过程可参考本发明实施例的关键帧的检测方法中步骤S102的计算过程。

第一次检测模块300与帧差计算模块200相连，用于根据两个相邻的视频帧的帧差对当前视频帧进行第一次关键帧检测以获得当前视频帧的初检结果。

如图8所示，第一次检测模块300包括比较单元310、第一判断单元320、第一突变关键帧检测单元330和第一渐变关键帧检测单元340。其中，比较单元310用于将两个相邻的视频帧的帧差与第一阈值和第二阈值进行比较。第一判断单元320与比较单元310相连，用于根据比较单元的比较结果，判断当前视频帧的第一检测方式，如果两个相邻的视频帧的帧差大于所述第一阈值，则当前视频帧可能为突变关键帧，进入第一突变关键帧检测单元330，如果两个相邻的视频帧的帧差小于第一阈值且大于第二阈值，则当前视频帧为渐变起始帧，进入第一渐变关键帧检测单元340进行渐变结束帧检测。第一突变关键帧检测单元330与第一判断单元310相连，用于判断当前视频帧是否为突变关键帧。第一渐变关键帧检测单元340与第一判断单元310相连，用于继续检测当前视频帧的渐变结束帧。

第一突变关键帧检测单元330与第一渐变关键帧检测单元340的详细检测过程可参考本发明一方面实施例的关键帧的检测方法中步骤S103的检测过程。

在本发明的一个实施例中，第一检测模块300还包括阈值设置单元350，阈值设置单元350与第一突变关键帧检测单元330和第一渐变关键帧检测单元340相连，用于设置第一阈值和第二阈值，具体的设置过程可参考本发明一方面实施例的关键帧的检测方法中步骤S103所包含的设置步骤。

第二检测模块400与第一检测模块300相连，用于根据当前视频帧的初检结果对当前视频帧进行第二次关键帧检测以获得当前视频帧的最终检测结果。

如图9所示，第二检测模块400包括获取单元410、第二判断单元420、第二突变关键帧检测单元430、第二淡入淡出渐变关键帧检测单元440和第二溶解型渐变关键帧检测单元450。其中，获取单元410与第一检测模块300相连，用于获取当前视频帧的初检结果。第二判断单元420与获取单元410相连，用于根据获取单元410的初检结果，判断当前视频帧的第二检测方式，如果当前视频帧的初检结果为突变关键帧，则进入第二突变关键帧检测单元430检测，如果当前视频帧的初检结果为渐变关键帧，则进入第二淡入淡出渐变关键帧检测单元440和第二溶解型渐变关键帧检测单元450。第二突变关键帧检测单元430与第二判断单元420相连，用于进行当前视频帧的突变关键帧的复检。第二淡入淡出渐变关键帧检测单元440与第二判断单元420相连，用于进行当前视频帧的淡入淡出关键帧的复检。第二溶解型渐变关键帧检测单元450与第二判断单元420相连，用于进行当前视频帧的溶解型渐变关键帧的复检。

第二突变关键帧检测单元430、第二淡入淡出渐变关键帧检测单元440和第二溶解型渐变关键帧检测单元450的具体检测过程可参考本发明一方面实施例的关键帧的检测方法中的步骤S104的检测过程。

根据本发明实施例的关键帧的检测装置，使用方便，处理效率高，查全率和查准率高，并具有良好的拓展性和移植性。

根据本发明实施例的关键帧的检测方法及装置，至少具有以下有益效果：

（1）计算速度快、处理效率高：根据本发明实施例的方法可对任意分辨率的视频能够进行采样处理，实现实时的关键帧检测，本发明实施例的装置处理效率高。

（2）查全率和查准率高：本发明实施例的方法综合利用了非均匀分块、交互信息量、改进的双阈值法、镜头复检等算法优点，可准确地定位关键帧，具有很高的查全率和查准率。

（3）良好的拓展性和移植性、使用方便：本发明实施例的方法可以与其它关键帧检测方法以及其它应用结合起来，具有良好的拓展性和广阔的应用空间。本发明实施例的装置具有良好的拓展性和广阔的应用空间。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (12)

1.一种关键帧的检测方法，其特征在于，包括以下步骤：

S1：对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率；

S2：根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差；

S3：根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果；

S4：根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。

2.根据权利要求1所述的关键帧的检测方法，其特征在于，所述步骤S1进一步包括：

S11：对所述两个相邻的视频帧按照1:3:1的比例分别对长和宽进行分块，获得9个非均匀分块m(m=1，2，...,9)，并根据所述非均匀分块的位置赋予权值W，其中，

$W=\left[\begin{array}{ccc}{w}_1& w_2& w_3\\ w_4& w_5& w_6\\ w_7& w_8& w_9\end{array}\right]=\left[\begin{array}{ccc}1& 1& 1\\ 2& 4& 2\\ 1& 1& 1\end{array}\right];$

S12：统计所述两个相邻的视频帧在m分块、R颜色分量上取值为i的像素数目，并将所述像素数目除以m分块的像素总数目，获得所述直方图分布概率

和

并依次获得G、B颜色分量上的所述直方图分布概率

和和

其中t表示所述当前视频帧，t-1表示所述当前视频帧的相邻视频帧；

S13：统计所述两个相邻的视频帧在相对应的m分块、R颜色分量上取值分别为i和j的像素对数目，并将所述像素对数目除以m分块的像素总数目，获得所述联合直方图分布概率并依次获得G、B颜色分量上的所述联合直方图分布概率

3.根据权利要求2所述的关键帧的检测方法，其特征在于，所述步骤S2进一步包括：

S21：根据所述两个相邻的视频帧的直方图分布概率

以及所述联合直方图分布概率

按照以下公式计算所述两个相邻的视频帧在m分块、R颜色分量上的交互信息量

$I_{t,t-1}^m\left(R\right)=-\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{p}_{t,t-1}^m(R_i,R_j)*{\log }_2\frac{p_{t,t-1}^m(R_i,R_j)}{p_t^m\left(R_i\right)*p_{t-1}^m\left(R_j\right)},$

并依次计算获得所述两个相邻的视频帧在m分块，G、B颜色分量上的交互信息量 $I_{t,t-1}^m\left(G\right),I_{t,t-1}^m\left(B\right);$

S22：根据所述两个相邻的视频帧在m分块，R、G、B颜色分量上的交互信息量及

按照以下公式计算总颜色交互信息量

$I_{t,t-1}^m(R,G,B)=\frac{1}{3}(I_{t,t-1}^m\left(R\right)+I_{t,t-1}^m\left(G\right)+I_{t,t-1}^m\left(B\right));$

S23：根据所述权重矩阵W及所述总颜色交互信息量

按照以下公式计算所述分块加权交互信息量I_t，t-1，

$I_{t,t-1}=\underset{m=1}{\overset{9}{\mathrm{\Σ}}}(w_m*I_{t,t-1}^m(R,G,B))/\underset{m=1}{\overset{9}{\mathrm{\Σ}}}{w}_m;$

S24：根据所述分块加权交互信息量I_t,t-1，按照以下公式计算所述两个相邻的视频帧的帧差dist_t,t-1，

dist_t，t-1=1-I_t，t-1。

4.根据权利要求1所述的关键帧的检测方法，其特征在于，所述步骤S3进一步包括：

S31：将所述两个相邻的视频帧的帧差与预定的第一阈值和第二阈值进行比较；

S32：如果所述两个相邻的视频帧的帧差大于所述第一阈值，则所述当前视频帧可能为突变关键帧，继续执行步骤S33，

如果所述两个相邻的视频帧的帧差小于所述第一阈值且大于所述第二阈值，则所述当前视频帧为渐变起始帧，继续执行步骤S34进行渐变结束帧检测；

S33：根据环形阵列存储以所述当前视频帧为中心的、左右各r帧的两个相邻视频帧的帧差，其中，r=3~5，

判断所述两个相邻的视频帧的帧差与所述环形阵列中所有2r+1个相邻视频帧的帧差的大小，如果所述两个相邻的视频帧的帧差为最大值，则继续下一步判断，否则所述当前视频帧不是突变关键帧，

判断所述两个相邻的视频帧的帧差与所述环形阵列中所有2r+1个相邻视频帧的帧差中次大帧差的大小，如果所述两个相邻的视频帧的帧差比所述环形阵列中所有2r+1个相邻视频帧的帧差中次大帧差大3倍，则所述当前视频帧为突变关键帧，否则所述当前视频帧不是突变关键帧；

S34：计算所述当前视频帧与其后的第k视频帧的帧差dist_t,k，其中k=t+1,t+2,...，

判断所述当前视频帧与其后的第k视频帧的帧差dist_t,k与所述第一阈值的大小，如果所述当前视频帧与其后的第k视频帧的帧差dist_t,k大于所述第一阈值，则所述第k帧为候选结束帧，

计算所述第k帧与其之后的第a视频帧的帧差dist_k+j+1，k+j，其中，j=0,1,2,...,a-1；

判断所述第k帧与其之后的第a视频帧的帧差dist_t,k与所述第二阈值的大小，如果所述第k帧与其之后的第a视频帧的帧差dist_k+j+1，k+j小于所述第二阈值，则所述第k帧为渐变结束帧。

5.根据权利要求4所述的关键帧的检测方法，其特征在于，所述步骤S31进一步包括：

S311：计算所述当前视频帧的前一个关键帧和所述当前视频帧的相邻视频帧之间视频序列长度为S的视频帧的帧差dist_i,i-1(i=1,...,S-1)，

S312：计算所述序列长度为S的视频帧的帧差均值μ，

S313：根据所述帧差均值μ计算所述第一阈值和所述第二阈值，其中所述第一阈值等于所述帧差均值μ的5倍，所述第二阈值等于所述帧差均值的3倍；以及

S314：将所述两个相邻的视频帧的帧差与所述第一阈值和第二阈值进行比较。

6.根据权利要求4所述的关键帧的检测方法，其特征在于，所述步骤S4进一步包括：

S41：获取所述当前视频帧的初检结果；

S42：如果所述当前视频帧的初检结果为突变关键帧，则继续执行步骤S43，

如果所述当前视频帧的初检结果为渐变关键帧，则继续执行步骤S44和步骤S45；

S43：根据所述当前视频帧计算分块直方图差及像素差异直方图方差，

根据所述分块直方图差确定第一变化阈值，并根据所述像素差异直方图方差确定第二变化阈值，

判断所述像素差异直方图方差与所述第一变化阈值的大小以及所述分块直方图差与所述第二变化阈值的大小，

如果所述像素差异直方图方差大于所述第一变化阈值或所述分块直方图差小于所述第二变化阈值，则所述当前视频帧不是突变关键帧，

如果所述像素差异直方图方差小于或等于所述第一变化阈值且所述分块直方图差大于或等于所述第二变化阈值，则所述当前视频帧为突变关键帧；

S44：根据所述步骤S34的初检结果，对所述当前视频帧即渐变起始帧到所述渐变结束帧之间视频帧序列进行像素点R、G、B的采样，

判断所述采样点序列中是否存在全黑采样点，如果存在所述全黑采样点，则所述当前视频帧及所述渐变结束帧为淡入淡出渐变关键帧，如果不存在所述全黑采样点，则初检结果为误检。

S45：判断两个初检关键帧S_a和S_b间的视频帧序列长度是否大于30帧，如果所述视频帧序列长度大于30帧，则继续下一步计算和判断，如果所述视频帧序列长度不大于30帧，则所述两个初检关键帧S_a和S_b之间不存在溶解型渐变关键帧，

统计所述两个初检关键帧S_a,S_b间的相邻视频帧的帧差均值λ，

判断所述两个初检关键帧S_a,S_b间视频帧序列S_a,S_a+1，S_a+2，…,S_b-1，S_b中是否存在某帧S_k，其之后a帧的两个相邻视频帧的帧差都大于所述均值λ且小于第二阈值，如果存在则所述S_k是溶解型渐变的候选起始帧，此时已检测到帧序列S_k+α+1，继续下一步计算和判断，否则继续检测溶解型渐变的候选起始帧，其中a=5~8，

判断所述S_k+α+1，…,S_b-1，S_b中存在是否存在某帧S_r，其之后ω帧的两个相邻视频帧的帧差都小于所述均值λ，如果存在则所述S_r是溶解型渐变的结束帧，令k=r+ω转入步骤S44继续检测，当k>b时结束检测，其中ω=5~8。

7.一种关键帧的检测装置，其特征在于，包括：

分布概率统计模块，用于对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率；

帧差计算模块，用于根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差；

第一检测模块，用于根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果；

第二检测模块，用于根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。

8.根据权利要求7所述的关键帧的检测装置，其特征在于，所述分布概率统计模块进一步包括：

非均匀分块单元，用于对所述两个相邻的视频帧按照1:3:1的比例分别对长和宽进行分块，获得9个非均匀分块m(m=1，2，...,9)，并根据所述非均匀分块的位置赋予权值W，其中，

$W=\left[\begin{array}{ccc}{w}_1& w_2& w_3\\ w_4& w_5& w_6\\ w_7& w_8& w_9\end{array}\right]=\left[\begin{array}{ccc}1& 1& 1\\ 2& 4& 2\\ 1& 1& 1\end{array}\right];$

直方图分布概率统计单元，用于统计所述两个相邻的视频帧在m分块、R颜色分量上取值为i的像素数目，并将所述像素数目除以m分块的像素总数目，获得所述直方图分布概率

和

并依次获得G、B颜色分量上的所述直方图分布概率和

和

其中t表示所述当前视频帧，t-1表示所述当前视频帧的相邻视频帧；

联合直方图分布概率统计单元，用于统计所述两个相邻的视频帧在相对应的m分块、R颜色分量上取值分别为i和j的像素对数目，并将所述像素对数目除以m分块的像素总数目，获得所述联合直方图分布概率

并依次获得G、B颜色分量上的所述联合直方图分布概率

9.根据权利要求8所述的关键帧的检测装置，其特征在于，所述帧差计算模块进一步包括：

单颜色交互信息量计算单元，用于根据所述两个相邻的视频帧的直方图分布概率

以及所述联合直方图分布概率

按照以下公式计算所述两个相邻的视频帧在m分块、R颜色分量上的交互信息量

$I_{t,t-1}^m\left(R\right)=-\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{p}_{t,t-1}^m(R_i,R_j)*{\log }_2\frac{p_{t,t-1}^m(R_i,R_j)}{p_t^m\left(R_i\right)*p_{t-1}^m\left(R_j\right)},$

并依次计算获得所述两个相邻的视频帧在m分块，G、B颜色分量上的交互信息量 $I_{t,t-1}^m\left(G\right),I_{t,t-1}^m\left(B\right);$

总颜色交互信息量计算单元，用于根据所述两个相邻的视频帧在m分块，R、G、B颜色分量上的交互信息量

及按照以下公式计算总颜色交互信息量

$I_{t,t-1}^m(R,G,B)=\frac{1}{3}(I_{t,t-1}^m\left(R\right)+I_{t,t-1}^m\left(G\right)+I_{t,t-1}^m\left(B\right));$

分块加权交互信息量计算单元，用于根据所述权重矩阵W及所述总颜色交互信息量

按照以下公式计算所述分块加权交互信息量I_t，t-1，

$I_{t,t-1}=\underset{m=1}{\overset{9}{\mathrm{\Σ}}}(w_m*I_{t,t-1}^m(R,G,B))/\underset{m=1}{\overset{9}{\mathrm{\Σ}}}{w}_m;$

帧差计算单元，用于根据所述分块加权交互信息量I_t,t-1，按照以下公式计算所述两个相邻的视频帧的帧差dist_t,t-1，

dist_t，t-1=1-I_t，t-1。

10.根据权利要求7所述的关键帧的检测装置，其特征在于，所述第一次检测模块进一步包括：

比较单元，用于将所述两个相邻的视频帧的帧差与预定的第一阈值和第二阈值进行比较；

第一判断单元，与所述比较单元相连，用于根据所述比较单元的比较结果，判断所述当前视频帧的第一检测方式，

第一突变关键帧检测单元，用于根据所述第一判断单元的判断结果，如果所述两个相邻的视频帧的帧差大于所述第一阈值，则所述当前视频帧可能为突变关键帧，根据环形阵列存储以所述当前视频帧为中心的、左右各r帧的两个相邻视频帧的帧差，其中，r=3~5，

判断所述两个相邻的视频帧的帧差与所述环形阵列中所有2r+1个相邻视频帧的帧差的大小，如果所述两个相邻的视频帧的帧差为最大值，则继续下一步判断，否则所述当前视频帧不是突变关键帧，

判断所述两个相邻的视频帧的帧差与所述环形阵列中所有2r+1个相邻视频帧的帧差中次大帧差的大小，如果所述两个相邻的视频帧的帧差比所述环形阵列中所有2r+1个相邻视频帧的帧差中次大帧差大3倍，则所述当前视频帧为突变关键帧，否则所述当前视频帧不是突变关键帧；

第一渐变关键帧检测单元，用于根据所述第一判断单元的判断结果，如果所述两个相邻的视频帧的帧差小于所述第一阈值且大于所述第二阈值，则所述当前视频帧为渐变起始帧，计算所述当前视频帧与其后的第k视频帧的帧差dist_t,k，其中k=t+1，t+2,...，

判断所述当前视频帧与其后的第k视频帧的帧差dist_t,k与所述第一阈值的大小，如果所述当前视频帧与其后的第k视频帧的帧差Dist_t,k大于所述第一阈值，则所述第k帧为候选结束帧，

计算所述第k帧与其之后的第a视频帧的帧差dist_k+j+1，k+j，其中，j=0,1,2,...,a-1；

判断所述第k帧与其之后的第a视频帧的帧差dist_t,k与所述第二阈值的大小，如果所述第k帧与其之后的第a视频帧的帧差dist_k+j+1，k+j小于所述第二阈值，则所述第k帧为渐变结束帧。

11.根据权利要求10所述的关键帧的检测装置，其特征在于，所述第一检测模块还包括：

阈值设置单元，用于计算所述当前视频帧的前一个关键帧和所述当前视频帧的相邻视频帧之间视频序列长度为S的视频帧的帧差dist_i，i-1(i＝1,...,S-1)，

计算所述序列长度为S的视频帧的帧差均值μ，

根据所述帧差均值μ计算所述第一阈值和所述第二阈值，其中，所述第一阈值等于所述帧差均值μ的5倍，所述第二阈值等于所述帧差均值的3倍。

12.根据权利要求10所述的关键帧的检测装置，其特征在于，所述第二检测模块进一步包括：

获取单元，用于获取所述当前视频帧的初检结果；

第二判断单元，用于根据所述获取单元的初检结果，判断所述当前视频帧的第二检测方式，

如果所述当前视频帧的初检结果为突变关键帧，则进入第二突变关键帧检测单元进行关键帧复检，

如果所述当前视频帧的初检结果为渐变关键帧，则分别进入第二淡入淡出渐变关键帧检测单元和第二溶解型渐变关键帧检测单元进行关键帧复检；

第二突变关键帧检测单元，用于根据所述当前视频帧计算分块直方图差及像素差异直方图方差，

根据所述分块直方图差确定第一变化阈值，并根据所述像素差异直方图方差确定第二变化阈值，

判断所述像素差异直方图方差与所述第一变化阈值的大小以及所述分块直方图差与所述第二变化阈值的大小，

如果所述像素差异直方图方差大于所述第一变化阈值或所述分块直方图差小于所述第二变化阈值，则所述当前视频帧不是突变关键帧，

如果所述像素差异直方图方差小于或等于所述第一变化阈值且所述分块直方图差大于或等于所述第二变化阈值，则所述当前视频帧为突变关键帧；

第二淡入淡出渐变关键帧检测单元，对所述当前视频帧即渐变起始帧到所述渐变结束帧之间视频帧序列进行像素点R、G、B的采样，

判断所述采样点序列中是否存在全黑采样点，如果存在所述全黑采样点，则所述当前视频帧及所述渐变结束帧为淡入淡出渐变关键帧，如果不存在所述全黑采样点，则初检结果为误检。

第二溶解型渐变关键帧检测单元，用于判断两个初检关键帧S_a和S_b间的视频帧序列长度是否大于30帧，如果所述视频帧序列长度大于30帧，则继续下一步计算和判断，如果所述视频帧序列长度不大于30帧，则所述两个初检关键帧S_a和S_b之间不存在溶解型渐变关键帧，

统计所述两个初检关键帧S_a,S_b间的相邻视频帧的帧差均值λ，

判断所述两个初检关键帧S_a,S_b间视频帧序列S_a,S_a+1，S_a+2，…,S_b-1，S_b中是否存在某帧S_k，其之后a帧的两个相邻视频帧的帧差都大于所述均值λ且小于第二阈值，如果存在则所述S_k是溶解型渐变的候选起始帧，此时已检测到帧序列S_k+α+1，继续下一步计算和判断，否则继续检测溶解型渐变的候选起始帧，其中a=5~8，

判断所述S_k+α+1，…,S_b-1，S_b中存在是否存在某帧S_r，其之后ω帧的两个相邻视频帧的帧差都小于所述均值λ，如果存在则所述S_r是溶解型渐变的结束帧，令k=r+ω转入步骤S44继续检测，当k>b时结束检测，其中ω=5~8。

Images