CN102833492A - 一种基于颜色相似度的视频场景分割方法 - Google Patents

Abstract

本发明属于计算机视频数据处理技术领域，涉及一种基于颜色相似度的视频场景分割方法，该方法对于一个视频片段，按照下列方法得到相似度矩阵:所有帧的RGB颜色直方图，利用直方图计算帧之间的相似度，获得整个片段范围的相似度矩阵，并包括下列步骤：进行视频片段的首次场景分割；合并小场景；验证过渡段并再分割。按照本发明进行场景分割，则能够得到较为准确和可靠的分割结果。

Description

一种基于颜色相似度的视频场景分割方法

所属技术领域

本发明属于计算机视频数据处理技术领域，特别涉及一种视频场景分割的方法。

背景技术

近年来随着数字多媒体技术以及计算机存储能力的快速发展，数字视频在人们工作和生活中获得了广泛应用。然而，如何对大量的数字视频数据进行有效的检索与管理则是现阶段需要解决的难题。视频场景分割作为关键性的基础步骤，在解决这个问题上显得尤为重要。显然，把一个完整的视频分割成若干具有显著独立内容的片段集合对完整视频的摘要提取和内容检索具有重要作用。

发明内容

本发明的目的在于提供一种简单有效的视频场景分割方法。本发明提出的视频分割方法，仅使用了视频中各帧图像的颜色特征，且对于视频片段间的骤变分割点和过渡片段的提取都有比较好的效果。为此，本发明采用如下的技术方案：

一种基于颜色相似度的视频场景分割方法，该方法对于一个视频片段，按照下列方法得到相似度矩阵:所有帧的RGB颜色直方图，利用直方图计算帧之间的相似度，获得整个片段范围的相似度矩阵，并且，规定了一个场景过渡到另一个场景的场景变化形式的分类：

（1）骤变分割点：从一个场景直接转向另一个场景，中间没有过渡；

（2）淡入淡出的过渡段：从一个场景转向另一个场景的过程中，前一个场景淡出的同时，后一个场景淡入；

（3）复杂的过渡段：不能划分到上述两种情况的其他场景变化形式；

该方法包括下列的步骤：

步骤一按照以下方法进行视频片段的首次场景分割：

（1）把第一帧纳入第一个场景，以第二帧作为当前帧；

（2）计算当前帧的前一个场景的相似度矩阵所有值的平均值avg0，以及它与前一个场景所有帧的相似度向量的平均值avg1；

（3）若|avg0-avg1|<一致性阈值TH1，则把当前帧纳入前一个场景，将当前帧的下帧作为当前帧，继续（2）；否则，以当前帧为起点，开始新的场景，将当前帧的下帧作为当前帧，并继续（2），直到视频片段终止，从而得到分割结果；

步骤二合并小场景：在分割结果中，合并若干个连续的帧数小于合并阈值TH2的场景；

步骤三验证过渡段并再分割：计算合并而成的场景范围内相似度矩阵所有值的标准差，若标准差小于过渡段判别阈值TH3，则该合并后的场景被判定为伪过渡段，还原为合并前的小场景状态；否则，判定该场景为过渡段，保持合并后的状态，至此获得新的分割结果。

作为优选实施方式，其中的三个阈值的训练按照下列步骤进行：

（1）获取一批用于训练的视频片段，对该批视频片段的每个真实场景分割点进行从一个场景过渡到另一个场景的场景变化形式的分类：

（2）设定一致性阈值TH1的初始值与终止值以及渐增的单位步长，并设定初始的合并阈值TH2和过渡段判别阈值TH3；

（3）对每个用于训练的视频片段，按照步骤一中的方法进行首次场景分割，得到分割结果；

（4）将分割结果与视频片段的各个真实场景分割点进行比对：用分割结果比对真实场景分割点计算代价值a和覆盖率b，并以

评价分割与真实场景分割点的吻合程度，其中，代价值a的计算如下：

a初始为0；对分割结果的每一分割处的帧，在真实场景分割点中寻找它，若能够在真实场景分割点中找到，且该处为骤变分割点，则不对a做任何操作；若能够在真实场景分割点中找到，且处于淡入淡出的过渡段或复杂过渡段内，则

若无法找到，则a＝a+1；

覆盖率b的计算如下：

引入变量a1，a1初始为0；对真实场景分割点每一分割处的帧，在分割结果中寻找它，若能够在分割结果中找到，则不对a1做任何操作，若无法找到，则a1＝a1+1；最后计算

（5）不断变化TH1的值使得最小，得到用于训练的视频片段的TH1训练值；

（6）取所有用于训练的视频片段的TH1训练值的平均值作为一致性阈值的建议值；

（7）以上述训练得到的一致性阈值的建议值为TH1，再按照步骤一的方法进行首次场景分割；

（8）设定合并阈值TH2的初始值与终止值及渐增的单位步长；

（9）把若干个连续的帧数均小于TH2的场景合并为一个场景；

（10）按照步骤（4）的方法将合并小场景得到的结果与视频片段的真实场景分割点进行比对；

（11）不断变化TH2的值使得

最小，得到用于训练的视频片段的TH2训练值；

（12）取所有用于训练的视频片段的TH2训练值的平均值作为合并阈值的建议值；

（13）以上述训练得到的一致性阈值的建议值为TH1，合并阈值的建议值为TH2，按照步骤一的方法进行首次场景分割，得到分割结果；

（14）计算合并而成的场景范围内相似度矩阵所有值的标准差，若标准差小于TH3，则该合并后的场景被判定为伪过渡段，还原为合并前的小场景状态；否则，判定该场景为过渡段，保持合并后的状态；

（15）按照步骤（4）的方法将以上判定后得到的分割结果与视频片段的真实场景分割点进行比对；

（16）不断变化TH3的值使得最小，得到用于训练的视频片段的TH3训练值；

（17）取所有用于训练的视频片段的TH3训练值的平均值作为过渡段判别阈值的建议值。

本发明的场景分割方法对骤变分割点、淡入淡出的分割段，以及复杂的分割段都能得到较好的效果。设定阈值为某一范围的值并按照本发明进行场景分割，则能够得到较为准确的分割结果（图1），说明本发明的视频分割方法具有一定效果。为了使分割效果更佳，有必要对阈值进行训练，训练效果可以通过与真实视频场景分割点的比对进行验证。在验证实验中，我们使用了50个视频片段，每个视频片段包含若干个已知的真实场景分割点。在实验中，我们使用以下两个统计数据来衡量总体训练结果的可靠性。

（1）代价值a：对一个视频片段，按此方法分割得到的所有分割点去比对真实场景分割点，多余的实验结果分割点的数量的相对代价值。

（2）覆盖率b：对一个视频片段，按此方法分割得到的所有分割点中，与真实场景分割点相符的分割点数量占真实场景分割点总数的比率。

从以上两个指标可知，代价值a越小则表示多余的实验结果分割点越少，覆盖率b越接近于1则表示遗漏的真实分割点越少。通过对50个视频片段的验证，结果中代价值a均较小，且覆盖率b大体保持在80%以上（图2），则训练得到的阈值建议值是可靠的，且本发明的分割效果与真实视频场景分割点吻合程度较高。

附图说明

图1分割结果图，上图、中图和下图份为骤变分割点、淡入淡出的分割段以及复杂的分割段的分割结果示意图。

图2验证结果示意图，图2（a）和图2（b）分别为代价值a的统计结果与覆盖率b的统计结果。

图3本发明的***流程图。

具体实施方式

本发明提出一种新的视频场景分割方法。首先对从一个场景过渡到另一个场景的场景转换形式做出分类，如下：

（1）骤变分割点：从一个场景直接转向另一个场景，中间没有过渡。

特点：场景转换十分迅速，分割点前后帧差异明显，容易准确归属到各自的场景中。

（2）淡入淡出的过渡段：从一个场景转向另一个场景的过程中，前一个场景淡出的同时，后一个场景淡入。

特点：场景转换相对缓慢，过渡段往往包含几帧到几十帧数量的图像，各帧之间差异大于普通场景段。

（3）复杂的过渡段：从一个场景转向另一个场景的过程中遵循某种复杂的变换方式，如溶解、放大等。（不能划分到上述两种情况的其他场景变化形式均划为“复杂的过渡段”）

特点：变化方式多样，场景转换缓慢，过渡段往往包含几帧到几十帧数量的图像，各帧之间差异大于普通场景段。

本发明的场景分割方法首先利用“一致性阈值”根据算法对视频进行第一次分割，再对分割后的各个场景根据“合并阈值”对过渡段重新合并，最后通过“过渡段判别阈值”过滤伪过渡段，从而得到最后的场景分割结果。这三种阈值的具体说明如下：

（1）一致性阈值：在首次分割时，根据算法确定是否将下一帧纳入前一个场景中。

（2）合并阈值：在首次分割后，若干个连续的帧数均小于这一阈值的场景将被合并为一个场景（或过渡段）。

（3）过渡段判别阈值：在小场景合并后，计算合并而成的场景范围内相似度矩阵所有值的标准差。若标准差小于这一阈值，则被判定为伪过渡段，应还原为合并前的状态；否则，该场景为过渡段。

参见图3，本发明的最佳实施方案如下：

步骤1.对待分割视频（N帧）提取所有帧图像的RGB颜色直方图，其中R:32、G:32、B:32共96维特征，即直方图矩阵大小为96*N；利用直方图计算所有帧两两之间的相似度，从而获得整个片段范围的相似度矩阵（N*N）。

步骤2.首次场景分割：按照以下算法分割视频片段。

算法：

（1）把第一帧纳入第一个场景。

（2）对第二帧以及之后的帧，计算它前一个场景的相似度矩阵所有值的平均值avg0，以及它与前一个场景所有帧的相似度向量的平均值avg1。

（3）若|avg0-avg1|<TH1（一致性阈值），则把当前帧纳入前一个场景，继续（2）；

否则，以当前帧为起点，开始新的场景，并继续（2）。直到视频片段终止，从而得到分割结果。

下面是有关相似度矩阵计算的具体解释：对一个场景而言，设p为开始帧，q为结束帧，当前帧为k（k是紧接着q的第一帧）

avg0:从p到q所有帧两两做相似度比较，得到的(p-q+1)*(p-q+1)大小的矩阵即为相似度矩阵，矩阵里所有值的平均值即为avg0

avg1:k与p到q的所有帧做相似度比较，得到的(p-q+1)大小的一维向量，该向量所有值的平均值即为avg1

步骤3.合并小场景：在分割结果中，合并若干个连续的帧数小于TH2（合并阈值）的场景,作为假设的过渡段。

步骤4.验证过渡段并再分割：分析得到过渡段内的帧间差异大于普通场景的帧间差异，因此计算合并而成的场景范围内相似度矩阵所有值的标准差。若标准差小于TH3（过渡段判别阈值），则该合并后的场景被判定为伪过渡段，还原为合并前的小场景状态；否则，判定该场景为过渡段，保持合并后的状态。至此获得新的分割结果。

步骤5.为了获得更好的分割结果，我们有必要对一致性阈值TH1、合并阈值TH2以及过渡段判别阈值TH3这三个阈值提出更为合理的建议值，因此采用训练的方法，通过大量视频对这三个阈值进行训练。具体训练方法如下：

（1）训练预备步骤

获得视频片段（50个片段，每个2000-6000帧不等）所有帧的RGB颜色直方图,其中R:32、G:32、B:32共96维特征。利用直方图对各帧两两之间计算相似度，获得整个片段范围的相似度矩阵。

（2）一致性阈值训练

1.为一致性阈值TH1设定初始值与终止值（人为控制这个范围），以及渐增的单位步长。

2.以TH1为阈值，按步骤2中的算法分割视频片段。

3.将分割视频得到的结果与视频片段的真实场景分割点进行比对。用实验结果比对真实场景分割点计算代价值a（a值越小则实验结果大部分都能在真实场景分割点中被找到），另外以真实场景分割点比对实验结果计算实验结果遗漏真实场景分割点的程度b（b值越小则说明真实场景分割点中很多在实验结果中无法找到，即实验结果遗漏真实场景分割点程度大）。最终以

评价实验结果与真实场景分割点的吻合程度，R值越大则实验结果与真实场景分割点越吻合。

A.代价值a的计算：

a初始为0。

对实验结果每一分割处的帧，在真实场景分割点中寻找它，若能够在真实场景分割点中找到，且该处为骤变分割点，则不对a做任何操作。

若能够在真实场景分割点中找到，且处于过渡段范围（淡入淡出的过渡段或复杂过渡段）内，则

若无法找到，则a＝a+1

B.覆盖率b的计算：

b的计算中引入类似a的变量a1，a1初始为0。

对真实场景分割点每一分割处的帧，在实验结果中寻找它，若能够在实验结果中找到（在真实场景分割点中是骤变分割点或淡入淡出的过渡段或复杂过渡段），则不对a1做任何操作。

若无法找到，则a1＝a1+1。

4.不断变化TH1的值使得

最小，即在TH1阈值下，分割结果与真实场景分割点最吻合。

5.对50个视频都训练一次TH1，取它们的均值作为一致性阈值建议值。

（3）合并阈值训练

1.以实验片段自身的最佳TH1（由（2）一致性阈值训练得到）为阈值，按与步骤2相同算法分割视频片段。

2.为合并阈值TH2设定初始值与终止值（人为控制这个范围），渐增的单位步长为1。

3.把若干个连续的帧数均小于TH2的场景合并为一个场景。

4.将合并小场景得到的结果与视频片段的真实场景分割点进行比对。用实验结果比对真实场景分割点计算代价值a，另外以真实场景分割点比对实验结果计算实验结果遗漏真实场景分割点的程度b。最终以

评价实验结果与真实场景分割点的吻合程度。代价值a与覆盖率b的计算方法不变。

5.不断变化TH2的值使得

最小，即在TH2阈值下，分割结果与真实场景分割点最吻合。

6.对50个视频都训练一次TH2，取它们的均值作为合并阈值建议值。

（4）过渡段判别阈值训练

1.以实验片段自身的最佳TH1（由A.一致性阈值训练得到）为阈值，按与步骤2相同算法分割视频片段。

2.以实验片段自身的最佳TH2（由B.合并阈值训练得到）为阈值，把若干个连续的帧数均小于TH2的场景合并为一个场景。

3.为过渡段判别阈值TH3设定初始值与终止值（人为控制这个范围），以及渐增的单位步长。

4.计算合并而成的场景范围内相似度矩阵所有值的标准差。若标准差小于TH3，则该合并后的场景被判定为伪过渡段，还原为合并前的小场景状态；否则，判定该场景为过渡段，保持合并后的状态。

5.将以上判定后得到的结果与视频片段的真实场景分割点进行比对。用实验结果比对真实场景分割点计算代价值a，另外以真实场景分割点比对实验结果计算实验结果遗漏真实场景分割点的程度b。最终以

评价实验结果与真实场景分割点的吻合程度。代价值a与覆盖率b的计算方法不变。

6.不断变化TH3的值使得

最小，即在TH3阈值下，分割结果与真实场景分割点最吻合。

7.对50个视频都训练一次TH3，取它们的均值作为过渡段判别阈值建议值。

步骤6.为了验证训练结果的可靠性，使用50个视频片段（2000-6000帧）的样本，以训练获得的三个建议值作为阈值TH1,TH2,TH3，分别对50个视频进行场景分割。检验结果显示建议值对视频场景分割有效。

步骤7.将训练结果的三个建议值作为阈值用于以后的视频分割中，按照步骤1至步骤4的方法进行视频场景分割即可得到较好的分割结果。

Claims (2)

1.一种基于颜色相似度的视频场景分割方法，该方法对于一个视频片段，按照下列方法得到相似度矩阵:所有帧的RGB颜色直方图，利用直方图计算帧之间的相似度，获得整个片段范围的相似度矩阵，并且，规定了一个场景过渡到另一个场景的场景变化形式的分类：

（1）骤变分割点：从一个场景直接转向另一个场景，中间没有过渡；

（2）淡入淡出的过渡段：从一个场景转向另一个场景的过程中，前一个场景淡出的同时，后一个场景淡入；

（3）复杂的过渡段：不能划分到上述两种情况的其他场景变化形式；

该方法包括下列的步骤：

步骤一按照以下方法进行视频片段的首次场景分割：

（1）把第一帧纳入第一个场景，以第二帧作为当前帧；

（2）计算当前帧的前一个场景的相似度矩阵所有值的平均值avg0，以及它与前一个场景所有帧的相似度向量的平均值avg1；

（3）若|avg0-avg1|<一致性阈值TH1，则把当前帧纳入前一个场景，将当前帧的下帧作为当前帧，继续（2）；否则，以当前帧为起点，开始新的场景，将当前帧的下帧作为当前帧，并继续（2），直到视频片段终止，从而得到分割结果；

步骤二合并小场景：在分割结果中，合并若干个连续的帧数小于合并阈值TH2的场景；

步骤三验证过渡段并再分割：计算合并而成的场景范围内相似度矩阵所有值的标准差，若标准差小于过渡段判别阈值TH3，则该合并后的场景被判定为伪过渡段，还原为合并前的小场景状态；否则，判定该场景为过渡段，保持合并后的状态，至此获得新的分割结果。

2.根据权利要求1所述的基于颜色相似度的视频场景分割方法，其特征在于，其中的三个阈值的训练按照下列步骤进行：

（1）获取一批用于训练的视频片段，对该批视频片段的每个真实场景分割点进行从一个场景过渡到另一个场景的场景变化形式的分类：

（2）设定一致性阈值TH1的初始值与终止值以及渐增的单位步长，并设定初始的合并阈值TH2和过渡段判别阈值TH3；

（3）对每个用于训练的视频片段，按照步骤一中的方法进行首次场景分割，得到分割结果；

（4）将分割结果与视频片段的各个真实场景分割点进行比对：用分割结果比对真实场景分割点计算代价值a和覆盖率b，并以

评价分割与真实场景分割点的吻合程度，其中，代价值a的计算如下：

a初始为0；对分割结果的每一分割处的帧，在真实场景分割点中寻找它，若能够在真实场景分割点中找到，且该处为骤变分割点，则不对a做任何操作；若能够在真实场景分割点中找到，且处于淡入淡出的过渡段或复杂过渡段内，则

若无法找到，则a＝a+1；

覆盖率b的计算如下：

引入变量a1，a1初始为0；对真实场景分割点每一分割处的帧，在分割结果中寻找它，若能够在分割结果中找到，则不对a1做任何操作，若无法找到，则a1＝a1+1；最后计算

（5）不断变化TH1的值使得

最小，得到用于训练的视频片段的TH1训练值；

（6）取所有用于训练的视频片段的TH1训练值的平均值作为一致性阈值的建议值；

（7）以上述训练得到的一致性阈值的建议值为TH1，再按照步骤一的方法进行首次场景分割；

（8）设定合并阈值TH2的初始值与终止值及渐增的单位步长；

（9）把若干个连续的帧数均小于TH2的场景合并为一个场景；

（10）按照步骤（4）的方法将合并小场景得到的结果与视频片段的真实场景分割点进行比对；

（11）不断变化TH2的值使得

最小，得到用于训练的视频片段的TH2训练值；

（12）取所有用于训练的视频片段的TH2训练值的平均值作为合并阈值的建议值；

（13）以上述训练得到的一致性阈值的建议值为TH1，合并阈值的建议值为TH2，按照步骤一的方法进行首次场景分割，得到分割结果；

（14）计算合并而成的场景范围内相似度矩阵所有值的标准差，若标准差小于TH3，则该合并后的场景被判定为伪过渡段，还原为合并前的小场景状态；否则，判定该场景为过渡段，保持合并后的状态；

（15）按照步骤（4）的方法将以上判定后得到的分割结果与视频片段的真实场景分割点进行比对；

（16）不断变化TH3的值使得最小，得到用于训练的视频片段的TH3训练值；

取所有用于训练的视频片段的TH3训练值的平均值作为过渡段判别阈值的建议值。

Images