CN104123396B - 一种基于云电视的足球视频摘要生成方法及装置 - Google Patents

Abstract

本发明提出一种基于云电视的足球视频摘要生成方法及装置，其中方法包括：对足球视频进行实时精彩度分析，确定精彩视频片段，将精彩视频片段上传至云端，形成视频摘要。本发明能够将实时视频摘要与Cloud PVR技术结合起来，减轻网络及云端压力。

Description

一种基于云电视的足球视频摘要生成方法及装置

技术领域

本发明涉及云电视技术领域，尤其涉及一种基于云电视的足球视频摘要生成方法及装置。

背景技术

随着市场对具备个人视频录像(PVR，Personal Video Recorder)功能的智能电视产品的需求逐步增强，对PVR功能的要求也不再是简单的录制和回放，而需要更加有特色的功能。

基于硬盘(HDD)的PVR功能虽受到用户的欢迎，但随着录制视频质量越高，有限的硬盘空间无法录入太多的视频，将云(Cloud)服务与PVR结合起来，则没有这方面的限制，并且Cloud PVR能使得用户通过其他终端自由的观看录制的节目，从而可以带来更好的用户体验。

足球作为世界上最为广泛的体育运动之一，每年都会有数千场各类联赛、杯赛，每场比赛都至少持续90分钟，如果将所有的比赛录制下来，那么这个视频库将会十分的庞大，同时人们大多数情况下只是欣赏相关比赛的精彩片段，因此只存储足球比赛中的精彩片段，可以在满足人们需求的同时，极大的节省存储成本；这种精彩片段称为视频摘要。

但是，现有的视频摘要生成技术没有与Cloud PVR技术结合起来，智能电视的Cloud PVR功能相对简单，未考虑实时的视频摘要生成并存于云端、随时取用、实时分享的应用场景。

发明内容

本发明提供了一种基于云电视的足球视频摘要生成方法，能够将实时视频摘要与Cloud PVR技术结合起来，减轻网络及云端压力。

本发明还提供了一种基于云电视的足球视频摘要生成装置，能够将实时视频摘要与Cloud PVR技术结合起来，减轻网络及云端压力。

本发明的技术方案是这样实现的：

一种基于云电视的足球视频摘要生成方法，包括：对足球视频进行实时精彩度分析，确定精彩视频片段，将精彩视频片段上传至云端，形成视频摘要。

一种基于云电视的足球视频摘要生成装置，包括：

精彩视频识别模块，用于对足球视频进行实时精彩度分析，确定精彩视频片段；

精彩视频上传模块，用于将精彩视频片段上传至云端，形成视频摘要。

可见，本发明提出的基于云电视的足球视频摘要生成方法和装置，实时地确定足球视频的精彩片段，并将确定出的精彩片段上传至云端，形成足球视频的视频摘要，从而减轻了网络及云端压力。

附图说明

图1为本发明生成足球视频摘要的方法实例的整体流程示意图；

图2为本发明实施例一的实现流程图；

图3为本发明提出的基于云电视的足球视频摘要生成装置结构示意图。

具体实施方式

本发明提出一种基于云电视的足球视频摘要生成方法，包括：对足球视频进行实时精彩度分析，确定精彩视频片段，将精彩视频片段上传至云端，形成视频摘要。

本发明实现了足球视频摘要的实时生成，对正在录制的视频流，以帧为单位，进行场地检测、主色提取及区域分割，在画面组(GOP，Group of Pictures)间相似性的基础上进行禁区线判定；并对该视频片段进行音频抽取，使用训练好的支持向量机分类器对音频特征分析，以确定该音频是否为精彩音频段，通过音频及视频精彩度来确定该视频是否为精彩视频片段。

如图1为本发明生成足球视频摘要的方法实例的整体流程示意图。整体流程包括：实时接收视频流、视频精彩度分析、音频精彩度分析、生成视频精彩片段、实时上传云端。

其中，在视频精彩度分析阶段，主要包括以下步骤：

1)足球比赛场地筛选：通过Canny算子提取关键帧的图像边缘，依据特定的规则确定该图像是否为比赛场地图。

2)进行足球比赛场地的主色提取：对关键帧进行低级视觉特征提取，通过创建基于BGR(Blue-Green-Red)颜色空间的二维直方图，取其比重较高的BGR通道色彩值；通过若干关键帧的BGR通道颜色值归并获取该比赛的球场主色信息。

3)比赛场地区域分割：在获取视频主色的基础上，对需要分析的帧进行子块分割，对各个子块进行二维直方图分析获取子块的主色信息，然后与视频主色信息进行对比，若信息一致则认为是比赛场地图；否则认为是额外场景(如观众席或其他镜头)，通过BGR(0,0,0)色对该块进行填充；将处理后的原图进行腐蚀膨胀去噪，然后与原图进行掩码处理，获取最终场地图。

4)基于感知哈希算法来定位GOP之间的相似性：使用感知哈希算法对场地区域分割后的帧序列进行相似性分析，若相似性持续时间在两个GOP以上，则可在此基础上进行禁区线识别。

5)禁区线识别：在场地分割的基础上，使用自适应的Canny算子进行边缘检测，得到边缘明显的二值图形；利用霍夫线性变换拟合图中出现的所有直线，并通过直线与直线之间的线性约束关系来确定图中是否含有禁区线。

通过上述过程，确定视频GOP相似、并且包含禁区线的视频片段为符合视频精彩度的视频片段；之后，对该视频的音频进行精彩度分析，具体方式为：事先收集精彩度高、低不同的音频，进行特征提取，经过训练生产SVM分类器，辅助视频分析生成精彩视频摘要。

进一步地，由于录制的视频为TS流封装格式，为保证生成的视频摘要无卡顿，需进行各个精彩片段的音视频PTS、DTS以及TS层的PCR、CC修正。

基于一边录制一边分析的策略，对实时接收的视频流，依据上述步骤进行精彩度分析，生成视频摘要片段并调用云平台自身的SDK，进行视频摘要的实时上传。

从上述过程可见，本发明降低了足球视频分析的复杂度，实时性高；本发明把Cloud PVR与视频摘要结合起来，把实时生成的摘要传送云端，降低网络及云端压力，有利于用户体验，增加了产品功能，提高了产品竞争力。

以下结合附图，举具体的实施例详细介绍。

实施例一：

本实施例介绍生成足球视频摘要的一个具体示例，如图2为本实施例的实现流程图，对于实时接收的足球视频，执行以下步骤：

步骤201：完成比赛场地的主色提取。包括以下2步：

1)进行足球视频的场地检测

足球视频的主色为足球场地色，在主色提取中，需要对目标帧进行过滤，去掉不符合规则的帧。具体的过滤规则是，使用Canny算法提取图像的边缘信息，将图像划分成N*N块，统计每个小块中的边缘点个数；将块中边缘点个数的阈值T₁设为经验值，设图中边缘点个数小于阈值T₁的比率为R，当R大于阈值T₂时，认为该图含有一定比率的场地图，可进行主色提取；其中T₂为自适应阈值。

2)对检测到的比赛场地进行主色提取

对检测到的比赛场地图，进行降低维度处理，建立二维直方图，在该直方图均衡化的基础上，获取该图的主色信息；通过若干张球场的主色信息汇集筛选，得到该场比赛的球场主色。

步骤202：从当前GOP开始进行视频的相似性分析，如果相似性高，则继续执行步骤203；否则，将下一个GOP作为当前GOP，返回执行本步骤。

具体地，视频相似性分析的目标为GOP中的关键帧及该GOP中的第N(通常为fps/5)个非关键帧，对该非关键帧分析后，后续的B、P帧不进行分析，等待下一个GOP数据的到来。

若当前GOP的关键帧与非关键帧很相似(即汉明距离<＝3)，且与下一个GOP的帧(关键帧及第N个非关键帧)很相似，则认为相似性高。

另外，在进行相似性分析之前，可以将需要分析的帧进行场地区域分割，从而降低计算复杂度。可以依据球场主色进行场地区域分割，具体方式为：

对需要分析的帧进行N*N分割，分割后的子块同样进行BGR二维直方图分析，从而获取各个子块的主色信息；将子块的主色与视频的主色序列信息进行对比，若满足一定的逻辑条件，则认为该子块是比赛场地图，否则认为是干扰信息(指向观众席或其他场景)，使用BGR(0，0，0)对该子块进行填充，减少后续分析的干扰。在区域分割后，进行腐蚀、膨胀去噪，与原图进行掩码处理，便为最终场地图。

步骤203：在第三个GOP的I帧进行Hough线性变换，确定是否有禁区线，如果有，则确定第一个GOP到第三个GOP的片段满足视频精彩度，且该满足视频精彩度的片段将持续到禁区线消失为止；否则，将下一个GOP作为当前GOP，返回执行步骤202。

其中，依据Hough线性变换进行禁区线判定的方式可以为：

对分割好的场地区域图像做平滑处理，腐蚀、膨胀来消除噪声；依赖图像的低级视觉特征建立自适应的Canny边缘算子，得到明显的二值图像；然后基于概率的霍夫变换拟合图中出现的所有直线。由于禁区线在进行场地分割时可能被截断，需对拟合后的直线数据进行归并，并依据禁区线之间的相互约束关系来确定是否为禁区线；禁区线的约束关系具体表现在有两组禁区线平行或近似平行，且斜率满足一定的逻辑关系。

步骤204：对满足视频精彩度的判断进行音频精彩度分析，判断该片段是否满足音频精彩度，如果满足，则确定该片段为精彩视频；否则。将下一个GOP作为当前GOP，返回执行步骤202。

其中，音频精彩度的分析的方式可以为：

预先从准备好的音频库中抽取梅尔倒谱系数(MFCC)、色彩特征(Chroma-basedfeature)、过零率等音频特征，利用支持向量机分类器来进行音频精彩度分析。

步骤205：将精彩视频片段合并成视频摘要，并上传至云端。

具体地，视频摘要由精彩视频片段组成，每个视频片段的起始帧都是关键帧，从第二个视频片段开始修改TS层的CC、PCR及ES层的PTS、DTS信息，对修改后的精彩视频片段调用云平台的SDK进行实时上传。

以上介绍了本发明提出的基于云电视的足球视频摘要生成方法，本发明还提出一种基于云电视的足球视频摘要生成装置，如图3为该装置的结构示意图，包括：

精彩视频识别模块310，用于对足球视频进行实时精彩度分析，确定精彩视频片段；

精彩视频上传模块320，用于将精彩视频片段上传至云端，形成视频摘要。

上述精彩视频识别模块310可以包括：

视频精彩度判断模块311，用于基于边缘算法及边缘点的分布信息进行足球视频的场地检测，确定可以用于球场主色提取的关键帧；对所述可以用于球场主色提取的关键帧依据颜色直方图及多帧信息汇总进行球场主色提取；依据球场主色信息进行场地区域分割；在场地区域分割的基础上，依据感知哈希算法对足球视频的GOP相似性进行分析；在视频GOP相似的基础上，依据Hough线变换及禁区线的线性特征进行禁区线判定，确定符合视频精彩度的视频片段；

音频精彩度判断模块312，用于对于符合视频精彩度的视频片段，判断相应的音频是否符合音频精彩度；如果符合，则确定该视频片段为精彩视频片段。

上述视频精彩度判断模块311基于边缘算法及边缘点的分布信息进行足球视频的场地检测，确定可以用于球场主色提取的关键帧的方式可以为：

使用Canny算子提取关键帧的边缘信息，将关键帧分成N*N块，统计每个块中边缘点的个数，其中，N为预先设定的整数；

当所含边缘点小于预先设定的门限的块占所有块的比率大于预先设定的比率时，判定该关键帧可以用于球场主色提取。

上述视频精彩度判断模块311对可以用于球场主色提取的关键帧依据颜色直方图及多帧信息汇总进行球场主色提取的方式可以为：

对于可以用于球场主色提取的关键帧，创建基于BGR颜色空间的二维直方图，取比重最高的多个BGR颜色值，并记录该颜色所占比重；对多关键帧进行主色提取，归并BGR颜色值及该颜色所占比重；取比重高的多个BRG颜色值作为球场主色。

上述视频精彩度判断模块311依据球场主色信息进行场地区域分割的方式可以为：

对视频帧分成N*N块，其中，N为预先设定的整数；

将各个块进行BGR二维直方图分析，获取各个块的主色信息；将各个块的主色信息分别与视频帧的主色序列信息进行对比；如果满足预先设定的逻辑条件，则判定该块是比赛场地图；否则，判定该块是干扰信息；

使用BGR(0，0，0)对判定为干扰信息的块进行填充。

上述视频精彩度判断模块311在视频GOP相似的基础上，依据Hough线变换及禁区线的线性特征进行禁区线判定的方式可以为：

对分割好的场地区域图像做平滑处理，腐蚀、膨胀来消除噪声；依赖图像的低级视觉特征建立自适应的Canny边缘算子，得到明显的二值图像；基于概率的霍夫变换拟合图中出现的所有直线；对拟合后的直线数据进行归并，并依据禁区线之间的线性约束关系来确定是否为禁区线。

上述音频精彩度判断模块312判断相应的音频是否符合音频精彩度的方式为：

预先保存音频样本库，从音频样本库中抽取音频特征，所述音频特征包括梅尔倒谱系数MFCC、色彩特征及过零率；利用支持向量机分类器进行训练和分类，判定音频是否符合音频精彩度。

综上可见，本发明提出的基于云电视的足球视频摘要生成方法和装置，Cloud PVR与实时视频摘要生成结合起来，减少网络及云端压力。针对足球视频摘要逐帧分析、计算复杂度高的缺点，本发明只对GOP中的关键帧及若干非关键帧进行分析，在有限的信息源中充分的挖掘事件信息，并在提取图像的视觉特征上，通过降维等方式减少计算复杂度。本发明针对正在录制的视频流，以帧为单位，进行场地检测、主色提取及区域分割，在GOP间相似性的基础上进行禁区线判定；并对该视频片段进行音频抽取，使用训练好的支持向量机分类器对音频特征分析，以确定该音频是否为精彩音频段，通过音频及视频精彩度来确定该视频是否为精彩视频片段。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种基于云电视的足球视频摘要生成方法，其特征在于，该方法包括：对足球视频进行实时精彩度分析，确定精彩视频片段，将精彩视频片段上传至云端，形成视频摘要；

其中，所述对足球视频进行实时精彩度分析，确定精彩视频片段的方式为：

基于边缘算法及边缘点的分布信息进行足球视频的场地检测，确定可以用于球场主色提取的关键帧；

对所述可以用于球场主色提取的关键帧依据颜色直方图及多帧信息汇总进行球场主色提取；

依据球场主色信息进行场地区域分割；

在场地区域分割的基础上，依据感知哈希算法对足球视频的画面组GOP相似性进行分析；在视频GOP相似的基础上，依据Hough线变换及禁区线的线性特征进行禁区线判定，确定符合视频精彩度的视频片段；

对于符合视频精彩度的视频片段，判断相应的音频是否符合音频精彩度；如果符合，则确定该视频片段为精彩视频片段。

2.根据权利要求1所述的方法，其特征在于，所述基于边缘算法及边缘点的分布信息进行足球视频的场地检测，确定可以用于球场主色提取的关键帧的方式为：

使用Canny算子提取关键帧的边缘信息，将关键帧分成N*N块，统计每个块中边缘点的个数，其中，N为预先设定的整数；

当所含边缘点小于预先设定的门限的块占所有块的比率大于预先设定的比率时，判定该关键帧可以用于球场主色提取。

3.根据权利要求1所述的方法，其特征在于，所述对可以用于球场主色提取的关键帧依据颜色直方图及多帧信息汇总进行球场主色提取的方式为：

对于可以用于球场主色提取的关键帧，创建基于BGR颜色空间的二维直方图，取比重最高的多个BGR颜色值，并记录该颜色所占比重；对多关键帧进行主色提取，归并BGR颜色值及该颜色所占比重；取比重高的多个BRG颜色值作为球场主色。

4.根据权利要求1所述的方法，其特征在于，所述依据球场主色信息进行场地区域分割的方式为：

对视频帧分成N*N块，其中，N为预先设定的整数；

将各个块进行BGR二维直方图分析，获取各个块的主色信息；将各个块的主色信息分别与视频帧的主色序列信息进行对比；如果满足预先设定的逻辑条件，则判定该块是比赛场地图；否则，判定该块是干扰信息；

使用BGR(0，0，0)对判定为干扰信息的块进行填充。

5.根据权利要求1所述的方法，其特征在于，所述在视频GOP相似的基础上，依据Hough线变换及禁区线的线性特征进行禁区线判定的方式为：

对分割好的场地区域图像做平滑处理，腐蚀、膨胀来消除噪声；依赖图像的低级视觉特征建立自适应的Canny边缘算子，得到明显的二值图像；基于概率的霍夫变换拟合图中出现的所有直线；对拟合后的直线数据进行归并，并依据禁区线之间的线性约束关系来确定是否为禁区线。

6.根据权利要求1所述的方法，其特征在于，所述判断相应的音频是否符合音频精彩度的方式为：

预先保存音频样本库，从音频样本库中抽取音频特征，所述音频特征包括梅尔倒谱系数MFCC、色彩特征及过零率；利用支持向量机分类器进行训练和分类，判定音频是否符合音频精彩度。

7.一种基于云电视的足球视频摘要生成装置，其特征在于，该装置包括：

精彩视频识别模块，用于对足球视频进行实时精彩度分析，确定精彩视频片段；

精彩视频上传模块，用于将精彩视频片段上传至云端，形成视频摘要；

其中，所述精彩视频识别模块包括：

视频精彩度判断模块，用于基于边缘算法及边缘点的分布信息进行足球视频的场地检测，确定可以用于球场主色提取的关键帧；对所述可以用于球场主色提取的关键帧依据颜色直方图及多帧信息汇总进行球场主色提取；依据球场主色信息进行场地区域分割；在场地区域分割的基础上，依据感知哈希算法对足球视频的GOP相似性进行分析；在视频GOP相似的基础上，依据Hough线变换及禁区线的线性特征进行禁区线判定，确定符合视频精彩度的视频片段；

音频精彩度判断模块，用于对于符合视频精彩度的视频片段，判断相应的音频是否符合音频精彩度；如果符合，则确定该视频片段为精彩视频片段。

8.根据权利要求7所述的装置，其特征在于，所述视频精彩度判断模块基于边缘算法及边缘点的分布信息进行足球视频的场地检测，确定可以用于球场主色提取的关键帧的方式为：

使用Canny算子提取关键帧的边缘信息，将关键帧分成N*N块，统计每个块中边缘点的个数，其中，N为预先设定的整数；

当所含边缘点小于预先设定的门限的块占所有块的比率大于预先设定的比率时，判定该关键帧可以用于球场主色提取。

9.根据权利要求7所述的装置，其特征在于，所述视频精彩度判断模块对可以用于球场主色提取的关键帧依据颜色直方图及多帧信息汇总进行球场主色提取的方式为：

对于可以用于球场主色提取的关键帧，创建基于BGR颜色空间的二维直方图，取比重最高的多个BGR颜色值，并记录该颜色所占比重；对多关键帧进行主色提取，归并BGR颜色值及该颜色所占比重；取比重高的多个BRG颜色值作为球场主色。

10.根据权利要求7所述的装置，其特征在于，所述视频精彩度判断模块依据球场主色信息进行场地区域分割的方式为：

对视频帧分成N*N块，其中，N为预先设定的整数；

将各个块进行BGR二维直方图分析，获取各个块的主色信息；将各个块的主色信息分别与视频帧的主色序列信息进行对比；如果满足预先设定的逻辑条件，则判定该块是比赛场地图；否则，判定该块是干扰信息；

使用BGR(0，0，0)对判定为干扰信息的块进行填充。

11.根据权利要求7所述的装置，其特征在于，所述视频精彩度判断模块在视频GOP相似的基础上，依据Hough线变换及禁区线的线性特征进行禁区线判定的方式为：

对分割好的场地区域图像做平滑处理，腐蚀、膨胀来消除噪声；依赖图像的低级视觉特征建立自适应的Canny边缘算子，得到明显的二值图像；基于概率的霍夫变换拟合图中出现的所有直线；对拟合后的直线数据进行归并，并依据禁区线之间的线性约束关系来确定是否为禁区线。

12.根据权利要求7所述的装置，其特征在于，所述音频精彩度判断模块判断相应的音频是否符合音频精彩度的方式为：

预先保存音频样本库，从音频样本库中抽取音频特征，所述音频特征包括梅尔倒谱系数MFCC、色彩特征及过零率；利用支持向量机分类器进行训练和分类，判定音频是否符合音频精彩度。