CN103092930A

CN103092930A - 视频摘要生成方法和视频摘要生成装置

Info

Publication number: CN103092930A
Application number: CN2012105928597A
Authority: CN
Inventors: 王海峰
Original assignee: XINZHENG ELECTRONIC TECHNOLOGY (BEIJING) Co Ltd
Priority date: 2012-12-30
Filing date: 2012-12-30
Publication date: 2013-05-08
Anticipated expiration: 2032-12-30
Also published as: CN103092930B

Abstract

本发明提出一种视频摘要生成方法和视频摘要生成装置。该视频摘要生成方法包括：对原始视频中的目标帧图像进行背景建模，得到背景模型；利用背景模型提取出目标帧图像中的运动目标；使用预设的分类器判断提取到的运动目标中是否包括人脸图像；将包括人脸图像的运动目标进行轨迹排列，生成摘要。从而完整准确地生成符合用户需求的视频摘要，通过人脸检测和视频摘要相结合，生成包含人脸图像的移动目标的视频摘要。使用户可以从视频摘要中迅速地得到包含人脸的视频信息，提高了视频的使用效率。

Description

视频摘要生成方法和视频摘要生成装置

技术领域

本发明涉及图像识别领域，具体而言，涉及一种视频摘要生成方法和视频摘要生成装置

背景技术

视频摘要又称为视频浓缩，是对视频内容的概括，以自动或半自动方式，通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合。随着视频技术的发展，视频摘要在视频分析和基于内容的视频检索中的作用愈加重要。

在社会公共安全领域，视频监控***成为维护社会治安，加强社会管理的一个重要组成部分。然而视频录像存在存储数据量大，存储时间长等特点，通过录像寻找线索，获取证据传统的做法是要耗费大量人力、物力以及时间，效率极其低下，以至于错过最佳破案时机。

但是在现有技术中包含人脸的移动目标的视频摘要生成方法，使视频摘要在视频监控领领域的应用受到限制，用户很难在海量的视频监控录像中快速准确地找到包含有人脸线索的图像。

针对现有技术中无法针对包含人脸图像的移动目标进行视频摘要生成以满足视频监控需要的问题，目前尚未提出有效的解决方案。

发明内容

本发明提出一种视频摘要生成方法和视频摘要生成装置，以解决现有技术中，先对要处理的视频进行高斯背景建模，提取出运动的目标轨迹，对检测到的物体进行人脸检测，对检测到有人脸出现的轨迹生成视频摘要，以解决现有技术中无法针对包含人脸图像的移动目标进行视频摘要生成以满足视频监控需要的问题。

本发明解决其技术问题所采用的技术方案是：

根据本发明的一个方面，提供了一种视频摘要生成方法。该视频摘要生成方法包括：对原始视频中的目标帧图像进行背景建模，得到背景模型；利用背景模型提取出目标帧图像中的运动目标；使用预设的分类器判断提取到的运动目标中是否包括人脸图像；将包括人脸图像的运动目标进行轨迹排列，生成摘要。

进一步地，对原始视频中的目标帧的图像进行背景建模包括：使用混合高斯背景算法对目标帧的图像进行计算，得到目标帧图像的混合高斯模型。

进一步地，使用预设的分类器判断提取到的运动目标中是否包括人脸图像包括：使用预设的由Adaboost算法和harr特征训练出人脸检测模型对提取到的运动目标进行人脸图像检测，并根据检测结果判断提取到的运动目标中是否包括人脸图像。

进一步地，在使用预设的分类器判断提取到的运动目标中是否包括人脸图像之后还包括：将目标帧图像中包含人脸图像的运动目标与目标帧之前一帧图像中包含人脸图像的运动目标进行轨迹跟踪，得到包含人脸图像的运动目标的运动轨迹。

进一步地，将目标帧图像中包含人脸图像的运动目标与目标帧之前一帧图像中包含人脸图像的运动目标进行轨迹跟踪包括：计算目标帧图像中包含人脸图像的运动目标与目标帧之前一帧图像中包含人脸图像的运动目标的交叉面积；判断交叉面积是否大于预设面积值；当交叉面积大于预设面积值时，根据目标帧图像中包含人脸图像的运动目标在图像上的位置更新运动轨迹；当交叉面积小于或等于预设面积时，按照目标帧图像中包含人脸图像的运动目标在图像上的位置生成新的运动轨迹。

进一步地，将包括人脸图像的运动目标进行轨迹排列包括：按照包含人脸图像的运动目标的运动轨迹出现的时间关系和空间位置对该运动轨迹进行排列；将排列后的运动轨迹叠加到背景图像上。

根据本发明的另一个方面提供了一种视频摘要生成装置。该视频摘要生成装置包括：背景建模模块，用于对原始视频中的目标帧图像进行背景建模，得到背景模型；运动目标提取模块，用于利用背景模型提取出目标帧图像中的运动目标；人脸辨别模块，用于使用预设的分类器判断提取到的运动目标中是否包括人脸图像；摘要生成模块，用于将包括人脸图像的运动目标进行轨迹排列，生成摘要。

进一步地，背景建模模块还用于：使用混合高斯背景算法对目标帧的图像进行计算，得到目标帧图像的混合高斯模型。

进一步地，人脸辨别模块还用于：使用预设的由Adaboost算法和harr特征训练出人脸检测模型对提取到的运动目标进行人脸图像检测，并根据检测结果判断提取到的运动目标中是否包括人脸图像。

进一步地，该视频摘要生成装置还包括：轨迹跟踪模块，用于将目标帧图像中包含人脸图像的运动目标与目标帧之前一帧图像中包含人脸图像的运动目标进行轨迹跟踪，得到包含人脸图像的运动目标的运动轨迹。

应用本发明的技术方案，本发明的技术方案在图像中提取出移动目标之后，利用预设的分类器判断提取得到的前景即移动目标是否包含人脸图像，对包含人脸的移动目标生成视频摘要，并去除检测不到人脸的轨迹。从而完整准确地生成符合用户需求的视频摘要，通过人脸检测和视频摘要相结合，生成包含人脸图像的移动目标的视频摘要。使用户可以从视频摘要中迅速地得到包含人脸的视频信息，提高了视频的使用效率。

附图说明

图1是根据本发明实施例的视频摘要生成装置的示意图；

图2是根据本发明实施例的视频摘要生成方法的示意图；

图3是根据本发明实施例的视频摘要生成方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明实施例提供了一种视频摘要生成装置，图1是根据本发明实施例的视频摘要生成装置的示意图，如图1所示，该生成装置包括：背景建模模块11，用于对原始视频中的目标帧图像进行背景建模以得到背景模型；运动目标提取模块13，用于利用背景模型提取出目标帧图像中的运动目标；人脸辨别模块15，用于使用预设的分类器判断提取到的运动目标中是否包括人脸图像；摘要生成模块17，用于将包括人脸图像的运动目标进行轨迹排列，生成摘要。

利用本实施例的视频摘要生成装置，在建立背景模型后，利用预设的分类器判断提取得到的前景即移动目标是否包含人脸图像，对包含人脸的移动目标生成视频摘要，并去除检测不到人脸的轨迹。从而完整准确地生成符合用户需求的视频摘要，通过人脸检测和视频摘要相结合，生成包含人脸图像的移动目标的视频摘要。使用户可以从视频摘要中迅速地得到包含人脸的视频信息，提高了视频的使用效率。

以上背景建模模块11可以使用各种图像背景建模算法，在建立背景模型后，将当前的图像与背景模型进行比较，根据比较结果确定前景目标（即需要提取的运动目标）。具体地图像背景建模算法可以选择采用颜色背景模型或者纹理背景模型，其中，颜色背景模型是对图像中每个像素的颜色值（包括灰度或彩色）进行建模。如果当前图像坐标(x，y)上的像素颜色值与背景模型中(x，y)上的像素颜色值有较大差异时，当前像素被认为是前景，否则为背景。

本实例的视频摘要生成装置的背景建模模块11可以优选使用颜色背景模型中的混合高斯背景算法，混合高斯背景模型（Gaussian Mixture Model）在单高斯背景模型的基础上进行了改进中，通过多个高斯概率密度函数的加权平均来平滑地近似任意形状的密度分布函数，尤其适用于对于室外环境的图像进行处理，背景建模模块11利用混合高斯背景算法的特点，可以将室外环境下视频中的运动目标快速准确地进行识别。

背景建模模块11进行背景建模时，可以对目标帧图像中的光照和阴影进行相应的滤波处理，以避免光照和阴影被误认为运动目标，影响视频摘要的生成。

在使用混合高斯背景算法的情况下，背景建模模块11还可以用于：使用混合高斯背景算法对目标帧的图像进行计算，得到目标帧图像的混合高斯模型。

人脸辨别模块15可以使用预设的由Adaboost算法和harr特征训练出人脸检测模型对提取到的运动目标进行人脸图像检测，Adaboost算法是具有自适应的boosting算法,是boosting的有力改进。该算法将大量的分类能力一般的弱分类器通过一定方法叠加起来,构成一个具有很强分类能力的强分类器。理论证明,只要每个弱分类器分类能力比随机猜测要好,当弱分类器的个数趋向于无穷时,强分类器的错误率将趋于零。由于候选区域中人脸的方向大致是正向的,同时,为了保证人脸检测器的速度，选取的特征优选为Haar特征。Haar特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。在确定了特征形式后Harr特征的数量就取决于训练样本图像矩阵的大小，特征模板在子窗口内任意放置，一种形态称为一种特征，找出所有子窗口的特征是进行Adaboost弱分类训练的基础。利用Adaboost算法和harr特征结合的人脸检测技术，检测准确可靠。

在本实施例中，人脸辨别模块15使用预设的由Adaboost算法和harr特征训练出人脸检测模型对提取到的运动目标进行人脸图像检测，并根据检测结果判断提取到的运动目标中是否包括人脸图像。

本实施例的视频摘要生成装置还可以包括轨迹跟踪模块，对每帧检测到的移动目标进行跟踪，跟踪方法可以采用最邻近方法，具体步骤可以是：将目标帧图像中包含人脸图像的运动目标与目标帧之前一帧图像中包含人脸图像的运动目标进行轨迹跟踪，得到包含人脸图像的运动目标的运动轨迹。

其中，轨迹跟踪可以包括轨迹关联、轨迹生成、和轨迹消失等几个步骤的判断。具体的判别方法为：计算目标帧图像中包含人脸图像的运动目标与目标帧之前一帧图像中包含人脸图像的运动目标的交叉面积；判断交叉面积是否大于预设面积值；当交叉面积大于预设面积值时，根据目标帧图像中包含人脸图像的运动目标在图像上的位置更新运动轨迹；当交叉面积小于或等于预设面积时，按照目标帧图像中包含人脸图像的运动目标在图像上的位置生成新的运动轨迹。。重复以上步骤，直至遍历当前帧中所有的包含人脸的运动目标。

假设目标帧之前一帧的运动目标的面积为S_pre，目标帧图像的运动目标的面积为S_temp，上述预设面积值可以设置为min(S_pre,S_temp)×R，那么当上述的交叉面积S_cross满足：S_cross>min(S_pre,S_temp)×R的条件时，可以判定目标帧图像的运动目标与目标帧之前一帧的运动目标的轨迹相关联，根据目标帧图像的运动目标在图像上的位置更新此运动轨迹。在上式中R为交叉比例，可以按照经验值进行取值，一般取值为0.4。

上述的交叉面积S_cross的计算方法为S_cross=Width_cross×Height_cross，其中，

Width_cross=min(right_pre,right_temp)-max(left_pre,left_temp)，right_pre是之前一帧运动目标在图像坐标中横坐标的最大值，代表了运动目标在之前一帧图像中的最右的位置；left_pre是之前一帧运动目标在图像坐标中横坐标的最小值，代表了运动目标在之前一帧图像中的最左的位置；s是目标帧中运动目标在图像坐标中横坐标的最大值，代表了运动目标在目标帧图像中的最右位置；left_temp是目标帧中运动目标在图像坐标中横坐标的最小值，代表了运动目标在目标帧图像中的最左位置。因此min(right_pre,right_temp)是right_pre和right_temp中较小的一个值，max(left_pre,left_temp)是left_pre和left_temp中较大的一个值。

Height_cross=min(Top_pre,Top_temp)-max(Bottom_pre,Bottom_temp)，Bottom_pre是之前一帧运动目标在图像坐标中纵坐标的最小值，代表了运动目标在前一帧图像中的底部位置；Top_pre是之前一帧运动目标在图像坐标中纵坐标的最大值，代表了运动目标在前一帧图像中的顶部位置；Top_temp是目标帧中运动目标在图像坐标中纵坐标的最大值，代表了运动目标在目标帧图像中的底部位置；Top_pre是目标帧中运动目标在图像坐标中纵坐标的最小值，代表了运动目标在目标帧图像中的顶部位置。因此min(Top_pre,Top_temp)是Top_pre和Top_temp中较小的一个值，max(Bottom_pre,Bottom_temp)是Bottom_pre和Bottom_temp中较大的一个值。

当交叉面积小于或等于预设面积时即S_cross≤min(S_pre,S_temp)×R，按照目标帧图像的运动目标在图像上的位置生成新的运动轨迹，并判断之前的运动轨迹消失。

当交叉面积小于或等于预设面积时即S_cross≤min(S_pre,S_temp)×R，按照目标帧图像的运动目标在图像上的位置生成新的运动轨迹，并判断之前的运动轨迹消失。以上步骤都是针对包含人脸图像的运动目标，对于不包含人脸的运动轨迹可以不予处理，自动去除。

摘要生成模块17的流程具体可以包括：按照包含人脸图像的运动目标的运动轨迹出现的时间关系和空间位置对该运动轨迹进行排列；将排列后的运动轨迹叠加到背景图像上，从而生成了包含人脸图像的视频摘要。

本发明实施例还提供了一种视频摘要生成方法，该视频摘要生成方法可以通过本发明上述实施例所提供的任一种视频摘要生成装置来执行，图2是根据本发明实施例的视频摘要生成方法的示意图，该视频摘要生成方法，包括：

步骤S21，对原始视频中的目标帧图像进行背景建模，得到背景模型；

步骤S23，利用背景模型提取出目标帧图像中的运动目标；

步骤S25，使用预设的分类器判断提取到的运动目标中是否包括人脸图像；

步骤S27，将包括人脸图像的运动目标进行轨迹排列，生成摘要。

其中，步骤S21具体可以包括：使用混合高斯背景算法对目标帧的图像进行计算，得到目标帧图像的混合高斯模型。步骤S21利用了混合高斯背景算法的特点，通过多个高斯概率密度函数的加权平均来平滑地近似任意形状的密度分布函数，适用于对于室外环境的图像进行处理，可以将室外环境下视频中的运动目标快速准确地进行识别。

步骤S25具体可以包括：使用预设的由Adaboost算法和harr特征训练出人脸检测模型对提取到的运动目标进行人脸图像检测，并根据检测结果判断提取到的运动目标中是否包括人脸图像。利用Adaboost算法和harr特征结合的人脸检测技术，检测准确可靠。

本实施例的视频摘要生成方法，在步骤S23之后还可以包括：将目标帧图像中包含人脸图像的运动目标与目标帧之前一帧图像中包含人脸图像的运动目标进行轨迹跟踪，得到包含人脸图像的运动目标的运动轨迹。具体地流程为：将目标帧图像中包含人脸图像的运动目标与目标帧之前一帧图像中包含人脸图像的运动目标进行轨迹跟踪包括：计算目标帧图像中包含人脸图像的运动目标与目标帧之前一帧图像中包含人脸图像的运动目标的交叉面积；判断交叉面积是否大于预设面积值；当交叉面积大于预设面积值时，根据目标帧图像中包含人脸图像的运动目标在图像上的位置更新运动轨迹；当交叉面积小于或等于预设面积时，按照目标帧图像中包含人脸图像的运动目标在图像上的位置生成新的运动轨迹。具体的计算方法在介绍视频摘要生成装置已经介绍过，在此不再重复。

步骤S27具体可以包括：按照包含人脸图像的运动目标的运动轨迹出现的时间关系和空间位置对该运动轨迹进行排列；将排列后的运动轨迹叠加到背景图像上。

本实施例的视频摘要生成方法，在用户关心在视频中出现的正面的能看清人脸的场合下，可以能够快速的浏览视频中出现的人物移动目标。首先进行背景建模，检测运动的前景，对物体进行跟踪，获得物体的轨迹，然后对运动的轨迹进行人脸检测，剔除没有检测到人脸的轨迹，保存检测到人脸的轨迹，然后分别对保存下来的有人脸的轨迹进行排列，生成摘要。也就是主要分为：前景检测、目标跟踪、人脸检测、摘要生成几个步骤。图3是根据本发明实施例的视频摘要生成方法的流程图，如图所示：

前景检测的步骤主要包括：利用混合高斯对图像进行背景建模，提取运动的前景，计算过程要对光照和阴影进行相应的处理。利用混合高斯对图像进行背景建模，提取运动的前景，其中可以根据视频场景选择混合高斯函数所采用的数目，对于阴影或光照可以单独训练一个高斯模型。

目标跟踪的步骤主要包括：对每帧检测到的目标进行跟踪，跟踪方法可以采用简单的最邻近方法，并且存储轨迹和背景图。若当前帧的某个前景与上一帧存储的轨迹关联上，则更新轨迹，若轨迹没有关联上，则产生新的轨迹，若有没有和当前帧检测的前景关联上的轨迹，则终止该轨迹进行下次操作，将轨迹存储下来，用于后续生成视频摘要。

人脸检测的步骤主要包括：利用级联adaboost学习算法与haar特征相结合，训练出人脸检测器，对运动的轨迹进行人脸检测,保存检测到人脸的移动轨迹，去除检测不到人脸的轨迹。

摘要生成的步骤主要包括：根据提取出的存储的背景图以及包含人脸图像的运动目标的轨迹,按照轨迹出现的时间关系和空间关系对轨迹进行排列,然后将运动的目标轨迹叠加到存储的背景图上,生成摘要。从而利用提取出的所有运动目标的轨迹信息和存储的背景，按一定规则排序，然后将人脸移动目标的轨迹叠加到背景上，生成视频摘要。

应用本发明的技术方案，本发明的技术方案在图像中提取出移动目标之后，利用预设的分类器判断提取得到的前景即移动目标是否包含人脸图像，对包含人脸的移动目标生成视频摘要，并去除检测不到人脸的轨迹。从而完整准确地生成符合用户需求的视频摘要，通过人脸检测和视频摘要相结合，生成包含人脸图像的移动目标的视频摘要。使用户可以从视频摘要中迅速地得到包含人脸的视频信息，提高了视频的使用效率。本发明不受光照变化和摄像头角度、距离的影响，能够较准确的再识别出视频中人体信息。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种视频摘要生成方法，其特征在于，包括：

对原始视频中的目标帧图像进行背景建模，得到背景模型；

利用所述背景模型提取出所述目标帧图像中的运动目标；

使用预设的分类器判断提取到的运动目标中是否包括人脸图像；

将包括人脸图像的运动目标进行轨迹排列，生成摘要。

2.根据权利要求1所述的视频摘要生成方法，其特征在于，对原始视频中的目标帧的图像进行背景建模包括：

使用混合高斯背景算法对所述目标帧的图像进行计算，得到所述目标帧图像的混合高斯模型。

3.根据权利要求1所述的视频摘要生成方法，其特征在于，使用预设的分类器判断提取到的运动目标中是否包括人脸图像包括：

使用预设的由Adaboost算法和harr特征训练出人脸检测模型对提取到的运动目标进行人脸图像检测，并根据检测结果判断提取到的运动目标中是否包括人脸图像。

4.根据权利要求1所述的视频摘要生成方法，其特征在于，在使用预设的分类器判断提取到的运动目标中是否包括人脸图像之后还包括：

将所述目标帧图像中包含人脸图像的运动目标与所述目标帧之前一帧图像中包含人脸图像的运动目标进行轨迹跟踪，得到包含人脸图像的运动目标的运动轨迹。

5.根据权利要求4所述的视频摘要生成方法，其特征在于，将所述目标帧图像中包含人脸图像的运动目标与所述目标帧之前一帧图像中包含人脸图像的运动目标进行轨迹跟踪包括：

计算所述目标帧图像中包含人脸图像的运动目标与所述目标帧之前一帧图像中包含人脸图像的运动目标的交叉面积；

判断所述交叉面积是否大于预设面积值；

当所述交叉面积大于预设面积值时，根据所述目标帧图像中包含人脸图像的运动目标在图像上的位置更新运动轨迹；

当所述交叉面积小于或等于预设面积时，按照所述目标帧图像中包含人脸图像的运动目标在图像上的位置生成新的运动轨迹。

6.根据权利要求5所述的视频摘要生成方法，其特征在于，将包括人脸图像的运动目标进行轨迹排列包括：

按照包含人脸图像的运动目标的运动轨迹出现的时间关系和空间位置对该运动轨迹进行排列；

将排列后的运动轨迹叠加到背景图像上。

7.一种视频摘要生成装置，其特征在于，包括：

背景建模模块，用于对原始视频中的目标帧图像进行背景建模，得到背景模型；

运动目标提取模块，用于利用所述背景模型提取出所述目标帧图像中的运动目标；

人脸辨别模块，用于使用预设的分类器判断提取到的运动目标中是否包括人脸图像；

摘要生成模块，用于将包括人脸图像的运动目标进行轨迹排列，生成摘要。

8.根据权利要求7所述的视频摘要生成装置，其特征在于，所述背景建模模块还用于：使用混合高斯背景算法对所述目标帧的图像进行计算，得到所述目标帧图像的混合高斯模型。

9.根据权利要求7所述的视频摘要生成装置，其特征在于，人脸辨别模块还用于：使用预设的由Adaboost算法和harr特征训练出人脸检测模型对提取到的运动目标进行人脸图像检测，并根据检测结果判断提取到的运动目标中是否包括人脸图像。

10.根据权利要求7所述的视频摘要生成装置，其特征在于，还包括：

轨迹跟踪模块，用于将所述目标帧图像中包含人脸图像的运动目标与所述目标帧之前一帧图像中包含人脸图像的运动目标进行轨迹跟踪，得到包含人脸图像的运动目标的运动轨迹。