CN105187801A - 一种摘要视频的生成***及方法 - Google Patents

一种摘要视频的生成***及方法 Download PDF

Info

Publication number
CN105187801A
CN105187801A CN201510600278.7A CN201510600278A CN105187801A CN 105187801 A CN105187801 A CN 105187801A CN 201510600278 A CN201510600278 A CN 201510600278A CN 105187801 A CN105187801 A CN 105187801A
Authority
CN
China
Prior art keywords
module
background
video
sigma
moving objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510600278.7A
Other languages
English (en)
Other versions
CN105187801B (zh
Inventor
蔡晓东
陈超村
王丽娟
吕璐
刘馨婷
宋宗涛
王迪
甘凯今
杨超
赵勤鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Original Assignee
GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd filed Critical GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Priority to CN201510600278.7A priority Critical patent/CN105187801B/zh
Publication of CN105187801A publication Critical patent/CN105187801A/zh
Application granted granted Critical
Publication of CN105187801B publication Critical patent/CN105187801B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种摘要视频的生成***及方法,其***包括检测识别跟踪提取模块、组合优化模块、视频帧背景模块、轨迹背景粘贴模块、摘要视频模块;检测识别跟踪提取模块检测识别运动目标区域内的运动对象,对检测识别的运动对象进行跟踪和运动轨迹提取;组合优化模块对提取的运动轨迹进行组合优化;视频帧背景模块对运动目标区域内的视频背景进行动态更新;轨迹背景粘贴模块根据组合优化后的运动轨迹将运动对象与更新后的视频背景进行匹配粘贴融合,生成摘要视频帧;摘要视频模块根据摘要视频帧生成摘要视频。相对现有技术,本发明比原始视频短的摘要视频,保留了原始视频中大多数运动对象的信息,便于快速浏览,且处理效率高。

Description

一种摘要视频的生成***及方法
技术领域
本发明涉及视频图像处理领域,尤其涉及一种摘要视频的生成***及方法。
背景技术
随着监控技术和网络技术的飞速发展,高清网络监控摄像头广泛应用于各个行业。这些高清摄像头全天候工作,产生了海量的监控视频数据,但是,由于监控人力资源和时间资源的局限性常常导致一些海量视频数据从未被处理。如何快速完整的浏览长时间的监控视频已经成为监控行业目前亟待解决的问题;摘要视频就是解决“海量视频数据处理”的重要手段。然而,传统的基于关键帧的摘要视频生成方法采用帧采样无法完整表示每个对象的运动轨迹而导致了大量有用视频信息的丢失。
发明内容
本发明所要解决的技术问题是提供一种比原始视频短的摘要视频,保留了原始视频中大多数运动对象的信息,便于快速浏览,且处理效率高的摘要视频的生成***及方法。
本发明解决上述技术问题的技术方案如下:一种摘要视频的生成***,包括检测识别跟踪提取模块、组合优化模块、视频帧背景模块、轨迹背景粘贴模块、摘要视频模块;
所述检测识别跟踪提取模块,用于检测识别运动目标区域内的运动对象,对检测识别的运动对象进行跟踪和运动轨迹提取;
所述组合优化模块,用于对提取的运动轨迹进行组合优化;
所述视频帧背景模块,用于对运动目标区域内的视频背景进行动态更新;
所述轨迹背景粘贴模块,用于根据组合优化后的运动轨迹将运动对象与更新后的视频背景进行匹配粘贴融合,生成摘要视频帧;
所述摘要视频模块,用于根据摘要视频帧生成摘要视频。
本发明的有益效果是:通过检测识别跟踪提取模块、组合优化模块、视频帧背景模块、轨迹背景粘贴模块和摘要视频模块协调运作,生成比原始视频短的摘要视频,保留了原始视频中大多数运动对象的信息,便于快速浏览,且处理效率高。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述检测识别跟踪提取模块通过建立级别自适应模型对运动目标区域内的运动对象进行识别;所述级别自适应模型以大车车头和小车车身图像的HOG(HistogramofGradient,指方向梯度直方图)特征作为描述特征,并结合线性SVM(SupportVectorMachine,指支持向量机)全特征训练分类方法进行车辆车型的检测识别,同时,在HOG特征提取之前由GMM(GaussianMixtureModel,指高斯混合模型)粗略提取目标车辆区域。
采用上述进一步方案的有益效果是:建立了级别自适应模型,保证了人和车分开浏览的需求基础上,检测的准确度和速度均有了较大的提升,并且兼顾了应对场景变化的鲁棒性,减小运算量,提高了精度。
进一步,所述SVM全特征训练分类方法具体为:
对于线性两类可分来讲,要找到一个超平面,即线性分类器,使得所有的训练样本都能被正确分类,即满足:
y i [ w T x i + b ] > 0 , ∀ i = 1 , ... , n
其中
yi表示赋予输入数据的类别标签,xi表示第i个输入HOG特征向量;
由于超平面的不唯一性,通过二次规划的方法求解出最优超平面;
w * = Σ i = 1 n α i y i x i b * = y i - w * T x i
其中,αi表示固定的拉格朗日乘子,w*表示最优超平面的法向量,b*表示最优超平面的偏移量。
进一步,所述检测识别跟踪提取模块通过多摄像机目标跟踪方法进行运动对象跟踪,所述多摄像机目标跟踪方法具体为:
p x 1 c a m A / t ( x , y ) = H c a m B - c a m A × F o o t A c a m B / t ( x , y ) p x 2 c a m A / t ( x , y ) = H c a m B - c a m A × F o o t B c a m B / t ( x , y )
p x 1 c a m A / t ( x , y ) ∈ A r e a ( x ) p x 2 c a m A / t ( x , y ) ∈ A r e a ( x )
其中表示t时刻,目标A的最低点坐标在camB中的坐标位置,HcamB-camA是camB到camA场景的仿射投影矩阵,表示t时刻camA中任一点的坐标,Area(x)为目标所占地区域范围。
采用上述进一步方案的有益效果是:多摄像机目标跟踪方法解决目标发生遮挡或分离后跟踪失败的问题,具有更高的鲁棒性;消除了时空混乱的情况同一个目标在一个摘要视频画面中出现多个的情况。
进一步,所述视频帧背景模块的视频背景动态更新具体为:在一视频帧的各个运动对象轨迹对视频背景进行投票,选出所有运动对象轨迹在原始视频环境下的背景。
进一步,所述轨迹背景粘贴模块将更新后的视频背景与运动轨迹团块背景进行高斯分布的像素融合算法处理。
进一步,所述高斯分布的图像像素融合算法具体为:
F(m,n)=ω1PMV(m,n)+ω2PBG(m,n)
上式中,PMV(m,n)和PBG(m,n)分别为摘要视频帧中的每一个运动对象MV和摘要帧背景的图像BG的像素值;m和n分别为图像中像素的行号和列号,且m=1,2,…,M,n=1,2,…,N;w1、w2为加权系数,且w1+w2=1;
Corr ( B G , M V ) = Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] [ P B G ( m , n ) - P B G ‾ ] Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] 2 Σ m = 1 M Σ n = 1 N [ P B G ( m , n ) - P B G ‾ ] 2
式中Corr为MV和BG两幅源图像的相关系数,为源图像MV的像素平均值,为源图像BG的像素平均值;
ω 1 = 1 2 ( 1 - | C o r r | ) ω 2 = 1 - ω 1
G ( x , y ) = 1 2 πσ 2 e - ( x - x c ) 2 + ( y - y c ) 2 2 σ 2
其中,σ为正态分布的标准差,(xc,yc)为高斯函数分布的质心。
采用上述进一步方案的有益效果是:高斯分布的图像像素融合算法能消除拼接痕迹,实现摘要视频背景和跟踪的运动轨迹的无缝融合;保留原图像的信息,消除虚假信息,得到稳定可靠的融合效果。
一种摘要视频的生成方法,包括以下步骤:
步骤S1.检测识别运动目标区域内的运动对象,对检测识别的运动对象进行跟踪和运动轨迹提取;
步骤S2.对提取的运动轨迹进行组合优化;对运动目标区域内的视频背景进行动态更新;
步骤S3.根据组合优化后的运动轨迹将运动对象与更新后的视频背景进行匹配粘贴融合,生成摘要视频帧;
步骤S4.根据摘要视频帧生成摘要视频。
进一步,所述步骤S1中检测识别运动目标区域内的运动对象的具体实现:通过建立级别自适应模型对运动目标区域内的运动对象进行识别;所述级别自适应模型以大车车头和小车车身图像的HOG特征作为描述特征,并结合线性SVM全特征训练分类方法进行车辆车型的检测识别,同时,在HOG特征提取之前由GMM粗略提取目标车辆区域。
进一步,所述步骤S3的具体实现:将更新后的视频背景与运动轨迹团块背景进行高斯分布的像素融合算法处理;所述高斯分布的图像像素融合算法具体为:
F(m,n)=ω1PMV(m,n)+ω2PBG(m,n)
上式中,PMV(m,n)和PBG(m,n)分别为摘要视频帧中的每一个运动对象MV和摘要帧背景的图像BG的像素值;m和n分别为图像中像素的行号和列号,且m=1,2,…,M,n=1,2,…,N;w1、w2为加权系数,且w1+w2=1;
Corr ( B G , M V ) = Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] [ P B G ( m , n ) - P B G ‾ ] Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] 2 Σ m = 1 M Σ n = 1 N [ P B G ( m , n ) - P B G ‾ ] 2
式中Corr为MV和BG两幅源图像的相关系数,为源图像MV的像素平均值,为源图像BG的像素平均值;
ω 1 = 1 2 ( 1 - | C o r r | ) ω 2 = 1 - ω 1
G ( x , y ) = 1 2 πσ 2 e - ( x - x c ) 2 + ( y - y c ) 2 2 σ 2
其中,σ为正态分布的标准差,(xc,yc)为高斯函数分布的质心。
本发明的有益效果是:本发明方法提出了一种基于级别自适应模型的目标检测识别方法,并提出了一种基于事件分析的多摄像机目标跟踪方法,在监控摘要视频生成的过程中,通过投票选出能够反映参与融合的所有运动对象轨迹在原始视频环境下的最佳背景,进行摘要视频背景的动态更新;同时,采用矩形高斯权重分配策略,很好的实现了摘要视频帧背景和运动对象轨迹的无缝像素融合效果。
附图说明
图1为本发明一种摘要视频的生成***的模块框图;
图2为本发明一种摘要视频的生成方法的流程图;
图3为基于级别自适应模型的目标检测算法原理图;
图4为两个摄像机进行目标跟踪算法流程图;
图5为视频空间目标分布图;
图6为视频空间目标规划分布图。
附图中,各标号所代表的部件列表如下:
1、检测识别跟踪提取模块,2、组合优化模块,3、视频帧背景模块,4、轨迹背景粘贴模块,5、摘要视频模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,一种摘要视频的生成***,包括检测识别跟踪提取模块1、组合优化模块2、视频帧背景模块3、轨迹背景粘贴模块4、摘要视频模块5;
所述检测识别跟踪提取模块1,用于检测识别运动目标区域内的运动对象,对检测识别的运动对象进行跟踪和运动轨迹提取;
所述组合优化模块2,用于对提取的运动轨迹进行组合优化;
所述视频帧背景模块3,用于对运动目标区域内的视频背景进行动态更新;
所述轨迹背景粘贴模块4,用于根据组合优化后的运动轨迹将运动对象与更新后的视频背景进行匹配粘贴融合,生成摘要视频帧;
所述摘要视频模块5,用于根据摘要视频帧生成摘要视频。
优选的,所述检测识别跟踪提取模块1通过建立级别自适应模型对运动目标区域内的运动对象进行识别;所述级别自适应模型以大车车头和小车车身图像的HOG特征作为描述特征,并结合线性SVM全特征训练分类方法进行车辆车型的检测识别,同时,在HOG特征提取之前由GMM粗略提取目标车辆区域。
优选的,所述SVM全特征训练分类方法具体为:
对于线性两类可分来讲,要找到一个超平面,即线性分类器,使得所有的训练样本都能被正确分类,即满足:
y i [ w T x i + b ] > 0 , ∀ i = 1 , ... , n
其中
yi表示赋予输入数据的类别标签,xi表示第i个输入HOG特征向量;
由于超平面的不唯一性,通过二次规划的方法求解出最优超平面;
w * = Σ i = 1 n α i y i x i b * = y i - w * T x i
其中,αi表示固定的拉格朗日乘子,w*表示最优超平面的法向量,b*表示最优超平面的偏移量。
优选的,所述检测识别跟踪提取模块1通过多摄像机目标跟踪方法进行运动对象跟踪,所述多摄像机目标跟踪方法具体为:
p x 1 c a m A / t ( x , y ) = H c a m B - c a m A × F o o t A c a m B / t ( x , y ) p x 2 c a m A / t ( x , y ) = H c a m B - c a m A × F o o t B c a m B / t ( x , y )
p x 1 c a m A / t ( x , y ) ∈ A r e a ( x ) p x 2 c a m A / t ( x , y ) ∈ A r e a ( x )
其中表示t时刻,目标A的最低点坐标在camB中的坐标位置,HcamB-camA是camB到camA场景的仿射投影矩阵,表示t时刻camA中任一点的坐标,Area(x)为目标所占地区域范围。
优选的,所述视频帧背景模块3的视频背景动态更新具体为:在一视频帧的各个运动对象轨迹对视频背景进行投票,选出所有运动对象轨迹在原始视频环境下的背景。
优选的,所述轨迹背景粘贴模块4将更新后的视频背景与运动轨迹团块背景进行高斯分布的像素融合算法处理。
优选的,所述高斯分布的图像像素融合算法具体为:
F(m,n)=ω1PMV(m,n)+ω2PBG(m,n)
上式中,PMV(m,n)和PBG(m,n)分别为摘要视频帧中的每一个运动对象MV和摘要帧背景的图像BG的像素值;m和n分别为图像中像素的行号和列号,且m=1,2,…,M,n=1,2,…,N;w1、w2为加权系数,且w1+w2=1;
Corr ( B G , M V ) = Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] [ P B G ( m , n ) - P B G ‾ ] Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] 2 Σ m = 1 M Σ n = 1 N [ P B G ( m , n ) - P B G ‾ ] 2
式中Corr为MV和BG两幅源图像的相关系数,为源图像MV的像素平均值,为源图像BG的像素平均值;
ω 1 = 1 2 ( 1 - | C o r r | ) ω 2 = 1 - ω 1
G ( x , y ) = 1 2 πσ 2 e - ( x - x c ) 2 + ( y - y c ) 2 2 σ 2
其中,σ为正态分布的标准差,(xc,yc)为高斯函数分布的质心。
如图2所示,一种摘要视频的生成方法,包括以下步骤:
步骤S1.检测识别运动目标区域内的运动对象,对检测识别的运动对象进行跟踪和运动轨迹提取;
步骤S2.对提取的运动轨迹进行组合优化;对运动目标区域内的视频背景进行动态更新;
步骤S3.根据组合优化后的运动轨迹将运动对象与更新后的视频背景进行匹配粘贴融合,生成摘要视频帧;
步骤S4.根据摘要视频帧生成摘要视频。
优选的,所述步骤S1中检测识别运动目标区域内的运动对象的具体实现:通过建立级别自适应模型对运动目标区域内的运动对象进行识别;所述级别自适应模型以大车车头和小车车身图像的HOG特征作为描述特征,并结合线性SVM全特征训练分类方法进行车辆车型的检测识别,同时,在HOG特征提取之前由GMM粗略提取目标车辆区域。
优选的,所述步骤S3的具体实现:将更新后的视频背景与运动轨迹团块背景进行高斯分布的像素融合算法处理;所述高斯分布的图像像素融合算法具体为:
F(m,n)=ω1PMV(m,n)+ω2PBG(m,n)
上式中,PMV(m,n)和PBG(m,n)分别为摘要视频帧中的每一个运动对象MV和摘要帧背景的图像BG的像素值;m和n分别为图像中像素的行号和列号,且m=1,2,…,M,n=1,2,…,N;w1、w2为加权系数,且w1+w2=1;
Corr ( B G , M V ) = Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] [ P B G ( m , n ) - P B G ‾ ] Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] 2 Σ m = 1 M Σ n = 1 N [ P B G ( m , n ) - P B G ‾ ] 2
式中Corr为MV和BG两幅源图像的相关系数,为源图像MV的像素平均值,为源图像BG的像素平均值;
ω 1 = 1 2 ( 1 - | C o r r | ) ω 2 = 1 - ω 1
G ( x , y ) = 1 2 πσ 2 e - ( x - x c ) 2 + ( y - y c ) 2 2 σ 2
其中,σ为正态分布的标准差,(xc,yc)为高斯函数分布的质心。
实施例2:
运动对象的轨迹是根据前期运动目标的检测识别和跟踪提取得到的,其中,运动目标检测识别阶段是在高斯背景重建提取运动目标区域之后做的一个目标检测识别,一个分类器将识别一种对象,紧接着是通过改进的模拟退火的轨迹组合优化,使得所有对象的整个轨迹能量最小,最终将会得到人和车分离开来的行人摘要和车辆摘要。
传统的监控摘要视频在进行摘要视频背景的选取时,往往是选择一张对原始视频建立的一个高斯模型。但是,在实际的监控视频场景中,原始视频的背景是变化的,比如,在当前视频帧有一辆静止的车辆,静止物体会被当做背景,随着时间轴的移动,该静止的车辆发生了运动,它就不再是背景。如果选取的是最初车辆静止时的背景,即抽取的该原始视频的背景当做摘要帧背景,这样是无法反映真实的视频监控场景的。基于解决这一问题,本文提出了一种对摘要帧的背景能够动态更新的策略,使得每一个摘要帧的背景都可以是符合对象在原始视频中的运动轨迹的背景。
在对象轨迹和背景直接进行粘贴的情况中,跟踪得到的对象团块和摘要帧的背景不匹配,会有明显的拼接痕迹。基于解决这一问题,本文设计了一种基于高斯分布的轨迹融合策略,达到了运动对象和视频帧背景的无缝拼接效果。
如图3所示的于级别自适应模型的目标检测算法原理图,选择了大车车头和小车车身图像的HOG特征作为描述特征并结合线性SVM全特征训练分类方法进行车辆车型的检测识别,同时,在HOG特征提取之前由GMM(GaussianMixtureModel)粗略提取目标车辆区域,从而建立了级别自适应模型,减小运算量,提高了精度。
如图4所示的目标跟踪算法流程图,该方法适用于多摄像机中两两摄像机进行多目标跟踪的情况。
如图5所示的视频空间目标分布图,横轴表示该目标的起始时间,纵轴表示每一个目标。在摘要视频中间区域很稠密,而在开始和结束都会存在一个稀疏区域,明显没有满足均匀分布,本发明采用基于聚类的线段树方法,来平衡摘要视频中每一帧的运动目标数目,避免目标在某一帧中过于集中,以至于难以将目标不重叠地融合到摘要视频中。采用该方法,还能降可能将起点在相邻区域内的运动目标聚到一类,让其在摘要视频中按时间先后顺序出现在视频流中。好比一个车道上发车的场景,前面车辆先离开,后面车辆不会和前面车辆有重叠像素时候再发车。这样就可以避免运动目标的在摘要视频中不冲突、重叠或者交叉,有效地减少了冲突的概率。
如图6所示的视频空间目标规划分布图,横轴表示该目标的起始时间,纵轴表示每一个目标。与图5不同的是,在总行数一定的情况下,每行都有多个目标。这样可以保证每一帧出现的目标数一致,保证了运动目标在每一帧中的均匀分布,充分利用每一帧的空间,有效地缩短了摘要视频的长度。
表1
如表1所示的传统方法与本文改进方法的对比,在轨迹数目、初始能量和终止能量条件相同的情况下,本文改进的模拟退火方法收敛速度高于传统的模拟退火算法。这是由于本文首先进行了聚类规划分析,使得轨迹的初始分布足够均匀,然后又进行了基于模拟退火的能量最小求解。初始分布的足够均匀大大增快了模拟退火的收敛速度。
针对监控视频的快速浏览与大部分活动信息不丢失问题,结合监控视频本身的特点,提出了一种基于对象轨迹的摘要视频生成技术框架,并实现了该技术框架中的关键技术。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种摘要视频的生成***,其特征在于:包括检测识别跟踪提取模块(1)、组合优化模块(2)、视频帧背景模块(3)、轨迹背景粘贴模块(4)、摘要视频模块(5);
所述检测识别跟踪提取模块(1),用于检测识别运动目标区域内的运动对象,对检测识别的运动对象进行跟踪和运动轨迹提取;
所述组合优化模块(2),用于对提取的运动轨迹进行组合优化;
所述视频帧背景模块(3),用于对运动目标区域内的视频背景进行动态更新;
所述轨迹背景粘贴模块(4),用于根据组合优化后的运动轨迹将运动对象与更新后的视频背景进行匹配粘贴融合,生成摘要视频帧;
所述摘要视频模块(5),用于根据摘要视频帧生成摘要视频。
2.根据权利要求1所述一种摘要视频的生成***,其特征在于:所述检测识别跟踪提取模块(1)通过建立级别自适应模型对运动目标区域内的运动对象进行识别;所述级别自适应模型以大车车头和小车车身图像的HOG特征作为描述特征,并结合线性SVM全特征训练分类方法进行车辆车型的检测识别,同时,在HOG特征提取之前由GMM粗略提取目标车辆区域。
3.根据权利要求2所述一种摘要视频的生成***,其特征在于:所述SVM全特征训练分类方法具体为:对于线性两类可分来讲,要找到一个超平面,即线性分类器,使得所有的训练样本都能被正确分类,即满足:
y i [ w T x i + b ] > 0 , ∀ i = 1 , ... , n
其中
yi表示赋予输入数据的类别标签,xi表示第i个输入HOG特征向量;
由于超平面的不唯一性,通过二次规划的方法求解出最优超平面;
w * = Σ i = 1 n α i y i x i b * = y i - w * T x i
其中,αi表示固定的拉格朗日乘子,w*表示最优超平面的法向量,b*表示最优超平面的偏移量。
4.根据权利要求1所述一种摘要视频的生成***,其特征在于:所述检测识别跟踪提取模块(1)通过多摄像机目标跟踪方法进行运动对象跟踪,所述多摄像机目标跟踪方法具体为:
p x 1 c a m A / t ( x , y ) = H c a m B - c a m A × F o o t A c a m B / t ( x , y ) p x 2 c a m A / t ( x , y ) = H c a m B - c a m A × F o o t B c a m B / t ( x , y )
p x 1 c a m A / t ( x , y ) ∈ A r e a ( x ) p x 2 c a m A / t ( x , y ) ∈ A r e a ( x )
其中表示t时刻目标A的最低点坐标在camB中的坐标位置,HcamB-camA是camB到camA场景的仿射投影矩阵,表示t时刻camA中任一点的坐标,Area(x)为目标所占地区域范围。
5.根据权利要求1所述一种摘要视频的生成***,其特征在于:所述视频帧背景模块(3)的视频背景动态更新具体为:在一视频帧的各个运动对象轨迹对视频背景进行投票,选出所有运动对象轨迹在原始视频环境下的背景。
6.根据权利要求1至5任一项所述一种摘要视频的生成***,其特征在于:所述轨迹背景粘贴模块(4)将更新后的视频背景与运动轨迹团块背景进行高斯分布的像素融合算法处理。
7.根据权利要求6所述一种摘要视频的生成***,其特征在于:所述高斯分布的图像像素融合算法具体为:
F(m,n)=ω1PMV(m,n)+ω2PBG(m,n)
上式中,PMV(m,n)和PBG(m,n)分别为摘要视频帧中的每一个运动对象MV和摘要帧背景的图像BG的像素值;m和n分别为图像中像素的行号和列号,且m=1,2,…,M,n=1,2,…,N;w1、w2为加权系数,且w1+w2=1;
Corr ( B G , M V ) = Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] [ P B G ( m , n ) - P B G ‾ ] Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] 2 Σ m = 1 M Σ n = 1 N [ P B G ( m , n ) - P B G ‾ ] 2
式中Corr为MV和BG两幅源图像的相关系数,源图像MV的像素平均值,为源图像BG的像素平均值;
ω 1 = 1 2 ( 1 - | C o r r | ) ω 2 = 1 - ω 1
G ( x , y ) = 1 2 πσ 2 e - ( x - x c ) 2 + ( y - y c ) 2 2 σ 2
其中,σ为正态分布的标准差,(xc,yc)为高斯函数分布的质心。
8.一种摘要视频的生成方法,其特征在于,包括以下步骤:
步骤S1.检测识别运动目标区域内的运动对象,对检测识别的运动对象进行跟踪和运动轨迹提取;
步骤S2.对提取的运动轨迹进行组合优化;对运动目标区域内的视频背景进行动态更新;
步骤S3.根据组合优化后的运动轨迹将运动对象与更新后的视频背景进行匹配粘贴融合,生成摘要视频帧;
步骤S4.根据摘要视频帧生成摘要视频。
9.根据权利要求8所述一种摘要视频的生成方法,其特征在于,所述步骤S1中检测识别运动目标区域内的运动对象的具体实现:通过建立级别自适应模型对运动目标区域内的运动对象进行识别;所述级别自适应模型以大车车头和小车车身图像的HOG特征作为描述特征,并结合线性SVM全特征训练分类方法进行车辆车型的检测识别,同时,在HOG特征提取之前由GMM粗略提取目标车辆区域。
10.根据权利要求8或9所述一种摘要视频的生成方法,其特征在于,所述步骤S3的具体实现:将更新后的视频背景与运动轨迹团块背景进行高斯分布的像素融合算法处理;所述高斯分布的图像像素融合算法具体为:
F(m,n)=ω1PMV(m,n)+ω2PBG(m,n)
上式中,PMV(m,n)和PBG(m,n)分别为摘要视频帧中的每一个运动对象MV和摘要帧背景的图像BG的像素值;m和n分别为图像中像素的行号和列号,且m=1,2,…,M,n=1,2,…,N;w1、w2为加权系数,且w1+w2=1;
Corr ( B G , M V ) = Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] [ P B G ( m , n ) - P B G ‾ ] Σ m = 1 M Σ n = 1 N [ P M V ( m , n ) - P M V ‾ ] 2 Σ m = 1 M Σ n = 1 N [ P B G ( m , n ) - P B G ‾ ] 2
式中Corr为MV和BG两幅源图像的相关系数,为源图像MV的像素平均值,为源图像BG的像素平均值;
ω 1 = 1 2 ( 1 - | C o r r | ) ω 2 = 1 - ω 1
G ( x , y ) = 1 2 πσ 2 e - ( x - x c ) 2 + ( y - y c ) 2 2 σ 2
其中,σ为正态分布的标准差,(xc,yc)为高斯函数分布的质心。
CN201510600278.7A 2015-09-17 2015-09-17 一种摘要视频的生成***及方法 Expired - Fee Related CN105187801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510600278.7A CN105187801B (zh) 2015-09-17 2015-09-17 一种摘要视频的生成***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510600278.7A CN105187801B (zh) 2015-09-17 2015-09-17 一种摘要视频的生成***及方法

Publications (2)

Publication Number Publication Date
CN105187801A true CN105187801A (zh) 2015-12-23
CN105187801B CN105187801B (zh) 2021-07-27

Family

ID=54909623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510600278.7A Expired - Fee Related CN105187801B (zh) 2015-09-17 2015-09-17 一种摘要视频的生成***及方法

Country Status (1)

Country Link
CN (1) CN105187801B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101487A (zh) * 2016-07-04 2016-11-09 石家庄铁道大学 视频时空运动轨迹提取方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN110166851A (zh) * 2018-08-21 2019-08-23 腾讯科技(深圳)有限公司 一种视频摘要生成方法、装置和存储介质
US20210390713A1 (en) * 2020-06-12 2021-12-16 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for performing motion transfer using a learning model
CN117726821A (zh) * 2024-02-05 2024-03-19 武汉理工大学 一种面向医疗视频中区域遮挡的医护行为识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080269924A1 (en) * 2007-04-30 2008-10-30 Huang Chen-Hsiu Method of summarizing sports video and apparatus thereof
US20120293686A1 (en) * 2011-05-18 2012-11-22 Keith Stoll Karn Video summary including a feature of interest
CN103079117A (zh) * 2012-12-30 2013-05-01 信帧电子技术(北京)有限公司 视频摘要生成方法和视频摘要生成装置
CN103413330A (zh) * 2013-08-30 2013-11-27 中国科学院自动化研究所 一种复杂场景下可靠的视频摘要生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080269924A1 (en) * 2007-04-30 2008-10-30 Huang Chen-Hsiu Method of summarizing sports video and apparatus thereof
US20120293686A1 (en) * 2011-05-18 2012-11-22 Keith Stoll Karn Video summary including a feature of interest
CN103079117A (zh) * 2012-12-30 2013-05-01 信帧电子技术(北京)有限公司 视频摘要生成方法和视频摘要生成装置
CN103413330A (zh) * 2013-08-30 2013-11-27 中国科学院自动化研究所 一种复杂场景下可靠的视频摘要生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
唐铭谦: "基于对象的监控视频摘要算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王雪锋,叶飞: "一种基于HOG与SVM的监控视频车辆识别方法", 《微型机及应用》 *
蔡晓东,吴迪等: "基于事件分析的多摄像机鲁棒跟踪算法", 《电视技术》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101487A (zh) * 2016-07-04 2016-11-09 石家庄铁道大学 视频时空运动轨迹提取方法
CN106101487B (zh) * 2016-07-04 2018-05-08 石家庄铁道大学 视频时空运动轨迹提取方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN108364006B (zh) * 2018-01-17 2022-03-08 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN110166851A (zh) * 2018-08-21 2019-08-23 腾讯科技(深圳)有限公司 一种视频摘要生成方法、装置和存储介质
US20210390713A1 (en) * 2020-06-12 2021-12-16 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for performing motion transfer using a learning model
WO2021248432A1 (en) * 2020-06-12 2021-12-16 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for performing motion transfer using a learning model
US11830204B2 (en) * 2020-06-12 2023-11-28 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for performing motion transfer using a learning model
CN117726821A (zh) * 2024-02-05 2024-03-19 武汉理工大学 一种面向医疗视频中区域遮挡的医护行为识别方法
CN117726821B (zh) * 2024-02-05 2024-05-10 武汉理工大学 一种面向医疗视频中区域遮挡的医护行为识别方法

Also Published As

Publication number Publication date
CN105187801B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
Chen et al. An edge traffic flow detection scheme based on deep learning in an intelligent transportation system
US10699170B2 (en) Apparatuses and methods for semantic image labeling
CN105187801A (zh) 一种摘要视频的生成***及方法
CN101799968B (zh) 基于视频图像智能分析的油井入侵检测方法及装置
Ren et al. A novel squeeze YOLO-based real-time people counting approach
CN105354565A (zh) 基于全卷积网络人脸五官定位与判别的方法及***
Gerke et al. Soccer player recognition using spatial constellation features and jersey number recognition
Zhang et al. Coarse-to-fine object detection in unmanned aerial vehicle imagery using lightweight convolutional neural network and deep motion saliency
CN111161315A (zh) 一种基于图神经网络的多目标跟踪方法和***
KR20230171966A (ko) 이미지 프로세싱 방법 및 장치 및 컴퓨터 판독 가능 저장 매체
Le et al. Toward interactive self-annotation for video object bounding box: Recurrent self-learning and hierarchical annotation based framework
CN107609509A (zh) 一种基于运动显著性区域检测的动作识别方法
CN112927266A (zh) 基于不确定性引导训练的弱监督时域动作定位方法及***
Sachdeva et al. Rank2tell: A multimodal driving dataset for joint importance ranking and reasoning
Gu et al. Embedded and real-time vehicle detection system for challenging on-road scenes
CN114913206A (zh) 一种基于多模态融合的多目标跟踪的方法和***
Hammam et al. Real-time multiple spatiotemporal action localization and prediction approach using deep learning
CN103500456A (zh) 一种基于动态贝叶斯模型网络的对象跟踪方法和设备
Li et al. Self-supervised social relation representation for human group detection
Haggui et al. Centroid human tracking via oriented detection in overhead fisheye sequences
Bewley et al. Background Appearance Modeling with Applications to Visual Object Detection in an Open‐Pit Mine
Nguyen et al. You always look again: Learning to detect the unseen objects
Wang et al. Research on pedestrian detection based on multi-level fine-grained YOLOX algorithm
CN110633641A (zh) 一种智能安防行人检测方法、***、装置及存储介质
Li et al. Multitarget tracking of pedestrians in video sequences based on particle filters

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151223

RJ01 Rejection of invention patent application after publication
CI02 Correction of invention patent application

Correction item: rejection of application for invention after its publication

Correct: Dismiss

False: reject

Number: 11-02

Volume: 37

CI02 Correction of invention patent application
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210727