CN104125430A - 视频运动目标检测方法、装置以及视频监控*** - Google Patents
视频运动目标检测方法、装置以及视频监控*** Download PDFInfo
- Publication number
- CN104125430A CN104125430A CN201310157346.8A CN201310157346A CN104125430A CN 104125430 A CN104125430 A CN 104125430A CN 201310157346 A CN201310157346 A CN 201310157346A CN 104125430 A CN104125430 A CN 104125430A
- Authority
- CN
- China
- Prior art keywords
- candidate
- con
- moving image
- video
- image piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例提供一种视频运动目标检测方法、装置以及视频监控***,其中,方法包括:获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数;根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块;根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测。本发明实施例视频运动目标检测方法及装置,可以兼顾计算量和检测精度。
Description
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种视频运动目标检测方法、装置以及视频监控***。
背景技术
视频运动目标检测是智能视频处理与分析中的一项关键技术,它是后续进行目标跟踪和行为分析的基础,已在视频监控、视频检索和基于视频的人机交互等领域发挥着重要的作用。
随着高清摄像机的普及,大型监控***中的视频量巨大,视频运动目标检测方法中需要处理的数据量大增,现有技术视频运动目标检测的方法较多,主要可以分为以下两类:光流法和运动跟踪法。其中,光流法需要结合光流估算,并联合视频对象的颜色、亮度、边缘等空间聚类特征进行视频分割,为了达到足够的精度,需要的计算量大,且迭代收敛的速度不确定;运动跟踪法的基础是视频的图像帧的特征匹配,通过特征匹配的算法减少了需要处理的数据量,但其精度较低,容易发生漏检和误检。也就是说,现有技术的视频运动目标检测方法难以在计算量和精度之间达到平衡。
发明内容
本发明实施例提供一种视频运动目标检测方法、装置以及视频监控***,以兼顾计算量和检测精度。
第一方面,本发明实施例提供一种视频运动目标检测方法,包括:
获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数;
根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块;
根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测。
在第一方面的第一种可能的实现方式中,所述根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块,包括:
获取各个运动图像块的ICT系数矩阵;
对各个运动图像块的ICT系数矩阵中的直流分量与低频交流分量求和,获取与各个运动图像块对应的平均能量;
确定各个运动图像块中平均能量大于预设值的第一运动图像块,所述第一运动图像块为所述候选运动块。
根据第一方面或第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,包括:
对各个候选运动块的MV在空域进行中值滤波,得到中值滤波后的MV;
采用公式(1)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV模一致性测度Conm:
采用公式(2)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV方向一致性测度Cond:
其中,Tj表示时域上的第j个时序,N表示所取的时序个数, 分别表示Bi在时序Tj上的MVi的幅值和方向角;
根据各个候选运动块的MV模一致性测度Conm和MV方向一致性测度Cond以及MV的模值,确定各个候选运动块是否为目标运动块。
根据第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述根据各个候选运动块的MV模一致性测度Conm和MV方向一致性测度Cond以及MV的模值,确定各个候选运动块是否为目标运动块,包括:
判断第i个候选运动块Bi是否满足公式(3)或公式(4):
其中,α为预设的Conm的阈值,β为预设的Cond的阈值,为预设的权重阈值,所述权重阈值为MV模一致性测度Conm和MV方向一致性测度Cond的函数;
若第i个候选运动块Bi满足公式(3)或公式(4),则第i个候选运动块Bi为目标运动块。
根据第一方面、第一方面的第一种至第三种可能的实现方式中的任意一种,在第四种可能的实现方式中,所述获取待检测视频中运动图像块的运动矢量MV,包括:
获取所述运动图像块的原始运动矢量RMV;
对所述运动图像块的RMV进行预处理,获取运动矢量MV;
其中,所述预处理包括以下处理过程中的至少一个:
对RMV在空间上进行运动图像块尺寸的归一化;
将I类型的运动图像块和P_SKIP类型的运动图像块的RMV设置为无运动矢量;
采用公式(5)对RMV进行时序上的归一化:
其中,为当前帧中的第i个运动图像块,c为当前帧的索引号,r为参考帧的索引号。
根据第一方面、第一方面的第一种至第四种可能的实现方式中的任意一种,在第五种可能的实现方式中,所述获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数之前,还包括:
对待检测视频的压缩码流进行半解码,获得所述运动图像块。
第二方面,本发明实施例提供一种视频运动目标检测装置,包括:
获取模块,用于获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数;
粗筛选模块,用于根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块;
细筛选模块,用于根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测。
在第二方面的第一种可能的实现方式中,所述粗筛选模块,包括:
ICT系数矩阵提取单元,用于获取各个运动图像块的ICT系数矩阵;
平均能量计算单元,用于对各个运动图像块的ICT系数矩阵中的直流分量与低频交流分量求和,获取与各个运动图像块对应的平均能量;
候选运动块确定单元,用于确定各个运动图像块中平均能量大于预设值的第一运动图像块,所述第一运动图像块为所述候选运动块。
第三方面,本发明实施例提供一种视频监控***,包括:前端视频采集设备、处理服务器、存储设备和客户端设备,
其中,所述前端视频采集设备用于在现场采集视频并将所述视频压缩编码成码流以便传输给所述处理服务器;
所述处理服务器与所述前端视频采集设备连接,用于:根据所述前端视频采集设备发送的视频数据,获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数;根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块;根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测;并将所述视频数据存放在所述存储设备上;
所述客户端设备与所述处理服务器连接,用于向所述处理服务器请求视频数据,并显示所述视频数据。
在第三方面的第一种可能的实现方式中,所述处理服务器具体用于:
获取各个运动图像块的ICT系数矩阵;
对各个运动图像块的ICT系数矩阵中的直流分量与低频交流分量求和,获取与各个运动图像块对应的平均能量;
确定各个运动图像块中平均能量大于预设值的第一运动图像块,所述第一运动图像块为所述候选运动块。
根据第三方面或第三方面的第一种可能的实现方式,在第二种可能的实现方式中,所述处理服务器具体用于:
对各个候选运动块的MV在空域进行中值滤波,得到中值滤波后的MV;
采用公式(1)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV模一致性测度Conm:
采用公式(2)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV方向一致性测度Cond:
其中,Tj表示时域上的第j个时序,N表示所取的时序个数,分别表示Bi在时序Tj上的MVi的幅值和方向角;
根据各个候选运动块的MV模一致性测度Conm和MV方向一致性测度Cond以及MV的模值,确定各个候选运动块是否为目标运动块。
根据第三方面的第二种可能的实现方式,在第三种可能的实现方式中,所述处理服务器具体用于:
判断第i个候选运动块Bi是否满足公式(3)或公式(4):
其中,α为预设的Conm的阈值,β为预设的Cond的阈值,为预设的权重阈值,所述权重阈值为MV模一致性测度Conm和MV方向一致性测度Cond的函数;
若第i个候选运动块Bi满足公式(3)或公式(4),则第i个候选运动块Bi为目标运动块。
本发明实施例视频运动目标检测方法、装置以及视频监控***,通过获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数,并分别根据所述ICT系数和所述MV对待检测视频中运动图像块进行两个层次的筛选,通过第一层粒度较粗的筛选除去待检测视频中的背景噪声,使第二层筛选时只需在候选运动块中进行,实现计算量的降低;再通过第二层粒度较细的筛选,更为精确地确定目标运动块,保证了精度;具体地,第一层筛选为根据ICT系数对运动图像块进行筛选,获得候选运动块;第二层筛选为根据候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,实现视频运动目标检测,并兼顾了视频运动目标检测的精度与计算量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明视频运动目标检测方法实施例一的流程图;
图2为本发明视频运动目标检测方法实施例二的流程图;
图3为运动图像块的ICT系数矩阵的示意图;
图4为本发明视频运动目标检测方法实施例三的流程图;
图5为本发明视频运动目标检测装置实施例一的结构示意图;
图6为本发明视频运动目标检测装置实施例二的结构示意图;
图7为本发明视频运动目标检测装置实施例三的结构示意图;
图8为本发明视频运动目标检测装置实施例四的结构示意图;
图9为本发明视频监控***实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
智能视频处理与分析技术的一个重要应用为视频监控***,视频监控***包括前端视频采集设备、处理服务器、存储设备和客户端设备。其中,前端视频采集设备可以为监控摄像机,如网络摄像机、模拟摄像机、数字视频录像机(Digital Video Recorder,简称:DVR)等设备,负责在现场采集视频图像并将该视频图像压缩编码成码流以便网络传输,从而便于远程监控;处理服务器可以为管理服务器、媒体服务器,用于接收从前端视频采集设备的码流并进行处理和分析,并将码流数据或视频数据录制保存在磁盘阵列上,并向客户端设备转发视频码流以供点播播放;存储设备可以为磁盘阵列,存放处理服务器处理后的视频数据;磁盘阵列负责视频数据的存储,可采用网络附属存储(Network Attached Storage,简称:NAS)、存储区域网络(StorageArea Network,简称:SAN)或服务器自身存储;处理服务器还可以包括管理功能,包括负责用户的登录、鉴权、业务调度等功能,这部分功能也可以由独立的管理服务器来实现;客户端设备负责运行客户端软件,连接到处理服务器后,可请求视频数据,并进行解码和显示,供用户查看现场的视频图像。处理服务器可接收多个客户端设备的访问,各***之间通过网络连接,如IP网络。
随着高清摄像机的普及,处理服务器需要处理的视频数据的处理量大增,因此,本发明实施例提供了一种新的视频运动目标检测方法和视频运动目标检测方法装置,并可以将该视频运动目标检测装置设置在处理服务器上,形成一种新的视频监控***,在保证检测精度的前提下减少计算量,提高检测效率。
图1为本发明视频运动目标检测方法实施例一的流程图,如图1所示,本实施例的方法可以包括:
步骤101、获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数。
运动图像块的分割粒度可以为4x4、8x8、8x16、16x16等,所述ICT系数由直流分量和交流分量组成。目前常用的视频编码方式有H.264(一种视频高压缩技术)和MPEG(Moving Picture Experts Group,中文为:运动图像专家组),采用H.264格式的视频具有更多新的特性,例如宏块类型和分割尺寸更多样化,例如可以以最小的分割尺寸将宏块统一分割为4×4的宏块,参考帧数目更多,其压缩的能力更强,但对于常规的运动目标检测方法来说,其检测难度更大。
对于H.264格式的视频,可以对待检测视频进行半解码的码流分析,再从经过半解码的H.264码流中可提取运动图像块原始的运动矢量(RawMotion Vector,简称:RMV)和整数余弦变换(Integer Cosine Transform,简称:ICT)系数。再针对RMV进行预处理,可以获得可供后续处理的运动图像块的运动矢量(Motion Vector,简称:MV)。
步骤102、根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块。
现有技术通常根据MV估计值的大小对运动图像块进行筛选,以获取候选运动块,通常宏块的MV越大,该宏块为目标运动块的可能性越大。但是,若待检测视频为在光线不充足的情况下拍摄得到,例如在夜晚环境下拍摄得到的视频,其图像信息量不足,导致MV估计值不可靠,容易导致漏检或误检。另外,由于视频中的无纹理区域的MV容易出现异常,因此,根据MV估计值进行筛选获得的候选运动块可能为无纹理区域中的伪运动块,这是另一个导致漏检的因素。
本实施例则采用一种新的思路来获取候选运动块。具体地,由于对于H.264格式的视频,其ICT系数能够反映能量值,通常,某个宏块的能量值越高,该宏块为目标运动块的可能性越大。因此,本实施例的步骤102可以根据ICT系数对所述运动图像块进行筛选,将能量值大于预设值的宏块确定为候选运动块。
步骤102根据ICT系数对运动图像块进行筛选的方法,能够通过较为简单的计算过滤掉无纹理区域,而通常在一个视频中,无纹理区域所占的数据量非常大,甚至大于候选运动块所占的数据量,因此,该步骤的方法能够有效地减小计算量,又不影响检测精度。
步骤103、根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测。
具体地,MV的特征信息可以包括:MV的大小,即MV的模,和MV的方向,以及在时域的MV模一致性测度Conm和在时域的MV方向一致性测度Cond,其中,时域的MV模一致性测度Conm用于描述一个宏块在时域上不同的帧之间的MV大小的一致性,时域的MV模一致性测度Cond用于描述一个宏块在时域上不同的帧之间的MV方向的一致性。
运动目标一般是刚性物体,可以认为运动目标的中心部分具有运动一致性,即MV的大小和方向的一致性均较高;运动目标的边缘部分可能存在不同的运动形态,从而导致运动目标的边缘部分的MV的大小及方向与中心部分的MV的大小和方向可能有较大差距,因此我们在空域中可以采用中值滤波的方式抑制MV噪声,既可以保留MV细节,又可以滤除噪声。
而在时域上,由于相邻帧间的时间间隔极短,运动目标可近似为均匀运动,同一宏块的MV的大小和方向具有较高的一致性,因此,可以采用一宏块的在时域的MV模一致性测度Conm和在时域的MV方向一致性测度Cond,与该宏块的MV模值,形成一个可靠性约束条件,根据该可靠性约束条件对候选运动块进行筛选,将满足该可靠性约束条件的宏块确定为目标运动块。
本实施例,通过获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数,并分别根据所述ICT系数和所述MV对待检测视频中运动图像块进行两个层次的筛选,通过第一层粒度较粗的筛选除去待检测视频中的背景噪声,使第二层筛选时只需在候选运动块中进行,实现计算量的降低;再通过第二层粒度较细的筛选,更为精确地确定目标运动块,保证了精度;具体地,第一层筛选为根据ICT系数对运动图像块进行筛选,获得候选运动块;第二层筛选为根据候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,实现视频运动目标检测,并兼顾了视频运动目标检测的精度与计算量。
下面采用几个具体的实施例,对图1所示方法实施例的技术方案进行详细说明。
图2为本发明视频运动目标检测方法实施例二的流程图,本实施例在实施例一基础上,进一步介绍了对运动图像块进行筛选获取候选运动块的具体方法。如图2所示,本实施例的方法可以包括:
步骤201、获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数。
步骤202、获取各个运动图像块的ICT系数矩阵。
H.264格式的视频中宏块的最小粒度为4×4,因此可以将待检测视频的数据分割为4×4的矩阵为单位的运动图像块,图3为运动图像块的ICT系数矩阵的示意图,如图3所示,一个运动图像块的ICT系数由一个位于矩阵左上角的直流DC系数和十五个位于矩阵的其他位置的交流AC系数组成。一般而言,DC系数主要体现运动图像块的平均能量,AC系数主要体现运动图像块的纹理分布,并且,矩阵中各个系数的数值的大小分布为,越靠近左上角的系数越大。
若待检测视频为其他格式,可以按该待检测视频的最小粒度为宏块的单位来分割待检测视频的数据。
步骤203、根据各个运动图像块的ICT系数矩阵,分别计算各个运动图像块的平均能量。
ICT系数矩阵由直流分量和交流分量组成,通常,运动图像块的平均能量可以通过对ICT系数矩阵中所有分量的求和来获得。考虑到ICT系数矩阵中,直流分量和低频交流分量对平均能量的影响较大,因此,可以直接对对各个运动图像块的ICT系数矩阵中的直流分量与低频交流分量求和,将求和得到的数值作为各个运动图像块的平均能量。
通常,直流分量位于ICT系数矩阵中的左上角,低频交流分量为与所述直流分量相邻的三个位置,即直流分量与低频交流分量为ICT系数矩阵中左上角的四个元素。
因此,步骤203具体可以包括:
第一步:获取各个运动图像块的ICT系数矩阵中四个系数值,所述四个系数包括直流系数和与所述直流系数相邻的三个交流系数。该步骤中的与所述直流系数相邻的三个交流系数是指矩阵中最靠近左上角的三个交流系数,即AC1、AC4、AC5。
第二步:对各个运动图像块的四个系数值分别求和,获取与各个运动图像块对应的平均能量。
即,采用公式(6)计算获取各个运动图像块对应的平均能量ICT:
ICT=DC+AC1+AC4+AC5 (6)
需要说明的是,若待检测视频为其他格式,运动图像块的尺寸可以不是4×4,例如为8×8,则此处计算平均能量也可以采用更多的系数值,例如对于8×8的运动图像块,也可以采用矩阵中最靠近左上角的9个系数值之和作为一个运动图像块的平均能量,本发明对此不作限定。
步骤204、确定各个运动图像块中平均能量大于预设值的第一运动图像块,所述第一运动图像块为所述候选运动块。
预设值可以根据背景噪声的平均能量的经验值来设定,当运动图像块中平均能量小于预设值时,可以认为该运动图像块属于背景噪声,该运动图像块在后续的步骤中可以不再对其进行任何处理。
步骤205、根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测。
本实施例,通过获取各个运动图像块的ICT系数矩阵、根据各个运动图像块的ICT系数矩阵,分别计算各个运动图像块的平均能量,再通过将平均能量大于预设值的第一运动图像块,确定为候选运动块,实现对背景噪声的过滤,减小了获取目标运动块的计算量。
图4为本发明视频运动目标检测方法实施例三的流程图,本实施例在实施例一和实施例二的基础上,进一步介绍了对候选运动块进行筛选获取目标运动块的具体方法。如图4所示,本实施例的方法可以包括:
步骤401、获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数。
步骤402、根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块。
步骤403、对各个候选运动块的MV在空域进行中值滤波,得到中值滤波后的MV。
具体地,设候选运动块中的第i个候选运块为Bi,对Bi的MV在空域进行中值滤波结果MVi可以通过公式(7)获得:
其中,表示第i个候选运块Bi在空间上4邻域的MV集合,该集合包含第i个候选运块Bi的左侧、右侧、上侧、下侧的相邻的四个宏块以及Bi本身的MV,median表示对该集合求中值滤波,也就是用该集合中五个宏块的MV的平均值作为第i个候选运块Bi的中值滤波结果MVi。
步骤404、采用公式(1)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV模一致性测度Conm:
采用公式(2)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV方向一致性测度Cond:
其中,Tj表示时域上的第j个时序,分别表示第i个候选运块Bi在当前时序Tj上的MV的幅值和方向角,它们是第i个候选运块Bi在时序Tj上的后向投影,N表示所取的时序个数。
由公式(1)、(2)可以看出,MV模和方向一致性测度Conm,Cond可检测出第i个候选运块在Tj时序与Tj-1、Tj-2、……、以及与Tj-N时序相比该宏块的运动状态的一致程度。
步骤405、根据各个候选运动块的MV模一致性测度Conm和MV方向一致性测度Cond以及MV的模值,确定各个候选运动块是否为目标运动块。
进一步具体地,步骤405具体可以包括:
第一步:判断第i个候选运动块Bi是否满足公式(3)或公式(4):
其中,α为预设的Conm的阈值,β为预设的Cond的阈值,为预设的权重阈值,所述权重阈值为MV模一致性测度Conm和MV方向一致性测度Cond的函数。
公式(3)表示,第i个候选运动块Bi的MV模一致性测度Conm和MV方向一致性测度Cond均满足预设的要求,且该候选运动块当前的MV大小满足预设的阈值,即该候选运动块当前为运动状态,则将该候选运动块Bi确定为目标运动块。
公式(4)表示,第i个候选运动块Bi的MV模一致性测度Conm和MV方向一致性测度Cond中只有其中一个满足预设的要求,且该候选运动块当前的MV大小乘以一个权重阈值后满足预设的阈值,则将该候选运动块Bi确定为目标运动块。模一致性和方向一致性是衡量候选运动块是否为目标运动块的两个维度。可以表示为参数a、b的值可以根据实际工程应用中调整。例如,如果工程中方向一致性具有更好的区别运动块和非运动块的效果,则加大其权重,即加大b的值。
第二步:若第i个候选运动块Bi满足公式(3)或公式(4),则第i个候选运动块Bi为目标运动块。
本实施例,通过对各个候选运动块的MV在空域进行中值滤波,得到中值滤波后的MV,并根据各个候选运动块的MV模一致性测度Conm和MV方向一致性测度Cond以及MV的模值,判断各个候选运动块的上述MV特征信息是否满足可靠性约束条件,来确定各个候选运动块是否为目标运动块,实现对候选运动块进行的精细筛选。
进一步地,上述各个实施例中,所述获取待检测视频中运动图像块的运动矢量MV,可以包括:
步骤一:获取所述运动图像块的原始运动矢量RMV。
进一步地,所述运动图像块可以通过对待检测视频的压缩码流进行半解码获得。
通常,该步骤中的运动图像块可以通过对待检测视频的压缩码流进行解码获得,在本发明实施例中,可以对待检测视频的压缩码流进行半解码,就可以获得能够提取原始运动矢量RMV、以及上述各实施例的方法中需要的ICT系数的运动图像块,因此可以降低检测过程的整体的计算量。
步骤二:对所述运动图像块的RMV进行预处理,获取运动矢量MV。
其中,所述预处理包括以下处理过程中的至少一个:
对RMV在空间上进行运动图像块尺寸的归一化;
将I类型的运动图像块和P_SKIP类型的运动图像块的RMV设置为无运动矢量;
采用公式(5)对RMV进行时序上的归一化:
其中,为当前帧中的第i个运动图像块,c为当前帧的索引号,r为参考帧的索引号。
为了使本发明视频运动目标检测方法的效果更好,所述预处理过程可以包括上述所有的处理过程,其具体方法如下:
首先,可以对RMV在空间上进行宏块尺寸的归一化,目的是获得大小一致且均匀的运动矢量场,在后续处理时不必重复考虑每个块的尺寸。由于RMB最小的分割尺寸为4×4,因此可以将大于4×4的宏块按其所覆盖的4×4块直接复制RMV。
其次,可以将类型为I宏块或P_SKIP的宏块的RMV设置为无运动矢量,即为0。原因是P_SKIP类型的宏块无像素残差,无运动矢量残差,经常在背景块中的无纹理区域出现,这类区域中的像素往往存在多个最优的匹配点,导致获得的RMV值不准确。
再次,可以对RMB进行时序上的归一化,目的是将当前帧所有宏块的参考帧统一等效为前一帧,从而可提高在通过MV的特征信息构成的可靠性约束条件的判断时的有效性。
图5为本发明视频运动目标检测装置实施例一的结构示意图,如图5所示,本实施例的装置500可以包括:获取模块1、粗筛选模块2和细筛选模块3,其中,获取模块1可以用于获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数;粗筛选模块2可以用于根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块;细筛选模块3可以用于根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测。
本实施例的装置,可以用于执行图1所示方法实施例的技术方案,具备相应的功能模块,其实现原理类似,此处不再赘述。
本实施例的技术效果为,通过获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数,并分别根据所述ICT系数和所述MV对待检测视频中运动图像块进行两个层次的筛选,通过第一层粒度较粗的筛选除去待检测视频中的背景噪声,使第二层筛选时只需在候选运动块中进行,实现计算量的降低;再通过第二层粒度较细的筛选,更为精确地确定目标运动块,保证了精度;具体地,第一层筛选为根据ICT系数对运动图像块进行筛选,获得候选运动块;第二层筛选为根据候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,实现视频运动目标检测,并兼顾了视频运动目标检测的精度与计算量。
图6为本发明视频运动目标检测装置实施例二的结构示意图,如图6所示,本实施例的装置600在图5所示装置结构的基础上,进一步地,所述粗筛选模块还可以包括:ICT系数矩阵提取单元21、平均能量计算单元22和候选运动块确定单元23,其中,ICT系数矩阵提取单元21,可以用于获取各个运动图像块的ICT系数矩阵;平均能量计算单元22,可以用于根据各个运动图像块的ICT系数矩阵,分别计算各个运动图像块的平均能量;候选运动块确定单元23,可以用于确定各个运动图像块中平均能量大于预设值的第一运动图像块,所述第一运动图像块为所述候选运动块。
进一步地,所述平均能量计算单元22具体可以用于:获取各个运动图像块的ICT系数矩阵中四个系数值,所述四个系数包括直流系数和与所述直流系数相邻的三个交流系数;对各个运动图像块的四个系数值分别求和,获取与各个运动图像块对应的平均能量。
本实施例的装置,可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本发明视频运动目标检测装置实施例三的结构示意图,如图7所示,本实施例的装置700在图6所示装置结构的基础上,进一步地,细筛选模块3可以包括:中值滤波单元31、一致性计算单元32和目标运动块确定单元33,其中,
中值滤波单元31,可以用于对各个候选运动块的MV在空域进行中值滤波,得到中值滤波后的MV;
一致性计算单元32,可以用于采用公式(1)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV模一致性测度Conm:
采用公式(2)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV方向一致性测度Cond:
其中,Tj表示时域上的第j个时序,N表示所取的时序个数,分别表示Bi在时序Tj上的MVi的幅值和方向角;
目标运动块确定单元33,可以用于根据各个候选运动块的MV模一致性测度Conm和MV方向一致性测度Cond以及MV的模值,确定各个候选运动块是否为目标运动块。
进一步地,所述目标运动块确定单元33,具体用于:
判断第i个候选运动块Bi是否满足公式(3)或公式(4):
其中,α为预设的Conm的阈值,β为预设的Cond的阈值,为预设的权重阈值,所述权重阈值为MV模一致性测度Conm和MV方向一致性测度Cond的函数;
若第i个候选运动块Bi满足公式(3)或公式(4),则第i个候选运动块Bi为目标运动块。
本实施例的装置,可以用于执行图4所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图8为本发明视频运动目标检测装置实施例四的结构示意图,如图8所示,本实施例的装置800在上述任意装置结构的基础上,进一步地,获取模块1可以包括:RMV获取单元11和预处理单元12,其中,RMV获取单元11,可以用于获取所述运动图像块的原始运动矢量RMV;预处理单元12,可以用于对所述运动图像块的RMV进行预处理,获取运动矢量MV;其中,所述预处理包括以下处理过程中的至少一个:
对RMV在空间上进行运动图像块尺寸的归一化;
将I类型的运动图像块和P_SKIP类型的运动图像块的RMV设置为无运动矢量;
采用公式(5)对RMV进行时序上的归一化:
其中,为当前帧中的第i个运动图像块,c为当前帧的索引号,r为参考帧的索引号。
进一步地,本实施例的装置还可以包括:半解码模块4,该半解码模块4可以用于对待检测视频的压缩码流进行半解码,获得所述运动图像块。
本实施例的装置,可以用于执行本发明任意方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图9为本发明视频监控***实施例一的结构示意图,如图9所示,本实施例的视频监控***900可以包括:前端视频采集设备901、处理服务器902、存储设备903和客户端设备904,其中,所述处理服务器902可以包括本发明任意实施例所述的视频运动目标检测装置,所述处理服务器902与所述前端视频采集设备901连接,用于对所述前端视频采集设备901采集的视频数据进行处理,并将所述视频数据存放在所述存储设备903上;
其中,所述前端视频采集设备901用于在现场采集视频并将所述视频压缩编码成码流以便传输给所述处理服务器902;
所述处理服务器902可以用于:根据所述前端视频采集设备901发送的视频数据,获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数;根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块;根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测;并将所述视频数据存放在所述存储设备903上;
所述客户端设备904与所述处理服务器902连接,用于向所述处理服务器902请求视频数据,并显示所述视频数据。
进一步地,所述处理服务器902具体用于:
获取各个运动图像块的ICT系数矩阵;
对各个运动图像块的ICT系数矩阵中的直流分量与低频交流分量求和,获取与各个运动图像块对应的平均能量;
确定各个运动图像块中平均能量大于预设值的第一运动图像块,所述第一运动图像块为所述候选运动块。
进一步地,所述处理服务器902具体用于:
对各个候选运动块的MV在空域进行中值滤波,得到中值滤波后的MV;
采用公式(1)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV模一致性测度Conm:
采用公式(2)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV方向一致性测度Cond:
其中,Tj表示时域上的第j个时序,N表示所取的时序个数,分别表示Bi在时序Tj上的MVi的幅值和方向角;
根据各个候选运动块的MV模一致性测度Conm和MV方向一致性测度Cond以及MV的模值,确定各个候选运动块是否为目标运动块。
进一步地,所述处理服务器902具体用于:
判断第i个候选运动块Bi是否满足公式(3)或公式(4):
其中,α为预设的Conm的阈值,β为预设的Cond的阈值,为预设的权重阈值,所述权重阈值为MV模一致性测度Conm和MV方向一致性测度Cond的函数;
若第i个候选运动块Bi满足公式(3)或公式(4),则第i个候选运动块Bi为目标运动块。
本实施例的视频监控***,可以将处理服务器设置为能够用于执行如本发明任意视频运动目标检测方法实施例所述的方法,因此,具有上述任意方法实施例所述的技术效果,其技术原理也与上述方法实施例类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种视频运动目标检测方法,其特征在于,包括:
获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数;
根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块;
根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测。
2.根据权利要求1所述的方法,其特征在于,所述根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块,包括:
获取各个运动图像块的ICT系数矩阵;
对各个运动图像块的ICT系数矩阵中的直流分量与低频交流分量求和,获取与各个运动图像块对应的平均能量;
确定各个运动图像块中平均能量大于预设值的第一运动图像块,所述第一运动图像块为所述候选运动块。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,包括:
对各个候选运动块的MV在空域进行中值滤波,得到中值滤波后的MV;
采用公式(1)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV模一致性测度Conm:
采用公式(2)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV方向一致性测度Cond:
其中,Tj表示时域上的第j个时序,N表示所取的时序个数,分别表示Bi在时序Tj上的MVi的幅值和方向角;
根据各个候选运动块的MV模一致性测度Conm和MV方向一致性测度Cond以及MV的模值,确定各个候选运动块是否为目标运动块。
4.根据权利要求3所述的方法,其特征在于,所述根据各个候选运动块的MV模一致性测度Conm和MV方向一致性测度Cond以及MV的模值,确定各个候选运动块是否为目标运动块,包括:
判断第i个候选运动块Bi是否满足公式(3)或公式(4):
其中,α为预设的Conm的阈值,β为预设的Cond的阈值,为预设的权重阈值,所述权重阈值为MV模一致性测度Conm和MV方向一致性测度Cond的函数;
若第i个候选运动块Bi满足公式(3)或公式(4),则第i个候选运动块Bi为目标运动块。
5.根据权利要求1~4任一项所述的方法,其特征在于,所述获取待检测视频中运动图像块的运动矢量MV,包括:
获取所述运动图像块的原始运动矢量RMV;
对所述运动图像块的RMV进行预处理,获取运动矢量MV;
其中,所述预处理包括以下处理过程中的至少一个:
对RMV在空间上进行运动图像块尺寸的归一化;
将I类型的运动图像块和P_SKIP类型的运动图像块的RMV设置为无运动矢量;
采用公式(5)对RMV进行时序上的归一化:
其中,为当前帧中的第i个运动图像块,c为当前帧的索引号,r为参考帧的索引号。
6.根据权利要求1~5中任一项所述的方法,其特征在于,所述获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数之前,还包括:
对待检测视频的压缩码流进行半解码,获得所述运动图像块。
7.一种视频运动目标检测装置,其特征在于,包括:
获取模块,用于获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数;
粗筛选模块,用于根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块;
细筛选模块,用于根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测。
8.根据权利要求7所述的装置,其特征在于,所述粗筛选模块,包括:
ICT系数矩阵提取单元,用于获取各个运动图像块的ICT系数矩阵;
平均能量计算单元,用于对各个运动图像块的ICT系数矩阵中的直流分量与低频交流分量求和,获取与各个运动图像块对应的平均能量;
候选运动块确定单元,用于确定各个运动图像块中平均能量大于预设值的第一运动图像块,所述第一运动图像块为所述候选运动块。
9.一种视频监控***,其特征在于,包括:前端视频采集设备、处理服务器、存储设备和客户端设备,
其中,所述前端视频采集设备用于在现场采集视频并将所述视频压缩编码成码流以便传输给所述处理服务器;
所述处理服务器与所述前端视频采集设备连接,用于:根据所述前端视频采集设备发送的视频数据,获取待检测视频中运动图像块的运动矢量MV和整数余弦变换ICT系数;根据所述ICT系数对所述运动图像块进行筛选,获取候选运动块;根据所述候选运动块的MV的特征信息对所述候选运动块进行筛选,获取所述视频的目标运动块,以根据所述目标运动块进行视频运动目标检测;并将所述视频数据存放在所述存储设备上;
所述客户端设备与所述处理服务器连接,用于向所述处理服务器请求视频数据,并显示所述视频数据。
10.根据权利要求9所述的视频监控***,其特征在于,所述处理服务器具体用于:
获取各个运动图像块的ICT系数矩阵;
对各个运动图像块的ICT系数矩阵中的直流分量与低频交流分量求和,获取与各个运动图像块对应的平均能量;
确定各个运动图像块中平均能量大于预设值的第一运动图像块,所述第一运动图像块为所述候选运动块。
11.根据权利要求9或10所述的视频监控***,其特征在于,所述处理服务器具体用于:
对各个候选运动块的MV在空域进行中值滤波,得到中值滤波后的MV;
采用公式(1)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV模一致性测度Conm:
采用公式(2)对第i个候选运动块Bi的中值滤波后的MVi进行计算,获得Bi在时域的MV方向一致性测度Cond:
其中,Tj表示时域上的第j个时序,N表示所取的时序个数,分别表示Bi在时序Tj上的MVi的幅值和方向角;
根据各个候选运动块的MV模一致性测度Conm和MV方向一致性测度Cond以及MV的模值,确定各个候选运动块是否为目标运动块。
12.根据权利要求11所述的视频监控***,其特征在于,所述处理服务器具体用于:
判断第i个候选运动块Bi是否满足公式(3)或公式(4):
其中,α为预设的Conm的阈值,β为预设的Cond的阈值,为预设的权重阈值,所述权重阈值为MV模一致性测度Conm和MV方向一致性测度Cond的函数;
若第i个候选运动块Bi满足公式(3)或公式(4),则第i个候选运动块Bi为目标运动块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310157346.8A CN104125430B (zh) | 2013-04-28 | 2013-04-28 | 视频运动目标检测方法、装置以及视频监控*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310157346.8A CN104125430B (zh) | 2013-04-28 | 2013-04-28 | 视频运动目标检测方法、装置以及视频监控*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104125430A true CN104125430A (zh) | 2014-10-29 |
CN104125430B CN104125430B (zh) | 2017-09-12 |
Family
ID=51770679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310157346.8A Active CN104125430B (zh) | 2013-04-28 | 2013-04-28 | 视频运动目标检测方法、装置以及视频监控*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104125430B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106331644A (zh) * | 2016-09-07 | 2017-01-11 | 中车唐山机车车辆有限公司 | 视频监控方法、装置以及列车监控*** |
CN106910200A (zh) * | 2015-12-23 | 2017-06-30 | 中国石油天然气股份有限公司 | 一种基于相位信息的运动目标分割方法 |
CN107229620A (zh) * | 2016-03-23 | 2017-10-03 | 杭州海康威视数字技术股份有限公司 | 一种视频数据的存储方法及装置 |
CN110083742A (zh) * | 2019-04-29 | 2019-08-02 | 腾讯科技(深圳)有限公司 | 一种视频查询方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1960491A (zh) * | 2006-09-21 | 2007-05-09 | 上海大学 | 基于h.264压缩域运动对象实时分割方法 |
CN101505426A (zh) * | 2009-03-17 | 2009-08-12 | 北京中星微电子有限公司 | 压缩域的运动检测方法及装置 |
CN101582063A (zh) * | 2008-05-13 | 2009-11-18 | 华为技术有限公司 | 视频服务***、视频服务装置及其关键帧的提取方法 |
CN102196259A (zh) * | 2010-03-16 | 2011-09-21 | 北京中星微电子有限公司 | 一种适用于压缩域的运动目标检测***及方法 |
CN102761737A (zh) * | 2011-04-28 | 2012-10-31 | 财团法人工业技术研究院 | 用于处理压缩视频图像中阴影的***及方法 |
-
2013
- 2013-04-28 CN CN201310157346.8A patent/CN104125430B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1960491A (zh) * | 2006-09-21 | 2007-05-09 | 上海大学 | 基于h.264压缩域运动对象实时分割方法 |
CN101582063A (zh) * | 2008-05-13 | 2009-11-18 | 华为技术有限公司 | 视频服务***、视频服务装置及其关键帧的提取方法 |
CN101505426A (zh) * | 2009-03-17 | 2009-08-12 | 北京中星微电子有限公司 | 压缩域的运动检测方法及装置 |
CN102196259A (zh) * | 2010-03-16 | 2011-09-21 | 北京中星微电子有限公司 | 一种适用于压缩域的运动目标检测***及方法 |
CN102761737A (zh) * | 2011-04-28 | 2012-10-31 | 财团法人工业技术研究院 | 用于处理压缩视频图像中阴影的***及方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910200A (zh) * | 2015-12-23 | 2017-06-30 | 中国石油天然气股份有限公司 | 一种基于相位信息的运动目标分割方法 |
CN106910200B (zh) * | 2015-12-23 | 2019-11-08 | 中国石油天然气股份有限公司 | 一种基于相位信息的运动目标分割方法 |
CN107229620A (zh) * | 2016-03-23 | 2017-10-03 | 杭州海康威视数字技术股份有限公司 | 一种视频数据的存储方法及装置 |
CN107229620B (zh) * | 2016-03-23 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 一种视频数据的存储方法及装置 |
CN106331644A (zh) * | 2016-09-07 | 2017-01-11 | 中车唐山机车车辆有限公司 | 视频监控方法、装置以及列车监控*** |
CN110083742A (zh) * | 2019-04-29 | 2019-08-02 | 腾讯科技(深圳)有限公司 | 一种视频查询方法和装置 |
CN110083742B (zh) * | 2019-04-29 | 2022-12-06 | 腾讯科技(深圳)有限公司 | 一种视频查询方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104125430B (zh) | 2017-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103678299B (zh) | 一种监控视频摘要的方法及装置 | |
Lin et al. | Digital image source coder forensics via intrinsic fingerprints | |
Fadl et al. | Authentication of surveillance videos: detecting frame duplication based on residual frame | |
Kingra et al. | Inter-frame forgery detection in H. 264 videos using motion and brightness gradients | |
CN103873852A (zh) | 多模态并行的视频质量故障检测方法及装置 | |
EP2071514A2 (en) | Background modeling for video data compression | |
Yu et al. | Exposing frame deletion by detecting abrupt changes in video streams | |
CN104125430A (zh) | 视频运动目标检测方法、装置以及视频监控*** | |
AU2013260753A1 (en) | Rapid shake detection using a cascade of quad-tree motion detectors | |
CN101790097A (zh) | 数字视频多次压缩编码检测方法 | |
Singh et al. | Optical flow and prediction residual based hybrid forensic system for inter-frame tampering detection | |
Cao et al. | Resampling detection of recompressed images via dual-stream convolutional neural network | |
Aloraini et al. | Statistical sequential analysis for object-based video forgery detection | |
Bakas et al. | Mpeg double compression based intra-frame video forgery detection using cnn | |
CN110008102B (zh) | 一种基于智能视频应用的服务器性能测试方法和*** | |
Zhang et al. | Feature compensation network based on non-uniform quantization of channels for digital image global manipulation forensics | |
Chen et al. | Modelling of content-aware indicators for effective determination of shot boundaries in compressed MPEG videos | |
CN112149596A (zh) | 一种异常行为检测方法、终端设备及存储介质 | |
US20170105024A1 (en) | Directional motion vector filtering | |
Wang et al. | Deep intensity guidance based compression artifacts reduction for depth map | |
Wang et al. | A unified framework of source camera identification based on features | |
Pandey et al. | A passive forensic method for video: Exposing dynamic object removal and frame duplication in the digital video using sensor noise features | |
Su et al. | Multimedia source identification using an improved weight photo response non-uniformity noise extraction model in short compressed videos | |
Wu et al. | HEVC double compression detection with non-aligned GOP structures based on a fusion feature with optical flow and prediction units | |
Zhao et al. | Frame-deletion detection for static-background video based on multi-scale mutual information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |