CN109379595B - 基于视频码流码书模型的动态目标检测方法 - Google Patents

Abstract

本发明涉及视频处理中运动目标检测技术领域，特别涉及一种基于视频码流码书模型的动态目标检测方法；所要解决的技术问题为：提供一种基于视频码流码书模型的动态目标检测方法,此方法充分利用编码块像素之间的相关性，避免了在解码过程中重构和环路滤波等耗时的操作；解决该技术问题采用的技术方案为：码书模型基于像素编码块建立，通过分析视频码流编码块的所属宏块类型、预测模式、量化参数、运动矢量残差和像素残差等信息，分别建立帧内预测和帧间预测两种类型码字，并通过分析视频码流编码块与背景码字是否匹配进行动态目标检测；本发明方法应用于视频处理领域动态目标检测。

Description

基于视频码流码书模型的动态目标检测方法

技术领域

本发明涉及视频处理中运动目标检测技术领域，特别涉及一种基于视频码流码书模型的动态目标检测方法。

背景技术

动态目标检测一直都是计算机视觉领域中研究的热点问题，在实际的生活中有着广泛的应用领域，智能交通，智能视频监控，物体跟踪等都需要动态目标检测的效果作保障；通常动态目标检测目的是在序列图像中检测出目标的变化区域并将动态目标从背景图像中提取出来；传统的动态目标检测算法包括帧差法、光流法和背景减除法，其中背景减除法是使用较为广泛的方法，背景减除法的关键在于对背景模型的建立，基于Codebook的算法属于背景减除法的一种，该模型基于背景像素的统计分布，在多峰环境下检测动态目标能取得较好的结果。

传统Codebook模型的算法在RGB空间内对单一像素进行建模，根据颜色和亮度两种信息对像素点属于前景还是背景进行判断，其实质是将一副完整的图像拆分成为许多孤立的小像素点来进行判定，经过一定算法判定后再将像素点重新组合起来成为检测结果画面；这样的做法有不完善之处：(1)由于将画面分散成为离散的像素进行判断，忽略了个像素点之间的联系；画面中的动态目标一般是占据一定区域的像素，故经常会出现单一像素点被检测为动态目标，而周围的八个像素点都没有检测到动态目标的情况；(2)码书算法采用RGB色彩空间判定色彩距离，同时加入了亮度判定条件，这就造成了在高亮度和低亮度时检测的敏感度是不同的；(3)当光照有变化，尤其是有突变时，匹配失败的情况就会经常发生，从而发生大面积误检，存在光照变化自适应能力不足以及检测精度不高的问题；(4)计算复杂，时间开销大，难以实时实现。

监控视频数据是经过视频编码算法压缩后的数据，而不是单一像素点数据；目前视频压缩适用的国际标准主要有H.264和H.265，国内标准为AVS，它们都采用了基于块的混合编码算法；传统基于Codebook模型的动态目标检测算法针对图像中的每个像素进行处理，需要对视频数据进行完全解码后再对每个像素做处理，对于接收到的海量视频数据计算量大且复杂，难以实现对动态目标的实时处理。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于视频码流码书模型的动态目标检测方法；为了解决上述技术问题，本发明采用的技术方案为：基于视频码流码书模型的动态目标检测方法，包括如下步骤：

步骤一：根据编码块采用不同的编码方式分别建立帧内预测和帧间预测两种类型码字；定义码书：

定义块大小为4x4，定义u为视频训练序列中YUV颜色空间下不同时刻的块集合为：u＝{b₁,b₂,...，b_N}；

其中b_t(t＝1，...，N)是第t次采样得到的4x4块YUV残差向量；

该4x4块的码书为：l＝{c₁，c₂，...，c_L}，l中有L个码字，对于每个码字c_i，i＝1,2,...L，包含一个YUV残差向量vi_＝(Y_i，U_i，V_i)和一个8元组auv_i；

帧内预测块的码书8元组包括以下元素：

4x4块亮度残差经DCT变换后DC系数的最大值和最小值，色度残差最大值和最小值，所属宏块类型，帧内预测模式，码字出现的频率，码字出现的最大时间间隔；

帧间预测块的码书8元组包括以下元素：

4x4块亮度残差经DCT变换后DC系数的最大值和最小值，所属宏块类型，所属子宏块类型，水平运动矢量和垂直运动矢量，码字出现的频率，码字出现的最大时间间隔；

步骤二：对码书背景进行建模，得到背景模型；

将整幅图像每个4x4块的码书置空，码书集置为空集，将码字计数归零；

对训练帧编码码流进行读取，训练帧编码码流进行部分解码：

如果4x4块采用帧内预测编码则执行如下步骤：

(1)解码得到所属宏块类型，预测模式，量化参数，亮度残差DC系数值，色度残差值；

(2)计算帧内预测模式匹配度M_Ipm；

(3)计算帧内亮度残差DC系数范围度CY_IDC；

(4)计算帧内色度残差范围度CUV_I；

(5)对比该4x4块的所有帧内预测块码书中的所***字，判断是否匹配；判断为匹配则对原来的码字进行更新操作，不匹配则创建新的码字；

如果4x4块采用帧间预测编码则执行如下步骤：

(1)解码得到所属宏块类型，子宏块类型，运动矢量，量化参数，亮度残差DC系数值；

(2)计算帧间宏块划分匹配度M_Ppm；

(3)计算帧间亮度残差DC系数范围度CY_PDC；

(4)计算帧间运动矢量范围度；

(5)对比该4x4块的所有帧间预测块码书中的所***字，判断是否匹配；判断为匹配则对原来的码字进行更新操作，不匹配则创建新的码字；

依照上述步骤对建模的视频帧进行训练，并根据每个码字的最大时间间隔in_m和码字运动矢量进行修正，修正后对每个码字的最大时间间隔in_m做出判断，判断每个码字是否属于背景模型的码书；

步骤三：检测动态目标；

通过分析视频码流编码块与背景码字是否匹配的方法进行检测，目标检测时通过视频当前帧中每个编码块和背景模型中对应的码书进行比较，采用当前帧与背景模型相减的方法，对比每一帧中每一个4x4块，若与背景模型码书中的码字匹配，则判断为背景点，并使用当前编码块对匹配码字进行更新；

如果不满足匹配条件则判断为前景目标。

本发明相对于现有技术具备的有益效果为：本发明充分利用编码块像素之间的相关性，且不需要对视频码流完全解码，避免了在解码过程中重构和环路滤波等耗时的操作；本发明通过对视频码流进行部分解码，得到编码块的所属宏块类型、预测模式、量化参数、运动矢量残差和像素残差等信息，根据上述信息建立码书模型；此方法利用编码块像素之间的相关性，可去除单一像素的伪目标，提高了检测精度；利用编码块残差信息进行码书建模和码字更新，避免因光照变化出现检测精度不高的问题；避免了解码过程中整数IDCT变换、反量化、重构和环路滤波等耗时的操作，可以实现动态目标的实时处理，提高了动态目标检测的效率。

具体实施方式

下面结合实施例详细说明本发明的技术方案：本发明充分利用视频码流中编码块的所属宏块类型、预测模式、量化参数、运动矢量残差和像素残差等信息，码书模型基于编码块上述信息建立，通过分析视频码流编码块与背景码字是否匹配进行动态目标检测。

假定视频码流采用视频压缩标准为H.264，像素块大小为4x4；在视频编码码流中，对于帧内预测编码块而言，4x4块所属宏块类型、帧内预测模式、量化参数和像素残差分布情况CBP都会写入码流，通过上述信息建立帧内预测码书；对于帧间编码前向预测编码块而言，4x4块所属宏块类型、子宏块类型、量化参数、运动矢量残差和像素残差分布情况CBP都会写入码流，通过上述信息建立帧间预测码书。

对于动态目标而言，4x4像素块如果是帧内预测块，其预测模式和像素残差会明显改变，通过判断和背景码书匹配程度，可较准确检测出目标；4x4像素块如果是帧间预测块，其运动矢量和像素残差会明显改变，通过判断和背景码书匹配程度，可较准确检测出目标。

本发明具体的检测步骤如下：

一、码书定义和初始化：

定义块大小为4x4，定义u为视频训练序列中YUV颜色空间下不同时刻的块集合u＝{b₁，b₂，...，b_N}，其中b_t(t＝1，...，N)是第t次采样得到的4x4块YUV残差向量。该4x4块的码书为1＝{c₁，c₂，...，c_L}，l中有L个码字，对于每个码字c_i，i＝1，2，...L，包含一个YUV残差向量V_i＝(Y_i，U_i，V_i)和一个8元组auv_i。

4x4块采用帧内预测编码：

auv_m＝<Y_maxt，Y_mint，UV_maxt，UV_mint，MTY_t，PM_t，f_t，in_t>，其中Y_maxt表示该4x4块亮度残差经DCT变换后DC系数的最大值，Y_mint表示该4x4块亮度残差经DCT变换后DC系数的最小值，UV_maxt表示该4x4块色度残差最大值，UV_mint表示该4x4块色度残差的最小值，MTY_t表示该4x4块所属宏块类型，PM_t表示该4x4块帧内预测模式，f_t表示该码字出现的频率，in_t表示码字出现的最大时间间隔。

4x4块采用帧间预测编码：

auv_m＝<Y_maxt，Y_mint，MTY_t，STY_t，MV_xt，MV_vt，f_t，in_t>，其中Y_maxt表示该4x4块亮度残差经DCT变换后DC系数的最大值，Y_mint表示该4x4块亮度残差经DCT变换后DC系数的最小值，MTY_t表示该4x4块所属宏块类型，STY_t表示该4x4块所属子宏块类型，MV_xt表示该码字水平运动矢量，MV_yt表示该码字垂直运动矢量，f_t表示该码字出现的频率，in_t表示码字出现的最大时间间隔。

二、码书构建条件计算：

1.帧内预测块码书构建条件：

第一个条件是帧内预测模式匹配度M_Ipm计算：

当MTY_t＝0时，如果PM_t＝PM_i，帧内预测模式匹配度M_Ipm＝1，否则M_Ipm＝0；

当0<MTY_t<25时，MTY1_t＝MTY_t％4，MTY1_i＝MTY_i％4，如果MTY1_t＝MTY1_i，帧内预测模式匹配度M_Ipm＝1，否则M_Ipm＝0。

当MTY_t＝25时，如果MTY_t＝MTY_i，帧内预测模式匹配度M_Ipm＝1，否则M_Ipm＝0。

第二个条件是帧内亮度残差DC系数范围度CY_IDC的计算：

帧内亮度残差DC系数范围度：

其中Y_L＝αY_i，Y_H＝min(βY_i，Y_i/α)，α＜1，β＞1。

其中，Y_i是经过归一化的值(通过量化参数)，α与β的取值与帧内预测模式匹配度M_Ipm相关：

当M_Ipm＝1时，α取较小值，β取较大值；

当M_Ipm＝0时，α取较大值，β取较小值；α、β初始值可通过场景不同进行调整。

第三个条件是帧内色度残差范围度的计算：

帧内色度残差范围度：

其中UV_L＝αUV_i，UV_H＝min(βUV_i，UV_i/α)，α＜1，β＞1。

其中，UV_i是色度U和色度V经过归一化的绝对值的最大值(通过量化参数)，α与β的取值与帧内预测模式匹配度M_Ipm相关：

当M_Ipm＝₁时，α取较小值，β取较大值；

当M_Ipm＝0时，α取较大值，β取较小值；α、β初始值可通过场景不同进行调整。

2.帧间预测块码书构建条件：

第一个条件是帧间宏块划分匹配度M_Ppm计算：

当MTY_t宏块类型为跳跃宏块(SKIP块)，MTY_i所属宏块类型为SKIP块或MTY_i＝0，帧间宏块划分匹配度M_Ppm＝1；否则M_Ppm＝0。

当MTY_t＝0时，MTY_i所属宏块类型为SKIP块或MTY_i＝0，帧间宏块划分匹配度M_Ppm＝1；MTY_i＝1或MTY_i＝2，帧间宏块划分匹配度M_Ppm＝0.5；否则M_Ppm＝0。

当MTY_t＝1或MTY_t＝2时，如果MTY_t＝MTY_i，帧间宏块划分匹配度M_Ppm＝1；MTY_i＝0时，帧间宏块划分匹配度M_Ppm＝0.5；否则M_Ppm＝0。

当MTY_t＝3时，如果MTY_t＝MTY_i，帧间宏块划分匹配度M_Ppm＝1；MTY_i＝3或MTY_i＝4时，帧间宏块划分匹配度M_Ppm＝0.5；否则M_Ppm＝0。

当MTY_t＝4时，如果MTY_t＝MTY_i且STY_t＝STY_i，帧间宏块划分匹配度M_PPm＝1；MTY_i＝4且STY_t与MTY_i不相等时，帧间宏块划分匹配度M_Ppm＝0.5；否则M_Ppm＝0。

第二个条件是帧间亮度残差DC系数范围度CY_PDC的计算：

帧间亮度残差DC系数范围度：

其中Y_L＝αY_i，Y_H＝min(βY_i,Y_i/α)，α＜1，β＞1。

其中，Y_i是经过归一化的值(通过量化参数)，α与β的取值与帧间宏块划分匹配度M_Ppm相关：

当M_Ppm取值较大时，α取较小值，β取较大值；

当M_Ppm取值较小时，α取较大值，β取较小值；α、β初始值可通过场景不同进行调整。

第三个条件是帧间运动矢量范围度的计算：

帧间运动矢量范围度：

其中MV_xH＝γMV_xi，γ＜1。

其中γ取值与帧间宏块划分匹配度M_Ppm相关，M_Ppm取值较大时，γ取较大值；M_Ppm取值较小时，γ取较小值。γ初始值可通过场景不同进行调整。

三、码书背景建模过程：

首先将整幅图像每个4x4块的码书置空，Cbook置为空集，将码字计数L归零。

读取训练帧编码码流，训练帧编码码流进行部分解码：

如果4x4块采用帧内预测编码，解码得到所属宏块类型，预测模式，量化参数，亮度残差DC系数值，色度残差值；

如果4x4块采用帧间预测编码，解码得到所属宏块类型，子宏块类型，运动矢量，量化参数，亮度残差DC系数值。

对于新输入的4x4块bt，如果采用帧内预测编码，需要对比该4x4块的所有帧内预测块码书l_I＝{c_i|1＜i＜L}中的所***字判断是否匹配；

首先计算帧内预测模式匹配度，根据帧内预测模式匹配度调整亮度残差DC系数范围度的参数和色度残差范围度的参数，参数确定后计算亮度残差DC系数范围度和色度残差范围度，根据结果判断是否匹配；

如果不匹配，则不属于该码书中的任何码字，需要重新建立新的码字则L＝L+1，并创建新码字C_L；

如果码字匹配，则需要对原来的码字进行更新操作，假设新来的4x4块与码字c_m匹配成功，那么将对c_m做如下操作：

Y_maxm＝max{Y_maxm，Y_t}，Y_minm＝min{Y_minm，Yt}，UV_maxm＝max{UV_maxm，|UV_t|}，UV_minm＝min{UV_minm，|UV_t|}，f_m＝f_m+1，更新in_m。

对于新输入的4x4块b_t，如果采用帧间预测编码，需要对比该4x4块的所有帧间预测块码书l_I＝{c_i|1＜i＜L}中的所***字判断是否匹配；

首先计算帧间宏块划分匹配度，根据帧间宏块划分匹配度调整亮度残差DC系数范围度的参数α、β和帧间运动矢量范围度的参数γ，参数确定后计算亮度残差DC系数范围度和色度残差范围度，根据结果判断是否匹配；

如果不匹配，则不属于该码书中的任何码字，需要重新建立新的码字则L＝L+1，并创建新码字C_L；

如果码字匹配，则需要对原来的码字进行更新操作，假设新来的4x4块与码字c_m匹配成功，那么将对c_m做如下操作：

Y_maxm＝max{Y_maxm，Y_t}，Y_minm＝min{Y_minm，Y_t}，MV_xm＝max{MV_xm，|MV_xt|}，MV_ym＝min{MV_ym，|MV_yt|}，f_m＝f_m+1，更新in_m。

依照上述步骤对需要建模的视频帧进行训练，训练结束后还应该对生成的码字进行修正，原因是在训练过程中同样会出现动态目标，这样的训练机制会将前景动态目标作为背景码字保存。

根据每个码字的最大时间间隔in_m和码字运动矢量进行修正，对每个码字的最大时间间隔in_m做如下判断：

对于in_m的值大于阀值的码字予以精简，阀值Tn通常设为N/2，其中N为训练总帧数，如果in_m＞N/2，则该码字不属于背景模型的码书；如果|MV_mx|＞MV_THx或|MV_my|＞MV_THy，则该码字不属于背景模型的码书。

四、动态目标检测：

运动目标检测采用当前帧与背景码字是否匹配的方法进行检测：对比每一帧中每一个4x4块，若与背景模型码书中的码字匹配，则判断为背景点，并对相应的码字进行更新，若不匹配则判别为动态目标。

以上内容是结合具体的实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (1)

1.基于视频码流码书模型的动态目标检测方法，其特征在于：包括如下步骤：

步骤一：根据编码块采用不同的编码方式分别建立帧内预测和帧间预测两种类型码字；

定义码书：

定义块大小为4x4，定义u为视频训练序列中YUV颜色空间下不同时刻的块集合为：

u＝{b₁，b₂，...，b_N}；

其中b_t(t＝1，...，N)是第t次采样得到的4x4块YUV残差向量；

该4x4块的码书为：l＝{c₁，c₂，...，c_L}，l中有L个码字，对于每个码字c_i，i＝1，2，...L，包含一个YUV残差向量V_i＝(Y_i，U_i，V_i)和一个8元组auv_i；

帧内预测块的码书8元组包括以下元素：

4x4块亮度残差经DCT变换后DC系数的最大值和最小值，色度残差最大值和最小值，所属宏块类型，帧内预测模式，码字出现的频率，码字出现的最大时间间隔；

帧间预测块的码书8元组包括以下元素：

4x4块亮度残差经DCT变换后DC系数的最大值和最小值，所属宏块类型，所属子宏块类型，水平运动矢量和垂直运动矢量，码字出现的频率，码字出现的最大时间间隔；

步骤二：对码书背景进行建模，得到背景模型；

将整幅图像每个4x4块的码书置空，码书集置为空集，将码字计数归零；

对训练帧编码码流进行读取，训练帧编码码流进行部分解码：

如果4x4块采用帧内预测编码则执行如下步骤：

(1)解码得到所属宏块类型，预测模式，量化参数，亮度残差DC系数值，色度残差值；

(2)计算帧内预测模式匹配度M_IPm；

(3)计算帧内亮度残差DC系数范围度CY_IDC；

(4)计算帧内色度残差范围度CUV_I；

(5)对比该4x4块的所有帧内预测块码书中的所***字，判断是否匹配；判断为匹配则对原来的码字进行更新操作，不匹配则创建新的码字；

如果4x4块采用帧间预测编码则执行如下步骤：

(1)解码得到所属宏块类型，子宏块类型，运动矢量，量化参数，亮度残差DC系数值；

(2)计算帧间宏块划分匹配度M_Ppm；

(3)计算帧间亮度残差DC系数范围度CY_PDC；

(4)计算帧间运动矢量范围度；

(5)对比该4x4块的所有帧间预测块码书中的所***字，判断是否匹配；判断为匹配则对原来的码字进行更新操作，不匹配则创建新的码字；

依照上述步骤对建模的视频帧进行训练，并根据每个码字的最大时间间隔in_m和码字运动矢量进行修正，修正后对每个码字的最大时间间隔in_m做出判断，判断每个码字是否属于背景模型的码书；

步骤三：检测动态目标；

通过分析视频码流编码块与背景码字是否匹配的方法进行检测，目标检测时通过视频当前帧中每个编码块和背景模型中对应的码书进行比较，采用当前帧与背景模型相减的方法，对比每一帧中每一个4x4块，若与背景模型码书中的码字匹配，则判断为背景点，并使用当前编码块对匹配码字进行更新；

如果不满足匹配条件则判断为前景目标。