CN102663375B - H.264中基于数字水印技术的主动目标识别方法 - Google Patents
H.264中基于数字水印技术的主动目标识别方法 Download PDFInfo
- Publication number
- CN102663375B CN102663375B CN201210140426.8A CN201210140426A CN102663375B CN 102663375 B CN102663375 B CN 102663375B CN 201210140426 A CN201210140426 A CN 201210140426A CN 102663375 B CN102663375 B CN 102663375B
- Authority
- CN
- China
- Prior art keywords
- frame
- target
- watermark
- present frame
- watermark information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种H.264中基于数字水印技术的主动目标识别方法,旨在解决智能视频监控***中目标识别算法存在计算复杂度大、精度不高等问题。具体是利用H.264帧间预测与编码重建的特点,在当前帧的编码重建帧中的目标区域内嵌入不同的数字水印作为目标的不变特征,在下一帧帧间预测的参考帧(上一帧的重建帧)中的目标区域内提取不同的水印信息即可实现目标识别,随后继续在重建帧的运动检测分割结果中嵌入匹配后的水印,循环处理,直至完成整段视频序列的运动目标识别。本发明具有简单、准确度高、实时性及视频编码的客观质量未受到明显影响的优点。
Description
技术领域
本发明涉及一种智能视频监控***中的目标识别方法,尤其涉及一种H.264中基于数字水印技术的主动目标识别方法。
背景技术
智能视频监控***允许用户利用安全摄像机监测并保证各区域的安全,同时降低人工成本,并提高生产效率。智能视频监控技术起源于计算机视觉技术,它对视频进行分析,从中提取信息,发现感兴趣事件,从而可以在某些场合替代人为监控或者协助人为监控。视频压缩技术的发展促进了视频监控***的数字化,节约大量的存储空间。计算机网络的普及和带宽技术的发展推动城域网视频监控成为现实,智能视频监控***开始得到规模化应用。
智能视频监控的核心内容之一是对特定目标的自动跟踪。目标跟踪可分为5个步骤,包括运动检测、目标识别、目标(类型)跟踪、行为分析和目标(个体)跟踪。对于多目标视频监控过程,人眼可以很容易的识别不同目标,但计算机只能根据算法和目标分割结果来判断不同目标,由此可以看出,目标识别是一个瓶颈问题,其精确度直接影响后续目标跟踪的效果,快速、有效地目标识别是智能视频监控***急待解决的问题。
目标识别目的是从检测到的运动区域中将特定类型物体的运动区域提取出来。现有智能视频监控***中的目标识别方法,根据利用信息的不同,可以分为基于运动特性的识别和基于形状信息的识别两类。前者利用目标运动的周期性进行识别,受颜色、光照的影响较小;而后者利用检测出的运动区域的形状特征与模板或者统计量进行匹配。但无论是相关法、模板识别法,还是不变矩法、投影法等。其中心思想都是发掘运动目标自身的不变特征,进行匹配、识别,均属于被动目标识别范畴,而在实际应用过程中,由于受距离、尺度、旋转、视角和噪声等因素的影响,现有目标识别算法都存在一定程度的误差。这样进行随后的运动目标跟踪,误差会越来越明显,甚至可能导致整个智能视频监控算法的失效。另外,国内外学者为了提高目标识别的精度,采用大量的复杂算法,虽然在一定程度上提高了识别的精度,但却很难进行实时性应用。尤其是在视频监控算法移植到压缩编码过程中的时候,计算复杂度对视频编码压缩处理时间、码长、码率的巨大影响让人难以接受。
由此,我们想到可以换一个角度考虑智能视频监控中的目标识别问题。既然提取目标自身特征的算法复杂度高不符合实时处理要求,而且总是存在着一定程度的误差而影响到后续的工作,那么是否可以放弃目标自身特征,而另外附加一个显著的特点,通过提取这种显著特征进行匹配来实现目标识别。数字水印就是附加在媒体中标识身份特征的技术。另外,H.264新增多参考帧帧间预测等技术,在压缩效率,以及网络适应性方面,都比以往的标准有明显提高。因此,基于数字水印技术,我们提出H.264视频压缩标准下的主动目标识别方法。
发明内容
本发明目的就是为了弥补已有技术的缺陷,提供一种H.264中准确度高、复杂度低的基于数字水印技术的主动目标识别方法。
本发明是通过以下技术方案实现的:
一种H.264中基于数字水印技术的主动目标识别方法,包括以下内容:
H.264视频压缩标准为帧间预测环节提供最多16帧参考帧(之前已编码的视频帧的重构帧)的存贮缓冲;参考H.264帧间预测编码的思路设计主动目标跟踪方法;视频监控场景中首次检测到运动目标时,在当前帧编码重构,并在进行环路滤波后的重建图像中,映射当前帧中目标检测、分割结果(运动目标的坐标),在重建图像每个运动目标中嵌入不同的标识水印,该重建帧将作为参考帧用于下一帧的帧间预测,这样水印信息就随着重建帧传递到下一帧的编码过程中,随后进行在下一帧(下面称“下一帧”为“当前帧”,之前的“当前帧”称为“上一帧”)编码,在编码前,将当前帧与上一帧中的目标检测结果重合的部分映射到参考帧(上一帧的重建帧,包含标识水印信息),并从映射的重叠区域中检测标识水印,完成目标匹配、识别;随后再在当前帧的编码重建图像根据当前目标匹配结果在不同目标中嵌入匹配后水印,下一帧继续当前帧操作;这样循环处理,直至完成整段视频序列的运动目标匹配。
所述的H.264中基于数字水印技术的主动目标识别方法,其特征在于:所述的H.264帧间预测是利用利用已编码视频帧/场和基于块的运动补偿的预测模式;当前帧ft(x,y)与参考帧ft-1(x,y)同时输入运动参数估值器,经搜索、比较得到运动矢量MV。此MV输入运动补偿预测器,得到预测图像,ft(x,y)与相减后得到残差图像,H.264对残差图像进行编码,可以有效压缩视频序列的帧间冗余;编码器必须有重建图像的功能,必须使残差图像经反量化、反变换后得到的与预测图像相加,再经环路滤波输出重建图像,在下一帧预测时即用作参考图像。
所述的H.264中基于数字水印技术的主动目标识别方法,包括以下内容:
水印的嵌入
当首次检测到运动目标时,在当前帧编码重构,并在进行环路滤波后的重建帧中,映射当前帧中目标检测、分割运动目标的坐标的结果,在重建帧每个运动目标分割范围中像素的LSB中嵌入不同标识的水印信息,如下式所示:
Y′n(x,y)=Yn(x,y)+(N+n-Yn(x,y)modN)modN
N为当前帧帧间编码重建帧中的运动目标数,n为目标的序号(0≤n≤N-1),Yn(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)的亮度值,
Y′n(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)嵌入水印后的亮度值;
水印信息提取
所述的重建帧作为参考帧用于下一帧的帧间预测,水印信息就随着重建帧传递到下一帧的编码过程中,随后进行下一帧(“下一帧”为“当前帧”,之前的“当前帧”为“上一帧”)的编码,在下一帧编码前,将当前帧与上一帧的目标检测结果重合部分映射到所述的参考帧,在参考帧中的重叠部分映射区域中检测水印信息,完成目标匹配、识别,水印信息的提取如下式所示:
NWn =num{Wn|Wn=Y′(x,y)modN,(x,y)∈Ω重合}
NWni=max{NWn|n=0,1,...,N-1},Ω重合∈ObjectWni
对重合部分Ω重合中的像素提取水印信息Wn(0≤n≤N-1),并分别计数为NWn,取最大值NWni,像素点(x,y)所在的分割区域属于目标ObjectWni;
目标匹配
随后再在当前帧帧间编码重建帧,根据目标匹配结果继续在不同目标中嵌入匹配后的水印信息;这样循环处理,直至完成序列中所有帧的运动目标匹配、识别。
本发明提出主动目标识别概念,在运动目标检测、分割结果(即不同的运动目标)中嵌入不同的数字水印。在下一帧预测编码时,通过在不同目标中提取水印信息即可实现目标识别。这里,主动目标识别思想存在一个水印信息传递问题。视频帧是由若干图像组成,嵌入到当前帧运动目标中的水印无法自动传递到下一帧图像中,如果无法解决水印在帧与帧之间的传递问题,主动目标识别将无法实现。
本发明从另一个角度思考智能视频监控中的目标识别问题,放弃原本目标提取方法通过发掘目标自身特征进行识别、匹配的思路,而提出了主动目标识别的概念,对运动目标附加一个显著的特点,即标识水印,并通过“重建帧运动目标中嵌入水印(当前帧编码)、参考帧运动目标中提取水印(下一帧预测)”的循环模式,完成目标匹配。
本发明的性能分析
本发明在H.264/AVC的参考软件JM 11.0上进行了仿真。采用hall.yuv(Qcif)标准序列,参考软件的编码配置为encoder_baseline.cfg,具体参数如表1 所示:
表1 编码器主要配置参数
(1)参数指标
为了进一步评估算法的性能,引入了比特率变化(BRI)、PSNR 变化等指标客观的说明本算法的优越性能。
表2 对hall.yuv序列测试的实验结果
从表2可以得出算法快速地实现运动目标匹配,植入本算法前后视频亮度、色度分量PSNR 值仅有微小的变化,即编码视频的客观质量未受到明显影响。此外H.264其余编码参数变化也及其细微,这也就说明本算法可以很好地保证H.264压缩编码平台的各项参数性能。
本发明采用的视频检测、分割以及是目标识别方法运算速度快、占用资源低、效果良好。
(2)目标识别先期工作结果
本发明在进行目标识别实验仿真前,先采用背景减法进行目标检测,并加入膨胀处理使目标区域成为连通区域,参加目标检测的准确性,结果如图1所示。随后在目标检测结果基础上,采用坐标映射分割法[1]的方法进行目标分割,结果如图2所示。
(3)主动目标识别结果
算法的在目标检测、分割的结果基础上,参考H.264帧间预测编码的思路,设计基于水印技术的主动目标识别算法。方法简单高效,效果如图3所示。
附图说明
图1为目标检测结果,其中,图(a)为第100帧图像;图(b)为目标检测初步结果;图(c)为目标检测膨胀结果。
图2为目标分割结果,其中,图(a)为第60帧图像;图(b)为第100帧图像;图(c)为第175帧图像。
图3为目标识别结果,其中,图(a)为第60帧图像;图(b)为第100帧图像;图(c)为第175帧图像。
图4为本发明算法的流程图。
具体实施方式
如图4所示的算法流程图。
一种H.264中基于数字水印技术的主动目标识别方法,其特征在于:包括以下内容:
H.264视频压缩标准为帧间预测环节提供最多16帧参考帧(之前已编码的视频帧的重构帧)的存贮缓冲;参考H.264帧间预测编码的思路设计主动目标跟踪方法;视频监控场景中首次检测到运动目标时,在当前帧编码重构,并在进行环路滤波后的重建图像中,映射当前帧中目标检测、分割结果(运动目标的坐标),在重建图像每个运动目标中嵌入不同的标识水印,该重建帧将作为参考帧用于下一帧的帧间预测,这样水印信息就随着重建帧传递到下一帧的编码过程中,随后进行在下一帧(下面称“下一帧”为“当前帧”,之前的“当前帧”称为“上一帧”)编码,在编码前,将当前帧与上一帧中的目标检测结果重合的部分映射到参考帧(上一帧的重建帧,包含标识水印信息),并从映射的重叠区域中检测标识水印,完成目标匹配、识别;随后再在当前帧的编码重建图像根据当前目标匹配结果在不同目标中嵌入匹配后水印,下一帧继续当前帧操作;这样循环处理,直至完成整段视频序列的运动目标匹配。
所述的H.264中基于数字水印技术的主动目标识别方法,其特征在于:所述的H.264帧间预测是利用利用已编码视频帧/场和基于块的运动补偿的预测模式;当前帧ft(x,y)与参考帧ft-1(x,y)同时输入运动参数估值器,经搜索、比较得到运动矢量MV。此MV输入运动补偿预测器,得到预测图像,ft(x,y)与相减后得到残差图像,H.264对残差图像进行编码,可以有效压缩视频序列的帧间冗余;编码器必须有重建图像的功能,必须使残差图像经反量化、反变换后得到的与预测图像相加,再经环路滤波输出重建图像,在下一帧预测时即用作参考图像。
所述的H.264中基于数字水印技术的主动目标识别方法,其特征在于:包括以下内容:
水印的嵌入
当首次检测到运动目标时,在当前帧编码重构,并在进行环路滤波后的重建帧中,映射当前帧中目标检测、分割运动目标的坐标的结果,在重建帧每个运动目标分割范围中像素的LSB中嵌入不同标识的水印信息,如下式所示:
Y′n(x,y)=Yn(x,y)+(N+n-Yn(x,y)modN)modN
N为当前帧帧间编码重建帧中的运动目标数,n为目标的序号(0≤n≤N-1),Yn(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)的亮度值,
Y′n(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)嵌入水印后的亮度值;
水印信息提取
所述的重建帧作为参考帧用于下一帧的帧间预测,水印信息就随着重建帧传递到下一帧的编码过程中,随后进行下一帧(“下一帧”为“当前帧”,之前的“当前帧”为“上一帧”)的编码,在下一帧编码前,将当前帧与上一帧的目标检测结果重合部分映射到所述的参考帧,在参考帧中的重叠部分映射区域中检测水印信息,完成目标匹配、识别,水印信息的提取如下式所示:
NWn =num{Wn|Wn=Y′(x,y)modN,(x,y)∈Ω重合}
NWni=max{NWn|n=0,1,...,N-1},Ω重合∈ObjectWni
对重合部分Ω重合中的像素提取水印信息Wn(0≤n≤N-1),并分别计数为NWn,取最大值NWni,像素点(x,y)所在的分割区域属于目标ObjectWni;
目标匹配
随后再在当前帧帧间编码重建帧,根据目标匹配结果继续在不同目标中嵌入匹配后的水印信息;这样循环处理,直至完成序列中所有帧的运动目标匹配、识别。
Claims (2)
1.一种H.264视频压缩标准中基于数字水印技术的主动目标识别方法,其特征在于:包括以下内容:
H.264视频压缩标准为帧间预测环节提供最多16帧参考帧的存贮缓冲,参考帧为之前已编码的视频帧的重构帧;视频监控场景中首次检测到运动目标时,在当前帧编码重构,并在进行环路滤波后的重建图像中,映射当前帧中目标检测和分割结果即运动目标的坐标,在重建图像每个运动目标中嵌入不同的标识水印,该重建帧将作为参考帧用于下一帧的帧间预测,这样水印信息就随着重建帧传递到下一帧的编码过程中,随后进行下一帧编码,“下一帧”为“当前帧”,之前的“当前帧”为“上一帧”,在编码前,将当前帧与上一帧中的目标检测结果重合的部分映射到参考帧即上一帧的重建帧,包含标识水印信息,并从映射的重叠区域中检测标识水印,完成目标匹配、识别;随后再在当前帧的编码重建图像根据当前目标匹配结果在不同目标中嵌入匹配后水印,下一帧继续当前帧操作;这样循环处理,直至完成整段视频序列的运动目标匹配;
具体水印的嵌入、水印信息提取和目标匹配步骤如下:
水印的嵌入
当首次检测到运动目标时,在当前帧编码重构,并在进行环路滤波后的重建帧中,映射当前帧中目标检测和分割运动目标的坐标的结果,在重建帧每个运动目标分割范围中像素的LSB中嵌入不同标识的水印信息,如下式所示:
Y′n(x,y)=Yn(x,y)+(N+n-Yn(x,y)modN)modN
N为当前帧帧间编码重建帧中的运动目标数,n为目标的序号(0≤n≤N-1),Yn(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)的亮度值,
Y′n(x,y)为该重建帧中第n个目标分割矩阵内的像素点(x,y)嵌入水印后的亮度值;
水印信息提取
所述的重建帧作为参考帧用于下一帧的帧间预测,水印信息就随着重建帧传递到下一帧的编码过程中,随后进行下一帧,“下一帧”为“当前帧”,之前的“当前帧”为“上一帧”的编码,在下一帧编码前,将当前帧与上一帧的目标检测结果重合部分映射到所述的参考帧,在参考帧中的重叠部分映射区域中检测水印信息,完成目标匹配、识别,水印信息的提取如下式所示:
NWn =num{Wn|Wn=Y′(x,y)modN,(x,y)∈Ω重合}
NWni=max{NWn|n=0,1,...,N-1},Ω重合∈ObjectWni
对重合部分Ω重合中的像素提取水印信息Wn(0≤n≤N-1),并分别计数为NWn,取最大值NWni,像素点(x,y)所在的分割区域属于目标ObjectWni;
目标匹配
随后再在当前帧帧间编码重建帧,根据目标匹配结果继续在不同目标中嵌入匹配后的水印信息;这样循环处理,直至完成序列中所有帧的运动目标匹配、识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210140426.8A CN102663375B (zh) | 2012-05-08 | 2012-05-08 | H.264中基于数字水印技术的主动目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210140426.8A CN102663375B (zh) | 2012-05-08 | 2012-05-08 | H.264中基于数字水印技术的主动目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102663375A CN102663375A (zh) | 2012-09-12 |
CN102663375B true CN102663375B (zh) | 2014-02-19 |
Family
ID=46772859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210140426.8A Expired - Fee Related CN102663375B (zh) | 2012-05-08 | 2012-05-08 | H.264中基于数字水印技术的主动目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102663375B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10387920B2 (en) | 2003-12-23 | 2019-08-20 | Roku, Inc. | System and method for offering and billing advertisement opportunities |
US9865017B2 (en) | 2003-12-23 | 2018-01-09 | Opentv, Inc. | System and method for providing interactive advertisement |
EP2722808A1 (en) * | 2012-09-17 | 2014-04-23 | OpenTV, Inc. | Automatic localization of advertisements |
CN107908647A (zh) * | 2017-10-10 | 2018-04-13 | 天津大学 | 一种基于数字水印的分级视频检索方法 |
CN108235119B (zh) * | 2018-03-15 | 2021-02-19 | 联想(北京)有限公司 | 视频处理方法及装置、电子设备和计算机可读介质 |
CN110720224B (zh) * | 2018-07-05 | 2021-12-17 | 深圳市大疆创新科技有限公司 | 图像处理方法和装置 |
CN110418209B (zh) * | 2019-06-24 | 2021-07-20 | 荣耀终端有限公司 | 一种应用于视频传输的信息处理方法及终端设备 |
CN111954086B (zh) * | 2020-08-19 | 2022-10-14 | 浙江无极互联科技有限公司 | 一种隐形视频版权水印方法 |
CN112862654B (zh) * | 2021-01-26 | 2022-08-30 | 合肥工业大学 | 基于关系型和线性内插相结合的盲水印嵌入和提取方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006222764A (ja) * | 2005-02-10 | 2006-08-24 | Nagoya Institute Of Technology | 不正者追跡型電子透かし |
CN101610408A (zh) * | 2008-06-16 | 2009-12-23 | 北京智安邦科技有限公司 | 视频保护置乱方法和结构 |
-
2012
- 2012-05-08 CN CN201210140426.8A patent/CN102663375B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102663375A (zh) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102663375B (zh) | H.264中基于数字水印技术的主动目标识别方法 | |
CN110084156B (zh) | 一种步态特征提取方法及基于步态特征的行人身份识别方法 | |
CN103475882B (zh) | 监控视频的编码、识别方法和监控视频的编码、识别*** | |
CN103069802B (zh) | 重构图像的当前块的方法和对应的编码方法、对应的装置 | |
CN101427581B (zh) | 基于视觉的压缩 | |
CN110009621B (zh) | 一种篡改视频检测方法、装置、设备及可读存储介质 | |
KR102261669B1 (ko) | 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 | |
CN113705426B (zh) | 人脸校验方法、装置、服务器及可读存储介质 | |
CN104268900A (zh) | 一种运动目标检测方法及装置 | |
CN109660762B (zh) | 智能抓拍装置中大小图关联方法及装置 | |
WO2016095696A1 (zh) | 一种基于视频大纲的监控视频可伸缩编码方法 | |
Wang et al. | Scalable facial image compression with deep feature reconstruction | |
CN102457724B (zh) | 一种图像运动检测***及方法 | |
CN116156196B (zh) | 一种用于视频数据的高效传输方法 | |
CN104320622A (zh) | 一种开源服务器软件的嵌入式视频增强*** | |
CN116095347B (zh) | 基于视频分析的建筑工程安全施工方法及*** | |
CN115713682A (zh) | 基于改进yolov5s的安全帽佩戴检测算法 | |
CN116052090A (zh) | 图像质量评估方法、模型训练方法、装置、设备及介质 | |
Zhao et al. | Intelligent analysis oriented surveillance video coding | |
CN116233479A (zh) | 基于数据处理的直播信息内容审核***及方法 | |
CN114550291A (zh) | 一种步态特征提取方法、装置及设备 | |
CN101620734A (zh) | 运动检测方法及装置、背景模型建立方法及装置 | |
CN114913457A (zh) | 一种应用于元宇宙的边云协同编码方法及*** | |
CN115459780A (zh) | 数据压缩的方法、数据解压缩的方法和相关设备 | |
CN110889894A (zh) | 三维人脸重建方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140219 Termination date: 20210508 |