CN110121109A - 面向监控***数字视频实时溯源方法、城市视频监控*** - Google Patents

面向监控***数字视频实时溯源方法、城市视频监控*** Download PDF

Info

Publication number
CN110121109A
CN110121109A CN201910224267.1A CN201910224267A CN110121109A CN 110121109 A CN110121109 A CN 110121109A CN 201910224267 A CN201910224267 A CN 201910224267A CN 110121109 A CN110121109 A CN 110121109A
Authority
CN
China
Prior art keywords
video
real
monitoring system
noise
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910224267.1A
Other languages
English (en)
Inventor
沈玉龙
胡天柱
陈博闻
赵振
翟开放
刘宇鹃
祝幸辉
余正伟
徐旭东
林旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910224267.1A priority Critical patent/CN110121109A/zh
Publication of CN110121109A publication Critical patent/CN110121109A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于信息安全技术领域，公开了一种面向监控***数字视频实时溯源方法、城市视频监控***，包括对监控视频常用的编码方式H.264进行分析，得到监控视频的关键帧；对监控视频的关键帧进行PRNU噪声的提取；采用实时的分类方法对PRNU噪声的统计特征进行实时分类。本发明提升了视频源识别的准确率，同时使用SFFS算法可使特征维度减少并且不损失精度，这有助于减少计算时间和***复杂性；计算复杂度低且可以应用于大小不同的视频。此外，对于见得的视频处理和几何变换也是鲁棒的；对于经过基本图像处理或者几何变换的图像都表现的十分稳健。在实际的应用场景中是非常必要的。因此，该技术可以作为视频源摄像机识别的有效方法。

Description

面向监控***数字视频实时溯源方法、城市视频监控***
技术领域
本发明属于信息安全技术领域，尤其涉及一种面向监控***数字视频实时溯源方法、城市视频监控***。
背景技术
目前，最接近的现有技术：伴随着监控***规模的日益增大，平安城市视频监控技术的大规模应用以及人们对公共安全的要求日益增高，致使视频监控设备的熟练急剧增长，从城市建设到公共交通，从社区安防到生产安全，无一不需要大量的视频监控设备。在一线城市，视频监控设备的数量更是以数十万计，如此大规模的视频监控***每日都会有数以PB计的视频信息产生。因此，视频监控***中的一些安全问题也逐渐暴露出来。因为数值视频和图像具有实时性和易于理解的形式，现成为目前主要的传媒方式之一。数字技术的进步催生成本低廉的数字视频采集设备，例如移动电话、数码相机、视频监控设备等，这使得数字视听数据的生成变得更加容易。而且由于图像、视频编辑软件变得更加易于使用，修改视频的内容是非常容易的。由于视频的来源的多样性以及容易被篡改的特性，数字视频内容的认证和溯源变得更加困难。因此，需要新的技术或方法来识别图像、视频的来源并评估它们的真实性和有效性。数字视频取证技术是对视频的来源和原创性进行检测，并识别对其进行的操作。对数字视频或图像的评估和检测可以在法庭上为各种犯罪行为提供可靠地科学依据。数字视频溯源技术是数字视频取证的分支，旨在识别用于捕获数字视频的源摄像头。
纵然视频监控***目前被广泛应用于平安城市建设，但是视频监控***本身的安全问题却有待进一步研究。目前在数字多媒体取证技术方面，多媒体溯源技术的研究主要集中在是图像方面，相比而说对于视频方面的研究就要落后得很多，原因主要有以下几个：数字视频相比数字图像更具有复杂性，无论是数字采集还是压缩编码；数字视频在传输前因为数据量大而进行有损压缩，使得部分***特征丢失；视频处理技术越来越多样，进行溯源难度也越来越大。
综上所述，现有技术存在的问题是：现有的视频溯源应用于平安城市智能安防平台的视频处理和分析的相关研究并不多，面向平安城市视频监控***的视频溯源技术的研究还处于起步阶段。
解决上述技术问题的难度：一，视频相对于图像具有时间轴的复杂性；二，数字视频所属的摄像头特征提取难度大；三，日益多样化的视频处理技术使得视频溯源越来越大。
解决上述技术问题的意义：可以使得平安城市更加安全，如果发生特殊事件，可以迅速找到数字视频的源摄像头，确定其来源，对与数字取证尤其是被动取证有很大帮助。
发明内容
针对现有技术存在的问题，本发明提供了一种面向监控***数字视频实时溯源方法、城市视频监控***。
本发明是这样实现的，一种面向监控***数字视频实时溯源方法，其特征在于，所述面向监控***数字视频实时溯源方法包括：
第一步，对监控视频常用的编码方式H.264进行分析，得到监控视频的关键帧；
第二步，对监控视频的关键帧进行PRNU噪声的提取；
第三步，采用实时的分类方法对PRNU噪声的统计特征进行实时分类。
进一步，所述第一步对监控视频常用的编码方式H.264进行分析，得到监控视频的关键帧选择I帧进行PRNU噪声的提取。
进一步，所述第二步对监控视频的关键帧进行PRNU噪声的提取具体包括：
(1)PRNU噪声提取，图像采集的数学模型表示为：
yij＝fij(xij+ηij)+cij+εij；
其中，yij是传感器输出，xij表示击中传感器的光子的数量，ηij是散粒噪声，cij是暗电流噪声，εij是加性随机噪声，fij表示PRNU噪声成分；
使用基于小波的去燥滤波器对图像进行去燥；从带有PRNU为主要噪声分量的原始输入图像中减去去燥后的图像获取给定图像的噪声残差；以Ik表示原始输入图像，其大小为M×N,是对Ik进行去燥后得到的结果，是从原始图像Ik中提取到的噪声残差；
(2)特征选择和分类，用两组特征表示，第一组包括估计的PRNU噪声的高阶小波统计，第二组包括原视频帧的统计特征；将特征组合在一起，可用于视频源摄像头识别；分别对视频帧中的各个颜色通道使用Haar小波进行三级小波分解，得到9个子带；针对所有子带分别计算一阶和更高阶的统计特征，最终得到108个特征；特征集采用顺序前向特征选择算法特征选择。
进一步，所述基于小波的去燥过程具体步骤如下：
(1)使用8-tap Daubechies QMF对提取到的视频关键帧执行多级小波分解，将该帧划分成四级子带，其中垂直、水平、对角子带分别表示为：h(i,j),v(i,j),d(i,j)；
(2)用平方W×W邻域中获得的每一级子带系数的MAP估计来计算原始无噪视频帧的局部方差，其中W∈(3,5,7,9)；
(3)取计算得到的四个方差中的最小值作为局部方差的最终估计值。
σ2(i,j)＝min(σ3 2(i,j),σ5 2(i,j),σ7 2(i,j),σ9 2(i,j)),(i,j)∈J；
(4)用Weiner滤波器对小波系数的垂直分量h(i,j)进行去燥，公式为：
(5)对每个分解级别的所有子带和视频帧的每个颜色通道重复以上过程，再进行你小波变换后得到去噪图像。
进一步，所述第三步的采用实时的分类方法对PRNU噪声的统计特征进行实时分类具体包括：
(1)SVM多分类方式有：
1)一对所有；
给定m个类，需要训练m个二类分类器；其中的分类器i是将i类数据设置为正类，另外的m-1个除了i类之外的其他类全部设置为负类；对每一个类都训练一个二分类器，最终一共可以得到m个分类器；针对一个有分类需求的数据x，采用投票的方式来确定x所属的类别；
2)所有对所有；
给定m个类，对m个类中所有的类两两训练一个分类器，这样二分类器的个数总共有m(m-1)/2个；针对一个有分类需求的数据x，将要经过每一个分类器的预测，并使用投票的方式来确定x所属的类。
(2)采用十折交叉验证的方式以评估分类器的性能，数据集被分成十份，使得每一份包括原始数据集中样本数量的十分之一；从两个不同类别中选择的类样本的数量在每一份中几乎相等；轮流使用九个训练数据集用于分类器开发，并且使用剩余的一份测试数据评估构建的分类器。
本发明的另一目的在于提供一种应用所述面向监控***数字视频实时溯源方法的城市视频监控***。
综上所述，本发明的优点及积极效果为：本发明提出了基于小波去噪的PRNU估计方法，并且用高阶小波统计(HOWS)表示。实验证明该方法提升了视频源识别的准确率，同时使用SFFS算法可使特征维度减少并且不损失精度，这有助于减少计算时间和***复杂性。该算法计算复杂度低且可以应用于大小不同的视频。此外，不需要任何预处理方法。而且对于见得的视频处理和几何变换也是鲁棒的。基于小波去噪的PRNU估计方法具有视频源识别的能力，即便是视频是从类似的摄像机以及类似的场景中捕获的。本发明基于PRNU特征的新方法对于经过基本图像处理或者几何变换的图像都表现的十分稳健。这在实际的应用场景中是非常必要的。因此，可以作为视频源摄像机识别的有效方法。
附图说明
图1是本发明实施例提供的面向监控***数字视频实时溯源方法流程图。
图2是本发明实施例提供的分别使用I、GOP、P帧的溯源准确率比较示意图。
图3是本发明实施例提供的PRNU噪声的估计示意图。
图4是本发明实施例提供的计算图像特征集示意图。
图5是本发明实施例提供的来自两个摄像机的HOWS特征示意图。
图6是本发明实施例提供的来自三个摄像机的HOWS特征示意图。
图7是本发明实施例提供的特征选择算法流程图。
图8是本发明实施例提供的使用(a)HK1和(b)TD1拍摄的视频帧样本示意图。
图9是本发明实施例提供的使用(a)HK3和(b)TD1拍摄的类似场景视频帧样本示意图。
图10是本发明实施例提供的本发明算法与传统算法性能比较示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有的视频溯源应用于平安城市智能安防平台的视频处理和分析的相关研究并不多的问题。本发明基于PRNU特征的新方法对于经过基本图像处理或者几何变换的图像都表现的十分稳健。这在实际的应用场景中是非常必要的。可以作为视频源摄像机识别的有效方法。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示，本发明实施例提供的面向监控***数字视频实时溯源方法包括以下步骤：
S101：对监控视频常用的编码方式H.264进行分析，得到监控视频的关键帧；
S102：对监控视频的关键帧进行PRNU噪声的提取；
S103：采用实时的分类方法对PRNU噪声的统计特征进行实时分类。
下面结合附图对本发明的应用原理作进一步的描述。
1、视频关键帧选取方法
目前主流视频监控设备均采用H.264编码方式，在H.264协议中定义了三种帧，完整编码的帧叫I帧，参考之前的I帧生成的只包含差异部分编码的帧叫P帧，还有一种参考前后帧的编码叫B帧。I帧为帧内编码帧，可以理解为这一帧画面的完整保留，故解码时只需要本身的数据即可完成，不需要参考其他帧。因此，I帧可作为提取PRNU噪声的关键帧。如图2所示，在GOP组合帧中提取PRNU噪声，需要累计大约200帧才能提取到完整的PRNU噪声，而在P帧中提取PRNU噪声则需要更多的P帧。而在I帧中提取PRNU噪声只需大约60帧即可提取到完整的PRNU噪声。由此可见，在I帧中提取PRNU噪声是效率最高的提取方式。因此，本发明选择I帧进行PRNU噪声的提取。
2、传感器PRNU噪声提取方法
①PRNU噪声提取
图像采集的数学模型可以表示为：
yij＝fij(xij+ηij)+cij+εij；
其中，yij是传感器输出，xij表示击中传感器的光子的数量，ηij是散粒噪声，cij是暗电流噪声，εij是加性随机噪声，fij表示PRNU噪声成分。确定图像中的噪声分量f是确定图像来源相机的必要条件。与原始图像的统计特征相比，提取PRNU噪声的统计特征更有利于识别图像的源相机。目前，最有效的PRNU噪声提取方式是利用小波去燥从图像中估计PRNU噪声。使用噪声残差的有点在于，图像中存在的低频分量会被自动抑制。计算过程如图3所示。
使用基于小波的去燥滤波器对图像进行去燥。从带有PRNU为主要噪声分量的原始输入图像中减去去燥后的图像来获取给定图像的噪声残差。以Ik表示原始输入图像，其大小为M×N,是对Ik进行去燥后得到的结果，是从原始图像Ik中提取到的噪声残差。
基于小波的去燥过程分两步简历。第一步中执行图像方差的估计，第二步则使用Weiner滤波器得到去噪图像。具体算法步骤如下：
(1)使用8-tap Daubechies QMF对提取到的视频关键帧执行多级小波分解，将该帧划分成四级子带，其中垂直、水平、对角子带分别表示为：h(i,j),v(i,j),d(i,j)。
(2)用平方W×W邻域中获得的每一级子带系数的MAP估计来计算原始无噪视频帧的局部方差，其中W∈(3,5,7,9)。
(3)取计算得到的四个方差中的最小值作为局部方差的最终估计值。
σ2(i,j)＝min(σ3 2(i,j),σ5 2(i,j),σ7 2(i,j),σ9 2(i,j)),(i,j)∈J；
(4)用Weiner滤波器对小波系数的垂直分量h(i,j)进行去燥，公式为：
(5)以此类推，对每个分解级别的所有子带和视频帧的每个颜色通道重复以上过程，再进行你小波变换后得到去噪图像。通常情况下选取σ0＝5的情况，在此情况下可以在复杂的噪声成分中提取PRNU值。
②特征选择和分类
在根据视频帧估计PRNU模式噪声之后，需要通过可以用于分类的特征来表示PRNU噪声。本发明拟用两组特征来表示它们，第一组包括估计的PRNU噪声的高阶小波统计，第二组包括原视频帧的统计特征。将这些特征组合在一起，可用于视频源摄像头识别。
本发明所提出的基于特征的源摄像机识别方法使用HOWS特征，通过该特征可以捕获估计的PRNU噪声的系数分布。HOWS是建立在多尺度小波分解的基础上，用于分析自然图像的统计模型。该方法基于可分离的正交镜像滤波器的PRNU图像的分解(QMF)，将频率空间分成多个尺度和方向，在每个分解级别上产生水平(LH)，垂直(HL)和对角线(HH)三个自带。针对每个自带系数计算均值、方差、偏度和峰度等统计特征，如图4所示：
该方法分别对视频帧中的各个颜色通道使用Haar小波进行三级小波分解，得到9个子带。针对所有子带分别计算一阶和更高阶的统计特征，最终得到108个特征。这些特征包括空间域特征，例如原始视频帧和图像PRNU的均值和方差，总共有120个特征。这些特征显示了不同摄像机拍摄的视频之间具有明显的区别，因此可以用于视频的源相机识别。图5，图6分别显示了属于两个和三个不同摄像机拍摄的视频的特征分布。
散点图描绘了不同摄像机的特征，可以看出图中不同摄像机的特征可以明显区分出来。但是随着源摄像机数量的增加，不同摄像机的特征之间会产生一些重叠。每个提取到的特征并不是都具有辨别各种类别的特征，并且其中有一些特征是多余的。为了优化这个大的特征集，本发明采用顺序前向特征选择(SFFS)算法用于特征选择。
顺序前向特征选择方案分析了大量特征以消除冗余特征，并且仅选择对分类有效的重要特征。该算法同时应用于从所有视频中提取的整个特征集。算法流程如图7。
在每个步骤中，支持向量机(SVM)根据识别准确度来评估所选特征集的性能。
3.SVM和交叉验证方式
本发明使用SVM分类器识别测试视频的源摄像机，利用自已知源类别的特征训练分类器来完成源摄像机识别。并使用多种不同的内核函数和成本参数来评估分类器的性能以选择最佳的参数。SVM是一种典型的二类分类器。然而现实中要解决的问题，往往是多分类的问题。在本发明中，当需要识别多个设备中的一个时，就必须用到多分类的SVM。用SVM解决多分类问题，主要方法就是训练多个二分类器。SVM多分类方式有以下两种：
(1)一对所有(One-Versus-All,OVA)
给定m个类，需要训练m个二类分类器。其中的分类器i是将i类数据设置为正类，另外的m-1个除了i类之外的其他类全部设置为负类。如此，对每一个类都训练一个二分类器，这样，最终一共可以得到m个分类器。针对一个有分类需求的数据x，采用投票的方式来确定x所属的类别。例如使用分类器i对数据x进行预测，如果得到的结果是正类，则说明分类器i对数据x的分类结果为x属于i类，则i类得到一票。若得到的结果是负类，则说明x不属于i类，则除了i类之外的其他类将得到一票。最终统计得票数量最多的类，即为x所属的类。
(2)所有对所有(All-Versus-All,AVA)
给定m个类，对m个类中所有的类两两训练一个分类器，这样二分类器的个数总共有m(m-1)/2个。针对一个有分类需求的数据x，它将要经过每一个分类器的预测，并使用投票的方式来确定x所属的类。但是，此方法的缺点是，其需要的分类器数量大，并且在进行分类预测时，有可能会存在几个类票数相同的状况，这样数据x就可能属于多个类，从而严重影响分类的精度。
此外，对于分类器性能的分析，本发明采用十折交叉验证的方式以评估分类器的性能。在该过程中，整个数据集被分成十份，使得每一份包括原始数据集中样本数量的十分之一。从两个不同类别中选择的类样本的数量在每一份中几乎相等。轮流使用九个训练数据集用于分类器开发，并且使用剩余的一份测试数据评估构建的分类器。每次评估实验都会得出相应的正确率，对十次实验结果得到的正确率做平均值，得到算法的精确估计值，通常情况下还要进行多次十折交叉验证，然后再求平均，即可得到对算法准确性的估计。
下面结合实验对本发明的应用效果做详细的描述。
本发明提出的基于PRNU的摄像机溯源方法的实验室通过使用从11个不同的摄像机所捕获的视频来执行的。表1总结了实验中使用的摄像机以及其属性，其中包括6个不同品牌的摄像机，如HKVISION，DAHUA，Tiandy，uniview，HANBANG和JOVISION。同一品牌中包括不同型号的摄像机。如三个HKVISION的型号，DAHUA和Tiandy各两个型号。选择同一设备的两个传感器尺寸相同且分辨率相同的设备是为了分析算法在最坏情况下的性能。
表1实验中使用的设备及属性
如图8所示，该数据集的样本图像来自于两个不同的摄像机，两个摄像机分别拍摄不同的场景。此外，实验还采集了来自两个不同摄像机(即HKVISION DS-2CD6233F和TiandyTC-NC9201S3E-2MP-E-I3S)拍摄的类似场景的图像作为另外一个数据集。该数据集的样本视频帧如图9所示。
首先，使用来自两个摄像机组的视频评估所提出的算法的性能，摄像机组如表2所示。
表2实验设备分组
经过实验得到分类结果，如表3所示。第1组，第2组，第3组，第4组分别获得100％，99.25％，95.25％，96.50％的平均准确率。这些结果表明，所提出的算法能够识别源摄像机，并且不受摄像机品牌、型号和拍摄场景内容的影响。当源摄像机属于不同制造商和型号时，分类的性能更加理想。而当使用两个同品牌同型号的摄像机进行试验时，分类效果稍差一些。
表3两个摄像机的分类准确率
以上分析了仅有两个摄像机条件下的分类算法性能。下面通过增加摄像机的数量来评估算法的性能，并使用多分类SVM进行分类。表4显示了在实验中使用不同数量的摄像机时算法的性能。从结果可以看出，当源摄像机的数量增加时，算法的分类性能略有下降。这是由于当使用来自多个源摄像机的视频特征的重叠引起的。因此，实验结果证明了即使具有更多数量的摄像机类别，属于各种摄像机类别的特征仍然是可分离的。
表4使用不同数量的摄像机进行性能分析
为了进一步评估算法性能，实验选取来自8个不同相机的视频来形成大量的相机组，SFFS算法选取了56个用于分类的判别特征。表5显示了8个摄像机组的分类结果。
表5 8个摄像机组的算法性能评估
以上实验的平均识别准确率为96.375％。从结果中可以看出，常见的错误分类是在相同的摄像机型号之间或者是同一品牌的不同型号之间。从相同型号或者品牌的摄像机捕获的视频具有一些共同特征，这些特征导致少数错误分类。
本发明提出的基于小波的去噪方法与传统的基于高斯的去噪方法相比较，针对8个摄像机组的源识别问题，基于小波去噪的方法获得了96.375％的平均识别准确率，相比于基于高斯的去噪方法所获得的85％的平均识别准确率有较大幅度的提升。因此，使用基于小波去噪估计PRNU的方法用于视频溯源性能要优于传统的高斯去噪方法。
在实际情况中，大多数视频可能经过一些基本的视频处理，例如调整大小，旋转，H.264压缩编码等。因此，当在实验中使用处理过的视频时，有必要分析算法的鲁棒性。对视频数据集使用不同的参数进行各种处理，并且使之这些被处理过的视频与原始视频一起随机混合在训练数据集和测试数据集中。对于每个摄像机，提取700个关键帧，其中100个是原始图像，300个图像经过调整大小操作，另外300个图像进行旋转操作。如表6所示。
表6关键帧处理类型及其值
使用经过处理后的视频进行试验，分别分析了在2、3、4、5个摄像机数量情况下的识别准确率。在摄像机数量为2的情况下，本发明算法的识别准确率为99.75％，传统算法为93.5％；摄像机数量为3的情况下，本发明算法的识别准确率为98.47％，传统算法为91.32％；摄像机数量为4的情况下，本发明算法的识别准确率为95.28％，传统算法为88.3％；摄像机数量为5的情况下，本发明算法的识别准确率为92.7％，传统算法为85.6％。实验结果如图10所示。
从以上实验结果可以看出，当在实验视频数据集中包含有处理后的视频时，本发明提出的算法相比于传统算法的识别率更高。这表明所提出的视频溯源算法对于基本图像处理以及几何变换是鲁棒的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向监控***数字视频实时溯源方法，其特征在于，所述面向监控***数字视频实时溯源方法包括：
第一步，对监控视频常用的编码方式H.264进行分析，得到监控视频的关键帧；
第二步，对监控视频的关键帧进行PRNU噪声的提取；
第三步，采用实时的分类方法对PRNU噪声的统计特征进行实时分类。
2.如权利要求1所述的面向监控***数字视频实时溯源方法，其特征在于，所述第一步对监控视频常用的编码方式H.264进行分析，得到监控视频的关键帧选择I帧进行PRNU噪声的提取。
3.如权利要求1所述的面向监控***数字视频实时溯源方法，其特征在于，所述第二步对监控视频的关键帧进行PRNU噪声的提取具体包括：
(1)PRNU噪声提取，图像采集的数学模型表示为：
yij＝fij(xij+ηij)+cij+εij；
其中，yij是传感器输出，xij表示击中传感器的光子的数量，ηij是散粒噪声，cij是暗电流噪声，εij是加性随机噪声，fij表示PRNU噪声成分；
使用基于小波的去燥滤波器对图像进行去燥；从带有PRNU为主要噪声分量的原始输入图像中减去去燥后的图像获取给定图像的噪声残差；以Ik表示原始输入图像，其大小为M×N,是对Ik进行去燥后得到的结果，是从原始图像Ik中提取到的噪声残差；
(2)特征选择和分类，用两组特征表示，第一组包括估计的PRNU噪声的高阶小波统计，第二组包括原视频帧的统计特征；将特征组合在一起，可用于视频源摄像头识别；分别对视频帧中的各个颜色通道使用Haar小波进行三级小波分解，得到9个子带；针对所有子带分别计算一阶和更高阶的统计特征，最终得到108个特征；特征集采用顺序前向特征选择算法特征选择。
4.如权利要求3所述的面向监控***数字视频实时溯源方法，其特征在于，所述基于小波的去燥过程具体步骤如下：
(1)使用8-tap Daubechies QMF对提取到的视频关键帧执行多级小波分解，将该帧划分成四级子带，其中垂直、水平、对角子带分别表示为：h(i,j),v(i,j),d(i,j)；
(2)用平方W×W邻域中获得的每一级子带系数的MAP估计来计算原始无噪视频帧的局部方差，其中W∈(3,5,7,9)；
(3)取计算得到的四个方差中的最小值作为局部方差的最终估计值；
σ2(i,j)＝min(σ3 2(i,j),σ5 2(i,j),σ7 2(i,j),σ9 2(i,j)),(i,j)∈J；
(4)用Weiner滤波器对小波系数的垂直分量h(i,j)进行去燥，公式为：
(5)对每个分解级别的所有子带和视频帧的每个颜色通道重复以上过程，再进行你小波变换后得到去噪图像。
5.如权利要求1所述的面向监控***数字视频实时溯源方法，其特征在于，所述第三步的采用实时的分类方法对PRNU噪声的统计特征进行实时分类具体包括：
(1)SVM多分类方式有：
1)一对所有；
给定m个类，需要训练m个二类分类器；其中的分类器i是将i类数据设置为正类，另外的m-1个除了i类之外的其他类全部设置为负类；对每一个类都训练一个二分类器，最终一共可以得到m个分类器；针对一个有分类需求的数据x，采用投票的方式来确定x所属的类别；
2)所有对所有；
给定m个类，对m个类中所有的类两两训练一个分类器，这样二分类器的个数总共有m(m-1)/2个；针对一个有分类需求的数据x，将要经过每一个分类器的预测，并使用投票的方式来确定x所属的类；
(2)采用十折交叉验证的方式以评估分类器的性能，数据集被分成十份，使得每一份包括原始数据集中样本数量的十分之一；从两个不同类别中选择的类样本的数量在每一份中几乎相等；轮流使用九个训练数据集用于分类器开发，并且使用剩余的一份测试数据评估构建的分类器。
6.一种应用权利要求1～5任意一项所述面向监控***数字视频实时溯源方法的城市视频监控***。
CN201910224267.1A 2019-03-22 2019-03-22 面向监控***数字视频实时溯源方法、城市视频监控*** Pending CN110121109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910224267.1A CN110121109A (zh) 2019-03-22 2019-03-22 面向监控***数字视频实时溯源方法、城市视频监控***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910224267.1A CN110121109A (zh) 2019-03-22 2019-03-22 面向监控***数字视频实时溯源方法、城市视频监控***

Publications (1)

Publication Number Publication Date
CN110121109A true CN110121109A (zh) 2019-08-13

Family

ID=67520656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910224267.1A Pending CN110121109A (zh) 2019-03-22 2019-03-22 面向监控***数字视频实时溯源方法、城市视频监控***

Country Status (1)

Country Link
CN (1) CN110121109A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160122A (zh) * 2019-12-11 2020-05-15 桂林长海发展有限责任公司 一种飞机机型识别方法、装置及存储介质
CN111178204A (zh) * 2019-12-20 2020-05-19 深圳大学 一种视频数据编辑识别方法、装置、智能终端及存储介质
CN111553848A (zh) * 2020-03-20 2020-08-18 西安电子科技大学 监控视频溯源处理方法、***、存储介质、视频监控终端
CN112991345A (zh) * 2021-05-11 2021-06-18 腾讯科技（深圳）有限公司 图像真伪检测方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408728A (zh) * 2014-12-03 2015-03-11 天津工业大学 一种基于噪声估计的伪造图像检测方法
CN108154080A (zh) * 2017-11-27 2018-06-12 北京交通大学 一种视频设备快速溯源的方法
CN108257123A (zh) * 2018-01-11 2018-07-06 西京学院 基于高阶统计特征的多波段雷达图像变化检测方法
CN108259791A (zh) * 2018-01-05 2018-07-06 南京信息工程大学 一种从视频文件中提取prnu噪声的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408728A (zh) * 2014-12-03 2015-03-11 天津工业大学 一种基于噪声估计的伪造图像检测方法
CN108154080A (zh) * 2017-11-27 2018-06-12 北京交通大学 一种视频设备快速溯源的方法
CN108259791A (zh) * 2018-01-05 2018-07-06 南京信息工程大学 一种从视频文件中提取prnu噪声的方法
CN108257123A (zh) * 2018-01-11 2018-07-06 西京学院 基于高阶统计特征的多波段雷达图像变化检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
J.LUKAS等: "Digital camera identification from sensor pattern noise", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》 *
周牒岚: "基于PRNU与多重分形谱特征的数字图像来源取证", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
邓磊，关佶红: "《基于机器学习的蛋白质相互作用与功能预测》", 31 May 2018 *
陈竟博: "基于颜色特征的计算机辅助舌诊分类模型", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
雎悦: "面向监控***的视频源识别及伪造检测技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160122A (zh) * 2019-12-11 2020-05-15 桂林长海发展有限责任公司 一种飞机机型识别方法、装置及存储介质
CN111178204A (zh) * 2019-12-20 2020-05-19 深圳大学 一种视频数据编辑识别方法、装置、智能终端及存储介质
CN111178204B (zh) * 2019-12-20 2023-05-09 深圳大学 一种视频数据编辑识别方法、装置、智能终端及存储介质
CN111553848A (zh) * 2020-03-20 2020-08-18 西安电子科技大学 监控视频溯源处理方法、***、存储介质、视频监控终端
CN111553848B (zh) * 2020-03-20 2023-04-07 西安电子科技大学 监控视频溯源处理方法、***、存储介质、视频监控终端
CN112991345A (zh) * 2021-05-11 2021-06-18 腾讯科技（深圳）有限公司 图像真伪检测方法、装置、计算机设备和存储介质
WO2022237397A1 (zh) * 2021-05-11 2022-11-17 腾讯科技（深圳）有限公司 图像真伪检测方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
Park et al. Double JPEG detection in mixed JPEG quality factors using deep convolutional neural network
CN110121109A (zh) 面向监控***数字视频实时溯源方法、城市视频监控***
Ferrara et al. Image forgery localization via fine-grained analysis of CFA artifacts
Pan et al. Exposing image forgery with blind noise estimation
Shen et al. Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images
Saha et al. Utilizing image scales towards totally training free blind image quality assessment
Muhammad et al. Blind copy move image forgery detection using dyadic undecimated wavelet transform
CN111445454B (zh) 一种图像真伪鉴别方法及其在证照识别中的应用
CN101877127A (zh) 基于梯度剖面的图像无参考质量评价方法及***
CN111553848B (zh) 监控视频溯源处理方法、***、存储介质、视频监控终端
Su et al. A novel forgery detection algorithm for video foreground removal
Gu et al. Structural similarity weighting for image quality assessment
Singh et al. Detection and localization of copy-paste forgeries in digital videos
CN105120294B (zh) 一种jpeg格式图像来源鉴别方法
Luo A training-based no-reference image quality assessment algorithm
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
CN112801037A (zh) 一种基于连续帧间差异的人脸篡改检测方法
CN111709930A (zh) 基于模式噪声的图片出处与窜改认定方法
CN111027573B (zh) 基于盲取证技术的图像真伪鉴别方法
CN106611417A (zh) 将视觉元素分类为前景或背景的方法及装置
Qiao et al. Classifying between computer generated and natural images: An empirical study from RAW to JPEG format
Mou et al. Reduced reference image quality assessment via sub-image similarity based redundancy measurement
CN109508701B (zh) 一种人脸识别和追踪方法
CN111310528B (zh) 一种图像检测方法、身份验证方法、支付方法及装置
Zhang et al. Local binary pattern statistics feature for reduced reference image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190813

RJ01 Rejection of invention patent application after publication