CN110659679B - 一种基于自适应滤波与耦合性编码的图像来源鉴别方法 - Google Patents

Abstract

一种基于自适应滤波与耦合性编码的图像来源鉴别方法,属于计算机图像处理技术领域。技术方案：提取相机的原始特征，通过多层卷积提取图像的内容特征，从原始特征中适应性移除内容特征得到便于分类的属性信息；采用多任务训练的方式递进回归类别，使用单个模型同时对相机的品牌、型号、设备进行分类；采用耦合式编码方法保证子分类器可以反作用于父类分类器从而提升父类分类器的精确率；通过适当增加编码方法的冗余度，将已分类模型作为对新相机类别进行分类的预训练模型，可以大大减少训练时间。有益效果是:本发明用新的编码方法，引入了相机三种类别之间的耦合性，使得三种类别互相促进，从而提升了相机型号来源鉴别准确率。

Description

一种基于自适应滤波与耦合性编码的图像来源鉴别方法

技术领域

本发明属于计算机图像处理技术领域，尤其涉及一种基于自适应滤波与耦合性编码的图像来源鉴别方法。

背景技术

随着多媒体技术的迅速发展，数字图像越来越成为人们表达思想的一种重要方式。数字图像在很多场合有很重要的应用，例如作为刑事调查中必不可少的证据。为了保证图片的可靠性，需要对图片的来源进行识别。随着各种强大的图像编辑软件的普及，修改数字图像变得越来越容易。这在一定程度上会引发一系列问题，例如，影响司法公正。因此，数字图像取证需要经历两个阶段。首先需要对图片进行篡改和伪造检测，然后通过近一步分析确定相机图片的可靠性来源。当图片是经过一系列操作得到的篡改图片，它也就不适用于作为可靠性证据。然后，很多盲取证算法被提出来用于鉴别图片的来源。相机的取证方法本质就是检测相机属性差异，如图一所示，相机成像需要经历一系列运算。针对成像的每一个步骤，现有的方法都提出了相应的解决方案对图片进行分类。

在过去几年中，相机取证性能有了很大提高。卷积神经网络强大的学习能力可以自动的学习分类图片中存在的差异。但是分类器的性能很大程度上依赖于训练集选取的图片数量。增加训练图片的数量在提升精度的同时也会增加训练时间。当数据量足够时，增加数据量对提升分类精度的影响较小。同时，卷积神经网络的性能会随着网络深度的增加而增加。过多的网络层数会导致训练过适应。受限于硬件设备的存储量，相机拍摄的原始图片难以直接作为卷积神经网络的输入，它会产生过多的参数量。因此，现有的深度学习的方法首先对图像进行固定尺寸的裁剪。最常用的裁剪尺寸为64x64,128x128,256x256。

相机来源取证包括对相机的品牌、型号以及设备进行取证。尽管现有的相机取证方法取得了很大提高，仍然有一些问题需要改善。首先，当对图像进行分类时，现有的方法大多只针对单个类别，例如单独对相机的型号进行分类。DING et.al提出基于卷积神经网络的多任务训练的方式同时对相机的三品牌别进行分类。实验训练集采用Dresden数据库,DING对品牌、型号、设备依次进行分类。尽管分类器对品牌的分类精确度较高，但对型号、设备的分类精确度仍有待提高。对于相机的来源分类，现有的所有方法都没有考虑到三品牌别之间的耦合性。然后，当提取相机的分类属性时，在很大程度上会受到图片内容的影响。例如，当相机在不同的环境下拍摄时，卷积神经网络可能针对图片的纹理差异对图片进行分类，而不是属性差异。因此，当对图像进行分类时，对图片的预处理是必须的。TUAMAet.al采用高通滤波器以及小波基于的去噪声滤波器去除图片的内容。然而，采用固定形式的高通滤波器可能去除相机原有的属性信息。

发明内容

为了解决上述现有技术中存在的问题，本发明提出一种基于自适应滤波与耦合性编码的图像来源鉴别方法，该方法采用残差学习的方式，使用多层卷积核提取图像的内容；采用基于残差的类别耦合式多任务训练方法提高相机来源鉴别的准确率。

技术方案如下：

一种基于自适应滤波与耦合性编码的图像来源鉴别方法，步骤如下：

S1、先通过一层卷积提取图像特征，而后通过多层卷积核提取图像内容；

S2、从图像特征中移除提取出的图像内容得到相机属性特征；

S3、使用多层RESNET结构提取图像邻域之间的相关性特征；

S4、依靠提取的相关性特征以及相机属性特征采用多任务分类器分别对相机的品牌、型号、设备进行分类。

进一步的，所述多任务分类器采用的耦合式编码如下：

T1、输入图片尺寸和标签，其中提取各个分类类别标签记为

B_label＝[1,…,1,0,…0,0,…,0]，

M_label＝[1,…,1,1,…1,0,…,0]，

D_label＝[1,…,1,1,…1,1,…,1]。

其中：B_label表示品牌目标标签，M_label表示型号目标标签，D_label表示个体目标标签；

T2、通过提取得到的特征使用全连接层生成类别标签：

conv_1,conv_2,conv_3＝Conv(Att)，

Label₁＝Softmax[FC(Conv_1)]

Label₂＝2×Softmax[FC(Conv_2)]-Label₁

Label₃＝3×Softmax[FC(Conv_3)]-Label₂-Label₁

其中：conv_1表示神经网络用于分类品牌的特征谱，conv_2表示用于分类品牌和型号的特征谱，conv_3表示用于分类品牌、型号和设备的特征谱，Att表示相关性特征以及相机属性信息，Label₁表示实际分类器分类得到的品牌标签Label₂表示型号标签，Label₃表示个体标签；

T3、对得到的类别标签构造代价函数：

Classify2(logits,label)＝-Sum(label×log(logits))

Cost_b＝Classify2[(Label₁),Label&B_label]

Cost_m＝Classify2[(Label₂),Label&M_label]

Cost_d＝Classify2[(Label₃),Label&D_label]

其中：Cost_b，Cost_m，Cost_d分别表示在实际标签的监督下，优化品牌、型号和个体的代价函数，Label表示实际标签，logits代表逻辑值。

进一步的，还包括下述步骤：

T4、构造耦合性代价函数

Cost_1＝L₁(Label₂[:b],Label₁[:b])；

Cost_2＝L₁(Label₃[:b+m],Label₂[:b+m])；

Cost＝α×Cost_b+β×Cost_m+χ×Cost_d+δ×Cost_1+ε×Cost_2

其中α+β+χ＝1，δ＝1，ε＝1；Cost_1用于提高品牌分类器和型号分类器之间的耦合性，b表示用于编码品牌的码长，Cost_2用于提高品牌分类器和型号分类器之间的耦合性，L₁表示L1正则，m表示用于编码型号的码长，Cost表示通过设置不同的超参数得到的总体代价函数；

T5、构造编码长度L，L>N,N为数据库所需要的编码总长度；

T6、构造位置分类器提取图片的局部位置信息，采用局部的位置信息作为特征对图片进行分类。

本发明的有益效果是：

本发明所述的基于自适应滤波与耦合性编码的图像来源鉴别方法采用残差学习的方式，使用多层卷积核移除图像的内容从而得到相机的属性信息；采用基于残差的类别耦合式多任务训练方法提高相机来源鉴别的准确率；通过合并每层卷积核的输出后使用1x1卷积核可以选择性地去除与分类无关的低频或者高频内容；用自适应滤波准确提取图像的属性信息，采用耦合式编码增加网络对三种相机类别之间的耦合性从而提升相机分类精确度。

附图说明

图1是包括自适应滤波器的构成以及多任务训练结构的整体结构框图；

图2是辅助分类器示意图；

图3是各类别标签代价函数相关性示意图。

具体实施方式

下面结合附图1-图3对自适应滤波与耦合性编码的图像来源鉴别方法做进一步说明。

一种基于自适应滤波与耦合性编码的图像来源鉴别方法，步骤如下：

实施例1

S1、先通过一层卷积提取图像特征，而后通过多层卷积核提取图像内容；

S2、从图像特征中移除提取出的图像内容得到相机的属性信息；

S3、使用多层RESNET结构提取图像邻域之间的相关性特征；

S4、依靠提取的相关性特征以及相机属性信息采用多任务分类器分别对相机的品牌、型号、设备进行分类。

所述多任务分类器采用的耦合式编码如下：

T1、输入图片尺寸和标签，其中提取各个分类类别标签记为

B_label＝[1,…,1,0,…0,0,…,0]，

M_label＝[0,…,0,1,…1,0,…,0]，

D_label＝[0,…,0,0,…0,1,…,1]；

其中：B_label表示品牌目标标签，M_label表示型号目标标签，D_label表示个体目标标签；

T2、通过提取得到的特征使用全连接层生成类别标签：

conv_1,conv_2,conv_3＝Conv(Att)，

Label₁＝FC(Conv_1)，

Label₂＝FC(Conv_2)-Label₁，

Label₃＝FC(Conv_3)-Label₂-Label₁，

其中：conv_1表示神经网络用于分类品牌的特征谱，conv_2表示用于分类型号的特征谱，conv_3表示用于分类设备的特征谱，Att表示相关性特征以及相机属性信息，Label₁表示实际分类器分类得到的品牌标签，Label₂表示型号标签，Label₃表示个体标签；

T3、对得到的类别标签构造代价函数：

Cost_b＝Classify[(Label₁),Label&B_label]，

Cost_m＝Classify[(Label₂),Label&M_label]，

Cost_d＝Classify[(Label₃),Label&D_label]，

Cost＝α×Cost_b+β×Cost_m+δ×Cost_d，

其中：Cost_b，Cost_m，Cost_d分别表示在实际标签的监督下，优化品牌、型号和个体的代价函数，Cost表示通过设置不同的超参数得到的总体代价函数，Label表示实际标签。

本方案提取相机的原始特征，通过多层卷积提取图像的内容特征(包含低频以及高频的内容信息)，从原始特征中适应性移除内容特征得到便于分类的属性信息。采用多任务训练的方式递进回归类别，使用单个模型同时对相机的品牌、型号、设备进行分类。采用耦合式编码方法保证子分类器可以反作用于父类分类器从而提升父类分类器的精确率。通过适当增加编码方法的冗余度，将已分类模型作为对新相机类别进行分类的预训练模型，可以大大减少训练时间。实验中发现例1会产生病态问题抵消编码的耦合性

实施例2

如图1所示，使用残差学习方法通过使用多层卷积核来提取图像内容。深度卷积核可以学习更多的高频细节，更深的网络可以更好地去除图像内容，从而使得残差网络将更容易对相机类别进行分类。当只有一个卷积核提取图像特征时，只能提取图像的低频内容。

通过使用一个卷积层来提取图像特征，然后使用多层卷积来提取图像的内容。连接多层卷积核的输出，通过1×1卷积核提取具有与图像特征相同维度的内容。为了消除更多的高频信息，增加了最后几个卷积层的特征通道的数量。CNN可以确定需要删除的内容，以便最大化保留与分类属性相关的信息。

残差学习网络破坏了原始相机图像邻域之间的相关性。因此，使用额外的卷积层提取相机图像邻域的相关信息，然后将两部分信息连接在一起作为最终输出特征。

本发明采用多任务训练的方式分别对相机的品牌、型号以及设备进行了分类。与之前的分类方法不同，为了提升分类精确度，增加相机三种分类方式之间的耦合性，本发明提出了新的分类方法。现有的方法对品牌、型号、设备进行分类时的输出类别分别为14，27，74，即每一品牌别拟合为一类。这种方法没有考虑单个相机型号的三种类别之间的相关性。多分类的方法在一定程度上会降低网络的拟合性能，输出类别越多，这种影响越显著，二分类的性能往往优于多分类。为了提高型号、设备的分类性能，本发明保证在相同的品牌、型号下分别对型号、设备进行分类，这就将无约束的多分类转变为了有约束的二分类或者三分类。其中编码方法的编码长度为

N＝b+max(m[i])+max(d[i])

i＝0,…,b-1，j＝0,…m-1，N为编码长度,b、m、d分别为品牌、型号、设备的数目。采用Dresden数据库得到最大的b、m、d分别为14、5、5。因此编码总长度可以取为24.

本发明选择Sony_DSC相机的部分设备为例。因为所有的相机设备来源于相同的品牌，所以不涉及对于品牌的分类。分类器采用全连接输出类别的形式。如，采用六位二进制编码输出类别。例如，Sony_DSC-H50_0相机品牌(b＝1)分类器输出的理想结果为100000，型号(m＝2)分类器输出的理想结果为110000，相机设备(d＝3)分类器输出的理想结果为110100，即采用递进的方式进行分类。本发明称当设备或者型号的类别小于二进制位数时(Sony_DSC-W170_0的设备数目(2)少于d)为编码冗余，例如，无编码为101001设备。当然，编码冗余会降低网络的性能。为了使耦合编码形式有效，需要满足编码冗余对于性能的影响可以忽略，同时，不同分类器之间的编码位不会相互影响(即当对设备进行分类时，品牌和型号的二进制位不会产生置位)。

现有的方法可以精确地实现对相机的品牌分类，而对相机设备的识别仍然有较大困难。卷积神经网络需要大量的数据进行训练，同时，受限于硬件设备的要求，基于卷积神经网络的方法往往采用块处理。首先将图片分成小块，然后采用批处理的方法进行训练。这种方法虽然在一定程度上降低了网络的性能，但是运行速度较快且数据较多。当数据过多时，需要大量的时间进行训练。对于部分包含单个设备的型号，它们可以基于品牌或者型号进行划分。所以，当测试网络对于区分设备的性能时，训练这部分数据会大幅度的增加网络对于设备分类的平均精确度。然而，这种方法实际上仅仅测试了网络对于型号的分类性能。

表1.数值空间的划分

	品牌	型号	设备
				FC(conv<sub>1</sub>)	[a,b]	0	0
Soft max	1	0	0
				FC(conv<sub>1</sub>)	[a,b]	10<sup>k</sup>×[a,b]	0
Soft max	0	1	0
				FC(conv<sub>1</sub>)	[a,b]	10<sup>k</sup>×[a,b]	10<sup>n</sup>×[a,b]
Soft max	0	0	1

如上所述，当采用Dresden数据库时，品牌、型号、设备的编码长度分别为14，5，5。当采用多任务方式进行训练时，采用此编码方式需要进行递进式训练，即只有在保证品牌分类准确时才能较好的训练型号。同样，在保证相机品牌、型号准确的前提下才能更好的分类设备。本发明为品牌分类器(1-bit位置1)、型号分类器(2-bit位置1)以及设备分类器(3-bit位置1)的集成。相机的品牌占据大部分二进制编码位，这也就导致在初始化时，相机品牌的准确率最低。同时，在分类时会出现型号误分类，设备分类正确的情况。因此，需要防止多任务训练中相机的分类落入局部极小点，同时保证采用递归的方式训练。如表1所示，还会产生病态问题，将三种不同的类别划分到不同的数值空间中。现有方法只是构造模型对已有的数据库进行分类，当需要对新的数据库进行分类时，需要重新训练模型，这就大大增加了网络的训练时间。通过增加冗余编码，可以使用预训练的模型对新的数据进行训练，这样可以大大减少训练时间。

现有的方法可以很好的区分相机的大部分型号，然而对部分型号，例如，D70，D70s型号的分类性能较差。因此，本发明提出了一种辅助分类器，帮助改善主分类器的分类性能。然而，这种分类方法需要对每个相机型号单独构建分类器，对内存的要求较高，所以本发明仅使用器作为辅助分类器，对主分类器难以分类的相机型号进行再分类。

如图2所示，本发明选择将不同图片的相同位置划分为同一类，即基于成像的位置分类。同时为了提高位置分类的准确性，同一张图片划分的类别不宜过多。实验中，为了保证输入与主分类器的输入相同，本发明选择批次尺寸为64(patch_size)。考虑到不同的相机类别图片的尺寸不同，本发明仅选用图片的左上角进行分类。选择区域为

input＝img[patch_size×C_line,patch_size×C_col]

其中C_line，C_col都取为20，总共分为400类。因为邻域像素之间有较大的耦合性以及数据量的限制，位置分类器(PC)的分类性能较差。可以通过划分批次尺寸时适当的设置步进值来减少相邻类别之间的耦合性以及增大patch_size的大小。尽管位置分类器分类性能较差，仍然可以提取出部分有用位置信息对二值分类器进行划分。

对于任意相机类别，本发明首先单独对位置分类器进行训练。随着位置分类器对位置的分类准确率逐步提高，意味着网络能够更好的提取相机的属性信息。值得注意的是，邻域分类方法可以提取相机任意局部位置的属性信息。然而，同一相机图片经过相同(不同相机型号间处理方法不同)的后处理方法时，基于位置的分类器可能会忽略掉这部分信息。因此，本发明在基于多位置分类器的基础上，增加了额外的CNN网络，用于提取不同相机型号存在较大差异的全局信息。当对位置分类器分类完成时，固定网络参数，使用提取得到的全部特征对二值分类器进行训练。

本发明采用如下方法解决上述问题：

解决病态问题，即消除数值区间划分对耦合性的影响。

U1、提取各个分类类别标签修改为：

B_label＝[1,…,1,0,…0,0,…,0]，

M_label＝[1,…,1,1,…1,0,…,0]，

D_label＝[1,…,1,1,…1,1,…,1]。

U2、通过提取得到的特征使用全连接层生成类别标签：

conv_1,conv_2,conv_3＝Conv(Att)

其中Att代表提取出来的属性特征以及相关性特征；

然后对提取出特征处理得到相应的类别标签。

Label₁＝Softmax[FC(Conv_1)]

Label₂＝2×Softmax[FC(Conv_2)]-Label₁

Label₃＝3×Softmax[FC(Conv_3)]-Label₂-Label₁

U3、对得到的类别标签构造消除病态的代价函数：

Classify2(logits,label)＝-Sum(label×log(logits))

Cost_b＝Classify2[(Label₁),Label&B_label]

Cost_m＝Classify2[(Label₂),Label&M_label]

Cost_d＝Classify2[(Label₃),Label&D_label]

解决递归式训练以及耦合性问题，即子类分类器的分类性能可以反过来提升父类的分类精确度。

U4、构造耦合性代价函数

Cost_1＝L₁(Label₂[:b],Label₁[:b])

Cost_2＝L₁(Label₃[:b+m],Label₂[:b+m])

总体的代价损失如图3所示。

Cost＝α×Cost_b+β×Cost_m+χ×Cost_d+δ×Cost_1+ε×Cost_2

其中α+β+χ＝1，δ＝1，ε＝1。

Cost_1，Cost_2用来保证父类分类器和子类分类器对父类的分类能力相同。即型号分类器对品牌分类性能与品牌分类器对品牌分类性能相同。当两者相同但分类错误时，损失(品牌误分类损失与型号误分类损失之和)会急剧增加。

解决对新的数据集重新训练模型的问题：

U5、构造合理的编码长度L(L>N,N为数据库所需要的编码总长度)。

如表2所示，当对品牌(14类)、型号(27类)、设备(74类)进行分类时，各类别所选最小比特位数分别为14，5，5。因此采用这种编码长度最大可以对品牌(14类)、型号(70类)、设备(350类)进行编码。同时可以对品牌适当的增加冗余(6类)，此时可以对品牌(20类)、型号(100类)、设备(500类)进行编码。当对新的相机类别进行分类时，对新的相机类别设置未使用编码，采用已训练模型作为预训练模型再次训练，从而减少训练时间。

表2.冗余编码

解决部分类别分类性能较差的问题：

U6、构造位置分类器提取图片的局部位置信息，采用局部的位置信息作为特征对图片进行分类。

如图2所示，相机图片的每一位置分为1类，首先对位置分类器进行训练。位置分类器分类精确率越高，表明提取出的位置信息越丰富。但是，提取出的位置信息并非全部有利于二值分类器分类。因此本发明采用交替训练的方式，即每5个周期交替训练位置分类器和二值分类器。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于自适应滤波与耦合性编码的图像来源鉴别方法，其特征在于，步骤如下：

S1、先通过一层卷积提取图像特征，而后通过多层卷积核提取图像内容；

S2、从图像特征中移除提取出的图像内容得到相机属性特征；

S3、使用多层RESNET结构提取图像邻域之间的相关性特征；

S4、依靠提取的相关性特征以及相机属性特征采用多任务分类器分别对相机的品牌、型号、设备进行分类；

所述多任务分类器采用的耦合式编码如下：

T1、输入图片尺寸和标签，其中提取各个分类类别标签记为

B_label＝[1,…,1,0,…0,0,…,0]，

M_label＝[1,…,1,1,…1,0,…,0]，

D_label＝[1,…,1,1,…1,1,…,1]，

其中：B_label表示品牌目标标签，M_label表示型号目标标签，D_label表示个体目标标签；

T2、通过提取得到的特征使用全连接层生成类别标签：

conv_1,conv_2,conv_3＝Conv(Att)，

Label₁＝FC(Conv_1)，

Label₂＝FC(Conv_2)-Label₁，

Label₃＝FC(Conv_3)-Label₂-Label₁，

其中：conv_1表示神经网络用于分类品牌的特征谱，conv_2表示用于分类品牌和型号的特征谱，conv_3表示用于分类品牌、型号和设备的特征谱，Att表示相关性特征以及相机属性信息，Label₁表示实际分类器分类得到的品牌标签，Label₂表示型号标签，Label₃表示个体标签；

T3、对得到的类别标签构造代价函数：

Classify2(logits,label)＝-Sum(label×log(logits))

Cost_b＝Classify2[(Label₁),Label&B_label]

Cost_m＝Classify2[(Label₂),Label&M_label]

Cost_d＝Classify2[(Label₃),Label&D_label]

其中：Cost_b，Cost_m，Cost_d分别表示在实际标签的监督下，优化品牌、型号和个体的代价函数，Label表示实际标签，logits代表逻辑值；

T4、构造耦合性代价函数

Cost_1＝L₁(Label₂[:b],Label₁[:b])；

Cost_2＝L₁(Label₃[:b+m],Label₂[:b+m])；

Cost＝α×Cost_b+β×Cost_m+χ×Cost_d+δ×Cost_1+ε×Cost_2

其中α+β+χ＝1，δ＝1，ε＝1；Cost_1用于提高品牌分类器和型号分类器之间的耦合性，b表示用于编码品牌的码长，Cost_2用于提高品牌分类器和型号分类器之间的耦合性，L₁表示L1正则，m表示用于编码型号的码长，Cost表示通过设置不同的超参数得到的总体代价函数；

T5、构造编码长度L，L>N,N为数据库所需要的编码总长度；

T6、构造位置分类器提取图片的局部位置信息，采用局部的位置信息作为特征对图片进行分类。

Images