CN110210498B - 基于残差学习卷积融合网络的数字图像设备取证*** - Google Patents

Abstract

本发明提供了一种基于残差学习卷积融合网络的数字图像设备取证***。主要包括：数字图像输入单元、数字图像预处理单元、图像特征提取和分类单元、数字图像设备辨别结果输出单元；数字图像预处理单元对数字图像输入单元传输过来的数字图像进行残差学习滤波处理，图像特征提取和分类单元使用权值卷积和传统卷积融合网络对预处理后的数字图像进行底层特征和高层语义特征提取，数字图像设备辨别结果输出单元根据数字图像的高层语义特征得到设备相关特征，根据设备相关特征输出数字图像的设备取证结果。本发明实施例能够在小分辨率数字图像情况下有效地对数字图像进行设备取证，有效提升数字图像的设备辨别性能。

Description

基于残差学习卷积融合网络的数字图像设备取证***

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种基于残差学习卷积融合网络的数字图像设备取证***。

背景技术

随着数字成像设备的迅速发展，便携式摄像机、数码相机和移动电话在日常生活中得到了广泛的应用。数字图像采集、发布和共享成为现代社会网络中流行的信息传输和交换手段。同时，一些强大的并且易于使用的数字图像处理软件提供了简单的工具编辑数字图像。近十年来，数字图像的安全问题引起了人们的广泛关注，特别是在司法和刑事侦查领域。因此，数字图像取证技术作为一种多媒体安全技术，可以用来验证数字图像的原始性、真实性和可靠性。这对司法公正和社会秩序具有重要意义。数字图像取证技术研究旨在回答一下几个方面的问题，首先是数字图像是由设备池中哪个设备捕获，即数字图像来源取证，其次是数字图像是否是原始数字图像或者篡改过的数字图像，然后是数字图像中哪些部分经过何种程度的篡改，最后是数字图像的处理历史辨别。作为数字图像取证的首要任务，数字图像来源取证是一项重要的研究课题。数字图像来源取证技术可以建立多媒体数字图像信息与物理设备间的映射关系。设备取证作为数字图像来源取证的主要技术可以为知识产权保护或刑事案件提供重要证据。例如，一幅具有版权保护的数字图像未经过作者授权被翻拍后重新发布。可以利用设备取证技术区分数字图像是由原始相机拍摄还是其他相机拍摄，从而判断数字图像版权归属。在刑侦案件中，犯罪调查人员可以借助设备取证技术建立违法数字图像与现实物理个体关系，从而辅助确认嫌疑犯的身份。因此，设备取证技术是迫切需要的。

设备取证作为数字图像来源取证的一个重要分支，其研究问题在于如何有效地区分数字图像采集所使用的设备型号或品牌。研究设备取证的首要任务是对相机成像原理的认知，从而提取有效特征实现多媒体数字图像信息与物理设备间的映射。相机成像的基本原理是自然景物的光线通过透镜***、组合滤波器聚集到数字图像传感器上。数字图像传感器是由若干微小的按照一定规律排列组成的像素阵列，数字图像传感器包括CCD(ChargeCoupled Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)。光传感的像素阵列将光线整合在整个光谱上，并转换成电信号。由于大部分的数字图像传感器只应用了一个CFA(color filter array，颜色滤波阵列)，即传感器输出的是单色数字图像，那么，彩色数字图像需要通过数字图像处理部分的颜色插值获得。接着，将插值数字图像进行白平衡、伽马校正等操作后，再转换成特定的数字图像格式存储得到数字照片。整个过程可以看作是一条“管道”，数字图像在这个管道中的每一步操作都会产生一些和数字图像内容无关的“指纹”，这些指纹可以用来将数字图像与其拍摄设备建立联系，从而作为设备取证的关键突破点。

针对设备取证的研究，国内外学者已提出一系列方案，例如基于镜头畸变模型、传感器灰尘模式、去马赛克、JPEG压缩、传感器模式噪声等算法进行设备取证。其中传感器模式噪声已被证明是设备取证中的非常有效的一项技术。模式噪声是由传感器制造过程中的一些不可避免的制造缺陷产生的。它是独立于相机个体的，可以用来识别同一品牌和型号的不同设备。首先，Lukas等人首次将数字图像传感器中的模式噪声作为设备固有指纹应用在相机来源取证上，使用小波去噪技术提取模式噪声，并将模式噪声作为数字图像及设备之间的连接。Chen等建立了相机摄取数字图像的简化模型，并根据该模型提出了一种对PRNU噪声进行极大似然估计的方法。由于提取的PRNU质量受数字图像内容影响较大，平滑且明亮的数字图像提取到的模式噪声效果好，纹理较多且灰暗的数字图像提取到的模式噪声质量差。为了减少数字图像内容的影响，C.Li根据数字图像内容的不同对数字图像进行等级排列，并对不同等级的模式噪声赋予不同权重系数，有抑制了纹理区域的数字图像内容的信息。X.Kang通过使用内容自适应插值算法，能够较好的插值出数字图像，尤其能保留边缘信息，这样做差分得到的残差数字图像就能够较好的减少边缘产生的影响。文章在局部离散余弦变换滤波器的基础上做了新的改进，使滤波后数字图像更能保持数字图像原有品质，因此残差数字图像中受数字图像内容影响较小。数字图像后处理阶段JPEG压缩、CFA等操作都是周期性分块操作的，会导致提取的噪声残余也存在的周期性，这会造成采用同种后处理相机指纹间有相同的周期性，造成误判率提高。为了抑制这些周期性，后续文章都采用对模式噪声的傅里叶频谱进行操作，抑制频谱中的峰值来减少周期性的影响。

上述现有技术中的设备取证方案的有效性、鲁棒性以及通用性均有一定的缺陷。传感器模式噪声虽然具有稳定的特异性，但是因其较数字图像内容信号而言属于微弱信号，所以设备取证算法的首要工作是对传感器模式噪声进行准确提取。而准确提取传感器模式噪声有两个关键问题亟待解决：

1)传感器模式噪声提取的准确程度和数字图像内容具有极强的相关性，平滑数字图像区域提取的传感器模式噪声具有更好的效果，但是非平滑数字图像区域的提取效果较差；

2)传感器模式噪声提取的准确性对数字图像大小有较强的依赖性，大尺寸数字图像包含更多的统计信息所以有较好的检测性能，但是对于小尺寸数字图像存在的算法性能不能达到工程应用的性能。

发明内容

本发明的实施例提供了一种基于残差学习卷积融合网络的数字图像设备取证***，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于残差学习卷积融合网络的数字图像设备取证***，包括：数字图像输入单元、数字图像预处理单元、图像特征提取和分类单元、数字图像设备辨别结果输出单元；

所述数字图像输入单元，用于接收外部输入的数字图像，将所述数字图像传输给数字图像预处理单元；

所述数字图像预处理单元，用于对所述数字图像输入单元传输过来的数字图像进行预处理，该预处理包括残差学习滤波处理，将预处理后的数字图像传输给图像特征提取和分类单元；

所述图像特征提取和分类单元，用于使用权值卷积和传统卷积融合网络对所述数字图像预处理单元传输过来的预处理后的数字图像进行底层特征和高层语义特征提取，将获取的数字图像的高层语义特征传输给所述数字图像设备辨别结果输出单元；

所述数字图像设备辨别结果输出单元，用于根据所述图像特征提取和分类单元传输过来的数字图像的高层语义特征得到设备相关特征，根据设备相关特征输出数字图像的设备取证结果。

优选地，所述数字图像为64x64分辨率的数字图像。

优选地，所述数字图像预处理单元中的残差学习滤波处理的过程包括：由64个1x1大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作；然后紧接64个3x3大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作；然后紧接256个1x1大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作，得到输出结果为F(I,W_k)；对图像再进行256个1x1大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作，得到输出结果为W_sI；对两个输出结果进行加和和ReLU激活操作得到R＝F(I,W_k)+W_sI，实现图像的残差学习滤波处理。

优选地，所述图像特征提取和分类单元，用于使用权值卷积和传统卷积融合网络中的权值卷积结构提取预处理后的数字图像的底层特征和像素间相关性特征，再将所述底层特征和像素间相关性特征输入到权值卷积和传统卷积融合网络中的传统卷积结构中，通过传统卷积结构提取数字图像的高层语义特征，该高层语义特征即为设备相关特征。

优选地，所述图像特征提取和分类单元中的权值卷积结构包括挤压单元和激励单元，所述挤压单元和激励单元能够构建任意给定的仿射变换；

所述挤压单元，用于考虑挤压全局空间信息得到一个通道描述子，使用全局平均池化的方式实得到逐通道的统计量，公式化表示如下，z是由U通过空间维度收缩得到的输出，对于第c个通道，z可以通过下式计算得到

所述激励单元，用于利用映射函数捕获逐通道间依赖关系，所述激活函数的定义如下：

s＝F_ex(z,W)＝δ(g(z,W))＝δ(W₂δ(W₁z)) (8)

上式中，δ表示ReLU激活函数；

所述图像特征提取和分类单元的输出通过激活函数缩放变换得到，如下所示

这里F为尺度因子s和特征图u逐通道间的乘积，激励单元将输入z映射到一个通道特殊权值的集合；

将激励单元输出的底层特征和和像素间相关性特征输入到传统卷积结构。

优选地，所述数字图像设备辨别结果输出单元，用于得到的设备取证结果为1xN维向量，N即为数字图像的获取设备的个数，从1xN维向量中选取分数最高的值所对应的设备ID，将此设备ID作为输出结果，即辨别待测数字图像由此设备ID获取。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过采用权值卷积结构提取预处理后的数字图像的底层特征，采用传统卷积结构提取数字图像的高层语义特征，能够在小分辨率数字图像情况下有效地对数字图像进行设备取证，有效提升数字图像的设备辨别性能。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于残差学习卷积融合网络的数字图像设备取证***的实现原理示意图；

图2为本发明实施例提供的一种基于残差学习卷积融合网络的数字图像设备取证***的结构图；

图3为本发明实施例提供的一种残差学习卷积融合网络的结构图；

图4为本发明实施例提供的一种基于残差学习卷积融合网络的数字图像设备取证方法的示意图；

图5为本发明实施例提供的一种设备列表以及图像信息示意图；

图6为本发明实施例提供的一种设备辨别***性能比较示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

实施例一

为解决传统方案的问题，近两年，设备取证研究者开始关注基于深度学习的相关算法，并有初步的尝试性工作提出。深度学习是机器学习的一个前沿领域，其目的是通过模拟人脑建立一个神经网络。因此，它可以模仿人脑的机制来解释数据。不同于传统的数字图像设备取证算法，深度学习算法将特征提取和特征分类整合到一个网络结构中，实现了一种端到端的自动特征学习分类。典型做法是利用预处理和权值卷积和传统卷积融合网络融合的做法，其***框图如图一所示。深度学习应用于设备取证的初步研究表明其优于传统方案的有效性。但是已有的设备取证方案性能有待提升，其优化路径包含两个方面，首先是合适的预处理方案的探索，其次是有效特征提取分类的深度学习网络结构的设计。基于设备取证的研究现状，我们聚焦在小尺寸数字图像情况下的相机源辨别***设计。

本发明实施例提供了一种基于残差学习权值卷积和传统卷积融合网络的数字图像设备取证***，该***从两个方面提升***的有效性和实用性。首先通过利用残差学习进行数字图像预处理，有效地提升设备特征信噪比；其次，通过在权值卷积和传统卷积融合网络底层利用权值卷积、高层利用传统卷积层的方式达到优化特征提取以及兼顾***运算量的目的。在小分辨数字图像的情况下，本发明能够有效提升数字图像的设备辨别性能。

本发明实施例提供的基于残差学习权值卷积和传统卷积融合网络的数字图像设备取证***的实现原理示意图如图1所示，具体结构示意图如图2所示，包括如下的单元：数字图像输入单元、数字图像预处理单元、图像特征提取和分类单元、数字图像设备辨别结果输出单元。

所述数字图像输入单元，用于接收外部输入的数字图像，将所述数字图像传输给数字图像预处理单元；

所述数字图像预处理单元，用于对所述数字图像输入单元传输过来的数字图像进行预处理，该预处理包括残差学习滤波处理，将预处理后的数字图像传输给图像特征提取和分类单元；高通滤波和卷积滤波均为已存在的滤波技术，本发明实施例测试了三种滤波分别作为预处理与卷积神经网络结构融合，发现提出的残差学习滤波为最优的预处理方式，因此最终在预处理单元中使用残差学习滤波。

所述图像特征提取和分类单元，用于使用权值卷积和传统卷积融合网络对所述数字图像预处理单元传输过来的预处理后的数字图像进行底层特征和高层语义特征提取，将获取的数字图像的高层语义特征传输给所述数字图像设备辨别结果输出单元；网络结构从浅层到深层是一种逐层特征提取的过程。根据已有研究，网络浅层会学习到图像的底层特征，如图像的边、角点特征，颜色特征，纹理特征等；网络深层会学习到图像的高层语义特征。本发明实施例使用权值卷积和传统卷积融合网络中的权值卷积结构提取预处理后的数字图像的底层特征和像素间相关性特征。然后，将数字图像的底层特征和像素间相关性特征输入到权值卷积和传统卷积融合网络中的传统卷积结构中，通过传统卷积结构提取数字图像的高层语义特征，该高层语义特征即为设备相关特征。

所述数字图像设备辨别结果输出单元，用于根据所述图像特征提取和分类单元传输过来的数字图像的高层语义特征得到设备相关特征，根据设备相关特征输出数字图像的设备取证结果。该设备取证结果为1xN维向量，N即为数字图像的获取设备的个数，从1xN维向量中选取分数最高的值所对应的设备ID，此设备ID作为输出结果，即辨别待测数字图像由此设备ID获取。

下面分别详细介绍各个单元的功能。

数字图像输入单元：对于输入图像要求分辨率为64x64。在***模型训练过程中，对训练图像数据集的图像数据进行64x64大小的滑动窗口裁剪，得到大规模64x64分辨率的训练图像数据集；对训练好的模型参数进行保存；在测试过程中，将64x64分辨率的图像作为***的输入。

数字图像预处理单元：图像预处理过程对基于深度学习的数字图像设备取证***尤为重要，有效的图像预处理操作可以去除图像内容的干扰，从而提升设备取证特征的信噪比，达到提升***性能的目的。本发明实施例将数字图像进行残差学习滤波预处理操作，数字图像预处理操作与卷积神经网络结构集成在一起，进行端到端的学习。通过训练学习过程，选取最好的滤波方案。

高通滤波和卷积滤波为现有的两种数字图像的预处理技术方案，本发明实施例通过将高通滤波、卷积滤波和残差学习滤波三种预处理方式分别嵌入到卷积神经网络结构中进行端到端学习。通过训练找到最优的预处理方案，即“残差学习滤波”方案。

如图3所示，将5x5高通滤波以及7x7卷积滤波两种预处理方式嵌入到卷积神经网络结构中进行端到端学习。高通滤波预处理操作中使用特定的图像滤波模板而不针对性地考虑图像内容的影响不是一种有效的方式。卷积预处理操作对于不同的输入图像，具有一定的自适应性但是需要大量的数据训练，才能具有更好的泛化性。通过建模设备取证传感器噪声模型，可以分析得到残差学习预处理的合理性。

以传感器模式噪声为例，提取高质量的传感器模式噪声和提取图像的内容有很强的相关性。接下来本发明实施例对其中的原理进行理论分析，首先建立图像获取模型，如公式(1)所示

I＝I⁽⁰⁾+γIK+Θ (1)

I代表真实获取的图像，I⁽⁰⁾代表理想情况下的图像，K代表传感器模式噪声，γ代表图像矫正参数，θ代表图像获取过程中产生的加性噪声。

对真实图像低通滤波后，计算原始图像与低通滤波图像的差可以得到噪声图像W，然后利用最大似然估计可以得到对传感器模式噪声的估计值，如下所示，

由克拉美洛下界可以确定对传感器模式噪声的估计值K的方差范围，如下所示，

代表传感器模式噪声估计值，K代表传感器模式噪声真实值，σ²代表图像噪声方差，I_k代表第k张图像，N代表用于估计传感器模式噪声的图像数量。

从上式中可以得到结论，传感器模式噪声的估计值K的偏差程度和图像内容具有很强的相关性。平滑图像并且像素值趋近饱和的图像具有更好的检测效果。因此，在预处理阶段对图像进行特定的滤波操作在一定程度上影响了丢失了部分有效信息。本发明中，代替使用特定的滤波和卷积滤波操作，在预处理层使用残差卷积操作使得网络可以在输入数据中学习到合适的预处理操作模板，公式表示如下：

R＝F(I,W_k)+W_sI (4)

F(I,W_k)＝R-W_sI (5)

R残差输出，I输入，W_k，W_s卷积核参数

考虑残差学习预处理的原因如下：首先可以实现与

一致的模型表示；其次，根据图像识别领域中大量工作表明残差学习是一种更有效的特征表示方式；如VLAD是一种特征表示，通过残差向量编码对应的词典；Fisher向量可以被表示为VLAD的概率版本。它们两个都是对图像检索和分类的有效特征表示，并且说明了编码残差向量展示出更好的有效性。已经有工作展示，这些解决方案收敛速度比标准情况下的收敛速度快很多。这些方案表明了残差表征可以简化优化问题；第三考虑F(I,W_k)作为一个基础的目标映射，希望用一个堆叠层的网络进行拟合这个目标映射，I表示这些层的第一层的输入。本发明假设：多个非线性层可以近似估计复杂函数，这个和假设：它可以近似估计残差函数是一致的，在输入和输出有相同的维度的情况下。本发明利用这些层去拟合一个残差函数F(I,W_k)＝R-W_sI,这样原始函数就变成了R＝F(I,W_k)+W_sI。尽管这两种形式应该是相同的，但是网络学习的难易程度应该是存在差异的。

本发明实施例提供的一种残差预处理卷积融合网络的结构图如图3所示。图像首先由64个1x1大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作；然后紧接64个3x3大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作；然后紧接256个1x1大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作，得到输出结果为F(I,W_k)；对图像再进行256个1x1大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作，得到输出结果为W_sI；对两个输出结果进行加和和ReLU激活操作得到R＝F(I,W_k)+W_sI，实现图像的残差学***均池化操作。五个卷积单元的特征图的数量分别是8，16，32，64，

128，卷积核大小为5x5,步长为1。需要特别提到的是，在第五个卷积单元，全局的平均池化操作被使用将特征图像维度降为一维。最后由一个全连接层对特征进行分类。整个过程是端到端的学习过程，利用随机梯度下降法对模型的参数进行迭代更新。

图像特征提取和分类单元，代替残差预处理卷积神经网络结构中的卷积一结构，本发明使用权值卷积结构对预处理后的数字图像进行底层特征和像素间相关性特征提取。本发明实施例提供的一种基于残差预处理卷积融合网络的数字图像设备取证方法的示意图如图4所示。本发明中，从卷积神经网络通道间相关关系出发，引入了一个新的结构单元，权值卷积，目的是提升由网络结构产生的特征图表示的质量。这一过程通过明确建模卷积层特征通道间的相互依赖性来实现。允许网络结构执行特征重校准，得到特征表示的权值表示，从而选择性增强有效信息，抑制无效信息。权值卷积结构由两个部分构成：挤压单元和激励单元。挤压单元和激励单元可以构建任意给定的仿射变换。为了简单说明，在符号标注中本发明使用U表示一个卷积操作。V代表被学习的卷积核集合，V_c代表第c个卷积核的参数。

这里*代表卷积，

是一个2维空间卷积核表示，V_c代表一个通道中对对应的X通道执行卷积操作的卷积核。因为输出通过对所有通道加权求和所得，通道间的依赖关系被嵌入到V_c中，因此，被卷积建模的通道相关性本质上是局部的。本发明想提供给网络对全局信息表征的权限，赋予通道间特征的权值权限。通过明确建模通道间相互依赖关系的方式去重校准滤波响应，主要包含两个步骤：挤压单元和激励单元。在挤压单元中，为了解决探索通道间相互关系的任务，首先考虑挤压全局空间信息得到一个通道描述子。这个过程可以通过使用一个全局平均池化的方式实现，从而得到逐通道的统计量。公式化表示如下，z是由U通过空间维度收缩得到的输出，对于第c个通道，z可以通过下式计算得到

z_c代表第c个通道由U通过空间维度收缩得到的输出，u_c代表输入，H,W代表输入的高和宽。

为了使用在挤压单元融合的信息，跟着挤压单元使用了第二种操作:激励单元，目的在于利用映射函数全面捕获逐通道间依赖关系。为了实现这一目标，映射函数应该满足两个原则：

1.其必须是灵活的(特别地，必须有学习不同通道间相互影响的非线性关系)；

2.必须能够学习一种非互相排斥的关系，因为我们想确定多通道间信息可以被强化，而不是强调某一个激活通道。为了满足这样的原则，选取了一个简单的门机制使用sigmoid激活函数，定义如下

s＝F_ex(z,W)＝δ(g(z,W))＝δ(W₂δ(W₁z)) (8)

s代表激励单元的输出，z代表输入，W₁,W₂代表卷积核参数。

上式中，δ表示ReLU激活函数。为了限制模型的复杂度并且增加泛化性，我们通过两个非线性全连接层构建一个通道从而参数化门机制。例如使用一个参数W₁的降维层，降维比例为16,一个ReLu激活函数层和一个参数W₂的升维层。最终块的输出可以通过一个激活函数缩放变换而获得，如下所示

这里F为尺度因子s和特征图u逐通道间的乘积。激励单元将输入z映射到一个通道特殊权值的集合。在这一点上，权值卷积本能地在输入中引入了动态条件限制，帮助增强特征的可辨别性。

将激励单元输出的底层特征和和像素间相关性特征输入到传统卷积结构。

数字图像设备辨别结果输出单元，首先利用训练集数据对残差预处理权值卷积和传统卷积融合网络进行训练，得到设备取证的有效网络模型；然后将输入数字图像作为残差预处理权值卷积和传统卷积融合网络模型的输入，给出数字图像获取设备的辨别结果，作为设备取证***的输出。

将图像输入到残差预处理权值卷积和传统卷积融合网络的数字图像设备取证***，可以得到输出结果，辨别出数字图像对应的获取设备名称。

实施例二

为了有效说明本发明的性能，下面利用附图和表格数据对实验结果进行展示和分析，以此证明本发明具有优良的性能。

实验数据图像来源与设备取证公开图像库，从中选取9部设备，包含9种不同的品牌设备。使用的设备列表如图5所示，图像被裁剪成非重叠的64x64大小的图像块。训练集、校验集和测试集的数量分别是为2757888，689472，689472。算法的初始学习率设置为0.01，学习率每迭代10000次下降10％，最大的迭代次数设置为50K次，动量设置为0.9。

对于设备取证***性能的比较结果如图6所示，利用图5中的9部设备进行验证。实验结果展示了提出的残差学习权值卷积和传统卷积融合网络的数字图像设备取证***具有最好的性能。HP-CNN和CV7-CNN代表高通滤波预处理卷积神经网络和卷积预处理卷积神经网络，如图5所示，其辨别准确率分别是81.34％，86.01％。Res-CNN表示残差学习预处理卷积神经网络，其辨别准确率为90.64％。通过以上实验结果，表明了残差预处理方式极大提升了***的辨别性能。在预处理使用残差学习情况下，本发明验证了权值卷积对***的贡献度，将Res-CNN模型的卷积一进行权值卷积替换，构建了Res-SE-one，即基于残差预处理权值卷积和传统卷积融合网络的数字图像设备取证***；对卷积一、二两层替换权值卷积，构建Res-SE-two，其性能分别为96.23％，95.51％。实验结果证明提出的基于残差预处理权值卷积和传统卷积融合网络的数字图像设备取证***在小尺寸图像情况下，取得了最好的辨别性能。

综上所述，本发明实施例通过采用融合残差学习预处理到传统卷积神经网络结构，提升了设备取证特征信噪比，从而显著地提高了模型辨别性能；并在权值卷积和传统卷积融合网络底层利用权值卷积的方式有效提升了特征提取和分类的准确性。通过融合残差学习预处理和权值卷积和传统卷积融合网络，本发明能够在小分辨率数字图像情况下有效地对数字图像进行设备取证，有效提升数字图像的设备辨别性能。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.一种基于残差学习卷积融合网络的数字图像设备取证***，其特征在于，包括：数字图像输入单元、数字图像预处理单元、图像特征提取和分类单元、数字图像设备辨别结果输出单元；

所述数字图像输入单元，用于接收外部输入的数字图像，将所述数字图像传输给数字图像预处理单元；

所述数字图像预处理单元，用于对所述数字图像输入单元传输过来的数字图像进行预处理，该预处理包括残差学习滤波处理，将预处理后的数字图像传输给图像特征提取和分类单元；

所述图像特征提取和分类单元，用于使用权值卷积和传统卷积融合网络对所述数字图像预处理单元传输过来的预处理后的数字图像进行底层特征和高层语义特征提取，将获取的数字图像的高层语义特征传输给所述数字图像设备辨别结果输出单元；

所述数字图像设备辨别结果输出单元，用于根据所述图像特征提取和分类单元传输过来的数字图像的高层语义特征得到设备相关特征，根据设备相关特征输出数字图像的设备取证结果；

所述的***，其特征在于，所述数字图像为64x64分辨率的数字图像；

所述的***，其特征在于：所述数字图像预处理单元进行的残差学习滤波处理的过程包括：由64个1x1大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作；然后紧接64个3x3大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作；然后紧接256个1x1大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作，得到输出结果为F(I,W_k)；对图像再进行256个1x1大小一步步长的卷积核进行卷积操作，之后进行块归一化和ReLU激活函数操作，得到输出结果为W_sI；对两个输出结果进行加和和ReLU激活操作得到R＝F(I,W_k)+W_sI，实现图像的残差学习滤波处理；

所述的***，其特征在于：所述图像特征提取和分类单元，用于使用权值卷积和传统卷积融合网络中的权值卷积结构提取预处理后的数字图像的底层特征和像素间相关性特征，再将所述底层特征和像素间相关性特征输入到权值卷积和传统卷积融合网络中的传统卷积结构中，通过传统卷积结构提取数字图像的高层语义特征，该高层语义特征即为设备相关特征；

所述的***，其特征在于，所述图像特征提取和分类单元中的权值卷积结构包括挤压单元和激励单元，所述挤压单元和激励单元能够构建任意给定的仿射变换；

所述挤压单元，用于考虑挤压全局空间信息得到一个通道描述子，使用全局平均池化的方式实得到逐通道的统计量，公式化表示如下，z是由U通过空间维度收缩得到的输出，对于第c个通道，z可以通过下式计算得到：

参数u_c(i,j)表示第c个通道的特征图，参数H,W分别表示特征图的高和宽；

所述激励单元，用于利用映射函数捕获逐通道间依赖关系，所述激励单元的定义如下：

s＝F_ex(z,W)＝δ(g(z,W))＝δ(W₂δ(W₁z)) (8)

上式中，δ表示ReLU激活函数；

所述图像特征提取和分类单元的输出通过激活函数缩放变换得到，如下所示:

这里F为尺度因子s和特征图u逐通道间的乘积，激励单元将输入z映射到一个通道特殊权值的集合；

将激励单元输出的底层特征和和像素间相关性特征输入到传统卷积结构。

2.根据权利要求1所述的***，其特征在于：

所述数字图像设备辨别结果输出单元，用于得到的设备取证结果为1xN维向量，N即为数字图像的获取设备的个数，从1xN维向量中选取分数最高的值所对应的设备ID，将此设备ID作为输出结果，即辨别待测数字图像由此设备ID获取。

Images