CN113537088A - 基于小样本学习的数字图像传感器硬件指纹匹配方法与*** - Google Patents
基于小样本学习的数字图像传感器硬件指纹匹配方法与*** Download PDFInfo
- Publication number
- CN113537088A CN113537088A CN202110819678.2A CN202110819678A CN113537088A CN 113537088 A CN113537088 A CN 113537088A CN 202110819678 A CN202110819678 A CN 202110819678A CN 113537088 A CN113537088 A CN 113537088A
- Authority
- CN
- China
- Prior art keywords
- model
- equipment
- video
- picture
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种基于小样本学习的数字图像传感器硬件指纹匹配方法与***。在训练阶段，验证方建立图片/视频数据库并提取包含相机指纹的噪声模式，将相机指纹按照机型/设备进行分组后，基于小样本学习方法训练机型判别模型和设备判别模型；在验证阶段，验证方获取待测图片/视频以及已知机型/设备拍摄的参考图片/视频，并从上述图片/视频中提取包含相机指纹的噪声模式，将待测和参考图片/视频的噪声模式输入基于小样本学习预训练好的机型判别模型/设备判别模型，输出待测图片/视频最为匹配的机型/设备。该***包括模型训练单元和机型/设备判别单元。本发明能够提取可靠的相机指纹特征、判别和溯源任意机型/设备并降低计算和存储资源。
Description
技术领域
本发明涉及数字图像传感器溯源技术领域，特别涉及一种基于小样本学习的数字图像传感器硬件指纹匹配方法与***。
背景技术
数码照片和视频在生活中触手可及，基于数码照片和视频的犯罪行为也日渐增多，比如视频中AI换脸伪造、虚假图像和视频内容的传播、数码照片的侵权盗用等。所幸，数字图像和视频帧中普遍存在光响应不均匀性(PRNU)，通常被当作一种能够区分成像传感器的可靠特征，进而被用于数字图像的溯源、伪造检测、版权鉴定等任务中。每个成像传感器都是一个拥有千万个感光点的阵列。当自然光照射到成像传感器上时，记录光电效应产生的电信号，即可获得数字图像或视频帧。但由于生产工艺的不完美性，每两个感光阵列相同位置感光点的光响应能力不会完全相同，即在同一束光照射下，两个感光阵列的光电转换会有细微差别，这就是光响应不均匀性。即使两个成像传感器属于同一品牌、同一型号、且由同一条流水线加工，它们之间也存在一定的差异，这种硬件上的缺陷特征不会随着时间改变，并且每个独一无二的感光阵列在硬件上都难以完美伪造，是一种可靠的设备身份验证特性。根据这一特性，从成像数据中提取到的特征，称为成像传感器的硬件指纹，简称“相机指纹”。
目前有很多提取相机指纹的方法，其关键在于噪声的提取，最经典的就是Miroslav Goljan、Mo Chen和Jessica Fridrich在文章《Identifying common sourcedigital camera from image pairs》中提出在小波域利用维纳滤波去噪的方法。首先，他们将原图变换到小波域，利用维纳滤波对图像去噪。然后，通过原图与去噪图像相减，获得包含了相机指纹的图像噪声残差。对多张图像计算图像噪声残差之后，利用最大似然估计计算出一个更可靠的相机指纹，用于匹配鉴定等任务。
视频由视频帧按照特定序列组成，最主流的编码方式有H.264、H.265等。视频中每一帧相当于一幅图像。在H.264编码方式中，视频帧分为I、P和B帧。其中I帧采取帧内编码，编码过程与前后帧无关，压缩率较低，包含最全面的图像信息；P帧和B帧是预测帧，必须借助前或后帧进行预测，压缩率较高，包含图像原始信息更少。因此，I帧通常被认为更适合于提取可靠的相机指纹。对视频提取相机指纹比数码图像多了一个步骤，即从视频流中读取视频帧。因此，针对数码图像的相机指纹提取同样可以应用到数字视频中，进而通过视频对设备进行溯源和判别。
对于图片和视频，经典算法的假设性过强，因为所有相机指纹的提取都建立在图像噪声基本服从高斯分布的基础上。而实际上每张照片的噪声会受到环境光照、器材结构、温度湿度等因素的影响，因此不同图像的实际噪声千差万别，不完全服从高斯分布的假设。若要提取更纯的相机指纹，就需要一种自适应、更鲁棒的噪声提取方法。Davide Cozzolino和Luisa Verdoliva在文章《Noiseprint:A CNN-Based Camera Model Fingerprint》中提出利用深度神经网络训练出一个图像噪声提取器，利用这种提取器将提取包含更多相机指纹信息的图像噪声，然后利用经典匹配方法进行判断。但由于该网络结构的学习能力和算法设计等原因，该方法只能有效区分不同机型，对于同机型的设备判别效果并不理想。
随着多摄像头设备的普及，越来越多的数字图像由多摄像头模块采集，而基于以上单摄像头的相机指纹提取技术几乎无法对多摄像头模组提取可靠的相机指纹。多摄像头模块包含两个或两个以上的成像传感器，比如广角镜头、长焦镜头、超广角镜头等。多摄像头模组会根据拍摄场景的光照强度，对焦位置和焦距等信息，对不同摄像头拍摄到的画面按照特定算法结合，最终合成一张融合了多个摄像头采集信息的图像或视频帧。特别需要注意的是，不同品牌的多摄像头数据融合算法不同且不公开。因此，在不明确组合算法的情况下，很难利用前面的经典算法计算出可靠的相机指纹，这就引出了一个全新的问题——如何对多摄像头模组提取可靠的相机指纹特征。
目前相机指纹还面临两大问题：1.某些摄像头设备的相机指纹强度很弱，用传统计算方式很难正确做出判断；2.某些品牌的拍摄算法对图像的成像效果进行了大量的优化，导致这一品牌的某些机型之间的相机指纹存在较大的相似性，这是一种干扰传统算法准确度的模板噪声。
深度神经网络具有强大的学习能力，利用深度学习算法提取相机指纹的显著性特征是一个发展趋势，可以被当作一种能够提取出可靠的相机指纹特征的方法。只要设计更合适的学习算法和网络结构，就能提取出有效判别机型的特征。而一般的目标分类模型只能将待测数据分类到有训练集出现过的限个类别中，实际应用时，待测数据很可能会因为实际类别不在模型候选类别中，导致分类错误。由于训练时不可能采集到世界上所有成像传感器采集的数据，因此该方法无法在实际生活中广泛应用。
小样本学习算法不仅让模型拥有提取显著性特征的能力，还使模型具有鉴别未训练类别的能力。它的输入数据组成包括：支持集和查询集。支持集中有若干参考类别，每个类别可包含若干参考数据；运算时，查询集中的数据分别与支持集中各类进行匹配并判断，得到判别结果。它与传统分类任务模型的区别在于：传统分类任务模型只能判断待测数据是否属于某一训练过的类别，对未训练过的类别没有判别能力；而小样本学习得到的模型不判断待测数据是否属于某一训练过的类别，而判断待测数据属于支持集中的哪个参考类。即使支持集中的这些参考类未出现在训练集中，模型也能判别查询集中的数据属于支持集中的哪个参考类别，这一特点极大地提升了算法的实际可用性。
因此，需要结合PRNU、深度神经网络和小样本学习技术，提出一种两全的方法，既能克服弱指纹、多摄模组算法等带来的困难，针对摄像头模组提取相机指纹鲁棒特征，又能突破传统分类模型的类别限制，实现对未训练设备类别的判别和溯源。
发明内容
针对现有技术存在的问题，本发明提供了一种基于小样本学习的数字图像传感器硬件指纹匹配方法与***，能够提取数字图像传感器可靠的硬件指纹特征，并且能够对未训练的机型/设备进行有效判别，克服相机指纹强度弱、模板噪声、摄像头模组算法等带来的影响，同时降低判别所需数据分辨率和计算资源的要求。
本发明的目的是通过以下技术方案来实现的：
本发明一方面提供一种基于小样本学习的数字图像传感器硬件指纹匹配方法，包括：
验证方建立图片/视频数据库并通过滤波算法提取包含相机指纹的噪声模式，将相机指纹按照机型/设备进行分组后，基于小样本学习方法训练机型判别模型和设备判别模型；
在验证阶段，验证方获取待测图片/视频，以及已知机型/设备拍摄的参考图片/视频，通过滤波算法从上述图片/视频中提取包含相机指纹的噪声模式，将待测和参考图片/视频的噪声模式输入基于小样本学习预训练好的机型判别模型/设备判别模型，输出待测图片/视频最为匹配的机型/设备。
进一步地，所述机型判别模型的训练具体包括：
(1)验证方获取大量已知拍摄机型的图片/视频，并依照机型对数据进行划分，建立机型级数据集；机型级数据集中的图片/视频只有设备型号的区别，没有设备个体的区别；同一机型对应的图片/视频作为最小类别单元；
(2)对机型级数据集的图片/视频帧提取相机指纹，将每个机型的相机指纹划分为参考数据集和待测数据集；
(3)将参考数据集按照N-way和K-shot进行划分，得到机型支持集，其中N为不同机型的数量，K为每一机型对应的相机指纹数量；将待测数据集作为机型查询集；将机型支持集和机型查询集中的数据组合出小样本学习使用的元任务，训练机型判别模型；训练含有E个循环，在每个循环中，对机型支持集与机型查询集进行指纹采样，输入到模型中提取出对应的特征向量并以缩短相同机型不同指纹的特征向量的几何距离为训练目标训练机型判别模型。
进一步地，所述设备判别模型的训练具体包括：
(1)验证方获取大量已知拍摄设备的图片/视频，并依照设备对数据进行划分，建立设备级数据集；设备级数据集中的图片/视频不仅有设备型号的区别，还有设备个体的区别；同一设备对应的图片/视频作为最小类别单元；
(2)对设备级数据集的图片/视频帧提取相机指纹，将每个设备的相机指纹划分为参考数据集和待测数据集；
(3)将参考数据集按照N-way和K-shot进行划分，得到设备支持集，其中N为不同设备的数量，K为每一设备对应的相机指纹数量；将待测数据集作为设备查询集；将设备支持集和设备查询集中的数据组合出小样本学习使用的元任务，训练设备判别模型；训练含有E个循环，在每个循环中，对设备支持集与设备查询集进行指纹采样，输入到模型中提取出对应的特征向量并以缩短相同设备不同指纹的特征向量的几何距离为训练目标训练设备判别模型。
进一步地，所述机型判别模型的使用流程包括：
(1)验证方获取待测图片/视频，存放在待测数据集中；
(2)验证方获取已知机型拍摄的参考图片/视频，存放在参考数据集中；
(3)对待测数据集和参考数据集中的图片/视频帧提取相机指纹，得到待测硬件指纹集和参考硬件指纹集；
(4)将待测硬件指纹集作为机型查询集；将参考硬件指纹集按照N-way和K-shot进行划分，得到机型支持集，其中N为不同机型的数量，K为每一机型对应的相机指纹数量；
(5)将机型查询集和机型支持集中的数据依次组合为元任务，并输入机型判别模型，得到机型匹配结果；对于与机型支持集匹配上的待测数据，输出判别的机型，对于与机型支持集不匹配的待测数据，被判定为不由机型支持集中的任何机型采集。
进一步地，所述设备判别模型的使用流程包括：
(1)验证方获取待测图片/视频，存放在待测数据集中；
(2)验证方获取已知设备拍摄的参考图片/视频，存放在参考数据集中；
(3)对待测数据集和参考数据集中的图片/视频帧提取相机指纹，得到待测硬件指纹集和参考硬件指纹集；
(4)将待测硬件指纹集作为设备查询集；将参考硬件指纹集按照N-way和K-shot进行划分，得到设备支持集，其中N为不同设备的数量，K为每一设备对应的相机指纹数量；
(5)将设备查询集和设备支持集中的数据依次组合为元任务，并输入设备判别模型，得到设备匹配结果；对于与设备支持集匹配上的待测数据，输出判别的设备，对于与设备支持集不匹配的待测数据，被判定为不由设备支持集中的任何设备采集。
进一步地，对待测数据集和参考数据集中的图片/视频帧提取相机指纹的过程中，为保证提取效率，验证方对图片/视频帧进行候选区域搜索与裁剪，最终选取一个相机指纹强度最优的子块区域，以备后续查验，具体为：
(1)对于一次候选区域搜索，按照某预设尺寸和滑动步长，将上述数据集中每张图片/视频帧划分成多个子块；
(2)剔除曝光过度和光线过暗的子块：通过像素值参数α和比例参数β对子块进行判别，若某子块中有超过百分之β的像素值在[255-α,255]区间，那么该子块曝光过度，剔除该子块；若某子块中有超过百分之β的像素值在[0,α]区间，那么该子块光线过暗，剔除该子块；
(3)计算待测图片/视频帧中各剩余子块的像素值方差，选取方差最小的区域作为相机指纹强度最优的子块区域并裁剪，输出最优子块。
进一步地，对待测数据集和参考数据集中的图片/视频帧提取相机指纹的过程中，对于同一机型/设备的待测/参考图片多于1张或者视频帧数大于1的情况，利用最大似然估计或对多份成像数据计算空间域均值方法，获得增强后的高质量相机指纹。
本发明另一方面提供一种基于小样本学习的数字图像传感器硬件指纹匹配***，包括：
模型训练单元：验证方建立图片/视频数据库并通过滤波算法提取包含相机指纹的噪声模式，将相机指纹按照机型/设备进行分组后，基于小样本学习方法训练机型判别模型和设备判别模型；
机型/设备判别单元：验证方获取待测图片/视频，以及已知机型/设备拍摄的参考图片/视频，通过滤波算法从上述图片/视频中提取包含相机指纹的噪声模式，将待测和参考图片/视频的噪声模式输入模型训练单元预训练好的机型判别模型/设备判别模型，输出待测图片/视频最为匹配的机型/设备。
进一步地，所述模型训练单元包括以下子单元：
(1)获取子单元：验证方获取大量已知拍摄机型/设备的图片/视频，并依照机型/设备对数据进行划分，建立机型级数据集/设备级数据集；
(2)提取子单元：对机型级数据集/设备级数据集的图片/视频帧提取相机指纹，将每个机型/设备的相机指纹划分为参考数据集和待测数据集；
(3)划分子单元：将参考数据集按照按N-way和K-shot进行划分，得到机型支持集/设备支持集，其中N为不同机型/设备的数量，K为每一机型/设备对应的相机指纹数量；将待测数据集作为机型查询集/设备查询集；
(4)训练子单元：将机型支持集/设备支持集和机型查询集/设备查询集中的数据组合出小样本学习使用的元任务，训练机型判别模型/设备判别模型。
进一步地，所述机型/设备判别单元包括以下子单元：
(1)获取子单元：验证方获取待测图片/视频，存放在待测数据集中；验证方获取已知机型/设备拍摄的参考图片/视频，存放在参考数据集中；
(2)提取子单元：对待测数据集和参考数据集中的图片/视频帧提取相机指纹，得到待测硬件指纹集和参考硬件指纹集；
(3)划分子单元：将待测硬件指纹集作为机型查询集/设备查询集；将参考硬件指纹集按照N-way和K-shot进行划分，得到机型支持集/设备支持集，其中N为不同机型/设备的数量，K为每一机型/设备对应的相机指纹数量；
(4)判别子单元：将机型查询集/设备查询集和机型支持集/设备支持集中的数据依次组合为元任务，并输入机型判别模型/设备判别模型，得到机型/设备匹配结果，对于与机型支持集/设备支持集匹配上的待测数据，输出判别的机型/设备，对于与机型支持集/设备支持集不匹配的待测数据，被判定为不由机型支持集/设备支持集中的任何机型/设备采集。
本发明的有益效果为：
(1)能够提取可靠的相机指纹特征：避免相机指纹强度弱、摄像头模组算法、模板噪声等带来的影响。
(2)能够判别和溯源任意机型/设备：突破传统分类模型的类别限制，可对训练集中出现过以及未出现过的机型/设备进行判别。
(3)降低计算和存储资源：判别所需数据分辨率低，计算和存储资源需求低。
附图说明
图1为本发明实施例提供的基于小样本学习的数字图像传感器硬件指纹匹配方法流程图；
图2为本发明实施例提供的机型判别模型训练方法流程图；
图3为本发明实施例提供的设备判别模型训练方法流程图；
图4为本发明实施例提供的机型判别方法流程图；
图5为本发明实施例提供的设备判别方法流程图；
图6为本发明实施例提供的基于小样本学习的数字图像传感器硬件指纹匹配***结构图；
图7为本发明实施例提供的模型训练单元结构图。
图8为本发明实施例提供的机型/设备判别单元结构图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示，本发明实施例提供的一种基于小样本学习的数字图像传感器硬件指纹匹配方法，分为如下S1和S2两个步骤。
S1：训练阶段：验证方建立图片/视频数据库并通过滤波算法提取包含相机指纹的噪声模式，将相机指纹按照机型/设备进行分组后，基于小样本学习方法训练机型判别模型和设备判别模型；
S2：验证阶段：验证方获取待测图片/视频，以及已知机型/设备拍摄的参考图片/视频，通过滤波算法从上述图片/视频中提取包含相机指纹的噪声模式，将待测和参考图片/视频的噪声模式输入基于小样本学习预训练好的机型判别模型/设备判别模型，输出待测图片/视频最为匹配的机型/设备。
如图2所示，步骤S1-1机型判别模型的训练具体包括：
S1-1-1：验证方获取大量已知拍摄机型的图片/视频；
S1-1-2：依照机型对数据进行划分，建立机型级数据集；机型级数据集中的图片/视频只有设备型号的区别，没有设备个体的区别；同一机型对应的图片/视频作为最小类别单元；
S1-1-3：对机型级数据集的图片/视频帧提取相机指纹；
S1-1-4：将每个机型的相机指纹划分为参考数据集和待测数据集；
S1-1-5：将参考数据集按照N-way和K-shot进行划分，得到机型支持集，其中N为不同机型的数量，K为每一机型对应的相机指纹数量；将待测数据集作为机型查询集；
S1-1-6：将机型支持集和机型查询集中的数据组合出小样本学习使用的元任务，训练机型判别模型；训练含有E个循环，在每个循环中，对机型支持集与机型查询集进行指纹采样，输入到模型中提取出对应的特征向量并以缩短相同机型不同指纹的特征向量的几何距离为训练目标训练机型判别模型。
如图3所示，步骤S1-2设备判别模型的训练具体包括：
S1-2-1：验证方获取大量已知拍摄设备的图片/视频；
S1-2-2：依照设备对数据进行划分，建立设备级数据集；设备级数据集中的图片/视频不仅有设备型号的区别，还有设备个体的区别；同一设备对应的图片/视频作为最小类别单元；
S1-2-3：对设备级数据集的图片/视频帧提取相机指纹；
S1-2-4：将每个设备的相机指纹划分为参考数据集和待测数据集；
S1-2-5：将参考数据集按照N-way和K-shot进行划分，得到设备支持集，其中N为不同设备的数量，K为每一设备对应的相机指纹数量；将待测数据集作为设备查询集；
S1-2-6：将设备支持集和设备查询集中的数据组合出小样本学习使用的元任务，训练设备判别模型；训练含有E个循环，在每个循环中，对设备支持集与设备查询集进行指纹采样，输入到模型中提取出对应的特征向量并以缩短相同设备不同指纹的特征向量的几何距离为训练目标训练设备判别模型。
如图4所示，步骤S2-1机型判别模型的使用流程包括：
S2-1-1：验证方获取待测图片/视频，存放在待测数据集中；
S2-1-2：验证方获取已知机型拍摄的参考图片/视频，存放在参考数据集中；
S2-1-3：对待测数据集和参考数据集中的图片/视频帧提取相机指纹，得到待测硬件指纹集和参考硬件指纹集；
S2-1-4：将待测硬件指纹集作为机型查询集；将参考硬件指纹集按照N-way和K-shot进行划分，得到机型支持集，其中N为不同机型的数量，K为每一机型对应的相机指纹数量；
S2-1-5：将机型查询集和机型支持集中的数据依次组合为元任务，并输入机型判别模型，得到机型匹配结果；对于与机型支持集匹配上的待测数据，输出判别的机型，对于与机型支持集不匹配的待测数据，被判定为不由机型支持集中的任何机型采集。
如图5所示，步骤S2-2设备判别模型的使用流程包括：
S2-2-1：验证方获取待测图片/视频，存放在待测数据集中；
S2-2-2：验证方获取已知设备拍摄的参考图片/视频，存放在参考数据集中；
S2-2-3：对待测数据集和参考数据集中的图片/视频帧提取相机指纹，得到待测硬件指纹集和参考硬件指纹集；
S2-2-4：将待测硬件指纹集作为设备查询集；将参考硬件指纹集按照N-way和K-shot进行划分，得到设备支持集，其中N为不同设备的数量，K为每一设备对应的相机指纹数量；
S2-2-5：将设备查询集和设备支持集中的数据依次组合为元任务，并输入设备判别模型，得到设备匹配结果；对于与设备支持集匹配上的待测数据，输出判别的设备，对于与设备支持集不匹配的待测数据，被判定为不由设备支持集中的任何设备采集。
进一步地，步骤S2-1-5和S2-2-5中，与机型/设备支持集匹配与否可以通过阈值判别法判定，包括：
(1)若机型/设备匹配结果为待测数据与机型支持集/设备支持集中各机型/设备的最小匹配距离。若该距离小于预设阈值，则判定待测数据与机型支持集/设备支持集匹配上；否则判定待测数据与机型支持集/设备支持集不匹配。
(2)若机型/设备匹配结果为待测数据与机型支持集/设备支持集中各机型/设备的最高匹配分数。若该分数大于预设阈值，则判定待测数据与机型支持集/设备支持集匹配上；否则判定待测数据与机型支持集/设备支持集不匹配。
进一步地，步骤S2-1-3和S2-2-3中，对待测数据集和参考数据集中的图片/视频帧提取相机指纹的过程中，在图片/视频帧尺寸过大等情况下，为保证提取效率，验证方对图片/视频帧进行候选区域搜索与裁剪，最终选取一个相机指纹强度最优的子块区域，以备后续查验，具体为：
(1)对于一次候选区域搜索，按照某预设尺寸和滑动步长，将上述数据集中每张图片/视频帧划分成多个子块；
(2)剔除曝光过度和光线过暗的子块：通过像素值参数α和比例参数β对子块进行判别，若某子块中有超过百分之β的像素值在[255-α,255]区间，那么该子块曝光过度，剔除该子块；若某子块中有超过百分之β的像素值在[0,α]区间，那么该子块光线过暗，剔除该子块；
(3)计算待测图片/视频帧中各剩余子块的像素值方差，选取方差最小的区域作为相机指纹强度最优的子块区域并裁剪，输出最优子块。
进一步地，步骤S2-1-3和S2-2-3中，对待测数据集和参考数据集中的图片/视频帧提取相机指纹的过程中，对于同一机型/设备的待测/参考图片多于1张或者视频帧数大于1的情况，利用最大似然估计或对多份成像数据计算空间域均值方法，获得增强后的高质量相机指纹。
如图6所示，本发明实施例提供一种基于小样本学习的数字图像传感器硬件指纹匹配***，包括：
P1模型训练单元：验证方建立图片/视频数据库并通过滤波算法提取包含相机指纹的噪声模式，将相机指纹按照机型/设备进行分组后，基于小样本学习方法训练机型判别模型和设备判别模型；
P2机型/设备判别单元：验证方获取待测图片/视频，以及已知机型/设备拍摄的参考图片/视频，通过滤波算法从上述图片/视频中提取包含相机指纹的噪声模式，将待测和参考图片/视频的噪声模式输入模型训练单元预训练好的机型判别模型/设备判别模型，输出待测图片/视频最为匹配的机型/设备。
如图7所示，P1模型训练单元包括以下子单元：
P1-1：获取子单元：验证方获取大量已知拍摄机型/设备的图片/视频，并依照机型/设备对数据进行划分，建立机型级数据集/设备级数据集；
P1-2：提取子单元：对机型级数据集/设备级数据集的图片/视频帧提取相机指纹，将每个机型/设备的相机指纹划分为参考数据集和待测数据集；
P1-3：划分子单元：将参考数据集按照按N-way和K-shot进行划分，得到机型支持集/设备支持集，其中N为不同机型/设备的数量，K为每一机型/设备对应的相机指纹数量；将待测数据集作为机型查询集/设备查询集；
P1-4：训练子单元：将机型支持集/设备支持集和机型查询集/设备查询集中的数据组合出小样本学习使用的元任务，训练机型判别模型/设备判别模型。
如图8所示，P2机型/设备判别单元包括以下子单元：
P2-1：获取子单元：验证方获取待测图片/视频，存放在待测数据集中；验证方获取已知机型/设备拍摄的参考图片/视频，存放在参考数据集中；
P2-2：区域选择和裁剪子单元：按照某预设尺寸和滑动步长，将对图片/视频帧划分成多个子块；然后剔除曝光过度和光线过暗的子块；最后计算图片/视频帧中各剩余子块的像素值方差，选取方差最小的区域作为相机指纹强度最优的子块区域并裁剪，输出最优子块。该子单元为可选单元，用于进一步获取高质量相机指纹、减少存储和运算资源需求、提升运算效率。
P2-3：提取子单元：对待测数据集和参考数据集中的图片/视频帧提取相机指纹，得到待测硬件指纹集和参考硬件指纹集；
P2-4：噪声模式增强子单元：对于同一机型/设备的待测/参考图片多于1张或者视频帧数大于1的情况，利用最大似然估计或对多份成像数据计算空间域均值方法，获得增强后的高质量相机指纹。该子单元为可选单元，用于进一步获取高质量相机指纹。
P2-5：划分子单元：将待测硬件指纹集作为机型查询集/设备查询集；将参考硬件指纹集按照N-way和K-shot进行划分，得到机型支持集/设备支持集，其中N为不同机型/设备的数量，K为每一机型/设备对应的相机指纹数量；
P2-6：判别子单元：将机型查询集/设备查询集和机型支持集/设备支持集中的数据依次组合为元任务，并输入机型判别模型/设备判别模型，得到机型/设备匹配结果，对于与机型支持集/设备支持集匹配上的待测数据，输出判别的机型/设备，对于与机型支持集/设备支持集不匹配的待测数据，被判定为不由机型支持集/设备支持集中的任何机型/设备采集。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (10)
1.一种基于小样本学习的数字图像传感器硬件指纹匹配方法，其特征在于，验证方建立图片/视频数据库并通过滤波算法提取包含相机指纹的噪声模式，将相机指纹按照机型/设备进行分组后，基于小样本学习方法训练机型判别模型和设备判别模型；
在验证阶段，验证方获取待测图片/视频，以及已知机型/设备拍摄的参考图片/视频，通过滤波算法从上述图片/视频中提取包含相机指纹的噪声模式，将待测和参考图片/视频的噪声模式输入基于小样本学习预训练好的机型判别模型/设备判别模型，输出待测图片/视频最为匹配的机型/设备。
2.如权利要求1所述的基于小样本学习的数字图像传感器硬件指纹匹配方法，其特征在于，所述机型判别模型的训练具体包括：
(1)验证方获取大量已知拍摄机型的图片/视频，并依照机型对数据进行划分，建立机型级数据集；机型级数据集中的图片/视频只有设备型号的区别，没有设备个体的区别；同一机型对应的图片/视频作为最小类别单元；
(2)对机型级数据集的图片/视频帧提取相机指纹，将每个机型的相机指纹划分为参考数据集和待测数据集；
(3)将参考数据集按照N-way和K-shot进行划分，得到机型支持集，其中N为不同机型的数量，K为每一机型对应的相机指纹数量；将待测数据集作为机型查询集；将机型支持集和机型查询集中的数据组合出小样本学习使用的元任务，训练机型判别模型；训练含有E个循环，在每个循环中，对机型支持集与机型查询集进行指纹采样，输入到模型中提取出对应的特征向量并以缩短相同机型不同指纹的特征向量的几何距离为训练目标训练机型判别模型。
3.如权利要求1所述的基于小样本学习的数字图像传感器硬件指纹匹配方法，其特征在于，所述设备判别模型的训练具体包括：
(1)验证方获取大量已知拍摄设备的图片/视频，并依照设备对数据进行划分，建立设备级数据集；设备级数据集中的图片/视频不仅有设备型号的区别，还有设备个体的区别；同一设备对应的图片/视频作为最小类别单元；
(2)对设备级数据集的图片/视频帧提取相机指纹，将每个设备的相机指纹划分为参考数据集和待测数据集；
(3)将参考数据集按照N-way和K-shot进行划分，得到设备支持集，其中N为不同设备的数量，K为每一设备对应的相机指纹数量；将待测数据集作为设备查询集；将设备支持集和设备查询集中的数据组合出小样本学习使用的元任务，训练设备判别模型；训练含有E个循环，在每个循环中，对设备支持集与设备查询集进行指纹采样，输入到模型中提取出对应的特征向量并以缩短相同设备不同指纹的特征向量的几何距离为训练目标训练设备判别模型。
4.如权利要求1所述的基于小样本学习的数字图像传感器硬件指纹匹配方法，其特征在于，所述机型判别模型的使用流程包括：
(1)验证方获取待测图片/视频，存放在待测数据集中；
(2)验证方获取已知机型拍摄的参考图片/视频，存放在参考数据集中；
(3)对待测数据集和参考数据集中的图片/视频帧提取相机指纹，得到待测硬件指纹集和参考硬件指纹集；
(4)将待测硬件指纹集作为机型查询集；将参考硬件指纹集按照N-way和K-shot进行划分，得到机型支持集，其中N为不同机型的数量，K为每一机型对应的相机指纹数量；
(5)将机型查询集和机型支持集中的数据依次组合为元任务，并输入机型判别模型，得到机型匹配结果；对于与机型支持集匹配上的待测数据，输出判别的机型，对于与机型支持集不匹配的待测数据，被判定为不由机型支持集中的任何机型采集。
5.如权利要求1所述的基于小样本学习的数字图像传感器硬件指纹匹配方法，其特征在于，所述设备判别模型的使用流程包括：
(1)验证方获取待测图片/视频，存放在待测数据集中；
(2)验证方获取已知设备拍摄的参考图片/视频，存放在参考数据集中；
(3)对待测数据集和参考数据集中的图片/视频帧提取相机指纹，得到待测硬件指纹集和参考硬件指纹集；
(4)将待测硬件指纹集作为设备查询集；将参考硬件指纹集按照N-way和K-shot进行划分，得到设备支持集，其中N为不同设备的数量，K为每一设备对应的相机指纹数量；
(5)将设备查询集和设备支持集中的数据依次组合为元任务，并输入设备判别模型，得到设备匹配结果；对于与设备支持集匹配上的待测数据，输出判别的设备，对于与设备支持集不匹配的待测数据，被判定为不由设备支持集中的任何设备采集。
6.如权利要求4或5所述的基于小样本学习的数字图像传感器硬件指纹匹配方法，其特征在于，对待测数据集和参考数据集中的图片/视频帧提取相机指纹的过程中，为保证提取效率，验证方对图片/视频帧进行候选区域搜索与裁剪，最终选取一个相机指纹强度最优的子块区域，以备后续查验，具体为：
(1)对于一次候选区域搜索，按照某预设尺寸和滑动步长，将上述数据集中每张图片/视频帧划分成多个子块；
(2)剔除曝光过度和光线过暗的子块：通过像素值参数α和比例参数β对子块进行判别，若某子块中有超过百分之β的像素值在[255-α,255]区间，那么该子块曝光过度，剔除该子块；若某子块中有超过百分之β的像素值在[0,α]区间，那么该子块光线过暗，剔除该子块；
(3)计算待测图片/视频帧中各剩余子块的像素值方差，选取方差最小的区域作为相机指纹强度最优的子块区域并裁剪，输出最优子块。
7.如权利要求4或5所述的基于小样本学习的数字图像传感器硬件指纹匹配方法，其特征在于，对待测数据集和参考数据集中的图片/视频帧提取相机指纹的过程中，对于同一机型/设备的待测/参考图片多于1张或者视频帧数大于1的情况，利用最大似然估计或对多份成像数据计算空间域均值方法，获得增强后的高质量相机指纹。
8.一种基于小样本学习的数字图像传感器硬件指纹匹配***，其特征在于，该***包括：
模型训练单元：验证方建立图片/视频数据库并通过滤波算法提取包含相机指纹的噪声模式，将相机指纹按照机型/设备进行分组后，基于小样本学习方法训练机型判别模型和设备判别模型；
机型/设备判别单元：验证方获取待测图片/视频，以及已知机型/设备拍摄的参考图片/视频，通过滤波算法从上述图片/视频中提取包含相机指纹的噪声模式，将待测和参考图片/视频的噪声模式输入模型训练单元预训练好的机型判别模型/设备判别模型，输出待测图片/视频最为匹配的机型/设备。
9.如权利要求8所述的基于小样本学习的数字图像传感器硬件指纹匹配***，其特征在于，所述模型训练单元包括以下子单元：
(1)获取子单元：验证方获取大量已知拍摄机型/设备的图片/视频，并依照机型/设备对数据进行划分，建立机型级数据集/设备级数据集；
(2)提取子单元：对机型级数据集/设备级数据集的图片/视频帧提取相机指纹，将每个机型/设备的相机指纹划分为参考数据集和待测数据集；
(3)划分子单元：将参考数据集按照按N-way和K-shot进行划分，得到机型支持集/设备支持集，其中N为不同机型/设备的数量，K为每一机型/设备对应的相机指纹数量；将待测数据集作为机型查询集/设备查询集；
(4)训练子单元：将机型支持集/设备支持集和机型查询集/设备查询集中的数据组合出小样本学习使用的元任务，训练机型判别模型/设备判别模型。
10.如权利要求8所述的基于小样本学习的数字图像传感器硬件指纹匹配***，其特征在于，所述机型/设备判别单元包括以下子单元：
(1)获取子单元：验证方获取待测图片/视频，存放在待测数据集中；验证方获取已知机型/设备拍摄的参考图片/视频，存放在参考数据集中；
(2)提取子单元：对待测数据集和参考数据集中的图片/视频帧提取相机指纹，得到待测硬件指纹集和参考硬件指纹集；
(3)划分子单元：将待测硬件指纹集作为机型查询集/设备查询集；将参考硬件指纹集按照N-way和K-shot进行划分，得到机型支持集/设备支持集，其中N为不同机型/设备的数量，K为每一机型/设备对应的相机指纹数量；
(4)判别子单元：将机型查询集/设备查询集和机型支持集/设备支持集中的数据依次组合为元任务，并输入机型判别模型/设备判别模型，得到机型/设备匹配结果，对于与机型支持集/设备支持集匹配上的待测数据，输出判别的机型/设备，对于与机型支持集/设备支持集不匹配的待测数据，被判定为不由机型支持集/设备支持集中的任何机型/设备采集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110819678.2A CN113537088A (zh) | 2021-07-20 | 2021-07-20 | 基于小样本学习的数字图像传感器硬件指纹匹配方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110819678.2A CN113537088A (zh) | 2021-07-20 | 2021-07-20 | 基于小样本学习的数字图像传感器硬件指纹匹配方法与*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113537088A true CN113537088A (zh) | 2021-10-22 |
Family
ID=78128951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110819678.2A Pending CN113537088A (zh) | 2021-07-20 | 2021-07-20 | 基于小样本学习的数字图像传感器硬件指纹匹配方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537088A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114025073A (zh) * | 2021-11-18 | 2022-02-08 | 支付宝(杭州)信息技术有限公司 | 提取摄像头的硬件指纹的方法及装置 |
| CN114240843A (zh) * | 2021-11-18 | 2022-03-25 | 支付宝(杭州)信息技术有限公司 | 图像检测方法、装置以及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751113A (zh) * | 2014-07-25 | 2015-07-01 | 北京智膜科技有限公司 | 基于智能移动信息设备的指纹识别方法 |
| US20170140220A1 (en) * | 2014-03-28 | 2017-05-18 | Universite De Technologie De Troyes | System for Identifying a Photographic Camera Model Associated with a JPEG-Compressed Image, and Associated Method, Uses and Applications |
| CN112434721A (zh) * | 2020-10-23 | 2021-03-02 | 特斯联科技集团有限公司 | 一种基于小样本学习的图像分类方法、***、存储介质及终端 |
-
2021
- 2021-07-20 CN CN202110819678.2A patent/CN113537088A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170140220A1 (en) * | 2014-03-28 | 2017-05-18 | Universite De Technologie De Troyes | System for Identifying a Photographic Camera Model Associated with a JPEG-Compressed Image, and Associated Method, Uses and Applications |
| CN104751113A (zh) * | 2014-07-25 | 2015-07-01 | 北京智膜科技有限公司 | 基于智能移动信息设备的指纹识别方法 |
| CN112434721A (zh) * | 2020-10-23 | 2021-03-02 | 特斯联科技集团有限公司 | 一种基于小样本学习的图像分类方法、***、存储介质及终端 |
Non-Patent Citations (2)
| Title |
|---|
| ENKATA UDAYA SAMEER ET AL.: ""Deep siamese network for limited labels classification in source camera identification"", 《MULTIMEDIA TOOLS AND APPLICAT IONS (2020) 79》, pages 28079 - 28104 * |
| 刘宇鹃: ""视频监控***的视频溯源与伪造检测方法研究"", 中国优秀硕士学位论文全文数据库 信息科技辑》, no. 05, pages 1 - 32 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114025073A (zh) * | 2021-11-18 | 2022-02-08 | 支付宝(杭州)信息技术有限公司 | 提取摄像头的硬件指纹的方法及装置 |
| CN114240843A (zh) * | 2021-11-18 | 2022-03-25 | 支付宝(杭州)信息技术有限公司 | 图像检测方法、装置以及电子设备 |
| CN114025073B (zh) * | 2021-11-18 | 2023-09-29 | 支付宝(杭州)信息技术有限公司 | 提取摄像头的硬件指纹的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cozzolino et al. | Noiseprint: A CNN-based camera model fingerprint | |
| Chen et al. | Determining image origin and integrity using sensor noise | |
| Hsu et al. | Camera response functions for image forensics: an automatic algorithm for splicing detection | |
| Li et al. | Fighting against deepfake: Patch&pair convolutional neural networks (PPCNN) | |
| Wahab et al. | Passive video forgery detection techniques: A survey | |
| Mandelli et al. | CNN-based fast source device identification | |
| Farmanbar et al. | Spoof detection on face and palmprint biometrics | |
| CN108154080B (zh) | 一种视频设备快速溯源的方法 | |
| CN113537088A (zh) | 基于小样本学习的数字图像传感器硬件指纹匹配方法与*** | |
| Su et al. | A novel forgery detection algorithm for video foreground removal | |
| CN111079816A (zh) | 图像的审核方法、装置和服务器 | |
| Li et al. | Face anti-spoofing with deep neural network distillation | |
| Gan et al. | Video object forgery detection algorithm based on VGG-11 convolutional neural network | |
| Zhang et al. | Face spoofing video detection using spatio-temporal statistical binary pattern | |
| CN114387548A (zh) | 视频及活体检测方法、***、设备、存储介质及程序产品 | |
| CN111861976B (zh) | 一种基于硬件指纹相关性的数字图像源拍摄设备识别方法 | |
| Wang et al. | Source camera identification forensics based on wavelet features | |
| Lim et al. | One-class learning method based on live correlation loss for face anti-spoofing | |
| Hadiprakoso | Face anti-spoofing method with blinking eye and hsv texture analysis | |
| Nourmohammadi-Khiarak et al. | An ear anti-spoofing database with various attacks | |
| Zhang et al. | Advanced face anti-spoofing with depth segmentation | |
| CN112907206B (zh) | 一种基于视频对象识别的业务审核方法、装置及设备 | |
| Cozzolino et al. | A comparative analysis of forgery detection algorithms | |
| CN111080586B (zh) | 基于卷积神经网络的篡改图像来源取证方法 | |
| Baishya et al. | Luminance Channel Based Camera Model Identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |