CN113706524B - 基于持续学习方法改进的卷积神经网络翻拍图像检测*** - Google Patents
基于持续学习方法改进的卷积神经网络翻拍图像检测*** Download PDFInfo
- Publication number
- CN113706524B CN113706524B CN202111092039.7A CN202111092039A CN113706524B CN 113706524 B CN113706524 B CN 113706524B CN 202111092039 A CN202111092039 A CN 202111092039A CN 113706524 B CN113706524 B CN 113706524B
- Authority
- CN
- China
- Prior art keywords
- network
- convolutional neural
- layer
- neural network
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000006872 improvement Effects 0.000 title claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000013140 knowledge distillation Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000001994 activation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
一种基于持续学习方法改进的卷积神经网络翻拍图像检测***,包括:卷积神经网络模块、持续学习支持模块和独立数据集分类模块,其中:包含提取网络的卷积神经网络模块从以数据集序列形式输入的图像中提取出深度特征;由若干串联的子网络组成的持续学习支持模块针对不同的数据集序列生成对应的子网络参数;由若干独立的分类器组成的独立数据集分类模块对不同的数据集序列中的每一个数据集生成独立的分类器用于针对性分类并最终得到翻拍检测结果。本发明针对不同的数据集序列,对每个数据集生成独立的子网络结构用于记忆其独特的特征,最终使得整体网络在每个不同的数据集上达到较好的检测准确率。
Description
技术领域
本发明涉及的是一种图像处理领域的技术,具体是一种基于持续学习方法改进的卷积神经网络翻拍图像检测***。
背景技术
数字图像取证中的一个分支为对翻拍图像(Recaptured Image)的鉴定。对直接拍摄得到的图像,使用某种方式重现后,再次使用拍摄设备获取重现的图像称之为翻拍图像。现有翻拍图像检测的技术都是针对单一数据集,由于不同数据集所含图像存在大小、分辨率等差异,不同摄像头的不同参数问题,不同场景中存在着图像内容变化、复杂背景变化,不同的图像显示介质造成的纹理变化等,使得同一模型在切换数据集训练时,会造成灾难性遗忘。在实际应用场景中,这一特性表现为针对单一数据集的检测方法往往因为待检测图像的多变性而导致检测率大幅度波动。
发明内容
本发明针对现有翻拍图像检测技术面对不同数据集所含的不同内容、不同分辨率、不同背景、不同设备等等情况时的准确率低下的问题,提出一种基于持续学习方法改进的卷积神经网络翻拍图像检测***,针对不同的数据集序列,对每个数据集生成独立的子网络结构用于记忆其独特的特征,最终使得整体网络在每个不同的数据集上达到较好的检测准确率。
本发明是通过以下技术方案实现的:
本发明涉及一种基于持续学习方法改进的卷积神经网络翻拍图像检测***,包括:卷积神经网络模块、持续学习支持模块和独立数据集分类模块,其中:包含提取网络的卷积神经网络模块从以数据集序列形式输入的图像中提取出深度特征;由若干串联的子网络组成的持续学习支持模块针对不同的数据集序列生成对应的子网络参数;由若干独立的分类器组成的独立数据集分类模块对不同的数据集序列中的每一个数据集生成独立的分类器用于针对性分类并最终得到翻拍检测结果。
所述的深度特征在训练时将随着数据集序列的改变而更新;子网络参数在数据集序列改变时不再更新。
所述的卷积神经网络模块包括:若干卷积层、三个全连接层和正则化层,其中:卷积层和第一全连接层组成提取网络,通过神经元从输入的数据集序列中提取出每一个数据集对应的深度特征并分别输出至持续学习支持模块和第二全连接层,经三个全连接层降低特征维度,通过正则化层匹配提取网络的学习速度,通过捷径连接保持低维度特征权重并输出深度特征至独立数据集分类模块。
所述的提取网络中的卷积层与卷积层之间、卷积层与第一全连接层之间设有捷径连接,即跳过某一层直接进入下一层的连接以提高低维特征权重。
所述的提取网络通过卷积层与持续学习支持模块的全连接层的连接实现线性计算和通过卷积层与卷积神经网络模块全连接层的连接实现非线性计算。
所述的持续学习支持模块中各个子网络结构相同,每个子网络均包括:两个全连接层与一个正则化层,其中:每个子网络分别记录卷积神经网络模块提取出的不同深度特征,并保持其不变。
所述的持续学习支持模块通过设置超参数,即卷积神经网络模块和持续学习支持模块输出的权重比控制其子网络对卷积神经网络模块的影响力。
所述的独立数据集分类模块中的每个分类器根据对应各个数据集生成并初始化,在测试阶段各个分类器根据提取网络得到的深度特征得到对应的检测概率,将其中最大值作为最终结果,最终形成翻拍与直拍两类图像的分类。
技术效果
与现有技术相比,本发明避免了模型面对不同数据集检测率有很大波动的问题,可以有效地在依序训练的情况下区分不同内容、不同分辨率、不同背景、不同设备等情况下的翻拍与直拍图像,提高了多个不同数据集下的翻拍图像检测的准确率。
附图说明
图1为本发明***整体结构示意图;
图2为本发明***整体结构细节图;
图3为本发明对第i个数据集生成子网络的过程及其结构示意图;
图4为本发明对第i个数据集生成分类器的过程及其结构示意图。
具体实施方式
如图2所示,为本实施例涉及一种基于持续学习方法改进的卷积神经网络翻拍图像检测***,包括:卷积神经网络模块、持续学习支持模块和独立数据集分类模块,其中:卷积神经网络模块根据数据集序列进行深度特征提取,通过多个全连接层处理,输出深度特征结果至独立数据集分类模块,持续学习支持模块根据数据集序列输入,通过捷径连接到持续学习支持模块的全连接层的处理,得到子网络的输出结果,独立数据集分类模块根据卷积神经网络模块和持续学习支持卷积神经网络模块和持续学习支持模块的输出信息,进行损失函数计算处理,得到最终分类结果。
所述的数据集序列优选经预处理,具体为:对于数据集序列中的第i个数据集ith的图像进行随机角度旋转、180度翻转以扩大可用图像数量,不做缩放处理,只切割其中心224*224的部分,以这些裁剪后的图像建立每个数据集的训练集。
如图3所示,所述的卷积神经网络模块包括:由用于提取输入图像特征的多个卷积层、第一全连接层fc1构成的提取网络、第二全连接层fc2、第一正则化层norm1和第三全连接层fc3,其中:卷积层与卷积层之间、卷积层与全连接层之间设有捷径连接。
所述的捷径连接用于跨层传输卷积层得到的特征信息,其分别连接卷积层和卷积层或分别连接卷积层和全连接层。
所述的持续学习支持模块中的每个子网络均包括:第四全连接层fc4、第二正则化层norm2和第五全连接层fc5,其中:第四全连接层fc4根据卷积神经网络模块中通过捷径连接传输的信息进行降维处理,得到第一特征结果;第二正则化层norm2根据第四全连接层fc4输出的信息进行则化处理,得到第二特征结果;第五全连接层fc5根据第二正则化层norm2输出的信息进行降维处理,得到最终的输出结果并输出至独立数据集分类模块。
如图4所示,所述的独立数据集分类模块中的每个分类器分别以卷积神经网络模块得到的深度特征和对应的子网络特征作为输入,经损失函数计算得到输出。
本实施例涉及一种基于上述***的翻拍图像检测方法,具体包括:
S0)训练时,输入第i个数据集时:
S1)预处理第i个数据集ith得到对应的训练集。
S2)在网络结构中,连接到持续学习支持模块的全连接层fc4的捷径连接是简单的线性层,而卷积层之间的捷径连接是非线性层(ReLU函数)。除最后的分类器外共有k层。已经有(i-1)对子网络-分类器对,第i对子网络-分类器对将用第i个数据集生成。对于第i个子网络来说,考虑捷径连接,其生成的第k层的隐藏激活为hmi k=Wmi k[h2,h4…hk-4,hk-2,hk-1],其中:表示第k-1层与第i个子网络之间的权重。
S3)在进行SoftMax的分类之前,由卷积神经网络模块得到的深度特征和持续学习支持模块生成的子网络特征共同计算得到其输出,考虑捷径连接的存在,卷积神经网络模块通过全连接层fc2输出的yi=Fi k,(k+1)[h2,h4…hk-4,hk-2,hk-1],持续学习支持模块通过全连接层fc4的输出ymi=Wmi k,k+1[h2,h4…hk-4,hk-2,hk-1],其中Fi k,(k+1)[h2,h4…hk-4,hk-2,hk-1]为卷积神经网络模块得到的非线性项,Wmi k,k+1[h2,h4…hk-4,hk-2,hk-1]为持续学习支持模块得到的线性项。
S4)在卷积神经网络模块的全连接层fc2之后引入一层正则化层norm1,用以匹配卷积神经网络模块中的提取网络的学习速度,这一层采用L2正则化方式,得到Hk=hk/||hk||2,其中:hk为第k层的特征向量;持续学习支持模块中的正则化层norm2采用相同的处理方式。
S5)第二全连接层fc2的输出yi和第四全连接层fc4的输出ymi也分别通过第一和第二正则化层norm1、norm2处理;在通过第三和第五全连接层fc3和fc5后,得到的两个输出分别记为卷积神经网络模块输出Yi和持续学习支持模块输出Ymi。
S6)最终的输出Yfi为卷积神经网络模块输出Yi和子网络输出Ymi的正则化非线性和线性激活的加和,再经过SoftMax计算所得,如图3所示。
S7)对卷积神经网络模块和持续学习支持模块两部分网络的训练采用迁移训练的方法,具体包括:对卷积神经网络模块fc2输出yi和子网络fc4输出ymi初始化为不同的值,以控制主模型和新的子网络的学习速度不同。之后设置一个超参数a,a=yi/ymi,其中:a∈(0,1],每个子网络都拥有一个超参数a,记为ai;通过设置超参数a的值来控制子网络的学习速度。举例来说,当超参数a=1时,代表子网络与主模型完全相同,而超参数a=0时,则代表该子网络与主模型的连接完全断开,不再影响主模型。
所述的超参数a通过下述等式来控制子网络与主模型的关系,以影响图3中最终的输出Yfi=Wi k+1(aiymi)Hk+Wmi k+1ymi Hmi k,其中:ymi为子网络的输出;aiymi即为yi,是卷积神经网络模块输出;Wmi为步骤S2)中的权重;并且在训练时,Hk将被设置为[0,0,…,0]以保证数据集和持续学习支持模块的子网络对应。
S8)计算损失函数Li=-1/nΣ[Yiln(a)+(1-Yi)ln(1-a)]得到分类;
S9)计算子网络的损失函数Lmi=-1/nΣ[Ymiln(a)+(1-Ymi)ln(1-a)]得到分类;
S10)合并步骤S8和步骤S9二分类得到最终的损失函数Lf=(1-λmi)Li+λmi Lmi,其中:超参数λmi为用来控制子网络损失的预设权重。
S11)通过知识蒸馏(Knowledge Distillation)的方法来保存旧数据集的分类器,具体采用LwF方法中的损失函数来保持旧子网络的参数,LKD=-Σy0 (i)logy0 ’(i),其中:y0 (i)是训练前从当前任务图像中获取现有模型的输出,y0 ’(i)是在训练过程中将当前任务图像反馈到网络中获得的现有模型的输出,两者均为图3中最终经过SoftMax的输出。
S12)计算分类器中的损失函数Ltotal=λ0LKD+(1-λmi)Li+λmi Lmi,其中:λ0为一个指定的超参数来防止模型中旧数据集相关参数的改变。
本实施例选取三个内容不同的数据集,包括汽车、证件与风景,采用汽车、证件、风景的顺序依次训练,用最终的模型依次对各个数据集进行检测,对该方法的翻拍检测与避免遗忘的效果进行测试,具体测试结果及与其他方法的对比如下表1所示。
经过具体实际实验,在选用三个差异较大的数据集,取其中80%图像分别作为三个训练集,剩余20%图像分别作为三个测试集,按照汽车、证件、风景依序训练的具体环境设置下,以S7)和S10)中定义的超参数对(a,λm)和S12)中定义的超参数λ0运行方法:在本实施例中训练时所使用的三个数据集汽车、证件、风景,其对应的超参数对分别是汽车(0.5,1.5);证件(0.2,0.8)风景(0.8,0.5);λ0设置为0.8。,能够得到的实验数据是如表一所示:
表1
本实施例以三个内容不同的数据集依次训练为例,相对基础网络和其他方法,可以看到,本实施例在新数据集上重新训练时,对旧数据集的记忆有较好的保持,没有出现较为严重的灾难性遗忘,有相对较高的检测准确率,足以说明本实施例的有效性。
与现有技术相比,本实施例选取了三个内容不同的翻拍数据集进行测试,图像主体分别为汽车、证件、风景三个不同内容。在三个数据集上依次训练后,再分别对每个数据集进行检测,本实施例在重新训练的基础上对旧数据集的检测率达到68.7%、79.4%、89.7%,明显高于采用基础结构网络的51.8%、53.5%、82.3%,证明本实施例有效避免了重新训练时网络对旧数据集的遗忘。
与现有技术相比,本发明能够解决在不同数据集依序进行训练时模型出现的对旧数据集的灾难性遗忘,避免了模型面对不同数据集检测率有很大波动的问题,可以有效地在依序训练的情况下区分不同内容、不同分辨率、不同背景、不同设备等情况下的翻拍与直拍图像;本发明使得每个子网络记录的特征都能有效得到使用,提高了翻拍图像检测的准确率。
具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (7)
1.一种基于持续学习方法改进的卷积神经网络翻拍图像检测***,其特征在于,包括:卷积神经网络模块、持续学习支持模块和独立数据集分类模块,其中:包含提取网络的卷积神经网络模块从以数据集序列形式输入的图像中提取出深度特征;由若干串联的子网络组成的持续学习支持模块针对不同的数据集序列生成对应的子网络参数;由若干独立的分类器组成的独立数据集分类模块对不同的数据集序列中的每一个数据集生成独立的分类器用于针对性分类并最终得到翻拍检测结果;深度特征在训练时将随着数据集序列的改变而更新;子网络参数在数据集序列改变时不再更新;
所述的持续学习支持模块中各个子网络结构相同,每个子网络均包括:两个全连接层与一个正则化层,其中:每个子网络分别记录卷积神经网络模块提取出的不同深度特征,并保持其不变;
所述的持续学习支持模块通过设置超参数,即卷积神经网络模块和持续学习支持模块输出的权重比控制其子网络对卷积神经网络模块的影响力;
所述的持续学习支持模块中的每个子网络均包括:第四全连接层、第二正则化层和第五全连接层,其中:第四全连接层根据卷积神经网络模块中通过捷径连接传输的信息进行降维处理,得到第一特征结果;第二正则化层根据第四全连接层输出的信息进行则化处理,得到第二特征结果;第五全连接层根据第二正则化层输出的信息进行降维处理,得到最终的输出结果并输出至独立数据集分类模块。
2.根据权利要求1所述的基于持续学习方法改进的卷积神经网络翻拍图像检测***,其特征是,所述的卷积神经网络模块包括:若干卷积层、三个全连接层和正则化层,其中:卷积层和第一全连接层组成提取网络,通过神经元从输入的数据集序列中提取出每一个数据集对应的深度特征并分别输出至持续学习支持模块和第二全连接层,经三个全连接层降低特征维度,通过正则化层匹配提取网络的学习速度,通过捷径连接保持低维度特征权重并输出深度特征至独立数据集分类模块。
3.根据权利要求2所述的基于持续学习方法改进的卷积神经网络翻拍图像检测***,其特征是,所述的提取网络中的卷积层与卷积层之间、卷积层与第一全连接层之间设有捷径连接,即跳过某一层直接进入下一层的连接以提高低维特征权重;
所述的提取网络通过卷积层与持续学习支持模块的全连接层的连接实现线性计算和通过卷积层与卷积神经网络模块全连接层的连接实现非线性计算。
4.根据权利要求2所述的基于持续学习方法改进的卷积神经网络翻拍图像检测***,其特征是,所述的独立数据集分类模块中的每个分类器根据对应各个数据集生成并初始化,在测试阶段各个分类器根据提取网络得到的深度特征得到对应的检测概率,将其中最大值作为最终结果,最终形成翻拍与直拍两类图像的分类。
5.根据权利要求1~4中任一所述的基于持续学习方法改进的卷积神经网络翻拍图像检测***,其特征是,所述的卷积神经网络模块包括:由用于提取输入图像特征的多个卷积层、第一全连接层构成的提取网络、第二全连接层、第一正则化层和第三全连接层,其中:卷积层与卷积层之间、卷积层与全连接层之间设有捷径连接。
6.一种基于权利要求5所述***的基于持续学习方法改进的卷积神经网络翻拍图片检测方法,其特征在于,包括以下步骤:
S1)预处理第i个数据集ith得到对应的训练集;
S2)在网络结构中,第i个子网络生成的第k层的隐藏激活为hmi k=Wmi k[h2,h4…hk-4,hk-2,hk-1],其中:表示第k-1层与第i个子网络之间的权重;
S3)在进行SoftMax的分类之前,由卷积神经网络模块得到的深度特征和持续学习支持模块生成的子网络特征共同计算得到其输出,其中:卷积神经网络模块通过第二全连接层输出yi=Fi k,(k+1)[h2,h4…hk-4,hk-2,hk-1],持续学习支持模块通过第四全连接层输出ymi=Wmi k,k+1[h2,h4…hk-4,hk-2,hk-1],Fi k,(k+1)[h2,h4…hk-4,hk-2,hk-1]为卷积神经网络模块得到的非线性项,Wmi k,k+1[h2,h4…hk-4,hk-2,hk-1]为持续学习支持模块得到的线性项;
S4)卷积神经网络模块的第一正则化层采用L2正则化方式得到Hk=hk/||hk||2,其中:hk为第k层的特征向量;持续学习支持模块中的第二正则化层采用相同的处理方式;
S5)第二全连接层的输出yi和第四全连接层的输出ymi也分别通过第一和第二正则化层处理;在通过第三和第五全连接层后得到的两个输出分别记为卷积神经网络模块输出Yi和持续学习支持模块输出Ymi;
S6)最终的输出Yfi为卷积神经网络模块输出Yi和子网络输出Ymi的正则化非线性和线性激活的加和,再经过SoftMax计算所得;
S7)对卷积神经网络模块和持续学习支持模块两部分网络的训练采用迁移训练的方法,具体包括:对第二全连接层的输出yi和第四全连接层的输出ymi初始化为不同的值,以控制主模型和新的子网络的学习速度不同;为每个子网络设置一个超参数a=yi/ymi,从而控制子网络的学习速度;
S8)计算损失函数Li=-1/nΣ[Yiln(a)+(1-Yi)ln(1-a)]得到分类;
S9)计算子网络的损失函数Lmi=-1/nΣ[Ymiln(a)+(1-Ymi)ln(1-a)]得到分类;
S10)合并步骤S8和步骤S9二分类得到最终的损失函数Lf=(1-λmi)Li+λmiLmi,其中:超参数λmi为用来控制子网络损失的预设权重;
S11)通过知识蒸馏保存旧数据集的分类器,具体采用LwF方法中的损失函数来保持旧子网络的参数,LKD=-Σy0 (i)logy0 ’(i),其中:y0 (i)是训练前从当前任务图像中获取现有模型的输出,y0 ’(i)是在训练过程中将当前任务图像反馈到网络中获得的现有模型的输出,两者均为最终经过SoftMax的输出;
S12)计算分类器中的损失函数Ltotal=λ0LKD+(1-λmi)Li+λmi Lmi,其中:λ0为一个指定的超参数来防止模型中旧数据集相关参数的改变。
7.根据权利要求6所述的基于持续学习方法改进的卷积神经网络翻拍图片检测方法,其特征是,所述的超参数,通过下述等式来控制子网络与主模型的关系,以影响最终的输出Yfi=Wi k+1(aiymi)Hk+Wmi k+1ymi Hmi k,其中:ymi为子网络的输出;aiymi即为yi,是卷积神经网络模块输出;Wmi为步骤S2)中的权重;并且在训练时,Hk将被设置为[0,0,…,0]以保证数据集和持续学习支持模块的子网络对应。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111092039.7A CN113706524B (zh) | 2021-09-17 | 2021-09-17 | 基于持续学习方法改进的卷积神经网络翻拍图像检测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111092039.7A CN113706524B (zh) | 2021-09-17 | 2021-09-17 | 基于持续学习方法改进的卷积神经网络翻拍图像检测*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113706524A CN113706524A (zh) | 2021-11-26 |
CN113706524B true CN113706524B (zh) | 2023-11-14 |
Family
ID=78661022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111092039.7A Active CN113706524B (zh) | 2021-09-17 | 2021-09-17 | 基于持续学习方法改进的卷积神经网络翻拍图像检测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706524B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024007105A1 (en) * | 2022-07-04 | 2024-01-11 | Robert Bosch Gmbh | Method and apparatus for continual learning of tasks |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
CN107341506A (zh) * | 2017-06-12 | 2017-11-10 | 华南理工大学 | 一种基于多方面深度学习表达的图像情感分类方法 |
CN110717450A (zh) * | 2019-10-09 | 2020-01-21 | 深圳大学 | 自动识别原始文档的翻拍图像的训练方法和检测方法 |
CN111476283A (zh) * | 2020-03-31 | 2020-07-31 | 上海海事大学 | 基于迁移学习的青光眼眼底图像识别方法 |
CN111881707A (zh) * | 2019-12-04 | 2020-11-03 | 马上消费金融股份有限公司 | 图像翻拍检测方法、身份验证方法、模型训练方法及装置 |
AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
-
2021
- 2021-09-17 CN CN202111092039.7A patent/CN113706524B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
CN107341506A (zh) * | 2017-06-12 | 2017-11-10 | 华南理工大学 | 一种基于多方面深度学习表达的图像情感分类方法 |
CN110717450A (zh) * | 2019-10-09 | 2020-01-21 | 深圳大学 | 自动识别原始文档的翻拍图像的训练方法和检测方法 |
CN111881707A (zh) * | 2019-12-04 | 2020-11-03 | 马上消费金融股份有限公司 | 图像翻拍检测方法、身份验证方法、模型训练方法及装置 |
CN111476283A (zh) * | 2020-03-31 | 2020-07-31 | 上海海事大学 | 基于迁移学习的青光眼眼底图像识别方法 |
AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
Non-Patent Citations (1)
Title |
---|
Context-Aware Object detection for Vehicular networks based on Edge-Cloud Cooperation;Jie Guo等;IEEE;第7卷(第7期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113706524A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shamsian et al. | Personalized federated learning using hypernetworks | |
Raut et al. | Deep learning approach for brain tumor detection and segmentation | |
CN105138973B (zh) | 人脸认证的方法和装置 | |
CN111950656B (zh) | 图像识别模型生成方法、装置、计算机设备和存储介质 | |
CN106991373A (zh) | 一种基于深度学习和图论的拷贝视频检测方法 | |
US11941526B2 (en) | Methods, electronic devices, and computer-readable media for training, and processing data through, a spiking neuron network | |
CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
Chen et al. | Automated design of neural network architectures with reinforcement learning for detection of global manipulations | |
CN113706524B (zh) | 基于持续学习方法改进的卷积神经网络翻拍图像检测*** | |
CN110059593B (zh) | 一种基于反馈卷积神经网络的面部表情识别方法 | |
Liu et al. | RB-Net: Training highly accurate and efficient binary neural networks with reshaped point-wise convolution and balanced activation | |
CN110738141A (zh) | 一种静脉识别的方法、装置、设备及存储介质 | |
CN114626042B (zh) | 一种人脸验证攻击方法和装置 | |
Yu et al. | A multi-task learning CNN for image steganalysis | |
JP2000259766A (ja) | パターン認識方法 | |
El-Gayar et al. | A novel approach for detecting deep fake videos using graph neural network | |
CN111931553B (zh) | 遥感数据增强生成对抗网络方法、***、存储介质及应用 | |
CN113052187A (zh) | 一种基于多尺度特征融合的全局特征对齐目标检测方法 | |
CN113496472A (zh) | 图像去雾模型构建、道路图像去雾方法、装置及车辆 | |
CN113205102A (zh) | 一种基于忆阻神经网络的车辆标志识别方法 | |
CN110503157B (zh) | 基于细粒度图像的多任务卷积神经网络的图像隐写分析方法 | |
CN117095217A (zh) | 多阶段对比知识蒸馏方法 | |
CN117173464A (zh) | 一种基于gan的非平衡医学图像分类方法、***及电子设备 | |
CN116486493A (zh) | 一种活体检测方法、装置及设备 | |
CN115984949A (zh) | 一种带有注意力机制的低质量人脸图像识别方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |