CN113076927B - 基于多源域迁移的指静脉识别方法及*** - Google Patents

基于多源域迁移的指静脉识别方法及*** Download PDF

Info

Publication number
CN113076927B
CN113076927B CN202110449007.1A CN202110449007A CN113076927B CN 113076927 B CN113076927 B CN 113076927B CN 202110449007 A CN202110449007 A CN 202110449007A CN 113076927 B CN113076927 B CN 113076927B
Authority
CN
China
Prior art keywords
domain
network
features
finger vein
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110449007.1A
Other languages
English (en)
Other versions
CN113076927A (zh
Inventor
康文雄
钟飞
马钰儿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110449007.1A priority Critical patent/CN113076927B/zh
Publication of CN113076927A publication Critical patent/CN113076927A/zh
Application granted granted Critical
Publication of CN113076927B publication Critical patent/CN113076927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的基于多源域迁移的指静脉识别方法，包括以下步骤：首先将目标域的指静脉图片，获取到该图片对应的ROI；再将ROI输入基础特征提取网络提取基础特征；之后再将基础特征分别输入CFTN和DFTN，得到通用特征和域指定特征；将通用特征和域指定特征进行拼接后，得到最终的聚合特征；将获得的聚合特征在已有的指静脉特征数据库中进行搜索，得到输入的指静脉图片和数据库中已有指静脉的匹配分数；最终根据匹配分数输出该输入指静脉的匹配结果。通过使用多个源域迁移到目标域，减少目标域的样本需求，从而降低采集标注成本；将多个源域数据集的通用知识迁移到目标域，并且保留领域指定特征，从而最大程度地提升迁移学习的性能。

Description

基于多源域迁移的指静脉识别方法及***
技术领域
本发明属于生物特征识别领域，尤其涉及基于多源域迁移的指静脉识别方法及***。
背景技术
指静脉识别是新提出的、具有用户友好性的、高安全性的并且拥有天然防伪性质的用于生物特征识别的模态。越来越多的研究人员和工程人员开始致力于在指静脉识别领域进行研究。然而，在指静脉工程实践，指静脉识别仍然还受到以下两个问题的影响：
图像差异：由于光学成像传感器和近红外光光照的区别，不同场景下被不同设备所采集的指静脉图像都有区别，如图1所示。除此之外，他们的灰度直方图和局部二进制编码图像也分别在下面列出，以说明他们的区别。除此之外，不同的近红外光等照射强度也会对指静脉图像产生非线性的退化。由于这种图像退化具有很强的非线性，因此光照强度所导致的非线性退化也不能够直接建模，从而消除光照强度的影响。除此之外，不同的图像传感器有不同的光谱响应曲线，这也会导致同一个手指在相同的光照下产生不同的成像结果。尽管上面的两个原因已经被提出，但是由于目前的电子设备精度、光学设备的限制、制造成本限制，截止目前仍然没有合适的方法来解决他们。因此，在指静脉的实际应用中，不同设备采集的指静脉图像存在着不可避免的差别，这会导致在一个数据集上训练的深度学习模型无法很好的应用在新设计的指静脉设备上。
数据缺失：指静脉相对指纹、人脸和手势而言，是一个新的生物特征模态。目前指静脉数据库中的训练数据量还不足，并且类内的变化也不够大，这都会影响指静脉识别算法的性能。而目前大多数模式识别、深度学习方法，都需要大量的数据集来获得一个有效、鲁棒的识别模型。为了缓解数据短缺的问题，一个解决方法是在有充足数据的相关数据集上进行预训练然后在目标数据集上进行微调或者是联合训练。但是当从多个源域进行微调时，深度学习模型会存在严重的遗忘问题，并且联合训练会丢弃多个数据集之间的通用特征。
指静脉识别由于其极高的安全性和独一无二的活体检测性，其在学术界和工业界的影响力不断加大。大多数方法，尤其是基于深度学习的方法都倾向于使用大量的训练数据来获得一个有效且鲁棒的识别模型。然而，在实际的应用中，为每个新设计的指静脉识别设备收集充足的数据是十分耗时耗力、昂贵的。因此，在小样本的实验设置下如果获得一个最优的模型成了最近的一个研究热点。解决这类小样本学习问题的常用方法是使用微调或者是联合训练。但是从多个源域进行微调会受到严重的遗忘问题影响，而在多个源域上进行联合训练会丢弃通用特征。
Kyoung Jun Noh等人(Noh K J,Choi J,Hong J S,et al.Finger-VeinRecognition Using Heterogeneous Databases by Domain Adaption Based on aCycle-Consistent Adversarial Network[J].Sensors,2021,21(2):524)为了解决指静脉识别中的多源域问题，深度学习模型在多个数据集上测试效果都比较差的问题，提出了使用CycleGAN来提升异源数据集上识别性能的方法。即使用CycleGAN在图像层进行迁移，来达到模型能够在多个不同的指静脉领域上适应的目的。其算法整体流程如下：a.将采集到的图片进行预处理；b.将预处理得到的ROI图片送入CycleGAN，生成领域自适应的图片；c.将领域自适应的图片送入深度神经网络进行特征提取；d.使用上一步提取到的特征进行特征匹配与检索，得到最终识别结果。但是CycleGAN是一种无监督生成对抗网络，它的主要想法是训练两对生成器-判别器模型以将图像从一个领域转换为另一个领域，在这过程中要求循环一致性。即在序列地应用生成器后，应该得到一个相似于原始L1损失的图像。因此需要一个循环损失函数 (cyclic loss)，它能确保生成器不会将一个领域的图像转换到另一个和原始图像完全不相关的领域。但是这样的转换通常是不稳定的，通常要求测试时的输入图像分布要和训练时的图像分布完全一致，但是这个要求在实际使用时是很难满足的。因此，使用CycleGAN进行图像层的领域适应，会影响原始图像的质量。
Guoqing Wang等人(Wang G,Sun C,Sowmya A.Learning a compact veindiscrimination model with GANerated samples[J].IEEE Transactions onInformation Forensics and Security,2019,15:635-650)为了解决指静脉识别中的小样本问题，提出了级联生成对抗网络GAN来进行数据扩增。但是，生成对抗神经网络由生成器和判别器组成。判别器尽可能使D(G(Z))接近0，而生成器尽可能生成同分布高质量的样本使D(G(Z))接近1。当生成器和判别器的性能训练得足够好时，达到纳什均衡(生成器生成的G(Z)与训练数据有相同的分布，对于判别器的每个输入x,D(x)＝0.5)。生成对抗神经网络训练不稳定有如下三点原因：a.很难使一对模型(G和D同时)收敛。大多深度模型的训练都使用优化算法寻找损失函数比较低的值。优化算法通常是个可靠的“下山”过程。生成对抗神经网络要求双方在博弈的过程中达到势均力敌(均衡)。每个模型在更新的过程中(比如生成器)成功的“下山”，但同样的更新可能会造成博弈的另一个模型(比如判别器)“上山”。甚至有时候博弈双方虽然最终达到了均衡，但双方在不断的抵消对方的进步并没有使双方同时达到一个有用的地方。对所有模型同时梯度下降使得某些模型收敛但不是所有模型都达到收敛最优。b.生成器G发生模式崩溃：对于不同的输入生成相似的样本，最坏的情况仅生成一个单独的样本，判别器的学习会拒绝这些相似甚至相同的单一样本。在实际应用中，完全的模式崩溃很少，局部的模式崩溃很常见。局部模式崩溃是指生成器使不同的图片包含相同的颜色或者纹理主题，或者不同的图片包含同一只狗的不同部分。MinBatch GAN缓解了模式崩溃的问题但同时也引发了 counting,perspective和全局结构等问题。c.生成器梯度消失问题：当判别器非常准确时，判别器的损失很快收敛到0，从而无法提供可靠的路径使生成器的梯度继续更新，造成生成器梯度消失。GAN的训练因为一开始随机噪声分布，与真实数据分布相差距离太远，两个分布之间几乎没有任何重叠的部分，这时候判别器能够很快的学习把真实数据和生成的假数据区分开来达到判别器的最优，造成生成器的梯度无法继续更新甚至梯度消失。即基于GAN的领域自适应方法、数据扩增方法相对来说不稳定。
发明内容
为了解决现有技术中存在的小样本识别和多源域迁移问题，本发明提供了基于多源域迁移的指静脉识别方法，通过使用多个源域迁移到目标域，减少目标域的样本需求，从而降低采集标注成本；将多个源域数据集的通用知识迁移到目标域，并且保留领域指定特征，从而最大程度地提升迁移学习的性能。
为了实现发明目的，本发明提供的基于多源域迁移的指静脉识别方法，包括以下步骤：
构建并训练解耦迁移学习网络，所述解耦迁移学习网络包括嵌入网络、通用特征变换网络和目标域域指定特征变换网络，嵌入网络用于将指静脉图像转换为基础特征，通用特征变换网络用于将基础特征解耦得到通用特征，目标域域指定特征变换网络用于将基础特征解耦得到域指定特征，其中，在训练解耦迁移学习网络时，采用目标域和多个源域进行训练，将多个源域的域指定特征和通用知识迁移到目标域，得到目标域域指定特征变换网络；
将待识别的指静脉图片的感兴趣区域输入嵌入网络，得到基础特征；
将基础特征分别输入通用特征变换网络和目标域域指定特征变换网络，分别得到通用特征和域指定特征；
将得到的通用特征和域指定特征进行拼接，得到聚合特征；
计算聚合特征和已注册样本数据库中所有已注册样本特征之间的余弦距离，得到输入的指静脉图片和数据库中已有指静脉的匹配分数；
根据匹配分数输出该输入指静脉的匹配结果。
进一步地，所述训练解耦迁移学习网络的方法步骤包括：
首先对于多个源域，在任意两个源域中都随机采样出mini-batch，并对两个源域的 mini-batch分别进行基础特征提取、通用特征提取、域指定特征提取，随后利用总体损失函数计算两个mini-batch之间的损失并使用RMSprop算法更新DTL网络；
在任意一个源域和目标域中都随机采样出mini-batch，并对该源域和目标域的mini-batch分别进行基础特征提取、通用特征提取、域指定特征提取，随后利用总体损失函数计算两个mini-batch之间的损失并使用RMSprop算法更新DTL网络；
对目标域随机采样mini-batch，对该mini-batch进行基础特征提取、通用特征提取、域指定特征提取，随后使用目标域损失函数计算损失并使用RMSprop算法更新DTL网络。
进一步地，所述目标域损失函数的计算公式如下：
Figure BDA0003037906710000041
式中，
Figure BDA0003037906710000042
表示DFTN的交叉熵损失，β是中心损失的系数，Lcenter表示中心损失。
进一步地，所述总体损失函数的计算公式如下：
Figure BDA0003037906710000043
其中，
Figure BDA0003037906710000044
Figure BDA0003037906710000045
式中，
Figure BDA0003037906710000046
表示通用特征变换网络CFTN的交叉熵损失；
Figure BDA0003037906710000047
表示DFTN的交叉熵损失； Lmmmd表示多源域最大均值差异损失；Lcenter表示中心损失，α和β分别是MMMD损失和中心损失的系数，N是整个指静脉混合数据集的类别数目，y表示该样本类别标签的one-hot编码， ya表示类别标签one-hot编码的第a个类别的指示值；la(g)是通用特征g属于第a个类别的分类分数，Z表示源域的样本数量，gm表示第m个源域的通用特征，gt表示目标域上的通用特征，mmd(gm，gn)表示第m个源域和第n个源域之间通用特征的两个小批量数据之间的MMD距离。
进一步地，通用特征变换网络CFTN的交叉熵损失中的分类分数la(g)的计算公式如下：
Figure BDA0003037906710000048
式中，s是一个超参数，表示缩放的尺度因子；θa是特征g和对应超平面
Figure BDA0003037906710000049
之间的角度值；θb是特征g和对应超平面
Figure BDA00030379067100000410
之间的角度值，M为加性角度间隔惩罚项。
进一步地，所述通用特征变换网络包括网络结构和池化层，网络结构用于对对通用特征进行特征变换，池化层用于沿通道维度将每个通道均值池化为一个值，使最终各个通道的均值组成特征向量。
进一步地，所述目标域域指定特征变换网络包括网络结构和池化层，网络结构用于对对通用特征进行特征变换，池化层用于沿通道维度将每个通道均值池化为一个值，使最终各个通道的均值组成特征向量。
进一步地，所述将待识别的指静脉图片的感兴趣区域输入嵌入网络中，将待识别的指静脉图片，经过灰度化、边缘提取算子处理、手指边缘获取、ROI截取后，得到该图片对应的感兴趣区域ROI。
进一步地，所述根据匹配分数输出该输入指静脉的匹配结果，包括：根据匹配分数的高低，对输入指静脉图像和所有已注册样本的相似程度进行从高到低排序，使用该排序并采用决策算法得到最终的决策匹配结果。
本发明还提供基于多源域迁移的指静脉识别***，用于实现前述的方法，包括：网络建立模块，用于构建并训练解耦迁移学习网络，所述解耦迁移学习网络包括嵌入网络、通用特征变换网络和目标域域指定特征变换网络，嵌入网络用于将指静脉图像转换为基础特征，通用特征变换网络用于将基础特征解耦得到通用特征，目标域域指定特征变换网络用于将基础特征解耦得到域指定特征，其中，在训练解耦迁移学习网络时，采用目标域和多个源域进行训练，将多个源域的域指定特征和通用知识迁移到目标域，得到目标域域指定特征变换网络；
基础特征提取模块，用于将待识别的指静脉图片的感兴趣区域输入嵌入网络，得到基础特征；
通用特征提取模块，用于将基础特征输入通用特征变换网络，得到通用特征；
域指定特征提取模块，用于输入目标域域指定特征变换网络，得到域指定特征；
聚合模块，用于将得到的通用特征和域指定特征进行拼接，得到聚合特征；
计算模块，用于计算聚合特征和已注册样本数据库中所有已注册样本特征之间的余弦距离，得到输入的指静脉图片和数据库中已有指静脉的匹配分数；
匹配模块，用于根据匹配分数输出该输入指静脉的匹配结果。
本发明提出了一种全新的解耦迁移学习方法来学习不同指静脉数据库之间的通用知识，然后将这些提取到的通用知识迁移到的目标数据库上。实验表明本发明所提出的解耦迁移学习方法能够很好地提取不同设备采集的多个数据集内的通用知识，来实现在最小的训练样本下的指静脉识别。
1)分析了不同设备采集的不同指静脉图像之间的差异，本发明提出了一种将指静脉图像的基础特征解耦为通用特征和域指定特征的方法。其中，通用特征包含识别的通用信息，域指定特征包含受容易采集因素、外界因素影响的特征。
2)提出了一种多源域解耦迁移识别的框架，能够从多个源域到单个目标域进行迁移学习。因此，一个指静脉识别模型能够被更充分得训练并且在小样本的条件下，能够获得更加优越的性能。
3)通过实验获得了小样本识别下的最好结果，实验表明，本发明能够解决指静脉识别在训练数据不足时的性能。尤其是对于指静脉识别的实际工程应用中，能够防止采集过程中在采集数据、标注数据中心耗费的大量人力物力。
附图说明
图1是现有技术中不同数据集的指静脉图像及其GLH、LBP示意图。
图2是本发明实施例提供的基于多源域迁移的指静脉识别方法中解耦迁移学习网络示意图。
图3是本发明实施例中特征空间在不同训练集类别数的情况下被划分的情况示意图。
图4是本发明实施例中不同领域指静脉图像的特征落在不同的流形示意图。
图5是本发明实施例中CFTN结构示意图。
图6是本发明实施例中两个不同的流形经过规范化、分布对齐的示意图。
图7是本发明实施例中DFTN结构示意图。
图8是本发明实施例中指静脉识别流程图。
图9是本发明实施例提供的***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都是本发明保护的范围。
请参阅图8，本发明提供的基于多源域迁移的指静脉识别方法，包括以下步骤：
步骤1：构建并训练解耦迁移学习网络，所述解耦迁移学习网络包括嵌入网络、通用特征变换网络和目标域域指定特征变换网络，嵌入网络用于将指静脉图像转换为基础特征，通用特征变换网络用于将基础特征解耦得到通用特征，目标域域指定特征变换网络用于将基础特征解耦得到域指定特征。
步骤1.1：构建的解耦迁移学习网络如下：
深度学***台时，计算量与性能之间的权衡就显得尤为重要。因此可以使用神经网络架构搜索技术(Network Architecture Search,NAS)对不同的参数量下的网络结构进行搜索。嵌入网络可以采用比如EfficientNet,NasNet等深度神经网络，这些深度神经网络可以在有限的计算资源下，拥有很强的特征提取能力。
在本发明其中一个实施例中，解耦迁移学习网络中的嵌入网络采用EfficientNet网络。 EfficientNet网络是现有网络，如在文献“Tan M,Le Q.Efficientnet:Rethinkingmodel scaling for convolutional neural networks[C]//International Conferenceon Machine Learning.PMLR,2019:6105-6114.”中即有关于该网络的介绍，本实施例采用的网络与其具有相同的复合尺度参数和基本结构。在EfficienetNet-B1中，宽度、深度、分辨率和 dropout概率分别为1.0，1.0，224和0.2。该网络的主要区块是mobile invertedbottleneck (MBConv)结合了squeeze-and-excitation(SE)优化。
嵌入网络提取到的基础特征b相对来说是低层级的，并且包含所有的通用和领域指定特征。为了解耦这两种特征，本发明在嵌入网络的后面串联了一个双流的结构，用来将基础特征解耦为与领域无关和领域相关的知识。其中一个支路是通用特征变换网络CFTN，接收来自嵌入网络输出的特征图b，然后输出通用特征g。用来提取通用特征g＝G(b)，另一个支路是目标域域指定特征变换网络DFTN，用来提取域指定特征。
在本发明其中一个实施例中，请参阅图5，通用特征变换网络CFTN包括一个二维卷积和一个全局平均池化(GAP)。通过单个二维卷积，能够对通用特征进行特征变换，让变换的特征能够适应不同的源域。为了最终得到特征向量，通过全局平均池化沿通道维度将每个通道均值池化为一个值，最终各个通道的均值组成特征向量。当然，通用特征变换网络CFTN不局限于上述结构，在其他实施例中，通用特征变换网络CFTN的网络结构可以采用普通的卷积网络、SE模块、残差网络模块等等的组合，池化层可以采用全局最大池化或SPP池化。
目标域域指定特征变换网络接收来自嵌入网络输出待识别的指静脉图片的特征图b，并且输出域指定特征。在本发明其中一个实施例中，请参阅图7，目标域域指定特征变换网络包括一个二维卷积和一个全局平局池化(GAP)，通过单个二维卷积，能够对通用特征进行特征变换，让变换的特征能够针对不同的源域。为了最终得到特征向量，采用全局平均池化沿通道维度将每个通道均值池化为一个值，最终各个通道的均值组成特征向量。当然，目标域域指定特征变换网络不局限于前述结构，在其他实施例中，目标域域指定特征变换网络DFTN的网络结构可以采用普通的卷积网络、SE模块、残差网络模块等等的组合，池化层可以采用全局最大池化或SPP池化；本发明的实例中网络结构采用简单的二维卷积；池化层采用全局平均池化。
步骤1.2：训练解耦迁移学习网络，解耦迁移学习网络在训练时设置有一个嵌入网络、一个通用特征变换网络CFTN和多个域指定特征变换网络DFTN，其中，多个域指定特征变换网络包括一个目标域域指定特征变换网络和多个源域域指定特征变换网络，具体的训练过程如下：
在本发明其中一个实施例中，在特征空间中，本发明提出的解耦迁移学习方法能够减少不同数据集之间的领域差异并且将基础特征解耦为通用特征和领域指定特征。
训练时解耦迁移学习网络DTL的整个框架如图2所示：嵌入网络F被用来提取基础特征b： b＝F(x)，其中x是领域D的指静脉图像，来自不同领域
Figure BDA0003037906710000081
的指静脉图像x分别被嵌入网络F转换为相应的基础特征b，这些不同的嵌入网络是共享参数的。然后基础特征b被两个特征变换网络解耦。第一条支路是域指定特征变换网络，这条支路是和特定领域相关的。在这条支路上，基础特征b被变换为领域指定特征h。每个领域都有一个自己独特的DFTN，即每个领域的网络参数不一样，并且这条支路最终得到的领域指定特征只在他们对应的领域上进行分类。另一条支路通用特征变换网络，他在多个领域之间是参数共享的。这条支路上得到的通用特征g是在整个混合数据集上进行分类的。在测试阶段，指静脉图像被转换为领域指定特征和通用特征，这两类特征最终被串联成为最终的混合特征，用于指静脉认证。
通用特征变换网络CFTN提取到的通用特征是领域无关的，因此本发明在混合了目标域和所有源域的混合数据集
Figure BDA0003037906710000091
上训练通用特征变换网络CFTN，其中，
Figure BDA0003037906710000092
表示不同源域的数据集，Dt表示目标域的数据集。
在本发明其中一个实施例中，在混合数据集上训练时，通用特征g的交叉熵损失可以表示为：
Figure BDA0003037906710000093
其中，N是整个指静脉混合数据集的类别数目，y表示该样本类别标签的one-hot编码， ya表示类别标签one-hot编码的第a个类别的0/1指示值；la(g)是通用特征g属于第a个类别的分类分数。
在本发明其中一个实施例中，在分类或者是基于代理的度量学习中，一个常用的计算分类分数la(g)的方式是使用softmax方程，公式如下：
Figure BDA0003037906710000094
其中，d表示特征向量长度，N表示指静脉混合数据集的类别数目；
Figure BDA0003037906710000095
表示长度为d的一维实数空间；
Figure BDA0003037906710000096
表示权重
Figure BDA0003037906710000097
的第a行，
Figure BDA0003037906710000098
表示权重
Figure BDA0003037906710000099
的第b行，
Figure BDA00030379067100000910
表示长度分别为d和N的二维实数空间；Ba、
Figure BDA00030379067100000911
表示偏置项，，
Figure BDA00030379067100000912
为超平面，b表示第b个类别。
为了把整个特征空间推向一个超球面上，在本发明其中一个实施例中，将通用特征进行单位化g：g＝g/|g|。同时，本实施例参考加性角度间隔损失(ArcFace)在人脸识别中的优秀表现，将偏置项Bb设置为0，并且单位化权重矩阵Wya的每一列。因此Wb和g的内积可以表示为一个角度的余弦值
Figure BDA00030379067100000913
θb表示特征g和Wb之间的向量夹角。为了更进一步地优化，加性角度间隔惩罚项M被加在了角度值θ上。因此最终的分类分数la(g) 可以表示为：
Figure BDA00030379067100000914
其中，s是一个超参数，表示缩放的尺度因子；θa是特征g和对应超平面
Figure BDA00030379067100000915
之间的角度值；θb是特征g和对应超平面
Figure BDA00030379067100000916
之间的角度值。在测试阶段，本发明计算测试样本对xi和xj的通用特征gi和gj之间的余弦距离，其中，xi和xj为不同领域的指静脉图像，gi和gj是嵌入网络分别输入xi和xj得到的通用特征：余弦距离distance＝|gi||gj|cos(θ)。最终，使用正则化和加性角度间隔，能够使得作用在训练阶段的损失惩罚作用和作用在测试阶段的度量准则保持一致。
将经通用特征变换网络得到的不同领域的通用特征进行分布对齐。
通用特征的维度是固定的，但是通常来说，整个特征空间不会被已有的所有特征点都覆盖满。整个数据集或者领域其实是落在特征空间的一个子空间或者是低维流形上。如果解耦迁移学习网络直接在混合数据集上进行训练，尽管可能会获得更好的性能，但是不同领域上提取的特征仍然可能会落在不同的流形上，如图6所示，流形分布A和的流形分布B就是两个不同的领域。
因此，在本发明其中一个实施例中，使用规范化的方法首先将整个特征空间压缩到一个子空间上(即超球面)。在这个超球面中，与整个特征空间中的原始流形相比，不同域的分布差异会由于特征空间的变小而变窄。因此，目标域的流形更容易与其他域重叠，来自源域的更多样本也更有可能被投影到目标流形，这相当于直接在特征空间中增加了训练样本，将源域样本在特征空间中迁移到了目标域。与图(a)中的整个原始特征空间相比，图(b)中的两个流形的分布在归一化的超球体中更容易重叠，在这个超球体表面上，领域之间的迁移更加容易且度量学习也更有效。
规范化可以将整个特征空间缩小到一个超球面，从而让迁移更容易有效地发生。但是，不同的域可能位于同一超球面上的不同区域。因此，本发明提出了多源域的最大均值差异 (MMMD)对齐多个数据集的分布，如下式所示。MMMD定义如下：
Figure BDA0003037906710000101
式中，Z表示源域的样本数量，gm表示第m个源域的通用特征gm＝G(F(xm))。gt表示目标域上的通用特征gt＝G(F(Xt))。mmd(gm，gn)表示第m个源域和第n个源域之间通用特征的两个mini-batch(小批量数据)之间的MMD距离。MMD是一个基于可再生核希尔伯特空间的度量两个分布差异的核技巧。假定X＝x1，...，xn1和Y＝y1，...，yn1为两个任意的集合，其中x1、xn1表示集合X中的样本，y1，...，yn1表示集合Y中的样本。这两个集合拥有相同的维度并且其分布分别为
Figure BDA0003037906710000108
和
Figure BDA0003037906710000109
计算这两个分布之间距离的方法是：
Figure BDA0003037906710000102
其中
Figure BDA0003037906710000103
表示分布
Figure BDA0003037906710000107
上的数学期望，
Figure BDA0003037906710000104
表示分布
Figure BDA0003037906710000105
上的数学期望。其中
Figure BDA0003037906710000106
表示广义的的RKHS (Reproducing kernel Hilbert space，可再生核希尔伯特空间)。φ(·)表示将特征图从原始的样本空间映射到RKHS的映射函数，在符合
Figure BDA0003037906710000115
的前提下，选取核函数k(x，y)，使得k与φ(·)满足k(x，y)＝<φ(x)，φ(y))，其中<·，·>表示向量之间的内积。在解耦迁移学习方法中，核k采用一个高斯核函数，
Figure BDA0003037906710000111
和
Figure BDA0003037906710000112
两分布之间的距离
Figure BDA0003037906710000113
始终是非负的，并且当
Figure BDA0003037906710000114
n1，n2→∞时，其值不断趋向于0。
MMD被用来衡量源域和目标域之间的分布差异。在最小化MMD损失的同时，深度神经网络能够提取领域无关的特征。因此，本发明其中一个实施例中使用MMD来对齐多个源域和目标域之间的边际分布。正如上文中解释的，通过最小化两个流形A和B之间的分布差异，就可以使用深度神经网络提取到在超球面上几乎对齐的特征。这样，不同领域之间的指静脉图像经过深度神经网络后就拥有了几乎完全相同的特征分布。
将前面提取到的不同领域的通用特征相应输入域指定特征变换网络DFTN，提取不同的域指定特征。
由前面的分析可知，不同领域的可分特征是非常相似的，但是在可分特征中还是存在部分与领域相关的特征，这些特征是随着指静脉成像设备的成像特点不同而变化的。因此，在本发明所提出的方法中，双流结构的另一条支路是域指定特征变换网络DFTN。域指定特征变换网络DFTN用来提取特定域指定特征，比如背景的灰度信息、亮度分布、手指表面纹理、图像梯度。
在本发明其中一个实施例中，请参阅图7，每个域指定特征变换网络DFTN均包括一个二维卷积、一个全局平局池化(GAP)。DFTN接收来自嵌入网络输出各个领域的特征图b，并且相应输出各域的域指定特征h。
在通用特征变换网络CFTN的工作流程中，通过将特征空间规范化到球面上，多个源域和目标域的特征被尽可能地限制在了同一个流形上。然而，直接强迫多个源域和目标域的特征分布变得完全相同可能会导致深度神经网络只关注于在不同领域相对通用的特征。这样的话，部分与特定领域相关的特征可能会在特征提取阶段被丢弃。从这个观点出发，在本发明提出的解耦迁移学习中，由于CFTN只关注通用特征，因此DFTN扮演着保留领域指定特征的重要角色。
这种双流的机制能够缓解深度神经网络在一个特定领域上，同时需要学习通用知识和领域指定知识的压力。
在通用特征变换网络CFTN和域指定特征变换网络DFTN中，交叉熵损失的唯一区别就是样本的类别数目不一样。在通用特征变换网络CFTN中，特征是在混合数据集上进行分类，因此N是混合数据集中的类别数量。在域指定特征变换网络DFTN中，N是单个特定领域的类别数量。因此，为了防止重复，DFTN的交叉熵损失
Figure BDA0003037906710000121
不再重复列举。
为了获取最优的参数，本发明使用三个损失来训练深度神经网络：MMMD损失、ArcFAce 损失和center损失。通用特征变换网络CFTN的输出特征被用来计算MMMD损失，能够减小领域差异并且提取多个领域之间的通用特征。通用特征变换网络CFTN和域指定特征变换网络 DFTN的输出都会被用来计算ArcFace损失和center损失。额外的规范化加性角度间隔的交叉熵损失能够很好地在单领域上做度量学习。正则化操作也消除了绝对数值的影响，并且加性角度间隔损失为分类边界提供了额外的间隔。然而，类内的距离仍然没有很强的限制。因此，本发明使用额外的中心损失来在欧式空间中提取更加有效、鲁棒的类内特征。
Figure BDA0003037906710000122
这个公式中，LC为中心损失，
Figure BDA0003037906710000123
表示第yi个类的特征中心，并且gi也属于类yi。F表示 mini-batch的大小。与交叉熵损失类似的是，通用特征变换网络CFTN的中心损失的类别数与混合数据集的类别数相同；特征变换网络DFTN的中心损失的类别数与单个特定领域的类别数相同。
在MMMD损失的介绍中强调过，目标域的数据是不足的，因此其相对而言更容易产生统计误差。因此训练策略的设计思路是：从一个大的源域中学习知识并且以很小的尺度来更新网络。实际上，如何使用少量样本来更有效得优化特征提取器是指静脉小样本学习的关键所在。为了获得更稳定的知识，本发明首先使用源域的样本对来训练网络，使用下面这个损失函数来让通用网络更好的适应目标域：
Figure BDA0003037906710000124
其中，α和β分别是MMMD损失和中心损失的系数，最终在单独的目标域上的损失可以写作：
Figure BDA0003037906710000125
其中，L表示最终用于反向传播的损失；
Figure BDA0003037906710000126
表示通用特征变换网络CFTN的交叉熵损失；
Figure BDA0003037906710000127
表示DFTN的交叉熵损失；Lmmmd表示多源域最大均值差异损失；LC表示中心损失。
即训练过程如下：
首先对于多个源域，在任意两个源域中都随机采样出mini-batch，并对两个源域的 mini-batch分别进行基础特征提取、通用特征提取、域指定特征提取，随后利用公式(8)计算两个mini-batch之间的损失并使用反向传播算法更新DTL网络；其次，在任意一个源域和目标域中都随机采样出mini-batch，并对该源域和目标域的mini-batch分别进行基础特征提取、通用特征提取、域指定特征提取，随后利用公式(8)计算两个mini-batch之间的损失并使用反向传播算法更新DTL网络；最终，对目标域随机采样mini-batch，对该mini-batch 进行基础特征提取、通用特征提取、域指定特征提取，随后使用公式(9)计算损失并使用反向传播算法更新DTL网络。
其中，在本发明其中一个实施例中，反向传播算法采用RMSprop算法。当然，在其他的实施例中，还可以采用其他算法，如SGD算法(随机梯度下降)或Adam算法或Adagrad算法。
步骤2：通过指静脉采集装置采集指静脉图片。
步骤3：将待识别的指静脉图片输入嵌入网络，得到基础特征。
首先将待识别的指静脉图片，经过灰度化、边缘提取算子处理、手指边缘获取、ROI截取后，获取到该图片对应的感兴趣区域ROI；再将感兴趣区域ROI输入嵌入网络，提取得到待识别的指静脉图的基础特征。
步骤4：将嵌入网络F提取到的基础特征输入通用特征变换网络CFTN中，提取得到通用特征。将嵌入网络F提取到的基础特征输入目标域域指定特征变换网络，提取得到目标域的域指定特征；
步骤5：将得到的通用特征和域指定特征进行拼接，得到聚合特征；
步骤6：计算聚合特征和已注册样本数据库中所有已注册样本特征之间的余弦距离，得到输入的指静脉图片和数据库中已有指静脉的匹配分数；
步骤7：根据匹配分数的高低，对输入指静脉图像和所有已注册样本的相似程度进行从高到低排序，使用该排序并采用决策算法得到最终的决策匹配结果。决策算法可以使用最大分数匹配、重匹配和top-k方法中的任一种。在本发明的一个实施例中，使用top-k作为决策算法，取出最大的K个，将出现频次最高的相似度对应的已注册样本作为输入指静脉的匹配结果。
为了验证本发明所提出方法的有效性，本发明使用四个公开指静脉数据库：FV-USM、 MMCBNU-6000、THU-FVFDT、PolyU进行实验，实验结果如表1所示。从表1中可以看出，本发明在单源域迁移的情况下，使用完全相同的训练集、验证集、测试集的条件下，DTL方法(本发明所提供方法)所取得的等误率显然比微调效果更好，证明了DTL方法在单源域迁移上是有效的。从表中可以也看到，DTL方法不仅能够应用在单源域迁移上，其在多源域迁移上同样有着很好的效果。在Fusion database(混合数据集)上进行多源域迁移时，能够取得比在Fusion数据集上进行跨数据集测试、微调都要好的结果。在多源域迁移中，DTL方法不仅能够从多个源域中迁移多个掌静脉数据集中的通用特征，也能够保留各个目标域的领域指定特征。对于目标域而言，既将源域的知识迁移到了目标域，同时还将目标域的领域指定特征保留，因此采用DTL方法能够取得更低的等误率。
表1
Figure BDA0003037906710000141
本发明还提供用于实现前述方法的***。
在本发明其中一个实施例中，提供的基于多源域迁移的指静脉识别***，包括：
网络建立模块，用于构建并训练解耦迁移学习网络，所述解耦迁移学习网络包括嵌入网络、通用特征变换网络和目标域域指定特征变换网络，嵌入网络用于将指静脉图像转换为基础特征，通用特征变换网络用于将基础特征解耦得到通用特征，目标域域指定特征变换网络用于将基础特征解耦得到域指定特征，其中，在训练解耦迁移学习网络时，采用目标域和多个源域进行训练，将多个源域的域指定特征和通用知识迁移到目标域，得到目标域域指定特征变换网络；
基础特征提取模块，用于将待识别的指静脉图片的感兴趣区域输入嵌入网络，得到基础特征；
通用特征提取模块，用于将基础特征输入通用特征变换网络，得到通用特征；
域指定特征提取模块，用于输入目标域域指定特征变换网络，得到域指定特征；
聚合模块，用于将得到的通用特征和域指定特征进行拼接，得到聚合特征；
计算模块，用于计算聚合特征和已注册样本数据库中所有已注册样本特征之间的余弦距离，得到输入的指静脉图片和数据库中已有指静脉的匹配分数；
匹配模块，用于根据匹配分数输出该输入指静脉的匹配结果。
本实施例提供的***具有如上述方法相同的有益效果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的基于多源域迁移的指静脉识别***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.基于多源域迁移的指静脉识别方法，其特征在于，包括以下步骤：
构建并训练解耦迁移学习网络，所述解耦迁移学习网络包括嵌入网络、通用特征变换网络和目标域域指定特征变换网络，嵌入网络用于将指静脉图像转换为基础特征，通用特征变换网络用于将基础特征解耦得到通用特征，目标域域指定特征变换网络用于将基础特征解耦得到域指定特征，其中，在训练解耦迁移学习网络时，采用目标域和多个源域进行训练，将多个源域的域指定特征和通用知识迁移到目标域，得到目标域域指定特征变换网络；
将待识别的指静脉图片的感兴趣区域输入嵌入网络，得到基础特征；
将基础特征分别输入通用特征变换网络和目标域域指定特征变换网络，分别得到通用特征和域指定特征；
将得到的通用特征和域指定特征进行拼接，得到聚合特征；
计算聚合特征和已注册样本数据库中所有已注册样本特征之间的余弦距离，得到输入的指静脉图片和数据库中已有指静脉的匹配分数；
根据匹配分数输出该输入指静脉的匹配结果；
所述训练解耦迁移学习网络的方法步骤包括：
首先，对于多个源域，在任意两个源域中都随机采样出mini-batch，并对两个源域的mini-batch分别进行基础特征提取、通用特征提取、域指定特征提取，随后利用总体损失函数计算两个mini-batch之间的损失并使用反向传播算法更新DTL网络；
然后，在任意一个源域和目标域中都随机采样出mini-batch，并对该源域和目标域的mini-batch分别进行基础特征提取、通用特征提取、域指定特征提取，随后利用总体损失函数计算两个mini-batch之间的损失并使用反向传播算法更新DTL网络；
最后，对目标域随机采样出mini-batch，对该mini-batch进行基础特征提取、通用特征提取、域指定特征提取，随后使用目标域损失函数计算损失并使用反向传播算法更新DTL网络；
所述目标域损失函数的计算公式如下：
Figure 141764DEST_PATH_IMAGE001
(9)
式中，
Figure 856779DEST_PATH_IMAGE002
表示DFTN的交叉熵损失，
Figure 226580DEST_PATH_IMAGE003
是中心损失的系数，
Figure 661716DEST_PATH_IMAGE004
表示中心损失；
所述总体损失函数的计算公式如下：
Figure 521088DEST_PATH_IMAGE005
；
其中，
Figure 208552DEST_PATH_IMAGE006
；
Figure 178782DEST_PATH_IMAGE007
；
Figure 189464DEST_PATH_IMAGE008
式中，
Figure 970469DEST_PATH_IMAGE009
表示通用特征变换网络CFTN的交叉熵损失；
Figure 394497DEST_PATH_IMAGE010
表示DFTN的交叉熵损 失；
Figure 653571DEST_PATH_IMAGE011
表示多源域最大均值差异损失；
Figure 846655DEST_PATH_IMAGE012
表示中心损失，
Figure 535912DEST_PATH_IMAGE013
和
Figure 181657DEST_PATH_IMAGE014
分别是MMMD损失和 中心损失的系数，N是整个指静脉混合数据集的类别数目
Figure 510002DEST_PATH_IMAGE015
Figure 292013DEST_PATH_IMAGE016
表示样本类别标签的one-hot 编码，
Figure 414821DEST_PATH_IMAGE017
表示类别标签one-hot编码的第a个类别的指示值；
Figure 813441DEST_PATH_IMAGE018
是通用特征
Figure 414318DEST_PATH_IMAGE019
属于第a 个类别的分类分数，
Figure 581994DEST_PATH_IMAGE020
表示源域的样本数量，
Figure 669511DEST_PATH_IMAGE021
表示第
Figure 961952DEST_PATH_IMAGE022
个源域的通用特征，
Figure 694416DEST_PATH_IMAGE023
表示第n 个源域的通用特征，
Figure 201752DEST_PATH_IMAGE024
表示目标域上的通用特征，
Figure 181209DEST_PATH_IMAGE025
表示第m个源域和第n个 源域之间通用特征的两个小批量数据之间的MMD距离，
Figure 773996DEST_PATH_IMAGE026
表示第
Figure 497101DEST_PATH_IMAGE022
个源域和 第
Figure 670330DEST_PATH_IMAGE027
个源域之间通用特征的两个小批量数据之间的MMD距离，F表示mini-batch的大小，
Figure 837000DEST_PATH_IMAGE028
表示第
Figure 900771DEST_PATH_IMAGE029
个类的通用特征，
Figure 912720DEST_PATH_IMAGE030
表示第
Figure 643916DEST_PATH_IMAGE029
个类的特征中心。
2.根据权利要求1所述的基于多源域迁移的指静脉识别方法，其特征在于，通用特征变 换网络CFTN的交叉熵损失中的分类分数
Figure 450329DEST_PATH_IMAGE031
的计算公式如下:
Figure 532554DEST_PATH_IMAGE032
式中，s是一个超参数，表示缩放的尺度因子；
Figure 814107DEST_PATH_IMAGE033
是特征
Figure 399809DEST_PATH_IMAGE034
和对应超平面
Figure 908282DEST_PATH_IMAGE035
之间的角度 值；
Figure 681066DEST_PATH_IMAGE036
是特征
Figure 34818DEST_PATH_IMAGE034
和对应超平面
Figure 6185DEST_PATH_IMAGE037
之间的角度值，
Figure 888821DEST_PATH_IMAGE038
为加性角度间隔惩罚项。
3.根据权利要求1所述的基于多源域迁移的指静脉识别方法，其特征在于，所述通用特征变换网络包括网络结构和池化层，网络结构用于对通用特征进行特征变换，池化层用于沿通道维度将每个通道均值池化为一个值，使最终各个通道的均值组成特征向量。
4.根据权利要求1所述的基于多源域迁移的指静脉识别方法，其特征在于，所述目标域域指定特征变换网络包括网络结构和池化层，网络结构用于对通用特征进行特征变换，池化层用于沿通道维度将每个通道均值池化为一个值，使最终各个通道的均值组成特征向量。
5.根据权利要求1所述的基于多源域迁移的指静脉识别方法，其特征在于，所述将待识别的指静脉图片的感兴趣区域输入嵌入网络中，包括：将待识别的指静脉图片，经过灰度化、边缘提取算子处理、手指边缘获取、ROI截取后，得到该图片对应的感兴趣区域ROI。
6.根据权利要求1-5任一所述的基于多源域迁移的指静脉识别方法，其特征在于，所述根据匹配分数输出该输入指静脉的匹配结果，包括：根据匹配分数的高低，对输入指静脉图像和所有已注册样本的相似程度进行从高到低排序，使用该排序并采用决策算法得到最终的决策匹配结果。
7.基于多源域迁移的指静脉识别***，其特征在于，用于实现权利要求1-6任一所述的方法，所述***包括：
网络建立模块，用于构建并训练解耦迁移学习网络，所述解耦迁移学习网络包括嵌入网络、通用特征变换网络和目标域域指定特征变换网络，嵌入网络用于将指静脉图像转换为基础特征，通用特征变换网络用于将基础特征解耦得到通用特征，目标域域指定特征变换网络用于将基础特征解耦得到域指定特征，其中，在训练解耦迁移学习网络时，采用目标域和多个源域进行训练，将多个源域的域指定特征和通用知识迁移到目标域，得到目标域域指定特征变换网络；
基础特征提取模块，用于将待识别的指静脉图片的感兴趣区域输入嵌入网络，得到基础特征；
通用特征提取模块，用于将基础特征输入通用特征变换网络，得到通用特征；
域指定特征提取模块，用于输入目标域域指定特征变换网络，得到域指定特征；
聚合模块，用于将得到的通用特征和域指定特征进行拼接，得到聚合特征；
计算模块，用于计算聚合特征和已注册样本数据库中所有已注册样本特征之间的余弦距离，得到输入的指静脉图片和数据库中已有指静脉的匹配分数；
匹配模块，用于根据匹配分数输出该输入指静脉的匹配结果。
CN202110449007.1A 2021-04-25 2021-04-25 基于多源域迁移的指静脉识别方法及*** Active CN113076927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110449007.1A CN113076927B (zh) 2021-04-25 2021-04-25 基于多源域迁移的指静脉识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110449007.1A CN113076927B (zh) 2021-04-25 2021-04-25 基于多源域迁移的指静脉识别方法及***

Publications (2)

Publication Number Publication Date
CN113076927A CN113076927A (zh) 2021-07-06
CN113076927B true CN113076927B (zh) 2023-02-14

Family

ID=76618598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110449007.1A Active CN113076927B (zh) 2021-04-25 2021-04-25 基于多源域迁移的指静脉识别方法及***

Country Status (1)

Country Link
CN (1) CN113076927B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780284B (zh) * 2021-09-17 2024-04-19 焦点科技股份有限公司 一种基于目标检测和度量学习的logo检测方法
CN113807371B (zh) * 2021-10-08 2024-03-29 中国人民解放军国防科技大学 一种类条件下的有益特征对齐的无监督域自适应方法
CN113869501B (zh) * 2021-10-19 2024-06-18 京东科技信息技术有限公司 神经网络的生成方法、装置、电子设备及存储介质
CN115082299B (zh) * 2022-07-21 2022-11-25 中国科学院自动化研究所 非严格对齐的小样本不同源图像转换方法、***及设备
CN115457611B (zh) * 2022-10-21 2023-04-21 中国矿业大学 一种基于特征解耦网络的静脉识别方法
CN116050507B (zh) * 2023-01-18 2023-12-22 合肥中科立恒智能科技有限公司 一种二氧化碳排放监测方法与***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967442A (zh) * 2017-09-30 2018-04-27 广州智慧城市发展研究院 一种基于无监督学习和深层网络的指静脉识别方法及***
CN110163136A (zh) * 2019-05-13 2019-08-23 南京邮电大学 一种基于感知机的指纹和指静脉双模态识别决策融合算法
CN111183424A (zh) * 2017-08-30 2020-05-19 深圳市长桑技术有限公司 识别用户的***和方法
CN112036383A (zh) * 2020-11-04 2020-12-04 北京圣点云信息技术有限公司 一种基于手静脉的身份识别方法及装置
CN112241680A (zh) * 2020-09-14 2021-01-19 中国矿业大学 基于静脉相似图像知识迁移网络的多模态身份认证方法
CN112560710A (zh) * 2020-12-18 2021-03-26 北京曙光易通技术有限公司 一种用于构建指静脉识别***的方法及指静脉识别***
CN112597812A (zh) * 2020-12-03 2021-04-02 西安格威西联科技有限公司 一种基于卷积神经网络和sift算法的手指静脉识别方法及***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558025B2 (ja) * 2000-09-06 2004-08-25 株式会社日立製作所 個人認証装置及び方法
JP4207717B2 (ja) * 2003-08-26 2009-01-14 株式会社日立製作所 個人認証装置
JP5292821B2 (ja) * 2008-01-16 2013-09-18 ソニー株式会社 静脈画像取得装置および静脈画像取得方法
US10726235B2 (en) * 2014-12-01 2020-07-28 Zkteco Co., Ltd. System and method for acquiring multimodal biometric information
US10762366B2 (en) * 2015-10-10 2020-09-01 Zkteco Co., Ltd. Finger vein identification method and device
US9916542B2 (en) * 2016-02-02 2018-03-13 Xerox Corporation Domain adaptation by multi-noising stacked marginalized denoising encoders
CN107103364A (zh) * 2017-03-28 2017-08-29 上海大学 一种基于多源域的任务拆分迁移学习预测方法
CN108280417A (zh) * 2018-01-18 2018-07-13 苏州折衍光电科技有限公司 一种手指静脉快速识别方法
CN108416776B (zh) * 2018-03-16 2021-04-30 京东方科技集团股份有限公司 图像识别方法、图像识别装置、计算机产品和可读存储介质
CN109034016B (zh) * 2018-07-12 2021-10-15 辽宁工业大学 一种普适性的基于s-cnn模型的手背静脉图像识别方法
CN111222479B (zh) * 2020-01-12 2022-02-18 杭州电子科技大学 结合等价模式的自适应半径lbp特征层融合识别方法
CN111460915B (zh) * 2020-03-13 2023-04-18 华南理工大学 一种基于轻量神经网络的指静脉验证方法及***
CN111738315B (zh) * 2020-06-10 2022-08-12 西安电子科技大学 基于对抗融合多源迁移学习的图像分类方法
CN111950454B (zh) * 2020-08-12 2024-04-02 辽宁工程技术大学 一种基于双向特征提取的手指静脉识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111183424A (zh) * 2017-08-30 2020-05-19 深圳市长桑技术有限公司 识别用户的***和方法
CN107967442A (zh) * 2017-09-30 2018-04-27 广州智慧城市发展研究院 一种基于无监督学习和深层网络的指静脉识别方法及***
CN110163136A (zh) * 2019-05-13 2019-08-23 南京邮电大学 一种基于感知机的指纹和指静脉双模态识别决策融合算法
CN112241680A (zh) * 2020-09-14 2021-01-19 中国矿业大学 基于静脉相似图像知识迁移网络的多模态身份认证方法
CN112036383A (zh) * 2020-11-04 2020-12-04 北京圣点云信息技术有限公司 一种基于手静脉的身份识别方法及装置
CN112597812A (zh) * 2020-12-03 2021-04-02 西安格威西联科技有限公司 一种基于卷积神经网络和sift算法的手指静脉识别方法及***
CN112560710A (zh) * 2020-12-18 2021-03-26 北京曙光易通技术有限公司 一种用于构建指静脉识别***的方法及指静脉识别***

Also Published As

Publication number Publication date
CN113076927A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN113076927B (zh) 基于多源域迁移的指静脉识别方法及***
Zhu et al. MetaIQA: Deep meta-learning for no-reference image quality assessment
Minaee et al. Deepiris: Iris recognition using a deep learning approach
JP7130905B2 (ja) フィードフォワード畳み込みニューラルネットワークを使用した高速且つ堅牢な皮膚紋理の印のマニューシャの抽出
CN113312989B (zh) 一种基于聚合描述子与注意力的指静脉特征提取网络
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及***
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
Wu et al. Race classification from face using deep convolutional neural networks
Li et al. Dating ancient paintings of Mogao Grottoes using deeply learnt visual codes
Riazi et al. Synfi: Automatic synthetic fingerprint generation
CN114723994A (zh) 一种基于双分类器对抗增强网络的高光谱图像分类方法
Yu et al. A tensor network for tropical cyclone wind speed estimation
Chen et al. A finger vein recognition algorithm based on deep learning
Khan et al. A common convolutional neural network model to classify plain, rolled and latent fingerprints
CN106570910B (zh) 基于自编码特征和近邻模型的图像自动标注方法
CN115795394A (zh) 层级多模态和高级增量学习的生物特征融合身份识别方法
Wu et al. Multi-layer CNN features fusion and classifier optimization for face recognition
AlShemmary et al. Siamese Network-Based Palm Print Recognition
Jun et al. Two-view correspondence learning via complex information extraction
Rojas et al. Fingerprint recognition based on wavelet transform and ensemble subspace classifier
CN110443255A (zh) 用于图像特征提取的松弛局部保持性回归方法
CN112613341A (zh) 训练方法及装置、指纹识别方法及装置、电子设备
Sivachandiran et al. Automated deep learning based age and gender classification model using facial features for video surveillance
Lam et al. Application of convolutional neural networks for fingerprint recognition
Afonso et al. A Study on Fuzzy Searching Algorithm and Conditional-GAN for Crime Prediction System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant