CN112215076A - 一种基于双塔网络的深度笔迹鉴定方法及装置 - Google Patents

一种基于双塔网络的深度笔迹鉴定方法及装置 Download PDF

Info

Publication number
CN112215076A
CN112215076A CN202010954616.8A CN202010954616A CN112215076A CN 112215076 A CN112215076 A CN 112215076A CN 202010954616 A CN202010954616 A CN 202010954616A CN 112215076 A CN112215076 A CN 112215076A
Authority
CN
China
Prior art keywords
handwriting
network
channel
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010954616.8A
Other languages
English (en)
Other versions
CN112215076B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baojina Technology Development Co ltd
Xi'an Xinxin Information Technology Co ltd
Original Assignee
Beijing Baojina Technology Development Co ltd
Xi'an Xinxin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baojina Technology Development Co ltd, Xi'an Xinxin Information Technology Co ltd filed Critical Beijing Baojina Technology Development Co ltd
Priority to CN202010954616.8A priority Critical patent/CN112215076B/zh
Publication of CN112215076A publication Critical patent/CN112215076A/zh
Application granted granted Critical
Publication of CN112215076B publication Critical patent/CN112215076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G06V40/33—Writer recognition; Reading and verifying signatures based only on signature image, e.g. static signature recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)
  • Character Discrimination (AREA)

Abstract

本发明实施例提供了一种基于双塔网络的深度笔迹鉴定方法及装置，方法通过获取待鉴定的第一笔迹图像以及待鉴定人的第二笔迹图像后，将第一笔迹图像及第二笔迹图像输入训练好的双塔网络模型中，获得双塔网络模型输出的识别结果。在识别过程中，通过数据重构的方式去除第一笔迹图像以及第二笔迹图像中的噪声干扰，增加自身的鲁棒性，由于训练好的双塔网络模型中权重共享，更关注全局笔迹数据的特征，使得相似的数据更加靠近，使得不相似的数据之间差异增大，增加自身的泛化能力，在进行数据重构后，将提取到重构后的数据的第一特征数据以及第二特征数据进行融合，使得相似图像的特征数据值增大，使识别结果更加准确。

Description

一种基于双塔网络的深度笔迹鉴定方法及装置
技术领域
本发明属于深度神经网络识别领域，具体涉及一种基于双塔网络的深度笔迹鉴定方法及装置。
背景技术
***字书写过程经过长期训练，已形成稳定的书写风格。书写出的文字具有的生物行为特征，在司法鉴定、医疗纠纷等领域发挥着越来越重要的作用。在这些领域常常需要对书写的文字进行鉴定，此过程称为笔迹鉴定。
现有技术的笔迹鉴定过程如下：
收集多个人书写的文字，将文字转化为图片，获取多个包含图片数据的样本集，将样本集输入深度学习网络模型，迭代训练该深度学习网络模型，直至达到训练截止条件。使用训练好的深度学习网络模型去识别该待定的文字是否是对应的人书写出的，以此完成笔迹鉴定。
由于待鉴定的文字的背景复杂，假设待鉴定的文字是出现在一份人为书写的借据中的签名，该借据中其他部分的文字会对该签名造成较大影响。如果该签名是高度模仿对应人的签名，对于鉴定的准确度会造成较大影响，在训练神经网络模型时会着重训练相似笔迹之间相似程度，以求达到准确识别的效果，如此导致训练好的神经网络模型泛化能力以及鲁棒性较差，即对于样本集中未包含的笔迹以及笔迹中的干扰会对神经网络模型造成一定的干扰，使得神经网络模型的识别准确度降低。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于双塔网络的深度笔迹鉴定方法及装置，解决笔迹鉴定准确性不高的问题。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明实施例提供的一种基于双塔网络的深度笔迹鉴定方法，包括：
获取待鉴定的第一笔迹图像以及待鉴定人的第二笔迹图像；
将所述第一笔迹图像输入训练好的双塔网络模型的第一输入通道以及将第二笔迹图像输入训练好的双塔网络模型的第二输入通道，获得所述训练好的双塔网络模型输出的识别结果；所述识别结果包括：属于待鉴定人的笔迹的概率；
根据属于待鉴定人的笔迹的概率，确定所述第一笔迹图像中的笔迹是否是所述待鉴定人的笔迹；
其中，训练好的双塔网络模型是通过训练预设的双塔网络模型得到的，所述训练好的双塔网络模型用于将所述第一笔迹图像以及第二笔迹图像进行数据重构，在重构后的第一笔迹图像的数据中提取第一特征数据，以及在所述重构后的第二笔迹图像的数据中提取第二特征数据，将所述第一特征数据以及第二特征数据进行融合，并基于融合后的特征数据，输出识别结果。
可选的，在将所述第一笔迹图像输入训练好的双塔网络模型的第一输入通道以及将第二笔迹图像输入训练好的双塔网络模型的第二输入通道之前，本发明第一方面实施例提供的深度笔迹鉴定方法还包括：
对所述第一笔迹图像以及第二笔迹图像分别进行二值化；
将二值化的所述第一笔迹图像以及二值化的所述第二笔迹图像的进行图像通道转化，以使所述第一笔迹图像的图像通道与所述第一输入通道所需的图像通道相匹配或所述第二笔迹图像的图像通道与所述第二输入通道所需的图像通道相匹配；
其中，所述第一输入通道所需的图像通道与所述第二输入通道所需的图像通道相同。
可选的，所述预设的双塔网络模型包括：编码及解码网络、骨干网络、特征交叉网络以及分类输出网络，所述编码及解码网络输入通道包括：所述第一输入通道以及所述第二输入通道，所述编码及解码网络用于输入的样本图像进行数据重构，所述骨干网络在图像信息进行重构后，提取特征数据，所述特征交叉网络用于将所述骨干网络的两个通道网络的特征数据进行特征差异计算，基于所述特征差异的计算结果，输出识别结果；
所述特征数据包括：所述第一特征数据及所述第二特征数据。
可选的，所述编码及解码网络包括：第一通道网络以及第二通道网络，所述第一通道网络与所述第二通道网络共享权重，所述骨干网络包括：第三通道网络以及第四通道网络，所述第三通道网络与所述第四通道网络共享权重，所述第一通道网络的输出与所述第三通道网络的输入相连，所述第二通道网络的输出与所述第四通道网络相连，所述第三通道网络的输出与所述第四通道网络的输出与所述特征交叉网络相连的输入相连。
可选的，训练预设的双塔网络模型的步骤包括：
步骤一：构建样本集，所述样本集包括：正样本对以及负样本对，所述正样本对与负样本对是从自身对应的数据集中选出的多个样本；
步骤二：针对所述样本集中的样本对，将该样本对中的第一样本输入所述第一通道网络以及将该样本对中的第二样本输入所述第二通道网络，获得所述特征交叉网络的识别结果；
其中，所述第一通道网络用于对所述第一样本进行数据重构后，将重构后的数据与所述第一样本的数据求和的第一结果，传输给所述第三通道网络，所述第二通道网络对所述第二样本进行数据重构后，将重构后的数据与所述第二样本的数据求和的第二结果，传输给所述第四通道网络，所述第三通道网络用于在所述第一结果中提取第一特征数据传输给所述特征交叉网络，所述第四通道网络用于在所述第二结果中提取第二特征数据传输给所述特征交叉网络，所述特征交叉网络用于将所述第一特征数据及所述第二特征数据进行融合，基于所述融合后的结果，输出识别结果；
步骤三：基于所述第一结果以及所述第二结果，计算对比损失；
步骤四：基于所述识别结果计算所述预设的双塔网络模型的交叉熵损失；
步骤五：基于所述对比损失以及所述交叉熵损失，调整所述预设的双塔网络模型中的权重，并重复步骤二至步骤四直至达到训练截止条件；
步骤六：将达到训练截止条件的所述预设的双塔网络模型，确定为训练好的双塔网络模型。
可选的，所述构建样本集的步骤，包括：
获取同一人的多张笔迹图像的第一数据集以及不同人的多张笔迹图像的第二数据集；
在所述第一数据集中随机选取预设数量个作为正样本对；
在所述第二数据集中随机选取预设数量个作为负样本对；
使用所述正样本对和所述负样本对构成样本集。
可选的，基于所述对比损失以及所述交叉熵损失，调整所述预设的双塔网络模型中的权重的步骤包括：
将所述对比损失以及所述交叉熵损失加权求和，获得总损失值；
按照使所述总损失值减小的方向，调整所述预设的双塔网络模型中的权重。
可选的，所述按照使所述总损失值减小的方向，调整所述预设的双塔网络模型中的权重的步骤包括：
所述按照使所述总损失值减小的方向，使用反向传播算法调整所述预设的双塔网络模型中所述编码及解码网络、所述骨干网络以及所述特征交叉网络的权重。
第二方面，本发明实施例提供的一种基于双塔网络的深度笔迹鉴定装置，包括：
获取模块，用于获取待鉴定的第一笔迹图像以及待鉴定人的第二笔迹图像；
识别模块，用于将所述第一笔迹图像输入训练好的双塔网络模型的第一输入通道以及将第二笔迹图像输入训练好的双塔网络模型的第二输入通道，使用所述训练好的双塔网络模型识别第一笔迹图像与所述第二笔迹图像，获得识别结果；所述识别结果为：是否属于待鉴定人的笔迹的概率；
确定模块，用于根据属于待鉴定人的笔迹的概率，确定所述第一笔迹图像中的笔迹是否是所述待鉴定人的笔迹；
其中，训练好的双塔网络模型是通过训练预设的双塔网络模型得到的，所述训练好的双塔网络模型用于将所述第一笔迹图像以及第二笔迹图像进行数据重构，在重构后的第一笔迹图像的数据中提取第一特征数据，以及在所述重构后的第二笔迹图像的数据中提取第二特征数据，将所述第一特征数据以及第二特征数据进行融合，并基于融合后的特征数据，输出识别结果。
可选的，所述预设的双塔网络模型包括：编码及解码网络、骨干网络、特征交叉网络以及分类输出网络，所述编码及解码网络输入通道包括：所述第一输入通道以及所述第二输入通道，所述编码及解码网络用于输入的样本图像进行数据重构，所述骨干网络在图像信息进行重构后，提取特征数据，所述特征交叉网络用于将所述骨干网络的两个通道网络的特征数据进行特征差异计算，用于基于所述特征差异的计算结果，输出识别结果。
可选的，本发明第九实施例中提供的一种基于双塔网络的深度笔迹鉴定装置还包括：
去燥模块，用于对所述第一笔迹图像以及第二笔迹图像分别进行二值化；
将二值化的所述第一笔迹图像以及二值化的所述第二笔迹图像的进行图像通道转化，以使所述第一笔迹图像的图像通道与所述第一输入通道所需的图像通道相匹配或所述第二笔迹图像的图像通道与所述第二输入通道所需的图像通道相匹配；
其中，所述第一输入通道所需的图像通道与所述第二输入通道所需的图像通道相同。
可选的，所述编码及解码网络包括：第一通道网络以及第二通道网络，所述第一通道网络与所述第二通道网络共享权重，所述骨干网络包括：第三通道网络以及第四通道网络，所述第三通道网络与所述第四通道网络共享权重，所述第一通道网络的输出与所述第三通道网络的输入相连，所述第二通道网络的输出与所述第四通道网络相连，所述第三通道网络的输出与所述第四通道网络的输出与所述特征交叉网络相连的输入相连。
可选的，训练预设的双塔网络模型的步骤包括：
步骤一：构建样本集，所述样本集包括：正样本对以及负样本对，所述正样本对与负样本对是从自身对应的数据集中选出的多个样本；
步骤二：针对每个正样本对以及每个负样本对，将该正样本对输入所述第一通道网络以及将该负样本对输入所述第二通道网络，获得所述特征交叉网络的识别结果；
其中，所述第一通道网络用于对所述第一样本进行数据重构后，将重构后的数据与所述第一样本的数据求和的第一结果，传输给所述第三通道网络，所述第二通道网络对所述第二样本进行数据重构后，将重构后的数据与所述第二样本的数据求和的第二结果，传输给所述第四通道网络，所述第三通道网络用于在所述第一结果中提取第一特征数据传输给所述特征交叉网络，所述第四通道网络用于在所述第二结果中提取第二特征数据传输给所述特征交叉网络，所述特征交叉网络用于将所述第一特征数据及所述第二特征数据进行融合，基于所述融合后的结果，输出识别结果；
步骤三：基于所述第一结果计算对比损失以及基于所述第二结果，计算交叉熵损失；
步骤四：基于所述识别结果计算所述预设的双塔网络模型第三损失值；
步骤五：基于所述对比损失、交叉熵损失以及所述第三损失值，调整所述预设的双塔网络模型中的权重，并重复步骤二至步骤四直至达到训练截止条件；
步骤六：将达到训练截止条件的所述预设的双塔网络模型，确定为训练好的双塔网络模型。
可选的，所述构建样本集的步骤，包括：
获取同一人的多张笔迹图像的第一数据集以及不同人的多张笔迹图像的第二数据集；
在所述第一数据集中随机选取预设数量个作为正样本对；
在所述第二数据集中随机选取预设数量个作为负样本对；
使用所述正样本对和所述负样本对构成样本集。
可选的，所述基于所述对比损失以及所述交叉熵损失，调整所述预设的双塔网络模型中的权重的步骤包括：
将所述对比损失以及所述交叉熵损失加权求和，获得总损失值；
按照使所述总损失值减小的方向，调整所述预设的双塔网络模型中的权重。
可选的，所述按照使所述总损失值减小的方向，调整所述预设的双塔网络模型中的权重的步骤包括：
所述按照使所述总损失值减小的方向，使用反向传播算法调整所述预设的双塔网络模型中所述编码及解码网络、所述骨干网络以及所述特征交叉网络的权重。
可选的，所述根据属于待鉴定人的笔迹的概率，确定所述第一笔迹图像中的笔迹是否是所述待鉴定人的笔迹包括：
当所述识别结果中属于待鉴定人的笔迹的概率大于预设的阈值时，则确定所述第一笔迹图像中的笔迹是所述待鉴定人的笔迹。
本发明实施例在获取待鉴定的第一笔迹图像以及待鉴定人的第二笔迹图像后，将第一笔迹图像及第二笔迹图像输入训练好的双塔网络模型中，获得双塔网络模型输出的识别结果。由于训练好的双塔网络模型在识别过程中，通过数据重构的方式去除第一笔迹图像以及第二笔迹图像中的噪声干扰，增加自身的鲁棒性，由于训练好的双塔网络模型中权重共享，更关注全局笔迹数据的特征，使得相似的数据更加靠近，使得不相似的数据之间差异增大，增加自身的泛化能力，进一步在进行数据重构后，将提取到重构后的数据的第一特征数据以及第二特征数据进行融合，使得相似图像的特征数据值增大，使识别结果更加准确。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于双塔网络的深度笔迹鉴定方法流程图；
图2是本发明实施例提供的将二值化的图像转化为三通道的图像的效果图；
图3是本发明实施例提供的双塔网络模型的结构示意图；
图4是本发明实施例提供的特征交叉网络的结构示意图；
图5是本发明实施例提供的一种基于双塔网络的深度笔迹鉴定装置的结构图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
如图1所示，本发明实施例提供的一种基于双塔网络的深度笔迹鉴定方法，包括：
S11，获取待鉴定的第一笔迹图像以及待鉴定人的第二笔迹图像；
可以理解，待鉴定人是指待鉴定的笔迹的待确定书写人，待确定书写人是指可能书写待鉴定的笔迹的人。待鉴定的笔迹是指需要鉴定的文字或者字符、图形形成的笔迹。可以通过将待鉴定的笔迹转化为图片的形式获得第一笔迹图像，以及将待鉴定人自己所写的笔迹转化为图片，获得第二笔迹图像。当然在转化过程中，可以使用拍照，扫描等方式，本发明在此不做限制。
例如，在借据中存在一个人物签名，该人物本人否认曾签过该借据，则该人物本人是待鉴定人，借据上的人物签名是待鉴定的笔迹，将该待鉴定的笔迹转化为第一笔迹图像，将该人物本人所书写的签名作为第二笔迹图像。
S12，将第一笔迹图像输入训练好的双塔网络模型的第一输入通道以及将第二笔迹图像输入训练好的双塔网络模型的第二输入通道，使用训练好的双塔网络模型识别第一笔迹图像与第二笔迹图像，获得识别结果；
其中，识别结果包括：属于待鉴定人的笔迹的概率；训练好的双塔网络模型是通过训练预设的双塔网络模型得到的，训练好的双塔网络模型用于将第一笔迹图像以及第二笔迹图像进行数据重构，在数据重构时，训练好的双塔网络模型的权重共享，在重构后的第一笔迹图像的数据中提取第一特征数据，以及在重构后的第二笔迹图像的数据中提取第二特征数据，将第一特征数据以及第二特征数据进行融合，并基于融合后的特征数据，输出识别结果。
可以理解，在双塔网络模型对数据重构过程中，需要对第一笔迹图像以及第二笔迹图像进行编码以及解码，而编码以及解码会去除第一笔迹图像以及第二笔迹图像中的噪声干扰，如此可以双塔网络模型的鲁棒性增强，同时在双路输入通道在数据重构时，共享了权重，这样可以使双塔网络模型，关注全局笔迹数据的特征，使得相似的数据更加靠近，使得不相似的数据之间差异增大，如此如果第一笔迹图像与第二笔迹图像相似，则重构后的这两张图像的数据的值会越接近，如果第一笔迹图像与第二笔迹图像不相似，则这两张图像的数据的值差异会越大，这样增强双塔网络模型的泛化能力。之后，在进行数据重构后，将提取到重构后的数据的第一特征数据以及第二特征数据进行融合，使得相似图像的特征数据值增大，增加基于融合后的特征数据，输出识别结果的准确性。
S13，根据识别结果，确定第一笔迹图像中的笔迹是否是待鉴定人的笔迹。
可以理解，识别结果中属于同一人笔迹的概率越高，则表示第一笔迹图像与第二笔迹图像的相似度越高，表示待鉴定的笔迹是待鉴定人所写的概率越高，通过识别结果可以确定第一笔迹图像中的笔迹是否是待鉴定人的笔迹。
本发明实施例在获取待鉴定的第一笔迹图像以及待鉴定人的第二笔迹图像后，将第一笔迹图像及第二笔迹图像输入训练好的双塔网络模型中，获得双塔网络模型输出的识别结果。由于训练好的双塔网络模型在识别过程中，通过数据重构的方式去除第一笔迹图像以及第二笔迹图像中的噪声干扰，增加自身的鲁棒性，且训练好的双塔网络模型中权重共享，更关注全局笔迹数据的特征，使得相似的数据更加靠近，使得不相似的数据之间差异增大，增加自身的泛化能力，进一步在进行数据重构后，将提取到重构后的数据的第一特征数据以及第二特征数据进行融合，使得相似图像的特征数据值增大，使识别结果更加准确。
实施例二
作为本发明实施例提供的一种可选的实施方式，在上述步骤S12之前，本发明实施例提供的一种基于双塔网络的深度笔迹鉴定方法还包括：
步骤一：对第一笔迹图像以及第二笔迹图像分别进行二值化；
步骤二：将二值化的第一笔迹图像以及二值化的第二笔迹图像的进行图像通道转化，以使第一笔迹图像的图像通道与第一输入通道所需的图像通道相匹配或第二笔迹图像的图像通道与第二输入通道所需的图像通道相匹配；
其中，第一输入通道所需的图像通道与第二输入通道所需的图像通道相同。
可以理解，在获取笔迹图片时由于其纸张背景颜色的不同，往往会导致所得图片的背景颜色有较大的差异，而往往这种差异是针对同一人的笔迹采集时出现的，这样可能会让双塔网络模型学到了不同人笔迹图片的背景颜色的差异性，而不是其真正的笔迹特征的差异性，所以需要去除笔迹图片的背景。
首先在获取第一笔迹图像以及第二笔迹图像后，先将其进行灰度化操作，然后使用自适应阈值adaptiveThreshold算法对灰度化的第一笔迹图像以及第二笔迹图像进行二值化操作，在二值化操作后，获得图像的图像通道是单通道，而双塔网络模型需要输入的图像并不是单通道，因此需要在二值化之后把图片重新转回双塔网络模型所需的图像通道数。示例性的，如果双塔网络模型需要三通道的图像，则将二值化的图片转化为三通道的图像，转化效果图2所示。
本实施方式通过对第一笔迹图像以及第二笔记图像进行去背景处理，降低背景部分对于双塔网络模型的干扰，可以提高识别结果的准确性。
实施例三
作为本发明实施例可选的一种实施方式，预设的双塔网络模型包括：编码及解码网络、骨干网络、特征交叉网络以及分类输出网络，编码及解码网络输入通道包括：第一输入通道以及第二输入通道，编码及解码网络用于输入的样本图像进行数据重构，骨干网络在图像信息进行重构后，提取特征数据，特征交叉网络用于将骨干网络的两个通道网络的特征数据进行特征差异计算，基于特征差异的计算结果，输出识别结果；
其中，特征数据包括：第一特征数据及第二特征数据。编码及解码网络包括：第一通道网络以及第二通道网络，第一通道网络与第二通道网络共享权重，骨干网络包括：第三通道网络以及第四通道网络，第三通道网络与第四通道网络共享权重，第一通道网络的输出与第三通道网络的输入相连，第二通道网络的输出与第四通道网络相连，第三通道网络的输出与第四通道网络的输出与特征交叉网络输入相连。
下面以图3为示例，介绍本发明实施例提供的双塔网络模型的结构。如图3所示，在该结构中，图片1可以是第一笔迹图像，则图片2是第二笔迹图像，图片1通过第一通道网络输入，该第一通道网络是与图片1相接的编码子网络、解码子网络以及求和子网络组成；第二通道网络是与图片2相接的编码子网络、解码子网络以及求和子网络组成的；在图3中子网络是由神经元通过相互连接组成了一个神经元网络，求和子网络在图3中是位于解码子网络与骨干网络之间的网络结构。在图3中第一通道网络与第二通道网络的结构相同，且第一通道网络与第二通道网络之间共享权重。在编码及解码网络的输出连接骨干网络backbone，骨干网络中的第三通道网络以及第四通道网络之间共享权重，且在后续输出汇聚在特征交叉网络，特征交叉网络在提取第三通道网络与第四通道网络中的特征数据后进行特征交叉融合，并基于特征融合结果识别图片1中的笔迹以及图片2中的笔迹是否是同一人所书写。
可以理解，双塔网络模型前部分采用了encoder-decoder(编码-解码)结构，旨在对笔迹图片的特征进行重建，(编码-解码)结构会强迫性的去除笔迹图片中的噪声，得到没有噪声的输入，这样的方式相较于直接使用backbone(神经网络模型)来进行特征提取有着更加优越的泛化性与鲁棒性。
其中，在encoder编码部分与backbone解码部分均使用了resnet18来进行特征提取，在双路输入的encoder编码共享了权重，这样可以使encoder编码，更好的关注在所有笔迹图片上，同样的decoder解码部分也共享了权重，也是为了能让decoder更好的关注全局笔迹数据的特征。
实施例四
作为本发明实施例提供的一种可选的实施方式，训练预设的双塔网络模型的步骤包括：
步骤一：构建样本集，样本集包括：正样本对以及负样本对，正样本对与负样本对是从自身对应的数据集中选出的多个样本；
可以理解，通过构造正样本对以及负样本对，将正样本对以及负样本对同时输入双塔网络模型以满足双塔网络模型的输入需求，如此双塔网络模型在学习时，不依赖单个样本，提高准确性。
步骤二：针对样本集中的样本对，将该样本对中的第一样本输入第一通道网络以及将该样本对中的第二样本输入第二通道网络，获得特征交叉网络的识别结果；
其中，第一通道网络用于对第一样本进行数据重构后，将重构后的数据与第一样本的数据求和的第一结果，传输给第三通道网络，第二通道网络对第二样本进行数据重构后，将重构后的数据与第二样本的数据求和的第二结果，传输给第四通道网络，第三通道网络用于在第一结果中提取第一特征数据传输给特征交叉网络，第四通道网络用于在第二结果中提取第二特征数据传输给所述特征交叉网络，所述特征交叉网络用于将所述第一特征数据及第二特征数据进行融合，基于融合后的结果，输出识别结果；
其中，第一特征数据是表示第一笔迹图像特征点的数据，第二特征数据是表示第二笔迹图像特征点的数据。第一特征数据以及第二特征数据的维度相同，特征点代表图像的特征，特征点可以是角点、边缘点、SIFT特征点等等。本发明在此不做限制。
特征交叉网络的结构如图4所示，图4中第一特征数据用fea1表示，第二特征数据用fea2表示，特征交叉网络将(fea1-fea2)2，以及
Figure BDA0002678190180000151
Figure BDA0002678190180000152
表示乘。
示例性的，假设fea1＝[1，2，2，4]，fea2＝[0，5，7，9]，则(fea1-fea2)2＝[(1-0)2，(2-5)2，(2-7)2，(4-9)2]，
Figure BDA0002678190180000153
Figure BDA0002678190180000154
步骤三：基于第一结果以及第二结果，计算对比损失；
其中，对比损失的计算公式为：
Figure BDA0002678190180000155
L(x1,x2,y)表示对比损失，x1表示第一结果中的特征，x2表示第二样本结果中的特征，D(x1,x2)＝||x1-x2||2代表两个样本特征x1和x2的欧氏距离，y为两个样本是否匹配的标签，y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，m为设定的相似阈值，N为样本个数，n表示样本序号。
在计算第一对比损失的时，由于解码网络(decoder)会有若干的上采样层，将这些上采样层输出的特征以特征对的形式进行对比损失的计算，如此得到若干对比损失，将这些上采样层的对比损失加起来作为解码网络总的对比损失。如此，在解码网络的每一层都尽量可能学到的特征更具有区分力(一人笔迹的距离小，不同人笔迹的距离大)，在进行若干次上采样之后解码网络(decoder)的输出和输入编码网络(encoder)的图像的尺寸一致，之后将编解码网络(encoder-decoder)输出的特征与原始图片相加，这样可以让即将输入骨干网络(backbone)的特征有更强的表征能力。
步骤四：基于识别结果计算预设的双塔网络模型的交叉熵损失；
其中，交叉熵损失的计算公式为：
Figure BDA0002678190180000161
L(y，p)表示交叉熵损失，y为样本的真实标签，p为双塔网络模型输出的概率，N为样本数，i表示样本的序号。
步骤五：基于对比损失以及交叉熵损失，调整预设的双塔网络模型中的权重，并重复步骤二至步骤四直至达到训练截止条件；
其中，训练截止条件包括：迭代次数或者对对比损失、交叉熵损失加权的损失值最小。
可以理解，在调整双塔网路模型的权重时，基于识别结果的交叉熵损失之外，同时考虑到编码及解码网络输出的第一对比损失，由于在decoder解码部分，对decoder的每一层上采样过后的双路特征之间均进行了一次Contrastive Loss对比损失的计算，这样可以减少同为一人的笔迹数据特征的差异性，同时增大了不同人之间的笔迹数据特征的差异性。
步骤六：将达到训练截止条件的预设的双塔网络模型，确定为训练好的双塔网络模型。
实施例五
作为本发明实施例一种可选的实施方式，构建样本集的步骤，包括：
步骤一：获取同一人的多张笔迹图像的第一数据集以及不同人的多张笔迹图像的第二数据集；
其中，第一数据集中包括：同一人的笔迹图像的数据，第二数据集中包括：不同人的笔迹图像的数据，该数据是原始图像的三通道RGB数据。
步骤二：在第一数据集中随机选取预设数量个作为正样本对；
步骤三：在第二数据集中随机选取预设数量个作为负样本对；
步骤四：使用正样本对和负样本对构成样本集。
示例性的，可以在同一个人的笔迹图片中随机取200个图像的数据作为正样本对，在不同人的笔迹图像中随机取200张图像，然后将选出的图像的数据作为负样本对，构造出所需的样本集了。
可以理解，在实施例五的步骤一之前，需要对正样本对的图像以及负样本对的图像分别进行二值化；将二值化的正样本对图像以及二值化的负样本对图像的进行图像通道转化，以使正样本对图像的图像通道与第一输入通道所需的图像通道相匹配或负样本对图像的图像通道与第二输入通道所需的图像通道相匹配。
实施例六
作为本发明实施例可选的一种实施方式，上述实施例四中的步骤三包括：
步骤一：将对比损失以及交叉熵损失加权求和，获得总损失值；
步骤二：按照使总损失值减小的方向，调整预设的双塔网络模型中的权重。
实施例七
作为本发明实施例可选的一种实施方式，上述实施例六中的步骤二包括：
按照使总损失值减小的方向，使用反向传播算法调整预设的双塔网络模型中编码及解码网络、骨干网络、特征交叉网络以及的权重。
实施例八
作为本发明实施例可选的一种实施方式，上述S13的步骤包括：当识别结果中属于同一人笔迹的概率大于预设的阈值时，则确定第一笔迹图像中的笔迹是待鉴定人的笔迹。
其中，预设的阈值是预先设定的数值，该数值不大于1，不小于0.5，具体根据行业经验设定，在实际操作中0.9、0.85、0.95。
可以理解，当识别结果中属于同一人笔迹的概率较大时，则表示待鉴定的笔迹图像中的字迹大概率是待定人所书写的，当识别结果中属于同一人笔迹的概率较小时，则表示待鉴定的笔迹图像中的字迹大概率不是待定人所书写的。因此根据阈值比较，可以确定待鉴定的笔迹图像是否是待鉴定人自己的笔迹。
实施例九
如图5所示，本发明实施例提供的一种基于双塔网络的深度笔迹鉴定装置，包括：
获取模块51，用于获取待鉴定的第一笔迹图像以及待鉴定人的第二笔迹图像；
识别模块52，用于将第一笔迹图像输入训练好的双塔网络模型的第一输入通道以及将第二笔迹图像输入训练好的双塔网络模型的第二输入通道，使用训练好的双塔网络模型识别第一笔迹图像与第二笔迹图像，获得识别结果；识别结果为：是否属于待鉴定人的笔迹的概率；
其中，训练好的双塔网络模型是通过训练预设的双塔网络模型得到的，训练好的双塔网络模型用于将第一笔迹图像以及第二笔迹图像进行数据重构，在重构后的第一笔迹图像的数据中提取第一特征数据，以及在重构后的第二笔迹图像的数据中提取第二特征数据，将第一特征数据以及第二特征数据进行融合，并基于融合后的特征数据，输出识别结果；
确定模块53，用于根据属于待鉴定人的笔迹的概率，确定第一笔迹图像中的笔迹是否是待鉴定人的笔迹。
实施例十
可选的，预设的双塔网络模型包括：编码及解码网络、骨干网络、特征交叉网络以及分类输出网络，编码及解码网络输入通道包括：第一输入通道以及第二输入通道，编码及解码网络用于输入的样本图像进行数据重构，骨干网络在图像信息进行重构后，提取特征数据，特征交叉网络用于将骨干网络的两个通道网络的特征数据进行特征差异计算，用于基于特征差异的计算结果，输出识别结果。
可选的，本发明第九实施例中提供的一种基于双塔网络的深度笔迹鉴定装置还包括：去燥模块，用于
对第一笔迹图像以及第二笔迹图像分别进行二值化；
将二值化的第一笔迹图像以及二值化的第二笔迹图像的进行图像通道转化，以使第一笔迹图像的图像通道与第一输入通道所需的图像通道相匹配或第二笔迹图像的图像通道与第二输入通道所需的图像通道相匹配；
其中，第一输入通道所需的图像通道与第二输入通道所需的图像通道相同。
可选的，编码及解码网络包括：第一通道网络以及第二通道网络，第一通道网络与第二通道网络共享权重，骨干网络包括：第三通道网络以及第四通道网络，第三通道网络与第四通道网络共享权重，第一通道网络的输出与第三通道网络的输入相连，第二通道网络的输出与第四通道网络相连，第三通道网络的输出与第四通道网络的输出与特征交叉网络相连的输入相连。
可选的，训练预设的双塔网络模型的步骤包括：
步骤一：构建样本集，样本集包括：正样本对以及负样本对，正样本对与负样本对是从自身对应的数据集中选出的多个样本；
步骤二：针对样本集中的样本对，将该样本对中的第一样本输入第一通道网络以及将该样本对中的第二样本输入第二通道网络，获得特征交叉网络的识别结果；
其中，第一通道网络用于对第一样本进行数据重构后，将重构后的数据与第一样本的数据求和的第一结果，传输给第三通道网络，第二通道网络对第二样本进行数据重构后，将重构后的数据与第二样本的数据求和的第二结果，传输给第四通道网络，第三通道网络用于在第一结果中提取第一特征数据传输给特征交叉网络，第四通道网络用于在第二结果中提取第二特征数据传输给特征交叉网络，特征交叉网络用于将第一特征数据及第二特征数据进行融合，基于融合后的结果，输出识别结果；
步骤三：基于第一结果以及第二结果，计算对比损失；
步骤四：基于识别结果计算预设的双塔网络模型的交叉熵损失；
步骤五：基于对比损失以及交叉熵损失，调整预设的双塔网络模型中的权重，并重复步骤二至步骤四直至达到训练截止条件；
步骤六：将达到训练截止条件的预设的双塔网络模型，确定为训练好的双塔网络模型。
可选的，构建样本集的步骤，包括：
获取同一人的多张笔迹图像的第一数据集以及不同人的多张笔迹图像的第二数据集；
在第一数据集中随机选取预设数量个作为正样本对；
在第二数据集中随机选取预设数量个作为负样本对；
使用正样本对和负样本对构成样本集。
可选的，基于对比损失、交叉熵损失以及第三损失值，调整预设的双塔网络模型中的权重的步骤包括：
将对比损失以及交叉熵损失加权求和，获得总损失值；
按照使总损失值减小的方向，调整预设的双塔网络模型中的权重。
可选的，按照使总损失值减小的方向，调整预设的双塔网络模型中的权重的步骤包括：
按照使总损失值减小的方向，使用反向传播算法调整预设的双塔网络模型中编码及解码网络、骨干网络以及特征交叉网络的权重。
可选的，根据属于待鉴定人的笔迹的概率，确定第一笔迹图像中的笔迹是否是待鉴定人的笔迹包括：
当识别结果中属于待鉴定人的笔迹的概率大于预设的阈值时，则确定第一笔迹图像中的笔迹是待鉴定人的笔迹。
本发明实施例在获取待鉴定的第一笔迹图像以及待鉴定人的第二笔迹图像后，将第一笔迹图像及第二笔迹图像输入训练好的双塔网络模型中，获得双塔网络模型输出的识别结果。由于训练好的双塔网络模型在识别过程中，通过数据重构的方式去除第一笔迹图像以及第二笔迹图像中的噪声干扰，增加自身的鲁棒性，由于训练好的双塔网络模型中权重共享，更关注全局笔迹数据的特征，使得相似的数据更加靠近，使得不相似的数据之间差异增大，增加自身的泛化能力，进一步在进行数据重构后，将提取到重构后的数据的第一特征数据以及第二特征数据进行融合，使得相似图像的特征数据值增大，使识别结果更加准确。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“***”。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信***。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
另外，本发明实施例还提供了一种显示装置，该显示装置可以包括上述实施例提供的显示基板。该显示装置可以为：LTPO显示装置、Micro LED显示装置、液晶面板、电子纸、OLED面板、AMOLED面板、手机、平板电脑、电视机、显示器、笔记本电脑、数码相框等任何具有显示功能的产品或部件。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于双塔网络的深度笔迹鉴定方法，其特征在于，所述深度笔迹鉴定方法包括：
获取待鉴定的第一笔迹图像以及待鉴定人的第二笔迹图像；
将所述第一笔迹图像输入训练好的双塔网络模型的第一输入通道以及将第二笔迹图像输入训练好的双塔网络模型的第二输入通道，获得所述训练好的双塔网络模型输出的识别结果；所述识别结果包括：属于待鉴定人的笔迹的概率；
根据属于待鉴定人的笔迹的概率，确定所述第一笔迹图像中的笔迹是否是所述待鉴定人的笔迹；
其中，训练好的双塔网络模型是通过训练预设的双塔网络模型得到的，所述训练好的双塔网络模型用于将所述第一笔迹图像以及第二笔迹图像进行数据重构，在重构后的第一笔迹图像的数据中提取第一特征数据，以及在所述重构后的第二笔迹图像的数据中提取第二特征数据，将所述第一特征数据以及第二特征数据进行融合，并基于融合后的特征数据，输出识别结果。
2.根据权利要求1所述的深度笔迹鉴定方法，其特征在于，在将所述第一笔迹图像输入训练好的双塔网络模型的第一输入通道以及将第二笔迹图像输入训练好的双塔网络模型的第二输入通道之前，所述深度笔迹鉴定方法还包括：
对所述第一笔迹图像以及第二笔迹图像分别进行二值化；
将二值化的所述第一笔迹图像以及二值化的所述第二笔迹图像的进行图像通道转化，以使所述第一笔迹图像的图像通道与所述第一输入通道所需的图像通道相匹配或所述第二笔迹图像的图像通道与所述第二输入通道所需的图像通道相匹配；
其中，所述第一输入通道所需的图像通道与所述第二输入通道所需的图像通道相同。
3.根据权利要求1所述的深度笔迹鉴定方法，其特征在于，所述预设的双塔网络模型包括：编码及解码网络、骨干网络、特征交叉网络以及分类输出网络，所述编码及解码网络输入通道包括：所述第一输入通道以及所述第二输入通道，所述编码及解码网络用于输入的样本图像进行数据重构，所述骨干网络在图像信息进行重构后，提取特征数据，所述特征交叉网络用于将所述骨干网络的两个通道网络的特征数据进行特征差异计算，基于所述特征差异的计算结果，输出识别结果；
所述特征数据包括：所述第一特征数据及所述第二特征数据。
4.根据权利要求3所述的深度笔迹鉴定方法，其特征在于，所述编码及解码网络包括：第一通道网络以及第二通道网络，所述第一通道网络与所述第二通道网络共享权重，所述骨干网络包括：第三通道网络以及第四通道网络，所述第三通道网络与所述第四通道网络共享权重，所述第一通道网络的输出与所述第三通道网络的输入相连，所述第二通道网络的输出与所述第四通道网络相连，所述第三通道网络的输出与所述第四通道网络的输出与所述特征交叉网络相连的输入相连。
5.根据权利要求4所述的深度笔迹鉴定方法，其特征在于，训练预设的双塔网络模型的步骤包括：
步骤一：构建样本集，所述样本集包括：正样本对以及负样本对，所述正样本对与负样本对是从自身对应的数据集中选出的多个样本；
步骤二：针对所述样本集中的样本对，将该样本对中的第一样本输入所述第一通道网络以及将该样本对中的第二样本输入所述第二通道网络，获得所述特征交叉网络的识别结果；
其中，所述第一通道网络用于对所述第一样本进行数据重构后，将重构后的数据与所述第一样本的数据求和的第一结果，传输给所述第三通道网络，所述第二通道网络对所述第二样本进行数据重构后，将重构后的数据与所述第二样本的数据求和的第二结果，传输给所述第四通道网络，所述第三通道网络用于在所述第一结果中提取第一特征数据传输给所述特征交叉网络，所述第四通道网络用于在所述第二结果中提取第二特征数据传输给所述特征交叉网络，所述特征交叉网络用于将所述第一特征数据及所述第二特征数据进行融合，基于所述融合后的结果，输出识别结果；
步骤三：基于所述第一结果以及所述第二结果，计算对比损失；
步骤四：基于所述识别结果计算所述预设的双塔网络模型的交叉熵损失；
步骤五：基于所述对比损失以及所述交叉熵损失，调整所述预设的双塔网络模型中的权重，并重复步骤二至步骤四直至达到训练截止条件；
步骤六：将达到训练截止条件的所述预设的双塔网络模型，确定为训练好的双塔网络模型。
6.根据权利要求5所述的深度笔迹鉴定方法，其特征在于，所述构建样本集的步骤，包括：
获取同一人的多张笔迹图像的第一数据集以及不同人的多张笔迹图像的第二数据集；
在所述第一数据集中随机选取预设数量个作为正样本对；
在所述第二数据集中随机选取预设数量个作为负样本对；
使用所述正样本对和所述负样本对构成样本集。
7.根据权利要求5所述的深度笔迹鉴定方法，其特征在于，所述基于所述对比损失以及所述交叉熵损失，调整所述预设的双塔网络模型中的权重的步骤包括：
将所述对比损失以及所述交叉熵损失加权求和，获得总损失值；
按照使所述总损失值减小的方向，调整所述预设的双塔网络模型中的权重。
8.根据权利要求7所述的深度笔迹鉴定方法，其特征在于，所述按照使所述总损失值减小的方向，调整所述预设的双塔网络模型中的权重的步骤包括：
所述按照使所述总损失值减小的方向，使用反向传播算法调整所述预设的双塔网络模型中所述编码及解码网络、所述骨干网络以及所述特征交叉网络的权重。
9.根据权利要求1所述的深度笔迹鉴定方法，其特征在于，所述根据属于待鉴定人的笔迹的概率，确定所述第一笔迹图像中的笔迹是否是所述待鉴定人的笔迹包括：
当所述识别结果中属于待鉴定人的笔迹的概率大于预设的阈值时，则确定所述第一笔迹图像中的笔迹是所述待鉴定人的笔迹。
10.一种基于双塔网络的深度笔迹鉴定装置，其特征在于，所述深度笔迹鉴定装置包括：
获取模块，用于获取待鉴定的第一笔迹图像以及待鉴定人的第二笔迹图像；
识别模块，用于将所述第一笔迹图像输入训练好的双塔网络模型的第一输入通道以及将第二笔迹图像输入训练好的双塔网络模型的第二输入通道，获得所述训练好的双塔网络模型输出的识别结果；所述识别结果包括：属于待鉴定人的笔迹的概率；
确定模块，用于根据属于待鉴定人的笔迹的概率，确定所述第一笔迹图像中的笔迹是否是所述待鉴定人的笔迹；
其中，训练好的双塔网络模型是通过训练预设的双塔网络模型得到的，所述训练好的双塔网络模型用于将所述第一笔迹图像以及第二笔迹图像进行数据重构，在重构后的第一笔迹图像的数据中提取第一特征数据，以及在所述重构后的第二笔迹图像的数据中提取第二特征数据，将所述第一特征数据以及第二特征数据进行融合，并基于融合后的特征数据，输出识别结果。
CN202010954616.8A 2020-09-11 2020-09-11 一种基于双塔网络的深度笔迹鉴定方法及装置 Active CN112215076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010954616.8A CN112215076B (zh) 2020-09-11 2020-09-11 一种基于双塔网络的深度笔迹鉴定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010954616.8A CN112215076B (zh) 2020-09-11 2020-09-11 一种基于双塔网络的深度笔迹鉴定方法及装置

Publications (2)

Publication Number Publication Date
CN112215076A true CN112215076A (zh) 2021-01-12
CN112215076B CN112215076B (zh) 2022-08-12

Family

ID=74050406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010954616.8A Active CN112215076B (zh) 2020-09-11 2020-09-11 一种基于双塔网络的深度笔迹鉴定方法及装置

Country Status (1)

Country Link
CN (1) CN112215076B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610065A (zh) * 2021-10-09 2021-11-05 北京世纪好未来教育科技有限公司 笔迹识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014169837A1 (zh) * 2013-04-18 2014-10-23 武汉汉德瑞庭科技有限公司 一种基于手掌侧表面信息的在线笔迹认证方法及***
CN110659599A (zh) * 2019-09-19 2020-01-07 安徽七天教育科技有限公司 一种基于扫描试卷的离线笔迹鉴定***以及使用方法
CN111046774A (zh) * 2019-12-06 2020-04-21 国网湖北省电力有限公司电力科学研究院 一种基于卷积神经网络的中文签名笔迹鉴定方法
CN111046760A (zh) * 2019-11-29 2020-04-21 山东浪潮人工智能研究院有限公司 一种基于域对抗网络的笔迹鉴定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014169837A1 (zh) * 2013-04-18 2014-10-23 武汉汉德瑞庭科技有限公司 一种基于手掌侧表面信息的在线笔迹认证方法及***
CN110659599A (zh) * 2019-09-19 2020-01-07 安徽七天教育科技有限公司 一种基于扫描试卷的离线笔迹鉴定***以及使用方法
CN111046760A (zh) * 2019-11-29 2020-04-21 山东浪潮人工智能研究院有限公司 一种基于域对抗网络的笔迹鉴定方法
CN111046774A (zh) * 2019-12-06 2020-04-21 国网湖北省电力有限公司电力科学研究院 一种基于卷积神经网络的中文签名笔迹鉴定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610065A (zh) * 2021-10-09 2021-11-05 北京世纪好未来教育科技有限公司 笔迹识别方法和装置

Also Published As

Publication number Publication date
CN112215076B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Do et al. Forensics face detection from GANs using convolutional neural network
CN107423701B (zh) 基于生成式对抗网络的人脸非监督特征学习方法及装置
EP3471023B1 (en) Offline identity authentication method and apparatus
US20220092882A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
Ding et al. Robust face recognition via multimodal deep face representation
Fong et al. A biometric authentication model using hand gesture images
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN113408574B (zh) 一种车牌分类方法、车牌分类装置和计算机可读存储介质
Baek et al. Generative adversarial ensemble learning for face forensics
Chen et al. A pornographic images recognition model based on deep one-class classification with visual attention mechanism
Wu et al. Comparative analysis and application of LBP face image recognition algorithms
Pujol et al. Entropy-based face recognition and spoof detection for security applications
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
Zeng et al. Occlusion‐invariant face recognition using simultaneous segmentation
CN114445052A (zh) 基于区块链的智慧教育学生出勤大数据统计方法及***
CN112215076B (zh) 一种基于双塔网络的深度笔迹鉴定方法及装置
Wyzykowski et al. Multiresolution synthetic fingerprint generation
Sharma et al. A survey of detection and mitigation for fake images on social media platforms
CN113743365A (zh) 人脸识别过程中的欺诈行为检测方法及装置
Alhumyani et al. Efficient generation of cancelable face templates based on quantum image Hilbert permutation
CN115620342A (zh) 跨模态行人重识别方法、***及计算机
Jia et al. Enhanced face morphing attack detection using error-level analysis and efficient selective kernel network
CN112613341A (zh) 训练方法及装置、指纹识别方法及装置、电子设备
CN113572913B (zh) 图像加密方法、装置、介质及电子设备
Wright Lip-based biometric authentication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant