CN111368632A - 一种签名识别方法及设备 - Google Patents

一种签名识别方法及设备 Download PDF

Info

Publication number
CN111368632A
CN111368632A CN201911380443.7A CN201911380443A CN111368632A CN 111368632 A CN111368632 A CN 111368632A CN 201911380443 A CN201911380443 A CN 201911380443A CN 111368632 A CN111368632 A CN 111368632A
Authority
CN
China
Prior art keywords
character
signature
surname
image
signature image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911380443.7A
Other languages
English (en)
Inventor
周康明
肖尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201911380443.7A priority Critical patent/CN111368632A/zh
Publication of CN111368632A publication Critical patent/CN111368632A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)

Abstract

本申请的目的是提供一种签名识别方法及设备，本申请通过获取签名时的签名图像；依序对签名图像进行预处理和基于SSD的单字符定位分割，得到签名图像中的各单字符对应的单字符图像，单字符包括姓氏单字符和名字单字符；根据基于手写中文字符识别网络的姓氏识别模型对姓氏单字符进行识别，得到姓氏单字符的分类结果，根据基于手写中文字符识别网络的名字识别模型对名字单字符进行识别，得到名字单字符的分类结果；基于姓氏单字符的分类结果和名字单字符的分类结果，得到签名图像的签名识别结果，实现了融合姓氏识别模型和名字识别模型对签名图像中的单字符进行识别，协作完成对签名图像的签名识别，从而提高签名识别的准确率。

Description

一种签名识别方法及设备
技术领域
本申请涉及计算机领域，尤其涉及一种签名识别方法及设备。
背景技术
随着电子技术的不断发展，传统的手写签名已满足不了人们在日常生活中的签名需求。为了节约办公成本及提升签名效率，电子动态签名正在逐渐的替代传统的手写签名，且与传统的手写签名一样，也具有同等的法律效力。为了对电子的签名进行识别以得到签名结果，现有技术中，一般先分割再识别，或者整体识别的方式，其中，所述先分割再识别，是指通过传统算法(如连通域阈值分割)或者基于深度学习算法(如多目标检测算法)分割出单字符图像，再对单字符图像进行识别，所述整体识别，是指将签名图像输入到基于循环神经网络(Recurrent Neural Network，RNN)或者其变体的网络中，采用联结主义时间分类(Connectionist Temporal Classification，CTC) 损失函数的方式，输出整个签名图像中包含的字符类别。
其中，将签名分割成单字再进行识别时，如果采用传统算法，由于字符间距、字符倾斜，分割出的单字符中往往会有其他字符的干扰；除此之外，分割算法的性能本身也会影响到单字符识别的准确率，进而影响签名识别的准确率。基于RNN或者其变体的网络中，采用CTC损失函数的方式，一次性输出签名图像中所包含所有单字符串的类别，这种方式的问题在于，RNN 网络是基于字符串存在显示的语义联系这种前提下，但是在签名这种类型的字符串中，字符之间并没有显式的前后依赖语义联系。因此，如何对具有汉字的动态签名进行高效识别成为当前业界亟需解决的问题。
发明内容
本申请的一个目的是提供一种签名识别方法及设备，以提高对签名进行识别的准确率。
根据本申请的一个方面，提供了一种签名识别方法，其中，所述方法包括：
获取签名时的签名图像；
依序对所述签名图像进行预处理和基于单点多盒探测器SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，所述单字符包括姓氏单字符和名字单字符；
根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的分类结果，并根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的分类结果；
基于所述姓氏单字符的分类结果和所述名字单字符的分类结果，得到所述签名图像的签名识别结果。
进一步地，上述签名识别方法中，所述依序对所述签名图像进行预处理和基于单点多盒探测器SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，包括：
对所述签名图像进行水平和垂直投影，得到所述签名图像中的签名区域的位置信息；
根据所述签名区域的位置信息，在所述签名图像中裁剪出绕所述签名区域的位置边缘的预设像素的区域并进行二值化处理，得到裁剪后的签名图像；
对所述裁剪后的签名图像进行预设区域的形态学操作，得到形态学操作后的签名图像；
对所述形态学操作后的签名图像进行缩放，并放置于RGB三通道像素值均为预设像素值的预设区域图像中，以得到预处理后的签名图像；
对所述预处理后的签名图像进行基于所述SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像。
进一步地，上述签名识别方法中，所述对所述形态学操作后的签名图像进行缩放，并放置于RGB三通道像素值均为预设像素值的预设区域图像中，以得到预处理后的签名图像，包括：
若所述形态学操作后的签名图像的长、宽分别为w和h，所述预设区域图像的大小为400×80，
当
Figure RE-GDA0002500676600000031
时，将所述形态学操作后的签名图像由w×h缩放至
Figure RE-GDA0002500676600000032
在缩放后的图像上，分别向上和向下填充长度为400、宽度为
Figure RE-GDA0002500676600000033
个且RGB三通道像素值均为预设像素值的像素；
当
Figure RE-GDA0002500676600000034
时，将所述形态学操作后的签名图像由w×h缩放至
Figure RE-GDA0002500676600000035
在缩放后的图像上，分别左和向右填充长度为
Figure RE-GDA0002500676600000036
宽度为80个且 RGB三通道像素值均为预设像素值的像素。
进一步地，上述签名识别方法中，所述对所述预处理后的签名图像进行基于所述SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，包括：
对所述预处理后的签名图像进行所述基于SSD的单字符定位分割，得到所述签名图像中的各候选定位框的坐标位置和所述候选定位框中包含的单字符的置信度，所述候选定位框的坐标位置用于指示所述候选定位框在所述预处理后的签名图像中的位置；
将所述置信度大于预设置信度阈值对应的候选定位框确定为单字符定位框；
分别根据各所述单字符定位框的坐标位置，在所述预处理后的签名图像中进行对应裁剪，得到所述签名图像中的各单字符对应的单字符图像。
进一步地，上述签名识别方法中，所述手写中文字符识别网络包括19层，分别包括10个卷积-批归一化-带参数修正的线性单元层、5个池化层、1个多尺度空洞卷积层、2个全连接层及1个回归模型softmax层；
其中，所述基于手写中文字符识别网络的姓氏识别模型中的所述softmax 层中的分类类别数为第一预设数量，所述基于手写中文字符识别网络的名字识别模型中的所述softmax层中的分类类别数为第二预设数量，且所述第一预设数量小于第二预设数量。
进一步地，上述签名识别方法中，所述根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的分类结果，包括：
根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的多个姓氏分类及每个所述姓氏分类对应的分类概率；
从所述多个姓氏分类中取出概率最大的第三预设数量的姓氏类别；
基于所述概率最大的第三预设数量的姓氏类别及其对应的分类概率，得到所述姓氏单字符的分类结果。
进一步地，上述签名识别方法中，所述根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的分类结果，包括：
根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的多个名字分类及每个所述名字分类对应的分类概率；
从所述多个名字分类中取出概率最大的第三预设数量的名字类别；
基于所述概率最大的第三预设数量的名字类别及其对应的分类概率得到所述名字单字符的分类结果。
根据本申请的另一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述签名识别方法。
根据本申请的另一个方面，还提供了一种签名识别设备，其特征在于，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述签名识别方法。
与现有技术相比，本申请通过首先获取签名时的签名图像；然后依序对所述签名图像进行预处理和基于单点多盒探测器(Single Shot MultiBox Detector，SSD)的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，所述单字符包括姓氏单字符和名字单字符；之后根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的分类结果，并根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的分类结果；最后基于所述姓氏单字符的分类结果和所述名字单字符的分类结果，得到所述签名图像的签名识别结果，实现了基于手写中文字符识别网络的姓氏识别模型和基于手写中文字符识别网络的名字识别模型对签名图像中的单字符进行识别，融合这两种识别模型，协作完成对签名图像的签名识别，从而提高签名识别的准确率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种签名识别方法的流程示意图；
图2示出根据本申请一个方面的一种签名识别方法中的原始的签名图像的示意图；
图3示出根据本申请一个方面的一种签名识别方法中的签名图像经过经预处理后，基于SSD进行单字符定位分割出的包含文字的单字符定位框的示意图；
图4示出根据本申请一个方面的一种签名识别方法中的手写中文字符识别网络的网络结构示意图；
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit，CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change RAM，PRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
如图1所示，本申请一个方面提供了一种签名识别方法的流程示意图，该方法应用于对包含有汉子的签名图像进行签名中的每个汉子进行识别的设备，其中，所述设备可以是具有触摸屏功能的移动终端，该移动终端包括智能手机、IPad电脑、个人计算机及移动电子触摸设备等。该签名识别方法包括步骤S11、步骤S12、步骤S13及步骤S14，其中，具体包括：
步骤S11，获取签名时的签名图像；在此，所述签名图像中包括用户在终端机器上进行签名的内容，比如包含有签名的汉字等字符。
针对传统算法的泛化能力不足，深度学习算法存在漏检、多检的情况，步骤S12，依序对所述签名图像进行预处理和基于单点多盒探测器SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，所述单字符包括姓氏单字符和名字单字符；
步骤S13，根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的分类结果，并根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的分类结果；
步骤S14，基于所述姓氏单字符的分类结果和所述名字单字符的分类结果，得到所述签名图像的签名识别结果。
通过上述步骤S11至步骤S14，实现了基于手写中文字符识别网络的姓氏识别模型和基于手写中文字符识别网络的名字识别模型对签名图像中的单字符进行识别，融合这两种识别模型，协作完成对签名图像的签名识别，从而提高签名识别的准确率。
下面分别从步骤S11至步骤S14详细描述本申请的签名识别方法的具体步骤。
在步骤S11中，获取实际签名场景中的签名图像I，所述签名图像I的长、宽分别为W和H。
在所述步骤S12中，所述步骤S12，依序对所述签名图像进行预处理和基于单点多盒探测器SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，所述单字符包括姓氏单字符和名字单字符，具体包括：
对所述签名图像进行水平和垂直投影，得到所述签名图像中的签名区域的位置信息；
根据所述签名区域的位置信息，在所述签名图像中裁剪出绕所述签名区域的位置边缘的预设像素的区域并进行二值化处理，得到裁剪后的签名图像；在此，所述预设像素包括但不限于任何数量的像素，在本申请一优选实施例中，将所述预设像素优选为5像素。
对所述裁剪后的签名图像进行预设区域的形态学操作，得到形态学操作后的签名图像；在此，所述预设区域包括但不限于任何范围大小、形状的区域，在本申请一优选实施例中，将所述预设区域优选为5×5矩形区域。
对所述形态学操作后的签名图像进行缩放，并放置于RGB三通道像素值均为预设像素值的预设区域图像中，以得到预处理后的签名图像；
对所述预处理后的签名图像进行基于所述SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像。
例如，在所述步骤S12中，先对所述签名图像I进行水平和垂直投影，定位出所述签名图像I中的签名区域的位置，该签名区域的位置信息为 [xmin，xmax，ymin，ymax]，其中，xmin为所述签名区域的横坐标中的最小横坐标值， xmax为所述签名区域的横坐标中的最大横坐标值，ymin为所述签名区域的纵坐标中的最小横坐标值，ymax为所述签名区域的横坐标中的最大纵坐标值。
然后，根据所述签名区域的位置信息：[xmin，xmax，ymin，ymax]，在签名图像 I上裁剪出所述签名区域及绕所述签名区域的边缘预设像素的区域并对裁剪出的区域进行二值化处理，得到所述签名图像I对应的裁剪后的签名图像Icrop。在本申请一优选的实施例中，将所述预设像素优选为5像素，则所述裁剪后的签名图像Icrop表示为如下公式：
Icrop＝Ibinary[max(0，xmin-5)：min(xmax+5，W)，max(0，ymin-5)：min(ymax+ 5，H)]
之后，在本申请一优选实施例中，对所述裁剪后的签名图像Icrop进行5×5 矩形区域的形态学操作，得到所述签名图像I对应的形态学操作后的签名图像Ierode，其中，所述形态学操作后的签名图像Ierode表示为如下公式：
Ierode＝f(Icrop，K(5，5))
其中，f(·)表示形态学操作，K(5，5)表示形态学操作的核为5×5矩形区域。
接着，对所述形态学操作后的签名图像Ierode进行缩放，并放置于RGB三通道像素值均为预设像素值的预设区域图像中，以得到预处理后的签名图像 Ipad。
最后，对所述预处理后的签名图像Ipad进行基于所述SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，以实现对签名图像 I依序分别进行预处理和基于SSD的单字符定位分割的处理，从而得到所述签名图像I中的各单字符对应的单字符图像。
在所述步骤S12中的所述对所述形态学操作后的签名图像进行缩放，并放置于RGB三通道像素值均为预设像素值的预设区域图像中，以得到预处理后的签名图像时，具体包括如下步骤：
若所述形态学操作后的签名图像的长、宽分别为w和h，所述预设区域图像的大小为400×80，当
Figure RE-GDA0002500676600000111
时，将所述形态学操作后的签名图像由w×h缩放至
Figure RE-GDA0002500676600000112
在缩放后的图像上，分别向上和向下填充长度为400、宽度为
Figure RE-GDA0002500676600000113
个且RGB三通道像素值均为预设像素值的像素；当
Figure RE-GDA0002500676600000114
时，将所述形态学操作后的签名图像由w×h缩放至
Figure RE-GDA0002500676600000115
在缩放后的图像上，分别左和向右填充长度为
Figure RE-GDA0002500676600000116
宽度为80个且RGB三通道像素值均为预设像素值的像素。
在此，所述预设像素值包括但不限于任何取值的像素值，在本申请一优选实施例中，将所述预设像素值优选为185，即填充的像素的RGB三通道像素值均为185。
在所述步骤S12中的对所述预处理后的签名图像进行基于所述SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像时，具体包括如下步骤：
对所述预处理后的签名图像进行所述基于SSD的单字符定位分割，得到所述签名图像中的各候选定位框的坐标位置和所述候选定位框中包含的单字符的置信度，所述候选定位框的坐标位置用于指示所述候选定位框在所述预处理后的签名图像中的位置；
将所述置信度大于预设置信度阈值对应的候选定位框确定为单字符定位框；在此，所述预设置信度阈值包括但不限于大于零且小于1的任何概率取值，在本申请一优选实施例中，将所述预设置信度阈值优选为0.2；
分别根据各所述单字符定位框的坐标位置，在所述预处理后的签名图像中进行对应裁剪，得到所述签名图像中的各单字符对应的单字符图像。
在本实施例中，将预处理后的签名图像Ipad输入SSD网络中，对预处理后的签名图像Ipad进行基于SSD的单字符定位分割，在经过所述SSD网络后，输出各个候选定位框的坐标位置detcor以及每个所述候选定位框中包含的单字符(例如文字)的置信度detconf，其中，各个候选定位框的坐标位置detcor表示为如下公式：
detcor＝[detcor_1，detcor_2，....]
各个候选定位框的置信度detconf表示为如下公式
detconf＝[detconf_1，detconf_2，....]
其中，detcor_i＝[xi_min，xi_max，yi_min，yi_max]表示第i个候选定位框在预处理后的签名图像Ipad图像中的位置，detconf_t表示第i个候选定位框中包含的单字符的概率，所述候选定位框的置信度detconf_i概率范围为：0≤detconf_i≤1。
在本申请的以优选实施例中，将各个候选定位框的置信度detconf中的大于0.2时对应的候选定位框的坐标位置确定为包含有单字符(比如文字)的单字符定位框，并根据各个候选定位框的坐标位置中的最小横坐标xi_min进行升序排序，得到排序后的各个候选定位框的坐标位置det′cor，表示为如下公式：
det′cor＝[det′cor_1，det′cor_2，....](4)
分别根据各单字符定位框的位置，在所述预处理后的签名图像Ipad中裁剪出对应的图像，得到分割的单字符图像，每个单字符定位框裁剪出的图像对应为单字符图像，如图2所示，图2是原始输入的签名图像I，图3中的各个矩形框是经预处理后，基于SSD进行单字符定位分割出的包含文字的单字符定位框。由于在进行人名签名时，不仅包括姓氏，还包括名字，故在通过所述步骤S12进行单字符分割后得到的单字符图像中的单字符不仅包括姓氏单字符还包括名字单字符。
在所述步骤S12将签名图像I中分割出包含有单字符的单字符图像后，在所述步骤S13将所述单字符图像输入姓氏识别模型和名字识别模型之前，还需要将每个单字符图像进行缩放至预设的像素范围，并由三通道RGB的单字符图像转换成单通道灰度图像，以得到用于输入模型进行单字符识别的单字符图像。在此，所述预设的像素范围包括但不限于任意像素范围，在本申请一优选实施例中，将所述预设像素范围优选为96×96像素。
在所述步骤S13中，所述手写中文字符识别(Handwriting Chinese CharacterRecognition，HCCR)网络包括19层，分别包括10个卷积-批归一化-带参数修正的线性单元层、5个池化层、1个多尺度空洞卷积层、2个全连接层及1个回归模型softmax层。其中，所述基于手写中文字符识别网络的姓氏识别模型中的所述softmax层中的分类类别数为第一预设数量，所述基于手写中文字符识别网络的名字识别模型中的所述softmax层中的分类类别数为第二预设数量，且所述第一预设数量小于第二预设数量。在此，所述第一预设数量和所述第二预设数量均包括但不限于是任何的数量，在本申请一优选实施例中，可以将所述第一预设数量优选为430个，即基于手写中文字符识别网络的姓氏识别模型中的所述softmax层中的分类类别数优选为430 个；所述第二预设数量优选为7076个，即基于手写中文字符识别网络的名字识别模型中的所述softmax层中的分类类别数优选为7076个。
如图4所示的手写中文字符识别网络中，本申请设计了4种模块：模块 BlockA至模块BlockD。其中，模块A由一个卷积(Convolutional)-批归一化 (Batch Normalization)-带参数修正的线性单元(Parametric Rectified Linear Unit) 组成，后接一个边缘为1像素的零填充、卷积核大小为3×3、步长为2的池化层；模块A、模块B以及模块C之间的区别在于卷积-批归一化-带参数修正的线性单元的数量上，依序分别为1、2和3；模块A和模块C中卷积操作均采用边缘为1像素的零填充、卷积核大小为3×3、步长为1；模块D是一个多尺度空洞卷积模块，由多尺度空洞卷积层和多尺度空洞卷积层的特征图按位像素求和的操作组成，其中，所述空洞卷积指的是卷积核通过空洞系数为r的操作变成空洞卷积核，因此，卷积核的大小由原始的k×k变成 r×(k-1)+1。为了保证经过不同空洞系数的空洞卷基层特征图得到相同的特征图大小，需要根据空洞卷积核的大小来计算边缘零填充的像素大小，方便后续的按像素求和。本申请中，经过模块C的池化层后，特征图的大小为4×4。如图4所示，模块D中由空洞系数由1变化到4，边缘填充对应为1到4像素的零填充的多尺度空洞卷积层组成。对这四层多尺度空洞卷积层得到的特征图进行按位置像素求和，再输入到fc1和fc2这两层全连接层中，其中，fc1 和fc2中均包含1024个神经元，并且每层全连接层之后都有批归一化和带参数修正的线性单元操作，对fc2-批归一化和带参数修正的线性单元层中的特征进行L2的归一化，随后送入softmax函数中完成静态单字符分类任务。
针对在签名识别过程中，经统计姓氏有430个类别，名字有7076个类别。即在姓氏中不会出现非姓氏的类别，并且签名的准确率受签名的每个单字符准确率的影响；签名中姓氏的分类类别数和名字的分类类别数相比要小很多，经实验表明，姓氏的分类类别数：430类的分类准确率比名字的分类类别数： 7076类的准确率高5％左右。因此，训练基于HCCR19网络的姓氏识别模型和基于HCCR19网络的名字识别模型。姓氏识别模型和名字识别模型的区别在于基于HCCR19网络中softmax函数的分类类别数的过程中，基于HCCR19 网络的姓氏识别模型和基于HCCR19网络的名字识别模型时的分类类别数依序分别为430类和7076类。
在所述步骤S13中，所述根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的分类结果，具体包括：
根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的多个姓氏分类及每个所述姓氏分类对应的分类概率；
从所述多个姓氏分类中取出概率最大的第三预设数量的姓氏类别；
基于所述概率最大的第三预设数量的姓氏类别及其对应的分类概率，得到所述姓氏单字符的分类结果。
在所述步骤S13中，根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的分类结果，具体包括：
根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的多个名字分类及每个所述名字分类对应的分类概率；
从所述多个名字分类中取出概率最大的第三预设数量的名字类别；
基于所述概率最大的第三预设数量的名字类别及其对应的分类概率得到所述名字单字符的分类结果。
例如，针对所述单字符定位框det′cor中的各个所述单字符定位框： det′cor＝[det′cor_1，det′cor_2，....]，若用户签名时是按照从左到右的顺序进行签名的，则按照各所述单字符定位框中的最小横坐标的从小到大的升序顺序对单字符定位框进行排序，将最前的第一个(姓氏为单姓)或者最前的多个(姓氏为复姓)的单字符定位框，采用基于HCCR19网络的姓氏识别模型进行姓氏的识别，以得到姓氏单字符的多个姓氏分类；并将各单字符定位框中的除最靠前的第一个或多个单字符定位框之外的单字符定位框，采用基于 HCCR19网络的名字识别模型进行名字的识别，以得到名字单字符的多个名字分类。当然，若用户签名时是按照从右到左的顺序进行签名的，则按照各所述单字符定位框中的最大横坐标的从大到小的降序顺序对单字符定位框进行排序，将最前的第一个(姓氏为单姓)或者最前的多个(姓氏为复姓)的单字符定位框，采用基于HCCR19网络的姓氏识别模型进行姓氏的识别，以得到姓氏单字符的多个姓氏分类；并将各单字符定位框中的除最靠前的第一个或多个单字符定位框之外的单字符定位框，采用基于HCCR19网络的名字识别模型进行名字的识别，以得到名字单字符的多个名字分类，以实现对姓氏和名字的单字符识别。
本申请中的所述第三预设数量包括但不限于任何的数量，在本申请一优选实施例中，将所述第三预设数量优选为5。在该优选实施例中，针对姓氏单字符的多个姓氏分类和名字单字符的的多个名字分类中，分别取出每个单字符的多个分分类中的分类概率最大的5个类别及其对应的分类概率，来作为所述单字符的分类结果；每个单字符的分类表示为：
Figure RE-GDA0002500676600000161
每个单字符的各个分类对应的分类概率表示为：
Figure RE-GDA0002500676600000171
其中，staticv表示第v个单字符定位框中的单字符的分类，p_staticv表示第 v个单字符定位框中的单字符的分类的分类概率。当然，在此，所述单字符既可以是姓氏单字符，也可以是名字单字符。
在所述步骤S14中，将所述姓氏单字符的分类结果和所述名字单字符的分类结果进行融合，得到所述签名图像的签名识别结果，从而实现了用姓氏和名字融合模型的方式，完成签名图像识别的任务。
本申请实施例中提供的一种签名识别方法中，融合姓氏和名字的签名识别，通过将预处理后的签名图像输入到基于SSD网络中进行单字符定位分割，得到单字符定位框的坐标位置，并根据坐标位置分割出单字符图像，使得本申请基于SSD网络的单字符定位分割，具有较好的鲁棒性，并且具有较高的分割准确率。同时，本申请在分析影响签名识别准确率的影响因素基础上，将分割出的单字符图像按照单字符定位框的位置排序，确定采用基于 HCCR19网络的姓氏识别模型和基于HCCR19网络的名字识别模型对签名图像中的单字符进行识别，融合这两种识别模型，协作完成对签名图像的签名识别，从而提高签名识别的准确率。
根据本申请的另一面，还提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述签名识别方法。
根据本申请的另一面，还提供一种签名识别设备，其特征在于，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述签名识别方法。
在此，所述签名识别设备的各实施例的详细内容，具体可参见上述签名识别方法实施例的对应部分，在此，不再赘述。
综上所述，本申请通过首先获取签名时的签名图像；然后依序对所述签名图像进行预处理和基于单点多盒探测器SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，所述单字符包括姓氏单字符和名字单字符；之后根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的分类结果，并根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的分类结果；最后基于所述姓氏单字符的分类结果和所述名字单字符的分类结果，得到所述签名图像的签名识别结果，实现了基于手写中文字符识别网络的姓氏识别模型和基于手写中文字符识别网络的名字识别模型对签名图像中的单字符进行识别，融合这两种识别模型，协作完成对签名图像的签名识别，从而提高签名识别的准确率。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构) 可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的至少两个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的至少两个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (9)

1.一种签名识别方法，其中，所述方法包括：
获取签名时的签名图像；
依序对所述签名图像进行预处理和基于单点多盒探测器SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，所述单字符包括姓氏单字符和名字单字符；
根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的分类结果，并根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的分类结果；
基于所述姓氏单字符的分类结果和所述名字单字符的分类结果，得到所述签名图像的签名识别结果。
2.根据权利要求1所述的方法，其中，所述依序对所述签名图像进行预处理和基于单点多盒探测器SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，所述单字符包括姓氏单字符和名字单字符，包括：
对所述签名图像进行水平和垂直投影，得到所述签名图像中的签名区域的位置信息；
根据所述签名区域的位置信息，在所述签名图像中裁剪出绕所述签名区域的位置边缘的预设像素的区域并进行二值化处理，得到裁剪后的签名图像；
对所述裁剪后的签名图像进行预设区域的形态学操作，得到形态学操作后的签名图像；
对所述形态学操作后的签名图像进行缩放，并放置于RGB三通道像素值均为预设像素值的预设区域图像中，以得到预处理后的签名图像；
对所述预处理后的签名图像进行基于所述SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像。
3.根据权利要求2所述的方法，其中，所述对所述形态学操作后的签名图像进行缩放，并放置于RGB三通道像素值均为预设像素值的预设区域图像中，以得到预处理后的签名图像，包括：
若所述形态学操作后的签名图像的长、宽分别为w和h，所述预设区域图像的大小为400×80，
当
Figure FDA0002342078620000021
时，将所述形态学操作后的签名图像由w×h缩放至
Figure FDA0002342078620000022
在缩放后的图像上，分别向上和向下填充长度为400、宽度为
Figure FDA0002342078620000023
个且RGB三通道像素值均为预设像素值的像素；
当
Figure FDA0002342078620000024
时，将所述形态学操作后的签名图像由w×h缩放至
Figure FDA0002342078620000025
在缩放后的图像上，分别左和向右填充长度为
Figure FDA0002342078620000026
宽度为80个且RGB三通道像素值均为预设像素值的像素。
4.根据权利要求2所述的方法，其中，所述对所述预处理后的签名图像进行基于所述SSD的单字符定位分割，得到所述签名图像中的各单字符对应的单字符图像，包括：
对所述预处理后的签名图像进行所述基于SSD的单字符定位分割，得到所述签名图像中的各候选定位框的坐标位置和所述候选定位框中包含的单字符的置信度，所述候选定位框的坐标位置用于指示所述候选定位框在所述预处理后的签名图像中的位置；
将所述置信度大于预设置信度阈值对应的候选定位框确定为单字符定位框；
分别根据各所述单字符定位框的坐标位置，在所述预处理后的签名图像中进行对应裁剪，得到所述签名图像中的各单字符对应的单字符图像。
5.根据权利要求1所述的方法，其中，所述手写中文字符识别网络包括19层，分别包括10个卷积-批归一化-带参数修正的线性单元层、5个池化层、1个多尺度空洞卷积层、2个全连接层及1个回归模型softmax层；
其中，所述基于手写中文字符识别网络的姓氏识别模型中的所述softmax层中的分类类别数为第一预设数量，所述基于手写中文字符识别网络的名字识别模型中的所述softmax层中的分类类别数为第二预设数量，且所述第一预设数量小于第二预设数量。
6.根据权利要求1所述的方法，其中，所述根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的分类结果，包括：
根据基于手写中文字符识别网络的姓氏识别模型对所述姓氏单字符进行识别，得到所述姓氏单字符的多个姓氏分类及每个所述姓氏分类对应的分类概率；
从所述多个姓氏分类中取出概率最大的第三预设数量的姓氏类别；
基于所述概率最大的第三预设数量的姓氏类别及其对应的分类概率，得到所述姓氏单字符的分类结果。
7.根据权利要求1所述的方法，其中，所述根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的分类结果，包括：
根据基于手写中文字符识别网络的名字识别模型对所述名字单字符进行识别，得到所述名字单字符的多个名字分类及每个所述名字分类对应的分类概率；
从所述多个名字分类中取出概率最大的第三预设数量的名字类别；
基于所述概率最大的第三预设数量的名字类别及其对应的分类概率得到所述名字单字符的分类结果。
8.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如权利要求1至7中任一项所述的方法。
9.一种签名识别设备，其特征在于，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
CN201911380443.7A 2019-12-27 2019-12-27 一种签名识别方法及设备 Pending CN111368632A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911380443.7A CN111368632A (zh) 2019-12-27 2019-12-27 一种签名识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911380443.7A CN111368632A (zh) 2019-12-27 2019-12-27 一种签名识别方法及设备

Publications (1)

Publication Number Publication Date
CN111368632A true CN111368632A (zh) 2020-07-03

Family

ID=71212272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911380443.7A Pending CN111368632A (zh) 2019-12-27 2019-12-27 一种签名识别方法及设备

Country Status (1)

Country Link
CN (1) CN111368632A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753809A (zh) * 2020-07-10 2020-10-09 上海眼控科技股份有限公司 一种用于手写签名矫正的方法与设备
CN112580108A (zh) * 2020-12-10 2021-03-30 深圳证券信息有限公司 签名和***完整性验证方法及计算机设备
CN112651323A (zh) * 2020-12-22 2021-04-13 山东山大鸥玛软件股份有限公司 一种基于文本行检测的中文手写体识别方法及***
TWI777188B (zh) * 2020-07-07 2022-09-11 新光人壽保險股份有限公司 契約簽名鑑別方法及其裝置
CN115083024A (zh) * 2022-06-17 2022-09-20 平安银行股份有限公司 基于区域划分的签名识别方法、装置、介质及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176206A (ja) * 1992-12-09 1994-06-24 Casio Comput Co Ltd 文字認識装置
CN107133616A (zh) * 2017-04-02 2017-09-05 南京汇川图像视觉技术有限公司 一种基于深度学习的无分割字符定位与识别方法
CN108229463A (zh) * 2018-02-07 2018-06-29 众安信息技术服务有限公司 基于图像的文字识别方法
CN108898137A (zh) * 2018-05-25 2018-11-27 黄凯 一种基于深度神经网络的自然图像字符识别方法及***
CN109102037A (zh) * 2018-06-04 2018-12-28 平安科技（深圳）有限公司 中文模型训练、中文图像识别方法、装置、设备及介质
CN109344883A (zh) * 2018-09-13 2019-02-15 西京学院 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN109740605A (zh) * 2018-12-07 2019-05-10 天津大学 一种基于cnn的手写中文文本识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176206A (ja) * 1992-12-09 1994-06-24 Casio Comput Co Ltd 文字認識装置
CN107133616A (zh) * 2017-04-02 2017-09-05 南京汇川图像视觉技术有限公司 一种基于深度学习的无分割字符定位与识别方法
CN108229463A (zh) * 2018-02-07 2018-06-29 众安信息技术服务有限公司 基于图像的文字识别方法
CN108898137A (zh) * 2018-05-25 2018-11-27 黄凯 一种基于深度神经网络的自然图像字符识别方法及***
CN109102037A (zh) * 2018-06-04 2018-12-28 平安科技（深圳）有限公司 中文模型训练、中文图像识别方法、装置、设备及介质
CN109344883A (zh) * 2018-09-13 2019-02-15 西京学院 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN109740605A (zh) * 2018-12-07 2019-05-10 天津大学 一种基于cnn的手写中文文本识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHUOYAO ZHONG ET AL.: "High Performance Offline Handwritten Chinese Character Recognition Using GoogLeNet and Directional Feature Maps", pages 1 - 5 *
丁蒙 等: "卷积神经网络在手写字符识别中的应用研究", pages 40 - 42 *
孙 俊 等: "空洞卷积结合全局池化的卷积神经网络识别作物幼苗与杂草", vol. 34, no. 11, pages 160 - 161 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI777188B (zh) * 2020-07-07 2022-09-11 新光人壽保險股份有限公司 契約簽名鑑別方法及其裝置
CN111753809A (zh) * 2020-07-10 2020-10-09 上海眼控科技股份有限公司 一种用于手写签名矫正的方法与设备
CN112580108A (zh) * 2020-12-10 2021-03-30 深圳证券信息有限公司 签名和***完整性验证方法及计算机设备
CN112580108B (zh) * 2020-12-10 2024-04-19 深圳证券信息有限公司 签名和***完整性验证方法及计算机设备
CN112651323A (zh) * 2020-12-22 2021-04-13 山东山大鸥玛软件股份有限公司 一种基于文本行检测的中文手写体识别方法及***
CN112651323B (zh) * 2020-12-22 2022-12-13 山东山大鸥玛软件股份有限公司 一种基于文本行检测的中文手写体识别方法及***
CN115083024A (zh) * 2022-06-17 2022-09-20 平安银行股份有限公司 基于区域划分的签名识别方法、装置、介质及设备

Similar Documents

Publication Publication Date Title
CN109902622B (zh) 一种用于登机牌信息验证的文字检测识别方法
CN109492643B (zh) 基于ocr的证件识别方法、装置、计算机设备及存储介质
CN111368632A (zh) 一种签名识别方法及设备
US7236632B2 (en) Automated techniques for comparing contents of images
WO2019174130A1 (zh) 票据识别方法、服务器及计算机可读存储介质
WO2017202232A1 (zh) 名片内容识别方法、电子设备和存储介质
CN109241861B (zh) 一种数学公式识别方法、装置、设备及存储介质
US20120224765A1 (en) Text region detection system and method
WO2021047484A1 (zh) 文字识别方法和终端设备
CN111914698A (zh) 图像中人体的分割方法、分割***、电子设备及存储介质
CN108154132A (zh) 一种身份证文字提取方法、***及设备和存储介质
CN111552837A (zh) 基于深度学习的动物视频标签自动生成方法、终端及介质
CN111415373A (zh) 基于孪生卷积网络的目标跟踪与分割方法、***及介质
CN111523537A (zh) 一种文字识别方法、存储介质及***
CN110443184A (zh) 身份证信息提取方法、装置及计算机存储介质
CN110796145B (zh) 基于智能决策的多证件分割关联方法及相关设备
CN114463767A (zh) 信用证识别方法、装置、计算机设备和存储介质
CN114581928A (zh) 一种表格识别方法及***
CN113780116A (zh) ***分类方法、装置、计算机设备和存储介质
CN108090728B (zh) 一种基于智能终端的快递信息录入方法及录入***
CN113887375A (zh) 一种文本识别方法、装置、设备及存储介质
CN111213157A (zh) 一种基于智能终端的快递信息录入方法及录入***
CN117076455A (zh) 一种基于智能识别的保单结构化存储方法、介质及***
CN112396060A (zh) 基于身份证分割模型的身份证识别方法及其相关设备
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination