CN113610064B - 笔迹识别方法和装置 - Google Patents

Abstract

本公开提供一种笔迹识别方法和装置，属于图像处理领域。所述方法包括：获取包含目标用户笔迹的目标图像；根据所述目标图像，确定所述目标用户笔迹的模拟笔迹图像，所述模拟笔迹图像包括设定文本信息；获取预先存储的每个用户的第一设定文本笔迹图像，所述第一设定文本笔迹图像包括所述设定文本信息；分别确定所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度；根据所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度，确定所述目标用户笔迹所属的目标用户。采用本公开，可以提高识别效率。

Description

笔迹识别方法和装置

技术领域

本公开涉及图像处理领域，尤其涉及一种笔迹识别方法和装置。

背景技术

由于没有地点和实体材料的限制，在线教育是一种深受家长和学生欢迎的教育形式。在一些应用场景中，需要对用户笔迹进行识别。例如，在线测试的场景中，用户线下作答后，可以通过终端拍摄作答图像并上传服务器。但是在实际应用中，经常出现一台终端多人使用的情况，在这种情况下，目前无法有效区分具体用户（指作答者），如果能有效的区分出具体用户，那么便可以通过累积同一用户作答图像及批改内容，从而掌握用户的学习情况，进而为用户提供学情分析，以及针对性的做学习推荐，从而帮助用户更好的学习。

目前区分用户的做法是笔迹识别，而图像相似度评估是笔迹识别的一种方法。图像相似度评估是一个比较古老的研究课题，从早期的经验公式计算评估，到模式识别的方法，使用人工经验设计的算子，再到现在使用各种深度学习的方法，在这个过程中，涌现出了大量的经典模型和方法，早期使用经验公式评估两张图像相似度的方法有PSNR(PeakSignal to Noise Ratio，峰值信噪比)和SSIM(Structural Similarity，结构相似性)，即直接从像素值上通过计算判断两张图像的相似性，模式识别的方法使用人工经验设计的算子，如SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)、SURF(Speeded UpRobust Features，加速提取鲁棒性特征)分别提取两张图像的特征点，组成特征向量，然后采用某种度量方式，如余弦距离、欧式距离和汉明距离等，计算两个特征向量向量之间的距离，然后根据预先设置的阈值，判断两种图像的相似度，深度学习的方法是目前使用最为广泛，也是效果最好的方法，其代表有Siamese（孪生网络）和Pseudo-siamese（伪孪生网络）通过使用两个神经网络模型分支，分别提取两张图像的特征，最后将提取到的特征进行合并，得到相似度分析结果，与其它深度学习方法相同，通过反向传播算法来优化目标函数，当目标函数的值被优化达到一个比较好的结果时，网络对图像进行相似度评估能够取得非常好的结果。

上述三种方法各有优势，经验公式的计算各加客观，但是其仅是利用图像像素数值进行图像相似度评估，无法利用图像的语义（即内容）信息，人工经验设计的算子，能够在一定程度上利用到图像的语义信息，但是由于其对相似度的评估需要人为设置阈值，所以在一定程度上，结果的好坏跟人工经验息息相关，深度学习的方法，利用神经网络模型对图像进行特征提取，能够将图像的数值信息和语义信息全部利用起来，而且将相似度度量结果交由网络进行判断，从而避免了人工经验设置阈值，能够达到更好的效果，但是相较于前两种方法，深度学习的方法需要使用大量人工标注的数据对神经网络模型进行训练，而且训练数据的数量和质量是制约神经网络模型预测能力的关键。

发明内容

为了解决现有技术的问题，本公开实施例提供了一种笔迹识别方法和装置。技术方案如下：

根据本公开的一方面，提供了一种笔迹识别方法，所述方法包括：

获取包含目标用户笔迹的目标图像；

根据所述目标图像，确定所述目标用户笔迹的模拟笔迹图像，所述模拟笔迹图像包括设定文本信息；

获取预先存储的每个用户的第一设定文本笔迹图像，所述第一设定文本笔迹图像包括所述设定文本信息；

分别确定所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度；

根据所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度，确定所述目标用户笔迹所属的目标用户。

根据本公开的另一方面，提供了一种笔迹识别装置，所述装置包括：

获取模块，用于获取包含目标用户笔迹的目标图像；

模拟模块，用于根据所述目标图像，确定所述目标用户笔迹的模拟笔迹图像，所述模拟笔迹图像包括设定文本信息；

所述获取模块，还用于获取预先存储的每个用户的第一设定文本笔迹图像，所述第一设定文本笔迹图像包括所述设定文本信息；

确定模块，用于分别确定所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度；根据所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度，确定所述目标用户笔迹所属的目标用户。

根据本公开的另一方面，提供了一种电子设备，包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述笔迹识别方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行上述笔迹识别方法。

本公开实施例中，可以根据目标用户笔迹，模拟目标用户书写设定文本时的笔迹图像，进而根据模拟笔迹图像与预先存储的每个用户的第一设定文本笔迹图像之间的相似度，识别该目标用户。由于每个用户的第一设定文本笔迹图像的内容均为设定文本，不同点在于每个用户的笔迹风格，降低了不同的图像内容带来的干扰，且设定文本的信息量固定且有限，使得处理速度较快，因此，可以提高识别效率。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1示出了根据本公开示例性实施例的实施环境示意图；

图2示出了根据本公开示例性实施例的笔迹识别方法的流程图；

图3示出了根据本公开示例性实施例的模型结构示意图；

图4示出了根据本公开示例性实施例的设定文本笔迹图像示意图；

图5示出了根据本公开示例性实施例的笔迹模拟模型的训练方法流程图；

图6示出了根据本公开示例性实施例的图像相似度确定模型的训练方法流程图；

图7示出了根据本公开示例性实施例的笔迹识别装置的示意性框图；

图8示出了根据本公开示例性实施例的笔迹识别装置的示意性框图；

图9示出了根据本公开示例性实施例的笔迹识别装置的示意性框图；

图10示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

为了清楚描述本公开实施例提供的方法，下面对本公开涉及的技术进行介绍：

1、MatchNet（比较网络）

MatchNet主要由特征网络和度量网络两部分组成，特征网络是一个卷积神经网络模型，由2个分支组成，其每个分支均包括5个卷积层和3个池化层，2个分支共享权重；度量网络由3个全连接层和目标函数组成，第三个全连接层后接了一个softmax（归一化指数）函数，其中目标函数为交叉熵损失函数（CrossEntropyLoss）。MatchNet可视为在Siamese（孪生网络）的基础上进行了改进，使用神经网络模型不同的分支对输入图像提取特征，然后将提取到的纹理、边缘、角点和高层语义等信息进行向量量化，在对表示两张图像的两个向量使用某种距离度量，然后根据设定的阈值判断两张图像是否相似或表出其相似程度。

2、CGAN（Conditional Generative Adversarial Nets，条件对抗生成网络）

CGAN与普通的生成对抗网络（Generative Adversarial Nets，GAN）大致相同，由生成器和判别器两部分组成，GAN的生成器一般以服从高斯分布的噪声作为输入，输出为一张像指定真实图像的图像，判别器以生成器生成的图像或指定的真实图像作为输入，输出为1或0，表明输入是否为真实图像，通常以KL散度（Kullback-Leibler Divergence，相对熵）或JS散度（Jensen–Shannon Divergence，詹森-香农散度，另一种相对熵）作为优化目标，当判别器无法区分输入是真实图像还是生成器生成的图像时，认为生成器与判别器达到博弈平衡，至此便可以利用生成器生成图像。

CGAN是GAN的改进版本，二者的不同之处在于， CGAN的生成器输出一般为某种指定的标签信息（或称为先验信息），CGAN的判别器以生成器输出加上标签信息或指定真实图像加上标签信息作为输入，CGAN相比GAN由于输入的变化，使得其生成器输出的内容与标签是强相关的，即是大体可控的。CGAN不仅具有生成图像质量高、速度快等优点，而且在图像分辨率不高的场景下，容易训练，能有效避免GAN相关方法训练过程中的模式崩溃和不收敛。

MatchNet是一个典型的图像相似度判别网络，目前已经取得了非常好的效果；CGAN是一种重要的生成式模型，它能够根据输入有效地生成可控的图像，同时它的设计思路能够有效的解决多项任务中损失函数难以设计的问题。基于此，本公开实施例提供了一种笔迹识别方法，通过充分利用CGAN和MatchNet的设计思路，同时分析笔迹识别应用场景的具体情况，构建一个全新的笔迹识别模型，从而实现通过笔迹区分用户，为每个用户建立学习档案，并进行学情分析，从而有力的帮助用户更高效的作业和学习。

该方法可以由终端、服务器和/或其他具备处理能力的设备完成。本公开实施例提供的方法可以由上述任一设备完成，也可以由多个设备共同完成，本公开对此不作限定。以如图1所示的实施环境示意图为例，该实施环境中可以由终端和服务器构成，终端可以和服务器进行通信。

终端上可以使用在线教育的应用程序，该应用程序可以是APP（Application，应用程序），也可以是基于网页的应用程序。该终端可以是移动电话、平板电脑、台式电脑、笔记本电脑、智能穿戴设备等，本实施例对此不作限定。

服务器可以为应用程序提供后台服务，可以包括存储服务器和处理服务器。其中，存储服务器可以用于存储数据库，数据库中可以存储笔迹识别方法所使用的数据，例如样本图像、模拟笔迹图像、设定文本笔迹图像、用户笔迹图像字典等；处理服务器可以用于执行应用程序的相应处理，例如笔迹识别方法的相关处理。处理服务器可以与存储服务器进行数据交互。当然，存储与处理都可以由一个服务器完成，本公开实施例以由一个服务器实现为例。

下面将参照图2所示的笔迹识别方法的流程图和图3所示的模型结构示意图，对笔迹识别方法进行介绍。

步骤201，服务器获取包含目标用户笔迹的目标图像。

在一种可能的实施方式中，用户可以通过终端获取待识别的目标图像，例如，可以是通过终端拍摄手写的内容，或者，还可以是接收其他终端发送的目标图像，本实施例对此不作限定。然后，用户可以点击上传选项，进而终端可以将目标图像上传至服务器。此时，服务器可以获取到该目标图像。

步骤202，服务器根据目标图像，确定目标用户笔迹的模拟笔迹图像。

其中，模拟笔迹图像可以包括设定文本信息。例如，模拟笔迹图像可以是模拟用户书写“这是我的笔迹”的图像，“这是我的笔迹”即为设定文本。本实施例对具体的设定文本不作限定。

服务器可以根据目标图像中目标用户笔迹的信息，模拟目标用户书写设定文本的笔迹图像，也即是生成模拟笔迹图像。

可选的，服务器可以通过笔迹模拟模型实现上述步骤202的处理，相对应的处理可以如下：服务器调用训练后的笔迹模拟模型；通过笔迹模拟模型，对目标图像进行处理，得到目标用户笔迹的模拟笔迹图像。

在一种可能的实施方式中，服务器可以预先对笔迹模拟模型进行训练，并存储训练后的笔迹模拟模型，具体的训练方法将在另一个实施例中介绍，本实施例不再赘述。

当服务器执行笔迹识别的任务时，可以调用存储的笔迹模拟模型。然后，可以将目标图像作为笔迹模拟模型的输入，通过笔迹模拟模型对目标用户笔迹的信息进行学习，并根据该目标用户笔迹的信息生成模拟笔迹图像，输出该模拟笔迹图像。

示例性的，笔迹模拟模型可以基于CGAN的生成器构建。当然，笔迹模拟模型还可以基于其他模型结构构建，这些模型的共同点在于生成的图像可控，也即是可以生成包含设定文本的笔迹图像，本实施例对笔迹模拟模型的具体模型结构不作限定。

步骤203，服务器获取预先存储的每个用户的第一设定文本笔迹图像。

其中，第一设定文本笔迹图像可以包括设定文本信息。

在一种可能的实施方式中，如图4所示的设定文本笔迹图像示意图，每个用户可以书写多份设定文本，终端可以采集每个用户的设定文本笔迹图像，并上传至服务器。进而，服务器可以接收并存储每个用户的设定文本笔迹图像。也即是说，每个用户可以对应于多个设定文本笔迹图像。为了方便介绍，将服务器存储的用于计算相似度的设定文本笔迹图像，称为第一设定文本笔迹图像。

此外，服务器还可以将每个第一设定文本笔迹图像缩放为设定大小。

为了减少图像中额外信息带来的干扰，用户在书写设定文本时，可以是在规定背景条件下书写，例如，规定背景条件可以是白色背景，此时用户可以在统一的白纸上书写。或者，服务器还可以对获取到的设定文本笔迹图像进行统一背景的处理，例如，可以是对用户笔迹进行描边后，将图像背景设置为统一的设定背景。本实施例对此不作限定。

也即是说，服务器中存储的每个第一设定文本笔迹图像之间，图像大小、图像内容相同，不同点在于其中的用户笔迹。

可选的，每个用户的第一设定文本笔迹图像可以存储于用户笔迹图像字典，用户笔迹图像字典的键信息为上述第一设定文本笔迹图像，值信息为对应的用户标识。当存在一个用户对应多个第一设定文本笔迹图像时，还可以将任一第一设定文本笔迹图像作为基准图像，存储于用户笔迹图像字典中。当然，服务器中还可以采用其他的存储结构存储每个用户的第一设定文本笔迹图像以及用户标识，例如，可以是对应关系表的形式，本实施例对此不作限定。

步骤204，服务器分别确定模拟笔迹图像和每个用户的第一设定文本笔迹图像之间的相似度。

可选的，服务器可以通过图像相似度确定模型实现上述步骤204的处理，相对应的处理可以如下：服务器调用训练后的图像相似度确定模型；通过图像相似度确定模型，分别对模拟笔迹图像和每个用户的第一设定文本笔迹图像进行处理，得到模拟笔迹图像和每个用户的第一设定文本笔迹图像之间的相似度。

在一种可能的实施方式中，服务器可以预先对图像相似度确定模型进行训练，并存储训练后的图像相似度确定模型，具体的训练方法将在另一个实施例中介绍，本实施例不再赘述。

当服务器执行笔迹识别的任务时，可以调用存储的图像相似度确定模型。服务器可以将模拟笔迹图像和每个用户的第一设定文本笔迹图像两两进行配对，一对笔迹图像可以包括模拟笔迹图像和一个用户的第一设定文本笔迹图像。然后，服务器可以分别将每对笔迹图像输入图像相似度确定模型进行处理，确定每对笔迹图像之间的相似度，也即是模拟笔迹图像和每个用户的第一设定文本笔迹图像之间的相似度。该相似度的取值范围可以是[0，1]，本实施例对此不作限定。

示例性的，图像相似度确定模型可以基于MatchNet的模型结构构建。图像相似度确定模型由序列特征提取网络和相似度度量网络两部分组成，其中，序列特征提取网络由两个相同的分支组成，每个分支包括两层卷积神经网络和两层双向LSTM（Long Short-TermMemory，长短时记忆网络）网络，其每个时间步的输入是输入图像经过卷积层之后的特征按照时间步数量确定窗口，从左到右截取得到；而相似度度量网络则是由3层全连接层组成，最后一个全连接层的节点数量为2。序列特征提取网络的两个分支的输出经过拼接后输入相似度度量网络。

MatchNet在自然图像判断上取得了良好效果，但是却很难在文本图像上取得效果，主要是因为自然图像纹理、色彩丰富、清晰，而文本图像上文字密集且背景变换单一，在相似度区分这个任务上，相比于自然图像更加复杂，基于此，本公开实施例通过保证笔迹图像的图像背景和图像中的文字内容相同，仅仅保留笔迹风格不同，且字符数量较少并占整个图像较大位置，能够取得很好的效果。

当然，图像相似度确定模型还可以基于其他模型结构构建，例如Siamese网络，本实施例对图像相似度确定模型的具体模型结构不作限定。或者，还可以采用其他确定相似度的算法对相似度进行计算，例如SSIM(Structural Similarity，结构相似性)，本实施例对具体的确定相似度的算法也不作限定。

步骤205，服务器根据模拟笔迹图像和每个用户的第一设定文本笔迹图像之间的相似度，确定目标用户笔迹所属的目标用户。

具体的，上述步骤205的处理可以如下：服务器获取相似度大于设定阈值的目标笔迹图像；将目标笔迹图像对应的用户，确定为目标用户笔迹所属的目标用户。

当不存在相似度大于设定阈值的第一设定文本笔迹图像时，服务器还可以将模拟笔迹图像作为新用户的第一设定文本笔迹图像存储。

在一种可能的实施方式中，服务器可以是遍历用户笔迹图像字典中的每个第一设定文本笔迹图像进行相似度计算，则当用户笔迹字典中存在多个相似度大于设定阈值的第一设定文本笔迹图像时，可以获取相似度最大的第一设定文本笔迹图像。

当用户笔迹图像字典中不存在相似度大于设定阈值的第一设定文本笔迹图像时，服务器可以建立新用户的用户标识；将新用户的模拟笔迹图像视为第一设定文本笔迹图像，作为键信息，新用户的用户标识作为对应的值信息，更新用户笔迹图像字典。

也即是说，当模拟笔迹图像对应的用户为新用户时，服务器无法在用户笔迹图像字典中查找到相似度大于设定阈值的第一设定文本笔迹图像，则可以为该新用户构建新的用户标识，并将新用户的模拟笔迹图像作为第一设定文本笔迹图像，添加到用户笔迹字典进行存储。下一次服务器在识别该新用户的笔迹图像时，即可在用户笔迹图像字典中查找到对应的第一设定文本笔迹图像。

本公开实施例不是直接对包含目标用户笔迹的目标图像进行识别用户的处理，而是将其转换为模拟笔迹图像之后再识别，并将第一设定文本笔迹图像作为用户的基准图像。如果直接对包含目标用户笔迹的目标图像进行识别用户的处理，则无法有效识别新用户，无法实现有效扩展，为了有效识别新用户，可能需要基于新用户的数据对确定相似度的算法进行更新。因此，本公开实施例提供的笔迹识别方法通过模拟笔迹图像识别用户，在加入新用户时，不需要针对新用户更新确定相似度的算法，将新用户的模拟笔迹图像作为第一设定文本笔迹图像，添加到用户笔迹字典中即可，易于扩展新用户，鲁棒性较高。

并且，本公开实施例提供的笔迹识别方法，涉及的链路较短，能有效加速并避免累积误差，更具实用性。

本公开实施例中，服务器可以根据目标用户笔迹，模拟目标用户书写设定文本时的笔迹图像，进而根据模拟笔迹图像与预先存储的每个用户的第一设定文本笔迹图像之间的相似度，识别该目标用户。由于每个用户的第一设定文本笔迹图像的内容均为设定文本，不同点在于每个用户的笔迹风格，降低了不同的图像内容带来的干扰，且设定文本的信息量固定且有限，使得处理速度较快，因此，可以提高识别效率。

上述公开实施例中所使用的笔迹模拟模型可以是机器学习模型，在使用笔迹模拟模型进行上述处理前，可以对其进行训练。下面将通过如图5所示的笔迹模拟模型的训练方法流程图，对笔迹模拟模型的训练方法进行介绍。

步骤501，服务器构建初始的笔迹生成式模型。

其中，笔迹生成式模型可以包括笔迹生成模块和笔迹判别模块，笔迹生成模块可以用于基于输入图像模拟包含设定文本的笔迹图像，笔迹判别模块可以用于判别笔迹判别模块的输入图像为用户书写的第二设定文本笔迹图像或笔迹生成模块输出的模拟笔迹图像。与第一设定文本笔迹图像同理，第二设定文本笔迹图像也包括设定文本信息。为了方便介绍，此处将用户书写的设定文本笔迹图像称为第二设定文本笔迹图像，后文同理。

在一种可能的实施方式中，上述笔迹模拟模型可以是笔迹生成式模型的笔迹生成模块，例如CGAN的生成器。因此，服务器对笔迹生成式模型进行的训练，也即是对笔迹模拟模型进行的训练。在此基础上，服务器可以根据技术人员设置的模型结构和模型参数，对笔迹生成式模型进行构建。

步骤502，服务器获取第一训练样本。

其中，第一训练样本可以包括多个用户的包含用户笔迹的样本图像，以及上述多个用户书写的第二设定文本笔迹图像。

在一种可能的实施方式中，服务器的数据库中可以存储有每个用户的包含用户笔迹的图像（如作答图像），以及每个用户书写的第二设定文本笔迹图像。在对笔迹生成式模型进行训练之前，服务器可以获取上述包含用户笔迹的图像作为样本图像，以及第二设定文本笔迹图像，作为笔迹生成式模型的训练样本。为了方便介绍，将此处所使用的训练样本称为第一训练样本。

步骤503，服务器根据第一训练样本，对初始的笔迹生成式模型进行训练，得到训练后的笔迹生成式模型。

其中，笔迹生成模块的输入图像可以为第一训练样本中的样本图像，输出图像可以为输入图像对应的模拟笔迹图像。笔迹判别模块的输入图像可以包括正例样本图像和负例样本图像，正例样本图像可以包括第二设定文本笔迹图像和对应用户的样本图像，负例样本图像可以包括笔迹生成模块输出的模拟笔迹图像和对应用户的样本图像。

在一种可能的实施方式中，服务器可以将每个用户的样本图像作为笔迹生成模块的输入，标签为对应用户的第二设定文本笔迹图像，训练结束后，笔迹生成模块可以充分利用输入图像中的笔迹信息，基于输入的任意图像，输出包含设定文本的模拟笔迹图像。并且由于笔迹判别模块的输入图像包括输入笔迹生成模块的样本图像，使得笔迹生成模块输出的模拟笔迹图像与设定文本笔迹图像是强相关的。

示例性的，下面将以笔迹生成式模型是CGAN为例，对笔迹生成式模型的具体训练过程进行介绍。CGAN由生成器和判别器两部分组成，生成器包括8个卷积层和8个反卷积层；判别器的由5个卷积层和2个全连接层组成，用于判断输入是正例样本图像还是负例样本图像。

服务器可以将一个用户的样本图像输入生成器，通过卷积层对样本图像进行卷积处理，输出对应的图像特征，通过反卷积层对图像特征进行反卷积处理，每个反卷积层的输出与对应的特征维度大小一致的卷积层的输出逐通道逐点相加，输出当前的模拟笔迹图像。输入的样本图像的尺寸大小大于输出的模拟笔迹图像，并保持设定的比例。

进而，服务器可以将生成器输出的模拟笔迹图像与输入的样本图像串联叠加，作为负例样本图像；将上述用户对应的设定文本笔迹图像与输入的样本图像串联叠加，作为正例样本图像。由于模拟笔迹图像与样本图像的尺寸大小不同，可以将模拟笔迹图像扩充至样本图像的尺寸大小，扩充的方式可以是复制原模拟笔迹图像，本实施例对具体的扩充方式不作限定。同样，设定文本笔迹图像与样本图像的尺寸大小不同时，也可以基于上述方式进行扩充，此处不再赘述。

服务器可以将上述正例样本图像或负例样本图像输入判别器，通过卷积层进行卷积处理，再通过全连接层映射到一维空间，输出属于正例样本图像的概率或属于负例样本图像的概率。

服务器可以对每个用户的数据均执行上述处理，此处不再赘述。

对于生成器，服务器可以确定模拟笔迹图像与对应的第二设定文本笔迹图像之间的生成对抗损失和风格损失。其中，风格损失可以是指通过一个预训练的VGG（VisualGeometry Group，超分辨率测试序列）网络，然后将模拟笔迹图像和第二设定文本笔迹图像分别输入，得到两组特征映射，然后两组特征映射逐通道逐点做差，然后求和取平均，即可得到风格损失值。服务器可以根据损失确定对生成器的调整参数，并根据调整参数对生成器的模型参数进行调整。

对于判别器，服务器可以确定输出概率和标签之间的生成对抗损失，其中，正例样本图像的标签可以为1，负例样本图像的标签可以为0。服务器可以根据损失确定对判别器的调整参数，并根据调整参数对判别器的模型参数进行调整。

当达到训练结束条件时，可以获取当前的笔迹生成式模型，作为训练后的笔迹生成式模型。其中，训练结束条件可以是训练次数达到第一阈值，和/或模型正确率达到第二阈值，和/或损失函数低于第三阈值。上述第一阈值、第二阈值和第三阈值可以根据经验设置。本实施例对具体的训练结束条件不作限定。

步骤504，服务器基于训练后的笔迹生成式模型的笔迹生成模块，构建笔迹模拟模型。

在一种可能的实施方式中，服务器可以删除上述笔迹生成式模型中的笔迹判别模块，保留笔迹生成模块作为笔迹模拟模型，或者，还可以获取笔迹生成模块的模型参数，基于获取的模型参数，构建新的笔迹模拟模型。本实施例对此不作限定。

本公开实施例中，服务器可以基于包含用户笔迹的样本图像和第二设定文本笔迹图像对笔迹生成式模型进行训练，使得笔迹生成模块输出的模拟笔迹图像与第二设定文本笔迹图像强相关，进而，基于笔迹生成模块构建的笔迹模拟模型可以生成模拟笔迹图像，可以应用于上述笔迹识别方法中。

同样，上述公开实施例中所使用的图像相似度确定模型可以是机器学习模型，在使用图像相似度确定模型进行上述处理前，可以对其进行训练。下面将通过如图6所示的图像相似度确定模型的训练方法流程图，对图像相似度确定模型的训练方法进行介绍。

步骤601，服务器构建初始的图像相似度确定模型。

在一种可能的实施方式中，服务器可以根据技术人员设置的模型结构和模型参数，对图像相似度确定模型进行构建。

步骤602，服务器获取第二训练样本。

其中，第二训练样本可以包括多个正例样本和多个负例样本，正例样本可以包括一对属于同一用户书写的第二设定文本笔迹图像，负例样本可以包括一对属于不同用户书写的第二设定文本笔迹图像。

在一种可能的实施方式中，服务器可以从数据库中获取每个用户的第二设定文本笔迹图像，并随机抽取第二设定文本笔迹图像两两配对。如果一对第二设定文本笔迹图像属于同一用户，则将该对第二设定文本笔迹图像作为正例样本，标签记为1；如果一对第二设定文本笔迹图像属于不同用户，则将该对第二设定文本笔迹图像作为负例样本，标签记为0。服务器可以获取多个正例样本和多个负例样本，以及对应的标签，作为第二训练样本。

步骤603，服务器根据第二训练样本，对初始的图像相似度确定模型进行训练，得到训练后的图像相似度确定模型。

在一种可能的实施方式中，服务器可以将每对第二设定文本笔迹图像输入图像相似度确定模型进行处理，具体过程与上述步骤204的处理同理，此处不再赘述。然后，服务器可以计算预测的相似度和对应的标签之间的损失，并根据损失对初始的识图像相似度确定模型的模型参数进行调整。示例性的，当图像相似度确定模型为MatchNet时，所使用的损失函数可以是二分类交叉熵损失函数。

当达到训练结束条件时，获取当前的图像相似度确定模型，作为训练后的图像相似度确定模型。训练结束条件与上述笔迹生成式模型同理，此处不再赘述。

本公开实施例中，服务器可以基于每个用户书写的第二设定文本笔迹图像对图像相似度确定模型进行训练，使得图像相似度确定模型可以确定包含设定文本的笔迹图像之间的相似度，可以应用于上述笔迹识别方法中。

本公开实施例提供了一种笔迹识别装置，该装置用于实现上述笔迹识别方法。如图7所示的笔迹识别装置的示意性框图，笔迹识别装置700包括：获取模块701，模拟模块702，确定模块703。

获取模块701，用于获取包含目标用户笔迹的目标图像；

模拟模块702，用于根据所述目标图像，确定所述目标用户笔迹的模拟笔迹图像，所述模拟笔迹图像包括设定文本信息；

所述获取模块701，还用于获取预先存储的每个用户的第一设定文本笔迹图像，所述第一设定文本笔迹图像包括所述设定文本信息；

确定模块703，用于分别确定所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度；根据所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度，确定所述目标用户笔迹所属的目标用户。

可选的，所述确定模块703用于：

获取相似度大于设定阈值的目标笔迹图像；

将所述目标笔迹图像对应的用户，确定为所述目标用户笔迹所属的目标用户；

当不存在相似度大于设定阈值的第一设定文本笔迹图像时，将所述模拟笔迹图像作为新用户的第一设定文本笔迹图像存储。

可选的，所述每个用户的第一设定文本笔迹图像存储于用户笔迹图像字典，所述用户笔迹图像字典的键信息为所述第一设定文本笔迹图像，值信息为用户标识。

可选的，所述模拟模块702用于：

调用训练后的笔迹模拟模型；

通过所述笔迹模拟模型，对所述目标图像进行处理，得到所述目标用户笔迹的模拟笔迹图像。

可选的，如图8所示的笔迹识别装置的示意性框图，所述装置还包括第一训练模块704，所述第一训练模块704用于：

构建初始的笔迹生成式模型，所述笔迹生成式模型包括笔迹生成模块和笔迹判别模块，所述笔迹生成模块用于基于输入图像模拟包含设定文本的笔迹图像，所述笔迹判别模块用于判别所述笔迹判别模块的输入图像为用户书写的第二设定文本笔迹图像或所述笔迹生成模块输出的模拟笔迹图像；

获取第一训练样本，所述第一训练样本包括多个用户的包含用户笔迹的样本图像，以及所述多个用户书写的第二设定文本笔迹图像；

根据所述第一训练样本，对所述初始的笔迹生成式模型进行训练，得到训练后的笔迹生成式模型；

基于所述训练后的笔迹生成式模型的笔迹生成模块，构建笔迹模拟模型。

可选的，所述笔迹生成模块的输入图像为所述第一训练样本中的样本图像，输出图像为输入图像对应的模拟笔迹图像；

所述笔迹判别模块的输入图像包括正例样本图像和负例样本图像，所述正例样本图像包括所述第二设定文本笔迹图像和对应用户的样本图像，所述负例样本图像包括所述笔迹生成模块输出的模拟笔迹图像和对应用户的样本图像。

可选的，所述确定模块703用于：

调用训练后的图像相似度确定模型；

通过所述图像相似度确定模型，分别对所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像进行处理，得到所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度。

可选的，如图9所示的笔迹识别装置的示意性框图，所述装置还包括第二训练模块705，所述第二训练模块705用于：

构建初始的图像相似度确定模型；

获取第二训练样本，所述第二训练样本包括多个正例样本和多个负例样本，所述正例样本包括一对属于同一用户书写的第二设定文本笔迹图像，所述负例样本包括一对属于不同用户书写的第二设定文本笔迹图像；

根据所述第二训练样本，对所述初始的图像相似度确定模型进行训练，得到训练后的图像相似度确定模型。

本公开实施例中，可以根据目标用户笔迹，模拟目标用户书写设定文本时的笔迹图像，进而根据模拟笔迹图像与预先存储的每个用户的第一设定文本笔迹图像之间的相似度，识别该目标用户。由于每个用户的第一设定文本笔迹图像的内容均为设定文本，不同点在于每个用户的笔迹风格，降低了不同的图像内容带来的干扰，且设定文本的信息量固定且有限，使得处理速度较快，因此，可以提高识别效率。

本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。

本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

参考图10，现将描述可以作为本公开的服务器或客户端的电子设备1000的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，电子设备1000包括计算单元1001，其可以根据存储在只读存储器（ROM）1002中的计算机程序或者从存储单元1008加载到随机访问存储器（RAM）1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出（I/O）接口1005也连接至总线1004。

电子设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006、输出单元1007、存储单元1008以及通信单元1009。输入单元1006可以是能向电子设备1000输入信息的任何类型的设备，输入单元1006可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元1007可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1004可以包括但不限于磁盘、光盘。通信单元1009允许电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理。例如，在一些实施例中，笔迹识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到电子设备1000上。在一些实施例中，计算单元1001可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行笔迹识别方法。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

Claims (10)

1.一种笔迹识别方法，其特征在于，所述方法包括：

获取包含目标用户笔迹的目标图像，所述目标图像基于拍摄得到；

调用训练后的笔迹模拟模型；

通过所述笔迹模拟模型，对所述目标图像进行处理，得到所述目标用户笔迹的模拟笔迹图像，所述模拟笔迹图像包括设定文本信息；

获取预先存储的每个用户的第一设定文本笔迹图像，所述第一设定文本笔迹图像包括所述设定文本信息；

通过训练后的图像相似度确定模型，分别确定所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度；

根据所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度，确定所述目标用户笔迹所属的目标用户。

2.根据权利要求1所述的笔迹识别方法，其特征在于，所述根据所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度，确定所述目标用户笔迹所属的目标用户，包括：

获取相似度大于设定阈值的目标笔迹图像；

将所述目标笔迹图像对应的用户，确定为所述目标用户笔迹所属的目标用户；

所述方法还包括：

当不存在相似度大于设定阈值的第一设定文本笔迹图像时，将所述模拟笔迹图像作为新用户的第一设定文本笔迹图像存储。

3.根据权利要求1所述的笔迹识别方法，其特征在于，所述每个用户的第一设定文本笔迹图像存储于用户笔迹图像字典，所述用户笔迹图像字典的键信息为所述第一设定文本笔迹图像，值信息为对应的用户标识。

4.根据权利要求1所述的笔迹识别方法，其特征在于，所述笔迹模拟模型的训练方法包括：

构建初始的笔迹生成式模型，所述笔迹生成式模型包括笔迹生成模块和笔迹判别模块，所述笔迹生成模块用于基于输入图像模拟包含设定文本的笔迹图像，所述笔迹判别模块用于判别所述笔迹判别模块的输入图像为用户书写的第二设定文本笔迹图像或所述笔迹生成模块输出的模拟笔迹图像；

获取第一训练样本，所述第一训练样本包括多个用户的包含用户笔迹的样本图像，以及所述多个用户书写的第二设定文本笔迹图像；

根据所述第一训练样本，对所述初始的笔迹生成式模型进行训练，得到训练后的笔迹生成式模型；

基于所述训练后的笔迹生成式模型的笔迹生成模块，构建笔迹模拟模型。

5.根据权利要求4所述的笔迹识别方法，其特征在于，所述笔迹生成模块的输入图像为所述第一训练样本中的样本图像，输出图像为输入图像对应的模拟笔迹图像；

所述笔迹判别模块的输入图像包括正例样本图像和负例样本图像，所述正例样本图像包括所述第二设定文本笔迹图像和对应用户的样本图像，所述负例样本图像包括所述笔迹生成模块输出的模拟笔迹图像和对应用户的样本图像。

6.根据权利要求1所述的笔迹识别方法，其特征在于，所述通过训练后的图像相似度确定模型，分别确定所述模拟笔迹图像和所述每个用户的设定文本笔迹图像之间的相似度，包括：

调用训练后的图像相似度确定模型；

通过所述图像相似度确定模型，分别对所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像进行处理，得到所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度。

7.根据权利要求6所述的笔迹识别方法，其特征在于，所述图像相似度确定模型的训练方法包括：

构建初始的图像相似度确定模型；

获取第二训练样本，所述第二训练样本包括多个正例样本和多个负例样本，所述正例样本包括一对属于同一用户书写的第二设定文本笔迹图像，所述负例样本包括一对属于不同用户书写的第二设定文本笔迹图像；

根据所述第二训练样本，对所述初始的图像相似度确定模型进行训练，得到训练后的图像相似度确定模型。

8.一种笔迹识别装置，其特征在于，所述装置包括：

获取模块，用于获取包含目标用户笔迹的目标图像，所述目标图像基于拍摄得到；

模拟模块，用于调用训练后的笔迹模拟模型；通过所述笔迹模拟模型，对所述目标图像进行处理，得到所述目标用户笔迹的模拟笔迹图像，所述模拟笔迹图像包括设定文本信息；

所述获取模块，还用于获取预先存储的每个用户的第一设定文本笔迹图像，所述第一设定文本笔迹图像包括所述设定文本信息；

确定模块，用于通过训练后的图像相似度确定模型，分别确定所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度；根据所述模拟笔迹图像和所述每个用户的第一设定文本笔迹图像之间的相似度，确定所述目标用户笔迹所属的目标用户。

9.一种电子设备，包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-7中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。

Images