CN115063813B - 针对文字失真的对齐模型的训练方法及训练装置 - Google Patents

Abstract

本公开描述一种针对文字失真的对齐模型的训练方法及训练装置，该训练方法包括获取多个原始文档并对对应的原始图像进行几何变换和基于文字骨架的位置对齐以获取标签图像；分别将原始图像、失真图像和标签图像中的文字区域对应的图像块作为第一图像集、第二图像集和第三图像集；获取对齐模型对第一图像集和第二图像集进行预测获得的预测集，并基于预测集确定预测对齐图像块；基于预测对齐图像块和第三图像集中图像块确定第一损失函数，基于预测对齐图像块的文字骨架和第二图像集中图像块的文字骨架确定第二损失函数；并且基于第一损失函数和第二损失函数训练对齐模型，以获得训练后的对齐模型。由此，能够提高对齐精度和准确度。

Description

针对文字失真的对齐模型的训练方法及训练装置

技术领域

本公开大体涉及文档处理领域，具体涉及一种针对文字失真的对齐模型的训练方法及训练装置。

背景技术

近年来深度学习方法在文档图像分析与处理领域具有广泛的应用。在对基于深度学习的文档图像分析模型进行训练时，常常需要采集相应的标注数据作为金标准供文档图像分析模型进行学习。

目前，在对文档图像分析模型进行训练时面临着巨大的困难，其中，较明显的是训练数据的标注难度大并且成本高。具体地，在对训练数据的进行标注时，常常需要对训练数据中的相关联的图像进行对齐(例如，需要对原始文档对应的原始图像与失真图像进行位置对齐)，进而导致数据标注的成本和难度极大地增加。为了解决训练数据标注成本高的问题，现有的主流方法：通过基于图像失真模型理论，从原始图像出发去生成对应的失真图像，进而来寻找能够与失真图像对齐的原始图像；对失真图像的几何失真进行估计以及利用失真图像的特征点来进行原始图像与失真图像之间的对齐从而实现对真实环境采集到的训练数据的标注。

然而，在上述主流方法的方案中，却未考虑失真图像中文字级别的失真(例如文字的边缘模糊和/或扩散的失真)。因此，对齐精度和准确度还有待于提高。

发明内容

本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够提高对齐精度和准确度的针对文字失真的对齐模型的训练方法及训练装置。

为此，本公开第一方面提供一种针对文字失真的对齐模型的训练方法，所述对齐模型是用于将原始文档对应的无失真的原始图像与有失真的失真图像进行位置对齐的深度神经网络，所述训练方法包括：获取多个原始文档，并对所述多个原始文档中的各个原始文档的原始图像进行几何变换和基于文字骨架的位置对齐以获取标签图像，所述标签图像为对齐后的原始图像；分别将所述多个原始文档对应的原始图像、失真图像和标签图像中的文字区域对应的图像块作为第一图像集、第二图像集和第三图像集；获取所述对齐模型针对所述第一图像集和所述第二图像集进行预测而获得的预测集，所述预测集包括与所述第一图像集中的图像块对应的预测结果，并基于所述预测集中的预测结果确定所述第一图像集中的图像块对应的预测对齐图像块；基于所述第一图像集中的图像块对应的预测对齐图像块和所述第三图像集中对应的图像块确定第一损失函数，基于所述第一图像集中的图像块对应的预测对齐图像块的文字骨架和所述第二图像集中对应的图像块的文字骨架确定第二损失函数；并且基于所述第一损失函数和所述第二损失函数训练所述对齐模型，以获得训练后的所述对齐模型。在这种情况下，通过第一损失函数能够使预测对齐图像块越来越接近金标准，并且通过第二损失函数能够降低预测对齐图像块偏离失真图像块中文字形态的风险，还能够降低金标准中可能存在的误差的影响，以实现预测对齐图像块与标签图像块在位置上对齐并且文字形态上更接近失真图像块，能够适配失真图像中文字级别的失真的对齐，进而能够提高对齐精度和准确度。

另外，在本公开第一方面所涉及的训练方法中，可选地，在所述几何变换中，基于各个原始文档的原始图像和失真图像中的文字区域对应的图像块获取几何变化参数，利用所述几何变换参数对各个原始文档的原始图像进行变换以使变换后的原始图像与失真图像之间的文字形状对齐。在这种情况下，基于文字区域进行几何变换，能够降低原始图像和/或失真图像中的除文字以外的其他内容的干扰。

另外，在本公开第一方面所涉及的训练方法中，可选地，在所述位置对齐中，针对各个原始文档，将所述几何变换后的原始图像的文字骨架作为第一骨架，将失真图像的文字骨架作为第二骨架，基于所述第一骨架和所述第二骨架之间的重叠程度确定所述几何变换后的原始图像中的预设位置在失真图像中的对齐位置，基于所述对齐位置将所述几何变换后的原始图像与失真图像的位置进行对齐。在这种情况下，文字骨架能够降低文字失真对对齐结果的负面影响，以兼容有些失真后的文字容易往外扩散或由于失真导致的边缘模糊的情况，进而能够得到更准确的对齐位置。

另外，在本公开第一方面所涉及的训练方法中，可选地，将所述第三图像集中的各个图像块作为标签图像块，基于所述标签图像块与所述标签图像块对应的预测对齐图像块之间的相似度确定所述第一损失函数；和/或将所述第二图像集中的各个图像块作为失真图像块，基于所述失真图像块的文字骨架与所述失真图像块对应的预测对齐图像块的文字骨架之间的重合程度确定所述第二损失函数。在这种情况下，通过第一损失函数能够使预测对齐图像块越来越接近金标准。另外，通过第二损失函数能够降低预测对齐图像块偏离失真图像块中文字形态的风险，还能够降低金标准中可能存在的误差的影响，以实现预测对齐图像块与原始图像块在位置上对齐并且文字形态上更接近失真图像块。

另外，在本公开第一方面所涉及的训练方法中，可选地，所述图像块的尺寸大小一致，所述图像块中的文字的数量不小于1。

另外，在本公开第一方面所涉及的训练方法中，可选地，所述图像块的划分粒度包括单个字、多个字、单行文字和多行文字中的至少一种。在这种情况下，能够根据需求获得相应的划分粒度的图像块。

另外，在本公开第一方面所涉及的训练方法中，可选地，所述失真图像包括合法图像和翻拍图像中的至少一种，所述合法图像为由第一采集设备对所述原始图像进行采集获得的图像，所述翻拍图像为将所述合法图像打印至实物载体上得到打印图像，再由第二采集设备对所述打印图像进行采集获得的图像。

另外，在本公开第一方面所涉及的训练方法中，可选地，所述对齐模型的输入为所述第一图像集与所述第二图像集中位置匹配的每对图像块在通道维度上叠加的结果，所述对齐模型的输出为所述预测结果，所述预测结果为预测位移数据，所述预测位移数据用于对所述第一图像集的图像块中的像素点进行移动以确定所述第一图像集中的图像块对应的预测对齐图像块。在这种情况下，在已知第一图像集中的图像块和预测位移数据的情况下，能够基于预测位移数据确定预测对齐图像块。

另外，在本公开第一方面所涉及的训练方法中，可选地，所述预测位移数据包括分别位于两个通道的第一位移图像和第二位移图像，所述第一位移图像中的各个位置的像素值表示用于对所述第一图像集的图像块的对应位置的像素点进行水平移动的水平参数，所述第二位移图像的各个位置的像素值表示用于对所述第一图像集的图像块的对应位置的像素点进行垂直移动的垂直参数。

本公开第二方面提供一种针对文字失真的对齐模型的训练装置，包括存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时执行本公开第一方面所涉及的训练方法。

根据本公开，提供一种能够提高对齐精度和准确度的针对文字失真的对齐模型的训练方法及训练装置。

附图说明

现在将仅通过参考附图的例子进一步详细地解释本公开，其中：

图1是示出了本公开示例所涉及的对齐环境的示例性的示意图。

图2是示出了本公开示例所涉及的对齐模型的训练方法的示例性的流程图。

图3是示出了本公开示例所涉及的文字骨架的示意图。

图4是示出了本公开示例所涉及的获取标签图像的示例性的流程图。

图5是示出了本公开示例所涉及的几何变换的示例性的流程图。

图6是示出了图2中的步骤S104的示例性的流程图。

图7是示出了本公开示例所涉及的基于UNet的对齐模型的示例性的框图。

图8是示出了本公开示例所涉及的使用训练后的对齐模型的示例性的流程图。

图9是示出了本公开示例所涉及的训练后的对齐模型生成的对齐后的图像块的示意图。

具体实施方式

以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行，除非在此另有指示或者与上下文明显矛盾。

本公开中，原始图像和失真图像之间的位置对齐，可以是原始图像向失真图像对齐，也可以是失真图像向原始图像对齐。优选地，原始图像和失真图像之间的位置对齐可以是原始图像向失真图像对齐。在这种情况下，由于原始图像比较清晰，在对原始图像进行调整以向失真图像对齐过程中能够降低引入新的失真的风险。

本公开示例涉及的针对文字失真的对齐模型的训练方法，有时也可以简称为训练方法或模型训练方法等。本公开涉及的训练方法能够方便地将原始图像与失真图像进行位置对齐，且能够适配失真图像中文字级别的失真(例如文字的边缘模糊和/或扩散)的对齐，进而能够提高对齐精度和准确度。本公开涉及的训练方法可以适用于任何对原始图像与失真图像进行位置对齐的应用场景。

需要说明的是，本公开示例涉及的训练方法以原始图像向失真图像对齐为例进行描述，并不表示对本公开的限制，也可以进行调整以用于失真图像向原始图像对齐。

另外，原始图像可以是与原始文档对应的无失真的图像。在一些示例中，原始图像可以是由软件生成。由此，能够方便地获取原始图像。在另一些示例中，原始图像也可以是来源实际应用场景且经由脱敏处理的原始文档对应的图像。例如，原始文档可以是纸质文档、ID卡或***。另外，失真可以是任何相对原始图像的差异。例如，失真的类型可以包括纸张破损失真、纸张折叠失真、光学失真和采集设备的下采样失真等。

另外，失真图像可以是与原始文档对应的有失真的图像。在一些示例中，失真图像可以包括合法图像和翻拍图像中的至少一种。合法图像可以为由第一采集设备对原始图像进行采集获得的图像。翻拍图像可以为将合法图像打印至实物载体上得到打印图像，再由第二采集设备对打印图像进行采集获得的图像。由此可见，失真图像相对于原始图像，会存在一定程度的失真。特别地，在打印步骤中，将图像数据无损地打印到纸张上一般较难，有时候纸张的质量也会影响打印质量，进而使图像失真或者图像退化。在实际对齐的场景中，除了需要考虑采集过程带来的下采样失真，还需要考虑采集过程(例如打印过程)造成的文字的边缘模糊和/或扩散的失真对失真图像与原始图像的对齐结果的影响。

在一些示例中，生成一张失真图像的过程涉及的采集设备可以不同。例如，第一采集设备和第二采集设备的型号可以不同。在这种情况下，能够使失真图像的获得过程更贴近真实的失真场景。由此，能够提高训练数据的质量。

另外，采集设备(例如第一采集设备和/或第二采集设备)可以用于打印、拍摄或扫描相应的文档或图像。由此，能够通过采集设备获取失真图像。在一些示例中，采集设备可以包括手机、数码相机、摄像机和扫描仪中的至少一种。

图1是示出了本公开示例所涉及的对齐环境的示例性的示意图。在一些示例中，本公开示例涉及的训练后的对齐模型20可以应用于如图1所示的对齐环境中。在对齐环境中，文档分析模型10的训练数据中原始图像和失真图像可以由对齐模型20进行位置对齐。具体地，对齐模型20可以接收各个原始文档对应的原始图像和失真图像并输出对齐后的原始图像。也即，对齐模型20可以用于将原始图像与失真图像进行位置对齐。在利用由对齐模型20获得的对齐后的原始图像以及失真图像对文档分析模型10进行训练后，训练后的文档分析模型10可以接收待分析的文档图像(也即失真图像和/或原始图像)并进行分析以获取分析结果。另外，文档分析模型10可以是任何基于机器学习且需要基于相互对齐的失真图像和原始图像进行训练以实现相应目的模型。例如，文档分析模型10可以是翻拍检测网络或图像内容检测网络。

在对对齐模型20的训练阶段中，可以提取图像中的文字区域的部分，针对该部分对原始图像进行处理以获得对齐后的原始图像(也即，标签图像)，将对齐后的原始图像作为对齐模型20训练的一部分监督信息，同时加入失真图像的文字骨架作为另外一部分训练的监督信息。在训练时，可以将原始图像和失真图像的文字区域的部分进行分块，并输入到对齐模型20中进行训练。另外，在测试阶段或模型应用阶段，可以将失真图像和待对齐的原始图像裁剪成对齐模型20的输入的尺寸大小，输入到对齐模型20中以得到对齐结果。

图2是示出了本公开示例所涉及的对齐模型20的训练方法的示例性的流程图。图3是示出了本公开示例所涉及的文字骨架的示意图。

在一些示例中，如图2所示，训练方法可以包括获取样本集(步骤S102)、利用样本集和对齐模型20确定第一图像集中的图像块对应的预测对齐图像块(步骤S104)、基于预测对齐图像块确定多个损失函数(步骤S106)、基于多个损失函数对对齐模型20进行训练以获得训练后的对齐模型20(步骤S108)。

参考图2，本实施方式，在步骤S102中，可以获取样本集。样本集可以用于训练对齐模型20(稍后描述)。样本集可以由多个原始文档确定。具体地，可以获取多个原始文档对应的原始图像、失真图像和标签图像，并基于多个原始文档对应的原始图像、失真图像和标签图像确定样本集。

在一些示例中，样本集可以包括第一图像集、第二图像集和第三图像集。在一些示例中，第一图像集可以来源原始图像，第二图像集可以来源失真图像，第三图像集可以来源标签图像。具体地，可以分别将多个原始文档对应的原始图像、失真图像和标签图像中的文字区域对应的图像块作为第一图像集、第二图像集和第三图像集。也即，可以将多个原始文档对应的原始图像的文字区域对应的图像块作为第一图像集，将多个原始文档对应的失真图像的文字区域对应的图像块作为第二图像集，将多个原始文档对应的标签图像的文字区域对应的图像块作为第三图像集。

在一些示例中，在获取原始图像的文字区域对应的图像块中，可以利用OCR(Optical Character Recognition，光学字符识别)技术获取原始图像中的文字区域，并基于该文字区域中的图像数据获取图像块。在一些示例中，可以对文字区域中的图像数据进行分块以获取图像块。在这种情况下，能够在保留原始图像的尺寸大小下，获得符合对齐模型20尺寸要求的样本集。

在一些示例中，图像块的尺寸大小可以一致。由此，能够更有利于对齐模型20的训练。在一些示例中，上述图像块的尺寸大小可以由图像块中的文字的数量确定。在一些示例中，图像块中的文字的数量可以不小于1。由此，能够使图像块中均包括文字。

在一些示例中，图像块的划分粒度可以包括单个字、多个字、单行文字和多行文字中的至少一种。具体地，可以按图像块的划分粒度对文字区域中的图像数据进行分块以获取图像块。在这种情况下，能够根据需求获得相应的划分粒度的图像块。优选地，图像块的划分粒度可以为单个字。在这种情况下，对齐的粒度精确到每个字，进而能够进一步提高对齐精度和准确度。

在另一些示例中，图像块的划分粒度也可以是原始图像的第一预设比例(例如，第一预设比例可以为1/3、1/5、1/7或1/10等)。在另一些示例中，图像块的划分粒度也可以是单行文字的第二预设比例(例如，第二预设比例可以为1/2、1/4、1/5或1/10等)。

需要说明的是，获取失真图像和标签图像的文字区域对应的图像块与原始图像的方式类似，不再赘述。

如上所述，第三图像集可以来源标签图像。标签图像可以为对齐后的原始图像。也即，标签图像可以是针对各个原始文档的原始图像向失真图像对齐后的图像。标签图像也可以称为金标准。在一些示例中，可以利用图像处理方法获取标签图像。在另外一些示例中，可以利用人工方式获取标签图像。

在一些示例中，在图像处理方法中，可以基于文字骨架的位置对齐获取标签图像。具体地，可以对各个原始文档的原始图像进行几何变换和基于文字骨架的位置对齐以获取标签图像。也即，可以通过对原始图像进行调整以获取标签图像。需要说明的是，若失真图像相对原始图像不存在几何变形，几何变换也可以不是必须的。

另外，文字骨架可以为文字的中线。在一些示例中，文字骨架的宽度可以为一个像素，并保持文字形状的基本拓扑结构不变。在一些示例中，可以采用形态学细化算法对待细化图像(例如，几何变换后的原始图像和失真图像)中的文字区域对应的图像块进行细化以提取文字骨架。在一些示例中，形态学细化算法可以包括但不限于Hilditch细化算法、Pavlidis细化算法或Rosenfeld细化算法等。在一些示例中，可以对文字骨架进行拟合以获取更光滑的文字骨架。作为文字骨架的示例，例如，图3示出了字母“q”对应的图像块P10的文字骨架P11。

在一些示例中，在位置对齐之前，还可以对各个原始文档的原始图像和失真图像之间进行尺寸统一。由此，能够使位置对齐更准确。优选地，位置对齐之前可以为几何变换之前。具体地，在几何变换之前，可以对失真图像与原始图像之间计算全局的对齐参数(例如，缩放尺寸)，基于该对齐参数对失真图像或原始图像进行调整以实现失真图像与原始图像之间的尺寸统一。

本公开的示例还提供一种获取标签图像的方法。图4是示出了本公开示例所涉及的获取标签图像的示例性的流程图。图5是示出了本公开示例所涉及的几何变换的示例性的流程图。

在一些示例中，参考图4，获取标签图像可以包括步骤S202。在步骤S202中，可以对各个原始文档的原始图像进行几何变换以获取变换图像(也即几何变换后的原始图像)。

在一些示例中，在几何变换中，可以基于各个原始文档的原始图像和失真图像中的文字区域对应的图像块获取几何变化参数，利用几何变换参数对各个原始文档的原始图像进行变换以使变换后的原始图像与失真图像之间的文字形状对齐。在这种情况下，基于文字区域进行几何变换，能够降低原始图像和/或失真图像中的除文字以外的其他内容的干扰。另外，文字形状对齐可以为变换后的原始图像和失真图像之间的文字相对同一个参考方向在形状上大体一致。在一些示例中，可以通过透射变化获取几何变换参数。

在一些示例中，可以将原始图像和失真图像中文字区域对应的图像块分别作为一个整体以获取一组几何变换参数。也即，可以将一张图像(即原始图像或失真图像)中的所有文字作为一个整体以获取一组几何变换参数。在另一些示例中，可以基于原始图像和失真图像中的文字区域中位置匹配的每对图像块获取一组几何变换参数。也即，可以获取分别与多对图像块对应的多组几何变换参数。在一些示例中，每对图像块与每组几何变换参数可以一一对应。

以多组几何变换参数为例，参考图5，几何变换的流程可以包括：

步骤S302：利用OCR技术分别获取原始图像和失真图像中的文字区域的图像块作为第一图像集和第二图像集。其中，原始图像对应的图像块可以为第一图像集，失真图像对应的图像块可以为第二图像集。

步骤S304：遍历第二图像集的图像块，利用图像配准方法从第一图像集中获取与第二图像集的图像块相匹配的图像块，以获取多对图像块。

步骤S306：在每对图像块中，获取第一图像集对应的图像块中包含文字区域的最小矩形坐标作为第一坐标，获取第二图像集对应的图像块中包含文字区域的最小矩形坐标作为第二坐标。

步骤S308：基于第一坐标和第二坐标获取透视变换矩阵。其中，第一坐标可以表示变换前的坐标，第二坐标可以表示变换后的坐标。

步骤S310：利用透视变换矩阵对第一图像集中的图像块进行透视变换以获取几何变换后的图像块，进而获得几何变换后的原始图像。也即，可以通过对原始图像中文字区域对应的图像块进行透视变换以获取几何变换后的原始图像。

返回参考图4，获取标签图像还可以包括步骤S204。在步骤S204中，可以基于文字骨架将变换图像与失真图像的位置进行对齐以获取标签图像。在这种情况下，文字骨架能够降低文字失真对对齐结果的负面影响，以兼容有些失真后的文字容易往外扩散或由于失真导致的边缘模糊的情况，进而能够得到更准确的对齐位置。

在一些示例中，可以分别提取变换图像和失真图像的文字骨架进行图像匹配得到对齐位置，并基于对齐位置将变换图像与失真图像的位置进行对齐。具体地，针对各个原始文档，可以将变换图像的文字骨架作为第一骨架，将失真图像的文字骨架作为第二骨架，基于第一骨架和第二骨架之间的重叠程度确定变换图像中的预设位置在该失真图像中的对齐位置，基于对齐位置将变换图像与该失真图像的位置进行对齐。

例如，可以确定变换图像中的预设位置，在失真图像中寻找一个位置，该位置使得变换图像中的预设位置的像素点移动到该位置，并且除预设位置以外的其他像素点也同步平移后，变换图像中的文字骨架与失真图像中的文字骨架的重叠程度最高，该位置可以作为对齐位置。

在一些示例中，可以通过计算第一骨架和第二骨架之间的归一化相关系数以获取重叠程度最高的位置作为对齐位置。

在一些示例中，基于预设位置和上述的对齐位置可以确定偏移量。例如，若预设位置的坐标为变换图像的左上角的坐标，则偏移量可以为对齐位置的坐标。在一些示例中，基于偏移量可以将变换图像与失真图像的位置进行对齐。例如，可以基于偏移量通过移动变换图像或失真图像以使变换图像与失真图像的位置对齐。

另外，预设位置可以是原始图像中的任意像素点的位置。在一些示例中，预设位置可以为文字骨架对应区域的四个角点或中心点的位置。

在一些示例中，用于位置对齐的文字骨架可以是整张图像的文字骨架。在另一些示例中，用于位置对齐的文字骨架可以是图像中的文字区域中各个图像块的文字骨架。

图6是示出了图2中的步骤S104的示例性的流程图。

返回参考图2，本实施方式，在步骤S104中，可以利用样本集和对齐模型20确定第一图像集中的图像块对应的预测对齐图像块。

在一些示例中，参考图6，步骤S104可以包括利用对齐模型20对样本集进行预测以获取预测集(步骤S402)。具体地，预测集可以是对齐模型20针对第一图像集和第二图像集进行预测而获得。

在一些示例中，可以将第一图像集与第二图像集中位置匹配的每对图像块进行叠加并将叠加后的结果作为对齐模型20的输入以获取预测集。预测集可以包括多个预测结果。各个预测结果可以与每对图像块一一对应。也即，对齐模型20的输出可以为每对图像块对应的预测结果。具体地，可以遍历第一图像集与第二图像集对应的多对图像块，将每对图像块中的两个图像块进行叠加后输入对齐模型20以获取每对图像块对应的预测结果，进而基于多个预测结果获取预测集。

在一些示例中，每对图像块可以在通道维度上叠加。以RGB空间的图像块为例，每个图像块可以具有三个颜色通道(也即，R通道、G通道和B通道)，在每对图像块中的两个图像块在通道维度上叠加后，叠加后的结果可以具有六个颜色通道。例如，对于RGB空间的图像块，叠加后的结果的尺寸大小可以为：图像块的高×图像块的宽×6。

另外，位置匹配的每对图像块可以表示每对图像块中的两个图像块可以对应原始文档中的相同位置。在一些示例中，可以通过图像配准方法获取第一图像集与第二图像集中位置匹配的每对图像块。

在一些示例中，参考图6，步骤S104还可以包括基于预测集中的预测结果确定第一图像集中的图像块对应的预测对齐图像块(步骤S404)。预测对齐图像块可以为第一图像集中的图像块对应的预测的位置对齐后的图像块。

如上所述，各个预测结果可以与每对图像块一一对应。每对图像块可以与第一图像集和第二图像集中的图像块分别一一对应。因此，第一图像集中的图像块可以具有对应的预测结果。也即，预测集可以包括与第一图像集中的图像块对应的预测结果。

在一些示例中，预测结果可以为预测对齐图像块。也即，对齐模型20的输出可以是预测对齐图像块。由此，能够直接基于预测结果获得预测对齐图像块。

在一些示例中，预测结果可以为预测位移数据。预测位移数据可以表示第一图像集中的图像块与对应的预测对齐图像块之间的各个像素点的偏移。在这种情况下，在已知第一图像集中的图像块和预测位移数据的情况下，能够基于预测位移数据确定预测对齐图像块。

在一些示例中，对于每对图像块，预测位移数据可以用于对第一图像集的图像块中的像素点进行移动以确定第一图像集的图像块对应的预测对齐图像块。也即，预测位移数据可以作用于原始图像块(也即，第一图像集的图像块)以获得对应的预测对齐图像块。

在一些示例中，预测位移数据包括分别位于两个通道的第一位移图像和第二位移图像。也即，预测位移数据可以具有两个通道，每个通道具有对应的位移数据。位移数据的尺寸大小可以与图像块的尺寸大小一致。例如，对于具有两个通道的预测位移数据的尺寸大小可以为：图像块的高×图像块的宽×2。

在一些示例中，第一位移图像的各个位置的像素值可以表示用于对第一图像集的图像块的对应位置的像素点进行水平移动的水平参数，第二位移图像的各个位置的像素值可以表示用于对第一图像集的图像块的对应位置的像素点进行垂直移动的垂直参数。也即，在每对图像块中，第一位移图像和第二位移图像可以分别用于在水平方向和垂直方向移动属于第一图像集中的图像块的像素点以获得预测对齐图像块。

返回参考图2，本实施方式，在步骤S106中，可以基于预测对齐图像块确定多个损失函数。在一些示例中，多个损失函数可以包括第一损失函数和第二损失函数。在这种情况下，综合考虑了多个损失，能够从不多维度约束预测结果，进而能够提高对齐结果的准确率。

在一些示例中，可以基于第一图像集中的图像块对应的预测对齐图像块和第三图像集中对应的图像块确定第一损失函数。在一些示例中，第一损失函数可以表示预测对齐图像块与第三图像集中对应的图像块之间的差异程度。也即，第一损失函数可以表示预测对齐图像块相对金标准(也即，第三图像集中的图像块)的损失。在这种情况下，通过第一损失函数不断地约束对齐模型20的预测结果，能够使基于预测结果获得的预测对齐图像块越来越接近金标准。

在一些示例中，可以利用相似度表示第一损失函数对应的差异程度。具体地，可以将第三图像集中的各个图像块作为标签图像块，基于标签图像块与该标签图像块对应的预测对齐图像块之间的相似度确定第一损失函数。由此，能够获得预测对齐图像块相对金标准的损失。

在一些示例中，可以基于第一图像集中的图像块对应的预测对齐图像块的文字骨架和第二图像集中对应的图像块的文字骨架确定第二损失函数。在一些示例中，第二损失函数可以表示预测对齐图像块的文字骨架与第三图像集中对应的图像块的文字骨架之间的差异程度。也即，第二损失函数可以表示预测对齐图像块的文字骨架相对失真图像块(也即，第二图像集中的图像块)的文字骨架的损失。在这种情况下，通过第二损失函数能够约束对齐模型20以使预测对齐图像块的文字骨架与失真图像块的文字骨架相匹配，进而降低预测对齐图像块偏离失真图像块中文字形态的风险，还能够降低金标准中可能存在的误差(例如，变形或失真)的影响，以实现预测对齐图像块与标签图像块在位置上对齐并且文字形态上更接近失真图像块，进而提高对齐结果的准确率。

在一些示例中，可以利用重合程度表示第二损失函数对应的差异程度。具体地，可以将第二图像集中的各个图像块作为失真图像块，基于该失真图像块的文字骨架与该失真图像块对应的预测对齐图像块的文字骨架之间的重合程度确定第二损失函数。由此，能够基于重合程度确定第二损失函数。

返回参考图2，本实施方式，在步骤S108中，可以基于多个损失函数对对齐模型20进行训练以获得训练后的对齐模型20。在这种情况下，通过训练对齐模型20使训练后的对齐模型20能够基于监督信息泛化至对更多种类的原始图像与失真图像之间的位置对齐，进而能够获得鲁棒性更高的对齐结果。

在一些示例中，可以利用上述的多个损失函数对对齐模型20进行训练直至符合停止训练条件，以获得训练后的对齐模型20。例如，停止训练条件可以为对齐模型20对应的总损失没有下降或训练的轮次达到预设次数。另外，总损失可以为一轮训练中，多个损失函数对应的损失之和。多个损失函数可以包括上述的第一损失函数和第二损失函数。

本公开示例涉及的对齐模型20可以是任何对原始图像与失真图像进行位置对齐的深度神经网络。在一些示例中，对齐模型20可以是基于深度学习的卷积神经网络。优选地，对齐模型20可以是基于U-Net网络。也即，对齐模型20的网络结构可以基于U-Net网络的网络结构。在一些示例中，基于U-Net网络的对齐模型20可以包括编码器和解码器。编码器的输入为可以第一图像集与第二图像集中位置匹配的每对图像块在通道维度上叠加的结果。解码器的输出可以为预测结果。

为此，本公开的示例还提供一种基于U-Net网络的对齐模型20。图7是示出了本公开示例所涉及的基于UNet的对齐模型30的示例性的框图。参考图7，对齐模型20被实现为基于UNet的对齐模型30，并不表示对本公开示例的限制。另外，令原始图像块和失真图像块表示每对图像块中的两个图像块，其中，原始图像块表示第一图像集中的图像块，失真图像块表示第二图像集中的图像块。

继续参考图7，对齐模型30的编码器可以包括多个下采样块，对齐模型30的解码器可以包括多个上采样块。下采样块可以包括卷积层、修正线性单元层、残差模块和下采样层。上采样块可以包括上采样层、卷积层、修正线性单元层和残差模块。

继续参考图7，第一个下采样块的卷积层可以接收原始图像块和失真图像块在通道维度上叠加后的结果。各个下采样块的下采样层的输出可以是下一个下采样块的卷积层的输入。最后一个下采样块的下采样层的输出可以经由卷积层、修正线性单元层和残差模块后作为与第一个上采样块的上采样层的输入。

另外，对应的下采样块和上采样块之间可以通过跳跃连接层连接。具体地，可以通过跳跃连接层将上采样块的残差模块的输出和对应的上采样模块的前一个上采样块的残差模块的输出进行组合，将组合后的两个输出作为该对应的上采样模块的卷积层的输入。由此，能够组合来自深层的图像特征和来自浅层的图像特征。

继续参考图7，最后一个上采样块的残差模块的输出可以经由卷积层后输出预测结果。

本公开还提供一种针对文字失真的对齐模型20的训练装置，该训练装置可以包括存储器和处理器。存储器用于非暂时性存储计算机可读指令。处理器用于运行计算机可读指令，计算机可读指令被处理器运行时执行本公开任一示例提供的训练方法的一个或多个步骤。需要说明的是，关于训练装置执行模型训练的过程的详细说明可以参考训练方法的示例中的相关描述，此处不再赘述。

本公开还涉及电子设备，电子设备可以包括至少一个处理电路。至少一个处理电路被配置为执行上述的训练方法中的一个或多个步骤。

本公开还涉及计算机可读存储介质，该计算机可读存储介质可以存储有至少一个指令，至少一个指令被处理器执行时实现上述的训练方法中的一个或多个步骤。

在一些示例中，在训练好对齐模型20后，可以利用原始文档的失真图像和由训练后的对齐模型20生成的对齐后的原始图像对文档分析模型10进行训练。在这种情况下，能够快速生成大量适合文档分析模型10训练的对齐后的数据，高效地构建文档图像分析的数据库，从而解决或减轻开发深度网络在文档图像领域应用的过程中存在的训练数据不足以及生成训练数据难度过大、费时费力的问题，同时提升文档分析模型10的训练结果的质量并增加训练得到的文档分析模型10的泛化性能。

以下，结合附图详细描述本公开涉及的使用训练后的对齐模型20的过程。图8是示出了本公开示例所涉及的使用训练后的对齐模型20的示例性的流程图。图9是示出了本公开示例所涉及的训练后的对齐模型20生成的对齐后的图像块的示意图。

参考图8，使用训练后的对齐模型20可以包括：

步骤S502：获取多个原始文档中的各个原始文档的原始图像和失真图像。在一些示例中，可以提取原始图像和失真图像中的文字区域对应的图像块。图像块的尺寸大小可以为对齐模型20的输入的尺寸大小。也即，图像块的尺寸大小可以符合对齐模型20输入的尺寸要求。

步骤S504：利用训练后的对齐模型20针对各个原始文档的失真图像和原始图像生成对齐后的原始图像。在一些示例中，可以将步骤S502获得的图像块输入到对齐模型20中以获得对齐后的图像块。作为示例，图9示出了由对齐模型20生成的针对原始图像块P20的对齐后的图像块P23。另外，为了方便对比，图9还示出了原始图像块P20对应的失真图像块P21，以及对应的由人工对齐获得的图像块P22。

步骤S506：利用各个原始文档的失真图像和对齐后的原始图像对文档分析模型10进行训练。在一些示例中，可以利用上述步骤S502获得失真图像对应的图像块和步骤S504获得对齐后的图像块对文档分析模型10进行训练。

本公开涉及的训练方法及训练装置，对各个原始文档的原始图像进行几何变换和基于文字骨架的位置对齐以获取标签图像，并利用原始图像、失真图像和标签图像中的文字区域对应的图像块作为训练数据对齐模型20进行训练以获取预测对齐图像块，并利用基于预测对齐图像块和标签图像块确定的第一损失函数，和基于预测对齐图像块的文字骨架和失真图像块的文字骨架确定的第二损失函数不断地优化对齐模型20，进而获得训练后的对齐模型20。在这种情况下，通过第一损失函数能够使预测对齐图像块越来越接近金标准，并且通过第二损失函数能够降低预测对齐图像块偏离失真图像块中文字形态的风险，还能够降低金标准中可能存在的误差的影响，以实现预测对齐图像块与标签图像块在位置上对齐并且文字形态上更接近失真图像块，能够适配失真图像中文字级别的失真的对齐，进而能够提高对齐精度和准确度。

另外，本公开示例涉及的训练后的对齐模型20能够方便地将原始图像与失真图像进行位置对齐，可以替换文档图像对齐过程中繁琐的匹配步骤，大大缩短了文档图像文字对齐所需的时间，使得文档对齐方法的适用范围更广，鲁棒性更强。如果遇到新的文档内容和类型而原有的对齐模型20效果不佳时，只需要添加少量相应文档类型的数据重新训练对齐模型20，即可得到更全面的对齐模型20以快速批量生成符合要求的对齐数据。

虽然以上结合附图和示例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。

Claims (9)

1.一种针对文字失真的对齐模型的训练方法，其特征在于，所述对齐模型是用于将原始文档对应的无失真的原始图像与有失真的失真图像进行位置对齐的深度神经网络，所述训练方法包括：获取多个原始文档，并对所述多个原始文档中的各个原始文档的原始图像进行几何变换和基于文字骨架的位置对齐以获取标签图像，所述标签图像为对齐后的原始图像；分别将所述多个原始文档对应的原始图像、失真图像和标签图像中的文字区域对应的图像块作为第一图像集、第二图像集和第三图像集；获取所述对齐模型针对所述第一图像集和所述第二图像集进行预测而获得的预测集，所述预测集包括与所述第一图像集中的图像块对应的预测结果，并基于所述预测集中的预测结果确定所述第一图像集中的图像块对应的预测对齐图像块；基于所述第一图像集中的图像块对应的预测对齐图像块和所述第三图像集中对应的图像块确定第一损失函数，基于所述第一图像集中的图像块对应的预测对齐图像块的文字骨架和所述第二图像集中对应的图像块的文字骨架确定第二损失函数；并且基于所述第一损失函数和所述第二损失函数训练所述对齐模型，以获得训练后的所述对齐模型，其中，所述对齐模型的输入为所述第一图像集与所述第二图像集中位置匹配的每对图像块在通道维度上叠加的结果，所述对齐模型的输出为所述预测结果，所述预测结果为预测位移数据，所述预测位移数据用于对所述第一图像集的图像块中的像素点进行移动以确定所述第一图像集中的图像块对应的预测对齐图像块。

2.根据权利要求1所述的训练方法，其特征在于：

在所述几何变换中，基于各个原始文档的原始图像和失真图像中的文字区域对应的图像块获取几何变化参数，利用所述几何变换参数对各个原始文档的原始图像进行变换以使变换后的原始图像与失真图像之间的文字形状对齐。

3.根据权利要求1所述的训练方法，其特征在于：

在所述位置对齐中，针对各个原始文档，将所述几何变换后的原始图像的文字骨架作为第一骨架，将失真图像的文字骨架作为第二骨架，基于所述第一骨架和所述第二骨架之间的重叠程度确定所述几何变换后的原始图像中的预设位置在失真图像中的对齐位置，基于所述对齐位置将所述几何变换后的原始图像与失真图像的位置进行对齐。

4.根据权利要求1所述的训练方法，其特征在于：

将所述第三图像集中的各个图像块作为标签图像块，基于所述标签图像块与所述标签图像块对应的预测对齐图像块之间的相似度确定所述第一损失函数；和/或

将所述第二图像集中的各个图像块作为失真图像块，基于所述失真图像块的文字骨架与所述失真图像块对应的预测对齐图像块的文字骨架之间的重合程度确定所述第二损失函数。

5.根据权利要求1所述的训练方法，其特征在于：

所述图像块的尺寸大小一致，所述图像块中的文字的数量不小于1。

6.根据权利要求5所述的训练方法，其特征在于：

所述图像块的划分粒度包括单个字、多个字、单行文字和多行文字中的至少一种。

7.根据权利要求1所述的训练方法，其特征在于：

所述失真图像包括合法图像和翻拍图像中的至少一种，所述合法图像为由第一采集设备对所述原始图像进行采集获得的图像，所述翻拍图像为将所述合法图像打印至实物载体上得到打印图像，再由第二采集设备对所述打印图像进行采集获得的图像。

8.根据权利要求1所述的训练方法，其特征在于：

所述预测位移数据包括分别位于两个通道的第一位移图像和第二位移图像，所述第一位移图像中的各个位置的像素值表示用于对所述第一图像集的图像块的对应位置的像素点进行水平移动的水平参数，所述第二位移图像的各个位置的像素值表示用于对所述第一图像集的图像块的对应位置的像素点进行垂直移动的垂直参数。

9.一种针对文字失真的对齐模型的训练装置，其特征在于，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时执行根据权利要求1至8任一项所述的训练方法。

Images