CN107644006A - 一种基于深度神经网络的手写体中文字库自动生成方法 - Google Patents

Abstract

本发明公布了一种基于深度神经网络的手写体中文字库自动生成方法，通过少量手写体汉字进行字体特征重建，建立字体风格迁移网络，通过字体风格迁移网络估计用户未书写字形的字体风格特征，将参考字体的字形内容与用户书写风格结合，迁移到目标手写体风格，生成目标字形图片，从而得到完整的字库中文手写体字库。本发明方法是一种端到端的生成方法，不需要对汉字进行笔画或部件提取，也不需要人工干预，生成高质量的汉字字形，极大地提高了手写体字库制作的效率，使得个性化字库的生成变得简单方便，能够满足普通人对于个性化手写体字库的需求，加快个性化字库的发展进程。

Description

一种基于深度神经网络的手写体中文字库自动生成方法

技术领域

本发明涉及计算机图形处理技术和人工智能技术，尤其涉及一种基于深度神经网络的手写体中文字库自动生成方法。

背景技术

随着移动互联网的飞速发展，人们追求美观、个性化的意愿越来越强烈。标准的楷体、宋体等字体虽然使用方便，但是缺乏个性。微博、微信和QQ等社交媒体的普及，使得年轻人希望使用自己的手写体来彰显个性。同时，越来越多的书法爱好者希望能在电脑、手机等电子移动设备上使用自己个性化的手写体书写电子文档，进行沟通交流，达到一种“见字如见人”的效果。此外，个性化字体也可以用于公司标志等商业设计，来突显企业文化。

由拉丁字母、数字、标点符号等组成的西文字符集较小，可以容易地实现计算机存储与编码。而汉字结构复杂，数量庞大，常用的GB2312字符集包含6763个简体中文汉字。目前国内的字体设计和制作技术不够先进，现有的中文字库制作方法大多依赖于人工经验和设计，自动化程度很低，一般先由书法家书写或字体设计师制作几百到几千个基准字，包含目标字库所有汉字出现的全部笔画和部件，并将这些字形的边缘轮廓用曲线和直线来存储。然后，字体制作人员将基准字的笔画和部件进行加工修改，来生成完整的字库。最后，每个汉字字形还要经过精细的调整。大量的人工字形调整与设计造成字库制作技术自动化程序低，制作周期长，效率低下。

近些年来，很多研究学者通过复用汉字笔画或者部件来合成汉字，但是这些方法需要事先进行笔画或部件的提取，并需要人工干预保证提取结果的正确性，对于个性化字库的快速制作并不可行。

随着深度学习的发展，深度神经网络被应用于中文汉字的生成。文献(YuchenTian.2016.Rewrite:Neural Style Transfer For Chinese Fonts.(2016).RetrievedNov 23,2016from https://github.com/kaonashi-tyc/Rewrite)记载的“Rewrite”方法设计了一种涓滴状网络结构，能够生成较标准的字体，但是用户需要书写几千个汉字，对于书写潦草、与参考字体风格差异大的情况生成效果不好。文献(Zhouhui Lian,Bo Zhao,andJianguo Xiao.2016.Automatic generation of largescale handwriting fonts viastyle learning.In Proc.SIGGRAPH ASIA 2016TB.ACM,12.)通过对书写风格建模生成完整的中文字库，但是该方法需要事先进行笔画或部件的自动提取。文献(YuchenTian.2017.zi2zi:Master Chinese Calligraphy with Conditional AdversarialNetworks.(2017).Retrieved Jun 3,2017from https://github.com/kaonashi-tyc/zi2zi)记载的zi2zi方法基于条件生成对抗网络和U-net的结构，采用对抗训练的方式，合成特定风格的汉字图片，但它仍然存在模糊和虚假边缘的情况，生成字形的质量不高，不能满足实际应用的需求。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于深度神经网络的手写体中文字库自动生成方法，包括字体风格的表征、重建与迁移，通过用户书写的少量手写体汉字进行字体特征重建，估计用户未书写字形的字体风格特征；建立字体风格迁移网络，将参考字体的字形内容与用户书写风格结合，实现从参考字体风格迁移到目标手写体风格，生成目标字形图片，从而得到完整的中文手写体字库文件。

本发明采用的技术方案如下：

一种基于深度神经网络的手写体中文字库自动生成方法，通过少量手写体汉字进行字体特征重建，估计用户未书写字形的字体风格特征；然后通过字体风格迁移网络，将参考字体的字形内容与用户书写风格结合，从参考字体风格迁移到目标手写体风格，生成目标字形图片，从而得到完整的中文手写体字库文件；主要包含以下六个步骤：

第一步，用户书写指定输入集合的汉字，拍照或扫描成图片；

第二步，将图片切分为单个汉字图像，并将单个汉字图像大小归一化到与参考字形图片一致的尺寸；本发明具体实施时，将图像大小归一化到224×224的尺寸；

第三步，通过预训练好的字体识别网络提取用户书写汉字的字体特征；

第四步，通过字体特征重建网络估计用户未书写汉字的字体特征，学习从参考汉字特征到带有用户书写风格的对应汉字的字体特征的变换关系，对用户没有书写的汉字集合进行字体特征重建；参考字体可以是楷体、宋体、黑体等其他字体。

第五步，通过卷积神经网络分别提取汉字的字形内容特征和字体风格特征，通过字体风格迁移网络，在字形内容不变的情况下，实现从参考汉字(如方正楷体)到用户书写风格的迁移，生成在完整字库中用户没有书写的汉字图片；

第六步，将用户书写的汉字图片和生成的汉字图片组合得到完整的GB2312中文字库6763个汉字图片，并将这些汉字进行矢量化，生成带有用户书写风格的个性化字库文件。

具体而言，在第一步中，根据汉字使用频率和GB2312中文字库汉字笔画和部件的构成，选取了775个汉字，组成了输入集合，能够覆盖50％的常用汉字，并且包含了在GB2312中文字库中出现的所有笔画和部件类型。

在第二步中，对文本图像进行方向矫正和切割，得到单个汉字图片。将汉字图片放置在以宽高的较长边为边长的正方形的中心，然后将图片缩放到224×224，保持了原汉字的宽高比。

在第三步中，对于每一个汉字字形图片，通过预训练好的字体识别网络φ的高层特征来表示字体深度特征。具体而言，字体识别网络采用了VGG16(Karen Simonyan andAndrewZisserman.2014.Very deep convolutional networks for large-scale imagerecognition.arXiv preprint arXiv:1409.1556(2014).)的网络结构，在100种字体数据上进行训练。具体利用每种字体的ttf文件生成GB2312字符集的6763个汉字图片，图片大小为224×224。其中一半的图片数据作为训练集，另一半的图片数据作为测试集，在ImageNet数据集训练好的模型上进行参数的调整。本发明采用字体识别网络conv5_3层(ReLU激活层之后)14×14×512维的输出来表征汉字的字体风格特征。

在第四步中，通过字体特征重建网络估计出用户没有书写的汉字字形的字体特征。在字体识别网络中，相同字体的汉字在深度特征空间里聚集在一起，字体特征重建网络通过用户书写的少量汉字学习从参考字体特征到用户手写体汉字字体特征的变换关系R。对于用户没有书写的汉字，通过字体特征重建网络可以估计出字体特征(如附图3所示)。字体特征重建网络的结构类似于编码器-解码器(如附图2所示)。字体特征编码器的输入是参考字形x经过字体识别网络得到的深度字体特征φ_{relu5_3}(x)，它包含四个下采样层，编码得到的向量和表征字体类别向量进行连接，送入到字体特征解码器中，字体类别向量是一个64维的随机向量，使得网络在训练时能更好地区分每种字体。字体特征解码器与字体特征编码器具有对称的结构，包含一系列上采样层，最终得到估计的深度字体特征h_s＝R(φ_{relu5_3}(x))。为了减少编码过程中的信息损失，字体特征编码器和字体特征解码器的对应层进行跳跃连接。

在第五步中，字体风格迁移网络将汉字从参考字体风格迁移到用户手写体风格。汉字可以看作是字形内容和字体风格的结合，本发明分别用两个卷积神经网络来编码字形的内容和风格。具体而言，通过上述第四步的字体特征重建网络，可以得到汉字字形的深度字体风格特征h_s。同时，参考字形通过内容编码器(一系列下采样层)得到汉字字形的内容向量h_c。然后，将表征汉字字形内容h_c、字体风格h_s和字体类别h_f的向量结合起来h＝[h_s,h_c,h_f]，送入到五个残差块中，再通过解码器(一系列上采样层，解码器根据指定的风格和内容将字形生成出来)，得到带有用户书写风格的汉字图片。考虑到参考字体和用户手写体字形具有相似的结构特征，将内容编码器的低层与解码器的对应层进行跳跃连接(如附图2所示)。

本发明中，字体风格迁移网络利用生成对抗网络的思想，输入是参考字体(如楷体)字形，输出是具有相同字形内容的目标手写体字形图片将生成的字形图片和用户书写的真实的字形图片分别和对应的参考字形图片组成拼接成图片，然后送入到判别器D中判断图片是生成的还是用户书写的，同时判断字体的类别。

字体风格迁移网络的输入和输出图片的大小均为224×224，输入图片分别送入到内容编码器和字体特征重建网络得到字形内容和字体特征编码。内容编码器包含4个下采样层，每层由一个卷积核大小为5×5、步长为2的卷积层、批规范化层和LeakyRelu组成。之后，将表征汉字字形内容、字体风格和和字体类别的向量结合起来，送入到五个残差块中，每个残差块包含两个级联的BN-Relu-Convolution的结构。最后，通过四个上采样层得到生成的图片，每个上采样层包含卷积核大小为5×5、步长为2的反卷积层、批规范化层和Relu。判别器的结构采用了文献(Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and Alexei AEfros.2016.Image-to-image translation with conditional adversarialnetworks.arXiv preprintarXiv:1611.07004(2016))中的网络结构。

在对字体风格迁移网络进行训练时，本发明结合对抗损失、像素点空间损失和风格一致性损失来度量生成字形和用户书写的真实目标字形y之间的相似度，更新网络参数。对抗损失函数借鉴了生成对抗网络的思路，判别器同时判断生成字形的真假和字体的类别。如公式(1)、(2)所示，假设参考字形图片和目标字形图片服从联合概率分布x,y～p_data(x,y)，参考字形图片x服从概率分布p_data(x)，表征汉字字形内容的向量h_c、字体风格的向量h_s和字体类别的向量h_f结合起来的向量h＝[h_s,h_c,h_f]服从概率分布p_h(h)，D_s(x,y)表示判别器对字形图片的真假进行判断的结果，D_c(x,y)表示判别器对图片类别进行判断的结果。和分别表示判别器对于生成字形真假和字体类别判断的损失。对于判别器来说，希望网络生成的字形被判断为假的可能性越大越好，而字体风格迁移网络希望生成的字形图片被判断为真实的可能性越大越好，所以字体风格迁移网络最小化更新网络参数，同时判别器最大化更新网络参数。

为了保证生成字形和目标字形在像素点空间的相似性，如公式(3)所示，通过计算生成的字形图片与手写体目标字形图片y的L_pixel(L1距离)来度量它们的相似程度。

此外，通过计算生成字形与目标字形y在深度特征空间的差异性，来度量它们的相似程度，如公式(4)所示，包括与y在字体识别网络φ的relu_{2_2}、relu_{3_3}和relu_{4_3}层的激活值的平方误差损失。

最后，将三种损失函数通过一定权重结合起来，如公式(5)所示，字体风格迁移网络的损失函数为L，通过最小化L来对字体风格迁移网络中的参数进行调整，得到最优参数值。

其中，α、β、γ分别为三种损失函数的权重系数。

由于网络结构的复杂性，生成对抗网络训练的不稳定性，对于每种书写风格，对于复杂字形网络收敛难度较大。为了加快收敛速度，本发明先用20种方正字体进行预训练，每种字体包含2000个常用字。当学习特定的手写体风格时，只需要在预训练好的模型上进行微调参数。

在第六步中，将用户书写的775个汉字与生成的5988个汉字结合，可以得到完整的GB2312的6763个汉字。然后对6763个汉字进行矢量化操作(Pan W.,Lian Z.,Tang Y.,XiaoJ..Skeleton-Guided Vectorization of Chinese Calligraphy Images.MMSP 2014,paperID 19,2014)，得到具有用户手写体风格的TrueType格式的字库文件。

与现有技术相比，本发明的积极效果在于：

本发明提出了一种基于深度神经网络的手写体中文字库自动生成方法，提出了新颖的字体特征重建和字体风格迁移的算法，用户只需要书写少量手写体汉字(几百个)，***就可以自动生成逼真的，带有用户书写风格的完整的手写体中文字库。整个过程不需要对汉字进行笔画或部件提取，也不需要人工干预，是一种端到端的生成方法，极大地提高了手写体字库制作的效率，能够满足普通人对于个性化手写体字库的需求。本方法可以生成高质量的汉字字形，并且不需要进行笔画或部件提取和人工干预操作，极大地缩短字库制作周期，提高制作效率，使得个性化字库的生成变得简单方便，加快个性化字库的发展进程。

附图说明

图1是本发明提供的手写体中文字库自动生成方法的流程框图。

图2是本发明提供的手写体中文字库自动生成方法的网络结构图。

图3是本发明提供的字体特征重建过程的示意图；

其中，(a)为深度字体风格特征通过t-SNE降维的结果；(b)为在用户书写的少量汉字上，学习参考字体风格到手写体风格的变换关系R的示意图；(c)为通过变换关系R得到的用户没有书写汉字的字体风格特征。

图4是本发明提供方法和其他三种基于神经网络的生成方法(Rewrite、FontSL、zi2zi)的对比实验结果；

其中，Rewrite只能生成模糊的字形图片，而且不能保证字形的正确性；FontSL生成的三种不同手写体风格的字形具有相似性，没有学习到字体的本质风格特征；zi2zi存在着虚假边缘和不合理的笔画；本发明的方法能够生成高质量的具有用户手写体风格的字形图像。

图5是本发明实施例提供的三种不同手写体风格的中文字库的文本渲染效果图；

其中，(a)中的楷体字形是用户没有书写的汉字；在(b)-(d)的对应文字位置显示的是用采用本发明方法生成的汉字字形。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种基于深度神经网络的手写体中文字库自动生成方法，通过少量手写体汉字进行字体特征重建，估计用户未书写字形的字体风格特征；然后通过字体风格迁移网络，将参考字体的字形内容与用户书写风格结合，从参考字体风格迁移到目标手写体风格，生成目标字形图片，从而得到完整的中文手写体字库文件。

本发明方法的流程图和网络结构图如附图1和图2所示，具体实施时，包括如下步骤：

1)用户书写指定输入集合的775个汉字，拍照或扫描成图片，上传到***中；

2)将图片切分为单个汉字图像，对文本图像进行方向矫正和切割，得到单个汉字图片。将汉字图片放置在以宽高的较长边为边长的正方形的中心，然后将图片缩放到224×224，保持原汉字的宽高比，以汉字的unicode码命名图片保存。

3)训练字体特征重建网络，如附图2所示，网络输入是参考字体字形通过字体识别网络得到的深度字体特征，目标输出是带有用户书写风格的汉字字形的深度字体特征。在训练阶段，使用用户书写的775个汉字作为训练数据，调整网络参数，使得网络输出与目标值的平方误差损失最小。在之后风格迁移网络的训练过程中，固定字体特征编码器的参数，对字体特征解码器的参数进行微调。

4)对预训练好的字体风格迁移网络进行微调，如附图2所示；

41)对于每一个参考字形x，分别送入到字体特征重建网络和内容编码器获得字体风格向量h_s和字形内容向量h_c；

42)将字体风格向量h_s、字形内容向量h_c和字体类别向量h_f结合起来，送到残差网络和解码器中，得到与参考字形x具有相同字形内容，且带有用户书写风格的汉字图片

43)计算字体风格迁移网络的损失函数。

a)对抗损失

如公式(1)、(2)所示，D_s(x,y)表示判别器对字形图片的真假进行判断的结果，D_c(x,y)表示判别器对图片类别进行判断的结果。和分别表示判别器对于生成字形真假和字体类别判断的损失。对于判别器来说，希望网络生成的字形被判断为假的可能性越大越好，而字体风格迁移网络希望生成的字形图片被判断为真实的可能性越大越好，所以字体风格迁移网络最小化更新网络参数，同时判别器最大化更新网络参数。

b)像素点空间损失

计算生成的字形图片与手写体目标字形图片y的L1距离得到像素点空间损失。

c)风格一致性损失

通过计算生成字形与目标字形y在字体识别网络φ的relu_{2_2}、relu_{3_3}和relu_{4_3}层的激活值的平方误差损失得到风格一致性损失L_style。

最后，将这三种误差通过一定权重结合起来，通常设置为α＝1，β＝100，γ＝15。

5)网络训练好之后，字体迁移网络就可以将输入的任意的楷体字形迁移到带有用户手写体风格的汉字。输入用户未书写的5988个楷体字形到网络中，输出为具有相同字形内容，且具有用户书写风格的字形图片。

6)将用户书写的755个汉字图片和生成的5988个汉字图片组合得到完整的GB2312中文字库6763个汉字图片，并将这些汉字进行矢量化，生成带有用户书写风格的TrueType格式的字库文件。

图5是本发明所述的三种不同手写体风格的中文字库的文本渲染效果图。其中，(a)是用户书写的775个汉字生成的字库的文本渲染效果，(b)-(d)是用本发明的方法得到的字库的文本渲染效果。由实验结果可以看出，本发明的方法能够生成逼真的，具有用户手写体风格的字形，并且不需要任何人工干预和汉字先验信息，简单高效，能够满足普通人对于个性化手写体字库的需求。

以上结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。可以理解的是，所描述的实例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种基于深度神经网络的手写体中文字库自动生成方法，通过少量手写体汉字进行字体特征重建，估计用户未书写字形的字体风格特征，然后通过字体风格迁移网络，将参考字体的字形内容与用户书写风格结合，从参考字体风格迁移到目标手写体风格，生成目标字形图片，从而得到完整的中文手写体字库文件；包括以下步骤：

第一步，用户书写指定输入集合的汉字，通过拍照或扫描得到文本图片；

第二步，将文本图片切分得到单个汉字图像，并将单个汉字图像大小归一化到与参考字形图片一致的尺寸；

第三步，针对用户书写的每个汉字字形图片，通过预训练好的字体识别网络提取用户书写汉字的字体特征；

第四步，通过字体特征重建网络估计用户未书写汉字的字体特征，学习从参考汉字特征到带有用户书写风格的对应汉字的字体特征的变换关系，对用户没有书写的汉字集合进行字体特征重建；

第五步，通过卷积神经网络分别提取汉字的字形内容特征和字体风格特征，通过字体风格迁移网络，在字形内容不变的情况下，实现从参考汉字到用户书写风格的迁移，生成在完整字库中用户没有书写的汉字图片；

第六步，将用户书写的汉字图片和生成的汉字图片组合得到完整的中文字库的汉字图片，并进行矢量化，从而生成带有用户书写风格的个性化字库文件。

2.如权利要求1所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，在第一步中，根据汉字使用频率和GB2312中文字库汉字笔画和部件的构成，选取775个汉字，覆盖50％常用汉字，并且包含在GB2312中文字库中出现的所有笔画和部件类型，作为输入集合。

3.如权利要求1所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，第二步中，具体地，对文本图片进行方向矫正和切割，得到单个汉字图片；将单个汉字图片放置在以宽高的较长边为边长的正方形的中心，再将图片缩放到尺寸224×224，保持原汉字的宽高比。

4.如权利要求1所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，在第三步中，具体地，字体识别网络采用文献(Karen Simonyan andAndrewZisserman.2014.Very deep convolutional networks for large-scale imagerecognition.arXiv preprint arXiv:1409.1556(2014))记载的VGG16网络结构，在100种字体数据上进行训练，得到预训练好的字体识别网络；采用字体识别网络conv5_3层的输出表征汉字的字体风格特征，由此提取得到用户书写汉字的字体特征。

5.如权利要求1所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，在第四步中，字体特征重建网络结构包括字体特征编码器和字体特征解码器；具体通过用户书写的汉字学习从参考字体特征到用户手写体汉字字体特征的变换关系R，通过学习到的变换关系估计出用户没有书写的汉字的字体特征。

6.如权利要求5所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，字体特征编码器的输入是参考字形x经过字体识别网络得到的深度字体特征φ_{relu5_3}(x)，字体特征编码器包含四个下采样层，编码得到的向量和表征字体类别向量进行连接，送入到字体特征解码器中，字体类别向量是一个64维的随机向量，使得网络在训练时能更好地区分每种字体；字体特征解码器与字体特征编码器具有对称的结构，包含多个上采样层，得到估计的深度字体特征h_s＝R(φ_{relu5_3}(x))。

7.如权利要求5所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，字体特征编码器和字体特征解码器的对应层进行跳跃连接。

8.如权利要求1所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，在第五步中，字体风格迁移网络将汉字从参考字体风格迁移到用户手写体风格；具体地，分别用两个卷积神经网络编码汉字字形的内容和风格；通过字体风格迁移网络，得到汉字字形的深度字体风格特征h_s；参考字形通过内容编码器得到汉字字形的内容向量h_c；然后，将汉字字形的内容向量h_c、字体风格特征h_s和字体类别h_f的向量结合组成为h＝[h_s，h_c，h_f]，送入到残差块中，再通过解码器得到带有用户书写风格的汉字图片。

9.如权利要求8所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，将生成的字形图片和用户书写的真实字形图片分别和对应的参考字形图片拼接成图片，送入到判别器D中，判断图片是生成的还是用户书写的，同时判断字体的类别。

10.如权利要求9所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，判别器的结构采用文献(Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.2016.Image-to-image translation with conditional adversarialnetworks.arXiv preprintarXiv：1611.07004(2016))记载的网络结构；判别器同时判断生成字形的真假和字体的类别，具体地，假设参考字形图片和目标字形图片服从联合概率分布x，y～p_data(x，y)，参考字形图片x服从概率分布p_data(x)，向量h＝[h_s，h_c，h_f]服从概率分布p_h(h)；采用式(1)、(2)分别表示判别器对于生成字形真假和字体类别判断的损失：

<mrow> <msub> <mi>L</mi> <mrow> <msub> <mi>GAN</mi> <mi>s</mi> </msub> </mrow> </msub> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mi> </mi> <msub> <mi>D</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>h</mi> <mo>~</mo> <msub> <mi>p</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>h</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mi> </mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>D</mi> <mi>s</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>h</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>L</mi> <mrow> <msub> <mi>GAN</mi> <mi>c</mi> </msub> </mrow> </msub> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mi> </mi> <msub> <mi>D</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>h</mi> <mo>~</mo> <msub> <mi>p</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>h</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mi> </mi> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mi>c</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>h</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

其中，D_s(x，y)表示判别器对字形图片的真假进行判断的结果；D_c(x，y)表示判别器对图片类别进行判断的结果；和分别表示判别器对于生成字形真假和字体类别判断的损失；

通过式(3)计算生成的字形图片与手写体目标字形图片y的L_pixel距离，用于度量二者的相似程度：

<mrow> <msub> <mi>L</mi> <mrow> <mi>p</mi> <mi>i</mi> <mi>x</mi> <mi>e</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>h</mi> <mo>~</mo> <msub> <mi>p</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>h</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mo>|</mo> <mo>|</mo> <mi>y</mi> <mo>-</mo> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>)</mo> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

还可通过式(4)计算生成字形与目标字形y在深度特征空间的差异性，用于度量二者的相似程度：

<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>s</mi> <mi>t</mi> <mi>y</mi> <mi>l</mi> <mi>e</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>h</mi> <mo>~</mo> <msub> <mi>p</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>h</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>&amp;phi;</mi> <mrow> <msub> <mi>relu</mi> <mrow> <mn>2</mn> <mo>_</mo> <mn>2</mn> </mrow> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;phi;</mi> <mrow> <msub> <mi>relu</mi> <mrow> <mn>2</mn> <mo>_</mo> <mn>2</mn> </mrow> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>&amp;phi;</mi> <mrow> <msub> <mi>relu</mi> <mrow> <mn>3</mn> <mo>_</mo> <mn>3</mn> </mrow> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;phi;</mi> <mrow> <msub> <mi>relu</mi> <mrow> <mn>3</mn> <mo>_</mo> <mn>3</mn> </mrow> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>&amp;phi;</mi> <mrow> <msub> <mi>relu</mi> <mrow> <mn>4</mn> <mo>_</mo> <mn>3</mn> </mrow> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;phi;</mi> <mrow> <msub> <mi>relu</mi> <mrow> <mn>4</mn> <mo>_</mo> <mn>3</mn> </mrow> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mover> <mi>y</mi> <mo>~</mo> </mover> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

其中，式(4)包括与y在字体识别网络φ的relu_{2_2}、relu_{3_3}和relu_{4_3}层的激活值的平方误差损失；

最后，将上述三种损失函数通过权重进行结合，字体风格迁移网络的损失函数L表示为式(5)：

<mrow> <mi>L</mi> <mo>=</mo> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <msub> <mi>L</mi> <mrow> <msub> <mi>GAN</mi> <mi>s</mi> </msub> </mrow> </msub> <mo>-</mo> <msub> <mi>L</mi> <mrow> <msub> <mi>GAN</mi> <mi>c</mi> </msub> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;beta;L</mi> <mrow> <mi>p</mi> <mi>i</mi> <mi>x</mi> <mi>e</mi> <mi>l</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>&amp;gamma;L</mi> <mrow> <mi>s</mi> <mi>t</mi> <mi>y</mi> <mi>l</mi> <mi>e</mi> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

其中，α、β、γ分别为三种损失函数的权重系数；

通过式(5)最小化字体风格迁移网络的损失函数L来对字体风格迁移网络中的参数进行调整，从而得到最优参数值。