CN110969681A - 一种基于gan网络的手写体书法文字生成方法 - Google Patents

一种基于gan网络的手写体书法文字生成方法 Download PDF

Info

Publication number
CN110969681A
CN110969681A CN201911197267.3A CN201911197267A CN110969681A CN 110969681 A CN110969681 A CN 110969681A CN 201911197267 A CN201911197267 A CN 201911197267A CN 110969681 A CN110969681 A CN 110969681A
Authority
CN
China
Prior art keywords
character
calligraphy
network
page
characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911197267.3A
Other languages
English (en)
Other versions
CN110969681B (zh
Inventor
孙善宝
金长新
于�玲
谭强
徐驰
马辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Scientific Research Institute Co Ltd
Original Assignee
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Artificial Intelligence Research Institute Co Ltd filed Critical Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority to CN201911197267.3A priority Critical patent/CN110969681B/zh
Publication of CN110969681A publication Critical patent/CN110969681A/zh
Application granted granted Critical
Publication of CN110969681B publication Critical patent/CN110969681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于GAN网络的手写体书法文字生成方法，属于手写体生成、深度学习和神经网络技术领域，本发明将书法文字采集成图像，对图像进行特征提取，通过生成对抗网络基于风格和汉字内容完成手写体书法文字图像的生成；整个GAN网络模型由单字生成网络和页文字生成网络构成；通过GAN网络交替训练生成器和鉴别器，完成单字网络的学习，通过LSTM网络学习单个文字之间的联系，形成最终的页手写体书法文字网络模型，用于指定文字书法的生成。

Description

一种基于GAN网络的手写体书法文字生成方法
技术领域
本发明涉及手写体生成、深度学习和神经网络技术，尤其涉及一种基于GAN网络的手写体书法文字生成方法。
背景技术
生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，最初由Ian Goodfellow提出，是近年来复杂分布上无监督学习最重要的方法之一。GAN模型通过框架中的两个模块生成器(Generator)和判别器(Discriminator)的互相博弈学习产生高质量的输出，其目标是训练一个生成模型完美的拟合真实数据分布使得判别模型无法区分。生成模型的作用是模拟真实数据的分布，判别模型的作用是判断一个样本是真实的样本还是生成的样本，通过轮流训练判别器和生成器，令其相互对抗，从复杂概率分布中采样，最终完成神经网络的训练。目前，GAN网络被广泛应用于图像生成领域，生成对应的图像，成为最重要的学习任意复杂数据分布的生成模型框架。
书法是中国及深受中国文化影响过的周边国家和地区特有的一种文字美的艺术表现形式，是中国汉字特有的一种传统艺术。手写体是一种使用硬笔或者软笔纯手工写出的文字，手写体文字代表了中国汉字文化的精髓。这种手写体文字，大小不一、形态各异，在计算机字库中很难实现错落有致的效果，只能使用手工写字的方法传承下去。而随着计算机的普及和移动互联网的发展，人们越来越多的通过电子设备来查看传统书法及手写体文字，一方面通过电子屏幕来欣赏传统书法，另一方面，人们也希望阅读带有个性化的手写体书法文字文章。在这种情况下，如何有效GAN网络，形成个性化的图像书法文字成为亟须解决的问题。
发明内容
为了解决以上技术问题，本发明提出了一种基于GAN网络的手写体书法文字生成方法，将书法文字采集成图像，对图像进行特征提取，通过GAN网络实现单个文字基于风格和汉字内容的图像生成，充分考虑文字书写的相关性，通过LSTM网络经过大量训练，学习单个文字之间的联系，形成最终的手写体书法文字网络模型，用于指定文字书法的生成。另外，通过用户个性化的文字内容采集，利用现有模型基础进行训练，可以形成该用户个性化的手写体文字生成模型。
本发明的技术方案是：
一种基于GAN网络的手写体书法文字生成方法，通过高清图像采集装置收集大量书法手写体文字，并将图像进行预处理，形成独立的文字图像，并记录文字的行文顺序；整个GAN网络模型由单字生成网络和页文字生成网络构成，单字生成网络由风格特征提取器Es、语义特征提取器Ec、单字书法生成器Gs和单字书法鉴别器Ds构成，页文字生成网络由页文字生成器Gw和页书法鉴别器Dw构成；训练过程中，先训练由风格特征提取器Es、语义特征提取器Ec、单字书法生成器Gs构成的网络，然后再交替训练风格特征提取器Es、语义特征提取器Ec、单字书法生成器Gs和单字书法鉴别器Ds组成的网络，最终形成单字书法生成模型；单字书法生成器训练完成后，则通过交替训练页文字生成器Gw和页书法鉴别器Dw，最终形成页书法文字生成模型，用于指定文字书法的生成。另外，通过用户个性化的文字内容采集，利用现有模型基础进行训练，可以形成该用户个性化的手写体文字生成模型。其中，
所述的文字图片是由高清图像采集装置收集的真实手写体书法文字，并将图像进行预处理，形成大小一致的单字图像，并记录行文顺序；所述的单字生成网络是GAN网络，对文字图像提取特征形成特征向量，由Gs生成书法文字图像，通过最小化文字图像重构误差，并且使得书法辨别器Ds无法区分是由Gs生成的还是真实的采集文字图像；所述的风格特征提取器Es是一个CNN神经网络，提取文字图像中的书法风格特征，可以是书法字体，也可以是个性化的书写方式，将提取结果形成特征向量；所述的语义特征提取器Ec是一个CNN神经网络，提取文字图像中的汉字语义内容，形成语义特征向量；所述的单字书法生成器Gs是一个神经网络，根据特征向量生成单字文字图片；所述的单字书法鉴别器Ds是一个神经网络，判断输入的图片是否真实，同时是否符合手写体书法文字风格，并且与输入的汉字语义一致；所述的页文字生成网络由页文字生成器Gw和页书法鉴别器Dw构成，负责生成一页文字；所述的页文字生成器Gw由单字生成器Gs和单字组合器Gl构成，根据文字内容及风格生成一页图像；所述的单字组合器是LSTM长短时序网络，负责将单字根据行文顺序进行组合；所述的页书法鉴别器D是一个生成网络，判断生成的一页文字是否真实，同时符合手写体书法文字风格，并且与输入的一页汉字语义一致；所述的用户个性化的手写体书法文字模型，通过采集该书写者的手写文字数据基于现有模型，进行有针对性的训练，调整参数，生成该书写者独特的文字生成模型。
用于书法手写体生成网络模型的训练，包括以下步骤：
步骤101、通过所述的高清图像采集装置收集大量书法手写体文字，形成图像数据，将图像进行预处理，形成大小一致的单字图像，对其进行数据标注，表明文字语义及书法风格，并记录文字的行文顺序；
步骤102、设计所述的单字生成网络和页文字生成网络的网络结构和目标函数；
步骤103、开始训练所述的单字生成网络，初始化所述的风格特征提取器Es、语义特征提取器Ec、单字书法生成器Gs和所述的单字书法鉴别器Ds；
步骤104、在步骤101采集的单字图像集合进行多次Sample采样Imgi，通过所述的提取器Es和语义特征提取器Ec进行特征提取，加入随机内容，形成特征向量zi，再通过所述的单字书法生成器Gs输入特征向量zi生成单字图片GenImgi；
步骤106、选择一个分布P(比如正态分布)多次Sample采样特征向量，加入随机内容，形成特征向量pzi，再通过所述的单字书法生成器Gs输入特征向量pzi生成单字图片PGenImgi
步骤107、更新所述的风格特征提取器Es、语义特征提取器Ec的参数，使得真实图像和生成图像的重构误差小于阈值，并且通过所述的风格特征提取器Es、语义特征提取器Ec生成的特征向量z的分布接近步骤106选择的分布P(例如计算两个特征向量的KL散度)；
步骤108、更新所述的单字书法生成器Gs的参数，使得真实图像和生成图像的重构误差小于阈值，同时要骗过所述的单字书法鉴别器Ds，使得所述的单字书法鉴别器Ds无法区分真实图片和由所述的单字书法生成器Gs生成的图片，并且满足单字的书法风格和语义内容；
步骤109、更新所述的单字书法鉴别器Ds的参数，使得可以区分真实图片Img、生成图片GenImg和PGenImg。
步骤110、交替训练，最终形成所述的单字生成网络模型；
步骤111、开始训练所述的页文字生成网络，初始化所述的页文字书法生成器Gw和所述的页文字书法鉴别器Dw；
步骤112、将一页文字的图片PageImage进行处理，并获取其书法风格和单个文字的语义内容；根据一页文字的内容逐个将文字输入到所述的单字书法生成器Gs的网络，生成单个文字图片，再将其按照行文顺序，输入到所述的单字组合器LSTM网络中，最终生成一页文字的书法图片GenPageImage；
步骤113、更新所述的单字组合器LSTM网络Gl的参数，使得所述的页书法鉴别器Dw无法区分真实图片PageImage和由所述的页文字书法生成器Gw生成的图片，并且满足单字的书法风格和语义内容；
步骤114、更新所述的页文字书法鉴别器Dw的参数，使得可以区分真实图片PageImage、生成图片GenPageImage。
步骤115、交替训练，最终形成所述的页文字生成网络模型。
书法文字生成，包括以下步骤：
步骤201、将需要生成手写体书法图像的文字内容，进行分页，形成单字语义特征向量，并记录行文顺序；
步骤202、设定目标书法风格向量；
步骤203、(可选的)采用用户个性化的手写体书法文字模型，通过采集该书写者的手写文字数据基于现有模型，进行有针对性的训练，调整参数，生成该书写者独特的文字生成模型Gw；
步骤204、将单字语义特征向量，目标书法风格向量并加入随机向量形成单字特征向量，将其按行文顺序输入到所述的页文字生成网络Gw；
步骤205、由所述的页文字生成网络Gw根据输入向量，生成书法手写体图片；
步骤206、将所有的待生成的文字内容转换为书法图像，形成多页内容。
本发明的有益效果是
用于指定文字书法的生成，另外，通过用户个性化的文字内容采集，利用现有模型基础进行训练，可以形成该用户个性化的手写体文字生成模型，形成个性化的书法图像文字图片。
附图说明
图1是书法手写体生成网络结构示意图；
图2是书法手写体生成网络模型训练流程图；
图3是书法手写体生成流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1中所示，通过高清图像采集装置收集大量书法手写体文字，并将图像进行预处理，形成独立的文字图像，并记录文字的行文顺序；整个GAN网络模型由单字生成网络和页文字生成网络构成，单字生成网络由风格特征提取器Es、语义特征提取器Ec、单字书法生成器Gs和单字书法鉴别器Ds构成，页文字生成网络由页文字生成器Gw和页书法鉴别器Dw构成；训练过程中，先训练由风格特征提取器Es、语义特征提取器Ec、单字书法生成器Gs构成的网络，然后再交替训练风格特征提取器Es、语义特征提取器Ec、单字书法生成器Gs和单字书法鉴别器Ds组成的网络，最终形成单字书法生成模型；单字书法生成器训练完成后，则通过交替训练页文字生成器Gw和页书法鉴别器Dw，最终形成页书法文字生成模型，用于指定文字书法的生成。另外，通过用户个性化的文字内容采集，利用现有模型基础进行训练，可以形成该用户个性化的手写体文字生成模型。
其中，
文字图片是由高清图像采集装置收集的真实手写体书法文字，并将图像进行预处理，形成大小一致的单字图像，并记录行文顺序；所述的单字生成网络是GAN网络，对文字图像提取特征形成特征向量，由Gs生成书法文字图像，通过最小化文字图像重构误差，并且使得书法辨别器Ds无法区分是由Gs生成的还是真实的采集文字图像；所述的风格特征提取器Es是一个CNN神经网络，提取文字图像中的书法风格特征，可以是书法字体，也可以是个性化的书写方式，将提取结果形成特征向量；所述的语义特征提取器Ec是一个CNN神经网络，提取文字图像中的汉字语义内容，形成语义特征向量；所述的单字书法生成器Gs是一个神经网络，根据特征向量生成单字文字图片；所述的单字书法鉴别器Ds是一个神经网络，判断输入的图片是否真实，同时是否符合手写体书法文字风格，并且与输入的汉字语义一致；所述的页文字生成网络由页文字生成器Gw和页书法鉴别器Dw构成，负责生成一页文字；所述的页文字生成器Gw由单字生成器Gs和单字组合器Gl构成，根据文字内容及风格生成一页图像；所述的单字组合器是LSTM长短时序网络，负责将单字根据行文顺序进行组合；所述的页书法鉴别器D是一个生成网络，判断生成的一页文字是否真实，同时符合手写体书法文字风格，并且与输入的一页汉字语义一致；所述的用户个性化的手写体书法文字模型，通过采集该书写者的手写文字数据基于现有模型，进行有针对性的训练，调整参数，生成该书写者独特的文字生成模型。
为了描述方便，以下过程中采用高清数码相机作为采集装置，风格特征提取器Es和语义特征提取器Ec可以使用全卷积网络，书法生成器和书法辨别器等网络主要结构可以采用CNN网络。本领域技术人员将理解的是，除了使用以上网络之外，根据本发明的实施方式的构造也能够应用于其他方法之上。
一、书法手写体生成网络模型的训练
如图2所示，书法手写体生成网络模型的训练包括以下步骤：
步骤101、通过所述的高清图像采集装置收集大量书法手写体文字，形成图像数据，将图像进行预处理，形成大小一致的单字图像，对其进行数据标注，表明文字语义及书法风格，并记录文字的行文顺序；
步骤102、设计所述的单字生成网络和页文字生成网络的网络结构和目标函数；
步骤103、开始训练所述的单字生成网络，初始化所述的风格特征提取器Es、语义特征提取器Ec、单字书法生成器Gs和所述的单字书法鉴别器Ds；
步骤104、在步骤101采集的单字图像集合进行多次Sample采样Imgi，通过所述的提取器Es和语义特征提取器Ec进行特征提取，加入随机内容，形成特征向量zi，再通过所述的单字书法生成器Gs输入特征向量zi生成单字图片GenImgi；
步骤106、选择一个分布P(比如正态分布)多次Sample采样特征向量，加入随机内容，形成特征向量pzi，再通过所述的单字书法生成器Gs输入特征向量pzi生成单字图片PGenImgi
步骤107、更新所述的风格特征提取器Es、语义特征提取器Ec的参数，使得真实图像和生成图像的重构误差小于0.01(例如图像的L1距离)，并且通过所述的风格特征提取器Es、语义特征提取器Ec生成的特征向量z的分布接近步骤106选择的分布P(例如计算两个特征向量的KL散度)；
步骤108、更新所述的单字书法生成器Gs的参数，使得真实图像和生成图像的重构误差小于0.01(例如图像的L1距离)，同时要骗过所述的单字书法鉴别器Ds，使得所述的单字书法鉴别器Ds无法区分真实图片和由所述的单字书法生成器Gs生成的图片，并且满足单字的书法风格和语义内容；
步骤109、更新所述的单字书法鉴别器Ds的参数，使得可以区分真实图片Img、生成图片GenImg和PGenImg。
步骤110、交替训练，最终形成所述的单字生成网络模型；
步骤111、开始训练所述的页文字生成网络，初始化所述的页文字书法生成器Gw和所述的页文字书法鉴别器Dw；
步骤112、将一页文字的图片PageImage进行处理，并获取其书法风格和单个文字的语义内容；根据一页文字的内容逐个将文字输入到所述的单字书法生成器Gs的网络，生成单个文字图片，再将其按照行文顺序，输入到所述的单字组合器LSTM网络中，最终生成一页文字的书法图片GenPageImage；
步骤113、更新所述的单字组合器LSTM网络Gl的参数，使得所述的页书法鉴别器Dw无法区分真实图片PageImage和由所述的页文字书法生成器Gw生成的图片，并且满足单字的书法风格和语义内容；
步骤114、更新所述的页文字书法鉴别器Dw的参数，使得可以区分真实图片PageImage、生成图片GenPageImage。
步骤115、交替训练，最终形成所述的页文字生成网络模型。
二、书法文字生成
如图3所示，书法文字生成包括以下步骤：
步骤201、将需要生成手写体书法图像的文字内容，进行分页，形成单字语义特征向量，并记录行文顺序；
步骤202、设定目标书法风格向量；
步骤203、(可选的)采用用户个性化的手写体书法文字模型，通过采集该书写者的手写文字数据基于现有模型，进行有针对性的训练，调整参数，生成该书写者独特的文字生成模型Gw；
步骤204、将单字语义特征向量，目标书法风格向量并加入随机向量形成单字特征向量，将其按行文顺序输入到所述的页文字生成网络Gw；
步骤205、由所述的页文字生成网络Gw根据输入向量，生成书法手写体图片；
步骤206、将所有的待生成的文字内容转换为书法图像，形成多页内容。
以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种基于GAN网络的手写体书法文字生成方法，其特征在于，
将书法文字采集成图像，对图像进行特征提取，通过生成对抗网络基于风格和汉字内容完成手写体书法文字图像的生成；
整个GAN网络模型由单字生成网络和页文字生成网络构成，
单字生成网络由风格特征提取器、语义特征提取器、单字书法生成器和单字书法鉴别器构成，
页文字生成网络由页文字生成器和页书法鉴别器构成；
通过GAN网络交替训练生成器和鉴别器，完成单字网络的学习，通过LSTM网络学习单个文字之间的联系，形成最终的页手写体书法文字网络模型，用于指定文字书法的生成。
2.根据权利要求1所述的方法，其特征在于，
另外，通过用户个性化的文字内容采集，利用现有模型基础进行训练，形成该用户个性化的手写体文字生成模型，形成个性化的书法图像文字图片。
3.根据权利要求1所述的方法，其特征在于，
通过高清图像采集装置收集书法手写体文字，并将图像进行预处理，形成独立的文字图像，并记录文字的行文顺序。
4.根据权利要求1所述的方法，其特征在于，
训练过程中，先训练由风格特征提取器、语义特征提取器、单字书法生成器构成的网络，然后再交替训练风格特征提取器、语义特征提取器、单字书法生成器和单字书法鉴别器组成的网络，最终形成单字书法生成模型。
5.根据权利要求4所述的方法，其特征在于，
单字书法生成器训练完成后，则通过交替训练页文字生成器和页书法鉴别器，最终形成页书法文字生成模型，用于指定文字书法的生成。
6.根据权利要求4所述的方法，其特征在于，
所述的文字图片是由高清图像采集装置收集的真实手写体书法文字，并将图像进行预处理，形成大小一致的单字图像，并记录行文顺序；
所述的单字生成网络是GAN网络，对文字图像提取特征形成特征向量，由单字书法生成器生成书法文字图像，通过最小化文字图像重构误差，并且使得单字书法辨别器无法区分是由单字书法生成器生成的还是真实的采集文字图像；
所述的风格特征提取器是一个CNN神经网络，提取文字图像中的书法风格特征，是书法字体或个性化的书写方式，将提取结果形成特征向量；
所述的语义特征提取器是一个CNN神经网络，提取文字图像中的汉字语义内容，形成语义特征向量；
所述的单字书法生成器是一个神经网络，根据特征向量生成单字文字图片；
所述的单字书法鉴别器是一个神经网络，判断输入的图片是否真实，同时是否符合手写体书法文字风格，并且与输入的汉字语义一致；
所述的页文字生成网络由页文字生成器和页书法鉴别器构成，负责生成一页文字；
所述的页文字生成器由单字生成器和单字组合器构成，根据文字内容及风格生成一页图像；
所述的单字组合器是LSTM长短时序网络，负责将单字根据行文顺序进行组合；
所述的页书法鉴别器是一个生成网络，判断生成的一页文字是否真实，同时符合手写体书法文字风格，并且与输入的一页汉字语义一致。
7.根据权利要求6所述的方法，其特征在于，
书法手写体生成网络模型的训练，包括以下步骤：
步骤101、通过所述的高清图像采集装置收集书法手写体文字，形成图像数据，将图像进行预处理，形成大小一致的单字图像，对其进行数据标注，表明文字语义及书法风格，并记录文字的行文顺序；
步骤102、设计所述的单字生成网络和页文字生成网络的网络结构和目标函数；
步骤103、开始训练所述的单字生成网络，初始化所述的风格特征提取器Es、语义特征提取器Ec、单字书法生成器Gs和所述的单字书法鉴别器Ds；
步骤104、在步骤101采集的单字图像集合进行一次以上的Sample采样Imgi，通过提取器Es和语义特征提取器Ec进行特征提取，加入随机内容，形成特征向量zi，再通过单字书法生成器Gs输入特征向量zi生成单字图片GenImgi；
步骤106、选择一个分布P一次以上的Sample采样特征向量，加入随机内容，形成特征向量pzi，再通过单字书法生成器Gs输入特征向量pzi生成单字图片PGenImgi
步骤107、更新风格特征提取器Es、语义特征提取器Ec的参数，使得真实图像和生成图像的重构误差小于阈值，并且通过风格特征提取器Es、语义特征提取器Ec生成的特征向量z的分布接近步骤106选择的分布P；
步骤108、更新单字书法生成器Gs的参数，使得真实图像和生成图像的重构误差小于阈值，同时要骗过单字书法鉴别器Ds，使得所述的单字书法鉴别器Ds无法区分真实图片和由所述的单字书法生成器Gs生成的图片，并且满足单字的书法风格和语义内容；
步骤109、更新单字书法鉴别器Ds的参数，使得可以区分真实图片Img、生成图片GenImg和PGenImg。
步骤110、交替训练，最终形成单字生成网络模型；
步骤111、开始训练页文字生成网络，初始化页文字书法生成器Gw和页文字书法鉴别器Dw；
步骤112、将一页文字的图片PageImage进行处理，并获取其书法风格和单个文字的语义内容；根据一页文字的内容逐个将文字输入到单字书法生成器Gs的网络，生成单个文字图片，再将其按照行文顺序，输入到单字组合器LSTM网络中，最终生成一页文字的书法图片GenPageImage；
步骤113、更新单字组合器LSTM网络Gl的参数，使得页书法鉴别器Dw无法区分真实图片PageImage和由页文字书法生成器Gw生成的图片，并且满足单字的书法风格和语义内容；
步骤114、更新页文字书法鉴别器Dw的参数，使得可以区分真实图片PageImage、生成图片GenPageImage。
步骤115、交替训练，最终形成页文字生成网络模型。
8.根据权利要求1所述的方法，其特征在于，
书法文字生成，包括以下步骤：
步骤201、将需要生成手写体书法图像的文字内容，进行分页，形成单字语义特征向量，并记录行文顺序；
步骤202、设定目标书法风格向量；
步骤203、将单字语义特征向量，目标书法风格向量并加入随机向量形成单字特征向量，将其按行文顺序输入到页文字生成网络Gw；
步骤202、由页文字生成网络Gw根据输入向量，生成书法手写体图片；
步骤205、将所有的待生成的文字内容转换为书法图像，形成多页内容。
9.根据权利要求8所述的方法，其特征在于，
采用用户个性化的手写体书法文字模型，通过采集该书写者的手写文字数据基于现有模型，进行有针对性的训练，调整参数，生成该书写者独特的文字生成模型Gw。
CN201911197267.3A 2019-11-29 2019-11-29 一种基于gan网络的手写体书法文字生成方法 Active CN110969681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911197267.3A CN110969681B (zh) 2019-11-29 2019-11-29 一种基于gan网络的手写体书法文字生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911197267.3A CN110969681B (zh) 2019-11-29 2019-11-29 一种基于gan网络的手写体书法文字生成方法

Publications (2)

Publication Number Publication Date
CN110969681A true CN110969681A (zh) 2020-04-07
CN110969681B CN110969681B (zh) 2023-08-29

Family

ID=70032131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911197267.3A Active CN110969681B (zh) 2019-11-29 2019-11-29 一种基于gan网络的手写体书法文字生成方法

Country Status (1)

Country Link
CN (1) CN110969681B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898373A (zh) * 2020-08-21 2020-11-06 中国工商银行股份有限公司 手写日期样本生成方法及装置
CN112132916A (zh) * 2020-08-18 2020-12-25 浙江大学 一种利用生成对抗网络的篆刻作品定制化设计生成装置
CN112183027A (zh) * 2020-08-31 2021-01-05 同济大学 一种基于人工智能的艺术作品生成***及方法
CN112381910A (zh) * 2020-12-28 2021-02-19 北京亿信华辰软件有限责任公司武汉分公司 一种打印体字符手写风格化方法
CN113326009A (zh) * 2021-03-05 2021-08-31 临沂大学 一种纸质书法作品的复制方法和装置
CN113807430A (zh) * 2021-09-15 2021-12-17 网易（杭州）网络有限公司 模型训练的方法、装置、计算机设备及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040253565A1 (en) * 1997-07-10 2004-12-16 Kyu Jin Park Caption type language learning system using caption type learning terminal and communication network
CN106326907A (zh) * 2015-06-23 2017-01-11 王东锐 手写体自动评价方法和***
CN106570456A (zh) * 2016-10-13 2017-04-19 华南理工大学 基于全卷积递归网络的手写汉字文本识别方法
CN107578017A (zh) * 2017-09-08 2018-01-12 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN107644014A (zh) * 2017-09-25 2018-01-30 南京安链数据科技有限公司 一种基于双向lstm和crf的命名实体识别方法
CN107644006A (zh) * 2017-09-29 2018-01-30 北京大学 一种基于深度神经网络的手写体中文字库自动生成方法
CN108170649A (zh) * 2018-01-26 2018-06-15 广东工业大学 一种基于dcgan深度网络的汉字字库生成方法及装置
CN108268444A (zh) * 2018-01-10 2018-07-10 南京邮电大学 一种基于双向lstm、cnn和crf的中文分词方法
CN108304357A (zh) * 2018-01-31 2018-07-20 北京大学 一种基于字体流形的中文字库自动生成方法
CN109086408A (zh) * 2018-08-02 2018-12-25 腾讯科技（深圳）有限公司 文本生成方法、装置、电子设备及计算机可读介质
CN109241904A (zh) * 2018-08-31 2019-01-18 平安科技（深圳）有限公司 文字识别模型训练、文字识别方法、装置、设备及介质
CN109408776A (zh) * 2018-10-09 2019-03-01 西华大学 一种基于生成式对抗网络的书法字体自动生成算法
CN109492764A (zh) * 2018-10-24 2019-03-19 平安科技（深圳）有限公司 生成式对抗网络的训练方法、相关设备及介质
CN109543165A (zh) * 2018-11-21 2019-03-29 中国人民解放军战略支援部队信息工程大学 基于循环卷积注意力模型的文本生成方法及装置
CN109635883A (zh) * 2018-11-19 2019-04-16 北京大学 基于深度堆叠网络的结构信息指导的中文字库生成方法
CN110162751A (zh) * 2019-05-13 2019-08-23 百度在线网络技术（北京）有限公司 文本生成器训练方法和文本生成器训练***
CN110196972A (zh) * 2019-04-24 2019-09-03 北京奇艺世纪科技有限公司 文案生成方法、装置及计算机可读存储介质
CN110211032A (zh) * 2019-06-06 2019-09-06 北大方正集团有限公司 汉字字符的生成方法、装置及可读存储介质
CN110232337A (zh) * 2019-05-29 2019-09-13 中国科学院自动化研究所 基于全卷积神经网络的中文字符图像笔划提取方法、***

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040253565A1 (en) * 1997-07-10 2004-12-16 Kyu Jin Park Caption type language learning system using caption type learning terminal and communication network
CN106326907A (zh) * 2015-06-23 2017-01-11 王东锐 手写体自动评价方法和***
CN106570456A (zh) * 2016-10-13 2017-04-19 华南理工大学 基于全卷积递归网络的手写汉字文本识别方法
US20190080148A1 (en) * 2017-09-08 2019-03-14 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating image
CN107578017A (zh) * 2017-09-08 2018-01-12 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN107644014A (zh) * 2017-09-25 2018-01-30 南京安链数据科技有限公司 一种基于双向lstm和crf的命名实体识别方法
CN107644006A (zh) * 2017-09-29 2018-01-30 北京大学 一种基于深度神经网络的手写体中文字库自动生成方法
CN108268444A (zh) * 2018-01-10 2018-07-10 南京邮电大学 一种基于双向lstm、cnn和crf的中文分词方法
CN108170649A (zh) * 2018-01-26 2018-06-15 广东工业大学 一种基于dcgan深度网络的汉字字库生成方法及装置
CN108304357A (zh) * 2018-01-31 2018-07-20 北京大学 一种基于字体流形的中文字库自动生成方法
CN109086408A (zh) * 2018-08-02 2018-12-25 腾讯科技（深圳）有限公司 文本生成方法、装置、电子设备及计算机可读介质
CN109241904A (zh) * 2018-08-31 2019-01-18 平安科技（深圳）有限公司 文字识别模型训练、文字识别方法、装置、设备及介质
CN109408776A (zh) * 2018-10-09 2019-03-01 西华大学 一种基于生成式对抗网络的书法字体自动生成算法
CN109492764A (zh) * 2018-10-24 2019-03-19 平安科技（深圳）有限公司 生成式对抗网络的训练方法、相关设备及介质
CN109635883A (zh) * 2018-11-19 2019-04-16 北京大学 基于深度堆叠网络的结构信息指导的中文字库生成方法
CN109543165A (zh) * 2018-11-21 2019-03-29 中国人民解放军战略支援部队信息工程大学 基于循环卷积注意力模型的文本生成方法及装置
CN110196972A (zh) * 2019-04-24 2019-09-03 北京奇艺世纪科技有限公司 文案生成方法、装置及计算机可读存储介质
CN110162751A (zh) * 2019-05-13 2019-08-23 百度在线网络技术（北京）有限公司 文本生成器训练方法和文本生成器训练***
CN110232337A (zh) * 2019-05-29 2019-09-13 中国科学院自动化研究所 基于全卷积神经网络的中文字符图像笔划提取方法、***
CN110211032A (zh) * 2019-06-06 2019-09-06 北大方正集团有限公司 汉字字符的生成方法、装置及可读存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132916A (zh) * 2020-08-18 2020-12-25 浙江大学 一种利用生成对抗网络的篆刻作品定制化设计生成装置
CN112132916B (zh) * 2020-08-18 2023-11-14 浙江大学 一种利用生成对抗网络的篆刻作品定制化设计生成装置
CN111898373A (zh) * 2020-08-21 2020-11-06 中国工商银行股份有限公司 手写日期样本生成方法及装置
CN111898373B (zh) * 2020-08-21 2023-09-26 中国工商银行股份有限公司 手写日期样本生成方法及装置
CN112183027A (zh) * 2020-08-31 2021-01-05 同济大学 一种基于人工智能的艺术作品生成***及方法
CN112183027B (zh) * 2020-08-31 2022-09-06 同济大学 一种基于人工智能的艺术作品生成***及方法
CN112381910A (zh) * 2020-12-28 2021-02-19 北京亿信华辰软件有限责任公司武汉分公司 一种打印体字符手写风格化方法
CN113326009A (zh) * 2021-03-05 2021-08-31 临沂大学 一种纸质书法作品的复制方法和装置
CN113326009B (zh) * 2021-03-05 2022-05-31 临沂大学 一种纸质书法作品的复制方法和装置
CN113807430A (zh) * 2021-09-15 2021-12-17 网易（杭州）网络有限公司 模型训练的方法、装置、计算机设备及存储介质
CN113807430B (zh) * 2021-09-15 2023-08-08 网易（杭州）网络有限公司 模型训练的方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110969681B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110969681A (zh) 一种基于gan网络的手写体书法文字生成方法
CN110750959B (zh) 文本信息处理的方法、模型训练的方法以及相关装置
US11899927B2 (en) Simulated handwriting image generator
CN110020437B (zh) 一种视频和弹幕相结合的情感分析及可视化方法
CN109544442B (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
CN110580500A (zh) 一种面向人物交互的网络权重生成少样本图像分类方法
CN111582241A (zh) 视频字幕识别方法、装置、设备及存储介质
CN105279495A (zh) 一种基于深度学习和文本总结的视频描述方法
CN108090400A (zh) 一种图像文本识别的方法和装置
CN109614944A (zh) 一种数学公式识别方法、装置、设备及可读存储介质
CN111046760B (zh) 一种基于域对抗网络的笔迹鉴定方法
CN107480144A (zh) 具备跨语言学习能力的图像自然语言描述生成方法和装置
CN110334724B (zh) 基于lstm的遥感对象自然语言描述及多尺度矫正方法
CN108664975A (zh) 一种维吾尔文手写字母识别方法、***及电子设备
CN114596566B (zh) 文本识别方法及相关装置
CN110178139A (zh) 使用具有注意力机制的全卷积神经网络的字符识别的***和方法
CN110427819A (zh) 一种识别图像中ppt边框的方法及相关设备
CN111581367A (zh) 一种题目录入的方法和***
CN106227836B (zh) 基于图像与文字的无监督联合视觉概念学习***及方法
CN112381082A (zh) 基于深度学习的表格结构重建方法
CN110610006B (zh) 基于笔画和字形的形态学双通道中文词嵌入方法
Nikitha et al. Handwritten text recognition using deep learning
CN111199208A (zh) 一种基于深度学习框架的头像性别识别方法及***
Yu et al. Mask-guided GAN for robust text editing in the scene
CN110659702A (zh) 基于生成式对抗网络模型书法字帖评价***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230801

Address after: 250100 building S02, No. 1036, Langchao Road, high tech Zone, Jinan City, Shandong Province

Applicant after: Shandong Inspur Scientific Research Institute Co.,Ltd.

Address before: North 6th floor, S05 building, Langchao Science Park, 1036 Langchao Road, hi tech Zone, Jinan City, Shandong Province, 250100

Applicant before: SHANDONG INSPUR ARTIFICIAL INTELLIGENCE RESEARCH INSTITUTE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200407

Assignee: Shandong Inspur Digital Business Technology Co.,Ltd.

Assignor: Shandong Inspur Scientific Research Institute Co.,Ltd.

Contract record no.: X2023980053547

Denomination of invention: A Handwritten Calligraphy Text Generation Method Based on GAN Network

Granted publication date: 20230829

License type: Exclusive License

Record date: 20231226

EE01 Entry into force of recordation of patent licensing contract