CN112183027A - 一种基于人工智能的艺术作品生成***及方法 - Google Patents

一种基于人工智能的艺术作品生成***及方法 Download PDF

Info

Publication number
CN112183027A
CN112183027A CN202010893325.2A CN202010893325A CN112183027A CN 112183027 A CN112183027 A CN 112183027A CN 202010893325 A CN202010893325 A CN 202010893325A CN 112183027 A CN112183027 A CN 112183027A
Authority
CN
China
Prior art keywords
chinese character
abstract
artificial intelligence
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010893325.2A
Other languages
English (en)
Other versions
CN112183027B (zh
Inventor
范凌
王建楠
卓京港
都峤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010893325.2A priority Critical patent/CN112183027B/zh
Publication of CN112183027A publication Critical patent/CN112183027A/zh
Application granted granted Critical
Publication of CN112183027B publication Critical patent/CN112183027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/126Character encoding
    • G06F40/129Handling non-Latin characters, e.g. kana-to-kanji conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人工智能的艺术作品生成方法,具体包括以下步骤:步骤S1:获取中文字符串,将中文字符串编码为定长向量;步骤S2:将定长向量作为控制条件,使用预先训练的深度学习模型生成具有多个汉字特征的抽象汉字图像;步骤S3:获取预设的美学指标,根据美学指标对抽象汉字图像进行筛选;步骤S4:结合输入图像和生成图像,绘制筛选后的抽象汉字图像。本发明将书法作为文字和艺术的共同载体,具有丰富人工智能对文字和图像内容进行转化的功能范围,提高人工智能进行文字和图像转化的适用性和稳定性等优点。

Description

一种基于人工智能的艺术作品生成***及方法
技术领域
本发明涉及人工智能技术领域,尤其是涉及一种基于人工智能的艺术作品生成***及方法。
背景技术
近些年较多研究把人工智能模型用于艺术作品的生成,包括绘画、诗歌、音乐等,与此同时人工智能中将文字内容转化为图片的功能也得到了广泛研究,现有技术中已经存在较多模型可以将一段描述性语言转化为符合描述的图片,但只限于进行普通描述的图片,缺少将文字内容转化为艺术作品,通过艺术作品来体现文字所蕴含的美学意义。而书法是一种同时有文字意义和美学意义的艺术形式,这种特性使其可以作为链接文字和艺术的转换介质。
发明内容
本发明的目的就是为了克服上述现有技术存在的人工智能领域中缺少将文字内容转化为艺术作品、转化效果不理想的缺陷而提供一种基于人工智能的艺术作品生成***及方法。
本发明的目的可以通过以下技术方案来实现:
一种基于人工智能的艺术作品生成方法,具体包括以下步骤:
步骤S1:获取中文字符串,将所述中文字符串编码为定长向量;
步骤S2:将所述定长向量作为控制条件,使用预先训练的深度学习模型生成具有多个汉字特征的抽象汉字图像;
步骤S3:获取预设的美学指标,根据所述美学指标对抽象汉字图像进行筛选;
步骤S4:结合输入图像和生成图像,绘制筛选后的所述抽象汉字图像。
所述步骤S1中通过双向变压器编码模型对中文字符串进行编码。
所述步骤S2中深度学习模型具体为生成式对抗网络。
所述步骤S3中对抽象汉字图像进行筛选的方式包括根据白色占比进行筛选或使用基于卷积神经网络的美学评价模型进行筛选。
进一步地,所述根据白色占比进行筛选的方式具体为计算生成的抽象汉字图像中白色像素点占全体的比重,与预设的比重阈值进行对比,剔除对应比重大于比重阈值的抽象汉字图像。
进一步地,所述使用基于卷积神经网络的美学评价模型进行筛选的方式具体为将生成的抽象汉字图像输入美学评价模型,得到美学评价分数,与预设的分数阈值进行对比,剔除对应的美学评价分数低于分数阈值的抽象汉字图像。
所述步骤S4中绘制抽象汉字图像的方式包括风格迁移绘制或画笔绘制。
进一步地,所述风格迁移绘制的过程具体为获取输入的目标风格图片,将所述目标风格图片和抽象汉字图像输入卷积神经网络模型进行训练,输出抽象汉字图像的绘制结果。
进一步地,所述画笔绘制的过程具体为通过预置的笔刷,从空白画布开始进行绘制,在过程中根据输入图像调整笔刷的属性,不断拟合生成结果,最终输出抽象汉字图像的绘制结果。
所述笔刷的属性包括大小、颜色、位置和角度。所述笔刷的初始颜色通过输入的颜色或上传图片进行设定,若接收到用户输入的颜色,则笔刷的初始颜色即从用户输入的颜色中进行挑选,若接收到用户上传的图片,则从图片中提取多个主色调,从中挑选一个作为笔刷的初始颜色。
一种基于人工智能的艺术作品生成***,使用所述基于人工智能的艺术作品生成方法,包括用户端和模型端,所述用户端获取用户上传的文字、图片和颜色,以及设定的编码字符数、模型迭代次数,生成中文字符串发送至模型端,所述模型端具体执行以下步骤:
步骤S1:获取中文字符串,将所述中文字符串编码为定长向量;
步骤S2:将所述定长向量作为控制条件,使用预先训练的深度学习模型生成具有多个汉字特征的抽象汉字图像;
步骤S3:获取预设的美学指标,根据所述美学指标对抽象汉字图像进行筛选;
步骤S4:结合输入图像和生成图像,绘制筛选后的所述抽象汉字图像。
与现有技术相比,本发明具有以下有益效果:
本发明将书法作为文字和艺术的共同载体,通过将中文字符串编码为定长向量,由生成式对抗网络将多个汉字的特征进行组合,生成符合书法形式的抽象汉字图像,并根据输入图像通过风格迁移或画笔进行绘制,实现了从文字和图像内容转化为艺术作品,丰富了人工智能对文字和图像内容进行转化的功能范围,提高了人工智能进行文字和图像转化的适用性和稳定性。
附图说明
图1为本发明方法的流程示意图;
图2为本发明***的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
一种基于人工智能的艺术作品生成方法,将获取的文字内容转化为书法形式的艺术作品,具体包括以下步骤:
步骤S1:获取中文字符串,将中文字符串编码为定长向量;
步骤S2:将定长向量作为控制条件,使用预先训练的深度学习模型生成具有多个汉字特征的抽象汉字图像;
步骤S3:获取预设的美学指标,根据美学指标对抽象汉字图像进行筛选;
步骤S4:结合输入图像和生成图像,绘制筛选后的抽象汉字图像。
步骤S1中通过双向变压器编码模型对中文字符串进行编码,双向变压器编码模型中设有100个汉字的书法图像,编码为1个100维的向量,每一维对应一个已有汉字,将输入的可变长度中文字符串映射到了100个汉字上。
当用户输入中文字符串之后,双向变压器编码模型首先使用已有词库对输入的中文字符串进行第一次编码,对应到已有词库的id上;然后将第一次编码的结果输入模型,得到中文字符串的第二次编码。得到的第二次编码与汉字的特征向量具有同样的形状,然后计算第二次编码与100个特征向量的相关程度,并将此作为得分,再对结果进行排序,取前若干个得分对应的汉字,作为中文字符串的映射结果。
步骤S2中深度学习模型具体为生成式对抗网络,分为预先训练阶段和生成阶段。
在预先训练阶段中,以100个选定汉字的图像为基础,每一次训练过程,选定一个汉字作为生成目标,然后将条件向量对应位置设为1,其余位置设为0,配合随机噪声输入模型,得到结果后与已有的汉字图像进行比对,得到误差,并调整对应模型的权重。
在生成阶段,首先初始化一个100维全为0的向量,将得到的若干个汉字在该向量中的对应位置设为1,最后将这个向量作为生成模型的输入,生成模型根据这个向量生成的结果,即为融合了多个汉字特征的抽象汉字图像。
步骤S3中对抽象汉字图像进行筛选的方式包括根据白色占比进行筛选或使用基于卷积神经网络的美学评价模型进行筛选。
根据白色占比进行筛选的方式具体为计算生成的抽象汉字图像中白色像素点占全体的比重,与预设的比重阈值进行对比,剔除对应比重大于比重阈值的抽象汉字图像。
使用基于卷积神经网络的美学评价模型进行筛选的方式具体为将生成的抽象汉字图像输入美学评价模型,得到美学评价分数,与预设的分数阈值进行对比,剔除对应的美学评价分数低于分数阈值的抽象汉字图像。
进行步骤S4的绘制之前对抽象汉字图像进行降噪的预处理,使得抽象汉字图像更加平滑。
步骤S4中绘制抽象汉字图像的方式包括风格迁移绘制或画笔绘制。
风格迁移绘制的过程具体为获取输入的目标风格图片,将目标风格图片和抽象汉字图像输入卷积神经网络模型进行训练,输出抽象汉字图像的绘制结果。
画笔绘制的过程具体为通过预置的笔刷,从空白画布开始进行绘制,在过程中根据输入图像调整笔刷的属性,不断拟合生成结果,最终输出抽象汉字图像的绘制结果。
笔刷的属性包括大小、颜色、位置和角度。笔刷的初始颜色通过输入的颜色或上传图片进行设定,若接收到用户输入的颜色,则笔刷的初始颜色即从用户输入的颜色中进行挑选,若接收到用户上传的图片,则从图片中提取多个主色调,从中挑选一个作为笔刷的初始颜色。
笔刷通过旋转或翻转来调整绘制的形状和位置。
提取多个主色调时使用的方法为k-means方法。
在画笔绘制的过程中,需要比对绘制前后的画布与输入灰度图像之间的差异值,若差异值减小的幅度满足预设的幅度阈值,则根据当前的笔刷的属性绘制一笔,否则采用梯度下降算法调整笔刷的大小、角度、位置和颜色,重复上述过程直到满足阈值调节绘制一笔或者达到指定的重复次数。
一种基于人工智能的艺术作品生成***,使用基于人工智能的艺术作品生成方法,包括用户端和模型端,用户端获取用户上传的文字、图片和颜色,以及设定的编码字符数、模型迭代次数,将用户输入发送至模型端,模型端具体执行以下步骤:
步骤S1:获取中文字符串,将中文字符串编码为定长向量;
步骤S2:将定长向量作为控制条件,使用预先训练的深度学习模型生成具有多个汉字特征的抽象汉字图像;
步骤S3:获取预设的美学指标,根据美学指标对抽象汉字图像进行筛选;
步骤S4:结合输入图像和生成图像,绘制筛选后的抽象汉字图像。
此外,需要说明的是,本说明书中所描述的具体实施例子,所取名称可以不同,本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化,均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法,只要不偏离本发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

Claims (10)

1.一种基于人工智能的艺术作品生成方法,其特征在于,具体包括以下步骤:
步骤S1:获取中文字符串,将所述中文字符串编码为定长向量;
步骤S2:将所述定长向量作为控制条件,使用预先训练的深度学习模型生成具有多个汉字特征的抽象汉字图像;
步骤S3:获取预设的美学指标,根据所述美学指标对抽象汉字图像进行筛选;
步骤S4:结合输入图像和生成图像,绘制筛选后的所述抽象汉字图像。
2.根据权利要求1所述的一种基于人工智能的艺术作品生成方法,其特征在于,所述步骤S1中通过双向变压器编码模型对中文字符串进行编码。
3.根据权利要求1所述的一种基于人工智能的艺术作品生成方法,其特征在于,所述步骤S2中深度学习模型具体为生成式对抗网络。
4.根据权利要求1所述的一种基于人工智能的艺术作品生成方法,其特征在于,所述步骤S3中对抽象汉字图像进行筛选的方式包括根据白色占比进行筛选或使用基于卷积神经网络的美学评价模型进行筛选。
5.根据权利要求4所述的一种基于人工智能的艺术作品生成方法,其特征在于,所述根据白色占比进行筛选的方式具体为计算生成的抽象汉字图像中白色像素点占全体的比重,与预设的比重阈值进行对比,剔除对应比重大于比重阈值的抽象汉字图像。
6.根据权利要求4所述的一种基于人工智能的艺术作品生成方法,其特征在于,所述使用基于卷积神经网络的美学评价模型进行筛选的方式具体为将生成的抽象汉字图像输入美学评价模型,得到美学评价分数,与预设的分数阈值进行对比,剔除对应的美学评价分数低于分数阈值的抽象汉字图像。
7.根据权利要求1所述的一种基于人工智能的艺术作品生成方法,其特征在于,所述步骤S4中绘制抽象汉字图像的方式包括风格迁移绘制或画笔绘制。
8.根据权利要求7所述的一种基于人工智能的艺术作品生成方法,其特征在于,所述风格迁移绘制的过程具体为获取输入的目标风格图片,将所述目标风格图片和抽象汉字图像输入卷积神经网络模型进行训练,输出抽象汉字图像的绘制结果。
9.根据权利要求7所述的一种基于人工智能的艺术作品生成方法,其特征在于,所述画笔绘制的过程具体为通过预置的笔刷,从空白画布开始进行绘制,在过程中根据输入图像调整笔刷的属性,不断拟合生成结果,最终输出抽象汉字图像的绘制结果。
10.一种基于人工智能的艺术作品生成***,其特征在于,使用权利要求1-9任一所述的基于人工智能的艺术作品生成方法,包括用户端和模型端,所述用户端获取用户上传的文字、图片和颜色,以及设定的编码字符数、模型迭代次数,生成中文字符串发送至模型端,所述模型端具体执行以下步骤:
步骤S1:获取中文字符串,将所述中文字符串编码为定长向量;
步骤S2:将所述定长向量作为控制条件,使用预先训练的深度学习模型生成具有多个汉字特征的抽象汉字图像;
步骤S3:获取预设的美学指标,根据所述美学指标对抽象汉字图像进行筛选;
步骤S4:结合输入图像和生成图像,绘制筛选后的所述抽象汉字图像。
CN202010893325.2A 2020-08-31 2020-08-31 一种基于人工智能的艺术作品生成***及方法 Active CN112183027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010893325.2A CN112183027B (zh) 2020-08-31 2020-08-31 一种基于人工智能的艺术作品生成***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010893325.2A CN112183027B (zh) 2020-08-31 2020-08-31 一种基于人工智能的艺术作品生成***及方法

Publications (2)

Publication Number Publication Date
CN112183027A true CN112183027A (zh) 2021-01-05
CN112183027B CN112183027B (zh) 2022-09-06

Family

ID=73924663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010893325.2A Active CN112183027B (zh) 2020-08-31 2020-08-31 一种基于人工智能的艺术作品生成***及方法

Country Status (1)

Country Link
CN (1) CN112183027B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818634A (zh) * 2021-01-29 2021-05-18 上海海事大学 书法作品风格迁移***、方法及终端
CN112837255A (zh) * 2021-04-13 2021-05-25 上海影卓信息科技有限公司 在图像中添加浮世绘海浪倒影的方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393645A (zh) * 2008-09-12 2009-03-25 浙江大学 一种手写体汉字的计算机生成与美化方法
CN107644006A (zh) * 2017-09-29 2018-01-30 北京大学 一种基于深度神经网络的手写体中文字库自动生成方法
CN108459999A (zh) * 2018-02-05 2018-08-28 杭州时趣信息技术有限公司 一种字体设计方法、***、设备及计算机可读存储介质
WO2019232874A1 (zh) * 2018-06-04 2019-12-12 平安科技(深圳)有限公司 汉字模型训练方法、汉字识别方法、装置、设备及介质
CN110969681A (zh) * 2019-11-29 2020-04-07 山东浪潮人工智能研究院有限公司 一种基于gan网络的手写体书法文字生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393645A (zh) * 2008-09-12 2009-03-25 浙江大学 一种手写体汉字的计算机生成与美化方法
CN107644006A (zh) * 2017-09-29 2018-01-30 北京大学 一种基于深度神经网络的手写体中文字库自动生成方法
CN108459999A (zh) * 2018-02-05 2018-08-28 杭州时趣信息技术有限公司 一种字体设计方法、***、设备及计算机可读存储介质
WO2019232874A1 (zh) * 2018-06-04 2019-12-12 平安科技(深圳)有限公司 汉字模型训练方法、汉字识别方法、装置、设备及介质
CN110969681A (zh) * 2019-11-29 2020-04-07 山东浪潮人工智能研究院有限公司 一种基于gan网络的手写体书法文字生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡凌豪,范凌,赖文波等: "设计视角下人工智能的定义、应用及影响", 《景观设计学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818634A (zh) * 2021-01-29 2021-05-18 上海海事大学 书法作品风格迁移***、方法及终端
CN112818634B (zh) * 2021-01-29 2024-04-05 上海海事大学 书法作品风格迁移***、方法及终端
CN112837255A (zh) * 2021-04-13 2021-05-25 上海影卓信息科技有限公司 在图像中添加浮世绘海浪倒影的方法和***

Also Published As

Publication number Publication date
CN112183027B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN107644006B (zh) 一种基于深度神经网络的手写体中文字库自动生成方法
CN110223359B (zh) 一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用
Guo et al. Auto-embedding generative adversarial networks for high resolution image synthesis
CN112950661B (zh) 一种基于注意力生成对抗网络人脸卡通画生成方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN112183027B (zh) 一种基于人工智能的艺术作品生成***及方法
CN108629338B (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN108615252A (zh) 基于参考图像的线稿上色模型的训练方法以及装置
CN108510456A (zh) 基于感知损失的深度卷积神经网络的草图简化方法
Zhang et al. Bionic face sketch generator
CN113807265B (zh) 一种多样化的人脸图像合成方法及***
CN111861945B (zh) 一种文本引导的图像修复方法和***
CN108564120A (zh) 基于深度神经网络的特征点提取方法
CN112837210B (zh) 一种基于特征图分块的多形变风格人脸漫画自动生成方法
CN106023276A (zh) 基于图像处理的铅笔画绘制方法及装置
CN112036137A (zh) 一种基于深度学习的多风格书法数字墨水仿真方法和***
CN114066871B (zh) 一种新冠肺炎病灶区域分割模型训练的方法
CN110097615B (zh) 一种联合风格化和去风格化的艺术字编辑方法和***
CN112633288B (zh) 一种基于绘画笔触指导的人脸素描生成方法
CN110298898A (zh) 更改汽车图像车身颜色的方法及其算法结构
CN115861614A (zh) 一种基于羽绒服图像的自动生成语义分割图的方法和装置
CN110598718A (zh) 基于注意力机制及卷积神经网络的图像特征提取方法
CN113052784B (zh) 一种基于多辅助信息下的图像生成方法
CN111027433A (zh) 一种基于卷积神经网络的多重风格人脸特征点检测方法
CN113610703A (zh) 一种基于关键部位注意力机制的日漫人物生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant