CN108537855B - 一种草图一致的陶瓷花纸图案生成方法及装置 - Google Patents
一种草图一致的陶瓷花纸图案生成方法及装置 Download PDFInfo
- Publication number
- CN108537855B CN108537855B CN201810281322.6A CN201810281322A CN108537855B CN 108537855 B CN108537855 B CN 108537855B CN 201810281322 A CN201810281322 A CN 201810281322A CN 108537855 B CN108537855 B CN 108537855B
- Authority
- CN
- China
- Prior art keywords
- ceramic
- paper pattern
- stained paper
- pattern
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000919 ceramic Substances 0.000 title claims abstract description 281
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 2
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于信息处理技术领域和人工智能领域，尤其涉及一种草图一致的陶瓷花纸图案生成方法及装置，包括：（1）构建陶瓷花纸图案线条标注模型；（2）根据陶瓷花纸图案库利用陶瓷花纸图案线条标注模型获取陶瓷花纸图案的线条标注；（3）构建一种人工神经网络近似建模的陶瓷花纸图案生成模型；（4）根据陶瓷花纸图案及其线条标注通过基于人工智能的训练方法获取陶瓷花纸图案生成模型。本发明公开的一种草图一致的陶瓷花纸图案生成方法通过陶瓷花纸图案生成模型识别用户手绘草图描述的对陶瓷花纸图案的生成需求，从而自动生成与用户手绘草图一致的符合用户意图的陶瓷花纸图案。
Description
技术领域
本发明属于信息处理技术领域和人工智能领域，尤其涉及一种草图一致的陶瓷花纸图案生成方法及装置。
背景技术
随着人工智能的发展，特别是生成对抗神经网络的提出，计算机生成可媲美真实图片的能力得到了极大的提升。比如专利CN 107016406 A提出的病虫害图片生成方法以及专利CN 107220600 A提出的人脸表情图片生成方法，可以根据机器理解的用户需求生成从一定程度上满足用户需求的图片。
手绘草图是人类一种自然而直接的思路外化和交流方式，草图能够使用简单的形状来表达人们抽象的思维意图，在表达对陶瓷花纸图案的生成需求时，有时用户提供一个手绘草图或其他形式的草图可能是简便直观的方式。当前的草图识别的目的在于利用手绘草图从图像数据库中检索出于包含草图特征的图像，比如专利CN 102339306 B或专利CN107220277 A等提出的图像检索方法，以及专利CN 107633065 A公开的手绘草图识别方法等，为了利用用户手绘草图生成原本不存在于图像数据库中的图案，如何让机器准确地获取用户提供的草图所描述的对陶瓷花纸图案的需求及其对应的参数信息，自动生成与用户意图一致的陶瓷花纸图案，是一个非常重要的技术问题，目前尚无较好的方法。
综上所述，现有技术存在的问题是：
当前的草图识别的目的在于利用手绘草图从图像数据库中检索出于包含草图特征的图像，为了让机器理解用户手绘草图并自动生成原本不存在于图像数据库中的图案，如何让机器准确地获取用户提供的草图所描述的对陶瓷花纸图案的需求及其对应的参数信息，并自动生成与用户意图一致的陶瓷花纸图案，是一个非常重要的技术问题，目前尚无较好的方法。
解决上述技术问题的难度和意义：
任一给定像素分辨率的图像都是高维图像空间内的一个数据点，所有近似真实的清晰的图像构成的是浩瀚的高维图像空间的一个紧凑的分布流行（Manifold），利用生成对抗神经网络的学习训练方法可以使得计算机在高维的图像空间内采样的数据基本分布在该流行上，本发明方法提供了一种手绘草图启发的陶瓷花纸图案生成模型，使得计算机能够在该流行上的特定分布空间内采样，从而生成与手绘草图一致的近似真实的陶瓷花纸图案。
发明内容
针对现有技术存在的问题，本发明提供了一种草图一致的陶瓷花纸图案生成方法及装置。
本发明是这样实现的，该草图一致的陶瓷花纸图案生成方法包括如下步骤：
步骤一、构建陶瓷花纸图案线条标注模型；
步骤二、根据陶瓷花纸图案库，利用陶瓷花纸图案线条标注模型获取陶瓷花纸图案的线条标注；
步骤三、构建一种人工神经网络近似建模的陶瓷花纸图案生成模型；
步骤四、根据陶瓷花纸图案及其线条标注通过基于人工智能的训练方法获取陶瓷花纸图案生成模型。
在步骤一中，所述的陶瓷花纸图案线条标注模型包含两个处理模块：图案边缘提取模块和线条图变换模块；
所述图案边缘提取模块通过数字图像处理中的边缘提取算法提取图像边缘等处理过程实现；
所述线条图变换模块通过数组图像处理中的变形、扭曲等图形变换以及简化变换；所述变形、扭曲等变换可以通过数字图像处理中的相似变换、仿射变换或投影变换实现；所述简化变换可以通过道格拉斯-普克抽稀算法实现。
在步骤二中，将陶瓷花纸图案经陶瓷花纸图案线条标注模型生成与陶瓷花纸图案对应的线条标注过程为：
将陶瓷花纸图案输入瓷花纸图案线条标注模型的图案边缘提取模块，获取与输入的陶瓷花纸图案对应的初始线条图；
将陶瓷花纸图案初始线条图输入瓷花纸图案线条标注模型的线条图变换模块，获取线条图经过变形、扭曲等图形变换以及简化变换后的线条图组成的陶瓷花纸图案变换后线条图；
将陶瓷花纸图案初始线条图和陶瓷花纸图案变换后线条图共同作为陶瓷花纸图案的线条标注集。
在构建陶瓷花纸图案对应的线条标注集时，还收集由标注用户手绘的与陶瓷花纸图案对应的线条图，并将标注用户手绘的线条图经线条图变换模块处理后加入陶瓷花纸图案的线条标注集。
在步骤三中，使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案生成模型步骤；
所述的陶瓷花纸图案生成模型包括输入层、第一卷积层、第二卷积层、第三卷积层、第一残差网络块层、第一上采样层、第二上采样层、输出层，以用户提供的手绘草图作为陶瓷花纸图案生成模型的输入层，所述输入经过所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第一残差网络块层、所述第一上采样层处理后，所述第一上采样层的输出数据和第二卷积层的输出数据共同经所述第二上采样层处理，所述第二上采样层的输出数据和第一卷积层的输出数据共同经所述输出层处理后输出数据；
在步骤三中，通过训练获取陶瓷花纸图案生成模型的训练过程在于通过人工智能的学习训练使得陶瓷花纸图案生成模型的输出数据能最小化第一损失函数；
所述第一损失函数定义如下：
其中，
表示所述陶瓷花纸图案生成模型的输出数据，
由陶瓷花纸图案判别模型定义，
为使得陶瓷花纸图案判别模型能区分输入是陶瓷花纸图案训练样本
，
为使陶瓷花纸图案生成模型的输出数据能够欺骗陶瓷花纸图案判别模型，
为使陶瓷花纸图案生成模型的输出数据的图像特征和陶瓷花纸图案训练样本的图像特征一致，
表示在陶瓷花纸图案判别模型的第
层提取特征。
所述陶瓷花纸图案判别模型由卷积神经网络近似建模，陶瓷花纸图案判别模型包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、全连接层，所述输入经过所述输入层、所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层、所述全连接层后输出数据；
本发明的另一目的在于提供一种草图一致的陶瓷花纸图案生成装置，该草图一致的陶瓷花纸图案生成装置包括：
第一生成模块：用于根据陶瓷花纸图案库获取陶瓷花纸图案的线条标注；
第二生成模块：用于根据陶瓷花纸图案及其线条标注通过人工智能的训练方法获取陶瓷花纸图案生成模型；
第一处理模块：用于接收用户输入的以线条草图形式表达的生成需求；
第一获取模块：用于通过陶瓷花纸图案生成模型将当前输入的线条草图和随机扰动与历史输入的线条标注融合，并获取与用户需求一致的陶瓷花纸图案；
第二处理模块：用于展示当前由陶瓷花纸图案生成模型生成的陶瓷花纸图案，并接收用户对陶瓷花纸图案的选择和评价；
第三处理模块：用于将用户选择的陶瓷花纸图案和用户输入的以线条草图形式表达的生成需求进行组合以获得新的陶瓷花纸图案线条标注样本。
综上所述，本发明的优点及积极效果为：
1. 本发明方法利用图案边缘提取模块和线条图变换模块组成陶瓷花纸图案线条标注模型，机器可通过该模型获取陶瓷花纸图案的线条标注，有效解决了训练样本少且获取成本高的难题；
2. 本发明方法针对用户手绘草图到陶瓷花纸图案的映射特点设计了一种全新的包含多种隐层架构的人工神经网络，并通过人工智能的学习训练方法获取陶瓷花纸图案生成模型；通过陶瓷花纸图案生成模型识别用户手绘草图描述的对陶瓷花纸图案的生成需求，并生成与用户手绘草图一致的陶瓷花纸图案，有效解决了与手绘草图一致的陶瓷花纸图案的机器自动生成问题。
附图说明
图1是根据本发明一个实施例的一种草图一致的陶瓷花纸图案生成方法的流程图；
图2是根据本发明的一个实施例的获取陶瓷花纸图案的线条标注结构示意图；
图3是根据本发明的一个实施例的陶瓷花纸生成模型的结构示意图；
图4是根据本发明的一个实施例的陶瓷花纸图案判别模型的结构示意图；
图5是根据本发明的一个实施例的基于人工智能的草图识别的陶瓷花纸图案生成方法的流程图；
图6是根据本发明的另一个实施例的基于人工智能的草图识别的陶瓷花纸图案生成方法的流程图；
图7是根据本发明的一个实施例的基于人工智能的草图识别的陶瓷花纸图案生成装置的结构示意图；
图8是根据本发明的另一个实施例的基于人工智能的草图识别的陶瓷花纸图案生成装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面参考附图描述本发明实施例的基于人工智能的草图识别的陶瓷花纸图案生成方法和装置。
如图1所示，本发明实施例的基于草图识别的陶瓷花纸图案生成需求识别方法包括如下步骤：
步骤S101，构建陶瓷花纸图案线条标注模型；
在本步骤中，构建陶瓷花纸图案线条标注模型为了机器自动对陶瓷花纸图案进行线条标注，现结合图2详细描述如下：
在本步骤中，所述的陶瓷花纸图案线条标注模型200包含两个处理模块：图案边缘提取模块202和线条图变换模块203；
所述图案边缘提取模块202通过数字图像处理中的边缘提取算法提取图像边缘等处理过程实现；
所述线条图变换模块203通过数组图像处理中的变形、扭曲等图形变换以及简化变换；所述变形、扭曲等变换可以通过数字图像处理中的相似变换、仿射变换或投影变换实现；所述简化变换可以通过道格拉斯-普克抽稀算法实现。
步骤S102，根据陶瓷花纸图案库，利用陶瓷花纸图案线条标注模型获取陶瓷花纸图案的线条标注；
在本步骤中，给定陶瓷花纸图案时，获取该陶瓷花纸图案的线条标注有两种途径：一是由标注用户手绘的与陶瓷花纸图案对应的线条标注；二是通过陶瓷花纸图案线条标注模型，输入陶瓷花纸图案，由机器自动获得与陶瓷花纸图案对应的线条标注。现结合图2详细描述如下：
如图2所示，将陶瓷花纸图案201输入图案边缘提取模块202，获取与输入的陶瓷花纸图案对应的初始线条图；
如图2所示，将陶瓷花纸图案初始线条图输入线条图变换模块203，获取线条图经过变形、扭曲等图形变换以及简化变换后的线条图组成的陶瓷花纸图案变换后线条图；
如图2所示，将陶瓷花纸图案初始线条图和陶瓷花纸图案变换后线条图共同作为陶瓷花纸图案的线条标注集204。
优选地，在构建陶瓷花纸图案对应的线条标注集204时，还收集由标注用户手绘的与陶瓷花纸图案对应的线条图，并将标注用户手绘的线条图经线条图变换模块203处理后加入陶瓷花纸图案的线条标注集304。
进一步地，本步骤所获得的陶瓷花纸图案及其线条标注定义如下：
其中，
表示第
个陶瓷花纸图案，
表示第
个陶瓷花纸图案的包含
项标注（属性或语句）的标注集，
表示该标注集的第
项标注。
步骤S103，构建一种人工神经网络近似建模的陶瓷花纸图案生成模型；
本步骤中，使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案生成模型，现结合图3详细说明如下：
如图3所示，陶瓷花纸图案生成模型的输入数据是陶瓷花纸图案的线条标注，将陶瓷花纸图案的线条标注作为陶瓷花纸图案生成模型的输入层301。
如图3所示，输入数据经由所述输入层301输入第一卷积层302处理。
具体地，所述第一卷积层302包含卷积步长为1的卷积运算，卷积核的数量为64，卷积核的大小为7*7。
如图3所示，输入数据经由所述第一卷积层302处理后，输入第二卷积层303处理。
具体地，所述第二卷积层303包含卷积步长为2的卷积运算，卷积核的数量为128，卷积核的大小为5*5。
如图3所示，输入数据经由所述第二卷积层303处理后，输入第三卷积层304处理。
具体地，所述第三卷积层304包含卷积步长为2的卷积运算，卷积核的数量为256，卷积核的大小为5*5。
如图3所示，数据经由第三卷积层304处理后，输入第一残差网络块层305处理。
具体地，所述的第一残差网络块层305包括A个残差网络块（ResNet Block）306；优选的，A的值为5～9之间。
如图3所示，数据经由第一残差网络块层305处理后，输入第一上采样层307处理。
优选地，所述第一上采样层307可以由亚像素卷积（Sub-pixel Convolution）层实现；可选的，第一上采样层307可以由反卷积（Deconvolution）层实现。
如图3所示，数据经由第一上采样层307处理后，输入第二上采样层308处理。
具体地，所述第二上采样层308的输入数据有两个来源，一是所述第一上采样层307的输出数据，二是通过快捷连接309传输的第二卷积层303的输出数据。
如图3所示，所述第二上采样层308可以由亚像素卷积（Sub-pixel Convolution）层实现；可选的，第二上采样层308可以由反卷积（Deconvolution）层实现
如图3所示，数据经由第二上采样层308处理后，由陶瓷花纸图案生成模型的输出层311输出。
具体地，所述输出层311包含卷积步长为1的卷积运算，卷积核的数量为3，卷积核的大小为3*3，输出层311的结果是三通道实数矩阵，即彩色陶瓷花纸图案。需要说明的是，陶瓷花纸图案生成模型的卷积层均不包含池化（Pooling）操作。
步骤S104，根据陶瓷花纸图案及其线条标注通过基于人工智能的训练方法获取陶瓷花纸图案生成模型。
在本步骤中，通过训练获取陶瓷花纸图案生成模型的学习训练过程在于引入陶瓷花纸图案判别模型，陶瓷花纸图案判别模型使用卷积神经网络来近似建模，现结合图4详细说明如下：
如图4所示，陶瓷花纸图案判别模型的输入层401输入的是一个实数矩阵，第一卷积层402使64个5*5的卷积核，卷积步长为2，第二卷积层403使128个5*5的卷积核，卷积步长为2，第三卷积层404使256个5*5的卷积核，卷积步长为2，第四卷积层405使512个5*5的卷积核，卷积步长为2，第一全连接层406包含一个神经元，与第四卷积层全连接。
需要说明的是，如图4所示的每个卷积层都包含归一化运算和线性整流运算，但不包含池化运算。
进一步的，为了使本领域人员更加清楚如何通过训练获取陶瓷花纸图案语义草图生成模型，具体训练过程如下：
第一步，初始化阶段，随机初始化陶瓷花纸图案生成模型的各隐层的参数矩阵，随机初始化陶瓷花纸图案判别模型的各隐层的参数矩阵；
第二步，前向传播阶段，将陶瓷花纸图案线条标注作为陶瓷花纸图案生成模型的输入层301，数据经过各隐层变换后，在陶瓷花纸图案生成模型的输出层311获得输出数据；
第三步，训练陶瓷花纸图案判别模型，使得所述陶瓷花纸图案判别模型的输入层401输入数据是陶瓷花纸图案生成模型的输出层311输出的数据时，所述陶瓷花纸图案判别模型的第一全连接层406输出为0；当所述陶瓷花纸图案判别模型输入层401输入数据是给定的陶瓷花纸图案时，所述陶瓷花纸图案判别模型的第一全连接层406输出为1，即使得陶瓷花纸图案判别模型的输出能最小化第二损失函数；
具体地，所述的第二损失函数是第一损失函数在训练图像判别模型时的分解函数，具体定义为：
其中，
表示训练样本的陶瓷花纸图案，
表示陶瓷花纸图案生成模型的输入层301的输入数据，
表示陶瓷花纸图案生成模型的输出层311的输出数据。
第四步，反向传播阶段，计算陶瓷花纸图案生成模型的输出层311获得输出数据与理想输出的误差，按最小化第三损失函数的方法，反向调整陶瓷花纸图案生成模型的各隐层的参数矩阵。
具体地，所述的第三损失函数是第一损失函数在训练陶瓷花纸图案生成模型模型时的分解函数，具体定义为：
其中，
表示陶瓷花纸图案生成模型的输入层301的输入数据，
表示输出层311的输出数据，
表示训练样本给定的陶瓷花纸图案，
是归一化因子，
通过已经训练好的图像判别模型定义为，将
作为图像判别模型的输入数据，在图像判别模型的第
卷积层提取的图像特征，那么累加项
可以描述为：计算陶瓷花纸图案生成模型的输出层311的输出数据
，在图像判别模型的第
卷积层提取的图像特征和训练样本给定的陶瓷花纸图案
，在图像判别模型的第
卷积层提取的图像特征的欧式距离。
步骤五，重复执行第二步到第四步，直到误差函数的值小于一个给定的阈值或迭代次数达到一个给定的阈值。
需要说明的是，本领域人员能了解所述的陶瓷花纸图案生成模型的训练过程是一种生成对抗的训练过程，也可以用生成对抗神经网络的训练方法和技术实施上述训练过程。
综上所述，本发明实施例的一种草图一致的陶瓷花纸图案生成方法，首先根据陶瓷花纸图案库获取陶瓷花纸图案线条标注，接着根据陶瓷花纸图案和对应的陶瓷花纸图案线条标注根据人工智能的训练方法获取陶瓷花纸图案生成模型。由此，通过训练生成高适应性和高自动化的陶瓷花纸图案生成模型，能够根据用户提供的以草图形式表达的陶瓷花纸图案生成需求经由陶瓷花纸图案生成模型生成与之一致的陶瓷花纸图案，提高了陶瓷花纸图案生成与用户意图的吻合度。
如图5所示，根据本发明的另一个实施例的一种草图一致的陶瓷花纸图案生成方法的流程图。
基于图1的实施例，在步骤S104之后，还包括：
步骤S501，获取用户提供的手绘的陶瓷花纸图案线条草图；
步骤S502，将对应于用户提供的线条草图和采样自正态分布的随机噪声一起作为输入，输入陶瓷花纸图案生成模型的输入层；
步骤S503，通过陶瓷花纸图案生成模型的隐层将当前输入的线条草图和随机噪声与历史输入的线条标注进行融合计算；
步骤S504，在陶瓷花纸图案生成模型的输出层获取对应于用户提供的以线条草图形式表达的生成需求的陶瓷花纸图案。
综上所述，本发明实施例的基于人工智能的草图识别的陶瓷花纸图案生成方法，首先将用户提供的以线条草图形式表达的生成需求和随机扰动噪声输入陶瓷花纸图案生成模型，接着陶瓷花纸图案生成模型的隐层将当前输入的线条草图和随机噪声与历史输入的线条标注进行融合，接着在陶瓷花纸图案生成模型的输出层获取对应于用户提供的以线条草图形式表达的生成需求的陶瓷花纸图案。
如图6所示，根据本发明的再一个实施例的一种草图一致的陶瓷花纸图案生成方法的流程图。
基于上述实施例，为了进一步提高陶瓷花纸图案生成模型生成的陶瓷花纸图案和用户需求的吻合度，陶瓷花纸图案生成模型根据输入的线条草图和随机扰动生成多幅陶瓷花纸图案，用户可以选择与其需求最吻合的陶瓷花纸图案，用户提供的以线条草图形式表达的生成需求和其选择的陶瓷花纸图案构成新的陶瓷花纸图案的线条标注样本，并在样本的数量积累到一定阈值时，重新训练陶瓷花纸图案生成模型，详细过程描述如下：
步骤S601，获取用户选择的陶瓷花纸图案，将用户选择的陶瓷花纸图案和表达用户需求的线条草图组合构成新的陶瓷花纸图案线条标注样本；
步骤S602，累积的新的陶瓷花纸图案线条标注样本的数量达到预设阈值时，重新训练陶瓷花纸图案生成模型。
需要说明的是，在积累的新的陶瓷花纸图案线条标注样本数量未达到预设阈值时，不重新训练陶瓷花纸图案生成模型。
如图7所示，根据本发明一个实施例的一种草图一致的陶瓷花纸图案生成装置的结构，包括：
第一生成模块710：用于根据陶瓷花纸图案库获取陶瓷花纸图案的线条标注。
具体地，将陶瓷花纸图案输入图案边缘提取模块，获取与输入的陶瓷花纸图案对应的初始线条图；接着将陶瓷花纸图案初始线条图输入线条图变换模块，获取线条图经过变形、扭曲等图形变换以及简化变换后的线条图组成的陶瓷花纸图案变换后线条图；最后陶瓷花纸图案初始线条图和陶瓷花纸图案变换后线条图共同作为陶瓷花纸图案的线条标注。同时，也将标注用户手绘的线条图输入线条图变换模块，获取标注用户手绘线条图经过变形、扭曲等图形变换以及简化变换后的线条图，这些线条图也作为陶瓷花纸图案的线条标注。
第二生成模块720：用于根据陶瓷花纸图案及其线条标注通过人工智能的训练方法获取陶瓷花纸图案生成模型。
具体地，训练陶瓷花纸图案生成模型时引入图像判别模型，所述的陶瓷花纸图案生成模型和图像判别模型均使用人工神经网络来近似建模，在依据本发明所述的误差函数的条件下，训练陶瓷花纸图案生成模型的方法和技术与条件生成对抗神经网络的训练一致。
需要说明的是，前述基一种草图一致的陶瓷花纸图案生成方法实施例的解释说明也适用于该实施例的一种草图一致的陶瓷花纸图案生成装置，其实现原理类似，此处不再赘述。
综上所述，本发明实施例的一种草图一致的陶瓷花纸图案生成装置，首先根据陶瓷花纸图案库获取陶瓷花纸图案线条标注，接着根据陶瓷花纸图案线条标注数据集通过人工智能的训练方法获取陶瓷花纸图案生成模型。由此，通过训练生成的高适应性和高自动化的陶瓷花纸图案生成模型，能够根据用户提供的以线条草图形式表达的生成需求准确编码用户的多属性需求，提高了陶瓷花纸图案生成与用户意图的吻合度。
如图8所示, 根据本发明的另一个实施例的一种草图一致的陶瓷花纸图案生成装置的结构,包括：
第一处理模块830：用于接收用户输入的以线条草图形式表达的生成需求。
第一获取模块840：用于通过陶瓷花纸图案生成模型将当前输入的线条草图和随机扰动与历史输入的线条标注融合，并获取与用户需求一致的陶瓷花纸图案。
第二处理模块850：用于展示当前由陶瓷花纸图案生成模型生成的陶瓷花纸图案，并接收用户对陶瓷花纸图案的选择和评价。
第三处理模块860：用于将用户选择的陶瓷花纸图案和用户输入的以线条草图形式表达的生成需求进行组合以获得新的陶瓷花纸图案线条标注样本。
需要说明的是，前述一种草图一致的陶瓷花纸图案生成方法实施例的解释说明也适用于该实施例的一种草图一致的陶瓷花纸图案生成装置，其实现原理类似。
综上所述，本发明实施例的草图一致的陶瓷花纸图案生成装置，首先接收用户输入的以线条草图形式表达的陶瓷花纸图案生成需求，接着将以线条草图形式表达的生成需求和随机扰动一起输入陶瓷花纸图案生成模型，并通过陶瓷花纸图案生成模型的隐层将当前输入的线条草图和随机扰动与历史输入的线条标注融合，最后在陶瓷花纸图案生成模型的输出层获得陶瓷花纸图案。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种草图一致的陶瓷花纸图案生成方法，包含由图案边缘提取模块和线条图变换模块组成的陶瓷花纸图案线条标注模型，其特征在于，所述草图一致的陶瓷花纸图案生成方法包括如下步骤：
步骤一、根据陶瓷花纸图案库，利用陶瓷花纸图案线条标注模型获取陶瓷花纸图案的线条标注，加入陶瓷花纸图案的线条标注集；
步骤二、根据陶瓷花纸图案库，获取用户手绘的与陶瓷花纸图案对应的线条图一，以及将所述线条图一经线条图变换模块处理后获得的线条图二，加入陶瓷花纸图案的线条标注集；
步骤三、构建一种人工神经网络近似建模的陶瓷花纸图案生成模型和陶瓷花纸图案判别模型；
步骤四、根据陶瓷花纸图案及其线条标注集通过基于人工智能的训练方法，依据最小化损失函数来获取陶瓷花纸图案生成模型，所述损失函数如下：
其中，I表示陶瓷花纸图案训练样本，s表示所述陶瓷花纸图案的线条标注，
表示所述陶瓷花纸图案生成模型的输出数据，
表示所述陶瓷花纸图案判别模型，
的目标是所述陶瓷花纸图案判别模型在输入是陶瓷花纸图案训练样本
时输出最优值，
的目标是所述陶瓷花纸图案判别模型在输入是所述陶瓷花纸图案生成模型的输出数据
时输出最优值，
目标是所述陶瓷花纸图案生成模型的输出数据
的图像特征和陶瓷花纸图案训练样本I的图像特征一致，
表示在陶瓷花纸图案判别模型的第j层提取特征；
步骤五、通过陶瓷花纸图案生成模型识别用户手绘草图，并生成与所述用户手绘草图一致的陶瓷花纸图案。
2.如权利要求1所述的草图一致的陶瓷花纸图案生成方法，其特征在于在步骤一中，将陶瓷花纸图案经陶瓷花纸图案线条标注模型生成与陶瓷花纸图案对应的线条标注过程为：
首先将陶瓷花纸图案输入图案边缘提取模块，获取与输入的陶瓷花纸图案对应的初始线条图；接着将陶瓷花纸图案初始线条图输入线条图变换模块，获取线条图经过变形、扭曲图形变换以及简化变换后的线条图组成的陶瓷花纸图案变换后线条图；最后将陶瓷花纸图案初始线条图和陶瓷花纸图案变换后线条图共同作为陶瓷花纸图案的线条标注集。
3.如权利要求1所述的草图一致的陶瓷花纸图案生成方法，其特征在于，在步骤三中，使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案生成模型；
所述的陶瓷花纸图案生成模型包括输入层、第一卷积层、第二卷积层、第三卷积层、第一残差网络块层、第一上采样层、第二上采样层、输出层，以用户提供的手绘草图作为陶瓷花纸图案生成模型的输入层，所述输入经过所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第一残差网络块层、所述第一上采样层处理后，所述第一上采样层的输出数据和第二卷积层的输出数据共同经所述第二上采样层处理，所述第二上采样层的输出数据和第一卷积层的输出数据共同经所述输出层处理后输出数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810281322.6A CN108537855B (zh) | 2018-04-02 | 2018-04-02 | 一种草图一致的陶瓷花纸图案生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810281322.6A CN108537855B (zh) | 2018-04-02 | 2018-04-02 | 一种草图一致的陶瓷花纸图案生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108537855A CN108537855A (zh) | 2018-09-14 |
| CN108537855B true CN108537855B (zh) | 2022-04-26 |
Family
ID=63482235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810281322.6A Active CN108537855B (zh) | 2018-04-02 | 2018-04-02 | 一种草图一致的陶瓷花纸图案生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108537855B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109285182A (zh) * | 2018-09-29 | 2019-01-29 | 北京三快在线科技有限公司 | 模型生成方法、装置、电子设备和计算机可读存储介质 |
| CN114861247B (zh) * | 2022-07-06 | 2022-12-30 | 广东时谛智能科技有限公司 | 基于简易设计生成鞋体模型方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106482700A (zh) * | 2016-10-12 | 2017-03-08 | 东南大学 | 一种草图直接成图的数字化房产面积测量方法 |
| CN107220600A (zh) * | 2017-05-17 | 2017-09-29 | 清华大学深圳研究生院 | 一种基于深度学习的图片生成方法及生成对抗网络 |
| CN107330956A (zh) * | 2017-07-03 | 2017-11-07 | 广东工业大学 | 一种漫画手绘图无监督上色方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6845171B2 (en) * | 2001-11-19 | 2005-01-18 | Microsoft Corporation | Automatic sketch generation |
| CN101159064B (zh) * | 2007-11-29 | 2010-09-01 | 腾讯科技（深圳）有限公司 | 画像生成***以及按照图像生成画像的方法 |
-
2018
- 2018-04-02 CN CN201810281322.6A patent/CN108537855B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106482700A (zh) * | 2016-10-12 | 2017-03-08 | 东南大学 | 一种草图直接成图的数字化房产面积测量方法 |
| CN107220600A (zh) * | 2017-05-17 | 2017-09-29 | 清华大学深圳研究生院 | 一种基于深度学习的图片生成方法及生成对抗网络 |
| CN107330956A (zh) * | 2017-07-03 | 2017-11-07 | 广东工业大学 | 一种漫画手绘图无监督上色方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于道格拉斯-普克法提取55例齿痕舌图像特征研究;朱穆朗玛 等;《中华中医药学刊》;20140930;第32卷(第9期);第2138-2140页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108537855A (zh) | 2018-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| Lee et al. | Multi-organ plant classification based on convolutional and recurrent neural networks | |
| CN109858555B (zh) | 基于图像的数据处理方法、装置、设备及可读存储介质 | |
| CN108460338B (zh) | 人体姿态估计方法和装置、电子设备、存储介质、程序 | |
| Zhao et al. | Recurrent attention model for pedestrian attribute recognition | |
| CN109948475B (zh) | 一种基于骨架特征和深度学习的人体动作识别方法 | |
| CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
| CN109359538A (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
| CN110334724B (zh) | 基于lstm的遥感对象自然语言描述及多尺度矫正方法 | |
| Tang et al. | FontRNN: Generating Large‐scale Chinese Fonts via Recurrent Neural Network | |
| Dey et al. | Learning cross-modal deep embeddings for multi-object image retrieval using text and sketch | |
| Auephanwiriyakul et al. | Thai sign language translation using scale invariant feature transform and hidden markov models | |
| Banzi et al. | Learning a deep predictive coding network for a semi-supervised 3D-hand pose estimation | |
| Lu et al. | Deep transfer neural network using hybrid representations of domain discrepancy | |
| CN108537855B (zh) | 一种草图一致的陶瓷花纸图案生成方法及装置 | |
| CN112182275A (zh) | 一种基于多维度特征融合的商标近似检索***和方法 | |
| Wang et al. | Concept mask: Large-scale segmentation from semantic concepts | |
| Li et al. | Findnet: Can you find me? boundary-and-texture enhancement network for camouflaged object detection | |
| CN110516638B (zh) | 一种基于轨迹和随机森林的手语识别方法 | |
| Hoque et al. | Bdsl36: A dataset for bangladeshi sign letters recognition | |
| CN108510444B (zh) | 一种高分辨率陶瓷花纸图案的生成方法及装置 | |
| CN111241326A (zh) | 基于注意力金字塔图网络的图像视觉关系指代定位方法 | |
| Juyal et al. | Multilabel image classification using the CNN and DC-CNN model on Pascal VOC 2012 dataset | |
| Chen et al. | SketchTrans: Disentangled prototype learning with transformer for sketch-photo recognition | |
| CN110163095A (zh) | 回环检测方法、回环检测装置及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |