CN110909506A - 平面设计物料生成的方法和装置 - Google Patents
平面设计物料生成的方法和装置 Download PDFInfo
- Publication number
- CN110909506A CN110909506A CN201811051386.3A CN201811051386A CN110909506A CN 110909506 A CN110909506 A CN 110909506A CN 201811051386 A CN201811051386 A CN 201811051386A CN 110909506 A CN110909506 A CN 110909506A
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- text
- original image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013461 design Methods 0.000 title claims abstract description 61
- 239000000463 material Substances 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 230000015654 memory Effects 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了平面设计物料生成的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：提取原始图像的图像特征向量；将图像特征向量输入训练好的前景检测模型，获取原始图像的前景图像；前景检测模型是基于区域推荐网络RPN训练得到的；提取原始图像的文本特征向量；将文本特征向量输入训练好的文本检测模型，获取原始图像的文本图像；文本检测模型是基于双向长短期记忆神经网络BLSTM训练得到的；将前景图像和文本图像与模板图像融合，得到平面设计物料。该实施方式能够实现自动抠图，省时省力；抠图精度高，速度快，能够实现实时响应；仅需提供原始图像即可自动生成具有美观性和可用性的平面设计物料，任何人均可使用，无局限性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种平面设计物料生成的方法和装置。
背景技术
现有的平面设计方式大多是需要人工先对设计素材进行抠图、使用专业设计软件进行排版布局、样式设计等方式。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
1、人工抠图费时费力；
2、必须是有设计经验的人才可设计出具有可用性和美观性的平面设计物料，有局限性。
发明内容
有鉴于此，本发明实施例提供一种平面设计物料生成的方法和装置，能够实现自动抠图，省时省力；抠图精度高，速度快，能够实现实时响应；仅需提供原始图像即可自动生成具有美观性和可用性的平面设计物料，任何人均可使用，无局限性。
为实现上述目的，根据本发明实施例的一个方面，提供了一种平面设计物料生成的方法。
根据本发明实施例的平面设计物料生成的方法包括：
提取原始图像的图像特征向量；将图像特征向量输入训练好的前景检测模型，获取原始图像的前景图像；前景检测模型是基于区域推荐网络RPN训练得到的；
提取原始图像的文本特征向量；将文本特征向量输入训练好的文本检测模型，获取原始图像的文本图像；文本检测模型是基于双向长短期记忆神经网络BLSTM训练得到的；
将前景图像和文本图像与模板图像融合，得到平面设计物料。
可选地，提取原始图像的图像特征向量包括：将原始图像输入训练好的前景特征提取器，得到原始图像的图像特征向量；其中，前景调整提取器是基于卷积神经网络CNN训练得到的，包括卷积层和全连通层，卷积层采用深度可分离卷积结构。
可选地，卷积层的数量为20层。
可选地，按照如下方法训练得到所述前景检测模型：
以横幅广告和/或海报图片作为样本，对所有样本进行聚类，确定各个样本的分类标签和该训练样本中前景图像的包围边框；
以分类后的样本作为分类样本，根据每个训练样本的分类标签和该训练样本中前景图像的包围边框，基于区域推荐网络RPN进行模型训练，得到训练好的前景检测模型。
可选地，提取原始图像的文本特征向量包括：将原始图像输入训练好的文本特征提取器，得到原始图像的文本特征向量；其中，文本特征提取器是采用卷积神经网络训练得到的，具有19层卷积层。
根据本发明实施例的再一个方面，提供了一种平面设计物料生成的装置。
根据本发明实施例的平面设计物料生成的装置包括：
前景提取模块，提取原始图像的图像特征向量；将图像特征向量输入训练好的前景检测模型，获取原始图像的前景图像；前景检测模型是基于区域推荐网络RPN训练得到的；
文本提取模块，提取原始图像的文本特征向量；将文本特征向量输入训练好的文本检测模型，获取原始图像的文本图像；文本检测模型是基于双向长短期记忆神经网络BLSTM训练得到的；
图像融合模块，将前景图像和文本图像与模板图像融合，得到平面设计物料。
可选地，前景提取模块提取原始图像的图像特征向量包括：将原始图像输入训练好的前景特征提取器，得到原始图像的图像特征向量；其中，前景调整提取器是基于卷积神经网络CNN训练得到的，包括卷积层和全连通层，卷积层采用深度可分离卷积结构。
可选地，卷积层的数量为20层。
可选地，前景提取模块按照如下方法训练得到前景检测模型：
以横幅广告和/或海报图片作为样本，对所有样本进行聚类，确定各个样本的分类标签和该训练样本中前景图像的包围边框；
以分类后的样本作为分类样本，根据每个训练样本的分类标签和该训练样本中前景图像的包围边框，基于区域推荐网络RPN进行模型训练，得到训练好的前景检测模型。
可选地，文本提取模块提取原始图像的文本特征向量包括：将原始图像输入训练好的文本特征提取器，得到原始图像的文本特征向量；其中，文本特征提取器是采用卷积神经网络训练得到的，具有19层卷积层。
根据本发明实施例的另一个方面，提供了一种平面设计物料生成的电子设备。
根据本发明实施例的平面设计物料生成的电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现本发明实施例第一方面提供的平面设计物料生成的方法。
根据本发明实施例的还一个方面，提供了一种计算机可读介质。
根据本发明实施例的计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例第一方面提供的平面设计物料生成的方法。
上述发明中的一个实施例具有如下优点或有益效果：采用基于区域推荐网络RPN训练得到的前景检测模型获取原始图像的前景图像、基于双向长短期记忆神经网络BLSTM训练得到的文本检测模型，能够实现自动抠图，省时省力；抠图精度高，速度快，能够实现实时响应；仅需提供原始图像即可自动生成具有美观性和可用性的平面设计物料，任何人均可使用，无局限性。提取原始图像的图像特征向量时采用深度可分离卷积结构，能够显著降低提取图像特征向量过程的计算量，提高特征提取的速度。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的平面设计物料生成的方法的主要流程的示意图；
图2是根据本发明实施例的平面设计物料生成的装置的主要模块的示意图；
图3是本发明实施例可以应用于其中的示例性***架构图；
图4是适于用来实现本发明实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
根据本发明实施例的一个方面，提供了一种平面设计物料生成的方法。
图1是根据本发明实施例的平面设计物料生成的方法的主要流程的示意图。如图1所示，根据本发明实施例的平面设计物料生成的方法包括：步骤S101、步骤S102和步骤S103。
步骤S101、提取原始图像的图像特征向量；将图像特征向量输入训练好的前景检测模型，获取原始图像的前景图像；前景检测模型是基于区域推荐网络(Region ProposalNetworks，RPN)训练得到的。
本领域技术人员可以根据实际情况选择适宜的方法提取图像特征向量，例如采用基于CNN网络或者RPN网络的方法提取图像特征向量。在可选的实施例中，提取原始图像的图像特征向量包括：将原始图像输入训练好的前景特征提取器，得到原始图像的图像特征向量；其中，前景调整提取器是基于卷积神经网络CNN训练得到的，包括：卷积层和全连通层，卷积层采用深度可分离卷积结构。
CNN最常见的结构是若干卷积层+池化层+全连通层(Fully Connected Layer，简称FC层)。深度可分离卷积结构(Depthwise Separable Convolution)对空间信息和深度信息进行去耦，把传统标准卷积拆开为一组卷积操作(depthwise separable convolutions)和多个点卷积操作(pointwise convolution)。假设输入维度为X，卷积核为K，输入长宽分别为XH、XW，卷积核个数为N个。则，采用CNN最常见的结构进行卷积的计算量为：X×K×K×N×XH×XW，采用深度可分离卷积结构的计算量为：X×K×K×XH×XW+N×1×1×X×XH×XW。(X×K×K×XH×XW+N×1×1×X×XH×XW)/(X×K×K×N×XH×XW)＝＝1/N+1/K2。很明显，采用深度可分离卷积结构能够显著降低提取图像特征向量过程的计算量，提高特征提取的速度，为算法小型化提供了依据。
本发明的前景特征提取器是一个CNN基准模型(CNN baseline，中文名叫EmbeddingNet模型)，可以适用于轻型终端设备，比如arm(一种微处理器)板子和移动端设备等。可选地，前景特征提取器中卷积层的数量可以根据实际情况进行选择性设定，例如15层、20层、25层等。
卷积层的输入和输出为一个二维矩阵，可以用长×宽表示输入或输出的尺寸。示例性地，前景特征提取器的卷积层的输入尺寸可以为112×112×3、卷积核为3×3、输出尺寸为112×112×3、最后一层FC层的尺寸为128×2。采用3×3的卷积核，与5×5和7×7等较大的卷积核相比，计算量更小；卷积层的输入尺寸降到112×112×3，可以对纹饰等小物体进行适配。
为了提高本发明的前景特征提取器对特定领域的适用性，可以根据所需领域选择对应领域的图像作为训练样本。以电商领域为例，为了前景特征提取器能够适用于提取横幅广告(banner)或者海报图像中的商品，可以采用大量的横幅广告或者海报图像作为训练样本训练前景特征提取器。
现有技术中存在将卷积神经网络(Convolutional Neural Networks，CNN)应用于检测方面的应用，像yolo(You Only Look Once，一种基于CNN网络的目标检测算法)，rcnn(Regions with CNN features，一种基于CNN网络的目标检测算法)系列等等。这些算法主要有以下特点：yolo系列是一阶段检测算法，速度快，但是不适用于小的物体，而且精度不高，漏检多；rcnn系列是二阶段检测算法，精度比yolo高，但是速度慢。这些检测算法无法满足精度高、实时响应的检测需求。
本发明首先提取原始图像的图像特征向量，然后采用基于区域推荐网络RPN训练得到的前景检测模型获取原始图像的前景图像，能够自动抠取前景图像，省时省力；抠图精度高，速度快，能够实现实时响应。
在一些实施例中，可以按照如下方法训练得到前景检测模型：
以横幅广告和/或海报图片作为样本，对所有样本进行聚类，确定各个样本的分类标签和该训练样本中前景图像的包围边框；
以分类后的样本作为分类样本，根据每个训练样本的分类标签和该训练样本中前景图像的包围边框，基于区域推荐网络RPN进行模型训练，得到训练好的前景检测模型。
以横幅广告和/或海报图片作为样本进行模型训练，能够提高本申请方法在横幅广告和海报图片物料生成方面的适用性；模型训练前对训练样本进行聚类，能够提高前景检测模型检测前景图像的包围边框的准确性。
现有技术也有采用selective search(选择性搜索)方法提取前景图像的。但是这种方式需要分别训练分类器和边框回归器，训练步骤繁琐，耗时大；并且，这种方式无法利用提取前景图像之前从原始图像中提取的前景特征向量，不是端到端(end-to-end)的算法结构。
本发明实施例中采用基于区域推荐网络RPN训练得到的前景检测模型提取前景图像，能够去掉前景图像周围过多的包围框(bounding box)，这样一方面能重用第一阶段CNNbaseline输出的图像特征向量，相当于检测前景目标的CNN baseline模型和提取boundingbox的RPN共用了特征层，形成end-to-end的算法结构，另一方面能够增速，实现实时响应。RPN网络输出主要是两方面，一方面通过softmax(一种回归函数)区分前景(foreground)和背景(background)；另一方面回归bounding box边框，使得预测边框和实际边框(实际边框就是在训练过程中标在训练集已知的边框坐标，预测边框是经过RPN通过边框回归(regression)产生的边框)更契合。针对banner前景的多样性和产品特点，可以首先用聚类方式对代表性的图片进行尺寸聚类，统计出预测bounding box的尺寸比例。在训练中更好地覆盖住不同的前景。
步骤S102、提取原始图像的文本特征向量；将文本特征向量输入训练好的文本检测模型，获取原始图像的文本图像；文本检测模型是基于双向长短期记忆神经网络BLSTM训练得到的。
本领域技术人员可以根据实际情况选择适宜的方法提取文本特征向量，例如采用基于CNN网络或者RPN网络的方法提取图像特征向量。在可选的实施例中，提取原始图像的文本特征向量包括：将原始图像输入训练好的文本特征提取器，得到原始图像的文本特征向量；其中，文本特征提取器是采用卷积神经网络训练得到的，具有19层卷积层。卷积层的数量越多，计算量越大；卷积层的数量越少，计算精度越差。本发明实施例采用19层卷积层训练文本特征提取器，能够在保证特征提取精度的基础上降低计算量，提高特征提取的速度。
卷积神经网络第一层的输入是未经处理的原始图像，输出为一个激活图层activation map；后续每个卷积层以前一个卷积层的输出作为输入。当结果一系列的卷积层卷积处理之后，输出的是表示更高阶特征的激活图层。卷积层的数量、卷积核的大小、卷积步长和填充尺寸等可以根据数据的大小、图像的复杂度、图像处理的目的和方式等进行选择性设定。可选地，在训练文本特征提取器时，可以首先较多层的CNN网络，根据各层输出的特征向量确定最终的卷积层数量。
示例性地，准备中文和英文两种语料，首先采用25层的CNN网络训练文本特征提取器，当第19层卷积层输出的第19层的特征向量能够满足使用需求时，可以采用第19层作为卷积层作为文本特征提取器的特征输出层。卷积层数量较少时，作为输出层的卷积层上聚集的特征维度和特征层次较低；卷积层数量较多时，作为输出层的卷积层上聚集的特征维度和特征层次较高，但是计算量大大增加，不利于实现实时响应。
现有技术中有采用faster rcnn(一个完全end-to-end的CNN对象检测模型)方式检测文本图像的，CNN能够提取文本特征，但是由于CNN没有sequence(序列)信息，而文字是存在序列信息的，因此这种方式很难适应文字长度不定的情况。双向长短期记忆神经网络(Bidirectional Long Short-term Memory，BLSTM)是一种递归神经网络，它结合卷积神经网络模型提取出的图像特征，不考虑每个字符出现的具***置，只关注整个图像序列对应的文字内容，使得单字分割和单字识别问题融为一体，最终实现端到端训练。
假设采用3×3的卷积核提取文本特征向量，得到所有尺寸为W×3×3×C(C代表卷积通道数也就是卷积核的个数，例如512)的一系列特征图，输入到BLSTM中，BLSTM的输入是C维的，全连接层为512维的，所以得到W×512的输出。在512维的特征上进行边框回归和分类预测。回归的bounding box是按照单字符进行预测的，通过实际边框(已经提前标好的)与预测边框之前的位置差距来训练；预测的文字是单个的。因为每次文字的长度不一致，没办法一次预测所有文字)。实际应用过程中，可以预置边框的高度，例如为3，如此在后续回归过程中对于高度可以不再进行关注和预测，便于计算。得到单字符的预测边框后，把单字符的边框合并，形成一个长的大的覆盖住所有文字的边框。
本发明实施例首先提取原始图像的文本特征向量，然后采用基于双向长短期记忆神经网络BLSTM训练得到的文本检测模型，能够自动抠取文本图像，省时省力；抠图精度高，速度快，能够实现实时响应。
步骤S103、将前景图像和文本图像与模板图像融合，得到平面设计物料。
本发明实施例采用检测模型自动抠取前景图像和文本图像，省时省力；抠图精度高，速度快，能够实现实时响应；仅需提供原始图像即可自动生成具有美观性和可用性的平面设计物料，任何人均可使用，无局限性。
本发明实施例中，用户上传原始图像后，通过前景检测模型和文本检测模型进行自动抠图。上传原始图像时，用户可以通过终端设备(例如手机、电脑、显示平板等)上传图片，也可以运用爬虫技术爬取数据。上传原始图像之后，用户可以手动输入要显示的文案和目标风格模板，一键设计即可从上传的原始图像中自动拆解出主体(例如前景和文本)、背景等，来实现自动抠图功能；将抠出的主体与选择的背景风格图像进行矩阵相加操作完成无缝融合，生成具有美观性的平面设计物料。生成的平面设计物料可以传输显示在终端设备上。
根据本发明实施例的再一个方面，提供了一种平面设计物料生成的装置。
图2是根据本发明实施例的平面设计物料生成的装置的主要模块的示意图。如图2所示，根据本发明实施例的平面设计物料生成的装置200包括：
前景提取模块201，提取原始图像的图像特征向量；将图像特征向量输入训练好的前景检测模型，获取原始图像的前景图像；前景检测模型是基于区域推荐网络RPN训练得到的；
文本提取模块202，提取原始图像的文本特征向量；将文本特征向量输入训练好的文本检测模型，获取原始图像的文本图像；文本检测模型是基于双向长短期记忆神经网络BLSTM训练得到的；
图像融合模块203，将前景图像和文本图像与模板图像融合，得到平面设计物料。
可选地，前景提取模块提取原始图像的图像特征向量包括：将原始图像输入训练好的前景特征提取器，得到原始图像的图像特征向量；其中，前景调整提取器是基于卷积神经网络CNN训练得到的，包括卷积层和全连通层，卷积层采用深度可分离卷积结构。
可选地，卷积层的数量为20层。
可选地，前景提取模块按照如下方法训练得到前景检测模型：
以横幅广告和/或海报图片作为样本，对所有样本进行聚类，确定各个样本的分类标签和该训练样本中前景图像的包围边框；
以分类后的样本作为分类样本，根据每个训练样本的分类标签和该训练样本中前景图像的包围边框，基于区域推荐网络RPN进行模型训练，得到训练好的前景检测模型。
可选地，文本提取模块提取原始图像的文本特征向量包括：将原始图像输入训练好的文本特征提取器，得到原始图像的文本特征向量；其中，文本特征提取器是采用卷积神经网络训练得到的，具有19层卷积层。
根据本发明实施例的另一个方面，提供了一种平面设计物料生成的电子设备。
根据本发明实施例的平面设计物料生成的电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现本发明实施例第一方面提供的平面设计物料生成的方法。
图3示出了可以应用本发明实施例的平面设计物料生成的方法或平面设计物料生成的装置的示例性***架构300。
如图3所示，***架构300可以包括终端设备301、302、303，网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备301、302、303通过网络304与服务器305交互，以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器305可以是提供各种服务的服务器，例如对用户利用终端设备301、302、303所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的请求信息等数据进行分析等处理，并将处理结果(例如生成的平面设计物料)反馈给终端设备。
需要说明的是，本发明实施例所提供的平面设计物料生成的方法一般由服务器305执行，相应地，平面设计物料生成的装置一般设置于服务器305中。
应该理解，图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图4，其示出了适于用来实现本发明实施例的终端设备的计算机***400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机***400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有***400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分Y09从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本发明的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括：前景提取模块，提取原始图像的图像特征向量；将图像特征向量输入训练好的前景检测模型，获取原始图像的前景图像；前景检测模型是基于区域推荐网络RPN训练得到的；文本提取模块，提取原始图像的文本特征向量；将文本特征向量输入训练好的文本检测模型，获取原始图像的文本图像；文本检测模型是基于双向长短期记忆神经网络BLSTM训练得到的；图像融合模块，将前景图像和文本图像与模板图像融合，得到平面设计物料。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，前景提取模块还可以被描述为“获取原始图像的文本图像的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：提取原始图像的图像特征向量；将图像特征向量输入训练好的前景检测模型，获取原始图像的前景图像；前景检测模型是基于区域推荐网络RPN训练得到的；提取原始图像的文本特征向量；将文本特征向量输入训练好的文本检测模型，获取原始图像的文本图像；文本检测模型是基于双向长短期记忆神经网络BLSTM训练得到的；将前景图像和文本图像与模板图像融合，得到平面设计物料。
根据本发明实施例的技术方案，采用基于区域推荐网络RPN训练得到的前景检测模型获取原始图像的前景图像、基于双向长短期记忆神经网络BLSTM训练得到的文本检测模型，能够实现自动抠图，省时省力；抠图精度高，速度快，能够实现实时响应；仅需提供原始图像即可自动生成具有美观性和可用性的平面设计物料，任何人均可使用，无局限性。提取原始图像的图像特征向量时采用深度可分离卷积结构，能够显著降低提取图像特征向量过程的计算量，提高特征提取的速度。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (12)
1.一种平面设计物料生成的方法，其特征在于，包括：
提取原始图像的图像特征向量；将所述图像特征向量输入训练好的前景检测模型，获取原始图像的前景图像；所述前景检测模型是基于区域推荐网络RPN训练得到的；
提取原始图像的文本特征向量；将所述文本特征向量输入训练好的文本检测模型，获取原始图像的文本图像；所述文本检测模型是基于双向长短期记忆神经网络BLSTM训练得到的；
将所述前景图像和所述文本图像与模板图像融合，得到平面设计物料。
2.如权利要求1所述的方法，其特征在于，提取原始图像的图像特征向量包括：将原始图像输入训练好的前景特征提取器，得到原始图像的图像特征向量；其中，所述前景调整提取器是基于卷积神经网络CNN训练得到的，包括卷积层和全连通层，所述卷积层采用深度可分离卷积结构。
3.如权利要求2所述的方法，其特征在于，所述卷积层的数量为20层。
4.如权利要求1所述的方法，其特征在于，按照如下方法训练得到所述前景检测模型：
以横幅广告和/或海报图片作为样本，对所有样本进行聚类，确定各个样本的分类标签和所述训练样本中前景图像的包围边框；
以分类后的样本作为分类样本，根据每个训练样本的分类标签和所述训练样本中前景图像的包围边框，基于区域推荐网络RPN进行模型训练，得到训练好的所述前景检测模型。
5.如权利要求1所述的方法，其特征在于，提取原始图像的文本特征向量包括：将原始图像输入训练好的文本特征提取器，得到原始图像的文本特征向量；其中，所述文本特征提取器是采用卷积神经网络训练得到的，具有19层卷积层。
6.一种平面设计物料生成的装置，其特征在于，包括：
前景提取模块，提取原始图像的图像特征向量；将所述图像特征向量输入训练好的前景检测模型，获取原始图像的前景图像；所述前景检测模型是基于区域推荐网络RPN训练得到的；
文本提取模块，提取原始图像的文本特征向量；将所述文本特征向量输入训练好的文本检测模型，获取原始图像的文本图像；所述文本检测模型是基于双向长短期记忆神经网络BLSTM训练得到的；
图像融合模块，将所述前景图像和所述文本图像与模板图像融合，得到平面设计物料。
7.如权利要求6所述的装置，其特征在于，前景提取模块提取原始图像的图像特征向量包括：将原始图像输入训练好的前景特征提取器，得到原始图像的图像特征向量；其中，所述前景调整提取器是基于卷积神经网络CNN训练得到的，包括卷积层和全连通层，所述卷积层采用深度可分离卷积结构。
8.如权利要求7所述的装置，其特征在于，所述卷积层的数量为20层。
9.如权利要求6所述的装置，其特征在于，前景提取模块按照如下方法训练得到所述前景检测模型：
以横幅广告和/或海报图片作为样本，对所有样本进行聚类，确定各个样本的分类标签和所述训练样本中前景图像的包围边框；
以分类后的样本作为分类样本，根据每个训练样本的分类标签和所述训练样本中前景图像的包围边框，基于区域推荐网络RPN进行模型训练，得到训练好的所述前景检测模型。
10.如权利要求6所述的装置，其特征在于，文本提取模块提取原始图像的文本特征向量包括：将原始图像输入训练好的文本特征提取器，得到原始图像的文本特征向量；其中，所述文本特征提取器是采用卷积神经网络训练得到的，具有19层卷积层。
11.一种平面设计物料生成的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811051386.3A CN110909506A (zh) | 2018-09-10 | 2018-09-10 | 平面设计物料生成的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811051386.3A CN110909506A (zh) | 2018-09-10 | 2018-09-10 | 平面设计物料生成的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110909506A true CN110909506A (zh) | 2020-03-24 |
Family
ID=69812180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811051386.3A Pending CN110909506A (zh) | 2018-09-10 | 2018-09-10 | 平面设计物料生成的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110909506A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767378A (zh) * | 2021-01-28 | 2021-05-07 | 佛山科学技术学院 | 一种基于Dense-Unet的玻璃体浑浊程度评级方法 |
| CN113298767A (zh) * | 2021-05-19 | 2021-08-24 | 南京大学 | 一种能克服反光现象的围棋图谱可靠识别方法 |
| CN113902754A (zh) * | 2021-09-27 | 2022-01-07 | 四川新网银行股份有限公司 | 生成标准化电子资料的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1607522A (zh) * | 2003-10-15 | 2005-04-20 | 佳能株式会社 | 用于创建和编辑可变数据文档的用户界面 |
| CN101512581A (zh) * | 2006-02-15 | 2009-08-19 | 微软公司 | 生成包含上下文图像的广告 |
| CN105786968A (zh) * | 2016-01-25 | 2016-07-20 | 河南工程学院 | 一种多媒体广告设计*** |
| CN105874449A (zh) * | 2013-11-08 | 2016-08-17 | 谷歌公司 | 用于提取和生成用于显示内容的图像的***和方法 |
| CN107341805A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 图像前背景分割及网络模型训练、图像处理方法和装置 |
| WO2018033156A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和电子设备 |
-
2018
- 2018-09-10 CN CN201811051386.3A patent/CN110909506A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1607522A (zh) * | 2003-10-15 | 2005-04-20 | 佳能株式会社 | 用于创建和编辑可变数据文档的用户界面 |
| CN101512581A (zh) * | 2006-02-15 | 2009-08-19 | 微软公司 | 生成包含上下文图像的广告 |
| CN105874449A (zh) * | 2013-11-08 | 2016-08-17 | 谷歌公司 | 用于提取和生成用于显示内容的图像的***和方法 |
| CN105786968A (zh) * | 2016-01-25 | 2016-07-20 | 河南工程学院 | 一种多媒体广告设计*** |
| CN107341805A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 图像前背景分割及网络模型训练、图像处理方法和装置 |
| WO2018033156A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 张磊: "《从结构、原理到实现，Faster R-CNN全解析（原创）》", pages 1 - 4, Retrieved from the Internet <URL:《https://zhuanlan.zhihu.com/p/32702387?utm_id=0》> * |
| 黄飞龙;: "一种卷积神经网络实现", 电脑迷, no. 11 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767378A (zh) * | 2021-01-28 | 2021-05-07 | 佛山科学技术学院 | 一种基于Dense-Unet的玻璃体浑浊程度评级方法 |
| CN113298767A (zh) * | 2021-05-19 | 2021-08-24 | 南京大学 | 一种能克服反光现象的围棋图谱可靠识别方法 |
| CN113902754A (zh) * | 2021-09-27 | 2022-01-07 | 四川新网银行股份有限公司 | 生成标准化电子资料的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368893B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN110458107B (zh) | 用于图像识别的方法和装置 | |
| CN108073910B (zh) | 用于生成人脸特征的方法和装置 | |
| WO2020003296A1 (en) | System, device, and method of automatic construction of digital advertisements | |
| CN108416003A (zh) | 一种图片分类方法和装置、终端、存储介质 | |
| CN109344762B (zh) | 图像处理方法和装置 | |
| US20210150691A1 (en) | Method and apparatus for performing damage segmentation on vehicle damage image | |
| CN110909506A (zh) | 平面设计物料生成的方法和装置 | |
| CN112749695A (zh) | 文本识别的方法和装置 | |
| CN112801132B (zh) | 一种图像处理方法和装置 | |
| CN110427915B (zh) | 用于输出信息的方法和装置 | |
| CN111783508A (zh) | 用于处理图像的方法和装置 | |
| CN108597034B (zh) | 用于生成信息的方法和装置 | |
| EP4113376A1 (en) | Image classification model training method and apparatus, computer device, and storage medium | |
| CN110633717A (zh) | 一种目标检测模型的训练方法和装置 | |
| CN112017257A (zh) | 图像处理方法、设备及存储介质 | |
| CN115496820A (zh) | 图像文案的生成方法、设备及计算机存储介质 | |
| CN110633716A (zh) | 一种目标对象的检测方法和装置 | |
| CN111754414B (zh) | 一种图像处理方法、装置和用于图像处理的装置 | |
| CN111292333B (zh) | 用于分割图像的方法和装置 | |
| CN113313066A (zh) | 图像识别方法、装置、存储介质以及终端 | |
| CN117475034A (zh) | 海报生成方法、装置、电子设备及存储介质 | |
| CN112784156A (zh) | 基于意图识别的搜索反馈方法、***、设备及存储介质 | |
| JP2020502710A (ja) | ウェブページメイン画像認識方法及び装置 | |
| CN114882313B (zh) | 生成图像标注信息的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 101111 Room 221, 2nd Floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: 101111 Room 221, 2nd Floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone Applicant before: Jingdong Digital Technology Holding Co.,Ltd. Address after: 101111 Room 221, 2nd Floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone Applicant after: Jingdong Digital Technology Holding Co.,Ltd. Address before: 101111 Room 221, 2nd Floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd. Address after: 101111 Room 221, 2nd Floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone Applicant after: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd. Address before: 101111 Room 221, 2nd Floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone Applicant before: BEIJING JINGDONG FINANCIAL TECHNOLOGY HOLDING Co.,Ltd. |