CN109493399B - 一种图文结合的海报生成方法和*** - Google Patents
一种图文结合的海报生成方法和*** Download PDFInfo
- Publication number
- CN109493399B CN109493399B CN201811068309.9A CN201811068309A CN109493399B CN 109493399 B CN109493399 B CN 109493399B CN 201811068309 A CN201811068309 A CN 201811068309A CN 109493399 B CN109493399 B CN 109493399B
- Authority
- CN
- China
- Prior art keywords
- picture
- text
- pixel
- background
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Input (AREA)
Abstract
本发明公开一种图文结合的海报生成方法和***。该方法的步骤包括:给定一张目标文字,一张风格图片和一张背景图片,首先自动确定目标文字放置在背景图片的位置;然后对风格图片进行前背景分割;接着根据风格图片的前景的轮廓调整目标文字的轮廓;最后在调整后的目标文字的结构引导下和背景图片的像素约束下,将风格图片中的图像块填入目标文字在背景图片的放置区域内部,从而将带有风格图片的风格的文字即艺术字,嵌入到背景图片中,进行图片和文字的结合,全自动地生成一张艺术性的海报。本发明通过考虑多种因素自动确定文字在背景图片的最佳位置;同时考虑轮廓调整和文字的结构与背景图片的像素约束,使得生成的海报具有更好的主观视觉质量。
Description
技术领域
本发明属于图像纹理合成技术领域,具体涉及一种图文结合的海报生成方法和***。
背景技术
平面设计在日常生活中广泛使用,海报、杂志封面、平面广告设计等这类图片与文字互相结合的媒介,能更好地传达信息,然而图文结合的人工制作过程繁琐,需要一定的技术。全自动海报生成方法具有巨大的商用价值。
海报生成的关键技术为纹理合成,将代表风格的纹理信息添加到目标文字上。尽管纹理合成被广泛使用,但是使用纹理合成进行艺术字生成的方法较少。一种艺术字生成的方法是基于多通道的艺术字生成方法。该方法通过采用偏移通道来对纹理围绕文字的空间位置分布进行约束,但是这需要风格图片为艺术字图片并且需要对应的原始文字图片作为引导。对输入的严格限制了该方法的应用场景。同时,这类方法只针对艺术字本身,没有考虑文字与背景图片的结合问题,无法用来自动生成海报。
发明内容
针对上述问题,本发明提出一种图文结合的海报生成方法和***。本发明通过考虑多种因素自动确定文字在背景图片的最佳位置;同时考虑轮廓调整,从而增加艺术字的表现力;在图文结合时,同时考虑文字的结构与背景图片的像素约束,使得生成的海报具有更好的主观视觉质量。
本发明采用的技术方案如下:
一种图文结合的海报生成方法,包括以下步骤:
1)计算或指定目标文字在背景图片中的放置位置,得到文字放置区域;
2)对风格图片进行前背景分割;
3)根据风格图片分割得到的前景轮廓的形状,调整目标文字的轮廓;
4)在背景图片的文字放置区域,根据文字的结构,利用风格图片的纹理进行纹理合成,生成艺术字;
5)使用背景图片的原始像素值替换文字放置区域边缘的像素值;
6)重复步骤4)到步骤5),直到收敛,得到图文结合的海报。
进一步地,步骤1)是可选的,可以由用户指定放置位置,也可以采用本发明提供的智能的位置推荐方法,该方法包括以下步骤:
1.1)对于输入的背景图片I,风格图片S和目标文字图T,计算背景图像I中每个像素x邻域内的像素值的方差,作为方差惩罚;
1.2)使用显著度检测方法计算背景图片I中每个像素x处的显著度,作为显著度惩罚;
1.3)计算背景图片I中每个图像块与其在风格图片S中最相似的图像块的差异的平方和,作为相关度惩罚;
1.4)计算背景图片I中每个像素x距离I的中心点的距离,然后计算偏离中心点的惩罚,作为偏移惩罚;
1.5)利用步骤1.1)~1.4)得到的惩罚项中的任意一种或多种,计算背景图片I中每个像素x放置文字的总惩罚;
1.6)将总惩罚最小的区域作为目标文字在背景图像的最佳位置。
进一步地,步骤2)使用聚类方法对风格图片进行前背景分割,得到两个区域,其中显著度均值较大的区域设置为前景,显著度均值较小的区域为设置背景。
进一步地,步骤3)所述调整目标文字的轮廓的方法是:
3.1)检测风格图片分割得到的前景的边缘上的像素点,以其为中心的图像块的集合记为GΨ;
3.2)检测目标文字图中文字边缘上的像素点,以其为中心的图像块的集合记为TΨ;
3.3)对每一个图像块Ψ∈TΨ,在GΨ中寻找最相似的块Ψ’,用Ψ’的像素值代替Ψ,得到轮廓调整后的文字图。
步骤4)基于相似块进行纹理合成,包括:
4.2)使用ΨS(y)的像素值替换ΨI(x)中对应的像素,以更新I;对于被多个图像块包含的像素,通过将每个相似块提供的像素值取均值进行替换。
进一步地,步骤6)中,重复步骤4)和步骤5)直到收敛或者背景图片的更新程度小于设定的阈值,得到自动生成的图文结合的海报。
一种图文结合的海报生成***,其包括:
文字放置区域计算模块,用于计算目标文字在背景图片中的放置位置,得到文字放置区域;
前背景分割模块,用于对风格图片进行前背景分割;
轮廓调整模块,用于根据风格图片分割得到的前景轮廓的形状,调整目标文字的轮廓;
纹理合成模块,用于在背景图片的文字放置区域,根据文字的结构,利用风格图片的纹理进行纹理合成,生成艺术字;
像素值替换模块,用于使用背景图片的原始像素值替换文字放置区域边缘的像素值;
迭代模块,用于使纹理合成模块和像素值替换模块进行重复操作,直到收敛,得到图文结合的海报。
本发明提出了完整的自动生成海报方法,解决了文字在背景图片中布局的确定问题;同时对风格图片没有特殊要求,具有更广泛的应用场景。为了处理形态各异的风格,提出对文字轮廓进行有针对性的调整,从而增加艺术字的表现力,使得生成的海报具有更好的主观视觉质量。
附图说明
图1为本发明的图文结合的海报生成方法的演示图。
图2为本发明的图文结合的海报生成方法的流程图。
图3A至图3C为通过本发明方法生成的海报效果对比图。
具体实施方式
下面对本发明的详细方法流程作进一步地描述:
图1为本发明的图文结合的海报生成方法的演示图,图2为该方法的流程图。如该两图所示,本发明方法包括以下步骤:
步骤1:计算目标文字在背景图片中的放置位置,得到文字放置区域,具体包括:
a)对于输入的背景图片I,风格图片S和目标文字图T,计算背景图像I中每个像素x邻域内的像素值的方差,作为方差惩罚:
Uv(x)=var(Ψ(x)) (1)
其中Ψ(x)是以x为中心的图像块,var(·)为求方差操作。
b)使用显著度检测方法计算背景图片I中每个像素x处的显著度,作为显著度惩罚:
Us(x)=sal(x) (2)
其中sal(·)为求显著度操作。
c)计算背景图片I中每个图像块Ψ(x)与其在风格图片S中最相似的图像块的差异的平方和,作为相关度惩罚:
d)计算背景图片I中每个像素x距离I的中心点的距离dist(x),然后计算下面的偏离中心点的惩罚,作为偏移惩罚:
Ua(x)=1-exp(-dist2(x)/2σ2) (4)
其中σ设置为背景图片I的长和宽的较小值。
e)计算背景图片I中每个像素x放置文字的总惩罚U(x):
U(x)=Uv(x)+λ1Us(x)+λ2Uc(x)+λ3Ua(x) (5)
其中λ1,λ2和λ3是加权的系数;Uv是方差惩罚,在纹理丰富的区域具有较高的值,防止将文字放置到纹理丰富的区域;Us是显著度惩罚,在具有重要物体的区域具有较高的值,防止将文字放置到具有重要物体的区域;Uc是相关度惩罚,在与风格S差异较大的区域具有较高的值,防止将文字放置到与风格S差异较大的区域;Ua是偏移惩罚,在不居中的位置具有较高的值,防止将文字放置到不居中的位置。其中,λ1,λ2和λ3可以通过实验来确定,本实施例中,λ1=1,λ2=1,λ3=0.5。
本发明所述“惩罚”是指将文字放置到指定位置的代价,代价越小,越适合将文字放置到该位置。
步骤2:使用聚类方法,例如图割方法、K-means方法等对风格图S进行前背景分割,分割得到2个区域,计算每个区域中所有像素显著度的均值。比较2个均值的大小,显著度均值较大的区域设置为前景,显著度均值较小的区域为设置背景,分割结果记为G。
步骤3:检测G中前景的边缘上的像素点,以它们为中心的图像块的集合记为GΨ。检测T中文字边缘上的像素点,以它们为中心的图像块的集合记为TΨ。对每一个图像块Ψ∈TΨ,在GΨ中寻找最相似的块Ψ’,块相似的度量准则如式(7)所示,其中d表示块的差异度,差异度越小则越相似:
用Ψ’的像素值代替Ψ,得到轮廓调整后的文字图T’。
其中,ΨT’(x)是ΨI(x)在文字图T’中对应位置的图像块,ΨG(y)是ΨS(y)在分割图G中对应位置的图像块,sal(y)是S中像素y处的显著度,T’(x)是T’中像素x的值,在文字内部(T’(x)=1)寻找显著度高的图像块,在文字外部寻找显著度低的图像块(T’(x)=0),从而使艺术字从背景中凸显出来,增加艺术字的可识别性,λ4和λ5是加权的系数。公式(8)也可以用其他相似度衡量准则代替。其中,λ4和λ5可以通过实验来确定,本实施例中,λ4=10,λ5=0.05。
步骤4.2:在步骤4.1中,为ΨI(x)找到了相似块ΨS(y),使用ΨS(y)的像素值替换ΨI(x)中对应的像素,以更新I。对于被多个图像块包含的像素,通过将每个相似块提供的像素值取均值进行替换。
步骤6:重复步骤4和步骤5,直到收敛或者I的更新程度小于一定阈值。最终的I就是自动生成的图文结合的海报。
根据以上方法,步骤4对目标文字进行纹理风格化,而步骤5将文字区域边缘处的像素值替换为原始背景图片的值,就可以在迭代更新中引导纹理风格化的过程使得文字无痕地嵌入到背景图像中。图3A至图3C为通过本发明方法生成的海报效果对比图。
上述实施例中步骤1建立了四项惩罚项,并利用四项惩罚项计算总惩罚项。在其它实施例中,也可以选择四项惩罚项任意一项或多项来计算总惩罚(选择一项时,将该项直接作为总惩罚),还可以采用类似的思路添加其他的惩罚项。
本发明中的步骤1是可选的,上述实施例提供了一个智能的位置推荐方法,其它实施例中也可以由用户指定放置位置。本发明中的聚类方法和显著度计算方法可以采用任意现有的方法;步骤3可以采用任意现有的结构迁移方法来调整目标文字的轮廓;步骤4可以采用任意现有的纹理迁移方法进行纹理合成。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种图文结合的海报生成方法,其特征在于,包括以下步骤:
1)计算或指定目标文字在背景图片中的放置位置,得到文字放置区域;
2)对风格图片进行前背景分割;
3)根据风格图片分割得到的前景轮廓的形状,调整目标文字的轮廓;
4)在背景图片的文字放置区域,根据文字的结构,利用风格图片的纹理进行纹理合成,生成艺术字;
5)使用背景图片的原始像素值替换文字放置区域边缘的像素值;
6)重复步骤4)到步骤5),直到收敛,得到图文结合的海报;
其中,步骤3)所述调整目标文字的轮廓的方法是:
3.1)检测风格图片分割得到的前景的边缘上的像素点,以其为中心的图像块的集合记为GΨ;
3.2)检测目标文字图中文字边缘上的像素点,以其为中心的图像块的集合记为TΨ;
3.3)对每一个图像块Ψ∈TΨ,在GΨ中寻找最相似的块Ψ’,用Ψ’的像素值代替Ψ,得到轮廓调整后的文字图;
其中,步骤4)进行纹理合成,包括:
4.2)使用ΨS(y)的像素值替换ΨI(x)中对应的像素,以更新I;对于被多个图像块包含的像素,通过将每个相似块提供的像素值取均值进行替换。
2.根据权利要求1所述的方法,其特征在于,步骤1)包括:
1.1)对于输入的背景图片I,风格图片S和目标文字图T,计算背景图像I中每个像素x邻域内的像素值的方差,作为方差惩罚;
1.2)使用显著度检测方法计算背景图片I中每个像素x处的显著度,作为显著度惩罚;
1.3)计算背景图片I中每个图像块与其在风格图片S中最相似的图像块的差异的平方和,作为相关度惩罚;
1.4)计算背景图片I中每个像素x距离I的中心点的距离,然后计算偏离中心点的惩罚,作为偏移惩罚;
1.5)利用步骤1.1)~1.4)得到的惩罚项中的任意一种或多种,计算背景图片I中每个像素x放置文字的总惩罚;
1.6)将总惩罚最小的区域作为目标文字在背景图像的最佳位置。
3.根据权利要求2所述的方法,其特征在于,步骤1.4)采用下式计算所述偏离中心点的惩罚:
Ua(x)=1-exp(-dist2(x)/2σ2),
其中σ设置为背景图片I的长和宽的较小值,dist(x)为像素x距离I的中心点的距离。
4.根据权利要求1所述的方法,其特征在于,步骤2)使用聚类方法对风格图片进行前背景分割,得到两个区域,其中显著度均值较大的区域设置为前景,显著度均值较小的区域为设置背景。
7.根据权利要求1所述的方法,其特征在于,步骤6)中,重复步骤4)和步骤5)直到收敛或者背景图片的更新程度小于设定的阈值,得到自动生成的图文结合的海报。
8.一种图文结合的海报生成***,其特征在于,包括:
文字放置区域计算模块,用于计算或指定目标文字在背景图片中的放置位置,得到文字放置区域;
前背景分割模块,用于对风格图片进行前背景分割;
轮廓调整模块,用于根据风格图片分割得到的前景轮廓的形状,调整目标文字的轮廓;
纹理合成模块,用于在背景图片的文字放置区域,根据文字的结构,利用风格图片的纹理进行纹理合成,生成艺术字;
像素值替换模块,用于使用背景图片的原始像素值替换文字放置区域边缘的像素值;
迭代模块,用于使纹理合成模块和像素值替换模块进行重复操作,直到收敛,得到图文结合的海报;
所述轮廓调整模块采用以下步骤调整目标文字的轮廓:
3.1)检测风格图片分割得到的前景的边缘上的像素点,以其为中心的图像块的集合记为GΨ;
3.2)检测目标文字图中文字边缘上的像素点,以其为中心的图像块的集合记为TΨ;
3.3)对每一个图像块Ψ∈TΨ,在GΨ中寻找最相似的块Ψ’,用Ψ’的像素值代替Ψ,得到轮廓调整后的文字图;
所述纹理合成模块采用以下步骤进行纹理合成:
4.2)使用ΨS(y)的像素值替换ΨI(x)中对应的像素,以更新I;对于被多个图像块包含的像素,通过将每个相似块提供的像素值取均值进行替换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811068309.9A CN109493399B (zh) | 2018-09-13 | 2018-09-13 | 一种图文结合的海报生成方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811068309.9A CN109493399B (zh) | 2018-09-13 | 2018-09-13 | 一种图文结合的海报生成方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109493399A CN109493399A (zh) | 2019-03-19 |
CN109493399B true CN109493399B (zh) | 2023-05-02 |
Family
ID=65690458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811068309.9A Active CN109493399B (zh) | 2018-09-13 | 2018-09-13 | 一种图文结合的海报生成方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109493399B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110706310B (zh) * | 2019-08-23 | 2021-10-22 | 华为技术有限公司 | 一种图文融合方法、装置及电子设备 |
CN111210450B (zh) * | 2019-12-25 | 2022-08-09 | 北京东宇宏达科技有限公司 | 一种针对海天背景红外图像处理方法及*** |
CN112752121B (zh) * | 2020-05-26 | 2023-06-09 | 腾讯科技(深圳)有限公司 | 一种视频封面生成方法及装置 |
CN112330775A (zh) * | 2020-11-24 | 2021-02-05 | 携程旅游网络技术(上海)有限公司 | 批量合成海报的方法、装置、电子设备、存储介质 |
CN118212326A (zh) * | 2024-05-21 | 2024-06-18 | 腾讯科技(深圳)有限公司 | 视觉文本生成方法、装置、设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106157273A (zh) * | 2015-03-30 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 生成合成图片的方法及装置 |
CN106296567A (zh) * | 2015-05-25 | 2017-01-04 | 北京大学 | 一种基于稀疏表示的多层次图像风格的转换方法及装置 |
CN106327422A (zh) * | 2015-07-01 | 2017-01-11 | 北京大学 | 一种图像风格化重建方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8768001B2 (en) * | 2009-12-10 | 2014-07-01 | The Chinese University Of Hong Kong | Apparatus and methods for generating and processing manga-style images |
-
2018
- 2018-09-13 CN CN201811068309.9A patent/CN109493399B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106157273A (zh) * | 2015-03-30 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 生成合成图片的方法及装置 |
CN106296567A (zh) * | 2015-05-25 | 2017-01-04 | 北京大学 | 一种基于稀疏表示的多层次图像风格的转换方法及装置 |
CN106327422A (zh) * | 2015-07-01 | 2017-01-11 | 北京大学 | 一种图像风格化重建方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于轮廓拟合的新风格书法字合成;石雷等;《计算机应用与软件》;20170615(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109493399A (zh) | 2019-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109493399B (zh) | 一种图文结合的海报生成方法和*** | |
CN109145713B (zh) | 一种结合目标检测的小目标语义分割方法 | |
US10762608B2 (en) | Sky editing based on image composition | |
CN103473780B (zh) | 一种人像背景抠图的方法 | |
CN101673400B (zh) | 图像处理设备和方法 | |
WO2022127454A1 (zh) | 抠图模型的训练、抠图方法、装置、设备及存储介质 | |
CN102799669B (zh) | 一种商品图像视觉质量的自动分级方法 | |
CN102169587B (zh) | 图像处理设备和方法 | |
CN110390260B (zh) | 图片扫描件处理方法、装置、计算机设备及存储介质 | |
CN107452010A (zh) | 一种自动抠图算法和装置 | |
CN103077500B (zh) | 图像数据的去雾方法及装置 | |
CN108376244A (zh) | 一种自然场景图片中的文本字体的识别方法 | |
CN107392968B (zh) | 融合颜色对比图和颜色空间分布图的图像显著性检测方法 | |
Chen et al. | Shadow-based Building Detection and Segmentation in High-resolution Remote Sensing Image. | |
CN110706234A (zh) | 一种图像的自动精细分割方法 | |
CN105354571B (zh) | 基于曲线投影的畸变文本图像基线估计方法 | |
WO2022160736A1 (zh) | 图像标注方法、装置、电子设备、存储介质及程序 | |
CN115512145A (zh) | 一种图像分割方法、装置、车辆及存储介质 | |
CN113158977A (zh) | 改进FANnet生成网络的图像字符编辑方法 | |
CN112990237A (zh) | 基于深度学习的地铁隧道图像渗漏检测的方法 | |
CN113936187A (zh) | 文本图像合成方法、装置、存储介质及电子设备 | |
CN112862671B (zh) | 视频图像编辑、修复的方法、装置及存储介质 | |
JP6249508B2 (ja) | 異動検出支援装置、異動検出支援方法、及びプログラム | |
CN111275729B (zh) | 精分割天空区域的方法及***、图像换天的方法及*** | |
CN110348339B (zh) | 一种基于实例分割的手写文档文本行的提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |