CN115272146B - 一种风格化图像生成方法、***、设备及介质 - Google Patents
一种风格化图像生成方法、***、设备及介质 Download PDFInfo
- Publication number
- CN115272146B CN115272146B CN202210893426.9A CN202210893426A CN115272146B CN 115272146 B CN115272146 B CN 115272146B CN 202210893426 A CN202210893426 A CN 202210893426A CN 115272146 B CN115272146 B CN 115272146B
- Authority
- CN
- China
- Prior art keywords
- image
- stylized
- processing
- head
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 114
- 238000005520 cutting process Methods 0.000 claims abstract description 50
- 238000003708 edge detection Methods 0.000 claims abstract description 22
- 238000000926 separation method Methods 0.000 claims abstract description 17
- 238000003860 storage Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 10
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- CCEKAJIANROZEO-UHFFFAOYSA-N sulfluramid Chemical group CCNS(=O)(=O)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)F CCEKAJIANROZEO-UHFFFAOYSA-N 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种风格化图像生成方法、***、设备及介质，其中，方法包括：获取待处理图像，对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像；根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数，根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集；对所述裁剪图像集进行风格化处理，确定风格化图像集；根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像。本发明能够通过插值叠加方法在保留人像关键特征、最优化头部风格效果的基础上，输出较为稳定、平滑的风格化效果，可广泛应用于图像处理技术领域。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种风格化图像生成方法、***、设备及介质。
背景技术
近年来随着非同质化代币的发展，个人专属数字内容的制作逐渐兴起，而风格化人物形象生成是数字内容制作的重要组成部分。目前风格化图像的生成方法通过生成整体图像的隐向量，对隐向量进行风格化处理，之后对隐向量进行解码还原成结果图像。这种方法操作方式简便，生成图像的风格较为统一，但容易受图像中的非人脸区域影响，容易出现边缘重叠、面部错位和美感不足等问题。
综上所述，如何提升风格化图像的生成效果，是目前本领域的技术人员需要解决的技术问题。
发明内容
有鉴于此，本发明实施例提供一种风格化图像生成方法、***、设备及介质，以实现提升风格化图像生成效果。
一方面，本发明提供了一种风格化图像生成方法，所述方法包括：
获取待处理图像；
对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像；
根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数；
根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集；
对所述裁剪图像集进行风格化处理，确定风格化图像集；
根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像。
可选地，所述对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像，包括：
对所述待处理图像进行背景分离处理，确定人物图像；
对所述人物图像进行头部区域识别和裁剪处理，确定头部图像。
可选地，所述根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数，包括：
获取所述人物图像作为当前对比图像；
分别对所述头部图像和所述当前对比图像进行风格化处理，确定头部风格化图像和当前对比风格化图像；
对所述头部风格化图像进行边缘检测处理，确定头部图像边缘数值；
对所述当前对比风格化图像进行边缘检测处理，确定对比图像边缘数值；
根据所述头部图像边缘数值和所述对比图像边缘数值确定边缘差异值，当所述边缘差异值大于差异阈值时，对所述当前对比图像进行缩小处理，并返回分别对所述头部图像和所述当前对比图像进行风格化处理，确定头部风格化图像和当前对比风格化图像这一步骤，直至所述缘差异值小于或等于所述差异阈值；
计算所述头部风格化图像与所述当前对比风格化图像的像素差值，确定扩充参数。
可选地，所述根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集，包括：
对所述人物图像进行头部区域裁剪处理，确定当前裁剪图像并保存到裁剪图像集；
根据所述扩充参数对所述当前裁剪图像进行扩充处理，确定扩充裁剪图像并保存到所述裁剪图像集；
当所述扩充裁剪图像小于所述人物图像时，获取所述扩充裁剪图像为当前裁剪图像，返回根据所述扩充参数对所述当前裁剪图像进行扩充处理，确定扩充裁剪图像并保存到所述裁剪图像集这一步骤，直至所述扩充裁剪图像大于或等于所述人物图像。
可选地，所述对所述裁剪图像集进行风格化处理，确定风格化图像集，包括：
获取所述待处理图像；
对所述待处理图像进行风格化处理，确定风格化背景图像；
对所述裁剪图像集中的每一张图像分别进行风格化处理，确定第一图像集；
将所述风格化背景图像加入所述第一图像集，确定所述风格化图像集。
可选地，所述根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像，包括：
获取所述风格化图像集中的第一图像集和风格化背景图像，所述第一图像集为从小到大依次排序的多张图像集合；
依次对所述第一图像集中的相邻的图像进行像素色彩插值叠加处理，确定融合图像；
根据所述风格化背景图像对所述融合图像进行图像嵌入处理，确定目标风格化图像。
可选地，所述根据所述风格化背景图像对所述融合图像进行图像嵌入处理，确定目标风格化图像，包括：
根据所述风格化背景图像对所述融合图像进行图像嵌入处理，确定第一图像；
对所述第一图像进行腐蚀膨胀处理，确定目标风格化图像。
另一方面，本发明实施例还提供了一种风格化图像生成***，包括：
第一模块，用于获取待处理图像；
第二模块，用于对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像；
第三模块，用于根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数；
第四模块，用于根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集；
第五模块，用于对所述裁剪图像集进行风格化处理，确定风格化图像集；
第六模块，用于根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像。
另一方面，本发明实施例还公开了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如前面所述的方法。
另一方面，本发明实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明通过获取待处理图像，对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像，能够通过背景区域分离的处理方式降低了背景色彩的风格化影响；另外，本发明根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数，根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集，对所述裁剪图像集进行风格化处理，确定风格化图像集，能够通过扩充参数构造多层次图像再进行风格化处理，提高了图像的美观度，提高了多层次图像间的平滑度；再者，本发明根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像，能够通过插值叠加法对多层图像进行融合，减少多层图像之间的边缘、错位问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种风格化图像生成方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
风格化人物形象作为数字内容制作的重要组成成分，各大互联网巨头均有研究并提供相关图像生成能力，包括阿里、腾讯、百度、火山引擎等。目前的人物形象风格化生成框架主要包含以下两种方案：
1、整体风格化方案：生成整体图像的隐向量，对隐向量进行风格化处理，之后对隐向量进行解码还原成结果图像。
2、人脸抠图拼接方案：通过人脸关键点识别，确定人脸区域并裁剪抠出。之后将原始图片进行风格化处理，再将人脸区域进行风格化处理，最后将处理完成的人脸区域贴回。
其中，整体风格化方案的操作方式简便，生成图像的风格较为统一，但容易受图像中的非人脸区域影响，最终得出的效果美感不足。人脸抠图拼接方案对人脸部分处理的效果会相对较好，但人脸区域识别和人脸分割本身存在一定误差，部分图片将人脸区域贴回时，由于处理后的人脸和原始人脸之间的误差，使得最终生成的人像边缘容易出现重叠痕迹，例如脖子错位、双下巴等等，影响生成效果。
随着个人专属数字内容的热度逐渐升高，使用风格化能力生成数字形象的需求和场景会日益增多，而风格化效果的稳定性和美观度不足，影响了该能力的使用体验和推广速度。本发明旨在提供一种风格化图像生成方法，应用于风格化人物形象生成过程。能够在保留用户图片关键人像特征的基础上，能识别并裁剪选择最优风格化区域，通过多层风格化设计以及插值叠加处理方法，实现较为稳定的风格化图像生成能力。
参照图1，本发明实施例提供一种风格化图像生成方法，包括：
S101、获取待处理图像；
S102、对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像；
S103、根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数；
S104、根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集；
S105、对所述裁剪图像集进行风格化处理，确定风格化图像集；
S106、根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像。
其中，本发明实施例通过将用户输入或通过人工智能方法获取得到的待处理图像进行背景区域分离处理，使待处理图像中的人像和背景分割，减少背景区域颜色影响。接着，本发明实施例在人物图像中进一步识别头部区域，通过对人物图像和头部图像进行边缘检测，计算风格化边缘差异，得到合适的头部区域扩充参数。然后，本发明实施例基于扩充参数扩充裁剪头部区域，由头部到整体形成多层次图像区域，得到包含多层次图像的风格化图像集。最后，本发明实施例将风格化图像集中的多层图像分别进行风格化处理，并对风格化后的多层图像进行拼接和叠加处理，得到目标风格化图像。
进一步作为优选的实施方式，上述步骤S102中，所述对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像，包括：
对所述待处理图像进行背景分离处理，确定人物图像；
对所述人物图像进行头部区域识别和裁剪处理，确定头部图像。
其中，在风格化模型训练时，为了让生成的图片风格尽可能接近目标风格，会增加颜色编码损失(YUV损失)，让生成的风格化图像整体明亮度及色彩尽可能接近目标风格。当图片中的背景亮度和色彩与人像的亮度和色彩差异过大时，会使得生成得图像中人脸部分的色彩偏离真实色彩。为解决以上问题，本发明实施例通过人像抠图模型，将人像从待处理图像中分离出来，得到人物图像，能够抑制背景对人像部分的干扰，使风格化图像的生成效果更佳。由于人像风格化模型在训练时，大多基于头部成对图像进行训练，因此本发明实施例在得到人物图像后，对人物图像进行头部区域识别和裁剪处理，得到头部图像。
在本发明实施例中，基于开源P3M-NET模型实现人像抠图，通过对P3M-10k数据集进行增广，嵌入多种背景图像，实现更为精细稳定的抠图能力。P3M-NET模型采用多任务框架，将人像抠图任务分解成语义分割和细节抠图两个子任务，通过深层双向特征融合模块、浅层双向特征融合模块、三方特征融合模块实现每个子任务与其对应的不同层次编码的融合和信息交互。使用dlib工具对分离后的人像整体图像进行头部区域识别及裁剪，dlib是一个现代化的C++工具箱，其中包含用于在C++中创建复杂软件以解决实际问题的机器学习算法和工具。它广泛应用于机器学习、深度学习、图像处理领域，包括机器人，嵌入式设备，移动电话和大型高性能计算环境。
进一步作为优选的实施方式，所述根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数，包括：
获取所述人物图像作为当前对比图像；
分别对所述头部图像和所述当前对比图像进行风格化处理，确定头部风格化图像和当前对比风格化图像；
对所述头部风格化图像进行边缘检测处理，确定头部图像边缘数值；
对所述当前对比风格化图像进行边缘检测处理，确定对比图像边缘数值；
根据所述头部图像边缘数值和所述对比图像边缘数值确定边缘差异值，当所述边缘差异值大于差异阈值时，对所述当前对比图像进行缩小处理，并返回分别对所述头部图像和所述当前对比图像进行风格化处理，确定头部风格化图像和当前对比风格化图像这一步骤，直至所述缘差异值小于或等于所述差异阈值；
计算所述头部风格化图像与所述当前对比风格化图像的像素差值，确定扩充参数。
其中，目前的风格化能力以生成对抗网络为主，如CartoonGAN、ComixGAN、AnimeGAN等，针对头部区域和对整体区域的处理效果存在较大差异。由于人像风格化模型在训练时，大多基于头部成对图像进行训练，因此在生成风格化图像时，也大多对头部图像推理较优，但对整体图像推理较差。若将头部区域和整体区域分别进行风格化处理然后再进行拼接，由于风格化后的图像在纹理和色彩上均存在差异，会影响头部风格化图像和整体风格化图像拼接的效果，如头颈错位、肢体割裂、色彩断裂等。
因此，本发明实施例通过计算合适的头部区域扩充参数，降低不同尺寸图片风格化产生的纹理差异。具体地，本发明实施例将上述步骤中分割得到的人物图像作为当前对比图像，分别对头部图像和当前对比图像进行风格化处理，得到头部风格化图像和当前对比风格化图像。在头部图像和当前对比图像进行风格化处理后，基于索贝尔算子(Sobel算子)各自计算两种风格化图像的边缘数值，得到头部图像边缘数值和对比图像边缘数值。将头部图像边缘数值和对比图像边缘数值进行相减，得到边缘差异值，并对边缘差异值的大小进行判断；当边缘差异值大于差异阈值时，对当前对比图像进行缩小处理，并返回分别对头部图像和当前对比图像进行风格化处理，确定头部风格化图像和当前对比风格化图像这一步骤，直至缘差异值小于或等于差异阈值。计算头部风格化图像与当前对比风格化图像的像素差值，得到扩充参数。该扩充参数为当前对比风格化图像减去头部风格化图像，剩余图像的左右上下像素值，即为像素差值。该扩充参数的作用为沿着图像上下左右方向扩充像素值，得到多层图像。需要注意的是，本发明实施例可采用上述风格化生成模型进行风格化处理，但是需要使用同一种风格化生成模型分别对头部图像和当前对比图像进行风格化处理。差异阈值为预先设定的阈值，一般设为60，因此差异阈值太低了会导致扩充区域较小，需要做很多次区域扩充及风格化处理才能完成整个风格化过程；而差异阈值太高了会导致扩充区域较大，容易出现边缘错位的情况。
进一步作为优选的实施方式，所述根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集，包括：
对所述人物图像进行头部区域裁剪处理，确定当前裁剪图像并保存到裁剪图像集；
根据所述扩充参数对所述当前裁剪图像进行扩充处理，确定扩充裁剪图像并保存到所述裁剪图像集；
当所述扩充裁剪图像小于所述人物图像时，获取所述扩充裁剪图像为当前裁剪图像，返回根据所述扩充参数对所述当前裁剪图像进行扩充处理，确定扩充裁剪图像并保存到所述裁剪图像集这一步骤，直至所述扩充裁剪图像大于或等于所述人物图像。
其中，本发明实施例对人物图像进行头部区域裁剪处理，得到当前裁剪图像并保存到裁剪图像集中，此时的当前裁剪图像为第一层图像。然后根据上述步骤得到的扩充参数对当前裁剪图像进行扩充处理，得到扩充裁剪图像并保存到裁剪图像集中，此时的扩充裁剪图像为第二次图像。对扩充裁剪图像进行大小判断，当扩充裁剪图像小于人物图像时，将扩充裁剪图像作为当前裁剪图像，返回到根据扩充参数对当前裁剪图像进行扩充处理，确定扩充裁剪图像并保存到裁剪图像集这一步骤，直到扩充裁剪图像大于或等于人物图像，即基于扩充参数，将第一层图像(即头部区域)扩充到第二层图像，在新得出的分层图像区域基础上，循环重复扩充步骤，直至扩充后的图像区域覆盖整体人物图像。最终，裁剪图像集中保存有裁剪出的多层图像。
进一步作为优选的实施方式，所述对所述裁剪图像集进行风格化处理，确定风格化图像集，包括：
获取所述待处理图像；
对所述待处理图像进行风格化处理，确定风格化背景图像；
对所述裁剪图像集中的每一张图像分别进行风格化处理，确定第一图像集；
将所述风格化背景图像加入所述第一图像集，确定所述风格化图像集。
其中，本发明实施例对待处理图像进行转换处理，生成风格化背景图像，方便后续叠加背景区域。同时本发明实施例对裁剪图像集中的每一张图像分别进行风格化处理，得到第一图像集，该第一图像集为从头部到整体区域的多层风格化图像集合。在本发明实施例中，采用网络参数较少的轻量级生成对抗模型AnimeGAN对裁剪图像集中的多层图像进行风格化处理操作。AnimeGAN模型的生成器是一个对称的编解码器网络，而鉴别器中的所有卷积层都是标准的卷积。
进一步作为优选的实施方式，所述根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像，包括：
获取所述风格化图像集中的第一图像集和风格化背景图像，所述第一图像集为从小到大依次排序的多张图像集合；
依次对所述第一图像集中的相邻的图像进行像素色彩插值叠加处理，确定融合图像；
根据所述风格化背景图像对所述融合图像进行图像嵌入处理，确定目标风格化图像。
其中，风格化图像集中的边缘部分基本吻合，多层图像之间的纹理能较好地衔接在一起，但色彩部分有差异，导致多层图像合并后出现色彩区隔的情况。基于此，本发明实施例对多层风格化图像合并时，相邻层的图像采用插值叠加的方法进行融合，以第N层图像和第N+1层图像进行融合举例：对第N层图像的像素色彩值进行插值变换，先横向后纵向。
其中，横向变换公式为：
纵向变换公式为：
式中，表示第N层图像中一点的RGB色值，表示第N+1层图像对应上一点的RGB色值，x,y分别表示第N层图像中该点的横坐标和坐标；表示第N层图像该点进行横向色彩值变换后得到的中间值；表示第N层图像该点变换后，最终的色彩取值；wN表示第N层图像的宽，hN表示第N层图像的高。
本发明实施例将变换后的第N层图像，按原始左坐标和上坐标位置嵌入到第N+1层图像，形成融合后的图像，此时两层图像的色彩能较好地融合在一起。按照上述方法依次对第一图像集中的相邻的图像进行像素色彩插值叠加处理，得到融合图像。最后将融合图像与背景风格化图片进行融合嵌入，得到最终的目标风格化图像。
进一步作为优选的实施方式，所述根据所述风格化背景图像对所述融合图像进行图像嵌入处理，确定目标风格化图像，包括：
根据所述风格化背景图像对所述融合图像进行图像嵌入处理，确定第一图像；
对所述第一图像进行腐蚀膨胀处理，确定目标风格化图像。
其中，由于人像分割模型分割出来的人像会存在噪点及边缘不平滑情况，本发明实施例通过对第一图像进行腐蚀膨胀操作，让人像与背景的过渡更加自然，平滑边缘，最终得到原始待处理图像的风格化转换图像。
本发明实施例还提供了一种风格化图像生成***，包括：
第一模块，用于获取待处理图像；
第二模块，用于对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像；
第三模块，用于根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数；
第四模块，用于根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集；
第五模块，用于对所述裁剪图像集进行风格化处理，确定风格化图像集；
第六模块，用于根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像。
与图1的方法相对应，本发明实施例还提供了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如前面所述的方法。
与图1的方法相对应，本发明实施例还提供了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
综上所述，本发明实施例具有以下优点：
1、本发明实施例通过人像背景分割的处理方式，提升了风格化转换的效果，降低背景色彩的风格化影响，另外通过腐蚀膨胀操作，减少人像分割存在的噪点及边缘不平滑情况，让人像与背景的过渡自然平滑。
2、本发明实施例通过Sobel算子计算边缘差异，从而确定最佳的头像扩充参数，并进而构造头部到整体形成多层次图像，保证了头部区域风格化的美观度，也确保了不同层次图像之间的平滑衔接。
3、本发明实施例通过插值叠加的方法，实现多层图像的融合，避免了多层图像之间的边缝、错位问题，完成整体风格化效果的稳定输出。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种风格化图像生成方法，其特征在于，所述方法包括：
获取待处理图像；
对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像；
根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数；
根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集；
对所述裁剪图像集进行风格化处理，确定风格化图像集；
根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像；
其中，所述根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数，包括：
获取所述人物图像作为当前对比图像；
分别对所述头部图像和所述当前对比图像进行风格化处理，确定头部风格化图像和当前对比风格化图像；
对所述头部风格化图像进行边缘检测处理，确定头部图像边缘数值；
对所述当前对比风格化图像进行边缘检测处理，确定对比图像边缘数值；
根据所述头部图像边缘数值和所述对比图像边缘数值确定边缘差异值，当所述边缘差异值大于差异阈值时，对所述当前对比图像进行缩小处理，并返回分别对所述头部图像和所述当前对比图像进行风格化处理，确定头部风格化图像和当前对比风格化图像这一步骤，直至所述缘差异值小于或等于所述差异阈值；
计算所述头部风格化图像与所述当前对比风格化图像的像素差值，确定扩充参数。
2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像，包括：
对所述待处理图像进行背景分离处理，确定人物图像；
对所述人物图像进行头部区域识别和裁剪处理，确定头部图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集，包括：
对所述人物图像进行头部区域裁剪处理，确定当前裁剪图像并保存到裁剪图像集；
根据所述扩充参数对所述当前裁剪图像进行扩充处理，确定扩充裁剪图像并保存到所述裁剪图像集；
当所述扩充裁剪图像小于所述人物图像时，获取所述扩充裁剪图像为当前裁剪图像，返回根据所述扩充参数对所述当前裁剪图像进行扩充处理，确定扩充裁剪图像并保存到所述裁剪图像集这一步骤，直至所述扩充裁剪图像大于或等于所述人物图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述裁剪图像集进行风格化处理，确定风格化图像集，包括：
获取所述待处理图像；
对所述待处理图像进行风格化处理，确定风格化背景图像；
对所述裁剪图像集中的每一张图像分别进行风格化处理，确定第一图像集；将所述风格化背景图像加入所述第一图像集，确定所述风格化图像集。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像，包括：
获取所述风格化图像集中的第一图像集和风格化背景图像，所述第一图像集为从小到大依次排序的多张图像集合；
依次对所述第一图像集中的相邻的图像进行像素色彩插值叠加处理，确定融合图像；
根据所述风格化背景图像对所述融合图像进行图像嵌入处理，确定目标风格化图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述风格化背景图像对所述融合图像进行图像嵌入处理，确定目标风格化图像，包括：
根据所述风格化背景图像对所述融合图像进行图像嵌入处理，确定第一图像；
对所述第一图像进行腐蚀膨胀处理，确定目标风格化图像。
7.一种风格化图像生成***，其特征在于，所述***包括：
第一模块，用于获取待处理图像；
第二模块，用于对所述待处理图像进行背景区域分离处理，确定人物图像和头部图像；
第三模块，用于根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数；
第四模块，用于根据所述扩充参数对所述人物图像进行扩充裁剪处理，确定裁剪图像集；
第五模块，用于对所述裁剪图像集进行风格化处理，确定风格化图像集；
第六模块，用于根据插值叠加法对所述风格化图像集进行合并处理，确定目标风格化图像；
所述第三模块，用于根据所述头部图像对所述人物图像进行边缘检测处理，确定扩充参数，包括：
获取所述人物图像作为当前对比图像；
分别对所述头部图像和所述当前对比图像进行风格化处理，确定头部风格化图像和当前对比风格化图像；
对所述头部风格化图像进行边缘检测处理，确定头部图像边缘数值；
对所述当前对比风格化图像进行边缘检测处理，确定对比图像边缘数值；
根据所述头部图像边缘数值和所述对比图像边缘数值确定边缘差异值，当所述边缘差异值大于差异阈值时，对所述当前对比图像进行缩小处理，并返回分别对所述头部图像和所述当前对比图像进行风格化处理，确定头部风格化图像和当前对比风格化图像这一步骤，直至所述缘差异值小于或等于所述差异阈值；
计算所述头部风格化图像与所述当前对比风格化图像的像素差值，确定扩充参数。
8.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至6任一项所述的方法的步骤。
9.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210893426.9A CN115272146B (zh) | 2022-07-27 | 2022-07-27 | 一种风格化图像生成方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210893426.9A CN115272146B (zh) | 2022-07-27 | 2022-07-27 | 一种风格化图像生成方法、***、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115272146A CN115272146A (zh) | 2022-11-01 |
| CN115272146B true CN115272146B (zh) | 2023-04-07 |
Family
ID=83770122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210893426.9A Active CN115272146B (zh) | 2022-07-27 | 2022-07-27 | 一种风格化图像生成方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272146B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237397B (zh) * | 2023-07-13 | 2024-05-28 | 天翼爱音乐文化科技有限公司 | 基于特征融合的人像分割方法、***、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028137A (zh) * | 2018-10-10 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN111986076A (zh) * | 2020-08-21 | 2020-11-24 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、互动式展示装置和电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2677573C2 (ru) * | 2017-04-05 | 2019-01-17 | Общество С Ограниченной Ответственностью "Яндекс" | Система и способ дополнения изображения стилизованными свойствами |
| CN109829353B (zh) * | 2018-11-21 | 2023-04-18 | 东南大学 | 一种基于空间约束的人脸图像风格化方法 |
| CN112215854B (zh) * | 2020-10-19 | 2024-07-12 | 珠海金山数字网络科技有限公司 | 一种图像处理的方法及装置 |
| CN113763233B (zh) * | 2021-08-04 | 2024-06-21 | 深圳盈天下视觉科技有限公司 | 一种图像处理方法、服务器及拍照设备 |
| CN114037692A (zh) * | 2021-11-16 | 2022-02-11 | 深圳传音控股股份有限公司 | 图像处理方法、移动终端及存储介质 |
| CN114049473A (zh) * | 2021-11-18 | 2022-02-15 | 维沃移动通信有限公司 | 图像处理方法及装置 |
-
2022
- 2022-07-27 CN CN202210893426.9A patent/CN115272146B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028137A (zh) * | 2018-10-10 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN111986076A (zh) * | 2020-08-21 | 2020-11-24 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、互动式展示装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115272146A (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11170558B2 (en) | Automatic rigging of three dimensional characters for animation | |
| US11393152B2 (en) | Photorealistic real-time portrait animation | |
| US8872850B2 (en) | Juxtaposing still and dynamic imagery for cliplet creation | |
| US11727617B2 (en) | Single image-based real-time body animation | |
| US9779774B1 (en) | Generating semantically meaningful video loops in a cinemagraph | |
| US7657060B2 (en) | Stylization of video | |
| JP4500614B2 (ja) | 映像基盤レンダリングおよび編集の方法ならびにその装置 | |
| CN116724330A (zh) | 使用层级变分编码器的高分辨率肖像风格化框架 | |
| US20220222897A1 (en) | Portrait editing and synthesis | |
| Agarwala | Snaketoonz: A semi-automatic approach to creating cel animation from video | |
| CN115004236A (zh) | 来自音频的照片级逼真说话面部 | |
| CN105956995B (zh) | 一种基于实时视频本征分解的人脸外观编辑方法 | |
| US11157773B2 (en) | Image editing by a generative adversarial network using keypoints or segmentation masks constraints | |
| US20220156987A1 (en) | Adaptive convolutions in neural networks | |
| CN115272146B (zh) | 一种风格化图像生成方法、***、设备及介质 | |
| CN115457169A (zh) | 一种语音驱动的人脸动画生成方法及*** | |
| Noris et al. | Temporal noise control for sketchy animation | |
| US6201542B1 (en) | Three-dimensional polygon display apparatus using progressive polygon data | |
| Zhao et al. | Cartoon image processing: a survey | |
| JP4668321B2 (ja) | コンピュータシステムおよび動作制御方法 | |
| WO2011087451A1 (en) | Method, device, and computer readable medium for generating a digital picture | |
| JP5473096B2 (ja) | イメージベースドビジュアルハルにおける凹状表面のモデリング | |
| CN114067052A (zh) | 漫画化模型构建方法、装置、设备、存储介质及程序产品 | |
| Chen et al. | Automatic image completion with structure propagation and texture synthesis | |
| CN117496025B (zh) | 一种基于关系和风格感知的多模态场景生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |