CN114049290A - 图像处理方法、装置、设备及存储介质 - Google Patents
图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114049290A CN114049290A CN202111325365.8A CN202111325365A CN114049290A CN 114049290 A CN114049290 A CN 114049290A CN 202111325365 A CN202111325365 A CN 202111325365A CN 114049290 A CN114049290 A CN 114049290A
- Authority
- CN
- China
- Prior art keywords
- image
- head
- synthesized
- feature map
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000010586 diagram Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 239000002131 composite material Substances 0.000 claims abstract description 15
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 6
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 123
- 238000004891 communication Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000000697 sensory organ Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供了图像处理方法、装置设备及存储介质，涉及人工智能领域，具体为深度学习、计算机视觉技术领域，可应用于人脸图像处理、人脸识别等场景下。具体实现方案为：获取参考图像和目标人员头部图；利用目标人员头部替换参考图像中参考人员头部得到待合成图像，待合成图像包括部分参考背景、目标人员头部，以及位于部分参考背景和目标人员头部之间的待填充区域；对参考图像和待合成图像进行特征提取得到肤色样例特征图和填充样例特征图；基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像。通过提取肤色样例特征图和填充样例特征图用于图像合成使得合成图像更加自然、真实。
Description
技术领域
本公开涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于人脸图像处理、人脸识别等场景下，尤其涉及一种图像处理方法、装置、设备、存储介质以及计算机程序产品。
背景技术
随着计算技术以及人工智能发展，藉由融合网络具有肤色对齐、脖子以及背景填充等功能，其被广泛应用于人脸图像编辑和融合等场景下，例如将某人的头像融合到特定人员身体或者特定场景或背景中。
发明内容
本公开提供了一种图像处理方法、装置、设备、存储介质以及计算机程序产品。
根据本公开的第一方面，提供了一种图像处理方法，包括：获取参考图像和目标人员头部图像，其中，参考图像包括参考背景和参考人员头部；利用目标人员头部替换参考图像中参考人员头部，得到待合成图像，其中，待合成图像包括部分参考背景、目标人员头部，以及位于部分参考背景和目标人员头部之间的待填充区域；对参考图像和待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图；基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像。
根据本公开的第二方面，提供了一种图像处理装置，包括：获取模块，被配置为获取参考图像和目标人员头部图像，其中，参考图像包括参考背景和参考人员头部；替换模块，被配置为利用目标人员头部图像替换参考图像中参考人员头部，得到待合成图像，其中，待合成图像包括部分参考背景、目标人员头部，以及位于部分参考背景和目标人员头部之间的待填充区域；特征提取模块，被配置为对参考图像和待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图；图像生成模块，被配置为基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像。
根据本公开的第三方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个出来器执行，以使至少一个处理器能够实现如第一方面中任意实现方式描述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如第一方面中任意实现方式描述的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任意实现方式描述的方法。
本公开提供的一种图像处理方法、装置、设备、存储介质以及计算机程序产品，首先利用目标人员头部替换参考图像中参考人员头部得到待合成图像，然后对参考图像和待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图，最后基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像，所生成的合成图像更加自然、真实。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开可以应用于其中的示例性***架构；
图2是本公开的图像处理方法的一个实施例的流程图；
图3是本公开的图像处理方法的另一个实施例的流程图；
图4是本公开图像处理方法的又一个实施例中的流程图；
图5A是本公开图像处理方法的应用场景示意图；
图5B是图5A的场景下提取肤色样例特征图和填充样例特征图的示意图；
图6是本公开图像处理装置的一个实例的结构示意图；
图7是用来实现本公开实施例的图像处理的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本公开的图像处理方法或图像处理装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以获取图像处理结果等。终端设备101、102、103上可以安装有各种客户端应用，例如图像合成应用等等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以提供各种基于图像合成的服务或应用。例如，服务器105可以对从终端设备101、102、103获取到参考图像和目标人员头部图像进行处理，并生成处理结果(例如生成合成图像)。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本公开实施例所提供的图像处理方法一般由服务器105执行，相应地，图像处理装置一般设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
请参考图2，图2示出了本公开实施例提供的一种图像处理方法的流程图，其中流程200包括以下步骤：
步骤201、获取参考图像和目标人员头部图像。
在本实施例中，图像处理方法的执行主体(例如图1所示的服务器105)可以获取参考图像和目标人员头部图像。其中，参考图像包括参考背景和参考人员头部。参考图像的获取方式可以是直接用图像传感器采集得到，示例性的，图像传感器可以是摄像头，也可以从存储了大量图像的本地文件中获取。举例来说参考图像可以是以参考人员为目标，以参考人员所在的环境为背景通过摄像头拍摄得到的图像。目标人员头部图像可以从摄像头拍摄的图像中将某一人员的头部区域单独划分出来所得到的图像。可选地，参考图像还包括除参考人员头部以外的皮肤裸露区域；示例性地，参考图像除包括参考人的头部以外还，可以包括参考人员的脖子和/或手臂等。
步骤202、利用目标人员头部图像替换参考图像中参考人员头部，得到待合成图像。
在本实施例中，上述执行主体在获取到参考图像和目标人员头部图像后，可以利用目标人员头部图像替换参考图像中参考人员头部得到待合成图像，其中，待合成图像包括部分参考背景、目标人员头部，以及位于部分参考背景和目标人员头部之间的待填充区域。在实施过程中考虑到不同人头部大小、形状等存在差异，替换参考人员头部时可以预先将参考人员的头部以及头部周围预设距离或形状的背景去掉，并将目标人员头部图像添加到原参考人员头部所在位置，从而得到待合成图像，部分参考背景指的是前述参考图像中参考背景的一部分，如参考背景去掉参考人员头部周围预设距离或形状的背景剩余的背景区域。
步骤203、对参考图像和待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图。
在本实施例中，上述执行主体在得到待合成图像之后，可以对参考图像和待合成图像进行特征提取，以得到肤色样例特征图和填充样例特征图。特征提取的方式可以是任何现有提取方式包括但不限于HOG(方向梯度直方图)提取算法、尺度不变特征变换以及神经网络特等。肤色样例特征表征的是参考图像中参考人员的肤色信息，填充样例特征图表征的是从参考图像提取待合成图像所指示的待填充区域的填充信息。
步骤204、基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像。
在本实施例中，上述执行主体在获得肤色样例特征图和填充样例特征图后，可以基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像。上述执行主体可以采用融合网络结合所获取的肤色样例特征图和填充样例特征图对待合成图像进行融合得到合成图像，其中合成图像包括目标人员的头部，且目标人员的肤色与参考人员肤色相同。
本实施例提供的图像处理方法，首先利用目标人员头部替换参考图像中参考人员头部得到待合成图像，然后对参考图像和待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图，最后基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像，所生成的合成图像更加自然、真实。
进一步继续参考图3所示，图3示出了本公开的图像处理方法的另一个实施例的流程300。该图像处理方法包括以下步骤：
步骤301、获取参考图像和目标人员头部图像。
在本实施例中，步骤301具体操作已在图2所示的实施例中步骤201进行了详细的介绍，在此不再赘述。
步骤302、对参考图像中的参考人员头部进行五官分割，得到头部掩膜，并将参考图像中除头部掩膜以外的区域作为参考背景。
在本实施例中，五官分割是指通过人面部的五官(眉毛、眼睛、鼻子、嘴巴、眉毛、耳朵)将图像划分成对应各器官对应的区域，然后通过所划分的区域定位到完整的头部区域；头部掩膜表征的是头部所在的区域，举例来说在具体实施过程中执行主体可以以头部为实心提取得到二值化图像作为头部掩膜，具体来说可以将参考图中头部所在的区域的像素值设置成255，将参考图像中头部以外的区域的像素值设置成0，即得到由白色表示头部，其余部分由黑色填充。可选地，在具体实施过程中在进行五官分割前执行主体还可以根据目标人员头像的大小先对参考图像进行平移缩放，以使平移缩放后的参考图像中参考人员头部与目标人员头部大小相当。
步骤303、对头部掩膜进行膨胀，得到膨胀区域，其中，膨胀区域的面积大于目标人员头部图像的面积。
在本实施例中，膨胀方式包括但不限于以头部掩膜的中心为基准，将头部最外边缘向外扩展预设距离，或者也可以以头部一侧为基准，将另一侧向外扩展预设距离等。示例性地，上述执行主体可以在前述得到的头部掩膜中像素值为255的区域中，将与头部最外边沿距离小于两毫米区域的像素值设置为0，从而得到比原头部面积大的膨胀区域，本实施例不对膨胀大小进行限制，以上提及的具体距离值仅用于举例说明。
步骤304、将参考背景中与膨胀区域不相交的区域确定为部分参考背景，将目标人员头部图像添加至膨胀区域，以及将膨胀区域中与目标人员头部不相交的区域确定为待填充区域。
在本实施例中，上述执行主体在获取到膨胀区域后，执行主体通过比对参考背景和膨胀区域，具体来说可以将膨胀区域映射到参考图像上参考人员对应的位置，膨胀区域映射时可采用膨胀区域中原头部区域与参考图像上头部区域相对应的方式，从而得到参考背景中与膨胀区域不重叠的区域作为部分参考背景；进一步地，上述执行主体还可以在获取到膨胀区域后，将目标人员头部映射到膨胀区域，由于膨胀区域是基于参考人员头部膨胀得到，在映射目标人员头部时可采取部分五官对齐的方式映射，例如添加目标人员头像时将目标人员的鼻子与原参考人员鼻子位置对齐，最后将膨胀区域中未覆盖目标人员头部的区域作为待填充区域。
步骤305、对目标人员头部图像、部分参考背景、待填充区域进行整合，得到待合成图像。
在本实施例中，上述执行主体在确定待填充区域和部分参考背景后，该执行主体将所得到的部分参考背景、待填充区域以及目标人员头部图像进行整合得到待合成图像，该待合成图像的部分背景环绕待填充区域，待填充区域环绕目标人员头部图像。
步骤306、对参考图像和待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图；
步骤307、基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像。
在本实施例中，步骤306-307具体操作已在图2所示的实施例中步骤203和204中进行了详细的介绍，在此不再赘述。
本实施例提供的图像处理方法，通过对参考图像进行五官分割、膨胀，并与目标人员头部图像整合得到待合成图像，该待合成图像利用参考图像构造得到，使得合成图像更加真实自然。
进一步继续参考图4所示，图4示出了本公开图像处理方法的又一个实施例中的流程图，该图像处理方法包括以下步骤：
步骤401、获取参考图像和目标人员头部图像。
步骤402、利用目标人员头部图像替换参考图像中参考人员头部，得到待合成图像。
在本实施例中，步骤401-402具体操作已在图2所示的实施例中步骤201-202进行了详细的介绍，在此不再赘述。
步骤403、利用特征提取网络提取参考图像的特征和待合成图像的特征。
在本实施例中，特征提取网络不失一般性可选取AlexNet、ZF Net、VGGNet、Inception、ResNet等经典主干网络，特征提取网络采用双输入双输出结构，具体来说是以参考图像和待合成图像作为双输入，以参考图像的特征和待合成图像的特征作为双输出，在具体实施时，只要将参考图像和待合成图像输入到特征提取网络即可得到二者各自对应的特征。
步骤404、采用注意力机制从参考图像的特征和待合成图像的特征中提取肤色样例特征图和填充样例特征图。
在本实施例中，上述执行主体提取到参考图像的特征和待合成图像的特征后，执行主体可以结合注意力机制结合参考图像的特征和待合成图像的特征提取参考人员的肤色信息作为肤色样例特征图，并结合参考图像的特征和待合成图像的特征提取待填充区域的信息作为填充样例特征图，以为后续图像合成提供更丰富的融合信息。
可选地，步骤404包括基于待合成图像的特征确定目标人员头部特征和待填充区域特征；利用目标人员头部特征和参考图像的特征计算注意力矩阵，得到颜色注意力特征图；将颜色注意力特征图与参考图像的特征相乘，得到肤色样例特征图；利用待填充区域特征和参考图像的特征计算注意力矩阵，得到填充区域注意力特征图；将填充区域注意力特征图与参考图像的特征相乘，得到填充样例特征图。
步骤405、对目标人员头部图像进行颜色处理，得到头部灰度图。
在本实施例中，颜色处理指的是遍历目标人员头部图像的颜色，将原本由RGB三通道组成的目标人员头部图像处理成单通道的灰度图，从而得到头部灰度图。
步骤406、对肤色样例特征图、填充样例特征图、头部掩膜、头部灰度图以及部分参考背景进行合成处理，得到合成图像。
在本实施例中，上述执行主体在提取到肤色样例特征图和填充样例特征图后，执行主体将肤色样例特征图和填充样例特征图、头部掩膜、头部灰度图以及部分参考背景送入预先训练的融合网络中进行融合从而得到合成图像。
可选地，步骤406包括对肤色样例特征图、填充样例特征图、头部掩膜、头部灰度图以及部分参考背景进行拼接，得到拼接图；将拼接图输入至预先训练的融合网络中进行融合，得到合成图像。例如融合网络包括但不限于Unet网络。其中，拼接指的是沿通道维度组合各通道的信息；例如特征图1具有四个通道，表示为B*C1*W*H，特征图2具有四个通道，表示为B*C2*W*H，沿通道拼接特征图1和特征图2得到拼接图，该拼接图表示为B*(C1+C2)*W*H，本实施例不对特征图的通道数量进行限定，本实施例提及的通道数仅用于举例说明。
在本实施例中，预先训练的融合网络由生成器生成指定姿态表情以及ID的人体图像G(XInput,XRef)＝Y，其中XInput,为待合成图像图片，XRef为参考图像，Y为融合后输出的合成图像，该融合网络训练时的损失函数有：
(1)ID保留损失。采用Arcface提取的中间特征来在高维信息空间中对齐：
LID＝||Arcface(Y)-Arcface(XGT)||2
其中XGT是由参考图像得到的部分背景。
(2)图像特征对齐损失。采用VGG19提取的中间特征在高维信息空间中对齐：
LVGG＝||VGG(Y)-VGG(XGT)||2
(3)判别特征对齐损失。采用判别器D提取的中间特征在高维信息空间中对齐：
LD＝||D(Y)-D(XGT)||2
(4)判别器损失。采用判别器的对抗训练来减少生成图像中人工痕迹：
LGAN＝E(logD(XGT))+E(log(1-D(Y)))
本实施例提供的图像处理方法，通过采用注意力机制提取到肤色样例特征图和填充样例特征图，肤色样例特征图相比于融合网络所采用的平均色信息更具有真实皮肤质感，避免了采用平均色信息对肤色的迁移质量的降低，同时填充样例特征图避免网络所想象出的信息不符合待填充区域的原本信息，为融合网络提供更加完整、可靠的信息，丰富了图像合成方式。
为了便于理解本发明的技术方案，下面以换头应用场景为例进行详细说明，请结合图5A和图5B所示，图5A示出了本公开图像处理方法的应用场景，图5B是图5A的应用场景下提取肤色样例特征图和填充样例特征图的示意图，在该应用场景中参考图像1除了包括参考人员头部和背景以外还包括参考人员的脖子，在实施过程中上述执行主体将参考图像1和待合成图像2输入到特征提取网络3中，特征提取网络3输出参考图像的特征4和待合成图像的特征5。进一步地，上述执行主体将参考图像的特征4和待合成图像的特征5通过注意力特征提取6即可得到肤色样例特征图7和填充样例特征图8；请结合图5B所示，待合成图像的特征5包括目标人员头部特征5a和待填充区域特征5b，上述执行主体将目标人员头部特征5a和待填充区域特征5b分别与参考图像的特征4计算注意力矩阵，再分别与参考图像的特征4相乘从而得到肤色样例特征图7和填充样例特征图8。请再次结合图5A所示，上述执行主体基于待合成图像2获取头部掩膜9、部分参考背景10以及头部灰度图11后，将以上三者与前述步骤得到的肤色样例特征图7和填充样例特征图8进行拼接，然后输入的预先训练的融合网络12中，由预先训练的融合网络12输出合成图像13。
在本实施例采用以上方式得到的合成图像，以目标人员为对象，以参考图像的背景，还包括参考图像中参考人员的脖子，藉由合成图像中目标人员的肤色与参考人员肤色相同，从而保证了待合成图像中目标人员头部与图像中的脖子处肤色无差异，并且头部周围与背景结合的区域更加真实自然，提升了合成图像的美观性。
进一步请参考图6所示，作为对上述各图所示方法的实现，本公开分别提供了一种图像处理装置实施例，图像风格转换模型的训练装置实施例与图2所示的图像风格转换模型的训练方法实施例相对应。上述装置具体可以应用于各种电子设备中。
如图5所示，本实施例的图像处理装置600可以包括：获取模块601、替换模块602、特征提取模块603和图像生成模块604。其中，获取模块601，被配置为获取参考图像和目标人员头部图像，其中，参考图像包括参考背景和参考人员头部；替换模块602，被配置为利用目标人员头部图像替换参考图像中参考人员头部，得到待合成图像，其中，待合成图像包括部分参考背景、目标人员头部，以及位于部分参考背景和目标人员头部之间的待填充区域；特征提取模块603，被配置为对参考图像和待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图；图像生成模块604，被配置为基于肤色样例特征图、填充样例特征图和待合成图像生成合成图像。
在本实施例中，图像处理装置600中：获取模块601、替换模块602、特征提取模块603和图像生成模块604的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，特征提取模块603，包括：
第一提取模块，被配置为利用特征提取网络提取参考图像的特征和待合成图像的特征；
第二提取模块，被配置为采用注意力机制从参考图像的特征和待合成图像的特征中提取肤色样例特征图和填充样例特征图。
在本实施例的一些可选的实现方式中，第二提取模块，包括：
特征确定模块，被配置为基于待合成图像的特征确定目标人员头部特征和待填充区域特征；
第一计算模块，被配置为利用目标人员头部特征和参考图像的特征计算注意力矩阵，得到颜色注意力特征图；
第一相乘模块，被配置为将颜色注意力特征图与参考图像的特征相乘，得到肤色样例特征图；
第二计算模块，被配置为利用待填充区域特征和参考图像的特征计算注意力矩阵，得到填充区域注意力特征图；
第二相乘模块，被配置为将填充区域注意力特征图与参考图像的特征相乘，得到填充样例特征图。
在本实施例的一些可选的实现方式中，替换模块602，包括：
分割模块，被配置为对参考图像中的参考人员头部进行五官分割，得到头部掩膜，并将参考图像中除头部掩膜以外的区域作为参考背景；
膨胀模块，被配置为对头部掩膜进行膨胀，得到膨胀区域，其中，膨胀区域的面积大于目标人员头部图像的面积；
区域确定模块，被配置为将参考背景中与膨胀区域不相交的区域确定为部分参考背景，以及将目标人员头部图像添加至膨胀区域，并将膨胀区域中与目标人员头部不相交的区域确定为待填充区域；
整合模块，被配置为对目标人员头部图像、部分参考背景、待填充区域进行整合，得到待合成图像。
在本实施例的一些可选的实现方式中，图像生成模块604，包括：
颜色处理模块，被配置为对目标人员头部图像进行颜色处理，得到头部灰度图；
合成模块，被配置为对肤色样例特征图、填充样例特征图、头部掩膜、头部灰度图以及部分参考背景进行合成处理，得到合成图像。
在本实施例的一些可选的实现方式中，合成模块，包括：
拼接模块，被配置为对肤色样例特征图、填充样例特征图、头部掩膜、头部灰度图以及部分参考背景进行拼接，得到拼接图；
融合模块，被配置为将拼接图输入至预先训练的融合网络中进行融合，得到合成图像。
在本实施例的一些可选的实现方式中，参考图像还包括除参考人员头部以外的皮肤裸露区域。
本公开的技术方案中，所涉及的用户个人信息的收集，存储和使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 03并由计算单元701执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (17)
1.一种图像处理方法，包括：
获取参考图像和目标人员头部图像，其中，所述参考图像包括参考背景和参考人员头部；
利用所述目标人员头部图像替换所述参考图像中参考人员头部，得到待合成图像，其中，所述待合成图像包括部分参考背景、目标人员头部，以及位于所述部分参考背景和所述目标人员头部之间的待填充区域；
对所述参考图像和所述待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图；
基于所述肤色样例特征图、所述填充样例特征图和所述待合成图像生成合成图像。
2.根据权利要求1所述的方法，其中，所述对所述参考图像和所述待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图，包括：
利用特征提取网络提取所述参考图像的特征和所述待合成图像的特征；
采用注意力机制从所述参考图像的特征和所述待合成图像的特征中提取肤色样例特征图和填充样例特征图。
3.根据权利要求2所述的方法，其中，所述采用注意力机制从所提取的所述参考图像和所述待合成图像的特征中提取肤色样例特征图和填充样例特征图，包括：
基于所述待合成图像的特征确定目标人员头部特征和待填充区域特征；
利用所述目标人员头部特征和所述参考图像的特征计算注意力矩阵，得到颜色注意力特征图；
将所述颜色注意力特征图与所述参考图像的特征相乘，得到所述肤色样例特征图；
利用所述待填充区域特征和所述参考图像的特征计算注意力矩阵，得到填充区域注意力特征图；
将所述填充区域注意力特征图与所述参考图像的特征相乘，得到所述填充样例特征图。
4.根据权利要求1-3任一项所述的方法，所述利用所述目标人员头部图像替换所述参考图像中参考人员头部，得到待合成图像，包括：
对所述参考图像中的所述参考人员头部进行五官分割，得到头部掩膜，并将所述参考图像中除所述头部掩膜以外的区域作为所述参考背景；
对所述头部掩膜进行膨胀，得到膨胀区域，其中，所述膨胀区域的面积大于所述目标人员头部图像的面积；
将所述参考背景中与所述膨胀区域不相交的区域确定为所述部分参考背景，将所述目标人员头部图像添加至所述膨胀区域，以及将所述膨胀区域中与所述目标人员头部不相交的区域确定为所述待填充区域；
对所述目标人员头部图像、所述部分参考背景、所述待填充区域进行整合，得到所述待合成图像。
5.根据权利要求4所述的方法，其中，所述基于肤色样例特征图、填充样例特征图和所述待合成图像生成合成图像，包括：
对所述目标人员头部图像进行颜色处理，得到头部灰度图；
对所述肤色样例特征图、所述填充样例特征图、所述头部掩膜、所述头部灰度图以及所述部分参考背景进行合成处理，得到所述合成图像。
6.根据权利要求5所述的方法，其中，所述对所述肤色样例特征图、所述填充样例特征图、所述头部掩膜、所述头部灰度图以及所述部分参考背景进行合成处理，得到所述合成图像，包括：
对所述肤色样例特征图、所述填充样例特征图、所述头部掩膜、所述头部灰度图以及所述部分参考背景进行拼接，得到拼接图；
将所述拼接图输入至预先训练的融合网络中进行融合，得到所述合成图像。
7.根据权利要求1所述的方法，其中，所述参考图像还包括除参考人员头部以外的皮肤裸露区域。
8.一种图像处理装置，包括：
获取模块，被配置为获取参考图像和目标人员头部图像，其中，所述参考图像包括参考背景和参考人员头部；
替换模块，被配置为利用所述目标人员头部图像替换所述参考图像中参考人员头部，得到待合成图像，其中，所述待合成图像包括部分参考背景、目标人员头部，以及位于所述部分参考背景和所述目标人员头部之间的待填充区域；
特征提取模块，被配置为对所述参考图像和所述待合成图像进行特征提取，得到肤色样例特征图和填充样例特征图；
图像生成模块，被配置为基于所述肤色样例特征图、所述填充样例特征图和所述待合成图像生成合成图像。
9.根据权利要求8所述的装置，其中，所述特征提取模块，包括：
第一提取模块，被配置为利用特征提取网络提取所述参考图像的特征和所述待合成图像的特征；
第二提取模块，被配置为采用注意力机制从所述参考图像的特征和所述待合成图像的特征中提取肤色样例特征图和填充样例特征图。
10.根据权利要求9所述的装置，其中，所述第二提取模块，包括：
特征确定模块，被配置为基于所述待合成图像的特征确定目标人员头部特征和待填充区域特征；
第一计算模块，被配置为利用所述目标人员头部特征和所述参考图像的特征计算注意力矩阵，得到颜色注意力特征图；
第一相乘模块，被配置为将所述颜色注意力特征图与所述参考图像的特征相乘，得到所述肤色样例特征图；
第二计算模块，被配置为利用所述待填充区域特征和所述参考图像的特征计算注意力矩阵，得到填充区域注意力特征图；
第二相乘模块，被配置为将所述填充区域注意力特征图与所述参考图像的特征相乘，得到所述填充样例特征图。
11.根据权利要求8-10任一项所述的装置，所述替换模块，包括：
分割模块，被配置为对所述参考图像中的所述参考人员头部进行五官分割，得到头部掩膜，并将所述参考图像中除所述头部掩膜以外的区域作为所述参考背景；
膨胀模块，被配置为对所述头部掩膜进行膨胀，得到膨胀区域，其中，所述膨胀区域的面积大于所述目标人员头部图像的面积；
区域确定模块，被配置为将所述参考背景中与所述膨胀区域不相交的区域确定为所述部分参考背景，将所述目标人员头部图像添加至所述膨胀区域，以及将所述膨胀区域中与所述目标人员头部不相交的区域确定为所述待填充区域；
整合模块，被配置为对所述目标人员头部图像、所述部分参考背景、所述待填充区域进行整合，得到所述待合成图像。
12.根据权利要求11所述的装置，其中，所述图像生成模块，包括：
颜色处理模块，被配置为对所述目标人员头部图像进行颜色处理，得到头部灰度图；
合成模块，被配置为对所述肤色样例特征图、所述填充样例特征图、所述头部掩膜、所述头部灰度图以及所述部分参考背景进行合成处理，得到所述合成图像。
13.根据权利要求12所述的装置，其中，所述合成模块，包括：
拼接模块，被配置为对所述肤色样例特征图、所述填充样例特征图、所述头部掩膜、所述头部灰度图以及所述部分参考背景进行拼接，得到拼接图；
融合模块，被配置为将所述拼接图输入至预先训练的融合网络中进行融合，得到所述合成图像。
14.根据权利要求8所述的装置，其中，所述参考图像还包括除参考人员头部以外的皮肤裸露区域。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111325365.8A CN114049290A (zh) | 2021-11-10 | 2021-11-10 | 图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111325365.8A CN114049290A (zh) | 2021-11-10 | 2021-11-10 | 图像处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114049290A true CN114049290A (zh) | 2022-02-15 |
Family
ID=80207957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111325365.8A Pending CN114049290A (zh) | 2021-11-10 | 2021-11-10 | 图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049290A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385641A (zh) * | 2023-03-29 | 2023-07-04 | 北京百度网讯科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN117291979A (zh) * | 2023-09-26 | 2023-12-26 | 北京鹰之眼智能健康科技有限公司 | 一种耳洞定位方法、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050286786A1 (en) * | 2004-06-17 | 2005-12-29 | Reiko Noda | Apparatus and method for coding image based on level of visual attention and level of perceivable image quality distortion, and computer program product therefor |
| US20070031032A1 (en) * | 2005-08-05 | 2007-02-08 | Samsung Electronics Co., Ltd. | Method and apparatus for performing conversion of skin color into preference color by applying face detection and skin area detection |
| CN101263721A (zh) * | 2005-07-13 | 2008-09-10 | 日本电气株式会社 | 颜色修正方法和颜色修正设备 |
| CN109784301A (zh) * | 2019-01-28 | 2019-05-21 | 广州酷狗计算机科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN111027382A (zh) * | 2019-11-06 | 2020-04-17 | 华中师范大学 | 一种基于注意力机制的轻量级人脸检测的方法及模型 |
| CN111063008A (zh) * | 2019-12-23 | 2020-04-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN112967355A (zh) * | 2021-03-05 | 2021-06-15 | 北京百度网讯科技有限公司 | 图像填充方法及装置、电子设备和介质 |
-
2021
- 2021-11-10 CN CN202111325365.8A patent/CN114049290A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050286786A1 (en) * | 2004-06-17 | 2005-12-29 | Reiko Noda | Apparatus and method for coding image based on level of visual attention and level of perceivable image quality distortion, and computer program product therefor |
| CN101263721A (zh) * | 2005-07-13 | 2008-09-10 | 日本电气株式会社 | 颜色修正方法和颜色修正设备 |
| US20070031032A1 (en) * | 2005-08-05 | 2007-02-08 | Samsung Electronics Co., Ltd. | Method and apparatus for performing conversion of skin color into preference color by applying face detection and skin area detection |
| CN109784301A (zh) * | 2019-01-28 | 2019-05-21 | 广州酷狗计算机科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN111027382A (zh) * | 2019-11-06 | 2020-04-17 | 华中师范大学 | 一种基于注意力机制的轻量级人脸检测的方法及模型 |
| CN111063008A (zh) * | 2019-12-23 | 2020-04-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN112967355A (zh) * | 2021-03-05 | 2021-06-15 | 北京百度网讯科技有限公司 | 图像填充方法及装置、电子设备和介质 |
Non-Patent Citations (4)
| Title |
|---|
| RENWANG CHEN ET AL: "SimSwap: An Efficient Framework For High Fidelity Face Swapping", 《MM \'20: PROCEEDINGS OF THE 28TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》, 16 October 2020 (2020-10-16) * |
| 刘喜荣;田启川;: "基于肤色模型和模板匹配的人脸检测方法研究", 太原科技大学学报, no. 05, 15 October 2010 (2010-10-15) * |
| 邓波;吴炜;滕奇志;: "基于视觉注意机制的人脸区域预检测", 电视技术, no. 07, 17 July 2010 (2010-07-17) * |
| 陈令, 汪亚明: "基于肤色平滑度的人脸分割", 测试技术学报, no. 01, 15 March 2004 (2004-03-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385641A (zh) * | 2023-03-29 | 2023-07-04 | 北京百度网讯科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN116385641B (zh) * | 2023-03-29 | 2024-03-19 | 北京百度网讯科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN117291979A (zh) * | 2023-09-26 | 2023-12-26 | 北京鹰之眼智能健康科技有限公司 | 一种耳洞定位方法、电子设备及存储介质 |
| CN117291979B (zh) * | 2023-09-26 | 2024-04-26 | 北京鹰之眼智能健康科技有限公司 | 一种耳洞定位方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11734851B2 (en) | Face key point detection method and apparatus, storage medium, and electronic device | |
| US10599914B2 (en) | Method and apparatus for human face image processing | |
| CN113327278B (zh) | 三维人脸重建方法、装置、设备以及存储介质 | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| CN114187624B (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| CN108388889B (zh) | 用于分析人脸图像的方法和装置 | |
| CN112330527A (zh) | 图像处理方法、装置、电子设备和介质 | |
| CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113221771A (zh) | 活体人脸识别方法、装置、设备、存储介质及程序产品 | |
| WO2022227765A1 (zh) | 生成图像修复模型的方法、设备、介质及程序产品 | |
| CN113379877B (zh) | 人脸视频生成方法、装置、电子设备及存储介质 | |
| CN110874575A (zh) | 一种脸部图像处理方法及相关设备 | |
| KR20170002097A (ko) | 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 | |
| US20230047748A1 (en) | Method of fusing image, and method of training image fusion model | |
| CN115147261A (zh) | 图像处理方法、装置、存储介质、设备及产品 | |
| CN112884889B (zh) | 模型训练、人头重建方法，装置，设备以及存储介质 | |
| CN113380269B (zh) | 视频图像生成方法、装置、设备、介质和计算机程序产品 | |
| CN114120413A (zh) | 模型训练方法、图像合成方法、装置、设备及程序产品 | |
| CN116402914B (zh) | 用于确定风格化图像生成模型的方法、装置及产品 | |
| CN113269719A (zh) | 模型训练、图像处理方法，装置，设备以及存储介质 | |
| US20220198828A1 (en) | Method and apparatus for generating image | |
| CN113781653B (zh) | 对象模型生成方法、装置、电子设备及存储介质 | |
| CN114862716A (zh) | 人脸图像的图像增强方法、装置、设备及存储介质 | |
| CN114066790A (zh) | 图像生成模型的训练方法、图像生成方法、装置和设备 | |
| CN115147850B (zh) | 文字生成模型的训练方法、文字生成方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |