CN114565512A - 眉形变形方法、装置、电子设备及可读存储介质 - Google Patents
眉形变形方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN114565512A CN114565512A CN202210202616.1A CN202210202616A CN114565512A CN 114565512 A CN114565512 A CN 114565512A CN 202210202616 A CN202210202616 A CN 202210202616A CN 114565512 A CN114565512 A CN 114565512A
- Authority
- CN
- China
- Prior art keywords
- eyebrow
- vector
- type
- obtaining
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004709 eyebrow Anatomy 0.000 title claims abstract description 281
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 215
- 230000009466 transformation Effects 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000007493 shaping process Methods 0.000 claims description 38
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000005192 partition Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 241000124033 Salix Species 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000000843 powder Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种眉形变形方法、装置、电子设备及可读存储介质,涉及图像处理技术领域。该方法包括:获得待处理图像的第一编码向量及待处理图像中的眉毛所属的第一眉形类型;确定第二眉形类型;根据第一眉形类型、第二眉形类型及预设的对应关系集,获得目标变换向量,其中,对应关系集中包括至少一条对应关系,对应关系中包括变换向量及两种眉形类型,变换向量用于将一种眉形类型变化为另一种眉形类型;将目标变换向量与第一编码向量进行叠加,获得第二编码向量;根据第二编码向量生成结果图像。如此,可通过改变编码向量从而实现眉毛变形。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种眉形变形方法、装置、电子设备及可读存储介质。
背景技术
在对人脸图像进行美颜处理或生成人脸图像对应的漫画风格图像等时,将人脸图像中的当前眉毛形状调整为其他形状是非常常见的需求。因此,如何对眉毛形状进行变形是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供了一种眉形变形方法、装置、电子设备及可读存储介质,其能够通过改变编码向量从而实现眉毛变形。
本申请的实施例可以这样实现:
第一方面,本申请实施例提供一种眉形变形方法,所述方法包括:
获得待处理图像的第一编码向量及所述待处理图像中的眉毛所属的第一眉形类型;
确定第二眉形类型;
根据所述第一眉形类型、所述第二眉形类型及预设的对应关系集,获得目标变换向量,其中,所述对应关系集中包括至少一条对应关系,所述对应关系中包括变换向量及两种眉形类型,所述变换向量用于将一种眉形类型变化为另一种眉形类型;
将所述目标变换向量与所述第一编码向量进行叠加,获得第二编码向量;
根据所述第二编码向量生成结果图像。
第二方面,本申请实施例提供一种眉形变形装置,所述装置包括:
预处理模块,用于获得待处理图像的第一编码向量及所述待处理图像中的眉毛所属的第一眉形类型;
目标类型确定模块,用于确定第二眉形类型;
信息获得模块,用于根据所述第一眉形类型、所述第二眉形类型及预设的对应关系集,获得目标变换向量,其中,所述对应关系集中包括至少一条对应关系,所述对应关系中包括变换向量及两种眉形类型,所述变换向量用于将一种眉形类型变化为另一种眉形类型;
处理模块,用于将所述目标变换向量与所述第一编码向量进行叠加,获得第二编码向量;
图像生成模块,用于根据所述第二编码向量生成结果图像。
第三方面,本申请提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现前述实施方式所述的眉形变形方法。
第四方面,本申请提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施方式所述的眉形变形方法。
本申请实施例提供的眉形变形方法、装置、电子设备及可读存储介质,在确定待处理图像中眉毛所属的第一眉形类型及期望的第二眉形类型的情况下,根据该第一眉形类型、第二眉形类型、眉形类型转换对应的对应关系中的变换向量,获得目标变换向量;然后将该目标变换向量与待处理图像的第一编码向量进行叠加,得到第二编码向量;最后生成该第二编码向量对应的结果图像。如此,通过改变编码向量得到了改变了眉形的编码向量,进而可得到改变了眉形的结果图像。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图;
图2为本申请实施例提供的眉形变形方法的流程示意图之一;
图3为本申请实施例提供的眉形变形方法的流程示意图之二;
图4为StyleGAN的示意图;
图5为图3中步骤S104包括的子步骤的流程示意图之一;
图6为支持向量机的示意图;
图7为图3中步骤S104包括的子步骤的流程示意图之二;
图8为本申请实施例提供的眉形变形方法的流程示意图之三;
图9为本申请实施例提供的眉形变形装置的方框示意图之一;
图10为本申请实施例提供的眉形变形装置的方框示意图之二;
图11为本申请实施例提供的眉形变形装置的方框示意图之三。
图标:100-电子设备;110-存储器;120-处理器;130-通信单元;200-眉形变形装置;201-关系建立模块;202-模型获得模块;210-预处理模块;220-目标类型确定模块;230-信息获得模块;240-处理模块;250-图像生成模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1为本申请实施例提供的电子设备100的方框示意图。所述电子设备100可以是,但不限于,智能手机、电脑、服务器等。所述电子设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,存储器110用于存储程序或者数据。所述存储器110可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序,并执行相应地功能。比如,存储器110中存储有眉形变形装置200,所述眉形变形装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块,如本申请实施例中的眉形变形装置200,从而执行各种功能应用以及数据处理,即实现本申请实施例中的眉形变形方法。
通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接,并用于通过所述网络收发数据。
应当理解的是,图1所示的结构仅为电子设备100的结构示意图,所述电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,图2为本申请实施例提供的眉形变形方法的流程示意图之一。所述方法可以应用于上述电子设备100。下面对眉形变形方法的具体流程进行详细阐述。在本实施例中,所述眉形变形方法可以包括步骤S110~步骤S150。
步骤S110,获得待处理图像的第一编码向量及所述待处理图像中的眉毛所属的第一眉形类型。
在本实施例中,所述待处理图像为需要至少进行眉形改变的图像,所述待处理图像可以是用户选定的图像,也可以是其他设备指定的图像等,具体可以结合实际需求设置。所述第一编码向量为所述待处理图像的向量表示。可以通过对所述待处理图像进行眉形识别,从而得到所述待处理图像中的眉毛所属的第一眉形类型。比如,通过识别确定所述待处理图像中的眉毛形状为一字眉,则可以确定所述第一眉形类型为一字眉。
步骤S120,确定第二眉形类型。
所述第二眉形类型为期望变化至的眉形类型。比如,期望眉形由一字眉变为柳叶眉,那么柳叶眉即为所述第二眉形类型。所述第二眉形类型,可以是用户手动选择的,比如,将包括各种眉形类型的图像向用户显示,用户可根据需求选择一种眉形类型作为所述第二眉形类型。所述第二眉形类型,还可以是通过其他方式确定的,比如,结合人脸图像分析适用哪种眉形,然后将适用的眉形作为所述第二眉形类型。可以理解的是,上述所述第二眉形类型的确定方式仅为举例说明,也可以通过其他确定该第二眉形类型。
步骤S130,根据所述第一眉形类型、所述第二眉形类型及预设的对应关系集,获得目标变换向量。
所述对应关系集可以是所述电子设备100预先获得的,也可以是其他设备预先获得的,具体可以结合实际需求确定。所述对应关系集中包括至少一条对应关系。一条对应关系中包括两种眉形类型及与该两种眉形类型对应的变换向量,该变换向量用于将该两种眉形类型中其中一种眉形类型,朝向该两种眉形类型中的另一种眉形类型变化,变化后的眉形接近所述另一种眉形类型,也即,变换向量用于将一种眉形类型变化为另一种眉形类型。
可以理解的是,两种眉形类型可以相互变化,因此两种眉形类型可对应两个变化向量。可选地,一条对应关系中可以包括一个变化向量,也即,一条对应关系中包括由眉形A变化为眉形B的变化向量,另一条对应关系中包括由眉形B变化为眉形A的变化向量。
比如,有两条对应关系对应的两种眉形类型均为:一字眉、柳叶眉,其中一条对应关系中的变换向量a用于将一字眉朝向柳叶眉变化,另一条对应关系中的变换向量b用于将柳叶眉朝向一字眉变化。
可选地,可以基于第一预设规则确定对应关系中的变化前的眉形类型(即基础眉形类型)及变化后的眉形类型,以便于后续查找需要的变化向量。比如,采用字符说明哪个眉形类型是变化前的眉形类型,哪个眉形类型为变化后的眉形类型;或者默认对应关系中的第一个眉形类型是变化前的眉形类型,第二个眉形类型为变化后的眉形类型。
可选地,一条对应关系中也可以包括两个变化向量,可以基于第二预设规则确定该两个变化向量分别是用于将哪个眉形类型变化为哪个眉形类型,以便于后续查找需要的变化向量。比如,默认第一个变化向量用于将对应关系中的第一个眉形类型变化为对应关系中的第二眉形类型,并默认第二个变化向量用于将对应关系中的第二个眉形类型变化为对应关系中的第一个眉形类型。
在确定出当前眉毛所属的第一眉形类型及期望变化至的第二眉形类型的情况下,可结合该情况从所述对应关系中获得所述目标变换向量。其中,所述目标变换向量用于将所述第一眉形类型变化为所述第二眉形类型。
下面对如何获得所述目标变换向量进行举例说明。
比如,所述对应关系集中的每条对应关系中包括一个变化向量,默认对应关系中的第一个眉形类型是变化前的眉形类型,第二个眉形类型为变化后的眉形类型。所述对应关系集中包括的多条对应关系为:一字眉→柳叶眉对应变化向量a(即变化向量a用于将一字眉转换为柳叶眉,后面以此类推);柳叶眉→一字眉对应变化向量b;一字眉→粉黛眉对应变化向量c;粉黛眉→一字眉对应变化向量d;柳叶眉→粉黛眉对应变化向量e;粉黛眉→柳叶眉对应变化向量f……
假设当前眉毛所属的第一眉形类型为一字眉,期望变化至的第二眉形类型为粉黛眉,那么就可以根据期望由一字眉变换为粉黛眉的查找条件,从对应关系集包括的对应关系中,找到与该查找条件对应的对应关系:一字眉→粉黛眉对应变化向量c,并将该对应关系中用于将一字眉变换为粉黛眉的变换向量c作为所述目标变换向量。
步骤S140,将所述目标变换向量与所述第一编码向量进行叠加,获得第二编码向量。
在确定所述目标变换向量的情况下,可利用平行四边形法则或三角形法则,将所述目标变换向量与所述第一编码向量相加,并将得到的计算结果作为所述第二编码向量。
步骤S150,根据所述第二编码向量生成结果图像。
本申请实施例通过改变编码向量得到了改变了眉形的编码向量,进而可得到改变了眉形的结果图像。
请参照图3,图3为本申请实施例提供的眉形变形方法的流程示意图之二。在本实施例中,在步骤S110之前,所述方法还可以包括步骤S101~步骤S104。
步骤S101,获得数据集。
其中,所述数据集中包括多条样本数据,每条所述样本数据中包括样本图像的编码向量及该样本图像。
作为一种可能的实现方式,可先采集得到样本图像的编码向量,然后将该编码向量输入到图像生成模型,从而得到各编码向量对应的样本图像。比如,所述图像生成模型包括图4所示的StyleGAN,图4中输入的Latent z表示编码向量。如此,可利用StyleGAN获得所述数据集。其中,所述图像生成模型中的参数是预先设置好的。
步骤S102,获得各样本图像的眉形类型。
可以通过人工标注或眉形识别算法,获得样本图像中的眉毛所属的眉形类型。所述数据集对应的眉形类型可以包括:一字眉、柳叶眉、粉黛眉等,所述数据集对应的眉形类型为所述数据集中的样本图像中的眉毛所属的眉形类型。
步骤S103,根据所述各样本图像的眉形类型,将所述数据集划拆分为多个子数据集。
其中,每个子数据集对应一种眉形类型。
步骤S104,根据所述多个子数据集及各自对应的眉形类型获得所述对应关系集。
可以根据所述多个子数据集及各自对应的眉形类型,通过分析得到眉形类型之间的转换关系,从而得到所述对应关系集。
可选地,在本实施例中,所述对应关系集的至少一条对应关系中包括的两种眉形类型属于所述数据集对应的眉形类型。比如,所述数据集对应的眉形类型可以包括:一字眉、柳叶眉、粉黛眉,至少一条对应关系中包括的两种眉形类型为上述三种眉形类型中的任意两种。请参照图5,图5为图3中步骤S104包括的子步骤的流程示意图之一。在本实施例中,步骤S104可以包括子步骤S1041~子步骤S1043。
子步骤S1041,根据所述多个子数据集确定至少一个数据组。
其中,每个数据组中包括两个对应不同眉形类型的子数据集。可选地,可以将所述多个子数据集以两两组合的方式,确定出至少一个数据组。比如,所述多个子数据集为子数据集1、2、3,则可以将子数据集1、2作为一个数据组,将子数据集1、3作为一个数据组,将子数据集2、3作为一个数据组。如此,便于获得两两不同种类间的编码向量,以便后续在两两不同眉形类型之间进行变换。
子步骤S1042,针对各数据组,根据该数据组的两个子数据集中的编码向量,得到该数据组对应的分割向量。
其中,所述分割向量用于将该数据组中的编码向量按照眉形类型分割开。比如,一个数据组中包括:柳叶眉对应的子数据集1、一字眉对应的子数据集2,该数据组对应的分割向量可以将该数据组中的编码向量按照柳叶眉、一字眉分为两类。
可选地,作为一种可能的实现方式,可以基于该数据组中的两个子数据集中的编码向量,通过支持向量机(Support Vector Machine,SVM),获得两个不同眉形种类间的最大分割向量以作为所述分割向量。其中,支持向量机是一类按监督学***面(maximum-marginhyperplane)。
如图6所示,可根据柳叶眉对应的子数据集1中的编码向量、一字眉对应的子数据集2中的编码向量,通过支持向量机,得到一个可以用于将柳叶眉对应的编码向量和一字眉对应的编码向量分割开的分割向量。
也可以利用其他方式获得所述数据组对应的分割向量。比如,可以基于编码向量设计一个模型,来学习不同类型间的映射关系,从而得到分割向量。
子步骤S1043,针对各数据组,根据该数据组对应的分割向量及该数据组,获得该数据组对应的第一变换向量,并将该第一变换向量与该数据组对应的两种眉形类型的第一对应关系保存。
在获得分割向量的情况下,可以结合一个数据组的分割向量及该数据组中两种眉形类型对应的编码向量,分析得到可用于眉形类型转换的变换向量,并将该变换向量作为该数据组对应的第一变换向量。然后,将该第一变换向量与该数据组对应的两种眉形类型的第一对应关系保存,以作为所述对应关系集中的对应关系。
所述数据组对应的第一变换向量用于将该数据组中的一种眉形类型转换为该数据组中的另一种眉形类型。其中,该数据组的两种眉形类型对应的两个第一变换向量的方向相反,大小可以相同也可以不同,大小可以结合实际情况设置。比如,一个数据组对应的眉形类型为一字眉、柳叶眉,第一变换向量a1用于将一字眉转换为柳叶眉,第一变换向量a2用于将柳叶眉转换为一字眉,第一变换向量a1与第一变换向量a2的方向相反,大小可以相同也可以不同。
可选地,作为一种可能的实现方式,在获得一个数据组的分割向量的情况下,可以计算得到与该分割向量垂直的垂直向量。其中,所述垂直向量的大小可以1,也即为单位向量,或者也可以为其他大小的向量。然后,根据该垂直向量及该数据组,得到可实现类型转换的所述第一变换向量。比如,通过调整垂直向量的大小,使得数据组的一个子数据集中的编码向量叠加调整后的垂直向量后得到的新编码向量,与该数据组中的另一个子数据集中的编码向量相近。
可选地,在本实施例中,所述对应关系集的至少一条对应关系中的两种眉形类型包括与所述数据集对应的眉形类型不同的新增眉形类型。请参照图7,图7为图3中步骤S104包括的子步骤的流程示意图之二。在本实施例中,在子步骤S1043之后,步骤S104还可以包括子步骤S1044。
子步骤S1044,根据得到的各第一变换向量及对应的两种眉形类型所对应的子数据集,获得至少一条第二对应关系。
其中,所述第二对应关系的两种眉形类型中包括至少一个新增眉形类型,所述新增眉形类型与所述数据集对应的眉形类型不同。
可选地,作为一种可能的实现方式,一条所述第二对应关系中的其中一种眉形类型属于所述数据集对应的眉形类型,另一种眉形类型为新增眉形类型。
可选地,可以针对各第一变换向量,计算该第一变换向量与一系数值的乘积对应的乘积;然后,获得该第一变换向量对应的基础眉形类型(即调整之前的眉形类型)的编码向量叠加该乘积之后的新增编码向量;在该新增编码向量对应的眉形效果较佳且与该所述数据集对应的眉形类型的外观不同的情况下,可将该第一变换向量与一系数值的乘积对应的乘积作为第二变换向量,并新增一个与该新增编码向量对应的眉形类型作为新增眉形类型,然后基于该第二变换向量、基础眉形类型、新增眉形类型作为一条第二对应关系。之后,可继续调整系数值,以得到更多的新增眉形类型。其中,所述系数值可以为0~1、1~无限大。
还可以通过前述的获取分割向量及第一变换向量的方式,针对各新增眉形类型,获得该新增眉形类型与所述数据集中除该新增眉形类型对应的基础眉形类型之外的其他眉形类型之间用于类型转换的第二变换向量,并存储对应的第二对应关系。
可选地,作为另一种可能的实现方式,一条所述第二对应关系中的两种眉形类型均为新增眉形类型。
可选地,还可以根据通过上述方式得到的各种新增类型对应的新增编码向量,通过前述的获取分割向量及第一变换向量的方式,获得对应两种新增眉形类型的第二对应关系。也即,根据该第二对应关系,还可以实现新增眉形类型之间的转换。
如此,可以计算得到比现有已知的眉形更多的种类,也即,可以增加眉形模板,并且工作量少。
请参照图8,图8为本申请实施例提供的眉形变形方法的流程示意图之三。为保证后续基于编码向量的眉形变形效果,在本实施例中,所述方法还可以包括步骤S104。
步骤S104,获得基于所述数据集得到的编码模型。
其中,所述编码模型可以是所述电子设备100或其他设备根据所述数据集训练得到的。可选地,在所述对应关系集中包括新增眉形类型的情况下,还可以将新增眉形类型对应的新增编码向量及图像,也作为训练所述编码模型时使用的数据。
编码模型的输入为现实图片,输出为编码向量;编码向量通过所述图像生成模型生成与现实图片一致的图像,即此编码模型可以生成现实图片在所述图像生成模型中所显现的编码向量,后续可以针对此编码向量对现实图片进行控制改变。
在需要进行眉形变形的情况下,可利用所述编码模型对所述待处理图像进行编码,得到所述第一编码向量。然后,可获得所述待处理图像中的眉毛当前所属的第一眉形类型以及期望变化至的第二眉形类型,之后从所述对应关系集中获得用于将第一眉形类型变化至第二眉形类型的目标变换向量。接着,将该目标变换向量与所述第一编码向量叠加,将得到的变化后的向量作为第二编码向量。最后,将该第二编码向量输入所述图像生成模型中,得到结果图像。
可选地,作为一种可能的实现方式,上述待处理图像及样本图像均为人脸图像。如此,可通过直接操控人脸图像改变眉形,并且变形速度快。
为了执行上述实施例及各个可能的方式中的相应步骤,下面给出一种眉形变形装置200的实现方式,可选地,该眉形变形装置200可以采用上述图1所示的电子设备100的器件结构。进一步地,请参照图9,图9为本申请实施例提供的眉形变形装置200的方框示意图之一。需要说明的是,本实施例所提供的眉形变形装置200,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。所述眉形变形装置200可以包括:预处理模块210、目标类型确定模块220、信息获得模块230、处理模块240及图像生成模块250。
所述预处理模块210,用于获得待处理图像的第一编码向量及所述待处理图像中的眉毛所属的第一眉形类型。
所述目标类型确定模块220,用于确定第二眉形类型;
所述信息获得模块230,用于根据所述第一眉形类型、所述第二眉形类型及预设的对应关系集,获得目标变换向量。其中,所述对应关系集中包括至少一条对应关系,所述对应关系中包括变换向量及两种眉形类型,所述变换向量用于将一种眉形类型变化为另一种眉形类型。
所述处理模块240,用于将所述目标变换向量与所述第一编码向量进行叠加,获得第二编码向量。
所述图像生成模块250,用于根据所述第二编码向量生成结果图像。
请参照图10,图10为本申请实施例提供的眉形变形装置200的方框示意图之二。可选地,在本实施例中,所述眉形变形装置200还可以包括关系建立模块201。所述关系建立模块201用于生成并保存所述对应关系集。
所述关系建立模块201,具体用于:获得数据集,其中,所述数据集中包括多条样本数据,每条所述样本数据中包括样本图像的编码向量及该样本图像;获得各样本图像的眉形类型;根据所述各样本图像的眉形类型,将所述数据集划拆分为多个子数据集,其中,每个子数据集对应一种眉形类型;根据所述多个子数据集及各自对应的眉形类型获得所述对应关系集。
请参照图11,图11为本申请实施例提供的眉形变形装置200的方框示意图之三。可选地,在本实施例中,所述眉形变形装置200还可以包括模型获得模块202。
所述模型获得模块202,用于获得基于所述数据集得到的编码模型。其中,所述编码模型根据所述数据集训练得到。
可选地,上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于的显示被100的操作***(Operating System,OS)中,并可由图1中的处理器120执行。同时,执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
本申请实施例还提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的眉形变形方法。
综上所述,本申请实施例提供一种眉形变形方法、装置、电子设备及可读存储介质,在确定待处理图像中眉毛所属的第一眉形类型及期望的第二眉形类型的情况下,根据该第一眉形类型、第二眉形类型、眉形类型转换对应的对应关系中的变换向量,获得目标变换向量;然后将该目标变换向量与待处理图像的第一编码向量进行叠加,得到第二编码向量;最后生成该第二编码向量对应的结果图像。如此,通过改变编码向量得到了改变了眉形的编码向量,进而可得到改变了眉形的结果图像。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的可选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种眉形变形方法,其特征在于,所述方法包括:
获得待处理图像的第一编码向量及所述待处理图像中的眉毛所属的第一眉形类型;
确定第二眉形类型;
根据所述第一眉形类型、所述第二眉形类型及预设的对应关系集,获得目标变换向量,其中,所述对应关系集中包括至少一条对应关系,所述对应关系中包括变换向量及两种眉形类型,所述变换向量用于将一种眉形类型变化为另一种眉形类型;
将所述目标变换向量与所述第一编码向量进行叠加,获得第二编码向量;
根据所述第二编码向量生成结果图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获得数据集,其中,所述数据集中包括多条样本数据,每条所述样本数据中包括样本图像的编码向量及该样本图像;
获得各样本图像的眉形类型;
根据所述各样本图像的眉形类型,将所述数据集划拆分为多个子数据集,其中,每个子数据集对应一种眉形类型;
根据所述多个子数据集及各自对应的眉形类型获得所述对应关系集。
3.根据权利要求2所述的方法,其特征在于,至少一条对应关系中包括的两种眉形类型属于所述数据集对应的眉形类型,所述根据所述多个子数据集及各自对应的眉形类型获得所述对应关系集,包括:
根据所述多个子数据集确定至少一个数据组,其中,每个数据组中包括两个对应不同眉形类型的子数据集;
针对各数据组,根据该数据组的两个子数据集中的编码向量,得到该数据组对应的分割向量,其中,所述分割向量用于将该数据组中的编码向量按照眉形类型分割开;
针对各数据组,根据该数据组对应的分割向量及该数据组,获得该数据组对应的第一变换向量,并将该第一变换向量与该数据组对应的两种眉形类型的第一对应关系保存。
4.根据权利要求3所述的方法,其特征在于,所述根据该数据组对应的分割向量及该数据组,获得该数据组对应的第一变换向量,包括:
计算与该分割向量垂直的垂直向量;
根据该垂直向量及该数据组,得到所述第一变换向量。
5.根据权利要求3所述的方法,其特征在于,所述根据该数据组的两个子数据集中的编码向量,得到该数据组对应的分割向量,包括:
基于该数据组中的两个子数据集中的编码向量,通过支持向量机,获得所述分割向量。
6.根据权利要求3所述的方法,其特征在于,所述根据所述多个子数据集及各自对应的眉形类型获得所述对应关系集,还包括:
根据得到的各第一变换向量及对应的两种眉形类型所对应的子数据集,获得至少一条第二对应关系,其中,所述第二对应关系的两种眉形类型中包括至少一个新增眉形类型,所述新增眉形类型与所述数据集对应的眉形类型不同。
7.根据权利要求2-6中任意一项所述的方法,其特征在于,所述方法还包括:
获得基于所述数据集得到的编码模型,其中,所述编码模型根据所述数据集训练得到;
所述获得待处理图像的第一编码向量,包括:
利用所述编码模型对所述待处理图像进行编码,得到所述第一编码向量。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第二编码向量生成结果图像,包括:
将所述第二编码向量输入到图像生成模型中,获得所述结果图像,其中,所述数据集基于所述图像生成模型得到。
9.根据权利要求8所述的方法,其特征在于,所述图像生成模型包括StyleGAN,所述待处理图像及所述样本图像为人脸图像。
10.一种眉形变形装置,其特征在于,所述装置包括:
预处理模块,用于获得待处理图像的第一编码向量及所述待处理图像中的眉毛所属的第一眉形类型;
目标类型确定模块,用于确定第二眉形类型;
信息获得模块,用于根据所述第一眉形类型、所述第二眉形类型及预设的对应关系集,获得目标变换向量,其中,所述对应关系集中包括至少一条对应关系,所述对应关系中包括变换向量及两种眉形类型,所述变换向量用于将一种眉形类型变化为另一种眉形类型;
处理模块,用于将所述目标变换向量与所述第一编码向量进行叠加,获得第二编码向量;
图像生成模块,用于根据所述第二编码向量生成结果图像。
11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1-9中任意一项所述的眉形变形方法。
12.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-9中任意一项所述的眉形变形方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210202616.1A CN114565512A (zh) | 2022-03-03 | 2022-03-03 | 眉形变形方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210202616.1A CN114565512A (zh) | 2022-03-03 | 2022-03-03 | 眉形变形方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114565512A true CN114565512A (zh) | 2022-05-31 |
Family
ID=81717017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210202616.1A Pending CN114565512A (zh) | 2022-03-03 | 2022-03-03 | 眉形变形方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114565512A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111247A (zh) * | 2019-05-15 | 2019-08-09 | 浙江商汤科技开发有限公司 | 人脸变形处理方法、装置及设备 |
CN110889381A (zh) * | 2019-11-29 | 2020-03-17 | 广州华多网络科技有限公司 | 换脸方法、装置、电子设备及存储介质 |
WO2020056901A1 (zh) * | 2018-09-20 | 2020-03-26 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
KR20200080577A (ko) * | 2018-12-27 | 2020-07-07 | 한국과학기술연구원 | 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법 |
CN113689325A (zh) * | 2021-07-12 | 2021-11-23 | 深圳数联天下智能科技有限公司 | 一种数字化美型眉毛的方法、电子设备及存储介质 |
-
2022
- 2022-03-03 CN CN202210202616.1A patent/CN114565512A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020056901A1 (zh) * | 2018-09-20 | 2020-03-26 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
KR20200080577A (ko) * | 2018-12-27 | 2020-07-07 | 한국과학기술연구원 | 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법 |
CN110111247A (zh) * | 2019-05-15 | 2019-08-09 | 浙江商汤科技开发有限公司 | 人脸变形处理方法、装置及设备 |
CN110889381A (zh) * | 2019-11-29 | 2020-03-17 | 广州华多网络科技有限公司 | 换脸方法、装置、电子设备及存储介质 |
WO2021103698A1 (zh) * | 2019-11-29 | 2021-06-03 | 广州华多网络科技有限公司 | 换脸方法、装置、电子设备及存储介质 |
CN113689325A (zh) * | 2021-07-12 | 2021-11-23 | 深圳数联天下智能科技有限公司 | 一种数字化美型眉毛的方法、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
刘祥楼;杨龙;孙悦;: "基于语义新型眼部特征的混合参数模型构建", 光学仪器, no. 06, 15 December 2014 (2014-12-15) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11967151B2 (en) | Video classification method and apparatus, model training method and apparatus, device, and storage medium | |
CN109816589B (zh) | 用于生成漫画风格转换模型的方法和装置 | |
US20230237841A1 (en) | Occlusion Detection | |
US10742990B2 (en) | Data compression system | |
CN113205040A (zh) | 人脸图像处理方法、装置和电子设备 | |
WO2023035531A1 (zh) | 文本图像超分辨率重建方法及其相关设备 | |
CN113379627A (zh) | 图像增强模型的训练方法和对图像进行增强的方法 | |
CN116583878A (zh) | 用于个性化3d头部模型变形的方法和*** | |
JP7337203B2 (ja) | 文字生成モデルのトレーニング方法、文字生成方法、装置および機器 | |
CN114241459B (zh) | 一种驾驶员身份验证方法、装置、计算机设备及存储介质 | |
CN113591566A (zh) | 图像识别模型的训练方法、装置、电子设备和存储介质 | |
JP2023039892A (ja) | 文字生成モデルのトレーニング方法、文字生成方法、装置、機器及び媒体 | |
CN114529574A (zh) | 基于图像分割的图像抠图方法、装置、计算机设备及介质 | |
CN111340101A (zh) | 稳定性评估方法、装置、电子设备和计算机可读存储介质 | |
CN105580050A (zh) | 提供图像中的控制点 | |
CN115147261A (zh) | 图像处理方法、装置、存储介质、设备及产品 | |
CN115222845A (zh) | 样式字体图片生成方法、装置、电子设备和介质 | |
CN114529785A (zh) | 模型的训练方法、视频生成方法和装置、设备、介质 | |
CN115131803A (zh) | 文档字号的识别方法、装置、计算机设备和存储介质 | |
CN114581918A (zh) | 一种文本识别模型训练方法及装置 | |
CN114565512A (zh) | 眉形变形方法、装置、电子设备及可读存储介质 | |
CN116485944A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN115546554A (zh) | 敏感图像的识别方法、装置、设备和计算机可读存储介质 | |
CN112966150A (zh) | 一种视频内容抽取的方法、装置、计算机设备及存储介质 | |
CN113822117A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |