CN113763228A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113763228A CN113763228A CN202010485785.1A CN202010485785A CN113763228A CN 113763228 A CN113763228 A CN 113763228A CN 202010485785 A CN202010485785 A CN 202010485785A CN 113763228 A CN113763228 A CN 113763228A
- Authority
- CN
- China
- Prior art keywords
- hair
- pixel point
- image
- region
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 39
- 230000001960 triggered effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000003796 beauty Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004043 responsiveness Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于一种图像处理方法、装置、电子设备及存储介质,属于图像处理技术领域。本公开实施例提供的图像处理方法,获取第一图像中的头发区域;将该头发区域输入头发方向预测模型中,得到头发区域中每个第一像素点处头发方向对应角度的余弦值;将每个第一像素点处头发方向对应角度的余弦值转换为每个第一像素点处的头发方向;根据每个第一像素点处的头发方向,对第一图像中的头发区域进行图像处理,得到第二图像。该方法通过头发方向预测模型得到头发区域中每个第一像素点处头发方向对应角度的余弦值,进而将其转换为每个第一像素点处的头发方向,不受设置的预设角度方向的个数的限制,预测更精准,速度更快。
Description
技术领域
本公开涉及终端技术领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前终端上一般安装有短视频应用或者相机应用。用户可以通过上述应用拍摄图像,并且上述应用支持在图像中增加特效,例如,上述应用支持在用户的头发上增加头发方向特效,渲染出柔发效果,使头发看起来更美观,从而提高用户体验。
相关技术中主要是先获取图像中的头发区域,将该头发区域从空间域转换到频域上,然后在频域上确定头发区域中每个像素点处的头发方向与每个预设角度方向之间的响应度,用对应的响应度最大的预设角度方向表征该像素点处的头发方向,进而得到整个头发区域的方向。
但相关技术中预设角度方向的个数是固定的,考虑到电子设备的计算能力有限,该个数不能较多,而当该个数较少时,预测出的头发方向与实际的头发方向偏差较大,导致头发方向预测不够精准,准确性差。
发明内容
本公开提供一种图像处理的方法、装置、电子设备及存储介质,可以解决头发方向预测准确性差的问题。
根据本公开实施例的第一方面,提供了一种图像处理方法,所述方法包括:
获取第一图像中的头发区域,所述头发区域为所述第一图像中的目标对象的头发所在的区域;
将所述头发区域输入头发方向预测模型中,得到所述头发区域中每个第一像素点处头发方向对应角度的余弦值,所述每个第一像素点处的头发方向采用所述每个第一像素点处的头发相对于水平线的角度表征;
将所述每个第一像素点处头发方向对应角度的余弦值转换为所述每个第一像素点处的头发方向;
根据所述每个第一像素点处的头发方向,对所述第一图像中的头发区域进行图像处理,得到第二图像。
在一种可能的实现方式中,所述将所述头发区域输入头发方向预测模型中之前,所述方法还包括:
获取样本头发区域;
获取所述样本头发区域中每个第二像素点处的头发方向;
将所述每个第二像素点处的头发方向转换为所述每个第二像素点处头发方向对应角度的样本余弦值;
根据所述样本头发区域和所述样本头发区域中每个第二像素点处头发方向对应角度的样本余弦值,进行模型训练,得到所述头发方向预测模型。
在另一种可能的实现方式中,
所述获取所述样本头发区域中每个第二像素点处的头发方向,包括:
将所述样本头发区域从当前的空间域转换为频域;
对于每个第二像素点,在所述频域上,确定所述样本头发区域中所述第二像素点处的头发方向与每个预设角度方向之间的响应度;
用响应度最大的预设角度方向表征所述第二像素点处的头发方向。
在另一种可能的实现方式中,
所述获取所述样本头发区域中每个第二像素点处的头发方向,包括:
获取被标注的所述样本头发区域的标签信息;
从所述标签信息中获取所述样本头发区域中每个第二像素点处的头发方向。
在另一种可能的实现方式中,所述将所述每个第一像素点处头发方向对应角度的余弦值转换为所述每个第一像素点处的头发方向,包括:
对于每个第一像素点,对所述第一像素点处头发方向对应角度的余弦值进行反函数计算,得到所述第一像素点处头发方向的角度值;
用所述第一像素点处头发方向的角度值表征所述第一像素点处的头发方向。
在另一种可能的实现方式中,
所述根据所述每个第一像素点处的头发方向,对所述第一图像中的头发区域进行图像处理,得到第二图像,包括:
根据所述每个第一像素点处的头发方向,确定所述头发区域的方向;
根据所述头发区域在所述第一图像中的位置,将带有方向的头发区域映射回所述第一图像,得到所述第二图像。
在另一种可能的实现方式中,所述获取第一图像中的头发区域,包括:
获取所述第一图像;
将所述第一图像输入头发分割网络中,得到兴趣区域;
从所述第一图像中裁剪出所述兴趣区域对应的图像,得到所述头发区域。
根据本公开实施例的第二方面,提供了一种图像处理装置,所述装置包括:
第一获取单元,被配置为执行获取第一图像中的头发区域,所述头发区域为所述第一图像中的目标对象的头发所在的区域;
输入单元,被配置为执行将所述头发区域输入头发方向预测模型中,得到所述头发区域中每个第一像素点处头发方向对应角度的余弦值,所述每个第一像素点处的头发方向采用所述每个第一像素点处的头发相对于水平线的角度表征;
第一转换单元,被配置为执行将所述每个第一像素点处头发方向对应角度的余弦值转换为所述每个第一像素点处的头发方向;
处理单元,被配置为执行根据所述每个第一像素点处的头发方向,对所述第一图像中的头发区域进行图像处理,得到第二图像。
在一种可能的实现方式中,所述装置还包括:
第二获取单元,被配置为执行获取样本头发区域;
第三获取单元,被配置为执行获取所述样本头发区域中每个第二像素点处的头发方向;
第二转换单元,被配置为执行将所述每个第二像素点处的头发方向转换为所述每个第二像素点处头发方向对应角度的样本余弦值;
训练单元,被配置为执行根据所述样本头发区域和所述样本头发区域中每个第二像素点处头发方向对应角度的样本余弦值,进行模型训练,得到所述头发方向预测模型。
在另一种可能的实现方式中,所述第三获取单元,被配置为执行将所述样本头发区域从当前的空间域转换为频域;对于每个第二像素点,在所述频域上,确定所述样本头发区域中所述第二像素点处的头发方向与每个预设角度方向之间的响应度;用响应度最大的预设角度方向表征所述第二像素点处的头发方向。
在另一种可能的实现方式中,所述第三获取单元,被配置为执行获取被标注的所述样本头发区域的标签信息;从所述标签信息中获取所述样本头发区域中每个第二像素点处的头发方向。
在另一种可能的实现方式中,所述第一转换单元,被配置为执行对于每个第一像素点,对所述第一像素点处头发方向对应角度的余弦值进行反函数计算,得到所述第一像素点处头发方向的角度值;用所述第一像素点处头发方向的角度值表征所述第一像素点处的头发方向。
在另一种可能的实现方式中,所述处理单元,被配置为执行根据所述每个第一像素点处的头发方向,确定所述头发区域的方向;根据所述头发区域在所述第一图像中的位置,将带有方向的头发区域映射回所述第一图像,得到所述第二图像。
在另一种可能的实现方式中,所述第一获取单元,被配置为执行获取所述第一图像;将所述第一图像输入头发分割网络中,得到兴趣区域;从所述第一图像中裁剪出所述兴趣区域对应的图像,得到所述头发区域。
根据本公开实施例的第三方面,提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器;
其中,所述一个或多个处理器被配置为执行上述第一方面任一项所述的图像处理方法。
根据本公开实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有至少一条指令,所述指令被电子设备的处理器执行时实现上述第一方面任一项所述的图像处理方法。
根据本公开实施例的第五方面,提供了一种应用程序,当所述应用程序中的指令由电子设备的处理器执行时,使得电子设备能够执行上述第一方面任一项所述的图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例提供的图像处理方法,获取第一图像中的头发区域,该头发区域为第一图像中的目标对象的头发所在的区域;将该头发区域输入头发方向预测模型中,得到头发区域中每个第一像素点处头发方向对应角度的余弦值,每个第一像素点处的头发方向采用每个第一像素点处的头发方向相对于水平线的角度表征;将每个第一像素点处头发方向对应角度的余弦值转换为每个第一像素点处的头发方向;根据每个第一像素点处的头发方向,对第一图像中的头发区域进行图像处理,得到第二图像。该方法通过头发方向预测模型得到头发区域中每个第一像素点处头发方向对应角度的余弦值,进而将其转换为每个第一像素点处的头发方向,不受设置的预设角度方向的个数的限制,预测更精准,速度更快。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理的实施环境的示意图。
图2是根据相关技术中的方法和本公开实施例提供的方法分别在目标对象的头发上增加头发方向特效后的示意图。
图3为根据一示例性实施例示出的一种图像处理方法的流程图。
图4是根据一示例性实施例示出的一种头发方向预测模型的训练方法的流程图。
图5是根据一示例性实施例示出的一种图像处理方法的流程图。
图6是根据一示例性实施例示出的一种图像处理方法的示意图。
图7是根据一示例性实施例示出的一种在目标对象的头发上增加头发方向特效的示意图。
图8是根据一示例性实施例示出的一种图像处理装置的框图。
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像处理的实施环境,该实施环境包括:电子设备101和服务器102。该电子设备101上安装有目标应用程序,该服务器102为目标应用程序对应的服务器102,电子设备101和服务器102之间可以通过无线或有线连接。该目标应用程序可以为短视频应用或者相机应用。在本公开实施例中,对此不作具体限定。目标对象可以通过该目标应用程序拍摄图像,且该目标应用程序支持在图像中增加特效,例如,该特效为头发方向特效,通过在图像中增加头发方向特效,可以渲染出柔发效果,使头发看起来更美观,从而提高用户体验。其中,该目标对象可以为人,也可以为动物。在本公开实施例中,对此不作具体限定。
在一种可能的实现方式中,电子设备101在目标对象的头发上增加头发方向特效的时机可以根据需要进行设置并更改,在本公开实施例中,对此不作具体限定。例如,电子设备101在目标对象一进入该目标应用程序的拍摄画面时,在目标对象的头发上增加头发方向特效。再如,电子设备101在目标对象通过该目标应用程序拍摄图像时,在目标对象的头发上增加头发方向特效,然后展示有头发方向特效的图像。再如,电子设备101在目标应用程序中的预设虚拟按键被触发时,在目标对象的头发上增加头发方向特效。
需要说明的一点是,相关技术中在预测头发方向时,需要设置多个预设角度方向,当设置的预设角度方向的个数较少时,预测出的头发方向偏差较大;当设置的预设角度方向的个数较多时,计算资源占用过大。考虑到电子设备101的计算能力有限,设置的预设角度方向的个数不能较多,因此,相关技术中的方法会导致头发方向的预测不够精准,准确性差。并且,相关技术中的方法在头发区域面积较大时,尤其是长发场景中,耗费的时间长,计算代价较大,难以在各个类型的电子设备101上普及。
而在本公开实施例中,通过头发方向预测模型预测头发区域中每个第一像素点处头发方向对应角度的余弦值,不受设置的预设角度方向的个数的限制,预测更精准,速度更快。并且,本公开实施例提供的方法,不会因为头发区域面积而影响处理速度,在各个类型的电子设备101中均可实时运行。其中,该头发方向预测模型可以为电子设备101训练得到的,也可以为服务器102训练得到的。当该模型为服务器102训练得到的模型时,电子设备101可以获取服务器102训练得到的模型。在本公开实施例中,对此不作具体限定。
另外,相关技术中的方法还需要将头发区域从空间域转换为频域,在频域上预测出头发方向后再转换为空间域,导致预测效率低。而本公开实施例提供的方法可以直接在空间域上预测出头发方向,不需要进行转换,预测效率高。
参见图2,图2从左至右的第一张图为未增加头发方向特效时的图像,第二张图为根据相关技术中的方法在目标对象的头发上增加头发方向特效后的图像,第三张图为根据本公开实施例提供的方法在目标对象的头发上增加头发方向特效后的图像。从图中可以看出:相较于第二张图中的头发方向特效,第三张图中的头发方向特效更接近目标对象实际的头发方向。因此,本公开实施例提供的方法相较于相关技术可以更准确地预测头发方向。
图3是根据一示例性实施例示出的一种图像处理方法的流程图,如图3所示,包括以下步骤:
在步骤S31中,获取第一图像中的头发区域,头发区域为第一图像中的目标对象的头发所在的区域。
在步骤S32中,将所述头发区域输入头发方向预测模型中,得到所述头发区域中每个第一像素点处头发方向对应角度的余弦值,所述每个第一像素点处的头发方向采用所述每个第一像素点处的头发相对于水平线的角度表征。
在步骤S33中,将所述每个第一像素点处头发方向对应角度的余弦值转换为所述每个第一像素点处的头发方向。
在步骤S34中,根据所述每个第一像素点处的头发方向,对所述第一图像中的头发区域进行图像处理,得到第二图像。
在一种可能的实现方式中,
将头发区域输入头发方向预测模型中之前,方法还包括:
获取样本头发区域;
获取样本头发区域中每个第二像素点处的头发方向;
将每个第二像素点处的头发方向转换为每个第二像素点处头发方向对应角度的样本余弦值;
根据样本头发区域和样本头发区域中每个第二像素点处头发方向对应角度的样本余弦值,进行模型训练,得到头发方向预测模型。
在另一种可能的实现方式中,
获取样本头发区域中每个第二像素点处的头发方向,包括:
将样本头发区域从当前的空间域转换为频域;
对于每个第二像素点,在频域上,确定样本头发区域中第二像素点处的头发方向与每个预设角度方向之间的响应度;
用响应度最大的预设角度方向表征第二像素点处的头发方向。
在另一种可能的实现方式中,
获取样本头发区域中每个第二像素点处的头发方向,包括:
获取被标注的样本头发区域的标签信息;
从标签信息中获取样本头发区域中每个第二像素点处的头发方向。
在另一种可能的实现方式中,将每个第一像素点处头发方向对应角度的余弦值转换为每个第一像素点处的头发方向,包括:
对于每个第一像素点,对第一像素点处头发方向对应角度的余弦值进行反函数计算,得到第一像素点处头发方向的角度值;
用第一像素点处头发方向的角度值表征第一像素点处的头发方向。
在另一种可能的实现方式中,
根据每个第一像素点处的头发方向,对第一图像中的头发区域进行图像处理,得到第二图像,包括:
根据每个第一像素点处的头发方向,确定头发区域的方向;
根据头发区域在第一图像中的位置,将带有方向的头发区域映射回第一图像,得到第二图像。
在另一种可能的实现方式中,获取第一图像中的头发区域,包括:
获取第一图像;
将第一图像输入头发分割网络中,得到兴趣区域;
从第一图像中裁剪出兴趣区域对应的图像,得到头发区域。
本公开实施例提供的图像处理方法,获取第一图像中的头发区域,该头发区域为第一图像中的目标对象的头发所在的区域;将该头发区域输入头发方向预测模型中,得到头发区域中每个第一像素点处头发方向对应角度的余弦值,每个第一像素点处的头发方向采用每个第一像素点处的头发方向相对于水平线的角度表征;将每个第一像素点处头发方向对应角度的余弦值转换为每个第一像素点处的头发方向;根据每个第一像素点处的头发方向,对第一图像中的头发区域进行图像处理,得到第二图像。该方法通过头发方向预测模型得到头发区域中每个第一像素点处头发方向对应角度的余弦值,进而将其转换为每个第一像素点处的头发方向,不受设置的预设角度方向的个数的限制,预测更精准,速度更快。
图4是根据一示例性实施例示出的一种头发方向预测模型的训练方法的流程图,如图4所示,包括以下步骤:
在步骤S41中,获取样本头发区域。
在一种可能的实现方式中,电子设备可以从样本图像中获取样本头发区域。在另一种可能的实现方式中,电子设备可以直接获取样本头发区域。在本公开实施例中,对此不作具体限定。
当电子设备从样本图像获取样本头发区域时,该过程可以为:电子设备获取样本图像;将样本图像输入头发分割网络中,得到感兴趣区域;从样本图像中裁剪出感兴趣区域对应的图像,得到样本头发区域。
在一种可能的实现方式中,样本头发区域中目标对象的头发可以为长发,也可以为短发。在另一种可能的实现方式中,样本头发区域中目标对象的头发长度大于预设长度,也即电子设备可以先确定样本图像中目标对象的头发长度,根据该头发长度和预设长度的大小关系,确定是否获取样本头发区域。例如,当目标对象的头发长度不小于预设长度时,则获取该样本图像中的样本头发区域;当目标对象的头发长度小于预设长度时,则不获取样本头发区域。
其中,预设长度可以根据需要进行设置并更改,在本公开实施例中,对此不作具体限定。例如,预设长度为15厘米或者20厘米。头发分割网络可以根据需要进行选择并更改,在本公开实施例中,对此不作具体限定。样本图像的数量或者样本头发区域的数量也可以根据需要进行设置并更改,在本公开实施例中,对此也不作具体限定。
在步骤S42中,获取样本头发区域中每个第二像素点处的头发方向。
对于每个第二像素点,该第二像素点处的头发方向采用该第二像素点处的头发相对于水平线的角度表征。
本步骤可以通过以下两种实现方式中的任一方式实现,在本公开实施例中,对此不作具体限定。
第一种实现方式,本步骤可以通过以下步骤(A1)至(A3)实现,包括:
(A1)将样本头发区域从当前的空间域转换为频域。
在本步骤中,电子设备可以通过傅里叶变换将样本头发区域从空间域转换为频域。
(A2)对于每个第二像素点,在频域上,确定样本头发区域中第二像素点处的头发方向与每个预设角度方向之间的响应度。
样本头发区域在频域上为不同频率的正弦波或余弦波的组合。对于每个第二像素点,电子设备根据该第二像素点在正弦波或余弦波上的位置,确定该第二像素点在该位置上的方向,将该方向作为该第二像素点处的头发方向。
电子设备将该第二像素点处的头发方向与每个预设角度方向进行相似度计算,得到两者之间的响应度。
其中,预设角度方向的个数可以根据需要进行设置并更改,在本公开实施例中,对此不作具体限定。
(A3)用响应度最大的预设角度方向表征第二像素点处的头发方向。
第二像素点处的头发方向与预设角度方向之间的响应度越大,说明该预设角度方向越接近该第二像素点处的头发方向。在本步骤中,对于每个第二像素点,电子设备从多个响应度中选择与该第二像素点处的头发方向的响应度最大的预设角度方向,用该预设角度方向表征该第二像素点处的头发方向。
第二种实现方式,本步骤可以通过以下步骤(B1)至(B2)实现,包括:
(B1)获取被标注的样本头发区域的标签信息。
该标签信息中包括样本头发区域中每个第二像素点处的头发方向。
本步骤中,电子设备可以根据样本标识从数据库中获取该样本标识对应的样本头发区域的标签信息。不同的样本头发区域对应不同的样本标识。
在本步骤之前,电子设备可以建立样本标识和样本头发区域的标签信息的对应关系,将该对应关系存储到数据库中。当电子设备接收到获取指令时,获取样本头发区域的标签信息。
需要说明的一点是,该实现方式中,标签信息中样本头发区域中每个第二像素点处的头发方向可以为人工标注的。
(B2)从该标签信息中获取样本头发区域中每个第二像素点处的头发方向。
电子设备获取该标签信息中包括的样本头发区域中每个第二像素点处的头发方向。
需要说明的另一点是,在本公开实施例中,电子设备通过第一种实现方式可以快速获取大量的训练数据,且计算代价较小。电子设备通过第二种实现方式可以获取更精准,质量更高的训练数据。
在步骤S43中,将每个第二像素点处的头发方向转换为每个第二像素点处头发方向对应角度的样本余弦值。
对于每个第二像素点,由于该第二像素点处的头发方向采用该第二像素点处的头发相对于水平线的角度表征,基于此,电子设备可以确定出该第二像素点处的头发和水平线之间的角度,对该头发角度进行余弦计算,得到其对应的样本余弦值。其中,该角度t的范围为0°≤t≤180°。
在步骤S44中,根据样本头发区域和样本头发区域中每个第二像素点处头发方向对应角度的样本余弦值,进行模型训练,得到头发方向预测模型。
本步骤中,电子设备将样本头发区域输入初始模型中,得到样本头发区域中每个第二像素点头发方向对应角度的训练余弦值。电子设备将该训练余弦值与样本余弦值进行比对,当训练余弦值与样本余弦值之间的差值在预设差值范围内时,电子设备得到头发方向预测模型。当两者的差值不在预设差值范围内时,电子设备调整初始模型中的模型参数,从而实现调整训练余弦值,进一步确定调整后的训练余弦值与样本余弦值之间的差值,如此反复迭代,直至两者的差值在预设差值范围内,得到头发方向预测模型。
在一种可能的实现方式中,电子设备可以梯度下降的方法反传训练余弦值与样本余弦值之间的差值,在本公开实施例中,对此不作具体限定。
需要说明的一点是,电子设备执行完步骤S44后,可以直接得到头发方向预测模型,当获取到图像处理指令时,直接对待处理的图像进行头发方向预测。或者,电子设备执行完步骤S44后,可以直接得到头发方向预测模型,当获取到图像处理指令时,先对头发方向预测模型进行测试,当测试成功时,才对待处理的图像进行头发方向预测。或者,在执行完步骤S44后,对头发方向预测模型进行测试,当测试成功时,在获取到图像处理时,对待处理的图像进行头发方向预测。在本公开实施例中,对此不作具体限定。
本公开实施例提供的头发方向预测模型的训练方法,通过样本头发区域和样本头发区域中每个第二像素点处头发方向对应角度的样本余弦值,进行模型训练,不受设置的预设角度方向的个数的限制,预测更精准,速度更快。
另外,本公开实施例提供的头发方向预测模型为基于深度学习得到的,采用神经网络通过网络一次前向就可以预测出头发区域中每个像素点处头发角度的余弦值,预测更准确,且不依赖头发区域面积,在各个类型的电子设备上可以实时处理。
图5是根据一示例性实施例示出的一种图像处理方法的流程图,如图5所示,包括以下步骤:
在步骤S51中,获取第一图像中的头发区域。
该头发区域为第一图像中的目标对象的头发所在的区域。
该第一图像可以为目标应用程序中的拍摄按键被触发后,拍摄得到的图像。此时,电子设备可以在向目标对象展示该图像之前,在该图像中目标对象的头发上增加头发方向特效。该第一图像也可以为目标应用程序中的摄像模组被启动后,拍摄按键还未被触发时获取的图像,也即取景框中的图像。此时,电子设备可以在该图像中目标对象的头发上增加头发方向特效。并且,当目标对象的头发随头部移动或变化时,该图像中头发方向特效也会随着移动或变化。
本步骤中,电子设备可以获取第一图像,将第一图像输入头发分割网络中,得到兴趣区域;从第一图像中裁剪出兴趣区域对应的图像,得到头发区域。该步骤与步骤S41中电子设备根据样本图像获取样本头发区域相似,在此不再赘述。
参见图6,图6为本公开实施例提供的图像处理方法的示意图。从图6中可以看出:电子设备获取第一图像,将第一图像输入头发分割网络中,得到图中白色的兴趣区域;然后从第一图像中裁剪出兴趣区域对应的图像,得到头发区域。
在一种可能的实现方式中,电子设备获取第一图像中头发区域的时机可以根据需要进行设置并更改,在本公开实施例中,对此不作具体限定。例如,电子设备可以在目标应用程序中的预设虚拟按键被触发时,获取头发区域,从而后续在目标对象的头发上增加头发方向特效。再如,电子设备也可以在目标对象的头发散开,未被头绳扎住时,获取头发区域,从而后续增加头发方向特效。再如,电子设备还可以获取用户的浏览记录,在用户刚浏览完关于头发方向特效的短视频,进入目标应用程序的拍摄界面时,获取头发区域,从而后续增加头发方向特效。
在本公开实施例中,电子设备可以在不同场景下获取头发区域,增加了图像处理的应用场景,扩大了图像处理的应用范围。
在步骤S52中,将该头发区域输入头发方向预测模型中,得到头发区域中每个第一像素点处头发方向对应角度的余弦值。
本步骤中,电子设备将该头发区域输入头发方向预测模型中,得到该头发区域中每个第一像素点处头发方向对应角度的余弦值。其中,每个第一像素点处的头发方向采用每个第一像素点处的头发相对于水平线的角度表征。
在步骤S53中,将每个第一像素点处头发方向对应角度的余弦值转换为每个第一像素点处的头发方向。
本步骤可以通过以下步骤(1)至(2)实现,包括:
(1)对于每个第一像素点,对第一像素点处头发方向对应角度的余弦值进行反函数计算,得到第一像素点处头发方向的角度值。
本步骤中,对于每个第一像素点,电子设备对该第一像素点处头发方向对应角度的余弦值进行反余弦函数计算,得到其对应的角度值。
例如,cosα=A,也即α=arccosA,其中,A为该第一像素点处头发方向对应角度的余弦值,α为该第一像素点处头发方向的角度值。电子设备对A进行反余弦函数计算,得到α。
(2)用第一像素点处头发方向的角度值表征第一像素点处的头发方向。
第一像素点处头发方向的角度值为头发和水平线之间的角度,通过该角度可以表征第一像素点处的头发方向。
在步骤S54中,根据每个第一像素点处的头发方向,确定头发区域的方向。
本步骤中,电子设备可以获取每个第一像素点在头发区域中的位置,根据每个第一像素点在头发区域中的位置,依次连接相邻两个第一像素点处的头发方向,最终得到头发区域的方向。
在步骤S55中,根据头发区域在第一图像中的位置,将带有方向的头发区域映射回第一图像,得到第二图像。
本步骤中,电子设备可以根据获取的头发区域在第一图像中的位置,将带有方向的头发区域重新映射回第一图像中原头发区域所在的位置,得到第二图像,该第二图像中显示有头发方向的特效。
其中,该位置可以为头发区域在第一图像中的坐标,电子设备根据头发区域在第一图像中的坐标,通过坐标转换,将带有方向的头发区域重新映射回原头发区域所对应的坐标,从而得到第二图像。
另外,电子设备获取头发区域在第一图像中的位置的时机可以根据需要进行设置并更改,在本公开实施例中,对此不作具体限定。例如,电子设备可以在获取第一图像中的头发区域时,获取头发区域在第一图像中的位置。
继续参见图6,从图6中可以看出:电子设备将头发区域输入头发方向预测模型中,得到每个第一像素点处头发方向对应角度的余弦值,然后将其转换为头发方向,最后映射回第一图像中,得到输出结果,也即第二图像。
参见图7,图7中从左至右的第一张图为第一图像,第二张图为根据本公开实施例提供的方法得到的第二图像,该第二图像中在目标对象的头发上增加有头发方向特效,第三张图中的白色区域为将第一图像输入头发分割网络中,得到的兴趣区域。从图7中可以看出:本公开实施例提供的方法可以准确预测出目标对象的头发方向。
在一种可能的实现方式中,电子设备在目标对象的头发上增加头发方向特效时,可以确定目标应用程序中其他功能对应的虚拟按键是否被触发,当任一功能对应的虚拟按键被触发时,电子设备在目标对象的头发上增加头发方向特效的同时,也即电子设备在执行步骤S55时,还执行被触发的虚拟按键对应的操作。
例如,美颜功能对应的虚拟按键被触发时,电子设备在目标对象的头发上增加头发方向特效的同时,还对目标对象执行美颜功能,从而得到的第二图像中既可以在目标对象的头发上显示头发方向特效,又可以显示美颜后的目标对象,不仅使目标对象的头发看起来更光鲜亮丽,还提高了目标对象的舒适感。再如,头发颜色功能对应的虚拟按键被触发时,电子设备在目标对象的头发上增加头发方向特效的同时,还更换头发颜色,从而得到的第二图像中既可以在目标对象的头发上显示头发方向特效,又可以显示目标对象更换其他颜色的头发之后的效果,不仅使目标对象的头发看起来更美观,还可以使目标对象体验不同颜色的头发,增加了目标对象的使用乐趣。再如,瘦脸功能对应的虚拟按键被触发时,电子设备在目标对象的头发上增加头发方向特效的同时,还对目标对象的脸部执行瘦脸操作,从而得到的第二图像中既可以在目标对象的头发上显示头发方向特效,又显示瘦脸后的目标对象,不仅使目标对象的头发看起来更美观,还提高了目标对象的使用体验。
在另一种可能的实现方式中,电子设备也可以在执行完步骤S55后,在其他功能对应的虚拟按键被触发时,执行被触发的虚拟按键对应的操作。或者,电子设备在其他功能对应的虚拟按键被触发时,先执行被触发的虚拟按键对应的操作,在接收到图像处理指令时,再执行步骤S51。在本公开实施例中,对此不作具体限定。
在本公开实施例中,电子设备将在目标对象的头发上增加头发方向特效与其它功能相结合,不仅扩大了图像处理的应用范围,还增加了用户的使用乐趣,提高了用户体验。
本公开实施例提供的图像处理方法,获取第一图像中的头发区域,该头发区域为第一图像中的目标对象的头发所在的区域;将该头发区域输入头发方向预测模型中,得到头发区域中每个第一像素点处头发方向对应角度的余弦值,每个第一像素点处的头发方向采用每个第一像素点处的头发方向相对于水平线的角度表征;将每个第一像素点处头发方向对应角度的余弦值转换为每个第一像素点处的头发方向;根据每个第一像素点处的头发方向,对第一图像中的头发区域进行图像处理,得到第二图像。该方法通过头发方向预测模型得到头发区域中每个第一像素点处头发方向对应角度的余弦值,进而将其转换为每个第一像素点处的头发方向,不受设置的预设角度方向的个数的限制,预测更精准,速度更快。
图8是根据一示例性实施例示出的一种图像处理装置的框图,如图8所示,该装置包括:
第一获取单元801,被配置为执行获取第一图像中的头发区域,头发区域为第一图像中的目标对象的头发所在的区域;
输入单元802,被配置为执行将头发区域输入头发方向预测模型中,得到头发区域中每个第一像素点处头发方向对应角度的余弦值,每个第一像素点处的头发方向采用每个第一像素点处的头发相对于水平线的角度表征;
第一转换单元803,被配置为执行将每个第一像素点处头发方向对应角度的余弦值转换为每个第一像素点处的头发方向;
处理单元804,被配置为执行根据每个第一像素点处的头发方向,对第一图像中的头发区域进行图像处理,得到第二图像。
在一种可能的实现方式中,装置还包括:
第二获取单元,被配置为执行获取样本头发区域;
第三获取单元,被配置为执行获取样本头发区域中每个第二像素点处的头发方向;
第二转换单元,被配置为执行将每个第二像素点处的头发方向转换为每个第二像素点处头发方向对应角度的样本余弦值;
训练单元,被配置为执行根据样本头发区域和样本头发区域中每个第二像素点处头发方向对应角度的样本余弦值,进行模型训练,得到头发方向预测模型。
在另一种可能的实现方式中,第三获取单元,被配置为执行将样本头发区域从当前的空间域转换为频域;对于每个第二像素点,在频域上,确定样本头发区域中第二像素点处的头发方向与每个预设角度方向之间的响应度;用响应度最大的预设角度方向表征第二像素点处的头发方向。
在另一种可能的实现方式中,第三获取单元,被配置为执行获取被标注的样本头发区域的标签信息;从标签信息中获取样本头发区域中每个第二像素点处的头发方向。
在另一种可能的实现方式中,第一转换单元803,被配置为执行对于每个第一像素点,对第一像素点处头发方向对应角度的余弦值进行反函数计算,得到第一像素点处头发方向的角度值;用第一像素点处头发方向的角度值表征第一像素点处的头发方向。
在另一种可能的实现方式中,处理单元804,被配置为执行根据每个第一像素点处的头发方向,确定头发区域的方向;根据头发区域在第一图像中的位置,将带有方向的头发区域映射回第一图像,得到第二图像。
在另一种可能的实现方式中,第一获取单元801,被配置为执行获取第一图像;将第一图像输入头发分割网络中,得到兴趣区域;从第一图像中裁剪出兴趣区域对应的图像,得到头发区域。
本公开实施例提供的图像处理装置,获取第一图像中的头发区域,该头发区域为第一图像中的目标对象的头发所在的区域;将该头发区域输入头发方向预测模型中,得到头发区域中每个第一像素点处头发方向对应角度的余弦值;将每个第一像素点处头发方向对应角度的余弦值转换为每个第一像素点处的头发方向,每个第一像素点处的头发方向采用每个第一像素点处的头发方向相对于水平线的角度表征;根据每个第一像素点处的头发方向,对第一图像中的头发区域进行图像处理,得到第二图像。该装置通过头发方向预测模型得到头发区域中每个第一像素点处头发方向对应角度的余弦值,进而将其转换为每个第一像素点处的头发方向,不受设置的预设角度方向的个数的限制,预测更精准,速度更快。
图9是根据一示例性实施例示出的一种电子设备900的框图。该电子设备900用于执行上述图像处理方法中电子设备所执行的步骤。
通常,电子设备900包括有:处理器901和存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器901所具有以实现本公开中方法实施例提供的图像处理方法。
在一些实施例中,电子设备900还可选包括有:***设备接口903和至少一个***设备。处理器901、存储器902和***设备接口903之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口903相连。具体地,***设备包括:射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
***设备接口903可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和***设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和***设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路904包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它电子设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本公开对此不加以限定。
显示屏905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏905可以为一个,设置在电子设备900的前面板;在另一些实施例中,显示屏905可以为至少两个,分别设置在电子设备900的不同表面或呈折叠设计;在另一些实施例中,显示屏905可以是柔性显示屏,设置在电子设备900的弯曲表面上或折叠面上。甚至,显示屏905还可以设置成非矩形的不规则图形,也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在电子设备的前面板,后置摄像头设置在电子设备的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路907还可以包括耳机插孔。
定位组件908用于定位电子设备900的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源909用于为电子设备900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,电子设备900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于:加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以电子设备900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号,控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测电子设备900的机体方向及转动角度,陀螺仪传感器912可以与加速度传感器911协同采集用户对电子设备900的3D动作。处理器901根据陀螺仪传感器912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在电子设备900的侧边框和/或显示屏905的下层。当压力传感器913设置在电子设备900的侧边框时,可以检测用户对电子设备900的握持信号,由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时,由处理器901根据用户对显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹,由处理器901根据指纹传感器914采集到的指纹识别用户的身份,或者,由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器901授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置在电子设备900的正面、背面或侧面。当电子设备900上设置有物理按键或厂商Logo时,指纹传感器914可以与物理按键或厂商标志集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器915采集的环境光强度,控制显示屏905的显示亮度。具体地,当环境光强度较高时,调高显示屏905的显示亮度;当环境光强度较低时,调低显示屏905的显示亮度。在另一个实施例中,处理器901还可以根据光学传感器915采集的环境光强度,动态调整摄像头组件906的拍摄参数。
接近传感器916,也称距离传感器,通常设置在电子设备900的前面板。接近传感器916用于采集用户与电子设备900的正面之间的距离。在一个实施例中,当接近传感器916检测到用户与电子设备900的正面之间的距离逐渐变小时,由处理器901控制显示屏905从亮屏状态切换为息屏状态;当接近传感器916检测到用户与电子设备900的正面之间的距离逐渐变大时,由处理器901控制显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图9中示出的结构并不构成对电子设备900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,计算机可读存储介质上存储有至少一条指令,该指令被电子设备的处理器执行时实现本公开实施例提供的图像处理方法。
在示例性实施例中,还提供了一种应用程序,当应用程序中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例提供的图像处理方法。
本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取第一图像中的头发区域,所述头发区域为所述第一图像中的目标对象的头发所在的区域;
将所述头发区域输入头发方向预测模型中,得到所述头发区域中每个第一像素点处头发方向对应角度的余弦值,所述每个第一像素点处的头发方向采用所述每个第一像素点处的头发相对于水平线的角度表征;
将所述每个第一像素点处头发方向对应角度的余弦值转换为所述每个第一像素点处的头发方向;
根据所述每个第一像素点处的头发方向,对所述第一图像中的头发区域进行图像处理,得到第二图像。
2.根据权利要求1所述的方法,其特征在于,所述将所述头发区域输入头发方向预测模型中之前,所述方法还包括:
获取样本头发区域;
获取所述样本头发区域中每个第二像素点处的头发方向;
将所述每个第二像素点处的头发方向转换为所述每个第二像素点处头发方向对应角度的样本余弦值;
根据所述样本头发区域和所述样本头发区域中每个第二像素点处头发方向对应角度的样本余弦值,进行模型训练,得到所述头发方向预测模型。
3.根据权利要求2所述的方法,其特征在于,所述获取所述样本头发区域中每个第二像素点处的头发方向,包括:
将所述样本头发区域从当前的空间域转换为频域;
对于每个第二像素点,在所述频域上,确定所述样本头发区域中所述第二像素点处的头发方向与每个预设角度方向之间的响应度;
用响应度最大的预设角度方向表征所述第二像素点处的头发方向。
4.根据权利要求2所述的方法,其特征在于,所述获取所述样本头发区域中每个第二像素点处的头发方向,包括:
获取被标注的所述样本头发区域的标签信息;
从所述标签信息中获取所述样本头发区域中每个第二像素点处的头发方向。
5.根据权利要求1所述的方法,其特征在于,所述将所述每个第一像素点处头发方向对应角度的余弦值转换为所述每个第一像素点处的头发方向,包括:
对于每个第一像素点,对所述第一像素点处头发方向对应角度的余弦值进行反函数计算,得到所述第一像素点处头发方向的角度值;
用所述第一像素点处头发方向的角度值表征所述第一像素点处的头发方向。
6.根据权利要求1所述的方法,其特征在于,所述根据所述每个第一像素点处的头发方向,对所述第一图像中的头发区域进行图像处理,得到第二图像,包括:
根据所述每个第一像素点处的头发方向,确定所述头发区域的方向;
根据所述头发区域在所述第一图像中的位置,将带有方向的头发区域映射回所述第一图像,得到所述第二图像。
7.根据权利要求1所述的方法,其特征在于,所述获取第一图像中的头发区域,包括:
获取所述第一图像;
将所述第一图像输入头发分割网络中,得到兴趣区域;
从所述第一图像中裁剪出所述兴趣区域对应的图像,得到所述头发区域。
8.一种图像处理装置,其特征在于,所述装置包括:
第一获取单元,被配置为执行获取第一图像中的头发区域,所述头发区域为所述第一图像中的目标对象的头发所在的区域;
输入单元,被配置为执行将所述头发区域输入头发方向预测模型中,得到所述头发区域中每个第一像素点处头发方向对应角度的余弦值,所述每个第一像素点处的头发方向采用所述每个第一像素点处的头发相对于水平线的角度表征;
第一转换单元,被配置为执行将所述每个第一像素点处头发方向对应角度的余弦值转换为所述每个第一像素点处的头发方向;
处理单元,被配置为执行根据所述每个第一像素点处的头发方向,对所述第一图像中的头发区域进行图像处理,得到第二图像。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器;
其中,所述一个或多个处理器被配置为执行权利要求1~7任一项所述的图像处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有至少一条指令,所述指令被电子设备的处理器执行时实现权利要求1~7任一项所述的图像处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010485785.1A CN113763228B (zh) | 2020-06-01 | 2020-06-01 | 图像处理方法、装置、电子设备及存储介质 |
US17/193,925 US11625904B2 (en) | 2020-06-01 | 2021-03-05 | Method and electronic device for processing images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010485785.1A CN113763228B (zh) | 2020-06-01 | 2020-06-01 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113763228A true CN113763228A (zh) | 2021-12-07 |
CN113763228B CN113763228B (zh) | 2024-03-19 |
Family
ID=78705256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010485785.1A Active CN113763228B (zh) | 2020-06-01 | 2020-06-01 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11625904B2 (zh) |
CN (1) | CN113763228B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9465985B2 (en) | 2013-06-09 | 2016-10-11 | Apple Inc. | Managing real-time handwriting recognition |
DK179374B1 (en) * | 2016-06-12 | 2018-05-28 | Apple Inc | Handwriting keyboard for monitors |
US11194467B2 (en) | 2019-06-01 | 2021-12-07 | Apple Inc. | Keyboard management user interfaces |
CN114219877B (zh) * | 2021-12-06 | 2024-06-25 | 北京字节跳动网络技术有限公司 | 人像头发流动特效处理方法、装置、介质和电子设备 |
CN114723890A (zh) * | 2022-04-12 | 2022-07-08 | 北京字跳网络技术有限公司 | 虚拟对象的生成方法、装置、可读介质和电子设备 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104376597A (zh) * | 2014-12-05 | 2015-02-25 | 北京航空航天大学 | 一种基于多方向约束的头发重建方法 |
CN105844706A (zh) * | 2016-04-19 | 2016-08-10 | 浙江大学 | 一种基于单幅图像的全自动三维头发建模方法 |
CN107103619A (zh) * | 2017-04-19 | 2017-08-29 | 腾讯科技(上海)有限公司 | 一种头发纹理方向的处理方法、装置及*** |
CN107451555A (zh) * | 2017-07-27 | 2017-12-08 | 安徽慧视金瞳科技有限公司 | 一种基于梯度方向的头发分向判断方法 |
CN107886516A (zh) * | 2017-11-30 | 2018-04-06 | 厦门美图之家科技有限公司 | 一种计算人像中发丝走向的方法及计算设备 |
WO2018094653A1 (zh) * | 2016-11-24 | 2018-05-31 | 华为技术有限公司 | 一种用户头发模型的重建方法、装置及终端 |
CN108198127A (zh) * | 2017-11-27 | 2018-06-22 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
CN109087377A (zh) * | 2018-08-03 | 2018-12-25 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
US20190051048A1 (en) * | 2016-04-19 | 2019-02-14 | Zhejiang University | Method for single-image-based fully automatic three-dimensional hair modeling |
CN110147805A (zh) * | 2018-07-23 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、终端及存储介质 |
CN110189340A (zh) * | 2019-06-03 | 2019-08-30 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN110992247A (zh) * | 2019-11-25 | 2020-04-10 | 杭州趣维科技有限公司 | 一种人像照片头发拉直特效的实现方法及*** |
CN111160240A (zh) * | 2019-12-27 | 2020-05-15 | 腾讯科技(深圳)有限公司 | 图像对象的识别处理方法、装置及智能设备、存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7468730B2 (en) * | 2004-03-25 | 2008-12-23 | Pixar | Volumetric hair simulation |
US8532387B2 (en) * | 2009-09-04 | 2013-09-10 | Adobe Systems Incorporated | Methods and apparatus for procedural directional texture generation |
US8928747B2 (en) * | 2011-07-20 | 2015-01-06 | Romello J. Burdoucci | Interactive hair grooming apparatus, system, and method |
CN103606186B (zh) * | 2013-02-02 | 2016-03-30 | 浙江大学 | 一种图像与视频的虚拟发型建模方法 |
US20190166980A1 (en) * | 2017-12-01 | 2019-06-06 | Perfect Corp. | Systems and Methods for Identification and Virtual Application of Cosmetic Products |
US10515456B2 (en) * | 2018-03-22 | 2019-12-24 | Adobe Inc. | Synthesizing hair features in image content based on orientation data from user guidance |
CN112188861A (zh) * | 2018-05-17 | 2021-01-05 | 宝洁公司 | 用于毛发覆盖分析的***和方法 |
CN109816764B (zh) * | 2019-02-02 | 2021-06-25 | 深圳市商汤科技有限公司 | 图像生成方法及装置、电子设备和存储介质 |
CN113870121A (zh) * | 2020-06-30 | 2021-12-31 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN114078179A (zh) * | 2020-08-11 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 三维头发模型的重建方法、装置、电子设备及存储介质 |
CN116250014A (zh) * | 2020-08-22 | 2023-06-09 | 斯纳普公司 | 用于合成具有与真实图像结合的伪毛发的图像的跨域神经网络 |
US11350059B1 (en) * | 2021-01-26 | 2022-05-31 | Dell Products, Lp | System and method for intelligent appearance monitoring management system for videoconferencing applications |
-
2020
- 2020-06-01 CN CN202010485785.1A patent/CN113763228B/zh active Active
-
2021
- 2021-03-05 US US17/193,925 patent/US11625904B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104376597A (zh) * | 2014-12-05 | 2015-02-25 | 北京航空航天大学 | 一种基于多方向约束的头发重建方法 |
CN105844706A (zh) * | 2016-04-19 | 2016-08-10 | 浙江大学 | 一种基于单幅图像的全自动三维头发建模方法 |
US20190051048A1 (en) * | 2016-04-19 | 2019-02-14 | Zhejiang University | Method for single-image-based fully automatic three-dimensional hair modeling |
WO2018094653A1 (zh) * | 2016-11-24 | 2018-05-31 | 华为技术有限公司 | 一种用户头发模型的重建方法、装置及终端 |
CN107103619A (zh) * | 2017-04-19 | 2017-08-29 | 腾讯科技(上海)有限公司 | 一种头发纹理方向的处理方法、装置及*** |
CN107451555A (zh) * | 2017-07-27 | 2017-12-08 | 安徽慧视金瞳科技有限公司 | 一种基于梯度方向的头发分向判断方法 |
CN108198127A (zh) * | 2017-11-27 | 2018-06-22 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
CN107886516A (zh) * | 2017-11-30 | 2018-04-06 | 厦门美图之家科技有限公司 | 一种计算人像中发丝走向的方法及计算设备 |
CN110147805A (zh) * | 2018-07-23 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、终端及存储介质 |
CN109087377A (zh) * | 2018-08-03 | 2018-12-25 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
CN110189340A (zh) * | 2019-06-03 | 2019-08-30 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN110992247A (zh) * | 2019-11-25 | 2020-04-10 | 杭州趣维科技有限公司 | 一种人像照片头发拉直特效的实现方法及*** |
CN111160240A (zh) * | 2019-12-27 | 2020-05-15 | 腾讯科技(深圳)有限公司 | 图像对象的识别处理方法、装置及智能设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US11625904B2 (en) | 2023-04-11 |
CN113763228B (zh) | 2024-03-19 |
US20210374995A1 (en) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110992493B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111464749B (zh) | 进行图像合成的方法、装置、设备及存储介质 | |
CN113763228B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN108965922B (zh) | 视频封面生成方法、装置和存储介质 | |
CN112287852B (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
CN109302632B (zh) | 获取直播视频画面的方法、装置、终端及存储介质 | |
CN109360222B (zh) | 图像分割方法、装置及存储介质 | |
CN111083526B (zh) | 视频转场方法、装置、计算机设备及存储介质 | |
CN112581358B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN110839174A (zh) | 图像处理的方法、装置、计算机设备以及存储介质 | |
CN111857793B (zh) | 网络模型的训练方法、装置、设备及存储介质 | |
CN113160031B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111753606A (zh) | 一种智能模型的升级方法及装置 | |
CN112396076A (zh) | 车牌图像生成方法、装置及计算机存储介质 | |
CN110263695B (zh) | 人脸部位的位置获取方法、装置、电子设备及存储介质 | |
CN112967261B (zh) | 图像融合方法、装置、设备及存储介质 | |
CN111982293B (zh) | 体温测量方法、装置、电子设备及存储介质 | |
CN111757146B (zh) | 视频拼接的方法、***及存储介质 | |
CN109388732B (zh) | 音乐地图的生成和显示方法、装置及存储介质 | |
CN110443841B (zh) | 地面深度的测量方法、装置及*** | |
CN112399080A (zh) | 视频处理方法、装置、终端及计算机可读存储介质 | |
CN112052806A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113592874A (zh) | 图像显示方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |