CN112258605A - 特效添加方法、装置、电子设备及存储介质 - Google Patents
特效添加方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112258605A CN112258605A CN202011110352.4A CN202011110352A CN112258605A CN 112258605 A CN112258605 A CN 112258605A CN 202011110352 A CN202011110352 A CN 202011110352A CN 112258605 A CN112258605 A CN 112258605A
- Authority
- CN
- China
- Prior art keywords
- region
- hair
- area
- image
- special effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000009877 rendering Methods 0.000 claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 26
- 238000011161 development Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 51
- 230000011218 segmentation Effects 0.000 claims description 39
- 230000037308 hair color Effects 0.000 claims description 20
- 230000018109 developmental process Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004043 dyeing Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开关于一种特效添加方法、装置、电子设备及存储介质,该方法包括:响应于发色特效选择指令,在进入特效拍摄模式后获取人物图像;确定所述人物图像中的第一头发区域和人脸区域;基于所述第一头发区域和所述人脸区域,确定第二头发区域;基于所述第二头发区域和所述人物图像进行引导滤波,确定待染色区域;以预设颜色渲染所述待染色区域。采用本公开可以提高电子设备对图像的特效添加效率。
Description
技术领域
本公开涉及特效添加技术领域,尤其涉及特效添加方法、装置、电子设备及存储介质。
背景技术
随着智能手机的拍照能力不断提高,越来越多的人通过使用智能手机来拍摄照片、视频以记录自己生活中的精彩瞬间。
用户在使用智能手机进行视频或者照片拍摄时,往往会使用安装在智能手机上的各种拍摄软件为拍摄到的图像添加各种特效效果,如为人物图像中添加头发染色特效。然而,相关技术在为拍摄到的人物图像添加头发染色特效时,往往会因无法对人物图像中的头发区域进行准确分割而导致人物图像中的脸部皮肤也会被染色。这也使得用户因不能获得满足其特效添加需求的图像而对该人物图像重新进行特效添加处理,降低了电子设备对图像的特效添加效率。
发明内容
本公开提供一种特效添加方法、装置、电子设备及存储介质,以至少解决相关技术中电子设备对图像的特效添加效率较低的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种特效添加方法,应用于电子设备,所述方法包括:
响应于发色特效选择指令,在进入特效拍摄模式后获取人物图像;确定所述人物图像中的第一头发区域和人脸区域;
基于所述第一头发区域和所述人脸区域,确定第二头发区域;
基于所述第二头发区域和所述人物图像进行引导滤波,确定待染色区域;
以预设颜色渲染所述待染色区域。
在一种可能实现方式中,所述确定所述人物图像中的第一头发区域和人脸区域,包括:
将所述人物图像输入至语义分割模型;所述语义分割模型用于对输入的图像进行语义分割处理;
基于所述语义分割模型输出的语义分割结果,确定所述人物图像中的第一头发区域和人脸区域。
在一种可能实现方式中,所述基于所述第一头发区域和所述人脸区域,确定第二头发区域,包括:
根据所述第一头发区域和所述人脸区域,确定所述人物图像中的第一刘海区域;
对所述第一刘海区域进行衰减处理,得到第二刘海区域;
基于所述第二刘海区域和所述第一头发区域,确定所述第二头发区域。
在一种可能实现方式中,所述根据所述第一头发区域和所述人脸区域,确定所述人物图像中的第一刘海区域,包括:
分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域;
确定所述膨胀后的第一头发区域与所述膨胀后的人脸区域之间的重叠区域,作为所述人物图像中的第一刘海区域。
在一种可能实现方式中,所述分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域,包括:
确定覆盖所述第一头发区域的最小矩形;
查询与所述最小矩形的短边长度对应的膨胀系数;
采用所述膨胀系数,分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到所述膨胀后的第一头发区域和所述膨胀后的人脸区域。
在一种可能实现方式中,所述对所述第一刘海区域进行衰减处理,得到第二刘海区域,包括:
获取所述第一刘海区域的像素均值;
查询与所述像素均值对应的衰减系数,
根据所述衰减系数,降低所述第一刘海区域中的各个像素值,得到所述第二刘海区域。
在一种可能实现方式中,所述基于所述第二头发区域和所述人物图像进行引导滤波,确定待染色区域,包括:
确定所述人物图像中的方差最大颜色通道对应的目标通道图像;
对所述目标通道图像的图像对比度进行调整,得到调整后的图像;其中,所述调整后的图像的图像对比度大于所述目标通道图像的图像对比度;
采用所述调整后的图像对所述第二头发区域进行引导滤波处理,得到所述待染色区域。
在一种可能实现方式中,所述以预设颜色渲染所述待染色区域,包括:
获取所述特效拍摄模式对应的目标渲染发色;
基于所述目标渲染发色,对所述待染色区域进行颜色渲染;
和/或,
响应实施于发色选择入口的发色选择指令;
获取所述发色选择指令对应的目标渲染发色;
基于所述目标渲染发色,对所述待染色区域进行颜色渲染。
根据本公开实施例的第二方面,提供一种特效添加装置,包括:
响应单元,被配置为执行响应于发色特效选择指令,在进入特效拍摄模式后获取人物图像;
分割单元,被配置为执行确定所述人物图像中的第一头发区域和人脸区域;
确定单元,被配置为执行基于所述第一头发区域和所述人脸区域,确定第二头发区域;
引导滤波单元,被配置为执行基于所述第二头发区域和所述人物图像进行引导滤波,确定待染色区域;
渲染单元,被配置为执行以预设颜色渲染所述待染色区域。
在一种可能实现方式中,所述分割单元,具体被配置为执行将所述人物图像输入至语义分割模型;所述语义分割模型用于对输入的图像进行语义分割处理;基于所述语义分割模型输出的语义分割结果,确定所述人物图像中的第一头发区域和人脸区域。
在一种可能实现方式中,所述确定单元,具体被配置为执行根据所述第一头发区域和所述人脸区域,确定所述人物图像中的第一刘海区域;对所述第一刘海区域进行衰减处理,得到第二刘海区域;基于所述第二刘海区域和所述第一头发区域,确定所述第二头发区域。
在一种可能实现方式中,所述确定单元,具体被配置为执行分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域;确定所述膨胀后的第一头发区域与所述膨胀后的人脸区域之间的重叠区域,作为所述人物图像中的第一刘海区域。
在一种可能实现方式中,所述确定单元,具体被配置为执行确定覆盖所述第一头发区域的最小矩形;查询与所述最小矩形的短边长度对应的膨胀系数;采用所述膨胀系数,分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到所述膨胀后的第一头发区域和所述膨胀后的人脸区域。
在一种可能实现方式中,所述确定单元,具体被配置为执行获取所述第一刘海区域的像素均值;查询与所述像素均值对应的衰减系数,根据所述衰减系数,降低所述第一刘海区域中的各个像素值,得到所述第二刘海区域。
在一种可能实现方式中,所述引导滤波单元,具体被配置为执行确定所述人物图像中的方差最大颜色通道对应的目标通道图像;对所述目标通道图像的图像对比度进行调整,得到调整后的图像;其中,所述调整后的图像的图像对比度大于所述目标通道图像的图像对比度;采用所述调整后的图像对所述第二头发区域进行引导滤波处理,得到所述待染色区域。
在一种可能实现方式中,所述渲染单元,具体被配置为执行获取所述特效拍摄模式对应的目标渲染发色;基于所述目标渲染发色,对所述待染色区域进行颜色渲染;和/或,响应实施于发色选择入口的发色选择指令;获取所述发色选择指令对应的目标渲染发色;基于所述目标渲染发色,对所述待染色区域进行颜色渲染。
根据本公开实施例的第三方面,提供一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第一方面或第一方面的任一种可能实现方式所述的特效添加方法。
根据本公开实施例的第四方面,提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面或第一方面的任一种可能实现方式所述的特效添加方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,所述程序产品包括计算机程序,所述计算机程序存储在可读存储介质中,设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序,使得设备执行第一方面的任一种可能实现方式所述的特效添加方法。
本公开的实施例提供的技术方案至少带来以下有益效果:通过响应于发色特效选择指令,在进入特效拍摄模式后获取人物图像;确定人物图像中的第一头发区域和人脸区域;基于第一头发区域和人脸区域,确定第二头发区域;基于第二头发区域和人物图像进行引导滤波,确定待染色区域;最后,以预设颜色渲染待染色区域;如此,可以避免待染色区域可能存在的边界线缺失的情况,能够保证待染色区域有着良好的边缘特性,避免待处理图像中的非头发区域受到渲染处理的影响,实现更加真实且准确地对人物图像中的头发区域进行染色。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种特效添加方法的流程图。
图2是根据一示例性实施例示出的另一种特效添加方法的流程图。
图3是根据一示例性实施例示出的一种特效添加装置的框图。
图4是根据一示例性实施例示出的一种电子设备的内部结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种特效添加方法的流程图,包括以下步骤。实际应用中,电子设备110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在步骤S110中,响应于发色特效选择指令,在进入特效拍摄模式后获取人物图像。
其中,发色特效选择指令可以是指用户选择电子设备进入特效拍摄模式的指令。
其中,特效拍摄模式可以是指为拍摄到的图像添加头发染色特效的模式。
其中,人物图像可以是指包括有被拍摄人物的图像。
具体实现中,安装有图像拍摄软件的电子设备可以先显示拍摄页面;其中,该拍摄页面包括发色特效选择入口。实际应用中,当用户可以对该发色特效选择入口进行触发操作,进而实现将发色特效选择指令输入至电子设备中。电子设备在接收到该发色特效选择指令后,则对该发色特效选择指令进行响应,进而特效拍摄模式。当电子设备成功进入特效拍摄模式时,电子设备则获取包括有被拍摄人物的图像即人物图像。
在步骤S120中,确定所述人物图像中的第一头发区域和人脸区域。
具体实现中,当电子设备获取到人物图像后,电子设备可以通过预训练的语义分割模型对人物图像进行语义分割,确定出人物图像中的第一头发区域和人脸区域。
其中,预训练的语义分割模型用于对输入的图像进行语义分割处理。
具体来说,电子设备在确定人物图像中的第一头发区域和人脸区域的过程中,具体包括:电子设备可以将人物图像输入至预训练的语义分割模型;然后,电子设备获取预训练的语义分割模型输出的语义分割结果,并基于预训练的语义分割模型输出的语义分割结果,确定出人物图像中的第一头发区域和人脸区域。
在步骤S130中,基于所述第一头发区域和所述人脸区域,确定第二头发区域。
具体实现中,当电子设备确定出人物图像中的第一头发区域和人脸区域后,电子设备可以基于人物图像中的第一头发区域和人脸区域。具体来说,电子设备在基于第一头发区域和人脸区域,确定第二头发区域的过程中,具体包括:电子设备可以根据第一头发区域和人脸区域,确定人物图像中的第一刘海区域。然后,电子设备再对第一刘海区域进行衰减处理,得到第二刘海区域。
其中,第二刘海区域也可以命名为衰减处理后的第一刘海区域。
最后,电子设备再基于第二刘海区域和第一头发区域,确定第二头发区域。例如,电子设备可以基于第二刘海区域,对第一头发区域中的刘海区域进行调整,得到调整后的头发区域,作为第二头发区域。
在步骤S140中,基于所述第二头发区域和所述人物图像进行引导滤波,确定待染色区域。
具体实现中,电子设备可以采用人物图像对第二头发区域进行引导滤波处理,进而使得到的引导滤波后的第二头发区域的边缘特征明显;然后,电子设备将引导滤波后的第二头发区域确定为待染色区域。
在步骤S150中,以预设颜色渲染所述待染色区域。
具体实现中,当电子设备确定出人物图像中的待染色区域后,电子设备可以以与发色特效选择指令对应的方式对待染色区域进行颜色调节处理,得到处理后的人物图像。具体来说,电子设备可以根据该发色特效选择指令,确定目标头发颜色。然后,电子设备在基于该目标头发颜色,调整待染色区域中各个像素的颜色水平,以使待染色区域的头发颜色与目标头发颜色相适配,进而得到处理后的人物图像。
上述特效添加方法中,通过响应于发色特效选择指令,在进入特效拍摄模式后获取人物图像;确定人物图像中的第一头发区域和人脸区域;基于第一头发区域和人脸区域,确定第二头发区域;基于第二头发区域和人物图像进行引导滤波,确定待染色区域;最后,以预设颜色渲染待染色区域;如此,可以避免待染色区域可能存在的边界线缺失的情况,能够保证待染色区域有着良好的边缘特性,避免待处理图像中的非头发区域受到渲染处理的影响,实现更加真实且准确地对人物图像中的头发区域进行染色。
在一示例性实施例中,根据第一头发区域和人脸区域,确定人物图像中的第一刘海区域,包括:分别对第一头发区域和人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域;确定膨胀后的第一头发区域与膨胀后的人脸区域之间的重叠区域,作为人物图像中的第一刘海区域。
具体实现中,电子设备在根据第一头发区域和人脸区域,确定第一刘海区域的过程中,具体包括:电子设备可以分别对第一头发区域和的人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域。具体来说,电子设备可以获取被拍摄人物在待处理图像中的当前头发厚度。然后,在基于该当前头发厚度适应性地对对第一头发区域和的人脸区域进行膨胀处理。
例如,电子设备可以在预先建立的头发厚度与膨胀系数正相关关系中,确定与该当前头发厚度对应的目标膨胀系数。然后,电子设备再基于该目标膨胀系数,对第一头发区域和的人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域。
最后,电子设备再确定膨胀后的第一头发区域和膨胀后的人脸区域之间的重叠区域,并将该重叠区域,作为人物图像中的第一刘海区域。
本实施例的技术方案,通过分别对第一头发区域和的人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域;确定膨胀后的第一头发区域与膨胀后的人脸区域之间的重叠区域,作为人物图像中的第一刘海区域,如此,可以实现了提高确定第一刘海区域过程中的鲁棒性。
在一示例性实施例中,分别对第一头发区域和人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域,包括:确定覆盖第一头发区域的最小矩形;查询与最小矩形的短边长度对应的膨胀系数;采用膨胀系数,分别对第一头发区域和人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域。
具体实现中,电子设备在分别对第一头发区域和人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域,具体包括:电子设备可以在头发区域的掩码图中,确定能覆盖第一头发区域的最小矩形。然后,电子设备在获取该最小矩形的短边长度,并在在预先建立的短边长度与膨胀系数正相关关系中,确定与该最小矩形的短边长度对应的膨胀系数。最后,电子设备再采用膨胀系数,分别对第一头发区域和人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域。
本实施例的技术方案,通过确定覆盖第一头发区域的最小矩形;查询与最小矩形的短边长度对应的膨胀系数;采用膨胀系数,分别对第一头发区域和人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域;如此,使得在后续基于膨胀后的第一头发区域和膨胀后的人脸区域确定得到的第一刘海区域可以良好地适配被拍摄人物的头发厚度,提高了染发渲染结果的真实程度。
在一示例性实施例中,对第一刘海区域进行衰减处理,得到第二刘海区域,包括:获取刘海区域的像素均值;查询与像素均值对应的衰减系数,根据衰减系数,降低第一刘海区域中的各个像素值,得到第二刘海区域。
其中,第二刘海区域中的衰减处理后的第一刘海区域的像素值小于掩码图中的第一刘海区域的像素值。
具体实现中,电子设备在对第一刘海区域进行衰减处理,得到第二刘海区域的过程中,具体包括:电子设备可以获取第一刘海区域的像素值,然后,在根据该像素值的像素均值,在像素均值与衰减系数的正相关关系中,查询与像素均值对应的衰减系数;根据衰减系数,对第一刘海区域中的各个像素值进行衰减处理,得到第二刘海区域;其中,第二刘海区域中的衰减处理后的第一刘海区域的像素值小于掩码图中的第一刘海区域的像素值。
其中,第一刘海区域的像素值可以是第一刘海区域的像素均值,还可以是第一刘海区域的像素方差值、或者还可以是第一刘海区域的像素中值,本公开不做具体限定。例如,第一刘海区域的像素均值为120时,衰减系数可以为0.5;第一刘海区域的像素均值为150时,衰减系数可以为0.6等。像素均值与衰减系数的正相关关系可由实验结果确定。
本实施例的技术方案,通过获取第一刘海区域的像素均值;查询与像素均值对应的衰减系数;根据衰减系数,对第一刘海区域中的各个像素值进行衰减处理,得到第二刘海区域;如此,可以根据第一刘海区域的像素分布情况,适应性地对第一刘海区域中的各个像素值进行衰减处理,使得在添加发色特效后的刘海区域的染色效果不会过于生硬,提高对了刘海区域的发色进行渲染的真实程度。
在一示例性实施例中,基于第二头发区域和人物图像进行引导滤波,确定待染色区域,包括:确定人物图像中的方差最大颜色通道对应的目标通道图像;对目标通道图像的图像对比度进行调整,得到调整后的图像;采用调整后的图像对第二头发区域进行引导滤波处理,得到待染色区域。
其中,调整后的图像的图像对比度大于目标通道图像的图像对比度。
具体实现中,电子设备在基于第二头发区域和人物图像进行引导滤波,确定待染色区域的过程中,具体包括:电子设备可以在待处理图像对应的RGB三通道中,确定方差最大颜色通道。然后,电子设备则确定人物图像中的方差最大颜色通道对应的目标通道图像。
然后,电子设备再对目标通道图像的图像对比度进行调整,得到图像对比度大于目标图像的图像对比度的调整后的图像。具体来说,电子设备剔除目标通道图像中,指定像素值的像素点;然后将剔除像素点后的图像,拉伸至像素值取值区间内,拉伸后剔除像素点后的图像的像素值的最小值为像素值取值区间的最小值,最大值为像素值取值区间的最大值。例如,像素值取值区间可以为0-255,或者还可以是选取的通道的图像的像素值取值区间。所以,在剔除指定像素值的像素点之前,可以绘制目标图像的直方图。最后,电子设备采用调整后的图像作为引导图,并将第二头发区域作为被引导图,从而进行引导滤波处理,得到待染色区域。
本实施例的技术方案,通过确定人物图像中的方差最大颜色通道对应的目标通道图像;对目标通道图像的图像对比度进行调整,得到对比度高的调整后的图像,可以尽可能地减少电子设备在采用调整后的图像对第二头发区域进行引导滤波处理的过程中的数据计算量,提高了头发染色渲染过程中的实时性。
在一示例性实施例中,以预设颜色渲染待染色区域,包括:获取特效拍摄模式对应的目标渲染发色;基于目标渲染发色,对待染色区域进行颜色渲染;和/或,响应实施于发色选择入口的发色选择指令;获取发色选择指令对应的目标渲染发色;基于目标渲染发色,对待染色区域进行颜色渲染。
具体实现中,电子设备在以预设颜色渲染待染色区域的过程中,具体包括:电子设备可以获取特效拍摄模式对应的目标渲染发色。
当然,在电子设备进入特效拍摄模式时,电子设备当前所显示的特效拍摄模式界面中还包括发色选择入口。该发色选择入口用于供用户切换不同的发色渲染特效。电子设备可以响应用户实施于发色选择入口的发色选择指令,进而获取发色选择指令对应的目标渲染发色。
最后,电子设备再基于目标渲染发色,对待染色区域进行颜色渲染。具体来说,电子设备可以基于目标渲染发色,对待染色区域进行调色处理,得到调色后区域。其中,该调色后区域中的头发颜色与该目标渲染发色相匹配。
本实施例的技术方案,电子设备在以预设颜色渲染待染色区域的过程中,通过获取特效拍摄模式对应的目标渲染发色,和/或,响应实施于发色选择入口的发色选择指令,以获取发色选择指令对应的目标渲染发色,并基于该目标渲染发色,对待染色区域进行颜色渲染,使得经过渲染后的人物图像可以满足用户的发色特效添加需求,进而无需对人物图像重新进行特效添加处理,提高了电子设备对图像的特效添加效率。
图2是根据一示例性实施例示出的另一种特效添加方法的流程图,包括以下步骤。在步骤S202中,响应于发色特效选择指令,在进入特效拍摄模式后获取人物图像。在步骤S204中,将所述人物图像输入至语义分割模型;所述语义分割模型用于对输入的图像进行语义分割处理。在步骤S206中,基于所述语义分割模型输出的语义分割结果,确定所述人物图像中的第一头发区域和人脸区域。在步骤S208中,分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域。在步骤S210中,确定所述膨胀后的第一头发区域与所述膨胀后的人脸区域之间的重叠区域,作为所述人物图像中的第一刘海区域。在步骤S212中,对所述第一刘海区域进行衰减处理,得到第二刘海区域。在步骤S214中,基于所述第二刘海区域和所述第一头发区域,确定所述第二头发区域。在步骤S216中,确定所述人物图像中的方差最大颜色通道对应的目标通道图像。在步骤S218中,对所述目标通道图像的图像对比度进行调整,得到调整后的图像;其中,所述调整后的图像的图像对比度大于所述目标通道图像的图像对比度。在步骤S220中,采用所述调整后的图像对所述第二头发区域进行引导滤波处理,得到待染色区域。在步骤S222中,以预设颜色渲染所述待染色区域。需要说明的是,上述步骤的具体限定可以参见上文对一种特效添加方法的具体限定,在此不再赘述。
应该理解的是,虽然图1和图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1和图2中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图3是根据一示例性实施例示出的一种特效添加装置框图。参照图3,该装置包括:
响应单元310,被配置为执行响应于发色特效选择指令,在进入特效拍摄模式后获取人物图像;
分割单元320,被配置为执行确定所述人物图像中的第一头发区域和人脸区域;
确定单元330,被配置为执行基于所述第一头发区域和所述人脸区域,确定第二头发区域;
引导滤波单元340,被配置为执行基于所述第二头发区域和所述人物图像进行引导滤波,确定待染色区域;
渲染单元350,被配置为执行以预设颜色渲染所述待染色区域。
在其中一个实施例中,所述分割单元320,具体被配置为执行将所述人物图像输入至语义分割模型;所述语义分割模型用于对输入的图像进行语义分割处理;基于所述语义分割模型输出的语义分割结果,确定所述人物图像中的第一头发区域和人脸区域。
在其中一个实施例中,所述确定单元330,具体被配置为执行根据所述第一头发区域和所述人脸区域,确定所述人物图像中的第一刘海区域;对所述第一刘海区域进行衰减处理,得到第二刘海区域;基于所述第二刘海区域和所述第一头发区域,确定所述第二头发区域。
在其中一个实施例中,所述确定单元330,具体被配置为执行分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域;确定所述膨胀后的第一头发区域与所述膨胀后的人脸区域之间的重叠区域,作为所述人物图像中的第一刘海区域。
在其中一个实施例中,所述确定单元330,具体被配置为执行确定覆盖所述第一头发区域的最小矩形;查询与所述最小矩形的短边长度对应的膨胀系数;采用所述膨胀系数,分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到所述膨胀后的第一头发区域和所述膨胀后的人脸区域。
在其中一个实施例中,所述确定单元330,具体被配置为执行获取所述第一刘海区域的像素均值;查询与所述像素均值对应的衰减系数,根据所述衰减系数,降低所述第一刘海区域中的各个像素值,得到所述第二刘海区域。
在其中一个实施例中,所述引导滤波单元340,具体被配置为执行确定所述人物图像中的方差最大颜色通道对应的目标通道图像;对所述目标通道图像的图像对比度进行调整,得到调整后的图像;其中,所述调整后的图像的图像对比度大于所述目标通道图像的图像对比度;采用所述调整后的图像对所述第二头发区域进行引导滤波处理,得到所述待染色区域。
在其中一个实施例中,所述渲染单元350,具体被配置为执行获取所述特效拍摄模式对应的目标渲染发色;基于所述目标渲染发色,对所述待染色区域进行颜色渲染;和/或,响应实施于发色选择入口的发色选择指令;获取所述发色选择指令对应的目标渲染发色;基于所述目标渲染发色,对所述待染色区域进行颜色渲染。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种用于执行特效添加方法的设备400的框图。例如,设备400可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图4,设备400可以包括以下一个或多个组件:处理组件402、存储器404、电力组件406、多媒体组件408、音频组件410、输入/输出(I/O)的接口412、传感器组件414以及通信组件416。
处理组件402通常控制设备400的整体操作,诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件402可以包括一个或多个模块,便于处理组件402和其他组件之间的交互。例如,处理组件402可以包括多媒体模块,以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在设备400上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件406为设备400的各种组件提供电力。电源组件406可以包括电源管理***,一个或多个电源,及其他与为设备400生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件408包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如,音频组件410包括一个麦克风(MIC),当设备400处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频信号。
I/O接口412为处理组件402和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器,用于为设备400提供各个方面的状态评估。例如,传感器组件414可以检测到设备400的打开/关闭状态,组件的相对定位,例如所述组件为设备400的显示器和小键盘,传感器组件414还可以检测设备400或设备400一个组件的位置改变,用户与设备400接触的存在或不存在,设备400方位或加速/减速和设备400的温度变化。传感器组件414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件414还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件416被配置为便于设备400和其他设备之间有线或无线方式的通信。设备400可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件416经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件416还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,设备400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器404,上述指令可由设备400的处理器420执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由上面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种特效添加方法,应用于电子设备,其特征在于,所述方法包括:
响应于发色特效选择指令,在进入特效拍摄模式后获取人物图像;
确定所述人物图像中的第一头发区域和人脸区域;
基于所述第一头发区域和所述人脸区域,确定第二头发区域;
基于所述第二头发区域和所述人物图像进行引导滤波,确定待染色区域;
以预设颜色渲染所述待染色区域。
2.根据权利要求1所述的特效添加方法,其特征在于,所述确定所述人物图像中的第一头发区域和人脸区域,包括:
将所述人物图像输入至语义分割模型;所述语义分割模型用于对输入的图像进行语义分割处理;
基于所述语义分割模型输出的语义分割结果,确定所述人物图像中的第一头发区域和人脸区域。
3.根据权利要求1所述的特效添加方法,其特征在于,所述基于所述第一头发区域和所述人脸区域,确定第二头发区域,包括:
根据所述第一头发区域和所述人脸区域,确定所述人物图像中的第一刘海区域;
对所述第一刘海区域进行衰减处理,得到第二刘海区域;
基于所述第二刘海区域和所述第一头发区域,确定所述第二头发区域。
4.根据权利要求3所述的特效添加方法,其特征在于,所述根据所述第一头发区域和所述人脸区域,确定所述人物图像中的第一刘海区域,包括:
分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域;
确定所述膨胀后的第一头发区域与所述膨胀后的人脸区域之间的重叠区域,作为所述人物图像中的第一刘海区域。
5.根据权利要求4所述的特效添加方法,其特征在于,所述分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到膨胀后的第一头发区域和膨胀后的人脸区域,包括:
确定覆盖所述第一头发区域的最小矩形;
查询与所述最小矩形的短边长度对应的膨胀系数;
采用所述膨胀系数,分别对所述第一头发区域和所述人脸区域进行膨胀处理,得到所述膨胀后的第一头发区域和所述膨胀后的人脸区域。
6.根据权利要求1所述的特效添加方法,其特征在于,所述基于所述第二头发区域和所述人物图像进行引导滤波,确定待染色区域,包括:
确定所述人物图像中的方差最大颜色通道对应的目标通道图像;
对所述目标通道图像的图像对比度进行调整,得到调整后的图像;其中,所述调整后的图像的图像对比度大于所述目标通道图像的图像对比度;
采用所述调整后的图像对所述第二头发区域进行引导滤波处理,得到所述待染色区域。
7.根据权利要求1所述的特效添加方法,其特征在于,所述以预设颜色渲染所述待染色区域,包括:
获取所述特效拍摄模式对应的目标渲染发色;
基于所述目标渲染发色,对所述待染色区域进行颜色渲染;
和/或,
响应实施于发色选择入口的发色选择指令;
获取所述发色选择指令对应的目标渲染发色;
基于所述目标渲染发色,对所述待染色区域进行颜色渲染。
8.一种特效添加装置,应用于电子设备,其特征在于,包括:
响应单元,被配置为执行响应于发色特效选择指令,在进入特效拍摄模式后获取人物图像;
分割单元,被配置为执行确定所述人物图像中的第一头发区域和人脸区域;
确定单元,被配置为执行基于所述第一头发区域和所述人脸区域,确定第二头发区域;
引导滤波单元,被配置为执行基于所述第二头发区域和所述人物图像进行引导滤波,确定待染色区域;
渲染单元,被配置为执行以预设颜色渲染所述待染色区域。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的特效添加方法。
10.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的特效添加方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011110352.4A CN112258605A (zh) | 2020-10-16 | 2020-10-16 | 特效添加方法、装置、电子设备及存储介质 |
PCT/CN2021/105513 WO2022077970A1 (zh) | 2020-10-16 | 2021-07-09 | 特效添加方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011110352.4A CN112258605A (zh) | 2020-10-16 | 2020-10-16 | 特效添加方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112258605A true CN112258605A (zh) | 2021-01-22 |
Family
ID=74244564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011110352.4A Pending CN112258605A (zh) | 2020-10-16 | 2020-10-16 | 特效添加方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112258605A (zh) |
WO (1) | WO2022077970A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112883821A (zh) * | 2021-01-27 | 2021-06-01 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
CN113129319A (zh) * | 2021-04-29 | 2021-07-16 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
WO2022077970A1 (zh) * | 2020-10-16 | 2022-04-21 | 北京达佳互联信息技术有限公司 | 特效添加方法及装置 |
CN114758027A (zh) * | 2022-04-12 | 2022-07-15 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
WO2023109829A1 (zh) * | 2021-12-17 | 2023-06-22 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110730303A (zh) * | 2019-10-25 | 2020-01-24 | 腾讯科技(深圳)有限公司 | 图像染发处理方法、装置、终端和存储介质 |
CN110807780A (zh) * | 2019-10-23 | 2020-02-18 | 北京达佳互联信息技术有限公司 | 图像处理方法和装置 |
CN111127591A (zh) * | 2019-12-24 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 图像染发处理方法、装置、终端和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107808136B (zh) * | 2017-10-31 | 2020-06-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、可读存储介质和计算机设备 |
CN110189340B (zh) * | 2019-06-03 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN112258605A (zh) * | 2020-10-16 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 特效添加方法、装置、电子设备及存储介质 |
-
2020
- 2020-10-16 CN CN202011110352.4A patent/CN112258605A/zh active Pending
-
2021
- 2021-07-09 WO PCT/CN2021/105513 patent/WO2022077970A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807780A (zh) * | 2019-10-23 | 2020-02-18 | 北京达佳互联信息技术有限公司 | 图像处理方法和装置 |
CN110730303A (zh) * | 2019-10-25 | 2020-01-24 | 腾讯科技(深圳)有限公司 | 图像染发处理方法、装置、终端和存储介质 |
CN111127591A (zh) * | 2019-12-24 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 图像染发处理方法、装置、终端和存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022077970A1 (zh) * | 2020-10-16 | 2022-04-21 | 北京达佳互联信息技术有限公司 | 特效添加方法及装置 |
CN112883821A (zh) * | 2021-01-27 | 2021-06-01 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
CN112883821B (zh) * | 2021-01-27 | 2024-02-20 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
CN113129319A (zh) * | 2021-04-29 | 2021-07-16 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
WO2023109829A1 (zh) * | 2021-12-17 | 2023-06-22 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114758027A (zh) * | 2022-04-12 | 2022-07-15 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
WO2023197780A1 (zh) * | 2022-04-12 | 2023-10-19 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022077970A1 (zh) | 2022-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10565763B2 (en) | Method and camera device for processing image | |
CN112258605A (zh) | 特效添加方法、装置、电子设备及存储介质 | |
CN105095881B (zh) | 人脸识别方法、装置及终端 | |
CN107025419B (zh) | 指纹模板录入方法及装置 | |
CN107944367B (zh) | 人脸关键点检测方法及装置 | |
CN108462833B (zh) | 拍摄方法、装置及计算机可读存储介质 | |
CN107730448B (zh) | 基于图像处理的美颜方法及装置 | |
CN107015648B (zh) | 图片处理方法及装置 | |
CN108154466B (zh) | 图像处理方法及装置 | |
CN112330570B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN107463052B (zh) | 拍摄曝光方法及装置 | |
CN107341777B (zh) | 图片处理方法及装置 | |
CN110580688B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN112188091B (zh) | 人脸信息识别方法、装置、电子设备及存储介质 | |
CN107507128B (zh) | 图像处理方法及设备 | |
CN112004020B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN108961156B (zh) | 人脸图像处理的方法及装置 | |
CN107730443B (zh) | 图像处理方法、装置及用户设备 | |
CN111586296B (zh) | 图像拍摄方法、图像拍摄装置及存储介质 | |
CN115914721A (zh) | 直播画面处理方法、装置、电子设备及存储介质 | |
CN114742699A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN107085822B (zh) | 人脸图像处理方法及装置 | |
CN107122356B (zh) | 显示人脸颜值的方法及装置、电子设备 | |
CN113315904B (zh) | 拍摄方法、拍摄装置及存储介质 | |
CN111373409A (zh) | 获取颜值变化的方法及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |