CN115619902A - 一种图像处理方法、装置、设备及介质 - Google Patents
一种图像处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115619902A CN115619902A CN202110811845.9A CN202110811845A CN115619902A CN 115619902 A CN115619902 A CN 115619902A CN 202110811845 A CN202110811845 A CN 202110811845A CN 115619902 A CN115619902 A CN 115619902A
- Authority
- CN
- China
- Prior art keywords
- ith
- resource
- material resource
- image processing
- material resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 239000000463 material Substances 0.000 claims abstract description 727
- 238000012545 processing Methods 0.000 claims abstract description 382
- 238000000034 method Methods 0.000 claims abstract description 69
- 239000013077 target material Substances 0.000 claims description 83
- 238000003860 storage Methods 0.000 claims description 46
- 230000009471 action Effects 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 20
- 238000007667 floating Methods 0.000 claims description 10
- 210000000746 body region Anatomy 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000029553 photosynthesis Effects 0.000 description 1
- 238000010672 photosynthesis Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、设备及介质,其中方法包括:显示图像处理界面,该图像处理界面中显示有目标图像,目标图像中包含N个对象,N为正整数;基于N个对象的对象特征及N个对象中每个对象在目标图像中关联的处理区域,在目标图像中叠加显示N个素材资源;其中,N个素材资源与N个对象一一对应。本申请实施例能够一次性对多个对象进行图像处理,操作简单便捷,可以提升图像处理的便捷性。
Description
技术领域
本申请涉及计算机技术领域,具体涉及图像处理技术领域,尤其涉及一种图像处理方法、一种图像处理装置、一种图像处理设备及一种计算机可读存储介质。
背景技术
随着计算机技术中图像处理技术的迅猛发展,图像处理方式变得更加丰富,更具有趣味性,例如:用户可以在图像中添加一些素材资源,如为图像中的人物增加虚拟装饰物,或者为图像中的人物贴上动漫角色形象,或者给图像中不宜公开的对象打上马赛克等等。实践发现,现有的图像处理过程需要用户手动完成,且操作流程较为复杂,重复性较高,便捷性较差。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备及介质,可简化图像处理流程,提升图像处理的便捷性。
一方面,本申请实施例提供了一种图像处理方法,包括:
显示图像处理界面,该图像处理界面中显示有目标图像,目标图像中包含N个对象,N为正整数;
基于N个对象的对象特征及N个对象中每个对象在目标图像中关联的处理区域,在目标图像中叠加显示N个素材资源;其中,N个素材资源与N个对象一一对应。
一方面,本申请实施例提供了一种图像处理装置,包括:
显示单元,用于显示图像处理界面,图像处理界面中显示有目标图像,目标图像中包含N个对象,N为正整数;
处理单元,用于基于N个对象的对象特征及N个对象中每个对象在目标图像中关联的处理区域,在目标图像中叠加显示N个素材资源;其中,N个素材资源与N个对象一一对应。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应;相对应是指:第i个对象的对象特征与第i个素材资源的资源特征相匹配;i为正整数且i≤N;处理单元具体用于:
在第i个对象在目标图像中关联的处理区域处,叠加显示第i个素材资源。
在一种实现方式中,第i个素材资源的透明度小于透明阈值;当第i个素材资源被叠加显示在目标图像中时,第i个素材资源对第i个对象在目标图像中关联的处理区域形成遮挡。
在一种实现方式中,N个素材资源位于目标素材资源集合中;处理单元还用于:
基于N个对象的对象特征,从目标素材资源集合中为N个对象匹配N个素材资源。
在一种实现方式中,图像处理界面关联有素材库,素材库中包含多个素材资源集合,每个素材资源集合中收录有多个素材资源;
目标素材资源集合包括以下任一种:目标素材资源集合是从素材库中随机选择的任一个集合;或者,目标素材资源集合是素材库中使用热度值高于热度阈值的任一个集合;或者,目标素材资源集合是素材库中使用热度值最高的集合;或者,目标素材资源集合是素材库中被图像处理的请求用户选择的一个集合;或者,目标素材资源集合是素材库中与请求用户的用户习惯相适配的一个集合。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应;i为正整数且i≤N;目标素材资源集合包含第一子集合和第二子集合,第一子集合中收录有第一类型的素材资源,第二子集合中收录有第二类型的素材资源;处理单元还用于:
若第i个素材资源为第一类型的素材资源,则输出提示信息,提示信息用于提示第i个对象成功匹配第i个素材资源。
在一种实现方式中,提示信息包括提示文本或提示音频;处理单元可以具体用于:
若提示信息包括提示文本,则在图像处理界面的非图像显示区域中显示提示文本;或者,在目标图像中第i个对象关联的处理区域周围显示提示文本;
若提示信息包括提示音频,则播放提示音频。
在一种实现方式中,提示信息包含提示动画,处理单元还用于:
在图像处理界面中播放提示动画;或者,
在图像处理界面之上显示播放窗口,并在播放窗口中播放提示动画;或者,
在图像处理界面之上显示悬浮窗,并在悬浮窗中播放提示动画;
其中,在提示动画播放结束后,第i个素材资源被叠加显示在目标图像中;播放结束包括提示动画播放完成,或者提示动画的播放时长达到时长阈值。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应;i为正整数且i≤N;第i个对象是人,第i个对象的对象特征包括动作特征和生物特征,动作特征包括动作幅度特征和动作角度特征;生物特征包括性别特征、面部特征和头部特征;目标素材资源集合包含第一子集合和第二子集合,第一子集合中收录有至少一个第一类型的素材资源及每个第一类型的素材资源的资源特征,第二子集合中收录有至少一个第二类型的素材资源及每个第二类型的素材资源的资源特征;处理单元还用于:
计算第一子集合中各个第一类型的素材资源的资源特征与第i个对象的动作特征之间的第一匹配度;
若第一子集合中存在第一匹配度大于第一匹配阈值的素材资源,则将第一匹配度大于第一匹配阈值的素材资源确定为第i个对象对应的第i个素材资源。
在一种实现方式中,处理单元还用于:
若第一子集合中不存在第一匹配度大于第一匹配阈值的素材资源,则计算第二子集合中各个第二类型的素材资源的资源特征与第i个对象的生物特征之间的第二匹配度;
若第二子集合中存在第二匹配度大于第二匹配阈值的素材资源,则将第二匹配度大于第二匹配阈值的素材资源确定为第i个对象对应的第i个素材资源。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应,i为正整数且i≤N;处理单元还用于:
若从目标素材资源集合中为第i个对象共匹配到M个素材资源,则从M个素材资源中选择一个素材资源确定为第i个素材资源;
其中,M为正整数;选择包括以下任一种:随机选择、按照匹配度由高至低的顺序选择、按照权重由大至小的顺序选择。
在一种实现方式中,选择包括按照权重由大至小的顺序选择,处理单元还用于:
输出竞猜提示,竞猜提示用于提示对M个素材资源进行竞猜;
获取竞猜结果,竞猜结果包含M个素材资源中每个素材资源被竞猜的次数;
根据竞猜结果设置M个素材资源中每个素材资源的权重;其中,M个素材资源中任一个素材资源被竞猜的次数越多,则权重越大。
在一种实现方式中,处理单元还用于:
当第i个素材资源被叠加显示至目标图像中之后,若存在针对第i个素材资源的切换触发事件,则在目标图像中移除第i个素材资源;
从M个素材资源中获取第k个素材资源,并在第i个对象在目标图像中关联的处理区域处,叠加显示第k个素材资源;k为正整数,k≤M,且k≠i;
其中,切换触发事件包括以下任一种:在第i个素材资源的显示区域中呼出菜单并在菜单中选中切换选项而产生的事件;或者,在第i个素材资源的显示区域中执行切换触发操作而产生的事件。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应,i为正整数且i≤N;处理单元还用于:
当第i个素材资源被叠加显示至目标图像中之后,若存在针对第i个素材资源的编辑触发事件,则对第i个素材资源进行编辑;
其中,编辑触发事件包括拖拽第i个素材资源的事件;编辑包括在目标图像中根据拖拽更改第i个素材资源的显示位置;或者,
编辑触发事件包括对第i个素材资源执行缩放操作而产生的事件;编辑包括根据缩放调整第i个素材资源在目标图像所占显示区域的大小;或者,
编辑触发事件包括停止显示第i个素材资源的事件;编辑包括从目标图像中移除第i个素材资源。
在一种实现方式中,图像处理界面中设有分享入口;显示单元还用于:
当分享入口被触发时,显示分享对象列表;
处理单元还用于:当分享对象列表中的目标分享对象被选中时,将叠加显示有N个素材资源的目标图像分享至目标分享对象。
在一种实现方式中,对象是人;处理区域包括人的各个部位的区域,包括以下任一种:头部区域,面部区域,四肢区域和身体区域;N个对象中的任两个表示为第i个对象和第j个对象,i、j均为正整数且i≤N,j≤N;
第i个对象在目标图像中关联的处理区域与第j个对象在目标图像中关联的处理区域是相同部位的区域,或是不同部位的区域。
一方面,本申请实施例提供了一种图像处理设备,包括:
处理器,适于执行计算机程序;
计算机可读存储介质,计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时,实现如上述的图像处理方法。
一方面,本申请实施例提供了一种计算机可读存储介质,其特征在于,该计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行上述的图像处理方法。
一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的图像处理方法。
本申请实施例中,图像处理界面显示的目标图像中包括多个对象,通过获取第i个对象的对象特征来为第i个对象匹配素材资源,并将匹配到的素材资源叠加显示在第i个对象在目标图像中关联的处理区域处,本申请提供的图像处理方法可以对目标图像中的多个对象进行上述处理,最终可得到叠加显示有多个素材资源的目标图像,实现了对目标图像中多个对象的自动处理,提升了图像处理的便捷性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的一种图像处理***的结构示意图;
图2是本申请一个示例性实施例提供的一种目标图像的示意图;
图3a是本申请一个示例性实施例提供的一种应用场景示意图;
图3b是本申请一个示例性实施例提供的另一种应用场景示意图;
图4是本申请一个示例性实施例提供的一种图像处理方法的流程示意图;
图5a是本申请一个示例性实施例提供的一种在不同对象的相同部位叠加显示素材资源的流程示意图;
图5b是本申请一个示例性实施例提供的一种在不同对象的不同部位叠加显示素材资源的流程示意图;
图6a是本申请一个示例性实施例提供的一种拖拽第i个素材资源的流程示意图;
图6b是本申请一个示例性实施例提供的一种停止显示第i个素材资源的流程示意图;
图6c是本申请一个示例性实施例提供的一种对第i个素材资源进行缩小处理的流程示意图;
图6d是本申请一个示例性实施例提供的一种对第i个素材资源进行放大处理的流程示意图;
图6e是本申请一个示例性实施例提供的一种分享叠加显示有N个素材资源的图像的流程示意图;
图7a是本申请一个示例性实施例提供的一种确定目标素材资源集的流程示意图;
图7b是本申请一个示例性实施例提供的一种提示信息显示位置的示意图;
图8是本申请一个示例性实施例提供的一种为第i个对象匹配第i个素材资源的流程示意图;
图9是本申请一个示例性实施例提供的一种人物动作及骨架节点的示意图;
图10是本申请一个示例性实施例提供的一种匹配素材资源的方法示意图;
图11是本申请一个示例性实施例提供的一种输出竞猜提示的方法示意图;
图12a是本申请一个示例性实施例提供的一种素材资源切换的流程示意图;
图12b是本申请一个示例性实施例提供的又一种素材资源切换的流程示意图;
图13是本申请一个示例性实施例提供的又一种图像处理方法的流程示意图;
图14a是本申请一个示例性实施例提供的一种触发显示图像处理界面的方法示意图;
图14b是本申请一个示例性实施例提供的一种根据目标素材资源集合和目标图像输出提示信息的示意图;
图14c是本申请一个示例性实施例提供的又一种根据目标素材资源集合和目标图像输出提示信息的示意图;
图14d是本申请一个示例性实施例提供的一种目标素材资源集的示意图;
图15是本申请一个示例性实施例提供的一种确定第i个对象的处理区域以及标注识别信息的示意图;
图16是本申请一个示例性实施例提供的一种备用素材资源的示意图;
图17是本申请一个示例性实施例提供的一种素材资源角度调整的流程示意图;
图18是本申请一个示例性实施例提供的一种图像处理装置的结构示意图;
图19是本申请一个示例性实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,本申请所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面将对本申请实施例所涉及的术语进行介绍:
一、图像处理界面:
图像处理界面是指用于进行图像处理的用户界面,用户可以在图像处理界面中显示待处理的目标图像,对目标图像进行诸如添加素材资源、调整目标图像的大小或颜色等处理,以及对处理后的目标图像进行预览、分享等等操作。
二、图像:
图像是指各种图形和影像的总称。图像可以包括但不限于照片、绘画、剪贴画、地图、视频中的帧图像、影视画面等等。
三、对象:
对象是指图像中的事物;对象可以包括但不限于:人、动物(如猫、狗等)、植物(如树、山、花等)、物品(如书、球、衣服等)等等。为了便于说明,本申请后续实施例中均以对象为人进行举例说明。
四、对象特征:
对象特征是用于表示对象所具备的特点的信息。每一个对象均具备各自的对象特征;例如:当对象是人时,对象特征可以包括但不限于:动作特征、生物特征。其中,动作特征又可以包括但不限于:动作幅度特征(如手臂的抬举幅度、腿部的跨动幅度等)、动作角度特征(如手掌的旋转角度、身体的倾斜角度等)等。生物特征可以包括但不限于性别特征(男或女)、面部特征(如人脸轮廓、面部表情等)和头部特征(如头部旋转角度、头部偏移角度、发型、发色等)。再如:当对象是植物时,对象特征可以包括但不限于:颜色特征(如红色、白色、红白混色等)、形状特征(如锯齿状、水滴状、扇形等)、生长环境特征(如潮湿、阴冷、光照充足)等。为了便于说明,本申请后续实施例中均以对象为人,对象特征包括动作特征,或者包括生物特征,或者同时包括动作特征和生物特征来进行举例说明。
五、处理区域:
处理区域是指目标图像中需要被执行图像处理的区域。处理区域与对象相关联,一个对象可以关联一个或多个处理区域;例如:某个对象是人,该对象关联的处理区域可以是图像中的面部区域、头部区域、四肢区域、身体区域等等。对象不同,所关联的处理区域可以相同也可以不同;例如:目标图像中包含A和B两个人,A关联的处理区域可以是A在目标图像中的面部区域,B关联的处理区域也可以是B在目标图像中的面部区域,那么本申请实施例既需要对A的面部区域进行处理(例如采用某素材资源遮挡A的脸),又需要对B的面部区域进行处理(例如采用某素材资源遮挡B的脸)。再如:按照上述例子,目标图像中包含A和B两个人,A关联的处理区域可以是A在目标图像中的面部区域,B关联的处理区域也可以是B在目标图像中的身体区域,那么本申请实施例既需要对A的面部区域进行处理(例如采用某素材资源遮挡A的脸),又需要对B的身体区域进行处理(例如采用某素材资源为B进行换装)。
六、素材资源:
素材资源是指能够被叠加至目标图像中的资源;按照资源类型划分,素材资源可包括但不限于图标、照片、动画、文字等等。按照空间维度划分,素材资源可包括但不限于2D(2-dimension,二维)素材资源(如:漫画人物贴纸、2D植物贴纸、2D动物贴纸等)、3D(3-dimension,三维)素材资源(例如3D动漫头像、3D发型、3D挂件等)。本申请实施例中还可按照资源重要性进行划分,具体地,素材资源可以分为第一类型的素材资源和第二类型的素材资源,其中,第一类型的素材资源是指需要提醒用户重点关注的素材资源,具体可以理解为是一些能够给用户带来惊喜的彩蛋素材资源,例如较为经典的动漫角色、使用率较高的动漫角色、影响力较大的动漫角色等。第二类型的素材资源是指无需用户重点关注的素材资源,具体可以理解为普通素材资源,例如动漫中的龙套人物、人气较低的动漫人物等。实际应用中,对第一类型的素材资源可以通过提示信息来提醒用户重点关注,提示信息可以包括但不限于:提示文本(如:恭喜解锁人物XX)、提示音频(如该素材资源对应角色的经典台词、该素材资源对应角色所在影视作品的背景音乐等)、提示动画(如包括了该素材资源对应角色的经典影视片段)等。
七、资源特征:
资源特征是指用于表示素材资源的特点的信息;资源特征包括但不限于:性别特征、素材偏移角度特征(如服装偏移角度、动漫头像偏移角度、发饰偏移角度等)、动作特征(如:动漫人物的动作)等。
本申请实施例提出一种图像处理***,示例性地,可参见图1所示,该***包括:终端设备10和服务器11,且终端设备10与服务器11之间建立通信连接。其中,该终端设备10可以包括但不限于:智能手机、平板电脑、笔记本电脑、台式计算机、智能电视等;终端设备10内可运行各式各样的客户端(application,APP),如多媒体播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端,等等。终端设备10中还可以运行应用程序,该应用程序可以包括但不限于:即时通讯应用程序、社交应用程序、拍照应用程序等。服务器11可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,服务器11还可以是终端设备10中运行的应用程序(或客户端)对应的后台服务器,等等,本申请对此不作限制。
在一种实施方式中,基于图1所示的***,本申请实施例提出的图像处理方法可以由终端设备10配合服务器11来执行。基于此,该图像处理方法的具体流程可以如下:①终端设备10中显示图像处理界面,该图像处理界面显示有目标图像,该目标图像可以是由用户上传至图像处理界面中的图像,也可以是通过图像处理界面实时攫取到的图像。目标图像可包括N个对象,该N个对象的类型可以相同,也可以不同,例如:目标图像中包含的N个对象可以都是人;或者,目标图像中包含的N个对象中部分对象是人,部分对象是动物。示例性地,目标图像可参见图2所示,图2中包括对象201、对象202、对象203以及对象204,其中对象201、对象202以及对象203均为人,对象203为植物。②终端设备10可以将目标图像发送至服务器11,由服务器11为该目标图像中的N个对象中每个对象匹配素材资源;然后服务器11可以将为每个对象匹配到的素材资源发送至终端设备10,由终端设备10在每个对象与目标图像关联的处理区域中叠加显示匹配到的素材资源。当然,可以理解的是,服务器11在为N个对象匹配到素材资源后,也可以将素材资源叠加至目标图像中每个对象关联的处理区域中,然后把叠加处理好的目标图像返回给终端设备10,终端设备10仅需要显示该叠加处理好的目标图像即可。这种实施方式可以将图像处理的负荷交由性能优异的服务器来统一执行,有利于减轻终端设备的处理负担。
在另一种实施方式中,基于图1所示的***,本申请实施例提出的图像处理方法也可以由终端设备10独立执行。在此情况下,图像处理方法的具体流程可以如下:①终端设备10中显示图像处理界面,该图像处理界面显示有目标图像;②终端设备10可以根据目标图像中的N个对象的对象特征,为每个对象匹配素材资源,并在每个对象与目标图像关联的处理区域叠加显示匹配到的素材资源。这种实施方式可以避免终端设备10与服务器11之间的交互,提升图像处理的效率。
本申请提供的图像处理方法可以应用于多个图像处理场景,下面示例性以两个图像处理场景来对本申请实施例提供的图像处理方法进行详细介绍。
(1)照片拍摄场景。
图像处理界面可以是终端设备(例如智能手机)中的照片拍摄界面,目标图像可以是显示在照片拍摄界面中的预览图像(如:人物图像、风景图像等),预览图像可以理解为:在用户尚未触发拍摄按键之前,由照片拍摄界面捕获到的画面,但该画面未在照片拍摄界面中被定格,可以随着智能手机镜头的移动而实时地在拍摄界面中发生改变。示例性地,以照片拍摄界面中的预览图像为人物图像进行说明,具体应用方式如下:用户可以通过在智能手机中打开相机程序进入照片拍摄界面,照片拍摄界面中可以显示待拍摄的预览图像,智能手机可以对预览图像中出现的各个人进行特征识别,得到每个人的对象特征;然后基于每个人的对象特征为每个人匹配素材资源,智能手机的存储空间中可预先存储素材库,则手机可以从预先存储的素材库中为每个人匹配素材资源;当然,智能手机也可以实时从网络或云端素材库中拉取素材资源来为每个人进行匹配,本申请对此不作具体限制。在为每个人匹配到素材资源之后,智能手机将匹配到的素材资源叠加显示在预览图像中的各个人关联的处理区域处。请参见图3a所示,图3a为本申请一个示例性实施例提供的一种照片拍摄场景的应用示意图,当智能手机识别到照片拍摄界面31的预览图像311中存在人物后,为该人物匹配对应的素材资源(例如图3a中所示的发饰资源),并将匹配到的素材资源显示在该人物在预览图像311对应的处理区域(如图3a中的头部区域),可得到如321所示叠加素材资源后的预览图像。需要说明的是,预览图像中人物的位置变化时,素材资源会跟随人物的位置变化而变化,以使得素材资源始终显示在人物的头部区域;此外需要说明的是,预览图像中的人物角度(如人脸角度)发生变化时,素材资源的展示角度也会发生相应的变化。可以理解,若用户点击拍摄按键拍摄图像,拍摄到的定格的图像则是叠加显示有素材资源的预览图像。
(2)使用应用程序时需要对图像中的对象进行遮挡处理的场景。
请参见图3b所示,社交应用程序中的会话窗口33中设有图像处理入口331,选择该图像处理入口331则可触发显示图像选择界面34;然后用户可以在图像选择界面34中确定要进行图像处理的目标图像341,并点击确定按钮342触发显示图像处理界面35。进一步地,图像处理界面35中可以显示被选择的目标图像341,该目标图像341中包含对象3411和对象3412。图像处理界面35中还设有操作控件(例如图像处理界面35中的挡脸控件351),当用户在图像处理界面35中选择该挡脸控件351时,社交应用程序或该社交应用程序所在的终端设备就会识别目标图像341中的多个对象的对象特征,并为每个对象匹配素材资源,然后将匹配到的素材资源叠加至目标图像341中的人脸区域实现挡脸,以在图像处理界面35中显示叠加了素材资源后的目标图像36。进一步,用户还可以将如叠加了素材资源后的目标图像36分享给社交应用程序中的其他用户。
本申请实施例提出的图像处理方法可以通过对目标图像中各个对象进行自动化地、统一的处理,包括遮脸处理、换装处理等等,简化了图像处理流程,提升了用户体验。
下面将对本申请实施例提出的图像处理方法进行详细介绍,需要说明的是,该图像处理方法可以由图像处理设备来执行,该图像处理设备可以是图1所示图像处理***中的终端设备,终端设备可以独立完成图像处理方法的流程;当然,终端设备也可以在图1所示的服务器的协助下完成图像处理方法的流程。
请参见图4,图4是本申请一个示例性实施例提供的一种图像处理方法的流程示意图。该图像处理方法可以包括步骤S401-步骤S402:
S401,显示图像处理界面,图像处理界面中显示有目标图像,目标图像包含N个对象,N为正整数。
图像处理界面可以是由任一应用程序提供的界面,例如图像处理界面可以是如图3a所示的相机应用程序中的图像拍摄界面;或者是如图3b所示的社交应用程序提供的图像处理界面35。目标图像中包括的对象的数量可以大于或等于N个,当目标图像中的对象的数量刚好等于N个时,表示需要对目标图像中的所有对象进行处理,例如图4中的目标图像41总共包含2个对象,且该2个对象均具备人脸图像,若用户需要对目标图像41中的所有人脸图像进行遮挡处理,那么N=2。当目标图像中包含的对象的数量大于N个时,表明需要对目标图像中的部分(即N个)对象进行处理,而其余部分对象无需处理。例如上述图2中,目标图像中共包含四个对象201-204;若仅需对目标图像中的人进行处理,而对象201-203均为人,因此N=3,那么可以理解,对象204是植物则无需进行处理。具体应用中,N个取值以及N个对象的选取可以由请求图像处理的用户根据需求来确定。
S402,基于N个对象的对象特征及N个对象中每个对象在目标图像中关联的处理区域,在目标图像中叠加显示N个素材资源。N个素材资源可以与N个对象一一对应。
N个对象与N个素材资源一一对应是指:一个对象对应一个素材资源。N个对象中的任一个可以表示为第i个对象,i为正整数,且i≤N;第i个对象与N个素材资源中的第i个素材资源相对应。所谓的相对应可以理解为:第i个对象的对象特征与第i个素材资源的资源特征相匹配。也就是说,针对目标图像中的N个对象,图像处理设备会为每个对象匹配一个素材资源,然后将匹配到的N个素材资源再叠加显示至目标图像中,从而完成对N个对象的处理。例如图4中,当图像处理设备确定N的值为2,且检测到用户触发了图像处理界面的显示入口(如显示入口42)时,图像处理设备可以对目标图像41包括的2个对象均进行图像处理,因此图像处理设备对这2个对象进行处理所需的素材资源43中,可以包括2个素材资源,且一个素材资源对应一个对象,进一步地,图像处理设备在对目标图像41进行图像处理后可以得到图像44。
本申请实施例中,针对图像处理界面中所显示的目标图像,可基于该目标图像中的N个对象(例如N个人)的对象特征,以及基于该N个对象在目标图像中关联的处理区域(例如人脸区域),在目标图像中自动叠加显示与N个对象相对应的N个素材资源;例如:本申请实施例提供的方法可以对静态多人照片进行多脸部人像识别,并基于识别到的识别信息在照片中的每个人脸区域匹配挡脸图像,无需用户手动拖动挡脸图像至人脸区域。通过上述的图像处理过程,可以对该目标图像中的N个对象进行统一地、自动化地处理,有效简化了图像处理流程,提升了图像处理的便捷性。
下面对目标图像中叠加显示N个素材资源的具体实施方式进行介绍。
基于图4所示的方法实施例,图像处理设备在目标图像中叠加显示N个素材资源的具体流程可以包括如下:图像处理设备在第i个对象在目标图像中关联的处理区域处,叠加显示第i个素材资源,其中,第i个素材资源的透明度可以小于透明度阈值,以使得第i个素材资源被叠加显示在目标图像中时,第i个素材资源对第i个对象在目标图像中关联的处理区域形成遮挡。示例性地,请参见图5a所示,若图像处理设备根据对象51的对象特征匹配到的素材资源为素材资源531,则在处理区域511处叠加显示素材资源531;若图像处理设备根据对象52的对象特征匹配到的素材资源为素材资源532,则在处理区域521处叠加显示素材资源532,最终得到叠加显示有素材资源531和素材资源532的目标图像54。
在一种实施方式中,设N个对象中的任意两个对象表示为第i个对象和第j个对象(i、j均为正整数,且i≤N,j≤N,),且第i个对象和第j个对象均为人,那么,第i个对象在目标图像中关联的处理区域与第j个对象在目标图像中关联的处理区域可以是相同部位的区域,也可以是不同部位的区域;示例性地,继续参见图5a所示,对象51的处理区域511和对象52的处理区域521均为头部区域,可见,两个对象的处理区域为相同部位的区域。参见图5b所示,对象51的处理区域为身体区域512,对象52的处理区域为头部区域521,两个对象的处理区域为不同部位的区域。进一步地,假设图5b中,图像处理设备为对象51匹配到素材资源533,为对象52匹配到素材资源532,那么,图像处理设备在对象51和对象52的处理区域处分别叠加显示各自匹配的素材资源后,可得到如图5b中所示的图像55。
在一种实施方式中,叠加显示至目标图像中的素材资源还支持编辑。当第i个素材资源被叠加显示至目标图像中之后,图像处理设备还可以执行如下操作:若存在针对该第i个素材资源的编辑触发事件,则可以对该第i个素材资源进行编辑;其中,编辑触发事件可以包括以下事件中的任意一种:(1)拖拽第i个素材资源的事件。可以理解,在目标图像中拖拽叠加显示的第i个素材资源,可以使得该第i个素材资源的显示位置发生变化,因此拖拽第i个素材资源对应的编辑为:在目标图像中根据拖拽更改第i个素材资源的显示位置。示例性地,可参见图6a所示,若图像处理设备在目标图像611中包含的对象的头部区域叠加显示了素材资源612,此时,若存在对素材资源612的拖拽操作(如向右拖拽),则被拖拽的素材资源612将跟随拖拽操作移动(如向右移动),从而使素材资源612的显示位置发生变化(例如参考图像613所示)。(2)停止显示第i个素材资源的事件。那么,此编辑触发事件对应的编辑可以为:从目标图像中移除第i个素材资源。在一种实施方式中,在叠加显示素材资源之后,可以通过在素材资源对应的显示区域设置停止显示组件,来实现从目标图像中移除第i个素材资源。示例性地,可参见图6b所示,素材资源612的显示区域内设有停止显示组件614,用户可以通过点击该停止显示组件614来产生停止显示素材资源612的事件,图像处理设备可以根据该事件将素材资源612从目标图像中进行移除,从而还原出目标图像611。(3)对第i个素材资源执行缩放操作而产生的事件,那么可以理解,此编辑事件对应的编辑可以为:根据缩放操作调整第i个素材资源在目标图像所占显示区域的大小;示例性地,可参见图6c所示,图6c展示了图像处理设备对素材资源612进行缩小处理的过程,图像处理设备对素材资源612进行缩小处理后,可得到叠加显示有缩小后的素材资源的图像615;图6d中展示了图像处理设备对素材资源612进行放大处理的过程,图像处理设备对素材资源612进行放大处理后,可得到叠加显示有放大后的素材资源的图像616。
本申请实施例提供的图像处理方法通过图像处理设备获取目标图像中对象的对象特征,并根据对象特征为对象匹配素材资源,然后自动将素材资源叠加显示在对象与目标图像关联的处理区域,实现了全自动合成照片,由于叠加显示后的素材资源可以编辑,使得用户可以根据自己实际需求对叠加显示在对象上的素材资源进行调整,保证了用户对图像处理的主导性,一定程度上提升了用户体验。
另外,目标图像中在叠加显示N个素材资源之后,还支持对该叠加显示N个素材资源后的目标图像进行分享操作。示例性地可参见图6e所示,图像处理界面中可以设置分享入口(如图6e中的分享入口621),分享入口是指可以用于实现分享功能的组件,触发分享入口的方式包括但不限于:(1)点击分享按钮;(2)长按叠加显示N个素材资源后的目标图像,并向指定方向滑动(如:向图像处理界面的上方滑动、向图像处理界面的右侧滑动等);分享对象列表是指:包括多个可进行图像分享的分享对象的列表(如图6e中列表622),分享对象是指:可以进行图像分享的对象,或称,可以接收图像的对象,如聊天应用中的好友(如列表622中的分享对象6221)、XX动态发布平台等。可以理解的是,用户通过将叠加显示N个素材资源后的目标图像分享给分享对象(如分享至与分享对象6221的会话页面623),在一定程度上可以增强本申请实施例提供的图像处理方法的传播力。
下面对为目标图像中的对象匹配素材资源的具体实施方式进行介绍。
图像处理设备在显示图像处理界面之后,会基于N个对象的对象特征,从目标素材资源集合中为N个对象匹配N个素材资源,以使得图像处理设备可以在目标图像中叠加显示匹配到的N个素材资源。此外,图像处理界面可以关联素材库,该素材库中包含多个素材资源集合,每个素材资源集合中均收录有多个素材资源。示例性地,素材资源可以是贴纸图像,例如:动漫人物贴纸、Q版动物贴纸、服装贴纸等等,素材资源集合则可以是一个贴纸主题包,例如XX动漫贴纸包,该XX动漫贴纸包中包含多个动漫人物贴纸;或者可爱型贴纸包,该可爱型贴纸包中包含多个Q版动物贴纸等等。
图像处理设备可以从素材库中选取目标素材资源集合,从素材库中选取目标素材资源集合的方式可包括但不限于以下任一种:
(1)随机选取的方式。目标素材资源集合是从该素材库中随机选择的任一个集合。
(2)按照使用热度值选取的方式。在一种实现中,目标素材资源集合为该素材库中使用热度值高于热度阈值的任一个集合。素材库中每个素材资源集合都对应一个使用热度值,使用热度值用于反映每个素材资源集合被使用的情况,该使用热度值可以按照一个或多个维度来进行设置,例如:可以按照每个素材资源集合对应的使用用户数来进行设置,如素材资源集合一共有100个用户使用,则该素材资源集合一的使用热度值可以设为100;素材资源集合二共有200个用户使用,则该素材资源集合二的使用热度值可以设为200;可见,使用热度值越高,表示素材资源集合越受用户喜爱。再如:可以按照每个素材资源集合在一段时间内的使用次数来进行设置,如素材资源集合一中共有3个素材资源a、b和c,素材资源a在一段时间内(例如一天,一个月)共被使用3次,素材资源b在该段时间内共被使用4次,素材资源c在该段时间内共被使用6次,则该素材资源集合的使用次数则可以是各素材资源的使用次数之和,即3+4+6=11次,则该素材资源集合一的使用热度值则可设置11。热度阈值可以根据实际情况进行设定,例如可以设定100、50等等。本申请实施例可以从素材库中筛选使用热度值大于热度阈值的备选素材资源集合,再从该备选素材资源集合中随机选取一个作为目标素材资源集合。在另一种实现中,目标素材资源集合是素材库中使用热度值最高的集合。即可以按照使用热度值由高至低的顺序,对素材库中的各素材资源集合进行排序,然后选择排序最首的素材资源集合确定为目标素材资源集合。
(3)由用户选择。目标素材资源集合是素材库中被图像处理的请求用户选择的一个集合,如图7a所示,图像处理设备可以在图像处理界面中输出素材库701中各个素材资源集合的标识,请求用户可以从中选择一个标识(如标识702),进而图像处理设备可以将请求用户选择的标识对应的素材资源集合确定为是目标素材资源集合,并根据目标素材资源集合为每个对象匹配素材资源。
(4)按照用户习惯选取。目标素材资源集合是素材库中与请求用户的用户习惯相适配的一个集合。示例性地,假设请求用户经常浏览一些动漫网站,那么可以将素材库中包含动漫相关的素材资源集合确定为目标素材资源集合。
目标素材资源集合可以包含第一子集合和第二子集合,第一子集合中收录有第一类型的素材资源,第二子集合中收录有第二类型的素材资源。本申请实施例中,若图像处理设备为第i个对象匹配到的素材资源为第一类型的素材资源,图像处理设备还可以输出提示信息,该提示信息用于提示第i个对象成功匹配到第i个素材资源。在一种实现中,提示信息可以是提示文本,那么,图像处理设备可以在图像处理界面的非图像显示区域中显示该提示文本,其中,非图像显示区域可以理解为:在图像处理界面中除了用于显示目标图像以外的其他区域;或者,也可以在图像处理界面的目标图像中第i个对象关联的处理区域周围显示该提示文本。示例性地,本申请以图像处理设备在图像处理界面的目标图像中第i个对象关联的处理区域周围显示该提示文本为例进行阐述,具体可参见图7b所示:假设图7b中对象71匹配到的素材资源为第一类型的素材资源,那么图像处理设备可以在图像处理界面72中的显示位置721处显示提示文本。
在另一种实现中,提示信息也可以是提示音频(如某个动漫作品中的经典背景音乐、某个人物角色的经典台词等),那么,图像处理设备还可以在图像处理设备中播放该提示音频。在另一种实现中,提示信息还可以是提示动画,那么,图像处理设备输出该提示动画的方式可以包括但不限于以下任意一种:(1)在图像处理界面中播放提示动画;(2)在图像处理界面之上显示播放窗口,并在播放窗口中播放提示动画;(3)在图像处理界面之上显示悬浮窗,并在悬浮窗中播放提示动画。
进一步地,第i个素材资源可以在提示动画播放结束后被叠加显示在目标图像中,所谓播放结束是指:提示动画播放完成(即:提示动画被完整地播放);或者是指,该提示动画的播放时长达到时长阈值,如:该提示动画的总动画时长为10秒,时长阈值为3秒,则当该提示动画播放3秒后,第i个素材资源将叠加显示在目标图像中。
本申请实施例提供的图像处理方法通过在用户匹配到第一类型的素材资源之后,输出该第一类型的素材资源对应的提示信息,增强了用户在对图像进行处理时的趣味性。
在一种实施方式中,图像处理设备可以基于第i个对象的对象特征,从目标素材资源集合中为第i个对象匹配第i个素材资源。由前述可知,当第i个对象是人时,对象特性包括动作特征和生物特征,那么,图像处理设备为第i个对象匹配第i个素材资源的方法可以参见图8;如图8所示,该方法具体可以包括如下步骤:
S801,计算第一子集合中各个第一类型的素材资源的资源特征与第i个对象的动作特征之间的第一匹配度。
第一匹配度可以用于表示第一类型的素材资源与第i个对象的相似度。图像处理设备在计算第一匹配度时,可以先对第i个对象进行动作识别,以得到第i个对象的动作特征,具体地,动作特征可以例如是第i个对象的动作骨架信息(二维映射信息),动作骨架信息是将第i个对象中的各个部位看做骨架节点并获取每个骨架节点对应的坐标后生成的,骨架节点对应的坐标可以如:头部节点的坐标、左手掌节点的坐标、右手掌节点的坐标、腰部坐标等;示例性地,对于如图9所示的人像动作,图像处理设备可以对图9所示的人像动作进行动作识别,并在每个部位标记出可以用于描绘人像动作的点,如:标记人像的手掌得到手掌节点91,标记人像的头部得到头部节点92;进一步地,图像处理设备可以生成每个骨架节点的二维映射信息,该二维映射信息用于反映骨架节点在目标图像中的坐标,如:将手掌节点91的二维映射信息记录为(x1,y1),将头部节点92的二维映射信息记录为(x2,y2),基于此,可以得到第i个对象的所有骨架节点的二维映射信息,进而可以基于所有骨架节点的二维映射信息生成第i个对象的动作骨架数据,该动作骨架数据是由第i个对象的各个骨架节点的坐标构成的一个坐标矩阵。示例性地,动作骨架数据可以用矩阵G表示,那么,图9中的人像动作对应的动作骨架数据G可以表示为:G=[(x1,y1),(x2,y2),…(xk,yk)...]。可以理解的是,为了能够计算第i个对象的动作特征与各个第一类型的素材资源的第一匹配度,那么,各个第一类型的素材资源也可以对应一套动作骨架数据,该第一类型的素材资源对应的动作骨架数据可以被记录为第一类型的素材资源的资源特征。示例性地,第一类型的素材资源的动作骨架数据可以用A表示;因此不难理解,图像处理设备可以通过将第i个对象的动作骨架数据G与各个第一类型的素材资源对应的动作骨架数据A进行比对,进而计算得到两组动作骨架数据的骨架节点相对位置的距离变化量矩阵,该距离变化量矩阵可以用D来表示,且D可以用来表示第一匹配度。
S802,判断第一子集合中是否存在第一匹配度大于第一匹配阈值的素材资源。
若第一子集合中存在任一个第一类型的素材资源对应的动作骨架数据A,与第i个对象的动作骨架数据G的距离变化量矩阵D小于设定的偏差阈值,则认为该任一个第一类型的素材资源的资源特征与第i个对象的动作特征之间的第一匹配度大于第一匹配阈值,即:第一子集合中存在第一匹配度大于第一匹配阈值的素材资源,进而可以执行步骤S806;若第一子集合中所有第一类型的素材资源对应的动作骨架数据A,与第i个对象的动作骨架数据G的距离变化量矩阵D均大于或等于设定的偏差阈值,则认为该第一子集合中不存在与第i个对象的动作特征的第一匹配度大于第一匹配阈值的素材资源,进而可以执行步骤S803。
S803,计算第二子集合中各个第二类型的素材资源的资源特征与第i个对象的生物特征之间的第二匹配度。
图像处理设备可以通过对第i个对象进行人像识别处理,以得到第i个对象的生物特征(性别信息、头部旋转信息以及二维脸部偏移角度信息等);进一步地,可以基于第i个对象的生物特征以及第二子集合中的各个第二类型的素材资源的资源特征,计算得到第i个对象的生物特征与各个第二类型的素材资源的资源特征之间的第二匹配度。
S804,判断第二子集合中是否存在第二匹配度大于第二匹配阈值的素材资源。
在一种实施方式中,若第二子集合中不存在第二匹配度大于第二匹配阈值的素材资源,则结束为第i个对象匹配素材资源的流程;若第二子集合中存在第二匹配度大于第二匹配阈值的素材资源,图像处理设备则执行步骤S805。
S805,将第二匹配度大于第二匹配度阈值的素材资源确定为第i个对象对应的第i个素材资源。流程结束。
S806,将第一匹配度大于第一匹配阈值的素材资源确定为第i个对象对应的第i个素材资源。流程结束。
以下结合图10来对步骤S801-步骤S806进行示例性地解释,如图10所示,第一子集合101中包括两个第一类型的素材资源,分别为素材资源1011和素材资源1012,第二子集合102中包括3个第二类型的素材资源,分别为素材资源1021、素材资源1022以及素材资源1023;那么,若要为目标图像103中的对象1032匹配素材资源,可以先对对象1032进行动作识别,以得到对象1032的动作特征,然后根据对象1032的动作特征从第一素材资源集合101中为对象1032匹配与其动作特征的第一匹配度大于第一匹配阈值的素材资源,此示例中可见,第一素材资源集合101中不存在与对象1032的动作特征的第一匹配度大于第一匹配阈值的素材资源,那么,图像处理设备将对对象1032进行人像识别以得到生物特征,并基于人像识别得到的生物特征,从第二子集合102中为对象1032匹配素材资源,本示例中由于素材资源1021和素材资源1023的与对象1032的性别特征不符合,仅有素材资源1022与对象1032的性别特征相符,因此可以认为第二子集合中存在一个第二类型的素材资源的资源特征与对象1032的生物特征之间的第二匹配度大于第二匹配阈值,进而图像处理设备可以将素材资源1022叠加显示在对象1032的处理区域(即:头部区域)中,最终得到对象1042。若要为对象1031匹配素材资源,同样地,可以先对对象1031进行动作识别,得到对象1031的动作特征,然后从第一子集合101中为对象1031匹配素材资源,本示例中可见,素材资源1011的素材特征(具体指:动作特征)与对象1031的动作特征极为相似,因此,图像处理设备可以直接将素材资源1011作为与对象1031的动作特征的第一匹配度大于第一匹配阈值的素材资源,并在对象1031的处理区域叠加显示素材资源1011,最终得到对象1041。
本申请提供的图像处理方法在为每个对象匹配素材资源时,优先根据动作特征来匹配第一类型的素材资源,使得用户可以在倾向于匹配到某个第一类型的素材资源时,通过做出该第一类型的素材资源关联的动作来提升匹配到该第一类型的素材资源的可能性,提升了用户在拍摄目标图像以及对拍摄所得的目标图像进行图像处理时的趣味性。
在一种实施方式中,目标素材资源集合中可能存在M(M为正整数)个与第i个对象匹配的素材资源,那么,图像处理设备可以从M个素材资源中确定一个素材资源作为第i个对象对应的第i个素材资源。其中,图像处理设备确定第i个素材资源的方式可以包括但不限于以下任意一种:(1)从M个素材资源中确定任意一个素材资源作为第i个素材资源;(2)从M个素材资源中按照匹配度由高至低的顺序选择第i个素材资源,如:将与第i个对象的匹配度最高的素材资源确定为第i个素材资源;(3)按照权重由大至小的顺序从M个素材资源中选择出第i个素材资源,如:将权重值最大的素材资源确定为第i个素材资源。
M个素材资源的权重可以通过竞猜来设置,例如:让用户猜测目标图像中的对象与M个动漫素材资源里的哪个角色匹配度最高,再依据用户的竞猜结果来设置M个动漫素材资源的权重。具体地:若第i个素材资源为图像处理设备按照权重由大至小的顺序从M个素材资源确定出的,那么,图像处理设备确定该第i个素材资源时具体可以包括如下步骤:(1)输出竞猜提示,该竞猜提示用于提示用户对M个素材资源进行竞猜,竞猜提示可以例如是:提示文本,提示音频等,所谓的竞猜可以理解为:用户从M个素材资源中选择该用户心中与该第i个对象匹配度最高的一个或多个素材资源。示例性地,该竞猜提示可以输出在图像处理界面上,也可以输出在该图像处理界面所在终端设备的通知栏中,本申请以竞猜提示输出在图像处理界面上为例进行说明,如图11所示,假设图像处理设备为对象1103匹配到了3个素材资源,那么图像处理界面可以输出如图11中的提示信息1101,该提示信息可以用以提示用户在素材资源集合1102包括的3个素材资源中选择该用户心目中与对象1103最匹配的素材资源;(2)获取竞猜结果,该竞猜结果包括M个素材资源中每个素材资源被竞猜(即被选择)的次数;(3)根据每个素材资源被竞猜的次数设置M个素材资源中每个素材资源的权重,被竞猜的次数越多的素材资源,对应设置的权重就越大。通过竞猜的方式来设置权重,可以将图像处理领域与竞猜游戏相结合,可以有效强化该图像的传播力。
由于目标素材资源集合中可能存在M个与第i个对象匹配的素材资源,那么,图像处理设备可以从M个素材资源中确定一个素材资源作为第i个对象对应的第i个素材资源,并且将该第i个素材资源叠加显示在目标图像中之后,还支持在目标图像中对第i个对象对应的第i个素材资源进行切换。若存在针对第i个素材资源的切换触发事件,则图像处理设备还可以执行如下步骤:(1)在目标图像中将第i个素材资源移除;(2)从M个素材资源获取第k(k≤M,且k≠i)个素材资源,并在第i个对象在目标图像中关联的处理区域处,叠加显示该第k个素材资源,需要说明的是,第k个素材资源是M个素材资源中除第i个素材资源之外的任一个素材资源。可选地,切换触发事件包括但不限于以下任意一种:(1)在第i个素材资源的显示区域中呼出菜单并在菜单中选中切换选项而产生的事件,其中,呼出菜单的操作可以包括长按第i个素材资源的显示区域、点击菜单组件等;示例性地,以下以长按第i个素材资源的显示区域来呼出菜单为例进行阐述,请参见图12a所示,图像处理设备为对象匹配到素材集合1201所示的3个素材资源,用户可以通过在显示区域1202执行长按操作来呼出菜单1203,进一步地,用户可通过点击切换选项12031来对当前叠加显示在显示区域1202中的素材资源进行切换,以得到如图像处理界面1204中所示的图像。(2)在第i个素材资源的显示区域中执行切换触发操作而产生的事件,其中,切换触发操作可以包括点击操作、滑动屏幕操作等。示例性地,以下以切换触发操作为点击操作为例进行阐述,请参见图12b所示,用户可以通过点击素材资源1205,来实现将素材资源1205切换至其他与对象匹配的素材资源(如素材资源1206),进一步地,若用户继续点击素材资源1206,则可以继续将素材资源1206切换至其他与对象匹配的素材资源(如素材资源1207)。
本申请实施例提供的图像处理方法在目标图像叠加显示了素材资源后支持对叠加显示的素材资源进行切换处理,满足了用户多样化的素材资源匹配需求,提升了用户体验。
图13是本申请一个示例性实施例提供的又一种图像处理方法的流程示意图;本实施例中,目标图像中包含N个对象,该N个对象均为人。N个对象中的任意两个对象对应的素材资源可以不相同,即:N个对象对应有N个不同的素材资源。该图像处理方法的流程包括:
S1301,显示目标图像,目标图像中包括多个人像。
如图14a所示,用户可以在第一界面(如:好友动态查看界面、XX话题讨论界面)点击图像处理界面的显示入口140来触发显示图像处理界面,图像处理界面中可以显示用户上传的目标图像,进一步地,用户可以在图像处理界面显示的多个素材资源集合中选择想要使用的目标素材资源集合。
S1302,启动人像识别处理。
在确定了目标素材资源集合以及目标图像之后,可以对目标图像进行人像识别处理,具体地,图像处理设备可以先对目标图像进行预处理,如:对目标图像进行信息降噪处理、人像数量统计等。此外,图像处理设备还可以在人像识别处理过程中提取目标图像中各个人像的关键生物特征,如:性别特性、人脸角度特征等,以使后续过程中图像处理设备能够基于提取到的关键生物特征从目标素材资源集合中为各个人像匹配对应的素材资源。需要说明的是,若图像处理设备在目标图像中未识别到适用目标素材资源集合中的素材资源的人像,图像处理设备可以执行步骤S1305。举例来说,假设目标素材资源集合中的各个素材资源均为人脸贴纸素材,那么,当图像处理设备在目标图像中识别不到人脸图像时,可以执行步骤S1305。
S1303,判断目标图像中的人像数量是否超出目标素材资源集合中素材资源的数量。
图像处理设备可以基于获取的人像数量,判定目标图像中的人像数量是否超出目标素材资源中素材资源的数量,由于任意两个对象对应的素材资源不相同,因此当目标图像中的人像数量超出了目标素材资源中素材资源的数量时,图像处理设备则可以执行步骤S1305。需要说明的是,若目标图像中的人像数量小于或等于目标素材资源中素材资源的数量,图像处理设备则可以执行步骤S1304。
S1304,判断目标图像中是否有人像符合第一类型的素材资源的动作特征。
图像处理设备对目标图像中的每个人像进行动作识别,以判断该目标图像中是否存在动作特征与第一类型的素材资源的资源特征匹配度大于第一匹配阈值的一个或多个目标人像,若存在,则执行步骤S1306;若不存在,则执行步骤S1307。
S1305,输出提示信息,结束流程。
在一种实施方式中,若目标图像中人物数量超过目标素材资源集合中的素材资源数量,则图像处理设备输出提示信息的方式可示例性地参见图14b所示,假设目标素材资源集合143中素材资源的数量为2,由于目标图像142中人物数量为4,由于4>2,可见,目标图像中的人物数量超过了目标素材资源集合中资源素材的数量,示例性地,图像处理设备可以在图像处理界面中输出提示信息141,以提示用户当前选择的目标素材资源集合不能完全适用于目标图像,然后,图像处理设备可以结束当前图像处理流程。在又一种实施方式中,请参见图14c所示,若目标素材资源集合143中的各个素材资源均为人脸贴纸,那么,当图像处理设备识别不到目标图像144中的人脸图像时,可以在图像处理界面显示提示信息145。
S1306,将符合第一类型的素材资源的动作特征的人像标记为彩蛋属性,其他对象标记为普通属性。
其他对象是指:目标图像中除符合第一类型的素材资源的动作特征的人以外的所有对象。若与第i个对象匹配的素材资源为第一类型的素材资源,则图像处理设备可以在执行完步骤S1306之后执行步骤S1309;若与第i个对象匹配的素材资源为第二类型的素材资源,则图像处理设备可以在执行完步骤S1306之后执行步骤S1307。
S1307,判断目标素材资源集合中的各个素材资源是否具有性别属性。
其中,若目标素材资源集合中的素材资源具有性别属性,图像处理设备则启动人像性别判断装置,以执行步骤S1308,示例性地,素材资源具有性别属性的目标素材资源集合可以参见图14d中素材资源集合146所示,其中不难看出,素材资源1461和素材资源1463的性别属性为“男性”,素材资源1462和素材资源1464的性别属性为“女性”;若目标素材资源集合中的素材资源不具有性别属性,图像处理设备则启动人脸角度判断装置,以执行步骤S1309;示例性地,素材资源不具有性别属性的目标素材资源集合可以参见图14d中素材资源集合147所示,可见,素材资源集147包括的各个素材资源均不具备性别属性。
S1308,对目标图像中的各个对象进行人像性别判断。
S1309,对目标图像中的各个对象进行人脸角度判断。
图像处理设备在执行完步骤S1308之后可以得到各个人像的性别判断结果(即:性别特征,可以用S表示),图像处理设备在执行完步骤S1309之后,可以人脸角度判断结果,人脸角度判断结果包括:头部旋转特征(可以用R表示)以及二维脸部偏移角度特征(可以用P表示),每个人像的性别判断结果和人脸角度判断结果可以组成该人像的人像识别信息;因此,当图像处理设备执行完步骤S1308-步骤S1309之后,可以基于获取到的性别判断结果和人脸角度判断结果对目标图像中每个人像的处理区域进行框定,示例性地,可参见图15所示,图像处理设备可以基于人像识别信息151在人像上框定出该人像的处理区域152。
S1310,绘制目标图像中所有人像的素材资源。
当图像处理设备获取到目标图像中第i个人像的人像识别信息后,可以基于人像识别信息得到该第i个人像的对象特征,以使得图像处理设备可以进一步的根据对象特征为该第i个人像匹配素材资源,那么可以理解,图像处理设备可以基于上述方法为目标图像中所有人像匹配素材资源,当图像处理设备为所有人像都匹配到了素材资源之后,可以在目标图像上绘制所有人像的imageView(图像视图,可以理解为:素材资源对应的图像),并在目标图像中绘制包含素材资源的controlView(控制视图组件,可以理解为:叠加显示与对象的人脸角度匹配的素材资源,该素材资源可以被用户编辑);其中,若与第i个人像匹配的素材资源为第一类型的素材资源,图像处理设备可以执行步骤S1311来对该第i个人像绘制素材资源;若第i个人像的素材资源为第二类型的素材资源,图像处理设备可以执行步骤S1312来对该第i个对象绘制素材资源。
S1311,根据人脸角度判断结果,为彩蛋属性的对象调用第一类型的素材资源。
在一个实施例中,每个第一类型的素材资源可以关联多个备用素材资源,任意两个备用素材资源对应的素材资源的角度特征不一致,需要说明的是,备用素材资源和第一类型的素材资源仅在素材资源的显示角度上有差异,如图16所示,素材资源162和素材资源163均为素材资源161的备用素材资源,其中,素材资源162适用于人像斜侧面,素材资源163适用于人像全侧面;可以理解,虽然图16中的3个素材资源对应的显示角度不一致,但该3个素材资源都对应同一角色。因此,进一步可以理解的是,图像处理设备可以在获得第i个对象的人脸角度之后,从第一类型的素材资源以及该第一类型的素材资源对应的多个备用素材资源中,确定出叠加显示在第i个对象的处理区域中的素材资源。
S1312,根据性别判断结果及人脸角度判断结果,为普通属性的对象调用第二类型的素材资源。
每个第二类型的素材资源也关联有多个备用素材资源,且任意两个备用素材资源之间的显示角度不一致。
S1313,整体渲染合成。
在一种实施方式中,图像处理设备可以对第i个人像调用的素材资源进行等比缩放,以使该素材资源可以与第i个人像的处理区域重合,进一步地,图像处理设备可以根据第i个人像的二维脸部偏移角度信息P,对该素材资源进行角度矫正,示例性地,素材资源的角度矫正流程可以参见图17,图像处理设备可以先在处理区域叠加显示无二维脸部偏移角度的素材资源(如图17中171所示),再根据人像的二维脸部偏移角度信息对该素材资源进行角度矫正(如图17中172所示)。可以理解,在图像处理设备完成对目标图像中每个对象的素材资源角度矫正之后,可以渲染得到图像处理完成的图像(即:叠加显示有N个素材资源的图像)。
本申请提供的图像处理方法可以透过人像识别对目标图像中所有人像进行性别识别、头部旋转角度识别和二维脸部偏移角度识别,并可以基于人像识别所得的信息为每个对象匹配对应的素材资源,既可以使得用户可以借助图像处理设备便捷地对目标图像进行处理,也可以使得图像处理的过程充满可玩性和探索性,进而可以促使用户结合不同的目标素材资源集合创作出更有意思的拍摄内容。
上述各个实施例详细阐述了本申请实施例的方法,为了便于更好地实施本申请实施例的上述方案,相应地,下面提供了本申请实施例的装置。
请参见图18所示,图18示出了本申请一个示例性实施例提供的一种图像处理装置的结构示意图;该图像处理装置可以是运行于图像处理设备中的一个计算机程序(包括程序代码),例如图像处理设备可以是终端设备,则该图像处理装置可以是终端设备中的拍照应用程序;该图像处理装置可以用于执行图4、图8以及图13所示的方法实施例中的部分或全部步骤。请参见图18,该图像处理装置包括如下单元:
显示单元1801,用于显示图像处理界面,图像处理界面中显示有目标图像,目标图像中包含N个对象,N为正整数;
处理单元1802,用于基于N个对象的对象特征及N个对象中每个对象在目标图像中关联的处理区域,在目标图像中叠加显示N个素材资源;其中,N个素材资源与N个对象一一对应。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应;相对应是指:第i个对象的对象特征与第i个素材资源的资源特征相匹配;i为正整数且i≤N;处理单元1802具体用于:
在第i个对象在目标图像中关联的处理区域处,叠加显示第i个素材资源。
在一种实现方式中,第i个素材资源的透明度小于透明阈值;当第i个素材资源被叠加显示在目标图像中时,第i个素材资源对第i个对象在目标图像中关联的处理区域形成遮挡。
在一种实现方式中,N个素材资源位于目标素材资源集合中;处理单元1802还用于:
基于N个对象的对象特征,从目标素材资源集合中为N个对象匹配N个素材资源。
在一种实现方式中,图像处理界面关联有素材库,素材库中包含多个素材资源集合,每个素材资源集合中收录有多个素材资源;
目标素材资源集合包括以下任一种:目标素材资源集合是从素材库中随机选择的任一个集合;或者,目标素材资源集合是素材库中使用热度值高于热度阈值的任一个集合;或者,目标素材资源集合是素材库中使用热度值最高的集合;或者,目标素材资源集合是素材库中被图像处理的请求用户选择的一个集合;或者,目标素材资源集合是素材库中与请求用户的用户习惯相适配的一个集合。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应;i为正整数且i≤N;目标素材资源集合包含第一子集合和第二子集合,第一子集合中收录有第一类型的素材资源,第二子集合中收录有第二类型的素材资源;处理单元1802还用于:
若第i个素材资源为第一类型的素材资源,则输出提示信息,提示信息用于提示第i个对象成功匹配第i个素材资源。
在一种实现方式中,提示信息包括提示文本或提示音频;处理单元1802可以具体用于:
若提示信息包括提示文本,则在图像处理界面的非图像显示区域中显示提示文本;或者,在目标图像中第i个对象关联的处理区域周围显示提示文本;
若提示信息包括提示音频,则播放提示音频。
在一种实现方式中,提示信息包含提示动画,处理单元1802还用于:
在图像处理界面中播放提示动画;或者,
在图像处理界面之上显示播放窗口,并在播放窗口中播放提示动画;或者,
在图像处理界面之上显示悬浮窗,并在悬浮窗中播放提示动画;
其中,在提示动画播放结束后,第i个素材资源被叠加显示在目标图像中;播放结束包括提示动画播放完成,或者提示动画的播放时长达到时长阈值。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应;i为正整数且i≤N;第i个对象是人,第i个对象的对象特征包括动作特征和生物特征,动作特征包括动作幅度特征和动作角度特征;生物特征包括性别特征、面部特征和头部特征;目标素材资源集合包含第一子集合和第二子集合,第一子集合中收录有至少一个第一类型的素材资源及每个第一类型的素材资源的资源特征,第二子集合中收录有至少一个第二类型的素材资源及每个第二类型的素材资源的资源特征;处理单元1802还用于:
计算第一子集合中各个第一类型的素材资源的资源特征与第i个对象的动作特征之间的第一匹配度;
若第一子集合中存在第一匹配度大于第一匹配阈值的素材资源,则将第一匹配度大于第一匹配阈值的素材资源确定为第i个对象对应的第i个素材资源。
在一种实现方式中,处理单元1802还用于:
若第一子集合中不存在第一匹配度大于第一匹配阈值的素材资源,则计算第二子集合中各个第二类型的素材资源的资源特征与第i个对象的生物特征之间的第二匹配度;
若第二子集合中存在第二匹配度大于第二匹配阈值的素材资源,则将第二匹配度大于第二匹配阈值的素材资源确定为第i个对象对应的第i个素材资源。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应,i为正整数且i≤N;处理单元1802还用于:
若从目标素材资源集合中为第i个对象共匹配到M个素材资源,则从M个素材资源中选择一个素材资源确定为第i个素材资源;
其中,M为正整数;选择包括以下任一种:随机选择、按照匹配度由高至低的顺序选择、按照权重由大至小的顺序选择。
在一种实现方式中,选择包括按照权重由大至小的顺序选择,处理单元1802还用于:
输出竞猜提示,竞猜提示用于提示对M个素材资源进行竞猜;
获取竞猜结果,竞猜结果包含M个素材资源中每个素材资源被竞猜的次数;
根据竞猜结果设置M个素材资源中每个素材资源的权重;其中,M个素材资源中任一个素材资源被竞猜的次数越多,则权重越大。
在一种实现方式中,处理单元1802还用于:
当第i个素材资源被叠加显示至目标图像中之后,若存在针对第i个素材资源的切换触发事件,则在目标图像中移除第i个素材资源;
从M个素材资源中获取第k个素材资源,并在第i个对象在目标图像中关联的处理区域处,叠加显示第k个素材资源;k为正整数,k≤M,且k≠i;
其中,切换触发事件包括以下任一种:在第i个素材资源的显示区域中呼出菜单并在菜单中选中切换选项而产生的事件;或者,在第i个素材资源的显示区域中执行切换触发操作而产生的事件。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应,i为正整数且i≤N;处理单元1802还用于:
当第i个素材资源被叠加显示至目标图像中之后,若存在针对第i个素材资源的编辑触发事件,则对第i个素材资源进行编辑;
其中,编辑触发事件包括拖拽第i个素材资源的事件;编辑包括在目标图像中根据拖拽更改第i个素材资源的显示位置;或者,
编辑触发事件包括对第i个素材资源执行缩放操作而产生的事件;编辑包括根据缩放调整第i个素材资源在目标图像所占显示区域的大小;或者,
编辑触发事件包括停止显示第i个素材资源的事件;编辑包括从目标图像中移除第i个素材资源。
在一种实现方式中,图像处理界面中设有分享入口;显示单元1801还用于:
当分享入口被触发时,显示分享对象列表;
处理单元1802还用于:当分享对象列表中的目标分享对象被选中时,将叠加显示有N个素材资源的目标图像分享至目标分享对象。
在一种实现方式中,对象是人;处理区域包括人的各个部位的区域,包括以下任一种:头部区域,面部区域,四肢区域和身体区域;N个对象中的任两个表示为第i个对象和第j个对象,i、j均为正整数且i≤N,j≤N;
第i个对象在目标图像中关联的处理区域与第j个对象在目标图像中关联的处理区域是相同部位的区域,或是不同部位的区域。
根据本申请的一个实施例,图18所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图4、图8及图13所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图18中所示的图像处理装置,以及来实现本申请实施例的图像处理方法。计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本申请实施例提供的图像处理装置,根据目标图像包括的多个对象中每个对象的对象特征来为其匹配素材资源,可以使得每个对象在目标图像中关联的处理区域处叠加显示的素材资源更加贴合对象的特征,同时,由于可以按照上述方式对多个对象中的每个对象进行素材匹配和叠加显示,避免了人为地在多个对象进行多次手动叠加素材资源,提升了图像处理的便捷性。
图19示出了本申请一个示例性实施例提供的一种图像处理设备的结构示意图。请参见图19,该图像处理设备,包括处理器1901、通信接口1902以及计算机可读存储介质1903。其中,处理器1901、通信接口1902以及计算机可读存储介质1903可通过总线或者其它方式连接。其中,通信接口1902用于接收和发送数据。计算机可读存储介质1903可以存储在图像处理设备的存储器中,计算机可读存储介质1903用于存储计算机程序,计算机程序包括程序指令,处理器2801用于执行计算机可读存储介质1903存储的程序指令。处理器1901(或称CPU(Central Processing Unit,中央处理器))是图像处理设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是图像处理设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括图像处理设备中的内置存储介质,当然也可以包括图像处理设备所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了文档编辑设备的处理***。并且,在该存储空间中还存放了适于被处理器1901加载并执行的一条或多条的指令,这些指令可以是一个或多个的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一个实施例中,该图像处理设备可以是前述实施例提到的终端设备;该计算机可读存储介质中存储有一条或多条指令;由处理器1901加载并执行计算机可读存储介质中存放的一条或多条指令,以实现上述图像处理方法实施例中的相应步骤;具体实现中,计算机可读存储介质中的一条或多条指令由处理器1901加载并执行如下步骤:
显示图像处理界面,图像处理界面中显示有目标图像,目标图像中包含N个对象,N为正整数;
基于N个对象的对象特征及N个对象中每个对象在目标图像中关联的处理区域,在目标图像中叠加显示N个素材资源;其中,N个素材资源与N个对象一一对应。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应;相对应是指:第i个对象的对象特征与第i个素材资源的资源特征相匹配;i为正整数且i≤N;计算机可读存储介质中的一条或多条指令由处理器1901加载,并在基于N个对象的对象特征及N个对象中每个对象在目标图像中关联的处理区域,在目标图像中叠加显示N个素材资源时,具体执行如下步骤:
在第i个对象在目标图像中关联的处理区域处,叠加显示第i个素材资源。
在一种实现方式中,第i个素材资源的透明度小于透明阈值;当第i个素材资源被叠加显示在目标图像中时,第i个素材资源对第i个对象在目标图像中关联的处理区域形成遮挡。
在一种实现方式中,N个素材资源位于目标素材资源集合中;计算机可读存储介质中的一条或多条指令由处理器1901加载,并执行如下步骤:
基于N个对象的对象特征,从目标素材资源集合中为N个对象匹配N个素材资源。
在一种实现方式中,图像处理界面关联有素材库,素材库中包含多个素材资源集合,每个素材资源集合中收录有多个素材资源;
目标素材资源集合包括以下任一种:目标素材资源集合是从素材库中随机选择的任一个集合;或者,目标素材资源集合是素材库中使用热度值高于热度阈值的任一个集合;或者,目标素材资源集合是素材库中使用热度值最高的集合;或者,目标素材资源集合是素材库中被图像处理的请求用户选择的一个集合;或者,目标素材资源集合是素材库中与请求用户的用户习惯相适配的一个集合。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应;i为正整数且i≤N;目标素材资源集合包含第一子集合和第二子集合,第一子集合中收录有第一类型的素材资源,第二子集合中收录有第二类型的素材资源;计算机可读存储介质中的一条或多条指令由处理器1901加载,并执行如下步骤:
若第i个素材资源为第一类型的素材资源,则输出提示信息,提示信息用于提示第i个对象成功匹配第i个素材资源。
在一种实现方式中,提示信息包括提示文本或提示音频;计算机可读存储介质中的一条或多条指令由处理器1901加载,并在输出提示信息时,具体执行如下步骤:
若提示信息包括提示文本,则在图像处理界面的非图像显示区域中显示提示文本;或者,在目标图像中第i个对象关联的处理区域周围显示提示文本;
若提示信息包括提示音频,则播放提示音频。
在一种实现方式中,提示信息包含提示动画,计算机可读存储介质中的一条或多条指令由处理器1901加载,并在输出提示信息时,具体执行如下步骤:
在图像处理界面中播放提示动画;或者,
在图像处理界面之上显示播放窗口,并在播放窗口中播放提示动画;或者,
在图像处理界面之上显示悬浮窗,并在悬浮窗中播放提示动画;
其中,在提示动画播放结束后,第i个素材资源被叠加显示在目标图像中;播放结束包括提示动画播放完成,或者提示动画的播放时长达到时长阈值。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应;i为正整数且i≤N;第i个对象是人,第i个对象的对象特征包括动作特征和生物特征,动作特征包括动作幅度特征和动作角度特征;生物特征包括性别特征、面部特征和头部特征;目标素材资源集合包含第一子集合和第二子集合,第一子集合中收录有至少一个第一类型的素材资源及每个第一类型的素材资源的资源特征,第二子集合中收录有至少一个第二类型的素材资源及每个第二类型的素材资源的资源特征;计算机可读存储介质中的一条或多条指令由处理器1901加载,并在基于N个对象的对象特征,从目标素材资源集合中为N个对象匹配N个素材资源时,具体执行如下步骤:
计算第一子集合中各个第一类型的素材资源的资源特征与第i个对象的动作特征之间的第一匹配度;
若第一子集合中存在第一匹配度大于第一匹配阈值的素材资源,则将第一匹配度大于第一匹配阈值的素材资源确定为第i个对象对应的第i个素材资源。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1901加载,并在基于N个对象的对象特征,从目标素材资源集合中为N个对象匹配N个素材资源时,具体执行如下步骤:
若第一子集合中不存在第一匹配度大于第一匹配阈值的素材资源,则计算第二子集合中各个第二类型的素材资源的资源特征与第i个对象的生物特征之间的第二匹配度;
若第二子集合中存在第二匹配度大于第二匹配阈值的素材资源,则将第二匹配度大于第二匹配阈值的素材资源确定为第i个对象对应的第i个素材资源。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应,i为正整数且i≤N;计算机可读存储介质中的一条或多条指令由处理器1901加载,并具体执行如下步骤:
若从目标素材资源集合中为第i个对象共匹配到M个素材资源,则从M个素材资源中选择一个素材资源确定为第i个素材资源;
其中,M为正整数;选择包括以下任一种:随机选择、按照匹配度由高至低的顺序选择、按照权重由大至小的顺序选择。
在一种实现方式中,选择包括按照权重由大至小的顺序选择,计算机可读存储介质中的一条或多条指令由处理器1901加载,并具体执行如下步骤:
输出竞猜提示,竞猜提示用于提示对M个素材资源进行竞猜;
获取竞猜结果,竞猜结果包含M个素材资源中每个素材资源被竞猜的次数;
根据竞猜结果设置M个素材资源中每个素材资源的权重;其中,M个素材资源中任一个素材资源被竞猜的次数越多,则权重越大。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1901加载,并具体执行如下步骤:
当第i个素材资源被叠加显示至目标图像中之后,若存在针对第i个素材资源的切换触发事件,则在目标图像中移除第i个素材资源;
从M个素材资源中获取第k个素材资源,并在第i个对象在目标图像中关联的处理区域处,叠加显示第k个素材资源;k为正整数,k≤M,且k≠i;
其中,切换触发事件包括以下任一种:在第i个素材资源的显示区域中呼出菜单并在菜单中选中切换选项而产生的事件;或者,在第i个素材资源的显示区域中执行切换触发操作而产生的事件。
在一种实现方式中,N个对象中的任一个表示为第i个对象,第i个对象与N个素材资源中的第i个素材资源相对应,i为正整数且i≤N;计算机可读存储介质中的一条或多条指令由处理器1901加载,并具体执行如下步骤:
当第i个素材资源被叠加显示至目标图像中之后,若存在针对第i个素材资源的编辑触发事件,则对第i个素材资源进行编辑;
其中,编辑触发事件包括拖拽第i个素材资源的事件;编辑包括在目标图像中根据拖拽更改第i个素材资源的显示位置;或者,
编辑触发事件包括对第i个素材资源执行缩放操作而产生的事件;编辑包括根据缩放调整第i个素材资源在目标图像所占显示区域的大小;或者,
编辑触发事件包括停止显示第i个素材资源的事件;编辑包括从目标图像中移除第i个素材资源。
在一种实现方式中,图像处理界面中设有分享入口;计算机可读存储介质中的一条或多条指令由处理器1901加载,并具体执行如下步骤:
当分享入口被触发时,显示分享对象列表;
处理单元还用于:当分享对象列表中的目标分享对象被选中时,将叠加显示有N个素材资源的目标图像分享至目标分享对象。
在一种实现方式中,对象是人;处理区域包括人的各个部位的区域,包括以下任一种:头部区域,面部区域,四肢区域和身体区域;N个对象中的任两个表示为第i个对象和第j个对象,i、j均为正整数且i≤N,j≤N;
第i个对象在目标图像中关联的处理区域与第j个对象在目标图像中关联的处理区域是相同部位的区域,或是不同部位的区域。
本申请实施例提供的图像处理设备,可以显示目标图像,且该目标图像中可以包括多个对象,当需要对该目标图像中的多个对象进行处理时,对于任一一个对象,均可以通过图像处理设备中的处理器1901根据该对象的对象特征为该对象匹配素材资源,基于此,本申请实施例提供的图像处理设备可以为该目标图像中的每个对象匹配到素材资源,可以使得每个对象在目标图像中关联的处理区域处叠加显示的素材资源更加贴合该对象的特征;此外,本申请实施例提供的图像处理设备在为对象匹配到了素材资源之后,可以在该对象在目标图像上关联的处理区域处叠加显示素材资源,避免了用户手动拖拽素材资源来对处理区域进行遮挡操作,降低了用户对图像处理的门槛,同时,由于处理器1901可以按照上述方式对多个对象中的每个对象进行素材匹配和叠加显示,避免了人为地在多个对象进行多次手动叠加素材资源,提升了图像处理的便捷性。此外,不难理解的是,由于每个对象匹配的素材资源与该对象的对象特征有关,因此还可以利用本申请实施例提供的图像处理设备开展图像处理相关的活动,如“猜角色”、“发现你身边的XXX(动漫角色)”等,在一定程度上可以有效强化图像处理的传播性和探索性。
本申请实施例还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图像处理方法。
本领域普通技术人员可以意识到,结合本申请中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用,使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程设备。计算机指令可以存储在计算机可读存储介质中,或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如,同轴电缆、光纤、数字用户线(DSL))或无线(例如,红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (19)
1.一种图像处理方法,其特征在于,包括:
显示图像处理界面,所述图像处理界面中显示有目标图像,所述目标图像中包含N个对象,N为正整数;
基于所述N个对象的对象特征及所述N个对象中每个对象在所述目标图像中关联的处理区域,在所述目标图像中叠加显示N个素材资源;其中,所述N个素材资源与所述N个对象一一对应。
2.如权利要求1所述的方法,其特征在于,所述N个对象中的任一个表示为第i个对象,所述第i个对象与所述N个素材资源中的第i个素材资源相对应;所述相对应是指:所述第i个对象的对象特征与所述第i个素材资源的资源特征相匹配;i为正整数且i≤N;
所述基于所述N个对象的对象特征及所述N个对象中每个对象在所述目标图像中关联的处理区域,在所述目标图像中叠加显示N个素材资源,包括:
在所述第i个对象在所述目标图像中关联的处理区域处,叠加显示所述第i个素材资源。
3.如权利要求2所述的方法,其特征在于,所述第i个素材资源的透明度小于透明阈值;当所述第i个素材资源被叠加显示在所述目标图像中时,所述第i个素材资源对所述第i个对象在所述目标图像中关联的处理区域形成遮挡。
4.如权利要求1所述的方法,其特征在于,所述N个素材资源位于目标素材资源集合中;所述方法还包括:
基于所述N个对象的对象特征,从所述目标素材资源集合中为所述N个对象匹配所述N个素材资源。
5.如权利要求4所述的方法,其特征在于,所述图像处理界面关联有素材库,所述素材库中包含多个素材资源集合,每个素材资源集合中收录有多个素材资源;
所述目标素材资源集合包括以下任一种:所述目标素材资源集合是从所述素材库中随机选择的任一个集合;或者,所述目标素材资源集合是所述素材库中使用热度值高于热度阈值的任一个集合;或者,所述目标素材资源集合是所述素材库中使用热度值最高的集合;或者,所述目标素材资源集合是所述素材库中被图像处理的请求用户选择的一个集合;或者,所述目标素材资源集合是所述素材库中与所述请求用户的用户习惯相适配的一个集合。
6.如权利要求4所述的方法,其特征在于,所述N个对象中的任一个表示为第i个对象,所述第i个对象与所述N个素材资源中的第i个素材资源相对应;i为正整数且i≤N;所述目标素材资源集合包含第一子集合和第二子集合,所述第一子集合中收录有第一类型的素材资源,所述第二子集合中收录有第二类型的素材资源;所述方法还包括:
若所述第i个素材资源为第一类型的素材资源,则输出提示信息,所述提示信息用于提示所述第i个对象成功匹配所述第i个素材资源。
7.如权利要求6所述的方法,其特征在于,所述提示信息包括提示文本或提示音频;所述输出提示信息,包括:
若所述提示信息包括提示文本,则在所述图像处理界面的非图像显示区域中显示所述提示文本;或者,在所述目标图像中所述第i个对象关联的处理区域周围显示所述提示文本;
若所述提示信息包括提示音频,则播放所述提示音频。
8.如权利要求6所述的方法,其特征在于,所述提示信息包含提示动画;所述输出提示信息包括以下任一种:
在所述图像处理界面中播放所述提示动画;或者,
在所述图像处理界面之上显示播放窗口,并在所述播放窗口中播放所述提示动画;或者,
在所述图像处理界面之上显示悬浮窗,并在所述悬浮窗中播放所述提示动画;
其中,在所述提示动画播放结束后,所述第i个素材资源被叠加显示在所述目标图像中;所述播放结束包括所述提示动画播放完成,或者所述提示动画的播放时长达到时长阈值。
9.如权利要求4所述的方法,其特征在于,所述N个对象中的任一个表示为第i个对象,所述第i个对象与所述N个素材资源中的第i个素材资源相对应;i为正整数且i≤N;所述第i个对象是人,所述第i个对象的对象特征包括动作特征和生物特征,所述动作特征包括动作幅度特征和动作角度特征;所述生物特征包括性别特征、面部特征和头部特征;所述目标素材资源集合包含第一子集合和第二子集合,所述第一子集合中收录有至少一个第一类型的素材资源及每个第一类型的素材资源的资源特征,所述第二子集合中收录有至少一个第二类型的素材资源及每个第二类型的素材资源的资源特征;
所述基于所述N个对象的对象特征,从所述目标素材资源集合中为所述N个对象匹配所述N个素材资源,包括:
计算所述第一子集合中各个第一类型的素材资源的资源特征与所述第i个对象的动作特征之间的第一匹配度;
若所述第一子集合中存在第一匹配度大于第一匹配阈值的素材资源,则将所述第一匹配度大于第一匹配阈值的素材资源确定为所述第i个对象对应的第i个素材资源。
10.如权利要求9所述的方法,其特征在于,所述基于所述N个对象的对象特征,从目标素材资源集合中为所述N个对象匹配所述N个素材资源,还包括:
若所述第一子集合中不存在第一匹配度大于第一匹配阈值的素材资源,则计算所述第二子集合中各个第二类型的素材资源的资源特征与所述第i个对象的生物特征之间的第二匹配度;
若所述第二子集合中存在第二匹配度大于第二匹配阈值的素材资源,则将所述第二匹配度大于第二匹配阈值的素材资源确定为所述第i个对象对应的第i个素材资源。
11.如权利要求4所述的方法,其特征在于,所述N个对象中的任一个表示为第i个对象,所述第i个对象与所述N个素材资源中的第i个素材资源相对应,i为正整数且i≤N;所述方法还包括:
若从所述目标素材资源集合中为所述第i个对象共匹配到M个素材资源,则从所述M个素材资源中选择一个素材资源确定为所述第i个素材资源;
其中,M为正整数;所述选择包括以下任一种:随机选择、按照匹配度由高至低的顺序选择、按照权重由大至小的顺序选择。
12.如权利要求11所述的方法,其特征在于,所述选择包括按照权重由大至小的顺序选择;所述方法包括:
输出竞猜提示,所述竞猜提示用于提示对所述M个素材资源进行竞猜;
获取竞猜结果,所述竞猜结果包含所述M个素材资源中每个素材资源被竞猜的次数;
根据所述竞猜结果设置所述M个素材资源中每个素材资源的权重;其中,所述M个素材资源中任一个素材资源被竞猜的次数越多,则权重越大。
13.如权利要求11所述的方法,其特征在于,所述方法还包括:
当所述第i个素材资源被叠加显示至所述目标图像中之后,若存在针对所述第i个素材资源的切换触发事件,则在所述目标图像中移除所述第i个素材资源;
从所述M个素材资源中获取第k个素材资源,并在所述第i个对象在所述目标图像中关联的处理区域处,叠加显示所述第k个素材资源;k为正整数,k≤M,且k≠i;
其中,所述切换触发事件包括以下任一种:在所述第i个素材资源的显示区域中呼出菜单并在所述菜单中选中切换选项而产生的事件;或者,在所述第i个素材资源的显示区域中执行切换触发操作而产生的事件。
14.如权利要求1所述的方法,其特征在于,所述N个对象中的任一个表示为第i个对象,所述第i个对象与所述N个素材资源中的第i个素材资源相对应,i为正整数且i≤N;所述方法还包括:
当所述第i个素材资源被叠加显示至所述目标图像中之后,若存在针对所述第i个素材资源的编辑触发事件,则对所述第i个素材资源进行编辑;
其中,所述编辑触发事件包括拖拽所述第i个素材资源的事件;所述编辑包括在所述目标图像中根据所述拖拽更改所述第i个素材资源的显示位置;或者,
所述编辑触发事件包括对所述第i个素材资源执行缩放操作而产生的事件;所述编辑包括根据所述缩放调整所述第i个素材资源在所述目标图像所占显示区域的大小;或者,
所述编辑触发事件包括停止显示所述第i个素材资源的事件;所述编辑包括从所述目标图像中移除所述第i个素材资源。
15.如权利要求1所述的方法,其特征在于,所述图像处理界面中设有分享入口;所述方法还包括:
当所述分享入口被触发时,显示分享对象列表;
当所述分享对象列表中的目标分享对象被选中时,将叠加显示有所述N个素材资源的所述目标图像分享至所述目标分享对象。
16.如权利要求1所述的方法,其特征在于,所述对象是人;所述处理区域包括人的各个部位的区域,包括以下任一种:头部区域,面部区域,四肢区域和身体区域;所述N个对象中的任两个表示为第i个对象和第j个对象,i、j均为正整数且i≤N,j≤N;
所述第i个对象在所述目标图像中关联的处理区域与所述第j个对象在所述目标图像中关联的处理区域是相同部位的区域,或是不同部位的区域。
17.一种图像处理装置,其特征在于,包括:
显示单元,用于显示图像处理界面,所述图像处理界面中显示有目标图像,所述目标图像中包含N个对象,N为正整数;
处理单元,用于基于所述N个对象的对象特征及所述N个对象中每个对象在所述目标图像中关联的处理区域,在所述目标图像中叠加显示N个素材资源;其中,所述N个素材资源与所述N个对象一一对应。
18.一种图像处理设备,其特征在于,包括:
处理器,适于执行计算机程序;
计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1-16任一项所述的图像处理方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行如权利要求1-16任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110811845.9A CN115619902A (zh) | 2021-07-16 | 2021-07-16 | 一种图像处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110811845.9A CN115619902A (zh) | 2021-07-16 | 2021-07-16 | 一种图像处理方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115619902A true CN115619902A (zh) | 2023-01-17 |
Family
ID=84854533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110811845.9A Pending CN115619902A (zh) | 2021-07-16 | 2021-07-16 | 一种图像处理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115619902A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116777940A (zh) * | 2023-08-18 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及存储介质 |
-
2021
- 2021-07-16 CN CN202110811845.9A patent/CN115619902A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116777940A (zh) * | 2023-08-18 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN116777940B (zh) * | 2023-08-18 | 2023-11-21 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115735229A (zh) | 在消息收发***中更新化身服装 | |
US11893301B2 (en) | Colocated shared augmented reality without shared backend | |
CN114930399A (zh) | 使用基于表面的神经合成的图像生成 | |
CN117897734A (zh) | 基于身体姿势控制交互式时尚 | |
CN116547717A (zh) | 面部动画合成 | |
CN117157667A (zh) | 服装分割 | |
CN117940962A (zh) | 基于面部表情控制交互时尚 | |
CN115699715B (zh) | 共享至聊天的消息*** | |
KR20240089525A (ko) | 자세 및 음성 입력으로부터의 의도 추론 | |
US11995757B2 (en) | Customized animation from video | |
US11768587B2 (en) | Electronic transaction activated augmented reality experiences | |
US20230269345A1 (en) | Recorded sound thumbnail | |
CN117957043A (zh) | 控制时尚物品上的ar游戏 | |
CN116710881A (zh) | 针对多视频片段捕获选择音频 | |
KR20230019927A (ko) | 컨텍스트 전송 메뉴 | |
CN118076971A (zh) | 将增强现实元素应用于出现在人的单目图像上的服装 | |
CN117501675A (zh) | 呈现由消息应用从第三方资源接收的内容 | |
CN117642762A (zh) | 具有虚拟更衣室的定制广告 | |
CN116685941A (zh) | 具有触觉反馈增强的媒体内容项 | |
CN117337442A (zh) | 基于vr的连接门户购物 | |
US20240248546A1 (en) | Controlling augmented reality effects through multi-modal human interaction | |
US20240205036A1 (en) | Shared augmented reality experience in video chat | |
KR20240027047A (ko) | 카메라에 적용가능한 기능들을 제시하기 위한 사용자 인터페이스 | |
KR20230159608A (ko) | 포괄적 카메라 | |
US20240073373A1 (en) | Sharing social augmented reality experiences in video calls |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40082643 Country of ref document: HK |