CN112907702A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents
图像处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112907702A CN112907702A CN202011438518.5A CN202011438518A CN112907702A CN 112907702 A CN112907702 A CN 112907702A CN 202011438518 A CN202011438518 A CN 202011438518A CN 112907702 A CN112907702 A CN 112907702A
- Authority
- CN
- China
- Prior art keywords
- target
- face
- map
- image
- appearance attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 241000282414 Homo sapiens Species 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000013507 mapping Methods 0.000 claims description 53
- 230000004044 response Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 230000001976 improved effect Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 210000001508 eye Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 241000218645 Cedrus Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 244000269722 Thea sinensis Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000422 nocturnal effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请关于一种图像处理方法、装置、计算机设备及存储介质,涉及图像处理技术领域。所述方法包括:获取目标图像;该目标图像中包含目标人脸;对目标图像中的目标人脸进行人脸外观属性检测,获得人脸外观属性组合;基于人脸外观属性组合获取目标人脸的人设分类对应的目标贴图;对应目标图像中的目标人脸,展示目标贴图。通过上述方法,使得在获取目标贴图时,可以根据人脸外观属性进行对表现人脸的人设分类的目标贴图获取和展示,在保证使得获取到的目标贴图的更加准确性的同时,简化选择贴图的用户操作步骤,提高了人脸贴图的效率。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及图像处理方法、装置、计算机设备及存储介质。
背景技术
随着多媒体的迅速发展,用户在进行图像处理时,往往具有对人脸图像进行贴图的需求。
在相关技术中,用户在对图像进行人脸贴图时,需要从贴图界面中展示的多个候选贴图中选择并拖动/粘贴到人脸图像中的人脸位置,完成人脸贴图。
在上述方法中,用户需要从大量候选贴图中手动选取一个贴图,并进行多步操作完成贴图,导致用户操作步骤较为繁琐,从而影响的人脸贴图的效率。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质,可以提高人脸贴图的效率,该技术方案如下:
一方面,提供了一种图像处理方法,所述方法包括:
获取目标图像;所述目标图像中包含目标人脸;
对所述目标图像中的所述目标人脸进行人脸外观属性检测,获得人脸外观属性组合;所述人脸外观属性组合中包含至少两个人脸外观属性;
基于所述人脸外观属性组合,获取所述目标人脸的人设分类对应的目标贴图;
对应所述目标图像中的所述目标人脸,展示所述目标贴图。
另一方面,提供了一种图像处理方法,所述方法包括:
显示图像展示界面,所述图像展示界面中包含图像编辑触发控件以及目标图像;所述目标图像中包含目标人脸;
响应于接收到基于所述图像编辑触发控件的触控操作,显示图像编辑界面,所述图像编辑界面中包括贴图候选区域和图像预览区域,所述图像预览区域中显示有所述目标图像,所述贴图候选区域包含贴图自动获取控件;
响应于接收到基于所述贴图自动获取控件的选择操作,对应所述目标图像中的所述目标人脸展示目标贴图,所述目标贴图是基于所述目标人脸的人脸属性获取的对应于所述目标人脸的人设分类的贴图。
另一方面,提供了一种图像处理装置,所述装置包括:
目标图像获取模块,用于获取目标图像;所述目标图像中包含目标人脸;
人脸外观属性检测模块,用于对所述目标图像中的所述目标人脸进行人脸外观属性检测,获得人脸外观属性组合;所述人脸外观属性组合中包含至少两个人脸外观属性;
目标贴图获取模块,用于基于所述人脸外观属性组合,获取所述目标人脸的人设分类对应的目标贴图;
目标贴图展示模块,用于对应所述目标图像中的所述目标人脸,展示所述目标贴图。
在一种可能的实现方式中,所述目标贴图获取模块,包括:
匹配度获取子模块,用于基于所述人脸外观属性组合与各个贴图的外观属性标签,获取所述目标人脸与所述各个贴图的匹配度;所述各个贴图中的每个贴图的外观属性标签,是基于与每个贴图对应的人设分类设置的;
目标贴图确定子模块,用于基于所述目标人脸与所述各个贴图的匹配度,从所述各个贴图中确定所述目标贴图。
在一种可能的实现方式中,所述目标贴图确定子模块,用于:
将所述各个贴图中,与所述目标人脸对应的匹配度最高的贴图获取为所述目标贴图。
在一种可能的实现方式中,所述目标贴图确定子模块,包括:
贴图添加单元,用于将所述各个贴图中,与所述目标人脸对应的匹配度满足指定条件的贴图添加入候选贴图集合;所述指定条件包括:与所述目标人脸对应的匹配度大于匹配度阈值,以及,按照与所述目标人脸对应的匹配度从大到小的顺序排列在前m位的至少一项,m为大于或者等于2的整数;
目标贴图确定单元,用于从所述候选贴图集合中随机确定一个贴图,作为所述目标贴图;或者,用于获取当前时间对应的时间戳;基于所述时间戳,从所述候选贴图集合确定所述目标贴图;或者,用于基于所述候选贴图集合展示贴图选择界面,所述贴图选择界面中包含所述候选贴图集合中的贴图对应的选项,响应于对所述贴图选择界面中的目标选项的选择操作,将所述目标选项对应的贴图确定为所述目标贴图。
在一种可能的实现方式中,所述人脸外观属性检测模块,用于将所述目标图像输入到人脸外观属性检测模型,获得所述人脸外观属性模型输出的人脸外观属性组合;
其中,所述人脸外观属性检测模型是通过样本图像,以及所述样本图像对应的人脸外观属性组合标签训练得到的;所述样本图像是包含人脸的图像。
在一种可能的实现方式中,所述装置还包括:
人脸检测模块,用于在所述目标贴图展示模块对应所述目标图像中的所述目标人脸,展示所述目标贴图之前,对所述目标图像进行人脸检测,确定所述目标人脸在所述目标图像中的人脸位置;
人脸框构建模块,用于基于所述人脸位置构建人脸框;
所述目标贴图展示模块,用于基于所述人脸框,对应所述目标图像中的所述目标人脸,展示所述目标贴图。
在一种可能的实现方式中,所述目标贴图展示模块,包括:
位置获取子模块,用于分别获取所述人脸框的中心位置以及所述目标贴图的中心位置;
目标贴图展示子模块,用于将所述目标贴图展示在所述人脸框的中心位置与所述目标贴图的中心位置对齐的位置处。
在一种可能的实现方式中,所述目标贴图展示模块,还包括:
面积获取子模块,用于在所述目标贴图子模块将所述目标贴图展示在所述人脸框的中心位置与所述目标贴图的中心位置对齐的位置处之前,分别获取所述人脸框的面积以及所述目标图像的面积;
贴图调整子模块,用于基于所述人脸框的面积以及所述目标图像的面积,对所述目标贴图的大小进行调整;
所述目标贴图展示子模块,用于将调整后的所述目标贴图展示在所述人脸框的中心位置与所述目标贴图的中心位置对齐的位置处。
在一种可能的实现方式中,所述贴图调整子模块,包括:
第一高度调整单元,用于响应于所述人脸框的面积占所述目标图像的面积小于指定阈值,将所述目标贴图的高度调整为所述人脸框的高度;
第一缩放比例获取单元,用于获取所述目标贴图的高度的第一缩放比例,所述第一缩放比例是指缩放前的所述目标贴图的高度占缩放后的所述目标贴图的高度的比例;
第一高度调整单元,用于基于所述第一缩放比例调整所述目标贴图的宽度。
在一种可能的实现方式中,所述贴图调整子模块,包括:
第二高度调整单元,用于响应于人脸框的面积占所述目标图像的面积大于所述指定阈值,将所述目标贴图的高度调整为所述人脸框的高度的n倍,0<n<1;
第二缩放比例获取单元,用于获取所述目标贴图的高度的第二缩放比例,所述第二缩放比例是指缩放前的所述目标贴图的高度占缩放后的所述目标贴图的高度的比例;
第二宽度调整单元,用于基于所述第二缩放比例调整所述目标贴图的宽度。
另一方面,提供了一种图像处理装置,所述装置包括:
图像展示界面显示模块,用于显示图像展示界面,所述图像展示界面中包含图像编辑触发控件以及目标图像;所述目标图像中包含目标人脸;
图像编辑界面显示模块,用于显示图像编辑界面,所述图像编辑界面中包括贴图候选区域和图像预览区域,所述图像预览区域中显示有所述目标图像,所述贴图候选区域包含贴图自动获取控件;
目标贴图展示模块,用于对应所述目标图像中的所述目标人脸展示目标贴图,所述目标贴图是基于所述目标人脸的人脸属性获取的对应于所述目标人脸的人设分类的贴图。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像处理方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述计算机程序由处理器加载并执行以实现上述图像处理方法。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的图像处理方法。
本申请提供的技术方案可以包括以下有益效果:
本申请实施例提供的图像处理方法,通过对目标图像中的目标人脸进行人脸外观属性检测,获得对应于目标人脸外观属性组合,基于该人脸外观属性组合获取对应于该目标人脸的人脸外观属性能够表现目标人脸的人设分类的目标贴图,并将该目标贴图对应于目标人脸进行显示,使得在获取目标贴图时,可以根据人脸外观属性对表现人脸的人设分类的目标贴图获取和展示,在保证获取到的目标贴图的准确性的同时,简化选择贴图的用户操作步骤,提高了人脸贴图的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1示出了本申请一示例性实施例提供的终端的结构示意图;
图2示出了本申请一示例性实施例示出的图像处理方法的流程图;
图3示出了本申请一示例性实施例示出的图像处理方法的流程图;
图4示出了本申请一示例性实施例示出的终端界面示意图;
图5示出了本申请一示例性实施例示出的终端界面示意图;
图6示出了本申请一示例性实施例示出的构建人脸框的示意图;
图7示出了本申请一示例性实施例示出的对目标贴图大小进行调整的示意图;
图8示出了本申请一示例性实施例示出的对目标贴图大小进行调整的示意图;
图9示出了本申请一示例性实施例示出的图像处理方法的流程图;
图10示出了本申请一示例性实施例示出的图像处理方法的示意图;
图11示出了本申请一示例性实施例示出的图像处理装置的方框图;
图12示出了本申请一示例性实施例示出的图像处理装置的方框图;
图13是根据一示例性实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供了一种图像处理方法,可以提高人设测试的准确率,同时增加测试结果的显示效果。为了便于理解,下面对本申请涉及的几个名词进行解释。
1)人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2)计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/ 行为识别、三维物体重建、3D(Three-Dimensional)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
3)机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
4)人脸检测是以找出图像中所有的人脸对应的位置为目标的技术,其对应的算法的输出是人脸外接矩形在图像中的坐标,可能还包括姿态如倾斜角度等信息。
本申请提供一种人脸贴图的方法,可以基于对目标图像中的目标人脸的人脸外观属性获取对应与该人脸的人设分类的目标贴图,并将该反映人设分类的目标贴图显示在目标图像的人脸区域内,以实现在指定场合下利用表示人设属性的贴图对人的面部进行遮挡的目的,使得用户能够基于该人设贴图直接的获取目标图像中的目标对象的人设属性。在一种可能的实现方式中,该图像处理方法可以由终端执行,在本申请实施例中,终端可以是具有显示屏的计算设备。比如,该终端可以是智能手机、平板电脑、电子书阅读器等移动终端,或者,该终端也可以是智能手表等智能可穿戴设备,或者,该终端也可以是一体式电脑等固定终端。
图1示出了本申请一示例性实施例提供的终端的结构示意图,如图1所示,该终端包括主板110、外部输出/输入设备120、存储器130、外部接口140、触控***150以及电源160。
其中,主板110中集成有处理器和控制器等处理元件。
外部输出/输入设备120可以包括显示组件(比如显示屏)、声音播放组件(比如扬声器)、声音采集组件(比如麦克风)以及各类按键等。
存储器130中存储有程序代码和数据。
外部接口140可以包括耳机接口、充电接口以及数据接口等。
触控***150可以集成在外部输出/输入设备120的显示组件或者按键中,触控***150用于检测用户在显示组件或者按键上执行的触控操作。
电源160用于对终端中的其它各个部件进行供电。
在本申请实施例中,主板110中的处理器可以通过执行或者调用存储器中存储的程序代码和数据来生成界面内容,将生成的界面内容通过外部输出/输入设备120进行展示。在展示界面内容的过程中,可以通过电容触控***150检测用户与界面进行交互时执行的触控操作,也可以通过外部输出/输入设备120 检测用户与界面进行交互时执行的按键或者其它操作,比如手势操作、语音操作等等。
图2示出了本申请一示例性实施例示出的图像处理方法的流程图,该图像处理方法可以由计算机设备执行,该计算机设备可以实现为图1所示的终端,或者,该计算机设备可以实现为与图1所示终端相连的服务器,或者,该计算机设备可以包含终端和服务器。如图2所示,该图像处理方法,包括:
步骤210,获取目标图像;该目标图像中包含目标人脸。
在一种可能的实现方式中,该目标图像是用户上传的,包含人脸的图像,或者,该目标图像也可以是用户通过终端的图像采集设备,比如摄像头或者摄像头采集组件,实时获取的包含人脸的图像,或者,该目标图像可以是视频中的一帧包含人脸的图像。
在一种可能的实现方式中,该目标图像中可以包含至少一个目标人脸,该目标人脸是指目标图像中人脸质量达到指定条件的人脸,比如,该指定条件可以是指该人脸的清晰度达到清晰度阈值等等。
为了便于说明,本申请实施例中以目标图像中包含一个目标人脸为例,对本申请进行说明。
步骤220,对目标图像中的目标人脸进行人脸外观属性检测,获得人脸外观属性组合;该人脸外观属性组合中包含至少两个人脸外观属性。
在一种可能的实现方式中,该人脸外观属性检测可以是对目标图像中的目标人脸进行面部属性检测,比如,该面部属性可以包括人脸的性别、头发、眼睛、脸型、情绪等属性。
在一种可能的实现方式中,计算机设备利用人脸外观属性检测技术对目标图像中的目标人脸的人脸外观属性进行检测,该人脸检测技术可以是人脸外观属性检测技术,也可以是利用人脸关键点位置计算眼睛大小,利用Facenet等卷积神经网络进行脸型测试,利用融合LBP(Local Binary Patterns,局部二值模式) 和局部稀疏表示的人脸表情识别算法进行表情检测等,本申请对进行人脸外观属性检测的方法不进行限制。
本申请实施例中,将基于对目标人脸的人脸外观属性识别获得的各个种类的人脸外观属性组成人脸外观属性组合,该人脸外观属性组合中包含至少两个人脸外观属性。
在一种可能的实现方式中,该人脸外观属性集合中的人脸外观属性也可以是根据实际情况设定的指定方面的人脸外观属性,比如,只将脸型属性,头发属性以及性别属性组成的组合确定为人脸外观属性组合;需要说明的是,上述对于人脸外观属性组合中包含的人脸外观属性的种类的说明仅为示意性的,本申请对人脸外观属性组合中包含的人脸外观属性的种类和个数不进行限制。
步骤230,基于人脸外观属性组合获取目标人脸的人设分类对应的目标贴图。
该目标贴图用以表示目标人脸对应的目标对象的人设分类。该人设分类可以包括打工人、在逃公主、熬夜冠军、酷盖、奶酷、夜行动物、不讲武德、少女、社废人、甜野男孩、人间芭比、网课人、饲养员、辣妹、干饭王、暗黑OG、高级温柔、酒鬼、保安队长、小熊软糖、奶茶杀手、碳水生物、往届儿童、人気限定、积极废人等等。
步骤240,对应目标图像中的目标人脸,展示目标贴图。
在一种可能的实现方式中,为了实现利用表现人设分类的目标贴图进行面部遮挡的目的,将目标贴图显示在目标人脸的人脸区域上,以满足用户在不看脸的情况下,将注意力专注在目标图像中的目标对象的穿搭和体现出的性格上,同时通过表现人设分类的目标贴图对目标对象的人设分类进行直观表达,从而提高用户获取目标对象人设分类信息的效率。
在一种可能的实现方式中,在不需要进行面部遮挡的场合,将表现人设分类的目标贴图显示在目标图像上,其中,目标贴图可以基于用户的移动操作显示在目标图像的任意位置上。
综上所述,本申请实施例提供的图像处理方法,通过对目标图像中的目标人脸进行人脸外观属性检测,获得对应于目标人脸外观属性组合,基于该人脸外观属性组合获取对应于该目标人脸的人脸外观属性的能够表现目标人脸的人设分类的目标贴图,并将该目标贴图对应于目标人脸进行显示,使得在获取目标贴图时,可以根据人脸外观属性对表现人脸的人设分类的目标贴图获取和展示,在保证使得获取到的目标贴图的更加准确性的同时,简化选择贴图的用户操作步骤,提高了人脸贴图的效率。
为了提高人脸外观属性组合与目标贴图进行匹配的准确程度,在一种可能的实现方式中,各个贴图中的每个贴图对应有外观属性标签,计算机设备可以基于各个贴图的外观属性标签与基于目标人脸获取的外观属性组合的匹配度获取目标图像。本申请实施例以将该目标贴图展示在目标人脸上为例进行说明;图3示出了本申请一示例性实施例示出的图像处理方法的流程图,该图像处理方法可以由计算机设备执行,该计算机设备可以实现为图1所示的终端,或者,该计算机设备可以实现为与图1所示终端相连的服务器,或者,该计算机设备可以包含终端和服务器。如图3所示,该图像处理方法包括:
步骤310,获取目标图像;该目标图像中包含目标人脸。
在一种可能的实现方式中,该目标人脸可以包括正脸图像,侧脸图像,存在部分遮挡的人脸图像;示意性的,该部分遮挡的人脸图像可以是口罩遮挡人脸图像,眼镜或墨镜遮挡人脸图像等等。
步骤320,对目标图像中的目标人脸进行人脸外观属性检测,获得人脸外观属性组合;该人脸外观属性组合中包含至少两个人脸外观属性。
在一种可能的实现方式中,在对目标人脸进行人脸外观属性检测,获得人脸外观属性组合时,需要先对目标人脸进行有效人脸面积检测,以确定是否能够从目标人脸中检测出人脸外观属性,该过程包括:
获取目标人脸中的有效人脸面积;
响应于有效人脸面积占目标人脸面积的比例大于有效人脸比例阈值,对目标图像中的目标人脸进行人脸属性检测,获得人脸外观属性组合。
也就是说,当目标人脸中的有效人脸面积占目标人脸面积的比例大于有效人脸比例阈值时,确定可以从目标人脸中检测人脸外观属性;当目标人脸中的有效人脸面积占目标人脸面积的比例小于有效人脸比例阈值,确定无法从目标人脸中检测人脸外观属性。
在一种可能的实现方式中,响应于目标人脸中的有效人脸面积占目标人脸面积的比例小于有效人脸比例阈值,显示人脸检测失败提示信息;该人脸检测失败提示信息用以指示无法对目标人脸进行人脸属性检测。
在一种可能的实现方式中,响应于有效人脸面积占目标人脸面积的比例大于有效人脸比例阈值,显示人脸检测成功提示信息,该人脸检测成功提示信息用以指示正在对目标人脸进行人脸属性检测。
在一种可能的实现方式中,在终端界面中展示人脸面积检测结果提示框,该提示框内显示有人脸面积检测结果提示信息;该人脸面积检测结果提示信息包括:人脸检测成功提示信息以及人脸检测失败提示信息。响应于确定无法从目标人脸中检测人脸外观属性,在该人脸检测结果提示框中显示人脸检测失败提示信息;响应于确定可以从目标人脸中获取人脸外观属性,在该人脸面积检测结果提示框中显示人脸检测成功提示信息。图4示出了本申请一示例性实施例示出的终端界面示意图,如图4所示,以目标图像410为用户上传的包含目标人脸420的图像,有效人脸阈值为30%为例,在目标图像410中,目标人脸420被非人脸图案430遮挡的区域大于70%,即有效人脸面积占目标人脸面积的比例小于30%,则确定无法从目标图像410中的目标人脸420中检测出人脸外观属性,在终端界面中展示的人脸检测结果提示框440中显示人脸检测失败提示信息“检测不到人脸,无法使用此贴图”,或者,图5示出了本申请一示例性实施例示出的终端界面示意图,如图5所示,在目标图像510中,目标人脸520被其他图案530遮挡的区域小于70%,即占目标人脸面积的比例大于30%,则确定可以从目标图像 510的目标人脸520中检测出人脸外观属性,在终端界面中展示的人脸检测结果提示框540中显示人脸检测成功提示信息“检测到你露脸啦!AI正在分析颜值,测出你的专属标签!”。
在一种可能的实现方式中,为了提高人脸外观属性获取的准确性,可以训练人脸外观属性检测模型,利用训练好的人脸外观属性检测模型对目标人脸进行处理,获得对应的人脸外观属性,实现为:
将目标图像输入到人脸外观属性检测模型,获得人脸外观属性模型输出的人脸外观属性组合;
其中,人脸外观属性检测模型是通过样本图像,以及样本图像对应的人脸外观属性组合标签训练得到的;该样本图像是包含人脸的图像。
在一种可能的实现方式中,该人脸外观属性检测模型的训练过程可以实现为:
将样本图像输入人脸外观属性模型,获得人脸外观属性模型输出的预测人脸外观属性组合;
将样本图像对应的人脸外观属性组合标签与预测人脸外观属性组合输入损失函数,获得损失函数值;
基于损失函数值,对人脸外观属性模型进行参数更新;
重复上述过程,直至人脸外观属性模型对应的损失函数值收敛。
上述对应于不同人脸外观属性的属性模型可以是通过样本图像,以及样本图像对应的不同人脸外观属性标签训练的得到的。
在一个示例性的方案中,该样本图像的人脸外观属性组合标签可以是开发人员设置的。
在另一个示例性的方案中,该样本图像可以是用户的历史贴图操作中的图像,对应的,人脸外观属性组合标签可以是用户的历史贴图选择记录中的贴图的外观属性标签。
比如,终端的支持贴图的应用程序中,每个贴图都被设置有对应的外观属性标签;用户在历史贴图操作中,通过手动获取或者对计算机设备自动获取的贴图替换等操作确定历史图像各自对应的贴图,终端在获取到用户的确认操作之后,将用户确认后的图像和贴图相关联;服务器在获取样本图像以及样本对象对应的人脸外观属性标签组合时,终端可以将历史操作图像及历史操作图像对应关联的贴图的外观属性标签发送给服务器,以使得服务器将历史操作图像获取为样本图像,将历史操作图像对应关联的贴图的外观属性标签获取为样本图像对应的人脸外观属性组合标签,以对人脸外观属性模型进行训练。
在另一个示例性的方案中,该样本图像是指定群体与的历史贴图操作中的图像,该指定群体是与用户存在相同或相似贴图选择习惯的用户集群;对应的,人脸外观属性组合标签是用户集群的历史贴图选择记录中的贴图的外观属性标签;历史贴图操作中的图像与历史贴图选择记录中的贴图的外观属性标签相对应。
比如,服务器记录有各个用户对各个贴图的选择次数或者选择频率,将选取贴图的重复率大于指定阈值的用户组成指定群体,确定该指定群体中的用户是具有相同或相似的贴图选择习惯的用户;在服务器获取样本图像和样本图像对应的人脸外观属性组合标签时,将指定群体中各个用户的历史操作图像获取为样本图像,将各个用户确定的各个历史操作图像对应的贴图的外观属性标签获取为各个历史操作图像对应的人脸外观属性标签。
在一种可能的实现方式中,该人脸外观属性检测模型为多分类模型,即将人脸图像输入到该人脸外观属性检测模型中,即可获得该人脸图像对应的多个人脸外观属性。
或者,在另一种可能的实现方式中,人脸外观属性检测模型包含分别对应于不同人脸外观属性的属性模型,可以将同一人脸图像输入对应于不同人脸外观属性的属性模型中,基于对应于不同人脸外观属性的属性模型的输出结果,获得该人脸图像对应的多个人脸外观属性,即人脸外观属性组合。
在一种可能的实现方式中,人脸外观属性包括性别(gender)、年龄(age)、表情(expression)、魅力(beauty)、眼镜(glass)、发型(hair)、口罩(mask)、五官和姿态(pitch,roll,yaw)中的至少两种。
步骤330,基于人脸外观属性组合与各个贴图的外观属性标签,获取目标人脸与各个贴图的匹配度;各个贴图中的每个贴图的外观属性标签,是基于与每个贴图对应的人设分类设置的。
在一种可能的实现方式中,以各个贴图的外观属性标签的数量为基础计算目标人脸与各个贴图的匹配度,即P=a/b*100%,其中,P表示匹配度,a表示各个贴图的外观属性标签与人脸外观属性组合重合的数量,b表示各个贴图的外观属性标签数量。
假设人脸外观属性组合包括:发型-中分/寸头,眼睛-小眼/丹凤眼,脸型-瓜子脸,情绪-开心/正常;贴图A对应的外观属性标签为:发型-***头,眼睛-小眼,脸型-瓜子脸,情绪-生气;那么有眼睛和脸型这两种属性匹配,可以计算出该人脸外观属性组合与贴图A之间的匹配度为50%;贴图B对应的外观属性标签为:发型-***头,眼睛-小眼,脸型-瓜子脸,情绪-开心,那么有眼睛、脸型和情绪这三种属性匹配,可以计算出该人脸外观属性组合与贴图B之间的匹配度为 75%。
步骤340,基于目标人脸与各个贴图的匹配度,从各个贴图中确定目标贴图。
该目标贴图用以表示目标人脸对应的目标对象的人设分类。
在一种可能的实现方式中,将各个贴图中,与目标人脸对应的匹配度最高的贴图获取为目标贴图。
即,在获取到多个贴图的外观属性标签与目标人脸的外观属性组合的匹配度之后,计算机设备可以按照匹配度的从高到低的顺序对多个贴图进行排序,选取匹配度最高的一个为目标贴图。
在一种可能的实现方式中,计算机设备中设置有匹配度阈值,上述从各个贴图中确定目标贴图的过程实现:
将各个贴图中,与目标人脸对应的匹配度满足指定条件的贴图添加入候选贴图集合;该指定条件包括:与目标人脸对应的匹配度大于匹配度阈值,以及,按照与目标人脸对应的匹配度从大到小的顺序排列在前m位中的至少一项,m为大于或者等于2的整数;
从候选贴图集合中随机确定一个贴图,作为目标贴图;或者,获取当前时间对应的时间戳;基于时间戳,从候选贴图集合确定目标贴图;或者,基于候选贴图集合展示贴图选择界面,该贴图选择界面中包含候选贴图集合中的贴图对应的选项,响应于对贴图选择界面中的目标选项的选择操作,将目标选项对应的贴图确定为目标贴图。
也就是说,在判断是否将第一贴图加入候选贴图集中时,可以有三种情况: 1)响应于第一贴图与目标人脸对应的匹配度大于匹配度阈值,将第一贴图添加入候选贴图集;2)响应于第一贴图按照与目标人脸对应的匹配度从大到小的顺序排列在前m位,将第一贴图添加入候选贴图集;3)响应于第一贴图与目标人脸对应的匹配度大于匹配度阈值,且第一贴图按照与目标人脸对应的匹配度从大到小的顺序排列在前m位,将第一贴图添加入候选贴图集;该第一贴图是各个贴图中的任意一个;
基于上述情况3)进行举例:第一贴图与目标人脸对应的匹配度小于匹配度阈值,则不将第一贴图添加入候选贴图集,或者,第一贴图按照与目标人脸对应的匹配度从大到小进行排列的序号的第一贴图对应的匹配度大于匹配度阈值,但其按照与目标人脸对应的匹配度从大到小的顺序排列在前m位之后,则也不将该第一贴图添加入候选贴图集。比如:贴图A与目标人脸对应的匹配度为 50%,假设匹配值阈值为75%,那么即可确定第一贴图为非目标贴图;贴图B与目标人脸对应的匹配度为75%,且贴图B的匹配度在按照从大到小的匹配度排列顺序中处于前m位,则可将贴图B添加到候选贴图集,但若贴图B与目标人脸对应的匹配度为75%,但贴图B的匹配度在按照从大到小的匹配度排列顺序中处于前m位之后,则不将贴图B添加到候选贴图集。
在一种可能的实现方式中,在利用时间戳从候选贴图集中确定目标图像时,获取当前时间对应的时间戳,该时间戳可以是以天为单位获取的,或者,该事件戳也可以是以周为单位获取的;以达到测试每日运势或每周运势的目的。
以该时间戳是以天为单位获取的为例,将该时间戳对应的天数获取为目标贴图在候选贴图集中的排列顺序的序号;比如,今天是6号,则选取候选贴图集中按照指定顺序排序的第6个贴图为目标贴图。
在一种可能的实现方式中,响应于时间戳大于候选贴图集中贴图的最大数量,则通过取余的方式获得目标贴图的序号,比如,今天是28号,但候选目标贴图中只包含10个贴图,那么通过取余的方式,可以获取的目标贴图的序号为8,则获取候选贴图集中排序第8的贴图为目标贴图。
在一种可能的实现方式中,还可以将候选贴图集中的贴图按顺序展示在贴图选择界面上,基于用户对贴图选择界面中包含的各个贴图对应的选项的选择操作,从候选目标贴图中确定目标贴图;该贴图选择界面可以是在确定了候选贴图集之后显示在终端界面上的。
或者,在另一种可能的实现方式中,响应于对目标贴图的触发操作,展示贴图选择界面。也就是说,在计算机设备基于匹配度高低确定好目标贴图后,基于对目标贴图的触发操作,将候选贴图集中的其他候选目标贴图展示在贴图展示界面上,之后计算机设备可以基于用户的选择操作从候选目标贴图中选择一个贴图对已确定的目标贴图进行替换。
在一种可能的实现方式中,基于人脸外观属性组合与目标贴图之间的对应关系,通过人脸外观属性组合获取目标贴图,其中该对应关系可以是人脸外观属性组合与目标题图之间的匹配规则,该匹配规则存储于计算机设备中,以使得终端可以基于该匹配规则对人脸外观属性组合与目标贴图进行匹配。比如,可以将包含圆眼属性、圆脸属性、长发属性以及性别为男性的人脸外观属性组合对应于表示酷盖的人设分类的目标贴图。
在一种可能的实现方式中,该目标贴图可以是计算机设备本地存储的贴图图像中,对应于该人设分类的贴图图像中的一个,或者,该目标贴图也可以是计算机设备基于获得的目标人脸的人设分类从服务器中获取的贴图图像中的一个;该目标贴图用以表现目标人脸的人设分类。
在一种可能的实现方式中,各个贴图还可以具有人设标签,各个贴图的人设标签是唯一的,可以基于人脸外观属性组合与人设标签之间的对应关系,确定目标贴图。
在一种可能的实现方式中,人脸外观属性组合与人设标签之间的对应关系与人脸外观属性组合中包含的人脸外观属性的种类和数量有关:人脸外观属性组合包含的人脸外观属性的种类和数量越多,其对应的人设标签也少,越准确;人脸外观属性组合包含的人脸外观属性的种类和数量越少,其对应的人设标签越多,越广泛。比如,人脸外观属性组合中包含的人脸外观属性为短发、男性,其对应的人设标签可以是“打工人”,“网课人”,“保安队长”等人设标签,但若人脸外观属性组合中包含的人脸外观属性为短发,男性,眼镜,18岁,其对应的人设标签则可缩小为“网课人”。
在一种可能的实现方式中,响应于基于人脸外观属性组合确定的人设标签的个数大于一个时,分别获取至少一个人设标签对应的贴图,即获取至少一个候选目标贴图。
在一种可能的实现方式中,将至少一个候选目标贴图显示在终端界面中,基于用户的选择操作,从至少一个候选目标贴图中获取目标贴图。
或者,在一种可能的实现方式中,从至少一个候选目标贴图中随机获取一个为目标贴图。
在一种可能的实现方式中,为了提高人脸外观属性组合与目标贴图匹配的准确性,可以训练人设标签生成模型,利用训练好的人设标签生成模型对人脸外观属性组合进行处理,获得对应的人设标签,之后根据该人设标签获取目标贴图,表现为:
将人脸外观属性组合输入人设标签生成模型,获得人设标签生成模型输出的人脸外观属性组合对应的目标人设标签;
基于目标人设标签获取目标贴图;
其中,该人设标签生成模型是通过人脸外观属性组合样本,以及人脸外观属性组合样本对应的人设标签训练得到的。
在一种可能的实现方式中,对人设标签生成模型的训练过程可以是:
将人脸外观属性组合样本输入人设标签生成模型,获得人设标签生成模型输出的预测人设标签;
将人脸外观属性组合样本对应的人设标签以及预测人设标签输入损失函数,获得损失函数值;
基于损失函数值,对人设标签生成模型进行参数更新;
重复上述过程,直至人设标签生成模型对应的损失函数值收敛。
在一种可能的实现方式中,人脸外观属性组合样本及其对应的人设标签可以由开发人员进行设置。
步骤350,对目标图像进行人脸检测,确定目标人脸在目标图像中的人脸位置。
在一种可能的实现方式中,确定目标人脸在目标图像中的人脸位置可以是指获取目标人脸基于目标图像的各个特征点的位置坐标,该特征点可以是指目标人脸的边缘点,或者,该特征点也可以是能够将目标人脸包含在内的指定图形的各个顶点,比如,该指定图像可以是矩形,正方形等形状。在本申请实施例中以该特征点是能够将目标人脸包含在内的指定图形的各个顶点为例进行说明。
在一种可能的实现方式中,上述确定人脸位置的步骤可以在上述步骤320之前执行,或者也可以与步骤320同步执行,本申请中以同步执行为例进行说明。
其中,可以采用指定人脸检测器进行人脸检测,比如Dlib的人脸检测器, Opencv的CNN人脸检测器,以及类似MTCNN等人脸检测神经卷积网络等。
步骤360,基于人脸位置构建人脸框。
在一种可能的实现方式中,根据获取到的各个特征点的坐标构建人脸框,图6示出了本申请一示例性实施例示出的构建人脸框的示意图,如图6所示,目标图像610中包含目标人脸620,计算机设备基于对目标图像进行人脸检测,获取到目标人脸在目标图像中的位置,基于该目标人脸的位置构建人脸框630,需要说明的是,本申请实施例中所示的人脸框可以显示在终端界面上,或者,该人脸框也可以不显示在终端界面上。
步骤370,基于人脸框,对应目标图像中的目标人脸,展示目标贴图。
在一种可能的实现方式中,上述步骤实现为:
分别获取人脸框的中心位置以及目标贴图的中心位置。
将目标贴图显示在人脸框的中心位置与目标贴图的中心位置对齐的位置处。
为了实现将目标贴图显示在目标人脸上的效果,同时保证目标贴图与目标人脸的位置一致,在本申请实施例中基于将人脸框的中心位置与目标贴图的中心位置对齐的张贴方法,确定目标贴图在目标人脸上的显示位置。
在一种可能的实现方式中,目标贴图可以包括文字类贴图和图像类贴图,即目标贴图中的内容的表现形式可以是文字,也可以是图像。
在一种可能的实现方式中,目标贴图的张贴方向,可以由用户通过对目标贴图的触控操作进行旋转更改,假设计算机设备默认的目标贴图的初始方向为第一方向,用户通过对目标贴图的旋转操作使目标贴图旋转任意角度,将目标贴图的显示方向更改为第二方向。
在一种可能的实现方式中,目标贴图具有初始尺寸,即具有初始高度和宽度,不同贴图的初始尺寸可以不同,为了使目标贴图更加适应目标人脸,在一种可能的实现方式中,在将目标贴图显示在人脸框的中心位置与目标贴图的中心位置对齐的位置处之前,该方法还包括:
分别获取人脸框的面积以及目标图像的面积;
基于人脸框的面积以及目标图像的面积,对目标贴图的大小进行调整;
将目标贴图显示在人脸框的中心位置与目标贴图的中心位置对齐的位置处,实现为:
将调整后的目标贴图显示在人脸框的中心位置与目标贴图的中心位置对齐的位置处。
在一种可能的实现方式,基于将目标贴图进行等比例缩放的方式对目标贴图的大小进行调整。
在一种可能的实现方式中,响应于人脸框的面积占目标图像的面积小于指定阈值,将目标贴图的高度调整为人脸框的高度;
获取目标贴图的高度的第一缩放比例,该第一缩放比例是指缩放前的目标贴图的高度占缩放后的目标贴图的高度的比例;
基于第一缩放比例调整目标贴图的宽度。
在一种可能的实现方式中,以人脸框的高度和宽度中长度最大的一个为基准对目标贴图的高度和宽度进行缩放;即,若人脸框的高度和宽度中长度最大的一个为高度,则将目标贴图的高度基于人脸框的高度进行缩放后,基于目标贴图的高度的缩放比例,对目标贴图的宽度进行缩放;若人脸框的高度和宽度中长度最大的一个为宽度,则将目标贴图的宽度基于人脸框的宽度进行缩放后,基于目标贴图的宽度的缩放比例,对目标贴图的高度进行缩放。本申请实施例中以人脸框高度和宽度中长度最大的一个为高度为例进行说明。
图7示出了本申请一示例性实施例示出的对目标贴图大小进行调整的示意图,如图7所示,假设目标贴图710的高度为hs,宽度为ws,人脸框720中心像素在图像中的位置为(xr,yr),高和宽分别为hr和wr,目标贴图710的高度和宽度分别为hs和ws。首先计算人脸框的面积占目标图像的面积的比例r=(wr*hr)/ (w*h),如果比例小于指定阈值(可取阈值为0.3),说明目标人脸在目标图像中占比较小,此时基于对美观度的考虑,可适当将目标贴图适应于该目标人脸,将目标贴图的高度hs调整为人脸框高度hr,基于目标贴图高度的缩放比例(第一缩放比例)z1=hs/hr,对目标贴图的宽度ws等比例进行缩放,获得调整后的目标贴图730。
在一种可能的实现方式中,响应于人脸框的面积占目标图像的面积大于指定阈值,将目标贴图的高度调整为人脸框的高度的n倍,0<n<1;
获取目标贴图的高度的第二缩放比例,该第二缩放比例是指缩放前的目标贴图的高度占缩放后的目标贴图的高度的比例;
基于第二缩放比例调整目标贴图的宽度。
图8示出了本申请一示例性实施例示出的对目标贴图大小进行调整的示意图,如图8所示,与图7相对应,计算人脸框的面积占目标图像的面积的比例r= (wr*hr)/(w*h),如果比例大于指定阈值(可取阈值为0.3),说明目标人脸在目标图像中占比较大,此时基于对美观度的考虑,可适当将目标贴图的面积对应于目标人脸进行缩小,将目标贴图的高度hs调整为人脸框高度hr的n倍,比如0.7倍,基于目标贴图高度的缩放比例(第二缩放比例)z2=hs/n*hr,对目标贴图的宽度ws等比例进行缩放,获得调整后的目标贴图830。
在一种可能的实现方式中,基于Alpha通道混合技术,将对应目标图像中的目标人脸,展示目标贴图,获得张贴有目标贴图的目标图像:
RGB输出=RGB贴图×α贴图+RGB原图×(1-α贴图)
其中,RGB输出表示输出的目标图像的颜色值,RGB贴图表示目标贴图的颜色值,α贴图表示目标贴图的Alpha值,RGB原图表示原始目标图像的颜色值。
在一种可能的实现方式中,还可以基于其他技术对应目标图像中的目标人脸,展示目标贴图,比如,可以使用直接张贴、柏松融合等方式将目标贴图对应于目标人脸进行展示。
综上所述,本申请实施例提供的图像处理方法,通过对目标图像中的目标人脸进行人脸外观属性检测,获得对应于目标人脸外观属性组合,基于该人脸外观属性组合获取对应于该目标人脸的人脸外观属性能够表现目标人脸的人设分类的目标贴图,并将该目标贴图对应于目标人脸进行显示,使得在获取目标贴图时,可以根据人脸外观属性对表现人脸的人设分类的目标贴图获取和展示,在保证使得获取到的目标贴图的更加准确性的同时,简化选择贴图的用户操作步骤,提高了人脸贴图的效率。
图9示出了本申请一示例性实施例示出的图像处理方法的流程图,如图9 所示,该图像处理方法可以由终端执行,该终端可以实现为图1所示的终端,如图9所示,该图像处理方法包括:
步骤910,显示图像展示界面,该图像展示界面中包含图像编辑触发控件以及目标图像;该目标图像中包含目标人脸。
步骤920,响应于接收到基于图像编辑触发控件的触控操作,显示图像编辑界面,该图像编辑界面中包括贴图候选区域和图像预览区域,该图像预览区域中显示有目标图像,该贴图候选区域包含贴图自动获取控件。
步骤930,响应于接收到基于贴图自动获取控件的选择操作,对应目标图像中的目标人脸展示目标贴图,该目标贴图是基于目标人脸的人脸属性获取的对应于目标人脸的人设分类的贴图。
在一种可能的实现方式中,响应于有效人脸面积占目标人脸面积的比例小于有效人脸比例阈值,在图像编辑界面上显示人脸检测失败提示信息,该人脸检测失败提示信息用以指示无法对目标人脸进行人脸属性检测;
响应于有效人脸面积占目标人脸面积的比例大于有效人脸比例阈值,在图像编辑界面上显示人脸检测成功提示信息,该人脸检测成功提示信息用以指示正在对目标人脸进行人脸属性检测。
图10示出了本申请一示例性实施例示出的图像处理方法的示意图,该方法可以实现在终端中,如图10所示,终端界面中显示有图像展示界面,该图像展示界面中包含图像编辑触发控件1001以及目标图像1002,响应于接收到基于图像编辑触发控件(贴图)1001的触控操作,显示图像编辑界面,该图像编辑界面中包含贴图候选区域1010和图像显示区域1020,其中,贴图候选区域1010中包含贴图自动获取控件1011以及至少一个候选贴图1012,在图像显示区域1020 中显示有目标图像1002,该目标图像可以是视频中的一帧人脸图像,或者也可以是用户上传的人脸图像,或者,也可以是终端图像采集设备实时获取的人脸图像;在一种可能的实现方式中,当终端检测到存在目标图像1002时,自动对该目标图像进行人脸检测;或者,在另一种可能的实现方式中,终端在接收到基于对贴图自动获取控件(名称为“颜值评价”的控件)1011的选择操作后,对目标图像1002进行人脸检测,确定目标人脸的人脸位置,图10中以终端响应于接收到基于对贴图自动获取控件(名称为“颜值评价”的控件)1011的选择操作,对目标图像1002进行人脸检测为例,若该目标图像中的有效目标人脸面积占目标人脸面积的比例小于有效人脸比例阈值,在图像显示区域1020中显示人脸检测失败提示信息(图中未示出),若该目标图像中的有效目标人脸面积占目标人脸面积的比例大于有效人脸比例阈值,在图像显示区域1020中显示人脸检测成功提示信息1022,并对目标人脸进行人脸外观属性检测获取目标人脸的人脸外观属性组合,基于该人脸外观属性组合获取目标贴图1023,对目标贴图1023进行缩放处理后,将该处理后的目标贴图1024以中心对齐的方式显示在目标图像中的目标人脸的位置上。
图11示出了本申请一示例性实施例示出的图像处理装置的方框图,该图像处理装置可以应用于计算机设备中,如图11所示,该图像处理装置,包括:
目标图像获取模块1110,用于获取目标图像;该目标图像中包含目标人脸;
人脸外观属性检测模块1120,用于对目标图像中的目标人脸进行人脸外观属性检测,获得人脸外观属性组合;该人脸外观属性组合中包含至少两个人脸外观属性;
目标贴图获取模块1130,用于基于人脸外观属性组合,获取目标人脸的人设分类对应的目标贴图;
目标贴图展示模块1140,用于对应目标图像中的目标人脸,展示目标贴图。
在一种可能的实现方式中,该目标贴图获取模块1130,包括:
匹配度获取子模块,用于基于人脸外观属性组合与各个贴图的外观属性标签,获取目标人脸与各个贴图的匹配度;各个贴图中的每个贴图的外观属性标签,是基于与每个贴图对应的人设分类设置的;
目标贴图确定子模块,用于基于目标人脸与各个贴图的匹配度,从各个贴图中确定目标贴图。
在一种可能的实现方式中,该目标贴图确定子模块,用于:
将各个贴图中,与目标人脸对应的匹配度最高的贴图获取为目标贴图。
在一种可能的实现方式中,该目标贴图确定子模块,包括:
贴图添加单元,用于将各个贴图中,与目标人脸对应的匹配度满足指定条件的贴图添加入候选贴图集合;该指定条件包括:与目标人脸对应的匹配度大于匹配度阈值,以及,按照与目标人脸对应的匹配度从大到小的顺序排列在前m 位的至少一项,m为大于或者等于2的整数;
目标贴图确定单元,用于从候选贴图集合中随机确定一个贴图,作为目标贴图;或者,用于获取当前时间对应的时间戳;基于时间戳,从候选贴图集合确定目标贴图;或者,用于基于候选贴图集合展示贴图选择界面,该贴图选择界面中包含候选贴图集合中的贴图对应的选项,响应于对贴图选择界面中的目标选项的选择操作,将目标选项对应的贴图确定为目标贴图。
在一种可能的实现方式中,该人脸外观属性检测模块1120,用于将目标图像输入到人脸外观属性检测模型,获得人脸外观属性模型输出的人脸外观属性组合;
其中,该人脸外观属性检测模型是通过样本图像,以及样本图像对应的人脸外观属性组合标签训练得到的;该样本图像是包含人脸的图像。
在一种可能的实现方式中,该装置还包括:
人脸检测模块,用于在目标贴图展示模块1140对应目标图像中的目标人脸,展示目标贴图之前,对目标图像进行人脸检测,确定目标人脸在目标图像中的人脸位置;
人脸框构建模块,用于基于人脸位置构建人脸框;
该目标贴图展示模块1140,用于基于人脸框,对应目标图像中的目标人脸,展示目标贴图。
在一种可能的实现方式中,该目标贴图展示模块1140,包括:
位置获取子模块,用于分别获取人脸框的中心位置以及目标贴图的中心位置;
目标贴图展示子模块,用于将目标贴图展示在人脸框的中心位置与目标贴图的中心位置对齐的位置处。
在一种可能的实现方式中,该目标贴图展示模块1140,还包括:
面积获取子模块,用于在目标贴图子模块将目标贴图展示在人脸框的中心位置与目标贴图的中心位置对齐的位置处之前,分别获取人脸框的面积以及目标图像的面积;
贴图调整子模块,用于基于人脸框的面积以及目标图像的面积,对目标贴图的大小进行调整;
该目标贴图展示子模块,用于将调整后的目标贴图展示在人脸框的中心位置与目标贴图的中心位置对齐的位置处。
在一种可能的实现方式中,该贴图调整子模块,包括:
第一高度调整单元,用于响应于人脸框的面积占目标图像的面积小于指定阈值,将目标贴图的高度调整为人脸框的高度;
第一缩放比例获取单元,用于获取目标贴图的高度的第一缩放比例,该第一缩放比例是指缩放前的目标贴图的高度占缩放后的目标贴图的高度的比例;
第一高度调整单元,用于基于第一缩放比例调整目标贴图的宽度。
在一种可能的实现方式中,该贴图调整子模块,包括:
第二高度调整单元,用于响应于人脸框的面积占目标图像的面积大于指定阈值,将目标贴图的高度调整为人脸框的高度的n倍,0<n<1;
第二缩放比例获取单元,用于获取目标贴图的高度的第二缩放比例,该第二缩放比例是指缩放前的目标贴图的高度占缩放后的目标贴图的高度的比例;
第二宽度调整单元,用于基于第二缩放比例调整目标贴图的宽度。
综上所述,本申请实施例提供的图像处理装置,应用于计算机设备中,通过对目标图像中的目标人脸进行人脸外观属性检测,获得对应于目标人脸外观属性组合,基于该人脸外观属性组合获取对应于该目标人脸的人脸外观属性能够表现目标人脸的人设分类的目标贴图,并将该目标贴图对应于目标人脸进行显示,使得在获取目标贴图时,可以根据人脸外观属性对表现人脸的人设分类的目标贴图获取和展示,在保证使得获取到的目标贴图的更加准确性的同时,简化选择贴图的用户操作步骤,提高了人脸贴图的效率。
图12示出了本申请一示例性实施例示出的图像处理装置的方框图,该图像处理装置可以应用于计算机设备中,如图12所示,该图像处理装置,包括:
图像展示界面显示模块1210,用于显示图像展示界面,该图像展示界面中包含图像编辑触发控件以及目标图像;该目标图像中包含目标人脸;
图像编辑界面显示模块1220,用于显示图像编辑界面,该图像编辑界面中包括贴图候选区域和图像预览区域,该图像预览区域中显示有目标图像,该贴图候选区域包含贴图自动获取控件;
目标贴图展示模块1230,用于对应目标图像中的目标人脸展示目标贴图,该目标贴图是基于目标人脸的人脸属性获取的对应于目标人脸的人设分类的贴图。
综上所述,本申请实施例提供的图像处理装置,应用于计算机设备中,通过对目标图像中的目标人脸进行人脸外观属性检测,获得对应于目标人脸外观属性组合,基于该人脸外观属性组合获取对应于该目标人脸的人脸外观属性能够表现目标人脸的人设分类的目标贴图,并将该目标贴图对应于目标人脸进行显示,使得在获取目标贴图时,可以根据人脸外观属性对表现人脸的人设分类的目标贴图获取和展示,在保证使得获取到的目标贴图的更加准确性的同时,简化选择贴图的用户操作步骤,提高了人脸贴图的效率。
图13是根据一示例性实施例示出的计算机设备1300的结构框图。该计算机设备1300可以是图1所示的终端,比如智能手机、平板电脑或台式电脑。计算机设备1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,计算机设备1300包括有:处理器1301和存储器1302。
处理器1301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1301可以基于DSP(Digital Signal Processing,数字信号处理)、 FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA (Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1301可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器 1301还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1301所执行以实现本申请中方法实施例提供的方法。
在一些实施例中,计算机设备1300还可选包括有:***设备接口1303和至少一个***设备。处理器1301、存储器1302和***设备接口1303之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1303相连。具体地,***设备包括:射频电路1304、显示屏1305、摄像头组件1306、音频电路1307、定位组件1308和电源1309中的至少一种。
***设备接口1303可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1301和存储器1302。在一些实施例中,处理器1301、存储器1302和***设备接口1303被集成在同一芯片或电路板上;在一些其他实施例中,处理器1301、存储器1302和***设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1304用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1304包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1304还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1305用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时,显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时,显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1305可以为一个,设置计算机设备1300的前面板;在另一些实施例中,显示屏1305可以为至少两个,分别设置在计算机设备1300的不同表面或呈折叠设计;在再一些实施例中,显示屏1305可以是柔性显示屏,设置在计算机设备1300的弯曲表面上或折叠面上。甚至,显示屏1305还可以设置成非矩形的不规则图形,也即异形屏。显示屏1305可以基于LCD(Liquid Crystal Display,液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管) 等材质制备。
摄像头组件1306用于采集图像或视频。可选地,摄像头组件1306包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1301进行处理,或者输入至射频电路 1304以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在计算机设备1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1307还可以包括耳机插孔。
定位组件1308用于定位计算机设备1300的当前地理位置,以实现导航或 LBS(Location Based Service,基于位置的服务)。定位组件1308可以是基于美国的GPS(Global Positioning System,全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源1309用于为计算机设备1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,计算机设备1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于:加速度传感器1311、陀螺仪传感器1312、压力传感器1313、指纹传感器1314、光学传感器1315以及接近传感器1316。
加速度传感器1311可以检测以计算机设备1300建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号,控制显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1312可以检测计算机设备1300的机体方向及转动角度,陀螺仪传感器1312可以与加速度传感器1311协同采集用户对计算机设备1300的 3D动作。处理器1301根据陀螺仪传感器1312采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1313可以设置在计算机设备1300的侧边框和/或显示屏1305的下层。当压力传感器1313设置在计算机设备1300的侧边框时,可以检测用户对计算机设备1300的握持信号,由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在显示屏1305的下层时,由处理器1301根据用户对显示屏1305的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1314用于采集用户的指纹,由处理器1301根据指纹传感器1314 采集到的指纹识别用户的身份,或者,由指纹传感器1314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1301授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1314可以被设置计算机设备1300的正面、背面或侧面。当计算机设备1300上设置有物理按键或厂商Logo时,指纹传感器 1314可以与物理按键或厂商Logo集成在一起。
光学传感器1315用于采集环境光强度。在一个实施例中,处理器1301可以根据光学传感器1315采集的环境光强度,控制显示屏1305的显示亮度。具体地,当环境光强度较高时,调高显示屏1305的显示亮度;当环境光强度较低时,调低显示屏1305的显示亮度。在另一个实施例中,处理器1301还可以根据光学传感器1315采集的环境光强度,动态调整摄像头组件1306的拍摄参数。
接近传感器1316,也称距离传感器,通常设置在计算机设备1300的前面板。接近传感器1316用于采集用户与计算机设备1300的正面之间的距离。在一个实施例中,当接近传感器1316检测到用户与计算机设备1300的正面之间的距离逐渐变小时,由处理器1301控制显示屏1305从亮屏状态切换为息屏状态;当接近传感器1316检测到用户与计算机设备1300的正面之间的距离逐渐变大时,由处理器1301控制显示屏1305从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图13中示出的结构并不构成对计算机设备1300 的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者基于不同的组件布置。
本领域技术人员可以理解,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
在一示例性实施例中,还提供了一种计算机可读存储介质,用于存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像处理方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在一示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图2、图3或图9任一实施例所示方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (15)
1.一种图像处理方法,其特征在于,所述方法包括:
获取目标图像;所述目标图像中包含目标人脸;
对所述目标图像中的所述目标人脸进行人脸外观属性检测,获得人脸外观属性组合;所述人脸外观属性组合中包含至少两个人脸外观属性;
基于所述人脸外观属性组合,获取所述目标人脸的人设分类对应的目标贴图;
对应所述目标图像中的所述目标人脸,展示所述目标贴图。
2.根据权利要求1所述的方法,其特征在于,所述基于所述人脸外观属性组合获取所述目标人脸的人设分类对应的目标贴图,包括:
基于所述人脸外观属性组合与各个贴图的外观属性标签,获取所述目标人脸与所述各个贴图的匹配度;所述各个贴图中的每个贴图的外观属性标签,是基于与每个贴图对应的人设分类设置的;
基于所述目标人脸与所述各个贴图的匹配度,从所述各个贴图中确定所述目标贴图。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标人脸与所述各个贴图的匹配度,从所述各个贴图中确定所述目标贴图,包括:
将所述各个贴图中,与所述目标人脸对应的匹配度最高的贴图获取为所述目标贴图。
4.根据权利要求3所述的方法,其特征在于,所述基于所述目标人脸与所述各个贴图的匹配度,从所述各个贴图中确定所述目标贴图,包括:
将所述各个贴图中,与所述目标人脸对应的匹配度满足指定条件的贴图添加入候选贴图集合;所述指定条件包括:与所述目标人脸对应的匹配度大于匹配度阈值,以及,按照与目标人脸对应的匹配度从大到小的顺序排列在前m位中的至少一项,m为大于或者等于2的整数;
从所述候选贴图集合中随机确定一个贴图,作为所述目标贴图;或者,获取当前时间对应的时间戳;基于所述时间戳,从所述候选贴图集合确定所述目标贴图;或者,基于所述候选贴图集合展示贴图选择界面,所述贴图选择界面中包含所述候选贴图集合中的贴图对应的选项,响应于对所述贴图选择界面中的目标选项的选择操作,将所述目标选项对应的贴图确定为所述目标贴图。
5.根据权利要求1所述的方法,其特征在于,所述对所述目标图像中的所述目标人脸进行人脸外观属性检测,获得人脸外观属性组合,包括:
将所述目标图像输入到人脸外观属性检测模型,获得所述人脸外观属性模型输出的人脸外观属性组合;
其中,所述人脸外观属性检测模型是通过样本图像,以及所述样本图像对应的人脸外观属性组合标签训练得到的;所述样本图像是包含人脸的图像。
6.根据权利要求1所述的方法,其特征在于,在对应所述目标图像中的所述目标人脸,展示所述目标贴图之前,所述方法还包括:
对所述目标图像进行人脸检测,确定所述目标人脸在所述目标图像中的人脸位置;
基于所述人脸位置构建人脸框;
所述对应所述目标图像中的所述目标人脸,展示所述目标贴图,包括:
基于所述人脸框,对应所述目标图像中的所述目标人脸,展示所述目标贴图。
7.根据权利要求6所述的方法,其特征在于,所述基于所述人脸框,对应所述目标图像中的所述目标人脸,展示所述目标贴图,包括:
分别获取所述人脸框的中心位置以及所述目标贴图的中心位置;
将所述目标贴图展示在所述人脸框的中心位置与所述目标贴图的中心位置对齐的位置处。
8.根据权利要求7所述的方法,其特征在于,所述将所述目标贴图展示在所述人脸框的中心位置与所述目标贴图的中心位置对齐的位置处之前,所述方法还包括:
分别获取所述人脸框的面积以及所述目标图像的面积;
基于所述人脸框的面积以及所述目标图像的面积,对所述目标贴图的大小进行调整;
所述将所述目标贴图展示在所述人脸框的中心位置与所述目标贴图的中心位置对齐的位置处,包括:
将调整后的所述目标贴图展示在所述人脸框的中心位置与所述目标贴图的中心位置对齐的位置处。
9.根据权利要求8所述的方法,其特征在于,所述基于所述人脸框的面积以及所述目标图像的面积,对所述目标贴图的大小进行调整,包括:
响应于所述人脸框的面积占所述目标图像的面积小于指定阈值,将所述目标贴图的高度调整为所述人脸框的高度;
获取所述目标贴图的高度的第一缩放比例,所述第一缩放比例是指缩放前的所述目标贴图的高度占缩放后的所述目标贴图的高度的比例;
基于所述第一缩放比例调整所述目标贴图的宽度。
10.根据权利要求8所述的方法,其特征在于,所述基于所述人脸框的面积以及所述目标图像的面积,对所述目标贴图的大小进行调整,包括:
响应于人脸框的面积占所述目标图像的面积大于所述指定阈值,将所述目标贴图的高度调整为所述人脸框的高度的n倍,0<n<1;
获取所述目标贴图的高度的第二缩放比例,所述第二缩放比例是指缩放前的所述目标贴图的高度占缩放后的所述目标贴图的高度的比例;
基于所述第二缩放比例调整所述目标贴图的宽度。
11.一种图像处理方法,其特征在于,所述方法包括:
显示图像展示界面,所述图像展示界面中包含图像编辑触发控件以及目标图像;所述目标图像中包含目标人脸;
响应于接收到基于所述图像编辑触发控件的触控操作,显示图像编辑界面,所述图像编辑界面中包括贴图候选区域和图像预览区域,所述图像预览区域中显示有所述目标图像,所述贴图候选区域包含贴图自动获取控件;
响应于接收到基于所述贴图自动获取控件的选择操作,对应所述目标图像中的所述目标人脸展示目标贴图,所述目标贴图是基于所述目标人脸的人脸属性获取的对应于所述目标人脸的人设分类的贴图。
12.一种图像处理装置,其特征在于,所述装置包括:
目标图像获取模块,用于获取目标图像;所述目标图像中包含目标人脸;
人脸外观属性检测模块,用于对所述目标图像中的所述目标人脸进行人脸外观属性检测,获得人脸外观属性组合;所述人脸外观属性组合中包含至少两个人脸外观属性;
目标贴图获取模块,用于基于所述人脸外观属性组合获取所述目标人脸的人设分类对应的目标贴图;
目标贴图展示模块,用于对应所述目标图像中的所述目标人脸,展示所述目标贴图。
13.一种图像处理装置,其特征在于,所述装置包括:
图像展示界面显示模块,显示图像展示界面,所述图像展示界面中包含图像编辑触发控件以及目标图像;所述目标图像中包含目标人脸;
图像编辑界面显示模块,用于显示图像编辑界面,所述图像编辑界面中包括贴图候选区域和图像预览区域,所述图像预览区域中显示有所述目标图像,所述贴图候选区域包含贴图自动获取控件;
目标贴图展示模块,用于对应所述目标图像中的所述目标人脸展示目标贴图,所述目标贴图是基于所述目标人脸的人脸属性获取的对应于所述目标人脸的人设分类的贴图。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器存储有至少一条指令、至少一条程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的图像处理方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至11任一所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011438518.5A CN112907702A (zh) | 2020-12-07 | 2020-12-07 | 图像处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011438518.5A CN112907702A (zh) | 2020-12-07 | 2020-12-07 | 图像处理方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112907702A true CN112907702A (zh) | 2021-06-04 |
Family
ID=76111422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011438518.5A Pending CN112907702A (zh) | 2020-12-07 | 2020-12-07 | 图像处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112907702A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114661214A (zh) * | 2022-02-18 | 2022-06-24 | 北京达佳互联信息技术有限公司 | 图像显示方法、装置及存储介质 |
-
2020
- 2020-12-07 CN CN202011438518.5A patent/CN112907702A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114661214A (zh) * | 2022-02-18 | 2022-06-24 | 北京达佳互联信息技术有限公司 | 图像显示方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109308727B (zh) | 虚拟形象模型生成方法、装置及存储介质 | |
CN111541907B (zh) | 物品显示方法、装置、设备及存储介质 | |
CN110807361A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN112749613B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
CN110263617B (zh) | 三维人脸模型获取方法及装置 | |
CN112578971B (zh) | 页面内容展示方法、装置、计算机设备及存储介质 | |
CN113569614A (zh) | 虚拟形象生成方法、装置、设备及存储介质 | |
CN111242090A (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
CN113395542A (zh) | 基于人工智能的视频生成方法、装置、计算机设备及介质 | |
CN112036331A (zh) | 活体检测模型的训练方法、装置、设备及存储介质 | |
CN110796005A (zh) | 在线教学监控的方法、装置、电子设备及介质 | |
CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN109978996B (zh) | 生成表情三维模型的方法、装置、终端及存储介质 | |
CN113706678A (zh) | 获取虚拟形象的方法、装置、设备及计算机可读存储介质 | |
CN111836073B (zh) | 视频清晰度的确定方法、装置、设备及存储介质 | |
CN113705302A (zh) | 图像生成模型的训练方法、装置、计算机设备及存储介质 | |
CN112135191A (zh) | 视频编辑方法、装置、终端及存储介质 | |
CN110675473B (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
CN113570614A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN114741559A (zh) | 确定视频封面的方法、设备及存储介质 | |
CN111327819A (zh) | 选择图像的方法、装置、电子设备及介质 | |
CN113821658A (zh) | 对编码器进行训练的方法、装置、设备及存储介质 | |
CN112528760A (zh) | 图像处理方法、装置、计算机设备及介质 | |
CN113516665A (zh) | 图像分割模型的训练方法、图像分割方法、装置、设备 | |
CN112907702A (zh) | 图像处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40047315 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |