CN113095233B - 模型训练方法、动漫人脸的检测方法及电子设备 - Google Patents
模型训练方法、动漫人脸的检测方法及电子设备 Download PDFInfo
- Publication number
- CN113095233B CN113095233B CN202110405193.9A CN202110405193A CN113095233B CN 113095233 B CN113095233 B CN 113095233B CN 202110405193 A CN202110405193 A CN 202110405193A CN 113095233 B CN113095233 B CN 113095233B
- Authority
- CN
- China
- Prior art keywords
- face
- cartoon
- training
- cartoon face
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 121
- 238000012549 training Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000001815 facial effect Effects 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims description 73
- 210000000744 eyelid Anatomy 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 210000003128 head Anatomy 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 description 136
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种模型训练方法、动漫人脸的检测方法及电子设备;其中,该模型训练方法包括:获取动漫人脸图像以及根据所述动漫人脸图像中第一面部区域生成的训练样本;确定所述动漫人脸图像中第二面部区域的特征值;其中,所述第二面部区域为:所述第一面部区域内用于指示动漫人脸图像或真实人脸图像的区域;基于所述训练样本和所述特征值,训练得到动漫人脸检测模型。本发明能够解决目前的检测模型用于动漫人脸的识别时存在识别准确性较低的问题。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种模型训练方法、动漫人脸的检测方法及电子设备。
背景技术
随着科技的不断发展,动漫人脸识别在视频通讯、直播等领域得到了越来越多的应用。目前通常采用检测模型来进行动漫人脸的识别,因此该检测模型识别准确性的高低至关重要。
发明内容
本发明提供一种模型训练方法、动漫人脸的检测方法及电子设备,解决了现有技术中的检测模型用于动漫人脸的识别时存在识别准确性较低的问题。
为了解决上述技术问题,本发明实施例是这样实现的:
第一方面,本发明的实施例提供一种模型训练方法,包括:
获取动漫人脸图像以及根据所述动漫人脸图像中第一面部区域生成的训练样本;
确定所述动漫人脸图像中第二面部区域的特征值;其中,所述第二面部区域为:所述第一面部区域内用于指示动漫人脸图像或真实人脸图像的区域;
基于所述训练样本和所述特征值,训练得到动漫人脸检测模型。
可选地,所述确定所述动漫人脸图像中第二面部区域的特征值,包括:
基于辅助网络模型,确定所述第二面部区域中的多个特征位置;其中,所述辅助网络模型用于对所述第二面部区域进行处理;
根据所述多个特征位置各自对应的参数值,计算得到所述特征值。
可选地,所述第二面部区域包括眼部特征,所述特征值用于指示所述眼部特征的眼睛区域大小。
可选地,所述特征位置包括:内眼角位置、外眼角位置、位于上眼睑的至少一个第一位置、位于下眼睑的至少一个第二位置;
所述根据所述多个特征位置各自对应的参数值,计算得到所述特征值,包括:
基于左眼的外眼角位置对应的参数值和右眼的外眼角位置对应的参数值,计算得到左眼和右眼的外眼角位置之间的第一距离;
基于所述第一距离以及目标眼睛的内眼角位置对应的参数值和所述目标眼睛的外眼角位置对应的参数值,计算得到所述目标眼睛的宽度;其中,所述目标眼睛包括所述左眼和所述右眼中的至少一个;
基于所述第一距离以及所述目标眼睛的第一位置对应的参数值和所述目标眼睛的第二位置对应的参数值,计算得到所述目标眼睛的高度;
将所述目标眼睛的宽度和所述目标眼睛的高度确定为眼部特征的特征值。
可选地,所述第二面部区域包括下巴特征,所述特征值用于指示所述下巴特征的下巴尖细程度。
可选地,所述特征位置包括:位于下巴的第一侧轮廓上的至少一个第三位置、位于下巴的第二侧轮廓上的至少一个第四位置、所述第一侧轮廓和所述第二侧轮廓相交位置的第五位置;
所述根据所述多个特征位置各自对应的参数值,计算得到所述特征值,包括:
基于所述第三位置对应的参数值、所述第四位置对应的参数值和所述第五位置对应的参数值,计算得到所述第一侧轮廓与所述第二侧轮廓之间的角度;
将所述角度确定为下巴特征的特征值。
可选地,所述基于所述训练样本和所述特征值,训练得到动漫人脸检测模型,包括:
基于所述训练样本,识别所述第一面部区域的特征;
基于所述第一面部区域的特征,进行动漫人脸检测模型的训练;
在所述动漫人脸检测模型的损失函数收敛时,确定训练得到动漫人脸检测模型;其中,所述损失函数通过所述特征值确定。
可选地,所述损失函数是通过以下方式确定的:
针对所述第二面部区域的多个特征值,分别确定所述特征值与标注值之间的差值;
基于每个特征值对应的权重值和所述差值,确定所述损失函数中目标检测损失函数的总权重值;
根据所述总权重值和目标检测损失函数,确定所述损失函数;
其中,所述目标检测损失函数通过所述第一面部区域、基于所述动漫人脸检测模型识别面部特征得到的第三面部区域、所述第一面部区域和所述第三面部区域的重叠区域确定。
第二方面,本发明实施例还提供一种模型训练装置,包括:
获取模块,用于获取动漫人脸图像以及根据所述动漫人脸图像中第一面部区域生成的训练样本;
确定模块,用于确定所述动漫人脸图像中第二面部区域的特征值;其中,所述第二面部区域为:所述第一面部区域内用于指示动漫人脸图像或真实人脸图像的区域;
训练模块,用于基于所述训练样本和所述特征值,训练得到动漫人脸检测模型。
可选地,所述确定模块包括:
第一确定子模块,用于基于辅助网络模型,确定所述第二面部区域中的多个特征位置;其中,所述辅助网络模型用于对所述第二面部区域进行处理;
计算子模块,用于根据所述多个特征位置各自对应的参数值,计算得到所述特征值。
可选地,所述第二面部区域包括眼部特征,所述特征值用于指示所述眼部特征的眼睛区域大小。
可选地,所述特征位置包括:内眼角位置、外眼角位置、位于上眼睑的至少一个第一位置、位于下眼睑的至少一个第二位置;
所述计算子模块包括:
第一计算单元,用于基于左眼的外眼角位置对应的参数值和右眼的外眼角位置对应的参数值,计算得到左眼和右眼的外眼角位置之间的第一距离;
第二计算单元,用于基于所述第一距离以及目标眼睛的内眼角位置对应的参数值和所述目标眼睛的外眼角位置对应的参数值,计算得到所述目标眼睛的宽度;其中,所述目标眼睛包括所述左眼和所述右眼中的至少一个;
第三计算单元,用于基于所述第一距离以及所述目标眼睛的第一位置对应的参数值和所述目标眼睛的第二位置对应的参数值,计算得到所述目标眼睛的高度;
第一确定单元,用于将所述目标眼睛的宽度和所述目标眼睛的高度确定为眼部特征的特征值。
可选地,所述第二面部区域包括下巴特征,所述特征值用于指示所述下巴特征的下巴尖细程度。
可选地,所述特征位置包括:位于下巴的第一侧轮廓上的至少一个第三位置、位于下巴的第二侧轮廓上的至少一个第四位置、所述第一侧轮廓和所述第二侧轮廓相交位置的第五位置;
所述第一计算子模块包括:
第四计算单元,用于基于所述第三位置对应的参数值、所述第四位置对应的参数值和所述第五位置对应的参数值,计算得到所述第一侧轮廓与所述第二侧轮廓之间的角度;
第二确定单元,用于将所述角度确定为下巴特征的特征值。
可选地,所述训练模块包括:
识别子模块,用于基于所述训练样本,识别所述第一面部区域的特征;
训练子模块,用于基于所述第一面部区域的特征,进行动漫人脸检测模型的训练;
第二确定子模块,用于在所述动漫人脸检测模型的损失函数收敛时,确定训练得到动漫人脸检测模型;其中,所述损失函数通过所述特征值确定。
可选地,所述损失函数是通过以下方式确定的:
针对所述第二面部区域的多个特征值,分别确定所述特征值与标注值之间的差值;
基于每个特征值对应的权重值和所述差值,确定所述损失函数中目标检测损失函数的总权重值;
根据所述总权重值和目标检测损失函数,确定所述损失函数;
其中,所述目标检测损失函数通过所述第一面部区域、基于所述动漫人脸检测模型识别面部特征得到的第三面部区域、所述第一面部区域和所述第三面部区域的重叠区域确定。
第三方面,本发明实施例还提供一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述处理器执行所述程序时实现如上所述的模型训练方法的步骤。
第四方面,本发明实施例还提供一种可读存储介质,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如上所述的模型训练方法的步骤。
第五方面,本发明实施例还提供一种动漫人脸的检测方法,应用于如上所述的模型训练方法所训练得到的动漫人脸检测模型;所述方法包括:
获取待识别图像;
基于所述动漫人脸检测模型识别所述待识别图像中的第一面部区域的特征;
若基于所述第一面部区域的特征确定所述动漫人脸检测模型的损失函数收敛,则确定检测到所述待识别图像中的动漫人脸。
第六方面,本发明实施例还提供一种动漫人脸的检测装置,应用于如上所述的模型训练方法所训练得到的动漫人脸检测模型;所述装置包括:
获取模块,用于获取待识别图像;
识别模块,用于基于所述动漫人脸检测模型识别所述待识别图像中的第一面部区域的特征;
确定模块,用于若基于所述第一面部区域的特征确定所述动漫人脸检测模型的损失函数收敛,则确定检测到所述待识别图像中的动漫人脸。
第七方面,本发明实施例还提供一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述处理器执行所述程序时实现如上所述的动漫人脸的检测方法的步骤。
第八方面,本发明实施例还提供一种可读存储介质,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如上所述的动漫人脸的检测方法的步骤。
本发明的实施例,通过获取动漫人脸图像以及根据所述动漫人脸图像中第一面部区域生成的训练样本;并基于所述训练样本和所述动漫人脸图像中第二面部区域的特征值,训练得到动漫人脸检测模型。其中,所述第二面部区域为:所述第一面部区域内用于指示动漫人脸图像或真实人脸图像的区域,也即针对指示动漫人脸图像或真实人脸图像的区域进行单独的特征识别,从而实现检测模型对动漫人脸特征的识别能力,进而保证检测模型对动漫人脸的检出率,降低真实人脸的误检率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本发明实施例的模型训练方法的流程图;
图2表示本发明实施例的第一面部区域标注的示意图;
图3表示本发明实施例的第二面部区域标注的示意图;
图4表示本发明实施例的主干网络和辅助网络的结构示意图;
图5表示本发明实施例的辅助网络的结构示意图之一;
图6表示本发明实施例的辅助网络的结构示意图之二;
图7表示本发明实施例的模型训练装置的框图;
图8表示本发明实施例的电子设备的框图;
图9表示本发明实施例的动漫人脸的检测方法的流程图;
图10表示本发明实施例的动漫人脸的检测装置的框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。另外,本文中术语“***”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
本发明实施例中,用户终端可以是移动电话(或手机),或者其他能够发送或接收无线信号的设备,包括用户设备、个人数字助理(PDA)、无线调制解调器、无线通信装置、手持装置、膝上型计算机、无绳电话、无线本地回路(WLL)站、能够将移动信号转换为WiFi信号的CPE(Customer Premise Equipment,客户终端)或移动智能热点、智能家电、或其他不通过人的操作就能自发与移动通信网络通信的设备等。
具体地,本发明实施例提供一种模型训练方法,解决了现有技术中的人脸检测模型在检测动漫人脸时存在检测结果准确率低的问题。
如图1所示,本发明实施例提供了一种模型训练方法,包括:
步骤11:获取动漫人脸图像以及根据所述动漫人脸图像中第一面部区域生成的训练样本。
可选地,该动漫人脸图像可以是包含动漫人脸的图像。其中,该图像中可以仅包括动漫人脸图像和背景图像,该图像中也可以包含动漫人脸图像、动漫人物的身体区域图像和背景图像等,本申请实施例不以此为限。
可选地,该第一面部区域可以是动漫人脸的头部区域,如该第一面部区域可以包括动漫人脸的整个面部区域(包括五官特征)、头发区域、发饰区域等。
步骤12:确定所述动漫人脸图像中第二面部区域的特征值;其中,所述第二面部区域为:所述第一面部区域内用于指示动漫人脸图像或真实人脸图像的区域。
可选地,第二面部区域可以是所述动漫人脸中区别于真实人脸的面部特征区域。例如:动漫人物的头发(如发型、发色等)、眼睛、下巴等区域均可能与真实人物存在明显的区别,因此可以将头发、眼睛、下巴等区域作为该第二面部区域,用于区别真实人脸和动漫人物。
可选地,该特征值的大小可以反映动漫人脸区别于真实人脸的程度,如眼睛特征对应的特征值越大,则反映其区别于真实人脸中眼睛特征的程度越大,则被识别为动漫人脸的准确性越高;如下巴特征对应的特征值越小,则反映其区别于真实人脸中下巴特征的程度越大,则被识别为动漫人脸的准确性越高。
步骤13:基于所述训练样本和所述特征值,训练得到动漫人脸检测模型。
例如:可以基于该训练样本和所述特征值,对人脸检测模型进行训练,从而得到用于检测动漫人脸的动漫人脸检测模型。
该实施例中,通过获取动漫人脸图像以及根据所述动漫人脸图像中第一面部区域生成的训练样本;并基于所述训练样本和所述动漫人脸图像中第二面部区域的特征值,训练得到动漫人脸检测模型。其中,所述第二面部区域为:所述第一面部区域内用于指示动漫人脸图像或真实人脸图像的区域,也即针对指示动漫人脸图像或真实人脸图像的区域进行单独的特征识别,从而实现检测模型对动漫人脸特征的识别能力,进而保证检测模型对动漫人脸的检出率,降低真实人脸的误检率。
可选地,本发明实施例中的模型训练方法的网络结构可以包括:主干网络和辅助网络;如图2所示,在标注数据时,可以将标注框从仅包含人脸的标注框22扩大至包含头发的大人脸区域的标注框21。由于动漫人物发色、发型等均与真实人物存在明显的区别,将此部分作为重要特征,输入至网络训练中,且该部分标注内容用于训练主干网络。如图3所示,标注人脸240点,可以取其中包含眼睛及下巴的17个关键点,由于动漫人物的超大眼睛及尖下巴是典型的特征,是与真实人物有显著区别的特征,该部分的标注内容用于训练辅助网络,从而基于辅助网络对主干网络进行训练得到的动漫人脸检测模型,可以大大减小真实人脸及部分动物如猫脸的误检率。
可选地,所述确定所述动漫人脸图像中第二面部区域的特征值,包括:
基于辅助网络模型,确定所述第二面部区域中的多个特征位置;其中,所述辅助网络模型用于对所述第二面部区域进行处理;
根据所述多个特征位置各自对应的参数值,计算得到所述特征值。
在目前主流人脸检测方案中,特征都是单纯依赖神经网络进行提取,特征提取的好坏依赖于神经网络的复杂度及输入数据的准确性和丰富性。本方案中,通过增加辅助网络对动漫人物与真实人物有显著区别的特定面部特征进行训练得到特征值,以基于获得的特征值和样本图像对动漫人脸检测模型进行训练,来得到训练后的动漫人脸检测模型,从而更好的区分真实人脸及动漫人脸的关键特征,大大减少了误检率。
可选地,所述第二面部特征包括眼部特征,所述特征值用于指示所述眼部特征的眼睛区域大小。其中,眼睛区域大小可以基于对眼睛宽度、眼睛高度的计算确定,或者基于除此之外的其他方式确定,本申请实施例不以此为限。
以下基于眼睛的宽度和眼睛的高度来确定眼睛区域大小为例,对上述特征值的确定方式进行说明:
可选地,所述特征位置包括:内眼角位置、外眼角位置、位于上眼睑的至少一个第一位置、位于下眼睑的至少一个第二位置;所述根据所述多个特征位置各自对应的参数值,计算得到所述特征值,包括:
基于左眼的外眼角位置对应的参数值和右眼的外眼角位置对应的参数值,计算得到左眼和右眼的外眼角位置之间的第一距离;
基于所述第一距离以及目标眼睛的内眼角位置对应的参数值和所述目标眼睛的外眼角位置对应的参数值,计算得到所述目标眼睛的宽度;其中,所述目标眼睛包括所述左眼和所述右眼中的至少一个;
基于所述第一距离以及所述目标眼睛的第一位置对应的参数值和所述目标眼睛的第二位置对应的参数值,计算得到所述目标眼睛的高度;
将所述目标眼睛的宽度和所述目标眼睛的高度确定为眼部特征的特征值。
具体的,可以基于上述方式,分别计算得到动漫人脸中左眼的宽度和左眼的高度,以及右眼的高度和右眼的宽度,并将其作为眼部特征的特征值。
例如:针对包含有动漫人脸的样本图像,可以标注人脸240点;如图3所示,可以取其中包含眼睛的12个关键点(l1、l2、l3、l4、l5、l6、r1、r2、r3、r4、r5、r6),由于动漫人物的超大眼睛是典型的特征,是与真实人物有显著区别的特征,加入该特征进入训练,可以大大减小真实人脸及部分动物如猫脸的误检率。
可以基于以下公式,计算得到左眼和右眼的外眼角位置之间的第一距离:
FE=dist(l1,r4)
其中,FE为左眼和右眼的外眼角位置之间的第一距离,l1表示左眼外眼角位置的标注,r4表示右眼外眼角位置的标注,dist表示距离函数。
在确定第一距离的基础上,可以基于以下公式计算得到左眼的宽度:
FE1=1-dist(l1,l4)/FE
其中,FE1为左眼的宽度,l4表示左眼内眼角位置的标注。
以及,基于以下公式计算得到左眼的高度:
FE2=1-dist(avg(l2,l3),avg(l5,l6))/FE
其中,FE2为左眼的高度,l2,l3表示位于左眼的上眼睑的两个位置的标注,l5,l6表示位于左眼的下眼睑的两个位置的标注,avg表示平均值函数。
相应的,在确定第一距离的基础上,可以基于以下公式计算得到右眼的宽度:
FE3=1-dist(r1,r4)/FE
其中,FE3为右眼的宽度,l1表示右眼内眼角位置的标注。
以及,基于以下公式计算得到右眼的高度:
FE4=1-dist(avg(r2,r3),avg(r5,r6))/FE
其中,FE4为右眼的高度,r2,r3表示位于右眼的上眼睑的两个位置的标注,r5,r6表示位于右眼的下眼睑的两个位置的标注。可选地,该标注可以是坐标或者除此之外的其他标注方式,本申请实施例不以此为限。
基于以上特征通过计算眼睛的宽度及高度,再除以两眼宽距(即第一距离)做归一化处理,用于表征眼睛大小,即确定眼部特征的特征值。
可选地,所述第二面部特征包括下巴特征,所述特征值用于指示所述下巴特征的下巴尖细程度。其中,下巴尖细程度可以通过下巴的角度确定,如左右腮边之间的角度来表征,或者基于除此之外的其他方式确定,本申请实施例不以此为限。
以下基于下巴的角度来确定下巴尖细程度为例,对上述特征值的确定方式进行说明:
可选地,所述特征位置包括:位于下巴的第一侧轮廓上的至少一个第三位置、位于下巴的第二侧轮廓上的至少一个第四位置、所述第一侧轮廓和所述第二侧轮廓相交位置的第五位置;
所述根据所述多个特征位置各自对应的参数值,计算得到所述特征值,包括:
基于所述第三位置对应的参数值、所述第四位置对应的参数值和所述第五位置对应的参数值,计算得到所述第一侧轮廓与所述第二侧轮廓之间的角度;
将所述角度确定为下巴特征的特征值。
例如:针对包含有动漫人脸的样本图像,可以标注人脸240点;如图2所示,可以取其中包含下巴的5个关键点(j1、j2、j3、j4、j5),由于动漫人物的尖下巴是典型的特征,是与真实人物有显著区别的特征,加入该特征进入训练,可以大大减小真实人脸及部分动物如猫脸的误检率。
可以基于以下公式,计算得到下巴的角度,如图2中所述第一侧轮廓(j1、j2、j3)和所述第二侧轮廓(j3、j4、j5)之间的角度:
FJ=avg(angle(j1,j2),angle(j4,j5))+λ*avg(angle(j2,j3),angle(j4,j3))
其中,FJ为下巴的角度,j1,j2为下巴的第一侧轮廓上的两个位置的标注,j4,j5为下巴的第二侧轮廓上的两个位置的标注,j3为下巴尖位置的标注(即第一侧轮廓和第二侧轮廓相交位置的标注),angle为角度函数,avg为平均值函数,λ为动态调节系数。可选地,该标注可以是坐标或者除此之外的其他标注方式,本申请实施例不以此为限。
基于以上特征通过计算下巴两侧关键点的夹角,再以λ(如可取0.5)加权求和,用于表征下巴尖细程度。
以下结合主干网络和辅助网络对本发明实施例中的动漫人脸检测模型的训练过程进行说明:
如图4所示,给出了一种主干网络和辅助网络的网络结构,其中,主干网络主要用于检测大人脸区域(即第二面部区域,如可以包括发色、发型、人脸区域等),其通过使用深度可分离卷积抽取多层次的目标特征进行预测,能够提高识别效率。在模型设计上,可以参考类似mobilenet_v2等主流网络的结构。
其中,辅助网络负责识别额外标注的特征(即第二面部区域,如包括眼睛距离特征及下巴角度等)。辅助网络通过针对眼部特征和下巴特征等的特征处理,将预测得到的特征值用于优化目标的计算,从而通过反向传播和权值共享反向影响主干网络的权重,进而达到对动漫人脸特征针对性的训练,提高识别的准确率,而在实际推理时辅助网络可不参与运算。因此,本发明实施例中的辅助网络可以通过设计卷积核数更多,计算量更大的普通卷积替换深度可分离卷积,如采用传统图像卷积和全连接的操作进行构造,如图5和图6所示,给出了两种辅助网络的结构:conv_block及mbv2_block。
可选地,所述基于所述训练样本和所述特征值,训练得到动漫人脸检测模型,包括:
基于所述训练样本,识别所述第一面部区域的特征;
基于所述第一面部区域的特征,进行动漫人脸检测模型的训练;
在所述动漫人脸检测模型的损失函数收敛时,确定训练得到动漫人脸检测模型;其中,所述损失函数通过所述特征值确定。
例如:结合图4中主干网络和辅助网络结构。辅助网络在模型设计上,前四层共用了主流网络的结构,从第五层起单独分支;其中,在主干网络的前四层进行头部区域(即第一面部区域)特征的粗识别,如识别头部区域的头发、眼睛、鼻子、嘴巴、下巴、耳朵等;在主干网络的第五层开始,进行以上特征的精识别,如识别发、眼睛、鼻子、嘴巴、下巴、耳朵具体特征,同时结合辅助网络的特征值,进行动漫人脸检测模型的训练,由于损失函数是基于特征值确定的,从而辅助网络通过反向传播和权值共享反向影响主干网络的权重,进而达到对动漫人脸特征针对性的训练,提高识别的准确率。
可选地,所述损失函数是通过以下方式确定的:
针对第二面部区域的多个特征值,分别确定所述特征值与标注值之间的差值;
基于每个特征值对应的权重值和所述差值,确定所述损失函数中目标检测损失函数的总权重值;
根据所述总权重值和目标检测损失函数,确定所述损失函数;
其中,所述目标检测损失函数通过所述第一面部区域、基于所述动漫人脸检测模型识别面部特征得到的第三面部区域、所述第一面部区域和所述第三面部区域的重叠区域确定。
可选地,目标检测损失函数可以是:其中,A表示标注的区域,即第一面部区域;B表示识别的区域,即基于所述动漫人脸检测模型识别面部特征得到的第三头部区域;C表示A和B的最小闭包,即所述第一区域和所述第二区域的重叠区域。
本发明实施例的损失函数可以为:
该损失函数在上述目标检测损失函数基础上增加了基于辅助网络训练的特征结果进行加权平均的系数,使得辅助网络的训练结果可通过影响损失函数的值,进而通过反向传播影响主干网络的参数权重更新,达到主辅网络结合的效果。
其中,我们将通过辅助网络预测得到一个预测的下巴角度θp,及4个眼部特征的距离值FEip;计算θp与下巴对应的标注角度θg(或者可理解为样本图像中动漫人脸的下巴的真实角度)的差值,记为θl;计算眼部特征的特征值FEip与眼部特征对应的标注值FEig(或者可理解为样本图像中动漫人脸的眼部特征的真实距离)的L2距离,记为FEil;M为单个批次的样本数,Wi为各FE的权重系数。
在实际训练中,当检测眼睛越大,与训练集内动漫人物越接近(即4个眼部特征距离值之和越小),下巴越尖,与训练集内动漫人物的下巴角度约相近(即|sinθl|越小,此处-π/2<θl<π/2),则此时训练的损失函数值将越小,如在训练达到损失函数的值靠近1时,确定损失函数收敛,即得到训练后的动漫人脸检测模型。
本发明实施例中,由于辅助网络与主干网络共享前四层的卷积参数,网络在通过反向传播更新参数权重时,将主干网络低层特征往该方向聚拢,进而通过主辅网络融合达到保持人脸检测精度的基础上,定向化的学习动漫人物特征的目的。
如图7所示,本发明实施例还提供一种模型训练装置700,包括:
获取模块710,用于获取动漫人脸图像以及根据所述动漫人脸图像中第一面部区域生成的训练样本;
确定模块720,用于确定所述动漫人脸图像中第二面部区域的特征值;其中,所述第二面部区域为:所述第一面部区域内用于指示动漫人脸图像或真实人脸图像的区域;
训练模块730,用于基于所述训练样本和所述特征值,训练得到动漫人脸检测模型。
可选地,所述确定模块720包括:
第一确定子模块,用于基于辅助网络模型,确定所述第二面部区域中的多个特征位置;其中,所述辅助网络模型用于对所述第二面部区域进行处理;
计算子模块,用于根据所述多个特征位置各自对应的参数值,计算得到所述特征值。
可选地,所述第二面部区域包括眼部特征,所述特征值用于指示所述眼部特征的眼睛区域大小。
可选地,所述特征位置包括:内眼角位置、外眼角位置、位于上眼睑的至少一个第一位置、位于下眼睑的至少一个第二位置;
所述计算子模块包括:
第一计算单元,用于基于左眼的外眼角位置对应的参数值和右眼的外眼角位置对应的参数值,计算得到左眼和右眼的外眼角位置之间的第一距离;
第二计算单元,用于基于所述第一距离以及目标眼睛的内眼角位置对应的参数值和所述目标眼睛的外眼角位置对应的参数值,计算得到所述目标眼睛的宽度;其中,所述目标眼睛包括所述左眼和所述右眼中的至少一个;
第三计算单元,用于基于所述第一距离以及所述目标眼睛的第一位置对应的参数值和所述目标眼睛的第二位置对应的参数值,计算得到所述目标眼睛的高度;
第一确定单元,用于将所述目标眼睛的宽度和所述目标眼睛的高度确定为眼部特征的特征值。
可选地,所述第二面部区域包括下巴特征,所述特征值用于指示所述下巴特征的下巴尖细程度。
可选地,所述特征位置包括:位于下巴的第一侧轮廓上的至少一个第三位置、位于下巴的第二侧轮廓上的至少一个第四位置、所述第一侧轮廓和所述第二侧轮廓相交位置的第五位置;
所述第一计算子模块包括:
第四计算单元,用于基于所述第三位置对应的参数值、所述第四位置对应的参数值和所述第五位置对应的参数值,计算得到所述第一侧轮廓与所述第二侧轮廓之间的角度;
第二确定单元,用于将所述角度确定为下巴特征的特征值。
可选地,所述训练模块730包括:
识别子模块,用于基于所述训练样本,识别所述第一面部区域的特征;
训练子模块,用于基于所述第一面部区域的特征,进行动漫人脸检测模型的训练;
第二确定子模块,用于在所述动漫人脸检测模型的损失函数收敛时,确定训练得到动漫人脸检测模型;其中,所述损失函数通过所述特征值确定。
可选地,所述损失函数是通过以下方式确定的:
针对所述第二面部区域的多个特征值,分别确定所述特征值与标注值之间的差值;
基于每个特征值对应的权重值和所述差值,确定所述损失函数中目标检测损失函数的总权重值;
根据所述总权重值和目标检测损失函数,确定所述损失函数;
其中,所述目标检测损失函数通过所述第一面部区域、基于所述动漫人脸检测模型识别面部特征得到的第三面部区域、所述第一面部区域和所述第三面部区域的重叠区域确定。
本发明实施例中的模型训练装置700能够实现如上所述的模型训练方法中的各个过程,并能达到相同的技术效果,为避免重复,这里不再赘述。
如图8所示,本发明实施例还提供一种电子设备,包括收发机803、处理器801、存储器802及存储在所述存储器802上并可在所述处理器801上运行的程序,所述处理器801执行所述程序时实现上述的模型训练方法的步骤。
具体的,处理器801执行所述程序时实现以下步骤:
获取动漫人脸图像以及根据所述动漫人脸图像中第一面部区域生成的训练样本;
确定所述动漫人脸图像中第二面部区域的特征值;其中,所述第二面部区域为:所述第一面部区域内用于指示动漫人脸图像或真实人脸图像的区域;
基于所述训练样本和所述特征值,训练得到动漫人脸检测模型。
可选地,处理器801执行所述程序时实现以下步骤:
基于辅助网络模型,确定所述第二面部区域中的多个特征位置;其中,所述辅助网络模型用于对所述第二面部区域进行处理;
根据所述多个特征位置各自对应的参数值,计算得到所述特征值。
可选地,所述第二面部特征包括眼部特征,所述特征值用于指示所述眼部特征的眼睛区域大小。
可选地,所述特征位置包括:内眼角位置、外眼角位置、位于上眼睑的至少一个第一位置、位于下眼睑的至少一个第二位置;处理器801执行所述程序时实现以下步骤:
基于左眼的外眼角位置对应的参数值和右眼的外眼角位置对应的参数值,计算得到左眼和右眼的外眼角位置之间的第一距离;
基于所述第一距离以及目标眼睛的内眼角位置对应的参数值和所述目标眼睛的外眼角位置对应的参数值,计算得到所述目标眼睛的宽度;其中,所述目标眼睛包括所述左眼和所述右眼中的至少一个;
基于所述第一距离以及所述目标眼睛的第一位置对应的参数值和所述目标眼睛的第二位置对应的参数值,计算得到所述目标眼睛的高度;
将所述目标眼睛的宽度和所述目标眼睛的高度确定为眼部特征的特征值。
可选地,所述第二面部特征包括下巴特征,所述特征值用于指示所述下巴特征的下巴尖细程度。
可选地,所述特征位置包括:位于下巴的第一侧轮廓上的至少一个第三位置、位于下巴的第二侧轮廓上的至少一个第四位置、所述第一侧轮廓和所述第二侧轮廓相交位置的第五位置;处理器801执行所述程序时实现以下步骤:
基于所述第三位置对应的参数值、所述第四位置对应的参数值和所述第五位置对应的参数值,计算得到所述第一侧轮廓与所述第二侧轮廓之间的角度;
将所述角度确定为下巴特征的特征值。
可选地,处理器801执行所述程序时实现以下步骤:
基于所述训练样本,识别所述第一面部区域的特征;
基于所述第一面部区域的特征,进行动漫人脸检测模型的训练;
在所述动漫人脸检测模型的损失函数收敛时,确定训练得到动漫人脸检测模型;其中,所述损失函数通过所述特征值确定。
可选地,所述损失函数是通过以下方式确定的:
针对所述第二面部区域的多个特征值,分别确定所述特征值与标注值之间的差值;
基于每个特征值对应的权重值和所述差值,确定所述损失函数中目标检测损失函数的总权重值;
根据所述总权重值和目标检测损失函数,确定所述损失函数;
其中,所述目标检测损失函数通过所述第一面部区域、基于所述动漫人脸检测模型识别面部特征得到的第三面部区域、所述第一面部区域和所述第三面部区域的重叠区域确定。
其中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器801代表的一个或多个处理器801和存储器802代表的存储器802的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机803可以是多个元件,即包括发送机和收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器801负责管理总线架构和通常的处理,存储器802可以存储处理器在执行操作时所使用的数据。
本领域技术人员可以理解,实现上述实施例的全部或者部分步骤可以通过硬件来完成,也可以通过计算机程序来指示相关的硬件来完成,所述计算机程序包括执行上述方法的部分或者全部步骤的指令;且该计算机程序可以存储于一可读存储介质中,存储介质可以是任何形式的存储介质。
另外,本发明具体实施例还提供一种可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的模型训练方法中的步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
如图9所示,本发明实施例还提供了一种动漫人脸的检测方法,应用于如上所述的模型训练方法所训练得到的动漫人脸检测模型;所述方法包括:
步骤91:获取待识别图像;
步骤92:基于所述动漫人脸检测模型识别所述待识别图像中的第一面部区域的特征;
步骤93:若基于所述第一面部区域的特征确定所述动漫人脸检测模型的损失函数收敛,则确定检测到所述待识别图像中的动漫人脸。
可选地,损失函数可以为:
其中,可以是目标检测损失函数,A表示标注的区域;B表示识别的区域(或称为真实区域);C表示A和B的最小闭包,即A和B的交集。
其中,θl为通过辅助网络预测得到下巴角度θp与下巴对应的标注角度θg(或者可理解为样本图像中动漫人脸的下巴的真实角度)的差值,FEip是通过辅助网络预测得到的4个眼部特征的距离值FEip分别与眼部特征对应的标注值FEig(或者可理解为样本图像中动漫人脸的眼部特征的真实距离)的L2距离;M为单个批次的样本数,Wi为各FE的权重系数。
在实际推理过程中,当检测眼睛越大,与训练集内动漫人物越接近(即4个眼部特征距离值之和越小),下巴越尖,与训练集内动漫人物的下巴角度约相近(即|sinθl|越小,此处-π/2<θl<π/2),则此时训练的损失函数值将越小,如在训练达到损失函数的值靠近1时,确定损失函数收敛,即确定所识别的人脸为动漫人脸。
该实施例中,在基于上述模型训练方法得到的动漫人脸检测模型,进行动漫人脸检测时,可以在增大动漫人物的人脸检出率的同时,大大降低真实人脸的误检率,同时通过级联精细化模型检测的人脸关键点可以更好地适应动漫人物的五官特点。
例如:本方案的动漫人脸的检测方法可以应用于“动漫脸”打分器,并且本方案提供的动漫人脸检测器,由于已经针对性的拟合了动漫人脸的平均特征,其输出的检测置信度,可用于对真人人脸的动漫脸相似度做一个打比。
又例如:本方案的动漫人脸的检测方法可以应用于“虚拟偶像/主播”视频封面抽取,并且本方案提供的动漫人脸检测器,可方便的抽取视频中虚拟偶像/主播出现的视频帧,再搭配一定的人工筛选或者推荐排序规则,可以最低的成本自动筛选出高质量的视频封面。
再例如:本方案的动漫人脸的检测方法可以应用于动漫人脸替换,并且基于本方案中精细化的动漫人脸关键点能力及三角剖分算法,可以实现将自定义的真实人脸五官,替换至动漫人物上,可用于生成代入式动漫剧情及搞怪表情图片。
如图10所示,本发明实施例还提供一种动漫人脸的检测装置1000,应用于如上所述的模型训练方法所训练得到的动漫人脸检测模型;所述装置1000包括:
获取模块1010,用于获取待识别图像;
识别模块1020,用于基于所述动漫人脸检测模型识别所述待识别图像中的第一面部区域的特征;
确定模块1030,用于若基于所述第一面部区域的特征确定所述动漫人脸检测模型的损失函数收敛,则确定检测到所述待识别图像中的动漫人脸。
本发明实施例中的动漫人脸的检测装置1000可以应用于上述动漫人脸的检测方法的各个过程,并能实现相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种电子设备,包括收发机、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述处理器执行所述程序时实现上述的模型训练方法的步骤。
具体的,处理器执行所述程序时实现以下步骤:
获取待识别图像;
基于所述动漫人脸检测模型识别所述待识别图像中的第一面部区域的特征;
若基于所述第一面部区域的特征确定所述动漫人脸检测模型的损失函数收敛,则确定检测到所述待识别图像中的动漫人脸。
其中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器801代表的一个或多个处理器801和存储器802代表的存储器802的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机803可以是多个元件,即包括发送机和收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器801负责管理总线架构和通常的处理,存储器802可以存储处理器在执行操作时所使用的数据。
本领域技术人员可以理解,实现上述实施例的全部或者部分步骤可以通过硬件来完成,也可以通过计算机程序来指示相关的硬件来完成,所述计算机程序包括执行上述方法的部分或者全部步骤的指令;且该计算机程序可以存储于一可读存储介质中,存储介质可以是任何形式的存储介质。
另外,本发明具体实施例还提供一种可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的模型训练方法中的步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。
Claims (9)
1.一种模型训练方法,其特征在于,包括:
获取动漫人脸图像以及根据所述动漫人脸图像中第一面部区域生成的训练样本;其中,所述第一面部区域是动漫人脸的头部区域;
确定所述动漫人脸图像中第二面部区域的特征值;其中,所述第二面部区域为:所述第一面部区域内用于指示动漫人脸图像或真实人脸图像的区域;所述特征值为第二面部区域的尺寸大小,用于指示动漫人脸区别于真实人脸程度的大小;
基于所述训练样本和所述特征值,训练得到动漫人脸检测模型;
其中,所述基于所述训练样本和所述特征值,训练得到动漫人脸检测模型,包括:
基于所述训练样本,识别所述第一面部区域的特征;
基于所述第一面部区域的特征,进行动漫人脸检测模型的训练;
在所述动漫人脸检测模型的损失函数收敛时,确定训练得到动漫人脸检测模型;其中,所述损失函数是通过以下方式确定的:
针对所述第二面部区域的多个特征值,分别确定所述特征值与标注值之间的差值;
将每个特征值对应的权重值和所述差值的加权平均值,确定为所述损失函数中目标检测损失函数的总权重值;
根据所述总权重值和目标检测损失函数的乘积,确定所述损失函数;
其中,所述目标检测损失函数通过所述第一面部区域、基于所述动漫人脸检测模型识别面部特征得到的第三面部区域、所述第一面部区域和所述第三面部区域的重叠区域确定。
2.根据权利要求1所述的模型训练方法,其特征在于,所述确定所述动漫人脸图像中第二面部区域的特征值,包括:
基于辅助网络模型,确定所述第二面部区域中的多个特征位置;其中,所述辅助网络模型用于对所述第二面部区域进行处理;
根据所述多个特征位置各自对应的参数值,计算得到所述特征值。
3.根据权利要求2所述的模型训练方法,其特征在于,所述第二面部区域包括眼部特征,所述特征值用于指示所述眼部特征的眼睛区域大小。
4.根据权利要求3所述的模型训练方法,其特征在于,所述特征位置包括:内眼角位置、外眼角位置、位于上眼睑的至少一个第一位置、位于下眼睑的至少一个第二位置;
所述根据所述多个特征位置各自对应的参数值,计算得到所述特征值,包括:
基于左眼的外眼角位置对应的参数值和右眼的外眼角位置对应的参数值,计算得到左眼和右眼的外眼角位置之间的第一距离;
基于所述第一距离以及目标眼睛的内眼角位置对应的参数值和所述目标眼睛的外眼角位置对应的参数值,计算得到所述目标眼睛的宽度;其中,所述目标眼睛包括所述左眼和所述右眼中的至少一个;
基于所述第一距离以及所述目标眼睛的第一位置对应的参数值和所述目标眼睛的第二位置对应的参数值,计算得到所述目标眼睛的高度;
将所述目标眼睛的宽度和所述目标眼睛的高度确定为眼部特征的特征值。
5.根据权利要求2所述的模型训练方法,其特征在于,所述第二面部区域包括下巴特征,所述特征值用于指示所述下巴特征的下巴尖细程度。
6.根据权利要求5所述的模型训练方法,其特征在于,所述特征位置包括:位于下巴的第一侧轮廓上的至少一个第三位置、位于下巴的第二侧轮廓上的至少一个第四位置、所述第一侧轮廓和所述第二侧轮廓相交位置的第五位置;
所述根据所述多个特征位置各自对应的参数值,计算得到所述特征值,包括:
基于所述第三位置对应的参数值、所述第四位置对应的参数值和所述第五位置对应的参数值,计算得到所述第一侧轮廓与所述第二侧轮廓之间的角度;
将所述角度确定为下巴特征的特征值。
7.一种动漫人脸的检测方法,其特征在于,应用于如权利要求1至6中任一项所述的模型训练方法所训练得到的动漫人脸检测模型;所述方法包括:
获取待识别图像;
基于所述动漫人脸检测模型识别所述待识别图像中的第一面部区域的特征;
若基于所述第一面部区域的特征确定所述动漫人脸检测模型的损失函数收敛,则确定检测到所述待识别图像中的动漫人脸。
8.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的程序,所述处理器执行所述程序时实现如权利要求1至6中任一项所述的模型训练方法的步骤,或者所述处理器执行所述程序时实现如权利要求7所述的动漫人脸的检测方法的步骤。
9.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如权利要求1至6中任一项所述的模型训练方法的步骤,或者所述程序被处理器执行时实现如权利要求7所述的动漫人脸的检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110405193.9A CN113095233B (zh) | 2021-04-15 | 2021-04-15 | 模型训练方法、动漫人脸的检测方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110405193.9A CN113095233B (zh) | 2021-04-15 | 2021-04-15 | 模型训练方法、动漫人脸的检测方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113095233A CN113095233A (zh) | 2021-07-09 |
CN113095233B true CN113095233B (zh) | 2024-04-09 |
Family
ID=76677834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110405193.9A Active CN113095233B (zh) | 2021-04-15 | 2021-04-15 | 模型训练方法、动漫人脸的检测方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113095233B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859295A (zh) * | 2019-02-01 | 2019-06-07 | 厦门大学 | 一种特定动漫人脸生成方法、终端设备及存储介质 |
CN110909680A (zh) * | 2019-11-22 | 2020-03-24 | 咪咕动漫有限公司 | 人脸图像的表情识别方法、装置、电子设备及存储介质 |
CN110930297A (zh) * | 2019-11-20 | 2020-03-27 | 咪咕动漫有限公司 | 人脸图像的风格迁移方法、装置、电子设备及存储介质 |
CN111274994A (zh) * | 2020-02-13 | 2020-06-12 | 腾讯科技(深圳)有限公司 | 漫画人脸检测方法、装置、电子设备及计算机可读介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140185924A1 (en) * | 2012-12-27 | 2014-07-03 | Microsoft Corporation | Face Alignment by Explicit Shape Regression |
-
2021
- 2021-04-15 CN CN202110405193.9A patent/CN113095233B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859295A (zh) * | 2019-02-01 | 2019-06-07 | 厦门大学 | 一种特定动漫人脸生成方法、终端设备及存储介质 |
CN110930297A (zh) * | 2019-11-20 | 2020-03-27 | 咪咕动漫有限公司 | 人脸图像的风格迁移方法、装置、电子设备及存储介质 |
CN110909680A (zh) * | 2019-11-22 | 2020-03-24 | 咪咕动漫有限公司 | 人脸图像的表情识别方法、装置、电子设备及存储介质 |
CN111274994A (zh) * | 2020-02-13 | 2020-06-12 | 腾讯科技(深圳)有限公司 | 漫画人脸检测方法、装置、电子设备及计算机可读介质 |
Non-Patent Citations (2)
Title |
---|
Haar-like特征双阈值Adaboost人脸检测;刘禹欣;朱勇;孙结冰;王一博;;中国图象图形学报(08);全文 * |
用于个性化人脸动漫生成的自动头发提取方法;沈晔湖;貊睿;高巍;魏磊;朱怡;彭振云;;计算机辅助设计与图形学学报(11);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113095233A (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | Deep multitask gaze estimation with a constrained landmark-gaze model | |
CN107145857B (zh) | 人脸属性识别方法、装置和模型建立方法 | |
Cerutti et al. | Understanding leaves in natural images–a model-based approach for tree species identification | |
WO2016023264A1 (zh) | 指纹识别方法及其指纹识别装置 | |
CN108629306A (zh) | 人体姿态识别方法及装置、电子设备、存储介质 | |
CN110796089B (zh) | 用于训练换脸模型的方法和设备 | |
CN112446322B (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
CN110866469B (zh) | 一种人脸五官识别方法、装置、设备及介质 | |
CN110807402B (zh) | 一种基于肤色检测的五官定位方法、***和终端设备 | |
CN105335719A (zh) | 活体检测方法及装置 | |
CN111079676B (zh) | 一种人眼虹膜检测方法和装置 | |
CN112232184B (zh) | 一种基于深度学习和空间转换网络的多角度人脸识别方法 | |
CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
CN109271930A (zh) | 微表情识别方法、装置与存储介质 | |
CN113591763B (zh) | 人脸脸型的分类识别方法、装置、存储介质及计算机设备 | |
CN110728242A (zh) | 基于人像识别的图像匹配方法、装置、存储介质及应用 | |
WO2023178906A1 (zh) | 活体检测方法及装置、电子设备、存储介质、计算机程序、计算机程序产品 | |
Huang et al. | PLFace: Progressive learning for face recognition with mask bias | |
CN108549853A (zh) | 一种图像处理方法、移动终端以及计算机可读存储介质 | |
CN110705454A (zh) | 一种具有活体检测功能的人脸识别方法 | |
CN113095233B (zh) | 模型训练方法、动漫人脸的检测方法及电子设备 | |
US9002116B2 (en) | Attribute recognition via visual search | |
CN115392216B (zh) | 一种虚拟形象生成方法、装置、电子设备及存储介质 | |
CN115100747B (zh) | 基于视觉检测的跑步机智能辅助*** | |
KR20040042501A (ko) | 형판 정합 기반 얼굴 검출방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |