CN113128449A - 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置 - Google Patents
用于人脸图像处理的神经网络训练、人脸图像处理方法及装置 Download PDFInfo
- Publication number
- CN113128449A CN113128449A CN202110473985.XA CN202110473985A CN113128449A CN 113128449 A CN113128449 A CN 113128449A CN 202110473985 A CN202110473985 A CN 202110473985A CN 113128449 A CN113128449 A CN 113128449A
- Authority
- CN
- China
- Prior art keywords
- image
- key point
- face
- neural network
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title abstract description 4
- 210000000056 organ Anatomy 0.000 claims abstract description 184
- 210000000744 eyelid Anatomy 0.000 claims description 96
- 210000001508 eye Anatomy 0.000 claims description 95
- 238000002372 labelling Methods 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 28
- 238000005520 cutting process Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 18
- 210000004709 eyebrow Anatomy 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000009877 rendering Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000003796 beauty Effects 0.000 description 3
- 238000010425 computer drawing Methods 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施方式公开了一种用于人脸图像处理的神经网络训练、人脸图像处理方法及装置,其中的方法主要包括:获取样本图像集;所述样本图像集中包括多个样本图像;确定所述样本图像中人脸的各器官的曲线控制点,并根据所述曲线控制点,生成各器官对应的控制曲线;采用插值方式在所述控制曲线中***多个点,得到关键点标注数据;基于各样本图像中的各器官的关键点标注数据,训练各器官类型分别对应的第一神经网络;所述第一神经网络用于提取对应器官的关键点信息。
Description
技术领域
本申请涉及计算机视觉技术,尤其是涉及一种用于人脸图像处理的神经网络训练、人脸图像处理方法及装置。
背景技术
人脸关键点是人脸识别等诸多应用中不可或缺的一部分。准确的确定出人脸关键点,不仅有利于对人脸的相关位置进行矫正,而且有利于增强人脸的语义信息。
发明内容
本申请实施方式提供一种人脸图像处理技术方案。
根据本申请实施方式其中一个方面,提供了一种人脸图像处理方法,该方法主要包括:切割待处理图像中的人脸的至少一个器官图像块;将所述至少一个器官图像块分别输入到至少一个第一神经网络,其中,至少两个不同类别的器官对应不同的第一神经网络;经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息,分别得到人脸的各相应器官的关键点信息。
在本发明一个实施方式中,所述方法还包括:获取所述待处理图像的初始人脸关键点信息;整合所述初始人脸关键点信息和所述各相应器官的关键点信息,获得所述待处理图像的人脸关键点信息。
在本发明又一个实施方式中,所述切割待处理图像中的人脸的至少一个器官图像块包括:获取所述待处理图像的初始人脸关键点信息;根据所述初始人脸关键点信息切割所述待处理图像中的人脸的至少一个器官图像块。
在本发明再一个实施方式中,所述获取所述待处理图像的初始人脸关键点信息,包括:将所述待处理图像输入第二神经网络;经所述第二神经网络提取所述待处理图像的人脸关键点信息,得到所述初始人脸关键点信息。
在本发明再一个实施方式中,所述整合所述初始人脸关键点信息和所述各相应器官的关键点信息,获得所述待处理图像的人脸关键点信息包括:采用所述各相应器官的关键点信息替换所述初始人脸关键点中的相同器官的至少部分关键点信息,获得所述待处理图像的人脸关键点信息。
在本发明再一个实施方式中,所述整合所述初始人脸关键点信息和所述各相应器官的关键点信息,获得所述待处理图像的人脸关键点信息包括:将所述各相应器官的关键点信息在相应器官图像块中的位置和编号,分别转换为所述各相应器官的关键点信息在待处理图像中的位置和编号。
在本发明再一个实施方式中,所述人脸关键点信息包括的关键点总数量,大于所述初始人脸关键点信息包括的关键点总数量;和/或所述人脸关键点信息包括的经第一神经网络提取的一器官图像块的器官关键点的数量,大于所述初始人脸关键点信息包括的对应器官图像块的器官关键点的数量。
在本发明再一个实施方式中,所述经第一神经网络提取的一器官图像块的各器官关键点拟合而得的器官曲线的误差度,为经所述初始人脸关键点信息中包括的对应所述器官图像块的各器官关键点拟合而得的器官曲线的误差度的1/5—1/10。
在本发明再一个实施方式中,所述至少一个器官图像块包括以下至少之一:至少一眼部图像块、至少一嘴部图像块。
在本发明再一个实施方式中,所述各相应器官的关键点信息包括以下至少之一:眼睑线信息、嘴唇线信息。
在本发明再一个实施方式中,所述眼睑线信息包括:由单眼上眼睑或下眼睑处的10-15个关键点表示的轨迹信息或拟合线;和/或,所述唇线信息包括:由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
在本发明再一个实施方式中,所述将所述至少一个器官图像块分别输入到至少一个第一神经网络之前,还包括:基于样本数据集训练所述第一神经网络,其中,所述样本数据集包括:人脸的器官图像的关键点标注数据。
在本发明再一个实施方式中,所述基于样本数据集训练所述第一神经网络之前,所述方法还包括采用以下步骤获取所述人脸的器官图像的关键点标注数据:确定人脸的器官的曲线控制点;根据所述曲线控制点形成第一曲线;采用插值方式在所述第一曲线中***多个点,所述***的点的信息为所述关键点标注数据。
由于上述模型训练方法进行模型训练使用的关键点标注数据能够准确表征器官形状特点,采用上述模型训练方法得到的第一神经网络,可以针对输入的器官图像块确定出位置准确且能够满足准确表达器官形状要求的器官关键点。
在本发明再一个实施方式中,经所述***的点拟合形成的第二曲线相对所述人脸的器官曲线的误差度,为所述第一曲线相对所述人脸的器官曲线的误差度的1/5—1/10。
在本发明再一个实施方式中,所述初始关键点信息中包括的关键点的数量小于或等于106点,人脸关键点信息中包括的关键点的数量大于106点。
在本发明再一个实施方式中,所述人脸关键点信息中包括的关键点的数量为186、240、220或274点。
在本发明再一个实施方式中,所述人脸关键点信息包括:用于定位眼睛位置的4-24个关键点、眼睑线信息包括的44-48个关键点;用于定位嘴巴位置的0-20个关键点,唇线包括的60-64个关键点;眉毛区域包括的26-58个关键点;鼻子区域包括的15-27个关键点;脸部轮廓的33-37个关键点。
在本发明再一个实施方式中,所述方法还包括:根据得到的人脸的相应器官的关键点信息进行以下至少之一处理:人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、属性检测。
根据本申请实施方式其中一个方面,提供了一种人脸图像处理方法,该方法主要包括:获取包括人脸至少部分区域的待处理图像;基于神经网络从所述待处理图像中提取眼睑线信息,所述眼睑线信息包括:由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中,所述待处理图像为单眼图像或者双眼图像;或者,所述待处理图像包括人脸图像,所述获取包括人脸至少部分区域的待处理图像,包括:切割待处理图像中的人脸的单眼图像块或双眼图像块,所述单眼图像块或双眼图像块为所述包括人脸至少部分区域的待处理图像。
在本发明又一个实施方式中,所述基于神经网络从所述待处理图像中提取眼睑线信息之前,还包括:基于样本数据集训练所述神经网络,其中,所述样本数据集包括:眼部关键点标注数据。
在本发明再一个实施方式中,所述眼部关键点标注数据采用以下步骤获取:确定眼睑线的曲线控制点;根据所述曲线控制点形成第一曲线;采用插值方式在所述第一曲线中***多个点,所述***的点的信息为所述眼部关键点标注数据。
在本发明再一个实施方式中,经所述***的点拟合形成的第二曲线相对眼睑线的误差度,为所述第一曲线相对眼睑线的误差度的1/5—1/10。
根据本申请实施方式其中一个方面,提供了一种人脸图像处理方法,该方法主要包括:获取包括人脸至少部分区域的待处理图像;基于神经网络从所述待处理图像中提取唇线信息,所述唇线信息包括:由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中,所述待处理图像为单唇图像或者双唇图像;或者,所述待处理图像包括人脸图像,所述获取包括人脸至少部分区域的待处理图像,包括:切割待处理图像中的人脸的单唇图像块或双唇图像块,所述单唇图像块或双唇图像块为所述包括人脸至少部分区域的待处理图像。
在本发明又一个实施方式中,所述基于神经网络从所述待处理图像中提取唇线信息之前,还包括:基于样本数据集训练所述神经网络,其中,所述样本数据集包括:嘴唇部关键点标注数据。
在本发明再一个实施方式中,所述嘴唇部关键点标注数据采用以下步骤获取:确定唇线的曲线控制点;根据所述曲线控制点形成第一曲线;采用插值方式在所述第一曲线中***多个点,所述***的点的信息为所述嘴唇部关键点标注数据。
在本发明再一个实施方式中,经所述***的点拟合形成的第二曲线相对唇线的误差度,为所述第一曲线相对唇线的误差度的1/5—1/10。
根据本申请实施方式的其中另一个方面,提供了一种人脸图像处理装置,该装置包括:切割模块,用于切割待处理图像中的人脸的至少一个器官图像块;输入模块,用于将所述至少一个器官图像块分别输入到至少一个第一神经网络,其中,至少两个不同类别的器官对应不同的第一神经网络;提取器官关键点模块,用于经至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息,分别得到人脸的各相应器官的关键点信息。
在本发明一个实施方式中,所述装置还包括:第一获取模块,用于获取所述待处理图像的初始人脸关键点信息;整合模块,用于整合所述初始人脸关键点信息和所述各相应器官的关键点信息,获得所述待处理图像的人脸关键点信息。
在本发明又一个实施方式中,所述装置还包括:第一训练模块,用于基于样本数据集训练所述第一神经网络,其中,所述样本数据集包括:人脸的器官图像的关键点标注数据。
在本发明再一个实施方式中,所述装置还包括:用于获取所述人脸的器官图像的关键点标注数据的第一标注模块,所述第一标注模块具体用于:确定人脸的器官的曲线控制点;根据所述曲线控制点形成第一曲线;采用插值方式在所述第一曲线中***多个点,所述***的点的信息为所述关键点标注数据。
在本发明再一个实施方式中,所述装置还包括:应用处理模块,用于根据得到的人脸的相应器官的关键点信息进行以下至少之一处理:人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、属性检测。
根据本申请实施方式的其中另一个方面,提供了一种人脸图像处理装置,该装置包括:第二获取模块,用于获取包括人脸至少部分区域的待处理图像;提取眼睑线模块,用于基于神经网络从所述待处理图像中提取眼睑线信息,所述眼睑线信息包括:由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中,所述装置还包括:第二训练模块,用于基于样本数据集训练所述神经网络,其中,所述样本数据集包括:眼部关键点标注数据。
在本发明又一个实施方式中,所述装置还包括:用于获取所述眼部关键点标注数据的第二标注模块,所述第二标注模块具体用于:确定眼睑线的曲线控制点;根据所述曲线控制点形成第一曲线;采用插值方式在所述第一曲线中***多个点,所述***的点的信息为所述眼部关键点标注数据。
根据本申请实施方式的其中另一个方面,提供了一种人脸图像处理装置,该装置包括:第二获取模块,用于获取包括人脸至少部分区域的待处理图像;提取唇线模块,用于基于神经网络从所述待处理图像中提取唇线信息,所述唇线信息包括:由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中,所述装置还包括:第三训练模块,用于基于样本数据集训练所述神经网络,其中,所述样本数据集包括:嘴唇部关键点标注数据。
在本发明又一个实施方式中,所述装置还包括:用于获取所述嘴唇部关键点标注数据的第三标注模块,所述第三标注模块具体用于:确定唇线的曲线控制点;根据所述曲线控制点形成第一曲线;采用插值方式在所述第一曲线中***多个点,所述***的点的信息为所述嘴唇部关键点标注数据。
根据本申请实施方式的再一个方面,提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,下述指令被运行:用于切割待处理图像中的人脸的至少一个器官图像块的指令;用于将所述至少一个器官图像块分别输入到至少一个第一神经网络的指令,其中,至少两个不同类别的器官对应不同的第一神经网络;用于经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息,分别得到人脸的各相应器官的关键点信息的指令。
在本发明一个实施方式中,所述被运行的指令还包括:用于获取所述待处理图像的初始人脸关键点信息的指令;用于整合所述初始人脸关键点信息和所述各相应器官的关键点信息,获得所述待处理图像的人脸关键点信息的指令。
在本发明一个实施方式中,所述被运行的指令还包括:用于基于样本数据集训练所述第一神经网络的指令,其中,所述样本数据集包括:人脸的器官图像的关键点标注数据。
在本发明一个实施方式中,所述被运行的指令还包括:用于获取所述人脸的器官图像的关键点标注数据的指令,所述用于获取所述人脸的器官图像的关键点标注数据的指令具体包括:用于确定人脸的器官的曲线控制点的指令;用于根据所述曲线控制点形成第一曲线的指令;用于采用插值方式在所述第一曲线中***多个点的指令,所述***的点的信息为所述关键点标注数据。
在本发明一个实施方式中,所述被运行的指令还包括:用于根据得到的人脸的相应器官的关键点信息进行以下至少之一处理的指令:人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、属性检测。
根据本申请实施方式的再一个方面,提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,下述指令被运行:用于获取包括人脸至少部分区域的待处理图像的指令;用于基于神经网络从所述待处理图像中提取眼睑线信息的指令,所述眼睑线信息包括:由单眼上眼睑处或下眼睑处的10- 15个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中,所述被运行的指令还包括:用于基于样本数据集训练所述神经网络的指令,其中,所述样本数据集包括:眼部关键点标注数据。
在本发明一个实施方式中,所述被运行的指令还包括:用于获取所述眼部关键点标注数据的指令,所述用于获取所述眼部关键点标注数据的指令具体包括:用于确定眼睑线的曲线控制点的指令;用于根据所述曲线控制点形成第一曲线的指令;用于采用插值方式在所述第一曲线中***多个点的指令,所述***的点的信息为所述眼部关键点标注数据。
根据本申请实施方式的再一个方面,提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,下述指令被运行:用于获取包括人脸至少部分区域的待处理图像的指令;用于基于神经网络从所述待处理图像中提取唇线信息的指令,所述唇线信息包括:由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中,所述被运行的指令还包括:用于基于样本数据集训练所述神经网络的指令,其中,所述样本数据集包括:嘴唇部关键点标注数据。
在本发明一个实施方式中,所述被运行的指令还包括:用于获取所述嘴唇部关键点标注数据的指令,所述用于获取所述嘴唇部关键点标注数据的指令具体包括:用于确定唇线的曲线控制点的指令;用于根据所述曲线控制点形成第一曲线的指令;用于采用插值方式在所述第一曲线中***多个点的指令,所述***的点的信息为所述嘴唇部关键点标注数据。
根据本申请实施方式的再一个方面,提供的一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,执行本申请方法实施方式中的各步骤,
例如,切割待处理图像中的人脸的至少一个器官图像块;将所述至少一个器官图像块分别输入到至少一个第一神经网络,其中,至少两个不同类别的器官对应不同的第一神经网络;经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息,分别得到人脸的各相应器官的关键点信息。
再例如,获取包括人脸至少部分区域的待处理图像;基于神经网络从所述待处理图像中提取眼睑线信息,所述眼睑线信息包括:由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
再例如,获取包括人脸至少部分区域的待处理图像;基于神经网络从所述待处理图像中提取唇线信息,所述唇线信息包括:由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
基于本申请提供的人脸图像处理方法、人脸图像处理装置、电子设备以及计算机存储介质,本申请通过从待处理图像中抽取出人脸的至少一个器官图像块,并将其提供给至少一个第一神经网络,由于本申请中的第一神经网络可以针对输入的器官图像块确定出位置准确且能够满足准确表达器官形状要求的器官关键点,因此,本申请利用第一神经网络所获得的器官关键点具有位置精准的特点。
下面通过附图和实施方式,对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施方式,并且连同描述一起用于解释本申请的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本申请,其中:
图1为本申请方法一个实施方式的流程图;
图2为本申请的眼睑线的关键点示意图;
图3为本申请的上嘴唇上唇线和上嘴唇下唇线的关键点示意图;
图4为本申请的下嘴唇上唇线和下嘴唇下唇线的关键点示意图;
图5为本申请的待处理图像中的双眼的眼睑线的关键点示意图;
图6为本申请方法一个实施方式的流程图;
图7为本申请初始人脸关键点中的初始眼睛关键点示意图;
图8为本申请方法一个实施方式的流程图;
图9为本申请方法一个实施方式的流程图;
图10为本申请装置一个实施方式的结构示意图;
图11为本申请装置一个实施方式的结构示意图;
图12为本申请装置一个实施方式的结构示意图;
图13为实现本申请实施方式的一示例性设备的框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于终端设备、计算机***、服务器等电子设备,其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于:个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境,等等。
终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
示例性实施例
图1为本申请方法一个实施例的流程图。如图1所示,该实施例方法包括:步骤S100、步骤S110以及步骤S120。
S100、切割待处理图像中的人脸的至少一个器官图像块。
在一个可选示例中,本申请中的待处理图像可以为呈现静态的图片或者照片等图像,也可以为呈现动态的视频中的视频帧等。该待处理图像应为包含有人脸的图像,且该待处理图像中的人脸可以为正脸,也可能会存在一定角度的偏转;另外,该待处理图像中的人脸的清晰程度可以非常好,也可以存在一定程度的欠缺。
在一个可选示例中,本申请可以从待处理图像中切割出一个或者两个或者更多数量的器官图像块,且本申请切割出的器官图像块可以包括:眼睛图像块、眉毛图像块以及嘴巴图像块中的至少一个。本申请中的眼睛图像块可以具体为左眼图像块、右眼图像块或者双眼图像块。本申请中的眉毛图像块可以具体为左眉图像块、右眉图像块或者双眉图像块。本申请中的嘴巴图像块可以具体为上嘴唇图像块、下嘴唇图像块或者包含有上嘴唇和下嘴唇的图像块。
在一个可选示例中,本申请可以以待处理图像的初始人脸关键点信息为依据,对待处理图像进行切割处理,以获得待处理图像中的人脸的至少一个器官图像块;例如,本申请可以根据待处理图像的初始人脸关键点信息中的眼睛关键点(为区别描述,下述称为初始眼睛关键点)确定出左眼/右眼/双眼所在的区域,并根据该区域对待处理图像进行切割处理,从而获得眼睛图像块;再例如,本申请可以根据待处理图像的初始人脸关键点信息中的眉毛关键点(为区别描述,下述称为初始眉毛关键点)确定出左眉/右眉/双眉所在的区域,并根据该区域对待处理图像进行切割处理,从而获得眉毛图像块;再例如,本申请根据待处理图像的初始人脸关键点信息中的嘴巴关键点(为区别描述,下述称为初始嘴巴关键点)确定出上嘴唇/下嘴唇/整个嘴巴所在的区域,并根据该区域对待处理图像进行切割处理,从而获得嘴巴图像块。可选的,本申请可以对切割出的器官图像块进行放大或者缩小调整(如需要),以便于使切割出的器官图像块具有预定大小,且器官图像块所具有的预定大小可以根据其输入的第一神经网络对输入的图像块的要求来决定。
在一个可选示例中,本申请可以从待处理图像中切割出左眼图像块、右眼图像块以及嘴巴图像块。
在一个可选示例中,本申请的待处理图像的初始人脸关键点信息可以包括:各初始人脸关键点的编号信息以及各初始人脸关键点在待处理图像中的坐标信息等。可选的,本申请中的初始人脸关键点信息所包括的初始人脸关键点的数量通常小于或者等于某一设定值,例如,初始人脸关键点信息包括 21或者68或者106个初始人脸关键点等。
在一个可选示例中,本申请可以利用现有的神经网络(即第二神经网络)来提取待处理图像的初始人脸关键点,获得初始人脸关键点信息。在一个可选的例子中,上述第二神经网络可以包括:用于检测人脸位置的人脸检测深度神经网络以及用于检测人脸关键点的人脸关键点深度神经网络,本申请可以先将待处理图像输入至人脸检测深度神经网络中,由人脸检测深度神经网络输出待处理图像的人脸位置信息(如人脸外接框信息),然后,本申请可以将待处理图像以及人脸位置信息输入至人脸关键点深度神经网络中,由人脸关键点深度神经网络可以根据人脸位置信息确定出待处理图像中需要检测的区域,并针对需要检测的区域的图像进行人脸关键点检测,从而人脸关键点深度神经网络会针对待处理图像输出人脸关键点信息,该人脸关键点信息即初始人脸关键点信息。
S110、将上述至少一个器官图像块分别输入到至少一个第一神经网络。
在一个可选示例中,本申请设置有一个或者两个或者更多数量的第一神经网络,且各第一神经网络分别用于从其输入图像块中提取出相应的器官关键点;可选的,不同类别的器官对应不同的第一神经网络,也就是说,如果两个器官图像块中的器官的类别不相同(如眼睛和嘴巴的类别不相同),则这两个器官图像块应提供给不相同的两个第一神经网络,如果两个器官图像块中的器官的类别相同(如左眼和右眼的类别相同),则这两个器官图像块可以提供给同一个第一神经网络。第一神经网络是针对人脸某器官的关键点信息定位任务采用监督、半监督或无监督等方式预先训练完成的神经网络,训练的具体方式本申请实施例并不限定。在一个可选示例中,第一神经网络可采用监督方式预先训练完成,如采用人脸某器官的标注数据预先训练所述第一神经网络。所述第一神经网络的网络结构可根据关键点信息定位任务的需要灵活设计,本申请实施例并不限制。例如,所述第一神经网络可包括但不限于卷积层、非线性Relu层、池化层、全连接层等,网络层数越多,网络越深;又例如所述第一神经网络的网络结构可采用但不限于ALexNet、深度残差网络(DeepResidual Network,ResNet)或VGGnet(Visual Geometry Group Network)等网络的结构。
在一个可选示例中,本申请针对眼睛图像块设置有用于眼部关键点信息定位的第一神经网络,该第一神经网络也可以称为眼部关键点信息定位深度神经网络,可针对眼部关键点信息定位任务采用监督、半监督或无监督等方式预先训练完成,例如,在一个可选示例中,可采用眼睛关键点信息和/或眼睑线相关的标注数据预先训练该第一神经网络。本申请针对嘴巴图像块设置于用于唇线定位的第一神经网络,该第一神经网络也可以称为嘴部关键点信息定位深度神经网络,可针对嘴唇关键点信息定位任务采用监督、半监督或无监督等方式预先训练完成,例如,在一个可选示例中,可采用唇线相关的标注数据预先训练该第一神经网络。一个可选的例子,从待处理图像中切割出的左眼图像块和右眼图像块被分别输入到眼部关键点信息定位深度神经网络中。一个可选的例子,从待处理图像中切割出的左眼图像块或者右眼图像块或者双眼图像块被输入到眼部关键点信息定位深度神经网络中。一个可选的例子,从待处理图像中切割出的嘴巴图像块被输入到嘴部关键点信息定位深度神经网络中。
可以理解,本申请从待处理图像中还可切割出左眉图像块、右眉图像块、鼻子图像块等人脸其他器官的图像块,对这些图像块经预先采用眉毛标注数据或鼻子标注数据训练过的神经网络分别进行关键点信息的提取,不再赘述。
S120、经至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息,分别得到人脸的各相应器官的关键点信息。
在一个可选示例中,眼部关键点信息定位深度神经网络从眼睛图像块中提取出的器官的关键点信息包括:眼睛关键点信息和/或眼睑线信息。所述眼睛关键点信息例如眼角、眼睛中心等关键点信息。所述眼睑线信息由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。例如,上眼睑线信息和/或下眼睑线信息。
在实际应用过程中,并非关键点数量越多***性能就越优越。例如,关键点数量一定程度上有利于提高描述眼睛的形状的准确度,但也带来很大的计算开销、降低运算速度。在对眼部关键点信息定位深度神经网络的效率以及描述眼睛的形状的准确度等因素进行综合考虑后,可将单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线表示为眼睑线信息,使用眼睑线信息所描述出的眼睛的形状的准确度能够满足目前对眼睛形状有精准要求的多种应用的需求,还有利于检测眼部状态,如睁眼状态、闭眼状态等检测。
需要特别说明的是,本申请中的上眼睑线和下眼睑线在内眼角处的交汇点为内眼角关键点,上眼睑线和下眼睑线在外眼角处的交汇点为外眼角关键点,内眼角关键点可以被划归为上眼睑线的关键点,也可以被划归为下眼睑线的关键点。外眼角关键点可以被划归为上眼睑线的关键点,也可以被划归为下眼睑线的关键点。当然,内眼角关键点和外眼角关键点也可以既不属于上眼睑线的关键点,也不属于下眼睑线的关键点,而独立存在。另外,眼眼部关键点信息定位深度神经网络从左眼图像块提取出的器官关键点的数量与从右眼图像块中提取出的器官关键点的数量可以相同。
在一个可选的示例中,如图2,编号为10的关键点可称为内眼角关键点,编号为11的关键点可称为外眼角关键点,上眼睑线信息为由编号为11- 12-13-14-15-16-17-18-19-20-21-10的关键点表示的轨迹信息或拟合线,下眼睑线信息为编号为11-0-1-2-3-4-5-6-7-8-9-10的关键点表示的轨迹信息或拟合线。
本申请通过眼部关键点信息定位深度神经网络提取出的眼睑线信息中包括的关键点的数量大于初始人脸关键点信息所包含的位于眼睛位置处的关键点的数量。本申请通过眼部关键点信息定位深度神经网络提取出的用于表示眼睑线的各关键点可以拟合出表示眼睛形状的曲线A,如可以拟合出上眼睑线曲线或下眼睑线曲线,不妨表示为曲线A;通过106个初始人脸关键点信息中的位于眼睛位置处的关键点可以拟合出表示眼睑的曲线B,通过实际计算检测,本申请中的曲线A与实际眼睑线形状的曲线的误差度,为曲线B与实际眼睑线形状的曲线的误差度的1/5—1/10。由此可知,本申请通过针对眼睛图像块单独提取眼睑线信息,可以有效提高利用提取出的关键点信息描述眼睛的形状的准确度。在通常情况下,由于眼睛会随着人的面部的变化(如表情变化)而发生较为明显的变化,因此,本申请技术方案有利于提高眼部关键点信息提取的精度和准确度,提高后续基于这些关键点信息应用的准确性,例如在确定人的面部表情时,可以将眼睑线信息作为一个重要的参考因素,有利于提高确定人的面部表情的准确性;又例如在进行图像渲染时,可基于眼睑线并采用计算机绘图方式在图像的眼部绘制如贴纸等渲染信息,提高渲染信息绘制的准确性;再例如,可基于眼睑线对图像进行美颜或美妆等处理,提高美颜或美妆效果。
在一个可选示例中,嘴部关键点信息定位深度神经网络从嘴巴图像块中提取出的器官关键点通常包括:嘴唇线的关键点,例如,上嘴唇线的关键点和下嘴唇线的关键点。可选的,上嘴唇线的关键点可以包括:上嘴唇上唇线的关键点,也可以包括:上嘴唇上唇线的关键点和上嘴唇下唇线的关键点。下嘴唇线的关键点可以包括:下嘴唇上唇线的关键点,也可以包括:下嘴唇上唇线的关键点和下嘴唇下唇线的关键点。
本申请中所述唇线信息包括:由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。例如,上嘴唇的唇线由上嘴唇上轮廓处的16-21 个关键点以及上嘴唇下轮廓处的16-21个关键点一起表示的轨迹信息或拟合线,可选示例如图3所示。又例如,下嘴唇的唇线由下嘴唇上轮廓处的16-21 个关键点以及下嘴唇下轮廓处的16-21个关键点一起表示的轨迹信息或拟合线,可选示例如图4所示。
在实际应用过程中,并非关键点数量越多***性能就越优越。例如,关键点数量一定程度上有利于提高描述嘴唇的形状的准确度,但也带来很大的计算开销、降低运算速度。在对深度神经网络的效率以及描述嘴唇的形状的准确度等因素进行综合考虑后,可将单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线表示为唇线信息,使用唇线信息所描述出的嘴唇的形状的准确度能够满足目前对嘴唇形状或嘴巴状态检测有精准要求的多种应用的需求,还有利于对嘴巴张合状态,如张嘴状态、哈欠状态、闭嘴状态等检测。
需要特别说明的是,本申请中的上嘴唇上唇线、上嘴唇下唇线、下嘴唇上唇线以及下嘴唇下唇线在两侧嘴角处的交汇点为两个嘴角关键点,任一嘴角关键点可以被划归为上嘴唇上唇线、上嘴唇下唇线、下嘴唇上唇线或者下嘴唇下唇线。当然,两个嘴角关键点也可以既不属于上嘴唇上唇线和上嘴唇下唇线,也不属于下嘴唇上唇线和下嘴唇下唇线,而独立存在。
本申请通过嘴部关键点信息定位深度神经网络提取出的嘴唇线的关键点的数量大于初始人脸关键点信息所包含的位于嘴巴位置处的关键点的数量。本申请通过嘴部关键点信息定位深度神经网络提取出的嘴唇线的关键点可以拟合出表示上嘴唇形状的曲线C,如可以拟合出上嘴唇上唇线曲线和上嘴唇下唇线曲线,这二条曲线形成曲线C;通过106个初始人脸关键点信息中的位于嘴巴位置处的关键点可以拟合出表示上嘴唇形状的曲线D,通过实际计算,本申请中的曲线C与实际上嘴唇形状的曲线的误差度,为曲线D与实际上嘴唇形状的曲线的误差度的1/5—1/10。由此可知,本申请通过针对嘴巴图像块单独提取唇线的关键点,可以有效提高利用提取出的关键点描述嘴唇的形状的准确度。通常情况下,由于嘴巴会随着人的面部表情的变化而发生较为明显的变化,因此,本申请技术方案有利于提高唇部关键点信息提取的精度和准确度,提高后续基于这些关键点信息应用的准确性,例如在确定人的面部表情时,可以将唇线作为一个重要的参考因素,有利于提高确定人的面部表情的准确性;又例如在进行图像渲染时,可基于唇线并采用计算机绘图方式在图像的唇部绘制如贴纸等渲染信息,提高渲染信息绘制的准确性;再例如,可基于唇线进行图像的美颜或美妆处理,提高美颜或美妆效果。
除了上述眼睑线信息、唇线信息之外,器官的关键点信息还可以包括鼻子关键点信息、眉毛关键点、眼睛中心等。在一个可选示例中,本申请获得的人脸的器官的关键点信息可以用于人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测以及人脸属性(如男/ 女、年龄等属性)检测等应用,本申请不限制获得的器官的关键点信息的具体应用范围。
图6为本申请方法一个实施例的流程图。如图6所示,该实施例方法包括:步骤S600、步骤S610、步骤S620以及步骤S630。
S600、切割待处理图像中的人脸的至少一个器官图像块。本步骤的具体内容可以参见图1中针对步骤S100的描述,在此不再详细说明。
S610、将至少一个器官图像块分别输入到至少一个第一神经网络。本步骤的具体内容可以参见图1中针对步骤S610的描述,在此不再详细说明。
S620、经至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息,分别得到人脸的各相应器官的关键点信息。本步骤的具体内容可以参见图1中针对步骤S620的描述,在此不再详细说明。
S630、整合待处理图像的初始人脸关键点信息和上述获得的各相应器官的关键点信息,获得待处理图像的人脸关键点信息。
本申请可以通过多种整合方式对初始人脸关键点信息和各相应器官的关键点信息进行整合处理,下面简单介绍两种整合方式:
第一个可选的例子、基于并集的整合方式;
首先,获取第二神经网络提取出的待处理图像的初始人脸关键点,如获取到的初始人脸关键点可以为21或者68或者106个初始人脸关键点。
其次,对眼睑线的关键点、嘴唇线的关键点和眉毛线的关键点分别进行编号以及位置信息的转换,可选的,眼部关键点信息定位深度神经网络输出的眼睑线的关键点信息通常包括:针对眼睑线的关键点的预定排列顺序所设置的编号(如图2中的编号0至编号21)以及眼睑线的关键点在眼睛图像块中的坐标信息,本申请可以按照预先设定的人脸关键点的排列顺序进行编号转换处理,如将图2中的编号0-21转换为图5中的编号132-153;本申请中的位置信息的转换通常为:将眼睑线的关键点在眼睛图像块中的坐标信息映射到眼睑线的关键点在预处理图像中的坐标信息。对嘴唇线的关键点和眉毛线的关键点进行编号以及位置信息的转换可以参照上述对眼睑线的关键点进行编号以及位置信息的转换描述,在此不再详细说明。另外,本申请通常也会对部分或者全部初始人脸关键点的编号进行转换处理。
最后,将编号以及位置信息转换处理后的眼睑线的关键点信息、嘴唇线的关键点信息和眉毛线的关键点信息与编号转换处理后的初始人脸关键点信息合并在一起,形成待处理图像的人脸关键点信息,例如,形成186,240, 220或274等数量的人脸关键点信息。
第二个可选的例子、基于部分替换或者全部替换的整合方式;
首先,获取第二神经网络提取出的待处理图像的初始人脸关键点,如获取到的初始人脸关键点可以为21或者68或者106个初始人脸关键点。
其次,对眼睑线的关键点、嘴唇线的关键点和眉毛线的关键点分别进行编号以及位置信息的转换,对部分或者全部初始人脸关键点的编号进行转换处理,具体如上述第一个可选的例子中的描述,在此不再详细说明。
最后,利用编号以及位置信息转换处理后的眼睑线的关键点信息替换初始人脸关键点信息中的位于眼睛位置处的部分关键点信息,例如,利用图5 中编号为132-153的眼睑线的关键点信息替换图7中初始人脸关键点信息中的位于眼睛位置处的编号为52-57、72和73的关键点信息;当然,本申请也可以利用编号以及位置信息转换处理后的眼睑线的关键点信息替换初始人脸关键点信息中的位于眼睛位置处的所有关键点信息,例如,利用图5中编号为132-153的眼睑线的关键点信息替换图7中编号为52-57、72-74以及104 的关键点信息。本申请还应利用编号以及位置信息转换处理后的嘴唇线的关键点信息和眉毛线的关键点信息替换编号转换处理后的初始人脸关键点信息中的位于嘴唇位置处和眉毛位置处的所有关键点信息,形成待处理图像的人脸关键点信息。可以理解,图7中编号为52-57、72-74以及104的关键点信息也可保留,用来定位眼睛位置,如用来定位眼睛区域。
一个可选的示例中,从图像中提取的最终的人脸关键点信息可为大于 106的某一数量的关键点,如可根据业务应用的需要提取186、240、220或 274点关键点。一个可选的示例中,所述人脸关键点信息包括:
1、眼部关键点信息(48-72)个,包括:用于定位眼睛位置(包括用来定位眼睛区域的关键点和眼球位置的关键点)(4-24)个关键点、眼睑线信息包括的(44-48)个关键点(如双眼对应的四条眼睑线);
2、嘴部关键点信息(60-84)个,包括:用于定位嘴巴位置的(0-20) 个关键点,唇线包括的(60-64)个关键点(如双唇对应的两条唇线);
3、眉毛区域包括的(26-58)个关键点;
4、鼻子区域包括的(15-27)个关键点;
5、脸部轮廓的(33-37)个关键点。
采用上述数量和比例的人脸关键点信息可在计算开销、定位精度和准确度方便很好地权衡,满足多数业务应用的精准要求。
在一个可选示例中,本申请的第一神经网络通常包括输入层、多个用于提取特征的卷积层、至少一个用于确定器官关键点在器官图像块中的坐标信息的全连接层以及输出层。用于训练第一神经网络的样本数据集通常包括多个图像样本。每一个图像样本中均包含有人脸图像。每一个图像样本都标注有人脸关键点标注数据,例如,每一个图像样本都标注有多于106个关键点的编号以及各关键点在图像样本中的坐标信息。在训练第一神经网络时,先从样本数据集中选取一个图像样本,并将图像样本输入给第一神经网络,第一神经网络的输入层根据图像样本的标注数据将图像样本剪切出眼睛图像块或者眉毛图像块或者嘴巴图像块等器官图像块,并调整剪切出的器官图像块的大小,之后,输入层对器官图像块中的各关键点的编号以及坐标信息进行转换处理,使标注数据中的相应器官关键点在整个图像样本中的所有关键点中的编号以及相应器官关键点在图样本中的坐标信息转换为在器官图像块中的所有关键点中的编号以及在器官图像块中的坐标信息;剪切并调整大小后的器官图像块提供给用于提取特征的卷积层,由卷积层提取器官图像块的图像特征,之后,用于确定器官关键点在器官图像块中的坐标信息的全连接层根据提取出的图像特征确定器官图像块中的各关键点的编号以及各关键点的坐标信息,并通过第一神经网络的输出层输出多组数据,每一组数据均包括一个关键点的编号以及该关键点的坐标信息。本申请可以利用输入层转换处理后的关键点的编号以及关键点的坐标信息对第一神经网络的输出层输出的多组数据进行监督学习;重复上述训练过程,在第一神经网络输出的各关键点的坐标信息的误差满足预定误差要求时,第一神经网络训练成功。
在一个可选示例中,本申请中的图像样本中的各器官关键点标注数据是通过下述过程标注的:首先,确定人脸的相应器官的曲线控制点(如眼睛的上/下眼睑线控制点、嘴巴的上/下嘴唇上/下唇线控制点等);其次,根据上述曲线控制点形成一曲线;再次,采用插值方式(如均匀插值方式或者非均匀插值方式)在该曲线中***多个点,例如,如果该曲线为单眼上眼睑线或下眼睑线,则***10-15(如11)个点;再例如,如果该曲线为嘴巴的上嘴唇上/下唇线,则***16-21(如17)个点;再例如,如果该曲线为嘴巴的下嘴唇上/下唇线,则***16-21(如16)个点。在曲线中***的点在图像样本中的坐标信息即为相应器官关键点标注数据中的坐标信息,在曲线中***的点的顺序编号会被转换为图像样本中的相应器官关键点标注数据中的编号。
需要特别说明的是,本申请中针对一条曲线所***的点的数量可以根据实际需求确定,但是,针对一条曲线所***的点的数量应保证:经***的点所拟合形成的曲线相对人脸的实际器官曲线的误差度,为由曲线控制点形成的曲线相对人脸的实际器官曲线的误差度的1/5—1/10。由此可知,本申请为图像样本所形成的器官关键点标注数据所表达出的形状,能够更接近实际的器官形状,从而更有利于训练第一神经网络。
图8为本申请方法一个实施例的流程图。如图8所示,该实施例方法包括:步骤S800以及步骤S810。
S800、获取包括人脸至少部分区域的待处理图像。
在一个可选示例中,本申请的包括人脸至少部分区域的待处理图像可以为左眼图像或者右眼图像或者双眼图像,本申请的包括人脸至少部分区域的待处理图像也可以为包括多个不同类型的人脸器官的图像。
在一个可选示例中,本申请可以以待处理图像的初始人脸关键点信息为依据,对待处理图像进行切割处理,以获得单眼图像块或双眼图像块,获得的单眼图像块或双眼图像块成为输入给神经网络的待处理图像。另外,本申请可以调整获得的单眼图像块或双眼图像块的大小,调整大小后的单眼图像块或双眼图像块成为输入给神经网络的待处理图像。
S810、基于神经网络从待处理图像中提取眼睑线信息。
在一个可选示例中,本申请的眼睑线信息包括:由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
在一个可选示例中,本申请的神经网络(即上述方法实施例中描述的第一神经网络)是基于样本数据集训练获得的神经网络。用于训练神经网络的样本数据集包括:眼部关键点标注数据。可选的,眼部关键点标注数据的设置方式可以包括:首先,确定眼睑线的曲线控制点;其次,根据曲线控制点形成第一曲线;最后,采用插值方式在该第一曲线中***多个点,***的点的信息即为眼部关键点标注数据。经***的点拟合形成的第二曲线相对真实的眼睑线的误差度,为第一曲线相对真实的眼睑线的误差度的1/5—1/10。
本实施例中的眼睑线信息以及神经网络的训练过程等相关内容的具体描述可以参见上述方法实施例中的描述,在此不再详细说明。
图9为本申请方法一个实施例的流程图。如图9所示,该实施例方法包括:步骤S900以及步骤S910。
S900、获取包括人脸至少部分区域的待处理图像。
在一个可选示例中,本申请的包括人脸至少部分区域的待处理图像可以为上嘴唇图像或者下嘴唇图像或者包含上嘴唇和下嘴唇的嘴巴图像,本申请的包括人脸至少部分区域的待处理图像也可以为包括多个不同类型的人脸器官的图像。
在一个可选示例中,本申请可以以待处理图像的初始人脸关键点信息为依据,对待处理图像进行切割处理,以获得上嘴唇图像块或下嘴唇图像块或者双唇图像块(即包括有上嘴唇和下嘴唇的嘴巴图像块),获得的上嘴唇图像块或下嘴唇图像块或者双唇图像块成为输入给神经网络的待处理图像。另外,本申请可以调整获得的上嘴唇图像块或下嘴唇图像块或者双唇图像块的大小,调整大小后的上嘴唇图像块或下嘴唇图像块或者嘴巴图像块成为输入给神经网络的待处理图像。
S910、基于神经网络从待处理图像中提取唇线信息。
在一个可选示例中,本申请的唇线信息包括:由单唇上下轮廓处各自的 16-21个关键点表示的轨迹信息或拟合线。
在一个可选示例中,本申请的神经网络(即上述方法实施例中描述的第一神经网络)是基于样本数据集训练获得的神经网络。用于训练神经网络的样本数据集包括:嘴唇部关键点标注数据。可选的,嘴唇部关键点标注数据的设置方式可以包括:首先,确定唇线的曲线控制点;其次,根据曲线控制点形成第一曲线;最后,采用插值方式在该第一曲线中***多个点,***的点的信息即为嘴唇部关键点标注数据。经***的点拟合形成的第二曲线相对真实的唇线的误差度,为第一曲线相对真实的唇线的误差度的1/5—1/10。
本实施例中的唇线信息以及神经网络的训练过程等相关内容的具体描述可以参见上述方法实施例中的描述,在此不再详细说明。
图10为本申请装置一个实施例的结构示意图。如图10所示,该实施例的装置主要包括:切割模块1000、输入模块1010以及提取器官关键点模块 1020。可选的,该实施例的装置还可以包括:第一获取模块1030、整合模块 1040、第一训练模块1050、第一标注模块1060以及应用处理模块1070。
切割模块1000主要用于切割待处理图像中的人脸的至少一个器官图像块。
输入模块1010主要用于将至少一个器官图像块分别输入到至少一个第一神经网络。其中,至少两个不同类别的器官对应不同的第一神经网络。
提取器官关键点模块1020主要用于经至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息,分别得到人脸的各相应器官的关键点信息。
第一获取模块1030主要用于获取待处理图像的初始人脸关键点信息。
整合模块1040主要用于整合初始人脸关键点信息和各相应器官的关键点信息,获得待处理图像的人脸关键点信息。
第一训练模块1050主要用于基于样本数据集训练第一神经网络。其中的样本数据集包括:人脸的器官图像的关键点标注数据。
第一标注模块1060主要用于获取人脸的器官图像的关键点标注数据。第一标注模块1060具体执行的操作包括:确定人脸的器官的曲线控制点;根据曲线控制点形成第一曲线;采用插值方式在第一曲线中***多个点,其中***的点的信息为关键点标注数据。
应用处理模块1070主要用于根据得到的人脸的相应器官的关键点信息进行以下至少之一处理:人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、属性检测。
图11为本申请装置一个实施例的结构示意图。如图11所示,该实施例的装置主要包括:第二获取模块1100和提取眼睑线模块1110。可选的,该装置还可以包括:第二训练模块1120以及第二标注模块1130。
第二获取模块1100主要用于获取包括人脸至少部分区域的待处理图像。
提取眼睑线模块1110主要用于基于神经网络从待处理图像中提取眼睑线信息,其中的眼睑线信息包括:由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
第二训练模块1120主要用于基于样本数据集训练神经网络,其中的样本数据集包括:眼部关键点标注数据。
第二标注模块1130主要用于获取眼部关键点标注数据,第二标注模块 1130所执行的操作具体包括:确定眼睑线的曲线控制点;根据曲线控制点形成第一曲线;采用插值方式在第一曲线中***多个点,其中***的点的信息为眼部关键点标注数据。
图12为本申请装置一个实施例的结构示意图。如图12所示,该实施例的装置主要包括:第二获取模块1100以及提取唇线模块1200。可选的,该装置还可以包括:第三训练模块1210以及第三标注模块1220。
第二获取模块1100主要用于获取包括人脸至少部分区域的待处理图像。
提取唇线模块1200主要用于基于神经网络从待处理图像中提取唇线信息,其中的唇线信息包括:由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
第三训练模块1210主要用于基于样本数据集训练神经网络,其中的样本数据集包括:嘴唇部关键点标注数据。
第三标注模块1220主要用于获取嘴唇部关键点标注数据,第三标注模块 1220具体执行的操作包括:确定唇线的曲线控制点;根据曲线控制点形成第一曲线;采用插值方式在第一曲线中***多个点,其中***的点的信息为嘴唇部关键点标注数据。
上述各模块所执行的操作可以参见上述方法实施例中的相关描述,在此不再详细说明。
示例性设备
图13示出了适于实现本申请的示例性设备1300,设备1300可以是汽车中配置的控制***/电子***、移动终端(例如,智能移动电话等)、个人计算机(PC,例如,台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图13中,设备1300包括一个或者多个处理器、通信部等,所述一个或者多个处理器可以为:一个或者多个中央处理单元(CPU)1301,和/或,一个或者多个图像处理器(GPU)1313等,处理器可以根据存储在只读存储器(ROM)1302中的可执行指令或者从存储部分1308加载到随机访问存储器 (RAM)1303中的可执行指令而执行各种适当的动作和处理。通信部1312 可以包括但不限于网卡,所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器1302和/或随机访问存储器1330中通信以执行可执行指令,通过总线1304与通信部1312相连、并经通信部1312与其他目标设备通信,从而完成本申请中的相应步骤。
在一个可选的示例中,处理器所执行的指令包括:用于切割待处理图像中的人脸的至少一个器官图像块的指令;用于将至少一个器官图像块分别输入到至少一个第一神经网络的指令,其中,至少两个不同类别的器官对应不同的第一神经网络;用于经至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息,分别得到人脸的各相应器官的关键点信息的指令。处理器所执行的指令还可以可选的包括:用于获取待处理图像的初始人脸关键点信息的指令;用于整合初始人脸关键点信息和各相应器官的关键点信息,获得待处理图像的人脸关键点信息的指令;用于基于样本数据集训练所述第一神经网络的指令,其中的样本数据集包括:人脸的器官图像的关键点标注数据;用于获取人脸的器官图像的关键点标注数据的指令,用于获取人脸的器官图像的关键点标注数据的指令具体包括:用于确定人脸的器官的曲线控制点的指令;用于根据曲线控制点形成第一曲线的指令;以及用于采用插值方式在第一曲线中***多个点的指令,***的点的信息为关键点标注数据。用于根据得到的人脸的相应器官的关键点信息进行以下至少之一处理的指令:人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、属性检测。
在一个可选的示例中,处理器所执行的指令包括:用于获取包括人脸至少部分区域的待处理图像的指令;用于基于神经网络从待处理图像中提取眼睑线信息的指令,其中的眼睑线信息包括:由单眼上眼睑处或下眼睑处的10- 15个关键点表示的轨迹信息或拟合线。处理器所执行的指令还可以可选的包括:用于基于样本数据集训练神经网络的指令,其中的样本数据集包括:眼部关键点标注数据。用于获取眼部关键点标注数据的指令,用于获取眼部关键点标注数据的指令具体包括:用于确定眼睑线的曲线控制点的指令;用于根据曲线控制点形成第一曲线的指令;以及用于采用插值方式在所述第一曲线中***多个点的指令,其中***的点的信息为眼部关键点标注数据。
在一个可选的示例中,处理器所执行的指令包括:用于获取包括人脸至少部分区域的待处理图像的指令;用于基于神经网络从待处理图像中提取唇线信息的指令,其中的唇线信息包括:由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。处理器所执行的指令还可以可选的包括:用于基于样本数据集训练神经网络的指令,其中的样本数据集包括:嘴唇部关键点标注数据。用于获取嘴唇部关键点标注数据的指令,用于获取嘴唇部关键点标注数据的指令具体包括:用于确定唇线的曲线控制点的指令;用于根据曲线控制点形成第一曲线的指令;以及用于采用插值方式述第一曲线中***多个点的指令,其中***的点的信息为嘴唇部关键点标注数据。
上述各指令所执行的操作可以参见上述方法实施例中的相关描述,在此不再详细说明。
此外,在RAM 1303中,还可以存储有装置操作所需的各种程序以及数据。CPU1301、ROM1302以及RAM1303通过总线1304彼此相连。在有 RAM1303的情况下,ROM1302为可选模块。RAM1303存储可执行指令,或在运行时向ROM1302中写入可执行指令,可执行指令使中央处理单元1301 执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口1305也连接至总线1304。通信部1312可以集成设置,也可以设置为具有多个子模块(例如,多个IB网卡),并分别与总线连接。
以下部件连接至I/O接口1305:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分 1307;包括硬盘等的存储部分1308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质 1311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1310上,以便于从其上读出的计算机程序根据需要被安装在存储部分 1308中。
需要特别说明的是,如图13所示的架构仅为一种可选实现方式,在具体实践过程中,可根据实际需要对上述图13的部件数量和类型进行选择、删减、增加或替换;在不同功能部件设置上,也可采用分离设置或集成设置等实现方式,例如,GPU和CPU可分离设置,再如理,可将GPU集成在CPU 上,通信部可分离设置,也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。
特别地,根据本申请的实施方式,下文参考流程图描述的过程可以被实现为计算机软件程序,例如,本申请实施方式包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行流程图所示的步骤的程序代码,程序代码可包括对应执行本申请提供的步骤对应的指令,例如,。
在这样的实施方式中,该计算机程序可以通过通信部分1309从网络上被下载及安装,和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元(CPU)1301执行时,执行本申请中记载的上述指令。
可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明,本申请的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施方式中,还可将本申请实施为记录在记录介质中的程序,这些程序包括用于实现根据本申请的方法的机器可读指令。因而,本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施方式是为了更好说明本申请的原理和实际应用,并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施方式。
Claims (11)
1.一种用于人脸图像处理的神经网络训练方法,其特征在于,包括:
获取样本图像集;所述样本图像集中包括多个样本图像;
确定所述样本图像中人脸的器官的曲线控制点,并根据所述曲线控制点,生成所述器官对应的控制曲线;
采用插值方式在所述控制曲线中***多个点,得到关键点标注数据;
基于各样本图像中的器官的关键点标注数据,训练至少一个器官类型分别对应的第一神经网络;所述第一神经网络用于提取对应器官的关键点信息。
2.根据权利要求1所述的方法,其特征在于,所述器官包括眼睛;
所述确定所述样本图像中人脸的器官的曲线控制点,并根据所述曲线控制点,生成所述器官对应的控制曲线,包括:
确定眼睑线的曲线控制点;
根据所述眼睑线的曲线控制点,生成眼睛的控制曲线;
所述采用插值方式在所述控制曲线中***多个点,得到关键点标注数据,包括:
采用插值方式在所述眼睛的控制曲线中***多个点,得到所述眼睛的关键点标注数据。
3.根据权利要求1或2所述的方法,其特征在于,所述器官包括嘴唇;
所述确定所述样本图像中人脸的器官的曲线控制点,并根据所述曲线控制点,生成所述器官对应的控制曲线,包括:
确定唇线的曲线控制点;
根据所述唇线的曲线控制点,生成嘴唇的控制曲线;
所述采用插值方式在所述控制曲线中***多个点,得到关键点标注数据,包括:
采用插值方式在所述嘴唇的控制曲线中***多个点,得到所述嘴唇的关键点标注数据。
4.根据权利要求1至4任一所述的方法,其特征在于,在所述控制曲线中***多个点后,经***的点拟合形成的曲线相对实际器官曲线的误差度,为所述控制曲线相对所述实际器官曲线的误差度的1/5—1/10。
5.一种人脸图像处理的方法,其特征在于,包括:
切割待处理图像中的人脸的至少一个器官图像块;
将所述至少一个器官图像块分别输入到至少一个基于权利要求1-4任一所述的方法得到的第一神经网络;
经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息,分别得到人脸的相应器官的关键点信息。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
通过第二神经网络提取待处理图像的初始人脸关键点信息,所述初始人脸关键点信息中的至少部分关键点表征器官的轮廓;
所述切割待处理图像中的人脸的至少一个器官图像块,包括:
根据所述初始人脸关键点信息切割所述待处理图像中的人脸的至少一个器官图像块。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
整合所述初始人脸关键点信息和所述各相应器官的关键点信息,获得所述待处理图像的人脸关键点信息;所述人脸关键点信息中的关键点数量大于所述初始人脸关键点信息和所述各相应器官的关键点信息中任一者的关键点数量。
8.根据权利要求6或7所述的方法,其特征在于,所述第二神经网络包括用于检测人脸位置的人脸检测深度神经网络,以及用于检测人脸关键点的人脸关键点深度神经网络;
所述通过第二神经网络提取待处理图像的初始人脸关键点信息,包括:
将所述待处理图像输入至所述第二神经网络的所述人脸检测深度神经网络中,由人脸检测深度神经网络输出所述待处理图像的人脸位置信息;
将所述待处理图像以及所述人脸位置信息输入至所述第二神经网络的所述人脸关键点深度神经网络中,由人脸关键点深度神经网络输出所述初始人脸关键点信息。
9.一种用于人脸图像处理的神经网络训练装置,其特征在于,包括:
获取模块,用于获取样本图像集;所述样本图像集中包括多个样本图像;
标注模块,用于确定所述样本图像中人脸的器官的曲线控制点,并根据所述曲线控制点,生成所述器官对应的控制曲线;采用插值方式在所述控制曲线中***多个点,得到关键点标注数据;
训练模块,用于基于各样本图像中的器官的关键点标注数据,训练至少一个器官类型分别对应的第一神经网络;所述第一神经网络用于提取对应器官的关键点信息。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的方法。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至8任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110473985.XA CN113128449A (zh) | 2017-08-09 | 2017-08-09 | 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710677556.8A CN108229293A (zh) | 2017-08-09 | 2017-08-09 | 人脸图像处理方法、装置和电子设备 |
CN202110473985.XA CN113128449A (zh) | 2017-08-09 | 2017-08-09 | 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710677556.8A Division CN108229293A (zh) | 2017-08-09 | 2017-08-09 | 人脸图像处理方法、装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113128449A true CN113128449A (zh) | 2021-07-16 |
Family
ID=62654894
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110473985.XA Pending CN113128449A (zh) | 2017-08-09 | 2017-08-09 | 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置 |
CN202110475720.3A Pending CN113205040A (zh) | 2017-08-09 | 2017-08-09 | 人脸图像处理方法、装置和电子设备 |
CN201710677556.8A Pending CN108229293A (zh) | 2017-08-09 | 2017-08-09 | 人脸图像处理方法、装置和电子设备 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110475720.3A Pending CN113205040A (zh) | 2017-08-09 | 2017-08-09 | 人脸图像处理方法、装置和电子设备 |
CN201710677556.8A Pending CN108229293A (zh) | 2017-08-09 | 2017-08-09 | 人脸图像处理方法、装置和电子设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11227147B2 (zh) |
CN (3) | CN113128449A (zh) |
WO (1) | WO2019029486A1 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
CN113128449A (zh) * | 2017-08-09 | 2021-07-16 | 北京市商汤科技开发有限公司 | 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置 |
US10684681B2 (en) | 2018-06-11 | 2020-06-16 | Fotonation Limited | Neural network image processing apparatus |
CN109165571B (zh) | 2018-08-03 | 2020-04-24 | 北京字节跳动网络技术有限公司 | 用于***图像的方法和装置 |
CN110826372B (zh) | 2018-08-10 | 2024-04-09 | 浙江宇视科技有限公司 | 人脸特征点检测方法及装置 |
CN109522863B (zh) * | 2018-11-28 | 2020-11-27 | 北京达佳互联信息技术有限公司 | 耳部关键点检测方法、装置及存储介质 |
TWI699671B (zh) * | 2018-12-12 | 2020-07-21 | 國立臺灣大學 | 減低眼球追蹤運算的方法和其眼動追蹤裝置 |
CN110188613A (zh) * | 2019-04-28 | 2019-08-30 | 上海鹰瞳医疗科技有限公司 | 图像分类方法及设备 |
CN110110695B (zh) * | 2019-05-17 | 2021-03-19 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN110322416B (zh) * | 2019-07-09 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 图像数据处理方法、装置以及计算机可读存储介质 |
CN110706203A (zh) * | 2019-09-06 | 2020-01-17 | 成都玻尔兹曼智贝科技有限公司 | 基于深度学习的头颅侧位片关键点自动侦测方法及*** |
CN110580680B (zh) * | 2019-09-09 | 2022-07-05 | 武汉工程大学 | 基于组合学习的人脸超分辨率方法及装置 |
CN112560555A (zh) * | 2019-09-25 | 2021-03-26 | 北京中关村科金技术有限公司 | 扩充关键点的方法、装置以及存储介质 |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
CN111209873A (zh) * | 2020-01-09 | 2020-05-29 | 杭州趣维科技有限公司 | 一种基于深度学习的高精度人脸关键点定位方法及*** |
CN111444928A (zh) * | 2020-03-30 | 2020-07-24 | 北京市商汤科技开发有限公司 | 关键点检测的方法、装置、电子设备及存储介质 |
CN115699130A (zh) | 2020-03-31 | 2023-02-03 | 斯纳普公司 | 增强现实美容产品教程 |
CN111476151B (zh) * | 2020-04-03 | 2023-02-03 | 广州市百果园信息技术有限公司 | 眼球检测方法、装置、设备及存储介质 |
WO2021250578A1 (en) * | 2020-06-09 | 2021-12-16 | Oral Tech Ai Pty Ltd | Computer-implemented detection and processing of oral features |
CN112101257B (zh) * | 2020-09-21 | 2022-05-31 | 北京字节跳动网络技术有限公司 | 训练样本生成方法、图像处理方法、装置、设备和介质 |
CN112597944B (zh) * | 2020-12-29 | 2024-06-11 | 北京市商汤科技开发有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
CN112613447A (zh) * | 2020-12-29 | 2021-04-06 | 上海商汤智能科技有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
CN115049580A (zh) * | 2021-03-09 | 2022-09-13 | 杭州朝厚信息科技有限公司 | X线头影图像的关键点检测方法 |
CN113221698B (zh) * | 2021-04-29 | 2023-08-15 | 北京科技大学 | 一种基于深度学习和表情识别的面部关键点定位方法 |
CN113837067B (zh) * | 2021-09-18 | 2023-06-02 | 成都数字天空科技有限公司 | 器官轮廓检测方法、装置、电子设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080037836A1 (en) * | 2006-08-09 | 2008-02-14 | Arcsoft, Inc. | Method for driving virtual facial expressions by automatically detecting facial expressions of a face image |
CN104268591A (zh) * | 2014-09-19 | 2015-01-07 | 海信集团有限公司 | 一种面部关键点检测方法及装置 |
CN104537630A (zh) * | 2015-01-22 | 2015-04-22 | 厦门美图之家科技有限公司 | 一种基于年龄估计的图像美颜方法和装置 |
CN105469081A (zh) * | 2016-01-15 | 2016-04-06 | 成都品果科技有限公司 | 一种用于美颜的人脸关键点定位方法及*** |
CN105981041A (zh) * | 2014-05-29 | 2016-09-28 | 北京旷视科技有限公司 | 使用粗到细级联神经网络的面部关键点定位 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050272517A1 (en) * | 2001-06-11 | 2005-12-08 | Recognition Insight, Llc | Swing position recognition and reinforcement |
US7027054B1 (en) * | 2002-08-14 | 2006-04-11 | Avaworks, Incorporated | Do-it-yourself photo realistic talking head creation system and method |
CN101027678B (zh) * | 2004-06-21 | 2011-09-21 | 谷歌公司 | 基于单个图像的多生物统计***及方法 |
JP2010041604A (ja) * | 2008-08-07 | 2010-02-18 | Fujitsu Ltd | ネットワーク管理方法 |
US20140043329A1 (en) * | 2011-03-21 | 2014-02-13 | Peng Wang | Method of augmented makeover with 3d face modeling and landmark alignment |
EP2915101A4 (en) * | 2012-11-02 | 2017-01-11 | Itzhak Wilf | Method and system for predicting personality traits, capabilities and suggested interactions from images of a person |
US9589357B2 (en) * | 2013-06-04 | 2017-03-07 | Intel Corporation | Avatar-based video encoding |
US9552510B2 (en) * | 2015-03-18 | 2017-01-24 | Adobe Systems Incorporated | Facial expression capture for character animation |
CN106909870A (zh) * | 2015-12-22 | 2017-06-30 | 中兴通讯股份有限公司 | 人脸图像的检索方法及装置 |
CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及*** |
US10055880B2 (en) * | 2016-12-06 | 2018-08-21 | Activision Publishing, Inc. | Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional |
CN113128449A (zh) * | 2017-08-09 | 2021-07-16 | 北京市商汤科技开发有限公司 | 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置 |
-
2017
- 2017-08-09 CN CN202110473985.XA patent/CN113128449A/zh active Pending
- 2017-08-09 CN CN202110475720.3A patent/CN113205040A/zh active Pending
- 2017-08-09 CN CN201710677556.8A patent/CN108229293A/zh active Pending
-
2018
- 2018-08-06 WO PCT/CN2018/098999 patent/WO2019029486A1/zh active Application Filing
-
2019
- 2019-06-28 US US16/456,738 patent/US11227147B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080037836A1 (en) * | 2006-08-09 | 2008-02-14 | Arcsoft, Inc. | Method for driving virtual facial expressions by automatically detecting facial expressions of a face image |
CN105981041A (zh) * | 2014-05-29 | 2016-09-28 | 北京旷视科技有限公司 | 使用粗到细级联神经网络的面部关键点定位 |
CN104268591A (zh) * | 2014-09-19 | 2015-01-07 | 海信集团有限公司 | 一种面部关键点检测方法及装置 |
CN104537630A (zh) * | 2015-01-22 | 2015-04-22 | 厦门美图之家科技有限公司 | 一种基于年龄估计的图像美颜方法和装置 |
CN105469081A (zh) * | 2016-01-15 | 2016-04-06 | 成都品果科技有限公司 | 一种用于美颜的人脸关键点定位方法及*** |
Non-Patent Citations (2)
Title |
---|
白莉欣: ""基于唇部特征的讲话人身份识别算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
赵宁: ""人脸特征点自动标注及表情生成"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
US11227147B2 (en) | 2022-01-18 |
CN113205040A (zh) | 2021-08-03 |
WO2019029486A1 (zh) | 2019-02-14 |
CN108229293A (zh) | 2018-06-29 |
US20190325200A1 (en) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113128449A (zh) | 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置 | |
US11455496B2 (en) | System and method for domain adaptation using synthetic data | |
US20210174072A1 (en) | Microexpression-based image recognition method and apparatus, and related device | |
CN110610453B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
CN108734078B (zh) | 图像处理方法、装置、电子设备、存储介质及程序 | |
CN108229301B (zh) | 眼睑线检测方法、装置和电子设备 | |
WO2020062523A1 (zh) | 注视点判断方法和装置、电子设备和计算机存储介质 | |
CN110659582A (zh) | 图像转换模型训练方法、异质人脸识别方法、装置及设备 | |
CN109034099B (zh) | 一种表情识别方法及装置 | |
US20140085293A1 (en) | Method of creating avatar from user submitted image | |
CN110555896B (zh) | 一种图像生成方法、装置以及存储介质 | |
CN108124489B (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
CN111127668B (zh) | 一种角色模型生成方法、装置、电子设备和存储介质 | |
AU2018202767A1 (en) | Data structure and algorithm for tag less search and svg retrieval | |
CN112907569B (zh) | 头部图像区域的分割方法、装置、电子设备和存储介质 | |
CN107103311A (zh) | 一种连续手语的识别方法及其装置 | |
CN111108508A (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
WO2023184817A1 (zh) | 图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品 | |
CN109934058B (zh) | 人脸图像处理方法、装置、电子设备、存储介质及程序 | |
CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
Purps et al. | Reconstructing facial expressions of hmd users for avatars in vr | |
EP4394690A1 (en) | Image processing method and apparatus, computer device, computer-readable storage medium, and computer program product | |
CN116958306A (zh) | 图像合成方法和装置、存储介质及电子设备 | |
CN114219704A (zh) | 动漫形象生成方法及装置 | |
US20240005581A1 (en) | Generating 3d facial models & animations using computer vision architectures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210716 |