CN113924603A - 使用面部组分特定局部细化于面部界标检测的方法及*** - Google Patents

使用面部组分特定局部细化于面部界标检测的方法及*** Download PDF

Info

Publication number
CN113924603A
CN113924603A CN202080041024.5A CN202080041024A CN113924603A CN 113924603 A CN113924603 A CN 113924603A CN 202080041024 A CN202080041024 A CN 202080041024A CN 113924603 A CN113924603 A CN 113924603A
Authority
CN
China
Prior art keywords
facial
component
specific
landmark
facial landmark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080041024.5A
Other languages
English (en)
Inventor
徐润生
孟子博
何朝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN113924603A publication Critical patent/CN113924603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种方法包括：接收一面部图像(204)；使用所述面部图像(204)获得一面部形状(206)；使用所述面部图像(204)及所述面部形状(206)定义多个面部组分特定局部区域，其中所述多个面部组分特定局部区域中的每一者包括来自所述面部图像(204)的多个分开考虑面部组分中的一相应分开考虑面部组分，及所述多个分开考虑面部组分中的所述相应分开考虑面部组分相应于所述面部形状(206)中的多个第一面部界标集中的一相应第一面部界标集(208)；对于所述多个面部组分特定局部区域中的每一者，使用所述多个面部组分特定局部区域中的每一者及所述多个第一面部界标集中的一相应面部界标集(208)进行一级联回归方法以获得多个第二面部界标集中的一相应面部界标集(210)。

Description

使用面部组分特定局部细化于面部界标检测的方法及***
技术领域
本公开涉及面部界标检测领域，更具体地，涉及一种使用面部组分特定局部细化于面部界标检测的方法及***。
背景技术
面部界标检测(facial landmark detection)在面部识别、面部动画、3D面部重建、虚拟化妆等方面起着至关重要的作用。面部界标检测的目标是定位在诸多面部图像中的诸多面部组分(facial components)及诸多面部轮廓(facial contours)周围的诸多基准面部关键点(fiducial facial key points)。
发明内容
本公开的一个目的是提出一种使用面部组分特定局部细化于面部界标检测的方法及***。
在本公开的一第一方面中，一种计算机实现的方法包括：进行一推理阶段的方法，其中所述推理阶段的方法包括：接收第一面部图像；使用所述第一面部图像获得一第一面部形状；使用所述第一面部图像及所述第一面部形状定义多个面部组分特定局部区域，其中所述多个面部组分特定局部区域中的每一者包括来自所述第一面部图像的多个分开考虑面部组分中的一相应分开考虑面部组分，以及所述多个分开考虑的面部组分中的所述相应分开考虑面部组分相应于所述第一面部形状中的多个第一面部界标集中的一相应第一面部界标集，其中所述多个第一面部界标集中的所述相应第一面部界标集包括多个面部界标；对于所述多个面部组分特定局部区域中的每一者，使用所述多个面部组分特定局部区域中的每一者及所述多个第一面部界标集中的一相应面部界标集进行一级联回归方法，以获得多个第二面部界标集中的一相应面部界标集。所述级联回归方法的每个阶段包括：使用所述多个面部组分特定局部区域中的每一者及多个先前阶段面部界标集中的一相应面部界标集提取多个局部特征，其中所述提取的步骤包括从所述多个先前阶段面部界标集中的所述相应面部界标集的一相应面部界标周围的一面部界标特定局部区域提取所述多个局部特征中的每一者，其中所述面部界标特定局部区域是在所述多个面部组分特定局部区域中的每一者；及所述级联回归方法的一开始阶段相应的所述多个先前阶段面部界标集中的所述相应面部界标集为所述多个第一面部界标集中的所述相应面部界标集；及基于所述多个局部特征之间的多个相关性对所述多个局部特征进行组织，以获得多个当前阶段面部界标集中的一相应面部界标集，其中所述级联回归方法的一最后阶段相应的所述多个当前阶段面部界标集中的所述相应面部界标集为所述多个第二面部界标集中的所述相应面部界标集。
在本公开的一第二方面中，一种***包括至少一个内存及至少一个处理器。所述至少一个内存被配置为存储多个程序指令。所述至少一个处理器被配置为执行所述多个程序指令，所述多个程序指令致使所述至少一个处理器执行多个步骤，包括：进行一推理阶段的方法，其中所述推理阶段的方法包括：接收第一面部图像；使用所述第一面部图像获得一第一面部形状；使用所述第一面部图像及所述第一面部形状定义多个面部组分特定局部区域，其中所述多个面部组分特定局部区域中的每一者包括来自所述第一面部图像的多个分开考虑面部组分中的一相应分开考虑面部组分，以及所述多个分开考虑的面部组分中的所述相应分开考虑面部组分相应于所述第一面部形状中的多个第一面部界标集中的一相应第一面部界标集，其中所述多个第一面部界标集中的所述相应第一面部界标集包括多个面部界标；对于所述多个面部组分特定局部区域中的每一者，使用所述多个面部组分特定局部区域中的每一者及所述多个第一面部界标集中的一相应面部界标集进行一级联回归方法，以获得多个第二面部界标集中的一相应面部界标集。所述级联回归方法的每个阶段包括：使用所述多个面部组分特定局部区域中的每一者及多个先前阶段面部界标集中的一相应面部界标集提取多个局部特征，其中所述提取的步骤包括从所述多个先前阶段面部界标集中的所述相应面部界标集的一相应面部界标周围的一面部界标特定局部区域提取所述多个局部特征中的每一者，其中所述面部界标特定局部区域是在所述多个面部组分特定局部区域中的每一者；及所述级联回归方法的一开始阶段相应的所述多个先前阶段面部界标集中的所述相应面部界标集为所述多个第一面部界标集中的所述相应面部界标集；及基于所述多个局部特征之间的多个相关性对所述多个局部特征进行组织，以获得多个当前阶段面部界标集中的一相应面部界标集，其中所述级联回归方法的一最后阶段相应的所述多个当前阶段面部界标集中的所述相应面部界标集为所述多个第二面部界标集中的所述相应面部界标集。
附图说明
为了更清楚地说明本发明或相关技术的实施例，在对实施例进行简要介绍时，将对以下附图进行说明。显然，附图只是本发明的一些实施例，本领域普通技术人员可以在无需付出的前提下，根据这些附图获得其他附图。
图1是以图解说明根据本公开的一实施例的一终端中的输入、处理及输出硬件模块的一框图。
图2是以图解说明根据本公开的一实施例的一面部界标检测器的一框图。
图3是以图解说明在本公开中要被参考的诸多示例中的诸多面部界标的六十八个编号的面部界标的一图。
图4是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器中的一全局面部界标获取模块的一框图。
图5是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器中的一裁剪模块的一框图。
图6是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器中的多个面部组分特定局部细化模块的一框图。
图7是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器中的一合并模块的一框图。
图8是以图解说明根据本公开的另一实施例的在图2中的所述面部界标检测器中的一裁剪模块的一框图。
图9是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器中的一裁剪模块的一框图。
图10是以图解说明根据本公开的一实施例的在图6中的所述多个面部组分特定局部细化模块中的一个中的多个级联回归阶段一框图。
图11是以图解说明根据本公开的一实施例的在图10中的所述多个级联回归阶段中的每个阶段中的一局部特征提取模块及一局部特征组织模块的一框图。
图12A是以图解说明根据本公开的一实施例的在所述多个级联回归阶段中(在图10中)的一开始阶段所述局部特征提取模块中(在图11中)被使用的多个面部界标特定局部特征映射函数的一框图。
图12B是以图解说明根据本公开的一实施例的在图12A中通过一随机森林被实现的所述多个面部界标特定局部特征映射函数中的一个的一框图。
图13是以图解说明根据本公开的一实施例的在图11的所述局部特征组织模块中的一局部特征串接模块、一面部组分特定投影模块及一面部界标集增量模块的一框图。
图14是以图解说明根据本公开的一实施例的在图10中的所述多个级联回归阶段多个级联训练阶段一框图。
图15是以图解说明根据本公开的一实施例的在图14的所述多个级联训练阶段中的一个中的一面部界标特定局部特征映射函数训练模块及一面部组分特定投影矩阵训练模块的一框图。
图16是以图解说明根据本公开的一实施例的一联合检测模块实现在图4中的所述全局面部界标获取模块的一框图。
具体实施方式
下面将结合附图对本公开的诸多实施例的诸多技术事项、诸多结构特征、诸多实现目的及诸多效果进行详细说明。具体地，本公开实施例中的术语仅用于说明某个实施例的目的，并不用于限制所述发明。
在不同附图中相同的附图标记指示实质上相同的元件，其中一个元件的描述适用于其他元件。
如在此所使用的，如通过使用诸如“使用(use)”或“来自(from)”的术语所描述的被采用的一装置、一元件、一方法或一步骤是指其中所述装置、所述元件、所述方法或所述步骤是被直接利用，或通过一介入装置、一介入元件、一介入方法或一介入步骤被间接利用。
如在此所使用的，在诸如“获得A”的情况下使用的一术语“获得”是指在操作之后接收“A”或输出“A”。
图1是以图解说明根据本公开的一实施例的一终端(terminal)100中的输入、处理及输出硬件模块的一框图。参照图1，所述终端100包括一相机模块(camera module)102、一处理器模块(processor module)104、一内存模块(memory module)106、一显示模块(display module)108、一存储模块(storage module)110、一有线或无线通信模块(wiredor wireless communication module)112及多个总线(buses)114。在一个实施例中，所述终端100可以是诸多手机、诸多智能手机、诸多平板电脑、诸多笔记本电脑、诸多台式电脑或具有足够计算能力进行面部界标检测的任何电子装置。
所述摄像头模块102为一输入硬件模块，用以撷取一面部影像204(被标示在图2中)，通过所述多个总线114被传送至所述处理器模块104。在一实施例中，所述相机模块102包括一RGB相机或一灰度相机。在另一实施例中，所述面部图像204可以使用另一个输入硬件模块，例如所述存储模块110，或者所述有线或无线通信模块112被获取。所述存储模块110用于存储通过所述多个总线114被传送到所述处理器模块104的所述面部图像204。所述有线或无线通信模块112用于通过有线或无线通信从一网络接收所述面部图像204，其中所述面部图像204通过所述多个总线114被传送到所述处理器模块104。
所述内存模块106存储多个推理阶段程序指令，所述多个推理阶段程序指令由所述处理器模块104执行，这使得所述处理器模块104执行一个使用所述面部组分特定局部细化的面部界标检测的推理阶段的方法以生成一面部形状206(被标示在图2中)，所述面部形状206将参考图2到图13进行描述。2to 13.在一个实施例中，所述内存模块106可以是一瞬态或非瞬态计算机可读介质，所述瞬态或非瞬态计算机可读介质包括至少一个内存。所述处理器模块104包括至少一个处理器，所述处理器经由所述多个总线114直接或间接地向所述数码相机模块102、所述内存模块106、所述显示模块108、所述存储模块110及所述有线或无线通信模块112发送多个信号及/或直接或间接地从所述数码相机模块102、所述内存模块106、所述显示模块108、所述存储模块110及所述有线或无线通信模块112接收多个信号。所述至少一个处理器可以是(多个)中央处理单元(CPU(s))、(多个)图形处理单元(GPU(s))及/或(多个)数字信号处理器(DSP(s))。所述(多个)CPU可以经由所述多个总线114向所述(多个)GPU及/或(多个)DSP发送所述内容图像204、所述多个程序指令中的一些及其他数据或指令。
所述显示模块108为一输出硬件模块，并且被配置为在所述面部图像204上显示所述面部形状206，或通过所述多个总线114在从所述处理器模块104接收的所述面部图像204上使用所述面部形状206所获得的一应用结果。所述应用结果可以来自例如面部识别、面部动画、3D面部重建及应用虚拟化妆。在另一实施例中，在所述面部图像204上的所述面部形状206，或者使用所述面部图像204上的所述面部形状206所获得的所述应用结果可以使用其他输出硬件模块诸如所述存储模块110或所述有线或无线通信模块112被输出。所述存储模块110被配置为存储在所述面部图像204上的所述面部形状206，或通过所述多个总线114在从所述处理器模块104接收的所述面部图像204上使用所述面部形状206所获得的所述应用结果。所述有线或无线通信模块112被配置为将在所述面部图像204上的所述面部形状206或使用在所述面部图像204上的所述面部形状206所获得的所述应用结果通过所述有线或无线通信传输到所述网络，其中在所述面部图像204上的所述面部形状206或在所述面部图像204上使用所述面部形状206所获得的所述应用结果是通过所述多个总线114从所述所述处理器模块104被接收。
在一实施例中，所述内存模块106还存储训练阶段程序指令，所述训练阶段程序指令由所述处理器模块104执行，这使得所述处理器模块104使用面部组分特定局部细化进行一种面部界标检测的训练阶段的方法，这将参考图14至图15被描述。
在上述实施例中，所述终端100是一种计算***，所述计算***的所有构件都通过所述多个总线114被集成在一起。其他类型的计算***，例如具有一远程相机模块而不是所述相机模块102的一计算***，也在本公开的预期范围内。在上述实施例中，所述终端100的所述内存模块106及所述处理器模块104相应地存储及执行诸多推理阶段程序指令及诸多训练阶段程序指令。其他类型的计算***，诸如一计算***，所述计算***包括不同终端，所述不同终端相应地用于诸多推理阶段程序指令及诸多训练阶段程序指令，都在本公开的预期范围内。
图2是以图解说明根据本公开的一实施例的一面部界标检测器(facial landmarkdetector)202的一框图。所述面部界标检测器202被配置为接收一面部图像204，使用面部组分特定局部细化进行一种面部界标检测的推理阶段的方法，并输出一面部形状206。所述面部形状206包括多个面部界标。所述面部形状206被示出在所述面部图像204上，用于指示所述多个面部界标相对于所述面部图像204中的多个面部组分及一面部轮廓的多个位置。遍及本公开，出于类似的原因，多个面部界标被示出在多个面部图像上。在一个示例中，所述面部界标的一数量是六十八。图3是以图解说明在本公开中要被参考的诸多示例中的诸多面部界标的六十八个编号面部界标的一图。参考图2及3，所述多个面部界标中的一面部界标208是所述面部形状206的所述面部界标(17)，并且所述多个面部界标中的所述面部界标210是所述面部形状206的所述面部界标(24)。所述多个面部界标被分开成由图4中的一全局面部界标获取模块(global facial landmark obtaining module)402获取的一第一集以及由图6中的多个面部组分特定局部细化模块602至608获取的一第二集。在所述第一集中的每个面部界标由所述面部界标208使用的一点样式所指示，而在所述第二集中的每个面部界标由所述面部界标210使用的一点样式所指示。
所述面部界标检测器202包括参考图4描述的所述全局面部界标获取模块402、参照图5描述的一裁剪模块(cropping module)502、参考图6描述的所述多个面部组分特定局部细化模块(facial component-specific local refining modules)602至608，及参照图7描述的一合并模块(merging module)702。
图4是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器202中的所述全局面部界标获取模块402的一框图。所述全局面部界标获取模块402被配置为接收所述面部图像204及使用所述面部图像204获取一面部形状406。参照图3及图4，在一实施例中，所述面部形状406包括所述面部图像204中全局地用于一面部(即，用于整个面部)的多个面部界标(1)至(68)。在所述面部形状406中的所述多个面部界标(1)至(68)是用于所述面部图像204中的所述面部轮廓的所述多个面部界标(1)至(17)、用于所述面部图像204中的多个眉毛的所述多个面部界标(18)至(27)、用于所述面部图像204中的多个眼睛的所述多个面部界标(37)至(48)、用于所述面部图像204中的一鼻子的所述多个面部界标(28)至(36)，及用于所述面部图像204中的一嘴巴的所述多个面部界标(49)至(68)。
图5是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器202中的所述裁剪模块502的一框图。所述裁剪模块502被配置为使用所述面部图像204及所述面部形状406以定义多个面部组分特定局部区域504至510。所述多个面部组分特定局部区域504至510中的每一者包括来自所述面部图像204的多个分开考虑面部组分520、524、528及532中的一相应分开考虑面部组分520、524、528或532。在一实施例中，所述多个分开考虑面部组分520、524、528及532根据多个面部特征522、526、530及534被分开。在图5的实施例中，所述多个面部特征522、526、530及534是被功能性分组的。所述面部特征522是在所述多个面部组分特定局部区域504中的两条眉毛。所述面部特征526是在所述多个面部组分特定局部区域506中的两只眼睛。所述面部特征530是在所述多个面部组分特定局部区域508中的一鼻子。所述面部特征534是在所述多个面部组分特定局部区域504中的一嘴巴。所述两条眉毛在功能上被分组，因为例如它们都具有保持雨水及汗水在两只眼睛外的功能。所述两只眼睛是被功能性分组的，因为例如它们一起工作以提供视觉。
所述多个分开考虑面部组分520、524、528及532中的所述相应分开考虑面部组分520、524、528或532相应于所述面部形状406中的多个面部界标集512至518中的一相应面部界标集512、514、516或518。所述多个面部界标集512至518中的所述相应面部界标集512、514、516或518包括多个面部界标。例如，参考图3及图5所示，所述多个面部界标集512至518中的所述面部界标集512包括所述面部形状406的所述多个面部界标(18)至(27)。所述多个面部界标集512至518中的所述面部界标集514包括所述面部形状406的所述多个面部界标(37)至(48)。所述多个面部界标集512至518中的所述面部界标集516包括所述面部形状406的所述多个面部界标(28)至(36)。所述多个面部界标集512至518中的所述面部界标集518包括所述面部形状406的所述面部界标(49)至(68)。
在所述全局面部界标获取模块402输出包括已知用于识别所述面部图像204中的所述眉毛位置的所述多个面部界标(18)至(27)、已知用于识别所述面部图像204中的所述眼睛位置的所述多个面部界标(37)至(48)及已知用于识别所述面部图像204中的所述鼻子位置的所述多个面部界标(28)至(36)，以及已知用于识别所述面部图像204中的所述嘴巴位置的所述多个面部界标(49)至(68)的所述面部形状406以后，所述裁剪模块502能够使用所述面部形状406以定义所述多个面部组分特定局部区域504至510。
在如图5所示的一实施例中，所述定义的步骤包括通过裁剪以定义所述多个面部组分特定局部区域504至510中的每一者，使得除了所述多个分开考虑面部组分520、524、528及532中的所述相应分开考虑面部组分520、524、528或532以外的多个分开考虑面部组分(524、528、532)、(520、528、532)、(520、524、532)、或(520、524、528)被至少部分地去除。所述多个面部界标集512至518相应地位于被分开的所述多个面部组分特定局部区域504至510上。
在上述实施例中，所述定义的步骤包括通过裁剪以定义所述多个面部组分特定局部区域504至510中的每一者。因此，所述多个面部界标集512至518相应地位于被分开的所述多个面部组分特定局部区域504至510上。定义所述多个面部组分特定局部区域中的每一者的其他方式，诸如使用在一面部图像中所述多个面部组分特定局部区域中的每一者的多个相应角的多个坐标以定义在所述面部图像中的所述多个面部组分特定局部区域中的每一者的一相应边界，在本公开的预期范围内。因此，多个面部界标集相应地位于所述多个面部组分特定局部区域，所述多个面部组分特定局部区域都在所述面部图像中。在上述实施例中，所述多个面部组分特定局部区域504至510中的每一者的一形状是一矩形。任何面部组分特定局部区域的其他形状，诸如一圆形，在本公开的预期范围内。
图6是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器202中的所述多个面部组分特定局部细化模块602至608的一框图。对于所述多个面部组分特定局部区域504至510中的每一者，所述多个面部组分特定局部细化模块602至608中的一相应面部组分特定局部细化模块602、604、606或608被配置为接收所述多个面部组分特定局部区域504至510中的每一者，使用所述多个面部组分特定局部区域504至510中的每一者及所述多个面部界标集512至518中的一相应面部界标集512、514、516或518进行一级联回归(cascaded regression)方法以获得多个面部界标集618至624中的一相应面部界标集618、620、622或624。所述多个面部组分特定局部细化模块602至608中的一示例性一者的诸多细节将参考图10到图13被描述。
图7是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器202中的所述合并模块702的一框图。所述合并模块702被配置为接收所述多个面部界标集618至624以及在所述面部形状406中的一面部界标集704，并且将相应地位于分开的所述多个面部组分特定局部区域504至510上的所述多个面部界标集618至624以及在所述面部形状406中的所述面部界标集704合并为一面部形状206。所述面部界标集704相应于面部图像204中的所述面部轮廓并且包括所述面部形状406中的所述多个面部界标(1)至(17)。
在上述实施例中，所述定义的步骤包括通过裁剪以定义所述多个面部组分特定局部区域504至510中的每一者。所述合并的步骤包括将相应地位于分开的所述多个面部组分特定局部区域504至510上的所述多个面部界标集618至624进行合并。对于通过定义所述面部图像中的所述多个面部组分特定局部区域中的每一者的所述相应边界以定义所述多个面部组分特定局部区域中的每一者的其他方式，多个面部界标集相应地位于所述面部图像中的所述多个面部组分特定局部区域上。因此，所述合并的步骤可能不是必需的。
图8是以图解说明根据本公开的另一实施例的在图2中的所述面部界标检测器202中的一裁剪模块802的一框图。与图5中的所述裁剪模块502相比，所述裁剪模块802被配置为使用所述面部图像204及所述面部形状406以定义多个面部组分特定局部区域804至814。所述多个面部组分特定局部区域804至814中的每一者包括来自所述面部图像204的多个分开考虑面部组分828、832、836、840、844及848中的一相应分开考虑面部组分828、832、836、840、844或848。在一个实施例中，所述多个分开考虑面部组分828、832、836、840、844及848根据所述多个面部特征830、834、838、842、846及850被分开。在图8的实施例中，所述多个面部特征828、832、836、840、844及848是被非功能性分组的。所述面部特征830是所述多个面部组分特定局部区域804中的一左眉毛。所述面部特征834是所述多个面部组分特定局部区域806中的一右眉毛。所述面部特征838是所述多个面部组分特定局部区域808中的一左眼。所述面部特征842是所述多个面部组分特定局部区域810中的一右眼。所述面部特征846是所述多个面部组分特定局部区域812中的一鼻子。所述面部特征850是所述多个面部组分特定局部区域814中的一嘴巴。
所述多个分开考虑面部组分828、832、836、840、844及848中的所述相应分开考虑面部组分828、832、836、840、844或848相应于所述面部形状406中的多个面部界标集816至826中的一相应面部界标集816、818、820、822、824或826。所述多个面部界标集816至826中的所述相应面部界标集816、818、820、822、824或826包括多个面部界标。参照图3及图8，例如，所述多个面部界标集816至826中的所述面部界标集816包括所述面部形状406的所述多个面部界标(18)至(22)。所述多个面部界标集816至826中的所述面部界标集818包括所述面部形状406的所述多个面部界标(23)至(27)。所述多个面部界标集816至826中的所述面部界标集820包括所述面部形状406的所述多个面部界标(37)至(40)。所述多个面部界标集816至826中的所述面部界标集822包括所述面部形状406的所述多个面部界标(43)至(46)。所述多个面部界标集816至826中的所述面部界标集824包括所述面部形状406的所述多个面部界标(28)至(36)。所述多个面部界标集816至826中的所述面部界标集826包括所述面部形状406的所述多个面部界标(49)至(68)。所述面部界标检测器202包括所述裁剪模块502的其余描述可以比照适用于包括所述裁剪模块802的所述面部界标检测器202。
图9是以图解说明根据本公开的一实施例的在图2中的所述面部界标检测器202中的所述裁剪模块902的一框图。与图5中的所述裁剪模块502相比，所述裁剪模块902被配置为使用所述面部图像204及所述面部形状406以定义多个面部组分特定局部区域904至908。所述多个面部组分特定局部区域904至908中的每一者包括来自所述面部图像204的多个分开考虑面部组分916、920及924中的一相应分开考虑面部组分916、920或924。在图9中的一实施例中，所述多个分开考虑面部组分916、920及924根据多个感官被分开。所述分开考虑面部组分916是一视觉相关的感官组分918并且是在所述多个面部组分特定局部区域904中的两个眉毛及两只眼睛。所述分开考虑面部组分920是一嗅觉相关的感官组分922并且是在所述多个面部组分特定局部区域906中的一鼻子。所述分开考虑面部组分924是一味觉相关的感官组分926并且是在所述多个面部组分特定局部区域908中的一嘴巴。
所述多个分开考虑面部组分916、920及924中的所述相应分开考虑面部组分916、920或924相应于所述面部形状406中的多个面部界标集910至914中的一相应面部界标集910、912或914。所述多个面部界标集910至914中的所述相应面部界标集910、912或914包括多个面部界标。例如，参照图3及图5所示，所述多个面部界标集910至914中的所述面部界标集910包括所述面部形状406的所述多个面部界标(18)至(27)及所述多个面部界标(37)至(48)。所述多个面部界标集910至914中的所述面部界标集912包括所述面部形状406的所述多个面部界标(28)至(36)。所述多个面部界标集910至914中的所述面部界标集914包括所述面部形状406的所述多个面部界标(49)至(68)。包括所述裁剪模块502的所述面部界标检测器202的其余描述可以比照(mutatis mutandis)适用于包括所述裁剪模块902的所述面部界标检测器202。
图10是以图解说明根据本公开的一实施例的在图6中的所述多个面部组分特定局部细化模块602至608中的一个中的多个级联回归阶段(cascaded regression stages)R1至RM的一框图。在下文中，针对所述多个面部组分特定局部细化模块602至608中的每一者的叙述首先被描述并且不参考附图。然后，以所述面部组分特定局部细化模块604为一示例，并且参照图10进行说明。为了简单起见，参考图11到图13的描述仅以所述面部组分特定局部细化模块604为一示例。所述面部组分特定局部细化模块604的描述转换成所述面部组分特定局部细化模块604中的每一者的描述以达到所附权利要求可以使用参考图10的描述作为一示例。
对于所述多个面部组分特定局部区域中的每一者，所述多个面部组分特定局部细化模块中的一相应面部组分特定局部细化模块被配置为接收所述多个面部组分特定局部区域中的每一者，使用所述多个面部组分特定局部区域中的每一者及多个第一面部界标集中的一相应第一面部界标集进行一级联回归方法以获得多个第二面部界标集中的一相应第二面部界标集。所述多个面部组分特定局部细化模块中的所述相应面部组分特定局部细化模块包括多个级联回归阶段。所述多个级联回归阶段中的每一者被配置为接收所述多个面部组分特定局部区域中的每一者及所述多个面部组分特定局部区域中的每一者相应的多个先前阶段面部界标集中的一面部界标集，进行所述级联回归方法，并且输出所述多个面部组分特定局部区域中的每一者相应的多个当前阶段面部界标集中的一面部界标集。所述多个级联回归阶段的一开始阶段相应的所述多个先前阶段面部界标集中的所述面部界标集为所述多个第一面部界标集中的所述相应面部界标集。用于所述多个级联回归阶段中的一个阶段的所述多个当前阶段面部界标集中的所述面部界标集成为所述多个先前阶段面部界标集中的所述面部界标集，用于紧接所述阶段另一阶段。所述多个级联回归阶段中的一最后阶段相应的所述多个当前阶段面部界标集中的所述面部界标集为所述多个第二面部界标集中的所述相应面部界标集。
例如：所述面部组分特定局部细化模块604被配置为接收所述面部组分特定局部区域506，使用所述面部组分特定局部区域506及所述面部界标集514进行所述级联回归方法以获得所述面部界标集620。所述面部组分特定局部细化模块604包括多个级联回归阶段R1至RM。所述多个级联回归阶段R1至RM中的每一者被配置为接收所述面部组分特定局部区域506及一先前阶段面部界标集1106(在图11中标记)，进行所述级联回归方法的一阶段中的多个步骤，并且输出一当前阶段面部界标集1110(在图11中标记)。所述多个级联回归阶段R1到RM的一开始阶段R1相应的所述先前阶段面部界标集1106是所述面部界标集514。针对所述多个级联回归阶段R1到RM的一阶段Rt(在图11中标记)的所述当前阶段面部界标集1110变成所述先前阶段面部界标集1106，用于紧接在所述阶段Rt之后的另一阶段Rt+1。相应于所述多个级联回归阶段R1到RM的一最后阶段RM的所述当前阶段面部界标集1110是所述面部界标集620。
图11是以图解说明根据本公开的一实施例的在图10中的所述多个级联回归阶段R1至RM中的每个阶段Rt中的一局部特征提取模块(local feature extracting module)1102及一局部特征组织模块(local feature organizing module)1104的一框图。所述多个级联回归阶段R1至RM中的每个阶段Rt包括一局部特征提取模块1102及一局部特征组织模块1104。所述局部特征提取模块1102被配置为接收所述面部组分特定局部区域506及所述先前阶段面部界标集1106，使用所述面部组分特定局部区域506及所述先前阶段面部界标集1106提取多个局部特征1108，并且输出所述多个局部特征1108。在图12A及图12B中，所述多个级联回归阶段R1至RM中(如图10所示)的所述开始阶段R1的所述局部特征提取模块1102为例进行说明。针对所述多个级联回归阶段R1至RM中的所述开始阶段R1的所述局部特征提取模块1102的描述可以比照适用于所述多个级联回归阶段R1至RM中的任何其他阶段所述局部特征提取模块1102。参照图3、图11、图12A及图12B，所述提取的步骤包括从所述先前阶段面部界标集(譬如1202)的一相应面部界标(譬如面部界标(37)周围的一面部界标特定局部区域(譬如1206)中提取所述多个局部特征(譬如1204)中的每一者(譬如1210)。所述面部界标特定局部区域(譬如1206)在所述面部组分特定局部区域(譬如506)中。参照图11，所述局部特征组织模块1104被配置为接收所述先前阶段面部界标集1106及所述多个局部特征1108，并且基于所述多个局部特征1108之间的多个相关性来组织所述多个局部特征1108，以使用所述多个局部特征1108及所述先前阶段面部界标集1106来获得所述阶段面部界标集1110。接着图12A及图12B中的示例，参考图11及图13，所述组织的步骤是基于所述多个局部特征(例如1204)之间的多个相关性来组织所述多个局部特征(譬如1204)以使用所述多个局部特征(譬如1204)及所述先前阶段面部界标集(譬如1202)来获得所述当前阶段面部界标集(譬如1312)。
图12A是以图解说明根据本公开的一实施例的在所述多个级联回归阶段R1到RM(在图10中)的所述开始阶段R1的所述局部特征提取模块1102(在图11中)中被使用的多个面部界标特定局部特征映射函数
Figure BDA0003389790990000071
...及
Figure BDA0003389790990000072
的一框图。参考图12A及图12B，所述开始阶段R1的所述局部特征提取模块1102通过进行多个操作，所述多个操作包括依据多个面部界标特定局部特征映射函数
Figure BDA0003389790990000073
...及
Figure BDA0003389790990000074
中的一相应面部界标特定局部特征映射函数(譬如
Figure BDA0003389790990000075
)，将所述先前阶段面部界标集1202的所述相应面部界标(譬如面部界标(37))周围的所述面部界标特定局部区域(譬如1206)映射到所述多个局部特征1204中的每一者(譬如1210)。所述多个面部界标特定局部特征映射函数
Figure BDA0003389790990000076
...及
Figure BDA0003389790990000077
是独立的。所述多个面部界标特定局部特征映射函数
Figure BDA0003389790990000078
...及
Figure BDA0003389790990000079
中的每一者由一表述式(1)表示，如下所示。
Figure BDA00033897909900000710
其中，1表示一第1个面部界标，如图3所示，t表示在所述多个级联回归阶段R1到RM中的一第t个阶段。所述多个局部特征1204中的每一者(譬如1210)由一表述式(2)表示，如下所示。
Figure BDA00033897909900000724
其中，lc标示具有一分开考虑面部组分c的一面部组分特定局部区域，诸如具有两只眼睛的所述面部组分特定局部区域506，及
Figure BDA00033897909900000711
标示所述分开考虑面部组分c相应的一先前阶段面部界标集(previous stage facial landmark set)，诸如两只眼睛相应的所述先前阶段面部界标集1202。
在上述实施例中，所述多个局部特征1204使用所述多个独立的面部界标特定局部特征映射函数
Figure BDA00033897909900000712
...及
Figure BDA00033897909900000713
被提取。提取多个局部特征的其他方法，诸如使用局部二进制模式(LBP)或尺度不变特征变换(SIFT)，在本公开的预期范围内。
图12B是以图解说明根据本公开的一实施例的在图12A中通过一随机森林1208被实现的所述多个面部界标特定局部特征映射函数
Figure BDA00033897909900000714
...及
Figure BDA00033897909900000715
中的一个的一框图。参考图12A及图12B，在一实施例中，所述多个面部界标特定局部特征映射函数
Figure BDA00033897909900000716
...及
Figure BDA00033897909900000717
中的每一者由一相应随机森林(corresponding random forest)实现。以所述随机森林1208实现的所述多个面部界标特定局部特征映射函数
Figure BDA00033897909900000718
为例进行说明。所述多个面部界标特定局部特征映射函数
Figure BDA00033897909900000719
的描述可以比照适用于其他多个面部界标特定局部特征映射函数
Figure BDA00033897909900000720
...及
Figure BDA00033897909900000721
所述随机森林1208包括多个决策树1212及1214。所述多个决策树1212及1214中的每一者包括至少一个***节点1216及至少一个叶节点1218。所述至少一个***节点1216中的每一者决定是向左分支还是向右分支。在训练期间，所述至少一个叶节点1218中的每一者与对于一回归目标的连续预测相关联。所述先前阶段面部界标集1202的所述面部界标(37)周围的所述面部界标特定局部区域1206遍历所述多个决策树1212及1214，直到到达每个决策树1212及1214的一个叶节点1218。在一实施例中，所述面部界标特定局部区域1206是一半径为r的圆形区域并且以所述面部界标(37)的位置为中心。所述局部特征1210是包括多个位的一向量，每个位相应于所述随机森林1208的一相应叶节点1218。对于所述面部界标特定局部区域1206到达的所述多个决策树1212及1214中的每一者的所述一个叶节点1218相应于所述局部特征1210具有一值为“1”的一位。所述局部特征1210的其他位中的每一者都具有一值为“0”。
在上述实施例中，所述多个面部界标特定局部特征映射函数
Figure BDA00033897909900000722
...及
Figure BDA00033897909900000723
中的每一者是由所述随机森林1208实现的。实现多个面部界标特定局部特征映射函数中的每一者的其他方式，诸如使用一卷积神经网络，在本公开的预期范围内。在上述实施例中，所述面部界标特定局部区域1206是一圆形的形状。一面部界标特定局部区域的其他形状，诸如一正方形、一矩形及一三角形，在本公开的预期范围内。
图13是以图解说明根据本公开的一实施例的在图11的所述局部特征组织模块1104中的一局部特征串接模块(local feature concatenating module)1302、一面部组分特定投影模块(facial component-specific projecting module)1304及一面部界标集增量模块(facial landmark set incrementing module)1306的一框图。所述局部特征组织模块1104包括所述局部特征串接模块1302、所述面部组分特定投影模块1304及所述面部界标集增量模块1306。所述局部特征串接模块1302被配置为接收所述多个局部特征1204及将所述多个局部特征1204串接成一面部组分特定特征1308。所述面部组分特定投影模块1304用于接收所述面部组分特定特征1308，根据一面部组分特定投影矩阵对所述面部组分特定局部区域506(如图12A所示)相应的所述面部组分特定特征1308进行一面部组分特定投影，及输出一面部界标集增量1310。所述面部界标集增量1310由一等式(3)获得，如下所示。
Figure BDA0003389790990000081
其中
Figure BDA0003389790990000082
标示在阶段t的一分开考虑面部组分c相应的一面部界标集增量，诸如所述面部界标集增量1310，
Figure BDA0003389790990000083
标示在阶段t的所述分开考虑面部组分c相应的一面部组分特定投影矩阵，
Figure BDA0003389790990000084
标示在阶段t的一分开考虑面部组分c相应的一面部组分特定特征，诸如所述面部组分特定特征1308。在一实施例中，所述面部组分特定投影矩阵
Figure BDA0003389790990000085
是一线性投影矩阵。所述面部界标集增量模块1306接收所述面部界标集增量1310及所述先前阶段面部界标集1202，并且将所述面部界标集增量1310应用于所述先前阶段面部界标集1202，以获得所述当前阶段面部界标集1312。
图14是以图解说明根据本公开的一实施例的在图10中的所述多个级联回归阶段R1至RM的多个级联训练阶段(cascaded training stages)T1至TP的一框图。所述级联训练阶段T1至TP中的每一者被配置为接收多个训练样本面部组分特定局部区域1402、所述多个训练样本面部组分特定局部区域1402相应的多个地面真实的面部界标集1404，以及所述多个训练样本面部组分特定局部区域1402相应的多个先前阶段面部界标集1506(在图15中标记)。所述多个训练样本面部组分特定局部区域1402中的每一者是使用一训练样本面部图像被定义的并且包括相同类型的多个分开考虑面部组分。所述多个级联训练阶段T1至TP中的每一者还被配置为使用所述多个训练样本面部组分特定局部区域1402、所述多个地面真实的面部界标集1404，及所述多个先前阶段面部界标集1506，以训练多个面部界标特定局部特征映射函数1408及一面部组件特定投影矩阵1410。所述面部界标特定局部特征映射函数1408例如被相应地用作图12A中的所述多个面部界标特定局部特征映射函数
Figure BDA0003389790990000086
...及
Figure BDA0003389790990000087
所述面部组分特定投影矩阵1410例如被用作图12B中的所述面部组分特定投影矩阵
Figure BDA0003389790990000088
其中所述分开考虑面部组分c是两只眼睛。所述多个级联训练阶段T1至Tp-1中的每一者还被配置为输出所述训练样本面部组分特定局部区域1402相应的多个当前阶段面部界标集1514(在图15中标记)。所述多个级联回归阶段T1至TP的一开始阶段T1相应的所述先前阶段面部界标集1506是多个面部界标集1406。所述多个面部界标集1406中的每一者可以类似地参考图4及图5描述的所述面部界标集514被获得。所述多个级联回归阶段T1至TP-1中的一阶段Tt(在图15中标记)的所述当前阶段面部界标集1514变成所述先前阶段面部界标集1506，用于紧接所述阶段Tt之后的另一阶段Tt+1。
图15是以图解说明根据本公开的一实施例的在图14中的所述多个级联训练阶段T1至TP中的每一阶段Tt中的一面部界标特定局部特征映射函数训练模块(faciallandmark-specific local feature mapping function training module)1502及一面部组分特定投影矩阵训练模块(facial component-specific projection matrix trainingmodule)1504的一框图。所述多个级联训练阶段T1至TP中的每个阶段Tt包括一面部界标特定局部特征映射函数训练模块1502及一面部组分特定投影矩阵训练模块1504。
所述面部界标特定局部特征映射函数训练模块1502被配置为接收所述多个训练样本面部组分特定局部区域1402、所述地面真实的面部界标集1404及所述先前阶段面部界标集1506，并且训练所述多个面部界标特定局部特征映射函数1408中的每一者彼此独立及输出所述多个训练样本面部组分特定局部区域1402相应的多个局部特征集1512，使用所述多个训练样本面部组分特定局部区域1402、所述地面真实的面部界标集1404及所述先前阶段面部界标集1506。在一实施例中，所述多个面部界标特定局部特征映射函数1408中的每一者是通过最小化如下所示的一目标函数(4)被获得的。
Figure BDA00033897909900000813
其中t表示图14中的所述多个级联训练阶段T1至TP中的一第t阶段，i迭代所有所述训练样本面部组分特定局部区域1402，1表示如图3中所示的第1个面部界标，
Figure BDA0003389790990000089
是在第t阶段的第i个训练样本面部组分特定局部区域相应的一地面真实的面部界标集增量，πl是从所述地面真实的面部界标集增量
Figure BDA00033897909900000810
中提取两个元素(21、21-1)，πl。
Figure BDA00033897909900000811
是第1个训练样本面部组件特定局部区域中第1个面部界标的一2D偏移，li为第i个训练样本面部组分特定局部区域，
Figure BDA00033897909900000812
是第i个训练样本面部组分特定相应的先前阶段面部界标集局部区域，诸如所述多个先前阶段面部界标集1506中的一者，
Figure BDA0003389790990000091
是第t阶段的第1个面部界标相应的一面部界标特定局部特征映射函数，诸如所述多个面部界标特定局部特征映射函数1408中的一者，
Figure BDA0003389790990000092
是在第t阶段的第1个面部界标及第i个训练样本面部组分特定局部区域相应的一局部特征，诸如所述多个局部特征集1512中的一个局部特征集的一个局部特征，
Figure BDA0003389790990000093
是用于将所述局部特征
Figure BDA0003389790990000094
映射到一2D偏移的一局部线性回归矩阵。所述地面真实的面部界标集增量
Figure BDA0003389790990000095
由一等式(5)获得，如下所示。
Figure BDA0003389790990000096
其中，
Figure BDA0003389790990000097
是第i个训练样本面部组分特定局部区域诸如所述多个地面真实的面部界标集1404中的一者相应的第i个训练样本的地面真实的面部界标集，及
Figure BDA0003389790990000098
是第i个训练样本面部组分特定局部区域相应的一先前阶段面部界标集，诸如所述多个先前阶段面部界标集1506中的一者。所述局部线性投影矩阵
Figure BDA0003389790990000099
是一个2×D矩阵(2-by-D matrix)，其中D是所述局部特征
Figure BDA00033897909900000910
的一维度。
一标准回归随机森林被用于学***均。在测试过程中，所述多个训练样本面部组分特定局部区域1402中的每一者遍历所述随机森林，并且将所述多个训练样本面部组分特定局部区域1402中的每一者的所述像素差异特征与每个节点进行比较，直到所述多个训练样本面部组分特定局部区域1402中的每一者到达一叶节点。对于所述局部特征
Figure BDA00033897909900000913
中的每个维度，如果第i个训练样本面部组分特定局部区域到达一相应叶节点，则每个维度的一值为“1”，否则为“0”。
所述面部组分特定投影矩阵训练模块1504被配置为接收多个地面真实的面部界标集增量1510及所述多个局部特征集1512，及训练面部组分特定投影矩阵1410并输出所述当前阶段面部界标集1514，使用所述地面真实的面部界标集增量1510及所述多个局部特征集增量1512。所述多个地面真实的面部界标集增量1510中的每一者是所述目标函数(4)中的所述地面真实的面部界标集增量
Figure BDA00033897909900000922
面部组分特定投影矩阵1410使用所述训练样本面部组分特定局部区域1402相应的所述多个局部特征集1512被训练，所述训练样本面部组分特定局部区域1402包括多个相同类型的分开考虑面部组分，但不是多个训练样本面部组分特定局部区域相应的多个局部特征，所述多个训练样本面部组分特定局部区域包括其他类型的分开考虑面部组分。在一实施例中，所述面部组分特定投影矩阵1410是通过最小化如下所示的一目标函数(5)被获得的。
Figure BDA00033897909900000914
其中第一项是所述回归目标，
Figure BDA00033897909900000915
是在第t阶段的第i个训练样本面部组分特定局部区域相应的一面部组分特定特征，
Figure BDA00033897909900000916
是一面部组分特定投影矩阵，诸如所述面部组分特定投影矩阵1410，第二项是对
Figure BDA00033897909900000917
的一L1正则化，λ控制所述正则化强度。所述面部组分特定特征
Figure BDA00033897909900000918
为所述多个被串接的局部特征，其中所述多个被串接的局部特征中的每个局部特征为参照所述目标函数(4)描述的所述局部特征
Figure BDA00033897909900000919
可以使用任何优化技术，诸如单值分解(SVD)、梯度下降或双坐标下降。在获得所述面部组分特定投影矩阵
Figure BDA00033897909900000920
之后，所述当前阶段面部界标集1514中的每一者是
Figure BDA00033897909900000921
图16是以图解说明根据本公开的一实施例的一联合检测模块(joint detectionmodule)1602实现在图4中的所述全局面部界标获取模块402的一框图。在一实施例中，所述全局面部界标获取模块402是使用一联合检测模块1602被实现的。所述联合检测模块1602用于接收所述面部图像204，并且使用所述面部图像204进行联合检测，以获得一面部形状406。所述联合检测方法将一面部图像中的多个面部组分相应的多个面部界标一起获取。例如，所述联合检测方法获得所述面部图像204中的所述面部轮廓相应的所述多个面部界标(1)至(17)、所述面部图像204中的所述眉毛相应的所述多个面部界标(18)至(27)，一起在所述面部图像204中的所述眼睛的所述多个面部界标(37)至(48)、所述面部图像204中的所述鼻子的所述多个面部界标(28)至(36)及所述面部图像204中嘴巴的的面部界标(49)至(68)。在一实施例中，所述联合检测方法是一级联回归方法，所述级联回归方法使用所述面部图像204提取多个局部特征，将所述多个局部特征串接成一全局特征，并且对所述全局特征进行一联合投影以获得用于一当前阶段的一面部形状。在进行所述联合投影时被使用的一联合投影矩阵是使用一回归目标被训练，所述回归目标涉及多个面部组分诸如面部轮廓、眉毛、眼睛、鼻子及嘴巴的多个面部界标。在另一实施例中，所述联合检测方法是一深度学习面部界标检测方法，所述深度学习面部界标检测方法包括一卷积神经网络，所述卷积神经网络具有多个层级，其中至少一个层级一起获得一面部图像中的多个面部组分相应的多个面部界标。
在上述实施例中，所述全局面部界标获取模块402使用所述联合检测方法被实现。实现所述全局面部界标获取模块402的其他方式，诸如使用从多个训练样本获得的一随机猜测或一平均面部形状，在本公开的预期范围内。
一些实施例具有以下特征及/或优点中的一个或组合。在相关技术中，一级联回归方法也是一联合检测方法，使用一面部图像提取多个局部特征，将所述多个局部特征串接成一全局特征，对所述全局特征进行一联合投影，获得用于一当前阶段一面部形状。在进行所述联合投影时被使用的一联合投影矩阵是使用一回归目标被训练的，所述回归目标涉及多个面部组分的多个面部界标，诸如一面部轮廓、两眉毛、两眼睛、一鼻子及一嘴巴。因此，用于所述联合投影矩阵的优化涉及所有面部组分。这样，例如，在优化过程中，所述鼻子的面部界标的变化会影响所述面部轮廓、所述眉毛、所述眼睛及所述嘴巴的面部界标的变化。当所述鼻子异常时，对所述联合投影矩阵的训练产生不利影响，导致在一推理阶段过程中，所述联合投影矩阵不仅对一鼻子不是优选的，而且对一面部轮廓、眉毛、眼睛及一嘴巴也不是优选的。与相关技术相比，本公开的一些实施例使用一面部图像定义多个面部组分特定局部区域，并对所述多个面部组分特定局部区域中的每一者进行一级联回归方法。本公开的一些实施例的所述级联回归方法使用所述多个面部组分特定局部区域中的每一者提取多个局部特征，将所述多个局部特征串接成一面部组分特定特征，并对所述面部组分特定特征进行一面部组分特定投影以获得用于一当前阶段多个面部界标集中的一相应面部界标集。在进行所述面部组分特定投影时被使用的一面部组分特定投影矩阵使用一回归目标被训练，所述回归目标仅涉及一分开考虑面部组分诸如眼睛的所述多个面部界标。因此，所述面部组分特定投影矩阵的优化涉及所述分开考虑面部组分。这样，例如，在优化过程中，所述眼睛的面部界标的变化不会影响眉毛、一鼻子及一嘴巴的多个面部界标的变化。当所述眼睛异常时，对其他面部组分的多个面部组分特定投影矩阵的训练不会产生不利影响，从而所述面部组分特定投影矩阵在一推理阶段优选用于所述眉毛、所述鼻子及所述嘴巴。此外，用于优化所述联合投影矩阵的复杂度高于用于优化所述多个面部组分特定投影矩阵中的每一者的复杂度。
在相关技术中，一级联回归方法诸如执行联合检测的所述级联回归方法使用一随机猜测或一平均面部形状作为一初始化(即用于所述级联回归方法的一开始阶段一先前阶段面部形状)。由于所述级联回归方法在很大程度上依赖于所述初始化，当用于进行所述面部界标检测的一面部图像的一头部姿势与所述随机猜测或所述平均面部形状的一头部姿势偏差较大时，一面部界标检测的性能较差。与相关技术相比，本公开的一些实施例进行一联合检测方法粗略检测一面部形状，及使用所述面部形状作为用于一级联回归方法的一初始化，所述级联回归方法对所述面部形状中的多个面部界标集中的每一者进行面部组分特定局部细化。所述多个面部界标集相应于多个分开考虑面部组分。因此，进行从粗到细的面部界标检测，从而提高一被检测的面部形状的准确性。此外，由于面部组分特定局部细化是局部特定对于一面部组分进行，因此可以在不牺牲速度的情况下获得所述被检测的面部形状的准确性。下面的表1以图解说明用于比较一监督下降方法(SDM)的准确性及速度的实验结果，所述监督下降方法是使用一随机猜测或一平均面部形状作为一初始化的一级联回归方法，以及本公开的一些实施例进行从粗到细的面部界标检测。所述SDM由“监督下降方法及其在面部对齐中的应用”描述，熊·X.(Xiong,X.)、德拉托雷弗雷德·F.(De la TorreFrade,F.)，在：电气与电子工程师学会的计算机视觉和模式识别国际会议(IEEEInternational Conference on Computer Vision and Pattern Recognition)，2013。如所示地，与所述SDM相比，本公开的一些实施例中的从粗到细的面部界标检测在一归一化平均误差(NME)上得到显着改进而不牺牲速度。
表1
Figure BDA0003389790990000101
在一相关技术中，一深度学习面部界标检测方法使用一复杂/深度架构来提高一被检测的面部形状的准确性。与所述深度学习面部界标检测方法相比，本公开的一些实施例中的从粗到细面部界标检测使用另一种深度学习面部界标检测方法，采用一更浅或更窄的架构进行粗检测及面部组分特定局部细化用于精细检测。因此，在不显著增加计算成本的情况下可以提高一被检测的面部形状的准确性。
本领域普通技术人员可以理解，本发明实施例所描述及公开的***或计算机实现的方法的诸多单元、诸多模块、诸多层、诸多块、算法、诸多步骤中的每一者都是通过硬件、固件、软件或其组合被实现的。所述诸多功能是否以硬件、固件或软件方式运行，取决于应用条件及技术方案的设计要求。本领域普通技术人员可以针对每个具体的应用使用不同的方式来实现所述功能，但这种实现方式不应超出本公开的范围。
应当理解的是，本公开实施例中所公开的***及计算机实现的方法可以通过其他方式被实现。上述实施例仅是示例性的。所述诸多模块的划分仅仅是基于逻辑功能，而其他的划分在实现上是存在的。所述多个模块可以是也可以不是物理模块。多个模块组合或被集成为一个物理模块是可能的。也可以将任何模块分成多个物理模块。也有可能省略或跳过某些特征。另一方面，显示或讨论的相互耦合、直接耦合或通信耦合通过一些端口、设备或模块以电气、机械或其他形式的方式间接或通信地进行操作。
作为用于说明的分开组件的模块在物理上是分开的，也可以不分开的。所述诸多模块位于一处或分布在多个网络模块上。根据实施例的目的使用一些或所有模块。
如果将所述软件功能模块作为产品实现使用和销售，则可以被存储在一计算机可读存储介质中。基于这种理解，本发明提出的技术方案可以实质上或部分以软件产品的形式被实现。或者，可以将有利于现有技术的技术方案的一部分以软件产品的形式被实现。所述软件产品被存储在一计算机可读存储介质中，包括用于一***的至少一个处理器运行本公开的多个实施例所公开的全部或部分步骤的多个命令。所述存储介质包括一U盘、一移动硬盘、一只读存储器(ROM)、一随机存取存储器(RAM)、一软盘或其他能够存储诸多程序指令的介质。
虽然本公开已经结合被认为是最实用及优选的实施例被描述，但是应当理解，本公开不限于所公开的实施例，而是旨在覆盖在不脱离所附权利要求的最广泛解释范围的情况下做出的各种安排。

Claims (20)

1.一种计算机实现的方法，其特征在于：包括：
进行一推理阶段的方法，其中所述推理阶段的方法包括：
接收第一面部图像；
使用所述第一面部图像获得一第一面部形状；
使用所述第一面部图像及所述第一面部形状定义多个面部组分特定局部区域，其中所述多个面部组分特定局部区域中的每一者包括来自所述第一面部图像的多个分开考虑面部组分中的一相应分开考虑面部组分，以及所述多个分开考虑的面部组分中的所述相应分开考虑面部组分相应于所述第一面部形状中的多个第一面部界标集中的一相应第一面部界标集，其中所述多个第一面部界标集中的所述相应第一面部界标集包括多个面部界标；
对于所述多个面部组分特定局部区域中的每一者，使用所述多个面部组分特定局部区域中的每一者及所述多个第一面部界标集中的一相应面部界标集进行一级联回归方法，以获得多个第二面部界标集中的一相应面部界标集，其中所述级联回归方法的每个阶段包括：
使用所述多个面部组分特定局部区域中的每一者及多个先前阶段面部界标集中的一相应面部界标集提取多个局部特征，
其中：
所述提取的步骤包括从所述多个先前阶段面部界标集中的所述相应面部界标集的一相应面部界标周围的一面部界标特定局部区域提取所述多个局部特征中的每一者，其中所述面部界标特定局部区域是在所述多个面部组分特定局部区域中的每一者；及
所述级联回归方法的一开始阶段相应的所述多个先前阶段面部界标集中的所述相应面部界标集为所述多个第一面部界标集中的所述相应面部界标集；及
基于所述多个局部特征之间的多个相关性对所述多个局部特征进行组织，以获得多个当前阶段面部界标集中的一相应面部界标集，其中所述级联回归方法的一最后阶段相应的所述多个当前阶段面部界标集中的所述相应面部界标集为所述多个第二面部界标集中的所述相应面部界标集。
2.如权利要求1所述的计算机实现的方法，其特征在于：所述多个分开考虑面部组分根据多个面部特征被分开。
3.如权利要求2所述的计算机实现的方法，其特征在于：所述多个面部特征是功能性分组的。
4.如权利要求2所述的计算机实现的方法，其特征在于：所述多个面部特征是非功能性分组的。
5.如权利要求1所述的计算机实现的方法，其特征在于：所述定义的步骤包括：通过裁剪以定义所述多个面部组分特定局部区域中的每一者，使得除了所述多个分开考虑面部组分中的所述相应分开考虑面部组分以外的多个分开考虑面部组分至少部分地被去除，其中所述多个第二面部界标集相应地位于被分开的所述多个面部组分特定局部区域上。
6.如权利要求5所述的计算机实现的方法，其特征在于：
所述第一面部形状还包括来自所述第一面部图像的一面部轮廓相应的一第三面部界标集；及
所述推理阶段的方法还包括：
将相应地位于被分开的所述多个面部组分特定局部区域上的所述多个第二面部界标集及所述第三面部界标集合并为一第二面部形状。
7.如权利要求1所述的计算机实现的方法，其特征在于：所述所述第一面部形状使用一联合检测方法被获得。
8.如权利要求1所述的计算机实现的方法，其特征在于：所述提取所述多个局部特征中的每一者的步骤包括依据多个面部界标特定局部特征映射函数中的一相应面部界标特定局部特征映射函数，将所述多个先前阶段面部界标集中的所述相应面部界标集的所述相应面部界标周围的所述面部界标特定局部区域映射到所述多个局部特征中的每一者中。
9.如权利要求8所述的计算机实现的方法，其特征在于：还包括：
进行一训练阶段的方法，其中所述训练阶段的方法包括：
彼此独立地训练所述多个面部界标特定局部特征映射函数中的每一者。
10.如权利要求9所述的计算机实现的方法，其特征在于：
所述组织的步骤包括：
将所述多个局部特征串接成一面部组分特定特征；及
根据所述多个面部组分特定投影矩阵中的一相应面部组分特定投影矩阵，对所述多个面部组分特定局部区域中的每一者相应的所述面部组分特定特征进行一面部组分特定投影；及
所述训练阶段的方法还包括：
使用所述多个面部组分特定局部区域中的每一者相应的所述多个面部界标特定局部特征映射函数以训练所述多个面部组分特定投影矩阵中的所述相应面部组分特定投影矩阵，而非使用除了所述多个面部组分特定局部区域中的每一者以外的所述多个面部组分特定局部区域相应的所述多个面部界标特定局部特征映射函数。
11.如权利要求1所述的计算机实现的方法，其特征在于：所述组织的步骤包括：将所述多个局部特征串接成一面部组分特定特征；及根据所述多个面部组分特定投影矩阵中的一相应面部组分特定投影矩阵，对所述多个面部组分特定局部区域中的每一者相应的所述面部组分特定特征进行一面部组分特定投影。
12.一种***，其特征在于：包括：
至少一个内存，被配置为存储多个程序指令；
至少一个处理器，被配置为执行所述多个程序指令，所述多个程序指令致使所述至少一个处理器执行多个步骤，包括：
进行一推理阶段的方法，其中所述推理阶段的方法包括：
接收一第一面部图像；
使用所述第一面部图像获得一第一面部形状；
使用所述第一面部图像及所述第一面部形状定义多个面部组分特定局部区域，其中所述多个面部组分特定局部区域中的每一者包括来自所述第一面部图像的多个分开考虑面部组分中的一相应分开考虑面部组分，以及所述多个分开考虑的面部组分中的所述相应分开考虑面部组分相应于所述第一面部形状中的多个第一面部界标集中的一相应第一面部界标集，其中所述多个第一面部界标集中的所述相应第一面部界标集包括多个面部界标；
对于所述多个面部组分特定局部区域中的每一者，使用所述多个面部组分特定局部区域中的每一者及所述多个第一面部界标集中的一相应面部界标集进行一级联回归方法，以获得多个第二面部界标集中的一相应面部界标集，其中所述级联回归方法的每个阶段包括：
使用所述多个面部组分特定局部区域中的每一者及多个先前阶段面部界标集中的一相应面部界标集提取多个局部特征，
其中：
所述提取的步骤包括从所述多个先前阶段面部界标集中的所述相应面部界标集的一相应面部界标周围的一面部界标特定局部区域提取所述多个局部特征中的每一者，其中所述面部界标特定局部区域是在所述多个面部组分特定局部区域中的每一者；及
所述级联回归方法的一开始阶段相应的所述多个先前阶段面部界标集中的所述相应面部界标集为所述多个第一面部界标集中的所述相应面部界标集；及
基于所述多个局部特征之间的多个相关性对所述多个局部特征进行组织，以获得多个当前阶段面部界标集中的一相应面部界标集，其中所述级联回归方法的一最后阶段相应的所述多个当前阶段面部界标集中的所述相应面部界标集为所述多个第二面部界标集中的所述相应面部界标集。
13.如权利要求12所述的***，其特征在于：所述多个分开考虑面部组分根据多个面部特征被分开。
14.如权利要求13所述的***，其特征在于：所述多个面部特征是功能性分组的。
15.如权利要求13所述的***，其特征在于，所述面部特征是非功能性分组的。
16.如权利要求12所述的***，其特征在于：所述定义的步骤包括：通过裁剪以定义所述多个面部组分特定局部区域中的每一者，使得除了所述多个分开考虑面部组分中的所述相应分开考虑面部组分以外的多个分开考虑面部组分至少部分地被去除，其中所述多个第二面部界标集相应地位于被分开的所述多个面部组分特定局部区域上。
17.如权利要求16所述的***，其特征在于：
所述第一面部形状还包括来自所述第一面部图像的一面部轮廓相应的一第三面部界标集；及
所述推理阶段的方法还包括：
将相应地位于被分开的所述多个面部组分特定局部区域上的所述多个第二面部界标集及所述第三面部界标集合并为一第二面部形状。
18.如权利要求12所述的***，其特征在于：所述所述第一面部形状使用一联合检测方法被获得。
19.如权利要求12所述的***，其特征在于：所述提取所述多个局部特征中的每一者的步骤包括依据多个面部界标特定局部特征映射函数中的一相应面部界标特定局部特征映射函数，将所述多个先前阶段面部界标集中的所述相应面部界标集的所述相应面部界标周围的所述面部界标特定局部区域映射到所述多个局部特征中的每一者中。
20.如权利要求19所述的***，其特征在于：还包括：
进行一训练阶段的方法，其中所述训练阶段的方法包括：
彼此独立地训练所述多个面部界标特定局部特征映射函数中的每一者。
CN202080041024.5A 2019-06-11 2020-05-21 使用面部组分特定局部细化于面部界标检测的方法及*** Pending CN113924603A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962859857P 2019-06-11 2019-06-11
US62/859,857 2019-06-11
PCT/CN2020/091480 WO2020248789A1 (en) 2019-06-11 2020-05-21 Method and system for facial landmark detection using facial component-specific local refinement

Publications (1)

Publication Number Publication Date
CN113924603A true CN113924603A (zh) 2022-01-11

Family

ID=73781321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080041024.5A Pending CN113924603A (zh) 2019-06-11 2020-05-21 使用面部组分特定局部细化于面部界标检测的方法及***

Country Status (4)

Country Link
US (1) US20220092294A1 (zh)
EP (1) EP3973449A4 (zh)
CN (1) CN113924603A (zh)
WO (1) WO2020248789A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102487926B1 (ko) * 2018-03-07 2023-01-13 삼성전자주식회사 심장 박동을 측정하기 위한 전자 장치 및 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148160A1 (en) * 2010-07-08 2012-06-14 Honeywell International Inc. Landmark localization for facial imagery
GB201215944D0 (en) * 2012-09-06 2012-10-24 Univ Manchester Image processing apparatus and method for fittng a deformable shape model to an image using random forests
US20140185924A1 (en) * 2012-12-27 2014-07-03 Microsoft Corporation Face Alignment by Explicit Shape Regression
US9361510B2 (en) * 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
CN103824050B (zh) * 2014-02-17 2017-03-15 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
US9400922B2 (en) * 2014-05-29 2016-07-26 Beijing Kuangshi Technology Co., Ltd. Facial landmark localization using coarse-to-fine cascaded neural networks
EP3183689A4 (en) * 2014-08-22 2017-08-23 Microsoft Technology Licensing, LLC Face alignment with shape regression
KR102357326B1 (ko) * 2014-11-19 2022-01-28 삼성전자주식회사 얼굴 특징 추출 방법 및 장치, 얼굴 인식 방법 및 장치
WO2016183834A1 (en) * 2015-05-21 2016-11-24 Xiaoou Tang An apparatus and a method for locating facial landmarks of face image
CN107924452B (zh) * 2015-06-26 2022-07-19 英特尔公司 用于图像中的脸部对准的组合形状回归
US9633250B2 (en) * 2015-09-21 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method for estimating locations of facial landmarks in an image of a face using globally aligned regression
CN105224935B (zh) * 2015-10-28 2018-08-24 南京信息工程大学 一种基于Android平台的实时人脸关键点定位方法
CN106845327B (zh) * 2015-12-07 2019-07-02 展讯通信(天津)有限公司 人脸对齐模型的训练方法、人脸对齐方法和装置
CN106529397B (zh) * 2016-09-21 2018-07-13 中国地质大学（武汉） 一种非约束环境中的人脸特征点定位方法及***
TW201931179A (zh) * 2017-07-13 2019-08-01 美商美國資生堂公司 用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法，以及用於建議化妝之方法
US12008464B2 (en) * 2017-11-16 2024-06-11 Adobe Inc. Neural network based face detection and landmark localization
CN108109198A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于级联回归的三维表情重建方法
US20210056292A1 (en) * 2018-05-17 2021-02-25 Hewlett-Packard Development Company, L.P. Image location identification
CN109063584B (zh) * 2018-07-11 2022-02-22 深圳大学 基于级联回归的面部特征点定位方法、装置、设备及介质
US20200327726A1 (en) * 2019-04-15 2020-10-15 XRSpace CO., LTD. Method of Generating 3D Facial Model for an Avatar and Related Device
JP7417631B2 (ja) * 2019-04-23 2024-01-18 ロレアル 畳み込みニューラルネットワークベースのランドマークトラッカ

Also Published As

Publication number Publication date
WO2020248789A1 (en) 2020-12-17
US20220092294A1 (en) 2022-03-24
EP3973449A1 (en) 2022-03-30
EP3973449A4 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
US10262190B2 (en) Method, system, and computer program product for recognizing face
US7912253B2 (en) Object recognition method and apparatus therefor
CN109389562B (zh) 图像修复方法及装置
US11163978B2 (en) Method and device for face image processing, storage medium, and electronic device
US10423848B2 (en) Method, system, and computer-readable recording medium for long-distance person identification
CN106709404B (zh) 图像处理装置及图像处理方法
US8447114B2 (en) Method and apparatus for calculating pixel features of image data
KR20140127199A (ko) 얼굴 인식 방법 및 장치
JP2023545565A (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
US10740589B2 (en) Skin information processing method, skin information processing device, and non-transitory computer-readable medium
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN111401331B (zh) 人脸识别方法及装置
KR20190117838A (ko) 객체 인식 시스템 및 그 방법
US10740590B2 (en) Skin information processing method, skin information processing device, and non-transitory computer-readable medium
US10430629B2 (en) Non-transitory computer-readable medium storing information processing program and information processing device
JP6526494B2 (ja) 情報処理プログラム及び情報処理装置
KR20210058882A (ko) 안면 인식 방법 및 디바이스
CN113924603A (zh) 使用面部组分特定局部细化于面部界标检测的方法及***
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
JP7208479B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102634186B1 (ko) 사용자의 생체 특성을 가지는 이미지 내에서 객체를 식별하고 생체 특성을 포함하는 이미지의 일부를 이미지의 다른 부분으로부터 분리함으로써 사용자의 신원을 식별하기 위한 방법(Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image)
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10380447B1 (en) Providing regions of interest in an image
WO2015061972A1 (en) High-dimensional feature extraction and mapping
Mantecón del Valle et al. New generation of human machine interfaces for controlling UAV through depth based gesture recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination