CN111738077A - 一种人脸检测和对齐方法及装置 - Google Patents

一种人脸检测和对齐方法及装置 Download PDF

Info

Publication number
CN111738077A
CN111738077A CN202010424959.3A CN202010424959A CN111738077A CN 111738077 A CN111738077 A CN 111738077A CN 202010424959 A CN202010424959 A CN 202010424959A CN 111738077 A CN111738077 A CN 111738077A
Authority
CN
China
Prior art keywords
face
loss
loss function
image
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010424959.3A
Other languages
English (en)
Inventor
张晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Original Assignee
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Intelligent Technology Co Ltd, Xiamen Yunzhixin Intelligent Technology Co Ltd filed Critical Unisound Intelligent Technology Co Ltd
Priority to CN202010424959.3A priority Critical patent/CN111738077A/zh
Publication of CN111738077A publication Critical patent/CN111738077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸检测和对齐方法及装置，方法包括：获取人脸数据集，人脸数据集中包括多个带有图像标签信息的人脸图像；将人脸数据集作为预设人脸检测和对齐网络模型的输入进行模型训练，以输出网络预测的人脸标签信息；根据图像标签信息、人脸标签信息计算人脸框位置信息对应的第一损失函数、人脸框分类信息对应的第二损失函数和人脸关键点坐标信息对应的第三损失函数；通过网络模型的全连接层输出第一损失函数对应的第一权重因子、第二损失函数对应的第二权重因子和第三损失函数对应的第三权重因子；根据每个损失函数及其对应的权重因子确定总损失函数；根据总损失函数反向传播更新各个权重，以确定目标人脸检测和对齐网络模型。

Description

一种人脸检测和对齐方法及装置
技术领域
本发明涉及人脸识别技术领域，更具体地，涉及一种人脸检测和对齐方法及装置。
背景技术
在人脸识别领域，人脸检测与对齐是人脸识别技术中的一个关键环节。人脸识别的典型流程主要包括三步：
第一步是人脸检测，即找出给定图像中的所有人脸的位置；
第二步是人脸对齐，即对检测出的人脸进行矫正；
第三步对矫正后的人脸进行特征提取和特征比对完成人脸识别过程。
目前，相关技术中，主要有两种人脸检测和对齐方案，其中，一种是人脸检测和对齐分别采用不同的网络进行输出，两者采用串行结构，该方案部署阶段工程耗时增加。另一种是人脸检测和对齐分支在一个网络训练，该方案侧重框回归的损失，人为增大其损失权重，导致关键点定位不准，对齐效果不佳，影响人脸识别。
发明内容
鉴于上述问题，本发明提出了一种人脸检测和对齐方法和相应的装置，其可以在网络训练过程种，自适应学***衡不同分支任务之间的损失，同时提高人脸检测和关键点定位的效果。
根据本发明实施例的第一方面，提供一种人脸检测和对齐方法，包括：
获取人脸数据集，其中，所述人脸数据集中包括多个带有图像标签信息的人脸图像，所述图像标签信息包括：标注的第一人脸框分类信息、第一人脸框位置信息和第一人脸关键点坐标信息；
将所述人脸数据集作为预设人脸检测和对齐网络模型的输入进行模型训练，以输出网络预测的人脸标签信息，其中，所述人脸标签信息包括人脸图像的第二人脸框位置信息、第二人脸框分类信息和第二人脸关键点坐标信息；
根据所述图像标签信息、人脸标签信息计算人脸框位置信息对应的第一损失函数、人脸框分类信息对应的第二损失函数和人脸关键点坐标信息对应的第三损失函数；
通过所述网络模型的全连接层输出所述第一损失函数对应的第一权重因子、所述第二损失函数对应的第二权重因子和所述第三损失函数对应的第三权重因子；
根据每个损失函数及其对应的权重因子确定总损失函数；
根据所述总损失函数反向传播更新各个权重，以确定目标人脸检测和对齐网络模型。
在一个实施例中，优选地，所述方法还包括：
获取输入的待处理人脸图像；
将所述待处理人脸图像作为所述目标人脸检测和对齐网络模型的输入，以输出对齐后的人脸图像。
在一个实施例中，优选地，所述总损失函数loss采用以下公式计算：
Loss＝1/(2*m1^2)*loss_loc+1/(m2^2)*loss_cls+1/(2*m3^2)*
loss_landm+logm1+logm2+logm3
其中，m1表示所述第一权重因子，loss_loc表示所述第一损失函数，m2表示所述第二权重因子，loss_cls表示所述第二损失函数，m3表示所述第三权重因子，loss_landm表示所述第三损失函数，logm1+logm2+logm3表示惩罚项。
在一个实施例中，优选地，将所述人脸数据集作为预设人脸检测和对齐网络模型的输入进行模型训练，包括：
对所述人脸数据集中的每个人脸图像进行预处理操作，得到处理后的人脸图像，其中，预处理操作包括以下至少一项：随机剪裁操作、色彩增强操作、颜色抖动操作和归一化操作；
将处理后的人脸图像作为预设人脸检测和对齐网络模型的输入进行模型训练。
在一个实施例中，优选地，所述预设人脸检测和对齐网络模型以ResNet50为基本骨架，并具有图像特征金字塔结构。
根据本发明实施例的第二方面，提供一种人脸检测和对齐装置，包括：
第一获取模块，用于获取人脸数据集，其中，所述人脸数据集中包括多个带有图像标签信息的人脸图像，所述图像标签信息包括：标注的第一人脸框分类信息、第一人脸框位置信息和第一人脸关键点坐标信息；
训练模块，用于将所述人脸数据集作为预设人脸检测和对齐网络模型的输入进行模型训练，以输出网络预测的人脸标签信息，其中，所述人脸标签信息包括人脸图像的第二人脸框位置信息、第二人脸框分类信息和第二人脸关键点坐标信息；
计算模块，用于根据所述图像标签信息、人脸标签信息计算人脸框位置信息对应的第一损失函数、人脸框分类信息对应的第二损失函数和人脸关键点坐标信息对应的第三损失函数；
第一输出模块，用于通过所述网络模型的全连接层输出所述第一损失函数对应的第一权重因子、所述第二损失函数对应的第二权重因子和所述第三损失函数对应的第三权重因子；
第一确定模块，用于根据每个损失函数及其对应的权重因子确定总损失函数；
第二确定模块，用于根据所述总损失函数反向传播更新各个权重，以确定目标人脸检测和对齐网络模型。
在一个实施例中，优选地，所述装置还包括：
第二获取模块，用于获取输入的待处理人脸图像；
第二输出模块，用于将所述待处理人脸图像作为所述目标人脸检测和对齐网络模型的输入，以输出对齐后的人脸图像。
在一个实施例中，优选地，所述总损失函数loss采用以下公式计算：
Loss＝1/(2*m1^2)*loss_loc+1/(m2^2)*loss_cls+1/(2*m3^2)*loss_landm+logm1+logm2+logm3
其中，m1表示所述第一权重因子，loss_loc表示所述第一损失函数，m2表示所述第二权重因子，loss_cls表示所述第二损失函数，m3表示所述第三权重因子，loss_landm表示所述第三损失函数，logm1+logm2+logm3表示惩罚项。
在一个实施例中，优选地，所述训练模块包括：
处理单元，用于对所述人脸数据集中的每个人脸图像进行预处理操作，得到处理后的人脸图像，其中，预处理操作包括以下至少一项：随机剪裁操作、色彩增强操作、颜色抖动操作和归一化操作；
训练单元，用于将处理后的人脸图像作为预设人脸检测和对齐网络模型的输入进行模型训练。
在一个实施例中，优选地，所述预设人脸检测和对齐网络模型以ResNet50为基本骨架，并具有图像特征金字塔结构。
根据本发明实施例的第三方面，提供一种人脸检测和对齐装置，包括：
存储器和处理器；
所述存储器用于保存所述处理器执行计算机程序时所使用的数据；
所述处理器用于执行计算机程序以实现上述第一方面所述的实施例中任意一项所述的方法。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在设备上运行时，所述设备执行如第一方面实施例中任一项所述的方法。
本发明实施例中，通过一个网络端到端训练可输出人脸检测结果和对齐后的人脸图像，工程部署时节约时间，提高检测效率，并且可以通过网络训练过程自适应学***衡不同分支任务之间的损失，同时提高检测和关键点定位的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种人脸检测和对齐方法的流程图。
图2是本发明一个实施例的另一种人脸检测和对齐方法的流程图。
图3是本发明一个实施例的一种人脸检测和对齐方法中步骤S102的流程图。
图4是本发明一个实施例的一种人脸检测和对齐装置的框图。
图5是本发明一个实施例的另一种人脸检测和对齐装置的框图。
图6是本发明一个实施例的一种人脸检测和对齐装置中训练模块的框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明一个实施例的一种人脸检测和对齐方法的流程图，如图1所示，人脸检测和对齐方法包括：
步骤S101，获取人脸数据集，其中，所述人脸数据集中包括多个带有图像标签信息的人脸图像，所述图像标签信息包括：标注的第一人脸框分类信息、第一人脸框位置信息和第一人脸关键点坐标信息。
步骤S102，将所述人脸数据集作为预设人脸检测和对齐网络模型的输入进行模型训练，以输出网络预测的人脸标签信息，其中，所述人脸标签信息包括人脸图像的第二人脸框位置信息、第二人脸框分类信息和第二人脸关键点坐标信息。在一个实施例中，优选地，所述预设人脸检测和对齐网络模型以ResNet50为基本骨架，并具有图像特征金字塔结构。
步骤S103，根据所述图像标签信息、人脸标签信息计算人脸框位置信息对应的第一损失函数、人脸框分类信息对应的第二损失函数和人脸关键点坐标信息对应的第三损失函数。
步骤S104，通过所述网络模型的全连接层输出所述第一损失函数对应的第一权重因子、所述第二损失函数对应的第二权重因子和所述第三损失函数对应的第三权重因子。
步骤S105，根据每个损失函数及其对应的权重因子确定总损失函数。
在一个实施例中，优选地，所述总损失函数loss采用以下公式计算：
Loss＝1/(2*m1^2)*loss_loc+1/(m2^2)*loss_cls+1/(2*m3^2)*
loss_landm+logm1+logm2+logm3
其中，m1表示所述第一权重因子，loss_loc表示所述第一损失函数，m2表示所述第二权重因子，loss_cls表示所述第二损失函数，m3表示所述第三权重因子，loss_landm表示所述第三损失函数，logm1+logm2+logm3表示惩罚项，惩罚项可以防止权重因子太大。
步骤S106，根据所述总损失函数反向传播更新各个权重，以确定目标人脸检测和对齐网络模型。
在该实施例中，通过一个网络端到端训练可输出人脸检测结果和对齐后的人脸图像，工程部署时节约时间，提高检测效率，并且可以通过网络训练过程自适应学***衡不同分支任务之间的损失，同时提高检测和关键点定位的效果。
图2是本发明一个实施例的另一种人脸检测和对齐方法的流程图。
如图2所示，在一个实施例中，优选地，上述方法还包括：
步骤S201，获取输入的待处理人脸图像。
步骤S202，将所述待处理人脸图像作为所述目标人脸检测和对齐网络模型的输入，以输出对齐后的人脸图像。
在该实施例中，通过训练得到的目标人脸检测和对齐网络模型对待处理人脸图像进行处理，这样，可以使得人脸检测和对齐效果可以同时变得更好。
图3是本发明一个实施例的一种人脸检测和对齐方法中步骤S102的流程图。
如图3所示，在一个实施例中，优选地上述步骤S102包括：
步骤S301，对所述人脸数据集中的每个人脸图像进行预处理操作，得到处理后的人脸图像，其中，预处理操作包括以下至少一项：随机剪裁操作、色彩增强操作、颜色抖动操作和归一化操作；
步骤S302，将处理后的人脸图像作为预设人脸检测和对齐网络模型的输入进行模型训练。
在该实施例中，对包含人脸的图像进行预处理，例如随机裁剪、色彩增强、颜色抖动、归一化等等，从而将处理后的人脸图像作为预设人脸检测和对齐网络模型的输入进行模型训练。
图4是本发明一个实施例的一种人脸检测和对齐装置的框图。
如图4所示，根据本发明实施例的第二方面，人脸检测和对齐装置，包括：
第一获取模块41，用于获取人脸数据集，其中，所述人脸数据集中包括多个带有图像标签信息的人脸图像，所述图像标签信息包括：标注的第一人脸框分类信息、第一人脸框位置信息和第一人脸关键点坐标信息；
训练模块42，用于将所述人脸数据集作为预设人脸检测和对齐网络模型的输入进行模型训练，以输出网络预测的人脸标签信息，其中，所述人脸标签信息包括人脸图像的第二人脸框位置信息、第二人脸框分类信息和第二人脸关键点坐标信息；
计算模块43，用于根据所述图像标签信息、人脸标签信息计算人脸框位置信息对应的第一损失函数、人脸框分类信息对应的第二损失函数和人脸关键点坐标信息对应的第三损失函数；
第一输出模块44，用于通过所述网络模型的全连接层输出所述第一损失函数对应的第一权重因子、所述第二损失函数对应的第二权重因子和所述第三损失函数对应的第三权重因子；
第一确定模块45，用于根据每个损失函数及其对应的权重因子确定总损失函数；
第二确定模块46，用于根据所述总损失函数反向传播更新各个权重，以确定目标人脸检测和对齐网络模型。
图5是本发明一个实施例的另一种人脸检测和对齐装置的框图。
如图5所示，在一个实施例中，优选地，所述装置还包括：
第二获取模块51，用于获取输入的待处理人脸图像；
第二输出模块52，用于将所述待处理人脸图像作为所述目标人脸检测和对齐网络模型的输入，以输出对齐后的人脸图像。
在一个实施例中，优选地，所述总损失函数loss采用以下公式计算：
Loss＝1/(2*m1^2)*loss_loc+1/(m2^2)*loss_cls+1/(2*m3^2)*loss_landm+logm1+logm2+logm3
其中，m1表示所述第一权重因子，loss_loc表示所述第一损失函数，m2表示所述第二权重因子，loss_cls表示所述第二损失函数，m3表示所述第三权重因子，loss_landm表示所述第三损失函数，logm1+logm2+logm3表示惩罚项。
图6是本发明一个实施例的一种人脸检测和对齐装置中训练模块的框图。
如图6所示，在一个实施例中，优选地，所述训练模块42包括：
处理单元61，用于对所述人脸数据集中的每个人脸图像进行预处理操作，得到处理后的人脸图像，其中，预处理操作包括以下至少一项：随机剪裁操作、色彩增强操作、颜色抖动操作和归一化操作；
训练单元62，用于将处理后的人脸图像作为预设人脸检测和对齐网络模型的输入进行模型训练。
在一个实施例中，优选地，所述预设人脸检测和对齐网络模型以ResNet50为基本骨架，并具有图像特征金字塔结构。
根据本发明实施例的第三方面，提供一种人脸检测和对齐装置，包括：
存储器和处理器；
所述存储器用于保存所述处理器执行计算机程序时所使用的数据；
所述处理器用于执行计算机程序以实现上述第一方面所述的实施例中任意一项所述的方法。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在设备上运行时，所述设备执行如第一方面实施例中任一项所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种便捷式多功能设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种人脸检测和对齐方法，其特征在于，包括：
获取人脸数据集，其中，所述人脸数据集中包括多个带有图像标签信息的人脸图像，所述图像标签信息包括：标注的第一人脸框分类信息、第一人脸框位置信息和第一人脸关键点坐标信息；
将所述人脸数据集作为预设人脸检测和对齐网络模型的输入进行模型训练，以输出网络预测的人脸标签信息，其中，所述人脸标签信息包括人脸图像的第二人脸框位置信息、第二人脸框分类信息和第二人脸关键点坐标信息；
根据所述图像标签信息、人脸标签信息计算人脸框位置信息对应的第一损失函数、人脸框分类信息对应的第二损失函数和人脸关键点坐标信息对应的第三损失函数；
通过所述网络模型的全连接层输出所述第一损失函数对应的第一权重因子、所述第二损失函数对应的第二权重因子和所述第三损失函数对应的第三权重因子；
根据每个损失函数及其对应的权重因子确定总损失函数；
根据所述总损失函数反向传播更新各个权重，以确定目标人脸检测和对齐网络模型。
2.根据权利要求1所述的人脸检测和对齐方法，其特征在于，所述方法还包括：
获取输入的待处理人脸图像；
将所述待处理人脸图像作为所述目标人脸检测和对齐网络模型的输入，以输出对齐后的人脸图像。
3.根据权利要求1所述的人脸检测和对齐方法，其特征在于，所述总损失函数loss采用以下公式计算：
Loss＝1/(2*m1^2)*loss_loc+1/(m2^2)*loss_cls+1/(2*m3^2)*loss_landm+logm1+logm2+logm3
其中，m1表示所述第一权重因子，loss_loc表示所述第一损失函数，m2表示所述第二权重因子，loss_cls表示所述第二损失函数，m3表示所述第三权重因子，loss_landm表示所述第三损失函数，logm1+logm2+logm3表示惩罚项。
4.根据权利要求1所述的人脸检测和对齐方法，其特征在于，将所述人脸数据集作为预设人脸检测和对齐网络模型的输入进行模型训练，包括：
对所述人脸数据集中的每个人脸图像进行预处理操作，得到处理后的人脸图像，其中，预处理操作包括以下至少一项：随机剪裁操作、色彩增强操作、颜色抖动操作和归一化操作；
将处理后的人脸图像作为预设人脸检测和对齐网络模型的输入进行模型训练。
5.根据权利要求1所述的人脸检测和对齐方法，其特征在于，所述预设人脸检测和对齐网络模型以ResNet50为基本骨架，并具有图像特征金字塔结构。
6.一种人脸检测和对齐装置，其特征在于，包括：
第一获取模块，用于获取人脸数据集，其中，所述人脸数据集中包括多个带有图像标签信息的人脸图像，所述图像标签信息包括：标注的第一人脸框分类信息、第一人脸框位置信息和第一人脸关键点坐标信息；
训练模块，用于将所述人脸数据集作为预设人脸检测和对齐网络模型的输入进行模型训练，以输出网络预测的人脸标签信息，其中，所述人脸标签信息包括人脸图像的第二人脸框位置信息、第二人脸框分类信息和第二人脸关键点坐标信息；
计算模块，用于根据所述图像标签信息、人脸标签信息计算人脸框位置信息对应的第一损失函数、人脸框分类信息对应的第二损失函数和人脸关键点坐标信息对应的第三损失函数；
第一输出模块，用于通过所述网络模型的全连接层输出所述第一损失函数对应的第一权重因子、所述第二损失函数对应的第二权重因子和所述第三损失函数对应的第三权重因子；
第一确定模块，用于根据每个损失函数及其对应的权重因子确定总损失函数；
第二确定模块，用于根据所述总损失函数反向传播更新各个权重，以确定目标人脸检测和对齐网络模型。
7.根据权利要求6所述的人脸检测和对齐装置，其特征在于，所述装置还包括：
第二获取模块，用于获取输入的待处理人脸图像；
第二输出模块，用于将所述待处理人脸图像作为所述目标人脸检测和对齐网络模型的输入，以输出对齐后的人脸图像。
8.根据权利要求6所述的人脸检测和对齐装置，其特征在于，所述总损失函数loss采用以下公式计算：
Loss＝1/(2*m1^2)*loss_loc+1/(m2^2)*loss_cls+1/(2*m3^2)*loss_landm+logm1+logm2+logm3
其中，m1表示所述第一权重因子，loss_loc表示所述第一损失函数，m2表示所述第二权重因子，loss_cls表示所述第二损失函数，m3表示所述第三权重因子，loss_landm表示所述第三损失函数，logm1+logm2+logm3表示惩罚项。
9.根据权利要求6所述的人脸检测和对齐装置，其特征在于，所述训练模块包括：
处理单元，用于对所述人脸数据集中的每个人脸图像进行预处理操作，得到处理后的人脸图像，其中，预处理操作包括以下至少一项：随机剪裁操作、色彩增强操作、颜色抖动操作和归一化操作；
训练单元，用于将处理后的人脸图像作为预设人脸检测和对齐网络模型的输入进行模型训练。
10.根据权利要求6所述的人脸检测和对齐装置，其特征在于，所述预设人脸检测和对齐网络模型以ResNet50为基本骨架，并具有图像特征金字塔结构。
CN202010424959.3A 2020-05-19 2020-05-19 一种人脸检测和对齐方法及装置 Pending CN111738077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010424959.3A CN111738077A (zh) 2020-05-19 2020-05-19 一种人脸检测和对齐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010424959.3A CN111738077A (zh) 2020-05-19 2020-05-19 一种人脸检测和对齐方法及装置

Publications (1)

Publication Number Publication Date
CN111738077A true CN111738077A (zh) 2020-10-02

Family

ID=72647424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010424959.3A Pending CN111738077A (zh) 2020-05-19 2020-05-19 一种人脸检测和对齐方法及装置

Country Status (1)

Country Link
CN (1) CN111738077A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418901A (zh) * 2022-03-30 2022-04-29 江西中业智能科技有限公司 基于Retinaface算法的图像美颜处理方法、***、存储介质及设备
WO2022178833A1 (zh) * 2021-02-26 2022-09-01 京东方科技集团股份有限公司 目标检测网络的训练方法、目标检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961006A (zh) * 2019-01-30 2019-07-02 东华大学 一种低像素多目标人脸检测和关键点定位方法以及对齐方法
CN110889446A (zh) * 2019-11-22 2020-03-17 高创安邦(北京)技术有限公司 人脸图像识别模型训练及人脸图像识别方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961006A (zh) * 2019-01-30 2019-07-02 东华大学 一种低像素多目标人脸检测和关键点定位方法以及对齐方法
CN110889446A (zh) * 2019-11-22 2020-03-17 高创安邦(北京)技术有限公司 人脸图像识别模型训练及人脸图像识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦李成 等, 西安电子科技大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022178833A1 (zh) * 2021-02-26 2022-09-01 京东方科技集团股份有限公司 目标检测网络的训练方法、目标检测方法及装置
US12002254B2 (en) 2021-02-26 2024-06-04 Boe Technology Group Co., Ltd. Method and apparatus of training object detection network and object detection method and apparatus
CN114418901A (zh) * 2022-03-30 2022-04-29 江西中业智能科技有限公司 基于Retinaface算法的图像美颜处理方法、***、存储介质及设备

Similar Documents

Publication Publication Date Title
CN107247949B (zh) 基于深度学习的人脸识别方法、装置和电子设备
CN111738077A (zh) 一种人脸检测和对齐方法及装置
CN112232426B (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
CN110046622B (zh) 一种有目标的攻击样本生成方法、装置、设备及存储介质
CN110689136B (zh) 一种深度学习模型获得方法、装置、设备及存储介质
CN109242034A (zh) 决策树生成方法和装置
CN109685805B (zh) 一种图像分割方法及装置
EP3805917A1 (en) Upgrade method and device
CN111738080A (zh) 一种人脸检测和对齐的方法及装置
CN113538235A (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN113272785B (zh) 一种挂载文件***的方法、终端设备及存储介质
CN109961405B (zh) 一种图像滤波方法和装置
CN106373121A (zh) 模糊图像识别方法和装置
CN109799483A (zh) 一种数据处理方法和装置
CN115237931A (zh) 一种用于服务编排的子服务处理结果更新的方法和***
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
CN114756379A (zh) 一种基于混合加速卡进行任务训练的方法及***
CN105843578A (zh) 一种拼接墙回显方法、装置及***
CN112149745A (zh) 确定难例样本的方法、装置、设备及存储介质
CN113628095B (zh) 人像区域网格点信息存储方法及相关产品
CN117474734B (zh) 既有线改造与城市线网线路及车站多要素融合方法及***
CN117194276B (zh) 芯片软硬件联合仿真调试***
US10895911B2 (en) Image operation method and system for eye-tracking
CN117519996B (zh) 一种数据处理方法、装置、设备以及存储介质
CN115408549B (zh) 工件点云的过滤方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002

RJ01 Rejection of invention patent application after publication