CN110544233B - 基于人脸识别应用的深度图像质量评价方法 - Google Patents

基于人脸识别应用的深度图像质量评价方法 Download PDF

Info

Publication number
CN110544233B
CN110544233B CN201910693279.9A CN201910693279A CN110544233B CN 110544233 B CN110544233 B CN 110544233B CN 201910693279 A CN201910693279 A CN 201910693279A CN 110544233 B CN110544233 B CN 110544233B
Authority
CN
China
Prior art keywords
test
depth image
depth
mold
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910693279.9A
Other languages
English (en)
Other versions
CN110544233A (zh
Inventor
户磊
王亚运
崔哲
薛远
李东阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN201910693279.9A priority Critical patent/CN110544233B/zh
Publication of CN110544233A publication Critical patent/CN110544233A/zh
Application granted granted Critical
Publication of CN110544233B publication Critical patent/CN110544233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种基于人脸识别应用的深度图像质量评价方法，方法包括：基于深度感知传感器获取一个或多个测试模具的深度图像；其中，每个所述测试模具的表面形状不同；对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征；其中，从每个所述测试模具的深度图像中提取的特征不同；根据所有所述测试模具的深度图像的特征，对所述深度感知传感器采集的人脸深度图像进行评价。本发明提取的特征更全面，更精确，基于提取特征的人脸深度图像评价更精确，且具有高度的实用性和可复现性。

Description

基于人脸识别应用的深度图像质量评价方法
技术领域
本发明属于深度感知成像技术领域，尤其涉及一种基于人脸识别应用的深度图像质量评价方法。
背景技术
深度感知成像技术一直是机器视觉学科的重要课题，目前主流的深度感知成像技术包括基于单目的空间编码结构光深度成像技术、基于双目的结构光纹理增强深度成像技术和TOF(Time of flight，飞行时间)技术等。
在人脸识别应用领域，随着近几年深度学习技术的发展，逐渐从单一使用彩色图像或红外图像数据，过渡到综合使用彩色图像和深度图像数据，或综合使用红外图像和深度图像数据进行人脸识别。其中，深度图像的获取主要是通过前述的深度感知成像技术，因而基于深度成像算法生成的深度图的质量对人脸识别应用具有极为关键的影响。
目前深度感知成像技术的相关算法已相当成熟，当前较为常用的深度成像误差测量方法主要是测定深度成像算法获取的物体实际点云与物体真实点云之间的配准误差，该方法存在以下缺陷及问题：(1)点云配准过程中会引入新的误差影响深度成像算法质量的评定；(2)配准误差将各种误差混在一起，无法根据实际应用需要进行更加细致的评定；(3)点云配准误差只是反映深度成像算法获取与真实物体相近深度数据的能力，对许多实际应用而言，真实度并非主要要求。
综上所述，目前行业内尚无统一有效的深度成像算法质量评价方法，特别是针对人脸识别应用，深度成像算法和人脸识别算法共同影响人脸识别精度，需要通过深度成像算法质量的合理评价，对深度成像算法和人脸识别算法进行解耦。常用的深度成像误差测量方法无法满足实际应用的需要，特别是针对某些特定应用，如人脸识别的深度成像算法的质量评定。针对人脸识别应用，单纯通过点云配准误差测量等常用方法，无法准确衡量深度成像算法质量及其对人脸识别准确率的影响。
发明内容
为克服上述现有的深度成像误差测量方法不能对人脸识别应用中深度图像质量进行有效评价的问题或者至少部分地解决上述问题，本发明实施例提供一种基于人脸识别应用的深度图像质量评价方法。
本发明实施例提供一种基于人脸识别应用的深度图像质量评价方法，包括：
基于深度感知传感器获取一个或多个测试模具的深度图像；其中，每个所述测试模具的表面形状不同；
对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征；其中，从每个所述测试模具的深度图像中提取的特征不同；
根据所有所述测试模具的深度图像的特征，对所述深度感知传感器采集的人脸深度图像进行评价。
本发明实施例提供一种基于人脸识别应用的深度图像质量评价方法，该方法通过先使用深度传感器获取测试模具的深度图像，对不同表面形状的深度图像进行分析，提取根据测试模具的表面形状从测试模具的深度图像中提取相应的特征，将所有测试模具的深度图像的特征作为评价指标对人脸深度图像进行评价，提取的特征更全面，更精确，基于提取特征的人脸深度图像评价更精确，且具有高度的实用性和可复现性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于人脸识别应用的深度图像质量评价方法整体流程示意图；
图2为本发明实施例提供的基于人脸识别应用的深度图像质量评价方法中正弦模具的横向正弦波形尺寸示意图；
图3为本发明实施例提供的基于人脸识别应用的深度图像质量评价方法中正弦模具的竖向正弦波形尺寸示意图；
图4为本发明实施例提供的基于人脸识别应用的深度图像质量评价方法中折面模具的尺寸示意图；
图5为本发明实施例提供的基于人脸识别应用的深度图像质量评价方法中圆柱面模具的尺寸示意图；
图6为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在本发明的一个实施例中提供一种基于人脸识别应用的深度图像质量评价方法，图1为本发明实施例提供的基于人脸识别应用的深度图像质量评价方法整体流程示意图，该方法包括：S101，基于深度感知传感器获取一个或多个测试模具的深度图像；其中，每个所述测试模具的表面形状不同；
其中，深度感知传感器为内置深度成像算法的感知***，如集成深度成像算法的深度相机。测试模具的表面形状根据应用场景确定，如当应用到人脸识别中时，测试模具的表面形状根据人脸表面特征设定。由于人脸的表面特征较为复杂，可以将人脸的表面特征用多个简单表面特征表示，根据每个简单表面特征制备一个测试模具。
先制备测试模具，可以采用3D打印方式制备。然后使用深度感知传感器采集每个测试模具的深度图像。将深度感知传感器和测试模具的相对位置固定，保证测试模具出现在深度感知传感器视野中心无旋转，并与深度感知传感器的成像传感器保持平行。优选地，可以使用固定工装调节深度感知传感器和测试模具之间的相对位置，旋转角度不应大于3°。使用深度感知传感器采集每个测试模具的一张深度图像。也可以从预设最近评测距离开始，对每个测试模具每隔一定距离采集一张深度图像，直到预设最远测评距离为止，对每个评测距离采集的深度图像进行分析，从而对每个评测距离采集的深度图像的质量进行评价。
S102，对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征；其中，从每个所述测试模具的深度图像中提取的特征不同；
由于每个测试模具的表面形状不同，因此从每个测试模具的深度图像中提取的特征也不相同。本实施例不限于从每个测试模具的深度图像中提取的特征种类。
S103，根据所有所述测试模具的深度图像的特征，对所述深度感知传感器采集的人脸深度图像进行评价。
由于每个测试模具的表面形状用于表征人脸的一种简单表面特征，将每个测试模具的深度图像的特征作为人脸深度图像的特征，从而获取到人脸深度图像的多种特征。将人脸深度图像的多种特征作为评价指标对人脸深度图像进行评价。
本实施例通过先使用深度传感器获取测试模具的深度图像，对不同表面形状的深度图像进行分析，提取根据测试模具的表面形状从测试模具的深度图像中提取相应的特征，将所有测试模具的深度图像的特征作为评价指标对人脸深度图像进行评价，提取的特征更全面，更精确，基于提取特征的人脸深度图像评价更精确，且具有高度的实用性和可复现性。
在上述实施例的基础上，本实施例中所述测试模具包括平面模具、正弦面模具、折面模具和圆柱面模具；其中，所述平面模具为表面起伏误差小于第一预设阈值的模具；所述正弦面模具为表面呈横向和纵向交错正弦形状的模具；所述折面模具为表面呈连续直角折面的模具；所述圆柱面模具为表面呈连续圆柱曲面的模具。
其中，平面模具为平面起伏误差小于第一预设阈值的平面板或墙面，用于考察深度成像算法对平面特征恢复的精确程度；正弦面模具的面型为交错正弦型，用于模拟人脸部分特征，如鼻子和嘴巴；折面模具的面型为连续直角折面，用于考察深度成像算法对平面法线方向的区分能力；圆柱面模具的面型为连续圆柱曲面，用于考察深度成像算法对连续曲面特征恢复的平滑程度。
可以采用3D打印方式制作上述测试模具，保证测试模具的加工精度不低于1mm。其中，平面模具的整体尺寸为300mm*300mm，第一预设阈值为1mm；正弦模具的整体尺寸为300mm*300mm，横向和竖向各有8个波峰。其中，如图2所示，横向正弦波形的幅值为10mm，周期为40mm；如图3所示，竖向正弦波形的幅值为10mm，周期为30mm；折面模具的整体尺寸为300mm*300mm，由6组夹角为90度的折面组成，其中折面峰谷值为20mm，相邻的峰峰距离为40mm，如图4所示；圆柱面模具的整体尺寸为300mm*300mm，由3组连续圆柱面组成，其中圆柱面峰谷值为40mm，相邻的峰峰距离为80mm，如图5所示。
在上述实施例的基础上，本实施例中所述平面模具对应的特征包括精密度、有效区域空洞率和坏点占比；所述正弦面模具对应的特征包括正弦拟合度、幅值相对误差和周期相对误差；所述折面模具对应的特征包括直角折面法线区分度；所述圆柱面模具对应的特征包括圆柱面法向平滑度。
具体地，提取的平面模具的深度图像的特征包括精密度、有效区域空洞率和坏点占比三项。其中，精密度特征用于表征深度成像算法对平面特征恢复的精密程度，有效区域空洞率特征用于表征深度成像算法恢复平面特征时出现空洞的概率，坏点占比特征用于表征深度成像算法恢复平面特征时误差较大点的占比情况。
提取正弦面模具的深度图像的特征包括正弦拟合度、幅值相对误差和周期相对误差三项。其中，正弦拟合度特征表示在进行深度成像时面型恢复是否真实、准确，幅值相对误差特征表示深度成像算法是否能够识别起伏以及深度数据的正确性，周期相对误差代表深度成像算法的频率响应，是否能够响应正弦面模具的高频特征。
提取折面模具的深度图像的特征包括直角折面法线区分度，代表深度成像算法恢复出构成直角的两平面的区分程度，使用选取区域内三维点单位法向矢量测量值与真值间之间的加权平均距离来表征，区分度数值越小表示深度成像算法恢复的直角平面区分能力越高。
提取圆柱面模具的深度图像的特征包括圆柱面法向平滑度，该特征代表深度成像算法恢复出圆柱面特征的平滑程度，使用选取区域内三维点单位法向矢量测量值中，位于法向真值曲线一定范围内的占比来表征，平滑度数值越小表示深度成像算法恢复的圆柱面越不平滑。
在上述实施例的基础上，本实施例中对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征具体包括：若该测试模具为平面模具，则对该测试模具的深度图像以预设采样间隔进行采样；基于最小二乘法对各采样点的邻域窗口内像素点的坐标值进行空间平面拟合，获取各所述采样点对应的拟合平面；将任一所述采样点到该采样点对应的拟合平面的距离作为该采样点处目标函数的残差；将所有所述采样点处目标函数的残差的平均值作为该测试模具对应的精密度；将各所述采样点处目标函数的残差转换为像素误差；将该测试模具的深度图像中像素误差大于第二预设阈值的采样点的数量占比作为该测试模具对应的坏点率；从该测试模具的深度图像的有效区域中心中选择预设比例的区域作为感兴趣区域；统计所述感兴趣区域中空洞点数占所述感兴趣区域中像素总数的比例，将所述比例作为该测试模具对应的有效区域空洞率。
具体地，提取精密度特征的具体过程为：在每个评测距离采集的深度图像上，每隔预设数量的像素点采样一次，如采样间隔为10。使用最小二乘法根据每个采样点的邻域窗口内像素点的坐标值进行空间平面拟合，如邻域窗口大小50*50。获取各采样点处目标函数的残差，即各采样点到拟合平面的空间距离。将所有采样点到拟合平面的空间距离的平均值作为每个采样距离下的精密度特征。
提取有效区域空洞率特征的具体过程为：从平面模具在每个评测距离的深度图像的有效区域中心中选择预设比例的区域作为感兴趣区域，统计该感兴趣区域中空洞点数占感兴趣区域像素总数的百分比，作为每个评测距离的有效区域空洞率特征。优选地，本实施例采用有效区域中心80％的区域作为感兴趣区域。
提取坏点占比的具体过程为：在每个评测距离的深度图像上，每隔预设数量的像素点选取一个像素点，如采样间隔为10。使用最小二乘法对各采样点的邻域窗口内的像素点进行平面拟合，如邻域窗口大小50*50。获取各采样点处目标函数的残差，然后将上述残差转换为像素误差，通过以下公式将各采样点处目标函数的残差转换为像素误差：
Ep＝Re*T*F/d2；
其中，Ep为任一采样点的像素误差，Re为任一采样点处目标函数的残差，T为深度感知传感器的基线长度，F为深度感知传感器的焦距，d为深度图像的采集距离。将平面模具的深度图像中像素误差大于第二预设阈值的采样点的数量占比作为平面模具对应的坏点率，如第二预设阈值取0.5。
在上述实施例的基础上，本实施例中对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征具体包括：若该测试模具为正弦面模具，则将该测试模具的深度图像转换为伪彩图；从所述伪彩图中选择多个横向和多个纵向的峰谷所在的截面，将各所述截面两端的波峰相连，获取波峰连线与所述深度图像的成像平面的交线；将所述交线上的像素坐标转换为平面坐标；将转换后的坐标点进行直线拟合，根据拟合的直线的斜率对所述转换后的坐标点进行旋转；将旋转后的坐标点进行正弦曲线拟合，根据拟合的正弦曲线和该测试模具的参数值，计算该测试模具对应的幅值相对误差和周期相对误差；根据所述波峰连线上各坐标点在所述拟合的正弦曲线上对应的拟合值，计算该测试模具对应的正弦拟合度。
具体地，对正弦面模具的深度图像进行特征提取的步骤具体包括：
a、将采集的正弦模具的深度图像转为伪彩图，以便于后续准确选取正弦波峰点，即极值点。挑选若干个横向和竖向的峰谷所在的截面，通过选择该截面两端的波峰点的连线，获取该连线与成像平面的交线，选取上述交线上的图像点坐标(i、j、z)转换为平面坐标点(dij、z)，用于后续直线和曲线拟合，转换公式描述如下：
Figure BDA0002148543320000081
其中，i、j对应为像素点的横纵坐标，z为像素点的深度值，dij为平面坐标值，cx和cy为深度相机的主点坐标，fx和fy为深度相机的焦距；优选地，本实施例选取正弦面模具中心区域的两条横向和两条竖向截面的峰峰连线进行测试。
b、将各连线上转换后的坐标点先拟合一条直线，并按照直线斜率反方向旋转，消除正弦模具拍摄时摆放倾斜对正弦拟合效果的影响；
c、正弦曲线和直线的拟合均采用最小二乘法，正弦曲线的拟合需要较好的参数初值，包括：幅值、周期、相移和幅移，可以采用人工给定和默认值两种方式；
d、根据拟合的正弦曲线的参数值，即幅值和周期，结合正弦模具的参数真值，计算幅值的相对误差和周期的相对误差，同时得到峰峰连线上各点对应的拟合值，用于计算正弦拟合度。
优选地，正弦拟合度特征可以采用拟合优度R2，其计算公式如下：
Figure BDA0002148543320000091
其中，R2为正弦面模具对应的正弦拟合度，yi为波峰连线上第i个坐标点的拟合值，Yi为波峰连线上第i个坐标点的实际值，
Figure BDA0002148543320000092
为波峰连线上所有坐标点的实际值的平均值。
在上述实施例的基础上，本实施例中对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征具体包括：若该测试模具为折面模具，则将该测试模具的深度图像转换为伪彩图；从所述伪彩图中框选测试区域，根据所述深度感知传感器的参数将框选的所述测试区域内的深度非零像素点转换为三维坐标点；对于任一所述三维坐标点，基于KD-tree算法获取该三维坐标点的邻域内预设数量的最近邻点，对所述最近邻点进行平面拟合，根据拟合的平面获取该三维坐标点的法线矢量，并对所述法线矢量进行归一化，获取该三维坐标点的法向测量值；在单位法向球面上，选择该测试模具成直角的两个相邻平面的法向真值；计算该三维坐标点的法向测量值分别与两个所述法向真值之间的欧式距离，并获取两个所述欧式距离中的最小值；将各所述三维坐标点对应的最小值按从小到大的顺序进行排序，根据排序结果计算所述三维坐标点的法向测量值与所述法向真值之间的加权平均距离，将所述加权平均距离作为该测试模具对应的直角折面法线区分度。
具体地，对折面模具的深度图像进行特征提取的步骤具体包括：
a、将采集的折面模具深度图转为伪彩图，以便于准确框选测试区域；选取框选的测试区域内的深度非零像素点，结合深度感知传感器的参数将其转换为三维点云；
b、基于KD-tree算法获取各三维点邻域内预设数量的最近邻点，通过对上述最近邻点拟合平面，计算得到各三维点的法线矢量并归一化，遍历三维点云后，对获取的单位法向点云通过欧式聚类去除离群噪声点。将去燥后获取的各三维点的单位法向点作为各三维坐标点的法向测量值。优选地，本实施例采用各三维点邻域内50个最近邻点进行平面拟合；
c、在单位法向球面上，选取两个垂直平面的法向真值，即法向点云聚集点，遍历各法向测量值与两个法向真值的欧氏距离，取两个欧式距离中的最小值，按照从小到大的顺序排序，并按百分比设定相应权值，计算加权平均距离，即加权距离求和后取均值，将其作为直角折面法线区分度特征，计算公式如下：
Figure BDA0002148543320000101
式中，D为加权平均距离，a为加权时所用距离排序百分比，α和β分别为相应百分比的权值，di为排序结果中第i个三维坐标点的法向测量值与两个法向真值间的欧氏距离中的最小值，db为两个法向真值间的欧氏距离；优选地，本实施例采用排序前80％的距离权值设为0.2，后20％的距离权值设为0.8。
在上述实施例的基础上，本实施例中对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征具体包括：若该测试模具为圆柱面模具，则将该测试模具的深度图像转换为伪彩图；从所述伪彩图中框选测试区域，根据所述深度感知传感器的参数将框选的所述测试区域内的深度非零像素点转换为三维坐标点；对于任一所述三维坐标点，基于KD-tree算法获取该三维坐标点的邻域内预设数量的最近邻点，对所述最近邻点进行平面拟合，根据拟合的平面获取该三维坐标点的法线矢量，并对所述法线矢量进行归一化，获取该三维坐标点的法向测量值；将该三维坐标点的法向测量值向单位法向球面上的XY坐标平面进行投影，获取该三维坐标点的法向测量值的投影点；将所有所述三维坐标点的法向测量值的投影点拟合成直线，计算各所述投影点到所述直线的距离；计算所述距离小于第三预设阈值的投影点占所有投影点的比例，将所述比例作为该测试模具对应的圆柱面法向平滑度。
具体地，对圆柱面模具的深度图像进行特征提取的步骤具体包括：
a、将采集的圆柱面模具的深度图转为伪彩图，以便于准确框选测试区域，选取框选区域内的深度非零像素点，结合相机参数将其转换为三维点云；
b、基于KD-tree算法获取各三维点邻域内一定数量的最近邻点，通过对上述最近邻点拟合平面，计算得到各三维点的法线矢量并归一化，遍历三维点云后，对获取的各单位点的单位法向点云通过欧式聚类去除离群噪声点，将去燥后获取的各三维点的单位法向点作为各三维坐标点的法向测量值；优选地，本实施例采用各三维点邻域内50个最近邻点进行平面拟合；
c、在单位法向球面上，将法向测量值向XY坐标面中投影，即只取出x、y坐标，基于最小二乘法对所有三维点的投影点进行直线拟合，计算各投影点到拟合直线的距离，统计小于距离阈值的投影点占总点数的比例，即为圆柱面法向平滑度；优选地，第三预设阈值为0.1。
针对人脸识别应用，不同测试模具的不同特征对深度成像算法的质量影响也不同，根据各特征的实际影响将其分级如下：
(1)第一层特征：正弦模具->正弦拟合度，该特征数值越大越好，且需要保持在一定阈值之上才能保证较高的人脸识别率；优选地，本发明采用的拟合度阈值为0.9；
(2)第二层特征：正弦模具->周期相对误差，该特征数值与生成人脸识别训练数据集的深度成像算法同一特征越接近越好；折面模具->直角折面法线区分度，该特征数值越小越好；圆柱面模具->圆柱面法向平滑度，该特征数值越大越好；
(3)第三层特征：平面模具->坏点占比，该特征数值越小越好；平面模具->有效区域空洞率，该特征数值越小越好；平面模具->精密度，该特征数值越小越好；
(4)第四层特征：正弦模具->振幅相对误差，该特征数值越小越好。
按照各级特征对人脸识别应用的影响关系，对其分别要求如下：
(1)第一层特征必须满足，否则可能导致人脸识别率较低；
(2)第二层特征对人脸识别率的影响很大，尽量靠近目标值；
(3)第三层特征对人脸识别率的影响不明显，但依然非常重要，特别注意某些特征在超过某阈值后会严重影响人脸识别结果，如空洞率等；
(4)第四层特征目前对人脸识别率没有明显的影响，但尽量保证在可控范围之内，以避免对人脸识别率造成影响。
本实施例提供一种电子设备，图6为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器601、至少一个存储器602和总线603；其中，
处理器601和存储器602通过总线603完成相互间的通信；
存储器602存储有可被处理器601执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：基于深度感知传感器获取一个或多个测试模具的深度图像；其中，每个所述测试模具的表面形状不同；对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征；其中，从每个所述测试模具的深度图像中提取的特征不同；根据所有所述测试模具的深度图像的特征，对所述深度感知传感器采集的人脸深度图像进行评价。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：基于深度感知传感器获取一个或多个测试模具的深度图像；其中，每个所述测试模具的表面形状不同；对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征；其中，从每个所述测试模具的深度图像中提取的特征不同；根据所有所述测试模具的深度图像的特征，对所述深度感知传感器采集的人脸深度图像进行评价。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于人脸识别应用的深度图像质量评价方法，其特征在于，包括：
基于深度感知传感器获取一个或多个测试模具的深度图像；其中，每个所述测试模具的表面形状不同；
对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征；其中，从每个所述测试模具的深度图像中提取的特征不同；
根据所有所述测试模具的深度图像的特征，对所述深度感知传感器采集的人脸深度图像进行评价；
所述测试模具包括平面模具、正弦面模具、折面模具和圆柱面模具；
其中，所述平面模具为表面起伏误差小于第一预设阈值的模具；
所述正弦面模具为表面呈横向和纵向交错正弦形状的模具；
所述折面模具为表面呈连续直角折面的模具；
所述圆柱面模具为表面呈连续圆柱曲面的模具。
2.根据权利要求1所述的基于人脸识别应用的深度图像质量评价方法，其特征在于，所述平面模具对应的特征包括精密度、有效区域空洞率和坏点占比；
所述正弦面模具对应的特征包括正弦拟合度、幅值相对误差和周期相对误差；
所述折面模具对应的特征包括直角折面法线区分度；
所述圆柱面模具对应的特征包括圆柱面法向平滑度。
3.根据权利要求1所述的基于人脸识别应用的深度图像质量评价方法，其特征在于，对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征具体包括：
若该测试模具为平面模具，则对该测试模具的深度图像以预设采样间隔进行采样；
基于最小二乘法对各采样点的邻域窗口内像素点的坐标值进行空间平面拟合，获取各所述采样点对应的拟合平面；
将任一所述采样点到该采样点对应的拟合平面的距离作为该采样点处目标函数的残差；
将所有所述采样点处目标函数的残差的平均值作为该测试模具对应的精密度；
将各所述采样点处目标函数的残差转换为像素误差；
将该测试模具的深度图像中像素误差大于第二预设阈值的采样点的数量占比作为该测试模具对应的坏点率；
从该测试模具的深度图像的有效区域中心中选择预设比例的区域作为感兴趣区域；
统计所述感兴趣区域中空洞点数占所述感兴趣区域中像素总数的比例，将所述比例作为该测试模具对应的有效区域空洞率。
4.根据权利要求3所述的基于人脸识别应用的深度图像质量评价方法，其特征在于，通过以下公式将各所述采样点处目标函数的残差转换为像素误差：
Ep＝Re*T*F/d2；
其中，Ep为任一所述采样点的像素误差，Re为任一所述采样点处目标函数的残差，T为所述深度感知传感器的基线长度，F为所述深度感知传感器的焦距，d为所述深度图像的采集距离。
5.根据权利要求1所述的基于人脸识别应用的深度图像质量评价方法，其特征在于，对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征具体包括：
若该测试模具为正弦面模具，则将该测试模具的深度图像转换为伪彩图；
从所述伪彩图中选择多个横向和多个纵向的峰谷所在的截面，将各所述截面两端的波峰相连，获取波峰连线与所述深度图像的成像平面的交线；
将所述交线上的像素坐标转换为平面坐标；
将转换后的坐标点进行直线拟合，根据拟合的直线的斜率对所述转换后的坐标点进行旋转；
将旋转后的坐标点进行正弦曲线拟合，根据拟合的正弦曲线和该测试模具的参数值，计算该测试模具对应的幅值相对误差和周期相对误差；
根据所述波峰连线上各坐标点在所述拟合的正弦曲线上对应的拟合值，计算该测试模具对应的正弦拟合度。
6.根据权利要求5所述的基于人脸识别应用的深度图像质量评价方法，其特征在于，通过以下公式根据所述波峰连线上各坐标点在所述拟合的正弦曲线上对应的拟合值，计算该测试模具对应的正弦拟合度：
Figure FDA0003296921190000031
其中，R2为该测试模具对应的正弦拟合度，yi为所述波峰连线上第i个坐标点的拟合值，Yi为所述波峰连线上第i个坐标点的实际值，
Figure FDA0003296921190000032
为所述波峰连线上所有坐标点的实际值的平均值。
7.根据权利要求1所述的基于人脸识别应用的深度图像质量评价方法，其特征在于，对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征具体包括：
若该测试模具为折面模具，则将该测试模具的深度图像转换为伪彩图；
从所述伪彩图中框选测试区域，根据所述深度感知传感器的参数将框选的所述测试区域内的深度非零像素点转换为三维坐标点；
对于任一所述三维坐标点，基于KD-tree算法获取该三维坐标点的邻域内预设数量的最近邻点，对所述最近邻点进行平面拟合，根据拟合的平面获取该三维坐标点的法线矢量，并对所述法线矢量进行归一化，获取该三维坐标点的法向测量值；
在单位法向球面上，选择该测试模具成直角的两个相邻平面的法向真值；
计算该三维坐标点的法向测量值分别与两个所述法向真值之间的欧式距离，并获取两个所述欧式距离中的最小值；
将各所述三维坐标点对应的最小值按从小到大的顺序进行排序，根据排序结果计算所述三维坐标点的法向测量值与所述法向真值之间的加权平均距离，将所述加权平均距离作为该测试模具对应的直角折面法线区分度。
8.根据权利要求7所述的基于人脸识别应用的深度图像质量评价方法，其特征在于，通过以下根据排序结果计算所述三维坐标点的法向测量值与所述法向真值之间的加权平均距离：
Figure FDA0003296921190000041
其中，D为所述加权平均距离，n为所述三维坐标点的个数，a为预设比例，α和β为权重，di为排序结果中第i个三维坐标点的法向测量值与两个所述法向真值之间的欧式距离中的最小值，db为两个所述法向真值之间的欧式距离。
9.根据权利要求1所述的基于人脸识别应用的深度图像质量评价方法，其特征在于，对于任一所述测试模具，对该测试模具的深度图像进行分析，提取所述深度图像的特征具体包括：
若该测试模具为圆柱面模具，则将该测试模具的深度图像转换为伪彩图；
从所述伪彩图中框选测试区域，根据所述深度感知传感器的参数将框选的所述测试区域内的深度非零像素点转换为三维坐标点；
对于任一所述三维坐标点，基于KD-tree算法获取该三维坐标点的邻域内预设数量的最近邻点，对所述最近邻点进行平面拟合，根据拟合的平面获取该三维坐标点的法线矢量，并对所述法线矢量进行归一化，获取该三维坐标点的法向测量值；
将该三维坐标点的法向测量值向单位法向球面上的XY坐标平面进行投影，获取该三维坐标点的法向测量值的投影点；
将所有所述三维坐标点的法向测量值的投影点拟合成直线，计算各所述投影点到所述直线的距离；
计算所述距离小于第三预设阈值的投影点占所有投影点的比例，将所述比例作为该测试模具对应的圆柱面法向平滑度。
CN201910693279.9A 2019-07-30 2019-07-30 基于人脸识别应用的深度图像质量评价方法 Active CN110544233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910693279.9A CN110544233B (zh) 2019-07-30 2019-07-30 基于人脸识别应用的深度图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910693279.9A CN110544233B (zh) 2019-07-30 2019-07-30 基于人脸识别应用的深度图像质量评价方法

Publications (2)

Publication Number Publication Date
CN110544233A CN110544233A (zh) 2019-12-06
CN110544233B true CN110544233B (zh) 2022-03-08

Family

ID=68709887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910693279.9A Active CN110544233B (zh) 2019-07-30 2019-07-30 基于人脸识别应用的深度图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110544233B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111063016A (zh) * 2019-12-31 2020-04-24 螳螂慧视科技有限公司 一种多深度镜头人脸建模方法、***、存储介质及终端
CN111353982B (zh) * 2020-02-28 2023-06-20 贝壳技术有限公司 一种深度相机图像序列筛选方法及装置
CN113126944B (zh) * 2021-05-17 2021-11-09 北京的卢深视科技有限公司 深度图的显示方法、显示装置、电子设备及存储介质
CN114299016B (zh) * 2021-12-28 2023-01-10 合肥的卢深视科技有限公司 深度图检测装置、方法、***及存储介质
CN115049658B (zh) * 2022-08-15 2022-12-16 合肥的卢深视科技有限公司 Rgb-d相机质量检测方法、电子设备及存储介质
CN116576806B (zh) * 2023-04-21 2024-01-26 深圳市磐锋精密技术有限公司 一种基于视觉分析的厚度检测设备用的精密度管控***
CN117058111B (zh) * 2023-08-21 2024-02-09 大连亚明汽车部件股份有限公司 一种汽车铝合金压铸模具质量检查方法及***

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960097A (en) * 1997-01-21 1999-09-28 Raytheon Company Background adaptive target detection and tracking with multiple observation and processing stages
RU2471204C2 (ru) * 2007-05-30 2012-12-27 Конинклейке Филипс Электроникс, Н.В. Локальная позитронная эмиссионная томография
CN103763552B (zh) * 2014-02-17 2015-07-22 福州大学 基于视觉感知特性的立体图像无参考质量评价方法
CN104978549B (zh) * 2014-04-03 2019-04-02 北京邮电大学 三维人脸图像特征提取方法和***
CN105989591A (zh) * 2015-02-11 2016-10-05 詹曙 一种自动获取取款人面部立体信息的自动取款机成像方法
CN106127250A (zh) * 2016-06-24 2016-11-16 深圳市唯特视科技有限公司 一种基于三维点云数据的人脸质量评估方法
CN105956582B (zh) * 2016-06-24 2019-07-30 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别***
CN106803952B (zh) * 2017-01-20 2018-09-14 宁波大学 结合jnd模型的交叉验证深度图质量评价方法
CN107462587B (zh) * 2017-08-31 2021-01-19 华南理工大学 一种柔性ic基板凹凸痕缺陷的精密视觉检测***及方法
CN108171748B (zh) * 2018-01-23 2021-12-07 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Also Published As

Publication number Publication date
CN110544233A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN110544233B (zh) 基于人脸识别应用的深度图像质量评价方法
CN108303037B (zh) 一种基于点云分析的工件表面形状差异的检测方法及装置
CN107462204B (zh) 一种三维路面标准轮廓提取方法及***
CN108288271A (zh) 基于三维残差网络的图像检测***及方法
CN109272524B (zh) 一种基于阈值分割的小尺度点云噪声去噪方法
CN110807781B (zh) 一种保留细节与边界特征的点云精简方法
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN108921864A (zh) 一种光条中心提取方法及装置
CN113240623B (zh) 一种路面病害检测方法及装置
CN115330958A (zh) 基于激光雷达的实时三维重建方法及装置
CN112329726B (zh) 人脸识别方法及装置
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN113450269A (zh) 一种基于3d视觉的点云关键点提取方法
CN115797551B (zh) 基于两步无监督聚类算法的激光点云数据自动建模方法
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN105740859B (zh) 一种基于几何测度和稀疏优化的三维兴趣点检测方法
CN117706577A (zh) 基于激光雷达三维点云算法的船舶尺寸测量方法
CN116539619B (zh) 产品缺陷检测方法、***、装置及存储介质
CN116612097A (zh) 一种基于表面缺陷图像的木材内部节子形态预测方法及***
CN116721410A (zh) 一种航空发动机密集零部件三维实例分割方法和***
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN115035164A (zh) 一种运动目标识别方法及装置
CN114677530A (zh) 一种基于小波形状描述子的聚类算法有效性评价方法、设备及介质
CN114581629A (zh) 一种基于局部质心的几何特征检测线的提取方法
CN117876712B (zh) 一种基于Harris的脊椎特征点自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230609

Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui 230001

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right