CN108319939A - 一种3d四维头部面部数据识别设备 - Google Patents

一种3d四维头部面部数据识别设备 Download PDF

Info

Publication number
CN108319939A
CN108319939A CN201810302348.4A CN201810302348A CN108319939A CN 108319939 A CN108319939 A CN 108319939A CN 201810302348 A CN201810302348 A CN 201810302348A CN 108319939 A CN108319939 A CN 108319939A
Authority
CN
China
Prior art keywords
data
head
head face
camera
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810302348.4A
Other languages
English (en)
Inventor
左忠斌
左达宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianmu Love Vision (beijing) Technology Co Ltd
Tianmu Aishi Beijing Technology Co Ltd
Original Assignee
Tianmu Love Vision (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianmu Love Vision (beijing) Technology Co Ltd filed Critical Tianmu Love Vision (beijing) Technology Co Ltd
Priority to CN201810302348.4A priority Critical patent/CN108319939A/zh
Publication of CN108319939A publication Critical patent/CN108319939A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种3D四维头部面部数据识别设备,对头部面部图像数据进行采集、处理和计算,生成所述被采集对象的3D四维头部面部数据。本发明以识别目标的身份信息识别四维数据,不必将目标人的头部面部数据与数据库中的海量数据进行逐一比对,提高了比对识别的效率,大大提升了身份识别的速度,采用基于空域直接匹配的天目点云比对识别法进行特征点拟合,实现了头部面部特征点的快速拟合比对,进而实现了身份快速认证识别。本发明与传统技术相比,结合数字图像处理技术、人工智能控制技术,提供一种操作简单、速度快、精度高的3D四维头部面部数据识别设备。

Description

一种3D四维头部面部数据识别设备
技术领域
本发明涉及图像重构与识别技术领域,特别是一种3D四维头部面部数据识别设备。
背景技术
头部面部作为生物特征即生物固有的生理或行为特征之一,具有一定的唯一性和稳定性,即任何两生物的某种头部面部特征之间的差异比较大,且头部面部特征一般不会随着时间发生很大的变化,这就使得头部面部特征很适合应用在身份认证或识别采集装置中的认证信息等场景中。
目前使用单一相机采集头部面部特征数据,单一相机只能采集某个特定的角度,或者需要调整相机来采集不同角度的头部面部特征,实际使用起来不便捷,较为繁琐,因此亟待解决这一技术问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的3D四维头部面部数据识别设备。
本发明提供了一种3D四维头部面部数据识别设备,包括如下装置:
头部面部特征信息采集装置,用于采集人体在给定时间内的多幅头部面部特征图像,并根据所述多幅头部面部特征图像构建头部面部特征的四维模型,以实现所述头部面部特征的四维数据采集;
头部面部特征四维数据存储装置,用于扫描或录入人体的身份信息(I1,I2,…In)作为识别标志对采集到的人体头部面部特征四维数据进行关联存储,形成包括多条头部面部特征四维数据(D1,D2,…Dn)的数据库;
目标人体身份识别装置,用于根据扫描或录入的目标人体的身份信息(I1,I2,…In)找到所述数据库中存储的头部面部特征四维数据(D1,D2,…Dn),并将所述目标人体的头部面部特征四维数据(T1,T2,…Tn)分别与相应的所述数据库中存储的头部面部特征四维数据(D1,D2,…Dn)进行比对,以识别目标人体的身份。
进一步的,所述头部面部特征信息采集装置,包括:
检测组件,用于根据被采集对象特征信息及头部面部方向信息确定头部面部位置坐标;
图像信息收集组件,用于获取所述被采集对象的头部面部图像数据,并将所述头部面部图像数据传输至数据处理组件;
支撑架,用于安装所述图像信息收集组件;
数据处理组件,其信息输入端连接所述图像信息收集组件的信息输出端,用于接收所述图像信息收集组件传输的头部面部图像数据,对所述头部面部图像数据进行处理和计算,生成所述被采集对象的3D四维头部面部数据。
进一步的,所述数据处理组件包括图像处理器GPU和中央处理器CPU,特征点提取单元将所述多幅手部特征图像的图像信息分配到GPU的块block中进行运算,并结合CPU的集中调度和分配功能,计算所述多幅手部特征图像各自的特征点。
进一步的,所述图像信息收集组件为多台可见光相机形成的相机矩阵,所述支撑架包括设有弧形承载结构的支撑结构,所述多台可见光相机布置在所述弧形承载结构上。
进一步的,所述弧形承载结构形成U字形,所述检测组件设于U字形的弯弧处,以便采集时与被采集者的面部位置对应。
进一步的,所述图像信息收集组件为光场相机、激光、光栅中的一种或多种,所述支撑架上设有滑轨,所述图像信息收集组件可沿所述滑轨绕头部面部滑动半周以上。
进一步的,所述头部面部特征信息采集装置还包括:
补光灯,用于获取当前环境的亮度,当根据所述当前环境的亮度确定需要进行补光时,利用补光灯补光,所述补光灯与所述支撑架固定连接。
进一步的,所述补光灯为带状补光灯,沿所述头部面部周向均匀分布。
进一步的,所述图像信息收集组件包括深度红外相机和变焦彩色相机,所述支撑架上设有相机放置机构,所述检测组件包括人体感应测量模块。
进一步的,所述头部面部特征信息采集装置还包括与所述检测组件信息输出端连接的座椅,所述数据处理组件包括驱动器,该驱动器用于基于所述头部面部位置坐标驱动所述座椅上升或下降。
进一步的,所述数据处理组件还包括:
图像处理器,用于对所述头部面部图像数据优化处理,包括自动曝光、自动白平衡、自动对焦和/或图像畸形校正;
中央处理器,用于将所述头部面部图像数据输入配准算法模型,进行配准计算得到配准数据,基于所述配准数据生成所述被采集对象的3D四维头部面部数据。
所述头部面部特征信息采集装置还包括:
设置在所述弧形承载结构上的显示器,所述显示器与所述数据处理组件连接;在所述数据处理组件构建得到头部面部的3D模型后,在所述显示器上通过可视化方式显示头部面部3D数据;或者在所述数据处理组件构建得到具有时间维度的头部面部的3D模型后,在所述显示器上通过可视化方式显示头部面部四维数据。
进一步的,所述目标人体身份识别装置,采用天目点云比对识别法对所述目标生物体的生物特征四维数据(T1、T2…Tn)和所述数据库中存储的生物特征四维数据(D1、D2…Dn)进行比对;所述天目点云比对识别法包括如下步骤:
S301.特征点拟合;
S302.曲面整体最佳拟合;
S303.相似度计算;
进一步的,所述天目点云比对识别法包括如下具体步骤:
采用基于空域直接匹配的方法进行特征点拟合,在两个点云的对应的刚性区域,选取三个及以上特征点作为拟合关键点,通过坐标变换,直接进行特征点对应匹配;
特征点对应匹配后,整体曲面最佳拟合后的点云的数据对齐;
采用最小二乘法进行相似度计算。
本发明的有益效果在于:提供了一种3D四维头部面部数据识别设备,首先通过3D四维数据采集装置,包括检测组件,用于根据人体特征信息及头部面部方向信息确定头部面部位置坐标;图像信息收集组件,用于获取所述被采集对象的头部面部图像数据,并将所述头部面部图像数据传输至数据处理组件;支撑架,用于安装所述图像信息收集组件;数据处理组件,其信息输入端连接所述图像信息收集组件的信息输出端,用于接收所述图像信息收集组件传输的头部面部图像数据,对所述头部面部图像数据进行处理和计算,生成所述被采集对象的3D四维头部面部数据。同时,本发明以识别目标的身份信息识别四维数据,不必将目标人的数据与数据库中的海量数据进行逐一比对,提高了比对识别的效率,大大提升了身份识别的速度,采用基于空域直接匹配的天目点云比对识别法进行特征点拟合,实现了手部特征点的快速拟合比对,进而实现了身份快速认证识别。本发明与传统技术相比,结合数字图像处理技术、人工智能控制技术,提供一种操作简单、速度快、精度高的头部面部3D四维数据识别设备。此外,人的脸部和手部是刚性和柔性的结合体,柔性部分因为动作变化会有不同的形态,例如表情变化,脸部肌肉会随之改变状态,手部进行不同动作,手部状态也会随之改变。因此会形成不同的3D图像,若用单张的数据特征做识别,会存在误差。因此可见光相机采集生物体在给定时间内的多幅生物特征图像,根据所述多幅生物特征图像构建生物特征的四维模型,实现对生物体的四维数据采集,后存储并关联至生物体的身份信息,当再次识别目标生物体是否是该生物体身份时,即使目标生物体如脸部有表情,或手部有动作,也可识别目标生物体的身份,进一步提高了识别精度。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一实施例的3D四维头部面部数据识别设备结构示意图;
图2为本发明所提供的数据采集装置第一种具体实施方式的结构示意图;
图3是本发明实施例中的装置示意图;
图4图2所示具体实施例的工作流程图;
图5为本发明所提供的数据采集装置第二种具体实施方式的结构示意图;
图6为图5所示3D四维数据采集装置的工作原理图;
图7为本发明所提供的数据采集装置第三种具体实施方式的结构示意图;以及
图8为本发明所提供的数据采集装置第四种具体实施方式的结构示意图。
附图标记
底座100、座椅200、支撑架300、显示器400、承载结构500、图像信息收集组件600和补光灯700。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是,本发明中的3D四维数据是指三维空间数据结合时间维度数据所形成的数据,三维空间结合时间维度是指:多张相同时间间隔或不同时间间隔、不同角度、不同方位或不同状态等情况的图像或影像形成的数据集合。换句话说,四维数据可以是多张相同时间间隔或不同时间间隔、不同角度、不同方位、不同表情形态等的3D数据集合。所说的头部,是指人体脖子(颈椎)以上的所有器官;所说的面部,是指脸部和耳部。
为解决上述技术问题,本发明实施例提供了一种3D四维头部面部数据识别设备。
图1示出了根据本发明一实施例的3D四维头部面部数据识别设备结构示意图,包括:头部面部特征信息采集装置,用于采集人体在给定时间内的多幅头部面部特征图像,并根据所述多幅头部面部特征图像构建头部面部特征的四维模型,以实现所述头部面部特征的四维数据采集;
头部面部特征四维数据存储装置,用于扫描或录入人体的身份信息(I1,I2,…In)作为识别标志对采集到的人体头部面部特征四维数据进行关联存储,形成包括多条头部面部特征四维数据(D1,D2,…Dn)的数据库;
目标人体身份识别装置,用于根据扫描或录入的目标人体的身份信息(I1,I2,…In)找到所述数据库中存储的头部面部特征四维数据(D1,D2,…Dn),并将所述目标人体的头部面部特征四维数据(T1,T2,…Tn)分别与相应的所述数据库中存储的头部面部特征四维数据(D1,D2,…Dn)进行比对,以识别目标人体的身份。
图2为本发明所提供的数据采集装置第一种具体实施方式的结构示意图;图3是本发明实施例中的装置示意图;图4是图2所示具体实施例的工作流程图。
如图2所示,图2为本发明第一种具体实施方式所提供的头部面部信息采集装置,该装置包括:底座100、座椅200、支撑架300、显示器400、承载结构500、图像信息收集组件600、补光灯700,座椅200与底座100连接,支撑架300连接底座100与环形承载结构500,显示器400位于环形承载结构500外侧,显示器400与环形承载结构500和支撑架300连接,补光灯控制模块600、补光灯700固定在承载结构500上。
图2中,图像信息收集组件600具体为可见光相机组成的相机矩阵。
如图4所示,一种头部面部3D四维数据采集装置的工作流程是:
步骤1)参数设置:启动装置,设置相机参数,检测组件与图像信息收集组件的通信模块连接,并接收反馈信息。
步骤2)数据采集:数据处理组件控制相机拍照,采集数据,测组件与图像信息收集组件的通信模块连接,控制相机拍照,并接收反馈信息。
步骤3)数据传输:传输图像信息收集组件采集的图像数据。
步骤4)数据格式转换:接收影像数据,并进行解码,生成JPG格式数据和视频格式数据。
步骤5)引导显示:数据处理组件的一个输出端与引导显示屏400连接,传输视频信号到引导显示屏400并显示。
步骤6)人脸定位识别:进行人脸定位识别,进而通过座椅控制模块控制座椅。
步骤7)座椅控制:座椅中PLC模块与座椅控制模块连接接收控制命令,通过电机模块控制座椅升降。
步骤8)数据有效性判断:若数据无效,重复操作步骤2)3)4)5)6)7),若数据有效进入下一步。
步骤9)多焦点图像数据转换:图像数据格式转换模块对光场数据进行多焦点采样并转换为JPG数据格式。
步骤10)图像数据融合:对多张JPG数据进行处理,融合成一张JPG格式数据。
步骤11)生成点云:对多张JPG数据进行处理,生成点云数据。
步骤12)点云标定:对点云信息进行处理,生成尺寸数据。
步骤13)三维模型合成:对标定后的点云数据进行处理,生成三维模型。
步骤14)三维模型渲染:对三维模型数据渲染。
步骤15)三维模型显示:显示屏显示三维模型。
本发明的工作原理,本发明针对传统相机拍照只有一个焦平面,焦平面前后数据模糊,距离焦平面越远画面越模糊,且拍摄前要先对焦,即使对焦清晰对于具有一定景深的物体也无法拍到前后景深都清晰的图像,在3D数据合成中无法提取到模糊数据的特征点,导致合成效果差甚至合成失败的情况。
如果是相机矩阵,支撑架300包括设有弧形承载结构500的支撑结构,可以将多台可见光相机布置在弧形承载结构500上,可以均匀分布,也可以非均匀分布,能从多角度同时取得头部面部信息即可。
在一种具体的实施方式中,本发明提供的图像信息采集组件600还包括补光灯700,该补光灯700与所述支撑架300固定连接。当前环境的亮度确定需要进行补光时,利用补光灯补光,以提高头部面部数据精度。
在一种具体的实施方式中,图像信息收集组件600还可以是深度红外相机、激光、光栅,或光场相机中一种或多种。当图像信息收集组件600为深度红外相机、激光、光栅,或光场相机中一种或多种时,可以在支撑架上设计滑轨,图像信息收集组件600可以沿滑轨绕头部面部滑动半周以上。
请参考图7和图8,图7为本发明所提供的数据采集装置第三种具体实施方式的结构示意图;图8为本发明所提供的数据采集装置第四种具体实施方式的结构示意图。图7中图像信息收集组件600具体为激光相机,图8中图像信息收集组件600具体为光场相机。
如图7所示,当图像信息收集组件为多台可见光相机形成的相机矩阵,所述支撑架包括设有弧形承载结构500的支撑结构,形成所述相机矩阵的多台可见光相机布置在所述弧形承载结构上。其中,弧形承载结构形成U字形,所述检测组件设于U字形的弯弧处,以便采集时与被采集者的面部位置对应。
在一种具体的实施方式中,本发明所提供的数据采集装置包括与所述检测组件信息输出端连接的座椅200,所述数据处理组件包括:驱动器用于基于头部面部位置坐标驱动所述座椅200上升或下降;当生物位于所述座椅200上时,所述图像信息收集组件对头部面部信息进行采集。以人为例,人的身高各有不同,当人的头部面部所在位置与图像信息收集组件镜头所在位置不在一个平面时,可根据检测组件的信息,控制座椅200的高度,使图像信息收集组件镜头恰好在头部面部,以提高采集装置的适用性,提升用户的体验感。
在上述实施例中,当获取到被采集对象的完整的头部面部图像数据后,则可由数据处理组件对头部面部图像数据进行处理和计算,生成被采集对象的3D四维头部面部数据。
优选的,数据处理组件包括图像处理器GPU和中央处理器CPU,将多幅生物特征图像的图像信息分配到GPU的块block中进行运算,并结合CPU的集中调度和分配功能,计算多幅生物特征图像各自的特征点。可以看到,本发明实施例采用多台拍照相机控制技术进行生物特征信息的采集,可以显著提高生物特征信息的采集效率。并且,本发明实施例基于中央处理器和图形处理器的并行计算,可以高效地实现特征信息的处理。
优选的,GPU为双GPU,每颗GPU具有多个block,如56个block,本发明实施例对此不作限制。
在本发明另一优选实施例中,数据处理组件还可以包括:显示器400;数据处理组件还用于将3D四维头部面部数据发送至显示器400显示。
请参考图5,图5为本发明所提供的数据采集装置第二种具体实施方式的结构示意图,图5中图像信息收集组件600具体为红外深度相机。
在图5所示的3D四维头部面部数据采集采集装置中,图像信息收集组件包括深度红外相机、变焦彩色相机,深度红外相机、变焦彩色相机均可固定设置在支撑架500上。数据处理组件,包括图像处理器,中央处理器以及驱动器。中央处理模块,深度红外相机,变焦彩色相机,灯光模组,相机旋转机构,人体感应测量模块,相机数据传输模块,显示介面,操作介面,底座,座椅200。
本发明围绕深度红外相机的头部面部立体三维重建的实时性,高精度,高效性,采用一种深度红外相机和变焦彩色相机的结合方式,实时融合高分辨率的深度图像及高分辨率的彩色图像,自动检测到人体和测量人体高度,自动识别人脸,通过座椅200快速调整人的高度和坐姿,并扫描实现全自动化的头部面部3D数据采集装置。
在工作过程中,人体感应测试模块固定在底座结构上,显示介面和操作介面与底座结构连接,中央处理模块固定于底座内部,相机数据传输模块位于底座结构内部,底座结构与相机旋转机构连接,相机旋转机构连接变焦彩色相机,深度红外相机和灯光模组,相机旋转机构包括可调整角度相机固定架,转动装置,转动装置含伺服电机,配速箱,传动装置,变焦彩色相机,深度红外相机,灯光模组固定在可调整角度固定架上,可调整角度固定架固定在相机旋转机构上,中央处理模块的相机转动模块连接伺服电机,
调节座椅200固定于底座100,调节座椅200上下可调整高度和左右可旋转角度,调节座椅200包括水平转动伺服电机,垂直升降伺服电机,水平配速箱,水平转动齿轮,垂直升降传动齿轮螺杆,人体体重感应器,其中中央处理模块的座椅控制模块连接调节座椅200,
其中中央处理模块包括图像品质处理芯片,红外测距处理芯片,点云生成单元,三维配准算法处理模块,3D数据合成模块,视频显示模块,微处理器控制模块,座椅200控制模块,相机转动控制模块,灯光控制模块。
请参考图6,图6为图5所示3D四维数据采集装置的工作原理图。
使用方法及步骤,如图6:
1)启动设置:启动后,在显示介面上输入装置相关参数,包括人的体重和身高,肤色设置,自动匹配灯光的色温及亮度参数,工作模式:自动工作模式和手动工作模式。
2)人体感应测量模块:根据人体感应测量模块,检测人是否到位,并测量人坐姿的高度值,变焦彩色相机自动检测人脸,判断人坐的角度值。
3)调节坐椅:根据人坐姿的现有高度值和角度值,调节坐椅自动调整到人脸适合彩色相机拍照和深度红外相机扫描的状态。
4)变焦彩色相机:根据人脸大小,相机镜头自动伸缩到合适视角和清晰度。
5)灯光模块:根据人脸的肤色和环境光,灯光自动调整亮度和色温,变焦彩色相机和深度红外相机达到高清晰和高对比度的图片。
6)深度红外相机:人的坐姿达到合适位置和灯光匹配调整后,深度红外相机在人脸一侧位置开始收集深度距离信息。
7)相机旋转机构:从人脸的一侧位置开始工作后,相机旋转
机构以固定速度转,动并同时传输相机图片和深度测距数据到
中央处理模块的图像品质处理芯片和深度测距处理芯片。
8)点云生成模块:深度红外的数据到中央处理模块的点云生产模块,生产3D点云信息。
9)三维配准算法模块:变焦彩色相机的高清图片结合点云的信息输入到三维配准算法模块,进行配准计算得到配准数据。
10)3D数据合成模块:配准数据到3D数据合成模块,生成3D数据模型。
11)视频显示模块:3D数据模型生成后,最终显示到显示介面上并通过操作介面操作3D数据。
检测装置获取被采集对象的特征信息以及方向信息,并基于上述信息通过检测组件确定头部面部位置,进而获取完整的头部面部图像数据,然后根据采集到的头部面部图像数据建立3D四维头部面部数据。以被采集对象的特征信息为基础,通过图像信息收集组件准确并完整获取被采集对象的头部面部图像数据,以进行人体生物特征的3D四维重建。本发明实施例可以在高效采集头部面部图像数据的同时提升了3D重建的效率。
以上对本发明的具体实施方式进行了说明,但本发明并不以此为限,只要不脱离本发明的宗旨,本发明还可以有各种变化。
在本发明实施例中,在头部面部特征四维数据存储装置中,存储由以上步骤所采集到的头部面部特征四维数据,并以生物体的身份信息(I1、I2…In)作为识别标志对采集到的头部面部特征四维数据进行存储,形成包括多条头部面部特征四维数据(D1、D2…Dn)的数据库,例如:四维数据D1和该生物体的身份信息I1进行关联存储,另一生物体的四维数据D2和该生物体的身份信息I2进行关联存储,以此类推,形成包括n个生物体四维数据的数据库。
其中,当采集对象即生物体为人体时,则身份信息I包括但不限于人的:姓名、性别、年龄和证件号中的一种或多种,证件号可以包括人在生活中经常用到的例如身份证号、护照号、驾照号、社保号或军官证号中的一种或多种。
优选的,所述身份信息通过扫描身份证、护照、驾照、社保卡或军官证获得,或者,通过手动或自动录入的方式从身份证、护照、驾照、社保卡或军官证获得身份信息。
优选的,在目标人体身份识别装置中,对目标生物体的身份识别时,采用天目点云比对识别法对目标生物体(即待识别身份的生物体)的头部面部特征四维数据(T1、T2…Tn)和数据库中存储的头部面部特征四维数据(D1、D2…Dn)进行比对,以识别目标生物体的身份。首先,通过输入目标生物体的身份信息,如人体的身份证号,这样可以快速找到已经存储在数据库中以该身份证号为文件名的四维数据(D1、D2…Dn),而不必将目标人的数据与数据库中的海量数据进行逐一比对,提高了比对识别的效率,大大提升了身份识别的速度,然后再把当前采集到的该人体的头部面部图像四维数据(T1、T2…Tn)与数据中调取出来的四维数据进行比对,最后识别该人体的身份是否符合,进而实现身份认证,具体的,采用天目点云比对识别法包括如下步骤:
S301.特征点拟合;
S302.曲面整体最佳拟合;
S303.相似度计算。
优选的,天目点云比对识别法还包括如下具体步骤:
采用基于空域直接匹配的方法进行特征点拟合,在两个点云的对应的刚性区域,选取三个及以上特征点作为拟合关键点,通过坐标变换,直接进行特征点对应匹配;
特征点对应匹配后,整体曲面最佳拟合后的点云的数据对齐;
采用最小二乘法进行相似度计算。
天目点云比对识别法(Yare Eyes point cloud match recognition method)识别过程和工作原理如下:首先,在某一时刻的点云是组成四维模型的基本元素,它包含空间坐标信息(XYZ)和颜色信息(RGB)。点云的属性包括空间分辨率,点位精度,表面法向量等。它的特征不受外界条件的影响,对于平移和旋转都不会发生改变。逆向软件能够进行点云的编辑和处理,如:imageware、geomagic、catia、copycad和rapidform等。天目点云比对识别法特有的基于空域直接匹配的方法包括:迭代最近点法ICP(Iterative closestpoint),ICP方法通常分为两步,第一步特征点拟合,第二步曲面整体最佳拟合。先拟合对齐特征点的目的是为了最短时间找到并对齐要比对拟合的两个点云。但不限于此。例如可以是:
第一步,在两个点云的对应的刚性区域,选取三个及以上特征点作为拟合关键点,通过坐标变换,直接进行特征点对应匹配。
ICP用于曲线或曲面片段的配准,是3D数据重构过程中一个非常有效的工具,在某一时刻给定两个3D模型粗略的初始对齐条件,ICP迭代地寻求两者之间的刚性变换以最小化对齐误差,实现两者的空间几何关系的配准。
给定集合集合元素表示两个模型表面的坐标点,ICP配准技术迭代求解距离最近的对应点、建立变换矩阵,并对其中一个实施变换,直到达到某个收敛条件,迭代停止.其编码如下:
1.1 ICP算法
输入.P1,P2.
输出.经变换后的P2
P2(0)=P2,l=0;
Do
For P2(l)中的每一个点
在P1中找一个最近的点yi
End For
计算配准误差E;
IfE大于某一阈值
计算P2(l)与Y(l)之间的变换矩阵T(l);
P2(l+1)=T(l)·P2(l),l=l+1;
Else
停止;
End If
While||P2(l+l)-P2(l)||>threshold;
其中配准误差
1.2基于局部特征点的匹配:
由于头部面部主要分为刚性模型部分和塑性模型部分,塑性模型影响对齐的准确性,进而影响相似度。塑性模型第一次第二次采集数据会有局部差异,一种解决途径是只在刚性模型区域选取特征点,特征点是从一个对象中提取的、在一定条件下有保持稳定不变的属性,可采用迭代最近点法ICP特征点进行拟合对齐。对特征点的要求:
1)完备性.蕴含尽可能多的对象信息,使之区别于其他类别的对象;2)紧凑性.表达所需的数据量尽可能少;3)还要求特征最好能在模型旋转、平移、镜像变换下保持不变。
在3D生物特征识别中,采用对齐两个3D生物特征模型点云,计算输入模型的相似度,其中配准误差作为差别度量。
第二步:特征点最佳拟合后,整体曲面最佳拟合后的点云的数据对齐。
第三步,相似度计算。最小二乘法
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法也可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵,用最小二乘法来表达。常用于解决曲线拟合问题,进而解决曲面的完全拟合。通过迭代算法能够加快数据收敛,快速求得最优解。
如果在某一时刻的3D数据模型是以STL文件格式输入的,则通过计算点云与三角片的距离来确定其偏差。因此,该方法需要对每个三角面片建立平面方程,其偏差为点到平面的距离。而对于在某一时刻的3D数据模型为IGES或STEP模型,由于自由曲面表达形式为NURBS面,所以点到面的距离计算需要用到数值优化的方法进行计算。通过迭代计算点云中各点至NURBS曲面的最小距离来表达偏差,或将NURBS曲面进行指定尺度离散,用点与点的距离近似表达点偏差,或将其转换为STL格式进行偏差计算。不同的坐标对齐及偏差计算方法,获得的检测结果也不同。对齐误差的大小将直接影响检测精度及评估报告的可信度。
最佳拟合对齐是检测偏差平均到整体,以保证整体偏差最小为条件来终止迭代计算的对齐过程,对配准结果进行3D分析,生成结果对象以两个图形间误差的均方根的形式输出,均方根越大,反映两个模型在该处的差异越大。反之亦反。根据比对重合度比例判断是否是比对标的物。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的组件中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个组件中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者组件的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种3D四维头部面部数据识别设备,其特征在于,包括如下装置:
头部面部特征信息采集装置,用于采集人体在给定时间内的多幅头部面部特征图像,并根据所述多幅头部面部特征图像构建头部面部特征的四维模型,以实现所述头部面部特征的四维数据采集;
头部面部特征四维数据存储装置,用于扫描或录入人体的身份信息(I1,I2,…In)作为识别标志对采集到的人体头部面部特征四维数据进行关联存储,形成包括多条头部面部特征四维数据(D1,D2,…Dn)的数据库;
目标人体身份识别装置,用于根据扫描或录入的目标人体的身份信息(I1,I2,…In)找到所述数据库中存储的头部面部特征四维数据(D1,D2,…Dn),并将所述目标人体的头部面部特征四维数据(T1,T2,…Tn)分别与相应的所述数据库中存储的头部面部特征四维数据(D1,D2,…Dn)进行比对,以识别目标人体的身份。
2.根据权利要求1所述的设备,其特征在于,所述头部面部特征信息采集装置,包括:
检测组件,用于根据被采集对象特征信息及头部面部方向信息确定头部面部位置坐标;
图像信息收集组件,用于获取所述被采集对象的头部面部图像数据,并将所述头部面部图像数据传输至数据处理组件;
支撑架,用于安装所述图像信息收集组件;
数据处理组件,其信息输入端连接所述图像信息收集组件的信息输出端,用于接收所述图像信息收集组件传输的头部面部图像数据,对所述头部面部图像数据进行处理和计算,生成所述被采集对象的3D四维头部面部数据。
3.根据权利要求2所述的设备,其特征在于,所述数据处理组件包括图像处理器GPU和中央处理器CPU,特征点提取单元将所述多幅手部特征图像的图像信息分配到GPU的块block中进行运算,并结合CPU的集中调度和分配功能,计算所述多幅手部特征图像各自的特征点。
4.根据权利要求3所述的设备,其特征在于,所述图像信息收集组件为多台可见光相机形成的相机矩阵,所述支撑架包括设有弧形承载结构的支撑结构,所述多台可见光相机布置在所述弧形承载结构上。
5.根据权利要求4所述的设备,其特征在于,所述弧形承载结构形成U字形,所述检测组件设于U字形的弯弧处,以便采集时与被采集者的面部位置对应。
6.根据权利要求3所述的设备,其特征在于,所述图像信息收集组件为光场相机、激光、光栅中的一种或多种,所述支撑架上设有滑轨,所述图像信息收集组件可沿所述滑轨绕头部面部滑动半周以上。
7.根据权利要求2-6任一项所述的设备,其特征在于,所述头部面部特征信息采集装置还包括:补光灯,用于获取当前环境的亮度,当根据所述当前环境的亮度确定需要进行补光时,利用补光灯补光,所述补光灯与所述支撑架固定连接;所述补光灯为带状补光灯,沿所述头部面部周向均匀分布;所述图像信息收集组件包括深度红外相机和变焦彩色相机,所述支撑架上设有相机放置机构,所述检测组件包括人体感应测量模块。
8.根据权利要求3所述的设备,其特征在于,所述头部面部特征信息采集装置还包括与所述检测组件信息输出端连接的座椅,所述数据处理组件包括驱动器,该驱动器用于基于所述头部面部位置坐标驱动所述座椅上升或下降。
9.根据权利要求3所述的设备,其特征在于,所述数据处理组件还包括:
图像处理器,用于对所述头部面部图像数据优化处理,包括自动曝光、自动白平衡、自动对焦和/或图像畸形校正;
中央处理器,用于将所述头部面部图像数据输入配准算法模型,进行配准计算得到配准数据,基于所述配准数据生成所述被采集对象的3D四维头部面部数据。
10.根据权利要求9所述的设备,其特征在于,所述头部面部特征信息采集装置还包括:
设置在所述弧形承载结构上的显示器,所述显示器与所述数据处理组件连接;在所述数据处理组件构建得到头部面部的3D模型后,在所述显示器上通过可视化方式显示头部面部3D数据;或者在所述数据处理组件构建得到具有时间维度的头部面部的3D模型后,在所述显示器上通过可视化方式显示头部面部四维数据;
所述目标人体身份识别装置,采用天目点云比对识别法对所述目标生物体的生物特征四维数据(T1、T2…Tn)和所述数据库中存储的生物特征四维数据(D1、D2…Dn)进行比对;所述天目点云比对识别法包括如下步骤:
S301.特征点拟合;
S302.曲面整体最佳拟合;
S303.相似度计算;
所述天目点云比对识别法包括如下具体步骤:
采用基于空域直接匹配的方法进行特征点拟合,在两个点云的对应的刚性区域,选取三个及以上特征点作为拟合关键点,通过坐标变换,直接进行特征点对应匹配;
特征点对应匹配后,整体曲面最佳拟合后的点云的数据对齐;
采用最小二乘法进行相似度计算。
CN201810302348.4A 2018-04-04 2018-04-04 一种3d四维头部面部数据识别设备 Withdrawn CN108319939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810302348.4A CN108319939A (zh) 2018-04-04 2018-04-04 一种3d四维头部面部数据识别设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810302348.4A CN108319939A (zh) 2018-04-04 2018-04-04 一种3d四维头部面部数据识别设备

Publications (1)

Publication Number Publication Date
CN108319939A true CN108319939A (zh) 2018-07-24

Family

ID=62897634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810302348.4A Withdrawn CN108319939A (zh) 2018-04-04 2018-04-04 一种3d四维头部面部数据识别设备

Country Status (1)

Country Link
CN (1) CN108319939A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146961A (zh) * 2018-09-05 2019-01-04 天目爱视(北京)科技有限公司 一种基于虚拟矩阵的3d测量及获取装置
CN109671143A (zh) * 2018-12-23 2019-04-23 广东腾晟信息科技有限公司 人体智能建模方法
CN109854893A (zh) * 2018-12-06 2019-06-07 东南大学 一种可调节多视点三维重建采集***
CN111046704A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 存储身份识别信息的方法和装置
CN112016570A (zh) * 2019-12-12 2020-12-01 天目爱视(北京)科技有限公司 用于背景板同步旋转采集中的三维模型生成方法
CN114267068A (zh) * 2021-12-24 2022-04-01 北京的卢深视科技有限公司 基于连续帧信息的人脸识别方法、电子设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146961A (zh) * 2018-09-05 2019-01-04 天目爱视(北京)科技有限公司 一种基于虚拟矩阵的3d测量及获取装置
CN109146961B (zh) * 2018-09-05 2019-12-31 天目爱视(北京)科技有限公司 一种基于虚拟矩阵的3d测量及获取装置
CN111046704A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 存储身份识别信息的方法和装置
CN111046704B (zh) * 2018-10-12 2023-05-09 杭州海康威视数字技术股份有限公司 存储身份识别信息的方法和装置
CN109854893A (zh) * 2018-12-06 2019-06-07 东南大学 一种可调节多视点三维重建采集***
CN109671143A (zh) * 2018-12-23 2019-04-23 广东腾晟信息科技有限公司 人体智能建模方法
CN112016570A (zh) * 2019-12-12 2020-12-01 天目爱视(北京)科技有限公司 用于背景板同步旋转采集中的三维模型生成方法
CN112016570B (zh) * 2019-12-12 2023-12-26 天目爱视(北京)科技有限公司 用于背景板同步旋转采集中的三维模型生成方法
CN114267068A (zh) * 2021-12-24 2022-04-01 北京的卢深视科技有限公司 基于连续帧信息的人脸识别方法、电子设备及存储介质
CN114267068B (zh) * 2021-12-24 2022-11-01 合肥的卢深视科技有限公司 基于连续帧信息的人脸识别方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108319939A (zh) 一种3d四维头部面部数据识别设备
CN109269405B (zh) 一种快速3d测量和比对方法
CN108564018A (zh) 一种基于红外拍照的生物特征3d四维数据识别方法及***
CN109766876A (zh) 非接触式指纹采集装置和方法
CN110570503B (zh) 基于神经网络的三维物体法向量、几何及材质获取方法
CN108334853A (zh) 一种头部面部3d四维数据采集装置
CN112304222B (zh) 一种背景板同步旋转的3d信息采集设备
CN111028341B (zh) 一种三维模型生成方法
Omari et al. Virtual anthropology? Reliability of three-dimensional photogrammetry as a forensic anthropology measurement and documentation technique
CN108446596A (zh) 基于可见光相机矩阵的虹膜3d四维数据采集***及方法
CN109377551A (zh) 一种三维人脸重建方法、装置及其存储介质
CN108334874A (zh) 一种3d四维虹膜图像数据识别设备
KR101792541B1 (ko) 피부 진단 정보를 이용한 스마트기기 피부관리 서비스 제공시스템
US11769320B2 (en) Systems and methods for dynamic identification of a surgical tray and the items contained thereon
CN1655193A (zh) 用于对断层图像数据分段的方法和图像处理***
CN108470166A (zh) 一种基于激光扫描的生物特征3d四维数据识别方法及***
CN108416312A (zh) 一种基于可见光拍照的生物特征3d数据识别方法及***
CN111160136A (zh) 一种标准化3d信息采集测量方法及***
CN108550184A (zh) 一种基于光场相机的生物特征3d四维数据识别方法及***
CN108470152A (zh) 基于红外的3d四维虹膜数据采集方法及***
CN108470149A (zh) 一种基于光场相机的3d四维数据采集方法及装置
CN108520230A (zh) 一种3d四维手部图像数据识别方法及设备
CN108446597A (zh) 一种基于可见光相机的生物特征3d数据采集方法及装置
CN209401042U (zh) 非接触式指纹采集装置
CN108334873A (zh) 一种3d四维手部数据识别设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180724