CN108564018A - 一种基于红外拍照的生物特征3d四维数据识别方法及*** - Google Patents

一种基于红外拍照的生物特征3d四维数据识别方法及*** Download PDF

Info

Publication number
CN108564018A
CN108564018A CN201810302353.5A CN201810302353A CN108564018A CN 108564018 A CN108564018 A CN 108564018A CN 201810302353 A CN201810302353 A CN 201810302353A CN 108564018 A CN108564018 A CN 108564018A
Authority
CN
China
Prior art keywords
target organism
image
data
infrared
organism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810302353.5A
Other languages
English (en)
Inventor
左忠斌
淮春芳
左达宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tianmu Zhi Lian Technology Co Ltd
Original Assignee
Beijing Tianmu Zhi Lian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tianmu Zhi Lian Technology Co Ltd filed Critical Beijing Tianmu Zhi Lian Technology Co Ltd
Priority to CN201810302353.5A priority Critical patent/CN108564018A/zh
Publication of CN108564018A publication Critical patent/CN108564018A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于红外拍照的生物特征3D四维数据识别方法和***，对一台或多台变焦彩色相机对目标生物体采集到的2D彩色图像和深度红外相机对目标生物体采集到的红外图像进行预处理，得到目标生物体在给定时间内的空间点云信息，配准融合后获取目标生物体在给定时间内的3D数据，完成模型重构。以生物体的身份信息作为识别标志形成数据库；利用目标生物体的身份信息找到数据库中存储的生物特征3D四维数据，并相应的点云比对以识别目标生物体的身份。本发明中是将彩色相机的2D高清彩色图片和深度红外相机采集到的深度3D信息进行配准融合，从而减少了特征点的提取，降低了算法的复杂度，提高了重建的精度和效率。

Description

一种基于红外拍照的生物特征3D四维数据识别方法及***
技术领域
本发明涉及生物特征识别技术领域，特别是一种基于红外拍照的生物特征3D四维数据识别方法及***。
背景技术
生物特征即生物固有的生理或行为特征，如指纹、掌纹、虹膜或人脸等。生物特征有一定的唯一性和稳定性，即任何两生物的某种生物特征之间的差异比较大，且生物特征一般不会随着时间发生很大的变化，这就使得生物特征很适合应用在身份认证或识别***中的认证信息等场景中。
在目前的双目方案中，一般采用基本灰度、换域以及基本特征的配准方法，其首先对两幅或多幅图像进行特征提取，得到图像的特征点，然后通过对特征点进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到几幅图像之间的坐标变换参数；最后完成图像的匹配，这种图像配准方法基于灰度信息的配准方法、基于变换域的配准方法和基于特征的配准方法，主要有以下缺点:
1)当图像中的特征点不明显或分辨率低时，很难从图像中提取特征点。
2)当场景相近时，两幅图像的坐标对应关系不是线性的，使用非线性变换有很大限制。
3)从图像中寻找特征点，进一步的进行特征匹配，整个过程中需要大量复杂的算法，并且，分辨率越高，要求精度越高，则计算越复杂，因此，需要高的计算性能，另外最终的计算结果并不稳定。
因此，亟需针对生物特征进行多维数据识别，提高安全性，并为后续的应用提供支撑。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于红外拍照的生物特征3D四维数据识别方法及***。
一种基于红外拍照的生物特征3D四维数据识别方法，其包括如下步骤：
S01.采集生物特征信息，
利用红外相机和彩色相机采集生物体在给定时间内的多幅生物特征图像，根据所述多幅生物特征图像构建生物特征的四维模型，以实现所述生物体的生物特征3D四维数据采集；
S02.存储生物特征四维数据，
扫描或录入以生物体的身份信息(I1、I2…In)，以所述身份信息(I1、I2…In)作为识别标志对采集到的生物特征3D四维数据进行关联存储，形成包括多条生物特征3D四维数据(D1、D2…Dn)的数据库；
S03.目标生物体的身份识别，
采集目标生物体的生物特征3D四维数据(T1、T2…Tn)，并扫描或录入所述目标生物体的身份信息(I1、I2…In)，通过所述目标生物体的身份信息(I1、I2…In)找到所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)，将所述目标生物体的生物特征3D四维数据(T1、T2…Tn)分别与相应的所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)进行比对，以识别目标生物体的身份。
进一步的，步骤S01还包括：
所述彩色相机为变焦彩色相机，对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标生物体的2D高清彩色图片；
对深度红外相机采集到的红外图像进行预处理，得到所述目标生物体的深度红外数据，其中，所述深度红外数据包括所述目标生物体的深度尺寸数据；
根据所述目标生物体的深度红外数据，获取所述目标生物体的各个组成点的在给定时间内的空间点云信息；
对所述2D高清彩色图片与所述空间点云信息进行配准融合；
根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，得到所述目标生物体的四维数据。
进一步的，得到所述目标生物体的四维数据步骤进一步包括：
将所述多幅目标生物体的深度红外数据传送到具有图像处理器GPU和中央处理器CPU的处理单元；将所述多幅目标生物体的深度红外数据信息分配到GPU的块block中进行运算，并结合CPU的集中调度和分配功能，计算所述多幅生物特征图像各自的特征点。
进一步的，对所述2D彩色图像进行预处理包括：
对所述2D彩色图像进行分割，将所述2D彩色图像中的所述目标生物体的图像区域与背景区域进行分割；
对分割得到所述目标生物体的图像区域进行图像增强处理，得到所述目标生物体的2D高清彩色图片；其中，所述图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。
进一步的，对深度红外相机采集到的红外图像进行预处理，包括：
对所述红外图像进行分割，将所述红外图像中的所述目标生物体的图像区域与背景区域进行分割；
对分割得到的所述目标生物体的图像区域进行红外矩阵癍信息噪点滤波；
从滤波后的所述目标生物体的图像区域中得到所述目标生物体的3D尺寸数据。
可选的，对所述2D高清彩色图片与所述空间点云信息进行配准融合，包括：
根据所述空间点云信息中各个组成点的3D尺寸数据，进行TOF逆变换，得到所述目标生物体的结构光深度图像；
对所述2D高清彩色图片与所述结构光深度图像分别进行高斯滤波；
分别从高斯滤波之后的所述2D高清彩色图片与所述结构光深度图像中提取所述目标生物体的特征部分，确定所述2D高清彩色图片与所述结构光深度图像的共有特征部分；
在所述共有特征部分中，确定所述2D高清彩色图片与所述结构光深度图像的对应点；
根据所述对应点在所述2D高清彩色图片和所述结构光深度图像中的坐标，基于三角剖法，确定所述2D高清彩色图片与所述结构光深度图像的坐标变换关系；
根据所述坐标变换关系，完成所述2D高清彩色图片和所述结构光深度图像中的所述目标生物体的各个特征部分的配准融合。
可选的，根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，得到所述目标生物体的3D数据，包括：
根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，在所述目标生物体的各个特征部分中分别选取多个采样点，并计算所述多个采样点在给定时间内在三维空间的坐标，基于所述多个采样点在三维空间的坐标得到所述目标生物体的四维数据。
可选的，在得到所述目标生物体的3D数据之后，所述方法还包括：
根据所述目标生物体在给定时间内的3D数据进行四维建模，并将四维模型发送给显示器显示。
可选的，所述目标生物体包括：人体的头部、面部或手部。
进一步的，所述步骤S03对目标生物体的身份识别时，采用天目点云比对识别法对所述目标生物体的生物特征3D四维数据(T1、T2…Tn)和所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)进行比对；所述天目点云比对识别法包括如下步骤：
S301.特征点拟合；
S302.曲面整体最佳拟合；
S303.相似度计算；
进一步的，所述天目点云比对识别法包括如下具体步骤：
采用基于空域直接匹配的方法进行特征点拟合，在两个点云的对应的刚性区域，选取三个及以上特征点作为拟合关键点，通过坐标变换，直接进行特征点对应匹配；
特征点对应匹配后，整体曲面最佳拟合后的点云的数据对齐；
采用最小二乘法进行相似度计算。
一种基于红外拍照的生物特征3D四维数据识别***，包括如下装置：
生物特征信息采集装置，用于采集生物体在给定时间内的多幅生物特征图像，并根据所述多幅生物特征图像构建生物特征的四维模型，以实现所述生物体的生物特征3D四维数据采集；
生物特征四维数据存储装置，用于扫描或录入生物体的身份信息(I1、I2…In)，以所述身份信息(I1、I2…In)作为识别标志对采集到的生物特征3D四维数据进行关联存储，形成包括多条生物特征3D四维数据(D1、D2…Dn)的数据库；
目标生物体的身份识别装置，用于根据扫描或录入的目标生物体的身份信息(I1、I2…In)找到所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)，并将所述目标生物体的生物特征3D四维数据(T1、T2…Tn)分别与相应的所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)进行比对，以识别目标生物体的身份。
进一步的，所述生物特征信息采集装置包括：
第一预处理模块，用于对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标生物体的2D高清彩色图片；
第二预处理模块，用于对深度红外相机采集到的红外图像进行预处理，得到所述目标生物体的深度红外数据，其中，所述深度红外数据包括所述目标生物体的深度尺寸数据；
点云生成模块，用于根据所述目标生物体的深度红外数据，对所述目标生物体的进行采样，得到所述目标生物体的空间点云信息；
配准模块，用于对所述2D高清彩色图片与所述空间点云信息进行配准融合；
3D数据获取模块，用于根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，获取所述目标生物体在给定时间的3D数据。
进一步的，所述第一预处理模块按照以下方式对所述2D彩色图像进行预处理：
对所述2D彩色图像进行分割，将所述2D彩色图像中的所述目标生物体的图像区域与背景区域进行分割；
对分割得到所述目标生物体的图像区域进行图像增强处理，得到所述目标生物体的2D高清彩色图片；其中，所述图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。
进一步的，所述第二预处理模块按照以下方式对深度红外相机采集到的红外图像进行预处理：
对所述红外图像进行分割，将所述红外图像中的所述目标生物体的图像区域与背景区域进行分割；
对分割得到的所述目标生物体的图像区域进行红外矩阵癍信息噪点滤波；
从滤波后的所述目标生物体的图像区域中得到所述目标生物体的3D尺寸数据。
可选的，所述配准模块按照以下方式对所述2D高清彩色图片与所述空间点云信息进行配准融合：
根据所述空间点云信息中各个采样点的3D尺寸数据，进行TOF逆变换，得到所述目标生物体的结构光深度图像；
对所述2D高清彩色图片与所述结构光深度图像分别进行高斯滤波；
分别从高斯滤波之后的所述2D高清彩色图片与所述结构光深度图像中提取所述目标生物体的特征部分，基于三角剖分算法，确定所述2D高清彩色图片与所述结构光深度图像的共有图像区域；
在所述共有图像区域中，确定所述2D高清彩色图片与所述结构光深度图像的对应点；
根据所述对应点在所述2D高清彩色图片和所述结构光深度图像中的坐标，确定所述2D高清彩色图片与所述结构光深度图像的坐标变换关系；
根据所述坐标变换关系，完成所述2D高清彩色图片和所述结构光深度图像中的所述目标生物体的各个特征部分的配准融合。
可选的，所述3D数据获取模块按照以下方式获取所述目标生物体的3D数据：
根据所述2D高清彩色图片与所述空间点云信息的配准结果、以及所述变焦彩色相机和所述深度红外相机的标定信息，在所述目标生物体的各个特征部分中分别选取多个采样点，并计算所述多个采样点在给定时间内的三维空间的坐标，基于所述多个采样点在在给定时间内的三维空间的坐标获取所述目标生物体的四维数据。
可选的，还包括：
四维模型建模模块，用于根据所述目标生物体在给定时间内的3D数据进行重构，并将四维模型发送给显示器显示。
本发明的有益效果是：提供了一种基于红外拍照的生物特征3D四维数据识别方法和***，在本发明实施例提供的方法中，首先对一台或多台变焦彩色相机对目标生物体采集到的2D彩色图像和深度红外相机对目标生物体采集到的红外图像进行预处理，然后基于预处理得到的深度红外数据进行采样，得到目标生物体在给定时间内的空间点云信息，然后对预处理得到的2D高清彩色图片与3D点云信息进行配准融合，进而基于配准结果以及变焦彩色相机和深度红外相机的摄像头的标定信息，获取目标生物体的3D数据，完成目标生物体在给定时间内的3D重建。以识别目标的身份信息识别数据，不必将目标人的数据与数据库中的海量数据进行逐一比对，提高了比对识别的效率，大大提升了身份识别的速度，采用基于空域直接匹配的天目点云比对识别法进行特征点拟合，实现了生物特征点的快速拟合比对，进而实现了身份快速认证识别。人的脸部和手部是刚性和柔性的结合体，柔性部分因为动作变化会有不同的形态，例如表情变化，脸部肌肉会随之改变状态，手部进行不同动作，手部状态也会随之改变。因此会形成不同的3D图像，若用单张的数据特征做识别，会存在误差。因此可见光相机采集生物体在给定时间内的多幅生物特征图像，根据所述多幅生物特征图像构建生物特征的四维模型，实现对生物体的四维数据采集，后存储并关联至生物体的身份信息，当再次识别目标生物体是否是该生物体身份时，即使目标生物体如脸部有表情，或手部有动作，也可识别目标生物体的身份，进一步提高了识别精度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一实施例的基于红外拍照的生物特征3D四维数据识别方法流程图；
图2示出了根据本发明一实施例基于红外拍照的生物特征3D四维数据采集方法流程图；
图3示出了根据本发明一实施例的基于三角剖法计算两幅图之间的坐标变换关系示意图；
图4示出了根据本发明一实施例的基于红外的头部面部四维数据采集***的架构示意图；
图5示出了根据本发明一实施例的基于红外的头部面部四维数据采集***的模块结构示意图；
图6示出了根据本发明一实施例的基于红外的手部四维数据采集***的架构示意图；
图7示出了根据本发明一实施例的基于红外的手部四维数据采集***的模块结构示意图；以及
图8示出了根据本发明一实施例的基于红外的四维数据识别***的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是，本发明中的3D四维数据是指三维空间数据结合时间维度数据所形成的数据，三维空间结合时间维度是指：多张相同时间间隔或不同时间间隔、不同角度、不同方位或不同状态等情况的图像或影像形成的数据集合。或者说：四维数据可以是多张相同时间间隔或不同时间间隔、不同角度、不同方位、不同表情形态等的3D数据集合。所说的头部，是指人体脖子(颈椎)以上的所有器官；所说的面部，是指脸部和耳部。
为解决上述技术问题，本发明实施例提供了一种基于红外拍照的生物特征3D四维数据识别方法。图1示出了根据本发明一实施例的基于红外拍照的生物特征3D四维数据识别方法的流程图：
S01.采集生物特征信息，
利用红外相机和变焦彩色相机采集生物体在给定时间内的多幅生物特征图像，根据所述多幅生物特征图像构建生物特征的四维模型，以实现所述生物体的生物特征3D四维数据采集；
S02.存储生物特征四维数据，
扫描或录入以生物体的身份信息(I1、I2…In)，以所述身份信息(I1、I2…In)作为识别标志对采集到的生物特征3D四维数据进行关联存储，形成包括多条生物特征3D四维数据(D1、D2…Dn)的数据库；
S03.目标生物体的身份识别，
采集目标生物体的生物特征3D四维数据(T1、T2…Tn)，并扫描或录入所述目标生物体的身份信息(I1、I2…In)，通过所述目标生物体的身份信息(I1、I2…In)找到所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)，将所述目标生物体的生物特征3D四维数据(T1、T2…Tn)分别与相应的所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)进行比对，以识别目标生物体的身份。
优选的，如图2所示，步骤S01采集生物特征信息还可以具体包括以下步骤S102至步骤S108。
步骤S102，对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标生物体的2D高清彩色图片；
步骤S104，根据所述目标生物体的深度红外数据，获取所述目标生物体的空间点云信息；
步骤S106，对所述2D高清彩色图片与所述空间点云信息进行配准融合；
步骤S108，根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，得到所述目标生物体在给定时间内的3D数据。
本发明实施例采用变焦彩色相机和深度红外相机进行目标生物体的采集，利用红外投射采集目标生物体的深度信息，可以显著提高目标生物体的3D数据的采集精度和效率，解决现有目标生物体的3D数据采集精度以及效率不高的问题；并且，由于深度红外相机的分辨率不高，因此，本发明实施例配合变焦彩色相机，可以避免分辨率不高的问题，并且，由于彩色相机是可以变焦的，因此，可以有效地对目标生物体进行局部对焦，更加提高图像的清晰度；另外，由于本发明中是将彩色相机的2D高清彩色图片和深度红外相机采集到的深度3D信息进行配准融合，从而减少了特征点的提取，降低了算法的复杂度，提高了重构的精度和效率。
在本发明的可选实施例中，上文步骤S102中对2D彩色图像进行预处理，具体可以包括以下步骤S1021至步骤S1022。
步骤S1021，对2D彩色图像进行分割，将2D彩色图像中的目标生物体的图像区域与背景区域进行分割。在该步骤中，对变焦彩色相机采集到的2D彩色图像进行分割，将目标生物体的图像区域与背景区域分割开来，后续只对目标生物体的图像区域进行处理，以提高处理速度。
步骤S1022，对分割得到目标生物体的图像区域进行图像增强处理，得到目标生物体的2D高清彩色图片；其中，图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。通过该步骤，可以对目标生物体的彩色图像进行增强，以提高图像的清晰度和对比度，提高彩色图像的品质，便于后续的配准融合。
优选的，图像增强处理包括图像处理器GPU和中央处理器CPU，传送到具有图像处理器GPU和中央处理器CPU的处理单元；将多幅生物特征图像的图像信息分配到GPU的块block中进行运算，并结合CPU的集中调度和分配功能，计算多幅生物特征图像各自的特征点。可以看到，本发明实施例采用红外相机和变焦彩色相机控制技术进行生物特征信息的采集，可以显著提高生物特征信息的采集效率。并且，本发明实施例基于中央处理器和图形处理器的并行计算，可以高效地实现特征信息的处理。
优选的，GPU为双GPU，每颗GPU具有多个block，如56个block，本发明实施例对此不作限制。
在本发明的可选实施例中，在上文步骤S104中对深度红外相机采集到的红外图像进行预处理可以包括以下步骤S1041-步骤S1043。
步骤S1041：对深度红外相机采集到的红外图像进行分割，将红外图像中的目标生物体的图像区域与背景区域进行分割。
步骤S1042，对分割得到的目标生物体的图像区域进行红外矩阵癍信息噪点滤波。通过对红外矩阵癍信息噪点，可以滤除掉红外图像中的噪点，提高精度，减少后续的数据处理。
步骤S1043，从滤波后的目标生物体的图像区域中得到目标生物体的3D尺寸数据。深度红外相机的传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算目标生物体的距离，以产生深度信息，通过目标生物体的深度信息，可以得到目标生物体的3D尺寸数据。
在本发明的可选实施例中，在上文步骤S106中对2D高清彩色图片与3D点云信息进行配准，可以具体包括以下步骤S1061-步骤S1066。
步骤S1061，根据3D点云信息中各个组成点的3D尺寸数据，进行TOF逆变换，得到目标生物体的结构光深度图像。
步骤S1062，对2D高清彩色图片与结构光深度图像分别进行高斯滤波。
步骤S1063，分别从高斯滤波之后的所述2D高清彩色图片与所述结构光深度图像中提取所述目标生物体的特征部分，确定所述2D高清彩色图片与所述结构光深度图像的共有特征部分。
步骤S1064，在共有特征部分中，确定2D高清彩色图片与结构光深度图像的对应点。
步骤S1065，基于三角剖法，根据对应点在2D高清彩色图片和结构光深度图像中的坐标，确定2D高清彩色图片与结构光深度图像的坐标变换关系。如图3所示，基于三角剖法，可以得到变焦彩色相机采集的2D高清彩色图片与深度红外相机的结构光深度图像的坐标变换关系。
步骤S1066，根据坐标变换关系，完成2D高清彩色图片和结构光深度图像中的目标生物体的各个特征部分的配准融合。
在上述步骤S1063中，可以根据不同的目标生物体，提取不同的特征部分，例如，如果目标生物体为人体的手部，则特征部分可以为指纹纹路，如果目标生物体为人体的面部，则特征部分可以为人脸上的五观的轮廓线条，具体本发明实施例不作限定。
通过上述步骤S1061-步骤S1066，可以将2D高清彩色图片与结构光深度图像进行配准融合，得到目标生物体的3D信息，包括但不限于：目标生物体的空间形状特征数据、表面纹理特征数据、表面材质和灯光特征数据等。
在本发明的可选实施例中，在上文步骤S108中根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，得到所述目标生物体的3D数据时，可以根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，在所述目标生物体的各个特征部分中分别选取多个采样点，并计算所述多个采样点在三维空间的坐标，基于所述多个采样点在三维空间的坐标得到所述目标生物体的3D数据。在该可选实施例中，采样点可以选择目标生物体的关键点，例如，特征部分的轮廓上的关键点等，具体可以根据目标生物体确定，本发明实施例中不作限定。
在本发明的可选实施例中，在步骤S108之后，还可以对目标生物体进行建模，因此，在步骤S108之后，该方法还可以包括：根据所述目标生物体在给定时间内的3D数据进行建模，并将此四维模型发送给显示器显示。通过该可选实施例，可以将采集到的目标生物体在给定时间内的3D数据进行四维建模，得到目标生物体的四维模型，并将该模型可视化，使得用户可以方便的检测采集到的数据是否准确，并且可以方面的将此模型应用在其它方面。
在本发明的可选实施例中，目标生物体包括但不限于：人体的头部、面部、虹膜或手部。
在本发明的可选实施例中，可以针对不同的目标生物体，可以搭建不同的***对目标生物体进行采集。例如，在目标生物体为人体的头部和面部的情况下，可以采用如图4和图5所示的采集***进行采集。
如图4和图5所示，该基于红外的头部、面部、虹膜四维数据采集***主要包括：中央处理模块301、深度红外相机302、变焦彩色相机303、灯光模组304、相机旋转机构305、人体感应测量模块306、相机数据传输模块307、显示界面308、操作界面309、底座结构310、调节座椅311和电源模块312。
其中，如图4和图5所示，人体感应测量模块306固定在底座结构310上，显示界面308和操作界面309与底座结构310连接，中央处理模块301固定于底座结构310内部，相机数据传输模块307位于底座结构310内部，底座结构310与相机旋转机构305连接，相机旋转机构305连接变焦彩色相机303、深度红外相机302和灯光模组304。
相机旋转机构305可以包括但不限于可调整角度相机固定架和转动装置，而转动装置可以包括伺服电机、配速箱和传动装置。变焦彩色相机303、深度红外相机302、灯光模组304固定在相机旋转机构305的可调整角度固定架上，可调整角度固定架固定在相机旋转机构305的转动装置上。中央处理模块301的相机转动模块连接相机旋转机构305的转动装置的伺服电机，通过控制伺服电机工作，从而带动配速箱和传动装置工作，进而带动转动装置转动，最后使得可调整角度相机固定架转动，进而达到调整变焦彩色相机303和深度红外相机302的角度的目的。
调节座椅311固定于底座结构310，调节座椅311上下可调整高度和左右可旋转角度，调节座椅311包括水平转动伺服电机、垂直升降伺服电机、水平配速箱、水平转动齿轮、垂直升降传动齿轮螺杆和人体体重感应器，其中，中央处理模块301的座椅控制模块连接调节座椅311，控制调节座椅311上下调整高度或左右旋转角度。
其中，如图5所示，中央处理模块301可以包括图像品质处理芯片3011、红外测距处理芯片3012、点云生成单元3013、3D配准算法处理模块3014、3D数据合成模块3015、视频显示模块3016、微处理器控制模块3017、座椅控制模块3018、相机转动控制模块3019和灯光控制模块3010。
其中，中央处理模块301与相机数据传输模块307可以通过Camera Link高速数据线连接；深度红外相机302与相机数据传输模块307可以通过高速USB3.0数据线连接；彩色红外相机与相机数据传输模块307可以通过MIPI高速数据线连接；灯光模组304的控制与相机数据传输模块307可以通过RS232串口数据线连接；相机旋转机构305的转动模块与中央处理模块301内的相机转动控制模块3019通过I2C串口数据线连接；人体感应测量模块306的控制部分与中央处理模块301的微处理器控制模块3017通过SPI三线串口数据线连接；调节座椅311的控制部分与中央处理模块301的微处理器控制模块3017通过RS232串口数据线连接；显示界面308的数据收发部分与中央处理模块301的视频显示模块3016通过高清HDMI数据线连接；操作界面309的数据收发部分与中央处理模块301的微处理器控制模块3017通过I2C数据线连接。
在本发明的一个实施例中，图像品质处理芯片3011主要用于对相机传输模块输出的图片的色彩饱和度调整、噪点滤波和畸变校正等。红外测距处理芯片3012主要用于处理红外图像的距离矩阵信息、滤波降噪以及深度转化等。图像品质处理芯片3011处理后数据和红外测距处理芯片3012处理后数据融合到3D配准算法处理模块3014，3D配准算法处理模块3014通过三角剖法及高斯滤波法等对两类数据进行配准融合，最终将配准融合得到的3D数据输出到3D数据合成模块3015进行3D建模，将3D建模得到的3D数据输出到视频显示模块3016显示出来。
在本发明的一个可选实施例中，可以先把变焦彩色相机303和深度红外相机302的镜头光学中心定位在水平0度状态，灯光模组304的光源中心与变焦彩色相机303和深度红外相机302的镜头光学中心定位同处于垂直线上，其中相机旋转机构305转动角度可以为0-180度，速度可以为5cm-48cm每秒，其中配速箱的配速比可以为300：1(伺服电机：转动齿轮)。
在本发明的一个可选实施例中，水平旋动伺服电机、水平配速箱和水平转动齿轮组成座椅水平转动结构，座椅垂直升降由伺服电机和垂直升降传动齿轮螺杆控制，其中座椅垂直升降的速度可以为10cm-30cm每秒，水平旋转的速度可以15cm-35cm每秒，水平配速箱的配速比200：1(电机转速：水平转动齿轮转速)。
在具体使用时，可以按照以下步骤1-步骤11执行。
步骤1，启动设置：启动后，在显示界面308上输入设备相关参数，包括人的体重和身高，肤色设置，自动匹配灯光的色温及亮度参数，工作模式：自动工作模式和手动工作模式。
步骤2，人体感应测量模块306检测人是否到位，并测量人坐姿的高度值，变焦彩色相机303自动检测人脸，判断人坐的角度值。
步骤3，调节座椅：根据人坐姿的现有高度值和角度值，调节座椅自动调整到人脸适合变焦彩色相机303拍照和深度红外相机302扫描的状态。
步骤4，变焦彩色相机303根据人脸大小，控制相机镜头自动伸缩到合适视角和清晰度。
步骤5，灯光模组304根据人脸的肤色和环境光，自动调整灯光的亮度和色温，使变焦彩色相机303和深度红外相机302采集到高清晰和高对比度的图片。
步骤6，人的坐姿达到合适位置和灯光匹配调整后，深度红外相机302在人脸一侧位置开始收集深度距离信息。
步骤7，从人脸的一侧位置开始工作后，相机旋转机构305以固定速度转动并同时传输相机图片和深度测距数据到中央处理模块301的图像品质处理芯片3011和红外测距处理芯片3012。
步骤8，红外深度测距数据传输到中央处理模块301的点云生成单元3013，产生3D点云信息。
步骤9，变焦彩色相机303的高清图片结合3D点云信息输入到3D配准算法处理模块3014，3D配准算法处理模块3014进行配准融合计算得到配准融合数据。
步骤10，配准融合数据输入到3D数据合成模块3015，3D数据合成模块3015根据配准融合数据生成3D数据模型。
步骤11，3D数据模型生成后，视频显示模块3016将3D数据模型输入到显示界面308上显示，并可以通过操作界面309操作显示的3D数据模型。
在本发明的可选实施例中，还可以针对手部搭建相应的采集信息进行手部的3D数据采集。图5为基于红外的手部3D数据采集***的架构示意图，图6为基于红外的手部3D数据采集***的模块结构示意图，如图5和图6所示，该基于红外的手部3D数据采集***主要包括：中央处理模块501、深度红外相机502、变焦彩色相机503、灯光模组504、旋转机构505、旋转支架510、手部模型支撑结构506、显示操作模块511、手部固定模型507、柜体508和电源模块509。
在该可选实施例中，如图6和图7所示，手部模型支撑结构506固定在柜体508上，手部固定模型507固定在手部模型支撑结构506上，显示操作模块511固定在柜体508上，中央处理模块501固定于柜体508的内部，旋转机构505固定在柜体508的内部，旋转支架510固定在旋转机构505上，深度红外相机502、变焦彩色相机503和灯光模组504固定在旋转支架510上。
在本发明的一个可选实施例中，如图7所示，中央处理模块501包括图像品质处理芯片5010、红外测距处理芯片5011、点云生成单元5012、3D配准算法处理模块5013、3D数据合成模块5014、视频显示模块5015、微处理器控制模块5016、相机转动控制模块5017和灯光控制模块5018。
在本发明的一个可选实施例中，深度红外相机502与中央处理模块501可以通过高速USB3.0数据线连接；变焦彩色相机503与中央处理模块501可以通过MIPI高速数据线连接；灯光模组504的控制部分与中央处理模块501内的相机转动控制模块5017可以通过RS232串口数据线连接；旋转机构505的控制部分与中央处理模块501内的相机转动控制模块5017可以通过I2C串口数据线连接；显示操作模块511的数据显示部分与中央处理模块501的视频显示模块5015通过高清HDMI数据线连接；显示操作模块511的数据控制部分与中央处理模块501的微处理器控制模块5016通过I2C数据线连接。
在本发明的一个可选实施方式中，深度红外相机502可以采用结构光方式，在分辨率方面增加变焦彩色相机503结合方式，从而有利于提高精度、抗强光方面、功耗、分辨率、帧速以及体积方面的参数优势。
在本发明的一个可选实施例中，图像品质处理芯片5010用于处理包括自动白平衡AWB,自动曝光AE、自动对焦AF及图像畸形校正等。
在本发明的一个可选实施例中，红外测距处理芯片5011用于处理包括红外矩阵癍信息噪点滤波、获取目标生物体的3D尺寸数据及点云信息等。
在本发明的一个可选实施例中，变焦彩色相机503、深度红外相机502和灯光模组504固定在可调整角度的旋转机构505上，先把变焦彩色相机503和深度红外相机502的镜头光学中心定位在水平0度状态，灯光模组504的光源中心与变焦彩色相机503和深度红外相机502的镜头光学中心定位同处于垂直线上。可选地，旋转机构505的转动角度可以设置为0-175度、速度可以设置为6cm-30m每秒，配速箱的配速比可以设置为200：1(伺服电机：转动齿轮)。变焦彩色相机503的焦距范围可以设置为f＝4.5～108mm，变焦彩色相机503的图像传感器的分辨率可以设置为1600万像素，光圈范围F＝3.0～6.9，另外，根据手指的大小，最近对焦距离可以设置为10cm，以精准地对手指对焦。
在本发明的一个可选实施例中，深度红外相机502的可以设置为：分辨率为1920x1080,帧率为30fps、测量距离为0.2-4m、功耗为1W。当然，并不限于此，在实际应用中，也可以采用上述参数也可以采用其它值，具体本发明不作限定。
在具体应用中，使用上述基于红外的手部3D数据采集***采集指纹的3D数据可以包括以下的步骤1-11。
步骤1，启动设置：启动后，在显示操作模块511上输入设备相关参数，可以包括但不限于人的体重和身高、肤色设置以及自动匹配的灯光模组504的色温及亮度参数。
步骤2，手指放入模型后，自动调整到手指适合变焦彩色相机503拍照和深度红外相机502扫描的状态。
步骤4，变焦彩色相机503根据手指大小，相机镜头自动伸缩到合适视角和清晰度。
步骤5，调整灯光模组504：根据手指的肤色和环境光，灯光模组504自动调整亮度和色温，以使变焦彩色相机503和深度红外相机502可以采集到高清晰和高对比度的图片。
步骤6，深度红外相机502在第一手指一侧位置开始收集深度距离信息，依次到第十个指头。
步骤7，从手指的一侧位置开始工作后，旋转机构505以固定速度转动，并同时传输相机图片和深度测距数据到中央处理模块501的图像品质处理芯片5010和红外测距处理芯片5011，依次到第十个指头进行采集。
步骤8，将针对每个手指的深度红外的数据到中央处理模块501的点云生成单元5012，点云生成单元5012根据每个手指的深度红外数据生成3D点云信息。
步骤9，变焦彩色相机503的手指高清图片结合3D点云信息输入到3D配准算法处理模块5013，3D配准算法处理模块5013进行配准融合计算得到配准融合数据。
步骤10，配准融合数据输入到3D数据合成模块5014，3D数据合成模块5014将配准配合数据生成3D手指数据模型。
步骤11，3D手指数据模型生成后，视频显示模块5015将3D手指数据模型传输到显示操作模块511的显示界面显示上并通过操作界面操作3D数据。
在本发明的一个可选实施例中，灯光模组504为可调节色温和亮度，其色温范围可以为4000-5000(开尔文)，亮度值范围可以为20-30lux/W。
在本发明的一个可选实施例中，变焦彩色相机503的参数可以为水平视场角为40-97度、垂直45-70度。
在本发明的一个可选实施例中，深度红外相机502可以采用结构光方式，其测距范围0.2m-4m、精度为+/-0.1mm、水平视场角为43-63度，垂直25-56度。
在本发明实施例中，在3D的生物特征加上时间的维度，构成四维生物特征，完整地复原生物的各项特征，为后续的生物特征数据的应用提供了无限的可能性。
在构建的生物特征的四维模型中可以包括描述四维模型在不同时间上的空间形状特征数据、描述四维模型在不同时间上的表面纹理特征数据、描述四维模型在不同时间上的表面材质和灯光特征数据等四维数据，本发明实施例对此不作限制。
在本发明实施例中，在步骤S02中，存储步骤S01所采集到的生物特征3D四维数据，并以生物体的身份信息(I1、I2…In)作为识别标志对采集到的生物特征3D四维数据进行存储，形成包括多条生物特征3D四维数据(D1、D2…Dn)的数据库，例如：四维数据D1和该生物体的身份信息I1进行关联存储，另一生物体的四维数据D2和该生物体的身份信息I2进行关联存储，以此类推，形成包括n个生物体四维数据的数据库。
其中，当采集对象即生物体为人体时，则身份信息I包括但不限于人的：姓名、性别、年龄和证件号中的一种或多种，证件号可以包括人在生活中经常用到的例如身份证号、护照号、驾照号、社保号或军官证号中的一种或多种。
优选的，所述身份信息通过扫描身份证、护照、驾照、社保卡或军官证获得，或者，通过手动或自动录入的方式从身份证、护照、驾照、社保卡或军官证获得身份信息。
优选的，在步骤S03对目标生物体的身份识别时，采用天目点云比对识别法对目标生物体(即待识别身份的生物体)的生物特征3D四维数据(T1、T2…Tn)和数据库中存储的生物特征3D四维数据(D1、D2…Dn)进行比对，以识别目标生物体的身份。首先，通过输入目标生物体的身份信息，如人体的身份证号，这样可以快速找到已经存储在数据库中以该身份证号为文件名的四维数据(D1、D2…Dn)，而不必将目标人的数据与数据库中的海量数据进行逐一比对，提高了比对识别的效率，大大提升了身份识别的速度，然后再把当前采集到的该人体的四维数据(T1、T2…Tn)与数据中调取出来的四维数据进行比对，最后识别该人体的身份是否符合，进而实现身份认证，具体的，采用天目点云比对识别法包括如下步骤：
S301.特征点拟合；
S302.曲面整体最佳拟合；
S303.相似度计算。
优选的，天目点云比对识别法还包括如下具体步骤：
采用基于空域直接匹配的方法进行特征点拟合，在两个点云的对应的刚性区域，选取三个及以上特征点作为拟合关键点，通过坐标变换，直接进行特征点对应匹配；
特征点对应匹配后，整体曲面最佳拟合后的点云的数据对齐；
采用最小二乘法进行相似度计算。
天目点云比对识别法(Yare Eyes point cloud match recognition method)识别过程和工作原理如下：首先，在某一时刻的点云是组成四维模型的基本元素，它包含空间坐标信息(XYZ)和颜色信息(RGB)。点云的属性包括空间分辨率，点位精度，表面法向量等。它的特征不受外界条件的影响，对于平移和旋转都不会发生改变。逆向软件能够进行点云的编辑和处理，如：imageware、geomagic、catia、copycad和rapidform等。天目点云比对识别法特有的基于空域直接匹配的方法包括：迭代最近点法ICP(Iterative closestpoint)，ICP方法通常分为两步，第一步特征点拟合，第二步曲面整体最佳拟合。先拟合对齐特征点的目的是为了最短时间找到并对齐要比对拟合的两个点云。但不限于此。例如可以是：
第一步，在两个点云的对应的刚性区域，选取三个及以上特征点作为拟合关键点，通过坐标变换，直接进行特征点对应匹配。
ICP用于曲线或曲面片段的配准，是3D数据重构过程中一个非常有效的工具，在某一时刻给定两个3D模型粗略的初始对齐条件，ICP迭代地寻求两者之间的刚性变换以最小化对齐误差，实现两者的空间几何关系的配准。
给定集合和集合元素表示两个模型表面的坐标点，ICP配准技术迭代求解距离最近的对应点、建立变换矩阵，并对其中一个实施变换，直到达到某个收敛条件，迭代停止.其编码如下：
1.1 ICP算法
输入.P1，P2.
输出.经变换后的P2
P2(0)＝P2,l＝0；
Do
For P2(l)中的每一个点
在P1中找一个最近的点yi；
End For
计算配准误差E；
IfE大于某一阈值
计算P2(l)与Y(l)之间的变换矩阵T(l)；
P2(l+1)＝T(l)·P2(l),l＝l+1；
Else
停止；
End If
While||P2(l+l)-P2(l)||>threshold；
其中配准误差
1.2基于局部特征点的匹配：
以人面部信息识别为例，人脸模型主要分为刚性模型部分和塑性模型部分，塑性变形影响对齐的准确性，进而影响相似度。塑性模型第一次第二次采集数据会有局部差异，一种解决途径是只在刚性区域选取特征点，特征点是从一个对象中提取的、在一定条件下保持稳定不变的属性，采用常用的方法迭代最近点法ICP特征点进行拟合对齐。
首先提取脸部受表情影响较小的区域，如鼻子区域鼻尖、眼框外角、额头区域、颧骨区域、耳部区域等。人体手部指节为刚性区域，掌部为塑性区域，在指部区域选取特征点为最佳。虹膜为刚性模型。
对特征点的要求：
1)完备性.蕴含尽可能多的对象信息，使之区别于其他类别的对象；2)紧凑性.表达所需的数据量尽可能少；3)还要求特征最好能在模型旋转、平移、镜像变换下保持不变。
在3D生物特征识别中，采用对齐两个3D生物特征模型点云，计算输入模型的相似度，其中配准误差作为差别度量。
第二步：特征点最佳拟合后，整体曲面最佳拟合后的点云的数据对齐。
第三步，相似度计算。最小二乘法
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法也可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵，用最小二乘法来表达。常用于解决曲线拟合问题，进而解决曲面的完全拟合。通过迭代算法能够加快数据收敛，快速求得最优解。
如果在某一时刻的3D数据模型是以STL文件格式输入的，则通过计算点云与三角片的距离来确定其偏差。因此，该方法需要对每个三角面片建立平面方程，其偏差为点到平面的距离。而对于在某一时刻的3D数据模型为IGES或STEP模型,由于自由曲面表达形式为NURBS面，所以点到面的距离计算需要用到数值优化的方法进行计算。通过迭代计算点云中各点至NURBS曲面的最小距离来表达偏差，或将NURBS曲面进行指定尺度离散，用点与点的距离近似表达点偏差，或将其转换为STL格式进行偏差计算。不同的坐标对齐及偏差计算方法，获得的检测结果也不同。对齐误差的大小将直接影响检测精度及评估报告的可信度。
最佳拟合对齐是检测偏差平均到整体，以保证整体偏差最小为条件来终止迭代计算的对齐过程，对配准结果进行3D分析，生成结果对象以两个图形间误差的均方根的形式输出，均方根越大，反映两个模型在该处的差异越大。反之亦反。根据比对重合度比例判断是否是比对标的物。
本发明还提供一种基于红外拍照的生物特征3D四维数据识别***，其包括如下装置：
生物特征信息采集装置，用于采集生物体在给定时间内的多幅生物特征图像，并根据所述多幅生物特征图像构建生物特征的四维模型，以实现所述生物体的生物特征3D四维数据采集；
生物特征四维数据存储装置，用于扫描或录入生物体的身份信息(I1、I2…In)，以所述身份信息(I1、I2…In)作为识别标志对采集到的生物特征3D四维数据进行关联存储，形成包括多条生物特征3D四维数据(D1、D2…Dn)的数据库；
目标生物体的身份识别装置，用于根据扫描或录入的目标生物体的身份信息(I1、I2…In)找到所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)，并将所述目标生物体的生物特征3D四维数据(T1、T2…Tn)分别与相应的所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)进行比对，以识别目标生物体的身份。
优选的，生物特征信息采集装置包括：
图像采集单元，用于利用多台相机组成的相机矩阵对生物特征信息进行采集，得到多幅生物特征图像；
特征点提取单元，用于对多幅生物特征图像进行处理，提取多幅生物特征图像中各自的特征点；
点云生成单元，用于基于提取的多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据；
四维模型构建单元，用于根据特征点云数据构建生物特征的四维模型，以实现生物特征3D四维数据的采集。
需要说明的是，本发明实施例中的生物特征并不限于上述的头部、面部和/或虹膜以及手部，还可以包括其他生物特征，如脚部等，本发明实施例对此不做限制。
基于上文各个实施例提供的基于红外的四维数据识别方法，基于同一发明构思，本发明实施例还提供了一种基于红外的四维数据识别***。图8示出了根据本发明一实施例的基于红外拍照的生物特征3D四维数据识别***的结构示意图。如图8所示，该装置可以包括生物特征信息采集装置910，生物特征信息存储装置920和目标生物体身份识别930。其中生物特征信息采集装置910包括第一预处理模块110、第二预处理模块120、点云生成模块130、配准模块140和3D数据获取模块150。
现介绍本发明实施例的基于红外的四维数据识别装置的各组成或器件的功能以及各部分间的连接关系：
第一预处理模块110，用于对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标生物体的2D高清彩色图片；
第二预处理模块120，用于对深度红外相机采集到的红外图像进行预处理，得到目标生物体的深度红外数据，其中，深度红外数据包括目标生物体的深度尺寸数据；
点云生成模块130，用于根据目标生物体的深度红外数据，对目标生物体的进行采样，得到目标生物体的空间点云信息；
配准模块140，用于对2D高清彩色图片与空间点云信息进行配准融合；
3D数据获取模块150，用于根据2D高清彩色图片与空间点云信息进行配准融合得到的结果数据、以及变焦彩色相机和深度红外相机的标定信息，获取目标生物体在给定时间内的3D数据。
在本发明的一个可选实施例中，第一预处理模块110可以按照以下方式对2D彩色图像进行预处理：
对2D彩色图像进行分割，将2D彩色图像中的目标生物体的图像区域与背景区域进行分割；
对分割得到目标生物体的图像区域进行图像增强处理，得到目标生物体的2D高清彩色图片；其中，图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。
在本发明的一个可选实施例中，第二预处理模块120按照以下方式对深度红外相机采集到的红外图像进行预处理：
对红外图像进行分割，将红外图像中的目标生物体的图像区域与背景区域进行分割；
对分割得到的目标生物体的图像区域进行红外矩阵癍信息噪点滤波；
从滤波后的目标生物体的图像区域中得到目标生物体的3D尺寸数据。
在本发明的一个可选实施例中，配准模块140按照以下方式对2D高清彩色图片与空间点云信息进行配准融合：
根据空间点云信息中各个采样点的3D尺寸数据，进行TOF逆变换，得到目标生物体的结构光深度图像；
对2D高清彩色图片与结构光深度图像分别进行高斯滤波；
分别从高斯滤波之后的2D高清彩色图片与结构光深度图像中提取目标生物体的特征部分，基于三角剖分算法，确定2D高清彩色图片与结构光深度图像的共有图像区域；
在共有图像区域中，确定2D高清彩色图片与结构光深度图像的对应点；
根据对应点在2D高清彩色图片和结构光深度图像中的坐标，确定2D高清彩色图片与结构光深度图像的坐标变换关系；
根据坐标变换关系，完成2D高清彩色图片和结构光深度图像中的目标生物体的各个特征部分的配准融合。
在本发明的一个可选实施例中，3D数据获取模块150按照以下方式获取目标生物体在给定时间内的3D数据：
根据2D高清彩色图片与空间点云信息的配准结果、以及变焦彩色相机和深度红外相机的标定信息，在目标生物体的各个特征部分中分别选取多个采样点，并计算多个采样点在三维空间的坐标，基于多个采样点在三维空间的坐标获取目标生物体的3D数据。
在本发明的一个可选实施例中，还包括：建模模块，用于根据目标生物体在给定时间内的3D数据进行建模，并将该四维模型发送给显示器显示。
生物特征数据存储装置920，采集目标生物体的生物特征3D四维数据(T1、T2…Tn)，利用所述目标生物体的身份信息(I1、I2…In)找到所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)。
目标生物体的身份识别930，将所述目标生物体的生物特征3D四维数据(T1、T2…Tn)分别与相应的所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)进行比对，以识别目标生物体的身份。
根据上述任意一个可选实施例或多个可选实施例的组合，本发明实施例能够达到如下有益效果：
本发明实施例提供了一种基于红外拍照的3D四维数据识别方法和装置，在本发明实施例提供的方法中，首先对一台或多台变焦彩色相机对目标生物体采集到的2D彩色图像和深度红外相机对目标生物体采集到的红外图像进行预处理，然后基于预处理得到的深度红外数据进行采样，得到目标生物体在给定时间内的空间点云信息，然后对预处理得到的2D高清彩色图片与空间云信息进行配准融合，进而基于配准结果以及变焦彩色相机和深度红外相机的摄像头的标定信息，获取目标生物体在给定时间内的3D数据，完成目标生物体的模型重构。同时采用目标生物体的身份信息作为标识对采集到的生物特征3D四维数据进行关联存储，形成包括多条生物特征3D四维数据的数据库。再次采集目标生物特征数据，利用所述目标生物体的身份信息找到数据库中存储的生物特征3D四维数据，将所述目标生物体的生物特征3D四维数据分别与相应的所述数据库中存储的生物特征3D四维数据进行比对，以识别目标生物体的身份。由此可以看出，由于本发明中是将彩色相机的二维高清彩色图片和深度红外相机采集到的深度3D信息进行配准融合，从而减少了特征点的提取，降低了算法的复杂度，提高了重建的精度和效率。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种基于红外拍照的生物特征3D四维数据识别方法，其特征在于，包括如下步骤：
S01.采集生物特征信息，
利用红外相机和彩色相机采集生物体在给定时间内的多幅生物特征图像，根据所述多幅生物特征图像构建生物特征的四维模型，以实现所述生物体的生物特征3D四维数据采集；
S02.存储生物特征四维数据，
扫描或录入以生物体的身份信息(I1、I2…In)，以所述身份信息(I1、I2…In)作为识别标志对采集到的生物特征3D四维数据进行关联存储，形成包括多条生物特征3D四维数据(D1、D2…Dn)的数据库；
S03.目标生物体的身份识别，
采集目标生物体的生物特征3D四维数据(T1、T2…Tn)，并扫描或录入所述目标生物体的身份信息(I1、I2…In)，通过所述目标生物体的身份信息(I1、I2…In)找到所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)，将所述目标生物体的生物特征3D四维数据(T1、T2…Tn)分别与相应的所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)进行比对，以识别目标生物体的身份。
2.根据权利要求1所述的方法，其特征在于，所述彩色相机为变焦彩色相机，步骤S01还包括：
对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标生物体的2D高清彩色图片；
对深度红外相机采集到的红外图像进行预处理，得到所述目标生物体的深度红外数据，其中，所述深度红外数据包括所述目标生物体的深度尺寸数据；
根据所述目标生物体的深度红外数据，获取所述目标生物体的各个组成点的在给定时间内的空间点云信息；
对所述2D高清彩色图片与所述空间点云信息进行配准融合；
根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，得到所述目标生物体的四维数据。
3.根据权利要求2所述的方法，其特征在于，得到所述目标生物体的四维数据步骤进一步包括：
将所述多幅目标生物体的深度红外数据传送到具有图像处理器GPU和中央处理器CPU的处理单元；将所述多幅目标生物体的深度红外数据信息分配到GPU的块block中进行运算，并结合CPU的集中调度和分配功能，计算所述多幅生物特征图像各自的特征点。
4.根据权利要求3所述的方法，其中，对所述2D彩色图像进行预处理包括：
对所述2D彩色图像进行分割，将所述2D彩色图像中的所述目标生物体的图像区域与背景区域进行分割；
对分割得到所述目标生物体的图像区域进行图像增强处理，得到所述目标生物体的2D高清彩色图片；其中，所述图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。
5.根据权利要求3所述的方法，其中，对深度红外相机采集到的红外图像进行预处理，包括：
对所述红外图像进行分割，将所述红外图像中的所述目标生物体的图像区域与背景区域进行分割；
对分割得到的所述目标生物体的图像区域进行红外矩阵癍信息噪点滤波；
从滤波后的所述目标生物体的图像区域中得到所述目标生物体的3D尺寸数据。
6.根据权利要求2至5任一项所述的方法，其中，对所述2D高清彩色图片与所述空间点云信息进行配准融合，包括：
根据所述空间点云信息中各个组成点的3D尺寸数据，进行TOF逆变换，得到所述目标生物体的结构光深度图像；
对所述2D高清彩色图片与所述结构光深度图像分别进行高斯滤波；
分别从高斯滤波之后的所述2D高清彩色图片与所述结构光深度图像中提取所述目标生物体的特征部分，确定所述2D高清彩色图片与所述结构光深度图像的共有特征部分；
在所述共有特征部分中，确定所述2D高清彩色图片与所述结构光深度图像的对应点；
根据所述对应点在所述2D高清彩色图片和所述结构光深度图像中的坐标，基于三角剖法，确定所述2D高清彩色图片与所述结构光深度图像的坐标变换关系；
根据所述坐标变换关系，完成所述2D高清彩色图片和所述结构光深度图像中的所述目标生物体的各个特征部分的配准融合。
7.根据权利要求2至5任一项所述的方法，其中，根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，得到所述目标生物体的3D数据，包括：
根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，在所述目标生物体的各个特征部分中分别选取多个采样点，并计算所述多个采样点在给定时间内在三维空间的坐标，基于所述多个采样点在三维空间的坐标得到所述目标生物体的四维数据。
8.根据权利要求2至5任一项所述的方法，其中，在得到所述目标生物体的3D数据之后，所述方法还包括：
根据所述目标生物体在给定时间内的3D数据进行四维建模，并将四维模型发送给显示器显示；所述目标生物体包括：人体的头部、面部或手部。
9.根据权利要求1所述的方法，其特征在于，所述步骤S03对目标生物体的身份识别时，采用天目点云比对识别法对所述目标生物体的生物特征3D四维数据(T1、T2…Tn)和所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)进行比对；所述天目点云比对识别法包括如下步骤：
S301.特征点拟合；
S302.曲面整体最佳拟合；
S303.相似度计算；所述天目点云比对识别法包括如下具体步骤：
采用基于空域直接匹配的方法进行特征点拟合，在两个点云的对应的刚性区域，选取三个及以上特征点作为拟合关键点，通过坐标变换，直接进行特征点对应匹配；
特征点对应匹配后，整体曲面最佳拟合后的点云的数据对齐；
采用最小二乘法进行相似度计算。
10.一种基于红外拍照的生物特征3D四维数据识别***，其特征在于，包括如下装置：
生物特征信息采集装置，用于采集生物体在给定时间内的多幅生物特征图像，并根据所述多幅生物特征图像构建生物特征的四维模型，以实现所述生物体的生物特征3D四维数据采集；
生物特征四维数据存储装置，用于扫描或录入生物体的身份信息(I1、I2…In)，以所述身份信息(I1、I2…In)作为识别标志对采集到的生物特征3D四维数据进行关联存储，形成包括多条生物特征3D四维数据(D1、D2…Dn)的数据库；
目标生物体的身份识别装置，用于根据扫描或录入的目标生物体的身份信息(I1、I2…In)找到所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)，并将所述目标生物体的生物特征3D四维数据(T1、T2…Tn)分别与相应的所述数据库中存储的生物特征3D四维数据(D1、D2…Dn)进行比对，以识别目标生物体的身份；所述生物特征信息采集装置包括：
第一预处理模块，用于对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标生物体的2D高清彩色图片；
第二预处理模块，用于对深度红外相机采集到的红外图像进行预处理，得到所述目标生物体的深度红外数据，其中，所述深度红外数据包括所述目标生物体的深度尺寸数据；
点云生成模块，用于根据所述目标生物体的深度红外数据，对所述目标生物体的进行采样，得到所述目标生物体的空间点云信息；
配准模块，用于对所述2D高清彩色图片与所述空间点云信息进行配准融合；
3D数据获取模块，用于根据所述2D高清彩色图片与所述空间点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述深度红外相机的标定信息，获取所述目标生物体在给定时间内的3D数据；所述第一预处理模块按照以下方式对所述2D彩色图像进行预处理：
对所述2D彩色图像进行分割，将所述2D彩色图像中的所述目标生物体的图像区域与背景区域进行分割；
对分割得到所述目标生物体的图像区域进行图像增强处理，得到所述目标生物体的2D高清彩色图片；其中，所述图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理；所述第二预处理模块按照以下方式对深度红外相机采集到的红外图像进行预处理：
对所述红外图像进行分割，将所述红外图像中的所述目标生物体的图像区域与背景区域进行分割；
对分割得到的所述目标生物体的图像区域进行红外矩阵癍信息噪点滤波；
从滤波后的所述目标生物体的图像区域中得到所述目标生物体的3D尺寸数据；所述配准模块按照以下方式对所述2D高清彩色图片与所述空间点云信息进行配准融合：
根据所述空间点云信息中各个采样点的3D尺寸数据，进行TOF逆变换，得到所述目标生物体的结构光深度图像；
对所述2D高清彩色图片与所述结构光深度图像分别进行高斯滤波；
分别从高斯滤波之后的所述2D高清彩色图片与所述结构光深度图像中提取所述目标生物体的特征部分，基于三角剖分算法，确定所述2D高清彩色图片与所述结构光深度图像的共有图像区域；
在所述共有图像区域中，确定所述2D高清彩色图片与所述结构光深度图像的对应点；
根据所述对应点在所述2D高清彩色图片和所述结构光深度图像中的坐标，确定所述2D高清彩色图片与所述结构光深度图像的坐标变换关系；
根据所述坐标变换关系，完成所述2D高清彩色图片和所述结构光深度图像中的所述目标生物体的各个特征部分的配准融合；所述3D数据获取模块按照以下方式获取所述目标生物体的3D数据：
根据所述2D高清彩色图片与所述空间点云信息的配准结果、以及所述变焦彩色相机和所述深度红外相机的标定信息，在所述目标生物体的各个特征部分中分别选取多个采样点，并计算所述多个采样点在给定时间内的三维空间的坐标，基于所述多个采样点在给定时间内的三维空间的坐标获取所述目标生物体的四维数据；还包括：四维模型建模模块，用于根据所述目标生物体在给定时间内的3D数据进行重构，并将四维模型发送给显示器显示。
CN201810302353.5A 2018-04-04 2018-04-04 一种基于红外拍照的生物特征3d四维数据识别方法及*** Withdrawn CN108564018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810302353.5A CN108564018A (zh) 2018-04-04 2018-04-04 一种基于红外拍照的生物特征3d四维数据识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810302353.5A CN108564018A (zh) 2018-04-04 2018-04-04 一种基于红外拍照的生物特征3d四维数据识别方法及***

Publications (1)

Publication Number Publication Date
CN108564018A true CN108564018A (zh) 2018-09-21

Family

ID=63534257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810302353.5A Withdrawn CN108564018A (zh) 2018-04-04 2018-04-04 一种基于红外拍照的生物特征3d四维数据识别方法及***

Country Status (1)

Country Link
CN (1) CN108564018A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495732A (zh) * 2018-10-31 2019-03-19 昆山睿力得软件技术有限公司 一种3d成像视觉引导***
CN109671143A (zh) * 2018-12-23 2019-04-23 广东腾晟信息科技有限公司 人体智能建模方法
CN110188616A (zh) * 2019-05-05 2019-08-30 盎锐（上海）信息科技有限公司 基于2d和3d影像的空间建模方法及装置
CN110287776A (zh) * 2019-05-15 2019-09-27 北京邮电大学 一种人脸识别的方法、装置以及计算机可读存储介质
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目***的活体人脸检测方法
CN110909691A (zh) * 2019-11-26 2020-03-24 腾讯科技（深圳）有限公司 动作检测方法、装置、计算机可读存储介质和计算机设备
CN111859489A (zh) * 2020-07-27 2020-10-30 深圳市纵维立方科技有限公司 支撑结构生成方法、装置、电子设备以及存储介质
CN111859577A (zh) * 2020-07-27 2020-10-30 江苏科技大学 一种激光增材修复的直接分层方法
CN113065502A (zh) * 2019-12-12 2021-07-02 天目爱视（北京）科技有限公司 一种基于标准化设置的3d信息采集***
CN114466175A (zh) * 2022-04-08 2022-05-10 深圳市响西科技有限公司 3d采集装置、3d结构光建模方法及虚拟现实一体机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893965A (zh) * 2016-03-31 2016-08-24 中国科学院自动化研究所 一种可用于非特定人的双目视觉图像合成装置与方法
CN106920274A (zh) * 2017-01-20 2017-07-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN107590435A (zh) * 2017-08-09 2018-01-16 广东欧珀移动通信有限公司 掌纹识别方法、装置和终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893965A (zh) * 2016-03-31 2016-08-24 中国科学院自动化研究所 一种可用于非特定人的双目视觉图像合成装置与方法
CN106920274A (zh) * 2017-01-20 2017-07-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN107590435A (zh) * 2017-08-09 2018-01-16 广东欧珀移动通信有限公司 掌纹识别方法、装置和终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贾保柱: "融合2D与3D图像的三维重建***实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495732A (zh) * 2018-10-31 2019-03-19 昆山睿力得软件技术有限公司 一种3d成像视觉引导***
CN109671143A (zh) * 2018-12-23 2019-04-23 广东腾晟信息科技有限公司 人体智能建模方法
CN110188616A (zh) * 2019-05-05 2019-08-30 盎锐（上海）信息科技有限公司 基于2d和3d影像的空间建模方法及装置
CN110188616B (zh) * 2019-05-05 2023-02-28 上海盎维信息技术有限公司 基于2d和3d影像的空间建模方法及装置
CN110287776A (zh) * 2019-05-15 2019-09-27 北京邮电大学 一种人脸识别的方法、装置以及计算机可读存储介质
CN110309782B (zh) * 2019-07-02 2022-05-03 四川大学 一种基于红外与可见光双目***的活体人脸检测方法
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目***的活体人脸检测方法
CN110909691A (zh) * 2019-11-26 2020-03-24 腾讯科技（深圳）有限公司 动作检测方法、装置、计算机可读存储介质和计算机设备
CN110909691B (zh) * 2019-11-26 2023-05-05 腾讯科技（深圳）有限公司 动作检测方法、装置、计算机可读存储介质和计算机设备
CN113065502A (zh) * 2019-12-12 2021-07-02 天目爱视（北京）科技有限公司 一种基于标准化设置的3d信息采集***
CN111859489A (zh) * 2020-07-27 2020-10-30 深圳市纵维立方科技有限公司 支撑结构生成方法、装置、电子设备以及存储介质
CN111859577A (zh) * 2020-07-27 2020-10-30 江苏科技大学 一种激光增材修复的直接分层方法
CN111859489B (zh) * 2020-07-27 2024-04-16 深圳市纵维立方科技有限公司 支撑结构生成方法、装置、电子设备以及存储介质
CN114466175A (zh) * 2022-04-08 2022-05-10 深圳市响西科技有限公司 3d采集装置、3d结构光建模方法及虚拟现实一体机

Similar Documents

Publication Publication Date Title
CN108564018A (zh) 一种基于红外拍照的生物特征3d四维数据识别方法及***
CN108470373B (zh) 一种基于红外的3d四维数据采集方法及装置
KR102041906B1 (ko) 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 api 엔진
CN107358648B (zh) 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN109269405B (zh) 一种快速3d测量和比对方法
US11232647B2 (en) Adjusting a digital representation of a head region
CN108447017A (zh) 人脸虚拟整容方法和装置
Gupta et al. Texas 3D face recognition database
US7512255B2 (en) Multi-modal face recognition
CN105956515B (zh) 基于极成像的立体-高光谱人脸识别方法
Sablatnig et al. Hierarchical classification of paintings using face-and brush stroke models
Ibáñez et al. An experimental study on the applicability of evolutionary algorithms to craniofacial superimposition in forensic identification
CN108765273A (zh) 人脸拍照的虚拟整容方法和装置
US20100189357A1 (en) Method and device for the virtual simulation of a sequence of video images
CN108416312B (zh) 一种基于可见光拍照的生物特征3d数据识别方法
CN109583304A (zh) 一种基于结构光模组的快速3d人脸点云生成方法及装置
CN108470166A (zh) 一种基于激光扫描的生物特征3d四维数据识别方法及***
CN110363116A (zh) 基于gld-gan的不规则人脸矫正方法、***及介质
CN108319939A (zh) 一种3d四维头部面部数据识别设备
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
CN108550184A (zh) 一种基于光场相机的生物特征3d四维数据识别方法及***
CN102961201A (zh) 激光扫描及快速成型技术用于个性化脸部假体的制作方法
CN108520230A (zh) 一种3d四维手部图像数据识别方法及设备
CN108334874A (zh) 一种3d四维虹膜图像数据识别设备
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180921