CN108334873A - 一种3d四维手部数据识别设备 - Google Patents

Abstract

本发明提供了一种3D四维手部数据识别设备，包括：手部特征信息采集装置、手部特征四维数据存储装置和目标人物身份识别装置。其中手部特征信息采集装置包括：图像采集单元、特征点提取单元、点云生成单元以及四维模型构建单元。而点云生成单元由特征点数据集、空间深度信息和特征点云数据三部分组成。手部四维数据的采集可以使用相机矩阵完成，根据多幅手部特征图像构建手部特征的四维模型，以实现人体手部特征四维数据采集；以人物的身份信息作为识别标志形成包括多条手部特征四维数据的数据库；利用目标人物的身份信息找到数据库中存储的手部特征四维数据，并相应的天目点云比对方法以识别目标人物的身份。

Description

一种3D四维手部数据识别设备

技术领域

本发明涉及生物识别技术领域，特别是一种3D四维手部数据识别设备。

背景技术

生物特征即生物固有的生理或行为特征，如指纹和掌纹等。生物特征有一定的唯一性和稳定性，即任何两生物的某种生物特征之间的差异比较大，且生物特征一般不会随着时间发生很大的变化，这就使得生物特征很适合应用在身份认证或识别***中的认证信息等场景中。

目前的生物特征数据都是采用平面的2D数据，以手部的生物特征为例，主要采用2D的方式来识别某一个或者几个手部的特征，部分不法分子根据手部采集到的2D图片，仿制2D手部特征，骗过部分识别***，给个人信息安全带来了很大的安全隐患。因此，亟需针对手部特征进行多维数据识别，提高安全性，并为后续的应用提供支撑。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的3D四维手部数据识别设备。

一种3D四维手部数据识别设备，包括如下装置：

手部特征信息采集装置，用于采集人体在给定时间内的多幅手部特征图像，并根据所述多幅手部特征图像构建手部特征的四维模型，以实现所述人体的手部特征的四维数据采集；

手部特征四维数据存储装置，用于扫描或录入人体的身份信息(I1，I2,…In)作为识别标志对采集到的人体手部特征四维数据进行关联存储，形成包括多条手部特征四维数据(D1,D2,…Dn)的数据库；

目标人物身份识别装置，用于根据扫描或录入的目标人物的身份信息(I1，I2,…In)找到所述数据库中存储的手部特征四维数据(D1,D2,…Dn)，并将所述目标人物的手部特征四维数据(T1,T2,…Tn)分别与相应的所述数据库中存储的手部特征四维数据(D1,D2,…Dn)进行比对，以识别目标人物的身份。

进一步的，所述手部特征信息采集装置包括：

图像采集单元，用于利用多台相机组成的相机矩阵对手部特征信息进行采集，得到多幅手部特征图像；

特征点提取单元，用于对所述多幅手部特征图像进行处理，提取所述多幅手部特征图像中各自的特征点；

点云生成单元，用于基于提取的所述多幅手部特征图像中各自的特征点，生成手部特征的特征点云数据；

四维模型构建单元，用于根据所述特征点云数据构建手部特征的四维模型，以实现手部特征四维数据的采集。

进一步的，所述特征点提取单元包括图像处理器GPU和中央处理器CPU，特征点提取单元将所述多幅手部特征图像的图像信息分配到GPU的块block中进行运算，并结合CPU的集中调度和分配功能，计算所述多幅手部特征图像各自的特征点。

进一步的，所述的图像采集单元中，使用可见光相机、激光相机、红外相机、光栅相机或光场相机组成相机矩阵对手部特征信息进行采集。

进一步的，所述的点云生成单元包含如下信息：

特征点数据集，根据提取的所述多幅手部特征图像中各自的特征点，进行特征点的匹配，建立匹配的特征点数据集；

空间深度信息，根据相机的光学信息，计算各台相机相对于手部特征在空间上的相对位置，并根据所述相对位置计算出所述手部特征图像中的特征点在给定时间内空间深度信息；

特征点云数据，根据匹配的特征点数据集和特征点在给定时间内的空间深度信息，生成手部特征的特征点云数据。

进一步的，所述多幅手部特征图像中各自的特征点的特征采用尺度不变特征转换SIFT特征描述子来描述。

根据相机的光学信息，采用光束平差法计算各台相机相对于手部特征在空间上的相对位置；所述多幅手部特征图像中的特征点的空间深度信息包括：空间位置信息和颜色信息。

进一步的，所述四维模型构建单元，根据所述点云数据构建手部特征的四维模型的步骤进一步包括：

设定待构建的四维模型的参考尺寸；

根据所述参考尺寸和所述特征点云数据的空间位置信息，确定所述特征点云数据中各个特征点的空间尺寸和时间尺寸，从而构建手部特征的四维模型；所述手部特征的四维模型中包括下列至少之一的四维数据：

描述四维模型在不同时间上的空间形状特征数据；

描述四维模型在不同时间上的表面纹理特征数据；

描述四维模型在不同时间上的表面材质和灯光特征数。

进一步的，利用多台相机组成相机矩阵对手部特征信息进行采集，通过以下方式布局相机矩阵：

搭建支撑结构，在所述支撑结构上设置弧形承载结构；

将多台相机布置在所述的弧形承载结构上；

进一步的，所述的身份信息包括：姓名、性别、年龄、和证件号中的一种或多种。证件号可以包括人在生活中经常用到的例如身份证号、护照号、驾照号、社保号或军官证号中的一种或多种。

优选的，所述身份信息通过扫描身份证、护照、驾照、社保卡或军官证获得，或者，通过手动或自动录入的方式从身份证、护照、驾照、社保卡或军官证获得身份信息。

进一步的，在所述的弧形承载结构上设置显示器；

在构建得到手部四维模型后，在显示器上通过可视化方式显示四维模型；

在利用多台相机组成的相机矩阵对手部信息进行采集之前，通过显示器界面，设定各台相机的拍照参数。

进一步的，所述目标人物身份识别装置，对目标人物进行身份识别时，采用天目点云比对识别法对所述目标产品特征四维数据(T1、T2…Tn)和所述数据库中存储的产品特征四维数据(D1、D2…Dn)进行比对；所述天目点云比对识别法包括如下步骤：

S0301.特征点拟合；

S0302.曲面整体最佳拟合；

S0303.相似度计算。

进一步的，所述天目点云比对识别法包括如下具体步骤：

采用基于空域直接匹配的方法进行特征点拟合，在两个点云的对应的刚性区域，选取三个及以上特征点作为拟合关键点，通过坐标变换，直接进行特征点对应匹配；

特征点对应匹配后，整体曲面最佳拟合后的点云的数据对齐；

采用最小二乘法进行相似度计算。

本发明提供了一种3D四维手部数据识别设备，该装置具体是利用多台相机组成的相机矩阵对手部特征信息进行采集，得到在不同时刻上的多幅手部特征图像；进而对多幅手部特征图像进行处理，提取多幅手部特征图像中各自的特征点；随后，基于提取的多幅手部特征图像中各自的特征点，生成手部特征的特征点云数据；之后，根据特征点云数据构建手部特征的四维模型，以实现手部特征四维数据的采集。可以看到，本发明实施例采用多台相机控制技术进行手部特征信息的采集，可以显著提高手部特征信息的采集效率；并且，本发明实施例利用采集到手部特征在空间上的特征信息，完整地复原手部特征在空间上的各项特征，为后续的手部特征数据的应用提供了无限的可能性。以识别目标的身份信息识别四维数据，不必将目标人的数据与数据库中的海量数据进行逐一比对，提高了比对识别的效率，大大提升了身份识别的速度，采用基于空域直接匹配的天目点云比对识别法进行特征点拟合，实现了手部特征点的快速拟合比对，进而实现了身份快速认证识别。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一实施例的3D四维手部数据识别设备结构示意图；

图2示出了根据本发明一实施例的3D四维数据采集装置的结构示意图；

图3示出了根据本发明另一实施例的四维数据采集装置的结构示意图；

图4示出了根据本发明一实施例基于可见光拍照的手部特征四维数据识别***示意图；

图5示出了根据本发明一实施例基于激光扫描的手部特征四维数据识别***示意图；

图6示出了根据本发明一实施例基于深度红外相机拍照的的手部特征四维数据识别***示意图；

图7示出了根据本发明一实施例基于光栅扫描的手部特征四维数据识别***示意图；以及

图8示出了根据本发明一实施例基于光场相机拍照的手部特征四维数据识别***示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例，虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要说明的是，本发明中的3D四维数据是指三维空间数据结合时间维度数据所形成的数据，三维空间结合时间维度是指：多张相同时间间隔或不同时间间隔、不同角度、不同方位或不同状态等情况的图像或影像形成的数据集合。

为了解决上述技术问题，本发明实施例提供了一种3D四维手部数据识别设备。图1示出了根据本发明实施例的3D四维手部数据识别设备结构示意图，在图1中，3D四维手部数据采集装置100具体可以包括：手部特征信息采集装置110，手部特征四维数据存储装置120，目标人物身份识别装置130；

手部特征信息采集装置110，用于采集人体在给定时间内的多幅手部特征图像，并根据所述多幅手部特征图像构建手部特征的四维模型，以实现所述人体的手部特征的四维数据采集；

手部特征四维数据存储装置120，用于扫描或录入人体的身份信息(I1，I2,…In)作为识别标志对采集到的人体手部特征四维数据进行关联存储，形成包括多条手部特征四维数据(D1,D2,…Dn)的数据库；

目标人物身份识别装置130，用于根据扫描或录入的目标人物的身份信息(I1，I2,…In)找到所述数据库中存储的手部特征四维数据(D1,D2,…Dn)，并将所述目标人物的手部特征四维数据(T1,T2,…Tn)分别与相应的所述数据库中存储的手部特征四维数据(D1,D2,…Dn)进行比对，以识别目标人物的身份。

图2示出了根据本发明一实施例的3D四维数据采集装置的结构示意图。如图2所示，该装置可以包括图像采集单元210、特征点提取单元220，点云生成单元230以及四维模型构建单元240.

图像采集单元210，用于利用多台相机组成的相机矩阵对手部特征信息进行采集，得到多幅手部特征图像；

特征点提取单元220，用于对所述多幅手部特征图像进行处理，提取所述多幅手部特征图像中各自的特征点；

点云生成单元230，用于基于提取的所述多幅手部特征图像中各自的特征点，生成手部特征的特征点云数据；

四维模型构建单元240，用于根据所述特征点云数据构建手部特征的四维模型，以实现手部特征四维数据的采集。

在本发明的可选实施例中，上述图像采集单元210中，使用可见光相机、激光相机、红外相机、光栅相机或光场相机组成相机矩阵对手部特征信息进行采集。

优选的，特征点提取单元220包括图像处理器GPU和中央处理器CPU，特征点提取单元将所述多幅手部特征图像的图像信息分配到GPU的块block中进行运算，并结合CPU的集中调度和分配功能，计算所述多幅手部特征图像各自的特征点可以看到，本发明实施例采用多台拍照相机控制技术进行手部特征信息的采集，可以显著提高手部特征信息的采集效率。并且，本发明实施例基于中央处理器和图形处理器的并行计算，可以高效地实现特征信息的处理。

优选的，GPU为双GPU，每颗GPU具有多个block，如56个block，本发明实施例对此不作限制。

在本发明的可选实施例中，上述点云生成单元230包含如下信息：

特征点数据集，根据提取的所述多幅手部特征图像中各自的特征点，进行特征点的匹配，建立匹配的特征点数据集；

空间深度信息，根据相机的光学信息，计算各台相机相对于手部特征在空间上的相对位置，并根据所述相对位置计算出所述手部特征图像中的特征点在给定时间内空间深度信息；

特征点云数据，根据匹配的特征点数据集和特征点在给定时间内的空间深度信息，生成手部特征的特征点云数据。

在本发明的可选实施例中，多幅手部特征图像中各自的特征点的特征采用尺度不变特征转换SIFT特征描述子来描述。

在本发明的可选实施例中，上述点云生成单元230还用于：

根据相机的光学信息，采用光束平差法计算各台相机相对于手部特征在空间上的相对位置；所述多幅手部特征图像中的特征点的空间深度信息包括：空间位置信息和颜色信息。

在本发明的可选实施例中，上述四维模型构建单元240还用于：

设定待构建的四维模型的参考尺寸；

根据所述参考尺寸和所述特征点云数据的空间位置信息，确定所述特征点云数据中各个特征点的空间尺寸和时间尺寸，从而构建手部特征的四维模型；

在本发明的可选实施例中，手部特征的四维模型中包括下列至少之一的四维数据：

描述四维模型在不同时间上的空间形状特征数据；

描述四维模型在不同时间上的表面纹理特征数据；

描述四维模型在不同时间上的表面材质和灯光特征数。

在本发明的可选实施例中，如图3所示，上文图2展示的装置还可以包括：

相机矩阵布局单元310，与图像采集单元210相耦合，用于在图像采集单元210利用多台相机组成的相机矩阵对手部特征信息进行采集之前，通过以下方式布局多台相机：

搭建支撑结构，在所述支撑结构上设置弧形承载结构；

将多台相机布置在所述的弧形承载结构上。

可以看到，本发明实施例采用相机矩阵控制技术进行手部特征信息的采集，可以显著提高手部特征信息的采集效率。进一步地，当采用不同类型的相机布置在弧形承载结构上可以形成不同的相机矩阵，下面将分别进行详细介绍。

情况一，如图4所示，上文布置在弧形承载结构上的相机可以是支持可见光拍照的相机矩阵。该3D四维手部数据识别设备包括：

柜体：整个设备的主要连接结构以及外观结构；

可见光相机矩阵：负责人体手部信息采集；

补光灯：相机拍摄外部灯光的补充；

识别模块：人体手部信息的处理和识别；

控制和显示模块：设备的控制和显示功能的实现；

手部固定模块：负责人体手部位置的固定。

情况二，如图5所示，上文布置在弧形承载结构上的相机可以是支持激光扫描的相机矩阵。该3D四维手部数据识别设备包括：

柜体：整个设备的主要连接结构以及外观结构；

激光扫描模块：负责人体手部信息采集；

滑轨：安装在柜体内，用于使激光扫描模块移动到指定采集点；

识别模块：人体手部信息的处理和识别；

控制和显示模块：设备的控制和显示功能的实现；

手部固定模块：负责人体手部位置的固定。

情况三，如图6所示，上文布置在弧形承载结构上的相机可以是支持深度红外相机扫描的相机矩阵。该3D四维手部数据识别设备包括：

柜体：整个设备的主要连接结构以及外观结构；

红外相机模块：负责人体手部深度距离信息采集；

可见光相机：根据手指的大小，相机镜头自动伸缩到合适视角和清晰度；

旋转支架：支撑旋转机构；

旋转机构：以固定速度转动并同时传输相机图片和深度测距数据到控制及显示模块；

识别模块：人体手部信息的处理和识别；

控制和显示模块：设备的控制和显示功能的实现；

手部固定模块：负责人体手部位置的固定。

情况四，如图7所示，上文布置在弧形承载结构上的相机可以是支持光栅扫描的相机矩阵。该3D四维手部数据识别设备包括：

柜体：整个设备的主要连接结构以及外观结构；

光栅相机模块：负责人体手部信息采集；

滑轨：安装在柜体内，用于使光栅相机模块移动到指定采集点；

识别模块：人体手部信息的处理和识别；

控制和显示模块：设备的控制和显示功能的实现；

手部固定模块：负责人体手部位置的固定。

情况五，如图8所示，上文布置在弧形承载结构上的相机可以是光场扫描的相机矩阵。该3D四维手部数据识别设备包括：

柜体：整个设备的主要连接结构以及外观结构；

光场相机模块：负责人体手部信息采集；

无影灯光模块：位于柜体内部光场相机两侧；

识别模块：人体手部信息的处理和识别；

控制和显示模块：设备的控制和显示功能的实现；

手部固定模块：负责人体手部位置的固定。

在可选的实施例中，还可以在弧形承载结构上设置显示器：在构建得到人体手部的四维模型后，在显示器上通过可视化的方式显示手部四维数据。

在可选实施例中，在信息采集之前，还可以通过显示器界面，设定各台相机的拍照参数、如感光度、快门速度、变焦倍数、光圈等，本发明实施例不限于此。

优选的，在手部特征四维数据存储装置120中，存储手部特征信息采集装置110所采集到的手部四维数据，并以人物的身份信息(I1,I2…In)作为识别标志对采集到的手部特征四维数据进行存储，形成包括多条手部特征四维数据库(D1,D2,…Dn)的数据库，例如，四维数据D1以人物的身份信息I1关联存储，另一人物的四维数据D2以该人物的身份信息I2进行关联存储，以此类推，形成包括n个样本的四维数据的数据库。

优选的，所述的身份信息包括：姓名、性别、年龄、和证件号中的一种或多种。

优选的，在目标人物身份识别装置130识别人物身份时，采用天目点云比对识别法对所述目标产品特征四维数据(T1、T2…Tn)和所述数据库中存储的产品特征四维数据(D1、D2…Dn)进行比对；所述天目点云比对识别法包括如下步骤：

S0301.特征点拟合；

S0302.曲面整体最佳拟合；

S0303.相似度计算。

优选的，天目点云比对识别法包括如下具体步骤：

采用基于空域直接匹配的方法进行特征点拟合，在两个点云的对应的刚性区域，选取三个及以上特征点作为拟合关键点，通过坐标变换，直接进行特征点对应匹配；

特征点对应匹配后，整体曲面最佳拟合后的点云的数据对齐；

采用最小二乘法进行相似度计算。

天目点云比对识别法(Yare Eyes point cloud match recognition method)识别过程和工作原理如下：首先，在某一时刻的点云是组成四维模型的基本元素，它包含空间坐标信息(XYZ)和颜色信息(RGB)。点云的属性包括空间分辨率，点位精度，表面法向量等。它的特征不受外界条件的影响，对于平移和旋转都不会发生改变。逆向软件能够进行点云的编辑和处理，如：imageware、geomagic、catia、copycad和rapidform等。天目点云比对识别法特有的基于空域直接匹配的方法包括：迭代最近点法ICP(Iterative closestpoint)，ICP方法通常分为两步，第一步特征点拟合，第二步曲面整体最佳拟合。先拟合对齐特征点的目的是为了最短时间找到并对齐要比对拟合的两个点云。但不限于此。例如可以是：

第一步，在两个点云的对应的刚性区域，选取三个及以上特征点作为拟合关键点，通过坐标变换，直接进行特征点对应匹配。

ICP用于曲线或曲面片段的配准，是3D数据重构过程中一个非常有效的工具，在某一时刻给定两个3D模型粗略的初始对齐条件，ICP迭代地寻求两者之间的刚性变换以最小化对齐误差，实现两者的空间几何关系的配准。

给定集合和集合元素表示两个模型表面的坐标点，ICP配准技术迭代求解距离最近的对应点、建立变换矩阵，并对其中一个实施变换，直到达到某个收敛条件，迭代停止.其编码如下：

1.1ICP算法

输入.P₁，P₂.

输出.经变换后的P₂

P₂(0)＝P₂,l＝0；

Do

For P₂(l)中的每一个点

在P1中找一个最近的点y_i；

End For

计算配准误差E；

IfE大于某一阈值

计算P₂(l)与Y(l)之间的变换矩阵T(l)；

P₂(l+1)＝T(l)·P₂(l),l＝l+1；

Else

停止；

End If

While||P₂(l+l)-P₂(l)||>threshold；

其中配准误差

1.2基于局部特征点的匹配：

以手部信息识别为例，人体手部指节为刚性区域，掌部为塑性区域，塑性变形影响对齐的准确性，进而影响相似度。塑性模型第一次第二次采集数据会有局部差异，一种解决途径是只在刚性区域选取特征点，特征点是从一个对象中提取的、在一定条件下保持稳定不变的属性，采用迭代最近点法ICP特征点进行拟合对齐。

对特征点的要求：

1)完备性.蕴含尽可能多的对象信息，使之区别于其他类别的对象；2)紧凑性.表达所需的数据量尽可能少；3)还要求特征最好能在模型旋转、平移、镜像变换下保持不变。

在3D生物特征识别中，采用对齐两个3D生物特征模型点云，计算输入模型的相似度，其中配准误差作为差别度量。

第二步：特征点最佳拟合后，整体曲面最佳拟合后的点云的数据对齐。

第三步，相似度计算。最小二乘法

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法也可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵，用最小二乘法来表达。常用于解决曲线拟合问题，进而解决曲面的完全拟合。通过迭代算法能够加快数据收敛，快速求得最优解。

如果在某一时刻的3D数据模型是以STL文件格式输入的，则通过计算点云与三角片的距离来确定其偏差。因此，该方法需要对每个三角面片建立平面方程，其偏差为点到平面的距离。而对于在某一时刻的3D数据模型为IGES或STEP模型,由于自由曲面表达形式为NURBS面，所以点到面的距离计算需要用到数值优化的方法进行计算。通过迭代计算点云中各点至NURBS曲面的最小距离来表达偏差，或将NURBS曲面进行指定尺度离散，用点与点的距离近似表达点偏差，或将其转换为STL格式进行偏差计算。不同的坐标对齐及偏差计算方法，获得的检测结果也不同。对齐误差的大小将直接影响检测精度及评估报告的可信度。

最佳拟合对齐是检测偏差平均到整体，以保证整体偏差最小为条件来终止迭代计算的对齐过程，对配准结果进行3D分析，生成结果对象以两个图形间误差的均方根的形式输出，均方根越大，反映两个模型在该处的差异越大。反之亦反。根据比对重合度比例判断是否是比对标的物。

设备使用方法如下

A.启动设备：打开电源开关后，中央处理器，相机矩阵，带状补光灯分别启动。

B.参数设定：通过显示器界面，可以设定相机矩阵拍照的各项参数。

C.信息采集：参数设定完毕后，启动矩阵相机开始对人体手部进行信息采集，信息采集时间在0.8秒内完成，采集的信号最后以数字图像(.jpg)的格式传至中央处理模块进行处理，中央处理模块核心由以下几个部分组成：

C.1 CPU(Central Processing Unit，中央处理单元)：负责整个数字信号的传送调度，任务分配，内存管理，以及部分单一的计算处理；

C.2 GPU(Graphics Processing Unit，图像处理单元)：选用特殊型号的GPU，具有优秀的图像处理能力和高效的计算能力；

C.3 DRAM(Dynamic Random Access Memory，即动态随机存取存储器)：作为整个数字信号处理的暂时存储中心，需要匹配CPU和GPU的运算能力，得到最佳的处理和计算效能。

D.信息处理：矩阵相机采集完的信号传送到中央处理模块进行信号处理。

D.1信息处理的过程如下

D.1.1采集图像的滤波

利用GPU的特性，结合图像滤波的矩阵运算子的特性，图像滤波可以在一定算法的支持下，快速完成。

D.1.2采集图像的特征点提取

采用CPU和与整体性能相匹配的GPU，因为本设备的各种信息的格式都是图像格式，结合具有优秀图像处理能力的GPU，可以将jpg的各种信息内容均匀的分配到GPU的block中，由于本设备采用双GPU，每颗GPU本身具有56个block，所以采集信息抓取到的jpg的图像会均匀的分配到112个block上面进行运算，并结合CPU的集中调度和分配功能，可以快速地计算出每张照片具有的特征点，相对于单独CPU或者CPU搭配其他普通型号的GPU的运算，整体的运算速度时间是后者的1/10或者更短。

D.1.3采集图像的匹配和空间深度信息的计算

图像特征点的提取采用金字塔的层级结构，以及空间尺度不变性的特殊算法，这两种特殊的算法都是结合本设备选用的GPU的特殊构造，最大程度的发挥***的计算性能，实现快速提取图像信息中的特征点。

此过程的特征描述子采用SIFT特征描述子，SIFT特征描述子具有128个特征描述向量，可以在方向和尺度上描述任何特征点的128个方面的特征，显著提高对特征描述的精度，同时特征描述子具有空间上的独立性。

本设备采用的特殊图像处理GPU，具有优异的单独向量的计算和处理能力，对于采用128个特殊描述子的SIFT特征向量来讲，在这样特殊GPU的条件下来处理是最适合不过了，可以充分发挥该GPU的特殊计算能力，比较采用普通CPU或者CPU搭配其他普通规格的GPU，特征点的匹配时间会降低70％。

特征点匹配完毕，***会采用光束平差法的算法计算出相机相对于手部在空间上的相对位置，根据此相对位置的空间坐标，GPU可以快速地计算出手部特征点的深度信息。

D.1.4特征点云数据的生成

根据D.1.3计算出手部特征点在空间的深度信息，由于GPU具有的向量计算能力，可以快速地匹配出手部特征点云的空间位置和颜色信息，形成一个标准的模型建立需要的点云信息。

E.特征尺寸标定：通过特征点云尺寸的标准，为整个模型的尺寸设定最初的参考尺寸。

通过在信息采集上的特殊标定，该特殊标定具有空间确定尺寸，由于手部特征点云具有空间上尺度一致性，通过该特殊标定的确定尺寸，手部的任何特征点之间的尺寸可以从点云的空间位置坐标计算得到。

F.数据的后续处理：基于E中标定的尺寸，通过对点云数据进行进一步的处理，可以得到手部在某一时刻的3D数据。

3D数据的格式有如下几个文件：

.obj——描述3D模型的空间形状特征

.jpg——描述3D模型的表面纹理特征

.mtl——描述3D模型的表面材质和灯光特征

G.手部四维数据通过可视化的方法显示在显示器上。

中央处理模块中的识别模块根据目标人物的身份信息(I1、I2…In)找到所述数据库中存储的生物特征四维数据(D1、D2…Dn)，并将所述目标人物的手部特征四维数据(T1、T2…Tn)分别与相应的所述数据库中存储的手部特征四维数据(D1、D2…Dn)进行比对，以识别目标人物的身份，并将识别结果输出显示在显示器上。

本发明实施例提供了一种基于3D四维手部数据识别设备，在装置中具体是利用多台不同类型的相机组成的相机矩阵对手部特征信息进行采集，得到给定时间内的多幅手部特征图像；进而对多幅手部特征图像进行处理，提取多幅手部特征图像中各自的特征点；随后，基于提取的多幅手部特征图像中各自的特征点，生成手部特征点云数据；之后，根据特征点云数据构建手部特征的四维模型，以实现手部特征四维数据的采集。可以看到，本发明实施例采用不同的相机矩阵控制技术进行手部特征信息的采集，可以显著提高手部特征信息的采集效率；并且，本发明实施例利用采集到手部特征在空间上的特征信息，完整地复原人体手部在空间上的各项特征，为后续的手部特征数据的应用提供了无限的可能性。

进一步，本发明实施例基于中央处理器和图形处理器的并行计算，可以快速高效地实现特征信息的处理以及点云的生成。并且，采用尺度不变特征转换SIFT特征描述子结合特殊图形处理器的并行计算能力，可以快速实现特征点的匹配和空间特征点云的生成。此外，采用独特的尺寸标定方法，可以准确快速地提取手部特征任何特征点的空间尺寸和时间尺寸，生成手部特征的四维模型，以实现四维数据的采集。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于可见光相机的生物特征四维数据采集装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种3D四维手部数据识别设备，其特征在于，包括如下装置：

手部特征信息采集装置，用于采集人体在给定时间内的多幅手部特征图像，并根据所述多幅手部特征图像构建手部特征的四维模型，以实现所述人体的手部特征的四维数据采集；

手部特征四维数据存储装置，用于扫描或录入人体的身份信息(I1，I2,…In)作为识别标志对采集到的人体手部特征四维数据进行关联存储，形成包括多条手部特征四维数据(D1,D2,…Dn)的数据库；

目标人物身份识别装置，用于根据扫描或录入的目标人物的身份信息(I1，I2,…In)找到所述数据库中存储的手部特征四维数据(D1,D2,…Dn)，并将所述目标人物的手部特征四维数据(T1,T2,…Tn)分别与相应的所述数据库中存储的手部特征四维数据(D1,D2,…Dn)进行比对，以识别目标人物的身份。

2.根据权利要求1所述的设备，其特征在于，所述手部特征信息采集装置包括：

图像采集单元，用于利用多台相机组成的相机矩阵对手部特征信息进行采集，得到多幅手部特征图像；

特征点提取单元，用于对所述多幅手部特征图像进行处理，提取所述多幅手部特征图像中各自的特征点；

点云生成单元，用于基于提取的所述多幅手部特征图像中各自的特征点，生成手部特征的特征点云数据；

四维模型构建单元，用于根据所述特征点云数据构建手部特征的四维模型，以实现手部特征四维数据的采集。

3.根据权利要求2所述的设备，其特征在于，所述特征点提取单元包括图像处理器GPU和中央处理器CPU，特征点提取单元将所述多幅手部特征图像的图像信息分配到GPU的块block中进行运算，并结合CPU的集中调度和分配功能，计算所述多幅手部特征图像各自的特征点。

4.根据权利要求2所述的设备，其特征在于，所述的图像采集单元中，使用可见光相机、激光相机、红外相机、光栅相机或光场相机组成相机矩阵对手部特征信息进行采集。

5.根据权利要求2所述的设备，其特征在于，所述的点云生成单元包含如下信息：

特征点数据集，根据提取的所述多幅手部特征图像中各自的特征点，进行特征点的匹配，建立匹配的特征点数据集；

空间深度信息，根据相机的光学信息，计算各台相机相对于手部特征在空间上的相对位置，并根据所述相对位置计算出所述手部特征图像中的特征点在给定时间内空间深度信息；

特征点云数据，根据匹配的特征点数据集和特征点在给定时间内的空间深度信息，生成手部特征的特征点云数据。

6.根据权利要求2所述的设备，其特征在于，所述多幅手部特征图像中各自的特征点的特征采用尺度不变特征转换SIFT特征描述子来描述；根据相机的光学信息，采用光束平差法计算各台相机相对于手部特征在空间上的相对位置；所述多幅手部特征图像中的特征点的空间深度信息包括：空间位置信息和颜色信息。

7.根据权利要求2所述的设备，其特征在于，所述四维模型构建单元，根据所述点云数据构建手部特征的四维模型的步骤进一步包括：

设定待构建的四维模型的参考尺寸；

根据所述参考尺寸和所述特征点云数据的空间位置信息，确定所述特征点云数据中各个特征点的空间尺寸和时间尺寸，从而构建手部特征的四维模型；所述手部特征的四维模型中包括下列至少之一的四维数据：

描述四维模型在不同时间上的空间形状特征数据；

描述四维模型在不同时间上的表面纹理特征数据；

描述四维模型在不同时间上的表面材质和灯光特征数。

8.根据权利要求2所述的设备，其特征在于，利用多台相机组成相机矩阵对手部特征信息进行采集，通过以下方式布局相机矩阵：

搭建支撑结构，在所述支撑结构上设置弧形承载结构；

将多台相机布置在所述的弧形承载结构上；

所述的身份信息包括：姓名、性别、年龄、和证件号中的一种或多种。

9.根据权利要求8所述的设备，其特征在于，

在所述的弧形承载结构上设置显示器；

在构建得到手部四维模型后，在显示器上通过可视化方式显示四维模型；

在利用多台相机组成的相机矩阵对手部信息进行采集之前，通过显示器界面，设定各台相机的拍照参数。

10.根据权利要求1所述的设备，其特征在于，所述目标人物身份识别装置，对目标人物进行身份识别时，采用天目点云比对识别法对所述目标产品特征四维数据(T1、T2…Tn)和所述数据库中存储的产品特征四维数据(D1、D2…Dn)进行比对；所述天目点云比对识别法包括如下步骤：

S0301.特征点拟合；

S0302.曲面整体最佳拟合；

S0303.相似度计算；

所述天目点云比对识别法包括如下具体步骤：

采用基于空域直接匹配的方法进行特征点拟合，在两个点云的对应的刚性区域，选取三个及以上特征点作为拟合关键点，通过坐标变换，直接进行特征点对应匹配；

特征点对应匹配后，整体曲面最佳拟合后的点云的数据对齐；

采用最小二乘法进行相似度计算。