CN107862249B - 一种分叉掌纹识别方法及装置 - Google Patents

Abstract

本发明公开了一种分叉掌纹识别方法及装置，属于提取识别技术领域；一种分叉掌纹识别方法包括：采集掌纹图像；从采集的掌纹图像中提取分叉和非分叉区域信息；使用深度卷积神经网络对区域信息进行特征信息提取；将特征信息进行分类训练，形成分类器模型；基于分类器模型，来进行待检测掌纹的分叉掌纹分类识别；一种分叉掌纹识别装置，包括图像预处理装置、掌纹图像训练装置和掌纹图像识别装置；本发明使用Inception‑ResNet‑v2深度卷积神经网络模型实现了多层表示对数据之间的复杂关系建模，可以有效利用复杂的非线性函数和复合函数来学习分布和分层的特征表示，以达到提取分叉掌纹的有效特征，提高分叉掌纹识别的正确率和精度。

Description

一种分叉掌纹识别方法及装置

技术领域

本发明属于提取识别技术领域，尤其涉及一种基于深度卷积神经网络的分叉掌纹识别方法及装置。

背景技术

中医学的手掌诊病是将手掌的特征与中国传统医学相结合的一种医学辅助诊断方法，通过观察手掌的颜色、形状、纹理等特征对病人进行疾病诊断。计算机等现代信息技术与掌纹诊病相结合是一个崭新的研究领域。研究发现肠胃不适患者都普遍存在着分叉掌纹的现象，目前，医生往往根据临床经验判断分叉掌纹的存在，由于医生自身的经验和疲劳等原因，导致不同的医生对分叉掌纹的判断会有不同，医生诊断会受一些主观因素的干扰，这将对诊断的结果产生不利影响。因此，利用现代信息技术开发一个能够对分叉掌纹图像进行客观分析，并给出量化识别结果的辅助诊断***对于提高医生的诊断效果是十分必要的。

现有的主要掌纹识别技术包括：基于多分辨率分析的掌纹识别技术、基于模糊方向能量的掌纹识别技术、基于掌纹线结构的掌纹识别技术、基于图像的代数特征的掌纹识别技术、基于图像相位及方向特征的掌纹识别技术等。其中，基于掌纹线结构的掌纹识别技术，由于掌纹线的结构特征显著，稳定，受光照、噪声等因素的影响相对较小，具有足够的区分信息，所以相对于其他现有的主要掌纹识别技术，具有一定的优势。

现有基于掌纹线结构的掌纹识别技术主要包括两种：1）用模板来进行掌纹线的提取，然后对每条掌纹线用若干条直线段来近似，再通过匹配这些直线段来进行掌纹匹配；2）用阈值的方法来获得掌纹线图像，然后通过对掌纹线图像的重采样使掌纹线上的点只剩下300 个左右，最后用这些点的位置和方向来进行匹配。这两种基于掌纹线结构的掌纹识别技术丢失了很多可用于区分掌纹的细节结构信息，影响识别精度。而专门对于分叉掌纹的识别技术要求的精细和准确度更高。

Inception-ResNet-v2是一个在 ILSVRC 图像分类基准上取得顶尖准确率的卷积神经网络，它是早期发布Inception V3 模型的变体，模型中使用残差连接，它允许模型中进行 shortcut，因此能成功的训练更深的神经网络从而产生更好的性能。Inception-ResNet-v2网络里面重复的残差块被压缩，里面的 Inception 块被简化，比先前的Inception V3 包含更少的并行塔（parallel towers），另外，Inception-ResNet-v2模型相比于 Inception V3 大约只需要两倍的存储和计算能力。但还未应用在分叉掌纹的识别技术中。另外，还有对于基于结构特征的方法、基于子空间的PCA、LDA的算法，和基于纹理特征的LBP方法等。基于纹理特征的方法处理过程简单，应用广泛，但LBP 算法对各种光照、噪声等有害变化极其敏感，同时也无法完整地提取一些重要的掌纹局部区域的特征信息。

在实际中，特征选取的好坏直接决定了识别准确率的高低，有些图像的特征不好表达，操作起来也相对复杂。

发明内容

本发明的目的在于提供一种基于深度卷积神经网络的分叉掌纹识别方法及装置。本发明依据深度卷积神经网络可以自主进行特征学习和识别的特点提出一种基于Keras深度学习框架的分叉掌纹识别方法及装置。通过 Inception-ResNet-v2深度卷积神经网络模型导出特征向量，并将它们合并成一条特征向量进行训练建模，以此建立分类器对掌纹图像进行识别。该方法与传统的神经网络分类进行比对，提高了分叉掌纹识别的准确率。

本发明的目的是通过如下技术方案来实现的：一种基于深度卷积神经网络的分叉掌纹识别方法包括：

a）采集用户的掌纹图像；

b）对掌纹图像进行去噪和增强：掌纹图像在获取过程中，会不可避免地掺入某些噪声，为了获得真实的图像信息，要对掌纹图像进行滤波增强。典型的图像低通滤波在降低噪声的同时，也使图像边界变得模糊，而掌纹图像的主要信息存在于边缘和轮廓部分。因此，一个好的噪声平滑方法就是既能消除噪声，又不使图像的边缘轮廓变模糊。该***在对掌纹图像进行中值滤波去噪以后，采用高频强调滤波和直方图均衡化相结合的方法对图像进行增强，使得图像在增强的同时既保留低频部分又增加图像的对比度。

c）在图像的手掌区域内手工提取含有分叉的区域和不含分叉的区域作为后续神经网络训练的样本。

d）使用深度卷积神经网络对手工提取的区域进行特征提取：使用Inception-ResNet-v2深度卷积神经网络模型，提取目标的层级特征，获取目标多维度特征描述；并依靠卷积神经网络的自我学习能力，自主解决特征选择问题，实现特征信息提取。

e）将这些特征信息输入全连接神经网络进行分类训练；

f）将待检测的掌纹图像区域分成许多子块，使用已训练好的分类器模型，实现对分叉掌纹的分类识别。

一种基于深度卷积神经网络的分叉掌纹识别的装置包括图像预处理装置，以及掌纹图像训练装置和掌纹图像识别装置。

掌纹图像训练装置用于形成掌纹的分类器模型，包括深度网络训练模块和分类器形成模块；深度网络训练模块，用于提取分叉和非分叉区域信息的层级特征，获取多维度特征描述，实现在特征提取。分类器形成模块，用于将特征信息输入全连接神经网络进行分类训练。

掌纹图像识别装置，用于基于分类器模型，来进行待检测掌纹的分叉掌纹分类识别。

本发明与现有技术对比的有益效果为：使用Inception-ResNet-v2深度卷积神经网络模型实现了多层表示对数据之间的复杂关系进行建模，可以有效利用复杂的非线性函数和非线性的复合函数来学习分布和分层的特征表示，以达到提取分叉掌纹的有效特征，因此可以提高分叉掌纹识别的正确率，提高分叉掌纹识别技术的精度。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1为本发明一种分叉掌纹识别方法流程图。

图2为本发明一种分叉掌纹识别装置示意图。

图3为全连接神经网络分类器示意图。

图2中，201为图像预处理装置，202为掌纹图像训练装置，203为首张图像识别装置。

具体实施方式

以下结合具体实施例及附图对本发明作进一步说明。

本实施采用基于Keras的深度学习框架搭建车标识别网络。Keras是一个高层神经网络 API，Keras由纯Python编写而成。Keras的底层库使用Theano或TensorFlow，这两个库也称为Keras的反端，本发明使用TensorFlow作用后端来进行张量操作。掌纹图片来自于山西惠虎网络工程限公司用户的掌纹图片。

具体步骤如下：

第一步，采集手掌图：用户通过手机拍照手掌，把拍到的手掌科上传到计算机，通过中医专家标注采集到的手掌科，其中含有分叉掌纹的手掌图774张，不含分叉掌纹的手掌图831张。

第二步，对掌纹图像进行去噪和增强：

其步骤如下：

(1)、对含有噪声图像进行三层小波变换，获得低频与高频小波系数。

(2)、对低频小波系数映射到[0, 255]，所用公式为：

其中floor(x)不超过x的最大整数，max表示取其最大数，min表示取其最小数，

表示低频小波系数，

表示其映射值。对其映射值进行均衡化处理。

(3)、将低频均衡化处理后的小波系数再逆运算返回原低频数值范围。

(4)、对高频小波系数进行阈值化处理，设是噪声的标准方差，该值需要预先估计，其估计值为:

其中，是图像小波分解后第一层( 最高分辨率)水平方向和垂直方向高频子带 HH

小波系数，则小波阈值 λ 为：

其中，N 是信号长度，小波系数的处理为：

(5)、对处理好的低频与高频小波系数进行小波反变换获得增强去噪图像。

图像增强去噪效果的评价采用均方根误差RMSE和峰值信噪比PSNR：

其中，

表示去噪重建后的图像像素的灰度值，

表示原始图像像素的灰度值，m、n 为图像的行数和列数。均方根误差越小，峰值信噪比越大，则增强去噪效果越好。

第三步，使用photoshop软件，在手掌图像的手掌区域内手工切割出含有分叉的区域图像和不含分叉的区域图像作为后续全连接神经网络训练的样本。

第四步，使用深度卷积神经网络对手工提取的区域进行特征提取：使用Inception-ResNet-v2深度卷积神经网络模型特征提取，，提取目标的层级特征，获取目标多维度特征描述; 并依靠卷积神经网络的自我学习能力，自主解决特征选择问题，实现特征提取; 其步骤如下:

(1)、加载模块及定义函数：加载相应的库及Inception-ResNet-v2模型。

定义计算培训目录的文件个数的函数。如表1所示

表1 获得directory目录文件个数函数

(2)、数据准备

数据放在不同的文件夹下，即把样本图像文件按照料含有分叉和不含有分叉的分别放在不同的文件夹下，并把这两个文件夹放在程序运行目录的培训目录(train)目录下。

(3)、使用预训练的Inception-ResNet-v2深度卷积神经网络模型提取特征。

第五步，全连接神经网络分类器设计：如图3，将上一步产生的特征向量作为全连接神经网络的输入进行分类训练，输入层的结点个数2048，输出层的结点个数为2。其步骤如下：

(1)、在（0，1）范围随机定权值和偏差初始值。

(2)、输入培训数据的特征向量值X，通过以下公式得到输出值O。

(3)、根据输出值O和真实值T，计算输出层的误差，再将误差逆向传播到隐层神经元，然后根据神经元的误差来对连接权值w和b进行调整优化，直到训练达到很小的误差值或者迭代到一定的次数。

(4)、获得优化的连接权值w和bias，得到训练好的分类器。

第六步，将待检测的掌纹图像区域分成许多子块，使用Inception-ResNet-v2深度卷积神经网络模型提取提取特征组成特征向量输入已训练好的分类器，实现对分叉掌纹的分类识别。

如图2所示该分叉掌纹识别装置包括：图像预处理装置201，掌纹图像训练装置202，掌纹图像识别装置203。

其中，所述图像预处理装置201，用于获取用户的掌纹图像并进行去噪和增强。

具体地，所述图像预处理装置201 可以通过摄像装置来获取用户的掌纹图像。

其中，所述摄像装置可以是所述图像预处理装置201 自带的摄像装置，所述摄像装置也可以是单独的摄像装置，在单独的摄像装置获取用户的掌纹图像后，将所获取的掌纹图像传输给所述图像预处理装置201。可选地，可以通过摄像装置来获取用户的一幅或多幅掌纹图像。

可选地，可以在符合预定规则时，开启摄像装置的光源，随后通过该摄像装置来获取用户的掌纹图像。

所述的掌纹图像训练装置202用于形成掌纹的分类器模型，包括深度网络训练模块和分类器形成模块；深度网络训练模块，用于提取分叉和非分叉区域信息的层级特征，获取多维度特征描述，实现在特征提取。分类器形成模块，用于将特征信息输入全连接神经网络进行分类训练。

所述的掌纹图像识别装置203，用于基于分类器模型，来进行待检测掌纹的分叉掌纹分类识别。

以上内容是结合具体的实施方式和附图对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (5)

1.一种分叉掌纹识别方法，其特征在于，包括：

a)采集掌纹图像；

b)从采集的掌纹图像中提取分叉区域信息和非分叉区域信息；

c)使用深度卷积神经网络对分叉和非分叉区域信息进行特征信息提取；

d)将特征信息进行分类训练，形成分类器模型；

e)基于分类器模型，来进行待检测掌纹的分叉掌纹分类识别；

在提取分叉区域信息和非分叉区域信息之前对采集的掌纹图像进行去噪和增强；在对掌纹图像进行中值滤波去噪以后，采用高频强调滤波和直方图均衡化相结合的方法对图像进行增强，使得图像在增强的同时既保留低频部分又增加图像的对比度；

对掌纹图像进行去噪和增强：

其步骤如下：

(1)、对含有噪声图像进行三层小波变换，获得低频与高频小波系数；

(2)、对低频小波系数映射到[0,255]，所用公式为：

其中floor(x)不超过x的最大整数，max表示取其最大数，min表示取其最小数，

表示低频小波系数，

表示其映射值，对其映射值进行均衡化处理；

(3)、将低频均衡化处理后的小波系数再逆运算返回原低频数值范围；

(4)、对高频小波系数进行阈值化处理，设是噪声的标准方差，该值需要预先估计，其估计值为:

其中，是图像小波分解后第一层(最高分辨率)水平方向和垂直方向高频子带HH

小波系数，则小波阈值λ为：

其中，N是信号长度，小波系数的处理为：

(5)、对处理好的低频与高频小波系数进行小波反变换获得增强去噪图像。

2.根据权利要求1所述的一种分叉掌纹识别方法，其特征在于所述的深度卷积神经网络使用Inception-ResNet-v2深度卷积神经网络模型。

3.根据权利要求1所述的一种分叉掌纹识别方法，其特征在于所述的分类训练采用全连接神经网络进行。

4.根据权利要求1所述的一种分叉掌纹识别方法，其特征在于所述的待检测掌纹的分叉掌纹分类识别是将待检测的掌纹图像区域分成许多子块，利用训练好的分类器模型，实现对待检测分叉掌纹的分类识别。

5.一种分叉掌纹识别装置，包括图像预处理装置，其特征在于，还包括：

掌纹图像训练装置，用于形成掌纹的分类器模型；

掌纹图像识别装置，用于基于分类器模型，来进行待检测掌纹的分叉掌纹分类识别；

所述的掌纹图像训练装置包括：深度网络训练模块，用于提取分叉和非分叉区域信息的层级特征，获取多维度特征描述，实现在特征提取；

所述的掌纹图像训练装置包括：分类器形成模块，用于将特征信息输入全连接神经网络进行分类训练；

使用深度卷积神经网络对手工提取的区域进行特征提取：使用Inception-ResNet-v2深度卷积神经网络模型特征提取，提取目标的层级特征，获取目标多维度特征描述；并依靠卷积神经网络的自我学习能力，自主解决特征选择问题，实现特征提取；其步骤如下:

(1)、加载模块及定义函数：加载相应的库及Inception-ResNet-v2模型；

定义计算培训目录的文件个数的函数，如表1所示

表1获得directory目录文件个数函数

(2)、数据准备

数据放在不同的文件夹下，即把样本图像文件按照料含有分叉和不含有分叉的分别放在不同的文件夹下，并把这两个文件夹放在程序运行目录的培训目录train目录下；

(3)、使用预训练的Inception-ResNet-v2深度卷积神经网络模型提取特征；

全连接神经网络分类器设计：将上一步产生的特征向量作为全连接神经网络的输入进行分类训练，输入层的结点个数2048，输出层的结点个数为2；其步骤如下：

(1)、在(0，1)范围随机定权值和偏差初始值；

(2)、输入培训数据的特征向量值X，通过以下公式得到输出值O；

(3)、根据输出值O和真实值T，计算输出层的误差，再将误差逆向传播到隐层神经元，然后根据神经元的误差来对连接权值w和b进行调整优化，直到训练达到很小的误差值或者迭代到一定的次数；

(4)、获得优化的连接权值w和bias，得到训练好的分类器。

Images