CN109902585A - 一种基于图模型的手指三模态融合识别方法 - Google Patents

Abstract

一种基于图模型的手指三模态融合识别方法。其包括利用Gabor滤波器对原始手指三模态图像进行增强而获得手指三模态增强图像；建立手指三模态增强图像的图模型，获得图特征；利用串联融合或编码融合方式对手指三模态增强图像的图结构特征进行融合，得到综合特征向量；采用超限学习机算法对手指三模态增强图像的综合特征向量进行分类等步骤。本发明提供的基于图模型的手指三模态融合识别方法不仅能够充分表达手指三模态图像的特征，具有良好的特征表达能力，而且能够有效解决三模态图像由于尺寸不一致导致的融合制约的问题，在自制的手指三模态数据库上的实验结果表明本方法具有一定的可行性。

Description

一种基于图模型的手指三模态融合识别方法

技术领域

本发明属于生物特征识别领域，特别是涉及一种基于图模型的手指三模态融合识别方法。

背景技术

随着计算机视觉技术的发展，生物特征识别技术在身份认证方面获得了广泛的发展和应用。由于具有较高的用户认可度和便利性，因此基于生物特征的身份鉴别技术正在逐渐取代传统识别技术。人的手指包含多种生物特征模态，其中，指纹、指静脉和指节纹三个模态均能够实现身份鉴别。然而，手指单模态生物特征识别技术研究与应用结果表明，仅仅依靠手指单模态进行身份鉴别，无法满足识别精度与稳定性的要求。

相对于单模态识别，基于生物特征的多模态融合识别在泛化性和安全性方面表现出优秀的性能。手指三模态生物特征采集方便，所处位置较为紧凑，为手指三模态融合识别建立了基础。然而手指三模态图像尺寸的不一致性，是影响多模态特征有效融合的关键性问题。因此，建立普适性的手指三模态图像特征表达模型，搭建有效的融合识别框架，是手指三模态融合识别的基础。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于图模型的手指三模态融合识别方法。

为了达到上述目的，本发明提供的基于图模型的手指三模态融合识别方法包括按顺序进行的下列步骤：

(1)利用Gabor滤波器对原始手指三模态图像进行增强而获得手指三模态增强图像；

(2)建立上述手指三模态增强图像的图模型，获得图特征；

(3)利用串联融合或编码融合方式对上述手指三模态增强图像的图结构特征进行融合，得到综合特征向量；

(4)采用超限学习机算法对上述手指三模态增强图像的综合特征向量进行分类。

在步骤(1)中，所述的利用Gabor滤波器对原始手指三模态图像进行增强而获得手指三模态增强图像的方法是：

Gabor滤波器算子定义如下：

其中，θ是Gabor滤波器的方向，f₀是Gabor滤波器的中心频率，σ和γ分别代表标准偏差和椭圆高斯包络的长宽比，v是一种直流响应因素，x_θ＝xcosθ+ysinθ和y_θ＝-xsinθ+ycosθ是坐标x,y旋转θ度后的值；

手指三模态增强图像R(x,y)通过原始手指三模态图像I(x,y)与Gabor算子G(x,y)卷积得到，如下式所示：

其中，表示二维卷积。

在步骤(2)中，所述的建立上述手指三模态增强图像的图模型，获得图特征的具体步骤如下：

1)对上述手指三模态增强图像进行分块处理，以每一图块作为加权图中的一个顶点；

采用滑动窗口的方式，依此遍历整张手指模态增强图像，形成若干个图块。若手指模态增强图像尺寸为M×N，滑动窗口的大小为h×w，以右和下为滑动方向的滑动步长分别为r和d，则图块个数的计算公式如下：

其中，round(·)为求整算子；

2)基于三角剖分算法，根据上述加权图的顶点选取加权图的边集，由此确定出加权图的结构；

采用加权图来表征手指模态增强图像，即只考虑当前顶点与其右、下、右下邻居顶点间的关联关系；

3)基于Steerable滤波器，获取不同图块的方向能量分布特征，计算出加权图中边的权值函数，最后确定出手指三模态增强图像的图特征；

采用的权值函数定义如下：

w(v_i,v_j|e_ij∈E)＝W(v_i)×S(v_i,v_j)

其中，W(v_i)代表顶点v_i所对应的图块特征，S(v_i,v_j)表征相邻顶点v_i,v_j对应的图块特征相似度。

首先，图块特征W(v_i)的计算方法如下：

图块特征W(v_i)的选取一般需要通过实验来确定，这里给出如下两种选取方式：

其中，AAD是平均绝对离差算子，B_i是第i个顶点对应图块的增强结果；

然后，图块特征相似度S(v_i,v_j)的计算方法如下：

将分割的图块与Steerable滤波器卷积，获得图块的方向能量分布特征，通过方向能量分布特征进行顶点相似度计算；所采用的Steerable滤波器以及方向能量分布特征计算公式如下：

OED＝{E(1),E(2),…,E(θ),…,E(360)|I}

其中，f(x,y)为三角函数构成的基础滤波器组，φ_j是Steerable滤波器的方向，N为基础滤波器组f(x,y)的数目，k(θ)是插值函数，θ是Steerable滤波器的方向；E(θ)为方向能量计算公式，即图像I与Steerable滤波器h^θ在某一方向θ上的能量响应，X,Y是Steerable滤波器和图像I的尺寸；将不同方向θ的方向能量组成一个向量，得到方向能量分布特征。

方向能量分布特征能够表示加权图中顶点的特征信息，呈向量形式；基于两个顶点的方向能量分布特征的偏差计算图块特征相似度，公式如下：

其中f_i，f_j分别为图块i,j的方向能量分布特征，L为图块i,j的方向能量分布特征的长度，σ为图块特征相似度的均值；

图特征由邻接矩阵表示，其维数等于顶点个数，元素为相应顶点间边的权值函数。

在步骤(3)中，所述的利用串联融合或编码融合方式对上述手指三模态增强图像的图结构特征进行融合，得到综合特征向量的方法是：

1)串联融合方式

串联融合方式是将手指三模态增强图像的图特征向量直接串联在一起而获得综合特征向量，即将邻接矩阵拼接在一起；

2)编码融合方式

编码融合方式是采用竞争编码的方式将手指三模态增强图像的图特征，即邻接矩阵融合为一个综合特征向量；具体方法是：将每个像素编码用一个7字节的编码向量[c₁,c₂,c₃,c₄,c₅,c₆,c₇]表示，每个编码向量元素将由该位置的三模态编码像素以及其与周围像素间的关系进行确定；考虑手指三模态增强图像的图结构中位置(i,j)的编码像素融合，其像素值分别由FV_i,j，FP_i,j以及FKP_i,j表示。在手指三模态增强图像的图结构中位置(i,j)的编码像素融合向量中，(c₃,c₅)构成位置对，由指静脉模态增强图像的图特征计算获得；(c₂,c₆)构成位置对，由指纹模态增强图像的图特征计算获得；(c₁,c₇)构成位置对，由指节纹模态增强图像的图特征计算获得；计算公式如下：

编码向量c₄中可以保留手指三模态增强图像的图结构像素比较信息，计算公式如下：

在图特征的编码融合中，位置(i,j)的编码像素融合值采用加权方式取得，计算公式如下：

在步骤(4)中，所述的采用超限学习机算法对上述手指三模态增强图像的综合特征向量进行分类的方法是：

给定一组包含N个变量的训练样本，S＝{(x_i,t_i)|x_i∈Rⁿ,t_i∈R^m,i＝1,2,…,N}，则带有个节点的单隐层神经网络可以表示成：

其中，a_j和b_j是学习参数，β_j是第j个隐藏节点与输出变量间的权重参数，x_i和t_i分别表示第i个变量的特征和目标输出，G(a_j,b_j,x_i)是一个非线性分段连续函数，满足超限学习机的万能逼近能力；

以上的个等式可以写成矩阵形式：

Hβ＝T

其中，叫做隐藏层输出矩阵。

超限学习机算法的输出可以由最小二乘算法求得：

其中，表示维单位阵，C为非零正则化因子。

本发明提供的基于图模型的手指三模态融合识别方法不仅能够充分表达手指三模态图像的特征，具有良好的特征表达能力，而且能够有效解决三模态图像由于尺寸不一致导致的融合制约的问题，在自制的手指三模态数据库上的实验结果表明本方法具有一定的可行性。

附图说明

图1为原始手指三模态图像及增强图像，其中(a)—(c)分别为原始指静脉图像、指静脉细化图像和指静脉增强图像；(d)—(f)分别为原始指纹图像、指纹细化图像和指纹增强图像；(g)—(i)分别为原始指节纹图像、指节纹细化图像和指节纹增强图像。

图2为手指三模态增强图像的图块划分规则。

图3为基于三角剖分算法的手指模态增强图像的加权图表达结构。

图4为手指模态增强图像的图结构表示实例，(a)为图块划分，(b)为图结构的邻接矩阵表示。

图5为串联融合方法示意图，(a)中从上至下为指静脉、指纹和指节纹三模态增强图像，(b)为相应的手指三模态增强图像的图结构，(c)为相应的手指三模态增强图像的图特征的邻接矩阵表示，(d)为相应的手指三模态增强图像的图特征向量，(e)为串联融合后的综合特征向量。

图6为编码融合方法示意图。

图7为超限学习机算法结构。

图8为基于图模型的指纹特征识别ROC曲线。

图9为基于图模型的指静脉特征识别ROC曲线。

图10为基于图模型的指节纹特征识别ROC曲线。

图11为手指三模态特征图结构建立时间。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于图模型的手指三模态融合识别方法进行详细说明。

本发明提供的基于图模型的手指三模态融合识别方法包括按顺序进行的下列步骤：

(1)利用Gabor滤波器对原始手指三模态图像进行增强而获得手指三模态增强图像；

手指上的指静脉、指纹和指节纹三种模态图像具有丰富的纹路信息，但其在采集中，易受外界环境影响，从而导致图像质量较低，进而会严重影响识别精度和识别效率。图像增强是保证手指生物模态特征准确提取和识别的关键。近年来，Gabor滤波器被广泛应用于图像处理、模式识别以及计算机视觉等领域中，其频率和方向表示近似于人类视觉***的频率和方向的表示。Gabor滤波器对于具有纹理特征的图像敏感，适合于手指生物特征图像的增强。

Gabor滤波器算子定义如下：

其中，θ是Gabor滤波器的方向，f₀是Gabor滤波器的中心频率，σ和γ分别代表标准偏差(常常被称作尺度)和椭圆高斯包络的长宽比，v是一种直流响应因素，x_θ＝xcosθ+ysinθ和y_θ＝-xsinθ+ycosθ是坐标x,y旋转θ度后的值。手指三模态增强图像R(x,y)可以通过原始手指三模态图像I(x,y)与Gabor算子G(x,y)卷积得到，如下式所示：

其中，表示二维卷积。图1为原始手指三模态图像及增强图像，其中(a)—(c)分别为原始指静脉图像、指静脉细化图像和指静脉增强图像；(d)—(f)分别为原始指纹图像、指纹细化图像和指纹增强图像；(g)—(i)分别为原始指节纹图像、指节纹细化图像和指节纹增强图像；

(2)建立上述手指三模态增强图像的图模型，获得图特征；

图论相关研究始于1736年，是数学科学研究的重要分支。图常用来描述两个物体或者一个物体、不同部位之间的关系。作为一种有效的图像描述方法，图能够良好地描述图像间特定部位的关联。在过去几十年的研究中，图论在模式识别领域获得了成功的应用。

本发明采用加权图来表征手指三模态增强图像的图特征。图结构能够良好地解决手指三模态增强图像尺度不一致问题，为融合识别奠定基础。一个加权图可以表示为G(V,E,W)，其中V表示顶点集，E表示边集，W表示边之间的权重连接，也称其为权值函数。顶点集的选择至关重要，通常选择两种类型的特征点作为图的顶点：像素点和细节点。如果选择像素点作为图的顶点，建立的图尺寸较大，计算复杂度较高；细节点指的是生物模态图像中具有标识意义的点。以指静脉图像为例，其纹路分叉点、端点可以作为细节点。细节点的定义人为依赖性较强，鲁棒性较差。

具体步骤如下：

1)对上述手指三模态增强图像进行分块处理，以每一图块作为加权图中的一个顶点；

本发明首先建立手指三模态增强图像的图结构表示，采用图块划分的方式确定加权图的顶点。图2展示了手指三模态增强图像的图块划分规则，采用滑动窗口的方式，依此遍历整张手指模态增强图像，形成若干个图块。若手指模态增强图像尺寸为M×N，滑动窗口的大小为h×w，以右和下为滑动方向的滑动步长分别为r和d，则图块个数的计算公式如下：

其中，round(·)为求整算子。本发明选取每一个图块作为加权图中的一个顶点，不仅可以减少加权图中顶点个数，而且，通过调整滑动窗口的大小以及滑动步长，能够保证手指三模态增强图像获得相同个数的图块，即在图像尺寸上保持一致，进而解决了手指三模态增强图像尺度不一致问题。

2)基于三角剖分算法，根据上述加权图的顶点选取加权图的边集，由此确定出加权图的结构；

在加权图的顶点确定后，需要确定其边集。为了减少计算复杂度，需要精简图的结构复杂度。在手指模态增强图像中，局部特征与其相邻区域关联性较强，而随着距离的增大，与远邻区域关联性逐渐减弱。在加权图的结构中，只考虑当前顶点与其相邻区域顶点的关系，而非相邻顶点关系忽略不计。另外，相对于无向图，加权图能够更好地表征顶点关系，故本发明采用加权图来表征手指模态增强图像。图3展示了基于三角剖分算法的手指模态增强图像的加权图表达结构，即只考虑当前顶点与其右、下、右下邻居顶点间的关联关系。

3)基于Steerable滤波器，获取不同图块的方向能量分布特征，计算出加权图中边的权值函数，最后确定出手指三模态增强图像的图特征；

权值函数用来描述顶点间的内涵表达，即顶点间的关系。不同的权值函数以及顶点内涵，对应于不同类型的图像细节信息，本发明采用的权值函数定义如下：

w(v_i,v_j|e_ij∈E)＝W(v_i)×S(v_i,v_j)

其中，W(v_i)代表顶点v_i所对应的图块特征，S(v_i,v_j)表征相邻顶点v_i,v_j对应的图块特征相似度。

首先，图块特征W(v_i)的计算方法如下：

在手指模态增强图像的图块划分过程中，可能会产生较多的空白图块或包含少量纹理的图块。基于空白图块和少纹理图块计算的图块特征相似度不具备代表性，不利于图模型对图像纹理网络的描述。权值函数中图块特征W(v_i)的引入，可用来筛选掉空白图块或包含少量纹理的图块，或者弱化这些图块的影响。

图块特征W(v_i)的选取一般需要通过实验来确定，本发明给出如下两种选取方式：

其中，AAD是平均绝对离差算子，B_i是第i个顶点对应图块的增强结果。

然后，图块特征相似度S(v_i,v_j)的计算方法如下：

使用Steerable滤波器提取手指模态增强图像的纹理曲线结构，进行相邻顶点的图块特征相似度计算。将分割的图块与Steerable滤波器卷积，获得图块的方向能量分布特征，通过方向能量分布特征进行顶点相似度计算。本发明所采用的Steerable滤波器以及方向能量分布特征计算公式如下：

OED＝{E(1),E(2),…,E(θ),…,E(360)|I}

其中，f(x,y)为三角函数构成的基础滤波器组，φ_j是Steerable滤波器的方向，N为基础滤波器组f(x,y)的数目，k(θ)是插值函数，θ是Steerable滤波器的方向。E(θ)为方向能量计算公式，即图像I与Steerable滤波器h^θ在某一方向θ上的能量响应，X,Y是Steerable滤波器和图像I的尺寸。将不同方向θ的方向能量组成一个向量，得到方向能量分布特征。

方向能量分布特征能够表示加权图中顶点的特征信息，呈向量形式。本发明基于两个顶点的方向能量分布特征的偏差计算图块特征相似度，公式如下：

其中f_i，f_j分别为图块i,j的方向能量分布特征，L为图块i,j的方向能量分布特征的长度，σ为图块特征相似度的均值。

通过以上操作，可以获得手指三模态增强图像的图结构表达。

图特征可以由邻接矩阵表示，其维数等于顶点个数，元素为相应顶点间边的权值函数。图4展示了手指模态增强图像的图结构表示实例。实例中，(a)是将一张手指模态增强图像划分为3×3个图块，即9个顶点；表示两顶点间存在关联；(b)为图特征的邻接矩阵表示，代表着手指三模态增强图像的图结构特征。

(4)利用串联融合或编码融合方式对上述手指三模态增强图像的图结构特征进行融合，得到综合特征向量；

如上所述，可用邻接矩阵表示手指三模态增强图像的图特征。基于邻接矩阵，本发明提出了两种手指三模态增强图像的图特征融合方式：串联融合方式和编码融合方式。

1)串联融合方式

串联融合方式是将手指三模态增强图像的图特征向量直接串联在一起而获得综合特征向量，即将邻接矩阵拼接在一起。考虑到图的建立规则，邻接矩阵中存在着0值元素，故邻接矩阵为稀疏矩阵，可以由向量表示(向量中只保留非0元素)，称其为图特征向量。图5展示了串联融合的实施框图，(a)中从上至下为指静脉、指纹和指节纹三模态增强图像，(b)为相应的手指三模态增强图像的图结构，(c)为相应的手指三模态增强图像的图特征的邻接矩阵表示，(d)为相应的手指三模态增强图像的图特征向量，(e)为串联融合后的综合特征向量。虽然串联融合方式简单，实施方便，但是图特征向量拼接会导致综合特征向量维数变大，从而增加了存储和计算消耗。

2)编码融合方式

编码融合方式是采用竞争编码的方式将手指三模态增强图像的图特征，即邻接矩阵融合为一个综合特征向量。图6展示了编码融合方式的实施框图。具体方法是：将每个像素编码用一个7字节的编码向量[c₁,c₂,c₃,c₄,c₅,c₆,c₇]表示，每个编码向量元素将由该位置的三模态编码像素以及其与周围像素间的关系进行确定。考虑手指三模态增强图像的图结构中位置(i,j)的编码像素融合，其像素值分别由FV_i,j，FP_i,j以及FKP_i,j表示。在手指三模态增强图像的图结构中位置(i,j)的编码像素融合向量中，(c₃,c₅)构成位置对，由指静脉模态增强图像的图特征计算获得；(c₂,c₆)构成位置对，由指纹模态增强图像的图特征计算获得；(c₁,c₇)构成位置对，由指节纹模态增强图像的图特征计算获得。计算公式如下：

编码向量c₄中可以保留手指三模态增强图像的图结构像素比较信息，计算公式如下：

在图特征的编码融合中，位置(i,j)的编码像素融合值采用加权方式取得，计算公式如下：

(4)采用超限学习机算法对上述手指三模态增强图像的综合特征向量进行分类；

经过串联融合或者编码融合后，手指三模态增强图像的图特征整合为综合特征变量，因此可以连接任何的分类器进行分类。为了提高识别效率和识别精度，本发明采用超限学习机算法进行分类。

超限学习机算法属于单隐层神经网络的训练方法，其特点在于隐藏层权重是随机选取的，而输出权重采用最小二乘算法求得，图7展示了超限学习机算法结构。

给定一组包含N个变量的训练样本，S＝{(x_i,t_i)|x_i∈Rⁿ,t_i∈R^m,i＝1,2,…,N}，则带有个节点的单隐层神经网络可以表示成：

其中，a_j和b_j是学习参数，β_j是第j个隐藏节点与输出变量间的权重参数，x_i和t_i分别表示第i个变量的特征和目标输出，G(a_j,b_j,x_i)是一个非线性分段连续函数，满足超限学习机的万能逼近能力。

以上的个等式可以写成矩阵形式：

Hβ＝T

其中，叫做隐藏层输出矩阵。

超限学习机算法的输出可以由最小二乘算法求得：

其中，表示维单位阵，C为非零正则化因子。

为了验证本发明方法的效果，本发明进行了如下实验：

自制了手指三模态数据库，共采集了585个手指图像，每个手指采集三个模态，每个模态采集十张图像。

手指模态增强的图特征具备优秀的表达能力，其可单独用于该模态的生物特征识别。图8、9、10分别展示了在不同的图块尺寸下，指纹、指静脉、指节纹等单模态特征识别的ROC曲线。从中可以看出，图块尺寸越小，提取的特征识别能力越高，等误率越低。图11展示了不同图块带来的计算时间，图块尺寸越小，计算复杂度越高，从而导致计算时间越长。

为了验证本融合识别方法的稳定性和鲁棒性，对于测试数据增加了均值为20、方差为10的白噪声。表1展示出实验对比结果，从中可以看出，相比于手指单模态识别，本发明提供的融合识别方法精度较高；编码融合相对于串联融合识别率较高；本融合识别方法识别时间较长，但是在可接受范围内。

表1手指单模态和多模态融合识别结果比较

Claims (5)

1.一种基于图模型的手指三模态融合识别方法，其特征在于：所述的方法包括按顺序进行的下列步骤：

(1)利用Gabor滤波器对原始手指三模态图像进行增强而获得手指三模态增强图像；

(2)建立上述手指三模态增强图像的图模型，获得图特征；

(3)利用串联融合或编码融合方式对上述手指三模态增强图像的图结构特征进行融合，得到综合特征向量；

(4)采用超限学习机算法对上述手指三模态增强图像的综合特征向量进行分类。

2.根据权利要求1所述的基于图模型的手指三模态融合识别方法，其特征在于：在步骤(1)中，所述的利用Gabor滤波器对原始手指三模态图像进行增强而获得手指三模态增强图像的方法是：

Gabor滤波器算子定义如下：

其中，θ是Gabor滤波器的方向，f₀是Gabor滤波器的中心频率，σ和γ分别代表标准偏差和椭圆高斯包络的长宽比，v是一种直流响应因素，x_θ＝xcosθ+ysinθ和y_θ＝-xsinθ+ycosθ是坐标x,y旋转θ度后的值；

手指三模态增强图像R(x,y)通过原始手指三模态图像I(x,y)与Gabor算子G(x,y)卷积得到，如下式所示：

其中，表示二维卷积。

3.根据权利要求1所述的基于图模型的手指三模态融合识别方法，其特征在于：在步骤(2)中，所述的建立上述手指三模态增强图像的图模型，获得图特征的具体步骤如下：

1)对上述手指三模态增强图像进行分块处理，以每一图块作为加权图中的一个顶点；

采用滑动窗口的方式，依此遍历整张手指模态增强图像，形成若干个图块；若手指模态增强图像尺寸为M×N，滑动窗口的大小为h×w，以右和下为滑动方向的滑动步长分别为r和d，则图块个数的计算公式如下：

其中，round(·)为求整算子；

2)基于三角剖分算法，根据上述加权图的顶点选取加权图的边集，由此确定出加权图的结构；

采用加权图来表征手指模态增强图像，即只考虑当前顶点与其右、下、右下邻居顶点间的关联关系；

3)基于Steerable滤波器，获取不同图块的方向能量分布特征，计算出加权图中边的权值函数，最后确定出手指三模态增强图像的图特征；

采用的权值函数定义如下：

w(v_i,v_j|e_ij∈E)＝W(v_i)×S(v_i,v_j)

其中，W(v_i)代表顶点v_i所对应的图块特征，S(v_i,v_j)表征相邻顶点v_i,v_j对应的图块特征相似度；

首先，图块特征W(v_i)的计算方法如下：

图块特征W(v_i)的选取一般需要通过实验来确定，这里给出如下两种选取方式：

其中，AAD是平均绝对离差算子，B_i是第i个顶点对应图块的增强结果；

然后，图块特征相似度S(v_i,v_j)的计算方法如下：

将分割的图块与Steerable滤波器卷积，获得图块的方向能量分布特征，通过方向能量分布特征进行顶点相似度计算；所采用的Steerable滤波器以及方向能量分布特征计算公式如下：

OED＝{E(1),E(2),…,E(θ),…,E(360)|I}

其中，f(x,y)为三角函数构成的基础滤波器组，φ_j是Steerable滤波器的方向，N为基础滤波器组f(x,y)的数目，k(θ)是插值函数，θ是Steerable滤波器的方向；E(θ)为方向能量计算公式，即图像I与Steerable滤波器h^θ在某一方向θ上的能量响应，X,Y是Steerable滤波器和图像I的尺寸；将不同方向θ的方向能量组成一个向量，得到方向能量分布特征；

方向能量分布特征能够表示加权图中顶点的特征信息，呈向量形式；基于两个顶点的方向能量分布特征的偏差计算图块特征相似度，公式如下：

其中f_i，f_j分别为图块i,j的方向能量分布特征，L为图块i,j的方向能量分布特征的长度，σ为图块特征相似度的均值；

图特征由邻接矩阵表示，其维数等于顶点个数，元素为相应顶点间边的权值函数。

4.根据权利要求1所述的基于图模型的手指三模态融合识别方法，其特征在于：在步骤(3)中，所述的利用串联融合或编码融合方式对上述手指三模态增强图像的图结构特征进行融合，得到综合特征向量的方法是：

1)串联融合方式

串联融合方式是将手指三模态增强图像的图特征向量直接串联在一起而获得综合特征向量，即将邻接矩阵拼接在一起；

2)编码融合方式

编码融合方式是采用竞争编码的方式将手指三模态增强图像的图特征，即邻接矩阵融合为一个综合特征向量；具体方法是：将每个像素编码用一个7字节的编码向量[c₁,c₂,c₃,c₄,c₅,c₆,c₇]表示，每个编码向量元素将由该位置的三模态编码像素以及其与周围像素间的关系进行确定；考虑手指三模态增强图像的图结构中位置(i,j)的编码像素融合，其像素值分别由FV_i,j，FP_i,j以及FKP_i,j表示；在手指三模态增强图像的图结构中位置(i,j)的编码像素融合向量中，(c₃,c₅)构成位置对，由指静脉模态增强图像的图特征计算获得；(c₂,c₆)构成位置对，由指纹模态增强图像的图特征计算获得；(c₁,c₇)构成位置对，由指节纹模态增强图像的图特征计算获得；计算公式如下：

编码向量c₄中可以保留手指三模态增强图像的图结构像素比较信息，计算公式如下：

在图特征的编码融合中，位置(i,j)的编码像素融合值采用加权方式取得，计算公式如下：

5.根据权利要求1所述的基于图模型的手指三模态融合识别方法，其特征在于：在步骤(4)中，所述的采用超限学习机算法对上述手指三模态增强图像的综合特征向量进行分类的方法是：

给定一组包含N个变量的训练样本，S＝{(x_i,t_i)|x_i∈Rⁿ,t_i∈R^m,i＝1,2,…,N}，则带有个节点的单隐层神经网络可以表示成：

其中，a_j和b_j是学习参数，β_j是第j个隐藏节点与输出变量间的权重参数，x_i和t_i分别表示第i个变量的特征和目标输出，G(a_j,b_j,x_i)是一个非线性分段连续函数，满足超限学习机的万能逼近能力；

以上的个等式可以写成矩阵形式：

Hβ＝T

其中，叫做隐藏层输出矩阵；

超限学习机算法的输出可以由最小二乘算法求得：

其中，表示维单位阵，C为非零正则化因子。