CN103679207A - 一种手写体数字识别方法及*** - Google Patents

Abstract

本申请公开了一种手写体数字识别方法，包括：根据距离和标签类别，对训练样本构造类内邻接图和类间邻接图；根据所述类内邻接图、所述类间邻接图和所述训练样本组成的矩阵，确定目标维数和投影变换矩阵；将所述训练样本按照所述投影变换矩阵变换到判别子空间中；利用所述投影变换矩阵，将待测样本映射到所述判别子空间中，得到测试样本；利用最近邻分类器，对所述测试样本进行分类。本申请对于每个样本分别在同类近邻样本中找近邻和在异类样本中找近邻，从而克服了样本分布不均衡造成的分类性能差的问题。

Description

一种手写体数字识别方法及***

技术领域

本申请涉及模拟识别技术领域，更具体地说，涉及一种手写体数字识别方法及***。

背景技术

手写体数字识别一直是模拟识别技术领域的研究热点。在现代社会中，与手写体数字识别的相关领域不胜其数，例如：邮件分拣、财税、金融等领域。随着经济的发展，每天等待处理的财会报表、支票等日益增多，如果能够用计算机自动处理，将会节省很大的财力、物力和人力，因此针对这类问题的解决办法就是设计一种可靠性高、识别率高的手写体数字识别方法。

现有技术中，一种方法是采用K近邻分类器，但是该分类器对每个待分类的样本都要计算它到全体已知样本的距离，才能求出它的K个最近邻点，这样计算量特别大。为此，又提出了一种新的基于K近邻分类标准的特征变换算法，该算法将数据映射到更低维空间，可以降低K近邻分类的计算代价。但是，这种方法对于样本分布不均衡的情况下，构建的邻接图并不能很好的保持局部结构，从而使分类性能会变得很差。

发明内容

有鉴于此，本申请提供了一种手写体数字识别方法及***，用于解决现有的K近邻分类算法针对样本分布不均衡的情况，构建的邻接图并不能很好保持局部结构，使得分类性能差的问题。

为了实现上述目的，现提出的方案如下：

一种手写体数字识别方法，包括：

根据距离和标签类别，对训练样本构造类内邻接图和类间邻接图；

根据所述类内邻接图、所述类间邻接图和所述训练样本组成的矩阵，确定目标维数和投影变换矩阵；

将所述训练样本按照所述投影变换矩阵变换到判别子空间中；

利用所述投影变换矩阵，将待测样本映射到所述判别子空间中，得到测试样本；

利用最近邻分类器，对所述测试样本进行分类。

优选地，所述根据距离和标签类别，对训练样本构造类内邻接图和类间邻接图，包括：

将训练样本集定义为

其中y_i是x_i的类别标签，c表示类别数，N表示训练样本的总个数，d表示训练样本的维数；

将类内邻接图定义为F^w，

其中

和

分别表示样本x_i和x_j的同类近邻集合，且x_i与x_j类别相同；将类间邻接图定义为F^b，

其中

和

分别表示样本x_i和x_j的异类近邻集合，且x_i与x_j类别不相同。

优选地，所述根据所述类内邻接图、所述类间邻接图和所述训练样本组成的矩阵，确定目标维数和投影变换矩阵，包括：

对XSX^T进行特征分解，其中X是由所述训练样本x_i组成的训练样本矩阵，S=D^b-F^b-D^w+F^w，D^w是一个对角矩阵，且对角线上的元素为

D^b是一个对角矩阵，且对角线上的元素为

获得特征值λ_i及其对应的特征矢量P_i，i=1,…,d；

把特征值λ_i按照从大到小的顺序排列，即λ₁≥λ₂≥…≥λ_d，则将所有正特征值的个数确定为所述目标维数r，将投影变换矩阵确定为P=[P₁,…,P_r]。

优选地，所述将所述训练样本按照所述投影变换矩阵变换到判别子空间中，包括：

将所述训练样本x_i按照投影变换矩阵P进行变换，获得所述训练样本x_i在判断子空间中的表示v_i=P^Tx_i；

确定所述判别子空间的训练集为{v_i,y_i}^Ni=1,v∈R^r。

优选地，所述利用所述投影变换矩阵，将待测样本映射到所述判别子空间中，得到测试样本，包括：

利用所述投影变换矩阵P，将待测样本x变换到所述判别子空间中；

得到所述判别子空间中的测试样本v=P^Tx。

优选地，所述利用最近邻分类器，对所述测试样本进行分类，包括：

计算所述测试样本v与多个所述训练样本v_i之间的距离；

确定与所述测试样本v的距离最小的训练样本v_i，并将该训练样本v_i对应的类别标签y_i赋予给所述测试样本v。

优选地，所述计算所述测试样本v与多个所述训练样本v_i之间的距离具体为：

计算所述测试样本v与多个所述训练样本v_i之间的欧氏距离。

一种手写体数字识别***，包括：

邻接图构造单元，用于根据距离和标签类别，对训练样本构造类内邻接图和类间邻接图；

投影变换矩阵确定单元，用于根据所述类内邻接图、所述类间邻接图和所述训练样本组成的矩阵，确定投影变换矩阵和目标维数；

待测样本获取单元，用于获取待测样本；

样本变换单元，用于将所述训练样本按照所述投影变换矩阵变换到判别子空间中，将待测样本按照所述投影变换矩阵映射到所述判别子空间中，得到测试样本；

分类处理单元，用于利用最近邻分类器，对所述测试样本进行分类。

优选地，所述样本变换单元包括：

训练样本变换单元，用于将所述训练样本按照所述投影变换矩阵变换到判别子空间中；

待测样本变换单元，用于将待测样本按照所述投影变换矩阵映射到所述判别子空间中，得到测试样本。

优选地，所述分类处理单元包括：

距离计算单元，用于计算所述测试样本v与多个所述训练样本v_i之间的距离；

距离比较单元，用于比较所述测试样本v与多个所述训练样本v_i之间的距离，并将距离最小的训练样本v_i选取出来；

类别标签确定单元，用于将选取出来的训练样本v_i对应的类别标签y_i赋予给所述测试样本v。

从上述的技术方案可以看出，本申请公开的手写体数字识别方法，首先构建类内邻接图和类间邻接图，然后将训练样本和测试样本投影到低维度的判别子空间中，这个过程需要求出投影变换矩阵和目标维数，在低维度的判别子空间中对测试样本进行分类。本申请对于每个样本分别在同类近邻样本中找近邻和在异类样本中找近邻，从而克服了样本分布不均衡造成的分类性能差的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例公开的一种手写体数字识别方法流程图；

图2为本申请实施例公开的一种手写体数字识别***结构图；

图3为本申请实施例公开的样本变换单元结构图；

图4为本申请实施例公开的分类处理单元结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

实施例一

参见图1，图1为本申请实施例公开的一种手写体数字识别方法流程图。

如图1所示，该方法包括：

步骤101：根据距离和标签类别，对训练样本构造类内邻接图和类间邻接图；

具体地，类内邻接图就是在同类样本中查找近邻样本，类间邻接图就是在异类样本中查找近邻样本。

步骤102：根据所述类内邻接图、所述类间邻接图和所述训练样本组成的矩阵，确定目标维数和投影变换矩阵；

具体地，为了简化计算，我们将训练样本投影到维度比较低的空间中，这个过程就需要确定目标空间的维数和投影变换矩阵。

步骤103：将所述训练样本按照所述投影变换矩阵变换到判别子空间中；

具体地，根据上面求出的投影变换矩阵，将训练样本投影到维度比较低的判别子空间中。

步骤104：利用所述投影变换矩阵，将待测样本映射到所述判别子空间中，得到测试样本；

具体地，同上一样，将待测试的样本也按照相同的方法，投影到判别子空间中。

步骤105：利用最近邻分类器，对所述测试样本进行分类。

本实施例公开的手写体数字识别方法，首先构建类内邻接图和类间邻接图，然后将训练样本和测试样本投影到低维度的判别子空间中，这个过程需要求出投影变换矩阵和目标维数，在低维度的判别子空间中对测试样本进行分类。本申请对于每个样本分别在同类近邻样本中找近邻和在异类样本中找近邻，从而克服了样本分布不均衡造成的分类性能差的问题。

实施例二

本实施例中将对上述各个步骤做详细介绍。

（1）、对原空间的训练样本根据距离和标签类别构造类内邻接图和类间邻接图，从而保持近邻之间的关系。

具体地，将训练样本集定义为

其中y_i是x_i的类别标签，c表示类别数，N表示训练样本的总个数，d表示训练样本的维数。

将类内邻接图定义为F^w：

其中

和

分别表示样本x_i和x_j的同类近邻集合，且x_i与x_j类别相同。将类间邻接图定义为F^b：

其中

和分别表示样本x_i和x_j的异类近邻集合，且x_i与x_j类别不相同。

通过构建类内邻接图和类间邻接图，可以保持训练样本在原空间中与同类近邻样本和异类近邻样本之间的关系，一方面可以保持样本在原始空间中的局部结构，另一方面在后面的目标函数部分用于提取样本的同类近邻样本和异类近邻样本。

（2）、确定投影变换矩阵和目标维数

原空间的样本x_i在投影变换矩阵作用后，变换到一个判别子空间中，其对应的低维样本可表示为P^Tx_i。为了能够让数据在判别子空间中能很好的实现类内聚合、类间分开的思想，需要在判别子空间中最大化类间距离之和与类内距离之和的差，即：

$\underset{P}{\max \mathrm{\Θ}\left(P\right)=\mathrm{\ψ}\left(P\right)-\mathrm{\Φ}\left(P\right)}$

其中Φ(P)是判别子空间中的类内距离之和，Ψ(P)是判别子空间中的类间距离之和。由于Φ(P)=2P^TX(D^w-F^w)X^TP，其中D^w是一个对角矩阵，且对角线上的元素为

此外Ψ(P)=2P^TX(D^b-F^b)X^TP，其中D^b是一个对角矩阵，且对角线上的元素为因此，距离差可以改写为：

$\underset{P}{\max }\mathrm{\Θ}\left(P\right)=P^T\mathrm{XS}{X}^{T}P$

其中S=D^b-F^b-D^w+F^w。

为了得到投影变换矩阵P，需要对对称矩阵XSX^T进行特征分解，获得特征值λ_i及其对应的特征矢量P_i，i=1,…,d。把特征值按照从大到小的顺序排列，即λ₁≥λ₂≥…≥λ_d。最佳目标维数r是所有正特征值的个数，则投影变换矩阵P=[P₁,…,P_r]。

（3）、将训练样本进行空间变换

将所述训练样本x_i按照投影变换矩阵P进行变换，获得所述训练样本x_i在判断子空间中的表示v_i=P^Tx_i；

确定所述判别子空间的训练集为{v_i,y_i}^Ni=1,v∈R^r。

至此，我们完成了对训练样本的训练过程，也就是将原空间的训练样本映射到判别子空间中，在低维度空间表示训练样本，这样减小了计算量。

（4）、对待测样本进行分类

对某个需要进行测试的样本x进行投影变换，投影变换的过程中所使用的投影变换矩阵也是P，经投影变换之后将待测样本x变换到判别子空间中，得到判别子空间中的测试样本v=P^Tx。

进一步，利用最近邻分类器，对测试样本进行分类。分类时，先计算测试样本v与已知的多个训练样本v_i之间的距离，从中确定出距离最小的训练样本v_i，然后将该训练样本v_i对应的类别标签y_i赋予给测试样本v。

至此，我们就完成了对待测试样本的分类处理。

需要说明的是，在计算测试样本与已知的多个训练样本之间的距离时，我们可以计算二者之间的欧氏距离，然后挑选出欧氏距离最小的训练样本。距离越小，代表着两个样本之间的吻合度越高。

我们选用本申请的识别方法和判别近邻嵌入算法做比较，通过两种算法分别对500个待测样本进行分类识别，以下是二者识别结果对比表：

数字类别	判别近邻嵌入算法	本申请
			1	98.00	99.33
3	88.33	94.33
			7	84.66	91.00
8	83.33	93.00
			9	88.00	95.00
平均	88.46	94.53

通过实验结果我们可以看出本申请的手写体数字识别效果明显优于判别近邻嵌入算法，并表现出了较强的稳定性，具有一定的优势。

实施例三

参见图2，图2为本申请实施例公开的一种手写体数字识别***结构图。

如图2所示，该***包括：

邻接图构造单元21，用于根据距离和标签类别，对训练样本构造类内邻接图和类间邻接图；

投影变换矩阵确定单元22，用于根据所述类内邻接图、所述类间邻接图和所述训练样本组成的矩阵，确定投影变换矩阵和目标维数；

待测样本获取单元23，用于获取待测样本；

样本变换单元24，用于将所述训练样本按照所述投影变换矩阵变换到判别子空间中，将待测样本按照所述投影变换矩阵映射到所述判别子空间中，得到测试样本；

分类处理单元25，用于利用最近邻分类器，对所述测试样本进行分类。

本实施例公开的手写体数字识别***，首先构建类内邻接图和类间邻接图，然后将训练样本和测试样本投影到低维度的判别子空间中，这个过程需要求出投影变换矩阵和目标维数，在低维度的判别子空间中对测试样本进行分类。本申请对于每个样本分别在同类近邻样本中找近邻和在异类样本中找近邻，从而克服了样本分布不均衡造成的分类性能差的问题。

需要说明的是，参见图3，图3为本申请实施例公开的样本变换单元结构图。如图3所示，样本变换单元24可以进一步分为训练样本变换单元241和待测样本变换单元242，分别用来按照投影变换矩阵P将训练样本x_i和待测样本x投影到判别子空间中去，其中待测样本x投影到判别子空间中得到测试样本v，训练样本x_i投影到判别子空间中得到其判别子空间表达形式v_i。

需要说明的是，参见图4，图4为本申请实施例公开的分类处理单元结构图。如图4所示，分类处理单元25可以进一步分为：距离计算单元251，用来计算测试样本v与多个训练样本v_i之间的距离；距离比较单元252，用来比较测试样本v与多个训练样本v_i之间的距离，并将距离最小的训练样本v_i选取出来；类别标签确定单元253，用来将选取出来的训练样本v_i对应的类别标签y_i赋予给测试样本v。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种手写体数字识别方法，其特征在于，包括：

根据距离和标签类别，对训练样本构造类内邻接图和类间邻接图；

根据所述类内邻接图、所述类间邻接图和所述训练样本组成的矩阵，确定目标维数和投影变换矩阵；

将所述训练样本按照所述投影变换矩阵变换到判别子空间中；

利用所述投影变换矩阵，将待测样本映射到所述判别子空间中，得到测试样本；

利用最近邻分类器，对所述测试样本进行分类。

2.根据权利要求1所述的方法，其特征在于，所述根据距离和标签类别，对训练样本构造类内邻接图和类间邻接图，包括：

将训练样本集定义为

其中y_i是x_i的类别标签，c表示类别数，N表示训练样本的总个数，d表示训练样本的维数；

将类内邻接图定义为F^w，

其中

和

分别表示样本x_i和x_j的同类近邻集合，且x_i与x_j类别相同；将类间邻接图定义为F^b，

其中

和

分别表示样本x_i和x_j的异类近邻集合，且x_i与x_j类别不相同。

3.根据权利要求2所述的方法，其特征在于，所述根据所述类内邻接图、所述类间邻接图和所述训练样本组成的矩阵，确定目标维数和投影变换矩阵，包括：

对XSX^T进行特征分解，其中X是由所述训练样本x_i组成的训练样本矩阵，S=D^b-F^b-D^w+F^w，Dw是一个对角矩阵，且对角线上的元素为D^b是一个对角矩阵，且对角线上的元素为

获得特征值λ_i及其对应的特征矢量P_i，i=1,…,d；

把特征值λ_i按照从大到小的顺序排列，即λ₁≥λ₂≥…≥λ_d，则将所有正特征值的个数确定为所述目标维数r，将投影变换矩阵确定为P=[P₁,…,P_r]。

4.根据权利要求3所述的方法，其特征在于，所述将所述训练样本按照所述投影变换矩阵变换到判别子空间中，包括：

将所述训练样本x_i按照投影变换矩阵P进行变换，获得所述训练样本x_i在判断子空间中的表示v_i=P^Tx_i；

确定所述判别子空间的训练集为{v_i,y_i}^Ni=1,v∈R^r。

5.根据权利要求4所述的方法，其特征在于，所述利用所述投影变换矩阵，将待测样本映射到所述判别子空间中，得到测试样本，包括：

利用所述投影变换矩阵P，将待测样本x变换到所述判别子空间中；

得到所述判别子空间中的测试样本v=P^Tx。

6.根据权利要求5所述的方法，其特征在于，所述利用最近邻分类器，对所述测试样本进行分类，包括：

计算所述测试样本v与多个所述训练样本v_i之间的距离；

确定与所述测试样本v的距离最小的训练样本v_i，并将该训练样本v_i对应的类别标签y_i赋予给所述测试样本v。

7.根据权利要求6所述的方法，其特征在于，所述计算所述测试样本v与多个所述训练样本v_i之间的距离具体为：

计算所述测试样本v与多个所述训练样本v_i之间的欧氏距离。

8.一种手写体数字识别***，其特征在于，包括：

邻接图构造单元，用于根据距离和标签类别，对训练样本构造类内邻接图和类间邻接图；

投影变换矩阵确定单元，用于根据所述类内邻接图、所述类间邻接图和所述训练样本组成的矩阵，确定投影变换矩阵和目标维数；

待测样本获取单元，用于获取待测样本；

样本变换单元，用于将所述训练样本按照所述投影变换矩阵变换到判别子空间中，将待测样本按照所述投影变换矩阵映射到所述判别子空间中，得到测试样本；

分类处理单元，用于利用最近邻分类器，对所述测试样本进行分类。

9.根据权利要求8所述的***，其特征在于，所述样本变换单元包括：

训练样本变换单元，用于将所述训练样本按照所述投影变换矩阵变换到判别子空间中；

待测样本变换单元，用于将待测样本按照所述投影变换矩阵映射到所述判别子空间中，得到测试样本。

10.根据权利要求8所述的***，其特征在于，所述分类处理单元包括：

距离计算单元，用于计算所述测试样本v与多个所述训练样本v_i之间的距离；

距离比较单元，用于比较所述测试样本v与多个所述训练样本v_i之间的距离，并将距离最小的训练样本v_i选取出来；

类别标签确定单元，用于将选取出来的训练样本v_i对应的类别标签y_i赋予给所述测试样本v。

Images