CN104778478A - 一种手写数字识别方法 - Google Patents

Abstract

本申请涉及一种手写数字识别方法，该手写数字识别方法包括：获取待识别的测试手写数字图像；确定测试手写数字图像对应的向量，以作为测试样本；利用基于谱回归判别分析方法对测试样本降维；针对预定的多个类别参考向量中的每一个类别，计算降维后的测试样本与该类别参考向量之间的平均相似度；以及选择与降维后的测试样本之间的平均相似度最大的参考向量类别，将该参考向量类别确定为测试手写数字图像的类别。本发明的手写数字识别方法，识别准确率、精度较高，且计算量小，训练时间短、速度快。

Description

一种手写数字识别方法

技术领域

本发明涉及模式识别和机器学习领域，具体涉及一种手写数字识别方法。

背景技术

手写数字识别一直是模式识别和机器学***板屏幕以及运行识别算法的机器设备。静态手写数字是针对数字化形式的手写数字图像的识别技术，并不需要使用特殊的仪器设备。

现有的静态手写数字识别技术对静态手写数字的识别准确率较低，且计算量大、处理效率较低。

发明内容

本发明提供一种手写数字识别方法，其目的是解决现有的静态手写数字识别技术对静态手写数字的识别准确率较低的问题。

为了实现上述发明目的，本发明采取的技术方案如下：

一种手写数字识别方法，该手写数字识别方法包括：获取待识别的测试手写数字图像；确定测试手写数字图像对应的向量，以作为测试样本；利用基于谱回归判别分析(Spectral Regression Discriminant Analysis,SRDA)方法对测试样本降维；针对预定的多个类别参考向量中的每一个类别，计算降维后的测试样本与该类别参考向量之间的平均相似度；以及选择与降维后的测试样本之间的平均相似度最大的参考向量类别，将该参考向量类别确定为测试手写数字图像的类别。

优选地，针对预定的多个类别参考向量中的每一个类别、计算降维后的测试样本与该类别参考向量之间的平均相似度的步骤包括：计算降维后的测试样本与该类别参考向量之间的平均距离；以及根据降维后的测试样本与该类别参考向量之间的平均距离，利用径向基核函数，计算降维后的测试样本与该类别参考向量之间的平均相似度。

优选地，手写数字识别方法还包括：利用基于谱回归判别分析方法对训练样本集中每个训练样本降维，其中，训练样本集包括多个类别，训练样本集的每个类别包括该类别下的至少一个参考手写数字图像对应的向量，作为该类别下的训练样本；以及针对训练样本集的每个类别，计算该类别下每两个训练样本之间的相对距离，以获得该类别下的每个训练样本的局部密度，针对该类别下的每个训练样本，将该类别下局部密度比该训练样本的局部密度大的训练样本作为该训练样本对应的候选样本，将候选样本到该训练样本之间的相对距离中的最小值确定为该训练样本的代表距离。

优选地，训练样本集的多个类别包括如下10个数字类别：数字“0”、数字“1”、数字“2”、数字“3”、数字“4”、数字“5”、数字“6”、数字“7”、数字“8”和数字“9”。

优选地，利用基于谱回归判别分析方法对训练样本集中每个训练样本降维的步骤包括：设训练样本集中第v类有m_v个训练样本，v＝1,2,…,c，c为所述训练样本集所包含训练样本的类别总数，训练样本集共有m个训练样本，分别用x₁,x₂,…,x_m表示，每个训练样本为多维向量；令a₀＝[1,1,…,1]^T和a_v＝[0,…,0,1,…,1,0,…,0]^T，其中a₀中包括m个1元素，a_v中包括m_v个1元素、m-m_v个0元素，使用Gram-Schmidt正交化法则来处理向量组{a₀,a₁,…,a_c}，获得b₀＝a₀以及另外c-1个正交向量r＝1,2,…,c-1；给每个训练样本x_i添加一个新元素1以更新每个训练样本及训练样本集；求解更新后的训练样本集中训练样本的c-1个特征向量，得到其中b_j ^(r)表示b_r的第j维元素，α是非负的尺度参数；利用c-1个向量所构成的(n-1)×(c-1)维投影矩阵P，并根据如下公式来对更新后的每个训练样本进行降维，其中，为对更新后的第i个训练样本x_i降维后得到的c-1维向量。

优选地，每个类别下的每个训练样本的局部密度通过如下方式获得：针对降维后的训练样本集中的每个类别，计算该类别下每两个训练样本和在c-1维空间中的欧氏距离d_h,f，作为和之间的相对距离，计算该类别下至的距离小于阈值距离d_c的训练样本个数，作为训练样本的局部密度ρ_h，其中S(△d)是符号函数，当△d<0时，S＝1，否则S＝0。

优选地，通过如下步骤对测试样本进行降维：利用投影矩阵P对测试样本y进行降维，所得降维后的测试样本为： $\tilde{y}=P^T\left[\begin{array}{c}y\\ 1\end{array}\right].$

本发明和现有技术相比，具有如下有益效果：

本发明的一种手写数字识别方法，识别准确率、精度较高，且计算量小、处理效率高；训练时间短、速度快。

附图说明

图1是本发明实施例的一种手写数字识别方法的一个示例的流程图；

图2是本发明另一个实施例的手写数字识别方法的部分流程示意图；

图3A是本发明一个应用示例中的训练部分的工作流程示意图；以及

图3B是本发明一个应用示例中的测试部分的工作流程示意图。

具体实施方式

为使本发明的发明目的、技术方案和有益效果更加清楚明了，下面结合附图对本发明的实施例进行说明，需要说明的是，在不冲突的情况下，本申请中的实施例和实施例中的特征可以相互任意组合。

本发明的实施例提供了一种手写数字识别方法，该手写数字识别方法包括：获取待识别的测试手写数字图像；确定测试手写数字图像对应的向量，以作为测试样本；利用基于谱回归判别分析方法对测试样本降维；针对预定的多个类别参考向量中的每一个类别，计算降维后的测试样本与该类别参考向量之间的平均相似度；以及选择与降维后的测试样本之间的平均相似度最大的参考向量类别，将该参考向量类别确定为测试手写数字图像的类别。

图1示出了根据本发明实施例的一种手写数字识别方法的一个示例处理的流程图。如图1所示，该处理流程开始之后，首先执行步骤S110。

在步骤S110中，获取待识别的测试手写数字图像。然后，执行步骤S120。

在步骤S120中，确定测试手写数字图像对应的向量，以作为测试样本。然后，执行步骤S130。

在步骤S130中，利用基于谱回归判别分析方法对测试样本降维。然后，执行步骤S140。

在步骤S140中，针对预定的多个类别参考向量中的每一个类别，计算降维后的测试样本与该类别参考向量之间的平均相似度。然后，执行步骤S150。

在步骤S150中，选择与降维后的测试样本之间的平均相似度最大的参考向量类别，将该参考向量类别确定为测试手写数字图像的类别。然后，结束处理。

利用本发明的上述手写数字识别方法对静态手写数字进行识别，识别准确率较高，且计算量小、处理效率高。经实验验证，该手写数字识别方法的识别精度较高且算法较为稳定。

优选地，在步骤S140中，针对每个类别参考向量，可以首先计算降维后的测试样本与该类别参考向量之间的平均距离(例如平均欧式距离)；然后根据降维后的测试样本与该类别参考向量之间的平均距离，利用径向基核函数，计算降维后的测试样本与该类别参考向量之间的平均相似度。

根据一种实现方式，手写数字识别方法还包括如图2所示的步骤S101～S102。

在步骤S101中，利用基于谱回归判别分析方法对训练样本集中每个训练样本降维，其中，训练样本集包括多个类别，训练样本集的每个类别包括该类别下的至少一个参考手写数字图像对应的向量，作为该类别下的训练样本。然后，执行步骤S102。

在步骤S102中，针对训练样本集的每个类别，计算该类别下每两个训练样本之间的相对距离(例如相对欧式距离)，以获得该类别下的每个训练样本的局部密度，针对该类别下的每个训练样本，将该类别下局部密度比该训练样本的局部密度大的训练样本作为该训练样本对应的候选样本，将候选样本到该训练样本之间的相对距离中的最小值确定为该训练样本的代表距离。

其中，步骤S101和S102可以在步骤S110之前执行。

目前，针对静态手写数字的识别通常是利用神经网络方法来进行处理，而神经网络方法需要对大规模的训练样本进行训练，训练的时间非常长、速度较慢。在以上实现方式中，通过步骤S101和S102的预先处理，其不需较大规模的训练样本即可完成训练阶段，而且由于对训练样本进行了降维处理，能够进一步减小计算量，提高训练速度。

优选地，训练样本集的多个类别包括如下10个数字类别：数字“0”、数字“1”、数字“2”、数字“3”、数字“4”、数字“5”、数字“6”、数字“7”、数字“8”和数字“9”。

优选地，利用基于谱回归判别分析方法对训练样本集中每个训练样本降维的步骤包括：设训练样本集中第v类有m_v个训练样本，v＝1,2,…,c，c为所述训练样本集所包含训练样本的类别总数，训练样本集共有m个训练样本，分别用x₁,x₂,…,x_m表示，每个训练样本为多维(例如n维)向量；令a₀＝[1,1,…,1]^T和a_v＝[0,…,0,1,…,1,0,…,0]^T，其中a₀中包括m个1元素，a_v中包括m_v个1元素、m-m_v个0元素，使用Gram-Schmidt正交化法则来处理向量组{a₀,a₁,…,a_c}，获得b₀＝a₀以及另外c-1个正交向量r＝1,2,…,c-1；给每个训练样本x_i添加一个新元素1以更新每个训练样本及训练样本集；求解更新后的训练样本的c-1个特征向量，得到其中b_j ^(r)表示b_r的第j维元素，α是非负的尺度参数；利用c-1个向量所构成的(n-1)×(c-1)维投影矩阵P，并根据如下公式来对更新后的每个训练样本进行降维，其中，为对更新后的第i个训练样本x_i降维后得到的c-1维向量。其中，在a_v的m个元素中，从起始元素开始依次包括∑(m₁+m₂+…+m_v-1)个0、m_v个1、以及∑(m_v+1+m_v+2…+m_c)个0。比如，v＝1时，a₁的m个元素依次包括0个0、m₁个1、以及∑(m₂+m₃…+m_c)个0；v＝2时，a₂的m个元素依次包括m₁个0，m₂个1、以及∑(m₃+m₄…+m_c)个0，以此类推。

优选地，每个类别下的每个训练样本的局部密度通过如下方式获得：针对降维后的训练样本集中的每个类别，计算该类别下每两个训练样本和在c-1维空间中的欧氏距离d_h,f，作为和之间的相对距离，计算该类别下至的距离小于阈值距离d_c的训练样本个数，作为训练样本的局部密度ρ_h，其中S(△d)是符号函数，当△d<0时，S＝1，否则S＝0。

优选地，通过如下步骤对测试样本进行降维：利用投影矩阵P对测试样本y进行降维，所得降维后的测试样本为： $\tilde{y}=P^T\left[\begin{array}{c}y\\ 1\end{array}\right].$

下面描述根据本发明实施例的手写数字识别方法的一个应用示例。

参考图3A，假设训练集(作为上文所述的训练样本集的示例)有c＝10类数字类别，假设训练集中第i类数字有m_i个数字样本(作为训练样本的示例)，共有m个数字样本，每个数字样本为一个n维向量，其中，m个数字样本分别用x₁,x₂,…,x_m表示。令a₀＝[1,1,…,1]^T和a_v＝[0,…,0,1,…,1,0,…,0]^T，其中a₀中包括m个1元素，a_v中有m_v个元素为1，m-m_v个元素为0。使用Gram-Schmidt正交化法则来处理向量组{a₀,a₁,…,a_c}，从而获得b₀＝a₀和另外c-1个正交向量给每个样本x_i添加一个新元素1，为了简便，将新的数字样本向量仍记为x_i。

求解训练集数字样本的c-1个特征向量的问题，即等价于根据以下最小二乘回归问题计算c-1个向量

$p_r=\arg \underset{p}{\min }(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{(p^T{x}_j-{b_j}^{\left(r\right)})}^2+\mathrm{\&alpha;}{\left|\right|p\left|\right|}^2)$

其中b_j ^(r)表示b_r的第j维元素，α是一个非负的尺度参数。

将求解该最小二乘问题得到的c-1个向量构成一个(n-1)×(c-1)维的投影矩阵P。

根据以下公式，用投影矩阵P对训练样本进行降维：

${\tilde{x}}_i=P^T\left[\begin{array}{c}{x}_i\\ 1\end{array}\right]$

则就是第i个训练样本x_i降维后得到的c-1维的向量。

对降维后训练集中同一类数字的任意两个数字样本和计算其在c-1维空间中的欧氏距离d_h,f。设定阈值距离d_c，并用ρ_h表示至的距离小于d_c的样本点的个数，即第h个数字样本的局部密度。局部密度ρ_h的定义如下：

${\mathrm{\&rho;}}_h=\underset{f}{\mathrm{\&Sigma;}}S(d_{h,f}-d_c)$

其中S(△d)是一个符号函数，当△d<0时，S＝1，否则S＝0。

用δ_h表示第h个训练数字样本距离比其局部密度更大的数字样本的距离，δ_h的定义如下：

δ_h＝min(d_h,f)

其中f是第f个局部密度高于的数字样本的序号。

通过上述公式，计算得到训练集同一类数字中每个数字样本的局部密度和两两之间的相对距离，则局部密度大并且相对距离大的数字样本，即γ＝ρ×δ的值较大的数字样本被认为是一类数字中具有典型性和代表性的数字中心。通过对同类数字所有训练样本按γ进行排序，选择该类数字的数字中心。

参考图3B，对测试集中的任意一个测试样本y，使用上面计算得到的投影矩阵P对其进行降维：

$\tilde{y}=P^T\left[\begin{array}{c}y\\ 1\end{array}\right]$

假设通过快速聚类算法，选择训练集中第k类数字的前n_c个γ较大的数字样本作为数字中心根据以下带权相似性度量公式计算降维后的测试样本和第k类数字的n_c个数字中心的平均距离

${\stackrel{\&OverBar;}{d}}^{\left(k\right)}={\left(\underset{h^{\&prime;}=1}{\overset{n_c}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{h^{\&prime;}}{|\tilde{y}-{{\hat{x}}_{h^{\&prime;}}}^{\left(k\right)}|}^q\right)}^{1/q}$

其中权重q表示带权相似性度量的类型，通常情况下取q＝2，表示欧式相似性度量。

利用径向基核函数中最常见的高斯核函数将测试样本和第k类数字的n_c个数字中心的平均距离转化为该测试样本与第k类数字的平均相似度z_j' ^(k)：

${Z_{j^{\&prime;}}}^{\left(k\right)}=\exp [-\frac{{\left|\right|{{\stackrel{\&OverBar;}{d}}_{j^{\&prime;}}}^{\left(k\right)}/n_c\left|\right|}_2^2}{\mathrm{\&sigma;}}]$

其中σ是一个尺度参数，通常取σ为较大的整数。对每一个测试样本，k取1到10，得到该样本与10类数字的平均相似度z_j' ^(k)最小的k表明该测试样本属于第k类数字。对测试集中每一个测试样本进行上述处理，得到每个测试样本的数字类别，完成数字识别任务。

传统的聚类识别需要对所有训练样本中的每两个训练样本之间计算相似度，而本发明的手写数字识别方法仅在同一类别下计算每两个训练样本之间的相似度，处理方式和作用不同，并且减少了计算量。此外，由于本发明的手写数字识别方法还对样本进行降维处理，在计算每两个训练样本之间的距离时还能够进一步减小计算量，对于庞大的训练样本集来说，能够大大提高训练的速度。

虽然本发明所揭示的实施方式如上，但其内容只是为了便于理解本发明的技术方案而采用的实施方式，并非用于限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭示的核心技术方案的前提下，可以在实施的形式和细节上做任何修改与变化，但本发明所限定的保护范围，仍须以所附的权利要求书限定的范围为准。

Claims (7)

1.一种手写数字识别方法，其特征在于，所述手写数字识别方法包括：

获取待识别的测试手写数字图像；

确定所述测试手写数字图像对应的向量，以作为测试样本；

利用基于谱回归判别分析方法对所述测试样本降维；

针对预定的多个类别参考向量中的每一个类别，计算降维后的测试样本与该类别参考向量之间的平均相似度；以及

选择与所述降维后的测试样本之间的平均相似度最大的参考向量类别，将该参考向量类别确定为所述测试手写数字图像的类别。

2.根据权利要求1所述的手写数字识别方法，其特征在于，所述针对预定的多个类别参考向量中的每一个类别、计算降维后的测试样本与该类别参考向量之间的平均相似度的步骤包括：

计算所述降维后的测试样本与该类别参考向量之间的平均距离；以及

根据所述降维后的测试样本与该类别参考向量之间的平均距离，利用径向基核函数，计算所述降维后的测试样本与该类别参考向量之间的平均相似度。

3.根据权利要求1或2所述的手写数字识别方法，其特征在于，所述手写数字识别方法还包括：

利用基于谱回归判别分析方法对训练样本集中每个训练样本降维，其中，所述训练样本集包括多个类别，所述训练样本集的每个类别包括该类别下的至少一个参考手写数字图像对应的向量，作为该类别下的训练样本；以及

针对所述训练样本集的每个类别，

计算该类别下每两个训练样本之间的相对距离，以获得该类别下的每个训练样本的局部密度，

针对该类别下的每个训练样本，将该类别下局部密度比该训练样本的局部密度大的训练样本作为该训练样本对应的候选样本，将所述候选样本到该训练样本之间的相对距离中的最小值确定为该训练样本的代表距离。

4.根据权利要求3所述的手写数字识别方法，其特征在于，所述训练样本集的多个类别包括如下10个数字类别：

数字“0”、数字“1”、数字“2”、数字“3”、数字“4”、数字“5”、数字“6”、数字“7”、数字“8”和数字“9”。

5.根据权利要求3所述的手写数字识别方法，其特征在于，所述利用基于谱回归判别分析方法对训练样本集中每个训练样本降维的步骤包括：

设所述训练样本集中第v类有m_v个训练样本，v＝1,2,…,c，c为所述训练样本集所包含训练样本的类别总数，所述训练样本集共有m个训练样本，分别用x₁,x₂,…,x_m表示，每个训练样本为多维向量；

令a₀＝[1,1,…,1]^T和a_v＝[0,…,0,1,…,1,0,…,0]^T，其中a₀中包括m个1元素，a_v中包括m_v个1元素、m-m_v个0元素，使用Gram-Schmidt正交化法则来处理向量组{a₀,a₁,…,a_c}，获得b₀＝a₀以及另外c-1个正交向量r＝1,2,…,c-1；

给每个训练样本x_i添加一个新元素1以更新每个训练样本及所述训练样本集,i＝1,2,…,m；

求解更新后的训练样本集中训练样本的c-1个特征向量，得到

$p_r=\arg \underset{p}{\min }(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{(p^T{x}_j-{b_j}^{\left(r\right)})}^2+\mathrm{\&alpha;}{\left|\right|p\left|\right|}^2),$

其中b_j ^(r)表示b_r的第j维元素，α是非负的尺度参数；

利用c-1个向量所构成的(n-1)×(c-1)维投影矩阵P，并根据如下公式来对更新后的每个训练样本进行降维，

${\tilde{x}}_i=P^T\left[\begin{array}{c}{x}_i\\ 1\end{array}\right],$

其中，为对更新后的第i个训练样本x_i降维后得到的c-1维向量。

6.根据权利要求5所述的手写数字识别方法，其特征在于，每个类别下的每个训练样本的局部密度通过如下方式获得：

针对降维后的所述训练样本集中的每个类别，

计算该类别下每两个训练样本和在c-1维空间中的欧氏距离d_h，f，作为和之间的相对距离，

计算该类别下至的距离小于阈值距离d_c的训练样本个数，作为训练样本的局部密度ρ_h，其中S(Δd)是符号函数，当Δd<0时，S＝1，否则S＝0。

7.根据权利要求5所述的手写数字识别方法，其特征在于，通过如下步骤对所述测试样本进行降维：

利用投影矩阵P对测试样本y进行降维，所得降维后的测试样本为：

$\tilde{y}=P^T\left[\begin{array}{c}y\\ 1\end{array}\right].$