CN102541347A - 手写笔体自动识别***和方法 - Google Patents

Abstract

本发明涉及一种手写笔体自动识别***和方法。本***包括EMB-4650主板，其扩展的子接口有LVDS接口、DVI接口、USB接口和COM接口；这些接口分别与一个AUO显示屏、一个DVI-LVDS信号转换板、一个USB控制器和GSM模块相连接；由此DVI-LVDS信号转换板与另一个AUO显示屏相连接，USB控制器与触摸屏相连接。本识别方法的操作步骤为（1）笔体数据的输入，（2）笔体数据的预处理，（3）笔体数据的形状特征提取，（4）笔体数据的识别。本发明采用了以字体质心为基准点的极坐标特征识别新方法。使用人员可以采用手写方式对重要信息实现实时记录、保存、发送；实现从笔迹到笔迹的匹配。该***集高保密性、高速传输为一体，适用于情报人员采集、筛选重要信息。

Description

手写笔体自动识别***和方法

技术领域

本发明涉及一种利用计算机自动提取笔记特征的方法，开发出一种手写笔体自动识别***和方法，利用图像分割算法和基于统计特征的判别算法来查找和提取笔迹，此笔迹鉴别方法可广泛应用于金融、法律等领域。

背景技术

笔迹是一种相当稳定的行为特征，不同的人有不同的笔迹，且手写笔迹易于获取。随着信息数字化的飞速发展，手写体笔迹鉴别成为计算机视觉和模式识别领域中活跃的研究课题。众所周知，文献专家可以鉴别出笔迹的真伪，但计算机自动提取笔迹特征，并鉴别其真伪，特别是对少量的笔迹仍然有一定的难度。

计算机笔迹鉴别的研究最早始于上世纪 60 年代。近年来，由于计算机笔迹鉴别技术在公安、金融、教育测评等领域得到广泛的应用，使它正逐步成为计算机视觉和模式识别领域中一个十分活跃但难度较高的研究课题，中外学者对此进行了广泛的研究，但至今未能取得令人满意的解决方案。

由于发达国家的信息通讯技术起步早、发展快，其普及和使用程度已达到较高的水平，而且他们的计算机管理与自动化技术亦有相当的普及率和较高的现代化程度，因而计算机身份认证技术已逐步受到广泛的注意和研究。目前在国外市场上已有几种签名鉴别的有关产品出现，但是由于汉字构造的特殊性，针对汉字笔迹鉴别的研究工作进展缓慢。又由于文化背景等的差异，西方国家对于东方文字鉴别问题研究较少，因此相关问题的研究机构大多分布在亚洲，目前主要研究机构包括韩国釜山大学，中国科学院自动化所模式识别实验室，中国科学院计算所。此外，目前国内有很多的公司都在致力于笔迹鉴别***方面的开发，并取得了一些成果，但真正投入使用的到现在还没有。

发明内容

本发明的目的在于针对已有技术存在的缺陷，提供一种手写笔体自动识别***和方法，以日常生活工作中的日记本为设计雏形，结合个人双页笔记书写习惯，利用计算机技术和创新的查找算法，针对个人手写笔体实现信息查找。***从汉字本身的诸多结构特点出发，综合分析了手写体的特点，舍弃了庞大的标准字库，直接由“笔迹到笔迹”检索的便捷，既注意从个性中提取出共性，又强调对于个性的把握。

为了实现上述目的，本发明的构思如下：本发明是基于图像的手写字体识别，实现查找功能的。此技术属于脱机字符识别范畴，***查找功能只需在使用者所写的库中找到与其相同或相近的字符即可，并不需要判定使用者所写的字符具体对应于汉字中的哪个字。本***所要处理的对象是二维图像，将所写汉字与背景分离后，通过一系列的预处理，查找出与所写汉字相同或者是相近字符的图片文件所在的位置同时将其显示出来即可。整个查找过程可分为以下几个部分：信息获取（手写字符输入）、预处理（包括去除背景、字符分割等）、单个字符特征提取、比较选择。

根据上述发明构思，本发明采用下述技术方案：

一种手写笔体自动识别***，包括一块由Intel® Atom Z510P芯片主控制作的一块EMB-4650主板，其特征在于所述主板扩展的子接口有LVDS接口、DVI接口、USB接口和COM接口；这些接口分别与AUO显示屏、DVI-LVDS信号转换板、USB控制器、GSM模块相连接；由此DVI-LVDS信号转换板与另外AUO显示屏相连接，USB控制器与触摸屏相连接。当用户在触摸屏上写入数据时，这些数据通过USB控制器传送到EMB-4650主板，同时EMB-4650主板把数据传送到显示屏，实现实时显示；同时EMB-4650主板对这些数据进行识别算法处理，然后把处理后的结果送到显示屏显示，达到简易的人机互动实时操作效果。如果有需要，可以把编辑好的字体数据通过COM口发送到GSM模块，实现数据的实时发送。

由用户在触摸屏上书写字体，字体数据输入到存储设备，经过处理器预处理，然后使用本文申请保护的极坐标方法提取单个字符的形状特征后，选择确定所输入的字符。同时，用户的输入和处理之后的字符结果在液晶显示屏上进行显示。如果有需要，可以利用GSM模块对输入信息进行无线传输，使之更便捷及时的传输信息。

上述***中，***的电源采用外接电源的方式供电。通过一个电源滤波器和一个变压器从市电220V50Hz获得所述18V交流电源，将其接入所述电压变换电路，所述电压变换电路将18V交流电转成12V、5V、3.3V和1.8V电源，为***各个模块提供工作电源。

上述***中，触摸屏则是通过转换板连接到主板的USB接口。该转换板完成将输入的信号转换成USB信号与***主机相连接，并通过相应的软件来控制触摸屏的性能。

上述***中，B089AW01 V1是一款由TFT LCD平板、一套驱动电路和LED背光***组成的彩色点阵液晶显示屏。屏幕显示支持WSVGA (1024(H) x 600(V))格式和配备了LED背光驱动回路的262k色数据驱动。所有输入信号都是兼容LVDS接口的。这两块显示屏其中一块连接到主板的LVDS接口，另一块通过DVI-LVDS的转换板连接到主板的DVI接口。DVI-LVDS完成了将输入的DVI信号转换成适合液晶显示屏的LVDS信号。

上述***中，两个GSM模块是泽汉T-1008系列的GSM/GPRS无线收发器。模块主要由Modem主体部分（包括芯片、***电路等），稳压电源，以及天线三个部分组成。GPRS模通过芯片COM口连接到主板。

一种手写笔体自动识别方法，采用上述***进行识别，其特征在于具体操作步骤如下：步骤1：笔体数据的输入；步骤1：笔体数据的预处理；步骤3：笔体数据的形状特征提取；步骤4：笔体数据识别。

本发明与已有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

本手写笔体自动识别方法在于识别方法在于笔迹查找，建立以笔迹字体质心为基准点的极坐标特征识别新方法，识别准确率极高；并且方便查找书写信息，免去繁杂纸质查找过程，实现笔记图片形式实时保存，保存时间长久。

本发明区别于之前的单屏显示，采用双屏显示方式，在软件进行相关设置，可以设置为双屏独立显示模式和联合显示模式，双屏独立显示模式时主显示器可以设置为数字显示器，次显示器设置为MID，同时还可以进行屏幕旋转的设置。这种可变换的显示模式能满足各种场合的要求，既不损失视觉效果又携带方便。

本发明的字体形状特征提取算法先进，与传统的X-Y轴坐标识别方法不同，创新的提出了以字体的质心为圆心的极坐标识别方法，解决了对于左右结构或者左中右结构的汉字，分割算法阈值的设置与个人的书写习惯是一对比较难以解决的矛盾，提高字体的识别率。

附图说明

图1是本发明手写笔体自动识别***的结构框图。

图2是本发明手写笔体自动识别流程图。

图3是图2 中的笔体数据预处理流程图。

图4是图3中的图像二值化流程图。

图5是图1中的字体识别流程图。

具体实施方式：

本发明的优选实施案例结合附图详述如下：

实施例一：参见图1，本手写笔体自动识别***包括一块由Intel® Atom Z510P芯片主控制作的一块EMB-4650主板，其扩展的子接口有LVDS接口、DVI接口、USB接口和COM接口；这些接口分别与AUO显示屏、DVI-LVDS信号转换板、USB控制器、GSM模块相连接；由此DVI-LVDS信号转换板与另外AUO显示屏相连接，USB控制器与触摸屏相连接。当用户在触摸屏上写入数据时，这些数据通过USB控制器传送到EMB-4650主板，同时EMB-4650主板把数据传送到显示屏，实现实时显示；同时EMB-4650主板对这些数据进行识别算法处理，然后把处理后的结果送到显示屏显示，达到简易的人机互动实时操作效果。如果有需要，可以把编辑好的字体数据通过COM口发送到GSM模块，实现数据的实时发送。下面结合本发明的优选实施例及附图对本发明做进一步详细说明。

实施例二：参见图2，自动手写笔体自动识别***实现方法采用上述***进行识别，具体操作包括以下步骤：

步骤1：笔体数据的输入：按着触摸屏工作原理的不同分为表面声波式触摸屏、电阻式触摸屏、电容式触摸屏、红外线式触摸屏等几种。本发明所用的触摸屏为电阻式触摸屏。电阻式触摸屏安装在显示器表面，主要有两层透明导电层组成，两导电层之间绝缘。从电气特性上看，每一导电层相当于一个电阻元件，在导电层两端加电压，就可以在平面位置与压降之间建立起对应关系。当被触摸时，两导电层在触点处接触，借助于触点，把反映平面位置的电压量引出，测量后获得触点位置。触摸屏把把这些触点数据以图像数据的形式储存起来，供主机读取。

步骤2：笔体数据的预处理，参见图3。本发明数据预处理流程图如图4所示。主板（1）从触摸屏（7）读入已存的图像数据，输入到主板（1）寄存器中。

步骤2-1：256色位图转灰度图。

a) 计算灰度映射表

由亮度信号Y与三基色R、G、B之间的关系式Y=0.299R+0.587G+0.114B可得 bMap[i] = (BYTE)(0.299 * lpbmi->bmiColors[i].rgbRed

+0.587 * lpbmi->bmiColors[i].rgbGreen

+0.114 * lpbmi->bmiColors[i].rgbBlue + 0.5);

其中lpbmi为指向BITMAPINFO结构的指针

b) 更新DIB调色板三基色分量

lpbmi->bmiColors[i].rgbRed = i;

lpbmi->bmiColors[i].rgbGreen = i;

lpbmi->bmiColors[i].rgbBlue = i;

c) 更换每个象素的颜色索引（即按照灰度映射表换成灰度值）

for(i = 0; i < lHeight; i++)

{ for(j = 0; j < lWidth; j++)

{ lpSrc = (unsigned char*)lpDIBBits + lLineBytes * (lHeight - 1 - i) + j;

*lpSrc = bMap[*lpSrc];

}

}

（以上程序段中lHeight和lWidth分别为整幅图像的高度和宽度）

步骤2-2：二值化：本发明中采用硬阈值的方式对灰度图实现二值化，图像二值化流程图程序流程图如图4所示。设定某一阈值Threshold,利用Threshold 将灰度图像的数据分成两部分:大于等于阈值的像素群和小于阈值的像素群。例如，输入灰度图像函数为f(x,y),输出二值图像函数为g(x,y),则

,通过确定阈值Threshold 来确定整幅图像的黑白分布。需要强调的是至于将特征物与背景分开这一目标我们则编写了专门的去背景函数以从根本上将彩色背景与文字分成两幅“互相独立”的位图，而非单纯地将二者分成两个区域，这是我们处理方式上有别于传统二值化思想之处。

步骤2-3：去离散噪声：在书写的过程中尤其是酝酿一篇好文章需要字斟句酌的时候，人们往往有不时地将笔往纸上点触的习惯，这就使得我们实时保存的信息中混入了一定量的噪声，这也就给之后的准确查找笔迹带来了附加的不利因素，所以必须首先进行去噪处理。

基本思想是扫描整幅图像，将判定为离散点的像素点置为白色。在完成去离散噪声的操作中使用了两个函数的嵌套，一个函数是void RemoveScatterNoise(HDIB hDIB) ，该函数是外层函数，主要完成的功能是判断像素点是否是离散点，若是则将其置为白色，而在进行离散性判断时调用了DeleteScaterJudge()函数；另外一个函数是bool DeleteScaterJudge()，该函数采用了递归的思想，考察上下左右以及左上、右上、左下、右下八个方向，如果是黑色点，则调用自身进行递归，由于其本身是bool类型，所以返回值为TRUE或FALSE，在void RemoveScatterNoise(HDIB hDIB)中得以获取，若为FALSE则说明像素点为离散点，便将其置为白色，从而实现了去除离散噪声效果。

步骤2-4：梯度锐化：图像锐化处理的目的是使模糊的图像变得更加清晰，图像锐化一般有两种方法：一种是微分法，另一种是高通滤波器法。本发明所采用的梯度锐化就是微分法中的一种比较常用的方法。

设图像为

，定义

在点

处的梯度矢量为：

，梯度有两个重要性质：梯度的方向在函数

最大变化率方向上和梯度的幅度用

表示，且其值为：

由此式可得这样的结论：梯度的数值就是

在其最大变化率方向上的单位距离所增加的量。

对于离散的数字图像，上式可以改写成：

为了计算方便，也可以采用下面的近似计算公式(1)：

如果直接采用梯度值

来表示图像，即令

=

，则有上述公式(1)可见：在图像变换缓慢的地方其值很小（对应于图像较暗）；而在线条轮廓等变换较快的地方的值很大。图像在经过梯度运算后变得清晰从而达到锐化的目的。

对于图像变换缓慢的地方梯度很小而导致图像较暗这一不利因素，我们采用的解决方法是给一个阈值

，如果小于该阈值

，则保持原灰度值不变；如果大于或等于阈值，则赋值为：

步骤2-5：细化：细化是指求一副图像中央骨骼部分过程，中央骨骼部分是描述图像几何及拓扑性质的重要特征之一，对被处理的图像进行细化有助于突出形状特点和减少冗余的信息量。

本发明采用的细化算法具有的特性：一幅图像中的一个

区域，对各点标记名称P1，P2，…P8，其中P1位于中心。如果P1=1（即黑点），下面4个条件如果同时满足，则删除P1（P1=0）。①2

NZ(P1)

6；②

=1；③P2*P4*P8=0或者

1；④P2*P4*P6=0或者

1；对于图像中的每一个点重复这一步骤，直到所有的点都不可删除为止。

步骤3：笔体数据的形状特征提取：手写体汉字的形状特征包括倾斜度、重心偏移、字符伸展等，这些特征物理意义明确，反映了书写人的一部分书写风格。通常情况下，这种特征可以用矩来描述。

对于一幅

的字符图像

，其p+q阶矩定义为：

其中，

，各阶矩的物理意义说明如下：

表示图像在水平方向上的伸展度；

表示图像在垂直方向上的伸展度；

表示图像的倾斜度（>0表示图像向左上倾斜，

<0表示图像向右上倾斜）；

表示图像在水平方向上的重心偏移度（

>0表示重心偏左，<0表示重心偏右）；

表示图像在垂直方向上的重心偏移度（>0表示重心偏上，<0表示重心偏下）；

表示图像水平伸展的均衡程度（

>0表示图像下部的水平伸展度比图像上部大，

<0表示图像下部的水平伸展度比图像上部小）；

表示图像垂直伸展的均衡程度（

>0表示图像右部的垂直伸展度比图像左部大，

<0表示图像右部的垂直伸展度比图像左部小）。

由上面计算出的中心矩可以导出以下的一些归一化的形状特征：

a) 长宽比：

b) 字形倾斜度：

；其中

c) 拉长度：

；其中

的计算式如下：

d) 伸展度：

；其中size表示字符点阵的大小，即

三阶的中心矩由于其值可能为正或为负，实际上，它们都是由基函数为正和为负的两部分所组成的。

通过三阶中心矩提取的归一化特征如下：

①水平偏移度：

②垂直偏移度：

③水平伸展均衡度：

④垂直伸展均衡度：

对于对应的特征字，求出它们的特征矢量

，定义的距离如下：

；其中r为：

步骤4：笔体数据识别：以文字质心为原点、归一化后的文字高度的一半为半径，建立极坐标系，对整个圆周进行扇形平均分块，块数n可变。最终判断两幅位图是否相似即当前所写的汉字与以往保存的笔记中出现过的字是否具有一定程度上的相似性遵循同一条准则：只有当两幅位图相对应的n块区域内每块区域像素点的总数的两两差值均小于预先设置的阈值时，才将二者视为相似。而将n定格为可变等效于将查找的精度设置为可调。显然，n=12时我们认为查找被视作模糊查找，而n=360时则认为是精确查找。图5字体数据识别流程图。在完成字体数据识别之后，计算机把识别到的字体在屏幕上显示出来。在完成字体编辑后，通过软件控制，可以把字体数据通过无线GSM网络发送到接收站，实现实时传输。

Claims (2)

1.一种手写笔体自动识别***，包括一块由Intel® Atom Z510P芯片主控制作的EMB-4650主板（1），其特征在于所述主板（1）扩展的子接口有LVDS接口、DVI接口、USB接口和COM接口；这些接口分别与一个AUO显示屏（2）、一个DVI-LVDS信号转换板（3）、一个USB控制器（4）和GSM模块（5）相连接；由此DVI-LVDS信号转换板（3）与另一个AUO显示屏（6）相连接，USB控制器（4）与触摸屏（7）相连接；当用户在触摸屏上写入数据时，这些数据通过USB控制器传送到EMB-4650主板，同时EMB-4650主板把数据传送到显示屏，实现实时显示；同时EMB-4650主板对这些数据进行识别算法处理，然后把处理后的结果送到显示屏显示，达到简易的人机互动实时操作效果；编辑好的字体数据可通过COM口发送到GSM模块，实现数据的实时发送。

2.一种手写笔体自动识别方法，采用权利要求书1所述的手写笔体自动识别***进行识别，其特征在于具体操作步骤如下：

步骤1：笔体数据的输入：当触摸屏被触摸时，触摸屏把这些数据以图像数据的形式存储起来，供主机读取;

步骤2：笔体数据的预处理：主板1从触摸屏（7）读入已存的图像数据，输入到主板（1）寄存器中；

步骤2-1:把触摸屏（7）输入的数据256色位图按照灰度映射表方法转灰度图；

步骤2-2：二值化：采用硬阈值的方式对灰度图实现二值化；

步骤2-3：去离散噪声：对触摸混入的噪声进行去噪处理；

步骤2-4：梯度锐化：采用微分法进行图像锐化处理：

设图像为

，定义

在点

处的梯度矢量

为：

，梯度有两个重要性质：梯度的方向在函数

最大变化率方向上和梯度的幅度用

表示，且其值为：

由此式得结论：梯度的数值是

在其最大变化率方向上的单位距离所增加的量；

对于离散的数字图像，上式改写成：

为了计算方便，也可以采用下面的近似计算公式(1)：

如果直接采用梯度值来表示图像，即令

=

，则有上述公式(1)可见：在图像变换缓慢的地方其值很小（对应于图像较暗）；而在线条轮廓等变换较快的地方的值很大；图像在经过梯度运算后变得清晰从而达到锐化的目的；

对于图像变换缓慢的地方梯度很小而导致图像较暗这一不利因素，解决方法是给一个阈值

，如果小于该阈值

，则保持原灰度值不变；如果大于或等于阈值，则赋值为

：

步骤2-5：细化：指求一副图像中央骨骼部分过程，中央骨骼部分是描述图像几何及拓扑性质的重要特征之一，对被处理的图像进行细化有助于突出形状特点和减少冗余信息量；

采用的细化算法具有的特性：一幅图像中的一个

区域，对各点标记名称P1，P2，…P8，其中P1位于中心；如果P1=1，即黑点，下面4个条件如果同时满足，则删除P1（P1=0）；①2NZ(P1)

6；②=1；③P2*P4*P8=0或者

1；④P2*P4*P6=0或者

1；对于图像中的每一个点重复这一步骤，直到所有的点都不可删除为止；

步骤3：笔体数据的形状特征提取：手写体汉字的形状特征包括倾斜度、重心偏移、字符伸展，这种特征用矩来描述；

对于一幅

的字符图像，其p+q阶矩定义为：

其中，，各阶矩的物理意义说明如下：

表示图像在水平方向上的伸展度；

表示图像在垂直方向上的伸展度；表示图像的倾斜度

>0表示图像向左上倾斜，

<0表示图像向右上倾斜；

表示图像在水平方向上的重心偏移度

>0表示重心偏左，<0表示重心偏右；

表示图像在垂直方向上的重心偏移度

>0表示重心偏上，

<0表示重心偏下；

表示图像水平伸展的均衡程度，

>0表示图像下部的水平伸展度比图像上部大，

<0表示图像下部的水平伸展度比图像上部小；

表示图像垂直伸展的均衡程度，>0表示图像右部的垂直伸展度比图像左部大，

<0表示图像右部的垂直伸展度比图像左部小；

由上面计算出的中心矩导出以下的一些归一化的形状特征：

长宽比：

字形倾斜度：

；其中

拉长度：；其中

的计算式如下：

伸展度：

；其中size表示字符点阵的大小，即

三阶的中心矩由于其值可能为正或为负，实际上，它们都是由基函数为正和为负的两部分所组成的；

通过三阶中心矩提取的归一化特征如下：

①水平偏移度：

②垂直偏移度：

③水平伸展均衡度：

④垂直伸展均衡度：

对于对应的特征字，求出它们的特征矢量

，定义的距离如下：

；其中r为：

步骤4：笔体数据识别：以文字质心为原点、归一化后的文字高度的一半为半径，建立极坐标系，对整个圆周进行扇形平均分块，块数n可变；

最终判断两幅位图是否相似即当前所写的汉字与以往保存的笔记中出现过的字是否具有一定程度上的相似性遵循同一条准则：只有当两幅位图相对应的n块区域内每块区域像素点的总数的两两差值均小于预先设置的阈值时，才将二者视为相似；而将n定格为可变等效于将查找的精度设置为可调；

显然，n=12时我们认为查找被视作模糊查找，而n=360时则认为是精确查找；在完成字体数据识别之后，计算机把识别到的字体在屏幕上显示出来。

Images