CN1313963C - 字符识别装置和字符识别方法 - Google Patents

Abstract

本发明是一种字符识别设备，它包括背景辨别部分(13)，非字符线条辨别部分(14)，产生第一非字符线条消除图像的第一非字符线条消除图像产生部分(17)，所述第一非字符线条消除图像是除去非字符线条的初始图像，第一字符区辨别部分(15)，放大图像产生部分(16)，第二非字符线条消除图像产生部分(17)，判断初始图像中，字符和非字符线条是否相互干扰的干扰判断部分(18)，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，恢复字符图像的字符图像恢复部分(19)，第二字符区辨别部分(20)，和把第二字符区辨别部分(20)辨别的字符区数字化，并识别字符的字符识别部分(21)，从而高度准确地识别在彩色表格上书写的字符。

Description

字符识别装置和字符识别方法

技术领域

本发明涉及适合于处理例如银行机构中的表格的技术；更具体地说，涉及识别在彩色表格中书写的字符的技术。

背景技术

在银行机构等中，诸如光学字符识别设备(OCR)之类的图像读取设备被用作以图像数据的形式，读取在表格中书写的字符信息，随后把图像数据识别成字符的设备。通过采用OCR设备，提高了商业业务的效率。

在常规的OCR技术中，以单色二进制图像的形式获得表格上的图像数据，随后识别成字符。例如，就其上用诸如绿色、红色之类预定设置(dropout)颜色印刷分隔线，指南字符等的表格来说，OCR设备以单色二进制图像的形式，读取字符识别目标区(填写字符的空间)中，用和设置颜色不同的颜色(黑色等)书写的字符；并根据二进制图像，进行字符识别处理(参见下述专利文献1-3)。

[专利文献1]日本专利特许公开No.2000-322510

[专利文献2]日本专利特许公开No.2001-297303

[专利文献3]日本专利特许公开No.2003-196592

为了提高在表格上书写的信息的易读性，并突出在表格上书写的字符，有时候使用彩色表格，利用各种颜色，在彩色表格上印刷有分隔线，背景，指南字符等。

就常规的OCR技术来说，以单色二进制图像的形式获得表格上的图像数据，并根据该二进制图像，识别字符。因此，在利用和上述设置颜色不同的颜色，在其上印刷分隔线，背景，指南字符等的彩色表格中，存在当分隔线，背景，指南字符等被安置在与书写的字符相邻的位置时，或者当书写的字符与这些分隔线，背景或指南字符接触或者交叉时，书写字符的识别受到干扰，导致字符识别率降低。此外，在字符识别目标区中，产生背景颜色或者立体着色(solid coloring)，例如半色调点网格的情况下，字符识别受到干扰，导致字符识别率降低。

即，在常规的OCR技术中，难以高度准确地识别利用和设置颜色不同的颜色，在立体着色区中书写的字符，或者同样地，难以高度准确地识别以和设置颜色不同的颜色书写的，安置在分隔线，背景，指南字符等附近或者与之交叉的字符。

此外，就具有用于填写字符，且带有立体着色和各种颜色的指南字符的空间，并且最初未考虑OCR设备的字符识别的彩色表格来说，如果能够利用OCR设备读取在用于填写字符的空间中书写的字符信息，那么一定非常方便。

发明内容

鉴于上述问题，提出了本发明。本发明的目的是提供一种高度准确地识别在彩色表格上书写的字符的方法。

为了实现上述目的，根据本发明的从包括字符图像的初始图像抽取字符图像，并关于字符图像识别字符的字符识别***包括：根据初始图像中颜色分量的色散量和颜色信息的频率分布，辨别背景区的背景辨别部分，辨别除字符之外的非字符线条，并根据初始图像中，具有和构成背景区的像素不同的颜色信息的像素的频率分布，和均具有相同的颜色特性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别部分，产生第一非字符线条消除图像的第一非字符线条消除图像产生部分，其中通过在初始图像中，用具有和背景相同的颜色分量的像素代替由非字符线条辨别部分辨别的非字符线条，从初始图像中除去非字符线条，在第一非字符线条消除图像产生部分产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色特性并且连续预定数目以上的连续像素的区域的第一字符区辨别部分，根据初始图像，产生放大图像的放大图像产生部分，产生第二非字符线条消除图像的第二非字符线条消除图像产生部分，其中通过根据非字符线条辨别部分获得的非字符线条信息，在放大图像产生部分产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条，根据非字符线条辨别部分获得的非字符线条信息，和第一字符区辨别部分辨别的字符区，判断初始图像中，字符和非字符线条是否相互干扰的干扰判断部分，当干扰判断部分判断字符图像和非字符线条相互干扰时，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复部分，把大于预定尺寸的区域辨别为字符区的第二字符区辨别部分，该区域是第二非字符线条消除图像中除背影区之外的，包括均具有相同颜色特性，并连续预定数目以上的连续像素的区域，和把第二字符区辨别部分辨别的字符区数字化，并识别字符的字符识别部分。

非字符线条辨别部分可包括：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色信息的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计部分，根据非字符线条位置估计部分辨别的非字符线条可能位置中的颜色信息的频率分布，确定非字符线条的颜色信息的颜色信息确定部分，和关于与颜色信息确定部分确定的颜色信息相同的颜色信息，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取部分。

字符图像恢复部分可关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，用样条曲线形成字符图像中的字符轮廓，并用具有和字符图像的颜色信息相同的颜色信息的像素，填充字符轮廓围绕的区域。

另外，根据本发明的字符识别方法是一种从包括字符图像的初始图像中抽取字符图像，并关于字符图像识别字符的字符识别方法，包括：根据初始图像中颜色分量的色散量和颜色信息的频率分布，辨别背景区的背景辨别步骤，辨别除字符之外的非字符线条，并根据初始图像中，具有和构成背景区的像素不同的颜色信息的像素的频率分布，和均具有相同的颜色特性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别步骤，产生第一非字符线条消除图像的第一非字符线条消除图像产生步骤，其中通过在初始图像中，用具有和背景相同颜色分量的像素代替在非字符线条辨别步骤中辨别的非字符线条，从初始图像中除去非字符线条，在第一非字符线条消除图像产生步骤中产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色特性，并且连续预定数目以上的连续像素的区域的第一字符区辨别步骤，根据初始图像，产生放大图像的放大图像产生步骤，产生第二非字符线条消除图像的第二非字符线条消除图像产生步骤，其中通过根据在非字符线条辨别步骤中获得的非字符线条信息，在放大图像产生步骤产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条，根据在非字符线条辨别步骤中获得的非字符线条信息，和在第一字符区辨别步骤中辨别的字符区，判断初始图像中，字符和非字符线条是否相互干扰的干扰判断步骤，当在干扰判断步骤中判断字符图像和非字符线条相互干扰时，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复步骤，把大于预定尺寸的区域辨别为字符区的第二字符区辨别步骤，该区域是第二非字符线条消除图像中除背影区之外的，包括均具有相同颜色特性，并连续预定数目以上的连续像素的区域，和把在第二字符区辨别步骤中辨别的字符区数字化，并识别字符的字符识别步骤。

非字符线条辨别步骤可包括：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色信息的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计步骤，根据在非字符线条位置估计步骤中辨别的非字符线条可能位置中的颜色信息的频率分布，确定非字符线条的颜色信息的颜色信息确定步骤，和关于与在颜色信息确定步骤中确定的颜色信息相同的颜色信息，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取步骤。

字符图像恢复步骤可关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，用样条曲线形成字符图像中的字符轮廓，并用具有和字符图像的颜色信息相同的颜色信息的像素，填充字符轮廓围绕的区域。

此外，根据本发明的字符识别程序是使计算机执行字符识别功能，从包括字符图像的初始图像中抽取字符图像，并关于字符图像识别字符的字符识别程序，其中字符识别程序指令计算机起下述作用：根据初始图像中颜色分量的色散量和颜色信息的频率分布，辨别背景区的背景辨别部分，辨别除字符之外的非字符线条，并根据初始图像中，具有和构成背景区的像素不同的颜色信息的像素的频率分布，和均具有相同的颜色特性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别部分，产生第一非字符线条消除图像的第一非字符线条消除图像产生部分，其中通过在初始图像中，用具有和背景相同的颜色分量的像素代替由非字符线条辨别部分辨别的非字符线条，从初始图像中除去非字符线条，在第一非字符线条消除图像产生部分产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色特性并且连续预定数目以上的连续像素的区域的第一字符区辨别部分，根据初始图像，产生放大图像的放大图像产生部分，产生第二非字符线条消除图像的第二非字符线条消除图像产生部分，其中通过根据非字符线条辨别部分获得的非字符线条信息，在放大图像产生部分产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条，根据非字符线条辨别部分获得的非字符线条信息，和第一字符区辨别部分辨别的字符区，判断初始图像中，字符和非字符线条是否相互干扰的干扰判断部分，当干扰判断部分判断字符图像和非字符线条相互干扰时，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复部分，把大于预定尺寸的区域辨别为字符区的第二字符区辨别部分，该区域是第二非字符线条消除图像中除背影区之外的，包括均具有相同颜色特性，并连续预定数目以上的连续像素的区域，和把第二字符区辨别部分辨别的字符区数字化，并识别字符的字符识别部分。

当使计算机起非字符线条辨别部分的作用时，可使计算机起下述作用：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色信息的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计部分，根据非字符线条位置估计部分辨别的非字符线条可能位置中的颜色信息的频率分布，确定非字符线条的颜色信息的颜色信息确定部分，和关于与颜色信息确定部分确定的颜色信息相同的颜色信息，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取部分。

当使计算机起字符图像恢复部分的作用时，可使计算机起下述作用：关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，用样条曲线形成字符图像中的字符轮廓，并用具有和字符图像的颜色信息相同的颜色信息的像素，填充字符轮廓围绕的区域。

此外，本发明的计算机可读记录媒体是其中记录上述字符识别程序的媒体。

此外，一种根据从其中记录字符的介质读取的介质图像，识别字符的介质处理设备，包括：根据介质图像，抽取介质图像的布局特征并分析布局结构的布局分析部分，根据布局分析部分的分析结果，产生包括经历字符识别的字符图像的初始图像的初始图像产生部分，根据初始图像中颜色分量的色散量和颜色信息的频率分布，辨别背景区的背景辨别部分，辨别除字符之外的非字符线条，并根据初始图像中，具有和构成背景区的像素不同的颜色信息的像素的频率分布，和均具有相同的颜色特性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别部分，产生第一非字符线条消除图像的第一非字符线条消除图像产生部分，其中通过在初始图像中，用具有和背景相同的颜色分量的像素代替由非字符线条辨别部分辨别的非字符线条，从初始图像中除去非字符线条，在第一非字符线条消除图像产生部分产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色特性并且连续预定数目以上的连续像素的区域的第一字符区辨别部分，根据初始图像，产生放大图像的放大图像产生部分，产生第二非字符线条消除图像的第二非字符线条消除图像产生部分，其中通过根据非字符线条辨别部分获得的非字符线条信息，在放大图像产生部分产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条，根据非字符线条辨别部分获得的非字符线条信息，和第一字符区辨别部分辨别的字符区，判断初始图像中，字符和非字符线条是否相互干扰的干扰判断部分，和把第二字符区辨别部分辨别的字符区数字化，并识别字符的字符识别部分。

非字符线条辨别部分可包括：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色信息的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计部分，根据非字符线条位置估计部分辨别的非字符线条可能位置中的颜色信息的频率分布，确定非字符线条的颜色信息的颜色信息确定部分，和关于与颜色信息确定部分确定的颜色信息相同的颜色信息，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取部分。

此外，一种根据从其中记录字符的介质读取的介质图像，识别字符的介质处理方法，包括：根据介质图像，抽取介质图像的布局特征并分析布局结构的布局分析步骤，根据布局分析步骤中的分析结果，产生包括经历字符识别的字符图像的初始图像的初始图像产生步骤，根据初始图像中颜色分量的色散量和颜色信息的频率分布，辨别背景区的背景辨别步骤，辨别除字符之外的非字符线条，并根据初始图像中，具有和构成背景区的像素不同的颜色信息的像素的频率分布，和均具有相同的颜色特性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别步骤，产生第一非字符线条消除图像的第一非字符线条消除图像产生步骤，其中通过在初始图像中，用具有和背景相同颜色分量的像素代替在非字符线条辨别步骤中辨别的非字符线条，从初始图像中除去非字符线条，在第一非字符线条消除图像产生步骤中产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色特性并且连续预定数目以上的连续像素的区域的第一字符区辨别步骤，根据初始图像，产生放大图像的放大图像产生步骤，产生第二非字符线条消除图像的第二非字符线条消除图像产生步骤，其中通过根据在非字符线条辨别步骤中获得的非字符线条信息，在放大图像产生步骤中产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条，根据在非字符线条辨别步骤中获得的非字符线条信息，和在第一字符区辨别步骤中辨别的字符区，判断初始图像中，字符和非字符线条是否相互干扰的干扰判断步骤，当在干扰判断步骤中判断字符图像和非字符线条相互干扰时，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复步骤，把大于预定尺寸的区域辨别为字符区的第二字符区辨别步骤，该区域是第二非字符线条消除图像中除背影区之外的，包括均具有相同颜色特性，并连续预定数目以上的连续像素的区域，和把在第二字符区辨别步骤中辨别的字符区数字化，并识别字符的字符识别步骤。

非字符线条位置辨别步骤可包括：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色信息的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计步骤，根据在非字符线条位置估计步骤中辨别的非字符线条可能位置中的颜色信息的频率分布，确定非字符线条的颜色信息的颜色信息确定步骤，和关于与在颜色信息确定步骤中确定的颜色信息相同的颜色信息，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取步骤。

此外，根据本发明的介质处理程序用于根据从其中记录字符的介质读取的介质图像，使计算机执行介质处理功能，从而识别字符，其中介质处理程序指令计算机起下述作用：根据介质图像，抽取介质图像的布局特征并分析布局结构的布局分析部分，根据布局分析部分的分析结果，产生包括经历字符识别的字符图像的初始图像的初始图像产生部分，根据初始图像中颜色分量的色散量和颜色信息的频率分布，辨别背景区的背景辨别部分，辨别除字符之外的非字符线条，并根据初始图像中，具有和构成背景区的像素不同的颜色信息的像素的频率分布，和均具有相同的颜色特性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别部分，产生第一非字符线条消除图像的第一非字符线条消除图像产生部分，其中通过在初始图像中，用具有和背景相同的颜色分量的像素代替由非字符线条辨别部分辨别的非字符线条，从初始图像中除去非字符线条，在第一非字符线条消除图像产生部分产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色特性并且连续预定数目以上的连续像素的区域的第一字符区辨别部分，根据初始图像，产生放大图像的放大图像产生部分，产生第二非字符线条消除图像的第二非字符线条消除图像产生部分，其中通过根据非字符线条辨别部分获得的非字符线条信息，在放大图像产生部分产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条，根据非字符线条辨别部分获得的非字符线条信息，和第一字符区辨别部分辨别的字符区，判断初始图像中，字符和非字符线条是否相互干扰的干扰判断部分，当干扰判断部分判断字符图像和非字符线条相互干扰时，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复部分，把大于预定尺寸的区域辨别为字符区的第二字符区辨别部分，该区域是第二非字符线条消除图像中除背影区之外的，包括均具有相同颜色特性，并连续预定数目以上的连续像素的区域，和把第二字符区辨别部分辨别的字符区数字化，并识别字符的字符识别部分。

当介质处理程序使计算机起非字符线条辨别部分的作用时，介质处理程序可指令计算机还起下述作用：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同颜色信息的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计部分，根据非字符线条位置估计部分辨别的非字符线条可能位置中的颜色信息的频率分布，确定非字符线条的颜色信息的颜色信息确定部分，和关于与颜色信息确定部分确定的颜色信息相同的颜色信息，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取部分。

根据本发明的计算机可读记录媒体是一种其中记录介质处理程序的计算机可读记录媒体，所述介质处理程序用于根据从其中记录字符的介质读取的介质图像，使计算机执行识别字符的介质处理功能，其中介质处理程序指令计算机起下述作用：根据介质图像，抽取介质图像的布局特征并分析布局结构的布局分析部分，根据布局分析部分的分析结果，产生包括经历字符识别的字符图像的初始图像的初始图像产生部分，根据初始图像中颜色分量的色散量和颜色信息的频率分布，辨别背景区的背景辨别部分，辨别除字符之外的非字符线条，并根据初始图像中，具有和构成背景区的像素不同的颜色信息的像素的频率分布，和均具有相同的颜色特性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别部分，产生第一非字符线条消除图像的第一非字符线条消除图像产生部分，其中通过在初始图像中，用具有和背景相同的颜色分量的像素代替由非字符线条辨别部分辨别的非字符线条，从初始图像中除去非字符线条，在第一非字符线条消除图像产生部分产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色特性并且连续预定数目以上的连续像素的区域的第一字符区辨别部分，根据初始图像，产生放大图像的放大图像产生部分，产生第二非字符线条消除图像的第二非字符线条消除图像产生部分，其中通过根据非字符线条辨别部分获得的非字符线条信息，在放大图像产生部分产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条，根据非字符线条辨别部分获得的非字符线条信息，和第一字符区辨别部分辨别的字符区，判断初始图像中，字符和非字符线条是否相互干扰的干扰判断部分，当干扰判断部分判断字符图像和非字符线条相互干扰时，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复部分，把大于预定尺寸的区域辨别为字符区的第二字符区辨别部分，该区域是第二非字符线条消除图像中除背影区之外的，包括均具有相同颜色特性，并连续预定数目以上的连续像素的区域，和把第二字符区辨别部分辨别的字符区数字化，并识别字符的字符识别部分。

当介质处理程序使计算机起非字符线条辨别部分的作用时，介质处理程序可指令计算机还起下述作用：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同颜色信息的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计部分，根据非字符线条位置估计部分辨别的非字符线条可能位置中的颜色信息的频率分布，确定非字符线条的颜色信息的颜色信息确定部分，和关于与颜色信息确定部分确定的颜色信息相同的颜色信息，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取部分。

当介质处理程序使计算机起字符图像恢复部分的作用时，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色信息和非字符线条的颜色信息之间的差异，用样条曲线形成字符图像中的字符轮廓，并用具有和字符图像相同的颜色信息的像素，填充字符轮廓围绕的区域。

根据本发明，提供了一种字符识别设备，用于从包括字符图像的初始图像抽取字符图像并关于字符图像识别字符，包括：根据初始图像中每一颜色分量的色散量和颜色属性的频率分布，辨别背景区的背景辨别部分；辨别除字符之外的非字符线条，并根据初始图像中与构成背景区的像素不同的像素的颜色属性的频率分布，和均具有相同的颜色属性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别部分；产生第一非字符线条消除图像的第一非字符线条消除图像产生部分，其中通过在初始图像中，用具有和背景相同的颜色分量的像素代替由非字符线条辨别部分辨别的非字符线条，从初始图像中除去非字符线条；在第一非字符线条消除图像产生部分产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色属性并且连续预定数目以上的连续像素的区域的第一字符区辨别部分；根据初始图像，产生放大图像的放大图像产生部分；产生第二非字符线条消除图像的第二非字符线条消除图像产生部分，其中通过根据非字符线条辨别部分获得的非字符线条信息，在放大图像产生部分产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条；根据非字符线条辨别部分获得的非字符线条信息，和第一字符区辨别部分辨别的字符区，判断初始图像中，字符图像和非字符线条是否相互干扰的干扰判断部分；当干扰判断部分判断字符图像和非字符线条相互干扰时，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复部分；把大于预定尺寸的区域辨别为字符区的第二字符区辨别部分，该区域是第二非字符线条消除图像中除背影区之外的、包括均具有相同颜色属性并连续预定数目以上的连续像素的区域；和把第二字符区辨别部分辨别的字符区数字化，并识别字符的字符识别部分；其中所述背景辨别部分通过以下辨别背景区：利用初始图像的每一像素的每一颜色分量的偏差，计算每一颜色分量的色散量，根据每一颜色分量的色散量，区分构成背景区的像素，产生构成背景区的像素的颜色属性的频率分布；以及根据频率分布的峰值区分背景区，其中所述非字符线条辨别部分包括：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色属性的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计部分，根据非字符线条位置估计部分辨别的非字符线条可能位置中的颜色属性的频率分布，确定非字符线条的颜色属性的颜色信息确定部分，和关于与颜色信息确定部分确定的颜色属性相同的颜色属性，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取部分，其中字符图像恢复部分关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，形成字符图像中的字符轮廓，并且用具有和所述字符图像的颜色属性相同的颜色属性的像素，填充字符轮廓围绕的区域。

根据本发明，提供了一种从包括字符图像的初始图像中抽取字符图像并关于字符图像识别字符的字符识别方法，包括：根据初始图像中每一颜色分量的色散量和颜色属性的频率分布，辨别背景区的背景辨别步骤；辨别除字符之外的非字符线条，并根据初始图像中与构成背景区的像素不同的像素的颜色属性的频率分布，和均具有相同的颜色属性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别步骤；产生第一非字符线条消除图像的第一非字符线条消除图像产生步骤，其中通过在初始图像中，用具有和背景相同颜色分量的像素代替在非字符线条辨别步骤中辨别的非字符线条，从初始图像中除去非字符线条；在第一非字符线条消除图像产生步骤中产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色属性，并且连续预定数目以上的连续像素的区域的第一字符区辨别步骤；根据初始图像，产生放大图像的放大图像产生步骤；产生第二非字符线条消除图像的第二非字符线条消除图像产生步骤，其中通过根据在非字符线条辨别步骤中获得的非字符线条信息，在放大图像产生步骤产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条；根据在非字符线条辨别步骤中获得的非字符线条信息，和在第一字符区辨别步骤中辨别的字符区，判断初始图像中，字符图像和非字符线条是否相互干扰的干扰判断步骤；当在干扰判断步骤中判断字符图像和非字符线条相互干扰时，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复步骤；把大于预定尺寸的区域辨别为字符区的第二字符区辨别步骤，该区域是第二非字符线条消除图像中除背影区之外的、包括均具有相同颜色属性并连续预定数目以上的连续像素的区域；和把在第二字符区辨别步骤中辨别的字符区数字化，并识别字符的字符识别步骤；其中所述背景辨别步骤包括：利用初始图像的每一像素的每一颜色分量的偏差，计算每一颜色分量的色散量，根据每一颜色分量的色散量，区分构成背景区的像素，产生构成背景区的像素的颜色属性的频率分布；以及根据频率分布的峰值区分背景区，其中所述非字符线条辨别步骤包括：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色属性的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计步骤，根据在非字符线条位置估计步骤中辨别的非字符线条可能位置中的颜色属性的频率分布，确定非字符线条的颜色属性的颜色信息确定步骤，和关于与在颜色信息确定步骤中确定的颜色属性相同的颜色属性，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取步骤，并且其中所述字符图像恢复步骤包括：关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，形成字符图像中的字符轮廓，以及用具有和字符图像的颜色属性相同的颜色属性的像素，填充字符轮廓围绕的区域。

根据本发明，提供了一种介质处理设备，用于根据从其中记录字符的介质读取的介质图像识别字符，包括：根据介质图像，抽取介质图像的布局特征并分析布局结构的布局分析部分；根据布局分析部分的分析结果，产生包括经历字符识别的字符图像的初始图像的初始图像产生部分；根据初始图像中每一颜色分量的色散量和颜色属性的频率分布，辨别背景区的背景辨别部分；辨别除字符之外的非字符线条，并根据初始图像中与构成背景区的像素不同的像素的颜色属性的频率分布，和均具有相同的颜色属性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别部分；产生第一非字符线条消除图像的第一非字符线条消除图像产生部分，其中通过在初始图像中，用具有和背景相同的颜色分量的像素代替由非字符线条辨别部分辨别的非字符线条，从初始图像中除去非字符线条；在第一非字符线条消除图像产生部分产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色属性并且连续预定数目以上的连续像素的区域的第一字符区辨别部分；根据初始图像，产生放大图像的放大图像产生部分；产生第二非字符线条消除图像的第二非字符线条消除图像产生部分，其中通过根据非字符线条辨别部分获得的非字符线条信息，在放大图像产生部分产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条；根据非字符线条辨别部分获得的非字符线条信息，和第一字符区辨别部分辨别的字符区，判断初始图像中，字符图像和非字符线条是否相互干扰的干扰判断部分；当干扰判断部分判断字符图像和非字符线条相互干扰时，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复部分；把大于预定尺寸的区域辨别为字符区的第二字符区辨别部分，该区域是第二非字符线条消除图像中除背影区之外的、包括均具有相同颜色属性并连续预定数目以上的连续像素的区域；和把第二字符区辨别部分辨别的字符区数字化，并识别字符的字符识别部分；其中所述背景辨别部分通过以下辨别背景区：利用初始图像的每一像素的每一颜色分量的偏差，计算每一颜色分量的色散量，根据每一颜色分量的色散量，区分构成背景区的像素，产生构成背景区的像素的颜色属性的频率分布；以及根据频率分布的峰值区分背景区，其中所述非字符线条辨别部分包括：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色属性的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计部分，根据非字符线条位置估计部分辨别的非字符线条可能位置中的颜色属性的频率分布，确定非字符线条的颜色属性的颜色信息确定部分，和关于与颜色信息确定部分确定的颜色属性相同的颜色属性，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取部分，其中字符图像恢复部分关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，形成字符图像中的字符轮廓，并且用具有和所述字符图像的颜色属性相同的颜色属性的像素，填充字符轮廓围绕的区域。

根据本发明，提供了一种根据从其中记录字符的介质读取的介质图像识别字符的介质处理方法，包括：根据介质图像，抽取介质图像的布局特征并分析布局结构的布局分析步骤；根据布局分析步骤中的分析结果，产生包括经历字符识别的字符图像的初始图像的初始图像产生步骤；根据初始图像中每一颜色分量的色散量和颜色属性的频率分布，辨别背景区的背景辨别步骤；辨别除字符之外的非字符线条，并根据初始图像中与构成背景区的像素不同的像素的颜色属性的频率分布，和均具有相同的颜色属性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别步骤；产生第一非字符线条消除图像的第一非字符线条消除图像产生步骤，其中通过在初始图像中，用具有和背景相同颜色分量的像素代替在非字符线条辨别步骤中辨别的非字符线条，从初始图像中除去非字符线条；在第一非字符线条消除图像产生步骤中产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色属性并且连续预定数目以上的连续像素的区域的第一字符区辨别步骤；根据初始图像，产生放大图像的放大图像产生步骤；产生第二非字符线条消除图像的第二非字符线条消除图像产生步骤，其中通过根据在非字符线条辨别步骤中获得的非字符线条信息，在放大图像产生步骤中产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条；根据在非字符线条辨别步骤中获得的非字符线条信息，和在第一字符区辨别步骤中辨别的字符区，判断初始图像中，字符图像和非字符线条是否相互干扰的干扰判断步骤；当在干扰判断步骤中判断字符图像和非字符线条相互干扰时，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复步骤；把大于预定尺寸的区域辨别为字符区的第二字符区辨别步骤，该区域是第二非字符线条消除图像中除背影区之外的，包括均具有相同颜色属性，并连续预定数目以上的连续像素的区域；和把在第二字符区辨别步骤中辨别的字符区数字化，并识别字符的字符识别步骤；其中所述背景辨别步骤包括：利用初始图像的每一像素的每一颜色分量的偏差，计算每一颜色分量的色散量，根据每一颜色分量的色散量，区分构成背景区的像素，产生构成背景区的像素的颜色属性的频率分布；以及根据频率分布的峰值区分背景区，其中所述非字符线条辨别步骤包括：分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色属性的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计步骤，根据在非字符线条位置估计步骤中辨别的非字符线条可能位置中的颜色属性的频率分布，确定非字符线条的颜色属性的颜色信息确定步骤，和关于与在颜色信息确定步骤中确定的颜色属性相同的颜色属性，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取步骤，并且其中字符图像恢复步骤包括：关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，形成字符图像中的字符轮廓，以及用具有和字符图像的颜色属性相同的颜色属性的像素，填充字符轮廓围绕的区域。

根据本发明，能够获得可高度准确地识别书写在彩色表格上的字符的优点。

附图说明

图1表示根据本发明一个实施例的表格识别设备的结构；

图2A、2B、2C和2D图解说明将由表格识别设备辨别的表格；

图3表示红色中，饱和度S和亮度L之间的关系；

图4A和4B分别表示由根据本发明实施例的表格识别设备的背景辨别部分13产生的背景直方图的例子；

图5A和5B分别表示由根据本发明实施例的表格识别设备的背景辨别部分13产生的非背景直方图的例子；

图6是图解说明由根据本发明实施例的表格识别设备的背景辨别部分进行的背景颜色的判断技术的流程图；

图7A、7B和7C分别表示局部图像的垂直方向和水平方向上的直方图的例子；

图8图解说明在根据本发明实施例的表格识别设备中的分隔线(水平线)的产生技术；

图9A和9B分别图解说明在根据本发明实施例的表格识别设备中的分隔线(水平线)的产生技术；

图10是图解说明由根据本发明实施例的表格识别设备中的分隔线抽取部分执行的分隔线信息的抽取技术的流程图；

图11A和11B图解说明由根据本发明实施例的表格识别设备中的放大图像产生部分执行的放大图像的产生技术的例子；

图12表示在根据本发明实施例的表格识别设备中的分隔线消除过程中的字符图像的例子；

图13表示在根据本发明实施例的表格识别设备中的分隔线消除过程中的字符图像的例子；

图14表示在根据本发明实施例的表格识别设备中的分隔线消除过程中的字符图像的例子；

图15A和15B分别表示在根据本发明实施例的表格识别设备中的分隔线消除过程中的字符图像的例子；

图16是图解说明在根据本发明实施例的表格识别设备中，从分隔线消除处理到字符图像恢复处理的过程的流程图；

图17是图解说明在根据本发明实施例的表格识别设备中的字符识别处理的流程图；

图18是图解说明在根据本发明实施例的表格识别设备中，关于表格识别的过程的流程图；

图19图解说明根据本发明实施例的表格识别设备中的色调群集分类技术；

图20图解说明在根据本发明实施例的表格识别设备中使用的亮度群集分类技术。

具体实施方式

下面，参考附图，说明本发明的实施例。

(A)实施例的说明

图1表示作为本发明的实施例的表格识别设备的结构；图2A、2B、2C和2D分别图解说明由表格识别设备辨别的表格。图2A表示表格的一部分；图2B表示表格上的字符；图2C表示表格上预先印刷的部分；图2D表示表格的背景部分。

表格识别设备(介质处理设备；字符识别设备)1阅读在银行机构中使用的表格(介质(medium))，以便识别在预定栏中书写的字符。具体地说，表格识别设备1识别在彩色表格上书写的字符，彩色表格的预先印刷部分包括用和字符的颜色及设置颜色不同的颜色形成的分隔线(ruled-line)；背景，指南字符等。

表格识别设备1被安排成关于图2A中所示的彩色表格，根据所述彩色表格的颜色信息，抽取排除背景(参见图2D)和预先印刷部分(参见图2C)的字符部分(参见图2B)，从而识别字符。例如，在图2A-2D中所示的例子中，表示了一个例子，所述例子是由以红色形成的预先印刷部分和以蓝色在其上书写的字符组成的彩色表格。通过利用这样的颜色信息(色调(hue)和亮度)，字符图像被抽取为待识别的目标，从而，字符被识别。下面，在本实施例中，有时候将把彩色表格简称为“表格”。

如图1中所示，表格识别设备1包括彩色图像阅读器2，存储器3，硬盘4，监视器5，键盘6和CPU(中央处理器)10作为计算机***(信息处理***)；并被安排成使CPU10执行保存在存储器3和硬盘4中的程序(字符识别程序和介质处理程序)，从而使表格识别设备1实现其功能。

彩色图像阅读器2从彩色表格读出图像数据(介质图像)。例如，可采用光学字符读取设备(OCR设备)或图像扫描仪。在表格识别设备1中，彩色图像阅读器2以彩色图像或灰度图像(多值图像)的形式从彩色表格读出图像数据。

硬盘4保存彩色图像阅读器2读取的表格的图像数据，并保存上面提及的程序。此外，硬盘4保存预先记录的数据库22。

预先记录的数据库22包括事先记录于其中的关于表格的信息，例如分隔线的布局信息和字符识别的定义信息(参见图18)。至于分隔线的布局信息，使用由垂直线和水平线形成的分隔线的起点(起始位置)和终点(终止位置)的基于垂直和水平线的坐标位置，向表格提供的项目栏(分隔线项目)，例如数据栏和用于书写金额总和的各栏的矩形坐标。另外，至于字符识别的定义信息，使用作为待识别目标的矩形坐标，辨别类别(例如，字符的类型，例如数字、字母、日文平假名-文字等)，线条的类型和构成栏框架的分隔线的坐标。

存储器3用于当CPU10进行各种处理时，形成(develope)数据或者临时保存该数据。另外，上面提及的程序可保存在存储器3中。监视器5显示表格的图像，字符识别的结果，和操作员使用的操作屏幕。向操作员提供键盘6，以便执行包括输入信息在内的各种操作。

CPU10执行各种操作和处理，如图1中所示，执行下述功能：即，布局分析部分11，局部图像产生部分(初始图像(original image)产生部分)12，背景辨别部分13，分隔线抽取部分(非字符线条辨别部分)14，第一字符区辨别部分15，放大图像产生部分16，分隔线消除部分(第一非字符线条消除图像产生部分，第二非字符线条消除图像产生部分)17，干扰判断部分18，字符图像恢复部分19，第二字符区辨别部分20和字符识别部分21。

布局分析部分11抽取图像数据的布局的特征，根据表格的图像数据(介质图像)，分析表格的布局的结构；并根据表格的图像数据，抽取分隔线的布局信息，对照记录在预先记录的数据库22中的分隔线的布局信息，检查抽取的分隔线的布局信息，从而获得字符识别的定义信息。布局分析部分11进行的处理可由，例如在日本专利No.3088019(名称：介质处理设备和介质处理方法)中公开的技术实现。

根据布局分析部分11进行的分析的结果，局部图像(partial image)产生部分(初始图像产生部分)12产生包括经历字符识别的字符图像的局部图像(初始图像)；并根据布局分析部分11获得的项目的坐标等(它是字符识别的目标)，从表格的图像数据中抽取经历字符识别的局部图像(初始图像)，从而产生表格的局部图像。

根据局部图像产生部分12产生的局部图像中的颜色分量的色散量，和关于颜色信息的频率分布，背景辨别部分13识别背景区。

这里，参考图3、4A、4B、5A和5B，根据图6中所示的流程图(步骤A10-A70)，说明由表格识别设备1中的背景辨别部分13进行的背景颜色的判断技术。

图3表示了红色的饱和度S和亮度L之间的关系；通过把纵坐标轴定义为饱和度S，横坐标轴定义为亮度L，图4A、4B、5A、5B分别表示了由本发明一个实施例的表格识别设备1中的背景辨别部分13产生的直方图的例子；图4A表示背景的色调直方图的例子；图4B表示背景的亮度直方图的例子；图5A表示排除背景的区域的色调直方图的例子；图5B表示排除背景的区域的亮度直方图的例子。图4A和4B分别表示背景为白色的情况下的例子。

在局部图像的预定大小的区域(本实施例中，8像素×8像素的矩形区；下面，有时把该8像素×8像素的矩形区称为像素块)中，背景辨别部分13计算8×8像素块中每个像素的每个颜色R(红)、G(绿)和B(蓝)的数据(色级)的平均值R_AVE、G_AVE和B_AVE。根据每个像素的R、G、B数据和8×8像素区的R、G、B数据的平均值R_AVE、G_AVE和B_AVE之间的差异，背景辨别部分13计算8×8像素区的颜色值的色散量。即，为了确定像素是否在该8×8像素块中，背景辨别部分13使用它们之间的偏差。

通过利用这些值R_AVE、G_AVE、B_AVE、R、G、B，背景辨别部分13利用下面的表达式(1)，计算像素块中像素的颜色值的色散量(步骤A10)，另外，判断颜色值的色散量是否较小；即，色散量是否小于预置阈值(例如10)(步骤A20)。

颜色值的色散量＝max(ΔR，ΔG，ΔB)    (1)

这里，

ΔR＝|R_AVE-R|

ΔG＝|G_AVE-G|

ΔB＝|B_AVE-B|

应注意MAX()代表圆括号中每个值的最大值。

根据像素的R、G、B值，背景辨别部分13利用下述表达式(2)进行HSV转换，把这些值转换成由色调H、饱和度S和亮度L构成的数据，并判断每个像素是彩色还是非彩色。

S＝(V-X)/V    (2)

这里，

V＝max(R，G，B)

X＝min(R，G，B)

Min()代表圆括号中每个值的最小值。

另外，H由下面的表达式表示。

当R＝V时，H＝(pi/3)*(b-g)

当G＝V时，H＝(pi/3)*(2+r-b)

当B＝V时，H＝(pi/3)*(4+g-r)

L＝(max(R，G，B)+min(R，G，B))/2

这里，

r＝(V-R)/(V-X)

g＝(V-G)/(V-X)

b＝(V-B)/(V-X)

pi是圆周率

并且

H：0～360

S：0～1

V：0～1

L：0～1

R、G、B：0～1

这里，当颜色值的色散量较小(例如，小于10)时(参见步骤A20中的“是”路线)，判断该像素构成背景。当颜色值的色散量较大(例如，10或更大)时(参见步骤A20中的“否”路线)，判断该像素构成除背景之外的区域。

此外，关于局部图像，背景辨别部分13分别产生判断为构成背景的像素的直方图，和判断为构成除背景之外的区域的像素的直方图。此外，这些直方图产生彩色颜色和非彩色颜色的独立直方图(色调直方图，亮度直方图)(参见图4A、4B和图5A、5B中的步骤A30和A40)。

图3中，纵坐标轴上饱和度S的较大值代表更鲜艳的颜色；横坐标轴上亮度L的较大值代表更明亮的颜色。二次曲线f1是代表彩色颜色的边界的曲线；二次曲线f2是代表非彩色颜色的边界的曲线。二次曲线f1和f2之间的颜色是不确定的颜色，它不能被判断为彩色颜色或非彩色颜色。

这些二次曲线f1和f2由下面的表达式(3)和(4)表示。

f1＝(1/4000)(255-LUM)²+10         (3)

f2＝(1/2)(1/4000)(255-LUM)²+10    (4)

当像素的饱和度S和亮度L(LUM)被确定时，利用上面的表达式(3)，能够计算在该亮度下，产生的彩色颜色的饱和度S的下限值。因此，根据饱和度S是否大于下限值的标准，判断像素是否是彩色颜色。此外，利用上面的表达式(4)，能够计算该亮度下，非彩色颜色的上限值。因此，根据饱和度S是否小于上限值的标准，判断像素是否是非彩色颜色。下面，有时将把对彩色颜色，非彩色颜色和不确定颜色分类称为色调群集分类。

可以安排成关于亮度LUM，计算二次曲线f1的值(它代表彩色颜色的下限值)，和二次曲线f2的值(它代表非彩色颜色的上限值)，并分别产生彩色颜色的判断表和非彩色颜色的判断表，以便利用这些判断表判断彩色颜色和非彩色颜色。

如图4A和图5A中所示，当像素是彩色颜色时，背景辨别部分13在色调直方图上反映该像素的色调H；当像素是非彩色颜色时，如图4B和图5B中所示，背景辨别部分13在亮度直方图上反映该像素的亮度。即，计数彩色颜色的色调H的值的出现次数，产生色调直方图(彩色颜色的色调直方图)；计数非彩色颜色的亮度的值的出现次数，产生亮度直方图(非彩色颜色的直方图)。

关于构成8×8像素块的每个像素，背景辨别部分13执行步骤A10～A40中的处理，并关于局部图像中的每个像素块，判断是否已进行步骤A10～A40中的处理(步骤A50)。当还未对每个像素块完成处理时，处理返回步骤A10(参见步骤A50中的“否”路线)。当已完成对每个像素块的处理时(参见步骤A50中的“是”路线)时，背景辨别部分13搜索背景直方图(色调直方图，亮度直方图)中的峰值，并把其出现次数为峰值的色调和亮度识别成背景颜色(步骤A60)。

图4A和4B中所示的例子图解说明在代表亮度直方图中的白色的亮度下，检测到峰值的状态。由此知道背景为白色。

在表格识别设备1中，在上述步骤A30和A40中，当像素是彩色颜色时，产生色调直方图；当像素是非彩色颜色时，产生亮度直方图。从而，也能够检测诸如白色之类非彩色颜色的像素的频率。因此，即使背景颜色是彩色颜色或非彩色颜色，也能够识别背景。

随后，根据在步骤A40中产生的不同于背景的区域的直方图(参见图5A和5B)，关于局部像素中不同于背景的区域，背景辨别部分13判断是否可对其应用使用色调辨别字符和分隔线的技术(色调分离，后面将更详细地说明)(步骤A70)。更具体地说，根据非背景直方图，背景辨别部分13搜索除在步骤A60中已被识别为背景的色调值/亮度值之外的峰值(直方图中的尖峰)。当在色调直方图中存在不同于背景的一个或多个峰值时，并且当在色调直方图和亮度直方图中总共存在两个或更多的峰值时，背景辨别部分13判断能够进行色调分离(色调处理，将在后面说明)。当峰值的数目不满足除背景之外的区域的直方图中的上述条件时，背景辨别部分13判断不能进行色调分离，从而，必须根据亮度值进行分离(灰度处理)，这将在后面说明。

分隔线抽取部分(非字符线条辨别部分)14识别除字符之外的分隔线(非字符线条)，并根据局部图像中，具有和构成背景区的像素不同的颜色信息的像素的频率分布，以及其像素彼此具有相同的颜色特征，持续预定次数以上的连续像素，获取并抽取分隔线信息(非字符线条信息)。

分隔线抽取部分14包括分隔线位置估计部分(非字符线条位置估计部分)23，分隔线位置估计部分23关于局部图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色信息的像素的频率分布；并根据上面的结果，把具有高于预定值的频率的位置识别成分隔线的可能位置(非字符线条可能位置)。

此外，分隔线抽取部分14包括色调确定部分(颜色信息确定部分)24和分隔线信息获取部分(非字符线条信息获取部分)25，色调确定部分24根据分隔线位置估计部分23识别的分隔线的可能位置中的色调直方图(颜色信息的频率分布)，确定分隔线的色调(颜色信息)，分隔线信息获取部分25关于和色调确定部分24确定的色调相同的色调，根据像素的连续性，获得分隔线的分隔线信息。

参见图7A、7B和7C，图8，图9A和9B，根据图10中所示的流程图(步骤B10-B110)，说明表格识别设备1中分隔线抽取部分14进行的分隔线信息的抽取技术。图7A、7B和7C表示局部图像的垂直方向和水平方向上的直方图的例子。图7A表示局部图像的例子；图7B表示水平方向上像素的直方图的例子；图7C表示垂直方向上像素的直方图的例子。图8和图9A及9B分别图解说明分隔线(水平线)的产生技术。图8表示段信息的例子；图9A和9B图解说明根据图8中所示的段信息，产生线条信息的技术。

关于由局部图像产生部分12产生的局部图像(参见图7A)，分隔线抽取部分14产生除局部图像中的背景之外的区域的水平方向上像素的直方图(参见图7B)和垂直方向上像素的直方图(参见图7C)(步骤B10)。

首先，分隔线抽取部分14在水平方向的直方图(参见图7B)中，搜索具有大于预定量的出现频率(appearance frequency)的位置(水平位置)(步骤B20)，并判断是否检测到出现频率大于预定量的水平位置(步骤B30)。在水平方向的直方图中检测到这种位置的情况下(参见步骤B30中的“是”路线)，分隔线位置估计部分23判断在其水平位置中，在局部图像中存在可能的分隔线(非字符线条位置估计步骤)。在局部图像的该水平位置，分隔线抽取部分14产生放置在该水平位置中的每个像素的色调直方图，色调确定部分24把色调直方图中，具有最大出现频率的色调值确定为分隔线的色调(步骤B40，颜色信息确定步骤)。

对于存在于在步骤B40中被判断为包括可能分隔线的局部图像中的水平位置的像素，分隔线信息获取部分25抽取像素，所述像素是具有在步骤B40中确定的色调值，并在特定范围内连续预定数目(number)以上的像素(连续像素)，分别产生连续像素作为水平线条(段，段信息)(步骤B50；参见图8)。

在图8中所示的例子中，分隔线抽取部分14抽取特定范围(预定长度)内作为段信息的连续像素，从而获得多个段。从而，通过获得具有预定长度的多条信息，能够防止发生倾斜，从而，防止发生分隔线的位置偏移等，导致读取质量提高。

分隔线抽取部分14结合在步骤B50中产生的多个段信息(相互连接)(参见图9A)，从而产生一条分隔线信息(步骤B60；参见图9B)，并返回步骤B20。即，分隔线抽取部分14根据在步骤B50中产生的水平线，产生线条信息(非字符线条信息获取步骤)。

另外，在水平方向的直方图中，已完成对出现频率大于预定量的每个水平位置的处理的情况下，并且当没有检测到还未进行分隔线信息产生处理的水平位置时(参见步骤B30中的“否”路线)，在垂直方向的直方图(参见图7C)中，搜索出现频率大于预定量的位置(垂直位置)(步骤B70)，并判断是否检测到具有大于预定量的出现频率的垂直位置(步骤B80)。当在垂直方向的直方图中检测到这样的位置时(参见步骤B80中的“是”路线)，分隔线位置估计部分23判断在局部图像的垂直位置中，存在可能的分隔线。在局部图像的垂直位置，分隔线抽取部分14产生沿垂直方向布置的像素的色调直方图，色调确定部分24把色调直方图中，具有最大出现频率的色调值确定为分隔线的色调(步骤B90)。

此外，对于在步骤B90中已判断为包括可能分隔线的局部图像的垂直位置中的像素，分隔线信息获取部分25抽取像素(连续像素)(所述像素是具有在步骤B90中确定的色调值，并在特定的范围内连续预定数目以上的像素)，并产生作为垂直段(段，段信息)的连续像素(步骤B100)。

分隔线抽取部分14结合(相互连接)在步骤B100中产生的多条段信息，从而产生一条分隔线信息(步骤B110)，并返回步骤B70。即，分隔线抽取部分14根据在步骤B100产生水平线，产生一条线信息。另一方面，在垂直方向的直方图中，当已完成对出现频率大于预定量的每个垂直位置的处理，并且当没有检测到还未进行分隔线信息产生处理的垂直位置时(参见步骤B80中的“否”路线)，终止处理。

分隔线消除部分(第一非字符线条消除图像产生部分，第二非字符线条消除图像产生部分)17用和背景具有相同颜色分量的像素替换局部图像中，分隔线抽取部分14识别的分隔线，并除去分隔线，从而产生第一分隔线消除图像(第一非字符线条消除图像)。

除了使用上述技术，从局部图像中消除分隔线，并产生第一分隔线消除图像的第一非字符线条消除图像产生部分之外，另外在放大图像产生部分16(后面说明)产生的放大图像中，分隔线消除部分17用作从放大图像中消除分隔线，并产生第二分隔线消除图像(第二非字符线条消除图像)的第二非字符线条消除图像产生部分。下面，就第一分隔线消除图像的产生而论的分隔线的消除可被称为第一消除，就第二分隔线消除图像的产生而论的分隔线的消除可被称为第二消除。

在分隔线消除部分17产生的第一分隔线消除图像中，第一字符区辨别部分15把不同于其背景区的，彼此具有相同色调(颜色特性)的连续像素连续预定数目以上的区域，识别成字符区，并把字符区的色调识别成字符的色调。

放大图像产生部分16根据局部图像产生放大图像。在表格识别设备1中，放大图像产生部分16把构成局部图像的像素转换成子像素，从而产生放大图像。措词“把像素转换成子像素”意味着虚拟地把构成局部图像的每个像素分成一个以上的像素，或者说用一个以上的像素代替构成局部图像的每个像素。

图11A和11B图解说明由表格识别设备1中的放大图像产生部分16进行的放大图像产生技术的例子。图11A表示放大前的图像的状态；图11B表示放大后的图像的状态的例子。当通过把像素转换成子像素，把图11A中所示的3×3像素的图像(初始图像)放大成图11B中所示的5×5像素的图像(放大图像)时，首先，构成初始图像的各个像素被布置成，留下可在相邻像素之间布置预定数目的像素(在图11B中所示的例子中：一个像素)的空间，以便把构成初始图像的各个像素复制到放大图像中(坐标变换)。

随后，补充构成放大图像的像素之间的区域(空间)。更具体地说，对于布置在这些空间中的区域中的像素，先前构成这些空间的初始图像的像素的平均值被设置成像素值(色调)。例如，在图11B中所示的例子中，对于附图标记①的像素，设置在左右方向上彼此相邻的像素(像素1-1和1-2)的平均值；对于附图标记②的像素，设置在垂直方向上彼此相邻的像素(像素1-1和2-1)的平均值。此外，对于附图标记③的像素，设置围绕该像素的像素(像素1-1、1、2、2-1和2-2)的平均值。即，放大图像产生部分16对构成局部图像的每个像素执行上述处理，从而构成局部图像的放大图像。

放大图像产生部分16的产生放大图像的技术并不局限于上述方法。在不脱离本发明的精神的范围内，能够做出各种修改。

根据分隔线抽取部分14获得的分隔线信息，和第一字符区辨别部分15识别的字符区，干扰判断部分18判断在局部图像中，字符和分隔线是否相互干扰(接触或重叠)。更具体地说，比较分隔线抽取部分14获得的分隔线信息和第一字符区辨别部分15识别的字符区，确定分隔线和字符可能相互干扰的位置。随后，在放大图像产生部分16产生的放大图像中，判断色调和分隔线相同的像素与色调和字符相同的像素彼此相邻的点是字符和分隔线相互干扰的点。

当干扰判断部分18判断字符图像和分隔线相互干扰时，字符图像恢复部分19根据就第二分隔线消除图像中字符图像和分隔线之间的干扰点来说，字符图像的色调和分隔线的色调之间的差异，恢复字符图像。

在表格识别设备1中，在字符图像和分隔线相互干扰(重叠)(参见图12)的情况下，当分隔线消除部分17从放大图像中除去分隔线时，在第二分隔线消除图像中，在字符图像中，沿着分隔线删除与分隔线重叠的那部分字符图像(干扰点)，形成其一部分缺失的字符图像(参见图13)。字符图像恢复部分19把从中删除其一部分的字符图像恢复到没有任何缺失的状态。

更具体地说，首先，字符图像恢复部分19参考第二分隔线消除图像和干扰判断部分18的判断结果，通过利用缺失位置中字符和分隔线之间色调方面的差异，并参考放大的字符图像，获得第二分隔线消除图像中，字符图像被部分删除的位置(字符和分隔线相互干扰的位置；下面，有时称为缺失位置)，并在缺失位置恢复字符轮廓。

即，就和放大图像中，字符的色调和分隔线的色调彼此不同，并且连续预定像素以上的缺失位置等同的位置来说，字符图像恢复部分19把该部分识别成字符和分隔线之间的边界。字符图像恢复部分19绘出放大图像中的缺失位置，从而确定字符的轮廓。此外，字符图像恢复部分19连接字符轮廓和样条(spline)曲线，从而平滑地形成字符轮廓。

字符图像恢复部分19用色调和被第一字符区辨别部分15识别为字符色调的色调相同的像素填充如上形成的字符轮廓的内部区域(字符的内部)；从而，恢复字符图像。

参见图12-图15，将根据图16中所示的流程图(步骤C10-C60)，说明表格识别设备1中，从分隔线消除到字符图像的恢复的处理。图12-图15分别表示了分隔线消除过程中的字符图像的一个例子。

如图12中所示，在要除去分隔线的图像(局部图像，放大图像)中，根据分隔线信息获取部分25得到的分隔线信息，分隔线消除部分17用颜色和背景相同的像素，代替构成分隔线抽取部分14识别的分隔线的像素；由此用背景颜色填充分隔线区，从而删除分隔线(步骤C10)。

随后，分隔线消除部分17判断该删除是否是第二次消除(步骤C20)。如果不是第二次消除(参见步骤C20中的“否”路线)，那么处理被终止。如果是第二次消除(参见步骤C20中的“是”路线)，那么根据分隔线抽取部分14获得的分隔线信息，和第一字符区辨别部分15识别的字符区，干扰判断部分18判断在局部图像中，字符和分隔线是否相互干扰(接触或重叠)(步骤C30)。

根据在局部图像中，字符和分隔线是否相互干扰(接触或重叠)的判断结果(步骤C40)，当字符和分隔线相互干扰时(参见图12中步骤C40中的“是”路线)，借助步骤C10中分隔线的删除，形成其一部分缺失的字符图像(参见图13)。字符图像恢复部分19恢复该字符图像(参见步骤C50和图14)，并利用样条曲线补充字符和分隔线之间的边界部分(参见图15A)，从而产生平滑的字符图像(参见步骤C60和图15B)。另一方面，当字符和分隔线并不相互干扰时，(参见步骤C40中的“否”路线)时，处理被终止。

第二字符区辨别部分20把下述区域识别成字符区，即，在第二分隔线消除图像中，具有预定尺寸或更大尺寸的区域，该区域是除背景区域之外的区域，并包括其中具有相同色调的像素连续预定数目以上的连续像素的区域。就第二字符区辨别部分20识别的字符区来说，字符识别部分21数字化字符图像恢复部分19恢复的字符图像，并识别字符。例如，这由已知的OCR技术实现。

根据图17中所示的流程图(步骤D10-D80)，下面说明本发明一个实施例的表格识别设备1中的字符识别处理。

首先，背景辨别部分13利用色调群集分类等，获得背景颜色(步骤D10；背景辨别步骤)，分隔线抽取部分14抽取分隔线信息(步骤D20；非字符线条辨别步骤)。随后，分隔线消除部分17从局部图像中除去分隔线(第一次消除)，产生第一分隔线消除图像(步骤D30；第一非字符线条消除图像产生步骤)，第一字符区辨别部分15辨别分隔线消除部分17产生的第一分隔线消除图像中的字符区，并识别字符的色调(步骤D40；第一字符区辨别步骤)。

根据局部图像，放大图像产生部分16产生放大图像(步骤D50；放大图像产生步骤)，分隔线消除部分17从放大图像中除去分隔线(第二次消除)，从而产生第二分隔线消除图像(步骤D60；第二非字符线条消除图像产生步骤)。此时，当干扰判断部分18判断字符和分隔线相互干扰时(干扰判断步骤)，字符图像恢复部分19恢复由于第二次消除的缘故，具有缺失部分的字符图像(字符图像恢复步骤)。

随后，第二字符区辨别部分20辨别字符区(抽取)(步骤D70；第二字符区辨别步骤)；并且就第二字符区辨别部分20识别的字符区来说，字符识别部分21数字化字符图像，并识别字符(步骤D80；字符识别步骤)。

本发明并不局限于上述实施例，相反在不脱离本发明的精神的范围内，可采用各种修改。

例如，在上面的实施例中，以彩色图像的形式获得彩色表格的图像数据；其色级(tone level)(R、G和B)，色调和亮度被用作颜色分量或颜色信息；从而，背景、分隔线和字符的图像被抽取。但是，本发明并不局限于此。本发明可被安排成以灰度数据(单色多层次图像)的形式，获得彩色表格的图像数据，通过利用其亮度作为颜色信息，可抽取背景、分隔线和字符的图像。

如上所述，当以灰度数据的形式获得彩色表格的图像数据时，代替色调，亮度(亮度层次(gradation))被用作颜色信息，从而能够获得和上述实施例相同的作用效果。另外，当根据灰度图像进行图6中所示的背景辨别部分13的背景颜色的判断技术时，只产生背景直方图的亮度直方图。

这里，将参考图18中所示的流程图(步骤E10-E80)，说明关于本发明一个实施例的表格识别设备1中的表格识别的处理。本例中，可从下述两种不同的技术中选择一种技术；即，利用彩色图像处理彩色表格的图像数据；和利用灰度图像处理彩色表格的图像数据。

当利用彩色图像处理彩色表格的图像数据时，首先，表格识别设备1利用彩色图像阅读器2获得彩色表格的彩色图像(步骤E10)，并把获得的彩色图像(R、G和B)转换成灰度图像(亮度)(步骤E20)。下面的转换公式适合于利用彩色图像的每个值R、G和B，计算亮度Y。

Y(亮度)＝R×0.298912+G×0.586611+B×0.114478

随后，灰度图像(亮度)被转换成二进制图像(步骤E30)。可利用诸如固定片(slice)方法之类已知技术，实现从灰度图像到二进制图像的转换(图像的二进制化)。

另一方面，当利用灰度(gray scale)处理彩色表格的图像数据时，表格识别设备1利用彩色图像数据2获得彩色表格的灰度图像(步骤E80)，过程进入步骤E30。

随后，例如，利用在日本专利No.3088019中公开的技术，布局分析部分11根据在步骤E30中产生的数字化图像，抽取分隔线的布局信息(步骤E40)，比较抽取的布局信息和先前记录在预先记录的数据库22中的分隔线的布局信息，从而获得字符识别的定义信息(步骤E50；布局分析步骤)。

根据在步骤E50中获得的定义信息，局部图像产生部分12计算表格的图像数据(初始图像；彩色图像或灰度图像)上的坐标，产生用于识别字符的局部图像(步骤E60；初始图像产生步骤)。随后，关于产生的局部图像，由背景辨别部分13、分隔线抽取部分14、第一字符区辨别部分15、放大图像产生部分16、分隔线消除部分17、干扰判断部分18、字符图像恢复部分19、第二字符区辨别部分20和字符识别部分21进行字符识别处理(参见图17)(步骤E70)。

如上所述，根据作为本发明一个实施例的表格识别设备1，以彩色图像的形式获得彩色表格的图像数据，并通过利用色级(R、G和B)、色调和亮度等作为颜色分量或颜色信息，抽取背景、分隔线和字符图像。从而，能够除去可能是字符识别的干扰因素的分隔线、背景、指南字符等，并且能够抽取无噪声的字符识别图像，从而在扩展可利用OCR识别的表格的类型的同时，提高字符识别准确性。

此外，根据局部图像中色调的色散量和出现频率(色调直方图)，背景辨别部分13易于高速检测背景像素；并且关于局部图像的垂直方向和水平方向，分隔线抽取部分14(分隔线位置估计部分23)计算具有和构成背景区的像素不同的颜色信息的像素的频率分布。从而，具有大于预定值的频率的位置被识别成分隔线的可能位置。于是，易于高速识别分隔线的位置。

此外，根据由分隔线位置估计部分23识别的分隔线的可能位置中的色调直方图，分隔线抽取部分14(色调确定部分24)确定分隔线的色调。从而，易于高速确定分隔线的色调。

另外，根据具有和色调确定部分24所确定色调相同的色调的像素的连续性，分隔线抽取部分14(分隔线信息获取部分25)获得分隔线的分隔线信息。从而，易于可靠地确定分隔线(分隔线信息)。

在分隔线消除部分17产生的第一分隔线消除图像中，第一字符区辨别部分15易于高速识别字符区及其色调(亮度)。

通过利用形成子像素的技术，放大图像产生部分16根据局部图像产生放大图像；并根据放大图像，恢复分隔线消除和字符图像。因此，即使当字符图像和分隔线相互干扰(重叠)时，也能够抽取高度准确的字符图像，从而提高字符的识别精度。

(B)其它

在表格识别设备1，信息处理***(计算机)中的CPU(中央处理器)执行字符识别程序(介质处理程序)，从而，CPU用作上述的布局分析部分11，局部图像产生部分(初始图像产生部分)12，背景辨别部分13，分隔线抽取部分(非字符线条辨别部分)14，第一字符区辨别部分15，放大图像产生部分16，分隔线消除部分(第一非字符线条消除图像产生部分，第二非字符线条消除图像产生部分)17，干扰判断部分18，字符图像恢复部分19，第二字符区辨别部分20和字符识别部分21。

以记录在计算机可读记录媒体，例如软磁盘、CD-ROM、CD-R、CD-R/W、DVD、DVD-R、DVD-R/W、磁盘、光盘、磁光盘中的方式，提供用于实现布局分析部分11，局部图像产生部分(初始图像产生部分)12，背景辨别部分13，分隔线抽取部分(非字符线条辨别部分)14，第一字符区辨别部分15，放大图像产生部分16，分隔线消除部分(第一非字符线条消除图像产生部分，第二非字符线条消除图像产生部分)17，干扰判断部分18，字符图像恢复部分19，第二字符区辨别部分20和字符识别部分21的功能的程序(字符识别程序和介质处理程序)。计算机从记录媒体读出程序，把该程序传送给内部存储器或外部存储器，并把该程序保存于其中以便使用。另外，程序可记录在诸如磁盘、光盘、磁光盘之类记录设备(记录媒体)中，并可通过通信路径，从记录设备提供给计算机。

当实现作为布局分析部分11，局部图像产生部分(初始图像产生部分)12，背景辨别部分13，分隔线抽取部分(非字符线条辨别部分)14，第一字符区辨别部分15，放大图像产生部分16，分隔线消除部分(第一非字符线条消除图像产生部分，第二非字符线条消除图像产生部分)17，干扰判断部分18，字符图像恢复部分19，第二字符区辨别部分20和字符识别部分21的功能时，保存在内部存储器(本实施例中，计算机中的RAM、ROM、硬盘等)中的程序由计算机中的微处理器(本实施例中，CPU10)执行。这里，可被安排成记录在记录媒体中的程序由计算机读取和执行。

本实施例中，术语“计算机”是包括硬件和操作***的一个概念，并且意味着在操作***的控制下工作的硬件。此外，就在无操作***的情况下，应用程序使硬件独立工作来说，硬件本身等同于计算机。硬件包括至少一个微处理器，例如CPU，和用于读取记录在记录媒体中的计算机程序的装置。本实施例中，表格识别设备1具有作为计算机的功能。

此外，除了上面提及的软磁盘、CD-ROM、CD-R、CD-R/W、DVD、DVD-R、DVD-R/W、磁盘、光盘、磁光盘之外，各种计算机可读媒体，例如IC卡、ROM盒、磁带、穿孔卡、计算机的内部存储器(例如RAM和ROM)和外部存储器，以及诸如条形码之类印有代码的印刷品都适用于本实施例中的记录媒体。

图19图解说明作为本发明一个实施例的表格识别设备1中的色调群集分类技术，图19表示了关于图2A中所示的表格的局部图像的色调直方图的例子。

通过产生具有和图2A中所示的图像相同的色调分量的色调直方图，如图19中所示，产生输入字符(参见图2B)的蓝色像素的色调直方图(参见图19中的附图标记(i))，和预先印刷部分(参见图2C)的红色像素的色调直方图(参见图19中的附图标记(ii))。图19中的横坐标轴代表色调值；纵坐标轴代表色调值的出现次数。

在该表格识别设备1中，当利用彩色图像处理彩色表格的图像数据时，进行上述的色调群集分类；从而，使背景部分，字符部分和预先印刷部分的判断(色调分离，色调处理)成为可能。

当利用扫描仪阅读利用多种颜色印刷的原件，例如表格时，在读出的图像中，如图19中所示，由于用于印刷的油墨的不均匀性等因素，产生色调值稍微不同的像素数据，在出现次数的峰值附近，检测到多个峰值。于是，在本实施例中，包括在色调值的特定范围中的相同色调的峰值被总合成1。这种情况下，由于色调值的宽度(图19中的直方图的横坐标轴)会随色调而不同，因此可被安排成通过产生其中宽度作为结合峰值的参考的综合判断表，在查阅综合判断表的时候，峰值被结合。

另外，图20图解说明作为本发明一个实施例的表格识别设备1中的亮度群集分类技术，表示关于图2A中所示的表格的局部图像的亮度直方图的例子。通过产生具有和图2A中所示的图像相同的亮度分量的亮度直方图，如图20中所示，产生下述直方图；即，输入字符(参见图2B)亮度的亮度直方图(参见图20中的附图标记(i))，预先印刷部分(参见图2C)亮度的亮度直方图(参见图20中的附图标记(ii))，和背景部分(参见图2D)亮度的亮度直方图(参见图20中的附图标记(iii))。图20中的横坐标轴代表亮度值；纵坐标轴代表亮度值的出现次数。

在该表格识别设备1中，当利用灰度图像处理彩色表格的图像数据时，进行上述亮度群集分类；从而使背景部分、字符部分和预先印刷部分的判断(灰度处理)成为可能。

本发明的实施例的公开使本领域的技术人员能够实现并制造本发明。

本发明适用于识别在利用多种颜色产生的彩色原稿上书写的字符信息。

Claims (6)

1、一种字符识别设备，用于从包括字符图像的初始图像抽取字符图像并关于字符图像识别字符，包括：

根据初始图像中每一颜色分量的色散量和颜色属性的频率分布，辨别背景区的背景辨别部分(13)；

辨别除字符之外的非字符线条，并根据初始图像中与构成背景区的像素不同的像素的颜色属性的频率分布，和均具有相同的颜色属性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别部分(14)；

产生第一非字符线条消除图像的第一非字符线条消除图像产生部分(17)，其中通过在初始图像中，用具有和背景相同的颜色分量的像素代替由非字符线条辨别部分(14)辨别的非字符线条，从初始图像中除去非字符线条；

在第一非字符线条消除图像产生部分(17)产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色属性并且连续预定数目以上的连续像素的区域的第一字符区辨别部分(15)；

根据初始图像，产生放大图像的放大图像产生部分(16)；

产生第二非字符线条消除图像的第二非字符线条消除图像产生部分(17)，其中通过根据非字符线条辨别部分(14)获得的非字符线条信息，在放大图像产生部分(16)产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条；

根据非字符线条辨别部分(14)获得的非字符线条信息，和第一字符区辨别部分(15)辨别的字符区，判断初始图像中，字符图像和非字符线条是否相互干扰的干扰判断部分(18)；

当干扰判断部分(18)判断字符图像和非字符线条相互干扰时，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复部分(19)；

把大于预定尺寸的区域辨别为字符区的第二字符区辨别部分(20)，该区域是第二非字符线条消除图像中除背影区之外的、包括均具有相同颜色属性并连续预定数目以上的连续像素的区域；和

把第二字符区辨别部分(20)辨别的字符区数字化，并识别字符的字符识别部分(21)；

其中所述背景辨别部分(13)通过以下辨别背景区：

利用初始图像的每一像素的每一颜色分量的偏差，计算每一颜色分量的色散量，

根据每一颜色分量的色散量，区分构成背景区的像素，

产生构成背景区的像素的颜色属性的频率分布；以及

根据频率分布的峰值区分背景区，

其中所述非字符线条辨别部分(14)包括：

分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色属性的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计部分(23)，

根据非字符线条位置估计部分(23)辨别的非字符线条可能位置中的颜色属性的频率分布，确定非字符线条的颜色属性的颜色信息确定部分(24)，和

关于与颜色信息确定部分(24)确定的颜色属性相同的颜色属性，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取部分(25)，

其中字符图像恢复部分(19)关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，形成字符图像中的字符轮廓，并且用具有和所述字符图像的颜色属性相同的颜色属性的像素，填充字符轮廓围绕的区域。

2、按照权利要求1所述的字符识别设备，其中字符图像恢复部分(19)用样条曲线形成字符图像中的字符轮廓。

3、一种从包括字符图像的初始图像中抽取字符图像并关于字符图像识别字符的字符识别方法，包括：

根据初始图像中每一颜色分量的色散量和颜色属性的频率分布，辨别背景区的背景辨别步骤；

辨别除字符之外的非字符线条，并根据初始图像中与构成背景区的像素不同的像素的颜色属性的频率分布，和均具有相同的颜色属性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别步骤；

产生第一非字符线条消除图像的第一非字符线条消除图像产生步骤，其中通过在初始图像中，用具有和背景相同颜色分量的像素代替在非字符线条辨别步骤中辨别的非字符线条，从初始图像中除去非字符线条；

在第一非字符线条消除图像产生步骤中产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色属性，并且连续预定数目以上的连续像素的区域的第一字符区辨别步骤；

根据初始图像，产生放大图像的放大图像产生步骤；

产生第二非字符线条消除图像的第二非字符线条消除图像产生步骤，其中通过根据在非字符线条辨别步骤中获得的非字符线条信息，在放大图像产生步骤产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条；

根据在非字符线条辨别步骤中获得的非字符线条信息，和在第一字符区辨别步骤中辨别的字符区，判断初始图像中，字符图像和非字符线条是否相互干扰的干扰判断步骤；

当在干扰判断步骤中判断字符图像和非字符线条相互干扰时，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复步骤；

把大于预定尺寸的区域辨别为字符区的第二字符区辨别步骤，该区域是第二非字符线条消除图像中除背影区之外的、包括均具有相同颜色属性并连续预定数目以上的连续像素的区域；和

把在第二字符区辨别步骤中辨别的字符区数字化，并识别字符的字符识别步骤；

其中所述背景辨别步骤包括：

利用初始图像的每一像素的每一颜色分量的偏差，计算每一颜色分量的色散量，

根据每一颜色分量的色散量，区分构成背景区的像素，

产生构成背景区的像素的颜色属性的频率分布；以及

根据频率分布的峰值区分背景区，

其中所述非字符线条辨别步骤包括：

分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色属性的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计步骤，

根据在非字符线条位置估计步骤中辨别的非字符线条可能位置中的颜色属性的频率分布，确定非字符线条的颜色属性的颜色信息确定步骤，和

关于与在颜色信息确定步骤中确定的颜色属性相同的颜色属性，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取步骤，

并且其中所述字符图像恢复步骤包括：

关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，形成字符图像中的字符轮廓，以及

用具有和字符图像的颜色属性相同的颜色属性的像素，填充字符轮廓围绕的区域。

4、按照权利要求3所述的字符识别方法，其中

字符图像恢复步骤包括用样条曲线形成字符图像中的字符轮廓。

5、一种介质处理设备，用于根据从其中记录字符的介质读取的介质图像识别字符，包括：

根据介质图像，抽取介质图像的布局特征并分析布局结构的布局分析部分；

根据布局分析部分的分析结果，产生包括经历字符识别的字符图像的初始图像的初始图像产生部分；

根据初始图像中每一颜色分量的色散量和颜色属性的频率分布，辨别背景区的背景辨别部分(13)；

辨别除字符之外的非字符线条，并根据初始图像中与构成背景区的像素不同的像素的颜色属性的频率分布，和均具有相同的颜色属性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别部分(14)；

产生第一非字符线条消除图像的第一非字符线条消除图像产生部分(17)，其中通过在初始图像中，用具有和背景相同的颜色分量的像素代替由非字符线条辨别部分(14)辨别的非字符线条，从初始图像中除去非字符线条；

在第一非字符线条消除图像产生部分(17)产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色属性并且连续预定数目以上的连续像素的区域的第一字符区辨别部分(15)；

根据初始图像，产生放大图像的放大图像产生部分(16)；

产生第二非字符线条消除图像的第二非字符线条消除图像产生部分(17)，其中通过根据非字符线条辨别部分(14)获得的非字符线条信息，在放大图像产生部分(16)产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条；

根据非字符线条辨别部分(14)获得的非字符线条信息，和第一字符区辨别部分(15)辨别的字符区，判断初始图像中，字符图像和非字符线条是否相互干扰的干扰判断部分(18)；

当干扰判断部分(18)判断字符图像和非字符线条相互干扰时，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复部分(19)；

把大于预定尺寸的区域辨别为字符区的第二字符区辨别部分(20)，该区域是第二非字符线条消除图像中除背影区之外的、包括均具有相同颜色属性并连续预定数目以上的连续像素的区域；和

把第二字符区辨别部分(20)辨别的字符区数字化，并识别字符的字符识别部分(21)；

其中所述背景辨别部分(13)通过以下辨别背景区：

利用初始图像的每一像素的每一颜色分量的偏差，计算每一颜色分量的色散量，

根据每一颜色分量的色散量，区分构成背景区的像素，

产生构成背景区的像素的颜色属性的频率分布；以及

根据频率分布的峰值区分背景区，

其中所述非字符线条辨别部分(14)包括：

分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色属性的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计部分(23)，

根据非字符线条位置估计部分(23)辨别的非字符线条可能位置中的颜色属性的频率分布，确定非字符线条的颜色属性的颜色信息确定部分(24)，和

关于与颜色信息确定部分(24)确定的颜色属性相同的颜色属性，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取部分(25)，

其中字符图像恢复部分(19)关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，形成字符图像中的字符轮廓，并且用具有和所述字符图像的颜色属性相同的颜色属性的像素，填充字符轮廓围绕的区域。

6、一种根据从其中记录字符的介质读取的介质图像识别字符的介质处理方法，包括：

根据介质图像，抽取介质图像的布局特征并分析布局结构的布局分析步骤；

根据布局分析步骤中的分析结果，产生包括经历字符识别的字符图像的初始图像的初始图像产生步骤；

根据初始图像中每一颜色分量的色散量和颜色属性的频率分布，辨别背景区的背景辨别步骤；

辨别除字符之外的非字符线条，并根据初始图像中与构成背景区的像素不同的像素的颜色属性的频率分布，和均具有相同的颜色属性并连续预定数目以上的连续像素，获得非字符线条的非字符线条信息的非字符线条辨别步骤；

产生第一非字符线条消除图像的第一非字符线条消除图像产生步骤，其中通过在初始图像中，用具有和背景相同颜色分量的像素代替在非字符线条辨别步骤中辨别的非字符线条，从初始图像中除去非字符线条；

在第一非字符线条消除图像产生步骤中产生的第一非字符线条消除图像中，辨别不同于背景区的，包括均具有相同颜色属性并且连续预定数目以上的连续像素的区域的第一字符区辨别步骤；

根据初始图像，产生放大图像的放大图像产生步骤；

产生第二非字符线条消除图像的第二非字符线条消除图像产生步骤，其中通过根据在非字符线条辨别步骤中获得的非字符线条信息，在放大图像产生步骤中产生的放大图像中，用具有和背景相同颜色分量的背景像素代替非字符线条，从放大图像中除去非字符线条；

根据在非字符线条辨别步骤中获得的非字符线条信息，和在第一字符区辨别步骤中辨别的字符区，判断初始图像中，字符图像和非字符线条是否相互干扰的干扰判断步骤；

当在干扰判断步骤中判断字符图像和非字符线条相互干扰时，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，恢复字符图像的字符图像恢复步骤；

把大于预定尺寸的区域辨别为字符区的第二字符区辨别步骤，该区域是第二非字符线条消除图像中除背影区之外的，包括均具有相同颜色属性，并连续预定数目以上的连续像素的区域；和

把在第二字符区辨别步骤中辨别的字符区数字化，并识别字符的字符识别步骤；

其中所述背景辨别步骤包括：

利用初始图像的每一像素的每一颜色分量的偏差，计算每一颜色分量的色散量，

根据每一颜色分量的色散量，区分构成背景区的像素，

产生构成背景区的像素的颜色属性的频率分布；以及

根据频率分布的峰值区分背景区，

其中所述非字符线条辨别步骤包括：

分别关于初始图像的垂直方向和水平方向，计算具有和构成背景区的像素不同的颜色属性的像素的频率分布，并根据计算结果，把具有大于预定值的频率的位置辨别为非字符线条可能位置的非字符线条位置估计步骤，

根据在非字符线条位置估计步骤中辨别的非字符线条可能位置中的颜色属性的频率分布，确定非字符线条的颜色属性的颜色信息确定步骤，和

关于与在颜色信息确定步骤中确定的颜色属性相同的颜色属性，根据像素的连续性，获得非字符线条的非字符线条信息的非字符线条信息获取步骤，

并且其中字符图像恢复步骤包括：

关于第二非字符线条消除图像中的字符图像和非字符线条之间的干扰点，根据字符图像的颜色属性和非字符线条的颜色属性之间的差异，形成字符图像中的字符轮廓，以及

用具有和字符图像的颜色属性相同的颜色属性的像素，填充字符轮廓围绕的区域。

Images