CN1841407A - 图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理装置，该图像处理装置包括：背景浓度分布估计部分(12)，用于估计背景像素的浓度分布；区域浓度分布估计部分(13)，用于估计由输入图像分割成的每个区域中的浓度分布；记入存在判断部分(14)，用于根据背景像素的浓度分布和相关区域的浓度分布，来判断是否存在预定信息的记入；以及判断结果输出部分(15)，用于输出表示在作为记入存在判断部分(14)的判断对象的区域内是否存在预定信息的记入的判断结果。

Description

图像处理装置

技术领域

本发明涉及一种图像处理装置、图像处理方法以及图像处理程序，通过提取含有由预定信息的记入(entry)例如文档或票单中的字符而着色的像素的区域来消除文档或票单的图像中背景区域内的噪声的影响。

背景技术

作为消除来自文档的灰度图像中的噪声的方法，已经提出了各种方法。其中一种传统的噪声消除技术利用平均滤波器或高斯(Gaussian)滤波器来平滑灰度图像(例如，请参考非专利文献1，第108～110页)。

此外，非专利文献1描述的一种方法对二值图像进行形态学(morphology)运算例如开启(opening)(同一文献第179～180页)。

作为在几乎没有噪声影响的情况下产生二值图像的方法，非专利文献1还公开了一种利用中值滤波器等消除二值图像中的孤立点的方法(同一文献第113页)。

然而，在背景部分的浓度分布宽且与由记入引起的黑像素的浓度分布大量重叠的情况下，如果背景像素的浓度高的区域太大以致不能被看作孤立点，则这些方法不能消除作为噪声的该区域。

非专利文献1：Digital Image Processing，Computer GraphicArts Society(CG-ARTS Society)，July，2004，pp.108-113，pp.179～180

发明内容

如上所述，在背景部分的浓度分布宽并且与由记入所引起的黑像素的浓度分布大量重叠时，传统方法有时不能估计噪声。

如上所述，如果背景噪声显著，则用于判断在指定区域内是否存在记入的传统方法的使用很可能导致对是否存在字符等的记入产生误判。

本发明是为了解决这种问题而做出的，其目的在于提供一种图像处理装置、图像处理方法以及图像处理程序，其可以消除背景噪声对具有例如字符的预定信息的记入的原始图像的影响，从而有助于后续处理(例如，字符识别)。

根据本发明一个实施例的图像处理装置包括：背景浓度分布估计部分，用于估计要处理的图像的背景区域内的像素的浓度分布；区域浓度分布估计部分，用于估计该图像的指定区域内的浓度分布；以及记入存在判断部分，用于根据由所述背景浓度分布估计部分估计的背景区域内的像素的浓度分布和由所述区域浓度分布估计部分估计的指定区域内的浓度分布，来判断在该指定区域内是否存在预定信息的记入。

根据本发明一个实施例的图像处理方法是如下图像处理方法，其用于由计算机处理图像，该方法包括：由计算机估计形成要处理的图像的像素中的背景像素的浓度分布；由计算机估计该图像的指定区域中的浓度分布；由计算机根据所估计的背景像素的浓度分布和所估计的该指定区域中的浓度分布，来判断该指定区域中是否存在作为预定信息的字符的记入。

根据本发明一个实施例的图像处理程序是使计算机执行图像处理的图像处理程序，其包括用于使计算机发挥以下功能的程序代码：背景浓度分布估计部分，用于估计要处理的图像的背景区域内的像素的浓度分布；区域浓度分布估计部分，用于估计该图像的指定区域内的浓度分布；以及记入存在判断部分，用于根据由所述背景浓度分布估计部分估计的背景区域内的像素的浓度分布和由所述区域浓度分布估计部分估计的指定区域内的浓度分布，来判断在该指定区域内是否存在预定信息的记入。

附图说明

图1是示出根据本发明第一实施例的图像处理装置的配置的方框图。

图2是示出第一实施例的图像处理装置的操作的流程图。

图3是示出根据本发明第二实施例的图像处理装置的配置的方框图。

图4是示出包括其背景中的噪声的原始图像的例子的示意图。

图5是示出将原始图像分割为小区域的例子的示意图。

图6是示出在消除了原始图像中的噪声后获得的图像的例子的示意图。

图7是示出第二实施例的图像处理装置的操作的流程图。

图8是示出根据本发明第三实施例的图像处理装置的配置的方框图。

图9是示出第三实施例的图像处理装置的操作的流程图。

图10是示出第三实施例的图像处理装置的行区域检测的例子的示意图。

图11是示出根据本发明第四实施例的图像处理装置的配置的方框图。

图12是示出第四实施例的图像处理装置的操作的流程图。

图13是示出第四实施例的图像处理装置中的字符区域检测的例子的示意图。

图14是示出根据本发明第五实施例的图像处理装置的配置的方框图。

图15是示出第五实施例的图像处理装置的操作的流程图。

图16是示出票单的格式的示意图。

具体实施方式

实施例的说明

下面将参考附图来详细说明本发明的实施例。

在说明本发明实施例的过程中所参考的附图仅是说明性的，不能用来限制本发明。

在根据本发明实施例的图像处理装置中，背景浓度分布估计部分估计预计已输入有预定信息的文档或者票单的原始图像的背景像素的浓度分布。

区域浓度分布估计部分估计原始图像中的指定区域内的浓度分布。

根据背景像素的浓度分布和指定区域内的浓度分布，记入存在判断部分判断在指定区域内是否存在预定信息的记入。

区域浓度分布估计部分估计图像分割成的每个小区域内的浓度分布。

根据每个小区域内的浓度分布和图像的背景像素的浓度分布，记入存在判断部分判断在该图像分割成的每个小区域内是否存在预定信息的记入。

利用背景浓度估计部分估计的背景浓度，来代替作为该判断的结果被判断为没有预定信息的记入的小区域的浓度，从而消除原始图像中的噪声。

根据每个小区域内的浓度分布和背景像素的浓度分布，记入存在判断部分判断在沿第一方向(纵向)由该图像分割成的每个小区域内是否存在预定信息的记入。

此后，区域检测器使被记入存在判断部分判断为具有预定信息的记入的小区域中邻接的小区域连接起来，并将结果区域检测为预定信息的行区域。

区域浓度分布估计部分估计沿与第一方向垂直的第二方向由区域检测器检测的行区域进一步分割成的每个小区域内的浓度分布。

此后，根据背景像素的浓度分布和每个小区域的浓度分布，记入存在判断部分判断在每个小区域内是否存在预定信息的记入。

然后，第二区域检测器使被记入存在判断部分判断为具有预定信息的记入的小区域中邻接的小区域连接起来，并将结果区域检测为包括预定信息的记入区的区域，即包括字符或字符组的区域。

在每个像素以一组多个浓度值来表示的图像中，将每个像素的一组M个浓度值转换为其表示形式与该图像的一组浓度值的表示形式相同或类似的一组N个浓度值。

背景浓度估计部分估计一组浓度值已被转换的图像中的背景像素的浓度分布。

区域浓度分布估计部分估计通过分割一组浓度值已被转换的图像中的指定区域而产生的每个小区域中的浓度分布。

根据所估计的背景像素的浓度分布和所估计的该区域中的浓度分布，记入存在判断部分判断该图像的区域中是否存在预定信息的记入。

利用背景浓度估计部分估计的一组背景浓度值，来代替作为上述判断的结果被判断为没有预定信息的记入的区域中的一组浓度值，从而消除原始图像中的噪声。

在这种情况下，即使要处理的图像是彩色图像，也可以有效地消除噪声。

根据上述内容，下面将参考附图详细说明本发明实施例。

第一实施例

图1是示出根据本发明第一实施例的图像处理装置的配置的方框图，图2是示出图1中的图像处理装置的操作的流程图。

如图1所示，第一实施例的图像处理装置包括扫描仪1和该扫描仪1连接到的计算机3(下面称为PC 3)。

扫描仪1用作图像获取部分，用于读取并获得作为位于票单正面上的字符识别对象的图像。在此，假定已经在票单内输入了作为预定信息的字符。

以下，在本发明中，“记入(entry)”包括通过书写和打印而进行的字符等的记入。

不仅可以利用扫描仪1，而且可以通过转换文档文件来获得图像信息。

此外，通过网络例如LAN，PC 3可以获得存储在不同计算机内的图像信息。

硬件与程序协作实现PC 3的功能，硬件包括：存储器，例如CPU、RAM和ROM；辅助存储器，例如硬盘驱动器；输入装置，例如键盘；指示装置，例如鼠标；显示装置，例如监视器；与扫描仪1的接口板等，程序包括操作***(下面称为OS)和字符识别应用软件。

CPU代表中央处理单元(central processing unit)。

在控制计算机的CPU上执行程序，指示计算机执行该图像处理装置的图像处理方法。

具体地说，PC 3具有操作部分10、原始图像存储器11、背景浓度分布估计部分12、区域浓度分布估计部分13、记入存在判断部分14、判断结果输出部分15等的功能。

例如，操作部分10包括输入装置例如键盘或者鼠标、显示装置等，而且该操作部分10接受对PC 3输入的用于图像处理的操作。

例如，操作部分10用作通过其指定图像中的要处理的区域的部分。

原始图像存储器11存储扫描仪1所获得的图像信息(下面称为原始图像)。

背景浓度分布估计部分12读取要处理的、存储在原始图像存储器11内的原始图像，以估计该原始图像中的背景区域内的像素的浓度分布。

即，背景浓度分布估计部分12估计所输入的图像中背景区域内的像素的浓度分布。

背景浓度分布估计部分12估计原始图像中与作为字符识别对象的图像邻接的背景部分内的像素的浓度分布。

具体地说，背景浓度分布估计部分12将原始图像中不存在字符识别对象的图像的空白区域，或者将事先准备的白票单上的区域定义为参照区域，并创建参照区域内像素的浓度分布的直方图。

背景浓度分布估计部分12利用所创建的像素的浓度分布直方图来估计原始图像中与作为字符识别对象的图像邻接的背景部分内的像素的浓度(背景浓度)分布。

图16示出具有在由有规则的线31定义的字符记入区内输入的数字例如“354”的票单30。

当估计该票单30中与作为字符识别对象的数字“5”邻接的背景部分32内的浓度分布时，将例如空白部分33指定为参照区域，并根据空白部分33内的像素的浓度分布来估计背景部分32内的像素的浓度分布。

可以以如下方式确定参照区域。即，对应于每种票单，事先将参照区域的坐标值存储到设置在背景浓度分布估计部分12内的存储器内，在每次估计背景浓度分布时，读取与相关票单相对应的、存储在存储器内的参照区域的坐标值，并将与所读取的坐标值相对应的区域确定为存储在原始图像存储器11内的原始图像中的参照区域。

另一可能的方式是例如读取存储在存储器内的白票单的图像作为参照区域的图像。

指定参照区域的又一可能的方式是在显示装置上显示原始图像并利用鼠标指定原始图像上的区域。

区域浓度分布估计部分13从原始图像存储器11读取原始图像，并估计指定区域内的浓度分布。

即，区域浓度分布估计部分13估计原始图像中的指定区域内的像素的浓度分布。

根据例如像素浓度直方图来估计像素的浓度分布。

估计浓度分布的另一可能方法是使用例如k均值(k-means)等，可以采用能估计浓度概率分布的任意方法。

以如下方式指定作为浓度分布估计的对象的指定区域。

首先，对应于各种票单，将表示每个均具有作为字符识别对象的图像的区域的坐标值事先存储在设置在区域浓度分布估计部分13中的未示出存储器内，然后，根据记录在存储器内的坐标值，区域浓度分布估计部分13确定指定区域。

例如，由规则的线31包围的、输入有“3”、“5”、“4”的区域是图16所示票单30上的指定区域。

确定指定区域的另一可能的方法是，利用鼠标指定显示在操作部分10的显示装置上的原始图像内的区域。

根据背景浓度分布估计部分12估计的背景像素的浓度分布和区域浓度分布估计部分13估计的指定区域内的像素的浓度分布，记入存在判断部分14判断在该指定区域内是否存在例如字符的预定信息的记入。

在这种情况下，记入存在判断部分14求出评估值，作为用于评估指定区域内的浓度分布偏离背景中的浓度分布的程度的判据，然后，将该评估值与预定阈值进行比较。当该评估值等于或者大于该预定阈值时，判断为存在字符的记入，否则，当该评估值小于该阈值时，判断为不存在字符的记入。

作为用作评估指定区域内的浓度分布偏离背景中的浓度分布的程度的判据的评估值，可以采用利用下面的表达式给出的评估值E₁，其中x是像素的浓度，f(x)是背景中的浓度分布，g(x)是指定区域中的浓度分布。

E₁＝∫[f(x)-g(x)]ln[f(x)]dx

此外，还可以采用下面的表达式给出的评估值E₂。

E₂＝∫f(x){ln[f(x)]-ln[g(x)]}dx

在此使用的评估值并不局限于利用上面两个表达式给出的值，只要能反映指定区域中的浓度分布偏离背景中的浓度分布的程度，可以采用任意评估值。

判断结果输出部分15例如由显示装置例如监视器、打印装置例如打印机、以及存储装置例如硬盘驱动器中的至少一个构成，其输出记入存在判断部分14的判断结果。

通过在PC 3中安装实现本发明的图像处理识别软件，可以构成第一实施例的图像处理装置。

在假定这种配置的情况下，给出如下说明。

应该注意，在本发明中，可以利用专用硬件或其组合来构造每个组件，或者可以将其分布在分布式处理计算机网络等的硬件上。只要能实现上述部分的功能，为了实现本发明，可以采用任意结构，而不局限于在此说明的结构。

此外，只要可以实现本发明的功能，不必包括全部组件，可以采用不具有部分功能的结构。

下面将参考图2中的流程图说明第一实施例的图像处理装置。

在该图像处理装置的情况下，当操作者将例如键入有字符的票单放置在扫描仪1上，并利用PC 3的键盘或者鼠标执行读取操作时，扫描仪1利用CCD图像传感器等扫描该票单的正面以获得该票单的图像(图2中的S101)，然后，将该图像输入到PC 3。CCD代表电荷耦合器件(Charge Coupled Device)。

在PC 3中，将输入的图像存储到原始图像存储器11内(S102)，然后将其显示在显示装置的屏幕上。

以下将所输入的图像称为原始图像。

背景浓度分布估计部分12读取存储在原始图像存储器11内的原始图像，以估计背景像素的浓度分布(S103)。

区域浓度分布估计部分13读取存储在原始图像存储器11内的原始图像，以估计该原始图像中的、由指定区域的坐标值所指定的区域内的浓度分布，该坐标值事先存储在未示出的存储器内，而且对应于每种票单而保存(S104)。

作为预定信息的字符例如是字母、数字、假名字符、汉字字符、符号、图等。

接着，根据背景浓度分布估计部分12估计的背景像素的浓度分布和区域浓度分布估计部分13估计的指定区域内的像素的浓度分布，记入存在判断部分14判断原始图像的指定区域内是否存在字符等的记入(S105)。

在判断了在指定区域内是否存在字符等的记入后，判断结果输出部分15将记入存在判断部分14的判断结果输出到显示装置的屏幕、打印机等(S106)，因此，操作者能够确认PC 3对指定区域内是否存在字符等的记入的判断结果(判断准确性等)。

这样，根据第一实施例的图像处理装置，根据原始图像中背景像素的浓度分布估计结果、以及被指定为是否存在字符等的记入的判断对象的区域中的浓度分布的估计结果，来判断在原始图像中的指定区域内是否存在字符等的记入。因此，即使在原始图像中的背景噪声显著时，也可以正确判断是否存在字符等的记入。

第二实施例

下面将说明本发明第二实施例的图像处理装置。

图3是示出第二实施例的图像处理装置的配置的方框图。

第二实施例的图像处理装置包括扫描仪1和PC 3，如图3所示。

利用相同的附图标记表示与第一实施例中的部件相同的部件，因此省略其说明。

PC 3包括：操作部分10、原始图像存储器11、背景浓度分布估计部分12、区域浓度分布估计部分13、记入存在判断部分14、背景浓度估计部分16、背景区域消除部分17、图像输出部分18等。

背景浓度分布估计部分12与第一实施例中的相同，其估计背景像素的浓度分布。

区域浓度分布估计部分13估计原始图像分割成的每个小区域内的像素的浓度分布。

利用与第一实施例中的区域浓度分布估计部分13所使用的方法相同的方法来估计浓度分布。

根据背景浓度分布估计部分12估计的像素的浓度分布和区域浓度分布估计部分13估计的每个小区域内的浓度分布，记入存在判断部分14判断在每个小区域内是否存在预定信息的记入。

即，根据背景像素的浓度分布和每个小区域内的浓度分布，记入存在判断部分14判断在原始图像分割成的每个小区域内是否存在字符的记入。

背景浓度估计部分16估计原始图像中背景区域内的浓度。

背景浓度估计部分16将原始图像中不具有所输入的字符的预指定区域定义为参照区域，然后，通过求得该参照区域上的浓度的中值(median value)来估计背景浓度。

例如，图16所示票单30上的空白部分33对应于参照区域。

指定参照区域的可能方式是利用预定阈值临时二值化原始图像，在通过二值化而产生的图像中，指定在预定距离内没有黑像素的像素集作为参照区域。

只要可以指定预期仅包括背景像素的区域，可以采用任意其它方法。

利用背景浓度估计部分16估计的背景浓度，背景区域消除部分17填充原始图像中被记入存在判断部分14判断为没有字符的记入的区域。

即，背景区域消除部分17用作区域浓度替换部分，其利用背景浓度估计部分16估计的背景浓度来替换原始图像中被记入存在判断部分14判断为不存在字符的记入的小区域中的浓度。

下面参考图4～7来说明第二实施例的图像处理装置的操作。

通过以预定间距沿垂直方向和横向分割原始图像，可以将该原始图像分割为小区域。

例如，在如图4所示原始图像包括噪声51的情况下，如果指定含有所输入的字符的区域，则设置至少包括指定区域的区域61，而且将该区域分割为多个小区域62，如图5所示。

只要每个小区域62内的像素数足够大以致可以估计浓度分布，可以采用任意方法来分割原始图像中的区域。

根据背景浓度分布估计部分12估计的背景像素的浓度分布和区域浓度分布估计部分13估计的相关区域内的像素的浓度分布，记入存在判断部分14判断在通过分割而产生的每个小区域62内是否存在记入。

即，利用与在第一实施例中的方法相同的方法，记入存在判断部分14判断是否存在记入。

背景区域消除部分17利用背景浓度估计部分16估计的背景浓度来代替被记入存在判断部分14判断为不存在记入的区域内的像素的浓度，从而校正原始图像。

这产生消除了应该存在于背景中的噪声的图像，如图6所示。

图像输出部分18将校正后的图像输出到纸、显示屏幕、文件等。

“利用背景浓度代替区域内的像素的浓度”是指“利用与背景颜色相同的颜色填充该区域”。

与在第一实施例中相同，利用扫描仪1，该图像处理装置获得票单的图像，并将获得的图像存储到原始图像存储器11(图7中的S201至S202)。

背景浓度分布估计部分12读取存储在原始图像存储器11内的原始图像，以估计背景像素的浓度分布(S203)。

利用与第一实施例中的方法相同的方法来指定参照区域。

区域浓度分布估计部分13将至少包括所期望的指定区域的区域设置为分割对象区域(S204)，以将该区域等分为多个小区域(S205)，然后，估计该分割所产生的每个小区域内的浓度分布(S206)。

所期望的区域是指至少包括具有输入了字符的部分且消除了噪声的区域。

根据背景像素的浓度分布和每个小区域62内的浓度分布，记入存在判断部分14判断在原始图像分割成的每个小区域62内是否存在字符的记入(存在或不存在)(S207)。

根据浓度分布的差异，判断是否存在字符的记入。

例如，字母、数字、假名字符、汉字字符、符号、图等对应于字符。

当上述判断得出在小区域62内不存在字符等的记入时(步骤S208的“否”)，背景区域消除部分17利用背景浓度估计部分16估计的背景浓度来代替被记入存在判断部分14判断为不存在字符的记入的小区域62内的像素的浓度(S209)。

即，背景区域消除部分17利用背景浓度估计部分16估计的背景浓度来填充被记入存在判断部分14判断为不存在记入的小区域62。

因此，产生消除了存在于背景中的噪声的图像，如图6所示。

图像输出部分18至少对校正过的图像进行一种图像输出处理，即，以与原始图像的文件名不同的文件名将其存储到硬盘驱动器上、将其打印到纸张上、或者将其显示在显示屏幕上。

请注意，当记入存在判断部分14判断为在小区域62内存在字符的记入时(S208中的“是”)，不对该小区域执行图像校正处理。

如上所述，除了第一实施例的结构外，第二实施例的图像处理装置还包括背景浓度估计部分16和背景区域消除部分17。因此，可以消除灰度图像中被判断为没有字符的记入的区域内的噪声。

第三实施例

下面说明本发明第三实施例的图像处理装置。

图8是示出第三实施例的图像处理装置的配置的方框图。

第三实施例的图像处理装置包括扫描仪1和PC 3，如图8所示。

在第三实施例中，利用相同的附图标记表示与第一实施例中的部件相同的部件，因此省略其说明。

PC 3包括：操作部分10、原始图像存储器11、背景浓度分布估计部分12、区域浓度分布估计部分13、记入存在判断部分14、行检测器19、行检测结果输出部分20等。

背景浓度分布估计部分12的功能与第一实施例中的相同，其估计背景像素的浓度分布。

区域浓度分布估计部分13将原始图像分割为多个沿纵向(以预定间距垂直分割该图像的方向)具有相同宽度的小区域，并估计通过该分割而产生的每个小区域内的浓度分布。

利用与第一实施例中的区域浓度分布估计部分13所使用的方法相同的方法来估计浓度分布。

行检测器19将被记入存在判断部分14判断为存在字符的记入的小区域中垂直邻接的小区域互相连接起来，从而检测到作为包括字符高度(字符的垂直宽度)的行区域的结果区域。

行检测器19所采用的行检测方法并不局限于这种方法。例如，可以采用在字符识别装置中公知的方法，即，通过对行方向上的黑像素数进行计数来创建直方图，并根据该直方图检测计数值超过预定值的范围作为行位置。

即，行检测器19用作第一区域检测器，其用于从被判断为存在字符的记入的小区域(横向长的截面)检测包括沿特定方向例如垂直方向等延伸的字符的记入宽度(字符的高度)的行区域。

例如，行检测结果输出部分20至少由显示装置例如监视器、打印装置例如打印机、以及存储器例如硬盘驱动器中的一个构成，而且其输出行检测器19获得的行检测结果。

下面参考图9和10说明第三实施例的图像处理装置的操作。

与在第一实施例中相同，利用扫描仪1，图像处理装置获得票单的图像，然后，将获得的图像存储到原始图像存储器11(图9中的S301至S302)。

背景浓度分布估计部分12读取存储在原始图像存储器11内的原始图像，以估计指定参照区域内的背景像素的浓度分布(S303)。

区域浓度分布估计部分13将至少包括所期望的指定区域的区域设置为分割对象区域(S304)，以沿纵向(垂直方向)将该分割对象区域等分为多个细长小区域(S305)，然后，估计该纵向分割所产生的每个细长小区域内的浓度分布(S306)。

所期望的区域是指图像中的、至少包括存在字符的记入的部分且消除了噪声的区域。

即，区域浓度分布估计部分13沿垂直方向以预定间距分割原始图像，从而沿垂直方向将原始图像分割为多个小区域。

例如，如果沿纵向(沿垂直方向以预定间距分割图像的方向：第一方向)分割图4所示的原始图像中的指定区域，则产生多个沿纵向(沿垂直方向以预定间距分割图像的方向)等分原始图像的小区域71至76，如图10所示。

在该例子中，沿纵向(沿垂直方向以预定间距分割图像的方向)以等间距分割原始图像以产生多个小区域71至76，但是不需要像在该例子中那样固定区域分割间距，只要能使行的上端和下端接近其中一个分割边界，可以采用任意方法，而与行的位置无关。

根据背景浓度分布估计部分12估计的背景像素的浓度分布和区域浓度分布估计部分13估计的相关区域的像素的浓度分布，记入存在判断部分14判断在对应于通过进行分割而产生的各行的每个小区域71至76内是否存在字符的记入(S307)。

利用与第一实施例中的方法相同的方法来判断是否存在字符的记入。

行检测器19使被记入存在判断部分14判断为存在记入的小区域中垂直邻接的小区域连接起来，从而检测到作为包括字符的垂直宽度的行区域的结果区域(S308)。

在图10所示的例子中，以从上开始的顺序，将原始图像分割为小区域71、72、73、74、75、76，小区域71、72、75、76被判断为没有字符的记入，小区域73、74被判断为存在字符的记入。

在这种情况下，行检测器19使上部小区域73和紧接在其下的小区域74连接起来，检测通过连接而产生的、作为至少包括所输入的字符的垂直宽度的行区域的区域。

当行检测器19这样检测了行区域时，行检测结果输出部分20将行区域检测结果输出到显示装置的屏幕、打印机等(309)，以便操作者利用PC 3确认行区域检测结果。

如上所述，第三实施例的图像处理装置包括行检测器19，该行检测器19沿垂直方向将原始图像的处理对象区域分割为多个小区域，使作为判断每个小区域是否存在字符的结果、被判断为具有字符的小区域连接起来，检测到存在字符或者字符组(字符串)的行区域。因此，可以正确检测包括输入到原始图像中的字符或者字符组(字符串)的行，而不受噪声的影响。

第四实施例

下面将说明本发明的第四实施例。

图11是示出第四实施例的图像处理装置的配置的方框图。

第四实施例的图像处理装置包括扫描仪1和PC 3，如图11所示。

在第四实施例中，利用相同的附图标记表示与第一实施例中的部件相同的部件，因此省略其说明。

PC 3包括：操作部分10、原始图像存储器11、背景浓度分布估计部分12、区域浓度分布估计部分13、记入存在判断部分14、行检测器21、字符区域检测器22、字符区域检测结果输出部分23等。

背景浓度分布估计部分12的功能与第一实施例中的相同，其估计背景像素的浓度分布。

行检测器21与在第三实施例中说明的例如区域浓度分布估计部分13、记入存在判断部分14以及行检测器19具有同样的功能，其从原始图像中检测包括字符的行区域。

即，行检测器21用作第一区域浓度分布估计部分，其估计原始图像中的指定区域沿纵向被分割成的每个小区域的浓度分布。

行检测器21还用作第一记入存在判断部分，其根据背景浓度分布估计部分12估计的背景区域中的像素的浓度分布和其本身估计的每个小区域中的浓度分布，来判断在每个小区域中是否存在字符的记入。

此外，行检测器21使被判断为存在字符的记入的小区域中垂直相邻的小区域连接起来，从而检测到作为包括字符的记入宽度的行区域的结果区域。

用于检测行区域的方法不限于在第三实施例中说明的方法，只要可以检测行，可以采用任意方法。

区域浓度分布估计部分13用作第二区域浓度分布估计部分，其沿垂直于纵向的第二方向(沿横向以预定间距分割行区域的方向)分割行检测器21所检测到的行区域，并估计通过该分割而产生的每个小区域的浓度分布。

即，区域浓度分布估计部分13沿第二方向对包括被行检测器21检测到的字符的行区域进行分区，以使横向间隔互相相等，从而将行区域分割为多个更小的区域，然后估计通过该分割而产生的每个小区域中的浓度分布。

利用与第一实施例中的区域浓度分布估计部分13所采用的方法相同的方法，该区域浓度分布估计部分13估计浓度分布。

在该例子中，行区域的分割方向是垂直于纵向的第二方向(左/右方向)。然而，该分割方向不必与纵向垂直，其可以是能将行区域分割为小区域的任意方向。

例如，可以沿倾斜方向(交叉方向)或以曲线来分割行区域。

记入存在判断部分14用作第二记入存在判断部分，其根据背景浓度分布估计部分12估计的背景区域内的像素的浓度分布和区域浓度分布估计部分13估计的每个小区域内的浓度分布，来判断每个小区域内是否存在字符的记入。

即，根据背景像素的浓度分布和每个小区域的浓度分布，记入存在判断部分14判断通过分割行区域而产生的每个小区域内是否存在记入。

请注意，利用与第一实施例中的方法相同的方法来判断是否存在记入。

字符区域检测器22使被记入存在判断部分14判断为存在字符的记入的小区域中横向邻接的小区域连接起来，从而检测到作为包括字符或者字符组(字符串)的区域的结果区域。

即，字符区域检测器22用作第二区域检测器，其使被记入存在判断部分14判断为存在字符的记入的小区域中横向邻接的小区域连接起来，从而检测到作为包括字符的记入范围的区域，即包围字符的区域(字符区域)的结果区域。

以下，参考图12说明第四实施例的图像处理装置的操作。

与在第一实施例中相同，利用扫描仪1，第四实施例的图像处理装置获得票单的图像，然后，将获得的图像存储到原始图像存储器11内(图12中的S401至S402)。

背景浓度分布估计部分12读取存储在原始图像存储器11内的原始图像，以估计背景像素的浓度分布(S403)。

利用操作部分10指定参照区域，如果要处理的图像的尺寸基本固定，也可以事先设置参照区域。此外，参照区域可以是与要处理的图像不同的图像，或者是不同的图像区域。

即，参照区域是根据其估计票单的整个正面的像素浓度的区域。

例如，在第三实施例中图9所示的S305和S309，行检测器21执行行区域检测处理(S404)，以检测在原始图像的指定区域中存在字符的记入的行区域。

具体地说，行检测器21使从原始图像存储器11读取的原始图像显示在屏幕上，还显示用于提示操作者指定区域的窗口。

在此，响应于操作者为了指定原始图像中的所期望的区域而在操作部分10上执行的操作，行检测器21将至少包括指定区域的区域设置为分割对象区域，以沿横向将该分割对象区域分割为多个相等的小区域，并估计通过该横向分割而产生的每个小区域内的浓度分布。

更具体地说，行检测器21使从原始图像存储器11读取的原始图像显示在屏幕上，还显示用于提示操作者指定区域的窗口。

在此，响应于操作者为了指定原始图像中的所期望的区域而在操作部分10上执行的操作，行检测器21将至少包括指定区域的区域设置为分割对象区域，以沿纵向将该分割对象区域等分为多个细长小区域，并估计通过该纵向分割而产生的每个细长小区域内的浓度分布。

根据所估计的背景像素的浓度分布和相关区域中的像素的浓度分布，行检测器21判断在通过分割而产生的每个细长小区域(图10中的小区域71～76)中是否存在字符的记入。

最后，行检测器21使被判断为存在字符的记入的小区域中垂直邻接的小区域连接起来，从而检测到作为包括字符的垂直宽度的行区域(由图10中相连接的小区域73和74构成的区域)的结果区域。

当行检测器21这样检测了存在字符记入的行区域时，区域浓度分布估计部分13沿横向以预定间距等分由行检测器21检测的行区域以分割该行区域(S405)，从而产生多个通过分割该行区域而产生的更小区域，并估计这些小区域中的每个内的浓度分布(S406)。

即，在行检测器21首先检测指定区域内的行区域后，区域浓度分布估计部分13进一步沿横向(行方向)以预定间距分割该行区域，从而产生更小的区域。

例如，当沿垂直方向分割图4中的原始图像中的指定区域并检测行时，产生由图10所示的相连接的小区域73和74构成的行区域。

当沿横向以预定间距进一步对这样产生的行区域进行分区和分割时，将行区域分割为多个微小区域a至q，如图13所示。

不需要以固定间距分割行区域，只要能使字符的左端和右端接近其中一个分割边界，可以利用任意方法进行分割，而与字符的位置无关。

在利用区域浓度分布估计部分13估计了每个小区域内的浓度分布后，根据背景像素的浓度分布和每个小区域a至q的浓度分布，记入存在判断部分14判断在行区域分割成的每个小区域a至q中是否存在字符的记入(S407)。

然后，字符区域检测器22使被记入存在判断部分14判断为存在字符的记入且互相邻接的小区域g至l连接起来，从而检测到作为包括字符或字符组(字符串)的区域的结果区域(S408)。

该区域被称为包括预定信息的记入范围的区域。

具体地说，记入存在判断部分14以从左开始的顺序沿横向将分割原始图像首先获得的行区域分割为例如多个相等的小区域a至q，其中，判断为小区域a至f、m至q不存在记入，判断为小区域g至l存在记入。

在这种情况下，字符区域检测器22检测到由被判断为存在记入且互相邻接的小区域g至l构成的区域，作为包括字符或字符组(字符串)的小区域。

在行检测器19这样检测到包括字符或字符组(字符串)的区域后，字符区域检测结果输出部分23将字符区域检测结果输出到显示装置的屏幕、打印机等(S409)，以便操作者可以利用PC 3来确认字符区域检测结果。

如上所述，第四实施例的图像处理装置包括：行检测器，其具有第三实施例的区域浓度分布估计部分13、记入存在判断部分14以及行检测器19的功能；以及字符区域检测器22，其根据由行检测器21检测到的行区域进一步分割成的每个小区域a至q中是否存在字符的记入的判断结果，来检测字符区域。因此，可以正确地检测包括字符或者字符组的区域，而不受噪声的影响。

第五实施例

下面将说明根据本发明第五实施例的图像处理装置。

图14是示出第五实施例的图像处理装置的配置的方框图。

第五实施例的图像处理装置是以一组多个浓度值来表示每个像素的彩色图像被作为原始图像进行处理的例子。

第五实施例的图像处理装置包括扫描仪1和PC 3，如图14所示。在第五实施例中，利用相同的附图标记表示与第一和第二实施例中的部件相同的部件，因此省略其说明。

PC 3包括：操作部分10、原始图像存储器11、记入存在判断部分14、浓度值转换器24、背景浓度分布估计部分25、区域浓度分布估计部分26、背景浓度估计部分27、背景区域消除部分17、图像输出部分18等。

原始图像存储器11存储从扫描仪1输入的彩色图像作为原始图像。

浓度值转换器14将从原始图像存储器11获取的原始图像的每个像素的一组浓度值转换为一组表示形式与原始图像的一组浓度值的表示形式相同或不同的浓度值。

背景浓度估计部分25估计原始图像的背景像素的浓度分布，这里的浓度是浓度值转换器24转换后的浓度。

区域浓度分布估计部分26估计原始图像分割成的每个区域内的浓度的分布，该浓度是浓度值转换器24转换后的浓度。

背景浓度估计部分27估计原始图像的背景浓度。

对于原始图像分割成的每个区域，根据背景像素的浓度分布和区域浓度分布，记入存在判断部分14判断在相关区域内是否存在字符的记入。

背景区域消除部分17利用背景浓度估计部分27估计的一组背景浓度值来代替被记入存在判断部分14判断为不存在字符的记入的区域中的像素的一组浓度值，从而校正原始图像，然后，将校正后的原始图像发送到图像输出部分18，然后，图像输出部分18输出接收到的输出图像。

浓度值转换器24将原始图像的每个像素的一组M个浓度值转换为表示形式与原始图像的一组浓度值的表示形式相同或相似的一组N个浓度值。

背景浓度估计部分27将从扫描仪1输入的原始图像中的预指定区域定义为参照区域，并通过例如求出该参照区域中每个浓度值编号i的浓度X(i)的中值来估计背景浓度。

估计背景浓度的方法并不局限于上述方法，只要可以求得一组代表性浓度值作为参照区域中的一组浓度值，可以采用任意其它方法。

指定参照区域的方法是例如利用预定阈值临时二值化原始图像，然后将在预定距离内没有黑像素的二值化后的图像中的一组像素指定为参照区域。

只要可以指定预期仅包括背景像素的区域，可以采用任意其它方法来指定参照区域。

背景浓度分布估计部分25与第一实施例中的背景浓度分布估计部分12基本相同，其估计背景像素的浓度分布。

背景浓度分布估计部分25与第一实施例中的背景浓度分布估计部分12在如下方面不同。即，第一实施例中的背景浓度分布估计部分12的分布估计对象是单个浓度值，这是因为这里假定是黑白图像，而第五实施例中的背景浓度分布估计部分25的分布估计对象是浓度值转换器24进行转换而获得的一组浓度值。

在由原始图像分割成的每个区域中，区域浓度分布估计部分26估计浓度值转换器24进行转换而获得的浓度分布。

利用与第一实施例中的区域浓度分布估计部分13所使用的方法基本相同的方法来估计浓度分布本身。

第五实施例中的区域浓度分布估计部分26与第一实施例中的区域浓度分布估计部分13在如下方面不同。即，在第一实施例中的区域浓度分布估计部分13中，分布估计对象是单个浓度值，这是因为这里假定是黑白图像，而在第五实施例的区域浓度分布估计部分26中，分布估计对象是浓度值转换器24进行转换而获得的一组浓度值。

在第五实施例的图像处理装置内，以与在第二实施例中进行区域分割所使用的方法相同的方法来分割原始图像。

根据背景浓度分布估计部分25估计的背景像素的浓度分布和区域浓度分布估计部分26估计的指定区域内的像素的浓度分布，记入存在判断部分14判断指定区域内是否存在字符的记入。

判断是否存在字符的记入的方法是求出评估值作为评估指定区域内的一组浓度值的分布偏离背景中的一组浓度值的分布的偏离程度的判据，将该评估值与预定阈值进行比较，当该评估值等于或者大于该预定阈值时，判断为存在字符的记入，而当该评估值小于该阈值时，判断为不存在字符的记入。

作为用作评估指定区域内的一组浓度值的分布偏离背景中的一组浓度值的分布的偏离程度的判据的评估值，采用利用下面的表达式给出的评估值E₃，其中(Y(1)，...Y(N))是像素的一组浓度值，f(Y(1)，...Y(N))是背景中的浓度分布，g(Y(1)，...Y(N))是指定区域中的浓度分布。

E₃＝∫[f(Y(1)，...，Y(N))-g(Y(1)，...，Y(N))]ln[f(Y(1)，...，Y(N))]dx

此外，还可以采用利用下面的表达式给出的评估值E₄。

E₄＝∫f(Y(1)，...Y(N)){ln[f(Y(1)，...，Y(N))]-ln[g(Y(1)，...，Y(N))]}dx

在此采用的评估值并不局限于利用上面的表达式给出的评估值，只要其反映指定区域中的浓度分布偏离背景中的浓度分布的偏离程度，可以采用任意其它评估值。

背景区域消除部分17利用背景浓度估计部分27估计的一组浓度值来代替原始图像中被记入存在判断部分14判断为不存在字符的记入的区域内的像素的一组浓度值，从而校正原始图像，以产生输出图像。

即，背景区域消除部分17用作区域浓度替换部分，其利用背景浓度估计部分27估计的一组背景浓度值来代替被记入存在判断部分14判断为不存在字符的记入的区域内的一组浓度值。

在例如在PC 3内安装字符识别软件的情况下进行的后处理是起动该字符识别软件，并对消除了噪声的图像执行字符识别处理。

在这种情况下，利用输出到图像输出部分18的图像(进行了噪声消除的图像)，字符识别软件执行字符识别处理，以获得高准确性的字符识别结果。

下面将参考图15所示的流程图来说明第五实施例的图像处理装置的操作。与在第一实施例中相同，利用扫描仪1，该图像处理装置获得票单的图像，然后，将获得的图像存储到原始图像存储器11内(图15中的S501至S502)。

浓度值转换器24读取存储在原始图像存储器11内的原始图像(输入图像)，然后，将该原始图像的每个像素的一组M个浓度值转换为其表示形式与该原始图像的一组浓度值的表示形式相同或者不同的一组N个浓度值(S503)。

当与在该例子中相同，原始图像是彩色图像时，利用多个浓度值表示该原始图像的每个像素。在下面的说明中，“M”表示形成每个像素的浓度值的数量，“i”表示浓度值编号，X(i)表示“第i个浓度值”。

在下面的说明中，“j”表示转换后的浓度值编号，Y(j)表示转换后的“第j个浓度值”。

“N”表示转换后的浓度值的数量，只要其是1或者大于1，它可以等于或者大于“M”，或者小于“M”。

例如，假定以RGB格式的三个值来表示原始图像，红色分量浓度值、绿色分量浓度值和蓝色分量浓度值分别是X(1)、X(2)和X(3)。在这种情况下，M＝3，可能的转换可以是：N＝3，Y(1)＝X(1)、Y(2)＝X(2)、以及Y(3)＝X(3)；N＝1，Y(1)＝(X(1)+X(2)+X(3))/3；或者N＝3，Y(1)是HSI颜色***的色调值，Y(2)是色饱和度值，Y(3)是亮度值。

计算Y(j)的方法并不局限于在此说明的方法，只要可以根据原始图像中的每个像素的一组浓度值来计算Y(j)，可以采用任意方法。

背景浓度分布估计部分25估计利用浓度值转换器24进行转换而获得的浓度值所表示的图像区域中指定的参照区域内的背景像素的浓度分布(S504)。

可以利用操作部分10指定参照区域，或者当要处理的图像的尺寸基本固定时，可以在存储器等内事先设置参照区域。此外，参照区域可以是与要处理的图像不同的图像，或者是不同的图像区域。

即，参照区域是根据其估计票单的整个正面上的像素浓度的区域。

区域浓度分布估计部分26使利用浓度转换器24转换而获得的浓度值所表示的图像显示在屏幕上，还显示提示操作者指定区域的窗口。

区域浓度分布估计部分26将至少包括所期望的指定区域的区域设置为分割对象区域(S505)，以将该区域分割为多个相等的小区域(S506)，然后，估计通过该分割而产生的每个小区域中的浓度分布(S507)。

所期望的区域是至少包括存在字符的记入的部分、且要消除其噪声的图像的区域。

对于由原始图像分割成的每个小区域62，根据背景像素的浓度分布和区域浓度分布，记入存在判断部分14判断在每个小区域62中是否输入有字符等(存在或者不存在记入)(S508)。

根据浓度分布的不同，判断是否存在字符等的记入。

例如，字母、数字、假名字符、汉字字符、符号、图等对应于字符。

对于被记入存在判断部分14判断为小区域不存在字符记入的每个小区域(S509的“否”)，背景区域消除部分17利用背景浓度估计部分27估计的一组背景浓度值来代替不存在字符记入的小区域中的像素的一组浓度值。

因此，背景区域消除部分17校正原始图像(S510)，将其发送到图像输出部分18。

图像输出部分18输出从背景区域消除部分17接收到的输出图像。

这样，产生了消除应该存在于背景中的噪声的彩色图像。

图像输出部分18至少对校正后的彩色图像执行一种图像输出处理，例如以与原始图像的文件名不同的文件名将其存储到硬盘驱动器上、将其打印到纸张上、或者将其显示在显示屏幕上。

请注意，如果记入存在判断部分14判断为小区域存在字符的记入(S509中的“是”)，则不对该小区域执行图像校正处理。

如上所述，第五实施例的图像处理装置包括：浓度值转换器24，用于转换原始图像的浓度值；背景浓度估计部分27，用于估计一组背景浓度值；以及背景区域消除部分17，用于利用背景浓度估计部分27估计的一组背景浓度值来代替不存在字符记入的区域中的像素的一组浓度值，从而校正该图像。因此，可以消除被判断为不存在字符记入的浓度图像区域中的噪声，即使从扫描仪1输入的图像是彩色图像，也不受噪声的影响。

即，根据上述实施例，记入存在判断部分14将像素数足够大以致可以估计整个图像的浓度分布的区域指定为参照区域，然后，判断在应该已输入有字符的指定区域中是否存在记入。因此，在背景噪声显著的图像中，可以更稳定地执行判断是否存在字符等的记入、消除来自浓度图像的噪声、行检测、以及检测包括字符或者字符组(字符串)的区域，因此，单个像素的浓度不能作为用于将字符的记入与噪声区分开的基础。

本发明并不局限于根据附图说明的实施例，可以对其进行扩展和修改。应当理解，包括在所附权利要求书的范围内的扩展和修改全部包括在本发明的技术范围内。

上面的实施例说明了背景浓度分布估计部分和背景浓度估计部分通过计算分别求出背景浓度分布和背景浓度的例子，但是，例如，可以将特定值记录在ROM等内，以用作背景浓度分布和背景浓度。

Claims (12)

1.一种图像处理装置，包括：

背景浓度分布估计部分，用于估计要处理的图像的背景区域内的像素的浓度分布；

区域浓度分布估计部分，用于估计该图像的指定区域内的浓度分布；以及

记入存在判断部分，用于根据由所述背景浓度分布估计部分估计的背景区域内的像素的浓度分布和由所述区域浓度分布估计部分估计的指定区域内的浓度分布，来判断在该指定区域内是否存在预定信息的记入。

2.根据权利要求1所述的图像处理装置，其特征在于，该图像处理装置还包括：

背景浓度估计部分，用于估计该图像的背景区域内的像素的浓度，

其中，所述区域浓度分布估计部分估计该指定区域被分割成的每个小区域内的浓度分布，以及

其中，所述记入存在判断部分包括第一记入存在判断部分，该第一记入存在判断部分根据由所述背景浓度分布估计部分估计的背景区域内的像素的浓度分布和由所述区域浓度分布估计部分估计的每个该小区域内的浓度分布，来判断在该图像的每个该小区域内是否存在预定信息的记入。

3.根据权利要求2所述的图像处理装置，其特征在于，该图像处理装置还包括：

区域浓度替换部分，用于利用由所述背景浓度估计部分估计的背景浓度来替换该图像中被所述第一记入存在判断部分判断为不存在预定信息的记入的该小区域内的浓度。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述区域浓度替换部分利用由所述背景浓度估计部分估计的背景浓度来填充该图像中被所述记入存在判断部分判断为不存在预定信息的记入的小区域。

5.根据权利要求2所述的图像处理装置，其特征在于，

所述区域浓度分布估计部分包括第一区域浓度分布估计部分，该第一区域浓度分布估计部分估计该指定图像沿第一方向被分割成的每个小区域的浓度分布，该图像处理装置还包括：

第一区域检测器，用于在被该第一记入存在判断部分判断为存在预定信息的记入的该小区域内或其附近检测包含该预定信息的记入宽度的区域。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述第一区域检测器将被判断为存在预定信息的记入的该小区域中的邻接小区域连接起来，并将所得到的区域检测为包含该预定信息的记入宽度的区域。

7.根据权利要求5所述的图像处理装置，其特征在于，

所述第一区域检测器从被判断为存在预定信息的记入的小区域中检测包含沿特定方向延伸的预定信息的记入宽度的区域。

8.根据权利要求7所述的图像处理装置，其特征在于，该图像处理装置还包括：

第二区域浓度分布估计部分，用于估计被所述第一区域检测器检测出的区域沿与该特定方向交叉的第二方向分割成的每个小区域的浓度分布；

第二记入存在判断部分，用于根据由所述背景浓度分布估计部分估计的背景区域内的像素的浓度分布和由所述第二区域浓度分布估计部分估计的每个该小区域内的浓度分布，来判断在每个该小区域内是否存在预定信息的记入；以及

第二区域检测器，用于检测被所述第二记入存在判断部分判断为存在预定信息的记入的该小区域中包含该预定信息的记入范围的区域。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述第一区域检测器和所述第二区域检测器中的每个将被判断为存在预定信息的记入的小区域中的邻接小区域连接起来，并将所得到的区域检测为包含该预定信息的记入宽度的区域。

10.根据权利要求3所述的图像处理装置，其特征在于，该图像处理装置还包括：

浓度值转换器，用于将每个像素以一组多个浓度值表示的图像的每个像素的一组M个浓度值转换为与该图像的该组浓度值的表示形式相同或类似的表示形式下的一组N个浓度值，

其中，所述区域浓度替换部分利用由所述背景浓度估计部分估计的一组背景浓度值来替换由所述记入存在判断部分判断为不存在预定信息的记入的区域内的一组浓度值。

11.一种图像处理方法，用于由计算机处理图像，该方法包括：

由计算机估计形成要处理的图像的像素中的背景像素的浓度分布；

由计算机估计该图像的预定区域中的浓度分布；

由计算机根据所估计的背景像素的浓度分布和所估计的该指定区域中的浓度分布，来判断该指定区域中是否存在作为预定信息的字符的记入。

12.一种使计算机执行图像处理的图像处理程序，包括：

用于使计算机发挥以下功能的程序代码：

背景浓度分布估计部分，用于估计要处理的图像的背景区域内的像素的浓度分布；

区域浓度分布估计部分，用于估计该图像的指定区域内的浓度分布；以及

记入存在判断部分，用于根据由所述背景浓度分布估计部分估计的背景区域内的像素的浓度分布和由所述区域浓度分布估计部分估计的指定区域内的浓度分布，来判断在该指定区域内是否存在预定信息的记入。

Images