CN1323372C - 图像校正装置 - Google Patents

Abstract

一种图像校正装置，包含：边缘检测部件，用于检测原稿的边缘；装订线位置检测部件，用于获得原稿的装订线位置；基准线检测部件，用于获得原稿的位置的基准线；侧面倾斜角计算部件，用于基于上述基准线和装订线位置，计算原稿的上下侧面的倾斜角；三维边缘位置计算部件，用于基于上述边缘、基准线和倾斜角，计算原稿的上下边缘的三维位置；以及原稿形状计算部件，用于基于所述边缘的三维位置，计算整个原稿的形状。该图像校正装置读取有局部褶皱的原稿或装订线的浮起方式因原稿的上下而异的原稿，通过执行程序，来校正由于原稿的上下侧面和原稿台成倾斜角而产生的输入图像的几何失真或亮度的变化，复原平面的原稿图像。

Description

图像校正装置

技术领域

本发明涉及图像校正装置，特别涉及一种图像校正装置，将像书的装订线附近那样特定部位失真的原稿作为图像来读取，进行校正以使得原来的原稿好像平面一样。

背景技术

作为以相应倍率鲜明地复印像装订的书或笔记本等那样中央装订部远离原稿台的原稿的装置，有(日本)特开昭57-191653号公报记载的图像形成装置。该图像形成装置通过测定原稿和原稿台之间的距离，按照该距离来调节扫描速度、原稿台的高度、和光源的照度，来校正图像的失真及亮度，提供在以中央装订部的直线为y轴、而以双联页的方向为x轴时，在原稿台和原稿沿y轴方向没有倾斜角、而只沿x轴方向成一定的倾斜角θ时有效的方法。

此外，作为只根据输入的图像进行图像校正的技术，有特开平5-161004号公报记载的原稿读取装置。该原稿读取装置用原稿读取部件来读取原稿，得到图像信息，并且用边界检测部件来检测原稿和原稿台的边界。根据该边界检测结果来检测原稿的形状、弯曲程度，按照该检测结果来校正读取的图像数据。此外，在上述原稿读取装置中，原稿台选用黑色等白色以外的颜色，以便容易区别原稿和原稿台，能够适用于原稿的两个边缘部的高度差在某种程度以下的原稿。

此外，根据特开平8-181828号公报记载的图像处理装置，通过在与原稿接触的面上设置附有黑白条纹花样的原稿导板(ガイド)来实现特开平5-161004号公报记载的原稿读取装置等中的课题，即改善对原稿台的颜色的限制、或与原稿的颜色有关的限制。

此外，在特开平10-065877号公报记载的图像处理装置中，公开了下述技术：检测拍摄原稿而得到的图像的边缘，根据得到的边缘来检测原稿的歪斜，校正具有高度失真和旋转失真的原稿。

然而，在现有技术的特开昭57-191653号公报记载的图像形成装置中有下述问题：需要一边读入图像，一边限制扫描速度、原稿台的高度、和光源的照度，所以需要非常复杂的机构。

此外，由于一般在测距部件的结果中包含误差，所以还有下述问题：实际的原稿和原稿台之间的距离和测定结果不一致，未必能够将拍摄的图像校正为平面。

此外，在特开平5-161004号公报记载的原稿读取装置中，无需像上述图像形成装置那样用传感器等测距部件来检测原稿面的高度，只根据图像来进行失真或亮度的校正，但是由于边界的位置和原稿的高度一一对应，所以有下述问题：在原稿不位于确定场所的情况下，或者在被旋转放置的情况下，不能进行校正。

此外，有下述问题：如果原稿的高度沿读取部件的主扫描方向不在一定范围内则不能进行校正，在原稿的高度沿读取部件的主扫描方向不在一定范围内的情况下只能发出警告。

此外，如特开平10-065877号公报中公开的那样，现有的边缘位置检测方法在边缘检测滤波处理过的图像的连结成分在规定以下的情况下，看作孤立点，而在上述连结成分在规定以下的情况下，用直线进行插值，但是在该方法的情况下，有下述问题：发生边缘误检、边缘漏检。

此外，如特开平10-065877号公报中公开的那样，现有装订线位置的检测使用将边缘位置的极大或极小点判定为装订线位置的方法。因此，有下述问题：在原稿有褶皱等局部变化的情况下，装订线位置的检测出错。

再者，例如如特开平8-181828号公报中记载的那样，现有的基准线的斜率将原稿导板下部的线作为基准线，所以有下述问题：在没有原稿导板的情况下，不能求出基准线或基准线的斜率。

此外，如特开平8-181828号公报中记载的那样，原稿的端点用两页公用的判定基准来检测，所以有下述问题：在光通常来自斜方向的扫描仪、复印机中，不能正确检测左右页的端点。

此外，特开昭57-191653号公报、特开平5-161004号公报、特开平8-181828号公报所示的技术都有下述问题：由于原稿的高度沿读取部件的主扫描方向是一定的，所以在原稿上下浮起量不同的情况下不能校正图像。再者，有下述问题：在左右页上下的浮起量不同的情况下也不能使左右平衡来进行校正，不能进行最佳的校正。

此外，在现有技术中，装订线附近的图像倾向于变黑，有时校正不完全或者不可能。再者，有下述问题：在校正原稿的颜色不是白色时的装订线的情况下，特别难以进行校正。

此外，在现有技术中有下述问题：由于原封不动地根据读取的高分辨率的图像来进行形状确认，所以处理量大，存储器消耗量大。

此外，有下述问题：由于不管有无图像的失真校正都用同一特性进行图像的读取，所以在没有失真校正的情况下，黑白对比度过低，而如果进行失真校正，则难以进行边缘检测。

此外，现有技术有下述问题：没有校正的自动停止功能，结果输出浪费的纸张。

本发明的目的在于提供一种图像校正装置，即使原稿旋转，或者装订线的浮起方式因原稿的上下而异，也能校正图像的几何失真或亮度，使得原来的原稿好像是平面的。

发明概述

为了解决上述课题，本发明提供一种图像校正装置，用于校正一图像，该图像在装订线的上部和下部浮起量不同，该装置包含：边缘检测部件，用于检测原稿的边缘；装订线位置检测部件，用于获得原稿的装订线位置；基准线检测部件，用于获得原稿的位置的基准线；侧面倾斜角计算部件，用于基于上述基准线和装订线位置，计算原稿的上下侧面的倾斜角；原稿端点检测部件，用于基于上述边缘附近的图像的亮度变化来求原稿的左右端点三维边缘位置计算部件，用于基于上述边缘、基准线和倾斜角，计算原稿的上下边缘的三维位置；以及原稿形状计算部件，用于基于所述边缘的三维位置，计算整个原稿的形状。

再者，其特征在于，上述侧面倾斜图像校正部件还包括：原稿端点检测部件，用于基于上述边缘附近的图像的亮度变化来求原稿的左右端点；以及亮度校正参数计算部件，用于基于原稿的三维形状，根据图像来求校正目标像素的背景亮度，并根据背景亮度和目标亮度来求像素的亮度校正参数；其中，使用上述原稿的三维形状和亮度校正参数来校正输入的图像。

此外，其特征在于，上述边缘检测部件在边缘的位置变化少的部位检测规定长度以上的区间，在上述区间以外，将根据前后检测出的区间进行插值所得的位置作为原稿边缘的位置。

此外，其特征在于，上述装订线位置检测部件在上述边缘检测部件检测出的边缘位置的极大点或极小点中，将最接近图像中心的作为装订线位置。

此外，其特征在于，上述基准线检测部件在边缘附近的图像的像素值在第1基准值以上、而且边缘的斜率的变化量在第2基准值以下的区间中，将最长的区间中的平均的边缘斜率作为基准线的斜率，将从上述最长区间的原稿外侧的端点以上述斜率延长的直线作为基准线，对原稿左右或上下边缘分别检测基准线。

此外，其特征在于，上述原稿端点检测部件在原稿的左右页中根据各自的判定基准来检测原稿端点。

此外，其特征在于，上述原稿形状计算部件用连结上下边缘间的直线的集合来逼近原稿面，根据上述直线和上下端点的位置的内分比来求原稿面的三维位置。

再者，其特征在于，在算出的边缘的长度因上下而异的情况下，上述原稿形状计算部件修正边缘的三维位置，使其为同一长度。

再者，其特征在于，在算出的原稿的纵向长度因左右页而异的情况下，上述原稿形状计算部件修正原稿的三维形状数据，使得纵向长度在左右相同。

再者，其特征在于，上述原稿形状计算部件具有以规定的缩小率来缩小输入的图像的图像缩小部件，在根据上述缩小过的图像求出原稿的三维形状后，按照上述缩小率来修正原稿的三维形状数据。

此外，其特征在于，上述亮度校正参数计算部件根据用于逼近原稿面的直线的上下端点附近的图像的亮度的内分比，获得校正目标像素的背景亮度，并将目标亮度与背景亮度之比作为亮度校正参数。

此外，其特征在于，上述侧面倾斜图像校正装置将上述装订线位置附近的像素值变换为空白，输出到上述图像输出部件。

再者，其特征在于，上述侧面倾斜图像校正装置将上述装订线位置附近的像素值变换为远离装订线位置的部位的像素值，输出到上述图像输出部件。

再者，其特征在于，上述侧面倾斜图像校正部件分别进行用于形成上述缩小图像的图像的读取、和被校正图像的读取。

此外，其特征在于，包括校正选择部件，选择图像校正的应用；还包括图像输入部件，在进行图像校正的情况下和不进行的情况下以不同的输入特性进行图像的输入。

此外，其特征在于，包括原稿区域检测部件，根据输入的图像来检测原稿的区域；在原稿区域超出图像的情况下不进行校正。

附图的简单说明

通过下述详细说明和附图，本发明的这些目的和其他目的、特色和优点将会变得更加明确，其中：

图1是本发明一实施例的图像校正装置1的电结构方框图。

图2是读取书或杂志等原稿10所得的图像的例子。

图3是边缘检测的过程的流程图。

图4是边缘检测结果、和前后边缘位置的差分绝对值的曲线图。

图5是装订线位置检测部件的说明图。

图6是基准线检测部件的说明图。

图7是原稿端点检测部件的操作过程的流程图。

图8是原稿端点检测部件的说明图。

图9是侧面倾斜角计算部件的说明图。

图10是原稿形状计算部件的说明图。

图11是原稿形状计算部件的说明图，是将投影的像还原为平面的图。

图12是原稿面上的点P的三维坐标的求法的流程图。

图13是亮度校正参数计算部件的说明流程图。

图14是边缘附近的背景亮度的曲线图。

图15是根据原稿面的像的三维位置P来求映照到CCD上的图像的参考位置P′的图像校正方法的说明图。

图16是原稿区域检测部件的说明图。

发明的实施例

以下，用附图来详细说明本发明的实施例。

(第1实施例)

图1是本发明一实施例的图像校正装置1的电结构方框图。图像校正装置1包含中央运算处理装置2、图像输入装置3、存储装置4、图像输出装置5，分别用总线6连接，经总线6相互进行信号的收发。在以后的说明中，省略与总线有关的记载。

作为图像输入部件的图像输入装置3通过例如扫描仅等图像读取装置来实现。此外，图像输入装置3也可以是读出预先记录到CD-ROM(CompactDisk-Read Only Memory，光盘只读存储器)、软盘、光磁盘等记录媒体上的图像的装置。

作为图像输出部件的图像输出装置5例如通过打印机来实现。此外，也可以是CRT(Cathode Ray Tube，阴极射线管)或LCD(Liquid Crystal Display，液晶显示器)等显示装置。

作为存储部件的存储装置4例如通过半导体存储器或硬盘装置来实现。通过图像输入装置3输入的图像作为图像信号被存储到存储装置4中。此外，各图像处理部件通过程序来实现，预先被存储在存储装置4中

作为中央运算处理部件的中央运算处理装置2例如通过微处理器来实现，以后说明的各图像处理部件作为中央运算处理装置2上执行的程序来实现。在本实施例中，各图像处理部件为中央运算处理装置2上执行的程序，但是各部件也可以是硬件逻辑。

图2是读取书或杂志等原稿10所得的图像的例子。由于原稿面紧密接触扫描仅的玻璃面，所以紧密接触玻璃面的原稿面和扫描仪的镜头之间的距离是一定的，但是由于装订线12附近的原稿面从玻璃面浮起，所以与扫描仪的镜头之间的距离变宽，被缩小读取。因此，在装订线12附近发生几何失真。此外，由于扫描仅向原稿面上照射光，读取其发射光，所以像装订线12附近那样浮起的部位的图像变暗。

在以下的说明中，将图2的水平方向定为x方向，将垂直方向定为y方向。原点O与镜头中心一致，定在图像上部中央。假设读取图像的扫描仪的主扫描方向与x轴平行，假设副扫描方向与y方向平行。即，CCD行传感器和x轴平行，镜头及CCD的移动方向与y方向平行。假设输入图像中的原稿10被顺时针旋转90°来放置，假设将位于图像上侧的页称为左页，将位于下侧的页称为右页，假设将原稿10的a称为原稿左上，将b称为原稿左下，将c称为原稿右上，将d称为原稿右下。假设将原稿面的轮廓称为原稿边缘，假设将图2的13部分称为原稿上部边缘，将14部分称为原稿下部边缘。原稿面接触玻璃面的部分是平面，原稿边缘也为直线。将这种部位的原稿边缘的切线作为基准线，设原稿左上部的基准线为基准线15a，左下的基准线为基准线15b，右上的基准线为基准线15c，右下的基准线为基准线15d。

此外，采用的装置读取图像时能够区别原稿10和原稿外区域11，以便能够检测原稿10的边缘。在背景为白色的普通原稿的情况下，通过在打开扫描仪盖的状态下读入原稿，或者使扫描仪盖为黑等颜色，使原稿外区域11比原稿10暗地被读取，所以原稿外区域11和原稿10之间产生亮度差，能够检测原稿10的边缘。此外，在原稿发黑的情况下，使扫描仪盖为白色等亮色，通过关闭盖来读入图像，在原稿外区域11和原稿10之间产生亮度差，所以能够同样检测原稿的边缘。

以下，详细说明各图像处理部件。在以下的说明中，只要不特别指出，都不是用实际的原稿、而是用通过镜头投影的像进行说明。这是基于下述理由：实际的原稿和其像处于相似关系，只是大小不同，形状没有差别；并且作为图像映照到CCD上的是通过镜头投影的原稿的像在CCD面上的剖面，由于能够用与图像相同的比例尺来计算原稿的像的形状，所以更容易理解。

边缘检测部件例如用边缘检测滤波器来实现。以往提出Sobel算子或Prewitt算子等各种边缘检测滤波器。越是图像的亮度急剧变化的部位，这些边缘检测滤波器越输出大的值。在原稿面的亮度与原稿面以外的部分不同的情况下，通过用边缘检测滤波器来处理图像，能够检测原稿的边缘，但是由于也检测出字符的轮廓等、原稿边缘以外的边缘，所以如下只检测原稿边缘。这里，所谓原稿边缘，表示原稿面最外侧的轮廓线。

图3是边缘检测的过程的流程图。首先，用边缘检测滤波器进行边缘检测(S1)，从进行过边缘检测处理的图像的端部沿x方向搜索超过规定阈值的点(边缘)(S2)。此时，如果找到(S3)，则进行边缘的妥当性的检查(S4)，如果妥当，则记录位置(S5)，移至下一行(S7)。在直至搜索范围的末端也没有找到边缘时，不记录位置，移至下一行。如果到达最后一行(S8)，则结束处理。

在妥当性的检查中，例如，检查不是孤立点、及向原稿内侧的一定距离内不存在边缘。在用滤波处理检测出的边缘是孤立点的情况下，由于是扫描仪的玻璃面上附着的污物、灰尘的像，或者是噪声，所以将其除去。孤立点的判断是检查滤波处理过的图像的像素的连结成分，在连接的像素的数目在规定数目以下的情况下，判断为孤立点。此外，映照在图像上的原稿的侧面或封面等也被边缘检测滤波器作为边缘来检测，但是如果假定原稿面的上下端有空白，则暂时认为从原稿面的边缘向原稿内侧的一定距离内不存在边缘。由此，在从检测出的边缘向原稿内侧的一定距离内不存在其他边缘的情况下，能够判断为原稿的边缘。

图4是边缘检测结果、和前后边缘位置的差分绝对值的曲线图。根据图3，在进行边缘检测的情况下，有时包含边缘的误检、漏检。这分别相当于图4的ア、イ部分。为了检测图4的ア、イ部分，首先，计算前后边缘位置的差分绝对值。由于正确检测出原稿边缘的部分其边缘的变化少，所以差分值小，而边缘检测错误的部分其前后差分值增大。边缘的漏检能够根据其前后没有边缘检测的数据来判断。根据以上，将差分值在规定值以下、存在边缘检测结果的区间判断为是正确的边缘检测结果。但是，为了避免边缘检测错误，忽略规定长度以下的区间。上述以外的区间根据其前后的区间的数据通过逼近来进行插值。逼近方法可以用直线来逼近，也可以用贝捷(ベヅエ)曲线等来逼近。

根据以上，通过对原稿的上下进行同样的处理，能够检测原稿的上下边缘。

接着用图5来说明装订线位置检测部件。根据边缘检测部件得到的上部边缘13、和下部边缘14来求装订线12的上下终点12a、12b。设装订线的上部端点12a为上部边缘13的极小点，装订线的下部端点12b为下部边缘14的极大点。此时，由于也可能存在不是装订线的、局部的极大、极小点，所以将最接近中心线的极大、极小点作为装订线位置。

由于根据以上来求装订线的上下端点，所以连结它们的线为装订线12。接着，用图6来说明基准线检测部件。由于在原稿面接触玻璃面的部分没有失真，所以原稿边缘也为直线。将这种直线作为基准线，在后述的图像处理中根据基准线和边缘的位置关系来计算原稿形状。

图6的20a表示左页上部的边缘的斜率，20b表示右页上部的边缘的斜率。此外，21表示原稿上部的边缘附近的像素值的变化。所谓边缘附近的像素值，可以是离边缘规定距离处的像素的值，也可以其周边的平均值。由于在原稿远离玻璃面的部位，图像变暗，所以像素值减小。因此，能够将离像素值最大值的规定范围内的部分判断为接触玻璃面的部分。在上述范围内，在边缘的斜率20a及20b中检测斜率大致为一定值的部位，将求出的值分别作为基准线的斜率。将原稿接触玻璃面的区间中的边缘位置作为通过点的、上述斜率的直线为基准线。通过点只要判断为位于接触玻璃面的区间内则在哪里都可以，但区间的两端部分是边缘开始弯曲的部分，由于有时未必为直线，所以最好是位于区间的中心附近。

通过对原稿下部也进行同样的处理，能够求原稿上下的边缘的基准线15a、15b、15c、15d。

接着，用图7来说明原稿端点检测部件。虽然认为紧密接触玻璃面的部分的原稿面的亮度大体一定，但是由于原稿的外侧远离扫描仪等的光源，所以变暗。与图6同样，在原稿上下求边缘附近的像素值的变化，分别在左右页中与像素值的最大值进行比较，检测缩小一定比例以上的部位(S11)。

此外，由于一般扫描仪或复印机等的光源不是来自原稿的正下方，而是从斜方向照射，所以有时在原稿左右侧面上光的入射角不同，映照到图像上的亮度也不同。因此，例如，如果原稿左侧像素值缩小3％、右侧像素值缩小5％，则判断为原稿端点等，也可以在原稿的左右改变判断基准。如图8所示，从检测出的端点22a、22b、22c、22d相对于原稿的上下相对侧的基准线引垂线(S12)，在左右分别选择位于原稿外侧的垂线，将与基准线的交点重新作为原稿端点22a′、22b′、22c′、22d′(S13)。在本实施例中，选择位于原稿外侧的垂线，以便不剪掉必要部分，但是为了尽量去掉无用部分，也可以选择位于内侧的垂线。

接着，用图9来说明侧面倾斜角计算部件。图9表示镜头和原稿的像的关系，是从y轴方向看原稿的像、旋转90度所得的图。在图中，与CCD面及玻璃面垂直来设定z轴，将镜头中心作为原点O。假设镜头和CCD面的距离为f。由于原点上部下沉，所以示出装订线向原稿上侧倾斜。图中的实线表示通过镜头投影的原稿的像。装订线的上下端点E1；E2在CCD上被缩小，出现在P1；P2的位置上。这表示在用扫描仪来读入书时，浮起的部分的图像被缩小。

这里，假设通过E1；E2、与装订线L0垂直的线为L1；L2。由于书等原稿将长方形的纸在一边装订，所以可以认为装订线和上下侧面的关系是直角。因此，假设直线L1；L2分别与原稿的上部侧面、下部侧面一致。

此外，假设L1；L2和CCD面的交点B1；B2位于边缘的基准线上。此时，如下所述，计算原稿侧面的斜率α。现在，假设在CCD上，装订线的上端、下端分别映照到点P1；P2的位置。此时，装订线的上端、下端的像分别存在于直线M1及M2上，位于直线L0和L1、L2的交点E1、E2的位置。

首先，求L1和M1的交点E1。直线L1、M1分别被表示为

x＝α(z-f)+e₀₁    ...(1)

$x=\frac{e_1}{f}\text{z...}\left(2\right)$

根据式(1)、(2)，L1和M1的交点E1为

$\left\{\begin{array}{c}z=\frac{f(e_{01}-\mathrm{\αf})}{e_1-\mathrm{\αf}}\\ x=\frac{e_1(e_{01}-\mathrm{\αf})}{e_1-\mathrm{\αf}}\end{array}\right....\left(3\right)$

接着，求L2和M2的交点E2。直线L2、M2分别被表示为

x＝α(z-f)+e₀₂    ...(4)

$x=\frac{e_2}{f}z...\left(5\right)$

根据式(4)、式(5)，L2和M2的交点E2为

$\left\{\begin{array}{c}\text{z=}\frac{f(e_{02}-\mathrm{\αf})}{e_2-\mathrm{\αf}}\\ x=\frac{e_2(e_{02}-\mathrm{\αf})}{e_2-\mathrm{\αf}}\end{array}\right....\left(6\right)$

根据式(3)、式(6)，直线L0的方向矢量是

$\left(\begin{array}{c}(e_{01}-e_{02}+e_2-e_1)\mathrm{\α}{f}^2-(e_{01}{e}_2-e_{02}{e}_1)f\\ (e_2-e_1)f^2{\mathrm{\α}}^2-(e_{02}{e}_2-e_{01}{e}_1)\mathrm{f\α}+(e_{02}-e_{01})e_1{e}_2\end{array}\right)...\left(7\right)$

根据直线L0及L1、L2正交的条件，得

$\left(1\mathrm{\α}\right)\·\left(\begin{array}{c}(e_{01}-e_{02}+e_2-e_1)\mathrm{\α}{f}^2-(e_{01}{e}_2-e_{02}{e}_1)f\\ (e_2-e_1)f^2{a}^2-(e_{02}{e}_2-e_{01}{e}_1)\mathrm{f\α}+(e_{02}-e_{01})e_1{e}_2\end{array}\right)...\left(8\right)$

将其简化，得

(e₂-e₁)f²α³+(e₀₁e₁-e₀₂e₂)fα²

+{(e₀₂-e₀₁)e₁e₂+(e₀₁-e₀₂+e₂-e₁)f²}α

+(e₀₂e₁+e₀₁e₂)f＝0                   ...(9)

这一α的3次方程式，其解为所求的侧面的斜率α。一般解3次方程很难，但是实际上侧面的倾斜大致与z轴平行，由于也知道装订线下沉到上下哪一侧，所以根据B1、P1及B2、P2离z轴的距离的比率，知道大约的解。在预先大约知道其解的情况下，如果使用二分法，能够用反复计算来简单地求近似解。

接着，说明边缘三维位置计算部件。在通过侧面倾斜角计算部件来求原稿的上下侧面的斜率α时所用的式(3)、式(6)不仅能够适用于装订线的上下端点，而且能够适用于整个边缘。

通过将镜头和CCD的距离f、基准线的位置、映照到CCD面上的边缘的位置、原稿的上下侧面的斜率α应用于式(3)、式(6)，知道边缘的x、z坐标值。在扫描仪等输入装置的情况下，由于扫描CCD及镜头进行摄像，所以在y方向上为平行投影，映照到CCD上的边缘的y坐标、和投影的像中的y坐标一致，所以无需计算。因此，与上述x、z坐标一起，能够求边缘的像的三维位置。

接着，用图10、图11来说明原稿形状计算部件。图10表示通过镜头1 6投影的原稿的像(只有左页)。接触玻璃面的原稿被投影到CCD面17上，而从玻璃面浮起的部分被投影到比CCD面更远处。装订线、上部边缘、下部边缘对应于12′、13′、14′，在映照到CCD上的图像中，出现在12、13、14的位置上。如上所述，为了知道装订线12′、上部边缘13′、下部边缘14′、原稿左端18的位置，通过边缘三维位置计算部件求其间的原稿面的位置。如果知道原稿面的像的任意位置上的三维坐标，则能够根据镜头和CCD的位置关系来简单地取得与映照到CCD上的图像之间的对应关系，能够将图像校正为平面。

图11是将投影的像还原为平面的图。如果假定原稿形状是长方形，则将投影的像还原为平面当然也为长方形。图11的长方形的上面的边对应于上部边缘13′、下面的边对应于下部边缘14′。但是，由于测定误差等理由，有时算出的边缘的长度不同，所以需要使长度与上部边缘或下部边缘中的某一个一致。例如，在下部边缘14′比上部边缘13′短的情况下，首先，将上部边缘13′和长方形的上面的边相对应，通过相对于下部边缘14′延长长方形的下面的边的对应位置，使下部边缘14′和长方形的下面的边一致。

此外，使长方形的左右边长、即校正后的页的高度与原稿上下的边缘基准线之间的距离一致。但是，由于测定误差等理由，有时原稿上下的基准线之间的距离不同，所以，例如使其与左右页的平均值一致。或者，也可以与任一个一致。

假设将原稿面从玻璃面开始浮起的部位称为上升线19，假设上升线是直线。由于原稿面浮起的部分受上升线19和装订线12′这2条直线的约束，所以原稿面可以认为是从上升线19向装订线12斜率连续变化的直线的集合。在本实施例中，假定该直线是位于将上升线19和装订线12′以一定的比率内分的位置的直线，但是也可以使用其他模型。所谓以一定的比率内分的直线，相当于图11的虚线，为水平方向的内分比相同的点的集合。由于原稿左端18和上升线19之间是平面，所以无需这种建模，但是由于能进行与曲面部分相同的处理，所以认为原稿左端18和上升线19之间也为位于以一定比率内分的位置的直线的集合。

图12是原稿面上的点P的三维坐标的求法的流程图。首先，求点P的13′、14′间的内分比m∶n和19、12′间的内分比a∶b(S21)。求13′上将19、12′内分为a∶b的点U1、和14′上将19、12′内分为a∶b的点B1(S22)。由于上部边缘13′及下部边缘14′上的三维坐标可通过上述边缘三维位置计算部件来求，所以知道U1、B1的坐标。由于假定U1和B1间的原稿面是直线，所以将该直线内分为m∶n的点为P。如上所述，能够求原稿面的任意点的三维位置、即原稿面的三维形状。

用图13来说明亮度校正参数计算部件。与上述原稿形状计算部件同样，在所讨论点P上，求19、12′之间的内分比a∶b和13′、14′之间的内分比m∶n(S31)。求13′、14′上内分为a∶b的点U1、B1，求U1和B1在CCD面上的原稿的背景亮度值(S32)。可以认为书等原稿在边缘附近是空白，将边缘附近的像素值作为背景亮度即可。所谓边缘附近的像素值，可以是离边缘一定距离的像素的值，也可以是一定范围的像素值的平均。但是，由于有时边缘附近也绘有字符或图画，所以预先检查边缘附近的像素值，如图14所示，根据前后像素值对极端变化的部位进行插值。假定U1至B1之间的背景亮度呈直线变化，将U1和B1的背景亮度值内分为m∶n的值作为P的背景亮度(S33)。根据背景亮度和目标亮度来求亮度校正参数(S34)。如果设目标亮度为Bg、背景亮度为Bb，则亮度校正参数Br如式(10)所示来求。

Br＝Bg/Bb       ...(10)

目标亮度可以是整个图像的背景亮度的最大值，也可以是充分亮的像素值、或像素值可取的范围内最大的值。如果将Iin作为校正前的像素值、将Iout作为校正后的像素值，则能够用亮度校正参数Br，如式(11)所示进行亮度校正。

在本实施例中，亮度校正在图像校正部件中与失真校正同时进行。

Iout＝BrIin        ...(11)

实际上，由于像素值取0至255等有限范围内的值，所以式(11)是最大值，达到饱和。此外，如果用式(11)来校正装订线附近变暗的图像，则有时字符部分过于变亮、变薄，所以也可以对一定值以下的像素改变校正参数，或者不进行校正等。

接着，说明图像校正部件。在图11中，如果能求出任意原稿面上的点P的像素值，则能够将有失真的图像校正得好像原稿面是平面。已经通过上述原稿形状计算部件知道原稿面的三维形状。

用图15来说明根据原稿面的像的三维位置P来求映照到CCD上的图像的参考位置P′的方法。如果设原稿面的三维位置为P(x0，y0，z0)、映照到CCD上的P的位置为P′(x1，y1，z1)，则根据三角形相似的关系，P′能如式(12)所示来求。

$\left\{\begin{array}{c}x1=\frac{x0f}{z0}\\ y1=y0\\ z1=f\end{array}\right....\left(12\right)$

这里，f是镜头和CCD的距离。在扫描仅或复印机的情况下，由于通过扫描镜头和CCD进行摄像，所以沿镜头的移动方向、即y方向上为平行投影，原稿的像和CCD面上的y坐标不变。

如上所述，在原稿面的任意位置上，求要参考的图像的坐标，像素值也能够得到。通过从原稿面的端部起依次求参考像素并输出，能够得到不仅校正图像的失真、还校正图像的歪斜的图像。此外，在用图像校正部件来输出像素值时，还用式(11)来同时进行亮度校正。在本实施例中，对各像素求校正参数、及像素在图像中的参考坐标，但是也可以将图像划分为一定大小的格子，只在格子点上求校正参数、参考坐标，在其他部位使用对上述值进行插值所得的值。

接着，说明图像输出部件。在本实施例的图像校正装置中，通过原稿形状计算部件来求原稿面的三维形状，只将原稿面与拍摄的图像相对应，通过图像校正部件进行校正。因此，只有原稿的左右端和上下边缘包围的范围的图像被校正，原稿面以外的其余部分则不被校正。图像输出部件通过输出上述校正图像，能够输出除去了原稿以外的无用部分所得的图像。此外，由于知道校正后的原稿面的大小，所以如果按照图像的大小来输出到最佳的纸张上，则用户不用进行纸张选择，就能够进行没有浪费的打印输出。

再者，由于通过装订线位置检测部件知道原稿的装订线位置，所以通过以装订线位置来分割输出，能够分别输出左右页。由此，即使不分别读取左右页，只需读取1次，就能够输出到分别的纸张上。

此外，由于有时即使用图像校正部件进行亮度校正也不能完全除去装订线部分的阴影，所以在输出装订线附近的图像时，也可以变换为白数据进行输出。由于有时原稿也不是白的，所以也可以不是变换为白数据，而是变换为装订线外侧的像素值。

(实施例2)

第2实施例与第1实施例相比，添加了图像缩小部件，原稿形状计算部件不同。其他部分与第1实施例相同。在本实施例中，图像缩小部件及原稿形状计算部件被作为中央运算处理装置2上执行的程序来实现，但是各部件也可以是硬件逻辑。图像缩小部件在输入图像中取多个像素的平均，将其作为1个像素进行输出。或者，可以通过抽取像素进行输出来实现。在第1实施例中，根据输入的图像来求原稿形状，但是用复印机等输入的图像是例如400dpi或600dpi这样分辨率非常高的图像，在根据这种高分辨率的图像来求原稿形状的情况下，有下述问题：需要非常多的存储器，此外，花费很多计算时间。例如通过将图像缩小到1/4，使数据量成为1/16，能够以更少的存储器来高速进行图像处理。

接着，说明原稿形状计算部件。原稿形状计算部件在计算原稿的三维形状之前与第1实施例相同。原稿的三维形状数据是通过缩小图像来求出的，由于图像校正需要不是用缩小图像、而是用输入图像来进行，所以需要修正原稿的三维形状数据。

例如如果缩小图像的倍率是1/4，则数据的修正使原稿的三维形状数据为4倍即可。此外，通过在进行原稿的形状确认时、和进行图像校正时这2次进行图像输入，能够削减需要的存储量。

在用1次的图像输入进行所有处理的情况下，需要将全部图像保持在存储器中，而通过进行2次图像输入，在形状识别中用缩小图像的容量左右的存储器即可，在图像修正中一边输入图像一边进行校正即可，所以只要将图像的一部分放入存储器中就能进行处理。

(实施例3)

第3实施例在第1实施例上设有是否进行图像校正的选择部件，能够切换图像的输入特性。选择部件可以是软件的选择菜单，也可以是硬件开关。例如，在进行校正的情况下，校正并输出输入图像，而在不进行的情况下，则原封不动地将输入图像输出。在通常的复印机中，调节输入特性，使得黑的字符黑，白的背景白，但是在本发明的图像校正装置中，由于需要检测原稿的边缘，所以装订线附近的图像黑成一片则不能正确地进行边缘检测。在进行失真校正的情况下，通过明亮地输入图像，能够使装订线附近的图像也不黑成一片，能够正确地检测边缘。此外，通过在失真校正时进行亮度校正，也能够使实际的原稿和校正后的图像的亮度一致。

如上所述，通过根据是否进行校正来切换输入特性，能够分别得到最佳的图像，此外，能够正确地进行失真校正。

(实施例4)

第4实施例在第1实施例上添加了原稿区域检测部件。用图16来说明原稿区域检测部件。

图16示出原稿10超出图像区域。例如，在用扫描仪读入背景为白色等明亮的原稿的情况下，由于原稿区域的像素值大，所以从图像中检测像素值在一定值以上的区域。在该区域的范围与图像的外框相接的情况下，能够判断为原稿超出图像区域。

在原稿超出图像区域的情况下，由于不能正确地检测原稿的上下边缘，所以不能进行失真校正。因此，在检测出原稿超出的情况下不进行失真校正操作。在本实施例中，根据图像来进行原稿区域的检测，但是也可以另外设置传感器，通过传感器来检测原稿的位置。此外，即使原稿的左右超出也不太影响形状识别，所以也可以忽略左右的超出，而只检测上下的超出。

本发明在不脱离其精神或主要特征的情况下，可以用其他各种形式来实施。因此，上述实施例在所有点上都不过只是例示，本发明的范围如权利要求书所示，丝毫不限于说明书正文。

再者，属于权利要求书均等范围的变形或变更都在本发明的范围内。

产业上的可利用性

根据本发明，通过校正用扫描仪或复印机来读取书或杂志等时产生的失真、阴影，能够使得原稿好像是平面。此外，即使原稿的装订线处的下沉方式因上下而异，或者原稿旋转，也能够进行校正。

此外，根据本发明，通过在根据边缘检测处理后图像的连结成分的长短来判断孤立点之外，还将边缘位置变化少的部位中规定长度以上的区间作为边缘位置来检测，未检测出的区间根据前后检测出的区间进行插值，能够消除边缘的误检或边缘漏检，能够稳定地检测边缘。

此外，根据本发明，通过在边缘位置的极大或极小点中，将最接近图像中心的作为装订线来检测，能够不受局部细小形状变化的影响，稳定地检测装订线位置。

此外，根据本发明，通过在边缘斜率的变化量在校正值以下的区间中，将最长的区间中的平均的边缘斜率作为基准线的斜率，能够从斜率连续变化的原稿的边缘中正确地检测基准线的斜率。

此外，根据本发明，通过以分别的判定基准来检测原稿左右的页，能够在通常从斜方向照射光的扫描仪、复印机中分别最佳地检测左右页的端点。

此外，根据本发明，通过将原稿面作为斜率连续变化的直线的集合来逼近，能够根据内分比来简单地求原稿面内的任意点的原稿形状校正参数。

此外，根据本发明，在算出的原稿边缘的长度因上下而异的情况下，通过将数据修正为其中某一个的长度，与保持上下长度不同来校正图像相比，能够使校正后的图像给人以更自然的印象。

此外，根据本发明，在算出的原稿的纵向长度因左右而异的情况下，通过将数据修正为其中某一个的长度，能够保持左右平衡，能够使校正后的图像给人以更自然的印象。

此外，根据本发明，通过用将读取的图像缩小所得的图像进行形状识别，与原封不动地根据读取的高分辨率的图像进行形状识别相比，能够大幅度减轻处理。

此外，根据本发明，通过将原稿面作为斜率连续变化的直线的集合来逼近，能够根据内分比来简单地求原稿面内的任意点的亮度校正参数。

此外，根据本发明，通过将装订线附近的图像变换为空白进行输出，能够使未完全校正图像的部位不明显。再者，通过将装订线附近的图像变换为远离装订线的部位的像素值进行输出，即使在原稿是白以外的颜色的情况下，也能够以与原稿一致的颜色来擦去装订线附近的图像。

此外，根据本发明，通过将图像的读取分为用于形状识别的图像读取和被校正图像的读取，能够大幅度削减需要的存储量。

此外，根据本发明，通过在不校正图像失真的情况下、和校正的情况下用分别的输入特性进行图像的读取，能够在不进行失真校正的情况下提高黑白的对比度来进行读取，而在进行失真校正的情况下，能够容易地检测边缘的形状来输入图像。

此外，根据本发明，在原稿超出图像的情况下，通过不进行校正，能够节约浪费的纸张。

Claims (16)

1、一种图像校正装置，用于校正一图像，该图像在装订线的上部和下部浮起量不同，该装置包含：

边缘检测部件，用于检测原稿的边缘；

装订线位置检测部件，用于获得原稿的装订线位置；

基准线检测部件，用于获得原稿的位置的基准线；

原稿端点检测部件，用于基于上述边缘附近的图像的亮度变化来求原稿的左右端点；

侧面倾斜角计算部件，用于基于上述基准线和装订线位置，计算原稿的上下侧面的倾斜角；

三维边缘位置计算部件，用于基于上述边缘、基准线和倾斜角，计算原稿的上下边缘的三维位置；以及

原稿形状计算部件，用于基于所述边缘的三维位置，计算整个原稿的形状。

2、如权利要求1所述的图像校正装置，还包括：

亮度校正参数计算部件，用于基于原稿的三维形状，根据图像来求校正目标像素的背景亮度，并根据背景亮度和目标亮度来求像素的亮度校正参数，

其中，使用上述原稿的三维形状和亮度校正参数来校正输入的图像。

3、如权利要求1所述的图像校正装置，其特征在于，上述边缘检测部件在边缘的位置变化少的部位检测规定长度以上的区间，在上述区间以外，将根据前后检测出的区间进行插值所得的位置作为原稿边缘的位置。

4、如权利要求1所述的图像校正装置，其特征在于，上述装订线位置检测部件在上述边缘检测部件检测出的边缘位置的极大点或极小点中，将最接近图像中心的作为装订线位置。

5、如权利要求1所述的图像校正装置，其特征在于，上述基准线检测部件在边缘附近的图像的像素值在第1基准值以上、而且边缘的斜率的变化量在第2基准值以下的区间中，将最长的区间中的平均的边缘斜率作为基准线的斜率，将从上述最长区间的原稿外侧的端点以上述斜率延长的直线作为基准线，对原稿左右或上下边缘分别检测基准线。

6、如权利要求1所述的图像校正装置，其特征在于，上述原稿端点检测部件在原稿的左右页中根据各自的判定基准来检测原稿端点。

7、如权利要求1所述的图像校正装置，其特征在于，上述原稿形状计算部件用连结上下边缘间的直线的集合来逼近原稿面，根据上述直线和上下端点的位置的内分比来求原稿面的三维位置。

8、如权利要求1所述的图像校正装置，其特征在于，在算出的边缘的长度因上下而异的情况下，上述原稿形状计算部件修正边缘的三维位置，使其为同一长度。

9、如权利要求1所述的图像校正装置，其特征在于，在算出的原稿的纵向长度因左右页而异的情况下，上述原稿形状计算部件修正原稿的三维形状数据，使得纵向长度在左右相同。

10、如权利要求1所述的图像校正装置，其特征在于，上述原稿形状计算部件具有以规定的缩小率来缩小输入的图像的图像缩小部件，在根据上述缩小过的图像求出原稿的三维形状后，按照上述缩小率来修正原稿的三维形状数据。

11、如权利要求2所述的图像校正装置，其特征在于，上述亮度校正参数计算部件根据用于逼近原稿面的直线的上下端点附近的图像的亮度的内分比，获得校正目标像素的背景亮度，并将目标亮度与背景亮度之比作为亮度校正参数。

12、如权利要求1所述的图像校正装置，其特征在于，该装置还包括将上述装订线位置附近的像素值变换为空白，输出到上述图像输出部件的部件。

13、如权利要求1所述的图像校正装置，其特征在于，该装置还包括将上述装订线位置附近的像素值变换为远离装订线位置的部位的像素值，输出到上述图像输出部件的部件。

14、如权利要求1所述的图像校正装置，其特征在于，上述该装置还包括分别进行用于形成上述缩小图像的图像的读取、和被校正图像的读取的部件。

15、如权利要求1所述的图像校正装置，其特征在于，包括校正选择部件，选择图像校正的应用；还包括图像输入部件，在进行图像校正的情况下和不进行的情况下以不同的输入特性进行图像的输入。

16、如权利要求1所述的图像校正装置，其特征在于，包括原稿区域检测部件，根据输入的图像来检测原稿的区域；在原稿区域超出图像的情况下不进行校正。

Images