CN102282588A - 图像处理装置、处理方法、处理程序及存储介质 - Google Patents

Abstract

将图像中点的坐标变换为距离(ρ)和角度(θ)，而对以距离(ρ)和角度(θ)为标题的投票表进行投票。从投票表中提取投票数为上位的规定个数的点，并且以与规定个数点的角度(θ)的一致性成为最大的方式决定提取用的角度(θx)，并基于所决定的提取用的角度(θx)来求出图像的倾斜角。

Description

图像处理装置、处理方法、处理程序及存储介质

技术领域

本发明涉及输入图像的倾斜角的检测。

背景技术

当通过扫描仪读取图像时，有时图像会以稍微倾斜的状态被读取。为了对其进行修正，而对原稿用纸的边等进行检测。如果原稿用纸为方形，则边的朝向应该与主扫描方向或者副扫描方向平行，从这些方向的偏移表示原稿用纸的倾斜。但是，通过该方法能够检测出倾斜的情况仅限于扫描时，不能够检测已存储的图像以及从外部传送的图像的倾斜。此外，由于对原稿用纸的倾斜进行检测，所以如切下那样的不规则的用纸不能够检测倾斜。并且，在以双联页方式对硬皮书籍进行扫描时，有时虽然书皮未倾斜、但双联页的页倾斜。在该情况下也难以检测出倾斜。为了解决这些问题，不是对原稿用纸的倾斜进行检测，而需要对图像自身的倾斜进行检测。

在此表示关联的现有技术，专利文献1(JPH10-283476A)记载了通过哈夫变换来检测图像中的直线的内容。但是，专利文献1并没有公开通过哈夫变换来检测图像的倾斜自身的内容。此外，根据发明人的实验，在通过图像的哈夫变换而得到的投票表中，当将最大投票数的直线设为与图像的倾斜平行的直线时，与图像的实际倾斜大幅度不同的情况较多。例如，如果在图像中存在照片或图形、且照片或图形中含有斜线，则通过哈夫变换提取斜线，检测到与图像自身的倾斜不同的斜线角的情况较多。

现有技术文献

专利文献

专利文献1：JPH10-283476A

发明内容

发明要解决的技术问题

本发明的技术问题是利用图像自身的性质来正确求出图像的倾斜角。

本发明的另一技术问题是不受斜线等的影响地求出图像的倾斜角。

用于解决技术问题的手段

本发明的图像处理装置，为了决定图像的倾斜角，具备：

哈夫变换部，通过将图像中的点的坐标变换为距离ρ和角度θ，而对以距离ρ和角度θ为标题的投票表进行投票，由此提取图像中的直线；

提取部，从上述投票表中提取投票数为上位的规定个数的点；以及

倾斜角决定部，以与上述规定个数的点的角度θ之间的一致性成为最大的方式决定提取用的角度θx，基于所决定的提取用的角度θx求出图像的倾斜角。

在本发明的图像处理方法中，使信息处理装置执行：

哈夫变换步骤，通过将图像中的点的坐标变换为距离ρ和角度θ，而对以距离ρ和角度θ为标题的投票表进行投票，由此提取图像中的直线；

提取步骤，从上述投票表中提取投票数为上位的规定个数的点；以及

倾斜角决定步骤，以与上述规定个数的点的角度θ之间的一致性成为最大的方式决定提取用的角度θx，基于所决定的提取用的角度θx求出图像的倾斜角。

此外，本发明的图像处理程序为，被信息处理装置读取而使该信息处理装置执行：

将图像中的点的坐标变换为距离ρ和角度θ，而对以距离ρ和角度θ为标题的投票表进行投票的功能；

从上述投票表中提取投票数为上位的规定个数的点的功能；以及

以与上述规定个数的点的角度θ之间的一致性成为最大的方式决定提取用的角度θx，基于所决定的提取用的角度θx求出图像的倾斜角的功能。

在本说明书中，与图像处理装置有关的记载也直接适用于图像处理方法及图像处理程序，反之与图像处理方法有关的记载也直接适用于图像处理装置及图像处理程序。处理对象的图像例如是由扫描仪读取之后不久的图像，但是也可以是通过传真、文件传送、e-mail等接收的图像、或者已经存储在存储器中的图像。此外，直线和线段为相同含义。图像处理程序例如通过存储介质、或通过载波提供给图像处理装置。

所谓一致性为最大是如下情况：例如对于各点，如果存在于离提取用的角度θx为允许范围内则分配1、如果未存在于允许范围内则分配0，而这些值之和成为最大。在此，也可以不使分配的值为0或1，而使该值根据与提取用的角度θx之间的误差而逐渐变化。此外，作为一致性的权重，也可以使用各点的得票数，将存在于离提取用的角度θx为允许范围内的点的得票数的合计作为一致性。

在本发明中，基于在哈夫变换中能够将图像中的文字所成的行视为中断的直线的情况，根据文字行、格线、下划线等的朝向来决定倾斜角。因此，能够根据图像自身的性质来决定倾斜角。

在哈夫变换中，使图像中的点的坐标(x，y)成为ρ＝xcosθ+ysinθ，而变换为距离ρ和角度θ。图像中的1个点被变换为(ρ，θ)空间中的多个点，对于变换后的每个点，向以ρ和θ为标题的投票表投票。并且，投票数较多的点的ρ和θ表示图像中的直线。但是，本发明人经历过如下情况：当根据投票数最大的点求出图像的倾斜时，经常检测出与行的朝向大幅度不同的朝向的倾斜角。所检测到的倾斜角较多是图像中所包含的图形部分或照片部分的直线、手写的斜线等的倾斜角。相对于此，当以与投票数上位的规定个数的点的角度θ之间的一致性成为最大的方式决定提取用的角度θx，并基于角度θx来决定倾斜角时，能够根据图像中的显著的多个直线来决定倾斜角，所以能够进行更具有可靠性的检测。

优选，根据对于上述规定个数的点中、角度θ包含于离上述提取用的角度θx为允许范围内的点的、角度θ的平均，决定图像的倾斜角。由此，能够根据允许范围内的点的数据的平均来决定倾斜角，所以能够进行具有可靠性的检测。

此外优选，根据对于上述规定个数的点中、角度θ包含于离上述提取用的角度θx为允许范围内的点的、角度θ的反映了对应于投票数的权重的平均，决定图像的倾斜角。所谓反映了对应于投票数的权重的平均，例如是以投票数为权重的加权平均、以投票数的平方根或二次方等为权重的加权平均等。由此，能够在适当地重视投票数较多的点的同时决定倾斜角。

优选，图形处理装置构成为，在上述规定个数的点中、角度θ包含于离上述提取用的角度θx为允许范围内的点的数量与上述规定个数之间的比例小于规定值的情况下，不检测图像的倾斜角。在离提取用的角度θx为允许范围的角度内仅包含很少数量的点，意味着提取的点的角度分布较广、可靠性较低。因此，在这种情况下，通过停止倾斜角的检测，能够避免可靠性较低的检测。

优选，图像处理装置构成为，在上述规定个数的点包含与最上位投票数的点之间的投票数比例小于允许值的点的情况下，不检测图像的倾斜角。在将图像中的文字行或格线等检测为直线的情况下，对于上位规定个数的点的投票数应该没有较大差。尽管如此，在包含与最上位的投票数的点之间的投票数的比例小于允许值的点的情况下，检测出图像中的图形部分或照片部分所包含的较长直线的可能性较高。因此，在这种情况下，通过停止倾斜角的检测，能够避免可靠性较低的检测。

优选，图像处理装置构成为，在提取上述规定个数的点时，对已提取的点的投票表中的附近进行屏蔽，以不从投票表中提取屏蔽了的范围内的其他点。由此，能够从处理对象的图像的较大范围中提取直线，所以能够提取由文字行构成的直线、格线、下划线等的机会增加。

优选，通过退化处理部对图像实施将线段简化为点的退化处理，对退化处理后的图像进行哈夫变换。在本说明书中，点不限于图像中的1个像素，还包括能够将多个像素视为点的点。通过退化处理，图像中的线段变换为简单的点，但是文字行被保存。因此，能够不受斜线等影响，而根据图像中的文字行来决定倾斜角。并且，由于通过退化处理而图像中的有效像素数被削减，因此能够更加高速地执行哈夫变换。

优选，使上述哈夫变换部、上述提取部和上述倾斜角决定部，对实施了退化处理的图像实施哈夫变换而决定第一倾斜角，且对未实施退化处理的图像实施哈夫变换而决定第二倾斜角，并且还设置比较部，该比较部对第一倾斜角和第二倾斜角进行比较；在第一倾斜角和第二倾斜角之差在规定范围内的情况下，将第二倾斜角作为图像的倾斜角，在上述差为规定范围外的情况下，将第一倾斜角作为图像的倾斜角。

在此，第一倾斜角表示仅使用文字行而得到的倾斜角，第二倾斜角表示除了文字行以外使用表、下划线、斜线等而得到的倾斜角。因此，在第一倾斜角和第二倾斜角近似的情况下，能够推测为在表或下划线中、与文字行平行或垂直的线段做出贡献。即使在假设都根据文字行来求出倾斜角的情况下，第二倾斜角由于不受退化处理引起的图像变化的影响，因此也可以说其精度比第一倾斜角高。因此能够高精度地决定倾斜角。

在第一倾斜角和第二倾斜角显著不同的情况下，当将第一倾斜角作为图像的倾斜角时，能够不受图像中的图形部分或照片部分等中的斜线的影响地决定倾斜角。

在第一倾斜角和第二倾斜角的一致性为上述情况的中间的情况下，例如，从对实施了退化处理的图像进行了哈夫变换后的图像中提取多个线段作为第一组，从对未实施退化处理的图像进行了哈夫变换后的图像中取出多个线段作为第二组。从第二组中提取朝向之差为规定范围内的线段存在于第一组中的线段，更优选朝向之差为第一规定范围内且哈夫变换中的距离之差为第二规定范围内的线段存在于第一组中的线段，而决定倾斜角。这种线段可以为1根，但使用多个线段来决定倾斜角时可靠性较高。因此，在提取的线段的根数较少的情况下，为了提高可靠性，优选，例如除了第一组的线段中将没有与第二组相对应的线段提取后的线段之外，还根据这些线段的倾斜来决定图像的倾斜角。

在上述差为上述规定范围外的情况下，优选，在通过哈夫变换从实施了退化处理的图像中提取的第一线段组与通过哈夫变换从未实施退化处理的图像中提取的第二线段组之间，没有倾斜相近似的线段的情况下，将上述第一倾斜角作为图像的倾斜角。而且，在上述第一线段组与第二线段组之间存在倾斜相近似的线段的情况下，至少基于第二线段组的线段中、倾斜相近似的线段存在于第一线段组中的线段的倾斜，来决定图像的倾斜角。

也可以不求出第一倾斜角和第二倾斜角，而上述哈夫变换部从实施了退化处理的图像中提取第一线段组并且从未实施退化处理的图像中提取第二线段组。然后，上述倾斜角检测部，至少基于第二线段组的线段中、倾斜相近似的线段存在于第一线段组中的线段的倾斜，来决定图像的倾斜角。

更优选，上述倾斜角检测部为，在第二线段组的线段中、倾斜相近似的线段存在于第一线段组中的线段存在规定根数以上的情况下，基于该规定根数以上的线段的倾斜来决定图像的倾斜角，在第二线段组的线段中、倾斜相近似的线段存在于第一线段组中的线段小于规定根数的情况下，基于将小于上述规定根数的线段与第一线段组的线段相加后的线段组的倾斜，来决定图像的倾斜角。

此外优选，还设置将图像二值化为有效像素和无效像素的二值化部，并且上述退化处理部通过滤波器来执行退化处理，该滤波器将二值化后的图像中的相互连结的有效像素从端部开始置换为无效像素。由此，能够简单地实施退化处理。

附图说明

图1是实施例的复合机的框图

图2是实施例中的预处理部的框图。

图3是表示实施例的退化处理中使用的滤波器的图。

图4是表示实施例中是根据表以及下划线来决定倾斜角还是使用文字来决定倾斜角的算法的图。

图5是表示实施例中的预处理算法的图。

图6是实施例中的哈夫变换部～图像旋转部的框图。

图7是示意地表示实施例中的投票表的图。

图8是表示实施例中的倾斜角检测的算法的图。

图9是表示实施例中将文字行视为直线的情况的图。

图10是表示将输入图像直接进行了二值化的例子的图。

图11是表示实施例中的输入图像的缩小图像的图。

图12是表示实施例中从缩小图像中除去了噪声的图像的图。

图13是表示实施例中从除去噪声后的图像中提取的边缘的图。

图14是表示实施例中使用的边缘提取滤波器的图。

图15是表示实施例中对边缘的图像进行了二值化后的图像的图。

图16是表示实施例中从二值化图像中除去了孤立点的图像的图。

图17是表示实施例中在除去孤立点后实施了退化处理后的图像的图。

图18是表示伪最大投票线的图。

图19是表示投票表中的附近点被作为有效线而选择多个的状况的图。

图20是表示实施例中对已提取的有效线的附近进行了屏蔽时的有效线的提取状况的图，亮度表示投票表中的投票数。

图21是示意地表示实施例中的提取的有效线的图。

图22是示意地表示实施例中的倾斜角的决定方法的图。

图23是示意地表示实施例中提取倾斜角的候補时的一致性的评价函数的图。

具体实施方式

以下，表示用于实施本发明的最佳实施例。另外，最佳实施例能够参照公知技术在对本领域的技术人员来说显而易见的范围内进行变更。

实施例

图1～图22中以复合机2为例表示实施例。4是LAN，6是个人计算机、是信息处理装置的例子，8是路由器、将国际互联网10与复合机2及个人计算机6进行连接。实施例中的倾斜角的检测及修正由复合机2进行，但也可以由个人计算机6等进行，例如也可以将由复合机2的扫描仪20读取的图像传送到个人计算机6，由个人计算机6对倾斜角进行检测并修正。

对复合机2的结构进行说明。12是LAN接口，14是总线，16是图像存储器、作为页面存储器而存储图像数据。存储器18是通用的存储器，存储程序及中间数据等。CD-ROM等存储介质19存储实施例的图像处理程序，并从未图示的盘驱动器或LAN接口12等，使图像处理程序存储到存储器18中。扫描仪20从原稿用纸以单色的灰度或全彩色来读取图像，打印机22打印图像，G3传真部24进行图像的G3传真发送和接收。e-mail部26作为e-mail的附件来进行图像的收发，网络服务器部28使复合机2作为文件管理服务器或远程打印机等而动作。用户接口30受理用户的手动输入等，图像处理部32进行各种图像处理。为了对扫描的图像或接收图像或已存储的图像的倾斜角进行检测，与预处理部40和哈夫变换部50并列地设置倾斜角检测部60。而且，通过图像旋转部70使图像向与检测的倾斜角相反朝向旋转相同角度，对倾斜进行修正。

图2表示预处理部40的结构。从图像存储器16向缩小处理部41输入图像数据，将图像的析像度缩小为1/n(n是2以上的自然数，优选4～8、特别优选4～6)。由此，图像数据的量减少到1/n²，缩小例如对每个n×n像素的块求出像素值的平均值即可。此外，也可以更简单地，在缩小处理部41中，直接输出n×n像素的块内的代表点、例如块左上顶点的1个像素的数据。因此，哈夫变换成为n²倍高速。在相同的图像数据中，即使数据的内容和析像度一定，当缩小处理部41中的缩小率不同时，有时倾斜角的检测结果也会不同。因此，当与扫描时的析像度无关、在缩小处理部41中使析像度都降低到一定的析像度时，能够消除析像度的差异导致的倾斜角的检测值之差。

除了通过复合机2扫描的图像以外，在如传真机的接收数据等那样、扫描时的析像度为已知的情况下，也同样将图像缩小为一定的析像度。根据通信协议或图像文件的标题等来判明扫描时的析像度的情况较多。另外，在如jpeg图像那样、标题中未记载析像度的情况下，以1/4或1/8等一定的缩小率来缩小图像。

平滑部42通过平滑化滤波器等从缩小图像中除去噪声，不通过哈夫变换将图像中的随机数据提取为直线。接着，边缘提取部43通过拉普拉斯滤波器或索伯尔滤波器等边缘提取用滤波器，从完成平滑的图像中提取边缘。由此消除底色的影响，此外即使是空白文字等，也能够提取与文字的轮廓相对应的边缘。

二值化部44对提取的边缘进行二值化。二值化的阈值可以为一定，或者也可以根据提取的边缘中的亮度或色彩值的分布等来决定。并且，不需要对全部边缘进行二值化，例如在能够判别图像中的文字部分、照片部分及图形部分的情况下，优选仅对文字部分进行二值化。

在实施例中，处理的图像数据为单色的灰度图像，但也可以为RGB图像等。在该情况下，也可以将RGB数据变换为亮度图像而检测倾斜角，或者也可以对R、G、B的每个成分检测倾斜角，并使用其平均值等。

孤立点除去部45从二值化图像中除去孤立点，也可以对二值化前的边缘图像除去孤立点。通过孤立点的除去，数据量减少，且检测出伪倾斜角的概率减少。另外，孤立点是照片图像中特别多、与图像本来的倾斜无关的数据。

退化处理部46对除去了孤立点之后的二值化图像进行退化处理。但是，也可以省略孤立点的除去。在此，所谓退化处理是指，在上下、左右、倾斜等方向上连续排列有有效像素、即有效像素在纵/横/倾斜等方向上连结的情况下，从连结部分的端部开始删除有效像素的处理。在退化处理中，在效像素被连结而构成线段的情况下，从线段的端部开始删除有效像素，将线段简化为由1个像素或2个像素等构成的点。另外，所谓有效像素是指在二值化图像中具有数据的像素，是白还是黑不成为问题。通过退化处理，线段例如被简化到2个像素。在为圆、方形以及十字等时，只要有效像素相互连结，则例如被简化到2个像素或4个像素等。其结果，图像中的图形部分及照片部分的斜线实质性地消灭，能够防止这些斜线影响倾斜角的检测。另外，在退化处理中，文字的有效像素数也变小，但是文字行所形成的直线不消失。此外，通过退化处理，减少成为哈夫变换对象的像素的数量，而使处理高速化。另外，在将格线及下划线用于倾斜角检测的情况下，也可以不设置退化处理部46。例如，对于伴随格线的图像，有时想将格线的方向用于倾斜的检测。在该情况下，不需要退化处理。

图3表示用于退化处理的滤波器34～38，处理对象的图像是已二值化的图像，6边形的像素是是否从有效像素向无效像素(不是有效的像素)进行置换的对象像素。在○的像素为有效像素、且△的像素的某个为有效像素的情况下，将对象像素置换为无效像素。而且，在退化处理中，当沿着主扫描方向进行1行的处理时，接着在副扫描方向上移动1个像素，而对下一行进行处理。此外，在退化处理中，例如通过5个滤波器34～38并列地进行处理，与某个滤波器的图案相对应的对象像素，置换为无效像素。其中，处理的顺序及朝向是任意的。

滤波器34～38，从纵/横/倾斜连结的3个有效像素中，将端部的1个像素作为无效像素。用于退化处理的滤波器，一般从纵、横或倾斜等方向上连结的多个有效像素中，至少将端部的1个像素作为无效像素。在退化处理中，也可以从所连结的2个有效像素中将1个像素作为无效像素，或者从不限于纵横倾斜而在任意方向上连结的4个以上的有效像素中，将端部的1个像素或多个像素作为无效像素。

虽然对已二值化的图像容易实施退化处理，但例如对平滑后或边缘提取后等的二值化前的图像，也能够实施退化处理。例如，可以考虑将亮度p作为二值化的阈值，将亮度为p以下的像素作为有效像素。在滤波器34～38中，如果对象像素位置的像素为亮度p以下，则作为对象像素，如果图的○及△位置的像素为亮度p以下，则作为有效像素即可。于是，能够将退化和二值化综合地处理。退化处理在减少像素数这一点上具有与边缘提取类似的作用，也可以对平滑后的图像实施。在该情况下，能够省略边缘提取。此外，退化处理也可以对缩小后、平滑前的图像实施。在极端的情况下，也可以对缩小前的图像实施退化处理，进行二值化而进行哈夫变换。在该情况下，省略缩小、平滑、边缘提取、孤立点的除去。

通过退化处理，能够对根据图像中的直线求出的倾斜角A和根据文字行求出的倾斜角B进行比较。在此，在角度A、B几乎一致的情况下，角度A表示图像中存在的与文字行平行或垂直的格线的朝向、下划线的朝向或者文字行的朝向。另一方面，角度B仅表示图像中存在的文字行的朝向。而且，在角度A和角度B几乎一致的情况下，例如，如果角度A表示表或下划线的朝向，则角度A比角度B有意义。对角度A、B进行比较、并决定倾斜角的算法在图4中表示。

在步骤1中，对图像进行二值化，在步骤2中进行哈夫变换，在步骤3中提取图像中的多个线段(例如提取8根或16根)作为线段组A，在步骤4中决定图像的倾斜角A。另一方面，在步骤5中对二值化了的图像进行了退化处理之后，在步骤6中进行哈夫变换，在步骤7中提取图像中的多个线段(例如提取8根或16根)作为线段组B，在步骤8中决定图像的倾斜角B。在步骤9中，判断角度A、B是否几乎相等，例如差是否为±1°以内、更大是否为±3°以内，在角度A、B几乎相等的情况下，将角度A作为图像的倾斜角(步骤10)。在角度A、B不几乎相等的情况下，在步骤11、12中，判断在未实施退化处理的图像和实施了的图像中，是否存在规定根数以上、例如3根以上的近似的线段。所谓近似的线段，例如是θ之差为1°以内、ρ之差为规定值以内、例如为10个像素以内的线段。

在存在规定根数以上的近似的线段的情况下，根据未实施退化处理一侧图像中的近似的线段的角度，来决定倾斜角(步骤13)。在步骤13中，优选使用从未实施退化处理一侧提取的线段，并将对各线段的投票数附加到权重等中，而决定角度。在虽然存在近似的线段、但不足规定根数的情况下，根据未实施退化处理一侧的近似的线段的角度以及实施了退化处理一侧的其他线段，来决定倾斜角(步骤14)。但是，实施了退化处理一侧的线段中，在未实施退化处理一侧存在近似的线段的近似的线段，为了避免重复使用类似的数据，而优选不使用。此外，在步骤14中，例如将根据是否为未实施退化处理一侧的线段来决定的参数、与每个线段的投票数之积，作为各线段的权重，并作为参数对未实施退化处理一侧的线段例如附加2倍～4倍等的权重。在不存在近似的线段的情况下，在未实施退化处理一侧提取图形部分或照片中的斜线，而输出角度B(步骤15)。另外，图8表示角度A、B自身的决定算法，当在步骤13、14中用于决定角度的线段确定时，再次执行图8的算法。在此，图4中的线段与图8中的(ρ，θ)空间中的点相对应。

在实施例中，通过按照图8的算法、根据多个线段来决定倾斜角，由此增加可靠性，但也可以根据1根线段来决定倾斜角。在该情况下，如果步骤11为“是”，则根据角度A侧(未实施退化处理一侧)的例如1根线段来决定倾斜角，不需要步骤12、14。

能够不求出角度A、B，而在图4的步骤3和步骤7之后执行步骤11。在该情况下，在图4中省略步骤4、8、9、10、15，在步骤11中不存在与A、B近似的线段的情况下，第一次执行步骤8并输出角度B。

图5表示预处理部40的控制算法。在步骤21中，通过扫描仪20读取图像，在步骤22中将图像向一定的析像度缩小，由此使哈夫变换的处理速度提高n²倍。在步骤23中，通过平滑来减少噪声，在步骤24中提取边缘而除去底色的影响等，并且还能够检测到空白文字等。然后，在步骤25中进行二值化，在步骤26中除去孤立点。由此，能够减小照片图像中等的孤立点对倾斜角的检测的影响。另外，也可以在二值化之前进行孤立点的除去。然后，在步骤27中，通过退化处理对数据进行简化，尤其将照片部分及图形部分的直线例如简化为2个像素。步骤27也可以在步骤22～步骤26中任一个步骤之前执行。

步骤22～步骤27的预处理与图像的扫描同步进行，此外哈夫变换部50中的哈夫变换、倾斜角检测部60中的倾斜角的检测、图像旋转部70中的倾斜角的修正，也能够与扫描同步进行。在此，所谓同步意味着这些处理速度为扫描仪20的读取速度以上，于是，能够与图像的扫描同时、实时地修正图像的倾斜。

图6表示哈夫变换部50～图像旋转部70的结构，哈夫变换部50例如具备16个～32个执行单元51，而并列地执行哈夫变换。此外，对退化处理后的图像和处理前的图像双方实施哈夫变换。执行单元51由ρ值计算部52和对于sin及cos的表53构成。在32个表53中，为了能够覆盖0°～180°，而1个表53进行存储的角度范围例如为5.625°(180/32)，角度的刻度例如为0.176°(180°/1024)等。ρ值计算部52从表53读取sinθ及cosθ的值，对于从退化处理部46及孤立点除去部45输出的有效像素的位置(x，y)，将ρ值计算为ρ＝xcosθ+ysinθ。投票表54为θ和ρ的2维表，管理部55对多个执行单元51进行管理。

图7表示ρ值计算部52和投票表54的关系。表54的各点表示ρ和θ的组合，其表示线段。假设ρ和θ分别被分割为1024个等级，则当输入x、y的值时，对每个θ计算ρ的值，并将表的相应的位置的数据加1。另外，θ将180°的范围例如分解为256～4096个等级、优选为1024～2048个等级，并能够以0.05°～0.3°、优选0.1°～0.2°左右的精度检测倾斜角。此外，ρ的分辨率也可以比θ的分辨率低。执行单元51例如具有32个单元，各ρ值计算部52负责32个等级(1024/32)量的θ。结果，例如在从左起第三栏中由○表示的那样，被投票(ρ，θ)值。此外，57为屏蔽，对从表54已作为有效线(提取的直线)提取的点的周围进行屏蔽，从屏蔽57的外部提取下一个有效线。

返回图6，有效线提取部61从投票表54中例如提取上位m位的点。投票表54中投票数较多的点是图像中的有效线的可能性较高。然后，对已提取的点的周围实施屏蔽57，以不从屏蔽57内提取其他点。候补角提取部62从提取的有效线中提取倾斜角候補(k个、例如为m/2个以上)，决定部63根据这些候补角来决定倾斜角θd。将决定的倾斜角θd输入坐标计算部71，对图像存储器16的存储图像的各像素计算倾斜修正后的坐标(地址)。地址生成部72根据倾斜修正前的坐标，生成向图像存储器16的读取地址。bicubic处理部73对读取的数据进行插补，根据倾斜修正后的坐标，将插补后的数据回写到图像存储器16。通过这些处理，图像存储器16的图像以修正倾斜的方式进行旋转。另外，旋转也可以使用简单的仿射变换等。

图8表示倾斜角检测部60中的算法，从投票表中提取由上位m位、例如16位或8位的(ρ，θ)构成的点(步骤31)。然后，对已提取的点的附近、例如由1边为5～40个等级的正方形构成的附近进行屏蔽(步骤32)，以不从相同的附近内提取2个点以上。另外，仅提取具有最大投票数1/2以上的投票数的(ρ，θ)。因此，在第m位的点的投票数小于最大投票数1/2的情况下，作为错误，不进行倾斜角的检测，图像旋转部70不使图像旋转(步骤33)。步骤32、33是用于执行步骤31的辅助性处理。如此，提取不落入其他点附近、且最大投票数1/2以上的m个点。1/2以上为一个例子，例如也可以是2/3以上或0.4以上等。步骤31～33对应于有效线提取部61的处理。接着，将用于求出倾斜角候補的角度设为θx，将其正交角设为

在此，为正或0且

或

设δ为允许范围，例如δ为1°或0.5°等，以落入θx±δ及

范围的点(ρ，θ)的个数成为最大的方式决定θx。然后，输出落入θx±δ及

范围的点(步骤34)。换言之，对于m个点，将角度θ成分在±δ范围内一致的点的数量成为最大的角度设为θx。另外，也可以代替简单地将θ成分在±δ范围内一致的点的数量作为问题，而使对于落入θx±δ及

范围的点的投票数之和成为最大。并且，在这些点的数量k小于阈值的情况下，例如在小于m/2或小于m/3的情况下，在步骤35中作为错误。在错误的情况下，不进行倾斜角的检测，图像旋转部70不使图像旋转。步骤34、35对应于候补角度提取部62的处理。

步骤36对应于决定部63的处理，对于在步骤34中求出的k个点(ρ，θ)，例如将θ的简单平均值作为倾斜角θd输出。或者，使用k个点中的θ的加权平均，权重也可以使用投票数vi。也可以代替这种方式，而将k个θ候補θ1～θk中、投票数vi最大的θ作为倾斜角θd。在步骤36中输出θd，在θd超过π/2的情况下，输出θd-π/2、即

图9～图22表示实施例的动作。图9的上部表示原稿图像，将图像中的文字列视为直线，检测其倾斜。因此，实施例的目的在于，将图9上部的图像变换为图9下部的图像，并对其进行哈夫变换。

图10表示对输入图像(图像存储器16的图像)不进行缩小、平滑以及边缘提取，而直接进行了二值化的例子，如用圆进行标记的那样，文字以外的照片部分等的黑像素(此时的有效像素)变多，哈夫变换的负担增大，并且照片中的斜线等的影响变强，检测精度降低。因此，以灰度来处理输入图像，并在实施了缩小、平滑、边缘提取等的图像处理之后，进行二值化。为了高速地进行哈夫变换，将输入图像缩小到1/n，由此使以后的计算时间减少到1/n²(图11)。

接着，通过平滑来除去噪声(图12)，并对边缘进行提取，由此得到图13的图像。通过边缘的提取，底色的影响消失，而且还能够对应于空白文字，并且使数据简化，使哈夫变换容易。

图14表示边缘的提取滤波器80。通过从左上侧开始对被处理图像81应用滤波器80，由此提取被处理图像81的下侧和右侧的边缘82。由此，与对被处理图像81的边缘整体进行检测的情况相比，能够使边缘的量成为1/2。如上所示，优选在上下左右4种边缘中，以下和右、下和左、上和右、上和左的方式提取2种边缘。通过对边缘提取后的图像进行二值化，由此得到图15的图像。通过从图15的图像中除去孤立点，由此得到图16的图像。另外，也可以对图13的边缘的图像进行孤立点的除去。

如图15、图16所示，当剩余有图形部分的线或照片部分的线时，会成为倾斜角的误检测的原因。因此，当进行退化处理时，得到图17的图像，照片及图形中的线被变换为孤立点，由文字列构成的行被保存。因此，通过对退化处理后的图像进行哈夫变换，能够仅检测出由文字行构成的直线。但是，在如图4的步骤10那样、存在朝向与文字行一致的表或下划线的情况下，优选利用表或下划线来检测倾斜角。因此，实际上，优选对退化处理后的图像和退化处理前的图像双方进行哈夫变换。

当通过哈夫变换在投票表中存储数据，并从投票表中仅简单地提取投票数最大的点时，有时进行错误的检测。图18表示这种例子，在图18中仅显示图像的一部分，所以难以得知“最大投票直线”是从哪里提取的，但其是从图像中的照片部分等中提取的。即使不是图18那样的极端例子，也有可能对图15、图16下部的图形部分中的实线或照片部分中的斜线，进行最大的投票。而且，图15下部的图形部分的横线虽然与图像的倾斜平行，但这是偶然的。如此，为了不提取与图像本来的倾斜不对应的直线，而对投票数为上位的多个点进行提取。在此，在简单地对到上位m位为止的点进行提取的情况下，投票表内的附近的点被提取多个的情况较多。因此，从投票表54中提取最上位的点，对提取的点的附近进行屏蔽，提取次位投票数的点，再次提取其附近的点，如此提取上位m位的点。在此，在提取的上位m位中、最下位的点不具有最上位的点的例如1/2以上的投票数的情况下，将检测设为错误。在对由文字构成的行进行提取的情况下，最大投票数的点和从上起的m位的点之间，投票数不应该存在太大差。尽管如此但还存在较大差时，最上位的点是图形中的直线部分等的可能性较高。或者，也可以从上位m位(例如16位)中，对相对于最上位的点具有规定比例以上(例如1/2以上)的投票数的点进行提取，在提取的点的数量为规定值k(例如4)以下的情况下，设为错误而不检测倾斜角。

图20示意地表示投票表的状况，在此由亮度表示投票数。而且，将已选择的点的附近，用黑四边形的屏蔽覆盖。在图20中，已提取上位8个点。

对于所提取的上位m位的点，决定倾斜角。图21、图22示意地表示该过程，在此m例如为8。在检测文字行的情况下，也能够同时检测出文字块的上下的列，所以对倾斜角θd和其正交角

有意义。此外，将提取候補时的允许误差设为δ(0.5°或1°左右)，并以落入角θx±δ和范围内的点的数量k成为最大的方式决定θx。在此，在对于哪个角度、k的值都小于阈值(例如m/2)的情况下，例如设为错误。在得到包含阈值以上的点的角θx的情况下，根据所包含的点的角度的简单加法平均或加权平均等，来决定候补角度。这是图8的步骤36的处理。

如以上那样，例如以±0.1°左右的精度来决定倾斜角θd，接着通过图像旋转部70使图像旋转而修正倾斜。图像的旋转自身是简单的处理，例如能够与扫描同步地执行。

图23表示一致性的评价函数101、102。横轴表示与提取用的角度θx的偏差，纵轴表示评价函数101、102的权重。此外，105～110是用角度表示的提取的数据，数据105～110的高度是投票数。在实施例中，使用了取0/1的权重的评价函数101，但也可以是评价函数102那样、随着与θx的偏差而减小权重的函数。此外，对于评价函数101、102中的任何一个，也可以如(数据105～110的权重×各数据的投票数)的评价函数内所包含的投票数之和那样，反映投票数而评价一致性。

在图8的处理中，将通过了评价函数101的、权重为1的数据105～109作为对象，根据角度θ的简单平均或加权平均，决定了倾斜角θd。但是，在加权平均中，也可以代替直接使用投票数，而使用投票数的平方根或二次方等，也可以是以投票数越大权重越大的方式反映了投票数的加权平均。

在实施例中，首先决定θx并提取数据105～109等，接着使用数据105～109来决定角度θd。因此，能够使数据105～109充分反映到角度θd的决定中。但是，也可以更简单地直接将角度θx作为倾斜角θd。但是，当将角度θx直接作为倾斜角θd时，由于以包含处于端部的数据109的方式决定角度θx，所以存在倾斜角容易受到处于端部的数据109的影响的倾向。因此，优选如实施例那样，成为角度θx的决定和倾斜角θd的决定的2个阶段。

在实施例中，表示了在复合机2内部进行倾斜角的旋转和修正的例子，但是也可以在个人计算机6等中进行。在该情况下，在通过个人计算机等信息处理装置执行实施例的图像处理程序的情况下，信息处理装置成为本发明的图像处理装置。

在对书的双联页的倾斜进行检测的情况下，例如在于扫描前输入原稿种类为双联页的情况下，能够检测左右各自的倾斜角。或者，也可以将输入图像分割为左右而求出倾斜角，当左右的倾斜角不同时，推测为是双联页的图像。

在实施例中能够得到以下的效果。

1)当根据哈夫变换中的投票数最大的点求出图像的倾斜时，有时会检测出与行的朝向大幅度不同的朝向的倾斜角。但是，当以与投票数上位的规定个数的点的角度θ之间的一致性成为最大的方式、决定提取用的角度θx，并根据角度θx来决定倾斜角时，能够进行具有可靠性的检测。

2)当根据对于规定个数的点中、角度θ包含于离提取用的角度θx为允许范围内的点的角度θ的平均，来决定图像的倾斜角时，能够进行更加具有可靠性的检测。

3)当根据反映了与对角度θ的投票数相对应的权重的平均、来决定图像的倾斜角时，能够在适当重视投票数较多的点的同时决定倾斜角。

4)当在离提取用的角度θx为允许范围的角度内仅包含很少数量的点的情况下，停止倾斜角的检测时，能够避免可靠性较低的检测。

5)在包含与最上位投票数的点的投票数比例小于允许值的点的情况下，检测出图像中的图形部分或照片部分所包含的较长直线的可能性较高，所以通过停止倾斜角的检测，能够避免可靠性较低的检测。

6)通过对已提取的点的投票表中的附近进行屏蔽，由此能够从处理对象的图像的较大范围内提取直线，所以能够提取由文字行构成的直线、格线、下划线等的机会增加。

7)通过退化处理，虽然图像中的线段被变换为简单的点，但文字行被保存，所以能够不受斜线等的影响，而根据图像中的文字行来决定倾斜角。此外，通过退化处理，图像中的有效像素数被削减，所以能够更高速地执行哈夫变换。

8)当实施退化处理时，能够得到基于文字行的第一倾斜角，当不实施退化处理时，能够得到主要基于表、下划线、斜线等的第二倾斜角。在第一倾斜角和第二倾斜角近似的情况下，当使用基于表、下划线、斜线等的第二倾斜角时，能够高精度地决定倾斜角。

9)在第一倾斜角和第二倾斜角显著不同的情况下，当使用基于文字行的第一倾斜角时，能够不受斜线的影响地决定倾斜角。

10)在第一倾斜角和第二倾斜角的一致性为中间的情况下，从对实施了退化处理的图像进行了哈夫变换之后的图像中，取出多个线段作为第一组，从对未实施退化处理的图像进行了哈夫变换之后的图像中，取出多个线段作为第二组。从第二组中提取朝向之差为规定范围内的线段存在于第一组的线段，而决定倾斜角。于是，即使在一致性为中间的情况下，也能够决定倾斜角。

11)当将图像二值化为有效像素和无效像素，并且通过滤波器从端部开始将二值化了的图像中的相互连结的有效像素置换为无效像素时，能够简单地实施退化处理。

符号说明：

2复合机；4LAN；6个人计算机；8路由器；10国际互联网；

12LAN接口；14总线；16图像存储器；18存储器；19存储介质；

20扫描仪；22打印机；24G3传真部；26e-mail部；

28网络服务器部；30用户接口；32图像处理部；34～38滤波器；

40预处理部；41缩小处理部；42平滑部；43边缘提取部；

44二值化部；45孤立点除去部；46退化处理部；50哈夫变换部；

51执行单元；52ρ值计算部；53表；54投票表；55管理部；

56数据；57屏蔽；60倾斜角检测部；61有效线提取部；

62候补角提取部；63决定部；70图像旋转部；71坐标计算部；

72地址生成部；73bicubic处理部；80滤波器；81被处理图像；

82边缘；101、102评价函数；105～110数据。

Claims (17)

1.一种图像处理装置，是用于决定图像的倾斜角的装置，其特征在于，设置了：

哈夫变换部，通过将图像中的点的坐标变换为距离ρ和角度θ，而对以距离ρ和角度θ为标题的投票表进行投票，由此提取图像中的直线；

提取部，从上述投票表中提取投票数为上位的规定个数的点；以及

倾斜角决定部，以与上述规定个数的点的角度θ之间的一致性成为最大的方式决定提取用的角度θx，基于所决定的提取用的角度θx求出图像的倾斜角。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述倾斜角决定部构成为，根据对于上述规定个数的点中、角度θ包含于离上述提取用的角度θx为允许范围内的点的、角度θ的平均，决定图像的倾斜角。

3.根据权利要求1所述的图像处理装置，其特征在于，

上述倾斜角决定部构成为，根据对于上述规定个数的点中、角度θ包含于离上述提取用的角度θx为允许范围内的点的、角度θ的反映了对应于投票数的权重的平均，决定图像的倾斜角。

4.根据权利要求1所述的图像处理装置，其特征在于，

上述倾斜角决定部构成为，在上述规定个数的点中、角度θ包含于离上述提取用的角度θx为允许范围内的点的数量与上述规定个数之间的比例小于规定值的情况下，不检测图像的倾斜角。

5.根据权利要求1所述的图像处理装置，其特征在于，

上述倾斜角决定部构成为，在上述规定个数的点包含与最上位投票数的点之间的投票数比例小于允许值的点的情况下，不检测图像的倾斜角。

6.根据权利要求1所述的图像处理装置，其特征在于，

上述提取部构成为，在提取上述规定个数的点时，对已提取的点的投票表中的附近进行屏蔽，以不从投票表中提取屏蔽了的范围内的其他点。

7.根据权利要求1所述的图像处理装置，其特征在于，

还设置将图像中的线段简化为点的退化处理部，

通过上述哈夫变换部对已由退化处理部处理了的图像进行处理。

8.根据权利要求7所述的图像处理装置，其特征在于，

将上述哈夫变换部、上述提取部和上述倾斜角决定部构成为，对实施了退化处理的图像实施哈夫变换而决定第一倾斜角，且对未实施退化处理的图像实施哈夫变换而决定第二倾斜角，并且，

还设置对第一倾斜角和第二倾斜角进行比较的比较部，

上述倾斜角检测部构成为，在第一倾斜角和第二倾斜角之差在规定范围内的情况下，将第二倾斜角作为图像的倾斜角，在上述差为规定范围外的情况下，将第一倾斜角作为图像的倾斜角。

9.根据权利要求8所述的图像处理装置，其特征在于，

上述倾斜角检测部构成为，

在上述差为上述规定范围外的情况下，

在通过哈夫变换从实施了退化处理的输入图像中提取的第一线段组与通过哈夫变换从未实施退化处理的输入图像中提取的第二线段组之间，没有倾斜相近似的线段的情况下，将上述第一倾斜角作为输入图像的倾斜角，

在上述第一线段组与第二线段组之间存在倾斜相近似的线段的情况下，至少基于第二线段组的线段中、倾斜相近似的线段存在于第一线段组中的线段的倾斜，来决定输入图像的倾斜角。

10.根据权利要求7所述的图像处理装置，其特征在于，

上述提取部从实施了退化处理的输入图像中提取第一线段组，并且从未实施退化处理的输入图像中提取第二线段组，

上述倾斜角检测部，至少基于第二线段组的线段中、倾斜相近似的线段存在于第一线段组中的线段的倾斜，来决定输入图像的倾斜角。

11.根据权利要求10所述的图像处理装置，其特征在于，

上述倾斜角检测部，在第二线段组的线段中、倾斜相近似的线段存在于第一线段组中的线段存在规定根数以上的情况下，基于该规定根数以上的线段的倾斜来决定输入图像的倾斜角，在第二线段组的线段中、倾斜相近似的线段存在于第一线段组中的线段小于规定根数的情况下，基于将小于上述规定根数的线段与第一线段组的线段相加后的线段组的倾斜，来决定输入图像的倾斜角。

12.根据权利要求7所述的图像处理装置，其特征在于，

还设置将输入图像二值化为有效像素和无效像素的二值化部，并且，

在上述退化处理部设置滤波器，该滤波器用于将二值化后的输入图像中的相互连结的有效像素从端部开始置换为无效像素。

13.一种图像处理方法，是决定图像的倾斜角的方法，其特征在于，

使信息处理装置执行：

哈夫变换步骤，通过将图像中的点的坐标变换为距离ρ和角度θ，而对以距离ρ和角度θ为标题的投票表进行投票，由此提取图像中的直线；

提取步骤，从上述投票表中提取投票数为上位的规定个数的点；以及

倾斜角决定步骤，以与上述规定个数的点的角度θ之间的一致性成为最大的方式决定提取用的角度θx，基于所决定的提取用的角度θx求出图像的倾斜角。

14.根据权利要求13所述的图像处理方法，其特征在于，

还设置对图像实施将线段简化为点的退化处理的步骤，对退化处理后的图像进行哈夫变换。

15.一种图像处理程序，其特征在于，

被信息处理装置读取而使该信息处理装置执行：

将图像中的点的坐标变换为距离ρ和角度θ，而对以距离ρ和角度θ为标题的投票表进行投票的功能；

从上述投票表中提取投票数为上位的规定个数的点的功能；以及

以与上述规定个数的点的角度θ之间的一致性成为最大的方式决定提取用的角度θx，基于所决定的提取用的角度θx求出图像的倾斜角的功能。

16.根据权利要求15所述的图像处理程序，其特征在于，

还使上述信息处理装置执行用于对图像实施将线段简化为点的退化处理的功能，

对退化处理后的图像进行哈夫变换。

17.一种存储介质，其特征在于，

存储了权利要求15所述的图像处理程序。

Images