CN101246549A - 用于识别图像信息中的边界线的方法和装置 - Google Patents

Abstract

本发明涉及用于识别图像信息中的边界线的方法和装置。根据本实施方式的一个方面，提供一种检测包含在图像信息中的边界线信息的方法，所述图像信息包括在第一状态和第二状态中的任一状态下的多个像素，所述方法包括以下步骤：检测连续布置在所述图像信息中的第一状态下的第一组像素以判定第一线信息，并检测彼此相邻布置并由第二状态下的像素包围的第一状态下的第二组像素以基于该第二组像素的轮廓来判定边缘信息；以及基于所述线信息和所述边缘信息的相对位置与第一和第二组像素的尺寸之间的关系的信息，来判定边界线信息。

Description

用于识别图像信息中的边界线的方法和装置

技术领域

本发明涉及一种用于提取文档图像所包含的表格中的格线(ruledline)的表格识别方法。

背景技术

诸如OCR(光学字符读取器或光学字符识别)技术的文档图像识别技术可用于对已经在纸文档上操作的作业进行数字化并且将以纸张形式发布的文档转换成电子文档。因为文档可能包含表格，所以用于表格识别的技术非常重要。表格一般由垂直和水平格线的组合来表示。表格识别是通过从文档图像提取表格格线的布局信息并基于提取的格线布局信息分析表格结构来执行的。因而，为准确识别表格，需要用于提取格线的技术。

提取表格格线的方法的一个示例是从文档图像中的连续像素中检测格线的方法。从连续像素中检测格线的方法在实线的检测中具有高准确度，但是不能检测除实线以外的其它线段。另一种方法是通过使用提取图像中的边缘的技术来检测格线。当使用提取边缘的技术来检测格线时，从实线产生两个候选格线，因此需要在后续处理中将所述两个候选格线集成到一起。与从连续像素检测格线的方法相比，该方法具有较低准确度。当通过这两种方法检测格线且随后将由此获得的结果集成在一起时，同样需要后续处理。如上所述，仅结合从连续像素检测格线的方法和使用边缘提取技术检测格线的方法，难以从多种类型的格线并存的图像中提取格线。

从连续像素检测格线的方法不能检测到纹理形成的边界格线。另一方面，当通过使用边缘提取技术的格线检测方法来检测由纹理形成的边界格线时，增加了对非格线(例如图像中的字符)的误提取量。

在日本特开平第10-40333号公报和日本特开平第01-217583号公报中公开了相关技术。

发明内容

根据本发明的一个方面，提供一种检测包含在图像信息中的边界线信息的方法，所述图像信息包括处于第一状态和第二状态中的任意一个状态下的多个像素，所述方法包括以下步骤：检测连续布置在所述图像信息中的第一状态下的第一组像素以判定第一线信息，并检测彼此相邻布置并被第二状态下的像素环绕的第一状态下的第二组像素，以基于该第二组像素的轮廓来判定边缘信息；以及基于所述线信息和所述边缘信息的相对位置与第一组像素和第二组像素的尺寸的关系的信息，来判定边界线信息。

附图说明

图1是示出根据本发明的实施方式的原理的框图；

图2是本实施方式中的表格识别装置的硬件的框图；

图3是本实施方式中输入的文档图像数据的表格；

图4是根据本实施方式从图3的表格输出的表格；

图5是示出了延伸长度处理(run-length processing)的原理的示图；

图6是延伸线段检测模块执行的处理的流程图；

图7是示出其中删除了候选延伸线段的状态的示图；

图8是示出其中对黑像素进行了分组的状态的示图；

图9是设置边界区域的候选格线的示例；

图10是例示了边缘提取的示图；

图11是例示了纹理区域94的边界的示图，所述边界在边缘提取中被检测出；

图12是使用Canny方法的边缘线段提取模块执行的处理的流程图；

图13是例示了图12的流程图中的步骤中的处理的状态的示图；

图14是高斯滤波器的系数的示例；

图15示出了用于检测水平方向边缘的Sobel滤波器；

图16示出了用于检测垂直方向边缘的Sobel滤波器；

图17是例示了其中通过滞后(hysteresis)处理来识别边缘中包括的像素的情况的示图；

图18是通过候选格线提取模块执行的处理的流程图；

图19例示了从候选格线的位置判定的格线信息位置与格线信息的类型之间的关系；

图20是格线信息产生模块执行的处理的流程图；

图21是例示了候选格线的集成的第一示图；

图22是例示了候选格线的集成的第二示图；

图23是例示了候选格线的集成的第三示图；

图24是例示了纹理边界的判定的示图；

图25是示出了表格和表格中的字段中的字符串的尺寸之间的关系的示图；

图26是删除模块执行的处理的流程图；

图27示出了设置格线判定区域的示例；

图28是例示了其中文档图像数据中的确认格线部分地彼此平行的状态的示图；

图29是删除模块指定格线判定区域的处理的流程图；以及

图30是例示了删除模块删除不合适的格线的情况的示图。

具体实施方式

下面将描述本发明的实施方式。

图1是示出了本发明的实施方式的原理的框图。响应于文档图像数据，表格识别装置10对文档图像数据执行下列处理并输出表格格线(边界线)信息。图像输入模块21获得输入文档图像数据。延伸线段检测模块22执行延伸长度处理以检测文档图像数据中的候选格线。边缘线段检测模块23执行边缘检测处理以检测文档图像数据中的候选格线。

候选格线提取模块24叠加由延伸线段检测模块22检测到的候选格线和通过边缘线段检测模块23获得的候选格线，以根据预定条件判断候选格线的类型。依照候选格线的类型，格线信息产生模块25判定该候选格线是否是格线信息。删除模块26在表格中的项目中删除不合适的格线信息。输出模块27输出最终从文档图像数据检测的表格格线信息。

图2是本实施方式的表格识别装置10的硬件框图。表格识别装置10包括控制单元11、输入单元12、输出单元13、存储单元14以及存储器15。各个单元通过总线16互连。控制单元11用作控制整个表格识别装置10的中央处理装置。控制单元11例如是CPU(中央处理单元)。控制单元11通过使用存储器15中加载的表格识别程序1、数据等来执行图1所示的处理。

输入单元12具有接收需要处理的文档图像数据的功能。输入单元12例如是扫描仪、网络接口、键盘、鼠标、触摸板等。网络接口允许控制单元11通过网络(例如因特网或LAN)而与外部计算机装置之间发送/接收数据。输出单元13具有输出文档图像数据中的表格格线的功能。输出单元13例如是监控器、打印机以及诸如网络接口的显示装置。

存储单元14存储表格识别程序1。存储单元14例如是磁盘装置或ROM(只读存储器)。存储器15是用于临时存储在存储单元14中存储的表格识别程序1、计算结果数据等以允许控制单元11执行表格识别程序1的区域。存储器15例如是RAM(随机存取存储器)。

控制单元11将存储在存储单元14中的表格识别程序1加载到存储器15中。基于表格识别程序1，控制单元11用作图像输入模块21、延伸线段检测模块22、边缘线段检测模块23、候选格线提取模块24、格线信息产生模块25、删除模块25以及输出模块27。

本实施方式中输入的文档图像数据包含表格。表格识别装置10提取表格中的格线。例如，当输入到表格识别装置10的文档图像是账目报表数据时，表格识别装置10识别帐目报表中的表格。

现在将描述图像输入模块21。图像输入模块21实现将文档图像数据读入装置中的功能。例如，为了从纸件文档读取图像，输入模块21获得通过光学扫描仪数字化的文档图像数据。例如，当文档图像数据已经存储在存储单元14等中时，图像输入模块21从中获得所述文档图像数据。

图3是本实施方式中输入的文档图像数据的表格30。表格30具有各种形式的格线。格线由形状、图形或颜色，或者由形状、图形和颜色的组合表达。表格格线包括由区域的边界形成的边界格线31和32，由纹理区域的边界形成的纹理边界格线33和34，以及由实线形成的实线格线35、36、37以及38。

图4示出了从本实施方式的表格30输出的表格40。表格格线41、42、43、44、45、46、47以及48被提取为实线。由实线形成的格线35、36、37和38以及边界格线31和32由填充了相同类型的像素的区域(即，完全着色区域)的边界线形成，因而能够被延伸线段检测模块22和边缘线段提取模块23检测到。另一方面，延伸线段检测模块22不能提取纹理边界格线33和34。因而，需要使用边缘提取技术来从多种格线并存的表格30中提取如表格40中的格线，如图3所示。将使用Canny方法对本实施方式进行说明，Canny方法是边缘提取技术的一个示例。

现在将描述延伸线段检测模块22执行的处理。本实施方式中的延伸线段检测模块22基于文档图像数据中的像素是白色还是黑色来对像素进行数字化。此后，白色的数字化像素被称为“白像素”，而黑色的数字化像素被称为“黑像素”。延伸线段检测一般被称为“延伸长度处理”。在延伸长度处理中，提取其中在垂直方向或者水平方向上连续有预定数目或者更多的黑像素的区域作为延伸线段区域。因而，在延伸长度处理中提取了其中黑像素线性连续的区域。

图5是示出了延伸长度处理的原理的示图。在延伸长度处理中，对图像数据中的像素6进行数字化，并且提取相同类型的像素组，从而获得了相同类型的像素组形成的线段的线宽50、起点51以及终点52。

图6是延伸线段检测模块22执行的处理的流程图。延伸线段检测模块22将通过图像输入模块21获得的文档图像数据转换成二进制图像(步骤S01)。延伸线段检测模块22检测黑像素线性连续的区域作为候选延伸线段(步骤S02)。延伸线段检测模块22针对由像素组成的每一行对连续像素进行分组，以检测水平候选延伸线段。延伸线段检测模块22删除长度小于或等于预定值的线段(步骤S03)。

图7是示出了其中删除候选延伸线段的状态的示图。在图7的上部71示出其中延伸线段检测模块22从步骤S02中的文档图像数据提取候选延伸线段的状态。下部72示出了其中延伸线段检测模块22在步骤S03中从候选延伸线段中删除延伸线段的状态。图7中的圆圈表示像素6。处于黑色的像素6由黑像素601表示，而处于白色的像素由白像素602表示。延伸线段检测模块22删除候选延伸线段61中的具有在水平方向63上连续的三个像素或者更少像素的候选延伸线段。因此，在图7的下部状态图中的中央附近存在的并对应于具有3个像素长度的候选延伸线段的像素组64被删除。下面返回图6进行描述。

接下来，延伸线段检测模块22执行对黑像素的分组(步骤S04)。图8是例示了对黑像素进行分组的状态的示图。延伸线段检测模块22将文档图像数据中的相邻候选延伸线段61分成组，以检测其中候选延伸线段61相耦接的矩形区域62。延伸线段检测模块22将其中候选延伸线段61相耦接的矩形区域62视为候选格线。作为上述处理的结果，提取了实线格线。

接下来，延伸线段检测模块22判定受关注的线段是否是允许从边界格线中检测到候选格线的区域边界(步骤S05)。具体而言，当黑像素的矩形区域的宽度超过了预定阈值时，延伸线段检测模块22判定受关注的矩形线段是区域边界。区域边界的候选格线对应于矩形区域的相对两端处的边界部分。对于区域边界(步骤S05中为是)，延伸线段检测模块22将矩形区域的相对两端视为候选格线(步骤S06)。

图9是设置区域边界的候选格线的示例。图9中的上部示出了分组的黑像素矩形区域。黑像素线段的宽度66由6个像素组成。延伸线段检测模块22根据该黑像素组生成区域边界。假设延伸线段检测模块22具有预定值，例如“4”，作为判定线段是否是区域边界的阈值信息。当用作黑像素线段的宽度的像素数目为4或更大时，延伸线段检测模块22判定该线段是区域边界。在判定线段是区域边界后，延伸线段检测模块22判定矩形区域的上边缘处的白像素和黑像素之间的边界是候选格线67，并判定矩形区域的下边缘处的白像素和黑像素之间的边界是候选格线68，如图9的下部所示。

在上述处理中，延伸线段检测模块22检测水平候选格线。延伸线段检测模块22还检测垂直候选格线。在后一种情况下，延伸线段检测模块22改变垂直格线和水平格线的方向以执行处理。作为上述处理的结果，延伸线段检测模块22提取了实线格线和边界格线的延伸线段的候选格线。

现在描述边缘线段检测模块23执行的处理。图10是例示了边缘提取的示图。

在边缘提取中，提取黑像素形成的直线92的相对两侧处的像素边界91作为线段。换句话说，在边缘提取中，提取由一系列像素形成的直线92的相对两侧的两条线段。

边缘线段检测模块23需要具有提取纹理区域边界的功能。图11是例示了在边缘提取中检测到的纹理区域94的边界的示图。需要从黑像素不连续的纹理区域94检测边界线95。在本实施方式中，使用被称为Canny方法的边缘提取方法。在Canny方法中，纹理区域中的精细图形导致的像素值的变化被视为叠加在整个着色区域上的噪声。首先，通过高斯滤波器对输入图像进行平滑化，并且将得到的精细图形展开到一定程度上均匀的区域上。此后，通过Sobel滤波器等判定像素值的变化值，且将判定值的最大值视为边缘像素。最后，连接在边缘像素附近具有大梯度值的像素并且获得的边缘形成连续的绘线图。

图12是使用Canny方法的边缘线段提取模块23执行的处理的流程图。图13是例示了12的流程图中的步骤中的处理的状态的示图。在本实施方式中，假设图像输入模块21获得的文档图像数据包含最小密度为0且最大密度为255的图像。表格1107示出了状态1101、1102、1103、1105、1106以及1107中的每个像素的颜色。

边缘线段检测模块23对图13中的状态1101中示出的且通过图像输入模块21获得的文档图像数据中的像素进行平滑化(步骤S11)。例如，高斯滤波器被用作对图像进行平滑化的模块，且能够通过输入图像和高斯滤波器的卷积和获得经平滑的图像。图14是高斯滤波器的系数1201的示例。平滑图像I’(i，j)能够通过(等式1)表达的计算获得，其中I(i，j)表示输入图像，F(i，j)表示滤波器系数，且C表示规一化常数。

$I^{\′}(x,y)=C\underset{i=0}{\overset{w*2+1}{\mathrm{\Σ}}}\{I(x-w+i,y-w+j)\×F(i,j)\}$ (等式1)

当滤波器的高度和宽度由W表示时，w通过下面的(等式2)来确定

w＝(W-1)/2    (等式2)

在这种情况下，“W”是5。当“W”是5时，w被确定为“2”。

在这种情况下，将通过叠加图14中所示的滤波元素的系数的所有值而获得的值(C＝159)用作规一化常数C。图13中示出的状态1102代表状态1101经平滑化后的状态。

边缘线段检测模块23判定梯度值(步骤S12)。当相对于两个相对边的相邻像素的数值差异很大时，受关注的像素的梯度值也很大。例如，通过例如Sobel滤波器获得梯度值。图15示出了用于检测水平方向中的边缘的Sobel滤波器1301。图16示出了用于检测垂直方向中的边缘的Sobel滤波器1401。例如，为了水平候选格线的提取，使用用于检测垂直方向中的边缘的Sobel滤波器1401(图16所示)。另一方面，为了垂直候选格线的提取，使用用于检测水平方向中的边缘的Sobel滤波器1301(图15所示)。具体而言，边缘线段检测模块23使用图15或16中示出的系数作为等式(1)中的滤波器系数，并使用“1”作为常数C以执行像素的计算。使用拉普拉斯滤波器来获得边缘的方法也是可行的。图13所示的状态1103代表从状态1102获得的梯度值的状态。当从侧面观看状态1103时，获得状态1104。

边缘线段检测模块23获得梯度值的最大点(步骤S13)。例如，当最大点的梯度值大于预定阈值(例如任意数值，如“1”)时，边缘线段检测模块23确认该最大点是被包括在边缘中的像素。另选的是，边缘线段检测模块23例如通过判定比相邻点具有更大梯度值的点来执行确认。图13中的状态1105代表了其中从状态1103获得梯度值的最大点的状态。

边缘线段检测模块23检测连续边缘(步骤S14)。例如，边缘线段检测模块23通过执行一般称为滞后处理的处理来检测连续边缘。更具体而言，当未确认像素与包括在边缘中的确认像素相邻并且该未确认像素的梯度值大于预定阈值(例如“2”)时，边缘线段检测模块23确认该相邻的未确认像素是包括在边缘中的像素。

图17是例示了其中通过滞后处理确认包括在边缘中的像素的情况。在滞后处理中，状态1701依次转换成状态1702、状态1703以及状态1704。在每个状态下，黑像素1705是被确认为包括在边缘中的像素，且阴影像素1706是未确认像素且具有比预定阈值大的梯度值。边缘线段检测模块23相继确认与黑像素1705相邻的阴影像素1706。在状态1701中，黑像素1705和阴影像素1706在区域1707和区域1708中彼此相邻。当黑像素1705和阴影像素1706彼此相邻时，边缘线段检测模块23将阴影像素1706视为黑像素1705。在状态1702中，黑像素1705和阴影像素1706在区域1709中彼此相邻。边缘线段检测模块23将阴影像素1706视为黑像素1705。在状态1703中，阴影像素1706存在于区域1710和1711中。因为区域1710和1711不与任何黑像素1705相邻，所以边缘线段检测模块23删除区域1710和1711中的阴影像素1706。上述处理一直继续到在包括在边缘中的像素附近不存在梯度值大于或等于预定值的像素为止。当处理结束时，边缘线段检测模块23检测到1704中示出的边缘。图13中示出的状态1106代表其中从状态1105检测到连续边缘的状态。

基本上，在使用Canny方法的边缘检测中，在判定梯度最大点的过程中，检查梯度倾斜方向，且沿着正交于梯度的方向，检查相邻像素的梯度值是否超过预定阈值。

然而，本实施方式意在判定包括在表格中的垂直和水平格线。因而，在提取水平候选格线的处理中，边缘线段检测模块23相继检测垂直相邻像素的梯度的最大值，此后，相继检查水平相邻像素的梯度的最大值。提取垂直格线的处理与提取水平格线的上述处理相反。

边缘线段检测模块23将上述处理中确定的边缘像素视为黑像素，并执行对黑像素的分组(步骤S15)。接着，边缘线段检测模块23判定受关注的线段是否是允许从边界格线中检测候选格线的区域边界(步骤S16)。当线段是区域边界时(步骤S15为是)，边缘线段检测模块23将矩形区域的相对两端视为候选格线(步骤S17)。由于从S15到S17的处理与延伸线段检测模块22执行的处理相同，所以省略其描述。

现在将描述候选格线提取模块24。图18是候选格线提取模块24执行的处理的流程图。

基于由延伸线段检测模块22检测的候选延伸线段格线和由边缘线段检测模块23检测的候选边缘线段格线之间的位置关系，候选格线提取模块24从这些候选格线中提取能够被判定为格线的格线信息。候选格线提取模块24叠加通过延伸线段检测模块22获得的候选延伸线段格线和通过边缘线段检测模块23获得的候选格线，以获得由此获得的候选格线之间的位置关系(步骤S21)。

候选格线提取模块24判定在步骤S21获得的位置关系是否满足预定的位置关系条件(步骤S22)。当该位置关系满足所述位置关系条件(步骤S22中为是)时，候选格线提取模块24将候选格线分成一类格线信息(步骤S23)。

现在将描述位置关系条件。图19例示了从候选格线的位置确定的格线信息位置与格线信息类型之间的关系。

假设原始文档图像数据中的格线为实线格线1901。对于实线格线1901，延伸线段检测模块22检测到候选格线1902。边缘线段检测模块23检测到两个候选格线1903和1904。候选格线1902、1903和1904的叠加提供了其中由边缘线段检测模块23获得的候选格线1903和1904夹着由延伸线段检测模块22获得的候选格线1902的位置关系。当位置关系是边缘线段夹着延伸线段时，即当边缘线段与延伸线段的两个相对边相邻时，候选格线提取模块24将受关注的候选格线识别为实线格线。

接下来，假设原始文档图像数据中的格线是边界格线1905。对于边界格线1905，延伸线段检测模块22检测出候选格线1906。边缘线段检测模块23检测出候选格线1907。候选格线1906和1907的叠加提供了如下位置关系，其中由边缘线段检测模块23获得的候选格线1907和由延伸线段检测模块22获得的候选格线1906彼此相邻。对于一条边缘线段和一条延伸线段彼此相邻的位置关系，候选格线提取模块24将受关注的候选格线识别为边界格线。

接下来，假设原始文档图像数据中的格线是纹理边界格线1908。对于纹理边界格线1908，延伸线段检测模块22未检测到候选格线。另一方面，边缘线段检测模块23检测到候选格线1909。候选格线1909的叠加提供了如下位置关系，其中存在通过边缘线段检测模块23获得的候选格线1909。对于仅存在边缘线段的位置关系，候选格线提取模块24将受关注的候选格线识别为纹理边界格线。

在这种情况下，当由延伸线段检测模块22获得的候选格线的延伸线段长度和由边缘线段检测模块23获得的候选格线的边缘线段长度彼此不同时，候选格线提取模块24例如执行下面的判定。当延伸线段检测模块22和边缘线段检测模块23中的一个检测到的线段的长度大于或等于延伸线段检测模块22和边缘线段检测模块23中的另一个检测出的线段的长度的一半时，执行步骤S22中的位置关系判定。另选的是，当延伸线段检测模块22和边缘线段检测模块23中的一个检测出的线段的长度小于延伸线段检测模块22和边缘线段检测模块23中的另一个检测出的线段的长度的一半时，仅使用较长的线段作为有效线段。

另外，存在位置关系不满足图19所示的条件的情况，例如，两条延伸线段和两条边缘线段彼此相邻的情况。在这种情况下，当相邻线段包括延伸线段时，候选格线提取模块24能够通过识别受关注的线段为实线格线来检测格线，而当所有的延伸线段都是边缘线段时，候选格线提取模块24能够通过识别受关注的线段为从纹理边界获得的候选格线来检测格线。

除了上述的那些线型，也可采用其它各种类型的格线，例如点线和复线。因而，候选格线类型的判定不限于上述处理。例如，当三条候选边缘线段格线和两条候选延伸线段格线在文档图像中交替相邻存在时，候选格线提取模块24能够将格线识别为复线。而且，倾向于从点线提取边缘线段。因而，当单边缘线段被提取，并且候选格线附近区域是平坦区域时，候选格线提取模块24也能够判定该线段倾向于是点线。

下面将描述格线信息产生模块25。图20是格线信息产生模块25执行的处理的流程图。格线信息产生模块25根据候选格线生成格线信息。更具体而言，格线信息产生模块25删除不合适的候选格线，集成候选格线，并且校正候选格线。当输入文档图像本身被损坏时，表格中的格线可能受退色、变色等影响。当原始文档图像中的表格中的格线被不正确地显示时，包括在格线中的直线的提取结果可能不连续或者变形。因而，格线信息产生模块25执行如下处理，如用于提取代表部分或全部包括在格线中的直线的线段并且将提取的线段视为候选格线的处理、去除多余候选格线的处理，以及集成相邻的候选格线的处理，以产生格线信息作为格线提取的最终结果。

格线信息产生模块25依照候选格线提取模块24提取的候选格线的类型设置预定参数(步骤S31)。所述参数被用于根据候选格线产生格线信息。例如，当两条候选格线彼此平行地存在时，所述参数用作判定是否将这两条候选格线视为集成的一条格线的阈值。所述参数的最佳值随候选格线的类型而不同。因而，格线信息产生模块25依照候选格线的类型而具有不同的参数值。

现在将描述格线信息产生模块25的参数的示例。格线信息产生模块25适于基于候选格线长度信息和阈值的关系来判定是否可从格线获得候选格线。在所述参数中，用于将从纹理边界获得的候选格线识别为格线的阈值被设置为用于将从实线格线和边界格线获得的候选格线判定为格线的阈值的两倍。当用于将纹理边界识别为格线的阈值增大时，纹理边界格线需要是比实线格线或边界格线更长的直线，才能被识别为纹理边界格线。

增大阈值的原因在于，与实线格线和边界格线相比，纹理边界格线更倾向于位置不明确且更倾向于产生噪声。增大阈值的另一原因在于，与实线格线和边界格线的情况相比，另一格线较不倾向于在纹理边界的邻近区域中存在。

格线信息产生模块25依照候选格线的类型来改变检测参数，由此能够防止错误格线的提取和格线的断开。格线信息产生模块25判定是否满足预定条件(步骤S32)。当判定满足预定条件时(步骤S32为是)，格线信息产生模块25执行对应于该条件的处理(步骤S33)。下面将描述格线信息产生模块25执行的集成处理、删除处理以及修正处理。

现在给出对格线信息产生模块25将相邻候选格线集成到一起以产生单格线信息的处理的描述。

格线信息产生模块25判定是否将候选格线集成在一起以产生新的候选格线。当部分候选格线变形时，格线信息产生模块25重新计算整个格线信息的格线宽度和长度。不管坐标值的重新计算的结果如何，格线信息产生模块25将诸如格线的坐标和类型之类的属性转换成最佳值。作为最佳值的一个示例，当候选格线中的至少一条是纹理边界格线时，格线信息产生模块25用以判定在候选格线之间的距离较小时将相邻候选格线集成为一个格线的阈值增大。使用这种结构，格线信息产生模块25能够执行调节，从而有利于候选实线格线或候选边界格线的集成。

图21是例示了候选格线的集成的第一示图。当候选格线的部分彼此部分重叠时，候选格线被集成在一起。当两条候选格线231和232之间的距离d234小于阈值Th1时，候选格线231和232被集成在一起且被转换成单格线信息235。

图22是例示了候选格线的集成的第二示图。图22示出了其中候选格线241和242沿着直线排列而非彼此平行的位置关系。当两条候选格线241和242之间的距离d243小于阈值Th2时，候选格线241和242被集成到一起且被转换成单格线信息244。

图23是例示了候选格线的集成的第三示图。图23示出了其中短候选格线251和长候选格线252彼此平行排列的位置关系。在本实施方式中，使用两种类型的阈值Th3和Th4。短候选格线251具有长度L1且长候选格线252具有长度L2。当两条候选格线251和252之间的距离d253小于阈值Th3，并且候选格线252的长度L2与候选格线251的长度L1的比大于阈值Th4时，两条候选格线251和252被集成到一起且被转换成单格线信息254。更具体而言，格线信息产生模块25删除候选格线251。在这种情况下，候选格线251的长度L1和候选格线252的长度L2具有如下关系，其中L2比L1大到使得可将L1视为L2的噪声的程度。

例如，当输入图像具有大约200dpi的分辨率时，执行如下设置：Th1＝8点(约0.1mm)，Th2＝16点(约0.2mm)，Th3＝8点(约0.1mm)，Th4＝5点(约0.06mm)。

另选的是，格线信息产生模块25还能够删除长度比阈值小的候选格线。即使当受关注的候选格线并不与另一候选格线相邻，格线信息产生模块25也删除长度小于预定阈值的候选格线。例如，当阈值被设置为20点时，针对200dpi，格线信息产生模块25删除长度小于约2.54mm的候选格线。因为包括在文档图像数据的表格中的格线的长度典型地具有特定下限，所以利用上述阈值使得能够区分从字符错误提取的候选格线与从格线提取的候选格线。

格线信息产生模块25基于候选格线来改变诸如格线信息的位置和大小的属性。为执行这种改变，格线信息产生模块25具有判定是否根据候选格线的类型(即，实线格线、边界格线或纹理边界格线)来改变属性的功能。例如，对于纹理边界候选格线，格线信息产生模块25检查与纹理边界候选格线接触的区域是否是纹理区域。仅当与纹理边界候选格线接触的区域之一是纹理区域时，或者仅当与纹理边界候选格线相接触的两个相对区域是两个不同类型的纹理区域时，格线信息产生模块25才能够执行设置，从而判定受关注的线段是候选格线。下面将详细描述该处理。

图24是例示了纹理边界的判定的示图。在状态2601中，存在纹理区域2603和白色区域2604。状态2601对应于如下状态，其中候选格线提取模块24检测纹理边界的候选格线2602。

在状态2605中，字符串2607存在于白色区域中。状态2605对应于如下状态，其中边缘线段检测模块23错误地检测字符串2607的下边缘作为纹理边界格线的候选格线2606。检测错误的原因在于水平书写的连续字符串的下边缘在水平轴上对准，因而被边缘线段检测模块23错误地识别为纹理边界。即，原因在于，尽管字符串的包络不是纹理边界，但字符串的包络部分的图像特征与代表纹理边界的图像特征极为相似。

因此，格线信息产生模块25检查被格线夹着的区域是否是纹理区域以判定候选格线是从纹理区域获得的还是从字符串的包络获得的。

通过判定区域是否是纹理区域，当实线位于候选格线的位置处时，不可能仅通过检查候选格线附近的区域来判定没有格线存在。然而，在本实施方式中，因为候选格线提取模块24判定候选格线是实线格线、边界格线以及纹理边界格线中的任意一个，所以执行相邻区域的判定使得能够判断格线的存在/不存在。

一种对候选格线的两个相对边的区域中的黑像素进行分组并且获得黑像素组的尺寸的平均值的方法可用于判定区域是否是纹理区域。纹理区域中的黑像素组的尺寸小于字符串中黑像素组的尺寸。因而，用于字符的黑像素组的尺寸的预测量统计和设置用于分离字符串和纹理的黑像素组尺寸阈值使得能够区分字符串与纹理区域。在图24中，状态2601中的纹理区域2603的黑像素组的尺寸2609的平均值是8点，状态2601中的白色区域2604中的黑像素组的尺寸2610的平均值是0点，状态2605中包括字符串的白色区域中的黑像素组的尺寸2611的平均值是100点，且状态2605中的纹理区域的黑像素组的尺寸2612的平均值是2点。在这种情况下，假设黑像素组的尺寸被预置为“50”作为用于判定区域是否是纹理区域的阈值。

格线信息产生模块25将包含在区域2603和2604中的黑像素组的尺寸与阈值“50”进行比较，所述区域2603和2604夹着状态2601中的纹理边界格线的候选格线2602。尺寸2609和2610具有小于该阈值的值。因而，格线信息产生模块25判定候选格线2602是纹理边界格线。格线信息产生模块25还将包含在字符串包含区域2607和2608中的黑像素组的尺寸与阈值“50”进行比较，所述字符串包含区域2607和2608夹着状态2605中的纹理边界格线的候选格线2606。尺寸2611具有大于该阈值的值。因而，格线信息产生模块25判定候选格线2606是从字符串的下边缘错误检测出的线。

现在将提供对格线信息产生模块25执行的修正处理的描述。当格线的宽度和高度满足预定条件时还能够修正候选格线。这里，术语“修正”表示如下处理，其中例如格线信息产生模块25将变成边界格线的候选格线或者变成纹理边界格线的候选格线的宽度设置为最小值(例如1点)。

现在将描述预定条件的示例。作为一个示例，理论上从区域边界获得的格线没有宽度，但是在实际格线提取处理中给予宽度。因而，可以执行用于对已经被判定为边界格线的候选格线进行修正的处理。作为另一示例，在延伸线段检测模块22执行的黑像素分组处理过程中，存在格线的宽度(例如图8中所示的黑像素矩形区域62的宽度)增大的情况。因而，可以执行用于对宽度增大的格线的宽度进行修正的处理。

如上所述，在将候选格线转换成格线信息之前，格线信息产生模块25基于候选格线的位置关系判定格线信息，并且通过使用对应于候选格线的类型的参数来判定格线信息。

现在将给出对删除错误提取的候选格线的方法的描述。错误提取意味着从图像中错误地提取了非格线(例如，字符)的线段信息。各种类型的格线(诸如实线格线、边界格线以及纹理边界格线)的提取，增加了错误提取的影响。

删除模块26需要判定从非格线错误检测的候选格线是错误的候选格线。错误提取的候选格线例如包括从表格的字段中的字符提取的候选格线。图25是示出了表格283和表格字段中的字符串的尺寸之间关系的示图。表格283中的字符串280一般填充在表格283所包括的字段区域内。从表格283的字段中的字符串280错误提取的候选格线的垂直长度284小于相应行中的字段区域的高度281。表格283中的格线一般连接到行的顶部边缘和底部边缘，因而大于行中的区域的高度。对于表格283中的字段的水平长度288情况也相同。这种关系例如适用于表格283中的其他字段285、286以及287的区域尺寸与写在字段285、286以及287中的字符串尺寸的关系。字段区域的高度具有大于字符串的高度的值。因而，在表格283中规定每个字段区域允许基于字段的高度信息或宽度信息来判定用于删除项目中的候选格线的合适长度阈值。在下面的描述中，对其执行关于是否删除候选格线的判定的区域被称为“格线判定区域”。

现在将描述删除模块26执行的处理。图26是删除模块26执行的处理的流程图。删除模块26设置对其执行关于是否删除格线的判定的区域(步骤S41)。

删除模块26检测文档图像数据中的确认格线。基于用于识别确认格线的判定标准，例如，将长度大于预定阈值的格线识别为确认格线。例如，当输入文档图像数据具有200dpi的分辨率时，用作确认格线判定标准的阈值可能约为100点(约12.7mm)。利用更长格线作为确认格线，使得可以防止使用不合适的格线信息来设置格线判定区域。不合适的格线信息的示例包括从非格线提取的格线信息，如从字符错误检测出的格线状信息。删除模块26从确认格线的集合中检测出一组平行并相邻的确认格线，并生成格线判定区域。

图27示出了设置格线判定区域的示例。假设本实施方式中的格线判定区域是被彼此相邻的长格线夹着的矩形区域。在下面的描述中，假设用于指定格线判定区域的格线是确认格线。图27的上部中的表格2900具有长水平格线信息2901、2902、2903以及2904。表格2900还具有垂直格线2905。表格2900中的水平格线的格线信息中，平行并相邻的格线信息组是格线信息2901和2902的组，格线信息2902和2903的组以及格线信息2903和2904的组。被这些组夹着的区域用作格线判定区域2907、2908以及2909，如图27的下部所示。

确认格线组不必具有与图27中相同的长度。例如，一组确认格线可以彼此部分地平行。

图28是例示了其中文档图像数据中的确认格线部分地彼此平行的状态。图28示出了确认格线311、312以及313。确认格线311、312以及313彼此部分地平行。确认格线311和312在区域316中彼此平行并相邻。确认格线311和313在区域317中彼此平行并相邻。区域316中的确认格线311和312定义的矩形区域是格线判定区域314。区域317中的确认格线311和313定义的矩形区域是格线判定区域315。当确认格线彼此部分平行时，删除模块25仅将通过平行且相邻的部分定义的区域视为格线判定区域并且登记该格线判定区域。

现在描述删除模块26执行的处理。图29是例示了其中删除模块26指定格线判定区域的处理的流程图。删除模块26指定任意的确认格线为检测目标(步骤S51)。在图28中，删除模块26指定确认格线311作为检测目标。删除模块26检测位于文档图像数据中检测目标确认格线之下并与检测目标确认格线水平平行并相邻的确认格线(步骤S52)。在图28中，删除模块26检测到位于确认格线311之下并与其水平平行并相邻的确认格线312。当检测到相邻的确认格线时(步骤S52中为是)，删除模块26指定检测目标确认格线和相邻确认格线定义的区域中的格线判定区域(步骤S53)。在图28中，当检测到确认格线312时(步骤S53为是)，删除模块26指定由区域316形成的格线判定区域341(步骤S53)。

当尚未对沿着步骤S51中指定的检测目标确认格线的所有水平区域执行检测处理时(在步骤S54为否)，删除模块26沿着检测目标确认格线对剩余水平区域继续执行检测处理。在图28中，当尚未对沿着确认格线311的所有水平区域执行检测处理时(步骤S54中为否)，删除模块26沿着确认格线311对剩余水平区域继续执行检测处理。在图28中，相对于区域317，删除模块26检测位于确认格线311之下且与其水平平行并相邻的确认格线313。在图28中，删除模块26指定由区域317形成的格线判定区域。

当对沿着检测目标确认格线的所有水平区域执行了检测处理时(步骤S54为是)，删除模块26判定对于文档图像数据中的所有确认格线，是否完成了相邻确认格线的检测(步骤S55)。在图28中，当已经对沿着确认格线311的所有水平区域执行了检测处理时，删除模块26判定对于文档图像数据的所有确认格线，是否完成了相邻确认格线的检测。当已经对文档图像数据中指定的所有确认格线执行了上述处理时(步骤S55中为是)，删除模块26登记得出的格线判定区域，由此完成处理。

返回图26，删除模块26计算对应于格线判定区域的格线判定值(步骤S42)。格线判定值是用于判定包含在格线判定区域中的格线是否是真的格线信息的阈值。在本实施方式中，格线判定值是格线的长度信息。基于用于判定格线的长度信息，删除模块26删除不合适的格线。

删除模块26为每个格线判定区域设置了长度阈值。例如，删除模块26获得格线判定区域的高度信息，并将该阈值设置为略微大于该高度信息的长度。例如，对于分辨率为200dpi的图像，将阈值设置为比格线判定区域的高度的点数约少20点。例如，存在一种方法，其用于在格线判定区域中判定候选格线的长度的频率分布，并将阈值设置为频率分布的最大值或将阈值设置为与频率分布的最大值相对应的候选格线的长度的两倍。

接下来，删除模块26删除不合适格线信息(步骤S43)。更具体而言，删除模块26删除平行确认格线所定义的格线判定区域中的不合适格线信息。不合适的格线信息是长度比步骤S42中判定的格线判定长度信息小的格线信息。在本实施方式中，删除模块26删除水平方向上的一组确认格线信息所定义的格线判定区域中的不合适的垂直格线信息。在步骤S43的处理中，不仅可以删除垂格线信息而且可以删除水平格线信息。很多条不合适格线信息是从对字符信息的错误检测中产生的。这是因为被错误检测的字符的水平长度和垂直长度几乎相等。

图30是例示了其中删除模块26删除了不合适格线的情况的示图。图30中的上部中的表格3401示出了文档图像数据的表格中的格线信息，该格线信息通过格线信息产生模块25产生。表格3401具有确认格线3402、3403、3404、3405、3406以及3407。表格3401具有通过确认格线3402和3403所定义的格线判定区域3408、通过确认格线3403和3404所定义的格线判定区域3409、通过确认格线3404和3405所定义的格线判定区域3410、通过确认格线3403和3406所定义的格线判定区域3411、通过确认格线3406和3407所定义的格线判定区域3412，以及通过确认格线3407和3405所定义的格线判定区域3413。图30的中部处的表格3420进一步指示了用于指定针对每个格线判定区域来删除不合适格线信息的长度的区域高度。删除模块26基于下列处理确定用于针对每个格线判定区域删除不合适格线信息的长度信息。即，对于格线判定区域3408，删除模块26基于格线判定区域3408的高度3414来确定长度信息。对于格线判定区域3409，删除模块26基于格线判定区域3409的高度3415来确定长度信息。对于格线判定区域3410，删除模块26基于格线判断区域3410的高度3416来确定长度信息。对于格线判定区域3411，删除模块26基于格线判定区域3411的高度3417来确定长度信息。对于格线判定区域3412，删除模块26基于格线判断区域3412的高度3418来确定长度信息。对于格线判定区域3413，删除模块26基于格线判定区域3413的高度3419来确定长度信息。

根据针对每个格线判定区域判定的格线判定长度信息，删除模块26判定格线判定区域中的格线信息是合适还是不合适。更具体而言，删除模块26删除长度小于针对每个格线判定区域判定的格线判定长度信息的格线信息。图30下部的表格3421示出了其中删除了表3401中的区域中的格线信息的状态。

当格线信息产生模块25设置参数时，能够通过指定格线判定区域并为每个格线判定区域设置合适的参数，来执行高准确度的格线提取。例如，对于纹理区域，可将用于格线判定的阈值设置为较大值。

输出模块27输出通过上述处理获得的格线信息。

根据上述实施方式，即使当包括实线、边界格线以及纹理边界格线的多种类型的格线存在于输入图像中时，也能够根据每种类型的格线来执行合适的格线提取处理。因此，能够提高格线提取的准确度。因而，能够减小用于格线提取的错误校正作业的负担，从而能够减少用户的工作时间。

另外，由于能够针对包括在表格中的每个区域，来改变用于删除不合适格线的阈值信息，所以即使当表格中的字段的尺寸彼此不同时，也能够最小化检测的错误。

通常，提取延伸线段和边缘线段两者来产生候选格线，随后对这些候选格线进行噪声消除以产生相应的格线信息，并且将得出的信息集成到一起。即，并不直接对延伸线段和边缘线段进行相互比较。当使用边缘提取来检测纹理区域和实线边界时，检测全部的三种候选格线，即一个用于纹理区域的候选格线和两个用于实线边界的候选格线，作为候选线段。然而，当纹理边界和实线边界彼此相邻时，因为边缘线段之间的距离彼此靠近，所以难以对形成实线的一组线段进行关联。因而，根据现有技术，不能判定要将三个检测出的边缘线段中的哪些集成在一起并转换成实线。作为另一现有技术，并行地执行延伸线段提取模块和边缘线段提取模块并且将得出的格线提取结果集成在一起的方法也是可行的。然而，该方法还需要诸如当从相同区域提取竞争候选格线时选择一个候选格线之类的困难判定。如上所述，仅组合现有技术不能实现从多种类型的格线共存的图像精确地提取格线。

另一方面，根据本实施方式，作为延伸线段和边缘线段的叠加的结果，延伸线段被夹在两个边缘线段之间以被集成到一条实线格线中。因而，能够恰当地产生实线格线和边界格线。如上所述，在从候选格线产生格线信息之前，将延伸线段和边缘线段相互比较，使得能够高准确度地提取多种类型的格线。另外，由于格线产生参数依照格线类型变化，所以能够高准确度地提取格线。

因此，本实施方式的一个目的是准确地检测由包含在文档图像中的形状、图案以及颜色所表达的表格格线。

本实施方式提供用于表格识别装置的第一表格识别程序，所述表格识别装置读取包含表格的文档图像并提取格线。

根据本实施方式，基于从延伸检测得出的候选格线与从边缘检测得出的候选格线之间的位置关系来识别格线类型，并且基于对应于格线类型的条件来检测格线。因而，能够准确地检测由包含在文档图像中的形状、图案以及颜色所表达的表格格线。

Claims (12)

1、一种检测包含在图像信息中的边界线信息的方法，所述图像信息包括第一状态和第二状态中的任何一种状态下的多个像素，所述方法包括以下步骤：

检测连续布置在所述图像信息中的第一状态下的第一组像素以判定第一线信息，并检测彼此相邻布置且由第二状态下的像素包围的第一状态下的第二组像素以基于该第二组像素的轮廓来判定边缘信息；以及

基于所述线信息和所述边缘信息的相对位置与第一组像素和第二组像素的尺寸之间的关系的信息，来判定所述边界线信息。

2、根据权利要求1所述的方法，其中，在所述第一线信息指示长度大于预定值且由所述边缘信息指示的一对边缘夹着的线的情况下，判定所述边界线信息包括有效边界线。

3、根据权利要求1所述的方法，其中，在所述边缘信息指示长度大于预定值且与宽度大于预定值的所述第二组像素相邻布置的边缘的情况下，判定所述边界线信息指示有效边界线。

4、根据权利要求1所述的方法，其中，在所述边缘信息指示长度大于预定值的边缘的情况下，判定所述边界线信息包括有效边界线。

5、根据权利要求1所述的方法，其中，当两个边界线信息之间的距离小于预定距离且两个边界线信息之间的角度差小于预定角度时，判定所述边界线信息包括有效边界线。

6、根据权利要求1所述的方法，所述方法进一步包括以下步骤：

获得长度大于预定长度的边界线信息，

基于平行的成对所述线信息来设置区域，以及

基于用于判定所述边界线信息是否被判定包括有效边界线的所述区域的尺寸，来判定所述长度的条件信息。

7、一种用于检测包含在图像信息中的边界线信息的装置，所述图像信息包括第一状态和第二状态中的任何一种状态下的多个像素，所述装置包括：

处理器，其用于根据处理来执行，所述处理包括以下步骤：

检测连续布置在所述图像信息中的第一状态下的第一组像素以判定第一线信息，并检测彼此相邻布置并由第二状态下的像素包围的第一状态下的第二组像素以基于该第二组像素的轮廓来判定边缘信息；以及

基于所述线信息和所述边缘信息的相对位置与第一组像素和第二组像素的尺寸之间的关系的信息，来判定所述边界线信息。

8、根据权利要求7所述的装置，其中，在所述第一线信息指示长度大于预定值且由所述边缘信息指示的一对边缘夹着的线的情况下，判定所述边界线信息包括有效边界线。

9、根据权利要求7所述的装置，其中，在所述边缘信息指示长度大于预定值且与宽度大于预定值的所述第二组像素相邻布置的边缘的情况下，判定所述边界线信息指示有效边界线。

10、根据权利要求7所述的装置，其中，在所述边缘信息指示长度大于预定值的边缘的情况下，判定所述边界线信息包括有效边界线。

11、根据权利要求7所述的装置，其中，当两个边界线信息之间的距离小于预定距离且两个边界线信息之间的角度差小于预定角度时，判定所述边界线信息包括有效边界线。

12、根据权利要求7所述的装置，所述处理进一步包括以下步骤：

获得长度大于预定长度的边界线信息，

基于平行的成对的所述线信息来设置区域，以及

基于用于判定所述边界线信息是否被判定包括有效边界线的所述区域的尺寸，来判定所述长度的条件信息。

Images