CN1158044A - 图像处理方法和设备以及存储媒体 - Google Patents

Abstract

本发明的目的是正确识别图像信息中的各字符串之间的分界，即不仅要正确识别和提取每一列被横分项表格线划分了的图像，而且还要正确识别和提取每一列没有被横分项表格线划分的图像。为此，本发明首先按照从图像信息中提取的各行式图像的特性对有关从图像信息中提取的表格图像是否为一个无横分项表格线表格的特征加以鉴别。按照被鉴别的特征，确定被提取的每个行式图像是否要添加行分界信息，从而保持了正确的表格格式。

Description

图像处理方法和设备以及存储媒体

本发明涉及OCR(光学字符识别)设备、复印机、传真机之类的图像处理设备，具体地说，涉及能从含有表格图像的输入图像中正确提取字符的图像处理方法和设备以及存储媒体。

本发明还涉及能在从一个输入表格图像中提取字符图像时鉴别这个输入表格的格式从而正确提取字符图像的图像处理方法和设备以及存储媒体。

本发明还涉及能自动鉴别输入图像中所含的表格图像的特征而不需要由用户人工指定的图像处理方法和设备以及存储媒体。

具有自动区域划分功能的OCR设备执行一系列处理过程，自动将一个被表格线(rule)包围的图像鉴别为一个表格图像，而将一个表格中的表格线包围的各小区分别提取出来作为相应的字符区。

在对字符进行了识别后，通过在由字符区中识别得到的字符串之间***一个制表键代码(tab code)，而在行之间***一个换行键代码(return code)，就将从表格图象中提取的小区的信息在完成字符识别后反映为资料文本数据，从而使数据可很方便地提供给表格计算软件或其他类似软件。

然而，按照上述传统技术，当用作字符识别目标的表格图像是一个如图7所示那样的没有横分项表格线的表格时，由于在垂直方向所列的一系列项是作为一个字符区鉴别的，从而得到形式上与输入表格不同的资料文本，需要操作人员校正为输入表格的形式，因此增加了操作人员的负担。

按照如上所述的本发明，从图像信息中提取行式图像(lineimage)，根据所提取的行式图像的特性鉴别图像信息的特征，然后将所鉴别的特征与图像信息对应存储起来，使得表格特征指明所输入的表格图象是一个具有横分项表格线的表格还是一个没有横分项表格线的表格而不需要由操作人员人工指定，因此可以自动鉴别表格特征，从而改善了操作性能。

按照上述本发明，通过将图像信息设置为被分项表格线包围的图像信息，可以自动鉴别在被分项表格线包围的一个小区中所列的各项。

按照上述本发明，通过将图像信息设置为光学读出的图像信息，可以自动处理光学读出的图像，而不需要对键之类进行操作。

按照上述本发明，通过对行式图像进行字符识别和将一个行定界符代码与字符识别结果一起输出，使得表格形式即使在由字符识别形成资料文本后仍能保持不变。

按照上述本发明，通过按照输出的信息显示资料文本，可以在显示器的显示屏幕上确认输入图像字符识别结果和表格形式。

按照上述本发明，将输入图像划分为一些被表格线包围的小图像区，从所划分的这些小图像区图像信息中分别提取相应的行式图像，再对输入图像信息中所包含的这些行式图像按照各行式图像所在的小图像区的位置关系和各行式图像在相应小图像区内的位置关系进行排序，从而可以正确鉴别无横分项表格线的特别表格的形式。

按照上述本发明，通过鉴别图像信息的特征和按照特征鉴别装置的鉴别结果确定是否执行行式图像提取，从而只在相应的情况下进行相应的处理，使得表格的形式即使在由字符识别形成资料文本后仍能保持不变。

在本说明的附图中：

图1为一种图像处理设备功能配备的方框图；

图2为整个处理过程的流程图；

图3为表格特征鉴别处理过程的流程图；

图4为无横分项表格线表格处理过程的流程图；

图5为接受表格特征鉴别处理的表格图像的示意图；

图6为无横分项表格线表格处理过程的示意图；以及

图7为传统的表格图像处理过程的示意图。

图1为本发明所推出的图像处理设备的一个实施例所配备的功能方框图。输入装置101用来输入作为字符识别的目标的图像信息和操作人员所给出的各种指令。输入装置101具有一个键盘，可用来编辑文件之类。对于图像信息输入而言，图像信息可以从一个光读原件的扫描仪输入，也可以通过存储装置或通信装置输入已经光读好的图像信息。处理器(CPU)102用来执行对设备和算术运算的控制，以及按照下面将要说明的流程控制程序执行对每个处理装置的控制。存储器103用来存储使处理器102执行下面将予以说明的流程所示处理过程的控制程序，以及在各处理过程中使用的数据或在各处理过程中产生的数据。作为储存在存储器103中的本发明处理过程的控制程序，可以使用存储在可从设备卸下的诸如FD或CD-ROM那样的存储媒体上的控制程序，或者，使用由另一个终端通过通信线路提供而存储起来的控制程序。输出装置104用来输出算术运算处理结果，图像处理结果，以及图像数据。输出装置104包括诸如CRT、液晶显示器之类的显示器，诸如LBP、彩色喷墨打印机之类的打印机，以及向其他终端或外部存储装置提供输出的输出端。排序装置105用来对图像信息中所包含的句子段落和标题进行排序。区域划分器106用来执行对图像信息的区域划分处理。表格特征鉴别器107通过对图象信息中所包含的表格图像的特征进行检测和分析，自动鉴别表格图像的特征。表格处理器108执行从图像信息中所包含的表格图像中提取表格格式从而形成资料文本的处理。字符识别器109用来从图像信息中提取字符图像，再对所提取的字符图像进行识别。

图2为从输入装置101输入一个图像起，到字符识别和产生作为资料文本数据从输出装置104输出的这段时间内所执行的整个处理过程的流程图。控制程序已存储在存储器103内，在处理器102的控制下执行。

图像信息从输入装置101输入(S201)。所输入的图像信息也可以通过输出装置104中的显示器显示，由操作人员加以确认。区域划分器106将所输入的图象划分成区，提取诸如资料文本、分隔、图形、表格之类的图像数据区(S202)。所提取的图像数据区的信息存入存储器103。对于区域划分的详细方法，可参阅在日本专利申请No.4-243252中所揭示的技术或其他类似的技术。作为区域划分的结果，如果所输入的图像中有一个表格图像(即S203的判断为“是”)，则进入步骤S204，执行自动鉴别这个表格图像的特征的处理过程(S204)。表格图像特征的自动鉴别过程详细地示于图3所示的流程图，这在下面将进一步予以说明。作为在步骤S204执行表格特征鉴别的结果，如果表格图象是一个无横分项表格线表格(即S205的判断为“是”)，则进至步骤S206，执行无横分项表格线表格的表格处理过程。在步骤S206执行的无横分项表格线表格的表格处理过程是：以字符(相当于小区)为单位进行提取，再以所提取的字符组为单位进行排序，以便保持无横分项表格线表格图象的表格格式形成资料文本，这在下面还要结合图4所示流程图进行详细说明。作为在步骤S204执行表格特征鉴别的结果，如果表格图象是一个带横分项表格线表格(即S205的判断为“否”)，则进至步骤S209，执行带横分项表格线表格的表格处理过程。在步骤S209执行的带横分项表格线表格的表格处理过程是：提取小区，再对所提取的这些小区进行排序，以便保持表格格式形成资料文本。在排序处理过程中，按照从左到右、从上到下的次序进行编号。次序在这种情况下与图4流程图的步骤S402中的相同，这在下面将要予以说明。

当在步骤S203确定没有表格时，或者在步骤S206或S209中的处理过程结束时，进至步骤S207，排序装置105对由输入图像中除去表格图像后的句子部分构成的各标题和主体段落进行排序。在排序时，例如在句子是垂直书写的情况下，从右到左进行排序。对于垂直方向，方式与前面类似，从上到下进行排序。

在步骤S208，由字符识别器109执行字符识别处理，字符串按照在步骤S206、S209和S207中所安排的次序输出，从而结束了对输入图像形成资料文本的处理。对于在表格图象中的字符的输出来说，在小区之间***一个制表键代码，作为指示小区分界的代码；在行之间***一个换行键代码，作为指示行分界的代码。

如上所述，通过执行图2这个流程图所示的处理过程，即使是在输入图像中含有无横分项表格线表格，由于无横分项表格线表格自动得到鉴别而无需人工干预，因此仍能保持这种表格的表格格式，形成资料文本。

现在结合图3这个流程图说明在步骤S204中由表格特征鉴别器107执行的表格特征自动鉴别处理过程。在这个处理过程中的目标是由步骤S202的区域划分处理过程确定为表格图像的这个区域中的图像，如图5所例示。

首先提取表格图像50中由表格线包围的各个小区(即小区1至4)，对每个小区中的字符行一一进行计数(S301)。例如，小区1至3每个都有6行，而小区4有2行。然后，对于在步骤S301所提取的各小区，执行步骤S302和S303的相继鉴别处理过程。在步骤S302执行的是鉴别在步骤S301所计得的行数是否等于或大于3的过程。在步骤303执行的是鉴别小区中一个字符图像的高度a与在字符图像的垂直字符方向上的间隔b之间的关系是否满足b＞3a的过程。如果有一个小区，使得步骤S302或S303的判断为“是”，则这样一个小区的表格图像就判定为无横分项表格线表格，于是除了储存在存储器103的表格图像的区域信息还将无横分项表格线表格的特征存储起来(S304)。对于作为目标的表格图像的所有小区，如果步骤S302和S303的判断都是“否”，则这个表格图像就判定为有横分项表格线表格，于是除了储存在存储器103的表格图像的区域信息，还将有横分项表格线表格的特征存储起来以图5所示的表格图像为例，由于在步骤S302确定小区1至3每个的行数都满足等于或大于3，而在小区4中的两行之间的间隔6满足b＞3a，因此无横分项表格线表格的特征在步骤S304存入存储器103。

通过执行图3所示流程图的处理过程，输入图像中所包含的表格图像是一个无横分项表格线表格图像还是一个有横分项表格线表格图像就能自动地加以鉴别，而不需要由操作人员人工指定。

下面结合图4所示流程图说明在步骤S206中由表格处理器108执行的无横分项表格线表格的处理过程。在这个处理过程中的目标是由步骤S202的区域划分处理过程确定为一个表格图像的这个区域内的图像，如图6中所例示的表格图像60。

从表格图像60中所提取的小区1至3每个都以行为单位划分成块(S401)。小区1划分为5个行块，小区2和3每个也同样划分为5个行块。然后，对在步骤S401中所划分出的各行块进行排序(S402)。排序是从左到右再从上到下进行。因此，排序处理过程执行成：小区1的最上面的块编为序号(1)，小区2最上面的块编为(2)，小区3最上面的块编为(3)。由于在横方向小区3是最后一个小区，因此对下一行的块继续排序：小区1的上面第二块编为(4)，小区2的上面第二块编为(5)…。这样的次序信息与相应的块信息一起存入存储器103。

如上面所提到的那样，由于在无横分项表格线表格的情况下通过以行为单位提取各块将一个小区内的各项划分开来后进行排序，方式与对每个小区进行字符串提取、排序的有横分项表格线表格的情况相同，然后再按照所排的次序形成资料文本，使得表格格式能保持不变。

Claims (21)

1.一种图像处理设备，其特征是所述设备包括：

行式图像提取装置，用来从图像信息中提取各行式图像；

特征鉴别装置，用来按照所述被提取的各行式图像的特性鉴别所述图像信息的特征；以及

存储装置，用来储存所述被鉴别的特征，使之与所述图像信息对应。

2.一种在权利要求1中所提出的设备，其中所述特征鉴别装置按照从被表格线包围的一个区域的图像信息中所提取的各行式图像的特性鉴别被所述这些表格线包围的这个区域的所述图像信息的特征。

3.一种在权利要求1中所提出的设备，其中所述特征鉴别装置对所述被提取的各行式图像是否已被一些线段划分进行鉴别。

4.一种在权利要求1中所提出的设备，其中所述特征鉴别装置按照所述被提取的各行式图像的特性对从中提取所述各行式图像的所述图像信息是否为一个含有横分项表格线的图像进行鉴别。

5.一种在权利要求1中所提出的设备，其特征是所述设备还包括行划分信息添加控制装置，用来按照由所述特征鉴别装置得出的结果使所述被提取的一个行的每个行式图像加上或不加行划分信息。

6.一种在权利要求1中所提出的设备，其特征是所述设备还包括鉴别装置，用来对所述图像信息是否为含有表格线的图像信息进行鉴别，而在所述鉴别装置鉴定所述图像信息是含有表格线时，所述特征鉴别装置就执行特征鉴别处理过程。

7.一种在权利要求1中所提出的设备，其特征是所述设备还包括：

小区提取装置，用来从输入图像信息中提取被表格线包围的小区，其中各行式图像是由所述行式图像提取装置从所述小区提取装置所提取的小区的图像信息中提取的；以及

次序确定装置，用来按照由所述小区提取装置提取的各小区的相互位置关系和由所述行式图像提取装置提取的各行式图像的相互位置关系确定从所述输入图像中提取的各行式图像的读出次序。

8.一种在权利要求5中所提出的设备，其特征是所述设备还包括：

识别装置，用来识别由所述行式图像提取装置提取的各行式图像中的字符；以及

输出装置，用来将加在与由所述行划分信息添加控制装置添加的行划分信息相应的位置上的行定界符代码连同所述字符识别装置所得的字符代码一起输出。

9.一种在权利要求8中所提出的设备，其特征是所述设备还包括显示装置，用来显示与要输出的所述各代码相应的模式。

10.一种在权利要求1中所提出的设备，其中所述图像信息是光读的图像信息。

11.一种图像处理方法，其特征是所述方法包括下列步骤：

从图像信息中提取各行式图像；

按照所述被提取的各行式图像的特性鉴别所述图像信息的特征；以及

存储所述被鉴别的特征，使之与所述图像信息对应。

12.一种在权利要求11中所提出的方法，其中在所述特征鉴别步骤，按照从被表格线包围的一个区域的图像信息中所提取的各行式图像的特性鉴别被所述这些表格线包围的这个区域的所述图像信息的特征。

13.一种在权利要求11中所提出的方法，其中在所述特征鉴别步骤，对所述被提取的各行式图像是否已被一些线段划分进行鉴别。

14.一种在权利要求11中所提出的方法，其中在所述特征鉴别步骤，按照所述被提取的各行式图像的特性对从中提取所述各行式图像的所述图像信息是否为一个含有横分项表格线的图像进行鉴别。

15.一种在权利要求11中所提出的方法，其特征是所述方法还包括一个控制步骤，按照所述特征鉴别所得的结果使所述被提取的一个行中的每个行式图像加上或不加行划分信息。

16.一种在权利要求11中所提出的方法，其特征是所述方法还包括下列步骤：

鉴别所述图像信息是否为含有表格线的图象信息；以及

如果所述鉴别步骤确定所述图象信息是含有表格线，则执行所述特征鉴别步骤。

17.一种在权利要求11中所提出的方法，其特征是所述方法还包括下列步骤：

从输入图象信息中提取被表格线包围的小区；

从所述被提取的小区的图像信息中提取所述各行式图像；以及

按照所述被提取的各小区的相互位置关系和所述被提取的各行式图象的相互位置关系确定从所述输入图像中提取的各行式图像的读出次序。

18.一种在权利要求15中所提出的方法，其特征是所述方法还包括下列步骤：

识别所述被提取的各行式图像中的字符；

将加在与由所述行划分信息添加控制步骤添加的行划分信息相应的位置上的行定界符代码连同所述字符识别步骤所得的字符代码一起输出。

19.一种在权利要求18中所提出的方法，其特征是所述方法还包括显示与输出到显示装置的所述各代码相应的模式这一步骤。

20.一种在权利要求11中所提出的方法，其特征是所述图像信息是光读的图像信息。

21.一种存有控制图像处理设备的程序的存储媒体，其特征是所述存储媒体所存的程序包括下列程序步：

从图像信息中提取各行式图像；

按照所述被提取的各行式图像的特性鉴别所述图像信息的特征；以及

储存所述被鉴别的特征，使之与所述图像信息对应。

Images