JPH113433A - Table closing line intersection correcting device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To compensate an intersection of ruled lines that restores an intersection when the intersection of table frame lines of a table which is not a square by making the crossed point an intersection of outer frame ruled lines with each other when the sum of length of an extended line of an outer frame ruled line that has intersection absence and an extended line of another outer frame ruled line is shorter than prescribed length. SOLUTION: A vertical segment line and a horizontal segment line in a segmented image are detected from a table area. Thinning of the segment lines are compensated, and vertical ruled lines and horizontal ruled lines are detected from the segment lines after thinning compensation. Outer frame ruled lines are extracted from the detected ruled lines. When an end point of one remarked outer frame ruled line does not cross the other outer frame ruled lines, the remarked outer frame ruled line is extended to an end point that is not crossed, and if the length is below a reference value α, the intersection is made the intersection of outer frame ruled lines. Also, when outer frame ruled lines except the remarked outer frame ruled line are extended, the extended lines of the outer frame ruled lines mutually cross, and also, the sum of the length of two extended lines is bellow reference value β, the intersection is made the intersection of outer frame ruled lines of the table.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、表枠線の交点補正
装置および表認識装置および光学文字読取装置に関す
る。さらに詳しくは、画像中の表枠線の交点が消えてい
る場合に、その消えている表枠線の交点を復活させる交
点補正装置、および前記交点補正装置を利用して光学読
取画像中の文字を正しく読み取る光学文字読取装置に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for correcting intersections of table frame lines, a table recognizing device, and an optical character reading device. More specifically, when an intersection of a table frame line in an image has disappeared, an intersection correction device that restores the intersection of the disappearing table frame line, and a character in an optically read image using the intersection correction device The present invention relates to an optical character reading device that reads characters correctly.

【０００２】[0002]

【従来の技術】罫線のかすれの補正に関する従来技術と
しては、特開平８―１２５８５５号公報に記載された技
術がある。以下に、この従来技術について説明する。2. Description of the Related Art As a conventional technique relating to correction of blur of a ruled line, there is a technique described in Japanese Patent Application Laid-Open No. 8-125855. Hereinafter, this conventional technique will be described.

【０００３】図１は、従来技術の一実施例である表枠線
の交点補正装置を含む表認識装置を示すブロック図であ
る。FIG. 1 is a block diagram showing a table recognizing device including a table frame line intersection correction device according to an embodiment of the prior art.

【０００４】この表認識装置２０は、イメージスキャナ
や通信回線を介して画像を入力する画像入力部１０２
と、画像中の表枠線の交点が消えている場合にその消え
ている表枠線の交点を復活させる交点補正装置１０と、
その交点補正装置１０により補正した交点に基づいて画
像中の表枠線の接続関係を抽出しその接続関係に基づい
て表枠線を認識する枠線認識部１０８と、表枠線を認識
するためのデータ（例えば表のモデルにおける枠線の接
続関係のデータ）を格納している枠認識辞書１１０と、
前記枠線認識部１０８による認識結果を出力する枠線認
識結果出力部１１２と、前記画像入力部１０２から枠線
認識結果出力部１１２までを制御する制御部１００とを
具備している。The table recognizing device 20 includes an image input unit 102 for inputting an image via an image scanner or a communication line.
An intersection correction device 10 that, when the intersection of the table frame lines in the image has disappeared, restores the intersection of the disappeared table frame lines;
Based on the intersection corrected by the intersection corrector 10, the connection relation of the table frame lines in the image is extracted, and the frame line recognition unit 108 recognizes the table frame line based on the connection relation, and recognizes the table frame line. (E.g., data on connection relations of frame lines in the model of the table).
The image processing apparatus includes a frame recognition result output unit 112 that outputs a recognition result by the frame recognition unit 108, and a control unit 100 that controls the image input unit 102 to the frame recognition result output unit 112.

【０００５】なお、表認識における従来技術としては、
論文「枠罫線情報を用いた帳票文書の構造認識（成瀬博
之その他、電子情報通信学会誌、Ｄ―ＩＩ、Ｖｏｌ．Ｊ
７５−Ｄ−ＩＩ，ｐｐ．１３７２−１３８５，１９９２
年）」に記載されている。[0005] As a conventional technique for table recognition,
Paper “Structure Recognition of Form Documents Using Frame Rule Line Information (Hiroyuki Naruse et al., IEICE Journal, D-II, Vol. J.
75-D-II, pp. 1372-1385, 1992
Year)].

【０００６】図２は、上記表枠線の交点補正装置１０に
よる表抽出処理を示すＰＡＤ図である。ステップ２００
では、入力された画像中に含まれる表を輪郭追跡により
抽出する。輪郭追跡とは、黒画素と白画素の境界を追跡
する処理である。ステップ２０１では、輪郭追跡して抽
出した表の左上点と右下点とを対角点とする矩形領域を
一つの表領域とし、その表領域の画像を切り出す。上記
ステップ２００，２０１の処理を、図５〜図７に示す具
体例により説明する。ステップ２００では、図５の画像
から、図６に示すような輪郭追跡（６００）によって表
を抽出する。ステップ２０１では、図６に示すように、
対角点６０１，６０２で決まる表領域を切り出す。これ
により、図７の画像が得られる。上記表抽出処理によっ
て、隣接する表を分離できる。また、ある程度、ノイズ
を除去できる。FIG. 2 is a PAD diagram showing a table extraction process performed by the table frame line intersection correction device 10. Step 200
Then, a table included in an input image is extracted by contour tracing. The contour tracking is a process of tracking a boundary between a black pixel and a white pixel. In step 201, a rectangular area having an upper left point and a lower right point as diagonal points of a table extracted by contour tracking is defined as one table area, and an image of the table area is cut out. The processing of steps 200 and 201 will be described with reference to specific examples shown in FIGS. In step 200, a table is extracted from the image of FIG. 5 by contour tracing (600) as shown in FIG. In step 201, as shown in FIG.
A table area determined by the diagonal points 601 and 602 is cut out. Thereby, the image of FIG. 7 is obtained. Adjacent tables can be separated by the table extraction processing. In addition, noise can be removed to some extent.

【０００７】図３は、上記表枠線の交点補正装置１０に
よる表の外枠罫線の交点補正処理のＰＡＤ図である。FIG. 3 is a PAD diagram of the process of correcting the intersection of the outer frame ruled line of the table by the table frame line intersection correction device 10.

【０００８】ステップ２０２では、表領域から切り出さ
れた画像中の縦罫線と横罫線を例えば次の検出規則に従
って検出する。 （１）罫線は、縦方向または横方向の線分であり、斜方
向の線分は罫線ではなくノイズ成分である。 （２）罫線は、所定の長さ以上であり、所定の長さより
短い線分は罫線ではなくノイズ成分である。 （３）罫線は、２つの端点の少なくとも１つが他の罫線
と交差しており、２つの端点とも他の罫線と交差してい
ない線分は罫線ではなくノイズ成分である。In step 202, a vertical ruled line and a horizontal ruled line in an image cut out from the table area are detected, for example, according to the following detection rule. (1) A ruled line is a vertical or horizontal line segment, and a diagonal line segment is not a ruled line but a noise component. (2) The ruled line is longer than a predetermined length, and a line segment shorter than the predetermined length is not a ruled line but a noise component. (3) At least one of the two end points of the ruled line intersects with another ruled line, and a line segment at which neither of the two end points intersects another ruled line is not a ruled line but a noise component.

【０００９】ステップ２０３では、検出した罫線の中か
ら外枠罫線を例えば次の抽出ルールに従って抽出する。 （ａ）ある横罫線上の任意の位置から上を見たときに他
の横罫線が常に存在するなら、その横罫線は外枠罫線で
はない。他の横罫線が存在しない位置があれば、その横
罫線は外枠罫線である。 （ｂ）ある横罫線上の任意の位置から下を見たときに他
の横罫線が常に存在するなら、その横罫線は外枠罫線で
はない。他の横罫線が存在しない位置があれば、その横
罫線は外枠罫線である。 （ｃ）ある縦罫線上の任意の位置から左を見たときに他
の縦罫線が常に存在するなら、その縦罫線は外枠罫線で
はない。他の縦罫線が存在しない位置があれば、その縦
罫線は外枠罫線である。 （ｄ）ある縦罫線上の任意の位置から右を見たときに他
の縦罫線が常に存在するなら、その縦罫線は外枠罫線で
はない。他の縦罫線が存在しない位置があれば、その縦
罫線は外枠罫線である。In step 203, an outer frame rule is extracted from the detected rule lines according to, for example, the following extraction rule. (A) If there is always another horizontal ruled line when looking upward from an arbitrary position on a certain horizontal ruled line, the horizontal ruled line is not an outer frame ruled line. If there is a position where another horizontal rule does not exist, the horizontal rule is an outer frame rule. (B) If there is always another horizontal ruled line when looking down from an arbitrary position on a certain horizontal ruled line, the horizontal ruled line is not an outer frame ruled line. If there is a position where another horizontal rule does not exist, the horizontal rule is an outer frame rule. (C) If there is always another vertical ruled line when looking left from an arbitrary position on a vertical ruled line, the vertical ruled line is not an outer frame ruled line. If there is a position where no other vertical ruled line exists, the vertical ruled line is an outer frame ruled line. (D) If there is always another vertical ruled line when looking right from an arbitrary position on a vertical ruled line, the vertical ruled line is not an outer frame ruled line. If there is a position where no other vertical ruled line exists, the vertical ruled line is an outer frame ruled line.

【００１０】ステップ２０４では、抽出した外枠罫線の
一つに着目してステップ２０６を実行することを、抽出
した外枠罫線の本数だけ繰り返す。In step 204, the execution of step 206 focusing on one of the extracted outer frame rules is repeated by the number of extracted outer frame rules.

【００１１】ステップ２０６では、着目している一つの
外枠罫線の端点が他の外枠罫線と交差しているかどうか
を判定する。交差している場合は、前記ステップ２０４
に戻る。交差していない場合は、交点付近が消えている
とみなし、ステップ２０８に進む。In step 206, it is determined whether or not the end point of one outer frame ruled line intersects another outer frame ruled line. If they cross, step 204
Return to If they do not intersect, it is considered that the vicinity of the intersection has disappeared, and the process proceeds to step 208.

【００１２】ステップ２０８では、着目している外枠罫
線を、他の外枠罫線と交差していない端点側に延長す
る。ステップ２１０では、前記ステップ２０８による延
長線が他の外枠罫線と交差するかどうかを判定する。交
差する場合には、ステップ２１２に進む。交差しない場
合には、ステップ２１４に進む。In step 208, the outer frame ruled line of interest is extended to an end point not intersecting with another outer frame ruled line. In step 210, it is determined whether or not the extension line in step 208 intersects another outer frame ruled line. If they intersect, go to step 212. If not, the process proceeds to step 214.

【００１３】ステップ２１２では、交点を表の外枠線の
交点とする。ここで、延長線と交差する他の外枠罫線が
複数存在するときは、端点に最も近い外枠罫線との交点
を表の外枠線の交点とする。ステップ２１３では、上記
ステップ２０３と同じ外枠罫線抽出処理を行う。In step 212, the intersection is set as the intersection of the outer frame line of the table. Here, when there are a plurality of other outer frame rule lines intersecting the extension line, the intersection with the outer frame rule line closest to the end point is set as the intersection of the outer frame line in the table. In step 213, the same outer frame ruled line extraction processing as in step 203 is performed.

【００１４】ステップ２１４では、着目している外枠罫
線以外の外枠罫線を延長する。ステップ２１６では、ス
テップ２０８による延長線と，ステップ２１４による延
長線とが交差するか判定する。交差する場合には、ステ
ップ２１８に進む。交差しない場合には、前記ステップ
２０４に戻る。In step 214, outer frame rules other than the outer frame rule of interest are extended. In step 216, it is determined whether the extension line in step 208 and the extension line in step 214 intersect. If so, go to step 218. If they do not cross, the process returns to step 204.

【００１５】ステップ２１８では、交点を表の外枠線の
罫線の交点とする。ここで、着目している外枠罫線の延
長線と交差する他の外枠罫線の延長線が複数存在すると
きは延長線が最も短い他の外枠罫線との交点を表の外枠
線の罫線の交点とする。ステップ２２０では、上記ステ
ップ２０３と同じ外枠罫線抽出処理を行う。In step 218, the intersection is set as the intersection of the ruled line of the outer frame of the table. Here, when there are a plurality of extension lines of another outer frame rule line that intersect with the extension line of the outer frame rule line of interest, the intersection point with the other outer frame rule line having the shortest extension line is defined as the outer frame line of the table. This is the intersection of the ruled lines. In step 220, the same outer frame ruled line extraction processing as in step 203 is performed.

【００１６】上記ステップ２０２からステップ２２０の
処理を、図８〜図１７の具体例により説明する。The processing from step 202 to step 220 will be described with reference to specific examples in FIGS.

【００１７】ステップ２０２では、図７の画像から罫線
を検出する。これにより、図８の画像が得られる。In step 202, ruled lines are detected from the image shown in FIG. Thereby, the image of FIG. 8 is obtained.

【００１８】ステップ２０２では、図８の画像から外枠
罫線を検出する。これにより、図９の画像が得られる。In step 202, an outer frame ruled line is detected from the image shown in FIG. Thereby, the image of FIG. 9 is obtained.

【００１９】ステップ２０６では、図１０に示すよう
に、外枠罫線４０２の端点４０２ａが他の外枠罫線と交
差しているかどうかを判定する。端点４０２ａは交差し
ていないので、ステップ２０８に進む。ステップ２０８
では、延長線４０２ｂを延ばす。ステップ２１０では、
延長線４０２ｂと他の外枠罫線とが交差するか否かを判
定する。延長線４０２ｂは外枠罫線４１８と交差するか
ら、ステップ２１２に進む。ステップ２１２では、交点
４１８ａを表の外枠線の交点とする。従って、図１１に
示すようになる。At step 206, as shown in FIG. 10, it is determined whether or not the end point 402a of the outer frame ruled line 402 intersects another outer frame ruled line. Since the end points 402a do not intersect, the process proceeds to step 208. Step 208
Then, the extension line 402b is extended. In step 210,
It is determined whether or not the extension line 402b intersects another outer frame ruled line. Since the extension line 402b intersects with the outer frame ruled line 418, the process proceeds to step 212. In step 212, the intersection 418a is set as the intersection of the outer frame line of the table. Therefore, the result is as shown in FIG.

【００２０】ステップ２１３では、図１１の画像から外
枠罫線を検出する。これにより、図１２の画像が得られ
る。In step 213, outer frame ruled lines are detected from the image shown in FIG. Thereby, the image of FIG. 12 is obtained.

【００２１】次に、ステップ２０６では、図１３に示す
ように、外枠罫線４１８の端点４１８ｂが他の外枠罫線
と交差していないので、ステップ２０８に進む。ステッ
プ２０８では、延長線４１８ｃを延ばす。ステップ２１
０では、延長線４１８ｃは外枠罫線４１０と交差するか
ら、ステップ２１２に進む。ステップ２１２では、交点
４１０ａを表の外枠線の交点とする。従って、図１３に
示すようになる。Next, in step 206, as shown in FIG. 13, since the end point 418b of the outer frame ruled line 418 does not intersect with another outer frame ruled line, the process proceeds to step 208. In step 208, the extension line 418c is extended. Step 21
At 0, the extension line 418c intersects with the outer frame ruled line 410, so that the process proceeds to step 212. In step 212, the intersection 410a is set as the intersection of the outer frame line of the table. Therefore, the result is as shown in FIG.

【００２２】次に、ステップ２０６では、図１３に示す
ように、外枠罫線４０６の両方の端点が他の外枠罫線４
１４，４２０と交差しているから、次の外枠罫線を探し
てステップ２０６を繰り返す。Next, in step 206, as shown in FIG. 13, both end points of the outer frame rule 406 are
Since it intersects with 14, 420, the next outer frame ruled line is searched for, and step 206 is repeated.

【００２３】次に、ステップ２０６では、図１４に示す
ように、外枠罫線４２０の端点４２０ａが他の外枠罫線
と交差していないので、ステップ２０８に進む。ステッ
プ２０８では、延長線４２０ｂを延ばす。ステップ２１
０では、延長線４２０ｂは他の外枠罫線と交差しないか
ら、ステップ２１４に進む。ステップ２１４では、外枠
罫線４２０以外の外枠罫線を延長する。ステップ２１６
では、延長線４２０ｂと他の延長線とが交差するかを判
定する。延長線４２０ｂと他の延長線４０２ｄとが交差
するので、ステップ２１８に進む。ステップ２１８で
は、交点４２０ｃを表の外枠線の交点とする。ステップ
２２０では、外枠罫線を検出する。これにより、図１５
の画像が得られる。Next, in step 206, as shown in FIG. 14, since the end point 420a of the outer frame ruled line 420 does not intersect with another outer frame ruled line, the process proceeds to step 208. In step 208, the extension line 420b is extended. Step 21
At 0, the process proceeds to step 214 because the extension line 420b does not intersect with another outer frame ruled line. In step 214, outer frame rules other than the outer frame rule 420 are extended. Step 216
Then, it is determined whether the extension line 420b intersects with another extension line. Since the extension line 420b intersects with another extension line 402d, the process proceeds to step 218. In step 218, the intersection 420c is set as the intersection of the outer frame line of the table. In step 220, an outer frame ruled line is detected. As a result, FIG.
Is obtained.

【００２４】次に、ステップ２０６では、図１６に示す
ように、外枠罫線４１０の端点４１０ａが他の外枠罫線
と交差していないので、ステップ２０８に進む。ステッ
プ２０８では、延長線４１０ｂを延ばす。ステップ２１
０では、延長線４１０ｂは他の外枠罫線と交差しないか
ら、ステップ２１４に進む。ステップ２１４では、外枠
罫線４１０以外の外枠罫線を延長する。ステップ２１６
では、延長線４１０ｂと他の延長線とが交差するかを判
定する。延長線４１０ｂと他の延長線４１２ｂとが交差
するので、ステップ２１８に進む。ステップ２１８で
は、交点４１０ａを表の外枠線の交点とする。ステップ
２２０では、外枠罫線を検出する。これにより、図１７
の画像が得られる。Next, in step 206, as shown in FIG. 16, since the end point 410a of the outer frame rule 410 does not intersect with another outer frame rule, the process proceeds to step 208. In step 208, the extension line 410b is extended. Step 21
If the value is 0, the extension line 410b does not intersect with another outer frame ruled line, so that the process proceeds to step 214. In step 214, the outer frame ruled lines other than the outer frame ruled line 410 are extended. Step 216
Then, it is determined whether the extension line 410b intersects with another extension line. Since the extension line 410b intersects with another extension line 412b, the process proceeds to step 218. In step 218, the intersection 410a is set as the intersection of the outer frame line of the table. In step 220, an outer frame ruled line is detected. As a result, FIG.
Is obtained.

【００２５】図４は、上記表枠線の交点補正装置１０に
よる表の内部罫線の交点補正処理のＰＡＤ図である。FIG. 4 is a PAD diagram of the process of correcting the intersection of the internal ruled line of the table by the intersection correction device 10 for the table frame line.

【００２６】ステップ３００では、画像から内部罫線を
検出する。ステップ３０１では、表の内部罫線の一つに
着目してステップ３０２を実行することを、表の内部罫
線の本数だけ繰り返す。ステップ３０２では、着目して
いる一つの内部罫線の端点が他の罫線と交差しているか
どうかを判定する。交差している場合は、前記ステップ
３００に戻る。交差していない場合は、交点付近が消え
ているとみなして、ステップ３０４に進む。In step 300, an internal ruled line is detected from the image. In step 301, the execution of step 302 by focusing on one of the internal ruled lines in the table is repeated by the number of internal ruled lines in the table. In step 302, it is determined whether the end point of one internal ruled line of interest intersects another ruled line. If so, the process returns to step 300. If they do not intersect, it is considered that the vicinity of the intersection has disappeared, and the process proceeds to step 304.

【００２７】ステップ３０４では、着目している内部罫
線を、他の罫線と交差していない端点側に延長する。ス
テップ３０６では、前記ステップ３０４による延長線が
他の罫線と交差するかどうかを判定する。交差する場合
には、ステップ３０８に進む。交差しない場合には、前
記ステップ３００に戻る。ステップ３０８では、交点を
表の枠線の交点とする。ここで、延長線と交差する他の
罫線が複数存在するときは、端点に最も近い罫線との交
点を表の枠線の交点とする。In step 304, the internal ruled line of interest is extended to an end point that does not intersect with another ruled line. In step 306, it is determined whether or not the extension line in step 304 intersects another ruled line. If they intersect, go to step 308. If not, the process returns to step 300. In step 308, the intersection is set to the intersection of the table frame lines. Here, when there are a plurality of other ruled lines intersecting the extension line, the intersection with the ruled line closest to the end point is set as the intersection of the table frame line.

【００２８】上記ステップ３００からステップ３０８の
処理を、図１８〜図２０の具体例により説明する。ステ
ップ３００では、図１８に示すように外枠線を補正され
た画像から内部罫線４０４〜４０８，４１４〜４１８を
検出する。ステップ３０２では、図１９に示すように、
内部罫線４１８の端点４１８ａが他の罫線と交差してい
ないので、ステップ３０４に進む。ステップ３０４で
は、延長線４１８ｂを延ばす。ステップ３０６では、延
長線４１８ｂと他の罫線４０８，４１０が交差するの
で、ステップ３０８に進む。ステップ３０８では、延長
線４１８ｂが複数の他の罫線４０８，４１０と交差する
ので、端点４１８ａに最も近い他の罫線４０８を選択
し、それとの交点４１８ｃを表の枠線の交点とする。The processing from step 300 to step 308 will be described with reference to specific examples in FIGS. In step 300, the internal ruled lines 404 to 408 and 414 to 418 are detected from the image whose outer frame has been corrected as shown in FIG. In step 302, as shown in FIG.
Since the end point 418a of the internal ruled line 418 does not intersect with another ruled line, the process proceeds to step 304. In step 304, the extension line 418b is extended. In step 306, since the extension line 418b intersects with the other ruled lines 408 and 410, the process proceeds to step 308. In step 308, since the extension line 418b intersects with a plurality of other ruled lines 408 and 410, another ruled line 408 closest to the end point 418a is selected, and an intersection 418c with the selected ruled line 408 is set as the intersection of the table frame line.

【００２９】以上によって、図２０に示すように、消え
ていた枠線が復活するので、枠線認識部１０８は正しく
枠線を認識できる。すなわち、上記表認識装置２０によ
れば、表を正しく認識することが出来る。なお、上記ス
テップ２１２，２１８，３０８において、「交点補正の
対象となる端点と罫線もしくは端点同士の間の距離が基
準値を越える場合には、交点補正をしない」という規則
を加えてもよい。As described above, as shown in FIG. 20, the disappeared frame line is restored, so that the frame line recognition unit 108 can correctly recognize the frame line. That is, according to the table recognition device 20, the table can be correctly recognized. In steps 212, 218, and 308, a rule may be added that “if the distance between the endpoint to be corrected for intersection and the ruled line or the endpoint exceeds a reference value, intersection correction is not performed”.

【００３０】図２１は、従来例の一実施例の表枠線の交
点補正装置を含む光学文字読取装置を示すブロック図で
ある。この光学文字読取装置３０は、上述の交点補正装
置１０と、その交点補正装置１０にイメージスキャナを
介して画像を入力する画像入力部１０２と、前記交点補
正装置１０により補正した交点に基づいて表枠線の接続
関係を抽出しその接続関係に基づいて表枠線を認識する
枠線認識部１０８と、表枠線を認識するためのデータ
（例えば表のモデルにおける枠線の接続関係のデータ）
を格納している枠認識辞書１１０と、枠の中の文字行を
検出する文字行検出部９０２と、文字行中の文字を文字
認識辞書９０６と照合して認識する文字認識部９０４
と、文字認識結果を出力する文字認識結果出力部９０８
と、前記交点補正装置１０から枠線認識結果出力部１１
２までを制御する制御部９００とを具備している。FIG. 21 is a block diagram showing an optical character reading apparatus including an apparatus for correcting intersections of table frame lines according to one embodiment of the prior art. The optical character reading device 30 includes an intersection correction device 10 described above, an image input unit 102 that inputs an image to the intersection correction device 10 via an image scanner, and a display based on the intersection corrected by the intersection correction device 10. A frame line recognizing unit 108 that extracts the connection relation of the frame lines and recognizes the table frame line based on the connection relation, and data for recognizing the table frame line (for example, data of the connection relation of the frame line in the table model).
, A character line detection unit 902 that detects a character line in a frame, and a character recognition unit 904 that recognizes characters in a character line by comparing them with a character recognition dictionary 906.
And a character recognition result output unit 908 for outputting a character recognition result
From the intersection correction device 10 to the frame line recognition result output unit 11
And a control unit 900 for controlling up to two.

【００３１】図２２は、消えていた枠線を復活した表で
ある。文字４２２，４２４，４２６が表の枠（セル）中
にあり、記号４２８が表中にないことが明確に判る。こ
れに対して、図５では、枠線が消えているため、文字４
２２，４２４，４２６および記号４２８が表中にあるの
か否かが明確に判らない。FIG. 22 is a table in which the disappeared frame lines are restored. It can be clearly seen that the characters 422, 424, 426 are in the table frame (cell) and the symbol 428 is not in the table. On the other hand, in FIG. 5, the character 4
It is not clear whether 22, 424, 426 and the symbol 428 are in the table.

【００３２】かくして、上記光学文字読取装置３０によ
れば、表の中の文字を正しく認識することが出来る。Thus, according to the optical character reading device 30, the characters in the table can be correctly recognized.

【００３３】[0033]

【発明が解決しようとする課題】上記特開平８―１２５
８５５号公報に記載の、従来の交点かすれ補正方法で
は、罫線を外枠罫線と内部罫線に分け、それぞれについ
て交点のかすれ補正をしている。この方法では、四角形
の表の外枠罫線の補正は出来るが、階段形状のように四
角形でない表の外枠罫線の交点のかすれ補正に問題があ
った。以下、従来技術では補正が困難な交点のかすれ
を、図２３から図３２の具体例により説明する。SUMMARY OF THE INVENTION The above-mentioned JP-A-8-125
In the conventional intersection blur correction method described in Japanese Unexamined Patent Publication No. 855, a ruled line is divided into an outer frame ruled line and an inner ruled line, and the intersection blur correction is performed on each of the ruled lines. This method can correct the outer frame ruled line of the square table, but has a problem in correcting the blurring of the intersection of the outer frame ruled line of the non-rectangular table such as the step shape. Hereinafter, blurring of the intersection which is difficult to correct in the related art will be described with reference to specific examples of FIGS.

【００３４】図２３は、かすれのない入力画像の例であ
る。FIG. 23 is an example of an input image without blurring.

【００３５】図２４は、図２３の外枠の交点がかすれて
いる画像の例である。この図２４を入力画像として説明
する。FIG. 24 is an example of an image in which the intersections of the outer frames in FIG. 23 are blurred. This FIG. 24 will be described as an input image.

【００３６】図３のステップ２０２では、図２４の画像
から罫線を検出する。これにより、図２５の画像が得ら
れる。In step 202 of FIG. 3, ruled lines are detected from the image of FIG. Thereby, the image of FIG. 25 is obtained.

【００３７】ステップ２０３では、図２５の画像から外
枠罫線を検出する。これにより、図２６の画像が得られ
る。In step 203, outer frame ruled lines are detected from the image shown in FIG. Thereby, the image of FIG. 26 is obtained.

【００３８】ステップ２０６では、図２７に示すよう
に、外枠罫線２４１６の端点２４１６ａが他の外枠罫線
と交差しているかどうかを判定する。端点２４１６ａは
交差していないので、ステップ２０８に進む。ステップ
２０８では、延長線２４１６ｂを延ばす。ステップ２１
０では、延長線２４１６ｂと他の外枠罫線とが交差する
か否かを判定する。延長線２４１６ｂは外枠罫線２４０
６と交差するので、ステップ２１２に進む。ステップ２
１２では、交点２４０６ｃを表の外枠線の交点とする。
これにより、図２８の画像が得られる。In step 206, as shown in FIG. 27, it is determined whether or not the end point 2416a of the outer frame ruled line 2416 intersects another outer frame ruled line. Since the end points 2416a do not intersect, the process proceeds to step 208. In step 208, the extension line 2416b is extended. Step 21
At 0, it is determined whether or not the extension line 2416b intersects another outer frame ruled line. The extension line 2416b is the outer frame ruled line 240
Since it intersects with No. 6, the process proceeds to step 212. Step 2
In 12, the intersection 2406c is set as the intersection of the outer frame line of the table.
Thereby, the image of FIG. 28 is obtained.

【００３９】ステップ２１３では、図２８の画像から外
枠罫線を検出する。これにより、図２９の画像が得られ
る。In step 213, outer frame ruled lines are detected from the image shown in FIG. As a result, the image shown in FIG. 29 is obtained.

【００４０】次に、ステップ２０６では、図３０に示す
ように、外枠罫線２４０４の端点２４０４ａが他の外枠
罫線と交差していないので、ステップ２０８に進む。ス
テップ２０８では、延長線２４０４ｂを延ばす。ステッ
プ２１０では、延長線２４０４ｂは外枠罫線２９００と
交差するので、ステップ２１２に進む。ステップ２１２
では、交点２４０４ｃを表の外枠線の交点とする。これ
により、図３１の画像が得られる。Next, in step 206, as shown in FIG. 30, since the end point 2404a of the outer frame ruled line 2404 does not intersect with another outer frame ruled line, the process proceeds to step 208. In step 208, the extension line 2404b is extended. In step 210, since the extension line 2404b intersects the outer frame ruled line 2900, the process proceeds to step 212. Step 212
Then, the intersection 2404c is set as the intersection of the outer frame line of the table. Thereby, the image of FIG. 31 is obtained.

【００４１】ステップ２１３では、図３１の画像から外
枠罫線を検出する。これにより、図３２の画像が得られ
る。In step 213, outer frame ruled lines are detected from the image shown in FIG. As a result, the image shown in FIG. 32 is obtained.

【００４２】以上の処理によって得られた画像が図３３
である。これを図２３と比較すると、従来例では交点２
３１６ａに相当する交点を誤って補正していることがわ
かる。すなわち、図２３の外枠罫線２３１６は外枠罫線
２３０２と２３１６ａで交わっているのに対して、図３
３の外枠罫線２９００は交点２３１６ａを通過して罫線
２３０６と交わっている。The image obtained by the above processing is shown in FIG.
It is. This is compared with FIG. 23.
It can be seen that the intersection corresponding to 316a is incorrectly corrected. That is, while the outer frame ruled line 2316 in FIG. 23 intersects with the outer frame ruled line 2302 and 2316a, FIG.
The outer frame ruled line 2900 of No. 3 passes through the intersection 2316a and intersects with the ruled line 2306.

【００４３】そこで、本発明の目的は、四角形でない表
の表枠線の交点が消えている場合に、その交点を正しく
復活させる罫線の交点を補正する表枠線の交点補正装置
を提供することにある。Accordingly, an object of the present invention is to provide a table frame line intersection correction device for correcting an intersection point of a ruled line for correctly restoring the intersection point when the intersection of the table frame lines of a non-rectangular table has disappeared. It is in.

【００４４】[0044]

【課題を解決するための手段】第１の観点では、この発
明は、画像中の表枠線の交点が消えている場合に、その
消えている表枠線の交点を復活させる交点補正装置であ
って、画像中から横線分と縦線分とを検出する線分検出
手段と、検出した線分のかすれを補正するかすれ補正手
段と、線分から表の横罫線と縦罫線とを検出する罫線検
出手段と、検出した罫線中から表の外枠罫線を抽出する
外枠罫線抽出手段と、他の外枠罫線との交点が欠落した
端点をもつ交点欠落外枠罫線を検出する交点欠落外枠罫
線検出手段と、交点が欠落した端点側に交点欠落外枠罫
線を延長する交点欠落外枠罫線延長手段と、前記交点欠
落外枠罫線の延長線が他の外枠罫線と交差し、延長線が
所定の長さより短い場合はその交差した点を外枠罫線同
士の交点とする第１の外枠線交点復活手段と、前記交点
欠落外枠罫線の延長線が他の外枠罫線と交差しない場合
は他の外枠罫線を延長する他外枠罫線延長手段と、前記
交点欠落外枠罫線の延長線と前記他の外枠罫線の延長線
とが交差し、かつ、前記交点欠落外枠罫線の延長線と前
記他の外枠罫線の延長線の長さの和が所定の長さより短
い場合はその交差した点を外枠罫線同士の交点とする第
２の外枠線交点復活手段とを具備することを特徴とする
表枠線の交点補正装置を提供する。According to a first aspect of the present invention, there is provided an intersection correcting apparatus for recovering an intersection of a disappearing table frame line when the intersection of the table frame line in the image has disappeared. A line detecting means for detecting a horizontal line and a vertical line from an image; a blur correcting means for correcting a blur of the detected line; and a rule detecting a horizontal rule and a vertical rule of a table from the line. Detecting means, outer frame rule extracting means for extracting the outer frame rule of the table from the detected rule, and intersection missing outer frame detecting an intersection missing outer frame rule having an end point at which an intersection with another outer frame rule is missing Ruled line detecting means, intersection missing outer frame rule extending means for extending the intersection missing outer frame rule to the end point where the intersection is missing, and an extension of the intersection missing outer frame rule intersects another outer frame rule, Is shorter than the predetermined length, the intersection point is regarded as the intersection of the outer frame ruled lines. Outer frame line intersection revival means, if the extension line of the intersection missing outer frame rule line does not intersect with another outer frame rule line, extend another outer frame rule line extending means, and the intersection missing outer frame The extension line of the ruled line intersects with the extension line of the other outer frame rule line, and the sum of the extension line of the intersection missing outer frame rule line and the extension line of the other outer frame rule line is greater than a predetermined length. When the length is short, a second outer frame line intersection reverting means for setting the crossed point to the intersection of the outer frame ruled lines is provided.

【００４５】第２の観点では、この発明は、上記構成の
表枠線の交点補正装置と、光学的に読み取った光学読取
画像を前記交点補正装置に入力する画像入力手段と、前
記交点補正装置により補正した交点に基づいて表枠線を
認識する枠線認識手段と、その枠線認識手段による認識
結果に基づいて枠の中の文字行を認識する文字行認識手
段と、その文字行認識手段による認識結果に基づいて文
字行の中の文字を認識する文字認識手段と、その文字認
識手段による認識結果を出力する文字認識結果出力手段
とを具備したことを特徴とする光学式文字読取装置を提
供する。According to a second aspect of the present invention, there is provided an intersection correction device for a table frame having the above-described configuration, image input means for inputting an optically read image optically read to the intersection correction device, and an intersection correction device. Line recognition means for recognizing a table frame line based on the intersection corrected by the method, character line recognition means for recognizing a character line in a frame based on the recognition result by the frame line recognition means, and the character line recognition means An optical character reading device comprising: character recognition means for recognizing characters in a character line based on the recognition result by the character recognition means; and character recognition result output means for outputting a recognition result by the character recognition means. provide.

【００４６】[0046]

【発明の実施の形態】以下、本発明の一実施例を詳細に
説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described below in detail.

【００４７】図３４は、本発明の一実施例の表枠線の交
点補正装置による表の外枠罫線の交点補正処理のＰＡＤ
図である。図３４の処理は、前処理として図２の表抽出
処理を用いる。図３４において、ステップ２００番台の
処理は図３の処理と同じである。FIG. 34 is a PAD showing a process of correcting the intersection of the outer frame ruled line by the table frame intersection correction device according to one embodiment of the present invention.
FIG. The processing in FIG. 34 uses the table extraction processing in FIG. 2 as preprocessing. In FIG. 34, the processing in the 200s is the same as the processing in FIG.

【００４８】ステップ３４００では、表領域から切り出
された画像中の縦線分と横線分を例えば次の検出規則に
従って検出する。 （１）線分は、縦方向または横方向の線分であり、斜方
向の線分はノイズ成分である。 （２）線分は、所定の長さ以上であり、所定の長さより
短い線分はノイズ成分である。In step 3400, a vertical line segment and a horizontal line segment in the image cut out from the table area are detected in accordance with, for example, the following detection rule. (1) A line segment is a vertical or horizontal line segment, and a diagonal line segment is a noise component. (2) The line segment is longer than a predetermined length, and a line segment shorter than the predetermined length is a noise component.

【００４９】ステップ３４０１では、抽出した線分の一
つに着目してステップ３４０２を実行することを、抽出
した線分の本数だけ繰り返す。In step 3401, the process of executing step 3402 by focusing on one of the extracted line segments is repeated by the number of extracted line segments.

【００５０】ステップ３４０２では、線分のかすれを例
えば次のかすれ補正規則に従って補正する。 「線分の延長線上に他の線分が存在し、この２本の線分
の端点間隔が基準値γ以下であれば、２本の罫線を接続
する。」 ステップ３４０４では、かすれ補正後の線分から縦罫線
と横罫線を例えば次の検出規則にしたがって検出する。 （イ）罫線は、縦方向または横方向の線分であり、斜方
向の線分はノイズ成分である。 （ロ）罫線は、以下の条件（あ）と（い）のうち、少な
くとも１つを満たす。 （あ）罫線は、２つの端点の少なくとも１つが他の罫線
と交差しており、２つの端点とも他の罫線と交差してい
ない線分は罫線ではなくノイズ成分である。 （い）罫線は、所定の長さ以上であり、所定の長さより
短い線分はノイズ成分である。 検出規則（ロ）により、所定の長さ以上の線分は両端点
ともに他の罫線と交差していなくても罫線として検出さ
れ、所定の長さ未満の線分は少なくとも１つの端点が他
の罫線と交差しれば罫線として検出される。In step 3402, the blur of the line segment is corrected according to, for example, the following blur correction rule. “If there is another line segment on the extension of the line segment and the end point interval between these two line segments is equal to or smaller than the reference value γ, two ruled lines are connected.” In step 3404, after the blur correction, A vertical ruled line and a horizontal ruled line are detected from the line segment according to, for example, the following detection rule. (A) Ruled lines are vertical or horizontal line segments, and oblique line segments are noise components. (B) The ruled line satisfies at least one of the following conditions (a) and (i). (A) At least one of the two end points of the ruled line intersects with another ruled line, and a line segment at which neither of the two end points intersects another ruled line is a noise component, not a ruled line. (I) The ruled line is longer than a predetermined length, and a line segment shorter than the predetermined length is a noise component. According to the detection rule (b), a line segment longer than a predetermined length is detected as a ruled line even if both end points do not intersect with another ruled line, and a line segment shorter than the predetermined length has at least one end point of another line. If it crosses a ruled line, it is detected as a ruled line.

【００５１】ステップ２０３では、検出した罫線の中か
ら外枠罫線を抽出する。In step 203, an outer frame ruled line is extracted from the detected ruled lines.

【００５２】ステップ３４０６では、抽出した外枠罫線
の一つに着目して、ステップ２０６以下の処理を、抽出
した外枠罫線の本数だけ繰り返す。この処理は、表の外
側の外枠罫線から内側の外枠罫線の順に行う。In step 3406, focusing on one of the extracted outer frame ruled lines, the processing from step 206 onward is repeated by the number of extracted outer frame ruled lines. This process is performed in order from the outer frame ruled line to the inner outer frame ruled line of the table.

【００５３】ステップ２０６では、着目している一つの
外枠罫線の端点が他の外枠罫線と交差しているかどうか
を判定する。交差している場合は、前記ステップ３４０
６に戻る。交差していない場合は、交点付近が消えてい
るとみなし、ステップ２０８に進む。In step 206, it is determined whether or not the end point of one outer frame ruled line intersects another outer frame ruled line. If they intersect, go to step 340
Return to 6. If they do not intersect, it is considered that the vicinity of the intersection has disappeared, and the process proceeds to step 208.

【００５４】ステップ２０８では、着目している外枠罫
線を、他の外枠罫線と交差していない端点側に延長す
る。In step 208, the outer frame ruled line of interest is extended to an end point not intersecting with another outer frame ruled line.

【００５５】ステップ２１０では、前記ステップ２０８
による延長線が他の外枠罫線と交差するかどうかを判定
する。交差する場合には、ステップ３４０８に進む。交
差しない場合には、ステップ３４１０に進む。ステップ
３４０８では、着目した交点まで外枠罫線を延長した線
の長さが基準値α以下であるかどうかを判定する。α以
下であればステップ２１２に進む。αより大きければ、
ステップ３４１０に進む。ステップ２１２では、交点を
表の外枠線の交点とする。In step 210, step 208 is performed.
It is determined whether or not the extension line due to intersects with another outer frame ruled line. If they intersect, go to step 3408. If not, the process proceeds to step 3410. In step 3408, it is determined whether or not the length of the line obtained by extending the outer frame ruled line up to the intersection point of interest is equal to or smaller than the reference value α. If it is equal to or smaller than α, the process proceeds to step 212 If it is larger than α,
Proceed to step 3410. In step 212, the intersection is set to the intersection of the outer frame lines of the table.

【００５６】ステップ３４１０では、着目している外枠
罫線の交点が補正済かどうかを判定する。補正済であれ
ば、ステップ２１３に進む。補正していなければ、ステ
ップ３４１４に進む。ステップ２１３では、上記ステッ
プ２０３と同じ外枠罫線抽出処理を行う。ステップ３４
１２では、ステップ３４０６に戻る。At step 3410, it is determined whether or not the intersection of the focused outer frame ruled line has been corrected. If the correction has been made, the process proceeds to step 213. If not, the process proceeds to step 3414. In step 213, the same outer frame ruled line extraction processing as in step 203 is performed. Step 34
At 12, the process returns to step 3406.

【００５７】ステップ３４１４では、着目している外枠
罫線以外の外枠罫線の一つに着目して、ステップ２１４
以下の処理を、例えば以下の条件を満たす外枠罫線の数
だけ繰り返す。 （ａ）着目している外枠罫線を上に延長している場合に
は、表の上側の外枠罫線のみ。 （ｂ）着目している外枠罫線を下に延長している場合に
は、表の下側の外枠罫線のみ。 （ｃ）着目している外枠罫線を左に延長している場合に
は、表の左側の外枠罫線のみ。 （ｄ）着目している外枠罫線を右に延長している場合に
は、表の右側の外枠罫線のみ。 この処理は、表の外側の外枠罫線から内側の外枠罫線の
順に行う。At step 3414, one of the outer frame ruled lines other than the focused outer frame ruled line is focused on, and step 214 is executed.
The following processing is repeated by the number of outer frame ruled lines that satisfy the following conditions, for example. (A) When the outer frame ruled line of interest is extended upward, only the outer frame ruled line above the table is displayed. (B) When the outer frame ruled line of interest is extended downward, only the lower frame ruled line at the bottom of the table is used. (C) When the outer frame ruled line of interest is extended to the left, only the outer frame ruled line on the left side of the table is used. (D) If the outer frame ruled line of interest is extended to the right, only the outer frame ruled line on the right side of the table. This process is performed in order from the outer frame ruled line to the inner outer frame ruled line of the table.

【００５８】ステップ２１４では、着目している外枠罫
線以外の外枠罫線を延長する。In step 214, outer frame rules other than the outer frame rule of interest are extended.

【００５９】ステップ３４１６では、外枠罫線の延長線
同士が交差し、かつ、２本の延長線の長さの和が基準値
β以下であるかどうかを判定する。この２つの条件を満
たせばステップ２１８に進み、満たさなければステップ
３４１４に戻る。In step 3416, it is determined whether or not the extended lines of the outer frame ruled lines intersect with each other and whether the sum of the lengths of the two extended lines is equal to or smaller than the reference value β. If these two conditions are satisfied, the process proceeds to step 218; otherwise, the process returns to step 3414.

【００６０】ステップ２１８では、交点を表の外枠線の
罫線の交点とする。ステップ２２０では、上記ステップ
２０３と同じ外枠罫線抽出処理を行う。ステップ３４１
８では、ステップ３４１４の繰り返し処理を中断し、ス
テップ３４０６に戻る。In step 218, the intersection is set as the intersection of the ruled line of the outer frame of the table. In step 220, the same outer frame ruled line extraction processing as in step 203 is performed. Step 341
In step 8, the repetition process of step 3414 is interrupted, and the process returns to step 3406.

【００６１】図３４のステップ３４００からステップ３
４１２までの処理を、図２４と図３５〜図４３の具体例
により説明する。Steps 3400 to 3 in FIG.
The processing up to 412 will be described with reference to FIG. 24 and specific examples in FIGS.

【００６２】ステップ３４００では、図２４の画像から
縦線分と横線分を検出する。これにより、図３５の画像
が得られる。ステップ３４０２では、図３６に示すよう
に、連続性に基づく線分のかすれ補正を行う。図３６で
は、線分２４０２の延長線上に２４０４が存在し、端点
２４０２ａと２４０４ａの間の２４０４ｂの長さが基準
値γ以下なので、線分２４０２と２４０４とを接続す
る。この処理により、図３７の画像が得られる。ステッ
プ３４０４では、図３７の画像から罫線を検出する。こ
れにより、図３８の画像が得られる。ステップ２０３で
は、図３８の画像から外枠罫線を検出する。これによ
り、図３９の画像が得られる。ステップ２０６では、図
４０に示すように、外枠罫線２４１６の端点２４１６ａ
が他の外枠罫線と交差しているかどうかを判定する。端
点２４１６ａは交差していないので、ステップ２０８に
進む。In step 3400, a vertical line segment and a horizontal line segment are detected from the image shown in FIG. As a result, the image shown in FIG. 35 is obtained. In step 3402, as shown in FIG. 36, blurring correction of line segments based on continuity is performed. In FIG. 36, 2404 exists on the extension of the line segment 2402, and the length of 2404b between the end points 2402a and 2404a is equal to or smaller than the reference value γ, so that the line segments 2402 and 2404 are connected. By this processing, the image of FIG. 37 is obtained. In step 3404, ruled lines are detected from the image of FIG. As a result, the image shown in FIG. 38 is obtained. In step 203, outer frame ruled lines are detected from the image of FIG. As a result, the image shown in FIG. 39 is obtained. In step 206, as shown in FIG.
Is determined whether or not intersects with another outer frame ruled line. Since the end points 2416a do not intersect, the process proceeds to step 208.

【００６３】ステップ２０８では、図４０に示すよう
に、延長線２４１６ｄを延ばす。ステップ２１０では、
延長線２４１６ｄが他の外枠罫線とが交差するか否かを
判定する。延長線２４１６ｄは外枠罫線３７００と交差
するので、ステップ３４０８に進む。ステップ３４０８
では、延長線２４１６ｄの長さが基準値α以下なので、
ステップ２１２に進む。ステップ２１２では、交点２４
１６ｅを表の外枠線の交点とする。従って、図４１の画
像が得られる。ステップ３４１０では、外枠罫線２４１
６のかすれが補正済みなので、ステップ２１３に進む。
ステップ２１３では、図４１の画像から外枠罫線を検出
する。これにより、図４２の画像が得られる。ステップ
３４１２では、ステップ３４０６に戻る。しかし、全て
の外枠罫線が他の罫線と交差しているので、外枠罫線の
交点補正処理を終了する。In step 208, the extension 2416d is extended as shown in FIG. In step 210,
It is determined whether or not the extension line 2416d intersects another outer frame ruled line. Since the extension line 2416d intersects the outer frame ruled line 3700, the process proceeds to step 3408. Step 3408
Then, since the length of the extension line 2416d is equal to or less than the reference value α,
Proceed to step 212. In step 212, the intersection 24
Let 16e be the intersection of the outer frame lines in the table. Therefore, the image of FIG. 41 is obtained. In step 3410, the outer frame ruled line 241
Since the blurring of No. 6 has been corrected, the process proceeds to step 213.
In step 213, an outer frame ruled line is detected from the image of FIG. Thereby, the image of FIG. 42 is obtained. In step 3412, the process returns to step 3406. However, since all the outer ruled lines intersect with the other ruled lines, the process of correcting the intersection of the outer frame ruled lines ends.

【００６４】以上の処理の結果、罫線の交点のかすれが
補正された画像として図４３が得られる。図４３の罫線
は図２３の罫線と同じであるので、正しく外枠罫線のか
すれが補正されている。As a result of the above processing, FIG. 43 is obtained as an image in which the blur of the intersection of the ruled lines has been corrected. Since the ruled line in FIG. 43 is the same as the ruled line in FIG. 23, the blur of the outer frame ruled line is correctly corrected.

【００６５】次に、図３４の処理を、図４４〜図５１の
具体例により説明する。Next, the processing of FIG. 34 will be described with reference to specific examples of FIGS.

【００６６】ステップ３４００では、図４４の画像から
縦線分と横線分を検出する。これにより、図４５の画像
が得られる。ステップ３４０２では、かすれ補正の条件
を満たす罫線がないので、かすれ補正を行わない。ステ
ップ３４０４では、図４５の画像から罫線を検出する。
これにより、図４６の画像が得られる。In step 3400, a vertical line segment and a horizontal line segment are detected from the image shown in FIG. As a result, the image shown in FIG. 45 is obtained. In step 3402, there is no ruled line that satisfies the blurring correction condition, so that blurring correction is not performed. In step 3404, ruled lines are detected from the image of FIG.
As a result, the image shown in FIG. 46 is obtained.

【００６７】ステップ２０３では、図４６の画像から外
枠罫線を検出する。これにより、図４７の画像が得られ
る。In step 203, an outer frame ruled line is detected from the image shown in FIG. As a result, the image shown in FIG. 47 is obtained.

【００６８】ステップ２０６では、図４８に示すよう
に、外枠罫線４４００の端点４４００ａが他の外枠罫線
と交差しているかどうかを判定する。端点４４００ａは
交差していないので、ステップ２０８に進む。ステップ
２０８では、外枠罫線４４００を延長する。ステップ２
１０では、延長線４４００ｂと他の外枠罫線とが交差す
るか否かを判定する。図４８に示すように、延長線４４
００ｂはどの外枠罫線とも交差しないから、ステップ３
４１０に進む。ステップ３４１０では、外枠罫線４４０
０のかすれが補正されていないので、ステップ３４１４
に進む。ステップ２１４では、罫線４４００を右側に延
長しているので、表の最も右側（外側）の外枠罫線２４
１８を延長する。In step 206, as shown in FIG. 48, it is determined whether or not the end point 4400a of the outer frame ruled line 4400 intersects another outer frame ruled line. Since the end point 4400a does not intersect, the process proceeds to step 208. In step 208, the outer frame ruled line 4400 is extended. Step 2
At 10, it is determined whether or not the extension line 4400b intersects with another outer frame ruled line. As shown in FIG.
Since 00b does not intersect with any outer frame rule, step 3
Proceed to 410. In step 3410, the outer frame ruled line 440
Since the blurring of 0 has not been corrected, step 3414 is executed.
Proceed to. In step 214, since the ruled line 4400 is extended to the right, the rightmost (outer) outer frame ruled line 24
Extend 18

【００６９】ステップ３４１６では、図４９に示すよう
に、延長線４４００ｂと２４１８ｂが交差し、４４００
ｂと２４１８ｂの長さの和が基準値β以下かどうかを判
定する。この場合、延長線４４００ｂと２４１８ｂは交
差しているが、４４００ｂと２４１８ｂの長さの和が基
準値βを越えるので、ステップ２１４戻る。ステップ２
１４では、次に右側（外側）の外枠罫線２４１６を延長
する。In step 3416, as shown in FIG. 49, the extension lines 4400b and 2418b intersect and
It is determined whether the sum of the lengths of b and 2418b is equal to or smaller than a reference value β. In this case, the extension lines 4400b and 2418b intersect, but the process returns to step 214 because the sum of the lengths of 4400b and 2418b exceeds the reference value β. Step 2
At 14, the right (outer) outer frame ruled line 2416 is extended.

【００７０】ステップ３４１６では、図５０に示すよう
に、延長線４４００ｃと４４０２ｂが交差し、４４００
ｃと４４００ｂの長さの和が基準値β以下かどうかを判
定する。この場合、この２つの条件を満たすので、ステ
ップ２１８に進む。ステップ２１８では、交点４４０２
ｃを表の外枠線の交点とする。従って、図５１の画像が
得られる。In step 3416, as shown in FIG. 50, the extension lines 4400c and 4402b intersect and
It is determined whether the sum of the lengths of c and 4400b is equal to or smaller than a reference value β. In this case, since these two conditions are satisfied, the process proceeds to step 218. At step 218, the intersection 4402
Let c be the intersection of the outer frame lines in the table. Therefore, the image of FIG. 51 is obtained.

【００７１】ステップ２２０では、図５１の画像から外
枠罫線を検出する。これにより、図４２の画像が得られ
る。In step 220, outer frame ruled lines are detected from the image shown in FIG. Thereby, the image of FIG. 42 is obtained.

【００７２】ステップ３４１８では、ステップ３４０６
に戻る。しかし、全ての外枠罫線が他の罫線と交差して
いるので、外枠罫線の交点補正処理を終了する。In step 3418, step 3406
Return to However, since all the outer ruled lines intersect with the other ruled lines, the process of correcting the intersection of the outer frame ruled lines ends.

【００７３】以上の処理の結果、罫線の交点のかすれが
補正された画像として図４３が得られる。図４３の罫線
は図２３の罫線と同じであるので、正しく外枠罫線のか
すれが補正されている。As a result of the above processing, FIG. 43 is obtained as an image in which the blur of the intersection of the ruled lines has been corrected. Since the ruled line in FIG. 43 is the same as the ruled line in FIG. 23, the blur of the outer frame ruled line is correctly corrected.

【００７４】図５３は、光学式文字読取り装置の全体の
構成を示す。光学文字読取り装置は、認識対象である画
像をイメージスキャナや通信回線を介して入力する画像
入力部、画像入力部から入力されたデータや本願発明を
実行するプログラムを記録するメモリ、枠認識辞書や文
字認識辞書等を記憶する外部記憶装置、文字認識結果を
出力するディスプレイや外部への通信回線である認識結
果出力部、これら全体を制御するＣＰＵからなる。な
お、メモリには、計算機で通常利用されるような使用が
可能であり、本願で言えば、上記プログラムを実行する
際の、辞書のコピーや認識途中の画像入力部からのデー
タ等の記憶も可能である。FIG. 53 shows the overall structure of the optical character reader. The optical character reading device includes an image input unit for inputting an image to be recognized via an image scanner or a communication line, a memory for recording data input from the image input unit and a program for executing the present invention, a frame recognition dictionary, It comprises an external storage device for storing a character recognition dictionary and the like, a display for outputting a character recognition result and a recognition result output unit which is a communication line to the outside, and a CPU for controlling the whole. In addition, the memory can be used as normally used in a computer. In the present application, when executing the above-described program, copying of a dictionary and storage of data from an image input unit during recognition are also performed. It is possible.

【００７５】図５２は、本発明の一実施例の表枠線の交
点補正を含む光学式文字読取を実行するプログラムのブ
ロック図である。この光学式文字読取り装置（プログラ
ム）５０は、画像中の表枠線の交点が消えている場合に
その消えている表枠線の交点を復活させる交点補正部４
０と、その交点補正装置４０により補正した交点に基づ
いて画像中の表枠線の接続関係を抽出しその接続関係に
基づいて表枠線を認識する枠線認識部１０８と、表枠線
を認識するためのデータ（例えば表のモデルにおける枠
線の接続関係のデータ）を格納している枠認識辞書１１
０と、枠の中の文字行を検出する文字行検出部９０２
と、文字行中の文字を文字認識辞書９０６と照合して認
識する文字認識部９０４から構成される。こらら各部の
実行内容は前述の通りである。さらに、これら各部を制
御する制御部５２００とから構成される。制御部５２０
０は、図５３の画像入力部から入力された画像データを
交点補正部４０、枠線認識部１０８、文字行検出部９０
２、文字認識部９０４を制御して、入力された画像を認
識し、認識結果を図５３の認識結果出力部へ出力する。FIG. 52 is a block diagram of a program for executing the optical character reading including the correction of the intersection of the table frame lines according to the embodiment of the present invention. The optical character reading device (program) 50 includes an intersection correction unit 4 that, when an intersection of a table frame line in an image has disappeared, restores the intersection of the disappeared table frame line.
0, a frame line recognizing unit 108 that extracts a connection relationship of the table frame lines in the image based on the intersection corrected by the intersection correction device 40, and recognizes the table frame line based on the connection relationship. A frame recognition dictionary 11 storing data for recognition (for example, data of connection relation of frame lines in a model of a table).
0 and a character line detection unit 902 that detects a character line in the frame
And a character recognizing unit 904 for recognizing characters in a character line by collating them with a character recognition dictionary 906. The contents of execution of these units are as described above. Further, a control unit 5200 for controlling these units is provided. Control unit 520
0 indicates that the image data input from the image input unit in FIG. 53 is to be processed by the intersection correction unit 40, the frame line recognition unit 108, and the character line detection unit 90.
2. It controls the character recognition unit 904 to recognize the input image and outputs the recognition result to the recognition result output unit in FIG.

【００７６】なお、枠認識辞書１１０の実現例は、前記
論文「枠罫線情報を用いた帳票文書の構造認識」に記載
されている。An example of the implementation of the frame recognition dictionary 110 is described in the above-mentioned paper "Structural Recognition of Form Documents Using Frame Ruled Line Information".

【００７７】光学式文字読取装置５０では、前記交点補
正装置４０の作用により、図２４や図４４の画像を入力
しても、図２３に示すように消えていた枠線を復活す
る。したがって、枠線認識部１０８は正しく枠線を認識
できる。すなわち、上記光学式文字読取装置５０によれ
ば、表を正しく認識することが出来る。In the optical character reading device 50, even if the image of FIG. 24 or FIG. 44 is inputted, the disappeared frame line is restored as shown in FIG. 23 by the operation of the intersection correction device 40. Therefore, the frame line recognition unit 108 can correctly recognize the frame line. That is, according to the optical character reading device 50, the table can be correctly recognized.

【００７８】さらに、文字２３２０や下線２３２２が表
の枠（セル）中にあることが明確にわかる。これに対し
て、図２４や図４４では、枠線が消えているため、文字
２３２０や下線２３２２が表の枠（セル）中にあるのか
否かが明確にわからない。かくして、上記光学文字読取
装置５０によれば、表の中の文字を正しく認識すること
が出来る。Further, it can be clearly seen that the character 2320 and the underline 2322 are in the table frame (cell). On the other hand, in FIG. 24 and FIG. 44, since the frame line has disappeared, it is not clearly known whether the character 2320 or the underline 2322 is in the table frame (cell). Thus, according to the optical character reading device 50, the characters in the table can be correctly recognized.

【００７９】[0079]

【発明の効果】本発明の表枠線の交点補正装置によれ
ば、形が四角形でない表の枠線の交点が消えている場合
に、その交点を正しく復活させることが出来る。本発明
の光学文字読取装置によれば、表の中の文字を正しく認
識する精度が高くなる。According to the apparatus for correcting the intersection of the table frame lines of the present invention, when the intersection of the frame lines of the table having a non-rectangular shape disappears, the intersection can be correctly restored. According to the optical character reading device of the present invention, the accuracy of correctly recognizing characters in a table is improved.

【図面の簡単な説明】[Brief description of the drawings]

【図１】従来例の一実施例の表枠線の交点補正装置を含
む表認識装置を示すブロック図である。FIG. 1 is a block diagram showing a table recognition device including a table frame line intersection correction device according to an embodiment of the related art.

【図２】従来例の一実施例の表枠線の交点補正装置によ
る表抽出処理のＰＡＤ図である。FIG. 2 is a PAD diagram of a table extraction process performed by a table frame line intersection correction device according to an embodiment of the related art.

【図３】従来例の一実施例の表枠線の交点補正装置によ
る表の外枠罫線の交点補正処理のＰＡＤ図である。FIG. 3 is a PAD diagram of a process for correcting an intersection of a ruled line of an outer frame of a table by a device for correcting an intersection of a table frame line according to an embodiment of the related art.

【図４】従来例の一実施例の表枠線の交点補正装置によ
る表の内部罫線の交点補正処理のＰＡＤ図である。FIG. 4 is a PAD diagram of an intersection correction process of an internal ruled line of a table by a table frame line intersection correction device according to an embodiment of the related art.

【図５】入力された画像の例示図である。FIG. 5 is a view showing an example of an input image.

【図６】輪郭追跡の説明図である。FIG. 6 is an explanatory diagram of contour tracing.

【図７】表領域の切り出し後の画像の例示図である。FIG. 7 is an illustration of an image after cutting out a table area.

【図８】罫線検出後の画像の例示図である。FIG. 8 is an exemplary diagram of an image after a ruled line is detected.

【図９】外枠罫線抽出後の画像の例示図である。FIG. 9 is a view showing an example of an image after outer frame ruled lines are extracted.

【図１０】外枠罫線の交点補正の第１例の説明図であ
る。FIG. 10 is an explanatory diagram of a first example of an intersection correction of an outer frame ruled line.

【図１１】外枠罫線の復活の第１例の説明図である。FIG. 11 is an explanatory diagram of a first example of restoration of an outer frame ruled line.

【図１２】外枠罫線の交点補正の第１例の後の画像の例
示図である。FIG. 12 is an illustration of an image after the first example of intersection correction of the outer frame ruled line.

【図１３】外枠罫線の交点補正の第２例の後の画像の例
示図である。FIG. 13 is an illustration of an image after the second example of the intersection correction of the outer frame ruled line.

【図１４】外枠罫線の交点補正の第３例の説明図であ
る。FIG. 14 is an explanatory diagram of a third example of the intersection correction of the outer frame ruled line.

【図１５】外枠罫線の交点補正の第３例の後の画像の例
示図である。FIG. 15 is an illustration of an image after the third example of the intersection correction of the outer frame ruled line.

【図１６】外枠罫線の交点補正の第４例の説明図であ
る。FIG. 16 is an explanatory diagram of a fourth example of the intersection correction of the outer frame ruled line.

【図１７】外枠罫線の交点補正の第４例の後の画像の例
示図である。FIG. 17 is an illustration of an image after the fourth example of the intersection correction of the outer frame ruled line.

【図１８】内部罫線抽出後の画像の例示図である。FIG. 18 is a view showing an example of an image after extracting an internal ruled line.

【図１９】内部罫線の交点補正の説明図である。FIG. 19 is an explanatory diagram of an intersection correction of an internal ruled line.

【図２０】消えていた枠線を復活後の画像の例示図であ
る。FIG. 20 is a view showing an example of an image after a frame line that has disappeared is restored.

【図２１】従来例の一実施例の表枠線の交点補正装置を
含む光学文字読取装置を示すブロック図である。FIG. 21 is a block diagram showing an optical character reading device including a device for correcting intersections of table frame lines according to one embodiment of the prior art.

【図２２】消えていた枠線を復活した後の表の画像の例
示図である。FIG. 22 is a view showing an example of the image of the table after the disappeared frame line is restored.

【図２３】かすれのない入力画像の例示図である。FIG. 23 is a view showing an example of an input image without blurring.

【図２４】交点にかすれのある入力画像の例示図であ
る。FIG. 24 is an illustration of an input image with a blur at intersections.

【図２５】罫線検出後の画像の例示図である。FIG. 25 is a view showing an example of an image after a ruled line is detected.

【図２６】外枠罫線抽出後の画像の例示図である。FIG. 26 is an illustration of an image after outer frame ruled line extraction.

【図２７】外枠罫線の交点補正の説明図である。FIG. 27 is an explanatory diagram of the intersection correction of the outer frame ruled line.

【図２８】誤った外枠罫線の復活の第１例の説明図であ
る。FIG. 28 is an explanatory diagram of a first example of restoration of an incorrect outer frame ruled line.

【図２９】誤った外枠罫線の交点補正の第１例の後の画
像の例示図である。FIG. 29 is a view showing an example of an image after the first example of the correction of the intersection of erroneous outer ruled lines;

【図３０】誤った外枠罫線の復活の第２例の説明図であ
る。FIG. 30 is an explanatory diagram of a second example of the restoration of an incorrect outer frame ruled line.

【図３１】誤った外枠罫線の交点補正の第２例の後の画
像の例示図である。FIG. 31 is a view showing an example of an image after a second example of the intersection correction of an incorrect outer frame ruled line;

【図３２】外枠罫線抽出後の画像の例示図である。FIG. 32 is a view showing an example of an image after outer frame ruled lines are extracted.

【図３３】消えていた枠線を誤って復活した後の表の画
像の例示図である。FIG. 33 is a view showing an example of an image of a table after a frame line that has disappeared is erroneously restored.

【図３４】本発明の一実施例の表枠線の交点補正装置に
よる表の外枠罫線の交点補正処理のＰＡＤ図である。FIG. 34 is a PAD diagram of an intersection correction process for an outer frame ruled line by a table frame line intersection correction device according to an embodiment of the present invention.

【図３５】線分検出後の画像の例示図である。FIG. 35 is an exemplary diagram of an image after line segment detection.

【図３６】線分のかすれ補正の説明図である。FIG. 36 is an explanatory diagram of blur correction of line segments.

【図３７】線分のかすれ補正後の画像の例示図である。FIG. 37 is a view showing an example of an image after blur correction of a line segment;

【図３８】罫線検出後の画像の例示図である。FIG. 38 is a view showing an example of an image after a ruled line is detected.

【図３９】外枠罫線抽出後の画像の例示図である。FIG. 39 is a view showing an example of an image after the outer frame ruled line is extracted.

【図４０】外枠罫線の交点補正の第５例の説明図であ
る。FIG. 40 is an explanatory diagram of a fifth example of the intersection correction of the outer frame ruled line.

【図４１】外枠罫線の交点補正の第５例の後の画像の例
示図である。FIG. 41 is an illustration of the image after the fifth example of the intersection correction of the outer frame ruled line.

【図４２】外枠罫線抽出後の画像の例示図である。FIG. 42 is a view showing an example of an image after the outer frame ruled line is extracted;

【図４３】消えていた枠線を復活した後の画像の例示図
である。FIG. 43 is an exemplary view of an image after restoring a disappeared frame line.

【図４４】交点にかすれのある入力画像の例示図であ
る。FIG. 44 is a view showing an example of an input image in which intersections are blurred.

【図４５】線分検出後の画像の例示図である。FIG. 45 is an illustration of an image after line detection.

【図４６】罫線検出後の画像の例示図である。FIG. 46 is a view showing an example of an image after a ruled line is detected.

【図４７】外枠罫線抽出後の画像の例示図である。FIG. 47 is a view showing an example of an image after extracting an outer frame ruled line;

【図４８】外枠罫線の交点補正の第６例の説明図であ
る。FIG. 48 is an explanatory diagram of a sixth example of the intersection correction of the outer frame ruled line.

【図４９】外枠罫線の交点補正の第６例の説明図であ
る。FIG. 49 is an explanatory diagram of a sixth example of the intersection correction of the outer frame ruled line.

【図５０】外枠罫線の交点補正の第６例の説明図であ
る。FIG. 50 is an explanatory diagram of a sixth example of the intersection point correction of the outer frame ruled line.

【図５１】外枠罫線の交点補正の第６例の後の画像の例
示図である。FIG. 51 is an illustration of the image after the sixth example of the intersection correction of the outer frame ruled line;

【図５２】本発明の一実施例の表枠線の交点補正装置を
含む光学文字読取りプログラムを示すブロック図であ
る。FIG. 52 is a block diagram showing an optical character reading program including an apparatus for correcting intersections of table frame lines according to an embodiment of the present invention.

【図５３】本発明の一実施例の表枠線の交点補正装置を
含む光学文字読取装置を示すブロック図である。FIG. 53 is a block diagram showing an optical character reading device including a device for correcting an intersection of table frame lines according to an embodiment of the present invention.

【符号の説明】[Explanation of symbols]

１０，４０：交点補正装置、２０：表認識装置、３０，
５０：光学式文字読取装置、１００，９００，５２０
０：制御部、１０２：画像入力部、１０８：枠線認識
部、１１０：枠認識辞書、１１２：枠線認識結果出力
部、９０２：文字行検出部、９０６：文字認識辞書、９
０４：文字認識部、９０８：文字認識結果出力部。10, 40: intersection correction device, 20: table recognition device, 30,
50: Optical character reader, 100, 900, 520
0: control unit, 102: image input unit, 108: frame line recognition unit, 110: frame recognition dictionary, 112: frame line recognition result output unit, 902: character line detection unit, 906: character recognition dictionary, 9
04: character recognition unit, 908: character recognition result output unit.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 古賀 昌史 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 中島 和樹 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 ──────────────────────────────────────────────────の Continuing on the front page (72) Inventor Masafumi Koga 1-280 Higashi Koikekubo, Kokubunji-shi, Tokyo Inside the Hitachi, Ltd. Central Research Laboratory (72) Inventor Kazuki Nakajima 1-280 Higashi Koikekubo, Kokubunji-shi, Tokyo Hitachi Central Research Laboratory

Claims (2)

【特許請求の範囲】[Claims] 【請求項１】画像中の表枠線の交点が消えている場合
に、その消えている表枠線の交点を復活させる交点補正
装置であって、 画像中から横線分と縦線分とを検出する線分検出手段
と、 検出した線分のかすれを補正するかすれ補正手段と、 線分から表の横罫線と縦罫線とを検出する罫線検出手段
と、 検出した罫線中から表の外枠罫線を抽出する外枠罫線抽
出手段と、 他の外枠罫線との交点が欠落した端点をもつ交点欠落外
枠罫線を検出する交点欠落外枠罫線検出手段と、 交点が欠落した端点側に交点欠落外枠罫線を延長する交
点欠落外枠罫線延長手段と、 前記交点欠落外枠罫線の延長線が他の外枠罫線と交差
し、延長線が所定の長さより短い場合はその交差した点
を外枠罫線同士の交点とする第１の外枠線交点復活手段
と、 前記交点欠落外枠罫線の延長線が他の外枠罫線と交差し
ない場合は他の外枠罫線を延長する他外枠罫線延長手段
と、 前記交点欠落外枠罫線の延長線と前記他の外枠罫線の延
長線とが交差し、かつ、前記交点欠落外枠罫線の延長線
と前記他の外枠罫線の延長線の長さの和が所定の長さよ
り短い場合はその交差した点を外枠罫線同士の交点とす
る第２の外枠線交点復活手段とを具備することを特徴と
する表枠線の交点補正装置。An intersection correction device for recovering an intersection of a table frame line that has disappeared when the intersection point of the table frame line in the image has disappeared. Line segment detecting means for detecting, blur correction means for correcting blurring of detected line segments, ruled line detecting means for detecting horizontal ruled lines and vertical ruled lines of the table from the line segments, and outer frame ruled lines of the table from the detected ruled lines Frame line extraction means for extracting a line, an intersection point missing outer frame rule line detecting means for detecting an intersection missing outer frame rule line having an end point at which an intersection point with another outer frame rule line is missing, and an intersection point missing on the end point where the intersection point is missing An intersection missing outer frame rule extending means for extending the outer frame rule; and an extension line of the intersection missing outer frame rule intersects with another outer frame rule. If the extension line is shorter than a predetermined length, the intersection point is excluded. A first outer frame line intersection revival means which is an intersection between frame ruled lines; If the extension of the frame rule does not intersect with the other frame rule, another frame rule extension means for extending the other frame rule, an extension of the intersection-missing frame rule and extension of the other frame rule. If the line intersects, and the sum of the length of the extension of the intersection missing outer frame rule and the length of the extension of the other outer frame rule is shorter than a predetermined length, the crossed point is defined by the outer frame rules. An intersection correction device for a table frame line, comprising: a second outer frame line intersection restoration means serving as an intersection. 【請求項２】請求項１に記載した表枠線の交点補正装置
と、 光学的に読み取った光学読取画像を前記交点補正装置に
入力する画像入力手段と、前記交点補正装置により補正
した交点に基づいて表枠線を認識する枠線認識手段と、
その枠線認識手段による認識結果に基づいて枠の中の文
字行を認識する文字行認識手段と、その文字行認識手段
による認識結果に基づいて文字行の中の文字を認識する
文字認識手段と、その文字認識手段による認識結果を出
力する文字認識結果出力手段とを具備したことを特徴と
する光学式文字読取装置。2. An intersection correction device for a table frame line according to claim 1, image input means for inputting an optically read image optically read to said intersection correction device, and an intersection corrected by said intersection correction device. Frame line recognition means for recognizing a table frame line based on the frame line;
Character line recognizing means for recognizing a character line in a frame based on the recognition result by the frame line recognizing means; and character recognizing means for recognizing a character in the character line based on the recognition result by the character line recognizing means. And a character recognition result output means for outputting a result of recognition by the character recognition means.