JPH1166231A

JPH1166231A - Device and method for character recognition

Info

Publication number: JPH1166231A
Application number: JP9227503A
Authority: JP
Inventors: Kentaro Sekine; 健太郎関根; Yoichi Shirakawa; 洋一白川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1997-08-08
Filing date: 1997-08-08
Publication date: 1999-03-09

Abstract

PROBLEM TO BE SOLVED: To automatically perform a character recognition processing of high precision for an image, which is divided and inputted by combining the recognition results of the image, which is divided into areas, into one. SOLUTION: An image input part 10 inputs a document of size which is larger than a maximum effective read size by dividing it into areas, so that more than one character is repeated at least in the divided parts. A layout analysis part 30 takes a layout analysis of images corresponding to the divided areas and extracts layout information such as area attributes and coordinate information on the areas. A character recognition part 50 performs a character recognizing process, based on the images stored in an image storage part 20 and pieces of corresponding layout information stored in a layout information storage part 40. A character-combining part 90 combines characters stored in a character information storage part 60 according to the corresponding result obtained by a combined line detection part 70 and the corresponding result obtained by a combined character detection part 80 so as to acquire character recognition information on the whole document.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、原稿を画像として
入力し、その画像に対してレイアウト解析及び文字認識
を行なう文字認識装置に関し、特に複数の領域に分割さ
れた原稿の文字認識を簡単かつ高精度に行なうことを可
能とする文字認識装置及びその文字認識方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a character recognition apparatus for inputting a document as an image and performing layout analysis and character recognition on the image. The present invention relates to a character recognition device and a character recognition method capable of performing the operation with high accuracy.

【０００２】[0002]

【従来の技術】従来、文字認識装置においては、スキャ
ナ等の画像入力装置から印刷文書を読み込み、読み込ん
だ文書画像の中の文字の領域を解析により抽出し、抽出
した文字に対して文字認識を行なって文字コードを取得
する方式が提案されている。2. Description of the Related Art Conventionally, a character recognition apparatus reads a print document from an image input device such as a scanner, extracts a character area in the read document image by analysis, and performs character recognition on the extracted characters. A method has been proposed in which a character code is obtained by executing a line.

【０００３】このような従来技術の一例は、特開昭６４
−１５８８９号公報に記載されている。この公報に記載
された方式は、文字の領域を解析する際に、一意に定ま
る上下または左右の切り出し方向を交互に規定しなが
ら、例えば、段落、行、文字の順に、大局的領域から局
小的領域に切り出しを行なう。切り出された領域につい
ては、その大きさや並び等の位置関係の属性から、予め
定めた基本要素に分類した後、これらの要素の構造化を
行ない、配置関係を階層構造として抽出するものであ
る。One example of such a prior art is disclosed in
No. -15889. According to the method described in this publication, when analyzing a character area, a uniquely determined upper or lower or left and right cutout direction is alternately defined, for example, in the order of paragraphs, lines, and characters, from the global area to the local small area. Cut out the target area. The cut-out areas are classified into predetermined basic elements from the attributes of the positional relation such as the size and arrangement, and then these elements are structured, and the arrangement relation is extracted as a hierarchical structure.

【０００４】この様な文字認識装置では、画像入力装置
としてスキャナ等の機器が使用されるが、その最大有効
読み取りサイズは有限であるため、これより大きなサイ
ズの原稿を読み込むには、原稿を複数回に分けて入力
し、これらを結合して原稿全体を再生する必要があるこ
のような目的のために、複数回に分けて入力した画像を
結合する技術が提案されており、その一例が特開平１−
２２９５５９号公報に記載されている。In such a character recognition device, a device such as a scanner is used as an image input device. However, since the maximum effective reading size is finite, a plurality of documents must be read to read a document of a larger size. For such a purpose that it is necessary to input the data in multiple times and combine them to reproduce the entire original, a technique of combining images input in multiple times has been proposed. Kaihei 1-
No. 229559.

【０００５】この特開平１−２２９５５９号公報に開示
された装置は、画像入力装置の最大有効読み取りサイズ
より大きな原稿を複数の領域に分割して入力し、それら
複数の画像を結合する装置であり、画像を複数の領域に
分割して入力する画像入力手段と、分割されたそれぞれ
の画像を記憶する記憶手段と、予め原稿に付与された分
割指示マークの位置情報を画像中から検出するマーク位
置情報検出手段と、マーク位置情報に基づいて分割して
記憶された画像を１つに結合する結合手段から構成され
ている。The device disclosed in Japanese Patent Application Laid-Open No. 1-229559 is a device which divides a document larger than the maximum effective reading size of an image input device into a plurality of areas, inputs the divided area, and combines the plurality of images. Image input means for dividing and inputting an image into a plurality of areas, storage means for storing each of the divided images, and a mark position for detecting position information of a division instruction mark previously given to the document from the image It is composed of information detecting means and combining means for combining images stored based on the mark position information into one.

【０００６】読み取りを行なう原稿には、予め画像入力
装置の最大有効読み取りサイズより小さな領域毎に、分
割位置を特定するための分割指示マークを付与してお
き、それぞれの画像中に少なくとも複数個の分割指示マ
ークを含むように画像を読み込む。そして、マーク位置
情報検出手段により、各画像の分割指示マークを検出
し、位置情報を基に対応するマークが一致するように画
像を１つに結合するものである。A document to be read is provided in advance with a division instruction mark for specifying a division position for each area smaller than the maximum effective reading size of the image input device, and at least a plurality of division marks are provided in each image. The image is read so as to include the division instruction mark. Then, the division instruction mark of each image is detected by the mark position information detecting means, and the images are combined into one such that the corresponding marks match based on the position information.

【０００７】さらに、同様の従来の技術の一例が、特開
平２−２３６６８８号公報に記載されている。この公報
に開示された装置も、画像入力装置の最大有効読み取り
サイズより大きな原稿を複数の領域に分割して入力し、
それら複数の画像を結合する装置である。その構成は、
画像を複数の領域に分割して入力する手段と、結合位置
合わせを行なう手段と、特定領域の画像処理を行なう手
段から成っている。Further, an example of the same conventional technique is described in Japanese Patent Application Laid-Open No. 2-236688. The device disclosed in this publication also inputs a document larger than the maximum effective reading size of the image input device by dividing the document into a plurality of areas,
This is a device for combining the plurality of images. Its composition is
It comprises means for dividing and inputting an image into a plurality of areas, means for performing joint position alignment, and means for performing image processing of a specific area.

【０００８】この装置では、分割して読み込んだ画像に
対して黒画素の膨張処理を施し、連結位置を変更しなが
らそれぞれの画像を重ね合せを行なう。重なり領域にお
いては、重ね合せた画像の差が最も少なくなるところを
連結位置として決定し、画像を結合する。このとき、膨
張した黒画素に対して縮退処理を施している。In this apparatus, the image read in a divided manner is subjected to black pixel expansion processing, and the respective images are superimposed while changing the connection position. In the overlapping area, a position where the difference between the superimposed images is minimized is determined as a connection position, and the images are combined. At this time, the expanded black pixel is subjected to the degeneration processing.

【０００９】[0009]

【発明が解決しようとする課題】上述した画像入力装置
から原稿を画像として入力し、その画像に対してレイア
ウト解析処理及び文字認識処理を行ない、認識結果とし
て文字コードを出力する文字認識装置においては、スキ
ャナ等の画像入力装置の最大有効読み取りサイズより大
きなサイズの原稿を読み込むには、複数回に分けて入力
し、これらを結合して原稿全体を再生する必要がある
が、原稿と同一の認識結果を得るためには、分割して入
力した画像に対する複数の認識結果を、別途手作業によ
って結合する作業が必要になるという問題点がある。そ
の理由は、これらの文字認識装置では、１つの入力画像
に対して１つの認識結果が出力されるため、複数の画像
に対しては複数の認識結果が出力されるからである。A character recognition device which inputs a document as an image from the image input device described above, performs a layout analysis process and a character recognition process on the image, and outputs a character code as a recognition result. In order to read a document larger than the maximum effective reading size of an image input device such as a scanner, it is necessary to input multiple times and combine them to reproduce the entire document. In order to obtain the result, there is a problem in that a plurality of recognition results for the divided and input images must be separately manually combined. This is because these character recognition devices output one recognition result for one input image, and thus output a plurality of recognition results for a plurality of images.

【００１０】また、上記の問題点を回避するために、複
数の領域に分割して入力された原稿の画像を文字認識を
開始する前に結合し、結合した画像に対して文字認識処
理を行なう装置が提案されているが、それらの装置で
は、分割して入力した画像の結合位置を示すための分割
指示マークを予め原稿に付与する必要があるため、分割
指示マークを付与できない原稿については画像の結合を
行なうことができないという問題点がある。その理由
は、対象とする原稿に対して必ずしも分割指示マークを
付与することが可能ではないからである。Further, in order to avoid the above-mentioned problems, images of a document which has been divided into a plurality of areas and input are combined before character recognition is started, and character recognition processing is performed on the combined image. Devices have been proposed, but in those devices, it is necessary to add a division instruction mark to the document in advance to indicate the combining position of the divided and input images. Cannot be combined. The reason is that it is not always possible to add a division instruction mark to a target document.

【００１１】さらに、複数の領域に分割して入力された
原稿の画像を文字認識を開始する前に結合し画像を結合
する従来の装置では、文字認識において認識結果に誤り
が発生しやすくなるという問題点もある。その理由は、
入力画像に画像入力装置の光学的ひずみやずれの特性が
原因で伸びや縮みが生じるため、画像の結合部分に不連
続部分が生じるからである。従来のマークを付与する方
法及びマークを付加しない方法の何れにおいても、これ
らのずれを自動的に吸収する方法は確立されていない。Furthermore, in a conventional apparatus that combines an image of an original document divided into a plurality of areas and inputted before starting character recognition, an error is likely to occur in the recognition result in character recognition. There are also problems. The reason is,
This is because the input image is stretched or shrunk due to the optical distortion or misalignment characteristics of the image input device, so that a discontinuous portion is generated at a joint portion of the image. In any of the conventional method of adding a mark and the method of not adding a mark, a method of automatically absorbing these shifts has not been established.

【００１２】本発明の目的は、繁雑な操作を行なうこと
なく、原稿を複数の領域に分割して入力された画像から
自動的に精度の高い文字認識処理を可能とする文字認識
装置及びその文字認識方法を提供することにある。SUMMARY OF THE INVENTION It is an object of the present invention to provide a character recognition apparatus and a character recognition apparatus capable of automatically performing high-precision character recognition processing on an input image by dividing a document into a plurality of areas without performing complicated operations. It is to provide a recognition method.

【００１３】[0013]

【課題を解決するための手段】上記目的を達成する本発
明の文字認識装置は、原稿を量子化された画像として入
力する画像入力手段によって、前記原稿を各領域に含ま
れる文字が少なくとも１文字以上が重複して存在するよ
うに複数の領域に分割し、各領域毎に入力された画像を
格納する画像記憶手段と、前記画像記憶手段に格納され
た画像に対し、レイアウト解析処理を行ない、少なくと
も文書の行、文字の領域属性や領域の座標情報を含むレ
イアウト情報を抽出するレイアウト解析手段と、レイア
ウト解析によって得られたレイアウト情報を格納するレ
イアウト情報記憶手段と、前記画像記憶手段に格納され
ている画像と前記レイアウト情報記憶手段に格納されて
いるレイアウト情報とに基づいて、画像内の文字に対応
する文字コードや、候補文字の文字コード、文字の座標
を含む文字認識情報を得る文字認識手段と、前記文字認
識手段によって得られた文字認識情報を格納する文字情
報記憶手段と、前記レイアウト情報記憶手段に格納され
たレイアウト情報をもとに、分割された各領域の画像中
の含まれる行のうちで、互いに相対応する行を検出する
結合行検出手段と、前記結合行検出手段によって得られ
た対応結果と前記文字情報記憶手段に格納された文字認
識情報をもとに、相対応する行に含まれる文字のうち
で、互いに重複する文字を検出して前記複数の領域に対
応する複数の前記文字認識情報の結合位置を検出する結
合文字検出手段と、前記結合行検出手段及び結合文字検
出手段によって得られた対応結果をもとに、前記文字情
報記憶手段に格納された文字認識情報を結合する文字結
合手段と、文字結合部によって得られた結果を出力する
出力手段を備えることを特徴とする。According to the character recognition apparatus of the present invention which achieves the above object, at least one character included in each area is included in the document by image input means for inputting the document as a quantized image. The above is divided into a plurality of regions so as to be present in an overlapping manner, and an image storage unit that stores an image input for each region, and a layout analysis process is performed on the image stored in the image storage unit, Layout analysis means for extracting layout information including at least the document line and character area attributes and area coordinate information; layout information storage means for storing layout information obtained by layout analysis; and image information stored in the image storage means. A character code corresponding to a character in the image based on the image and the layout information stored in the layout information storage means. A character recognition unit that obtains character recognition information including a character code of the candidate character and the coordinates of the character; a character information storage unit that stores the character recognition information obtained by the character recognition unit; and a character information storage unit that stores the character recognition information. Based on the layout information, among the lines included in the image of each divided region, a combined line detecting unit that detects lines that correspond to each other, and the correspondence result obtained by the combined line detecting unit, Based on the character recognition information stored in the character information storage means, among the characters included in the corresponding lines, a character overlapping each other is detected, and a plurality of the character recognition information corresponding to the plurality of regions are detected. Combined character detecting means for detecting a combined position, and character recognition information stored in the character information storage means based on the correspondence results obtained by the combined line detecting means and the combined character detecting means A character combining means coupled to, characterized in that it comprises an output means for outputting a result obtained by the character coupling portion.

【００１４】本発明の文字認識装置においては、分割部
分において少なくとも１文字以上の文字が重複して存在
するように分割して画像が入力される。レイアウト解析
手段では、複数の画像に対して、図表分離、表解析、段
組分離、下線分離、行分離、文字分離処理等のレイアウ
ト解析を施し、領域の属性や、座標情報等のレイアウト
情報を抽出し、抽出したレイアウト情報をレイアウト情
報記憶手段へ格納する。文字認識手段では、画像記憶手
段に格納されている複数の画像と、レイアウト情報記憶
手段に格納されている対応する複数のレイアウト情報を
もとに、文字認識処理を行ない、得られた文字コードや
候補文字の文字コード、文字座標等の文字認識情報は文
字情報記憶手段へ格納する。結合行検出手段では、レイ
アウト情報記憶手段に格納されている複数のレイアウト
情報をもとに、画像の分割部分でそれぞれの画像ごとに
行単位の座標比較を行ない、相対応する行を検出する。
結合文字検出手段では、結合行検出手段により得られた
結果と、文字情報記憶手段に格納されている文字認識情
報をもとに、相対応する行に含まれる文字について、そ
の文字コードを比較することにより対応する重複文字を
検出する。文字結合手段では、結合行検出手段及び結合
文字検出手段により得られた結果をもとに、それぞれの
認識結果である行や文字を結合し、その得られた結果を
認識結果として出力手段より出力する。In the character recognition device of the present invention, an image is input after being divided so that at least one character or more exists in the divided portion. The layout analysis unit performs layout analysis such as chart separation, table analysis, column separation, underline separation, line separation, and character separation processing on a plurality of images, and outputs layout information such as area attributes and coordinate information. The extracted layout information is stored in the layout information storage means. The character recognition unit performs a character recognition process based on the plurality of images stored in the image storage unit and the corresponding plurality of layout information stored in the layout information storage unit, and obtains the obtained character code or the like. Character recognition information such as a character code and a character coordinate of the candidate character is stored in a character information storage unit. Based on a plurality of pieces of layout information stored in the layout information storage means, the combined row detection means compares the coordinates of each image in the divided parts of the image for each image, and detects the corresponding rows.
Based on the result obtained by the combined line detection unit and the character recognition information stored in the character information storage unit, the combined character detection unit compares the character codes of the characters included in the corresponding lines. By doing so, the corresponding duplicate character is detected. In the character combining means, based on the results obtained by the combined line detecting means and the combined character detecting means, the respective lines and characters which are the recognition results are combined, and the obtained result is output from the output means as a recognition result. I do.

【００１５】請求項２の文字認識装置によれば、前記結
合行検出手段は、前記レイアウト情報記憶手段に格納さ
れた複数の画像に対応するレイアウト情報をともに、前
記画像の分割部分において画像毎に行単位の座標比較を
行なうことにより、互いに相対応する行を検出すること
を特徴とする。According to the character recognition device of the second aspect, the combined line detecting means combines the layout information corresponding to the plurality of images stored in the layout information storing means with each of the divided images of the image. It is characterized in that rows corresponding to each other are detected by performing coordinate comparison in row units.

【００１６】請求項３の文字認識装置によれば、前記結
合文字検出手段は、前記結合行検出手段によって検出さ
れた互いに相対応する行に含まれる文字の文字コードの
比較を行なうことにより、重複する文字の検出を行なう
ことを特徴とする。According to the character recognition device of the third aspect, the combined character detecting means compares the character codes of the characters included in the mutually corresponding lines detected by the combined line detecting means, so that the duplicated character is detected. Characters to be detected are detected.

【００１７】請求項４の文字認識装置によれば、前記結
合行検出手段は、前記レイアウト情報記憶手段に格納さ
れた複数の画像に対応するレイアウト情報をともに、前
記画像の分割部分において画像毎に行単位の座標比較を
行なうことにより、互いに相対応する行を検出し、前記
結合文字検出手段は、前記結合行検出手段によって検出
された互いに相対応する行に含まれる文字の文字コード
の比較を行なうことにより、互いに相対応する行に含ま
れる文字の文字コードが少なくとも部分的に一致する場
合に、前記複数の領域に対応する複数の前記文字認識情
報の結合位置として検出することを特徴とする。According to the character recognition device of the present invention, the combined line detecting means combines the layout information corresponding to the plurality of images stored in the layout information storing means together with the layout information for each image in the divided part of the image. By performing coordinate comparison on a line-by-line basis, lines that correspond to each other are detected, and the combined character detecting unit compares character codes of characters included in the mutually corresponding lines detected by the combined line detecting unit. By performing, when the character codes of the characters included in the lines corresponding to each other at least partially coincide with each other, it is detected as a combination position of the plurality of pieces of character recognition information corresponding to the plurality of areas. .

【００１８】請求項５の本発明の文字認識方法は、原稿
を各領域に含まれる文字が少なくとも１文字以上が重複
して存在するように複数の領域に分割し、前記各領域毎
に画像を入力するステップと、入力された前記画像に対
し、レイアウト解析処理を行ない、少なくとも文書の
行、文字の領域属性や領域の座標情報を含むレイアウト
情報を抽出するステップと、入力された画像とレイアウ
ト解析によって得られたレイアウト情報とに基づいて、
画像内の文字に対応する文字コードや、候補文字の文字
コード、文字の座標を含む文字認識情報を得るステップ
と、前記レイアウト情報をもとに、分割された各領域の
画像中の含まれる行のうちで、互いに相対応する行を検
出するステップと、検出された互いに相対応する行と、
前記文字認識情報を基に、相対応する行に含まれる文字
のうちで、互いに重複する文字を検出して前記複数の領
域に対応する複数の前記文字認識情報の結合位置を検出
するステップと、検出された互いに相対応する行と前記
文字認識情報の結合位置を基に、前記文字認識情報を結
合するステップを備えることを特徴とする。According to a fifth aspect of the present invention, there is provided the character recognition method according to the first aspect, wherein the document is divided into a plurality of areas such that at least one character included in each area is overlapped, and an image is formed for each area Inputting, performing layout analysis processing on the input image, and extracting layout information including at least document lines, character area attributes and area coordinate information, and input image and layout analysis. Based on the layout information obtained by
Obtaining character recognition information including a character code corresponding to a character in the image, a character code of a candidate character, and coordinates of the character; and lines included in the image of each region divided based on the layout information. Detecting the mutually corresponding rows; and detecting the mutually corresponding rows.
Based on the character recognition information, among the characters included in the corresponding line, detecting a character overlapping each other to detect a combination position of the plurality of character recognition information corresponding to the plurality of regions, Combining the character recognition information on the basis of the detected positions of the lines corresponding to each other and the character recognition information.

【００１９】請求項６の文字認識方法によれば、前記相
対応する行の検出ステップでは、前記複数の画像に対応
するレイアウト情報をともに、前記画像の分割部分にお
いて画像毎に行単位の座標比較を行なうことにより、互
いに相対応する行を検出し、前記結合位置の検出ステッ
プでは、検出された互いに相対応する行に含まれる文字
の文字コードの比較を行なうことにより、互いに相対応
する行に含まれる文字の文字コードが少なくとも部分的
に一致する場合に、前記複数の領域に対応する複数の前
記文字認識情報の結合位置として検出することを特徴と
する。According to the character recognition method of the present invention, in the step of detecting the corresponding row, the layout information corresponding to the plurality of images is compared with the coordinates of each of the images in the divided part of the image for each row. Are performed, the lines corresponding to each other are detected, and in the step of detecting the connection position, the character codes of the characters included in the detected lines corresponding to each other are compared, whereby the lines corresponding to each other are detected. When the character codes of the included characters at least partially coincide with each other, it is detected as a combination position of the plurality of pieces of character recognition information corresponding to the plurality of areas.

【００２０】[0020]

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。図１に本発明の実施
の形態による文字認識装置の構成を示す。図１におい
て、本実施の形態による文字認識装置は、画像入力部１
０、画像記憶部２０、レイアウト解析部３０、レイアウ
ト情報記憶部４０、文字認識部５０、文字情報記憶部６
０、結合行検出部７０、結合文字検出部８０、文字結合
部９０、出力部１００を備えて構成される。Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 shows a configuration of a character recognition device according to an embodiment of the present invention. In FIG. 1, a character recognition device according to the present embodiment includes an image input unit 1
0, image storage unit 20, layout analysis unit 30, layout information storage unit 40, character recognition unit 50, character information storage unit 6
0, a combined line detecting unit 70, a combined character detecting unit 80, a character combining unit 90, and an output unit 100.

【００２１】画像入力部１０は、文字認識対象である原
稿を量子化された画像として入力する部分であり、スキ
ャナ等の機器が利用される。画像記憶部２０は、画像入
力部１０から入力された原稿の画像を格納する部分であ
る。The image input section 10 is a section for inputting a document to be subjected to character recognition as a quantized image, and uses a device such as a scanner. The image storage unit 20 is a unit that stores an image of a document input from the image input unit 10.

【００２２】レイアウト解析部３０は、画像記憶部２０
に格納された画像に対し、図表分離、表解析、段組分
離、下線分離、行分離、文字分離等のレイアウト解析を
施し、文書の図表、段落、行、文字等の領域属性や、領
域の座標情報等のレイアウト情報を抽出する部分であ
る。レイアウト情報記憶部４０は、レイアウト解析部３
０によって抽出されたレイアウト情報を格納する部分で
ある。The layout analysis unit 30 includes the image storage unit 20
Performs layout analysis, such as chart separation, table analysis, column separation, underline separation, line separation, and character separation, on images stored in the This is a part for extracting layout information such as coordinate information. The layout information storage unit 40 includes the layout analysis unit 3
This is a part for storing the layout information extracted by 0.

【００２３】文字認識部５０は、画像記憶部２０に格納
されている画像情報と、レイアウト情報記憶部４０に格
納されているレイアウト情報に基づいて、画像内の文字
に対応する文字コードや、候補文字の文字コード、文字
の座標等の文字認識情報を取得する。文字情報記憶部６
０は、文字認識部５０により得られた文字認識情報を格
納する部分である。The character recognizing section 50 performs a character code corresponding to a character in an image and a candidate based on the image information stored in the image storing section 20 and the layout information stored in the layout information storing section 40. Acquires character recognition information such as the character code of the character and the coordinates of the character. Character information storage unit 6
0 is a part for storing the character recognition information obtained by the character recognition unit 50.

【００２４】結合行検出部７０は、レイアウト情報記憶
部４０に格納されているレイアウト情報に基づいて、分
割された複数の画像に含まれる行のうちで、互いに相対
応する行を検出する部分である。The combined row detecting section 70 detects a row corresponding to each other among the rows included in the plurality of divided images based on the layout information stored in the layout information storing section 40. is there.

【００２５】結合文字検出部８０は、結合行検出部７０
により得られた複数画像に対する行の対応結果と文字情
報記憶部６０に格納されている文字認識情報を基に、相
対応する行に含まれる文字から、互いに対応する重複文
字を検出する部分である。The combined character detection unit 80 includes a combined line detection unit 70
Based on the result of line correspondence for a plurality of images obtained by the above and the character recognition information stored in the character information storage unit 60, this is a part for detecting overlapping characters corresponding to each other from characters included in corresponding lines. .

【００２６】文字結合部９０は、結合行検出部７０によ
り得られた対応結果と、結合文字検出部８０により得ら
れた対応結果をもとに、文字情報記憶部６に格納された
文字を結合することにより、原稿全体の文字認識情報を
取得する部分である。出力部１００は、文字結合部９０
により得られた結果を出力する部分である。The character combination unit 90 combines the characters stored in the character information storage unit 6 based on the correspondence result obtained by the combination line detection unit 70 and the correspondence result obtained by the combination character detection unit 80. By doing so, the character recognition information of the entire document is obtained. The output unit 100 includes a character combining unit 90
This is the part that outputs the result obtained by.

【００２７】次に、上記のように構成される実施の形態
の動作について図１及び図２のフローチャートを参照し
て詳細に説明する。Next, the operation of the embodiment configured as described above will be described in detail with reference to the flowcharts of FIGS.

【００２８】画像入力部１０では、画像入力部１０の最
大有効読み取りサイズより大きなサイズの原稿を読み込
む場合、原稿を複数の領域に分割してその画像を読み込
むことになるが、その際、少なくとも分割領域の分割部
分において文字が少なくとも１文字以上重複して存在す
るように分割して入力する。このように、もともと原稿
中に含まれる文字が重複するように読み込むため、分割
指示マーク等を付与する作業が必要ない。画像入力部１
０から入力された複数の分割領域の画像はそれぞれ画像
記憶部２０へ格納される。When reading a document having a size larger than the maximum effective reading size of the image input unit 10, the image input unit 10 divides the document into a plurality of areas and reads the image. The character is divided and input so that at least one character overlaps at least in the divided part of the area. As described above, since the characters originally included in the original are read so as to be duplicated, there is no need to perform the operation of giving a division instruction mark or the like. Image input unit 1
The images of the plurality of divided areas input from 0 are stored in the image storage unit 20, respectively.

【００２９】レイアウト解析部３０では、画像記憶部２
０に格納されている分割領域に対応する複数の画像に対
して、図表分離、表解析、段組分離、下線分離、行分
離、文字分離処理等のレイアウト解析を施し、文書の図
表、段落、行、文字等の領域属性や、領域の座標情報等
のレイアウト情報を抽出する。ここでは、原稿を構成す
る行と文字の座標が抽出できればよい。これらのレイア
ウト情報の抽出については、前述した従来の技術を適用
できる。抽出されたレイアウト情報は、レイアウト情報
記憶部４０へ格納される。In the layout analysis unit 30, the image storage unit 2
The layout analysis such as chart separation, table analysis, column separation, underline separation, line separation, and character separation processing is performed on a plurality of images corresponding to the divided areas stored in 0, and the document charts, paragraphs, Area attributes such as lines and characters and layout information such as area coordinate information are extracted. Here, it is only necessary that the coordinates of the lines and characters constituting the document can be extracted. For the extraction of such layout information, the above-described conventional technique can be applied. The extracted layout information is stored in the layout information storage unit 40.

【００３０】文字認識部５０では、画像記憶部２０に格
納されている複数の画像と、レイアウト情報記憶部４０
に格納されている対応する複数のレイアウト情報をもと
に、文字認識処理を行なう。この文字認識処理について
は、前述した従来の技術を適用できる。文字認識処理に
より得られた文字コードや、候補文字の文字コード、文
字の座標等の文字認識情報は、文字情報記憶部６０へ格
納する。In the character recognition unit 50, a plurality of images stored in the image storage unit 20 and the layout information storage unit 40
Performs character recognition processing based on a plurality of pieces of corresponding layout information stored in. The above-described conventional technique can be applied to the character recognition processing. Character recognition information such as a character code obtained by the character recognition processing, a character code of a candidate character, and character coordinates is stored in the character information storage unit 60.

【００３１】結合行検出部７０では、レイアウト情報記
憶部４０に格納されている複数に分割された領域のレイ
アウト情報をもとに、画像の分割部分でそれぞれの画像
ごとに行単位の座標比較を行ない、互いに対応する行を
検出する。The combined row detection unit 70 compares the coordinates of each divided image in units of rows based on the layout information of the plurality of divided areas stored in the layout information storage unit 40. And detect the corresponding rows.

【００３２】図２によると、まず、それぞれの分割され
た画像に対して、レイアウト情報を参照して分割部分に
行が存在するかを検出する（ステップ２０１）。分割部
分に行が存在する場合には、各行のレイアウト情報に含
まれる座標情報から行間隔等の相対位置関係を検証し、
相対応する行の結合位置の候補を求める（ステップ２０
２）。結合行検出部７０による結合行の検出処理では、
座標や行間院等の相対位置関係を比較することにより、
入力画像に伸び縮みの変動があっても、対応関係を求め
ることができる。Referring to FIG. 2, for each divided image, it is detected whether or not a row exists in the divided portion with reference to the layout information (step 201). If there is a row in the divided part, verify the relative positional relationship such as the row interval from the coordinate information included in the layout information of each row,
The candidate of the connection position of the corresponding row is obtained (step 20).
2). In the process of detecting a joined row by the joined row detection unit 70,
By comparing the relative positional relationship such as coordinates and Gyoin-in,
Even if the input image has a change in expansion and contraction, a correspondence can be obtained.

【００３３】分割部分に行が存在しない場合には、文字
結合を行なわず、結果を出力する（ステップ２０７）。If there is no line in the divided portion, the result is output without performing character combination (step 207).

【００３４】結合文字検出部８０では、結合行検出部７
により得られた結果と、文字情報記憶部６０に格納され
ている文字認識情報をもとに、相対応する行に含まれる
文字について、互いに対応する重複文字を検証する。In the combined character detecting section 80, the combined line detecting section 7
Based on the result obtained by the above and the character recognition information stored in the character information storage unit 60, for the characters included in the corresponding lines, the corresponding overlapping characters are verified.

【００３５】図２によると、まず、相対応する行が存在
するかを検出する（ステップ２０３）。相対応する行が
存在しない場合には、その行の文字結合を行なわず、結
果を出力する（ステップ２０７）。According to FIG. 2, first, it is detected whether or not a corresponding row exists (step 203). If there is no corresponding line, the result is output without performing character combination on that line (step 207).

【００３６】相対応する行が存在する場合には、互いに
相対応する行に重複文字が存在するかを調べ、文字の結
合位置の候補を求める（ステップ２０４）。画像入力時
に１文字以上が重複するように入力されているため、相
対応する行には重複する文字コードの並びが存在する。
その文字コードを比較することにより文字単位の結合位
置はの検出を行なう。文字の結合位置は、文字列の一致
により検証するが、認識結果に誤りがあり、部分的に文
字列が一致していない場合等も、一つの候補として結合
位置を検出する。If there is a corresponding line, a check is made to see if there is a duplicate character in the line corresponding to each other, and a candidate for a combination position of the character is obtained (step 204). Since one or more characters are input so as to be duplicated at the time of image input, overlapping character codes are present in corresponding lines.
By comparing the character codes, the connection position of each character is detected. The combination position of the characters is verified by matching the character strings. However, if the recognition result contains an error and the character strings do not partially match, the combination position is detected as one candidate.

【００３７】次に、その文字の結合位置が妥当かどうか
を調べる（ステップ２０５）。認識結果に誤りが多い
等、結合位置が妥当でないと判断した場合には、検出条
件を変更し、結合行から再検出を行ない、最適位置を求
める。文字の結合位置が妥当な場合は、相対応する行を
結合する（ステップ２０６）。Next, it is checked whether the combination position of the character is appropriate (step 205). If it is determined that the connection position is not appropriate, for example, if there are many errors in the recognition result, the detection conditions are changed, and the detection is performed again from the connection line to find the optimum position. If the combination position of the characters is valid, the corresponding lines are combined (step 206).

【００３８】そして、結合対象となる全ての行について
同様の操作を繰り返す（ステップ２０８）。これらの結
合は、結合行検出部７０により得られた対応結果と、結
合文字検出部８０により得られた対応結果をもとに、文
字結合部９０で行なう。出力部１００では、文字結合部
により得られた結果を認識結果として出力する。Then, the same operation is repeated for all rows to be combined (step 208). These combinations are performed by the character combining unit 90 based on the correspondence result obtained by the combined line detection unit 70 and the correspondence result obtained by the combined character detection unit 80. The output unit 100 outputs a result obtained by the character combining unit as a recognition result.

【００３９】[0039]

【実施例】本発明の第１の実施例について図３を参照し
て詳細に説明する。図３は本発明の文字認識装置による
原稿読み取りと文字認識及び文字結合処理の動作例を示
す概念図である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A first embodiment of the present invention will be described in detail with reference to FIG. FIG. 3 is a conceptual diagram showing an operation example of document reading, character recognition, and character combination processing by the character recognition device of the present invention.

【００４０】認識対象となる元の原稿３０１のサイズ
が、画像入力部１０の最大有効読み取りサイズよりも大
きいため、原稿３０１を、左右２つの領域に分割するこ
とにより、図３に示すように、原稿左側の領域に対応す
る画像３０２及び原稿右側に対応する画像３０３を入力
する。この時、少なくても分割部分で１文字以上の文字
が重複するように入力する。Since the size of the original document 301 to be recognized is larger than the maximum effective reading size of the image input unit 10, the document 301 is divided into two areas on the left and right sides as shown in FIG. An image 302 corresponding to the area on the left side of the document and an image 303 corresponding to the right side of the document are input. At this time, the input is made such that at least one character overlaps at least in the divided part.

【００４１】例えば、図３では、原稿３０１の１行目に
「あいうえおかきくけこ」と書かれているが、これを２
つに分割し、画像３０２では左側の「あいうえおか」が
含まれるように、画像３０３では右側の「おかきくけ
こ」が含まれるようにして、それぞれの画像で「おか」
の部分が重複するように入力したものである。For example, in FIG. 3, the first line of the manuscript 301 reads "Aioka Okikukeko".
The image 302 is divided into two parts, so that the image 302 includes "Aikaeoka" on the left side, and the image 303 includes "Okakikukeko" on the right side.
Are entered in such a way that they overlap.

【００４２】これらの画像に対して、それぞれレイアウ
ト解析部３０おいて抽出されたレイアウト情報がレイア
ウト情報記憶部４０に、文字認識部５０において認識さ
れた文字認識情報結果が文字情報記憶部６０に格納され
る。For each of these images, the layout information extracted by the layout analysis unit 30 is stored in the layout information storage unit 40, and the character recognition information result recognized by the character recognition unit 50 is stored in the character information storage unit 60. Is done.

【００４３】図３の３０４及び３０５は、それぞれ画像
３０２、３０３に対するレイアウト情報と文字認識情報
の概念を示す。例えば、３０４は原稿の左側部分であ
り、破線で示された部分がレイアウト情報を示し、行の
領域とその座標を示す。ここでは、文字認識情報とし
て、１行目の文字コードが「あいうえおか」と認識さ
れ、文字の座標も得られている。同様に２行目及び３行
目の文字コードが、それぞれ「さしす」及び「たちつて
とな」であったことを示している。Reference numerals 304 and 305 in FIG. 3 show the concept of layout information and character recognition information for the images 302 and 303, respectively. For example, reference numeral 304 denotes a left portion of the document, and a portion indicated by a broken line indicates layout information, and indicates a row region and its coordinates. Here, as the character recognition information, the character code on the first line is recognized as "aiueoka", and the coordinates of the character are also obtained. Similarly, it indicates that the character codes on the second and third lines are "Sashisushi" and "Tatsutsu-tona", respectively.

【００４４】また、３０５は原稿の右側部分を示し、同
様に含まれる行の領域や座標及び文字コード及び座標等
の情報が得られる。Reference numeral 305 denotes a right side portion of the document, and similarly, information such as the area and coordinates of the included lines, character codes, and coordinates can be obtained.

【００４５】図３の３０６及び３０７は、３０４及び３
０５からレイアウト情報と文字認識情報のみを抽出し
て、結合行検出部７０において、行単位の結合位置を検
出する処理を行なうことを示している。306 and 307 in FIG.
This shows that only the layout information and the character recognition information are extracted from the line 05, and the process of detecting the connection position in units of lines is performed in the connection line detection unit 70.

【００４６】これは、分割された画像のレイアウト情報
から、相対応する行を検出することである。たとえば、
図３の３０６及び３０７においては、２行目の「さし
す」と「せそ」については、分割部分に近い位置に文字
が存在しないため結合する必要がなく、１行目の「あい
うえおか」と「おかきくけこ」及び３行目の「たちつて
とな」と「となにぬねの」では、分割部分に近い位置に
文字が存在するので結合の対象となることがわかる。This means detecting a corresponding row from the layout information of the divided image. For example,
In 306 and 307 in FIG. 3, the characters “Sashisashi” and “Seso” on the second line do not need to be combined because there are no characters near the divided portion, and “Ai-eoka” on the first line "And" Okaki Kukeko "and" Tatsutetsu Tona "and" Tonanone Neno "in the third line indicate that the characters are present at positions near the divided portions, so that they can be combined.

【００４７】結合対象の行は、例えば、行の座標から得
られる位置や、行間隔の相対関係を、左右の画像で比較
して、一致する行を相対応する行と決定する。次に、結
合行検出部７０において得られた行の対応結果に基づい
て、結合文字検出部８０において文字単位の結合位置、
つまり対応する重複文字を検出する。For the rows to be combined, for example, the position obtained from the row coordinates and the relative relationship between the row intervals are compared between the left and right images, and a matching row is determined as a corresponding row. Next, based on the result of the correspondence of the lines obtained in the combined line detection unit 70, the combination position in units of characters in the combination character detection unit 80,
That is, the corresponding duplicate character is detected.

【００４８】例えば、図３の３０８においては、１行目
と３行目が結合対象であり、文字コードの比較の結果、
１行目では「おか」が、３行目では「とな」が重複して
いるため結合対象となることがわかる。For example, in 308 of FIG. 3, the first and third lines are to be combined, and as a result of the comparison of the character codes,
In the first row, "oka" is overlapped, and in the third row, "tona" is overlapped.

【００４９】ここでは、必ずしも重複する文字が一致し
なくてもよい。文字認識では少しの文字の傾きや変形に
よって異なった認識結果がえられることがあるが、この
場合でも、一致とみなす評価関数において、文字コード
や座標によって重みを設けることにより、もっともらし
い文字を対応するとみなすことができる。Here, overlapping characters do not necessarily have to match. In character recognition, different recognition results may be obtained due to slight inclination or deformation of characters, but even in this case, weights are assigned to character functions and coordinates in evaluation functions that are considered to match, so that plausible characters are handled. Then it can be considered.

【００５０】また、もっともらしさが低い場合には、検
出条件を変更して、結合行検出部７０の処理からやり直
すこともできる。最終的に、結合行検出部７０において
得られた行の対応結果と、結合文字検出部８０において
得られた文字の対応結果に基づいて、文字結合部９０に
おいて文字を結合して、原稿３０１の認識処理の結果３
０９が得られる。If the likelihood is low, the detection condition can be changed and the processing of the joined row detection unit 70 can be repeated. Finally, based on the correspondence result of the line obtained by the joined line detection unit 70 and the correspondence result of the character obtained by the joined character detection unit 80, the characters are joined by the character joining unit 90, Recognition result 3
09 is obtained.

【００５１】本発明の第２の実施例について図４を参照
して詳細に説明する。図４を参照すると、４０１が元の
原稿であり、画像入力部１０の最大読み取りサイズより
も原稿４０１が大きいため、原稿４０１を横方向に、画
像４０２及び画像４０３の２つの画像に分割して入力し
たものである。A second embodiment of the present invention will be described in detail with reference to FIG. Referring to FIG. 4, reference numeral 401 denotes an original document, and the document 401 is larger than the maximum reading size of the image input unit 10. Therefore, the document 401 is divided into two images 402 and 403 in the horizontal direction. This is what you entered.

【００５２】この時、少なくても分割部分で行が１行以
上重複するように入力する。例えば、図４に示すよう
に、画像４０１の３、４行目での、「さしすせそ」と
「たちつてと」の２行が重複するように入力する。At this time, the input is made such that at least one line overlaps at least in the divided part. For example, as shown in FIG. 4, the input is made so that two lines of “Sashisuse Soso” and “Tatsutetsu” in the third and fourth lines of the image 401 overlap.

【００５３】そして、これらの画像に対してレイアウト
解析処理、文字認識処理を行ない、その結果をそれぞれ
のレイアウト情報記憶部４０及び文字情報記憶部６０に
格納し、図４の４０４及び４０５を得る。ここで、図４
の４０６及び４０７において破線で示された部分がレイ
アウト情報と文字認識情報であり、１行目に対しては文
字コード「あいうえお」と「さしすせそ」が得られ、そ
の行単位及び文字単位の座標情報が得られる。Then, layout analysis processing and character recognition processing are performed on these images, and the results are stored in the respective layout information storage units 40 and character information storage units 60 to obtain 404 and 405 in FIG. Here, FIG.
The portions indicated by broken lines in 406 and 407 are layout information and character recognition information, and character codes “Aioeo” and “Sashisuse Soso” are obtained for the first line, and coordinate information in line units and character units is obtained. Is obtained.

【００５４】結合行検出部７０において、行単位の結合
位置を検出する。例えば、図４の４０６及び４０７にお
いては、それぞれ分割部分に行が存在するので、結合対
象であることがわかる。さらに、結合行検出部７０にお
いて得られた結果から、結合文字検出部８０において、
文字単位での結合位置、すなわち対応する重複文字を検
出する。図４の４０８においては、文字コードの比較の
結果、３、４行目が結合対象であることがわかる。そし
て、結合文字検出部８０において得られた結果から、文
字結合部９０において文字の結合処理が行われて、原稿
４０１の認識結果として結果４０９が取得される。The joined line detecting section 70 detects the joined position of each line. For example, in 406 and 407 of FIG. 4, since there are rows in the respective divided portions, it can be seen that the rows are to be combined. Further, based on the result obtained in the combined line detection unit 70, the combined character detection unit 80
Detects combining positions in character units, that is, corresponding duplicate characters. Referring to 408 of FIG. 4, it can be seen from the comparison of the character codes that the third and fourth lines are to be combined. Then, based on the result obtained by the combined character detection unit 80, the character combining unit 90 performs character combining processing, and a result 409 is obtained as a recognition result of the document 401.

【００５５】なお、本発明は上述した実施の形態及び実
施例に限定されるものではなく、その技術思想の範囲内
において様々に変形して実施することができる。実施例
では、原稿を左右又は上下に２分割して画像入力した例
を示したが、上下左右に２分割以上に分割した場合で
も、本発明を適用できるのは言うまでもない。The present invention is not limited to the above-described embodiments and examples, but can be implemented in various modifications within the scope of the technical concept. In the embodiment, an example in which a document is divided into two parts vertically and vertically and an image is input has been described. However, it is needless to say that the present invention can be applied to a case where the document is divided into two or more parts vertically and horizontally.

【００５６】[0056]

【発明の効果】以上説明したように本発明の文字分割装
置によれば、画像入力装置の最大有効読み取りサイズ以
下の複数の領域に分割して画像を入力し、それぞれの画
像に対して文字認識処理を実行し、自動的に認識結果を
１つに結合するため、画像入力手段の最大有効読み取り
サイズに依存せずに、様々な大きさの原稿に対する文字
認識処理を簡単な操作で実現することができる。As described above, according to the character dividing apparatus of the present invention, an image is input by dividing the image into a plurality of areas smaller than the maximum effective reading size of the image input apparatus, and character recognition is performed on each image. Performing the processing and automatically combining the recognition results into one, so that the character recognition processing for documents of various sizes can be realized by a simple operation without depending on the maximum effective reading size of the image input means. Can be.

【００５７】また、複数の画像を結合する制御が不要な
ため、画像の結合によって生じる認識結果の誤りを軽減
することができることである。その理由は、画像を１つ
に結合してから文字認識処理を行なうのではなく、文字
認識処理した複数の認識結果を１つに結合するためであ
る。Further, since it is not necessary to perform control for combining a plurality of images, it is possible to reduce errors in recognition results caused by combining images. The reason is that a plurality of recognition results obtained by performing the character recognition processing are combined into one instead of performing the character recognition processing after combining the images into one.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の実施の形態による文字認識装置の構
成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of a character recognition device according to an embodiment of the present invention.

【図２】本発明の実施の形態による文字認識装置の動
作を示すフローチャートである。FIG. 2 is a flowchart showing an operation of the character recognition device according to the embodiment of the present invention.

【図３】本発明の文字認識装置によって文字認識処理
を行なった第１の実施例を示す図である。FIG. 3 is a diagram showing a first embodiment in which a character recognition process is performed by the character recognition device of the present invention.

【図４】本発明の文字認識装置によって文字認識処理
を行なった第２の実施例を示す図である。FIG. 4 is a diagram showing a second embodiment in which a character recognition process is performed by the character recognition device of the present invention.

【符号の説明】[Explanation of symbols]

１０画像入力部２０画像記憶部３０レイアウト解析部４０レイアウト情報記憶部５０文字認識部６０文字情報記憶部７０結合行検出部８０結合文字検出部９０文字結合部１００出力部３０１、４０１原稿３０２、３０３、４０２、４０３分割入力画像３０４、３０５、４０４、４０５認識結果３０６、３０７、４０６、４０７レイアウト情報と文
字認識情報３０８、４０８結合結果３０９、４０９出力結果Reference Signs List 10 image input unit 20 image storage unit 30 layout analysis unit 40 layout information storage unit 50 character recognition unit 60 character information storage unit 70 connection line detection unit 80 connection character detection unit 90 character connection unit 100 output unit 301, 401 manuscript 302, 303 , 402, 403 Divided input image 304, 305, 404, 405 Recognition result 306, 307, 406, 407 Layout information and character recognition information 308, 408 Combined result 309, 409 Output result

Claims

【特許請求の範囲】[Claims]

【請求項１】原稿を量子化された画像として入力する
画像入力手段によって、前記原稿を各領域に含まれる文
字が少なくとも１文字以上が重複して存在するように複
数の領域に分割し、各領域毎に入力された画像を格納す
る画像記憶手段と、前記画像記憶手段に格納された画像に対し、レイアウト
解析処理を行ない、少なくとも文書の行、文字の領域属
性や領域の座標情報を含むレイアウト情報を抽出するレ
イアウト解析手段と、レイアウト解析によって得られたレイアウト情報を格納
するレイアウト情報記憶手段と、前記画像記憶手段に格納されている画像と前記レイアウ
ト情報記憶手段に格納されているレイアウト情報とに基
づいて、画像内の文字に対応する文字コードや、候補文
字の文字コード、文字の座標を含む文字認識情報を得る
文字認識手段と、前記文字認識手段によって得られた前記文字認識情報を
格納する文字情報記憶手段と、前記レイアウト情報記憶手段に格納されたレイアウト情
報をもとに、分割された各領域の画像中の含まれる行の
うちで、互いに相対応する行を検出する結合行検出手段
と、前記結合行検出手段によって得られた対応結果と前記文
字情報記憶手段に格納された文字認識情報をもとに、相
対応する行に含まれる文字のうちで、互いに重複する文
字を検出して前記複数の領域に対応する複数の前記文字
認識情報の結合位置を検出する結合文字検出手段と、前記結合行検出手段及び結合文字検出手段によって得ら
れた対応結果をもとに、前記文字情報記憶手段に格納さ
れた前記文字認識情報を結合する文字結合手段と、前記文字結合手段によって得られた結果を出力する出力
手段とを備えることを特徴とする文字認識装置。An image input means for inputting a document as a quantized image divides the document into a plurality of regions such that at least one character included in each region is overlapped. Image storage means for storing an image input for each area; layout analysis processing is performed on the image stored in the image storage means; and a layout including at least a document line, character area attributes, and area coordinate information. Layout analysis means for extracting information; layout information storage means for storing layout information obtained by layout analysis; images stored in the image storage means; and layout information stored in the layout information storage means. Character codes corresponding to the characters in the image, character codes of candidate characters, and character recognition information including the coordinates of the characters. Character recognition means, character information storage means for storing the character recognition information obtained by the character recognition means, and an image of each area divided based on the layout information stored in the layout information storage means Among the included lines, a joined line detecting unit that detects lines that correspond to each other, based on the correspondence result obtained by the joined line detecting unit and the character recognition information stored in the character information storage unit. Among the characters included in the corresponding lines, a combined character detecting unit that detects overlapping characters and detects a combined position of the plurality of pieces of character recognition information corresponding to the plurality of regions; A character combining unit that combines the character recognition information stored in the character information storage unit based on the correspondence result obtained by the detecting unit and the combined character detecting unit; Character recognition device characterized by an output means for outputting the results obtained I.

【請求項２】前記結合行検出手段は、前記レイアウト
情報記憶手段に格納された複数の画像に対応するレイア
ウト情報をともに、前記画像の分割部分において画像毎
に行単位の座標比較を行なうことにより、互いに相対応
する行を検出することを特徴とする請求項１に記載の文
字認識装置。2. The combined row detecting means compares the layout information corresponding to a plurality of images stored in the layout information storing means with each other in the divided part of the image for each image in line units. 2. The character recognition device according to claim 1, wherein lines corresponding to each other are detected.

【請求項３】前記結合文字検出手段は、前記結合行検
出手段によって検出された互いに相対応する行に含まれ
る文字の文字コードの比較を行なうことにより、重複す
る文字の検出を行なうことを特徴とする請求項１に記載
の文字認識装置。3. The method according to claim 1, wherein the combined character detection unit detects duplicate characters by comparing character codes of characters included in mutually corresponding lines detected by the combined line detection unit. 2. The character recognition device according to claim 1, wherein:

【請求項４】前記結合行検出手段は、前記レイアウト
情報記憶手段に格納された複数の画像に対応するレイア
ウト情報をともに、前記画像の分割部分において画像毎
に行単位の座標比較を行なうことにより、互いに相対応
する行を検出し、前記結合文字検出手段は、前記結合行検出手段によって
検出された互いに相対応する行に含まれる文字の文字コ
ードの比較を行なうことにより、互いに相対応する行に
含まれる文字の文字コードが少なくとも部分的に一致す
る場合に、前記複数の領域に対応する複数の前記文字認
識情報の結合位置として検出することを特徴とする請求
項１に記載の文字認識装置。4. The combined row detecting means compares the layout information corresponding to a plurality of images stored in the layout information storing means with each other in the divided part of the image for each image in a row unit. Detecting the lines that correspond to each other, and the combined character detection unit compares the character codes of the characters included in the lines that correspond to each other detected by the combined line detection unit, so that the lines that correspond to each other are detected. 2. The character recognition device according to claim 1, wherein when the character codes of the characters included in at least partially match, the character code is detected as a combination position of the plurality of pieces of character recognition information corresponding to the plurality of areas. .

【請求項５】原稿を各領域に含まれる文字が少なくと
も１文字以上が重複して存在するように複数の領域に分
割し、前記各領域毎に画像を入力するステップと、入力された前記画像に対し、レイアウト解析処理を行な
い、少なくとも文書の行、文字の領域属性や領域の座標
情報を含むレイアウト情報を抽出するステップと、入力された画像とレイアウト解析によって得られたレイ
アウト情報とに基づいて、画像内の文字に対応する文字
コードや、候補文字の文字コード、文字の座標を含む文
字認識情報を得るステップと、前記レイアウト情報をもとに、分割された各領域の画像
中の含まれる行のうちで、互いに相対応する行を検出す
るステップと、検出された互いに相対応する行と、前記文字認識情報を
基に、相対応する行に含まれる文字のうちで、互いに重
複する文字を検出して前記複数の領域に対応する複数の
前記文字認識情報の結合位置を検出するステップと、検出された互いに相対応する行と前記文字認識情報の結
合位置を基に、前記文字認識情報を結合するステップと
を備えることを特徴とする文字認識方法。5. A step of dividing an original into a plurality of regions so that at least one character included in each region overlaps at least one character, and inputting an image for each of the regions; Performing layout analysis processing to extract layout information including at least document lines, character area attributes and area coordinate information, based on the input image and the layout information obtained by the layout analysis. Obtaining character recognition information including a character code corresponding to a character in the image, a character code of a candidate character, and coordinates of the character; and a step of obtaining character recognition information based on the layout information. Detecting lines corresponding to each other among the lines; detecting the corresponding lines based on the detected lines; and a sentence included in the corresponding lines based on the character recognition information. Detecting a combined position of the plurality of pieces of character recognition information corresponding to the plurality of regions by detecting overlapping characters, and a combined position of the detected lines corresponding to each other and the character recognition information. And combining the character recognition information on the basis of the character recognition method.

【請求項６】前記相対応する行の検出ステップでは、
前記複数の画像に対応するレイアウト情報をともに、前
記画像の分割部分において画像毎に行単位の座標比較を
行なうことにより、互いに相対応する行を検出し、前記結合位置の検出ステップでは、検出された互いに相
対応する行に含まれる文字の文字コードの比較を行なう
ことにより、互いに相対応する行に含まれる文字の文字
コードが少なくとも部分的に一致する場合に、前記複数
の領域に対応する複数の前記文字認識情報の結合位置と
して検出することを特徴とする請求項５に記載の文字認
識方法。6. The step of detecting a corresponding row,
The layout information corresponding to the plurality of images is also compared with each other by performing row-by-row coordinate comparison for each image in the divided portion of the image, thereby detecting rows that correspond to each other. By comparing the character codes of the characters included in the lines corresponding to each other, when the character codes of the characters included in the lines corresponding to each other at least partially match, 6. The character recognition method according to claim 5, wherein the position is detected as a combination position of the character recognition information.