JPH10289288A - 画像処理方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数の領域からなり、複数の文字方向を有す
る文書画像に対して文字認識を行い、より正しい認識結
果が得られる画像処理方法及び装置を提供する。 【解決手段】 スキャナー１から文書画像を入力し、そ
の文書画像を画像メモリ３に記憶し、領域抽出部４にて
文書画像を複数の領域に分割し、各々の領域から文字領
域を抽出する。そして、文字認識部６にて文字領域の文
字方向を検知し、その文字方向に応じて文字領域を回転
させ、文字領域の文字認識を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理方法及び装
置、詳しくは、原稿画像を入力し、当該原稿画像中の文
字を認識する画像処理方法及び装置に関するものであ
る。

【０００２】

【従来の技術】原稿画像を入力し、当該原稿画像中の文
字を認識する装置として、例えば文字認識を利用した全
文検索が可能なファイリング装置が知られている。この
装置は文字認識したコード情報と文書画像を対にしてフ
ァイリングしたり、或いは文字認識したコード情報のみ
ファイリングしたりするが、コード情報全てが検索する
際のキーワードとなるものである。

【０００３】このような全文検索として文字認識を利用
する際、認識結果が必ずしも完全である必要はなく多少
認識結果に違いがあっても実用上問題はない。しかしな
がら、複数の原稿を縮小合成した原稿に見られるよう
に、複数の文字方向を含む原稿の場合、何れか一方向の
文字しか認識できないことになり認識結果が著しく悪く
なり、検索不能となる場合がある。このため、認識結果
と文書画像とを比較することにより差を確認して修正す
るようにしていた。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来例において、複数の文字方向を含む原稿を文字認識す
る場合、何れか一方向の文字以外は認識不能となり、す
べて誤認識となるため、大量に修正を行う必要があり、
また、このような文書画像を大量に処理するには、この
わずらわしい作業を繰り返さなければならないという欠
点があった。本発明は、上記課題を解決するためになさ
れたもので、複数の領域からなり、複数の文字方向を有
する文書画像に対して文字認識を行い、より正しい認識
結果が得られる画像処理方法及び装置を提供することを
目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像処理装置は以下の構成を有する。

【０００６】即ち、文書画像を入力する入力手段と、前
記入力手段からの文書画像を記憶する記憶手段と、前記
記憶手段に記憶した文書画像を複数の領域に分割する領
域分割手段と、前記領域分割手段により分割した複数の
領域から文字領域を抽出する文字領域抽出手段と、前記
文字領域抽出手段により抽出した文字領域の文字方向を
検知する文字方向検知手段と、前記検知手段により検知
した文字方向に応じて前記文字領域を回転させる回転手
段と、前記回転手段により回転させた文字領域の文字認
識を行う文字認識手段と、を有する。

【０００７】また、上記目的を達成するために、本発明
の画像処理方法は、文書画像を入力し、入力した文書画
像を記憶し、記憶した文書画像を複数の領域に分割し、
分割した複数の領域から文字領域を抽出し、抽出した文
字領域の文字方向を検知し、検知した文字方向に応じて
前記文字領域を回転させ、回転させた文字領域の文字認
識を行うことを特徴とする。

【０００８】

【発明の実施の形態】以下、図面を参照しながら本発明
に係る実施の形態を詳細に説明する。

【０００９】図１は、実施形態における画像処理装置の
構成を示すブロック図である。同図において、１はスキ
ャナーであり、文書画像を読み取る。２はメモリ制御部
であり、後述する画像メモリ、領域メモリ、認識メモリ
を制御する。３は画像メモリであり、読み取られた文書
画像を記憶する。４は領域抽出部であり、文書画像の特
徴により文字部の領域等を抽出する。５は領域メモリで
あり、領域抽出部４での領域抽出結果を記憶する。６は
文字認識部であり、画像の特徴を抽出、比較することに
より文字、数字、記号等を認識する。７は認識メモリで
あり、文字認識部６での認識結果を記憶する。８は文字
認識の際に参照される辞書メモリ、９は光磁気ディスク
或いはハードディスク等の記憶装置である。

【００１０】１０は本画像処理装置のシステム全体の制
御を司るＣＰＵ等からなるシステム制御部であり、後述
するＲＯＭに記憶されたプログラムに従って装置全体を
制御する。１１はＲＯＭであり、システム制御部１０の
ＣＰＵが実行するプログラム（図２に示すフローチャー
ト）や各種制御データを記憶している。１２は操作部等
のＭＭＩ（マンマシンインターフェース）であり、画像
メモリ３に記憶された文書画像の分割読み出しに関する
領域分割指定を行う。

【００１１】次に、実施形態における文字認識処理につ
いて説明する。図２は、実施形態における文字認識処理
を示すフローチャートである。まず、システム制御部１
０の制御の下で、スキャナー１に文書画像読み込み指示
が与えられると、スキャナー１は文書画像をデジタル画
像データ（以下、イメージデータという）として読み取
る（ステップＳ１）。読み取ったイメージデータは、メ
モリ制御部２の制御により画像メモリ３に記憶される
（ステップＳ２）。

【００１２】次に、文書画像１枚分のイメージデータが
画像メモリ３に記憶されると、システム制御回路１０は
メモリ制御部２に指示し、読み取ったイメージデータを
領域抽出部４に出力させる。この際、ＭＭＩ１２により
画像の領域分割が指定された場合、システム制御部１０
はメモリ制御部２を制御することにより、画像メモリ３
に記憶されている文書画像１枚分のイメージデータから
画像の領域分割情報に応じた分割読み出しを行う（ステ
ップＳ３）。

【００１３】ここで、図３を参照して、実施形態におけ
る分割読み出しについて説明する。同図に示すａ）は２
枚の文書画像を縮小して１枚の文書画像に合成した文書
画像（２ｉｎ１画像）である。また、同図に示すｂ）は
４枚を縮小合成した文書画像（４ｉｎ１画像）である。
各々２つ、又は４つの領域に分かれている。

【００１４】また、図１に示すＭＭＩ１２には、外部か
らこれらの文書画像に対応する領域分割情報が与えられ
る。これにより、システム制御部１０は、文書画像の領
域を識別でき、メモリ制御部２を制御し、その領域分割
情報に基づいて画像メモリ３のアドレス値を変化させ、
領域毎に分割して読み出す。

【００１５】尚、領域分割情報を与える方法として、Ｍ
ＭＩ１２であらかじめ用意してある内容を表示、選択し
たり、領域の分割数やアドレス値をキー又はポインティ
ングデバイス等を用いて入力するなどの方法がある。

【００１６】また、領域分割情報を与える他の方法とし
て、図４に示すように、文書画像に識別マーカー等を用
いて閉ループを記入することにより指定し、画像メモリ
３のイメージデータよりシステム制御部１０により識別
しても良い。

【００１７】次に、システム制御部１０により領域抽出
指示が与えられた領域抽出部４は、入力されたイメージ
データ中のイメージの種別を判定し（ステップＳ４）、
その結果を領域メモリ５に記憶する（ステップＳ５）。
この領域抽出処理としては、例えば、入力したイメージ
データに対して処理速度を上げるため、間引き処理が行
われたり、黒画素の連続性を検出するために輪郭線追跡
が行われる。そして、黒画素が連続する領域に外接する
矩形を抽出し、その矩形の大きさ、その中に存在する黒
画素の占める割合などでもってここの領域が文字からな
るイメージか、写真などの非文字領域かを判定する。

【００１８】一般に、文書画像は縦書きと横書きの場合
があるが、これは前記文字と判定された矩形領域との距
離を調べ、水平方向との距離が小さい場合には横書き、
垂直方向の距離が小さい場合には縦書きと判定すること
ができる。

【００１９】また、写真等の場合には、矩形の大きさが
ある程度以上になり、且つ、黒画素数が多い場合であ
り、表の場合には、矩形が整然と並んでいて、且つ、矩
形内の黒画素数が占める割合は低いので判断できる。

【００２０】尚、実施形態では、上述のようにして領域
抽出するものとするが、これ以外のアルゴリズムに従っ
て領域抽出を行っても良いことは言うまでもない。要す
るに、少なくとも文字イメージ部分と非文字部分とを識
別できれば良い。また、場合によっては、ユーザがＭＭ
Ｉ１２の表示画面を見て、ポインティングデバイスで個
々の領域を設定し、種別を指定するようにしても良い。
その結果、領域抽出部４は領域メモリ５に、例えば図５
に示すようなテーブルを構築する。

【００２１】図５のテーブルにおいて、５１の第１フィ
ールドには、個々の領域に付けられた領域番号が、５２
の第２フィールドには、個々の領域（矩形）を特定する
情報（左上隅と右下隅の座標）が、５３の第３フィール
ドには、個々の領域の種別が格納される。尚、実施形態
では、文字イメージであることを示す“テキスト”と写
真画像等の非文字であることを示す“非テキスト”の２
種類の種別である。

【００２２】さて、領域抽出部４による領域抽出処理が
完了すると、システム制御部１０は領域メモリ５を参照
して、テキスト領域として判定された領域のイメージデ
ータを画像メモリ３より読み出し、それを文字認識部６
に出力させる。文字認識部６では、与えられたイメージ
データから文字イメージを切り出し、その切り出した文
字イメージから特徴情報を抽出し、辞書メモリ８内の標
準特徴情報と比較することで、公知の文字認識処理を行
う（ステップＳ６）。

【００２３】一般に、文字認識処理においては、認識対
象の文字イメージから得られる特徴情報（特徴ベクト
ル）と、認識辞書（辞書メモリ８）に記憶されている標
準的な特徴情報との距離を順次求めていき、最も距離が
近い標準特徴情報を有する文字（文字コード）を第１候
補とし、以下、第２候補、第３候補…として出力する。
このとき、最大候補数をＮ個とし、それ以上の候補は出
力しないようにする。

【００２４】尚、切り出した文字イメージの文字方向が
認識辞書で指定された方向と異なる場合、つまり、認識
対象の文字イメージから得られる特徴情報と辞書メモリ
８に記憶されている標準的な特徴情報の方向が一致して
いない場合、文字認識処理の結果出力される文字コード
は意味を持たないものになる。

【００２５】そこで、この辞書メモり８に記憶されてい
る標準的な特徴情報を０度、９０度、１８０度、２７０
度の４方向に順次回転させ、それぞれ文字認識処理を行
い、候補文字を出力させる。これにより、文字方向が一
致している場合は、他の３つの方向と比べて第１候補の
距離とその他の候補の距離との差が大きくなり、かつ第
１候補の距離も小さいものとなる。例えば、次式で表さ
れるＳ値を各々の方向に対して算出し、最大値となる方
向が切り出した文字イメージの文字方向と一致したと判
断できる。

【００２６】Ｓ＝（第２候補の距離−第１候補の距離）
÷第１候補の距離 上述の処理により、切り出した文字イメージに対して算
出された複数のＳ値を平均化することにより文字方向を
検知することができる（ステップＳ７）。

【００２７】尚、文字方向を検知する場合、文字イメー
ジの全てを対象にするのではなく、部分的に選択してＳ
値を算出し、そのＳ値から文字方向を検知してもよい。
この場合、対象文字が削除され、検知時間の短縮の点で
有利となる。

【００２８】次に、方向検知した結果を判断し（ステッ
プＳ８）、文字方向が異なっていた場合（９０度、１８
０度、２７０度）、システム制御部１０はメモリ制御部
２を制御することによりイメージデータを検知した方向
に回転させ、再度文字方向を検知する（ステップＳ
７）。また、文字方向が一致していた場合（０度）或い
はイメージデータを回転させ、文字方向を一致させた場
合、切り出した全ての文字イメージに対して文字認識処
理を行い第１候補から第Ｎ候補の文字コードを出力す
る。

【００２９】ところで、上述の文字認識処理において
は、認識対象の文字イメージから得られる特徴情報と、
認識辞書に記憶されている特徴情報との距離を求める
際、２段階に分けて行う場合がある。まずは、高精度で
はないが高速である比較的簡潔な計算式を用いて距離を
求め、結果として数千種類から候補文字を数十種類程度
に絞り込む。次に、このラフに絞り込んだ候補文字に対
してのみ、高速ではないが高精度な計算式を用い、今度
は詳細に距離を求め、結果として数種類の候補文字に絞
り込む。但し、この場合、計算式だけではなく、辞書の
内容も異なる場合がある。このように処理することによ
り、文字認識処理の処理時間を短縮することが可能であ
る。

【００３０】本実施形態に適用する場合、文字方向の検
知に関しては文字の向きを判定できれば良いため、比較
的簡潔な計算式のみを用いて行い、その後の文字認識処
理を行う際に、詳細に距離を求めることとする。

【００３１】さて、実施形態における文字認識部６は、
文字認識処理して得られた第１候補と、その他の候補を
認識メモリ７に出力する。このとき、システム制御部１
０は、認識された文字イメージの位置情報を文字認識部
６に渡し、それも認識メモリ７に格納させる（ステップ
Ｓ９）。

【００３２】この際、文字イメージの位置情報とは、文
書画像中のどの位置に存在した文字かを示す情報であ
り、文字方向を一致させるために回転させた際に、位置
情報が変更されてしまう場合には座標変換することによ
り回転前の位置情報に修正して格納させる。これは、後
述するファイリング後のデータを用いて文書画像を表示
するため等に必要となる。

【００３３】上述した処理により、認識メモリ７には、
図６に示すテーブルが構築される。図６のテーブルにお
いて、６１の第１フィールドには、どの領域番号（図５
参照）の文字かを示す情報が、６２の第２フィールドに
は、文字イメージの位置情報が、６３の第３フィールド
には、文字コード（認識結果、得られた候補文字で、第
１候補、第２候補、…）が格納される。

【００３４】尚、実施形態では、個々の文字の大きさが
ほぼ一定であるものとしているが、異なるサイズの文字
を有する文書画像を認識する場合は、図６に示すテーブ
ルの座標位置情報が２つ必要になる。すなわち、例えば
左上隅と右上隅の座標データである。

【００３５】ここで、上述の如く、領域分割されたイメ
ージデータの文字領域に対する文字認識処理が完了する
と、他の領域分割されたイメージデータがあるか否かを
判断する（ステップＳ１０）。ここで、イメージデータ
があればステップＳ３に戻り、処理を継続するが、文字
画像中の文字領域に対する文字認識を全て完了すると、
入力した文書画像中の文字以外と判定された領域につい
ては、そのビットマップデータを、文字認識された部分
に関しては認識メモリ７に記憶されたテーブルの内容
を、記憶装置９にファイリングする（ステップＳ１
１）。また、文書画像の種別や位置を表している、領域
メモリ５に記憶されたテーブルの内容も同時にファイリ
ングする。

【００３６】また、文書画像が複数枚ある場合、例えば
スキャナー１に設けられた自動原稿搬送装置の原稿載置
センサーにより文書画像があるか否かを判断し（ステッ
プＳ１２）、もしあれば、以上述べた処理を繰り返し行
う。

【００３７】次に、ファイリングした文字認識結果を確
認及び修正するなどの目的で不図示の汎用モニター等の
表示装置に表示させる場合、実施形態では、非文字イメ
ージ（写真など）については、そのまま不図示のバッフ
ァメモリに展開する。また、文字イメージに対しては、
認識結果の第１候補の文字コードに基づいて不図示のフ
ォントメモリよりフォントデータを取り出して文字パタ
ーンを発生させ、対応する位置に展開する。これによ
り、文字部の認識結果を容易に確認することができ、こ
れが満足できないものであれば、不図示のキーボード等
で適宜認識結果を訂正することが可能である。

【００３８】尚、上述した実施形態では、認識結果の文
字コードに基づいて文字パターンを発生させて表示した
が、全画像のビットマップをファイリングすることによ
り、このまま表示するようにしても良い。

【００３９】また、上述した実施形態では、領域抽出結
果に基づく画像を表示する例を示したが、不図示のプリ
ント出力装置によりプリントしても良い。この場合、複
数枚出力することにより、後で一括して訂正処理を行う
ことが可能である。

【００４０】このように、文字の方向が文書画像の領域
によって異なる場合でも、各々文字認識処理が行われ、
ファイリング後のデータに対して全文検索を行うことが
可能となる。

【００４１】また、実施形態では、画像処理装置を例に
説明したが、本発明はこれに限らず、例えば汎用の情報
処理装置に適用しても良い。この場合の装置構成として
は、例えば図７に示すようになる。

【００４２】図７において、１００は装置或いはシステ
ム全体を制御するＣＰＵ、１０１はブートプログラムや
ＢＩＯＳ等を記憶しているＲＯＭ、１０２はＣＰＵ１０
０のワーク領域として使用するＲＡＭであり、画像メモ
リ３に対応するイメージ格納エリア１０３、領域メモリ
５に対応する領域種別エリア１０４、認識メモリ７に対
応する認識結果エリア１０５を含み、更に、データやプ
ログラムが展開或いは確保されている。１０６は一連の
処理手順に対応するプログラムである。１０７は印刷す
る時に使用する出力バッファであり、１０８は制御プロ
グラム１０６を始めとして全体の制御を行うオペレーテ
ィングシステム（ＯＳ）である。

【００４３】１０９は原稿を読み取るためのイメージス
キャナー、１１０はハードディスク装置や光磁気ディス
ク装置などの大容量記憶装置である。この中には、１０
８のＯＳ等も記憶されている。１１１は可搬性の記憶媒
体に対してデータのリード／ライトを行うための装置で
あり、図７ではフロッピーディスクドライブである。フ
ロッピーディスクドライブ１１１にセットするフロッピ
ーディスク、若しくはハードディスク装置１１０の何れ
か一方に、制御プログラム１０６が格納されている。

【００４４】１１２は表示画面に表示するビットマップ
イメージを展開するＶＲＡＭであり、１１３はＶＲＡＭ
１１２に展開されたビットマップイメージを表示する表
示器である。１１４は認識結果等を修正するために各種
情報を入力するキーボード、１１５は表示器１１３に表
示された所望とする位置を指定したり、各種メニューの
中の１つを選択したりするポインティングデバイスであ
る。そして、１１６は可視画像を形成するプリンタであ
る。

【００４５】上記の構成における情報処理装置の制御手
順は、先述した実施形態とほぼ同様であるが、メモリ制
御部２や領域抽出部４に相当する処理はＣＰＵ１００が
制御プログラム１０６に従って行う。

【００４６】尚、本発明は複数の機器（例えば、ホスト
コンピュータ，インタフェイス機器，リーダ，プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機，ファクシミリ装置な
ど）に適用してもよい。

【００４７】また、本発明の目的は前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体を、システム或いは装置に供給し、そのシ
ステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰ
Ｕ）が記憶媒体に格納されたプログラムコードを読出し
実行することによっても、達成されることは言うまでも
ない。

【００４８】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００４９】プログラムコードを供給するための記憶媒
体としては、例えばフロッピーディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００５０】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部又は全部
を行い、その処理によって前述した実施形態の機能が実
現される場合も含まれることは言うまでもない。

【００５１】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部又は全部を行い、その処
理によって前述した実施形態の機能が実現される場合も
含まれることは言うまでもない。

【００５２】

【発明の効果】以上説明したように、本発明によれば、
複数の領域からなり、複数の文字方向を有する文書画像
に対して文字認識した場合、より正しい認識結果を容易
に得ることができる。

【００５３】

【図面の簡単な説明】

【図１】実施形態における画像処理装置の構成を示すブ
ロック図である。

【図２】実施形態における文字認識処理を示すフローチ
ャートである。

【図３】実施形態における分割読み出しを説明するため
の図である。

【図４】実施形態における他の分割読み出しを説明する
ための図である。

【図５】図１の領域メモリに構築されるテーブルの内容
を示す図である。

【図６】図１の認識メモリに構築されるテーブルの内容
を示す図である。

【図７】他の実施形態における情報処理装置の構成を示
すブロック図である。

【符号の説明】

１ スキャナー ２ メモリ制御部 ３ 画像メモリ ４ 領域抽出部 ５ 領域メモリ ６ 文字認識部 ７ 認識メモリ ８ 辞書メモリ ９ 記憶装置 １０ システム制御部 １１ ＲＯＭ １２ ＭＭＩ

Claims (8)

【特許請求の範囲】
1. 【請求項１】 文書画像を入力する入力手段と、 前記入力手段から入力された文書画像を記憶する記憶手
   段と、 前記記憶手段に記憶した文書画像を複数の領域に分割す
   る領域分割手段と、 前記領域分割手段により分割した複数の領域から文字領
   域を抽出する文字領域抽出手段と、 前記文字領域抽出手段により抽出した文字領域の文字方
   向を検知する文字方向検知手段と、 前記検知手段により検知した文字方向に応じて前記文字
   領域を回転させる回転手段と、 前記回転手段により回転させた文字領域の文字認識を行
   う文字認識手段と、 を有することを特徴とする画像処理装置。
2. 【請求項２】 前記領域分割手段は、領域の分割数やア
   ドレス値を指定する指定手段からの領域分割情報に基づ
   いて文書画像を複数の領域に分割することを特徴とする
   請求項１に記載の画像処理装置。
3. 【請求項３】 前記文字認識手段での認識結果を含む前
   記文書画像に関する情報をファイリングするファイリン
   グ手段を更に有することを特徴とする請求項１に記載の
   画像処理装置。
4. 【請求項４】 前記ファイリング手段によりファイリン
   グされた文書画像に関する情報に基づき文書画像を出力
   する出力手段を更に有することを特徴とする請求項３に
   記載の画像処理装置。
5. 【請求項５】 文書画像を入力し、 入力した文書画像を記憶し、 記憶した文書画像を複数の領域に分割し、 分割した複数の領域から文字領域を抽出し、 抽出した文字領域の文字方向を検知し、 検知した文字方向に応じて前記文字領域を回転させ、 回転させた文字領域の文字認識を行うことを特徴とする
   画像処理方法。
6. 【請求項６】 前記複数の領域の分割数やアドレス値を
   指定する領域分割情報に基づいて文書画像を複数の領域
   に分割することを特徴とする請求項５に記載の画像処理
   方法。
7. 【請求項７】 前記文字認識の結果を含む前記文書画像
   に関する情報をファイリングすることを特徴とする請求
   項５に記載の画像処理方法。
8. 【請求項８】 前記ファイリングされた文書画像に関す
   る情報に基づき文書画像を出力することを特徴とする請
   求項７に記載の画像処理方法。