JP4420440B2 - 画像処理装置、画像処理方法、文字認識装置、プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、文字認識装置、プログラムおよび記録媒体に関し、特に、画像データ中の表領域のセル分割とセル内の行方向の判定に関する。

従来、文書画像に書かれている文字情報をコンピュータで扱えるような文字コードに変換する文字認識装置が利用されている。
このような文字認識を行う場合、まず、文書画像を文字領域、写真や図形などのイメージ領域または表領域などに分割し、それぞれの領域に別の処理を行うことが多い。
表領域に関しては、表を構成する罫線の位置を認識し、罫線で囲まれた枠内（セル）を一つの文字領域とし、セル内の文字行が横書きであるか縦書きであるかを判別し、この判別結果に応じて各セル内の文字行の抽出方法を切り替えて文字認識を行っている。

特許文献１の判定方法は、文書画像の表領域より、主走査方向および副走査方向の線分で囲まれた枠を抽出し、各枠の主走査方向の長さおよび副走査方向の長さによって各枠内の文字行が横書きであるか縦書きであるかを判別し、この判別の結果に応じて各枠内の文字行の抽出方法を切り替えて文字認識するようにした。これにより、横書きの枠と縦書きの枠が混在した表においても、各枠内の文字行が正確に抽出され、各枠内の文字の切り出しおよび文字認識の精度が上がるという効果がある。

また、特許文献２の判定方法は、入力した表画像から罫線で四方を囲まれた全てのセルの連結黒画素の外接矩形を縦横２方向に投影してヒストグラムを抽出し、このヒストグラムから縦の行数、横の行数、縦、横の行ピッチなどを求め（図７参照）、それらの情報からセル内の文字が縦書きか横書きかを判定する。
特許第２９３１０４１号公報 特開平０８−１６７１５号公報 特開平０９−１６７２４６号公報

しかしながら、特許文献１の判定方法では、文字列の方向を枠の主走査方向の長さおよび副走査方向の長さによって判別している。その結果、枠の長さが長い方向と文字列の方向とが異なる場合には、文字列の方向を誤って判別してしまうという問題点があった。例えば、縦長の枠中に横書きの文字行がある場合には、文字列の方向を縦書きと誤って判別してしまう。

これを解決するために、特許文献３の方法は、枠内の画像の属性を判定し、横罫線のありなしを判定し、表を構成する枠中の文字列の方向をより正確に判断するようにした。この枠内の画像の属性は、枠内の行数が３行以上あるか、または枠内の文字画像の高さａと文字画像の垂直方向の文字間隔ｂがｂ＞３ａの関係にある場合、横罫線なしの表画像であると判定する。さもなければ、横罫線ありの表画像と判定する。
この判定により、縦長の枠中に横書きの文字行がある場合でも、文字列の方向を縦書きと誤って判定することがない。

ここで、カラー原稿やグレースケール原稿の表がセルを色や濃淡によって区切っていた場合、表領域や文字認識を行うために２値化してしまうと、色情報や濃淡情報が失われてしまうため上下または左右の隣接するセルが結合されて縦長または横長のセルとなってしまう。このようなセルの場合には、特許文献３の方法でも正しく判定できない。例えば、色で区切られた１つのセルの内容が縦書きで、その下のセルが横書きのような場合、これらの隣接するセルが結合されたセルの内容では縦書きとも横書きとも判定することができない。

また、特許文献２のような主走査方向と副走査方向の２方向でのヒストグラムを用いた方法では、日本語のような「偏と旁」とから出来ていることの多い漢字の場合、セル内の文字がすべて「偏と旁」で出来ている漢字であると正しく幅を求めることができなくなり、縦書きか横書きかを正しく判断できなくなってしまう。

本発明は、上記の実情を考慮してなされたものであって、表の罫線が色や濃淡によって引かれているような場合であっても正しくセルの区切りを判断でき、また、該セル内の文字行の方向を正しく推定できる画像処理装置、画像処理方法、文字認識装置、プログラムおよび記録媒体を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の発明は、原稿画像の二値化画像を識別して表領域画像を抽出する領域識別手段と、該表領域画像をセル画像に分割するセル分割手段とを有する画像処理装置において、前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成する罫線設定手段を有し、前記セル分割手段は、該重ね合わせて生成された表領域画像をセル画像に分割し、前記画像処理装置は、前記セル分割手段で分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が１行または２行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定する行方向推定手段を有することを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記行方向推定手段は、前記推定された行方向がデフォルト値としてセットされている行方向と異なる場合、行方向を該推定された行方向に再設定することを特徴とする。

請求項３に記載の発明は、原稿画像の二値化画像を識別して表領域画像を抽出し、該表領域画像をセル画像に分割する画像処理方法において、前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成し、該重ね合わせて生成された表領域画像をセル画像に分割し、当該分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が１行または２行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定するようにしたことを特徴とする。

請求項４に記載の発明は、原稿画像を入力する原稿画像入力手段と、前記原稿画像の二値化画像を識別して表領域画像を抽出する領域識別手段と、該表領域画像をセル画像に分割するセル分割手段と、該セル画像を文字認識する文字認識手段とを有する文字認識装置において、前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成する罫線設定手段を有し、前記セル分割手段は、該重ね合わせて生成された表領域画像をセル画像に分割し、前記文字認識装置は、前記セル分割手段で分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が１行または２行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定する行方向推定手段を有することを特徴とする。

請求項５に記載の発明は、コンピュータに、請求項１または２に記載の画像処理装置の機能、または、請求項４に記載の文字認識装置の機能を実行させるためのプログラムである。
請求項６に記載の発明は、請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によると、カラー原稿やグレースケール原稿で、表の罫線が色や濃淡によって引かれているような場合であっても正しくセルの区切りを判断できる。
また、二値化画像の場合や、色や濃淡によるセルの分割に失敗した場合であっても、セル内の情報を用いて、セル内の文字行の方向を推定することができる。これにより、文字認識処理の行切り出しの失敗を防ぐことができる。

以下、図面を参照して本発明の好適な実施形態について説明する。
図１は、本発明の画像処理装置を適用した文字認識装置の概略ブロック図である。ここに示す文字認識装置は、スキャナ装置のような画像入力装置と液晶ディスプレイ等の表示装置を接続して、画像入力装置から読み取った文字領域および表領域の画像にある文字を認識して文字コードに変換し、その認識結果を他のアプリケーションソフトウェアで使用できるようにする。その変換の際、認識途中における作業支援のために表示装置が使われる。

図１において、文字認識装置は、入力部１０、二値化部２０、前処理部３０、領域識別部４０、文字領域処理部５０、表領域処理部６０、出力部７０を備えている。
入力部１０は、カラー画像入力機器（例えば、デジタルカラー複写機、スキャナ、カメラ等）からカラー原稿やグレースケール原稿を入力してＡ／Ｄ変換処理を行い、原画像記憶部１５へ記憶する。また、デジタルカメラのアプリケーションソフトウェアや文書画像解析・認識システムから画像データを受信したり、すでに画像データを格納しているファイルから入力するようにしてもよい。

二値化部２０は、原画像記憶部１５に記憶されたカラー画像データやグレースケール画像データを二値化して二値化画像記憶部２５へ記憶する。
前処理部３０は、二値化画像記憶部２５に記憶された二値化画像のスキュー補正やノイズ除去を行って、二値化画像記憶部２５を更新する。

領域識別部４０は、二値化画像記憶部２５に記憶された二値化画像を文字領域、表領域および写真領域等に識別し、この領域ごとに分割した画像を原画像での位置情報、サイズ情報および領域の区分（文字領域、表領域または写真領域等）と対応付けて領域分割結果記憶部４５に記憶する。さらに、原稿の行方向判定もあわせて行い、判定結果を記憶しておく。

文字領域処理部５０は、領域分割結果記憶部４５に記憶された分割領域のうち、文字領域の画像から切り出した文字の特徴量を計算し、その特徴量と文字認識辞書の標準パターンの特徴量とを比較し、類似度の高いものを認識結果の候補とし、候補文字コードとその類似度と候補文字の文字種等を認識結果とし、その認識結果を分割領域と対応付けて領域分割結果記憶部４５を更新する。また、文字領域処理部５０は、表領域処理部６０から呼び出される場合もある。

表領域処理部６０は、領域分割結果記憶部４５に記憶された分割領域のうち、表領域をセルに分割し、セル内の領域が文字領域または写真領域等であるかを識別し、セルの位置情報、サイズ情報およびセルの区分（文字領域または写真領域等）、および、これらのセルが文字領域の場合には文字認識結果を表領域に対応させて領域分割結果記憶部４５を更新する。

出力部７０は、領域分割結果記憶部４５に得られた認識結果データと原画像記憶部１５内の原画像とを対比させて表示装置に表示させ、所望の結果をユーザに選択または修正させて、最終的な認識結果をプリンタや記憶装置等の出力装置へ出力したり、また他のアプリケーションソフトウェアへ引き渡す。

このような文字認識装置の全体的な構成および基本的処理内容は、従来の文字認識装置と同様であるが、表領域処理部６０は本発明の画像処理装置によるもので、その構成と処理内容は従来のものとは異なる。

なお、本実施形態では、文字認識装置へ本発明の画像処理装置を適用しているが、表領域内の画像を処理する、例えば、画像識別、画像編集、文書ファイリング、文書処理、文書管理あるいは文書配信等を行う装置やシステムにも容易に適用可能である。

次に、表領域処理部６０（本発明の画像処理装置）について、詳細に説明する。
図２は、表領域処理部６０の機能構成を示すブロック図であり、同図において、表領域処理部６０は、罫線設定部６１、セル分割部６２および行方向推定部６３を含んで構成されている。

罫線設定部６１は、領域分割結果記憶部４５に記憶された表領域に対して、この表領域に対応するカラー原画像またはグレースケール原画像の領域エッジ強度を求め、エッジ強度が所定の値より強く（＝エッジがあり）、それが連続している（以下、仮想罫線という）場合、仮想罫線があると判断し、表領域の二値化画像にＯＲ処理で罫線を書き加えて、領域分割結果記憶部４５を更新する。
このとき、数画素程度の切れは、連続していると判断をし、所定の長さ以上続いている場合を罫線として判断する。従って、領域識別処理によって表領域として抽出されなかった表領域以外の画像には影響は及ぼさない。

仮想罫線処理を行うのは、カラー原稿やグレースケール原稿の表では、実罫線でセルを分けずに色や濃淡の違いのみによってセルを分けていることがあり、このため従来の処理ではセルの抽出が困難な場合がある。また、カラー原稿やグレースケール原稿（多値原稿）の罫線が細い実罫線であった場合には、二値化処理で罫線が消失してしまい、セルの抽出が困難である。

図３は、罫線設定部６１の処理の流れを示すフローチャートである。
まず、主走査方向の仮想罫線や罫線を次のようにして設定する。
表領域のすべての画素に対して、主走査方向に２×３画素の窓（図４（１））を設け、この窓を主走査方向にずらしながら、窓内で副走査方向に対する画素の濃度差が所定の閾値を越えている画素連続を抽出する（図５（Ａ），（Ｂ））。この画素連続の長さが所定の長さ以上続いている場合に、この画素連続を罫線或いは仮想罫線（図５（Ｂ））であると判断する（ステップＳ０１）。
ここで、濃度差のない画素連続が１つの窓の幅以下であれば、画素連続であると判断する。

二値化された表領域の画像データの、抽出された画素連続に対応する位置に罫線或いは仮想罫線をＯＲ処理で書き込む（ステップＳ０２）。
上記ステップＳ０１とＳ０２とを表領域の画像のすべての画素について処理するまで繰り返す（ステップＳ０３）。

次に、副走査方向に３×２の窓（図４（２））を設け、この窓を副走査方向にずらしながら上記ステップＳ０１からＳ０３の処理を繰り返して、副走査方向の罫線或いは仮想罫線を設定する。

または、上述のような処理手順ではなく、処理時間の短縮や掠れ画像への対応、或いはディザ画像（カラー）への対応のため、例えば、２００ｄｐｉのカラー画像に対して、１００ｄｐｉとなる細線保存縮小画像を作成し、この細線保存縮小画像を二値化して仮想罫線を抽出して、セルを抽出するようにしてもよい。

この細線保存縮小画像の作成は、例えば、２×２画素を１画素に縮小する場合、２×２の画素の中の最も暗い値を、作成される縮小画像の代表色とすることにより、白地に黒でかかれている原稿の場合などでも、細線が消えることなく縮小画像が作成できる（単純に間引き縮小をすると、細線が消えてしまうことがある）。

セル分割部６２は、領域分割結果記憶部４５に記憶された表領域（仮想罫線を書き加えた二値化画像）内をセルに分割し、セル内の領域が文字領域または写真領域等であるかを識別し、セルの位置情報、サイズ情報およびセルの区分（文字領域または写真領域等）を表領域に対応させて領域分割結果記憶部４５を更新する。

行方向推定部６３は、分割されたセルの画像を文字領域あるいは写真領域等に区分し、文字領域であれば文字行の方向を推定する。表領域処理部６０は、この文字行の方向によって文字認識を行わせる。
まず最初、表領域中のセルの行方向は、ユーザが指定した原稿の行方向（ユーザが原稿の行方向は横と指定すればセル方向は横になる）、または、行方向を自動設定するモードが設定された場合は、領域識別部４０で求められた行方向がデフォルト値としてセットされる。

次に、以下に示したような所定の条件（Ａ）または（Ｂ）を満たしている場合、行方向を“縦”とし、デフォルトで設定されている行方向と異なる場合には、行方向を再設定（入れ替え）する。

（Ａ）すべての下記条件（１）〜（４）を満たす場合、行方向“縦”をセットする。
（１）縦横比が所定値よりも大きい縦長のセルである。
（２）セル内の行数が１行または２行である。
（３）セルの縦の長さが表の縦の大きさの１／２より短い。
（４）表領域の左半分にセルが含まれている（図６）。

（Ｂ）下記（５）〜（７）の条件のすべてを満たす場合、行方向“縦”がセットされる。
（５）縦横比が所定よりも大きい縦長のセルである。
（６）セル内の行数が１行である。
（７）セルの縦の長さが表の縦の大きさの１／２より長い。

次に、以下に示したような所定の条件（Ｃ）または（Ｄ）を満たしている場合、行方向を“横”とし、デフォルトで設定されている行方向と異なる場合には、行方向を再設定（入れ替え）する。

（Ｃ）すべての下記条件（１１）〜（１４）を満たす場合、行方向“横”をセットする。
（１１）縦横比が所定値よりも大きい横長のセルである。
（１２）セル内の行数が１行または２行である。
（１３）セルの横の長さが表の横の大きさの１／２より短い。
（１４）表領域の上半分にセルが含まれている（図６）。

（Ｄ）下記（１５）〜（１７）の条件のすべてを満たす場合、行方向“横”がセットされる。
（１５）縦横比が所定よりも大きい横長のセルである。
（１６）セル内の行数が１行である。
（１７）セルの横の長さが表の横の大きさの１／２より長い。

また、上記の条件（Ａ）乃至（Ｄ）のいずれも満たさないときには、行方向はデフォルトのままとし、行方向の再設定は行わない。

ここで、セル内の行数の算定を行うために、セル内の黒画素連結成分の外接矩形を求める。次にこの外接矩形から３つの標準サイズ（セル内の正方形矩形の大きさの最大値、セル内の横長矩形の矩形幅の最大値、セル内の縦長矩形の高さの最大値）を求める。
ここで、表領域をセルに分割する罫線が掠れなどによって、セル内に存在することがあり、これによる悪影響を除外するために、横長矩形や縦長矩形の最大値を求める際には、その値が所定の値よりも小さな矩形のみを対象として最大値を求めるようにする。

セル内の行数が１行または２行であると判断できる３つの標準サイズの範囲値を予め定めておき、求められた３つの標準サイズが予め定めた範囲値であるかを調べることによって、セル内の行数を１行または２行であると判断する。

以上のように本実施形態を構成することにより、カラー原稿やグレースケール原稿で、表の罫線が色や濃淡によって引かれているような場合であっても正しくセルの区切りを判断できる。
また、二値化画像の場合や、色や濃淡によるセルの分割に失敗した場合であっても、セル内の情報を用いて、セル内の文字行の方向を推定することができる。これにより、文字認識処理の行切り出しの失敗を防ぐことができる。

本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の画像処理装置および文字認識装置の機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、画像処理装置および文字認識装置に搭載したＣＤ−ＲＯＭドライブ等の媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。

なお、プログラムを格納する記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。

また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。

上記プログラムを市場に流通させる場合には、可搬型の記録媒体に当該プログラムを格納して流通させたり、或いは、サーバコンピュータの記憶装置に当該プログラムを格納しておき、インターネットを介して他のコンピュータに転送することでも流通させることができる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
なお、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムをインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。

また、上述のコンピュータは、単一のコンピュータとして適用することが可能であるが、複数のコンピュータネットワークとして適用することも可能であり、コンピュータで利用されるプログラムが他のコンピュータに記録され、リモートコンピュータとして分散的に処理または実行するようにしてもよい。

このように上述した実施形態の機能をプログラム化して流通させることによって、コスト、可搬性、汎用性を向上させることができる。

本発明の画像処理装置を適用した文字認識装置の概略ブロック図である。 表領域処理部の機能構成を示すブロック図である。 罫線設定部の処理の流れを示すフローチャートである。 仮想罫線を抽出するための主走査方向と副走査方向における窓の例である。 仮想罫線の判断例である。 表内のセルの位置を説明する図である。 表のセル内が縦書きか横書きかを判定する従来方法を説明する図である。

符号の説明

１０…入力部、１５…原画像記憶部、２０…二値化部、２５…二値化画像記憶部、３０…前処理部、４０…領域識別部、４５…領域分割結果記憶部、５０…文字領域処理部、６０…表領域処理部、６１…罫線設定部、６２…セル分割部、６３…行方向推定部、７０…出力部。

Claims (6)

1. 原稿画像の二値化画像を識別して表領域画像を抽出する領域識別手段と、該表領域画像をセル画像に分割するセル分割手段とを有する画像処理装置において、
   前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成する罫線設定手段を有し、
   前記セル分割手段は、該重ね合わせて生成された表領域画像をセル画像に分割し、
   前記画像処理装置は、前記セル分割手段で分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が１行または２行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定する行方向推定手段を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、前記行方向推定手段は、前記推定された行方向がデフォルト値としてセットされている行方向と異なる場合、行方向を該推定された行方向に再設定することを特徴とする画像処理装置。
3. 原稿画像の二値化画像を識別して表領域画像を抽出し、該表領域画像をセル画像に分割する画像処理方法において、
   前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成し、該重ね合わせて生成された表領域画像をセル画像に分割し、当該分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が１行または２行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定するようにしたことを特徴とする画像処理方法。
4. 原稿画像を入力する原稿画像入力手段と、前記原稿画像の二値化画像を識別して表領域画像を抽出する領域識別手段と、該表領域画像をセル画像に分割するセル分割手段と、該セル画像を文字認識する文字認識手段とを有する文字認識装置において、
   前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成する罫線設定手段を有し、
   前記セル分割手段は、該重ね合わせて生成された表領域画像をセル画像に分割し、
   前記文字認識装置は、前記セル分割手段で分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が１行または２行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定する行方向推定手段を有することを特徴とする文字認識装置。
5. コンピュータに、請求項１または２に記載の画像処理装置の機能、または、請求項４に記載の文字認識装置の機能を実行させるためのプログラム。
6. 請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。