JP2006023983A - 文字画像分離装置、文字画像分離方法、文字画像分離プログラム、およびこのプログラムを格納した記録媒体 - Google Patents

Abstract

【課題】
学習の容易な統計的手法を用いて、小領域ごとに文字領域とそれ以外の領域を分離し、その結果を統合することで、信頼性の高い文字領域抽出結果を得ることができる。
【解決手段】
文字・罫線抽出装置１１は、処理対象画像中の文字または罫線を抽出するものであって、処理対象画像をｎ×ｍ個の画素からなる小領域Ｒに分割する処理対象画像分割手段１１１と、処理対象画像分割手段１１１により分割した各小領域Ｒごとに、当該領域Ｒに文字または罫線が含まれるか否かを、小領域Ｒの位置をずらして繰り返して判定する文字・罫線領域判定手段１１２と、文字・罫線領域判定手段１１２により各画素について判定した結果を統合することで、処理対象画像から文字・罫線を分離する文字・罫線抽出手段１１３とを備えたことを特徴とする。
【選択図】 図１

Description

本発明は、学習の容易な統計的手法を用いて、小領域ごとに文字領域とそれ以外の領域を分離し、その結果を統合することで、信頼性の高い文字領域抽出結果を得ることができる文字画像分離装置、文字画像分離方法、文字画像分離プログラム、およびこのプログラムを格納した記録媒体に関する。

従来、文字認識装置の前段の処理として、画像中の文字領域を抽出する処理は数多く提案されてきた。その多くは２値の文書画像をターゲットとしたものであり、画像から抽出された矩形の情報などを用いてルールベースでの判定を行う方法が主流であった。

一方、近年では保存媒体の大容量化・低価格化や、ネットワークの転送速度の向上、コンピュータの性能向上などを背景に、カラー画像を取り扱うケースが増加している。高解像度のカラー画像については近年本格的な流通・保存が開始されたところであり、画像の処理などに関してもまだまだ改善の余地は大きい。

この種の文字認識においても、画像の容量削減などのために画像中から文字領域を抽出する処理は重要となる。例えば、ＰＤＦなどにおいては、文字画像を分離し、別のレイヤーとして保存することで、ファイルの容量を小さくする事が可能である（特許文献１，２参照）。
（特開２００１−１８６３５６ 特開２００２−３６９０１１

これら情報圧縮の観点からは、文字画像とそれ以外を画素単位で分離する必要は無く、適当な大きさ（典型的には８×８画素など）の小領域ごとに文字領域であるか、文字以外の領域であるかを分離できれば十分な場合が多い。また、対象とする画像は２値画像の場合と比較して非常にバラエティに富んでおり、ルールベースでの識別を行う場合、ルールの構築に多くの時間を要することとなる。

本発明はこのような背景の下になされたものであり、学習の容易な統計的手法を用いて、小領域ごとに文字領域とそれ以外の領域を分離し、その結果を統合することで、信頼性の高い文字領域抽出結果を得ることができる文字画像分離装置、文字画像分離方法、文字画像分離プログラム、およびこのプログラムを格納した記録媒体を提供することを目的とする。

本発明の文字・罫線抽出装置は、処理対象画像中の文字または罫線を抽出するものであって、前記処理対象画像をｎ×ｍ個の画素からなる小領域に分割する処理対象画像分割手段と、前記処理対象画像分割手段により分割した前記各小領域ごとに、当該領域に文字または罫線が含まれるか否かを、前記小領域の位置をずらして繰り返して判定する文字・罫線領域判定手段と、前記文字・罫線領域判定手段により各画素について判定した結果を統合することで、処理対象画像から文字・罫線を分離する文字・罫線抽出手段とを備えたことを特徴とする。

本発明の文字・罫線抽出装置では、前記文字・罫線抽出手段により分離した前記文字または前記罫線、あるいは前記処理対象画像から前記文字または前記罫線を分離した後の画像を出力する画像出力手段を備えることができる。

本発明の文字・罫線抽出装置では、前記文字・罫線領域判定手段は、同一画素についての異なる小領域の判定結果を統合して文字領域であるか否かを判断するようにできる。

本発明の文字・罫線抽出装置では、前記文字・罫線領域判定手段が、前記小領域が文字または罫線を含む領域であると判定したときは、各画素ごとに設けられたカウンタに「１」を加算し、当該カウンタの値が所定しきい値を超えたときは、当該画素が文字または罫線の一部であると判断する文字・罫線判断手段を備えることができる。

本発明の文字・罫線抽出装置では、前記小領域内の各画素の値をソートする画素値ソート手段と、前記画素値ソート手段により得られた画素値列を特徴ベクトルとして、前記各画素が文字または罫線を構成するか否かを判定する文字構成画素判定手段とを備えることができる。

本発明の文字・罫線抽出装置では、前記文字構成画素判定手段は、前記画素値ソート手段によりソートした前記各画素値について隣接する画素値との差を算出し、当該差をソートして得られた差分値列を特徴ベクトルとして、前記各画素が文字または罫線を構成するか否かを判定するようにできる。

本発明の文字画像分離方法は、処理対象画像中の文字または罫線を抽出するものであって、前記処理対象画像をｎ×ｍ個の画素からなる小領域に分割する処理対象画像分割ステップと、前記処理対象画像分割ステップにおいて分割した前記各小領域ごとに、当該領域に文字または罫線が含まれるか否かを、前記小領域の位置をずらして繰り返して判定する文字・罫線領域判定ステップと、前記文字・罫線領域判定ステップにおいて各画素について判定した結果を統合することで、処理対象画像から文字・罫線を分離する文字・罫線抽出ステップとを有することを特徴とする。

本発明の文字画像分離方法では、前記文字・罫線抽出ステップにおいて分離した前記文字または前記罫線、あるいは前記処理対象画像から前記文字または前記罫線を分離した後の画像を出力する画像出力ステップを有することをができる。

本発明の文字画像分離方法では、前記文字・罫線領域判定ステップは、同一画素についての異なる小領域の判定結果を統合して文字領域であるか否かを判断することができる。

本発明の文字画像分離方法では、前記文字・罫線領域判定ステップにおいて、前記小領域が文字または罫線を含む領域であると判定したときは、各画素ごとに設けられたカウンタに「１」を加算し、当該カウンタの値が所定しきい値を超えたときは、当該画素が文字または罫線の一部であると判断する文字・罫線判断ステップを有することができる。

本発明の文字画像分離方法では、前記小領域内の各画素の値をソートする画素値ソートステップと、前記画素値ソートステップにおいて得られた画素値列を特徴ベクトルとして、前記各画素が文字または罫線を構成するか否かを判定する文字構成画素判定ステップとを有することができる。

本発明の文字画像分離方法では、前記文字構成画素判定ステップは、前記画素値ソートステップによりソートした前記各画素値について隣接する画素値との差を算出し、当該差をソートして得られた差分値列を特徴ベクトルとして、前記各画素が文字または罫線を構成するか否かを判定することができる。

本発明の文字画像分離プログラムは、上記各ステップするコンピュータにより実行可能なもので、この文字画像分離プログラムはコンピュータにより読取り可能な記録媒体に格納することができる。

本発明によれば、学習の容易な統計的手法を用いて、小領域ごとに文字領域とそれ以外の領域を分離し、その結果を統合することで、信頼性の高い文字領域抽出結果を得ることができる。

以下、本発明の実施形態を説明する。
〔第１実施形態〕
図１は第１実施形態にかかる文字画像分離装置を示す機能ブロック図である。

図１において、文字画像分離装置１１は、処理対象画像中の文字または罫線を抽出するもので、処理対象画像分割手段１１１と、文字・罫線領域判定手段１１２と、文字・罫線抽出手段１１３と、画像出力手段１１４と、文字・罫線判断手段１１５と、画素値ソート手段１１６と、文字構成画素判定手段１１７とを備えている。

処理対象画像分割手段１１１は、処理対象画像ＯＧをｎ×ｍ個の画素からなる小領域Ｒに分割することができる。

文字・罫線領域判定手段１１２は、処理対象画像分割手段１１１により分割した各小領域Ｒごとに、各小領域Ｒに文字または罫線が含まれるか否かを、小領域Ｒの位置をずらして繰り返して判定する。文字・罫線領域判定手段１１２は、同一画素についての異なる小領域の判定結果を統合（合成）して文字領域であるか否かを判断することができる。

文字・罫線抽出手段１１３は、文字・罫線領域判定手段１１２により各画素について判定した結果を統合することで、処理対象画像ＯＧから文字または罫線を分離することができる。

画像出力手段１１４は、文字・罫線抽出手段１１３により分離した文字または罫線、あるいは処理対象画像ＯＧから文字または罫線を分離した後の画像を出力することができる。

文字・罫線判断手段１１５は、文字・罫線領域判定手段１１３が、小領域Ｒが文字または罫線を含む領域であると判定したときは、各画素ごとに設けられたカウンタ１１５１に「１」を加算し、当該カウンタの値が所定しきい値を超えたときは、当該画素が文字または罫線の一部であると判断することができる。

画素値ソート手段１１６は、小領域Ｒ内の各画素の値をソートし、文字構成画素判定手段１１７は、画素値ソート手段１１６により得られた画素値列を特徴ベクトルとして、前記各画素が文字または罫線を構成するか否かを判定することができる。文字構成画素判定手段１１７は、画素値ソート手段１１６によりソートした各画素値について、隣接する画素値との差を算出し、当該差をソートして得られた差分値列を特徴ベクトルとして、各画素が文字または罫線を構成するか否かを判定することができる。

上述した各手段は、コンピュータの記憶装置（ＲＡＭやＲＯＭ）に格納されたプログラムをＣＰＵ等のプロセッサが、処理対象画像分割ステップと、文字・罫線領域判定ステップと、文字・罫線抽出ステップと、画像出力ステップと、文字・罫線判断ステップと、画素値ソートステップと、文字構成画素判定ステップとして実行することにより達成することができ、あるいはＤＳＰにより達成することができる。

以下、処理対象画像ＯＧ画像から文字を抽出する場合を説明する。なお、経線の抽出についても、文字抽出と同じである。

処理対象画像ＯＧは、まず処理対象画像分割手段１１１に入力される。ここでは、フルカラーの２４ｂｉｔ画像（Ｒ．Ｇ．Ｂそれぞれ８ｂｉｔ）が入力されたものとする。

文字・罫線領域判定手段１１２は、原画像ＯＧをｍ×ｎ（ここでは、８×８）画素の小領域Ｒに分割する。小領域Ｒの、左上の座標は（ｘ，ｙ）（ｘ＝０，１，２，・・・，ｘｍ、ｙ＝０，１，２，・・・，ｙｍ）となる。図２，図３，図４は、その一例を示すもので、小領域Ｒの開始点（左上の座標）は図２では（０，０）に、図３では（２，０）に、図４では（０，１）に設定されている。以後、必要に応じて、開始点座標を用いて、それぞれの小領域Ｒを（ｘ，ｙ）（ｘ＝０，１，２，・・・，ｘｍ、ｙ＝０，１，２，・・・，ｙｍ）で表す。

次に、画素値ソート手段１１６は小領域Ｒにおいて、各画素の明度を特徴量として算出し、明度値の大きい順に値をソートする。

特徴量はベクトルであり、その概念図を図５（Ａ）に示す。図５（Ａ）では、説明の便宜上８次元ベクトルの場合を示しているが、本実施形態では特徴量は６４次元ベクトルである。

図５（Ｂ）は、明度値順にソートしたヒストグラムである。図５（Ｃ）は、隣り合う小領域のヒストグラムとの差を示す図である。

文字構成画素判定手段１１７、図５（Ｄ）に示すように、（Ｃ）における差を大きさ順にソートし、各小領域について得られた、６４次元ベクトルを用いて、各画素が文字領域であるか、そうでないかを判定する。このようなベクトルを用いた識別については、過去に数多くの手法が提案されている。ベクトル間の相違度を算出する方法としてはユークリッド距離やマハラノビス距離などが代表的であり、それを利用したクラスタリング手法としてはＷａｒｄ法やＫ−ｍｅａｎ法などが提案されているので、文字列画像を収集して、あらかじめ所定の方法で学習しておけばよい。また、近年では２値分類に適した手法として、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ なども応用が盛んであるので、本発明に適用してもよい。

ここでは、６４次元のベクトルについて、あらかじめ典型的な文字画像のベクトルを複数求めておき、そのベクトルとの間でユークリッド距離を算出し、ユークリッド距離が所定のしきい値よりも小さかった場合にその小領域が文字画像であったと判定する。

このような判定処理を、小領域Ｒ（ｘ，ｙ）の全てについて行う。

文字・罫線抽出手段１１３は、全ての小領域Ｒについて判定処理が終了したならば、処理対象画像ＯＧ上の各画素について、その画素の属する全ての小領域Ｒの判定結果を統合する。

文字・罫線判断手段１１５は、統合（合成）にあたっては、文字・罫線領域判定手段１１３が、小領域Ｒが文字領域であると判定した場合には、その文字領域が属する画素の各画素に対応するカウンタ１１５１に「１」を、それ以外の場合には「０」を加える。

ある画素について、その画素が属する全ての小領域Ｒについての値がカウンタに加算される。したがって、１つの画素には、６４個の小領域に属するので、この値は０〜６４の値をとる。この値が３２以上の場合にその画素は文字の一部であり、それ以外の場合には文字以外であると判断する。
〔第２実施形態〕
本実施形態では、各画素について文字領域であるか否かを判断する部分までは第１実施形態と処理が同じであるので、説明を省略する。

本実施形態では、画素単位の判定結果に基づいて、再び小領域単位での文字であるか田舎の判定を行う。画像圧縮などを目的とする場合、小領域Ｒごとに文字が含まれているか否かの判定を行うことは重要な処理である。

ここでは、原画像ＯＧを、小領域Ｒｍｎ（８×ｍ，８×ｎ）（ｍ＝０，１，・・・，Ｍ、ｎ＝０，１，・・・，Ｎ）に分割する。

まず、小領域Ｒｍｎ（この小領域は重ならないように選ばれる）について、文字の一部であると判断された画素の数を算出する。この画素の数が３２画素以上の場合には、この小領域Ｒｍｎを文字画像領域とし、同時に３２との差分をエラーとして算出する。たとえば、小領域Ｒｍｎ内で文字の一部であると判断された画素数が４３の場合には、この小領域Ｒｍｎを文字画像領域とし、エラーは９である。一方、小領域Ｒｍｎ内で文字の一部であると判断された画素数が３１以下の場合には、この小領域Ｒｍｎは文字以外の領域と判断し、３１との差分をエラーとして算出する。

たとえば、小領域Ｒｍｎ内に文字の一部であると判断された画素数が１９の場合には、この小領域Ｒｍｎは文字画像領域ＲＬではないとし、エラーは１２である。

この処理を全ての小領域Ｒｍｎに対して行い、エラー合計値Ｅ（ｍ，ｎ）（ｍ＝０，１，・・・，Ｍ、ｎ＝０，１，・・・，Ｎ）を求める。そして、エラー合計値Ｅ（ｍ，ｎ）が最小となる小領域Ｒｍｎにより、最終的に文字画像領域ＲＬと、それ以外の領域を判別する。この処理により、８×８の小領域Ｒｍｎ単位で文字画像領域が抽出される。
〔第３実施形態〕
本実施形態では、第１実施形態とは異なる特徴量を用いる。文字画像には、図２から図４の例にも示したように、エッジがはっきりと現れる場合が多い。そこで、本実施形態では第１実施形態で用いた画素濃度の代わりに、エッジ強度のヒストグラムを用いる。エッジ強度の算出には、種々の方法が提案されている。カラー画像のエッジ強度を算出する方法の一例として、たとえば、特開２００３−１８７２５３に示されているような手法を用いればよい。

本実施形態では、まず、図５（Ａ）に示すように、各画素についてのエッジ強度のヒストグラムを作成する。次に、図５（Ｂ）に示すように得られたヒストグラムをエッジ強度の強い順にソートし、図５（Ｃ）に示すように得られたヒストグラムについて隣り合うヒストグラムの差分を算出し、図５（Ｄ）に示すようにその差分をソートした結果を特徴ベクトルとして用いる。

残りの処理については第１実施形態と同じである。
〔第４実施形態〕
第１実施形態とは異なる特徴量を用いる。文字画像は、線分を基に構成されているので、画像や背景と比較すると、周波数軸で特徴が現れる場合が多い。

そこで、例えば８×８画素の画像に対して離散コサイン変換を施し、得られた周波数成分をそのまま特徴量（特徴ベクトル）として用いることもできる。
〔第５実施形態〕
画像の圧縮を目的とした場合に最適な小領域のサイズと、文字領域を識別するために最適な小領域のサイズは必ずしも同じとは限らない。

本実施形態においては、文字領域を識別するために最適な小領域Ｒの大きさが４×４画素、画像圧縮時には８×８画素の単位で文字領域の判定を行う場合に圧縮効率を最適化することができる。

本実施形態では、処理対象画像ＯＧは、まず処理対象画像分割手段１１１に入力される。ここではフルカラーの２４ｂｉｔ画像（Ｒ．Ｇ．Ｂそれぞれ８ｂｉｔ）が入力されたものとする。処理対象画像分割手段１１１では、処理対象画像ＯＧを、たとえば４×４画素ごとの小領域ｒに分割する。そして、小領域ｒは、各画素について１６通りとなる。以後、開始点座標を用いてそれぞれの小領域をｒ（ｘ，ｙ）として示す。

次に、文字・罫線領域判定手段１１２は各小領域ｒにおいて、各画素の明度を算出し（図５（Ａ）参照）、明度値の大きい順に値をソートする（図５（Ｂ）参照）。得られた１６次元のベクトルを用いて、文字領域であるか、それ以外であるかを判定する。判定の方法については第１実施形態で説明したので、ここでは説明を省略する。

判定処理を小領域ｒ（ｘ，ｙ）の全てについて行う。全ての小領域ｒについて判定処理が終了したならば、２×２の小領域ごとをまとめて中領域として、文字領域かそれ以外であるかを判定する。ここでは４つの小領域ｒのうち、２つ以上が文字領域と判定されている場合に、中領域を文字領域であると判断する。これにより、画像圧縮に最適な大きさの領域による文字分割が可能となる。
〔第６実施形態〕
本実施形態では、文字・罫線領域判定手段１１２は、画素単位の判定結果に基づいて、処理対象画像分割手段１１１により分割した小領域ｒとは異なる大きさの領域での文字領域判定を行う。なお、ここでは説明の便宜上、小領域ｒとは異なる大きさの領域を「ｒ′」とするが、領域ｒ′の大きさが小領域ｒの大きさよりも小さい場合であっても本発明の適用が可能である。

各画素について文字領域であるか否かを判断する部分までの処理は、第１実施形態の処理と同じであるので、説明を省略する。

本実施形態では、処理対象画像分割手段１１１は、領域ｒ′は１６×１６画素からなる中領域により、小領域ｒの８×８画素を生成した場合と同様に原画像ＯＧを分割する。文字・罫線領域判定手段１１２は、各中領域ｒ′について、文字領域と判断された画素数を算出する。この画素数は最大で２５６画素であるが、ここでは文字の一部であると判断された画素数が１２８画素以上の場合には中領域を文字画像領域と判断する。同様の処理を全ての中領域ｒ′に対して施し、１６×１６画素ごと（中領域ｒ′）ごとの文字領域検出結果を得る。

本発明の一実施形態を示すブロック図である。 原画像を小領域に分割した例を示す図である。 原画像を小領域に分割した他の例を示す図である。 原画像を小領域に分割したさらに他の例を示す図である。 特徴量ベクトルの説明図であり、（Ａ）は各画素値のヒストグラムを示す図、（Ｂ）は、明度値順にソートしたヒストグラム、（Ｃ）は隣り合う小領域のヒストグラムとの差を示す図、（Ｄ）は（Ｃ）における差を大きさ順にソートした結果を示す図である。

符号の説明

１１ 文字画像分離装置
１１１ 処理対象画像分割手段
１１２ 文字・罫線領域判定手段
１１３ 文字・罫線抽出手段
１１４ 画像出力手段
１１５ 文字・罫線判断手段
１１６ 画素値ソート手段
１１７ 文字構成画素判定手段

Claims (14)

1. 処理対象画像中の文字または罫線を抽出する文字・罫線抽出装置であって、
   前記処理対象画像をｎ×ｍ個の画素からなる小領域に分割する処理対象画像分割手段と、
   前記処理対象画像分割手段により分割した前記各小領域ごとに、当該領域に文字または罫線が含まれるか否かを、前記小領域の位置をずらして繰り返して判定する文字・罫線領域判定手段と、
   前記文字・罫線領域判定手段により各画素について判定した結果を統合することで、処理対象画像から文字・罫線を分離する文字・罫線抽出手段と、
   を備えたことを特徴とする文字画像分離装置。
2. 前記文字・罫線抽出手段により分離した前記文字または前記罫線、あるいは前記処理対象画像から前記文字または前記罫線を分離した後の画像を出力する画像出力手段を備えたことを特徴とする請求項１に記載の文字画像分離装置。
3. 前記文字・罫線領域判定手段は、同一画素についての異なる小領域の判定結果を統合して文字領域であるか否かを判断することを特徴とする請求項１または２に記載の文字画像分離装置。
4. 前記文字・罫線領域判定手段が、前記小領域が文字または罫線を含む領域であると判定したときは、各画素ごとに設けられたカウンタに「１」を加算し、当該カウンタの値が所定しきい値を超えたときは、当該画素が文字または罫線の一部であると判断する文字・罫線判断手段を備えたことを特徴とする請求項１から３の何れかに記載の文字画像分離装置。
5. 前記小領域内の各画素の値をソートする画素値ソート手段と、
   前記画素値ソート手段により得られた画素値列を特徴ベクトルとして、前記各画素が文字または罫線を構成するか否かを判定する文字構成画素判定手段と、
   を備えたことを特徴とする請求項１から４の何れかに記載の文字画像分離装置。
6. 前記文字構成画素判定手段は、前記画素値ソート手段によりソートした前記各画素値について隣接する画素値との差を算出し、当該差をソートして得られた差分値列を特徴ベクトルとして、前記各画素が文字または罫線を構成するか否かを判定することを特徴とする請求項５に記載の文字画像分離装置。
7. 処理対象画像中の文字または罫線を抽出する文字・罫線抽出方法であって、
   前記処理対象画像をｎ×ｍ個の画素からなる小領域に分割する処理対象画像分割ステップと、
   前記処理対象画像分割ステップにおいて分割した前記各小領域ごとに、当該領域に文字または罫線が含まれるか否かを、前記小領域の位置をずらして繰り返して判定する文字・罫線領域判定ステップと、
   前記文字・罫線領域判定ステップにおいて各画素について判定した結果を統合することで、処理対象画像から文字・罫線を分離する文字・罫線抽出ステップと、
   を有することを特徴とする文字画像分離方法。
8. 前記文字・罫線抽出ステップにおいて分離した前記文字または前記罫線、あるいは前記処理対象画像から前記文字または前記罫線を分離した後の画像を出力する画像出力ステップを有することを特徴とする請求項７に記載の文字画像分離方法。
9. 前記文字・罫線領域判定ステップは、同一画素についての異なる小領域の判定結果を統合して文字領域であるか否かを判断することを特徴とする請求項７または８に記載の文字画像分離方法。
10. 前記文字・罫線領域判定ステップにおいて、前記小領域が文字または罫線を含む領域であると判定したときは、各画素ごとに設けられたカウンタに「１」を加算し、当該カウンタの値が所定しきい値を超えたときは、当該画素が文字または罫線の一部であると判断する文字・罫線判断ステップを有することを特徴とする請求項７から９の何れかに記載の文字画像分離方法。
11. 前記小領域内の各画素の値をソートする画素値ソートステップと、
    前記画素値ソートステップにおいて得られた画素値列を特徴ベクトルとして、前記各画素が文字または罫線を構成するか否かを判定する文字構成画素判定ステップと、
    を有することを特徴とする請求項７から１０の何れかに記載の文字画像分離方法。
12. 前記文字構成画素判定ステップは、前記画素値ソートステップによりソートした前記各画素値について隣接する画素値との差を算出し、当該差をソートして得られた差分値列を特徴ベクトルとして、前記各画素が文字または罫線を構成するか否かを判定することを特徴とする請求項１１に記載の文字画像分離方法。
13. 請求項７から１２に記載の各ステップするコンピュータにより実行可能な文字画像分離プログラム。
14. 請求項１３に記載の文字画像分離プログラムを格納したコンピュータにより読取り可能な記録媒体。