JP4829757B2 - 罫線抽出装置および方法 - Google Patents

Description

本発明は、カラー画像から罫線を抽出する装置および方法に関する。

図１１は、カラー画像を入力として画像内に配置された罫線を抽出する、従来の罫線抽出処理のフローチャートである。この罫線抽出処理では、まず、入力されたカラー画像から明度グレー画像を生成し、その明度グレー画像を二値化する（ステップ１１）。そして、得られた二値画像から、罫線とそれに囲まれたセルを抽出する（ステップ１２）。これにより、背景と明度差のある罫線を抽出することができる。明度グレー画像は、いわゆるグレースケール画像に相当する。

また、背景と罫線の濃度差が小さい画像から罫線を抽出する方法として、多値画像を２種類の異なる方法で二値化する方法が知られている（例えば、下記の特許文献１を参照）。この方法では、一方の潰れ気味の二値画像を用いて罫線候補領域を抽出し、もう一方の掠れ気味の二値画像を用いて罫線候補領域を検証することで、罫線をより正確に抽出することができる。

先願であるＰＣＴ／ＪＰ２００６／３０２７６３は、カラー画像の領域色を認識するために彩度補正を行う方法に関する。
特開２００２−１３３４２６号公報

上述した従来の罫線抽出方法には、次のような問題がある。
図１１の罫線抽出処理では、背景と罫線の明度の差が小さい場合は、罫線および背景ともに二値化により白となってしまい、罫線を抽出することができない。例えば、図１２に示すように、薄い色のセル同士が明示的な境界線で区別されずに、色の変化により区別されている場合がある。以下では、このようなセル間の境界を、境界罫線と呼ぶことする。このような境界罫線を含むカラー画像が入力された場合、両方のセルが二値化により白となってしまい、罫線を抽出することができない。

また、図１３に示すカラー画像２１が入力された場合、まず、明度グレー画像２２が生成され、次に、明度グレー画像２２から二値画像２３が生成される（ステップ１１）。そして、二値画像２３から罫線およびセルが抽出され、抽出結果２４が得られる（ステップ１２）。ところが、抽出結果２４には、カラー画像２１に含まれていた境界罫線が含まれていない。

特許文献１の罫線抽出方法では、明度グレー画像のみから潰れ気味の二値画像と掠れ気味の二値画像を生成しているため、明度が同一で彩度が異なるようなカラー画像からは、罫線が適切に抽出できないという問題がある。

本発明の課題は、薄い色のセル間における境界罫線のように、背景と罫線の明度差が小さいカラー画像から罫線を抽出することである。

図１は、本発明の罫線抽出装置の原理図である。図１の罫線抽出装置は、格納手段１０１、第１の生成手段１０２、第２の生成手段１０４、第１の抽出手段１０３、第２の抽出手段１０５、および出力手段１０６を備える。

格納手段１０１は、カラー画像１１１を格納する。生成手段１０２は、カラー画像１１１から明度グレー画像１１２を生成して、格納手段１０１に格納する。抽出手段１０３は、明度グレー画像１１２を用いて第１の罫線を抽出する。生成手段１０４は、第１の罫線により囲まれたセル領域の彩度グレー画像１１３を生成して、格納手段１０１に格納する。抽出手段１０５は、彩度グレー画像１１３を用いて第２の罫線を抽出する。出力手段１０６は、第１および第２の罫線の情報を出力する。

生成手段１０２は、格納手段１０１からカラー画像１１１を取り出し、その色情報を用いて明度グレー画像１１２を生成する。抽出手段１０３は、格納手段１０１から明度グレー画像１１２を取り出し、その明度情報を用いて第１の罫線を抽出して、その情報を出力手段１０６に転送する。

生成手段１０４は、第１の罫線により囲まれたセル領域の色情報を用いて彩度グレー画像１１３を生成する。抽出手段１０５は、格納手段１０１から彩度グレー画像１１３を取り出し、その彩度情報を用いて第２の罫線を抽出して、その情報を出力手段１０６に転送する。出力手段１０６は、受け取った第１および第２の罫線の情報を出力する。

格納手段１０１は、例えば、後述する図９のメモリ９０２に対応し、生成手段１０２、１０３および抽出手段１０４、１０５は、例えば、ＣＰＵ（中央処理装置）９０１に対応する。出力手段１０６は、例えば、出力装置９０４に対応する。

本発明によれば、明度グレー画像を用いた罫線抽出処理と、彩度グレー画像を用いた罫線抽出処理を組み合わせて用いることにより、従来技術では抽出が困難であった、背景との明度差が小さい罫線を、適切に抽出することが可能になる。

以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
本実施形態では、明度グレー画像を用いた罫線抽出処理と、彩度グレー画像を用いた罫線抽出処理に加えて、さらに彩度補正画像を用いた罫線抽出処理を組み合わせて用いる。これにより、背景との明度差が小さい罫線を、より精密に抽出することが可能になる。

図２は、このような罫線抽出処理のフローチャートである。罫線抽出装置は、まず、スキャナ等により入力されたカラー画像から明度グレー画像を生成し、その明度グレー画像を二値化して、二値画像を生成する（ステップ２０１）。そして、その二値画像から、罫線とそれに囲まれたセルを抽出する（ステップ２０２）。背景と罫線にある程度の明度差がある場合は、この処理により罫線が抽出される。

次に、ステップ２０２で抽出された各セルの領域を対象として、彩度グレー画像を生成し、その彩度グレー画像を二値化して、二値画像を生成する（ステップ２０３）。そして、その二値画像から、罫線とそれに囲まれたセルを抽出する（ステップ２０４）。背景と罫線に明度差はないが彩度差がある場合は、この処理により罫線が抽出される。

次に、すべてのセルの処理が終了したか否かをチェックし（ステップ２０５）、未処理のセルがあれば、ステップ２０３およびステップ２０４の処理を繰り返す。
すべてのセルの処理が終了すると、次に、ステップ２０４で抽出された各セルの領域を対象として、彩度補正画像を生成し、その彩度補正画像を二値化して、二値画像を生成する（ステップ２０６）。そして、その二値画像から、罫線とそれに囲まれたセルを抽出する（ステップ２０７）。ただし、ステップ２０４で罫線およびセルが抽出されなかったセルについては、ステップ２０２で抽出されたセルの領域を対象として処理が行われる。

背景と罫線の明度差および彩度差がともに小さいが、色相が異なる場合は、彩度を適切に補正することで、色相差を明確に認識することが可能になる。したがって、この処理により罫線が抽出される。

次に、すべてのセルの処理が終了したか否かをチェックし（ステップ２０８）、未処理のセルがあれば、ステップ２０６およびステップ２０７の処理を繰り返す。そして、すべてのセルの処理が終了すると、罫線抽出処理を終了する。

このように、異なる色属性に基づく二値画像を併用することにより、背景との明度差が小さい罫線を抽出することができる。なお、罫線抽出処理の目的に応じて、ステップ２０６〜２０８の処理を省略することも可能である。

図３は、明度差があるセル間の境界罫線の例を示している。カラー画像３０１には境界罫線が含まれており、色相グレー画像３０２および彩度グレー画像３０３では、その境界罫線が認識できないが、明度グレー画像３０４では、認識することができる。このような場合、ステップ２０２の処理により境界罫線が抽出される。

図４は、彩度差があるセル間の境界罫線の例を示している。カラー画像４０１には境界罫線が含まれており、色相グレー画像４０２および明度グレー画像４０４では、その境界罫線が認識できないが、彩度グレー画像４０３では、認識することができる。このような場合、ステップ２０４の処理により境界罫線が抽出される。

図５は、色相差があるセル間の境界罫線の例を示している。カラー画像５０１には境界罫線が含まれており、彩度グレー画像５０３および明度グレー画像５０４では、その境界罫線が認識できないが、色相グレー画像５０２では、認識することができる。このような場合、ステップ２０７の処理により境界罫線が抽出される。

図２のステップ２０１では、次式により、カラー画像のＲＧＢ値を明度Ｉ（０≦Ｉ≦１）に変換することで、明度グレー画像が生成される。

Ｉ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （１）

ステップ２０３では、各セル内に、従来の処理では抽出できない、明度差が小さい罫線が存在するか否かがチェックされる。まず、セル内の画素のＲＧＢ値が抽出され、次式により彩度Ｓ（０≦Ｓ≦２^1/2 ）に変換される。

次に、正規化により彩度Ｓが０〜２５５の離散値に変換され、その離散値を用いて彩度グレー画像が生成される。

ステップ２０６では、例えば、先願のＰＣＴ／ＪＰ２００６／３０２７６３に記載された彩度補正処理を用いて、カラー画像から各セルの彩度補正画像が生成される。この処理では、明度と彩度を座標値とする２次元空間において、無彩色と有彩色の境界線を閾値として、各画素の彩度を閾値と比較し、有彩色側では彩度を急激に大きくし、無彩色側では彩度を急激に小さくする演算を行う。

罫線抽出装置は、まず、彩度Ｓとあらかじめ設定された閾値αを比較する。この閾値αは明度Ｉに応じて設定されるため、彩度補正処理を行う際には、補正対象領域のカラー画像の情報が必要となる。

次に、比較結果に応じて中間補正値Ｓ’を算出する。具体的には、彩度Ｓが閾値αより小さい場合には無彩色であると判定して、次式により中間補正値Ｓ’を算出する。

Ｓ’＝（Ｓ−α）／α （５）

一方、彩度Ｓが閾値αより大きい場合には有彩色であると判定して、次式により中間補正値Ｓ’を算出する。

Ｓ’＝（Ｓ−α）／（１−α） （６）

次に、算出された中間補正値Ｓ’を用いて、次式により補正後の彩度Ｓ”を算出する。

ここで、（７）式におけるＡおよびＢは、次式により算出される。

Ａ＝（ｅ^T −１）／（ｅ^T ＋１） （８）
Ｂ＝１／（１＋ｅ^T ） （９）

（８）式および（９）式におけるパラメータＴは、例えば、Ｔ＝１０に設定される。

図６は、補正前の彩度Ｓと補正後の彩度Ｓ”の関係を示している。グラフ６１０において、横軸は中間補正値Ｓ’を表し、縦軸は補正後の彩度Ｓ”を表す。中間補正値Ｓ’は、−１〜１の範囲の値をとり、補正後の彩度Ｓ”は、０〜１の範囲の値をとる。グラフ６１０の下の直線６２０は、補正前の彩度Ｓを表している。Ｓ’＝−１はＳ＝０に対応し、Ｓ’＝１はＳ＝１に対応している。

（７）式はシグモイド曲線６０１により表される。彩度Ｓに対する補正後の彩度Ｓ”の変化率は中間補正値Ｓ’の値に応じて異なり、中間補正値Ｓ’が−１あるいは１に近づくほど小さくなり、０付近で急激に大きくなる。

（７）式に（５）式の中間補正値Ｓ’を代入すると、補正後の彩度Ｓ”は彩度Ｓより大きな値となり、（７）式に（６）式を代入すると、補正後の彩度Ｓ”は彩度Ｓより小さな値となる。すなわち、彩度Ｓが閾値αより小さい場合には、補正後の彩度Ｓ”は彩度Ｓより大きな値となり、彩度Ｓが閾値αより大きい場合には、補正後の彩度Ｓ”は彩度Ｓより小さな値となる。その結果、無彩色の彩度は黒（彩度Ｓ＝０）に近づけられ、有彩色の彩度は、その色相をより明確にするように強調される。

例えば、α＝０．１８、Ｓ＝０．３とすると、破線で示すように、（６）式よりＳ’＝０．１５となり、（７）式よりＳ”＝０．８となる。したがって、補正後の彩度Ｓ”は補正前の彩度Ｓより大きな値となり、彩度が強調される。

次に、図７および図８を参照しながら、図２の罫線抽出処理の具体例について説明する。
図７に示すようなカラー画像７０１が入力されると、明度グレー画像７０２が生成され、明度グレー画像７０２が二値化される（ステップ２０１）。そして、得られた二値画像から罫線およびセルが抽出される（ステップ２０２）。この場合、カラー画像７０１の領域７１１内には境界罫線が含まれているが、その境界罫線は抽出されていない。

そこで、抽出されたセル７１２に対応する、カラー画像７０１の領域７１１のＲＧＢ値を用いて、彩度グレー画像７０３が生成され、彩度グレー画像７０３から二値画像７０４が生成される（ステップ２０３）。そして、二値画像７０４から罫線およびセルの抽出が試行されるが（ステップ２０４）、境界罫線を抽出することはできない。

次に、領域７１１のＲＧＢ値を用いて彩度補正画像７０５が生成され、彩度補正画像７０５から二値画像７０６が生成される（ステップ２０６）。そして、二値画像７０６から罫線およびセルが抽出される（ステップ２０７）。この場合、彩度補正により、領域７１１内のセル間の色相差が明確になり、境界罫線を抽出することができる。

また、図８に示すようなカラー画像８０１が入力されると、明度グレー画像８０２が生成され、明度グレー画像８０２が二値化される（ステップ２０１）。そして、得られた二値画像から罫線およびセルが抽出され、抽出結果８０３が得られる（ステップ２０２）。抽出結果８０３においては、２つのセル８２１および８２２が抽出されている。

次に、セル８２１および８２２のそれぞれに対応する、カラー画像８０１の領域のＲＧＢ値を用いて、セル毎の彩度グレー画像８０４および８０５が生成され、彩度グレー画像８０４および８０５がそれぞれ二値化される（ステップ２０３）。そして、得られた二値画像から罫線およびセルが抽出され、抽出結果８０６および８０７が得られる（ステップ２０４）。抽出結果８０７においては、３つのセル８２３、８２４、および８２５が抽出されている。

次に、セル８２３、８２４、および８２５のＲＧＢ値を用いて彩度補正画像８０８、８０９、および８１０が生成され、それらの彩度補正画像が二値化される（ステップ２０６）。そして、得られた二値画像から罫線およびセルが抽出され、抽出結果８１１、８１２、および８１３が得られる（ステップ２０７）。抽出結果８１３においては、３つのセル８２６、８２７、および８２８が抽出されている。

なお、ステップ２０６における彩度補正処理は、上述した処理に限られるものではなく、別の方法で彩度を補正しても構わない。例えば、入力されたカラー画像を用いることなく、ステップ２０３において生成された彩度グレー画像を、適切な演算により直接補正することで、彩度補正画像を生成してもよい。

本実施形態の罫線抽出装置は、例えば、図９に示すような情報処理装置（コンピュータ）を用いて構成される。図９の情報処理装置は、ＣＰＵ（中央処理装置）９０１、メモリ９０２、入力装置９０３、出力装置９０４、外部記憶装置９０５、媒体駆動装置９０６、およびネットワーク接続装置９０７を備え、それらはバス９０８により互いに接続されている。

メモリ９０２は、例えば、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を含み、処理に用いられるプログラムおよびデータを格納する。ＣＰＵ９０１は、メモリ９０２を利用してプログラムを実行することにより、上述した罫線抽出処理を行う。

この場合、入力されたカラー画像は、処理対象データとしてメモリ９０２に格納され、メモリ９０２内で、明度グレー画像、彩度グレー画像、および彩度補正画像とそれらの二値画像が生成される。

入力装置９０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータからの指示や情報の入力に用いられる。出力装置９０４は、例えば、ディスプレイ、プリンタ、スピーカ等であり、オペレータへの問い合わせや処理結果の出力に用いられる。

外部記憶装置９０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置９０５に、プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ９０２にロードして使用する。

媒体駆動装置９０６は、可搬記録媒体９０９を駆動し、その記録内容にアクセスする。可搬記録媒体９０９は、メモリカード、フレキシブルディスク、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。オペレータは、この可搬記録媒体９０９にプログラムおよびデータを格納しておき、必要に応じて、それらをメモリ９０２にロードして使用する。

ネットワーク接続装置９０７は、ＬＡＮ（local area network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う。また、情報処理装置は、必要に応じて、プログラムおよびデータを外部の装置からネットワーク接続装置９０７を介して受け取り、それらをメモリ９０２にロードして使用する。

図１０は、図９の情報処理装置にプログラムおよびデータを提供する方法を示している。可搬記録媒体９０９やサーバ１００１のデータベース１０１１に格納されたプログラムおよびデータは、情報処理装置１００２のメモリ９０２にロードされる。サーバ１００１は、そのプログラムおよびデータを搬送する搬送信号を生成し、通信ネットワーク上の任意の伝送媒体を介して情報処理装置１００２に送信する。ＣＰＵ９０１は、そのデータを用いてそのプログラムを実行し、上述した処理を行う。

（付記１）カラー画像を格納する格納手段と、
前記カラー画像から明度グレー画像を生成して、前記格納手段に格納する第１の生成手段と、
前記明度グレー画像を用いて第１の罫線を抽出する第１の抽出手段と、
前記第１の罫線により囲まれたセル領域の彩度グレー画像を生成して、前記格納手段に格納する第２の生成手段と、
前記彩度グレー画像を用いて第２の罫線を抽出する第２の抽出手段と、
前記第１および第２の罫線の情報を出力する出力手段と
を備えることを特徴とする罫線抽出装置。
（付記２）カラー画像を格納手段に格納し、
前記カラー画像から明度グレー画像を生成して、前記格納手段に格納し、
前記明度グレー画像を用いて第１の罫線を抽出し、
前記第１の罫線により囲まれたセル領域の彩度グレー画像を生成して、前記格納手段に格納し、
前記彩度グレー画像を用いて第２の罫線を抽出し、
前記第１および第２の罫線の情報を出力する
処理をコンピュータに実行させることを特徴とするプログラム。
（付記３）前記明度グレー画像を二値化して、得られた第１の二値画像を前記格納手段に格納し、前記第１の二値画像を用いて前記第１の罫線を抽出し、前記彩度グレー画像を二値化して、得られた第２の二値画像を前記格納手段に格納し、前記第２の二値画像を用いて前記第２の罫線を抽出する処理を、前記コンピュータに実行させることを特徴とする付記２記載のプログラム。
（付記４）前記第１または第２の罫線により囲まれたセル領域の彩度補正画像を生成して、前記格納手段に格納し、前記彩度補正画像を用いて第３の罫線を抽出し、前記第３の罫線の情報を出力する処理を、前記コンピュータにさらに実行させることを特徴とする付記２または３記載のプログラム。
（付記５）前記第２の罫線により囲まれたセル領域の彩度を閾値と比較し、該彩度が該閾値より大きければ、該彩度を大きくする演算を行い、該彩度が該閾値より小さければ、該彩度を小さくする演算を行うことで、前記彩度補正画像を生成する処理を、前記コンピュータに実行させることを特徴とする付記４記載のプログラム。
（付記６）第１の生成手段が、格納手段に格納されたカラー画像から明度グレー画像を生成して、該格納手段に格納し、
第１の抽出手段が、前記明度グレー画像を用いて第１の罫線を抽出し、
第２の生成手段が、前記第１の罫線により囲まれたセル領域の彩度グレー画像を生成して、前記格納手段に格納し、
第２の抽出手段が、前記彩度グレー画像を用いて第２の罫線を抽出し、
出力手段が、前記第１および第２の罫線の情報を出力する
ことを特徴とする罫線抽出方法。

本発明の罫線抽出装置の原理図である。 本発明の罫線抽出処理のフローチャートである。 背景と明度差がある罫線を示す図である。 背景と彩度差がある罫線を示す図である。 背景と色相差がある罫線を示す図である。 彩度補正方法を示す図である。 第１の罫線抽出処理を示す図である。 第２の罫線抽出処理を示す図である。 情報処理装置の構成図である。 プログラムおよびデータの提供方法を示す図である。 従来の罫線抽出処理のフローチャートである。 境界罫線を示す図である。 従来の罫線抽出処理を示す図である。

符号の説明

２１、３０１、４０１、５０１、７０１、８０１ カラー画像
２２、３０４、４０４、５０４、７０２、８０２ 明度グレー画像
２３、７０４、７０６ 二値画像
２４、８０３、８０６、８０７、８１１、８１２、８１３ 抽出結果
１０１ 格納手段
１０２ 第１の生成手段
１０３ 第１の抽出手段
１０４ 第２の生成手段
１０５ 第２の抽出手段
１０６ 出力手段
３０２、４０２、５０２ 色相グレー画像
３０３、４０３、５０３、７０３ 彩度グレー画像
６０１ シグモイド曲線
６１０ グラフ
６２０ 直線
７０５ 彩度補正画像
７１１ 領域
７１２、８２１、８２２、８２３、８２４、８２５、８２６、８２７、８２８ セル
９０１ ＣＰＵ
９０２ メモリ
９０３ 入力装置
９０４ 出力装置
９０５ 外部記憶装置
９０６ 媒体駆動装置
９０７ ネットワーク接続装置
９０８ バス
９０９ 可搬記録媒体
１００１ サーバ
１００２ 情報処理装置
１０１１ データベース

Claims (5)

1. カラー画像を格納する格納手段と、
   前記カラー画像から明度グレー画像を生成して、前記格納手段に格納する第１の生成手段と、
   前記明度グレー画像を用いて第１の罫線を抽出する第１の抽出手段と、
   前記第１の罫線により囲まれたセル領域の彩度グレー画像を生成して、前記格納手段に格納する第２の生成手段と、
   前記彩度グレー画像を用いて第２の罫線を抽出する第２の抽出手段と、
   前記第１および第２の罫線の情報を出力する出力手段と
   を備えることを特徴とする罫線抽出装置。
2. カラー画像を格納手段に格納し、
   前記カラー画像から明度グレー画像を生成して、前記格納手段に格納し、
   前記明度グレー画像を用いて第１の罫線を抽出し、
   前記第１の罫線により囲まれたセル領域の彩度グレー画像を生成して、前記格納手段に格納し、
   前記彩度グレー画像を用いて第２の罫線を抽出し、
   前記第１および第２の罫線の情報を出力する
   処理をコンピュータに実行させることを特徴とするプログラム。
3. 前記第１または第２の罫線により囲まれたセル領域の彩度補正画像を生成して、前記格納手段に格納し、前記彩度補正画像を用いて第３の罫線を抽出し、前記第３の罫線の情報を出力する処理を、前記コンピュータにさらに実行させることを特徴とする請求項２記載のプログラム。
4. 前記第２の罫線により囲まれたセル領域の彩度を閾値と比較し、該彩度が該閾値より大きければ、該彩度を大きくする演算を行い、該彩度が該閾値より小さければ、該彩度を小さくする演算を行うことで、前記彩度補正画像を生成する処理を、前記コンピュータに実行させることを特徴とする請求項３記載のプログラム。
5. 第１の生成手段が、格納手段に格納されたカラー画像から明度グレー画像を生成して、該格納手段に格納し、
   第１の抽出手段が、前記明度グレー画像を用いて第１の罫線を抽出し、
   第２の生成手段が、前記第１の罫線により囲まれたセル領域の彩度グレー画像を生成して、前記格納手段に格納し、
   第２の抽出手段が、前記彩度グレー画像を用いて第２の罫線を抽出し、
   出力手段が、前記第１および第２の罫線の情報を出力する
   ことを特徴とする罫線抽出方法。