JP2004240500A

JP2004240500A - 画像処理装置、画像処理プログラムおよび記憶媒体

Info

Publication number: JP2004240500A
Application number: JP2003026244A
Authority: JP
Inventors: Toshio Miyazawa; 利夫宮澤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-02-03
Filing date: 2003-02-03
Publication date: 2004-08-26

Abstract

【課題】セルの境界に罫線が設けられておらず、セルの色分けによりセルの境界を表わしている表であっても、表領域を抽出することができる画像処理装置、画像処理プログラムおよび記憶媒体を提供する。
【解決手段】入力された画像データから罫線および架空罫線を抽出する罫線・架空罫線抽出部２０２と、入力された画像データを２値化するカラー画像２値化部２０５と、カラー画像２値化部２０５により２値化された画像データに、罫線・架空罫線抽出部２０２により抽出された罫線および架空罫線を２値画像データとして書き込む罫線・架空罫線書き込み部２０３と、罫線・架空罫線書き込み部２０３により罫線および架空罫線が書き込まれた２値画像データから罫線を抽出する罫線抽出部２０６と、罫線抽出部２０６により抽出された罫線に基づいて表領域座標を抽出する表領域座標抽出部２０４とを備える。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理プログラムおよび記憶媒体に関し、詳しくは、文字や表が混在する文書画像の中から表領域を抽出する画像処理装置、画像処理プログラムおよび記憶媒体に関する。
【０００２】
【従来の技術】
従来、画像処理装置において、文書画像等の画像を文字領域、写真領域、表領域等に分類する技術としては種々の提案がなされており、例えば特許文献１に開示された技術では、２値画像の黒画素の連結成分から架空罫線等を抽出して、この架空罫線から表領域を求めるようになっている。
【０００３】
【特許文献１】
特開平１０−２１４３４０号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、２値画像を対象として表領域を抽出する従来の技術では、入力画像がカラー画像の場合でも一旦２値化処理によって２値画像にする必要があり色情報が失われてしまう。
【０００５】
例えば、図８に示す元から白黒の２値で書かれた表５０２や、表５０２にさらにセル色分けした表５０１では、罫線によりセルが仕切られているため、２値化を行っても２値化処理後の画像５０４のように罫線を抽出することができる。
【０００６】
しかし、表の中にはセルの境界に罫線を設けずにセル色の違いによって境界を表しているものがり、図８に示す表５００のようなものは、２値化により色情報が失われるためセルの境界が判らず罫線も無いため、２値化処理後の画像５０３のような処理結果になってしまい表領域を抽出することができないという問題があった。
【０００７】
本発明は上記課題を解決するためになされたもので、セルの境界に罫線が設けられておらず、セルの色分けによりセルの境界を表わしている表であっても、表領域を抽出することができる画像処理装置、画像処理プログラムおよび記憶媒体を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、上記課題を解決するために、入力された画像データから罫線および架空罫線を抽出する罫線・架空罫線抽出手段と、前記入力された画像データを２値化する２値化手段と、前記２値化手段により２値化された画像データに、前記罫線・架空罫線抽出手段により抽出された罫線および架空罫線を２値画像データとして書き込む罫線・架空罫線書き込み手段と、前記罫線・架空罫線書き込み手段により罫線および架空罫線が書き込まれた２値画像データから罫線を抽出する罫線抽出手段と、前記罫線抽出手段により抽出された罫線に基づいて表領域座標を抽出する表領域座標抽出手段とを備えたことを特徴としている。
【０００９】
この構成により、セルの境界に罫線が設けられておらず、セルの色分けによりセルの境界を表わしている表であっても、高精度に表領域座標を抽出することができる。
【００１０】
また、本発明の画像処理装置は、上記課題を解決するために、前記入力された画像データを所定の解像度に縮小する画像データ縮小手段を備え、前記罫線・架空罫線抽出手段は、前記画像データ縮小手段が縮小した画像データから罫線および架空罫線を抽出することを特徴としている。
【００１１】
この構成により、罫線・架空罫線の抽出をする前に、入力された画像を縮小しているので、罫線・架空罫線の抽出等を少ない演算量で高速に行なうことができる。
【００１２】
また、本発明の画像処理装置は、上記課題を解決するために、前記入力された画像データから文字領域を抽出する文字領域座標抽出手段を備え、前記表領域座標抽出手段は、前記罫線抽出手段により抽出された罫線、および前記文字領域座標抽出手段が抽出した文字領域に基づいて表領域座標を抽出することを特徴としている。
【００１３】
この構成により、入力された画像から抽出した文字領域座標によって、最終的に表領域座標を判定して抽出をするようにしているので、精度良く表領域座標を抽出できる。
【００１４】
また、本発明の画像処理装置は、上記課題を解決するために、前記罫線・架空罫線抽出手段は、画像データのエッジを検出することによって、罫線および架空罫線を抽出することを特徴とするものである。
【００１５】
この構成により、セルの境界に罫線が設けられておらず、セルの色分けによりセルの境界を表わしている表であっても、高精度に表領域座標を抽出することができる。
【００１６】
また、本発明の画像処理装置は、上記課題を解決するために、前記画像データ縮小手段は、近傍画素の平均をとる平滑化を行なうことによって、画像データを所定の解像度に縮小することを特徴としている。
【００１７】
この構成により、罫線・架空罫線の抽出をする前に、入力された画像を縮小しているので、罫線・架空罫線の抽出等を少ない演算量で高速に行なうことができる。
【００１８】
また、本発明の画像処理装置は、上記課題を解決するために、前記画像データ縮小手段は、画素の間引きを行った後に、近傍画素の平均をとる平滑化を行なうことによって画像データを所定の解像度に縮小することを特徴としている。
【００１９】
この構成により、罫線・架空罫線の抽出をする前に、入力された画像を縮小しているので、罫線・架空罫線の抽出等を少ない演算量で高速に行なうことができる。
【００２０】
また、本発明の画像処理装置は、上記課題を解決するために、前記表領域座標抽出手段は、前記罫線抽出手段により抽出された罫線、および前記文字領域抽出手段が抽出した文字領域に基づいて表領域座標を抽出するとともに、前記表領域座標の抽出の際に表領域座標が文字領域を包含する場合は表領域座標とすることを特徴としている。
【００２１】
この構成により、セルの境界に罫線が設けられておらず、セルの色分けによりセルの境界を表わしている表であっても、高精度に表領域を抽出することができるとともに、入力された画像から抽出した文字領域座標によって、最終的に表領域座標を判定して抽出をするようにしているので精度良く表領域座標を抽出できる。
【００２２】
また、本発明の画像処理プログラムは、上記課題を解決するために、コンピュータに、入力された画像データから罫線および架空罫線を抽出する罫線・架空罫線抽出機能と、前記入力された画像データを２値化する２値化機能と、前記２値化機能により２値化された画像データに、前記罫線・架空罫線抽出機能により抽出された罫線および架空罫線を２値画像データとして書き込む罫線・架空罫線書き込み機能と、前記罫線・架空罫線書き込み機能により罫線および架空罫線が書き込まれた２値画像データから罫線を抽出する罫線抽出機能と、前記罫線抽出機能により抽出された罫線に基づいて表領域座標を抽出する表領域座標抽出機能とを実現させるものである。
【００２３】
このため、セルの境界に罫線が設けられておらず、セルの色分けによりセルの境界を表わしている表であっても、高精度に表領域座標を抽出することができる。
【００２４】
また、本発明の記憶媒体は、上記課題を解決するために、前記画像処理プログラムを記憶している。
【００２５】
このため、セルの境界に罫線が設けられておらず、セルの色分けによりセルの境界を表わしている表であっても、高精度に表領域座標を抽出することができる。
【００２６】
【発明の実施の形態】
以下、本発明の好ましい実施形態を図面に基づいて説明する。
【００２７】
まず、図１を参照して本発明の一実施形態の画像処理装置１００の概要を説明する。画像処理装置１００は、スキャナ１０１、画像入力部１０２、画像メモリ１０３、画像表示部１０４、ディスプレー１０５、文字認識部１１１、データメモリ１１２、領域識別部２００を備える。
【００２８】
入力手段の一例であるスキャナ１０１により読み取られた文書画像データは、画像入力部１０２によって画像メモリ１０３に格納される。画像メモリ１０３内の文書画像データは、領域識別部１０６によって、文字、罫線、表、図、グラフ等の各部分に識別されて、その結果は文字認識部１１１による文字認識処理に使用される。すなわち、領域識別部２００は、光学的文字認識の前処理として利用される。
【００２９】
データメモリ１１２は、領域識別部２００および文字認識部１１１による処理の中間データや結果データの記憶領域として使用される。また、データメモリ１１２の記憶内容、例えば領域識別の結果や文字認識の結果といったデータは必要に応じて画像表示部１０４によって出力手段の一例であるディスプレー１０５に表示させることができる。
【００３０】
次に、図２を参照して領域識別部２００の構成を説明する。領域識別部２００は、図に示すように、カラー画像縮小部２０１と、罫線・架空罫線抽出部２０２と、罫線・架空罫線書き込み部２０３と、表領域座標抽出部２０４と、カラー画像２値化部２０５と、罫線抽出部２０６と、文字領域抽出部２０７とから構成される。これら各部はシステムバスによって各々接続されている。
【００３１】
カラー画像縮小部２０１は、入力されたカラー画像を所定の解像度まで縮小するようになっている。画像縮小の方法としては、ある注目画素に対して近傍画素の平均をとる方法、または、間引き処理を行なった後に近傍画素の平均をとる方法を用いる。
【００３２】
近傍画素の平均をとる方法では、例えば、縦と横のサイズがそれぞれ１／２になる圧縮画像（面積では１／４となる）を作成する場合、２×２画像の平均色を縮小後の画像の代表色として縮小を行う方法がある。
【００３３】
また、間引き処理を行なった後に近傍の画素の平均をとる方法では、間引き処理によりある程度小さな画像を作成しておいてから、近傍画素の平均をとってさらに縮小画像を得る方法である。このように、２段階の縮小を行なうことで、間引き処理だけによる方法よりも高速にかつ高精度な縮小画像を得ることができる。
【００３４】
罫線・架空罫線抽出部２０２は、カラー画像が含む表の罫線および架空罫線を抽出するようになっている。ここで、本明細書において架空罫線とは、表の罫線が、通常用いられる実線ではなく色分けされたセルの色の境界を以って罫線に代えられている場合の罫線のことをいう。すなわち、図３に示すように、セルが色分けされた表３００の架空罫線は、抽出された架空罫線３０１に示すようになる。また、罫線は、同図の抽出された罫線３０２に示すように表される。架空罫線の抽出は、一例としてカラー画像から微分フィルタ等によりエッジ情報を取り出すことにより行なうことができる。例えば、ある画素（近傍画素、注目画素、近傍画素）に対して、微分フィルタ（１、０、−１）を通すことにより、カラー情報の変化をエッジとして認識させることができる。
【００３５】
また、カラー画像２値化部２０５はカラー画像を２値化して２値画像を得るようになっている。罫線・架空罫線書き込み部２０３は、カラー画像２値化部２０５が２値化した２値画像に、罫線・架空罫線抽出部２０２が抽出した罫線および架空罫線を２値化された罫線として書き込むようになっている。
【００３６】
また、罫線抽出部２０６は、罫線・架空罫線書き込み部２０３によって罫線および架空罫線が書き込まれた２値画像から罫線を抽出し、文字領域抽出部２０７は、入力されたカラー画像から文字領域座標を抽出するようになっている。
【００３７】
表領域座標抽出部２０４は、罫線抽出部２０６が抽出した罫線に基づいて表領域座標を抽出するとともに、さらに文字領域抽出部２０７が抽出した文字領域座標の抽出結果と併せて最終的に表領域の判定をして抽出をするようになっている。このため、罫線や架空罫線の情報から得られた表領域の中に文字領域が含まれている場合でも、表領域の誤検出を防止することができる。
【００３８】
なお、本実施の形態では、図２に示したように、カラー画像縮小部２０１、罫線・架空罫線抽出部２０２、罫線・架空罫線書込み部２０３、表領域座標抽出部２０４、カラー画像２値化部２０５、罫線抽出部２０６、文字領域抽出部２０７から構成される領域識別部２００内は、システムバスにより相互に接続されているが、システムバスに代えてネットワークにより接続するようにしてもよい。更に、図１のスキャナ１０１、画像表示部１０４等をはじめとする任意の構成要件をにっとワークにより接続するようにしてもよい。
【００３９】
次に、図３に示すフローチャートを参照して動作を説明する。
【００４０】
まず、画像入力部１０２から領域識別部２００にカラー画像が入力されると（Ｓ１０１）、入力されたカラー画像のデータはカラー画像縮小部２０１による縮小処理（Ｓ１０２）を経て、罫線・架空罫線抽出部２０２によって罫線および架空罫線が抽出される（Ｓ１０３）。
【００４１】
また、画像入力部１０２から領域識別部２００に入力されたカラー画像は、カラー画像２値化部２０５によって２値化される（Ｓ１０４）。
【００４２】
また、画像入力部１０２から領域識別部２００に入力されたカラー画像は、文字領域抽出部２０７によって文字領域座標が抽出される（Ｓ１０５）。
【００４３】
次いで、罫線・架空罫線書き込み部２０３は、Ｓ１０３の処理で抽出された罫線および架空罫線を、Ｓ１０４で２値化された２値画像に書き込み、罫線と架空罫線の合成を行なう（Ｓ１０６）。
【００４４】
次いで、Ｓ１０７では、Ｓ１０６の処理で得られた２値画像から罫線抽出部２０６が罫線を抽出するとともに、表領域座標抽出部２０４は、抽出された罫線に基づいて表領域の座標を表領域座標として抽出する。
【００４５】
さらに、表領域座標抽出部２０４は、Ｓ１０７の処理で得られた表領域座標とＳ１０５の処理で得られた文字領域座標との双方に基づいて、最終的な表領域座標の判定を行ってから表領域座標の抽出を行なう（Ｓ１０８）。このＳ１０８の処理では、前述したようにＳ１０７で得られた表領域座標とＳ１０５の処理で得られた文字領域座標との整合性をチェックすることにより表領域の誤検出を防止するようになっている。また、Ｓ１０７で得られた表領域座標の中に文字領域座標が含まれている場合は、この文字領域座標を表領域座標と判定して抽出するようになっている。
【００４６】
以上説明したように、本実施形態の画像処理装置１００によれば、セルの境界に罫線が設けられておらず、セルの色分けによりセルの境界を表わしている表であっても色分けによる境界を架空罫線として抽出することができるので、入力画像が２値画像、カラー画像のいずれであっても、表の罫線を抽出し、高精度に表領域を抽出することができる。
【００４７】
また、罫線・架空罫線の抽出をする前に、入力された画像を縮小しているので、罫線・架空罫線の抽出等を少ない演算量で高速に行なうことができる。
【００４８】
入力された画像から抽出した文字領域座標によって、最終的な表領域の判定をして抽出をするようにしているので、表領域座標のなかに文字領域座標が含まれる場合でも精度良く表領域を抽出できる。
【００４９】
なお、カラー画像縮小部２０１による縮小処理、文字領域抽出部２０７による文字領域の抽出処理の何れか又は両方を省いても、本発明の目的を達成することができる。
【００５０】
最小構成は、図５に示す構成すなわち、罫線・架空罫線抽出部２０２と、罫線・架空罫線書き込み部２０３と、表領域座標抽出部２０４と、カラー画像２値化部２０５と、罫線抽出部２０６とを備えるものになる。この場合の動作は、図３に示すフローチャートにおいて、Ｓ１０２、Ｓ１０５、Ｓ１０８を省略したものになる。具体的には、Ｓ１０１により入力されたカラー画像から直接Ｓ１０３により罫線・架空罫線が抽出される。また、Ｓ１０８の処理は行なわれないので、Ｓ１０７で得られた表領域座標とＳ１０５の処理で得られた文字領域座標との整合性のチェックは行なわれず、画像処理装置１０の動作はＳ１０７で終了する。
【００５１】
また、図６に示すように、カラー画像縮小部２０１と、罫線・架空罫線抽出部２０２と、罫線・架空罫線書き込み部２０３と、表領域座標抽出部２０４と、カラー画像２値化部２０５と、罫線抽出部２０６とを備える構成でも本発明の目的を達成することができる。この場合、Ｓ１０８の処理は行なわれないので、Ｓ１０７で得られた表領域座標とＳ１０５の処理で得られた文字領域座標との整合性のチェックは行なわれず、画像処理装置１０の動作はＳ１０７で終了する。
【００５２】
また、図７に示すように、罫線・架空罫線抽出部２０２と、罫線・架空罫線書き込み部２０３と、表領域座標抽出部２０４と、カラー画像２値化部２０５と、罫線抽出部２０６とを備える構成でも本発明の目的を達成することができる。この場合、Ｓ１０１により入力されたカラー画像から直接Ｓ１０３により罫線・架空罫線が抽出される。
【００５３】
また、本発明は、画像処理プログラムとしても実施しても、上記画像処理装置１０と同様の効果を得ることができる。
【００５４】
その場合、画像処理プログラムは、コンピュータに、入力された画像データから罫線および架空罫線を抽出する罫線・架空罫線抽出機能と、前記入力された画像データを２値化する２値化機能と、前記２値化機能により２値化された画像データに、前記罫線・架空罫線抽出機能により抽出された罫線および架空罫線を２値画像データとして書き込む罫線・架空罫線書き込み機能と、前記罫線・架空罫線書き込み機能により罫線および架空罫線が書き込まれた２値画像データから罫線を抽出する罫線抽出機能と、前記罫線抽出機能により抽出された罫線に基づいて表領域座標を抽出する表領域座標抽出機能とを実現させるものとなる。
【００５５】
また、本発明は、上記画像処理プログラムを記憶した記憶媒体としても実施することができる。
【００５６】
これら、画像処理プログラムおよびこれを記憶した記憶媒体によれば、セルの境界に罫線が設けられておらず、セルの色分けによりセルの境界を表わしている表であっても色分けによる境界を架空罫線として抽出しているので、入力画像が２値画像、カラー画像のいずれであっても、表の罫線を抽出し、高精度に表領域を抽出することができる。
【００５７】
【発明の効果】
本発明によれば、セルの境界に罫線が設けられておらず、セルの色分けによりセルの境界を表わしている表であっても、表領域を抽出することができる画像処理装置、画像処理プログラムおよび記憶媒体を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】一実施形態の領域識別部の構成を示すブロック図である。
【図３】一実施形態の画像処理装置の動作を説明するフローチャートである。
【図４】一実施形態の罫線・架空罫線の取り扱いを示す図である。
【図５】領域識別部の他の構成を示すブロック図である。
【図６】領域識別部の他の構成を示すブロック図である。
【図７】領域識別部の他の構成を示すブロック図である。
【図８】従来の画像処理装置における罫線・架空罫線の処理結果を示す図である。
【符号の説明】
１０１スキャナ
１０２画像入力部
１０３画像メモリ
１０４画像表示部
１０５ディスプレー
１１１文字認識部
１１２データメモリ
２００領域識別部
２０１カラー画像縮小部（画像データ縮小手段）
２０２罫線・架空罫線抽出部（罫線・架空罫線抽出手段）
２０３罫線・架空罫線書き込み部（罫線・架空罫線書き込み手段）
２０４表領域座標抽出部（表領域座標抽出部）
２０５カラー画像２値化部（２値化手段）
２０６罫線抽出部（罫線抽出手段）
２０７文字領域抽出部（文字領域抽出手段）

Claims

入力された画像データから罫線および架空罫線を抽出する罫線・架空罫線抽出手段と、
前記入力された画像データを２値化する２値化手段と、
前記２値化手段により２値化された画像データに、前記罫線・架空罫線抽出手段により抽出された罫線および架空罫線を２値画像データとして書き込む罫線・架空罫線書き込み手段と、
前記罫線・架空罫線書き込み手段により罫線および架空罫線が書き込まれた２値画像データから罫線を抽出する罫線抽出手段と、
前記罫線抽出手段により抽出された罫線に基づいて表領域座標を抽出する表領域座標抽出手段とを備えたことを特徴とする画像処理装置。
前記入力された画像データを所定の解像度に縮小する画像データ縮小手段を備え、前記罫線・架空罫線抽出手段は、前記画像データ縮小手段が縮小した画像データから罫線および架空罫線を抽出することを特徴とする請求項１に記載の画像処理装置。
前記入力された画像データから文字領域を抽出する文字領域座標抽出手段を備え、前記表領域座標抽出手段は、前記罫線抽出手段により抽出された罫線、および前記文字領域座標抽出手段が抽出した文字領域に基づいて表領域座標を抽出することを特徴とする請求項１または請求項２に記載の画像処理装置。
前記罫線・架空罫線抽出手段は、画像データのエッジを検出することによって、罫線および架空罫線を抽出することを特徴とする請求項１乃至請求項３に記載の画像処理装置。
前記画像データ縮小手段は、近傍画素の平均をとる平滑化を行なうことによって、画像データを所定の解像度に縮小することを特徴とする請求項２または請求項３に記載の画像処理装置。
前記画像データ縮小手段は、画素の間引きを行った後に、近傍画素の平均をとる平滑化を行なうことによって画像データを所定の解像度に縮小することを特徴とする請求項２または請求項３に記載の画像処理装置。
前記表領域座標抽出手段は、前記罫線抽出手段により抽出された罫線、および前記文字領域抽出手段が抽出した文字領域に基づいて表領域座標を抽出するとともに、前記表領域座標の抽出の際に表領域座標が文字領域を包含する場合は表領域座標とすることを特徴とする請求項３に記載の画像処理装置。
コンピュータに、入力された画像データから罫線および架空罫線を抽出する罫線・架空罫線抽出機能と、前記入力された画像データを２値化する２値化機能と、前記２値化機能により２値化された画像データに、前記罫線・架空罫線抽出機能により抽出された罫線および架空罫線を２値画像データとして書き込む罫線・架空罫線書き込み機能と、前記罫線・架空罫線書き込み機能により罫線および架空罫線が書き込まれた２値画像データから罫線を抽出する罫線抽出機能と、前記罫線抽出機能により抽出された罫線に基づいて表領域座標を抽出する表領域座標抽出機能とを実現させるための画像処理プログラム。
請求項９に記載の画像処理プログラムを記憶した記憶媒体。