JP5822865B2 - 画像処理装置、罫線判定方法、及び罫線判定プログラム - Google Patents

Description

本発明は、画像データーにおける罫線を判定する画像処理装置、罫線判定方法、及び罫線判定プログラムに関する。

罫線付きノートに鉛筆やボールペンなどにより手書きされた原稿を複写する際に、薄い文字を明瞭にするために設定濃度を上げて原稿を複写する場合がある。この場合、複写された手書き文字の印刷濃度のみならず、ノートに印刷されていた罫線の印刷濃度も上がる。印刷濃度が上がった罫線が邪魔になるため、複写された手書き文字が不明瞭になって識別されにくい問題が生じる。
このような問題に対処するため、原稿を複写する際に、罫線を削除する技術が、特許文献１及び特許文献２に開示されている。具体的には、特許文献１には、文字と罫線とが同一色で構成された画像データーの中から主走査方向及び副走査方向に所定の長さ以上の黒画素が連続する部分を罫線として推定し、推定された罫線部分と黒画像との交差パターンにより、罫線か文字かを判断して罫線を除去する罫線除去方法が開示されている。特許文献２には、画像をモノクロ化した後に、所定の閾値以上の長さで連続する連続画素を一の罫線であると判定すると共に、特定の交差パターンで一の罫線に接続する連続画素も他の罫線と判定して、これらの一の罫線及び他の罫線を除去する画像処理装置が開示されている。

特開２０００−２２２５２４号公報 特開２００７−１９３４４６号公報

しかしながら、前掲の特許文献１及び特許文献２に記載の従来の技術では、罫線を抽出するために、画像データーから色の情報を取り除いた後に、推定された罫線と交差する黒画像の交差パターンを検出するなどの複雑な演算処理を必要とする。また、従来の技術では、罫線と文字とが交差する部分があると、罫線が正しく除去されずに残ってしまう問題や、誤って文字の一部が削除されるという問題が生じるおそれがある。
従って、本発明は前記事情に鑑みてなされたものであり、その目的とするところは、画像データーの中から高精度に罫線を判定することが可能な画像処理装置、罫線判定方法、及び罫線判定プログラムを提供することにある。

本発明に係る画像処理装置は、第１画像抽出手段及び第１判定手段を備える。前記第１画像抽出手段は、所定範囲内の色調を有する基準画素が直線状に連続する複数の線状画像を画像データーから抽出する。前記第１判定手段は、前記第１画像抽出手段によって抽出された前記複数の線状画像に等間隔で出現する線状画像がある場合に、前記等間隔の線状画像を罫線と判定する。前記画像処理装置の構成によれば、画像データーの中から高精度に罫線を判定することができる。
また、本発明に係る罫線判定方法は、第１画素抽出ステップ及び第１判定ステップを実行する。前記第１画像抽出ステップは、所定範囲内の色調を有する基準画素が直線状に連続する複数の線状画像を画像データーから抽出する。前記第１判定ステップは、前記第１画像抽出ステップによって抽出された前記複数の線状画像に等間隔で出現する線状画像がある場合に、前記等間隔の線状画像を罫線と判定する。前記画像処理方法によれば、画像データーの中から高精度に罫線を判定することができる。
また、本発明に係る罫線判定プログラムは、コンピューターに第１画像抽出ステップ、及び第１罫線判定ステップを実行させる。前記第１画像抽出ステップは、所定範囲内の色調を有する基準画素が直線状に連続する複数の線状画像を画像データーから抽出する。前記第１判定ステップは、前記第１画像抽出ステップによって抽出された前記複数の線状画像に等間隔で出現する線状画像がある場合に、前記等間隔の線状画像を罫線と判定する。前記罫線判定プログラムによれば、画像データーの中から罫線を高精度で抽出することができる。

本発明によれば、画像データーの中から罫線を高精度に判定することができる。

本発明の実施形態に係る複合機の概略構成を模式的に示す断面図。 制御部の概略構成を示すブロック図。 罫線削除処理の手順の一例を示すフローチャート。 罫線削除前の用紙の例を示す図。 罫線削除後の用紙の例を示す図。 罫線削除前の用紙の例の拡大図。 第１変形例の画像回転処理の手順の一例を示すフローチャート。 第２変形例の印刷情報削除処理の手順の一例を示すフローチャート。

以下、添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下に説明する実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

＜複合機１００の概略構成＞
まず、図１を参照しつつ、本発明の実施形態の複合機１００の概略構成について説明する。なお、図１は、前記複合機１００を模式的に示す断面図である。
前記複合機１００は、画像読取部１、ＡＤＦ（automatic document feeder）２、画像形成部３、給紙部４、及び操作表示部６等を備えた画像処理装置である。前記操作表示部６は、制御部５（図２参照）からの制御指示に従って各種の情報を表示し、ユーザー操作に応じて前記制御部５に各種の情報を入力するタッチパネル等である。
なお、前記複合機１００は、本発明の画像処理装置の一例に過ぎない。例えば、本発明は、スキャナー、プリンター、ファクシミリ装置、複写機、パーソナルコンピューター等の画像処理装置であってもよい。

前記画像読取部１は、用紙Ｐからカラーの画像データーを取得する。前記画像読取部１は、用紙カバー２０、コンタクトガラス１１、読取ユニット１２、ミラー１３、ミラー１４、光学レンズ１５、及びＣＣＤ（Charge Coupled Device）１６等を備えた画像読取手段である。前記コンタクトガラス１１は、前記画像読取部１の上面に設けられており、前記複合機１００の画像読取対象となる用紙Ｐが載置される透明な用紙台である。
前記用紙カバー２０は、必要に応じて前記コンタクトガラス１１を覆うものである。そして、前記画像読取部１は、前記制御部５により制御されることによって、前記コンタクトガラス１１上に載置された用紙Ｐから画像データーを読み取る。
前記読取ユニット１２は、ＬＥＤ光源１２１及びミラー１２２を備えており、ステッピングモーター等の移動機構を用いた不図示の移動機構により副走査方向（図１における左右方向９）へ移動可能に構成されている。そして、前記移動機構により前記読取ユニット１２が副走査方向に移動されると、前記ＬＥＤ光源１２１から前記コンタクトガラス１１に向けて照射される光が副走査方向に走査される。
前記ＬＥＤ光源１２１は、前記複合機１００の主走査方向（図１における前後方向８）に沿って配列された多数の白色ＬＥＤを備えている。前記ＬＥＤ光源１２１は、前記コンタクトガラス１１上の読取位置１２Ａにある用紙Ｐに向けて１ライン分の白色光を照射する。なお、前記読取位置１２Ａは、前記読取ユニット１２の副走査方向への移動に伴って副走査方向へ移動する。
前記ミラー１２２は、前記ＬＥＤ光源１２１から前記読取位置１２Ａにある用紙Ｐに光を照射したときの反射光を前記ミラー１３に向けて反射させる。そして、前記ミラー１２２で反射した光は、前記ミラー１３及び前記ミラー１４により前記光学レンズ１５に導かれる。前記光学レンズ１５は、入射した光を集光して前記ＣＣＤ１６に入射させる。
前記ＣＣＤ１６は、受光した光をその光量に応じた電気信号（電圧）に変換して前記制御部５に出力する光電変換素子である。具体的には、前記ＣＣＤ１６は、前記ＬＥＤ光源１２１から光が照射されたときに用紙Ｐから反射した光に基づいて用紙Ｐの画像に対応する電気信号に基づいて画像データーを生成する。

前記ＡＤＦ２は、前記用紙カバー２０に設けられている。前記ＡＤＦ２は、用紙トレイ２１、複数の搬送ローラー２２、用紙押さえ２３、及び排紙部２４等を備えた自動原稿送り装置である。
前記ＡＤＦ２は、前記搬送ローラー２２各々を不図示のステッピングモーターで駆動させることにより、前記用紙トレイ２１にセットされた用紙Ｐを前記コンタクトガラス１１上の前記読取位置１２Ａを通過させて前記排紙部２４まで搬送させる。この際に、前記画像読取部１により前記読取位置１２Ａを通過する用紙Ｐから画像データーが読み取られる。
前記用紙押さえ２３は、前記コンタクトガラス１１上の前記読取位置１２Ａの上方に用紙Ｐが通過できる間隔を隔てた位置に設けられている。前記用紙押さえ２３は、主走査方向に長尺状に形成されており、その下面（前記コンタクトガラス１１側の面）には白色のシートが貼り付けられている。前記複合機１００では、前記白色のシートの画像データーが白色基準データーとして読み取られる。前記白色基準データーは、周知のシェーディング補正等で用いられる。

前記画像形成部３は、前記画像読取部１で読み取られた画像データー、又は外部のパーソナルコンピューター等の情報処理装置から入力された画像データーに基づいて画像形成処理（印刷処理）を実行する電子写真方式の画像形成手段である。
前記画像形成部３は、感光体ドラム３１、帯電装置３２、ＬＳＵ（Laser Scanner Unit）３３、現像装置３４、転写ローラー３５、除電装置３６、定着ローラー３７、及び加圧ローラー３８等を備えている。そして、前記画像形成部３では、前記給紙部４により搬送される用紙Ｓに以下の手順で画像が形成され、画像形成後の用紙Ｓは排紙トレイ４１に排紙される。
具体的には、まず、前記帯電装置３２により前記感光体ドラム３１が所定の電位に一様に帯電される。次に、前記ＬＳＵ３３により前記感光体ドラム３１の表面に画像データーに基づく光が照射される。これにより、前記感光体ドラム３１の表面に静電潜像が形成される。そして、前記感光体ドラム３１上の静電潜像は前記現像装置３４によりトナー像として現像（可視像化）される。続いて、前記感光体ドラム３１に形成されたトナー像は前記転写ローラー３５により用紙Ｓに転写される。その後、用紙Ｓに転写されたトナー像は、その用紙Ｓが前記定着ローラー３７及び前記加圧ローラー３８の間を通過して排出される際に前記定着ローラー３７で加熱されて用紙Ｓに溶融定着する。なお、前記感光体ドラム３１の電位は前記除電装置３６で除電される。

次に、図２を参照しつつ、前記制御部５の概略機能について説明する。なお、図２は、前記制御部５の構成を示すブロック図である。
前記制御部５は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、ＥＥＰＲＯＭ５４、送受信部５５、及び画像ＲＡＭ５６等を有している。前記制御部５は、前記ＲＯＭ５２に記憶された所定の制御プログラムを前記ＣＰＵ５１で実行することにより、前記複合機１００を統括的に制御する。また、前記ＲＯＭ５２には、後述の罫線削除処理（図３参照）を実行させるための罫線判定プログラムが予め記憶されている。この罫線判定プログラムは、図３等に示されるフローチャートの各ステップを前記制御部５の前記ＣＰＵ５１に実行させるためのプログラムである。前記ＣＰＵ５１は、前記罫線判定プログラムに従って動作することにより、画像データーから罫線を除去する。また、前記ＲＡＭ５３は揮発性の記憶手段、前記ＥＥＰＲＯＭ５４は不揮発性の記憶手段であって、前記ＣＰＵ５１が実行する各種の処理の一時記憶メモリーとして使用される。前記送受信部５５は、前記ＣＰＵ５１の制御により、他の情報処理装置からカラーの画像データーを取得する。前記画像ＲＡＭ５６は、前記画像読取部１及び前記送受信部５５により取得されたカラーの画像データーを記憶する。
なお、前記制御部５は、集積回路（ＡＳＩＣ、ＤＳＰ）等の電子回路により構成されてもよく、前記複合機１００を統括的に制御するメイン制御部と別に設けられた制御部でもよい。

＜罫線削除処理＞
以下、図３のフローチャート及び図４乃至図６の用紙Ｐの図を参照しつつ、前記制御部５によって実行される罫線削除処理の手順の説明とともに、本発明の罫線判定方法について説明する。なお、図３のフローチャートにおいてステップＳ１、Ｓ２、・・・は処理手順（ステップ）番号を表している。ここに、罫線削除処理を実行するときの前記制御部５が本発明に係る第１画像抽出手段、第２画像抽出手段、第３画像抽出手段、第１判定手段、第２判定手段、第３判定手段、及び削除手段の一例である。なお、図４は、罫線削除前の用紙Ｐの例を示す図であり、図５は、罫線削除後の用紙Ｐの例を示す図であり、図６は、罫線削除前の用紙Ｐの例の拡大図である。
当該罫線削除処理は、前記複合機１００においてユーザーによる複写指示及び罫線削除指示が入力されることに応じて実行される。前記複合機１００に用紙Ｐを読み取らせて画像データーを得る場合、ユーザーは前記コンタクトガラス１１上に用紙Ｐを載置した後に前記用紙カバー２０で用紙Ｐを覆う。なお、外部記憶媒体から画像データーを得る場合、ユーザーは外部記憶媒体を前記複合機１００が備える接続端子に接続する。外部の情報処理装置から画像データーを得る場合には、ユーザーは外部の情報処理装置を前記複合機１００の前記接続端子に接続する。これにより、罫線削除処理における一連の手順から後述するステップＳ１、つまり前記画像読取部１による用紙Ｐの画像読取処理を省略することができる。
前記制御部５は、前記操作表示部６から画像形成指示及び罫線削除指示が入力されると前記ステップＳ１以下の処理を実行する。
なお、説明の便宜のため、前記画像読取部１の解像度を６００ｄｐｉ（dots per inch）とし、用紙ＰのサイズをＡ４（２９７ｍｍ×２１０ｍｍ）とする。この条件で用紙Ｐから読み取られた画像データーには、７０１６画素×４９６１画素の数の画素がある。画像データーは、各１画素にはＲＧＢの各色に８ビットの階調情報が割り当てられており、１６７７万７２１６色を表示できる所謂フルカラーであるものとする。つまり、各１画素の色深度は、２４ｂｐｐ（bit per pixel）である。また、用紙Ｐ及び用紙Ｓの紙面水平方向をＸ軸方向８１（図４参照）、紙面垂直方向をＹ軸方向８２（図４参照）と定義する。

（ステップＳ１）
まず、前記ステップＳ１において、前記制御部５は、前記画像読取部１により用紙Ｐの濃度及び色相の情報を含むカラーの画像データーを得て、前記画像ＲＡＭ５６に記憶させる。また、必要に応じて、画像データーから下地色を除去する下地除去処理、画像データーの明暗の比率を変換する明度変換処理、及び画像データーからノイズを取り除くスムージング処理などを、前記制御部５は実行する。
なお、以下の説明では、前記ステップＳ１において、前記制御部５は、１枚の用紙Ｐのカラーの画像データーを一度に全て取得する場合を前提として説明する。しかし、この場合に限らず、前記ステップＳ１において、前記制御部５が、用紙Ｐの画像データーを複数のラインごとに取得する処理であってもよい。この場合、前記制御部５は、取得した複数のラインを一つのブロックとして、一つのブロックごとに罫線削除処理を実行する。また、前記制御部５は、あるブロックの罫線削除処理で使用した罫線の情報を使用して、次のブロックの罫線削除処理を実行してもよい。

（ステップＳ２）
ステップＳ２において、前記制御部５は、所定範囲内の色調を有する基準画素が直線状に連続する線状画像を画像データーの中から抽出する。具体的には、前記制御部５は、所定範囲内の濃度及び所定範囲内の色相を有する基準画素が直線状に連続する線状画像を画像データーの中から抽出する。詳細には、前記制御部５は、画像データーを水平方向（用紙Ｐの前記Ｘ軸方向８１）へ走査して、水平方向及び右下がりに前記所定範囲内の濃度及び色相の基準画素が連続する連続画素を抽出する。また、前記制御部５は、左右を反転した画像データーを同様に走査することにより、水平方向及び右上がりに前記所定範囲内の濃度及び色相の基準画素が連続する連続画素を抽出する。このように、濃度及び色相を含む前記基準画素によって前記線状画像が抽出されるため、仮に前記線状画像に他の画像が交差する部分があっても、その違いを高い精度で判別することができ、前記線状画像のみを正確に抽出することができる。
なお、前記所定範囲内とは、濃度及び色相が同程度と判断される範囲のことを言う。例えば、隣接する画素において、ＲＧＢの各色の下位２ビットの濃度情報が異なる場合は、前記所定範囲内であり、連続画素であると前記制御部５に判定される。しかし、下位から３ビット目以上の濃度情報が異なる場合は、所定範囲外であり、連続しない画素であると前記制御部５に判定される。
上述のように、前記ステップＳ２において、前記所定範囲内の色調を有する基準画素が直線状に連続する複数の前記線状画像を画像データーから抽出する前記制御部５は、本発明の第１画像抽出手段の一例である。また、前記ステップＳ２が、本発明の罫線判定方法の第１画像抽出ステップの一例である。なお、上述の前記ステップＳ２では、濃度及び色相を有する基準画素によって前記線状画像を抽出することとしたが、所定範囲内の濃度を有する基準画素、或いは、所定範囲内の色相を有する基準画素だけで前記線状画像を抽出するようにしてもよい。つまり、前記色調は、濃度及び色相の双方又はいずれか一方である。

（ステップＳ３）
ステップＳ３において、前記制御部５は、前記ステップＳ２により抽出された前記線状画像の中から第１閾値以上に連続する前記線状画像を抽出する。具体的には、前記制御部５は、抽出された前記線状画像の右端のＸ座標の値から左端のＸ座標の値を引いた値の絶対値が前記第１閾値以上であるか否かによって罫線候補か否かを判定する。
前記制御部５は、前記第１閾値以上の数の前記線状画像がないと判定すると、処理を終了させる（Ｓ３のＮＯ側）。つまり、前記制御部５は、画像データーの中に罫線が無いと判定する。
一方、前記制御部５は、前記第１閾値以上の前記線状画像があると判定すると、処理をステップＳ４に移行させる（Ｓ３のＹＥＳ側）。
なお、前記第１閾値は、画像データーの中の幅方向に対して、間違いなく罫線であると考えられる長さである。例えば、Ａ４サイズである用紙Ｐの幅４９６１画素に対して、約半分の２４５０画素であることが考えられる。図４（Ａ）に示される用紙Ｐにおいて、罫線６１Ａ〜６１Ｃ、６１Ｅ、６１Ｈ、６１Ｊ、太罫線６２Ａ、６２Ｂ、６２Ｄ、及び標題用罫線６３が罫線候補として抽出される。
このように、前記ステップＳ３において、前記所定範囲内の画素が前記第１閾値以上直線に連続したものを前記線状画像として抽出する前記制御部５は、本発明の第１抽出手段の他の一例である。これにより、前記制御部５は、罫線として十分な長さがある前記線状画像のみを罫線候補として選択することができる。

（ステップＳ４）
次に、ステップＳ４において、前記制御部５は、前記ステップＳ３により抽出された複数の前記第１閾値以上の前記線状画像が３本以上であるか否かを判定する。
前記制御部５は、画像データーの中から抽出された前記線状画像が３本未満であると判定すると、処理を終了させる（Ｓ４のＮＯ側）。この場合、後述するステップＳ６において、前記線状画像の間隔を比較できないからである。
一方、前記制御部５は、画像データーの中から抽出された前記線状画像が３本以上あると判定すると、処理をステップＳ５に移行させる（Ｓ４のＹＥＳ側）。

（ステップＳ５）
次に、ステップＳ５において、前記制御部５は、前記ステップＳ３により抽出された複数の前記線状画像の間隔を求める。具体的には、前記制御部５は、抽出された一の前記線状画像と隣接する他の前記線状画像と間で、右端及び左端の前記Ｘ軸方向８１のＸ座標及びＹ軸方向８２のＹ座標の値を抽出する。前記制御部５は、一の前記線状画像の右端及左端のＸ座標及びＹ座標の値から他の前記線状画像の右端及左端のＸ座標及びＹ座標の値を引き、右端間隔及び左端間隔を求めることができる。なお、右端間隔及び左端間隔の両端の間隔が等しいものが、前記制御部５により等間隔の罫線候補とされる。

（ステップＳ６）
次に、ステップＳ６において、前記制御部５は、前記ステップＳ５により求められた罫線候補である前記線状画像の間隔に基づいて、複数の前記線状画像に等間隔で出現する前記線状画像があるか否かを判定する。
前記制御部５は、等間隔の前記線状画像がないと判定すると、処理を終了させる（Ｓ６のＮＯ側）。つまり、前記制御部５は、画像データーの中に罫線がないと判定する。
一方、前記制御部５は、等間隔の前記線状画像があると判定すると、その等間隔を罫線間隔として前記ＲＡＭ５３に記憶させて、処理をステップＳ７に移行させる（Ｓ６のＹＥＳ側）。

（ステップＳ７）
次に、ステップＳ７において、前記制御部５は、画像データーの中に前記罫線間隔で出現する前記線状画像を罫線であると判定する。具体的には、前記制御部５は、罫線の幅の誤差及び、罫線間隔の誤差を考慮して、誤差が所定の間隔範囲内である場合に、罫線と判定する。
例えば、図４（Ｂ）に示される用紙Ｐにおいて、太さがｎ画素の前記罫線６１Ｂと前記罫線６１Ｃとの間隔がｍ画素数であり、５行目ごとに出現する太さがｎ＋３乃至ｎ＋５画素の前記太罫線６２Ｂと前記罫線６１Ｃとの間隔がｍ画素乃至ｍ＋２画素である。前記制御部５は、ｍ画素の間隔とｍ乃至ｍ＋２画素の間隔を前記間隔範囲内として、前記罫線間隔と判定する。また、その際に、前記制御部５は、太さがｎ画素の前記罫線６１Ｂ及び前記罫線６１Ｃと、太さがｎ＋３乃至ｎ＋５画素の前記太罫線６２Ｂとを更に考慮してこれらの間隔が前記罫線間隔か否かを判定する。
これにより、前記制御部５は、罫線として十分な長さがあり、前記罫線間隔の前記線状画像のみを罫線と判定することができる。例えば、図４（Ａ）に示される用紙Ｐにおいて、前記太罫線６２Ａ、前記罫線６１Ａ〜６１Ｃ、前記太罫線６２Ｂ、前記罫線６１Ｊ、及び前記太罫線６２Ｄが前記制御部５により罫線と判定される。
このように、前記ステップＳ４乃至前記ステップＳ７において、前記ステップＳ３によって抽出された複数の前記線状画像に前記罫線間隔で出現する前記線状画像がある場合に、前記罫線間隔の前記線状画像を罫線と判定する前記制御部５は、本発明の第１判定手段の一例である。また、前記ステップＳ４乃至前記ステップＳ７が、本発明の罫線判定方法の第１判定ステップの一例である。

（ステップＳ８）
ステップＳ８において、前記制御部５は、前記ステップＳ２により抽出された前記線状画像の中から罫線と判定されなかった前記第１閾値以上の前記線状画像及び前記第１閾値未満であり第２閾値以上である準線状画像を抽出する。これにより、前記制御部５は、罫線が存在する可能性が高い位置にあるが、前記第１閾値未満であるために罫線候補とされなかった前記線状画像も罫線候補とすることができる。また、前記準線状画像が罫線と判定されることにより、罫線と判定されなかった前記第１閾値以上の前記線状画像であっても罫線と判定される可能性があるため、前記制御部５は、これらも罫線候補とする。
なお、前記第２閾値は、前記第１閾値よりも小さい値であるが、罫線が手書き文字７１及び手書き文字７２などにより分断された可能性が高いと考えられる十分な長さである。
言い換えると、前記ステップＳ３により抽出される前記線状画像は、前記所定範囲内の画素が前記第１閾値以上の数を直線状に連続したものである。なお、前記ステップＳ８において、画像データーの中から前記第１閾値未満であり前記第２閾値以上である前記所定範囲内の画素が連続してなる前記準線状画像を抽出する前記制御部５は、本発明の第２画像抽出手段の一例である。

（ステップＳ９）
次に、前記ステップＳ９において、前記制御部５は、前記ステップＳ４乃至前記ステップＳ７により判定された罫線から前記罫線間隔の位置に、前記準線状画像及び罫線と判定されなかった前記第１閾値以上の他の前記線状画像のいずれか一方又は双方があるかないかを判定する。
前記制御部５は、前記罫線間隔の位置に、前記準線状画像及び他の前記線状画像のいずれもないと判定すると、処理をステップＳ１１に移行させる（Ｓ９のＮＯ側）。この場合、前記制御部５は、画像データーの中に前記ステップＳ７において罫線と判定された前記線状画像以外に罫線はないと判定する。
一方、前記制御部５は、前記罫線間隔の位置に、前記準線状画像及び他の前記線状画像のいずれか一方又は双方があると判定すると、処理をステップＳ１０に移行させる（Ｓ９のＹＥＳ側）。

（ステップＳ１０）
次に、前記ステップＳ１０において、前記制御部５は、前記ステップＳ９において判定された前記準線状画像及び他の前記線状画像を罫線と判定する。
なお、前記第２閾値は、画像データーの中の幅方向に対して、罫線である可能性が高いと考えられる長さである。例えば、Ａ４サイズである用紙Ｐの幅４９６１画素に対して、約２０分の１の２４０画素であることが考えられる。図４（Ａ）に示される用紙Ｐにおいて、罫線６１Ｄ、６１Ｆ、及び６１Ｇが、前記制御部５により前記準線状画像であると判定され、さらに罫線であると判定される。また、前記ステップＳ７の段階では、前記第１閾値以上の前記線状画像であるが前記罫線間隔でないため罫線と判定されなかった他の前記線状画像である前記罫線６１Ｅ及び前記罫線６１Ｈが、前記制御部５により新たに罫線と判定される。
このように、前記ステップＳ１０において、前記ステップＳ７により判定された罫線から前記罫線間隔を隔てた位置に前記準線状画像がある場合に、前記準線状画像を罫線と判定する前記制御部５は、本発明の第２判定手段の一例である。また、前記ステップＳ１０において、該ステップにより罫線と判定された前記準線状画像から前記罫線間隔を隔てた他の前記線状画像を罫線と判定する前記制御部５は、本発明の第１判定手段の他の一例である。
前記ステップＳ３乃至前記ステップＳ７において、罫線である可能性が高い前記第１閾値以上の前記線状画像を、前記制御部５は罫線と判定した。これに対して、前記ステップＳ８乃至前記ステップＳ１０において、罫線である可能性が高いと判定された結果を使用して、その判定から漏れた前記線状画像の中から前記制御部５は罫線を判定する。この処理は、前記ステップＳ１において、用紙Ｐを複数のブロックごとに読み取り、ブロックごとに前記制御部５が罫線削除処理を実行する際に、罫線と判定されるべき前記線状画像及び前記準線状画像が判定から漏れることを防止することができる。

（ステップＳ１１、ステップＳ１２）
次のステップＳ１１では、前記制御部５は、画像データーの中から罫線と判定された前記線状画像及び前記準線状画像と同一直線状にある前記所定範囲内の画素を抽出して罫線と判定する。
その後、ステップＳ１２において、前記制御部５は、罫線と判定された前記線状画像及び前記準線状画像から前記罫線間隔を隔てた位置に前記所定範囲内の画素を点状画素として抽出して、この点状画素を罫線と判定する。ここで、点状画素とは、罫線上の広範囲に前記手書き文字７１又は前記手書き文字７２があるために、罫線が細分化されものであり、その細分化された罫線の長さが前記第２閾値よりも短くされたものである。このような点状画素は、ステップＳ２では線状画像として抽出されないが、ステップＳ１２の処理が行われることによって抽出されて、罫線の一部と判定される。
これにより、前記制御部５は、前記罫線６１Ｆが前記手書き文字７１により区切られても短く区切られた部分を罫線と判定することができるため、前記罫線６１Ｆと前記罫線６１Ｆに交差する前記手書き文字７１とを高い精度で分離することができる。例えば、図４（Ａ）に示される用紙Ｐにおいて、前記ステップＳ１１が実行されると、前記罫線６１Ｄ、６１Ｆ、６１Ｇ、及び太罫線６２Ｃの文字間の罫線画素が、前記制御部５により新たに罫線と判定される。また、前記ステップＳ１２が実行されると、罫線上に前記手書き文字７１が多数存在するために、前記ステップＳ１０までの処理では罫線とは判定できない罫線６１Ｉを前記点状画素して抽出され罫線として判定される。前記ステップＳ１１及び前記ステップＳ１２により、前記手書き文字７１の「Ｏ、Ｍ」などの文字内部と前記罫線６１Ｆ及び前記罫線６１Ｉなどが重なる部分の画素が前記点状画素として抽出され罫線と判定される。このように、前記制御部５は細切れにされた罫線を高い精度で判定することができる。

（ステップＳ１３）
ステップＳ１３において、前記制御部５は、画像データーの中から罫線と判定された全ての画素を削除する。
例えば、図４に示される罫線削除前の用紙Ｐは、図５に示される罫線削除後の用紙Ｐのように、前記制御部５が実行する罫線削除処理により、罫線と判定される前記罫線６１Ａ〜前記罫線６１Ｊ及び前記太罫線６２Ａ〜前記太罫線６２Ｄが用紙Ｐから削除される。しかし、図５及び図６に示されるように、他の罫線とは間隔が異なる前記標題用罫線６３、及び前記手書き文字７２の下線部分は削除されない。これにより、前記制御部５は、従来の２値化による罫線削除では、削除されてしまう可能性が高い前記手書き文字７２の下線部分や他の罫線と異なる前記標題用罫線６３を残しつつ、印刷された罫線部分を削除することができる。
このように、前記ステップＳ１３において、画像データーの中から罫線と判定された削除画素を削除する前記制御部５は、本発明の削除手段の一例である。

（ステップＳ１４）
ステップＳ１４において、前記制御部５は、前記ステップＳ１３において削除された画素の領域の色調を画像データーの地色画像の色調に変更する。詳細には、削除された画素の領域の濃度及び色相を、画像データーの地色画像の濃度及び色相に変更する。用紙Ｐが白地の場合は、前記ステップＳ１４を実行する必要はない。しかし、用紙Ｐに地色がある場合に、前記ステップＳ１３において、前記制御部５により画像データーの中から罫線の画素が削除されると、元々罫線があった部分が地色と異なる濃度及び色相になる。そのため、画像データーに地色がある場合に、前記制御部５が削除した画素の領域を地色画素の濃度及び色相に変更することにより、罫線が削除された画像データーを見やすくすることができる。
なお、地色画像の濃度及び色相は、予め定められた設定値にする方法と画像データーの中から抽出する方法とがある。例えば、地色画像の濃度及び色相を抽出する方法は、罫線に隣接する複数の隣接画素を抽出し、複数の隣接画素の中から濃度及び色相の数が最も多い画素にすることが考えられる。

＜実施形態の効果＞
以上説明したように、本発明の前記複合機１００によれば、画像データーの中から罫線を高精度に判定することができる。
また、従来の罫線削除処理では、２値化された画像データーをそのまま処理して罫線を判定するため、罫線と交わる他の画素が罫線か否かを判定するために複雑で多くの演算処理が必要であった。しかし、本発明の前記複合機１００によれば、罫線の間隔や罫線を構成する画素の濃度及び色相のいずれか一方又双方の情報に基づいて、罫線であるかないかを判定するため、演算処理を減らすことができる。

＜実施形態の変形例＞
（第１変形例）
前記実施形態の説明では、前記複合機１００は、前記罫線間隔にある罫線のみを用紙Ｐの画像データーから判定する例について説明したが、この例に限るものではない。以下に、前記実施形態の第１変形例として、罫線のみならず、罫線と同質の画素を用紙Ｐから抽出して削除する前記複合機１００について説明する。
一般的なノート、原稿用紙、グラフ用紙などの罫線が印刷されている用紙は、罫線以外の他の情報も罫線と同濃度及び同色で印刷されている。そのため、罫線を構成する画素の濃度及び色相の情報を使用することにより、前記複合機１００は、罫線以外の印刷情報を抽出することができる。
ここで、本第１変形例が前記実施形態と異なるところは、図３に示された罫線削除処理の前記ステップＳ８以降の処理であり、その他の部分は前記実施形態の構成及び処理と共通する。そのため、ここでは、異なる部分だけ説明して、共通する部分の説明は省略する。
以下、図７のフローチャート及び図４及び図５の用紙Ｐの図を参照しつつ、前記制御部５によって実行される印刷情報除去処理の手順について説明する。

（ステップＳ２１、ステップＳ２２）
前記ステップＳ７において、罫線が判定されると、ステップＳ２１において、前記制御部５は、罫線を構成する罫線画素の色及び濃度の情報を抽出する。
続いて、ステップＳ２２において、前記制御部５は、前記ステップＳ２１により抽出された罫線画素の濃度及び色相と同じ濃度及び色相を有する画素を削除対象の画素（削除画素）として画像データーの中から抽出する。
これにより、用紙Ｐの中から罫線と同じ濃度及び色相で印刷された印刷情報を抽出することができる。例えば、図４に示された用紙Ｐにおいて、前記標題用罫線６３、日付や番号を記載するページ情報記載欄６４、列を表す列点６５、所定行ごとに行の位置を判別可能にする行点６６、及び用紙Ｐのロゴマーク６７などを前記制御部５は抽出することができる。このように、前記ステップＳ２１及び前記ステップＳ２２において、前記ステップＳ７により罫線と判定された前記線状画像の色調と同じ色調を有する画素を前記画像データーの中から前記削除画素として抽出する前記制御部５は、第４画素抽出手段の一例である。

（ステップＳ２３）
次のステップＳ２３では、前記制御部５は、前記ステップＳ２１により抽出された前記削除画素を画像データーの中から削除して、前記ステップＳ１４に移行する。これにより、前記制御部５は、罫線と同濃度及び同色の画素を用紙Ｐの画像データーから削除して、前記手書き文字７１及び前記手書き文字７２のみを残すことができる。また、図４の用紙Ｐには、記載されていないが、罫線に直交する縦線、罫線に対して傾いている斜線、及び点線などが用紙Ｐに印刷さていても、罫線の画素と色及び濃度が前記所定範囲内である限り、前記制御部５は削除することができる。
なお、前記ページ情報記載欄６４を削除せずに残したい場合には、抽出された前記削除画素を画像データーの中から削除する範囲を限定し、限定された範囲内で前記制御部５が前記削除画素を削除することが考えられる。例えば、Ａ４サイズの上から１５分の１（約４１０画素）の範囲を削除禁止にすることにより、前記印刷情報除去において、前記制御部５は、必要な印刷情報を残しつつ他の印刷情報を除去することができる。この場合、前記印刷情報除去が実行された後の画像データーの中には、前記手書き文字７１、前記手書き文字７２、前記ページ情報記載欄６４、及び上方の前記ロゴマーク６７のみが含まれる。

このように、第１変形例の前記複合機１００によれば、用紙Ｐの画像データーから罫線のみならず、罫線と同濃度及び同色の画素を抽出して削除することができる。つまり、前記複合機１００では、用紙Ｐの画像データー中に罫線と同濃度及び同色で表される縦線、斜線、及び点線などを抽出する処理や判定する処理を、複雑な演算を伴うことなく、容易に行うことができる。

（第２変形例）
前記実施形態の説明では、前記複合機１００は、前記罫線間隔にある罫線のみを用紙Ｐから抽出する例について説明したが、この例に限るものではない。以下に、前記実施形態の第２変形例として、罫線を抽出した後に、罫線に基づいて、画像データーを回転させて見やすくする前記複合機１００について説明する。
ここで、本第２変形例が前記実施形態と異なるところは、図３に示された罫線削除処理の前記ステップＳ８以降の処理であり、その他の部分は実施形態の構成及び処理と共通するため、ここでは、異なる部分だけ説明して、共通する部分の説明は省略する。
以下、図８のフローチャートを参照しつつ、前記制御部５によって実行される回転処理の手順について説明する。

（ステップＳ３１）
前記ステップＳ７において、罫線が判定されると、ステップＳ３１において、前記制御部５は、罫線の両端の座標情報を抽出して、Ｙ座標が一致するか否かを判定する。
前記制御部５は、Ｙ座標が一致すると判定すると、処理を終了させる（Ｓ３１のＹＥＳ側）。つまり、前記制御部５は、用紙Ｐが傾いていないと判定し、そのため、画像データーを回転させる必要がないと判定する。
一方、前記制御部５は、Ｙ座標が一致しないと判定すると、処理をステップＳ３２に移行させる（Ｓ３１のＮＯ側）。
このように、前記ステップＳ３１において、前記ステップＳ４乃至前記ステップＳ７により罫線と判定された前記線状画像の両端それぞれの画像データーの中における位置情報に基づいて、前記罫線が傾斜しているかいなかを判定する前記制御部５は、本発明の傾度判定手段の一例である。

（ステップＳ３２、ステップＳ３３）
次に、ステップＳ３２において、前記制御部５は、Ｙ座標の差分を抽出する。具体的には、罫線の右端のＹ座標の値から罫線の左端のＹ座標の値を引くことにより差分を抽出する。
ステップＳ３３において、前記制御部５は、Ｙ座標の差分を解消する向きに画像データーを回転する。具体的には、前記ステップＳ３３において、差分がプラスの場合、前記制御部５は、罫線が右肩上がりであると判定して、差分に対応する回転量だけ画像データーを時計回りに回転させる。また、前記ステップＳ３３において、差分がマイナスの場合、前記制御部５は、罫線が右肩下がりがりであると判定して、差分に対応する回転量だけ画像データーを反時計回りに回転させる。
このように、前記ステップＳ３２及び前記ステップＳ３３において、前記ステップＳ３１により傾斜していると判定された場合に、傾斜度に応じて画像データーを傾斜方向と反対方向へ回転させて補正する前記制御部５は、本発明の補正手段の一例である。

第２変形例の前記複合機１００によれば、用紙Ｐの画像データーを回転させて罫線の方向と画像データー外枠の底辺の方向とを一致させることができる。これにより、画像データー内の前記手書き文字７１及び前記手書き文字７２を読みやすくすることができる。もちろん、第２変形例は、本発明の実施形態及び第１変形例と組み合わせることが考えられる。これにより、罫線を削除するとともに、前記手書き文字７１及び前記手書き文字７２の向きを回転させて、見やすくできる。

＜実施形態の他の適用例＞
前記実施形態の説明では、本発明の画像処理装置の一例として前記複合機１００について説明したが、これに限るものではない。
本発明は、前述の各ステップに従った処理を行うことにより画像データーの中から罫線を抽出する罫判定方法として捉えることができる。また、本発明は、コンピューターに、前述の各ステップを実行させて画像データーの中から罫線を抽出させるプログラムとして捉えることができる。
本発明の説明では、前記画像読取部１が用紙Ｐのカラーの画像データーを読み取り、カラーの色相に基づいて、処理をする場合について説明したが、これに限るものではない。カラーの画像データーの代わりに、濃度情報のみがあるグレースケールの画像データーであってもよい。

１００：複合機（画像処理装置の一例）
１：画像読取部
２：ＡＤＦ
３：画像形成部
４：給紙部
５：制御部
６：操作表示部
５１：ＣＰＵ
５２：ＲＯＭ
５３：ＲＡＭ
５４：ＥＥＰＲＯＭ
５５：送受信部
５６：画像ＲＡＭ
６１Ａ〜６１Ｊ：罫線
６２Ａ〜６２Ｄ：太罫線
６３：標題用罫線
６４：ページ情報記載欄
６５：列点
６６：行点
６７：ロゴマーク
７１、７２：手書き文字
Ｐ、Ｓ：用紙

Claims (10)

1. 所定範囲内の色調を有する基準画素が第１閾値以上直線状に連続する複数の線状画像を画像データーから抽出する第１画像抽出手段と、
   前記第１画像抽出手段によって抽出された前記複数の線状画像に等間隔で出現する線状画像がある場合に、前記等間隔の線状画像を罫線と判定する第１判定手段と、
   前記画像データーの中から前記基準画素の連続が第２閾値以上であり前記第１閾値未満である準線状画像を抽出する第２画像抽出手段と、
   前記第１判定手段により判定された罫線から前記等間隔を隔てた位置に前記準線状画像がある場合に、前記準線状画像を罫線と判定する第２判定手段と、
   を備える画像処理装置。
2. 前記色調は、濃度及び色相の双方又はいずれか一方である請求項１に記載の画像処理装置。
3. 前記第１判定手段は、前記第２判定手段により罫線と判定された前記準線状画像から前記等間隔を隔てた前記線状画像を罫線と判定する請求項１又は２に記載の画像処理装置。
4. 前記画像データーの中から罫線と判定された前記線状画像及び前記準線状画像と同一直線状にある前記基準画素又は罫線と判定された前記線状画像及び前記準線状画像から前記等間隔を隔てた位置に前記所定範囲内の画素を点状画素として抽出する第３画像抽出手段と、
   前記第３画像抽出手段によって抽出された前記点状画素を罫線と判定する第３判定手段と、
   を更に備える請求項１〜３のいずれかに記載の画像処理装置。
5. 前記画像データーの中から罫線と判定された画素を削除する削除手段を更に備えた請求項１〜４のいずれかに記載の画像処理装置。
6. 前記削除手段は、削除対象の画素色調を前記画像データーの地色画像の色調に変更する請求項５に記載の画像処理装置。
7. 前記第１判定手段により罫線と判定された前記線状画像の色調と同じ色調を有する画素を前記画像データーの中から削除対象として抽出する第４画素抽出手段を更に備え、
   前記削除手段は、前記第４画素抽出手段により抽出された前記削除対象の画素を削除する請求項５又は６に記載の画像処理装置。
8. 前記画像データーにおいて、前記第１判定手段により罫線と判定された前記線状画像の両端の位置情報に基づいて、前記罫線が傾斜しているかいなかを判定する傾度判定手段と、
   前記傾度判定手段により傾斜していると判定された場合に、傾斜度に応じて前記画像データーを傾斜方向と反対方向へ回転させて補正する補正手段と、
   を更に備える請求項１〜７のいずれかに記載の画像処理装置。
9. 所定範囲内の色調を有する基準画素が第１閾値以上直線状に連続する複数の線状画像を画像データーから抽出する第１画像抽出ステップと、
   前記第１画像抽出ステップによって抽出された前記複数の線状画像に等間隔で出現する線状画像がある場合に、前記等間隔の線状画像を罫線と判定する第１判定ステップと、
   前記画像データーの中から前記基準画素の連続が第２閾値以上であり前記第１閾値未満である準線状画像を抽出する第２画像抽出ステップと、
   前記第１判定ステップにより判定された罫線から前記等間隔を隔てた位置に前記準線状画像がある場合に、前記準線状画像を罫線と判定する第２判定ステップと、
   を実行する罫線判定方法。
10. コンピューターに、
    所定範囲内の色調を有する基準画素が第１閾値以上直線状に連続する複数の線状画像を画像データーから抽出する第１画像抽出ステップと、
    前記第１画像抽出ステップによって抽出された前記複数の線状画像に等間隔で出現する線状画像がある場合に、前記等間隔の線状画像を罫線と判定する第１判定ステップと、
    前記画像データーの中から前記基準画素の連続が第２閾値以上であり前記第１閾値未満である準線状画像を抽出する第２画像抽出ステップと、
    前記第１判定ステップにより判定された罫線から前記等間隔を隔てた位置に前記準線状画像がある場合に、前記準線状画像を罫線と判定する第２判定ステップと、
    を実行させるための罫線判定プログラム。

Images