JP5222127B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像読取装置の原稿台に置かれている原稿を読み取り、この読み取った画像を処理し、出力する画像処理装置に係り、特に、原稿台に置かれている複数の原稿を一括して読み取り、原稿領域の画像を出力する画像処理装置に関する。

近年、通信ネットワークの発達、コンピュータの高速化及び記憶媒体の大容量化に伴い、画像情報が頻繁に取り扱われている。特に、スキャナ等で取り込んだ画像情報を、より正確・高速に読み取りたいという要求が高まっている。

従来、原稿台に置かれている原稿から、読取対象を抽出し、原稿位置、原稿サイズ等の原稿領域を、自動的に決定する方法が知られている。その第１の方法は、抽出した全ての読取対象に基づいて、原稿領域を決定する方法である（たとえば、特許文献１参照）。この第１の方法は、原稿が１枚のみ置かれていることが、予め分かっているときに有効な方法である。

これとは別の第２の方法は、複数の読取対象から、個々の読取対象を抽出し、この抽出された個々の読取対象に基づいて、原稿領域を決定する方法である（たとえば、特許文献２、３参照）。この第２の方法は、原稿を１枚に限定しないので、個々の読取対象について、それぞれ１枚の原稿の領域を決定することができる。
特開２０００−２３２５６２号公報 特開２００３−４６７３１号公報 特開２００７−２０１２２号公報

全ての読取対象から原稿領域を決定する従来の第１の方法は、原稿が１枚であることを前提に処理するので、原稿台に複数の原稿が置かれている場合、適切な原稿領域を決定することができないという問題がある。

一方、上記従来の第２の方法は、複数の読取対象から、個々の読取対象を抽出し、この抽出された個々の読取対象に基づいて原稿領域を決定するので、適切な原稿領域を決定することができる。しかし、雑誌等、１つの原稿の内部に、写真等が配置されている場合、内部の写真を、独立した読取対象（１つの原稿）として抽出する可能性が残る。この結果、複数の読取対象から、個々の読取対象を抽出し、この抽出された個々の読取対象から原稿領域を決定する従来方法を用いると、内部の写真を、１つの独立した原稿領域として決定する。

この原稿領域を決定する場合において精度が低下すると、ユーザ自身が置いた原稿に、適切な処理を選択させる方法が考えられる。しかし、初心者ユーザ等が置いた原稿について、どちらの処理が適切であるかを、上記初心者ユーザが判断できなければ、原稿領域を決定する場合における精度を向上させることができないという問題がある。

また、「ユーザ自身が置いた原稿に、ユーザが適切な処理を選択する」という操作が増え、操作が煩雑であるという問題がある。この問題は、原稿を原稿台に置き、ユーザが「読み取りボタン」を押すと、原稿に応じて最適な読み取り領域の画像を得ることができる機能を実現するための障害になるという問題がある。

本発明は、原稿に対応する原稿領域を、当該原稿の読取画像から適切に特定することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の画像処理装置は、読取装置が原稿を読み取ることで得られた読取画像から、上記原稿に対応する原稿領域を特定するための画像処理装置において、上記読取画像を解析することにより、当該読取画像から、上記原稿領域の候補である１または複数の候補領域を抽出する抽出手段と、上記抽出手段により複数の候補領域が抽出されたときに、当該複数の候補領域から、文字を含む候補領域を判別する判別手段と、上記判別手段により文字を含む候補領域が所定の複数個以上判別された場合、上記抽出手段により抽出された上記複数の候補領域を含む領域を、１つの原稿に対応する上記原稿領域として特定する特定手段とを有することを特徴とする。

また、本発明の画像処理方法は、読取装置が原稿を読み取ることで得られた読取画像から、上記原稿に対応する原稿領域を特定するための画像処理方法において、上記読取画像を解析することにより、当該読取画像から、上記原稿領域の候補である１または複数の候補領域を抽出する抽出工程と、上記抽出工程において複数の候補領域が抽出されたときに、当該複数の候補領域から、文字を含む候補領域を判別する判別工程と、上記判別工程において文字を含む候補領域が所定の複数個以上判別された場合、上記抽出工程において抽出された上記複数の候補領域を含む領域を、１つの原稿に対応する上記原稿領域として特定する特定工程とを有することを特徴とする。

本発明によれば、原稿に対応する原稿領域を、当該原稿の読取画像から適切に特定することができる。

発明を実施するための最良の形態は、次の実施例である。

図１は、本発明の実施例１である画像読取装置Ｒ１を示す断面図である。

画像読取装置Ｒ１は、スキャナ１０を有し、読取原稿Ｄ１が載置される。スキャナ１０は、不図示のインタフェースケーブルによってホストコンピュータ（以下、「ホストＰＣ」という）に接続される。

画像読取装置Ｒ１は、プーリＰ１、Ｐ２と、原稿台ガラスＧ１と、ギア列１１と、ガイドレール１２と、白色基準板１３と、圧板１４と、パルスモータ１７と、無端ベルト１８と、光学ユニット３０と、電気基板４０とを有する。

白色基準板１３の中に、黒マーク１３ｂが設けられ、スキャナ１０は、この黒マーク１３ｂを基準にし、読み取りエリアを決め、画像を読み取る。

光学ユニット３０、パルスモータ１７は、それぞれ、不図示のケーブルによって、電気的に接続されている。また、光学ユニット３０は、圧板１４に載置され、ガイドレール１２に沿って摺動可能であり、圧板１４は、無端ベルト１８に固着されている。

光学ユニット３０は、反射原稿用光源１５と、複数の反射ミラーＭ１、Ｍ２、Ｍ３と、結像レンズ１９と、撮像手段であるラインセンサ２０とによって構成されている。

次に、スキャナ１０における反射原稿画像の読み取り動作について説明する。

ホストＰＣが読み取り命令コマンドを発生すると、スキャナ１０が読み取り動作を開始する。スキャナ１０は、光学ユニット３０の反射原稿用光源１５を点灯し、読取原稿Ｄ１からの反射光を、複数の反射ミラーＭ１、Ｍ２、Ｍ３が反射し、結像レンズ１９を介して、ラインセンサ２０に結像することによって、主走査方向１ライン分の画像を読み取る。

ギア列１１を介して、パルスモータ１７の動力によって、プーリＰ１を回転させ、無端ベルト１８を駆動する。これによって、圧板１４に固着されている光学ユニット３０は、矢印Ｘで示す副走査方向に、ガイドレール上を移動する。

スキャナ１０は、光学ユニット３０を、副走査方向に移動しつつ、上記主走査方向のライン画像の読み取りを繰り返し、図１に点線で示す位置まで読み取り動作をしながら、光学ユニット３０を移動し、原稿台ガラスＧ１の全面をスキャンする。

ただし、ホストＰＣからの読み取りコマンドの内容に応じて、原稿台ガラスＧ１上の原稿の部分画像を読むことができる。この場合、ホストＰＣが指定する読み取り画像領域に対して、主走査方向には、センサ出力のうちで採用する画素領域を、電気基板４０上の上記制御部が規定することによって、原稿台ガラスＧ１上の読取原稿Ｄ１の部分画像を読むことができる。

また副走査方向には、光学ユニット３０の移動領域を、電気基板４０上の上記制御部が規定することによって、原稿台ガラスＧ１上の読取原稿Ｄ１の部分画像を読む。また、副走査方向には、光学ユニット３０の移動領域を、電気基板４０上の上記制御部が規定することによって、原稿台ガラスＧ１上の読取原稿Ｄ１の部分画像を読む。副走査方向に、光学ユニット３０を移動させる場合、ホストＰＣが指定する画像読み取りの解像度設定に応じて、システムコントローラ４１が速度を選択し、画像を読み取る。

なお、スキャナ１０は、原稿台画像から複数の原稿画像の領域を抽出することが可能なマルチクロップスキャン機能を有し、ホストＰＣ又はスキャナ１０自身の制御によって、原稿台ガラスＧ１上に配置されている複数の読取原稿Ｄ１を、自動的に順に読み取る。

圧板１４上にオペレーションパネルを設置し、このオペレーションパネルには、液晶画面とボタンとを設け、ユーザが、マルチクロップのパラメータをスキャナ１０に入力し、読み取りの開始等の操作を行う。

図２は、実施例１において、スキャナ１０の機能構成を示すブロック図である。

スキャナ１０は、光学ユニット３０と、電気基板４０と、パルスモータ１７と、モータ駆動回路ＭＤ１と、透過原稿用光源とを有する。

光学ユニット３０は、光源点灯回路３１を有し、光源点灯回路３１は、反射原稿用光源１５を点灯する回路であり、この中に、反射原稿用光源１５の光量検知を行う検知部が含まれている。反射原稿用光源１５に冷陰極管を用いた場合、いわゆるインバータ回路を構成する。

電気基板４０は、システムコントローラ４１と、アナログゲイン調整器４２Ｒ、４２Ｇ、４２Ｂと、Ａ／Ｄ変換器４３と、画像処理部４４と、ラインバッファ４５と、インタフェース部４６とを有する。また、電気基板４０は、オフセットＲＡＭ４７と、ガンマＲＡＭ４８と、ＣＰＵバス４９とを有する。

アナログゲイン調整器４２Ｒ、４２Ｇ、４２Ｂは、ラインセンサ２０から出力されたアナログ画像信号を可変増幅する。Ａ／Ｄ変換器４３は、アナログゲイン調整器４２Ｒ、４２Ｇ、４２Ｂが出力したアナログ画像信号をデジタル画像信号に変換する。画像処理部４４は、デジタル信号化された画像信号について、オフセット補正、シェーディング補正、デジタルゲイン調整、カラーバランス調整、マスキング、主・副走査方向の解像度変換、画像圧縮等の画像処理を行う。

ラインバッファ４５は、画像データを一時的に記憶し、汎用のランダムアクセスメモリを有する。インタフェース部４６は、ホストＰＣ５０と通信し、ＵＳＢインタフェースによって構成されている。インタフェース部４６として、ＩＥＥＥ１３９４等、別のインタフェースを採用するようにしてもよい。

オフセットＲＡＭ４７は、画像処理を行う際のワーキングエリアとして用いるＲＡＭであり、ＲＧＢ用ラインセンサが、互いに所定のオフセットを持ち、ラインセンサ２０に、平行に配置されている。したがって、オフセットＲＡＭ４７は、このＲＧＢライン間オフセットの補正用として用いられる。また、オフセットＲＡＭ４７は、シェーディング補正等、各種データの一時記憶も行う。ここでは、汎用のランダムアクセスメモリで実現している。ガンマＲＡＭ４８は、ガンマカーブを記憶し、ガンマ補正を行うためのＲＡＭである。

システムコントローラ４１は、フィルムスキャナ全体のシーケンスを記憶しているシステムコントローラであり、ホストＰＣ５０からの命令に従って、各種制御を行う。

ＣＰＵバス４９は、システムコントローラ４１と、画像処理部４４と、ラインバッファ４５と、インタフェース部４６と、オフセットＲＡＭ４７と、ガンマＲＡＭ４８とを接続するバスであり、アドレスバスとデータバスとを有する。

モータ駆動回路ＭＤ１は、パルスモータ１７用のモータ駆動回路であり、スキャナ１０のシステム制御手段であるシステムコントローラ４１からの信号によって、パルスモータ１７の励磁切替え信号を出力する。

次に、実施例１において、スキャナ１０の制御に用いられるホストＰＣ５０の概略構成について、説明する。

図３は、実施例１において、スキャナ１０の制御に用いられるホストＰＣ５０の概略構成を示す図である。

ホストＰＣ５０は、中央処理装置５１と、ＲＯＭ５２と、ＲＡＭ５３と、ディスク装置５４と、バス５５と、Ｉ／Ｆ５６、５７と、外部記憶装置５８とを有する。

ＲＯＭ５２は、図４に示すフローチャートの動作を実現するプログラムを保持する。ＲＡＭ５３は、上記プログラムの動作に必要な記憶領域とワークエリアとを提供する。中央処理装置５１は、ＲＯＭ５２に保持されているプログラムに従って処理を行う。

バス５５は、上記各構成を接続し、各構成間におけるデータの授受を可能とする。Ｉ／Ｆ５６は、スキャナ１０との通信を行うＩ／Ｆであり、スキャナ１０のインタフェース部４６と同様に、ＵＳＢインタフェースで実現しているが、ＩＥＥＥ１３９４等、別のインタフェースを採用するようにしてもよい。

Ｉ／Ｆ５７は、マウスやキーボード等の入力部６１と接続する。また、外部記憶装置５８は、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭ等、外部記憶媒体を駆動するためのものである。また、Ｉ／Ｆ５７は、上記のように、ＲＯＭ５２に制御プログラムを予め保持する代わりに、外部記憶媒体に記憶されている場合に、それを読み出してダウンロードする。なお、図示しないネットワークコネクタを介して、ネットワーク経由で、制御プログラムをダウンロードするようにしてもよい。

スキャナ１０は、読取対象が記載されている原稿であって、原稿台に載置されている原稿を読み取り、原稿台画像を取得する原稿台画像取得手段の例である。

中央処理装置５１は、上記原稿台画像から、上記読取対象となる画像領域を抽出する抽出手段の例である。

中央処理装置５１は、上記原稿台画像に基づいて、複数の上記読取対象のそれぞれの画像領域に対して、特定の原稿特徴を具備するか否かを判別する判別手段の例である。また、中央処理装置５１は、上記特定の原稿特徴を具備していれば、上記複数の読取対象のそれぞれの画像領域を包含する領域を原稿領域の画像であると判断する判断手段の例である。さらに、中央処理装置５１は、上記特定の原稿特徴を具備しなければ、それぞれの画像領域が原稿領域の画像であると判断する判断手段の例である。

しかも、中央処理装置５１は、上記原稿台画像に含まれる複数の画像領域を抽出する画像抽出手段の例である。

なお、上記判別手段は、上記複数の画像領域の個々における各辺のエッジ強度の分布の相関値を用いることによって文字領域か否かを判別する手段である。また、上記判別手段は、上記複数の画像領域の個々の大きさに応じて、判別基準を変化させる手段であり、上記判別手段は、上記複数の画像領域の個々の幅と高さとの比に応じて判別基準を変化させる手段である。

次に、実施例１において、ホストＰＣ５０によるスキャナ１０の読み取り動作について、説明する。

図４は、実施例１において、ホストＰＣ５０によるスキャナ１０の読み取り動作を示すフローチャートである。

ステップＳ１で、スキャナは原稿台上に載置された読取原稿Ｄ１を含む原稿台全面の画像を読み取る。読み取る時の画像の解像度は、仮のものであってもよく、ユーザ所望の解像度であってもよい。

図５は、原稿台に雑誌原稿を１枚載置して読み取った際の原稿台画像７１と、原稿台に２枚の写真原稿を載置して読み取った際の原稿台画像７２とを示す図である。

次にステップＳ２で、原稿台全面の画像から、原稿領域として読取るべき読取対象となる画像領域を抽出する。詳細な抽出方法は別途図９を用いて説明する。

ステップＳ３で、読取原稿Ｄ１が１枚である場合と仮定して、抽出された全ての読取対象について、原稿領域を決定する。この原稿領域を決定する詳細な方法を、後述の図１０に示すフローチャートを用いて別途説明する。

図７において、ステップＳ３で決定された原稿領域を示す８１の点線部は、原稿台に雑誌原稿を１枚載置して読み取った際の原稿台画像から得られる抽出結果である。また、８２の点線部は、原稿台に２枚の写真原稿を載置して読み取った載の画像から得られる抽出結果である。２枚の写真原稿の画像領域を包含する最小の矩形領域が抽出結果である。

ここで得られた領域を、「１枚原稿領域」と呼ぶ。

次にステップＳ４で、抽出された読取対象となった画像領域の個数を数える。この抽出された読取対象として、ステップＳ２で得られた抽出結果を用いてもよく、またステップＳ２で使用した抽出方法を用いて、抽出するための設定を変えて再度抽出処理を行った抽出結果から得るようにしてもよい。

読取対象の個数を数える場合、ラベリングの方法等がある。まず、カウンタを０に初期化し、画像を走査し、読取対象となる画素を探す。この読取対象となる画素に、カウント値が設定されていなければ、現在のカウント値０とラベル（たとえばＡ）を設定する。そして、隣接する読取対象となる画素に対しても、同じカウント値０とラベルＡを設定する。新しくカウント値とラベルが設定された画素に隣接する画素に対しても、同じカウント値０とラベルＡを設定する。隣接する読取対象を構成する画素で、カウント値とラベルが設定されていないものがなくなると、カウント値を加算し、１にインクリメントし、ラベルの値も更新する。さらに画像を走査し、読取対象となる画像領域を探し、画像領域があればカウント値を加算し、新たなラベルを設定していく。最後の画素までの走査が終了した時点のカウント値Ｎに１を加算した数が、抽出された読取対象となる画像領域の個数となる。

次に、ステップＳ５では、読取原稿Ｄ１が複数枚である場合を仮定し、抽出された複数の画像領域それぞれを原稿領域として決定する。たとえば、このとき、写真が傾いて置かれた場合を想定し、原稿領域を傾け、原稿領域を決定するようにしてもよい。

また、原稿台に置かれる原稿は、Ａ４原稿や、Ｌ判写真など、ある一定の縦横比率以下の原稿を想定しており、極端に細長い原稿は、誤検知である可能性が考えられる。また、Ｌ判写真などは、重なって置かれた場合は、重なった個所の画像データを得ることが出来ないため、離して置かれる。この２つの条件を加味し、矩形の縦横比率が一定以上である場合や、矩形同士が接触している場合は、決定した原稿領域が正しくないとして、除外しても良い。

この詳細な決定方法は、図１０に示すフローチャートを用いて、別途説明する。

図８は、ステップＳ５で決定された原稿領域であって、原稿を１枚置いたときの画像から得られる抽出結果８３と、原稿を複数枚置いたときの画像から得られる抽出結果８４とを示す図である。

図６に示す抽出結果７３において、原稿の下辺、右辺が抽出されているが、図８の抽出結果８３には反映されていない。これは、矩形の縦横比率や、矩形同士の接触、画像領域の大きさ等の条件から外れているので、抽出結果８３からは外されたからである。

また、図８の抽出結果８４において、ステップＳ５で得られた結果は、原稿を複数枚置いたときの画像には適切に処理されていることが分かる。ただし、この結果は、ステップＳ２の抽出結果に依存し、抽出結果によっては正しく処理できることもある。実施例１では、正しく処理できなかった場合を想定する。

ここで得られる複数の領域を、以下「複数枚原稿領域群」と呼ぶ。

ステップＳ６で、カウントされた全ての読取対象となった画像領域について、原稿領域が決定されたら、ステップＳ９へ進む。

ステップＳ９以降では、ステップＳ５で決定された複数枚原稿領域群の内部を判定し、原稿を複数置いたときの領域群であるかどうかを判定する。たとえば、ステップＳ２の読取対象抽出処理で、下地が白い原稿を置いた場合、白い下地はすなわち原稿領域として抽出されるべきである。しかしながら原稿を押さえるための圧板１４の原稿台ガラスＧ１に接する面の色が白い場合、原稿と圧板１４の境界が検出されず、誤判定することがある。この誤判定結果とステップＳ５の決定手段とによって、読取対象の内部の領域を原稿領域であるにも関わらず「複数枚原稿領域群」と決定してしまうことがある。この場合ステップＳ２の読取対象抽出処理で抽出された結果が矩形であった場合、誤判定結果となりやすい。なぜならば、ステップＳ５で領域を決定するが、このとき、縦横比率が一定以上の領域や、領域同士が接触している領域は除外される。ステップＳ５で決定された領域が矩形の場合、写真の場合も矩形になるため、ステップＳ５の除外条件には該当せず領域として決定される。このため、矩形領域が誤判定されやすくなる。

たとえば、雑誌原稿中に現れる写真は、矩形であることが多く、誤判定結果となりやすい。画像領域の画像データを調べて写真であることを検知することはできるが、個々の領域からでは、雑誌中の写真か、読取対象としての写真かを判定することは難しい。

一方、原稿中に現れる文字領域も、同じように矩形で抽出されることが多く、誤判定結果となりやすい。そこで、原稿画像として抽出するときの画像領域の端部となるエッジ部分が文字の一部で構成されるという原稿特徴を持つかどうかを判別する。上記判別は、抽出画像の４辺のエッジが全て文字の一部で構成されるような原稿が原稿台に置かれることは無いという想定に基づいている。

これにより、ステップＳ５で決定された読み取り領域群が、誤判定結果であるかどうかを判定する。

ステップＳ１０において、ステップＳ９の判定結果が文字による画像領域であると判定されたら、ステップＳ１１へ進む。判定されなければ、ステップＳ１２へ進む。

ステップＳ１１では、ステップＳ３で決定された１枚原稿原稿領域を、原稿領域の画像であると決定する。

ステップＳ１２では、ステップＳ５で決定された複数枚原稿領域群のそれぞれの画像領域を、原稿画像であると決定する。

特に図示しないが、以降は、ステップＳ１１かステップＳ１２で決定された原稿領域に基づいて、画像処理することができる。ステップＳ１で読み取られた画像の解像度が仮の物であれば、ステップＳ１１かステップＳ１２かで決定された原稿領域を、所望の解像度で読み取ることもできる。ステップＳ１１かステップＳ１２で得られた原稿領域が斜行していれば、斜行を補正するように、画像を回転するようにしてもよい。

図９は、実施例１において、読取対象を抽出する動作（ステップＳ２）を示すフローチャートである。

ステップＳ２１で、画像から二値化のための閾値を決定する。この閾値は、後述するステップＳ２６の比較方法に依存して最適な値が変わる。閾値を簡単に決定するには、固定の値を予め決めておけばよい。

ステップＳ２２で、ある１画素の値を取得する。画像から、読取対象を抽出するために、全ての画素に対して処理を行わなければならないが、ステップＳ２２で１画素毎に処理することができる。通常は、Ｘ座標、Ｙ座標を用いて、ある１画素の位置を特定する。処理開始時には、Ｘ座標、Ｙ座標を初期値（一般的には０）で初期化し、１画素処理する毎に、Ｘ座標、Ｙ座標を変化させ、全画素を走査する。

ステップＳ２３では、ステップＳ２２で取得した画素値の色空間を変換する。一般的に、ラインセンサ２０の特性・カラーフィルタや、反射原稿用光源１５によって、スキャナ１０毎の色空間が異なる。デバイス非依存の色空間にすれば、スキャナ１０に依存せずに読取対象を抽出することができる可能性があるので、ステップＳ２３で色空間を変換する。スキャナ１０に依存したパラメータを調整して、ステップＳ２１の処理における閾値を決定する場合、このステップＳ２３の処理を省くことができる。

ステップＳ２４では、ステップＳ２３で得られた値を、スカラー値に変換する。カラー画像を入力する場合、ＲＧＢ三色値を持っている。このＲＧＢ三色値（ベクトル値）と、閾値（スカラー値）とを比較するために、ＲＧＢ三色値をスカラー値に変換する。ＲＧＢ三色値をスカラー値に変換する場合、どれか１色のみを取り出す方法、ＲＧＢ三色値に適当な重み付け平均をとり輝度値を求める方法、ＲＧＢ三色値から彩度を計算する方法等がある。

ただし、入力画像がグレースケール等、１色である場合、この処理を必要としないので、ステップＳ２４の処理を省くことができる。

ステップＳ２５では、ステップＳ２４で得られた値から、ｎ次微分や差分を計算する。画像から読取対象を抽出する処理において、原稿台に置いた読取原稿Ｄ１と、それ以外の境界とを抽出することによって、その後の原稿領域を精度よく決定することが容易になる可能性がある。この原稿台に置いた読取原稿Ｄ１の境界を抽出する目的で、ｎ次微分や差分を計算する。この処理は、ステップＳ２４で得られた値の特性に依存するので、必要がなければ、ステップＳ２５の処理を省くことができる。

ステップＳ２６では、ステップＳ２５で得られた値と、ステップＳ２１で決定した閾値とを比較し、閾値未満であれば、読取対象でないと判断し、閾値以上であれば、読取対象であると判断する。ただし、ステップＳ２３からステップＳ２５で求まる値によっては、この関係が逆転し、閾値未満であれば読取対象であると判断し、閾値以上であれば読取対象でないと判断することもある。この関係を予め決めておく。たとえば、輝度値を使用する場合、閾値未満であれば、読取対象であると判断し、彩度を使用する場合、閾値以上であれば、読取対象であると判断するようにしてもよい。

ステップＳ２７では、ステップＳ２６の結果を保存する。ステップＳ２６の結果は、読取対象であるか、読取対象でないかの２種類しかないので、０を読取対象、１を読取対象でない等のように、符号化して保存する。

ステップＳ２８で、全ての画素がステップＳ２７で処理されたかどうかを調べ、全て処理されていれば、終了する。

実施例１において、図６に示すフローチャートの順で処理するが、ステップＳ２１における閾値の決定に、ステップＳ２５の結果が必要な場合があり、隣接する画素についてスカラー値への変換（ステップＳ２４）の値を、ステップＳ２５の計算で必要な場合がある。このために、図９に示すフローチャートの処理順を、必要によって入れ替えるようにしてもよい。

実施例１では、図９に示すフローチャートを１回のみ実行するが、場合によっては、複数回実行するようにしてもよい。このときに、内部の処理方法を変えるようにしてもよい。たとえば、１回目の処理では、色空間を変換せずに、輝度を求め、二次微分によって処理する。２回目の処理では、色空間を変換し、彩度を求め、ステップＳ２５を飛ばして処理する。その後に、２つの結果の論理積または論理和を求めて合成する。論理積を使うか、論理和を使うかは、ステップＳ２７の符号化に依存するので、適宜決める。

図６は、実施例１において、雑誌原稿を１枚置いた場合における抽出結果７３と、写真原稿を複数枚置いた場合における抽出結果７４とを示す図である。

黒で塗りつぶされた箇所が、読取対象として抽出された箇所である。

図１０は、実施例１において、原稿領域を決定する処理（ステップＳ３、ステップＳ５）を示すフローチャートである。ステップＳ３では、フローチャート上で判定する読取対象は、ステップＳ２で抽出された読取対象を処理する。一方、ステップＳ５では、フローチャート上で判定する読取対象は、ステップＳ５で決定された複数原稿領域の１つの読取対象を処理する。この処理する読取対象の違いによって、決定される原稿領域に違いが生じる。

ステップＳ３１で、原稿領域の初期値を設定する。原稿台全面の領域を、原稿領域の初期値として設定する。ステップＳ３２で、原稿領域の上辺の辺上に、ステップＳ２で抽出した読取対象があるかどうかを判断する。上辺の辺上に読取対象が無ければ、ステップＳ３３へ進み、上辺の辺上に読取対象があれば、ステップＳ３４へ進む。

ステップＳ３３で、原稿領域の上辺を下に移動する。原稿領域の精度を１画素であるとすれば、１画素分、上辺を移動する。その後に、ステップＳ３２へ進む。ステップＳ３２の処理とステップＳ３３の処理とによって、原稿領域の上辺を求めることができる。

ステップＳ３４で、原稿領域の下辺の辺上に、ステップＳ２で抽出した読取対象があるかどうかを判断する。原稿領域の下辺の辺上に読取対象が無ければ、ステップＳ３５で、原稿領域の下辺を上に移動し、原稿領域の下辺の辺上に読取対象があれば、ステップＳ３６へ進む。

ステップＳ３５で原稿領域の下辺を上に移動する場合、原稿領域の精度を１画素であるとすれば、下辺を、１画素分、移動する。その後に、ステップＳ３４へ戻る。ステップＳ３４の処理とステップＳ３５の処理とによって、原稿領域の下辺を求めることができる。

ステップＳ３６で、原稿領域の右辺の辺上に、ステップＳ２で抽出した読取対象があるかどうかを判断する。右辺の辺上に読取対象が無ければ、ステップＳ３７で、右辺を左に移動し、ステップＳ３６に戻る。右辺の辺上に読取対象があれば、ステップＳ３８へ進む。

ステップＳ３７で原稿領域の右辺を左に移動する場合、原稿領域の精度を１画素であるとすれば、右辺を、１画素分、移動する。その後に、ステップＳ３６へ戻る。

ステップＳ３６の処理とステップＳ３７の処理とによって、原稿領域の右辺を求めることができる。

ステップＳ３８では、原稿領域の左辺の辺上に、ステップＳ２で抽出した読取対象があるかどうかを判断する。左辺の辺上に読取対象が無ければ、ステップＳ３９で、原稿領域の左辺を右に移動する。左辺の辺上に読取対象があれば、終了する。

ステップＳ３９で原稿領域の左辺を右に移動する場合、原稿領域の精度を１画素であるとすれば、左辺を、１画素分、移動する。

ステップＳ３８の処理とステップＳ３９の処理とによって、原稿領域の左辺を求めることができる。

また、決定された読取対象の幅、高さを求め、小さければ、原稿領域を無しとする。対象とする原稿は、小さくても、名刺やＬ判写真であるので、マージンを十分考え、１インチ以下であれば、ゴミ等を原稿領域であるとする可能性がある。よって、原稿領域を無しとする。以上説明した方法によって、原稿領域を決定する。

既に決定結果を示した図７、図８において、決定までの処理を説明する。

図７は、読取原稿Ｄ１が１枚と仮定した場合に行う原稿領域決定手段を用いて抽出された原稿領域を示す図である。

点線で示された領域が、原稿領域である。抽出結果８１は、雑誌原稿を１枚置いたときに読み取った画像から得られる抽出結果である。抽出結果８２は、写真原稿を複数枚置いたときに読み取った画像から得られる抽出結果である。

図７に示す抽出結果８１において、ステップＳ３で得られた結果は、適切に処理されていることが分かる。図６に示す抽出結果７３では、一部の領域が欠けているが、原稿の上辺、下辺、右辺、左辺の一部を抽出できており、図１０に示すフローチャートによって、適切に処理されたためである。

同じく、抽出結果８２において、ステップＳ３で得られた結果は、個々の領域とは異なる領域となり、好ましくない。これは、原稿が１枚であると仮定して行う原稿領域決定手段を用いているので、複数の画像領域を包含する矩形領域が、原稿領域であると決定されたためである。

図８は、読取原稿Ｄ１が複数枚であると仮定した場合に行う原稿領域決定手段を用いて抽出された原稿領域を示す図である。

点線で示された領域が、原稿領域である。抽出結果８３は、雑誌原稿を１枚置いたときに読み取った画像から得られる結果である。抽出結果８４は、写真原稿を複数枚置いたときに読み取った画像から得られる結果である。

図６に示す抽出結果７３は、原稿の下辺、右辺が抽出されているが、抽出結果８３には反映されていない。これは、決定された読取対象の幅、高さが小さいので、ゴミ等を原稿領域とする可能性を考え、抽出された画像を原稿領域ではないと判断してしまったためである。

抽出結果８４において、ステップＳ５で得られた結果は、原稿を複数枚置いたときの画像として適切に処理されていることが分かる。

図１１は、実施例１において、画像領域が文字で構成されているかどうかを判定する処理（ステップＳ９）を示すフローチャートである。

ステップＳ９０で、複数原稿領域群より未判定の領域を１つ選択し、ステップＳ９１へ移行する。ステップＳ９１以降の処理は、ステップＳ９０で選択された領域に対して行われるものとし、この領域を以下「選択領域」とする。

図１２は、抽出された選択領域２１０１と、微分値ヒストグラムの作成に用いられる領域２１１１、２１１２、２１１３、２１１４とを示す図である。

上記抽出された選択領域２１０１は、実施例１において、判定対象となる領域が文字領域である場合、抽出された選択領域である。領域２１１１、２１１２、２１１３、２１１４は、ステップＳ９３で、選択領域２１０１の各辺に対し、微分値ヒストグラムの作成に用いられる領域である。

図１２において、点線は、選択領域の外周を構成する辺である。

ステップＳ９１で、選択領域の辺において未処理の辺が存在するかどうかを判定し、未処理の辺が存在すれば、ステップＳ９２へ進み、未処理の辺が存在しなければ、ステップＳ９４へ進む。

ステップＳ９２で、選択領域から、未処理の辺を１つ選択し、ステップＳ９３へ移行する。ステップＳ９３以降の処理は、ステップＳ９２で選択された辺に対して行われ、この辺を「選択辺」と呼ぶ。

ステップＳ９３で、選択辺上の全ての画素について、選択辺に対して垂直方向の微分値の絶対値を求め、選択辺の微分値ヒストグラムを作成し、ステップＳ９１へ移行する。

実施例１では、図１２に示す領域２１１１、２１１２、２１１３、２１１４のように、選択辺上の画素から、選択辺に垂直な方向に微小な距離Δ以内の画素について、選択辺に垂直方向の微分値の絶対値を求める。そして、最大の大きさを持つ微分値を、その選択辺上の位置における微分値とする。

図１３は、上記微分値の求め方を示す説明図である。

図１３に示す画素２２０１は、選択辺上の画素である。図１３の例では、領域２２０２に示すように、選択辺から上下４ピクセル以内の画素について、図の縦方向の微分値を求め、最大の絶対値を領域２２０２における微分値とする。この場合、背景領域である白い画素から、文字を構成する黒い画素との境界部が最も大きな微分値を持つので、領域２２０３における微分値が、領域２２０２における微分値となる。また、領域２２０４のように、文字を構成する画素と背景領域を構成する画素との境界部が領域に含まれない場合にも、同様に、領域内の画素で微分値の絶対値が最大のものを、領域２２０４における微分値とする。全て同じ微分値の場合には、図１３に示す領域２２０５のように選択線上の画素を指定してもよい。図１３に示す例では、選択辺から４ピクセル以内を対象とするが、読み取った画像の解像度等の情報から、適切な値を求めるようにしてもよい。

図１４、図１５は、ステップＳ９３で作成される選択領域の４辺におけるエッジ強度ヒストグラムの例を示す図である。

その横軸は、微分値の絶対値を表し、縦軸は、横軸で示される微分値の絶対値を持つ画素数を表す。

選択領域が文字領域であれば、作成されるヒストグラムは、図１４に示すように、４辺全てにおいて極めて値が０に近い微分値を持つ画素の集合２３０１と、ある大きな微分値を持つ画素の集合２３０２との２つのピークが得られる。

画素の集合２３０１のように、値が極めて０に近い微分値については、図１３に示す領域２２０４における微分値のように、領域内に文字を構成する画素と背景領域を構成する画素との境界部が存在しない場合に得られる。画素の集合２３０２のように、大きな微分値については、図１３に示す領域２２０２における微分値のように、領域内に文字を構成する画素と背景領域を構成する画素との境界部が存在する場合に得られる。

選択領域が写真等の文字領域以外で合った場合、作成されるヒストグラムは、図１５に示すように、互いのヒストグラムに類似性が見られないので、ヒストグラム間の相関は低い結果が得られる。

次に、ステップＳ９４で、選択領域の互いに向かい合う辺どうしの微分値ヒストグラム間の相関値を求める。互いに向かい合う辺どうしの相関値を求める利点は、選択領域が文字領域、特に段組された文章領域である場合、一般的に、縦方向と横方向とについて、文字間隔が異なる点である。たとえば、横書きの文章の場合、横方向の文字間隔は、通常極めて小さいが、縦方向の行間隔は、文字間隔に比べ大きい場合がある。このために、ヒストグラムを作成した場合に、隣り合う辺どうしでは、背景領域部で得られる小さい微分値（図１４の２３０１）と、文字領域との境界部で得られる大きい微分値（図１４の２３０２）の比率の差が大きくなる恐れがある。これを回避するために、互いに向かい合う辺どうしの相関値のみを用いる。

上記手法は、文章が縦書き、横書きのどちらであっても効果が得られる。

ステップＳ９５では、ステップＳ９４で算出した２つの相関値の平均が、所定の閾値Ｖ以上であるかどうかを判定し、閾値以上であれば、ステップＳ９６へ移行し、閾値未満であれば、ステップＳ９７へ移行する。

実施例１では、ステップＳ９５で相関値の平均が閾値Ｖ以上の選択領域が１つでもあれば、文字領域が存在すると判定するが、これが複数領域群の個数に応じて複数個存在しなければ文字領域であると判定しないようにしてもよい。この場合、文字領域であると判定された選択領域をカウントし、カウントが所定の数以上になった段階で、ステップＳ９６へ移行し、所定の数未満であれば、ステップＳ９７へ移行する。

また、ステップＳ９５における相関値の判定において、選択領域の寸法が、定型用紙サイズや定型写真サイズに極めて近い場合や、領域の高さと幅との比率が、所定の原稿比率に近ければ、選択領域が文字領域ではなく、個別の原稿、写真である可能性がある。したがって、閾値Ｖの値を高く設定し直して判定し、これによって誤判定を防ぐようにしてもよい。

ステップＳ９６で、結果が文字領域であると判定する。図４におけるステップＳ９の結果が文字領域であると判定されたので、ステップＳ１０の判定処理によって、ステップＳ１１に進む。

ステップＳ９７で、未判定の領域が存在するかどうかを判定し、未判定の領域が存在する場合には、ステップＳ９０へ移行し、未判定の領域が存在しない場合には、結果を、文字領域ではないとする。図４におけるステップＳ９の結果が文字領域ではないと判定されたので、ステップＳ１０の判定処理によって、ステップＳ１２に進む。

上記のように、選択領域の辺上の微分値を算出し、相関を用いて、文字領域を判定する手法は、文字の向きに精度が影響されず、ＯＣＲエンジンを使用せずに、文字領域を判定することができるという利点がある。また、領域全体の微分値や分散を評価値とする手法に比べ、１つの領域から、複数の微分値ヒストグラムの情報を抽出し、判定を行うので、信頼性が高い結果を得ることができる。さらに、辺上の画素のみについて処理を行うので、領域全体の画素を用いて判定するのに比べて、高速に原稿画像を判定することができる点も利点である。

従来の判定方法では、原稿台画像中に表が含まれている原稿が置かれている場合において、原稿端部のエッジ画像が取得できなかったときに、文字領域を個別の複数原稿の１つであると判断される。しかし、実施例１により、原稿中に文字領域表が含まれているような原稿であっても正しい原稿領域の画像を得ることができる。

実施例２は、複数の機器（たとえば、ホストコンピュータ、インタフェース機器、スキャナ、プリンタ、複合機等）によって構成されているシステムに適応した実施例である。また、上記実施例の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体（又は記録媒体）を、システム又は装置に供給するようにしてもよい。そして、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行するようにしてもよい。

つまり、上記実施例は、画像読取装置の原稿台に複数の原稿を置き、スキャンする際、上記複数の原稿を一括で読み取り、この読み取った上記各原稿を、自動的に切り出すマルチクロップ機能を有する画像処理装置を制御するプログラムである。

すなわち、上記実施例は、請求項１記載の画像処理装置を構成する各手段としてコンピュータを機能させるプログラムの例である。

この場合、記憶媒体から読み出されたプログラムコード自体が、上記実施例の機能を実現し、このプログラムコードを記憶した記憶媒体は、本発明を構成する。また、コンピュータが読み出したプログラムコードを実行することによって、上記実施例の機能が実現されるだけではない。つまり、そのプログラムコードの指示に基づいて、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部又は全部を行い、この処理によって、上記実施例の機能が実現されるようにしてもよい。

プログラムコードを記憶する記憶媒体として、たとえば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯ等が考えられる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続されている機能拡張ユニットに設けられているメモリに書込まれる。その後に、上記プログラムコードの指示に基づいて、上記機能拡張カードや機能拡張ユニットに設けられているＣＰＵ等が実際の処理の一部又は全部を行い、この処理によって、上記実施例の機能が実現される。

上記実施例によれば、初心者ユーザであっても、上級者ユーザであっても、常に同一精度の原稿領域を提供することができるので、ユーザによる原稿領域の精度低下を防ぐことができるという効果を奏する。

さらに「ユーザが適切な処理を選択する」という操作が必要ないので、原稿を置いて、ユーザが「読み取りボタン」を押すだけで、原稿に応じた最適な原稿領域の画像を得ることができる。

本発明の実施例１である画像読取装置Ｒ１を示す断面図である。 実施例１において、スキャナ１０の機能構成を示すブロック図である。 実施例１において、スキャナ１０の制御に用いられるホストＰＣ５０の概略構成を示す図である。 実施例１において、ホストＰＣ５０によるスキャナ１０の読み取り動作を示すフローチャートである。 １枚の雑誌原稿の画像７１と２枚の写真原稿の画像７２とを示す図である。 実施例１において、雑誌原稿を１枚置いた場合における抽出結果７３と、写真原稿を複数枚置いた場合における抽出結果７４とを示す図である。 ステップＳ３で決定された原稿領域であって、雑誌原稿を１枚置いたときに読み取った画像から得られる抽出結果８１と、写真原稿を複数枚置いたときに読み取った画像から得られる抽出結果８２とを示す図である。 ステップＳ５で決定された原稿領域であって、原稿を１枚置いたときの画像から得られる抽出結果８３と、原稿を複数枚置いた画像から得られる抽出結果８４とを示す図である。 実施例１において、読取対象を抽出する動作（ステップＳ２）を示すフローチャートである。 実施例１において、原稿領域を決定する処理（ステップＳ３、ステップ５）を示すフローチャートである。 実施例１において、領域が文字領域であるかどうかを判定する処理（ステップＳ９）を示すフローチャートである。 実施例１において、判定対象となる領域が文字領域である場合、抽出された選択領域２１０１と、ステップＳ９３で、選択領域２１０１の各辺に対し、微分値ヒストグラムの作成に用いられる領域２１１１、２１１２、２１１３、２１１４とを示す図である。 上記微分値の求め方を示す説明図である。 ステップＳ９３で作成される選択領域の４辺におけるエッジ強度ヒストグラムの例を示す図である。 ステップＳ９３で作成される選択領域の４辺におけるエッジ強度ヒストグラムの例を示す図である。

符号の説明

Ｒ１…画像読取装置、
Ｄ１…読取原稿、
１０…スキャナ、
３０…光学ユニット、
４０…電気基板、
４４…画像処理部、
５０…ホストＰＣ、
５１…中央処理装置。

Claims (8)

1. 読取装置が原稿を読み取ることで得られた読取画像から、上記原稿に対応する原稿領域を特定するための画像処理装置において、
   上記読取画像を解析することにより、当該読取画像から、上記原稿領域の候補である１または複数の候補領域を抽出する抽出手段と；
   上記抽出手段により複数の候補領域が抽出されたときに、当該複数の候補領域から、文字を含む候補領域を判別する判別手段と；
   上記判別手段により文字を含む候補領域が所定の複数個以上判別された場合、上記抽出手段により抽出された上記複数の候補領域を含む領域を、１つの原稿に対応する上記原稿領域として特定する特定手段と；
   を有することを特徴とする画像処理装置。
2. 請求項１において、
   上記判別手段は、上記候補領域のエッジ部分が文字の一部を含むか判別し、当該判別結果に応じて、上記複数の候補領域から文字を含む候補領域を判別することを特徴とする画像処理装置。
3. 請求項２において、
   上記抽出手段は矩形の候補領域を抽出し、上記判別手段は、当該矩形の候補領域において向かい合う２辺のエッジ強度の相関値を算出し、当該算出された相関値に基づき、当該候補領域が文字を含むか判別することを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか１項において、
   上記判別手段は、さらに、上記候補領域の大きさまたは形状に応じて、当該候補領域が文字を含むか判別することを特徴とする画像処理装置。
5. 請求項１乃至４のいずれか１項において、
   上記判別手段により文字を含む候補領域が上記所定の複数個以上判別されなかった場合、上記特定手段は、上記複数の候補領域のそれぞれを、複数の原稿のそれぞれに個別に対応する複数の原稿領域として特定することを特徴とする画像処理装置。
6. 請求項１乃至５のいずれか１項において、
   上記抽出手段は、原稿が載置された原稿台の所定の読取領域を上記読取装置が読み取ることで得られた読取画像から、上記候補領域を抽出することを特徴とする画像処理装置。
7. 読取装置が原稿を読み取ることで得られた読取画像から、上記原稿に対応する原稿領域を特定するための画像処理方法において、
   上記読取画像を解析することにより、当該読取画像から、上記原稿領域の候補である１または複数の候補領域を抽出する抽出工程と；
   上記抽出工程において複数の候補領域が抽出されたときに、当該複数の候補領域から、文字を含む候補領域を判別する判別工程と；
   上記判別工程において文字を含む候補領域が所定の複数個以上判別された場合、上記抽出工程において抽出された上記複数の候補領域を含む領域を、１つの原稿に対応する上記原稿領域として特定する特定工程と；
   を有することを特徴とする画像処理方法。
8. 請求項７に記載の画像処理方法をコンピュータに実行させるためのプログラム。
   

Images