JP5618664B2 - 画像処理方法、プログラム、画像読取装置、及び情報機器 - Google Patents

Description

本発明は、原稿が載置された原稿台の所定の領域が読み取られることで得られた矩形の原稿台画像を処理する画像処理方法に関する。

従来、画像読取装置の原稿台に置かれた原稿を読取って、読取って得た画像データから原稿の位置、大きさを識別する装置が知られている（特許文献１参照）。また、読取った画像データに含まれる原稿の縁の情報により原稿の傾き角を検出し、原稿の傾き角に応じた処理により傾きの補正を行う装置が知られている（特許文献２参照）。

特開２０００−２３２５６２号公報 特開平１０−２８５３７９号公報

しかしながら、原稿の位置と大きさを識別しただけでは、傾いた原稿の画像は、補正できない。また、傾き角度を検出すれば、検出した角度に対応して、原稿の画像の傾きの補正を行うことになる。傾いた原稿の補正処理は、負荷が大きく、処理時間を要するという問題があった。

上記の課題を解決するために、本発明の画像処理方法は、原稿が載置された原稿台の所定の領域が読み取られることで得られた矩形の原稿台画像を処理する画像処理方法であって、前記原稿台画像に含まれる対象物の領域と、前記対象物の領域の前記原稿台画像に対する傾きとを検出する工程と、前記原稿台画像における、前記対象物の領域を含み且つ前記原稿台画像の４辺に各々平行な４辺で囲まれる最小の矩形領域と、前記対象物の領域とで、各領域の端部に対応する画素群の、前記原稿台画像に含まれているエッジに対応する画素を含む程度を比較する工程と、前記最小の矩形領域の端部に対応する画素群の方が前記原稿台画像に含まれているエッジに対応する画素を多く含む場合、または、前記傾きが所定角度より小さい場合には、前記最小の矩形領域を前記原稿の領域と判定する工程とを有することを特徴とする。

本発明によれば、上記の最小の矩形領域の端部に対応する画素群が原稿台画像に含まれているエッジに対応する画素を多く含む場合、または、対象物の傾きが小さい場合には、当該最小の矩形領域を原稿の領域と判定することができる。

実施例の画像読取装置のハード構成を示す図である。 実施例の画像読取装置の外観図である。 実施例の画像読取方法を説明するフローチャートである。 実施例で画像からの対象物の抽出を説明するフローチャートである。 実施例で、原稿台を読み取った画像を示す。 実施例で、対象物を抽出した画像を示す。 実施例で、対象物の領域と、最小矩形を示す。 実施例で、エッジを構成する画素群の画素のヒストグラムを示す。

以下、図面を参照しながら、本発明の実施形態を説明する。
図１は、本発明の実施例１である画像読取装置Ｒ１の構成を示す図である。画像読取装置Ｒ１は、ラインイメージセンサ３と、増幅器４と、Ａ／Ｄ変換器５と、画像処理回路６と、バッファメモリ７と、インタフェース回路８と、ＣＰＵコントローラ９とを有する。画像読取装置Ｒ１は、光源点灯回路１０と、光源ランプ１１と、モータ駆動回路１２と、光学系駆動モータ１３と、作業用メモリ１４と、ガンマＬＵＴ１５とを有する。ラインイメージセンサ３は、アナログ画像信号を出力する。増幅器４は、ラインイメージセンサ３が出力したアナログ画像信号を増幅する。Ａ／Ｄ変換器５は、増幅器４が出力したアナログ画像信号を、ディジタル画像信号に変換する。画像処理回路６は、ディジタル信号化された画像信号について、オフセット補正、シェーディング補正、デジタルゲイン調整、カラーバランス調整、カラーマスキング変換、主・副走査方向の解像度変換等の画像処理を行う。バッファメモリ７は、ＲＡＭによって構成され、画像データを一時的に記憶する。インタフェース回路８は、外部情報機器ＣＴ１との間で、コマンドや画像通信を仲介し、ＳＣＳＩ、パラレル、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線ＬＡＮ等のインタフェースが使用される。画像読取り装置Ｒ１で読取った画像データは、外部情報機器Ｔ１に送られて、画像処理が施される。

ＣＰＵコントローラ９は、外部情報機器ＣＴ１からの命令に従って、画像読取装置Ｒ１を制御し、モータ駆動回路１２、光源点灯回路１０、画像処理回路６等を制御する。ＣＰＵコントローラ９は、操作パネル１６に設けられているスイッチが押された状態を検知し、インタフェースを介して、外部情報機器ＣＴ１へ通知する。外部情報機器ＣＴ１は、パーソナルコンピュータ等のホストコンピュータであり、モニタディスプレイＤＰ１と接続されている。光源点灯回路１０は、光源ランプ１１を駆動点灯する。光源ランプ１１は、原稿Ｄ１を照明し、原稿表面の濃度に応じた強さの反射光が、結像レンズ２を通して、固体撮像素子であるラインイメージセンサ等のラインイメージセンサ３に結像する。モータ駆動回路１２は、ステップモータ等の光学系駆動モータ１３を駆動し、画像読取装置Ｒ１のシステム制御手段であるＣＰＵコントローラ９からの制御信号によって光学系駆動モータ１３の励磁信号を出力する。作業用メモリ１４は、画像処理回路が画像処理を行う際の一時作業メモリとして用いられる。作業用メモリ１４は、ラインイメージセンサ３上に、所定のオフセットを持って平行に配置されているＲＧＢ用各ラインセンサからの受信した画像信号が持つＲＧＢライン間オフセットの補正用等に用いられている。また、作業用メモリ１４は、シェーディング補正等の各種データの一時記憶も行う。ガンマＬＵＴ１５は、濃度ガンマ変換ＬＵＴを記憶し、ガンマ補正を行う。

図２は、実施例１において、画像読取装置Ｒ１の外観図の一例を示す図である。画像読取装置Ｒ１は、原稿圧板２１と、白色シート２２と、読み取り光学系ユニット２４と、透明原稿台（原稿台）２５と、操作パネル１６とを有する。また、原稿載置の際の突き当て位置を示すマーク２７を有する。原稿圧板２１は、原稿台上の原稿を安定的に押圧する。白色シート２２は、薄手のシート原稿を原稿台に密着させる一方、原稿の余白部分の画像データを白色にする。原稿台２５は、原稿の読み取り面を平面に保ちつつ、原稿を保持する。操作パネル１６は、読み取り開始等の簡単な指示を、画像データ送信先である外部情報機器ＣＴ１に送るために、使用される。突き当て位置を示すマーク２７は、原稿基準位置を示し、原稿台上に載置された原稿の読取り開始位置を示す。

次に、画像読取装置Ｒ１で原稿が載置された原稿台を読み取った原稿台画像に基づいて、外部情報機器ＣＴ１のコンピュータで、原稿領域を求める処理について説明する。図３は、画像読取装置Ｒ１で読み取った原稿台画像に基づいて、原稿領域を求める処理を示すフローチャートである。まず、Ｓ３０１で、画像読取装置Ｒ１から原稿が置かれた原稿台の画像を原稿台画像として読み取る。このときに、読み取り解像度は、プレスキャン用の低解像度でもよく、本スキャン用の高解像度であってもよい。図５は、読み取った画像の例を示す図である。図５（ａ）の５０１は、写真と文章で構成されている雑誌から１頁を切り取って読み取った画像である。図５（ｂ）の５０２は、図５（ａ）と同じ原稿が少し傾けて配置された原稿台を読み取った画像である。図５（ｃ）の５０３は、２Ｌサイズに満たない写真が傾けて配置された原稿台を読み取った画像である。図５（ｄ）の５０４は、大きな写真原稿が１枚原稿台に置かれたものを読み取った画像である。夫々の原稿の回りの部分は、原稿圧板２１の白色が読み取られている。

次にＳ３０２で、原稿台画像から対象物の抽出を行う。抽出方法を図４のフローチャートに示す。Ｓ４０１で、画像から二値化のための閾値を決定する。この閾値は、原稿台画像の画素の輝度レベルや濃度レベルの解析から適切な値を決定するか、あらかじめ固定の値を決めておく。Ｓ４０２では、Ｓ４０１で定めた閾値に基づき、画像の二値化を行う。

Ｓ４０３では、Ｓ４０２で二値化した画像から、孤立点として現れたノイズを除去する。Ｓ４０２の二値化で白となった画素は、対象物から除外する。ノイズ除去で、二値化して黒となった画素についてラベリング処理を行い、同一ラベルの画素数が１ピクセル以内などのある一定サイズ以下の画素も、対象物から除外する。Ｓ４０４では、Ｓ４０３でノイズ除去を行った際、特に白色度の高い１枚の紙原稿などは、二値化の結果により、原稿端部のエッジが連続していない場合があるが、黒画素の連続性を検討することによって、エッジ部は対象物に含めるよう処理を行う。Ｓ４０５では、対象物の内部の塗りつぶしを行う。Ｓ４０４までに二値化した黒画素からノイズを除去したものを対象物として決定したが、この対象物とした黒画素の領域の形状を調べる。ある対象物の内部に、完全に別の対象物が含まれる場合には、その内部全体を、対象物とするように黒に塗りつぶしを行う。たとえば、写真をスキャンした場合について、写真の背景部分が明るく、二値化により写真の外縁部分と、写真内の被写体のみが黒画素になったような場合には、写真の内部を全て黒に塗りつぶしておく。Ｓ４０６では、結果を保存する。Ｓ４０６の結果は、対象物か、対象物でないかの二種類しかないため、１を対象物、０を対象物でないなと符号化して保存する。Ｓ４０２以降の二値化結果で、黒を１、白を０として符号化されているので、この結果を直接使用してもよい。Ｓ３０２での対象物の抽出結果を図６に塗潰した画像６０１、６０２、６０３と６０４で示す。

Ｓ３０３で、抽出した対象物の領域の、原稿台画像に対する傾きを検出する。ここでは、抽出した対象物に外接する外接矩形を形成し、この外接矩形を回転させて、外接矩形の面積が最小となる回転位置での矩形とその傾きを求める。回転は、最大で右回転と左回転の各回転方向に４５度まで回転させれば、面積が最小となる角度が求められる。以後、この面積最小の外接矩形を対象物の領域とし、その回転角を対象物の傾きとする。図５、図６に対応して図７の７０１、７０２、７０３、７０４の斜線部が夫々の対象物の領域を示す。ここで、７０１は殆ど傾いていない。７０２は、右に２度前後の傾きがある。７０３は、右に１５度傾いている。７０４は、傾いていない。

Ｓ３０４で、抽出された対象物の領域を含み、４辺が原稿台画像の４辺と各々平行で、面積が最小の矩形を特定する。これは、原稿台画像の各辺を、順次外側から内側へ移動させ、対象物の端部に重なった位置で移動を止めることで得ることができる。図７の７１１、７１２、７１３、７１４の太線で、４辺が原稿台画像の４辺と各々平行で夫々の原稿を包含する最小の面積の矩形を示す。以後、最小矩形、または、最小の矩形と記す。

次に、Ｓ３０５で、エッジの比較と、領域の判定を行う。まず、Ｓ３０３で求められた対象物の領域である７０１、７０２、７０３、７０４の斜線部領域の、最外周の画素が、Ｓ３０１で得た原稿台画像（図５）のエッジを含む画素数を算出する。ここでは、原稿台画像のエッジとは、原稿台画像の各画素とこれに隣接する画素との輝度値の差が、所定の値または、それ以上である画素とする。簡単のため、対象物の領域の最外周の或る画素に注目した場合、この注目画素と対象物の領域の外側で隣接する画素との輝度値の差を得る。この差を、対象物の領域の最外周の全ての画素（画素群）に注目して得て、この差の値の絶対値でヒストグラムを作成する。次に、Ｓ３０４で得られた最小の矩形領域７１１、７１２、７１３、７１４の最外周の画素が、Ｓ３０１で得た原稿台画像のエッジを含む画素数を算出する。対象物の領域に対する算出と同様にして、ヒストグラムを作成する。

図８にヒストグラムの例を示す。図５（ａ）の原稿の画像を処理した場合と、図５（ｂ）の原稿の画像を処理した場合を図８（ａ）と（ｂ）に示す。点線で示す８１、８３が、夫々７１１、７１２の最小矩形のエッジを示す。実線で示す８２、８４が、各々７０１、７０２の対象物の領域のエッジを示す。この雑誌の１頁の原稿は、外周に近い部分には印刷がされていなく、白に近い用紙の地の色がそのまま読み取られている。このため、背景となる原稿圧板２１の白色と、原稿を読み取った部分の外周に近い部分とは、輝度値の差が小さい。輝度値の差は、原稿の厚さによる端部の影の画像で得られるものが多い。この影の部分の画素を多く含む矩形が正しい原稿のエッジと考えられる。傾きの殆ど無い図５（ａ）の原稿の場合には、図８（ａ）の様に、殆どヒストグラム８１と８２に差が無い。ただし、対象物の抽出、対象物領域の検出の誤差によっては、最小矩形７１１の方が７０１よりも原稿の外周を正しく表している場合がある。このような場合には、図８（ａ）の様に、８１の方が出現頻度が多くなる。ここでは、簡単に比較するため、輝度の差が１０の出現頻度を比較する。８１の出現頻度の方が多いので、対象物の領域を含み、４辺が原稿台画像の４辺と各々平行で、面積が最小の矩形７１１が原稿の領域と判定する（Ｓ３１０）。また、少し傾いている図５（ｂ）の原稿の場合には、図８（ｂ）の様に、ヒストグラムに差が生じる。矩形７１２の外周部分のヒストグラム８３では、輝度値の差を持つ画素の出現頻度が殆どない。これは、矩形７１２の外周部分の殆どが原稿圧板２１を読み取った画像であることによる。矩形７１２の外周部分のうち、対象物の領域７０２の４つの頂点の近辺の僅かな部分のみが、原稿の厚さによる端部の影を読み取った画像となる。輝度の差が１０の出現頻度を比較すると、８４の方が多いため、図８（ｂ）の場合には、対象物の領域７０２が原稿の領域と仮に判定する。

Ｓ３０５で、原稿の領域を対象物の領域７０２と仮に判定した場合には、次にＳ３０６で対象物のサイズを確認する。小さな原稿の場合、角度を正確に配置し難く、傾いて配置される場合が多いので、対象物のサイズが写真の２Ｌサイズよりも小さい場合は、対象物の領域が原稿の領域であると判定する。

対象物のサイズが２Ｌサイズ以上であると、Ｓ３０７で対象物の領域の傾きを判定する。対象物の傾きは、既にＳ３０３で得られている。傾きが２度よりも小さい場合、対象物の領域を含み、４辺が原稿台画像の４辺と各々平行で、面積が最小の矩形が原稿の領域と判定する（Ｓ３１０）。Ｓ３０７で対象物の傾きが２度以上の場合には、対象物の領域が原稿の領域であると判定する（Ｓ３０８）。２度未満の傾きでは、視認性に殆ど問題が無い。このため、処理時間を必要以上に掛けないために、２度未満では、傾き補正を行わない。

対象物の領域が原稿の領域であると判定（Ｓ３０８）された場合には、Ｓ３０９で対象物の領域の画像の傾き補正を行う。対象物の領域を含み、４辺が原稿台画像の４辺と各々平行で、面積が最小の矩形が原稿の領域と判定（Ｓ３１０）された場合には、原稿の領域の傾き補正を行わない。

なお、図３のフローチャートでは、Ｓ３０５のエッジの比較と判定の処理を、Ｓ３０７の傾き判定よりも先に行ったが、逆の順番でも判定できる。Ｓ３０６の対象物のサイズの判定の順番も図３の順には限定されない。最小の矩形領域のエッジを構成する画素群の方が原稿台画像のエッジを構成する画素を多く含む場合、または、傾きが所定角度より小さい場合には、最小の矩形領域を前記原稿の領域と判定する方法であれば良い。また、対象物の領域が所定の大きさよりも小さい場合には対象物の領域を原稿の領域と判定する方法であれば良い。また、領域のエッジを構成する画素群として、領域の最外周の画素を用いる例を示したが、最外周に限らず、或る程度の幅をもった外周部の画素を用いることも出来る。

なお、上記の外部情報機器ＣＴ１のコンピュータは、記録媒体に記録されたプログラムのコードを読み取って、そのプログラムを実行させることで、上記の画像処理方法を実施する。また、画像読取装置と画像処理装置が一体となった装置において、画像処理装置で上記の画像処理方法を実行させることも出来る。

Ｒ１ 画像読取装置
ＣＴ１ 外部情報機器（コンピュータ）

Claims (11)

1. 原稿が載置された原稿台の所定の領域が読み取られることで得られた矩形の原稿台画像を処理する画像処理方法であって、
   前記原稿台画像に含まれる対象物の領域と、前記対象物の領域の前記原稿台画像に対する傾きとを検出する工程と、
   前記原稿台画像における、前記対象物の領域を含み且つ前記原稿台画像の４辺に各々平行な４辺で囲まれる最小の矩形領域と、前記対象物の領域とで、各領域の端部に対応する画素群の、前記原稿台画像に含まれているエッジに対応する画素を含む程度を比較する工程と、
   前記最小の矩形領域の端部に対応する画素群の方が前記原稿台画像に含まれているエッジに対応する画素を多く含む場合、または、前記傾きが所定角度より小さい場合には、前記最小の矩形領域を前記原稿の領域と判定する工程とを有することを特徴とする画像処理方法。
2. 前記対象物の領域の端部に対応する画素群の方が前記原稿台画像に含まれているエッジに対応する画素を多く含み、且つ、前記傾きが前記所定角度以上の場合、前記対象物の領域を前記原稿の領域と判定することを特徴とする請求項１に記載の画像処理方法。
3. 前記対象物の領域の端部に対応する画素群の方が前記原稿台画像に含まれているエッジに対応する画素を多く含み、且つ前記対象物の領域が所定の大きさよりも小さい場合には、前記傾きが前記所定の角度より小さいか否かに関わらず、前記対象物の領域を前記原稿の領域と判定することを特徴とする請求項２に記載の画像処理方法。
4. 前記最小の矩形領域が前記原稿の領域と判定されなかった場合には、前記対象物の領域を前記原稿の領域と判定し、検出された前記傾きに応じて前記原稿の領域の画像の傾き補正を行う工程を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記最小の矩形領域が前記原稿の領域と判定された場合、当該最小の矩形領域に対する傾き補正は行わないことを特徴とする請求項４に記載の画像処理方法。
6. 前記対象物に外接する外接矩形を回転させ、当該回転により所定の面積よりも小さな面積となった回転後の外接矩形の傾きを、前記対象物の傾きとして検出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記外接矩形を複数の回転角度にさせ、当該複数の回転角度に回転された複数の外接矩形のうちの面積が最小である外接矩形の傾きを、前記対象物の傾きとして検出することを特徴とする請求項６に記載の画像処理方法。
8. 前記最小の矩形領域と前記対象物の領域のそれぞれの端部に対応する画素群における、前記原稿台画像に含まれているエッジに対応する画素数を、当該エッジに対応する画素を含む程度として比較することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。
9. 請求項１乃至８のいずれか１項に記載の画像処理方法をコンピュータにて実行させるプログラム。
10. 原稿台と、原稿が載置された前記原稿台の所定の領域を読取る読取手段とを有する画像読取装置であって、請求項１乃至８のいずれか１項に記載の画像処理方法を実行することを特徴とする画像読取装置。
11. 原稿台を有し且つ原稿が載置された前記原稿台の所定の領域を読取る外部の画像読取装置から、当該読取により得られた原稿台画像を受信する情報機器であって、請求項１乃至８のいずれか１項に記載の画像処理方法を実行することを特徴とする情報機器。