JP4225225B2 - 撮影装置、撮影装置の画像処理方法及びプログラム - Google Patents

Description

本発明は、撮影装置、撮影装置の画像処理方法及びプログラムに関するものである。

紙の書類やＯＨＰ用紙などを読み取って投影をおこなうＯＨＰでは、デジタルカメラの発達に伴い、従来のラインスキャナで読み取る方式から、デジタルカメラを用いた書画カメラと呼ばれる方式の撮影装置（書画カメラ）が開発されつつある。

この撮影装置は、ユーザが書画台に載置した原稿をカメラで撮影して、カメラで撮影した原稿の画像データをコンピュータの記憶装置に記憶して画像処理を行い、プロジェクタを用いてスクリーン上に原稿の画像を拡大して投影するものである（例えば、特許文献１参照）。

このような撮影装置は、従来のＯＨＰでは、できなかった３次元の撮影対象を撮影して、この画像を投影することができるので、従来のＯＨＰにとって変わりつつある。
特開２００２−３５４３３１号公報（第２−３頁、図１）

このような撮影装置において、原稿を差し替える場合、書画台に原稿が載置されていなければ、画像処理を行う必要はない。従って、書画台に原稿が載置されているか否かを判定する必要がある。

その判定方法としては、例えば撮影対象物の画像に含まれるエッジの量などに着目し、書画台のエッジ部の画像をマスクして、予め取得しておいた書画台の画像におけるエッジの量と比較する等して原稿の有無を判別することが考えられる。しかし、マスクする領域外に書画台に傷が付いているような場合、書画台に原稿が載置されていない場合でも、原稿が載置されていると誤判定されてしまう可能性がある。

本発明は、このような従来の問題点に鑑みてなされたもので、書画台に原稿が載置されているか否かの判定を正しく行うことが可能な撮影装置、撮影装置の画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る撮影装置は、
書画台に載置された原稿を、前記書画台とともに撮影する撮影部と、
前記撮影部の撮影によって得られた撮影画像に、前記原稿によるエッジ部を判別するための原稿エッジ部判別領域と前記原稿エッジ部判別領域外の画像をマスクするマスク領域とを予め設定し、前記マスク領域の画像を覆って前記撮影画像に前記原稿の画像が含まれているか否かを判定する原稿判定部と、
前記撮影画像に前記原稿の画像が含まれていると前記原稿判定部が判定した場合、前記撮影画像から前記原稿の画像を切り取って画像処理を行う画像処理部と、を備え、
前記原稿判定部は、前記撮影画像に前記原稿の画像が含まれているか否かを判定するときに、前記マスク領域の画像とともに、前記原稿によるエッジ部の判別に対象外の画像として前記原稿エッジ部判別領域内に存在する判別対象外画像を覆うことを特徴とする。

前記撮影部は、前記書画台のみを予め撮影するとともに、
前記撮影部が撮影することによって得られた書画台画像に基づいて、前記判別対象外画像を判別する判別対象外画像判別部と、
前記判別対象外画像判別部が判定した前記判別対象外画像に基づいて、前記原稿判定部が前記判別対象外画像を覆うのに用いるマスクを生成するマスク生成部と、を備えるのが好ましい。

前記判別対象外画像判別部は、予め前記判別対象外画像の登録を行うための書画台のみの画像に基づいて前記判別対象外画像を判定するのが好ましい。

前記原稿の画像が前記撮影画像に含まれていると前記原稿判定部が判定した場合、前記撮影画像が前記書画台のみの場合よりも前記撮影部の解像度が高くなるように制御する撮影制御部を備えるのが好ましい。

前記原稿判定部は、前記撮影画像の画素の画素値を取得して、隣接した画素の画素値の差分と予め設定された第１の閾値とを比較し、前記第１の閾値を超える差分を前記撮影画像に含まれるエッジ部と判別し、判別したエッジ部の数を計数して、計数したエッジ部の数と予め設定された第２の閾値とを比較して、前記エッジ部の数が第２の閾値を越えた場合に前記原稿が前記書画台に載置されていると判定するのが好ましい。

前記撮影部は、前記撮影対象を拡大又は縮小して撮影する機能を有し、
前記マスク生成部は、前記撮影対象を拡大又は縮小して撮影したときの撮影倍率を前記撮影部から取得し、取得した撮影倍率に対応させて、生成したマスクを拡大又は縮小し、
前記原稿判定部は、前記撮影部の撮影倍率を取得して、取得した撮影倍率に対応するように前記マスク生成部が拡大又は縮小した前記マスクで前記判別対象外画像を覆い、前記判定を行うのが好ましい。

上記目的を達成するため、本発明の第２の観点に係る撮影装置の画像処理方法は、
差し替えされる原稿を、前記原稿載置用の書画台とともに撮影するステップと、
前記撮影によって得られた撮影画像に、前記原稿によるエッジ部を判別するための原稿エッジ部判別領域と前記原稿エッジ部判別領域外の画像をマスクするマスク領域とを予め設定するステップと、
前記マスク領域の画像とともに、前記原稿によるエッジ部の判別に対象外の画像として前記原稿エッジ部判別領域内に存在する判別対象外画像を覆うステップと、
前記撮影画像に前記原稿の画像が含まれているか否かを判定するステップと、
前記原稿の画像が含まれていると判定した場合、前記撮影画像から前記原稿の画像を切り取って画像処理を行うステップと、を備えたことを特徴とする。

上記目的を達成するため、本発明の第３の観点に係るプログラムは、
コンピュータに、
差し替えされる原稿を、前記原稿載置用の書画台とともに撮影する手順、
前記撮影によって得られた撮影画像に、前記原稿によるエッジ部を判別するための原稿エッジ部判別領域と前記原稿エッジ部判別領域外の画像をマスクするマスク領域とを予め設定する手順、
前記マスク領域の画像とともに、前記原稿によるエッジ部の判別に対象外の画像として前記原稿エッジ部判別領域内に存在する判別対象外画像を覆う手順、
前記撮影画像に前記原稿の画像が含まれているか否かを判定する手順、
前記原稿の画像が含まれていると判定した場合、前記撮影画像から前記原稿の画像を切り取って画像処理を行う手順、
を実行させるためのものである。

本発明によれば、書画台に原稿が載置されているか否かの判定を正しく行うことができる。

以下、本発明の実施の形態に係る撮影装置を、図面を参照して説明する。

本実施形態に係る撮影装置の構成を図１に示す。
撮影装置は、書画カメラ１と、プロジェクタ２と、から構成される。

書画カメラ１は、投影対象の原稿４を撮影するためのカメラシステムであり、カメラ部１１と、支柱１２と、台座（書画台）１３と、操作台１４と、を備える。カメラ部１１は、原稿４を撮影するためのものである。カメラ部１１には、デジタルカメラが用いられる。支柱１２は、カメラ部１１を取り付けるためのものである。台座１３は、支柱１２を支えるためのものであり、原稿４を載置するためのものである。尚、この原稿４は、ユーザによって差し替えられる。従って、台座１３には、原稿４が載置されている場合と、原稿４が載置されていない場合がある。また、カメラ部１１は、台座１３も含めて原稿４を撮影する。従って、カメラ部１１が撮影することによって得られた撮影画像には、原稿４の画像が含まれている場合と含まれていない場合とがある。

書画カメラ１は、図２に示すように、画像データ生成部２１と、データ処理部２２と、からなる。画像データ生成部２１は、原稿４を撮影して原稿４の画像データを取り込むためのものである。

データ処理部２２は、画像データ生成部２１から、取り込んだ原稿４の画像データを取得して画像処理を行い、画像処理を施した画像データをプロジェクタ２に出力するものである。

尚、画像データ生成部２１とデータ処理部２２とは、図１に示すカメラ部１１に備えられてもよいし、画像データ生成部２１，データ処理部２２が、それぞれ、カメラ部１１、操作台１４に備えられてもよい。

画像データ生成部２１は、光学レンズ装置１０１と、イメージセンサ１０２と、から構成される。

光学レンズ装置１０１は、原稿４を撮影するために、光を集光するレンズなどで構成されたものである。

イメージセンサ１０２は、光学レンズ装置１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。

データ処理部２２は、メモリ２０１と、表示装置２０２と、画像処理装置２０３と、操作部２０４と、プログラムコード記憶装置２０５と、ＣＰＵ２０６と、から構成される。

メモリ２０１は、イメージセンサ１０２からの画像、表示装置２０２に送り出すための画像データ等を一時記憶するためのものである。
表示装置２０２は、プロジェクタ２に送り出す画像を表示するためのものである。

画像処理装置２０３は、メモリ２０１に一時記憶された画像データに対して、画像の歪み補正や画像効果などの画像補正処理を行うためのものである。

画像処理装置２０３は、図３（ａ）に示すようにカメラ部１１の撮影面に対して斜めの状態、あるいは回転した状態で撮影した原稿４の画像から、歪み補正（台形補正）を行うことによって、図３（ｂ）に示すような正面から撮影した原稿４の画像を生成する。具体的には、画像処理装置２０３は、歪み補正を行うため、歪んだ原稿４の画像から四角形を切り取り、切り取った四角形に原稿４の画像を射影変換して逆変換する。

操作部２０４は、書画投影の機能を制御するためのスイッチ、キーを備えたものである。操作部２０４は、ユーザが、これらのキー、スイッチを操作したときの操作情報をＣＰＵ２０６に出力する。

操作部２０４は、図４に示すように、画像調整キーとして、上拡大キー２１１と、下拡大キー２１２と、左拡大キー２１３と、右拡大キー２１４と、右回転キー２１５と、左回転キー２１６と、拡大キー２１７と、縮小キー２１８と、撮影／解除キー２１９と、を備える。

上拡大キー２１１、下拡大キー２１２、左拡大キー２１３、右拡大キー２１４は、射影変換を行うときに操作する射影変換キーである。

右回転キー２１５、左回転キー２１６は、それぞれ、画像の回転を調整するための回転補正キーであり、右回転キー２１５は、画像の右回転を行なうときに操作するキーであり、左回転キー２１６は、画像の左回転を行なうときに操作するキーである。

拡大キー２１７、縮小キー２１８は、それぞれ、画像の拡大、縮小などの画像変換を行うときに操作するキーである。

撮影／解除キー２１９は、原稿４を撮影するときに操作するキーである。

プログラムコード記憶装置２０５は、ＣＰＵ２０６が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ２０６は、プログラムコード記憶装置２０５に格納されているプログラムに従って、各部を制御する。尚、メモリ２０１は、ＣＰＵ２０６の作業メモリとしても用いられる。

また、ＣＰＵ２０６は、後述するフローチャートに従って、撮影対象物である原稿４の画像に動きがあるか否かを判定し、判定結果に従って、撮影モードを切り替える。

撮影モードは、動画モードと静止画モードの２つとする。動画モードは、ユーザが台座１３に投影したい原稿４等を載置しようとする場合に設定されるモードであって、カメラ部１１で映し出している画像をそのままプロジェクタ２に投影するモードである。

動画モードでは、ＣＰＵ２０６は、例えば、画像解像度がＶＧＡ（６４０×４８０ドット）程度の画像を３０ｆｐｓ（フレーム/秒）の速さで動画投影を行なうように、各部を制御するものとする。このように、動画モードは、解像度は低いものの、リアルタイム性を重視したモードである。

静止画モードは、ユーザが原稿４を置いた後に設定されるモードであって、カメラ部１１で高解像度の画像撮影を行い、高解像度の静止画像の投影を行うモードである。カメラ部１１が撮影解像度３００万画素のカメラである場合、切り出した投影画像はＸＧＡ（１０２４×７６８）の静止画像になる。

ＣＰＵ２０６は、撮影モードの切り替えを行うため、原稿４の画像に動きがあるか否かを判定する。ＣＰＵ２０６は、このような判定を行うため、前回撮影した画像との画像変化量ＭＤを求める。画像変化量ＭＤは撮影している画像が前回の画像と比較してどれぐらい変化したかを表す量である。この量を計算する方法はいくつか考えられる。一例として、ＣＰＵ２０６は、前回撮影した画像のデータから、各画素の差分の絶対値の総和を画像変化量ＭＤとして求める。

即ち、前回の画素データをＰn-1（x,y）、今回の画素データをＰn（x,y），1≦x≦640 1≦y≦480とすると、画像変化量ＭＤは、次の数１によって表される。

但し、全画素の総和を求めるには、計算量が多いので、画像変化量ＭＤを求める方法としては、いくつかの画素を抜き出して実現する方法もある。

また、この画像変化量ＭＤと比較して動きの有無を判定するための閾値として、閾値Thresh1と閾値Thresh2とが予め設定される。閾値Thresh1は、動きがないか否かを判定するための閾値であり、ＣＰＵ２０６は、画像変化量ＭＤが閾値Thresh1未満であれば、動きがないと判定する。

閾値Thresh2は、静止画モードにおいて、例えば、影が動いた場合、ペン等を置いた場合のように、動きはあっても、その動きが動画モードに切り替える必要のない程度の僅かな動きであるか否かを判定するための閾値である。

ＣＰＵ２０６は、画像変化量ＭＤが閾値Thresh2未満であれば、動画モードに切り替える必要のない程度の僅かな動きであると判定する。尚、閾値Thresh2は、閾値Thresh1よりも高く設定される（Thresh1＜Thresh2）。メモリ２０１は、この閾値Thresh1と閾値Thresh2とを予め記憶する。

また、ＣＰＵ２０６は、動画モードから静止画モードに切り替える場合、画像に動きがないと判定し、所定の時間が経過してから、撮影モードを静止画モードに切り替える。このため、ＣＰＵ２０６は、画像に動きがないと判定してから、静止時間Ptimeを計測し、メモリ２０１は、この静止時間Ptimeと比較するために予め設定された所定時間HoldTimeを記憶する。

また、ＣＰＵ２０６は、カメラ部１１が撮影することによって得られた撮影画像に基づいて、台座１３に原稿４が載置されているか否かを判定し、台座１３に原稿４が載置されてると判定した場合、解像度を高く設定する。

このため、ＣＰＵ２０６は、図５に示すように、撮影画像に原稿エッジ部判別領域とマスク領域とを設定する。原稿エッジ部判別領域は、原稿４によるエッジ部を判別するための領域であり、マスク領域は、原稿エッジ部判別領域外の台座１３によるエッジ部を含むエッジ部を判別するための判別領域であり、原稿エッジ部判別領域に存在するエッジ部を判別するときにマスクされる領域である。

ＣＰＵ２０６は、台座１３の傷による傷画像を判別する。傷は、台座１３のひっかき傷のようなものであり、このような傷が台座１３についていると、その傷画像によって原稿画像との判別がつきにくくなる。尚、この傷は、単なる傷である場合に限られるものではなく、例えば、台座１３の模様、台座１３に貼付されたシールのようなものも含むものである。

ＣＰＵ２０６が台座１３の傷を判別するのは、台座１３に原稿４が載置されていなくても、原稿４が載置されていると誤判定することを防ぐためである。いわば、この傷画像は、原稿エッジ部の判定に対象外の画像である。ＣＰＵ２０６が、このような誤判定を行うと、画像処理装置２０３は、台座１３に原稿４が載置されていなくても、無駄な画像補正処理を行ってしまう。

ＣＰＵ２０６は、台座１３の傷を判別するため、例えば、予め設定された傷判別用の画像として傷が全くない台座１３の画像と、イメージセンサ１０２が取得した台座１３のみの撮影画像と、を比較する。ＣＰＵ２０６は、比較の結果、２つの画像に差異があると、台座１３に傷があると判別する。ＣＰＵ２０６が台座１３の傷を判別すると、画像処理装置２０３にこの傷による傷画像をマスクするマスクデータを生成させる。

画像処理装置２０３は、ＣＰＵ２０６に制御されて、この傷画像に基づいて傷画像を覆うマスクを生成する。この際、画像処理装置２０３は、台座１３のたわみなどにより、傷の登録時と台座１３認識時のカメラ部１１の向きが異なったとしても、傷画像をすべて覆うことができるように、その傷の周りも含めてマスク領域を設定してマスクを生成する。即ち、画像処理装置２０３は、図６に示すように、画像中に１ドットの傷があったとすると、その傷の周りのｎドットの領域をマスク領域として設定する。マスク領域は、正方形である必要はなく、画像処理装置２０３は、台座１３のたわみ、その他の特性によって傷を検出した位置に基づいてマスク領域を設定する。画像処理装置２０３は、このようにマスク領域を設定してマスクデータを生成し、生成したマスクデータをメモリ２０１に記憶する。

そして、ＣＰＵ２０６は、画像処理装置２０３が生成したマスクをメモリ２０１から読み出して傷画像を覆い、撮影画像に原稿画像が含まれているか否かを判定する。

ＣＰＵ２０６は、この判定を行うため、まず、撮影画像に含まれているエッジ部を検出する。このエッジ部は、台座１３の輪郭、原稿４の輪郭等を表すものである。

ＣＰＵ２０６は、エッジ部を検出するため、隣り合う画素の画素値の差分値と予め設定された所定値ＰＳとを比較することにより、カメラ部１１が撮影することによって得られた画像の中のエッジ部を検出する。この所定値ＰＳは、このエッジ部を検出するために予め設定されたものである。

図７に示すように、隣り合う画素を、それぞれ、ｐｏｉｎｔ１，ｐｏｉｎｔ２として、それぞれの画素値をＰ１，Ｐ２とする。ＣＰＵ２０６は、画素ｐｏｉｎｔ１の画素値（Ｐ１）と画素ｐｏｉｎｔ２の画素値（Ｐ２）との差分値をこの所定値ＰＳと比較し、この差分値がこの所定値ＰＳよりも大きい場合、ＣＰＵ２０６は、エッジ部が存在すると判定する。

次に、ＣＰＵ２０６は、このエッジ部の数と予め設定された閾値ＥＳとを比較することにより、撮影対象に原稿４が含まれているか否かを判定する。原稿４が台座１３に載置されていれば、台座１３に載置されていない場合と比較してエッジ部の数を多くなる。閾値ＥＳは、原稿４が台座１３に載置されるか否かを判定するために、予め設定された値である。ＣＰＵ２０６は、エッジ部の数が閾値ＥＳ以下と判定した場合は、撮影対象に原稿画像は含まれず、台座１３のみの画像であると判定する。メモリ２０１は、この予め設定された所定値ＰＳと閾値ＥＳとを記憶する。

そして、ＣＰＵ２０６は、撮影画像に原稿４の画像が含まれていると判定した場合にのみ、撮影画像から原稿４の画像を取り出して、画像処理装置２０３に画像補正等の画像処理を行わせる。

プロジェクタ２は、スクリーン３に投影光を照射して原稿４の画像を結像させるものである。書画カメラ１とプロジェクタ２とは、ＲＧＢ等のケーブル１５を介して接続される。書画カメラ１は、カメラ部１１が撮影した原稿４の画像データを、ケーブル１５を介してプロジェクタ２に出力する。

次に、本実施形態に係る撮影装置の動作を説明する。
ユーザが撮影装置の電源をＯＮにすると、書画カメラ１のＣＰＵ２０６は、プログラムコード記憶装置２０５からプログラムコードを読み出す。ユーザが撮影ボタンを押下すると、操作部２０４は、この操作情報をＣＰＵ２０６に送信する。ＣＰＵ２０６はこの操作情報を受信し、ＣＰＵ２０６、画像処理装置２０３等は、基本撮影処理を実行する。

この基本撮影処理の内容を図８に示すフローチャートに従って説明する。
まず、ＣＰＵ２０６は、書画カメラ１のカメラ部１１の焦点、露出、ホワイトバランスなどのカメラ設定パラメータの初期化を行う（ステップＳ１１）。

ＣＰＵ２０６は、撮影モードを動画モードに初期化する（ステップＳ１２）。ＣＰＵ２０６は、撮影モードを動画モードに初期化するため、メモリ２０１上の指定した領域に動画モード（Motion）をセットする。さらに、ＣＰＵ２０６は、カメラ部１１のイメージセンサ１０２から読み出された画像データを、ＶＧＡによる画像データになるように設定する。

これにより、カメラ部１１が捉えているシーンが、光学レンズ装置１０１を経由してイメージセンサ１０２に集光され、イメージセンサ１０２は集光された画像から動画撮影用の解像度の低いデジタル画像を作成する。そして、イメージセンサ１０２は、作成したデジタル画像を定期的に、例えば、秒３０枚で、メモリ２０１に送り出す。

次に、ＣＰＵ２０６は、台座１３の傷を検出して、マスク領域を設定する（ステップＳ１３）。
この処理を、図９のフローチャートに従って説明する。

ＣＰＵ２０６は、カメラ部１１を制御して、傷の登録を行うための台座１３のみの画像を動画モードで撮影させる（ステップＳ４１）。撮影された台座１３のデジタル画像は、イメージセンサ１０２を介してメモリ２０１に供給される。

画像処理装置２０３は、メモリ２０１から、記憶されている台座１３の画像を読み出し、その画像からエッジ部を検出する（ステップＳ４２）。

画像処理装置２０３は、画像上でエッジ部を検出したポイントに基づいて判別した台座１３の傷の周りの領域をマスク領域として設定し、マスクを生成する（ステップＳ４３）。

次に、ＣＰＵ２０６は、静止時間Ptimeのリセットを行う（図８のステップＳ１４）。
次に、ＣＰＵ２０６は、イメージセンサ１０２から低解像度の画像データをメモリ２０１に送信するように、イメージセンサ１０２とメモリ２０１とを制御する（ステップＳ１５）。尚、ここでは、イメージセンサ１０２の画像データがメモリ２０１に送信されるだけで、表示装置２０２は、画像を表示しない。表示装置２０２が画像を表示しないのは、表示装置２０２の表示を行なう画像データがメモリ２０１上の異なるアドレスで示される領域に記憶されているからである。

次に、ＣＰＵ２０６は、前回撮影した画像との画像変化量ＭＤを、数１に従って求める（ステップＳ１６）。

ＣＰＵ２０６は、撮影モードが動画モードか静止画モードかを判定する（ステップＳ１７）。
初期状態では撮影モードに動画モードが設定されている。ＣＰＵ２０６は、このため、初期状態では、動画モードと判定し、撮影した動画を投影するために、メモリ２０１内にある動画の画像データをメモリ２０１の所定領域にコピーする（ステップＳ１８）。これにより、表示装置２０２は、撮影された画像データをメモリ２０１から読み出し、ＲＧＢ信号をプロジェクタ２に出力する。プロジェクタ２は、この信号に基づいて、画像を投影する。

ＣＰＵ２０６は、予め設定された前述の閾値Thresh1とステップＳ１６において求めた画像変化量ＭＤとを比較し、比較結果に基づいて画像に動きがあるか否かを判定する（ステップＳ１９）。

このとき、ユーザが、まだ、用紙を置くなどの動作を続けている場合、画像変化量ＭＤは閾値Thresh1以上になる。この場合、ＣＰＵ２０６は、画像に動きがあると判定し（ステップＳ１９においてＹｅｓ）、静止時間Ptimeをリセットして低解像度の画像データの読み込みを行い、画像変化量ＭＤを求め、画像のメモリ２０１の投影画像領域への書き込みを行う（ステップＳ１４〜Ｓ１８）。これによりユーザが動作を行なっている間、撮影装置は、動画モードの状態を維持し続け、低解像度の動画画像がスクリーン３に投影される。

その後、ユーザが用紙のセットを終えて画像に動きがなくなると、画像変化量ＭＤは閾値未満になる。この場合、ＣＰＵ２０６は、画像に動きがないと判定し（ステップＳ１９においてＮｏ）、静止時間Ptimeに１を加算する（ステップＳ２０）。

そして、ＣＰＵ２０６は、静止時間Ptimeが所定時間HoldTimeに達したか否かを判定する（ステップＳ２１）。

静止時間Ptimeが所定時間HoldTimeに達していないと判定した場合（ステップＳ２３においてＮｏ）、ＣＰＵ２０６は、画像に動きがないと判定するまで、再び低解像度の画像データを読み込んで、画像変化量ＭＤを求め、動きがなければ、静止時間Ptimeに１を加算する（ステップＳ１５〜Ｓ２０）。この場合、静止時間Ptimeがリセットされないため、静止時間Ptimeは、ＣＰＵ２０６によって、動画を読み込むごとにカウントアップされる。

静止時間Ptimeが所定時間HoldTimeに達したと判定した場合（ステップＳ２１においてＹｅｓ）、
ＣＰＵ２０６は、画像処理装置２０３が生成したマスクデータをメモリ２０１から読み出して、台座１３の傷画像をマスクする（ステップＳ２２）。
ＣＰＵ２０６は、撮影画像に原稿画像が含まれているか否かを判定する（ステップＳ２３）。

ＣＰＵ２０６は、撮影画像に原稿画像が含まれているか否かを判定するため、まず、隣り合う画素の画素値の差分値と予め設定された所定値ＰＳとを比較することにより、エッジ部を検出する。
即ち、ＣＰＵ２０６は、前述したエッジ部の検出処理を各ラインに沿って行い、隣り合う全てのラインで検出されたエッジ部の数を加算する。そして、画像中のエッジ部の数を所定の閾値ＥＳと比較する。

エッジ部の数が閾値ＥＳ以下であれば、ＣＰＵ２０６は、撮影画像には、台座１３の画像のみが含まれ、原稿画像は含まれていないと判定する（ステップＳ２３においてＹｅｓ）。
この場合、ＣＰＵ２０６は、画像処理装置２０３が画像補正等の処理（ステップＳ２４〜Ｓ２９の処理）を行わないように制御する。
一方、エッジ部の数が閾値ＥＳより多い場合、ＣＰＵ２０６は、撮影画像に原稿画像が含まれていると判定する（ステップＳ２３においてＮｏ）。
この場合、ＣＰＵ２０６は、撮影モードを静止画モードに設定する（ステップＳ２４）。
ＣＰＵ２０６は、高解像度の静止画像を撮影するようにイメージセンサ１０２を制御する（ステップＳ２５）。

画像処理装置２０３は、図１０に示すフローチャートに従って、撮影を行った画像に画像補正処理を行う（ステップＳ２６）。
即ち、画像処理装置２０３は、読み込まれた高解像度の静止画像に対して、斜め補正を行うための射影パラメータの抽出を行う（ステップＳ５１）。この射影パラメータは、原稿４の画像の形状と実際の原稿４の形状との関係を示すものである。

画像処理装置２０３は、さらにその抽出された射影パラメータに従って、撮影対象の切抜きと、正面画像への射影変換を行う（ステップＳ５２）。
画像処理装置２０３は、作成された補正画像から、コントラスト補正などの鮮明、識別しやすい画像へ変換するため、画像効果補正用パラメータの抽出を行う（ステップＳ５３）。
画像処理装置２０３は、抽出された画像効果補正用パラメータを用いて、画像効果処理を行う（ステップＳ５４）。

ＣＰＵ２０６は、画像効果処理を行った画像データの投影を行うために、動画画像のときと同じように、メモリ２０１内の所定領域に補正画像データの書き込みを行う。そして、ＣＰＵ２０６は、表示装置２０２から、画像データをＲＧＢ信号でプロジェクタ２に出力する（ステップＳ５５）。

画像処理装置２０３がこのような画像補正処理を行うと、ＣＰＵ２０６は、画像処理装置２０３が画像補正処理を行った静止画像を、メモリ２０１に書き込み、保存する（ステップＳ２７）。表示装置２０２は高解像度画像を投影する。

ＣＰＵ２０６は、カメラ部１１の解像度を再び低解像度の読み込み状態に戻し、低解像度画像を取得させる（ステップＳ２８）。

ＣＰＵ２０６は、取得した低解像度画像に動きがあるか否かを判定する（ステップＳ２９）。
画像に動きがないと判定した場合（ステップＳ２９においてＮｏ）、ＣＰＵ２０６は、再度、低解像度画像を取得させる（ステップＳ２８）。
一方、画像に動きがあると判定した場合（ステップＳ２９においてＹｅｓ）、ＣＰＵ２０６は、再び静止時間Ptimeをリセットして、低解像度の画像を読み込み、画像変化量ＭＤを求める（ステップＳ１４〜Ｓ１６）。

ここで、撮影モードが静止画モードと判定した場合（ステップＳ１７においてＮｏ）、ＣＰＵ２０６は、求めた画像変化量ＭＤともう一つの所定閾値Thresh2（Thresh1＜Thresh2）との比較を行い、画像に動きがあるか否かを判定する（ステップＳ３０）。

ＣＰＵ２０６は、画像変化量ＭＤが閾値Thresh2以下であれば、画像に動きがないと判定する（ステップＳ３０においてＮｏ）。この場合、ＣＰＵ２０６は、引き続き、画像変化量ＭＤと閾値Thresh1との比較を行い、画像に動きがあるか否かを判定する（ステップＳ３１）。

そして、画像変化量ＭＤが閾値Thresh2を越えていれば、ＣＰＵ２０６は、画像に動きがあると判定し（ステップＳ３０においてＹｅｓ）、撮影モードを動画モードに設定する（ステップＳ３２）。そして、ＣＰＵ２０６は、静止時間Ptimeをリセットする（ステップＳ１４）。

一方、画像変化量ＭＤが閾値Thresh2以下であっても、閾値Thresh1を越えていれば、ＣＰＵ２０６は、画像に動きがあると判定する（ステップＳ３１においてＹｅｓ）。この場合、ＣＰＵ２０６は、画像変化量ＭＤが閾値Thresh1と閾値Thresh2との間であるため、撮影モードを動画モードに切り替えないようにする（ステップＳ２２〜Ｓ２８）。

また、画像変化量ＭＤが閾値Thresh2未満であり、かつ、閾値Thresh1未満であれば、ＣＰＵ２０６は、静止状態が継続しているものと判定する（ステップＳ３１においてＮｏ）。この場合、ＣＰＵ２０６は、ステップ１４に戻る。

このようにして、ＣＰＵ２０６は、動画モードと静止画モードとの切り替えを行いながら投影制御を行う。これにより、ユーザが操作を行なっている間は、フレーム周波数優先の画像の投影が行われ、画像が静止すれば、撮影対象の原稿４の切り抜き及び画像効果処理を行って高解像度画像の投影が行われる。

以上説明したように、本実施形態によれば、マスクを生成して台座１３の傷画像をマスクして、撮影画像に原稿画像が含まれているか否かを判定するようにした。
従って、台座１３に傷や汚れが付いているような場合でも、原稿の載置されていない台座１３に原稿が載置されているといった誤判定を防ぐことができる。
また、このような誤判定を防止することができれば、台座１３の傷に影響を受けずに、解像度を正しく設定することができ、原稿４が台座１３に載置されていないときに画像補整処理等を行うような無駄な処理を防止することができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、書画カメラ１は撮影対象を拡大又は縮小して撮影する機能を有するものであってもよい。この場合、画像処理装置は、撮影対象を拡大又は縮小して撮影したときの撮影倍率をカメラ部１１から取得し、生成したマスクを、取得した撮影倍率に対応させて、拡大又は縮小する。

この場合、画像処理装置２０３は、図１１に示すように、Ｚｏｏｍなし（等倍）の場合のマスク領域から、中心部分を同じくする１／Ｚｏｏｍ倍の領域を切り出し、切り出した領域をＺｏｏｍ倍に拡大する。

例えば、図１２に示すように、カメラ部１１の倍率が２倍、２．５倍とすると、画像処理装置２０３は、画像データから、それぞれ、１／２倍、１／２．５倍の領域を切り出す。そして、画像処理装置２０３は、切り出したそれぞれ１／２倍、１／２．５倍の領域を２倍、２．５倍に拡大して、この領域を２倍、２．５倍Ｚｏｏｍ用のマスク領域として設定する。このようにして画像処理装置２０３は、所定の倍率（Ｚｏｏｍ倍）におけるマスク領域を設定する。

そして、カメラ部１１の倍率が２倍、２．５倍になったとき、ＣＰＵ２０６は、カメラ部１１から、この倍率を取得して、画像処理装置２０３が設定した２倍、２．５倍Ｚｏｏｍ用のマスク領域を用いて傷画像をマスクする。

次に、Ｚｏｏｍの場合の基本撮影処理を、図１３に示すフローチャートに基づいて説明する。
画像処理装置２０３は、Ｚｏｏｍなし（等倍）のマスク領域を設定した後（ステップＳ１３）、Ｚｏｏｍ用マスクを作成する（ステップＳ６１）。

このＺｏｏｍ用マスクエリア作成処理を図１４に示すフローチャートに基づいて説明する。
画像処理装置２０３は、Ｚｏｏｍなし（等倍）の場合のマスク領域から、中心部分を同じくする１／Ｚｏｏｍ倍の領域を切り出す（ステップＳ７１）。

画像処理装置２０３は、切り出した領域をＺｏｏｍ倍に拡大して、Ｚｏｏｍ倍のマスクを作成する（ステップＳ７２）。このようにして、画像処理装置２０３は、Ｚｏｏｍの場合のマスクを生成し、拡大したマスクをメモリ２０１に記憶する。

そして、ＣＰＵ２０６は、静止時間をリセットして動きの有無を判定し（図１３のステップＳ１４〜Ｓ２１、ステップＳ３０〜Ｓ３３）、動きがないと判定した場合（ステップＳ２１においてＹｅｓ、ステップＳ３１においてＹｅｓ）、カメラ部１１のＺｏｏｍ値（撮影倍率）を取得する（ステップＳ６２）。

ＣＰＵ２０６は、取得したＺｏｏｍ値に対応するように画像処理装置２０３が拡大したマスクで傷画像をマスクする（ステップＳ６３）。
そして、ＣＰＵ２０６は、画像が台座１３のみが映っているものか否かを判定する（ステップＳ２３）。

このように、カメラ部１１がズーム機能を有している場合でも、原稿の載置されていない台座１３に原稿が載置されているといった誤判定を防ぐことができる。

上記実施形態では、傷画像の判定に、予め設定された傷判別用の画像として傷が全くない台座１３の画像を用いるようにした。しかし、傷画像の判定はこのような方法に限られるものではなく、例えば、撮影画像の左上から画素を走査してエッジ部の検出し、検出したエッジ部から台座１３の輪郭を判別し、台座１３の輪郭とは判別されなかったエッジ部を傷画像と判定するようにしてもよい。
上記実施形態では画像中のエッジ部を検出して台座１３か否かの判定を行った。しかし、エッジ部ではなく画像の輝度の分布が一定の範囲内にあるか否かによって、判定を行う構成とすることも可能である。

尚、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係る撮影装置の構成を示す説明図である。 図１に示す書画カメラの構成図である。 図２に示す画像処理装置の機能の説明図である。 図２に示す操作部が備える各キーの説明図である。 図３に示すＣＰＵが設定する原稿エッジ部判別領域とマスク領域とを説明するための説明図である。 マスク領域登録処理の際の傷の検出とマスク領域の設定を説明する図である。 マスク領域登録処理の際のエッジ部の検出方法の説明図である。 図１に示す撮影装置が実行する基本撮影処理の内容を示すフローチャートである。 図１に示す撮影装置が実行するマスク領域登録処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する画像補正処理の内容を示すフローチャートである。 Ｚｏｏｍ用のマスク領域の設定方法を説明する図である。 Ｚｏｏｍ用のマスク領域について説明する図である。 Ｚｏｏｍの場合の基本撮影処理の内容を示すフローチャートである。 Ｚｏｏｍ用のマスク領域を作成する処理の内容を示すフローチャートである。

符号の説明

１・・・書画カメラ、２・・・プロジェクタ、３・・・スクリーン、４・・・原稿、１１・・・カメラ部、２０１・・・メモリ、２０２・・・表示装置、２０３・・・画像処理装置、２０４・・・操作部、２０６・・・ＣＰＵ

Claims (8)

1. 書画台に載置された原稿を、前記書画台とともに撮影する撮影部と、
   前記撮影部の撮影によって得られた撮影画像に、前記原稿によるエッジ部を判別するための原稿エッジ部判別領域と前記原稿エッジ部判別領域外の画像をマスクするマスク領域とを予め設定し、前記マスク領域の画像を覆って前記撮影画像に前記原稿の画像が含まれているか否かを判定する原稿判定部と、
   前記撮影画像に前記原稿の画像が含まれていると前記原稿判定部が判定した場合、前記撮影画像から前記原稿の画像を切り取って画像処理を行う画像処理部と、を備え、
   前記原稿判定部は、前記撮影画像に前記原稿の画像が含まれているか否かを判定するときに、前記マスク領域の画像とともに、前記原稿によるエッジ部の判別に対象外の画像として前記原稿エッジ部判別領域内に存在する判別対象外画像を覆う、
   ことを特徴とする撮影装置。
2. 前記撮影部は、前記書画台のみを予め撮影するとともに、
   前記撮影部が撮影することによって得られた書画台画像に基づいて、前記判別対象外画像を判別する判別対象外画像判別部と、
   前記判別対象外画像判別部が判定した前記判別対象外画像に基づいて、前記原稿判定部が前記判別対象外画像を覆うのに用いるマスクを生成するマスク生成部と、を備えた、
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記判別対象外画像判別部は、予め前記判別対象外画像の登録を行うための書画台のみの画像に基づいて前記判別対象外画像を判定する、
   ことを特徴とする請求項２に記載の撮影装置。
4. 前記原稿の画像が前記撮影画像に含まれていると前記原稿判定部が判定した場合、前記撮影画像が前記書画台のみの場合よりも前記撮影部の解像度が高くなるように制御する撮影制御部を備えた、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
5. 前記原稿判定部は、前記撮影画像の画素の画素値を取得して、隣接した画素の画素値の差分と予め設定された第１の閾値とを比較し、前記第１の閾値を超える差分を前記撮影画像に含まれるエッジ部と判別し、判別したエッジ部の数を計数して、計数したエッジ部の数と予め設定された第２の閾値とを比較して、前記エッジ部の数が第２の閾値を越えた場合に前記原稿が前記書画台に載置されていると判定する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
6. 前記撮影部は、前記撮影対象を拡大又は縮小して撮影する機能を有し、
   前記マスク生成部は、前記撮影対象を拡大又は縮小して撮影したときの撮影倍率を前記撮影部から取得し、取得した撮影倍率に対応させて、生成したマスクを拡大又は縮小し、
   前記原稿判定部は、前記撮影部の撮影倍率を取得して、取得した撮影倍率に対応するように前記マスク生成部が拡大又は縮小した前記マスクで前記判別対象外画像を覆い、前記判定を行う、
   ことを特徴とする請求項２又は３に記載の撮影装置。
7. 差し替えされる原稿を、前記原稿載置用の書画台とともに撮影するステップと、
   前記撮影によって得られた撮影画像に、前記原稿によるエッジ部を判別するための原稿エッジ部判別領域と前記原稿エッジ部判別領域外の画像をマスクするマスク領域とを予め設定するステップと、
   前記マスク領域の画像とともに、前記原稿によるエッジ部の判別に対象外の画像として前記原稿エッジ部判別領域内に存在する判別対象外画像を覆うステップと、
   前記撮影画像に前記原稿の画像が含まれているか否かを判定するステップと、
   前記原稿の画像が含まれていると判定した場合、前記撮影画像から前記原稿の画像を切り取って画像処理を行うステップと、を備えた、
   ことを特徴とする撮影装置の画像処理方法。
8. コンピュータに、
   差し替えされる原稿を、前記原稿載置用の書画台とともに撮影する手順、
   前記撮影によって得られた撮影画像に、前記原稿によるエッジ部を判別するための原稿エッジ部判別領域と前記原稿エッジ部判別領域外の画像をマスクするマスク領域とを予め設定する手順、
   前記マスク領域の画像とともに、前記原稿によるエッジ部の判別に対象外の画像として前記原稿エッジ部判別領域内に存在する判別対象外画像を覆う手順、
   前記撮影画像に前記原稿の画像が含まれているか否かを判定する手順、
   前記原稿の画像が含まれていると判定した場合、前記撮影画像から前記原稿の画像を切り取って画像処理を行う手順、
   を実行させるためのプログラム。