JP4524616B2 - 撮影装置、撮影画像の画像処理方法及びプログラム - Google Patents

Description

本発明は、撮影装置、撮影画像の画像処理方法及びプログラムに関するものである。

近年、撮影装置として、ユーザが原稿台に載置した原稿をカメラで撮影して、カメラで撮影した原稿の画像データを記憶して画像処理を行い、プロジェクタを用いてスクリーン上に原稿の画像を拡大して投影するものがある（例えば、特許文献１参照）。

図２２（ａ）、（ｂ）に示すように、この撮影装置の支柱５２は、カメラ部５１の向きを変えることができるように可動式になっている。図２２（ａ）に示すように、カメラ部５１が原稿台５３の真上に配置されて、原稿台５３に載置された原稿（用紙）が撮影されると、図２３（ａ）に示すような画像が得られる。

ライトの映り込みがある場合は、図２２（ｂ）に示すように、カメラ部５１が少し斜め上方向に配置される。このようにカメラ部５１が配置されて原稿台５３に載置された原稿が撮影されると、図２３（ｂ）に示すような画像が得られる。

撮影装置は、図２３（ａ）又は図２３（ｂ）に示すような画像から、図２３（ｃ）に示すような画像を生成する。このため、撮影装置は、台形歪み補正を行う。台形歪み補正は、図２３（ａ）又は図２３（ｂ）に示すような撮影画像から、原稿のみの原稿画像を切り出して、原稿画像の輪郭によって特定される形状としての台形が矩形になるように画像変換することにより行われる。原稿画像を切り出す際、原稿台５３の画像の輪郭が原稿画像の切り出しに影響を及ぼすので、撮影装置は、原稿台５３の画像の輪郭を除去してから原稿画像を切り出す。
特開２００２−３５４３３１号公報（第２−３頁、図１）

しかし、図２４（ａ）に示すように、原稿５４の縁と原稿台５３の縁とを合わせて原稿５４が原稿台５３に載置された場合、撮影装置は、原稿５４の輪郭を原稿台５３の輪郭と誤って認識するおそれがある。

このように誤認識すると、原稿５４が図２４（ａ）に示すような表である場合、撮影装置は、表の罫線５５が原稿５４の輪郭と誤認識し、図２４（ｂ）に示すように、本来の原稿画像５４ａの代わりに、誤って画像５４ｂを切り出してしまう。このため、撮影装置は、原稿画像５４ａをうまく切り出せなくなってしまう。

本発明は、このような従来の問題点に鑑みてなされたもので、原稿画像の輪郭を正しく認識することが可能な撮影装置、撮影画像の画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影装置は、
台座に載置された原稿を前記台座とともに撮影する撮影装置において、
前記台座のみ又は前記台座と前記原稿とを撮影する撮影部と、
前記撮影部の撮影によって得られた撮影画像から、前記原稿による原稿画像を切り出して前記原稿画像の形状を補正する画像処理部と、を備え、
前記画像処理部は、
前記撮影部が前記台座のみを撮影することによって得られた第１の撮影画像と前記台座及び前記原稿を撮影することによって得られた第２の撮影画像との差分画像を生成する差分画像生成部と、
前記差分画像生成部が生成した前記差分画像から、前記原稿画像の輪郭を特定して前記原稿画像の形状を取得する画像形状取得部と、
前記画像形状取得部が取得した前記原稿画像の形状に基づいて、前記第２の撮影画像から前記原稿画像を切り出す原稿画像切り出し部と、を備えたことを特徴とする。

前記画像形状取得部は、前記第１の撮影画像と前記第２の撮影画像との画像ずれを示すずれベクトルを取得し、取得したずれベクトルに基づいて前記画像ずれを補正するようにしてもよい。

前記画像形状取得部は、数１に従って定義された差分評価式によって得られる差分誤差が最小となる座標をずれベクトルとして取得し、数２に従って画像ずれを補正した差分画像を取得するようにしてもよい。

前記撮影部は、前記第２の撮影画像を取得するときの撮影条件を、前記第１の撮影画像を取得するときの撮影条件に対応させて設定するようにしてもよい。

前記差分画像生成部は、前記第１の撮影画像の画素値と前記第２の撮影画像の画素値とを比較し、両撮影画像の画像品質が対応するように、前記第１の撮影画像及び前記第２の撮影画像のうち、いずれか一方からもう一方の画素値を予測して画素値を変換することにより、一方の画像の予測変換を行うようにしてもよい。

前記差分画像生成部は、前記第２の撮影画像のうちの前記原稿が載置されない領域の画素値と前記領域に対応する前記第１の撮影画像の領域の画素値とを比較して、両撮影画像の前記領域の画像品質が対応するように、前記一方の画像の予測変換を行うようにしてもよい。

前記差分画像生成部は、前記撮影部が前記台座のみを撮影するときの第１の撮影パラメータと前記台座及び前記原稿を撮影するときの第２の撮影パラメータとの比を、前記第１の撮影画像の画素値と前記第２の撮影画像の画素値との比較結果として用い、両撮影画像の画像品質が対応するように、前記一方の画像の予測変換を行うようにしてもよい。

前記画像形状取得部は、前記差分画像生成部が生成した差分画像に含まれるエッジからなる第１のエッジ画像を取得し、前記第１のエッジ画像に含まれるエッジに対応する前記差分画像の各画素を取得し、取得した各画素にそれぞれ着目して着目画素周辺領域の画素の画素値に基づいて前記着目画素周辺領域内のエッジ量を求め、前記求めたエッジ量が予め設定された閾値以上となる場合に前記着目画素を前記原稿画像の輪郭による画素として前記着目画素からなる第２のエッジ画像を取得することにより、前記残存する前記台座の画像の輪郭によるエッジを前記差分画像から削除するようにしてもよい。

前記原稿画像形状取得部は、数３と数４とに従い、前記第２のエッジ画像を取得するようにしてもよい。

前記原稿画像切り出し部は、前記画像形状取得部が取得した原稿画像の形状に基づいて、前記原稿画像の形状による多角形を特定し、特定した多角形の頂点の座標に基づいて前記原稿画像を切り出すものであって、
前記画像処理部は、さらに、
前記原稿画像切り出し部が特定した前記多角形の頂点座標と前記原稿画像の形状から想定される原稿の形状の頂点座標との対応関係を示すアフィンパラメータを取得するアフィンパラメータ取得部と、
前記アフィンパラメータ取得部が取得したアフィンパラメータを用いて、前記原稿画像切り出し部が切り出した前記原稿画像に含まれる各画素の座標に対するアフィン変換を行い、前記原稿画像切り出し部が切り出した原稿画像の形状を補正する画像補正部と、を備えるようにしてもよい。

前記画像形状取得部が前記原稿画像の形状取得に失敗した場合には、前記第２の撮影画像から前記台座による台座画像の輪郭を取得し、
前記アフィンパラメータ取得部は、前記画像形状取得部が取得した前記台座画像の輪郭に基づいて特定される前記台座画像の形状として、前記台座画像の多角形の頂点座標と前記台座画像の形状から想定される前記台座の形状の頂点座標との対応関係を示すアフィンパラメータを取得するようにしてもよい。

本発明の第２の観点に係る撮影画像の画像処理方法は、
原稿を載置するための台座のみを撮影して第１の撮影画像を取得するステップと、
前記原稿を前記台座に載置して前記台座と前記原稿とを撮影し、第２の撮影画像を取得するステップと、
前記取得した第１の撮影画像と前記第２の撮影画像との差分画像を生成するステップと、
生成した前記差分画像から、前記原稿画像の輪郭を取得するステップと、
取得した前記原稿画像の輪郭に基づいて、前記第２の撮影画像から前記原稿画像を切り出すステップと、を備えたことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータに、
原稿を載置するための台座のみを撮影して第１の撮影画像を取得する手順、
前記原稿を前記台座に載置して前記台座と前記原稿とを撮影し、第２の撮影画像を取得する手順、
前記取得した第１の撮影画像と前記第２の撮影画像との差分画像を生成する手順、
生成した前記差分画像から、前記原稿画像の輪郭を取得する手順、
取得した前記原稿画像の輪郭に基づいて、前記第２の撮影画像から前記原稿画像を切り出す手順、
を実行させるためのものである。

本発明によれば、原稿画像の輪郭を正しく認識することができる。

以下、本発明の実施形態に係る撮影装置を図面を参照して説明する。
実施形態に係る撮影装置の構成を図１に示す。
撮影装置は、書画カメラ１と、プロジェクタ２と、を備える。書画カメラ１とプロジェクタ２とは、ビデオ映像ケーブル３１を介して接続される。

書画カメラ１は、撮影対象を撮影するためのカメラシステムであり、カメラ部１１と、支柱１２と、台座１３と、を備える。カメラ部１１は、原稿４を撮影するためのものである。カメラ部１１には、デジタルカメラが用いられる。支柱１２は、カメラ部１１を取り付けるためのものである。

台座１３は、支柱１２を支えるためのものであり、図２に示すように、台座１３のほぼ中央部には十字マーク１４が刻印されている。十字マーク１４は、原稿４が載置されているか否かを識別するために刻印されたものである。

カメラ部１１は、撮影対象として、台座１３に載置された原稿４を撮影するものである。書画カメラ１は、カメラ部１１が撮影して得られた撮影画像から原稿４部分（用紙）による原稿画像４qを切り出し、斜め撮影歪みの検出処理を行って、撮影画像中の原稿画像４qを、あたかも原稿４を正面から撮影したような画像に変換し、スクリーン３に投影する。

このため、書画カメラ１は、図３に示すように、画像データ生成部２１と、データ処理部２２と、からなる。画像データ生成部２１は、原稿４を撮影して原稿画像４qのデータを取り込むためのものである。

データ処理部２２は、画像データ生成部２１から、撮影対象の画像データを取得して、プロジェクタ２に出力するための画像の処理を行うものである。

画像データ生成部２１は、光学レンズ装置１０１と、イメージセンサ１０２と、から構成される。

光学レンズ装置１０１は、原稿４を撮影するために、光を集光するレンズなどで構成されたものであり、焦点、露出、ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。

イメージセンサ１０２は、光学レンズ装置１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。

尚、画像データ生成部２１は、高解像度画像撮影と低解像度画像撮影とが可能なものである。低解像度画像撮影は、例えば、画像解像度がＸＧＡ（１０２４×７６８ドット）程度で行われる撮影であり、解像度は低いものの、画像を３０fps（フレーム/秒）の速さで動画撮影と画像読み出しとが可能になる。

一方、高解像度画像撮影は、読み取り速度は遅くなるものの、カメラ部１１の最大画素数で行われる画像撮影である。例えば、カメラ部１１の撮影可能な最大の画素数が４００万画素である場合、高解像度画像撮影では、４００万画素で画像撮影が行われる。

データ処理部２２は、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、操作部２０４と、支柱傾き変化検出部２０５と、プログラムコード記憶装置２０６と、ＣＰＵ２０７と、から構成される。

メモリ２０１は、画像データ、各種フラグの値、閾値等を記憶するものである。メモリ２０１は、これらのデータが書き込まれる領域として、図４に示すように、センサ画像記憶領域２０１ａと、処理画像記憶領域２０１ｂと、表示画像記憶領域２０１ｃと、作業データ記憶領域２０１ｄと、閾値記憶領域２０１ｅと、を有する。

センサ画像記憶領域２０１ａは、イメージセンサ１０２が取り込んだ画像データを、撮影する毎に一時記憶するための領域である。処理画像記憶領域２０１ｂは、画像処理装置２０３が処理に必要な画像データを書き込むための領域である。作業データ記憶領域２０１ｄは、座標データ、各種フラグを記憶するための領域である。閾値記憶領域２０１ｅは、各種判定に用いる閾値を記憶するための領域である。

図３に戻り、ビデオ出力装置２０２は、メモリ２０１の表示画像記憶領域２０１ｃに記憶された画像データに基づいてＲＧＢ信号を生成するものである。ビデオ出力装置２０２は、生成したＲＧＢ信号をプロジェクタ２に出力する。

画像処理装置２０３は、ＣＰＵ２０７に制御されて、メモリ２０１のセンサ画像記憶領域２０１ａに一時記憶された画像データに対して画像処理を行うためのものである。画像処理装置２０３は、以下のような画像処理を行う。

単機能画像処理
（１）縮小画像の作成処理
（２）２値エッジ画像の作成処理
（３）矩形取得処理
（４）画像変換処理
（５）画像の鮮明化処理
（６）画像の圧縮処理
複合機能処理
（７）原稿有無判定処理
（８）台座登録処理
（９）動画投影処理
（１０）原稿投影処理

（１）〜（６）の処理は、単機能の画像処理であり、（７）〜（１０）の処理は、（１）〜（６）のうちのいくつかの画像処理機能を組み合わせた複合機能処理である。この（１）〜（１０）までの処理を具体的に説明する。

（１）縮小画像の作成
縮小画像の作成処理は、元画像からいくつかの近傍の画素（画素値）を平均化して縮小画像の画素を求め、図５（ａ）に示すような画素数を減らした（輝度）縮小画像を作成する処理である。この処理は、台座１３による台座画像１３q、原稿画像４qの輪郭取得に必要な処理である。

縮小画像ｑ(k,l)は、数５に従い、その周辺近傍９点の画素値の平均で求められる。尚、縮小画像ｑ(k,l)は、縮小画像の座標(k,l)における画素の画素値を表す。

例えば、元画像がＸＧＡ（１０２４×７６８）の画像であり、縮小画像が１７万画素の画像（４８０×３６０）であるときは、Xbmax＝1024，Ybmax＝768，Xsmax＝480，Ysmax＝360として縮小画像ｑ(k,l)が計算される。

（２）２値エッジ画像の作成処理
２値エッジ画像の作成処理は、図５（ａ）に示すような縮小画像から、エッジを検出し、図５（ｂ）に示すような輪郭によって形成されるエッジ画像を作成する処理である。この処理は、台座画像１３q、原稿画像４qの輪郭取得に必要な処理である。

エッジ画像を作成するには、例えば、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いる。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得し、平均化することによって、画像のエッジを検出するフィルタである。

ある着目した座標（x,y）の画素の画素値ｆ(x,y）にＲｏｂｅｒｔｓフィルタを適用すると、変換後の画素値ｇ(x,y）は、次の数６によって表される。

画像処理装置２０３は、このようにして得られたエッジ画像を２値化する。画像処理装置２０３は、画素値ｇ(x,y）を予め設定された閾値g_thと比較することにより、エッジ画像の２値化を行う。

閾値g_thは、固定値であってもよいし、可変閾値法等の方法によって求められた可変値であってもよく、メモリ２０１の閾値記憶領域２１０ｅに予め記憶される。画像処理装置２０３は、数６に基づいて得られたエッジ画像の画素値ｇ（x,y）から、数７を用いてエッジ２値画像の座標(x,y)における画素値ｈ(x,y)を求める。

（３）矩形取得処理
矩形取得処理は、撮影画像から台座画像１３q又は原稿画像４qの輪郭によって特定される形状としての矩形を取得する処理である。この処理は、台形登録処理、原稿投影処理に必要な処理である。

画像処理装置２０３は、台座１３による台座画像１３q、原稿画像４qの輪郭を取得するため、生成したエッジ２値画像に対して、ハフ変換を行い、原稿画像４qの輪郭を形成する直線を検出する。

ハフ変換とは、図６（ａ）に示すようなＸ−Ｙ平面上の直線を構成する点を、次の数８によって表される図６（ｂ）に示すようなρ-θ平面上に投票して、ρ-θ平面上の投票数に変換する変換手法である。

各点の座標(x,y)において角度θを０から３６０°まで変化させた場合、同一直線はρ-θ平面では一点で表される。このため、投票数の多いρ-θ座標を直線と判断することができる。この際、投票数は、直線上のピクセル数になるため、直線の長さとみなすことができる。したがって、投票数の極端に少ないρ-θ座標は、短い直線を表し、直線の候補から除外される。

ハフ変換を用いる手法では、調査対象の点、角度θが多くなるに従って、処理速度が低下するため、検出できる角度の精度が得られるまで画像を縮小した方が好ましい。この理由から矩形取得に用いる画像は縮小画像が用いられる。これにより、調査対象を減らすことができる。

さらに、以下の方法により調査角度を減らすことができる。
調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度θを０°≦θ＜１８０°の範囲で測定すれば、ρは残りの１８０°≦θ＜０°の範囲で負になる。

しかし、撮影対象の中心が画像の中心近辺に位置する場合、実際に撮影される撮影対象（四角形）の各辺は、上下左右に存在することになる。この場合、ρ-θ平面上の投票数を０°≦θ＜１８０°の範囲で調査するよりは、以下の数９で表される範囲で測定した方が、より効率的である。

また、ρの値が正の値か負の値かによって、辺の上下、または辺の左右を特定することが可能である。従って、撮影対象の中心が画像の中心近辺に位置する場合、輪郭を構成する辺をより効率的に選択することが可能となる。

カメラ部１１が原稿４をほぼ真上から撮影する場合、原稿画像４qの形状（四角形）の歪は少なくなる。原稿画像４q（用紙）の相対する辺は平行であり、縦横の辺はほぼ直交する。

直線は各辺を形成するため、相対する辺も特定される。この中から、角度が同一の直線同士を平行とみなすことができる。さらにこれらの直線と直交する直線のうち、２本の平行線が存在すれば、四角形（長方形）が特定される。

特定される四角形が複数存在すれば、これらの四角形（長方形）のそれぞれの面積を求め、そのなかで最大面積の四角形を原稿画像４qの形状として特定される。四角形の面積は上下辺のρをそれぞれ、ρt（正値）, ρb（負値）、また左右の辺のρをρl（正値）,ρr（負値）とすると、四角形の面積は数１０で表される。
このようにして、特定された４本の直線をρ-θ座標系からＸ−Ｙ座標系に変換して、４つの交点(x0,y0),(x1,y1),(x2,y2),(x3,y3)を求める。このようにして、画像処理装置２０３は、矩形取得処理を行う。

（４）画像変換処理（切り抜き、射影補正）
画像変換処理は、画像の切り抜きと射影補正等を含む処理である。切り抜き処理は、抽出した矩形の４つの頂点に基づいて、撮影画像から原稿画像４qを切り抜く処理である。通常、補正を行わずに切り抜かれた原稿画像４qは歪んだものになる。

射影補正処理は、切り取った原稿画像４qを射影変換することにより、原稿画像４qの歪みを補正する処理である。画像処理装置２０３は、この歪みを補正するため、画像の空間変換に幅広く応用されているアフィン変換を用いる。画像処理装置２０３は、原稿画像４q等の元画像から、射影補正画像とのアフィン変換の関係を示すアフィンパラメータＡを抽出し、この変換Ａを用いて、求める射影補正画像の各画素Ｐ(u,v)に対応する元画像の画素点ｐ(x,y)を求めることによって射影補正を行う。

次に、アフィン変換についての基本的な考え方（実現方法）を説明する。

画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。変換前の座標(u,v）の点は、移動、拡大縮小、回転などの変換が行われることによって変換後の座標(x,y)になる。変換前の座標(u,v）と変換後の座標(x,y)とは、次の数１１によって関係付けられる。射影変換はこのアフィン変換により行われる。

最終的な座標(x,y)は、次の数１２によって算出される。

数１２は、射影変換するための式であり、座標(x,y)は、z'の値に従い、０に向かって縮退する。即ち、z'に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはａ13，ａ23，ａ33である。また、他のパラメータは、パラメータａ33で正規化されることができるので、ａ33を１としてもよい。

図７は、カメラ部１１が四角形の撮影対象（台座１３、原稿４）を撮影した場合、撮影画像上の四角形と実際の撮影対象の形状との関係について説明するための図である。図中に各頂点の座標を示す。

図７において、Ａ（Ａu,Ａv,Ａw）ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象をベクトルで表したものである。また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象との距離を示す。

図７に示す撮影画像の仮想投影スクリーンＳは、カメラ部１１で撮影された画像が投影されるスクリーン３を仮想的に示したものであり、撮影対象の画像は、この仮想投影スクリーンＳに射影される。仮想投影スクリーン上の座標系を（x,y）とすると、この仮想投影スクリーンＳ上に投影される画像がカメラ部１１に撮影される画像に対応する。

仮想投影スクリーンＳは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象上の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と仮想投影スクリーンＳと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ(x,y）とする。このとき、座標ｐは、射影変換より次の数１３によって表される。
数１３より、図７に示すように４つの頂点Ｐ0，Ｐ1，Ｐ2，Ｐ3と仮想投影スクリーンＳへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数１４に示す関係が求められる。
このとき、射影係数α、βは次の数１５によって表される。

次に、射影変換について説明する。撮影対象上の任意の点Ｐ=(x,y)は、Ｓ，Ａ，Ｂベクトルを用いて、次の数１６によって表される。
この数１６に、数１４の関係式を代入すると、座標ｘとｙとは、次の数１７によって表される。
この関係を、アフィン変換の式（数１１）に当てはめると、座標（x',y',z'）は、次の数１８によって表される。
この数１８にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。

上記ｍ，ｎは、予め補正画像ｐ(u,v)を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法により求めることが考えられる。この方法によれば、ｍ，ｎは次の数１９によって表される。

しかし、作成される補正画像の縦横比と撮影対象の縦横比とは一致しない。ここで、補正画像ｐ(u,v)とｍ、ｎの値との関係は、数１３、１４から、次の数２０によって表される。

カメラパラメータであるレンズの焦点距離ｆが既知であれば、数２０に従って、縦横比ｋを求めることができる。従って、補正画像ｐ(u,v)の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数２１に従ってｍ、ｎを求めることにより、撮影対象と同じ縦横比ｋを得ることができる。

尚、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化する。この場合、例えば、そのズーム倍率とレンズの焦点距離ｆとの関係を示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１６，数１７に従って、射影変換を行う。

以上から、入力画像p(x,y)から、出力画像Ｐ(u,v)の値を得るためには、まず、４つの頂点(x0,y0),(x1,y1),(x2,y2),(x3,y3)から、数１５でα、βを求める。つぎに数２０に従ってｋを算出する。

次に、数２１で出力画像の座標値(u,v)から(m,n)を求め、この(m,n)を数１８に代入して、(x',y',z')を求め、数１２から入力画像の対応画素の座標(x,y)を得る。

尚、対応画素の座標(x,y)は、整数になるとは限らない。このため、対応座標の画素座標は近傍の画素の座標から補間等を行って求められる。補間方法としてバイリニア法を用いればよい。バイリニア法による補間方法は、一方の画像（画像ｐ）の座標点（x,y）と対応する他方の画像（射影変換画像Ｐ）の座標点（u,v）を探し出し、一方の画像の座標点（x,y）の周辺４点の画素値から他方の画像の座標点（u,v）の画素値を求める方法である。バイリニア方による補間法を用いた場合、画素座標は数２２に従って求められる。

（５）画像の鮮明化処理
画像の鮮明化処理は、切り出した画像を、輝度引き伸ばし、カラー補正等を行うことにより、視認性の優れた画像に修正する処理である。

画像処理装置２０３は、画像の鮮明化処理を行うため、切り出した画像から、画像効果補正用パラメータを抽出する。この画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像効果処理に必要な変数である。画像処理装置２０３は、抽出した画像効果補正用パラメータを、画像が鮮明化されるような値に変換することにより画像の鮮明化処理を行う。

（６）画像の圧縮
画像の圧縮処理は、プロジェクタ２に送り出す画像データを圧縮する処理である。

（７）原稿有無判定処理
原稿有無判定処理は、台座１３に原稿４が載置されているか否かを判定する処理である。この処理は、台座登録処理を行う前と書画撮影を行う前とにおいて行われる。

画像処理装置２０３は、原稿４の有無判定を行うため、縮小画像の作成処理を実行して、撮影画像から、図８（ａ）に示すような縮小画像ｑを生成する。次に、画像処理装置２０３は、２値エッジ画像の作成処理を実行して図８（ｂ）に示すようなエッジ画像ｑjを作成し、台座１３に刻印された十字マーク１４に対応する十字エッジ画像１４jの検出処理を行う。

画像処理装置２０３は、エッジ画像ｑjの中央部分を縦走査方向と横走査方向とに走査して画素数のヒストグラムを作成して、十字エッジ画像１４jの検出処理を実行する。画像処理装置２０３は、図８（ｂ）に示すように、中央部分Area_1内の２値エッジ画像をｆj(x,y)として、２値エッジ画像ｆj(x,y)を縦走査方向に走査して、中央部分Area_1(x1≦x≦x2,y1≦y≦y2)の縦走査方向の画素数をカウントする。

同様に、画像処理装置２０３は、中央部分Area_1内の２値エッジ画像ｆj(x,y)を横走査方向に走査して、中央部分Area_1の横走査方向の画素数をカウントする。縦走査方向、横走査方向のカウント数は、次の数２３によって表される。

数２３に従って、画像処理装置２０３は、図８（ｃ）に示すように、中央部分Area_1の縦走査方向の画素数のヒストグラムHvを作成する。横走査方向についても、画像処理装置２０１は、同様にヒストグラムHhを作成する。

ヒストグラムHvの場合、画像処理装置２０３は、数２３に従って作成したヒストグラムHvの画素数に対して、図８（ｃ）の破線で示すような閾値Hv_thを設定する。この閾値Hv_thは、十字エッジ画像１４jによる縦走査方向の画素数のピーク値を検出するために予め設定された閾値である。メモリ２０１は、この閾値Hv_thと、横走査方向のヒストグラムHvの画素数に対して予め設定された閾値Hh_thと、を閾値記憶領域２０１ｅに記憶する。

画像処理装置２０３は、ヒストグラムHv，Hhに基づいて十字エッジ画像１４jの検出処理を行う。図８（ｂ）に示すように、撮影画像に十字エッジ画像１４jが含まれている場合、図８（ｃ）に示すように、十字エッジ画像１４jの幅に対応する間隔で、予め設定された閾値Hv_thを越えるような２つのピーク値が現れる。

縦走査方向、横走査方向において、それぞれ、２つのピーク値が閾値Hv_th、Hh_thを越えた場合、画像処理装置２０３は、十字エッジ画像１４jが検出されたと判定する。一方、それぞれ、閾値Hv_th、Hh_thを越えるような２つのピーク値がなければ、画像処理装置２０３は、十字エッジ画像１４jが検出されなかったと判定する。画像処理装置２０３は、十字エッジ画像１４jが検出されなかったと判定した場合、台座１３に原稿４が載置されていると判定する。

一方、十字エッジ画像１４jが検出されたと判定した場合、この十字マーク１４が台座１３に刻印されたものなのか、原稿４に記載されたものなのかを判定する必要がある。このため、画像処理装置２０３は、十字マーク１４を除いた台座１３の領域部分のエッジ数に基づいて、台座１３に原稿４が載置されているか否かを判定する。

まず、画像処理装置２０３は、図９（ａ）に示すようなマスクパターンｗを用いて図９（ｂ）に示すような台座切り出し画像ｔを取得する。このマスクパターンｗは、台座画像１３qの輪郭内側であって領域Area_1を除いた領域Area_2を有する。マスクパターンｗは、一種の２値画像であり、領域Area_2の画素値が１となるようなパターンである。

尚、台座登録処理を行う前の原稿有無判定処理では、台座１３の位置が不明であるため、画像処理装置２０３は、予め設定されたマスクパターンｗを用いて台座切り出し画像ｔを取得する。メモリ２０１は、処理画像記憶領域２０１ｂにこのマスクパターンｗを予め記憶する。

一方、書画撮影を行う前の原稿有無判定処理では、画像処理装置２０３は、後述する台座登録処理において生成されたマスクパターンｗを用いて台座切り出し画像ｔを取得する。このマスクパターンｗによって生成された台座切り出し画像ｔの外側の境界は、取得した台座画像１３ｑの輪郭から、マージンを有するように設定される。また内側の境界は、カメラ部１１の傾きが変わっても、十字エッジ画像１４ｊが除去されるように設定される。

また、メモリ２０１の処理画像記憶領域２０１ｂに記憶されたマスクパターンｗの領域Area_2は、台座登録処理において生成されたマスクパターンｗと比較して、狭くなるように設定されている。

このように設定されるのは、台座１３の位置が不明であるため、台座画像１３qによる輪郭、十字エッジ画像１４jを検出しないようにするためである。即ち、領域Area_2によって囲まれた領域は、台座登録処理において生成されたマスクパターンｗと比較して広くなっており、また、領域Area_2の外側の境界は、台座登録処理において生成されたマスクパターンｗの境界よりも内側に設定されている。

台座切り出し画像ｔを取得するための演算式は、次の数２４によって表され、画像処理装置２０３は、数２４に従って、台座切り出し画像ｔを取得する。
領域Area_2内のエッジの画素値を１とすると、台座切り出し画像ｔは、その領域内のエッジ情報を表すことになる。

画像処理装置２０３は、このマスクパターンｗを用いて生成した台座切り出し画像ｔを取得し、さらに、台座切り出し画像ｔ内のエッジを構成する画素の画素数を計数する。台座切り出し画像ｔ内のエッジ総数Ecountは、数２５によって表され、画像処理装置２０３は、数２５に従って、エッジ総数Ecountを取得する。

ここで、台座１３にごみが付着していたり、台座１３に傷があったりすると、ごみや傷等によるエッジを、原稿４に記載された文字や図形によるエッジであると誤判定してしまう。このような誤判定を防止するため、画像処理装置２０３は、予め設定された閾値Ecount_thと検出したエッジ総数Ecountとを比較して、台座１３に原稿４が載置されているか否かを判定する。

傷等による画像のエッジ数は、台座１３に原稿４が載置された場合に検出されたエッジの数と比較して著しく少なくなる。従って、閾値Ecount_thとエッジ総数Ecountとを比較することにより、検出されたエッジが台座１３に付着したごみや、台座１３の傷等によるものなのか、原稿４に記載された文字や図形によるものなのかを判定することができる。

メモリ２０１は、この閾値Ecount_thを予め閾値記憶領域２０１ｅに記憶する。エッジ総数Ecountが閾値Ecount_th以上であれば、検出されたエッジは、原稿４に記載された文字や図形によるものであり、画像処理装置２０３は、台座１３に原稿４が載置されていることを示すため、原稿４の有無判別用の原稿有無結果フラグのフラグ値をセットして、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。

一方、画像処理装置２０３は、エッジ総数Ecountが閾値Ecount_th未満であれば、検出されたエッジが台座１３に付着したごみや、台座１３の傷等によるものと判定する。即ち、画像処理装置２０３は、台座１３に原稿４が載置されていないと判定する。

（８）台座登録処理
台座登録処理は、書画撮影を始める前に、予め、図８（ａ）に示すような縮小画像ｑと図９（ａ）に示すようなマスクパターンｗとを作成して登録する処理である。

画像処理装置２０３は、原稿４が載置されていない状態で台座１３を撮影して得られた撮影画像から縮小画像を生成する。この場合、画像処理装置２０３は、センサ画像記憶領域２０１ａに記憶されている低解像度画像を用いて縮小画像を生成する。画像処理装置２０３は、この縮小画像をメモリ２０１の処理画像記憶領域２０１ｂに保存する。画像処理装置２０３は、保存した画像を、台座１３とともに台座１３に載置された原稿４を撮影したときの撮影画像と比較するための比較画像rに用いる。

次に、画像処理装置２０３は、マスクデータｗを生成するため、縮小画像ｑから台座画像１３qの輪郭を取得する。画像処理装置２０３は、取得した台座画像１３qの輪郭によって特定される台座１３の形状としての矩形の４つの頂点を求める。画像処理装置２０３は、求めた４つの頂点座標をメモリ２０１の作業データ記憶領域２０１ｄに格納する。

画像処理装置２０３は、取得した台座画像１３qの輪郭から図９（ａ）に示すようなマスクパターンｗを作成する。前述のように、画像処理装置２０３は、領域Area_2の外側の境界を、取得した台座画像１３qの輪郭からマージンを有するように設定する。また、画像処理装置２０３は、カメラ部１１の傾きが変わっても、十字エッジ画像１４jが除去されるように、内側の境界を設定する。画像処理装置２０３は、このように作成したマスクパターンｗをメモリ２０１の処理画像記憶領域２０１ｂに保存する。

尚、画像処理装置２０３は、台座画像１３qの輪郭の取得に失敗した場合、台座登録結果判別用のフラグとして、台座登録結果フラグのフラグ値をリセットして、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する、一方、成功した場合、画像処理装置２０３は、台座登録結果フラグのフラグ値をセットして、このフラグ値を作業データ記憶領域２０１ｄに記録する。

（９）動画投影処理
動画投影処理は、原稿４が載置される前、あるいは原稿４の差し替えを行っているときに、プロジェクタ２を介してリアルタイムに現在の画像を投影する処理である。

画像処理装置２０３は、画像データ生成部２１から取り込まれた低解像度画像をメモリ２０１のセンサ画像記憶領域２０１ａから読み出し、同じメモリ２０１内の表示画像記憶領域２０１ｃにコピーして画像圧縮処理を行う。

（１０）原稿投影処理
原稿投影処理は、原稿４が載置されて静止しているときに、プロジェクタ２に図２３（ｃ）に示すような変換画像をスクリーン３に投影させる処理である。

画像処理装置２０３は、図２３（ｃ）に示すような変換画像を生成するため、画像変換処理を実行して原稿４の画像を切り出す。この際、台座画像１３qの輪郭が原稿画像４qの輪郭の認識に影響を及ぼすため、画像処理装置２０３は、図１０（ａ）に示すような縮小画像ｑ（本画像）に含まれる台座画像１３qの輪郭を除去する。

この台座画像１３qの輪郭を除去する処理について説明する。
台座画像１３qの輪郭を除去するには、低解像度画像が用いられる。画像処理装置２０３は、原稿投影処理時に、台座１３及び原稿４の撮影を行い、撮影によって低解像度画像を取得し、縮小画像の作成処理を実行する。画像処理装置２０３は、図１０（ａ）に示すような縮小画像ｑ（本画像）を生成する。画像処理装置２０３は、この縮小画像ｑとメモリ２０１の処理画像記憶領域２０１ｂに保存した比較画像ｒとの差分画像を生成することにより、台座画像１３qの輪郭を除去し、原稿画像４qの輪郭を特定する。

尚、縮小画像ｑは、縮小画像ｑの各画素の画素値を表すものとする。後述する差分画像ｄ、２値エッジ画像ｇ１、エッジ画像ｇについても同様にそれぞれの各画素の画素値を表すものとする。

画像処理装置２０３は、生成した縮小画像ｑと、メモリ２０１の処理画像記憶領域２０１ｂに保存した比較画像ｒとの縮小した差分画像ｄを生成する。

差分画像ｄを生成する場合、比較画像ｒを取得したときと、原稿投影処理の実行時とで、照明等の撮影状態が異なっている場合がある。また、カメラ部１１の位置ずれが発生している場合もある。

画像処理装置２０３は、このように撮影条件が異なっている場合、あるいは、位置ずれが発生している場合であっても、差分画像ｄを正しく生成するため、まず、縮小画像の画素数を６４０×４８０として、差分画像の差分エラー評価式を次の数２６に示すように定義し、差分エラーE(i,j)を求める。

そして、画像処理装置２０３は、数２６において、ｉを、ｉ＝−３から＋３まで変化させ,また、ｊを、ｊ＝−３から＋３を変化させ、差分エラーＥr(i<j)が最小となるような(i,j)の組み合わせを探す。

このようにして得られた(i,j)が画像のずれベクトルになる。画像処理装置２０３は、数２８に従って画像のずれベクトル(i,j)を取得すると、このずれベクトル(i,j)に基づいて画像ずれを補正した差分画像ｄを生成する。画像ずれを補正した差分画像ｄは、次の数２７によって表される。

例えば、縮小画像ｑ、比較画像ｒが、それぞれ、図１０（ａ）、（ｂ）に示すような画像であるとすると、画像処理装置２０３は、数２６、数２７に従って、図１０（ｃ）に示すような差分画像ｄを生成する。

この比較画像ｒと縮小画像ｑとの間の差が小さければ、振動による若干の画像ずれは、差分画像ｄを生成することによって補正され、台座１３等の画像成分は除去される。

しかし、カメラ部１１が回転して位置が大きくずれたり、照明環境が変わったりした場合、台座画像１３qの輪郭の除去が不十分な場合もある。

このため、画像処理装置２０３は、エッジフィルタを第２のフィルタとして用いて、さらに台座画像１３qの輪郭を除去する処理を行う。このエッジフィルタとして、画像処理装置２０３は、細いエッジには応答せずに、ある程度の幅を有する境界部に反応するようなフィルタを用いる。

まず、画像処理装置２０３は、２値エッジ画像の作成処理を実行して、図１０（ｄ）に示すような２値エッジ画像ｇ１を作成する。２値エッジ画像ｇ１は、図１０（ｃ）に示す差分画像ｄに含まれているエッジからなるエッジ画像である。

画像処理装置２０３は、２値エッジ画像ｇ１(i,j)＝１となるような座標(i,j)を探し、差分画像ｄの座標(i,j)におけるエッジ量ｇ２(i,j)を、次の数２８に従って求める。
数２８に示す式は、各画素のうち、ある画素に着目して、その画素値を、縦方向の前後に、それぞれ、４点ずつ検査して、その最大値を求める式である。検査した領域が着目画素の周辺領域になる。この数３０に従って求められたエッジ量ｇ２(i,j)は、検査した画素の画素値の変化が大きいほど、大きな値になる。一方、残存する台座画像１３qの輪郭のように、隣り合う２点間でのみ変化するような細かいエッジでは、エッジ量ｇ２(i,j)は、さほど大きな値を示さない。

次に、画像処理装置２０３は、エッジ量ｇ２(i,j)と、エッジ量ｇ２(i,j)に対して予め設定された閾値g2_thとを比較し、２値エッジ画像ｇ１に対し、数２９に従ってフィルタリングを行う。

尚、メモリ２０１は、この閾値g2_thを、閾値記憶領域２０１ｅに予め記憶する。エッジ量ｇ２(i,j)と閾値g2_thとの比較の結果、エッジ量ｇ２(i,j)が閾値g2_th未満となるような座標(k,l)におけるエッジ画像ｇ１は、細いエッジを表す。

このため、画像処理装置２０３は、このような画素の画素値を０にクリアする。このようなフィルタリングを行うことにより、画像処理装置２０３は、最終的な座標(x,y)における画像として、図１０（ｅ）に示すように、残存する台座画像１３qの輪郭が除去（削除）されたエッジ画像ｇを取得する。

画像処理装置２０３は、台座画像１３qの輪郭によるエッジを除去すると、エッジ画像ｇから、原稿画像４qの矩形領域（４つの頂点）を取得する。原稿画像４qの輪郭の取得に成功した場合、画像処理装置２０３は、取得した矩形領域の４頂点を原稿画像４qを切り出す際の４頂点として、その座標データをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。また、画像処理装置２０３は、矩形取得結果判別用のフラグとして、矩形取得結果フラグのフラグ値をセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。

一方、画像処理装置２０３は、原稿画像４qの輪郭の取得に失敗した場合、台座画像１３qの輪郭を切り出しの４頂点として、その座標データをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。また、画像処理装置２０３は、矩形取得結果フラグのフラグ値をリセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。

次に、画像処理装置２０３は、取得された頂点座標の値を、高解像度画像の座標系に変換する。例えば、エッジ画像ｇから取得した４つの頂点をそれぞれ(xi,yi) （i=0,1,2,3）とする。また、低解像度画像の縮小画像の画素サイズを(xsmax x ysmax)、高解像度画像の画素サイズを(xhmax x yhmax)であるとすると、高解像度画像での矩形輪郭の頂点(x'i,y'i) （i=0,1,2,3）は次の数３０で求められる。

画像処理装置２０３は、この座標データと高解像度画像データとを用いて、前述の画像変換処理を実行して原稿画像４qの切り出しと正面画像への補正を行う。また、画像処理装置２０３は、補正された画像に対して、前述の画像の鮮明化処理を実行して、原稿画像４qを視認性の高い画像に変換する。

画像処理装置２０３は、このように変換した画像データを、メモリ２０１内の表示画像記憶領域２０１ｃに記録し、記録した画像データに対して、前述の画像の圧縮処理を実行する。

図３に戻り、操作部２０４は、ユーザの操作情報を取得するためのものであり、撮影装置の機能を制御するためのスイッチ、キーとして、電源スイッチと、モードスイッチと、シャッターと、画像調整キーと、撮影／解除キーと、キャリブレーションキーと、を備える（図示せず）。

電源スイッチは、書画カメラ１の電源をオン（ＯＮ）、オフ（ＯＦＦ）するためのものである。
モードスイッチは、撮影モードとして動画動作モード又は静止画モードへの設定を指示するためのスイッチである。動画動作モードは、低解像度でカメラ撮影を行うモードであり、リアルタイム性を重視したモードである。動画動作モードが指定されると、現在の画像がリアルタイムに投影される。静止画モードは、高解像度でカメラ撮影を行うモードであり、解像度を重視するモードである。静止画モードが指定されると、現在の画像が高解像度で投影される。

シャッターは、撮影時に押下するスイッチである。画像調整キーは、画像処理を行うとき又は画像処理された画像の調整を行うときに操作するキーであり、複数のキーからなる。

キャリブレーションキーは、キャリブレーションを要求するときにユーザが操作するキーである。キャリブレーションは、撮影によって得られた画像から、台座画像１３qの輪郭を調べ、この台座画像１３qの輪郭を登録する処理である。台座画像１３qの輪郭を登録して、この輪郭をマスクすることにより、原稿画像４qの切り出しを精度良く行うことが可能になる。

操作部２０４は、ユーザがスイッチ、キーを操作したときの操作情報をＣＰＵ２０７に出力する。また、メモリ２０１は、キャリブレーションの要求の有無を判別するためのキャリブレーション要求フラグのフラグ値を作業データ記憶領域２０１ｄに記憶する。そして、操作部２０４は、キャリブレーションキーが押下されると、メモリ２０１の作業データ記憶領域２０１ｄに記憶されたキャリブレーション要求フラグのフラグ値をセットする。

支柱傾き変化検出部２０５は、図１に示す支柱１２の傾きなどを切り替えた場合に、その支柱１２の傾きの変化を検出するためのものである。支柱傾き変化検出部２０５は、例えば、重力加速度計等を備え、機構的に支柱１２の動作を検出する。支柱傾き変化検出部２０５は、支柱１２の傾きの変化を検出した場合、メモリ２０１の作業データ記憶領域２０１ｄに記憶されているキャリブレーション要求フラグのフラグ値をセットする。

プログラムコード記憶装置２０６は、ＣＰＵ２０７が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ２０７は、プログラムコード記憶装置２０６に格納されているプログラムに従って、各部を制御する。

具体的には、ＣＰＵ２０７は、後述するカメラ基本処理を実行する。ＣＰＵ２０７は、カメラ基本処理において、各部の初期化を行う。即ち、ＣＰＵ２０７は、光学レンズ装置１０１の周辺回路の初期化、光学レンズ装置１０１の焦点、ズームレンズ位置、絞りなどのカメラ設定と、ビデオ出力装置２０２等の初期化と、を行う。
また、ＣＰＵ２０７は、メモリ２０１の初期化、通信、画像処理等に用いるデータの初期化、キャリブレーション要求フラグのセット、動画動作モードのセットを行う。

さらに、ＣＰＵ２０７は、カメラ撮影を行うための条件に関する各データの初期化として、カメラのフォーカス、シャッター速度（露光時間）、絞りなどの露出、ホワイトバランス、ＩＳＯ感度等の初期化、オートフォーカス測定、測光などを行い、撮影が最適になる条件を探して初期化を行う。

ＣＰＵ２０７は、このような初期化を行うと、低解像度でのカメラ撮影を行い、画像変化量ＭＤを求め、被写体に動きがあったか否かを判定する。この画像変化量ＭＤは、新たに撮影した画像が前回撮影した時の画像と比較してどれぐらい変化したかを示す量である。ＣＰＵ２０７は、次の数３１に基づいて、画像変化量ＭＤを求める。

尚、全画素の総和を求めるには、計算量が多いので、ＣＰＵ２０７は、いくつかの画素を抜き出して画像変化量ＭＤを求めるようにしてもよい。

ＣＰＵ２０７は、撮影範囲内の被写体に動きがあるか否かの判定を、この画像変化量ＭＤと予め設定された閾値MD_thとを比較することにより行う。閾値MD_thは、この判定を行うために予め設定されたものであり、メモリ２０１は、この閾値MD_thを閾値記憶領域２０１ｅに記憶する。

原稿４を差し替えた場合、撮影画像は変化し、画像変化量ＭＤは閾値MD_thを越える。ＣＰＵ２０７は、画像変化量ＭＤが閾値MD_thを越えていれば、撮影範囲内の被写体に動きがあると判定し、閾値MD_th以下であれば、撮影範囲内の被写体に動きがないと判定する。

ＣＰＵ２０７は、撮影範囲内の被写体に動きがあると判定すると、撮影モードを動画動作モードに設定する。

ＣＰＵ２０７は、動画動作モードにおいて、例えば、画像解像度がＸＧＡ（１０２４×７６８ドット）程度の画像を３０ｆｐｓ（フレーム/秒）の速さで動画投影を行なうように、各部を制御する。また、ＣＰＵ２０７は、動画動作モードに設定すると、画像処理装置２０３に動画投影処理を実行させる。

一方、原稿４が台座１３に載置されたまま、スクリーン３に原稿画像４qを投影している場合のように、撮影範囲内の被写体に動きがないと判定すると、ＣＰＵ２０７は、静止処理を実行する。

ＣＰＵ２０７は、静止処理において、メモリ２０１の作業データ記憶領域２０１ｄに記憶されているキャリブレーション要求フラグのフラグ値に基づいてキャリブレーション要求の有無を判定する。

キャリブレーション要求フラグがセットされていれば、ＣＰＵ２０７は、キャリブレーション要求があったと判定して、画像処理装置２０３に、原稿有無判定処理、台座登録処理を実行させる。

尚、ＣＰＵ２０７は、画像処理装置２０３に台座登録処理を実行させる前に、撮影条件を最適化して画像データ生成部２１に低解像度撮影を行わせる。ＣＰＵ２０７は、このときの撮影条件を基準撮影条件としてメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

そして、ＣＰＵ２０７は、差分画像を生成するときに、この基準撮影条件を作業データ記憶領域２０１ｄから読み出して、読み出した基準撮影条件で画像データ生成部２１に低解像度撮影を行わせる。

このように、ＣＰＵ２０７は、台座登録処理において比較画像ｒを生成するときの撮影条件と差分画像ｄを生成するときの撮影条件とが同じになるように画像データ生成部２１を制御し、良好な差分画像ｄを取得できるようにする。

次に、ＣＰＵ２０７は、メモリ２０１の作業データ記憶領域２０１ｄに記憶されている台座登録結果フラグ、原稿有無結果フラグ、矩形取得結果フラグの各フラグ値に基づいて、各処理結果の成功、失敗を判別する。

ＣＰＵ２０７は、キャリブレーション要求フラグがセットされたまま、台座登録結果フラグがリセットされている場合、台座登録に失敗したと判定して、警告を発する。警告は、例えば、音声による警告であっても、書画カメラ１の液晶ディスプレイ（図示せず）への表示による警告であってもよい。

ＣＰＵ２０７は、セットされたキャリブレーション要求フラグがリセットされると、画像処理装置２０３に、原稿有無判定処理を実行させ、撮影モードを静止画モードに設定する。

ＣＰＵ２０７は、静止画モードにおいて、カメラ部１１で高解像度の画像撮影を行わせる。そして、ＣＰＵ２０７は、動画動作モード時よりも解像度が高く、より鮮明な原稿画像４qを取得する。そして、ＣＰＵ２０７は、この高解像度の静止画像の投影を行うように、各部を制御する。即ち、カメラ部１１が撮影解像度３００万画素のカメラである場合、ＣＰＵ２０７は、切り出した投影画像としてＸＧＡ（１０２４×７６８）の静止画像を生成するにように各部を制御する。

図１に戻り、プロジェクタ２は、書画撮影の場合に、書画カメラ１から供給された画像データを投影光に変換し、スクリーン３にこの投影光を照射して原稿画像４qをスクリーン３上に結像させるものである。

次に本実施形態に係る撮影装置の動作を説明する。
ユーザが書画カメラ１の電源をＯＮすると、書画カメラ１のＣＰＵ２０７は、プログラムコード記憶装置２０６からプログラムコードを読み出してカメラ基本処理を実行する。

このカメラ基本投影処理の内容を図１１に示すフローチャートに従って説明する。
ＣＰＵ２０７は、光学レンズ装置１０１の周辺回路を制御して、光学レンズ装置１０１の焦点、ズームレンズ位置、絞りなどのカメラ設定と、ビデオ出力装置２０２等の初期化と、を行う（ステップＳ１１）。

ＣＰＵ２０７は、メモリ２０１の初期化、通信、画像処理等に用いるデータの初期化を行うとともに、キャリブレーション要求フラグをセットし、撮影モードを動画動作モードにセットする（ステップＳ１２）。

次に、ＣＰＵ２０７は、撮影が最適になる条件を探して最適条件となるように、各データの初期化を行う（ステップＳ１３）。

ＣＰＵ２０７は、画像データ生成部２１を制御して、低解像度でのカメラ撮影を行わせる（ステップＳ１４）。

ＣＰＵ２０７は、既にメモリ２０１のセンサ画像記憶領域２０１ａに記憶されている前回の画像データと、イメージセンサ１０２が新たに取り込んだ画像データとの画像変化量ＭＤを、数３６を用いて求める（ステップＳ１５）。

ＣＰＵ２０７は、次に撮影する画像と比較するための画像データとして、イメージセンサ１０２が取り込んだ画像データをメモリ２０１のセンサ画像記憶領域２０１ａに記憶させる（ステップＳ１６）。

ＣＰＵ２０７は、メモリ２０１の閾値記憶領域２０１ｅから閾値MD_thを読み出し、求めた画像変化量ＭＤと読み出した閾値MD_thとを比較することにより、撮影範囲内の被写体に動きがあるか否かを判定する（ステップＳ１７）。

画像変化量ＭＤが閾値MD_thを越えている場合、ＣＰＵ２０７は、撮影範囲内の被写体に動きがあると判定する（ステップＳ１７においてＹｅｓ）。この場合、ＣＰＵ２０７は、撮影モードを動画動作モードに設定する（ステップＳ１８）。

ＣＰＵ２０７は、撮影モードを動画動作モードに設定すると、画像処理装置２０３に動画投影処理を実行させる（ステップＳ１９）。画像処理装置２０３は、図１２に示すフローチャートに従って動画投影処理を実行する。

即ち、画像処理装置２０３は、低解像度画像データを、メモリ２０１のセンサ画像記憶領域２０１ａから読み出して、同じメモリ２０１内の表示画像記憶領域２０１ｃにコピーする（ステップＳ３１）。

画像処理装置２０３は、メモリ２０１内の表示画像記憶領域２０１ｃに記憶された画像データを圧縮する（ステップＳ３２）。
ビデオ出力装置２０２は、圧縮した画像データをプロジェクタ２に供給する（ステップＳ３３）。

画像処理装置２０３が動画投影処理を実行すると、ＣＰＵ２０７は、再度、画像データ生成部２１を制御して、低解像度でのカメラ撮影を行わせ、画像変化量ＭＤを求めて撮影画像の保存を行う（図１１のステップＳ１４〜Ｓ１６）。

画像変化量ＭＤが閾値MD_th以下の場合、ＣＰＵ２０７は、撮影範囲内の被写体に動きがないと判定する（ステップＳ１７においてＮｏ）。この場合、ＣＰＵ２０７は、撮影モードが動画動作モードであるか否かを判定する（ステップＳ２０）。

被写体に動きがなく、撮影モードも動画動作モードではないと判定した場合（ステップＳ１７においてＮｏ、ステップＳ２０においてＮｏ）、ＣＰＵ２０７は、撮影モードが静止画モードになっているか否かを判定する（ステップＳ２１）。

静止画モードになっていると判定した場合（ステップＳ２１においてＹｅｓ）、ＣＰＵ２０７は、高解像度の静止画像を既に取得しているとして、現在の静止画像をメモリ２０１のセンサ画像記憶領域２０１ａに保持し続ける。

静止画モードにはなっていないと判定した場合（ステップＳ２１においてＮｏ）、現在、動画投影を行っている状態であるので、ＣＰＵ２０７は、再度、画像処理装置２０３に動画投影処理を実行させる（ステップＳ１９）。

一方、被写体に動きがなく、撮影モードが動画動作モードであると判定した場合（ステップＳ１７においてＮｏ、ステップＳ２０においてＹｅｓ）、ＣＰＵ２０７は、動いていた被写体が静止したと判定する。ＣＰＵ２０７は、このように判定すると、図１３に示すフローチャートに従って静止処理を実行する（ステップＳ２２）。

ＣＰＵ２０７は、メモリ２０１の作業データ記憶領域２０１ｄに記憶されているキャリブレーション要求フラグのフラグ値を参照し、この値に基づいて、キャリブレーション要求の有無を判定する（ステップＳ４１）。

キャリブレーション要求フラグがセットされている場合、ＣＰＵ２０７は、キャリブレーション要求があったと判定する（ステップＳ４１においてＹｅｓ）。この場合、ＣＰＵ２０７は、画像処理装置２０３に原稿有無判定処理を実行させる（ステップＳ４２）。

画像処理装置２０３は、図１４に示すフローチャートに従って原稿有無判定処理を実行する。
即ち、画像処理装置２０３は、撮影画像から、図８（ａ）に示すような縮小画像ｑを生成する（ステップＳ６１）。

画像処理装置２０３は、図８（ｂ）に示すようなエッジ画像ｑjを作成する（ステップＳ６２）。
画像処理装置２０３は、エッジ画像ｑjから、数２３を用いて、縦走査方向と横走査方向とのヒストグラムHh，Hvを作成し、ピーク値を検出し、十字マークの検出処理を行う（ステップＳ６３）。

画像処理装置２０３は、メモリ２０１の閾値記憶領域２０１ｅから閾値Hv_th，Hh_thを読み出し、それぞれ、縦走査方向のピーク値と閾値Hv_th、横走査方向のピーク値と閾値Hh_th、を比較し、その比較結果に基づいて、十字マークが検出されたか否かを判定する（ステップＳ６４）。

画像処理装置２０３は、縦走査方向のピーク値が閾値Hv_th以下であるか、横走査方向のピーク値が閾値Hh_th以下である場合（ステップＳ６４においてＮｏ）、十字マークは検出されなかったと判定する。

画像処理装置２０３は、十字マークが検出されなかったと判定すると、台座１３に原稿４が載置されていると判定して原稿有無結果フラグをセットする（ステップＳ６９）。画像処理装置２０３は、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。

一方、十字マークが検出されたと判定した場合（ステップＳ６４のＹｅｓ）、画像処理装置２０３は、さらに、この十字マークが台座１３に刻印されたものなのか、原稿４に記載されたものなのかを判定する。このため、画像処理装置２０３は、マスクパターンｗとエッジ画像ｑjとから、数２４を用いて、台座切り出しエッジ画像ｔを作成する（ステップＳ６５）

このとき、台座登録処理前であるため、画像処理装置２０３は、メモリ２０１の処理画像記憶領域２０１ｂから、予め記憶されているマスクパターンｗを読み出して台座切り出しエッジ画像ｔを作成する。前述のように、台座登録処理前では、台座１３の位置が不明であるため、予め記憶されたマスクパターンｗの領域Area_2は、台座登録処理において生成されたマスクパターンｗのものと比較して、狭くなるように設定されている。

画像処理装置２０３は、この台座切り出しエッジ画像ｔから、エッジを構成する画素の画素数をカウントし、数２５に従って、エッジ総数Ecountを取得する（ステップＳ６６）。

画像処理装置２０３は、取得したエッジ総数Ecountと閾値Ecount_thとを比較してエッジ総数Ecountが閾値Ecount_th未満か否かを判定する（ステップＳ６７）。

カウントしたエッジ総数Ecountが閾値Ecount_th未満であると判定した場合（ステップＳ６７においてＹｅｓ）、画像処理装置２０３は、台座１３に原稿４は載置されていないものとして原稿有無結果フラグのフラグ値をリセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する（ステップＳ６８）。

一方、カウントしたエッジ総数Ecountが閾値Ecount_th以上と判定した場合（ステップＳ６７においてＮｏ）、画像処理装置２０３は、台座１３に原稿４は載置されているものとして原稿有無結果フラグのフラグ値をセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。（ステップＳ６９）。

ＣＰＵ２０７は、原稿有無結果フラグのフラグ値に基づいて、台座１３に原稿４が載置されているか否かを判定する（図１３のステップＳ４３）。
原稿有無結果フラグがセットされている場合、ＣＰＵ２０７は、台座１３に原稿４が載置されていると判定し（ステップＳ４３においてＹｅｓ）、この静止処理を終了させる。

一方、原稿有無結果フラグがリセットされている場合、ＣＰＵ２０７は、台座１３に原稿４は載置されていないと判定する（ステップＳ４３においてＮｏ）。このように判定すると、ＣＰＵ２０７は、撮影条件の最適化を行う（ステップＳ４４）。

ＣＰＵ２０７は、最適化された撮影条件の下で画像データ生成部２１に低解像度画像の撮影を行わせる（ステップＳ４５）。ＣＰＵ２０７は、イメージセンサ１０２が取り込んだ画像データをメモリ２０１のセンサ画像記憶領域２０１ａに記憶させる。

ＣＰＵ２０７は、このときの撮影条件を、差分画像ｄの生成時に用いる基準撮影条件として、この基準撮影条件をメモリ２０１の作業データ記憶領域２０１ｄに保存する。

ＣＰＵ２０７は、画像処理装置２０３に台座登録処理を実行させる（ステップＳ４７）。画像処理装置２０３は、図１５に示すフローチャートに従って台座登録処理を実行する。

即ち、画像処理装置２０３は、メモリ２０１のセンサ画像記憶領域２０１ａから、低解像度画像を読み出し、読み出した低解像度画像から、縮小画像ｑを生成する（ステップＳ７１）。

画像処理装置２０３は、生成した縮小画像ｑを比較画像ｒに用いるため、この縮小画像ｑをメモリ２０１の処理画像記憶領域２０１ｂに保存する（ステップＳ７２）。

画像処理装置２０３は、図１６に示すフローチャートに従って、矩形取得処理処理を実行する（ステップＳ７３）。

画像処理装置２０３は、メモリ２０１の処理画像記憶領域２０１ｂから縮小画像ｑを読み出し、読み出した縮小画像ｑから、２値エッジ画像ｑjを作成する（ステップＳ８１）。
画像処理装置２０３は、直線を検出するため、数８を用いてハフ変換を行う（ステップＳ８２）。

画像処理装置２０３は、４５°≦θ＜１３５°の範囲において、上下の辺を形成する直線の候補として、ρが＋、−それぞれにおいて、投票数が多い複数の座標を取得する（ステップＳ８３）。このとき、ρが＋である候補は上辺に対応し、ρが−である候補は下辺に対応する。

画像処理装置２０３は、１３５°≦θ＜２２５°の範囲において、左右の辺を形成する直線の候補として、投票数が多い複数の座標を取得する（ステップＳ８４）。このとき、ρが＋である候補は左辺に対応し、ρが−である候補は右辺に対応する。

画像処理装置２０３は、Ｘ軸方向の候補、Ｙ軸方向の候補のうち、ρの値が正と負とで互いに異なり、角度θが設定範囲内のものを検索し、その条件に合致する中で、数１０に従って面積の計算をして、最大面積のものを選択する（ステップＳ８５）。

画像処理装置２０３は、このような条件に適合する４つの直線を検索できたか否かを判定する（ステップＳ８６）。

検索できたと判定した場合（ステップＳ８６においてＹｅｓ）、画像処理装置２０３は、検索された４つの直線の交点を求める（ステップＳ８７）。画像処理装置２０３は、矩形取得に成功したものとして矩形取得結果フラグのフラグ値をセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する（ステップＳ８８）。

検索できなかったと判定した場合（ステップＳ８６においてＮｏ）、画像処理装置２０３は、原稿４の位置が正確に特定できないため、矩形取得に失敗したものとして矩形取得結果フラグのフラグ値をリセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する（ステップＳ８９）。

画像処理装置２０３は、矩形取得結果フラグのフラグ値に基づいて台座画像１３qの輪郭を検出できたか否かを判定する（図１５のステップＳ７４）。

矩形取得結果フラグがリセットされている場合、画像処理装置２０３は、台座画像１３qの輪郭検出に失敗したと判定する（ステップＳ７４においてＮｏ）。このように判定すると、画像処理装置２０３は、台座登録結果フラグのフラグ値をリセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。

一方、矩形取得結果フラグがセットされている場合、画像処理装置２０３は、台座画像１３qの輪郭検出に成功したと判定する（ステップＳ７４においてＹｅｓ）。このように判定すると、画像処理装置２０３は、取得した輪郭から頂点を求め、求めた頂点の座標をメモリ２０１に保存する（ステップＳ７６）。

画像処理装置２０３は、取得した輪郭からマスクパターンｗを生成し、生成したマスクパターンｗをメモリ２０１の処理画像記憶領域２０１ｂに保存する（ステップＳ７７）。

画像処理装置２０３は、台座登録結果フラグのフラグ値をセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する（ステップＳ７８）。

このようにして、画像処理装置２０３が台座登録処理を実行すると、ＣＰＵ２０７は、メモリ２０１の作業データ記憶領域２０１ｄに記録された台座登録結果フラグのフラグ値に基づいて、台座１３の登録が成功したか否かを判定する（図１３のステップＳ４８）。

台座登録結果フラグがセットされている場合、ＣＰＵ２０７は、台座１３の登録に成功したと判定する（ステップＳ４８においてＹｅｓ）。このように判定すると、ＣＰＵ２０７は、メモリ２０１の作業データ記憶領域２０１ｄに記憶されているキャリブレーション要求フラグのフラグ値をリセットする（ステップＳ４９）。

一方、作業データ記憶領域２０１ｄに記憶されているキャリブレーション要求フラグがセットされ、台座登録結果フラグがリセットされている場合、ＣＰＵ２０７は、台座１３の登録に失敗したと判定する（ステップＳ４８においてＮｏ）。このように判定すると、ＣＰＵ２０７は、台座１３が正しい状態になっているか否か、ユーザに注意を促すため、警告を発する（ステップＳ５０）。

次に、キャリブレーション要求フラグがリセットされている場合、ＣＰＵ２０７は、キャリブレーション要求はないと判定する（ステップＳ４１においてＮｏ）。この場合、ＣＰＵ２０７は、原稿有無判定処理を画像処理装置２０３に実行させる（ステップＳ５１）。

このとき、マスクパターンｗは、既に台座登録処理において作成済みであるため、画像処理装置２０３は、作成されたマスクパターンｗをメモリ２０１の処理画像記憶領域２０１ｂから読み出す。そして、画像処理装置２０３は、台座登録処理において作成されたマスクパターンｗを用いて台座切り出し画像ｔを取得し、原稿有無判定処理を実行する。

ＣＰＵ２０７は、原稿有無結果フラグのフラグ値に基づいて、台座１３に原稿４が載置されているか否かを判定する（ステップＳ５２）。
原稿有無結果フラグがリセットされている場合、ＣＰＵ２０７は、台座１３に原稿４が載置されていないと判定し（ステップＳ５２においてＮｏ）、この静止処理を終了させる。

一方、原稿有無結果フラグがセットされている場合、ＣＰＵ２０７は、台座１３に原稿４が載置されていると判定する（ステップＳ５２においてＹｅｓ）。そして、ＣＰＵ２０７は、メモリ２０１の作業データ記憶領域２０１ｄから、保存されている基準撮影条件を読み出す（ステップＳ５３）。

ＣＰＵ２０７は、読み出した基準撮影条件で画像データ生成部２１に低解像度撮影を行わせ、台座１３に原稿４が載置されている状態で撮影によって得られた低解像度画像をメモリ２０１の処理画像記憶領域２０１ｂに記憶する（ステップＳ５４）。

ＣＰＵ２０７は、撮影モードを静止画モードに設定する（ステップＳ５５）。
ＣＰＵ２０７は、原稿４が台座１３に載置されて撮影された結果の画像が最適になるような撮影条件を調べ、調べた撮影条件を満足するように撮影条件の最適化を行い、この撮影条件を画像データ生成部２１にセットする（ステップＳ５６）。

ＣＰＵ２０７は、画像データ生成部２１を制御して高解像度での画像撮影を行い、得られた高解像度画像を原稿画像４q切り出し用の画像として、メモリ２０１の処理画像記憶領域２０１ｂに記憶する（ステップＳ５７）。

ＣＰＵ２０７は、画像処理装置２０３にて原稿投影処理を実行させる（ステップＳ５８）。画像処理装置２０３は、図１７に示すフローチャートに従って、原稿投影処理を実行する。

即ち、画像処理装置２０３は、台座１３に原稿４が載置されている状態の低解像度画像を、メモリ２０１の処理画像記憶領域２０１ｂから読み出し、この低解像度画像から、縮小画像ｑを生成する（ステップＳ９１）。

画像処理装置２０３は、台座登録処理においてメモリ２０１の処理画像記憶領域２０１ｂに保存した画像を比較画像ｒとして読み出す。そして、画像処理装置２０３は、台座１３に原稿４が載置されている状態の縮小画像ｑと読み出した比較画像ｒとを用いて、数２６に示す差分エラーＥr(i,j)が最小となるずれベクトル(i,j)を探す。画像処理装置２０３は、検出されたずれベクトル(i,j)を用い、数２７に従って、差分画像ｄを生成する（ステップＳ９２）。

画像処理装置２０３は、生成した差分画像ｄに対して２値エッジ画像の作成処理を実行し、差分画像ｄの２値エッジ画像ｇ１を作成する（ステップＳ９３）。

画像処理装置２０３は、２値エッジ画像ｇ１をスキャンし、２値エッジ画像ｇ１(i,j)＝１となる座標(i,j)を探す。画像処理装置２０３は、２値エッジ画像ｇ１(i,j)＝１となる座標(i,j)において、数２８に従い、差分画像ｄのエッジ量ｇ２を求める。

画像処理装置２０３は、２値エッジ画像ｇ１に対し、数２９に従ってフィルタリングを行い、台座画像１３qの輪郭が除去された画像ｇを取得する（ステップＳ９４）。

画像処理装置２０３は、取得した画像ｇに対して矩形取得処理を実行し、原稿画像４qの輪郭に対応する形状としての矩形を取得する（ステップＳ９５）。
画像処理装置２０３は、矩形取得結果フラグのフラグ値に基づいて原稿画像４qの矩形を取得できたか否かを判定する（ステップＳ９６）。

矩形取得結果フラグがセットされている場合、画像処理装置２０３は、原稿画像４qの矩形を取得できたと判定する（ステップＳ９６においてＹｅｓ）。この場合、画像処理装置２０３は、検出された原稿画像４qの矩形領域の４つの頂点を切り出しを行うための４頂点として設定する（ステップＳ９７）。

矩形取得結果フラグがリセットされている場合、画像処理装置２０３は、原稿画像４qの矩形を取得できなかったと判定する（ステップＳ９６においてＮｏ）。この場合、画像処理装置２０３は、台座画像１３qの輪郭を切り出し領域として設定し、台座画像１３qの輪郭によって特定される矩形の４つの頂点を切り出しの４頂点として設定する（ステップＳ９８）。

画像処理装置２０３は、数３０に従い、設定された４つの頂点座標の値を高解像度画像の座標系に変換し、変換した座標と、高解像度画像データとに基づいて、原稿画像４qの切り出しと正面画像への補正を行う（ステップＳ９９）。

ここで、原稿４が台座１３の縁に合わせて載置された場合の切り出しまでの処理を図１８に基づいて説明する。
原稿４が台座１３の縁に合わせて載置された場合、画像処理装置２０３は、本画像として、図１８（ａ）に示すような縮小画像ｑを生成する（ステップＳ９１の処理）。

画像処理装置２０３は、この縮小画像ｑと比較画像ｒとを用いて、数２７に従って、図１８（ｂ）に示すような差分画像ｄを生成する（ステップＳ９２の処理）。

画像処理装置２０３は、図１８（ｂ）に示すような差分画像ｄから、エッジフィルタによるフィルタリングを行うことにより、図１８（ｃ）に示すような画像ｇを取得する（ステップＳ９４の処理）。そして、画像処理装置２０３は、画像変換処理を実行して、図１８（ｄ）に示すような原稿画像４qを切り出す（ステップＳ９５〜Ｓ９９の処理）。

画像処理装置２０３は、補正された正面画像に対して画像の鮮明化処理を行い、正面画像を視認性の高い画像に変換する（ステップＳ１００）。

画像処理装置２０３は、画像の鮮明化処理を行った正面画像のデータを、メモリ２０１の表示画像記憶領域２０１ｃに記録する（ステップＳ１０１）。

画像処理装置２０３は、表示画像記憶領域２０１ｃに記録された画像データに対し、画像の圧縮処理を行う（ステップＳ１０１）。
ビデオ出力装置２０２は、表示画像記憶領域２０１ｃに記憶された画像データをプロジェクタ２に供給する（ステップＳ１０２）。プロジェクタ２は、供給された画像データに従って画像をスクリーン３に投影する。

画像処理装置２０３がこのような原稿投影処理を実行すると、ＣＰＵ２０７は、撮影条件を基準に戻す（図１３のステップＳ５９）。

ＣＰＵ２０７は、このようにして静止処理を実行すると、再度、図１１のステップＳ１４〜Ｓ２２を実行する。

以上説明したように、本実施形態によれば、画像処理装置２０３は、予め、台座１３に原稿４が載置されていない状態で撮影を行って比較画像ｒを取得する。そして、画像処理装置２０３は、台座１３に原稿４が載置された状態の縮小画像ｑと比較画像ｒとを比較して、差分画像ｄを取得する。画像処理装置２０３は、差分画像ｄを用いて台座画像１３qの輪郭を除去し、原稿画像４qの輪郭を取得するようにした。

従って、原稿４が台座１３の縁に合わせて載置された場合であっても、原稿画像４qの輪郭を正しく取得することができる。

また、ＣＰＵ２０７は、比較画像ｒを生成するときの撮影条件と差分画像ｄを生成するときの撮影条件とを、基準撮影条件として一致させて、画像データ生成部２１に低解像度撮影を行わせるようにした。従って、画像処理装置２０３は、良好な差分画像ｄを生成することができる。

一方、ＣＰＵ２０７は、鮮明な原稿画像４qを切り出すことができるように、画像データ生成部２１に高解像度撮影を行わせるようにした。従って、画像処理装置２０３は、高解像度撮影によって得られた高解像度画像に基づいて高品質の表示画像の作成することができる。このように、２つの画像を用いて差分画像と切り出し用の画像とを生成するため、良好な差分画像の作成と、高品質な表示画像の作成の両立が可能になる。

また、画像処理装置２０３は、差分画像ｑと比較画像ｒとの差分エラーが最小となるようにずれベクトルを求め、画像ずれを補正して差分画像ｄを取得するようにした。従って、振動等により、台座１３が元の位置から若干ずれたとしても、正しく原稿画像４qの輪郭が抽出できる。このため、従来と比較して、キャリブレーションを繰り返し行う必要がなく、キャリブレーションを行う回数を低減することができる。

さらに、得られた差分画像ｄに対して、第２のフィルタとしてのエッジフィルタを適用するようにした。従って、撮影状態によって、残存する台座画像１３qの輪郭による細い線等をほぼすべて排除して、原稿画像４qの輪郭だけを良好に抽出することができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。

上記実施形態では、縮小画像、比較画像を単色の画像として説明した。しかし、縮小画像、比較画像は、カラー画像の場合もある。この場合、画像処理装置２０３は、色距離を用いて差分画像を生成する。尚、ここでは、縮小画像をＱ、比較画像をＲとして説明する。

まず、台座１３及び原稿４を撮影することによって得られた縮小画像Ｑを、Ｒ（Red；赤），Ｇ（Green；緑），Ｂ（Blue；青）の３次元の各画素値で表すものとする。台座１３のみを撮影することによって得られた比較画像Ｒも３次元のカラー画像とする。縮小画像Ｑと比較画像Ｒとの差分画像は、１次元の画像になる。

画素座標を(x,y)として、縮小画像Ｑの各画素値をベクトルで表記してＱ(x,y)とし、ベクトルの各成分であるＲＧＢ画素値を、Ｑ(x,y)＝(Ｑr(x,y)，Ｑg(x,y)，Ｑb(x,y))と表記する。

同様に、比較画像Ｒの画素座標(x,y)における各画素値をＲ(x,y)、そのＲＧＢ成分を、それぞれ、Ｒr(x,y)，Ｒg(x,y)，Ｒb(x,y)と表記する。差分画像の画素座標(x,y)における画素値はスカラー量となり、この画素値をＤ(x,y)と表記する。

前述のように、画像処理装置２０３は、台座画像１３qの輪郭を除去するため、縮小画像Ｑと比較画像Ｒとの差分画像を生成する。画像処理装置２０３は、この差分画像を生成するため、縮小画像Ｑと比較画像Ｒとの色距離を各画素毎に求め、求めた各色距離を差分画像の各差分データとする。

ある画素に着目したときに、比較する２つの画像の３次元ベクトルが全く同じ値になれば、色距離は０になる。しかし、比較する２つの画像の色が異なっている場合、２つの画像の３次元ベクトルの距離が大きくなるに従って、色距離は大きくなる。

従って、比較する２つの画像に全く同じものが映っている場合、対応する画素における色距離は０になり、差分データも０になる。一方、比較する２つの画像に異なっているものが映っていれば、その画素値の差（距離）が大きくなる従って、色距離は大きくなり、差分データも大きくなる。即ち、色距離と差分データとは１対１に対応する。

図１９（ａ）、（ｂ）にそれぞれ示す比較画像Ｒと縮小画像Ｑとを比較した場合、台座１３に原稿４が載置されていない領域の差分データは０となることが期待される。一方、原稿４は、台座１３の色と異なるため、原稿４が載置される領域の差分データは、大きな値になることが期待される。

しかし、台座１３のみを撮影するときと台座１３に原稿４を載置して撮影するときとでは、台座画像１３qの色が同じになるとは限らない。これは、画像品質が最適となるように撮影が行われるからである。

通常、カメラ撮影では、平均の明るさ（ＥＶ値）が一定になるように、画像品質は、自動的に最適調整される。結果として、得られた縮小画像Ｑの場合は、原稿画像４qが最適の明るさになり、比較画像Ｒの場合は、台座画像１３qが最適の明るさになるように調整される。

従って、縮小画像Ｑと比較画像Ｒとを比較すると、原稿画像４qの部分の差分データは０となり、台座画像１３qの部分の色距離が、期待値よりも大きくなり、その差分データ（値）は異なるものになってしまう。この差分値は、原稿４の色によって変わってくるので、このままでは、差分画像が不安定になってしまう。

そこで、２つの画像のうち、一方の画像からもう一方の画像の画素値を予測し、一方の画像の画素値の変換を行う。本実施形態では、縮小画像Ｑと同じ条件になるように比較画像Ｒの画素値を変換するものとする。また、この変換によって作成される画像を予測比較画像Ｒ'とし、この変換を比較画像の予測変換と記す。

この予測変換の方法としては、２つの方法が考えられる。まず、第１は、原稿４が載置されない領域の明るさの変化を予測する方法である。図１９（ａ）は、比較画像Ｒを示し、図１９（ｂ）は、縮小画像Ｑを示す。尚、図１９（ａ）の比較画像Ｒには、台座画像１３qと十字エッジ画像１４jとが存在する。また、縮小画像Ｑには、原稿画像４qが存在する。また、図１９（ａ）、（ｂ）の斜線で示す領域Area_3は、原稿４が載置されない領域である。

比較画像Ｒと縮小画像Ｑとを比較すると、この領域Area_3において映っている被写体は同じであると考えられる。このため、この領域Area_3の画素データを用い、比較画像Ｒと縮小画像Ｑとの両領域Area_3の画像品質が対応するように、明るさの変化を予測して、比較画像Ｒの予測変換を行う。

この領域の座標集合が(xi,yi)(i=0,1,2,・・・,m)とすると、次の数３２に示す関係式が成り立つような予測パラメータＫr,Ｃr,Ｋg,Ｃg,Ｋb,Ｃbを求める。
数３２は、線形関数であり、予測パラメータは、例えば、ハウスホルダーＱＲ分解法等の最小２乗誤差解手法によって容易に求められる。画像処理装置２０３は、この予測パラメータから、次の数３３に従い、予測比較画像Ｒ'を作成する。
よって、Ｒ'(x,y)＝(Ｒ'r(x,y),Ｒ'g(x,y),Ｒ'b(x,y))となる。

第２の方法は、明るさの比を撮影パラメータで表し、この撮影パラメータから、予測比較画像Ｒ'を作成する方法である。撮影パラメータの中で、明るさに関係するパラメータは、シャッター速度、ＣＣＤ感度と、絞り値と、である。

シャッター速度は、露出時間に対応し、Ｔで表すものとする。ＣＣＤ感度は、ＩＳＯ１００を１とした場合の感度比であり、Ｇで表すものとする。そして、絞り値は、Ｆで表すものとする。

比較画像Ｒを得るときのパラメータを、それぞれ、Ｔr,Ｇr,Ｆrとし、縮小画像Ｑを得るときのパラメータを、それぞれ、Ｔq,Ｇq,Ｆqとすると、明るさの比Ｋは、概略的に次の数３４に示す関係式で表される。
これらのパラメータから、比較画像Ｒと縮小画像Ｑとの画像品質が対応するように、次の数３５に従って予測比較画像Ｒ'を作成する。
第２の予測方法と第１の予測方法とを比較すると、第２の予測方法では、撮影パラメータから簡単に予測パラメータを求めることができる。但し、数３５に示す式には、オフセットパラメータＣr,Ｃg,Ｃbが含まれないので、オフセット変動が大きい場合には、第１の予測方法の方が好ましい。しかし、通常、このオフセットパラメータＣr,Ｃg,Ｃbが大きくなることはないので、第２の予測方法で予測比較画像Ｒ'を作成しても、予測値と真の値とが大きく異なることはない。

画像処理装置２０３は、生成した縮小画像Ｑと予測比較画像Ｒ'から、数３６に従って、差分画像を生成する。
第１の予測変換の方法を用いて差分画像を生成する場合、画像処理装置２０３は、図２０に示すフローチャートに従って、差分画像生成処理（１）を実行する。
即ち、画像処理装置２０３は、台座１３に原稿４が載置されている状態の低解像度画像を、メモリ２０１の処理画像記憶領域２０１ｂから読み出し、この低解像度画像から、縮小画像Ｑを生成する（ステップＳ１１１）。

画像処理装置２０３は、台座登録処理においてメモリ２０１の処理画像記憶領域２０１ｂに保存した画像を比較画像Ｒとして読み出す。画像処理装置２０３は、数３２に従い、予測パラメータＫr,Ｃr,Ｋg,Ｃg,Ｋb,Ｃbを求める（ステップＳ１１２）。

画像処理装置２０３は、数３３に従い、予測比較画像Ｒ'を作成する（ステップＳ１１３）。

画像処理装置２０３は、数３６に従い、差分画像を生成する（ステップＳ１１４）。そして、画像処理装置２０３は、図１７に示すフローチャートのステップＳ９４から、原稿投影処理を実行する。

次に、第２の予測変換の方法を用いて差分画像を生成する場合、画像処理装置２０３は、図２１に示すフローチャートに従って、差分画像生成処理（２）を実行する。

画像処理装置２０３は、縮小画像Ｑを生成する（ステップＳ１２１）。
画像処理装置２０３は、台座登録処理においてメモリ２０１の処理画像記憶領域２０１ｂに保存した画像を比較画像Ｒとして読み出し、光学レンズ装置１０１から、撮影パラメータＴr,Ｇr,Ｆr,Ｔq,Ｇq,Ｆqを取得する（ステップＳ１２２）。

画像処理装置２０３は、取得した撮影パラメータＴr,Ｇr,Ｆr,Ｔq,Ｇq,Ｆqを用い、数３４に従って、明るさの比Ｋを求める（ステップＳ１２３）。
画像処理装置２０３は、明るさの比Ｋを用い、数３５に従って、予測比較画像Ｒ'を作成する（ステップＳ１２４）。

画像処理装置２０３は、数３６に従い、差分画像を生成する（ステップＳ１１４）。そして、画像処理装置２０３は、図１７に示すフローチャートのステップＳ９４から、原稿投影処理を実行する。

このように、色距離を用いて差分画像を生成することにより、比較画像と縮小画像とが必ずしも同じ条件で撮影されなくてもよいので、撮影時間が短くなり、かつ、差分データを高品質に取得できる。

また、第１の予測変換の方法を用いることにより、２つの撮影画像から、差分データを予測でき、２つの画像の明るさ予測を明るさの勾配だけでなくホワイトバランス等の影響による明るさのオフセットも予測するので、精度のよい差分画像を生成することができ、結果として良好な原稿画像４qの輪郭を取得することができる。

また、第２の予測変換の方法を用いることにより、異なる撮影条件での撮影パラメータから差分画像を生成することができるので、簡単に、かつ高速に良好な差分画像を生成することができる。

次に、撮影装置は、コンピュータを備えたものであってもよい。そして、コンピュータが、書画カメラ１の機能を備え、コンピュータが画像処理等を行うようにしてもよい。このようにすれば、カメラ部１１には、汎用のデジタルカメラを用いることもできる。

上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、撮影装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係る撮影装置の構成を示すブロック図である。 図１に示す台座と十字マークとを示す図である。 図１に示す書画カメラの構成を示すブロック図である。 図３に示すメモリの各記憶領域を示すブロック図である。 輝度縮小画像とエッジ画像とを示す図である。 ハフ変換を示す図である。 射影パラメータの抽出とアフィン変換の基本的な考え方を示す図である。 台座の十字マークの検出処理を示す図である。 台座によるエッジ画像とマスクパターンとを示す図である。 台座画像の輪郭を除去するための差分画像と台座画像の輪郭を除去する動作を示す図であり、（ａ）〜（ｅ）は、それぞれ、本画像、比較画像、差分画像、２値エッジ画像、フィルタリング後のエッジ画像を示す。 図１に示す撮影装置が実行するカメラ基本処理を示すフローチャートである。 図１に示す撮影装置が実行する動画投影処理を示すフローチャートである。 図１に示す撮影装置が実行する静止処理を示すフローチャートである。 図１に示す撮影装置が実行する原稿有無判定処理を示すフローチャートである。 図１に示す撮影装置が実行する台座登録処理を示すフローチャートである。 図１に示す撮影装置が実行する矩形取得処理を示すフローチャートである。 図１に示す撮影装置が実行する原稿投影処理を示すフローチャートである。 原稿が台座の縁に合わせて載置された場合の切り出しまでの具体的な処理を示す図である。 応用例として、縮小画像、比較画像がカラー画像の場合に差分画像を生成する場合の比較画像と縮小画像とを示す図である。 第１の予測変換の方法を用いた場合の差分画像生成処理（１）を示すフローチャートである。 第２の予測変換の方法を用いた場合の差分画像生成処理（２）を示すフローチャートである。 従来の撮影装置を示す図である。 撮影装置の機能を示す図である。 原稿が台座の縁に合わせて載置された場合の従来の課題を示す図である。

符号の説明

１・・・書画カメラ、２・・・プロジェクタ、３・・・スクリーン、４・・・原稿、１１・・・カメラ部、１３・・・台座、２０１・・・メモリ、２０２・・・ビデオ出力装置、２０３・・・画像処理装置、２０４・・・操作部、２０５・・・支柱傾き変化検出部、２０７・・・ＣＰＵ

Claims (13)

1. 台座に載置された原稿を前記台座とともに撮影する撮影装置において、
   前記台座のみ又は前記台座と前記原稿とを撮影する撮影部と、
   前記撮影部の撮影によって得られた撮影画像から、前記原稿による原稿画像を切り出して前記原稿画像の形状を補正する画像処理部と、を備え、
   前記画像処理部は、
   前記撮影部が前記台座のみを撮影することによって得られた第１の撮影画像と前記台座及び前記原稿を撮影することによって得られた第２の撮影画像との差分画像を生成する差分画像生成部と、
   前記差分画像生成部が生成した前記差分画像から、前記原稿画像の輪郭を特定して前記原稿画像の形状を取得する画像形状取得部と、
   前記画像形状取得部が取得した前記原稿画像の形状に基づいて、前記第２の撮影画像から前記原稿画像を切り出す原稿画像切り出し部と、を備えた、
   ことを特徴とする撮影装置。
2. 前記画像形状取得部は、前記第１の撮影画像と前記第２の撮影画像との画像ずれを示すずれベクトルを取得し、取得したずれベクトルに基づいて前記画像ずれを補正する、
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記画像形状取得部は、数１に従って定義された差分評価式によって得られる差分誤差が最小となる座標をずれベクトルとして取得し、数２に従って画像ずれを補正した差分画像を取得する、
   ことを特徴とする請求項２に記載の撮影装置。
   
4. 前記撮影部は、前記第２の撮影画像を取得するときの撮影条件を、前記第１の撮影画像を取得するときの撮影条件に対応させて設定する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
5. 前記差分画像生成部は、前記第１の撮影画像の画素値と前記第２の撮影画像の画素値とを比較し、両撮影画像の画像品質が対応するように、前記第１の撮影画像及び前記第２の撮影画像のうち、いずれか一方からもう一方の画素値を予測して画素値を変換することにより、一方の画像の予測変換を行う、
   ことを特徴とする請求項１に記載の撮影装置。
6. 前記差分画像生成部は、前記第２の撮影画像のうちの前記原稿が載置されない領域の画素値と前記領域に対応する前記第１の撮影画像の領域の画素値とを比較して、両撮影画像の前記領域の画像品質が対応するように、前記一方の画像の予測変換を行う、
   ことを特徴とする請求項５に記載の撮影装置。
7. 前記差分画像生成部は、前記撮影部が前記台座のみを撮影するときの第１の撮影パラメータと前記台座及び前記原稿を撮影するときの第２の撮影パラメータとの比を、前記第１の撮影画像の画素値と前記第２の撮影画像の画素値との比較結果として用い、両撮影画像の画像品質が対応するように、前記一方の画像の予測変換を行う、
   ことを特徴とする請求項５に記載の撮影装置。
8. 前記画像形状取得部は、前記差分画像生成部が生成した差分画像に含まれるエッジからなる第１のエッジ画像を取得し、前記第１のエッジ画像に含まれるエッジに対応する前記差分画像の各画素を取得し、取得した各画素にそれぞれ着目して着目画素周辺領域の画素の画素値に基づいて前記着目画素周辺領域内のエッジ量を求め、前記求めたエッジ量が予め設定された閾値以上となる場合に前記着目画素を前記原稿画像の輪郭による画素として前記着目画素からなる第２のエッジ画像を取得することにより、前記残存する前記台座の画像の輪郭によるエッジを前記差分画像から削除する、
   ことを特徴とする請求項２乃至７のいずれか１項に記載の撮影装置。
9. 前記画像形状取得部は、数３と数４とに従い、前記第２のエッジ画像を取得する、
   ことを特徴とする請求項８に記載の撮影装置。
   
10. 前記原稿画像切り出し部は、前記画像形状取得部が取得した原稿画像の形状に基づいて、前記原稿画像の形状による多角形を特定し、特定した多角形の頂点の座標に基づいて前記原稿画像を切り出すものであって、
    前記画像処理部は、さらに、
    前記原稿画像切り出し部が特定した前記多角形の頂点座標と前記原稿画像の形状から想定される原稿の形状の頂点座標との対応関係を示すアフィンパラメータを取得するアフィンパラメータ取得部と、
    前記アフィンパラメータ取得部が取得したアフィンパラメータを用いて、前記原稿画像切り出し部が切り出した前記原稿画像に含まれる各画素の座標に対するアフィン変換を行い、前記原稿画像切り出し部が切り出した原稿画像の形状を補正する画像補正部と、を備えた、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮影装置。
11. 前記画像形状取得部が前記原稿画像の形状取得に失敗した場合には、前記第２の撮影画像から前記台座による台座画像の輪郭を取得し、
    前記アフィンパラメータ取得部は、前記画像形状取得部が取得した前記台座画像の輪郭に基づいて特定される前記台座画像の形状として、前記台座画像の多角形の頂点座標と前記台座画像の形状から想定される前記台座の形状の頂点座標との対応関係を示すアフィンパラメータを取得する、
    ことを特徴とする請求項１０に記載の撮影装置。
12. 原稿を載置するための台座のみを撮影して第１の撮影画像を取得するステップと、
    前記原稿を前記台座に載置して前記台座と前記原稿とを撮影し、第２の撮影画像を取得するステップと、
    前記取得した第１の撮影画像と前記第２の撮影画像との差分画像を生成するステップと、
    生成した前記差分画像から、前記原稿画像の輪郭を取得するステップと、
    取得した前記原稿画像の輪郭に基づいて、前記第２の撮影画像から前記原稿画像を切り出すステップと、を備えた、
    ことを特徴とする撮影画像の画像処理方法。
13. コンピュータに、
    原稿を載置するための台座のみを撮影して第１の撮影画像を取得する手順、
    前記原稿を前記台座に載置して前記台座と前記原稿とを撮影し、第２の撮影画像を取得する手順、
    前記取得した第１の撮影画像と前記第２の撮影画像との差分画像を生成する手順、
    生成した前記差分画像から、前記原稿画像の輪郭を取得する手順、
    取得した前記原稿画像の輪郭に基づいて、前記第２の撮影画像から前記原稿画像を切り出す手順、
    を実行させるためのプログラム。