JP2005122326A - 撮影画像投影装置、撮影画像投影装置の画像処理方法及びプログラム - Google Patents

Abstract

【課題】原稿画像の形状を正確に抽出し、見やすい画像を得る。
【解決手段】書画カメラ１は、画像処理装置を備え、画像処理装置は、原稿４の画像から、Ｒｏｂｅｒｔｓフィルタを用いて輪郭を取得する。画像処理装置は、取得した輪郭から、原稿４の画像を形成する候補となる直線を検出して、原稿４の四角形の形状を取得する。画像処理装置は、各四角形の大きさを算出し、ユーザが予め指定した用紙サイズに最も近い四角形を選択し、原稿４の画像の形状と実際の原稿４の形状との関係を示す射影パラメータを求めて原稿４の画像を射影変換する。書画カメラ１は、この画像データをプロジェクタ２に出力し、プロジェクタ２は、この画像データに基づいて原稿４の画像をスクリーン３に投影する。
【選択図】図１

Description

本発明は、撮影画像投影装置、方法及びプログラムに関するものである。

紙の書類やＯＨＰ用紙などを読み取って投影をおこなうＯＨＰでは、デジタルカメラの発達に伴い、従来のラインスキャナで読み取る方式から、デジタルカメラを用いた書画カメラと呼ばれる方式の撮影画像投影装置（書画カメラ）が開発されつつある。

この撮影画像投影装置は、ユーザが原稿台に載置した原稿をカメラで撮影して、カメラで撮影した原稿の画像データをコンピュータの記憶装置に記憶して画像処理を行い、プロジェクタを用いてスクリーン上に原稿の画像を拡大して投影するものである（例えば、特許文献１参照）。

このような撮影画像投影装置は、従来のＯＨＰでは、できなかった３次元の撮影対象を撮影して、この画像を投影することができるので、従来のＯＨＰにとって変わりつつある。
特開２００２−３５４３３１号公報（第２−３頁、図１）

しかし、従来の撮影画像投影装置では、カメラで原稿を斜め方向から撮影すると、カメラに近い原稿の辺がカメラの画角（撮影範囲）から外れてしまうため、カメラのズーム倍率を小さくせざるを得ない。

結果として原稿の占める面積が減ってくるため、台形補正をおこなっても画像に対して原稿の占める割合が減り、投影された原稿の画像が小さくなってしまい、スクリーンに投影された画像が見にくくなってしまう。この傾向は、特にあおり角が大きくなると顕著になる。

また、原稿画像の形状を正確に抽出することが困難なため、台形補正をおこなっても原稿以外の余分な画像部分が含まれてしまい、やはり、スクリーンに投影された画像が見にくくなってしまう。

本発明は、このような従来の問題点に鑑みてなされたもので、見やすい画像を取得することが可能な撮影画像投影装置、撮影画像投影装置の画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影画像投影装置は、
撮影した原稿の画像をスクリーンに投影する撮影画像投影装置において、
撮影によって得られた原稿画像の歪みを補正するように、前記原稿画像に対して画像処理を行う画像処理部と、
前記画像処理部が画像処理した画像を前記スクリーンに投影する投影部と、を備え、
前記画像処理部は、
前記原稿画像から前記原稿画像候補の輪郭を取得し、取得した輪郭で囲まれた形状及びその頂点位置を取得する形状取得部と、
前記形状取得部が取得した前記形状の面積を求める面積取得部と、
前記面積取得部が求めた面積と指定された面積とを比較して、前記面積取得部が求めた面積のうち、指定された面積と最も近い面積を有する形状を前記原稿画像の形状として選択する形状選択部と、
前記形状選択部が選択した前記原稿画像の形状と実際の原稿の形状とを対応させて、前記形状取得部が取得した前記原稿画像の頂点位置から、前記原稿画像と実際の原稿との関係を示す射影パラメータを求める射影パラメータ取得部と、
前記射影パラメータ取得部が求めた射影パラメータを用いて前記原稿画像の画像変換を行う画像変換部と、を備えたことを特徴とする。

前記形状取得部は、
前記原稿画像のエッジ画像を検出するエッジ画像検出部と、
前記エッジ画像検出部が検出したエッジ画像から前記原稿の輪郭の候補となる直線を検出する直線検出部と、を備え、
前記直線検出部が検出した直線を組み合わせて前記原稿の輪郭を取得してもよい。

前記面積取得部は、前記原稿画像の大きさと前記形状取得部が取得した頂点位置とに基づいて、前記形状取得部が取得した輪郭で囲まれた形状の面積を求めるようにしてもよい。

光を集光するレンズと、前記レンズが集光した光によって画像を形成する画像形成部と、前記画像形成部上に前記原稿画像が結像するように前記レンズの位置を制御するレンズ制御部と、を有するカメラを備え、
前記面積取得部は、
前記レンズ制御部の制御によって前記画像形成部上に前記原稿画像が結像したときの前記レンズと前記画像形成部との間の距離と、前記レンズと前記原稿との間の距離と、に基づいて前記形状取得部が取得した前記原稿画像の大きさを求めるようにしてもよい。

前記レンズ制御部は、
測距用の光を出力する光出力部と、
前記光出力部が出力した光による前記原稿からの反射光に基づいて前記レンズと前記原稿との間の距離を計測する距離センサと、を備えたアクティブ方式のものであって、
前記面積取得部は、前記レンズ制御部の制御によって前記画像形成部上に前記原稿画像が結像したときに前記距離センサによって計測された前記レンズと前記原稿との間の距離と、前記レンズの焦点距離と、に基づいて前記レンズと前記結像部との間の距離を求めるようにしてもよい。

前記レンズ制御部は、前記レンズと前記画像形成部との間の距離が予め設定されて、前記画像形成部上に形成された前記原稿画像のコントラストが最大となるように前記レンズの位置を制御するパッシブ方式のものであって、
前記面積取得部は、前記原稿画像のコントラストが最大となったときに前記レンズ制御部から出力された前記レンズと前記結像部との間の距離と、前記レンズの焦点距離と、に基づいて前記レンズと前記原稿との間の距離を求めるようにしてもよい。

本発明の第２の観点に係る撮影画像投影装置の画像処理方法は、
撮影した原稿の画像をスクリーンに投影する撮影画像投影装置の画像処理方法であって、
前記原稿画像から前記原稿画像候補の輪郭を取得し、取得した輪郭で囲まれた形状及びその頂点位置を取得するステップと、
前記取得した前記形状の面積を求めるステップと、
前記求めた面積と指定された面積とを比較して、前記求めた面積のうち、指定された面積と最も近い面積を有する形状を前記原稿画像の形状として選択するステップと、
前記選択した前記原稿画像の形状と実際の原稿の形状とを対応させて、前記取得した前記原稿画像の頂点位置から、前記原稿画像と実際の原稿との関係を示す射影パラメータを求めるステップと、
前記求めた射影パラメータを用いて前記原稿画像の画像変換を行うステップと、を備えたことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータに、
撮影によって得られた原稿画像から前記原稿画像候補の輪郭を取得し、取得した輪郭で囲まれた形状及びその頂点位置を取得する手順、
前記取得した前記形状の面積を求める手順、
前記求めた面積と指定された面積とを比較して、前記求めた面積のうち、指定された面積と最も近い面積を有する形状を前記原稿画像の形状として選択する手順、
前記選択した前記原稿画像の形状と実際の原稿の形状とを対応させて、前記取得した前記原稿画像の頂点位置から、前記原稿画像と実際の原稿との関係を示す射影パラメータを求める手順、
前記求めた射影パラメータを用いて前記原稿画像の画像変換を行う手順、
を実行させるためのものである。

本発明によれば、見やすい画像を得ることができる。

以下、本発明の実施の形態に係る撮影画像投影装置を、図面を参照して説明する。
（実施形態１）

実施形態１に係る撮影画像投影装置の構成を図１に示す。
撮影画像投影装置は、書画カメラ１と、プロジェクタ２と、から構成される。

書画カメラ１は、投影対象の原稿４を撮影するためのカメラシステムであり、カメラ部１１と、支柱１２と、台座１３と、操作台１４と、を備える。カメラ部１１は、原稿４を撮影するためのものである。カメラ部１１には、デジタルカメラが用いられる。支柱１２は、カメラ部１１を取り付けるためのものである。台座１３は、支柱１２を支えるためのものである。

また、書画カメラ１は、図２に示すように、画像データ生成部２１と、データ処理部２２と、からなる。画像データ生成部２１は、原稿４を撮影して原稿４の画像データを取り込むためのものである。

データ処理部２２は、画像データ生成部２１から、取り込んだ原稿４の画像データを取得して画像処理を行い、画像処理を施した画像データをプロジェクタ２に出力するものである。

尚、画像データ生成部２１とデータ処理部２２とは、図１に示すカメラ部１１に備えられてもよいし、画像データ生成部２１，データ処理部２２が、それぞれ、カメラ部１１、操作台１４に備えられてもよい。

画像データ生成部２１は、光学レンズ装置１０１と、イメージセンサ１０２と、から構成される。

光学レンズ装置１０１は、原稿４を撮影するために、光を集光するレンズなどで構成されたものである。

イメージセンサ１０２は、光学レンズ装置１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。

データ処理部２２は、メモリ２０１と、表示装置２０２と、画像処理装置２０３と、操作部２０４と、プログラムコード記憶装置２０５と、ＣＰＵ２０６と、から構成される。

メモリ２０１は、イメージセンサ１０２からの画像、表示装置２０２に送り出すための画像データ等を一時記憶するためのものである。
表示装置２０２は、プロジェクタ２に送り出す画像を表示するためのものである。

画像処理装置２０３は、メモリ２０１に一時記憶された画像データに対して、画像の歪み補正や画像効果などの画像処理を行うためのものである。

画像処理装置２０３は、図３（ａ）に示すようにカメラ部１１の撮影面に対して斜めの状態、あるいは回転した状態で撮影した原稿４の画像から、歪み補正（台形補正）を行うことによって、図３（ｂ）に示すような正面から撮影した原稿４の画像を生成する。

画像処理装置２０３は、歪み補正を行うため、歪んだ原稿４の画像から四角形を切り取り、切り取った四角形に原稿４の画像を射影変換して逆変換する。

さらに具体的には、画像処理装置２０３は、ＣＰＵ２０６に制御されて、以下の処理等を行う。
（１）原稿４の画像からのアフィンパラメータ抽出
（２）抽出したアフィンパラメータによる画像変換
（３）輝度あるいは色差等に関する画像効果補正用パラメータの抽出及び画像効果処理
（４）画像変換の調整
尚、これらの処理内容については、後述する。

操作部２０４は、書画投影の機能を制御するためのスイッチ、キーを備えたものである。操作部２０４は、ユーザが、これらのキー、スイッチを操作したときの操作情報をＣＰＵ２０６に出力する。

また、操作部２０４は、図４に示すように、画像調整キーとして、上拡大キー２１１と、下拡大キー２１２と、左拡大キー２１３と、右拡大キー２１４と、右回転キー２１５と、左回転キー２１６と、拡大キー２１７と、縮小キー２１８と、撮影／解除キー２１９と、を備える。

上拡大キー２１１、下拡大キー２１２、左拡大キー２１３、右拡大キー２１４は、射影変換を行うときに操作する射影変換キーである。

上拡大キー２１１は、画像の中心を通る横線を軸にして、横線よりも上の画面上部と横線よりも下の画面下部とを比較し、画面上部を、見ている側に回転させるときに操作するキーであり、下拡大キー２１２は、画面下部を、見ている側に回転させるときに操作するキーである。

左拡大キー２１３と右拡大キー２１４とは、画像の中心を通る縦線を軸にして、画像を回転させることによって画像左右のひずみを調整するキーであって、左拡大キー２１３は、左の画像が小さいときに操作するキー、右拡大キー２１４は、右が小さいときに操作するキーである。

右回転キー２１５、左回転キー２１６は、それぞれ、画像の回転を調整するための回転補正キーであり、右回転キー２１５は、画像の右回転を行なうときに操作するキーであり、左回転キー２１６は、画像の左回転を行なうときに操作するキーである。

拡大キー２１７、縮小キー２１８は、それぞれ、画像の拡大、縮小などの画像変換を行うときに操作するキーである。

尚、１回の押下で拡大又は縮小する率を示すRatioに２が設定されていると、ユーザが拡大キー２１７を一度押すことにより、画像処理装置２０３は、画像を２倍に拡大する。さらに、もう一度拡大キー２１７を押すことにより、操作部２０４、ＣＰＵ２０６は応答して、画像処理装置２０３を制御し、画像処理装置２０３は、画像をさらに２倍に拡大し、結果として元の画像は４倍画像に拡大される。拡大した画像を、１／２に戻す場合、縮小キー２１８を押す。操作部２０４、ＣＰＵ２０６は応答し、画像処理装置２０３は、拡大した画像を縮小する。

また、上拡大キー２１１、下拡大キー２１２、左拡大キー２１３、右拡大キー２１４は、拡大キー２１７が操作されたときのカーソルキーとしても機能する。即ち、上拡大キー２１１は、拡大キー２１７が操作されたときに、表示装置２０２に表示されている原稿４の画像を上に移動させるための上移動キーとなる。下拡大キー２１２は、拡大キー２１７が操作されたときに、原稿４の画像を下に移動させるための下移動キーとなる。左拡大キー２１３は、拡大キー２１７が操作されたときに、原稿４の画像を左に移動させるための左移動キーとなる。右拡大キー２１４は、拡大キー２１７が操作されたときに、原稿４の画像を右に移動させるための右移動キーとなる。

また、拡大キー２１７および縮小キー２１８は、同時に押下されることによって、用紙設定モードに入るためのキーとして機能する。この用紙設定モードにおいて、右回転キー２１５と左回転キー２１６とは、それぞれ所望の用紙サイズを選択するためのカーソルキーとなる。尚、この用紙設定モードについての説明は、後述する。

撮影／解除キー２１９は、原稿４を撮影するときに操作するキーである。また、後述する用紙設定モードにおいて、選択した用紙サイズを決定するための決定キーとなる。

プログラムコード記憶装置２０５は、ＣＰＵ２０６が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ２０６は、プログラムコード記憶装置２０５に格納されているプログラムに従って、各部を制御する。尚、メモリ２０１は、ＣＰＵ２０６の作業メモリとしても用いられる。

また、ＣＰＵ２０６は、後述するフローチャートに従って、撮影対象物である原稿４の画像に動きがあるか否かを判定し、判定結果に従って、撮影モードを切り替える。

撮影モードは、動画モードと静止画モードの２つとする。動画モードは、ユーザが台座１３に投影したい原稿４等を載置しようとする場合に設定されるモードであって、カメラ部１１で映し出している画像をそのままプロジェクタ２に投影するモードである。

動画モードでは、ＣＰＵ２０６は、例えば、画像解像度がＶＧＡ（６００×４８０ドット）程度の画像を３０ｆｐｓ（フレーム/秒）の速さで動画投影を行なうように、各部を制御するものとする。このように、動画モードは、解像度は低いものの、リアルタイム性を重視したモードである。

静止画モードは、ユーザが原稿４を置いた後に設定されるモードであって、カメラ部１１で高解像度の画像撮影を行い、高解像度の静止画像の投影を行うモードである。カメラ部１１が撮影解像度３００万画素のカメラである場合、切り出した投影画像はＸＧＡ（１０２４×７６８）の静止画像になる。

ＣＰＵ２０６は、撮影モードの切り替えを行うため、原稿４の画像に動きがあるか否かを判定する。ＣＰＵ２０６は、このような判定を行うため、前回撮影した画像との画像変化量ＭＤを求める。画像変化量ＭＤは撮影している画像が前回の画像と比較してどれぐらい変化したかを表す量である。この量を計算する方法はいくつか考えられる。一例として、ＣＰＵ２０６は、前回撮影した画像のデータから、各画素の差分の絶対値の総和を画像変化量ＭＤとして求める。

即ち、前回の画素データをＰn-1（x,y）、今回の画素データをＰn（x,y），1≦x≦640 1≦y≦480とすると、画像変化量ＭＤは、次の数１によって表される。

但し、全画素の総和を求めるには、計算量が多いので、画像変化量ＭＤを求める方法としては、いくつかの画素を抜き出して実現する方法もある。

また、この画像変化量ＭＤと比較して動きの有無を判定するための閾値として、閾値Thresh1と閾値Thresh2とが予め設定される。閾値Thresh1は、動きがないか否かを判定するための閾値であり、ＣＰＵ２０６は、画像変化量ＭＤが閾値Thresh1未満であれば、動きがないと判定する。

閾値Thresh2は、静止画モードにおいて、例えば、影が動いた場合、ペン等を置いた場合のように、動きはあっても、その動きが動画モードに切り替える必要のない程度の僅かな動きであるか否かを判定するための閾値である。

ＣＰＵ２０６は、画像変化量ＭＤが閾値Thresh2未満であれば、動画モードに切り替える必要のない程度の僅かな動きであると判定する。尚、閾値Thresh2は、閾値Thresh1よりも高く設定される（Thresh1＜Thresh2）。メモリ２０１は、この閾値Thresh1と閾値Thresh2とを予め記憶する。

また、ＣＰＵ２０６は、動画モードから静止画モードに切り替える場合、画像に動きがないと判定し、所定の時間が経過してから、撮影モードを静止画モードに切り替える。このため、ＣＰＵ２０６は、画像に動きがないと判定してから、静止時間Ptimeを計測し、メモリ２０１は、この静止時間Ptimeと比較するために予め設定された所定時間HoldTimeを記憶する。

距離センサ１０３は、撮影対象までの距離を測定するためにレンズ装置付近に設けられたセンサであり、カメラの画像の中心が映している被写体対象までの距離の計測が可能となっている。

プロジェクタ２は、スクリーン３に投影光を照射して原稿４の画像を結像させるものである。書画カメラ１とプロジェクタ２とは、ＲＧＢ等のケーブル１５を介して接続される。書画カメラ１は、カメラ部１１が撮影した原稿４の画像データを、ケーブル１５を介してプロジェクタ２に出力する。

次に、実施形態１に係る撮影画像投影装置の動作を説明する。
ユーザが撮影画像投影装置の電源をＯＮすると、書画カメラ１のＣＰＵ２０６は、プログラムコード記憶装置２０５からプログラムコードを読み出して基本投影処理を実行する。

この基本投影処理の内容を図５に示すフローチャートに従って説明する。
まず、ＣＰＵ２０６は、書画カメラ１のカメラ部１１の焦点、露出、ホワイトバランスなどのカメラ設定パラメータの初期化を行う（ステップＳ１１）。

ＣＰＵ２０６は、撮影モードを動画モードに初期化する（ステップＳ１２）。ＣＰＵ２０６は、撮影モードを動画モードに初期化するため、メモリ２０１上の指定した領域に動画モード（Motion）をセットする。さらに、ＣＰＵ２０６は、カメラ部１１のイメージセンサ１０２から読み出された画像データを、ＶＧＡによる画像データになるように設定する。

これにより、カメラ部１１が捉えているシーンが、光学レンズ装置１０１を経由してイメージセンサ１０２に集光され、イメージセンサ１０２は集光された画像から動画撮影用の解像度の低いデジタル画像を作成する。そして、イメージセンサ１０２は、作成したデジタル画像を定期的に、例えば、秒３０枚で、メモリ２０１に送り出す。

次に、ＣＰＵ２０６は、静止時間Ptimeのリセットを行う（ステップＳ１３）。
次に、ＣＰＵ２０６は、イメージセンサ１０２から低解像度の画像データをメモリ２０１に転送するように、イメージセンサ１０２とメモリ２０１とを制御する（ステップＳ１４）。尚、ここでは、イメージセンサ１０２の画像データがメモリ２０１に転送されるだけで、表示装置２０２は、画像を表示しない。表示装置２０２が画像を表示しないのは、表示装置２０２の表示を行なう画像データがメモリ２０１上の異なるアドレスで示される領域に記憶されているからである。

次に、ＣＰＵ２０６は、前回撮影した画像との画像変化量ＭＤを、数２に従って求める（ステップＳ１５）。

ＣＰＵ２０６は、撮影モードが動画モードか静止画モードかを判定する（ステップＳ１６）。
初期状態では撮影モードに動画モードが設定されている。ＣＰＵ２０６は、このため、初期状態では、動画モードと判定し、撮影した動画を投影するために、メモリ２０１内にある動画の画像データをメモリ２０１の所定領域にコピーする（ステップＳ１７）。これにより、表示装置２０２は、撮影された画像データをメモリ２０１から読み出し、ＲＧＢ信号をプロジェクタ２に出力する。プロジェクタ２は、この信号に基づいて、画像を投影する。

ＣＰＵ２０６は、予め設定された前述の閾値Thresh1とステップＳ１５において求めた画像変化量ＭＤとを比較し、比較結果に基づいて画像に動きがあるか否かを判定する（ステップＳ１８）。

このとき、ユーザが、まだ、用紙を置くなどの動作を続けている場合、画像変化量ＭＤは閾値Thresh1以上になる。この場合、ＣＰＵ２０６は、画像に動きがあると判定し（ステップＳ１８においてＹｅｓ）、静止時間Ptimeをリセットして低解像度の画像データの読み込みを行い、画像変化量ＭＤを求め、画像のメモリ２０１の投影画像領域への書き込みを行う（ステップＳ１３〜Ｓ１７）。これによりユーザが動作を行なっている間、撮影画像投影装置は、動画モードの状態を維持し続け、低解像度の動画画像がスクリーン３に投影される。

その後、ユーザが用紙のセットを終えて画像に動きがなくなると、画像変化量ＭＤは閾値未満になる。この場合、ＣＰＵ２０６は、画像に動きがないと判定し（ステップＳ１８においてＮｏ）、静止時間Ptimeに１を加算する（ステップＳ１９）。

そして、ＣＰＵ２０６は、静止時間Ptimeが所定時間HoldTimeに達したか否かを判定する（ステップＳ２０）。

静止時間Ptimeが所定時間HoldTimeに達していないと判定した場合（ステップＳ２０においてＮｏ）、ＣＰＵ２０６は、画像に動きがないと判定するまで、再び低解像度の画像データを読み込んで、画像変化量ＭＤを求め、動きがなければ、静止時間Ptimeに１を加算する（ステップＳ１４〜Ｓ１９）。この場合、静止時間Ptimeがリセットされないため、静止時間Ptimeは、ＣＰＵ２０６によって、動画を読み込むごとにカウントアップされる。

静止時間Ptimeが所定時間HoldTimeに達したと判定した場合（ステップＳ２０においてＹｅｓ）、ＣＰＵ２０６は、ユーザが画像を静止させたと判定し、撮影モードを静止画モードに設定する（ステップＳ２１）。

ＣＰＵ２０６は、高解像度の静止画像を撮影するようにイメージセンサ１０２を制御する（ステップＳ２２）。そして、ＣＰＵ２０６は、イメージセンサ１０２が取得した画像データをメモリ２０１に書き込む。尚、ＣＰＵ２０６は、画像データをメモリ２０１に書き込んだ後、カメラ部１１の解像度を再び低解像度の読み込み状態に戻す。

ＣＰＵ２０６は、画像処理装置２０３を制御し、画像処理装置２０３は、読み込まれた高解像度の静止画像に対して、斜め補正を行うための射影パラメータの抽出を行う（ステップＳ２３）。この射影パラメータは、原稿４の画像の形状と実際の原稿４の形状との関係を示すものである。

画像処理装置２０３は、さらにその抽出された射影パラメータに従って、撮影対象の切抜きと、正面画像への射影変換を行う（ステップＳ２４）。
画像処理装置２０３は、作成された補正画像から、コントラスト補正などの鮮明、識別しやすい画像へ変換するため、画像効果補正用パラメータの抽出を行う（ステップＳ２５）。
画像処理装置２０３は、抽出された画像効果補正用パラメータを用いて、画像効果処理を行う（ステップＳ２６）。

ＣＰＵ２０６は、画像効果処理を行った画像データの投影を行うために、動画画像のときと同じように、メモリ２０１内の所定領域に補正画像データの書き込みを行う。そして、ＣＰＵ２０６は、表示装置２０２から、画像データをＲＧＢ信号でプロジェクタ２に出力させる（ステップＳ２７）。

一度静止画モードになると、ＣＰＵ２０６は、再び静止時間Ptimeをリセットして、低解像度の画像を読み込み、画像変化量ＭＤを求める（ステップＳ１３〜Ｓ１５）。

ここで、撮影モードが静止画モードと判定した場合（ステップＳ１６）、ＣＰＵ２０６は、求めた画像変化量ＭＤともう一つの所定閾値Thresh2（Thresh1＜Thresh2）との比較を行い、画像に動きがあるか否かを判定する（ステップＳ２８）。

ＣＰＵ２０６は、画像変化量が閾値Thresh2未満であれば、画像に動きがないと判定する（ステップＳ２８においてＮｏ）。この場合、ＣＰＵ２０６は、引き続き、画像変化量ＭＤと閾値Thresh1との比較を行い、画像に動きがあるか否かを判定する（ステップＳ３０）。

そして、画像変化量ＭＤが閾値Thresh2以上であれば、ＣＰＵ２０６は、画像に動きがあると判定し（ステップＳ２８においてＹｅｓ）、撮影モードを動画モードに設定する（ステップＳ２９）。そして、ＣＰＵ２０６は、静止時間Ptimeをリセットする（ステップＳ１３）。

一方、画像変化量ＭＤが閾値Thresh2未満であっても、閾値Thresh1以上であれば、ＣＰＵ２０６は、画像に動きがあると判定する（ステップＳ３０においてＹｅｓ）。この場合、ＣＰＵ２０６は、画像変化量ＭＤが閾値Thresh1と閾値Thresh2との間であるため、撮影モードを動画モードに切り替えずに、再度、高解像度で静止画像を撮影し、画像処理装置２０３は、取得した高解像度の静止画像データの画像処理を行う（ステップＳ２２〜Ｓ２７）。

また、画像変化量ＭＤが閾値Thresh2未満であり、かつ、閾値Thresh1未満であれば、ＣＰＵ２０６は、静止状態が継続しているものと判定する（ステップＳ３０においてＮｏ）。この場合、ＣＰＵ２０６は、画像効果の調整を行う指示情報として、操作部２０４から出力された操作情報に基づいて画像調整キーが操作されたか否かを判定する（ステップＳ３１）。

画像調整キーが操作されていないと判定した場合（ステップＳ３１においてＮｏ）、ＣＰＵ２０６は、ステップＳ１３に戻り、静止時間Ptimeをリセットする。

画像調整キーが操作されたと判定した場合（ステップＳ３１においてＹｅｓ）、ＣＰＵ２０６は、画像の拡大や回転などの画像変換の調整を行う（ステップＳ３２）。

ＣＰＵ２０６は、画像変換が射影変換、回転等なのか、画像の拡大縮小、移動なのかを判定する（ステップＳ３３）。

画像変換が射影変換、回転等であるとＣＰＵ２０６が判定した場合、画像処理装置２０３は、ＣＰＵ２０６に制御されて、再度、画像効果補正用パラメータの抽出を行って（ステップＳ２５）、画像効果処理を行う（ステップＳ２６）。他方、画像変換が画像の拡大縮小、移動であるとＣＰＵ２０６が判定した場合、画像処理装置２０３は、画像から前回、抽出された画像効果補正用パラメータを用いて、画像効果処理を行う（ステップＳ２６）。そして、ＣＰＵ２０６は、表示装置２０２から、画像データをＲＧＢ信号でプロジェクタ２に出力させる（ステップＳ２７）。

このようにして、ＣＰＵ２０６は、動画モードと静止画モードとの切り替えを行いながら投影制御を行う。これにより、ユーザが操作を行なっている間は、フレーム周波数優先の画像の投影が行われ、画像が静止すれば、撮影対象の原稿４の切り抜き及び画像効果処理を行って高解像度画像の投影が行われる。

次に、画像処理装置２０３が行う画像処理について説明する。
まず、画像処理装置２０３が画像処理に用いるアフィン変換についての基本的な考え方（実現方法）を説明する。

画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。これは、変換前の座標（u,v）の点が、移動、拡大縮小、回転などの変換によって、変換後の座標（x,y）が次の数２によって関係付けられることになる。射影変換もこのアフィン変換により行われることができる。

最終的な座標（ｘ，ｙ）は、次の数３によって算出される。

数３は、射影変換するための式であり、座標ｘ、ｙは、ｚ’の値に従い、０に向かって縮退する。即ち、ｚ’に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはa13,a23,a33である。また、他のパラメータは、パラメータa33で正規化されることができるので、a33を１としてもよい。

図６は、図３（ａ）に示す四角形の原稿４の各頂点の座標を示したものである。カメラ部１１で撮影された四角形と実際の原稿４の画像との関係について、図７に基づいて説明する。

この図７において、Ｕ−Ｖ−Ｗ座標系は、カメラ部１１で撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）)ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、原稿４の用紙をベクトルで表したものである。
また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と原稿４との距離を示す。

図７に示す投影スクリーンは、原稿４の画像の射影を行うためのものである（スクリーン３に対応）。
投影スクリーン上の座標系をx,yとすると、この投影スクリーン上に投影される画像がカメラ部１１に撮影される画像と考えればよい。投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。原稿４の用紙上の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ（x,y）とする。このとき、座標ｐは、射影変換より次の数４によって表される。

数４より、図７に示すように点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数５に示す関係が求められる。

このとき、射影係数α、βは次の数６によって表される。

次に、射影変換について説明する。
原稿４上の任意の点Ｐは、Ｓ，Ａ，Ｂベクトルを用いて、次の数７によって表される。

この数７に、数５の関係式を代入すると、座標ｘとｙとは、次の数８によって表される。

この関係を、アフィン変換の式に当てはめると、座標（x',y',z'）は、次の数９によって表される。

この数９にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。

画像処理装置２０３は、このようなアフィン変換を行うため、まず、撮影した原稿４の画像から射影パラメータを抽出する（図５のステップＳ２３）。
画像処理装置２０３が実行する射影パラメータの抽出処理を図８に示すフローチャートに基づいて説明する。

画像処理装置２０３は、撮影した原稿４の画像から、この原稿４の画像の四隅の座標点（四角形輪郭）を抽出する（ステップＳ４１）。画像処理装置２０３は、図９に示すフローチャートに示す四角形の輪郭を抽出する。

即ち、画像処理装置２０３は、画像処理の演算数を減らすため、入力画像から縮小輝度画像を生成する（ステップＳ５１）。
画像処理装置２０３は、生成した縮小輝度画像から、原稿４のエッジ画像を生成する（ステップＳ５２）。

画像処理装置２０３は、原稿４のエッジ画像から、このエッジ画像に含まれる直線パラメータを検出する（ステップＳ５３）。
画像処理装置２０３は、検出した直線パラメータから、原稿４の輪郭を形成する候補となる四角形を生成する（ステップＳ５４）。

画像処理装置２０３は、このように候補となる四角形を生成し、生成した各四角形に優先順位を付す（図８のステップＳ４２）。
画像処理装置２０３は、優先順位に従って四角形を選択し、選択した四角形を抽出できたか否かを判定する（ステップＳ４３）。

四角形を抽出できたと判定した場合（ステップＳ４３においてＹｅｓ）、画像処理装置２０３は、原稿４の画像の形状として四角形を取得し、取得した四角形の頂点からアフィンパラメータを算出する（ステップＳ４４）。

一方、抽出できなかったと判定した場合（ステップＳ４３においてＮｏ）、画像処理装置２０３は、最大面積を有する四角形の画像を原稿４の画像として取得し（ステップＳ４５）、この取得した四角形の頂点からアフィンパラメータを算出する（ステップＳ４４）。

次に、この射影パラメータの抽出処理を、さらに具体的に説明する。
画像処理装置２０３がステップＳ５１において生成した縮小輝度画像の一例を図１０（ａ）に示す。画像処理装置２０３は、このような縮小輝度画像から、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて図１０（ｂ）に示すようなエッジ画像を生成する（ステップＳ５２）。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得して平均化することによって、画像のエッジを検出するフィルタである。

図１１（ａ）は、フィルタΔ１の係数を示し、図１１（ｂ）は、フィルタΔ２の係数を示す。この２つのフィルタΔ１，Δ２の係数を、ある着目した座標（x,y）の画素値ｆ（x,y）に適用すると、変換後の画素値ｇ（x,y）は、次の数１０によって表される。

図１０（ｂ）に示すエッジ画像には、直線パラメータが含まれている。画像処理装置２０３は、このエッジ画像から、ラドン変換を行って直線パラメータを検出する（ステップＳ５３の処理）。

ラドン変換は、ｎ次元のデータを、（ｎ−１）次元の投影データに対応させる積分変換である。具体的には、図１２（ａ），（ｂ）に示すように、画像データをｆ（x,y）として、ｘ−ｙ座標系から角度θだけ回転したｒ−θ座標系を考える。θ方向の画像投影データｐ（r,θ）は、次の数１１によって定義される。

この数１１による変換がラドン変換と呼ばれるものである。
図１２（ａ）に示すような画像データｆ（x,y）は、ラドン変換により、図１２（ｂ）に示すような画像投影データｐ（r,θ）に変換される。

このようなラドン変換によれば、図１３（ａ）に示すようなｘ−ｙ座標系の直線Ｌは、極座標系では、ρ＝ｘcosα＋ｙsinαであらわされる。この直線Ｌは、ｐ（ρ,α）の点に全て投影されるので、ｐ（r,θ）のピークを検出することで、直線の検出が可能になる。画像処理装置２０３は、この原理を用いて、エッジ画像から、ラドン変換によりデータｐ（r,θ）を生成する。

次に、画像処理装置２０３は、生成したデータｐ（r,θ）から、そのピーク点を抽出する。このため、画像処理装置２０３は、図１４に示すフローチャートに従って、このピーク点の抽出処理を実行する。

画像処理装置２０３は、ｐ（r,θ）での最大値ｐmaxを探す（ステップＳ６１）。
画像処理装置２０３は、閾値ｐth ＝ pmax * k（ｋは０以上１までの定数値）を求める（ステップＳ６２）。

画像処理装置２０３は、ｐthを閾値にしてｐ（r,θ）から２値画像Ｂ（r,θ）を生成する（ステップＳ６３）。
画像処理装置２０３は、Ｂ（r,θ）の画像ラベリングを行う。このとき得られたラベル数をＮ１とする（ステップＳ６４）。

画像処理装置２０３は、各ラベル領域内でｐ（r,θ）の最大値のところのr,θを調べる。そして、画像処理装置２０３は、この値を、それぞれｒi,θi （ｉ＝１〜Ｎl）として取得する（ステップＳ６５）。これが直線のパラメータとなる。

次に、画像処理装置２０３は、検出した直線パラメータを用いて四角形候補を生成するため（ステップＳ５４の処理）、著しく歪んでいる四角形を候補から外す。これは書画カメラ１は、台座１３から大きく離れた原稿４を撮影することはないため、著しく歪んでいる四角形は、原稿４の輪郭を表すものではないと推測されるからである。

即ち、図１５（ａ）に示すように、カメラ部１１で撮影した場合の表示装置２０２のＬＣＤの表示領域に、４つの直線ａ１〜ａ４が表示され、４つの直線ａ１１〜ａ１４の交点ｐ１〜ｐ４が表示されている場合、直線ａ１〜ａ４は、四角形を形成する直線の候補になる。

一方、表示領域に表示されている直線が４つ未満の場合、あるいは、図１５（ｂ）、（ｃ）に示すように、表示領域に４つの直線が表示されていても、交点が４つ未満の場合、この直線の組は、四角形を形成する直線の組の候補にはならない。

図１５（ａ）に示すように、直線ａ１〜ａ４の表示領域の下辺に対する角度を、それぞれ、θ１１，θ１２，θ２１，θ２２とすると、直線ａ１の角度θ１１に最も近い角度は、直線ａ３の角度θ１２になるため、直線ａ１と直線ａ３とは、互いに向かい合う直線と判別される。

また、図１５（ｄ）に示すように、互いに向かい合う直線ａ５とａ６の角度差が大きいと、台座１３から離れた位置で、書画カメラ１によって原稿４が撮影されることはないため、直線ａ５〜ａ８の組は、四角形を形成する直線の組の候補にはならない。尚、原稿４を台座１３に載置して直線の角度を計測すれば、原稿４の辺に基づく直線か否かを判別できるため、互いに向かい合う直線の角度差をｄθ１、ｄθ２として、角度差ｄθ１、ｄθ２には、予め閾値ｄθ１th、ｄθ２thが設けられ、この閾値ｄθ１th、ｄθ２thは、メモリ２０１に記憶される。

このような観点に基づいて、画像処理装置２０３は、複数の直線から四角形の候補を取得する。具体的に、画像処理装置２０３は、図１６に示すフローチャートに従って、この四角形の検出処理を実行する。

画像処理装置２０３は、四角形の候補数Ｎrを０に初期化する（ステップＳ７１）。
画像処理装置２０３は、表示領域に表示されている直線の数Ｎ１を取得する（ステップＳ７２）。

画像処理装置２０３は、取得した直線の数Ｎ１が４つ以上か否かを判定する（ステップＳ７３）。
取得した直線の数Ｎ１が４つ未満であると判定した場合（ステップＳ７３においてＮｏ）、画像処理装置２０３は、この処理を終了させる。この場合、四角形の候補数Ｎrは０となる。

取得した直線の数Ｎ１が４つ以上であると判定した場合（ステップＳ７３においてＹｅｓ）、画像処理装置２０３は、四角形を形成する直線の組があるか否かを判定する（ステップＳ７４）。

直線の組があったとしても、組になった直線による４つの交点がなければ、画像処理装置２０３は、四角形を形成する直線の組がないと判定し（ステップＳ７４においてＮｏ）、この処理を終了させる。

四角形を形成する直線の組があると判定した場合（ステップＳ７４においてＹｅｓ）、画像処理装置２０３は、対応する直線の組の角度差ｄθ１，ｄθ２を取得する（ステップＳ７５）。

画像処理装置２０３は、角度差ｄθ１が、予め設定された閾値ｄθ１th未満であるか否かを判定する（ステップＳ７６）。

角度差ｄθ１が閾値ｄθ１th以上であると判定した場合（ステップＳ７６においてＮｏ）、画像処理装置２０３は、四角形を形成する直線の組の次の候補についての処理を繰り返す（ステップＳ７４〜７５）。

一方、角度差ｄθ１が閾値ｄθ１th未満であると判定した場合（ステップＳ７６においてＹｅｓ）、画像処理装置２０３は、角度差ｄθ２が閾値ｄθ２th未満であるか否かを判定する（ステップＳ７７）。

角度差ｄθ２が閾値ｄθ２th以上であると判定した場合（ステップＳ７７においてＮｏ）、画像処理装置２０３は、四角形を形成する直線の組の次の候補についての処理を繰り返す（ステップＳ７４〜７６）。

一方、角度差ｄθ２が閾値ｄθ２th未満であると判定した場合（ステップＳ７７においてＹｅｓ）、画像処理装置２０３は、得られた４つの交点をもつ四角形を候補として、四角形の候補数Ｎrを１つだけインクリメントして（ステップＳ７８）、この四角形の候補数Ｎrをメモリ２０１に記憶する。

画像処理装置２０３は、四角形を形成する直線の組をメモリ２０１に記憶する（ステップＳ７９）。

画像処理装置２０３は、このようなステップＳ７４〜７９の処理を順次、実行し、次の四角形を形成する直線の組の候補がないと判定すると（ステップＳ７４においてＮｏ）、この四角形の検出処理を終了させる。

次に、画像処理装置２０３は、四角形の候補の中から、原稿４の辺を表すものとして、最もふさわしい四角形を選択する。まず、撮影対象中の各四角形候補のそれぞれの大きさを求める方法について、説明する。

数５より、撮影対象である四角形の縦の長さ｜Ａ｜と横の長さ｜Ｂ｜とは、次の数１２によって表される。

ここで、ｋ１＝Ｓｗ／ｆであるので、撮影対象までの距離Ｓｗと、カメラパラメータｆとが分かれば、四角形の大きさが求まる。

撮影対象までの距離Ｓｗ及びカメラパラメータｆを求める方法はいくつか考えられ、光学レンズ装置１０１がどのような種類のレンズを備えるかによって異なる。具体的には、大きく分けて１）固定焦点レンズ、２）自動焦点レンズの２種類である。以下、それぞれの場合について、撮影対象までの距離Ｓｗと、カメラパラメータｆとを求める方法を説明する。

１）固定焦点レンズ
光学レンズ装置１０１に固定焦点レンズを用いる場合、カメラの焦点距離ｆは、予め所定の値に設定されている。一方、撮影対象（原稿４）までの距離Ｓｗは、カメラ部１１から台座１３までの距離Ｄに近似することができる。この、カメラ部１１から台座１３までの距離Ｄは、ユーザが焦点合わせをおこなう（イメージセンサ１０２上に原稿４の画像を結像させる）際に、光学レンズ装置１０１の機械的構成から容易に取得可能な値である。従って、ｆ＝レンズ焦点、Ｓｗ＝Ｄを数１２に代入して計算することにより、｜Ａ｜および｜Ｂ｜を求めることができる。

しかし、より精度良く四角形の大きさを求めるためには、Ｓｗ＝Ｄという近似をおこなうのではなく、直接的に撮影対象までの距離Ｓｗを測定できることが望ましい。そこで、光学レンズ装置１０１のレンズから被写体としての原稿４までの距離を計測する必要がある。このため、図１７に示すように、書画カメラ１の画像データ生成部２１は、距離センサ１０３を備える。この距離センサ１０３は、赤外線センサ等から構成され、光学レンズ装置１０１に隣接して設けられており、カメラ部１１の画像の中心に映し出された原稿４までの距離を計測する。

書画カメラ１が、図１７に示すような構成を有する場合、撮影対象までの距離Ｓｗは、距離センサ１０３の計測した値で表すことができる。一方、カメラ部１１の焦点距離ｆは、前述したように、予め設定された既知の値である。従って、ｆ＝レンズ焦点、Ｓｗ＝距離センサ１０３による計測値、を数１２に代入することにより、｜Ａ｜および｜Ｂ｜を求めることができる。

２）自動焦点レンズ
光学レンズ装置１０１に自動焦点レンズを用いる場合、光学レンズ装置１０１は、レンズのフォーカス位置を変化させ、焦点の合うところを自動的に位置決めする。このような自動焦点（オートフォーカス）型のレンズ装置では、数１２で用いたカメラパラメータｆは、厳密にはレンズの焦点距離と同じものとはならない。計算の都合上、レンズの焦点距離をｆ’とすると、薄いレンズを用いた場合、ｆ’は、レンズからイメージセンサ１０２までの距離Ｌａとレンズから被写体までの距離Ｌｂとを用いて、次の数１３で表される。

この数１３により、距離Ｌａと距離Ｌｂとの関係が規定されるため、Ｌａ、Ｌｂのどちらかが分かれば、ｆ＝Ｌａ、Ｓｗ＝Ｌｂを数１２に代入して計算することにより、｜Ａ｜および｜Ｂ｜を求めることができる。

自動焦点レンズには、大きく分けてａ）アクティブ方式、ｂ）パッシブ方式の２種類があり、それぞれの場合で、前述した距離Ｌａ、Ｌｂの求め方が異なる。

２−ａ）アクティブ方式自動焦点レンズ
アクティブ方式は、赤外線とＰＳＤ（距離センサ）とを用いて焦点位置を決める自動焦点（オートフォーカス）の方式である。光学レンズ装置１０１がアクティブ方式の自動焦点レンズである場合、書画カメラ１は、前述した距離センサ１０３の他に、所定レベルの赤外光を発光する赤外線発光部（図示せず）と、レンズ位置を変化させて合焦（焦点合わせ）させるためのステッピングモータ（図示せず）とを備える。

アクティブ方式自動焦点レンズを備える書画カメラ１が距離Ｌａ、距離Ｌｂを求める方法について、図１８のフローチャートに従って説明する。
まず、ＣＰＵ２０６は、赤外線発光部を制御して、赤外光を発光させる（ステップＳ８１）。さらに、ＣＰＵは距離センサ１０３を制御して、撮影対象までの距離Ｌｂを測定させる（ステップＳ８２）。

一方、レンズからイメージセンサ１０２までの距離Ｌａは、レンズの焦点距離ｆ’と撮影対象までの距離Ｌｂとを用いて、次の数１４に示す関係で表される。

そこで、ＣＰＵ２０６は、ステップＳ８２で求めた距離Ｌｂと焦点距離ｆ’の値とを数１４に代入して、距離Ｌａを求める（ステップＳ８３）。
ＣＰＵ２０６は、ステッピングモータを制御して駆動させ、そのステップ数を計測して、レンズからイメージセンサ１０２までの距離が所定の距離Ｌａになるように制御する。

２−ｂ）パッシブ方式自動焦点レンズ
パッシブ方式は、レンズ位置を動かしてコントラストの最も高い位置を探し（位相差検知）、焦点位置を決める自動焦点（オートフォーカス）の方式である。

パッシブ方式自動焦点レンズを備える書画カメラ１が距離Ｌａ、距離Ｌｂを求める方法について、図１９のフローチャートに従って説明する。
まず、ＣＰＵ２０６は、光学レンズ装置１０１を制御してレンズ位置を変化させ、焦点を合わせさせる（ステップＳ９１）。そして、ＣＰＵ２０６は、焦点の合ったレンズの位置の情報を取得し、レンズとイメージセンサ１０２との距離Ｌａの値を得る（ステップＳ９２）。

一方、レンズから被写体までの距離Ｌｂは、レンズの焦点距離ｆ’とレンズからイメージセンサ１０２までの距離Ｌａとを用いて、次の数１５に示す関係で表される。

そこで、ＣＰＵ２０６は、ステップＳ９２で求めた距離Ｌａと焦点距離ｆ’の値とを数１５に代入して計算し、距離Ｌｂを算出する（ステップＳ９３）。
尚、より高精度で撮影対象までの距離Ｌｂを算出するため、予め絞りをあけた状態（被写界深度が浅い状態）で、焦点合わせをおこなうことが望ましい。

以上説明したように、ＣＰＵ２０６は、レンズ位置や焦点距離等を用いて、撮影対象中の各四角形の大きさ（｜Ａ｜および｜Ｂ｜）を求める。さらに、画像処理装置２０３は、大きさの判明したこれらの四角形の中から、原稿４の辺を表すものとして、最もふさわしい四角形を選択する。具体的には、画像処理装置２０３は、これらの四角形の中から、原稿の用紙サイズに最も近い大きさのものを、原稿を表す四角形として選択する。

画像処理装置２０３が用紙サイズに最も近い四角形を選択するにあたり、予めユーザによって原稿の用紙サイズが設定され、入力されていることが必要となる。この用紙サイズの設定処理の内容を、図２０のフローチャートに従って説明する。

ユーザが拡大キー２１７と縮小キー２１８とを同時に押下すると、書画カメラ１のＣＰＵ２０６は、プログラムコード記憶装置２０５からプログラムコードを読み出して用紙サイズの設定処理を実行する。
まず、ＣＰＵ２０６は、用紙設定画面の画像データをメモリ２０１の所定領域にコピーする。これにより、表示装置２０２には、用紙設定画面の画像データを読み出し、所定の信号をプロジェクタ２に出力する。プロジェクタ２は、この信号に基づいて、図２１に示すような用紙サイズ設定画面を投影する（ステップＳ１０１）。

ＣＰＵ２０６は、図２１の画面で最上段に位置するＡ４の用紙サイズが選択状態にあるとして、選択用紙の指定用紙番号Ｐを１に初期化する（ステップＳ１０２）。そして、ＣＰＵ２０６は、メモリ２０１に書き込みをおこない、表示装置２０２を制御して、用紙サイズ設定画面上で現在選択状態にある用紙（この場合Ａ４サイズ）の選択領域を点灯（ハイライト）させる（ステップＳ１０３）。これにより、ユーザにＡ４サイズが選択されていることを知らせることが可能となる。その後、ＣＰＵ２０６は、ユーザからの用紙サイズの選択指示が、操作部２０４を介して入力されるのを待つ。

ＣＰＵ２０６は、操作部２０４を介して入力されたユーザからの指示がどの用紙サイズを選択するものであるのかを判定する（ステップＳ１０４）。ユーザによって右側のカーソルキー（左回転キー２１４）が押されたこと示す信号を操作部２０４から受信すると（ステップＳ１０４：Ｓｗ２１５）、ＣＰＵ２０６は指定用紙番号Ｐに１を加える（ステップＳ１０５）。

ＣＰＵ２０６は、ステップＳ１０３に戻ってメモリ２０１に書き込みを行い、表示装置２０２を制御して、図２１の画面上で次の行の用紙サイズの選択領域を点灯させる。

一方、左側のカーソルキー（右回転キー２１５）が押されたことを示す信号を操作部２０４から受信すると（ステップＳ１０４：Ｓｗ２１４）、ＣＰＵ２０６は指定用紙番号Ｐに−１を加える（ステップＳ１０６）。

ＣＰＵ２０６は、ステップＳ１０３に戻ってメモリ２０１に書き込みを行い、表示装置２０２を制御して、図２１の画面上で上の行の用紙サイズの選択領域を点灯させる。

そして、決定キー（撮影／解除キー２１９）が押されたことを示す信号を操作部２０４から受信すると（ステップＳ１０４：Ｓｗ２１９）、ＣＰＵ２０６は、予めプログラムコードからメモリ２０１内に配列Ｓとして呼び出された各用紙サイズの面積の中から、その時点で選択されている用紙サイズ（用紙Ｐ）の面積Ｓ（Ｐ）を、用紙面積Ｓｒとして読み出す（ステップＳ１０７）。そして、この面積Ｓｒの値をメモリ２０１に保存する（ステップＳ１０８）。

次に、画像処理装置２０３が、前述した用紙サイズ設定処理によって設定された原稿サイズを基に、四角形を選択する四角形選択処理の内容を、図２２のフローチャートに従って説明する。

画像処理装置２０３は、候補数Ｎｒの四角形Ｒｉの中から、いずれかの四角形Ｒｔを選択する。
まず、画像処理装置２０３は、前述した焦点機構によって得られる、Ｌａ、Ｌｂの情報を取得する（ステップＳ１１１）。

画像処理装置２０３は、変数ｉ、ｔおよびｄＳｍｉｎの初期化を行う。ここで、ｉは四角形の候補を示す変数、ｔは選択される四角形を示す変数であり、ｄＳｍｉｎは四角形の面積Ｓと指定された用紙の面積Ｓｒとの差｜Ｓ−Ｓｒ｜の最小値である。画像処理装置２０３は、具体的には、ｉ＝１、ｔ＝１、ｄＳｍｉｎ＝ＭＡＸ（数値上とりうる最大値）として、初期化をおこなう（ステップＳ１１２）。

次に、画像処理装置２０３は、四角形Ｒｉの４点と、前述した処理で求めたＳｗ＝Ｌｂ、ｆ＝Ｌａの値を数１２に代入し、｜Ａ｜と｜Ｂ｜とを計算する（ステップＳ１１３）。そして、求めた｜Ａ｜および｜Ｂ｜より四角形の面積Ｓ（＝｜Ａ｜＊｜Ｂ｜）を計算し、指定された用紙の面積Ｓｒとの差、（Ｓ−Ｓｒ）の絶対値ｄＳを求める（ステップＳ１１４）。

画像処理装置２０３は、用紙面積Ｓｒと四角形の面積Ｓとの差の絶対値ｄＳの値が最小となるｉを探す。
詳細には、まず画像処理装置２０３は、面積差の絶対値ｄＳの値とｄＳｍｉｎの値とを比較する（ステップＳ１１５）。ｄＳがｄＳｍｉｎ以上の値をとる場合（ステップＳ１１５：ｄＳ≧ｄＳｍｉｎ）、処理はステップＳ１１７にジャンプする。一方、ｄＳがｄＳｍｉｎよりも小さい場合（ステップＳ１１５：ｄＳ＜ｄＳｍｉｎ）、画像処理装置２０３は、新たにｄＳｍｉｎ＝ｄＳ、ｔ＝ｉと設定して、メモリ２０１を上書きする（ステップＳ１１６）。

次に、画像処理装置２０３は、変数ｉに＋１を加え（ステップＳ１１７）、ｉと四角形の候補数Ｎｒとを比較する（ステップＳ１１８）。ｉがＮｒよりも小さい場合、即ち全てのｉについて処理を行っていない場合（ステップＳ１１８：ｉ≦Ｎｒ）、画像処理装置２０３は、ステップＳ１１３に戻って、一連の処理を続ける。一方、ｉがＮｒに達している場合（ステップＳ１１８：ｉ＞Ｎｒ）、ｄＳの値が最小となるｉを抽出する。最終的に得られたこの候補番号ｉをｔとしてメモリ２０１に保存し、該当する四角形Ｒｔを選択する（ステップＳ１１９）。

このようにして、画像処理装置２０３は、画像中の四角形のうち、ユーザの指定した用紙サイズに最も近いものを常に原稿画像として選択する。これにより、書画の台座が四角形で原稿サイズより大きい場合などにも、余分な部分を含まずに正確に原稿画像を抽出することができる。

また、所定の用紙面積という絶対値を用いて四角形を決定するため、他の方法、例えば四角形の各辺の比を用いて比較を行う場合などと比較して、精度良く原稿画像の形状を抽出することができる。

（１）原稿４の画像からのアフィンパラメータ抽出
次に、選択された四角形から、射影パラメータ（アフィンパラメータ）を求める方法について説明する。
選択された四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）を用いて数６，数８に従い、数９に示す行列の要素であるアフィンパラメータを求めることができる。

この際、ｍ，ｎのスケールは ０≦ｍ≦１，０≦ｎ≦１の範囲であるので、座標単位の修正を行う。画像の中心を変えずに、Ｕ軸側、Ｖ軸側の画像サイズを、それぞれｕsc,ｖscでスケーリングするものとする。このとき画像の中心をｕc，ｖcとすると、画像のスケール変換は次の数１６によって表される。

この数１６をｕ，ｖスケールに書き直すと、変換後の四角形の座標（x',y',z'）は次の数１７によって表される。

ここで、Ａfは、アフィン変換行列であり、アフィン変換行列Ａfは次の数１８によって表される。

尚、アフィン変換行列Ａfの各要素がアフィンパラメータである。
数１７，１８から、ｕ軸とｖ軸との関係を示す四角形の縦横比ｋは、次の数１９によって表される。

尚、書画カメラ１の場合、通常、カメラ部１１の焦点距離は、レンズと原稿４を載置する台座１３の上との距離になるように設計される。このため、カメラ部１１の焦点距離を、カメラ部１１と原稿４との距離としてもよい。いずれにしても、書画カメラ１の場合、焦点距離又はカメラ部１１と原稿４との距離は、既知の値である。

但し、光学レンズ装置１０１のレンズがズームレンズの場合、ズーム位置によって焦点距離が変わるので、そのズーム位置に応じたカメラパラメータｆを予めテーブル等に記憶しておくことにより、縦横比ｋ＝Ｂ／Ａ（絶対値）を計算することができる。

スクリーン３に出力可能な最大画像（画面）サイズが（ｕmax,ｖmax）で与えられている場合、ｕc，ｖcは、次の数２０によって表される。

また、ｖmax/ｕmax＞ｋのとき、ｖmax/ｕmax ≦ｋのときは、それぞれ、次の数２１，２２に従って画像のスケーリングを行うと、所望の縦横比ｋの画像が得られる。

このような考え方に基づいて、画像処理装置２０３は、四角形の頂点からアフィンパラメータを取得する。この処理を、図２３に示すフローチャートに基づいて説明する。
画像処理装置２０３は、四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数６に従って、射影係数α、βを算出する（ステップＳ１２１）。

画像処理装置２０３は、数１９に従って原稿４の縦横比kを算出する（ステップＳ１２２）。
画像処理装置２０３は、数２０に従って、画像の中心点（ｕc,ｖc）を指定する（ステップＳ１２３）。
画像処理装置２０３は、最大画像サイズｖmax/ｕmaxと数１６で表される縦横比ｋとを比較する（ステップＳ１２４）。

ｖmax/ｕmax＞ｋの場合（ステップＳ１２４においてＹｅｓ）、縦横比ｋを変えないものとして、画像処理装置２０３は、Ｖ軸側（縦）の最大画像サイズｖmaxの方が原稿４の画像サイズよりも大きいと判定する。そして、画像処理装置２０３は、Ｕ軸側の最大画像サイズと原稿４の画像サイズとが一致するように、数２１に従ってｕsc，ｖscを求め、Ｖ軸側の原稿４の画像のスケールを決定する（ステップＳ１２５）。

ｖmax/ｕmax≦ｋの場合（ステップＳ１２４においてＮｏ）、縦横比ｋを変えないものとして、画像処理装置２０３は、Ｕ軸側（横）の最大画像サイズｕmaxの方が原稿４の画像サイズよりも大きいと判定する。そして、画像処理装置２０３は、Ｖ軸側の最大画像サイズと原稿４の画像サイズとが一致するように、数２２に従って、ｕsc，ｖscを求め、Ｕ軸側の原稿４の画像のスケールを決定する（ステップＳ１２６）。

画像処理装置２０３は、算出したｕsc，ｖsc，ｕc，ｖcと四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数１８に従って、アフィン変換行列Ａfを求める（ステップＳ１２７）。
画像処理装置２０３は、このアフィン変換行列Ａfの各要素をアフィンパラメータＡとして、このアフィンパラメータＡを取得する（ステップＳ１２８）。

（２）抽出したアフィンパラメータによる画像変換
次に、得られたアフィンパラメータを用いて補正画像を作成する画像処理方法について説明する。
まず、アフィンパラメータを用いて射影変換や他のアフィン変換を行なう場合、図２４に示すように、元の画像の点ｐ（x,y）が、変換行列Ａpによる射影変換等によって変換（後）画像の点Ｐ（u,v）に対応するものとする。この場合、元の画像の点ｐに対応する変換画像の点Ｐを求めるよりは、変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めたほうが好ましい。

尚、変換画像の点Ｐの座標を求める際、バイリニア法による補間方法を用いるものとする。バイリニア法による補間方法は、一方の画像（元の画像）の座標点と対応する他方の画像（変換画像）の座標点を探し出して、一方の画像の座標点の周辺４点の（画素）値から変換画像の点Ｐ（u,v）の（画素）値を求める方法である。この方法によれば、変換画像の点Ｐの画素値Ｐは、次の数２３に従って算出される。

変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めるため、画像処理装置２０３は、図２５に示すフローチャートの処理を実行する。
画像処理装置２０３は、変換画像の画素位置ｕを０に初期化する（ステップＳ１３１）。

画像処理装置２０３は、変換画像の画素位置ｖを０に初期化する（ステップＳ１３２）。
画像処理装置２０３は、アフィンパラメータＡに変換画像の画素位置（u,v）を代入し、数３に従って、元の画像の画素位置（x,y）を求める（ステップＳ１３３）。

画像処理装置２０３は、求めた画素位置（x,y）から、数２３に従って、バイリニア法により画素値Ｐ（u,v）を求める（ステップＳ１３４）。
画像処理装置２０３は、補正後画像の座標ｖを１つだけインクリメントする（ステップＳ１３５）。

画像処理装置２０３は、補正後画像の座標ｖと座標ｖの最大値ｖmaxとを比較して、補正後画像の座標ｖが最大値ｖmax以上になったか否かを判定する（ステップＳ１３６）。

座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ１３６においてＮｏ）、画像処理装置２０３は、ステップＳ１３３〜Ｓ１３５を再度実行する。

ステップＳ１０３〜Ｓ１０５の処理を繰り返すことにより、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ１３６においてＹｅｓ）、画像処理装置２０３は、補正後画像の座標ｕを１つだけインクリメントする（ステップＳ１３７）。

画像処理装置２０３は、座標ｕと座標ｕの最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定する（ステップＳ１３８）。
座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ１３８においてＮｏ）、画像処理装置２０３は、再度、ステップＳ１３２〜Ｓ１３７の処理を実行する。

ステップ１３２〜Ｓ１３７の処理を繰り返すことにより、座標ｕが最大値ｕmaxに達したと判定した場合（ステップ１３８においてＹｅｓ）、画像処理装置２０３は、この画像変換処理を終了させる。

（３）輝度あるいは色差等に関する画像効果補正用パラメータの抽出及び画像効果処理
次に、このように得られた画像から、画像効果補正用パラメータを抽出する処理と、このパラメータを用いて行う画像効果処理と、について説明する。画像効果処理は、より鮮明な画像を得るための処理である。

画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像効果処理に必要な変数である。

画像効果補正用パラメータを抽出するには、さらに、（３−ａ）全体の画像から輪郭を除く実原稿部の画像を切り出し、（３−ｂ）輝度、色差のヒストグラムを生成する必要がある。まず、画像効果補正用パラメータの抽出に必要な処理について説明する。

（３−ａ）画像の切り出し
図２６に示すように、原稿４の画像には、写真、図形、文字等の実体的な画像だけでなく、台座１３や、原稿４の紙面の影等のように、原稿４の内容に無関係の画像も写っている場合がある。この全体画像に内枠と外枠とを設定し、原稿４の実体的な画像がある内枠内を実原稿部、台座１３や、原稿４の紙面の影等が写っている内枠と外枠との間を周辺部とする。周辺部に写っている原稿４の輪郭は、概して黒であることが多い。画像データに、このような周辺部のデータがあった方が好ましい場合もある。

しかし、原稿４の周辺部の画像も含めてヒストグラムを生成すると、ヒストグラムの引き伸ばしなどが有効に機能しない場合がある。
このため、画像効果補正用パラメータを取り出すときにのみ、実原稿部の画像を切り出して輝度、色差のヒストグラムを生成し、このヒストグラムから取り出した画像効果補正用パラメータを用いて画像全域に対して画像効果処理を行なうものとする。この方が、より効果的なパラメータを取得することができる。

具体的には、周辺部を含めた画像データがＭ行Ｎ列であって、Ｘ、Ｙ方向とも外枠と内枠との間のドット数がＫドットであるとすると、Ｘ軸側では、実原稿部の画素データであるＫからＭ−Ｋ行までの画素データを取得し、Ｙ軸側では、実原稿部の画素データであるＫからＮ−Ｋ列までの画素データを取得する。実原稿部の画素データは、（M-2*K）行、（N-2*K）列のデータになる。

（３−ｂ）輝度、色差のヒストグラムの生成
このように切り出した実原稿部の画像について、輝度ヒストグラム、色差ヒストグラムを生成する。

輝度ヒストグラムは、実原稿部に存在する輝度値（Ｙ）の分布を示すものであり、輝度値毎に実原稿部の画素の数を計数することにより生成される。図２７（ａ）に輝度ヒストグラムの一例を示す。図２７（ａ）において、横軸は、輝度値（Ｙ）を示し、縦軸は、画素数を示す。画像効果を補正するには、画像効果補正用パラメータとして、最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を求める必要がある。

最大値は、輝度値毎に画素の数を計数し、予め設定された所定数以上の計数値を有する輝度値のうちの最大輝度を示す値であり、最小値は、設定された所定数以上の計数値を有する輝度値のうちの最小輝度を示す値である。ピーク値は、計数値が最大となる輝度値である。ピーク値は、撮影対象である原稿４の背景色の輝度値を示すものと考えられる。

また、色差ヒストグラムは、実原稿部に存在する色差（Ｕ，Ｖ）の分布を示すものであり、色差毎に実原稿部の画素の数を計数することにより生成される。図２７（ｂ）に、色差ヒストグラムの一例を示す。図２７（ｂ）において、横軸は、色差を示し、縦軸は、画素数を示す。色差ヒストグラムの場合も、画素の計数値が最大となる色差のピーク値（Ｕpeak，Ｖpeak）が現れる。このピーク値も原稿４の背景色の色差を示すものと考えられる。画像効果を補正するには、画像効果補正用パラメータとして色差ヒストグラムのピーク値と平均値（Ｕmean,Ｖmean）とを求める必要がある。尚、平均値は、平均計数値を有する色差の値である。

尚、画像効果を補正して視認性に優れた画像を得るには、原稿４の背景色によって補正効果が異なってくるため、画像効果の補正方法を原稿４の背景色によって変える必要がある。このため、原稿４の背景色の判別が必要になってくる。原稿４の背景色は、輝度ヒストグラム、色差ヒストグラムの各ピーク値から判別される。

ここで、原稿４の背景色を、３つに分類するものとする。第１は、ホワイトボード、ノート等のように背景色が白の場合である。第２は、黒板等のように背景色が黒の場合である。第３は、雑誌、パンフレットのように背景色が白又は黒以外の場合である。

具体的に、原稿４の背景色は、以下の判別式に従って判別される。
（２−ａ）白の判定条件
白判定条件は、次の数２４によって表され、数２４に示す条件を満足したときに、原稿４の背景色は白（Ｗ）と判定される。

（２−ｂ）黒の判定条件
黒判定条件は、次の数２５によって表され、数２５に示す条件を満足したときに、原稿４の背景色は黒（ｂ）と判定される。

また、数２４，２５に示す条件を満足しなかった場合、原稿４の背景色はカラー（Ｃ）と判定される。尚、カラー閾値は、例えば、５０に、白判定閾値は、例えば、１２８に、黒判定閾値は、例えば、５０に設定される。

このような考え方に基づいて、画像処理装置２０３は、図２８に示すフローチャートに従って画像効果補正用パラメータの抽出処理を実行する。
画像処理装置２０３は、実原稿部の中で、各輝度（Ｙ）値を有する画素の数を計数して、図２７（ａ）に示すような輝度ヒストグラムを生成する（ステップＳ１４１）。

画像処理装置２０３は、生成した輝度ヒストグラムから、輝度の最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を取得する（ステップＳ１４２）。
画像処理装置２０３は、図２７（ｂ）に示すような色差（Ｕ，Ｖ）のヒストグラムを作成する（ステップＳ１４３）。

画像処理装置２０３は、画像効果補正用パラメータとして、色差（Ｕ，Ｖ）のピーク値（Ｕpeak,Ｖpeak）を求める（ステップＳ１４４）。
画像処理装置２０３は、画像効果補正用パラメータとして、色差の平均値（Ｕmean,Ｖmean）を求める（ステップＳ１４５）。

画像処理装置２０３は、画像ヒストグラムのこれらのピーク値（Ｙpeak,Ｕpeak,Ｖpeak）から、数２４，２５に示す判定条件式に従って原稿４の背景色を判別する（ステップＳ１４６）。
画像処理装置２０３は、画像効果補正用パラメータと原稿４の背景色のデータをメモリ２０１に記憶する（ステップＳ１４７）。

次に、画像処理装置２０３は、このように抽出した画像効果補正用パラメータを用いて画像効果処理（ステップＳ２５）を行う。
前述のように、画像効果処理を効果的に行うには、背景色によって処理内容を替える必要がある。

ホワイトボード、ノート等のように、背景色が白である場合、図２９（ａ）に示すような輝度変換を行う。黒板等のように、背景色が黒である場合、図２９（ｂ）に示すような輝度変換を行う。雑誌、パンフレット等のように、背景色が白または黒以外である場合、図２９（ｃ）に示すような変換を行う。尚、図２９（ａ），（ｂ），（ｃ）において、横軸は、画素値の入力値を示し、縦軸は、画素値の出力値を示す。

背景色が白である場合、図２９（ａ）に示すように、ピーク値を境にして、輝度変換線の傾斜角度を変える。所定輝度値を、例えば、２３０として、入力された輝度のピーク値を輝度値２３０まで引き上げる。そして、最大値を、最大輝度まで持ち上げる。従って、輝度変換線は、図２９（ａ）に示すように、２つの線分によって表される。

背景色が黒である場合、図２９（ｂ）に示すように、ピーク値をある一定の輝度値（２０）になるように輝度変換を行なう。この場合も、図２９（ｂ）に示すように、輝度変換線は２つの線分によって表される。

背景色が白または黒以外の色である場合、図２９（ｃ）に示すように、通常の引き伸ばし処理と同様に、最小値以下と最大値以上をカットし、１つの線分として表されるように輝度変換線を設定する。

尚、このように背景の輝度（Ｙ）と出力（Ｙ’）との変換テーブルを予め設定してメモリ２０１に記憶してもよい。作成した変換テーブルに従って、入力された各画素の値から、それぞれの出力値を求め、画像効果処理を施す。このように変換された画像は、明るい画素はより明るく、暗い画素はより暗くなるので、輝度分布が広がり、視認性がすぐれた画像になる。

また、撮影された画像によっては、デジタルカメラのホワイトバランスの調整が適正に行われず、例えば、全体が黄色等に色が変わってしまう場合がある。この色の変化は、輝度ヒストグラムの画像効果処理を行うだけでは、修正することができない。

この場合、好ましい画像を得るためには、カラー調整を行う。図３０にカラー調整を行うための輝度変換グラフの一例を示す。
図３０において、横軸は、色差の入力値を示し、縦軸は、色差の出力値を示す。カラー調整は、図２７（ｂ）に示す色差（Ｕ，Ｖ）のそれぞれの平均値（Ｕmean,Ｖmean）がグレーになるように、図３０に示す輝度変換グラフに従って輝度変換が行なわれる。

色差ＵとＶの値がともに０である場合、色は無彩色となるため、ピーク値（Ｕpeak，Ｖpeak）が０になるようにカラー調整を行う。即ち、カラーの変換線は２つの線分によって表される。入力値Ｕに対する出力値Ｕ’は次の数２６で与えられる。

色差Ｖについても同様である。

次に、画像効果処理として、前述の輝度引き延ばしだけでは、十分に背景が白色化しない場合、背景の白色化を行い、画像内の背景と思われる部分の色を白（Ｙ：255, Ｕ：０, Ｖ：０）または、それに近い色にする。

図３１（ａ）は、ある画素の輝度値を基準（０）にして、この画素の輝度値に対する輝度値の引き上げ率を示す図である。横軸は、輝度値を示し、縦軸は輝度値の引き上げ率を示す。また、図３１（ｂ）は、色差と色差の変化率を示す図である。横軸は、色差を示し、縦軸は、色差の変化率を示す。

図中、C0は、輝度と色差とを１００％引き上げる０からの範囲を示し、C1は、輝度値に従って引き上げ率を可変する範囲を示す。図３１（ａ），（ｂ）に示すように、輝度（Ｙ）値が一定値以上（Ｙw）で、色差（Ｕ，Ｖ）が一定範囲内（Ｃ０）の画素の色を白色化範囲として、輝度値を引き上げ、色差を０にする。このような背景の白色化を行えば、輝度引き延ばしだけでは、十分に背景が白色化しない場合に、画像効果処理が非常に有効なものとなる。

このような考え方に基づいて、画像処理装置２０３は、図３２に示すフローチャートに従って、画像効果処理を実行する。
画像処理装置２０３は、保存した画像効果補正用パラメータをメモリ２０１から読み出す（ステップＳ１５１）。

画像処理装置２０３は、背景が白か否かを判定する（ステップＳ１５２）。
背景が白と判定した場合（ステップＳ１５２においてＹｅｓ）、画像処理装置２０３は、背景をより白くして、視認性が良くなるように、図２９（ａ）に示すような輝度変換を行って、輝度ヒストグラムの調整を行う（ステップＳ１５３）。

背景が白ではないと判定した場合（ステップＳ１５２においてＮｏ）、画像処理装置２０３は、背景が黒か否かを判定する（ステップＳ１５４）。

背景が黒であると判定した場合（ステップＳ１５４においてＹｅｓ）、画像処理装置２０３は、背景が黒の場合、図２９（ｂ）に示すような輝度変換を行って、輝度ヒストグラムを調整する（ステップＳ１５５）。

背景が黒ではないと判定した場合（ステップＳ１５４においてＮｏ）、画像処理装置２０３は、図２９（ｃ）に示すような輝度変換を行って、原稿４の背景色に応じたヒストグラム調整を行う（ステップＳ１５６）。
画像処理装置２０３は、このように調整した画像に対して、図３０に示すような変換を行ってカラー調整を行う（Ｓ１５７）。

画像処理装置２０３は、図３３に示すフローチャートに従って背景の白色化処理（Ｓ１５８）を行う。

即ち、画像処理装置２０３は、カウント値ｊを０に初期化する（ステップＳ１６１）。
画像処理装置２０３は、カウント値ｉを０に初期化する（ステップＳ１６２）。
画像処理装置２０３は、入力画像の画素（i,j）の輝度（Ｙ）が一定値以上（Ｙw）であるか否かを判定する（ステップＳ１６３）。

輝度（Ｙ）が一定値以上（Ｙw）であると判定した場合（ステップＳ１６３においてＹｅｓ）、画像処理装置２０３は、入力画像の画素（i,j）の色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であるか否かを判定する（ステップＳ１６４）。

色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であると判定した場合（ステップＳ１６４においてＹｅｓ）、画像処理装置２０３は、輝度値（Ｙ）を２５５に設定し、色差（ｕ，ｖ）を０にして（Ｓ１６５）、画素（i,j）の値を書き換え、カウント値ｉをインクリメントする（ステップＳ１６６）。

一方、色差Ｕ、Ｖの絶対値が所定値Ｃ０未満ではないと判定した場合（ステップＳ１６４においてＮｏ）、画像処理装置２０３は、色差Ｕ、Ｖの絶対値が所定値Ｃ１未満であるか否かを判定する（ステップＳ１６７）。

色差Ｕ、Ｖの絶対値が所定値Ｃ１未満であると判定した場合（ステップＳ１６７においてＹｅｓ）、画像処理装置２０３は、輝度値Ｙ＝Ｙ＋ａ＊（255−Ｙ）として（ステップＳ１６８）、画素（i,j）の値を書き換えて、カウント値ｉをインクリメントする（ステップＳ１６６）。

色差Ｕ、Ｖの絶対値が所定値Ｃ１未満ではないと判定した場合（ステップＳ１６７においてＮｏ）、画像処理装置２０３は、輝度値を変更せずに、カウント値ｉをインクリメントする（ステップＳ１６６）。

画像処理装置２０３は、カウント値ｉを、その最大値ｉmaxと比較して、カウント値ｉが最大値ｉmaxに達したか否かを判定する（ステップＳ１６９）。
カウント値ｉが最大値ｉmaxに達していないと判定した場合（ステップＳ１６９においてＮｏ）、画像処理装置２０３は、ステップＳ１６３〜Ｓ１６８の処理を、再度、実行する。

ステップＳ１６３〜Ｓ１６８の処理を繰り返し実行することにより、カウント値ｉが最大値ｉmaxに達したと判定した場合（ステップＳ１６９においてＹｅｓ）、画像処理装置２０３は、カウント値ｊをインクリメントする（ステップＳ１７０）。

画像処理装置２０３は、カウント値ｊを、その最大値ｊmaxと比較して、カウント値ｊが最大値ｊmaxに達したか否かを判定する（ステップＳ１７１）。

カウント値ｊが最大値ｊmaxに達していないと判定した場合（ステップＳ１７１においてＮｏ）、画像処理装置２０３は、ステップＳ１６２〜Ｓ１７０の処理を、再度、実行する。

ステップＳ１６２〜Ｓ１７０の処理を繰り返し実行することにより、カウント値ｊが最大値ｊmaxに達したと判定した場合（ステップＳ１７１においてＹｅｓ）、画像処理装置２０３は、この背景の白色化処理を終了させる。

（４）画像変換の調整
次に、一度画像変換を行った画像に対して行われる調整（図５のステップＳ３３）について説明する。
抽出された四角形の頂点の座標に若干の誤差等が含まれているような場合、図３４（ａ）、（ｂ）に示すように、得られたアフィンパラメータで射影した結果が好ましくない場合がある。このため、本実施形態の撮影画像投影装置は、ユーザによって射影変換の調整を行えるように構成されている。

ユーザは操作部２０４の各キーを操作すると、操作部２０４は、ユーザの操作に応答して、この操作情報を指示情報としてＣＰＵ２０６に送る。ＣＰＵ２０６は、この操作情報を判別し、判別結果に従って画像処理装置２０３を制御する。

尚、図３５に示すように、補正画像の補間画素Ｑ（u',v'）を求める際に、補間画素Ｑ（u',v'）に対して逆変換Ａiを行って、補間画素Ｑ（u',v'）に対応する補正画像Ｐ（u,v）を求め、さらに補正画像Ｐ（u,v）に対して逆変換を行って、元の画像のｐ（x,y）を求め、画像ｐ（x,y）に対して画素補間を行うのが通常である。射影変換と拡大変換等、画像変換を２段変換する場合は、２つの変換を合成した変換行列を求めておいて、元の画像に対して変換を一度で行う。この方が、変換を２回行うより画像を高速に求めることができ、、かつ、前述した２回の逆変換を行って画像を作成する方法より、画像劣化は少なくなる。

変換前の画像を、Ｘ軸，Ｙ軸を中心に角度θだけ回転して得られた変換後の画像から、変換前の画像を取得する場合の回転逆変換行列Ａrは、次の数２７によって表される。

変換前の画像を、Ｘ軸，Ｙ軸を中心にしてＳc倍拡大して得られた変換後の画像から、変換前の画像を取得する場合の拡大行列Ａscは、次の数２８によって表される。

尚、一度、画像を拡大すると、アフィンパラメータの調整や計算で丸め誤差の処理等が行われる場合がある。このため、画像を拡大する場合、その前に元の等倍のアフィンパラメータに復帰させるようにしておく必要がある。

変換前の画像をＸ，Ｙ方向に、それぞれ、Ｔx，Ｔyだけ移動させることによって得られた変換後の画像から、変換前の画像を取得する場合の移動行列Ａsは、次の数２９によって表される。

補正前の画像をＸ，Ｙ方向に、それぞれ、α，βだけ傾斜することによって得られた変換後の画像から、変換前の画像を取得する場合の射影効果行列Ａpは、次の数３０によって表される。

そして、２段の逆変換を実行する場合、その逆変換行列Ａは、次の数３１によって表される。

このような考え方に基づいて実行される画像変換の調整処理を、図３６，３７に示すフローチャートに基づいて説明する。
ＣＰＵ２０６は、拡大率Zoomが１であるか否かを判定する（ステップ１８１）。尚、拡大率Zoomは、予め１に初期化されているため、ＣＰＵ２０６は、最初、拡大率Zoomが１であると判定する（ステップＳ１８１においてＹｅｓ）。拡大率Zoomが１であると判定すると、ＣＰＵ２０６は、射影変換キーとして、上拡大キー２１１、下拡大キー２１２、左拡大キー２１３、右拡大キー２１４のいずれかが押下されたか否かを判定する（ステップ１８２）。

射影変換キーが押下されたと判定した場合（ステップＳ１８２においてＹｅｓ）、ＣＰＵ２０６は、操作された射影変換キーの種別を判別する。

押下された射影変換キーが右拡大キー２１４であると判別した場合、ＣＰＵ２０６は、数２６に示す射影効果行列Ａpに、α＝0.1、β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１８３）。

押下された射影変換キーが左拡大キー２１３であると判別した場合、ＣＰＵ２０６は、数３０に示す射影効果行列Ａpに、α＝-0.1，β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１８４）。

押下された射影変換キーが上拡大キー２１１であると判別した場合、ＣＰＵ２０６は、数３０に示す射影効果行列Ａpに、α＝０，β＝0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１８５）。

押下された射影変換キーが下拡大キー２１２であると判別した場合、ＣＰＵ２０６は、数３０に示す射影効果行列Ａpに、α＝０，β＝-0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１８６）。

射影変換キーは押下されていないと判定した場合（ステップ１８２においてＮｏ）、ＣＰＵ２０６は、回転キーが押下されたか否かを判定する（ステップＳ１８７）。
回転キーが押下されたと判定した場合（ステップＳ１８７においてＹｅｓ）、ＣＰＵ２０６は、押下された回転キーの種別を判別する。

押下された回転キーが右回転キー２１５であると判別した場合、ＣＰＵ２０６は、数２７に示す回転逆変換行列Ａrに、θ＝−１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップ１８８）。

押下された回転キーが左回転キー２１６であると判別した場合、ＣＰＵ２０６は、数２７に示す回転逆変換行列Ａrに、θ＝１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップ１８９）。

回転補正キーは押下されていないと判定した場合（ステップＳ１８７においてＮｏ）、ＣＰＵ２０６は、拡大処理が行われる前に、元の等倍のアフィンパラメータに復帰させることができるように、現在のアフィンパラメータを行列Ａfに退避させる（ステップＳ１９０）。

一方、拡大率Zoomが１ではないと判定した場合（ステップＳ１８１においてＮｏ）、ＣＰＵ２０６は、カーソルキーが押下されたか否かを判定する（ステップＳ１９１）。

カーソルキーが押下されたと判定した場合（ステップＳ１９１においてＹｅｓ）、ＣＰＵ２０６は、押下されたカーソルキーの種別を判別する。

カーソルキーが右移動キー（拡大キー２１７と右拡大キー２１４）であると判別した場合、ＣＰＵ２０６は、数２９に示す移動行列Ａsに、Ｘ軸，Ｙ軸のそれぞれの移動量Ｔx＝64，Ｔy＝０を代入して、逆変換行列Ａi＝Ａsを取得する（ステップＳ１９２）。

カーソルキーが左移動キー（拡大キー２１７と左拡大キー２１３）であると判別した場合、ＣＰＵ２０６は、数２９に示す移動行列Ａsに、Ｘ軸，Ｙ軸のそれぞれの移動量Ｔx＝-64，Ｔy＝０を代入して、逆変換行列Ａi＝Ａsを取得する（ステップＳ１９３）。

カーソルキーが上移動キー（拡大キー２１７と上拡大キー２１１）であると判別した場合、ＣＰＵ２０６は、数２９に示す移動行列Ａsに、Ｘ軸，Ｙ軸のそれぞれの移動量Ｔx＝０，Ｔy＝64を代入して、逆変換行列Ａi＝Ａsを取得する（ステップＳ１９４）。

カーソルキーが下移動キー（拡大キー２１７と下拡大キー２１２）であると判別した場合、ＣＰＵ２０６は、数２９に示す移動行列Ａsに、Ｘ軸，Ｙ軸のそれぞれの移動量Ｔx＝０，Ｔy＝-64を代入して、逆変換行列Ａi＝Ａsを取得する（ステップＳ１９５）。

一方、カーソルキーは押下されていないと判定した場合（ステップＳ１９１においてＮｏ）、あるいは、回転補正キーは押下されていないと判定して現在のアフィンパラメータを行列Ａfに退避させた場合（ステップＳ１６０）、ＣＰＵ２０６は、拡大キー２１７又は縮小キー２１８が押下されたか否かを判定する（ステップＳ１９６）。

拡大キー２１７又は縮小キー２１８は押下されていないと判定した場合（ステップＳ１９６においてＮｏ）、ＣＰＵ２０６は、この射影変換の調整処理を終了させる。
一方、拡大キー２１７又は縮小キー２１８が押下されたと判定した場合（ステップＳ１９６においてＹｅｓ）、ＣＰＵ２０６は、押下されたキーの種別を判別する。

押下されたキーが拡大キー２１７であると判別した場合、ＣＰＵ２０６は、拡大率Zoom＝Zoom＊Ratio（Ratioは、例えば、２倍）として、新たな拡大率Zoomを取得し（ステップＳ１９７）、数２８に示す拡大行列ＡscのScに、Sc＝Ratioを代入して、逆変換行列Ａi＝Ａscを取得する（ステップＳ１９８）。

押下されたキーが縮小キー２１８であると判別した場合、ＣＰＵ２０６は、拡大率Zoom＝Zoom／Ratioとして、新たな拡大率Zoomを取得する（ステップＳ１９９）。
縮小キー２１８の場合、ＣＰＵ２０６は、拡大率Zoomが１を越えているか否かを判定する（ステップＳ２００）。

拡大率Zoomが１を越えている（Zoom＞１）と判定した場合（ステップＳ２００においてＹｅｓ）、ＣＰＵ２０６は、数２８に示す拡大行列ＡscのScに、Sc＝１／Ratioを代入して、逆変換行列Ａi＝Ａscを取得する（ステップＳ２０１）。

次に、逆変換行列Ａiを設定した場合（ステップＳ１８３〜Ｓ１８６，Ｓ１８８，Ｓ１８９、Ｓ１９２〜１９５，Ｓ１９８，Ｓ２０１）、ＣＰＵ２０６は、数３１に従って、逆変換行列Ａを求める（ステップＳ２０２）。

ＣＰＵ２０６は、求めた変換行列Ａを画像処理装置２０３に供給し、逆変換行列Ａに基づいて画像変換を行うように画像処理装置２０３を制御する。画像処理装置２０３は、供給された逆変換行列Ａに基づいて、アフィン変換による画像変換を行う（ステップＳ２０３）。

一方、拡大率Zoomが１を越えていない（Zoom≦１）と判定した場合（ステップＳ２００においてＮｏ）、ＣＰＵ２０６は、拡大率Zoom＝１とする（ステップＳ２０４）。
ＣＰＵ２０６は、Ａ＝Ａf（ステップＳ１９０で保存しておいた拡大前のアフィンパラメータ）として、元の逆変換行列Ａに戻す（ステップＳ２０５）。

そして、ＣＰＵ２０６は、同じように、求めた逆変換行列Ａを画像処理装置２０３に供給して画像変換を行うように画像処理装置２０３を制御し、画像処理装置２０３は、供給された逆変換行列Ａに基づいて、アフィン変換による画像変換を行う（ステップＳ２０３）。

尚、拡大等を行って作成された画像は、原稿４の一部のものである。このように拡大して説明する原稿４は、図、グラフ、写真等である場合が多く、拡大された部分のみを用いてコントラスト引き延ばしなどの画像効果処理を行うと、期待するような画像品質が得られない場合がある。これは、原稿４が図や、写真の場合、背景色の比率が少ないためである。

従って、画像を拡大、縮小、移動させる場合、このような画像変換を行う前の画像効果補正用パラメータを、そのまま用いたほうが好ましい。このような理由から、図５のステップＳ３３（画像変換）では、画像変換が画像の拡大、縮小、移動等である場合には、ＣＰＵ２０６は、画像効果補正用パラメータの抽出をスキップさせて、画像処理装置２０３は、画像変換を行う前の画像効果補正用パラメータで画像効果処理を行う。

一方、画像変換が射影変換、回転の場合、撮影対象（原稿４）の切抜きが正しくできていなくても操作されるので、新しく調整された画像を用いて、新たに画像効果補正用パラメータの抽出を行うのが好ましい。このため、画像変換が射影変換、回転の場合、ＣＰＵ２０６は、画像効果補正用パラメータの抽出処理（図５のステップＳ２５）に移行させる。

以上説明したように、本実施形態１によれば、画像処理装置２０３は、原稿４の画像から輪郭を取得して、原稿４の四角形の形状を取得し、四角形の頂点位置から、射影パラメータを求めて原稿４の画像を射影変換するようにした。

従って、被写体対象である原稿４が四角形であれば、自動的に原稿４だけの画像を切り出し、正面から見た画像に変換されるので、必ずしも撮影被写体に対して真上から撮影する必要もなく、また、原稿４を置いたときの向きに関わらず、正しい向きで原稿４の画像をスクリーン３に投影することができる。

また、切り出した画像に対して最適な画像効果処理が行われるので、原稿４を照明しなくても、十分に判読性の高い画像を得ることができる。

また、一度切り出した画像に対して、画像の回転や射影効果処理の補正を行う場合には、最初の切り出しで求めた画像効果補正用パラメータを用いて行えるようにしたので、さらに見やすい画像を簡単に作成することができ、原稿４に反り、曲がりがあっても、簡単な操作によって画像処理を調整することができる。

また、切り出した画像に対して、拡大、縮小等を行えるようにするとともに、その画像を得るのに切り出した画像から作成するのではなく、切り出しと拡大を一度に画像変換を行うので、劣化の少ない画像を作成することができる。

切り出した画像の拡大画像に画像効果処理を行う際に、拡大する前の画像効果補正用パラメータを記憶し、その記憶したパラメータを用いて画像効果処理を行うようにしたので、安定した高品位の画像を得ることができる。

（実施形態１）
実施形態２に係る撮影画像投影装置は、コンピュータを備え、コンピュータが画像処理を行うように構成されたものである。

実施形態２に係る撮影画像投影装置の構成を図３８に示す。
実施形態２に係る撮影画像投影装置は、書画カメラ１とプロジェクタ２とに加え、コンピュータ５を備える。

書画カメラ１とコンピュータ５とは、ＵＳＢ（Universal Serial Bus）等の通信ケーブル３１を介して接続され、コンピュータ５とプロジェクタ２とは、ＲＧＢケーブル等のビデオ映像ケーブル３２を介して接続される。

実施形態２の書画カメラ１は、図３９に示すように、実施形態１の画像処理装置２０３の代わりに画像圧縮装置２０７と、インタフェース装置２０８と、をデータ処理部２２に備える。

画像圧縮装置２０７は、コンピュータ５に送信するデータの量を低減するために画像データを圧縮するものである。画像圧縮装置２０７は、ＪＰＥＧ（Joint Photographic Expert Group）規格等の技術を用いて静止画像を圧縮する。

インタフェース装置２０８は、圧縮した画像データをコンピュータ５に送信し、またコンピュータ５からの撮影コマンドを受信するためのものである。

また、ＣＰＵ２０６は、光学レンズ装置１０１の焦点、露出、ホワイトバランス等のカメラ設定パラメータを動画モードに初期化する機能を有する。これによりに、カメラ部１１が捉えているシーンは、光学レンズ装置１０１を経由してイメージセンサ１０２に集光され、イメージセンサ１０２は、集光された画像から動画撮影用の解像度の低いデジタルの画像データを作成し、メモリ２０１に、例えば、１秒あたり３０枚程度で送り出す。

コンピュータ５は、書画カメラ１に撮影コマンドを送って書画カメラ１を制御し、画像データを受信して画像処理を行った画像データをプロジェクタ２に送信するものである。
コンピュータ５は、インタフェース装置２３１と、表示装置２３２と、画像処理装置２３３と、操作部２３４と、ＨＤＤ（Hard Disk Drive）２３５と、ＣＰＵ２３６と、ＲＯＭ（Read Only Memory）２３７と、ＲＡＭ（Random Access Memory）２３８と、を備える。

インタフェース装置２３１は、圧縮された画像データを受信するとともに、撮影コマンド等を送信するためのものである。
表示装置２３２は、表示装置２０２と同様に、プロジェクタ２に送り出す画像を表示するためのものである。

画像処理装置２３３は、受信した画像データに対して、画像の歪み補正や画像効果などの画像処理を行うためのものであり、実施形態１の画像処理装置２０３と同様の機能を有する。また、画像処理装置２３３は、圧縮された画像に対して圧縮デコードを行って非圧縮データを生成する。

画像処理装置２３３は、ハードウェアで構成されてもよいし、ソフトウェアで構成されたものであってもよい。ソフトウェアであれば、バージョンアップによって機能を更新することができるので、画像処理装置２３３は、ソフトウェアで構成されることが好ましい。

尚、コンピュータ５が書画カメラ１の画像処理装置２０３の機能を備えることにより、カメラ部１１には、画像処理用のハードウェアを実装する必要がなくなり、市販の標準的なデジタルカメラを用いてもよい。

操作部２３４は、ユーザがデータ、コマンドを入力するためのスイッチ、キーを備えたものである。
ＨＤＤ２３５は、データ等を記憶するためのものである。ＨＤＤ２３５は、予めインストールされた書画処理用のソフトウェアのデータも記憶する。

ＣＰＵ２３６は、コンピュータ５の各部を制御するとともに、高解像度静止画の撮影を指示する撮影コマンド等を書画カメラ１に送信して書画カメラ１を制御するものである。
ＲＯＭ２３７は、ＣＰＵ２３６が実行する基本的なプログラムコード等を記憶するものである。
ＲＡＭ２３８は、ＣＰＵ２３６が実行するのに必要なデータを記憶するものである。

次に実施形態２に係る撮影画像投影装置の動作を図４０に示すフローチャートに基づいて説明する。
書画カメラ１のＣＰＵ２０６は、インタフェース装置２０８、画像圧縮装置２０７やメモリ２０１内の作業メモリの初期化を行う（ステップＳ２１１）。
ＣＰＵ２０６は、光学レンズ装置１０１の焦点、露出、ホワイトバランス当、カメラ設定パラメータを動画モードに初期化する（ステップ２１２）。

ＣＰＵ２０６は、インタフェース装置２０８をチェックして、コンピュータ５からの撮影コマンドを受信したか否かを判定する（ステップＳ２１３）。
撮影コマンドを受信していないと判定した場合（ステップＳ２１３においてＮｏ）、ＣＰＵ２０６は、操作部２０４からの操作情報に基づいて操作部２０４の画像調整キーが押下されたか否かを判定する（ステップＳ２１４）。

画像調整キーが押下されたと判定した場合（ステップＳ２１４においてＹｅｓ）、ＣＰＵ２０６は、押下された画像調整キーの種別情報を、インタフェース装置２０８を介してコンピュータ５に送信し（ステップＳ２１５）、イメージセンサ１０２から低解像度画像を読み込む（ステップＳ２１６）。

一方、画像調整キーが押下されていないと判定した場合（ステップＳ２１４においてＮｏ）、ＣＰＵ２０６は、種別情報を送信せずに、イメージセンサ１０２から低解像度画像を読み込む（ステップＳ２１６）。

画像圧縮装置２０７は、ＣＰＵ２０６の制御の下、ＣＰＵ２０６が読み込んだ画像データを圧縮する（ステップＳ２１７）。
ＣＰＵ２０６は、画像圧縮装置２０７が圧縮した低解像度画像のデータをインタフェース装置２０８を介して、例えば、毎秒３０フレーム程度の速度でコンピュータ５に送信する（ステップＳ２１８）。

そして、ＣＰＵ２０６、画像圧縮装置２０７は、ステップＳ２１３〜Ｓ２１８の処理を実行する。このようにして、書画カメラ１は、撮影コマンドを受信しない限り、低解像度画像を定期的にコンピュータ５に送信する。

撮影コマンドを受信したと判定した場合（ステップＳ２１３においてＹｅｓ）、ＣＰＵ２０６は、イメージセンサ１０２、光学レンズ装置１０１の撮影モードを高解像度の静止画モードに設定する（ステップＳ２１９）。

ＣＰＵ２０６は、高解像度静止画の撮影を行うように、カメラ部１１を制御する（ステップＳ２２０）。
ＣＰＵ２０６は、カメラ部１１によって撮影された画像データを画像圧縮装置２０７に送り、画像圧縮装置２０７は、受け取った画像データを圧縮する（ステップＳ２２１）。

画像圧縮装置２０７は、圧縮した高解像度静止画像のデータを、インタフェース装置２０８を介してコンピュータ５に送信する（ステップＳ２２２）。
ＣＰＵ２０６は、再び、低解像度の動画モードに設定し（ステップＳ２２３）、撮影コマンドを受信するまで、ステップＳ２１３〜Ｓ２１８の処理を実行し、取得した低解像度画像を、インタフェース装置２０８を介してコンピュータ５に送信する。

コンピュータ５は、ＨＤＤ２３５にインストールされた書画処理ソフトウェアが起動されると、図４１，４２に示すフローチャートに従って、書画カメラ機能の処理を実行する。
ＣＰＵ２３６は、通信等の初期化を行う（ステップＳ２３１）。
ＣＰＵ２３６は、データを受信したか否かを判定して、受信したデータの内容を判別する（ステップＳ２３２）。

受信したデータが低解像度画像であると判別した場合、画像処理装置２３３は、圧縮されている画像に対して圧縮デコードを行うことにより、圧縮データを非圧縮データに変換する（ステップＳ２３３）。
ＣＰＵ２３６は、実施形態１と同様に、数１に従って画像変化量ＭＤを算出する（ステップＳ２３４）。

ＣＰＵ２３６は、撮影モードが動画モードか静止画モードであるかを判定する（ステップＳ２３５）。
初期状態では、撮影モードが動画モードに設定されているので、ＣＰＵ２３６は、撮影モードは動画モードと判定する（ステップＳ２３５においてＹｅｓ）。この場合、ＣＰＵ２３６は、受信した低解像度画像の描画を行う（ステップＳ２３６）。画像処理装置２３３は、描画された低解像度画像のデータをプロジェクタ２に出力し、プロジェクタ２は、この画像をスクリーン３に投影する。

ＣＰＵ２３６は、前回撮影した画像との画像変化量ＭＤを、数１に従って求め、求めた画像変化量ＭＤと予め設定された閾値Thresh1とを比較し、比較結果に基づいて画像に動きがあるか否かを判定する（ステップＳ２３７）。

画像に動きがある（ＭＤ≧Thresh1）と判定した場合（ステップＳ２３７においてＹｅｓ）、ＣＰＵ２３６は、静止時間Ptimeをクリアして（ステップＳ２４５）、動画モードを続ける。
一方、画像に動きがない（Thresh1＞ＭＤ）と判定した場合（ステップＳ２３７においてＮｏ）、ＣＰＵ２３６は、静止時間Ptimeに１を加算する（ステップＳ２３８）。
ＣＰＵ２３６は、動きが停止して、予め設定された所定時間HoldTimeが経過したか否かを判定する（ステップＳ２３９）。
所定時間HoldTimeが経過していない（Ｐtime＜HoldTime）と判定した場合（ステップＳ２３９においてＮｏ）、ＣＰＵ２３６は、動画モードを持続し、次のデータを受信するまで待機する（ステップＳ２３２）。

所定時間HoldTimeが経過した（Ｐtime≧HoldTime）と判定した場合（ステップＳ２３９においてＹｅｓ）、ＣＰＵ２３６は、撮影モードを静止画モードに設定する（ステップＳ２４０）。

ＣＰＵ２３６は、高解像度静止画像の撮影を指示する撮影コマンドを送信し（ステップＳ２４１）、書画カメラ１から静止画データを受信するまで待機する（ステップＳ２３２）。

そして、データを受信して、受信したデータが低解像度画像と判別した場合（ステップＳ２３２）、ＣＰＵ２３６は、低解像度画像をデコードし（ステップＳ２３３）、画像変化量ＭＤを算出し（ステップＳ２３４）、撮影モードが動画モードか否かを判定する（ステップＳ２３５）。

静止画モードであると判定した場合（ステップＳ２３５においてＮｏ）、ＣＰＵ２３６は、実施形態１と同様に、画像変化量ＭＤと２つの閾値Thresh2とを比較して画像に動きがあるか否かを判定する（ステップＳ２４２、Ｓ２４３）。

ＭＤ＜Thresh1であれば（ステップＳ２４２においてＮｏ、ステップＳ２４３においてＹｅｓ）、ＣＰＵ２３６は、撮影コマンドを送信する（ステップＳ２４１）。

Thresh1≦ＭＤ≦Thresh2であれば（ステップＳ２４２においてＮｏ、ステップＳ２４３においてＮｏ）、ＣＰＵ２３６は、現在表示されている静止画画像をそのままにして、撮影モードも動画モードのままとする（ステップＳ２４４）。そして、ＣＰＵ２３６は、静止時間Ｐtimeに０をセットする（ステップＳ２４５）。そして、ＣＰＵ２３６は、次のデータを受信するまで待機する（ステップＳ２３２）。

Thresh2＜ＭＤであれば（ステップＳ２４２においてＹｅｓ）、ＣＰＵ２３６は、静止画モードのまま、次のデータを受信するまで待機する（ステップＳ２３２）。

受信したデータが高解像度画像であると判別した場合（ステップＳ２３２）、ＣＰＵ２３６は、高解像静止画像のデコードを行う（図４２のステップＳ２４６）。
画像処理装置２３３は、実施形態１と同様に、射影パラメータを抽出して画像効果処理を行う（ステップＳ２４７〜２５０）。

画像処理装置２３３は、画像を描画してプロジェクタ２に出力し（ステップＳ２５１）、ＣＰＵ２３６は、次のデータを受信するまで待機する（ステップＳ２３２）。

受信したデータがキーの操作情報に関するものと判別すれば、ＣＰＵ２３６は、撮影モードが静止画モードであるか否かを判定し、静止画モードでなければ（ステップＳ２５２においてＮｏ）、次のデータを受信するまで待機する（ステップＳ２３２）。

静止画モードであると判定した場合（ステップＳ２５２においてＹｅｓ）、ＣＰＵ２３６は、実施形態１と同様に調整と画像変換を行い（ステップＳ２５３）、画像変換の内容に従って画像効果処理を行う（ステップＳ２５４，Ｓ２４９、Ｓ２５０）。そして、画像処理装置２３３は、画像を描画してプロジェクタ２に出力し（ステップＳ２５１）、ＣＰＵ２３６は、次のデータを受信するまで待機する（ステップＳ２３２）。

以上説明したように、本実施形態２によれば、コンピュータ５を備え、コンピュータ５が画像処理を行うようにした。従って、画像処理用のハードウェアをカメラ部１１に実装する必要がないので、市販の標準的なデジタルカメラを用いることができ、撮影画像投影装置を構成することができる。このため、安価にシステムを構成することができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、実施形態１では、画像効果補正用パラメータを抽出する際に、原稿４の画像に対して射影パラメータによって変換した画像に対して、画像の切り出し処理を行うようにした。しかし、原稿４の画像が歪んでいても、射影変換を行わずに、実原稿部から画像効果補正用パラメータを抽出することもできる。

上記実施形態では、原稿４の形状を四角形として、原稿４の輪郭から四角形を取得して各処理を行うようにした。しかし、現実的ではないものの、原稿４の形状は四角形に限られるものではなく、五角形等であってもよい。

尚、上記実施の形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態１に係る撮影画像投影装置の構成を示すブロック図である。 図１に示す書画カメラの構成を示すブロック図である。 図２に示す画像処理装置の機能の説明図である。 図２に示す操作部が備える各キーの説明図である。 図１に示す撮影画像投影装置が実行する基本投影処理の内容を示すフローチャートである。 図２に示す画像処理装置の切り抜き処理の内容の説明図である。 射影パラメータの抽出とアフィン変換の基本的な考え方の説明図である。 図２に示す画像処理装置が実行する射影パラメータ抽出処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する四角形輪郭抽出処理の内容を示すフローチャートである。 縮小輝度画像とエッジ画像の説明図である。 Robertsフィルタの機能の説明図である。 ラドン変換の原理を説明するためのイメージ図である。 Ｘ、Ｙ座標系の直線をラドン変換して極座標系のデータを取得する動作の説明図である。 図２に示す画像処理装置が実行する極座標系のデータからのピーク点検出処理の内容を示すフローチャートである。 ピーク点を検出して抽出した直線から、四角形を検出する考え方を示す説明図である。 図２に示す画像処理装置が実行する四角形検出処理の内容を示すフローチャートである。 図１に示す書画カメラが距離センサを備える場合の構成を示すブロック図である。 図２又は図１７に示す光学レンズ装置がアクティブ方式の自動焦点レンズを有する場合に実行する距離計測処理の内容を示すフローチャートである。 図２又は図１７に示す光学レンズ装置がパッシブ方式の自動焦点レンズを有する場合に実行する距離計測処理の内容を示すフローチャートである。 ユーザからの入力を受けて図２又は図１７に示す画像処理装置が実行する用紙サイズの設定処理の内容を示すフローチャートである。 用紙サイズの設定処理の際にユーザに提示される画面の例を示す図である。 図２に示す画像処理装置が実行する検出した四角形の選択処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する四角形の頂点からアフィンパラメータを求める処理の内容を示すフローチャートである。 射影変換後の画像から元の画像を得るための逆変換の説明図である。 図２に示す画像処理装置が実行するアフィン変換による画像変換処理の内容を示すフローチャートである。 図２に示す画像処理装置が切り出した画像例を示す説明図である。 ヒストグラムの一例を示す説明図であり、図２７（ａ）は、輝度ヒストグラムを示し、図２７（ｂ）は、色差ヒストグラムを示す。 図２に示す画像処理装置が実行する画像効果補正用パラメータの抽出処理の内容を示すフローチャートである。 画像効果処理を示す説明図であり、図２９（ａ）は、背景色が白の場合の画像効果処理を示し、図２９（ｂ）は、背景が黒の場合の画像効果処理を示し、図２９（ｃ）は、背景が白又は黒以外の場合の画像効果処理を示す。 カラー調整を行うための輝度変換グラフの一例を示す説明図である。 背景の白色化を説明するための図である。 図２に示す画像処理装置が実行する画像効果処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する背景白色化処理の内容を示すフローチャートである。 射影変換によって画像の歪みを補正することができなかった例を示す説明図である。 元の画像、射影変換画像、拡大した射影変換画像との対応関係を説明するための図である。 図２に示す画像処理装置が実行する補正調整と画像変換処理の内容を示すフローチャート（その１）である。 図２に示す画像処理装置が実行する補正調整と画像変換処理の内容を示すフローチャート（その２）である。 本発明の実施形態２に係る撮影画像投影装置の構成を示すブロック図である。 図３８に示す書画カメラの構成を示すブロック図である。 図３９に示す書画カメラが実行する基本処理の内容を示すフローチャートである。 図３８に示すコンピュータが実行する書画基本処理の内容を示すフローチャート（その１）である。 図３８に示すコンピュータが実行する書画基本処理の内容を示すフローチャート（その２）である。

符号の説明

１・・・書画カメラ、２・・・プロジェクタ、３・・・スクリーン、４・・・原稿、１１・・・カメラ部、２０１・・・メモリ、２０２，２３２・・・表示装置、２０３，２３３・・・画像処理装置、２０４，２３４・・・操作部、２０６，２３６・・・ＣＰＵ

Claims (8)

1. 撮影した原稿の画像をスクリーンに投影する撮影画像投影装置において、
   撮影によって得られた原稿画像の歪みを補正するように、前記原稿画像に対して画像処理を行う画像処理部と、
   前記画像処理部が画像処理した画像を前記スクリーンに投影する投影部と、を備え、
   前記画像処理部は、
   前記原稿画像から前記原稿画像候補の輪郭を取得し、取得した輪郭で囲まれた形状及びその頂点位置を取得する形状取得部と、
   前記形状取得部が取得した前記形状の面積を求める面積取得部と、
   前記面積取得部が求めた面積と指定された面積とを比較して、前記面積取得部が求めた面積のうち、指定された面積と最も近い面積を有する形状を前記原稿画像の形状として選択する形状選択部と、
   前記形状選択部が選択した前記原稿画像の形状と実際の原稿の形状とを対応させて、前記形状取得部が取得した前記原稿画像の頂点位置から、前記原稿画像と実際の原稿との関係を示す射影パラメータを求める射影パラメータ取得部と、
   前記射影パラメータ取得部が求めた射影パラメータを用いて前記原稿画像の画像変換を行う画像変換部と、を備えた、
   ことを特徴とする撮影画像投影装置。
2. 前記形状取得部は、
   前記原稿画像のエッジ画像を検出するエッジ画像検出部と、
   前記エッジ画像検出部が検出したエッジ画像から前記原稿の輪郭の候補となる直線を検出する直線検出部と、を備え、
   前記直線検出部が検出した直線を組み合わせて前記原稿の輪郭を取得する、
   ことを特徴とする請求項１に記載の撮影画像投影装置。
3. 前記面積取得部は、前記原稿画像の大きさと前記形状取得部が取得した頂点位置とに基づいて、前記形状取得部が取得した輪郭で囲まれた形状の面積を求める、
   ことを特徴とする請求項１又は２に記載の撮影画像投影装置。
4. 光を集光するレンズと、前記レンズが集光した光によって画像を形成する画像形成部と、前記画像形成部上に前記原稿画像が結像するように前記レンズの位置を制御するレンズ制御部と、を有するカメラを備え、
   前記面積取得部は、
   前記レンズ制御部の制御によって前記画像形成部上に前記原稿画像が結像したときの前記レンズと前記画像形成部との間の距離と、前記レンズと前記原稿との間の距離と、に基づいて前記形状取得部が取得した前記原稿画像の大きさを求める、
   ことを特徴とする請求項３に記載の撮影画像投影装置。
5. 前記レンズ制御部は、
   測距用の光を出力する光出力部と、
   前記光出力部が出力した光による前記原稿からの反射光に基づいて前記レンズと前記原稿との間の距離を計測する距離センサと、を備えたアクティブ方式のものであって、
   前記面積取得部は、前記レンズ制御部の制御によって前記画像形成部上に前記原稿画像が結像したときに前記距離センサによって計測された前記レンズと前記原稿との間の距離と、前記レンズの焦点距離と、に基づいて前記レンズと前記結像部との間の距離を求める、
   ことを特徴とする請求項４に記載の撮影画像投影装置。
6. 前記レンズ制御部は、前記レンズと前記画像形成部との間の距離が予め設定されて、前記画像形成部上に形成された前記原稿画像のコントラストが最大となるように前記レンズの位置を制御するパッシブ方式のものであって、
   前記面積取得部は、前記原稿画像のコントラストが最大となったときに前記レンズ制御部から出力された前記レンズと前記結像部との間の距離と、前記レンズの焦点距離と、に基づいて前記レンズと前記原稿との間の距離を求める、
   ことを特徴とする請求項４に記載の撮影画像投影装置。
7. 撮影した原稿の画像をスクリーンに投影する撮影画像投影装置の画像処理方法であって、
   前記原稿画像から前記原稿画像候補の輪郭を取得し、取得した輪郭で囲まれた形状及びその頂点位置を取得するステップと、
   前記取得した前記形状の面積を求めるステップと、
   前記求めた面積と指定された面積とを比較して、前記求めた面積のうち、指定された面積と最も近い面積を有する形状を前記原稿画像の形状として選択するステップと、
   前記選択した前記原稿画像の形状と実際の原稿の形状とを対応させて、前記取得した前記原稿画像の頂点位置から、前記原稿画像と実際の原稿との関係を示す射影パラメータを求めるステップと、
   前記求めた射影パラメータを用いて前記原稿画像の画像変換を行うステップと、を備えた、
   ことを特徴とする撮影画像投影装置の画像処理方法。
8. コンピュータに、
   撮影によって得られた原稿画像から前記原稿画像候補の輪郭を取得し、取得した輪郭で囲まれた形状及びその頂点位置を取得する手順、
   前記取得した前記形状の面積を求める手順、
   前記求めた面積と指定された面積とを比較して、前記求めた面積のうち、指定された面積と最も近い面積を有する形状を前記原稿画像の形状として選択する手順、
   前記選択した前記原稿画像の形状と実際の原稿の形状とを対応させて、前記取得した前記原稿画像の頂点位置から、前記原稿画像と実際の原稿との関係を示す射影パラメータを求める手順、
   前記求めた射影パラメータを用いて前記原稿画像の画像変換を行う手順、
   を実行させるためのプログラム。