JP4225224B2 - 画像処理装置、撮影画像投影装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮影画像投影装置、画像処理方法及びプログラムに関し、特に視認性に優れた画像の取得を可能とする画像処理装置、撮影画像投影装置、画像処理方法及びプログラムに関する。

台座上に載置された原稿をデジタルカメラで撮影し、撮影により得られたデジタル画像データに所定の画像処理等を施した後、アナログ変換して出力することにより、スクリーン上に原稿の拡大画像を投影する撮影画像投影装置が知られている（例えば、特許文献１参照）。かかる撮影画像投影装置により、従来のＯＨＰではできなかった、３次元対象物を撮影してその画像をスクリーン上へ投影することが可能となった。
特開２００２−３５４３３１号公報（第２−３頁、図１）。

しかしながら、従来の撮影画像投影装置では、台座上に載置された原稿を斜め方向から撮影する場合、カメラの画角（撮影範囲）から原稿の一部がはみ出してしまうことがあった。この場合、原稿の全部をカメラの画角に収めるためには、カメラのズーム倍率を小さくしなければならない。

これにより、撮影画像全体に占める原稿の画像の割合が小さくなるため、スクリーン上に投影される原稿の画像も小さくなってしまい、非常に見にくいものとなってしまう。かかる問題は、あおり角が大きくなると特に顕著になる。また、撮影画像が歪んでいる場合には、この歪みに起因して原稿以外の画像の割合がさらに大きくなってしまう。このように原稿以外の画像の割合が大きい撮影画像の輝度及び色差を適切に補正することは困難であり、この結果、スクリーン上に投影される原稿の画像はさらに見にくいものとなる。

本発明は、上記課題を解決するためになされたものであって、視認性に優れた画像の取得を可能とする画像処理装置、撮影画像投影装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る画像処理装置は、
台座の輪郭を形成する多角形の頂点座標を格納するデータ格納手段と、
前記台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手段と、
前記原稿多角形検出手段により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手段と、
前記原稿多角形検出判別手段によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点座標により指定される範囲で画像処理し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記データ格納手段によって格納された頂点座標により指定される範囲で画像処理する画像処理手段と、を備える。

また、上記画像処理装置において、前記原稿多角形検出手段は、前記画像から前記原稿の輪郭を形成する直線パラメータの候補を検出する候補検出手段と、前記候補検出手段が検出した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記原稿の輪郭として取得する原稿輪郭取得手段と、を含んでもよい。

さらに、上記画像処理装置において、前記原稿輪郭取得手段は、前記候補検出手段が検出した候補のうちから、略平行の２本の直線パラメータの組を検出すると共に、該検出した２本の直線パラメータと略垂直の２本の直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記原稿の輪郭として取得してもよい。

また、上記画像処理装置において、前記画像処理手段によって指定される範囲の頂点座標からアフィンパラメータを取得するアフィンパラメータ取得手段と、前記アフィンパラメータ取得手段により取得されたアフィンパラメータを用いて、前記画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正して出力する画像補正手段と、をさらに備えてもよい。

さらに、上記画像処理装置において、前記台座を撮影することによって得られた画像から該台座の輪郭を形成する多角形を検出する台座多角形検出手段と、前記台座多角形検出手段により前記台座の輪郭を形成する多角形が検出されたか否かを判別する台座多角形検出判別手段と、前記台座多角形検出判別手段によって前記台座の輪郭を形成する多角形が検出されたと判別した場合、該検出した多角形の頂点座標データを前記データ格納手段に書き込むことによって、前記台座の輪郭を形成する多角形の頂点座標データを更新するデータ更新手段と、をさらに備えてもよい。

また、上記画像処理装置において、前記台座多角形検出手段は、前記台座を撮影することによって得られた画像のうちから、略平行の２本の直線パラメータの組を検出すると共に、該検出した２本の直線パラメータと略垂直の２本の直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記台座の輪郭として取得してもよい。

さらに、上記目的を達成するため、本発明の第２の観点に係る撮影画像投影装置は、台座の輪郭を形成する多角形の頂点座標を格納するデータ格納手段と、前記台座上に載置された原稿を撮影する原稿撮影手段と、前記原稿撮影手段による撮影により得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手段と、前記原稿多角形検出手段により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手段と、前記原稿多角形検出判別手段によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点座標により指定される範囲で画像処理し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記データ格納手段によって格納された頂点座標により指定される範囲で画像処理する画像処理手段と、前記画像処理手段から出力された画像をスクリーン上に投影する画像投影手段と、を備える。

また、上記目的を達成するため、本発明の第３の観点に係る画像処理方法は、台座の輪郭を形成する多角形の頂点座標を格納するデータ格納工程と、前記台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出工程と、前記原稿多角形検出工程により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別工程と、前記原稿多角形検出判別工程によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点座標により指定される範囲で画像処理し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記データ格納手段によって格納された頂点座標により指定される範囲で画像処理する画像処理工程と、を備える。

また、上記目的を達成するため、本発明の第４の観点に係るプログラムは、コンピュータに、台座の輪郭を形成する多角形の頂点座標を格納するデータ格納手順と、前記台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手順と、前記原稿多角形検出手順により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手順と、前記原稿多角形検出判別手順によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点座標により指定される範囲で画像処理し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記データ格納手段によって格納された頂点座標により指定される範囲で画像処理する画像処理手順と、を実行させる。

本発明により、視認性に優れた画像の取得を可能とする画像処理装置、撮影画像投影装置、画像処理方法及びプログラムを提供することができた。

本発明の実施形態に係る撮影画像投影装置を以下図面を参照して説明する。

図１は、本発明の実施形態に係る撮影画像投影装置の構成を示す図である。撮影画像投影装置は、図１に示すように、書画カメラ１と、プロジェクタ２と、コンピュータ５と、から構成されている。

書画カメラ１は、図１（ａ）に示すように投影対象の原稿４を撮影する機能と、図１（ｂ）に示すように撮影対象物としてスクリーン３等の文字、図、写真等を撮影する機能と、を有しており、カメラ部１１と、支柱１２と、台座１３と、操作台１４と、から構成されている。

カメラ部１１は、原稿４を撮影するためのものであり、デジタルカメラによって構成されている。支柱１２は、カメラ部１１を取り付けるためのものであり、カメラ部１１及び台座１３と回転自在に接続されている。台座１３は、この支柱１２を支えるためのものである。

図２は、図１に示す書画カメラ１の構成を示すブロック図である。書画カメラ１は、図２に示すように、画像データ生成部２１と、データ処理部２２と、から構成されている。この画像データ生成部２１とデータ処理部２２とは、図１に示すカメラ部１１に設けられてもよいし、画像データ生成部２１とデータ処理部２２とは、それぞれカメラ部１１と操作台１４とに設けられてもよい。

画像データ生成部２１は、撮影対象物（原稿４やスクリーン３）を撮影して撮影対象物の画像データを取り込むためのものであり、光学レンズ装置１０１と、イメージセンサ１０２と、から構成されている。

光学レンズ装置１０１は、光を集光するレンズやこのレンズを駆動する駆動装置等によって構成されており、イメージセンサ１０２上に撮影対象物の文字、図、写真等からの光を集光させて像を結像させる。

イメージセンサ１０２は、光学レンズ装置１０１が光を集光することにより結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ（Charge Coupled Device）等によって構成されている。

データ処理部２２は、画像データ生成部２１から取り込んだ原稿４やスクリーン３の画像データを取得して画像処理を行い、画像処理を施した画像データをプロジェクタ２に出力するものであり、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、操作部２０４と、プログラムコード記憶装置２０５と、ＣＰＵ（Central Processing Unit）２０６と、インタフェイス装置２０８と、から構成されている。

メモリ２０１は、イメージセンサ１０２からの画像、ビデオ出力装置２０２に送り出すための画像データ等を一時記憶するためのものである。また、メモリ２０１は、ＣＰＵ２０６の作業メモリとしても用いられる。ビデオ出力装置２０２は、コンピュータ５に送り出す画像データを図示しない表示装置に出力することによって、原稿４やスクリーン３の画像を表示装置に表示するものである。

画像処理装置２０３は、メモリ２０１に一時記憶された画像データに対して、画像データの圧縮、画像の歪み補正や画像効果などの画像処理を行うためのものである。

例えば、カメラ部１１が原稿４の文字等を撮影面に対して斜めの状態あるいは回転した状態で撮影した場合、画像処理装置２０３は、図３（ａ）に示すような斜めの状態あるいは回転した状態の原稿４の画像に対して歪み補正（台形補正）を施すことによって、図３（ｂ）に示すような正面から撮影した原稿４の画像を生成する。

また、カメラ部１１がスクリーン３の文字等を向かって左方向から撮影した場合、画像処理装置２０３は、図４（ａ）に示すような左方向から撮影されたスクリーン３の画像に対して歪み補正を施すことによって、図４（ｂ）に示すような正面から撮影したスクリーン３の画像を生成する。

画像処理装置２０３は、歪み補正するため、歪んだ画像から四角形を切り取り、切り取った四角形に撮影画像を射影変換する。より詳細には、画像処理装置２０３は、ＣＰＵ２０６に制御されて、主に、（１）撮影画像からアフィンパラメータを抽出するアフィンパラメータ抽出処理、（２）抽出したアフィンパラメータを用いて画像を射影変換して歪み補正する画像変換処理、（３）輝度あるいは色差等を補正して画像を鮮明化する画像鮮明化処理等を実行する。なお、これらの処理内容については、後述する。

操作部２０４は、書画投影の機能を制御するためのキーやボタンを備えるものであり、ユーザがこれらのスイッチやボタンを操作したときの操作情報をＣＰＵ２０６に出力する。

本実施形態において、操作部２０４は、撮影キーとキャリブレーション要求キーとコントロールキーとシャッターボタンとを備えている。撮影キーは、原稿４の画像を撮影する書画撮影モードとスクリーン３の画像を撮影するボード撮影モードのうちから所望の撮影モードを選択するためのキーである。

キャリブレーション要求キーは、台座１３の輪郭の形状の登録を指示するためのキーである。コントロールキーは、操作を確定するためのＹＥＳキーと操作をキャンセルするためのＮＯキーとを含んでいる。シャッタボタンは、撮影対象物を撮影するときに押下するものである。ズームボタンは、小さい原稿４を撮影する場合や原稿４の一部分を拡大して撮影する場合等に、カメラ部１１のズーム制御を行うために、押下されるものである。

プログラムコード記憶装置２０５は、ＣＰＵ２０６が実行するプログラムを記憶するためのものであり、ＲＯＭ（Read Only Memory）等によって構成される。

ＣＰＵ２０６は、プログラムコード記憶装置２０５に格納されているプログラムに従って、各部を制御するものである。具体的には、操作部２０４から送信される操作情報に基づいて、イメージセンサ１０２，メモリ２０１，ビデオ出力装置２０２及び画像処理装置２０３等を制御する。

例えば、ユーザにより撮影キーが押下されると、ＣＰＵ２０６は、操作部２０４から送信される操作情報に応答して、書画撮影モード或いはボード撮影モードに各部を設定すると共に、シャッタボタンが押下されるまで、イメージセンサ１０２を動画中モードに設定する。そして、シャッタボタンが押下されると、ＣＰＵ２０６は、操作部２０４からの操作情報に応答して、高い解像度で画像の読込を行う静止中モードに設定する。

また、ＣＰＵ２０６は、光学レンズ装置１０１の焦点、露出、ホワイトバランス等のカメラ設定パラメータを動作中モードに初期化する機能を有する。これにより、カメラ部１１が捉えているシーンは、光学レンズ装置１０１を経由してイメージセンサ１０２に集光され、イメージセンサ１０２は、集光された画像から動画撮影用の解像度の低いデジタルの画像データを作成し、メモリ２０１に、例えば、１秒あたり３０枚程度で送り出す。

さらに、ＣＰＵ２０６は、後述するフローチャートに従って、撮影対象物である原稿４の画像に動きがあるか否かを判定し、判定結果に従って、動作中モードと静止中モードとを切り替える。

動作中モードは、ユーザが台座１３に投影したい原稿４等を載置しようとする場合に設定されるモードであって、カメラ部１１で映し出している画像をそのままプロジェクタ２に投影するモードである。

動作中モードでは、ＣＰＵ２０６は、例えば、画像解像度がＶＧＡ（Video Graphics Array：６４０×４８０ドット）程度の画像を３０fps（フレーム/秒）の速さで動画投影を行なうように、各部を制御するものとする。このように、動作中モードは、解像度は低いものの、リアルタイム性を重視したモードである。

静止中モードは、ユーザが原稿４を置いた後に設定されるモードであって、カメラ部１１で高解像度の画像撮影を行い、高解像度の静止画像の投影を行うモードである。カメラ部１１が撮影解像度３００万画素のカメラである場合、切り出した投影画像はＸＧＡ（Extended Graphics Array：１０２４×７６８ドット）の静止画像になる。

インタフェイス装置２０８は、圧縮した画像データをコンピュータ５に送信するためのものである。

図１に示すプロジェクタ２は、スクリーン３に投影光を照射して原稿４の画像を結像させるものである。コンピュータ５は、書画カメラ１とＵＳＢ等のケーブル１５を介して接続されると共に、プロジェクタ２とＲＧＢ等のケーブル１６を介して接続されている。コンピュータ５は、書画カメラ１からケーブル１５を介して送出された原稿４の画像データを受信し、この受信した画像データをケーブル１６を介してプロジェクタ２に出力するものである。

次に、本実施形態に係る撮影画像投影装置の動作を説明する。ユーザが撮影画像投影装置の電源をＯＮすると、書画カメラ１のＣＰＵ２０６は、プログラムコード記憶装置２０５からプログラムコードを読み出してカメラ基本処理を実行する。

図５は、書画カメラ基本処理のフローチャートである。このカメラ基本処理において、ＣＰＵ２０６は、まず、図５に示すように、書画カメラ１のカメラ部１１の焦点、露出、ホワイトバランスなどのカメラ設定パラメータの初期化を行う（ステップＳ１）。これにより、カメラが捉えているシーンが、光学レンズ装置１０１を経由してイメージセンサ１０２に集光され、イメージセンサは集光された画像からデジタル画像の作成が可能なる。

次に、ＣＰＵ２０６は、モードスイッチをチェックする等して、撮影モードが書画撮影モードかボード撮影モードかを判別する（ステップＳ２）。撮影モードが書画撮影モードであると判別した場合には（ステップＳ２；Ｙｅｓ）、書画撮影処理を実行する（ステップＳ３）。一方、撮影モードがボード撮影モードであると判別した場合には（ステップＳ２；Ｎｏ）、ボード撮影処理を実行する（ステップＳ４）。

このステップＳ３及びＳ４の撮影処理で得られた画像データは、メモリ２０１の所定領域に格納される。そして、ステップＳ３又はＳ４の撮影処理が終了すると、ＣＰＵ２０６は、ステップＳ２に戻り、再度、モードスイッチを検出して、ステップＳ３又はＳ４の撮影処理を実行する。

ＣＰＵ２０６は、ステップＳ３又はＳ４の撮影処理で得られた画像データをメモリ２０１から読み出し、ビデオ出力装置１０５を介してＲＧＢ出力として外部に出力すると共に、この画像データを画像処理装置２０３にて圧縮した後、インタフェイス装置１０８を介してコンピュータ５に転送する。

続いて、コンピュータ５は、ＨＤＤ等にインストールされた書画処理用のソフトウェアが起動してＰＣ書画基本処理を実行する。図６は、ＰＣ書画基本処理を示すフローチャートである。このＰＣ書画基本処理において、コンピュータ５は、まず、図６に示すように、書画カメラから転送された画像データを受信したか否かを判別し（ステップＳ１１）、画像データを受信したと判別した場合には（ステップＳ１１；Ｙｅｓ）、受信した画像データに対してデコード処理を施す（ステップＳ１２）。一方、画像データを受信していないと判別した場合には（ステップＳ１１；Ｎｏ）、画像データを受信するまでループして待つ。

そして、コンピュータ５は、撮影モードが書画撮影モードかボード撮影モードかを判別し（ステップＳ１３）、撮影モードが書画撮影モードであると判別した場合には（ステップＳ１３；Ｙｅｓ）、受信した画像を描画し（ステップＳ１４）、描画した画像のデータをプロジェクタ２に出力することによって、この画像をスクリーン３に投影する。一方、撮影モードがボード撮影モードであると判別した場合には（ステップＳ１３；Ｎｏ）、受信した画像データをファイル等に保存する（ステップＳ１５）。

続いて、ステップＳ３の書画撮影処理について詳細に説明する。図７及び図８は、書画撮影処理の詳細を示すフローチャートである。この書画撮影処理において、ＣＰＵ２０６は、まず、図７に示すように、インタフェイス装置２０８、画像処理装置２０３やメモリ２０１内の作業メモリの初期化を行う（ステップＳ１０１）。次に、ＣＰＵ２０６は、初期状態での台座１３の輪郭の形状を登録するため、キャリブレーション要求フラグをセットする（ステップＳ１０２）。

続いて、ＣＰＵ２０６は、ユーザによりキャリブレーション要求キーが押下されたか否かを判別する（ステップＳ１０３）。キャリブレーション要求キーが押下されていないと判別した場合には（ステップＳ１０３；Ｎｏ）、ズーム処理を実行する（ステップＳ１０４）。このズーム処理において、ＣＰＵ２０６は、ユーザによりズームボタン等が押下されたか否かを判別し、押下されていると判別した場合には、カメラ部１１のズーム制御を行う。さらに、ズーム処理にてカメラ部１１のズームが変更された場合、ＣＰＵ２０６は、台座登録変更処理を実行する。この台座登録変更処理において、ＣＰＵ２０６は、ズーム処理前とズーム処理後とのズーム比に応じて、メモリ２０１に格納されている台座１３の輪郭の形状を示す直線パラメータを調整する。

そして、ＣＰＵ２０６は、カメラ部１１による撮影を行い、画像データを取得する（ステップＳ１０５）。初期状態において、台座１３上には原稿４が載置されておらず、カメラ部１１は、台座１３のみを撮影して台座１３の画像データを取得する。その後、ＣＰＵ２０６は、撮影によって得られた画像データをイメージセンサ１０２からメモリ２０１に転送する。

続いて、ＣＰＵ２０６は、メモリ２０１から画像データを読み出し、この画像データと前回の撮影により得られた画像データとを比較して、画像に動きがあるか否かを判別する（ステップＳ１０６）。具体的には、画像データの差分が所定の閾値以上であるか否かを判別することによって、画像の動きを検出する。

画像に動きがあると判別された場合には（ステップＳ１０６；Ｙｅｓ）、動作中モードにセットして（ステップＳ１０７）、撮影した画像をそのまま表示装置に表示する。一方、画像に動きがないと判別された場合には（ステップＳ１０６；Ｎｏ）、動作中モードがセットされているか静止画モードがセットされているかをチェックして、前回まで画像に動きがあったか否かを判別する（ステップＳ１０８）。ＣＰＵ２０６は、前回まで画像に動きがあったと判別した場合（ステップＳ１０８；Ｙｅｓ）、静止中モードにセットする（ステップＳ１０９）。

続いて、ＣＰＵ２０６は、キャリブレーション要求フラグをチェックして、キャリブレーション要求がされている否かを判別し（ステップＳ１１０）、キャリブレーション要求がされていると判別した場合には（ステップＳ１１０；Ｙｅｓ）、台座登録処理を実行する（ステップＳ１１１）。この台座登録処理において、ＣＰＵ２０６は、撮影した画像から台座１３の輪郭の形状を取得して登録する。このように一度台座１３の輪郭の形状の登録が行われると、カメラ部１１の台座１３に対するあおり角が変動する等、カメラ部１１と台座１３との位置関係が変動してユーザによりキャリブレーション要求キーが押下されるまで、再度台座１３の輪郭の形状の登録が行われることはない。

その後、ＣＰＵ２０６は、キャリブレーション要求フラグをクリアして、ステップＳ１０３に戻り、再度キャリブレーション要求キーが押下されたかを判別する。ここで、ユーザによりキャリブレーション要求キーが押下されたものと判別した場合には（ステップＳ１０３；Ｙｅｓ）、カメラ部１１と台座１３との位置関係が変動したもの判別し、変動後の台座１３の輪郭の形状を登録すべく、ステップＳ１０２に戻り、キャリブレーション要求フラグをセットする。そして、ＣＰＵ２０６は、ステップＳ１１１の台座登録処理を再度実行して、変動後の台座の形状を登録する。

台座１３の輪郭の形状の登録がなされた後、ユーザは、原稿４を台座１３上に載置して、原稿４の書画投影を行おうとする。ユーザが原稿４をセットするまでの間、ＣＰＵ２０６は、撮影により得られた画像データをメモリ２０１の所定領域にコピーすると共に、この画像データを画像処理装置２０３にて画像データを圧縮し、インタフェイス装置２０８を介して、例えば、３０フレーム程度の速度でコンピュータ５に送信する。そして、コンピュータ５は、書画カメラ１から転送された画像データにデコード処理等を施して非圧縮データを取得し、撮影された画像をディスプレイ等に表示する。

その後、ユーザが原稿４のセットを終えると、ＣＰＵ２０６は、ステップＳ１０６にて画像に動きがないと判別し（ステップＳ１０６；Ｎｏ）、メモリ２０１から撮影された画像を読み出し、画像処理装置２０３にて四角形輪郭抽出処理を実行する（ステップＳ１１２）。この四角形輪郭抽出処理において、ＣＰＵ２０６は、撮影した撮影対象物の画像から、この撮影対象物の画像の四隅の座標点（四角形輪郭）を抽出する。

続いて、ＣＰＵ２０６は、画像変換処理を実行する（ステップＳ１１３）。この画像変換処理において、ＣＰＵ２０６は、撮影対象の切抜きと正面画像への射影変換とを行う。そして、ＣＰＵ２０６は、画像鮮明化処理を実行する（ステップＳ１１４）。これらステップＳ１０１〜Ｓ１１４の処理により、書画カメラ１は、図３（ａ）に示すような斜めの状態あるいは回転した状態で撮影された原稿４の画像から、図３（ｂ）に示すような正面から撮影した原稿４の画像を取得する。

その後、ＣＰＵ２０６は、画像処理装置２０３にて画像データを圧縮し、インタフェイス装置２０８を介してコンピュータ５に送信する（ステップＳ１１５）。そして、ユーザによりモードスイッチが書画撮影モードからボード撮影モードに切り替えられると（ステップＳ１１６；Ｎｏ）、ＣＰＵ２０６は、書画撮影処理を終了する。

続いて、ステップＳ４のボード撮影処理について詳細に説明する。図９は、ボード撮影処理の詳細を示すフローチャートである。このボード撮影処理において、ＣＰＵ２０６は、まず、図９に示すように、インタフェイス装置２０８、画像処理装置２０３やメモリ２０１内の作業メモリの初期化を行う（ステップＳ１２１）。ＣＰＵ２０６は、ユーザによりシャッタが押されるのを待ち（ステップＳ１２２）、シャッタが押されると（ステップＳ１２２；Ｙｅｓ）、カメラ部１１によりスクリーン３を撮影し、画像データを取得する（ステップＳ１２３）。その後、ＣＰＵ２０６は、撮影によって得られた画像データをイメージセンサ１０２からメモリ２０１に転送する。

続いて、ＣＰＵ２０６は、メモリ２０１から撮影された画像を読み出し、書画撮影処理を行う場合と同様、画像処理装置２０３にて四角形輪郭抽出処理（ステップＳ１２４）と画像変更処理（ステップＳ１２５）と画像鮮明化処理（ステップＳ１２６）とを順次実行する。その後、ＣＰＵ２０６は、画像処理装置２０３にて画像データを圧縮し、インタフェイス装置２０８を介してコンピュータ５に送信する（ステップＳ１２７）。そして、ユーザによりモードスイッチがボード撮影モードから書画撮影モードに切り替えられると（ステップＳ１２８；Ｎｏ）、ＣＰＵ２０６は、ボード撮影処理を終了する。

次に、画像処理装置２０３にて実行される画像処理について説明する。まず、画像処理装置２０３での画像処理に用いられるアフィン変換についての基本的な考え方（実現方法）を説明する。

画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。これは、変換前の座標（u,v）の点が、移動、拡大縮小、回転などの変換によって、変換後の座標（x,y）が次の数１によって関係付けられることになる。射影変換もこのアフィン変換により行われることができる。

最終的な座標（x,y）は、次の数２によって算出される。

数２は、射影変換するための式であり、座標（x,y）は、z'の値に従い、０に向かって縮退する。即ち、z'に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはａ13，ａ23，ａ33である。また、他のパラメータは、パラメータａ33で正規化されることができるので、ａ33を１としてもよい。

図１０（ａ）は、図３（ａ）に示す四角形の撮影対象物（原稿４又はスクリーン３）の各頂点の座標を示した図である。図１１は、カメラ部１１で撮影された四角形と実際の撮影対象物の画像との関係について説明するための図である。

図１１において、Ｕ−Ｖ−Ｗ座標系は、カメラ部１１で撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象物をベクトルで表したものである。また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象物との距離を示す。

図１１に示す投影スクリーンは、撮影対象物の画像の射影を行うためのものである。投影スクリーン上の座標系を（x,y）とすると、この投影スクリーン上に投影される画像がカメラ部１１に撮影される画像と考えればよい。投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象物上の任意の点Ｐ(u,v,w）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ(x,y）とする。このとき、座標ｐは、射影変換より次の数３によって表される。

数３より、図１１に示すように点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数４に示す関係が求められる。

このとき、射影係数α、βは次の数５によって表される。

次に、射影変換について説明する。撮影対象物上の任意の点Ｐは、Ｓ，Ａ，Ｂベクトルを用いて、次の数６によって表される。

この数６に、数４の関係式を代入すると、座標ｘとｙとは、次の数７によって表される。

この関係を、アフィン変換の式に当てはめると、座標（x',y',z'）は、次の数８によって表される。

この数８にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。

上記ｍ，ｎは、予め補正画像ｐ(u,v）を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法が考えられる。この方法によれば、ｍ，ｎは次の数９によって表される。

しかし、作成される補正画像の縦横比と撮影対象物の縦横比とは一致しない。ここで、補正画像ｐ(u,v）とｍ、ｎの値との関係は、数４から、次の数１０によって表される。

カメラパラメータであるレンズの焦点距離ｆが既知であれば、数１０に従って、縦横比ｋを求めることができる。従って、補正画像ｐ(u,v）の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数１１に従ってｍ、ｎを求めることにより、撮影対象物と同じ縦横比ｋを得ることができる。

なお、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化するので、そのズーム倍率とレンズの焦点距離ｆとの関係をを示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１０，数１１に従って、射影変換を行うことができる。

ＣＰＵ２０６は、このようなアフィン変換を行うため、まず、ステップＳ１１２及びＳ１２４の四角形輪郭抽出処理を実行する。図１２は、この四角形輪郭抽出処理の詳細を示すフローチャートである。

この四角形輪郭抽出処理において、ＣＰＵ２０６は、まず、図１２に示すように、画像処理装置２０３を制御して、画像処理の演算数を減らすべく、入力画像から縮小輝度画像を生成する（ステップＳ２０１）。次に、ＣＰＵ２０６は、生成した縮小輝度画像から直線のみの画像を生成し、これを撮影対象物のエッジ画像とする（ステップＳ２０２）。続いて、ＣＰＵ２０６は、生成したエッジ画像の歪曲収差を補正する（ステップＳ２０３）。

続いて、ＣＰＵ２０６は、ステップＳ２０３にて補正されたエッジ画像をハフ変換してピーク値を抽出することにより、撮影対象物のエッジ画像からこのエッジ画像に含まれている直線パラメータを検出する（ステップＳ２０４）。そして、ＣＰＵ２０６は、検出した直線パラメータから撮影対象物の輪郭を形成する候補となる四角形を作成する（ステップＳ２０５）。

その後、ＣＰＵ２０６は、このように候補となる四角形を生成し、生成した各四角形に優先順位を付す（ステップＳ２０６）。そして、ＣＰＵ２０６は、優先順位に従って四角形を選択し、選択した四角形を抽出できたか否かを判定し（ステップＳ２０７）、四角形を抽出できなかったと判定した場合には（ステップＳ２０７；Ｎｏ）、四角形輪郭抽出処理を終了する。

一方、四角形を抽出できたと判定した場合には（ステップＳ２０７；Ｙｅｓ）、画像処理装置２０３から抽出した四角形を取得してビデオ出力装置２０２に送信し、表示装置に四角形のプレビュー画像を表示させる（ステップＳ２０８）。

続いて、ＣＰＵ２０６は、操作部２０４から送信された操作情報に基づいて、ＹＥＳキーとＮＯキーとのうちいずれのスイッチが押下されたを判別する（ステップＳ２０９）。ステップＳ２０９にてＮＯキーが押下されたと判別した場合には（ステップＳ２０９；Ｎｏ）、画像処理装置２０３にて次の候補の四角形を指定する（ステップＳ２１０）。

一方、ＹＥＳキーが押下されたと判別した場合には（ステップＳ２０９；Ｙｅｓ）、抽出した四角形の頂点からアフィンパラメータを算出する（ステップＳ２１１）。

次に、四角形輪郭抽出処理をさらに具体的に説明する。ＣＰＵ２０６が画像処理装置２０３を用いて生成した縮小輝度画像の一例を図１３（ａ）に示す。画像処理装置２０３は、このような縮小輝度画像から、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて図１３（ｂ）に示すようなエッジ画像を生成する（ステップＳ２０２）。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１，Δ２を取得して平均化することによって、画像のエッジを検出するフィルタである。

図１４（ａ）は、フィルタΔ１の係数を示し、図１４（ｂ）は、フィルタΔ２の係数を示す。この２つのフィルタΔ１，Δ２の係数を、ある着目した座標（x,y）の画素値ｆ(x,y）に適用すると、変換後の画素値ｇ(x,y）は、次の数１２によって表される。

ステップＳ２０２にて生成したエッジ画像において、歪曲収差により直線が抽出できない場合がある。そこで、ＣＰＵ２０６は、エッジ画像に対して歪曲収差補正を行う（ステップＳ２０３）。元画像ではなくエッジ画像に対して歪曲補正を行うのは、処理の高速化のためである。歪曲補正計算は、調査対象の画素が歪曲補正後には元画像中のどの画素になるかを画素ごとに計算するものである。その際、エッジ画像であれば、調査対象は一定間隔でスキップした座標のみとなり、画素が少ない分、高速に処理を行うことができる。

図１３（ｂ）に示すエッジ画像には、直線パラメータが含まれている。画像処理装置２０３は、このエッジ画像から、ハフ変換を行って直線パラメータを検出する（ステップＳ２０４）。

ハフ変換は、Ｘ−Ｙ平面上の直線を構成する点を次の数１３によって定義されるρ−θ平面に投票する変換である。

各点の座標（ｘ、ｙ）においてθを０から３６０°まで変化させた場合、同一直線はρ−θ平面上では一点で表される。このため、投票数の多いρ−θ座標を直線と判定することができる。その際、投票数は直線上のピクセル数であり、直線の長さに相当する。したがって、投票数の極端に少ないρ−θ、即ち短い直線は、直線の候補から除外することができる。

このようにハフ変換を用いる手法では、調査対象の点や角度が多ければ多いほど処理速度が低下してしまう。この処理速度の低下を回避するため、エッジ検出時に調査対象の座標をＸ、Ｙ軸方向双方に一定の間隔でとばして処理することによって、エッジ画像を縮小する。これにより、調査対象を減らすことができる。

さらに、別の方法で調査角度を減らすことができる。即ち、調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度０≦θ＜１８０°を測定すればよく、残りの１８０°≦θ＜３６０°はρがマイナスの値を取ることで表現できる。

しかし実際に撮影される四角形は、その四角形が画像の中心にあった場合、各辺が上下左右に存在することになる。したがって、０°≦θ＜１８０°の範囲で調査するより、図１５に示すように、上下の辺、左右の辺はそれぞれ次の数１４で表される範囲で測定した方が、より効果的である。

また、数１４から明らかなように、４５°≦θ＜１３５°のｃｏｓθと１３５°≦θ＜２２５°のｓｉｎθ、４５°≦θ＜１３５°のｓｉｎθと１３５°≦θ＜２２５°のｃｏｓθにマイナスをかけたもの、がそれぞれ対応しているため、ｓｉｎテーブルとｃｏｓテーブルとを共用することが可能である。

また、図１６（ａ）に４５°≦θ＜１３５°で検出される直線を太線で、図１６（ｂ）に１３５°≦θ＜２２５°で検出された直線を太線で示すように、ρが＋の値か−の値かによって、辺の上下、または辺の左右を特定することが可能である。したがって、より効率的に、中心の四角形を構成する辺を選択することができる。

このような考え方に基づいて、ＣＰＵ２０６は、直線を検出し、四角形を特定する。なお、この四角形検出処理は、書画撮影のように撮影対象物を真上から撮影するときと、ボード撮影のように撮影対象物に対して書画カメラ１を傾けて撮影するときと、で異なるものとなる。

また、書画撮影処理においてキャリブレーションキーが押下された場合に、この四角形輪郭抽出処理に先立って実行されるステップＳ１１１の台座登録処理も上述の考え方に基づいている。まず、この台座登録処理について図１７に示すフローチャートを参照して説明する。

この台座登録処理において、ＣＰＵ２０６は、まず、図１７に示すように、入力画像から縮小輝度画像を生成し、続いて、生成した縮小輝度画像から台座１３のエッジ画像を生成する（ステップＳ２２１）。次に、ＣＰＵ２０６は、エッジ画像をハフ変換して、Ｘ−Ｙ平面からρ−θ平面への投票を行う（ステップＳ２２２）。なお、書画カメラ１には、ρ−θ平面での台座１３の輪郭の形状を示す４本の直線パラメータが予め登録されている。ＣＰＵ２０６は、この直線パラメータの設計値を台座１３の輪郭の形状を示すものとしてメモリ２０１に登録する（ステップＳ２２３）。

続いて、ＣＰＵ２０６は、エッジ画像をハフ変換することにより得られたデータから、ピーク値を抽出することによって、実際に撮影された台座１３のエッジ画像に含まれている直線パラメータを検出する（ステップＳ２２４）。

そして、ＣＰＵ２０６は、ステップＳ２２４にて直線パラメータが検出されたか否かを判別し（ステップＳ２２５）、直線パラメータが検出された場合には（ステップＳ２２５；Ｙｅｓ）、メモリ２０１に登録されている直線パラメータを、設計値から、この検出した直線パラメータ（実測値）に書き換える（ステップＳ２２６）。これにより、メモリ２０１には、直線パラメータの実測値が台座１３の輪郭の形状を示すものとして登録される。

一方、直線パラメータが検出されなかった場合には（ステップＳ２２５；Ｎｏ）、ステップＳ２２６をスキップし、そのまま台座登録処理を終了する。このため、メモリ２０１には、直線パラメータの設計値が台座１３の輪郭の形状を示すものとして登録されたままとなる。

なお、小さい原稿４を投影する場合や原稿４の一部分を拡大して撮影する場合、ＣＰＵ２０６は、ステップＳ１０４のズーム処理にてカメラ部１１のズームをアップする。これに伴ってカメラ部１１によって撮影される台座１３の画像が拡大するため、ＣＰＵ２０６は、上述の台座登録変更処理にて、メモリ２０１に登録されている直線パラメータを調整する必要がある。図１８は、この台座登録変更処理の詳細を示すフローチャートである。

この台座登録変更処理において、ＣＰＵ２０６は、図１８に示すように、まず、ステップＳ１０４のズーム処理にてカメラ部１１のズームが変更されたか否かを判別する（ステップＳ２３１）。ステップＳ２３１にてカメラ部１１のズームが変更されたと判別した場合には（ステップＳ２３１；Ｙｅｓ）、ズーム処理前とズーム処理前とでのカメラ部１１のズーム比を求め、求めたズーム比に応じて、メモリ２０１に登録されている直線パラメータを調整する（ステップＳ２３２）。具体的には、ズーム処理前とズーム処理後とでのカメラ部１１のズーム比が「２」である場合、ＣＰＵ２０６は、メモリ２０１に登録されている直線パラメータの各値をそれぞれ２倍する。

一方、ステップＳ２３１にてカメラ部１１のズームが変更されていないと判別した場合（ステップＳ２３１；Ｎｏ）、ＣＰＵ２０６は、ステップＳ２３２をスキップして、台座登録変更処理を終了する。

このように、ズーム処理にてカメラ部１１のズームが変更された場合、ズーム処理前とズーム処理前とでのカメラ部１１のズーム比に応じて、直線パラメータを調整することにより、ＣＰＵ２０６は、図１７に示す台座登録処理にて登録した台座１３の輪郭の形状を変更することができる。なお、調整後の直線パラメータが画像の画角を超える場合には、画角を超える直線パラメータを候補から外してもよい。また、画角を超える直線パラメータをそのままメモリ２０１に書き込んでもよい。このようにしても、ＣＰＵ２０６がこの画角を超える直線パラメータをステップＳ２２４にて検出することはないため、処理上問題は生じない。

次に、書画撮影する場合の四角形検出処理（書画撮影時四角形検出処理）について、図１９に示すフローチャートを参照して説明する。この書画撮影時四角形検出処理において、ＣＰＵ２０６は、まず、図１９に示すように、入力画像から縮小輝度画像を生成し、続いて、生成した縮小輝度画像から原稿４のエッジ画像を生成する（ステップＳ３０１）。次に、ＣＰＵ２０６は、エッジ画像をハフ変換して、Ｘ−Ｙ平面からρ−θ平面への投票を行う（ステップＳ３０２）。

そして、ＣＰＵ２０６は、４５°≦θ＜１３５°における投票が多い座標を、上下の辺を形成する直線パラメータの候補として複数取得する（ステップＳ３０３）。同様に、ＣＰＵ２０６は、１３５°≦θ＜２２５°における投票が多い座標を、左右の辺を形成する直線パラメータの候補として複数取得する（ステップＳ３０４）。

続いて、ＣＰＵ２０６は、ステップＳ３０３及びＳ３０４にて取得した候補のうちから、メモリ２０１に登録されている台座１３の輪郭を形成する直線パラメータに近い直線パラメータを検出し、検出した直線パラメータを候補から外す（ステップＳ３０５）。具体的には、台座１３の輪郭を形成する直線パラメータとの差が、ρにおいて０〜２，３画素程度、θにおいて０〜２°程度の直線パラメータを候補から外す。

そして、ＣＰＵ２０６は、ステップＳ３０５にて残ったＸ軸方向の候補とＹ軸方向の候補とのうちから、ρの値の＋−が異なり、θが所定範囲内にあるものを選択する（ステップＳ３０６）。具体的には、ρの値の＋−が異なり、且つθの差が±１０°程度の２本の直線パラメータを検出し、さらに、これら検出した直線パラメータとのθの差が９０°±１０°程度で、且つρの値の＋−が異なる２本の直線パラメータを検出する。そして、ＣＰＵ２０６は、図２０（ａ）に示すように、これら検出された４本の直線パラメータによって形成される四角形を、撮影した原稿４の四角形として取得する。このようにして、ＣＰＵ２０６は、エッジ画像から四角形を検出することができる。

ＣＰＵ２０６は、ステップＳ３０６にて四角形が検出されたか否かを判別し（ステップＳ３０７）、四角形が検出されたと判別した場合（ステップＳ３０７；Ｙｅｓ）には、ステップＳ３１０に進む。

一方、ステップＳ３０７にて四角形が検出されなかったと判別した場合（ステップＳ３０７；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３０５にて外した直線パラメータを含めて、再度、Ｘ軸方向の候補とＹ軸方向の候補とのうちから、ρの値の＋−が異なり、θが所定範囲内にあるものを選択して、エッジ画像から四角形を検出する（ステップＳ３０８）。

ＣＰＵ２０６は、さらに、ステップＳ３０８にて四角形が検出されたか否かを判別する（ステップＳ３０９）。ステップＳ３０７又はＳ３０９にて四角形が検出されたと判別された場合（ステップＳ３０７；Ｙｅｓ，ステップＳ３０９；Ｙｅｓ）、ＣＰＵ２０６は、検出した原稿４の四角形の各頂点の座標を求める（ステップＳ３１０）。

一方、ステップＳ３０９にて四角形が検出されなかったと判別された場合（ステップＳ３０９；Ｎｏ）、ＣＰＵ２０６は、メモリ２０１に登録されている台座１３の四角形の各頂点の座標を求める（ステップＳ３１１）。

次に、ボード撮影を実行する場合における四角形検出処理（ボード撮影時四角形検出処理）について、図２１に示すフローチャートを参照して説明する。なお、図２１に示すボード撮影時四角形検出処理におけるステップＳ３１１〜Ｓ３１４までの処理は、図１９に示す書画撮影時四角形検出処理におけるステップＳ３０１〜Ｓ３０４までの処理と同様であるため、ここではその説明を省略する。

ＣＰＵ２０６は、ステップＳ３１４にて取得したＸ軸方向の候補とＹ軸方向の候補とのうちから、ρの絶対値｜ρ｜が等しいもの同士を特定し、その絶対値が大きいものから順に優先度を設定する（ステップＳ３１５）。これは、スクリーン３を斜めから撮影する場合に、相対する辺が平行とは限らないためである。上下左右の辺を｜ρ｜の絶対値の大きなもの同士に特定することで、図２０（ｂ）において太線で示すような、面積が最大である領域を特定するための直線の優先順位を得ることができる。

ＣＰＵ２０６は、前述した最大領域を構成する四角形を、撮影したスクリーン３の四角形として特定する（ステップＳ３１６）。

次に、ステップＳ１０６にて実行される画像の動きの判別処理について説明する。ＣＰＵ２０６は、撮影モードの切り替えを行うため、原稿４の画像に動きがあるか否かを判定する。ＣＰＵ２０６は、このような判定を行うため、前回撮影した画像との画像変化量ＭＤを求める。画像変化量ＭＤは撮影している画像が前回の画像と比較してどれぐらい変化したかを表す量である。この量を計算する方法はいくつか考えられるが、この撮影画像投影装置では、前回撮影した画像のデータから、各画素の差分の絶対値の総和を画像変化量ＭＤとして求めている。

即ち、前回の画素データをＰn-1(x,y）、今回の画素データをＰn(x,y）（１≦ｘ≦６４０，１≦ｙ≦４８０）とすると、画像変化量ＭＤは、次の数１５によって表される。

また、この画像変化量ＭＤと比較して動きの有無を判定するための閾値として、数１６に示す閾値ＭＤＴＨが予め設定される。撮影画像投影装置は、画像変化量ＭＤが閾値ＭＤＴＨ未満であれば動きがないと判別し、閾値ＭＤＴＨ以上であれば動きがあると判別する。

次に、この検出された原稿４又はメモリ２０１に登録されている台座１３の四角形から、アフィンパラメータを求める方法について説明する。検出された原稿４又は登録されている台座１３の四角形の４点の頂点の座標（x0,y0）,（x1,y1）,（x2,y2）,（x3,y3）を用いて、数５，数８に従って、数８に示す行列内の各要素であるアフィンパラメータを求めることができる。

この際、ｍ，ｎのスケールは０≦ｍ≦１，０≦ｎ≦１の範囲であるので、座標単位の修正を行う。画像の中心を変えずに、Ｕ軸側、Ｖ軸側の画像サイズを、それぞれＵsc,Ｖscでスケーリングするものとする。このとき画像の中心をｕc，ｖcとすると、画像のスケール変換は次の数１７によって表される。

この数１７をｕ，ｖスケールに書き直すと、変換後の四角形の座標（x',y',z'）は次の数１８によって表される。

ここで、Ａfは、アフィン変換行列であり、アフィン変換行列Ａfは次の数１９によって表される。

出力可能な最大画像（画面）サイズが（ｕmax,ｖmax）で与えられている場合、ｕc，ｖcは、次の数２０によって表される。

また、ｖmax/ｕmax＞ｋのとき、ｖmax/ｕmax≦ｋのときは、それぞれ、次の数２１，数２２に従って画像のスケーリングを行うと、所望の縦横比ｋの画像が得られる。

このような考え方に基づいて、ＣＰＵ２０６は、四角形の頂点からアフィンパラメータを算出する。図２２は、このアフィンパラメータ抽出処理の詳細を示すフローチャートである。

ＣＰＵ２０６は、四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数５に従って、射影係数α、βを算出する（ステップＳ３２１）と共に、原稿４の縦横比ｋを算出する（ステップＳ３２２）。

次に、ＣＰＵ２０６は、数２０に従って、画像の中心点（ｕc,ｖc）を指定し（ステップＳ３２３）、最大画像サイズｖmax/ｕmaxと数１２で表される縦横比ｋとを比較する（ステップＳ３２４）。

ｖmax/ｕmax＞ｋの場合（ステップＳ３２４；Ｙｅｓ）、縦横比ｋを変えないものとして、ＣＰＵ２０６は、Ｖ軸側（縦）の最大画像サイズｖmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、ＣＰＵ２０６は、Ｕ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数２１に従ってｕsc，ｖscを求め、Ｖ軸側の撮影対象物の画像のスケールを決定する（ステップＳ３２５）。

ｖmax/ｕmax≦ｋの場合（ステップＳ３２４；Ｎｏ）、縦横比ｋを変えないものとして、ＣＰＵ２０６は、Ｕ軸側（横）の最大画像サイズｕmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、ＣＰＵ２０６は、Ｖ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数２２に従って、ｕsc，ｖscを求め、Ｕ軸側の撮影対象物の画像のスケールを決定する（ステップＳ３２６）。

続いて、ＣＰＵ２０６は、算出したｕsc，ｖsc，ｕc，ｖcと四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数１９に従って、アフィン変換行列Ａfを求め（ステップＳ３２７）、このアフィン変換行列Ａfの各要素をアフィンパラメータＡとして、このアフィンパラメータＡを取得する（ステップＳ３２８）。

次に、得られたアフィンパラメータを用いて補正画像を作成する画像処理方法について説明する。まず、アフィンパラメータを用いて射影変換や他のアフィン変換を行なう場合、図２３に示すように、元の画像の点ｐ(x,y）が、変換行列Ａpによる射影変換等によって変換（後）画像の点Ｐ(u,v）に対応するものとする。この場合、元の画像の点ｐに対応する変換画像の点Ｐを求めるよりは、変換画像の点Ｐ(u,v）に対応する元の画像の点ｐ(x,y）を求めたほうが好ましい。

なお、変換画像の点Ｐの座標を求める際、バイリニア法による補間方法を用いるものとする。バイリニア法による補間方法は、一方の画像（元の画像）の座標点と対応する他方の画像（変換画像）の座標点を探し出して、一方の画像の座標点の周辺４点の（画素）値から変換画像の点Ｐ(u,v）の（画素）値を求める方法である。この方法によれば、変換画像の点Ｐの画素値Ｐは、次の数２３に従って算出される。

変換画像の点Ｐ(u,v）に対応する元の画像の点ｐ(x,y）を求めるため、ＣＰＵ２０６は、画像変換処理を実行する。図２４は、この画像変換処理の詳細を説明するためのフローチャートである。

ＣＰＵ２０６は、変換画像の画素位置ｕを０に初期化すると共に（ステップＳ２４１）、変換画像の画素位置ｖを０に初期化する（ステップＳ２４２）。

次に、ＣＰＵ２０６は、数１９で得られたアフィンパラメータＡを用いて、変換画像の画素位置（u,v）を代入し、数２に従って、元の画像の画素位置（x,y）を求める（ステップＳ２４３）。続いて、ＣＰＵ２０６は、求めた画素位置（x,y）から、数２３に従って、バイリニア法により画素値Ｐ(u,v）を求める（ステップＳ２４４）。

そして、ＣＰＵ２０６は、補正後画像の座標ｖを１つだけインクリメントする（ステップＳ２４５）。

続いて、ＣＰＵ２０６は、補正後画像の座標ｖと座標ｖの最大値ｖmaxとを比較して、補正後画像の座標ｖが最大値ｖmax以上になったか否かを判定し（ステップＳ２４６）、座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ２４６；Ｎｏ）、ステップＳ２４３に戻る。

その後、ＣＰＵ２０６は、ステップＳ２４３〜Ｓ２４５の処理を繰り返し、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ２４６；Ｙｅｓ）、補正後画像の座標ｕを１つだけインクリメントする（ステップＳ２４７）。

続いて、ＣＰＵ２０６は、座標ｕと座標ｕの最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定し（ステップＳ２４８）、座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ２４８；Ｎｏ）、ステップＳ２４２に戻る。

その後、ＣＰＵ２０６は、ステップＳ２４２〜Ｓ２４７の処理を繰り返し、座標ｕが最大値ｕmaxに達したと判定した場合（ステップＳ２４８；Ｙｅｓ）、この画像変換処理を終了させる。

次に、このように得られた画像から、画像鮮明化パラメータを抽出する処理と、このパラメータを用いて行う画像鮮明化処理と、について説明する。画像鮮明化処理は、より鮮明な画像を得るための処理である。

画像鮮明化パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像鮮明化処理に必要な変数である。

画像鮮明化パラメータを抽出するには、さらに、全体の画像から輪郭を除く実原稿部の画像を切り出し、輝度、色差のヒストグラムを生成する必要がある。まず、画像鮮明化パラメータの抽出に必要な処理について説明する。

図２５に示すように、撮影対象物の画像には、写真、図形、文字等の実体的な画像だけでなく、台座１３や、撮影対象物の紙面の影等のように、撮影対象物の内容に無関係の画像も写っている場合がある。この全体画像に内枠と外枠とを設定し、撮影対象物の実体的な画像がある内枠内を実原稿部、台座１３や、撮影対象物の紙面の影等が写っている内枠と外枠との間を周辺部とする。周辺部に写っている撮影対象物の輪郭は、概して黒であることが多い。画像データに、このような周辺部のデータがあった方が好ましい場合もある。

しかし、撮影対象物の周辺部の画像も含めてヒストグラムを生成すると、ヒストグラムの引き伸ばしなどが有効に機能しない場合がある。

このため、画像鮮明化パラメータを取り出すときにのみ、実原稿部の画像を切り出して輝度、色差のヒストグラムを生成し、このヒストグラムから取り出した画像鮮明化パラメータを用いて画像全域に対して画像鮮明化処理を行なうものとする。この方が、より効果的なパラメータを取得することができる。

具体的には、周辺部を含めた画像データがＭ行Ｎ列であって、Ｘ、Ｙ方向とも外枠と内枠との間のドット数がＫドットであるとすると、Ｘ軸側では、実原稿部の画素データであるＫからＭ−Ｋ行までの画素データを取得し、Ｙ軸側では、実原稿部の画素データであるＫからＮ−Ｋ列までの画素データを取得する。実原稿部の画素データは、（M-2*K)行、（N-2*K)列のデータになる。

このように切り出した実原稿部の画像について、輝度ヒストグラム、色差ヒストグラムを生成する。

輝度ヒストグラムは、実原稿部に存在する輝度値（Ｙ）の分布を示すものであり、輝度値毎に実原稿部の画素の数を計数することにより生成される。図２６（ａ）に輝度ヒストグラムの一例を示す。図２６（ａ）において、横軸は、輝度値（Ｙ）を示し、縦軸は、画素数を示す。画像を鮮明化するには、画像鮮明化パラメータとして、最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を求める必要がある。

最大値は、輝度値毎に画素の数を計数し、予め設定された所定数以上の計数値を有する輝度値のうちの最大輝度を示す値であり、最小値は、設定された所定数以上の計数値を有する輝度値のうちの最小輝度を示す値である。ピーク値は、計数値が最大となる輝度値である。ピーク値は、撮影対象である原稿４やスクリーン３の背景色の輝度値を示すものと考えられる。

また、色差ヒストグラムは、実原稿部に存在する色差（Ｕ，Ｖ）の分布を示すものであり、色差毎に実原稿部の画素の数を計数することにより生成される。図２６（ｂ）に、色差ヒストグラムの一例を示す。図２６（ｂ）において、横軸は、色差を示し、縦軸は、画素数を示す。色差ヒストグラムの場合も、画素の計数値が最大となる色差のピーク値（Ｕpeak，Ｖpeak）が現れる。このピーク値も撮影対象物の背景色の色差を示すものと考えられる。画像を鮮明化するには、画像鮮明化パラメータとして色差ヒストグラムのピーク値と平均値（Ｕmean,Ｖmean）とを求める必要がある。なお、平均値は、平均計数値を有する色差の値である。

なお、画像を鮮明化して視認性に優れた画像を得るには、撮影対象物の背景色によって補正効果が異なってくるため、画像効果の補正方法を撮影対象物の背景色によって変える必要がある。このため、撮影対象物の背景色の判別が必要になってくる。撮影対象物の背景色は、輝度ヒストグラム、色差ヒストグラムの各ピーク値から判別される。

ここで、撮影対象物の背景色を、３つに分類するものとする。第１は、ホワイトボード、ノート等のように背景色が白の場合である。第２は、黒板等のように背景色が黒の場合である。第３は、雑誌、パンフレットのように背景色が白又は黒以外の場合である。具体的に、原稿４の背景色は、以下の判別式に従って判別される。

白判定条件は、次の数２４によって表され、数２４に示す条件を満足したときに、撮影対象物の背景色は白（Ｗ）と判定される。

黒判定条件は、次の数２５によって表され、数２５に示す条件を満足したときに、撮影対象物の背景色は黒（Ｂ）と判定される。

また、数２４，数２５に示す条件を満足しなかった場合、撮影対象物の背景色はカラー（Ｃ）と判定される。なお、カラー閾値は、例えば、５０及び１２８に、白判定閾値は、例えば、１２８に、黒判定閾値は、例えば、５０に設定される。

このような考え方に基づいて、ＣＰＵ２０６は、画像鮮明化パラメータ抽出処理を実行する。図２７は、この画像鮮明化パラメータ抽出処理の詳細を示すフローチャートである。

ＣＰＵ２０６は、実原稿部の中で、各輝度（Ｙ）値を有する画素の数を計数して、図２６（ａ）に示すような輝度ヒストグラムを生成し（ステップＳ３３１）、生成した輝度ヒストグラムから、輝度の最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を取得する（ステップＳ３３２）。

次に、ＣＰＵ２０６は、図２６（ｂ）に示すような色差（Ｕ，Ｖ）のヒストグラムを作成する（ステップＳ３３３）。続いて、ＣＰＵ２０６は、画像鮮明化パラメータとして、色差（Ｕ，Ｖ）のピーク値（Ｕpeak,Ｖpeak）を求めると共に（ステップＳ３３４）、色差の平均値（Ｕmean,Ｖmean）を求める（ステップＳ３３５）。

そして、ＣＰＵ２０６は、画像ヒストグラムのこれらのピーク値（Ｙpeak,Ｕpeak,Ｖpeak）から、数２４，数２５に示す判定条件式に従って撮影対象物の背景色を判別し（ステップＳ３３６）、画像鮮明化パラメータと撮影対象物の背景色のデータとをメモリ２０１に記憶する（ステップＳ３３７）。

次に、ＣＰＵ２０６は、このように抽出した画像鮮明化パラメータを用いて画像鮮明化処理を行う。前述のように、画像鮮明化処理を効果的に行うには、背景色によって処理内容を替える必要がある。

ホワイトボード、ノート等のように、背景色が白である場合、図２８（ａ）に示すような輝度変換を行う。黒板等のように、背景色が黒である場合、図２８（ｂ）に示すような輝度変換を行う。雑誌、パンフレット等のように、背景色が白または黒以外である場合、図２８（ｃ）に示すような変換を行う。なお、図２８（ａ），（ｂ），（ｃ）において、横軸は、画素値の入力値を示し、縦軸は、画素値の出力値を示す。

背景色が白である場合、図２８（ａ）に示すように、ピーク値を境にして、輝度変換線の傾斜角度を変える。所定輝度値を、例えば、２３０として、入力された輝度のピーク値を輝度値２３０まで引き上げる。そして、最大値を、最大輝度まで持ち上げる。従って、輝度変換線は、図２８（ａ）に示すように、２つの線分によって表される。

背景色が黒である場合、図２８（ｂ）に示すように、ピーク値をある一定の輝度値（２０）になるように輝度変換を行なう。この場合も、図２８（ｂ）に示すように、輝度変換線は２つの線分によって表される。

背景色が白または黒以外の色である場合、図２８（ｃ）に示すように、通常の引き伸ばし処理と同様に、最小値以下と最大値以上をカットし、１つの線分として表されるように輝度変換線を設定する。

なお、このように背景の輝度（Ｙ）と出力（Ｙ’）との変換テーブルを予め設定してメモリ２０１に記憶してもよい。作成した変換テーブルに従って、入力された各画素の値から、それぞれの出力値を求め、画像鮮明化処理を施す。このように変換された画像は、明るい画素はより明るく、暗い画素はより暗くなるので、輝度分布が広がり、視認性がすぐれた画像になる。

また、撮影された画像によっては、デジタルカメラのホワイトバランスの調整が適正に行われず、例えば、全体が黄色等に色が変わってしまう場合がある。この色の変化は、輝度ヒストグラムの画像鮮明化処理を行うだけでは、修正することができない。

この場合、好ましい画像を得るためには、カラー調整を行う。図２９は、カラー調整を行うための輝度変換グラフの一例を示す図である。図２９において、横軸は、色差の入力値を示し、縦軸は、色差の出力値を示す。カラー調整は、図２８（ｂ）に示す色差（Ｕ，Ｖ）のそれぞれの平均値（Ｕmean,Ｖmean）がグレーになるように、図２９に示す輝度変換グラフに従って輝度変換が行なわれる。

色差ＵとＶの値がともに０である場合、色は無彩色となるため、ピーク値（Ｕpeak，Ｖpeak）が０になるようにカラー調整を行う。即ち、カラーの変換線は２つの線分によって表される。入力値Ｕに対する出力値Ｕ’は次の数２６で与えられる。

色差Ｖについても同様である。

次に、画像鮮明化処理として、前述の輝度引き延ばしだけでは、十分に背景が白色化しない場合、背景の白色化を行い、画像内の背景と思われる部分の色を白（Ｙ：255，Ｕ：０，Ｖ：０）または、それに近い色にする。

図３０（ａ）は、ある画素の輝度値を基準（０）にして、この画素の輝度値に対する輝度値の引き上げ率を示す図である。横軸は、輝度値を示し、縦軸は輝度値の引き上げ率を示す。また、図３０（ｂ）は、色差と色差の変化率を示す図である。横軸は、色差を示し、縦軸は、色差の変化率を示す。

図中、Ｃ0は、輝度と色差とを１００％引き上げる０からの範囲を示し、Ｃ1は、輝度値に従って引き上げ率を可変する範囲を示す。図３０（ａ），（ｂ）に示すように、輝度（Ｙ）値が一定値以上（Ｙw）で、色差（Ｕ，Ｖ）が一定範囲内（Ｃ0）の画素の色を白色化範囲として、輝度値を引き上げ、色差を０にする。このような背景の白色化を行えば、輝度引き延ばしだけでは、十分に背景が白色化しない場合に、画像鮮明化処理が非常に有効なものとなる。

このような考え方に基づいて、ＣＰＵ２０６は、画像鮮明化処理を実行する。図３１は、この画像鮮明化処理の詳細を示すフローチャートである。

ＣＰＵ２０６は、保存した画像鮮明化パラメータをメモリ２０１から読み出す（ステップＳ２５１）。

次に、ＣＰＵ２０６は、輝度ヒストグラムの調整を行う（ステップＳ２５２）。具体的には、ＣＰＵ２０６は、背景が白か否かを判定し、背景が白と判定した場合、背景をより白くして、視認性が良くなるように、図２８（ａ）に示すような輝度変換を行って、輝度ヒストグラムの調整を行う。一方、背景が白ではないと判定した場合、ＣＰＵ２０６は、背景が黒か否かを判定し、背景が黒であると判定した場合、図２８（ｂ）に示すような輝度変換を行って、輝度ヒストグラムを調整する。一方、背景が黒ではないと判定した場合、ＣＰＵ２０６は、図２８（ｃ）に示すような輝度変換を行って、撮影対象物の背景色に応じたヒストグラム調整を行う。

続いて、ＣＰＵ２０６は、このように調整した画像に対して、図２５に示すような変換を行ってカラー調整を行い、（ステップＳ２５３）、続いて、背景の白色化処理を実行する（ステップＳ２５４）。

図３２は、ＣＰＵ２０６が行う背景の白色化処理の詳細を示すフローチャートである。なお、図中のｉmax,ｊmaxは入力画像のｘ，ｙ軸のサイズである。

この背景白色化処理において、ＣＰＵ２０６は、まず、カウント値ｊを０に初期化すると共に（ステップＳ３４１）、カウント値ｉを０に初期化する（ステップＳ３４２）。次に、ＣＰＵ２０６は、入力画像の画素（i,j）の輝度（Ｙ）が一定値以上（Ｙw）であるか否かを判定する（ステップＳ３４３）。

輝度（Ｙ）が一定値以上（Ｙw）であると判定した場合（ステップＳ３４３；Ｙｅｓ）、ＣＰＵ２０６は、色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であるか否かを判定する（ステップＳ３４４）。一方、輝度（Ｙ）が一定値未満（Ｙw）であると判定した場合（ステップＳ３４３；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３４８に進む。

色差Ｕ、Ｖの絶対値が所定値Ｃ０未満ではないと判定した場合（ステップＳ３４４；Ｎｏ）、ＣＰＵ２０６は、入力画像の画素（i,j）の色差Ｕ、Ｖの絶対値が所定値Ｃ１未満であるか否かを判定する（ステップＳ３４５）。

ステップＳ３４４及びＳ３４５にて色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であると判定した場合（ステップＳ３４４；Ｙｅｓ）、ＣＰＵ２０６は、輝度値（Ｙ）を２５５に設定し、色差（ｕ，ｖ）を０にして、画素（i,j）の値を書き換え（ステップＳ３４６）、ステップＳ３４８に進む。

ステップＳ３４４及びＳ３４５にて色差Ｕ、Ｖの絶対値が所定値Ｃ０以上であり、且つ所定値Ｃ１未満であると判定した場合（ステップＳ３４４；Ｎｏ，ステップＳ３４５；Ｙｅｓ）、ＣＰＵ２０６は、輝度値Ｙ＝Ｙ＋ａ＊（255−Ｙ）として、画素（i,j）の値を書き換え（ステップＳ３４７）、ステップＳ３４８に進む。

ステップＳ３４４及びＳ３４５にて色差Ｕ、Ｖの絶対値が所定値Ｃ１以上であると判定した場合（ステップＳ３４４；Ｎｏ，ステップＳ３４５；Ｎｏ）、ＣＰＵ２０６は、輝度値を変更せずに、ステップＳ３４８に進む。

そして、ＣＰＵ２０６は、カウント値ｉをインクリメントする（ステップＳ３４８）。続いて、ＣＰＵ２０６は、カウント値ｉを最大値ｉmaxと比較して、カウント値ｉが最大値ｉmaxに達したか否かを判定する（ステップＳ３４９）。

カウント値ｉが最大値ｉmaxに達していないと判定した場合（ステップＳ３４９；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３４３に戻る。

その後、ステップＳ３４３〜Ｓ３４８の処理を繰り返し実行し、カウント値ｉが最大値ｉmaxに達したと判定した場合（ステップＳ３４９；Ｙｅｓ）、ＣＰＵ２０６は、カウント値ｊをインクリメントする（ステップＳ３５０）。

続いて、ＣＰＵ２０６は、カウント値ｊを最大値ｊmaxと比較して、カウント値ｊが最大値ｊmaxに達したか否かを判定する（ステップＳ３５１）。

カウント値ｊが最大値ｊmaxに達していないと判定した場合（ステップＳ３５１；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３４２に戻る。

その後、ステップＳ３４２〜Ｓ３５０の処理を繰り返し実行し、カウント値ｊが最大値ｊmaxに達したと判定した場合（ステップＳ３５１；Ｙｅｓ）、ＣＰＵ２０６は、この背景の白色化処理を終了させる。

以上説明したように、本実施形態によれば、ＣＰＵ２０６は、台座１３上の原稿４を撮影することにより得られた画像からエッジ画像を生成し、この生成したエッジ画像から原稿４の輪郭を形成する四角形を検出する。次に、ＣＰＵ２０６は、エッジ画像から原稿４の四角形を検出できたか否かを判別し、検出できたと判別された場合には、この検出した原稿４の四角形の各頂点の座標を求める。一方、検出できなかったと判別された場合には、メモリ２０１に登録されている台座１３の輪郭を形成する四角形の各頂点の座標を求める。

そして、ＣＰＵ２０６は、求めた四角形の各頂点の座標からアフィンパラメータを取得し、この取得したアフィンパラメータを用いて、撮影画像の各画素の座標をアフィン変換して、撮影画像の傾きを補正する。

例えば図３（ａ）に示すように原稿４が画角（撮影範囲）に収まっている場合、ＣＰＵ２０６は、エッジ画像から原稿４の四角形を検出することができるので、この検出した四角形（原稿４の輪郭）に沿って画像の切出を行う。そして、ＣＰＵ２０６は、切り出した画像に対して傾きの補正や画像鮮明化処理を施した後、出力する。この結果、スクリーン３上には、図３（ｂ）に示すような画像が投影される。

一方、図３３（ａ）に示すように原稿４が画角からはみ出している場合、ＣＰＵ２０６は、原稿４の四角形を検出することができないので、メモリ２０１に登録されている四角形（台座１３の輪郭）に沿って画像の切出を行う。そして、ＣＰＵ２０６は、切り出した画像に対して傾きの補正や画像鮮明化処理を施した後、出力する。この結果、スクリーン３上には、図３３（ｂ）に示すような画像が投影される。

このように、原稿４が画角に収まっている場合、この原稿４の輪郭に沿って画像の切出が行われ、画角からはみ出している場合、台座１３の輪郭に沿って画像の切出が行われる。このため、ＣＰＵ２０６は、撮影した原稿４の画像が画角からはみ出しているときでも、カメラ部１１のズーム倍率を小さくする必要がないので、撮影画像全体に占める原稿４の割合を大きくすることができ、切り出されてスクリーン３上に投影される画像も大きくなる。この結果、本実施形態の撮影画像投影装置は、視認性に優れた画像をスクリーン３上に投影することができる。

また、撮影画像が歪んでいる場合であっても、上述のように撮影画像全体に占める原稿４の割合を大きくすることができるので、本実施形態に係る撮影画像投影装置は、この撮影画像の輝度及び色差を適正に補正することができ、この結果、スクリーン３上に投影される画像の視認性をさらに高めることができる。

また、カメラ部１１は、図３４（ａ）に示すように、台座１３上に載置された原稿４を真上から撮影するが、ライトの映込等がある場合には、図３４（ｂ）に示すように、少し斜めの位置から撮影を行って、ライトの映込を軽減する。

図３５（ａ）は、原稿４を真上から撮影した場合に得られる画像例を示すものであり、図３５（ｂ）は、原稿４を少し斜めの位置から撮影した場合に得られる画像例を示すものである。

ＣＰＵ２０６は、図３５（ａ）及び（ｂ）に示すいずれの撮影画像からも、上記手法で原稿４の輪郭を抽出して原稿４の画像を切り出すことにより、図３（ｂ）に示すような画像を取得することができる。この結果、本実施形態に係る撮影画像投影装置は、ライトの映込による影響を受けにくいものとなる。さらに、本実施形態に係る撮影画像投影装置は、原稿４が画角からはみ出している場合でも、台座１３の輪郭を抽出して画像の切出を行うことにより、同様の効果を得ることができる。

さらに、カメラ部１１の台座１３に対するあおり角が変動する等してカメラ部１１と台座１３との位置関係が変動した場合に、ユーザがキャリブレーション要求キーを押下すると、ＣＰＵ２０６は、台座１３を撮影することによって得られた画像から、台座１３の輪郭を形成する直線パラメータの組を検出してメモリ２０１に登録する。これにより、カメラ部１１と台座１３との位置関係が変動した場合、ＣＰＵ２０６は、これに併せて、メモリ２０１に登録している直線パラメータの組を順次更新していくことができる。このように順次更新される直線パラメータの組を用いて、撮影画像からの原稿４の画像の切出と傾き補正とを行うことにより、本実施形態に係る撮影画像投影装置は、カメラ部１１と台座１３との位置関係が変動した場合であっても、撮影画像から原稿４の正面画像を適切に取得することができる。

なお、本発明は、上記実施形態に限定されず、種々の変形、応用が可能である。以下、本発明に適用可能な上記実施形態の変形態様について、説明する。

上記実施形態において、支柱１２は、カメラ部１１及び台座１３と回転自在に接続されていた。しかしながら、本発明は、これに限定されず、支柱１２がカメラ部１１及び台座１３と固定して接続されていてもよく、また、ノッチ機構などによって予め決められた位置にロックされるように接続されていてもよい。このように、カメラ部１１と台座１３との位置関係が予め定まっている場合には、ステップＳ１１１の台座登録処理を省略して、それぞれ位置関係に対応した直線パラメータの組をメモリ２０１に登録し、位置関係が変動する毎に使用する直線パラメータの組を順次切り替えていけばよい。

また、上記実施形態において、ＣＰＵ２０６は、ステップＳ１１１の台座登録処理にてメモリ２０１に格納されている台座１３の輪郭を形成する直線パラメータに近い直線パラメータを、ステップＳ３０３及びＳ３０４にて取得した候補から、外していた。しかしながら、本発明は、これに限定されず、ＣＰＵ２０６は、ステップＳ３０１にて得られたエッジ画像から、台座１３の輪郭を形成する直線パラメータを予め外しておき、ステップＳ３０３及びＳ３０４にて候補として検出されないようにしてもよい。また、ＣＰＵ２０６は、図３６に示すように、台座１３の輪郭よりも少し内側の画像を切り出し、その切り出した画像から、四角形を検出してもよい。

さらに、上記実施形態において、原稿４の輪郭の形状は、四角形であった。しかしながら、本発明は、これに限定されず、原稿の形状は、任意であり、例えば五角形であってもよい。この場合、撮影画像投影装置は、原稿４の輪郭から五角形を取得し、五角形の各頂点座標から射影パラメータを抽出すればよい。

また、上記実施形態において、画像処理処理は、撮影画像投影装置に適用されていたが、本発明は、これに限定されるものではなく、デジタルカメラ等、他の撮影装置に適用してもよい。

さらに、上記実施形態において、ＣＰＵ２３６等が実行するプログラムは、予めＲＯＭ等に記憶されていた。しかしながら、本発明は、これに限定されず、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

また、プログラムを記憶する記憶媒体は、上述のものに限定されず、例えば、Ｂｌｕｅ−Ｒａｙ−Ｄｉｓｃ（Ｒ）やＡＯＤ（Advanced Optical Disc）などの青色レーザを用いた次世代光ディスク記憶媒体、赤色レーザを用いるＨＤ−ＤＶＤ９、青紫色レーザを用いるＢｌｕｅ−Ｌａｓｅｒ−ＤＶＤ等、今後開発される種々の大容量記憶媒体を用いて本発明を実施することが可能であることはいうまでもない。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係る撮影画像投影装置の構成を示す図であり、（ａ）は、書画撮影時の図であり、（ｂ）は、ボード撮影時の図である。 図１に示す書画カメラの構成を示すブロック図である。 図２に示す画像処理装置の機能を説明するための図である。 図２に示す画像処理装置の機能を説明するための図である。 書画カメラ基本処理を示すフローチャートである。 ＰＣ書画基本処理を示すフローチャートである。 図５に示す書画撮影処理の詳細を示すフローチャートである。 図５に示す書画撮影処理の詳細を示すフローチャートである。 図５に示すボード撮影処理の詳細を示すフローチャートである。 図２に示す画像処理装置の切り抜き処理を説明するための図である。 アフィンパラメータの抽出とアフィン変換の基本的な考え方の説明図である。 図８に示す四角形輪郭抽出処理の詳細を示すフローチャートである。 縮小輝度画像とエッジ画像とを説明するための図である。 Ｒｏｂｅｒｔｓフィルタの機能を説明するための図である。 ハフ変換を用いた直線検出を説明するための図であり、（ａ）は、上下の辺を検出する処理を示し、（ｂ）は、左右の辺を検出する処理を示している。 ρがプラスの値かマイナスの値かによって、上下、または左右を判定可能であることを示すイメージ図である。 図８に示す台座登録処理の詳細を示すフローチャートである。 台座登録変更処理の詳細を示すフローチャートである。 書画撮影時四角形検出処理の詳細を示すフローチャートである。 直線検出後の四角形の特定を説明するための図であり、（ａ）は、書画撮影の場合を示し、（ｂ）はボード撮影の場合を示している。 ボード撮影時四角形検出処理の詳細を示すフローチャートである。 図１２に示すアフィンパラメータ抽出処理の詳細を示すフローチャートである。 射影変換後の画像から元の画像を得るための逆変換を説明するための図である。 図８に示す画像変換処理の詳細を示すフローチャートである。 図２に示す画像処理装置が切り出した画像例を示す図である。 図２６（ａ）は、輝度ヒストグラムを示す図であり、図２６（ｂ）は、色差ヒストグラムを示す図である。 画像鮮明化パラメータ抽出処理の詳細を示すフローチャートである。 図２８（ａ）は、背景色が白の場合の画像鮮明化処理を示す図であり、図２８（ｂ）は、背景が黒の場合の画像鮮明化処理を示す図であり、図２８（ｃ）は、背景が白又は黒以外の場合の画像鮮明化処理を示す図である。 カラー調整を行うための輝度変換グラフの一例を示す図である。 背景の白色化を説明するための図である。 図８に示す画像鮮明化処理の詳細を示すフローチャートである。 図３１に示す背景白色化処理の詳細を示すフローチャートである。 図２に示す画像処理装置の機能を説明するための図である。 図１に示す書画カメラの機能を説明するための図である。 図２に示す画像処理装置の機能を説明するための図である。 本発明の変形例における画像処理装置の機能を説明するための図である。

符号の説明

１…書画カメラ、２…プロジェクタ、３…スクリーン、４…原稿、１１…カメラ部、１３…台座、２０１…メモリ、２０３…画像処理装置、２０４…操作部、２０６…ＣＰＵ

Claims (9)

1. 台座の輪郭を形成する多角形の頂点座標を格納するデータ格納手段と、
   前記台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手段と、
   前記原稿多角形検出手段により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手段と、
   前記原稿多角形検出判別手段によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点座標により指定される範囲で画像処理し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記データ格納手段によって格納された頂点座標により指定される範囲で画像処理する画像処理手段と、
   を備える画像処理装置。
2. 前記原稿多角形検出手段は、前記画像から前記原稿の輪郭を形成する直線パラメータの候補を検出する候補検出手段と、
   前記候補検出手段が検出した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記原稿の輪郭として取得する原稿輪郭取得手段と、を含む、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記原稿輪郭取得手段は、前記候補検出手段が検出した候補のうちから、略平行の２本の直線パラメータの組を検出すると共に、該検出した２本の直線パラメータと略垂直の２本の直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記原稿の輪郭として取得する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理手段によって指定される範囲の頂点座標からアフィンパラメータを取得するアフィンパラメータ取得手段と、
   前記アフィンパラメータ取得手段により取得されたアフィンパラメータを用いて、前記画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正して出力する画像補正手段と、
   を備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記台座を撮影することによって得られた画像から該台座の輪郭を形成する多角形を検出する台座多角形検出手段と、
   前記台座多角形検出手段により前記台座の輪郭を形成する多角形が検出されたか否かを判別する台座多角形検出判別手段と、
   前記台座多角形検出判別手段によって前記台座の輪郭を形成する多角形が検出されたと判別した場合、該検出した多角形の頂点座標データを前記データ格納手段に書き込むことによって、前記台座の輪郭を形成する多角形の頂点座標データを更新するデータ更新手段と、をさらに備える、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記台座多角形検出手段は、前記台座を撮影することによって得られた画像のうちから、略平行の２本の直線パラメータの組を検出すると共に、該検出した２本の直線パラメータと略垂直の２本の直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記台座の輪郭として取得する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 台座の輪郭を形成する多角形の頂点座標を格納するデータ格納手段と、
   前記台座上に載置された原稿を撮影する原稿撮影手段と、
   前記原稿撮影手段による撮影により得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手段と、
   前記原稿多角形検出手段により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手段と、
   前記原稿多角形検出判別手段によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点座標により指定される範囲で画像処理し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記データ格納手段によって格納された頂点座標により指定される範囲で画像処理する画像処理手段と、
   前記画像処理手段から出力された画像をスクリーン上に投影する画像投影手段と、
   を備える撮影画像投影装置。
8. 台座の輪郭を形成する多角形の頂点座標を格納するデータ格納工程と、
   前記台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出工程と、
   前記原稿多角形検出工程により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別工程と、
   前記原稿多角形検出判別工程によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点座標により指定される範囲で画像処理し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記データ格納手段によって格納された頂点座標により指定される範囲で画像処理する画像処理工程と、
   を備える画像処理方法。
9. コンピュータに、
   台座の輪郭を形成する多角形の頂点座標を格納するデータ格納手順と、
   前記台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手順と、
   前記原稿多角形検出手順により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手順と、
   前記原稿多角形検出判別手順によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点座標により指定される範囲で画像処理し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記データ格納手段によって格納された頂点座標により指定される範囲で画像処理する画像処理手順と、
   を実行させるためのプログラム。