JP2012034175A - 投影装置、投影システム、投影方法及び投影プログラム - Google Patents

Abstract

【課題】投影装置の設置位置および姿勢への制約をなくしつつ、厳密な射影歪補正を行うことにより、所望の映像を正確に投影させることができる投影技術を提供する。
【解決手段】映像光源４１０、映像光源４１０からの入射光の方向を変換して出射光とする光路変換平面と、前記光路変換平面からの出射光によって、投影対象となる投影平面に対する投影を行う投影装置であり、光路変換平面は、入射光の進行方向を個別に変換可能な光路変換素子４２１が複数配列され、映像光源４１０と光路変換平面との間の光路の方向を示す一次輻射ベクトルから、光路変換平面と投影平面との間の光路の方向を示す二次輻射ベクトルへ変換するための光路変換関数を演算する投影演算部４３０と、光路変換関数に基づいて、光路変換素子４２１を制御する光路制御部４２２と、を有する。
【選択図】図４

Description

本発明は、たとえば、スクリーンなどの投影平面に対して、レーザ光などの投影媒体によって特定の映像を投影するための投影装置、投影システム、投影方法及び投影プログラムに関する。

従来から、スクリーン等の投影平面に対して、所望の映像を投影するために、投影装置が用いられている。たとえば、レーザ光源および光走査素子を用いる光走査型プロジェクタや、ランプ光源（たとえば、超高圧水銀ランプ、キセノンランプ等）およびＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を用いるＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ：登録商標）などの投影装置は、投影平面の大小を問わず、比較的鮮明な映像を投影することができる（特許文献１〜３参照）。

特開２００７−８６２６６号公報 特開２００８−１５８４９５号公報 特開２００５−０４３８８４号公報

ところで、上記のような従来技術においては、次のいずれかの制約があった。
（１）投影装置の投影方向と投影平面（スクリーン等）の法線方向を一致させる必要がある。
（２）投影装置の設置位置および姿勢を限定して、投影像の射影歪み補正を行う必要がある。

つまり、投影平面に対して、所望の映像が投影されるようにするためには、投影平面に対する投影装置の設置位置および姿勢が固定されている必要がある。このため、任意の投影場所に投影装置を設置して、投影する場合、正確な映像を投影させることが困難な場合があった。

本発明は、上記のような従来技術の問題点を解決するために提案されたものであり、その目的は、投影装置の設置位置および姿勢への制約をなくしつつ、厳密な射影歪補正を行うことにより、所望の映像を正確に投影させることができる投影装置、投影方法及び投影プログラムを提供することである。

上記の目的を達成するために、請求項１の投影装置は、光源部と、前記光源部からの入射光の方向を変換して出射光とする光路変換部とを有し、前記光路変換部からの出射光によって、投影対象となる投影平面に対する投影を行う投影装置において、前記光路変換部は、入射光の進行方向を個別に変換可能な光路変換素子を、複数配列した光路変換平面を有し、前記光源部と前記光路変換平面との間の光路の方向を示す一次輻射ベクトルから、前記光路変換平面と前記投影平面との間の光路の方向を示す二次輻射ベクトルへ光路を変換するための光路変換関数を演算する投影演算部と、前記投影演算部により演算された前記光路変換関数に基づいて、前記光路変換素子を制御する光路制御部と、を有することを特徴とする。

請求項２の発明は、請求項１の投影装置において、前記投影演算部は、前記光路変換平面と前記投影平面との間で相互に対応する２点に対して、前記光路変換平面上および前記投影平面上で相互に対応する２つの四角形により関係付けられる線形結合を表す投影結合の関係にある点を有する仮想的な二次投影平面を導入し、前記光路変換平面と所定の関係にある仮想投影平面を導入し、前記光路変換素子の光路変換点を介した前記二次投影平面上の投影位置と、これに対応する前記仮想投影平面上の位置との相互的な中心射影変換に基づいて、前記二次輻射ベクトルを演算することを特徴とする。

請求項３の発明は、請求項１または請求項２の投影装置において、前記投影演算部は、前記二次投影平面における異なる４点を頂点とする校正枠を設定する校正枠設定部と、前記仮想投影平面に、前記校正枠の４点に前記中心射影変換に基づいて対応する点を頂点とする射影校正枠を設定する射影校正枠設定部と、前記校正枠及び前記射影校正枠に基づいて、校正値を算出する校正値演算部と、二次元平面上での平行でない２直線の交点を求める交点関数を用いて、前記二次投影平面上の投影位置と前記校正枠のいずれかの頂点を通る直線と前記校正枠の対角線との交点若しくは前記投影位置に前記中心射影変換に基づいて対応する仮想投影平面上の位置と前記射影校正枠のいずれかの頂点を通る直線と前記射影校正枠の対角線との交点を求める交点演算部と、所定の点を介した２直線上の任意の点間の中心射影変換を行う透視関数及び前記校正値を用いて、前記二次投影平面上の投影位置と前記校正枠のいずれかの頂点を通る直線と前記校正枠の対角線との交点と、前記二次投影平面上の投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置と前記射影校正枠のいずれかの頂点を通る直線と前記射影校正枠の対角線との交点とを相互に変換可能な透視演算部と、前記校正枠若しくは前記射影校正枠の頂点および前記透視演算部により変換した交点に基づき、前記二次投影平面上の投影位置若しくは前記投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置を演算する仮想投影位置演算部と、前記二次投影平面上の投影位置若しくは前記投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置に基づいて、前記二次輻射ベクトルを演算する輻射ベクトル演算部と、前記一次輻射ベクトルおよび前記二次輻射ベクトルに基づいて、前記光路変換関数を演算する光路変換関数演算部と、を有することを特徴とする。

また、請求項８，９の投影方法は、請求項１，２の発明を方法の観点から捉えたものであり、請求項１０，１１の投影プログラムは、請求項１，２の発明をコンピュータプログラムの観点から捉えたものである。

以上のような請求項１〜３、８〜１１の発明では、投影装置と投影平面の設置位置および姿勢などの位置関係が、あらかじめ固定的に決定されていなくても、一次輻射ベクトルから二次輻射ベクトルへの光路変換関数を求め、これにより、光路変換素子を制御することにより、射影歪補正された映像を、投影平面に正確に投影することができる。

請求項４の発明は、請求項３の投影装置において、前記校正枠設定部、前記射影校正枠設定部、前記校正値演算部、前記交点演算部、前記透視演算部、前記仮想投影位置演算部および前記輻射ベクトル演算部を有し、運用前若しくは要求に応じて、前記二次輻射ベクトルおよび光路変換関数の演算を行うキャリブレーション部を有することを特徴とする。

以上のような請求項４の発明では、投影装置と投影平面との位置関係が変わっても、キャリブレーション部による設定を行うことによって、投影装置の投影平面への正確な投影を担保することができる。

請求項５の発明は、請求項１〜４のいずれか１項の投影装置において、除震手段を備えた設置機構を有することを特徴とする。

以上のような請求項５の発明では、外部環境からの振動が加わっても、その影響を除震手段によって排除できるので、投影装置による正確な投影動作を維持できる。

請求項６の発明は、請求項１〜４のいずれか１項の投影装置において、前記投影演算部および前記光路制御部との間で、情報の入出力が可能なユーザインタフェースを備えることを特徴とする。

以上のような請求項６の発明では、ユーザインタフェースを介して、投影演算部や光路制御部の内部状態の入出力が可能となる。

請求項７の発明である投影システムは、請求項１〜６のいずれか１項の投影装置と、前記投影平面上に投影される映像の投影位置に関する情報を記憶する記憶部と、前記投影位置に関する情報を前記投影演算部に出力する出力部と、を有する映像情報出力装置とを備えることを特徴とする。

以上のような請求項７の発明では、あらかじめ記憶部に記憶された投影位置に関する情報に基づいて、投影装置において光路変換関数を求めて、光路変換素子を正確な方向に制御して、所望の位置に投影させることができる。

以上説明したように、本発明によれば、投影装置の設置位置および姿勢への制約をなくしつつ、厳密な射影歪補正を行うことにより、所望の映像を正確に投影させることができる投影装置、投影方法、投影プログラムを提供することができる。

本発明の反射型の光路変換形式による投影動作モデルの一例を示す説明図である。 本発明の屈折型若しくは回折型の光路変換形式による投影動作モデルの一例を示す説明図である。 本発明の一実施形態を示す全体構成図である。 図３に示す実施形態の機能ブロック図である。 本発明の投影動作原理における光路変換平面及び投影平面の関係を示す説明図である。 本発明の投影動作原理における光路変換平面上の四角形に対応する投影平面上の四角形との関係を示す説明図（Ａ）、光路変換平面上を原点とする三次元直交座標系と二次投影平面上の四角形との関係を示す説明図（Ｂ）である。 本発明の投影動作原理における光路変換平面上の任意の点とこれに対応する投影平面上の点を各平面上の四角形を用いて表した説明図（Ａ）、光路変換平面上を原点とする三次元直交座標系と二次投影平面上の任意の点との関係を、二次投影平面上の四角形を用いて表した説明図（Ｂ）である。 図５の任意の光路変換点を介した投影平面と仮想投影平面との相互的な中心射影変換を説明する説明図である。 本発明の投影動作原理における投影平面上の校正枠と仮想投影平面上の射影校正枠の頂点および対角線の交点の中心射影変換を示す説明図である。 本発明の投影動作原理における投影平面上の投影点から四角形のいずれかの頂点を結ぶ直線と、四角形の対角線との交点を示す説明図である。 図１０の交点の仮想投影平面への中心射影変換を示す説明図である。 図１１の射影された交点から求める仮想投影点を示す説明図である。 図２に示す実施形態の処理手順の一例を示すフローチャートである。 本発明のキャリブレーション手法の一例を示す説明図である。

以下、本発明の投影装置を用いた投影システムの一実施形態を、図面を参照して説明する。
［Ａ．投影動作モデル］
はじめに、本実施形態に適用される投影動作モデルを、図１および図２を参照して説明する。この投影動作モデルは、三次元空間において、光源からの光路を変換する平面を介して、二次元的な映像を、投影対象となる平面上へ投影する動作をモデル化したものである。

映像は、光源からの光線の束に含まれる。光線は、一定の方向に一定の広がりをもって投影される。この光源を「映像光源」と呼ぶ。このように投影された映像を含む光を「映像光」と呼ぶ。

映像光源から投影された映像光は、光路変換平面へ入射する。「光路変換平面」とは、複数の光路変換素子が平面的に配列された面である。「光路変換素子」とは、それぞれ入射した光の進む方向を制御可能な素子である。この光路変換素子を用いると、入射光を所望の方向へ変換することができる。ここで、入射光を「一次映像光」、出射光を「二次映像光」と呼ぶ。

各光路変換素子内において、光路変換が行われる代表的な位置を「光路変換点」と呼ぶ。全ての光路変換素子は、光路変換点が光路変換平面上に乗るように配置されている。

光路変換素子が実現する光路変換形式としては、反射、屈折若しくは回折等が考えられる。図１に示した例は、光路変換素子において、反射する形式である。図２で示した例は、光路変換素子内で、屈折若しくは回折する形式である。

光路変換素子から、二次的に投影された映像光は、最終的に投影対象となる平面へ投影される。これにより、目的の映像が、当該平面に表示される。この平面を、「投影平面」と呼ぶ。

二次元的な映像は、画素の集合として構成される。この映像は、仮想的な映像平面上の所望の表示領域に、意図したとおりに表示される。このとき、各画素は、映像平面内に導入された二次元線形座標系Σ_Ｉにおける対応点^Ｉｐを用いて、その位置を表現できる。

ある瞬間の映像は、映像ベクトルＩ＝（^Ｉｐ，ｃ，ｔ）^Ｔの集合として表現することができる。映像ベクトルＩには、一意に対応する映像内の画素が存在する。各映像ベクトルＩを構成する要素は、表示位置ベクトル^Ｉｐ、色強度ベクトルｃ、表示時刻ｔである。表示位置ベクトル^Ｉｐは、同画素のΣ_Ｉにおける位置ベクトルである。色強度ベクトルｃは、同画素における発色や光の強度を表す。表示時刻ｔは、映像ベクトルＩを表示する時間に関係する値である。なお、Ｍ^Ｔは、行列Ｍの転置行列を表す。

任意の映像ベクトルＩには、光路変換平面Ｍにおいて、一意に対応する光路変換素子が存在する。各素子は、上記のように独立して光路変換が可能である。よって、映像内の各画素に、それぞれ一意に対応する光路変換素子を制御することによって、所望の投影像が得られる。

ここで、ある光路変換素子に着目する。同素子の光路変換点を原点^ＳＯとする球座標系Σ_Ｓを導入する。同素子に対応する映像ベクトルの映像光は、映像光源における輻射点^Ｓｌから出射し、投影平面Ｐ上の投影位置^Ｓｐへ入射する。

この光路変換点^ＳＯから見た^Ｓｌ，^Ｓｐを投影ベクトルと呼ぶ。この投影ベクトル^Ｓｌ，^Ｓｐは、Σ_Ｓにおける１つの動径ｒと２つの偏角θ，φを成分とする三次元ベクトルとして表現される。ここで、光路変換点^ＳＯから映像光源への投影ベクトルｌを、「一次投影ベクトル」と呼ぶ。光路変換点^ＳＯから投影平面Ｐへの投影ベクトルｐを、「二次投影ベクトル」と呼ぶ。

さらに、投影ベクトル^Ｓｌ，^Ｓｐについて、２つの偏角θ，φのみを成分とした二次元ベクトルを輻射ベクトルと呼ぶ。輻射ベクトルは、偏角θ，φを成分とするので、投影ベクトルの方向を表現できる。一次投影ベクトル^Ｓｌに対応する二次元ベクトルを「一次輻射ベクトル」と呼ぶ。二次投影ベクトル^Ｓｐに対応する二次元ベクトルを「二次輻射ベクトル」と呼ぶ。

以上を前提とすると、光路変換とは、一次輻射ベクトルを二次輻射ベクトルに変換することに対応する。この変換を行う関数を、「光路変換関数」と呼ぶ。

［Ｂ．実施形態の構成］
［１．全体構成］
上記の投影動作モデルを導入した本実施形態の投影システムの構成例を、図３および図４を参照して説明する。なお、図３は、本実施形態の外観および使用状態の一例を示す説明図である。図４は、本実施形態の構成の一例を示す機能ブロック図である。すなわち、本実施形態の投影システム１００は、大きく分類して、投影平面Ｐ、映像情報出力装置３００および投影装置４００等により構成されている。

［２．投影平面］
投影平面Ｐは、投影装置４００が投影対象とする平面である。投影装置４００から出射された映像光の投影領域は、投影平面Ｐ上の所望の領域に存在する。この投影平面Ｐは、たとえば、多数の観衆を対象とした大型の投影スクリーン等によって構成することが考えられる。

ただし、本発明は、投影平面Ｐに対する投影装置４００の設置位置および姿勢に関して、制約が少ないという利点を有している。これは、投影平面Ｐとしては、人間が投影画像を視認可能な、あらゆる平面を想定できることを意味する。たとえば、投影平面Ｐとして、移動が困難な人造の若しくは天然の壁面を利用することも可能である。

本実施形態においては、投影平面Ｐに対して、任意の映像ベクトルに対応する投影位置を特定するための二次元線形座標系を導入する。投影位置は、当該二次元線形座標系における二次元ベクトルによって表現できる。なお、投影領域は、任意の投影位置に対応する二次元線形座標系での二次元ベクトルを計測でき、その計測情報を出力できる構造であってもよい。このための計測手段としては、たとえば、定規や距離計などの測距器を用いて測定するものや、レーザ光とカメラを用いて位置計測するものなどが考えられるが、特定の手段には限定されない。

［３．映像情報出力装置］
映像情報出力装置３００は、投影するための映像ベクトルを含む映像に関する情報（映像情報）を、投影装置４００、その他の表示装置に対して出力する装置である。この映像情報出力装置３００は、たとえば、所定のオペレーティングシステムおよびアプリケーションプログラム等のプログラムによって動作するコンピュータによって実現することができる。映像情報には、映像ベクトルの他、映像に付帯するその他の情報が含まれる。したがって、映像情報出力装置３００は、投影の際に、映像ベクトルとその他の情報を同期させて出力することもできる。

かかる映像情報出力装置３００においては、映像情報が、たとえば、ハードディスク、メモリ、光ディスク等の記憶媒体に記憶されている。この映像情報が、アプリケーションプログラムによって呼び出されて、外部に出力される。

なお、映像情報出力装置３００は、マウス、キーボード、リモコン、スイッチ、ディスプレイ（タッチパネル）等の入力装置（入力手段）を備えている。この入力装置によって、操作者Ａが、投影装置４００を制御するための投影装置制御情報を入力することができる。映像情報出力装置３００は、この投影装置制御情報も映像情報の一部として出力することができる。また、映像情報を、映像情報出力装置３００が自ら有するディスプレイ等の表示装置に出力して表示させることもできる。

このような映像情報出力装置３００は、上記のプログラムの働き等により、図４に示すように、記憶部３０１、入力部３１０、抽出部３２０、出力部３３０としての機能を有している。

記憶部３０１は、あらかじめ映像情報等を記憶する手段である。この記憶部３０１は、例えば、上記のハードディスク、メモリ、光ディスク等の記憶媒体によって構成することができる。

入力部３１０は、入力手段等の外部からの情報の入力を受け付けるインタフェースである。抽出部３２０は、記憶部３０１に記憶された情報から、映像情報等を抽出する手段である。出力部３３０は、抽出部３２０によって抽出された映像情報等を投影装置４００に出力するインタフェースである。出力部３３０は、映像情報出力装置３００が有する表示装置に、映像情報等を出力する手段でもある。

［４．投影装置］
投影装置４００は、図４に示すように、映像光源４１０、投影機構４２０、投影演算部４３０、投影情報インタフェース４４０、可動筐体４５０、設置機構４６０およびユーザインタフェース４７０等を有している。

［４−１．映像光源］
映像光源４１０は、投影平面Ｐに、所望の映像投影するための映像光を出力する装置である。映像光源４１０としては、現在又は将来において利用可能なあらゆる光源を適用可能である。たとえば、各種照明光源やレーザ光などを選択できる。映像光源４１０は、放射された光が、複数の映像ベクトルにより再構成される映像を形成して投影されるように、たとえば、放射光をフィルタリングする手段を備えていてもよい。

この映像光源４１０における映像光の出力レベル、出力タイミング等は、映像情報、制御情報若しくは内部条件等によって制御される。映像情報は、投影装置４００の外部（たとえば、映像情報出力装置３００）から入力される情報である。制御情報は、ユーザインタフェース４７０を介して入力される情報である。内部条件は、投影装置４００にあらかじめ設定された情報である。

［４−２．投影機構］
投影機構４２０は、与えられた任意の映像ベクトルが、後述する仮想投影平面上に意図したとおりに投影されるように、映像光の投影方向を制御する機構である。この投影機構４２０は、光路変換素子４２１および光路制御部４２２を有している。光路変換素子４２１は、上記のように、光路変換平面Ｍを構成する複数の光路変換手段である。光路制御部４２２は、光路変換素子４２１の投影方向を制御する手段である。

個々の光路変換素子４２１は、２つの投影方向制御軸を有する。光路制御部４２２は、２つの投影方向制御軸の駆動を制御する。この制御は、上記の映像光源４１０や映像ベクトルに対応する輻射ベクトルから求められる光路変換関数に基づいて行われる。このような投影機構４２０としては、たとえば、アクチュエータにより可動する表面鏡によって、入射光の反射方向を変える光路変換二軸制御装置を用いることが考えられる。

光路変換関数は、基本的には、投影演算部４３０により演算されたものが入力される。ただし、映像情報出力装置３００の入力手段から、光路変換関数を直接入力して、各光路変換素子４２１を個別に制御することもできる。また、後述するユーザインタフェース４７０から、映像光の投影方向を制御する情報を直接入力できるように構成してもよい。

投影機構４２０においては、すべての光路変換素子４２１について、現在の光路変換関数が、常にメモリ等の記憶部に記憶される。光路変換関数が外部から入力された場合にも、それが記憶部に記憶される。これらの記憶された光路変換関数に従って、投影機構４２０が動作する。

手動等により各光路変換素子４２１を制御する光路変換関数を変更した場合にも、この光路変換関数が記憶部に記憶される。記憶された光路変換関数が、これに対応する光路変換素子４２１のその時点での光路変換関数として利用可能となる。

［４−３．投影演算部］
投影演算部４３０は、要求判定部４３１、キャリブレーション部４３２、光路変換関数演算部４３３等を有している。要求判定部４３１は、外部からの要求の有無を判定する手段である。外部からの要求には、たとえば、キャリブレーション要求、映像情報の取得による投影要求、光路変換関数更新要求などがある。

キャリブレーション部４３２は、本システム運用前若しくは投影装置４００の位置姿勢の変更後のキャリブレーションを行う手段である。キャリブレーション部４３２は、校正枠設定部４３２ａ、射影校正枠設定部４３２ｂ、校正値演算部４３２ｃ、交点演算部４３２ｄ、透視演算部４３２ｅ、仮想投影位置演算部４３２ｆ、輻射ベクトル演算部４３２ｇ等を有している。

校正枠設定部４３２ａは、後述する投影平面Ｐ（二次投影平面Ｓ）上の正規投影領域に対応する校正枠を設定する手段である。射影校正枠設定部４３２ｂは、後述する仮想投影平面Ｖ上の正規投影領域に対応する射影校正枠を設定する手段である。校正値演算部４３２ｃは、校正枠および射影校正枠に基づいて、校正値を算出する手段である。

交点演算部４３２ｄは、後述する交点関数により交点係数ベクトルを求める手段である。この交点は、校正枠若しくは射影校正枠における２頂点と任意の点とを結ぶ２直線と、校正枠若しくは射影校正枠における対角線との２つの交点である。透視演算部４３２ｅは、校正値および交点係数ベクトルに基づいて、上記２つの交点に対応する投影平面Ｐ（二次投影平面Ｓ）上の射影点若しくは仮想投影平面Ｖ上の射影点を求める手段である。

仮想投影位置演算部４３２ｆは、交点演算部４３２ｄおよび透視演算部４３２ｅの演算結果に基づいて、後述する仮想二次投影ベクトルを求める手段である。輻射ベクトル演算部４３２ｇは、仮想投影位置演算部４３２ｆによって求められ仮想二次投影ベクトルに基づいて、二次輻射ベクトルを求める手段である。このようなキャリブレーション部４３２を構成する各部によるキャリブレーションの詳細については、後述する。

光路変換関数演算部４３３は、一次輻射ベクトルおよび二次輻射ベクトルに基づいて、投影機構４２０の光路変換手段（たとえば、上記の光路変換素子４２１）に適した光路変換関数を求める手段である。一次輻射ベクトルは、投影機構４２０の設計時若しくは投影機構４２０の製造時の校正によって得られる。二次輻射ベクトルは、上記の輻射ベクトル演算部４３２ｇによって求められる。投影装置４００が複数の映像光源４１０を有する場合には、指定された映像光源４１０に対応する一次輻射ベクトルによって、光路変換関数を求める。

求められた全ての光路変換関数は、投影機構４２０へ出力される。このような投影演算部４３０による演算の詳細については、後述する。また、上記の演算を制御する情報を、映像情報出力装置３００以外（たとえば、後述するユーザインタフェース４７０等）から、入力できるように構成してもよい。

なお、投影演算部４３０等は、所定のプログラムによって、上記の各部の機能を実現できるコンピュータによって構成することができる。たとえば、各部の機能を実現するＡＳＩＣやＣＰＵ等のＩＣチップやその他の周辺回路によって構成したり、複数の機能を集約したシステムＬＳＩによって構成する等、種々考えられるものであり、特定のものには限定されない。

［４−４．投影情報インタフェース］
投影情報インタフェース４４０は、投影演算部４３０と外部（映像情報出力装置３００など）との間のインタフェースである。投影情報インタフェース４４０には、映像情報出力装置３００の出力部３３０が接続される。この投影情報インタフェース４４０は、映像情報出力装置３００からの情報の入力を受け付けて、投影演算部４３０へ映像情報等を出力する。なお、投影情報インタフェース４４０は、投影装置４００の内部状態を、外部へ出力することもできる。

［４−５．可動筐体］
可動筐体４５０は、手動若しくはアクチュエータ制御により、その姿勢を変更できる筐体である。この可動筐体４５０は、内部に投影機構４２０を有している。このため、二次映像光の全体的な投影方向を決定する投影機構４２０の姿勢は、可動筐体４５０の可動範囲内で、任意に設定できる。

［４−６．設置機構］
設置機構４６０は、投影装置４００の構成要素を支持し、運用環境内に固定するための構造物である。設置機構４６０として、どのような機構を採用するかは自由である。たとえば、設置機構４６０を、構成要素を据え置くための台座、構成要素を吊り下げるためのフック、構成要素を設置面に吸着させるための吸盤や磁石などにより構成することができる。

ただし、投影装置４００が正確な投影動作を行うためには、外部環境からの振動の影響を受け付けないようにすることが望ましい。したがって、設置機構４６０に、除震機能を備えてもよい。たとえば、バネ、スプリング、ダンパ等の弾性体による支持部材を備えることによって、単純な除震機能を得ることが考えられる。また、加速度センサとアクチュエータのフィードバック制御によって、能動的な除震機能を備えることも可能である。

［４−７．ユーザインタフェース］
ユーザインタフェース４７０は、投影情報インタフェース４４０を介さずに、情報の入出力を行う手段である。このユーザインタフェース４７０には、上記の入力装置と同様の入力手段や、ディスプレイ、プリンタ等の出力手段を接続することが考えられる。操作者Ａは、入力手段を介して、各光路変換素子４２１を制御する情報、投影演算部４３０による演算を制御する情報等を、直接入力することができる。

また、出力手段に投影装置４００の内部状態を出力若しくは表示することにより、操作者Ａが、キャリブレーション進行状況等の内部状態を確認できる。ただし、ユーザインタフェース４７０の実装は必須ではなく、必要に応じて実装すればよい。入力可能な情報についても、自由である。

なお、上記の映像情報出力装置３００および投影装置４００において、入出力される情報、演算値、演算結果等、各種の処理に必要な情報は、コンピュータが備えるレジスタ、メモリ、ハードディスク等の記憶媒体に確保された記憶領域に記憶され、適宜利用される。各記憶領域が、各情報の記憶部を構成するものとなるが、これは、周知の技術により構成可能なため、説明は省略する。記憶部として、どのような種類、容量の記憶媒体を使用するかは自由である。情報の記憶形式として、どのようなものを採用するか等についても自由である。

［Ｃ．投影動作原理］
上記のような投影動作モデルおよび装置構成を前提として行う投影動作の原理を、図５〜１１を参照して説明する。
［１．光路変換平面の定義］
図５に示すように、任意の位置ベクトルを、３つの直交成分（ｘ，ｙ，ｚ）^Ｔで表すことができる三次元直交座標系Σ_Ｍを考える。このとき、ｚ＝０となる平面を光路変換平面Ｍとする。Σ_Ｍ上の任意の位置ベクトルを^Ｍｐと表す。

光路変換平面Ｍ上の所望の位置に、光路変換素子４２１（以下、図中のｅで示す）の集合体（光路変換素子群）が配置される。ただし、一次輻射ベクトルｆが二次輻射ベクトルｓへ変換される光路変換点^Ｍｄは、光路変換変換平面Ｅ上に乗るように配置されるものとする。また、二次輻射ベクトルｓに対応する投影位置は、ｚ＞０であるものとする。さらに、光路変換が鏡面反射によるものである場合、映像光源４１０もΣ_Ｍのｚ＞０に位置するものとする。

多数ある光路変換素子ｅをそれぞれ区別して表現するために、表記ｅ（ｘ，ｙ）を用いる。（ｘ，ｙ）は、対応する光路変換点のΣ_Ｍにおける位置ベクトルのうちのｘ，ｙ成分に対応する。また、光路変換素子ｅ（ｘ，ｙ）は、それぞれ独立して光路変換を行うため、各素子ごとに、独立した座標系の導入を考える。

Σ_Ｍにおける光路変換素子ｅ（ｘ，ｙ）の光路変換点を^Ｍｄ＝（ｘ，ｙ，０）^Ｔとする。そして、Σ_Ｍの原点を、^Ｍｄへ並進変換した三次元直交座標系Σ_{ｘ，ｙ（Ｃ）}を、光路変換素子ｅ（ｘ，ｙ）に導入する。すなわち、Σ_{ｘ，ｙ（Ｃ）}は、原点については、Σ_Ｍと異なっている。しかし、Σ_{ｘ，ｙ（Ｃ）}は、３つの直交成分の方向については、Σ_Ｍと同一である。このため、任意の位置は、三次元直交座標系Σ_{ｘ，ｙ（Ｃ）}およびΣ_Ｍの双方の座標系の位置ベクトルにより、一意に表現可能である。したがって、Σ_Ｍは、Σ_{０，０（Ｃ）}とも表現できる。ここで、Σ_{ｘ，ｙ（Ｃ）}上の任意の位置ベクトルを、^{ｘ，ｙ（Ｃ）}ｐと表す。

また、同時に、三次元直交座標系Σ_{ｘ，ｙ（Ｃ）}と原点が同一な球座標系Σ_{ｘ，ｙ（Ｓ）}を導入する。球座標系Σ_{ｘ，ｙ（Ｓ）}における任意の位置ベクトルは、１つの動径ｒと、２つの偏角θ，φを成分とする（ｒ，θ，φ）^Ｔと表すことができる。なお、ｒ≧０，−π／２≦θ≦π／２, −π≦φ＜πである。また、Σ_{ｘ，ｙ（Ｓ）}上の任意の位置ベクトルは、^{ｘ，ｙ（Ｓ）}ｐと表す。

さらに、球座標系Σ_{ｘ，ｙ（Ｓ）}は、三次元直交座標系Σ_{ｘ，ｙ（Ｃ）}に対して、次のような関係となるように導入される。
・Σ_{ｘ，ｙ（Ｓ）}のθ成分の回転軸とΣ_{ｘ，ｙ（Ｃ）}のｘ成分とが一致する。
・Σ_{ｘ，ｙ（Ｓ）}のφ成分の回転軸とΣ_{ｘ，ｙ（Ｃ）}のｙ成分とが一致する。
・Σ_{ｘ，ｙ（Ｓ）}における（１，０，０）^Ｔが、Σ_{ｘ，ｙ（Ｃ）}における（０，０，１）^Ｔと一致する。
このとき、ｒ＞０，−π／２＜θ＜π／２である場合、任意の位置は、Σ_{ｘ，ｙ（Ｃ）}、Σ_{ｘ，ｙ（Ｓ）}の両座標系の位置ベクトルにより、一意に表現可能である。

［２．光路変換方法］
球座標系Σ_{ｘ，ｙ（Ｓ）}において、２つの偏角θ，φのみを成分とする二次元ベクトル（θ，φ）^Ｔは、Σ_{ｘ，ｙ（Ｓ）}の原点を端点とする半直線を表す。上記の投影動作モデルの輻射ベクトルは、この二次元ベクトル（θ，φ）^Ｔを用いて表すことができる。

Σ_Ｍにおいて、光路変換平面Ｍ上でない任意の位置の映像光源４１０から投影された、任意の一次映像光が、一意に対応する光路変換素子ｅ（ｘ，ｙ）へ投影されるものとする。この投影を表現する一次投影ベクトル^Ｍｆは、映像光源４１０における輻射点^Ｍｌと、光路変換点^Ｍｄとの差ベクトル^Ｍｆ＝^Ｍｌ−^Ｍｄである。

この投影をΣ_{ｘ，ｙ（Ｓ）}上で表現したとき、一次投影ベクトル^{ｘ，ｙ（Ｓ）}ｆ（＝^Ｍｆ）に対応する一次輻射ベクトルｆは、上記のとおり、^{ｘ，ｙ（Ｓ）}ｆの２つの偏角のみからなる２次元ベクトルで表すことができる。ただし、上記のとおり、^Ｍｆと^{ｘ，ｙ（Ｓ）}ｆとは、同一の位置を表すものとする。

続いて、この一次輻射ベクトルｆを、光路変換素子ｅの制御要素である光路変換関数により、所望の撮影像に対応する二次輻射ベクトルへ変換する。この二次輻射ベクトルに沿って、光路変換素子ｅの光路変換点から、二次映像光が出射される。

光路変換形式が、たとえば、鏡面反射である場合には、その反射面の法線方向を制御することにより、一次輻射ベクトルｆを、所望の二次輻射ベクトルｓへ変換する。このとき、同平面の法線ベクトルｎを用いて、光路変換関数Ｒ_Ｍ（ｆ，ｎ）は、式（１）のとおり求めることができる。なお、法線ベクトルｎは、輻射ベクトルと同一次元で表すことができる。

［３．投影平面の定義］
Σ_Ｍにおける光路変換平面Ｍでない平面のうち、任意の二次映像光の投影位置が、ｚ＞０となる空間に存在する条件を満たす平面を投影平面Ｐとする。

投影平面Ｐには、所望の２次元線形座標系Σ_Ｐが導入される。２次元線形座標系Σ_Ｐ上の任意の位置ベクトルを、^Ｐｐと表す。Σ_Ｍに対して、投影平面Ｐが不変であるとき、投影平面Ｐ上の同一位置を表す^Ｍｐと^Ｐｐとの間の一意な写像が存在する。

光路変換点^Ｍｄより投影された、二次映像光の投影平面Ｐ上の投影位置が^Ｍｐであるとする。このとき、対応する二次投影ベクトルは、投影位置^Ｍｐと光路変換点^Ｍｄとの差ベクトル^Ｍｓ＝^Ｍｐ−^Ｍｄで表される。したがって、ある光路変換素子ｅの光路変換点に対応する適切な二次投影ベクトル^Ｍｓが求められれば、投影平面Ｐ上の所望の投影位置に、光路変換素子ｅに対応する投影像が得られる。

［４．二次投影ベクトルの直線的性質］
同一空間上の２点ａ，ｂを通る直線上の点は、実係数ｎを用いて、式（２）のとおり、関数ｌ（ｎ，ｂ，ａ）で表すことができる。ただし、ａ＝ｂならば、ｌ（ｎ，ｂ，ａ）＝ａ＝ｂである。

この関数ｌ（ｎ，ｂ，ａ）により、上記ａ，ｂを通る直線は、式（３）のとおり関数Ｌ（ｂ，ａ）で表される。また、ａ，ｂを端点とする線分は式（４）のとおり、関数Ｓ（ｂ，ａ）で表される。

ここで、光路変換平面Ｍ上の２点^Ｍｄ_０，^Ｍｄ_１を通る直線Ｄ＝Ｌ（^Ｍｄ_１，^Ｍｄ_０）と、投影平面Ｐ上の２点^Ｍｐ_０，^Ｍｐ_１を通る直線Ｐ＝Ｌ（^Ｍｐ_１，^Ｍｐ_０）とを考える。

直線Ｄ上の点^Ｍｄ＝ｌ（ｍ，^Ｍｄ_１，^Ｍｄ_０）と直線Ｐ上の点^Ｍｐ＝ｌ（ｍ，^Ｍｐ_１，^Ｍｐ_０）とが一つの実係数ｍで対応付けられるとする。すると、^Ｍｄから^Ｍｐへの差ベクトルは、式（５）のとおり求めることができる。

^Ｍｐ−^Ｍｄは、すなわち二次投影ベクトル^Ｍｓである。よって、^Ｍｓ_ｋ＝^Ｍｐ_ｋ−^Ｍｄ_ｋとおけば、式（５）は、二次投影ベクトルを用いて、式（６）のとおり表すことができる。

したがって、式（５），（６）を満足する^Ｍｄ，^Ｍｐと二次投影ベクトル^Ｍｓとは、一つの実係数ｍで対応付けられていることがわかる。そして、^Ｍｓは、^Ｍｓ_０，^Ｍｓ_１を通る直線Ｌ（^Ｍｓ_１，^Ｍｓ_０）上の点であることがわかる。ただし、^Ｍｓ_０＝^Ｍｓ_１の場合には、直線Ｓは、唯一^Ｍｓ＝^Ｍｓ_０＝^Ｍｓ_１なる点を示す。

［５．二次投影ベクトルの平面的性質］
さらに、図６に示すように、光路変換平面Ｍ上の四角形の４つの頂点^Ｍｄ_ｋ（ｋ＝０．．３）を光路変換点とする。このとき、二次投影ベクトル^Ｍｓ_ｋにより、投影平面Ｐ上の投影位置^Ｍｐ_ｋが、^Ｍｄ_ｋに対応する場合を考える。ただし、^Ｍｐ_ｋも、投影平面Ｐ上の四角形の頂点であるとする。

^Ｍｄ_ｋによる四角形の２つの対角線Ｄ_２０，Ｄ_３１を、式（７）とする。

このとき、対角線Ｄ_２０，Ｄ_３１同士の交点については、実係数ｎ_２０，ｎ_２１により、式（８）が成り立つ。

同様に、^Ｍｐ_ｋによる四角形の２つの対角線Ｐ_２０，Ｐ_３１を式（９）とする。

このとき、対角線Ｐ_２０，Ｐ_３１同士の交点について、式（１０）が成り立つものとする。なお、実係数ｎ_２０，ｎ_３１は、式（８）とそれぞれ同一とする。

^Ｍｄ_ｋは、３次元ベクトルであるため、それら４点すべてが同一平面上に存在することにより、式（８）が成立している。^Ｍｐ_ｋと式（１０）の関係も同様である。対角線を直線に拡張して考えたとき、式（８）（１０）を２直線の交差条件と呼ぶ。交差する２直線は、同一平面上に乗る。

ここで、式（１０）から式（８）を引いて、式（１１）のとおり、二次投影ベクトル^Ｍｓ_ｋを用いてまとめる。

式（１１）は、２直線の交差条件を満足するため、^Ｍｓ_ｋは、４点すべてが同一平面上に存在し、式（１２）の対角線Ｓ_２０，Ｓ_３１を有する四角形の頂点であることがわかる。また、式（１１）の実係数ｎ_２０，ｎ_３１も、同様に式（８）とそれぞれ同一であることがわかる。

以上により、上記の条件を満たす４つの二次投影ベクトル^Ｍｓ_ｋは、一つの平面上で四角形の頂点を構成すると言える。この仮想的な平面を「二次投影平面」と呼ぶ。

（四角形を構成できない場合の対処）
ただし、特定の条件では、二次投影ベクトル^Ｍｓ_ｋが、四角形の頂点を構成できない場合が生じる。この場合には、それぞれ以下のように対処すればよい。

（ａ）Ｓ_２０，Ｓ_３１の少なくとも一方が点となる場合
対角線となるべきＳ_２０，Ｓ_３１の少なくとも一方が点となってしまう場合には、四角形を構成できない。その条件は、^Ｍｓ_３＝^Ｍｓ_１、^Ｍｓ_２＝^Ｍｓ_０若しくは^Ｍｓ_１＝^Ｍｓ_０となる場合である。

ただし、これは^Ｍｄ_ｋと^Ｍｐ_ｋとにより対応するいずれかの対角線長が等しく、かつ投影平面Ｐの姿勢が唯一の条件を満たす場合に限られる。このため、投影平面Ｐ若しくは光路変換平面Ｍの姿勢を変更すれば、容易に回避できる。

（ｂ）Ｓ_２０，Ｓ_３１が平行となる場合
対角線となるべきＳ_２０，Ｓ_３１が、平行となってしまう場合には、四角形を構成できない。その条件は、^Ｍｓ_３−^Ｍｓ_１と^Ｍｓ_２−^Ｍｓ_０の方向が同一となる場合である。

ただし、この場合、^Ｍｓ_ｋは有限の長さを持ち、^Ｍｓ_ｋのいずれか３点を固定すれば、残る１点は直線的な自由度を持つ。このことから、かかる条件は、球面と直線との交点を求める問題に帰着できるので、高々２通りに限られる。このため、投影平面Ｐ若しくは光路変換平面Ｍの姿勢を変更すれば、容易に回避できる。

［６．投影条件と投影結合］
上記の式（７）から式（１２）は、四角形の対角線を対象としている。しかし、当然に、投影平面Ｐおよび光路変換平面Ｍにおいて、それぞれの平面上を交差する任意の２直線に一般化して考えることもできる。

ここで、図７に示すように、光路変換平面Ｍ上の任意の点^Ｍｄを、上記の式（７）の四角形を用いて表現することを試みる。Ｄ_２０，Ｄ_３１から選択した２つの頂点を、それぞれ^Ｍｄ_ｂ，^Ｍｄ_ａ（ａ，ｂ∈｛０．．３｝）とする。ただし、四角形の辺Ｓ（^Ｍｄ_ａ，^Ｍｄ_ｂ）上に、^Ｍｄが乗らないように、^Ｍｄ_ａ，^Ｍｄ_ｂを選択する。

直線Ｌ（^Ｍｄ，^Ｍｄ_ａ）とＤ_２０との交点について、式（１３）が成り立つとする。また、直線Ｌ（^Ｍｄ，^Ｍｄ_ｂ）とＤ_３１との交点について、式（１４）が成り立つとする。

よって、^Ｍｄは、直線Ｌ（ｌ（ｍ_２０，^Ｍｄ_２，^Ｍｄ_０），^Ｍｄ_ａ）とＬ（ｌ（ｍ_３１，^Ｍｄ_３，^Ｍｄ_１），^Ｍｄ_ｂ）との交点として、式（７）の四角形を用いて、式（１５）のとおり表現することができる。

同様に、投影平面Ｐ上の点^Ｍｐを、式（９）の四角形を用いて表現する。Ｐ_２０，Ｐ_３１から選択した頂点を、それぞれ^Ｍｐ_ｂ，^Ｍｐ_ａとする。ただし、添字は、それぞれ^Ｍｄ_ｂ，^Ｍｄ_ａと同一とする。

直線Ｌ（^Ｍｐ，^Ｍｐ_ａ）とＰ_２０との交点について、式（１６）が成り立つとする。また、直線Ｌ（^Ｍｐ，^Ｍｐ_ｂ）とＰ_３１との交点について、式（１７）が成り立つとする。ただし、実係数ｍ_２０，ｍ_３１，ｍ_ａ，ｍ_ｂが、式（１３），（１４）とそれぞれ同一となるように、^Ｍｐが選ばれるものとする。

よって、^Ｍｐは、直線Ｌ（l（ｍ_２０，^Ｍｐ_２，^Ｍｐ_０），^Ｍｐ_ａ）とＬ（l（ｍ_３１，^Ｍｐ_３，^Ｍｐ_１），^Ｍｐ_ｂ）との交点として、式（１８）のとおり表現することができる。

このとき、二次投影ベクトルの直線的性質および平面的性質から、式（１９）が成り立つ二次投影平面上の点^Ｍｓが存在することがわかる。式（１２）の四角形の存在も同様である。ただし、^Ｍｓ_ｂ，^Ｍｓ_ａは、それぞれＳ_２０，Ｓ_３１から選択した頂点であり、添字は^Ｍｄ_ｂ，^Ｍｄ_ａと同一である。また、実係数ｍ_２０，ｍ_３１，ｍ_ａ，ｍ_ｂは、式（１３），（１４）とそれぞれ同一である。

このような対応関係は、二次投影ベクトルの定義^Ｍｓ＝^Ｍｐ−^Ｍｄそのものである。よって、上記に限らず、^Ｍｄ，^Ｍｐ，^Ｍｓのうち、２点が決まれば、残りの１点を求めることができる。

すなわち、光路変換平面Ｍ上の四角形領域および任意の光路変換点^Ｍｄと、これらに対応する投影平面Ｐ上の四角形領域および投影位置^Ｍｐとの間に、上記のとおり、二次投影ベクトルの直線的性質および平面的性質が言えるとする。すると、仮想的な二次投影平面上に、それらと相互に対応する四角形領域および二次投影ベクトル^Ｍｓが存在する。

この条件を「投影条件」と呼ぶ。また、上記の四角形領域を「正規投影領域」と呼ぶ。さらに、相互に対応する上記の３つの平面（光路変換平面Ｍ、投影平面Ｐ、二次投影平面）上の点の組｛^Ｍｄ，^Ｍｐ，^Ｍｓ｝の関係を、「投影結合」と呼ぶ。つまり、「投影結合」とは、光路変換平面Ｍと投影平面Ｐとの間で、相互に対応する２点に対して、それらの平面上で相互に対応する２つの四角形により関係付けられる線形結合を表す関係をいう。そして、「二次投影平面」は、光路変換平面Ｍと投影平面Ｐとの間で、上記の投影結合の関係にある点を有する仮想的な平面である。本発明における投影は、すべてこの投影条件を満たすものとする。

［７．二次投影ベクトルの同定］
よって、投影条件を満足する投影においては、投影結合の関係を用いることにより、任意の光路変換点と、それに対応する投影平面上の投影位置との関係を効率よく求めることができる。

すなわち、正規投影領域を定めて、同領域と所望の光路変換点との位置関係を求めれば、対応する二次投影ベクトルを求めることができる。このとき、投影に必要なすべての二次投影ベクトルを、設計や測量などの手段を用いて特定する必要がない。

ただし、正規投影領域を定めることは、同領域の頂点である４つの二次投影ベクトル^Ｍｓ_ｋを特定することに他ならない。すべての二次投影ベクトルを特定する必要はないが、少なくともこれら４つの二次投影ベクトルを特定しなければならない。

この特定には、投影装置４００に導入されたΣ_Ｍにおける投影平面Ｐの位置姿勢および所望の４つの投影位置^Ｍｐ_ｋに関する情報が必要となる。投影装置４００および投影平面Ｐの位置姿勢が固定されていて、それらの情報が既知であるならば、それらの情報から二次投影ベクトルを特定することができる。

しかし、投影システム１００は可搬として、所望の場所に自由に設置して、容易に投影動作を行えることが望ましい。この場合、上記の情報をあらかじめ知っておくことはできない。ただし、投影動作の利便性を考慮するならば、投影装置４００および投影平面Ｐの制約とその正確な設計、投影装置４００および投影平面Ｐの配置とそのための測量などは、極力排除することが便利である。

［８．投影結合の二次元化」
この問題を解決するために、光路変換平面Ｍ、投影平面Ｐおよび二次投影平面間の投影結合における、二次元的な対応関係に着目する。

投影平面Ｐ上のΣ_ｐと同様に、二次投影平面には、二次元線形座標系Σ_Ｓが導入され、任意の位置ベクトルは^Ｓｐと表されるものとする。また、光路変換平面Ｍには、Σ_{ｘ，ｙ（Ｃ）}が正射影された２次元直交座標系Σ_ｘ，ｙが導入される。そして、任意の位置ベクトルは、^ｘ，ｙｐと表されるものとする。投影平面Ｐが、Σ_Ｍに対して不変であるならば、各平面上の任意の位置ベクトル^Ｍｐには、それぞれ一意に対応する位置ベクトル^ｘ，ｙｐ，^Ｐｐ，^Ｓｐが存在する。

また、投影条件のいずれの平面とも、法線同士が直交しない平面を考える。その平面へ投影条件で用いられた正規投影領域や直線を正射影した場合、線形写像となる。このため、その二次元的な正射影像においても、また投影条件が成り立つことは明白である。さらに、これらの平面間の正射影は、全単射である。

すなわち、投影条件の式（１３）から式（１９）までの位置ベクトルを、それぞれの平面上に導入された二次元線形座標系において、相互に対応する位置ベクトルに置き換えて考えることができる。

［９．仮想投影平面の導入］
さらに、本実施形態においては、図８に示すように、Σ_Ｍにおけるｚ＝１となる仮想的な平面Ｖを導入する。この平面Ｖは、Σ_{ｘ，ｙ（Ｃ）}における平面ｚ＝１でもある。なお、ｚ＝１としたのは、本発明をこれに限定する趣旨ではなく、後述する相互変換コストが最小となることを理由とする。一般形は、ｚ＝ｋ（ｋ＞０）である。

Σ_{ｘ，ｙ（Ｓ）}における任意の二次輻射ベクトルｓに沿って、二次映像光が投影平面Ｐ上の^Ｍｐに投影されたときを考える。このとき、Σ_{ｘ，ｙ（Ｃ）}の原点である光路変換点^Ｍｄと^Ｍｐを結ぶ線分は、平面Ｖと唯一^Ｍｖで交わる。

この^Ｍｐと^Ｍｖとの関係は、Σ_{ｘ，ｙ（Ｓ）}の原点^Ｍｄを介した投影平面Ｐと平面Ｖとの相互的な中心射影変換を意味する。この平面Ｖを「仮想投影平面」と呼ぶ。

仮想投影平面Ｖには、二次元直交座標系Σ_Ｖが導入される。Σ_Ｖ上での任意の位置ベクトルは、^Ｖｐで表されるものとする。Σ_Ｖは、対応するΣ_{ｘ，ｙ（Ｃ）}を，仮想投影平面Ｖへ正射影した座標系とする。よって、投影平面Ｐ上の^{ｘ，ｙ（Ｃ）}ｐ＝（ｕ，ｖ，ｋ）^Ｔに対応する^ｖｐ＝（ｕ，ｖ）^Ｔが存在する（本例では、ｋ＝１）。

以上のことから、二次輻射ベクトルｓについて、仮想投影平面Ｖ上のΣ_ｖにおける仮想投影平面Ｖ上の投影位置^Ｖｓが、一意に対応付けられることがわかる。よって、Σ_Ｍに対して、所定の位置に固定されている仮想投影平面Ｖにおいて、投影位置^Ｖｓは、二次輻射ベクトルｓの別形式の表現と言える。この^Ｖｓを、「仮想二次投影ベクトル」と呼ぶ。

ｓ＝（θ，φ）^Ｔ，^Ｖｓ＝（ｘ，ｙ）^Ｔとしたとき、ｓと^Ｖｓとの関係は式（２０），（２１）のとおり表される。
なお、上記から、「仮想投影平面」は、次のような平面である。
・任意の光路変換点を介して、投影平面との間で中心射影変換が可能
・Σ_Ｍの原点を介して、二次投影平面との間で中心射影変換が可能
さらに、以下の式（２０），（２１）のごとく、二次輻射ベクトルと仮想二次投影ベクトルとの相互変換コストが小さいことが望ましいと言える（本例では、ｋ＝１としていることにより、相互変換コストが最小となる）。

上記の中心射影変換においては、投影平面Ｐの法線と仮想投影平面Ｖ（光路変換平面Ｍ）の法線とが一致しているときに限り、両平面の位置姿勢に関する情報を用いることなく、適切な線形変換により、投影平面Ｐ上の点^Ｍｐと仮想投影平面Ｖ上の点^Ｖｓとの相互変換ができる。しかし、多くの場合には、両平面の法線は一致しないため、非線形変換となってしまう。このため、従来の手法においては、点^Ｖｐと点^Ｖｓとを相互変換させるには、両平面の位置姿勢に関する情報が必要となっていた。また、かかる情報がない場合には、線形変換による近似解を求めるにとどまっていた。

この問題を解決するために、本実施形態においては、新たな中心射影変換の同定方法を用いる。このために、「交点関数」および「透視関数」と呼ぶ２つの重要な関数を導入する。

［１０．交点関数の導入］
まず、交点関数について述べる。すなわち、ある二次元線形座標系上で、平行でない２つの直線Ｓ，Ｔを考える。両直線Ｓ，Ｔが、式（２２）のとおり表されるものとする。そして、両直線の交点が、式（２３）のとおりに表されるとする。

このとき、実係数ｓ，ｔは、Ｉ（Ｓ，Ｔ）なる関数により、式（２４）のとおり求めることができる。

ただし、ｄｅｔ［ａ ｂ］は、ａ，ｂを小行列とする行列の行列式を表す。

このベクトル関数Ｉ（Ｓ，Ｔ）を、「交点関数」と呼ぶ。また、Ｉ（Ｓ，Ｔ）により求められた解ベクトル（ｓ，ｔ）^Ｔを、交点係数ベクトルと呼ぶ。

［１１．透視関数の導入］
続いて、Σ_Ｍにおいて、異なる２直線間のΣ_Ｍの原点を介する中心射影変換を考える。ただし、いずれの直線も、Σ_Ｍの原点を通らないものとする。

この中心射影変換により、直線Ｌ（ｕ_１，ｕ_０）上の２点ｕ_０, ｕ_１が、直線Ｌ（ｖ_１，ｖ_０）上の２点ｖ_０, ｖ_１へ射影されるとする。このとき、Ｌ（ｕ_１，ｕ_０）上の点ｕ（Ｍ）＝ｌ（Ｍ，ｕ_１，ｕ_０）が、Ｌ（ｖ_１，ｖ_０）上の点ｖ（Ｍ_I）＝ｌ（Ｍ_Ｉ，ｖ_１，ｖ_０）へ射影されるとする。すなわち、Ｍ，Ｍ_Ｉは既知である。

さらに、既知のＮによるＬ（ｕ_１，ｕ_０）上の点ｕ（Ｎ）が、同様にＬ（ｖ_１，ｖ_０）上の点ｖ（ｎ_Ｉ）へ射影されるとする。このとき、ｖ（ｎ_Ｉ）を一意に決定するｎ_Ｉは、Ｐ（Ｍ，Ｍ_Ｉ，Ｎ）なる関数により、既知の実係数Ｍ，Ｍ_Ｉ，Ｎのみを用いて、式（２５）のとおり求めることができる。

この式（２５）の証明は、後述する。この関数Ｐ（Ｍ，Ｍ_Ｉ，Ｎ）を「透視関数」と呼ぶ。

［１２．平面間の中心射影変換］
この透視関数Ｐ（Ｍ，Ｍ_Ｉ，Ｎ）により２つの直線上で対応する任意の点同士の中心射影変換を同定できた。これを拡張して、２つの平面の間で対応する点の中心射影変換を考える。たとえば、二次投影平面Ｓと仮想投影平面Ｖとの間で、対応する任意の点同士のΣ_Ｍの原点を介した中心射影変換を同定する。この場合、二次投影ベクトルが未知である。この問題を解決するためには、次の４つのプロセスを実行すればよい。

［１２−１．第１のプロセス］
図９に示すように、平面Ｓ上の任意の四角形^ＳＲを考える。四角形^ＳＲは、頂点^Ｓｖ_ｎ（ｎ＝０．．３）を有している。２つの対角線^ＳＤ_２０，^ＳＤ_３１が、式（２６）で表されるとする。このとき、両対角線の交点に関する交点係数ベクトルは、上記の交点関数により、式（２７）のとおり求めることができる。

ここで、上記の中心射影変換により、四角形^ＳＲが、仮想投影平面Ｖ上の四角形^ＶＲへ射影されたと考える。^ＶＲの頂点を、^Ｖｖ_ｎ（ｎ＝０．．３）とすれば（すなわち、^Ｓｖ_ｎが^Ｖｖ_ｎへ射影されたとすれば）、その２つの対角線^ＳＤ_２０,^ＳＤ_３１は、式（２８）となる。このとき、両対角線同士の交点に関する交点係数ベクトルは、上記の交点関数により、式（２９）のとおり求めることができる。

［１２−２．第２のプロセス］
次に、図１０に示すとおり、二次投影平面Ｓ上の任意の点^Ｓｐを導入する。この点^Ｓｐと対角線^ＳＤ_３１のいずれかの端点^Ｓｖ_ａとを通る線分^ＳＳ_ａが式（３０）で表される。この線分^ＳＳ_ａと対角線^ＳＤ_２０との交点^Ｓｃ_２０に関する交点係数ベクトルが、式（３１）のとおり求まるとする。

なお、^Ｓｖ_ａは、次のような基準で選択する。すなわち、線分^ＳＳ_ａが、その線分上で対角線^ＳＤ_２０と交点を結ぶように、^Ｓｖ_ａとして、^Ｓｖ_１または^Ｓｖ_３を選択する。もし、^Ｓｐが^ＳＤ_３１上にある場合は、^Ｓｖ_１，^Ｓｖ_３のどちらを選択してもよい。ただし、^Ｓｐが^Ｓｖ_１上にある場合は^Ｓｖ_３を選択する。一方、^Ｓｐが^Ｓｖ_３上にある場合は、^Ｓｖ_１を選択する。

同様に、点^Ｓｐと対角線^ＳＤ_２０のいずれかの端点^Ｓｖ_ｂとを通る線分^ＳＳ_ｂが式（３２）で表される。この線分^ＳＳ_ｂと対角線^ＳＤ_３１との交点^Ｓｃ_３１に関する交点係数ベクトルが、式（３３）のとおり求まるとする。

なお、^Ｓｖ_ｂは、次のような基準で選択する。すなわち、線分^ＳＳ_ｂが、その線分上で対角線^ＳＤ_３１と交点を結ぶように、^Ｓｖ_ｂとして、^Ｓｖ_０または^Ｓｖ_２を選択する。もし、^Ｓｐが^ＳＤ_２０上にある場合は、^Ｓｖ_０，^Ｓｖ_２のどちらを選択してもよい。ただし、^Ｓｐが^Ｓｖ_０上にある場合は、^Ｓｖ_２を選択する。一方、^Ｓｐが^Ｓｖ_２上にある場合は、^Ｓｖ_０を選択する。

［１２−３．第３のプロセス］
図１１に示すとおり、上記の中心射影変換により、二次投影平面Ｓ上の点^Ｓｃ_２０が、仮想投影平面Ｖにおける対角線^ＶＤ_２０上の点^Ｖｃ_２０へ射影されたときを考える。このとき、射影された点^Ｖｃ_２０は、前プロセスまでに求めておいた係数^Ｓｍ_２０, ^Ｖｍ_２０，^Ｓｎ_２０により、上記の透視関数を用いて、式（３４）のとおり求めることができる。

同様に、二次投影平面Ｓ上の点^Ｓｃ_３１が、仮想投影平面Ｖにおける対角線^ＶＤ_３１上の点^Ｖｃ_３１へ射影されたときを考える。このとき、射影された点^Ｖｃ_３１は、前プロセスまでに求めておいた係数^Ｓｍ_３１，^Ｖｍ_３１，^Ｓｎ_３１により、上記の透視関数を用いて、式（３５）のとおり求めることができる。

［１２−４．第４のプロセス］
図１２に示すとおり、二次投影平面Ｓ上の線分^ＳＳ_ａ，^ＳＳ_ｂの端点^Ｓｖ_ａ，^Ｓｖ_ｂが、上記の中心射影変換により、それぞれ仮想投影平面Ｖ上の点^Ｖｖ_ａ，^Ｖｖ_ｂへ射影されたとする。同じく、線分^ＳＳ_ａ，^ＳＳ_ｂが、式（３６）の直線^ＶＬ_ａ，^ＶＬ_ｂ上へそれぞれ射影されたとする。このとき、^ＶＬ_ａと^ＶＬ_ｂとの交点^Ｖｐに関する交点係数ベクトルは、式（３７）のとおり求めることができる。

これにより、平面Ｓ上の任意の点^Ｓｐが、上記の中心射影変換によって射影された平面Ｖ上の点^Ｖｐは、式（３８）のとおり表される。

上記のプロセスによって、問題の中心射影変換を同定することができた。これは、２つの平面Ｓ，Ｖの三次元的な位置姿勢によらず、両平面Ｓ，Ｖ上の対応する既知の四角形に関する情報のみを用いている。すなわち、既知の四角形を正規投影領域とし、ある投影環境下における任意の二次投影ベクトルによる投影位置について、二次投影平面Ｓと仮想投影平面Ｖとの間のΣ_Ｍの原点を介した中心射影変換を考える。かかる中心射影変換により、位置姿勢の制約や二次投影ベクトルを同定するための正確な設計および測量などは無くても、上記第１〜４のプロセスを実行することで、一方の平面上の投影位置が決定すれば、他方の平面上の投影位置を求められることがわかる。上記のプロセスを、「透視プロセス」と呼ぶ。

［１３．キャリブレーション］
透視プロセスにおいて、式(３４），（３５）で用いられる６種類の実係数は、本システムの運用に先立って、一度だけ求めておけばよい。若しくは、運用中に何らかの理由で投影装置４００の位置姿勢など投影環境が変化した際に、一度だけ求め直せばよい。なお、実係数^Ｓｎ_２０，^Ｓｎ_３１については、投影に関与するすべての光路変換素子ｅについて、それぞれ求める。それ以外の実係数については、正規投影領域の４つの頂点に対応する光路変換素子ｅについて求める。

すなわち、これらの実係数は、運用前のキャリブレーションにより得られる係数である。これらの係数に関係する透視プロセスにおいて、光路変換平面Ｍおよび投影平面Ｐ（二次投影平面Ｓ）上の正規投影領域を、「校正枠」と呼ぶ。また、仮想投影平面Ｖ上の正規投影領域を、「射影校正枠」と呼ぶ。さらに、このキャリブレーションにより得られた６種類の実係数を「校正値」と呼ぶ。本システムのキャリブレーションにおいては、さらに、以下に述べるように、校正値を用いて、透視プロセスにより仮想二次投影ベクトルを求め、この仮想二次投影ベクトルから二次輻射ベクトルを求める。

［１４．二次輻射ベクトルによる投影］
以上を踏まえて、二次投影ベクトルを求めることなく、所望の投影像を得るために、二次投影ベクトルの方向成分のみからなり、光路変換素子ｅが直接制御可能な二次輻射ベクトルに着目する。

４つの光路変換素子ｅに対応する光路変換点^Ｍｄ_ｋ（ｋ＝０．．３）と、それぞれに対応する投影平面Ｐ上の投影位置^Ｍｐ_ｋとが、それぞれ正規投影領域を構成し、所望の投影条件を満足しているものとする。

ただし、Σ_Ｍにおける^Ｍｐ_ｋを正確に知る必要はない。投影平面ＰをΣ_Ｍに対して不変として、投影平面Ｐ上で一意に対応する^Ｐｐ_ｋにより、正規投影領域を特定できればよい。

光路変換平面Ｍ上の一次投影像と投影平面Ｐ上の二次投影像とが、相似なる必要がある場合には、上記条件に加えて、両正規投影領域の対角線同士のなす角が同一であるとする。

^Ｍｄ_ｋに対応する光路変換素子での二次輻射ベクトルｓ_ｋを制御し、^Ｍｐ_ｋへ二次映像光を投影する。このときの^Ｍｄ_ｋ，^Ｍｐ_ｋと投影結合の関係にある二次投影ベクトルを^Ｍｓ_ｋとすれば、ｓ_ｋは^Ｍｓ_ｋと一意に対応する。

ここで、^Ｍｓ_ｋが乗る二次投影平面Ｓと仮想投影平面ＶとのΣ_Ｍの原点を介した中心射影変換を、透視プロセスにより実現する。このとき、^Ｍｓ_ｋは、二次投影平面Ｓ上の^Ｓｓ_ｋに対応し、ｓ_ｋは、仮想投影平面Ｖ上の^Ｖｓ_ｋに対応するものとする。

任意の光路変換素子ｅに対応する投影平面Ｐ上の所望の投影位置^Ｐｓと二次元的に投影結合の関係にある二次投影平面Ｓ上の^Ｓｓを考える。このとき、上記の透視プロセスによって、この^Ｓｓと一意に対応する仮想投影平面Ｖ上の投影位置である仮想二次投影ベクトル^Ｖｓが求まる。ゆえに^Ｖｓは、^Ｐｓと一意に対応する。

つづいて、求められた^Ｖｓから、式（２１）により、二次輻射ベクトルｓを求める。このｓは、所望の投影位置^Ｐｓに対応する光路変換素子ｅにおける二次輻射ベクトルである。上記のとおり、投影平面Ｐは、Σ^Ｍに対して不変である。このため、^Ｐｓと一意に対応する投影平面Ｐ上の^Ｍｐおよび二次投影平面Ｓ上の^Ｍｓが存在する。すなわち、正確に二次投影ベクトルを求めることなく二次輻射ベクトルの制御のみで、所望の投影を実現できた。また、ここまでのプロセスが、上記のキャリブレーションに相当する。

投影装置４００の構成要素である映像光源４１０と光路変換平面Ｍおよび光路変換素子ｅとの間の位置姿勢は、設計により既知である。このため、任意の一次投影ベクトルならびに一次輻射ベクトルｆも既知である。すでに、注目すべき光路変換素子ｅに対応する所望の投影像を得るための二次輻射ベクトルｓは求まっている。よって、同光路変換素子ｅに対応する一次輻射ベクトルｆとすれば、光路変換素子ｅの既知の特性から、ｆをｓへ変換する制御要素である光路変換関数を求めればよい。

例えば、光路変換形式が鏡面反射である場合は、式（１）が満足するように、光路変換素子ｅの反射法線ベクトルｎを求めて、該当する鏡面の姿勢を制御すればよいことになる。以上が、本発明における投影システム１００の投影動作原理である。

［１５．式(２５)の証明］
任意の三次元直交座標系Σ_Ｃにおいて、その原点^ＣＯを通らない任意の平面を、式（３９）のとおり、関数Ｆ（ｎ，ｄ）で表す。ただし、ｎは平面の法線ベクトルであり、ｎ・ｐはｎとｐとの内積を表す。

このとき、Σ_Ｃの原点^ＣＯを介した任意の直線Ｌ（ｕ_１，ｕ_０）から平面Ｆ（ｎ，ｄ）への中心射影変換を考える。ただし、同直線は直線Ｌ（ｎ，^ＣＯ）と一致しないものとする。また、ｕ_０，ｕ_１ともにｎと直交せず、^ＣＯではないものとする。さらに、ｎと直交するＬ（ｕ_１，ｕ_０）上の点は対象としない。

Ｌ（ｕ_１，ｕ_０）上の任意の点ｕは、この中心射影変換により、式（４０）のとおり、Ｆ（ｎ，ｄ）上の点ｖへ射影される。式（４０）は、直線L（ｕ，^ＣＯ）とＦ（ｎ，ｄ）との交点として求められる。

ここで、この中心射影変換によりｕ_０，ｕ_１がそれぞれｖ_０，ｖ_１へ射影されるとき、Ｌ（ｕ_１，ｕ_０）上の点ｕ（Ｍ）＝ｌ（Ｍ，ｕ_１，ｕ_０）が直線Ｌ（ｖ_１，ｖ_０）上の点ｖ（Ｍ_Ｉ）＝ｌ（Ｍ_Ｉ，ｖ_１，ｖ_０）へ射影されることが既知であるとする。すなわち、Ｍ，Ｍ_Ｉが既知である。

この関係を式（４０）に代入し、式（４１）のとおりまとめる。

これにより、ＭとＭ_Ｉとの間に、式（４２）の関係が言える。

同様に、既知のＮによるｕ（Ｎ）が、この中心射影変換によりｖ（ｎ_Ｉ）へ射影されるならば、式（４３）が言える。

この中心射影変換を同定するにあたり、対象とする平面や直線の位置姿勢に関する情報を排除したい。このため、式（４２）を、ｎ・ｕ_０について整理すると、式（４４）を得る。

式（４４）を式（４３）へ代入し、整理すれば、式（４５）が得られる。

［Ｄ．実施形態の作用］
本システムの動作手順の詳細を、図１３のフローチャートを参照して説明する。本システムの動作は、主として、１．初期設定、２．キャリブレーション、３．キャリブレーション要求判定、４．映像ベクトル取得、５．光路変換関数更新要求判定、６．光路変換関数更新、７．投影動作等の手順を含んでいる。

本システム運用の前提として、すべての光路変換素子ｅに対応する一次輻射ベクトルｆは、投影装置４００の設計もしくは製造検査の過程により既知であり、投影装置４００内部に記憶されているものとする。映像光源４１０が複数である場合は、各映像光源４１０に対応する一次輻射ベクトルｆは、区別して記憶されるものとする。

さらに、光路変換平面Ｍおよび投影平面Ｐ上の正規投影領域（校正枠）は既知であり、それらは投影条件を満足するものとする。なお、校正枠の形状は、一般的な映像と同様の矩形として説明を進める。ただし、原理的には、校正枠は、矩形に限定されず四角形であれば自由に構成できる。

また、ここでは、投影装置４００の光路変換形式として、例えば、鏡面反射を採用する。すなわち、式（１）の通り、既知の一次輻射ベクトルｆにより、二次輻射ベクトルｓが定まれば反射法線ベクトルｎが求まり、反射法線ベクトルｎが定まれば二次輻射ベクトルｓが求まる形態である。

［１．初期設定…ステップ１００１］
まず、操作者Ａは、本システムを投影環境下に設置する。たとえば、あらかじめ設置された投影平面Ｐの前方に、投影装置４００を配置する。映像情報出力装置３００等は任意の場所に配置する。つまり、この設置作業においては、投影平面Ｐおよび投影装置４００を、全光路変換素子ｅの二次輻射ベクトルｓの設定範囲内で、二次映像光が、投影平面Ｐの投影対象領域全域を投影可能となるように設置すればよい。

そして、映像情報出力装置３００を投影装置４００に接続する。これにより、映像情報出力装置３００からの映像ベクトルを含む投影情報が、投影装置４００に与えられるようにする。操作者Ａは、映像情報出力装置３００に接続された入力手段を操作することにより、所望の情報を入力することができる。

［２．キャリブレーション…ステップ１００２〜１００５］
キャリブレーションは、校正枠設定部４３２ａによる校正枠の設定（ステップ１００３）、射影校正枠設定部４３２ｂによる射影校正枠の設定（ステップ１００４）、校正値演算部４３２ｃによる校正値の算出（ステップ１００５）、交点演算部４３２ｄ、透視演算部４３２ｅおよび仮想投影位置演算部４３２ｆによる仮想二次投影ベクトルの算出（１００６）および輻射ベクトル演算部による二次輻射ベクトルの算出（１００７）を行う処理である。校正枠および射影校正枠は、上記のように、投影システム１００において、中心射影変換を同定するために必要となる。したがって、キャリブレーションは、設置された投影システム１００の運用に先立って若しくはキャリブレーション要求の入力があった場合に行われる。

キャリブレーションは、上記の動作原理のとおり実行される。このとき、プログラムがキャリブレーション状態に遷移し、投影平面Ｐおよび映像情報出力装置３００におけるディスプレイには、キャリブレーション画面が表示される。

［２−１．校正枠の設定…ステップ１００３］
キャリブレーションは、校正枠の設定から開始する。この際、校正枠の４つの頂点に対応する光変換素子ｅのそれぞれにおいて、上記の頂点位置に投影する二次輻射ベクトルｓを求める。

これには、あらかじめ設定（メモリ等の記憶部に記憶）された投影位置（投影領域である校正枠の４頂点）に、それぞれ対応する光路変換素子ｅからの二次映像光が投影されるように、それらの光路変換ベクトルを制御する。このとき、映像光源４１０から一次映像光を投影し、上記４つの光路変換素子ｅからの二次映像光が容易に識別できるように、映像光若しくはその他の光路変換素子ｅを制御する。

たとえば、図１４に示すように、投影平面上のΣ_Ｐにおいて、校正枠の４頂点を（Ｘ_０±Ｘ，Ｙ_０±Ｙ）^Ｔに定める。操作者Ａは、各頂点と投影結合の関係にある光路変換素子ｅの反射法線ベクトルｎを順次制御することにより、各々の光路変換素子ｅからの二次映像光を、対応する投影平面Ｐ上の校正枠頂点位置へ投影させる。このとき、校正枠設定部４３２ａは、制御された反射法線ベクトルｎより、式（１）を用いて、二次輻射ベクトルｓを求め、校正枠の各頂点に対応付けて記憶する。

操作者Ａによる投影機構４２０の操作方法には、次のいずれかの方法がある。
(a)映像情報出力装置３００の入力手段から、投影機構４２０を制御する情報を入力することにより、映像情報出力装置３００経由で反射法線ベクトルｎを制御する。
(b)投影装置４００のユーザインタフェース４７０から、投影機構４２０を制御する情報を入力し、反射法線ベクトルｎを制御する。

これらの方法は、投影平面Ｐ上の４点（たとえば、画像表示領域の４隅、画像表示領域に表された４箇所の識別マーク等）に、二次投影光を順次投影していくことで、キャリブレーションを進めることができる。なお、投影平面Ｐに投影された上記４つの二次映像光が、それぞれ校正枠のどの頂点に対応するかについて、正しく決定できなければならない。誤った対応付けは、予想外の投影を招く。これを解決するため、上記の二次映像光を頂点別に色分けすることにより対応付ける方法が考えられる。上記二次映像光に付随した頂点識別映像の投影などの対処が挙げられる。

［２−２．射影校正枠の設定…ステップ１００４］
射影校正枠設定部４３２ｂは、上記のように、４つの光路変換素子ｅに対応付けられた４つの二次輻射ベクトルｓ_０〜ｓ_３から、式（２０）により、仮想投影平面Ｖ上の対応する４つの仮想二次投影ベクトル^Ｖｓ_０〜^Ｖｓ_３を求める。そして、これらの４つの仮想二次投影ベクトルを、射影校正枠の各頂点に対応付ける。

［２−３．校正値の算出…ステップ１００５］
校正値演算部４３２ｃは、各校正値を求める。つまり、上記のように設定された校正枠および射影校正枠に基づいて、式（２６）〜（２９）により、正規投影領域に関する校正値を求める。さらに、前記校正値に基づいて、式（３０）〜式（３５）により、投影に関するすべての光路変換素子ｅにおける投影結合に関する校正値を求める。

［２−４．仮想二次投影ベクトルの算出…ステップ１００６］
交点演算部４３２ｄ、透視演算部４３２ｅ及び仮想投影位置演算部４３２ｆは、上記により求められたすべての光路変換素子ｅに対応する校正値に基づいて、式（３６）〜式（３８）により、仮想二次投影ベクトル^Ｖｓをそれぞれ求める。

［２−５．二次輻射ベクトルの算出…ステップ１００７］
輻射ベクトル演算部４３２ｇは、上記により求められたすべての光路変換素子ｅに対応する仮想二次投影ベクトル^Ｖｓに基づいて、式（２１）により、二次輻射ベクトルｓをそれぞれ求める。これにより、キャリブレーションが完了する。ただし、迅速に投影動作を開始するために、この時点で、後述する光路変換関数更新制御を行ってもよい。

［３．キャリブレーション要求判定…ステップ１００８］
要求判定部４３１は、キャリブレーション要求イベントの有無を判定して、キャリブレーション部４３２のフロー制御を行う。たとえば、投影装置４００と投影平面Ｐとの相対的な位置姿勢など、投影環境が運用中に変化してしまった場合に、二次輻射ベクトルｓの更新が必要になる。

このとき、操作者Ａが、映像情報出力装置３００の入力手段若しくはユーザインタフェース４７０を介して、キャリブレーション要求イベントを入力する。要求判定部４３１は、入力されたキャリブレーション要求イベントを検出した場合、キャリブレーション部４３２にキャリブレーションを開始させる。

［４．映像ベクトル取得…ステップ１００９］
映像情報出力装置３００は、所望の動画などの映像を投影するための映像ベクトルの集合（映像ベクトル系列）を、投影装置４００へ逐次出力する。投影装置４００における要求判定部４３１は、映像ベクトルの取得により、投影要求があったと判定して、光路変換ベクトル更新若しくは投影動作のための演算処理を開始させる。このとき、要求判定部４３１は、映像ベクトル系列における各映像ベクトルを順次取得し、各映像ベクトルの時刻要素に関連するタイミングで、後段のステップへ出力してもよい。

また、映像ベクトル系列は、メモリ等に設定された映像記憶領域に、一時的に記憶してもよい。この際、要求判定部４３１は、記憶した映像ベクトル系列から、各映像ベクトルの時刻要素に従って、現在投影すべき映像ベクトルを取得し、後段のステップへ出力してもよい。

［５．光路変換関数更新要求判定…ステップ１０１０］
要求判定部４３１は、光路変換関数更新要求イベントの有無を判定する。この判定結果に応じて、光路変換関数演算部４３３が、フロー制御を行う。たとえば、投影装置４００が、複数の映像光源４１０を有し、所望のタイミングでいずれかの映像光源４１０を選択して投影動作を切り替えるなど、一次輻射ベクトルｆが運用中に変化する場合に光路変換関数の更新が必要になる。なお、投影装置４００の設置時などの初期の光路変換関数の算出も、この更新要求に応じて行われる。ただし、上記のように、二次輻射ベクトルｓの算出時に、光路変換関数の算出を行ってもよい。

このとき、映像情報出力装置３００からの映像ベクトルに従属した映像情報を介して、または操作者Ａが映像情報出力装置３００の入力手段若しくはユーザインタフェースを介して、光路変換関数更新要求イベントを入力する。要求判定部４３１は入力された光路変換関数更新要求イベントを検出した場合、光路変換関数演算部４３３に光路変換状態の更新を開始させる。

［６．光路変換関数演算・更新…ステップ１０１１，１０１２］
光路変換関数演算部４３３は指定された映像光源に対応する一次輻射ベクトルｆとキャリブレーション部４３２にて求められた二次輻射ベクトルｓとにより、すべての光路変換素子ｅにおける光路変換関数を求める。

たとえば、光路変換形式が鏡面反射である場合は、式（１）のとおり、光路変換関数を求めて、投影機構４２０に光路変換素子ｅの投影方向制御軸を制御させる。

なお、迅速に指定された光路変換動作を行うため、上記のように、キャリブレーション時に投影装置が有するすべての映像光源についての光路変換関数を求めて記憶しておき、光路変換関数更新時に、該当するすべての記憶された光路変換関数を引き当ててもよい。

求められたすべての光路変換関数を入力した投影機構４２０においては、光路制御部４２２が、それらに対応する光路変換素子ｅの投影方向制御軸を制御し、所望の投影動作に備える。

［７．投影動作…ステップ１０１３〜１０１４］
映像光源４１０は、前段のプロセスより入力された映像ベクトル系列より構成される映像に基づいて、一次映像光を光路変換平面Ｍ上の光路変換素子群へ投影する。光路変換素子ｅは、入射された一次映像光をそれぞれ設定された反射法線ベクトルに従って出射する。出射された二次投影光は投影平面Ｐ上へ投影され、上記映像に対応する所望の投影像を得ることができる。

このとき、映像光源４１０は、映像光の各画素に対応する映像ベクトルの要素である色強度ベクトルに従って発色を制御し、時間値に従って投影時間を制御する。そして、投影を継続する場合には（ステップ１０１４）、キャリブレーション要求判定（ステップ１００８）へ処理フローを戻す。

［Ｅ．実施形態の効果］
以上のような本実施形態によれば、投影平面Ｐ（二次投影平面Ｓ）と仮想投影平面Ｖとの中心射影変換において、厳密な射影歪補正を行うことにより、意図した通りに正確な映像を投影できる。このとき、投影装置４００に対する投影平面Ｐの位置姿勢を計測する必要も、投影平面Ｐに対して投影装置４００を固定的に設置する必要もない。

また、投影平面Ｐと投影装置４００との相対的な位置姿勢が変動しても、キャリブレーションを行うことにより、正確な投影動作を維持できる。このため、投影装置４００および投影平面Ｐの双方若しくは一方を持ち運び可能な利便性の高いものとすることができる。また、設置の自由度が高まるので、様々な設置場所に本システムを設置することができる。たとえば、屋外の壁面を投影平面Ｐとする場合であっても、正確な投影を行うことができる。

［Ｆ．他の実施形態］
本発明は、上記の実施形態に限定されるものではない。図４に示した機能ブロック図は、概念的なものであり、これらの機能を実現する具体的な回路は種々考えられ、特定のものには限定されない。なお、本発明は、上記の処理に対応してコンピュータおよび周辺回路を動作させる投影方法、投影プログラムとしても把握できる。ハードウェア処理によって実現する範囲とソフトウェア処理によって実現する範囲も自由である。上記の投影演算部を実現するコンピュータを、独立した投影演算装置として構成することも可能である。光路制御部も、光路変換素子の駆動を制御できるものであれば、どのような構成の電子回路、コンピュータであってもよい。

上記の各装置の接続方法は、自由である。たとえば、入力装置と映像情報出力装置とを接続する媒体若しくは映像情報出力装置と投影装置とを接続する媒体を、有線若しくは無線の通信ネットワークを介して実現してもよい。これにより、遠隔地に設置された投影平面および投影装置、映像情報出力装置によって操作することができる。たとえば、複数の遠隔地にある投影平面に、それぞれ同一若しくは異なる映像を投影させることもできる。

また、投影装置の一部を、映像情報出力装置に構成することもできる。たとえば、投影演算部を、映像情報出力装置に設けてもよい。キャリブレーション部のみを、映像情報出力装置に設けてもよい。さらに、映像情報出力装置を、投影装置と一体に構成することもできる。

光源部は、映像を含む映像光源に限らず、単純な照明光源であってもよい。そのような形態においては、モノクローム映像では単一光源、カラー映像では光の三原色に相当するような複数光源を有し、映像ベクトル系列と光源とを対応付け、必要に応じて光源を切り替えて投光することが考えられる。

各光路変換素子は、対応する映像ベクトルの色強度ベクトルに従って、入射光の遮断、出射量制御、投影領域外への光路変換ベクトル制御などの動作を、高速に繰り返すことにより、所望の投影像を形成することができる。たとえば、下記のデジタルマイクロミラーデバイス（ＤＭＤ）では、回転するカラーホイールに同期させて、光路変換素子であるマイクロミラーを上記のように動作させることにより、投影を行う。

さらに、光源部としては、映像光源もしくは照明光源のごとく二次元的な広がりを特徴とするものには限定されず、レーザー光のごとき強い指向性をもつ光源であってもよい。そのような形態においては、一次映像光が映像ベクトルに応じて各光路変換点に投影されるよう光源の姿勢を繰り返し制御する。

なお、反射を利用する光路変換素子のより具体的な例としては、電極のＯＮ／ＯＦＦに応じて独立に駆動される微少な反射鏡を、多数配置したＤＭＤや、モータ駆動の反射鏡によって、所望の角度の反射光を得られるガルバノスキャナ等が考えられる。ＤＭＤを利用したデジタルライトプロセッシング（ＤＬＰ）プロジェクタは、反射光によって投影画像を得るため、透過光によって投影画像を得る液晶プロジェクタと比較して、光のロスが少ないという利点がある。また、ガルバノスキャナは、投影画像が巨大で画素のスケールが大きい場合に適しており、太陽光を集光させたものを利用することも可能である。

光路変換形式は、上記のように鏡面反射によるものではなく、屈折や回折によるものであってもよい。そのような形態においては、光路変換素子に電気光学素子や磁気光学素子もしくは音響光学素子などを適用することが考えられる。つまり、本発明の光路変換素子は、これらの具体例には限定されず、現在又は将来において利用可能なあらゆる素子を適用可能である。

１００…投影システム
３００…映像情報出力装置
３０１…記憶部
３１０…入力部
３２０…抽出部
３３０…出力部
４００…投影装置
４１０…映像光源
４２０…投影機構
４２１…光路変換素子
４２２…光路制御部
４３０…投影演算部
４３１…要求判定部
４３２…キャリブレーション部
４３２ａ…校正枠設定部
４３２ｂ…射影校正枠設定部
４３２ｃ…校正値演算部
４３２ｄ…交点演算部
４３２ｅ…透視演算部
４３２ｇ…輻射ベクトル演算部
４３２ｆ…仮想投影位置演算部
４３３…光路変換関数演算部
４４０…投影情報インタフェース
４５０…可動筐体
４６０…設置機構
４７０…ユーザインタフェース
Ｐ…投影平面

Claims (11)

1. 光源部と、前記光源部からの入射光の方向を変換して出射光とする光路変換部とを有し、前記光路変換部からの出射光によって、投影対象となる投影平面に対する投影を行う投影装置において、
   前記光路変換部は、入射光の進行方向を個別に変換可能な光路変換素子を、複数配列した光路変換平面を有し、
   前記光源部と前記光路変換平面との間の光路の方向を示す一次輻射ベクトルから、前記光路変換平面と前記投影平面との間の光路の方向を示す二次輻射ベクトルへ光路を変換するための光路変換関数を演算する投影演算部と、
   前記投影演算部により演算された前記光路変換関数に基づいて、前記光路変換素子を制御する光路制御部と、
   を有することを特徴とする投影装置。
2. 前記投影演算部は、
   前記光路変換平面と前記投影平面との間で相互に対応する２点に対して、前記光路変換平面上および前記投影平面上で相互に対応する２つの四角形により関係付けられる線形結合を表す投影結合の関係にある点を有する仮想的な二次投影平面を導入し、
   前記光路変換平面と所定の関係にある仮想投影平面を導入し、
   前記光路変換素子の光路変換点を介した前記二次投影平面上の投影位置と、これに対応する前記仮想投影平面上の位置との相互的な中心射影変換に基づいて、前記二次輻射ベクトルを演算することを特徴とする請求項１記載の投影装置。
3. 前記投影演算部は、
   前記二次投影平面における異なる４点を頂点とする校正枠を設定する校正枠設定部と、
   前記仮想投影平面に、前記校正枠の４点に前記中心射影変換に基づいて対応する点を頂点とする射影校正枠を設定する射影校正枠設定部と、
   前記校正枠及び前記射影校正枠に基づいて、校正値を算出する校正値演算部と、
   二次元平面上での平行でない２直線の交点を求める交点関数を用いて、前記二次投影平面上の投影位置と前記校正枠のいずれかの頂点を通る直線と前記校正枠の対角線との交点若しくは前記投影位置に前記中心射影変換に基づいて対応する仮想投影平面上の位置と前記射影校正枠のいずれかの頂点を通る直線と前記射影校正枠の対角線との交点を求める交点演算部と、
   所定の点を介した２直線上の任意の点間の中心射影変換を行う透視関数及び前記校正値を用いて、前記二次投影平面上の投影位置と前記校正枠のいずれかの頂点を通る直線と前記校正枠の対角線との交点と、前記二次投影平面上の投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置と前記射影校正枠のいずれかの頂点を通る直線と前記射影校正枠の対角線との交点とを相互に変換可能な透視演算部と、
   前記校正枠若しくは前記射影校正枠の頂点および前記透視演算部により変換した交点に基づき、前記二次投影平面上の投影位置若しくは前記投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置を演算する仮想投影位置演算部と、
   前記二次投影平面上の投影位置若しくは前記投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置に基づいて、前記二次輻射ベクトルを演算する輻射ベクトル演算部と、
   前記一次輻射ベクトルおよび前記二次輻射ベクトルに基づいて、前記光路変換関数を演算する光路変換関数演算部と、
   を有することを特徴とする請求項１または請求項２記載の投影装置。
4. 前記校正枠設定部、前記射影校正枠設定部、前記校正値演算部、前記交点演算部、前記透視演算部、前記仮想投影位置演算部および前記輻射ベクトル演算部を有し、運用前若しくは要求に応じて、前記二次輻射ベクトルおよび光路変換関数の演算を行うキャリブレーション部を有することを特徴とする請求項３記載の投影装置。
5. 除震手段を備えた設置機構を有することを特徴とする請求項１〜４のいずれか１項に記載の投影装置。
6. 前記投影演算部および前記光路制御部との間で、情報の入出力が可能なユーザインタフェースを備えることを特徴とする請求項１〜５のいずれか１項に記載の投影装置。
7. 請求項１〜６のいずれか１項に記載の投影装置と、
   前記投影平面上に投影される映像の投影位置に関する情報を記憶する記憶部と、前記投影位置に関する情報を前記投影演算部に出力する出力部と、を有する映像情報出力装置と、
   を有することを特徴とする投影システム。
8. 光源部と、前記光源部からの入射光の方向を変換して出射光とする光路変換部とを有し、前記光路変換部からの出射光によって、投影対象となる投影平面に対する投影を行う投影装置を、コンピュータ若しくは電子回路により制御する投影方法において、
   前記光路変換部は、入射光の進行方向を個別に変換可能な光路変換素子を、複数配列した光路変換平面を有し、
   前記コンピュータ若しくは電子回路は、投影演算部および光路制御部を有し、
   前記投影演算部は、前記光源部と前記光路変換平面との間の光路の方向を示す一次輻射ベクトルから、前記光路変換平面と前記投影平面との間の光路の方向を示す二次輻射ベクトルへ光路を変換するための光路変換関数を演算し、
   前記光路制御部は、前記投影演算部により演算された前記光路変換関数に基づいて、前記光路変換素子を制御することを特徴とする投影方法。
9. 前記投影演算部は、
   前記光路変換平面と前記投影平面との間で相互に対応する２点に対して、前記光路変換平面上および前記投影平面上で相互に対応する２つの四角形により関係付けられる線形結合を表す投影結合の関係にある点を有する仮想的な二次投影平面を導入し、
   前記光路変換平面と所定の関係にある仮想投影平面を導入し、
   前記光路変換素子の光路変換点を介した前記二次投影平面上の投影位置と、これに対応する前記仮想投影平面上の位置との相互的な中心射影変換に基づいて、前記二次輻射ベクトルを演算することを特徴とする請求項８記載の投影方法。
10. 光源部と、前記光源部からの入射光の方向を変換して出射光とする光路変換部とを有し、前記光路変換部からの出射光によって、投影対象となる投影平面に対する投影を行う投影装置を、コンピュータを動作させることにより制御する投影プログラムにおいて、
    前記光路変換部は、入射光の進行方向を個別に変換可能な光路変換素子を、複数配列した光路変換平面を有し、
    前記コンピュータに、
    前記光源部と前記光路変換平面との間の光路の方向を示す一次輻射ベクトルから、前記光路変換平面と前記投影平面との間の光路の方向を示す二次輻射ベクトルへ光路を変換するための光路変換関数を演算させ、
    演算された前記光路変換関数に基づいて、前記光路変換素子を制御させることを特徴とする投影プログラム。
11. 前記コンピュータに、
    前記光路変換平面と前記投影平面との間で相互に対応する２点に対して、前記光路変換平面上および前記投影平面上で相互に対応する２つの四角形により関係付けられる線形結合を表す投影結合の関係にある点を有する仮想的な二次投影平面を導入し、
    前記光路変換平面と所定の関係にある仮想投影平面を導入し、
    前記光路変換素子の光路変換点を介した前記二次投影平面上の投影位置と、これに対応する前記仮想投影平面上の位置との相互的な中心射影変換に基づいて、前記二次輻射ベクトルを演算する請求項１０記載の投影プログラム。

Images