JP6915537B2 - 情報処理装置および方法、並びに、投影撮像装置および情報処理方法 - Google Patents

Description

本技術は、情報処理装置および方法、並びに、投影撮像装置および情報処理方法に関し、特に、幾何補正等に用いられる補正情報の更新に関する処理の処理量の増大を抑制することができるようにした情報処理装置および方法、並びに、投影撮像装置および情報処理方法に関する。

従来、複数のプロジェクタを協働させて画像を投影する所謂プロジェクションマッピング等の技術があった。例えば、複数のプロジェクタに画像を投影させ、全体で１枚の投影画像を形成する方法があった。このような場合、各プロジェクタにより投影される投影画像同士を違和感なく適切に合成して１枚の投影画像を形成するために、投影する各画像に対する位置合わせや幾何補正等の補正処理が行われた。どのように補正するかは、プロジェクタの姿勢（位置（並進成分）や方向（回転成分））や投影面の形状等に応じて設定された。

そのプロジェクタの姿勢や投影面の形状を、プロジェクタが投影した投影画像を撮像して撮像画像を得るカメラを用いて推定する方法があった。プロジェクタとカメラとの画素の対応関係と、プロジェクタとカメラとの相対位置関係とに基づいて、投影される画像と撮像画像とから、投影面の形状を推定したり、各プロジェクタの姿勢を推定したりすることができた。

しかしながら、プロジェクタの姿勢や投影面の形状は、コンテンツ等の画像を投影中にも変化する可能性があった。そして、そのような変化が生じた場合は、それらを推定し直し、どのように補正するかを設定し直す（どのように設定するかを示す設定情報を更新する）必要があった。つまり、プロジェクタとカメラとの画素の対応関係を求め、その対応関係を用いて、プロジェクタの姿勢や投影面の形状を推定する必要があった。

例えば、コンテンツ等の画像を投影しながら、画素の対応関係を求める技術であるオンラインセンシングとして、投影画像にグレイコードを埋め込む方式（例えば、非特許文献１参照）、SIFT等の画像特徴量を利用した方式、赤外光（Infrared）等の不可視光を利用した方式等が提案された。

Imperceptible Structured Light Ramesh Raskar, SIGGRAPH 98

しかしながら、いずれの方法の場合も、全てのプロジェクタについて、補正情報の更新が行われていた。つまり、上述したように、画素対応関係の算出、プロジェクタの姿勢推定、および投影面の形状推定等の全ての処理が、全てのプロジェクタについて行われた。例えば、一部のプロジェクタの姿勢が変化した場合であっても、これらの全ての処理が全てのプロジェクタについて行われた。そのため、幾何補正等に用いられる補正情報の更新に関する処理の処理量が増大し、処理時間が増大するおそれがあった。

本技術は、このような状況に鑑みて提案されたものであり、幾何補正等に用いられる補正情報の更新に関する処理の処理量の増大を抑制することを目的とする。

本技術の情報処理装置は、画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間で前記投影部の画素と前記撮像部の画素との対応点を検出し、姿勢が変化していない前記投影撮像装置同士の間で前記対応点の検出を省略する対応点検出部と、前記対応点検出部により検出された前記対応点に基づいて、姿勢が変化した前記投影撮像装置のみ、姿勢が変化していない前記投影撮像装置に対する相対姿勢を推定する相対姿勢推定部と、前記対応点検出部により検出された前記対応点と、前記相対姿勢推定部により推定された前記相対姿勢とに基づいて、前記画像の幾何補正に用いられる補正情報を更新する補正情報更新部とを備える情報処理装置である。

前記対応点検出部は、姿勢が変化していない前記投影撮像装置の前記投影部の画素と、姿勢が変化した前記投影撮像装置の前記撮像部の画素との対応点を検出することができる。

前記対応点検出部は、姿勢が変化した前記投影撮像装置の前記投影部の画素と、姿勢が変化していない前記投影撮像装置の前記撮像部の画素との対応点を検出することができる。

前記投影撮像装置が有する位置および方向の少なくともいずれか１つを検出するセンサ部のセンサ出力に基づいて、前記投影撮像装置の姿勢変化を検出する姿勢変化検出部をさらに備え、前記対応点検出部は、前記姿勢変化検出部により前記姿勢変化が検出された前記投影撮像装置と、前記姿勢変化が検出されていない前記投影撮像装置との間で前記対応点を検出するように構成され、前記相対姿勢推定部は、前記姿勢変化検出部により前記姿勢変化が検出された前記投影撮像装置の、前記姿勢変化が検出されていない前記投影撮像装置に対する相対姿勢を推定するように構成されることができる。

前記対応点検出部は、さらに、姿勢が変化した前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、前記対応点検出部により検出された、姿勢が変化した前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備え、前記補正情報更新部は、さらに、前記投影面形状推定部により推定された前記投影面の形状に基づいて、前記補正情報を更新するように構成されることができる。

前記対応点検出部は、さらに、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、前記対応点検出部により検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備え、前記補正情報更新部は、さらに、前記投影面形状推定部により推定された前記投影面の形状に基づいて、前記補正情報を更新するように構成されることができる。

前記投影面形状推定部は、前記投影面の、姿勢が変化した前記投影撮像装置の前記投影部により画像が投影される範囲内の、形状が未知の部分について、前記投影面の形状を推定することができる。

本技術の情報処理方法は、画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間で前記投影部の画素と前記撮像部の画素との対応点を検出し、姿勢が変化していない前記投影撮像装置同士の間で前記対応点の検出を省略し、検出された前記対応点に基づいて、姿勢が変化した前記投影撮像装置のみ、姿勢が変化していない前記投影撮像装置に対する相対姿勢を推定し、検出された前記対応点と、推定された前記相対姿勢とに基づいて、前記画像の幾何補正に用いられる補正情報を更新する情報処理方法である。

本技術の投影撮像装置は、画像を投影面に投影する投影部と、前記投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部と、前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定する判定部と、前記判定部により姿勢が変化したと判定された場合のみ、姿勢が変化していない、前記投影部および前記撮像部を備える他の投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、前記対応点検出部により検出された前記対応点に基づいて、前記他の投影撮像装置に対する相対姿勢を推定する相対姿勢推定部と、前記対応点検出部により検出された前記対応点と、前記相対姿勢推定部により推定された前記相対姿勢とに基づいて、前記画像の幾何補正に用いられる補正情報を更新する補正情報更新部とを備える投影撮像装置である。

前記対応点検出部は、前記他の投影撮像装置の前記投影部の画素と、前記投影撮像装置自身の前記撮像部の画素との対応点を検出することができる。

前記対応点検出部は、前記投影撮像装置自身の前記投影部の画素と、前記他の投影撮像装置の前記撮像部の画素との対応点を検出することができる。

前記センサ部のセンサ出力に基づいて、前記投影撮像装置自身の姿勢変化を検出する姿勢変化検出部をさらに備え、前記判定部は、前記姿勢変化検出部の検出結果に基づいて、前記投影撮像装置自身の姿勢が変化したか否かを判定することができる。

前記対応点検出部は、さらに、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、前記対応点検出部により検出された前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備え、前記補正情報更新部は、さらに、前記投影面形状推定部により推定された前記投影面の形状に基づいて、前記補正情報を更新するように構成されることができる。

前記投影面形状推定部は、前記投影面の、前記投影撮像装置自身の前記投影部により画像が投影される範囲内の、形状が未知の部分について、前記投影面の形状を推定することができる。

本技術の情報処理方法は、さらに、画像を投影面に投影する投影部と、前記投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部とを備える投影撮像装置の情報処理方法であって、前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定し、姿勢が変化したと判定された場合のみ、姿勢が変化していない、前記投影部および前記撮像部を備える他の投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出し、検出された前記対応点に基づいて、前記他の投影撮像装置に対する相対姿勢を推定し、検出された前記対応点と、推定された前記相対姿勢とに基づいて、前記画像の幾何補正に用いられる補正情報を更新する情報処理方法である。

本技術の情報処理装置および方法においては、画像を投影面に投影する投影部と投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した投影撮像装置と姿勢が変化していない投影撮像装置との間で投影部の画素と撮像部の画素との対応点が検出され、姿勢が変化していない投影撮像装置同士の間でその対応点の検出が省略され、検出されたその対応点に基づいて、姿勢が変化した投影撮像装置のみ、姿勢が変化していない投影撮像装置に対する相対姿勢が推定される。

本技術の投影撮像装置および情報処理方法においては、画像を投影面に投影する投影部と、投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部とが備えられる投影撮像装置において、センサ部のセンサ出力に基づいて姿勢が変化したか否かが判定され、姿勢が変化したと判定された場合のみ、姿勢が変化していない、投影部および撮像部を備える他の投影撮像装置との間で、投影部の画素と撮像部の画素との対応点が検出され、検出された対応点に基づいて、他の投影撮像装置に対する相対姿勢が推定され、その検出された対応点と、その推定された相対姿勢とに基づいて、画像の幾何補正に用いられる補正情報が更新する補正情報更新部される。

本技術によれば、情報を処理することが出来る。また本技術によれば、幾何補正等に用いられる補正情報の更新に関する処理の処理量の増大を抑制することができる。

投影撮像システムの主な構成例を説明する図である。 姿勢変化の様子の例を説明する図である。 投影面形状変化の様子の例を説明する図である。 キャリブレーションの様子の例を説明する図である。 キャリブレーションの様子の例を説明する図である。 グレイコードを用いる方法の例を説明する図である。 キャリブレーションとして実行する処理の例を説明する図である。 姿勢推定の様子の例を説明する図である。 投影面形状推定の様子の例を説明する図である。 制御装置の主な構成例を示すブロック図である。 投影撮像装置の外観の例について説明する図である。 投影撮像装置の主な構成例を示すブロック図である。 投影部の主な構成例を示すブロック図である。 レーザ光の走査の例を示す図である。 補正情報更新処理の流れの例を説明するフローチャートである。 対応点検出処理の流れの例を説明するフローチャートである。 投影面形状推定処理の流れの例を説明するフローチャートである。 対応点検出処理の流れの例を説明するフローチャートである。 投影面形状推定処理の流れの例を説明するフローチャートである。 対応点検出処理の流れの例を説明するフローチャートである。 投影撮像システムの他の構成例を示す図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（投影撮像システム）
２．第２の実施の形態（対応点検出処理）
３．第３の実施の形態（投影撮像システム）

＜１．第１の実施の形態＞
＜投影撮像システム＞
本技術を適用した情報処理装置の一実施の形態である制御装置や、本技術を適用した投影撮像装置の一実施の形態である投影撮像装置を適用した投影撮像システムの主な構成例を、図１に示す。図１に示される投影撮像システム１００は、複数の投影撮像装置１０２を用いて画像を投影するシステムである。

図１に示されるように、投影撮像システム１００は、制御装置１０１、投影撮像装置１０２−１乃至投影撮像装置１０２−４、並びに、通信ケーブル１０３−１乃至通信ケーブル１０３−４を有する。

投影撮像装置１０２−１乃至投影撮像装置１０２−４は、それぞれ、通信ケーブル１０３−１乃至通信ケーブル１０３−４を介して制御装置１０１と通信可能に接続されている。

制御装置１０１は、投影撮像装置１０２−１乃至投影撮像装置１０２−４のそれぞれと通信を行い、これらの動作を制御する。例えば、制御装置１０１は、投影撮像装置１０２−１乃至投影撮像装置１０２−４に対して、画像を投影面１０４に投影させたり、投影面１０４に投影された画像（投影画像）を撮像させたりする。

また、制御装置１０１は、例えば、投影撮像装置１０２−１乃至投影撮像装置１０２−４が有する投影部１１１や撮像部１１２の相対姿勢（例えば回転成分（相対方向）や並進成分（相対位置）等）のキャリブレーションを行うことができる。さらに、制御装置１０１は、例えば、そのキャリブレーション結果を用いて、投影撮像装置１０２−１乃至投影撮像装置１０２−４のそれぞれが投影する画像に対する補正（位置合わせや幾何補正等）を行うことができる。

投影撮像装置１０２−１乃至投影撮像装置１０２−４は、それぞれ、制御装置１０１に制御され、投影面１０４に画像を投影したり、投影面１０４（例えば投影面１０４に投影された投影画像）を撮像したりする。つまり、投影撮像装置１０２−１乃至投影撮像装置１０２−４は、互いに同様の構成を有し、同様の機能を有する。これらの投影撮像装置１０２−１乃至投影撮像装置１０２−４を互いに区別して説明する必要が無い場合、投影撮像装置１０２と称する。

投影撮像装置１０２は、投影部１１１および撮像部１１２を有する。つまり、投影撮像装置１０２−１は、投影部１１１−１および撮像部１１２−１を有する。投影撮像装置１０２−２は、投影部１１１−２および撮像部１１２−２を有する。投影撮像装置１０２−３は、投影部１１１−３および撮像部１１２−３を有する。投影撮像装置１０２−４は、投影部１１１−４および撮像部１１２−４を有する。

投影部１１１−１乃至投影部１１１−４は、それぞれ、画像を投影する。つまり、投影部１１１−１乃至投影部１１１−４は、互いに同様の構成を有し、同様の機能を有する。これらの投影部１１１−１乃至投影部１１１−４を互いに区別して説明する必要が無い場合、投影部１１１と称する。また、撮像部１１２−１乃至撮像部１１２−４は、それぞれ、被写体を撮像して撮像画像を得る。つまり、撮像部１１２−１乃至撮像部１１２−４は、互いに同様の構成を有し、同様の機能を有する。これらの撮像部１１２−１乃至撮像部１１２−４を互いに区別して説明する必要が無い場合、撮像部１１２と称する。

また、通信ケーブル１０３−１乃至通信ケーブル１０３−４は、それぞれ、所定の通信規格に対応する通信媒体である。つまり、通信ケーブル１０３−１乃至通信ケーブル１０３−４は、互いに同様の構成を有し、同様の機能を有する。これらの通信ケーブル１０３−１乃至通信ケーブル１０３−４を互いに区別して説明する必要が無い場合、通信ケーブル１０３と称する。

通信ケーブル１０３は、例えば、HDMI（登録商標）（High-Definition Multimedia Interface）に準拠したケーブルである。もちろん、通信ケーブル１０３が対応する通信規格は任意であり、例えばディスプレイポート（DisplayPort）等、HDMI（登録商標）以外の通信規格に対応していてもよい。

投影面１０４は、投影撮像装置１０２が画像を投影する対象（投影対象）の一例である。投影面１０４は、平面であってもよいし、曲面であってもよいし、一部若しくは全部に凹凸を有する面であってもよいし、複数の面により構成されていてもよい。また、投影面１０４の色は任意であり、複数色により構成されるようにしてもよいし、模様や絵柄を有するようにしてもよい。

なお、この投影面１０４は、任意の物体に形成されるようにしてもよい。例えば、投影面１０４は、所謂スクリーンや壁面のような面状の物体に形成されるようにしてもよい。また、投影面１０４は、立体構造物に形成されるようにしてもよい。例えばビルディング、駅舎、城等の建造物の壁面等に形成されるようにしてもよいし、例えば、岩等の自然物、看板や銅像等の人造物、箪笥、椅子、机等の家具等に形成されるようにしてもよいし、例えば人や動植物等の生物に形成されるようにしてもよい。また、投影面１０４は、例えば部屋空間の壁、床、天井等のように、複数の面に形成されるようにしてもよい。

また、投影面１０４は、固体に形成されるようにしてもよいし、液体や気体に形成されるようにしてもよい。例えば、池やプール等の水面、滝や噴水等の流水面、霧やガス等の気体に形成されるようにしてもよい。また、投影面１０４は、移動してもよいし、変形してもよいし、変色してもよい。また、投影面１０４は、例えば、部屋の壁と家具と人物、複数のビルディング、城壁と噴水等のように、複数の物体に形成されるようにしてもよい。

＜投影領域＞
図１において、投影面１０４の投影画像１０５−１は、投影撮像装置１０２−１の投影部１１１−１に投影された画像である。また、投影画像１０５−２は、投影撮像装置１０２−２の投影部１１１−２により投影された画像である。投影画像１０５−３は、投影撮像装置１０２−３の投影部１１１−３により投影された画像である。投影画像１０５−４は、投影撮像装置１０２−４の投影部１１１−４により投影された画像である。これらの投影画像１０５−１乃至投影画像１０５−４を互いに区別して説明する必要が無い場合、投影画像１０５と称する。

なお、投影面１０４における各投影画像１０５の位置や形状は任意であるが、図１の例の場合、その投影面１０４において、各投影画像１０５によって１つの投影領域（画像が投影される領域）が形成されている。投影画像１０５−１がその１つの投影領域の左上部分を形成し、投影画像１０５−２がその１つの投影領域の左下部分を形成し、投影画像１０５−３がその１つの投影領域の右上部分を形成し、投影画像１０５−４がその１つの投影領域の右下部分を形成している。また、各投影画像１０５は、その一部が互いに重なり合う（オーバーラップする）ようになされている。このような複数の投影画像が重なり合う領域（オーバーラップ領域）を設けるようにすることにより、より確実に（より安定的に）その複数の投影画像によって１つの投影領域を形成することができる。各投影撮像装置１０２（投影部１１１）は、このような１つの投影領域を実現するような姿勢（位置および投影方向）で配置されている。

＜プロジェクションマッピング＞
制御装置１０１は、各投影撮像装置１０２を制御して、所謂プロジェクションマッピングを行うことができる。例えば、制御装置１０１は、各投影撮像装置１０２から画像を投影させ、上述した１つの投影領域に１つの投影画像として投影されるようにすることができる。

例えば、制御装置１０１は、各投影撮像装置１０２を協働させて、１つの入力画像１０６を、１つの補正された投影画像１０７として投影面１０４に投影させることができる。図１の例の場合、制御装置１０１は、１つの入力画像１０６を上下方向に２分割し、左右方向に２分割し（合計４分割し）、各部分画像を各投影撮像装置１０２に供給し、投影面１０４に投影させている。そして、それらの各投影画像が投影面１０４において合成されて１つの投影画像が形成される。このようにすることにより、例えば、１つの投影部１１１の解像度よりも高解像度の投影画像（換言するに、１つの投影部１１１が投影する画像の最大サイズよりも大きなサイズの投影画像）を実現することができる。

＜画像補正＞
このように投影画像を合成させる際に、各投影部１１１により投影される投影画像同士が違和感なく適切に合成されて１枚の投影画像（補正された投影画像１０７）が形成されるようにするために、制御装置１０１は、各投影撮像装置１０２が投影する各画像に対して、位置合わせ、幾何補正、画質補正（例えば輝度、色、解像度等）等の補正処理を行う。特に、複数の投影部１１１から投影されるオーバーラップ領域に対しては、違和感の無い画像にするためにブレンディング処理等が行われる。

＜補正情報の設定＞
これらの補正において画像をどのように補正するかは、各投影撮像装置１０２（投影部１１１）の姿勢（位置（並進成分）や方向（回転成分））や投影面１０４の形状等に応じて設定される。つまり、制御装置１０１は、各投影撮像装置１０２（投影部１１１）の姿勢や投影面１０４の形状を推定し、その推定結果に基づいて、各画像をどのように補正するかを設定する（どのように設定するかを示す設定情報を設定する）。

また、制御装置１０１は、投影部１１１と撮像部１１２との画素の対応関係を求め、その対応関係を利用して、各投影撮像装置１０２（投影部１１１）の姿勢や投影面１０４の形状を推定する。投影撮像装置１０２の同士の相対姿勢の推定は、複数の投影撮像装置１０２間での投影部１１１からのパターン投影（Structured Light）と撮像部１１２による投影面１０４の撮像等により行われる。また、投影面１０４の形状推定（デプスセンシング）は、各投影撮像装置１０２において、投影部１１１からのパターン投影（Structured Light）と撮像部１１２による投影面１０４の撮像等により行われる。

＜初期設定＞
以上のようなプロジェクションマッピングを行う場合、制御装置１０１は、コンテンツ等の画像を投影させる前に、全ての投影撮像装置１０２について、投影部１１１と撮像部１１２との画素の対応関係を求め、投影撮像装置１０２（投影部１１１）の姿勢や投影面１０４の形状を推定し、補正情報を設定する。そして、制御装置１０１は、コンテンツ等の画像を投影する際に、その補正情報に従って画像の補正を行う。

ここで、各投影撮像装置１０２は、予めキャリブレーションされている。例えば、各投影撮像装置１０２において、投影部１１１の投影に関する特性や撮像部１１２の撮像に関する特性が明らかにされている（既知である）。また、各投影撮像装置１０２において、投影部１１１の姿勢（位置および投影方向）と撮像部１１２の姿勢（位置および撮像方向）は固定されており、既知である。つまり、各投影撮像装置１０２内において、投影部１１１と撮像部１１２との姿勢の関係（相対姿勢とも称する）は、既知である。なお、ここで「投影方向」とは、投影部１１１が画像を投影する方向を示す。同様に、「撮像方向」とは、撮像部１１２が被写体を撮像する方向を示す。このような各投影撮像装置１０２（投影部１１１や撮像部１１２）の内部変数や外部変数のキャリブレーション（較正・各種変数の推定等）は、予め専用の装置等を用いて行われる。

なお、上述した推定処理により、コンテンツ等の画像を投影する際には、投影撮像装置１０２間の相対姿勢が明らかにされている（既知である）。つまり、各投影撮像装置１０２間において、投影部１１１同士の相対姿勢、撮像部１１２同士の相対姿勢、並びに、投影部１１１と撮像部１１２との相対姿勢が明らかにされている。

また、投影面１０４の位置や形状（各投影部１１１からの相対的な位置や形状）も明らかにされている（既知である）。つまり、投影面１０４における各投影撮像装置１０２（投影部１１１）による投影画像１０５の位置や形状も明らかにされている。

以上のように、制御装置１０１は、複数の投影撮像装置１０２を協働させることにより、投影画像の解像度を向上させる（換言するに、解像度（画質）の低減を抑制しながら画像サイズを増大させる）ことができる。なお、入力画像１０６（補正された投影画像１０７）は、動画像であってもよいし、静止画像であってもよい。

＜位置ずれ・投影面変化＞
以上のように、予め設定された補正情報に従って投影する画像が補正されることにより、補正された投影画像１０７が実現されている。したがって、画像投影中に環境が変化すると補正情報が不適切な値になり、補正された投影画像１０７の画質が低減してしまう可能性があった。

例えば、図２のように、各投影撮像装置１０２が画像を投影して、投影面１０４に補正された投影画像１０７が投影されている状態において、投影撮像装置１０２−３が移動すると（位置ずれが生じると）、投影撮像装置１０２−３と投影面１０４との相対姿勢等が変化する可能性があった。そのため、投影画像１０５−３の状態（位置、大きさ、形状、画質等）が変化する可能性があった。つまり、補正された投影画像１０７の、その投影画像１０５−３に含まれる部分画像１０７−３の状態（位置、大きさ、形状、画質等）も変化する可能性があった。したがって、補正された投影画像１０７としても、歪みや画質の部分変化等が生じたり、画像が複数に分離して１つの投影画像として成立しなくなったりする等、画質が低減する可能性があった。

また、例えば、図３のように、各投影撮像装置１０２が画像を投影して、投影面１０４に補正された投影画像１０７が投影されている状態において、その投影面１０４の、投影撮像装置１０２−２が投影する位置の手前に立体物１２１が新たに設置されると、投影撮像装置１０２−２が投影する投影画像１０５−２の少なくとも一部がその立体物１２１に投影されるようになり、投影撮像装置１０２−２から見て、投影面１０４の形状が変化した状態となる可能性があった。そのため、投影画像１０５−２の状態（位置、大きさ、形状、画質等）が変化する可能性があった。つまり、補正された投影画像１０７の、その投影画像１０５−２に含まれる部分画像１０７−２の状態（位置、大きさ、形状、画質等）も変化する可能性があった。したがって、補正された投影画像１０７としても、歪みや画質の部分変化等が生じたり、画像が複数に分離して１つの投影画像として成立しなくなったりする等、画質が低減する可能性があった。

したがって、このように画像投影中に、投影撮像装置１０２の位置ずれや、投影面１０４の形状変化等が生じると、投影画像の画質低減を抑制するために、幾何補正等のための補正情報の設定を再度行う必要がある。

＜オーバーラップ推定＞
以上のように、複数の投影撮像装置１０２を用いて１つの映像を投影する際には、各投影部１１１の投影が投影面１０４において重畳している部分、すなわち、オーバーラップ領域を、撮像部１１２を用いてセンシングして、どのようにオーバーラップしているかを把握する必要がある。

例えば、図４の場合、投影撮像装置１０２−１の投影部１１１−１による投影面１０４の投影領域（投影部１１１−１が画像を投影する範囲）は、P0L乃至P0Rの範囲である。また、投影撮像装置１０２−２の投影部１１１−２による投影面１０４の投影領域（投影部１１１−２が画像を投影する範囲）は、P1L乃至P1Rの範囲である。つまり、両矢印１３０で示される範囲（P1L乃至P0Rの範囲）である。このオーバーラップ領域を特定すれば良い。

これは、投影部１１１と撮像部１１２との間の相対姿勢（回転成分（Ｒ）および並進成分（Ｔ））を推定すること同意である。そして、相対姿勢を推定するために必要な情報は、投影部１１１および撮像部１１２間の画素の対応関係である。図４の例の場合、両矢印１３１により示される投影部１１１−２の画素と撮像部１１２−１の画素との対応関係、若しくは、両矢印１３２により示される投影部１１１−１の画素と撮像部１１２−２の画素との対応関係、または、その両方を求めればよい。

さらに画素の対応関係とは、図５に示されるように、投影部１１１のある画素が撮像部１１２のどの画素に対応しているかということである。つまり、例えば、図５において、投影部１１１−１から照射された光（矢印１３３）が、投影面１０４のＸにおいて反射し、撮像部１１２−２により受光される（矢印１３４）とする。このように光を照射した投影部１１１の画素と、その光を受光した撮像部１１２の画素との対応関係（すなわち、撮像部１１２の各画素が投影部１１１のどの画素に対応するか）が把握できれば、オーバーラップ領域を検出することができる。

このような画素の対応関係を取得する方法として、例えば、グレイコードを用いる方法があった。この方法の場合、例えば、図６のＡに示されるような所定のパターン画像を投影部１１１から時系列に切り替えながら投影して、各パターンを撮像部１１２で撮像する。そして、全てのパターンの撮像が完了したら撮像部１１２の各画素において、各撮像パターンの「１」(白)または「０」(黒)を検出して、図６のＢに示されるように、その「１」と「０」のパターンをデコードすることでプロジェクタ画素の位置を取得する。これにより画素の対応関係を取得することができる。

＜オンラインセンシング＞
しかしながら、この方法では画素の対応関係を取得するために、例えば図６に示されるようなパターン画像を投影する必要があり、その都度、画像投影を中断しなければならなかった。すなわち、投影画像を見る観察者による視聴を妨げなければならなかった。そこで、コンテンツ等の画像を投影しながら画素の対応関係を取得する「オンラインセンシング」という技術が考えられる。このオンラインセンシングとしては、例えば、投影画像にグレイコードなどを埋め込む方式、SIFT等の画像特徴量を利用した方式、Infrared（赤外光）等の不可視光を利用した方式等が考えられる。

しかしながら、いずれの方法の場合も、全ての投影撮像装置１０２について、補正情報の更新が行われていた。つまり、上述したように、画素対応関係の算出、投影撮像装置１０２（投影部１１１）の姿勢推定、および投影面１０４の形状推定等の全ての処理が、全ての投影撮像装置１０２について行われた。例えば、一部の投影撮像装置１０２の姿勢が変化した場合であっても、これらの全ての処理が全ての投影撮像装置１０２について行われた。そのため、位置が変化していない（位置ずれが生じていない）投影撮像装置１０２については処理が冗長となる等、不要な処理が行われるおそれがあった。つまり、幾何補正等に用いられる補正情報の更新に関する処理の処理量が不要に増大し、処理時間が不要に増大するおそれがあった。なお、協働させる投影撮像装置１０２の数が増大する程、この処理量（処理時間）が不要に増大するおそれがあった。

上述したように、このような幾何補正等に用いられる補正情報の更新に関する処理は、オンラインセンシングを用いることにより、コンテンツ等の画像を投影させながら行うことができるが、場合によっては、この処理がコンテンツ等の画像の投影に影響し、投影画像の画質が低減する可能性もあった。例えばパターン画像を投影する場合、そのパターン画像は、コンテンツ等の画像と重畳して投影されるため、コンテンツ等の画像の内容によっては、パターン画像の絵柄や切り替え等が、観察者に見えてしまう可能性があった。上述したような補正情報の更新に関する処理の処理時間が増大する程、このような影響が増大する可能性があった。

＜変化要因に応じた処理の選択＞
そこで、図７に示される表のように、幾何補正等に用いられる補正情報の更新に関する処理として実行する処理を、変化要因に応じて選択するようにする。

例えば、コンテンツ等の画像を投影する前に行われる幾何補正等に用いられる補正情報の更新に関する処理（初期センシング）の場合、全ての投影撮像装置１０２について、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点、投影撮像装置１０２の姿勢、および投影面１０４の形状のいずれも明らかでない。そこで、制御装置１０１は、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点検出と、投影撮像装置１０２の姿勢推定と、投影面１０４の形状推定との各処理を、全ての投影撮像装置１０２について行う。つまり、初期センシングにおいて、制御装置１０１は、全ての投影撮像装置１０２について、幾何補正等に用いられる補正情報の更新に関する全ての処理を実行する。

また、例えば、コンテンツ等の画像を投影中に全ての投影撮像装置１０２の姿勢が変化した場合、全ての投影撮像装置１０２について、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点、投影撮像装置１０２の姿勢、および投影面１０４の形状のいずれも不明となる。そこで、制御装置１０１は、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点検出と、投影撮像装置１０２の姿勢推定と、投影面１０４の形状推定との各処理を、全ての投影撮像装置１０２について行う。つまり、コンテンツ等の画像を投影中に全ての投影撮像装置１０２の姿勢が変化した場合、初期センシングの場合と同様に、制御装置１０１は、全ての投影撮像装置１０２について、幾何補正等に用いられる補正情報の更新に関する全ての処理を実行する。

これに対して例えば、コンテンツ等の画像を投影中に一部の投影撮像装置１０２の姿勢が変化した場合、残りの一部の投影撮像装置１０２については、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点、投影撮像装置１０２の姿勢、および投影面１０４の形状のいずれも明らかなままである。つまり、制御装置１０１は、姿勢が変化した一部の投影撮像装置１０２に関する処理についてのみ実行すれば良い。そこで、コンテンツ等の画像を投影中に全ての投影撮像装置１０２の姿勢が変化した場合、制御装置１０１は、姿勢が変化した投影撮像装置１０２に関する部分のみ、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点検出を行う。また、制御装置１０１は、姿勢が変化した投影撮像装置１０２についてのみ姿勢の推定を行う。さらに、制御装置１０１は、姿勢が変化した投影撮像装置１０２が投影する投影面１０４の形状が未知の部分についてのみ、投影面１０４の形状推定を行う。

例えば、図８のＡのように、投影撮像装置１０２−１と投影撮像装置１０２−２とが配置され、投影部１１１−１による投影面１０４の投影領域と、投影部１１１−２による投影面１０４の投影領域とが、両矢印１４１の部分でオーバーラップしているとする。

例えば、図８のＢのように、投影撮像装置１０２−１が移動すると、その投影領域が変化する。この場合、両矢印１４２の部分がオーバーラップ領域となり、図８のＡの場合よりもオーバーラップ領域が狭くなっている。

このような場合、制御装置１０１は、移動した投影撮像装置１０２−１に関するもののみ処理を行えばよい。例えば、制御装置１０１は、図８のＣに示されるように、投影撮像装置１０２−２の投影部１１１−２と、投影撮像装置１０２−１の撮像部１１２−１との画素対応点を検出すれば、図８のＤに示される両矢印１４５のように、投影部１１１−２と撮像部１１２−１との相対姿勢を推定することができる。投影撮像装置１０２はキャリブレーション済みであり、投影部１１１−１と撮像部１１２−１との相対姿勢は既知である。したがって、図８のＤに示される両矢印１４６のように、投影部１１１−２と投影部１１１−１との相対姿勢も推定される。つまり、投影部１１１−２と撮像部１１２−１との画素対応点を検出することにより、投影撮像装置１０２間の相対姿勢が推定される。

また、例えば、図９のＡのように、投影撮像装置１０２−１と投影撮像装置１０２−２とが配置されている場合、初期センシング済みであるとすると、投影部１１１−１による投影面１０４の投影領域と、投影部１１１−２による投影面１０４の投影領域とから、投影面１０４の両矢印１５１で示される範囲が少なくとも既知であることが分かる。

例えば、投影撮像装置１０２−１が図９のＢのように移動すると、その投影領域は、図９のＡの状態から変化するものの、両矢印１５１で示される範囲内に収まっている。したがって、投影面１０４の、移動後の投影撮像装置１０２−１による投影領域の形状は既知であるので、投影面１０４の形状推定は不要である。

これに対して、投影撮像装置１０２−１が図９のＣのように移動すると、その投影領域は、両矢印１５１で示される範囲外に及ぶ。つまり、投影面１０４の、図９のＣにおいて両矢印１５２で示される範囲が未知の可能性がある。この範囲の形状が未知であるとすると、制御装置１０１は、この形状が未知の部分についてのみ、投影面１０４の形状推定を行えばよい。

以上のように、幾何補正等に用いられる補正情報の更新に関する処理（投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点検出、投影撮像装置１０２の姿勢推定、および投影面１０４の形状推定）を行うことにより、制御装置１０１は、不要な処理の実行を抑制することができる。つまり、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大を抑制することができる。

図７に戻り、例えば、コンテンツ等の画像を投影中に投影面１０４の形状が変化した場合、全ての投影撮像装置１０２の姿勢は既知である。また、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点は、投影面１０４の形状が変化した部分に応じた対応点が不明となる。さらに、投影面１０４の形状は、その変化した部分が不明となる。そこで、制御装置１０１は、対応点が変化した投影撮像装置１０２に関する部分のみ、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点検出を行う。また、制御装置１０１は、形状変化により投影面１０４の形状が未知となった部分についてのみ、投影面１０４の形状推定を行う。なお、この場合、投影撮像装置１０２の姿勢推定は不要であるので省略される。

このように、幾何補正等に用いられる補正情報の更新に関する処理（投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点検出、投影撮像装置１０２の姿勢推定、および投影面１０４の形状推定）を行うことにより、制御装置１０１は、不要な処理の実行を抑制することができる。つまり、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大を抑制することができる。

また、例えば、コンテンツ等の画像を投影中に一部の投影撮像装置１０２の姿勢が変化し、さらに、投影面１０４の形状が変化した場合、その姿勢が変化した一部の投影撮像装置１０２に関する画素の対応点が変化する。また、投影面１０４の形状が変化した部分に対応する画素の対応点も変化する。それ以外の対応点は変化しない。したがって、この場合、制御装置１０１は、姿勢が変化した投影撮像装置１０２に関する部分と、対応点が変化した投影撮像装置１０２に関する部分のみ、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点検出を行う。

また、この場合、その姿勢が変化した一部の投影撮像装置１０２のみ姿勢が変化し、それ以外の投影撮像装置１０２の姿勢は変化していない。したがって、この場合、制御装置１０１は、姿勢が変化した投影撮像装置１０２のみ姿勢推定を行う。

さらに、制御装置１０１は、投影面１０４の形状が未知の部分についてのみ、投影面１０４の形状推定を行う。投影撮像装置１０２の姿勢変化、または、投影面１０４の形状変化のいずれが要因となる場合であっても、形状が既知の部分についての形状推定は不要である。つまり、未知の部分についてのみ形状推定を行えばよい。

以上のように、幾何補正等に用いられる補正情報の更新に関する処理（投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点検出、投影撮像装置１０２の姿勢推定、および投影面１０４の形状推定）を行うことにより、制御装置１０１は、不要な処理の実行を抑制することができる。つまり、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大を抑制することができる。

つまり、以上のように、変化要因に応じて実行する処理を選択することにより、各処理に応じた必要な処理のみ行うことができるので、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大を抑制することができる。

＜制御装置の構成＞
図１０は、本技術を適用した情報処理装置の一実施の形態である制御装置１０１の主な構成例を示すブロック図である。

図１０に示されるように、制御装置１０１は、制御部２０１を有する。制御装置１０１の各部や投影撮像装置１０２の制御に関する処理等を行う。

制御部２０１には、バスを介して入出力インタフェース２１０が接続されている。入出力インタフェース２１０には、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５が接続されている。

入力部２１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部２１１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部２１１に含まれるようにしてもよい。

出力部２１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部２１２には、ディスプレイ、スピーカ、出力端子等が含まれる。

記憶部２１３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部２１４は、例えば、ネットワークインタフェースよりなる。例えば、通信部２１４は、通信ケーブル１０３に接続され、通信ケーブル１０３を介して接続される他の装置と通信を行う。ドライブ２１５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２２１を駆動する。

制御部２０１は、処理制御部２３１、投影制御部２３２、撮像制御部２３３、センサ制御部２３４、画像投影部２３５、対応点変化検出部２３６、センサ情報変化検出部２３７、変化判定部２３８、対応点検出部２３９、姿勢推定部２４０、投影面形状推定部２４１、および補正情報更新部２４２を有する。

処理制御部２３１は、補正情報更新に関する処理の制御に関する処理を行う。投影制御部２３２は、投影部１１１の制御に関する処理を行う。撮像制御部２３３は、撮像部１１２の制御に関する処理を行う。センサ制御部２３４は、各投影撮像装置１０２が有するセンサ（センサ部３１２）の制御に関する処理を行う。

画像投影部２３５は、コンテンツ等の画像の投影に関する処理を行う。対応点変化検出部２３６は、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点の変化の検出に関する処理を行う。センサ情報変化検出部２３７は、センサ情報の変化の検出に関する処理を行う。変化判定部２３８は、どのような情報が変化したかの判定に関する処理を行う。

対応点検出部２３９は、投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点の検出に関する処理を行う。姿勢推定部２４０は、投影撮像装置１０２の姿勢推定に関する処理を行う。投影面形状推定部２４１は、投影面１０４の形状推定に関する処理を行う。補正情報更新部２４２は、補正情報の更新に関する処理を行う。

なお、これらの各処理部は、ソフトウェアにより実現することもできる。その場合、制御部２０１は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等の、プログラムを実行したり、データを処理したりすることができる構成を有する。そして、制御部２０１は、例えば、記憶部２１３等から読み出したプログラムを内蔵するRAM等にロードして実行したり、記憶部２１３等から読み出したデータを処理したりすることにより、各種処理を行う。この場合、処理制御部２３１乃至補正情報更新部２４２の各処理部は、機能ブロックとして実現される。つまり、制御部２０１は、プログラムを実行することにより、処理制御部２３１乃至補正情報更新部２４２の各種機能を実現する。

＜投影撮像装置の外観＞
図１１に投影撮像装置１０２の外観の例を示す。投影撮像装置１０２は、上述したように投影部１１１と撮像部１１２を有しており、その筐体には、画像を投影するための投射口（レンズ機構）３０１や、被写体を撮像するための撮像口（レンズ機構）３０２等の光学デバイスが設けられている。また、投影撮像装置１０２は、どのような大きさの装置であってもよいが、例えば、携帯型（小型）の装置としてもよい。その場合、図１１に示されるように、投影撮像装置１０２の筐体にバッテリ３０３を設けるようにしてもよい。バッテリ３０３を設けることにより、外部電源なしに投影撮像装置１０２を駆動させることができるので、その設置位置の自由度を向上させることができる。

＜投影撮像装置＞
図１２は、投影撮像装置１０２の主な構成例を示すブロック図である。

図１２に示されるように、投影撮像装置１０２は、制御部３１１、投影部１１１、撮像部１１２、センサ部３１２、入力部３２１、出力部３２２、記憶部３２３、通信部３２４、およびドライブ３２５を有する。

制御部３１１は、例えば、CPU、ROM、RAM等を有し、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。

センサ部３１２は、例えば加速度センサや各速度センサ等の、投影撮像装置１０２の姿勢の変化を検出することができるセンサを有する。このセンサは、投影撮像装置１０２の姿勢の変化を検出することができるものであれば、どのような情報をセンシングするものであってもよい。センサ部３１２は、制御部３１１に制御されて所定のパラメータをセンシングし、その検出結果を制御部３１１に供給する。

投影部１１１は、制御部３１１に制御されて、画像の投影に関する処理を行う。例えば、投影部１１１は、制御部３１１から供給される画像を投影撮像装置１０２の外部（例えば投影面１０４等）に投影する。つまり、投影部１１１は、投影機能を実現する。投影部１１１は、レーザ光を光源とし、MEMSミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部１１１の光源は任意であり、レーザ光に限らず、LED（Light Emitting Diode）やキセノン等であってもよい。投影部１１１の詳細については後述する。

撮像部１１２は、制御部３１１に制御されて、装置外部の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部３１１に供給する。つまり、撮像部１１２は、撮像機能を実現する。例えば、撮像部１１２は、投影部１１１が投影面１０４に投影した投影画像を撮像する。

入力部３２１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部３２１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、光センサ、温度センサ等の各種センサが入力部３２１に含まれるようにしてもよい。

出力部３２２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部３２２には、ディスプレイ、スピーカ、出力端子等が含まれる。

記憶部３２３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部３２４は、例えば、ネットワークインタフェースよりなる。例えば、通信部３２４は、通信ケーブル１０３に接続され、通信ケーブル１０３を介して接続される他の装置と通信を行う。ドライブ３２５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３３１を駆動する。

＜投影部＞
図１３は、投影部１１１の主な構成例を示すブロック図である。図１３に示されるように、投影部１１１は、ビデオプロセッサ３５１、レーザドライバ３５２、レーザ出力部３５３−１、レーザ出力部３５３−２、レーザ出力部３５３−３、ミラー３５４−１、ミラー３５４−２、ミラー３５４−３、MEMS（Micro Electro Mechanical Systems）ドライバ３５５、および、MEMSミラー３５６を有する。

ビデオプロセッサ３５１は、制御部３１１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ３５１は、その投影する画像をレーザドライバ３５２やMEMSドライバ３５５に供給する。

レーザドライバ３５２は、ビデオプロセッサ３５１から供給される画像を投影するように、レーザ出力部３５３−１乃至レーザ出力部３５３−３を制御する。レーザ出力部３５３−１乃至レーザ出力部３５３−３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ３５２は、ビデオプロセッサ３５１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部３５３−１乃至レーザ出力部３５３−３を互いに区別して説明する必要が無い場合、レーザ出力部３５３と称する。

ミラー３５４−１は、レーザ出力部３５３−１から出力されるレーザ光を反射し、MEMSミラー３５６に誘導する。ミラー３５４−２は、レーザ出力部３５３−２から出力されるレーザ光を反射し、MEMSミラー３５６に誘導する。ミラー３５４−３は、レーザ出力部３５３−３から出力されるレーザ光を反射し、MEMSミラー３５６に誘導する。なお、ミラー３５４−１乃至ミラー３５４−３を互いに区別して説明する必要が無い場合、ミラー３５４と称する。

MEMSドライバ３５５は、ビデオプロセッサ３５１から供給される画像を投影するように、MEMSミラー３５６のミラーの駆動を制御する。MEMSミラー３５６は、MEMSドライバ３５５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図１４の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えば投影面１０４に照射される。これにより、ビデオプロセッサ３５１から供給される画像が投影面１０４に投影される。

なお、図１３の例においては、レーザ出力部３５３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部３５３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置１０２（投影部１１１）から出力されるレーザ光は、２本以下であってもよいし、４本以上であってもよい。そして、投影撮像装置１０２（投影部１１１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー３５４やMEMSミラー３５６の構成も任意であり、図１３の例に限定されない。もちろん、レーザ光の走査パターンは任意である。

＜補正情報更新処理の流れ＞
次に、図１５のフローチャートを参照して、制御装置１０１の制御部２０１により実行される補正情報更新処理の流れの例を説明する。

制御装置１０１の制御部２０１は、まず初期センシングを行う。図７を参照して上述したように、初期センシングにおいては、全ての投影撮像装置１０２について、幾何補正等に用いられる補正情報の更新に関する全ての処理が実行される。初期センシングが行われた後、画像投影部２３５は、投影制御部２３２を介して投影撮像装置１０２を制御し、コンテンツ等の画像を投影させる。投影撮像装置１０２の制御部３１１は、その制御に従って、投影部１１１を制御し、制御装置１０１から供給されるコンテンツ等の画像を投影面１０４に投影させる。

制御装置１０１は、その画像投影と並行して、補正情報更新処理を行い、必要に応じて、幾何補正等に用いられる補正情報の更新を行う。この補正情報更新処理は、各投影撮像装置１０２に対して実行される。なお、投影撮像装置１０２が１つずつ補正情報更新処理されるようにしてもよいし、複数の投影撮像装置１０２に対して並行して補正情報更新処理が行われるようにしてもよい。また、その処理順は任意であり、固定順であってもよいし、ランダムであってもよい。全ての投影撮像装置１０２に対して補正情報更新処理が行われるようにすればよい。

このような補正情報更新処理が開始されると、対応点変化検出部２３６は、ステップＳ１０１において、処理対象の投影撮像装置１０２と他の投影撮像装置１０２との間の投影部１１１と撮像部１１２との画素の対応点の変化を検出する。対応点変化検出部２３６は、投影制御部２３２および撮像制御部２３３を制御し、この検出処理を行う。つまり、対応点変化検出部２３６は、投影制御部２３２から投影部１１１が投影する画像を取得する。また、対応点変化検出部２３６は、撮像制御部２３３を介して投影撮像装置１０２に投影面１０４を撮像させ、その撮像画像を取得する。対応点変化検出部２３６は、それらの画像の位置合わせを行うことにより、処理対象の投影撮像装置１０２と他の投影撮像装置１０２との間の投影部１１１と撮像部１１２との画素の対応点の変化を監視し、変化した場合は、その変化を検出する。

ステップＳ１０２において、センサ情報変化検出部２３７は、処理対象の投影撮像装置１０２のセンサ部３１２により得られるセンサ情報の変化を検出する。センサ情報変化検出部２３７は、センサ制御部２３４を制御して、この検出処理を行う。つまり、センサ情報変化検出部２３７は、センサ制御部２３４を介して、処理対象の投影撮像装置１０２のセンサ部３１２からセンサ出力を取得する。そして、センサ情報変化検出部２３７は、そのセンサ出力に基づいて、センサ情報の時間方向の変化を検出する。

ステップＳ１０３において、変化判定部２３８は、処理対象の投影撮像装置１０２の姿勢が変化したか否かを判定する。ステップＳ１０２においてセンサ情報の変化が検出され、処理対象の投影撮像装置１０２の姿勢が変化したと判定された場合、処理は、ステップＳ１０４に進む。

ステップＳ１０４において、対応点検出部２３９は、処理対象の投影撮像装置１０２に関する画素の対応点の検出を行う。

ステップＳ１０５において、姿勢推定部２４０は、ステップＳ１０４の処理結果（画素対応点検出結果）を用いて、処理対象の投影撮像装置１０２の姿勢を推定する。すなわち、姿勢推定部２４０は、処理対象の投影撮像装置１０２の、姿勢が変化していない他の投影撮像装置１０２に対する相対姿勢を推定する。

ステップＳ１０６において、投影面形状推定部２４１は、投影面１０４の形状を推定する。ステップＳ１０６の処理が終了すると、処理はステップＳ１１０に進む。

また、ステップＳ１０２においてセンサ情報の変化が検出されておらず、ステップＳ１０３において処理対象の投影撮像装置１０２の姿勢が変化していないと判定された場合、処理はステップＳ１０７に進む。

ステップＳ１０７において、変化判定部２３８は、ステップＳ１０１の処理結果に基づいて、投影面１０４の形状が変化した否かを判定する。例えば、処理対象の投影撮像装置１０２の姿勢が変化していないのに、処理対象の投影撮像装置１０２に関する画素の対応点が変化した場合、投影面１０４の形状が変化している。このようにして、投影面１０４の形状が変化したと判定された場合、処理はステップＳ１０８に進む。

ステップＳ１０８において、対応点検出部２３９は、処理対象の投影撮像装置１０２に関する画素の対応点の検出を行う。なお、この場合、処理対象の投影撮像装置１０２の姿勢は変化していないので、姿勢の推定は省略される。

ステップＳ１０９において、投影面形状推定部２４１は、投影面１０４の形状を推定する。ステップＳ１０９の処理が終了すると、処理はステップＳ１１０に進む。

ステップＳ１１０において、補正情報更新部２４２は、以上の各処理により情報が更新、追加、若しくは削除された場合、その情報の更新、追加、若しくは削除を補正情報に反映させるように補正情報を更新する。

ステップＳ１１０の処理が終了すると、補正情報更新処理が終了する。また、ステップＳ１０７において、投影面１０４の形状が変化していないと判定された場合、補正情報更新処理が終了する。この場合、処理対象の投影撮像装置１０２の姿勢も変化せず、かつ、投影面１０４の、処理対象の投影撮像装置１０２に関連する部分の形状も変化していない。したがって、幾何補正等に用いられる補正情報の更新に関する処理は全て省略される。

以上のように、対応点検出部２３９が、ステップＳ１０４において、姿勢が変化した投影撮像装置１０２と姿勢が変化していない投影撮像装置１０２との間で、投影部１１１の画素と撮像部１１２の画素との対応点を検出する。そして、姿勢推定部２４０が、ステップＳ１０５において、その検出された画素の対応点に基づいて、姿勢が変化した投影撮像装置１０２の、姿勢が変化していない投影撮像装置１０２に対する相対姿勢を推定する。

従って、制御装置１０１は、例えば、姿勢が変化していない投影撮像装置１０２同士の相対姿勢の推定を省略する等、不要な処理の実行を抑制することができる。つまり、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大を抑制することができる。

また、対応点変化検出部２３６が、ステップＳ１０１において、投影撮像装置１０２の投影部１１１の画素と撮像部１１２の画素との対応点の変化を検出する。そして、センサ情報変化検出部２３７が、ステップＳ１０２において、投影撮像装置１０２が有する位置および方向の少なくともいずれか１つを検出するセンサ部のセンサ出力に基づいて、投影撮像装置の姿勢変化を検出する。さらに、変化判定部２３８が、対応点変化検出部２３６の検出結果とセンサ情報変化検出部２３７の検出結果とに基づいて、ステップＳ１０３において、投影撮像装置１０２の姿勢が変化したか否かを判定する。

そして、対応点検出部２３９が、ステップＳ１０４において、変化判定部２３８により姿勢が変化したと判定された投影撮像装置１０２と、変化判定部２３８により姿勢が変化していないと判定された投影撮像装置１０２との間で対応点を検出する。また、姿勢推定部２４０は、ステップＳ１０５において、変化判定部２３８により姿勢が変化したと判定された投影撮像装置１０２の、変化判定部２３８により姿勢が変化していないと判定された投影撮像装置１０２に対する相対姿勢を推定する。

従って、制御装置１０１は、例えば、姿勢が変化していない投影撮像装置１０２同士の相対姿勢の推定を省略する等、不要な処理の実行を抑制することができる。つまり、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大を抑制することができる。

また、対応点検出部２３９が、さらに、ステップＳ１０４において、姿勢が変化した投影撮像装置１０２の投影部１１１の画素と撮像部１１２の画素との対応点を検出する。そして、投影面形状推定部２４１が、ステップＳ１０６において、対応点検出部２３９により検出された、姿勢が変化した投影撮像装置１０２の投影部１１１の画素と撮像部１１２の画素との対応点に基づいて、投影面１０４の形状を推定する。

従って、制御装置１０１は、投影画像の、例えば姿勢が変化した投影撮像装置１０２による投影範囲のような、形状が未知の部分を含む可能性がある領域を特定して形状推定を行うことができ、例えば明らかに形状が既知の部分に対する形状推定を省略する等、不要な処理の実行を抑制することができる。つまり、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大を抑制することができる。

また、対応点検出部２３９が、さらに、ステップＳ１０８において、姿勢が変化していない投影撮像装置１０２の投影部１１１の画素と撮像部１１２の画素との対応点を検出する。さらに、投影面形状推定部２４１が、対応点検出部２３９により検出された、姿勢が変化していない投影撮像装置１０２の投影部１１１の画素と撮像部１１２の画素との対応点に基づいて、投影面１０４の形状を推定するようにする。

このようにすることにより、制御装置１０１は、投影撮像装置１０２の姿勢が変化しない場合であっても、画素の対応点の変化から投影面１０４の形状変化を検出し、その変化した投影面の形状を推定することができる。したがって、例えば明らかに形状が既知の部分に対する形状推定を省略する等、不要な処理の実行を抑制することができる。つまり、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大を抑制することができる。

換言するに、制御装置１０１の対応点検出部２３９が、姿勢が変化していない投影撮像装置１０２の投影部１１１の画素と撮像部１１２の画素との対応点を検出し、投影面形状推定部２４１が、その対応点検出部２３９により検出された、姿勢が変化していない投影撮像装置１０２の投影部１１１の画素と撮像部１１２の画素との対応点に基づいて、投影面１０４の形状を推定する。

このようにすることにより、制御装置１０１は、投影面１０４の形状が変化した部分を特定し、その部分について投影面１０４の形状を推定することができる。したがって、例えば明らかに形状が既知の部分に対する形状推定を省略する等、不要な処理の実行を抑制することができる。つまり、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大を抑制することができる。

＜対応点検出処理の流れ＞
次に、図１６のフローチャートを参照して、図１５のステップＳ１０４において実行される対応点検出処理の流れの例を説明する。

対応点検出処理が開始されると、対応点検出部２３９は、ステップＳ１３１において、投影制御部２３２を介して処理対象でない他の投影撮像装置１０２の投影部１１１を制御し、所定のパターン画像を投影させる。

ステップＳ１３２において、対応点検出部２３９は、撮像制御部２３３を介して処理対象の投影撮像装置１０２の撮像部１１２を制御し、ステップＳ１３１の処理により投影された投影画像（パターン画像）を撮像させる。

ステップＳ１３３において、対応点検出部２３９は、他の投影撮像装置１０２の投影部１１１の画素と、処理対象の投影撮像装置１０２の撮像部１１２の画素との対応点を検出する。つまり、対応点検出部２３９は、ステップＳ１３１の処理において投影させたパターン画像、ステップＳ１３２の処理において撮像して得られた撮像画像（パターン画像を含む撮像画像）とに基づいて、この対応点を検出する。

ステップＳ１３４において、対応点検出部２３９は、投影制御部２３２を介して処理対象の投影撮像装置１０２の投影部１１１を制御し、所定のパターン画像を投影させる。

ステップＳ１３５において、対応点検出部２３９は、撮像制御部２３３を介して処理対象の投影撮像装置１０２の撮像部１１２を制御し、ステップＳ１３４の処理により投影された投影画像（パターン画像）を撮像させる。

ステップＳ１３６において、対応点検出部２３９は、処理対象の投影撮像装置１０２の投影部１１１の画素と撮像部１１２の画素との対応点を検出する。つまり、対応点検出部２３９は、ステップＳ１３４の処理において投影させたパターン画像、ステップＳ１３５の処理において撮像して得られた撮像画像（パターン画像を含む撮像画像）とに基づいて、この対応点を検出する。

以上のように画素対応点が検出されると、対応点検出処理が終了し、処理は図１５に戻る。

以上のように、対応点検出部２３９は、姿勢が変化した投影撮像装置１０２の撮像部１１２と、姿勢が変化していない投影撮像装置１０２の投影部１１１との画素の対応点を検出するとともに、姿勢が変化した投影撮像装置１０２の投影部１１１と撮像部１１２との画素の対応点を検出する。これにより、補正情報更新処理（図１５）において、姿勢推定部２４０が、姿勢が変化した投影撮像装置１０２の姿勢を推定することができるとともに、投影面１０４の形状推定を行うことができる。つまり、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大を抑制することができる。

＜投影面形状推定処理の流れ＞
次に、図１７のフローチャートを参照して、図１５のステップＳ１０６において実行される投影面形状推定処理の流れの例を説明する。

投影面形状推定処理が開始されると、投影面形状推定部２４１は、ステップＳ１５１において、投影制御部２３２を制御し、処理対象の投影撮像装置１０２の投影部１１１が画像を投影する投影面１０４の投影範囲を推定する。例えば、投影面形状推定部２４１は、ステップＳ１０５（図１５）の処理により推定された処理対象の投影撮像装置１０２の姿勢等に基づいて、上述の投影範囲を推定する。

ステップＳ１５２において、投影面形状推定部２４１は、その推定した投影範囲に、投影面１０４の未知の部分が含まれるか否かを判定する。未知の部分が含まれると判定された場合、処理はステップＳ１５３に進む。

ステップＳ１５３において、投影面形状推定部２４１は、その未知の部分について投影面１０４の形状を推定する。例えば、投影面形状推定部２４１は、ステップＳ１３６（図１６）の処理により検出された、処理対象の投影撮像装置１０２の投影部１１１と撮像部１１２との画素対応点に基づいて、その未知の部分について投影面１０４の形状を推定する。

投影面１０４の形状が推定されると、投影面形状推定処理が終了し、処理は図１５に戻る。また、ステップＳ１５２において、投影範囲に未知の部分が含まれないと判定された場合、投影面形状推定処理が終了し、処理は図１５に戻る。つまり、この場合、ステップＳ１５３の処理（投影面形状推定）が省略される。

以上のように、投影面形状推定部２４１は、投影面１０４の、姿勢が変化した投影撮像装置１０２の投影部１１１により画像が投影される範囲内の、形状が未知の部分について、投影面１０４の形状を推定する。したがって、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大をさらに抑制することができる。

＜対応点検出処理の流れ＞
次に、図１８のフローチャートを参照して、図１５のステップＳ１０８において実行される対応点検出処理の流れの例を説明する。

対応点検出処理が開始されると、対応点検出部２３９は、ステップＳ１７１において、投影制御部２３２を介して処理対象の投影撮像装置１０２の投影部１１１を制御し、所定のパターン画像を投影させる。

ステップＳ１７２において、対応点検出部２３９は、撮像制御部２３３を介して処理対象の投影撮像装置１０２の撮像部１１２を制御し、ステップＳ１７１の処理により投影された投影画像（パターン画像）を撮像させる。

ステップＳ１７３において、対応点検出部２３９は、処理対象の投影撮像装置１０２の投影部１１１の画素と撮像部１１２の画素との対応点を検出する。つまり、対応点検出部２３９は、ステップＳ１７１の処理において投影させたパターン画像、ステップＳ１７２の処理において撮像して得られた撮像画像（パターン画像を含む撮像画像）とに基づいて、この対応点を検出する。

以上のように画素対応点が検出されると、対応点検出処理が終了し、処理は図１５に戻る。

つまり、この場合、処理対象の投影撮像装置１０２の姿勢が変化していないので、この投影撮像装置１０２の姿勢の推定が省略される。したがって、その姿勢推定に用いられる投影撮像装置１０２間の投影部１１１と撮像部１１２との画素の対応点の検出に関する処理（図１６のステップＳ１３１乃至ステップＳ１３３の各処理）も省略される。したがって、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大をさらに抑制することができる。

＜投影面形状推定処理の流れ＞
次に、図１９のフローチャートを参照して、図１５のステップＳ１０９において実行される投影面形状推定処理の流れの例を説明する。

投影面形状推定処理が開始されると、投影面形状推定部２４１は、ステップＳ１９１において、ステップＳ１７３（図１８）の処理結果に基づいて、処理対象の投影撮像装置１０２の投影部１１１と撮像部１１２との画素の対応点の変化部分を特定する。

ステップＳ１９２において、投影面形状推定部２４１は、投影面１０４の形状が未知の部分（ステップＳ１９１において特定された画素の対応点の変化部分）について投影面１０４の形状を推定する。この処理は、ステップＳ１５３の処理（図１７）の場合と同様に実行される。投影面１０４の形状が推定されると、投影面形状推定処理が終了し、処理は図１５に戻る。

以上のように、投影面形状推定部２４１は、形状が未知の部分について投影面１０４の形状を推定する。したがって、制御装置１０１は、幾何補正等に用いられる補正情報の更新に関する処理の処理量（処理時間）の増大をさらに抑制することができる。

以上のように各処理を実行することにより、制御装置１０１は、変化要因に応じた処理のみを行うことができ、幾何補正等に用いられる補正情報の更新に関する処理の処理量の増大を抑制することができる。

＜２．第２の実施の形態＞
＜対応点検出処理＞
なお、以上においては、投影撮像装置１０２間で投影部１１１と撮像部１１２との画素の対応点を求める際に、他の投影撮像装置１０２の投影部１１１からパターン画像を投影させ、処理対象の投影撮像装置１０２の撮像部１１２によりその投影画像を撮像させるように説明したが、この画像の投影と撮像とは互いに逆であってもよい。すなわち、処理対象の投影撮像装置１０２の投影部１１１からパターン画像を投影させ、他の投影撮像装置１０２の撮像部１１２によりその投影画像を撮像させるようにしてもよい。つまり、他の投影撮像装置１０２の撮像部１１２の画素と、処理対象の投影撮像装置１０２の投影部１１１の画素との対応点を検出するようにしてもよい。処理対象の投影撮像装置１０２の姿勢は、この対応点からも、第１の実施の形態の場合と同様に推定することができる。

その場合の、図１５のステップＳ１０４において実行される対応点検出処理の流れの例を、図２０のフローチャートを参照して説明する。

対応点検出処理が開始されると、対応点検出部２３９は、ステップＳ２１１において、投影制御部２３２を介して処理対象の投影撮像装置１０２の投影部１１１を制御し、所定のパターン画像を投影させる。

ステップＳ２１２において、対応点検出部２３９は、撮像制御部２３３を介して、処理対象の投影撮像装置１０２の撮像部１１２と、処理対象でない他の投影撮像装置１０２の撮像部１１２とを制御し、ステップＳ２１１の処理により投影された投影画像（パターン画像）をそれぞれ撮像させる。

ステップＳ２１３において、対応点検出部２３９は、他の投影撮像装置１０２の撮像部１１２の画素と、処理対象の投影撮像装置１０２の投影部１１１の画素との対応点を検出する。つまり、対応点検出部２３９は、ステップＳ２１１の処理において投影させたパターン画像、ステップＳ２１２の処理において撮像して得られた撮像画像（パターン画像を含む撮像画像）とに基づいて、この対応点を検出する。

ステップＳ２１４において、対応点検出部２３９は、処理対象の投影撮像装置１０２の投影部１１１の画素と撮像部１１２の画素との対応点を検出する。つまり、対応点検出部２３９は、ステップＳ２１１の処理において投影させたパターン画像、ステップＳ２１２の処理において撮像して得られた撮像画像（パターン画像を含む撮像画像）とに基づいて、この対応点を検出する。

以上のように画素対応点が検出されると、対応点検出処理が終了し、処理は図１５に戻る。

つまり、対応点検出部２３９は、姿勢が変化した投影撮像装置１０２の投影部１１１の画素と、姿勢が変化していない投影撮像装置１０２の撮像部１１２の画素との対応点を検出する。この場合も、制御装置１０１は、第１の実施の形態の場合と同様に、変化要因に応じた処理のみを行うことができ、幾何補正等に用いられる補正情報の更新に関する処理の処理量の増大を抑制することができる。

＜３．第３の実施の形態＞
＜投影撮像システムの構成例＞
なお、本技術を適用した投影撮像装置や投影撮像システムの構成例は、上述した例に限定されない。例えば、図２１のＡに示される投影撮像システム４００のように、制御装置１０１を省略するようにしてもよい。つまり、幾何補正等に用いられる補正情報の更新に関する処理は、制御装置１０１以外の装置で行われるようにしてもよい。例えば、投影撮像装置１０２が行うようにしてもよい。

図２１のＡの例では、投影撮像装置１０２が、上述した幾何補正等に用いられる補正情報の更新に関する処理を行う。この場合、各投影撮像装置１０２に入力画像が入力され、各投影撮像装置１０２において、画像の補正が行われる。各投影撮像装置１０２がHDMI（登録商標）ケーブルのような通信ケーブルで互いに接続されており、各種情報を各投影撮像装置１０２の間で共有されている。したがって、どの投影撮像装置１０２が上述した幾何補正等に用いられる補正情報の更新に関する処理を行うようにすることもできる。

例えば、投影撮像装置１０２−１乃至投影撮像装置１０２−４のいずれかが上述した幾何補正等に用いられる補正情報の更新に関する処理を行い、その処理結果を他の投影撮像装置１０２と共有するようにしてもよい。また、複数の投影撮像装置１０２が協働して上述した幾何補正等に用いられる補正情報の更新に関する処理を行い、その処理結果が各投影撮像装置１０２により共有されるようにしてもよい。

以上のように、投影撮像装置が幾何補正等に用いられる補正情報の更新に関する処理を行う場合であっても、第１の実施の形態や第２の実施の形態の場合と同様に処理を行うことができる。

つまり、画像を投影面１０４に投影する投影部１１１と、投影面１０４を撮像する撮像部１１２と、位置および方向の少なくともいずれか一方を検出するセンサ部３１２と、そのセンサ部３１２のセンサ出力に基づいて姿勢が変化したか否かを判定する変化判定部２３８と、変化判定部２３８により姿勢が変化したと判定された場合、姿勢が変化していない、投影部１１１、撮像部１１２、およびセンサ部３１２を備える他の投影撮像装置１０２との間で、投影部１１１の画素と撮像部１１２の画素との対応点を検出する対応点検出部２３９と、対応点検出部２３９により検出された対応点に基づいて、他の投影撮像装置１０２に対する相対姿勢を推定する姿勢推定部２４０とを備えるようにする。

これにより、制御装置１０１は、変化要因に応じた処理のみを行うことができ、幾何補正等に用いられる補正情報の更新に関する処理の処理量の増大を抑制することができる。

なお、対応点検出部２３９が、他の投影撮像装置１０２の投影部１１１の画素と、投影撮像装置１０２自身の撮像部１１２の画素との対応点を検出するようにしてもよい。

また、対応点検出部２３９が、投影撮像装置１０２自身の投影部１１１の画素と、他の投影撮像装置１０２の撮像部１１２の画素との対応点を検出するようにしてもよい。

さらに、投影撮像装置１０２自身の投影部１１１の画素と撮像部１１２の画素との対応点の変化を検出する対応点変化検出部２３６と、センサ部３１２のセンサ出力に基づいて、投影撮像装置１０２自身の姿勢変化を検出するセンサ情報変化検出部２３７とをさらに備え、変化判定部２３８は、対応点変化検出部２３６の検出結果とセンサ情報変化検出部２３７の検出結果とに基づいて、投影撮像装置１０２自身の姿勢が変化したか否かを判定するように構成されるようにしてもよい。

また、対応点検出部２３９は、さらに、投影撮像装置１０２自身の投影部１１１の画素と撮像部１１２の画素との対応点を検出するようにしてもよい。さらに、対応点検出部２３９により検出された投影撮像装置１０２自身の投影部１１１の画素と撮像部１１２の画素との対応点に基づいて、投影面１０４の形状を推定する投影面形状推定部２４１をさらに備えるようにしてもよい。

投影面形状推定部２４１は、投影面１０４の、投影撮像装置１０２自身の投影部１１１により画像が投影される範囲内の、形状が未知の部分について、投影面１０４の形状を推定するようにしてもよい。

また、画像を投影面に投影する投影部と、投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部３１２と、センサ部３１２のセンサ出力に基づいて姿勢が変化したか否かを判定する変化判定部２３８と、変化判定部２３８により姿勢が変化していないと判定された場合、投影撮像装置１０２自身の投影部１１１の画素と撮像部１１２の画素との対応点を検出する対応点検出部２３９と、対応点検出部２３９により検出された対応点に基づいて、投影面１０４の形状を推定する投影面形状推定部２４１とを備えるようにしてもよい。

以上のようにすることにより、投影撮像装置が幾何補正等に用いられる補正情報の更新に関する処理を行う場合であっても、第１の実施の形態や第２の実施の形態の場合と同様に処理を行うことができる。

また、図２１のＢに示される投影撮像システム４１０のように、各投影撮像装置の構成が互いに異なるようにしてもよい。図２１のＢに示されるように、投影撮像システム４１０は、任意の通信媒体網であるネットワーク３０２に通信可能に接続される投影撮像装置４１１、投影撮像装置４１２、投影撮像装置４１３を有する。

投影撮像装置４１１は、２つの投影部１１１（投影部１１１−１−１および投影部１１１−１−２）と１つの撮像部１１２−１とを有する。投影撮像装置４１２は、１つの投影部１１１−２と１つの撮像部１１２−２とを有する。投影撮像装置４１３は、１つの投影部１１１−３と２つの撮像部１１２（撮像部１１２−３−１および撮像部１１２−３−２）とを有する。

このように各投影撮像装置の構成が互いに異なる場合であっても、第１の実施の形態や第２の実施の形態の場合と同様に処理を行うことができる。つまり、この投影撮像システム４１０の場合も、幾何補正等に用いられる補正情報の更新に関する処理の処理量の増大を抑制することができる。

＜ソフトウェア＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

例えば図１０の制御装置１０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア２２１により構成される。このリムーバブルメディア２２１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。その場合、例えば、リムーバブルメディア２２１をドライブ２１５に装着することにより、そのリムーバブルメディア２２１に記憶されているこのプログラムを読み出させ、記憶部２１３にインストールさせることができる。

また例えば図１２の投影撮像装置１０２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア３３１により構成される。このリムーバブルメディア３３１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MDを含む）や半導体メモリ等も含まれる。その場合、例えば、リムーバブルメディア３３１をドライブ３６５に装着することにより、そのリムーバブルメディア３３１に記憶されているこのプログラムを読み出させ、記憶部３２３にインストールさせることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図１０の制御装置１０１の場合、プログラムは、通信部２１４で受信し、記憶部２１３にインストールすることができる。また、例えば図１２の投影撮像装置１０２の場合、プログラムは、通信部３２４で受信し、記憶部３２３にインストールすることができる。

その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば図１０の制御装置１０１の場合、プログラムは、記憶部２１３や制御部２０１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。また、例えば図１２の投影撮像装置１０２の場合、プログラムは、記憶部３２３や制御部３１１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

＜その他＞
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間の、前記投影部の画素と前記撮像部の画素との対応点に基づいて、姿勢が変化した前記投影撮像装置の、姿勢が変化していない前記投影撮像装置に対する相対姿勢を推定する相対姿勢推定部と
を備える情報処理装置。
（２） 前記対応点検出部は、姿勢が変化していない前記投影撮像装置の前記投影部の画素と、姿勢が変化した前記投影撮像装置の前記撮像部の画素との対応点を検出する
（１）に記載の情報処理装置。
（３） 前記対応点検出部は、姿勢が変化した前記投影撮像装置の前記投影部の画素と、姿勢が変化していない前記投影撮像装置の前記撮像部の画素との対応点を検出する
（１）または（２）に記載の情報処理装置。
（４） 前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点の変化を検出する対応点変化検出部と、
前記投影撮像装置が有する位置および方向の少なくともいずれか１つを検出するセンサ部のセンサ出力に基づいて、前記投影撮像装置の姿勢変化を検出する姿勢変化検出部と、
前記対応点変化検出部の検出結果と前記姿勢変化検出部の検出結果とに基づいて、前記投影撮像装置の姿勢が変化したか否かを判定する変化判定部と
をさらに備え、
前記対応点検出部は、前記変化判定部により姿勢が変化したと判定された前記投影撮像装置と、前記変化判定部により姿勢が変化していないと判定された前記投影撮像装置との間で前記対応点を検出するように構成され、
前記相対姿勢推定部は、前記変化判定部により姿勢が変化したと判定された前記投影撮像装置の、前記変化判定部により姿勢が変化していないと判定された前記投影撮像装置に対する相対姿勢を推定するように構成される
（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記対応点検出部は、さらに、姿勢が変化した前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
前記対応点検出部により検出された、姿勢が変化した前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備える
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記対応点検出部は、さらに、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
前記対応点検出部により検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備える
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記投影面形状推定部は、前記投影面の、姿勢が変化した前記投影撮像装置の前記投影部により画像が投影される範囲内の、形状が未知の部分について、前記投影面の形状を推定する
（５）または（６）に記載の情報処理装置。
（８） 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間の、前記投影部の画素と前記撮像部の画素との対応点に基づいて、姿勢が変化した前記投影撮像装置の、姿勢が変化していない前記投影撮像装置に対する相対姿勢を推定する
情報処理方法。
（９） 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部と
を備える情報処理装置。
（１０） 前記投影面形状推定部は、形状が未知の部分について前記投影面の形状を推定する
（９）に記載の情報処理装置。
（１１） 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する
情報処理方法。
（１２） 画像を投影面に投影する投影部と、
前記投影面を撮像する撮像部と、
位置および方向の少なくともいずれか一方を検出するセンサ部と、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定する判定部と、
前記判定部により姿勢が変化したと判定された場合、姿勢が変化していない、前記投影部、前記撮像部、および前記センサ部を備える他の投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された前記対応点に基づいて、前記他の投影撮像装置に対する相対姿勢を推定する相対姿勢推定部と
を備える投影撮像装置。
（１３） 前記対応点検出部は、前記他の投影撮像装置の前記投影部の画素と、前記投影撮像装置自身の前記撮像部の画素との対応点を検出する
（１２）に記載の投影撮像装置。
（１４） 前記対応点検出部は、前記投影撮像装置自身の前記投影部の画素と、前記他の投影撮像装置の前記撮像部の画素との対応点を検出する
（１２）または（１３）に記載の投影撮像装置。
（１５） 前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点の変化を検出する対応点変化検出部と、
前記センサ部のセンサ出力に基づいて、前記投影撮像装置自身の姿勢変化を検出する姿勢変化検出部と
をさらに備え、
前記判定部は、前記対応点変化検出部の検出結果と前記姿勢変化検出部の検出結果とに基づいて、前記投影撮像装置自身の姿勢が変化したか否かを判定するように構成される
（１２）乃至（１４）のいずれかに記載の投影撮像装置。
（１６） 前記対応点検出部は、さらに、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
前記対応点検出部により検出された前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備える
（１２）乃至（１５）のいずれかに記載の投影撮像装置。
（１７） 前記投影面形状推定部は、前記投影面の、前記投影撮像装置自身の前記投影部により画像が投影される範囲内の、形状が未知の部分について、前記投影面の形状を推定する
（１６）に記載の投影撮像装置。
（１８） 画像を投影面に投影する投影部と、前記投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部とを備える投影撮像装置の情報処理方法であって、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定し、
姿勢が変化したと判定された場合、姿勢が変化していない、前記投影部、前記撮像部、および前記センサ部を備える他の投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された前記対応点に基づいて、前記他の投影撮像装置に対する相対姿勢を推定する
情報処理方法。
（１９） 画像を投影面に投影する投影部と、
前記投影面を撮像する撮像部と、
位置および方向の少なくともいずれか一方を検出するセンサ部と、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定する判定部と、
前記判定部により姿勢が変化していないと判定された場合、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された前記対応点に基づいて、前記投影面の形状を推定する投影面形状推定部と
を備える投影撮像装置。
（２０） 画像を投影面に投影する投影部と、前記投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部とを備える投影撮像装置の情報処理方法であって、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定し、
姿勢が変化していないと判定された場合、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された前記対応点に基づいて、前記投影面の形状を推定する
情報処理方法。

１００ 投影撮像システム， １０１ 制御装置， １０２ 投影撮像装置， １０３ 通信ケーブル， １０４ 投影面， １０５ 投影画像， １０６ 入力画像， １０７ 補正された投影画像 １１１ 投影部， １１２ 撮像部， １２１ 立体物， ２０１ 制御部， ２３１ 処理制御部， ２３２ 投影制御部， ２３３ 撮像制御部， ２３４ センサ制御部， ２３５ 画像投影部， ２３６ 対応点変化検出部， ２３７ センサ情報変化検出部， ２３８ 変化判定部， ２３９ 対応点検出部， ２４０ 姿勢推定部， ２４１ 投影面形状推定部， ２４２ 補正情報更新部， ３０１ 投射口， ３０２ 撮像口， ３０３ バッテリ， ３１１ 制御部， ３１２ センサ部， ４００ 投影撮像システム， ４１０ 投影撮像システム， ４１１ 投影撮像装置， ４１２ 投影撮像装置， ４１３ 投影撮像装置， ４１４ ネットワーク

Claims (15)

1. 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間で前記投影部の画素と前記撮像部の画素との対応点を検出し、姿勢が変化していない前記投影撮像装置同士の間で前記対応点の検出を省略する対応点検出部と、
   前記対応点検出部により検出された前記対応点に基づいて、姿勢が変化した前記投影撮像装置のみ、姿勢が変化していない前記投影撮像装置に対する相対姿勢を推定する相対姿勢推定部と、
   前記対応点検出部により検出された前記対応点と、前記相対姿勢推定部により推定された前記相対姿勢とに基づいて、前記画像の幾何補正に用いられる補正情報を更新する補正情報更新部と
   を備える情報処理装置。
2. 前記対応点検出部は、姿勢が変化していない前記投影撮像装置の前記投影部の画素と、
   姿勢が変化した前記投影撮像装置の前記撮像部の画素との対応点を検出する
   請求項１に記載の情報処理装置。
3. 前記対応点検出部は、姿勢が変化した前記投影撮像装置の前記投影部の画素と、姿勢が変化していない前記投影撮像装置の前記撮像部の画素との対応点を検出する
   請求項１に記載の情報処理装置。
4. 前記投影撮像装置が有する位置および方向の少なくともいずれか１つを検出するセンサ部のセンサ出力に基づいて、前記投影撮像装置の姿勢変化を検出する姿勢変化検出部をさらに備え、
   前記対応点検出部は、前記姿勢変化検出部により前記姿勢変化が検出された前記投影撮像装置と、前記姿勢変化が検出されていない前記投影撮像装置との間で前記対応点を検出するように構成され、
   前記相対姿勢推定部は、前記姿勢変化検出部により前記姿勢変化が検出された前記投影撮像装置の、前記姿勢変化が検出されていない前記投影撮像装置に対する相対姿勢を推定するように構成される
   請求項１に記載の情報処理装置。
5. 前記対応点検出部は、さらに、姿勢が変化した前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
   前記対応点検出部により検出された、姿勢が変化した前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備え、
   前記補正情報更新部は、さらに、前記投影面形状推定部により推定された前記投影面の形状に基づいて、前記補正情報を更新するように構成される
   請求項１に記載の情報処理装置。
6. 前記対応点検出部は、さらに、姿勢が変化していない前記投影撮像装置の前記投影部の
   画素と前記撮像部の画素との対応点を検出するように構成され、
   前記対応点検出部により検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備え、
   前記補正情報更新部は、さらに、前記投影面形状推定部により推定された前記投影面の形状に基づいて、前記補正情報を更新するように構成される
   請求項１に記載の情報処理装置。
7. 前記投影面形状推定部は、前記投影面の、姿勢が変化した前記投影撮像装置の前記投影部により画像が投影される範囲内の、形状が未知の部分について、前記投影面の形状を推定する
   請求項５または請求項６に記載の情報処理装置。
8. 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間で前記投影部の画素と前記撮像部の画素との対応点を検出し、姿勢が変化していない前記投影撮像装置同士の間で前記対応点の検出を省略し、
   検出された前記対応点に基づいて、姿勢が変化した前記投影撮像装置のみ、姿勢が変化していない前記投影撮像装置に対する相対姿勢を推定し、
   検出された前記対応点と、推定された前記相対姿勢とに基づいて、前記画像の幾何補正に用いられる補正情報を更新する
   情報処理方法。
9. 画像を投影面に投影する投影部と、
   前記投影面を撮像する撮像部と、
   位置および方向の少なくともいずれか一方を検出するセンサ部と、
   前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定する判定部と、
   前記判定部により姿勢が変化したと判定された場合のみ、姿勢が変化していない、前記投影部および前記撮像部を備える他の投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
   前記対応点検出部により検出された前記対応点に基づいて、前記他の投影撮像装置に対する相対姿勢を推定する相対姿勢推定部と、
   前記対応点検出部により検出された前記対応点と、前記相対姿勢推定部により推定された前記相対姿勢とに基づいて、前記画像の幾何補正に用いられる補正情報を更新する補正情報更新部と
   を備える投影撮像装置。
10. 前記対応点検出部は、前記他の投影撮像装置の前記投影部の画素と、前記投影撮像装置自身の前記撮像部の画素との対応点を検出する
    請求項９に記載の投影撮像装置。
11. 前記対応点検出部は、前記投影撮像装置自身の前記投影部の画素と、前記他の投影撮像装置の前記撮像部の画素との対応点を検出する
    請求項９に記載の投影撮像装置。
12. 前記センサ部のセンサ出力に基づいて、前記投影撮像装置自身の姿勢変化を検出する姿勢変化検出部をさらに備え、
    前記判定部は、前記姿勢変化検出部の検出結果に基づいて、前記投影撮像装置自身の姿勢が変化したか否かを判定するように構成される
    請求項９に記載の投影撮像装置。
13. 前記対応点検出部は、さらに、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
    前記対応点検出部により検出された前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備え、
    前記補正情報更新部は、さらに、前記投影面形状推定部により推定された前記投影面の形状に基づいて、前記補正情報を更新するように構成される
    請求項９に記載の投影撮像装置。
14. 前記投影面形状推定部は、前記投影面の、前記投影撮像装置自身の前記投影部により画像が投影される範囲内の、形状が未知の部分について、前記投影面の形状を推定する
    請求項１３に記載の投影撮像装置。
15. 画像を投影面に投影する投影部と、前記投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部とを備える投影撮像装置の情報処理方法であって、
    前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定し、
    姿勢が変化したと判定された場合のみ、姿勢が変化していない、前記投影部および前記撮像部を備える他の投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出し、
    検出された前記対応点に基づいて、前記他の投影撮像装置に対する相対姿勢を推定し、
    検出された前記対応点と、推定された前記相対姿勢とに基づいて、前記画像の幾何補正に用いられる補正情報を更新する
    情報処理方法。

Images