JP2016014720A - 情報処理装置および方法 - Google Patents
情報処理装置および方法 Download PDFInfo
- Publication number
- JP2016014720A JP2016014720A JP2014135791A JP2014135791A JP2016014720A JP 2016014720 A JP2016014720 A JP 2016014720A JP 2014135791 A JP2014135791 A JP 2014135791A JP 2014135791 A JP2014135791 A JP 2014135791A JP 2016014720 A JP2016014720 A JP 2016014720A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- projection
- imaging
- mutual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】より容易かつ高精度に投影部と撮像部との位置関係のキャリブレーションを行うことができるようにする。
【解決手段】本技術の情報処理装置は、所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する。本技術は、例えば、プロジェクタ若しくはカメラ、またはその両方の機能を備える電子機器、それらを制御するコンピュータ等に適用することができる。
【選択図】図１９
【解決手段】本技術の情報処理装置は、所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する。本技術は、例えば、プロジェクタ若しくはカメラ、またはその両方の機能を備える電子機器、それらを制御するコンピュータ等に適用することができる。
【選択図】図１９
Description
本技術は、情報処理装置および方法に関し、特に、より容易かつ高精度に投影部と撮像部との位置関係のキャリブレーションを行うことができるようにした情報処理装置および方法に関する。
従来、複数のプロジェクタを用いて画像を投影するシステムがあった。このようなシステムにおいては、各プロジェクタの投影画像を適切に繋げることにより、１つの画像を投影することができる。そのために、カメラ等により投影画像がセンシングされ、そのセンシング結果を用いて各プロジェクタにおいて投影する画像に対する補正が行われていた。
その補正の際、各カメラやプロジェクタの内部変数だけでなく、カメラやプロジェクタの位置関係等の外部変数が用いられるが、これらの変数は、システムの出荷時や設置時等にキャリブレーションされていた。例えば、グレイコードを用いてプロジェクタとカメラの画素の対応関係を検出する方法や、チェッカーとチェッカーの４隅のうちどれかが欠けたパターン画像を用いてプロジェクタとカメラの画素の対応関係を検出する方法が考えられた（例えば、非特許文献１参照）。
Ramesh Raskar, Jeroen van Baar, Paul Beardsley, Thomas Willwacher, Srinivas Rao, Clifton Forlines, "iLamps: Geometrically Aware and Self-Configuring Projectors", ACM SIGGRAPH 2003 Conference Proceedings
しかしながら、カメラやプロジェクタの位置関係等の外部変数は、システム設置後に経年変化する可能性があるが、その場合、改めて特殊な装置を用いてキャリブレーションする必要があり、複数のカメラやプロジェクタの全てについてこのようなキャリブレーションを行うためには煩雑な作業を必要とした。また、このような方法では、全てのキャリブレーションを高精度に行うことは困難であった。
本技術は、このような状況に鑑みて提案されたものであり、より容易かつ高精度に投影部と撮像部との位置関係のキャリブレーションを行うことができるようにすることを目的とする。
本技術の一側面は、所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する相互姿勢推定部を備える情報処理装置である。
前記相互姿勢推定部は、前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離に基づいて、前記相互姿勢を決定する変数を推定することができる。
前記相互姿勢推定部は、前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離の評価値を更新する更新部と、前記更新部により更新された前記評価値に基づいて、前記相互姿勢を決定する変数を推定する変数推定部とを備えることができる。
前記更新部は、前記撮像部が撮像する前記画像に含まれる処理対象の画素の前記所定の面における位置と、前記画素を投影する各投影部が投影する前記画像の前記画素の前記所定の面における位置との距離の２乗平均を前記評価値とすることができる。
前記変数推定部は、前記撮像部の回転行列、前記撮像部の並進ベクトル、前記投影部の回転行列、および前記投影部の並進ベクトルを含むようにすることができる。
前記投影部および前記撮像部を有する投影撮像装置同士の相互姿勢を仮の相互姿勢として推定する仮相互姿勢推定部をさらに備え、前記相互姿勢推定部は、前記仮相互姿勢推定部により推定された前記仮の相互姿勢を初期値として、前記相互姿勢を推定することができる。
前記仮相互姿勢推定部は、各投影撮像装置の投影面の位置の誤差が最小となるように前記仮の相互姿勢を推定することができる。
各投影撮像装置について、前記画像が投影される投影面に対する前記投影部および前記撮像部の相互姿勢を推定する投影面姿勢推定部をさらに備え、前記仮相互姿勢推定部は、前記投影面姿勢推定部により推定された前記投影面に対する前記投影部および前記撮像部の相互姿勢を用いて、前記仮の相互姿勢を推定することができる。
前記投影面姿勢推定部は、三角測量を行うことにより前記投影面を推定し、推定した前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定することができる。
前記投影面姿勢推定部は、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定することができる。
前記仮相互姿勢推定部は、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係に基づいて、前記仮の相互姿勢を推定することができる。
前記投影面姿勢推定部は、前記投影部に画素位置対応を求める際に用いるパターンを投影させ、前記撮像部に撮像させることにより検出される、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定することができる。
投影された画像を撮像し撮像画像を得る撮像部をさらに備え、前記相互姿勢推定部は、前記所定の面における、他の装置の投影部が投影する画像と前記撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相互姿勢を推定することができる。
画像を投影する投影部をさらに備え、前記相互姿勢推定部は、さらに、前記投影部と前記撮像部との相互姿勢を推定することができる。
前記相互姿勢推定部により推定された前記投影部と前記撮像部との相互姿勢に応じた変数を用いて、投影する画像を補正する画像処理を行う画像処理部をさらに備えることができる。
本技術の一側面は、また、所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する情報処理方法である。
本技術の一側面においては、所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢が推定される。
本技術によれば、画像に基づいて情報を処理することが出来る。また本技術によれば、より容易かつ高精度に投影部と撮像部との位置関係のキャリブレーションを行うことができる。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（投影撮像システム）
１．第１の実施の形態（投影撮像システム）
＜１．第１の実施の形態＞
＜外部変数の経年変化と再キャリブレーション＞
従来、複数のプロジェクタを用いて画像を投影するシステムがあった。このようなシステムにおいては、各プロジェクタの投影画像を適切に繋げることにより、１つの画像を投影することができる。そのために、カメラ等により投影画像がセンシングされ、そのセンシング結果を用いて各プロジェクタにおいて投影する画像に対する補正が行われていた。
＜外部変数の経年変化と再キャリブレーション＞
従来、複数のプロジェクタを用いて画像を投影するシステムがあった。このようなシステムにおいては、各プロジェクタの投影画像を適切に繋げることにより、１つの画像を投影することができる。そのために、カメラ等により投影画像がセンシングされ、そのセンシング結果を用いて各プロジェクタにおいて投影する画像に対する補正が行われていた。
その補正の際、各カメラやプロジェクタの内部変数だけでなく、カメラやプロジェクタの位置関係等の外部変数が用いられるが、これらの変数は、システムの出荷時や設置時等にキャリブレーションされていた。例えば、グレイコードを用いてプロジェクタとカメラの画素の対応関係を検出する方法や、非特許文献１に記載のような、チェッカーとチェッカーの４隅のうちどれかが欠けたパターン画像を用いてプロジェクタとカメラの画素の対応関係を検出する方法が考えられた。
しかしながら、カメラやプロジェクタの位置関係等の外部変数は、システム設置後に経年変化する可能性があるが、その場合、改めて特殊な装置を用いてキャリブレーションする必要があり、複数のカメラやプロジェクタの全てについてこのようなキャリブレーションを行うためには煩雑な作業を必要とした。また、このような方法では、全てのキャリブレーションを高精度に行うことは困難であった。
そこで、より容易かつ高精度に投影部と撮像部との位置関係のキャリブレーションを行うことができるように、所定の面における、投影部が投影する画像と撮像部が撮像する画像との相対位置関係に基づいて、投影部と撮像部との相対的な位置および方向である相互姿勢を推定する相互姿勢推定部を備えるようにする。
つまり、相互姿勢推定部は、共通の所定の面において各投影部が投影する画像の位置と撮像部が撮像する画像との位置をできるだけ近づけるように、その所定の面に対する投影部と撮像部の姿勢を求め、その所定の面を介して、投影部と撮像部の相互姿勢を求める。
このようにキャリブレーションを行うことにより、複数の投影部と撮像部の相互姿勢を容易に求めることができる。また、画像の位置合わせの方法としては、例えば投影部が投影する画像上において行う方法があるが、これに対して上述した方法の場合、投影先の面（投影面）において画像を揃えるようにキャリブレーションを行う。したがって、より高精度にキャリブレーションを行うことができる。
なお、前記相互姿勢推定部が、投影部が投影する画像の所定の面における位置と、撮像部が撮像する画像の所定の面における位置との距離に基づいて、相互姿勢を決定する変数を推定するようにしてもよい。
また、相互姿勢推定部が、投影部が投影する画像の所定の面における位置と、撮像部が撮像する画像の所定の面における位置との距離の評価値を更新する更新部と、その更新部により更新された評価値に基づいて、相互姿勢を決定する変数を推定する変数推定部とを備えるようにしてもよい。
そして、その更新部が、撮像部が撮像する画像に含まれる処理対象の画素の所定の面における位置と、画素を投影する各投影部が投影する画像の画素の所定の面における位置との距離の２乗平均を前記評価値とするようにしてもよい。
さらに、変数推定部が、撮像部の回転行列、撮像部の並進ベクトル、投影部の回転行列、および投影部の並進ベクトルを含むようにしてもよい。
また、投影部および撮像部を有する投影撮像装置同士の相互姿勢を仮の相互姿勢として推定する仮相互姿勢推定部をさらに備えるようにしてもよい。そして、相互姿勢推定部が、仮相互姿勢推定部により推定された仮の相互姿勢を初期値として、相互姿勢を推定するようにしてもよい。
なお、その仮相互姿勢推定部が、各投影撮像装置の投影面の位置の誤差が最小となるように仮の相互姿勢を推定するようにしてもよい。
また、各投影撮像装置について、画像が投影される投影面に対する投影部および撮像部の相互姿勢を推定する投影面姿勢推定部をさらに備えるようにしてもよい。そして、仮相互姿勢推定部が、投影面姿勢推定部により推定された投影面に対する投影部および撮像部の相互姿勢を用いて、仮の相互姿勢を推定するようにしてもよい。
なお、その投影面姿勢推定部が、三角測量を行うことにより投影面を推定し、推定した投影面に対する投影部および撮像部の相互姿勢を推定するようにしてもよい。
また、投影面姿勢推定部が、投影撮像装置内の投影部と撮像部との画素位置の対応関係と、投影撮像装置間の投影部と撮像部との画素位置の対応関係とに基づいて、投影面に対する投影部および撮像部の相互姿勢を推定するようにしてもよい。また、仮相互姿勢推定部が、投影撮像装置間の投影部と撮像部との画素位置の対応関係に基づいて、仮の相互姿勢を推定するようにしてもよい。
なお、投影面姿勢推定部が、投影部に画素位置対応を求める際に用いるパターンを投影させ、撮像部に撮像させることにより検出される、投影撮像装置内の投影部と撮像部との画素位置の対応関係と、投影撮像装置間の投影部と撮像部との画素位置の対応関係とに基づいて、投影面に対する投影部および撮像部の相互姿勢を推定するようにしてもよい。
また、投影された画像を撮像し撮像画像を得る撮像部をさらに備えるようにしてもよい。そして、相互姿勢推定部が、所定の面における、他の装置の投影部が投影する画像と撮像部が撮像する画像との相対位置関係に基づいて、投影部と撮像部との相互姿勢を推定するようにしてもよい。
また、画像を投影する投影部をさらに備えるようにしてもよい。そして、相互姿勢推定部が、さらに、投影部と撮像部との相互姿勢を推定するようにしてもよい。
また、相互姿勢推定部により推定された投影部と撮像部との相互姿勢に応じた変数を用いて、投影する画像を補正する画像処理を行う画像処理部をさらに備えるようにしてもよい。
＜投影撮像システム＞
このような本技術を適用した情報処理装置の一実施の形態である制御装置を適用した投影撮像システムの主な構成例を、図１に示す。図１に示される投影撮像システム１００は、画像を投影するシステムである。この投影撮像システム１００は、例えば、上述したように複数の投影装置（投影撮像装置）を用いて１つの画像を投影することができる。図１に示されるように、投影撮像システム１００は、制御装置１０１、投影撮像装置１０２−１乃至投影撮像装置１０２−４、並びに、通信ケーブル１０３−１乃至通信ケーブル１０３−４を有する。
このような本技術を適用した情報処理装置の一実施の形態である制御装置を適用した投影撮像システムの主な構成例を、図１に示す。図１に示される投影撮像システム１００は、画像を投影するシステムである。この投影撮像システム１００は、例えば、上述したように複数の投影装置（投影撮像装置）を用いて１つの画像を投影することができる。図１に示されるように、投影撮像システム１００は、制御装置１０１、投影撮像装置１０２−１乃至投影撮像装置１０２−４、並びに、通信ケーブル１０３−１乃至通信ケーブル１０３−４を有する。
投影撮像装置１０２−１は、通信ケーブル１０３−１により制御装置１０１と接続されている。投影撮像装置１０２−２は、通信ケーブル１０３−２により制御装置１０１と接続されている。投影撮像装置１０２−３は、通信ケーブル１０３−３により制御装置１０１と接続されている。投影撮像装置１０２−４は、通信ケーブル１０３−４により制御装置１０１と接続されている。
制御装置１０１は、投影撮像装置１０２−１乃至投影撮像装置１０２−４のそれぞれと通信を行い、それらの動作を制御する。例えば、制御装置１０１は、投影撮像装置１０２−１乃至投影撮像装置１０２−４に対して、画像をスクリーン１０４に投影させたり、スクリーン１０４に投影された画像（投影画像）を撮像させたりする。
例えば、制御装置１０１は、投影撮像装置１０２−１乃至投影撮像装置１０２−４を制御し、それらを協働させて１つの画像をスクリーン１０４に投影させることもできる。また、制御装置１０１は、例えば、投影撮像装置１０２−１乃至投影撮像装置１０２−４が有する投影部や撮像部の相対的な位置や方向である相互姿勢（例えば回転成分や並進成分等）のキャリブレーションを行うことができる。また、制御装置１０１は、例えば、そのキャリブレーション結果を用いて、投影撮像装置１０２−１乃至投影撮像装置１０２−４のそれぞれが投影する画像に対する補正を行うことができる。
投影撮像装置１０２−１乃至投影撮像装置１０２−４は、それぞれ、制御装置１０１に制御され、スクリーン１０４に画像を投影したり、スクリーン１０４に投影された投影画像を撮像したりする装置である。投影撮像装置１０２−１乃至投影撮像装置１０２−４は、互いに同様の構成を有し、同様の機能を有する。以下において、投影撮像装置１０２−１乃至投影撮像装置１０２−４を互いに区別して説明する必要が無い場合、投影撮像装置１０２と称する。
図１に示されるように、投影撮像装置１０２−１は、画像を投影する投影部１１１−１、および、被写体を撮像して撮像画像を得る撮像部１１２−１を有する。同様に、投影撮像装置１０２−２は、画像を投影する投影部１１１−２、および、被写体を撮像して撮像画像を得る撮像部１１２−２を有する。同様に、投影撮像装置１０２−３は、画像を投影する投影部１１１−３、および、被写体を撮像して撮像画像を得る撮像部１１２−３を有する。同様に、投影撮像装置１０２−４は、画像を投影する投影部１１１−４、および、被写体を撮像して撮像画像を得る撮像部１１２−４を有する。
投影部１１１−１乃至１１１−４は、互いに同様の構成を有し、同様の機能を有する。以下において、投影部１１１−１乃至１１１−４を互いに区別して説明する必要が無い場合、投影部１１１と称する。また、撮像部１１２−１乃至撮像部１１２−４は、互いに同様の構成を有し、同様の機能を有する。以下において、撮像部１１２−１乃至撮像部１１２−４を互いに区別して説明する必要が無い場合、撮像部１１２と称する。
つまり、投影撮像装置１０２は、投影部１１１および撮像部１１２を有する。
また、通信ケーブル１０３−１乃至通信ケーブル１０３−４は、互いに同様の規格に対応する通信媒体である。以下において、通信ケーブル１０３−１乃至通信ケーブル１０３−４を互いに区別して説明する必要が無い場合、通信ケーブル１０３と称する。
通信ケーブル１０３は、例えば、HDMI（登録商標）（High-Definition Multimedia Interface）に準拠したケーブルである。もちろん、通信ケーブル１０３が対応する通信規格は任意であり、例えばディスプレイポート（DisplayPort）等、HDMI（登録商標）以外の規格であってもよい。
スクリーン１０４は、投影撮像装置１０２が画像を投影する面（投影面）の一例である。このスクリーン１０４は、平面であってもよいし、曲面であってもよい。例えばスクリーン１０４の表面に凹凸が形成されていてもよい。また、スクリーン１０４の色は任意である。なお、スクリーン１０４の代わりに所定の立体構造物（例えば建造物、壁、床、天井、家具、小物、生物等）を投影面としてもよい。
スクリーン１０４上の投影画像１０５−１は、投影部１１１−１が投影した画像である。同様に、投影画像１０５−２は、投影部１１１−２が投影した画像であり、投影画像１０５−３は、投影部１１１−３が投影した画像であり、投影画像１０５−４は、投影部１１１−４が投影した画像である。以下において、投影画像１０５−１乃至投影画像１０５−４を互いに区別して説明する必要が無い場合、投影画像１０５と称する。
図１に示されるように、例えば、スクリーン１０４に投影画像１０５−１乃至投影画像１０５−４が並び、１つの領域を形成するように、各投影撮像装置１０２を配置する。そして、制御装置１０１は、各投影撮像装置１０２を制御し、入力画像１０６の投影画像１０７が、その領域に、各投影画像１０５に跨るように投影させる。つまり、各投影部１１１は、それぞれ制御装置１０１に制御されて、入力画像１０６の部分画像（自身に割り当てられた画像）を投影し、スクリーン１０４上において、投影画像１０７が形成されるようにする。
このように、制御装置１０１は、複数の投影撮像装置１０２を協働させることにより、投影画像の解像度を向上させる（換言するに、解像度（画質）の低減を抑制しながら画像サイズを増大させる）ことができる。なお、入力画像１０６（投影画像１０７）は、動画像であってもよいし、静止画像であってもよい。
このような処理を実現するためには、制御装置１０１が、各投影撮像装置１０２の相互姿勢（すなわち、各投影部１１１並びに各撮像部１１２の相互姿勢）を正確に把握する必要がある。この相互姿勢は外部変数として表すことができるが、この外部変数は、投影撮像装置１０２等を設置した際にキャリブレーションを行ったとしても、経年変化が生じるおそれがある。この外部変数の経年変化により各投影画像１０５の表示位置に誤差が生じると、本来１つの画像として表示されるはずの投影画像１０７にずれや歪等が生じるおそれがある。すなわち、投影画像の画質が低減するおそれがある。
そこで、制御装置１０１は、各撮像部１１２の撮像画像等を用いて外部変数のキャリブレーションを行う。各投影撮像装置１０２の撮像部１１２の撮像画像を用いることにより、制御装置１０１は、より容易かつ高精度にキャリブレーションを行うことができる。
＜制御装置＞
図２は、本技術を適用した情報処理装置の一実施の形態である制御装置１０１の主な構成例を示す図である。
図２は、本技術を適用した情報処理装置の一実施の形態である制御装置１０１の主な構成例を示す図である。
図２に示されるように、制御装置１０１において、CPU（Central Processing Unit）１５１、ROM（Read Only Memory）１５２、RAM（Random Access Memory）１５３は、バス１５４を介して相互に接続されている。
バス１５４にはまた、入出力インタフェース１６０も接続されている。入出力インタフェース１６０には、入力部１６１、出力部１６２、記憶部１６３、通信部１６４、およびドライブ１６５が接続されている。
入力部１６１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部１６１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部１６１に含まれるようにしてもよい。
出力部１６２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部１６２には、ディスプレイ、スピーカ、出力端子等が含まれる。
記憶部１６３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部１６４は、例えば、ネットワークインタフェースよりなる。例えば、通信部１６４は、通信ケーブル１０３に接続され、通信ケーブル１０３を介して接続される他の装置と通信を行う。ドライブ１６５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１７１を駆動する。
CPU１５１は、例えば、記憶部１６３に記憶されているプログラムを、入出力インタフェース１６０およびバス１５４を介して、RAM１５３にロードして実行することにより、各種処理を行う。RAM１５３にはまた、CPU１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU１５１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１７１に記録して制御装置１０１に提供することができる。その場合、プログラムは、リムーバブルメディア１７１をドライブ１６５に装着することにより、入出力インタフェース１６０を介して、記憶部１６３にインストールすることができる。
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して制御装置１０１に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部１６４で受信し、記憶部１６３にインストールすることができる。
その他、このプログラムは、ROM１５２や記憶部１６３に、あらかじめインストールしておくこともできる。
＜機能ブロック＞
制御装置１０１のCPU１５１は、プログラムを実行することにより、各種機能を実現する。図３は、CPU１５１が実現する主な機能の例を示す機能ブロック図である。
制御装置１０１のCPU１５１は、プログラムを実行することにより、各種機能を実現する。図３は、CPU１５１が実現する主な機能の例を示す機能ブロック図である。
図３に示されるように、CPU１５１は、キャリブレーション処理部２０１、画像処理部２０２、投影制御部２０３、撮像制御部２０４等の機能ブロックを有する。
キャリブレーション処理部２０１は、投影撮像装置１０２の外部変数のキャリブレーションに関する処理を行う。投影画像１０５の補正に影響を及ぼす変数としては、例えば、投影部１１１や撮像部１１２の内部変数や歪パラメータ、投影撮像装置１０２内における投影部１１１と撮像部１１２との相互姿勢を表す外部変数（投影撮像装置１０２内の外部変数とも称する）、並びに、投影撮像装置１０２間における投影部１１１と撮像部１１２との相互姿勢を表す外部変数（投影撮像装置１０２間の外部変数とも称する）等がある。
画像処理部２０２は、キャリブレーション処理部２０１によりキャリブレーションされた外部変数等を用いて、投影画像の補正に関する処理を行う。投影制御部２０３は、投影撮像装置１０２の投影部１１１の制御に関する処理を行う。撮像制御部２０４は、投影撮像装置１０２の撮像部１１２の制御に関する処理を行う。
キャリブレーション処理部２０１は、画素位置対応検出部２１１、投影面姿勢推定部２１２、仮相互姿勢推定部２１３、および相互姿勢再推定部２１４を有する。
画素位置対応検出部２１１は、各投影部１１１と各撮像部１１２との間の画素位置の対応関係の検出に関する処理を行う。投影面姿勢推定部２１２は、投影面に対する各投影部１１１や各撮像部１１２の相互姿勢の推定に関する処理を行う。仮相互姿勢推定部２１３は、投影撮像装置１０２同士の仮の相互姿勢の推定に関する処理を行う。相互姿勢再推定部２１４は、投影部１１１と撮像部１１２との間の相互姿勢の推定に関する処理を行う。
＜投影撮像装置の外観＞
図４に投影撮像装置１０２の外観の例を示す。投影撮像装置１０２は、上述したように投影部１１１と撮像部１１２を有しており、その筐体には、画像を投影するための投射口（レンズ機構）や、被写体を撮像するためのカメラ（レンズ機構）等の光学デバイスが設けられている。また、投影撮像装置１０２は、どのような大きさの装置であってもよいが、例えば、携帯型（小型）の装置としてもよい。その場合、図４に示されるように、投影撮像装置１０２の筐体にバッテリを設けるようにしてもよい。バッテリを設けることにより、外部電源なしに投影撮像装置１０２を駆動させることができるので、その設置位置の自由度を向上させることができる。
図４に投影撮像装置１０２の外観の例を示す。投影撮像装置１０２は、上述したように投影部１１１と撮像部１１２を有しており、その筐体には、画像を投影するための投射口（レンズ機構）や、被写体を撮像するためのカメラ（レンズ機構）等の光学デバイスが設けられている。また、投影撮像装置１０２は、どのような大きさの装置であってもよいが、例えば、携帯型（小型）の装置としてもよい。その場合、図４に示されるように、投影撮像装置１０２の筐体にバッテリを設けるようにしてもよい。バッテリを設けることにより、外部電源なしに投影撮像装置１０２を駆動させることができるので、その設置位置の自由度を向上させることができる。
＜投影撮像装置＞
図５は、投影撮像装置１０２の主な構成例を示すブロック図である。
図５は、投影撮像装置１０２の主な構成例を示すブロック図である。
図５に示されるように、投影撮像装置１０２は、制御部３０１、投影部１１１、撮像部１１２、入力部３１１、出力部３１２、記憶部３１３、通信部３１４、およびドライブ３１５を有する。
制御部３０１は、例えば、CPU、ROM、RAM等よりなり、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。
投影部１１１は、制御部３０１に制御されて、画像の投影に関する処理を行う。例えば、投影部１１１は、制御部３０１から供給される画像を投影撮像装置１０２の外部（例えばスクリーン１０４等）に投影する。つまり、投影部１１１は、投影機能を実現する。投影部１１１は、レーザ光を光源とし、MEMSミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部１１１の光源は任意であり、レーザ光に限らず、LEDやキセノン等であってもよい。投影部１１１の詳細については後述する。
撮像部１１２は、制御部３０１に制御されて、装置外部の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部３０１に供給する。つまり、撮像部１１２は、撮像機能を実現する。例えば、撮像部１１２は、投影部１１１がスクリーン１０４に投影した投影画像を撮像する。
入力部３１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部３１１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部３１１に含まれるようにしてもよい。
出力部３１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部３１２には、ディスプレイ、スピーカ、出力端子等が含まれる。
記憶部３１３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部３１４は、例えば、ネットワークインタフェースよりなる。例えば、通信部３１４は、通信ケーブル１０３に接続され、通信ケーブル１０３を介して接続される他の装置と通信を行う。ドライブ３１５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３２１を駆動する。
制御部３０１は、例えば、記憶部３１３に記憶されているプログラムを、自身に内蔵されるRAMにロードして実行することにより、各種処理を行う。そのRAMにはまた、制御部３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
制御部３０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３２１に記録して投影撮像装置１０２に提供することができる。その場合、プログラムは、リムーバブルメディア３２１をドライブ３１５に装着することにより、記憶部３１３にインストールすることができる。
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して投影撮像装置１０２に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部３１４で受信し、記憶部３１３にインストールすることができる。
その他、このプログラムは、制御部３０１に内蔵されるROMや記憶部３１３に、あらかじめインストールしておくこともできる。
＜投影部＞
図６は、投影部１１１の主な構成例を示すブロック図である。図６に示されるように、投影部１１１は、ビデオプロセッサ３５１、レーザドライバ３５２、レーザ出力部３５３−１、レーザ出力部３５３−２、レーザ出力部３５３−３、ミラー３５４−１、ミラー３５４−２、ミラー３５４−３、MEMS（Micro Electro Mechanical Systems）ドライバ３５５、および、MEMSミラー３５６を有する。
図６は、投影部１１１の主な構成例を示すブロック図である。図６に示されるように、投影部１１１は、ビデオプロセッサ３５１、レーザドライバ３５２、レーザ出力部３５３−１、レーザ出力部３５３−２、レーザ出力部３５３−３、ミラー３５４−１、ミラー３５４−２、ミラー３５４−３、MEMS（Micro Electro Mechanical Systems）ドライバ３５５、および、MEMSミラー３５６を有する。
ビデオプロセッサ３５１は、制御部３０１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ３５１は、その投影する画像をレーザドライバ３５２やMEMSドライバ３５５に供給する。
レーザドライバ３５２は、ビデオプロセッサ３５１から供給される画像を投影するように、レーザ出力部３５３−１乃至レーザ出力部３５３−３を制御する。レーザ出力部３５３−１乃至レーザ出力部３５３−３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ３５２は、ビデオプロセッサ３５１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部３５３−１乃至レーザ出力部３５３−３を互いに区別して説明する必要が無い場合、レーザ出力部３５３と称する。
ミラー３５４−１は、レーザ出力部３５３−１から出力されるレーザ光を反射し、MEMSミラー３５６に誘導する。ミラー３５４−２は、レーザ出力部３５３−２から出力されるレーザ光を反射し、MEMSミラー３５６に誘導する。ミラー３５４−３は、レーザ出力部３５３−３から出力されるレーザ光を反射し、MEMSミラー３５６に誘導する。なお、ミラー３５４−１乃至ミラー３５４−３を互いに区別して説明する必要が無い場合、ミラー３５４と称する。
MEMSドライバ３５５は、ビデオプロセッサ３５１から供給される画像を投影するように、MEMSミラー３５６のミラーの駆動を制御する。MEMSミラー３５６は、MEMSドライバ３５５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図７の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えばスクリーン１０４に照射される。これにより、ビデオプロセッサ３５１から供給される画像がスクリーン１０４に投影される。
なお、図６の例においては、レーザ出力部３５３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部３５３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置１０２（投影部１１１）から出力されるレーザ光は、２本以下であってもよいし、４本いじょうであってもよい。そして、投影撮像装置１０２（投影部１１１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー３５４やMEMSミラー３５６の構成も任意であり、図６の例に限定されない。もちろん、レーザ光の走査パターンは任意である。
＜キャリブレーション処理の流れ＞
次に、制御装置１０１において実行される各種処理の流れについて説明する。
次に、制御装置１０１において実行される各種処理の流れについて説明する。
投影撮像装置１０２の外部変数のキャリブレーションを行うために、制御装置１０１のキャリブレーション処理部２０１は、キャリブレーション処理を実行する。この処理は、任意のタイミングにおいて実行することができる。
図８のフローチャートを参照して、キャリブレーション処理の流れの例を説明する。キャリブレーション処理が開始されると、画素位置対応検出部２１１は、ステップＳ１０１において、画素位置対応検出処理を行う。その処理が終了すると、投影面姿勢推定部２１２は、ステップＳ１０２において、投影面姿勢推定処理を行う。その処理が終了すると、仮相互姿勢推定部２１３は、ステップＳ１０３において、仮相互姿勢推定処理を行う。その処理が終了すると、相互姿勢再推定部２１４は、ステップＳ１０４において、相互姿勢再推定処理を行う。その処理が終了すると、キャリブレーション処理が終了する。
＜画素位置対応検出処理の流れ＞
次に、図８のステップＳ１０１において実行される画素位置対応検出処理の流れについて、図９のフローチャートを参照して説明する。必要に応じて、図１０乃至図１３を参照して説明する。
次に、図８のステップＳ１０１において実行される画素位置対応検出処理の流れについて、図９のフローチャートを参照して説明する。必要に応じて、図１０乃至図１３を参照して説明する。
画素位置対応検出処理が開始されると、画素位置対応検出部２１１は、ステップＳ１２１において、未処理の投影部１１１の中から処理対象とする投影部１１１を選択する。
図１０に示されるように、投影撮像システム１００の各投影撮像装置１０２や制御装置１０１を、スクリーン１０４に画像を投影することができるように配置する。その際、各投影撮像装置１０２から投影された投影画像１０５の少なくとも一部が図１０の例のように互いに重なる（オーバーラップする）ようにする。この状態において、各投影撮像装置１０２の撮像部１１２は、他の投影撮像装置１０２から投影された投影画像１０５の少なくとも一部を撮像することができる。投影面が曲面の場合、そのための補正が必要になり、キャリブレーションの難易度が高くなるので、スクリーン１０４は平面であることが望ましい。このように各装置を配置した状態において、処理対象とする投影部１１１が選択される。
ステップＳ１２２において、画素位置対応検出部２１１は、選択された投影部にグレイコードの画像を投影させる。そして、ステップＳ１２３において、画素位置対応検出部２１１は、全ての撮像部１１２に、投影されたグレイコードの画像を撮像させる。
グレイコードの画像の例を図１１に示す。例えば、図１１Ａに示されるような所定のパターン画像をプロジェクタから時系列に切り替えながら投影して、各パターンをカメラで撮像する。そして、全てのパターンの撮像が完了したらカメラの各画素において、各撮像パターンの１(白)または０(黒)を検出して、図１１Ｂに示されるように、その1,0パターンをデコードすることでプロジェクタ画素の位置を取得する。これにより画素の対応関係を取得することができる。
ステップＳ１２４において、画素位置対応検出部２１１は、全ての投影部１１１にグレイコードの画像を投影させたか否かを判定する。未処理の投影部１１１が存在すると判定された場合、処理はステップＳ１２１に戻り、それ以降の処理を繰り返す。各投影部１１１に対して、ステップＳ１２１乃至ステップＳ１２４の処理が実行され、ステップＳ１２４において全ての投影部１１１にグレイコードの画像を投影させた（すなわち、未処理の投影部１１１が存在しない）と判定された場合、処理は、ステップＳ１２５に進む。
ステップＳ１２５において、画素位置対応検出部２１１は、各対応点について、各投影撮像装置１０２内における、投影部１１１の画素位置と撮像部１１２の画素位置との対応関係を検出する。つまり、互いに同じ投影撮像装置１０２の構成である投影部１１１と撮像部１１２との間で、画素位置の対応関係が検出される。
対応点とは、グレイコードの画像の、画素位置の対応関係の検出に用いる注目画素である。つまり、グレイコードの画像の所定の注目画素を投影する投影部１１１の画素と、その注目画素を撮像する撮像部１１２の画素とが特定され、それらが紐付けされる（対応関係が検出される）。この対応点（注目画素）は、グレイコードの画像の全画素としてもよいし、グレイコードの画像の一部の画素（代表画素）としてもよい。その場合、代表画素とする画素の位置は任意である。
ステップＳ１２５においては、図１２に示されるように、グレイコード４０１の所定の対応点４０２に注目し、投影部１１１の、その対応点４０２を投影する画素４０３と、撮像部１１２の、その対応点４０２を撮像する画素４０４とが特定され、それらが紐付けされる（画素位置の対応関係が検出される）。上述したように、グレイコードの画像の全画素について同様の画素位置対応関係を検出するようにしてもよいし、代表画素についてのみ、画素位置対応関係を検出するようにしてもよい。
ステップＳ１２６において、画素位置対応検出部２１１は、各対応点について、各投影撮像装置１０２間における、投影部１１１の画素位置と撮像部１１２の画素位置との対応関係を検出する。つまり、互いに異なる投影撮像装置１０２の構成である投影部１１１と撮像部１１２との間で、画素位置の対応関係が検出される。
この投影撮像装置１０２間における画素位置対応関係の検出も、ステップＳ１２５の処理の場合と同様に行われる。すなわち、図１３に示されるように、グレイコード４１１の所定の対応点４１２に注目し、例えば投影撮像装置１０２−２の投影部１１１−２の、その対応点４１２を投影する画素と、投影撮像装置１０２−１の撮像部１１２−１の、その対応点４１２を撮像する画素とが特定され、それらが紐付けされる（画素位置の対応関係が検出される）。もちろん、この場合も、グレイコードの画像の全画素について同様の画素位置対応関係を検出するようにしてもよいし、代表画素についてのみ、画素位置対応関係を検出するようにしてもよい。
ステップＳ１２６の処理が終了すると、画素位置対応検出処理が終了し、処理は図８に戻る。以上のように画素位置対応検出処理を行うことにより、各投影部１１１と各撮像部１１２との間で、画素位置の対応関係を検出することができる。
なお、投影部１１１と、その投影部１１１が投影した画像を撮像することができない位置にある撮像部１１２との間では、画素位置の対応関係は実質的に検出することができないので、上述した画素位置の対応関係の検出処理を省略するようにしてもよい。
また、以上においては、画素位置の対応関係を検出するためにグレイコードを用いるように説明したが、このグレイコードに限らず、画素位置の対応関係が特定が可能な画像であればどのようなパターンの画像を用いるようにしてもよい。例えば、非特許文献１に記載のチェッカーとチェッカーの４隅のうちどれかが欠けたパターンの画像を用いるようにしてもよいし、それ以外のパターンの画像を用いるようにしてもよい。
＜投影面姿勢推定処理の流れ＞
次に、図８のステップＳ１０２において実行される投影面姿勢推定処理の流れについて、図１４のフローチャートを参照して説明する。必要に応じて、図１５を参照して説明する。
次に、図８のステップＳ１０２において実行される投影面姿勢推定処理の流れについて、図１４のフローチャートを参照して説明する。必要に応じて、図１５を参照して説明する。
投影面姿勢推定処理が開始されると、投影面姿勢推定部２１２は、ステップＳ１４１において、未処理の投影撮像装置１０２の中から処理対象とする投影撮像装置１０２を選択する。
ステップＳ１４２において、投影面姿勢推定部２１２は、画素位置対応関係検出処理（図９）により検出された、処理対象の投影撮像装置１０２内における投影部１１１と撮像部１１２との間の画素位置の対応関係と、キャリブレーション済みの内部変数や外部変数を用いて三角測量を行い、各対応点の３次元座標位置を求める。その際、事前にキャリブレーション済みの内部変数や外部変数を用いて三角測量を行う。この外部変数は、経年変化により、誤差を含む（実際とは異なっている）可能性がある値である。
例えば、図１５に示されるように、画素位置対応点検出処理の処理結果に基づいて、ある対応点の、投影部１１１が投影する画素４２１と、撮像部１１２が撮像する画素４２２とを求める。そして、それらの画素位置と、投影部１１１と撮像部１１２の内部変数やそれらの相互姿勢を示す外部変数４２３等とを用いて、三角測量を行い、その対応点が投影される三次元点座標４２４を求める。この三次元点座標４２４は、投影部１１１（画素４２１）の投影方向と、撮像部１１２（画素４２２）の撮像方向とが交差する位置（つまり、画素４２１が投影した位置と、画素４２２が撮像した位置とが一致する（位置ずれが生じない）座標である。このような処理を複数の対応点について行い、三次元点座標群４２５を求める。
ステップＳ１４３において、投影面姿勢推定部２１２は、ステップＳ１４２の処理により得られた、各対応点の３次元座標位置に基づいて、平面スクリーンモデルを求める。
図１５の例の場合、投影面姿勢推定部２１２は、ステップＳ１４２の処理により求められた三次元点座標群４２５に最もよくあてはまる平面を求め、それを平面スクリーンモデル４３１とする。この平面スクリーンモデルの推定方法は任意であるが、例えば、RANSAC（RANDdom Sample Consensus）等の方法を用いて、外れ値に対してロバストに平面スクリーンモデルを推定するようにしてもよい。
ステップＳ１４４において、投影面姿勢推定部２１２は、ステップＳ１４３の処理により得られた平面スクリーンモデルに対する投影部１１１および撮像部１１２の姿勢を推定する。
図１５の例の場合、投影部１１１の姿勢と撮像部１１２の姿勢とが、それぞれ、平面スクリーンモデル４３１の３次元座標（矢印４３２および矢印４３３）により表される。
ステップＳ１４５において、投影面姿勢推定部２１２は、全ての投影撮像装置１０２を処理したか否かを判定する。未処理の投影撮像装置１０２が存在すると判定された場合、処理はステップＳ１４１に戻り、それ以降の処理を繰り返す。各投影撮像装置１０２に対して、ステップＳ１４１乃至ステップＳ１４５の各処理が実行され、ステップＳ１４５において、全ての投影撮像装置１０２を処理した（未処理の投影撮像装置１０２が存在しない）と判定された場合、投影面姿勢推定処理が終了し、処理は図８に戻る。
以上のように投影面姿勢推定処理を実行することにより、投影面に対する投影部１１１の姿勢と撮像部１１２の姿勢とを推定することができる。
＜仮相互姿勢推定処理の流れ＞
次に、図８のステップＳ１０３において実行される仮相互姿勢推定処理の流れについて、図１６のフローチャートを参照して説明する。必要に応じて、図１７および図１８を参照して説明する。
次に、図８のステップＳ１０３において実行される仮相互姿勢推定処理の流れについて、図１６のフローチャートを参照して説明する。必要に応じて、図１７および図１８を参照して説明する。
仮相互姿勢推定処理が開始されると、仮相互姿勢推定部２１３は、ステップＳ１６１において、未処理の投影撮像装置対の中から処理対象とする投影撮像装置対を選択する。投影撮像装置対とは、投影撮像システム１００が有する投影撮像装置１０２群の中から選択された任意の２台の投影撮像装置１０２である。つまり、仮相互姿勢推定部２１３は、投影撮像装置１０２を２台ずつ処理対象とする。なお、お互いの投影画像がオーバーラップしない（投影画像に重なる部分がない）組み合わせは、省略するようにしてもよい。
ステップＳ１６２において、仮相互姿勢推定部２１３は、処理対象の投影撮像装置対について、互いの平面スクリーンの３次元座標の誤差２乗和が最小となる相対姿勢を推定する。
例えば、図１７に示される例の場合、仮相互姿勢推定部２１３は、両矢印４５１に示されるように、投影撮像装置１０２−１の撮像部１１２−１の画素位置４５３に対応する平面スクリーンモデル４３１−１上の三次元点座標４２４−１と、その画素位置４５３に対応する投影撮像装置１０２−２の投影部１１１−２の画素位置４５２に対応する平面スクリーンモデル４３１−２上の三次元点座標４２４−２とが平面スクリーン上での位置の誤差の二乗和が最小になるという条件を解く。このような処理が、図１７の三次元座標群４２５−１および三次元座標群４２５−２の各三次元点座標４２４について行われる。このとき、平面スクリーンを前提としているので求める外部変数は、ロール（Roll）回転成分とＸ, Ｙ並進成分のみである（平面スクリーンを共有している前提なので，ピッチ（Pitch）やヨー（Yaw）回転成分，Ｚ並進成分は変化しない）。
これにより、図１８に示されるように、平面スクリーンモデル４３１−１と平面スクリーンモデル４３１−２の互いの位置をできるだけ近似させたときの、投影部１１１−１の三次元座標４７１、撮像部１１２−１の三次元座標４７２、投影部１１１−２の三次元座標４７３、および撮像部１１２−２の三次元座標４７４（すなわち、選択した２台の投影撮像装置１０２の投影部１１１および撮像部１１２のそれぞれの三次元座標）が求まる。これにより、選択した２台の投影撮像装置１０２（図１７や図１８の例の場合、投影撮像装置１０２−１および投影撮像装置１０２−２）の間の外部変数が求まる。
ステップＳ１６３において、仮相互姿勢推定部２１３は、全ての投影撮像装置対を処理したか否かを判定する。未処理の投影撮像装置対が存在すると判定された場合、処理はステップＳ１６１に戻り、それ以降の処理が繰り返される。つまり、投影撮像システム１００が有する投影撮像装置１０２群の中の全ての２台の組み合わせについて、ステップＳ１６２の処理が行われる。そして、ステップＳ１６３において、全ての投影撮像装置対に対して処理を行った（未処理の投影撮像装置対が存在しない）と判定された場合、仮相互姿勢推定処理が終了し、処理は図８に戻る。
＜相互姿勢再推定処理の流れ＞
次に、図８のステップＳ１０４において実行される相互姿勢再推定処理の流れについて、図１９のフローチャートを参照して説明する。必要に応じて、図２０を参照して説明する。
次に、図８のステップＳ１０４において実行される相互姿勢再推定処理の流れについて、図１９のフローチャートを参照して説明する。必要に応じて、図２０を参照して説明する。
相互姿勢再推定処理では、例えば、図２０に示されるように、所定の平面スクリーンモデル４８１における各対応点の誤差（誤差二乗和）を最小とするように外部変数が求められる。
例えば、対応点４９１について、撮像部１１２−１からみた対応点４９１の平面スクリーンモデル４８１上における位置４９１−２、投影部１１１−１からみた対応点４９１の平面スクリーンモデル４８１上における位置４９１−１、投影部１１１−２からみた対応点４９１の平面スクリーンモデル４８１上における位置４９１−３がそれぞれ求められ、位置４９１−２と位置４９１−１との距離、位置４９１−２と位置４９１−３との距離がそれぞれ求められる。そしてそれらの距離が最小となるように、投影部１１１−１、撮像部１１２−１、および投影部１１１−２の、平面スクリーンモデル４８１の三次元座標上の位置がそれぞれ推定される。
同様に、対応点４９２について、撮像部１１２−２からみた対応点４９２の平面スクリーンモデル４８１上における位置４９２−２、投影部１１１−１からみた対応点４９２の平面スクリーンモデル４８１上における位置４９２−１、投影部１１１−２からみた対応点４９２の平面スクリーンモデル４８１上における位置４９２−３、投影部１１１−３からみた対応点４９２の平面スクリーンモデル４８１上における位置４９２−４がそれぞれ求められ、位置４９２−２と位置４９２−１との距離、位置４９２−２と位置４９２−３との距離、位置４９２−２と位置４９２−４との距離がそれぞれ求められる。そしてそれらの距離が最小となるように、投影部１１１−１、投影部１１１−２、撮像部１１２−２、および投影部１１１−３の、平面スクリーンモデル４８１の三次元座標上の位置がそれぞれ推定される。
同様に、対応点４９３について、撮像部１１２−３からみた対応点４９３の平面スクリーンモデル４８１上における位置４９３−２、投影部１１１−２からみた対応点４９３の平面スクリーンモデル４８１上における位置４９３−１、投影部１１１−３からみた対応点４９３の平面スクリーンモデル４８１上における位置４９３−３がそれぞれ求められ、位置４９３−２と位置４９３−１との距離、位置４９３−２と位置４９３−３との距離がそれぞれ求められる。そしてそれらの距離が最小となるように、投影部１１１−２、撮像部１１２−３、および投影部１１１−３の、平面スクリーンモデル４８１の三次元座標上の位置がそれぞれ推定される。
同様に、対応点４９４について、撮像部１１２−４からみた対応点４９４の平面スクリーンモデル４８１上における位置４９４−２、投影部１１１−３からみた対応点４９４の平面スクリーンモデル４８１上における位置４９４−１、投影部１１１−４からみた対応点４９４の平面スクリーンモデル４８１上における位置４９４−３がそれぞれ求められ、位置４９４−２と位置４９４−１との距離、位置４９４−２と位置４９４−３との距離がそれぞれ求められる。そしてそれらの距離が最小となるように、投影部１１１−３、撮像部１１２−４、および投影部１１１−４の、平面スクリーンモデル４８１の三次元座標上の位置がそれぞれ推定される。
以上のように各対応点について誤差が求められ、それらの最小二乗和が算出され、その値が最小となるように、各投影部１１１および各撮像部１１２の、所定の平面スクリーンモデル４８１の三次元座標上の位置（図２０の例の場合、矢印５０１−１乃至矢印５０１−８）がそれぞれ推定される。
そして、その位置（姿勢）から、投影部１１１と撮像部１１２との相互姿勢をより高精度に示す外部変数（図２０の例の場合、両矢印５０２−１乃至両矢印５０２−４）が推定される。
図１９に戻り、相互姿勢再推定処理が開始されると、相互姿勢再推定部２１４は、ステップＳ１８１において、図８のステップＳ１０３の処理により得られた各投影撮像装置１０２の姿勢を初期値として、評価値を算出する。
評価値（誤差評価値E）は、例えば、以下のような式（１）を用いて算出される。
ここで、
M：撮像部台数／投影部台数
N：撮像部画像画素数
Xcn：撮像部ｃの画素ｎのスクリーン上投影座標（Xcn,Ycn）
ACc,DCc,RCc,TCcの関数
Xcnp：撮像部cの画素ｎに対応する投影部ｐの画素のスクリーン上投影座標（Xcnp,Ycnp）
ACc,DCc,RCc,TCc,APp,DPp,RPp,TPpの関数
Icnp：見えのフラグ0/1（撮像部ｃの画素ｎに対応する投影部pの画素が存在する場合は1）
とする。
M：撮像部台数／投影部台数
N：撮像部画像画素数
Xcn：撮像部ｃの画素ｎのスクリーン上投影座標（Xcn,Ycn）
ACc,DCc,RCc,TCcの関数
Xcnp：撮像部cの画素ｎに対応する投影部ｐの画素のスクリーン上投影座標（Xcnp,Ycnp）
ACc,DCc,RCc,TCc,APp,DPp,RPp,TPpの関数
Icnp：見えのフラグ0/1（撮像部ｃの画素ｎに対応する投影部pの画素が存在する場合は1）
とする。
なお、ACc,DCc,RCc,TCc,APp,DPp,RPp,TPpの各変数は以下のとおりである。
ACc：撮像部ｃの内部変数（このキャリブレーション時は固定値とする）
DCc：撮像部ｃの歪みパラメータ（このキャリブレーション時は固定値とする）
RCc：撮像部ｃの回転行列（外部変数）
TCc：撮像部ｃの並進ベクトル（外部変数）
APp：投影部ｐの内部変数（このキャリブレーション時は固定値とする）
DPp：投影部ｐの歪みパラメータ（このキャリブレーション時は固定値とする）
RPp：投影部ｐの回転行列（外部変数）
TPp：投影部ｐの並進ベクトル（外部変数）
ACc：撮像部ｃの内部変数（このキャリブレーション時は固定値とする）
DCc：撮像部ｃの歪みパラメータ（このキャリブレーション時は固定値とする）
RCc：撮像部ｃの回転行列（外部変数）
TCc：撮像部ｃの並進ベクトル（外部変数）
APp：投影部ｐの内部変数（このキャリブレーション時は固定値とする）
DPp：投影部ｐの歪みパラメータ（このキャリブレーション時は固定値とする）
RPp：投影部ｐの回転行列（外部変数）
TPp：投影部ｐの並進ベクトル（外部変数）
今回のキャリブレーションでは、式（１）の誤差評価値Eを最小化するRおよびTを求める（バンドル調整（Bundle Adjustment）の考え方）。ただし，基準とする投影部１１１あるいは撮像部１１２のＺ座標値とロール（Roll）成分は固定とする。これは、対象とするパラメータのヤコビ行列（Jacobian）を計算する際にその値を0に強制的にすることで実現することができる。
ステップＳ１８２において、相互姿勢再推定部２１４は、更新値Δαを算出し、仮更新値α’を算出する。
相互姿勢再推定部２１４は、上述した誤差評価値E、ヤコビ行列（Jacobian）、およびヘッセ行列（Hessian）を用いて、仮更新値α’を算出する。
ヤコビ行列（Jacobian）は、回転成分3成分と並進成分3成分のそれぞれを微小量振って、近似的に撮像部１画素毎の誤差ecnの変化量から求める。回転成分のヤコビ行列（Jacobian）は、無限小回転のパラメータω=(ω1 ω2 ω3)TをそれぞれΔωの微小量動かしたときの回転行列をR(ω)とし、現在の回転行列をRと定義したときに以下の式（２）で表される。
また、並進成分のヤコビ行列（Jacobian）は並進パラメータT=(Tx Ty Tz)TのそれぞれをΔTの微小量動かしたときに以下の式（３）で表される。
そして、ヤコビ行列（Jacobian）と誤差ecnとから近似的にヘッセ行列（Hessian）を求める。上述した式（２）および式（３）のヤコビ行列（Jacobian）をそれぞれ∂ecn/∂αi ,(i=0,…,5)とする場合、ヘッセ行列（Hessian）は以下の式（４）で表される。
さらに対角要素に重み付けをしたＨ’は、以下の式（５）のように表すことができる。
なお、ここでwは、探索位置のステップ幅に関わる重みパラメータで、重みが大きいほど探索空間を一次近似した場合の更新ステップに近くなり、重みが小さいほど探索空間を二次近似した場合の更新ステップに近くなる。
この式（５）を考えて更新値αを求める。その場合、更新値αは、以下の式（６）のように表される。
ステップＳ１８３において、相互姿勢再推定部２１４は、評価値の変化に応じて、評価値、更新値、重みを更新する。例えば、ΔEが負ならαとEを更新してwを1/10倍する。ΔEが負でないならwを10倍する（一般的なLevenberg-Marqurdt法と同様）。
ステップＳ１８４において、相互姿勢再推定部２１４は、ステップＳ１８２およびステップＳ１８３の各処理を、所定回数繰り返したか否かを判定する。所定回数に達していないと判定された場合、処理はステップＳ１８２に戻り、それ以降の処理を繰り返す。
ステップＳ１８４において、ステップＳ１８２およびステップＳ１８３の各処理が所定回数繰り返されたと判定された場合、処理はステップＳ１８５に進む。
ステップＳ１８５において、相互姿勢再推定部２１４は、全ての投影部１１１および撮像部１１２について、相互姿勢を検出し、外部変数（投影撮像装置１０２内の外部変数、および投影撮像装置１０２間の外部変数）を求める。
ステップＳ１８５の処理が終了すると、相互姿勢再推定処理が終了し、処理は図８に戻る。
以上のように各処理を実行することにより、制御装置１０１は、より容易かつ高精度に投影部１１１と撮像部１１２との位置関係のキャリブレーションを行うことができる。そして、このようにキャリブレーションを行った投影撮像装置１０２を利用することで、投影撮像システム１００は、平面スクリーンだけでなく、曲面や任意形状面の物体に対しても精度良く幾何補正を行うことができるようになる。
＜投影撮像システムの構成例＞
以上においては、投影撮像システム１００において、制御装置１０１と各投影撮像装置１０２とが通信ケーブル１０３を介して接続されるように説明したが、制御装置１０１と各投影撮像装置１０２との接続方法は通信可能である限り任意である。例えば、図２１に示される例のように、ネットワーク６０１を介して接続されるようにしてもよい。
以上においては、投影撮像システム１００において、制御装置１０１と各投影撮像装置１０２とが通信ケーブル１０３を介して接続されるように説明したが、制御装置１０１と各投影撮像装置１０２との接続方法は通信可能である限り任意である。例えば、図２１に示される例のように、ネットワーク６０１を介して接続されるようにしてもよい。
ネットワーク６０１は、制御装置１０１および投影撮像装置１０２との間の通信媒体となる通信網である。ネットワーク６０１は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク６０１は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク６０１は、その一部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
また、上述したキャリブレーションに関する処理は、制御装置１０１以外の装置で行われるようにしてもよい。例えば、投影撮像装置１０２が行うようにしてもよい。図２２の例では、投影撮像装置１０２が、上述したキャリブレーションに関する処理を行う。この場合、各投影撮像装置１０２に入力画像が入力され、各投影撮像装置１０２において、画像の補正が行われる。各投影撮像装置１０２がHDMI（登録商標）ケーブルのような通信ケーブルで互いに接続されており、補正情報や例えば撮像画像のようなセンサデータ等の情報を各投影撮像装置１０２の間で共有することができるようになされている。したがって、どの投影撮像装置１０２が上述したキャリブレーションに関する処理を行うようにすることもできる。例えば、投影撮像装置１０２−１乃至投影撮像装置１０２−４のいずれかが上述したキャリブレーションに関する処理を行い、そのキャリブレーション結果を他の投影撮像装置１０２と共有するようにしてもよいし、複数の投影撮像装置１０２が協働して上述したキャリブレーションに関する処理を行い、そのキャリブレーション結果を他の投影撮像装置１０２と共有するようにしてもよい。このような構成の場合、制御装置１０１を省略することもできる。
また、以上においては、投影撮像システム１００が４台の投影撮像装置１０２を有するように説明したが、投影撮像システム１００を構成する投影撮像装置１０２の台数は任意であり、３台以下であってもよいし、５台以上であってもよい。
また、図２３に示される投影撮像装置６１２のように、他の情報処理装置６１１を介して、ネットワーク６０１（制御装置１０１や他の投影撮像装置１０２等）に接続されるようにしてもよい。投影撮像装置６１２は、上述した投影撮像装置１０２と同様の装置である、ただし、この投影撮像装置は、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する情報処理装置６１１を介してネットワーク６０１に接続される。また、投影撮像装置６１２は、この情報処理装置６１１に制御されて駆動する。このようにすることにより、通信に関する処理や投影や撮像の制御に関する処理を、元々処理能力が高い情報処理装置６１１に行わせることができるので、投影撮像装置６１２に必要な機能（情報処理能力等）の増大を抑制することができ、コストの増大を抑制することができる。
また、上述した投影撮像装置１０２の機能をモジュール等（すなわち部品単位）として実現するようにしてもよい。図２３の情報処理装置６１３は、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、元々処理能力が高い情報処理装置であり、上述した投影撮像装置１０２の機能を有するモジュールが組み込まれている。すなわち、情報処理装置６１３は、情報処理装置６１１と投影撮像装置６１２の両方の機能を有する装置である。投影撮像装置１０２は、このような情報処理装置として実現することもできる。
また、図２３に示される例のように、投影撮像装置１０２として、互いに異なる機能を有するデバイスが混在するようにしてもよい。
また、図２４に示される例のように、投影撮像システム１００には、投影部１１１を有しているが撮像部１１２を有していない投影装置６２１や投影装置６２３、撮像部１１２を有しているが投影部１１１を有してない撮像装置６２２等が含まれるようにしてもよい。また、１つのデバイスに投影部１１１や撮像部１１２が複数設けられるようにしてもよい。例えば、投影撮像装置６２４は、投影部１１１Ａ、投影部１１１Ｂ、および撮像部１１２を有する。このような構成の投影撮像装置６２４の外部変数も、投影撮像装置１０２の場合と同様に、上述したキャリブレーションを行うことができる。さらに、投影撮像システム１００全体において、投影部１１１の数と撮像部１１２の数が一致していなくてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図２や図５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１７１やリムーバブルメディア３２１により構成される。このリムーバブルメディア１７１やリムーバブルメディア３２１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
その場合、例えば制御装置１０１においては、プログラムは、そのリムーバブルメディア１７１をドライブ１６５に装着することにより、記憶部１６３にインストールすることができる。また、例えば投影撮像装置１０２においては、プログラムは、そのリムーバブルメディア３２１をドライブ３１５に装着することにより、記憶部３１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、例えば制御装置１０１においては、プログラムは、通信部１６４で受信し、記憶部１６３にインストールすることができる。また、例えば投影撮像装置１０２においては、プログラムは、通信部３１４で受信し、記憶部３１３にインストールすることができる。
その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば制御装置１０１の場合、プログラムは、記憶部１６３やROM１５３等に、あらかじめインストールしておくこともできる。また、例えば投影撮像装置１０２の場合、プログラムは、記憶部３１３や制御部３０１内のROM等に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する相互姿勢推定部
を備える情報処理装置。
（２） 前記相互姿勢推定部は、前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離に基づいて、前記相互姿勢を決定する変数を推定する
（１）に記載の情報処理装置。
（３） 前記相互姿勢推定部は、
前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離の評価値を更新する更新部と、
前記更新部により更新された前記評価値に基づいて、前記相互姿勢を決定する変数を推定する変数推定部と
を備える（２）に記載の情報処理装置。
（４） 前記更新部は、前記撮像部が撮像する前記画像に含まれる処理対象の画素の前記所定の面における位置と、前記画素を投影する各投影部が投影する前記画像の前記画素の前記所定の面における位置との距離の２乗平均を前記評価値とする
（３）に記載の情報処理装置。
（５） 前記変数推定部は、前記撮像部の回転行列、前記撮像部の並進ベクトル、前記投影部の回転行列、および前記投影部の並進ベクトルを含む
（３）または（４）に記載の情報処理装置。
（６） 前記投影部および前記撮像部を有する投影撮像装置同士の相互姿勢を仮の相互姿勢として推定する仮相互姿勢推定部をさらに備え、
前記相互姿勢推定部は、前記仮相互姿勢推定部により推定された前記仮の相互姿勢を初期値として、前記相互姿勢を推定する
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記仮相互姿勢推定部は、各投影撮像装置の投影面の位置の誤差が最小となるように前記仮の相互姿勢を推定する
（６）に記載の情報処理装置。
（８） 各投影撮像装置について、前記画像が投影される投影面に対する前記投影部および前記撮像部の相互姿勢を推定する投影面姿勢推定部をさらに備え、
前記仮相互姿勢推定部は、前記投影面姿勢推定部により推定された前記投影面に対する前記投影部および前記撮像部の相互姿勢を用いて、前記仮の相互姿勢を推定する
（６）または（７）に記載の情報処理装置。
（９） 前記投影面姿勢推定部は、三角測量を行うことにより前記投影面を推定し、推定した前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
（８）に記載の情報処理装置。
（１０） 前記投影面姿勢推定部は、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
（８）または（９）に記載の情報処理装置。
（１１） 前記仮相互姿勢推定部は、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係に基づいて、前記仮の相互姿勢を推定する
（１０）に記載の情報処理装置。
（１２） 前記投影面姿勢推定部は、前記投影部に画素位置対応を求める際に用いるパターンを投影させ、前記撮像部に撮像させることにより検出される、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
（１０）または（１１）に記載の情報処理装置。
（１３） 投影された画像を撮像し撮像画像を得る撮像部をさらに備え、
前記相互姿勢推定部は、前記所定の面における、他の装置の投影部が投影する画像と前記撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相互姿勢を推定する
（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 画像を投影する投影部をさらに備え、
前記相互姿勢推定部は、さらに、前記投影部と前記撮像部との相互姿勢を推定する
（１３）に記載の情報処理装置。
（１５） 前記相互姿勢推定部により推定された前記投影部と前記撮像部との相互姿勢に応じた変数を用いて、投影する画像を補正する画像処理を行う画像処理部をさらに備える
（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する
情報処理方法。
（１） 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する相互姿勢推定部
を備える情報処理装置。
（２） 前記相互姿勢推定部は、前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離に基づいて、前記相互姿勢を決定する変数を推定する
（１）に記載の情報処理装置。
（３） 前記相互姿勢推定部は、
前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離の評価値を更新する更新部と、
前記更新部により更新された前記評価値に基づいて、前記相互姿勢を決定する変数を推定する変数推定部と
を備える（２）に記載の情報処理装置。
（４） 前記更新部は、前記撮像部が撮像する前記画像に含まれる処理対象の画素の前記所定の面における位置と、前記画素を投影する各投影部が投影する前記画像の前記画素の前記所定の面における位置との距離の２乗平均を前記評価値とする
（３）に記載の情報処理装置。
（５） 前記変数推定部は、前記撮像部の回転行列、前記撮像部の並進ベクトル、前記投影部の回転行列、および前記投影部の並進ベクトルを含む
（３）または（４）に記載の情報処理装置。
（６） 前記投影部および前記撮像部を有する投影撮像装置同士の相互姿勢を仮の相互姿勢として推定する仮相互姿勢推定部をさらに備え、
前記相互姿勢推定部は、前記仮相互姿勢推定部により推定された前記仮の相互姿勢を初期値として、前記相互姿勢を推定する
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記仮相互姿勢推定部は、各投影撮像装置の投影面の位置の誤差が最小となるように前記仮の相互姿勢を推定する
（６）に記載の情報処理装置。
（８） 各投影撮像装置について、前記画像が投影される投影面に対する前記投影部および前記撮像部の相互姿勢を推定する投影面姿勢推定部をさらに備え、
前記仮相互姿勢推定部は、前記投影面姿勢推定部により推定された前記投影面に対する前記投影部および前記撮像部の相互姿勢を用いて、前記仮の相互姿勢を推定する
（６）または（７）に記載の情報処理装置。
（９） 前記投影面姿勢推定部は、三角測量を行うことにより前記投影面を推定し、推定した前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
（８）に記載の情報処理装置。
（１０） 前記投影面姿勢推定部は、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
（８）または（９）に記載の情報処理装置。
（１１） 前記仮相互姿勢推定部は、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係に基づいて、前記仮の相互姿勢を推定する
（１０）に記載の情報処理装置。
（１２） 前記投影面姿勢推定部は、前記投影部に画素位置対応を求める際に用いるパターンを投影させ、前記撮像部に撮像させることにより検出される、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
（１０）または（１１）に記載の情報処理装置。
（１３） 投影された画像を撮像し撮像画像を得る撮像部をさらに備え、
前記相互姿勢推定部は、前記所定の面における、他の装置の投影部が投影する画像と前記撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相互姿勢を推定する
（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 画像を投影する投影部をさらに備え、
前記相互姿勢推定部は、さらに、前記投影部と前記撮像部との相互姿勢を推定する
（１３）に記載の情報処理装置。
（１５） 前記相互姿勢推定部により推定された前記投影部と前記撮像部との相互姿勢に応じた変数を用いて、投影する画像を補正する画像処理を行う画像処理部をさらに備える
（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する
情報処理方法。
１００ 投影撮像システム， １０１ 制御装置， １０２ 投影撮像装置， １０３ 通信ケーブル， １０４ スクリーン， １１１ 投影部， １１２ 撮像部， １５１ CPU， ２０１ キャリブレーション処理部， ２０２ 画像処理部， ２０３ 投影制御部， ２０４ 撮像制御部， ２１１ 画素位置対応検出部， ２１２ 投影面姿勢推定部， ２１３ 仮相互姿勢推定部、 ２１４ 相互姿勢再推定部， ３０１ 制御部， ３５１ ビデオプロセッサ， ３５２ レーザドライバ， ３５３ レーザ出力部， ３５４ ミラー， ３５５ MEMSドライバ， ３５６ MEMSミラー， ６０１ ネットワーク， ６１１ 情報処理装置， ６１２ 投影撮像装置， ６１３ 情報処理装置， ６２１ 投影装置， ６２２ 撮像装置， ６２３ 投影装置， ６２４ 投影撮像装置
Claims (16)
- 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する相互姿勢推定部
を備える情報処理装置。 - 前記相互姿勢推定部は、前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離に基づいて、前記相互姿勢を決定する変数を推定する
請求項１に記載の情報処理装置。 - 前記相互姿勢推定部は、
前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離の評価値を更新する更新部と、
前記更新部により更新された前記評価値に基づいて、前記相互姿勢を決定する変数を推定する変数推定部と
を備える請求項２に記載の情報処理装置。 - 前記更新部は、前記撮像部が撮像する前記画像に含まれる処理対象の画素の前記所定の面における位置と、前記画素を投影する各投影部が投影する前記画像の前記画素の前記所定の面における位置との距離の２乗平均を前記評価値とする
請求項３に記載の情報処理装置。 - 前記変数推定部は、前記撮像部の回転行列、前記撮像部の並進ベクトル、前記投影部の回転行列、および前記投影部の並進ベクトルを含む
請求項３に記載の情報処理装置。 - 前記投影部および前記撮像部を有する投影撮像装置同士の相互姿勢を仮の相互姿勢として推定する仮相互姿勢推定部をさらに備え、
前記相互姿勢推定部は、前記仮相互姿勢推定部により推定された前記仮の相互姿勢を初期値として、前記相互姿勢を推定する
請求項１に記載の情報処理装置。 - 前記仮相互姿勢推定部は、各投影撮像装置の投影面の位置の誤差が最小となるように前記仮の相互姿勢を推定する
請求項６に記載の情報処理装置。 - 各投影撮像装置について、前記画像が投影される投影面に対する前記投影部および前記撮像部の相互姿勢を推定する投影面姿勢推定部をさらに備え、
前記仮相互姿勢推定部は、前記投影面姿勢推定部により推定された前記投影面に対する前記投影部および前記撮像部の相互姿勢を用いて、前記仮の相互姿勢を推定する
請求項６に記載の情報処理装置。 - 前記投影面姿勢推定部は、三角測量を行うことにより前記投影面を推定し、推定した前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
請求項８に記載の情報処理装置。 - 前記投影面姿勢推定部は、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
請求項８に記載の情報処理装置。 - 前記仮相互姿勢推定部は、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係に基づいて、前記仮の相互姿勢を推定する
請求項１０に記載の情報処理装置。 - 前記投影面姿勢推定部は、前記投影部に画素位置対応を求める際に用いるパターンを投影させ、前記撮像部に撮像させることにより検出される、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
請求項１０に記載の情報処理装置。 - 投影された画像を撮像し撮像画像を得る撮像部をさらに備え、
前記相互姿勢推定部は、前記所定の面における、他の装置の投影部が投影する画像と前記撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相互姿勢を推定する
請求項１に記載の情報処理装置。 - 画像を投影する投影部をさらに備え、
前記相互姿勢推定部は、さらに、前記投影部と前記撮像部との相互姿勢を推定する
請求項１３に記載の情報処理装置。 - 前記相互姿勢推定部により推定された前記投影部と前記撮像部との相互姿勢に応じた変数を用いて、投影する画像を補正する画像処理を行う画像処理部をさらに備える
請求項１に記載の情報処理装置。 - 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する
情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014135791A JP2016014720A (ja) | 2014-07-01 | 2014-07-01 | 情報処理装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014135791A JP2016014720A (ja) | 2014-07-01 | 2014-07-01 | 情報処理装置および方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016014720A true JP2016014720A (ja) | 2016-01-28 |
Family
ID=55230966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014135791A Pending JP2016014720A (ja) | 2014-07-01 | 2014-07-01 | 情報処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016014720A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017163928A1 (ja) * | 2016-03-24 | 2017-09-28 | ソニー株式会社 | 画像処理装置および方法 |
| JP2017183919A (ja) * | 2016-03-29 | 2017-10-05 | ブラザー工業株式会社 | 投影制御装置、プログラム、及び投影システム |
| KR101820905B1 (ko) * | 2016-12-16 | 2018-01-22 | 씨제이씨지브이 주식회사 | 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템 |
| JP2018207373A (ja) * | 2017-06-07 | 2018-12-27 | パナソニックＩｐマネジメント株式会社 | 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム |
| WO2019012774A1 (ja) | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| WO2019124070A1 (ja) | 2017-12-19 | 2019-06-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および投影システム |
| US10520797B2 (en) | 2016-09-21 | 2019-12-31 | Seiko Epson Corporation | Projection system, control device, and control method of projection system |
-
2014
- 2014-07-01 JP JP2014135791A patent/JP2016014720A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017163928A1 (ja) * | 2016-03-24 | 2017-09-28 | ソニー株式会社 | 画像処理装置および方法 |
| US10872434B2 (en) | 2016-03-24 | 2020-12-22 | Sony Corporation | Image processing apparatus and method |
| JP2017183919A (ja) * | 2016-03-29 | 2017-10-05 | ブラザー工業株式会社 | 投影制御装置、プログラム、及び投影システム |
| US10520797B2 (en) | 2016-09-21 | 2019-12-31 | Seiko Epson Corporation | Projection system, control device, and control method of projection system |
| KR101820905B1 (ko) * | 2016-12-16 | 2018-01-22 | 씨제이씨지브이 주식회사 | 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템 |
| US10051250B2 (en) | 2016-12-16 | 2018-08-14 | Cj Cgv Co., Ltd. | Method of automatically correcting projection area based on image photographed by photographing device and system therefor |
| JP2018207373A (ja) * | 2017-06-07 | 2018-12-27 | パナソニックＩｐマネジメント株式会社 | 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム |
| WO2019012774A1 (ja) | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| KR20200028331A (ko) | 2017-07-14 | 2020-03-16 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법, 및 프로그램 |
| US11082670B2 (en) | 2017-07-14 | 2021-08-03 | Sony Corporation | Information processing apparatus, information processing method, and program |
| WO2019124070A1 (ja) | 2017-12-19 | 2019-06-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および投影システム |
| US11115632B2 (en) | 2017-12-19 | 2021-09-07 | Sony Corporation | Image processing device, image processing method, program, and projection system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016014720A (ja) | 情報処理装置および方法 | |
| US10645284B2 (en) | Image processing device, image processing method, and recording medium storing program | |
| WO2017006780A1 (ja) | 情報処理装置および方法、並びにプログラム | |
| JP5389879B2 (ja) | 撮像装置、監視カメラ、およびカメラ画面のマスク方法 | |
| CN106464825B (zh) | 图像处理设备和方法 | |
| JP5338718B2 (ja) | 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法 | |
| TWI393072B (zh) | 廣角感測器陣列模組及其影像校正方法、運作方法與應用 | |
| US20160234438A1 (en) | Image processing system, image generation apparatus, and image generation method | |
| US9892488B1 (en) | Multi-camera frame stitching | |
| JP6658520B2 (ja) | 画像処理装置および方法 | |
| KR20140071330A (ko) | 이미징 디바이스를 캘리브레이션하는 방법 및 장치 | |
| JP5453352B2 (ja) | 映像表示装置、映像表示方法およびプログラム | |
| JP6201359B2 (ja) | 投影システム、投影方法及び投影プログラム | |
| KR102412291B1 (ko) | 카메라 모듈에 포함된 렌즈부의 흔들림을 제어하는 전자 장치 및 전자 장치의 동작 방법 | |
| JP6915537B2 (ja) | 情報処理装置および方法、並びに、投影撮像装置および情報処理方法 | |
| WO2018225531A1 (ja) | 画像処理装置および方法 | |
| US9338417B2 (en) | Image projecting system, master apparatus, image projecting apparatus, and image projecting method | |
| JP2004228824A (ja) | スタックプロジェクション装置及びその調整方法 | |
| US20210067753A1 (en) | Information processing apparatus and information processing method | |
| JP6318576B2 (ja) | 画像投影システム、画像処理装置、画像投影方法およびプログラム | |
| WO2019203002A1 (ja) | 情報処理装置および方法 | |
| JP6320020B2 (ja) | 電子機器、その制御方法及びプログラム | |
| US20200021787A1 (en) | Projector, projection method, image processing system, and method | |
| JP2005229282A (ja) | プロジェクタおよびマルチプロジェクションディスプレイ | |
| WO2020255766A1 (ja) | 情報処理装置、情報処理方法、プログラム、投映装置、および情報処理システム |