JP2016014720A - 情報処理装置および方法 - Google Patents
情報処理装置および方法 Download PDFInfo
- Publication number
- JP2016014720A JP2016014720A JP2014135791A JP2014135791A JP2016014720A JP 2016014720 A JP2016014720 A JP 2016014720A JP 2014135791 A JP2014135791 A JP 2014135791A JP 2014135791 A JP2014135791 A JP 2014135791A JP 2016014720 A JP2016014720 A JP 2016014720A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- projection
- imaging
- mutual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】より容易かつ高精度に投影部と撮像部との位置関係のキャリブレーションを行うことができるようにする。
【解決手段】本技術の情報処理装置は、所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する。本技術は、例えば、プロジェクタ若しくはカメラ、またはその両方の機能を備える電子機器、それらを制御するコンピュータ等に適用することができる。
【選択図】図19
【解決手段】本技術の情報処理装置は、所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する。本技術は、例えば、プロジェクタ若しくはカメラ、またはその両方の機能を備える電子機器、それらを制御するコンピュータ等に適用することができる。
【選択図】図19
Description
本技術は、情報処理装置および方法に関し、特に、より容易かつ高精度に投影部と撮像部との位置関係のキャリブレーションを行うことができるようにした情報処理装置および方法に関する。
従来、複数のプロジェクタを用いて画像を投影するシステムがあった。このようなシステムにおいては、各プロジェクタの投影画像を適切に繋げることにより、1つの画像を投影することができる。そのために、カメラ等により投影画像がセンシングされ、そのセンシング結果を用いて各プロジェクタにおいて投影する画像に対する補正が行われていた。
その補正の際、各カメラやプロジェクタの内部変数だけでなく、カメラやプロジェクタの位置関係等の外部変数が用いられるが、これらの変数は、システムの出荷時や設置時等にキャリブレーションされていた。例えば、グレイコードを用いてプロジェクタとカメラの画素の対応関係を検出する方法や、チェッカーとチェッカーの4隅のうちどれかが欠けたパターン画像を用いてプロジェクタとカメラの画素の対応関係を検出する方法が考えられた(例えば、非特許文献1参照)。
Ramesh Raskar, Jeroen van Baar, Paul Beardsley, Thomas Willwacher, Srinivas Rao, Clifton Forlines, "iLamps: Geometrically Aware and Self-Configuring Projectors", ACM SIGGRAPH 2003 Conference Proceedings
しかしながら、カメラやプロジェクタの位置関係等の外部変数は、システム設置後に経年変化する可能性があるが、その場合、改めて特殊な装置を用いてキャリブレーションする必要があり、複数のカメラやプロジェクタの全てについてこのようなキャリブレーションを行うためには煩雑な作業を必要とした。また、このような方法では、全てのキャリブレーションを高精度に行うことは困難であった。
本技術は、このような状況に鑑みて提案されたものであり、より容易かつ高精度に投影部と撮像部との位置関係のキャリブレーションを行うことができるようにすることを目的とする。
本技術の一側面は、所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する相互姿勢推定部を備える情報処理装置である。
前記相互姿勢推定部は、前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離に基づいて、前記相互姿勢を決定する変数を推定することができる。
前記相互姿勢推定部は、前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離の評価値を更新する更新部と、前記更新部により更新された前記評価値に基づいて、前記相互姿勢を決定する変数を推定する変数推定部とを備えることができる。
前記更新部は、前記撮像部が撮像する前記画像に含まれる処理対象の画素の前記所定の面における位置と、前記画素を投影する各投影部が投影する前記画像の前記画素の前記所定の面における位置との距離の2乗平均を前記評価値とすることができる。
前記変数推定部は、前記撮像部の回転行列、前記撮像部の並進ベクトル、前記投影部の回転行列、および前記投影部の並進ベクトルを含むようにすることができる。
前記投影部および前記撮像部を有する投影撮像装置同士の相互姿勢を仮の相互姿勢として推定する仮相互姿勢推定部をさらに備え、前記相互姿勢推定部は、前記仮相互姿勢推定部により推定された前記仮の相互姿勢を初期値として、前記相互姿勢を推定することができる。
前記仮相互姿勢推定部は、各投影撮像装置の投影面の位置の誤差が最小となるように前記仮の相互姿勢を推定することができる。
各投影撮像装置について、前記画像が投影される投影面に対する前記投影部および前記撮像部の相互姿勢を推定する投影面姿勢推定部をさらに備え、前記仮相互姿勢推定部は、前記投影面姿勢推定部により推定された前記投影面に対する前記投影部および前記撮像部の相互姿勢を用いて、前記仮の相互姿勢を推定することができる。
前記投影面姿勢推定部は、三角測量を行うことにより前記投影面を推定し、推定した前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定することができる。
前記投影面姿勢推定部は、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定することができる。
前記仮相互姿勢推定部は、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係に基づいて、前記仮の相互姿勢を推定することができる。
前記投影面姿勢推定部は、前記投影部に画素位置対応を求める際に用いるパターンを投影させ、前記撮像部に撮像させることにより検出される、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定することができる。
投影された画像を撮像し撮像画像を得る撮像部をさらに備え、前記相互姿勢推定部は、前記所定の面における、他の装置の投影部が投影する画像と前記撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相互姿勢を推定することができる。
画像を投影する投影部をさらに備え、前記相互姿勢推定部は、さらに、前記投影部と前記撮像部との相互姿勢を推定することができる。
前記相互姿勢推定部により推定された前記投影部と前記撮像部との相互姿勢に応じた変数を用いて、投影する画像を補正する画像処理を行う画像処理部をさらに備えることができる。
本技術の一側面は、また、所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する情報処理方法である。
本技術の一側面においては、所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢が推定される。
本技術によれば、画像に基づいて情報を処理することが出来る。また本技術によれば、より容易かつ高精度に投影部と撮像部との位置関係のキャリブレーションを行うことができる。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(投影撮像システム)
1.第1の実施の形態(投影撮像システム)
<1.第1の実施の形態>
<外部変数の経年変化と再キャリブレーション>
従来、複数のプロジェクタを用いて画像を投影するシステムがあった。このようなシステムにおいては、各プロジェクタの投影画像を適切に繋げることにより、1つの画像を投影することができる。そのために、カメラ等により投影画像がセンシングされ、そのセンシング結果を用いて各プロジェクタにおいて投影する画像に対する補正が行われていた。
<外部変数の経年変化と再キャリブレーション>
従来、複数のプロジェクタを用いて画像を投影するシステムがあった。このようなシステムにおいては、各プロジェクタの投影画像を適切に繋げることにより、1つの画像を投影することができる。そのために、カメラ等により投影画像がセンシングされ、そのセンシング結果を用いて各プロジェクタにおいて投影する画像に対する補正が行われていた。
その補正の際、各カメラやプロジェクタの内部変数だけでなく、カメラやプロジェクタの位置関係等の外部変数が用いられるが、これらの変数は、システムの出荷時や設置時等にキャリブレーションされていた。例えば、グレイコードを用いてプロジェクタとカメラの画素の対応関係を検出する方法や、非特許文献1に記載のような、チェッカーとチェッカーの4隅のうちどれかが欠けたパターン画像を用いてプロジェクタとカメラの画素の対応関係を検出する方法が考えられた。
しかしながら、カメラやプロジェクタの位置関係等の外部変数は、システム設置後に経年変化する可能性があるが、その場合、改めて特殊な装置を用いてキャリブレーションする必要があり、複数のカメラやプロジェクタの全てについてこのようなキャリブレーションを行うためには煩雑な作業を必要とした。また、このような方法では、全てのキャリブレーションを高精度に行うことは困難であった。
そこで、より容易かつ高精度に投影部と撮像部との位置関係のキャリブレーションを行うことができるように、所定の面における、投影部が投影する画像と撮像部が撮像する画像との相対位置関係に基づいて、投影部と撮像部との相対的な位置および方向である相互姿勢を推定する相互姿勢推定部を備えるようにする。
つまり、相互姿勢推定部は、共通の所定の面において各投影部が投影する画像の位置と撮像部が撮像する画像との位置をできるだけ近づけるように、その所定の面に対する投影部と撮像部の姿勢を求め、その所定の面を介して、投影部と撮像部の相互姿勢を求める。
このようにキャリブレーションを行うことにより、複数の投影部と撮像部の相互姿勢を容易に求めることができる。また、画像の位置合わせの方法としては、例えば投影部が投影する画像上において行う方法があるが、これに対して上述した方法の場合、投影先の面(投影面)において画像を揃えるようにキャリブレーションを行う。したがって、より高精度にキャリブレーションを行うことができる。
なお、前記相互姿勢推定部が、投影部が投影する画像の所定の面における位置と、撮像部が撮像する画像の所定の面における位置との距離に基づいて、相互姿勢を決定する変数を推定するようにしてもよい。
また、相互姿勢推定部が、投影部が投影する画像の所定の面における位置と、撮像部が撮像する画像の所定の面における位置との距離の評価値を更新する更新部と、その更新部により更新された評価値に基づいて、相互姿勢を決定する変数を推定する変数推定部とを備えるようにしてもよい。
そして、その更新部が、撮像部が撮像する画像に含まれる処理対象の画素の所定の面における位置と、画素を投影する各投影部が投影する画像の画素の所定の面における位置との距離の2乗平均を前記評価値とするようにしてもよい。
さらに、変数推定部が、撮像部の回転行列、撮像部の並進ベクトル、投影部の回転行列、および投影部の並進ベクトルを含むようにしてもよい。
また、投影部および撮像部を有する投影撮像装置同士の相互姿勢を仮の相互姿勢として推定する仮相互姿勢推定部をさらに備えるようにしてもよい。そして、相互姿勢推定部が、仮相互姿勢推定部により推定された仮の相互姿勢を初期値として、相互姿勢を推定するようにしてもよい。
なお、その仮相互姿勢推定部が、各投影撮像装置の投影面の位置の誤差が最小となるように仮の相互姿勢を推定するようにしてもよい。
また、各投影撮像装置について、画像が投影される投影面に対する投影部および撮像部の相互姿勢を推定する投影面姿勢推定部をさらに備えるようにしてもよい。そして、仮相互姿勢推定部が、投影面姿勢推定部により推定された投影面に対する投影部および撮像部の相互姿勢を用いて、仮の相互姿勢を推定するようにしてもよい。
なお、その投影面姿勢推定部が、三角測量を行うことにより投影面を推定し、推定した投影面に対する投影部および撮像部の相互姿勢を推定するようにしてもよい。
また、投影面姿勢推定部が、投影撮像装置内の投影部と撮像部との画素位置の対応関係と、投影撮像装置間の投影部と撮像部との画素位置の対応関係とに基づいて、投影面に対する投影部および撮像部の相互姿勢を推定するようにしてもよい。また、仮相互姿勢推定部が、投影撮像装置間の投影部と撮像部との画素位置の対応関係に基づいて、仮の相互姿勢を推定するようにしてもよい。
なお、投影面姿勢推定部が、投影部に画素位置対応を求める際に用いるパターンを投影させ、撮像部に撮像させることにより検出される、投影撮像装置内の投影部と撮像部との画素位置の対応関係と、投影撮像装置間の投影部と撮像部との画素位置の対応関係とに基づいて、投影面に対する投影部および撮像部の相互姿勢を推定するようにしてもよい。
また、投影された画像を撮像し撮像画像を得る撮像部をさらに備えるようにしてもよい。そして、相互姿勢推定部が、所定の面における、他の装置の投影部が投影する画像と撮像部が撮像する画像との相対位置関係に基づいて、投影部と撮像部との相互姿勢を推定するようにしてもよい。
また、画像を投影する投影部をさらに備えるようにしてもよい。そして、相互姿勢推定部が、さらに、投影部と撮像部との相互姿勢を推定するようにしてもよい。
また、相互姿勢推定部により推定された投影部と撮像部との相互姿勢に応じた変数を用いて、投影する画像を補正する画像処理を行う画像処理部をさらに備えるようにしてもよい。
<投影撮像システム>
このような本技術を適用した情報処理装置の一実施の形態である制御装置を適用した投影撮像システムの主な構成例を、図1に示す。図1に示される投影撮像システム100は、画像を投影するシステムである。この投影撮像システム100は、例えば、上述したように複数の投影装置(投影撮像装置)を用いて1つの画像を投影することができる。図1に示されるように、投影撮像システム100は、制御装置101、投影撮像装置102−1乃至投影撮像装置102−4、並びに、通信ケーブル103−1乃至通信ケーブル103−4を有する。
このような本技術を適用した情報処理装置の一実施の形態である制御装置を適用した投影撮像システムの主な構成例を、図1に示す。図1に示される投影撮像システム100は、画像を投影するシステムである。この投影撮像システム100は、例えば、上述したように複数の投影装置(投影撮像装置)を用いて1つの画像を投影することができる。図1に示されるように、投影撮像システム100は、制御装置101、投影撮像装置102−1乃至投影撮像装置102−4、並びに、通信ケーブル103−1乃至通信ケーブル103−4を有する。
投影撮像装置102−1は、通信ケーブル103−1により制御装置101と接続されている。投影撮像装置102−2は、通信ケーブル103−2により制御装置101と接続されている。投影撮像装置102−3は、通信ケーブル103−3により制御装置101と接続されている。投影撮像装置102−4は、通信ケーブル103−4により制御装置101と接続されている。
制御装置101は、投影撮像装置102−1乃至投影撮像装置102−4のそれぞれと通信を行い、それらの動作を制御する。例えば、制御装置101は、投影撮像装置102−1乃至投影撮像装置102−4に対して、画像をスクリーン104に投影させたり、スクリーン104に投影された画像(投影画像)を撮像させたりする。
例えば、制御装置101は、投影撮像装置102−1乃至投影撮像装置102−4を制御し、それらを協働させて1つの画像をスクリーン104に投影させることもできる。また、制御装置101は、例えば、投影撮像装置102−1乃至投影撮像装置102−4が有する投影部や撮像部の相対的な位置や方向である相互姿勢(例えば回転成分や並進成分等)のキャリブレーションを行うことができる。また、制御装置101は、例えば、そのキャリブレーション結果を用いて、投影撮像装置102−1乃至投影撮像装置102−4のそれぞれが投影する画像に対する補正を行うことができる。
投影撮像装置102−1乃至投影撮像装置102−4は、それぞれ、制御装置101に制御され、スクリーン104に画像を投影したり、スクリーン104に投影された投影画像を撮像したりする装置である。投影撮像装置102−1乃至投影撮像装置102−4は、互いに同様の構成を有し、同様の機能を有する。以下において、投影撮像装置102−1乃至投影撮像装置102−4を互いに区別して説明する必要が無い場合、投影撮像装置102と称する。
図1に示されるように、投影撮像装置102−1は、画像を投影する投影部111−1、および、被写体を撮像して撮像画像を得る撮像部112−1を有する。同様に、投影撮像装置102−2は、画像を投影する投影部111−2、および、被写体を撮像して撮像画像を得る撮像部112−2を有する。同様に、投影撮像装置102−3は、画像を投影する投影部111−3、および、被写体を撮像して撮像画像を得る撮像部112−3を有する。同様に、投影撮像装置102−4は、画像を投影する投影部111−4、および、被写体を撮像して撮像画像を得る撮像部112−4を有する。
投影部111−1乃至111−4は、互いに同様の構成を有し、同様の機能を有する。以下において、投影部111−1乃至111−4を互いに区別して説明する必要が無い場合、投影部111と称する。また、撮像部112−1乃至撮像部112−4は、互いに同様の構成を有し、同様の機能を有する。以下において、撮像部112−1乃至撮像部112−4を互いに区別して説明する必要が無い場合、撮像部112と称する。
つまり、投影撮像装置102は、投影部111および撮像部112を有する。
また、通信ケーブル103−1乃至通信ケーブル103−4は、互いに同様の規格に対応する通信媒体である。以下において、通信ケーブル103−1乃至通信ケーブル103−4を互いに区別して説明する必要が無い場合、通信ケーブル103と称する。
通信ケーブル103は、例えば、HDMI(登録商標)(High-Definition Multimedia Interface)に準拠したケーブルである。もちろん、通信ケーブル103が対応する通信規格は任意であり、例えばディスプレイポート(DisplayPort)等、HDMI(登録商標)以外の規格であってもよい。
スクリーン104は、投影撮像装置102が画像を投影する面(投影面)の一例である。このスクリーン104は、平面であってもよいし、曲面であってもよい。例えばスクリーン104の表面に凹凸が形成されていてもよい。また、スクリーン104の色は任意である。なお、スクリーン104の代わりに所定の立体構造物(例えば建造物、壁、床、天井、家具、小物、生物等)を投影面としてもよい。
スクリーン104上の投影画像105−1は、投影部111−1が投影した画像である。同様に、投影画像105−2は、投影部111−2が投影した画像であり、投影画像105−3は、投影部111−3が投影した画像であり、投影画像105−4は、投影部111−4が投影した画像である。以下において、投影画像105−1乃至投影画像105−4を互いに区別して説明する必要が無い場合、投影画像105と称する。
図1に示されるように、例えば、スクリーン104に投影画像105−1乃至投影画像105−4が並び、1つの領域を形成するように、各投影撮像装置102を配置する。そして、制御装置101は、各投影撮像装置102を制御し、入力画像106の投影画像107が、その領域に、各投影画像105に跨るように投影させる。つまり、各投影部111は、それぞれ制御装置101に制御されて、入力画像106の部分画像(自身に割り当てられた画像)を投影し、スクリーン104上において、投影画像107が形成されるようにする。
このように、制御装置101は、複数の投影撮像装置102を協働させることにより、投影画像の解像度を向上させる(換言するに、解像度(画質)の低減を抑制しながら画像サイズを増大させる)ことができる。なお、入力画像106(投影画像107)は、動画像であってもよいし、静止画像であってもよい。
このような処理を実現するためには、制御装置101が、各投影撮像装置102の相互姿勢(すなわち、各投影部111並びに各撮像部112の相互姿勢)を正確に把握する必要がある。この相互姿勢は外部変数として表すことができるが、この外部変数は、投影撮像装置102等を設置した際にキャリブレーションを行ったとしても、経年変化が生じるおそれがある。この外部変数の経年変化により各投影画像105の表示位置に誤差が生じると、本来1つの画像として表示されるはずの投影画像107にずれや歪等が生じるおそれがある。すなわち、投影画像の画質が低減するおそれがある。
そこで、制御装置101は、各撮像部112の撮像画像等を用いて外部変数のキャリブレーションを行う。各投影撮像装置102の撮像部112の撮像画像を用いることにより、制御装置101は、より容易かつ高精度にキャリブレーションを行うことができる。
<制御装置>
図2は、本技術を適用した情報処理装置の一実施の形態である制御装置101の主な構成例を示す図である。
図2は、本技術を適用した情報処理装置の一実施の形態である制御装置101の主な構成例を示す図である。
図2に示されるように、制御装置101において、CPU(Central Processing Unit)151、ROM(Read Only Memory)152、RAM(Random Access Memory)153は、バス154を介して相互に接続されている。
バス154にはまた、入出力インタフェース160も接続されている。入出力インタフェース160には、入力部161、出力部162、記憶部163、通信部164、およびドライブ165が接続されている。
入力部161は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部161には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部161に含まれるようにしてもよい。
出力部162は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部162には、ディスプレイ、スピーカ、出力端子等が含まれる。
記憶部163は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部164は、例えば、ネットワークインタフェースよりなる。例えば、通信部164は、通信ケーブル103に接続され、通信ケーブル103を介して接続される他の装置と通信を行う。ドライブ165は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア171を駆動する。
CPU151は、例えば、記憶部163に記憶されているプログラムを、入出力インタフェース160およびバス154を介して、RAM153にロードして実行することにより、各種処理を行う。RAM153にはまた、CPU151が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU151が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア171に記録して制御装置101に提供することができる。その場合、プログラムは、リムーバブルメディア171をドライブ165に装着することにより、入出力インタフェース160を介して、記憶部163にインストールすることができる。
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して制御装置101に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部164で受信し、記憶部163にインストールすることができる。
その他、このプログラムは、ROM152や記憶部163に、あらかじめインストールしておくこともできる。
<機能ブロック>
制御装置101のCPU151は、プログラムを実行することにより、各種機能を実現する。図3は、CPU151が実現する主な機能の例を示す機能ブロック図である。
制御装置101のCPU151は、プログラムを実行することにより、各種機能を実現する。図3は、CPU151が実現する主な機能の例を示す機能ブロック図である。
図3に示されるように、CPU151は、キャリブレーション処理部201、画像処理部202、投影制御部203、撮像制御部204等の機能ブロックを有する。
キャリブレーション処理部201は、投影撮像装置102の外部変数のキャリブレーションに関する処理を行う。投影画像105の補正に影響を及ぼす変数としては、例えば、投影部111や撮像部112の内部変数や歪パラメータ、投影撮像装置102内における投影部111と撮像部112との相互姿勢を表す外部変数(投影撮像装置102内の外部変数とも称する)、並びに、投影撮像装置102間における投影部111と撮像部112との相互姿勢を表す外部変数(投影撮像装置102間の外部変数とも称する)等がある。
画像処理部202は、キャリブレーション処理部201によりキャリブレーションされた外部変数等を用いて、投影画像の補正に関する処理を行う。投影制御部203は、投影撮像装置102の投影部111の制御に関する処理を行う。撮像制御部204は、投影撮像装置102の撮像部112の制御に関する処理を行う。
キャリブレーション処理部201は、画素位置対応検出部211、投影面姿勢推定部212、仮相互姿勢推定部213、および相互姿勢再推定部214を有する。
画素位置対応検出部211は、各投影部111と各撮像部112との間の画素位置の対応関係の検出に関する処理を行う。投影面姿勢推定部212は、投影面に対する各投影部111や各撮像部112の相互姿勢の推定に関する処理を行う。仮相互姿勢推定部213は、投影撮像装置102同士の仮の相互姿勢の推定に関する処理を行う。相互姿勢再推定部214は、投影部111と撮像部112との間の相互姿勢の推定に関する処理を行う。
<投影撮像装置の外観>
図4に投影撮像装置102の外観の例を示す。投影撮像装置102は、上述したように投影部111と撮像部112を有しており、その筐体には、画像を投影するための投射口(レンズ機構)や、被写体を撮像するためのカメラ(レンズ機構)等の光学デバイスが設けられている。また、投影撮像装置102は、どのような大きさの装置であってもよいが、例えば、携帯型(小型)の装置としてもよい。その場合、図4に示されるように、投影撮像装置102の筐体にバッテリを設けるようにしてもよい。バッテリを設けることにより、外部電源なしに投影撮像装置102を駆動させることができるので、その設置位置の自由度を向上させることができる。
図4に投影撮像装置102の外観の例を示す。投影撮像装置102は、上述したように投影部111と撮像部112を有しており、その筐体には、画像を投影するための投射口(レンズ機構)や、被写体を撮像するためのカメラ(レンズ機構)等の光学デバイスが設けられている。また、投影撮像装置102は、どのような大きさの装置であってもよいが、例えば、携帯型(小型)の装置としてもよい。その場合、図4に示されるように、投影撮像装置102の筐体にバッテリを設けるようにしてもよい。バッテリを設けることにより、外部電源なしに投影撮像装置102を駆動させることができるので、その設置位置の自由度を向上させることができる。
<投影撮像装置>
図5は、投影撮像装置102の主な構成例を示すブロック図である。
図5は、投影撮像装置102の主な構成例を示すブロック図である。
図5に示されるように、投影撮像装置102は、制御部301、投影部111、撮像部112、入力部311、出力部312、記憶部313、通信部314、およびドライブ315を有する。
制御部301は、例えば、CPU、ROM、RAM等よりなり、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。
投影部111は、制御部301に制御されて、画像の投影に関する処理を行う。例えば、投影部111は、制御部301から供給される画像を投影撮像装置102の外部(例えばスクリーン104等)に投影する。つまり、投影部111は、投影機能を実現する。投影部111は、レーザ光を光源とし、MEMSミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部111の光源は任意であり、レーザ光に限らず、LEDやキセノン等であってもよい。投影部111の詳細については後述する。
撮像部112は、制御部301に制御されて、装置外部の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部301に供給する。つまり、撮像部112は、撮像機能を実現する。例えば、撮像部112は、投影部111がスクリーン104に投影した投影画像を撮像する。
入力部311は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部311には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部311に含まれるようにしてもよい。
出力部312は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部312には、ディスプレイ、スピーカ、出力端子等が含まれる。
記憶部313は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部314は、例えば、ネットワークインタフェースよりなる。例えば、通信部314は、通信ケーブル103に接続され、通信ケーブル103を介して接続される他の装置と通信を行う。ドライブ315は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア321を駆動する。
制御部301は、例えば、記憶部313に記憶されているプログラムを、自身に内蔵されるRAMにロードして実行することにより、各種処理を行う。そのRAMにはまた、制御部301が各種の処理を実行する上において必要なデータなども適宜記憶される。
制御部301が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア321に記録して投影撮像装置102に提供することができる。その場合、プログラムは、リムーバブルメディア321をドライブ315に装着することにより、記憶部313にインストールすることができる。
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して投影撮像装置102に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部314で受信し、記憶部313にインストールすることができる。
その他、このプログラムは、制御部301に内蔵されるROMや記憶部313に、あらかじめインストールしておくこともできる。
<投影部>
図6は、投影部111の主な構成例を示すブロック図である。図6に示されるように、投影部111は、ビデオプロセッサ351、レーザドライバ352、レーザ出力部353−1、レーザ出力部353−2、レーザ出力部353−3、ミラー354−1、ミラー354−2、ミラー354−3、MEMS(Micro Electro Mechanical Systems)ドライバ355、および、MEMSミラー356を有する。
図6は、投影部111の主な構成例を示すブロック図である。図6に示されるように、投影部111は、ビデオプロセッサ351、レーザドライバ352、レーザ出力部353−1、レーザ出力部353−2、レーザ出力部353−3、ミラー354−1、ミラー354−2、ミラー354−3、MEMS(Micro Electro Mechanical Systems)ドライバ355、および、MEMSミラー356を有する。
ビデオプロセッサ351は、制御部301から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ351は、その投影する画像をレーザドライバ352やMEMSドライバ355に供給する。
レーザドライバ352は、ビデオプロセッサ351から供給される画像を投影するように、レーザ出力部353−1乃至レーザ出力部353−3を制御する。レーザ出力部353−1乃至レーザ出力部353−3は、例えば、赤、青、緑等、互いに異なる色(波長域)のレーザ光を出力する。つまり、レーザドライバ352は、ビデオプロセッサ351から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部353−1乃至レーザ出力部353−3を互いに区別して説明する必要が無い場合、レーザ出力部353と称する。
ミラー354−1は、レーザ出力部353−1から出力されるレーザ光を反射し、MEMSミラー356に誘導する。ミラー354−2は、レーザ出力部353−2から出力されるレーザ光を反射し、MEMSミラー356に誘導する。ミラー354−3は、レーザ出力部353−3から出力されるレーザ光を反射し、MEMSミラー356に誘導する。なお、ミラー354−1乃至ミラー354−3を互いに区別して説明する必要が無い場合、ミラー354と称する。
MEMSドライバ355は、ビデオプロセッサ351から供給される画像を投影するように、MEMSミラー356のミラーの駆動を制御する。MEMSミラー356は、MEMSドライバ355の制御に従ってMEMS上に取り付けられたミラー(鏡)を駆動することにより、例えば、図7の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えばスクリーン104に照射される。これにより、ビデオプロセッサ351から供給される画像がスクリーン104に投影される。
なお、図6の例においては、レーザ出力部353を3つ設け、3色のレーザ光を出力するように説明したが、レーザ光の数(または色数)は任意である。例えば、レーザ出力部353を4つ以上であってもよいし、2つ以下であってもよい。つまり、投影撮像装置102(投影部111)から出力されるレーザ光は、2本以下であってもよいし、4本いじょうであってもよい。そして、投影撮像装置102(投影部111)から出力されるレーザ光の色数も任意であり、2色以下であってもよいし、4色以上であってもよい。また、ミラー354やMEMSミラー356の構成も任意であり、図6の例に限定されない。もちろん、レーザ光の走査パターンは任意である。
<キャリブレーション処理の流れ>
次に、制御装置101において実行される各種処理の流れについて説明する。
次に、制御装置101において実行される各種処理の流れについて説明する。
投影撮像装置102の外部変数のキャリブレーションを行うために、制御装置101のキャリブレーション処理部201は、キャリブレーション処理を実行する。この処理は、任意のタイミングにおいて実行することができる。
図8のフローチャートを参照して、キャリブレーション処理の流れの例を説明する。キャリブレーション処理が開始されると、画素位置対応検出部211は、ステップS101において、画素位置対応検出処理を行う。その処理が終了すると、投影面姿勢推定部212は、ステップS102において、投影面姿勢推定処理を行う。その処理が終了すると、仮相互姿勢推定部213は、ステップS103において、仮相互姿勢推定処理を行う。その処理が終了すると、相互姿勢再推定部214は、ステップS104において、相互姿勢再推定処理を行う。その処理が終了すると、キャリブレーション処理が終了する。
<画素位置対応検出処理の流れ>
次に、図8のステップS101において実行される画素位置対応検出処理の流れについて、図9のフローチャートを参照して説明する。必要に応じて、図10乃至図13を参照して説明する。
次に、図8のステップS101において実行される画素位置対応検出処理の流れについて、図9のフローチャートを参照して説明する。必要に応じて、図10乃至図13を参照して説明する。
画素位置対応検出処理が開始されると、画素位置対応検出部211は、ステップS121において、未処理の投影部111の中から処理対象とする投影部111を選択する。
図10に示されるように、投影撮像システム100の各投影撮像装置102や制御装置101を、スクリーン104に画像を投影することができるように配置する。その際、各投影撮像装置102から投影された投影画像105の少なくとも一部が図10の例のように互いに重なる(オーバーラップする)ようにする。この状態において、各投影撮像装置102の撮像部112は、他の投影撮像装置102から投影された投影画像105の少なくとも一部を撮像することができる。投影面が曲面の場合、そのための補正が必要になり、キャリブレーションの難易度が高くなるので、スクリーン104は平面であることが望ましい。このように各装置を配置した状態において、処理対象とする投影部111が選択される。
ステップS122において、画素位置対応検出部211は、選択された投影部にグレイコードの画像を投影させる。そして、ステップS123において、画素位置対応検出部211は、全ての撮像部112に、投影されたグレイコードの画像を撮像させる。
グレイコードの画像の例を図11に示す。例えば、図11Aに示されるような所定のパターン画像をプロジェクタから時系列に切り替えながら投影して、各パターンをカメラで撮像する。そして、全てのパターンの撮像が完了したらカメラの各画素において、各撮像パターンの1(白)または0(黒)を検出して、図11Bに示されるように、その1,0パターンをデコードすることでプロジェクタ画素の位置を取得する。これにより画素の対応関係を取得することができる。
ステップS124において、画素位置対応検出部211は、全ての投影部111にグレイコードの画像を投影させたか否かを判定する。未処理の投影部111が存在すると判定された場合、処理はステップS121に戻り、それ以降の処理を繰り返す。各投影部111に対して、ステップS121乃至ステップS124の処理が実行され、ステップS124において全ての投影部111にグレイコードの画像を投影させた(すなわち、未処理の投影部111が存在しない)と判定された場合、処理は、ステップS125に進む。
ステップS125において、画素位置対応検出部211は、各対応点について、各投影撮像装置102内における、投影部111の画素位置と撮像部112の画素位置との対応関係を検出する。つまり、互いに同じ投影撮像装置102の構成である投影部111と撮像部112との間で、画素位置の対応関係が検出される。
対応点とは、グレイコードの画像の、画素位置の対応関係の検出に用いる注目画素である。つまり、グレイコードの画像の所定の注目画素を投影する投影部111の画素と、その注目画素を撮像する撮像部112の画素とが特定され、それらが紐付けされる(対応関係が検出される)。この対応点(注目画素)は、グレイコードの画像の全画素としてもよいし、グレイコードの画像の一部の画素(代表画素)としてもよい。その場合、代表画素とする画素の位置は任意である。
ステップS125においては、図12に示されるように、グレイコード401の所定の対応点402に注目し、投影部111の、その対応点402を投影する画素403と、撮像部112の、その対応点402を撮像する画素404とが特定され、それらが紐付けされる(画素位置の対応関係が検出される)。上述したように、グレイコードの画像の全画素について同様の画素位置対応関係を検出するようにしてもよいし、代表画素についてのみ、画素位置対応関係を検出するようにしてもよい。
ステップS126において、画素位置対応検出部211は、各対応点について、各投影撮像装置102間における、投影部111の画素位置と撮像部112の画素位置との対応関係を検出する。つまり、互いに異なる投影撮像装置102の構成である投影部111と撮像部112との間で、画素位置の対応関係が検出される。
この投影撮像装置102間における画素位置対応関係の検出も、ステップS125の処理の場合と同様に行われる。すなわち、図13に示されるように、グレイコード411の所定の対応点412に注目し、例えば投影撮像装置102−2の投影部111−2の、その対応点412を投影する画素と、投影撮像装置102−1の撮像部112−1の、その対応点412を撮像する画素とが特定され、それらが紐付けされる(画素位置の対応関係が検出される)。もちろん、この場合も、グレイコードの画像の全画素について同様の画素位置対応関係を検出するようにしてもよいし、代表画素についてのみ、画素位置対応関係を検出するようにしてもよい。
ステップS126の処理が終了すると、画素位置対応検出処理が終了し、処理は図8に戻る。以上のように画素位置対応検出処理を行うことにより、各投影部111と各撮像部112との間で、画素位置の対応関係を検出することができる。
なお、投影部111と、その投影部111が投影した画像を撮像することができない位置にある撮像部112との間では、画素位置の対応関係は実質的に検出することができないので、上述した画素位置の対応関係の検出処理を省略するようにしてもよい。
また、以上においては、画素位置の対応関係を検出するためにグレイコードを用いるように説明したが、このグレイコードに限らず、画素位置の対応関係が特定が可能な画像であればどのようなパターンの画像を用いるようにしてもよい。例えば、非特許文献1に記載のチェッカーとチェッカーの4隅のうちどれかが欠けたパターンの画像を用いるようにしてもよいし、それ以外のパターンの画像を用いるようにしてもよい。
<投影面姿勢推定処理の流れ>
次に、図8のステップS102において実行される投影面姿勢推定処理の流れについて、図14のフローチャートを参照して説明する。必要に応じて、図15を参照して説明する。
次に、図8のステップS102において実行される投影面姿勢推定処理の流れについて、図14のフローチャートを参照して説明する。必要に応じて、図15を参照して説明する。
投影面姿勢推定処理が開始されると、投影面姿勢推定部212は、ステップS141において、未処理の投影撮像装置102の中から処理対象とする投影撮像装置102を選択する。
ステップS142において、投影面姿勢推定部212は、画素位置対応関係検出処理(図9)により検出された、処理対象の投影撮像装置102内における投影部111と撮像部112との間の画素位置の対応関係と、キャリブレーション済みの内部変数や外部変数を用いて三角測量を行い、各対応点の3次元座標位置を求める。その際、事前にキャリブレーション済みの内部変数や外部変数を用いて三角測量を行う。この外部変数は、経年変化により、誤差を含む(実際とは異なっている)可能性がある値である。
例えば、図15に示されるように、画素位置対応点検出処理の処理結果に基づいて、ある対応点の、投影部111が投影する画素421と、撮像部112が撮像する画素422とを求める。そして、それらの画素位置と、投影部111と撮像部112の内部変数やそれらの相互姿勢を示す外部変数423等とを用いて、三角測量を行い、その対応点が投影される三次元点座標424を求める。この三次元点座標424は、投影部111(画素421)の投影方向と、撮像部112(画素422)の撮像方向とが交差する位置(つまり、画素421が投影した位置と、画素422が撮像した位置とが一致する(位置ずれが生じない)座標である。このような処理を複数の対応点について行い、三次元点座標群425を求める。
ステップS143において、投影面姿勢推定部212は、ステップS142の処理により得られた、各対応点の3次元座標位置に基づいて、平面スクリーンモデルを求める。
図15の例の場合、投影面姿勢推定部212は、ステップS142の処理により求められた三次元点座標群425に最もよくあてはまる平面を求め、それを平面スクリーンモデル431とする。この平面スクリーンモデルの推定方法は任意であるが、例えば、RANSAC(RANDdom Sample Consensus)等の方法を用いて、外れ値に対してロバストに平面スクリーンモデルを推定するようにしてもよい。
ステップS144において、投影面姿勢推定部212は、ステップS143の処理により得られた平面スクリーンモデルに対する投影部111および撮像部112の姿勢を推定する。
図15の例の場合、投影部111の姿勢と撮像部112の姿勢とが、それぞれ、平面スクリーンモデル431の3次元座標(矢印432および矢印433)により表される。
ステップS145において、投影面姿勢推定部212は、全ての投影撮像装置102を処理したか否かを判定する。未処理の投影撮像装置102が存在すると判定された場合、処理はステップS141に戻り、それ以降の処理を繰り返す。各投影撮像装置102に対して、ステップS141乃至ステップS145の各処理が実行され、ステップS145において、全ての投影撮像装置102を処理した(未処理の投影撮像装置102が存在しない)と判定された場合、投影面姿勢推定処理が終了し、処理は図8に戻る。
以上のように投影面姿勢推定処理を実行することにより、投影面に対する投影部111の姿勢と撮像部112の姿勢とを推定することができる。
<仮相互姿勢推定処理の流れ>
次に、図8のステップS103において実行される仮相互姿勢推定処理の流れについて、図16のフローチャートを参照して説明する。必要に応じて、図17および図18を参照して説明する。
次に、図8のステップS103において実行される仮相互姿勢推定処理の流れについて、図16のフローチャートを参照して説明する。必要に応じて、図17および図18を参照して説明する。
仮相互姿勢推定処理が開始されると、仮相互姿勢推定部213は、ステップS161において、未処理の投影撮像装置対の中から処理対象とする投影撮像装置対を選択する。投影撮像装置対とは、投影撮像システム100が有する投影撮像装置102群の中から選択された任意の2台の投影撮像装置102である。つまり、仮相互姿勢推定部213は、投影撮像装置102を2台ずつ処理対象とする。なお、お互いの投影画像がオーバーラップしない(投影画像に重なる部分がない)組み合わせは、省略するようにしてもよい。
ステップS162において、仮相互姿勢推定部213は、処理対象の投影撮像装置対について、互いの平面スクリーンの3次元座標の誤差2乗和が最小となる相対姿勢を推定する。
例えば、図17に示される例の場合、仮相互姿勢推定部213は、両矢印451に示されるように、投影撮像装置102−1の撮像部112−1の画素位置453に対応する平面スクリーンモデル431−1上の三次元点座標424−1と、その画素位置453に対応する投影撮像装置102−2の投影部111−2の画素位置452に対応する平面スクリーンモデル431−2上の三次元点座標424−2とが平面スクリーン上での位置の誤差の二乗和が最小になるという条件を解く。このような処理が、図17の三次元座標群425−1および三次元座標群425−2の各三次元点座標424について行われる。このとき、平面スクリーンを前提としているので求める外部変数は、ロール(Roll)回転成分とX, Y並進成分のみである(平面スクリーンを共有している前提なので,ピッチ(Pitch)やヨー(Yaw)回転成分,Z並進成分は変化しない)。
これにより、図18に示されるように、平面スクリーンモデル431−1と平面スクリーンモデル431−2の互いの位置をできるだけ近似させたときの、投影部111−1の三次元座標471、撮像部112−1の三次元座標472、投影部111−2の三次元座標473、および撮像部112−2の三次元座標474(すなわち、選択した2台の投影撮像装置102の投影部111および撮像部112のそれぞれの三次元座標)が求まる。これにより、選択した2台の投影撮像装置102(図17や図18の例の場合、投影撮像装置102−1および投影撮像装置102−2)の間の外部変数が求まる。
ステップS163において、仮相互姿勢推定部213は、全ての投影撮像装置対を処理したか否かを判定する。未処理の投影撮像装置対が存在すると判定された場合、処理はステップS161に戻り、それ以降の処理が繰り返される。つまり、投影撮像システム100が有する投影撮像装置102群の中の全ての2台の組み合わせについて、ステップS162の処理が行われる。そして、ステップS163において、全ての投影撮像装置対に対して処理を行った(未処理の投影撮像装置対が存在しない)と判定された場合、仮相互姿勢推定処理が終了し、処理は図8に戻る。
<相互姿勢再推定処理の流れ>
次に、図8のステップS104において実行される相互姿勢再推定処理の流れについて、図19のフローチャートを参照して説明する。必要に応じて、図20を参照して説明する。
次に、図8のステップS104において実行される相互姿勢再推定処理の流れについて、図19のフローチャートを参照して説明する。必要に応じて、図20を参照して説明する。
相互姿勢再推定処理では、例えば、図20に示されるように、所定の平面スクリーンモデル481における各対応点の誤差(誤差二乗和)を最小とするように外部変数が求められる。
例えば、対応点491について、撮像部112−1からみた対応点491の平面スクリーンモデル481上における位置491−2、投影部111−1からみた対応点491の平面スクリーンモデル481上における位置491−1、投影部111−2からみた対応点491の平面スクリーンモデル481上における位置491−3がそれぞれ求められ、位置491−2と位置491−1との距離、位置491−2と位置491−3との距離がそれぞれ求められる。そしてそれらの距離が最小となるように、投影部111−1、撮像部112−1、および投影部111−2の、平面スクリーンモデル481の三次元座標上の位置がそれぞれ推定される。
同様に、対応点492について、撮像部112−2からみた対応点492の平面スクリーンモデル481上における位置492−2、投影部111−1からみた対応点492の平面スクリーンモデル481上における位置492−1、投影部111−2からみた対応点492の平面スクリーンモデル481上における位置492−3、投影部111−3からみた対応点492の平面スクリーンモデル481上における位置492−4がそれぞれ求められ、位置492−2と位置492−1との距離、位置492−2と位置492−3との距離、位置492−2と位置492−4との距離がそれぞれ求められる。そしてそれらの距離が最小となるように、投影部111−1、投影部111−2、撮像部112−2、および投影部111−3の、平面スクリーンモデル481の三次元座標上の位置がそれぞれ推定される。
同様に、対応点493について、撮像部112−3からみた対応点493の平面スクリーンモデル481上における位置493−2、投影部111−2からみた対応点493の平面スクリーンモデル481上における位置493−1、投影部111−3からみた対応点493の平面スクリーンモデル481上における位置493−3がそれぞれ求められ、位置493−2と位置493−1との距離、位置493−2と位置493−3との距離がそれぞれ求められる。そしてそれらの距離が最小となるように、投影部111−2、撮像部112−3、および投影部111−3の、平面スクリーンモデル481の三次元座標上の位置がそれぞれ推定される。
同様に、対応点494について、撮像部112−4からみた対応点494の平面スクリーンモデル481上における位置494−2、投影部111−3からみた対応点494の平面スクリーンモデル481上における位置494−1、投影部111−4からみた対応点494の平面スクリーンモデル481上における位置494−3がそれぞれ求められ、位置494−2と位置494−1との距離、位置494−2と位置494−3との距離がそれぞれ求められる。そしてそれらの距離が最小となるように、投影部111−3、撮像部112−4、および投影部111−4の、平面スクリーンモデル481の三次元座標上の位置がそれぞれ推定される。
以上のように各対応点について誤差が求められ、それらの最小二乗和が算出され、その値が最小となるように、各投影部111および各撮像部112の、所定の平面スクリーンモデル481の三次元座標上の位置(図20の例の場合、矢印501−1乃至矢印501−8)がそれぞれ推定される。
そして、その位置(姿勢)から、投影部111と撮像部112との相互姿勢をより高精度に示す外部変数(図20の例の場合、両矢印502−1乃至両矢印502−4)が推定される。
図19に戻り、相互姿勢再推定処理が開始されると、相互姿勢再推定部214は、ステップS181において、図8のステップS103の処理により得られた各投影撮像装置102の姿勢を初期値として、評価値を算出する。
評価値(誤差評価値E)は、例えば、以下のような式(1)を用いて算出される。
ここで、
M:撮像部台数/投影部台数
N:撮像部画像画素数
Xcn:撮像部cの画素nのスクリーン上投影座標(Xcn,Ycn)
ACc,DCc,RCc,TCcの関数
Xcnp:撮像部cの画素nに対応する投影部pの画素のスクリーン上投影座標(Xcnp,Ycnp)
ACc,DCc,RCc,TCc,APp,DPp,RPp,TPpの関数
Icnp:見えのフラグ0/1(撮像部cの画素nに対応する投影部pの画素が存在する場合は1)
とする。
M:撮像部台数/投影部台数
N:撮像部画像画素数
Xcn:撮像部cの画素nのスクリーン上投影座標(Xcn,Ycn)
ACc,DCc,RCc,TCcの関数
Xcnp:撮像部cの画素nに対応する投影部pの画素のスクリーン上投影座標(Xcnp,Ycnp)
ACc,DCc,RCc,TCc,APp,DPp,RPp,TPpの関数
Icnp:見えのフラグ0/1(撮像部cの画素nに対応する投影部pの画素が存在する場合は1)
とする。
なお、ACc,DCc,RCc,TCc,APp,DPp,RPp,TPpの各変数は以下のとおりである。
ACc:撮像部cの内部変数(このキャリブレーション時は固定値とする)
DCc:撮像部cの歪みパラメータ(このキャリブレーション時は固定値とする)
RCc:撮像部cの回転行列(外部変数)
TCc:撮像部cの並進ベクトル(外部変数)
APp:投影部pの内部変数(このキャリブレーション時は固定値とする)
DPp:投影部pの歪みパラメータ(このキャリブレーション時は固定値とする)
RPp:投影部pの回転行列(外部変数)
TPp:投影部pの並進ベクトル(外部変数)
ACc:撮像部cの内部変数(このキャリブレーション時は固定値とする)
DCc:撮像部cの歪みパラメータ(このキャリブレーション時は固定値とする)
RCc:撮像部cの回転行列(外部変数)
TCc:撮像部cの並進ベクトル(外部変数)
APp:投影部pの内部変数(このキャリブレーション時は固定値とする)
DPp:投影部pの歪みパラメータ(このキャリブレーション時は固定値とする)
RPp:投影部pの回転行列(外部変数)
TPp:投影部pの並進ベクトル(外部変数)
今回のキャリブレーションでは、式(1)の誤差評価値Eを最小化するRおよびTを求める(バンドル調整(Bundle Adjustment)の考え方)。ただし,基準とする投影部111あるいは撮像部112のZ座標値とロール(Roll)成分は固定とする。これは、対象とするパラメータのヤコビ行列(Jacobian)を計算する際にその値を0に強制的にすることで実現することができる。
ステップS182において、相互姿勢再推定部214は、更新値Δαを算出し、仮更新値α’を算出する。
相互姿勢再推定部214は、上述した誤差評価値E、ヤコビ行列(Jacobian)、およびヘッセ行列(Hessian)を用いて、仮更新値α’を算出する。
ヤコビ行列(Jacobian)は、回転成分3成分と並進成分3成分のそれぞれを微小量振って、近似的に撮像部1画素毎の誤差ecnの変化量から求める。回転成分のヤコビ行列(Jacobian)は、無限小回転のパラメータω=(ω1 ω2 ω3)TをそれぞれΔωの微小量動かしたときの回転行列をR(ω)とし、現在の回転行列をRと定義したときに以下の式(2)で表される。
また、並進成分のヤコビ行列(Jacobian)は並進パラメータT=(Tx Ty Tz)TのそれぞれをΔTの微小量動かしたときに以下の式(3)で表される。
そして、ヤコビ行列(Jacobian)と誤差ecnとから近似的にヘッセ行列(Hessian)を求める。上述した式(2)および式(3)のヤコビ行列(Jacobian)をそれぞれ∂ecn/∂αi ,(i=0,…,5)とする場合、ヘッセ行列(Hessian)は以下の式(4)で表される。
さらに対角要素に重み付けをしたH’は、以下の式(5)のように表すことができる。
なお、ここでwは、探索位置のステップ幅に関わる重みパラメータで、重みが大きいほど探索空間を一次近似した場合の更新ステップに近くなり、重みが小さいほど探索空間を二次近似した場合の更新ステップに近くなる。
この式(5)を考えて更新値αを求める。その場合、更新値αは、以下の式(6)のように表される。
ステップS183において、相互姿勢再推定部214は、評価値の変化に応じて、評価値、更新値、重みを更新する。例えば、ΔEが負ならαとEを更新してwを1/10倍する。ΔEが負でないならwを10倍する(一般的なLevenberg-Marqurdt法と同様)。
ステップS184において、相互姿勢再推定部214は、ステップS182およびステップS183の各処理を、所定回数繰り返したか否かを判定する。所定回数に達していないと判定された場合、処理はステップS182に戻り、それ以降の処理を繰り返す。
ステップS184において、ステップS182およびステップS183の各処理が所定回数繰り返されたと判定された場合、処理はステップS185に進む。
ステップS185において、相互姿勢再推定部214は、全ての投影部111および撮像部112について、相互姿勢を検出し、外部変数(投影撮像装置102内の外部変数、および投影撮像装置102間の外部変数)を求める。
ステップS185の処理が終了すると、相互姿勢再推定処理が終了し、処理は図8に戻る。
以上のように各処理を実行することにより、制御装置101は、より容易かつ高精度に投影部111と撮像部112との位置関係のキャリブレーションを行うことができる。そして、このようにキャリブレーションを行った投影撮像装置102を利用することで、投影撮像システム100は、平面スクリーンだけでなく、曲面や任意形状面の物体に対しても精度良く幾何補正を行うことができるようになる。
<投影撮像システムの構成例>
以上においては、投影撮像システム100において、制御装置101と各投影撮像装置102とが通信ケーブル103を介して接続されるように説明したが、制御装置101と各投影撮像装置102との接続方法は通信可能である限り任意である。例えば、図21に示される例のように、ネットワーク601を介して接続されるようにしてもよい。
以上においては、投影撮像システム100において、制御装置101と各投影撮像装置102とが通信ケーブル103を介して接続されるように説明したが、制御装置101と各投影撮像装置102との接続方法は通信可能である限り任意である。例えば、図21に示される例のように、ネットワーク601を介して接続されるようにしてもよい。
ネットワーク601は、制御装置101および投影撮像装置102との間の通信媒体となる通信網である。ネットワーク601は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク601は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク601は、その一部が、例えばUSB(Universal Serial Bus)ケーブルやHDMI(登録商標)ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
また、上述したキャリブレーションに関する処理は、制御装置101以外の装置で行われるようにしてもよい。例えば、投影撮像装置102が行うようにしてもよい。図22の例では、投影撮像装置102が、上述したキャリブレーションに関する処理を行う。この場合、各投影撮像装置102に入力画像が入力され、各投影撮像装置102において、画像の補正が行われる。各投影撮像装置102がHDMI(登録商標)ケーブルのような通信ケーブルで互いに接続されており、補正情報や例えば撮像画像のようなセンサデータ等の情報を各投影撮像装置102の間で共有することができるようになされている。したがって、どの投影撮像装置102が上述したキャリブレーションに関する処理を行うようにすることもできる。例えば、投影撮像装置102−1乃至投影撮像装置102−4のいずれかが上述したキャリブレーションに関する処理を行い、そのキャリブレーション結果を他の投影撮像装置102と共有するようにしてもよいし、複数の投影撮像装置102が協働して上述したキャリブレーションに関する処理を行い、そのキャリブレーション結果を他の投影撮像装置102と共有するようにしてもよい。このような構成の場合、制御装置101を省略することもできる。
また、以上においては、投影撮像システム100が4台の投影撮像装置102を有するように説明したが、投影撮像システム100を構成する投影撮像装置102の台数は任意であり、3台以下であってもよいし、5台以上であってもよい。
また、図23に示される投影撮像装置612のように、他の情報処理装置611を介して、ネットワーク601(制御装置101や他の投影撮像装置102等)に接続されるようにしてもよい。投影撮像装置612は、上述した投影撮像装置102と同様の装置である、ただし、この投影撮像装置は、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する情報処理装置611を介してネットワーク601に接続される。また、投影撮像装置612は、この情報処理装置611に制御されて駆動する。このようにすることにより、通信に関する処理や投影や撮像の制御に関する処理を、元々処理能力が高い情報処理装置611に行わせることができるので、投影撮像装置612に必要な機能(情報処理能力等)の増大を抑制することができ、コストの増大を抑制することができる。
また、上述した投影撮像装置102の機能をモジュール等(すなわち部品単位)として実現するようにしてもよい。図23の情報処理装置613は、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、元々処理能力が高い情報処理装置であり、上述した投影撮像装置102の機能を有するモジュールが組み込まれている。すなわち、情報処理装置613は、情報処理装置611と投影撮像装置612の両方の機能を有する装置である。投影撮像装置102は、このような情報処理装置として実現することもできる。
また、図23に示される例のように、投影撮像装置102として、互いに異なる機能を有するデバイスが混在するようにしてもよい。
また、図24に示される例のように、投影撮像システム100には、投影部111を有しているが撮像部112を有していない投影装置621や投影装置623、撮像部112を有しているが投影部111を有してない撮像装置622等が含まれるようにしてもよい。また、1つのデバイスに投影部111や撮像部112が複数設けられるようにしてもよい。例えば、投影撮像装置624は、投影部111A、投影部111B、および撮像部112を有する。このような構成の投影撮像装置624の外部変数も、投影撮像装置102の場合と同様に、上述したキャリブレーションを行うことができる。さらに、投影撮像システム100全体において、投影部111の数と撮像部112の数が一致していなくてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図2や図5に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア171やリムーバブルメディア321により構成される。このリムーバブルメディア171やリムーバブルメディア321には、磁気ディスク(フレキシブルディスクを含む)や光ディスク(CD-ROMやDVDを含む)が含まれる。さらに、光磁気ディスク(MD(Mini Disc)を含む)や半導体メモリ等も含まれる。
その場合、例えば制御装置101においては、プログラムは、そのリムーバブルメディア171をドライブ165に装着することにより、記憶部163にインストールすることができる。また、例えば投影撮像装置102においては、プログラムは、そのリムーバブルメディア321をドライブ315に装着することにより、記憶部313にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、例えば制御装置101においては、プログラムは、通信部164で受信し、記憶部163にインストールすることができる。また、例えば投影撮像装置102においては、プログラムは、通信部314で受信し、記憶部313にインストールすることができる。
その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば制御装置101の場合、プログラムは、記憶部163やROM153等に、あらかじめインストールしておくこともできる。また、例えば投影撮像装置102の場合、プログラムは、記憶部313や制御部301内のROM等に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能(機能ブロック等)を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
なお、本技術は以下のような構成も取ることができる。
(1) 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する相互姿勢推定部
を備える情報処理装置。
(2) 前記相互姿勢推定部は、前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離に基づいて、前記相互姿勢を決定する変数を推定する
(1)に記載の情報処理装置。
(3) 前記相互姿勢推定部は、
前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離の評価値を更新する更新部と、
前記更新部により更新された前記評価値に基づいて、前記相互姿勢を決定する変数を推定する変数推定部と
を備える(2)に記載の情報処理装置。
(4) 前記更新部は、前記撮像部が撮像する前記画像に含まれる処理対象の画素の前記所定の面における位置と、前記画素を投影する各投影部が投影する前記画像の前記画素の前記所定の面における位置との距離の2乗平均を前記評価値とする
(3)に記載の情報処理装置。
(5) 前記変数推定部は、前記撮像部の回転行列、前記撮像部の並進ベクトル、前記投影部の回転行列、および前記投影部の並進ベクトルを含む
(3)または(4)に記載の情報処理装置。
(6) 前記投影部および前記撮像部を有する投影撮像装置同士の相互姿勢を仮の相互姿勢として推定する仮相互姿勢推定部をさらに備え、
前記相互姿勢推定部は、前記仮相互姿勢推定部により推定された前記仮の相互姿勢を初期値として、前記相互姿勢を推定する
(1)乃至(5)のいずれかに記載の情報処理装置。
(7) 前記仮相互姿勢推定部は、各投影撮像装置の投影面の位置の誤差が最小となるように前記仮の相互姿勢を推定する
(6)に記載の情報処理装置。
(8) 各投影撮像装置について、前記画像が投影される投影面に対する前記投影部および前記撮像部の相互姿勢を推定する投影面姿勢推定部をさらに備え、
前記仮相互姿勢推定部は、前記投影面姿勢推定部により推定された前記投影面に対する前記投影部および前記撮像部の相互姿勢を用いて、前記仮の相互姿勢を推定する
(6)または(7)に記載の情報処理装置。
(9) 前記投影面姿勢推定部は、三角測量を行うことにより前記投影面を推定し、推定した前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
(8)に記載の情報処理装置。
(10) 前記投影面姿勢推定部は、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
(8)または(9)に記載の情報処理装置。
(11) 前記仮相互姿勢推定部は、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係に基づいて、前記仮の相互姿勢を推定する
(10)に記載の情報処理装置。
(12) 前記投影面姿勢推定部は、前記投影部に画素位置対応を求める際に用いるパターンを投影させ、前記撮像部に撮像させることにより検出される、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
(10)または(11)に記載の情報処理装置。
(13) 投影された画像を撮像し撮像画像を得る撮像部をさらに備え、
前記相互姿勢推定部は、前記所定の面における、他の装置の投影部が投影する画像と前記撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相互姿勢を推定する
(1)乃至(12)のいずれかに記載の情報処理装置。
(14) 画像を投影する投影部をさらに備え、
前記相互姿勢推定部は、さらに、前記投影部と前記撮像部との相互姿勢を推定する
(13)に記載の情報処理装置。
(15) 前記相互姿勢推定部により推定された前記投影部と前記撮像部との相互姿勢に応じた変数を用いて、投影する画像を補正する画像処理を行う画像処理部をさらに備える
(1)乃至(14)のいずれかに記載の情報処理装置。
(16) 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する
情報処理方法。
(1) 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する相互姿勢推定部
を備える情報処理装置。
(2) 前記相互姿勢推定部は、前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離に基づいて、前記相互姿勢を決定する変数を推定する
(1)に記載の情報処理装置。
(3) 前記相互姿勢推定部は、
前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離の評価値を更新する更新部と、
前記更新部により更新された前記評価値に基づいて、前記相互姿勢を決定する変数を推定する変数推定部と
を備える(2)に記載の情報処理装置。
(4) 前記更新部は、前記撮像部が撮像する前記画像に含まれる処理対象の画素の前記所定の面における位置と、前記画素を投影する各投影部が投影する前記画像の前記画素の前記所定の面における位置との距離の2乗平均を前記評価値とする
(3)に記載の情報処理装置。
(5) 前記変数推定部は、前記撮像部の回転行列、前記撮像部の並進ベクトル、前記投影部の回転行列、および前記投影部の並進ベクトルを含む
(3)または(4)に記載の情報処理装置。
(6) 前記投影部および前記撮像部を有する投影撮像装置同士の相互姿勢を仮の相互姿勢として推定する仮相互姿勢推定部をさらに備え、
前記相互姿勢推定部は、前記仮相互姿勢推定部により推定された前記仮の相互姿勢を初期値として、前記相互姿勢を推定する
(1)乃至(5)のいずれかに記載の情報処理装置。
(7) 前記仮相互姿勢推定部は、各投影撮像装置の投影面の位置の誤差が最小となるように前記仮の相互姿勢を推定する
(6)に記載の情報処理装置。
(8) 各投影撮像装置について、前記画像が投影される投影面に対する前記投影部および前記撮像部の相互姿勢を推定する投影面姿勢推定部をさらに備え、
前記仮相互姿勢推定部は、前記投影面姿勢推定部により推定された前記投影面に対する前記投影部および前記撮像部の相互姿勢を用いて、前記仮の相互姿勢を推定する
(6)または(7)に記載の情報処理装置。
(9) 前記投影面姿勢推定部は、三角測量を行うことにより前記投影面を推定し、推定した前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
(8)に記載の情報処理装置。
(10) 前記投影面姿勢推定部は、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
(8)または(9)に記載の情報処理装置。
(11) 前記仮相互姿勢推定部は、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係に基づいて、前記仮の相互姿勢を推定する
(10)に記載の情報処理装置。
(12) 前記投影面姿勢推定部は、前記投影部に画素位置対応を求める際に用いるパターンを投影させ、前記撮像部に撮像させることにより検出される、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
(10)または(11)に記載の情報処理装置。
(13) 投影された画像を撮像し撮像画像を得る撮像部をさらに備え、
前記相互姿勢推定部は、前記所定の面における、他の装置の投影部が投影する画像と前記撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相互姿勢を推定する
(1)乃至(12)のいずれかに記載の情報処理装置。
(14) 画像を投影する投影部をさらに備え、
前記相互姿勢推定部は、さらに、前記投影部と前記撮像部との相互姿勢を推定する
(13)に記載の情報処理装置。
(15) 前記相互姿勢推定部により推定された前記投影部と前記撮像部との相互姿勢に応じた変数を用いて、投影する画像を補正する画像処理を行う画像処理部をさらに備える
(1)乃至(14)のいずれかに記載の情報処理装置。
(16) 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する
情報処理方法。
100 投影撮像システム, 101 制御装置, 102 投影撮像装置, 103 通信ケーブル, 104 スクリーン, 111 投影部, 112 撮像部, 151 CPU, 201 キャリブレーション処理部, 202 画像処理部, 203 投影制御部, 204 撮像制御部, 211 画素位置対応検出部, 212 投影面姿勢推定部, 213 仮相互姿勢推定部、 214 相互姿勢再推定部, 301 制御部, 351 ビデオプロセッサ, 352 レーザドライバ, 353 レーザ出力部, 354 ミラー, 355 MEMSドライバ, 356 MEMSミラー, 601 ネットワーク, 611 情報処理装置, 612 投影撮像装置, 613 情報処理装置, 621 投影装置, 622 撮像装置, 623 投影装置, 624 投影撮像装置
Claims (16)
- 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する相互姿勢推定部
を備える情報処理装置。 - 前記相互姿勢推定部は、前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離に基づいて、前記相互姿勢を決定する変数を推定する
請求項1に記載の情報処理装置。 - 前記相互姿勢推定部は、
前記投影部が投影する前記画像の前記所定の面における位置と、前記撮像部が撮像する前記画像の前記所定の面における位置との距離の評価値を更新する更新部と、
前記更新部により更新された前記評価値に基づいて、前記相互姿勢を決定する変数を推定する変数推定部と
を備える請求項2に記載の情報処理装置。 - 前記更新部は、前記撮像部が撮像する前記画像に含まれる処理対象の画素の前記所定の面における位置と、前記画素を投影する各投影部が投影する前記画像の前記画素の前記所定の面における位置との距離の2乗平均を前記評価値とする
請求項3に記載の情報処理装置。 - 前記変数推定部は、前記撮像部の回転行列、前記撮像部の並進ベクトル、前記投影部の回転行列、および前記投影部の並進ベクトルを含む
請求項3に記載の情報処理装置。 - 前記投影部および前記撮像部を有する投影撮像装置同士の相互姿勢を仮の相互姿勢として推定する仮相互姿勢推定部をさらに備え、
前記相互姿勢推定部は、前記仮相互姿勢推定部により推定された前記仮の相互姿勢を初期値として、前記相互姿勢を推定する
請求項1に記載の情報処理装置。 - 前記仮相互姿勢推定部は、各投影撮像装置の投影面の位置の誤差が最小となるように前記仮の相互姿勢を推定する
請求項6に記載の情報処理装置。 - 各投影撮像装置について、前記画像が投影される投影面に対する前記投影部および前記撮像部の相互姿勢を推定する投影面姿勢推定部をさらに備え、
前記仮相互姿勢推定部は、前記投影面姿勢推定部により推定された前記投影面に対する前記投影部および前記撮像部の相互姿勢を用いて、前記仮の相互姿勢を推定する
請求項6に記載の情報処理装置。 - 前記投影面姿勢推定部は、三角測量を行うことにより前記投影面を推定し、推定した前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
請求項8に記載の情報処理装置。 - 前記投影面姿勢推定部は、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
請求項8に記載の情報処理装置。 - 前記仮相互姿勢推定部は、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係に基づいて、前記仮の相互姿勢を推定する
請求項10に記載の情報処理装置。 - 前記投影面姿勢推定部は、前記投影部に画素位置対応を求める際に用いるパターンを投影させ、前記撮像部に撮像させることにより検出される、前記投影撮像装置内の前記投影部と前記撮像部との画素位置の対応関係と、前記投影撮像装置間の前記投影部と前記撮像部との画素位置の対応関係とに基づいて、前記投影面に対する前記投影部および前記撮像部の相互姿勢を推定する
請求項10に記載の情報処理装置。 - 投影された画像を撮像し撮像画像を得る撮像部をさらに備え、
前記相互姿勢推定部は、前記所定の面における、他の装置の投影部が投影する画像と前記撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相互姿勢を推定する
請求項1に記載の情報処理装置。 - 画像を投影する投影部をさらに備え、
前記相互姿勢推定部は、さらに、前記投影部と前記撮像部との相互姿勢を推定する
請求項13に記載の情報処理装置。 - 前記相互姿勢推定部により推定された前記投影部と前記撮像部との相互姿勢に応じた変数を用いて、投影する画像を補正する画像処理を行う画像処理部をさらに備える
請求項1に記載の情報処理装置。 - 所定の面における、投影部が投影する画像と撮像部が撮像する前記画像との相対位置関係に基づいて、前記投影部と前記撮像部との相対的な位置および方向である相互姿勢を推定する
情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014135791A JP2016014720A (ja) | 2014-07-01 | 2014-07-01 | 情報処理装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014135791A JP2016014720A (ja) | 2014-07-01 | 2014-07-01 | 情報処理装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016014720A true JP2016014720A (ja) | 2016-01-28 |
Family
ID=55230966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014135791A Pending JP2016014720A (ja) | 2014-07-01 | 2014-07-01 | 情報処理装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016014720A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017163928A1 (ja) * | 2016-03-24 | 2017-09-28 | ソニー株式会社 | 画像処理装置および方法 |
JP2017183919A (ja) * | 2016-03-29 | 2017-10-05 | ブラザー工業株式会社 | 投影制御装置、プログラム、及び投影システム |
KR101820905B1 (ko) * | 2016-12-16 | 2018-01-22 | 씨제이씨지브이 주식회사 | 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템 |
JP2018207373A (ja) * | 2017-06-07 | 2018-12-27 | パナソニックIpマネジメント株式会社 | 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム |
WO2019012774A1 (ja) | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2019124070A1 (ja) | 2017-12-19 | 2019-06-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および投影システム |
US10520797B2 (en) | 2016-09-21 | 2019-12-31 | Seiko Epson Corporation | Projection system, control device, and control method of projection system |
-
2014
- 2014-07-01 JP JP2014135791A patent/JP2016014720A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017163928A1 (ja) * | 2016-03-24 | 2017-09-28 | ソニー株式会社 | 画像処理装置および方法 |
US10872434B2 (en) | 2016-03-24 | 2020-12-22 | Sony Corporation | Image processing apparatus and method |
JP2017183919A (ja) * | 2016-03-29 | 2017-10-05 | ブラザー工業株式会社 | 投影制御装置、プログラム、及び投影システム |
US10520797B2 (en) | 2016-09-21 | 2019-12-31 | Seiko Epson Corporation | Projection system, control device, and control method of projection system |
KR101820905B1 (ko) * | 2016-12-16 | 2018-01-22 | 씨제이씨지브이 주식회사 | 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템 |
US10051250B2 (en) | 2016-12-16 | 2018-08-14 | Cj Cgv Co., Ltd. | Method of automatically correcting projection area based on image photographed by photographing device and system therefor |
JP2018207373A (ja) * | 2017-06-07 | 2018-12-27 | パナソニックIpマネジメント株式会社 | 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム |
WO2019012774A1 (ja) | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR20200028331A (ko) | 2017-07-14 | 2020-03-16 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법, 및 프로그램 |
US11082670B2 (en) | 2017-07-14 | 2021-08-03 | Sony Corporation | Information processing apparatus, information processing method, and program |
WO2019124070A1 (ja) | 2017-12-19 | 2019-06-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および投影システム |
US11115632B2 (en) | 2017-12-19 | 2021-09-07 | Sony Corporation | Image processing device, image processing method, program, and projection system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016014720A (ja) | 情報処理装置および方法 | |
US10645284B2 (en) | Image processing device, image processing method, and recording medium storing program | |
WO2017006780A1 (ja) | 情報処理装置および方法、並びにプログラム | |
JP5389879B2 (ja) | 撮像装置、監視カメラ、およびカメラ画面のマスク方法 | |
CN106464825B (zh) | 图像处理设备和方法 | |
JP5338718B2 (ja) | 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法 | |
TWI393072B (zh) | 廣角感測器陣列模組及其影像校正方法、運作方法與應用 | |
US20160234438A1 (en) | Image processing system, image generation apparatus, and image generation method | |
US9892488B1 (en) | Multi-camera frame stitching | |
JP6658520B2 (ja) | 画像処理装置および方法 | |
KR20140071330A (ko) | 이미징 디바이스를 캘리브레이션하는 방법 및 장치 | |
JP5453352B2 (ja) | 映像表示装置、映像表示方法およびプログラム | |
JP6201359B2 (ja) | 投影システム、投影方法及び投影プログラム | |
KR102412291B1 (ko) | 카메라 모듈에 포함된 렌즈부의 흔들림을 제어하는 전자 장치 및 전자 장치의 동작 방법 | |
JP6915537B2 (ja) | 情報処理装置および方法、並びに、投影撮像装置および情報処理方法 | |
WO2018225531A1 (ja) | 画像処理装置および方法 | |
US9338417B2 (en) | Image projecting system, master apparatus, image projecting apparatus, and image projecting method | |
JP2004228824A (ja) | スタックプロジェクション装置及びその調整方法 | |
US20210067753A1 (en) | Information processing apparatus and information processing method | |
JP6318576B2 (ja) | 画像投影システム、画像処理装置、画像投影方法およびプログラム | |
WO2019203002A1 (ja) | 情報処理装置および方法 | |
JP6320020B2 (ja) | 電子機器、その制御方法及びプログラム | |
US20200021787A1 (en) | Projector, projection method, image processing system, and method | |
JP2005229282A (ja) | プロジェクタおよびマルチプロジェクションディスプレイ | |
WO2020255766A1 (ja) | 情報処理装置、情報処理方法、プログラム、投映装置、および情報処理システム |