JP7001966B2 - 画像処理装置および方法 - Google Patents

Description

本開示は、画像処理装置および方法に関し、特に、特殊デバイスでなくても、同期することなしにオンラインセンシングを行うことができるようにした画像処理装置および方法に関する。

プロジェクタ（およびカメラ）の姿勢を推定するためには、プロジェクタ（投影画像）とカメラ（撮像画像）との間で対応点を求める必要があった。プロジェクタ・カメラ間の対応点を検出するためには、プロジェクタから投影しようとしている画像をカメラで撮像する必要がある。静止画像（パタン画像や静止画映像）であれば、常に同じ映像が投影されているので、撮像タイミングが適当であっても所望の画像を撮像し、対応点を検出することができる。

例えば、コンテンツ等の画像を投影しながらその対応点を求める技術であるオンラインセンシングは、入力映像を投影している最中に対応点検出ができるので、外乱によってプロジェクタの姿勢が変化しても自動的に正しい映像提示位置に更新することができる（特許文献１参照）。

特開２００９－１３５９２１号公報

しかしながら、動画像は、毎フレームで画像中の内容が変化するので、対応点検出するためには、プロジェクタの投影とカメラの撮像が同期する必要があった。

補足としてIR光源などの可視光以外の光を利用すれば、IRパタンを静止画にできるので同期していなくてもオンラインセンシングを実現できる。しかしながら、プロジェクタまたはIR光源を持つプロジェクタという追加デバイスが必要となった。

本開示は、このような状況に鑑みてなされたものであり、特殊デバイスでなくても、同期することなしにオンラインセンシングを行うことができるものである。

本技術の一側面の画像処理装置は、プロジェクタの姿勢推定結果を示す姿勢推定情報に基づいて入力画像を補正して、補正画像を生成する補正部と、前記補正部により補正された補正画像が、前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像の画隅点と、前記補正画像の画隅点との対応付けを行い、画隅対応点を検出する画隅対応検出部と、前記画隅対応検出部により検出された画隅対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成する姿勢推定部と、前記入力画像から黒帯の検出を行う黒帯検出部とを備え、前記黒帯検出部により黒帯が検出された場合、前記補正画像の画隅点は、前記黒帯でない領域から求められる。

本技術の一側面においては、プロジェクタの姿勢推定結果を示す姿勢推定情報に基づいて入力画像が補正されて、補正画像が生成され、補正された補正画像が、前記プロジェクタから投影された画像である投影画像が撮像されて生成された撮像画像の画隅点と、前記補正画像の画隅点との対応付けが行われて、画隅対応点が検出され、検出された画隅対応点に基づいて、前記プロジェクタの姿勢推定が行われて、前記姿勢推定情報が生成される。そして、前記入力画像から黒帯の検出が行われ、黒帯が検出された場合、前記補正画像の画隅点が、前記黒帯でない領域から求められる。

本技術によれば、特殊デバイスでなくても、同期することなしにオンラインセンシングを行うことができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

対応点検出の様子の例を示す図である。 ISLの例を説明する図である。 動画像の中での特徴点同士の対応付けを行う方法を説明する図である。 本技術を適用した投影撮像装置の構成例を示すブロック図である。 補正画像と画隅情報の例を示す図である。 画隅対応点検出部の構成例を示すブロック図である。 画隅検出部の構成例を示すブロック図である。 撮像画像と画隅情報の例を示す図である。 投影撮像装置の投影撮像処理について説明するフローチャートである。 投影撮像処理について説明する工程図である。 本技術を適用した投影撮像装置の構成例を示すブロック図である。 黒帯領域が含まれる映像の例を示す図である。 複数のプロジェクタを大画面配置で利用する場合の例を説明する図である。 対応点が４点未満の場合の例を説明する図である。 本技術を適用したコンピュータのハードウエア構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。

＜背景＞
プロジェクタおよびカメラの姿勢を推定するためには、プロジェクタ・カメラ間の対応点を検出する必要がある。この対応点検出処理は、一般的にStructured Light（SL:構造化光）と呼ばれる。

例えば、図１の例のように、プロジェクタ１１から所定の絵柄の標準化光パタン１２をスクリーン１３に投影し、カメラ１４によりその投影された標準化光パタン１２を撮像して撮像画像１５を得る。そして、その標準化光パタン１２の絵柄に基づいて標準化光パタン１２と撮像画像１５との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ１１とカメラ１４の姿勢（位置関係）やスクリーン１３の形状等を求め、その結果に基づいてプロジェクタおよびカメラの姿勢を推定することができる。

このようにプロジェクタ・カメラ間の対応点を検出するためには、プロジェクタから投影しようとしている画像（GrayCodeやDotおよびCheckerなどのパタン画像や、入力画像など）をカメラで撮像する必要がある。静止画像（パタン画像や静止画映像）であれば、常に同じ映像が投影されているので、撮像タイミングを合わせなくても、所望の画像が撮像でき、対応点を検出することができる。

動画像投影中に対応点を検出して、プロジェクタとカメラの姿勢を推定する方法をオンラインセンシングと呼ぶことにする。オンラインセンシングでの対応点検出には、動画像内に人間の目では知覚されないパタンを重畳して対応点検出を行うImperceptible Structured Light(図２)や動画像内の特徴点を検出して特徴点同士の対応付けを行う方法(図３)などが挙げられる。

ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。

図２に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。

これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮像画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。

このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。

図３に示されるように、動画像の中の特徴点を検出し、特徴点同士の対応付けを行う方法もある。時刻t1において、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３は、姿勢RT_t1である。このとき、プロジェクタ２２は、スクリーン２４に投影画像２５_t1を投影し、カメラ２３は、投影画像２５_t1を撮像し、撮像画像２６_t1を生成する。

その後、時刻t2において、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３の姿勢変化があり、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３は、姿勢RT_t2である。このとき、プロジェクタ２２は、スクリーン２４に投影画像２５_t2を投影し、カメラ２３は、投影画像２５_t2を撮像し、撮像画像２６_t2を生成する。

このように、入力映像を投影している最中に、生成された時刻t1での撮像画像２６_t1と、時刻t2での撮像画像２６_t2において対応点が検出されるので、外乱によってプロジェクタの姿勢が変化しても自動的に正しい映像提示位置に更新できる利点がある。(前述のパタン画像を投影する必要はない)。

しかしながら、動画像は、毎フレームで画像中の内容が変化するので、対応点を検出するためには、プロジェクタ投影とカメラの撮像を同期させる必要がある。なお、補足として、IR光源などの可視光以外の光を利用すれば、例えばIRパタンを静止画にできるので同期していなくてもオンラインセンシングを実現することができる。しかし、プロジェクタまたはIR光源を持つプロジェクタが必要となってしまう。

そこで、本技術においては、画像の４隅において対応点を検出し、それに基づいて姿勢を推定し、推定した姿勢情報に基づいて、入力画像を補正するようにしたので、プロジェクタとカメラとが同期するような特殊デバイスでなくても、オンラインセンシングを行うことができる。

＜投影撮像装置の構成例＞
図４は、本技術を適用した投影撮像装置の構成例を示すブロック図である。

図４の例において、投影撮像装置１０１は、幾何補正部１１１、画隅対応点検出部１１２、姿勢推定部１１３、スクリーン再構成部１１４、プロジェクタ１１５、およびカメラ１１６を含むように構成されている。入力映像は、幾何補正部１１１に入力される。

幾何補正部１１１は、入力映像を補正し、プロジェクタの姿勢情報と平面スクリーン情報から、入力映像が正しく見えるように入力映像を補正して、補正画像を生成し、生成した補正画像を、プロジェクタ１１５に出力する。その際、幾何補正部１１１は、入力映像の画隅４点が、補正画像のどの点に対応するかを求め、それらの点を画隅情報とし、画隅対応点検出部１１２に供給する。

例えば、投影開始時など、入力映像が、幾何補正されずに、プロジェクタ１１５からそのまま投影される場合、プロジェクタ解像度での４隅の点が画隅情報となる。具体的には、プロジェクタ１１５の解像度が1280×720解像度であれば、画隅情報は、[0,0],[0,1280],[1280,720],[0,720]となる。一方、入力映像が正しくみえるように幾何補正されて投影される場合、図５に示されるように、画隅情報は補正画像の内部に存在することとなる。

図５は、補正画像１２１であり、その内部に位置する画隅１２２－１乃至１２２－４が画隅情報となる。

プロジェクタ１１５は、補正画像を、スクリーンに投影する。

カメラ１１６は、プロジェクタ１１５からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、画隅対応点検出部１１２に供給する。

なお、プロジェクタ１１５も、カメラ１１６も複数台であってもよい。また、プロジェクタ１１５に対して、カメラ１１６が１台であってもよいし、複数のプロジェクタ１１５に対して、カメラ１１６が１台であってもよいし、複数のカメラ１１６に対して、プロジェクタ１１５が１台であってもよい。

画隅対応点検出部１１２は、カメラ１１６により撮像された撮像画像から入力画像の画隅を検出する。画隅検出方法の１例として、後述する図７のように、入力映像の４本の画枠をハフ変換などで検出して、２本の画枠直線の交点を画隅とするなどの方法が挙げられる。そして、画隅対応点検出部１１２は、プロジェクタ１１５から投影する補正画像の画隅４点と、カメラ１１６により撮像された撮像画像からの画隅４点との対応付けを行うことで、４点の画隅対応点を検出する。

図６は、画隅対応点検出部の構成例を示すブロック図である。

図６の例において、画隅対応点検出部１１２は、画隅検出部１４１および対応点検出部１４２を含むように構成されている。

画隅検出部１４１は、カメラ１１６により撮像された撮像画像から入力画像の画隅を検出し、検出された撮像画像からの画隅４点を、対応点検出部１４２に供給する。

対応点検出部１４２は、プロジェクタ１１５に投影する補正画像の画隅４点と、カメラ１１６により撮像された撮像画像からの画隅４点との対応付けを行うことで、４点の画隅対応点を検出する。対応点検出部１４２は、検出した４点の画隅対応点を、姿勢推定部１１３およびスクリーン再構成部１１４に供給する。

図７は、画隅検出部の構成例を示すブロック図である。

図７の例において、画隅検出部１４１は、エッジ検出部１５１、ハフ変換部１５２、クラスタリング部１５３、はずれ線除去部１５４、および画枠検出部１５５を含むように構成されている。

エッジ検出部１５１には、カメラ１１６により撮像された撮像画像１６１が入力される。エッジ検出部１５１は、撮像画像１６１からエッジを検出し、エッジ検出画像１６２を生成し、生成したエッジ検出画像１６２をハフ変換部１５２に供給する。

ハフ変換部１５２は、エッジ検出画像１６２をハフ変換し、直線検出を行う。ハフ変換部１５２は、ハフ変換画像１６３を生成し、生成したハフ変換画像１６３をクラスタリング部１５３に供給する。

クラスタリング部１５３は、ハフ変換画像１６３において検出された直線のクラス分類を行い、クラスタリング後の画像１６４をはずれ線除去部１５４に供給する。はずれ線除去部１５４は、クラスタリング後の画像１６４において、クラス分類からはずれた直線を除去し、はずれ線除去後の画像１６５を画枠検出部１５５に供給する。

画枠検出部１５５は、はずれ線除去後の画像１６５から画枠直線を検出する。画枠検出部１５５は、さらに、２本の画枠直線の交点を画隅として、入力映像の４つの画隅を検出し、画隅が検出された画像１６６を、対応点検出部１４２に出力する。

図８は、撮像画像１７１であり、その内部に位置する画隅１７２－１乃至１７２－４が画隅情報となる。

姿勢推定部１１３は、４点の画隅対応点から、プロジェクタ１１５とカメラ１１６の相対姿勢を推定し、推定したプロジェクタの姿勢情報を、スクリーン再構成部１１４および幾何補正部１１１に供給する。

スクリーン再構成部１１４は、４点の画隅対応点と姿勢情報を参照して、スクリーン形状推定と、平面スクリーンとの位置合わせを行い、その結果をスクリーン情報として、幾何補正部１１１に供給する。

次に、図９のフローチャートを参照して、投影撮像装置１０１の投影撮像処理を説明する。なお、図９の説明の際には、適宜、図１０の工程図が参照される。

ステップＳ１０１において、幾何補正部１１１は、入力映像を補正し、プロジェクタの姿勢情報と平面スクリーン情報から、入力映像が正しく見えるように入力映像を補正して、補正画像を生成する。

その際、ステップＳ１０２において、幾何補正部１１１は、入力映像の画隅４点が、補正画像のどの点に対応するかを求め、求められたそれらの点を画隅情報とし、画隅対応点検出部１１２に供給する。なお、例えば、投影開始時など、入力映像が、幾何補正されずに、プロジェクタ１１５からそのまま投影される場合、プロジェクタ解像度での４隅の点が画隅情報となる。

幾何補正部１１１は、生成した補正画像を、プロジェクタ１１５に出力するので、ステップＳ１０３において、プロジェクタ１１５は、補正画像を、スクリーンに投影する。

ステップＳ１０４において、カメラ１１６は、プロジェクタ１１５からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、画隅対応点検出部１１２に供給する。

画隅対応点検出部１１２は、カメラ１１６により撮像された撮像画像から入力画像の画隅を検出する。そして、ステップＳ１０５において、画隅対応点検出部１１２は、プロジェクタ１１５に投影する補正画像の画隅４点と、カメラ１１６により撮像された撮像画像からの画隅４点との対応付けを行うことで、４点の画隅対応点を検出する。

すなわち、ステップＳ１０３乃至Ｓ１０５においては、図１０のＡの例に示されるように、SLによるプロジェクタ・カメラ間の対応点検出として、プロジェクタ１１５によりSLパタンの入力映像２１１を出力して、投影画像２１２がスクリーン２０１に投影される。そして、投影画像２１２と、カメラ１１６によりスクリーン２０１に投影された投影画像２１２が撮像されて、撮像画像２１３が生成される。画隅対応点検出部１１２により、入力映像２１１と、撮像画像２１３との画隅の対応点が検出される。

対応点検出部１４２は、検出した４点の画隅対応点を、姿勢推定部１１３およびスクリーン再構成部１１４に供給する。

ステップＳ１０６において、姿勢推定部１１３は、姿勢推定を行う。すなわち、姿勢推定部１１３は、図１０のＢに示されるように、４点の画隅対応点から、プロジェクタ１１５とカメラ１１６に相対姿勢を推定する。姿勢推定部１１３は、推定されたプロジェクタ１１５とカメラ１１６に相対姿勢情報を、スクリーン再構成部１１４および幾何補正部１１１に供給する。

ステップＳ１０７において、スクリーン再構成部１１４は、スクリーンとの位置合わせを行う。すなわち、スクリーン再構成部１１４は、図１０のＣに示されるように、４点の画隅対応点と、プロジェクタ１１５とカメラ１１６に相対姿勢情報を参照して、スクリーン２０１の形状推定と、スクリーン２０１との位置合わせを行い、その結果をスクリーン情報として、幾何補正部１１１に供給する。

ステップＳ１０８において、幾何補正部１１１は、補正画像を生成する。すなわち、幾何補正部１１１は、図１０のＤに示されるように、プロジェクタ１１５とカメラ１１６に相対姿勢情報とスクリーン２０１の情報とから、入力映像が正しく見えるように入力映像を補正して、補正画像２２１を生成し、生成した補正画像２２１を、プロジェクタ１１５に出力する。その後、処理は、ステップＳ１０２に戻り、それ以降の処理が繰り返される。

以上のように、本技術においては、画枠や画隅の特徴は、動画像であっても維持されるので、プロジェクタとカメラが同期しなくても対応点検出が可能となる。

＜本技術の変形例＞
図１１は、本技術を適用した投影撮像装置の他の構成例を示すブロック図である。

図１１の投影撮像装置１０１は、幾何補正部１１１、画隅対応点検出部１１２、姿勢推定部１１３、幾何補正部１１１、プロジェクタ１１５およびカメラ１１６を備える点は、図４の投影撮像装置１０１と共通している。

一方、図１１の投影撮像装置１０１は、撮像トリガ制御部２５１が追加された点が、図４の投影撮像装置１０１と異なっている。

すなわち、入力映像によっては画枠が正しく検出されないことがある。一例としては、夜景画像などは映像の上限レベルが低いため、上端画枠が検出されないことが多い。これに対して、撮像トリガ制御部２５１は、入力映像の素性を解析して、カメラ１１２の撮像開始のトリガを制御する。

例えば、撮像トリガ制御部２５１は、入力映像を先読みして数フレームに渡って入力映像の画枠が検出できそうな場合、カメラ１１６に対して撮像トリガを送信する。画枠が検出できるか否かの判定は、画端のレベル値を解析したり、入力映像のメタ情報（夜景シーンなどの苦手とするシーンか否か）を利用する。

他に映画などの一般的なアスペクトと異なる入力映像は、映像の上下または左右に黒帯領域が追加されている。このような入力映像の場合、全編を通して黒帯が追加されている可能性が高いので、映像の画枠を検出することが困難である。

そこで、図１２に示されるように、入力映像２６１の素性を解析する変形例として黒帯領域２６２－１および２６２－２（図１２の例の場合、映像の上下）の情報を渡すことで、入力映像２６１から、黒帯でない領域の４隅２６３－１乃至２６３－４の情報を画隅情報として算出することができる。

黒帯領域が含まれる映像を撮像した場合、画隅対応点検出部１１２での画隅検出結果は、黒帯領域を除いた実際の映像の枠を検出し、４つの枠の交点から算出できる。

以上から、画隅の４点ではないが、プロジェクタ・カメラ間の４点の対応点が得られたことになるので、オンラインセンシングを成立させることができる。

さらに、２台以上のプロジェクタを大画面スクリーンへの配置（大画面配置）で利用する場合、それぞれのプロジェクタは、入力映像の一部分を投影することになる。例えば、２台を横に並べる場合、プロジェクタの光が重なっている部分は、入力映像の同じ領域を投影し、光が重なっていない部分は、入力映像中の異なる領域を投影することになる。

例えば、図１３の例においては、左側に配置されるプロジェクタ１１５－０は、入力映像３０１Ｌ中の互いに異なる領域３１１Ｌおよび重なる領域３１２Ｌを投影する。右側に配置されるプロジェクタ１１５－１は、入力映像３０１Ｒ中の互いに異なる領域３１１Ｒおよび重なる領域３１２Ｒを投影する。なお、重なる領域３１２Ｌと重なる領域３１２Ｒは、同じ領域を表している。

そして、プロジェクタ１１５－０からの投影と、プロジェクタ１１５－１からの投影とを結合することで、スクリーンに、互いに異なる領域３１１および互いに重なる領域３１２からなる映像３０１が投影される。

ここで、プロジェクタ単体の場合は、入力映像の画隅４点をスクリーンに投影することになるため、カメラで撮像した撮像画像にも画隅４点が存在し、プロジェクタとカメラの対応点が４組得られる。平面スクリーン上の４点の対応点が得られれば、姿勢推定部１１３でホモグラフィ変換などを利用することにより、カメラ１１６とプロジェクタ１１５の姿勢を推定できる。

しかしながら、複数のプロジェクタを大画面配置で利用する場合、各プロジェクタは、入力映像の画隅４点すべてを投影するわけではないので、必ずしも４組の対応点を得ることはできない。すなわち、４組以下の対応点しか得ることができない。

図１３の例においては、各プロジェクタで左端または右端の２点ずつ（互いに異なる領域３１１Ｌの左端，３１１Ｒの右端の２点ずつ）しか対応点は得られない。一般に各プロジェクタの姿勢を４点未満の対応点から推定するのは、困難である。

そこで、対応点が４点未満の場合は、画枠情報を利用することにする。考え方としては、プロジェクタから投影する補正画像の画枠とカメラで撮像した撮像画像の画枠を合わせることで、姿勢を推定する。ここで補正画像をプロジェクタとカメラの姿勢情報を使って、カメラで撮像されるであろう画像をsim画像と定義する。図１４の場合、補正画像３５２－０のsim画像３６２－０と、補正画像３５２－１のsim画像３６２－１が示されている。

図１４に示されるように、例えば、補正画像３５２－０の下端画枠３５３－０がある姿勢によって、カメラ１１６で撮像されるであろうsim画像３６２－０の下端画枠３６３－０と撮像画像３６１から検出した下端画枠３６１Ａとの一致度を計算する。同様に、補正画像３５２－１の下端画枠３５３－１がある姿勢によって、カメラ１１６で撮像されるであろうsim画像３６２－１の下端画枠３６３－１と撮像画像３６１から検出した下端画枠３６１Ａとの一致度を計算する。

一致度とは、それぞれ画枠の重なり具合を意味する。前記姿勢推定部は、一致度の評価として、例えば、画枠を表す直線のパラメータがどれだけ近いかを評価したり、sim画像と撮像画像の画枠内のエッジ点をマッチングするなどを行う。

撮像画像３６１のすべての画枠（図１４の場合、上下左右端）と、sim画像３６２－０のすべての画枠（図１４の場合、上下左端）またはsim画像３６２－１のすべての画枠（図１４の場合、上下右端）の一致度が最も高くなるように、プロジェクタ１１５－０および１１５－１とカメラ１１６の姿勢を少しずつ変えていきながら、最適な姿勢を探索する。探索方法としては、BundleAdjustmentなどの非線形最適化による探索などが考えられる。

また、画枠を合わせる方法は、プロジェクタ単体でも適用できる方法なので、上述してきた画隅対応点と合わせて利用することが可能である。当然、入力映像が動画像であっても、画枠の特徴は維持されるので、非同期のオンラインセンシングが成立する。

以上により、可視のプロジェクタとカメラが同期するような特殊デバイスがなくてもオンラインセンシングを行うことができる。

＜パーソナルコンピュータ＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図１５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。

パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） プロジェクタの姿勢推定結果を示す姿勢推定情報に基づいて入力画像を補正して、補正画像を生成する補正部と、
前記補正部により補正された補正画像が、前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像の画隅点と、前記補正画像の画隅点の対応付けを行い、画隅対応点を検出する画隅対応検出部と、
前記画隅対応検出部により検出された画隅対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成する姿勢推定部と
を備える画像処理装置。
（２） 前記補正部により補正された補正画像が前記プロジェクタから投影された画像である投影画像を撮像して撮像画像を生成する撮像部を
さらに備える前記（１）に記載の画像処理装置。
（３） 前記入力画像を先読みして、画枠が検出可能な場合、前記撮像部に対して撮像トリガを送信する撮像トリガ制御部を
さらに備える前記（１）または（２）に記載の画像処理装置。
（４） 前記入力画像から黒帯の検出を行う黒帯検出部
をさらに備え、
前記黒帯検出部により黒帯が検出された場合、前記補正画像の画隅点は、前記黒帯でない領域から求められる
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記補正画像の画隅点が４点未満の場合、前記補正画像の画枠と前記撮像画像の画枠との一致度を評価することで、前記姿勢推定部は、前記プロジェクタの姿勢推定を行う
前記（４）に記載の画像処理装置。
（６） 前記姿勢推定部は、前記一致度の評価として、画枠を表す直線のパラメータがどれだけ近いかを評価することで、前記プロジェクタの姿勢推定を行う
前記（５）に記載の画像処理装置。
（７） 前記姿勢推定部は、前記一致度の評価として、前記補正画像を前記姿勢推定情報を使って、前記撮像部により撮像されるであろう画像と、前記撮像画像との画枠内のエッジ点をマッチングすることで、前記プロジェクタの姿勢推定を行う
前記（５）に記載の画像処理装置。
（８） 画像処理装置が、
プロジェクタの姿勢推定結果を示す姿勢推定情報に基づいて入力画像を補正して、補正画像を生成し、
補正された補正画像が、前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像の画隅点と、前記補正画像の画隅点との対応付けを行い、画隅対応点を検出し、
検出された画隅対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成する
画像処理方法。
（９） プロジェクタの姿勢推定結果を示す姿勢推定情報に基づいて入力画像を補正して、補正画像を生成する補正部と、
前記補正部により補正された補正画像が、前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像の画隅点と、前記補正画像の画隅点との対応付けを行い、画隅対応点を検出する画隅対応検出部と、
前記画隅対応検出部により検出された画隅対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成する姿勢推定部と
して、コンピュータを機能させるプログラム。

１０１ 投影撮像装置， １１１ 幾何補正部， １１２ 画隅対応点検出部， １１３ 姿勢推定部， １１４ スクリーン再構成部，１１５，１１５－０，１１５－１ プロジェクタ， １１６ カメラ， １４１ 画隅検出部， １４２ 対応点検出部， １５１ エッジ検出部， １５２ ハフ変換部， １５３ クラスタリング部， １５４ はずれ線除去部， １５５ 画枠検出部， ２５１ 撮像トリガ制御部

Claims (7)

1. プロジェクタの姿勢推定結果を示す姿勢推定情報に基づいて入力画像を補正して、補正画像を生成する補正部と、
   前記補正部により補正された補正画像が前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像の画隅点と、前記補正画像の画隅点との対応付けを行い、画隅対応点を検出する画隅対応検出部と、
   前記画隅対応検出部により検出された画隅対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成する姿勢推定部と、
   前記入力画像から黒帯の検出を行う黒帯検出部と
   を備え、
   前記黒帯検出部により黒帯が検出された場合、前記補正画像の画隅点は、前記黒帯でない領域から求められる
   画像処理装置。
2. 前記補正部により補正された補正画像が前記プロジェクタから投影された画像である投影画像を撮像して撮像画像を生成する撮像部を
   さらに備える請求項１に記載の画像処理装置。
3. 前記入力画像を先読みして、画枠が検出可能な場合、前記撮像部に対して撮像トリガを送信する撮像トリガ制御部を
   さらに備える請求項２に記載の画像処理装置。
4. 前記補正画像の画隅点が４点未満の場合、前記補正画像の画枠と前記撮像画像の画枠との一致度を評価することで、前記姿勢推定部は、前記プロジェクタの姿勢推定を行う
   請求項２に記載の画像処理装置。
5. 前記姿勢推定部は、前記一致度の評価として、画枠を表す直線のパラメータがどれだけ近いかを評価することで、前記プロジェクタの姿勢推定を行う
   請求項４に記載の画像処理装置。
6. 前記姿勢推定部は、前記一致度の評価として、前記補正画像を前記姿勢推定情報を使って、前記撮像部により撮像されるであろう画像と、前記撮像画像との画枠内のエッジ点をマッチングすることで、前記プロジェクタの姿勢推定を行う
   請求項４に記載の画像処理装置。
7. 画像処理装置が、
   プロジェクタの姿勢推定結果を示す姿勢推定情報に基づいて入力画像を補正して、補正画像を生成し、
   補正された補正画像が、前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像の画隅点と、前記補正画像の画隅点との対応付けを行い、画隅対応点を検出し、
   検出された画隅対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成し、
   前記入力画像から黒帯の検出を行い、
   黒帯が検出された場合、前記補正画像の画隅点は、前記黒帯でない領域から求められる
   画像処理方法。

Images