JP2020150303A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】投影時に生じる劣化と撮影時に生じる劣化とを考慮して、計測精度を高めることができるようにする。【解決手段】本技術の一側面の画像処理装置は、所定のテストパターンを表すテストパターン画像に対して、スクリーンに投影されたテストパターン画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じて補正し、テストパターン画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じて補正する。本技術は、プロジェクタの投影を制御する画像処理装置に適用することができる。【選択図】図２

Description

本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、投影時に生じる劣化と撮影時に生じる劣化とを考慮して計測精度を高めることができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

プロジェクタにより投影された画像の歪みの低減や位置合わせなどのために、投影画像をカメラによって撮影し、撮影画像を用いて投影画像の補正を行う、いわゆるプロジェクタカメラシステムがある。投影画像上の各点に対応する撮影画像の点を検出する対応点検出を行うことにより、投影画像の補正に用いるパラメータが求められる。

このようなプロジェクタカメラシステムにおいて、対応点検出などの計測を精度よく行うためには、投影時に生じる劣化と撮影時に生じる劣化を補正する必要があり、そのためのキャリブレーションが行われる。

一般的に、プロジェクタのキャリブレーションとカメラのキャリブレーションはそれぞれにおいて行われる。すなわち、投影時にプロジェクタ側で生じる劣化は、プロジェクタ側でのキャリブレーションにより改善される。また、投影画像の撮影時にカメラ側で生じる劣化は、カメラ側でのキャリブレーションにより改善される。

例えば特許文献１には、計測時のノイズモデルを考慮して信頼度を判定し、計測精度を改善する技術が開示されている。

特開２０１４−１１９４４２号公報

カメラ側のキャリブレーションとして、撮影画像を画像処理によって補正しようとしても、撮影画像の信号のS/N比が変わらないことから、計測精度の向上につながらない。

また、カメラ側の光学系を制御することにより調整しようとすると、全画面に対する補正になるため、問題がなかった部分にも弊害が生じてしまう。例えば、カメラ側での減光を露光制御で調整しようとする場合、撮影画像の暗い部分にあわせて絞り・感度を調整したときには、明るい部分が飽和し、計測結果に誤差が生じることがある。

本技術はこのような状況に鑑みてなされたものであり、投影時に生じる劣化と撮影時に生じる劣化とを考慮して、計測精度を高めることができるようにするものである。

本技術の一側面の画像処理装置は、所定のテストパターンを表すテストパターン画像に対して、スクリーンに投影されたテストパターン画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理と、テストパターン画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理とを施す補正処理部を備える。

本技術の他の側面の画像処理装置は、入力画像に合成される構造化光パターンを表す構造化光パターン画像に対して、スクリーンに投影された入力画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理を施す第１の補正処理部と、入力画像を構成する連続するフレームのそれぞれに、撮影劣化モデルに応じた補正処理が施された構造化光パターン画像のポジ画像とネガ画像を交互に合成することによって、構造化光パターン画像が合成された入力画像を生成する合成部と、構造化光パターン画像が合成された入力画像に対して、入力画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理を施す第２の補正処理部とを備える。

本技術の一側面においては、所定のテストパターンを表すテストパターン画像に対して、スクリーンに投影されたテストパターン画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理と、テストパターン画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理とが施される。

本技術の他の側面においては、入力画像に合成される構造化光パターンを表す構造化光パターン画像に対して、スクリーンに投影された入力画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理が施され、入力画像を構成する連続するフレームのそれぞれに、撮影劣化モデルに応じた補正処理が施された構造化光パターン画像のポジ画像とネガ画像を交互に合成することによって、構造化光パターン画像が合成された入力画像が生成される。また、構造化光パターン画像が合成された入力画像に対して、入力画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理が施される。

プロジェクタカメラシステムにおける計測モデルの例を示す図である。 本技術の一実施形態に係るプロジェクタカメラシステムの構成例を示す図である。 プロジェクタカメラシステムの構成例を示すブロック図である。 補正処理について説明するフローチャートである。 図４のステップＳ２の撮影劣化事前補正処理について説明するフローチャートである。 図４のステップＳ３の投影劣化事前補正処理について説明するフローチャートである。 プロジェクタカメラシステムの他の構成例を示すブロック図である。 ISL方式の例を示す図である。 ISL方式を用いたプロジェクタカメラシステムの構成例を示すブロック図である。 プロジェクタカメラシステムの他の構成例を示す図である。 コンピュータの構成例を示すブロック図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．プロジェクタカメラシステムの前提条件
２．本技術を適用したプロジェクタカメラシステム
３．複数台構成の例
４．ISL方式の例
５．変形例

＜＜プロジェクタカメラシステムの前提条件＞＞
図１は、プロジェクタカメラシステムにおける計測モデルの例を示す図である。

図１のプロジェクタカメラシステムは、プロジェクタ１とカメラ２が設けられることによって構成される。プロジェクタ１の前方には投影面となるスクリーン３が設けられる。

カメラ２はプロジェクタ１の近くに設けられるが、プロジェクタ１とカメラ２が同一筐体の装置から構成されるようにしてもよい。また、プロジェクタ１から離れた位置にカメラ２が設けられるようにしてもよい。

プロジェクタ１の入力としてテストパターンを表す画像信号Ｘが入力される。

プロジェクタ１から照射された投影光は、スクリーン３上で投影画像Ｙとして観測される。投影画像Ｙには、投影時に生じた劣化が含まれる。

投影時の劣化をモデル化した投影劣化モデルＡは、プロジェクタ１の特性、スクリーン３の特性、および、周辺環境の外乱に応じた伝達関数として記述される。例えば、プロジェクタ１の特性には、光源の明るさやレンズの特性が含まれる。周辺環境には周辺の明るさ等が含まれる。

投影画像Ｙは、次式(１)で表すことができる。

一方、スクリーン３上に投影された投影画像Ｙの撮影がカメラ２により行われ、撮影画像Ｚが取得される。撮影画像Ｚには、撮影時に生じた劣化が含まれる。

撮影時の劣化をモデル化した撮影劣化モデルＢは、カメラ２の特性に応じた伝達関数として記述される。撮影劣化モデルＢは、ISO感度、シャッタスピード、絞りなどの、撮影時の撮影パラメータの状況により定まる。

撮影画像Ｚは、次式(２)で表すことができる。

このように、カメラ２側で取得される画像信号Ｘには、投影劣化モデルＡと撮影劣化モデルＢが重畳（劣化モデルに応じた劣化が重畳）されることになる。

＜＜本技術を適用したプロジェクタカメラシステム＞＞
＜事前補正処理について＞
図２は、本技術の一実施形態に係るプロジェクタカメラシステムの構成例を示す図である。

図２に示す構成のうち、図１を参照して説明した構成と対応する構成には同じ符号を付してある。重複する説明については適宜省略する。

図２に示すように、本技術の一実施形態に係るプロジェクタカメラシステムにおいては、カメラ２からプロジェクタ１に対して、撮影劣化モデルＢを表す情報である撮影劣化モデル情報が供給される。プロジェクタ１においては、画像信号Ｘに対して、投影劣化モデルＡだけでなく、撮影劣化モデルＢの逆補正を適用した事前補正処理Ｈが行われる。

事前補正処理Ｈは、投影劣化モデルＡと撮影劣化モデルＢの事前補正（逆補正）処理として、次式（３）で表すことができる。事前補正処理Ｈには、投影劣化モデルＡの逆行列と撮影劣化モデルＢの逆行列が用いられる。

事前補正処理Ｈが施されることにより画像信号Ｘ’が生成される。画像信号Ｘ’は、次式(４)で表すことができる。

画像信号Ｘ’に基づく投影がプロジェクタ１により行われ、スクリーン３上に投影画像Ｙ’が投影される。

上記式(１)から、投影画像Ｙ’は、次式(５)で表すことができる。

投影画像Ｙ’の撮影がカメラ２により行われ、撮影画像Ｚ’が取得される。

上記式(２)から、カメラ２で取得される撮影画像Ｚ’は、次式(６)で表すことができる。

式（６）は、画像信号Ｘにより表される画像と同じ画像を、撮影画像Ｚ’としてカメラ２において取得することができることを表す。このように、事前補正処理Ｈを行うことにより、投影劣化モデルＡと撮影劣化モデルＢの双方を補償することが可能となる。

＜プロジェクタカメラシステムの構成＞
図３は、図２のプロジェクタカメラシステムの構成例を示すブロック図である。

図３に示すように、プロジェクタカメラシステムは、プロジェクタ部１０とカメラ部２０から構成される。

プロジェクタ部１０は、テストパターン作成部１１、撮影劣化モデル情報受信部１２、撮影劣化事前補正情報算出部１３、劣化事前補正処理部１４、および投影部１５から構成される。劣化事前補正処理部１４には、撮影劣化事前補正処理部１４−１と投影劣化事前補正処理部１４−２が含まれる。

プロジェクタ部１０の構成のうちの少なくとも一部は、プロジェクタ１に搭載されるコンピュータによって所定のプログラムが実行されることによって、プロジェクタ１において実現される。後述するように、プロジェクタ部１０の構成のうちの少なくとも一部が、PCなどのプロジェクタ１の外部の装置において実現されるようにすることも可能である。

テストパターン作成部１１は、テストパターンを表すテストパターン画像を作成し、撮影劣化事前補正処理部１４−１に出力する。テストパターンとして、スリット状、市松状などの所定のパターンが用いられる。テストパターン画像が画像信号Ｘに対応する。

撮影劣化モデル情報受信部１２は、カメラ２との間で通信を行う。プロジェクタ１には、カメラ２との間で無線または有線の通信を行う通信モジュールが設けられる。撮影劣化モデル情報受信部１２は、カメラ部２０から送信されてきた、撮影劣化モデルＢを表す撮影劣化モデル情報を受信して取得し、撮影劣化事前補正情報算出部１３に出力する。

撮影劣化事前補正情報算出部１３は、撮影劣化モデル情報受信部１２から供給された撮影劣化モデル情報に基づいて、撮影時の劣化の補正に用いるパラメータを算出し、撮影劣化事前補正処理部１４−１に出力する。撮影劣化事前補正情報算出部１３が算出するパラメータは、撮影劣化モデルＢの逆補正（Ｂ^-1）を表すパラメータである。

撮影劣化事前補正処理部１４−１は、テストパターン作成部１１から供給されたテストパターン画像（画像信号Ｘ）に対して、撮影劣化モデルＢの逆補正を適用した画像信号を生成する。撮影劣化事前補正情報算出部１３から供給されたパラメータに基づいて撮影劣化モデルＢの逆補正を施すことによって生成された画像信号は、投影劣化事前補正処理部１４−２に供給される。

投影劣化事前補正処理部１４−２は、撮影劣化事前補正処理部１４−１から供給された画像信号に対して、プロジェクタ１自身の投影劣化モデルＡの逆補正（Ａ^-1）を適用した画像信号を生成する。投影劣化事前補正処理部１４−２に対しては、投影劣化モデルＡに関する情報が設定されている。

投影劣化事前補正処理部１４−２により生成される画像信号が、画像信号Ｘ’(式(４))となる。すなわち、事前補正処理Ｈが、劣化事前補正処理部１４において行われる。投影劣化モデルＡの逆補正を施すことによって生成された画像信号Ｘ’は、投影部１５に供給される。テストパターン画像に事前補正処理を施して得られた補正画像が、画像信号Ｘ’に対応する。

投影部１５は、投影劣化事前補正処理部１４−２から供給された画像信号Ｘ’に基づいて投影を行う。スクリーン３上には投影画像Ｙ’が投影される。

一方、カメラ部２０は、撮影部２１、撮影画像現像部２２、撮影画像デコード部２３、撮影劣化モデル算出部２４、および撮影劣化モデル情報送信部２５から構成される。カメラ部２０の構成のうちの少なくとも一部は、カメラ２に搭載されるコンピュータによって所定のプログラムが実行されることによって、カメラ２において実現される。

撮影部２１は、スクリーン３上に投影された投影画像を撮影し、画像信号を撮影画像現像部２２に出力する。

撮影画像現像部２２は、撮影部２１から供給された画像信号を現像し（RAW信号をRGB信号に変換し）、現像後の画像信号を生成する。現像後の画像信号は、撮影画像デコード部２３および撮影劣化モデル算出部２４に出力される。現像後の画像信号が撮影画像Ｚ’に対応する。

撮影画像デコード部２３は、撮影画像現像部２２から供給された画像信号に基づいて対応点検出などの所定の処理を行い、センシング情報を取得する。センシング情報は、テストパターン画像の各点が、撮影画像においてどの位置に映っているのかを表す座標情報である。

撮影劣化モデル算出部２４は、撮影画像現像部２２から供給された画像信号に基づいて撮影劣化モデルＢを算出する。撮影劣化モデルＢを表すパラメータは、撮影劣化モデル情報送信部２５に供給される。

撮影劣化モデル情報送信部２５は、撮影劣化モデル算出部２４から供給された撮影劣化モデルＢを表すパラメータを、撮影劣化モデル情報としてプロジェクタ部１０に送信する。

＜プロジェクタカメラシステムの動作＞
図４のフローチャートを参照して、以上のような構成を有するプロジェクタ部１０の一連の補正処理について説明する。

ステップＳ１において、テストパターン作成部１１は、事前補正処理を行うためのテストパターン画像Ｘ（画像信号Ｘ）を作成する。

ステップＳ２において、撮影劣化事前補正処理部１４−１は、撮影劣化事前補正処理を行う。撮影劣化事前補正処理により、撮影劣化モデルＢの逆補正がテストパターン画像Ｘに対して適用される。撮影劣化事前補正処理の詳細については、図５のフローチャートを参照して後述する。撮影劣化事前補正処理の後、処理はステップＳ３に進む。

ステップＳ３において、投影劣化事前補正処理部１４−２は、投影劣化事前補正処理を行う。撮影劣化事前補正処理により、撮影劣化モデルＢの逆補正が適用されたテストパターン画像Ｘに対して、さらに、投影劣化モデルＡの逆補正が適用される。投影劣化事前補正処理の詳細については、図６のフローチャートを参照して後述する。投影劣化事前補正処理の後、処理はステップＳ４に進む。

ステップＳ４において、投影部１５は、投影劣化事前補正処理により生成された補正画像Ｘ’（画像信号Ｘ’）を投影する。

・撮影劣化事前補正処理
次に、図５のフローチャートを参照して、図４のステップＳ２において行われる撮影劣化事前補正処理について説明する。

ステップＳ１１において、撮影劣化事前補正処理部１４−１は、テストパターン画像Ｘの所定の画素を注目画素ｉとして選択する。例えば、左上の画素から順に、注目画素ｉが選択される。

ステップＳ１２において、撮影劣化事前補正処理部１４−１は、注目画素ｉの周辺画素ｋを選択する。周辺画素ｋは、注目画素ｉを中心として、−ｍ乃至ｍの範囲にある画素として選択される。

ステップＳ１３において、撮影劣化事前補正処理部１４−１は、テストパターン画像Ｘから、注目画素ｉとその周辺画素ｋの画素値である画素値Ｘ_i+kを読み出す。

ステップＳ１４において、撮影劣化事前補正処理部１４−１は、撮影劣化事前補正に用いるパラメータＤ_k,B ^-1を設定する。パラメータＤ_k,B ^-1は、撮影劣化モデルＢの逆補正Ｂ^-1の、ｋに対応するパラメータである。

ステップＳ１５において、撮影劣化事前補正処理部１４−１は、撮影劣化事前補正処理の出力値Ｘ_i,B ^-1を算出する。撮影劣化事前補正処理の出力値Ｘ_i,B ^-1は、次式(７)で表すことができる。

ステップＳ１６において、撮影劣化事前補正処理部１４−１は、全ての画素に注目したか否かを判定し、まだ注目していない画素があると判定した場合、ステップＳ１１に戻り、全ての画素に注目したと判定するまで、上述した処理を繰り返す。

全ての画素に注目したとステップＳ１６において判定された場合、図４のステップＳ２に戻り、それ以降の処理が行われる。

・投影劣化事前補正処理
次に、図６のフローチャートを参照して、図４のステップＳ３において行われる投影劣化事前補正処理について説明する。

ステップＳ２１において、投影劣化事前補正処理部１４−２は、テストパターン作成部１１の所定の画素を注目画素ｉとして選択する。例えば、左上の画素から順に、注目画素ｉが選択される。

ステップＳ２２において、投影劣化事前補正処理部１４−２は、注目画素ｉの周辺画素ｋを選択する。周辺画素ｋは、注目画素ｉを中心として、−ｍ乃至ｍの範囲にある画素として選択される。

ステップＳ２３において、投影劣化事前補正処理部１４−２は、撮影劣化事前補正処理によって算出された出力値Ｘ_i+k,B ^-1を読み出す。

ステップＳ２４において、投影劣化事前補正処理部１４−２は、投影劣化事前補正処理に用いるパラメータＤ_k,A ^-1を設定する。パラメータＤ_k,A ^-1は、投影劣化モデルＡの逆補正Ａ^-1の、ｋに対応するパラメータである。

ステップＳ２５において、投影劣化事前補正処理部１４−２は、投影劣化事前補正処理の出力値Ｘ’_iを算出する。投影劣化事前補正処理の出力値Ｘ’_iは、次式(８)で表すことができる。

ステップＳ２６において、投影劣化事前補正処理部１４−２は、全ての画素に注目したか否かを判定し、まだ注目していない画素があると判定した場合、ステップＳ２１に戻り、全ての画素に注目したと判定するまで、上述した処理を繰り返す。

全ての画素に注目したとステップＳ２６において判定された場合、図４のステップＳ３に戻り、それ以降の処理が行われる。

以上の処理により、プロジェクタ１の投影劣化モデルＡとカメラ２の撮影劣化モデルＢの双方を、プロジェクタ１側で事前に補償することが可能となる。

投影劣化モデルＡと撮影劣化モデルＢの双方を事前に補償したテストパターン画像を投影することにより、誤差が少なく、高解像度の撮影画像をカメラ２側で得ることが可能となる。高解像度の撮影画像に基づいて対応点検出などの計測を行うことにより、計測精度を高めることが可能となる。

カメラ２側の劣化をプロジェクタ１側で事前に補正することにより、劣化の大きい安価なカメラを計測に用いることが可能となる。

斜めから撮影しても計測精度を落とさずに済むことから、カメラ２の設置の制約を軽減することが可能となる。

＜＜複数台構成の例＞＞
図７は、プロジェクタカメラシステムの他の構成例を示すブロック図である。

図７に示すように、プロジェクタシステムは、プロジェクタ部１０Ａ，１０Ｂ、カメラ部２０ａ，２０ｂから構成される。プロジェクタ部１０Ａ，１０Ｂは、それぞれ異なる筐体のプロジェクタ１において実現される。カメラ部２０ａ，２０ｂも同様に、それぞれ異なる筐体のカメラ２において実現される。

図７のプロジェクタカメラシステムは、複数のプロジェクタ１から投影した画像を、複数のカメラ２のそれぞれにおいて撮影し、計測を行うシステムである。

プロジェクタ部１０Ａが投影する画像は、カメラ部２０ａ，２０ｂの双方において撮影される。プロジェクタ部１０Ｂが投影する画像も同様に、カメラ部２０ａ，２０ｂの双方において撮影される。

カメラ部２０ａからプロジェクタ部１０Ａ，１０Ｂの双方に対しては、カメラ部２０ａの撮影劣化モデルを表す撮影劣化モデル情報が送信される。カメラ部２０ｂからプロジェクタ部１０Ａ，１０Ｂの双方に対しては、カメラ部２０ｂの撮影劣化モデルを表す撮影劣化モデル情報が送信される。

プロジェクタ部１０Ａは、テストパターン作成部１１Ａ、撮影劣化モデル情報受信部１２Ａ、劣化事前補正情報算出部１３Ａ、劣化事前補正処理部１４Ａ、および投影部１５Ａから構成される。プロジェクタ部１０Ｂは、テストパターン作成部１１Ｂ、撮影劣化モデル情報受信部１２Ｂ、劣化事前補正情報算出部１３Ｂ、劣化事前補正処理部１４Ｂ、および投影部１５Ｂから構成される。

プロジェクタ部１０Ａ，１０Ｂの各構成は、それぞれ、図３を参照して説明したテストパターン作成部１１、撮影劣化モデル情報受信部１２、撮影劣化事前補正情報算出部１３、劣化事前補正処理部１４、および投影部１５と同様の機能を有する。例えば、撮影劣化モデル情報受信部１２においては、カメラ部２０ａ，２０ｂのそれぞれから送信されてきた、撮影劣化モデルＢを表す撮影劣化モデル情報が取得される。なお、図７においては、図３の撮影劣化事前補正処理部１４−１と投影劣化事前補正処理部１４−２が、ひとまとまりとなって劣化事前補正処理部１４Ａ，１４Ｂとして示されている。

また、カメラ部２０ａは、撮影部２１ａ、撮影画像現像部２２ａ、撮影画像デコード部２３ａ、撮影劣化モデル算出部２４ａ、および撮影劣化モデル情報送信部２５ａから構成される。カメラ部２０ｂは、撮影部２１ｂ、撮影画像現像部２２ｂ、撮影画像デコード部２３ｂ、撮影劣化モデル算出部２４ｂ、および撮影劣化モデル情報送信部２５ｂから構成される。

カメラ部２０ａ，２０ｂの各構成は、それぞれ、図３を参照して説明した撮影部２１、撮影画像現像部２２、撮影画像デコード部２３、撮影劣化モデル算出部２４、および撮影劣化モデル情報送信部２５と同様の機能を有する。

図７の例ではプロジェクタ部１０とカメラ部２０がそれぞれ２つずつ設けられているが、３つ以上ずつ設けることも可能である。

このような構成を有するプロジェクタカメラシステムにおいて、プロジェクタ部１０Ａからの投影画像をカメラ部２０ａ，２０ｂのそれぞれにおいて撮影したきに得られる撮影画像Ｚ’は、次式（９）で表すことができる。

式（９）において、Ｚ_A,a’は、カメラ部２０ａにおいて撮影される撮影画像Ｚ’を表し、Ｚ_A,b’は、カメラ部２０ｂにおいて撮影される撮影画像Ｚ’を表す。Ｂ_ａは、カメラ部２０ａの撮影劣化モデルＢを表し、Ｂ_ｂは、カメラ部２０ｂの撮影劣化モデルＢを表す。Ａ_Ａは、プロジェクタ部１０Ａの投影劣化モデルＡを表し、Ｈ_Ａは、劣化事前補正処理部１４Ａで行われる事前補正処理Ｈを表す。

画像信号Ｘと撮影画像Ｚ_A,a’との誤差ｅ_A,a、画像信号Ｘと撮影画像Ｚ_A,b’との誤差ｅ_A,bは、それぞれ次式（１０）で表すことができる。

プロジェクタ部１０Ａでの事前補正処理Ｈ_Aは、誤差ｅ_A,a，ｅ_A,bの二乗和を最小化するように設定することができる。この場合、事前補正処理Ｈ_Aは、次式(１１)で表すことができる。

上記式（１１）から、画像信号Ｘ_A’は、次式（１２）で表すことができる。

上記式(１１)で表される計算が劣化事前補正情報算出部１３Ａにおいて行われる。劣化事前補正情報算出部１３Ａによる計算によって求められた事前補正処理Ｈ_Aを表すパラメータが劣化事前補正処理部１４Ａに設定され、式（１２）で表される事前補正処理に用いられる。

このように、劣化事前補正処理部１４Ａにおいては、複数のカメラのそれぞれの撮影劣化モデルＢ_ａ，Ｂ_ｂと、プロジェクタ部１０Ａ自身の投影劣化モデルＡ_Ａとに応じた事前補正処理がテストパターン画像に対して施される。

プロジェクタ部１０Ａの事前補正処理Ｈ_Aの算出と、事前補正処理Ｈ_Aを用いたテストパターン画像Ｘの補正は、以上のようにして算出される。プロジェクタ部１０Ｂにおいても同様の処理が行われる。

＜＜ISL方式の例＞＞
図８は、プロジェクタカメラシステムにおいて用いられるISL(Imperceptible Structured Light)方式の原理について説明する図である。

ISL方式は、所定の構造化光パターンをポジ・ネガ反転させて投影画像に埋め込み、人間に知覚されないように投影する方式である。プロジェクタ１に対する入力としては、例えば、ユーザが実際に視聴するコンテンツの画像が用いられる。

図８に示されるように、プロジェクタ１においては、入力画像のあるフレームに対して構造化光パターンを足すことにより、構造化光パターンのポジ画像を合成した入力画像のフレーム画像が生成される。また、入力画像のその次のフレームから構造化光パターンを引くことにより、構造化光パターンのネガ画像を合成した入力画像のフレーム画像が生成される。

プロジェクタ１においては、それらのフレーム画像が連続して投影される。高速に切り替えられたポジ・ネガの２フレームは、積分効果により、足し合わされて人間の目に知覚される。その結果、投影画像を見るユーザにとっては、入力画像に埋め込まれた構造化光パターンを認識することが困難になる。

一方、カメラ２においては、それらのフレーム画像からなる投影画像の撮影が行われ、両フレームの撮影画像の差分を求めることにより、撮影画像に合成された構造化光パターンが抽出される。また、抽出された構造化光パターンを用いて、対応点検出などの計測が行われる。

図９は、ISL方式を用いたプロジェクタカメラシステムの構成例を示すブロック図である。

図９に示すプロジェクタシステムの構成は、テストパターン作成部１１の代わりに、構造化光パターン作成部１６と画像信号合成部１７が設けられている点で、図３に示すプロジェクタカメラの構成と異なる。画像信号合成部１７は、撮影劣化事前補正処理部１４−１と投影劣化事前補正処理部１４−２の間に設けられる。上述した説明と重複する説明については適宜省略する。

図９のプロジェクタシステムにおいては、基本的に、以下の３つの条件を満たすようにして事前補正処理が行われる。
条件１：入力画像に対しては、撮影劣化モデルＢの逆補正を適用しない。
条件２：入力画像に対しては、投影劣化モデルＡの逆補正のみを適用する。
条件３：構造化光パターンに対しては、投影劣化モデルＡと撮影劣化モデルＢの双方の逆補正を適用する。

構造化光パターン作成部１６は、入力画像に合成するための構造化光パターンの画像信号を作成し、撮影劣化事前補正処理部１４−１に出力する。

撮影劣化事前補正処理部１４−１は、構造化光パターン作成部１６から供給された構造化光パターンの画像信号に、撮影劣化事前補正情報算出部１３から供給された撮影劣化モデルＢの逆補正を適用した画像信号を生成する。構造化光パターンに対して、撮影劣化モデルＢの逆補正が適用されることになる。撮影劣化モデルＢの逆補正を適用することによって生成された画像信号は、画像信号合成部１７に供給される。

画像信号合成部１７は、入力画像に対して、撮影劣化事前補正処理部１４−１から供給された構造化光パターンの画像信号を合成し、画像信号Ｘを作成する。画像信号合成部１７による合成は、入力画像を構成する連続するフレームのそれぞれに、構造化光パターンのポジ画像とネガ画像を交互に合成するようにして行われる。

画像信号Ｘは、入力画像Ｉと構造光パターン±Ｓを合成した次式(１３)で表すことができる。構造光パターン±Ｓの「±」は構造光パターンのネガ・ポジを示す。

画像信号合成部１７は、撮影劣化モデルＢの逆補正を構造化パターン成分にのみ適用し、入力画像Ｉと合成した画像信号Ｘを作成することになる。画像信号合成部１７により作成された、構造化光パターンが合成された入力画像を表す画像信号Ｘは、投影劣化事前補正処理部１４−２に供給される。

投影劣化事前補正処理部１４−２は、画像信号合成部１７から供給された画像信号Ｘに、プロジェクタ１自身の投影劣化モデルＡの逆補正を適用した画像信号Ｘ’を生成する。画像信号Ｘ’は、次式（１４）で表すことができる。

このように、撮影劣化事前補正処理は、投影画像全体に施されるのではなく、構造光パターン成分にのみ施される。一方、投影劣化事前補正処理は、入力画像成分と構造光パターン成分の双方に施される。

画像信号Ｘ’に基づく投影がプロジェクタ１により行われ、スクリーン３上に投影画像Ｙ’が投影される。

上記式(１)から、投影画像Ｙ’は、次式(１５)で表すことができる。

人間の目には、時間積分の効果によって入力画像Ｉのみが知覚され、カメラ２の撮影劣化モデルＢ(逆補正Ｂ^-1)の影響を受けない。

カメラ２の撮影部２１においては、投影画像Ｙ’の撮影が行われ、撮影画像現像部２２の処理によって撮影画像Ｚ’が取得される。

上記式(２)から、カメラ２で取得される撮影画像Ｚ’は、次式(１６)で表すことができる。

式（１６）は、時間方向に撮影画像Ｚ’の差分を求めることにより、構造光パターン±Ｓのみを抽出することができることを表す。

このように、投影劣化モデルＡと撮影劣化モデルＢの双方をプロジェクタ１側において事前に補償する事前補正処理については、構造化光パターンの投影をISL方式で行うプロジェクタカメラシステムにも適用することが可能である。

＜ISL方式による構成の変形例＞
プロジェクタ１の線形性のズレや信号振幅の制約、あるいは、目の時間積分の特性のズレ等により、投影画像Ｙ’中の構造光パターン±Ｓが知覚されることがある。この場合の事前補正（逆補正）処理は、一般的に、信号成分を強調する処理になるため、構造光パターン±Ｓが知覚される可能性が高まる。

撮影劣化事前補正処理の強度の調整に用いられるパラメータが設定され、パラメータの値が、構造光パターン±Ｓの知覚の程度によって制御されるようにしてもよい。

この場合、図９の投影劣化事前補正処理部１４−２は、撮影劣化事前補正処理の強度をパラメータαに従って調整し、検知限以下に抑える。画像信号Ｘ’は、単位行列Ｅを用いて次式（１７）で表すことができる。

このような画像信号Ｘ’に基づいて投影が行われるようにすることが可能である。

スクリーン３上に投影された投影画像Ｙ''は、次式（１８−１）で表すことができる。また、投影画像Ｙ''を撮影するカメラ２において取得される撮影画像Ｚ''は、次式（１８−２）で表すことができる。

これにより、構造光パターン±Ｓが知覚される可能性を下げながら、撮影画像中に含まれる構造化光パターン成分に対する補正をできるかぎり確保することが可能となる。

なお、式（１７）において、パラメータα＝１のとき、式（１４）と同じ結果が求められる。また、パラメータα＝０のとき、撮影劣化事前補正処理を行わない場合と同じ結果が求められる。

＜＜変形例＞＞
＜他の構成例＞
プロジェクタ部１０の構成のうちの少なくとも一部が、PCなどのプロジェクタ１の外部の装置において実現されるようにすることも可能である。

図１０は、プロジェクタカメラシステムの他の構成例を示す図である。

図１０のプロジェクタカメラシステムは、PCなどの情報処理装置１０１に対して、プロジェクタ１とカメラ２が接続されることによって構成される。

情報処理装置１０１においては、例えば図３に示すプロジェクタ部１０の構成のうち、投影部１５を除く構成が実現される。カメラ部２０の構成のうちの、撮影部２１を除く構成が情報処理装置１０１において実現されるようにしてもよい。

撮影劣化モデルＢについては、カメラ２の撮影劣化モデル算出部２４において撮影画像から算出されることの他、シミュレーションによって求めた値を利用したり、あるいは、デコード結果が最も綺麗になるように調整したりするなどして設定されるようにしてもよい。

プロジェクタ１だけでなく、フラットパネルディスプレイやヘッドマウントディスプレイ等の他の表示装置を用いたシステムにも、上述した技術は適用することが可能である。

カメラ２だけでなく、ToF(Time-of-Flight)センサやLIDAR等、テストパターン画像Ｘに対応する撮影画像Ｚ’を取得することができる他のセンサ装置を用いたシステムにも、上述した技術は同様に適用することが可能である。

スクリーン３として、平面の投影面ではなく、曲面などの、平面以外の面によって構成される投影面を用いることが可能である。

＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。

CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
所定のテストパターンを表すテストパターン画像に対して、スクリーンに投影された前記テストパターン画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理と、前記テストパターン画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理とを施す補正処理部を備える
画像処理装置。
（２）
前記投影劣化モデルに応じた補正処理が施された前記テストパターン画像を前記スクリーンに投影する投影部をさらに備える
前記（１）に記載の画像処理装置。
（３）
前記撮影劣化モデルに関する情報を、前記スクリーンに投影された前記テストパターン画像の撮影を行うカメラから取得する取得部をさらに備える
前記（１）または（２）に記載の画像処理装置。
（４）
前記取得部は、前記カメラとの間で通信を行い、前記カメラから送信された前記撮影劣化モデルに関する情報を受信して取得する
前記（３）に記載の画像処理装置。
（５）
前記カメラにおいては、前記テストパターン画像の撮影時の状況に基づいて、前記撮影劣化モデルの算出が行われる
前記（３）または（４）に記載の画像処理装置。
（６）
前記テストパターン画像に生じる撮影時の劣化を打ち消す逆補正の内容を表すパラメータを、前記撮影劣化モデルに関する情報に基づいて算出する算出部をさらに備え、
前記補正処理部は、前記パラメータに基づいて、前記撮影劣化モデルに応じた補正処理を施す
前記（３）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記補正処理部は、前記テストパターン画像に対して、複数のカメラのそれぞれによる前記テストパターン画像の撮影時に生じる劣化をモデル化した複数の前記撮影劣化モデルと、前記投影劣化モデルとに応じた補正処理を施す
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記撮影劣化モデルに関する情報を、前記スクリーンに投影された前記テストパターン画像の撮影を行う複数の前記カメラのそれぞれから取得する取得部をさらに備える
前記（７）に記載の画像処理装置。
（９）
複数の前記カメラによる前記テストパターン画像の撮影によって得られた複数の撮影画像のそれぞれと、補正処理が施される前の前記テストパターン画像との誤差に基づいて、補正処理の内容を表すパラメータを算出する算出部をさらに備え、
前記補正処理部は、前記パラメータに基づいて、複数の前記撮影劣化モデルと前記投影劣化モデルとに応じた補正処理を施す
前記（７）または（８）に記載の画像処理装置。
（１０）
前記算出部は、複数の前記誤差の和が最小となる前記パラメータを算出する
前記（９）に記載の画像処理装置。
（１１）
画像処理装置が、
所定のテストパターンを表すテストパターン画像に対して、スクリーンに投影された前記テストパターン画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理と、前記テストパターン画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理とを施す
画像処理方法。
（１２）
コンピュータに、
所定のテストパターンを表すテストパターン画像に対して、スクリーンに投影された前記テストパターン画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理と、前記テストパターン画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理とを施す
処理を実行させるためのプログラム。
（１３）
入力画像に合成される構造化光パターンを表す構造化光パターン画像に対して、スクリーンに投影された前記入力画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理を施す第１の補正処理部と、
前記入力画像を構成する連続するフレームのそれぞれに、前記撮影劣化モデルに応じた補正処理が施された前記構造化光パターン画像のポジ画像とネガ画像を交互に合成することによって、前記構造化光パターン画像が合成された前記入力画像を生成する合成部と、
前記構造化光パターン画像が合成された前記入力画像に対して、前記入力画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理を施す第２の補正処理部と
を備える画像処理装置。
（１４）
前記構造化光パターン画像を作成する作成部をさらに備える
前記（１３）に記載の画像処理装置。
（１５）
前記投影劣化モデルに応じた補正処理が施された前記入力画像を前記スクリーンに投影する投影部をさらに備える
前記（１３）または（１４）に記載の画像処理装置。
（１６）
前記撮影劣化モデルに関する情報を、前記スクリーンに投影された前記入力画像の撮影を行うカメラから取得する取得部をさらに備える
前記（１３）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
前記第１の補正処理部は、前記構造化光パターン画像に施す補正処理の強度を、前記スクリーンに投影された前記入力画像における前記構造化光パターンの知覚の程度に応じて調整する
前記（１３）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
画像処理装置が、
入力画像に合成される構造化光パターンを表す構造化光パターン画像に対して、スクリーンに投影された前記入力画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理を施し、
前記入力画像を構成する連続するフレームのそれぞれに、前記撮影劣化モデルに応じた補正処理が施された前記構造化光パターン画像のポジ画像とネガ画像を交互に合成することによって、前記構造化光パターン画像が合成された前記入力画像を生成し、
前記構造化光パターン画像が合成された前記入力画像に対して、前記入力画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理を施す
画像処理方法。
（１９）
コンピュータに、
入力画像に合成される構造化光パターンを表す構造化光パターン画像に対して、スクリーンに投影された前記入力画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理を施し、
前記入力画像を構成する連続するフレームのそれぞれに、前記撮影劣化モデルに応じた補正処理が施された前記構造化光パターン画像のポジ画像とネガ画像を交互に合成することによって、前記構造化光パターン画像が合成された前記入力画像を生成し、
前記構造化光パターン画像が合成された前記入力画像に対して、前記入力画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理を施す
処理を実行させるためのプログラム。

１ プロジェクタ， ２ カメラ， ３ スクリーン， １０ プロジェクタ部， １１ テストパターン作成部， １２ 撮影劣化モデル情報受信部， １３ 撮影劣化事前補正情報算出部， １４ 劣化事前補正処理部， １４−１ 撮影劣化事前補正処理部， １４−２ 投影劣化事前補正処理部， １５ 投影部， １６ 構造化光パターン作成部， １７ 画像信号合成部， ２０ カメラ部， ２１ 撮影部， ２２ 撮影画像現像部， ２３ 撮影画像デコード部， ２４ 撮影劣化モデル算出部， ２５ 撮影劣化モデル情報送信部， １０１ 情報処理装置

Claims (19)

1. 所定のテストパターンを表すテストパターン画像に対して、スクリーンに投影された前記テストパターン画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理と、前記テストパターン画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理とを施す補正処理部を備える
   画像処理装置。
2. 前記投影劣化モデルに応じた補正処理が施された前記テストパターン画像を前記スクリーンに投影する投影部をさらに備える
   請求項１に記載の画像処理装置。
3. 前記撮影劣化モデルに関する情報を、前記スクリーンに投影された前記テストパターン画像の撮影を行うカメラから取得する取得部をさらに備える
   請求項１に記載の画像処理装置。
4. 前記取得部は、前記カメラとの間で通信を行い、前記カメラから送信された前記撮影劣化モデルに関する情報を受信して取得する
   請求項３に記載の画像処理装置。
5. 前記カメラにおいては、前記テストパターン画像の撮影時の状況に基づいて、前記撮影劣化モデルの算出が行われる
   請求項３に記載の画像処理装置。
6. 前記テストパターン画像に生じる撮影時の劣化を打ち消す逆補正の内容を表すパラメータを、前記撮影劣化モデルに関する情報に基づいて算出する算出部をさらに備え、
   前記補正処理部は、前記パラメータに基づいて、前記撮影劣化モデルに応じた補正処理を施す
   請求項３に記載の画像処理装置。
7. 前記補正処理部は、前記テストパターン画像に対して、複数のカメラのそれぞれによる前記テストパターン画像の撮影時に生じる劣化をモデル化した複数の前記撮影劣化モデルと、前記投影劣化モデルとに応じた補正処理を施す
   請求項１に記載の画像処理装置。
8. 前記撮影劣化モデルに関する情報を、前記スクリーンに投影された前記テストパターン画像の撮影を行う複数の前記カメラのそれぞれから取得する取得部をさらに備える
   請求項７に記載の画像処理装置。
9. 複数の前記カメラによる前記テストパターン画像の撮影によって得られた複数の撮影画像のそれぞれと、補正処理が施される前の前記テストパターン画像との誤差に基づいて、補正処理の内容を表すパラメータを算出する算出部をさらに備え、
   前記補正処理部は、前記パラメータに基づいて、複数の前記撮影劣化モデルと前記投影劣化モデルとに応じた補正処理を施す
   請求項８に記載の画像処理装置。
10. 前記算出部は、複数の前記誤差の和が最小となる前記パラメータを算出する
    請求項９に記載の画像処理装置。
11. 画像処理装置が、
    所定のテストパターンを表すテストパターン画像に対して、スクリーンに投影された前記テストパターン画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理と、前記テストパターン画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理とを施す
    画像処理方法。
12. コンピュータに、
    所定のテストパターンを表すテストパターン画像に対して、スクリーンに投影された前記テストパターン画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理と、前記テストパターン画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理とを施す
    処理を実行させるためのプログラム。
13. 入力画像に合成される構造化光パターンを表す構造化光パターン画像に対して、スクリーンに投影された前記入力画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理を施す第１の補正処理部と、
    前記入力画像を構成する連続するフレームのそれぞれに、前記撮影劣化モデルに応じた補正処理が施された前記構造化光パターン画像のポジ画像とネガ画像を交互に合成することによって、前記構造化光パターン画像が合成された前記入力画像を生成する合成部と、
    前記構造化光パターン画像が合成された前記入力画像に対して、前記入力画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理を施す第２の補正処理部と
    を備える画像処理装置。
14. 前記構造化光パターン画像を作成する作成部をさらに備える
    請求項１３に記載の画像処理装置。
15. 前記投影劣化モデルに応じた補正処理が施された前記入力画像を前記スクリーンに投影する投影部をさらに備える
    請求項１３に記載の画像処理装置。
16. 前記撮影劣化モデルに関する情報を、前記スクリーンに投影された前記入力画像の撮影を行うカメラから取得する取得部をさらに備える
    請求項１３に記載の画像処理装置。
17. 前記第１の補正処理部は、前記構造化光パターン画像に施す補正処理の強度を、前記スクリーンに投影された前記入力画像における前記構造化光パターンの知覚の程度に応じて調整する
    請求項１３に記載の画像処理装置。
18. 画像処理装置が、
    入力画像に合成される構造化光パターンを表す構造化光パターン画像に対して、スクリーンに投影された前記入力画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理を施し、
    前記入力画像を構成する連続するフレームのそれぞれに、前記撮影劣化モデルに応じた補正処理が施された前記構造化光パターン画像のポジ画像とネガ画像を交互に合成することによって、前記構造化光パターン画像が合成された前記入力画像を生成し、
    前記構造化光パターン画像が合成された前記入力画像に対して、前記入力画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理を施す
    画像処理方法。
19. コンピュータに、
    入力画像に合成される構造化光パターンを表す構造化光パターン画像に対して、スクリーンに投影された前記入力画像の撮影時に生じる劣化をモデル化した撮影劣化モデルに応じた補正処理を施し、
    前記入力画像を構成する連続するフレームのそれぞれに、前記撮影劣化モデルに応じた補正処理が施された前記構造化光パターン画像のポジ画像とネガ画像を交互に合成することによって、前記構造化光パターン画像が合成された前記入力画像を生成し、
    前記構造化光パターン画像が合成された前記入力画像に対して、前記入力画像の投影時に生じる劣化をモデル化した投影劣化モデルに応じた補正処理を施す
    処理を実行させるためのプログラム。

Images