JP6510213B2 - 投影システム、半導体集積回路、および画像補正方法 - Google Patents

Description

本願は、投影システム、投影システムに利用される半導体集積回路および画像補正方法に関する。

物体、例えば建物のような構造物に映像コンテンツを投影する技術、いわゆるプロジェクションマッピングと呼ばれる技術が知られている。プロジェクションマッピングのシステムの中には、撮像機能を備えているシステムがある。例えば、特許文献１は、撮像データに基づいて映像コンテンツを調整する投影装置を開示している。

特開２０１３−１９２１８９号公報 特許第４９１７３５１号

"高速プロジェクタを用いた３０００フレーム毎秒の三次元画像計測システムの開発"，ロボティクス・メカトロニクス講演会講演概要集 ２００７，"１Ｐ１−Ｍ０２（１）"−"１Ｐ１−Ｍ０２（４）"，２００７−０５−１１

上述した従来の投影装置では、投影対象に映像コンテンツを高精度で一致させる技術のさらなる向上が求められていた。本願の限定的ではないある例示的な一実施形態は、映像コンテンツを投影対象である構造物に高精度で一致させることが可能な投影システム、その投影システムに利用される半導体集積回路および画像補正方法を提供する。

上記課題を解決するために、本開示の一態様は、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を物体に投影する投影装置と、前記パターン光を撮像し、第１の撮像画像を生成する撮像装置と、前記投影座標と、前記撮像装置の撮像座標系で規定される撮像画素座標とを対応付ける第１の座標変換情報を前記第１の撮像画像に基づいて生成し、前記第１の座標変換情報を用いて予め用意されている投影画像を補正する画像補正装置と、を備える投影システムを含む。

上記の態様は、方法、半導体集積回路、コンピュータプログラム、または、記録媒体によって実現されてもよい。あるいは、システム、装置、方法、半導体集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせによって実現されてもよい。

本開示の一態様によれば、映像コンテンツを投影対象に高精度で一致させることが可能な投影システムを提供できる。

例示的な第１の実施の形態による投影システム１００の概略的な構成を示す模式図である。 パターン光に対応した、コード化されたパターン画像の一部を例示するイメージ図である。 例示的な第１の実施の形態による画像補正装置１０４の機能ブロック構成図である。 例示的な第１の実施の形態による画像補正方法のフローチャートである。 （ａ）は、構造物１０３の撮像画像の一例を示すイメージ図であり、（ｂ）は基準画像の一例を示すイメージ図である。 （ａ）および（ｂ）は、局所特徴量を用いる方式による画像間の対応付けを説明するための概念図である。 （ａ）および（ｂ）は、位相限定相関法による画像間の対応付けを説明するための概念図である。 （ａ）は、撮像画像と、構造物１０３に投影されたパターン画像との位置関係を示す模式図であり、（ｂ）は、基準画像のイメージ図である。 例示的な第２の実施の形態による画像補正装置１０４の機能ブロック構成図である。 例示的な第２の実施の形態による画像補正方法のフローチャートである。 例示的な第３の実施の形態による画像補正装置１０４の機能ブロック構成図である。 例示的な第３の実施の形態による画像補正方法のフローチャートである。 従来技術を説明するための投影システム構成図である。

本開示の実施形態を説明する前に、先ずは図１３を参照しながら従来の投影システム９００を説明する。

投影システム９００は、撮像装置９０１、投影装置９０２、および計算装置９０３を備えている。計算装置９０３は、撮像装置９０１により取得された撮像結果から投影対象９０４の画像認識を行う。計算装置９０３は、投影対象９０４を認識した領域に映像コンテンツを投射するようにその映像を生成する。投影装置９０２は、映像コンテンツを投影対象９０４に投影する。

計測の分野において特許文献１以外に、例えば特許文献２および非特許文献１に開示されたシステムが知られている。非特許文献１は、光パターン投影を用いて高速に３Ｄ形状を計測する手法を開示している。非特許文献１のシステム構成も、図１３に示されるシステム構成と同一であると考えられる。ただし、非特許文献１のシステムにおいては、撮像装置９０１は高速度撮影を行う機能を有している。また、投影装置９０２には、デジタルマイクロミラーデバイスを用いて高速バイナリ画像を出力できる機器が割り当てられる。例えば、撮像装置９０１は、６０００ｆｐｓで高速撮影ができる。投影装置９０２は、１０２４×７６８の画素を有するバイナリパターンを６０００ｆｐｓ以上で投影できる。

具体的には、１０２４×７６８の画像のＸ座標をグレイコード化した各ビットをマンチェスタ符号化して得られるパターンが、デジタルマイクロミラーデバイスに６０００ｆｐｓで設定される。そのパターンは投影対象９０４に投影され、撮像装置９０２は、パターンが投影された投影対象９０４を６０００ｆｐｓで撮影する。

Ｘ座標は０から１０２３までの範囲であるので、各座標は１０ｂｉｔで表される。さらにマンチェスタ符号化することにより各座標は２０ｂｉｔで表される。そのため、２０フレームの撮像画像から各Ｘ座標が得られる。また、三角法によって投影対象９０４までの距離を画素毎に得ることができる。撮影結果は、計算装置（例えば、パーソナルコンピュータ）９０３に伝送されて解析される。マンチェスタ符号化によって２フレーム毎に新しいＸ座標のビットを得て再計算できる。このため、最終的なスループットとして３０００ｆｐｓの分解能で３Ｄ計測が可能になる。

また、特許文献２は、２値化パターンを示すグレイコード（チェッカーボード）を投影しながらカメラで撮影して、スクリーンに投影する画像の歪みを補正する技術を開示している。その技術によれば、複数のチェッカーボードを組み合わせることにより、カメラの歪を考慮して補正の精度をさらに向上させることができる。

以下、本願発明者が考察した従来技術の問題点を説明する。

プロジェクションマッピングなどの投影対象の構造物に映像コンテンツを投影することを考える場合、映像コンテンツを構造物に意図通りに位置調整をして投影することが求められる。その場合、撮像装置により取得されたデータを用いて映像コンテンツの投影範囲を制御することは、上述した従来技術から容易に想到されるかもしれない。しかしながら、投影範囲の誤差を抑制する点で２つの大きな課題が依然として解決されない。

第１の課題は、映像コンテンツを作成するときに想定される投影装置の配置と、実際の配置とが一致しないということである。プロジェクションマッピング用の映像コンテンツは、例えば実際の構造物の写真、および建築時の設計データなどに基づいてデザインされる。しかしながら、事前に想定されるものと完全に同じ位置および画角に投影装置を置くことは非常に困難であり、想定範囲と比べて誤差が生じ得る。その際、手作業で誤差調整を行うことも考えられる。ただし、再設置および微震動などの外的要因の影響を受けて調整が再び必要になるので、手作業での調整は得策とは言えない。

第２の課題は、撮像装置を用いて自動調整を試みたとしても、撮像装置が厳密に構造物を計測できるように、撮像装置と投影装置との位置関係において極めて高度な調整が強いられるということである。さらに、撮像装置の位置および画角は、投影装置のそれらとは異なる上に、構造物は平面ではなく奥行き方向に複雑な構造を有する。そのため、３次元計測に伴う高度な計測と幾何学的変形とが求められる。厳密な計測結果が得られないとき、計測誤差は投影時の位置ずれとなって現れる。

特許文献２に開示されている補正技術は、投影対象としてスクリーンを前提にしている。従って、複雑な構造を有する構造物の特徴を抽出し、その特徴位置に投影をマッピングするという用途において従来技術は適用できない。このような課題に鑑み、本願発明者は、新規な構造を備えた投影システム、それに利用される半導体集積回路および画像補正方法に想到した。本開示の一態様の概要は以下のとおりである。

本発明の一態様である投影システムは、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を物体に投影する投影装置と、前記パターン光を撮像し、第１の撮像画像を生成する撮像装置と、前記投影座標と、前記撮像装置の撮像座標系で規定される撮像画素座標とを対応付ける第１の座標変換情報を前記第１の撮像画像に基づいて生成し、前記第１の座標変換情報を用いて予め用意されている投影画像を補正する画像補正装置と、を備える。前記投影装置は、補正後の投影画像を前記物体に投影する。

この構成によれば、投影画像が投影対象である物体に高精度で一致するように予め用意された投影画像を自動で補正することができる。

ある態様において、前記画像補正装置は、前記撮像装置により取得された、前記物体の構造を示す第２の撮像画像と、予め用意された基準画像とを比較して、前記第２の撮像画像と前記基準画像とを幾何学的変形により対応付ける第２の座標変換情報を生成し、前記第１および第２の座標変換情報を用いて前記投影画像に幾何学的変形処理を施してもよい。

この構成によれば、投影画像が投影対象である物体により高精度で一致するように予め用意された投影画像を自動で補正することができる。

ある態様において、前記画像補正装置は、前記第２の撮像画像の全範囲のうち、前記第２の撮像画像と前記基準画像との幾何学的変形による対応付けに用いる画像の範囲を、前記基準画像を利用したパターンマッチングによって限定してもよい。

この構成によれば、第２の座標変換情報をより高精度で生成することができる。

ある態様において、前記画像補正装置は、前記撮像装置により取得された、前記物体の構造を示す第２の撮像画像に前記第１の座標変換情報を用いて幾何学的変形処理を施し、視点変換画像を生成してもよい。

この構成によれば、投影装置とは異なる位置に設置された撮像装置によって取得された画像を使って、投影装置の視点から見た画像（視点変換画像）を生成できる。

ある態様において、前記画像補正装置は、前記視点変換画像を外部に出力する出力部を有していてもよい。

この構成によれば、視点変換画像を外部に取り出すことができる。

ある態様において、前記画像補正装置は、前記視点変換画像と、予め用意された基準画像とを比較し、前記視点変換画像と前記基準画像とを幾何学的変形により対応付ける第３の座標変換情報を生成し、前記第３の座標変換情報を用いて前記投影画像に幾何学的変形処理を施してもよい。

この構成によれば、撮像装置により撮像された撮像画像を投影座標系の画像に直接変換できるので、投影画像との画像マッチングにおけるロバスト性を向上させることができる。

ある態様において、前記投影画像は、互いに異なる第１および第２の投影画像を含み、前記画像補正装置は、前記撮像装置から得られる３次元計測情報と、前記第１の座標変換情報とに基づいて、前記第１および第２の投影画像から１つの投影画像を選択し、かつ選択された投影画像を補正してもよい。

この構成によれば、物体までの距離に応じて、投影画像を投影対象である物体に高精度で一致させることができる。

ある態様において、前記３次元計測情報は、三角法によって前記第１の座標変換情報から得られる前記物体までの距離情報であって、前記画像補正装置は、前記物体までの距離情報に応じて、前記第１および第２の投影画像から１つの投影画像を選択し、かつ、選択された投影画像を前記第１の座標変換情報に基づいて補正してもよい。

この構成によれば、３次元計測情報に基づいて投影画像を補正する画像補正装置のバリエーションを提供できる。投影装置の投影座標系において計測を行うことができるので、画素ずれなく補正後の投影画像を生成できる。

ある態様において、前記３次元計測情報は、照度差ステレオ法によって得られる前記物体の表面の法線ベクトル情報であって、前記画像補正装置は、前記法線ベクトル情報により示されるベクトル方向に応じて、前記第１および第２の投影画像から１つの投影画像を選択し、かつ、選択された投影画像を前記第１の座標変換情報に基づいて補正してもよい。

この構成によれば、３次元計測情報に基づいて投影画像を補正する画像補正装置のバリエーションを提供できる。新たな光源を追加せずにソフトウェアのみで法線ベクトルを高精度に検出できる。

ある態様において、前記撮像装置は、ＴＯＦ撮像が可能なイメージセンサを含み、前記画像補正装置は、ＴＯＦ計測から得られる前記物体までの距離情報に基づいて、前記第１および第２の投影画像から１つの投影画像を選択し、かつ、選択された投影画像を前記第１の座標変換情報に基づいて補正してもよい。

この構成によれば、３次元計測情報に基づいて投影画像を補正する画像補正装置のバリエーションを提供できる。距離の計測だけでなく映像の取得も同時に行うことができる。

本発明の一態様である半導体集積回路は、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を物体に投影する投影装置と、前記パターン光を撮像し、第１の撮像画像を生成する撮像装置とを備える投影システムにおいて用いられる半導体集積回路であって、前記投影座標と、前記撮像装置の撮像座標系で規定される撮像画素座標とを対応付ける第１の座標変換情報を前記第１の撮像画像に基づいて生成する投影座標変換情報生成部と、前記第１の座標変換情報を用いて予め用意されている投影画像を補正する投影画像データ変換部と、を備える。

この半導体集積回路によれば、投影システムにおいて投影画像を投影対象である物体に高精度で一致させることができる。

本発明の一態様である画像補正方法は、物体に画像を投影する投影システムにおいて利用される画像補正方法であって、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を前記物体に投影する投影ステップと、前記パターン光を撮像し、第１の撮像画像を生成する第１の撮像ステップと、前記投影座標と、撮像座標系で規定される撮像画素座標とを対応付ける第１の座標変換情報を前記第１の撮像画像に基づいて生成する第１の座標変換情報生成ステップと、前記第１の座標変換情報を用いて予め用意されている投影画像を補正する投影画像補正ステップと、を包含する。

この方法によれば、投影システムにおいて投影画像を投影対象である物体に高精度で一致させることができる。

上記の構成、およびその構成を組み合わせたシステム構成により、映像投影と計測とを同じ投影機において行うことにより、投影と計測とのずれの発生を原理的に抑制でき、かつ、可視光の映像に干渉しない幾何学計測の重畳を実現できる。

以下、図面を参照しながら、本開示の具体的な実施の形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。また、重複する説明は省略する場合がある。なお、本開示の実施の形態による投影システムは、以下で例示するものに限られない。

（実施の形態１）
図１から図８を参照して、本実施の形態による投影システム１００の構造および機能を説明する。

図１は投影システム１００の概略的な構成を模式的に示している。投影システム１００は、撮像装置１０１、投影装置１０２および画像補正装置１０４を備えている。

投影装置１０２は、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を構造物１０３に投影する。投影装置１０２は、光源およびレンズ光学系などを含んでいる。本願明細書では、投影座標系は、投影画像である映像コンテンツ１０５の画像の各画素の座標を特定する座標系を意味する。映像コンテンツ１０５の画像の各画素を特定する座標を投影座標系の「投影座標」と称する。

撮像装置１０１は、パターン光を撮像し、パターン光の撮像画像（第１の撮像画像）を生成する。撮像装置１０１は、イメージセンサ、レンズ光学系などを含んでいる。画像補正装置１０４は、投影座標と、撮像装置１０１の撮像座標系で規定される撮像画素座標とを対応付ける第１の座標変換情報をパターン光の撮像画像に基づいて生成し、第１の座標変換情報を用いて映像コンテンツ１０５を補正するように構成されている。本願明細書では、撮像座標系は、撮像装置１０１により取得される撮像画像の各画素の座標を特定する座標系を意味する。「投影座標」と区別して、撮像画像の各画素の座標を撮像座標系の「撮像座標」と称する。

図２は、パターン光に対応した、コード化されたパターン画像（座標パターン）の一部を例示している。投影装置１０２は、例えば１０２４×７６８画素のパターン画像に基づいてパターン光を構造物１０３に投影することができる。画素のＸ座標およびＹ座標ともに５１２より大きく１０２４以下である。その場合、Ｘ座標を表すｂｉｔ０からｂｉｔ９までの１０ビットがグレイコード化される。Ｘ座標と同様に、Ｙ座標を表すｂｉｔ０からｂｉｔ９までの１０ビットがグレイコード化される。このように、各座標にそれぞれ１０ビット、合計２０ビットを割り当てることにより、座標情報をコード化できる。以下、４０フレームの画像データを利用して、その２０ビットの情報の符号化を行う例を説明する。

図２の（Ｘ９ａ）はＸ座標をグレイコード化した後のｂｉｔ９に対応したパターン画像を示している。また、本実施の形態では、マンチェスタ符号化により投影座標を符号化するので、ｂｉｔ９をビット反転させた反転パターン画像も用いられる。図２の（Ｘ９ｂ）は、（Ｘ９ａ）の画像パターンを反転させた反転パターン画像を示している。同様に、図２の（Ｘ８ａ）はＸ座標をグレイコード化した後のｂｉｔ８に対応したパターン画像を示し、（Ｘ８ｂ）は（Ｘ８ａ）の画像パターンを反転させた反転パターン画像を示している。図２の（Ｘ７ａ）はＸ座標をグレイコード化した後のｂｉｔ７に対応したパターン画像を示し、（Ｘ７ｂ）は（Ｘ７ａ）の画像パターンを反転させた反転パターン画像を示している。

図２の（Ｙ９ａ）はＹ座標をグレイコード化した後のｂｉｔ９に対応したパターン画像を示している。図２の（Ｙ９ｂ）は、（Ｙ９ａ）の画像パターンを反転させた反転パターン画像を示している。同様に、図２の（Ｙ８ａ）はＹ座標をグレイコード化した後のｂｉｔ８に対応したパターン画像を示し、（Ｙ８ｂ）は（Ｙ８ａ）の画像パターンを反転させた反転パターン画像を示している。図２の（Ｙ７ａ）はＹ座標をグレイコード化した後のｂｉｔ７に対応したパターン画像を示し、（Ｙ７ｂ）は（Ｙ７ａ）の画像パターンを反転させた反転パターン画像を示している。

図示されていなが、Ｘ座標およびＹ座標のｂｉｔ６から０にもそれぞれ対応したパターン画像および反転パターン画像が存在する。投影装置１０２はこれらパターンを含めた４０パターンを構造物１０３に順次投影する。撮像装置１０２は、投影されたパターン画像を順次撮像する。

次に、図３および４を参照しながら、画像補正装置１０４の構造、機能および動作の詳細を説明する。

図３は画像補正装置１０４の機能ブロック構成の一例を示している。画像補正装置１０４は、投影システム全体を制御する機能を有している。画像補正装置１０４は、例えばコンピュータ、プロセッサに代表される演算装置、または半導体集積回路によって実現され得る。半導体集積回路とは、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｒｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などである。メモリに、各構成要素の機能を発揮するコンピュータプログラムが実装されており、半導体集積回路内のプロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能を実現してもよい。

画像補正装置１０４は、座標パターン生成部３１１と、構造物撮像画像データ記録部３１２と、座標パターン画像データ記録部３１３と、投影装置座標変換データ生成部３１４と、投影装置座標変換データ記録部３１５と、撮像装置座標変換データ生成部３１６と、撮像装置座標変換データ記録部３１７と、投影コンテンツ基準画像データ記録部３１８と、投影コンテンツ投影画像データ記録部３１９と、投影画像データ変換部３２０とを含む。画像補正装置１０４は、予め用意された投影画像を補正する。以下、補正された投影画像を、予め用意された補正前の投影画像と区別して、「補正後の投影画像」と称する場合がある。

図４は、本実施の形態による画像補正方法のフローチャートを示している。

（ステップＳ１０１）
先ず、撮像装置１０１は、構造物１０３を撮像する。画像補正装置１０４は、構造物１０３の撮像画像（第２の撮像画像）を構造物撮像画像データ記録部３１２に記録する。この撮像の際、投影装置１０２は、照明の代わりフレーム全体が白い映像を投射することも可能である。本実施の形態では、画像補正装置１０４内のデータ記録部は、例えば画像補正装置１０４内のメモリである。

（ステップＳ１０２）、
ステップＳ１０１で得られた撮像画像と、予め用意された基準画像との間で画像の比較処理が実行される。その結果、幾何学的変形により画像を対応付けるための第２の座標変換情報が得られる。基準画像は、映像コンテンツをデザインするときに参照される画像を意味する。

投影コンテンツ基準画像データ記録部３１８には、予め用意された映像コンテンツ作成時の基準画像が記録されている。撮像装置座標変換データ生成部３１６は、その基準画像と、構造物撮像画像データ記録部３１２に記録された撮像画像とを比較して、第２の座標変換情報を生成する。第２の座標変換情報は、その撮像画像と基準画像とを幾何学的変形により対応付ける情報である。

第２の座標変換情報は、撮像装置座標変換データ記録部３１７に記録される。または、撮像装置座標変換データ生成部３１６は、映像コンテンツの種類によっては、基準画像の代わりに、投影コンテンツ投影画像データ記録部３１９に記録された画像を用いても構わない。投影コンテンツ投影画像データ記録部３１９には、投影用の補正前の映像コンテンツとして、投影画像が予め記録されている。

図５（ａ）は、構造物１０３の撮像画像の一例を示し、図５（ｂ）は基準画像の一例を示している。

図５（ａ）に示される撮像画像の一部のみが、図５（ｂ）に示される基準画像に該当している。また、撮像装置１０１の位置ずれに起因して、回転および／または縮小などの幾何学的変形を施さなければ、両者の位置を一致させることはできないことが分かる。その場合、公知の方法を広く用いて画像の位置合わせを行うことができる。以下、局所特徴量、または位相限定相関法を用いて画像の位置合わせを行う例をそれぞれ説明する。

図６（ａ）および（ｂ）は、局所特徴量を用いる方式による画像間の対応付けを説明するための概念図である。例えば局所特徴量としては、ＳＩＦＴ（Ｓｃａｌｅ‐Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量などの、回転、拡大縮小および照明条件の影響を受けにくい特徴量が挙げられる。ＳＩＦＴアルゴリズムでは、輝度変化の最も大きい方向を基準として画像の局所領域を１６ブロックに分割する。そして、各ブロックの８方向の輝度変化を合計１２８次元のベクトルとして特徴量を記述する。

図６の例では、まず図６（ｂ）から大きな特徴量を有する箇所をキーポイント候補として抽出する。そして、キーポイントの特徴量と同じ特徴量を備える部分を図６（ａ）から探し出すことにより画像間の対応付けがなされる。図６（ａ）および（ｂ）には５つの対応付け（ペア）を示している。ただし、実際にはさらに多くのペアが発生する。

ヒストグラムなどを用いてエラーを排除することにより高い精度で多数の関連付けを得ることができる。多数の関連付けが得られた段階で、第２の座標変換情報として、これらを補完して対応テーブルを作成してもよい。あるいは、最小二乗法などを用いて、アフィン変換または投影変換の座標変換行列を求めてもよい。いずれの場合も、撮像座標系から投影座標系に座標を変換するためのデータを得ることができる。

図７（ａ）および（ｂ）は、位相限定相関法による画像間の対応付けを説明するための概念図である。例えば、ＳＩＦＴ特徴量などの方法を利用すると、ビルの窓など、同じパターンが繰り返されている画像を処理するときに、誤判定が出やすい傾向にある。そのため、例えば位相限定相関法など他の手法も併用することが好ましい。

例えば、位相限定相関法によれば、比較するそれぞれの画像をフーリエ変換した後に振幅を正規化し、位相情報のみで両画像が合成される。その後、逆フーリエ変換して画像位相差のみの相関が得られる。位相限定相関法を応用して、Log-Polar変換を利用して回転および／または拡大縮小も合わせて行うことができる回転不変位相限定相関法などの手法も存在する。ただし、図７（ａ）および（ｂ）に示される例では、回転および拡大縮小については大きな差異が無いケース、又はSIFTなどの前処理により事前にある程度実施された場合のイメージを示している。

まず図７（ｂ）の画像全体を対象として、図７（ａ）に対する相関位置を位相限定相関法によって求める。次に、図７（ａ）の画像を４つのブロックに分割し、位相範囲を一定の距離以内に制限する。そして、位相限定相関法によってそれぞれのブロックの相関位置を求める。その結果、ブロック同士の画像の対応付けが４組得られる。さらに各ブロックを１６分割などに分割して階層的に対応付けをしてもよい。このように階層的に探索することにより画像内に似た特徴点が複数あっても誤動作を抑制できる。また、位相限定相関法によれば、サブピクセル精度での計算が容易に行える。そのため、位相限定相関法は、各対応座標をより正確に演算できる点で有効であるし、ブロック分割を行うことで、撮像画像と基準画像の部分的歪みに対しての頑健性も向上する。

再び図３および４を参照する。

（ステップＳ１０３）
投影装置１０２は、投影座標をコード化したパターン画像を示すパターン光を物体に投影する。座標パターン生成部３１１は、投影座標をコード化したパターン画像を生成する。例えば、上述したとおり、パターン画像は複数フレームの画像から構成され得る。マンチェスタ符号化を用いて、１０２４×７６８画素のパターン画像に基づいてパターン光を構造物１０３に投影する場合、４０フレームのパターン画像が必要になる。投影装置１０２は、座標パターン生成部３１１により生成された４０のパターン画像を順次構造物１０３に投影する。

（ステップＳ１０４）
撮像装置１０１は、構造物１０３に投影されたパターン画像を順次撮像する。そのパターン画像のデータは座標パターン画像データ記録部３１３に記録される。

（ステップＳ１０５）
画像データ記録部３１３内のパターン画像から、第１の座標変換情報を得る。第１の座標変換情報は、撮像装置１０１の撮像座標と、投影装置１０２の投影座標とを対応付ける情報である。

投影装置座標変換データ生成部３１４は、座標パターン画像データ記録部３１３からパターン画像を読み出す。投影装置座標変換データ生成部３１４は、投影座標と、撮像座標とを対応付ける第１の座標変換情報を読み出したパターン画像に基づいて生成する。このとき、各ビットに対応したパターン画像と、それをビット反転させたパターン画像との差分を取ることにより、構造物１０３が有する色情報に依存せずに各ビットの０と１とを判定することができる。構造物１０３において投影光（パターン光）が当たっていない部分に対応する画素として、差分の少ない画素を処理対象から除外してもよい。このようにして４０のパターン画像を画像処理することにより、撮像座標系の撮像座標に対応した投影座標系の投影座標を得ることができる。

画素座標と投影座標との対応付けは、画素レベル（輝度値）による変換テーブルとして設けられていてもよいし、最小二乗法などを用いて、アフィン変換または投影変換用の座標変換行列として設けられていてもよい。

図８を参照しながら、画像の範囲を限定した画素座標と投影座標との対応付けの例を説明する。

図８（ａ）は、撮像画像と、構造物１０３に投影されたパターン画像との位置関係を模式的に示している。図８（ｂ）は、基準画像のイメージを示している。投影装置１０２は、構造物１０３の全面にパターン画像を投影する。撮像装置１０１によって取得された撮像画像の全範囲のうち、撮像座標と投影座標との対応付けに用いる範囲を、基準画像を利用したパターンマッチングによって限定する。最終的に、撮像画像の限定された範囲内の画像と、基準画像とを比較して、撮像座標と投影座標とを対応付ける第１の座標変換情報を得る。構造物１０３は矩形で無い場合が多いので、投影対象でない部分も投影範囲に含まれてしまう。そこで、その範囲を除外することにより、第２の座標変換情報を生成する際の精度が向上する。

再び図３および４を参照する。

（ステップＳ１０６）
第１および第２の座標変換情報を用いて、予め用意されている投影画像に幾何学的変形処理を施し、補正後の投影画像を生成する。投影コンテンツ投影画像データ記録部３１９には、投影用の画像が予め記録されている。投影画像データ変換部３２０は、投影コンテンツ投影画像データ記録部３１９から投影画像を読み出す。投影画像データ変換部３２０は、第１および第２の座標変換情報を用いて投影画像を補正（画像変換）する。変換においては、第１および第２の座標変換情報が行列式として与えられているときは、これらの行列式を合成した行列式を用いてもよいし、合成せずに各両列式を用いて２回変換処理を実施しても構わない。このように、公知のあらゆる手法を用いて、投影画像を補正できる。

（ステップＳ１０７）
投影装置１０２は、投影画像データ変換部３２０により変換された補正後の投影画像を構造物１０３に投影する。

このように、図４に示されるフローに従い、プロジェクションマッピングにおいて構造物１０３に映像コンテンツを投影することが可能となる。なお、本実施の形態による方法では、データの依存関係に矛盾が生じない範囲において各ステップの順序を入れ替えても構わない。

本実施の形態による投影システムでは簡単のために撮像装置も投影装置も１台のみとした。しかしながら、本開示はこれに限定されず、これらを複数台に増やすことにより、さらに効果的に予め用意された投影画像を補正することが可能である。特に、１台の投影装置の投影先を捉える撮像装置を増やすと、死角の減少に繋がる。そのため２台以上の撮像装置を使用することが好ましい。

また、高精度に位置合わせしたい部分（基準部分）に限定して、複数台のうちの何台かの撮像装置を、ズームにして利用してもよいし、構造物１０３の近くに設置してもよい。また、位置合わせ用の基準部分が必要十分に確保できていれば、構造物１０３の全てが撮像装置１０１の画角に収まらなくてもよい。

本実施の形態によれば、投影される映像コンテンツが実際の構造物１０３に高精度で一致するように予め用意された投影画像を自動で補正することができる投影システムを提供できる。

（実施の形態２）
図９および図１０を参照して、本実施の形態による画像補正装置１０４の構成、機能および動作を説明する。

本実施の形態による投影システム１００は、副産物として視点変換画像を生成する点で第１の実施の形態による投影システム１００と異なる、以下、第１の実施の形態による投影システム１００とは異なる点を中心に説明する。

図９は本実施の形態による画像補正装置１０４の機能ブロック構成の一例を示している。本実施の形態による画像補正装置１０４は、第１の実施の形態による画像補正装置１０４の構成要素に加えて、投影装置視点画像データ生成部３２１と、投影装置視点画像データ記録部３２２とをさらに含む。

図１０は、本実施の形態による画像補正方法のフローチャートを示している。

（ステップＳ２０１）
撮像装置１０１は、構造物１０３を撮像する。画像補正装置１０４は、構造物１０３の撮像画像を構造物撮像画像データ記録部３１２に記録する。

（ステップＳ２０２）
次に、投影装置１０２は、投影座標をコード化したパターン画像を示すパターン光を物体に投影する。例えば、上述したようにマンチェスタ符号化を用いて、１０２４×７６８画素のパターン画像に基づいてパターン光を構造物１０３に投影する場合、４０フレームのパターン画像が必要になる。投影装置１０２は、座標パターン生成部３１１により生成された４０のパターン画像を順次構造物１０３に投影する。

（ステップＳ２０３）
撮像装置１０１は、構造物１０３に投影されたパターン画像を順次撮像する。そのパターン画像のデータは座標パターン画像データ記録部３１３に記録される。

（ステップＳ２０４）
画像データ記録部３１３内のパターン画像から、撮像装置１０１の撮像座標と、投影装置１０２の投影座標とを対応付ける第１の座標変換情報を得る。

（ステップＳ２０５）
投影装置視点画像データ生成部３２１は、構造物撮像画像データ記録部３１２から構造物の撮像画像を読み出し、構造物を示す撮像画像に第１の座標変換情報を投影装置座標変換データ記録部３１５から読み出す。投影装置視点画像データ生成部３２１は、撮像装置により取得された、第１の座標変換情報を用いて幾何学的変形処理を施し、副産物として視点変換画像を生成する。視点変換画像は、投影装置の視点から得られる画像を意味する。視点変換画像は、投影装置１０２からの視点に変換された画像であり、単独で応用価値のある画像である。視点変換画像は、投影装置視点画像データ記録部３２２に記録される。このように、投影装置１０２とは異なる位置に設置された撮像装置１０１によって取得された画像を使って、投影装置１０２の視点から見た画像を生成できる。

視点変換画像は、投影用の映像コンテンツをデザインする上で非常に有効である。例えば、視点変換画像は、位置合わせにそのまま用いることができるので予め用意された投影画像の補正に用いることができる。または、視点変換画像は、新たな映像コンテンツのデザインのための基準画像として利用できる。そこで、本実施の形態では、補正画像装置１０４は、視点変換画像を外部に出力する出力部を有している。出力部とは、例えばＵＳＢインターフェースおよびメモリカードインターフェースなどである。また、補正画像装置１０４が半導体集積回路として実現される場合、専用の出力端子が設けられている。このような構成により、視点変換画像を外部に取り出すことができる。

（ステップＳ２０６）
撮像装置座標変換データ生成部３１６は、投影コンテンツ基準画像データ記録部３１８から予め用意された基準画像を読み出し、投影装置視点画像データ記録部３２２から、視点変換画像を読み出す。撮像装置座標変換データ生成部３１６は、視点変換画像と、基準画像とを比較し、第３の座標変換情報を生成する。第３の座標変換情報は、視点変換画像と基準画像とを幾何学的変形により対応付ける情報である。第３の座標変換情報は、撮像装置座標変換データ記録部３１７に記録される。

（ステップＳ２０７）
投影画像データ変換部３２０は、第３の座標変換情報を用いて投影画像に幾何学的変形処理を施し、補正後の投影画像を生成する。幾何学的変形処理には、実施の形態１で説明したものを利用できる。

（ステップＳ２０８）
投影装置１０２は、投影画像データ変換部３２０により変換された補正後の投影画像を構造物１０３に投影する。

このように、図１０に示されるフローに従い、プロジェクションマッピングにおいて構造物１０３に映像コンテンツを投影することが可能となる。なお、本実施の形態による方法では、データの依存関係に矛盾が生じない範囲において各ステップの順序を入れ替えても構わない。また、画像補正装置１０４の中間成果物として、異なる視点にある２つ以上の撮像装置のデータを利用し、投影装置１０２の視点から見た画素ずれ誤差の無い視点変換画像を生成してもよい。

本実施の形態によれば、撮像装置１０１により撮像された撮像画像を投影座標系の画像に直接変換するので、投影装置１０２用に準備された投影画像との画像マッチングにおけるロバスト性を向上させることができる。ただし、投影対象の位置が未決定の段階で変換処理を行うので、特に、変換行列などに一旦縮退させる場合においては、投影対象以外の部分の影響を受けて精度が劣化する可能性がある。反復的に両者の処理を行うことにより回避は可能であるが、処理が複雑化するかもしれないので留意されたい。

また、投影装置１０２の投影座標系における撮像画像を得ることができる。これは、プロジェクションマッピングのコンテンツデザイナにとって大変意義である。何故なら、投影装置１０２とまったく同条件の光学系を備えた撮像装置１０１を準備すること、および投影装置１０２と同じ位置から撮影することは困難だからである。

（実施の形態３）
図１１および１２を参照して、本実施の形態による画像補正装置１０４の構成、機能および動作を説明する。

本実施の形態による投影システム１００は、構造物１０３までの距離情報に応じて予め用意された投影画像を選択的に補正する点で第１および第２の実施の形態による投影システム１００と異なる、以下、第１および第２の実施の形態による投影システム１００とは異なる点を中心に説明する。

図１１は本実施の形態による画像補正装置１０４の機能ブロック構成の一例を示している。本実施の形態による画像補正装置１０４は、座標パターン画像データ記録部３１３と、座標パターン生成部３１１と、投影装置座標対応データ生成部１０２０と、投影装置座標対応データ記録部１０２１と、投影画像データ生成部１０２２と、第１の投影コンテンツ投影画像データ記録部１０２３と、第２の投影コンテンツ投影画像データ記録部１０２４とを含んでいる。

図１２は、本実施の形態による画像補正方法のフローチャートを示している。

（ステップＳ３０１）
座標パターン生成部３１１は、投影装置１０２の画素座標をコード化したパターン画像を生成する。投影装置１０２は、そのパターン画像を構造物１０３に投影する。

（ステップＳ３０２）
撮像装置１０１はパターン画像が投影された構造物１０３を順次撮像し、座標パターン画像データ記録部３１３に記録する。

（ステップＳ３０３）
投影装置座標対応データ生成部１０２０は、撮像装置１０２の撮像座標系の撮像座標と、投影装置１０２の投影座標系の投影座標との対応付け（投影装置座標対応データ）を、投影装置座標対応データ記録部１０２１に書き込む。

第１の投影コンテンツ投影画像データ記録部１０２３には、第１の距離に応じた第１の投影画像が予め記録され、第２の投影コンテンツ投影画像データ記録部１０２４には、第１の距離とは異なる第２の距離に応じた第２の投影画像が予め記録されている。なお、第１および第２の投影画像以外にも、第３、第４の投影画像を含む複数の投影画像を物体までの距離に応じて設けておくことができる。

（ステップＳ３０４）
投影画像データ生成部１０２２は、投影装置座標対応データ記録部１０２１内の投影装置座標対応データと撮像装置１０１から得られる３次元計測情報とに基づいて、第１の投影画像および第２の投影画像から１つの投影画像を選択し、かつ選択された投影画像を補正する。例えば、投影画像データ生成部１０２２は、構造物１０３までの距離情報に応じて、構造物１０３に投影する投影画像の色またはテクスチャを選択的に切り換える。上述した機能を実現する方法には、さまざまなバリエーションが考えられる。

第１の方法によると、投影装置座標対応データ記録部１０２１内の投影装置座標対応データはそのまま三角法によって距離に換算され得る。投影画像データ生成部１０２２は、この距離情報に基づいて予め用意された投影画像を選択する。例えば、投影画像データ生成部１０２２は、背景に第１の投影画像が投影され、一定の距離範囲にある物体だけに第２の投影画像が投影されるように補正後の投影画像を生成する。

本方式によれば、投影装置１０２の投影座標系において計測を行うことができるので、画素ずれなく補正後の投影画像を生成できる。

第２の方法によると、投影装置座標対応データ記録部１０２１内の投影装置座標対応データを三角法によって距離に換算する。その後、さらに微分して傾き情報に変換し、距離情報を構造物１０３の表面の法線ベクトルの情報に変換する。第１の投影画像と第２の投影画像とは、法線ベクトルの方向に基づいて選択的に決定される。

例えば、構造物１０３の形状が立方体であるとする。その場合、立方体の各面に異なる映像コンテンツを投影したいといった需要はプロジェクションマッピングおいては多い。

本方式によれば、投影装置１０２の投影座標系において計測を行うことができるので、画素ずれなく補正後の投影画像を生成できる。

第３の方法によると、投影装置座標対応データ記録部１０２１内の投影装置座標対応データを用いる代わりに、照度差ステレオ法によって法線ベクトルを求める。照度差ステレオ法は、古典的な画像処理技術である。その方法では、異なる方向から光源で照射された被写体を撮像して得られた画像同士を比較して、被写体の表面の法線ベクトルが推定される。光源としては、専用に設置された光源を利用してもよいし、投影装置１０２を含む投影装置群を用いてもよい。特に、プロジェクションマッピングにおいては複数の投影装置１０１を設置することが多いので、照度差ステレオ法は、新たな光源を追加せずにソフトウェアのみで法線ベクトルを高精度に検出できる方法と言える。

第４の方法によると、撮像装置１０１は、撮像と同時に３Ｄ計測を行える特殊センサを有している。例えば、そのセンサは、ＴＯＦ方式などにより距離を計測できるセンサである。そのようなセンサを用いれば、距離の計測だけでなく映像の取得も同時に可能である。

本方法によれば、特殊センサの計測結果を投影装置１０２の投影座標に変換して利用可能である。ＴＯＦ方式の中には、三角法を用いて視差が小さい領域を計測することが得意であったり、死角が少なかったりする場合がある。そのため、使用条件次第でＴＯＦ方式は有効な利用方法となり得る。

（ステップＳ３０５）
投影装置１０２は、構造物１０３までの距離に応じた補正後の投影画像をそれに投影する。

本実施の形態によれば、物体までの距離に応じて、映像コンテンツを投影対象である物体に高精度で一致させることが可能な投影システムを提供できる。

本開示によれば、事前に準備したプロジェクションマッピング用の映像コンテンツと、対象構造物とを、非常に簡単な操作によって自動的に、かつ、意図通りに位置合わせして投影できるようにその映像コンテンツを加工することが可能となる。このことは、システムの初期の設置を容易化するだけでなく、経年劣化または外部の振動によって設置条件に変化が生じた場合における投影画像の自動補正に役立つ。このように、プロジェクションマッピング用設備を常設する際、メンテナンスコストを大幅に削減できる。

また、商品展示などの分野において、特定の形状を有するオブジェクトを大量生産し、同一のプロジェクションマッピング設備を複数の店舗に設置するケースが想定され得る。これはプロジェクションマッピング設備の量産化を意味する。唯一無二の映像コンテンツを設計する場合、映像コンテンツの設計コストが大半を占めるのでキャリブレーションのコストの比率は低い。ただし、大量生産する場合キャリブレーションコストは課題となり無視できない。本開示はそのようなケースにおいて大きなコスト削減の効果をもたらす。

また、将来、例えば単純な構造を有する部屋の角、および立方体など投影対象をシンプルにして汎用性を向上させたプロジェクションマッピング用のコンテンツが、Ｗｅｂ経由でダウンロード販売されるケースが想定される。そのような場合、システムの設置者として、プロジェクションマッピングに十分な知識を有していないユーザーも想定しなければならない。このような観点においても、本開示のような簡易なキャリブレーション技術はプロジェクションマッピングに有用である。

本開示の投影システム、半導体集積回路および画像補正方法は、プロジェクションマッピングシステムに利用できる。

１００ 投影システム
１０１、９０１ 撮像装置
１０２、９０２ 投影装置
１０３、９０４ 構造物
１０４、９０３ 演算装置
１０５ 映像コンテンツデータ
３１１ 座標パターン生成部
３１２ 構造物撮像画像データ記録部
３１３ 座標パターン画像データ記録部
３１４ 投影装置座標変換データ生成部
３１５ 投影装置座標変換データ記録部
３１６ 撮像装置座標変換データ生成部
３１７ 撮像装置座標変換データ記録部
３１８ 投影コンテンツ基準画像データ記録部
３１９ 投影コンテンツ投影画像データ記録部
３２０ 投影画像データ変換部
３２１ 投影装置視点画像データ生成部
３２２ は投影装置視点画像データ記録部
１０２０ 投影装置座標対応データ生成部
１０２１ 投影装置座標対応データ記録部
１０２２ 投影画像データ生成部
１０２３ 第１の投影コンテンツ投影画像データ記録部
１０２４ 第２の投影コンテンツ投影画像データ記録部

Claims (12)

1. 投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を物体に投影する投影装置と、
   前記パターン光を撮像し、第１の撮像画像を生成する撮像装置と、
   前記投影座標と、前記撮像装置の撮像座標系で規定される撮像画素座標とを対応付ける第１の座標変換情報を前記第１の撮像画像に基づいて生成し、かつ、前記撮像装置により取得された、前記物体の構造を示す第２の撮像画像と、予め用意された基準画像とを比較して、前記第２の撮像画像と前記基準画像とを幾何学的変形により対応付ける第２の座標変換情報を生成し、前記第１の座標変換情報および前記第２の座標変換情報を用いて、予め用意されている投影画像に幾何学的変形処理を施して補正する画像補正装置と、
   を備える、投影システム。
2. 前記画像補正装置は、前記第２の撮像画像の全範囲のうち、前記第２の撮像画像と前記基準画像との幾何学的変形による対応付けに用いる画像の範囲を、前記基準画像を利用したパターンマッチングによって限定する、請求項１に記載の投影システム。
3. 前記画像補正装置は、前記撮像装置により取得された、前記物体の構造を示す前記第２の撮像画像に前記第１の座標変換情報を用いて幾何学的変形処理を施し、視点変換画像を生成する、請求項１に記載の投影システム。
4. 前記画像補正装置は、前記視点変換画像を外部に出力する出力部を有している、請求項３に記載の投影システム。
5. 前記画像補正装置は、前記視点変換画像と、予め用意された基準画像とを比較し、前記視点変換画像と前記基準画像とを幾何学的変形により対応付ける第３の座標変換情報を生成し、前記第３の座標変換情報を用いて前記投影画像に幾何学的変形処理を施す、請求項３に記載の投影システム。
6. 前記投影画像は、互いに異なる第１および第２の投影画像を含み、
   前記画像補正装置は、前記撮像装置から得られる３次元計測情報と、前記第１の座標変換情報とに基づいて、前記第１および第２の投影画像から１つの投影画像を選択し、かつ選択された投影画像を補正する、請求項１に記載の投影システム。
7. 前記３次元計測情報は、三角法によって前記第１の座標変換情報から得られる前記物体までの距離情報であって、
   前記画像補正装置は、前記物体までの距離情報に応じて、前記第１および第２の投影画像から１つの投影画像を選択し、かつ、選択された投影画像を前記第１の座標変換情報に基づいて補正する、請求項６に記載の投影システム。
8. 前記３次元計測情報は、照度差ステレオ法によって得られる前記物体の表面の法線ベクトル情報であって、
   前記画像補正装置は、前記法線ベクトル情報により示されるベクトル方向に応じて、前記第１および第２の投影画像から１つの投影画像を選択し、かつ、選択された投影画像を前記第１の座標変換情報に基づいて補正する、請求項６に記載の投影システム。
9. 前記撮像装置は、ＴＯＦ撮像が可能なイメージセンサを含み、
   前記画像補正装置は、ＴＯＦ計測から得られる前記物体までの距離情報に基づいて、前記第１および第２の投影画像から１つの投影画像を選択し、かつ、選択された投影画像を前記第１の座標変換情報に基づいて補正する、請求項６に記載の投影システム。
10. 前記投影装置は、補正後の投影画像を前記物体に投影する、請求項１に記載の投影システム。
11. 投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を物体に投影する投影装置と、前記パターン光を撮像し、第１の撮像画像を生成する撮像装置とを備える投影システムにおいて用いられる半導体集積回路であって、
    前記投影座標と、前記撮像装置の撮像座標系で規定される撮像画素座標とを対応付ける第１の座標変換情報を前記第１の撮像画像に基づいて生成する投影座標変換情報生成部と、
    前記撮像装置により取得された、前記物体の構造を示す第２の撮像画像と、予め用意された基準画像とを比較して、前記第２の撮像画像と前記基準画像とを幾何学的変形により対応付ける第２の座標変換情報を生成する撮像装置座標変換データ生成部と、
    前記第１の座標変換情報および前記第２の座標変換情報を用いて、予め用意されている投影画像に幾何学的変形処理を施して補正する投影画像データ変換部と、
    を備える、半導体集積回路。
12. 物体に画像を投影する投影システムにおいて利用される画像補正方法であって、
    投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を前記物体に投影する投影ステップと、
    前記パターン光を撮像し、第１の撮像画像を生成する第１の撮像ステップと、
    前記投影座標と、撮像座標系で規定される撮像画素座標とを対応付ける第１の座標変換情報を前記第１の撮像画像に基づいて生成する第１の座標変換情報生成ステップと、
    撮像して取得した、前記物体の構造を示す第２の撮像画像と、予め用意された基準画像とを比較して、前記第２の撮像画像と前記基準画像とを幾何学的変形により対応付ける第２の座標変換情報を生成する第２の座標変換情報生成ステップと、
    前記第１の座標変換情報および前記第２の座標変換情報を用いて、予め用意されている投影画像に幾何学的変形処理を施して補正する投影画像補正ステップと、
    を包含する、画像補正方法。

Images