JP6618249B2 - 投影システムおよび半導体集積回路 - Google Patents

Description

本願は、投影システム、投影システムに利用される半導体集積回路に関する。

物体、例えば建物のような構造物に映像コンテンツを投影する技術、いわゆるプロジェクションマッピングと呼ばれる技術が知られている。プロジェクションマッピングのシステムの中には、撮像機能を備えているシステムがある。例えば、特許文献１は、被写体の３Ｄ形状を取得すること、および被写体を可視光で撮像することを同時に行うことができるシステムを開示している。

特開２００５−２５８６２２号公報 特開２０１３−１９２１８９号公報 特開２０００−２５９１２６号公報

"高速プロジェクタを用いた３０００フレーム毎秒の三次元画像計測システムの開発"，ロボティクス・メカトロニクス講演会講演概要集 ２００７，"１Ｐ１−Ｍ０２（１）"−"１Ｐ１−Ｍ０２（４）"，２００７−０５−１１

上述した従来の投影システムでは、投影対象である構造物に映像コンテンツを意図通りに位置合わせをして投影する技術の向上が求められていた。本願の限定的ではないある例示的な一実施形態は、構造物に映像コンテンツを意図通りに位置合わせをして投影することが可能な投影システムを提供する。

上記課題を解決するために、本開示の一態様は、投影装置と、少なくとも１つの撮像装置とを備える投影システムであって、前記投影装置は、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光とを投影する、投影システムを含む。

上記の態様は、方法、半導体集積回路、コンピュータプログラム、または、記録媒体によって実現されてもよい。あるいは、システム、装置、方法、半導体集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせによって実現されてもよい。

本開示の一態様によれば、構造物に映像コンテンツを意図通りに位置合わせをして投影を行うことが可能な投影システムを提供できる。

図１は、例示的な実施の形態１による投影システム１００の概略的な構成を示す模式図である。 図２は、パターン光に対応した、コード化されたパターン画像の一部を例示するイメージ図である。 図３は、例示的な実施の形態１による演算装置１０３の機能ブロック構成図である。 図４は、例示的な実施の形態１による投影システム１００の動作フローチャートである。 図５は、例示的な実施の形態２による投影システム１００の概略的な構成を示す模式図である。 図６は、従来のシステム構成例を示す模式図である。 図７は、従来のシステム構成例を示す模式図である。 図８は、従来のシステム構成例を示す模式図である。

本開示の実施の形態を説明する前に、先ずは図６を参照しながら従来の計測システム６００を説明する。

計測システム６００は、撮像装置６０１、赤外光源６０２、可視光光源６０３およびパターンを有するスリット６０４を備えている。撮像装置６０１は、可視光および赤外光を同時に撮像できる。撮像装置６０１は、可視光光源６０１によって可視光が照射された被写体６０５を可視光の画像として取得できる。また、赤外光源６０２からの赤外光がスリット６０４を通り、パターン光として被写体６０５に照射される。撮像装置６０１は、その照射されたパターン光を赤外画像として撮影することができる。その結果、パターン光から被写体６０５の形状を得ることができる。このようにして被写体６０５の形状計測と可視光画像の取得とが同時に実現される。

計測の分野において特許文献１以外に、例えば非特許文献１、特許文献２および特許文献３に開示されたシステムが知られている。

非特許文献１は、光パターン投影を用いて高速に３Ｄ形状を計測する手法を開示している。非特許文献１のシステム構成を図７に示す。計測システム７００は、撮像装置７０１と、光源７３１、レンズ７１１およびデジタルマイクロミラーデバイス７２１を有する投影装置７０２とを備えている。撮像装置７０１は高速度撮影を行う機能を有している。例えば、撮像装置７０１は、６０００ｆｐｓで高速撮影ができる。投影装置７０２は、１０２４×７６８の画素を有するバイナリパターンを６０００ｆｐｓ以上で投影できる。

具体的には、１０２４×７６８の画像のＸ座標をグレイコード化した各ビットをマンチェスタ符号化して得られるパターンが、デジタルマイクロミラーデバイスに６０００ｆｐｓで設定される。そのパターンは投影対象７０３に投影され、撮像装置７０１は、パターンが投影された投影対象７０３を６０００ｆｐｓで撮影する。

Ｘ座標は０から１０２３までの範囲であるので、各座標は１０ｂｉｔで表される。さらにマンチェスタ符号化することにより各座標は２０ｂｉｔで表される。そのため、２０フレームの撮像画像から各Ｘ座標が得られる。また、三角法によって投影対象７０３までの距離を画素毎に得ることができる。撮像結果は、計算装置（例えば、パーソナルコンピュータ）に伝送されて解析される。マンチェスタ符号化によって２フレーム毎に新しいＸ座標のビットを得て再計算できる。このため、最終的なスループットとして３０００ｆｐｓの分解能で３Ｄ計測が可能になる。

また、特許文献２は、撮像データに基づいて映像コンテンツを調整する計測システムを開示している。特許文献２のシステム構成を図８に示す。計測システム８００は、撮像装置８０１、投影装置８０２、および計算装置８０３を備えている。計算装置８０３は、撮像装置８０１により取得された撮像結果から投影対象８０４の画像認識を行う。計算装置８０３は、投影対象８０４を認識した領域に映像コンテンツを投射するようにその映像を生成する。投影装置８０２は、映像コンテンツを投影対象８０４に投影する。

また、特許文献３は、デジタルマイクロミラーデバイスを用いた可視画像の階調表示を開示している。ＯＮ／ＯＦＦのデジタル出力しかできないデジタルマイクロミラーデバイスにおいて階調表示を行う際に、階調を表現するためにサブフィールド単位でデジタルマイクロミラーデバイスＯＮ／ＯＦＦを制御する。これにより、フィールド全てのＯＮ／ＯＦＦを毎回制御するよりも短い時間で階調を制御できる。

以下、本願発明者が考察した従来技術の問題点を説明する。

プロジェクションマッピングなどの、投影対象である構造物に映像コンテンツを投影することを考えた場合、映像コンテンツを構造物に意図通り位置あわせをして投影することが求められる。最終的には、投影装置の座標系から見た構造物の幾何学的な位置情報を得ることが必要となる。

また、静的な構造物に投影するときは、投影とは別に事前計測を１度だけ行えばよい。その場合、投影と計測との干渉を無視できる。一方、動的に移動し、および／または変形する物体に対して、それを３Ｄ計測しながらその結果に基づいてリアルタイムに誤差のない投影を行うことを考える。その場合、投影中の映像コンテンツに影響を与えないように計測を行うことが求められる。

しかしながら、特許文献１は、３Ｄ計測用のパターン画像を非可視光により投影することによって、別の場所に設置された可視光光源からの可視光の影響を受けない計測が可能になることを開示しているに過ぎない。特許文献１の技術によれば、撮像装置の座標系に準ずる計測結果しか得られない。

また、非特許文献１も、高速に３Ｄ計測を行う技術水準を開示しているに過ぎない。投影装置の座標情報を送出するには数十フレーム分の画像が必要になるので、従来、移動物体の３Ｄ計測を高速に行うことは困難であった。非特許文献１の技術は、高速に計測を行える可能性を示唆した点では有意義であると考えられる。

しかしながら、非特許文献１は３Ｄ計測単体の技術を開示しているだけであり、投影装置の座標系について何ら言及していない。また、非特許文献１は、高速撮像後のオフライン処理、すなわち非リアルタイムでの処理について言及している。そもそも、６０Ｈｚなどで画像処理を行うことを前提としたパーソナルコンピュータのような計算機アーキテクチャ装置においては、数十ミリ秒以上の遅延が入出力で発生する。その結果、移動物体に映像を投影しながらそれを撮像し、その結果をリアルタイムで投影にフィードバックさせることは困難である。

特許文献２の技術によれば、撮像装置と投影装置との位置が互いに異なることによって視差が発生する。しかしながら、特許文献２は、その視差の解決について何ら言及していないし、システムの高速化についても言及していない。

このような課題に鑑み、本願発明者は、新規な構造を備えた投影システム、それに利用される半導体集積回路に想到した。

本開示は、映像投影と同じ光学系を利用して、可視光に極力影響を与えず座標情報を重畳できる投影装置を提供する。また、撮像装置の座標系を基準とした幾何学計測の結果を投影装置の座標系を基準とした結果に最小の誤差で変換する方法を提供する。さらに、リアルタイムで座標情報をフィードバックする演算回路を提供する。

本開示の一態様の概要は以下のとおりである。

本発明の一態様である投影システムは、投影装置と、少なくとも１つの撮像装置とを備える投影システムであって、前記投影装置は、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光とを投影する。

この構成によれば、映像投影と計測とを同じ投影装置によって行うことができる。

ある態様において、前記投影システムは、演算装置をさらに備え、前記少なくとも１つの撮像装置は、撮像座標系を有し、前記投影装置から物体に投影された前記パターン光を撮像して撮像画像を生成し、前記演算装置は、前記撮像画像を、前記撮像座標系で規定される撮像座標に対応する前記投影座標を示す投影座標情報に復号し、前記投影座標情報を、前記投影座標系を基準として前記物体までの距離情報に変換し、前記距離情報に応じて、前記映像コンテンツの内容を選択的に決定してもよい。

この構成によれば、投影と計測とのずれの発生を原理的に抑制でき、かつ、可視光の映像に干渉しない幾何学計測の重畳を実現できる。また、構造物に映像コンテンツを意図通りに位置合わせをして投影を行うことがきる。

ある態様において、前記投影装置は、前記映像光および前記パターン光を時分割多重化して投影してもよい。

この構成によれば、光源の数に比べて少ない数のデジタルマイクロミラーデバイスで装置を構成できるので、コストを削減できる。高速に時分割多重できるので、鑑賞者には同時に発光されているのと区別がつかない。

ある態様において、前記投影装置は、前記映像光および前記パターン光を波長多重化して投影してもよい。

この構成によれば、波長多重化された光を利用して投影と計測とを完全同時に行える点で、遅延量をさらに減少させることができる。

ある態様において、前記投影装置は、前記映像光に前記パターン光を電子透かし法により重畳させて投影してもよい。

この構成によれば、可視光映像の視認性が良くない下位ビットを有効に活用できる。

ある態様において、前記映像光は可視光であり、前記パターン光は非可視光であってもよい。

この構成によれば、パターン光による影響を受けずに、映像光のみが人に視認される。

ある態様において、前記非可視光は赤外光であってもよい。

この構成によれば、パターン光による影響を受けずに、映像光のみが人に視認される。

ある態様において、前記映像光は光造形に適した波長を有し、前記パターン光は、前記光造形に影響を与えにくい波長を有していてもよい。

この構成によれば、投影装置の投影座標系での距離情報に基づいて造形物および材料樹脂の状態を得ることができるので、誤差の少ない細かな光造形の制御が可能となる。

ある態様において、前記少なくとも１つの撮像装置の設置位置、撮像方向およびズーム倍率の少なくとも１つは動的に変化してもよい。

この構成によれば、計測の解像度を部分的に高めることができる。

ある態様において、前記少なくとも１つの撮像装置は、第１および第２の撮像装置を含み、前記第１および第２の撮像装置は、前記投影装置の両側に配置され得る。

この構成によれば、投影光は当たるが撮像できないオクルージョン領域を減らすことができる。

ある態様において、前記少なくとも１つの撮像装置は、第１および第２の撮像装置を含み、前記第１の撮像装置は、前記第２の撮像装置と比べて、前記物体により近い位置に配置されていてもよい。

この構成によれば、計測の解像度を部分的に高めることができる。

ある態様において、前記演算装置は、前記撮像装置から前記撮像座標で特定される画素の第１の色情報を取得し、前記投影座標を用いて、前記第１の色情報に対応した前記投影画素の第２の色情報を選択的に決定してもよい。

この構成によれば、撮像装置は投影先の正確な位置の素材の色情報に基づいた投影を行うことが可能となる。そのため、例えば以下のようなことが可能になる。

第１に、異なる色が混在する面に、あたかも均一なスクリーンに投影したときと同じように見えるように補正できる。第２に、投影先の素材を鮮やかに見せる演色性の高い照明効果を発揮できる。第３に、存在する素材の視認性を下げて隠したりできる。また、本システムは低遅延を実現できるので、投影対象が移動する場合でもそのずれを最小にすることができる。

本発明の一態様である半導体集積回路は、映像コンテンツを示す映像光、および投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を投影する投影装置と、前記投影装置から物体に投影された前記パターン光を撮像して撮像画像を生成する少なくとも１つの撮像装置とを備える投影システムにおいて用いられ、前記撮像画像を、前記撮像座標系で規定される撮像座標に対応する前記投影座標を示す投影座標情報に復号するパターン復号部と、前記投影座標情報を、前記投影座標系を基準として前記物体までの距離情報に変換する座標変換部と、前記距離情報に応じて、前記映像コンテンツの内容を選択的に決定するコンテンツ生成部と、を備える。

この半導体集積回路を投影システムに利用すれば、投影と計測とのずれの発生を原理的に抑制でき、かつ、可視光の映像に干渉しない幾何学計測の重畳を実現できる。また、構造物に映像コンテンツを意図通りに位置合わせをして投影を行うことがきる。

以下、図面を参照しながら、本開示の具体的な実施の形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。また、重複する説明は省略する場合がある。なお、本開示の実施の形態による投影システムは、以下で例示するものに限られない。

（実施の形態１）
図１から図４を参照しながら、本実施の形態による投影システム１００の構造、機能および動作を説明する。

図１は投影システム１００の概略的な構成の一例を模式的に示している。投影システム１００は、撮像装置１０１、投影装置１０２および演算装置１０３を備えている。

本実施の形態では、撮像装置１０１は非特許文献１と同様に毎秒６０００フレームの撮影を行うことができる。また、撮像装置１０１は、内部にバッファリングすることなく大規模な転送帯域を有し、演算装置１０３に撮像データを出力できる。さらに、撮像装置１０１は、赤外光領域に感度を有している。以下、これらを前提とし、各装置の機能および動作の一例を説明する。

投影装置１０２は、映像コンテンツを示す映像光と、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光とを投影する。本願明細書では、投影座標系は、投影画像である映像コンテンツの画像の各画素の座標を特定する座標系を意味する。映像コンテンツの画像の各画素を特定する座標を投影座標系の「投影座標」と称する。

投影装置１０２は、典型的にはレンズ光学系１１１と、可視光ＬＥＤ光源１３１と、赤外ＬＥＤ光源１３２と、ダイクロイックミラー１４１と、デジタルマイクロミラーデバイス１２１とを有している。

レンズ光学系１１１は、一枚のレンズで構成されていてもよいし、複数枚のレンズ（レンズ群）で構成されていてもよい。複数のレンズは、例えばズームレンズおよびフォーカスレンズなどを含み得る。

可視光ＬＥＤ光源１３１は、可視光帯域（概ね３８０ｎｍから７８０ｎｍ）の光を映像光として出射する。簡易化の観点から、可視光ＬＥＤ光源１３１を単色の可視光光源とすることができる。ただし、赤青緑の三色用に３つの光源をそれぞれ設けることにより、フルカラーの映像を投影しても当然構わない。または、十分高速に回転可能なカラーホイールがあれば、可視光ＬＥＤ光源１３１の代わりに高圧水銀灯などの白色光源を備え、出力にそれを取り付けることにより、フルカラーの映像を投影することができる。

また、可視光ＬＥＤ光源１３１として、高圧水銀灯からダイクロイックプリズムなどで波長別に光を取り出せる光源を利用することができる。このように本開示にはあらゆる光源を利用することができる。

赤外ＬＥＤ光源１３２は、非可視光をパターン光として出射する。非可視光は、例えば、赤外光帯域（概ね７００ｎｍから１０００ｎｍ）の波長を有している。なお、本実施の形態では、非可視光の光源として、赤外ＬＥＤ光源１３２を用いているが、紫外線を出射する光源を利用することもできる。

デジタルマイクロミラーデバイス１２１は、例えば１０２４×７６８の升目上にマイクロミラーが配列されたデバイスである。デジタルマイクロミラーデバイス１２１は、バイナリパターンで毎秒３００００フレームの映像を出力できる。なお、デジタルマイクロミラーデバイス１２１は液晶デバイスで代替することも可能である。

ダイクロイックミラー１４１は可視光を透過させ、赤外光を反射する特性を有している。ダイクロイックミラー１４１としては、公知となっているものを広く用いることができる。

撮像装置１０１は、パターン光を撮像し、パターン光の撮像画像を生成する。撮像装置１０１は、イメージセンサ、レンズ光学系などを含んでいる。例えば、デジタルマイクロミラーデバイス１２１と対応させて、１０２４×７６８の画素数を有するイメージセンサを用いることができる。その場合、１画素を８ｂｉｔの分解能とすると、転送帯域は３８Ｇｂｐｓ程である。演算装置１０３を、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）で実現すると仮定する。現在の半導体技術水準を考慮すると、３８Ｇｂｐｓ程の転送帯域は十分に実現できる範囲である。

撮像装置１０１は、撮像座標系を有している。本願明細書では、撮像座標系は、撮像装置１０１により取得される撮像画像の各画素の座標を特定する座標系を意味する。「投影座標」と区別して、撮像画像の各画素の座標を撮像座標系の「撮像座標」と称する。

演算装置１０３は、撮像画像を、撮像座標系で規定される撮像座標に対応する投影座標を示す投影座標情報に復号し、投影座標系を基準として投影座標情報を構造物までの距離情報に変換し、距離情報に応じて、映像コンテンツの内容を選択的に決定する。

図２は、パターン光に対応した、コード化されたパターン画像（座標パターン）の一部を例示している。図２に示されるパターン画像は、１０２４×７６８のマイクロミラーを有するデジタルマイクロミラーデバイス１２１の各ミラーのＸおよびＹ座標をグレイコード化した後に、各ｂｉｔを白黒の２値画像として表すことにより得られる。

投影装置１０２は、例えば１０２４×７６８画素のパターン画像に基づいてパターン光を構造物１０４に投影することができる。画素のＸ座標およびＹ座標ともに５１２より大きく１０２４以下である。その場合、Ｘ座標を表すｂｉｔ０からｂｉｔ９までの１０ビットがグレイコード化される。Ｘ座標と同様に、Ｙ座標を表すｂｉｔ０からｂｉｔ９までの１０ビットがグレイコード化される。このように、各座標にそれぞれ１０ビット、合計２０ビットを割り当てることにより、座標情報をコード化できる。以下、４０フレームの画像データを利用して、その２０ビットの情報の符号化を行う例を説明する。

図２の（Ｘ９ａ）はＸ座標をグレイコード化した後のｂｉｔ９に対応したパターン画像を示している。また、本実施の形態では、マンチェスタ符号化により投影座標を符号化するので、ｂｉｔ９をビット反転させた反転パターン画像も用いられる。図２の（Ｘ９ｂ）は、（Ｘ９ａ）の画像パターンを反転させた反転パターン画像を示している。同様に、図２の（Ｘ８ａ）はＸ座標をグレイコード化した後のｂｉｔ８に対応したパターン画像を示し、（Ｘ８ｂ）は（Ｘ８ａ）の画像パターンを反転させた反転パターン画像を示している。図２の（Ｘ７ａ）はＸ座標をグレイコード化した後のｂｉｔ７に対応したパターン画像を示し、（Ｘ７ｂ）は（Ｘ７ａ）の画像パターンを反転させた反転パターン画像を示している。

図２の（Ｙ９ａ）はＹ座標をグレイコード化した後のｂｉｔ９に対応したパターン画像を示している。図２の（Ｙ９ｂ）は、（Ｙ９ａ）の画像パターンを反転させた反転パターン画像を示している。同様に、図２の（Ｙ８ａ）はＹ座標をグレイコード化した後のｂｉｔ８に対応したパターン画像を示し、（Ｙ８ｂ）は（Ｙ８ａ）の画像パターンを反転させた反転パターン画像を示している。図２の（Ｙ７ａ）はＹ座標をグレイコード化した後のｂｉｔ７に対応したパターン画像を示し、（Ｙ７ｂ）は（Ｙ７ａ）の画像パターンを反転させた反転パターン画像を示している。

図示されていなが、計測可能な解像度まで、例えばＸ座標およびＹ座標のｂｉｔ６から０にもそれぞれ対応したパターン画像および反転パターン画像が存在する。投影装置１０２はこれらパターンを含めた４０パターンを構造物１０３に順次投影する。撮像装置１０２は、投影されたパターン画像を順次撮像する。

次に、図３および４を参照しながら、演算装置１０３の構造、機能の詳細を説明する。

図３は演算装置１０３の機能ブロック構成の一例を示している。演算装置１０３は、投影システム全体を制御する機能を有している。演算装置１０３は、例えばコンピュータ、プロセッサに代表される演算装置、または半導体集積回路によって実現され得る。半導体集積回路とは、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡなどである。メモリに、各構成要素の機能を発揮するコンピュータプログラムが実装されており、半導体集積回路内のプロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能を実現してもよい。

演算装置１０３は、画像入力部４０１と、パターン復号部４０２と、フレームメモリ部４０３と、コード復号用メモリ部４０４と、座標変換部４０５と、座標変換用メモリ４０６と、座標補間部４０７と、コンテンツ生成部４０８と、コンテンツメモリ部４０９と、画像出力部４１０と、パターン生成部４１１とを有している。演算装置１０３内の各メモリ部は、例えばＲＡＭなどによって構成され得る。

図４は、本実施の形態による投影システム１００の動作フローチャートを示している。図４に示されるように、投影装置１０２は、期間２１１、２１３、２１５においてパターン光を投影し、期間２１２、２１４、２１６において映像光を投影する。つまり、投影装置１０２は、映像光およびパターン光を時分割多重化して投影する。なお、図中のマイクロミラーの「Ｐ」は計測のためのパターン画像を示し、「Ｖ」は投影画像としての映像コンテンツを示している。

まず、パターン生成部４１１は、期間２１１において、赤外ＬＥＤ光源１３２を点灯させる。パターン生成部４１１は、上述した方法によりパターン投影用のパターン画像を生成する。パターン生成部４１１は、デジタルマイクロミラーデバイス１２１において計測用のパターン投影を行うように、画像出力部４１０にパターン画像を示す画像データを出力する。画像出力部４１０は、パターン生成部４１１からの画像データと赤外ＬＥＤ光源１３２の点灯情報とを投影装置１０２に出力する。そのパターン画像を示すパターン光は赤外光として投影されるので、撮像装置１０１により計測されるが人間の視覚には影響を及ぼさない。

パターン生成部４１１は、１つのパターンを１／６０００秒で出力することができる。パターン生成部４１１は、期間２１１において、Ｘ座標およびＹ座標のそれぞれの１０ｂｉｔの座標画像とその反転画像との合計４０フレームを出力する。一方、撮像装置１０１は、デジタルマイクロミラーデバイス１２１のフレームを出力するレートと同期して４０フレームで撮像を行う。この例では期間２１１の長さは６．７ミリ秒である。

また、画像出力部４１０も、パターン生成部４１１の出力タイミングと同期して投影装置１０２にパターン画像を出力する。画像入力部４０１が、画像出力部４１０の出力タイミングと同期して撮像装置１０１の露光を制御することにより、４０フレームの撮像が行われる。

画像入力部４０１は、撮像装置１０１により撮像された撮像画像（撮像データ）を受信する。画像入力部４０１は、受信した撮像データをパターン復号部４０２に送信する。画像入力部４０１は、画像出力部４１０と同期しながら受信した撮像データに対応するパターンを判定する。

パターン復号部４０２は、撮像装置１０１からのパターン画像を示す撮像画像を、撮像座標系で規定される撮像座標に対応する投影座標を示す投影座標情報に復号する。以下、パターン復号部４０２の機能をより詳細に説明する。

パターン復号部４０２は、画像入力部４０１から受信した撮像データがＸおよびＹ座標の非ビット反転画像であれば、その撮像データをフレームメモリ部４０３に書き込む。パターン復号部４０２は、その画像データがＸおよびＹ座標のビット反転画像であれば、先にフレームメモリ部４０３に記録された非ビット反転画像を読み出しながら、両者の差分をとる。その差分を取ることにより、投影対象の色または環境光に依存することなく、投影光の「０」と「１」とを判別することができる。その差分が所定の値以下の領域を、投影光が投影されていない領域として判定し、その領域を計測対象領域から除外することができる。

コード復号用メモリ部４０４には、撮像装置１０１の画素毎に書き込み領域が設けられている。パターン復号部４０２は、差分をとった後、グレイコード化された座標データの各ビット値を、その書き込み領域にビット単位で書き込む。この操作が撮像装置１０１の露光時間の間に４０フレーム分実行される。これにより、撮像装置１０１の各画素に対応する、投影装置１０２のＸ座標およびＹ座標が存在するか否かを示す情報と、存在する場合のＸ座標およびＹ座標のそれぞれを示す１０ｂｉｔの値とが、コード復号用メモリ４０４に書き込まれる。パターン復号部４０２は最終的に、コード復号用メモリ部４０４に記録されたグレイコードの座標データをバイナリに再変換して座標変換部４０５に出力する。

これまでの処理により、撮像装置１０１のある画素位置に撮像された投影光が、投影装置１０２のどの画素から投影されたのかを知ることができる。つまり、投影座標と、撮像装置の撮像座標系で規定される撮像座標との対応関係を知ることができる。従って、撮像装置１０１と投影装置１０２との互いの位置関係が既知であれば撮像画素毎に構造物までの距離を三角法により得ることができる。しかしながら、得られる情報は、撮像装置１０１の撮像画素に対応した距離情報である。そのため、本実施の形態では、その情報を投影装置１０２の画素座標に対応した距離情報に変換する。

座標変換部４０５は、パターン復号部４０２から受信したデータを、投影装置１０２の投影座標に対応したアドレスで特定される座標変換用メモリ４０６の領域に書き込む。その後、座標変換部４０５は、座標変換用メモリ４０６から、距離情報を投影装置１０２のＸ座標およびＹ座標の順番で読み出すことにより、投影装置１０２の投影座標に対応した距離情報を生成する。

その際、対応点が存在しない投影画素が発生し得る。具体的には、構造物に投影されたパターン画像のうち、ある複数の画素に対応したそれぞれの光が、撮像装置１０１の１つの撮像画素によって撮像され得る。その場合、グレイコードの特性上、対応点が存在しない投影画素は隣接する２つの投影画素のどちらかの画素座標に丸め込まれるので、片側の投影画素は対応先のない状態となる。

座標補間部４０７は、座標変換部４０５から、投影装置１０２の投影座標に対応した距離情報を受信する。座標補間部４０７は、距離情報の存在しない投影座標に対して距離情報を補間する。これは、補間することが可能な距離情報を有する投影座標が一定数その周辺に存在する箇所に限り、周辺座標の距離情報から線形補間等の補間法を用いて行なわれる。座標補間部４０７は、投影座標に基づく距離情報をコンテンツ生成部４０８に出力する。

コンテンツ生成部４０８は、期間２１２と２１３とを跨いで投影用の映像コンテンツを生成する。コンテンツ生成部４０８は、コンテンツメモリ部４０９に予め記録されていた映像コンテンツを、座標補間部４０７から受信した距離情報に基づいて加工し、加工した映像コンテンツを画像出力部４１０に出力する。以下、加工された映像コンテンツを、予め記録された加工前の映像コンテンツと区別して、「加工後の映像コンテンツ」と称する場合がある。

コンテンツ生成部４０８は、座標ずれの無い、構造物までの距離に正確に対応した映像コンテンツを生成する。また、コンテンツ生成部４０８は、映像コンテンツの内容を距離情報に応じて選択的に決定することができる。例えば一定の距離にある物体だけを切り出して検知し、可視光投影用の映像コンテンツを正確に描画するなどの処理が可能となる。コンテンツ生成部４０８は、投影用の加工後の映像コンテンツを画像出力部４１０に出力する。

画像出力部４１０は、期間２１２および２１３において生成された可視光投影用の映像コンテンツを、期間２１４において投影装置１０２に出力する。

その後、可視光ＬＥＤ光源１３１が点灯され、デジタルマイクロミラーデバイス１２１によって映像コンテンツに対応した投影光が出力される。デジタルマイクロミラーデバイス１２１は、毎秒３００００のバイナリフレームを出力することができる。そのため、例えば８．５ミリ秒の間に２５５フレームを用いて２５６階調の画像を投影することが可能となる。この投影は可視光光源によってなされるので、人間に視認される。

期間２１３においては、投影用の映像コンテンツの生成と並行して、期間２１１と同様に赤外光によるパターン画像の投影と撮像とがなされる。期間２１４と２１５とを跨いで、コンテンツ生成部４０８は、座標ずれの無い、構造物までの距離に正確に対応した映像コンテンツを生成する。そして、期間２１６において、投影装置１０２は、投影用の映像コンテンツを投影する。このように、計測と投影と連続的に行うことが可能である。

計測と投影との繰り返しの周期は、計測時間（期間２１１）が６．７ミリ秒であり、投影時間（期間２１２）が８．５ミリ秒であれば、１５．２ミリ秒である。これは６０Ｈｚ以上のスループットで実現可能であることを意味している。また、計測からその計測結果を反映させるまでの時間（以下、「遅延時間」と称する。）を繰り返しの周期と同じ１５．２ミリ秒とすることができる。このように６０Ｈｚ以上のスループットを達成できるので、映像コンテンツが投影されない計測期間などの非表示時間に起因する投影画像のちらつきは人間の目に気にならないレベルまで十分に低減できる。なお、図４においては、遅延時間は、期間２１２および２１３の合算時間に相当する。

本実施の形態によれば、映像投影と計測とを同じ投影装置によって行うことにより、投影と計測とのずれの発生を原理的に抑制でき、かつ、可視光の映像に干渉しない幾何学計測の重畳を実現できる。

また、本実施の形態によれば、演算装置１０４が撮像装置１０１により撮像されたパターン画像をデコードできれば、相対的な位置計測には耐えることができる。そのため、設置の精度が十分に確保されなくても、実用に耐え得る。その点において、設置の簡易性を確保できる。また、経年劣化による設置関係の誤差拡大に対して高いロバスト性を得ることができる。

以下、本実施の形態の変形例を説明する。

本実施の形態では、Ｘ座標およびＹ座標の両方を利用した。しかしながら、本開示はこれに限定されず、視差が片方の軸方向にしか発生しないように撮像装置１０１と投影装置１０２とが配置されていれば、物体までの距離を算出する際に、利用するパターン画像を半減させることができる。

また、本実施の形態では、非特許文献１と同様に、ビット反転させたものを交互に伝送するマンチェスタ符号化方式を例示した。しかしながら、本開示はこの方式に限定されない。例えば、オール０のパターン画像とオール１のパターン画像とを基準としてパターン画像を予め生成した後に差分を求めれば、マンチェスタ符号化方式よりも少ない枚数で計測することができる。このような方式を採用すれば、期間２１１の時間をさらに短縮することができる。

また、非特許文献１の方式のように、全ての座標ビットを走査せずに、新しいビットを得る毎に距離情報を更新するような方式を採用すれば、期間２１１は２フレーム分の撮影に要する時間とすることができる。その結果、期間２１１の時間を３３３マイクロ秒とすることもできる。

計測からその計測結果を投影に反映させるまでには遅延が生じる。その遅延に関しても、本実施の形態では、期間２１２および期間２１３を跨いで撮像結果に基づいて投影用の映像コンテンツを生成し、期間２１４において加工後の映像コンテンツを投影した。しかし、期間２１１の間にコンテンツ生成も短時間で実施できれば、次の期間２１２において可視光投影でその結果を反映させることもできる。

例えば、本実施の形態では、物体までの距離を含めた３次元データとして計測結果を扱っている。ただし、計測結果を２Ｄデータとして扱い、単純に位置合わせを行う場合においても、本開示は非常に有用である。投影領域を単に決定するだけであれば、データ転送にあわせて閾値（例えば、物体までの距離に応じた閾値）を設けておくとよい。これにより、映像コンテンツを生成する時間を大幅に短縮できる。

映像コンテンツ（映像光）の投影に関しても、非特許文献２のようにフレーム全てを更新するのではなく、フレーム間にサブフィールドを設けて、サブフィールド単位で更新すればより短い時間で階調を表現できることが知られている。このような技術と本開示とを併用すれば全体としてのフレームレートをさらに向上させることができる。

従来の技術によれば、計算機アーキテクチャは、６０Ｈｚでの画像処理を基本とした描画システムを有している。投影装置とは異なる位置から撮像された撮像画像に基づいて、その計算機アーキテクチャ上で撮像装置の位置ずれに伴う視差を計算する場合、バッファリング含めて最低でも３３ミリ秒以上の遅延が発生し得る。その結果、例えば、従来の技術をボーリング場などに適用した場合、計測から投影までの間にボールは４９５ミリメートルも移動してしまい、従来の技術は実用に耐えない。

これに対して、本開示によれば、その構成次第で遅延をさらに減少させることも可能である。具体的には、１ミリ秒よりも短い遅延で計測結果を投影に反映させることもできる。例えば遅延が１ミリ秒程度であるシステムを組んだ場合、秒速１０メートルで移動する物体であっても計測と投影との誤差は１０ミリメートル以下に抑えることができる。計測対象を含めたシステムのダイナミクスを考慮すると精度と遅延とはトレードオフの関係になるので、実際にはその関係を踏まえてシステムを調整すればよい。

本開示は、インタラクティブ性を備えたプロジェクションマッピングシステムなどに最適である。例えばボーリング場においてボールの動きに合わせて映像コンテンツを投影するとき、ボールの速度は世界記録でも秒速１５メートル程度である。１ミリ秒以下の遅延で投影ができれば、映像コンテンツのずれ量は１５ミリメートル以下とすることができる。本実施の形態では計測結果が投影装置の投影座標系において得られるので、非常に高速に投影用の映像コンテンツを加工できる。

本実施の形態では、投影システム１００は、１つの撮像装置１０１を備えている。ただし、投影装置１０２の両側に少なくとも２つの撮像装置１０１を設置することにより、投影光は当たるが撮像できないオクルージョン領域を減らすことができる。

本実施の形態において、撮像装置１０１の設置位置、撮像方向およびズーム倍率の少なくとも１つを動的に変化させてもよい。また、解像度およびズーム倍率の少なくとも１つが異なる撮像装置、および／または物体までの距離が異なる撮像装置を追加することにより、計測の解像度を部分的に高めることができる。例えば、投影システム１００は、第１および第２の撮像装置を備えていてもよい。そのとき、第１の撮像装置は、第２の撮像装置と比べて、物体（構造物）により近い位置に配置され得る。

さらに赤外ＬＥＤ光源１３２を用いる代わりに、図７に示されるような従来の投影装置を用いることができる。この場合、計測のためのパターン光も可視光によって投影される。しかしながら、例えばマンチェスタ符号化の方式を利用する場合、全ての画素において０と１とが同量発生する。そのため、パターン光は人間の目には認識されず、映像光に一定のオフセットがかかったように視認される。その場合、オフセット分を可視光用の映像光から予め減算しておくことも可能である。これは、電子透かしなどの技術の一種であり、例えば可視光映像の視認性が良くない下位ビットに計測用のパターン画像を埋め込むことにより実現される。

特に、デジタルマイクロミラーデバイス１２１の代わりに液晶デバイスで代替する場合、下位ビットは特定のバイナリ画像のフレームではなく、各フレームのアナログ量として現れる。そのため、電子透かし技術により映像光にパターン光を重畳させることは重要である。

本実施の形態では、期間２１１において、撮像装置１０１によって、パターン画像と合わせて投影光の投影画像（映像コンテンツ）を第１の可視光画像として取得してもよい。その場合、仮にパターン光が可視光であっても、マンチェスタ符号化されたパターン画像を示す光の時間方向における積分値は必ず一定になる。そのため、白色光の投影と変わらず、可視光による投影画像の取得が可能である。さらに、期間２１２において撮像装置１０１により映像コンテンツを示す投影光を第２の可視光画像として撮像してもよい。第２の可視光画像から、投影先の構造物１０４が、その投影によってどのような色に変化したかを追従できる。

本実施の形態によれば、撮像座標系における撮像座標を投影座標系における投影座標に変換できる。そのため、可視光画像を用いて投影色の調整を行うとき、位置ずれなく投影光を投影できる。この際の可視光画像は第１の可視光画像および第２の可視光画像のいずれかをそのまま利用してもよいし、両方を合成してパターン成分の影響を軽減した画像を用いてもよい。

本開示は、商品展示が開催される分野でプロジェクションマッピングに有用である。例えば食材を鮮やかに見せたり、環境光に依存せずにカタログ通りに商品の色を再現したりすることに意義がある。投影対象である物体の形状および／または移動に合わせて位置ずれなく投影光を投影できる。

また、本開示は、３Ｄプリンタなどの光造形分野においても有用な技術である。その３Ｄプリンタは、紫外線用の投影機を用いて造形情報を示す紫外線を紫外線硬化樹脂に投影することにより光造形を行う。例えば、可視光ＬＥＤ光源１３１を紫外線光源に変更すれば、樹脂を硬化させない赤外線によって３Ｄ情報の計測を行ないながら、紫外線によって光造形を制御することができる。投影装置１０２の投影座標系での距離情報に基づいて造形物および材料樹脂の状態を得ることができるので、誤差の少ない細かな光造形の制御が可能となる。

また、さらなる応用例として、本開示によるシステムを自動車のヘッドライトに用いることも考えられる。自動車のヘッドライトの光は、例えば雨粒および光沢のある物体などで反射される。その反射光によって、運転者の目が眩むおそれがある。本開示のシステムによれば、３Ｄ計測によってピンポイントでそれら物体などへの投光をマスクすることによって、安全な視界を確保できる。歩行者および対向車に対しても顔（特に目）の部分への投光をマスクすることにより、人の目への影響を防止できる。

また、これとは逆に、標識および看板など、視認したい形状を認識して、ピンポイントでそれらに積極的に投光することもできる。

（実施の形態２）
図５を参照して、本実施の形態による投影システム１００の構成、機能および動作を説明する。

本実施の形態による投影システム１００は、投影装置１０２がダイクロイックプリズム８４１を有している点で、実施の形態１による投影装置１００とは異なる。以下、投影装置１０２の構造を中心に説明する。

図５は本実施の形態による投影システム１００の概略的な構成を示している。

本実施の形態による投影システム１００は、撮像装置１０１、投影装置１０２および演算装置１０３を備えている。投影装置１０２は、デジタルマイクロミラーデバイス１２１、１２１、可視光ＬＥＤ光源１３１、ダイクロイックプリズム８４１、赤外ＬＥＤ光源１３２、およびレンズ光学系１１１を含んでいる。

ダイクロイックプリズム８４１は、左右から入射する可視光と赤外光とを混合してレンズ光学系に混合光を出力する。

本実施の形態による撮像装置１０１は、赤外光にのみ実質的に感度を有するイメージセンサを含んでいることが好ましい。これにより、撮像装置１０１は混合光を受光しても、赤外光であるパターン光のみを撮像できる。

本実施の形態の投影装置１０２によれば、デジタルマイクロミラーデバイス１２１と赤外ＬＥＤ光源１３２との組み合わせにより距離計測用のパターン光を投影しつつ、同時刻において可視光ＬＥＤ光源１３１とデジタルマイクロミラーデバイス１２２との組み合わせにより可視光の投影光を投影することができる。換言すると、投影装置１０２は、映像光およびパターン光を波長多重化して投影する。なお、実施の形態１で説明したように、可視光ＬＥＤ光源１３１の出力にカラーホイールを取り付けることにより、または、赤青緑の三色用に３つの光源をそれぞれ設けることにより、フルカラーの映像を投影しても当然構わない。

さらに、３板式投影機のように赤青緑用に個別にデジタルマイクロミラーデバイス１２１および１２２の各々を設けてもよい。また、従来の３板のデジタルマイクロミラーデバイスに加えて、赤外用のデジタルマイクロミラーデバイスをさらに追加することにより、新規の４板式投影機を実現できる可能性がある。これにより、新たな産業分野が開拓されことが大いに期待される。

本実施の形態によれば、実施の形態１に比べて、デジタルマイクロミラーデバイスの数が増えるので、コストがその分増加する。しかしながら、混合光を利用して投影と計測とを完全同時に行える点で、遅延量をさらに減少させることができる。

本開示によれば、１つの投影装置を用いて計測と投影とを同時に行うことができる。また、投影装置の投影座標系において物体の位置を非常に高速に計測することができ、かつ、物体追従型のプロジェクションマッピングシステムを安価に構築できる。

以下、想定され得る本開示の応用例を説明する。

本開示は、例えばボーリング、ビリヤード、および体感型アトラクションなどの、動きを含んだアミューズメント用のインタラクティブなプロジェクションマッピングを含んだ照明演出に有用である。また、本開示は、イベント、コンサートにおける照明演出に有用である。また、本開示は、レストランまたはバーなどにおける客の動きに合わせた店内装飾演出などにも有用である。

さらに、本開示は、百貨店または商店などのショーケース、または商品展示の中で利用され得る。本開示は、商品の色彩が環境光に依存せずにカタログ通りになるように光量を調整するような装置にも応用できる。

他の応用例として、工場および流通などの分野において作業ガイドラインを作業スペースに投影するなどの用途にも本開示は最適である。３Ｄ光造形の分野、および自動車のヘッドライトなどのマシンビジョンの分野への応用も期待できる。

本開示の投影システム、および半導体集積回路は、プロジェクションマッピングシステムに利用できる。

１００ 投影システム
１０１ 撮像装置
１０２ 投影装置
１０３ 演算装置
１０４ 構造物
１１１ レンズ光学系
１２１、１２２ デジタルマイクロミラーデバイス
１３１ 可視光ＬＥＤ光源
１３２ 赤外ＬＥＤ光源
１４１ ダイクロイックミラー
４０１ 画像入力部
４０２ パターン復号部
４０３ フレームメモリ部
４０４ コード復号用メモリ部
４０５ 座標変換部
４０６ 座標変換用メモリ部
４０７ 座標補間部
４０８ コンテンツ生成部
４０９ コンテンツメモリ部
４１０ 画像出力部
４１１ パターン生成部
５０１ 可視光光源
５０２ 赤外光源
５０４ スリット
７０２ 計算装置
８４１ ダイクロイックプリズム

Claims (13)

1. 映像コンテンツを示す映像光と、投影座標系における投影座標をコード化した情報に対応するパターン画像を含むパターン光と、を投影する投影装置と、
   前記投影装置から物体に投影された前記パターン光を撮像して撮像画像を生成し、かつ、撮像座標系を有する少なくとも１つの撮像装置と、
   前記撮像装置から受け取る前記撮像画像に基づいて、前記撮像装置の前記撮像座標系を基準とした幾何学計測の結果を前記投影装置の前記投影座標系を基準とした結果に変換して、変換した結果を前記投影装置にリアルタイムでフィードバックする演算装置と、
   を備え、
   前記演算装置は、
   前記撮像画像を、前記撮像座標系における撮像座標に対応する前記投影座標を示す投影座標情報に復号し、
   前記投影座標情報を、前記投影座標系を基準として前記物体までの距離情報に変換し、
   前記距離情報に応じて、前記映像コンテンツの内容を決定し、
   前記パターン光は第１期間に投射される第１パターン光と第２期間に照射される第２パターン光とを含み、
   前記映像光は第３期間に投射される第１映像光と第４期間に照射される第２映像光とを含み、
   前記第３期間は前記第１期間に連続し、前記第２期間は前記第３期間に連続し、前記第４期間は前記第２期間に連続し、
   前記距離情報は、前記第１パターン光に基づいて決定される第１距離情報を含み、
   前記決定される映像コンテンツは、前記第３期間および前記第２期間において、前記第１距離情報に基づいて決定される第１映像コンテンツを含み、
   前記第２映像光は前記第１映像コンテンツを示す、投影システム。
2. 映像コンテンツを示す映像光と、投影座標系における投影座標をコード化した情報に対応するパターン画像を含むパターン光と、を投影する投影装置と、
   前記投影装置から物体に投影された前記パターン光を撮像して撮像画像を生成し、かつ、撮像座標系を有する少なくとも１つの撮像装置と、
   前記撮像装置から受け取る前記撮像画像に基づいて、前記撮像装置の前記撮像座標系を基準とした幾何学計測の結果を前記投影装置の前記投影座標系を基準とした結果に変換して、変換した結果を前記投影装置にリアルタイムでフィードバックする演算装置と
   を備え、
   前記演算装置は、
   前記撮像画像を、前記撮像座標系における撮像座標に対応する前記投影座標を示す投影座標情報に復号し、
   前記投影座標情報を、前記投影座標系を基準として前記物体までの距離情報に変換し、
   前記距離情報に応じて、前記映像コンテンツの内容を決定し、
   前記投影装置は、前記映像光および前記パターン光を波長多重化して、前記映像光と前記パターン光を同時刻に投影する、投影システム。
3. 前記投影装置は、前記映像光に前記パターン光を電子透かし法により重畳させて投影する、請求項１に記載の投影システム。
4. 前記映像光は可視光であり、前記パターン光は非可視光である、請求項２に記載の投影システム。
5. 前記非可視光は赤外光である、請求項４に記載の投影システム。
6. 前記映像光は紫外線硬化樹脂の硬化に作用を与える第一の波長を有し、前記パターン光は前記第一の波長とは異なる第二の波長である、請求項２に記載の投影システム。
7. 前記少なくとも１つの撮像装置の設置位置、撮像方向およびズーム倍率の少なくとも１つは動的に変化する、請求項１または２に記載の投影システム。
8. 前記少なくとも１つの撮像装置は、第１および第２の撮像装置を含み、
   前記第１および第２の撮像装置は、前記投影装置の両側に配置されている、請求項１または２に記載の投影システム。
9. 前記少なくとも１つの撮像装置は、第１および第２の撮像装置を含み、
   前記第１の撮像装置は、前記第２の撮像装置と比べて、前記物体により近い位置に配置されている、請求項１または２に記載の投影システム。
10. 前記演算装置は、前記撮像装置から前記撮像座標で特定される画素の第１の色情報を取得し、前記投影座標を用いて、前記第１の色情報に対応した前記投影画素の第２の色情報を決定する、請求項１または２に記載の投影システム。
11. 前記投影装置は前記映像光と前記パターン光を混合する光学混合器を含む、請求項２記載の投影システム。
12. 前記光学混合器はダイクロイックプリズムである請求項１１記載の投影システム。
13. 映像コンテンツを示す映像光、および投影座標系における投影座標をコード化した情報に対応するパターン画像を含むパターン光を投影する投影装置と、前記投影装置から物体に投影された前記パターン光を撮像して撮像画像を生成する少なくとも１つの撮像装置と、演算装置とを備える投影システムにおいて用いられる半導体集積回路であって、
    前記半導体集積回路は、前記撮像装置の前記撮像座標系を基準とした幾何学計測の結果を前記投影装置の前記投影座標系を基準とした結果に変換し、変換した結果を前記投影装置にリアルタイムでフィードバックするように構成されており、
    前記撮像画像を、撮像座標系における撮像座標に対応する前記投影座標を示す投影座標情報に復号するパターン復号部と、
    前記投影座標情報を、前記投影座標系を基準として前記物体までの距離情報に変換する座標変換部と、
    前記距離情報に応じて、前記映像コンテンツの内容を決定するコンテンツ生成部と、
    を備え、
    前記少なくとも１つの撮像装置は、前記撮像座標系を有し、前記投影装置から前記物体に投影された前記パターン光を撮像して撮像画像を生成し、
    前記パターン光は第１期間に投射される第１パターン光と第２期間に照射される第２パターン光とを含み、
    前記映像光は第３期間に投射される第１映像光と第４期間に照射される第２映像光とを含み、
    前記第３期間は前記第１期間に連続し、前記第２期間は前記第３期間に連続し、前記第４期間は前記第２期間に連続し、
    前記距離情報は第１パターン光に基づいて決定される第１距離情報を含み、
    前記決定される映像コンテンツは、前記第３期間および前記第２期間において、前記第１距離情報に基づいて決定される第１映像コンテンツを含み、
    前記第２映像光は前記第１映像コンテンツを示す、半導体集積回路。
    

Images