JP6132510B2 - 三次元映像獲得装置、及び三次元映像獲得装置における奥行き情報の算出方法 - Google Patents

Description

本発明は、三次元映像獲得装置、及び前記三次元映像獲得装置における奥行き情報を算出する方法に関する。

最近、奥行きのある映像を表示できる３Ｄディスプレイ装置の発展及び需要増加と共に、３Ｄコンテンツの重要性が高くなっている。これによって、一般のユーザが３Ｄコンテンツを直接制作できる３Ｄカメラのような三次元映像獲得装置が研究されている。かかる３Ｄカメラは、一回の撮影で既存の二次元カラー映像情報と共に奥行き情報も得なければならない。

被写体の表面と３Ｄカメラとの距離に関する奥行き情報は、二台のカメラを利用した両眼立体視法や、構造化光とカメラとを利用した三角測量法を利用して得られる。しかし、かかる方法は、被写体の距離が遠くなるほど、奥行き情報についての正確度が急激に低下し、被写体の表面状態に依存的であるので、精密な奥行き情報を得がたい。

かかる問題を改善するために、タイム・オブ・フライト(Time-of-Flight: TOF)法が導入された。ＴＯＦ技術は、照明光を被写体に照射した後、被写体から反射される光が受光部で受光されるまでの光の伝播時間を測定する方法である。ＴＯＦ技術によれば、発光ダイオード(Light-Emitting Diode: LED)またはレーザーダイオード(Laser Diode: LD)を含む照明光学系を利用して、特定の波長の光（例えば、８５０ｎｍの近赤外線）を被写体に投射し、被写体から反射された同じ波長の光を受光部で受光した後、奥行き情報を算出するための一連の処理過程を経る。かかる一連の光処理過程によって、多様なＴＯＦ技術が紹介されている。

しかし、前述したＴＯＦ法では、ノイズのない理想的な環境を仮定して、奥行き情報を算出する。しかし、３Ｄカメラを使用する場合、室内では照明、室外では太陽光などの外光が周辺に常に存在する。かかる外光は、カメラに入射されて、奥行き情報の算出過程でノイズとなる。

したがって、奥行き情報の算出過程でノイズとなる外光を除去する必要がある。

本発明の目的は、外光を除去して、奥行き情報を算出する方法及びその三次元映像獲得装置を提供することである。

本発明の一実施形態にかかる三次元映像獲得装置は、Ｎ個（ここで、Ｎは、３以上の自然数）の光が一定の時間間隔で順次、被写体に向けて投射されたときに、当該被写体から反射された光を変調させる光変調器と、前記光変調器により変調された光を撮影して、Ｎ個のサブ映像を生成する撮像素子と、前記Ｎ個のサブ映像を利用して、被写体との距離を表す奥行き情報を算出する信号処理部と、を備え、１個の前記サブ映像を生成する際に、前記撮像素子は、前記光の投射時間露光されて、前記変調された光を撮影し、他のサブ映像のための次の投射開始時刻までに撮影により生成した前記サブ映像を出力することを特徴とする。

前記Ｎ個の投射された光は、相異なる光であり、一つ以上の光源により発光されてもよい。

前記光変調器の駆動時間は、前記Ｎ個の光の投射時間にそれぞれ同期されてもよい。

前記駆動時間は、前記光の投射時間より短くてもよい。

前記撮像素子の露光時間は、前記駆動時間に同期されてもよい。

前記撮像素子のあらゆるピクセルは、前記光の投射時間の間、前記変調された光に露光されてもよい。

前記Ｎ個の光は、周期が同じであり、振幅と位相のうち少なくとも一つが相違なる周波数であってもよい。

前記光変調器は、同じ変調信号で反射光を変調してもよい。

前記Ｎ個の光は、同じ周期波であってもよい。

前記光変調器は、異なる変調信号で反射光を変調してもよい。

前記Ｎ個の光のうち、隣接した時間帯に投射される光の位相差は、３６０°をＮ個に等分した値であってもよい。

前記反射された光は、前記Ｎ個の光のうち、前記被写体から反射されるＮ個の反射光を含んでもよい。

前記撮像素子で生成されたＮ個のサブ映像は、前記Ｎ個の反射光と、順次、一対一マッチングされてもよい。

前記信号処理部は、前記Ｎ個のサブ映像に第１加重値をそれぞれ乗じた後で平均して第１平均映像を生成し、前記Ｎ個のサブ映像に第２加重値をそれぞれ乗じた後で平均して第２平均映像を生成し、前記第１及び第２平均映像から前記奥行き情報を算出してもよい。

前記奥行き情報は、第１平均映像と第２平均映像との比率についてのアークタンジェント値から算出されてもよい。

本発明の他の実施形態にかかる奥行き情報の算出方法は、Ｎ個（ここで、Ｎは、３以上の自然数）の光が一定の時間間隔で順次、被写体に向けて投射されたときに、当該被写体から反射された光を変調させるステップと、前記変調された光を撮影して、Ｎ個のサブ映像を生成するステップと、前記Ｎ個のサブ映像を利用して、被写体との距離を表す奥行き情報を算出するステップと、を含み、前記Ｎ個のサブ映像を生成するステップは、１個の前記サブ映像を生成するサブステップをＮ個含み、前記サブステップは、１個の前記サブ映像を生成する際に、前記光の投射時間露光されて、前記変調された光を撮影し、他のサブ映像のための次の投射開始時刻までに撮影により生成した前記サブ映像を出力する。

前記Ｎ個の投射された光は、相異なる光であり、一つ以上の光源により発光されてもよい。

前記光を変調させる光変調器の駆動時間は、前記Ｎ個の光の投射時間にそれぞれ同期されてもよい。

前記駆動時間は、前記光の投射時間より短くてもよい。

前記光を撮影する撮像素子の露光時間は、前記駆動時間に同期されてもよい。

前記撮像素子のあらゆるピクセルは、前記光の投射時間の間、前記変調された光に露光されてもよい。

前記Ｎ個の光は、周期が同じであり、振幅と位相のうち少なくとも一つが相異なる周期波であり、前記変調された光は、同じ変調信号で変調されてもよい。

前記Ｎ個の光は、同じ周期波であり、前記変調された光は、異なる変調信号で変調されてもよい。

前記Ｎ個の光のうち、隣接した時間帯に投射される光の位相差は、３６０°をＮ個に等分した値であってもよい。

前記生成されたＮ個のサブ映像は、前記Ｎ個の反射光と、順次、一対一マッチングされてもよい。

前記Ｎ個のサブ映像に第１加重値をそれぞれ乗じた後で平均して第１平均映像を生成し、前記Ｎ個のサブ映像に第２加重値をそれぞれ乗じた後で平均して第２平均映像を生成し、前記第１及び第２平均映像から前記奥行き情報を算出してもよい。

前記奥行き情報は、第１平均映像と第２平均映像との比率についてのアークタンジェント値から算出されてもよい。

本発明によれば、光の光投射時間と光変調器の駆動時間とを同期させて、外光が除去された反射光を獲得することができる。

また、撮像素子の露出時間も、光変調器の駆動時間と同期されて、外光が除去されたサブ映像を獲得することができる。

さらに、撮影されたサブ映像に対して単純に乗算及び加算のみを適用して、不規則なノイズを除去できるため、不規則なノイズを除去するのに必要なメモリ使用量及び演算量を大きく減少させることができる。

本発明の一実施形態にかかる三次元映像獲得装置を概略的に示す図である。 本発明の一実施形態にかかるＮ個の異なる反射光を変調した後、Ｎ個の異なるサブ映像を生成する過程を示す図である。 本発明の一実施形態にかかる一つの同じ投射光とＮ個の異なる光変調信号とで、Ｎ個の異なるサブ映像を生成する過程を示す図である。 投射光のデューティ比が１００％である場合の三次元映像を撮影するタイムチャートを示す図である。 投射光のデューティ比が２０％である場合の三次元映像を撮影するタイムチャートを示す図である。 本発明の一実施形態にかかる光源、光変調器及び撮像素子が同期して映像を撮影するタイムチャートを示す図である。 撮像素子のあらゆるピクセルが光変調器の単一駆動時間で露出されない場合、映像を撮影するタイムチャートを示す図である。 本発明の一実施形態にかかるＮ個の異なる映像から奥行き情報を算出する過程を概略的に示す図面である。 本発明の一実施形態にかかる加重値Ａ_ｋ，Ｂ_ｋを例示的に示す表である。 本発明の一実施形態にかかる奥行き情報の算出方法を説明するフローチャートである。

以下、添付された図面を参照して、本発明の実施形態を詳細に説明する。添付された図面に示す層や領域の幅及び厚さは、明細書の明確性のために多少誇張されて示される。詳細な説明の全体にわたって、同じ参照番号は、同じ構成要素を表す。

図１は、本発明の一実施形態にかかる三次元映像獲得装置１００を概略的に示す図である。図１を参照すれば、三次元映像獲得装置１００は、所定の波長を有する光を発生させる光源１０１と、被写体２００から反射された光を光変調させる光変調器１０３と、光変調器１０３により変調された光からサブ映像を生成する撮像素子１０５と、撮像素子１０５の出力に基づいて奥行き情報を算出し、奥行き情報が含まれた映像を生成する信号処理部１０６と、前記光源１０１、光変調器１０３、撮像素子１０５及び信号処理部１０６の動作を制御するための制御部１０７と、を備える。

また、三次元映像獲得装置１００は、被写体２００から反射された光のうち、所定の波長を有する光のみを透過させるフィルタ１０８をさらに備え、光変調器１０３の光入射面には、反射光を光変調器１０３の領域内に集光させる第１レンズ１０９、及び光変調器１０３と撮像素子１０５との間に変調されたサブ映像を撮像素子１０５の領域内に集光させる第２レンズ１１０がさらに配置される。

光源１０１は、例えば、安全のために人間の目には見えない約８５０ｎｍの近赤外線(Near Infrared: NIR)の波長を有する光を放出させる発光ダイオード(Light-Emitting Diode: LED)またはレーザーダイオード(Laser Diode: LD)であるが、波長の帯域及び光源１０１の種類は制限されない。

光源１０１から被写体２００に投射される投射光は、所定の周期を有する周期的な連続関数の形態を有する。例えば、投射光は、サイン波、ランプ波、四角波のように特殊に定義された波形を有してもよいが、定義されていない一般的な形態の波形を有してもよい。また、光源１０１は、制御部１０７の制御下で周期的に一定時間の間だけ光を被写体２００に集中して投射する。光が被写体２００に投射される時間を、光投射時間という。

光変調器１０３は、被写体２００から反射された光を制御部１０７の制御によって変調する。例えば、光変調器１０３は、所定の波形を有する光変調信号によって利得を変化させて、反射光のサイズを変調させる。このために、光変調器１０３は、可変利得を有する。

光変調器１０３は、距離による光の位相差または移動時間を識別するために、数十ないし数百ＭＨｚの高い変調速度で動作する。これに符合する光変調器１０３として、例えば、ＭＣＰ(Multi-Channel Plate)を備えるサブ映像増倍管、ＧａＡｓ系の固体光変調器１０３、電光(Electro-Optic)物質を利用した薄型の光変調器１０３などが使われる。図１には、光変調器１０３が透過型であると示されているが、反射型の光変調器を使用してもよい。

また、光変調器１０３も、光源１０１と同様に、一定時間の間駆動されて、被写体２００から反射された光を変調させる。光変調器１０３が駆動されて、光を変調させる時間を、光変調器の駆動時間という。光源１０１の光投射時間と光変調器１０３の駆動時間とは同期される。これにより、光変調器１０３の駆動時間は、光源１０１の光投射時間と同じであるか、または光源１０１の光投射時間より短い。

撮像素子１０５は、光変調器１０３により変調された反射光を制御部１０７の制御によって検出して、サブ映像を生成する役割を担う。被写体２００のある一点までの距離だけを測定しようとする場合、撮像素子１０５は、例えば、フォトダイオードや積分器のような単一の光センサーを使用することも可能である。しかし、被写体２００上の複数の点までの距離を同時に測定しようとする場合、撮像素子１０５は、複数のフォトダイオードまたは他の光検出器の二次元または一次元アレイを有してもよい。例えば、前記撮像素子１０５は、二次元アレイを有するＣＣＤ(Charge-Coupled Device)イメージセンサー、またはＣＭＯＳ(Complimentary Metal-Oxide Semiconductor)イメージセンサーであってもよい。撮像素子１０５は、反射光別にサブ映像を生成する。

信号処理部１０６は、撮像素子１０５の出力に基づいて奥行き情報を算出し、奥行き情報が含まれた三次元映像を生成する。信号処理部１０６は、例えば、専用の集積回路(Integrated Circuit: IC)で具現されてもよく、三次元映像獲得装置１００内に設置されたソフトウェアで具現されてもよい。ソフトウェアで具現される場合、信号処理部１０６は、別途、可搬性の記録媒体に保存されてもよい。

以下では、前述した構造を有する三次元映像獲得装置１００の動作を概略的に説明する。

まず、光源１０１は、制御部１０７の制御によって、所定の周期及び波形を有するＮ個の異なる投射光を順次に被写体２００に向けて投射する。ここで、Ｎは、３以上の自然数である。光源１０１は、Ｎ個の投射光を連続して順次に投射してもよく、一定の時間間隔でＮ個の投射光を順次に投射してもよい。

例えば、四つの異なる投射光を使用する場合、光源１０１は、時間Ｔ１の間投射光１を発生させて、被写体２００に投射し、次の時間Ｔ２の間投射光２を発生させて、被写体２００に投射し、時間Ｔ３の間投射光３を発生させて、被写体２００に投射し、次いで、時間Ｔ４の間投射光４を発生させて、被写体２００に投射する。このように、被写体２００に順次に投射される投射光は、サイン波のような特定の周期を有する連続関数の形態を有する。例えば、投射光１ないし４は、同じ周期及び波形を有しつつ、サイズまたは位相が異なる周期波であってもよい。

投射光が複数個である場合、隣接した時間帯で投射される投射光の位相差は、３６０／Ｎであり、各投射光の周期は、光源１０１の駆動時間より短い。光源１０１の駆動時間内に、Ｎ個の投射光がいずれも順次に被写体２００に投射される。

被写体２００に投射された投射光は、被写体２００の表面で反射された後、第１レンズ１０９に入射する。一般的に、被写体２００は、三次元映像獲得装置１００からの距離、すなわち、奥行きが異なる複数の表面を有する。図１には、説明の単純化のために、奥行きが異なる五つの表面Ｐ１〜Ｐ５を有する被写体２００が例示されている。奥行きが異なる五つの表面Ｐ１〜Ｐ５からそれぞれ投射光が反射されて、異なる時間分遅延された（すなわち、位相が異なる）五つの反射光がそれぞれ発生する。

例えば、投射光１が被写体２００の五つの表面Ｐ１〜Ｐ５からそれぞれ反射されて、位相が異なる五つの反射光１が発生し、投射光２が被写体２００の五つの表面Ｐ１〜Ｐ５からそれぞれ反射されて、位相が異なる五つの反射光２が発生し、同様に投射光Ｎも被写体２００の五つの表面Ｐ１〜Ｐ５からそれぞれ反射されて、位相が異なる五つの反射光Ｎが発生する。三次元映像獲得装置１００からの距離が最も遠い表面Ｐ１から反射された反射光は、基準となる位相から、Φ_Ｐ１ほどの位相遅延後に第１レンズ１０９に達し、三次元映像獲得装置１００からの距離が最も近い表面Ｐ５から反射された反射光は、Φ_Ｐ１より小さいΦ_Ｐ５ほどの位相遅延後に第１レンズ１０９に達する。

第１レンズ１０９は、反射光を光変調器１０３の領域内にフォーカシングする。第１レンズ１０９と光変調器１０３との間には、使用波長以外の背景光などの外光を除去するために、所定の波長を有する光のみを透過させるフィルタ１０８が配置される。例えば、光源１０１が約８５０ｎｍの近赤外線（ＮＩＲ）の波長を有する光を放出する場合、前記フィルタ１０８は、約８５０ｎｍの近赤外線の波長帯域を通過させる近赤外線帯域通過フィルタである。したがって、光変調器１０３に入射する光は、光源１０１から放出されて、被写体２００から反射された光が支配的となる。図１には、第１レンズ１０９と光変調器１０３との間にフィルタ１０８が配置されていると示されているが、第１レンズ１０９とフィルタ１０８との位置は互いに変わってもよい。例えば、フィルタ１０８を先に通過した近赤外線光が、第１レンズ１０９により光変調器１０３にフォーカシングされてもよい。

これにより、光変調器１０３は、所定の波形を有する光変調信号に反射光を変調する。説明の便宜上、被写体２００の五つの表面Ｐ１〜Ｐ５が、撮像素子１０５の五つの領域に区分されるピクセルに対応すると仮定する。光変調器１０３での利得波形の周期は、投射光の波形周期と同じである。図１に示す例において、光変調器１０３は、被写体２００の五つの表面Ｐ１〜Ｐ５からそれぞれ反射された五つの反射光１を変調して、撮像素子１０５に提供し、次いで、五つの反射光２ないし５の反射光Ｎを順次に変調して、撮像素子１０５に提供する。反射光は、光変調器１０３を通過しつつ、そのサイズが光変調信号を乗じた量ほど変調される。光変調信号は、その周期を投射光と同一にする。

光変調器１０３によりサイズが変調された光は、第２レンズ１１０を通過して、倍率調整及び再フォーカシングされた後、撮像素子１０５に達する。したがって、変調された光は、第２レンズ１１０により撮像素子１０５の領域内に集光される。撮像素子１０５は、光源１０１及び光変調器１０３と同期されて、前記変調された光を一定の時間受光することで、サブ映像を生成する。撮像素子１０５が露出されて、変調された光を受光する時間を、撮像素子１０５の露光時間という。

以下、Ｎ個の反射光からＮ個のサブ映像を生成する方法について説明する。

図２は、本発明の一実施形態によるＮ個の異なる反射光を変調した後、Ｎ個の異なるサブ映像を生成する過程を示す図である。

撮像素子１０５は、図２の（Ａ）で表示されたように、被写体２００の五つの表面Ｐ１〜Ｐ５からそれぞれ反射された後、変調された五つの反射光１を所定の露光時間受光して、サブ映像１を生成する。次いで、図２の（Ｂ）で表示されたように、撮像素子１０５は、被写体２００の五つの表面Ｐ１〜Ｐ５からそれぞれ反射された後、変調された五つの反射光２を所定の露光時間受光して、サブ映像２を生成する。かかる過程を反復して、最後に、図２の（Ｃ）で表示されたように、撮像素子１０５は、被写体２００の五つの表面Ｐ１〜Ｐ５からそれぞれ反射された後、変調された五つの反射光Ｎを所定の露光時間受光して、サブ映像Ｎを生成する。かかる方式により、図２の（Ｄ）で表示されたように、Ｎ個の異なるサブ映像が順次に得られる。

このように得たそれぞれのサブ映像１〜Ｎは、奥行き情報を有する一つのフレームの映像を生成するためのサブフレーム映像である。例えば、一つのフレームの周期をＴ_ｄとするならば、Ｎ個のサブ映像１〜Ｎのそれぞれを得るための撮像素子１０５の露光時間は、約Ｔｄ／Ｎである。

一方、図２では、Ｎ個の異なる投射光と反射光とを使用して、異なるＮ個のサブ映像を生成する場合について説明した。しかし、あらゆるサブ映像で同じ投射光を使用し、それぞれのサブ映像ごとに光変調器１０３が異なる利得波形で反射光を変調することも可能である。

図３は、本発明の一実施形態にかかり、一つの同じ投射光とＮ個の異なる光変調信号とで、Ｎ個の異なるサブ映像を生成する過程を示す図である。図３を参照すれば、被写体２００から反射された反射光は、あらゆるサブ映像で同じ波形と位相とを有する。各サブ映像の反射光には、前述したように、被写体２００の表面Ｐ１〜Ｐ５によって異なる位相遅延Φ_Ｐ１〜Φ_Ｐ５が存在する。図３の（Ａ）ないし（Ｃ）にそれぞれ示すように、光変調器１０３は、光変調信号１を用いて反射光を変調し、光変調器１０３は、光変調信号１と異なる光変調信号２を用いて反射光を変調し、光変調器１０３は、さらに異なる光変調信号Ｎを用いて反射光を変調する。ここで、光変調信号１〜Ｎは、完全に異なる波形の信号であってもよいが、周期と波形とは同じであり、単に位相のみが異なる信号であってもよい。これにより、図３の（Ｄ）に示すように、撮像素子１０５は、異なるＮ個のサブ映像１〜Ｎが得られる。

以下では、信号波形を利用して、サブ映像を生成する方法について説明する。

説明の便宜上、光源１０１がＮ個の異なる投射光を被写体２００に投射し、光変調器１０３が一つの同じ光変調信号を使用する実施形態を中心に記述する。しかし、一つの同じ投射光とＮ個の異なる光変調信号とを使用する場合にも、以下の理論的な説明は同様に適用される。また、撮像素子１０５の出力が二次元アレイサブ映像である場合でも、それぞれの画素に適用される奥行き情報の算出方法は同一であるので、一つの画素に適用される方法のみを説明する。ただし、二次元アレイサブ映像で複数の画素から奥行き情報を同時に算出する場合に、データ管理及びメモリ割り当てなどを効率的に処理して、重複処理する部分を省略することで、計算量を減らすことができる。

まず、周期Ｔ_ｅを有する一般的な投射光の波形Ｐ_ｅは、次の数式１のように表現される。

前記のような投射光が被写体２００から反射された後、位相差Φ_ＴＯＦを有して三次元映像獲得装置１００に戻る反射光の波形Ｐ_ｒは、次の数式２のように表現される。

光変調器１０３を通過して撮像素子１０５に達する光の波形は、数式２の反射光と数式３の光変調信号とを乗じた値である。したがって、撮像素子１０５に達する光の瞬間的な波形Ｉ_{ｉｎｓｔ．}は、次の数式４のように表現される。

撮像素子１０５は、所定の露光時間Ｔの間入射光を受光して、サブ映像を生成する。したがって、撮像素子１０５で生成されたサブ映像は、数式４で表現された瞬間的な波形を時間Ｔの間に積分したものと同じである。ここで、露光時間Ｔは、サブフレームの周期と同じである。例えば、秒当たり３０フレームの速度で撮影し、各フレーム当たりＮ個のサブフレームが存在する場合、露光時間Ｔは、約０．０３３／Ｎ秒となる。撮像素子１０５の感度によって、撮像素子１０５に達する光量と撮像素子１０５の出力値との間に、所定の変換比率が存在するが、便宜上、それを単純化して、撮像素子１０５のサブ映像Ｉ^（ｓ）は、下記の数式５で定義される。

前記数式５に表示されたように、出力サブ映像Ｉ^（ｓ）には、外光成分が存在する。外光は、太陽光や照明灯として基本的に常時均一な量で存在する特徴がある。一方、光源１０１の投射光は、その波形を任意に調節可能である。これにより、光源１０１と光変調器１０３とを同期させて、投射光を一定の時間集中して投射させ、前記一定の時間光変調器１０３が駆動されて反射された光を光変調させる。そして、投射光が投射されていない時間区間では、光変調器１０３が駆動せず、最小の透過率を維持することで、撮像素子１０５に外光が受光されることを防止できる。これにより、数式５の外光成分が減る。ここで、投射光の投射時間と投射光が投射されていない時間との比率をデューティ比と称する。デューティ比が１００％未満である場合、光は、不連続的に投射される。

図４Ａは、投射光のデューティ比が１００％である場合の三次元映像を撮影するタイムチャートを示す図であり、図４Ｂは、投射光のデューティ比が２０％である場合の三次元映像を撮影するタイムチャートを示す図である。図４Ａ及び図４Ｂには、四つの投射光によって、光源、光変調器及び撮像素子が動作する。光源から出力される光は、赤外線光と仮定し、同じ光量が光変調器１０３に入射されるように、図４Ｂでの光源１０１は、一定時間の間だけ瞬間出力を高めて、光を被写体２００に向けて投射すると仮定する。ただし、図面での外光と赤外線光とのサイズは、例示的なものであり、これに限定されない。デューティ比が１００％である場合の赤外線光が、外光より大きくてもよい。例えば、室内、曇った天気、暗い所などでは、赤外線光が外光より大きく、海浜または晴天などでは、外光が赤外線光より大きい。

図４Ａにおいて、光変調器１０３は、光源１０１の光投射時間と同期されて、被写体２００から反射された光を光変調させる。そして、撮像素子１０５は、光変調された光を利用して、サブ映像を生成する。光変調器１０３に入射された光は、光源１０１から投射されて、被写体２００から反射された光だけでなく、外光も含むため、光変調器１０３は、外光を含む光を光変調させ、撮像素子１０５が生成したサブ映像にも外光成分が含まれる。

一方、図４Ｂでの光源１０１は、一定時間の間だけ瞬間出力を高めて、光を被写体２００に向けて投射する。そして、光変調器１０３の駆動時間は、光源１０１の光投射時間と同期されて、被写体２００から反射された光を光変調させ、光が投射されていない時間には駆動せず、最小の透過率を維持することで、外光の流入を遮断させる。結果として、撮像素子１０５で撮影された外光成分は減り、光源１０１の投射光成分が維持される。これにより、投射光のデューティ比が１００％から２０％に減る時、外光成分も１／５に減少し、外光成分に対するＳ／Ｎ比は、５倍向上する。

このように、外光成分を減らすために、光源は、１００％未満のデューティ比で光を投射しなければならない。そして、光変調器１０３の駆動時間は、光投射時間と同期されると共に、光変調器１０３は、数十ないし数百ＭＨｚの高い変調速度で動作しなければならない。これに符合する光変調器１０３として、例えば、ＭＣＰを備えるサブ映像増倍管、ＧａＡｓ系の固体の光変調器１０３、電光物質を利用した薄型の光変調器１０３などが使われる。

一方、本発明に適用される撮像素子１０５は、グローバルシャッタとして動作するか、ローリングシャッタとして動作する。ここで、グローバルシャッタの動作原理は、一つのサブ映像の生成時、あらゆるピクセルが同時に露出される。したがって、それぞれのピクセル間の露光時刻差がない。一方、ローリングシャッタの動作原理は、一つのサブ映像の生成時、各ピクセルが順次に露出される。したがって、各ピクセル間の露光時刻差がある。

撮像素子１０５の露光時間も、光源１０１の光出射時間及び光変調器１０３の駆動時間と同期される。撮像素子１０５がグローバルシャッタとして動作する場合、制御部１０７は、撮像素子１０５の露出時間を光変調器１０３の駆動時間に同期させる。そして、撮像素子１０５がローリングシャッタとして動作する場合にも、撮像素子１０５のあらゆるピクセルに対する露光時間が、光変調器１０３の駆動時間以上であれば、制御部１０７は、撮像素子１０５の露光時間を光変調器１０３の駆動時間に同期させる。

図５は、本発明の一実施形態による光源１０１、光変調器１０３及び撮像素子１０５が同期して、映像を撮影するタイムチャートを示す図である。図５では、便宜上、位相差が異なる四つの投射光によって映像を撮影する方法が示されている。

図５に示すように、撮像素子１０５がローリングシャッタとして動作する場合、ライン別に撮像素子１０５の露光時間及び出力(read out)時間が異なる。すなわち、撮像素子１０５は、各ライン別に時間遅延をおいてサブ映像が撮影及び出力される。

図５において、光源１０１の光投射時間、光変調器１０３の駆動時間、及び撮像素子１０５の露光時間は、互いに同期されており、撮影素子１０５のあらゆるピクセルが露光時間で露光される。これにより、撮像素子１０５で出力されるＮ個のサブ映像それぞれは、Ｎ個の反射光と順次に一対一マッチングされる。

一方、光変調器１０３の単一駆動時間が、撮像素子１０５内のあらゆるピクセルの共通露光時間より短い場合、光変調器１０３の単一駆動時間で、撮像素子１０５のあらゆるピクセルが露光されていない。

図６は、撮像素子１０５のあらゆるピクセルが、光変調器１０３の単一駆動時間で露光されない場合に、映像を撮影するタイムチャートを示す図である。図６では、便宜上、位相差が異なる四つの投射光によって映像を撮影する方法が示されている。

図６に示すように、撮像素子１０５のピクセル領域が、光変調器１０３の単一駆動時間にいずれも露光されていない。これにより、Ｎ個の反射光それぞれは、撮像素子１０５で出力されるサブ映像とラインで順次に一対一マッチングされていない。この場合、信号処理部１０６は、光変調器１０３で各ライン別に出力されるラインサブ映像Ｉ_１´，Ｉ_２´，Ｉ_３´，Ｉ_４´を、Ｎ個の反射光０°，９０°，１８０°，２７０°と一対一マッチングされるラインサブ映像Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４に変換させる。

このために、信号処理部１０６は、下記の数式６のような変換マトリックスを、光変調器１０３で各ライン別に出力されるラインサブ映像に適用する。下記の数式６は、四つの反射光に係わる四つのラインサブ映像 Ｉ_１´，Ｉ_２´，Ｉ_３´，Ｉ_４´を変換させる４＊４変換マトリックスが示されている。Ｎ個のラインサブ映像には、Ｎ＊Ｎ変換マトリックスが適用されることはいうまでもない。

ここで、ｋは、撮像素子１０５のラインを表し、Ａ_ｉｊは、変換値であって、撮像素子１０５の露光時間とサブ映像の出力時間とによって既に定義されて既に保存された値である。

例えば、図６において、最初のラインの変換式は、下記の数式７の通りである。

最後の１２３８番目のラインの変換式は、下記の数式８の通りである。

変換マトリックスにより変換されたサブ映像Ｉ^（ｓ）は、前記数式５に適用される。

Ｎ個のラインサブ映像それぞれがＮ個の位相差と一対一マッチングされた後、信号処理部１０６は、ラインサブ映像それぞれをライン別に結合して、Ｎ個のサブ映像を生成する。これにより、信号処理部１０６は、Ｎ個のサブ映像から奥行き情報を算出する。

図７は、本発明の一実施形態によるＮ個の異なる映像から奥行き情報を算出する過程を概略的に示す図である。図７を参照すれば、信号処理部１０６は、Ｎ個のサブ映像にそれぞれ加重値Ａ_１〜Ａ_Ｎを乗じ、それらの加重されたサブ映像を平均して、一つの第１平均映像Ｖを生成する。そして、信号処理部１０６は、同じＮ個のサブ映像に他の加重値Ｂ_１〜Ｂ_Ｎをそれぞれ乗じ、それらの加重されたサブ映像を平均して、第１平均映像Ｖとは異なる第２平均映像Ｕを生成する。

本発明に適用される加重値Ａ_１〜Ａ_Ｎ，Ｂ_１〜Ｂ_Ｎは、サブ映像の個数Ｎによって定義されており、予め保存されている。例えば、加重値Ａ_ｋ，Ｂ_ｋは、下記の数式９Ａ、９Ｂの通りである。

前記数式９Ａ、９Ｂにおいて、ｉ，ｊは、自然数１ないしＮのうちｋを除いたいずれか一つの数（ｉ≠ｋ，ｊ≠ｋ）であり、ａ^（ｉ）は、投射光ｉのサイズであり、位相θ^（ｉ）は、投射光ｉの位相差である。

かかる加重値Ａ_ｋ，Ｂ_ｋは、既定の投射光のサイズａ^（ｉ）及び位相θ^（ｉ）を利用して数値化した後、三次元映像獲得装置１００の動作時に奥行き情報を算出するために使用される。

図８は、本発明の一実施形態による加重値Ａ_ｋ，Ｂ_ｋを例示的に示す表である。

図８の表において、投射光のサイズは、あらゆる場合について同一であると仮定し、位相は、３６０°を均等にＮ等分して決まると仮定した。例えば、Ｎ＝３の場合、位相θ^（１）、θ^（２）、θ^（３）は、それぞれ０°、１２０°、２４０°である。

図８の表のように、あらかじめ計算された加重値が、三次元映像獲得装置１００のメモリ（図示せず）内に保存されている場合、信号処理部１０６は、奥行き情報を算出する度に加重値を新たに計算する必要がない。撮影されたサブ映像の個数によって、信号処理部１０６は、メモリから適切な加重値を読み込んで、それぞれのサブ映像に乗じる演算のみを行えばよい。したがって、奥行き情報のリアルタイム算出が可能である。また、不規則なノイズを除去するのに必要なメモリ使用量及び演算量を大きく減少させるので、三次元映像獲得装置１００のサイズ及び製造コストを低減させることができる。

図８の表には、一つの組み合わせの投射光のサイズ及び位相に係わる加重値が例示されているが、実際使用時、多様な組み合わせの投射光のサイズ及び位相に係わる加重値の組み合わせをあらかじめ計算しておいてもよい。これにより、奥行き情報を算出する時、信号処理部１０６は、使われた投射光のサイズと位相との組み合わせ、及び撮影されたサブ映像の個数に対応する組み合わせの加重値をメモリから読み込む。ここで、メモリは、制御部１０７内に、または信号処理部１０６内にあっても、それらと分離された別途の保存装置であってもよい。

前記のような加重値を利用すれば、複雑な平均化アルゴリズムを行わなくても、乗算及び加算のみを利用した加重平均化方式で、不規則なノイズが除去された奥行き情報を求めることが可能である。
そして、信号処理部１０６は、第１平均映像Ｖと第２平均映像Ｕとの比率Ｖ／Ｕについてのアークタンジェント（ａｒｃｔａｎ＝ｔａｎ^−１）の値から奥行き情報を算出する。奥行き情報ｄｅｐｔｈは、下記の数式１０の通りである。

前記数式１０において、Ｃは、光の速度であり、Ｔｅは、投射光の波形の周期である。

一方、図７に、信号処理部１０６は、Ｎ個のサブ映像をそれぞれ得た後、一つのフレームの映像についての奥行き情報を算出し、次いで、再びＮ個の新たなサブ映像をそれぞれ得た後、次のフレームの映像についての奥行き情報を算出するものとした。しかし、これに限定されない。信号処理部１０６は、フレームの映像ごとに奥行き情報を更新することも可能である。

例えば、最初のＮ個のサブ映像で得たＮ個のサブ映像から奥行き情報を算出する方式は、図３に示す方式と同じである。次いで、サブ映像Ｎ＋１を得れば、サブ映像１を除去し、サブ映像２ないしサブ映像Ｎ＋１を利用して、前述した加重平均化方式により、奥行き情報を新たに算出する。同様に、サブ映像Ｎ＋２を得れば、サブ映像２を除去し、サブ映像３ないしサブ映像Ｎ＋２を利用して、奥行き情報を新たに算出する。このように、先入れ先出し(First-In First-Out: FIFO)方式によりメモリ内にＮ個のサブ映像を維持しつつ、サブ映像ごとに新たな奥行き情報を算出することも可能である。

また、新たなサブ映像を一つずつ追加すると共に、既存のサブ映像を一つずつ除去する方法について説明したが、複数の新たなサブ映像を追加すると共に、同数の既存のサブ映像を除去してもよい。例えば、Ｎ個未満の新たなサブ映像を追加し、同数の最も古いサブ映像を除去しつつ、全体的にＮ個のサブ映像を維持することも可能である。

または、第１平均映像Ｖ及び第２平均映像Ｕを算出するにあたって、信号処理部１０６は、下記の数式１１Ａ、１１Ｂのような再帰的合算を利用して、第１平均映像Ｖ及び第２平均映像Ｕを算出することも可能である。

この時、信号処理部１０６は、Ｎ番目のサブ映像が撮影された時点で、第１平均映像Ｖ_ｎ及び第２平均映像Ｕ_ｎをアップデートし、Ｎ−１番目のサブ映像が撮影された時点で生成された第１平均映像Ｖ_ｎ−１及び第２平均映像Ｕ_ｎ−１を削除する。前記のように再帰的合算により第１平均映像及び第２平均映像を生成すれば、Ｎ個のサブ映像をいずれも保存する必要がないので、メモリ空間を節約できる。前記メモリ空間は、奥行き情報が含まれたサブ映像が百万ピクセル以上の高解像度へ行くほど問題となる。

本実施形態では、ピクセルが二次元アレイ形態で配列された撮像素子１０５で、サブ映像を生成する方法について説明した。しかし、本サブ映像の生成方法は、ピクセルが一次元アレイであるか、単一ピクセルであるかに関係なく適用される。

図９は、これまで説明した奥行き情報の算出方法を整理して説明するフローチャートである。図９を参照すれば、まず、光源１０１は、制御部１０７により駆動されつつ、Ｎ個の異なる投射光を被写体２００に順次に投射する（Ｓ１）。ここで、Ｎは、３以上の自然数である。Ｎ個の異なる投射光は、周期が同じであり、サイズまたは位相が異なる波形を有する。Ｎ個の投射光は、被写体２００の表面から反射された後、Ｎ個の異なる反射光として光変調器１０３に順次に入射される。これにより、光変調器１０３は、駆動時間が光源１０１の光投射時間と同期されて、被写体２００の表面から反射されたＮ個の異なる反射光を、それぞれ所定の利得波形を有する光変調信号を用いて変調する（Ｓ２）。ここで、光変調信号は、投射光と同じ周期を有する周期波である。このように、光源１０１の光投射時間と光変調器１０３の駆動時間とが同期されて、一定時間の間だけ光が投射され、投射された光を変調させれば、変調後の光に含まれる外光が最小化される。

撮像素子１０５は、変調されたＮ個の反射光をそれぞれ順次に撮影して、Ｎ個のサブ映像を生成する（Ｓ３）。撮像素子１０５の露光時間も、光変調器１０３の駆動時間と同期される。このように生成されたＮ個のサブ映像は、信号処理部１０６に伝達される。

一方、撮像素子１０５で生成されたＮ個のサブ映像は、Ｎ個の反射光と順次に一対一マッチングされる。しかし、Ｎ個のサブ映像がＮ個の反射光と順次に一対一マッチングされていない場合、信号処理部１０６は、ライン別にＮ個のサブ映像を変換させて、ライン別のＮ個のサブ映像それぞれをＮ個の反射光と一対一マッチングさせる。

信号処理部１０６は、あらかじめ用意されている所定の加重値Ａ_ｋ，Ｂ_ｋをメモリ（図示せず）から読み込む（Ｓ４）。前述したように、前記加重値Ａ_ｋ，Ｂ_ｋは、使われた投射光の個数Ｎ、投射光のサイズ及び投射光の位相によって決定される。メモリには、投射光の個数Ｎ、投射光のサイズ及び投射光の位相に対する多様な組み合わせによる多様な加重値Ａ_ｋ，Ｂ_ｋがあらかじめ計算されて保存されている。信号処理部１０６は、メモリに保存されている多様な加重値Ａ_ｋ，Ｂ_ｋのうち、実際に使われた投射光の個数Ｎ、投射光のサイズ及び投射光の位相に対応する加重値を検索して読み込む。

信号処理部１０６は、Ｎ個の反射光と一対一マッチングされたＮ個のサブ映像に、それに対応する第１加重値Ａ_ｋをそれぞれ乗じて平均して、第１平均映像Ｖを算出する（Ｓ５）。同様に、信号処理部１０６は、Ｎ個のサブ映像に、それに対応する第２加重値Ｂ_ｋをそれぞれ乗じて平均して、第２平均映像Ｕを算出する（Ｓ６）。次いで、信号処理部１０６は、第１平均映像Ｖと第２平均映像Ｕとの比率Ｖ／Ｕについてのアークタンジェント値から、三次元映像獲得装置１００から被写体２００までの距離である奥行き情報を算出する（Ｓ７）。かかる本発明の一実施形態によれば、サブ映像の個数Ｎが増加するとしても、第１平均映像Ｖと第２平均映像Ｕとを算出するための乗算及び加算のみが比例的に増加するため、演算量の増加が非常に小さい。したがって、不規則なノイズが除去された非常に正確な奥行き情報を、比較的少ない演算量で求めることができる。

図９のフローチャートでは、Ｎ個の異なる投射光を使用する実施形態を中心に説明したが、前述したように、Ｎ個の同じ投射光を使用する代わりに、Ｎ個の異なる光変調信号を使用することも可能である。例えば、Ｎ個の異なる光変調信号は、周期と波形とが同じであり、サイズまたは位相が異なる周期波であってもよい。この場合にも、撮像素子１０５からＮ個の異なるサブ映像が得られ、以後の奥行き情報を算出する過程は、同一に適用される。ただし、第１及び第２加重値は、光変調信号のサイズ及び光変調信号の位相によって決定される。

一方、前述した演算を行って、不規則なノイズが除去された奥行き情報を計算する信号処理部１０６は、前述したように、専用の集積回路（ＩＣ）で具現されてもよく、個人用コンピュータのような一般的なコンピュータ装置内に設置されたソフトウェアで具現されてもよい。ソフトウェアで具現される場合、信号処理部１０６は、コンピュータにより実行可能な形式で別途の移動可能な記録媒体に保存されてもよい。

以上、本発明の理解を助けるために、三次元映像獲得装置、及び前記三次元映像獲得装置における奥行き情報を算出する方法についての例示的な実施形態が説明され、添付された図面に示された。しかし、かかる実施形態は、単に本発明を例示するためのものであり、これを制限しないという点が理解されなければならない。そして、本発明は、図示されて説明された内容に限定されないという点が理解されなければならない。これは、多様な他の変形が当業者にとって行われるためである。

本発明は、例えば、３Ｄディスプレイ関連の技術分野に適用可能である。

１００ 三次元映像獲得装置、
１０１ 光源、
１０３ 光変調器、
１０５ 撮像素子、
１０６ 信号処理部、
１０７ 制御部、
１０８ フィルタ、
１０９ 第１レンズ、
１１０ 第２レンズ、
２００ 被写体。

Claims (27)

1. Ｎ個（ここで、Ｎは、３以上の自然数）の光が一定の時間間隔で順次、被写体に向けて投射されたときに、当該被写体から反射された光を変調させる光変調器と、
   前記光変調器により変調された光を撮影して、Ｎ個のサブ映像を生成する撮像素子と、
   前記Ｎ個のサブ映像を利用して、被写体との距離を表す奥行き情報を算出する信号処理部と、を備え、
   １個の前記サブ映像を生成する際に、前記撮像素子は、前記光の投射時間露光されて、前記変調された光を撮影し、他のサブ映像のための次の投射開始時刻までに撮影により生成した前記サブ映像を出力することを特徴とする三次元映像獲得装置。
2. 前記Ｎ個の投射された光は、相異なる光であり、一つ以上の光源により発光されることを特徴とする請求項１に記載の三次元映像獲得装置。
3. 前記光変調器の駆動時間は、前記Ｎ個の光の投射時間にそれぞれ同期されることを特徴とする請求項１又は２に記載の三次元映像獲得装置。
4. 前記駆動時間は、前記光の投射時間より短いことを特徴とする請求項３に記載の三次元映像獲得装置。
5. 前記撮像素子の露光時間は、前記駆動時間に同期されることを特徴とする請求項３又は４に記載の三次元映像獲得装置。
6. 前記撮像素子のあらゆるピクセルは、前記光の投射時間の間、前記変調された光に露光されることを特徴とする請求項３〜５のいずれか１項に記載の三次元映像獲得装置。
7. 前記Ｎ個の光は、周期が同じであり、振幅と位相のうち少なくとも一つが相異なる周期波であることを特徴とする請求項１〜６のいずれか１項に記載の三次元映像獲得装置。
8. 前記光変調器は、同じ変調信号で反射光を変調することを特徴とする請求項７に記載の三次元映像獲得装置。
9. 前記Ｎ個の光は、同じ周期波であることを特徴とする請求項１〜６のいずれか１項に記載の三次元映像獲得装置。
10. 前記光変調器は、異なる変調信号で反射光を変調することを特徴とする請求項９に記載の三次元映像獲得装置。
11. 前記Ｎ個の光のうち、隣接した時間帯に投射される光の位相差は、３６０°をＮ個に等分した値であることを特徴とする請求項１〜１０のいずれか１項に記載の三次元映像獲得装置。
12. 前記反射された光は、前記Ｎ個の光のうち、前記被写体から反射されるＮ個の反射光を含むことを特徴とする請求項１〜１１のいずれか１項に記載の三次元映像獲得装置。
13. 前記撮像素子で生成されたＮ個のサブ映像は、前記Ｎ個の反射光と、順次、一対一マッチングされることを特徴とする請求項１〜１２の何れか１項に記載の三次元映像獲得装置。
14. 前記信号処理部は、
    前記Ｎ個のサブ映像に第１加重値をそれぞれ乗じた後で平均して第１平均映像を生成し、前記Ｎ個のサブ映像に第２加重値をそれぞれ乗じた後で平均して第２平均映像を生成し、前記第１及び第２平均映像から前記奥行き情報を算出することを特徴とする請求項１〜１３の何れか１項に記載の三次元映像獲得装置。
15. 前記奥行き情報は、第１平均映像と第２平均映像との比率についてのアークタンジェント値から算出されることを特徴とする請求項１４に記載の三次元映像獲得装置。
16. Ｎ個（ここで、Ｎは、３以上の自然数）の光が一定の時間間隔で順次、被写体に向けて投射されたときに、当該被写体から反射された光を変調させるステップと、
    前記変調された光を撮影して、Ｎ個のサブ映像を生成するステップと、
    前記Ｎ個のサブ映像を利用して、被写体との距離を表す奥行き情報を算出するステップと、を含み、
    前記Ｎ個のサブ映像を生成するステップは、１個の前記サブ映像を生成するサブステップをＮ個含み、
    前記サブステップは、１個の前記サブ映像を生成する際に、前記光の投射時間露光されて、前記変調された光を撮影し、他のサブ映像のための次の投射開始時刻までに撮影により生成した前記サブ映像を出力することを特徴とする奥行き情報の算出方法。
17. 前記Ｎ個の投射された光は、相異なる光であり、一つ以上の光源により発光されることを特徴とする請求項１６に記載の奥行き情報の算出方法。
18. 前記光を変調させる光変調器の駆動時間は、前記Ｎ個の光の投射時間にそれぞれ同期されることを特徴とする請求項１６又は１７に記載の奥行き情報の算出方法。
19. 前記駆動時間は、前記光の投射時間より短いことを特徴とする請求項１８に記載の奥行き情報の算出方法。
20. 前記光を撮影する撮像素子の露光時間は、前記駆動時間に同期されることを特徴とする請求項１８又は１９に記載の奥行き情報の算出方法。
21. 前記撮像素子のあらゆるピクセルは、前記光の投射時間の間、前記変調された光に露光されることを特徴とする請求項１８〜２０の何れか１項に記載の奥行き情報の算出方法。
22. 前記Ｎ個の光は、周期が同じであり、振幅と位相のうち少なくとも一つが相異なる周期波であり、
    前記変調された光は、同じ変調信号で変調されることを特徴とする請求項１６〜２１の何れか１項に記載の奥行き情報の算出方法。
23. 前記Ｎ個の光は、同じ周期波であり、
    前記変調された光は、異なる変調信号で変調されることを特徴とする請求項１６〜２１の何れか１項に記載の奥行き情報の算出方法。
24. 前記Ｎ個の光のうち、隣接した時間帯に投射される光の位相差は、３６０°をＮ個に等分した値であることを特徴とする請求項１９〜２３のいずれか１項に記載の奥行き情報の算出方法。
25. 前記生成されたＮ個のサブ映像は、前記Ｎ個の反射光と、順次、一対一マッチングされることを特徴とする請求項１６〜２４の何れか１項に記載の奥行き情報の算出方法。
26. 前記Ｎ個のサブ映像に第１加重値をそれぞれ乗じた後で平均して第１平均映像を生成し、前記Ｎ個のサブ映像に第２加重値をそれぞれ乗じた後で平均して第２平均映像を生成し、前記第１及び第２平均映像から前記奥行き情報を算出することを特徴とする請求項１６〜２５の何れか１項に記載の奥行き情報の算出方法。
27. 前記奥行き情報は、第１平均映像と第２平均映像との比率についてのアークタンジェント値から算出されることを特徴とする請求項２６に記載の奥行き情報の算出方法。