JP6309210B2

JP6309210B2 - 深さ映像生成方法及び装置、深さ映像処理方法及び装置

Info

Publication number: JP6309210B2
Application number: JP2013117744A
Authority: JP
Inventors: 旭崔
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2012-06-05
Filing date: 2013-06-04
Publication date: 2018-04-11
Anticipated expiration: 2033-06-04
Also published as: CN103473794B; EP2672290A3; EP2672290B1; US20130321584A1; KR20130136872A; JP2013253971A; EP2672290A2; CN103473794A; US10091491B2; KR101871235B1

Description

本発明は、深さ映像生成方法及び装置、深さ映像処理方法及び装置に関し、互いに異なる変調周波数の光を用いて深さ映像を生成し、生成された深さ映像を処理する方法に関する。

深さ映像を生成する方法として、光が被写体に反射して戻ってくる時間を用いて被写体までの距離を算出する方法がある。現在、この方法を用いて深さ映像を生成するＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）カメラが広く用いられている。ＴｏＦカメラは、周波数が変調された光が被写体に反射される過程で発生した位相の遅延を用いて被写体までの距離を算出する。ＴｏＦカメラで測定できる最大距離は、撮影に用いられる変調周波数（ｍｏｄｕｌａｔｉｏｎｆｒｅｑｕｅｎｃｙ）によって決定される。ＴｏＦカメラは、測定できる最大距離よりも遠方に位置する被写体を測定可能な距離にあると見なして深さ映像を撮影する。

深さ映像で遠距離の深さ値を復元する方法として、１枚の深さ映像を用いる方法と複数の深さ映像を用いる方法がある。１枚の深さ映像を用いる方法は、深さ映像の不連続な部分で、小さい深さ値を有するピクセルのモード値（ＮｕｍｂｅｒｏｆＭｏｄｓ）を大きい深さ値を有するピクセルのモード値より１だけ大きくする方法である。複数の深さ映像を用いる方法には、カメラを動かしながら撮影した複数の深さ映像を用いる方法と、時間差をもって互いに異なる変調周波数の光で撮影した複数の深さ映像を用いる方法がある。

本発明の目的は、互いに異なる変調周波数の光を用いて深さ映像を生成し、生成された深さ映像を処理する方法を提供する。

一実施形態に係る深さ映像生成方法は、互いに異なる変調周波数の光を被写体に照射するステップと、前記被写体に反射された互いに異なる変調周波数の光を検出するステップと、前記互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成するステップとを含む。

一実施形態に係る深さ映像生成装置は、互いに異なる変調周波数の光を被写体に照射する照射部と、前記被写体に反射された互いに異なる変調周波数の光を検出する検出部と、前記互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成する生成部とを備える。

一実施形態に係る深さ映像処理方法は、互いに異なる変調周波数に基づいて深さ映像を分離するステップと、前記分離された深さ映像を補間して深さ値を復元するステップと、前記深さ値が復元された深さ映像を用いて遠距離の深さ値を調整するステップとを含む。

一実施形態に係る深さ映像処理方法は、前記深さ値が調整された深さ映像を合成するステップをさらに含んでもよい。

本発明によると、深さ映像の深さ値を調整可能にすることができる。

一実施形態に係る深さ映像を処理するためのシステムの全体的な構成を示す図である。一実施形態に係る深さ映像生成装置の細部構成を示す図である。一実施形態に係る深さ映像処理装置の細部構成を示す図である。一実施形態に係る互いに異なる変調周波数で動作する光源が配列された一例を示す図である。一実施形態に係る互いに異なる変調周波数で動作する光源が配列された一例を示す図である。一実施形態に係る互いに異なる変調周波数で動作する光源が配列された一例を示す図である。一実施形態に係る互いに異なる変調周波数に対応するピクセルが配列された一例を示す図である。一実施形態に係る互いに異なる変調周波数に対応するピクセルが配列された一例を示す図である。一実施形態に係る互いに異なる変調周波数に対応するピクセルが配列された一例を示す図である。一実施形態に係る深さ映像生成装置が生成した深さ映像の一例を示す図である。一実施形態に係る深さ映像を互いに異なる変調周波数に対応するピクセル領域に分離する一例を示す図である。一実施形態に係る深さ映像を補間して深さ値を復元する一例を説明するための図である。一実施形態に係る深さ値が復元されたピクセル領域の一例を示す図である。一実施形態に係るピクセルの深さ値を復元して深さ映像を表現する一例を示す図である。一実施形態に係る遠距離の深さ値を調整して深さ映像を表現する一例を示す図である。一実施形態に係る深さ映像のピクセルのうち補間されないピクセルの深さ値を組み合わせる一例を示す図である。一実施形態に係る遠距離の深さ値が調整された深さ映像を合成する一例を示す図である。一実施形態に係る深さ映像を生成する動作を示すフローチャートである。一実施形態に係る深さ映像を処理する動作を示すフローチャートである。

以下、実施形態を添付する図面を参照しながら詳細に説明する。一実施形態に係る深さ映像生成方法は、深さ映像生成装置によって行われてもよい。また、一実施形態に係る深さ映像処理方法は、深さ映像処理装置によって行われてもよい。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係る深さ映像を処理するためのシステムの全体的な構成を示す図である。図１に示すように、深さ映像を処理するためのシステムは深さ映像生成装置１１０と深さ映像処理装置１２０を備える。

深さ映像生成装置１１０は、互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成する。深さ映像生成装置１１０は、深さ映像を生成して深さ映像生成装置１１０から被写体までの距離がどの程度であるかを決定する。

光の変調周波数は、深さ映像生成装置１１０が測定できる最大距離（ｒｍａｘ）を決定してもよい。例えば、深さ映像生成装置１１０が変調周波数３０ＭＨｚの光を用いて被写体を撮影する場合、深さ映像生成装置１１０は、測定できる最大距離として５ｍを有してもよい。反対に、深さ映像生成装置１１０が３０ＭＨｚと異なる変調周波数を用いて被写体を撮影する場合には、深さ映像生成装置１１０は測定できる最大距離が５ｍとは異なることがある。

深さ映像処理装置１２０は、深さ映像生成装置１１０が互いに異なる変調周波数に基づいて生成した深さ映像を処理する。深さ映像処理装置１２０は、深さ映像生成装置１１０が生成した１個の深さ映像を用いて深さ映像に表現された遠距離の深さ値を調整する。これによって、深さ映像処理装置１２０は、深さ映像生成装置１１０または被写体が動いている状況で撮影された深さ映像に関しても遠距離の深さ値を調整することができる。ここで、「遠距離」は、深さ映像生成装置１１０が一般的に測定できる最大距離を超過する範囲の距離を示す。「遠距離の深さ値」は一般的に測定できる最大距離を超過する距離の深さ値を示す。

深さ映像処理装置１２０は、深さ映像に表現された遠距離の深さ値を調整して実際の被写体までの距離と深さ映像に表現された深さ値をマッチングする。また、深さ映像処理装置１２０は、互いに異なる変調周波数に基づいて生成された深さ映像を合成してもよく、これによって高画質の深さ値を有する深さ映像を表現することができる。

図２は、一実施形態に係る深さ映像生成装置の細部構成を示す図である。図２に示すように、深さ映像生成装置２１０は、照射部２２０、検出部２３０、及び生成部２４０を備える。

照射部２２０は、互いに異なる変調周波数の光を被写体に照射する。すなわち、照射部２２０は、任意の周波数に変調された光を被写体に照射する。または、照射部２２０は、互いに異なる変調周波数で動作する少なくとも１つの光源から出力された光を被写体に照射してもよい。互いに異なる変調周波数で動作する光源は、水平構造、垂直構造、または、格子構造のいずれか１つの構造で構成されてもよい。すなわち、互いに異なる変調周波数で動作する光源は、空間的に互いに混合された構造を有し得る。

検出部２３０は、被写体に反射された互いに異なる変調周波数の光を検出する。検出部２３０は、互いに異なる変調周波数に対応する少なくとも１つのピクセル（または、ピクセルの配列）を用いて光を検出してもよい。互いに異なる変調周波数に対応するピクセルは、水平構造、垂直構造、または格子構造のいずれか１つの構造で構成されてもよい。互いに異なる変調周波数に対応するピクセルは、空間的に互いに混合された構造を有し得る。ピクセルの配列は、第１変調周波数の光を検出するように構成された複数の第１ピクセルと、第２変調周波数の光を検出するように構成された複数の第２ピクセルとを含む。

一定の変調周波数に対応するそれぞれのピクセルにおいて、それぞれ対応する変調周波数の光がサンプリングされてもよい。

生成部２４０は、互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成する。具体的に、生成部２４０は、被写体に照射された光の強度と被写体に反射された光の強度を用いて被写体までの距離を算出する。または、生成部２４０は、被写体に照射された光と被写体に反射された光との位相差を用いて被写体までの距離を算出してもよい。生成部２４０は、距離値に基づいて映像の明暗を調整する方式に基づいて深さ映像を生成してもよい。

図３は、一実施形態に係る深さ映像処理装置の細部構成を示す図である。図３に示すように、深さ映像処理装置３１０は、分離部３２０、復元部３３０、調整部３４０、及び合成部３５０を備える。

分離部３２０は、互いに異なる変調周波数に基づいて深さ映像を分離する。または、分離部３２０は、深さ映像を互いに異なる変調周波数に対応するピクセル領域に分離してもよい。例えば、分離部３２０は、１つの深さ映像を生成したピクセル領域で同一の変調周波数に対応するピクセルを分離し、新しいピクセル領域に生成してもよい。新しく生成されたピクセル領域は、深さ値を有しないピクセルを含んでもよい。

復元部３３０は、互いに異なる変調周波数に基づいて分離された深さ映像を補間して深さ値を復元する。すなわち、復元部３３０は、互いに異なる変調周波数ごとに分離された深さ映像で深さ値が存在しない現在ピクセルの深さ値を復元する。具体的に、復元部３３０は、周辺ピクセルの深さ値を用いて深さ値が存在しない現在ピクセルの深さ値を復元してもよい。または、復元部３３０は、深さ値が存在しない現在ピクセルと周辺ピクセルとの間の距離に基づいた加重値を考慮し、現在ピクセルの深さ値を復元してもよい。

復元部３３０は、分離部３２０が新しく生成したピクセル領域で深さ値が存在しないピクセルの深さ値を生成することによって、変調周波数ごとに独立したピクセル領域を生成してもよい。

調整部３４０は、深さ値が復元された深さ映像を用いて遠距離の深さ値を調整する。具体的に、調整部３４０は、分離された深さ映像それぞれで同一の位置に対応するピクセルの３次元座標値の差を用いて遠距離の深さ値を調整する。

遠距離に存在する被写体の深さ値は、位相ラッピング（ｐｈａｓｅｗｒａｐｐｉｎｇ）の現象により実際の深さ値と異なることがある。例えば、深さ映像生成装置が測定できる最大距離よりも遠く位置している被写体を撮影する場合、位相ラッピングの現象が発生する。この場合、深さ映像に表現された被写体の深さ値は、実際の深さ値よりも小さいことがある。これは深さ映像生成装置が測定できる最大距離よりも遠方に位置する被写体を測定可能な距離にあると見なして撮影するためである。但し、位相ラッピングが発生した回数を利用すれば、位相ラッピング現象が反映された深さ値を実際深さ値に補正することができる。

数式（１）は、３次元空間上で相似三角形の公式を用いて位相ラッピングが発生する前の深さ値を算出する形に定義される。ここで、

は深さ映像の任意のピクセルｉで変調周波数ｆに測定した３次元座標値であり、

は位相ラッピングが発生する前の３次元座標値である。そして、n_iは０を含む正の整数であり、任意のピクセルｉで位相ラッピングが発生した回数を示す。また、ｃは光の速度であり、

は、深さ映像生成装置が変調周波数ｆの光を用いて測定できる最大距離である。

は３次元空間上の原点から

までの距離を示す。

分離された深さ映像で位置が同一のピクセルは同じ地点の距離を測定しているため、

は同じ値を有し得る。ここで、n_iとm_iは０を含む正の整数である。正確なn_iとm_iの値は、

の距離差で定義される

の値を最小化してもよい。

数式（２）は、

の最小値を算出する形に定義される。ここで、D_i(n_i)は

の最小値を示す。m_iが０からＭ（任意の正の整数）までの値を有すると仮定すれば、

の値を最小化するn_iはD_i(n_i)の値を最小化してもよい。

n_iが０からＮ（任意の正の整数）までの値を有すると仮定すると、数式（３）はD_i(n_i)の値を最小化するn_iを算出する形に定義される。すなわち、数式（３）はD_i(n_i)の値を用いてn_iを算出する形に定義される。

調整部３４０は、また、分離された深さ映像それぞれで同一の位置に対応するピクセルの深さ値と周辺ピクセルの深さ値に基づいた加重値を考慮して遠距離の深さ値を調整する。数式（３）におけるn_i値は、深さ映像に存在するノイズによって誤った値に算出されることもある。これを補完しようと調整部３４０は下記の数式（４）を用いる。

数式（４）は、深さ映像に含まれたノイズによってn_iが間違って算出されることを防ぐために、周辺ピクセルの深さ値に基づいた加重値を考慮してn_iを算出する形に定義される。すなわち、数式（４）は、周辺ピクセルの深さ値に基づいた加重値を考慮し、算出された

の値を最小化するn_iを算出する形に定義される。

任意のピクセルｉの周辺ピクセルがピクセルｉのn_iに対応するｎ値をもってn_iとｎの値が同一であると仮定すれば、数式（４）を用いてn_iを算出することができる。ここで、Ｎｉはピクセルｉを含む周辺ピクセルの集合であり、w_ijは任意のピクセルｉで測定された深さ値とピクセルｉの周辺ピクセルのピクセルｊで測定された深さ値の類似程度に応じて決定される加重値である。

そして、調整部３４０は、分離された深さ映像それぞれで全てのピクセルの３次元座標値の差に基づいた費用関数の値を最小化して遠距離の深さ値を調整する。例えば、調整部３４０は、数式（５）と数式（６）のような費用関数の値を最小化するn_iを算出して遠距離の深さ値を調整する。

数式（５）と数式（６）において、Ｖはピクセルｉのn_i値とn_i値に対応するピクセルｊのn_j値の類似度に基づいて決定される関数に定義される。Ｖ関数は隣接する２つのピクセル間の深さ値を類似にする目的関数であり、映像の全体単位に最適化を行うとき用いられる。

以上のn_iを算出する過程はm_iを算出する場合にも適用することができる。

調整部３４０は、上記の数式（４）、数式（５）、または数式（６）を用いてn_iの値を算出してもよく、実際の被写体までの距離は、ピクセルで測定された深さ値ｒにn_iと

の積を合わせて算出してもよい。

合成部３５０は、遠距離の深さ値が調整された深さ映像を合成する。具体的に、合成部３５０は、分離された深さ映像のピクセルのうち補間されないピクセルの深さ値を組み合わせて深さ映像を合成する。言い換えれば、調整部３４０が深さ値が復元された深さ映像を用いて遠距離の深さ値を調整した後、合成部３５０は、初めから深さ値が存在するピクセルを組み合わせてもよい。合成部３５０は、前述した過程によって被写体の境界付近で深さ値の正確性を向上したり、深さ映像のノイズを最小化することができる。

図４Ａ〜図４Ｃは、一実施形態に係る互いに異なる変調周波数で動作する光源が配列された一例を示す図である。図４Ａ〜図４Ｃに示すように、深さ映像生成装置４１０は、任意の変調周波数ｆ１で動作する光源４２０と任意の変調周波数ｆ２で動作する光源４３０を含む。変調周波数ｆ１で動作する光源４２０は変調周波数ｆ１の光を被写体に照射してもよく、変調周波数ｆ２で動作する光源４３０は変調周波数ｆ２の光を被写体に照射してもよい。

光源４２０、４３０は、配列方法によって図４Ａに示す水平構造、図４Ｂに示す垂直構造、または、図４Ｃに示す格子構造に配列されてもよい。但し、光源４２０、４３０の配列方式は上記の実施形態に限定されず、様々な形態を有してもよい。

図５Ａ〜図５Ｃは、一実施形態に係る互いに異なる変調周波数に対応するピクセルが配列された一例を示す図である。図５Ａ〜図５Ｃに示すように、深さ映像生成装置は、任意の変調周波数ｆ１に対応するピクセル５１０と任意の変調周波数ｆ２に対応するピクセル５２０を含む。光源で照射された光は、被写体に反射してピクセル５１０、５２０で検出される。変調周波数ｆ１に対応するピクセル５１０で変調周波数ｆ１の光が検出されてもよく、変調周波数ｆ２に対応するピクセル５２０で変調周波数ｆ２の光が検出されてもよい。

ピクセル５１０、５２０は、配列方法によって図５Ａに示す水平構造、図５Ｂに示す垂直構造、または、図５Ｃに示す格子構造に配列されてもよい。但し、ピクセル５１０、５２０の配列方式は上記の実施形態に限定されず、様々な形態を有してもよい。

図６は、一実施形態に係る深さ映像生成装置が生成した深さ映像の一例を示す図である。図６に示すように、深さ映像生成装置が生成した深さ映像は、被写体までの距離を映像の明暗を調整して表現したことが分かる。図６に示す深さ映像は、測定された被写体までの距離が近いほど明暗が濃く表現される。

深さ映像生成装置が生成した深さ映像は、ピクセルで測定した光量に基づいて算出された深さ値が混合された形態であってもよい。生成された深さ映像には、位相ラッピングの現象により実際の深さ値と異なる深さ値を有する領域が存在してもよい。ここで、間違って算出された深さ値を実際の深さ値に補正するための処理過程が求められる。

図７は、一実施形態に係る深さ映像を互いに異なる変調周波数に対応するピクセル領域に分離する一例を示す図である。図７に示すように、深さ映像処理装置は、互いに異なる変調周波数を用いて生成された深さ映像のピクセル領域７１０を互いに異なる変調周波数に対応するピクセル領域７２０、７３０に分離してもよい。

深さ映像生成装置が生成した深さ映像のピクセル領域７１０は、変調周波数ｆ１に対応するピクセル７４０と変調周波数ｆ２に対応するピクセル７６０を含む。深さ映像処理装置は、変調周波数ｆ１と変調周波数ｆ２を基準にしてピクセル領域７１０を分離してもよく、変調周波数に応じて分離されたピクセル領域７２０、７３０は深さ値が存在しないピクセル７５０を含んでもよい。

すなわち、新しく分離されたピクセル領域７２０、７３０において異なる変調周波数に対応するピクセルは、深さ値が存在しないピクセル７５０で構成されてもよい。

図８は、一実施形態に係る深さ映像を補間して深さ値を復元する一例を説明するための図である。図８に示すように、深さ映像処理装置は、深さ値が存在しないピクセル８２０の深さ値を周辺ピクセル８１０、８３０を用いて算出する。例えば、深さ映像処理装置は、深さ値が存在しないピクセル８２０と周辺ピクセル８１０、８３０間の距離に基づいた加重値を考慮してピクセル８２０の深さ値を算出する。但し、ここで、周辺ピクセルは上の実施形態に限定されず、深さ値が存在しないピクセル８２０と隣接する全てのピクセルが当該する。

ピクセル８２０の深さ値はの下記の数式（７）と数式（８）を用いて算出される。

数式（７）は、変調周波数ｆ１に対応する任意のピクセルｉで測定したＺ軸方向の深さ値

を算出するための式に定義される。数式（８）は、変調周波数ｆ２に対応する任意のピクセルｊで測定したＺ軸方向の深さ値

を算出するための式に定義される。ここで、Ｚ軸方向は深さ映像生成装置の正面を示す方向であり、w_ijはピクセルｉの深さ値を生成するためにピクセルｊの深さ値に適用する加重値である。

Ｚ軸方向の深さ値が算出されれば、３次元ポイントの残りＸ、Ｙ方向の座標はカメラ行列の固有パラメータを用いて算出してもよい。

図９は、一実施形態に係る深さ値が復元されたピクセル領域の一例を示す図である。図９に示すように、深さ映像処理装置は、深さ値が存在しないピクセル９５０の深さ値を復元して全体領域で深さ値を有するピクセル領域９３０、９４０を生成する。

ピクセル領域９１０は、変調周波数ｆ１に対応するピクセル９６０と深さ値を有しないピクセル９５０を共に含んでもよい。また、ピクセル領域９２０は、変調周波数ｆ２に対応するピクセル９７０と深さ値を有しないピクセル９５０を共に含んでもよい。深さ映像処理装置は、周辺ピクセルの深さ値を用いて深さ値を復元したり、深さ値が存在しないピクセル９５０と周辺ピクセルとの間の距離に基づいた加重値を考慮してピクセル９５０の深さ値を復元する。

図１０は、図９に示すピクセル領域９１０、９２０、９３０、９４０を深さ映像に表した一例を示す図である。図１０に示す深さ映像１０１０は図９に示すピクセル領域９１０に対応する。図９に示すピクセル領域９１０、９２０は深さ値を有しないピクセル９５０を含む。したがって、図９に示すピクセル領域９１０、９２０の深さ値を表した深さ映像１０１０、１０２０には深さ値が表現されない領域１０５０が存在する。

深さ映像処理装置は、深さ値が存在しないピクセルの深さ値を復元して全体領域で深さ値を有する深さ映像を表す。深さ値が存在しないピクセルの深さ値を復元して全体領域で深さ値を有する深さ映像が、図１０に示す深さ映像１０３０、１０４０に図示されている。深さ値の復元過程を経て生成された深さ映像１０３０、１０４０は、深さ値が表現されていない領域１０５０でも深さ値を有することができる。

図１１は、一実施形態に係る遠距離の深さ値を調整して深さ映像を表現する一例を示す図である。

深さ映像処理装置は、互いに異なる変調周波数に基づいて分離された深さ映像で深さ値が存在しないピクセルの深さ値を復元する。深さ値の復元された深さ映像１１１０が図１１に図示されている。図１１に示す深さ映像１１１０、１１２０では被写体までの測定された距離が近いほど明暗が濃く表現されている。深さ映像１１１０で領域１１３０が実際の被写体との距離が異なるように測定された領域であれば、これを実際深さ値に調整する必要がある。

すなわち、深さ映像１１１０で領域１１３０は、測定された距離よりも遠方に被写体が位置するにも関わらず、被写体が近いところに位置するものと表現されることがある。深さ映像処理装置はこの補正のために、分離された深さ映像それぞれで同一の位置に対応するピクセルの３次元座標値の差を用いて遠距離の深さ値を調整する。または、深さ映像処理装置は、分離された深さ映像それぞれで同一の位置に対応するピクセルの深さ値と周辺ピクセルの深さ値に基づいた加重値を考慮して遠距離の深さ値を調整してもよい。

上記のような方法によって遠距離の深さ値を調整した結果が深さ映像１１２０に図示されている。深さ映像１１２０では、領域１１３０の深さ値が調整されて表現されている。すなわち、深さ映像１１２０では、実際深さ値に応じて明暗の表現が修正されて領域１１３０の明暗が明るく表現されている。

図１２は、一実施形態に係る深さ映像のピクセルのうち補間されないピクセルの深さ値を組み合わせる一例を示す図である。図１２に示すように、深さ映像処理装置は、分離された深さ映像のピクセル領域１２１０、１２２０のうち補間されないピクセルの深さ値を組み合わせて新しいピクセル領域１２３０を合成する。すなわち、深さ映像処理装置は、深さ値が復元された深さ映像を用いて遠距離の深さ値を調整した後、初めから深さ値が存在していたピクセルを組み合わせる。補間されないピクセルの深さ値を組み合わせて生成されたピクセル領域１２３０は、周辺ピクセルの深さ値に基づいて遠距離の深さ値が復元されたピクセルに構成されてもよい。

図１３は、図１２に示すピクセル領域を深さ映像で表現した一例を示す図である。図１３における各深さ映像１３１０、１３２０、１３３０は図１２に示す各ピクセル領域１２１０、１２２０、１３３０に対応する。

深さ映像処理装置は、補間されないピクセルの深さ値を組み合わせて境界付近で深さ値の正確性を向上することができる。例えば、深さ値が存在しないピクセルの深さ値を補間する過程において境界付近の深さ値は大きい誤差を有することがある。しかし、深さ映像処理装置は、深さ値が復元されていないピクセルの深さ値を組み合わせる方式を用いて境界付近で深さ値をより正確に表現することができる。また、深さ映像処理装置は上記の方法を用いて深さ映像のノイズを最小化することができる。

深さ映像１３１０、１３２０では深さ値が復元されたピクセルによって境界付近で誤差を有することがある。具体的に、境界付近における深さ値の変化は相対的に他の領域よりも大きいことがある。ここで、周辺ピクセルの深さ値を用いて深さ値が存在しないピクセルの深さ値を復元する過程を行うと、深さ映像で境界付近ピクセルの深さ値に誤差が発生することがある。

このような誤差を減少するために深さ映像処理装置は深さ値が復元されていないピクセルの深さ値を組み合わせて境界付近で誤差の減少された深さ映像１３３０を表現することができる。また、上記の過程によって深さ映像処理装置は高画質の深さ値を有する深さ映像を表現することができる。

図１４は、一実施形態に係る深さ映像を生成する動作を示すフローチャートである。

ステップＳ１４１０において、深さ映像生成装置は互いに異なる変調周波数の光を被写体に照射する。または、深さ映像生成装置は、互いに異なる変調周波数で動作する少なくとも１つの光源から出力された光を被写体に照射してもよい。互いに異なる変調周波数で動作する光源は、水平構造、垂直構造、または格子構造のいずれか１つの構造に構成されてもよい。

ステップＳ１４２０において、深さ映像生成装置は、被写体に反射された互いに異なる変調周波数の光を検出する。または、深さ映像生成装置は、互いに異なる変調周波数に対応する少なくとも１つのピクセルを用いて光を検出してもよい。互いに異なる変調周波数に対応するピクセルは、水平構造、垂直構造、または格子構造のいずれか１つの構造に構成されてもよい。

ステップＳ１４３０において、深さ映像生成装置は、互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成する。深さ映像生成装置は、被写体に照射された光の強度と被写体で反射された光の強度を用いて被写体までの距離を算出することができる。

図１５は、一実施形態に係る深さ映像を処理する動作を示すフローチャートである。

ステップＳ１５１０において、深さ映像処理装置は、互いに異なる変調周波数に基づいて深さ映像を分離する。例えば、深さ映像処理装置は、それぞれの異なる変調周波数の信号を検出する空間上と混合されたピクセルによって取得された一枚の二重周波数（ｄｕａｌ−ｆｒｅｑｕｅｎｃｙ）深さ映像を用いて互いに異なる変調周波数で取得された２つの深さ映像を生成してもよい。または、深さ映像処理装置は、深さ映像を互いに異なる変調周波数に対応するピクセル領域に分離してもよい。

ステップＳ１５２０において、深さ映像処理装置は、互いに異なる変調周波数に基づいて分離された深さ映像を補間して深さ値を復元する。具体的に、深さ映像処理装置は、互いに異なる変調周波数ごとに分離された深さ映像で深さ値が存在しない現在ピクセルの深さ値を復元する。または、深さ映像処理装置は、深さ値が存在しない現在ピクセルの周辺ピクセルを用いて現在ピクセルの深さ値を復元したり、深さ値が存在しない現在ピクセルと周辺ピクセルとの間の距離に基づいた加重値を考慮して現在ピクセルの深さ値を復元してもよい。

ステップＳ１５３０において、深さ映像処理装置は、深さ値が復元された深さ映像を用いて遠距離の深さ値を調整する。具体的に、深さ映像処理装置は、分離された深さ映像それぞれで同一の位置に対応するピクセルの３次元座標値の差を用いて遠距離の深さ値を調整する。そして、深さ映像処理装置は、分離された深さ映像それぞれで同一の位置に対応するピクセルの深さ値と周辺ピクセルの深さ値に基づいた加重値を考慮して遠距離の深さ値を調整する。また、深さ映像処理装置は、分離された深さ映像それぞれで全てのピクセルの３次元座標値の差に基づいた費用関数の値を最小化して遠距離の深さ値を調整してもよい。

ステップＳ１５４０において、深さ映像処理装置は、遠距離の深さ値が調整された深さ映像を合成する。具体的に、深さ映像処理装置は、分離された深さ映像のピクセルのうち、補間されないピクセルの深さ値を組み合わせて深さ映像を合成することができる。深さ映像処理装置は、これによって境界付近で深さ値の正確性を向上させ得る。

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１１０、２１０、４１０深さ映像生成装置
１２０、３１０深さ映像処理装置
２２０照射部
２３０検出部
２４０生成部
３２０分離部
３３０復元部
３４０調整部
３５０合成部
４２０、４３０光源
５１０、５２０、７４０、７５０、７６０、８１０、８２０、８３０、９５０、９６０ピクセル
７１０、７２０、７３０、９１０、９２０、９３０、９４０、１２１０、１２２０、１３３０ピクセル領域
１０１０、１０２０、１０３０、１０４０、１１１０、１１２０、１３１０、１３２０、１３３０深さ映像
１１３０領域

Claims

互いに異なる変調周波数で作動する少なくとも１つの光源から出力された互いに異なる変調周波数の光を被写体に照射するステップと、
互いに異なる変調周波数で作動するピクセルのうち少なくとも１つのピクセルを用いて前記被写体に反射された互いに異なる変調周波数の光を検出するステップと、
前記互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成するステップと、
を含み、
前記生成された深さ映像は、互いに異なる変調周波数で取得したイメージ領域を含むことを特徴とする深さ映像生成方法。
前記光を被写体に照射するステップは、水平構造、垂直構造、及び格子構造のうち少なくとも１つの構造に構成された光源から出力された光を被写体に照射することを特徴とする請求項１に記載の深さ映像生成方法。
前記互いに異なる変調周波数の光を検出するステップは、水平構造、垂直構造、及び格子構造のうち少なくとも１つの構造に構成されたピクセルを用いて光を検出することを特徴とする請求項１乃至２のいずれか一項に記載の深さ映像生成方法。
前記被写体までの距離に関連する深さ映像を生成するステップは、前記被写体に照射された光の強度と前記被写体で反射された光の強度を用いて、前記被写体までの距離を算出することを特徴とする請求項１乃至３のいずれか一項に記載の深さ映像生成方法。
互いに異なる変調周波数に基づいて深さ映像を分離するステップと、
前記分離された深さ映像を補間して深さ値を復元するステップと、
前記深さ値が復元された深さ映像を用いて遠距離の深さ値を調整するステップと、
前記遠距離の深さ値が調整された前記分離された深さ映像を合成するステップと、
を含み、
前記深さ映像は、互いに異なる変調周波数それぞれで取得したイメージ領域を含み、
前記遠距離は、前記変調周波数の光を用いて測定できる最大距離よりも遠いため、前記遠距離に存在する被写体の深さ値を測定するときには位相ラッピング現象が発生することを特徴とする深さ映像処理方法。
前記深さ映像を分離するステップは、前記深さ映像を互いに異なる変調周波数に対応するピクセル領域に分離することを特徴とする請求項５に記載の深さ映像処理方法。
前記深さ映像を分離するステップは、第１変調周波数と第２変調周波数で取得されたイメージの部分を含む１つの深さ映像から第１変調周波数によって取得された第１深さ映像、及び第２変調周波数によって取得された第２深さ映像を抽出することを特徴とする請求項５または請求項６に記載の深さ映像処理方法。
前記深さ値を復元するステップは、前記互いに異なる変調周波数ごとに分離された深さ映像で深さ値が存在しない現在ピクセルの深さ値を前記現在ピクセルの周辺ピクセルを用いて復元することを特徴とする請求項５乃至７のいずれか一項に記載の深さ映像処理方法。
前記深さ値を復元するステップは、前記深さ値が存在しない現在ピクセルと周辺ピクセルとの間の距離に基づいた加重値を考慮して現在ピクセルの深さ値を復元することを特徴とする請求項８に記載の深さ映像処理方法。
前記遠距離の深さ値を調整するステップは、前記分離された深さ映像それぞれで同一の位置に対応するピクセルの３次元座標値の差を用いて遠距離の深さ値を調整することを特徴とする請求項６乃至９のいずれか一項に記載の深さ映像処理方法。
前記遠距離の深さ値を調整するステップは、前記分離された深さ映像それぞれで同一の位置に対応するピクセルの深さ値と周辺ピクセルの深さ値に基づいた加重値を考慮して遠距離の深さ値を調整することを特徴とする請求項６乃至１０のいずれか一項に記載の深さ映像処理方法。
前記遠距離の深さ値を調整するステップは、前記分離された深さ映像それぞれで全てのピクセルの３次元座標値の差に基づいた費用関数の値を最小化して遠距離の深さ値を調整することを特徴とする請求項６乃至１１のいずれか一項に記載の深さ映像処理方法。
前記深さ値が調整された深さ映像を合成するステップをさらに含むことを特徴とする請求項５乃至１２のいずれか一項に記載の深さ映像処理方法。
前記深さ映像を合成するステップは、前記分離された深さ映像のピクセルのうち補間されないピクセルの深さ値を組み合わせることを特徴とする請求項１３に記載の深さ映像処理方法。
互いに異なる変調周波数で作動する少なくとも１つの光源から出力された互いに異なる変調周波数の光を被写体に照射する照射部と、
互いに異なる変調周波数で作動するピクセルのうち少なくとも１つのピクセルを用いて前記被写体に反射された互いに異なる変調周波数の光を検出する検出部と、
前記互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成する生成部と、
を備え、
前記生成された深さ映像は、互いに異なる変調周波数で取得したイメージ領域を含むことを特徴とする深さ映像生成装置。
前記検出部は、ピクセルの配列を用いて被写体から反射された互いに異なる変調周波数の光を検出し、
前記ピクセルの配列は、第１変調周波数の光を検出するように構成された複数の第１ピクセルと第２変調周波数の光を検出するように構成された複数の第２ピクセルとを含むことを特徴とする請求項１５に記載の深さ映像生成装置。
前記第１ピクセル及び前記第２ピクセルは、格子構造で交代に配列されたことを特徴とする請求項１６に記載の深さ映像生成装置。