JP5981460B2 - 立体シーンにおける焦点面の位置を管理するためのデバイスおよび方法 - Google Patents

Description

本発明は、立体映像システムの分野に関し、より具体的には、立体シーンにおける焦点面の位置の管理に関する。

立体画像は、通常、同じシーンの左の画像と右の画像とから構成される。これらの２つの画像は、カメラによって、わずかにオフセットが設けられた視点から撮影される。一般に、２つのカメラは、並置され、数センチメートル離間される。立体映像は、２つの映像ストリーム、すなわち、左側の映像ストリームおよび右側の映像ストリームから構成される。

立体視法は、視差効果によるものである。この効果により、同じ対象物が、わずかに平行移動された左と右の２つの画像に現れるようになる。平行移動の範囲は、対象物の深度、すなわち、カメラまでの距離に依存する。

図１の例では、対象物は、立体視スクリーン１．３上に見られる。ユーザの目１．１および１．２が描写されている。対象物は、左側の画像上ではポイント１．６に、右側の画像上ではポイント１．５に位置する。これらのポイントは、平行移動値１．７だけ離れており、左側の画像に対する右側の画像の平行移動で表されるこの値は、負の平行移動である。このポイントを見るようにユーザの目が順応すると、このポイントはスクリーンの前方に位置するかのようにポイント１．４に現れる。

図２の例では、対象物は、立体視スクリーン２．３上に表示される。ユーザの目２．１および２．２が示されている。対象物は、左側の画像上ではポイント２．６に、右側の画像上ではポイント２．５に位置する。これらのポイントは、平行移動値２．７だけ離れており、左側の画像に対する右側の画像の平行移動で表現されるこの値は、正の平行移動である。このポイントを見るようにユーザの目が順応すると、このポイントはスクリーンの後方に位置するかのようにポイント２．４に現れる。

図３の例では、対象物は、立体視スクリーン３．３上に見られる。ユーザの目３．１および３．２が示されている。対象物は、左側の画像上ではポイント３．６に、右側の画像上ではポイント３．５に位置する。これらのポイントはマージされ、このポイントに対する平行移動は２つの画像間でゼロである。このポイントを見るようにユーザの目が順応すると、このポイントはスクリーンと同列に位置するかのようにポイント３．４に現れる。

これらの図は、左の画像と右の画像において重ね合わされたポイントがスクリーン上に現れるという事実を示す。負の平行移動値または負の視差を受けた対象物は、スクリーンの前方に現れる。正の平行移動値または正の視差を受けた対象物は、スクリーンの後方に現れる。視差の値は、取り込みシーンにおける対象物の深度に直接依存する。

立体シーンの焦点面は、この平面における対象物を表すすべてのポイントが左の画像と右の画像においてゼロ視差で表されるような所定の深度に位置するカメラの光学軸に垂直な平面を意味する。

立体写真をもたらすカメラの光学軸は通常平行であるため、無限遠の対象物は、２つの
画像において完全に重ね合わされるが、近方の対象物は、対象物がカメラに近づく程、より大きな平行移動を受ける。したがって、そのようなシステムによって撮影された画像は、無限遠において焦点面を有する。それらの画像がスクリーン上に投影されると、シーン全体は、このスクリーンの前方に位置する。焦点面が上記のとおり無限遠に位置する場合に立体映像を見ることは目に不快感を与える傾向にあることが分かる。焦点面が全体としてシーンの前方に位置し、対象物が焦点面の前方に位置することがめったにない方がはるかに快適に見ることができる。

本発明は、立体画像または一連の立体画像における焦点面を管理するための方法を提案することを目標とする。右の画像と左の画像の平行移動は、見えるシーンの前方に焦点面を配置するために引き起こされる。有利には、シーンの主要な対象物の深度は、画像を複数のゾーンに分割して、ゾーンの各々の深度を推定することによって推定される。次いで、焦点面の深度は、焦点面の後方にシーンの大部分が位置するように計算される。

本発明は、左側の画像と右側の画像によって表される立体シーンにおける焦点面の位置を管理するための方法であって、２つの画像において少なくとも１つのゾーンを決定する工程と、ゾーンの各々に対する支配的な平行移動値を計算する工程と、ゾーンの各々に対する支配的な平行移動値に従って、左の画像と右の画像との間の相対平行移動値を決定する工程と、前記先に決定された値の２つの左および右の画像の相対平行移動を行う工程とを含む、方法に関する。

本発明の特定の実施形態によれば、ゾーンの各々に対する支配的な平行移動値を計算する工程は、左側のゾーンおよび右側のゾーンを左側の線および右側の線上に投影する工程と、いくつかの平行移動値に対する左側の線と右側の線との間の相関を計算する工程と、相関が最適な平行移動値を決定する工程とを含む。

本発明の特定の実施形態によれば、左の画像と右の画像との間の相対平行移動値を決定する工程は、近い値からなる群によって各ゾーンの支配的な平行移動値を分類する工程と、各群における支配的な平行移動値の平均値を計算する工程と、左の画像と右の画像との間の相対平行移動値として、最も近い群に対応する最高平均値を選択する工程とを含む。

本発明の特定の実施形態によれば、本方法は、得られた支配的な平行移動値が異常なこれらのゾーンを排除する工程をさらに含む。

また、本発明の特定の実施形態によれば、本方法は、所定の閾値と少なくとも等しい数のゾーンを含まないゾーン群を排除する工程をさらに含む。

また、本発明は、左側の画像と右側の画像によって表される立体シーンにおける焦点面の位置を管理するための手段であって、２つの画像において少なくとも１つのゾーンを決定する手段と、ゾーンの各々に対する支配的な平行移動値を計算する手段と、ゾーンの各々に対する支配的な平行移動値に従って、左の画像と右の画像との間の相対平行移動値を決定する手段と、前記先に決定された値の２つの左および右の画像の相対平行移動を引き起こす手段とを含む、手段を含むことを特徴とする立体写真または視覚デバイスにも関する。

上述の本発明の特徴および他の特徴は、添付の図面に関連して与えられている以下の例示的な実施形態の説明を読み進めることから、より明らかになるであろう。

焦点面の後方に現れるポイントの位置を示す。 焦点面の前方に現れるポイントの位置を示す。 焦点面に現れるポイントの位置を示す。 本発明の例示的な実施形態において焦点面を移動するための方法を示す。 焦点面を管理するための方法の例示的な実施形態を示す。 ゾーンによる画像の分割を示す。 線上へのゾーンの投影を示す。

図４は、焦点面を移動するための方法を示す。シーンは、対象物４．１、４．２および４．３を含み、対象物の各々は、観察者４．４から見て所定の深度に位置する。シーンは、スクリーン４．５上に表示される。観察者４．４にとって、シーンの焦点面は、スクリーンと一致する。対象物が焦点面の前方または焦点面の後方に位置する場合、対象物は、スクリーンの前方またはスクリーンの後方に現れる。

シーンは、左側の画像４．７と右側の画像４．８から作成され、画像の各々は、シーンとその対象物を表す。焦点面は対象物に対応し、左の画像と右の画像の対象物の位置は重ね合わされることが分かっている。焦点面外の対象物は、焦点面の前方の対象物に対しては負の視差を、そして、焦点面の後方の対象物に対しては正の視差を受ける。

例えば、焦点面が対象物４．３と同列に位置することが望まれる場合、対象物４．３を２つの画像において重ね合わせるために、左および右の画像の相対平行移動を引き起こすことで十分可能である。その結果、焦点面は位置４．１０にくる。同様に、例えば、焦点面が対象物４．１と同列に位置することが望まれる場合、対象物４．１を２つの画像において重ね合わせるために、左および右の画像の相対平行移動を引き起こすことで十分可能である。その結果、焦点面は位置４．１１にくる。

したがって、シーンの左の画像と右の画像との間の相対平行移動４．９を引き起こすことによって、焦点面の深度４．６で動作することが可能であることが見出される。

撮影の際、カメラは平行な光学軸を有する。こうした理由で、左の画像と右の画像は、無限遠の対象物に対して重ね合わされる。そのようなシーンがスクリーン上に表示されると、シーン全体は、焦点面の前方に現れ、したがって、スクリーンから「浮き出る」ように見える。その結果、見ることには、目に近いゾーンにおける順応性を絶え間なく調整することが必要とされ、不快感を与えることが判明している。

したがって、シーンを「後方に移動」させるために、立体シーケンスの画像の焦点面を移動することが有利である。シーンの大部分がスクリーンの後方に位置し、対象物がまれにのみスクリーンの前方にくる際に、シーケンスを快適に見ることができることを示すことができる。

したがって、そうするためには、焦点面を移動して所定の深度に配置するために左および右の画像に適用する必要がある相対平行移動値を計算する必要がある。この深度は、シーンに存在する対象物の深度の測定値に従って計算される。これらの深度が測定されると、シーンの大部分が焦点面の後方に位置するように深度が決定される。これは、例えば、画像の表面の５０％超が焦点面の後方に位置するように見える場合と考えられる。

有利には、深度を実際に計算する必要はない。深度は視差量ひいては平行移動量に関連するため、シーンのさまざまな対象物に対する平行移動値を計算し、対象物に対するこれらの平行移動値に従って計算された相対平行移動値を画像に適用することのみが必要とさ
れる。

ここで、焦点面を管理するためのいくつかの方針を取り入れることができる。第１の例示的な実施形態によれば、シーンの大部分が焦点面の後方に位置するように焦点面を配置することが求められる。

この第１の実施形態による、焦点面を管理するための方法の例示的な実施形態は、図５によって示される。第１の工程５．１の間、左および右の画像において少なくとも１つのゾーンが決定される。これは、いくつかの実施形態によれば、画像全体が分析されるか、または、画像の対象エリアが通常中央ゾーンに集中するためである。他の実施形態によれば、画像は複数のゾーンに分割される。Ｚと呼ばれる、画像のゾーンの各々の支配的な平行移動値が計算される。分割は、例えば、図６によって示される方法に従って行うことができる。例示的な実施形態では、画像６．１は、ここでは９つのゾーンへの均等分割によって決定された一連のゾーン６．２に分割される。

各ゾーンは、図７の図に従って、線上に投影される。ゾーン７．２または各列は、単線７．４を得るため、演算７．３に従って加えられる。このように、水平軸に沿ってゾーンを表す線が得られる。

次いで、左側の画像のゾーンに対して得られた左側の線と、右側の画像のゾーンに対して得られた右側の線との相関によって、ゾーン上の支配的な視差を決定することが求められる。相関は、前記線のテストされた各平行移動値の差の絶対値を加えることによって求められる。このように、相関が最適な水平平行移動が決定され、そこからゾーンに対する支配的な平行移動Ｘが導出される。

相関は、例えば、差の二乗を加えることによってなど、他のいかなる手段でも求めることができる。あるいは、平行移動は、左および右の線のフーリエ変換を計算し、項ごとに除することによって決定することもできる。次いで、フーリエ逆変換が計算される。次いで、複素数の意味での最大ノルム値の指数から最適な平行移動値が得られる。

あるいは、平行移動は、例えば、画像のサブブロックを比較することによって、すなわち、線上への画像の事前投影なしでなど、二次元における視差を直接計算することによって決定することもできる。この方法は、当然ながら、より正確であるが、より低速である。

ゾーン全体に対して求められる相関と比較すると、線上への各ゾーンの投影に対して相関を求めることにより、計算時間の観点から利得が得られる。測定が求められる平行移動は単なる水平平行移動であるため、その結果は信頼できる。これは、コンピューティング資源が制限される装置上でシーンを取り出す間にリアルタイムで本方法が適用される場合に特に重要である。

工程５．２の間、得られた支配的な平行移動値が異常なゾーンが存在する場合は、そのようなゾーンは有利に排除される。すなわち、これは、過小値、過大値または得られた他の値と過度に異なる値である。この工程は、任意選択である。

工程５．３の間、得られた平行移動値は、近い値からなる群に一緒にグループ分けされる。ここでの考えは、深度の観点から近い対象物を表す画像のゾーンをグループ分けすることである。

有利には、重要なサイズおよび画像のゾーンに対応する群のみを考慮するため、工程５
．４の間、ゾーンの数の観点から群の最小サイズに対する閾値が固定される。次いで、最小数のメンバーを有する群のみが保有される。例えば、単一の要素からなる群は排除される。重要な深度群に画像を分割することが求められる。このように、スクリーン上であるサイズの対象物が集中する。

次いで、画像のさまざまな重要な対象物に対する平行移動のこの知識を使用して、焦点面を配置する。例示的な実施形態によれば、工程５．５の間、各ゾーンに対して得られたさまざまな支配的な平行移動値の平均が計算される。次いで、最も近い重要な群に対応する最大の平均値が選択される。このように、焦点面は、シーンの前方に配置される。例えば、閾値決定動作５．４の間に排除されたものまたは小さ過ぎて所定のゾーンの平行移動にそれほど影響を及ぼすことができないものなどのある対象物が焦点面の前方に位置することは常に可能である。しかし、シーンの大部分は、焦点面の後方に上記のとおり配置される。

次いで、工程５．６の間、所定の深度に焦点面を効果的に配置するため、左の画像と右の画像との間の相対平行移動が引き起こされる。この平行移動は、左側の画像に対する右側の画像上、または、右側の画像に対する左側の画像上で行うことができる。また、２つの画像にわたって平行移動を分配することも可能である。

別の実施形態によれば、シーンの主要な対象物を焦点面に配置することが求められる。そうするためには、例えば、画像の単一のゾーンが定義され、それは通常、中央ゾーンである。次いで、前述同様に、ゾーンの深度または単に対応する平行移動が計算され、このゾーンに焦点面を配置するため、画像に適用される。あるいは、以前に説明されたアルゴリズムにおいて大部分のメンバーを有する群の深度レベルに焦点面を配置するように選択することも可能である。

別の実施形態によれば、特に、スクリーンが目に近い場合に、高レベルの視覚的な快適性を得るために遠方のシーンを焦点面の後方に配置することが求められる。この場合、すべてのゾーンに対して、最小深度（すなわち、最大平行移動）またはこの最小深度の所定の割合だけ減少された値を取ることができる。

この方法は、単一の左側の画像と単一の右側の画像からなる固定画像上で使用することができる。また、この方法は、立体画像シーケンス上で使用することもできる。後者の場合、この方法は、鑑賞過程外のシーケンス上の処理として達成することも、鑑賞の間または撮影の間にリアルタイムで達成することもできる。後者の実施形態は、写真および立体検索装置に組み込まれる場合に特に有利である。例えば、立体写真システムを組み込む移動電話、携帯ゲーム機または立体カメラなどの装置に組み込むことが可能である。

Claims (6)

1. 左の画像と右の画像によって表される立体シーンにおける焦点面の位置を管理する方法であって、
   前記左の画像及び前記右の画像において複数の対応するゾーンを決定し、
   決定された前記ゾーンのそれぞれに対して、前記左の画像と前記右の画像との間の相関が最も高い支配的な平行移動値を計算し、
   近い支配的な値からなる群に各ゾーンの前記支配的な平行移動値を分類し、
   各群に対して、前記群を構成する前記ゾーンの前記支配的な平行移動値の平均値を計算し、
   前記群のすべての前記平均値の間の最高平均値と等しい、前記左の画像と右の画像との間の相対的な平行移動値を決定し、
   前記焦点面の位置に対応する決定された前記相対的な平行移動値により前記左および右の画像の平行移動を行う
   工程を含む方法。
2. 算出された前記支配的な平行移動値が異常なゾーンを除去する工程をさらに含むことを特徴とする請求項１に記載の方法。
3. 群のゾーンの最小サイズの閾値を固定し、
   前記閾値と等しい数のゾーンを含むゾーン群のみを保持する工程をさらに含むことを特徴とする請求項１または２に記載の方法。
4. 各ゾーンに対する前記支配的な平行移動値を計算する前記工程は、
   前記左の画像のゾーンを左の線上に、かつ、前記右の画像のゾーンを右の線上に投射し、
   いくつかの平行移動値に対する前記左の線と前記右の線との間の相関を計算し、
   前記相関が最も高い前記平行移動値を決定する
   工程を含むことを特徴とする請求項１に記載の方法。
5. 複数の対応するゾーンを決定する前記工程は、前記左及び右の画像を複数の対応するゾ
   ーンに分割する工程を含む請求項１に記載の方法。
6. 左の画像と右の画像によって表される立体シーンにおける焦点面の位置を管理する手段を含む撮影または立体ディスプレイであって、
   前記左の画像及び前記右の画像において複数の対応するゾーンを決定する手段と、
   決定された前記ゾーンのそれぞれに対して、前記左の画像と前記右の画像との間の相関が最も高い支配的な平行移動値を計算する手段と、
   近い支配的な平行移動値からなる群に前記支配的な平行移動値を分類する手段と、
   各群に対して、前記群を構成する前記ゾーンの前記支配的な平行移動値の平均値を計算する手段と、
   前記群のすべての前記平均値の間の最高平均値と等しい、前記左の画像と右の画像との間の相対的な平行移動値を決定する手段と、
   前記焦点面の位置に対応する決定された前記相対的な平行移動値により前記左および右の画像の平行移動を行う手段と
   を含むことを特徴とする撮影または立体ディスプレイ。

Images