JP2013513095A - 物体の改善されたステレオ画像を得る方法およびシステム - Google Patents

Abstract

注目の物体のステレオ画像に関する改善された深さ精度を得る方法であって、
第１の位置から注目の物体の第１の画像を撮像すること、
第１の位置とは異なる第２の位置から注目の物体の第２の画像を撮像することを含み、
第１の画像および第２の画像に基づいて、注目の物体に関する深さの概略推定を求めること、
深さの概略推定に基づいて、注目の物体に関する改善された深さ精度に対応する改善された撮像位置のセットを求めること、
改善された撮像位置のセットから改善された画像を撮像すること、
改善された画像に基づいて改善された深さを求めること
を含む方法を開示する。
関連するシステムも説明している。

Description

本開示は、注目の物体に関するステレオ画像情報を得る方法およびデバイスの分野に関する。

物体の３次元（３Ｄ）情報を導出することができるステレオ・カメラが存在する。現況技術のステレオ・カメラ・システムでは、複数のカメラ間の距離が固定される。

物体が取り込まれるシーン内で動き回っている可能性があるが、多くの場合、物体の深さを最適な精度で測定することができない。

さらに、現況技術の方法およびシステムは、そのステレオ・カメラ・セットアップで過大な量のカメラと、多くの処理能力とを必要とする。

本発明の目的は、注目の物体のステレオ画像に関する改善された深さ精度を得る方法およびシステムを提供することである。

このことは、本発明の諸態様によって達成される。

本発明の第１の態様によれば、注目の物体のステレオ画像に関する改善された深さ精度を得る方法であって、
第１の位置から注目の物体の第１の画像を撮像すること、
第１の位置とは異なる第２の位置から注目の物体の第２の画像を撮像することを含み、
第１の画像および第２の画像に基づいて、注目の物体に関する深さの概略推定を求めること、
深さの概略推定に基づいて、注目の物体に関する改善された深さ精度に対応する改善された撮像位置のセットを求めること、
改善された撮像位置のセットから改善された画像を撮像すること、
改善された画像に基づいて改善された深さを求めること
を含む方法が説明される。

好ましくは、撮像位置はカメラの焦点の位置に対応する。２つのカメラ間の距離を、それぞれの焦点間の距離と定義することができる（ベースライン距離またはベースラインとも呼ばれる）。

深さは、注目の物体と、第１および第２の撮像位置を結ぶ直線との間の距離である。

好ましい実施形態によれば、深さの概略推定を求めることは、第１の位置と第２の位置との間の距離、ならびに第１の画像と第２の画像との間の、注目の３Ｄ物体の投影された２Ｄ画像の位置の違いである視差に基づく。視差は、２つのカメラの像平面に対する３Ｄ現実世界物体（または点）の投影後の２Ｄ画像の位置の違いを指し、この違いは、２つのカメラ焦点間の可変距離から生じる。

好ましい実施形態によれば、ｂがカメラ間のベースラインに沿った距離、ｆが焦点距離、ｄが視差であるとして、深さの概略推定をｚ＝ｂ＊ｆ／ｄとして導出することができる。

ステレオ・セットアップでの各カメラは通常、ほぼ同一の焦点距離を有する。画像矯正は、矯正後画像が同一の焦点距離を有するカメラによって作成されたかのように見えることも行う。

視差は、別個のステップで測定される（例えば、ピクセル／ピクセルのグループごとに）。２つの連続する視差ステップに対応する深さの違いは、深さ精度と呼ばれる。

２つの連続する可能な視差値に対応する、２つの連続する深さ値の差は、可能な視差値の全範囲にわたって等しくはない。視差が別個のステップで測定されるので、深さも別個のステップのみで測定することができる。視差値（ｄ）に対応する、各深さ値（ｚ）の不確定性は、この深さ値（ｚ）より下の最も近い可能な深さ値（視差ｄ’＝ｄ＋１に対応するｚ’）およびこの深さ値（ｚ）より上の最も近い可能な深さ値（視差ｄ”＝ｄ−１に対応するｚ”）に対するこの深さ値（ｚ）の距離によって与えられる。この不確定性は、深さをどれだけ正確に測定することができるかを決定し、したがって深さ精度を決定する。

好ましい実施形態によれば、改善された撮像位置のセットは、第１の位置または第２の位置の少なくとも一方を含む。

好ましい実施形態によれば、改善された撮像位置のセットの撮像位置は、第１の位置を第２の位置と結ぶ直線に沿ったものである。

好ましい実施形態によれば、第１の画像を撮像すること、および第２の画像を撮像することは、それぞれ第１のカメラ、および異なる第２のカメラによって実施される。

好ましい実施形態によれば、第１および第２のカメラを改善された撮像位置に動かすために、第１および第２のカメラの少なくとも一方が移動している。好ましくは、次いでこの方法は、改善された撮像位置のセットから第１および第２のカメラによって注目の物体を撮像することを含む。

好ましい実施形態によれば、この方法は、複数のカメラから２つのカメラのセットを選択すること、改善された撮像位置のセットに対応して２つのカメラのセットを動かすこと、および改善された撮像位置のセットから２つのカメラのセットによって前記注目の物体を撮像することを含む。

好ましい実施形態によれば、この方法は、第１および第２のカメラを含む固定位置の複数のカメラの位置および改善された撮像位置のセットに基づいて、複数のカメラから第３のカメラおよび第４のカメラという２つのカメラのセットを選択すること、および選択した２つのカメラから注目の物体を撮像することを含む。好ましくは、それぞれの改善された撮像位置に最も近いカメラを選択することができる。第３および第４のカメラは、第１および／または第２のカメラを含むことができる。

本発明の実施形態のいずれでも、第１および第２の画像に関するステレオ画像矯正を実施することができる。

ステレオ画像矯正は、光学中心間の線に平行な共通像平面に、取り込んだ画像を再投影するプロセスである。ステレオ画像矯正の重要な利点は、ステレオ対応を計算することが１Ｄ探索問題に帰することである。２つの矯正後画像内の対応する点（同一の３Ｄ物体に対応する２Ｄ点）が、２つの矯正後画像内の同一線上にある（同一のＹ座標を有する）。

本発明の実施形態のいずれでも、改善された画像に関するステレオ画像矯正を実施することができる。

本発明の実施形態のいずれでも、好ましくは、それぞれのカメラのカメラ較正が実施される。カメラ較正は通常、現実世界３Ｄ点から取り込んだ画像内の２Ｄ点へのマッピングを記述する、カメラ固有（ｉｎｔｒｉｎｓｉｃ）パラメータおよびカメラ外因性（ｅｘｔｒｉｎｓｉｃ）パラメータを求めるプロセスである。

本発明の第２の態様によれば、注目の物体の改善された深さ精度を有するステレオ画像を得るシステムであって、
注目の物体の第１の画像を撮る第１の撮像デバイスと、注目の物体の第２の画像を撮る第２の撮像デバイスとを含む複数の撮像デバイスと、
第１の画像および第２の画像に基づいて、注目の物体に関する概略深さを導出する概略深さ導出手段と、
概略深さに基づいて、前記注目の物体に関する改善された深さ精度に対応する改善された撮像位置のセットを求める決定手段と、
改善された撮像位置のセットに対応する位置から注目の物体を撮像するために、決定手段から受信した改善された撮像位置のセットに応答して複数の撮像デバイスを制御する制御手段と
を備えるシステムである。

本発明の実施形態によれば、制御手段は、改善された撮像位置のセットに第１および／または第２の撮像デバイスを移動する手段を備える。実施形態によれば、システムはちょうど２つの撮像デバイスを備える。

本発明の実施形態によれば、制御手段は、複数の撮像デバイスから第３および第４のカメラを選択する手段と、改善された撮像位置のセットに前記第３および第４のカメラを移動する手段とを備える。

本発明の一実施形態によれば、システムは、ステレオ・カメラ・セットアップで３つ以上の撮像デバイス（例えばカメラ）を備えることができる。カメラ位置の改善されたセットの決定後、例えば最適化された撮像位置に対するそれぞれのカメラの近傍度、および／またはカメラを他のカメラに対して移動することについての非障害考慮事項（ｎｏｎ−ｏｂｓｔｒｕｃｔｉｏｎ ｃｏｎｓｉｄｅｒａｔｉｏｎ）に基づいて、複数のカメラから２つのカメラのセットを選択することができる。前記複数のカメラからの２つのカメラのセットの選択後、次いで、それぞれの改善された撮像位置に対応して、セットの第３および／または第４のカメラを動かすことができる（通常は、改善された撮像位置に移動することができる）。

システムは、複数の撮像デバイスのうちの少なくとも１つの撮像デバイスをそれに沿って誘導することのできる誘導手段をさらに備えることができる。誘導手段を第１の位置および第２の位置に対応するように配置することができる。好ましくは、誘導手段は直線形である。別の観点では、誘導手段は、直線に沿った少なくとも第１および／または第２の撮像デバイスの移動を可能にすることができる。誘導手段は、複数の撮像デバイスのうちのすべての撮像デバイスの移動を可能にすることができる。好ましくは、これは直線に沿うものでよい。

本発明の別の実施形態によれば、複数の撮像デバイスのそれぞれが固定位置に配置され、制御手段は、複数の撮像デバイスから、その位置が改善された撮像位置のセットに最良に対応する２つの撮像デバイスを選択する選択手段を備える。

本発明の好ましい実施形態によれば、複数の撮像デバイスのそれぞれが、直線に沿って配置される。

この方法およびシステムを、取り込んだシーン内の注目の複数の物体のために使用することもできる。単一の注目の物体に関して開示する方法を異なる物体について並行して適用することにより、注目の異なる物体を扱うことができる。次いで、３つ以上、例えば３または４つのカメラを備える本発明の第２の態様による単一のシステムを使用することにより、または複数のそのようなシステムによってこの方法を適用することができる。例えば、注目の２つの物体が関係するとき、４つのカメラを備える単一のシステムを使用することができ、２つのカメラの第１のサブシステムを第１の注目の物体に関連付けることができ、２つのカメラの第２のサブシステムを第２の注目の物体に関連付けることができる。

本発明の別の態様が従属請求項によって記述される。従属請求項の特徴、いずれかの独立請求項の特徴、および他の従属請求項の任意の特徴を、当業者にとって適切とみなされる通りに組み合わせることができ、特許請求の範囲によって定義される特定の組合せだけではない。

本発明の実施形態を示すために添付の図面を使用する。

２つのカメラ中心間の異なる距離に関する、注目の物体の深さの関数としての深さ精度パラメータの進展を示すグラフである。 ２つのカメラ中心間の異なる距離に関する、注目の物体の深さの関数としての深さ精度パラメータの進展を示すグラフである。 ２つのカメラ中心間の異なる距離に関する、注目の物体の深さの関数としての深さ精度パラメータの進展を示すグラフである。 深さ精度を改善するために２つの撮像位置間の距離が変更される本発明の諸態様の概略表現である。 シーン内を動き回っている注目の物体に関する、深さ精度を改善するために２つの撮像位置間の距離が変更される本発明の諸態様の概略表現である。

それぞれの図面と共に読むときに、以下の詳細な説明から、本発明の上記および他の有利な特徴および目的がより明らかとなり、本発明をより良く理解するであろう。

いくつかの図面を参照しながら特定の実施形態によって本発明の諸態様の説明を実施するが、本発明はそれに限定されない。示される図は概略的なものに過ぎず、限定とみなすべきではない。

通常、深さ測定の精度は、深さ範囲全体にわたって均一に分布しない。したがって、現況技術では、注目の物体（例えば、テレビ会議中の人の顔、またはプレゼンテーション中の人の体）が取り込むシーン内で動き回っている可能性があるので、注目の物体の深さが最適な深さ精度で測定されない可能性がかなり高い。

本開示の好ましい実施形態は、取り込むシーン全体について深さを抽出するように適合された基本ステレオ・カメラ・セットアップを備える。潜在的にはステレオ・カメラ・セットアップは注目の物体に焦点を当てていないので、注目の物体の深さが最適な精度で取り込まれない可能性がかなりある。ステレオ・カメラ・セットアップ内のカメラ間の距離を自動的に調節することにより、注目の物体の深さが最適な精度で測定される深さ範囲を自動的に調節することができる。注目の物体がどこに存在しているか、したがって深さ測定の最適な精度がどこで必要とされるかに関する初期指標として、深さの初期の概略推定を使用する。好ましい実施形態によれば、注目の物体に関する最適な深さ精度が得られるように、セットアップを反復的に調節する。

好ましい実施形態によれば、ステレオ・カメラ・セットアップは、最適な精度を有する深さ範囲内に注目の物体を保つために、注目の物体を追跡する間に継続的に調節することができる。

図１〜３のグラフに理論モデルを示す。これらのグラフでは、異なるベースライン距離（４０ｍｍ、４ｍｍ、および１ｍｍにそれぞれ対応する、Ａ、Ｂ、およびＣ）に関する深さ精度と深さとの間の関係を示す。図は、ステレオ・カメラ・セットアップでは、深さ測定の精度が深さ範囲全体にわたって均一に分布せず、ステレオ・カメラ・セットアップ内のカメラ間の距離に依存することを示す。各グラフは、ｘ軸上に示される深さ範囲の点で異なる（図１：０〜５０ｍｍ、図２：０〜２００ｍｍ、図３：０〜５００ｍｍ）。例えば図１に示すように、より大きい深さ値では、線Ｂは線Ｃよりも良好な（低い）深さ分解能（高い精度）を示す。このことは、より大きい深さ値を測定するために、ステレオ・カメラ・セットアップ内のカメラ間の距離を（この場合は、線Ｃの１ｍｍから線Ｂの４ｍｍに）増大させることができることを意味する。線Ｂは約１０ｍｍの小さい深さ値で中断することに留意されたい。これは、部分的には、線Ｂによるセットアップではカメラ間が広く配置され過ぎ、したがって近くの物体がステレオ・カメラ・セットアップのどちらのカメラでも可視ではなく、したがって深さ測定を行えないためである。

ベースラインを変更する別の理由は、照明変化、または近くの物体の部分が遮られることによる精度の損失であることがある。この場合、ステレオ・カメラ・セットアップ内のカメラ間のより短い距離を使用する必要があることがある。例えば、線Ｃによるセットアップを使用することができる。

各図は、以下で説明する関係に基づく。２つのカメラはシーンの２つの画像を与え、２つの画像は少なくとも重複しており、どちらも注目の物体を含む。好ましくは、画像は、注目の物体の少なくともいくつかの共通の特徴を含む。

注目の物体を、第１および第２のカメラの画像内のそれぞれ２Ｄ点ｍおよびｍ’として認識することができる。次いで、何らかのグローバル基準系に対する、注目の物体の実際の位置に対応する３Ｄ点Ｍの３Ｄ座標を計算することができる。

２Ｄ点ｍについての座標（ｘ，ｙ）と、対応する２Ｄ点ｍ’についての座標（ｘ’，ｙ’）とを仮定する。画像のステレオ矯正後、ｙおよびｙ’を対応させることができ、視差がｄ＝｜ｘ−ｘ’｜によって与えられる。次いで、ｂがカメラ間のベースライン、ｆが画像の矯正後に得られる焦点距離であるとして、深さｚが（ｂ＊ｆ）／ｄによって与えられる。Ωが視野を表すとして、焦点距離ｆ＝分解能／２ｔａｎ（Ω／２）である。写真では、視野は、カメラによって撮像される所与のシーンの環状範囲を記述する（画角とも呼ばれる）。

初期セットアップ（１）を有するステレオ・カメラを示す別の図を図４で与える。図は、注目の物体が人の顔である、ステレオ・カメラの２つのカメラの一方によって撮られた画像のうちの１つも示す。現況技術の認識技法、例えば顔認識技法によって注目の物体を検出し、示すことができる。しかし、ステレオ・カメラの初期セットアップ（１）は、注目の物体の最適な深さ測定のためには不十分である。ステレオ・カメラの現セットアップ（１）の深さ測定の最適な精度は、注目の物体が存在している範囲とは異なる深さ範囲内に位置する。しかし、ベースラインｂを有する現セットアップ（１）は、注目の物体の深さの概略推定を与え、したがってステレオ・カメラ・セットアップを、注目の物体が存在している、より良好な、さらには最適な深さ範囲の深さ精度を与えるセットアップ（２）に自動的に調節することができる。ステレオ・カメラのベースラインｂ’を有する新しいセットアップ（２）が深さ測定でその最適な精度を示す深さ範囲は、注目の物体が存在している深さ範囲により良好に合致し、したがって必要な場合に、取り込むシーンのエリア内で正確な深さ測定が得られる。

図５に示すように、注目の物体、例えば人がシーン内を動き回っている場合、対応するカメラ間の距離の調節が必要となる可能性がある。例えば、人がカメラから遠くに離れるとき、ベースライン距離ｂをｂ’（ｂ’＞ｂ）に増大させることにより、セットアップ（１）をセットアップ（２）に向けて修正することができる。人がカメラの近くに移動するとき、ベースライン距離ｂ’をｂ’’（ｂ’’＜ｂ’）まで再び減少させることにより、セットアップ（２）をセットアップ（３）に向けて再び修正することができる。人がセットアップ（１）よりも近くに来る場合、ベースライン距離ｂ’’はｂよりも短くなる（ｂ’’＜ｂ）。注目の物体は、例えば、椅子の上で前方および後方に傾く人であることがある。現況技術の物体認識および追跡技法を使用して、取り込むシーン内の注目の物体の位置を追跡（または予測）し、例えばステレオ・カメラ・セットアップを自動的に調節することにより、深さ測定で最適な精度を示す深さ範囲を、シーン内の注目の物体の移動および位置と適合するように保つことができる。

本開示による実施形態は、物体がシーン内に存在するときはいつでも、シーン内の注目の物体の移動には無関係に、深さ測定での最適な精度でシーン内の注目の物体の取込みを可能にする。注目の物体が近くに来るとき、カメラ間の距離を減少させる。注目の物体が離れるように移動するとき、カメラ間の距離を増大させる。

これにより、過剰な量のカメラおよび処理能力は不要となる。

当業者なら理解するであろうが、本明細書に記載のいくつかの実施形態は他の実施形態に含まれるいくつかの特徴を含み、他の特徴は含まないが、異なる実施形態の特徴の組合せは、本発明の範囲内にあることを意味し、異なる実施形態を形成する。

本発明の原理を特定の実施形態と共に上記で説明したが、この説明は、添付の特許請求の範囲によって決定される保護範囲の限定としてではなく、例として行われたものに過ぎないことを明確に理解されたい。

Claims (15)

1. 注目の物体のステレオ画像に関する改善された深さ精度を得る方法であって、
   第１の位置から前記注目の物体の第１の画像を撮像するステップと、
   前記第１の位置とは異なる第２の位置から前記注目の物体の第２の画像を撮像するステップと
   を含み、
   前記第１の画像および前記第２の画像に基づいて、前記注目の物体に関する深さの概略推定を求めるステップと、
   前記深さの前記概略推定に基づいて、前記注目の物体に関する改善された深さ精度に対応する改善された撮像位置のセットを求めるステップと、
   前記改善された撮像位置のセットから改善された画像を撮像するステップと、
   前記改善された画像に基づいて改善された深さを求めるステップと
   を含む方法。
2. 前記深さの前記概略推定を求めるステップが、前記第１の位置と前記第２の位置との間の距離、ならびに前記第１の画像と前記第２の画像との間の前記注目の物体の画像位置の違いである視差に基づく請求項１に記載の方法。
3. 前記改善された撮像位置のセットが、前記第１の位置または前記第２の位置の少なくとも一方を含む請求項１または２に記載の方法。
4. 前記改善された撮像位置のセットの撮像位置が、前記第１の位置を前記第２の位置と結ぶ直線に沿ったものである請求項１乃至３のいずれか１項に記載の方法。
5. 第１のカメラ、および異なる第２のカメラにより、前記第１の画像および前記第２の画像を撮像するステップを含む請求項１乃至４のいずれか１項に記載の方法。
6. 複数のカメラから２つのカメラのセットを選択するステップと、前記改善された撮像位置のセットに対応して２つのカメラの前記セットを動かすステップと、前記改善された撮像位置のセットから２つのカメラの前記セットによって前記注目の物体を撮像するステップとを含む請求項５に記載の方法。
7. 前記第１および前記第２のカメラの少なくとも一方を移動するステップと、前記改善された撮像位置のセットから前記第１および前記第２のカメラによって前記注目の物体を撮像するステップとを含む請求項５に記載の方法。
8. 固定位置の複数のカメラの位置および改善された撮像位置のセットに基づいて、前記複数のカメラから第３のカメラおよび第４のカメラを選択するステップと、前記選択した２つのカメラから前記注目の物体を撮像するステップとを含む請求項５に記載の方法。
9. 前記第１および第２の画像に関するステレオ画像矯正を含む請求項１乃至８のいずれか１項に記載の方法。
10. 前記改善された位置のセットから撮られた改善された画像に関するステレオ画像矯正を含む請求項１乃至９のいずれか１項に記載の方法。
11. 注目の物体の改善された深さ精度を有するステレオ画像を得るシステムであって、
    前記注目の物体の第１の画像を撮る第１の撮像デバイスと、前記注目の物体の第２の画像を撮る第２の撮像デバイスとを含む複数の撮像デバイスと、
    前記第１の画像および前記第２の画像に基づいて、前記注目の物体に関する概略深さを導出する概略深さ導出手段と、
    前記概略深さに基づいて、前記注目の物体に関する改善された深さ精度に対応する改善された撮像位置のセットを求める決定手段と、
    改善された撮像位置のセットに対応する位置から前記注目の物体を撮像するために、前記決定手段から受信した前記改善された撮像位置のセットに応答して前記複数の撮像デバイスを制御する制御手段と
    を備えるシステム。
12. 前記制御手段が、前記改善された撮像位置のセットに前記第１および／または前記第２の撮像デバイスを移動する手段を備える請求項１１に記載のシステム。
13. 前記制御手段が、前記複数の撮像デバイスから第３および第４のカメラを選択する手段と、前記改善された撮像位置のセットに前記第３および第４のカメラを移動する手段とを備える請求項１１に記載のシステム。
14. 前記複数の撮像デバイスのうちの少なくとも１つをそれに沿って誘導することのできる誘導手段をさらに備える請求項１１乃至１３のいずれか１項に記載のシステム。
15. 前記複数の撮像デバイスのそれぞれが固定位置に配置され、前記制御手段が、
    前記複数の撮像デバイスから、その位置が前記改善された撮像位置のセットに最良に対応する２つの撮像デバイスを選択する選択手段
    を備える請求項１１に記載のシステム。

Images