JP7326442B2 - 広角画像からの視差推定 - Google Patents

Description

本発明は、1つの、典型的には複数の広角画像に基づく視差推定に関し、特に、魚眼カメラレンズを使用して取り込まれた画像からの視差推定に関する（但しこれに限定されるものではない）。

近年、画像およびビデオアプリケーションの多様性および範囲が大幅に増加しており、ビデオを利用し消費する新しいサービスおよび方法が、継続的に開発され、導入されている。

例えば、人気が高まっている1つのサービスは、観察者が能動的にシステムと対話してレンダリングのパラメータを変更できるような方法で画像シーケンスを提供することである。多くのアプリケーションにおいて非常に魅力的な特徴は、例えば、視聴者が、提示されているシーン内で動き回って「見回る」ことを可能にするなど、視聴者の有効な視聴位置および視聴方向(観察姿勢)を変更する能力である。

そのような特徴は特に、仮想現実体験がユーザに提供されることを可能にすることができる。これにより、ユーザは仮想環境内で(比較的)自由に動き回ることができ、ユーザの位置およびユーザが見ている場所を動的に変更することができる。典型的にはこのような仮想現実アプリケーションがシーンの3次元モデルに基づいており、このモデルは特定の要求されたビューを提供するために動的に評価される。このアプローチは、例えば、一人称シューティングゲームカテゴリーにおけるような、コンピュータ及びコンソールのためのゲームアプリケーションから周知である。

また、特に仮想現実アプリケーションでは、提示される画像が三次元画像であることが望ましい。実際、観察者の没入感を最適化するために、ユーザは、典型的には提示されたシーンを三次元シーンとして体験することが好ましい。実際、仮想現実体験は、好ましくはユーザが自分の位置、カメラ視点、および仮想世界に対する時間の瞬間を選択することを可能にするはずである。

シーンの、特に三次元の表現に基づく様々なサービスをサポートする際の主な問題は、大量のデータが必要とされることである。これにより、大きなストレージリソースの必要性など、リソース要件が高くなる。しかし、多くのシナリオでは、最大の制約はストレージ要件や処理要件ではなく、通信要求である。シーンを表すデータが、(内部であろうと外部であろうと)帯域幅が制限された通信チャネルを介して通信されなければならないことが要求される場合、通信される必要があるデータの量を減らすことが非常に望ましい。

多くの新しいコンテンツ・サービスの特別な問題は、コンテンツ提供の基礎となるシーンのキャプチャに対する要件が大幅に増加していることである。例えば、特に自由視点ビデオ仮想現実サービスサービスの場合、一般にキャプチャ時に未知である異なるビューポーズに対してビュー画像を生成することを可能にするデータを生成するために、シーンが異なる位置及び向きからキャプチャされることが必要である。

多くのシステムでは、シーンのより完全なキャプチャを得るために、異なる位置で異なる方向に向けられた比較的多数のカメラを使用してこれを達成する。必要とされる別個のカメラ/キャプチャおよび画像の数を減らすために、広角カメラ、およびしばしば魚眼レンズを採用するカメラのような極端な広角カメラを使用してシーンをキャプチャすることが望ましい。しかしながら、このような広角レンズは大幅な歪みを導入する傾向があり、実際の三次元シーンの画像に歪んだ投影をもたらす傾向がある。これは、多くの演算を大幅に複雑にするか、または劣化させる。特に、それは、異なる視点からの2つの画像を比較することに基づく視差及び奥行き推定を実質的に妨げるか又は複雑にする。

したがって、視差情報を決定するための改善されたアプローチが有利であろう。特に、改善された動作、容易化された動作、シーンの改善された表現、増加された柔軟性、容易化された実装、容易化された動作、特に広角キャプチャのための改善されたおよび/または容易化された視差推定、および/または改善された性能を可能にするアプローチは有利であろう。

したがって、本発明は、好ましくは上記の欠点の1つ以上を単独でまたは任意の組み合わせで軽減、低減または排除しようとするものである。

本発明の一側面によれば、装置が提供され、当該装置は、第1広角画像を受信する受信機であって、前記第1広角画像は少なくとも90°の視野角と第1投影とを有し、シーンポジションの垂直方向の画像位置が、シーンポジションから広角画像の光軸までの水平方向の距離に依存する、受信機と、前記第1広角画像にマッピングを適用して、修正された投影を有する修正画像を生成するマッパーであって、前記マッピングは、前記第1投影から透視投影へのマッピングと、それに続く前記透視投影から前記修正された投影の修正された垂直投影への非線形垂直マッピングに一致する垂直マッピング関数と、前記第1投影から前記透視投影へのマッピングと、それに続く前記透視投影から前記修正された投影の修正された水平投影への非線形水平マッピングに一致する水平マッピング関数とを提供する、マッパーと、前記第1広角画像とは異なる視点を表す第2画像に対する前記修正画像のための視差のセットを生成する視差推定器と、前記第1広角画像に適用されたマッピングの逆マッピングを適用することによって視差の更なるセットを前記第1投影にマッピングすることにより、前記第1広角画像のための視差の前記更なるセットを生成する視差マッパーと、を有する。

本発明は、多くの実施形態およびシナリオにおいて、広角画像のための、および広角画像に基づく、改善された、および/または容易にされた視差推定を提供することができる。通常、広角画像から、非常に高い解像度（すなわち、非常に多数の画素数）を有する大きな画像にこれらを変換することを必要とせずに、改善された視差推定を提供することができ、広角画像に直接関連する視差値を提供することができる。このアプローチは、大きな視野角に対して比較的低い解像度を維持しながら、改善された視差推定を可能にし得る。このアプローチは、典型的には、探索手順において魚眼画像投影を明示的に考慮する視差探索アルゴリズムを必要とせずに、改善された視差推定を提供することができる。魚眼画像投影を明示的に考慮するアルゴリズムは、今日使用されており、マッチングのために水平線ベースの走査を使用する多くの視差推定アルゴリズムの大部分の再設計を必要とするであろう。

このアプローチは、くの場合、水平視差推定が使用されることを可能にし、第1広角画像が例えば、所与のシーン位置/点に対する水平画像位置と垂直画像位置との間の共依存性を有するにもかかわらず、二次元視差探索の要件を除去または低減することができる。

このアプローチは、多くの実施形態において、狭角画像のために開発された既存の視差推定アルゴリズム及びルーチンの再利用を可能にすることができる。

このアプローチは、多くのシナリオにおいて、視差推定のためのより低い複雑度およびリソース使用を可能にし得る。例えば、多くの実施形態では、ラインベースの視差推定を使用することができる。

このアプローチは、垂直方向と水平方向で独立かつ異なるマッピングを可能にし得る。非線形マッピングは、水平方向および垂直方向に対する特定の要件に対して最適化されることができる。例えば、水平方向のマッピングは水平方向の視差推定を考慮して最適化されるのに対して、垂直方向のマッピングは視差推定を考慮せずに最適化されることができる。異なるマッピング関数が水平及び垂直方向に使用されることができ、個々のマッピング関数は、潜在的に、2つの方向に対する個々の特性及び要件に対して最適化される。垂直および水平マッピング関数は、異なっていてもよく、個別に最適化されていてもよい。

シーン位置は、第1広角画像で表される三次元シーン内の位置であってもよい。これはまた、この分野においてしばしば使用されるように、世界空間位置と呼ばれることもある。

シーン位置の垂直方向の画像位置は、垂直方向の画像位置が水平方向の画像位置に依存する可能性があるという意味で、水平方向の距離に依存する（場合によってはその逆もある）。

幾つかの実施形態に於いて、非線形垂直マッピングは、同じ垂直値及び異なる水平値を有する第1広角度画像内の少なくとも幾つかの位置について、反対方向へのマッピングを含む。

画像に対する投影は、画像上へのシーン点の投影/マッピング、又は、画像をキャプチャする画像センサ若しくは画像に対応するビューポート上へのシーン点の投影/マッピングを表すことができる。典型的には、実際の投影は画像のキャプチャに関与するレンズの特性に依存するが、投影は、シーン点の画像への投影/マッピングを表すものであり、そのような投影が実際にレンズで実装できるか（あるいは実際に全く実装できないか）は関係ないことが理解されるであろう。投影はシーン点から画像への任意の可能なマッピングに対応すると考えられ得、しばしば、数式として記述され得る（しかし、そのように記述される又は記述され得るということは要件ではない）。垂直投影は（一定の水平位置での）画像の垂直方向の投影、水平投影は（一定の垂直位置での）水平方向の投影である場合がある。

マッピングは、1つの画像から別の画像へのものであってもよく、具体的には、マッピングは、平面画像座標の1つのセットから平面画像座標の別のセットへのものであってもよい。第1広角画像および修正画像は平面画像であってもよい。マッピングは、第1広角画像の画像平面から修正画像の画像平面へのものであってもよい。

シーンを表す任意の画像は、本質的に、画像上へのシーンの投影を表す。画像の空間的な歪み（例えば、入力位置から異なる出力位置への画像位置のマッピング）が、修正された投影になる。

マッパーは、第1広角画像内の画像位置を修正画像内の画像位置にマッピングすることによって修正画像を生成するように構成されることができる。このようなマッピングは、第1広角画像から修正画像への投影の変化をもたらす。

非線形垂直マッピングと非線形水平マッピングは、一緒になって、出力垂直位置が入力垂直位置のみに依存し、出力水平位置が入力水平位置のみに依存するマッピングを形成することができる。非線形垂直マッピングは、垂直画像位置座標を垂直画像位置座標にマッピングすることできる。非線形水平マッピングは、水平画像位置座標を水平画像位置座標にマッピングすることができる。

本発明の任意選択の特徴によれば、非線形垂直マッピングのマッピング関数は、非線形水平マッピングのマッピング関数とは異なる。

このアプローチは、多くの実施形態において、改善されたおよび/またはより効率的な動作を可能にし得る。これらの非線形マッピングのマッピング関数の差は、水平及び垂直マッピング関数が異なる結果となる。

本発明の任意選択の特徴によれば、非線形垂直マッピングのマッピング関数は、非線形水平マッピングのマッピング関数よりも圧縮される。

これは多くの実施形態において改善された性能を提供することができ、特に多くのシナリオにおいて、より小さな修正画像（例えば、解像度またはピクセルカウントに関して）が生成されることを可能にすることができるが、依然として正確な視差推定を可能にする。

いくつかの実施形態では、非線形垂直マッピングは、画素及び／又は視野角の同じ範囲が、水平方向よりも垂直方向の方が小さな範囲の画素及び／又は視野角にマッピングされるという意味で、非線形水平マッピングよりも圧縮されることができる。

幾つかの実施形態に於いて、、広角画像の画像中心からの同じ（垂直方向と水平方向それぞれの）オフセットに対して、非線形垂直マッピングの勾配が非線形水平マッピングの勾配よりも小さいという意味で、非線形垂直マッピングは非線形水平マッピングよりも圧縮されることができる。

本発明の任意選択の特徴によれば、第2画像は、修正された投影を表す。

これは、多くの実施形態において、改善されたおよび/またはより効率的な動作を可能にし得る。視差推定は、センサ/画像/ビューポートへのシーンの同じ投影を持つ2つの画像に基づくことができる。

本発明の任意選択の特徴に従って、装置は、視差のセットおよび非線形水平マッピングに応じて、修正された画像に対する奥行きのセットを決定するように構成された奥行き推定器をさらに有する。

このアプローチは、効率的及び/又は高性能な画像に対する奥行きの推定を可能にし得る。

本発明の任意選択の特徴によれば、マッパーは、第1のマッピングを第1広角画像に適用して透視投影を有する中間画像を生成し、第2のマッピングを中間画像に適用して修正画像を生成することによって、マッピングを適用するように構成される。

本発明の任意選択の特徴によれば、マッパーは、第1のマッピングの一部として第1広角画像の平行化（rectification：レクティフケーション）実行するように構成される。

平行化は歪み補償を含むことができ、歪み補償は、第1の投影のための一般的なモデルに対する第1の投影の歪みの補償とすることができる。歪み補償は、第1広角画像を撮像したカメラの歪みの補償であってもよい。

いくつかの実施形態では、装置はさらに、第1広角画像及び修正画像の視差のセットから決定された視差から合成画像を合成するためのレンダラを有する。

このアプローチは、多くの実施形態において、画像の改善された合成を可能にし得る。合成は、元の広角画像、すなわち、マッピングによって導入され得る劣化およびアーチファクトのない画像に基づくことができる。合成画像は、第1広角画像の視点および第2画像の視点とは異なる視点用であってもよい。

いくつかの実施形態では、レンダラは、第1広角画像と第1広角画像の視差のセットとから合成画像を合成するように構成される。

本発明の任意選択の特徴によれば、マッパーは、第1広角画像を複数の画像セクションに分割し、各画像セクションにサブマッピングを適用することによってマッピングを実行するように構成され、複数の画像セクションのうちの少なくとも2つのサブマッピングは異なる。

これは、多くの態様において特に有利である可能性がある。例えば、それは、並列処理を容易にし、それによって、潜在的に、処理遅延を大幅に低減することができる。広角画像に対する視差推定値を決定するアプローチは、並列処理に特に適している可能性がある。

本発明の任意選択の特徴によれば、マッパーは、マッピングの一部としてステレオ平行化を実行するように構成され、ステレオ平行化は第2広角画像に対して行われる。

これは、改善された及び/又は容易にされた動作を提供することができる。

本発明の任意選択の特徴によれば、受信機は、第2広角画像を受信するように構成され、第2広角画像は、第1広角画像とは異なる視点用であり、少なくとも90°の視野角を有し、第1の投影を有し、マッパーは、第2広角画像にマッピングを適用することによって第2画像を生成するように構成される。

本発明の任意選択の特徴によれば、第1広角画像及び第2広角画像に対する光軸に対して異なる大きさの水平オフセットを有するシーン位置が、第1広角画像及び第2広角画像における異なる垂直位置に投影される。

本発明の任意選択の特徴によれば、マッピングは、第1広角画像および第2広角画像内の異なる垂直位置を、修正画像および第2画像内の同じ垂直位置にマッピングする。

本発明の任意選択の特徴によれば、非線形水平マッピングは、第1広角画像の中心までの水平距離の増加に伴って減少する勾配を有する。

これは、改善された及び/又は容易にされた動作を提供することができる。

マッピングは、第1広角画像内の所与の位置について、修正画像内の位置を決定することができる。非線形水平マッピングは、第1広角画像の中心までの水平距離が長くなるほど、修正画像における水平方向の画像位置の変化を減少させることができる。

この勾配は、透視投影にマッピングされた第1広角画像に対応する画像における水平方向の画像位置の差（デルタ）で除した修正画像における水平方向の画像位置の差（デルタ）として求めることができる。

いくつかの実施態様において、非線形垂直マッピングは、第1広角画像の中心までの垂直距離の増加に伴って減少する勾配を有する。

マッピングは、第1広角画像内の所与の位置について、修正画像内の位置を決定することができる。非線形垂直マッピングは、第1広角画像の中心までの垂直距離が長くなるほど、修正画像における垂直方向の画像位置の変化を減少させることができる。

勾配は、透視投影にマッピングされた第1広角画像に対応する画像における垂直方向の画像位置の差（デルタ）で除した修正画像における垂直方向の画像位置の差（デルタ）として求めることができる。

その位置が第1広角画像の中心から遠く、第1広角画像の端に近いほど、透視図にマッピングされた第1広角画像に対応する画像の画像位置の変化が与えられた場合に、修正画像における画像位置の変化が小さくなることができる。

本発明の一側面によれば、視差を推定する方法が提供され、当該方法は、第1広角画像を受信するステップであって、前記第1広角画像は少なくとも90°の視野角と第1投影とを有し、シーン位置の垂直方向の画像位置が、シーン位置から広角画像の光軸までの水平方向の距離に依存する、ステップと、前記第1広角画像にマッピングを適用して、修正された投影を有する修正画像を生成するステップであって、前記マッピングは、前記第1投影から透視投影へのマッピングと、それに続く前記透視投影から前記修正された投影の修正された垂直投影への非線形垂直マッピングに一致する垂直マッピング関数と、前記第1投影から前記透視投影へのマッピングと、それに続く前記透視投影から前記修正された投影の修正された水平投影への非線形水平マッピングに一致する水平マッピング関数とを提供する、ステップと、前記第1広角画像とは異なる視点を表す第2画像に対する前記修正画像のための視差のセットを生成するステップと、前記第1広角画像に適用されたマッピングの逆マッピングを適用することによって視差の更なるセットを前記第1投影にマッピングすることにより、前記第1広角画像のための視差の前記更なるセットを生成するステップと、を有する。

本発明のこれらおよび他の態様、特徴および利点は以下に記載される実施形態から明らかになり、それを参照して説明される。

異なる画像投影の例を示す図。 本発明のいくつかの実施形態による視差推定値を生成するための装置の要素の例を示す図。 異なる画像投影の例を示す図。 異なる画像投影の例を示す図。 本発明のいくつかの実施形態による、視差推定値を生成するための装置の要素の例を示す図。 本発明のいくつかの実施形態による、視差推定値を生成するための装置の要素の例を示す図。 広角画像の異なる表現の例を示す図。 図2の装置によって処理された広角画像のタイリングの例を示す図。

以下の説明は例えば、仮想現実又は3Dビデオアプリケーションに適した画像処理及び視差/奥行き推定に適用可能な本発明の実施形態に焦点を当てる。しかしながら、本発明はこのアプリケーションに限定されず、例えば、多くの異なる画像処理及びレンダリングアプリケーションに適用されてもよいことが理解されるのであろう。

多くのそのような実施形態では、シーンは複数の異なるキャプチャポーズからキャプチャされることができる。この分野では、配置またはポーズという用語は、位置および/または方向/向きについての一般的な用語として使用され、例えば、物体、カメラ、またはビューの位置および方向/向きの組合せが、実際には典型的に、ポーズまたは配置と呼ばれる。

多くの実施形態では、シーンは、複数のカメラを用いて、例えば、2つのオフセット画像を同時にキャプチャするステレオカメラを用いて、複数の異なるキャプチャポーズから同時にキャプチャされることができる。いくつかの静的シーンでは、画像は、異なるキャプチャポーズの間で動かすことによって、単一のカメラによって順次キャプチャされてもよい。

三次元シーンを特徴付けるために、視覚情報に加えて奥行き情報が望ましく、多くの実施形態では、奥行き情報は、異なる視点からシーンを見る対応する画像間の視差推定によって（例えば、動的シーンについて同時に）導出される。このような視差推定は、通常、キャプチャポーズから同じシーンオブジェクトまでのビュー方向間の視差を識別することに基づく。これは、典型的には。異なるキャプチャポーズからの画像内の対応するマッチングする画像領域/セグメント/オブジェクトを見つけて、それぞれの画像内のこれらの対応する画像部分間の画像位置のシフトを決定するプロセスによって達成される。

例えば仮想現実アプリケーションのような多くの実用的なアプリケーションでは、シーンの大きなセクションをキャプチャすることが望ましい。そのためには、広角カメラを使用すること、特に魚眼レンズカメラを使用することが多くのアプリケーションにおいて特に実用的である。このようなカメラは、典型的には、少なくとも90°の視野角を有し、多くの場合、180°又はそれ以上を含む。

しかしながら、このようなカメラは、画像をキャプチャする際に大幅な歪みを導入する傾向がある。実際には、全てのカメラはシーンの画像平面への投影から生じる若干の歪みを導入する傾向があるが、この歪みはより狭角度のカメラでは比較的小さいかまたは無視できることが多い。これとは対照的に、広角カメラの場合には、それはしばしば非常に重大である。

従来の狭角カメラは、シーンが画像平面上に投影されるために、ある程度の（レンズ）歪みが導入することがあるが、この歪みは典型的には小さく、これを例えば歪みのない透視投影に変換するために、画像に変換またはマッピングを適用することによって補正されることができる。

しかし、広角画像や広角カメラに対する歪みはしばしば極端である。これは、小さい同一の正方形の規則的な等距離グリッドの広角カメラによって生成された画像を示す図1の例によって例示され得る。図1は、透視カメラによる同一の正方形の規則的なパターンのキャプチャと、広角カメラによってキャプチャされた画像の両方を示す。図示のように、広角レンズによるパターンの画像/センサ平面への投影は、グリッド及び矩形のサイズ及び形状の両方に影響する実質的な歪みをもたらす。

図から分かるように、非常に大きな歪みが存在する。歪みは、広角レンズの結果であり、シーンの大部分を単一の画像でキャプチャしたいという要望から生じるトレードオフである。さらに、歪みは、水平位置と垂直位置との間の依存性を導入する。与えられたシーン点の垂直方向の画像位置は、シーン点の垂直方向の位置だけでなく、水平方向の位置にも依存し、すなわち、カメラの光軸とシーン点との間の水平距離に依存する。このように、撮影した広角画像では、垂直方向の位置と水平方向の位置は独立していない。

本発明者は、この大幅に増大した歪みは視差推定によって奥行き情報を決定する際に問題になり、典型的には、不正確な推定結果や信頼できない推定を含む大幅に低下した性能をもたらすことに気付いた。例えば、最新技術の視差推定器は、画像の端に向かうにつれて、推定される視差に不正確さをもたらす水平マッチングを実行する。また、このことは、これらの間違った視差から導出された奥行き推定値が信頼できないことを意味する。

別の重大な問題は、シーン内の水平線が画像内の水平でない線に投影される結果となることである（図1から分かるように、正方形の水平の列が、歪んだ正方形の（垂直方向に）アーチした列に変換される）。ほとんどの視差推定アルゴリズムは、画像水平視差を決定することに基づいており、これは、これらが従来はシーン水平視差に対応し、それによって、水平に向けられた人間の目の間の視差を反映するからである。しかしながら、これもはや広角画像に対して有効な仮定ではないので、既存の視差推定技術を使用することはできない。これは、後方互換性を妨げるという点で実用的ではなく、既存のアルゴリズムの再利用を妨げるため、新たなアルゴリズムを開発することを必要とし、視差推定が大幅に複雑さとリソース使用量を増加させる完全に二次元の視差推定アルゴリズムでなければならないという要件をもたらす。また、視差が水平方向のみであるという制約の仮定はもはや有効ではないので、典型的には、性能の低下をもたらす。具体的には、この特徴が既存のラインベースの視差推定アルゴリズムが使用されることを妨げる。

本願発明者はまた、（狭角画像に適したアプローチに対応する）透視投影を有する中間画像へと画像を単純に変換することは、非常に大きな画像サイズ（非常に高い解像度/画素数）を必要とするので、典型的には実用的でないことを認識した。

画像中心の解像度を維持しながら、広角画像を透視投影にマッピングすることは、非常に高い解像度を必要とする非常に大きな画像をもたらす。例えば、典型的なセンサは、水平方向に4000ピクセル×垂直方向に3000ピクセルのサイズを有する場合があり、そのようなセンサからの広角画像から生じる歪んでいない透視投影画像は、典型的には、少なくとも12000×9000ピクセルの解像度を必要とし得る。このような大きな画像は、実用的でない傾向がある。対照的に、典型的な現在の視差推定器（ソフトウェア/ハードウェア）は、水平方向に1920ピクセル、垂直方向に1080ピクセルの入力画像解像度に対して設計される。このような大きな画像は実用的でない傾向があり、過剰なリソース要求を有する。例えば、これらは、リソース要件が高すぎるため、ほとんどの既存の視差推定アルゴリズムには適していない。例えば、水平視野が160度の場合、歪んでいない透視画像は、元の広角画像と比較して（両方の寸法で）3倍の大きさになる場合がある。これは、9を超える係数で画素数が増加することを意味する。したがって、視差推定のコストも大幅に増加する。

図2は、広角カメラからの視差推定装置の一例を示す。この装置は、本発明者が上記の問題のいくつかに対処することができることを認識したアプローチに従い、特にマッピングを利用する。特に、多くのアプリケーションにおいて、既存の視差推定アルゴリズムの再利用を可能にし、非常に大きな画像に対する要件を回避することができる。

この装置は、視差推定が行われるべき少なくとも1つの広角画像を受信するように構成された受信機201を備える。典型的には、受信機201は、異なる撮キャプチャ位置に対応する複数の広角画像を受信するように構成されてもよく、視差推定は異なる画像間の視差を見つけることに基づいている。しかしながら、いくつかの実施形態では、単一の広角画像を受信し、例えば、別のキャプチャ位置からキャプチャされたより狭角の画像と比較して、視差推定はこれに基づいてもよいことが理解されよう。

広角画像は、具体的には、少なくとも1つの方向において、典型的には水平方向において、少なくとも90°の視野角に対応する。広角キャプチャは、先に説明したように、比較的多くの歪みを有する、画像平面上へのシーンの投影を表す画像をもたらす。さらに、投影は、世界空間位置の垂直方向の画像位置が、世界空間位置から画像の光軸までの水平距離に依存するようになっている。レンズの光軸は、例えば、その方向に沿って光の変化が最も小さい線として定義されてもよい。

光軸と一致するシーン点は、通常、画像の中心またはその近傍に投影される。カメラはセンサに関して固有の向きを持ち、従って、キャプチャされるシーン内の水平方向に対応する向きを持つ。典型的には、カメラは、シーンにおける水平方向の向きと整合するように意図された向きを有するように、それらの向きが一致するように配置されることによって、物理的に配置される。

水平方向及び垂直方向という用語は、この分野において一般的な用語であり、典型的には、画像及び画像センサの直交する方向を示すために使用されることが理解されるであろう。矩形の画像やイメージセンサでは、一方の方向（2つの平行なエッジの方向）を水平方向、他方の方向（他の2つの平行なエッジの方向）を垂直方向と呼び、名目上は、キャプチャされているシーン/世界内の水平方向に水平方向が対応し、キャプチャされるシーン/世界内の垂直方向に垂直方向が対応するように、撮像素子を配置する。

キャプチャされた画像に関しては、これに応じた水平方向および垂直方向を有する。画像は、典型的には、規則的なグリッド又はマトリックスに配列された画素のアレイであり、水平画像方向はグリッド/マトリックスの行に対応し、垂直方向はグリッド/マトリックスの列に対応する。この広角画像は、センサによるキャプチャから生成され、従って、センサは水平方向と垂直方向を有する。典型的には、カメラは、キャプチャが実行されるとき、センサの水平方向がシーン空間内の水平方向に位置合わせされ、センサの垂直方向がシーン空間内の垂直方向に位置合わせされるように配置される。

従来の狭角画像の場合、シーン空間のセンサへの投影は、シーン点（すなわちシーン空間内の点）に対する画像内の位置（および同等にセンサの投影点）が、シーン内の対応する方向から独立して与えられるという意味で、2つの方向が実質的に独立しているような投影である。このように、水平方向の画像/センサ位置は、シーン点の（光軸に対する）水平位置によって決定され、シーン点の（光軸に対する）垂直位置とは無関係である。同様に、垂直方向の画像/センサ位置は、シーン点の（光軸に対する）垂直位置によって決定され、シーン点の（光軸に対する）水平位置とは無関係である。したがって、狭角画像の場合、シーン内の所与の点に対する水平方向の画像位置は、画像センサの水平方向に平行な軸に沿ったその点の位置に依存する。同様に、シーン内の所与の点に対する垂直方向の画像位置は、画像センサの垂直方向に平行な軸に沿ったその点の位置に依存する。

しかしながら、受信機201によって受信される広角画像については、これもはや当てはまらない。具体的には、画像内のシーン点の垂直位置は、シーン点の垂直位置だけでなく、シーン点の水平位置にも依存する。したがって、所与のシーン点について、シーン点を、（水平方向における）中心の方でキャプチャするか、画像の端の方でキャプチャするかによって、垂直位置が異なる。

言い換えれば、 シーン内の任意の点の垂直方向の投影位置がシーン点の垂直方向の位置（すなわち画像センサの垂直方向に平行な方向におけるシーン内の位置）だけに依存するのではないように、シーンが画像センサに投影される。むしろ、垂直位置は水平方向の位置にも依存する。従って、センサの垂直軸の周りに（すなわち、垂直方向にセンサ位置を変えずに）カメラを回転させると、所与のシーン点は、水平方向の画像位置を変えるだけでなく垂直方向の画像位置も変えることになる。

従って、魚眼レンズカメラのような広角カメラでは、垂直及び水平方向の画像位置は独立ではなく、具体的には、垂直方向の画像位置は水平方向の画像位置に依存する。

この効果は、画像の端部に向かって移動するにつれて垂直位置が中心から次第にずれていく、歪んだ正方形の円弧にどのように正方形の水平線が投影されるかを明確に示す図2の例において、明確に見ることができることに留意されたい。

多くのシナリオにおいて、水平位置への依存性は重大であり得る。例えば、この依存性/投影は、同じ垂直方向のシーン位置に対する広角画像の中心と端での垂直位置の差が、垂直方向の画像サイズの1%を超える可能性があるようなものである場合がある。1%の垂直シフトは、例えば約10ピクセルに相当する画像高さ1080の1%に相当するので、すでに問題となる。水平マッチングを使用する視差推定器は、ステレオペアの左右の画像間の垂直シフトがたった1ピクセル以上である場合でも、すでに性能に影響を受ける可能性がある。

この例では、シーンパターンは、ほぼ円形のパターンに投影され、画像の中心によって表されるカメラ・画像の光軸までの距離が長くなるほど、正方形間の距離や正方形のサイズが大幅に減少する。

受信機201は、広角画像を、画像上へのシーン/世界の異なる投影に対応する修正された画像にマッピング/変換するように構成されたマッパー203に結合される。修正された画像は、特に、広角画像と同じビューポートに対応する/表すが、画像/ビューポート/画像センサ上へのシーンの異なる投影を表すように生成される。

マッパー203は、修正された画像と、異なる視点からのシーンのキャプチャを表す少なくとも1つの他の画像とを受信する視差推定器205に結合される。視差推定器205は、視差推定を実行して、第2の画像に対する修正された画像の視差のセットを生成するように構成される。したがって、視差推定器205は、それぞれの画像オブジェクトの奥行きを示す視差情報を生成することができる。

視差推定器205は、例えば、2つの画像内の対応する画像オブジェクト/点を見つけ、2つの画像内のこれらの位置間の（おそらく水平方向のみの）距離として視差を決定することによって、視差推定を実行することができる。

この例では、装置が異なる視点の画像を合成するように構成されたレンダラ207をさらに備える。例えば、レンダラ207は、修正された画像及び決定された視差のセットに基づいて、キャプチャされた視点/ポーズとは異なるビューポーズからの画像を合成することができる。このような処理は、例えば、当業者に知られているビューシフトアルゴリズムを適用することができる。

図2の装置では、マッパー203は、シーンの画像上への（等価的にセンサ/ビューポート/画像平面上への）第1の投影を表す広角画像を、シーンの画像上への（等価的にセンサ/ビューポート/画像平面上への）基礎となる第2の異なる投影を表す修正画像に変換するように構成される。マッパー203のマッピングは、広角画像内の位置を修正画像内の位置にマッピングすることによって実行される。広角画像内の所与の位置における画像値は、それに応じて、修正画像内のマッピングされた位置における画像値を提供するようにマッピングされることができる（画像値は、広角画像内または修正画像内の直接の画素値であってもよく、あるいは例えば、画素位置と一致しない位置については、広角画像内または修正画像内の補間値であってもよい）。そのようにして、マッピングは、広角画像内の画像位置を修正画像内の画像位置にマッピングすることができる。マッピングは、広角画像内の位置の関数として修正画像内の位置を提供する空間マッピングであってもよく、またはその逆であってもよい。修正画像は、広角画像内の位置と修正画像内の位置との間の1対1のマッピング関数を使用して生成されることができる。マッピング関数は、修正画像内の位置から広角画像内の位置を提供する関数、および/または、広角画像内の位置から修正画像内の位置を提供する関数とすることができ、一方の関数は他方の関数の逆である。

マッピングは、水平マッピング関数および垂直マッピング関数を使用して実施される。これらの各々は1対1の関数であってもよく、いずれかの方向（すなわち、広角画像から修正画像へ、またはその逆）にマッピングしてもよく、典型的には、逆方向のマッピングは逆関数によって表される。

したがって、広角画像と修正画像との間のマッピングは、シーンから画像/ビューポート/センサへの異なる投影を有する（同じビューポートについての）2つの画像の間のマッピングである。

マッパー203は、第1の投影から透視投影へのマッピング、それに続く、透視投影から修正投影の修正された垂直投影への非線形垂直マッピングと、透視投影から修正投影の修正された水平投影への非線形水平マッピングに対応する、修正投影を有するように、修正画像を生成するように構成される。マッピングは、2つのマッピング関数、すなわち、垂直マッピング関数および水平マッピング関数を提供することができる。これらの関数は、異なるものであってもよく、典型的には、2つの方向の選好および要件に対して最適化されることができる。

垂直マッピング関数は、第1の投影から透視投影へのマッピングと、それに続く透視投影から修正投影の修正された垂直投影への非線形垂直マッピングから得られる関数に一致する。水平マッピング関数は、第1の投影から透視投影へのマッピングと、それに続く透視投影から修正投影の修正された水平投影への非線形水平マッピングとから得られる関数に一致する。

マッパー203は、最初に、修正された画像を透視投影を有する中間画像にマッピングする動作を実行することができる。透視投影は、水平方向の画像の座標がシーン奥行きで割った水平方向のシーンの座標に比例し、垂直方向の画像の座標がシーン奥行きで割った垂直方向のシーンの座標に比例するという簡単な投影式で特徴付けられる。一般的には、左右の魚眼画像は、同時に、結果としてのステレオペアが垂直に整列てラインごとにステレオマッチングができるようにカメラヘッドの歪み補正と回転が実行された2つの新しい視点の仮想ビューポイントに変換される。この第1のマッピングは、水平および垂直マッピング関数の第1の部分を実施するために単一の演算で実行される2次元マッピングであってもよい。

次に、マッパー203は、非線形マッピングを中間画像に適用してもよく、水平方向及び垂直方向のこの非線形マッピングは、同一であってもよいし、異なっていてもよい。これは、2つの方向に対して別個であり、典型的には異なる全体的なマッピングをもたらし、すなわち、垂直マッピング関数および水平マッピング関数が達成される。このアプローチは、水平方向および垂直方向におけるマッピングの個々の最適化を可能にし得る。

非線形マッピングは、透視投影における等距離点間の距離が画像の（具体的には光軸に対応する）中心までの距離と共に減少するようにすることができる。したがって、非線形マッピングは、中間画像における距離の圧縮が、画像の中心から離れるにつれてますます圧縮される、すなわち、圧縮が画像の端に向かって増加するようなマッピングである。したがって、非線形マッピングは、広角画像内の位置の修正画像内の位置へのマッピングの勾配が位置が画像の端に近いほど、また画像の中心から遠いほど、減少するようにすることができる（距離は、それぞれ非線形水平マッピングおよび非線形垂直マッピングについての水平距離または垂直距離である）。

したがって、マッパー203は、以下のシーケンスに対応するマッピングを適用することによって、広角画像を、異なる基礎となる投影を有する修正画像に変換する空間画像変換を適用することができる:
1. 透視投影への第1のマッピング/転写；
2. 特に水平方向と垂直方向で異なるものであり、垂直方向の出力位置が垂直方向の入力位置にのみ依存し、水平方向の出力位置が水平方向の入力位置にのみ依存するように、水平方向と垂直方向で別々になっている第2の非線形マッピング（従って第2のマッピングは修正されたステレオペア画像の間に垂直方向の視差が生じないという特性を提供する）

これは、元の広角画像の変換されたバージョンであるが、水平方向の位置に対する垂直位置の依存性が除去され、可変の有効解像度を表し得る投影を有する、修正された画像をもたらし得る。この可変解像度は、解像度と画像サイズとの間の最適なトレードオフを提供するようにさらに制御されてもよく、さらに、水平方向および垂直方向に個々に最適化されることができる。

記載されたアプローチの特定の利点は、非常に効率的な視差推定を可能にし得ることである。具体的には、このアプローチは、視差推定が水平視差のみを考慮する必要がある修正画像を生成することができ、したがって、一致する画像セクションの探索を水平探索に限定することができる。実際、このアプローチは、ラインベースの視差推定を可能にすることができる。さらに、修正された画像は、管理可能なサイズに維持され、しかも妥当な解像度を提供するように、生成されることができる。例えば、画像の中心における解像度は広角画像の解像度と同じに維持され、同時に、画像の端に向かって解像度を減少させて、画像サイズと、画像の端における視差推定の必要な精度との間の所望のトレードオフを提供することができる。

アプローチの利点は、非線形マッピングを垂直方向及び水平方向に個々に最適化することができることである。これは、水平マッピングが、効率的な水平マッチングおよび推定を可能にするために、視差推定のために最適化されることを可能にし得る。視差推定は、水平方向の視差のみを考慮することに基づいてもよいので、垂直非線形マッピングは視差推定のこれらの態様を考慮することなく最適化されることができる。

したがって、多くの実施形態では、異なるマッピング関数を水平方向および垂直方向に使用することができ、すなわち、垂直および水平マッピング関数を異なるものとすることができる。具体的には、修正画像における中心点までの距離と広角画像における中心点までの距離との関係が水平方向と垂直方向で異なっていてもよい。

このアプローチの特定の利点は、多くの実施形態において、既存の視差推定アルゴリズムが使用されることを可能にし得ることである。例えば、多くの視差推定アルゴリズムは、（例えば、透視投影による）狭角画像のために開発され、説明されたマッピングによって生成される修正画像は、多くの場合、そのような既存の視差推定技術と共に使用され得る。

前の例では、広角画像から修正画像へのマッピング/変換は、最初に中間画像を生成し、次に修正画像を生成する2段階プロセスによる。これは、例えば、透視投影に対応する（そして、例えば、画像中央の解像度を低下させることなく）大きな中間画像を生成し、次いで、これをより小さな修正画像にマッピングすることによって実行されるとができる。しかしながら、多くの実施形態では、マッピング/変換は、広角画像の位置と修正画像内の位置との間の単一の組み合わせマッピングを使用して、広角画像を修正画像に直接マッピングする単一の動作で実行されてもよい。例えば、修正画像における各画素位置について、投影変換を表す所定の位置マッピングが広角画像内の位置を定めることができる。そして、（例えば、隣接する画素値の適切な補間によって生成される）この位置での画像値は、修正画像中のこの画素に適用され得る。

したがって、透視投影への第1のマッピングと、それに続く非線形マッピングとを含む2つのステップ関数として垂直および水平マッピング関数を実施するのではなく、マッピング関数は、広角投影を透視投影に最初にマッピングしてその後に第2の非線形マッピングを行うことから得られるマッピングに一致する、直接的な一ステップ関数によって実現されることができる。

上述のように、視差推定は、修正画像と、異なる視点からのシーンを表す第2の画像との間で実行される。第2の画像は、別のプロセスによって生成されることが可能であり、例えば、シーンの狭角度画像（又は複数の狭角度画像によって形成される合成画像）であってもよい。この場合、狭角画像は、典型的には、視差推定を容易にするために、修正画像と同じ投影にマッピングされる。したがって、典型的には（必ずしもそうである必要はないが）、視差推定に使用される修正画像および第2の画像は、シーンから画像への同じ投影を使用する。

ほとんどの実施形態では、第2の画像は、修正画像と同じ方法で生成され、すなわち、視差推定は、順次、画像を透視投影にマッピングしてその後の個々の水平および垂直マッピングすることに対応するマッピングによる広角画像のマッピングから得られる第2の/修正投影を共に使用する少なくとも第1および第2の修正画像に基づく。

したがって、いくつかの実施形態では、受信機201がさらに、少なくとも90°の視角および第1の画像と同じ投影を有する第2の広角画像を受信することができる。マッパー203は、この画像に対して同じ演算を実行し、それによって、視差推定を実行することができる第1および第2の修正画像を生成することができる。

このような例では、通常、同じシーン点/位置は、画像の光軸および中心に関して異なるオフセットでカメラによってキャプチャされることに留意されたい。広角効果により、シーン点/位置は、それに応じて2つの広角画像の異なる水平な位置となる。その結果、2つの広角画像における同じシーン点の垂直位置は、典型的には異なる。しかしながら、修正画像へのマッピングは、シーン点に対して異なり、同じシーン点に対応する2つの修正画像内の垂直位置が同一であり、すなわち2つの修正画像内で同じ垂直位置であるが、異なる水平方向の位置にマッピングされる。水平方向の位置の間の差が視差推定器205によって決定され、シーン点に対応する第1の修正画像内の位置に対する視差値を提供することができる。

実用的な例として、周知のOpenCVライブラリからの較正ツールを使用して、2つの入力魚眼画像を、それぞれ透視投影に続いて、歪んでいないステレオ修正画像対に変換する第1のマッピングを決定することができる。ステレオ平行化は、入力魚眼座標系のそれぞれに適切な回転を適用することによって、光軸を整列させる。現在のアプローチは次に、この出力への非線形マッピングを変換する第2のマッピングを導入することができる。両方のマッピングの方程式を組み合わせて、単一の組み合わせマッピングを構築することができる。このマッピングは、リマップテーブルに格納できる。任意選択で、このマッピングの逆も、魚眼座標系への視差/奥行きの後のバックマッピングのために記憶されることができる。

以下では、このアプローチを説明するために、具体的な例を説明する。この例では、以下の式（１）の関係を使用してシーン点に対する水平角度をセンサ上の位置にマッピングする透視投影が考慮される:

ここで、θは水平（または原則として垂直）光軸外れ角度［radian］であり、ｆはレンズ焦点距離［m］であり、ｒはセンサの光学的中心から投影点までの距離［m］である。

対照的に、魚眼レンズのような広角レンズは、例えば、一定の角度解像度をもたらし得る。例えば、fシータ魚眼レンズは、以下の式（２）の投影をもたらすことができる:

ここで、解像度はすべての角度で等しい。したがって、すべての方向を見回して、すべての方向に一定の画像解像度を得ることを望む仮想現実アプリケーションにとって、このような魚眼レンズは非常に魅力的である。図1は、このようなレンズを備えたカメラを用いて正方形のグリッドをキャプチャする場合の結果として生じる画像の一例を示す。

この画像は受信機201に提供され、それを修正画像にマッピングするマッパー203に供給される。第1広角画像と変換された修正画像の両方を示す修正画像の一例が図3に示されている。図からわかるように、このマッピングは、修正された画像が元の水平位置を維持するようなマッピングであり、すなわち、正方形の各行が、修正された画像内で矩形の水平なラインとして表される。さらに、非線形マッピングは、距離が画像の端に向かって次第に圧縮されるように、垂直方向及び水平方向に歪みを生じる。しかしながら、圧縮/歪みは、特定の意図された目的のために最適化されることができ、レンズまたは広角画像の特性によって与えられるものではない。変換は、元の魚眼画像と同じセンサ領域をカバーすることができる。この変換によって、正方形のスケーリング/歪みも生じることがわかる。

マッパー203によって実行されるマッピング/変換の特定の例を説明するために、キャプチャされた魚眼画像、すなわち、受信された広角画像における画像座標を示してもよい。式（2）から出発して、軸外れ角度は次の式（３）のように導出することができる:

式（1）にこれを代入すると、次式（４）の歪みのない半径が得られる:

単一の広角画像に対する（透視投影への）第1のマッピングは、以下のようになる:

ここで、. φ＝atan2(v,u)である。

この変換は、まず式(1)をθについて解き、次にθを式(2)に代入することで、第2のマッピングをuとvに対して別々に、つまり水平方向と垂直方向に個別に適用することができる。式（5）および式（6）を挿入し、以下が得られる:

これにより、広角画像内の所与の位置に対する修正画像内の画像位置を決定することができる。

多くの実施形態では、マッパー203は、マッピングの一部としてステレオ平行化を実行するように構成されることもできる。ステレオ平行化は、通常、異なるカメラによって生成される別の広角画像に対して提供される。具体的には、マッパー203は、視差推定に使用される2つの画像を生成するために使用される、ステレオカメラセットアップのためのステレオ平行化を含み得る。ステレオ平行化は、整列されたステレオペアを実行するために使用される演算であり、従って、入力画像の3D座標系の各軸の回転を実行する。また、各々の入力カメラ画像に対してセンサシフトを適用する場合もある。ステレオ平行化のための異なるアルゴリズムおよび手法が知られており、マッパー203によって適切なアプローチを使用することができることが理解されよう。

このアプローチの結果は、歪み及びステレオ平行化の両方を補償する透視投影/ビューへの第1のマッピングであってもよい。

を以下の関数として透視座標を作成する、結果として生じるマッピングとする:

較正された一対の広角画像カメラに対して、ここで提案された変換を次式のように実行することができる:

ここで、全変換を新しいマップ

に記憶することができる。したがって、結合された第1および第2のマッピング（透視投影へのマッピング、次いで修正された非線形投影へのマッピング）に対応する単一のマッピングを使用して、入力広角画像から修正された画像に直接マッピングすることができる。この修正された画像は視差推定に特に適しており、具体的には、多くの実施形態において、標準的なラインベースの視差推定の使用を可能にする。

このアプローチの特別な利点は、水平及び垂直方向において異なるマッピングを可能にすることができることである。したがって、多くの実施形態では、非線形垂直マッピングは非線形水平マッピングとは異なり、すなわち、異なるマッピング関数を水平方向および垂直方向に使用することができる。

具体的には、多くの実施形態では、非線形垂直マッピングは非線形水平マッピングよりも圧縮されてもよい。例えば、水平方向におけるマッパー203のマッピング関数の勾配は、垂直方向におけるマッパー203のマッピング関数の勾配よりも小さくてもよい。また、広角画像の中心までの距離が長くなるにつれて勾配が減少してもよい。

このようなアプローチの例を図4に示す。この例では、正方形の広角画像が水平方向により大きな拡張を有する修正画像にマッピングされ、すなわち、正方形の広角画像は、その高さよりも幅が広い修正画像にマッピングされる（図示された正方形画像が画像の正方形セクションに対応し得ることが理解されるであろう）。したがって、この例では、広角画像の中心に対する所与のオフセット（垂直または水平方向）に対して、マッピングの勾配は垂直マッピングよりも水平マッピングの方が低い。

このようなアプローチは、例えば、全体的な画像サイズを減少させながら、水平方向の視差推定を容易にし又は改善することができる。また、多くの実施形態では、複雑さおよびリソース要件を低減することによって、ハードウェア実装を容易にすることができる。

具体例として、上記の特定の例では、垂直方向と水平方向とで異なる焦点距離を選択してもよい:

例えば、f_u=1及びf_v=0.8と設定すると図4の例のような結果となる。

以前の説明では、修正された画像について視差値が決定され、修正された画像および決定された視差値は、その後、異なる視点についての画像を合成するために使用される。

いくつかの実施形態では、装置は、視差値を、広角画像の視差値、すなわち修正画像の修正投影ではなく入力広角投影に関連する視差にマッピングする機能を含むことができる。

例えば、図5に示すように、装置は、修正画像から決定された視差のセットを広角画像の投影にマッピングすることによって、広角画像の視差のセットを生成するように構成された視差マッパー501を備えることができる。これは、修正画像を生成するために広角画像に適用されたマッピングの逆マッピングを適用することによって達成される。したがって、視差推定に続いて、視差値は、修正された画像の座標(u_trans, v_trans)に保持されてもよく、または入力画像の座標(u, v)に変換されて戻されてもよい。

一例として、式（7）および（8）は、変換された画像の座標(u_trans, v_trans)の関数として座標(u, v)が書き込まれ得るように反転され得る。別のアプローチは、再マッピングテーブルの新しいマップ

を単に再使用し、それを数値的に反転して

を生成することである。

視差が広角画像に対して生成される例では、いくつかの実施形態では、これらは広角画像とともにレンダラ207に提供されてもよく、レンダラ207は、広角画像および関連する視差に基づいて異なる視点の画像を合成するように構成されることができる。レンダリングアルゴリズムは、この場合、既知のカメラ固有の特性（焦点距離、歪みパラメータ）および外因性（回転）パラメータを使用して、OpenGLにおけるメッシュ生成中に平行化を実行することによって、広角画像の歪みを考慮に入れてもよい。これは、いわゆる頂点シェーダにおいて、画像座標が3D(x, y,z)シーン座標を計算するためにサンプリングされた奥行きマップ値と結合される前に、画像座標が最初に、修正された透視画像座標に変換されることを意味する。したがって、基本的に、undistort/rectify演算は、OpenGLの頂点シェーダとフラグメントシェーダによって実装されるテクスチャマッピング演算の一部になる。

このようなアプローチは、オリジナルの（フィルタリングされていない）画像が画像合成/レンダリングのための基礎を形成することを可能にするので、多くのシナリオにおいて好ましいだろう。

上記の例では、視差推定が1つまたは複数の画像を合成するときにレンダラ207によって直接使用された視差値を提供した。いくつかの実施形態では、例えば、図6の例のように、装置は視差のセットから修正画像の奥行きのセットを決定するように構成された奥行き推定器601を備えることができる。奥行き推定器601は特に、視差値の各々について奥行き値を決定することができる。

しかしながら、そのためには、奥行き推定器601は、実行されるマッピング、具体的には非線形水平マッピングを考慮しなければならない。非線形水平マッピングは、画像の視差/距離と現実世界の視差/距離との間の関係に影響を及ぼし、したがって、決定された視差と現実世界の奥行きとの間の関係に影響を及ぼす。

奥行きを決定するためのアプローチは、世界空間における座標への透視投影方程式を考慮することに基づいてもよい。このアプローチは、広角画像の場合に値(u, v)及びD(u, v)を考慮することができ、または修正画像の場合値(u_trans, v_trans)及びD(u_trans, v_trans)を考慮することができ、前者はそれぞれの画像内の位置を示し、後者は、その画像内の推定画像視差を表す。これらから、透視投影において、対応する値(u_perspective, v_perspective)及びD_perspective(u_perspective, v_perspective)を計算する。この投影における視差値は、シフトとして決定されることができるが、各々が透視投影に従う2つの画像に関連する。そして、このような歪んでいない、修正された画像ペアについては、観察される視差と奥行きとの間に単純な関係がある。透視投影における決定された視差から、センサシフト、焦点距離およびベースラインのみを使用して、3D(x, y,z)座標が計算されることができる。たとえば、OpenCVコンピュータビジョンライブラリは、画像座標と視差から同次座標におけるx, y,zへのマッピングを実行する奥行きマトリックスに視差を提供する。したがって、決定された奥行き値は、広角画像または修正画像それぞれにおける座標(u, v)または(u_trans, v_trans)の関数として、記憶されることができる。奥行きが透視投影に関連することを我々が認識する限り、レンダリング中にこれを補償する。

いくつかの実施形態では、マッパー203は、広角画像を複数の画像セクションに分割し、次いで、各画像セクションにサブマッピングを適用することによってマッピングを実行するように構成されてもよい。このような場合、それぞれの画像セクションにおける特定のサブマッピングは異なるであろう。具体的には、例えば、前述のように、画像全体について或るマッピングが決定されることができ、次いで、各画像セクションで実行されるべき対応するマッピングが決定され、サブマッピングとしてその画像セクションに適用されることができる。このようなアプローチは、多くの実施形態において有利であり得る。具体的には、それは、マッパー203の機能を実施するために並列処理を使用することを容易にするか、または可能にすることができる。これは、多くの実施形態において、はるかに高速な動作を可能にし、例えば、ビデオストリームの広角画像（すなわち、広角フレーム）のリアルタイム処理を可能にすることができる。

特定の例として、多くの実施形態又はシナリオでは、広角画像をタイルに分割することが有利であり得る。次に、各タイルを別々にマッピングすることができ、実際には、各タイルについて別々に視差推定を実行することができる。

図7は、等価な非歪曲透視画像の大きさ［ピクセル単位］に対する入力広角画像の大きさ［ピクセル単位］を示す例を示す。図8は、図7の歪んでいない画像の3つのタイルへの考え得る分割および非線形スケーリングを示す図である。各タイルは2000x1000 ピクセルの大きさであり、これは視差推定に適したサイズである。非線形スケーリングはタイルごとに異なることに留意されたい。

上記では広角（魚眼）キャプチャシステムに関する例示的な実施形態について説明したが、多くのそのような画像キャプチャシステムには、いくつかの座標系およびマッピングが存在する。

第1に、キャプチャされている現実世界は、典型的にはキャプチャポーズから独立した実世界座標系によって表される。カメラの位置と方向に基づいて実世界が表現される実世界座標はカメラ座標系と呼ばれ、つまり、カメラ座標系は、カメラポーズに基づく実世界の3D座標を反映する。従って、カメラ座標系は、キャプチャカメラのポーズと空間的に同期した3D実世界座標系であると考えることができる。

画像のキャプチャはカメラ座標系を画像座標系に投影する。つまり、3Dカメラ座標X、Y、Z（または球座標で表される）から2D画像座標（例えば、(u, v);(x*,y*))への変換がある。

3Dカメラ座標から2D画像座標への異なる投影が知られている。一般的なものには、等距離投影r=fθおよび透視投影r=f tan(θ）が含まれる。これらの投影は、実世界の3次元から2次元平面への投影を表す。

説明されたアプローチは、実世界から2D画像平面へのそのような投影とは異なるマッピングを対象とし、すなわち、それは2D画像座標の1つのセットから2D画像座標の別のセットへのマッピングを導入し、すなわち、このアプローチは、2つの画像間の2Dから2Dへのマッピングに関連する。具体的には、マッピングは第1広角画像から修正画像へのものであり、すなわち、それは画像間マッピングであり、実世界から画像平面へのマッピングではない（すなわち、3D実世界からキャプチャされた画像への投影ではない）。

投影という用語は、典型的には、2D平面座標への3D（例えば、球面）座標の投影、および/または、シーン/カメラ座標系から画像平面座標系への投影を指すことができる。マッピングという用語は、典型的には、画像座標系間のマッピングを指すことができ、具体的には、マッパー203は2つの（平面）画像間をマッピングするように構成される。マッパー203は、2Dマッピングを行う。

さらに、この2Dマッピングは、2つのサブマッピングを含むことができる。

第一は、第1広角画像（一般的には広角カメラでキャプチャされた画像）における2D画像座標（u, v）から中間画像の2D画像座標（Uperspective、Vperspective）へのサブマッピングである。

第二は、中間画像の2D画像座標（Uperspective、Vperspective）から修正画像（Utrans、Vtrans）の2D画像座標へのサブマッピングである。

これらの（サブ）マッピングはすべて、2D画像座標間の2Dマッピングである。それらは、異なる2D画像座標系間でマッピングする。これらは、3D実世界またはカメラ座標から2D画像座標へのマッピングではない。

もちろん、投影は、3Dシーンから、その3Dシーンをキャプチャする任意の2D画像まで、本質的に存在する。投影は、（例えば、ビュースフェアによって表される）3Dシーンの座標が画像平面内の座標にどのように投影されるかを表す。したがって、第1広角画像、（潜在的に仮想的である）中間画像、及び修正画像のそれぞれは本質的に、カメラ座標から画像座標への投影を有する（投影はそれぞれの画像に対して異なる）。

第1広角画像で表される3Dカメラ座標からの投影は、画像をキャプチャするカメラの特性に依存する。本実施例では、画像は、シーン位置の垂直方向の画像位置がシーン位置から広角画像の光軸までの水平方向の距離に依存する投影を持つ広角画像である。それはエピポーラ投影ではない。

特定の投影は、もちろん、潜在的な歪みなどを含むカメラの特性に依存する。現在のアプローチは、カメラによって実施されている特定の投影、または任意の特定の投影を有するキャプチャされた画像に依存しない。

広角キャプチャは、適切なカメラモデルによってモデル化されることができる。魚眼レンズの一般的なモデルは、fシータ投影である（式2参照）:r=fθ。

しかしながら、他のモデルも可能である。実際には、投影はレンズの特定の特性に詳細に依存する。多くの場合、投影は、レンズの歪み及び不正確さ等を反映する追加の成分と共に、上記の等距離投影のような低複雑度の「理想化された」モデルによってモデル化される。場合によっては、これらの歪みは無視することができる。

第1のサブマッピングは、第1広角画像の2D画像座標（u, v）を中間画像の2D画像座標（Uperspective、Vperspective）に変換する。その結果、第一のサブマッピングは、第１広角画像のための投影を中間画像のための別の投影に変更する。従って、カメラ座標と第1広角画像の2D画像座標（u, v）との間に存在する投影は、カメラ座標と中間画像の2D画像座標（Uperspective、Vperspective）との間に存在する異なる投影に変化する。

実際、記載されたアプローチでは、中間画像がカメラ座標から中間画像の2D画像座標（Uperspective、Vperspective）への透視投影を有するようにマッピングされる。従って、中間画像は、3D実世界カメラ座標の画像平面上への透視投影を表す。

第1広角画像の2D画像座標（u, v）を中間画像の2D画像座標（Uperspective、Vperspective）にマッピングする特定の第1のサブマッピングは、3Dカメラ座標から2D画像座標（u,v）への投影に依存する。このマッピングは、マッピングの結果が透視投影を有する中間画像となるようなマッピングである。したがって、マッピングは、透視投影に対応する中間画像の2D画像座標（Uperspective、Vperspective）をもたらすように選択される。

第１広角画像の投影（第１投影）は、キャプチャされた画像に対して、キャプチャするカメラの特性に依存する。カメラによって実行される投影が既知である場合、または仮定される場合、マッピングは事前に決定され得る。例えば、カメラがf-シータ投影r=fθをもたらす魚眼レンズを使用すると仮定される場合、結果として生じる（中間の）画像の透視投影を達成するために使用される2D対2D画像マッピングが直後に続く。

しかしながら、このアプローチの特定の利点は、特定のカメラ及びキャプチャ投影に適応する効率的な方法を提供することである。具体的には、キャプチャされた画像座標から透視投影に対応する画像座標へのマッピングのパラメータを探索し適応させることができる複雑なアルゴリズムが知られている。そのようなアプローチの多くは、レンズに対する個々の歪みおよび不正確さを補償するために動的に適応される適応非線形マッピングと共に魚眼レンズに対するf-シータ投影のような、基礎となる理想的な投影に対応するカメラのモデルを利用する。このプロセスは平行化（rectification：レクティフケーション）として知られており、現在のアプローチは、多くの実施形態において、このような平行化アルゴリズムを使用することができることから利益を得ることができる。

しかしながら、本発明者が認識したように、透視投影は、魚眼画像のような広角画像にとって特に重大である欠点を有する。このアプローチは、透視投影からの非線形水平マッピングである第2のサブマッピングを適用することによってこれに対処する。これは、視差推定に適しており、過剰な記憶容量要件を有さないか、または非常にリソース集約的な視差推定を必要としない、画像をもたらすことができる。さらに、マッピングは、水平方向および垂直方向に個別であってもよい。

本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組合せを含む任意の適切な形態で実施することができる。本発明は、任意選択で、1つまたは複数のデータプロセッサおよび/またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実装され得る。本発明の実施形態の要素およびコンポーネントは、任意の適切な方法で物理的、機能的および論理的に実装され得る。実際、機能は、単一のユニットで、複数のユニットで、または他の機能ユニットの一部として、実装され得る。したがって、本発明は、単一のユニットで実施されてもよく、または異なるユニット、回路およびプロセッサの間で物理的および機能的に分散されてもよい。

本発明はいくつかの実施形態に関連して説明されてきたが、本明細書に記載された特定の形態に限定されることは意図されていない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。さらに、或る特徴が特定の実施形態に関連して説明されるように見えるかもしれないが、当業者は説明された実施形態の様々な特徴が本発明に従って組み合わされ得ることを認識するであろう。請求項において、「有する(comprising)」という用語は、他の要素又はステップの存在を排除するものではない。

さらに、個別に列挙されているが、複数の手段、素子、回路または方法ステップが、例えば単一の回路、ユニットまたはプロセッサによって実装され得る。さらに、個々の特徴が異なる請求項に含まれている場合があるが、これらは場合によっては有利に組み合わされてもよく、異なる請求項に含まれることは特徴の組み合わせが実現可能ではない及び/又は有利ではないことを意味しない。また、或る特徴を請求項の1つのカテゴリに含めることは、このカテゴリへの限定を意味するものではなく、むしろ、その特徴が必要に応じて他の請求項カテゴリに等しく適用可能であることを示す。さらに、請求項における特徴の順序は、当該特徴が動作しなければならない特定の順序を意味するものではなく、特に、方法の請求項における個々のステップの順序は、当該ステップがこの順序で実行されなければならないことを意味するものではない。むしろ、ステップは任意の適切な順序で実行されることができる。さらに、単数への言及は複数を除外しない。従って、「a」、「an」、「第1」、「第2」等の参照も、複数を排除するものではない。クレーム中の参照符号は、単に明確にするための例として提供されるにすぎず、いかなる方法によってもクレームの範囲を限定するものと解釈してはならない。

Claims (14)

1. 第1広角画像を受信する受信機であって、前記第1広角画像が、少なくとも９０°の視野角と、シーン位置の垂直方向の画像位置が前記シーン位置から前記第1広角画像の光軸までの水平距離に依存する第1投影とを有する、受信機と、
   修正された投影を有する修正画像を生成するために前記第1広角画像にマッピングを適用するマッパーであって、前記マッピングが、前記第1投影から透視投影へのマッピングとそれに続く前記透視投影から前記修正された投影の修正された垂直投影への非線形垂直マッピングに一致する垂直マッピング関数と、前記第1投影から前記透視投影へのマッピングとそれに続く前記透視投影から前記修正された投影の修正された水平投影への非線形水平マッピングに一致する水平マッピング関数とを提供する、マッパーと、
   前記第1広角画像と異なる視点を表す第2画像に対する前記修正画像のための視差のセットを生成する視差推定器と、
   前記第1広角画像に適用された前記マッピングの逆マッピングを適用して視差の更なるセットを前記第1投影にマッピングすることにより前記第1広角画像のための視差の前記更なるセットを生成する視差マッパーと、
   を有し、
   前記非線形水平マッピングが、前記第1広角画像の中心への水平距離の増加とともに減少する勾配を有し、かつ／または、前記非線形垂直マッピングが、前記第1広角画像の中心への垂直距離の増加とともに減少する勾配を有する、装置。
2. 前記非線形垂直マッピングのマッピング関数が前記非線形水平マッピングのマッピング関数と異なる、請求項１に記載の装置。
3. 前記非線形垂直マッピングの前記マッピング関数が前記非線形水平マッピングのマッピング関数より圧縮されている、請求項２に記載の装置。
4. 前記第2画像が前記修正された投影を表す、請求項１から請求項３の何れか一項に記載の装置。
5. 視差の前記セット及び前記非線形水平マッピングに応じて前記修正画像のための奥行きのセットを決定するように構成される奥行き推定器を有する、請求項１に記載の装置。
6. 前記マッパーが、前記透視投影を有する中間画像を生成するために前記第1広角画像に第1マッピングを適用して、前記修正画像を生成するために前記中間画像に第2マッピングを適用することにより前記マッピングを適用するように構成される、請求項1に記載の装置。
7. 前記マッパーが、前記第1マッピングの一部として前記第1広角画像に対して平行化を実行するように構成される、請求項６に記載の装置。
8. 前記マッパーが、前記第1広角画像を複数の画像セクションに分割し、各々の画像セクションにサブマッピングを適用することにより前記マッピングを実行するように構成され、前記複数の画像セクションのうちの少なくとも２つに対する前記サブマッピングが異なる、請求項１に記載の装置。
9. 前記マッパーが、前記マッピングの一部としてステレオ平行化を実行するように構成され、前記ステレオ平行化が第2広角画像に対するものである、請求項１から請求項８の何れか一項に記載の装置。
10. 前記受信機が第2広角画像を受信するように構成され、前記第2広角画像は、前記第1広角画像と異なる視点に対するものであり、少なくとも90°の視野角及び前記第1投影を有する、請求項１から請求項９の何れか一項に記載の装置。
11. 前記第1広角画像及び前記第2広角画像の光軸に対する異なる大きさの水平オフセットを有するシーン位置が、前記第1広角画像及び前記第2広角画像において異なる垂直位置に投影される、請求項１０に記載の装置。
12. 前記マッピングが、前記第1広角画像及び前記第2広角画像における前記異なる垂直位置を、前記修正画像及び前記第2画像における同じ垂直位置にマッピングする、請求項１１に記載の装置。
13. 視差を推定する方法であって、
    第1広角画像を受信するステップであって、前記第1広角画像が、少なくとも９０°の視野角と、シーン位置の垂直方向の画像位置が前記シーン位置から前記第1広角画像の光軸までの水平距離に依存する第1投影とを有する、ステップと、
    修正された投影を有する修正画像を生成するために前記第1広角画像にマッピングを適用するステップであって、前記マッピングが、前記第1投影から透視投影へのマッピングとそれに続く前記透視投影から前記修正された投影の修正された垂直投影への非線形垂直マッピングに一致する垂直マッピング関数と、前記第1投影から前記透視投影へのマッピングとそれに続く前記透視投影から前記修正された投影の修正された水平投影への非線形水平マッピングに一致する水平マッピング関数とを提供する、ステップと、
    前記第1広角画像と異なる視点を表す第2画像に対する前記修正画像のための視差のセットを生成するステップと、
    前記第1広角画像に適用された前記マッピングの逆マッピングを適用して視差の更なるセットを前記第1投影にマッピングすることにより前記第1広角画像のための視差の前記更なるセットを生成するステップと、を有し、
    前記非線形水平マッピングが、前記第1広角画像の中心への水平距離の増加とともに減少する勾配を有し、かつ／または、前記非線形垂直マッピングが、前記第1広角画像の中心への垂直距離の増加とともに減少する勾配を有する、方法。
14. コンピュータにより実行されて、当該コンピュータに請求項１３に記載の方法の全てのステップを実行させる、コンピュータプログラム。

Images