JP2012527787A - 画像から高速に立体構築を行なう方法 - Google Patents

Abstract

【解決手段】 立体画像構築方法を説明する。基礎視点からの画像を、別の視点からの画像に変換する。ホモグラフィー・フィッティングを用いて、ある視点の画像から別の視点での画像へ変換する。逆構成画像アラインメントを用いて、ホモグラフィー行列を決定し、並進後の画像での画素を決定する。
【選択図】 図２

Description

本明細書で開示する主題は概して、複数の観測点からの画像による立体構築に関する。

グラフィクス・コンピューティングおよびビジュアル・コンピューティングの利用が、３次元（３Ｄ）ゲーム、仮想世界、ミラーワールド（例えば、Ｇｏｏｇｌｅ Ｅａｒｔｈ）、没入型ユーザインターフェース等の分野において、拡大している。立体構築は、別々の位置に配置されている２つ以上のカメラによって得られた画像から、または、観測位置を変えながら同じカメラで撮像した画像から、高密度の３Ｄシーンを再生することを目的とする。立体構築では、カメラの（内部および外部の）パラメータは、カメラのキャリブレーションによって得られる。従来の立体構築方法は、精度または処理速度に関して制限が多い。したがって、高速且つ正確な立体構築を求める声が高まっている。

本発明の実施形態は、添付図面を参照しつつ説明するが、図示内容は本発明の実施形態を制限するものではなく例示するものである。図中、同様の参照番号は同様の構成要素を意味する。

立体画像対に対するパッチ投影を示す図である。

一実施形態に係る立体画像対の立体構築処理を示す図である。

一実施形態に係る逆構成画像アラインメント（ＩＣＩＡ）処理を示す。

一実施形態に係る、マルチビュー立体構築に利用され得る処理を示す図である。

（Ａ）および（Ｂ）で立体構築の結果を比較する図である。

一実施形態に係る、コンピュータシステムを示す図である。

本明細書では「一実施形態」または「ある実施形態」という場合、当該実施形態に関連付けて説明している特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれていることを意味する。このため、「一実施形態において」または「ある実施形態」という表現は本明細書において繰り返し言及されるが、必ずしも全てが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、または特性を１以上の実施形態において組み合わせるとしてもよい。

立体構築の方法として従来、（１）立体マッチングによる立体構築（例えば、正規化相互相関（ＮＣＣ））および（２）色または光一貫性（ｐｈｏｔｏ ｃｏｎｓｉｓｔｅｎｃｙ）を最適化することに基づく立体構築という２つの方法が公知である。（２）の方法の例は、Ｙ．ＦｕｒｕｋａｗａおよびＪ．Ｐｏｎｃｅ、「正確、高密度、且つロバストなマルチビュー立体視」、ＣＶＰＲ（２００７）（以下では「Ｆｕｒｕｋａｗａ法」と呼ぶ）に記載されている。

光一貫性は、立体画像対における複数の対応ポイントの類似度の測定値である。光一貫性は、対応ポイントの近傍の領域に対して以下のように定義されるとしてよい。

式中、Ａは、対応ポイントを中心とする領域を表し、Ｉ_ＬおよびＩ_Ｒは、左（基礎）画像および右（並進後）画像を意味し、ｆ（）は、距離関数であって、以下のように表される。

ｘは、画像ポイント位置を表し、ｌ（ｘ）はポイントｘにおける階調値を表す。

図１は、立体画像対に対するパッチ投影を示す図である。以下に、図１で用いている符号を説明する。
Ｃ１およびＣ２：カメラ
Ｏ１およびＯ２：２つのカメラのカメラ中心（軸の交差点）
ｂ：２つのカメラの間のベースライン
ｌ１およびｌ２：Ｃ１およびＣ２が撮像した画像
Ｐ：３Ｄポイント
Ｐ１、Ｐ２：３ＤポイントＰを画像面に投影したもの
Ｅ１、Ｅ２：Ｐ１およびＰ２を通るエピ極線
π：ポイントＰにおける３Ｄモデル面の接平面
ｎ：接平面のＰにおける法線ベクトル（方向）
Ｈ：平面πによって行なわれるホモグラフィー（平面射影）
ｘ＝Ｐ_１
Ｔ（ｘ）：基礎画像におけるテンプレートウィンドウ
Ｗ（ｘ，ｐ）：並進後の画像におけるホモグラフィー・ワープ・ウィンドウ

Ｆｕｒｕｋａｗａ法は、３ＤポイントＰ周辺のパッチを立体画像対に投影して、対応投影点ｐ_１、ｐ_２の光一貫性メトリックを算出する。しかし、位置Ｐは正確な位置ではなく、Ｆｕｒｕｋａｗａ法は位置が、一方向に沿って、または、位置Ｐの近傍の立方体内で、変更可能であると仮定している。光一貫性の測定は位置毎に行なわれ、光一貫性の測定値が最も大きい位置が最適化された結果であるとしてよい。Ｆｕｒｕｋａｗａ法を用いた場合の算出速度は、画像平面に３Ｄパッチを後方投影することから受け入れ難いレベルであり、Ｆｕｒｕｋａｗａ法の精度は、元の位置の近傍のサンプリングレートの問題を抱えている。

さまざまな実施形態では、従来のＮＣＣに基づく立体マッチング法の後に光一貫性最適化を行なうことで、立体マッチングおよび立体構築の精度を改善する。ホモグラフィー・フィッティングを利用するさまざまな実施形態では、光一貫性測定値を画素座標の陰関数に変換して、解析的勾配を導出する。最適化は、解析的勾配を持ち、効率的に解くことが可能である、ホモグラフィー・フィッティングを画像平面間で行なうことに基づいている。

ＮＣＣマッチングを利用する方法に比べて、ホモグラフィー・フィッティングを利用するさまざまな実施形態の光一貫性の最適化は、一致を最適化することによって、立体構築結果の精度を大幅に改善することができる。

さまざまな色または光一貫性を最適化する方法（例えば、Ｆｕｒｕｋａｗａ法）では、３Ｄパッチを画像平面に後方投影する。しかし、３Ｄパッチを画像平面に後方投影すると、計算負荷が高くなり、時間がかかってしまう。したがって、少なくともＦｕｒｕｋａｗａ法に比べて、さまざまな実施形態は計算時間を短縮することができる。

図２は、実施形態に係る、立体画像対の立体構築処理を説明するための図である。ブロック２０２は、入力立体画像対を受信することを含む。立体画像対は、１以上のデジタルカメラまたは一の立体カメラから入出力インターフェースを介してコンピュータシステムに提供されるとしてよい。入力立体画像対は、一般的な画像と同じ形式である。例えば、各画像は、２Ｄの矩形であって、画素の階調値または色を示すために（ｘ，ｙ）を座標として利用する。

ブロック２０４は、入力立体画像対を修正して、エピ極線が水平または垂直になるようにすることを含む。

ブロック２０６は、修正された入力立体画像対に立体マッチング法を適用することを含む。例えば、ブロック２０６は、正規化相互相関（ＮＣＣ）を適用して、この立体画像対の画素間での初期対応関係を決定することを含むとしてよい。コンピュータシステムのグラフィクス・プロセッシング・ユニット（ＧＰＵ）は、画像対修正および立体マッチングを実行するとしてよい。

ブロック２０８は、基礎画像の画素毎に、平面射影変換フィッティングを利用して基礎画像の画素と、並進後の画像の対応画素との間での光一貫性を最適化することを含む。例えば、基礎画像は図１の左側の画像であり、並進後の画像は図１の右側の画像である。コンピュータシステムの中央演算処理装置が、平面射影変換フィッティングを実行するとしてよい。

ブロック２１０は、最適化した対応点を三角測量して、１つの視点からの３Ｄシーンを提供することを含む。ブロック２０２、２０４、２０６および２１０を実行する適切な方法は、例えば、Ｈ．Ｈｉｒｓｃｈｍｆｕｌｌｅｒ他、「境界エラーを低減するリアルタイム相関に基づく立体視」、ｐｐ２２９−２４６、第４７号、ＩＪＣＶ２００２に記載されている。コンピュータシステムのＧＰＵが、単一の視点からの３次元視を提供するべく対応点の三角測量を実行するとしてよい。

図２のプロセスによる立体構築の計算手順は、中央演算処理装置（ＣＰＵ）またはグラフィクスプロセッシングユニット（ＧＰＵ）で実行され得る。一般的に、立体マッチングの計算で最も複雑な部分は、データレベルでの並列処理が非常に多く、ＧＰＵのマルチスレッド処理機能またはベクトル処理機能を利用することで、加速することができる。ホモグラフィー・フィッティングは、逐次的な更新手順であり、ＣＰＵで実行可能である。

以下では、ブロック２０８で実行される処理の例を説明する。ホモグラフィーは、同じ３Ｄポイント群に対応するが別のカメラから見た、２つのポイント群の間でのマッピングである。ホモグラフィーは、２つの画像平面における２つの対応するポイント群を関係付けるための変換として利用される。図１を参照しつつ説明すると、基礎画像平面内のポイントＰ_１について、接平面π（ｎは接平面の法線）によって行なわれるホモグラフィーＨに基づき、並進後の画像平面内での対応するポイントＰ_２を特定する。つまり、ホモグラフィーＨによって、接平面πを介して、Ｐ_１をＰ_２へと移動させる。平面πは、対応する３ＤポイントＰにおける物体表面の接平面である。

さまざまな実施形態では、光一貫性の最適化において平面射影変換パラメータに関して２つの領域についてホモグラフィー・フィッティングを適用する。図１を参照しつつ説明すると、基礎画像の各画素Ｐ_１について、画素Ｐ_１を中心としてｍ×ｍのウィンドウＴ（ｘ）を配置する。尚、ｘは、基礎ウィンドウＴ（ｘ）の画素の画像座標を表す。並進後の画像におけるｘの対応画素は、Ｗ（ｘ；ｐ）＝Ｈ（ｐ）・ｘとして表され、Ｈ（ｐ）はホモグラフィー変換である。さまざまな実施形態によると、Ｈ（ｐ）は、立体カメラの内部パラメータおよび外部パラメータによって決まる３×３の行列であり、ｐは、対応する３Ｄポイントの深さおよび法線に関連する三要素パラメータである。他の種類のホモグラフィー変換を利用するとしてもよい。

ホモグラフィー変換は、以下の式で表すことができる。

式中、Ｋ_ｌおよびＫ_ｒは、左カメラおよび右カメラの内部行列であり、Ｒは、左カメラと右カメラとの間での回転行列であり、ｔは、左カメラと右カメラとの間の並進ベクトルであり、ｎが平面πの法線ベクトルであり、ｄが左カメラの中心から平面πまでの距離である場合に、ｐ＝ｎ／ｄである。

基礎画像の画素ｘと並進後画像ＩのワープウィンドウＷ（ｘ；ｐ）との間の光一貫性は、以下のように定義される。

式中、Ｔ（ｘ）は基礎画像におけるテンプレートウィンドウであり、Ｉは並進後画像であり、Ｗ（ｘ；ｐ）は並進後画像におけるホモグラフィー・ワープ・ウィンドウである。光一貫性は、ホモグラフィー・パラメータｐの非線形陰関数である。さまざまな実施形態によると、光一貫性を改善するべく逆構成画像アラインメント（ＩＣＩＡ）処理を利用する。ＩＣＩＡ処理は、ホモグラフィー行列Ｈ（ｐ）および並進後画像の対応画素を最適化するように修正される。例えば、適切なＩＣＩＡ処理は、Ｓ．Ｂａｋｅｒ、Ｉ．Ｍａｔｔｈｅｗｓ、Ｌｕｃａｓ−Ｋａｎａｄｅ、「２０年後：統一フレームワーク」、ＩＪＣＶ（２００４）に記載されている。ホモグラフィー・フィッティング用のＩＣＩＡ処理の一例を、図３の処理３００を参照しつつ説明する。

ブロック３０２は、カメラ対のパラメータおよびホモグラフィー・パラメータｐの初期値と共に、画素ポイントｘ＝（ｕ，ｖ，１）を受信することを含む。パラメータは、カメラの内部行列Ｋおよび外部特性（例えば、回転行列Ｒおよび並進ベクトルｔ）、ならびに、ホモグラフィー・パラメータｐの初期値（定義は上述の通り）を含むとしてよい。パラメータｐは、定義ｐ＝ｎ／ｄに応じて従来のＮＣＣ方法で初期化することができる。

ブロック３０４は、並進後画像のヘッセ行列を決定することを含む。例えば、ブロック３０４は、（１）基礎ウィンドウＴ（ｘ）の傾き∇Ｔを評価して、（２）（ｘ；ｐ_０）におけるｐに関連して、右画像Ｗのヤコビアン（∇Ｊ＝∂Ｗ／∂ｐと表される）を評価して、（３）ｐに関連してＷのヘッセ行列を決定することを含むとしてよい。ヘッセ行列は以下のように表現され得る。

ヘッセ行列は、ホモグラフィー行列を改善した結果に対応する。

ブロック３０６は、並進後画像Ｗ（ｘ；ｐ）における画素を決定することを含む。例えば、ブロック３０６は、（１）Ｗ（ｘ；ｐ）で並進後画像ＩをワープさせることによってＩ（Ｗ（ｘ；ｐ））を決定して、（２）エラー画像Ｉ（Ｗ（ｘ；ｐ））−Ｔ（ｘ）を決定して、（３）以下の数６で表されるインクリメント幅を算出して、（４）Ｗ（ｘ；ｐ）＝Ｗ（ｘ；ｐ）・Ｗ（ｘ；Δｐ）^−１を決定することでワープＷ（ｘ；ｐ）を更新することを含むとしてよい。

ブロック３０６の（１）〜（４）は、インクリメント幅の絶対値｜Δｐ｜が制限値未満となるまで繰り返し実行する。例えば、制限値は約０．００００１であってよい。処理３００では、以下の数７で表される最適化されたホモグラフィー行列を決定するための利用され得る最適化されたワープウィンドウ（Ｗ（ｘ，ｐ））を決定する。

最適化されたホモグラフィー行列Ｈ（ｐ）を用いて、以下の数８で表す並進後画像の対応画素を決定することができる。

図２を参照しつつ説明した立体ホモグラフィー・フィッティング方法は、マルチビュー立体構築でも利用できるように変更できる。マルチビュー立体は、複数の立体対を組み合わせた結果と考えることができる。図４は、一実施形態に係るマルチビュー立体構築に利用可能な処理を示す図である。ブロック４０２は、複数の異なる立体視点から複数の３次元シーンを受信する。一例を挙げると、Ｃ１、Ｃ２およびＣ３という３つの視点がある。両眼立体対は、Ｃ１−Ｃ２、Ｃ２−Ｃ３およびＣ１−Ｃ３であってよい。

ブロック４０４は、立体対毎に、立体ホモグラフィー、マルチビューアラインメント、および、統合処理を実行する。立体対毎に、図２および図３を参照して説明した立体ホモグラフィーを適用する。ホモグラフィー・フィッティングによって最適化される対応関係を、（ｘ１，ｘ２＝ｗ（ｘ１））と定義し得る。最適化された対（ｘ１，ｘ２＝ｗ（ｘ１））が得られると、この対を、例えば、Ｒ．ＨａｒｔｌｅｙおよびＡ．Ｚｉｓｓｅｒｍａｎ、「コンピュータビジョンにおけるマルチビュー構成」、第１２章、ケンブリッジプレス、第２版（２００３）に記載されている方法にしたがって既知のカメラパラメータで三角測量する。三角測量によって、各立体対の対応関係に基づいて３次元ポイントＸ１２が得られるとしてよい（Ｘ１２＝三角測量（ｘ１，ｘ２））。

Ｘ１２がＣ１−Ｃ２を三角測量した結果であり、Ｘ２３がＣ２−Ｃ３を三角測量した結果であり、Ｘ１３がＣ１−Ｃ３を三角測量した結果であり、Ｘ１２、Ｘ１３およびＸ２３は同じ３Ｄポイントに対応しているとする。３ＤポイントＸは、Ｘ１２、Ｘ１３、およびＸ２３の関数であり、Ｘ＝ｆ（Ｘ１２，Ｘ１３，Ｘ２３）となる。尚、ｆ（）はマルチビューアラインメントおよび統合処理の関数であり、Ｘ１２、Ｘ１３、およびＸ２３は全て、ワールド座標系での３次元ポイントである。一部の実施形態によると、マルチビューアラインメントおよび統合処理の方法は、他の関数も利用できるが、平均関数または最良適合関数であってよい。

例えば、ｆ（）を平均関数として定義すると、３ＤポイントはＸ＝（Ｘ１２＋Ｘ１３＋Ｘ２３）／３と表される。

ｆ（）を最良適合関数として定義すると、３Ｄポイントとして、（１）正規化ベクトルｎ_ｉがカメラ平面に対して略垂直となるか、または、（２）ｎ_ｉｊの方向ＰＯに対する角度が最小値となるポイントが選択される。このため、ｆ（）は選択関数Ｘ＝Ｘｉとして定義される。尚、以下の関係が成り立つ。

ブロック４０６では、複数の視点に基づき一の３次元シーンを提供する。ブロック４０４においてＸとして決定された複数の３Ｄポイントによって、一の３次元シーンを形成する。

図５の（Ａ）は、例えば、ｈｔｔｐ：／／ｖｉｓｉｏｎ．ｍｉｄｄｌｅｂｕｒｙ．ｅｄｕ／に記載されている標準的なミドルベリー立体評価セットに対して立体構築を行なった結果を示す図である。図５の（Ｂ）は、ホモグラフィー・フィッティングに基づく光一貫性最適化を利用した技術の結果を示す図である。ホモグラフィー・フィッティングに基づく光一貫性最適化を利用した技術は、少なくとも画質の点において、従来のＮＣＣマッチングに基づく方法よりもはるかに性能が高いことが分かる。

ホモグラフィー・フィッティングに基づく光一貫性最適化を利用した技術は、Ｆｕｒｕｋａｗａ法と同様の結果を生成するが、時間が短縮され得る。表１は、これら２つの方法で立体構築タスクを実行するのに必要な時間を示す。

図６は、本発明の一実施形態に係るコンピュータシステム６００を示すブロック図である。コンピュータシステム６００は、ホストシステム６０２、バス６１６、および、ネットワークインターフェース６２０を備えるとしてよい。コンピュータシステム６００は、ハンドヘルド型パーソナルコンピュータ、携帯電話、セットトップボックスまたは任意のコンピューティングデバイスで実現され得る。ホストシステム６０２は、チップセット６０５、プロセッサ６１０、ホストメモリ６１２、ストレージ６１４、および、グラフィクスサブシステム６１５を有するとしてよい。チップセット６０５は、プロセッサ６１０、ホストメモリ６１２、ストレージ６１４、グラフィクスサブシステム６１５、および、バス６１６の間での通信を可能とするとしてよい。例えば、チップセット６０５は、ストレージ６１４との通信を可能とするストレージアダプタ（不図示）を含むとしてよい。例えば、ストレージアダプタは、小型計算機システムインターフェース（ＳＣＳＩ）、ファイバーチャネル（ＦＣ）、および／または、シリアル・アドバンスド・テクノロジー・アタッチメント（Ｓ−ＡＴＡ）といったプロトコルのうちいずれかに準拠して、ストレージ６１４と通信可能であるとしてよい。

一部の実施形態によると、チップセット６０５は、ホストメモリ６１２内、または、ネットワークインターフェース６２０とホストメモリ６１２との間、または、一般的にはコンピュータシステム６００の任意の構成要素間で、情報を転送することが出来るデータ移動ロジックを含むとしてよい。

プロセッサ６１０は、複合命令セットコンピュータ（ＣＩＳＣ）型プロセッサあるいは縮小命令セットコンピュータ（ＲＩＳＣ）型プロセッサ、マルチコア型、または、任意のその他のマイクロプロセッサあるいは中央演算処理装置として実現されるとしてよい。

ホストメモリ６１２は、これらに限定されないが、ランダム・アクセス・メモリ（ＲＡＭ）、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、または、スタティックＲＡＭ（ＳＲＡＭ）等の揮発性メモリ装置として実現されるとしてよい。ストレージ６１４は、これらに限定されないが、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部格納装置、取付型の格納装置、フラッシュメモリ、電池によるバックアップを備えるＳＤＲＡＭ（シンクロナスＤＲＡＭ）、および／または、ネットワークアクセス可能格納装置等の不揮発性格納装置として実現されるとしてよい。

グラフィクスサブシステム６１５は、静止画像または動画像等の画像を表示すべく処理するとしてよい。例えば、グラフィクスサブシステム６１５は、ビデオエンコーディングまたはビデオデコーディングを実行するとしてよい。例えば、グラフィクスサブシステム６１５は、図２から図４を参照しつつ説明した動作を実行するグラフィクス処理部の動作を実行するとしてよい。グラフィクスサブシステム６１５およびディスプレイ６２２は、アナログインターフェースまたはデジタルインターフェースを用いて互いに通信可能に結合するとしてよい。例えば、当該インターフェースは、高精細度マルチメディアインターフェース（ＨＤＭＩ）、ＤｉｓｐｌａｙＰｏｒｔ、無線ＨＤＭＩ、および／または、無線ＨＤに対応する方法のうちいずれであってもよい。グラフィクスサブシステム６１５は、プロセッサ６１０またはチップセット６０５に集積化することが可能である。グラフィクスサブシステム６１５は、チップセット６０５に通信可能に結合されているスタンドアロン型のカードであってよい。

バス６１６は、少なくともホストシステム６０２およびネットワークインターフェース６２０の間で、他の周辺装置（不図示）との間と同様に、通信を可能とするとしてよい。バス６１６は、シリアル通信またはパラレル通信をサポートするとしてよい。バス６１６は、ノード・ツー・ノード通信またはノード・ツー・マルチノード通信をサポートするとしてよい。バス６１６は、少なくとも、例えば、ＰＣＩＳＩＧ（ペリフェラル・コンポーネント・インターコネクト・スペシャル・インタレスト・グループ）（米国オレゴン州ポートランド）から入手可能なＰＣＩローカル・バス仕様書の改訂版３．０（２００４年２月２日）（この改訂版も含む）に記載されているペリフェラル・コンポーネント・インターコネクト（ＰＣＩ）、ＰＣＩ ＳＩＧのＰＣＩ Ｅｘｐｒｅｓｓ基礎仕様書の改訂版１．０ａ（この改訂版も含む）に記載されているＰＣＩ Ｅｘｐｒｅｓｓ、上述したＰＣＩ ＳＩＧ（米国オレゴン州ポートランド）から入手可能なＰＣＩ−Ｘ仕様書の改訂版１．１（２００５年３月２８日）（この改訂版も含む）に記載されているＰＣＩ−ｘ、および／または、ユニバーサルシリアルバス（ＵＳＢ）（および関連する規格）、そして、他の相互接続規格に準拠しているとしてよい。

ネットワークインターフェース６２０は、ホストシステム６０２と、有線方式または無線方式等の任意の適用可能なプロトコルに準拠したネットワークとの間での通信を可能とするとしてよい。例えば、ネットワークインターフェースは、ＩＥＥＥ８０２．３、８０２．１１、または、８０２．１６のどのバージョンに準拠しているとしてもよい。ネットワークインターフェース６２０は、バス６１６を用いてホストシステム６０２と通信するとしてよい。一実施形態によると、ネットワークインターフェース６２０はチップセット６０５に集積化されるとしてよい。

本明細書で説明するグラフィクス処理技術および／またはビデオ処理技術は、さまざまなハードウェアアーキテクチャで実現されるとしてよい。例えば、グラフィクス機能および／またはビデオ機能は、チップセット内に集積化されているとしてよい。これに代えて、ディスクリートなグラフィクスプロセッサおよび／またはビデオプロセッサを利用するとしてよい。また別の実施形態によると、グラフィクス機能および／またはビデオ機能は、マルチコアプロセッサを含む汎用プロセッサで実現されるとしてもよい。別の実施形態によると、これらの機能は消費者向け電子デバイスで実現されるとしてもよい。

本発明の実施形態は、例えば、機械実行可能命令を格納している１以上の機械可読媒体を含むコンピュータプログラム製品として提供されるとしてよい。当該機械実行可能命令が、コンピュータ、コンピュータネットワークまたはその他の電子デバイス等の１以上の機械で実行されると、当該１以上の機械は本発明の実施形態に係る処理を実行するとしてよい。機械可読媒体は、これらに限定されないが、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ（コンパクト・ディスク・リード・オンリー・メモリ）、および、光磁気ディスク、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、ＥＰＲＯＭ（消去可能プログラム可能リード・オンリー・メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラム可能リード・オンリー・メモリ）、磁気カードまたは光カード、フラッシュメモリ、または、機械実行可能命令を格納するのに適したその他の種類の媒体／機械可読媒体を含むとしてよい。

図面および上記の説明は、本発明の例を説明している。複数の別個の機能要素として図示しているものであっても、当業者であれば、そのうち１以上の機能要素を組み合わせて単一の機能素子とすることに想到するであろう。これに代えて、特定の要素を複数の機能要素に分割するとしてもよい。ある実施形態の要素を、別の実施形態に追加するとしてもよい。例えば、本明細書に記載する処理の順序は、変更するとしてもよく、本明細書に記載したように実行されることには限定されない。さらに、どのフローチャートに記載した動作についても、図示した順序で実行する必要はなく、全ての動作を必ずしも実行する必要もない。また、他の動作に影響されない動作は、当該他の動作と並行に実行するとしてもよい。しかし、本発明の範囲は、上述した具体例に限定されるものではない。本明細書で明示されていようといまいと、構造、寸法、および利用材料を変更する等、多くの変更が可能である。本発明の範囲は、少なくとも、特許請求の範囲に記載する程度に幅広く解釈されたい。

Claims (22)

1. コンピュータで実施される方法であって、
   画像対に対して立体マッチングを実行する段階と、
   前記画像対を修正して、エピ極線が水平または垂直の何れかになるようにする段階と、
   修正された前記画像対に立体マッチングを適用する段階と、
   基礎画素にホモグラフィー行列変換を適用して、前記基礎画素から並進後画素を生成する段階と、
   対応ポイントを三角測量して、３次元シーンを生成する段階と、
   前記３次元シーンを表示用に提供する段階と
   を備える方法。
2. 前記立体マッチングを適用する段階は、正規化相互相関（ＮＣＣ）を適用する段階を有する請求項１に記載の方法。
3. 逆構成画像アラインメント（ＩＣＩＡ）を用いてホモグラフィー行列変換を生成する段階をさらに備える請求項１に記載の方法。
4. ホモグラフィー行列変換を生成する段階と、
   前記ホモグラフィー行列変換の陰関数として、基礎画像と並進後画像のワープウィンドウとの間における光一貫性を定義する段階と、
   前記ワープウィンドウの光一貫性を改善する段階と
   をさらに備える請求項１に記載の方法。
5. 前記基礎画素から並進後画素を生成する段階は、ホモグラフィー・フィッティングを利用して、前記基礎画素と前記並進後画素との間の光一貫性を改善する段階を有する請求項１に記載の方法。
6. 前記ホモグラフィー行列は、
   

   

   を含み、
   式中、Ｋ_ｌおよびＫ_ｒは、左カメラおよび右カメラの内部行列であり、
   Ｒは、前記左カメラと前記右カメラとの間での回転行列であり、
   ｔは、前記左カメラと前記右カメラとの間の並進ベクトルであり、
   ｎが平面πの法線ベクトルであり、ｄが前記左カメラの中心から前記平面πまでの距離である場合に、ｐ＝ｎ／ｄである請求項１に記載の方法。
7. 複数の立体画像対から一の３次元シーンを生成する段階をさらに備える請求項１に記載の方法。
8. 命令を格納しているコンピュータ可読媒体であって、
   前記命令をコンピュータで実行すると、前記コンピュータは、
   画像対に対して立体マッチングを実行し、
   前記画像対を修正し、
   修正された前記画像対に立体マッチングを適用し、
   基礎画素にホモグラフィー行列変換を適用して、前記基礎画素から並進後画素を生成し、
   対応ポイントを三角測量して、３次元シーンを生成し、
   前記３次元シーンを表示用に提供するコンピュータ可読媒体。
9. 前記コンピュータは、前記立体マッチングを適用する場合、正規化相互相関（ＮＣＣ）を適用する請求項８に記載のコンピュータ可読媒体。
10. 前記コンピュータで実行すると、前記コンピュータが、逆構成画像アラインメント（ＩＣＩＡ）を用いて前記ホモグラフィー行列変換を生成する、命令をさらに備える請求項８に記載のコンピュータ可読媒体。
11. 前記コンピュータで実行すると、前記コンピュータが、
    ホモグラフィー行列変換を生成し、
    前記ホモグラフィー行列変換の陰関数として、基礎画像と並進後画像のワープウィンドウとの間における光一貫性を定義し、
    前記ワープウィンドウの光一貫性を改善する、
    命令をさらに備える請求項８に記載のコンピュータ可読媒体。
12. 前記コンピュータは、基礎画素から並進後画素を生成するべく、前記基礎画素と前記並進後画素との間の光一貫性を改善する請求項８に記載のコンピュータ可読媒体。
13. 前記ホモグラフィー行列は、
    

    

    を含み、
    式中、Ｋ_ｌおよびＫ_ｒは、左カメラおよび右カメラの内部行列であり、
    Ｒは、前記左カメラと前記右カメラとの間での回転行列であり、
    ｔは、前記左カメラと前記右カメラとの間の並進ベクトルであり、
    ｎが平面πの法線ベクトルであり、ｄが前記左カメラの中心から前記平面πまでの距離である場合に、ｐ＝ｎ／ｄである請求項８に記載のコンピュータ可読媒体。
14. 基礎画素にホモグラフィー行列変換を適用して、前記基礎画素から並進後画素を生成し、
    対応ポイントを三角測量して、３次元シーンを生成し、
    前記３次元シーンを表示用に提供する
    プロセッサを備える装置。
15. 前記プロセッサは、マルチコアプロセッサおよびグラフィクスプロセッシングユニットのうち少なくとも１つである請求項１４に記載の装置。
16. 前記プロセッサは、逆構成画像アラインメント（ＩＣＩＡ）を用いて前記ホモグラフィー行列変換を生成する請求項１４に記載の装置。
17. 前記プロセッサは、ホモグラフィー行列を適用すべく、
    ホモグラフィー行列変換を生成し、
    前記ホモグラフィー行列変換の陰関数として、基礎画像と並進後画像のワープウィンドウとの間における光一貫性を定義し、
    前記ワープウィンドウの光一貫性を改善する
    請求項１４に記載の装置。
18. 前記コンピュータは、基礎画素から並進後画素を生成するべく、前記基礎画素と前記並進後画素との間の光一貫性を改善する請求項１４に記載の装置。
19. 表示デバイスと、
    前記表示デバイスに通信可能に結合されているコンピュータシステムと
    を備え、
    前記コンピュータシステムは、
    基礎画素にホモグラフィー行列変換を適用して、前記基礎画素から並進後画素を生成し、
    対応ポイントを三角測量して、３次元シーンを生成し、
    前記３次元シーンを表示用に提供する
    システム。
20. 前記コンピュータシステムは、逆構成画像アラインメント（ＩＣＩＡ）を用いて前記ホモグラフィー行列変換を生成する請求項１９に記載のシステム。
21. 前記プロセッサは、ホモグラフィー行列を適用すべく、
    ホモグラフィー行列変換を生成し、
    前記ホモグラフィー行列変換の陰関数として、基礎画像と並進後画像のワープウィンドウとの間における光一貫性を定義し、
    前記ワープウィンドウの光一貫性を改善する
    請求項１９に記載のシステム。
22. 前記コンピュータシステムは、基礎画素から並進後画素を生成するべく、前記基礎画素と前記並進後画素との間の光一貫性を改善する請求項１９に記載のシステム。

Images