JP2006065862A - ビュー・モーフィング法の改良 - Google Patents

Abstract

【課題】 ビュー・モーフィング法を改良する方法を提供する。
【解決手段】 本発明による方法は、シーンの第１および第２の画像（３０ａ、３０ｂ）を提供し、第１の画像から第２の画像への対応する点の間をマップする第１の視差マップ（３２ａ、３２ｂ）を生成するために、第１および第２の画像にステレオマッチングアルゴリズム（３１）を適用し、第２の視差マップ（３３ａ、３３ｂ）を生成するために、第１の視差マップを第３の画像の座標の中に前方向マッピングする。さらに、第２の視差マップを使用し、第３の画像の少なくともいくつかのピクセルの各々にあり得る色値を取得するために、第３の画像の少なくともいくつかのピクセル位置を第１および第２の画像の対応する点に逆方向マッピングし、あり得る色値に基づいて第３の画像の少なくともいくつかのピクセルの各々に、最終的色値を指定し、シーンの新しいビュー（３４ａ、３４ｂ）を提供する。
【選択図】 図６

Description

本発明の方法は、画像処理法及び、特に、あるシーンの第１と第２の画像から、それと異なる視点からの該シーンの第３の画像を作成する処理法に関する。

コンピュータ画像作成の分野では、あるシーンのある視点からのビューを、すでに利用可能ないくつかのそれを用いて作成することが、しばしば望まれる。このような手法の使用目的のひとつは、立体表示装置のためのコンテンツ作成である。立体表示装置では、同じシーンのわずかに異なった二つの画像が利用者に提示され、それぞれの眼に一つの画像が与えられ、利用者の知覚がそれを三次元シーンとする。二つの画像によって与えられる奥行きレンジ（ｄｅｐｔｈ ｒａｎｇｅ）が、与えられた三次元表示装置の上の快適な眺めには大きすぎるということがありうる。このような場合には、立体画の奥行きレンジを変更することが望ましい。シーンに対する明白な三次元情報が得られないので、存在する画像のみに基づいてシーンの新しい画像を作成する方法のみが、利用者がより快適に眺めることができる新しい立体画の創造を可能とするであろう。

いくつかの既存の画面合成の手法が知られている。ＣｈｅｎおよびＷｉｌｌｉａｍｓによる「Ｖｉｅｗ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｏｒ Ｉｍａｇｅ Ｓｙｎｔｈｅｓｉｓ」、（Ｐｒｏｃ，ＡＣＭ ＳＩＧＧＲＡＰＨ １９９３，２７９〜２８８ページ）、ならびにＣｈｅｎおよびＷｉｌｌｉａｍｓによる「Ｔｈｒｅｅ−Ｄｉｍｅｎｔｉｏｎａｌ Ｉｍａｇｅ Ｓｙｎｔｈｅｓｉｓ ｕｓｉｎｇ Ｖｉｅｗ Ｉｎｔｅｒｐｏｌａｔｉｏｎ」（米国特許Ｎｏ．５，６１３，０４８）は、二つの二次元画像の集合により、いかに三次元シーンが表現できるかについて記述している。いくつかの「対応マップ」が利用できることを想定している。これらのマップはある与えられた特徴（ｆｅａｔｕｒｅ）の二次元画像の中の、視点の変更による位置を定義する。マップは、ソース画像（ｓｏｕｒｃｅ ｉｍａｇｅ）の中の特徴を手動的にラベル付けする方法で、又はシーンの幾何学的モデルを参照する方法で得ることができることが示唆されている。ある与えられた特徴の位置の変更は、シーン内の位置の両眼視差（ｂｉｎｏｃｕｌａｒ ｄｉｓｐａｒｉｔｉｅｓ）を定義する。

シーンの新しいビューを作るために、ソース画像からのピクセルが、対応マップに従って新しい画像の中に「前方マップ（ｆｏｒｗａｒｄ ｍａｐｐｅｄ）」される。新しいビューの中の同じターゲット位置に、複数の特徴がマップされる場合、「前方に（ｉｎ ｆｒｏｎｔ）」ある特徴が選択される。この手法は、新しいビューの画質を落とすことなく、保存スペースの量と処理時間の削減を可能とする。しかしながら、新しいビューが完全であることは保障されないであろう。新しいビューには前方マップの処理過程において、色値（ｃｏｌｏｕｒ ｖａｌｕｅ）が与えられない領域が存在し得る。新しいビューは最初にある識別の容易な色で満たされ、後に前方マップされたピクセルの色値で置きかえられる方法が示唆されている。これにより新しいビューのいかなる隙間も容易に特定することができる。その後、隙間は周囲のピクセルの色からの内挿法または周囲の対応マップの情報にソース画像を参照した値からの内挿法により満たされる。これらの手法では何れも正確な表現を得ることはできない。周囲のピクセルの色からの内挿法は、隣接するピクセルとの間の滑らかな連続を作るものの、それは色値の欠けた領域に現れるはずのあらゆる画像構造の貧弱な近似値を提供する結果となる。新しいビューはそれ故に不鮮明に見え、この不具合は情報の欠けた領域のサイズと共に大きくなる。隙間に隣接する対応マップのデータからの単純な内挿法は、それが奥行きの不連続を考慮していない故に、通常適切ではない。

ビューの内挿法の理論的分析が、ＳｅｉｔｚおよびＤｙｅｒによる「Ｖｉｅｗ Ｍｏｒｐｈｉｎｇ，Ｐｒｏｃ」、（ＡＣＭ ＳＩＧＧＲＡＰＨ １９９６、２１〜３０ページ）に提供されており、それはＣｈｅｎおよびＷｉｌｌｉａｍｓの方法を実際の画像に適用できるように改良している。この場合にも、対応マップは与えられた特徴の画像位置を定義することで得られる。対応マップを作成するために、ステレオマッチングアルゴリズムが、一対の画像に適用することが出来る。ＳｅｉｔｚおよびＤｙｅｒは、新しいビューを与えるために、ＣｈｅｎおよびＷｉｌｌｉａｍｓと同じ前方マッピングの手順を使用している。両方のソース画像からの色情報が新しいビューのピクセル値を作るために混合される。新しいビューの隙間は、近接するピクセル間の内挿法で埋められる。

ＳｅｉｔｚおよびＤｙｅｒの方法は、図１ａと図１ｂの流れ図に示されている。図１ａは、用いられている幾何学的形状の処理を示す。原画像（ｏｒｉｇｉｎａｌ ｉｍａｇｅ）Ｉ_ＬおよびＩ_Ｒの中の位置（ｉ、ｊ_Ｌ）および（ｉ，ｊ_Ｒ）が、マッチングアルゴリズムＭによってマッチチングされ、視差マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）Ｄ_ＬおよびＤ_Ｒが作られる。マッチ（ｍａｔｃｈｅ）は類似した画像の特徴を探すことで得られ、その結果Ｉ_Ｌ（ｉ，ｊ_Ｌ）およびＩ_Ｒ（ｉ，ｊ_Ｒ）はシーンの同じ特徴を表すものであるから、概ね等しい。見方を変えると、Ｉ_Ｌの中の位置（ｉ，ｊ_Ｌ）は、Ｉ_Ｒの中の（ｉ，ｊ_Ｒ）＝（ｉ，ｊ_Ｌ−Ｄ_Ｌ（ｉ，ｊ_Ｌ））に対応する位置を有すると考えることができる。同様にＩ_Ｒの中の位置（ｉ，ｊ_Ｒ）は、Ｉ_Ｌの中の（ｉ，ｊ_Ｌ）＝（ｉ，ｊ_Ｒ＋Ｄ_Ｒ（ｉ，ｊ_Ｒ））に対応する位置を有する。行インデクスｉは二つの画像の中で同じであるので、画像は補正されている（ｒｅｃｔｉｆｉｅｄ）と見なされ、従って共通の特徴は水平方向の変換のみに関連することが期待される。

図１ｂは画像の色処理を示す。原画像（Ｉ_ＬおよびＩ_Ｒ）からの色は、二つの新しい画像（Ｉ_Ｌ’およびＩ_Ｒ’）の座標位置（ｊ_Ｌ’およびｊ_Ｒ’）に前方マップされる。それぞれの場合において、最終的な色は混合操作Ｂによって得られる。混合操作は新しい画像（Ｉ_Ｌ’およびＩ_Ｒ’）の色値を、それぞれに対応する画像の特徴に対して作成する。

図２は、原画像（Ｉ_ＬおよびＩ_Ｒ）と結びつくカメラの位置を示す。二つの原画像の間の、新しい画像（Ｉ_Ｌ’およびＩ_Ｒ’）の位置は、その値が両原画像の間で０と１の間で変化するパラメータｔを用いて定義される。二つの立体視画像の合成には、新しいビュー（Ｉ_Ｌ’およびＩ_Ｒ’）に対してそれぞれｔ_Ｌおよびｔ_Ｒの、二つのパラメータが必要である。

図１ｂに示された処理手順は、特定のピクセルのルートをたどることにより理解される。例えば、図１ｂの最上位左の箱からスタートし、画像Ｉ_Ｌの位置ｊ_Ｌからの色が選定される。この色を二つの新しい位置にマップするために、視差マップＤ_Ｌが使用される。第１の新しい位置は、画像Ｉ_Ｌ’の中の位置ｊ_Ｌ’＝ｊ_Ｌ−ｔ_ＬＤ_Ｌ（ｊ_Ｌ）である。第２の新しい位置は、画像Ｉ_Ｒ’の中の位置ｊ_Ｒ’＝ｊ_Ｌ−ｔ_ＲＤ_Ｌ（ｊ_Ｌ）である。同様に画像Ｉ_Ｒの位置ｊ_Ｒからの色は、視差マップＤ_Ｒを用いて、画像Ｉ_Ｌ’の中の位置ｊ_Ｌ’＝ｊ_Ｒ＋（１−ｔ_Ｌ）Ｄ_Ｒ（ｊ_Ｒ）および画像Ｉ_Ｒ’の中の位置ｊ_Ｒ’＝ｊ_Ｒ＋（１−ｔ_Ｒ）Ｄ_Ｒ（ｊ_Ｒ）にマップされる。この結果、Ｉ_Ｌ’およびＩ_Ｒ’の各位置に二個づつの色の組が与えられ，その組は前述の方法で混合される。

米国特許Ｎｏ．６，２１５，４９６は、修正された「スプライト（ｓｐｒｉｔｅ）」表現について記述し、その中で通常のスプライトがあるシーンの中の比較的平坦な、或いは遠距離の部分を与えるために使用できるとしている。ただ一つの入力画像が使用され、関連付けられる奥行きマップと共に採られる。奥行きの情報は出力位置に前方マップされ、色は一つの入力画像に逆方向マップされる（ｒｅｖｅｒｓｅ ｍａｐｐｅｄ）。この表現は、各ピクセルがスプライトマッピングから独立にオフセットすることを許容することで、改良することができる。オフセットは、歪められた表面に対する、その位置のシーンの奥行きによって定められる。オフセットは表面の既存のモデルから得られるか、あるいは対応アルゴリズムによる計算によって得られると、想定されている。米国特許Ｎｏ．６，２１５，４９６の方法が図３ａおよび図３ｂに示され、幾何学的形状および色の処理方法が、それぞれ示されている。原画像（Ｉ_ＬおよびＩ_Ｒ）が、上述の方法でマッチングされる。次いで視差が前方マップされ、新しい画像の座標位置に新しい視差マップ（Ｄ_Ｌ’およびＤ_Ｒ’）を与える。特に、視差Ｄ_Ｌ（ｊ_Ｌ）は新しい視差マップＤ_Ｌ’の中の位置ｊ_Ｌ’＝ｊ_Ｌ−ｔ_ＬＤ_Ｌ（ｊ_Ｌ）にマップされ、そして同様に視差Ｄ_Ｒ（ｊ_Ｒ）は新しい視差マップＤ_Ｒ’の中の位置ｊ_Ｒ’＝ｊ_Ｒ＋（１−ｔ_Ｒ）Ｄ_Ｒ（ｊ_Ｒ）にマップされる。

図３ｂに示される色の処理方法は、新しいビューの一つのある位置から始まり、対応する視差マップを用いて原画像の一つの中の色を見つける。この色は新しいビューの中に与えられる。例えば、画像Ｉ_Ｌ’の中の位置ｊ_Ｌ’は、視差Ｄ_Ｌ’（ｊ_Ｌ’）に対応する。これは、ｊ_Ｌ’は画像Ｉ_Ｌの中の位置ｊ_Ｌ＝ｊ_Ｌ’＋ｔ_ＬＤ_Ｌ’（ｊ_Ｌ’）にマップされることを意味する。よって、Ｉ_Ｌ（ｊ_Ｌ）の色が、画像Ｉ_Ｌ’の位置ｊ_Ｌ’に与えられる。

ＣｈｅｎおよびＷｉｌｌｉａｍｓの方法は、コンピュータで作成された画像を用いて作業するように設計されている。ＳｅｉｔｚおよびＤｙｅｒの方法は、前方マッピングを用いる。前述した米国特許の方法は、あるシーンの平坦なあるいは遠距離の部分の新しいビューが単一のソース画像に基づいて作成するように、設計されている。シーンの新しいビューを製作する方法を提供できることが望まれる。特に、あるシーンの明白な三次元情報が得られない時に、立体画の奥行きレンジを変更するために使用できる方法を提供することが望まれる。

ＵＳ５９１７９３７は、複数の入力画像から視差、色およびあいまいさ（ｏｐａｃｉｔｉｅｓ）を決定するためのステレオマッチングアルゴリズムを公開している。このアルゴリズムは一般的な視差スペースを作成し、ソース画像を視差スペースに前方マッピングすることにより、視差スペースの中の色とあいまいさの推測値を作成する。推測値を精密化するために、統計的方法が用いられる。

発明の第１の局面に従って、
（ａ）シーンの第１および第２の画像の提供するステップと、
（ｂ）ステレオマッチングアルゴリズムを第１および第２の画像に適用し、第１の画像から第２の画像への対応する点の間をマップする第１の視差マップの生成するステップと、
（ｃ）第１の視差マップの第３の画像の座標への前方マッピングによる、第２の視差マップの生成するステップと、
（ｄ）第２の視差マップを使用し、第３の画像の中の各ピクセル位置を第１および第２の画像の対応する位置に逆方向マッピングし、第３の画像の中の各ピクセルに対するあり得る色値の取得するステップと、
（ｅ）第３の画像の中の少なくともいくつかのピクセルのそれぞれに対して、あり得る色値に基づく最終的色値を指定し、およびその結果によるシーンの新しいビューの提供するステップとを包含する画像処理の方法が、提供される。

第１および第２の画像は、水平方向のオフセットのみによって関連づけられるように補正され得る。

第３の画像の位置は利用者によって選択され得る。第３の画像の位置は、第１と第２の画像の間に位置し得る。

ステップ（ｃ）は、第２の視差マップの各エントリーが第１および第２の画像のそれぞれの中に唯一の位置を識別するように、第１の視差マップの前方マッピングを包含し得る。ステップ（ｃ）は、第２の視差マップの中の隙間が満たされるように、前方マッピングの調整を包含し得る。第３の画像のピクセル位置の中の隙間は、それぞれの隙間のそれぞれの端における第２の視差マップの値に基づいて、満たされ得る。

ステップ（ｄ）の中で第３の画像の中の各ピクセル位置に対応する第１および第２の画像から得られる色値は、第１および第２の画像のそれぞれの中の隣接するピクセルの間の内挿法によって得られうる。内挿法は一次近似法および三次近似法の何れでもよい。

ステップ（ｅ）は色値を提供するために、あり得る色値の混合を包含し得る。混合は、第１および第２の画像の場所に対する第３の画像の場所の近接度に従って、実施され得る。色の混合は、第１および第２の画像のうち第３の画像により近い方が、第３の画像のピクセルの色により大きな影響を有するように、重み付けされ得る。

最終的な色値は、あり得る色値の一つであり得る。

ステップ（ｂ）のステレオマッチングアルゴリズムは、単一の視差マップを作るために、単調性（ｍｏｎｏｔｏｎｉｃｉｔｙ）の制限を強制することを包含し得る。

該方法は、第１および第２の画像を交換してステップ（ｂ）を繰り返すことにより、第２の画像から第１の画像の対応する位置にマップする、異なる第１の視差マップを生成するさらなるステップと、異なる第２の視差マップを生成するために、異なる第１の視差マップに対してステップ（ｃ）を繰り返すさらなるステップであって、あり得る色値を得るためにそれぞれの第２の視差マップに対してステップ（ｄ）が実行される、さらなるステップを包含し得る。

二つの第２の視差マップは、ステップ（ｄ）および（ｅ）に先立って、第３の画像の座標の中に併合され（ｍｅｒｇｅｄ）得る。該方法は、二つの第１の視差マップを比較し、全ての不整合なエントリーを削除し、その結果、単一の第１の視差マップを提供する、さらなるステップを包含し得る。

該方法は、異なる第３の画像に対してステップ（ｃ）および（ｅ）を繰り返し、その結果、シーンの新しい一対のステレオビューを形成する二つの第３の画像を作成する、さらなるステップを包含し得る。

該発明の第２の局面に従って、シーンの第１および第２の画像を提供する画像取得手段と、第１の画像から第２の画像に対応する点の間をマップする第１の視差マップを生成するために第１の画像および第２の画像に対してステレオマッチングアルゴリズムを適用するための手段と、第２の視差マップを生成するために第１の視差マップを第３の画像の座標の中に前方マッピングするための手段と、第３の画像のなかの少なくともいくつかのピクセルのそれぞれに対してあり得る色値を得るために、第２の視差マップを使用して第３の画像の中の少なくともいくつかのピクセル位置から第１および第２の画像の対応する点に逆方向マッピングを実行するための手段と、第３の画像の中の少なくともいくつかのピクセルのそれぞれにあり得る色値に基づいて最終的色を指定し、その結果、シーンの新しいビューを提供するための手段とを備える画像処理のための装置が、提供される。

該発明のさらなる局面に従って、発明の方法および第１の局面を実行するコンピュータを制御するプログラムが提供される。

該プログラムは記憶媒体に蓄えられ得る。プログラムは通信ネットワークを通じて送信され得る。

本発明の更にさらなる局面に応じて、発明の第１の局面の方法を実行するためにプログラムされたコンピュータが提供される。

本発明は、さらに以下の手段を提供する。

（項目１）
画像を処理する方法であって、
（ａ）シーンの第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）を提供する（３０ａ、３０ｂ）ステップと、
（ｂ）該第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）にステレオマッチングアルゴリズム（Ｍ）を適用すること（３１）により、該第１の画像から該第２の画像へ対応する点の間でマップする第１の視差マップ（Ｄ_Ｌ、Ｄ_Ｒ）を生成するステップと、
（ｃ）該第１の視差マップを第３の画像の座標の中に前方マッピングすることにより、第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）を生成するステップと、
（ｄ）該第２の視差マップを使用して、該第３の画像の中の少なくともいくつかのピクセル位置から該第１および第２の画像の中の対応する点に逆方向マップ（Ｂ）することによって、該第３の画像の中の少なくともいくつかの該ピクセルのそれぞれにあり得る色値を取得するステップと、
（ｅ）該あり得る色値に基づいて該第３の画像の中の少なくともいくつかの該ピクセルのそれぞれに対して最終的色値を指定することによって、該シーンの新しいビュー（Ｉ_Ｌ’、Ｉ_Ｒ’）を提供するステップと
を包含する、方法。

（項目２）
上記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）は、水平方向のオフセットのみによって関連づけられるように補正されていることを特徴とする、項目１に記載の方法。

（項目３）
上記第３の画像の位置は、利用者によって選択されることを特徴とする、項目１または２に記載の方法。

（項目４）
上記第３の画像の位置は、上記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）の位置の間にあることを特徴とする、項目１から３のいずれか一項に記載の方法。

（項目５）
上記ステップ（ｃ）は、上記第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）のそれぞれのエントリーが上記第１および第２の画像のそれぞれの中に唯一の位置を識別するように、上記第１の視差マップ（Ｄ_Ｌ、Ｄ_Ｒ）を前方マップすることを包含することを特徴とする、項目１から４のいずれか一項に記載の方法。

（項目６）
上記ステップ（ｃ）は、上記第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）の中の隙間が満たされるように、上記前方マッピングを調整することを包含することを特徴とする、項目５に記載の方法。

（項目７）
上記第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）の中の隙間は、各隙間のそれぞれの端における上記第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）の値に基づいて埋められることを特徴とする、項目６に記載の方法。

（項目８）
上記ステップ（ｄ）において、上記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）から上記第３の画像の中の対応するそれぞれのピクセル位置に対して取得される色値は、該第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）のそれぞれの中の隣接するピクセルの間の内挿法によって取得されることを特徴とする、項目１から７のいずれか一項に記載の方法。

（項目９）
上記内挿法は、一次近似法および三次近似法のいずれか一つによることを特徴とする、項目８に記載の方法。

（項目１０）
上記ステップ（ｅ）は、最終的色値を提供するためにあり得る色値を混合することを包含することを特徴とする、項目１から９のいずれか一項に記載の方法。

（項目１１）
上記混合は、上記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）の撮影位置に対する上記第３の画像の位置の近接度に従って行われることを特徴とする、項目１０に記載の方法。

（項目１２）
上記色の混合は、上記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）のうち上記第３の画像により近い方が上記第３の画像の中のピクセルの色により大きな影響を有するように重み付けがなされることを特徴とする、項目１１に記載の方法。

（項目１３）
上記最終的な色値は、あり得る色値のうちの一つであることを特徴とする、項目１から１０のいずれか一項に記載の方法。

（項目１４）
上記ステップ（ｂ）のステレオマッチングアルゴリズム（Ｍ）は、単一の視差マップを作成するために単調的な制約を強制することを包含することを特徴とする、項目１から１３のいずれか一項に記載の方法。

（項目１５）
該方法は、
上記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）を入れ替えて上記ステップ（ｂ）を繰り返すことにより、上記第２の画像から上記第１の画像に対応する点の間でマップする異なる第１の視差マップを生成するステップと、
該異なる第１の視差マップに対して上記ステップ（ｃ）を繰り返すことにより異なる第２の視差マップを生成するステップとをさらに包含し、
あり得る色値を取得するために、二つの第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）のそれぞれに対して上記ステップ（ｄ）が実行されることを特徴とする、項目１から１４のいずれか一項に記載の方法。

（項目１６）
上記ステップ（ｄ）および（ｅ）に先立って、上記二つの第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）が上記第３の画像の座標の中に併合されることを特徴とする、項目１５に記載の方法。

（項目１７）
上記二つの第１の視差マップ（Ｄ_Ｌ、Ｄ_Ｒ）を比較し、全ての整合しないエントリーを削除することによって、単一の第１の視差マップを提供するさらなるステップを包含することを特徴とする、項目１６に記載の方法。

（項目１８）
異なる第３の画像位置に対して上記ステップ（ｃ）からステップ（ｅ）までを繰り返すことによって、上記シーンの新しい一対のステレオビューを形成する二つの第３の画像（Ｉ_Ｌ’、Ｉ_Ｒ’）を作成するさらなるステップを包含することを特徴とする、項目１から１７のいずれか一項に記載の方法。

（項目１９）
第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）を提供する画像取得手段（１、２）と、
該第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）に対してステレオマッチングアルゴリズムを適用し、第１の画像から第２の画像への対応する点の間をマップする第１の視差マップ（Ｄ_Ｌ、Ｄ_Ｒ）を生成する手段（４）と、
該第１の視差マップ（Ｄ_Ｌ、Ｄ_Ｒ）を第３の画像（Ｉ_Ｌ’、Ｉ_Ｒ’）の座標の中に前方マッピングすることによって、第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）を生成する手段（４）とを備えた、画像処理のための装置であって、該装置は、
該第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）を使用して該第３の画像（Ｉ_Ｌ’、Ｉ_Ｒ’）の中の少なくともいくつかのピクセル位置に対して該第１及び第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）の中の対応する点への逆方向マッピングを実行することにより、該第３の画像（Ｉ_Ｌ’、Ｉ_Ｒ’）の中の少なくともいくつかのピクセルのそれぞれに対してあり得る色値を獲得する手段（４）と、
該あり得る色値に基づいて該第３の画像（Ｉ_Ｌ’、Ｉ_Ｒ’）の中の少なくともいくつかのピクセルのそれぞれに対して最終的色を指定することによって、該シーンの新しいビューを提供するための手段と
を備えたことを特徴とする、装置。

（項目２０）
項目１から１８のいずれか一項に記載する方法を実行するためのコンピュータ（４）を制御するためのプログラム。

（項目２１）
記憶媒体（２１）に蓄えられる、項目２０に記載のプログラム。

（項目２２）
項目２０に記載のプログラムの、通信ネットワーク（２７）を経由しての送信。

（項目２３）
項目１から１８のいずれか一項に記載する方法を実行するためにプログラムされたコンピュータ（４）。
（摘要）
シーンの新しいビューを作成するための方法および装置を提供する。該方法は以下のステップ、
（ａ）シーンの第１および第２の画像（３０ａ、３０ｂ）を提供するステップ、
（ｂ）第１の画像から第２の画像への対応する点の間をマップする第１の視差マップ（３２ａ、３２ｂ）を生成するために、第１および第２の画像にステレオマッチングアルゴリズム（３１）を適用するステップ、
（ｃ）第２の視差マップ（３３ａ、３３ｂ）を生成するために、第１の視差マップを第３の画像の座標の中に前方向マッピングするステップ、
（ｄ）第２の視差マップを使用し、第３の画像の中の少なくともいくつかのピクセルのそれぞれにあり得る色値を取得するために、第３の画像の少なくともいくつかのピクセル位置を第１および第２の画像の中の対応する点に逆方向マッピングするステップ、
（ｅ）あり得る色値に基づいて第３の画像の中の少なくともいくつかのピクセルのそれぞれに、最終的色値を指定し、その結果としてシーンの新しいビュー（３４ａ、３４ｂ）を提供するステップを包含する。

本発明をより良く理解するために、およびその同一物が有効にもたらされ得ることを示すために、添付図面が参照される。

以下に記述する実施形態は、あるシーンに対する二つの与えられたビューから、新しい画像を合成する方法を規定する。各々の新しいビューの部分的にさえぎられた（ｏｃｃｌｕｄｅｄ）およびあいまいな（ａｍｂｉｇｕｏｕｓ）領域は、適切に提供される。更に加えて、両方の入力画像からの色情報が、各々の新しいビューのピクセル値を決めるために用いられる。本発明の一実施形態が図４に示されている。カメラ１および２は、それぞれ入力画像Ｉ_ＬおよびＩ_Ｒを得るために用いられる．これらの画像はコンピュータ４に送られる。利用者は、入力装置６を介して、位置ｔで示す中間の視点位置を指定することができる。入力装置は、例えばキーボードまたはマウスが使用できる。コンピュータは以下に記述する方法で入力を処理し、中間のビューＩ’を作成する。出力画像はコンピュータに付属したディスプレイ５に現れる。新しいビューが作られる中間の位置は、カメラ１から距離ｂの位置にある仮想のカメラ３によりシーンの画像が得られる位置と等価である。新しいビューＩ’の位置は、カメラ１と２の間の全距離ａに対する距離ｂの割合によって定義される。

本発明の第１の実施形態の方法は、一つより多くの入力画像の間の視差マップを、例えばマッチングアルゴリズムを用いて、得ること、一つより多くの画像からの視差をそれぞれの所要の出力画像位置に前方マッピングすること、および一つより多くの入力画像に逆方向マッピングすることにより、新しいビューの色情報を得ること、を含む。本発明の実施形態は、一対の新しい合成ステレオを含む一対の新しいビューを作成するために利用し得る。本発明の実施形態は、ＳｅｉｔｚおよびＤｙｅｒにより記述された前方マッピングアルゴリズムよりも正確である。逆方向マッピングの手順は異常なピクセルをほとんど作らず、また偽の空白領域を作らない。よく知られるように、逆方向マッピングの手順はまた、より制御された方法でソース画像からのサンプル採取を可能にする。

以下に記述する逆方向マッピング処理の利点は、上記既存技術のいくつかで必要とされるように、シーンの新しく隠されたあるいは現された部分が、ピクセルの色の間でよりもむしろピクセルのオフセットの間で解像され得ることにある。このことが新しいビューをより完全にまたより正確にする。

実施形態のいくつかに従えば、二つのソース像の間に相互に不整合がないことを保証できる。この制約は、新しい画像が一対のステレオとして眺められたときに明らかとなる、奥行き人工物（ｄｅｐｔｈ ａｒｔｅｆａｃｔｓ）の数を減らす。異なるソース画像からの色情報の結合の重要性が保持される。

以下に記述する方法は、同一のシーンあるいはオブジェクトの二つ以上の入力ビューを必要とする。最小のケースが図２に示されており、そこではカメラ１および２が、深度の異なる表面７および８を含む一つのシーンの、一対のステレオ画像Ｉ_ＬおよびＩ_Ｒを撮影する。二台のカメラが平行な光軸をもって並んでいない場合には、画像は最初に補正される必要がある。補正の処理は、二つの画像の中の対応する特徴が水平方向のオフセットのみに関係することを保証する。

図２の二台のカメラによって作られた二つの画像を図５に示す。二つの表面７および８はＦおよびＧの記号で記される。二つの画像を撮影した二台のカメラは平行であるので、水平方向の視差のみが存在する。二つの画像は端切され（ｃｒｏｐｐｅｄ）ているので、表面Ｇは視差を有しない。各画像の中心を通るピクセルの行が点線で記される。ピクセルの行および対応する視差が１０に示されている。例えば点ｆ_１は、画像Ｉ_Ｌのピクセル位置５にあり、画像Ｉ_Ｒのピクセル位置５＋（−２）＝３にある。つまり、１１で示されたピクセルは画像の特徴ｆ_１を所有し、また視差マップの対応するエントリー位置１２に−２を有する。このことは画像Ｉ_Ｒの中に特徴ｆ_１の対応する位置を得るためには、画像Ｉ_Ｌの中のｆ_１のピクセル位置から二つのピクセル位置を引き算し、１３で示すように画像Ｉ_Ｒの中のピクセル位置３を得ることを示している。Ｘの記号が記された点は一つの画像のみに見られ、従ってマッチされることができない。

図６ａおよび６ｂは、本発明の実施形態における幾何学的形状の処理及び色の処理の局面を、それぞれ示す。ソース画像Ｉ_ＬおよびＩ_Ｒ（３０ａ、３０ｂ）から出発し、対応マップ（あるいは視差マップ）を計算するためにステレオマッチングアルゴリズムＭ（３１）が使用され、視差マップＤ_Ｌ（３２ａ）（画像Ｉ_Ｌを画像Ｉ_Ｒにマップする）およびＤ_Ｒ（３２ｂ）（画像Ｉ_Ｒを画像Ｉ_Ｌにマップする）を作成する。一般的に二つのマップは独立であり、その理由は画像Ｉ_Ｌには画像Ｉ_Ｒのビューから隠された特徴が存在し、またその逆もあるからである。視差マップが計算され、新しい視差マップＤ_Ｌ’およびＤ_Ｒ’（３３ａ、３３ｂ）を作るために前方マッピングされる。二つの新しいビューの一つの位置からスタートし、対応する視差マップを使用して、ソースビューの中に色を見つける。例えば画像Ｉ_ＬおよびＩ_Ｒの中のそれぞれｊ_Ｌおよびｊ_Ｒの位置の色を見つけるために、視差マップＤ_Ｌ’が使用される。画像Ｉ_Ｌからの色は位置ｊ_Ｌ’と関連づけられ、同じく位置ｊ_Ｌ’と関連づけられる画像Ｉ_Ｒからの色と混合される。その結果は、画像Ｉ_Ｌ’の位置ｊ_Ｌ’に指定される。これと対応する一連の手順が、画像Ｉ_Ｒ’の位置ｊ_Ｒ’の色を計算するために採られる。その結果、ソース画像のシーンの新しいビューを構成する二つの出力画像Ｉ_Ｌ’およびＩ_Ｒ’（３４ａ、３４ｂ）が得られる。

アルゴリズムの個々のステージを以下に記述する。単独の画像Ｉ’の合成を考えることが、ステレオの一対の画像Ｉ_Ｌ’およびＩ_Ｒ’を考えるよりも好都合である。以下の章を参照するときに、左手の新しい画像は対応する特徴に添字Ｌを付加することで得られ、右手の新しい画像に対しては添字Ｒを用いる。

図７は、表面７の上の点ｆ_１からｆ_４および表面８の上の点ｇ_１からｇ_１０を示す。二つの表面の形状はカメラ１および２によって撮影され、それぞれ画像Ｉ_ＬおよびＩ_Ｒを作る。

ｇ_３およびｇ_４はカメラ２から隠されており、ｇ_７およびｇ_８はカメラ１から隠されていることに注意する。画像Ｉ_ＬおよびＩ_Ｒからのピクセルの行が図９に示されており、Ｉ_ＬおよびＩ_Ｒの画像点間のマッチを示す。点のマッチは矢印で示され、矢印は視差のある場合は傾斜している。図７を参照し、表面Ｇは視差がゼロであるように画像は水平方向に整列されていることが、説明のために想定される。Ｉ_Ｌのｇ_３およびｇ_４あるいはＩ_Ｒのｇ_７およびｇ_８には、これらの点が両方のカメラから見えないために、視差は与えられない。

画像Ｉ’は「ターゲット画像」であり、元のカメラの間の視点に対応する。特にｔを範囲０から１までの値をとるパラメータとし、Ｃ_ＬとＣ_Ｒをカメラの位置とすると、新しい視点は位置（１−ｔ）Ｃ_Ｌ＋ｔＣ_Ｒに有効に置かれる。例えばｔ＝１/２とすると、画像Ｉ’はＣ_ＬとＣ_Ｒとの間の中間点の視点に対応し、図８に示す仮想のカメラ３により撮影される。

逆方向マッピングを実行するために、図６ａおよび６ｂに示すように、Ｉ’の座標で記述された新しい視差マップＤ’が必要である。Ｄ_ＬとＤ_ＲとをＤ’に前方マップすることができる。視差が非負の数で表されている場合は、それぞれの位置（ｉ，ｊ）に対して、
方程式は、
Ｄ’（ｉ，ｊ’）←Ｄ_Ｌ（ｉ，ｊ_Ｌ），
ここで、 ｊ’＝ｊ_Ｌ−ｔＤ_Ｌ（ｉ，ｊ_Ｌ） および
Ｄ’（ｉ，ｊ’）←Ｄ_Ｒ（ｉ，ｊ_Ｒ），
ここで、 ｊ’＝ｊ_Ｒ＋（１−ｔ）Ｄ_Ｒ（ｉ，ｊ_Ｒ）。 （１）
記号「ａ←ｂ」は、「値ｂをａに指定する」ことを意味する。これらの方程式は０≦ｔ≦１の範囲で与えられ、それぞれｊ_Ｒおよびｊ_Ｌに向けてのマッピングと解釈される。

前方マッピング処理が図６ａの下部に示されている。一般に方程式（１）の水平方向のターゲット座標は整数ではなく、そのためにソース視差は正確なピクセルの位置にマップしないであろう。更に、一つより多くのもとの値が（ほぼ）同一の位置にマップされ得る。各ピクセルに単一の推定値を作るために、下記の手順が使用できる。

前方マップされた各サンプルは、「適用範囲（ｃｏｖｅｒａｇｅ）」値０≦α≦１と関連づけられることができる．例えば、水平方向のターゲット位置が二つのピクセルｐおよびｑの間にあると仮定すれば、ｊ_ｐ≦ｊ’≦ｊ_ｑである。元の値が両方の位置、α_ｐ＝ｊ_ｑ−ｊ’およびα_ｑ＝ｊ’−ｊ_ｐにマップされる。その結果、各ターゲット位置の元の値と対応する「適用範囲」のリストが作られる。ターゲット視点に最も近い表面を表す最も外側の値は、各位置の他の値をふさぐ（ｏｃｃｌｕｄｅ）傾向にある。この原則は、各位置の単一のターゲット値を得るために使用することができる。その値は候補値のリストを視差の低い方から高い方にソーティングすることにより計算される。その後、リストは、ａ値（ａ ｖａｌｕｅｓ）を重みとして、後ろから前へと合成される。

上述した手順は、Ｄ’の各位置に、複数の値を分析してその中から単一の推定値を得るために用いられる。Ｄ’の各エントリーは各ソース画像の中の唯一の位置を識別（ｉｄｅｎｔｉｆｙ）する。しかし一般に、値がマップされていないＤ’の領域が存在するであろう。これはシーンのふさいでいる表面の影響による。その結果生じる隙間は、以下に述べるように、視差アレイの各行に沿って、個々に埋めることができる。

一般に、ふさがれた表面の視差表面は、それがふさいでいる縁に達するまで延長されなければならない。そしてこれは以下の方法で達成可能である。それぞれの隙間の両端における視差が調査され、二つのうちの小さいほうが外挿されるべき側となる。次いで隙間の該当する側の隣接する視差に対して、一次元モデルが適合される。このモデルには、外挿された端が接触点においてふさいでいる端の前にくることはできない、という制約がある。この手順の便利な近似法として、二つの端の点の視差のうち小さいほうを単純に隙間の全ての位置に指定することができる。これは実質的に零次の外挿モデルである。

前方マッピングのステージを図１０に示す。視差が図９に示された対応に従って前方マップされる。この処理ではＩ’座標のｇ_２とｆ_１の間およびｆ_４とｇ_９の間に隙間が生じる。欠けている値は隙間の端の位置を比較することにより推定される。この例ではｇ_２の視差はｆ_１のそれよりも小さいので、ｇ_２の値が隙間の中にコピーされる。同様にｇ_９の視差がＩ’のｆ_４からｇ_９の隙間にコピーされる。図２および図７を参照し、図１１において表面Ｇがふさいでいる表面Ｆに出会うまで効果的に延長されていることが見られる。

新しいビューを提供するために、各ピクセルの位置がソースビューの中に、以下のように逆方向マップされなければならない：

ｔ＝０の場合、ｊ_Ｌ＝ｊ’であることに注意すれば、点はＩ_Ｌから直接導かれることができる。同様に、ｔ＝１の場合、ｊ_Ｒ＝ｊ’であり、点はＩ_Ｒから直接導かれることができる。一般に、Ｉ_ＬおよびＩ_Ｒのソース座標は、整数の位置にはないであろう。しかし、各ケースの色を、隣接するピクセル間の内挿法により求めることは簡明（ｓｔｒａｉｇｈｔｆｏｗａｒｄ）である。例えば三次式による内挿法などの、より精度の高いモデルも使用可能であるが、水平方向に隣り合う値の間の直線補間は適切な方法である。

方程式（２）によれば、後方マッピング（ｂａｃｋｗａｒｄ ｍａｐｐｉｎｇ）と内挿法が、新しいビューの各ピクセルに対して、通常二つの可能な値を与える。新しい視点のソースカメラ位置に対する近接度に従って、これらの色を混合することは自然である。特に、Ｉ’がＩ_Ｌと一致するとき、Ｉ_Ｒからの色は全く寄与しない。同様にＩ’がＩ_Ｒと一致するとき、Ｉ_Ｌは寄与しない。新しいビューが元のビューの一つと一致するときは、新しい色は対応する元の色と等しく設定される。これらの考察から、色混合のスキーム
Ｉ’（ｉ，ｊ’）←（１−ｔ）Ｉ_Ｌ（ｉ，ｊ_Ｌ）＋ｔＩ_Ｒ（ｉ，ｊ_Ｒ） （３）
が、方程式（２）で定義されたｊ_Ｌとｊ_Ｒを用いて、導かれる。一方のビューのみに見える点（図１１のｇ_３のような）は、混合される相手の色が存在しないので、直接に与えられる必要がある。この理由のために、ピクセルがマップされる前に、二つの原画像に対して包括的な色標準化を実施することが望ましいことがある。

上述された処理は、幾何学的に正確な内挿されたビューを、視差情報と外挿モデルとの精度に応じて、作成するであろう。例えば、図７に示されたシーンは、ここで記述された方法で正確に提供される。これは、例えばピクセルの色が前方マップされると仮定する、通常の前方マッピング方法では真実でない。図１０を参照し、以前のように、Ｉ’の座標の中で定義されずに残されているｇ_２とｆ_１との間のピクセルについて考察する。ＣｈｅｎおよびＷｉｌｌｉａｍｓ、ならびにＳｅｉｔｚおよびＤｙｅｒによって示されたように、隙間は既知の色ｇ_２と色ｆ_１との間の内挿法により埋められることができる。一般に、この方法は欠けている値の正確な推定値を与えないであろう。特に、図７に示すように表面ＦおよびＧが離れているときであり、それは目立つ色になりやすい。ｇ_３の周辺の隙間が大きいときは、合成された範囲に正しくない色勾配が現れるであろう。隙間の何れの側からの色の外挿法も、一般にはまた人工物を作るであろうということに留意すべきである。これは、欠けた画像領域は複雑な画像の特徴を含んでいることがあり得るからである。画像の特徴を周辺のピクセルから外挿（または内挿）することは通常可能ではない。原則として、元の視差アレイの隙間は前方マッピング処理に先立って埋めることができる。しかし、これは、なお、Ｉ’の中の全てのピクセルが埋められることを保証することは無いであろう。それゆえに隙間充填の問題は残される。

ある場合には、以前には見ることが出来なかった画像のテクスチャが新しいビューの中で合成されなければならない。テクスチャ合成アルゴリズムと組み合わせたとき、上述した手順は、異なる視点からの新しい画像が相互に整合することを保証する。

上述のように、ここに記述される方法は、立体視的一対の画像の合成に特に良く適している。その理由は、同一のシーンの二つの内挿された画像が相互に整合するからである。この先の実施形態において、この方法が、非立体視的な使用目的に対して、個別的な画像の合成にもまた使用することが可能である。

視差マップＤ_ＬおよびＤ_Ｒは、左の画像を右に、および右の画像を左に、それぞれマッチングすることにより、個々に独立に得ることができた。一般に二つの視差マップは、マッチング処理中のエラーにより、相互に整合するとは言えないであろう。しかし、下記の方法で整合を強制することができる。つまり，Ｄ_Ｌを用いて、Ｉ_Ｌの中の点（ｉ，ｊ_Ｌ）をＩ_Ｒの中の点（ｉ，ｊ_Ｒ）にマップする。他の視差マップＤ_Ｒは、次に（ｉ，ｊ_Ｒ）をＩ_Ｌに戻すマップのために用いられる。両方の視差マップの間に不整合がなければ、上記の処理は元の点（ｉ，ｊ_Ｌ）に帰ることになる。このテストが失敗する場合、視差Ｄ_Ｌ（ｉ，ｊ_Ｌ）は廃棄可能である。添字ＬとＲとを入れ替えた場合にも、同様の結果が得られる。

視差マップが整合する場合、Ｄ_ＬはＤ_Ｒから計算でき、その逆も同じであるので、その両方を保存する必要はない。単調性は整合することの特別なケースであり、Ｉ_ＬとＩ_Ｒの中の同じ水平方向の並び順に対応する特徴が現れることを意味する。画像マッチングアルゴリズムの一部として、単調性を強制することはしばしば有用である。その結果、視差マップは一つになる。さらに、この場合には、視差の前方マッピング処理（方程式（１）のような）は単純化される。並び順に関する制約は、Ｄ’の与えられた位置に一つよりも多い視差がマップされることがあり得ないことを意味し、それ故に解決を要する不整合は生じない。

マッチングアルゴリズムの選択によっては、視差マップは不完全なものになり得る。
例えば、マッチングアルゴリズムはソース画像の空白領域において作動不良となる可能性があり、その場合マッチされるべき特徴が得られない。同じく、上述したとおり、Ｄ_Ｒと整合しないＤ_Ｌの中の視差は、その逆も、全て削除されることが望まれ得る。その結果生じる隙間は、上述した方法で埋めることが可能である。

二つよりも多いソースビューがあるときは、いくつかの独立な視差マップを計算することが可能である。その理由は、そのシーンの視認できる領域が、対となるカメラの選択によって変わるからである。複数の推定値を組み合わせる、二つの方法がある。二つの視差マップのケースにおいて以前に述べたように、採りうる最大値（最も近い特徴を意味する）を常に選択することが可能である。他の方法としては上述したように、全ての視差マップの間に整合する関係を導入することが可能である。

奥行きレンジを増加するためには、より幅広く離れた位置からの新しいビューが得られなければならない。これは、新しいビューの部分が二つのソースカメラの何れからも隠されることを、より生じやすくさせる。隠された部分を正確に提供することは通常不可能であろうが、良好な予測を作成することは可能である。さらに、その予測はいくつかの合成ビューの間で整合して作成することが可能である。

見えない部分の外見は、しばしば周囲の領域の外見から良く予測可能である。例えば、Ｅｆｆｒｏｓおよび Ｌｅｕｎｇによる「Ｔｅｘｔｕｒｅ Ｓｙｎｔｈｅｓｉｓ ｂｙ Ｎｏｎ−Ｐａｒａｍｅｔｒｉｃ Ｓａｍｐｌｉｎｇ」、（Ｐｒｏｃ，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、１９９９、１０３３〜１０３８ページ）は、種々の画像テクスチャの合成が可能な簡単なアルゴリズムについて記述している。新しいピクセルの色が、近隣の水平方向および垂直方向の画像のサンプリングを含む手順により予測される。二つの新しいビューの各々に全く新しい画像領域を作らねばならないときは、テクスチャ合成アルゴリズムが、各ケースの欠落した領域に適用できる。しかしその結果は、整合したステレオ画像の対ではないであろう。

上述した逆方向マッピングの表現は、整合したテクスチャ合成を可能にする。その理由は、後方マッピング処理を通じてソース画像をサンプルすることが出来るからである。その結果得られたテクスチャモデルは、欠けているピクセルの値を与える。各新しい画像に対して同じテクスチャモデルが使用されるので、その結果得られる新しいビューは、相互に整合している。

図１２の概略図は、上述した画像処理を実行するコンピュータ４を示す。中央処理装置
（ＣＰＵ）２３は、読取り専用記憶装置（ＲＯＭ）２０およびランダムアクセス記憶装置（ＲＡＭ）２２に接続されている。ＣＰＵは、入力／出力装置２５を経由して、画像ソースから画像データ２４を供給される。ＣＰＵはつぎに、プログラム記憶装置２１（これはＲＯＭ２０の一部であり得る）によって供給される指示に従って、幾何学的形状と色の処理を実行し、新しい画像２６を提供する。プログラムそれ自身、あるいはシステムに対する全ての入力および／または出力は、通信ネットワーク２７、これは例えばインターネットであり得る、に／から供給または送信される。

上記の実施形態に対して、本発明の範囲から逸脱することなく、添付の請求項の中の形態として、様々な変更がなされることは、当業者によって認識されるであろう。

図１ａおよび図１ｂは、シーンの新しいビューを合成する従来技術による方法を示すデータフロー図である。 シーンの二つの異なるビューを取得する二つのカメラを示す。 図３ａおよび図３ｂは、シーンの新しいビューを合成する他の従来技術による方法を示すデータフロー図である。 本発明の一実施形態を示す。 本発明の一実施形態に従った視差マップの形成を示す。 図６ａおよび図６ｂは、本発明の実施形態に従った、シーンの新しいビューを合成する方法を示すデータフロー図である。 図２のシーンの平面図である。 図２のシーンの平面図である。 本発明の一実施形態に従った、前方および逆方向マッピングのステップを示す。 本発明の一実施形態に従った、前方および逆方向マッピングのステップを示す。 本発明の一実施形態に従った、前方および逆方向マッピングのステップを示す。 本発明の一実施形態に従った、コンピュータの概略図である。

符号の説明

１、２ カメラ
４ コンピュータ
Ｉ_Ｌ 第１の画像
Ｉ_Ｒ 第２の画像
Ｉ_Ｌ’、Ｉ_Ｒ’ 第３の画像
Ｄ_Ｌ、Ｄ_Ｒ 第１の視差マップ
Ｄ_Ｌ’、Ｄ_Ｒ’ 第２の視差マップ

Claims (23)

1. 画像を処理する方法であって、
   （ａ）シーンの第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）を提供する（３０ａ、３０ｂ）ステップと、
   （ｂ）該第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）にステレオマッチングアルゴリズム（Ｍ）を適用すること（３１）により、該第１の画像から該第２の画像へ対応する点の間でマップする第１の視差マップ（Ｄ_Ｌ、Ｄ_Ｒ）を生成するステップと、
   （ｃ）該第１の視差マップを第３の画像の座標の中に前方マッピングすることにより、第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）を生成するステップと、
   （ｄ）該第２の視差マップを使用して、該第３の画像の中の少なくともいくつかのピクセル位置から該第１および第２の画像の中の対応する点に逆方向マップ（Ｂ）することによって、該第３の画像の中の少なくともいくつかの該ピクセルのそれぞれにあり得る色値を取得するステップと、
   （ｅ）該あり得る色値に基づいて該第３の画像の中の少なくともいくつかの該ピクセルのそれぞれに対して最終的色値を指定することによって、該シーンの新しいビュー（Ｉ_Ｌ’、Ｉ_Ｒ’）を提供するステップと
   を包含する、方法。
2. 前記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）は、水平方向のオフセットのみによって関連づけられるように補正されていることを特徴とする、請求項１に記載の方法。
3. 前記第３の画像の位置は、利用者によって選択されることを特徴とする、請求項１または２に記載の方法。
4. 前記第３の画像の位置は、前記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）の位置の間にあることを特徴とする、請求項１から３のいずれか一項に記載の方法。
5. 前記ステップ（ｃ）は、前記第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）のそれぞれのエントリーが前記第１および第２の画像のそれぞれの中に唯一の位置を識別するように、前記第１の視差マップ（Ｄ_Ｌ、Ｄ_Ｒ）を前方マップすることを包含することを特徴とする、請求項１から４のいずれか一項に記載の方法。
6. 前記ステップ（ｃ）は、前記第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）の中の隙間が満たされるように、前記前方マッピングを調整することを包含することを特徴とする、請求項５に記載の方法。
7. 前記第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）の中の隙間は、各隙間のそれぞれの端における前記第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）の値に基づいて埋められることを特徴とする、請求項６に記載の方法。
8. 前記ステップ（ｄ）において、前記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）から前記第３の画像の中の対応するそれぞれのピクセル位置に対して取得される色値は、該第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）のそれぞれの中の隣接するピクセルの間の内挿法によって取得されることを特徴とする、請求項１から７のいずれか一項に記載の方法。
9. 前記内挿法は、一次近似法および三次近似法のいずれか一つによることを特徴とする、請求項８に記載の方法。
10. 前記ステップ（ｅ）は、最終的色値を提供するためにあり得る色値を混合することを包含することを特徴とする、請求項１から９のいずれか一項に記載の方法。
11. 前記混合は、前記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）の撮影位置に対する前記第３の画像の位置の近接度に従って行われることを特徴とする、請求項１０に記載の方法。
12. 前記色の混合は、前記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）のうち前記第３の画像により近い方が前記第３の画像の中のピクセルの色により大きな影響を有するように重み付けがなされることを特徴とする、請求項１１に記載の方法。
13. 前記最終的な色値は、あり得る色値のうちの一つであることを特徴とする、請求項１から１０のいずれか一項に記載の方法。
14. 前記ステップ（ｂ）のステレオマッチングアルゴリズム（Ｍ）は、単一の視差マップを作成するために単調的な制約を強制することを包含することを特徴とする、請求項１から１３のいずれか一項に記載の方法。
15. 該方法は、
    前記第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）を入れ替えて前記ステップ（ｂ）を繰り返すことにより、前記第２の画像から前記第１の画像に対応する点の間でマップする異なる第１の視差マップを生成するステップと、
    該異なる第１の視差マップに対して前記ステップ（ｃ）を繰り返すことにより異なる第２の視差マップを生成するステップとをさらに包含し、
    あり得る色値を取得するために、二つの第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）のそれぞれに対して前記ステップ（ｄ）が実行されることを特徴とする、請求項１から１４のいずれか一項に記載の方法。
16. 前記ステップ（ｄ）および（ｅ）に先立って、前記二つの第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）が前記第３の画像の座標の中に併合されることを特徴とする、請求項１５に記載の方法。
17. 前記二つの第１の視差マップ（Ｄ_Ｌ、Ｄ_Ｒ）を比較し、全ての整合しないエントリーを削除することによって、単一の第１の視差マップを提供するさらなるステップを包含することを特徴とする、請求項１６に記載の方法。
18. 異なる第３の画像位置に対して前記ステップ（ｃ）からステップ（ｅ）までを繰り返すことによって、前記シーンの新しい一対のステレオビューを形成する二つの第３の画像（Ｉ_Ｌ’、Ｉ_Ｒ’）を作成するさらなるステップを包含することを特徴とする、請求項１から１７のいずれか一項に記載の方法。
19. 第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）を提供する画像取得手段（１、２）と、
    該第１および第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）に対してステレオマッチングアルゴリズムを適用し、第１の画像から第２の画像への対応する点の間をマップする第１の視差マップ（Ｄ_Ｌ、Ｄ_Ｒ）を生成する手段（４）と、
    該第１の視差マップ（Ｄ_Ｌ、Ｄ_Ｒ）を第３の画像（Ｉ_Ｌ’、Ｉ_Ｒ’）の座標の中に前方マッピングすることによって、第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）を生成する手段（４）とを備えた、画像処理のための装置であって、該装置は、
    該第２の視差マップ（Ｄ_Ｌ’、Ｄ_Ｒ’）を使用して該第３の画像（Ｉ_Ｌ’、Ｉ_Ｒ’）の中の少なくともいくつかのピクセル位置に対して該第１及び第２の画像（Ｉ_Ｌ、Ｉ_Ｒ）の中の対応する点への逆方向マッピングを実行することにより、該第３の画像（Ｉ_Ｌ’、Ｉ_Ｒ’）の中の少なくともいくつかのピクセルのそれぞれに対してあり得る色値を獲得する手段（４）と、
    該あり得る色値に基づいて該第３の画像（Ｉ_Ｌ’、Ｉ_Ｒ’）の中の少なくともいくつかのピクセルのそれぞれに対して最終的色を指定することによって、該シーンの新しいビューを提供するための手段と
    を備えたことを特徴とする、装置。
20. 請求項１から１８のいずれか一項に記載する方法を実行するためのコンピュータ（４）を制御するためのプログラム。
21. 記憶媒体（２１）に蓄えられる、請求項２０に記載のプログラム。
22. 請求項２０に記載のプログラムの、通信ネットワーク（２７）を経由しての送信。
23. 請求項１から１８のいずれか一項に記載する方法を実行するためにプログラムされたコンピュータ（４）。

Images