JP4861309B2 - ２．５ｄグラフィックスをレンダリングするためのゴースト・アーチファクト削減 - Google Patents

Description

本発明は、出力視点に関連した少なくとも１つの出力画像を入力視点に関連した入力画像から深度依存性変換によって生成する画像処理システムに関し、画像は、入力画素アレイ及び出力画素アレイのそれぞれとして表す。

本発明は更に、方法及びコンピュータ・プログラムに関する。

２Dディスプレイ上に画像を表示する際に深度の感覚を備えることの関心は、特にバーチャル・リアリティ・アプリケーション及びコンピュータ・ゲームにおいて急速に伸びている。深度キュー（物体の輝度レベル又は寸法に影響を及ぼすなど）を提供する種々の形態が知られている。特に、立体視又は立体視力は、深度の感覚を提供するための手法としてかなり注目されている。立体視は、少し離れた２つの位置から観察される、同じシーンの２Dの２つの画像を個人に表示することによって呼び起こされる。これらの画像のうちの一方は左眼に表示され、他方は右眼に表示される。２つの画像は、視差が関連している。「視差」という語は、物体と一直線上にない別々の2点から見た場合の、物体の見かけ上の変位、又は物体の見かけ上の方向における差を表す。視差によって、風景における物体の深度を個人が認識することが可能になる。

実体像を表示するための多くの表示手法が知られている。時間並列手法を用いれば、何れの出力画像も1つ又は２つのディスプレイに同時に表示される。例えば、何れの画像も、補色によってフィルタリングし、１つのディスプレイ上に重ね合わせることができる。観察者は、投影フィルタに一致するフィルタを備えたメガネをかける。あるいは、何れの画像も、一ディスプレイ上に並行して表示し、各画像を正しい眼に指し向けるビューアーを用いて視ることができる。別の例として、２つのディスプレイを用いて、相応に偏光されたメガネを通して視る、違ったふうに偏光された２つのピクチャを表示することができる。あるいは、何れの画像も、各眼に別個のディスプレイを備えたヘッドマウント装置を用いて表示することができる。更に、時間多重化手法を用いることができる。この手法では、左画像及び右画像が一ディスプレイ上に交互に表示される。例として、一方の画像がモニタの偶数走査線に書き込まれ、他方の画像が奇数走査線に書き込まれる。シャッタ・システムを用いて、右眼画像が表示される際に左眼が遮断され、左眼画像が表示される際に右眼が遮断される。シャッタ・システムは、観察者がかけるメガネ内に搭載することができる。あるいは、制御可能な偏光子を備えたシャッタをディスプレイの前に配置し、観察者は、偏光メガネを備えたヘッドマウント装置を身につける。

別々の視点からの２D画像をレンダリングするのに適した、考えられるビデオ形式は、深度情報によって拡充された２Dビデオ形式である。通常、２D入力画像は、画素アレイの形式で表される。それは例えば、カメラ又はコンピュータ・グラフィクスを用いて得られている場合がある。入力画像の画素毎に更なる深度情報を入手可能であり、又は、同様に、シーン内の点毎に、カメラまでの、点からの距離（、又は別の基準点、基準線、若しくは基準平面（投影画面など）までの、点からの距離）が与えられる。そうした形式は通常、２．５Dビデオ形式として表す。深度情報によって、平坦な画像のサンプル群としての元の画像のモデリングが可能になる一方、地形上に投影された画像のサンプル群としての元の画像のモデリングも可能になる。図２Aは、サンプリングされた地形の断面を示す。カメラ位置から、光線が画面の各画素に投げかけられる。光線に沿った矢印の長さは、テクセル（テクスチャ要素）としても表す画素サンプルの深度値を示す。２．５Dビデオ形式は、世界の完全な３Dモデルの部分集合を表す。他の視点からのレンダリングは、所望の視点から画像平面上に地形を投影することによって達成することが可能である。眼の視点から、かつカメラ・ポイントから同じ物体を観察する場合の視差に基づいて、左眼画像の画素及び右眼画像の画素を、画素をシフトさせることによって入力画像の画素から得ることが可能である。両方の眼を接続する線に平行な、座標系の水平軸を選ぶことによって、水平シフトのみが生じる。画素のシフトの量は、深度情報によって変わってくる。図２Bは、視点変換の後、投影入力画素の密度は出力領域において一様でない。よって、再サンプリング手順が必要である。放送ビデオ信号を処理するために設計された既存のビデオ処理ハードウェア/ソフトウェアは、高品質出力画像をもたらすことができる。そうしたハードウェア/ソフトウェアは、別々の表示形式（４：３や１６：９など）に画像をスケーリングし、そうした変換のために信号の再サンプリング及び帯域制限を行うことができる。ビデオ処理は通常、画像の水平走査線毎に行う。

本発明の目的は、視覚アーチファクトをもたらすことなく視点変換を行うことができるビデオ処理のシステム及び方法を提供することである。

本発明の目的を満たすために、最初の段落において説明した画像処理システムを提供する。このシステムは、入力画像及び隠れた画像を受信する入力と、出力画像の出力画素を作成するよう動作するビデオ・プロセッサと、後のレンダリングのために出力画像を供給する出力とを備える。入力画像は、入力視点から見た場合の、３D物体の、プレフィルタリングされた２D表現であり、入力画素毎に関連入力画素値及び関連入力画素深度を備える。隠れた画像は、３D物体の別の２D表現であり、入力視点から少なくとも部分的に遮断された情報を備える。ビデオ・プロセッサは、出力視点に関連した変換入力画素に各入力画素を変換し、変換された入力画素に基づいて、遮断解除された領域を埋めるために、かつ、プレフィルタリングされた入力画像の変換によって生じるゴースト線アーチファクトを阻止するために、遮断解除された領域に隣接した少なくとも１つの画素位置について、隠れた画像画素を用いて出力画像を作成することによって出力画素を作成するよう動作する。

入力画像は、例えば、ビデオ・カメラによって入力視点から得ることができ、隠れた画像は次いで、別のカメラによって、入力視点とは別の視点から得ることができる。入力画像及び隠れた画像は、例えば、特定のシーンの３Dモデルに基づいてコンピュータ生成することもできる。隠れた画像は、特定の視点から見た場合の、３Dシーンの、完全な２D表現であり得る。隠れた画像は、出力視点から遮断された情報のみを備える場合もあり、1つ又は少数の所定の変換についてのみ必要である。

遮断解除は、入力画像内の深度不連続点で生じ得る。元のビデオを記録するカメラのプレフィルタリングによって、深度不連続点の付近における画素は、入力画像内のフォアグラウンド物体及びバックグラウンド物体からの色を有する。したがって、単に、隠れた層からの遮断解除画素によって穴を埋めることによって、目に見えるゴースト線アーチファクトが生じることになる。本発明による画像処理システムの利点は、遮断解除された隠れた画像画素付近のゴースト線アーチファクトが阻止されることである。この利点は、隠れた層の遮断解除部分に隣接した変換入力画素を置き換えるために、隠れた層のより大きな部分をレンダリングすることによって得られる。相当する変換入力画素ではなく、隠れた層のより大きな部分内の隠れた画像画素が、出力画素に挿入される。

本発明の一実施例では、深度依存性変換は入力視点から所定の出力視点への変換であり、隠れた画像は出力視点と関連付けられる。所定の距離は例えば、深度感覚をもたらすための、左眼と右眼との間の距離であり得る。入力画像は左眼の視点の位置における第１のカメラによって得ることができ、隠れた画像は右眼の視点の位置における第２のカメラによって得ることができる。第２のカメラによって記録された情報全てを、隠れた画像に記憶しなければならない訳でない。左眼入力視点から右眼出力視点への変換によって遮断解除された領域における情報、及びその領域に隣接した情報のみが、隠れた画像に記憶されなければならない。入力画像の変換後、この情報を用いて、出力画像内の遮断解除領域を埋め、遮断解除領域付近のゴースト線アーチファクトを阻止する。

別の実施例では、隠れた画像が入力視点と関連付けられ、隠れた画像画素は、隠れた画像画素値及び隠れた画像画素深度と関連付けられ、ビデオ・プロセッサは、隠れた画像画素深度の関数として、出力視点に関連した、変換された隠れた画像画素に、隠れた画像画素それぞれを変換し、遮断解除された領域を埋めるために、かつ、遮断解除された領域に隣接した少なくとも１つの画素位置について、変換された隠れた画像画素を用いて、出力画像を作成するよう動作する。この実施例は、種々の距離にわたって種々の変換を行う可能性を提供するのに特に有用である。入力画像は、第１のカメラによって第１の視点から得ることができ、第２のカメラによって第２の視点から得ることができる。好ましくは、第２のカメラによって記録された情報は次いで、第１の視点に変換される。その結果、入力画像及び隠れた画像はよって、同じ視点に関連付けられる。この視点から、何れの画像も、任意の出力視点への同じ変換を受けることができる。

好ましい実施例では、画像処理システムは、行毎に入力画素を順次選択する画素選択手段を備える。画素選択手段は、遮断解除領域内の画素位置についてと、遮断解除領域の前の第１の数の画素位置についてと、遮断解除領域の後の第２の数の画素位置について、隠れた画像画素を選択するよう構成される。表示行上の他の画素位置については、変換された入力画素が選択される。第１の数の画素位置及び/又は第２の数の画素位置は、入力画像の記録中に用いられた水平プレフィルタの幅によって変わってくるものであり得るか、又は、入力画像の解析に基づいて判定し得る。

入力視点から出力視点までの変位の逆方向に行毎に画素を順次処理することによって、オクルージョン（遮断）を検出することが容易になる。このことは、画素の最遠ｘ座標、及びそれほど遠くに変換されたそのフットプリントを示すｘ座標範囲を維持することによって行うことができる。次のフットプリントの変換が上記範囲の増加をもたらす場合、変換される次のフットプリントは、少なくとも部分的に非遮断状態である。このようにして、出力画像から画素を除外するか否かを容易に決定することが可能である。好ましくは、ｘ軸は水平であり、カメラの変位も同様である。望まれる場合、他の方向も可能である。ビデオ・プロセッサは、所定の閾値を超えて、変換入力画素がｘ座標範囲を増加させた場合に、隠れた画像画素が遮断解除状態であることを判定するよう動作する。好ましくは、変換後の入力画素のx座標が、出力画像内の最後の画素位置から、1.5を超える画素、離れている場合、穴は大きすぎるものであり、隠れた層からの少なくとも１つの画素によって埋められるものである。遮断解除領域の前の画素位置の場合に隠れた層からの画素を用いることが望ましいので、入力画像の変換入力画素が出力画像内に収まる前に遮断解除を検出する必要がある。バックトラッキングは通常可能でないが、それはカラー値がビデオ・フィルタ内に蓄積されるからである。遮断解除領域の早期検出のために、ビデオ処理は、ルックアヘッド範囲の維持を備え得る。

図１乃至図５を参照しながら本発明によるシステムを説明するために、深度依存性変換を説明する。この一般的な説明では、画素は点（無次元）とみなす。

図１は、本発明による画像処理システムを効果的に用いることができる従来のシステムの構成図を示す。従来のシステムは、２D入力画像１０１を記憶するメモリ１００（グラフィックス・メモリなど）を備える。入力画像１０１は、行及び列に分割された画素アレイを備える。画素毎に画素値が与えられる。画素値を表す種々のやり方（RGB（赤色、緑色、青色）符号化やYUV符号化など）が周知である。画素値は、完全に（例えば、画素毎に１６ビット又は２４ビットを用いて）記憶することができる。あるいは、カラールックアップテーブル（CLUT）手法を用いて、より少ないビット（例えば、８ビット）を用いて画素値を符号化することができる。画素値に加えて、画素毎に深度値がメモリ１００内に入力深度１０２として記憶される。深度値は、例えば、画素毎に16ビットを用いて記憶することができる。必要な場合、別個のメモリを、入力深度１０２の記憶に用いることができる。入力画像１０１及び入力深度１０２は何れかの適切なやり方で生成することができる。例として、別々の位置に配置された２つのカメラ（好ましくは、それぞれが別々の眼を表す）を用いることができる。カメラによって得られる２つの２D画像から、画像に深度を加えた１つの情報を形成することが可能である。深度情報は次いで、従来の、１つの２D画像のみの供給に加えて、かつ、好ましくはそうした供給と互換に供給し、それによって、従来の２D表示システム又はステレオ視表示システムを用いてシーンを観察することを可能にすることができる。ゲーム・コンピュータ上又はパソコン上では、入力画像１０１及び入力深度１０２は通常、メモリに記憶された３Dモデルから情報を得る３Dレンダリング処理によって生成される。通常、メモリは、コンピュータの主メモリの一部である。通信手段（電気通信手段、オーディオ/ビデオ放送又はケーブル・ネットワークなど）を用いて入力画像１０１及び入力深度１０２を画像処理システムに供給することができる。

プロセッサ１０６は、入力画像１０１及び入力深度１０２を用いて少なくとも１つの出力画像を生成する。図１に示す例では、左画像１０７及び右画像１０８が生成される。左画像１０７は、観察者の左眼に一致する観察点から観察された場合の３Dシーンの２D表現を表す。同様に、右画像108は、観察者の右眼に一致する観察点から観察された場合の３Dシーンの２D表現を表す。プロセッサ１０６は、グラフィックス・メモリなどのメモリ１０９内に出力画像を構築することができる。本発明によるシステムによって、画素行毎の処理が可能になり、それによってメモリ要件が削減される。メモリはよって、画像の一走査線のみを記憶するための線バッファを用いて構成することが可能である。そういうものとして、画像データはストリームとして処理することが可能である。垂直フィルタリングが施される場合、いくつかの行を記憶する必要がある。通常、D/A変換器１１０は、ステレオ視表示などの適切なディスプレイ１１１上に出力画像を表示する。放送受信器では、プロセッサ１０６は、この情報の供給に画素レベルで時間同期化された入力画像及び入力深度を処理することができる。同期化は、入力画像１０１及び入力深度１０２の個別の複製である入力画像１０４及び入力深度１０５を記憶するメモリ１０３を用いることによって弱くすることができる。プロセッサ１０６は次いで、入力画像１０１及び入力深度１０２の供給とは無関係に、入力画像１０４及び入力深度１０５を処理する。適切な時点で（例えば、完全な新たな画像が作成されると）、入力画像１０１及び入力深度１０２が入力画像１０４及び入力深度１０５それぞれに複製される。一メモリ・ブロックにメモリ１００及びメモリ１０３が物理的に合成される場合には、データを物理的に複製することなく（例えば、ポインタ・レジスタの再割り当てを行うことによって）複製を行うことができる。なお、完全な画像複製を維持する代わりに、１つ又はいくつかの行のいくつかの画素を、施されるフィルタに応じて記憶することもできることが認識されよう。

入力画像の出力画像への深度依存性変換は、３D物体のお互いに対する変位に関連する。本明細書及び特許請求の範囲記載の変換は、視差変換としても表される。変位は、例えば、シーンに対する観察者の位置の変動、シーンに対する観察者の向きの変動、複数の物体のお互いに対する、それらの相対速度による位置の変動、又はこうした変動の組み合わせの結果として生じる。

図２Aは、カメラ視点２０１からみたものであり、画像平面２０４上に投影された地形２０３を示す。通常、画像平面は、（場合によっては、x方向及びｙ方向において異なる密度を備えた）一様な画素によって形成される。この例では、画像平面の画素毎に、地形の相当するテクセル（テクスチャ要素）が判定される（地形を通じた、カメラからの画素への光線の交点）。深度は、何れかの適切な形式で表すことができる（例えば、テクセルから画素までの長さ、テクセルからカメラまでの距離、テクセルから投影平面までの距離等）。深度は、何れかの適切な形式で符号化することもできる。例えば、線形スケール上での16ビット符号化を用いることができる（最小許容深度を備えた物体の深度が0000H（１6進）として符号化され、最大許容深度を備えた物体の深度がFFFFHとして符号化される。当業者は、そのように望む場合、適切な他の表現を選択することができるであろう。図２Bは、同じ地形を視点２０２から視た場合に生じることを示す。明らかとなるように、オクルージョン（遮断）２０６（テクセルはもう目に見えない）、縮小２０５及び拡大２０７が生じ得る。元の物体が地形ではなかったが真の３D物体であった場合に同じことがあてはまる。

図３Aは透視投影図を示す。x軸３０、y軸３１及びz軸３２を備えた３D座標系を示す。２D画像は、行及び列に配置された離散画素アレイを備える。この前後関係における画素は、本発明による画像処理によって考慮される最小エンティティである。画像内の特定行の個別の画素それぞれは、一連の離散位置のうちの個別の１つのみを呈することが可能である。画像内の各画素行はx軸３０に平行に延びているので、行内の個々の画素は、そのそれぞれのｘ座標に基づいて識別される。各画素列は、x軸３０に対して垂直の方向を指し示すｙ軸３１に平行に延びている。シーンの深度はz軸３２に沿って測定される。ｚ軸３２はx軸３０にもｙ軸３１にも垂直である。個別のｚ値は、その特定の画素の風景の深度を表すために各特定の画素に割り当てられる。画素の視差シフトを説明するために、座標系の原点O＝(0,0,0)及び向きが、点P＝（ｘ,ｙ,ｚ）によって表す３D物体が観察点O₁=(D,0,0)から観察されるように選ばれる。平面z=z_pが、焦平面３３（観察者の眼によって焦点が当てられる平面）として選ばれる。通常、ディスプレイの平面は、焦平面と一致するよう選ばれる。観察点O₁から観察される２D画像は、投影平面としても表す、焦平面上の３D物体の投影によって形成される。点PはP₁=(x_p,y_p,z_p)上に投影される。

図３Bは、平面y=0上への図３Aの投影を示す。PがP'=(x,0,z)上に投影されている。P''=(D,0,z)は、平面ｘ＝D上へのP'の投影である。三角形O_１、P'、P''から、z_p/z=（x_p−D）/（ｘ−D）になり、x_p=D+(x−D).z_p/zが得られることになる。

図３Cは、平面x=0上への図３Aの投影を示す。PがP'=(D,y,z)上に投影されている。P''=(D,0,z)は、平面y＝0上へのP'の投影である。三角形O_１、P'、P''から、z_p/z=y_p/yになり、y_p=y.z_p/zが得られる。

これによって、P₁=（D＋（x−D）.z_p/z,y.z_p/z,z_p）が得られる。同様に、
P₂=（−D＋（x＋D）.z_pz,y.z_p/z,z_p）が得られる。同様な公式は、「IEEE Computer graphics & Applications, Tutorial: Time-Multiplexed Stereoscopic Computer Graphics, March 1992」に記載されている。上記公式から、観察点を通る線に対して平行になるようにｘ軸を選ぶことによって、P_１のy座標及びP₂のy座標が同じであることになる。よって、O₁から観察される画像から、O_２から観察される画像を得る場合、垂直視差は何ら生じない。一般に、このようにしてx軸を選ぶことによって、視差の算出が単純化される。出力画像の画素は入力画像から得ることが可能である。O_１から観察される画像に入力画像が相当し、０_２から観察される画像に出力画像が相当するものとする。更に、入力画素p_i=（x_i,y_i）の場合、画素値、並びに、p_iが得られる３D点P(x,y_i,z_i)の深度z_iが得られるものとする。相当する出力画素p₀=(x₀,y₀)（y₀=y₁）は、同じ３D点P(x,y_i,z_i）に関係する。これによって、
x_i=D+(x−D).z_p/z_iであり、
x₀=-D+(x+D).z_p/z_iであることが得られる。

このことは、x_oをx_iから以下のやり方で得ることが可能であることを示唆している。

x₀=x_i−2.D+2.D.z_p/z_i=x_i+2.D.(z_p/z_i−1)。よって、出力画像は、
D=２．D.(z_p/z−1) (1)
の水平シフトd（x方向のみ）を行うことによって入力画像から得ることが可能である。

この公式から、シフトが深度の逆数に比例することが分かり得る。上記公式では、２．Dは、観察点O_１と観察点O₂との間のズレに相当する。

図４Aは、入力画像に相当する、観察点O₃から観察されたシーンを示す。近傍物体４０は別の物体４１に部分的に重なっている。明瞭にするために、y座標は図示していない。上記重なりによって、入力画像は、観察された画像４２によって示すように、近傍物体４０の画素全て、及び別の物体４１の一部の画素のみを備える。図４Bは、出力画像４３に相当する、観察点O₄から観察される同じシーンを示す。図４Bから明らかなように、重なりが増えている。図４Bの出力画像４３が図４Aの入力画像４２から得られる場合、このように増加された重なりは、フォアグラウンド物体４０に相当する入力画素によって部分的又は全面的に遮断されたバックグラウンド物体４１に相当する少なくとも１つの入力画素によって反映されることになる。重なりの領域では、出力画像内の画素値にはいくつかの候補が存在する。本発明によるシステムは、再構築フィルタを用いて、変換後、出力画素位置に寄与する入力画素を出力画素位置について（すなわち、出力画像のグリッドによって）判定する。

図５は、入力画像の別々の画素が同じ画素位置にシフトされるのに対して、出力画像５３内の位置を埋める入力画素が何ら存在していないことによって「穴」が出力画像５３に生じている例を示す。図５Aは、入力画像５２では、バックグラウンド物体５１がフォアグラウンド物体５０によって部分的に覆い隠されることを示す。図５Bでは、観察点O₆から見ると、出力画像５３から観察することが可能であるように物体５０と物体５１との間に重なりが何ら生じていない。

図６を参照すれば、隠れた層からの画素が出力画像に備えられる場合のゴースト線アーチファクトの生起を説明する。画像処理システムは、入力で入力画像６０１及び隠れた画像６０２を受信する。入力画像６０１は入力視点と関連付けられ、例えば、暗いフォアグラウンド物体６０６及び明るいバックグラウンド物体６０７を示す。元のビデオを記録するカメラのプレフィルタリングによって、深度境界６０８の画素は、暗いフォアグラウンド物体及び明るいフォアグラウンド物体の両方の特定の色を備える。選ばれる実施例によって、隠れた画像６０２は、入力視点又は出力視点と関連付けられる。入力画像６０１の出力視点への変換によって、視点が変換された入力画像６０３において遮断解除領域６１２が生じ得る。この遮断解除領域６１２は、隠れた画像６０２からの画素によって埋められ、フィルタが施される。遮断解除領域６１２を埋めるために、隠れた画像画素を用いることができる前に、隠れた画像６０２を変換するものとするか否かは、隠れた画像６０２が関連付けられた視点によって変わってくる。プレフィルタリングによって、入力画像内の元の深度境界に変換がそれまで位置していた特定の画素はなお、フォアグラウンド物体及びバックグラウンド物体の特定の色を備えることになる。変換によって、出力画像６０５における新たな深度境界が生じる。その結果、出力画像６０５は、別々の２つの深度境界を備え、ゴースト線アーチファクト６１０が生起する。

図７を参照すれば、本発明による画像処理システムによって行われる、ゴースト線アーチファクト６１０の阻止を説明する。このシステムでは、隠れた画像６０２からの画素によって埋められるのは、遮断解除領域６０９内の画素位置だけでない。遮断解除領域に隣接した1つ又は複数の画素も、隠れた画像６０２から得られる。その結果、拡大された遮断解除領域６１４が作成され、フォアグラウンド及びバックグラウンドからの色を備えた画素はもう、出力画像の一部でなくなる。フィルタリング処理が変換画素に施され、ゴースト・アーチファクトなしの出力画像６１３が生じる。

図８は、x座標範囲８０を用いた、オクルージョン（遮断）の検出を示す。オクルージョンは、例えば、以下のように検出される。ビデオ・プロセッサ１０６は、入力視点v_o８１から出力視点ｖ_１８２までの変位とは逆方向に走査線（すなわち、入力画素を備えた行）を順次処理するよう動作する。処理は、関連した入力画素深度の関数としての出力画素への入力画素の変換を備える。画素a83、b84及びc85の投影画素は、視点v_o81に関連した入力画像の一部である。視点v₁82に関連した出力画像８６への変換によって、画素a83が遮断される。画素b84及び画素c85は遮断されず、出力画像８６上にマッピングされる。処理は、少なくとも１つの変換入力画素によって既に遮断された最遠のｘ座標を、既に処理された入力画素について、所定の開始位置に対して示すｘ座標範囲８０を維持することを備え得る。更に、変換される画素は、上記範囲を延ばさない場合、先行して処理された画素によって遮断されているはずであることを結論付けることが可能である。この場合、画素a８３から変換される画素は、上記範囲を延ばさないが、それは、画素b84から変換される画素によって遮断されるからである。よって、画素a83は出力画像86に備えられない。視点変換（v₁＜v₀）の場合、論拠は同様である。その場合、ｘ座標の増加に伴って、走査線を横断する。同様に、変換された画素が、所定の閾値（例えば、1.5画素）を超えて上記範囲を延ばす場合、隠れた画像の一部が遮断解除され、少なくとも、隠れた１つの画像画素が出力画素８６に挿入される。

隠れた層からの寄与を効率的に埋めることができるために、ベース画像層及び隠れた層の処理のインタリーブを行うことが好ましい。何れの走査の場合も、出力走査線における範囲を維持することができる。このようにして、ベース画像走査線にわたる単一の走査のみが、隠れた画像の走査線にわたる単一の走査とインタリーブされて行われる。ベース画像の座標フレームにおける隠れた層の画素を規定することによって、変換入力画像、及び変換された隠れた画像の容易な統合が可能になる。

本発明による画像処理システムの一実施例によれば、ゴースト線アーチファクトは、図９に示すように検出される。図９は、図８に示す入力画像の変換（視点ｖ_２（ｖ_２＞ｖ_１）に関連した出力画像への変換）を示す。画像処理システムのこの実施例では、遮断解除はルックアヘッド範囲９１を用いて検出される。ｘ座標範囲８０は入力画素を維持する。変換後、この入力画素はフィルタに供給される。このフィルタは画面分解能で出力走査線をプレフィルタリングし、サンプリングする。ｘ座標範囲の先のルックアヘッド範囲９１は、考えられる遮断領域、縮小領域、拡大領域、及び/又は遮断解除領域を検出する。変換後、画素が、所定の閾値（好ましくは1.5画素）を超えてルックアヘッド範囲９１を延ばす場合、遮断解除領域が検出される。例えば、図９に示す、視点v₀から視点ｖ_２への視点変換後、遮断領域９２が画素b84と画素ｃ８５との間に生じる。まず、遮断解除がルックアヘッド範囲９１によって検出される。後に、ｘ座標範囲８０が遮断解除領域に達し、隠れた層９４からの遮断解除画素d93が出力画像８６に挿入される。ゴースト線アーチファクトを阻止するために、隠れた層９４に対する優先度が、遮断解除された隠れた画像画素に隣接した画素位置に対して与えられる。好ましくは、遮断解除領域に、先行する、かつ/又は後続する1つ乃至４つの画素位置が、隠れた画像９４からの画素によって埋められる。フィルタにおいては、画素のカラー値が蓄積され、それによって、既に処理された画素を置き換えることが極めて難しくなる。よって、遮断解除領域の検出は、置き換える対象の入力サンプルがフィルタに供給される前に行われなければならない。ルックアヘッド範囲９１を用いることによって、遮断解除領域の早期検出が可能になる。

図１０は、本発明による画像処理システムの実施例１０００の概略図を示す。上記システムは別々の４つの範囲を用いる。ベースx座標範囲１００１及びベース・ルックアヘッド範囲１００２はそれぞれ、入力画素の変換、及び変換入力画像1010内の遮断解除領域の検出に用いる。隠れたx座標の範囲１００３及び隠れたルックアヘッド範囲１００４は同時に同様のことを隠れた画像１０１２について行う。好ましくは、余分な隠れた層が取得可能であり、ｘ座標範囲及びルックアヘッド範囲が、隠れた層毎に供給される。遮断解除領域を予め検出する以外に、隠れたルックアヘッド範囲を、遮断解除領域内の領域、又は遮断解除領域に隣接した領域に挿入するうえで、隠れた画像画素が利用可能かを判定するのに用いることができる。遮断解除領域を埋めるうえで、隠れた画像画素が何ら利用可能でない場合、上記領域は、線形補間などの既知の手法を用いて埋めることができる。ビデオ・プロセッサ１０６は、入力画像１０１０の入力画素１０１１毎に、変換後にベース・ルックアヘッド範囲１００２を画素がどの程度延ばすかを検出するよう動作する。変換後、画素が、所定の閾値（例えば、1.5画素）を超えて、ルックアヘッド範囲を延ばす場合、遮断解除が検出される。入力画像１０１０及び隠れた画像１０１２からの変換画素が入力画素選択装置１００５に供給される。入力画素選択装置１００５は、ビデオ・プロセッサ内の、ソフトウェア構成部分として、又はハードウェア構成部分において実施することができる。入力画素選択装置１００５は、ルックアヘッド範囲からの情報に基づいて、どの変換画素が出力画像の一部になるかを選択する。選択された画素は、適切なディスプレイ上に表示される前にビデオ・フィルタ・ブロック１００６に供給される。本発明によれば、遮断解除領域がルックアヘッド範囲１００２によって遮断解除領域付近で検出された場合、入力画素選択装置１００５が画素をビデオ・フィルタ・ブロック１００６に供給すると、隠れた画像１０１２の変換画素に与えられる。これによって、深度不連続点付近のゴースト・アーチファクトが阻止される。画素選択装置１００５は、出力画像に挿入するために、隠れた画像画素が利用可能かを判定するよう動作することができる。否定の場合、変換入力画素の既知の手法（線形補間など）を用いて、遮断解除領域及び隣接画素位置を満たすことができる。

図１１は、本発明の画像処理システムを効果的に用いるシステムの構成図を示す。図１１に示すシステムは、図１に示す従来のシステムの拡張バージョンである。入力画像１０１及び入力深度１０２に加えて、メモリ１００は、隠れた画像１１０１を受信し、任意的には、隠れた画像画素深度値を受信する。入力画像１０１の複製１０４及び入力深度１０２の複製１０４を記憶するのにメモリ１０３を用いる場合、このメモリは、隠れた画像画素１１０１及び隠れた画像画素深度１１０２の複製１１０４及び１１０５を更に記憶する。プロセッサ１１０６は、出力画像の出力画素を作成するよう動作する。出力画素が、前述のように作成される。プロセッサ１１０６は、所定の出力視点に関連した出力画像に入力画像を変換するよう動作することができる。その場合、隠れた画像は、変換しなくてよい場合がある。本発明によるシステムの一実施例では、出力視点がエンド・ユーザによって選ばれ、入力画像画素も隠れた画像画素も、出力視点に関連した変換画素に変換される。

なお、上記実施例は本発明を限定するよりも例証するものであり、特許請求の範囲記載の範囲から逸脱することなく別の多くの実施例を当業者が企図することができるであろう。特許請求の範囲では、括弧内にある参照符号は何れも、本特許請求の範囲を限定するものとして解釈されないものとする。「comprise」の動詞及びその活用形を用いていることは、特許請求の範囲記載のもの以外の構成要素又は工程が存在することを排除するものでない。構成要素に冠詞「a」又は「an」が先行していることは、前述の構成要素が複数存在することを排除するものでない。本発明は、別個のいくつかの構成要素を備えるハードウェアによって、かつ、適切にプログラムされるコンピュータによって実施することができる。いくつかの手段を列挙した装置クレームでは、これらの手段のいくつかを、同一のハードウェア・アイテムによって実施することができる。単に特定の方策が互いに別々の従属請求項に列挙されていることは、こうした方策の組み合わせを利用することができないことを示すものでない。

画像処理システムを組み入れた従来のシステムの構成図である。 別々の視点から視た地形を示す図である。 別々の視点から視た地形を示す図である。 透視投影図である。 透視投影図である。 透視投影図である。 別々の視点から視た場合の物体の重なりの増加を示す図である。 別々の視点から視た場合の物体の重なりの増加を示す図である。 物体を別々の視点から視た場合の遮断解除領域の出現を示す図である。 物体を別々の視点から視た場合の遮断解除領域の出現を示す図である。 ゴースト・アーチファクトの生起の概略図である。 ゴースト・アーチファクトの阻止の概略図である。 ｘ座標範囲を用いた、遮断の検出を示す図である。 ルックアヘッド範囲を用いた、遮断解除の検出を示す図である。 本発明によるビデオ処理システムの一部を示す構成図である。 本発明の画像処理システムを効果的に用いるシステムを示す構成図である。

Claims (14)

1. 出力視点に関連した少なくとも１つの出力画像を入力視点に関連した入力画像から深度依存性変換によって生成する画像処理システムであって、画像は、入力画素アレイ及び出力画素アレイのそれぞれとして表され、前記画像処理システムは、
   前記入力画像と、隠れた画像とを受信する入力であって、前記入力画像は、前記入力視点から見た場合の３D物体のプレフィルタリングされた２D表現であり、かつ、入力画素毎に入力画素値及び入力画素深度を備え、前記隠れた画像は、前記入力視点から少なくとも部分的に遮断されている前記３D物体の２D表現である入力と、
   ビデオ・プロセッサであって、
   前記入力画素深度の関数として、前記出力視点のための変換入力画素に各入力画素を変換し、
   前記変換された入力画素に基づいて、遮断解除された領域を満たすために、かつ、前記プレフィルタリングされた入力画像の変換によって生じるゴースト線アーチファクトを阻止するために、前記遮断解除された領域に隣接した少なくとも１つの画素位置について隠れた画像画素を用いて前記出力画像を作成することによって前記出力画像の出力画素を作成するよう動作するビデオ・プロセッサと、
   後にレンダリングするために前記出力画像を供給する出力とを備えることを特徴とする画像処理システム。
2. 請求項１記載の画像処理システムであって、前記深度依存性変換は前記入力視点から所定の出力視点への変換であり、前記隠れた画像は前記出力視点と関連付けられることを特徴とする画像処理システム。
3. 請求項１記載の画像処理システムであり、前記隠れた画像は前記入力視点と関連付けられ、前記隠れた画像画素は、隠れた画像画素値及び隠れた画像画素深度と関連付けられ、前記ビデオ・プロセッサは、
   前記隠れた画像画素深度の関数として、前記出力視点に関連した、変換された隠れた画像画素に、隠れた画像画素それぞれを変換し、
   遮断解除領域を埋めるために、かつ、前記遮断解除領域に隣接した少なくとも１つの画素位置について、変換された隠れた画像画素を用いて前記出力画像を作成するよう動作可能であることを特徴とする画像処理システム。
4. 請求項１記載の画像処理システムであって、前記画素アレイの画素の行を、連続した表示行上の水平表示に用い、前記ビデオ・プロセッサは、行毎に入力画素を順次処理するよう動作することを特徴とする画像処理システム。
5. 請求項４記載の画像処理システムであって、
   遮断解除領域内の画素位置と、
   前記遮断解除領域の片側の第１の数の画素位置と、
   前記遮断解除領域の前記片側に対して反対側の第２の数の画素位置とについて、隠れた画像画素であって、前記第１の数及び/又は前記第２の数がゼロよりも大きい隠れた画像画素を選択し、かつ、
   前記表示行上の他の画素位置について、変換入力画素を選択して、行毎に入力画素を順次選択する画素選択手段を更に備えることを特徴とする画像処理システム。
6. 請求項５記載の画像処理システムであって、前記第１の数及び/又は前記第２の数の画素位置は、前記入力画像の記録中に用いられる水平プレフィルタの幅によって変わってくることを特徴とする画像処理システム。
7. 請求項５記載の画像処理システムであって、前記第１の数及び/又は前記第２の数の画素位置が、前記入力画像の更なる情報として前記入力で受信されることを特徴とする画像処理システム。
8. 請求項５記載の画像処理システムであって、前記第１の数及び/又は前記第２の数の画素位置は前記入力画像の解析に基づいて判定されることを特徴とする画像処理システム。
9. 請求項５記載の画像処理システムであって、各入力画素はｘ座標及びｙ座標によって示され、前記ビデオ・プロセッサは、ｘ軸に沿った前記入力視点から前記出力視点までの変位の逆方向において行の入力画素を順次処理するよう動作可能であり、処理は、
   少なくとも１つの変換入力画素によって既に遮断された最遠ｘ座標を、所定の開始位置に対して、既に処理された入力画素について示すｘ座標範囲を維持する処理であって、前記最遠ｘ座標は、処理方向が小さいｘ座標から大きいｘ座標に向かう場合には最高ｘ座標であり、処理方向が大きいｘ座標から小さいｘ座標に向かう場合には最低ｘ座標である処理と、
   所定の閾値を超えて、ルックアヘッド範囲を変換入力画素が増加させた場合に、隠れた画像画素が遮断解除状態にあることを前記ｘ座標範囲の先で判定するようルックアヘッド範囲を維持して、前記遮断解除領域の位置の前の前記第１の数の画素位置について、隠れた画像画素を前記画素選択手段が選択することを可能にする処理とを備えることを特徴とする画像処理システム。
10. 請求項３又は９に記載の画像処理システムであって、前記ビデオ・プロセッサは、少なくとも１つの変換された隠れた画像画素によって既に遮断された最遠ｘ座標を、所定の開始位置に対して、既に処理された隠れた画像画素について示すために、隠れた画像のｘ座標範囲を維持するよう動作し、処理方向が小さいｘ座標から大きいｘ座標に向かう場合には最高ｘ座標であり、処理方向が大きいｘ座標から小さいｘ座標に向かう場合には最低x座標であることを特徴とする画像処理システム。
11. 請求項９記載の画像処理システムであって、前記ルックアヘッド範囲は、前記ｘ座標範囲の先の画素数であり、該数は、前記遮断解除領域の位置の前に挿入される対象の変換された隠れた画像画素の数に等しいことを特徴とする画像処理システム。
12. 請求項１記載の画像処理システムであって、前記入力は、少なくとも１つの更なる隠れた画像を受信するよう構成され、前記更なる隠れた画像は情報を備え、該情報は、他の隠れた画像内の物体によって少なくとも部分的に隠されており、前記ビデオ・プロセッサは、前記深度依存性情報、前記入力画像、前記隠れた画像、及び前記少なくとも１つの更なる隠れた画像に応じて前記出力画像の出力画素を作成するよう動作することを特徴とする画像処理システム。
13. 出力視点に関連した少なくとも１つの出力画像を入力視点に関連した入力画像から深度依存性変換によって生成する方法であって、画像は、入力画素アレイ及び出力画素アレイのそれぞれとして表され、前記方法は、
    入力部が、前記入力画像と、隠れた画像とを受信する工程であって、前記入力画像は、前記入力視点から見た場合の３D物体のプレフィルタリングされた２D表現であり、かつ、入力画素毎に入力画素値及び入力画素深度を備え、前記隠れた画像は、前記入力視点から少なくとも部分的に遮断されている前記３D物体の２D表現である工程と、
    ビデオ・プロセッサが、前記入力画素深度の関数として、前記出力視点のための変換入力画素に各入力画素を変換し、
    前記変換された入力画素に基づいて、遮断解除された領域を満たすために、かつ、前記プレフィルタリングされた入力画像の変換によって生じるゴースト線アーチファクトを阻止するために、前記遮断解除された領域に隣接した少なくとも１つの画素位置について隠れた画像画素を用いて前記出力画像を作成することによって、前記出力画像の出力画素を作成する工程と、
    出力部が、後にレンダリングするために前記出力画像を供給する工程とを備えることを特徴とする方法。
14. コンピュータ・プログラムであって、請求項１３記載の方法をプロセッサに行わせるよう動作することを特徴とするコンピュータ・プログラム。

Images