JP2011523743A - 深さ情報を有するビデオ信号 - Google Patents

Abstract

一次ビューからの三次元シーンを表す信号1300を生成するためのシステム100であって、当該システムは、一次ビューからの三次元シーンの表現の少なくとも一部を定めるストライプのシーケンスを生成するためのシーケンス生成器104、及び、ストライプのシーケンスを有するビデオ信号を生成するための信号生成器106を有する。各々のストライプは、画像情報の矩形領域の色、深さ及び位置を定めるデータ要素を含む画像情報の矩形領域を表し、各々のストライプの色及び深さデータ要素は、シーン中の少なくとも１つの対象の表面輪郭情報から導き出され、位置データ要素は、一次ビュー内の少なくとも１つの対象の表面輪郭情報の位置から導き出される。この信号中で、ストライプのシーケンスのうちの少なくとも１つのストライプは、シーン中の少なくとも１つの対象の遮蔽された領域又は側面領域から選択される少なくとも１つの対象の表面輪郭情報を表す。

Description

本発明は、深さ情報を有するビデオ信号に関する。本発明はさらに、深さ情報を有するビデオ信号を生成して、深さ情報を有するビデオ信号をレンダリングするための方法及びシステムに関する。

表示装置の導入以来、現実的な三次元表示装置は多くの人にとって夢であった。そのような表示装置に通じるはずである多くの原理が研究された。１つのそのような原理は、両眼視差のみに基づく三次元表示装置である。これらのシステムにおいて、観察者の左眼及び右眼は他の眺望を知覚し、結果的に、観察者は三次元画像を知覚する。これらのコンセプトの概要は、書籍"Stereo Computer Graphics and Other True 3-D Technologies", by D.F. McAllister (Ed.), Princeton University Press, 1993において見つけることができる。例えば、シャッタ眼鏡が、例えばCRTと組み合わせて用いられることができる。奇数のフレームが表示される場合、光は左眼に対してブロックされ、そして偶数のフレームが表示される場合、光は右眼に対してブロックされる。

眼鏡のような追加の器具を必要とすることなく三次元を示す表示装置は、自動立体視表示装置と呼ばれる。例えば、マルチビュー自動立体視表示装置が提案されている。US6064424に開示される表示装置において、傾斜するレンチキュラが用いられ、このレンチキュラの幅は２つのサブピクセルより大きい。このようにして、互いに隣り合ういくつかの画像が存在し、観察者は左右へ移動する若干の自由度を持つ。他のタイプの自動立体視表示装置が従来技術において知られている。

マルチビュー表示装置上に三次元印象を生成するために、それぞれの仮想的視点からの画像がレンダリングされなければならない。これは、複数の入力ビュー又は何らかの三次元情報若しくは深さ情報が存在することを必要とする。この深さ情報は、マルチビューカメラシステムから記録され、生成されることができ、又は、従来の二次元ビデオ素材から生成される。二次元ビデオから深さ情報を生成するために、いくつかのタイプの奥行きの手がかりが利用されることができる（例えば、動き、焦点情報、幾何学的形状及び動的遮蔽からの構造）。好ましくは、密集した深さマップが生成される（すなわち、ピクセル毎に１つの深さ値）。この深さマップは、その後、観察者に深さの印象を与えるためにマルチビュー画像をレンダリングする際に用いられる。

既存のビデオ接続は、画像のシーケンスを交換するように設計されている。一般的に、画像は、接続の両方の側(すなわち送信機及び受信機)において、ピクセル値の二次元マトリックスによって示される。ピクセル値は、輝度及び/又は色の値に対応する。送信機及び受信機は共に、データの意味論についての知識を持ち、すなわち、それらは同じ情報モデルを共有する。一般的に、送信機と受信機との間の接続は情報モデルに適合している。データのこの交換の例は、RGBリンクである。送信機及び受信機との関連で画像データは、共にそれぞれのピクセル値を形成する値のトリプレットR(赤)、G(緑)及びB(青)から成るデータフォーマットで記憶されて、処理される。画像データの交換は、３つの相関するが分離されたデータストリームによって実行される。これらのデータストリームは、３つのチャネルによって転送される。第１チャネルは赤の値(すなわち赤の値を示すビットのシーケンス)を交換し、第２チャネルは青の値を交換し、そして第３チャネルは緑の値を交換する。値のトリプレットは一般的に直列に交換されるが、情報モデルは、予め定められた数のトリプレットが共に１つの画像を形成するようなモデルであり、トリプレットがそれぞれの空間座標を持つことを意味する。これらの空間座標は、画像を表示する二次元マトリックスにおけるトリプレットの位置に対応する。(そのようなRGBリンクに基づく)規格の例は、DVI (Digital Visual Interface)、HDMI (High Definition Multimedia Interface)及びLVDS (Low-Voltage Differential Signaling)である。しかしながら三次元の場合には、ビデオデータとともに、深さに関連したデータも交換されなければならない。

WO 2006/137000 A1は、画像データとその画像データに関連した更なるデータ(例えば深さデータ)との組み合わせた交換の方法を開示し、画像データは画像データ要素の第１の二次元マトリックスによって表され、更なるデータは更なるデータ要素の第２の二次元マトリックスによって表される。この方法は、第１の二次元マトリックスと第２の二次元マトリックスとをデータ要素の結合された二次元マトリックスに組み合わせることを含む。しかしながら、上記の方法は、提供される情報に関して幾分制限されて、正確なレンダリングのための十分な情報を提供することができない場合がある。

画像データを交換する改善された態様があることが有利である。より適切にこの懸念に対処するために、本発明の第１の態様において、一次ビューからの三次元シーンを表す信号を生成するためのシステムが示され、当該システムは、
一次ビューからの三次元シーンの表現の少なくとも一部を定めるストライプのシーケンスを生成するためのシーケンス生成器、
及び、ストライプのシーケンスを含むビデオ信号を生成するための信号生成器を有し、
各々のストライプは、矩形領域の色、深さ及び位置を定めるデータ要素を含む画像情報の矩形領域を表し、
各々のストライプの色及び深さデータ要素は、シーン中の少なくとも１つの対象の表面輪郭情報から導き出され、
位置データ要素は、一次ビュー内の少なくとも１つの対象の表面輪郭情報の位置から導き出され、
ストライプのシーケンスのうちの少なくとも１つのストライプは、シーン中の少なくとも１つの対象の遮蔽された領域又は側面領域から選択される少なくとも１つの対象の表面輪郭情報を表す。

各々のストライプは、一次ビュー内の画像情報の矩形領域に対応し、したがって、ストライプは、単一のピクセル、ライン状のピクセルの一次元アレイ又はピクセルの二次元アレイに対応する場合がある。したがって、ストライプは画像情報の矩形領域に対応するが、深さ要素を含むために、ストライプによって表される実際のデータは、三次元構造を描くことができる。

ストライプが一次ビュー内の画像情報の矩形領域の位置を示すデータ要素を含むので、遮蔽又は側面領域情報をビデオ信号中により柔軟に収容することが可能になる。システムに利用可能であるシーンの部分に関する任意の情報は、１つ以上のそのようなストライプに挿入されることができる。ストライプが色及び深さを示す普通のデータ要素を有するので、信号のビデオのような特性は、かなりの程度で維持されることができる。結果的に、これらのデータ要素は、ビデオ符号化の従来技術において周知の態様で符号化されることができる。これは、下位互換性問題に対処することを可能にする。それは、ストライプ内に含まれる情報に標準的なビデオ圧縮方法を適用することも可能にする。

ストライプが、色、深さ及び位置のテュープルに含まれるデータ要素の形であることができる、ストライプの位置を示すデータ要素を有するので、ストライプ間の又はストライプ中でのサンプリング密度を変化させることが容易になる。これは、ビデオ信号中に遮蔽された領域及び/又は側面領域のための画像情報を包含することを可能にする。さらに、一次ビューの観察方向に対して平行に近い対象の部分は、改善された分解能で記憶されることができる。これらの側面領域は、一次ビューに対して符号化される従来の画像では、遮蔽されるか又は十分に定められない場合がある。結果的に、これらの部分が記憶される際の改善された分解能は、そのような側面の対象部分の回復が改善された立体視を生成するために用いられることができる。

背面領域の情報も、立体視をさらに強化するために含まれることができる。背面領域の情報は、さらに、対象を見まわす可能性を改善する。シーンは、例えば観察者がシーン中を仮想的に移動することを可能にするために、非常に異なる視野から見られることができる。

上で示されるように、ストライプは、一次ビュー内の画像情報の矩形領域を定め、ここで、矩形領域は、二次元領域、一次元領域及び/又は点から成る矩形領域を含むと理解される。二次元領域の例は等距離のサンプルの矩形のアレイであり、一次元領域の例は等距離のサンプルの一次元アレイである。

ストライプは、一次ビューの中の画像情報の矩形領域であるが、一次ビューの中で見えるものより、基本的な三次元シーンからのより多くの情報を実際のところ有することができることに留意すべきである。異なるビューがレンダリングされるときにこの追加の情報が可視になる場合があるので、これは実際にストライプ表現の長所である。

一次元のラインに基づく表現は、不必要な記憶領域の浪費を伴わずに、より不規則な形状の対象の表現を可能にするという利点を持つ。一方、二次元、すなわちマルチラインに基づく表現は、ストライプ中の空間冗長度が例えばブロックに基づく圧縮スキームを用いて利用されることができるので、ストライプデータの改善された圧縮を可能にするという利点を持つ。

データ要素は、色、深さ及び位置データ要素から成るテュープルとしてグループ化されることができる。色及び深さが同じ一つの分解能で表される場合には、ピクセルカラーデータ要素を表す赤、緑及び青の値、ピクセル深さデータ要素を表すz値、並びに、ピクセル位置データ要素を表すp値から成るテュープル(rgb, z, p)を用いる表現が用いられることができる。

深さ情報が色の分解能の1/4でサブサンプリングされて表される場合には、テュープル(rgb₁, rgb₂, rgb₃, rgb₄, z, p)を用いた表現が用いられることができる。RGBデータ要素の使用は単なる例示であって、YUV又はサブサンプリングされたYUV(4:2:0)のような他の色データが代わりに使用されることができることは、当業者にとって明らかである。前述のテュープルにおいて、単一のp値及びz値が、色及び深さ情報の両方の位置を示すために用いられ、色及び深さデータ要素の実際の位置はp値から導き出されることができる。ラインに基づくストライプを用いる場合、p値は、ラインの開始点に対するラインに沿ったオフセットを表すことができる。しかしながら、マルチラインストライプの場合、p値自体は、x及びy座標の両方を表すか、あるいは、ライン番号及びラインの開始点に対するオフセットを表すことができる。

上記の実施例は、全ての座標に対して単一のp値のみを含む。代わりに、帯域幅/記憶領域がより重大でない場合には、
(rgb₁, rgb₂, rgb₃, rgb₄, z, p_rgb1234, p_z) (1)
(rgb₁, rgb₂, rgb₃, rgb₄, z, p_rgb13, p_rgb24, p_z) (2)
(rgb₁, rgb₂, rgb₃, rgb₄, z, p_rgb1, p_rgb2, p_rgb3, p_rgb4) (3)
(rgb₁, rgb₂, rgb₃, rgb₄, z, p_rgb13, p_rgb24) (4)
(rgb₁, rgb₂, rgb₃, rgb₄, z, p_rgb1, p_rgb2, p_rgb3, p_rgb4, p_z) (5)
のような、より複雑なテュープルが用いられることができ、位置情報は、より多くの及び/又は全ての個々の色及び深さデータ要素に提供される。

例えば、上記のテュープル(1)は２つのp値を含み、１つは色データ要素のため、１つは深さデータ要素のための値である。次に、テュープル(2)は、色データ要素が２つのラインに分配される状況を表し、色サンプルポイント1及び2は上部ライン上にあり、サンプルポイント3及び4は真下の下部ライン上に位置する。ポイント1及び3がそれらのそれぞれのラインの中で同じオフセットを持つので、ここでは単一のp値で十分である。次に、テュープル(3)及び(4)は、深さデータ要素のための個別のp値を有しない。テュープル(3)及び(4)において、深さデータ要素のためのp値は、色データ要素のp値から導き出せる。最後に、テュープル(5)は、一次ビュー内の画像情報の矩形領域中のサンプリング点の位置の完全な制御を可能にする。

信号は、一次ビューからの三次元シーンの画像を表すストライプに対応するサンプルを表しているテュープルの第１サブセットと、遮蔽及び側面領域情報を表すストライプを含む第２サブセットとに、分割されることができる。結果として、第１サブセットの色データ要素は第１データストリームとして符号化されることができ、第１サブセットの深さデータ要素は第２データストリームとして符号化されることができる。このようにして、従来の三次元シーン表現(例えば画像及び深さ) との互換性が達成されることができる。次に、遮蔽又は側面領域情報の色、深さ及び位置データ要素は、単一のストリーム中に又は複数ストリーム中に、符号化されることができる。

独立請求項は、本発明の更なる態様を定める。従属請求項は、有利な実施の形態を定める。

本発明のこれらの及び他の態様は、図面を参照してさらに説明及び記載される。

ビデオ信号を生成するシステム及びディスプレイシステムの態様を示すブロック図。 ビデオ信号を生成する方法のフローチャート。 ビデオ信号をレンダリングする方法のフローチャート。 シーン中の対象を示す図。 一次視角から見えるシーンの部分を示す図。 一次ビューにおいて遮蔽されるシーンの部分の第２レイヤを示す図。 ストライプのシーケンスを用いて取り込まれることができるシーンの部分を示す図。 ストライプのシーケンスを用いて取り込まれることができるシーンの部分の他の例を示す図。 シーンのいくつかのビューを示す図。 ハードウェアアーキテクチャを示す図。 三次元シーン及びカメラ視点を示す図。 側面領域からの画像情報がフロントビュー画像を表すストライプによってインタリーブされる本発明によるストライプのシーケンスを示す図。 側面領域からの画像情報がフロントビュー画像とは別に符号化される本発明によるストライプのシーケンスを示す図。 ラインに基づくビデオ画像を示す図。 ビデオラインに沿った三次元シーンの断面を示す図。 ビデオラインに沿った輪郭ラインを示す図。 輪郭ラインに沿ったポイントのシーケンスを示す図。 ビデオストリームを示す図。 他のビデオストリームを示す図。

近年、三次元ディスプレイ及びそのようなディスプレイを駆動するために適切なデータ表現の開発に多くの努力がなされた。自動立体視三次元ディスプレイは、観察者が特別なアイウェア(例えば赤/緑眼鏡)を着用することを必要としないが、通常、２つ以上のビューを表示することに依存し、この２つ以上のビューは、左及び右の目がこれらのそれぞれのビューのうちの２つを「見る」ので、ユーザが示されるシーンを自由に見回して深さを知覚することを可能にする。ディスプレイは、表示されるビューの数、及び他の属性(例えば描写することができる深さ範囲)において異なる場合があるので、そのような相違から独立したデータフォーマットが必要である。画像及び深さフォーマット(image-and-depth format)は、MPEG-Cパート3に採用された。

この画像及び深さフォーマットは、適度な深さ範囲能力を持つ第１世代の三次元ディスプレイに適しているが、更なる見回した感覚及びより少ない所謂遮蔽アーチファクトを可能にするために、拡張されることを必要とする。しかしながら、遮蔽アーチファクトは、三次元ディスプレイの更なる世代においても発生する場合があり、それは改善された画像及び深さフォーマットを用いることにより除去されることが好ましい。

図1は、一次ビューからの三次元シーンを表す信号1300を生成するシステム100、及び、その信号を受け取って、同じ又は他の視点からのシーンを表示するディスプレイシステム150を示す。信号のいくつかの態様が図10-15に示され、システム100及び150の説明はそれらを参照する。システム100は、DVDマスタリングシステム、ビデオ放送システム又はビデオ編集システムにおいて例えば実現されることができる。ディスプレイシステム150は、例えばテレビセット(例えば液晶ディスプレイ又はプラズマディスプレイ)であることができる。ディスプレイシステムは、例えばシャッタ眼鏡と組み合わせた立体視機能を持つことができる。ディスプレイシステムはさらに、従来技術において周知であるように、例えば傾斜したレンチキュラを含む自動立体視ディスプレイであることができる。ディスプレイシステムは、二次元ディスプレイであることもできる。そのような二次元ディスプレイシステムは、表示されている対象を回転させることによって、三次元の印象を提供することができる。さらに、視点を適応させるより精巧な自由度は、ユーザがシーン中を移動することを可能にする二次元又は三次元ディスプレイシステム150によって提供されることができる。

図10Aは、矢印941によって示されるようなビュー方向に沿った視点(以下で一次ビューと呼ばれる)から撮像されるバックグラウンド面943の前に配置された立方体944を含む三次元シーンを概略的に示す。矢印941がバックグラウンド面及び立方体の前面に対して垂直であるので、この一次ビューに対して知覚される二次元画像中のピクセルは、バックグラウンド面S921、S922、S926及びS927の部分に対応する画像情報の矩形の領域、並びに、バックグラウンド面943の一部を遮蔽する立方体944の前面に対応する矩形の領域S924から成る。なお、立方体944の側面に対応する画像情報の矩形領域は、そのような二次元画像中に含まれない。図10Bは、一次ビューに対して図10Aに示される三次元シーンを表すストライプのシーケンスを示す。示されたシーケンスは、立方体944の側面領域の画像情報を追加し、遮蔽データ(すなわち、立方体944によって遮蔽されるバックグラウンド面943のデータ要素)を追加しない。図10Bのストライプのシーケンスは、７つのストライプS921、S922、S923、S924、S925、S926及びS297から成る。このストライプのシーケンスは、図10Aにおいて矢印941によって示されるビューから観察されるような三次元シーンに基づく。このストライプのシーケンスは、図10Aに示されるように水平スキャン方向に沿った左から右、上から下へのスキャンパス942に対応する。

ストライプS921及びS927は、二次元画像においてそれぞれ立方体944の上及び下にあるバックグラウンド面943の部分の色及び深さを定めるデータ要素を含む画像情報の矩形領域を表す。同様に、ストライプS922及びS925は、それぞれ立方体944の左右のバックグラウンド面943の部分の画像情報の矩形領域を表す。ストライプS923及びS925は、スキャンパス942に沿った、立方体の２つの側面の色及び深さを定めるデータ要素を含む画像情報の矩形領域を表す。

シーケンス生成器(104)によって確立されるストライプのシーケンスは、直接、すなわちスキャンパスによって決定される順序で、信号を生成するために用いられることができる。そうする利点は、ラインをレンダリングするために必要な画像情報が比較的近いストライプ中に配置されることである。

さらに、スキャン方向中に隣接して配置されるストライプは、ストライプのシーケンスを分割することによってクラスタ化されることができ、ストライプの３つのシーケンス、S921に対応する第１シーケンス、ストライプS922、S923、S924、S925及びS926に対応する第２シーケンス並びにストライプS927に対応する第３シーケンスをもたらす。ストライプのこれらのシーケンスの各々は、それらのそれぞれの位置を示すために水平オフセットのみが必要であるように、互いに対して符号化されることができる。しかしながら、図10Bで分かるように、これは、バックグラウンド面943及び立方体944からの画像情報がインタリーブされることを意味する。

色、深さ及び位置のデータ要素は、３つ以上の評価されたテュープルの形で全く同一のストライプ中に共に符号化されることができる。あるいは、データ要素のそれぞれのタイプの各々は、個々のストリーム中で符号化されることができ、それによって、データ要素のそれぞれのタイプを逆多重化する。この様式において、より密接に従来の画像及び深さ表示に似た信号が得られる。

図10Cは、画像及び深さフォーマットとより密接に一致する様式における情報の符号化を可能にする他の表現を示す。図10Bからストライプのシーケンスを再編成することによって、一次ビューから知覚されるような二次元画像を共に形成するようにストライプが順序づけられる信号を生成することが可能である。実際、これらのストライプからの情報は、図10Aに示される視点及びビュー方向から観察されるような二次元画像に対応する新たなストライプ931に組み合わせられることができる。そして、側面領域からの画像情報から成る残りのストライプは、ストライプ931に付加されるストライプS923及びS925のシーケンスとして、信号中に符号化される。

明確性のために、上記の例において遮蔽情報は符号化されなかったが、好ましい実施の形態は、側面領域及び遮蔽領域の両方からの画像情報を含む。このようにして、対象の側面のみがそれぞれのビューに対してより正確にレンダリンクされることができるだけでなく、遮蔽されていない領域も適切な画像情報によって埋められることができる。

上記例は、バックグラウンド面の前の立方体を含んだが、本発明は、より複雑な三次元シーンに適用されることもできる。その場合、矩形領域の特定の範囲に対して、画像情報が利用可能でない状況が発生する場合がある。これは、例えばそれらのデータ要素にマスク又は透明度ビットを追加することのような、さまざまな様式で対処されることができる。

複数のビデオラインのデータ要素をカバーする画像情報の矩形領域に対応するストライプ(以下、マルチラインストライプ)を用いる利点は、この様式で符号化される画像情報が、ピクセル間の空間冗長度を考慮する様式で圧縮されることができることである。後者は、複数のデータ要素(例えば8x8 DCT)に対処する周波数ドメイン変換を用いる圧縮スキームを用いるときに特に有用である。

マルチラインストライプを用いる更なる利点は、色情報及び深さ情報に対して異なるサンプリング周波数の使用を可能にすることである。例えば、第１分解能で色情報RGBを表して、第２分解能で、例えば第１分解能の４分の１で深さを用いることが可能である。

マルチラインストライプを用いることにはある程度の利点があるが、単一のビデオラインのデータ要素を含むストライプを用いることも可能である。以下で、本発明は、明確にするため、単一のビデオラインのみのデータ要素を含むストライプの例を主として用いてさらに説明される。

図11は、ビデオライン1002を備えたビデオ画像1000を概略的に示す。画像1000の各々のビデオライン1002のためのデータ1350は、図14に示されるように、ビデオストリーム1300中に含まれることができる。伝統的に、各々のライン1002は、ディスプレイのピクセルに直接対応する真直なラインである。以下に記載する実施の形態において、これらのラインは、非常に柔軟な様式で三次元情報を含むように拡張される。図12Aは、対象1102及びバックグラウンド1104を含む三次元シーンの断面1100の平面図を示す。生成されるべき信号は、好ましくは、矢印1106の方向に近い観察方向からのシーンの画像をレンダリングするための情報を含む。視点は、シーンから離れたある距離であることができ、図示されない。断面1100は、レンダリングプロセスの間、水平ビデオライン1102において見えるようになる可能性があるものに対応する。

システム100は、断面1100において見える対象の輪郭の少なくとも一部を生成するための輪郭生成器102を含む。そのような輪郭生成器は、従来技術において周知の態様で、例えば、depth-from-motionアルゴリズムを用いて、又は、シーンを記録するために複数のカメラを用いて深さ計算技術を適用することによって、実現されることができる。そのようなアルゴリズムは、完全な輪郭を再構成することができず、特に対象1102の背面1108は、いずれの画像においても見える可能性はなく、そのような場合、輪郭情報のこの部分は利用可能ではない。さらに、シーンの他の部分は、その前の他の対象のために遮蔽される場合がある。より多くのカメラ位置がシーンを記録するために用いられる場合、更なる輪郭情報が利用可能になる可能性がある。図12Bの輪郭1154は、システムに対して利用可能である可能性がある輪郭1150の例を示す。例えば、対象1102の輪郭の一部1154のみが、信号中に含めるために利用可能である。輪郭生成器102の代わりに、どこか他の所から輪郭生成器102によって生成された情報を受け取るための入力が設けられることができる。

システム100は、ビューからの三次元シーンの表現の少なくとも一部を定めるストライプのシーケンスを生成するためのシーケンス生成器104をさらに有する。ここで各々のストライプは、矩形領域の色、深さ及び位置を定めるデータ要素を含む画像情報の矩形領域を表す。このラインに基づく実施の形態において、矩形領域は、１データ要素の高さを持つとみなされる。輪郭上のサンプルポイントは、それらに、テュープルとして構成されることができる色、深さ及び位置のようなさまざまなデータ要素を関連付ける。図13に示される全てのサンプルポイントは、特定のビューに対してレンダリングされるビデオライン1002に寄与することができる。

ほとんどの現在のマルチビューディスプレイは複数のビューをレンダリングし、各々のビューの観察方向は、それぞれ水平方向のみにおいて異なる。結果として、画像のレンダリングは、ラインに基づく様式で一般に実行されることができる。結果的に、ビデオライン1002は、好ましくは水平ビデオラインである。しかしながら、本発明は、垂直方向に向くビデオラインにも適用されることができる。

これらのサンプルポイント1202は、シーン中の対象の輪郭1102の複数の区域から選択されることができる。サンプルポイントに関連付けられたデータ要素は、対応する輪郭点における対象輪郭の色に対応する、例えば赤、緑及び青(RGB)成分又は当業者に知られている他のフォーマットで表現された色を示すことができる。より柔軟なソリューションが望ましい場合には、例えば、バイナリ又は多値データ要素であることができ、したがって透明又は半透明な対象のエンコーディングを可能にする透明度データ要素のような、さらなる情報の追加を許容することが可能である。

データ要素は、深さ1208を示すこともできる。そのような深さは、1208で矢印によって示される方向における座標として表現されることができ、すなわち、視点に対する距離に関する情報を提供する。深さは、従来技術において周知であるように、視差値として表現されることもできる。表現される深さは、前に述べられた観察方向1106に対応する特定の一次ビューに対応する。
観察方向1106は、ここでは例えば、視点及びバックグラウンド1104の中心を通るラインに平行なラインの方向に関連する。カメラ位置がシーンの近くである場合、深さ座標は、バックグラウンド上へのシーンの投射による発散方向に対応することができる。データ要素は、さらに、矢印1210によって示される方向のビデオライン位置1210を示すことができる。このビデオライン位置1210は、一次ビューによる、ビデオ画像1000のビデオライン1002中の表示位置を示す。

特に、不規則に形成された形状を扱う場合、全てのサンプルポイントに関連した位置及び深さデータ要素を明示的に符号化することが重要である。このようにして、輪郭に対するサンプルポイントの任意の分布を符号化することが可能である。例えば、データ要素は、輪郭表面上において等距離で選択されるサンプルポイントに関連することができ、あるいは、特定の対象輪郭法線に関して等距離で選択されることができる。別の態様では、例えば多角形上の等距離のサンプルグリッドを用いる場合、より規則的なポリゴン構造を符号化するときに、より効率的な位置符号化が採用されることができる。

シーケンス生成器104は、輪郭ライン1150に沿った連続するポイントを選択する。例えば、ビデオラインが水平ラインである場合、セレクタ104は左から右に連続するポイントを選択することができる。あるいは、ポイントは、右から左に選択されることができる。セレクタ104は、バックグラウンドの左端の部分1152から始動することができ、そしてバックグラウンドの前の対象のために情報が存在しなくなるまで、右へと動作する。それから、セレクタ104は、対象の輪郭1154に関して継続することができる。セレクタは、輪郭1154の左端の端点にて始動することができ、右端の端点に達するまで輪郭1154に沿ってずっと動作し、そしてそこから、この場合にはバックグラウンドの残りの部分1156である次の対象に関して継続する。

シーケンス生成器104は、1204の近くのサンプルポイントのデータ要素、すなわち、一次ビュー中の少なくとも１つの対象1102の側面領域の一部である区域から選択されるサンプルポイントの連続するデータ要素を含む第１サブシーケンスを、ストライプのシーケンス中に包含することが可能である。シーケンス生成器104はさらに、1206の近くのサンプルポイントのデータ要素、すなわち、一次ビュー中の少なくとも１つの対象の前面領域の一部である区域から選択されるサンプルポイントの連続するデータ要素を含む第２サブシーケンスを包含することが可能である。第１サブシーケンス1204の２つの連続するサンプルポイントのビデオライン位置の間の差は、第２サブシーケンス1206の２つの連続するサンプルポイントのビデオライン位置の間の差よりも小さい。このように、特定のシーケンス部分は、レンダリングされる出力の画質を改善するためにより高いサンプル周波数で、あるいは表示サイズのためにより低いサンプル周波数でサンプリングされたデータ要素を用いて表される。

シーケンス生成器104は、異なるストライプ間の接続を示すためにストライプ内に１つ以上の透明なデータ要素1212を示すテュープルを包含するように配置される。これらの透明なサンプル1212は、ディスプレイシステム150においてストライプのシーケンスを効率的にレンダリングする際の助けとなる。例えば、輪郭が透明か否かを示す特別なデータ要素が、ストライプ中に又はデータ要素のテュープル中に包含され、あるいは、特定の色の値又は色の範囲が、「透明」を示すために予約される。信号がその後不可逆圧縮を受ける場合、範囲の使用は特に有益である。システム100は、ストライプ1350のシーケンス中に含まれるデータ要素から成るビデオ信号を生成するための信号生成器106をさらに有する。ストライプのシーケンスが適切に符号化される限り、この信号生成器は任意の態様で実現されることができる。デジタル信号エンコーディング方法(例えばMPEG規格)が使用されることができる。ストレージ信号及び伝送信号を含む他のアナログ及びデジタル信号が生成されることができ、この説明からみて当業者の圏内である。例えば、ストライプのデジタルシーケンスは、磁気ディスク又はDVD上のファイル中に単に記憶されることができる。信号は、ディスプレイシステム150によって受信されるように、例えば衛星又はケーブルTVを介して放送されることもでき、あるいは、インターネットを介して送信されるか、DVI又はHDMIのようなインタフェース上で送信されることができる。

ストライプの複数のそれぞれのシーケンスが作成されて、複数のそれぞれのビデオライン1002の信号中に組み込まれることができる。これは、完全な三次元ビデオ画像1000を符号化することを可能にする。

いくつかの手段102、104及び106は、例えばランダムアクセスメモリ110を介してそれらの中間結果を通信することができる。他のアーキテクチャデザインも可能である。

システム100は、さらに、一次ビューにおいて遮蔽される区域からの及び/又は対象の背面領域のサンプルを包含することを可能にする。

図14は、概略的にいくつかのデータストリームから成るトランスポートストリームを示す。各々の水平のロウは、トランスポートストリーム中のデータストリームを表す。そのようなトランスポートストリームは、信号生成器106によって生成されることができる。別の態様では、信号生成器106は単に、多重化装置(図示せず)によってトランスポートストリーム中に包含するためのデータストリームを提供する。ブロック1350は、ビデオラインに対応するストライプのシーケンスを表す。ライン上のいくつかのブロックは、画像の異なるビデオラインのためのストライプのシーケンスに対応する。実際には、これらのデータブロックは、より大きいデータチャンク(図示せず)中にこれらのブロックの多くを結合する場合がある圧縮方法を受ける可能性がある。信号生成器106によって生成されるトランスポートストリームは、ストライプの少なくとも第１サブセットの色を示すデータ要素を含む第１データストリーム1302を有することができる。さらに、第２データストリーム1304は、ストライプの少なくとも第１サブセットの深さを示すデータ要素を有することができる。結果的に、ストライプのそれぞれのデータ要素は、信号中で別々に送信されることができる。これは、深さ及び/又は水平位置のような追加の情報は、それらが色情報とは個別の補助データストリーム中に包含される場合、レガシー表示装置によって無視されることができるので、圧縮結果を改善することができ、下位互換性を提供するのを助ける。さらに、色及び/又は深さが従来技術において周知の方法を用いて符号化されることができ、二次元ビデオ符号化における開発を活用して、既存のビデオ符号器及び復号器の再利用を可能にする。

圧縮率をさらに改善するために、信号生成器106は、パディングデータ要素を挿入することによって、ストライプの第１シーケンス中のデータ要素をストライプの第２シーケンス中のそれらに位置合わせするように配置されることができる(両方のシーケンスは少なくとも１つの対象のある部分に関連する)。例えば、ストライプの第１シーケンスが第１ビデオラインに関連し、そしてストライプの第２シーケンスが隣り合うビデオラインに関連する状況を考える。この場合には、ストライプの第１シーケンス中のデータ要素番号Nが、ストライプの第２シーケンス中のデータ要素番号Nと同じ水平位置を持つように、シーケンスが水平方向に位置合わせされることができる。

ストライプのシーケンスがスキャン方向に沿って符号化される場合、ストライプのシーケンスは、データストリーム中の空間的に隣り合うデータ要素が、スキャン方向に対して垂直な方向に空間的に近接するデータ要素に位置合わせされるように、シーケンス生成器によってデータストリーム中に符号化されることができる。

信号生成器106は、ストライプの少なくとも第１サブセットの位置を有する第３データストリーム1306をさらに生成することができる。これらの位置値は、(例えばビデオ画像の左側に対応する)固定の基準位置に対する位置値として符号化されることができる。好ましくは、連続するサンプルの位置は、連続するサンプルのビデオライン位置間のδ(差分)として表現される。後者の場合、値は、ランレングス符号化(周知の無損失圧縮技術)を用いて効率的に圧縮されることができる。しかしながら、圧縮はオプションであり、処理要求が帯域幅より重大である状況では、圧縮は必要ない場合がある。例えば、DVI又はHDMIのような表示インタフェースを用いる場合、圧縮は必要ない場合がある。そのような場合、δ値すなわち固定の基準点に対する値は、例えば色チャネルのうちの２つ(例えば緑及び青チャネル)において、圧縮されていない形態で符号化されることができ、深さは、第３の色チャネル(例えば赤チャネル)において符号化されることができる。

図15は、下位互換性が提供される他の実施の形態を示す。この目的のために、標準的な二次元ビデオフレームが、図10Cを参照して説明される状況に類似した形で、第１ストリーム1402中に符号化される。この第１ストリーム1402は、レガシー二次元ディスプレイと互換性がある。対応する深さ値は、第２ストリーム1404中に記憶される。第１ストリーム1402及び第２ストリーム1404の組み合わせは、画像及び深さビデオデータをレンダリングすることができるレガシー三次元ディスプレイとの互換性を持つことができる。レガシー二次元画像のための(図14の第３ストリーム1306中にあるような)水平位置は、それらは標準的なビデオフレームではアプリオリに既知であるので、省略されることができる。しかしながら、ストリーム1402及び1404に加えて、画像及び深さストリーム1402及び1404中に存在しないストライプのシーケンスの部分は、一つ以上の追加のストリーム中に包含される。言い換えると、少なくともストライプのシーケンスの第２サブセットによって表される情報は、ストリームの異なるセットにおいて符号化され、第１サブセット及び第２サブセットは分離している。ストリームは、部分的に重なり合うポイントに関連することができ、例えば、特定の輪郭区域が不十分な分解能でストリーム1402及び1404中に表される場合(例えば、観察方向の角度に近いある角度における平面に関連する画像情報)、追加のストリームは、その特定の輪郭区域のより高い分解能バージョンを提供することができる。例えば、更なるストリーム1408は、ストライプのシーケンスの少なくとも第２サブセットの色を有し、更なるストリーム1410は、ストライプのシーケンスの少なくとも第２サブセットの深さを有し、そして、更なるストリーム1412は、ストライプのシーケンスの少なくとも第２サブセットの水平位置を有する。

さらに、１つ以上の下位互換性を持つストリーム中に包含するために情報の他の部分を抽出することも可能である。例えば、複数の画像及び深さレイヤ又は他のレイヤード深さ画像(LDI)表示が、下位互換性を持つストリーム中に包含されることができる。下位互換性を持つストリーム中に包含されない残りの情報及び/又は不十分な分解能で下位互換性を持つストリーム中に包含される残りの情報は、別々に包含されることができる。

実施の形態は、一次ビューからの三次元シーンを表す信号1300を含み、この信号は、ビューからの三次元シーンの表現の少なくとも一部を定めるストライプのシーケンス1350を有する。各々のストライプは次に、色、深さ1208及び位置1210を定めるデータ要素を含む画像情報の矩形領域を表し、各々のストライプの色及び深さデータ要素は、シーン中の少なくとも１つの対象の表面輪郭情報1102から導き出される。位置データの要素は、ビュー内の少なくとも１つの対象の表面輪郭情報の位置1202から導き出され、ストライプのシーケンスのうちの少なくとも１つのストライプ1204は、シーン中の少なくとも１つの対象の遮蔽された領域又は側面領域から選択される少なくとも１つの対象の表面輪郭情報を表す。

ストライプのシーケンスは、一次ビュー中の少なくとも１つの対象の遮蔽された領域又は側面領域の一部である区域から選択される連続するポイントと関連したデータ要素の第１ストライプ1204、及び、一次ビュー中の少なくとも１つの対象の前面領域の一部である区域から選択される連続するデータ要素の第２ストライプ1206を有する。さらに、第１サブシーケンスの２つの連続する位置データ要素の水平位置間の第１差分は、第２サブシーケンスの２つの連続する位置要素の水平位置間の第２差分より小さい場合がある。

図1を参照して、ディスプレイシステム150は、述べられたようなストライプのシーケンスを表す信号を受け取るための入力152を有する。ディスプレイシステム150は、例えば、記憶媒体から又はネットワーク接続を介してそれを読み出すことによって、この信号を受け取ることができる。

ディスプレイシステム150は、さらに、ストライプのシーケンスを用いて立体視に対応する複数の画像を生成するための画像生成器154を有する。立体視は、異なる観察方向を持ち、すなわち、それらは同じ三次元シーンの異なるビューに対応する。ビューは、好ましくは水平方向に分配され、又は、少なくとも水平方向に沿っている。複数の画像のうちの１つの画像は、以下の通りに生成されることができる。最初に、位置及び深さデータ要素が、生成されるべき画像の観察方向及び視点に対応するビデオライン位置及び深さに変換される。次に、画像はこれらの変換された値を用いてレンダリングされ、ここで、任意の水平位置に対して、視点に最も近い位置を示す深さ値のみが考慮されることを必要とする。要するに、テュープルのシーケンスは、ラインに基づくストライプの場合には１つ以上の三次元ポリラインを表し、マルチラインに基づくストライプの場合にはポリゴンを表す。これらのポリラインは、従来技術において周知であるように、zバッファリングを用いてレンダリングされることができる。例えば、ストライプのシーケンスと関連したデータ要素は、zバッファリングを用いて個別にレンダリングされることができる。データ要素のレンダリングの厳密な様式は本発明を制限しない。

ディスプレイシステムは、複数の画像を表示するためのディスプレイ156を有することができる。例えば、ディスプレイ156は、自動立体視傾斜レンチキュラディスプレイであることができる。いくつかの画像は、インタリーブされた態様でそのようなディスプレイにレンダリングされることができる。別の態様では、２つの画像はタイムシーケンシャルに表示されることができ、そして、シャッタ眼鏡が、人による適切な三次元画像認識のために用いられることができる。立体表示モードを含む他の種類の表示モードが当業者に知られている。複数の画像が、三次元ディスプレイ又は二次元ディスプレイ上に次々と表示されることもでき、それは、回転効果を生成することができる。他の画像を表示する態様(例えばシーンを通してのインタラクティブな仮想的ナビゲーション)も可能である。

図2Aは、ビデオ信号を生成する方法における処理ステップを示す。ステップ200において、例えば新たなビデオフレームが処理されるべきときに、プロセスが開始される。ステップ202において、説明されるように、バックグラウンドを含むシーン中の対象の輪郭ラインが作成される。プロセスの中で明示的にこのステップを実行する代わりに、ステップ202の結果は、プロセスの入力として提供されることができる。

ステップ204において、ストライプのシーケンス1350が生成され、一次ビューからの三次元シーンの表示の少なくとも一部を定めて、各々のストライプは、色、深さ1208及び位置1210を定めるデータ要素を含む画像情報の矩形領域を表す。各々のストライプの色及び深さデータ要素は、シーン中の少なくとも１つの対象の表面輪郭情報1102から導き出される。位置データ要素は、一次ビュー1202中の少なくとも１つの対象の表面輪郭情報の位置から導き出される。さらに、ステップ204は、一次ビュー中の少なくとも１つの対象の側面領域の一部である区域から選択される連続するポイントのデータ要素を含む第１ストライプ1204をストライプのシーケンス中に包含することを含むことができる。連続するポイントのデータ要素を含む第２ストライプ1206は、一次ビュー中の少なくとも１つの対象の前面領域の一部である区域から選択されることができる。第１サブシーケンスの２つの連続する位置データ要素の水平位置間の第１差分は、第２サブシーケンスの２つの連続する位置データ要素の水平位置間の第２差分より小さい場合がある。

ステップ202及び204は、画像中の複数のビデオラインに対して繰り返されることができる。ステップ206において、結果として生じるサンプルのシーケンスを含むビデオ信号が生成される。ステップ210においてプロセスは終了する。先に示されたように、本方法は、ストライプのラインに基づくシーケンス及びストライプのマルチラインに基づくシーケンスにも同様に適用されることができる。ステップ202は、以下のように実行されることができる。複数の異なるビューから観察される少なくとも１つの対象の複数の画像が受け取られる。深さ情報は、複数の画像のピクセルのために確立されるか、又は、追加の入力(例えば範囲検出器を用いて決定された深さ値)として提供されることができる。二次ビューのピクセルは一次ビューに対してゆがめられ、少なくとも１つの対象の一次ビューによる深さ及び水平位置を示す情報が、ピクセルに対して得られる。このように輪郭情報が得られる。

図2Bは、ディスプレイ上に画像をレンダリングする方法を示す。ステップ250において、例えば新たなビデオフレームが表示のために作成されることを必要とするので、プロセスが開始される。ステップ252において、説明されたように、ストライプのシーケンス(1350)から成る信号が受け取られる。ステップ254において、複数の画像が、ストライプのシーケンスを用いて立体視に対応して生成される。ステップ256において、説明されたように、複数の画像が表示される。

本明細書において説明されるプロセス及びシステムは、部分的に又は完全にソフトウェアで実現されることができる。

図3は、バックグラウンド面5の面に３つの対象1, 2及び3を有するシーンの断面平面図を示す。矢印310の方向に対象1, 2, 3及びバックグラウンド面5を見る場合、画像及び深さフォーマットは、ピクセル毎の色及び深さとして、図4に401-405で示される情報を記憶する。別のビューがこの表現から生成されることができるが、異なる視角で、例えば矢印320によって示される方向でシーンを観察する場合、この画像及び深さ表現は、実際に対象を「見まわす」ため、及び、見えるようになるもの、すなわち遮蔽されないもの(例えば、元の位置より左の位置から見るときに見えるようになる対象1の前面の右の部分、又は、対象2と3との間の右から見るときに見える可能性があるバックグラウンドの部分)を見るために必要な情報を含まない。

図5は、画像及び深さの多重レイヤを用いることによるこの問題に対する部分的なソリューションを示す。例えば、画像及び深さの２つのレイヤが用いられることができる。図5は、本実施例のための第２レイヤ中に記憶されることができる追加の情報を501-505で示す。ここでは対象1及び3の完全な前向きの面が記憶されることができるが、完全なバックグラウンドをさらに記憶するために３つのレイヤが必要とされる。さらに、中央のビューに対して固定の水平間隔を用いる表現を用いて対象(例えば対象1及び3)の側面を定めることは難しい。さらに、対象の後ろ向きの面は、この表現と共に記憶されない。複数のビューからの画像及び深さを記憶することは１つのソリューションであるかもしれないが、深さ信号の圧縮中にそれらの関係を完全なままに維持することは難しく、複雑な計算を必要とし、さらに、多くのビューが用いられるか、又は複数のレイヤが複数ビューのために提供されない限り、そのような表現によって透明度をサポートすることは難しく、それは、多くのレイヤ、ひいては多くの記憶空間を必要とする場合がある。

図6は、一種のドレープ600のような画像データを構成する態様を示す。そのようなドレープ600によって、シーンの輪郭記述は、効率的かつスケーラブルな態様で提供されることができる。そのようなドレープ600は、比喩的には、シーンの対象1-3及びバックグラウンド5に掛けられるシートのように振る舞う。図6は、ドレープ600がシーンにゆるく掛けられる場合の構成を示す。

ドレープ600は、シーンの対象の表面に沿った輪郭ラインを記述する。好ましくは、そのような輪郭ラインは、完全にシーンの断面の中である。ドレープ600は、対象の正面602である輪郭ラインの部分を含むだけでなく、対象1の左側面601及び対象2の左側面、並びに、対象3の右側面603及び対象2の右側面も含む。結果的に、画像及び深さフォーマットと比較して、より多くの遮蔽データが取り込まれる。ドレープ600のいくつかの部分は画像データを含む。この例は、部分601、602及び603である。ドレープ600の他の部分は透明である。透明な部分の例は、部分610, 611, 612及び613である。そのような透明な部分は、多くの記憶空間を必要としない。例えば、そのような部分は、全体的にスキップされることができる。好ましくは、ドレープの一部が透明であることを示す指示が、信号中に挿入される。別の態様では、ドレープの連続する断片間の距離が予め定められた閾値を上回る場合、ドレープの連続する断片間の部分は透明に設定される。

図7は、より多くの遮蔽データがドレープ表現において取り込まれることができることを示す。比喩的に、ドレープは、シーンの対象のまわりにより密着して合わせられることができる。図7において、ドレープ700は、対象の全輪郭が横断される程に締付けられて、立体視を生成する際の最大のフレキシビリティを提供する。図6及び図7の状況の間の中間の締付け量も可能である。

締付け量の次に、ドレープに沿って情報が記憶される分解能も、情報の量と記憶/伝送容量とのバランスをとるために変化することができる。先に述べられた「透明な」部分はこの極端な例であるが、例えば、より低い分解能で対象の側面(そして特に対象の背面)を符号化することを選ぶこともできる。その場合、ドレープは等距離の又は非等距離のポイントと関連した一連のデータ要素から成ることができる。これらのデータの要素は、色あるいは透明度に関する情報をも含むことができる。オプションとして、ビュー方向依存性効果を取り込むために追加の情報が含まれることができ、例えば、任意の他の関連する情報と同様に、双方向リフレクタンス分布データが、さらに含まれることができる。サンプルは、関連した座標を持つことができる(図に示されるドレープのx及びz、並びに、全三次元画像が表される場合、各々のラインのための系列)。異なる方法が、これらの系列を記憶するために用いられることができる。特に、可逆圧縮が用いられる場合、連鎖符号が用いられる。

後続の水平ドレープラインの垂直結合を保持することが可能である。これは、良好な圧縮性能を達成することを可能にする。例えば、通常の画像及び深さ表現が別に抽出又は記憶されることができ、(画像及び深さサンプルへ再挿入されることができる)ドレープの追加の断片が追加のデータとして記憶されることができる。これは、現在の画像及び深さフォーマットとの下位互換性を保証して、オプションとして完全なドレープデータを追加する。さらに、通常の画像及び深さ表現は、高性能の圧縮技術を用いて圧縮されることができる。そして、追加のデータ中の残りの断片は、最適な圧縮のために垂直結合が最大にされるように、配置されることができる。ドレープラインが垂直ビデオラインに対応する場合、水平結合は同様に保持されることができる。

ドレープ表現は、異なる位置からシーンを見るいくつかのカメラの画像(及び場合により深さ)から構成されることができ、又は、(仮想)シーンによるスライシングによって得られるボクセル表現から、例えば導き出されることができる。ドレープからビューをレンダリングすることは、適切な遮蔽及び非遮蔽の取扱いを伴う深さ依存性シフトのプロセスによって実現されることができる。

コンピュータグラフィックの分野において、例えば、"Relief texture mapping" by M.M. Oliveira et al., in Proceedings of the 27th annual conference on Computer graphics and interactive techniques, pages 359-368, 2000, ISBN 1-58113-208-5に記載されているように、境界表現が知られている。これらのコンピュータグラフィックス表現は、現実には通常非常に幾何学的であり(例えばメッシュに基づく)、一方、ドレープは、非常に適切に圧縮されることができるビデオ信号として色だけでなく深さも表されることができるビデオのような表現に用いられることができる。

本明細書において記載される技術を用いて垂直非遮蔽情報を符号化することも可能である。例えば、サンプルの１つ以上のシーケンスは、それと関連した水平位置の代わりに垂直位置を持つことができる。これらの「垂直ドレープライン」は、「水平ドレープライン」の代わりに、又はそれに加えて、用いられることができる。別の態様では、サンプルの連続するシーケンス間の垂直間隔は、対象の上及び/又は下の端を視覚化することを可能にするために、可変にされることができる。

「ドレープ」は、ストライプのシーケンスで記述されることができる。これらのストライプは、色の値、水平位置の値(例えば一次ビューのライン上のピクセル数)、深さ値若しくは視差値、及び/又は、透明度インジケータ若しくは値を有することができる。完全に透明な部分に対して色は必要とされないか、又は特定の色の値が「透明」を示すために予約されることができることは明らかである。前面が観察方向に略垂直な場合の側面は、(略又は正確に)同じ位置p、異なるd及び適切な色の値を持つ連続的なテュープルを用いて記述される。互いの前にある対象は、ドレープの透明な部分によって接続されることができる。「ゆるいドレープ」を用いる場合、対象の前面及び側面のみがドレープにおいて記述される。「密着したドレープ」を用いる場合、対象の裏面もドレープにおいて記述される。多くの場合に、いくつかの側面及び背面情報が存在するが、全ての情報というわけではない。ドレープは、利用可能な任意の情報を収容するために用いられることができる。利用可能でない又は受信側において必要ない情報のための記憶空間を浪費する必要はない。さらに、冗長なデータを記憶する必要はない。複数のレイヤを用いるビデオ符号化において、圧縮後でさえも全てのレイヤを満たすために利用可能な十分な情報がない場合、多少の記憶空間が無駄になる場合がある。

例えば３つの隣り合うカメラ(左、中央及び右のカメラ)によって撮られる同じシーンの３つの画像(左、中央及び右の画像)を用いることによって、３つの画像の情報を単一のドレープに統合することが可能である。第一に、深さマップが全３つの画像のために再構成される。例えばカメラキャリブレーションを伴う立体視的計算が用いられることができる。そのような計算は、従来技術において周知である。次に、右及び左の画像が、中央の画像のジオメトリーに対してゆがめられる。ゆがめられた左の画像、ゆがめられた右の画像及び中央の画像中に現れる表面は、重なり合うか又は隣り合う表面領域を検出することによって、一緒につぎ合わせられることができる。次に、ドレープラインは、これらの(ゆがめられた)画像点から、サンプリング又は選択することによって構成されることができる。

垂直方向の一貫性を維持するために、透明なサンプルを挿入することが可能である。これは、既知のビデオ圧縮技術を用いる場合に達成される圧縮比を改善する。

ドレープラインのレンダリングは、zバッファリングを用いた三次元ポリラインのレンダリングと同様の態様で実行されることができる。

ドレープラインを表すサンプルのシーケンスは、複数の画像中に記憶されることができる。第１画像は、色情報を有することができる。３つの別々の画像として各々の成分(例えばR, G及びB又はY, U及びV)を符号化することも可能である。従来技術では周知のように、U及びVをサブサンプリングすることによってより良好に圧縮されることができる例えばYUV色空間に色を変換することも可能である。第２画像は、深さ情報を有することができる。この深さ情報は、例えば、座標によって又は視差情報によって、符号化されることができる。第３画像は、例えば全ピクセル中で、又は代わりに、サブピクセル精度(例えば浮動小数点値)を可能にする指標を用いて表現される、水平座標:ビデオライン位置を有することができる。これらの画像は、標準的なビデオ圧縮を用いてさらに圧縮されることができる。好ましくは、x座標を含む画像はδで表現されることができ、連続するサンプルのx座標間の差分が、x座標の絶対値の代わりに記憶されることができる。これは、効率的なランレングス符号化圧縮を実行することを可能にする。これらの画像は、個別のデータストリーム中に記憶されることができる。

好ましくは、従来のビデオストリームとして別々に記憶又は送信されるように、オプションの深さ情報を有する通常の二次元画像を抽出することによって、下位互換性が提供される。深さ画像は、補助ストリームとして追加されることができる。サンプルのシーケンスの残りの部分は、１つ以上の個別のストリーム中に記憶されることができる。

図8は、立方体801及びバックグラウンド802を含むシーンを示す。このシーンは、３つのカメラ位置810、811及び812を用いて取り込まれる。図8は、特に、左のカメラ810を用いて取り込まれるものを示す。例えば、この左のカメラは、輪郭区域A、B、C、D、E及びIを取り込むが、輪郭区域F、G及びHは取り込まない。

カメラのうちの２台の画像データは、第３のカメラ位置の方に曲げられることができ、例えば、左端の及び右端の画像は、中央のカメラの方へと曲げられることができ、中央のカメラは、曲げられた画像のピクセルのx値を変更する。図8中の立方物体の側面の場合のように、いくつかのピクセルが同じx値(但し異なる深さ値)を持つことが起こり得る。特に左のカメラが中央のカメラのビューでは対象の背面である対象の部分を見る場合、そのような曲げられた画像のx値が非単調であることもあり得る。これらの側面及び背面部分は、本明細書に記載されているように、テュープルのシーケンス("ドレープ")中に効率的に記憶されることができる。そのような側面又は背面部分が記憶される分解能は、利用可能なビュー中の側面又は背面部分に割り当てられるピクセルの数によって決まることができる。

図9は、ソフトウェアで本明細書に記載される方法及びシステムの一部を実現するための例示のハードウェアアーキテクチャを示す。他のアーキテクチャも用いられることができる。メモリ906は、命令を構成するコンピュータプログラムを記憶するために用いられる。これらの命令は、プロセッサ902によって読み出されて実行される。入力904は、例えばリモートコントロール又はコンピュータキーボードによって、ユーザのインタラクションを可能にするために提供される。これは、例えば、画像のシーケンスの処理を開始するために用いられることができる。入力はさらに、深さ知覚の量、生成する立体画像の数、又はビデオ信号中に含まれる遮蔽データの量及び分解能のような、設定可能なパラメータを設定するために用いられることができる。ディスプレイ912は、例えば、グラフィカルユーザインタフェースを提供することによってユーザフレンドリーな態様でインタラクション可能性を実現するために有用である。ディスプレイ912はさらに、入力画像、出力画像、及び、本明細書に記載された処理の中間結果を表示するために用いられることができる。画像データの交換は、ビデオネットワーク(例えばデジタル若しくはアナログ、地上波、衛星若しくはケーブル放送システム)又はインターネットに接続されることができる通信ポート908によって促進される。データ交換は、さらに、取外し可能なメディア910(例えば、DVDドライブ又はフラッシュドライブ)によって促進される。そのような画像データは、ローカルメモリ906中に記憶されることもできる。

いうまでもなく、本発明はさらに、本発明を実現するために適応されたコンピュータプログラム、特にキャリア上の又はその中のコンピュータプログラムに及ぶ。プログラムは、ソースコード、オブジェクトコード、コード中間ソース及び部分的にコンパイルされた形態のオブジェクトコードの形、又は、本発明による方法の実施で使用するのに適した任意の他の形態であることができる。キャリアは、プログラムを運ぶことが可能な任意のエンティティ又は装置であることができる。例えば、キャリアは、ROM(例えばCD ROM若しくは半導体ROM)、又は磁気記録媒体(例えばフロッピーティスク若しくはハードディスク)のような記憶媒体を含むことができる。さらにキャリアは、伝播性キャリア(例えば電気又は光信号)であることができ、それらは、電気若しくは光ケーブルを介して又は無線若しくは他の手段によって伝達されることができる。プログラムがそのような信号で実施される場合、キャリアはそのようなケーブル又は他の装置若しくは手段によって構成されることができる。別の形態として、キャリアは、その中にプログラムが組み込まれる集積回路であることができ、この集積回路は、関連する方法を実行するように又はその実行に用いるために適応される。

上述の実施の形態は、本発明を制限ではなく説明するものであり、当業者は、添付の請求の範囲から逸脱することなく、多くの代わりの実施の形態を設計することができることに留意すべきである。請求の範囲において、括弧間に配置される任意の参照符号は、請求の範囲を制限するものとして解釈されてはならない。「有する」「含む」などの用語及びその活用形の使用は、請求の範囲中に挙げられた要素又はステップ以外の要素又はステップの存在を除外しない。単数で表現された要素は、そのような要素が複数存在することを除外しない。本発明は、いくつかの別個の要素から成るハードウェアによって、そして適切にプログラムされたコンピュータによって実現されることができる。いくつかの手段を列挙する装置の請求項において、これらの手段のいくつかは、ハードウェアの同じ１つのアイテムによって実施されることができる。単に特定の手段が相互に異なる従属請求項中に挙げられていることは、利益を得るためにこれらの手段の組み合わせが用いられることができないことを意味しない。

Claims (17)

1. 一次ビューからの三次元シーンを表す信号を生成するシステムであって、
   前記一次ビューからの前記三次元シーンの表現の少なくとも一部を定めるストライプのシーケンスを生成するシーケンス生成器、及び
   前記ストライプのシーケンスを含むビデオ信号を生成する信号生成器を有し、
   各々のストライプは、矩形領域の色、深さ及び位置を定めるデータ要素を含む画像情報の前記矩形領域を表し、
   各々のストライプの色及び深さデータ要素は、シーン中の少なくとも１つの対象の表面輪郭情報から導き出され、
   位置データ要素は、前記一次ビュー内の前記少なくとも１つの対象の前記表面輪郭情報の位置から導き出され、
   前記ストライプのシーケンスのうちの少なくとも１つのストライプは、シーン中の前記少なくとも１つの対象の遮蔽された領域又は側面領域から選択される前記少なくとも１つの対象の表面輪郭情報を表す、システム。
2. 各々のストライプに含まれる前記色、深さ及び位置データ要素は、色、深さ及び位置データ要素のテュープルとしてグループ化される、請求項１に記載のシステム。
3. 前記シーケンス生成器が、前記ストライプのシーケンス中に、前記一次ビュー中の前記少なくとも１つの対象の背面領域からの表面輪郭情報を表すストライプを含める、請求項１に記載のシステム。
4. 前記信号生成器がトランスポートストリームを生成し、前記トランスポートストリームが、
   前記ストライプのシーケンスのうちの少なくとも第１サブセットの色データ要素を含む第１データストリーム、及び
   前記ストライプのシーケンスのうちの少なくとも前記第１サブセットの深さデータ要素を含む第２データストリーム、
   を有する、請求項１に記載のシステム。
5. 前記トランスポートストリームが、前記ストライプのシーケンスのうちの少なくとも前記第１サブセットの位置データ要素を含む第３データストリームをさらに有する、請求項４に記載のシステム。
6. データストリーム中に符号化される前記ストライプのシーケンスはスキャン方向に符号化され、前記シーケンス生成器が、前記スキャン方向に対して垂直な方向に前記第１データストリーム及び前記第２データストリームのうちの少なくとも１つにおける空間的に隣り合うデータ要素を位置合わせするために、前記データストリームにパディングデータ要素を追加する、請求項４に記載のシステム。
7. 前記色データ要素が第１分解能で表され、前記深さデータ要素が第２分解能で表され、前記第１分解能のｘ成分又はｙ成分のうちの少なくとも一方が、前記第２分解能のそれより高い、請求項１又は請求項４に記載のシステム。
8. 各々のストライプに含まれる色及び深さデータ要素が、色及び深さデータ要素のテュープルとしてグループ化され、
   各々のストライプに含まれる色及び深さデータ要素が、等距離グリッド上に配置され、
   前記位置データ要素が、前記一次ビュー内のスキャン方向に沿った前記ストライプの前記表面輪郭情報の位置を示す、請求項１又は請求項４に記載のシステム。
9. 前記トランスポートストリームが、
   前記ストライプのシーケンスの少なくとも第２サブセットの色データ要素を含むデータストリーム、
   前記ストライプのシーケンスの少なくとも前記第２サブセットの深さデータ要素を含むデータストリーム、及び
   前記ストライプのシーケンスの少なくとも前記第２サブセットの位置データ要素を含むデータストリーム、
   のうちの少なくとも１つをさらに含み、
   前記第１サブセットと前記第２サブセットが分離している、請求項４に記載のシステム。
10. 一次ビューからの三次元シーンを表す信号を用いて画像をレンダリングするレンダリングシステムであって、
    前記一次ビューからの前記三次元シーンの表現の少なくとも一部を定めるストライプのシーケンスを含む前記信号を受信する入力、及び
    前記ストライプのシーケンスを用いて更なるビューに対応する画像をレンダリングする画像生成器、を有し、
    各々のストライプは、矩形領域の色、深さ及び位置を定めるデータ要素を含む画像情報の前記矩形領域を表し、
    各々のストライプの色及び深さデータ要素は、シーン中の少なくとも１つの対象の表面輪郭情報から導き出され、
    位置データ要素は、前記一次ビュー内の前記少なくとも１つの対象の前記表面輪郭情報の位置から導き出され、
    前記ストライプのシーケンスのうちの少なくとも１つのストライプは、シーン中の前記少なくとも１つの対象の遮蔽された領域又は側面領域から選択される前記少なくとも１つの対象の表面輪郭情報を表す、レンダリングシステム。
11. 前記画像生成器が、前記ストライプのシーケンスを用いて、複数の立体視ビューに対応する複数の立体視画像を生成する、請求項１０に記載のレンダリングシステム。
12. 一次ビューからの三次元シーンを表す信号を用いて画像を表示するディスプレイシステムであって、
    請求項１０又は請求項１１に記載のレンダリングシステム、及び
    レンダリングされた画像を表示するディスプレイ、
    を有するディスプレイシステム。
13. 一次ビューからの三次元シーンを表す信号であって、前記信号は、前記一次ビューからの前記三次元シーンの表現の少なくとも一部を定めるストライプのシーケンスを含み、
    各々のストライプは、矩形領域の色、深さ及び位置を定めるデータ要素を含む画像情報の前記矩形領域を表し、
    各々のストライプの色及び深さデータ要素は、シーン中の少なくとも１つの対象の表面輪郭情報から導き出され、
    位置データ要素は、前記一次ビュー内の前記少なくとも１つの対象の前記表面輪郭情報の位置から導き出され、
    前記ストライプのシーケンスのうちの少なくとも１つのストライプは、シーン中の前記少なくとも１つの対象の遮蔽された領域又は側面領域から選択される前記少なくとも１つの対象の表面輪郭情報を表す、信号。
14. 一次ビューからの三次元シーンを表す信号を生成する方法であって、
    前記一次ビューからの前記三次元シーンの表現の少なくとも一部を定めるストライプのシーケンスを生成し、
    前記ストライプのシーケンスを含むビデオ信号を生成し、
    各々のストライプは、矩形領域の色、深さ及び位置を定めるデータ要素を含む画像情報の前記矩形領域を表し、
    各々のストライプの色及び深さデータ要素は、シーン中の少なくとも１つの対象の表面輪郭情報から導き出され、
    位置データ要素は、前記一次ビュー内の前記少なくとも１つの対象の前記表面輪郭情報の位置から導き出され、
    前記ストライプのシーケンスのうちの少なくとも１つのストライプは、シーン中の前記少なくとも１つの対象の遮蔽された領域又は側面領域から選択される前記少なくとも１つの対象の表面輪郭情報を表す、方法。
15. 複数のビューから見た前記少なくとも１つの対象の複数の画像を受信し、
    前記複数の画像のピクセルの深さ情報を確立し、
    前記ストライプのシーケンスの生成に用いるために前記一次ビューによる色、深さ及び位置を示す情報が得られるように、色、深さ及び位置データ要素を含む複数の視点の前記画像情報を前記一次ビューへと曲げる、請求項１４に記載の方法。
16. 一次ビューからの三次元シーンを表す信号を用いて画像をレンダリングする方法であって、
    前記一次ビューからの前記三次元シーンの表現の少なくとも一部を定めるストライプのシーケンスを含む前記信号を受信し、
    前記ストライプのシーケンスを用いて前記一次ビューに対応する前記画像をレンダリングし、
    各々のストライプは、矩形領域の色、深さ及び位置を定めるデータ要素を含む画像情報の前記矩形領域を表し、
    各々のストライプの色及び深さデータ要素は、シーン中の少なくとも１つの対象の表面輪郭情報から導き出され、
    位置データ要素は、前記一次ビュー内の前記少なくとも１つの対象の前記表面輪郭情報の位置から導き出され、
    前記ストライプのシーケンスのうちの少なくとも１つのストライプは、シーン中の前記少なくとも１つの対象の遮蔽された領域又は側面領域から選択される前記少なくとも１つの対象の表面輪郭情報を表す、方法。
17. 少なくとも１つのプロセッサに請求項１４から請求項１６のいずれか一項に記載の方法を実行させる機械可読命令を有するコンピュータプログラム。

Images