以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[画像送受信システム]
図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、放送局100および受信機200により構成されている。放送局100は、コンテナとしてのトランスポートストリームTSを放送波に載せて送信する。
このトランスポートストリームTSには、立体画像表示のための複数のビューのうち、少なくとも中央のビュー、左端のビューおよび右端のビューの画像データが符号化されて得られたビデオストリームが含まれる。この場合、中央のビューは、左端ビューおよび右端ビューの間に位置する中間ビューを構成している。
トランスポートストリームTSが含むビデオストリームにおいて、図2に示すように、中央(Center)のビュー、左端(Left)のビューおよび右端(Right)のビューの画像データはそれぞれ1つのピクチャのデータとして符号化される。図示の例では、各ピクチャのデータは1920*1080のフルHDのサイズとされる。
あるいは、トランスポートストリームTSが含むビデオストリームにおいて、図3(a)に示すように、中央(Center)のビューの画像データは1つのピクチャのデータとして符号化され、左端(Left)のビューおよび右端(Right)のビューの画像データはインターリーブ処理されて1つのピクチャのデータとして符号化される。図示の例では、各ピクチャのデータは1920*1080のフルHDのサイズとされる。
なお、左端のビューおよび右端のビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化される場合、各ビューの画像データは水平方向あるいは垂直方向に1/2に間引かれた状態となる。図示の例では、インターリーブのタイプがサイド・バイ・サイドであり、各ビューのサイズは960*1080とされる。図示していないが、インターリーブのタイプとしてトップ・アンド・ボトムも考えられ、その場合には、各ビューのサイズは1920*540とされる。
このように左端のビューおよび右端のビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化される場合、受信側においては、図3(b)に示すように、スケーリング処理され、左端のビューおよび右端のビューの画像データのサイズは1920*1080のフルHDのサイズに戻される。
トランスポートストリームTSが含むビデオストリームは、1つまたは複数のピクチャのデータを含むものとされる。例えば、トランスポートストリームTSには、以下の3つのビデオストリーム(ビデオエレメンタリストリーム)が含まれる。すなわち、中央のビュー、左端のビューおよび右端のビューの画像データがそれぞれ1つのピクチャとして符号化されて得られたビデオストリームである。
また、例えば、トランスポートストリームTSには、以下の2つのビデオストリーム(ビデオエレメンタリストリーム)が含まれる。すなわち、中央のビューの画像データが1つのピクチャとして符号化されて得られたビデオストリームと、左端のビューおよび右端のビューの画像データがインターリーブ処理されて1つのピクチャとして符号化されて得られたビデオストリームである。
また、例えば、トランスポートストリームTSには、以下の1つのビデオストリーム(ビデオエレメンタリストリーム)が含まれる。すなわち、この1つのビデオストリームには、中央のビュー、左端のビューおよび右端のビューの画像データがそれぞれ1つのピクチャのデータとして符号化されたデータが含まれる。
図4(a),(b)は、複数のピクチャの符号化データを含むビデオストリームの一例を示している。各アクセスユニットに、各ピクチャの符号化データが順次配置される。この場合、最初のピクチャの符号化データは、“SPS 〜 Coded Slice”で構成され、2番目以降のピクチャの符号化データは、“Subset SPS 〜 Coded Slice”で構成される。なお、この例は、MPEG4−AVCの符号化がされている例であるが、他の符号化方式でも適用可能である。なお、図中の16進数字は「 NAL unit type 」を示している。
各ピクチャの符号化データが1つのビデオストリームに共存する場合、各ピクチャの境界が瞬時に識別可能なことが要求される。しかし、AUD(access unit delimiter)は、一つのアクセスユニットの先頭にのみ付すことが可能である。そこで、図4(b)に示すように、各ピクチャの符号化データの間に、「View Separation Marker」という境界を示す新たな“NAL unit”を定義して配置することが考えられる。これにより、各ピクチャの先頭データに瞬時にアクセスすることが可能となる。なお、図4(a)は、2つのビューのデータの間に、「View Separation Marker」が配置されていない例を示している。
図5(a),(b)は、3つのピクチャの符号化データが1つのビデオストリームに共存する場合の例を示している。ここでは、各ピクチャの符号化データをサブストリーム(sub stream)として示している。図5(a)は、GOP(Group OfPictures)の先頭のアクセスユニットを示しており、図5(b)は、GOPの先頭以外のアクセスユニットを示している。
ビデオストリームのレイヤ(ピクチャレイヤ、シーケンスレイヤなど)に、このビデオストリーム内の画像データに関するビュー構成情報が挿入される。このビュー構成情報には、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報、当該ビデオストリームの1アクセスユニット内に複数のピクチャのデータが符号化されているかを示す情報等が含まれている。このビュー構成情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。このビュー構成情報により、受信側では、複数のビューの画像データによる3次元画像(立体画像)の裸眼観賞を行うための適切かつ効率的な処理が可能となる。このビュー構成情報の詳細については後述する。
また、トランスポートストリームTSのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。この識別情報は、例えば、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ESloop)の配下、あるいはイベント・インフォメーション・テーブル(EIT:Event InformationTable)の配下などに挿入される。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。この識別情報の詳細については後述する。
受信機200は、放送局100から放送波に載せて送られてくるトランスポートストリームTSを受信する。また、受信機200は、このトランスポートストリームTSに含まれるビデオストリームをデコードして、例えば、中央のビュー、左端のビューおよび右端のビューの画像データを取得する。この際、受信機200は、ビデオストリームのレイヤに含まれるビュー構成情報により、各ビデオストリームに含まれる画像データが、どのビュー位置の画像データであるかを知ることができる。
また、受信機200は、中央のビューおよび左端ビューの間の視差データと、中央のビューおよび右端ビューの間の視差データとに基づいて、中央のビューおよび左端ビューの間と、中央のビューおよび右端ビューの間とに位置する所定数のビューの画像データを補間処理で取得する。この際、受信機200は、ビデオストリームのレイヤに含まれるビュー構成情報により、ビュー数を知ることができ、どの位置のビューが伝送されなかったかを容易に把握できる。
受信機200は、放送局100からビデオストリームと共に送られてくる視差データストリームをデコードして、上述の視差データを取得する。あるいは、受信機200は、取得された中央のビュー、左端のビューおよび右端のビューの画像データに基づいて、上述の視差データを生成する。
受信機200は、放送局100から送られてくる中央、左端および右端の各ビューの画像データと、上述の補間処理で取得される各ビューの画像データとに基づき、3次元画像(立体画像)の裸眼観賞のために、各ビューの画像を表示部に合成表示する。
図6は、ビュー数を5とした場合の受信機200の表示部を概略的に示している。ここで、「View_0」は中央のビュー、「View_1」は中央から1つ右のビュー、「View_2」は中央から1つ左のビュー、「View_3」は中央から2つ右、つまり右端のビュー、「View_4」は中央から2つ左、つまり左端のビューを示している。この場合、放送局100から「View_0」、「View_3」、「View_4」のビューの画像データのみが送信され、受信機200では「View_0」、「View_3」、「View_4」のビューの画像データが受信され、その他の「View_1」、「View_2」のビューの画像データは補間処理で求められる。そして、受信機200では、3次元画像(立体画像)の裸眼観賞のために、これらの5つのビューの画像が表示部に合成表示される。なお、図6には、レンチキュラーレンズを示しているが、この代わりにパララックスバリアなどであってもよい。
「送信データ生成部の構成例」
図7は、放送局100において、上述したトランスポートストリームTSを生成する送信データ生成部110の構成例を示している。この送信データ生成部110は、N個の画像データ出力部111-1〜111-Nと、ビューセレクタ112と、スケーラ113-1,113-2,113-3と、ビデオエンコーダ114-1,114-2,114-3と、マルチプレクサ115を有している。また、この送信データ生成部110は、視差データ生成部116と、視差エンコーダ117と、グラフィクスデータ出力部118と、グラフィクスエンコーダ119と、音声データ出力部120と、オーディオエンコーダ121を有している。
画像データ出力部111-1〜111-Nは、立体画像表示のためのN個のビュー(View 1・・・View N)の画像データを出力する。この画像データ出力部は、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。なお、伝送されないビューの画像データは、実際にはなくてもよい。
また、ビューセレクタ112は、N個のビュー(View 1・・・View N)の画像データから、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー(1つまたは2つ以上)の画像データを選択的に取り出す。この実施の形態において、ビューセレクタ112は、左端のビューの画像データVLおよび右端のビューの画像データVRを取り出すと共に、中央のビューの画像データVCを取り出す。図8は、ビューセレクタ112におけるビュー選択状態を示している。
また、スケーラ113-1,113-2,113-3は、それぞれ、画像データVC,VL,VRに対してスケーリング処理を施して、例えば、1920*1080のフルHDのサイズの画像データVC′,VL′,VR′を得る。この場合、画像データVC,VL,VRが1920*1080のフルHDのサイズであるときは、そのまま出力する。また、画像データVC,VL,VRが1920*1080のサイズより大きいときは、スケールダウンして出力する。
ビデオエンコーダ114-1は、中央のビューの画像データVC′に対して、例えば、MPEG4−AVC(MVC)、MPEG2videoなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ114-1は、後段に備えるストリームフォーマッタ(図示せず)により、この符号化データをサブストリーム(sub stream 1)として含むビデオストリームを生成する。
また、ビデオエンコーダ114-2は、左端のビューの画像データVL′に対して、例えば、MPEG4−AVC(MVC)、MPEG2videoなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ114-2は、後段に備えるストリームフォーマッタ(図示せず)により、この符号化データをサブストリーム(sub stream 2)として含むビデオストリームを生成する。
さらに、ビデオエンコーダ114-3は、右端のビューの画像データVR′に対して、例えば、MPEG4−AVC(MVC)、MPEG2videoなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ114-3は、後段に備えるストリームフォーマッタ(図示せず)により、この符号化データをサブストリーム(sub stream 3)として含むビデオストリームを生成する。
ビデオエンコーダ114-1,114-2,114-3は、ビデオストリームのレイヤに、上述したビュー構成情報を挿入する。このビュー構成情報は、上述したように、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報、当該ビデオストリームの1アクセスユニット内に複数のピクチャのデータが符号化されているかを示す情報等を含むものである。このビュー構成情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。
視差データ生成部116は、ビューセレクタ112から出力される中央、左端および右端の各ビューの画像データに基づいて、視差データ(disparity data)を生成する。この視差データには、例えば、中央のビューおよび左端のビューの間の視差データと、中央のビューおよび右端のビューの間の視差データが含まれている。この場合、画素単位、あるいはブロック(Block)単位で、視差データが生成される。図9は、ブロック(Block)毎の視差データ(視差ベクトル)の一例を示している。
図10は、ブロック単位の視差データの生成方法の一例を示している。この例は、i番目のビューからj番目のビューを指し示す視差データを求める例である。この場合、i番目のビューのピクチャに、例えば4*4、8*8あるいは16*16などの画素ブロック(視差検出ブロック)が設定される。
図示のように、i番目のビューのピクチャが検出画像とされ、j番目のビューのピクチャが参照画像とされて、i番目のビューのピクチャのブロック毎に、画素間の差分絶対値和が最小となるように、j番目のビューのピクチャのブロック探索がされて、視差データが求められる。
すなわち、N番目のブロックの視差データDPnは、例えば、以下の(1)式に示すように、当該N番目のブロックにおける差分絶対値和が最小となるようにブロック探索されて求められる。なお、この(1)式において、Djはj番目のビューのピクチャにおける画素値、Diはi番目のビューのピクチャにおける画素値を示している。
DPn = min ( Σabs( differ (Dj - Di))) ・・・(1)
図11は、画素単位の視差データの生成方法の一例を示している。この例は、ブロック単位から画素単位への変換処理により画素単位の視差データを生成する方法である。図11(a)における“A”、“B”、“C”、“D”、“X”は、それぞれ、ブロックの領域を示している。
これらのブロックの視差データから、図11(b)に示すように、“X”のブロックを4分割した各領域の視差データは、以下の(2)式で求められる。例えば、“A”、“B”に隣接する分割領域の視差データX(A,B)は、“A”、“B”、“X”のブロックの視差データの中央値とされる。その他の分割領域においても、同様にして、視差データが求められる。
X(A,B)=median(X,A,B)
X(A,C)=median(X,A,C)
X(B,D)=median(X,B,D)
X(C,D)=median(X,C,D)
・・・(2)
上述の一度の変換で、視差データの占める領域は、元の縦横サイズの1/2のサイズに狭まる。ブロックサイズにより、この変換を所定回数繰り返すことによって、画素単位の視差データが求まる。なお、テクスチャにエッジを含んでいたりして画面内オブジェクトの複雑度が他の部分よりも高い場合などには、適宜、ブロックサイズを小さくとって、初期のブロック単位の視差データ自体のテクスチャ追従性を向上することも可能である。
視差エンコーダ117は、視差データ生成部116で生成された視差データに符号化を施して視差ストリーム(視差データエレメンタリストリーム)を生成する。この視差ストリームには、画素単位、またはブロック単位の視差データが含まれることとなる。視差データが画素単位である場合には、画素データと同様に、圧縮符号化して伝送できる。
なお、この視差ストリームにブロック単位の視差データが含まれる場合には、受信側で、上述した変換処理を行うことで、画素単位に変換することも可能である。また、このような視差ストリームの送信がない場合、受信側で、上述したように各ビュー間におけるブロック単位の視差データを求め、さらに画素単位に変換することが可能である。
グラフィクスデータ出力部118は、画像に重畳するグラフィクス(字幕としてのサブタイトルも含む)のデータを出力する。グラフィクスエンコーダ119は、グラフィクスデータ出力部118から出力されたグラフィクスデータを含むグラフィクスストリーム(グラフィクスエレメンタリストリーム)を生成する。ここで、グラフィクスは、重畳情報を構成し、例えば、ロゴ、字幕などである。
なお、グラフィクスデータ出力部118から出力されるグラフィクスデータは、例えば、中央のビューの画像に重畳するグラフィクスのデータである。グラフィクスデータ119は、視差データ生成部116で生成された視差データに基づいて、左端および右端のビューに重畳するグラフィクスのデータを作成して、これらのグラフィクスデータを含むグラフィクスストリームを生成してもよい。この場合には、受信側において左端および右端のビューに重畳するグラフィクスのデータを作成することが不要となる。
グラフィクスデータは、主にはビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクスの重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、例えば、ヨーロッパのデジタル放送規格であるDVBで「DVB_Subtitling」として規格化され、運用されている。
音声データ出力部120は、画像データに対応した音声データを出力する。この音声データ出力部120は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ121は、音声データ出力部120から出力される音声データに対して、MPEG−2Audio、AAC等の符号化を施し、オーディオストリーム(オーディオエレメンタリストリーム)を生成する。
マルチプレクサ115は、ビデオエンコーダ114-1,114-2,114-3、視差エンコーダ117、グラフィクスエンコーダ119およびオーディオエンコーダ121で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームTSを生成する。この場合、それぞれのPES(Packetized Elementarty Stream)のヘッダには、受信側における同期再生のために、PTS(Presentation Time Stamp)が挿入される。
マルチプレクサ115は、トランスポートストリームTSのレイヤに、上述した識別情報を挿入する。この識別情報は、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための情報である。この識別情報は、例えば、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ESloop)の配下、あるいはイベント・インフォメーション・テーブル(EIT:Event InformationTable)の配下などに挿入される。
図7に示す送信データ生成部110の動作を簡単に説明する。N個の画像データ出力部111-1〜111-Nから出力される立体画像表示のためのN個のビュー(View 1・・・View N)の画像データは、ビューセレクタ112に供給される。ビューセレクタ112では、N個のビューの画像データから、中央のビューの画像データVC、左端のビューの画像データVLおよび右端のビューの画像データVRが取り出される。
ビューセレクタ112で取り出された中央のビューの画像データVCはスケーラ113-1に供給され、例えば、1920*1080のフルHDのサイズにスケーリング処理される。スケーリング処理後の画像データVC′は、ビデオエンコーダ114-1に供給される。
ビデオエンコーダ114-1では、この画像データVC′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム(sub stream 1)として含むビデオストリームが生成される。また、このビデオエンコーダ114-1では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ115に供給される。
また、ビューセレクタ112で取り出された左端のビューの画像データVLはスケーラ113-2に供給され、例えば、1920*1080のフルHDのサイズにスケーリング処理される。スケーリング処理後の画像データVL′は、ビデオエンコーダ114-2に供給される。
ビデオエンコーダ114-2では、この画像データVL′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム(sub stream 2)として含むビデオストリームが生成される。また、このビデオエンコーダ114-2では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ115に供給される。
さらに、ビューセレクタ112で取り出された右端のビューの画像データVRはスケーラ113-3に供給され、例えば、1920*1080のフルHDのサイズにスケーリング処理される。スケーリング処理後の画像データVR′は、ビデオエンコーダ114-3に供給される。
ビデオエンコーダ114-3では、この画像データVR′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム(sub stream 3)として含むビデオストリームが生成される。また、このビデオエンコーダ114-3では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ115に供給される。
また、ビューセレクタ112から出力される中央、左端および右端の各ビューの画像データは視差データ生成部116に供給される。この視差データ生成部116では、各ビューの画像データに基づいて、視差データ(disparity data)が生成される。この視差データには、中央のビューおよび左端のビューの間の視差データと、中央のビューおよび右端のビューの間の視差データが含まれる。この場合、画素単位、あるいはブロック(Block)単位で、視差データが生成される。
視差データ生成部116で生成された視差データは、視差エンコーダ117に供給される。この視差エンコーダ117では、視差データに符号化処理が施されて、視差ストリームが生成される。この視差ストリームは、マルチプレクサ115に供給される。
また、グラフィクスデータ出力部118から出力されるグラフィクスデータ(サブタイトルデータも含む)は、グラフィクスエンコーダ119に供給される。このグラフィクスエンコーダ119では、グラフィクスデータを含むグラフィクスストリームが生成される。このグラフィクスストリームは、マルチプレクサ115に供給される。
また、音声データ出力部118から出力される音声データは、オーディオエンコーダ121に供給される。このオーディオエンコーダ121では、音声データに対して、MPEG−2Audio、AAC等の符号化が施され、オーディオストリームが生成される。このオーディオストリームは、マルチプレクサ115に供給される。
マルチプレクサ115では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームTSが生成される。この場合、それぞれのPESヘッダには、受信側における同期再生のために、PTSが挿入される。また、マルチプレクサ115では、PMTの配下、あるいはEITの配下などに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。
なお、図7に示す送信データ生成部110は、トランスポートストリームTSに3つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームTSには、中央、左端および右端の各ビューの画像データがそれぞれ1つのピクチャとして符号化されて得られた3つのビデオストリームが含まれる。
詳細説明は省略するが、上述したように、トランスポートストリームTSに2つ、あるいは1つのビデオストリームが含まれる場合も、同様に構成できる。トランスポートストリームTSに2つのビデオストリームが含まれる場合には、例えば、以下のビデオストリームが含まれる。すなわち、中央のビューの画像データが1つのピクチャとして符号化されて得られたビデオストリームと、左端のビューおよび右端のビューの画像データがインターリーブ処理されて1つのピクチャとして符号化されて得られたビデオストリームが含まれる。
また、トランスポートストリームTSに1つのビデオストリームが含まれる場合には、例えば、以下のビデオストリームが含まれる。すなわち、中央、左端および右端の各ビューの画像データがそれぞれ1つのピクチャのデータとして符号化されたデータを含むビデオストリームが含まれる。
[識別情報およびビュー構成情報の構造と、TS構成]
上述したように、トランスポートストリームTSのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。図12は、この識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタ(multiview_stream_configuration_descriptor)の構造例(Syntax)を示している。また、図13は、図12に示す構造例における主要な情報の内容(Semantics)を示している。
「multiview_stream_configuration_tag」は、デスクリプタタイプを示す8ビットのデータであり、ここでは、マルチビュー・ストリーム・コンフィグレーション・デスクリプタであることを示す。「multiview_stream_configuration_length」は、デスクリプタの長さ(サイズ)を示す8ビットのデータである。このデータは、デスクリプタの長さとして、以降のバイト数を示す。
「multiview_stream_checkflag」の1ビットフィールドは、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを示す。“1”は、ビデオストリームのレイヤにビュー構成情報の挿入があることを示し、“0”はその挿入がないことを示す。“1”であるとき、受信側(デコーダ)では、ユーザデータ領域に存在するビュー構成情報をチェックすることとなる。
また、上述したように、ビデオストリームのレイヤに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。図14は、このビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ(multiview_stream_configuration_info())の構造例(Syntax)を示している。また、図15、図16、図17は、図14に示す構造例における主要な情報の内容(Semantics)を示している。
「3D_flag」の1ビットフィールドは、符号化されるビデオストリームに含まれる画像データが3Dを構成する一部のビューの画像データであるか否かを示す。“1”は一部のビューの画像データであることを示し、“0”は一部を示す画像データでないことを示す。
「3D_flag=1」であるとき、「view_count」、「single_view_es_flag」、「view_interleaving_flag」の各情報が存在する。「view_count」の4ビットフィールドは、3Dサービスを構成するビュー数を示す。最小値は1で、最大値は15である。「single_view_es_flag 」の1ビットフィールドは、当該ビデオストリームの1アクセスユニット内に複数のピクチャのデータが符号化されているか否かを示す。“1”は1つのピクチャのデータのみが符号化されていることを示し、“0”は2つ以上のピクチャのデータが符号化されていることを示す。
「view_interleaving_flag」の1ビットフィールドは、当該ビデオストリームにおいて、2つのビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化されているか否かを示す。“1”はインターリーブ処理されていて画面スプリットの構成であることを示し、“0”はインターリーブ処理されていないことを示す。
「view_interleaving_flag= 0」であるとき、「view_allocation」の情報が存在する。「view_allocation」の4ビットフィールドは、当該ビデオストリームに含まれる画像データがどのビューの画像データであるか、つまりビュー割り当てを示す。例えば、“0000”は、中央のビュー(center view)であることを示す。また、例えば、“0001”は、中央から左側に1つ隣りのビュー(1st left view next tocenter)であることを示す。また、例えば、“0010”は、中央から右側に1つ隣りのビュー(1st right view next to center)であることを示す。
「view_interleaving_flag= 1」であるとき、「view_pair_position_id」、「view_interleaving_type」の情報が存在する。「view_pair_position_id」の3ビットフィールドは、全ビューにおける2つのビューの相対的なビュー位置を示す。この場合、例えば、スキャン順で早い位置が左(left)、遅い位置が右(right)とする。例えば、“000”は、両端の2つのビューペアであることを示す。また、例えば、“001”は、両端から1つ内側の2つのビューペアであることを示す。また、例えば、“010”は、両端から1つ内側の2つのビューペアであることを示す。
「view_interleaving_type」の1ビットフィールドは、インターリーブのタイプ(type)を示している。“1”はインターリーブのタイプがサイド・バイ・サイド(Side-by-Side)であることを示し、“0”はインターリーブのタイプがトップ・アンド・ボトム(Top&Bottom)であることを示す。
また、「3D_flag= 1」であるとき、「display_flag」、「indication_of_picture_size_scaling_horizontal」、「indication_of_picture_size_scaling_vertical」の各情報が存在する。「display_flag」の1ビットフィールドは、当該ビューは画像表示を行わせる際に表示必須か否かを示す。“1”は、表示必須であることを示す。一方、“0”は、表示必須でないことを示す。
「indication_of_picture_size_scaling_horizontal 」の4ビットフィールドは、フルHD(1920)に対してのデコード画の水平画素比率を示している。“0000”は100%、“0001”は80%、“0010”は75%、“0011”は66%、“0100”は50%、“0101”は33%、“0110”は25%、“0111”は20%をそれぞれ示す。
「indication_of_picture_size_scaling_vertical 」の4ビットフィールドは、フルHD(1080)に対してのデコード画の垂直画素比率を示している。0000”は100%、“0001”は80%、“0010”は75%、“0011”は66%、“0100”は50%、“0101”は33%、“0110”は25%、“0111”は20%をそれぞれ示す。
図18は、「view_count」が示すビュー数と、「view_pair_position_id」が示す2つのビュー(ここでは、“View 1”, “View 2”としている)の位置との関係の一例を示している。(1)の例は、「view_count」が示すビュー数が2であって、「view_pair_position_id= 000」であって両端の2つのビューであることを示している場合である。また、(2)の例は、「view_count」が示すビュー数が4であって、「view_pair_position_id = 000」であって両端の2つのビューであることを示している場合である。
また、(3)の例は、「view_count」が示すビュー数が4であって、「view_pair_position_id= 001」であって両端から1つ内側の2つのビューであることを示している場合である。また、(4)の例は、「view_count」が示すビュー数が5であって、「view_pair_position_id = 000」であって両端の2つのビューであることを示している場合である。
また、(5)の例は、「view_count」が示すビュー数が9であって、「view_pair_position_id= 000」であって両端の2つのビューであることを示している場合である。さらに、(6)の例は、「view_count」が示すビュー数が9であって、「view_pair_position_id = 010」であって両端から2つ内側の2つのビューであることを示している場合である。
両端よりも内側のビューペアは、受信側でビュー合成を行う際に両端の2つのビューでは十分に画質が満足できないような場合に、補間合成の性能を向上させるために、両端のビューペアに追加で伝送されることが可能である。その際、追加で伝送されるビューペアの符号化ビデオデータは、両端のビューペアのストリームの中に、アクセスユニット(AccessUnit)を共有するように符号化されてもよいし、あるいは、別のストリームとして符号化されてもよい。
図19は、上述のように両端の2つのビューペアの画像データと共に、両端よりも内側の2つのビューペアの画像データを送信する場合において、送信側あるいは受信側における視差データ(disparity data)の生成例を示している。図示の例では、view_count」が示すビュー数が9とされている。そして、両端の2つのビュー(View 1, View 2)の画像データが含まれるサブストリーム(substream1)と、それよりも内側の2つのビュー(View 3, View 4)の画像データが含まれるサブストリーム(substream 2)とが存在するものとしている。
この場合、最初に、「View 1」と「View 3」とで視差データを計算する。次に、「View 2」と「View 4」とで視差データを計算する。最後に、「View 3」と「View 4」とで視差データを計算する。なお、サブストリーム間で、ビューの解像度が異なる場合は、どちらかの解像度に合わせた上で、視差データの計算を行う。
図20は、上述したように計算された視差データに基づき、受信側で、各ビューの間に位置するビューの画像データを補間合成する例を示している。この場合、最初に、「View 1」と「View 3」との間の視差データを用いて、「View 1」と「View 3」の間に位置する「View_A」を補間合成する。
次に、「View 2」と「View 4」との間の視差データを用いて、「View 2」と「View 4」の間に位置する「View_B」を補間合成する。最後に、「View 3」と「View 4」との間の視差データを用いて、「View 3」と「View 4」の間に位置する「View_C」、「View_D」、「View_E」を補間合成する。
次に、ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ(multiview_stream_configuration_info())を、ビデオストリーム(ビデオエレメンタリストリーム)のユーザデータ領域に挿入する場合について説明する。この場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、ユーザデータ領域を利用して、例えば、ピクチャ単位あるいはGOP単位で挿入される。
例えば、符号化方式がAVCである場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、アクセスユニットの“SELs”の部分に、「Multiview stream configuration SEI message」として、挿入される。図21(a)は、GOP(Group Of Pictures)の先頭のアクセスユニットを示しており、図21(b)は、GOPの先頭以外のアクセスユニットを示している。マルチビュー・ストリーム・コンフィグレーション・インフォがGOP単位で挿入される場合、GOPの先頭のアクセスユニットにのみ「Multiview stream configuration SEI message」が挿入される。
図22(a)は、「Multiview stream configuration SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「userdata_for_multiview_stream_configuration()」が挿入される。図22(b)は、「userdata_for_multiview_stream _configuration()」の構造例(Syntax)を示している。この中に、マルチビュー・ストリーム・コンフィグレーション・インフォ(multiview_stream_configuration_info())が挿入される(図14参照)。「userdata_id」は、符号なし16ビットで示されるマルチビュー・ストリーム・コンフィグレーション・インフォの識別子である。
また、例えば、符号化方式がMPEG2 videoである場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図23(a)は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の32ビットフィールドは、ユーザデータ(user_data)の開始コードであり、“0x000001B2”の固定値とされる。
この開始コードに続く32ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stereo_Video_Format_Signaling_identifier」とされ、ユーザデータが、マルチビュー・ストリーム・コンフィグレーション・インフォであることを識別可能とする。この識別子の後のデータ本体として、ストリーム関連付け情報としての「Multiview_stream_configuration()」が挿入される。図23(b)は、Multiview_stream_configuration()」の構造例(Syntax)を示している。この中に、マルチビュー・ストリーム・コンフィグレーション・インフォ(multiview_stream_configuration_info())が挿入される(図14参照)。
上述の図12に示す識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタ(multiview_stream_configuration_descriptor)は、トランスポートストリームTSのレイヤ、例えばPMTの配下、あるいはEITの配下などに挿入される。すなわち、このデスクリプタは、イベント単位あるいは時間的に静的ないし動的なユースケースに置いて最適な位置に配置される。
図24は、トランスポートストリームTSの構成例を示している。なお、この構成例では、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームTSに3つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームTSには、中央、左端および右端の各ビューの画像データがそれぞれ1つのピクチャとして符号化されて得られた3つのビデオストリームが含まれている。また、この構成例は、ビュー数が5である場合を示している。
この図24の構成例では、中央ビューの画像データVC′が1つのピクチャとして符号化されているビデオストリームのPESパケット「video PES1」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が5であることが示されている。
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、1アクセスユニット内の1つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、2つのビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0000」とされ、このビデオストリームに含まれる画像データが中央のビューの画像データであることが示されている。
また、この図24の構成例では、左端ビューの画像データVL′が1つのピクチャとして符号化されているビデオストリームのPESパケット「video PES2」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が5であることが示されている。
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、1アクセスユニット内の1つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、2つのビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0011」とされ、このビデオストリームに含まれる画像データが中央から左側に2つ隣りのビュー、つまり左端ビューの画像データであることが示されている。
また、この図24の構成例では、左端ビューの画像データVR′が1つのピクチャとして符号化されているビデオストリームのPESパケット「video PES3」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が5であることが示されている。
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、1アクセスユニット内の1つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、2つのビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0100」とされ、このビデオストリームに含まれる画像データが中央から右側に2つ隣りのビュー、つまり右端ビューの画像データであることが示されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(ProgramMap Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うSI(Serviced Information)としてのEIT(EventInformation Table)が含まれている。
PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(Video ES loop)が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子(PID)等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
この構成例では、PMTのビデオエレメンタリ・ループ(Video ES loop)の配下に、各ビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ(multiview_stream_configuration_descriptor)が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、EITの配下に挿入することも考えられる。
また、図25も、トランスポートストリームTSの構成例を示している。なお、この構成例でも、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームTSに2つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームTSには、中央のビューの画像データが1つのピクチャとして符号化されて得られたビデオストリームとが含まれている。また、このトランスポートストリームTSには、左端のビューおよび右端のビューの画像データがインターリーブ処理されて1つのピクチャとして符号化されて得られたビデオストリームが含まれている。また、この構成例も、ビュー数が5である場合を示している。
この図25の構成例では、中央ビューの画像データVC′が1つのピクチャとして符号化されているビデオストリームのPESパケット「video PES1」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が5であることが示されている。
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、1アクセスユニット内の1つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、2つのビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化されているものではないことが示されている。さらに、「view_allocation = 0000」とされ、このビデオストリームに含まれる画像データが中央のビューの画像データであることが示されている。
また、この図25の構成例では、左端ビューの画像データVL′および右端ビューの画像データVR′が1つのピクチャとして符号化されているビデオストリームのPESパケット「video PES2」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が5であることが示されている。
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、1アクセスユニット内の1つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 1」とされ、このビデオストリームにおいて、2つのビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化されていることが示されている。さらに、「view_pair_position_id= 000」とされ、両端の2つのビューペアであることが示されている。さらに、「view_interleaving_type= 1」とされ、インターリーブのタイプがサイド・バイ・サイド(Side-by-Side)であることが示されている。
また、この構成例では、PMTのビデオエレメンタリ・ループ(Video ES loop)の配下に、各ビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ(multiview_stream_configuration_descriptor)が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、EITの配下に挿入することも考えられる。
また、図26も、トランスポートストリームTSの構成例を示している。なお、この構成例でも、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームTSに1つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームTSには、中央、左端および右端の各ビューの画像データがそれぞれ1つのピクチャのデータとして符号化されたデータを含むビデオストリームが含まれている。また、この構成例も、ビュー数が5である場合を示している。
この図26の構成例では、1つのビデオストリームのPESパケット「video PES1」が含まれている。このビデオストリームには、中央、左端および右端の各ビューの画像データがそれぞれ1アクセスユニット内の1つのピクチャのデータとして符号化されたデータが含まれており、各ピクチャに対応してユーザデータ領域が存在する。そして、それぞれに、マルチビュー・ストリーム・コンフィグレーション・インフォが挿入されている。
中央ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が5であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、1アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが2つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0000」とされ、このピクチャデータに含まれる画像データが中央のビューの画像データであることが示されている。
また、左端ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が5であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、1アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが2つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0011」とされ、このピクチャデータに含まれる画像データが中央から左側に2つ隣りのビュー、つまり左端ビューの画像データであることが示されている。
また、右端ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が5であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、1アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが2つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0100」とされ、このピクチャデータに含まれる画像データが中央から右側に2つ隣りのビュー、つまり右端ビューの画像データであることが示されている。
また、この構成例では、PMTのビデオエレメンタリ・ループ(Video ES loop)の配下に、1つのビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ(multiview_stream_configuration_descriptor)が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、EITの配下に挿入することも考えられる。
上述したように、図7に示す送信データ生成部110においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが符号化されて得られたビデオストリームを含むトランスポートストリームTSが生成される。そのため、マルチビュー構成による立体画像の裸眼観賞を行うための画像データ伝送を効果的に行うことができる。
すなわち、左端のビューおよび右端のビューの画像データだけでなく、中間のビューの画像データも送信されるので、ビュー間の相対視差が小さく、その他のビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが送信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
また、図7に示す送信データ生成部110においては、ビデオストリームのレイヤに、ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ(multiview_stream_configuration_info())が挿入される。そのため、受信側では、このビュー構成情報により、複数のビューの画像データによる3次元画像(立体画像)の裸眼観賞を行うための適切かつ効率的な処理が可能となる。
また、図7に示す送信データ生成部110においては、トランスポートストリームTSのレイヤに、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ(multiview_stream_configuration_descriptor)が挿入される。このデスクリプタは、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報を構成している。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。そのため、ビデオストリームのユーザデータ領域からのビュー構成情報の効率的な抽出が可能となる。
また、図7に示す送信データ生成部110においては、視差データ生成部116で各ビュー間の視差データが生成され、この視差データが符号化されて得られた視差ストリームが、ビデオストリームと共に、トランスポートストリームTSに含まれる。そのため、受信側では、受信された各ビューの画像データから視差データを生成する処理を行うことなく、送られてくる視差データに基づいて、伝送されない各ビューの画像データを容易に補間合成することが可能となる。
「受信機の構成例」
図27は、受信機200の構成例を示している。この受信機200は、CPU201と、フラッシュROM202と、DRAM203と、内部バス204と、リモートコントロール受信部(RC受信部)205と、リモートコントロール送信機(RC送信機)206を有している。また、この受信機200は、アンテナ端子211と、デジタルチューナ212と、トランスポートストリームバッファ(TSバッファ)213と、デマルチプレクサ214を有している。
また、受信機200は、コーデッドバッファ215-1,215-2,215-3と、ビデオデコーダ216-1,216-2,216-3と、デコーデッドバッファ217-1,217-2,217-3と、スケーラ218-1,218-2,218-3を有している。また、受信機200は、ビュー補間部219と、ピクセルインターリーブ/重畳部220を有している。また、受信機200は、コーデッドバッファ221と、視差デコーダ222と、視差バッファ223と、視差データ変換部224を有している。
また、受信機200は、コーデッドバッファ225と、グラフィクスデコーダ226と、ピクセルバッファ227と、スケーラ228と、グラフィクスシフタ229を有している。さらに、受信機200は、コーデッドバッファ230と、オーディオデコーダ231と、チャネルミキシング部232を有している。
CPU201は、受信機200の各部の動作を制御する。フラッシュROM202は、制御ソフトウェアの格納およびデータの保管を行う。DRAM203は、CPU201のワークエリアを構成する。CPU201は、フラッシュROM202から読み出したソフトウェアやデータをDRAM203上に展開してソフトウェアを起動させ、受信機200の各部を制御する。RC受信部205は、RC送信機206から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU201に供給する。CPU201は、このリモコンコードに基づいて、受信機200の各部を制御する。CPU201、フラッシュROM202およびDRAM203は、内部バス204に接続されている。
アンテナ端子211は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ212は、アンテナ端子211に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム(ビットストリームデータ)TSを出力する。トランスポートストリームバッファ(TSバッファ)213は、デジタルチューナ212から出力されたトランスポートストリームTSを一時的に蓄積する。
このトランスポートストリームTSには、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューとしての中央のビューの画像データとが符号化されて得られたビデオストリームが含まれている。
この場合、トランスポートストリームTSに、3つ、2つ、あるいは1つのビデオストリームが含まれる場合等がある(図24、図25、図26参照)。ここでは、説明を簡単にするために、トランスポートストリームTSに、中央、左端および右端の各ビューの画像データがそれぞれ1つのピクチャとして符号化されて得られた3つのビデオストリームが含まれるものとして説明を行うものとする。
このトランスポートストリームTSには、上述したように、PMTの配下、あるいはEITの配下などに、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ(multiview_stream_configuration_descriptor)が挿入されている。このデスクリプタは、ビデオストリームのレイヤにビュー構成情報、つまりマルチビュー・ストリーム・コンフィグレーション・インフォ(multiview_stream_configuration_info())の挿入があるか否かを識別するための識別情報である。
デマルチプレクサ214は、TSバッファ213に一時的に蓄積されたトランスポートストリームTSから、ビデオ、視差、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。また、デマルチプレクサ214は、このトランスポートストリームTSから、上述したマルチビュー・ストリーム・コンフィグレーション・デスクリプタを抽出し、CPU201に送る。CPU201は、このデスクリプタの「multiview_stream_checkflag」の1ビットフィールドにより、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に判断できる。
コーデッドバッファ215-1,215-2,215-3は、それぞれ、デマルチプレクサ214で抽出される中央、左端および右端の各ビューの画像データがそれぞれ1つのピクチャとして符号化されて得られたビデオストリームを一時的に蓄積する。ビデオデコーダ216-1,216-2,216-3は、CPU201の制御のもと、それぞれ、コーデッドバッファ215-1,215-2,215-3に記憶されているビデオストリームの復号化処理を行って、中央、左端および右端の各ビューの画像データを取得する。
ここで、ビデオデコーダ216-1は、中央ビュー(center view)の画像データを取得する。また、ビデオデコーダ216-2は、左端ビュー(left view)の画像データを取得する。さらに、ビデオデコーダ216-3は、右端ビュー(right view)の画像データを取得する。なお、2つ以上のビューがインターリーブされて符号化されている場合は、ストリーム単位で、コーデッドバッファ、ビデオデコーダ、デコーデッドバッファ、スケ―ラが割り当てられることになる。
各ビデオデコーダは、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入されているビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ(multiview_stream_configuration_info())を抽出し、CPU201に送る。CPU201は、このビュー構成情報により、複数のビューの画像データによる3次元画像(立体画像)の裸眼観賞を行うための適切かつ効率的な処理を行う。
すなわち、CPU201は、このビュー構成情報に基づいて、ピクチャ単位あるいはGOP単位で、デマルチプレクサ214、ビデオデコーダ216-1,216-2,216-3、スケーラ218-1,218-2,218-3、ビュー補間部219等の動作を制御する。例えば、CPU201は、「3D_flag」の1ビットフィールドにより、ビデオストリームに含まれる画像データが3Dを構成する一部のビューの画像データであるか否かを識別できる。また、例えば、CPU201は、「view_count」の4ビットフィールドにより、3Dサービスを構成するビュー数を認識できる。
また、例えば、CPU201は、「single_view_es_flag 」の1ビットフィールドにより、ビデオストリームの1アクセスユニット内に複数のピクチャのデータが符号化されているか否かを識別できる。また、例えば、CPU201は、「view_interleaving_flag」の1ビットフィールドにより、ビデオストリームにおいて、2つのビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化されているか否かを識別できる。
また、例えば、CPU201は、ビデオストリームにおいて、2つのビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化されていないとき、「view_allocation」の4ビットフィールドにより、ビデオストリームに含まれる画像データがどのビューの画像データであるかを認識できる。
また、例えば、CPU201は、ビデオストリームにおいて、2つのビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化されているとき、「view_pair_position_id」の3ビットフィールドにより、全ビューにおける2つのビューの相対的なビュー位置を認識できる。さらに、このとき、CPU201は、「view_interleaving_type」の1ビットフィールドにより、インターリーブのタイプ(type)を知ることができる。
また、例えば、CPU201は、「indication_of_picture_size_scaling _horizontal 」の4ビットフィールドおよび「indication_of_picture_size_scaling _vertical 」の4ビットフィールドにより、フルHDに対してのデコード画の水平画素比率を認識できる。
デコーデッドバッファ217-1,217-2,217-3は、それぞれ、ビデオデコーダ216-1,216-2,216-3で取得された各ビューの画像データを一時的に蓄積する。スケーラ218-1,218-2,218-3は、それぞれ、デコーデッドバッファ217-1,217-2,217-3から出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整する。
マルチビュー・ストリーム・コンフィグレーション・インフォには、デコード画の水平画素比率を示す「indication_of_picture_size_scaling _horizontal 」の4ビットフィールドおよびデコード画の垂直画素比率を示す「indication_of_picture_size_scaling _vertical 」の4ビットフィールドが存在する。CPU201は、この画素比率情報に基づいて、スケーラ218-1,218-2,218-3におけるスケーリング比率を制御し、所定の解像度が得られるようにする。
この場合、CPU201は、デコードした画像データの解像度、モニタの解像度およびビュー(view)の数に基づいて、デコーデッドバッファに蓄積されている画像データに対するスケーリング比を算出し、スケーラ218-1,218-2,218-3に指示を行う。図28は、スケーリング比の算出例を示している。
例えば、デコードした画像データの解像度が960*1080で、モニタ解像度が1920*1080で、表示するビューの数が4である場合には、スケーリング比は1/2とされる。また、例えば、デコードした画像データの解像度が1920*1080で、モニタ解像度が1920*1080で、表示するビューの数が4である場合には、スケーリング比は1/4とされる。さらに、例えば、デコードした画像データの解像度が1920*2160で、モニタ解像度が3840*2160で、表示するビューの数が8である場合には、スケーリング比は1/4とされる。
コーデッドバッファ221は、デマルチプレクサ214で抽出される視差ストリームを一時的に蓄積する。視差デコーダ222は、上述の送信データ生成部110の視差エンコーダ117(図7参照)とは逆の処理を行う。すなわち、視差デコーダ223は、コーデッドバッファ221に記憶されている視差ストリームの復号化処理を行って、視差データを得る。この視差データには、中央ビューと左端ビューとの間の視差データと、中央ビューと右端ビューとの間の視差データが含まれている。また、この視差データは、画素単位、あるいはブロック単位の視差データである。視差バッファ223は、視差デコーダ222で取得された視差データを一時的に蓄積する。
視差データ変換部224は、視差バッファ223に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データを生成する。例えば、送信されてくる視差データがブロック単位である場合には、画素単位の視差データに変換する(図11参照)。また、例えば、送信されてくる視差データが画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。
ビュー補間部219は、スケーリング後の中央、左端および右端の各ビューの画像データから、視差データ変換部224で得られた各ビュー間の視差データに基づいて、伝送されてこない所定数のビューの画像データを補間合成する。すなわち、ビュー補間部219は、中央ビューと左端ビューとの間に位置する各ビューの画像データを補間合成して出力する。また、ビュー補間部219は、中央ビューと右端ビューとの間に位置する各ビューの画像データを補間合成して出力する。
図29は、ビュー補間部219における補間合成処理の一例を概略的に示している。図示の例において、例えば、カレントビュー(Current view)は上述の中央ビューに相当し、ターゲットビュー1(Targetview 1)は上述の左端ビューに相当し、ターゲットビュー2(Target view 2)は上述の右端ビューに相当する。
カレントビューとターゲットビュー1との間に位置するビューの補間合成と、カレントビューとターゲットビュー2との間に位置するビューの補間合成とは、同様に行われる。以下では、カレントビューとターゲットビュー1との間に位置するビューの補間合成について説明する。
カレントビューとターゲットビュー1との間に位置する補間合成するビューの画素は、以下のように割り当てられる。この場合、カレントビューからターゲットビュー1を指し示す視差データと、逆に、ターゲットビュー1からカレントビューを指し示す視差データとの、2方向の視差データが用いられる。まず、補間合成するビューの画素として、カレントビューの画素を、視差データをベクターとしてずらすことで、割り当てる(カレントビューからターゲットビュー1に向いた実線矢印および破線矢印と、黒丸を参照)。
この際に、ターゲットビュー1においてターゲット・オクルーデッド(target occluded)となる部分では、以下の画素割り当てを行う。すなわち、補間合成するビューの画素として、ターゲットビュー1の画素を、視差データをベクターとしてずらすことで、割り当てる(ターゲットビュー1からカレントビューに向いた一点鎖線矢印と、白丸を参照)。
このように、ターゲット・オクルーデッドとなる部分では、双方向の視差データを持つことで、補間合成されるビューの画素を、バックグランド(background)と見なせるビューからの画素で充当できる。なお、双方向で対応できないオクルージョン(Occlusion)領域は、ポスト(Post)処理で値を充当する。
また、図示の矢印の先端が重なっているターゲット・オーバーラップド(target overlapped)となる部分は、ターゲットビュー1において、視差(disparity)によるシフトが重なる部分である。この部分においては、2つの視差のうち、どちらがカレントビューのフォグランド(fore ground)に相当するかを、視差データの値で判断し、選択する。この場合には、主には値の小さな方が選択される。
図27に戻って、コーデッドバッファ225は、デマルチプレクサ214で抽出されるグラフィクスストリームを一時的に蓄積する。グラフィクスデコーダ226は、上述の送信データ生成部110のグラフィクスエンコーダ119(図7参照)とは逆の処理を行う。すなわち、グラフィクスデコーダ226は、コーデッドバッファ225に記憶されているグラフィクスストリームの復号化処理を行って、復号化されたグラフィクスデータ(サブタイトルデータを含む)を得る。また、グラフィクスデコーダ226は、このグラフィクスデータに基づいて、ビュー(画像)に重畳するグラフィクスのビットマップデータを発生する。
ピクセルバッファ227は、グラフィクスデコーダ226で発生されるグラフィクスのビットマップデータを一時的に蓄積する。スケーラ228は、ピクセルバッファ227に蓄積されているグラフィクスのビットマップデータのサイズを、スケーリング後の画像データのサイズに対応するように調整する。グラフィクスシフタ229は、サイズ調整後のグラフィクスのビットマップデータに対して、視差データ変換部224で得られる視差データに基づいてシフト処理を施す。そして、グラフィクスシフタ229は、ビュー補間部219から出力されるN個のビュー(View1, View2,・・・,ViewN )の画像データにそれぞれ重畳するN個のグラフィクスのビットマップデータを生成する。
ピクセルインターリーブ/重畳部220は、ビュー補間部219から出力されるN個のビュー(View1, View2,・・・,ViewN )の画像データにそれぞれ対応するグラフィクスのビットマップデータを重畳する。さらに、ピクセルインターリーブ/重畳部220は、N個のビュー(View1, View2,・・・,ViewN )の画像データに対してピクセルインターリーブ処理を行って、3次元画像(立体画像)の裸眼観賞のための表示用画像データを生成する。
コーデッドバッファ230は、デマルチプレクサ214で抽出されるオーディオストリームを一時的に蓄積する。オーディオデコーダ231は、上述の送信データ生成部110のオーディオエンコーダ121(図7参照)とは逆の処理を行う。すなわち、オーディオデコーダ231は、コーデッドバッファ230に記憶されているオーディオスストリームの復号化処理を行って、復号化された音声データを得る。チャネルミキシング部232は、オーディオデコーダ231で得られる音声データに対して、例えば5.1chサラウンド等を実現するための各チャネルの音声データを生成して出力する。
なお、デコーデッドバッファ217-1,217-2,217-2からの各ビューの画像データの読み出しと、視差バッファ223からの視差データの読み出しと、ピクセルバッファ227からのグラフィクスのビットマップデータの読み出しとは、PTSに基づいて行われ、転送同期が取られる。
受信機200の動作を簡単に説明する。アンテナ端子211に入力されたテレビ放送信号はデジタルチューナ212に供給される。このデジタルチューナ212では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームTSが出力される。このトランスポートストリームTSは、TSバッファ213に一時的に蓄積される。
このトランスポートストリームTSには、立体画像表示のための複数のビューのうち、左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューとしての中央のビューの画像データとが符号化されて得られたビデオストリームが含まれている。
デマルチプレクサ214では、TSバッファ213に一時的に蓄積されたトランスポートストリームTSから、ビデオ、視差、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。また、デマルチプレクサ214では、このトランスポートストリームTSから、識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタが抽出され、CPU201に送られる。CPU201では、このデスクリプタの「multiview_stream_checkflag」の1ビットフィールドにより、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に判断できる
デマルチプレクサ214で抽出される中央、左端および右端の各ビューの画像データは、それぞれ、コーデッドバッファ215-1,215-2,215-3に供給されて一時的に蓄積する。そして、ビデオデコーダ216-1,216-2,216-3では、CPU201の制御のもと、それぞれ、コーデッドバッファ215-1,215-2,215-3に記憶されているビデオストリームの復号化処理が行われて、中央、左端および右端の各ビューの画像データが取得される。
また、各ビデオデコーダでは、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入されているビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ(multiview_stream_configuration_info())が抽出され、CPU201に送られる。CPU201は、このビュー構成情報に基づいて、ピクチャ単位あるいはGOP単位で、デマルチプレクサ214、ビデオデコーダ216-1,216-2,216-3、スケーラ218-1,218-2,218-3、ビュー補間部219等の動作を制御する。
ビデオデコーダ216-1,216-2,216-3で取得された各ビューの画像データは、それぞれ、デコーデッドバッファ217-1,217-2,217-3に供給されて一時的に蓄積される。スケーラ218-1,218-2,218-3では、それぞれ、デコーデッドバッファ217-1,217-2,217-3から出力される各ビューの画像データの出力解像度が所定の解像度となるように調整される。
また、デマルチプレクサ214で抽出される視差ストリームは、コーデッドバッファ221に供給されて一時的に蓄積される。視差デコーダ222では、コーデッドバッファ221に記憶されている視差ストリームの復号化処理が行われて、視差データが得られる。この視差データには、中央ビューと左端ビューとの間の視差データと、中央ビューと右端ビューとの間の視差データが含まれている。また、この視差データは、画素単位、あるいはブロック単位の視差データである。
視差デコーダ222で取得された視差データは、視差バッファ223に供給されて一時的に蓄積される。視差データ変換部224は、視差バッファ223に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データが生成される。この場合、送信されてくる視差データがブロック単位である場合には、画素単位の視差データに変換される。また、この場合、送信されてくる視差データが画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。
ビュー補間部219では、スケーリング後の中央、左端および右端の各ビューの画像データから、視差データ変換部224で得られた各ビュー間の視差データに基づいて、伝送されてこない所定数のビューの画像データが補間合成される。このビュー補間部219からは、3次元画像(立体画像)を裸眼観賞するためのN個のビュー(View1, View2,・・・,ViewN )の画像データが得られる。なお、中央、左端および右端の各ビューの画像データも含まれる。
また、デマルチプレクサ214で抽出されるグラフィクスストリームは、コーデッドバッファ225に供給されて一時的に蓄積される。グラフィクスデコーダ226では、コーデッドバッファ225に記憶されているグラフィクスストリームの復号化処理が行われて、復号化されたグラフィクスデータ(サブタイトルデータを含む)が得られる。また、このグラフィクスデコーダ226では、このグラフィクスデータに基づいて、ビュー(画像)に重畳するグラフィクスのビットマップデータが発生される。
グラフィクスデコーダ226で発生されるグラフィクスのビットマップデータは、ピクセルバッファ227に供給されて一時的に蓄積される。スケーラ228では、ピクセルバッファ227に蓄積されているグラフィクスのビットマップデータのサイズが、スケーリング後の画像データのサイズに対応するように調整される。
グラフィクスシフタ229では、サイズ調整後のグラフィクスのビットマップデータに対して、視差データ変換部224で得られる視差データに基づいてシフト処理が施される。そして、グラフィクスシフタ229では、ビュー補間部219から出力されるN個のビュー(View1, View2,・・・,ViewN )の画像データにそれぞれ重畳するN個のグラフィクスのビットマップデータが生成され、ピクセルインターリーブ/重畳部220に供給される。
ピクセルインターリーブ/重畳部220では、N個のビュー(View1, View2,・・・,ViewN )の画像データにそれぞれ対応するグラフィクスのビットマップデータが重畳される。また、ピクセルインターリーブ/重畳部220では、N個のビュー(View1, View2,・・・,ViewN )の画像データに対してピクセルインターリーブ処理が行われて、3次元画像(立体画像)の裸眼観賞のための表示用画像データが生成される。この表示用画像データがディスプレイに供給されることで、3次元画像(立体画像)の裸眼観賞のための、画像表示が行われる。
また、デマルチプレクサ214で抽出されるオーディオストリームは、コーデッドバッファ230に供給されて一時的に蓄積される。オーディオデコーダ231では、コーデッドバッファ230に記憶されているオーディオスストリームの復号化処理が行われて、復号化された音声データが得られ。この音声データはチャネルミキシング部232に供給される。チャネルミキシング部232では、音声データに対して、例えば5.1chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、画像表示に合わせた音声出力がなされる。
上述したように、図27に示す受信機200においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが受信されるものである。そして、この受信機200において、その他のビューは視差データに基づいて補間処理で得るものである。そのため、マルチビュー構成による立体画像の裸眼観賞を良好に行うことができる。
すなわち、左端のビューおよび右端のビューの画像データだけでなく、中央のビューの画像データも受信される。そのため、ビュー間の相対視差が小さく、伝送されないビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが受信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
なお、図27に示す受信機200は、トランスポートストリームTSに視差データが符号化されて得られた視差ストリームが含まれる場合の構成例を示している。トランスポートストリームTSに視差ストリームが含まれていない場合には、受信された各ビューの画像データから視差データを生成して用いることになる。
図30は、その場合における受信機200Aの構成例を示している。この図30において、図27と対応する部分には同一符号を付し、その詳細説明は省略する。この受信機200Aは、視差データ生成部233を有している。この視差データ生成部233は、スケーリング処理された中央、左端および右端の各ビューの画像データに基づいて、視差データを生成する。
詳細説明は省略するが、この場合における視差データの生成方法は、上述した送信データ生成部110における視差データ生成部116における視差データ生成方法と同様である。なお、この視差データ生成部233は、図27に示す受信機200の視差データ変換部224で生成される画素単位の視差データと同様の視差データを生成して出力する。視差データ生成部233で生成された視差データは、ビュー補間部219に供給されると共に、フラフィクスシフタ229に供給されて用いられる。
なお、図30に示す受信機200Aにおいては、図27に示す受信機200におけるコーデッドバッファ221、視差デコーダ222、視差バッファ223および視差データ変換部224は、省略される。この図30に示す受信機200Aにおけるその他の構成は、図27に示す受信機200の構成と同様とされる。
<2.変形例>
なお、上述実施の形態においては、放送局100と受信機200からなる画像送受信システム10を示したが、本技術を適用し得る画像送受信システムの構成は、これに限定されるものではない。例えば、受信機200の部分が、例えば、(HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
(1)立体画像表示のための所定数のビューの画像データを取得する画像データ取得部と、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入部を備える
(2)上記画像データ取得部は、
上記立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データを取得する
前記(1)に記載の送信装置。
(3)上記コンテナのレイヤに、上記ビデオストリームのレイヤに上記ビュー構成情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部をさらに備える
前記(1)に記載の送信装置。
(4)上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはそれぞれ1つのピクチャのデータとして符号化されている
前記(2)または(3)に記載の送信装置。
(5)上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはインターリーブ処理されて1つのピクチャのデータとして符号化されている
前記(2)または(3)に記載の送信装置。
(6)上記コンテナが含むビデオストリームは、1つまたは複数のピクチャのデータを含む
前記(1)から(5)のいずれかに記載の送信装置。
(7)上記コンテナが含むビデオストリームが複数のピクチャの符号化データを含むとき、各ピクチャの符号化データの間に境界を示す情報が配置される
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記コンテナが含むビデオストリームにおいて、所定のビューの画像データが1つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、上記所定のビューの位置を示す情報が含まれる
前記(1)から(7)のいずれかに記載の送信装置。
(9)上記コンテナが含むビデオストリームにおいて、2つのビューの画像データがインターリーブ処理されて1つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該2つのビューの位置を示す情報が含まれる
前記(1)または(8)に記載の送信装置。
(10)上記ビュー構成情報には、上記2つのビューの画像データに対して行われるインターリーブのタイプを示す情報がさらに含まれる
前記(9)に記載の送信装置。
(11)上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該ビデオストリームの1アクセスユニット内に複数のピクチャのデータが符号されているか否かを示す情報が含まれている
前記(1)、(8)から(10)のいずれかに記載の送信装置。
(12)上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、画像表示に必須のビューの画像データが符号化されているビデオストリームであるか否かを示す情報が含まれている
前記(1)、(8)から(11)のいずれかに記載の送信装置。
(13)上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、水平および/または垂直の所定の解像度に対する画素比率情報が含まれている
前記(1)、(8)から(12)のいずれかに記載の送信装置。
(14)上記各ビューの間の視差データを取得する視差データ取得部をさらに備え、
上記画像データ送信部は、
上記取得された画像データが符号化されて得られたビデオストリームの他に、上記取得された視差データが符号化されて得られた視差ストリームを含む所定フォーマットのコンテナを送信する
前記(1)から(13)のいずれかに記載の送信装置。
(15)上記コンテナは、トランスポートストリームである
前記(1)から(14)のいずれかに記載の送信装置。
(16)立体画像表示のための所定数のビューの画像データを取得する画像データ取得ステップと、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップと、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入ステップを備える
送信方法。
(17)立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部と、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得部と、
上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理部を備える
受信装置。
(18)上記コンテナは、上記視差データが符号化されて得られた視差ストリームを含み、
上記コンテナに含まれる上記視差ストリームをデコードして上記視差データを得る視差データ取得部をさらに備える
前記(17)に記載の受信装置。
(19)上記画像データ取得部で得られた上記各ビューの画像データに基づいて、上記視差データを生成する視差データ生成部をさらに備える
前記(17)に記載の受信装置。
(20)立体画像表示のための複数のビューのうち、少なくとも左端ビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップと、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得ステップと、
上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理ステップを備える
受信方法。
本技術の主な特徴は、ビデオストリームのレイヤに少なくとも所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するようにしたことで、受信側おいて各ビューの相対位置関係を容易に把握でき、立体画像の表示処理を良好に行い得るようにしたことである(図14、図15参照)