JP2013021415A

JP2013021415A - 送信装置、送信方法および受信装置

Info

Publication number: JP2013021415A
Application number: JP2011151313A
Authority: JP
Inventors: Ikuo Tsukagoshi; 郁夫塚越
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-07-07
Filing date: 2011-07-07
Publication date: 2013-01-31
Also published as: CN103155574A; US20130162772A1; AR086919A1; CA2806787A1; EP2603004A4; EP2603004A1; RU2013109054A; BR112013004970A2; WO2013005571A1; AU2012279594A1; TW201320712A

Abstract

【課題】レガシーの２Ｄ対応の受信装置の受信処理の妨げとならないように視差情報の送信を行う。
【解決手段】左眼画像データおよび右眼画像データを持つ立体画像データを出力する。左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータを出力する。左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する。立体画像データを含むビデオデータストリームと、重畳情報のデータを含む第１のプライベートデータストリームと、視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信する。受信側のレガシーの２Ｄ対応の受信装置では、第１のプライベートデータストリームから重畳情報のデータのみを読み込むことで、視差情報の読み込みが受信処理の妨げとなることを防止できる。
【選択図】図１１

Description

本技術は、送信装置、送信方法および受信装置に関する。特に、本技術は、左眼画像データおよび右眼画像データを持つ立体画像データと共に、重畳情報のデータおよび視差情報を送信する送信装置等に関する。

例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この伝送方式では、左眼用画像データおよび右眼用画像データを持つ立体画像データが送信され、両眼視差を利用した立体画像表示が行われる。

図５０は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。

また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。

特開２００５−６１１４号公報

上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を知覚することが普通である。画像に重畳される重畳情報、例えば字幕等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。例えば、画像に字幕を重畳(オーバーレイ)表示する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。

そこで、重畳情報のデータと共に、左眼画像および右眼画像の間の視差情報を送信し、受信側で、左眼重畳情報および右眼重畳情報との間に視差を付与することが考えられる。このように立体画像を表示し得る受信装置において視差情報は有意義な情報である。一方、レガシーの２Ｄ対応の受信装置において、この視差情報は不要なものである。この２Ｄ対応の受信装置において、この視差情報の送信が正常な受信処理の妨げとなることがないように何らかの施策を講ずる必要がある。

本技術の目的は、レガシーの２Ｄ対応の受信装置の受信処理の妨げとならないように視差情報の送信を行うことにある。

本技術の概念は、
左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含むビデオデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第１のプライベートデータストリームと、上記視差情報出力部から出力される視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信するデータ送信部とを備える
送信装置にある。

本技術において、画像データ出力部により、左眼画像データおよび右眼画像データを持つ立体画像データが出力される。重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕、グラフィクス、テキストなどの情報である。視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報が出力される。

例えば、視差情報は、重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、この所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる、ものとされてもよい。また、例えば、重畳情報のデータはＤＶＢ方式のサブタイトルデータであり、視差情報は、リージョン単位またはこのリージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報であってもよい。

データ送信部により、多重化データストリームが送信される。この多重化データストリームは、立体画像データを含むビデオデータストリームと、重畳情報のデータを含む第１のプライベートデータストリームと、視差情報を含む第２のプライベートデータストリームとを有するものとされる。

このように本技術において、多重化データストリームは、重畳情報のデータを含む第１のプライベートデータストリームと、視差情報を含む第２のプライベートデータストリームとを有するものとされる。そのため、受信側のレガシーの２Ｄ対応の受信装置では、第１のプライベートデータストリームから重畳情報のデータのみを読み込むことで、視差情報の読み込みが受信処理の妨げとなることを防止できる。また、受信側の３Ｄ対応の受信装置では、第１のプライベートデータストリームから重畳情報のデータを読み込み、第２のプライベートデータストリームから視差情報を読み込み、立体画像の表示内容に合わせた重畳情報の表示が可能となる。

なお、本技術において、例えば、第１のプライベートデータストリームおよび第２のプライベートデータストリームには、重畳情報のデータによる表示と視差情報によるシフト制御とを同期させるための同期情報が含まれていてもよい。これにより、重畳情報のデータと視差情報とが別ストリームで送信される場合にあっても、受信側において、重畳情報のデータによる表示と視差情報によるシフト制御との同期をとることが可能となる。

また、本技術において、例えば、多重化ストリームには、第１のプライベートデータストリームと第２のプライベートデータストリームとを関連付けする関連付け情報が挿入される、ようにされてもよい。この関連付け情報により、例えば、受信側の３Ｄ対応機器では第１のプライベートデータストリームと第２のプライベートデータストリームとが関連付けされていることを容易に把握でき、双方のストリームをデコードすべきことが分かる。

また、本技術の他の概念は、
左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含むビデオデータストリームと、上記重畳情報データ出力部から出力される重畳情報データを含む第１のプライベートデータストリームと、重畳情報データ出力部から出力される重畳情報のデータおよび上記視差情報出力部から出力される視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信するデータ送信部とを備える
送信装置にある。

データ送信部により、多重化データストリームが送信される。この多重化データストリームは、立体画像データを含むビデオデータストリームと、重畳情報のデータを含む第１のプライベートデータストリームと、重畳情報のデータおよび視差情報を含む第２のプライベートデータストリームとを有するものとされる。

このように本技術において、多重化データストリームは、重畳情報のデータを含む第１のプライベートデータストリームと、重畳情報のデータおよび視差情報を含む第２のプライベートデータストリームとを有するものとされる。そのため、受信側のレガシーの２Ｄ対応の受信装置では、第１のプライベートデータストリームから重畳情報のデータのみを読み込むことで、視差情報が受信処理の妨げとなることを防止できる。また、受信側の３Ｄ対応の受信装置では、第２のプライベートデータストリームから重畳情報のデータおよび視差情報を読み込み、立体画像の表示内容に合わせた重畳情報の表示が可能となる。

また、本技術の他の概念は、
ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第２のプライベートデータストリームを抽出し、該第２のプライベートデータストリームから上記視差情報を取得し、
上記画像データ処理部は、
上記情報取得部で取得された上記立体画像データ、上記重畳情報のデータおよび上記視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る
受信装置にある。

本技術において、データ受信部により、ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームが受信される。そして、情報取得部により、ビデオデータストリームに含まれる立体画像データが取得され、第１のプライベートデータストリームから重畳情報のデータが取得され、第２のプライベートデータストリームから視差情報が取得される。

画像データ処理部により、立体画像データ、重畳情報のデータおよび視差情報が用いられ、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与され、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。

例えば、視差情報は、重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報であり、画像データ処理部は、所定数のフレーム期間内で順次更新される複数フレームの視差情報に対して補間処理を施し、所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する、ようにされてもよい。この場合、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、重畳情報に付与される視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。

また、例えば、視差情報は、重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報であり、視差情報には、更新フレーム間隔の情報として、単位期間の情報および該単位期間の個数の情報が付加されており、画像データ処理部は、重畳情報の表示開始時刻を基準として、視差情報の各更新時刻を、各更新フレーム間隔の情報である単位期間の情報および個数の情報に基づいて求める、ようにされてもよい。この場合、画像データ処理部では、重畳情報の表示開始時刻から順次各更新時刻を求めることができる。例えば、ある更新時刻に対して次の更新時刻は、ある更新時刻に、次の更新フレーム間隔の情報である単位期間の情報および個数の情報を用いて、単位期間×個数の時間を加算することで、簡単に求められる。

このように本技術において、第１のプライベートデータストリームから重畳情報のデータが取得され、第２のプライベートデータストリームから視差情報が取得される。そのため、立体画像の表示内容に合わせた重畳情報の表示が可能となる。

なお、本技術において、例えば、多重化データストリームには、第１のプライベートデータストリームと第２のプライベートデータストリームとを関連付けする関連付け情報が挿入されており、情報取得部は、関連付け情報に基づいて、第１のプライベートデータストリームから重畳情報のデータを取得すると共に、第２のプライベートデータストリームから上記視差情報を取得する、ようにされてもよい。これにより、受信側の３Ｄ対応の受信装置における処理がより適切に行われるようになる。

また、本技術の他の概念は、
ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記重畳情報のデータおよび上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第２のプライベートデータストリームを抽出し、該第２のプライベートデータストリームから上記重畳情報のデータおよび上記視差情報を取得し、
上記画像データ処理部は、
上記情報取得部で取得された上記立体画像データ、上記重畳情報のデータおよび上記視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る
受信装置にある。

本技術において、データ受信部により、ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームが受信される。そして、情報取得部により、ビデオデータストリームに含まれる立体画像データが取得され、第２のプライベートデータストリームから重畳情報のデータおよび視差情報が取得される。

このように本技術において、第２のプライベートデータストリームから重畳情報のデータおよび視差情報が取得される。そのため、立体画像の表示内容に合わせた重畳情報の表示が可能となる。

また、本技術の他の概念は、
ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報、あるいは該視差情報および上記重畳情報のデータを含み、情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
上記画像データ処理部は、
上記情報取得部で取得された上記立体画像データおよび上記重畳情報のデータを用い、上記重畳情報が重畳された画像データを得る
受信装置にある。

本技術において、データ受信部により、ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームが受信される。そして、情報取得部により、ビデオデータストリームに含まれる立体画像データが取得され、第１のプライベートデータストリームから重畳情報のデータが取得される。画像データ処理部により、立体画像データおよび重畳情報のデータが用いられ、重畳情報が重畳された画像データが得られる。

このように本技術において、視差情報を含まない第１のプライベートデータストリームから重畳情報のデータが取得される。視差情報の読み込みが受信処理の妨げとなることを防止できる。

本技術によれば、レガシーの２Ｄ対応の受信装置の受信処理の妨げとならないように視差情報の送信を良好に行うことができる。

この発明の実施の形態としての画像送受信システムの構成例を示すブロック図である。放送局における送信データ生成部の構成例を示すブロック図である。１９２０×１０８０のピクセルフォーマットの画像データを示す図である。立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。視差ベクトルをブロックマッチング方式で求めることを説明するための図である。ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。ブロック（Block）毎の視差ベクトルの一例を示す図である。送信データ生成部の視差情報作成部で行われるダウンサイジング処理を説明するための図である。サブタイトルデータにおいて、画面上に定義されるリージョンと、このリージョン内に定義されるサブリージョンの一例を示す図である。「第１のタイプ」において、トランスポートストリームＴＳが有する２Ｄストリームおよび３Ｄ拡張ストリームの構成を示す図である。「第２のタイプ」において、トランスポートストリームＴＳが有する２Ｄストリームおよび３Ｄストリームの構成を示す図である。「第１のタイプ」において、２Ｄストリーム（ＰＥＳ１(1)：ＰＥＳ＃１）と３Ｄ拡張フレーム（ＰＥＳ２(2)：ＰＥＳ＃２）のＰＥＳヘッダに挿入されるタイムスタンプ（ＰＴＳ）の値が関連付けされることを説明するための図である。２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される例を示す図である。２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される他の例を示す図である。「第１のタイプ」におけるトランスポートストリームＴＳの構成例を示す図である。サブタイトルデータを構成するＰＣＳ（page_composition_segment）の構造を示す図である。「segment_type」の各値とセグメントタイプとの対応関係を示す図である。新たに定義される３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）を説明するための図である。「第２のタイプ」におけるトランスポートストリームＴＳの構成例を示す図である。インターバル期間（Interval period）を用いた視差情報の更新例であって、インターバル期間が固定で、しかも、その期間が更新期間と等しい場合を示す図である。インターバル期間（Interval period）を用いた視差情報の更新例であって、インターバル期間を短期間とした場合の視差情報の更新例を示す図である。「第２のタイプ」における３Ｄストリームの構成例を示す図である。ＤＳＳセグメントを順次送信する場合における、視差情報の更新例を示す図である。更新フレーム間隔が単位期間としてのインターバル期間（ＩＤ：Interval Duration）の倍数で表される視差情報（disparity）の更新例を示す図である。ページ領域（Area for Page_default）に字幕表示領域としてのリージョン（Region）が２つ含まれているサブタイトルの表示例を示す図である。ＤＳＳのセグメントに、字幕表示期間に順次更新される視差情報（Disparity）として、リージョン単位の視差情報と全てのリージョンを含むページ単位の視差情報の双方が含まれている場合において、各リージョンとページの視差情報カーブの一例を示す図である。ページおよび各リージョンの視差情報がどのような構造で送られるかを示す図である。ＤＳＳの構造例（syntax）を示す図（１／３）である。ＤＳＳの構造例を示す図（２／３）である。ＤＳＳの構造例を示す図（３／３）である。ＤＳＳの主要なデータ規定内容（semantics）を示ず図（１／４）である。ＤＳＳの主要なデータ規定内容を示ず図（２／４）である。ＤＳＳの主要なデータ規定内容を示ず図（３／４）である。ＤＳＳの主要なデータ規定内容を示ず図（４／４）である。セットトップボックスおよびテレビ受信機が３Ｄ対応機器である場合の放送受信概念を示す図である。セットトップボックスおよびテレビ受信機がレガシー２Ｄ対応機器である場合の放送受信概念を示す図である。画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。画像上における字幕の表示例と、字幕を表示するための左眼字幕ＬＧＩおよび右眼字幕ＲＧＩを示す図である。画像送受信システムを構成するセットトップボックスの構成例を示すブロック図である。セットトップボックスを構成するビットストリーム処理部の構成例（３Ｄ対応）を示すブロック図である。２Ｄストリーム、３Ｄ拡張ストリームを関連付けるために使用できるマルチ・デコーディング・デスクリプタの構造例（syntax）を示す図である。マルチ・デコーディング・デスクリプタの構造例における主要な情報の内容（Semantics）を示す図である。マルチ・デコーディング・デスクリプタを配置した場合における、「第１のタイプ」のトランスポートストリームＴＳの構成例を示す図である。セットトップボックスを構成するビットストリーム処理部の他の構成例（２Ｄ対応）を示すブロック図である。画像送受信システムを構成するテレビ受信機の構成例を示すブロック図である。画像送受信システムを構成するセットトップボックスの他の構成例を示すブロック図である。画像送受信システムを構成するテレビ受信機の他の構成例を示すブロック図である。画像送受信システムの他の構成例を示すブロック図である。両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［画像送受信システムの構成例］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。

セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)のデジタルインタフェースで接続されている。セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩケーブル４００を用いて接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。

［放送局の説明］
放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、立体画像データ、音声データ、重畳情報のデータ、視差情報などが含まれる。立体画像データは所定の伝送フォーマットを有し、立体画像を表示するための左眼画像データおよび右眼画像データを持っている。重畳情報は、一般的には、字幕、グラフィクス情報、テキスト情報などであるが、この実施の形態においては字幕である。

「送信データ生成部の構成例」
図２は、放送局１００における送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、既存の放送規格の一つであるＤＶＢ（Digital Video Broadcasting）方式に容易に連携できるデータ構造で視差情報（視差ベクトル）を送信する。この送信データ生成部１１０は、データ取り出し部１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３を有している。また、この送信データ生成部１１０は、サブタイトル発生部１１４と、視差情報作成部１１５と、サブタイトル処理部１１６と、サブタイトルエンコーダ１１８と、マルチプレクサ１１９を有している。

データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。このデータ記録媒体１１１ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、視差情報が対応付けて記録されている。データ取り出し部１１１は、データ記録媒体１１１ａから、立体画像データ、音声データ、視差情報等を取り出して出力する。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。

データ記録媒体１１１ａに記録されている立体画像データは、所定の伝送方式の立体画像データである。立体画像データ（３Ｄ画像データ）の伝送方式の一例を説明する。ここでは、以下の第１〜第３の伝送方式を挙げるが、これら以外の伝送方式であってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０のピクセルフォーマットの画像データである場合を例にとって説明する。

第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。

第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。

第３の伝送方式は、フレーム・シーケンシャル（Frame Sequential）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム（Full Frame）方式、あるいは従来の２Ｄフォーマットに対してのサービスコンパチブル（service compatible）方式と称される場合もある。

また、データ記録媒体１１１ａに記録されている視差情報は、例えば、画像を構成するピクセル（画素）毎の視差ベクトルである。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。

（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。

この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８あるいは１６×１６の比較ブロックが順次設定されていく。

画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。

右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。

ビデオエンコーダ１１２は、データ取り出し部１１１から取り出された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオデータストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１１３は、データ取り出し部１１１から取り出された音声データに対して、ＡＣ３、ＡＡＣ等の符号化を施し、オーディオデータストリーム（オーディオエレメンタリストリーム）を生成する。

サブタイトル発生部１１４は、ＤＶＢ（Digital Video Broadcasting）方式の字幕データであるサブタイトルデータを発生する。このサブタイトルデータは、２次元画像用のサブタイトルデータである。このサブタイトル発生部１１４は、重畳情報データ出力部を構成している。

視差情報作成部１１５は、データ取り出し部１１１から取り出されたピクセル（画素）毎の視差ベクトル（水平方向視差ベクトル）に対して、ダウンサイジング処理を施し、以下に示すように、各階層の視差情報を生成する。なお、視差情報は必ずしも視差情報作成部１１５で生成される必要はなく、外部から別途供給される構成も可能である。

図７は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。

図８は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。

図９は、視差情報作成部１１５で行われるダウンサイジング処理の一例を示している。最初に、視差情報作成部１１５は、図９（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の符号付き視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。

次に、視差情報作成部１１５は、図９（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図９（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。

次に、視差情報作成部１１５は、図９（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図９（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。

次に、視差情報作成部１１５は、図９（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図９（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。

このようにして、視差情報作成部１１５は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図９に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。

図２に戻って、サブタイトル処理部１１６は、サブタイトル発生部１１４で発生されたサブタイトルデータに基づいて、リージョン内にサブリージョンの領域を定義できる。また、サブタイトル処理部１１６は、視差情報作成部１１５で作成された視差情報に基づいて、左眼画像および右眼画像における重畳情報の表示位置をシフト調整するための視差情報を設定する。この視差情報は、サブリージョンまたはリージョン毎に、あるいはページ毎に設定可能とされている。

図１０（ａ）は、サブタイトルデータにおいて、画面上に定義されるリージョンと、このリージョン内に定義されるサブリージョンの一例を示している。この例では、「Region_Starting Position」がＲ０であるリージョン０（Resion0）に、「SubResion 1」、「SubResion 2」の２つのサブリージョンが定義されている。「SubResion 1」の水平方向位置（Horizontal Posion）ｘはＳＲ１で、「SubResion 2」の水平方向位置（Horizontal Posion）ｘはＳＲ２である。そして、この例では、サブリージョン「SubResion 1」に対して視差情報「disparity 1」が設定され、サブリージョン「SubResion 2」に対して視差情報「disparity 2」が設定される。

図１０（ｂ）は、視差情報による左眼画像におけるサブリージョン領域内のシフト調整例を示している。サブリージョン「SubResion 1」に対して視差情報「disparity 1」が設定されている。そのため、サブリージョン「SubResion 1」に関しては、水平方向位置（Horizontal Posion）ｘがＳＲ１−disparity 1 となるようにシフト調整される。また、サブリージョン「SubResion2」に対して視差情報「disparity 2」が設定されている。そのため、サブリージョン「SubResion 2」に関しては、水平方向位置（Horizontal Posion）ｘがＳＲ２−disparity 2 となるようにシフト調整される。

図１０（ｃ）は、視差情報による右眼画像におけるサブリージョン領域内のシフト調整例を示している。サブリージョン「SubResion 1」に対して視差情報「disparity 1」が設定されている。そのため、サブリージョン「SubResion 1」に関しては、上述の左眼画像とは逆向きに、水平方向位置（HorizontalPosion）ｘがＳＲ１＋disparity 1 となるようにシフト調整される。また、サブリージョン「SubResion 2」に対して視差情報「disparity 2」が設定されている。そのため、サブリージョン「SubResion 2」に関しては、上述の左眼画像とは逆向きに、水平方向位置（HorizontalPosion）ｘがＳＲ２＋disparity 2 となるようにシフト調整される。

サブタイトル処理部１１６は、サブタイトル発生部１１４で発生されたサブタイトルデータと共に、上述のサブリージョン領域の領域情報、視差情報などの表示制御情報を出力する。なお、視差情報に関しては、上述したようにサブリージョン単位で設定できる他、リージョン単位、あるいはページ単位でも設定できる。

サブタイトルデータは、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳなどのセグメントを持つ。ＤＤＳ（display definition segment）は、ＨＤＴＶ用の表示（display）サイズを指定する。ＰＣＳ（page composition segment）は、ページ（page）内のリージョン（region）位置を指定する。ＲＣＳ（region compositionsegment）は、リージョン（Region）の大きさやオブジェクト（object）の符号化モードを指定し、また、オブジェクト（object）の開始位置を指定する。

ＣＤＳ（CLUT definition segment）は、ＣＬＵＴ内容の指定をする。ＯＤＳ（objectdata segment）は、符号化ピクセルデータ（Pixeldata）を含む。ＥＤＳ（end of display set segment）は、ＤＤＳのセグメントからはじまるサブタイトルデータの終了を示す。この実施の形態においては、ＤＳＳ（Display Signaling Segment）のセグメントがさらに定義される。このＤＳＳのセグメントに、上述の表示制御情報が挿入される。

図２に戻って、サブタイトルエンコーダ１１８は、以下の「第１のタイプ」または「第２のタイプ」で、第１および第２のプライベートデータストリーム（第１および第２のサブタイトルデータストリーム）を生成する。

「第１のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳのセグメントを含む第１のプライベートデータストリーム（２Ｄストリーム）が生成される。また、この「第１のタイプ」では、ＤＤＳ、ＤＳＳ、ＥＤＳのセグメントを含む第２のプライベートデータストリーム（３Ｄ拡張ストリーム）が生成される。「第２のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳのセグメントを含む第１のプライベートデータストリーム（２Ｄストリーム）が生成される。また、この「第２のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＣＤＳ、ＯＤＳ、ＥＤＳのセグメントを含む第２のプライベートデータストリーム（３Ｄストリーム）が生成される。

マルチプレクサ１１９は、ビデオエンコーダ１１２、オーディオエンコーダ１１３およびサブタイトルエンコーダ１１８からの各データストリームを多重化し、多重化データストリームとしてのトランスポートストリームＴＳを得る。このトランスポートストリームＴＳは、ＰＥＳ（Packetized Elementarty Stream）のストリームとして、ビデオデータストリーム、オーディオデータストリーム、第１および第２のプライベートデータストリームを有するものとなる。

図１１は、「第１のタイプ」において、トランスポートストリームＴＳが有する、第１のプライベートデータストリーム（２Ｄストリーム）および第２のプライベートデータストリーム（３Ｄ拡張ストリーム）の構成を示している。図１１（ａ）は、２Ｄストリームを示し、先頭にＰＥＳヘッダ（PES Header）が配置され、それに続いて、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含むＰＥＳペイロード（PES Payload）が配置されている。また、図１１（ｂ）は、３Ｄ拡張ストリームを示し、先頭にＰＥＳヘッダ（PES Header）が配置され、それに続いて、ＤＤＳ、ＤＳＳ、ＥＤＳの各セグメントを含むＰＥＳペイロード（PES Payload）が配置されている。

図１２は、「第２のタイプ」において、トランスポートストリームＴＳが有する、第１のプライベートデータストリーム（２Ｄストリーム）および第２のプライベートデータストリーム（３Ｄストリーム）の構成を示している。図１２（ａ）は、２Ｄストリームを示し、先頭にＰＥＳヘッダ（PES Header）が配置され、それに続いて、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含むＰＥＳペイロード（PES Payload）が配置されている。また、図１２（ｂ）は、３Ｄストリームを示し、先頭にＰＥＳヘッダ（PES Header）が配置され、それに続いて、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含むＰＥＳペイロード（PES Payload）が配置されている。

マルチプレクサ１１９は、「第１のタイプ」において、２Ｄストリームおよび３Ｄ拡張ストリームに、受信側において重畳情報のデータによる表示と視差情報（Disparity）によるシフト制御とを同期させるための同期情報を含める。具体的には、マルチプレクサ１１９は、図１３に示すように、２Ｄストリーム（ＰＥＳ１(1)：ＰＥＳ＃１）と３Ｄ拡張フレーム（ＰＥＳ２(2)：ＰＥＳ＃２）のＰＥＳヘッダに挿入されるタイムスタンプ（ＰＴＳ：Presentation Time Stamp）の値が関連付けされたものとする。

図１３は、２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が同じ値、つまりＰＴＳ１に設定される例を示している。この場合、受信側（デコード側）においては、サブタイトルデータ（重畳情報のデータ）による字幕パターンの表示がＰＴＳ１から開始され、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御もＰＴＳ１から開始される。

なお、図１３の例において、３Ｄ拡張ストリームには、ＰＴＳ１のフレームの視差情報と、その後の所定フレームの視差情報との２個の視差情報が含まれていることを示している。受信側（デコード側）においては、それら２個のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。

また、図１３において、２Ｄストリームに含まれる“Conventional Segments”は、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを意味している。また、３Ｄ拡張ストリームに含まれる“Extended Segments”は、ＤＤＳ、ＤＳＳ、ＥＤＳの各セグメント意味している。また、図１３において、２Ｄストリームの“Elementary_PID”はＩＤ１であり、３Ｄ拡張ストリームの“Elementary_PID”はＩＤ２である。これは、以下の図１４、図１５においても同様である。

図１４は、２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される例を示している。すなわち、図１３の例においては、２Ｄストリームのタイムスタンプ（ＰＴＳ）の値はＰＴＳ１に設定され、３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値はＰＴＳ１より後のＰＴＳ２に設定される例を示している。この場合、受信側（デコード側）においては、サブタイトルデータ（重畳情報のデータ）による字幕パターンの表示がＰＴＳ１から開始され、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御がＰＴＳ２から開始される。

なお、図１４の例において、３Ｄ拡張ストリームには、ＰＴＳ２のフレームの視差情報と、その後の複数のフレームの視差情報が含まれていることを示している。受信側（デコード側）においては、それら複数のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。

図１５は、図１４と同様に、２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される例であって、しかも、タイムスタンプ（ＰＴＳ）の値が異なる３Ｄ拡張ストリームが複数個存在する例を示している。すなわち、図１５の例においては、２Ｄストリームのタイムスタンプ（ＰＴＳ）の値はＰＴＳ１に設定されている。また、複数の３Ｄ拡張フレームのタイプスタンプ（ＰＴＳ）の値は、ＰＴＳ１より後のＰＴＳ２，ＰＴＳ３，ＰＴＳ４，・・・に設定されている。

この場合、受信側（デコード側）においては、サブタイトルデータ（重畳情報のデータ）による字幕パターンの表示がＰＴＳ１から開始される。また、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御がＰＴＳ２から開始され、その後に順次更新される。なお、図１５の例において、複数個の３Ｄ拡張ストリームにはそれぞれタイプスタンプで示されるフレームの視差情報のみが含まれており、受信側（デコード側）においては、それら複数のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。

図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から取り出された立体画像データは、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオデータストリームが生成される。このビデオデータストリームはマルチプレクサ１１９に供給される。

データ取り出し部１１１で取り出された音声データはオーディオエンコーダ１１３に供給される。このオーディオエンコーダ１１３では、音声データに対して、ＭＰＥＧ−２ＡｕｄｉｏＡＡＣ、あるいは、ＭＰＥＧ−４ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオデータストリームが生成される。このオーディオデータストリームはマルチプレクサ１１９に供給される。

サブタイトル発生部１１４では、ＤＶＢの字幕データであるサブタイトルデータ（２次元画像用）が発生される。このサブタイトルデータは、視差情報作成部１１５およびサブタイトル処理部１１６に供給される。

データ取り出し部１１１から取り出されたピクセル（画素）毎の視差ベクトルは、視差情報作成部１１５に供給される。この視差情報作成部１１５では、ピクセル毎の、あるいは複数のピクセルに対しての視差ベクトルに対してダウンサイジング処理が施され、各階層の視差情報（disparity）が作成される。この視差情報は、サブタイトル処理部１１６に供給される。

サブタイトル処理部１１６では、サブタイトル発生部１１４で発生されたサブタイトルデータに基づいて、例えば、リージョン内にサブリージョンの領域が定義される。また、サブタイトル処理部１１６では、視差情報作成部１１５で作成された視差情報に基づいて、左眼画像および右眼画像における重畳情報の表示位置をシフト調整するための視差情報が設定される。この場合、視差情報は、サブリージョンまたはリージョン毎に、あるいはページ毎に設定される。

サブタイトル処理部１１６から出力されるサブタイトルデータおよび表示制御情報は、サブタイトルエンコーダ１１８に供給される。表示制御情報には、サブリージョン領域の領域情報、視差情報などが含まれている。このサブタイトルエンコーダ１１８では、「第１のタイプ」または「第２のタイプ」で、第１および第２のプライベートデータストリーム（エレメンタリストリーム）が生成される。

「第１のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含む第１のプライベートデータストリーム（２Ｄストリーム）が生成される。さらに、この「第１のタイプ」では、ＤＤＳ、ＤＳＳ、ＥＤＳの各セグメントを含む第２のプライベートデータストリーム（３Ｄ拡張ストリーム）が生成される。「第２のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含む第１のプライベートデータストリーム（２Ｄストリーム）が生成される。さらに、この「第２のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含む第２のプライベートデータストリーム（３Ｄストリーム）が生成される。上述したように、ＤＳＳのセグメントは、表示制御情報を含むセグメントである。

マルチプレクサ１１９には、上述したように、ビデオエンコーダ１１２、オーディオエンコーダ１１３およびサブタイトルエンコーダ１１８からの各データストリームが供給される。そして、このマルチプレクサ１１９では、各データストリームがＰＥＳパケット化されて多重され、多重化データストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳは、ＰＥＳストリームとして、ビデオデータストリーム、オーディオデータストリームの他に、第１および第２のプライベートデータストリームを有するものとなる。

図１６は、「第１のタイプ」におけるトランスポートストリームＴＳの構成例を示している。なお、この図においては、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。

この構成例では、２Ｄストリーム（第１のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES1」と、３Ｄ拡張ストリーム（第２のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES2」が含まれている。２Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている。３Ｄ拡張ストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＤＳＳ、ＥＤＳの各セグメントが含まれている。この場合、２Ｄストリーム、３Ｄ拡張ストリームの“Elementary_PID”がＰＩＤ１，ＰＩＤ２のように異なるように設定され、これらのストリームが別のストリームであることが示される。

図１７は、ＰＣＳ（page_composition_segment）の構造を示している。このＰＣＳのセグメントタイプは、図１８に示すように、「0x10」である。「region_horizontal_address」、「region_vertical_address」は、リージョン（region）の開始位置を示す。なお、ＤＤＳ、ＲＣＳ、ＯＤＳなどのその他のセグメントについては、その構造の図示は省略する。図１８に示すように、ＤＤＳのセグメントタイプは「0x14」であり、ＲＣＳのセグメントタイプは「0x11」であり、ＣＤＳのセグメントタイプは「0x12」であり、ＯＤＳのセグメントタイプは「0x13」であり、ＥＤＳのセグメントタイプは「0x80」である。さらに、図１８に示すように、ＤＳＳのセグメントタイプは、「0x15」である。このＤＳＳのセグメントの詳細構造については、後述する。

図１６に戻って、また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。このＥＩＴには、番組単位のメタデータが記載される。

ＰＭＴの配下に、サブタイトルの内容を示すサブタイトル・デスクリプタ（Subtitle descriptor）が挿入されている。また、ＥＩＴの配下に、ストリーム毎に、配信内容を示すコンポーネント・デスクリプタ（Component_Descriptor）が挿入されている。図１９に示すように、コンポーネント・デスクリプタの“stream_content”がサブタイトル（subtitle）を示す場合、“component_type”が「0x15」あるいは「0x25」であるときは３Ｄ用サブタイトルを示し、その他の値のときは２Ｄ用サブタイトルを示す。図１６に示すように、サブタイトル・デスクリプタの“subtitling_type”は、“component_type”と同じ値に設定される。

また、このＰＭＴには、サブタイトルエレメンタリストリームに関連した情報を持つサブタイトルエレメンタリ・ループが存在する。このサブタイトルエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。

「第１のタイプ」の場合、３Ｄ拡張ストリームに含まれる各セグメントが２Ｄストリームの各セグメントに関連することを示すように、サブタイトル・デスクリプタの“composition_page_id”が設定される。すなわち、３Ｄ拡張ストリームと２Ｄストリームとで、この“composition_page_id”は、同じ値（図示では「0xXXXX」）を共有するように設定される。また、この「第１のタイプ」の場合、３Ｄ拡張ストリームに含まれる各セグメントが２Ｄストリームの各セグメントに関連することを示すように、双方のストリームで、関連する各セグメントの“page_id”が同じ値を有するようにエンコードされる。

図２０は、「第２のタイプ」におけるトランスポートストリームＴＳの構成例を示している。なお、この図においても、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。

この構成例では、２Ｄストリーム（第１のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES1」と、３Ｄストリーム（第２のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES2」が含まれている。２Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている。３Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている。

「第２のタイプ」の場合、３Ｄストリームは、２ＤストリームにＤＳＳのセグメントが挿入された構成となっている。すなわち、この３Ｄストリームには、３Ｄ対応表示するために必要なすべての情報が含まれている。この場合、２Ｄストリーム、３Ｄストリームの“Elementary_PID”がＰＩＤ１，ＰＩＤ２のように異なるように設定され、これらのストリームが別のストリームであることが示される。また、この「第２のタイプ」の場合、３Ｄストリームと２Ｄストリームとで、サブタイトル・デスクリプタの“composition_page_id”は、別の値（図示では「0xXXXX」と「0xYYYY」）が設定される。

［視差情報の更新］
上述したように、「第１のタイプ」では３Ｄ拡張ストリームにより視差情報が送信され、「第２のタイプ」では３Ｄストリームにより視差情報が送信される。この視差情報の更新について説明する。

図２１、図２２は、インターバル期間（Interval period）を用いた視差情報の更新例を示している。図２１は、インターバル期間（Interval period）が固定で、しかも、その期間が更新期間と等しい場合を示している。すなわち、Ａ−Ｂ、Ｂ−Ｃ、Ｃ−Ｄ、・・・の各更新期間は、１個のインターバル期間からなっている。

図２２は、一般的なもので、インターバル期間（Interval period）を短期間（例えば、フレーム周期でもよい）とした場合の、視差情報の更新例を示している。この場合、インターバル期間の個数は、各更新期間において、Ｍ，Ｎ，Ｐ，Ｑ，Ｒとなる。なお、図２１、図２２において、“Ａ”は字幕表示期間の開始フレーム（開始時点）を示し、“Ｂ”〜“Ｆ”は、その後の更新フレーム（更新時点）を示している。

字幕表示期間内で順次更新される視差情報を受信側（セットトップボックス２００など）に送る場合、受信側においては、更新期間毎の視差情報に補間処理を施すことで、任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して使用することが可能である。

図２３は、「第２のタイプ」における３Ｄストリームの構成例を示している。図２３（ａ）は、ＤＳＳのセグメントが一個だけ挿入される例を示している。ＰＥＳヘッダには、時間情報（ＰＴＳ）が含まれている。また、ＰＥＳペイロードデータとして、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている。これらは、サブタイトル表示期間の開始前に一括送信される。この一個のＤＳＳのセグメントには、字幕表示期間で順次更新される複数の視差情報が含められる。

なお、一個のＤＳＳに字幕表示期間で順次更新される複数の視差情報を含めずに、この複数の視差情報を受信側（セットトップボックス２００など）に送ることもできる。この場合、３Ｄストリームに、更新を行うタイミング毎にＤＳＳのセグメントが挿入される。

図２３（ｂ）は、その場合の３Ｄストリームの構成例を示している。ＰＥＳペイロードデータとして、最初に、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが送信される。その後に、更新を行うタイミングで、視差情報更新のための所定個数のＤＳＳセグメントが送信される。最後には、ＤＳＳセグメントと共にＥＤＳセグメントも送信される。

なお、図２３は「第２のタイプ」における３Ｄストリームの構成例を示したが、「第１のタイプ」における３Ｄ拡張ストリームにおいても、同様の構成が可能である。すなわち、３Ｄ拡張フレームに一個のＤＳＳのセグメントが挿入され、このＤＳＳのセグメントに字幕表示期間で順次更新される複数の視差情報を含めることができる。あるいは、３Ｄ拡張フレームに、視差情報の更新を行うタイミング毎に、ＤＳＳのセグメントが挿入される。

図２４は、上述したようにＤＳＳのセグメントを順次送信する場合における、視差情報の更新例を示している。なお、図２４において、“Ａ”は字幕表示期間の開始フレーム（開始時点）を示し、“Ｂ”〜“Ｆ”は、その後の更新フレーム（更新時点）を示している。

ＤＳＳセグメントを順次送信して、字幕表示期間内で順次更新される視差情報を受信側（セットトップボックス２００など）に送る場合も、受信側においては、上述したと同様の処理が可能である。すなわち、この場合も、受信側においては、更新期間毎の視差情報に補間処理を施すことで、任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して使用することが可能である。

図２５は、上述の図２２と同様の、視差情報（disparity）の更新例を示している。更新フレーム間隔は、単位期間としてのインターバル期間（ＩＤ：Interval Duration）の倍数で表される。例えば、更新フレーム間隔「DivisionPeriod 1」は“ＩＤ＊Ｍ”で表され、更新フレーム間隔「Division Period 2」は“ＩＤ＊Ｎ”で表され、以下の各更新フレーム間隔も同様に表される。図２５に示す視差情報の更新例においては、更新フレーム間隔は固定ではなく、視差情報カーブに応じた更新フレーム間隔の設定が行われている。

また、この視差情報（disparity）の更新例において、受信側では、字幕表示期間の開始フレーム（開始時刻）Ｔ1_0は、この視差情報が含まれるＰＥＳストリームのヘッダに挿入されているＰＴＳ（PresentationTime Stamp）で与えられる。そして、受信側では、視差情報の各更新時刻が、各更新フレーム間隔の情報であるインターバル期間の情報（単位期間の情報）およびそのインターバル期間の個数の情報に基づいて求められる。

この場合、字幕表示期間の開始フレーム（開始時刻）Ｔ1_0から、以下の（１）式に基づいて、順次各更新時刻が求められる。この（１）式において、「interval_count」はインターバル期間の個数を示し、図２５におけるＭ，Ｎ，Ｐ，Ｑ，Ｒ，Ｓに相当する値である。また、この（１）式において、「interval_time」は、図２５におけるインターバル期間（ＩＤ）に相当する値である。

Tm_n= Tm_(n-1) + (interval_time * interval_count) ・・・（１）

例えば、図２５に示す更新例においては、この（１）式に基づいて、各更新時刻が以下のように求められる。すなわち、更新時刻Ｔ1_1は、開始時刻（Ｔ1_0）と、インターバル期間（ＩＤ）と、個数（Ｍ）が用いられて、「T1_1 = T1_0 + (ID * M) 」のように求められる。また、更新時刻Ｔ1_2は、更新時刻（Ｔ1_1）と、インターバル期間（ＩＤ）と、個数（Ｎ）が用いられて、「T1_2 = T1_1+ (ID * N) 」のように求められる。以降の各更新時刻も同様に求められる。

図２５に示す更新例において、受信側では、字幕表示期間内で順次更新される視差情報に関して、補間処理が施され、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成されて使用される。例えば、この補間処理として、線形補間処理ではなく、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理が行われることで、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）の変化がなだらかとされる。図２５の破線ａはＬＰＦ出力例を示している。

図２６は、字幕としてのサブタイトルの表示例を示している。この表示例においては、ページ領域（Area for Page_default）に、字幕表示領域としてのリージョン（Region）が２つ（リージョン１、リージョン２）含まれている。リージョンには１つまたは複数のサブリージョンが含まれている。ここでは、リージョンに１つのサブリージョンが含まれており、リージョン領域とサブリージョン領域とが等しいものとする。

図２７は、ＤＳＳのセグメントに、字幕表示期間に順次更新される視差情報（Disparity）として、リージョン単位の視差情報とページ単位の視差情報の双方が含まれている場合において、各リージョンとページの視差情報カーブの一例を示している。ここで、ページの視差情報カーブは、２つのリージョンの視差情報カーブの最小値を採るような形とされている。

リージョン１（Region1）に関しては、開始時刻であるＴ1_0と、その後の更新時刻であるＴ1_1，Ｔ1_2，Ｔ1_3，・・・，Ｔ1_6の７個の視差情報が存在する。また、リージョン２（Region2）に関しては、開始時刻であるＴ2_0と、その後の更新時刻であるＴ2_1，Ｔ2_2，Ｔ2_3，・・・，Ｔ2_7の８個の視差情報が存在する。さらに、ページ（Page_default）に関しては、開始時刻であるＴ0_0と、その後の更新時刻であるＴ0_1，Ｔ0_2，Ｔ0_3，・・・，Ｔ0_6の７個の視差情報が存在する。

図２８は、図２７に示すページおよび各リージョンの視差情報がどのような構造で送られるかを示している。最初にページレイヤについて説明する。このページレイヤには、視差情報の固定値である「page_default_disparity」が配置される。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_page_updete」が、順次配置される。なお、開始時刻の「interval_count」は“０”とされる。

次に、リージョンレイヤについて説明する。リージョン１（サブリージョン１）については、視差情報の固定値である「subregion_disparity_integer_part」および「subregion_disparity_fractional_part」が配置される。ここで、「subregion_disparity_integer_part」は視差情報の整数部分を示し、「subregion_disparity_fractional_part」は視差情報の小数部分を示している。

そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_region_updete_integer_part」および「disparity_region_updete_fractional_part」が、順次配置される。ここで、「disparity_region_updete_integer_part」は視差情報の整数部分を示し、「disparity_region_updete_fractional_part」は視差情報の小数部分を示している。なお、開始時刻の「interval_count」は“０”とされる。

リージョン２（サブリージョン２）については、上述のリージョン１と同様であり、視差情報の固定値である「subregion_disparity_integer_part」および「subregion_disparity_fractional_part」が配置される。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_region_updete_integer_part」および「disparity_region_updete_fractional_part」が、順次配置される。

図２９〜図３１は、ＤＳＳ（Disparity_Signaling_ Segment）の構造例（syntax）を示している。図３２〜図３５は、ＤＳＳの主要なデータ規定内容（semantics）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「dss_version_number」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＤＳＳを示す値とされる。「segment_length」は、以降のバイト数を示す８ビットのデータである。

「disparity_shift_update_sequence_page_flag」の１ビットフラグは、ページ単位の視差情報として字幕表示期間に順次更新される視差情報があるか否かを示す。“１”は存在することを示し、“０”は存在しないことを示す。「page_default_disparity_shift」の８ビットフィールドは、ページ単位の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報を示す。上述した「disparity_page_update_sequence_flag」のフラグが“１”であるとき、「disparity_shift_update_sequence()」の読み出しが行われる。

図３１は、「disparity_shift_update_sequence()」の構造例（Syntax）を示している。「disparity_page_update_sequence_length」は、以降のバイト数を示す８ビットのデータである。「interval_duration[23..0]」の２４ビットフィールドは、単位期間としてのインターバル期間（Interval Duration）（図２５参照）を９０ＫＨｚ単位で指定する。つまり、「interval_duration[23..0]」は、このインターバル期間（Interval Duration）を９０ＫＨｚのクロックで計測した値を２４ビット長で表す。

ＰＥＳのヘッダ部に挿入されているＰＴＳが３３ビット長であるのに対して、２４ビット長とされているのは、以下の理由からである。すなわち、３３ビット長では２４時間分を超える時間を表現できるが、字幕表示期間内のこのインターバル期間（Interval Duration）としては不必要な長さである。また、２４ビットとすることで、データサイズを縮小でき、コンパクトな伝送を行うことができる。また、２４ビットは８×３ビットであり、バイトアラインが容易となる。

「division_period_count」の８ビットフィールドは、視差情報が影響を及ぼす期間（Division Period）の数を示す。例えば、図２５に示す更新例の場合には、開始時刻であるＴ1_0とその後の更新時刻であるＴ1_1〜Ｔ1_6に対応して、この数は“７”となる。この「division_period_count」の８ビットフィールドが示す数だけ、以下のforループが繰り返される。

「interval_count」の８ビットフィールドは、インターバル期間の個数を示す。例えば、図２５に示す更新例の場合には、Ｍ，Ｎ，Ｐ，Ｑ，Ｒ，Ｓが相当する。「disparity_shift_update_integer_part」の８ビットフィールドは、視差情報を示す。開始時刻の視差情報（視差情報の初期値）に対応して「interval_count」は“０”とされる。つまり、「interval_count」が“０”であるとき、「disparity_page_update」は開始時刻の視差情報（視差情報の初期値）を示す。

図２９のwhileループは、それまでに処理したデータ長（processed_length）が、セグメントデータ長（segment_length）に達していないとき、繰り返される。このwhileループ中に、リージョン単位、あるいはリージョン内のサブリージョン単位の視差情報が配置される。ここで、リージョンには１つまたは複数のサブリージョンが含まれ、サブリージョン領域とリージョン領域とが同じ場合もある。

このwhileループ中に、「region_id」の情報が含まれている。「disparity_shift_update_sequence_region_flag」の１ビットフラグは、リージョン内の全サブリージョンのための「disparity_shift_update_sequence()」が存在するか否かを示すフラグ情報である。「number_of_subregions_minus_1」の２ビットフィールドは、リージョン内のサブリージョンの数から１を引いた値を示す。「number_of_subregions_minus_1=0」のとき、リージョンは、リージョンと同じ寸法の１つのサブリージョンを持つ。

「number_of_subregions_minus_1>0」のとき、リージョンは、水平方向に分けられた複数のサブリージョンを持つ。図３０のforループの中に、サブリージョンの数の分だけ、「subregion_horizontal_position」、「subregion_width」の情報が含まれる。「subregion_horizontal_position」の１６ビットフィールドは、サブリージョンの左端のピクセル位置を示す。「subregion_width」はサブリージョンの水平方向の幅をピクセル数で示す。

「subregion_disparity_shift_integer_part」の８ビットフィールドは、リージョン単位（サブリージョン単位）の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報の整数部分を示す。「subregion_disparity_shift_fractional_part」の４ビットフィールドは、リージョン単位（サブリージョン単位）の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報の小数部分を示す。上述した「disparity_shift_update_sequence_region_flag」のフラグが“１”であるとき、「disparity_shift_update_sequence()」（図３１参照）の読み出しが行われる。

図３６は、セットトップボックス２００およびテレビ受信機３００が３Ｄ対応機器である場合の放送受信概念を示している。この場合、放送局１００では、リージョン「Region 0」内にサブリージョン「SR 00」が定義され、その視差情報「Disparity 1」が設定される。ここでは、リージョン「Region 0」とサブリージョン「SR 00」とは同じ領域であるとする。放送局１００から、立体画像データと共に、サブタイトルデータ、表示制御情報（サブリージョンの領域情報「Position」、視差情報「Disparity 1」）が送信される。

最初に、３Ｄ対応機器であるセットトップボックス２００で受信される場合について説明する。この場合、セットトップボックス２００は、「第１のタイプ」においては、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込み、３Ｄ拡張ストリームから視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを読み込んで用いる。また、セットトップボックス２００は、「第２のタイプ」においては、３Ｄストリームからサブタイトルデータを構成する各セグメント、さらには視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを読み込んで用いる。

セットトップボックス２００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス２００は、リージョンの表示データを、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれ重畳して、出力立体画像データを得る。この際、セットトップボックス２００は、視差情報に基づいて、それぞれに重畳される表示データの位置をシフト調整する。なお、セットトップボックス２００は、立体画像データの伝送フォーマット（サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、あるいは、各ビューがフル画面サイズを有するフォーマット方式）に応じて、適宜、重畳位置、サイズなどの変更を行う。

セットトップボックス２００は、上述のようにして得られた出力立体画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、３Ｄ対応のテレビ受信機３００に送信する。テレビ受信機３００は、セットトップボックス２００から送られてくる立体画像データに３Ｄ信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

次に、３Ｄ対応機器であるテレビ受信機３００で受信される場合について説明する。この場合、テレビ受信機３００は、「第１のタイプ」においては、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込み、３Ｄ拡張ストリームから視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを読み込んで用いる。また、セットトップボックス２００は、「第２のタイプ」においては、３Ｄストリームからサブタイトルデータを構成する各セグメント、さらには視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを読み込んで用いる。

テレビ受信機３００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、テレビ受信機３００は、リージョンの表示データを、立体画像データに伝送フォーマットに応じた処理をして得られた左眼画像データおよび右眼画像データにそれぞれ重畳し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。

図３７は、セットトップボックス２００およびテレビ受信機３００がレガシーの２Ｄ対応機器である場合の放送受信概念を示している。この場合、放送局１００では、リージョン「Region 0」内にサブリージョン「SR 00」が定義され、その視差情報「Disparity 1」が設定される。ここでは、リージョン「Region 0」とサブリージョン「SR 00」とは同じ領域であるとする。放送局１００から、立体画像データと共に、サブタイトルデータ、表示制御情報（サブリージョンの領域情報「Position」、視差情報「Disparity 1」）が送信される。

次に、レガシーの２Ｄ対応機器であるセットトップボックス２００で受信される場合について説明する。この場合、セットトップボックス２００は、「第１のタイプ」および「第２のタイプ」のいずれにおいても、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込んで用いる。つまり、視差情報などの表示制御情報を含むＤＳＳのセグメントの読み込みを行わないので、その読み込みが受信処理の妨げとなることを回避できる。

セットトップボックス２００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス２００は、リージョンの表示データを、立体画像データに対して伝送フォーマットに応じた処理が施されて得られた２次元画像データに重畳して、出力２次元画像データを得る。

セットトップボックス２００は、上述のようにして得られた出力２次元画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。テレビ受信機３００は、セットトップボックス２００から送られてくる２次元画像データによる２次元画像を表示する。

次に、２Ｄ対応機器であるテレビ受信機３００で受信される場合について説明する。この場合、テレビ受信機３００は、「第１のタイプ」および「第２のタイプ」のいずれにおいても、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込んで用いる。つまり、視差情報などの表示制御情報を含むＤＳＳのセグメントの読み込みを行わないので、その読み込みが受信処理の妨げとなることを回避できる。

テレビ受信機３００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。テレビ受信機３００は、このリージョンの表示データを、立体画像データに対して伝送フォーマットに応じた処理が施されて得られた２次元画像データに重畳して、２次元画像データを得る。そして、テレビ受信機３００は、この２次元画像データによる２次元画像を表示する。

図２に示す送信データ生成部１１０において、マルチプレクサ１１９から出力される多重化データストリームとしてのトランスポートストリームＴＳは、２つのプライベートデータストリームが含まれるものとされる。すなわち、「第１のタイプ」では２Ｄストリームおよび３Ｄ拡張ストリームが含まれ、「第２のタイプ」では２Ｄストリームおよび３Ｄストリームが含まれる（図１０、図１１参照）。

そのため、受信側のレガシーの２Ｄ対応の受信装置では、２Ｄストリームからサブタイトルデータを構成する各セグメントのみを読み込んで受信処理を行うことができる。つまり、２Ｄ対応の受信装置では、３Ｄ拡張ストリーム、あるいは３ＤストリームからＤＳＳのセグメントを読み込まないで済み、その読み込みが受信処理の妨げとなることを回避できる。

また、受信側の３Ｄ対応の受信装置では、３Ｄ拡張ストリームあるいは３ＤストリームからＤＳＳのセグメント、従って表示制御情報（サブリージョンの領域情報、視差情報などを含む）を読み込むことができ、立体画像の表示内容に合わせた左眼画像および右眼画像のサブタイトル（字幕）の視差調整を行うことが可能となる。

また、図２に示す送信データ生成部１１０においては、サブタイトル表示期間において順次更新される視差情報を含むＤＳＳセグメントを送信できるので、左眼サブタイトルおよび右眼サブタイトルの表示位置を動的に制御できる。これにより、受信側においては、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、図２に示す送信データ生成部１１０においては、サブタイトルエンコーダ１１６８で得られるＤＳＳのセグメントに含まれる更新フレーム間隔毎のフレームの視差情報は、前回の視差情報からのオフセット値ではなく、視差情報そのものである。そのため、受信側において、補間過程でエラーが生じても、一定遅延時間内にエラーからの復帰が可能になる。

［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、トランスポートストリームＴＳには、サブタイトル（字幕）を表示するための立体画像用のサブタイトルデータ（表示制御情報を含む）も含まれている。

すなわち、トランスポートストリームＴＳは、ＰＥＳのストリームとして、ビデオデータストリーム、オーディオデータストリーム、第１および第２のプライベートデータストリームを有している。上述したように、「第１のタイプ」の場合、第１および第２のプライベートデータストリームは、それぞれ、２Ｄストリームおよび３Ｄ拡張ストリームである（図１０参照）。また、「第２のタイプ」の場合、第１および第２のプライベートデータストリームは、それぞれ、２Ｄストリームおよび３Ｄストリームである（図１１参照）。

セットトップボックス２００は、ビットストリーム処理部２０１を有している。セットトップボックス２００が３Ｄ対応機器（3D STB）である場合、ビットストリーム処理部２０１は、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含む）を取得する。

この場合、ビットストリーム処理部２０１は、「第１のタイプ」においては、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを取得し、３Ｄ拡張ストリームから視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを取得する。また、ビットストリーム処理部２０１は、「第２のタイプ」においては、３Ｄストリームからサブタイトルデータを構成する各セグメント、さらには視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを取得する。

そして、ビットストリーム処理部２０１は、立体画像データ、サブタイトルデータ（表示制御情報を含む）を用いて、左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれサブタイトルが重畳された出力立体画像データを生成する（図３６参照）。この場合、左眼画像に重畳するサブタイトル（左眼サブタイトル）と右眼画像に重畳するサブタイトル（右眼サブタイトル）との間に視差を付与できる。

例えば、上述したように、放送局１００から送られてくる立体画像用のサブタイトルデータに付加されている表示制御情報には、視差情報が含まれており、この視差情報に基づいて、左眼サブタイトルおよび右眼サブタイトルの間に視差を付与できる。このように、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されることで、ユーザは、サブタイトル（字幕）を画像の手前に認識可能となる。

図３８（ａ）は、画像上におけるサブタイトル（字幕）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図３８（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。

図３９（ａ）は、図３８（ａ）と同じ、画像上におけるサブタイトル（字幕）の表示例を示している。図３９（ｂ）は、左眼画像に重畳される左眼字幕ＬＧＩと、右眼画像に重畳される右眼字幕ＲＧＩを示している。図３９（ｃ）は、字幕が最も手前に認識されるために、左眼字幕ＬＧＩと右眼字幕ＲＧＩとの間に視差が与えられることを示している。

また、セットトップボックス２００がレガシーの２Ｄ対応機器（2D STB）である場合、ビットストリーム処理部２０１は、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含まないビットマップ・パターンデータ）を取得する。そして、ビットストリーム処理部２０１は、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された２次元画像データを生成する（図３７参照）。

この場合、ビットストリーム処理部２０１は、「第１のタイプ」および「第２のタイプ」のいずれにおいても、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを取得する。つまり、この場合、３Ｄ拡張ストリームあるいは３ＤストリームからＤＳＳのセグメントを読み込むことを行わないので、その読み込みが受信処理の妨げとなることを回避できる。

［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図４０は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモートコントロール受信部（ＲＣ受信部）２１５と、リモートコントロール送信機（ＲＣ送信機）２１６を有している。

アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリームＴＳ（ビットストリームデータ）を出力する。

ビットストリーム処理部２０１は、トランスポートストリームＴＳに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データを出力する。このビットストリーム処理部２０１は、セットトップボックス２００が３Ｄ対応機器（3D STB）である場合、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含む）を取得する。

ビットストリーム処理部２０１は、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれサブタイトルが重畳された出力立体画像データを生成する（図３６参照）。この際、視差情報に基づいて、左眼画像に重畳するサブタイトル（左眼サブタイトル）と右眼画像に重畳するサブタイトル（右眼サブタイトル）との間に視差を付与する。

すなわち、ビットストリーム処理部２０１は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、ビットストリーム処理部２０１は、リージョンの表示データを、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれ重畳して、出力立体画像データを得る。この際、ビットストリーム処理部２０１は、視差情報に基づいて、それぞれに重畳される表示データの位置をシフト調整する。

また、ビットストリーム処理部２０１は、セットトップボックス２００が２Ｄ対応機器（2D STB）である場合、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含まない）を取得する。ビットストリーム処理部２０１は、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された２次元画像データを生成する（図３７参照）。

すなわち、ビットストリーム処理部２０１は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、ビットストリーム処理部２０１は、リージョンの表示データを、立体画像データに対して伝送フォーマットに応じた処理が施されて得られた２次元画像データに重畳して、出力２次元画像データを得る。

映像信号処理回路２０５は、ビットストリーム処理部２０１で得られた画像データに対して必要に応じて画質調整処理などを行い、処理後の画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。

ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよび音声データがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。

ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。

ＲＣ受信部２１５は、ＲＣ送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。

セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリーム（ビットストリームデータ）ＴＳが出力される。

デジタルチューナ２０４から出力されるトランスポートストリーム（ビットストリームデータ）ＴＳは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、以下のようにして、テレビ受信機３００に出力するための出力画像データが生成される。

セットトップボックス２００が３Ｄ対応機器（3D STB）である場合、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含む）が取得される。そして、このビットストリーム処理部２０１では、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれサブタイトルが重畳された出力立体画像データが生成される。この際、視差情報に基づいて、左眼画像に重畳する左眼サブタイトルと右眼画像に重畳する右眼サブタイトルとの間に視差が付与される。

また、セットトップボックス２００が２Ｄ対応機器（2D STB）である場合、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含まない）が取得される。そして、このビットストリーム処理部２０１では、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された２次元画像データが生成される。

ビットストリーム処理部２０１で得られた出力画像データは、映像信号処理回路２０５に供給される。この映像信号処理回路２０５では、出力画像データに対して、必要に応じて画質調整処理等が施される。この映像信号処理回路２０５から出力される処理後の画像データは、ＨＤＭＩ送信部２０６に供給される。

また、ビットストリーム処理部２０１で得られた音声データは、音声信号処理回路２０７に供給される。この音声信号処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。

［ビットストリーム処理部の構成例］
図４１は、セットトップボックス２００が３Ｄ対応機器（3D STB）である場合におけるビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応した構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２１と、ビデオデコーダ２２２と、オーディオデコーダ２２９を有している。また、このビットストリーム処理部２０１は、サブタイトルデコーダ２２３と、サブタイトル発生部２２４と、表示制御部２２５と、視差情報処理部２２７と、ビデオ重畳部２２８を有している。

デマルチプレクサ２２１は、トランスポートストリームＴＳから、ビデオデータストリーム、オーディオデータストリームのパケットを抽出し、各デコーダに送ってデコードする。また、デマルチプレクサ２２１は、さらに、以下のストリームを抽出し、サブタイトルデコーダ２２３に送ってデコードする。この場合、「第１のタイプ」では２Ｄストリームおよび３Ｄ拡張ストリームを抽出してデコードし、「第２のタイプ」では３Ｄストリームを抽出してデコードする。

ＣＰＵ２１１は、「第１のタイプ」において、２Ｄストリーム、３Ｄ拡張ストリームに関連してＰＭＴ内のＥＳループに配置されるサブタイトル・デスクリプタ内の“composition_page_id”の値に基づき、双方のＰＥＳストリームをデコードすべきことを認識する。すなわち、“composition_page_id”の値が同じである場合、双方のＰＥＳストリームをデコードすることを意味する。あるいは、composition_page_id”の値が同じ値で、しかも特別な値（予め定義される）である場合、双方のＰＥＳストリームをデコードすることを意味する。

なお、「第１のタイプ」において、２Ｄストリーム、３Ｄ拡張ストリームの２つのＰＥＳストリームの双方をデコードすべきことを示す、２つのストリームを関連付けるデスクリプタを新規定義し、所定の場所に配置することも考えられる。ＣＰＵ２１１は、このデスクリプタにより、双方のＰＥＳストリームをデコードすべきことを認識し、ビットストリーム処理部２０１を制御する。

図４２は、２Ｄストリーム、３Ｄ拡張ストリームを関連付けるために使用できるマルチ・デコーディング・デスクリプタ（multi_decoding descriptor）の構造例（syntax）を示している。図４３は、その構造例における主要な情報の内容（Semantics）を示している。

「descriptor_tag」の８ビットフィールドは、このデスクリプタがマルチ・デコーディング・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。

「stream_content」の４ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのストリームタイプを示す。「component_type」の４ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのコンポーネントタイプを示す。これら「stream_content」、「component_type」には、メインのストリームに対応したコンポーネント・デスクリプタ内の「stream_content」、「component_type」と同じ情報とされる。

この実施の形態において、メインのストリームが２Ｄストリームとされ、「stream_content」はサブタイトル“subtitle”とされ、「component_type」は、２次元用“2D”とされる。

「component_tag」は、メインのストリームに対応したストリーム・アイデンチファイヤ・デスクリプタ（stream_identifier descriptor）内の「component_tag」と同じ値を持つ。これにより、ストリーム・アイデンチファイヤ・デスクリプタと、マルチ・デコーディング・デスクリプタとを、「component_tag」で関連付けする。

「multi_decoding_count」の４ビットフィールドは、メインのストリームに関連付けするターゲットのストリームの数を示す。この実施の形態において、メインのストリームである２Ｄストリームに関連するターゲットのストリームは３Ｄ拡張ストリームであり、「multi_decoding_count」は「１」となる。

「target_stream_component_type」の８ビットフィールドは、メインのストリームに追加されるストリームの例えばビデオ、オーディオ、サブタイトルなどのストリームタイプを示す。「component_type」の４ビットフィールドは、ターゲットのストリームのコンポーネントタイプを示す。また、「target_stream_component_tag」の８ビットフィールドは、ターゲットのストリームに対応したストリーム・アイデンチファイヤ・デスクリプタ（stream_identifier descriptor）内の「component_tag」と同じ値を持つ。

この実施の形態において、ターゲットのストリームが３Ｄ拡張ストリームとされ、「target_stream_component_type」は３次元用“3D”とされ、「target_stream_component_tag」は３Ｄ拡張ストリームの「component_tag」と同じ値とされる。

マルチ・デコーディング・デスクリプタは、例えば、ＰＭＴの配下、あるいはＥＩＴの配下に配置される。図４４は、マルチ・デコーディング・デスクリプタを配置した場合における、「第１のタイプ」のトランスポートストリームＴＳの構成例を示している。

図４１に戻って、ビデオデコーダ２２２は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、ビデオデコーダ２２２は、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、あるいは各ビューがフル画面サイズを占めるビデオ伝送フォーマットの方式などである。

サブタイトルデコーダ２２３は、上述の送信データ生成部１１０のサブタイトルエンコーダ１１８とは逆の処理を行う。すなわち、このサブタイトルデコーダ２２３は、デマルチプレクサ２２１で抽出された各ストリームのパケットから各ストリームを再構成し、復号化処理を行って、以下のセグメントのデータを取得する。

すなわち、サブタイトルデコーダ２２３は、サブタイトルデータを構成する各セグメントのデータを取得し、さらに、ＤＳＳのセグメントのデータを取得する。サブタイトルデコーダ２２３は、サブタイトルデータを構成する各セグメントのデータに基づいて、サブタイトルデータを得る。また、サブタイトルデコーダ２２３は、ＤＳＳのセグメントのデータに基づいて、表示制御情報（サブリージョンの領域情報、視差情報など）を得る。

サブタイトル発生部２２４は、サブタイトルデコーダ２２３で取得されたサブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。ここで、リージョン内にあってサブリージョンで囲まれていない領域は、透明色が割り当てられる。サブタイトル発生部２２４は、この表示データから、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれ重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）を発生する。

この場合、サブタイトル発生部２２４は、立体画像データの伝送フォーマット（サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、ＭＶＣ方式など）に応じて、適宜、重畳位置、サイズなどの変更を行う。また、この場合、サブタイトル発生部２２４は、サブタイトルデコーダ２２３で取得された視差情報に基づいて、それぞれのフレームに重畳される表示データの位置をシフト調整する（図３６参照）。

なお、表示制御情報には、字幕表示期間内で共通に使用される視差情報が含まれる。また、この表示制御情報には、さらに、字幕表示期間内で順次更新される視差情報が含まれることもある。この字幕表示期間内で順次更新される視差情報は、上述したように、字幕表示期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなっている。

サブタイトル発生部２２４は、字幕表示期間内で共通に使用される視差情報に関しては、そのまま使用する。一方、サブタイトル発生部２２４は、字幕表示期間内で順次更新される視差情報に関しては、補間処理を施して、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して使用する。サブタイトル発生部２２４は、この補間処理として、線形補間処理ではなく、例えば、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理を行う。これにより、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）の変化がなだらかとなる。

ここで、サブタイトル発生部２２４は、字幕表示期間内で共通に使用される視差情報のみが送られてくる場合、その視差情報を使用する。また、サブタイトル発生部２２４は、さらに字幕表示期間内で順次更新される視差情報も送られてくる場合には、いずれかを選択的に使用できる。字幕表示期間内で順次更新される視差情報を用いることで、左眼サブタイトルおよび右眼サブタイトルに付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

ビデオ重畳部２２８は、出力立体画像データＶoutを得る。この場合、ビデオ重畳部２２８は、ビデオデコーダ２２２で得られた立体画像データに対し、サブタイトル発生部２２４で発生された左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）を、重畳する。ビデオ重畳部２２８は、この出力立体画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。

また、オーディオデコーダ２２９は、上述の送信データ生成部１１０のオーディオエンコーダ１１３とは逆の処理を行う。すなわち、このオーディオデコーダ２２９は、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。このオーディオデコーダ２２９は、音声データＡoutを、ビットストリーム処理部２０１の外部に出力する。

図４１に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図４０参照）から出力されるトランスポートストリームＴＳは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、トランスポートストリームＴＳから、ビデオデータストリーム、オーディオデータストリームのパケットが抽出され、各デコーダに供給される。また、このこのデマルチプレクサ２２１では、さらに、２Ｄストリームおよび３Ｄ拡張ストリーム、あるいは３Ｄストリームのパケットが抽出され、サブタイトルデコーダ２２３に供給される。

ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオデータのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。

また、サブタイトルデコーダ２２３では、サブタイトルデータを構成する各セグメントのデータが取得され、さらに、ＤＳＳのセグメントのデータが取得される。そして、このサブタイトルデコーダ２２３では、サブタイトルデータを構成する各セグメントのデータに基づいて、サブタイトルデータが得られる。また、サブタイトルデコーダ２２３では、ＤＳＳのセグメントのデータに基づいて、表示制御情報（サブリージョンの領域情報、視差情報など）が得られる。これらサブタイトルデータおよび表示制御情報はサブタイトル発生部２２４に供給される。

サブタイトル発生部２２４では、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）が生成される。そして、サブタイトル発生部２２４では、この表示データから、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれ重畳される左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）が発生される。この際、サブタイトル発生部２２４では、視差情報に基づいて、それぞれのフレームに重畳される表示データの位置がシフト調整される

サブタイトルデータ発生部２２４で発生される左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）はビデオ重畳部２２８に供給される。ビデオ重畳部２２８では、立体画像データに対し、左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）が重畳され、出力立体画像データＶoutが得られる。この出力立体画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。

また、オーディオデコーダ２２９では、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が施されて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１の外部に出力される。

図４５は、セットトップボックス２００が２Ｄ対応機器（2D STB）である場合におけるビットストリーム処理部２０１の構成例を示している。この図４５において、図４１と対応する部分には、同一符号を付し、その詳細説明は省略する。以下、説明の便宜のため、図４１に示すビットストリーム処理部２０１を３Ｄ対応ビットストリーム処理部２０１と呼び、図４５に示すビットストリーム処理部２０１を２Ｄ対応ビットストリーム処理部２０１と呼ぶこととする。

図４１に示すビデオデコーダ２２２は、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを取得する。それに対して、図４５に示すビデオデコーダ２２２は、立体画像データを取得した後、左眼画像データまたは右眼画像データを切り出し、必要に応じてスケーリング処理等を行って２次元画像データを得る。

また、図４１に示す３Ｄ対応ビットストリーム処理部２０１において、デマルチプレクサ２２１は、上述したように、「第１のタイプ」では２Ｄストリームおよび３Ｄ拡張ストリームのパケットを抽出し、「第２のタイプ」では３Ｄストリームのパケットを抽出し、サブタイトルデコーダ２２３に送る。それに対して、図４５に示す２Ｄ対応ビットストリーム処理部２０１において、デマルチプレクサ２２１は、「第１のタイプ」および「第２のタイプ」のいずれでも２Ｄストリームのパケットのみを抽出し、サブタイトルデコーダ２２３に送る。

また、図４１に示す３Ｄ対応ビットストリーム処理部２０１において、サブタイトルデコーダ２２３は、上述したように、例えば、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを取得し、さらに、３Ｄ拡張ストリームからＤＳＳのセグメントのデータを取得する。あるいは、このサブタイトルデコーダ２２３は、３Ｄストリームから、サブタイトルデータを構成する各セグメントのデータを取得し、さらに、ＤＳＳのセグメントのデータを取得する。

それに対して、図４５に示す２Ｄ対応ビットストリーム処理部２０１において、サブタイトルデコーダ２２３は、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータのみを取得する。そして、サブタイトルデコーダ２２３は、サブタイトルデータを構成する各セグメントのデータに基づいて、サブタイトルデータを得る。この場合、サブタイトルデコーダ２２３は、ＤＳＳのセグメントのデータの読み込みを行わない。そのため、その読み込みが受信処理の妨げとなることを回避できる。

また、図４１に示す３Ｄ対応ビットストリーム処理部２０１において、サブタイトル発生部２２４は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）を生成する。そして、このサブタイトル発生部２２４は、さらに、その表示データに基づいて、左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）を発生する。それに対して、図４５に示す２Ｄ対応ビットストリーム処理部２０１において、サブタイトル発生部２２４は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成するのみである。

ビデオ重畳部２２８は、ビデオデコーダ２２２で得られた２次元画像データに対し、サブタイトル発生部２２４で発生されたサブタイトルの表示データ（ビットマップデータ）を重畳し、出力２次元画像データＶoutを得る。そして、ビデオ重畳部２２８は、この出力２次元画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。

図４５に示す２Ｄビットストリーム処理部２０１の動作を簡単に説明する。なお、オーディオ系の動作については、図４１に示す３Ｄビットストリーム処理部２０１と同様であるので省略する。

デジタルチューナ２０４（図４０参照）から出力されるトランスポートストリームＴＳは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、トランスポートストリームＴＳから、ビデオデータストリーム、オーディオデータストリームのパケットが抽出され、各デコーダに供給される。また、このこのデマルチプレクサ２２１では、さらに、２Ｄストリームのパケットが抽出され、サブタイトルデコーダ２２３に供給される。

ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオデータのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。そして、ビデオデコーダ２２２では、さらに、この立体画像データから左眼画像データまたは右眼画像データが切り出され、必要に応じてスケーリング処理等が施されて、２次元画像データが得られる。この２次元画像データは、ビデオ重畳部２２８に供給される。

また、サブタイトルデコーダ２２３では、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータが取得される。そして、サブタイトルデコーダ２２３は、サブタイトルデータを構成する各セグメントのデータに基づいて、サブタイトルデータが得られる。このサブタイトルデータは、サブタイトル発生部２２４に供給される。

サブタイトル発生部２２４では、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）が生成される。この表示データは、ビデオ重畳部２２８に供給される。ビデオ重畳部２２８では、２次元画像データに対してサブタイトルの表示データ（ビットマップデータ）が重畳され、出力２次元画像データＶoutが得られる。この出力２次元画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。

図４０に示すセットトップボックス２００において、デジタルチューナ２０４から出力されるトランスポートストリームＴＳには、立体画像データ、サブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報には、表示制御情報（サブリージョンの領域情報、視差情報など）が含まれている。そのため、左眼サブタイトルおよび右眼サブタイトルの表示位置に視差を付与でき、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。

また、図４０に示すセットトップボックス２００において、３Ｄ対応ビットストリーム処理部２０１（図４１参照）の表示制御情報取得部２２６で取得される表示制御情報に字幕表示期間内で順次更新される視差情報が含まれる場合、左眼サブタイトルおよび右眼サブタイトルの表示位置を動的に制御できる。これにより、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、図４０に示すセットトップボックス２００において、３Ｄビットストリーム処理部２０１（図４１参照）のサブタイトル発生部２２４で、字幕表示期間（所定数のフレーム期間）内で順次更新される視差情報を構成する複数フレームの視差情報に対して補間処理が施される。この場合、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。

また、図４０に示すセットトップボックス２００において、３Ｄビットストリーム処理部２０１（図４１参照）のサブタイトル発生部２２４における補間処理は、例えば、時間方向（フレーム方向）のローパスフィルタ処理を伴うようにすることもできる。そのため、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向の変化をなだらかにでき、左眼サブタイトルおよび右眼サブタイトルの間に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。

なお、上述していないが、セットトップボックス２００が３Ｄ対応機器である場合であって、２次元表示モードまたは３次元表示モードのユーザ選択が可能な構成も考えられる。その場合、３次元表示モードが選択されるときには、ビットストリーム処理部２０１は、上述した３Ｄ対応ビットストリーム処理部２０１（図４１参照）と同様の構成、動作とされる。一方、２次元表示モードが選択されるときには、ビットストリーム処理部２０１は、上述した２Ｄ対応ビットストリーム処理部２０１（図４５参照）と実質的に同様の構成、動作とされる。

［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、３Ｄ対応機器である場合、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送フォーマットに対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。

［テレビ受信機の構成例］
３Ｄ対応のテレビ受信機３００の構成例を説明する。図４６は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。

また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモートコントロール受信部（ＲＣ受信部）３２５と、リモートコントロール送信機（ＲＣ送信機）３２６を有している。

アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。

ビットストリーム処理部３０６は、トランスポートストリームＴＳに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データを出力する。このビットストリーム処理部２０１は、詳細説明は省略するが、例えば、上述したセットトップボックス２００の、３Ｄ対応ビットストリーム処理部２０１（図４１参照）と同様の構成とされる。このビットストリーム処理部３０６は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された出力立体画像データを生成して出力する。

なお、このビットストリーム処理部３０６は、例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの場合、スケーリング処理を施し、フル解像度の左眼画像データおよび右眼画像データを出力する。また、ビットストリーム処理部３０６は、画像データに対応した音声データを出力する。

ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４ａとされており、立体画像データの取り扱いが可能な状態にある。

３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対して、デコード処理を行って、フル解像度の左眼画像データおよび右眼画像データを生成する。３Ｄ信号処理部３０１は、ＴＭＤＳ伝送データフォーマットに対応したデコード処理を行う。なお、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られたフル解像度の左眼画像データおよび右眼画像データに対しては何もしない。

映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。

また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。

音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。

ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。

ＲＣ受信部３２５は、ＲＣ送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。

図４６に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。

アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリーム（ビットストリームデータ）ＴＳが出力される。このトランスポートストリームＴＳは、ビットストリーム処理部３０６に供給される。

ビットストリーム処理部３０６では、ビデオデータストリーム、オーディオデータストリーム、さらには、２Ｄストリーム、３Ｄ拡張ストリーム、３Ｄストリームに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データが得られる。この場合、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データが合成され、サブタイトルが重畳された出力立体画像データ（フル解像度の左眼画像データおよび右眼画像データ）が生成される。この出力立体画像データは、３Ｄ信号処理部３０１を通って、映像・グラフィック処理回路３０７に供給される。

３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された立体画像データに対してデコード処理が行われて、フル解像度の左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、ＯＳＤ（オンスクリーンディスプレイ）等の重畳情報データの合成処理も行われる。

この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。

また、ビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。この音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。

なお、図４６は上述したように３Ｄ対応のテレビ受信機３００である。詳細説明は省略するが、レガシーの２Ｄ対応のテレビ受信機もほぼ同様の構成となる。ただし、レガシーの２Ｄ対応のテレビ受信機の場合、ビットストリーム処理部３０６は、上述の図４５に示す２Ｄ対応ビットストリーム処理部２０１と同様の構成、動作となる。また、レガシーの２Ｄ対応のテレビ受信機の場合、３Ｄ信号処理部３０１は不要となる。

また、３Ｄ対応のテレビ受信機３００にあって、２次元表示モードまたは３次元表示モードのユーザ選択が可能な構成も考えられる。その場合、３次元表示モードが選択されるときには、ビットストリーム処理部３０６は、上述したと同様の構成、動作とされる。一方、２次元表示モードが選択されるときには、ビットストリーム処理部３０６は、上述の図４５に示す２Ｄ対応ビットストリーム処理部２０１と同様の構成、動作となる。

＜２．変形例＞
なお、図４０に示すセットトップボックス２００においては、デジタルチューナ２０４に接続されるアンテナ入力端子２０３が設けられたものを示した。しかし、ケーブルを介して送信されてくるＲＦ信号を入力するセットトップボックスも同様に構成できる。その場合、アンテナ端子２０３の代わりにケーブル端子が設けられたものとなる。

また、インターネット、ホームネットワークが直接、あるいはそれらがルータ経由で接続されるセットトップボックスも同様に構成できる。つまり、その場合、セットトップボックスには、上述のトランスポートストリームＴＳがインターネット、ホームネットワークから直接、あるいはそれらからルータ経由で送られてくることになる。

図４７は、その場合におけるセットトップボックス２００Ａの構成例を示している。この図４７において、図４０と対応する部分には同一符号を付して示している。このセットトップボックス２００Ａは、ネットワークインタフェース２０９に接続されたネットワーク端子２０８を有している。そして、このネットワークインタフェース２０９からトランスポートストリームＴＳが出力され、ビットストリーム処理部２０１に供給される。詳細説明は省略するが、このセットトップボックス２００Ａのその他は、図４０に示すセットトップボックス２００と同様に構成され、同様の動作をする。

また、図４６に示すテレビ受信機３００においては、デジタルチューナ２０４に接続されるアンテナ入力端子３０４が設けられたものを示した。しかし、ケーブルを介して送信されてくるＲＦ信号を入力するテレビ受信機も同様に構成できる。その場合、アンテナ端子３０４の代わりにケーブル端子が設けられたものとなる。

また、インターネット、ホームネットワークに直接、あるいはそれらがルータ経由で接続されるテレビ受信機も同様に構成できる。つまり、その場合、テレビ受信機には、上述のトランスポートストリームＴＳがインターネット、ホームネットワークから直接、あるいはそれらからルータ経由で送られてくることになる。

図４８は、その場合におけるテレビ受信機３００Ａの構成例を示している。この図４８において、図４６と対応する部分には同一符号を付して示している。このテレビ受信機３００Ａは、ネットワークインタフェース３１４に接続されたネットワーク端子３１３を有している。そして、このネットワークインタフェース３１４からトランスポートストリームＴＳが出力され、ビットストリーム処理部３０６に供給される。詳細説明は省略するが、このテレビ受信機３００Ａのその他は、図４６に示すテレビ受信機３００と同様に構成され、同様の動作をする。

また、上述実施の形態においては、画像送受信システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図４６に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同様に機能するビットストリーム処理部３０６を備えている。したがって、図４９に示すように、放送局１００およびテレビ受信機３００で構成される画像送受信システム１０Ａも考えられる。

また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を同様に適用できる。

また、上述実施の形態においては、重畳情報としてサブタイトル（字幕）を取り扱うものを示した。しかし、その他のグラフィクス情報、テキスト情報などの重畳情報をはじめ、基本ストリームと追加ストリームとに分割されたものが関連して出力されるようにエンコーダされるもので、オーディオのストリームに関して扱うものにも、この発明を同様に適用できる。

また、本技術は、以下のような構成を取ることもできる。
（１）左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含むビデオデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第１のプライベートデータストリームと、上記視差情報出力部から出力される視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信するデータ送信部とを備える
送信装置。
（２）上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームには、上記重畳情報のデータによる表示と上記視差情報によるシフト制御とを同期させるための同期情報が含まれている
前記（１）に記載の送信装置。
（３）上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
前記（１）または（２）に記載の送信装置。
（４）上記重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、
上記視差情報は、リージョン単位または該リージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報である
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記多重化ストリームには、上記第１のプライベートデータストリームと上記第２のプライベートデータストリームとを関連付けする関連付け情報が挿入される
前記（１）から（４のいずれかに記載の送信装置。
（６）左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
上記画像データ出力ステップで出力される立体画像データを含むビデオデータストリームと、上記重畳情報データ出力ステップで出力される重畳情報のデータを含む第１のプライベートデータストリームと、上記視差情報出力ステップで出力される視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信するデータ送信ステップとを備える
送信方法。
（７）左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含むビデオデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第１のプライベートデータストリームと、重畳情報データ出力部から出力される重畳情報データおよび上記視差情報出力部から出力される視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信するデータ送信部とを備える
送信装置。
（８）上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
前記（７）に記載の送信装置。
（９）上記重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、
上記視差情報は、リージョン単位または該リージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報である
前記（７）または（８）に記載の送信装置。
（１０）左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
上記画像データ出力ステップで出力される立体画像データを含むビデオデータストリームと、上記重畳情報データ出力ステップで出力される重畳情報データを含む第１のプライベートデータストリームと、上記重畳情報データ出力ステップで出力される重畳情報データおよび上記視差情報出力ステップで出力される視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信するデータ送信ステップとを備える
送信方法。
（１１）ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第２のプライベートデータストリームを抽出し、該第２のプライベートデータストリームから上記視差情報を取得し、
上記画像データ処理部は、
上記情報取得部で取得された上記立体画像データ、上記重畳情報のデータおよび上記視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る
受信装置。
（１２）上記多重化データストリームには、上記第１のプライベートデータストリームと上記第２のプライベートデータストリームとを関連付けする関連付け情報が挿入されており、
上記情報取得部は、上記関連付け情報に基づいて、上記第１のプライベートデータストリームから上記重畳情報のデータを取得すると共に、上記第２のプライベートデータストリームから上記視差情報を取得する
前記（１１）に記載の受信装置。
（１３）上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報であり、
上記画像データ処理部は、上記所定数のフレーム期間内で順次更新される複数フレームの視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する
前記（１１）または（１２）に記載の受信装置。
（１４）ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
２次元表示モードでは、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
３次元表示モードでは、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第２のプライベートデータストリームを抽出し、該第２のプライベートデータストリームから上記視差情報を取得し、
上記画像データ処理部は、
２次元表示モードでは、
上記情報取得部で取得された上記立体画像データおよび上記重畳情報のデータを用い、上記重畳情報が重畳された画像データを得、
３次元表示モードでは、
上記情報取得部で取得された上記立体画像データ、上記重畳情報のデータおよび上記視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る
受信装置。
（１５）ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記重畳情報のデータおよび上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第２のプライベートデータストリームを抽出し、該第２のプライベートデータストリームから上記重畳情報のデータおよび上記視差情報を取得し、
上記画像データ処理部は、
上記情報取得部で取得された上記立体画像データ、上記重畳情報のデータおよび上記視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る
受信装置。
（１６）上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報であり、
上記画像データ処理部は、上記所定数のフレーム期間内で順次更新される複数フレームの視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する
前記（１５）に記載の受信装置。
（１７）ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記重畳情報のデータおよび上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
２次元表示モードでは、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
３次元表示モードでは、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第２のプライベートデータストリームを抽出し、該第２のプライベートデータストリームから上記重畳情報のデータおよび上記視差情報を取得し、
上記画像データ処理部は、
２次元表示モードでは、
上記情報取得部で取得された上記立体画像データおよび上記重畳情報のデータを用い、上記重畳情報が重畳された画像データを得、
３次元表示モードでは、
上記情報取得部で取得された上記立体画像データ、上記重畳情報のデータおよび上記視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る
受信装置。
（１８）ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報、あるいは該視差情報および上記重畳情報のデータを含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
上記画像データ処理部は、
上記情報取得部で取得された上記立体画像データおよび上記重畳情報のデータを用い、上記重畳情報が重畳された画像データを得る
受信装置。

１０，１０Ａ・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１・・・データ取り出し部
１１２・・・ビデオエンコーダ
１１３・・・オーディオエンコーダ
１１４・・・サブタイトル発生部
１１５・・・視差情報作成部
１１６・・・サブタイトル処理部
１１８・・・サブタイトルエンコーダ
１１９・・・マルチプレクサ
２００，２００Ａ・・・セットトップボックス（ＳＴＢ）
２０１・・・ビットストリーム処理部
２０２・・・ＨＤＭＩ端子
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・映像信号処理回路
２０６・・・ＨＤＭＩ送信部
２０７・・・音声信号処理回路
２０８・・・ネットワーク端子
２０９・・・ネットワークインタフェース
２１１・・・ＣＰＵ
２１５・・・リモートコントロール受信部
２１６・・・リモートコントロール送信機
２２１・・・デマルチプレクサ
２２２・・・ビデオデコーダ
２２３・・サブタイトルデコーダ
２２４・・・サブタイトル発生部
２２８・・・ビデオ重畳部
２２９・・・オーディオデコーダ
３００，３００Ａ・・・テレビ受信機（ＴＶ）
３０１・・・３Ｄ信号処理部
３０２・・・ＨＤＭＩ端子
３０３・・・ＨＤＭＩ受信部
３０４・・・アンテナ端子
３０５・・・デジタルチューナ
３０６・・・ビットストリーム処理部
３０７・・・映像・グラフィック処理回路
３０８・・・パネル駆動回路
３０９・・・表示パネル
３１０・・・音声信号処理回路
３１１・・・音声増幅回路
３１２・・・スピーカ
３１３・・・ネットワーク端子
３１４・・・ネットワークインタフェース
３２１・・・ＣＰＵ
３２５・・・リモートコントロール受信部
３２６・・・リモートコントロール送信機
４００・・・ＨＤＭＩケーブル

Claims

左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含むビデオデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第１のプライベートデータストリームと、上記視差情報出力部から出力される視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信するデータ送信部とを備える
送信装置。
上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームには、上記重畳情報のデータによる表示と上記視差情報によるシフト制御とを同期させるための同期情報が含まれている
請求項１に記載の送信装置。
上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
請求項１に記載の送信装置。
上記重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、
上記視差情報は、リージョン単位または該リージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報である
請求項１に記載の送信装置。
上記多重化ストリームには、上記第１のプライベートデータストリームと上記第２のプライベートデータストリームとを関連付けする関連付け情報が挿入される
請求項１に記載の送信装置。
左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
上記画像データ出力ステップで出力される立体画像データを含むビデオデータストリームと、上記重畳情報データ出力ステップで出力される重畳情報のデータを含む第１のプライベートデータストリームと、上記視差情報出力ステップで出力される視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信するデータ送信ステップとを備える
送信方法。
左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含むビデオデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第１のプライベートデータストリームと、重畳情報データ出力部から出力される重畳情報データおよび上記視差情報出力部から出力される視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信するデータ送信部とを備える
送信装置。
上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
請求項７に記載の送信装置。
上記重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、
上記視差情報は、リージョン単位または該リージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報である
請求項７に記載の送信装置。
左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
上記画像データ出力ステップで出力される立体画像データを含むビデオデータストリームと、上記重畳情報データ出力ステップで出力される重畳情報データを含む第１のプライベートデータストリームと、上記重畳情報データ出力ステップで出力される重畳情報データおよび上記視差情報出力ステップで出力される視差情報を含む第２のプライベートデータストリームとを有する多重化ストリームを送信するデータ送信ステップとを備える
送信方法。
ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第２のプライベートデータストリームを抽出し、該第２のプライベートデータストリームから上記視差情報を取得し、
上記画像データ処理部は、
上記情報取得部で取得された上記立体画像データ、上記重畳情報のデータおよび上記視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る
受信装置。
上記多重化データストリームには、上記第１のプライベートデータストリームと上記第２のプライベートデータストリームとを関連付けする関連付け情報が挿入されており、
上記情報取得部は、上記関連付け情報に基づいて、上記第１のプライベートデータストリームから上記重畳情報のデータを取得すると共に、上記第２のプライベートデータストリームから上記視差情報を取得する
請求項１１に記載の受信装置。
上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報であり、
上記画像データ処理部は、上記所定数のフレーム期間内で順次更新される複数フレームの視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する
請求項１１に記載の受信装置。
ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
２次元表示モードでは、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
３次元表示モードでは、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第２のプライベートデータストリームを抽出し、該第２のプライベートデータストリームから上記視差情報を取得し、
上記画像データ処理部は、
２次元表示モードでは、
上記情報取得部で取得された上記立体画像データおよび上記重畳情報のデータを用い、上記重畳情報が重畳された画像データを得、
３次元表示モードでは、
上記情報取得部で取得された上記立体画像データ、上記重畳情報のデータおよび上記視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る
受信装置。
ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記重畳情報のデータおよび上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第２のプライベートデータストリームを抽出し、該第２のプライベートデータストリームから上記重畳情報のデータおよび上記視差情報を取得し、
上記画像データ処理部は、
上記情報取得部で取得された上記立体画像データ、上記重畳情報のデータおよび上記視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る
受信装置。
上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報であり、
上記画像データ処理部は、上記所定数のフレーム期間内で順次更新される複数フレームの視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する
請求項１５に記載の受信装置。
ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記重畳情報のデータおよび上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
２次元表示モードでは、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
３次元表示モードでは、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第２のプライベートデータストリームを抽出し、該第２のプライベートデータストリームから上記重畳情報のデータおよび上記視差情報を取得し、
上記画像データ処理部は、
２次元表示モードでは、
上記情報取得部で取得された上記立体画像データおよび上記重畳情報のデータを用い、上記重畳情報が重畳された画像データを得、
３次元表示モードでは、
上記情報取得部で取得された上記立体画像データ、上記重畳情報のデータおよび上記視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る
受信装置。
ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記ビデオデータストリームは、左眼画像データおよび右眼画像データを持つ立体画像データを含み、
上記第１のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含み、
上記第２のプライベートデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報、あるいは該視差情報および上記重畳情報のデータを含み、
情報取得部と、画像データ処理部とを、さらに、備え、
上記情報取得部は、
上記データ受信部で受信された上記多重化データストリームから上記ビデオデータストリームを抽出し、該ビデオデータストリームに含まれる上記立体画像データを取得し、
上記データ受信部で受信された上記多重化データストリームから上記第１のプライベートデータストリームを抽出し、該第１のプライベートデータストリームから上記重畳情報のデータを取得し、
上記画像データ処理部は、
上記情報取得部で取得された上記立体画像データおよび上記重畳情報のデータを用い、上記重畳情報が重畳された画像データを得る
受信装置。