JP2012099986A - 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 - Google Patents

Abstract

【課題】ＡＲＩＢ方式の字幕（キャプション・ユニット）の重畳表示において、画像内の各物体との間の遠近感の整合性の維持を図る。
【解決手段】字幕データストリームに、字幕文データグループの字幕文データ（字幕符号）として、各キャプション・ユニットの字幕データを挿入する。また、字幕データストリームに、字幕管理データグループの字幕管理データ（制御符号）として、各キャプション・ユニットの視差情報（視差ベクトル）を挿入する。字幕データと視差情報との対応付けがされているため、受信側では、左眼画像および右眼画像に重畳されるキャプション・ユニットに、適切な視差を付与できる。また、表示制御情報を送出する拡張表示制御のデータユニット（データユニットパラメータ＝0x4F）を新たに定義し、このデータユニットに視差情報を挿入して伝送する。既存の８単位符号の符号体系に影響を与えずに、視差情報の安定した伝送を可能とする。
【選択図】図１９

Description

この発明は、立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、字幕などの重畳情報の表示を良好に行い得る立体画像データ送信装置等に関する。

例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。

図３８は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。

また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。

特開２００５−６１１４号公報

上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えば、字幕等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。

例えば、画像に字幕を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。

この発明の目的は、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。また、この発明の目的は、例えば、ＡＲＩＢ方式において、既存の８単位符号の符号体系に影響を与えずに、視差情報の安定した伝送を可能とすることにある。

この発明の概念は、
左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データ含む第１のデータストリームと、上記重畳情報出力部から出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
上記第２のデータストリームは、上記重畳情報の管理情報としての表示制御情報を送出するデータユニットを有し、
上記視差情報は、上記データユニットに挿入されている
立体画像データ送信装置。

この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを含む立体画像データが出力される。また、重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕などの情報を意味している。また、視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報が出力される。

そして、データ送信部により、第１のデータストリームと第２のデータストリームとを有する多重化データストリームが送信される。第１のデータストリームには、画像データ出力部から出力される立体画像データを含まれている。また、第２のデータストリームには、重畳情報データ出力部から出力される重畳情報のデータおよび視差情報出力部から出力される視差情報が含まれている。

第２のデータストリームは、重畳情報の管理情報としての表示制御情報を送出するデータユニットを有するものとされ、視差情報はこのデータユニットに挿入されている。例えば、重畳情報のデータはＡＲＩＢ方式の字幕文データであり、第２のデータストリームにおいて、視差情報は、字幕管理データに含まれる表示制御情報のデータユニットに挿入される。例えば、このデータユニットに挿入された視差情報は、タイプ情報により、他の表示制御情報と区別される。例えば、データユニットに挿入されている視差情報は、同一画面に表示される特定の重畳情報に対応した視差情報、または同一画面に表示される複数の重畳情報に対応した視差情報とされる。

このように、この発明においては、第２のデータストリームに、重畳情報の管理情報として視差情報が挿入され、重畳情報と視差情報との対応付けが行われている。受信側においては、左眼画像および右眼画像に重畳される重畳情報に、対応する視差情報を用いて適切な視差を付与できる。そのため、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、この発明においては、第２のデータストリームは重畳情報の管理情報としての表示制御情報を送出するデータユニットを有するものとされ、このデータユニットに視差情報が挿入されている。そのため、例えば、ＡＲＩＢ方式において、既存の８単位符号の符号体系に影響を与えずに、視差情報の安定した伝送が可能となる。

なお、この発明において、例えば、視差情報は、重畳情報が表示される所定数のフレーム期間内で共通に使用される第１の視差情報、またはこの第１の視差情報および所定数のフレーム期間内で順次更新される第２の視差情報であり、データユニットには、第２の視差情報の存在を示すフラグ情報が挿入されていてもよい。この場合、第１の視差情報のみを送信するか、さらに、第２の視差情報を送信するかを選択することが可能となる。第２の視差情報を送信することで、受信側において、重畳情報に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、この発明において、例えば、第２の視差情報は、所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるようにしてもよい。この場合、更新フレーム間隔は任意に設定される。例えば、視差情報の時間方向（フレーム方向）の変化が激しい場合には、更新フレーム間隔を短くすることで、受信側に、視差情報の時間方向の変化をより正しく伝えることが可能となる。また、例えば、視差情報の時間方向の変化が緩やかな場合には、更新フレーム間隔を長くするとで、視差情報のデータ量を抑制することが可能となる。

また、この発明において、例えば、第２の視差情報には、更新フレーム間隔毎のフレームのそれぞれについて、視差情報の更新の有無を示すフラグ情報が付加されていてもよい。この場合、視差情報の時間方向の変化が同様となる期間が続く場合には、このフラグ情報を用いてその期間内の視差情報の伝送を省略でき、視差情報のデータ量を抑制することが可能となる。

また、この発明において、例えば、第２の視差情報には、更新フレーム期間毎のフレームのそれぞれについて、更新フレーム間隔を調整する情報が付加されていてもよい。この場合、この調整情報に基づいて、更新フレーム間隔を短くする方向あるいは長くする方向に任意に調整することが可能となり、受信側に、視差情報の時間方向の変化をより的確に伝えることが可能となる。

また、この発明において、例えば、視差情報が挿入される表示制御情報を送出するデータユニットには、フレーム周期を指定する情報が挿入されていてもよい。これにより、送信側で意図する視差情報の更新フレーム間隔を、受信側に正しく伝えることが可能となる。この情報が付加されていない場合、受信側においては、例えば、ビデオのフレーム周期が参照される。

また、この発明において、例えば、視差情報が挿入される表示制御情報を送出するデータユニットには、重畳情報の表示の際に必須の、視差情報に対する対応レベルを示す情報が挿入されていてもよい。この場合、この情報により、受信側における視差情報に対する対応を制御することが可能となる。

また、この発明において、例えば、第２のデータストリームには、管理情報のレイヤに、重畳情報の拡張表示に対応しているか否かを示すフラグ情報が含まれていてもよい。この場合、このフラグ情報により、受信側では、重畳情報の拡張表示、例えば３次元表示等に対応しているか否かを容易に把握できる。

この発明の他の概念は、
第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信部を備え、
上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
上記第２のデータストリームは、上記重畳情報の管理情報としての表示制御情報を送出するデータユニットを有し、上記視差情報は該データユニットに挿入されており、
上記データ受信部で受信された多重化データストリームに含まれる上記第１のデータストリームから上記立体画像データを取得する画像データ取得部と、
上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから上記重畳情報のデータを取得する重畳情報データ取得部と、
上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから上記視差情報を取得する視差情報取得部と、
上記画像データ取得部で取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得部で取得された上記視差情報と、上記重畳情報データ取得部で取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
立体画像データ受信装置にある。

この発明において、データ受信部により、第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームが受信される。第１のデータストリームには、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含まれている。また、第２のデータストリームには、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータと、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報とが含まれている。

第２のデータストリームは、重畳情報の管理情報としての表示制御情報を送出するデータユニットを有するものとされ、視差情報はこのデータユニットに挿入されている。例えば、重畳情報のデータはＡＲＩＢ方式の字幕文データであり、第２のデータストリームにおいて、視差情報は、字幕管理データに含まれる表示制御情報のデータユニットに挿入される。例えば、このデータユニットに挿入された視差情報は、タイプ情報により、他の表示制御情報と区別される。

画像データ取得部により、データ受信部で受信された多重化データストリームに含まれる第１のデータストリームから立体画像データが取得される。また、重畳情報データ取得部により、データ受信部で受信された多重化データストリームに含まれる第２のデータストリームから重畳情報のデータが取得される。また、視差情報取得部により、データ受信部で受信された多重化データストリームに含まれる第２のデータストリームから視差情報が取得される。

そして、画像データ処理部により、左眼画像データおよび右眼画像データと、重畳情報のデータと、視差情報とが用いられ、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与され、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。

このように、この発明においては、第２のデータストリームには、重畳情報の管理情報として視差情報が挿入され、重畳情報と視差情報との対応付けが行われている。そのため、画像データ処理部では、左眼画像および右眼画像に重畳される重畳情報に、対応する視差情報を用いて適切な視差を付与できる。したがって、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、この発明において、例えば、データユニットに挿入されている視差情報は、重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるようにしてもよい。この場合、重畳情報に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、この発明において、例えば、画像データ処理部は、所定数のフレーム期間内で順次更新される視差情報を構成する複数フレームの視差情報に対して補間処理を施し、所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する、ようにされてもよい。この場合、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、重畳情報に付与される視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。

この場合、補間処理は、線形補間処理であってもよいが、例えば、時間方向（フレーム方向）のローパスフィルタ処理を伴うようにされてもよい。これにより、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向の変化をなだらかにでき、重畳情報に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。

この発明によれば、重畳情報が含まれる第２のデータストリームに、この重畳情報の管理情報として視差情報が挿入され、重畳情報と視差情報との対応付けが行われている。そのため、受信側においては、左眼画像および右眼画像に重畳される重畳情報に、対応する視差情報を用いて適切な視差を付与できる。したがって、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、この発明によれば、第２のデータストリームは重畳情報の管理情報としての表示制御情報を送出するデータユニットを有するものとされ、このデータユニットに視差情報が挿入されている。そのため、例えば、ＡＲＩＢ方式において、既存の８単位符号の符号体系に影響を与えずに、視差情報の安定した伝送が可能となる。

この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。 放送局における送信データ生成部の構成例を示すブロック図である。 １９２０×１０８０のピクセルフォーマットの画像データを示す図である。 立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。 左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。 視差ベクトルをブロックマッチング方式で求めることを説明するための図である。 字幕データストリームの構成例とキャプション・ユニット（字幕）の表示例を示す図である。 ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。 ブロック（Block）毎の視差ベクトルの一例を示す図である。 送信データ生成部の視差情報作成部で行われるダウンサイジング処理を説明するための図である。 字幕エンコーダで生成される字幕データストリームの構成例と、その場合の視差ベクトルの作成例を示す図である。 字幕エンコーダで生成される字幕データストリームの他の構成例と、その場合の視差ベクトルの作成例を示す図である。 第１、第２のビューに重畳する各キャプション・ユニットの位置をシフトさせる場合を説明するための図である。 字幕文データグループのＰＥＳストリームに含まれる字幕符号のパケット構造を示す図である。 字幕管理データグループのＰＥＳストリームに含まれる制御符号のパケット構造を示す図である。 ＡＲＩＢ方式の字幕データストリーム（ＰＥＳストリーム）内のデータグループの構造を示す図である。 字幕管理データグループの場合における、データグループ構造における「data_group_data_byte」としての字幕管理データ（caption_management_data）の構造を概略的に示す図である。 字幕文データグループの場合における、データグループ構造における「data_group_data_byte」としての字幕管理データ（caption_data）の構造を概略的に示す図である。 字幕データストリームに含まれるデータユニット（data_unit）の構造を示す図である。 データユニットの種類と、データユニットパラメータおよび機能を示す図である。 新たに定義された拡張表示制御のデータユニット（data_unit）の構造を示す図である。 新たに定義された拡張表示制御のデータユニット（data_unit）の構造を示す図である。 データユニット（data_unit）内の「Advanced_Rendering_Control」の構造を示す図である。 「Advanced_Rendering_Control」内の「disparity_information」の構造を示す図である。 「disparity_information」内の「disparity_temporal_extension」の構造を示す図である。 「Advanced_Rendering_Control」および「disparity_information」の構造における主要なデータ規定内容を示す図である。 「Advanced_Rendering_Control」および「disparity_information」の構造における主要なデータ規定内容を示す図である。 字幕表示期間内におけるベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示す図である。 字幕表示期間内におけるベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示す図である。 「Advanced_Rendering_Control」内の「disparity_information」の他の構造を示す図である。 画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。 画像上における字幕の表示例と、字幕を表示するための左眼字幕ＬＧＩおよび右眼字幕ＲＧＩを示す図である。 立体画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。 字幕表示期間内で順次更新される視差情報を構成する複数フレームの視差情報に対してローパスフィルタ処理を伴った補間処理を行って任意のフレーム間隔の視差情報（補間視差情報）を生成する一例を示す図である。 立体画像表示システムを構成するテレビ受信機の構成例を示すブロック図である。 立体画像表示システムの他の構成例を示すブロック図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［立体画像表示システムの構成例］
図１は、実施の形態としての立体画像表示システム１０の構成例を示している。この立体画像表示システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set Top Box）２００と、テレビ受信機（ＴＶ：Television）３００を有している。

セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。

［放送局の説明］
放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報のデータ、さらには視差情報（視差ベクトル）などが含まれる。重畳情報は、グラフィクス情報、テキスト情報などであるが、この実施の形態においては字幕である。

「送信データ生成部の構成例」
図２は、放送局１００において、送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、既存の放送規格の一つであるＡＲＩＢ（Association of Radio Industries and Businesses）に容易に連携できるデータ構造で視差情報（視差ベクトル）を送信する。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１３０と、視差情報作成部１３１と、ビデオエンコーダ１１３と、オーディオエンコーダ１１７と、字幕発生部１３２と、字幕エンコーダ１３３と、マルチプレクサ１２２を有している。

データ取り出し部１３０には、データ記録媒体１３０ａが、例えば、着脱自在に装着される。このデータ記録媒体１３０ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、視差情報が対応付けて記録されている。データ取り出し部１３０は、データ記録媒体１３０ａから、立体画像データ、音声データ、視差情報等を取り出して出力する。データ記録媒体１３０ａは、ディスク状記録媒体、半導体メモリ等である。

データ記録媒体１３０ａに記録されている立体画像データは、所定の伝送方式の立体画像データである。立体画像データ（３Ｄ画像データ）の伝送方式の一例を説明する。ここでは、以下の第１〜第３の伝送方式を挙げるが、これら以外の伝送方式であってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０のピクセルフォーマットの画像データである場合を例にとって説明する。

第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。

第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。

第３の伝送方式は、フレーム・シーケンシャル（Frame Sequential）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム（Full Frame）方式、あるいはバックワード・コンパチブル（BackwardCompatible）方式と称される場合もある。

また、データ記録媒体１３０ａに記録されている視差情報は、例えば、画像を構成するピクセル（画素）毎の視差ベクトルである。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。

（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。

この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８あるいは１６×１６の比較ブロックが順次設定されていく。

画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。

右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。

図２に戻って、字幕発生部１３２は、字幕データ（ＡＲＩＢ方式の字幕文データ）を発生する。字幕エンコーダ１３３は、字幕発生部１３２で発生された字幕データを含む字幕データストリーム（字幕エレメンタリストリーム）を生成する。図７（ａ）は、字幕データストリームの構成例を示している。この例は、図７（ｂ）に示すように、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例を示している。

字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、各キャプション・ユニットの字幕データが挿入される。なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのデータとして、字幕データストリームに挿入される。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

視差情報作成部１３１は、ビューワ機能を持っている。この視差情報作成部１３１は、データ取り出し部１３０から出力される視差情報、すなわちピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施し、所定の領域に属する視差ベクトルを生成する。

図８は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。

図９は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。

図１０は、視差情報作成部１３１で行われるダウンサイジング処理の一例を示している。まず、視差情報作成部１３１は、図１０（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１３１は、図１０（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図１０（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１３１は、図１０（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図１０（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１３１は、図１０（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図１０（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

このようにして、視差情報作成部１３１は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図１０に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。

視差情報作成部１３１は、上述したダウンサイジング処理により、同一の画面に表示される所定数のキャプション・ユニット（字幕）に対応した視差ベクトルを作成する。この場合、視差情報作成部１３１は、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）を作成するか、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）を作成する。この選択は、例えば、ユーザの設定による。

視差情報作成部１３１は、個別視差ベクトルを作成する場合、各キャプション・ユニットの表示領域に基づき、上述のダウンサイジング処理によって、その表示領域に属する視差ベクトルを求める。また、視差情報作成部１３１は、共通視差ベクトルを作成する場合、上述のダウンサイジング処理によって、ピクチャ全体（画像全体）の視差ベクトルを求める（図１０（ｄ）参照）。なお、視差情報作成部１３１は、共通視差ベクトルを作成する場合、各キャプション・ユニットの表示領域に属する視差ベクトルを求め、最も値の大きな視差ベクトルを選択してもよい。

字幕エンコーダ１３３は、上述したように視差情報作成部１３１で作成された視差ベクトル（視差情報）を、字幕データストリームに含める。この場合、字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、同一画面に表示される各キャプション・ユニットの字幕データが挿入される。また、この字幕データストリームには、字幕管理データグループの字幕管理データ（制御符号）として、視差ベクトルが挿入される。

ここで、視差情報作成部１３１で個別視差ベクトルが作成される場合について説明する。ここでは、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例とする。

視差情報作成部１３１は、図１１（ｂ）に示すように、各キャプション・ユニットに対応した個別視差ベクトルを作成する。「Disparity 1」は、「1st Caption Unit」に対応した個別視差ベクトルである。「Disparity 2」は、「2nd Caption Unit」に対応した視差ベクトルである。「Disparity 3」は、「3rd Caption Unit」に対応した個別視差ベクトルである。

図１１（ａ）は、字幕エンコーダ１３３で生成される字幕データストリーム（ＰＥＳストリーム）の構成例を示している。字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報と、それぞれの字幕文情報に関連付けられた拡張表示制御情報（データユニットＩＤ）が挿入される。また、字幕管理データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報にそれぞれ対応した拡張表示制御情報（視差情報）が挿入される。

字幕文データグループの拡張表示制御情報（データユニットＩＤ）は、字幕管理データグループの各拡張表示制御情報（視差情報）を、字幕文データグループの各字幕文情報に対応付けするために必要とされる。この場合、字幕管理データグループの各拡張表示制御情報としての視差情報は、対応するキャプション・ユニットの個別視差ベクトルである。

なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのＰＥＳストリームに、字幕管理データ（制御符号）として、挿入される。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

図１１（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば右眼画像を示している。また、図１１（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば左眼画像を示している。各キャプション・ユニットに対応した個別視差ベクトルは、図示のように、例えば、右眼画像に重畳する各キャプション・ユニットと、左眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。

次に、視差情報作成部１３１で共通視差ベクトルが作成される場合について説明する。ここでは、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例とする。視差情報作成部１３１は、図１２（ｂ）に示すように、各キャプション・ユニットに共通の共通視差ベクトル「Disparity」を作成する。

図１２（ａ）は、字幕エンコーダ１３３で生成される字幕データストリーム（ＰＥＳストリーム）の構成例を示している。字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報が挿入される。また、字幕管理データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報に共通に対応した拡張表示制御情報（視差情報）が挿入される。この場合、字幕管理データグループの拡張表示制御情報としての視差情報は、各キャプション・ユニットの共通視差ベクトルである。

なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのＰＥＳストリームに、字幕管理データ（制御符号）として、挿入される。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

図１２（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば右眼画像を示している。また、図１２（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば左眼画像を示している。各キャプション・ユニットに共通の共通視差ベクトルは、図示のように、例えば、右眼画像に重畳する各キャプション・ユニットと、左眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。

なお、図１１（ｃ），（ｄ）、図１２（ｃ），（ｄ）の例は、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置のみをシフトさせている。しかし、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置のみをシフトさせる場合、あるいは、双方のビューに重畳する各キャプション・ユニットの位置をシフトさせる場合も考えられる。

図１３（ａ），（ｂ）は、第１のビューおよび第２のビューに重畳するキャプション・ユニットの双方の位置をシフトさせる場合を示している。この場合、各キャプション・ユニットに対応した視差ベクトル「Disparity」の値“disparity[i]”から、第１のビュー、第２のビューにおける各キャプション・ユニットのシフト値（オフセット値）Ｄ[i]が、以下のように求められる。

すなわち、disparity[i]が偶数の場合には、第１のビューでは、「Ｄ[i]＝- disparity[i]/2」と求められ、第２のビューでは、「Ｄ[i]＝disparity[i]/2」と求められる。これにより、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置は、左側に「disparity[i]/2」だけシフトされる。また、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置は、右側に(disparity[i]/2)だけシフトされる。

また、disparity(i)が奇数の場合には、第１のビューでは、「Ｄ[i]＝- (disparity[i]+1)/2」と求められ、第２のビューでは、「Ｄ[i]＝(disparity[i]-1)/2」と求められる。これにより、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置は、左側に「(disparity[i]+1)/2」だけシフトされる。また、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置は、右側に「(disparity[i]-1)/2」だけシフトされる。

ここで、字幕符号および制御符号のパケット構造を簡単に説明する。最初に、字幕文データグループのＰＥＳストリームに含まれる字幕符号の基本的なパケット構造について説明する。図１４は、字幕符号のパケット構造を示している。「Data_group_id」は、データグループ識別を示し、ここでは、字幕文データグループであることを示す。なお、字幕文データグループを示す「Data_group_id」は、さらに、言語を特定する。例えば、「Data_group_id==0x21」とされ、字幕文データグループであって、字幕文（第１言語）であることが示される。

「Data_group_size」は、後続のデータグループデータのバイト数を示す。字幕文データグループである場合、このデータグループデータは、字幕文データ（caption_data）である。この字幕文データには、１以上のデータユニットが配置されている。各データユニットは、データユニット分離符号（unit_parameter）で分離されている。各データユニット内のデータユニットデータ（data_unit_data）として、字幕符号が配置される。

次に、制御符号のパケット構造について説明する。図１５は、字幕管理データグループのＰＥＳストリームに含まれる制御符号のパケット構造を示している。「Data_group_id」は、データグループ識別を示す。ここでは、字幕管理データグループであることを示し、「Data_group_id==0x20」とされる。「Data_group_size」は、後続のデータグループデータのバイト数を示す。字幕管理データグループである場合、このデータグループデータは、字幕管理データ（caption_management_data）である。

この字幕管理データには、１以上のデータユニットが配置されている。各データユニットは、データユニット分離符号（unit_parameter）で分離されている。各データユニット内のデータユニットデータ（data_unit_data）として、制御符号が配置される。この実施の形態において、視差ベクトルの値は、８単位符号として与えられる。「ＴＣＳ」は２ビットのデータであり、文字符号化方式を示す。ここでは、「ＴＣＳ==00」とされ、８単位符号であることが示される。

図１６は、字幕データストリーム（ＰＥＳストリーム）内のデータグループの構造を示している。「data_group_id」の６ビットのフィールドは、データグループ識別を示し、字幕管理データ、字幕文データの種類を識別する。「data_group_size」の１６ビットのフィールドは、このデータグループフィールドにおいて、後続のデータグループデータのバイト数を示す。「data_group_data_byte」に、データグループデータが格納される。「CRC_16」は、１６ビットのサイクリック・リダンダンシー・チェック符号である。このＣＲＣ符号の符号化区間は、「data_group_id」の先頭から「data_group_data_byte」の終端までである。

字幕管理データグループの場合、図１６のデータグループ構造における「data_group_data_byte」は、字幕管理データ（caption_management_data）となる。また、字幕文データグループの場合、図１６のデータグループ構造における「data_group_data_byte」は、字幕データ（caption_data）となる。

図１７は、字幕管理データの構造を概略的に示している。「advanced_rendering_version」は、この実施の形態で新たに定義された、字幕の拡張表示に対応しているか否かを示す１ビットのフラグ情報である。受信側においては、このように管理情報のレイヤに配置されるフラグ情報に基づいて、字幕の拡張表示に対応しているか否かを容易に把握可能となる。「data_unit_loop_length」の２４ビットフィールドは、この字幕管理データフィールドにおいて、後続のデータユニットのバイト数を示す。「data_unit」に、この字幕管理データフィールドで伝送するデータユニットが格納される。図１８は、字幕データの構造を概略的に示している。「advanced_rendering_version」がないことを除き、上述の字幕管理データと同様の構造になっている。

図１９は、字幕データストリームに含まれるデータユニット（data_unit）の構造（Syntax）を示している。「unit_separator」の８ビットフィールドは、データユニット分離符号を示し、“0x1F”とされている。「data_unit_parameter」の８ビットフィールドは、データユニットの種類を識別するデータユニットパラメータである。

図２０は、データユニットの種類と、データユニットパラメータおよび機能を示している。例えば、本文のデータユニットを示すデータユニットパラメータは“0x20”とされている。また、例えば、ジオメトリックのデータユニットを示すデータユニットパラメータは“0x28”とされている。また、例えば、ビットマップのデータユニットを示すデータユニットパラメータは“0x35”とされている。この実施の形態において、表示制御情報（拡張表示制御情報）を格納する拡張表示制御のデータユニットを新たに定義し、このデータユニットを示すデータユニットパラメータを、例えば“0x4F”とする。

「data_unit_size」の２４ビットのフィールドは、このデータユニットフィールドにおいて、後続のデータユニットデータのバイト数を示す。「data_unit_data_byte」に、データユニットデータが格納される。図２１は、拡張表示制御のデータユニット（data_unit）の構造（Syntax）を示している。この場合、データユニットパラメータは“0x4F”であり、「data_unit_data_byte」としての「Advanced_Rendering_Control」に、表示制御情報が格納される。

図２２は、「Advanced_Rendering_Control」の構造（Syntax）を示している。この図２２は、表示制御情報として、ステレオビデオの視差情報を挿入する場合の構造を示している。すなわち、この図２２は、字幕管理データグループに含まれる拡張表示制御のデータユニット（data_unit）内の「Advanced_Rendering_Control」の構造を示している。

「start_code」の８ビットフィールドは、「Advanced_Rendering_Control」の始まりを示す。「data_unit_id」の１６ビットフィールドは、データユニットＩＤを示す。「data_length」の１６ビットフィールドは、このアドバンスレンダリングコントロールのフィールドにおいて、後続のデータバイト数を示す。「Advanced_rendering_type」の８ビットフィールドは、表示制御情報の種類を指定するアドバンスレンダリングタイプである。ここでは、データユニットパラメータは、例えば“0x01”であり、表示制御情報が「ステレオビデオの視差情報」であることが示される。「disparity_information」に、ディスパリティインフォメーションが格納される。

図２３も、「Advanced_Rendering_Control」の構造（Syntax）を示している。この図２３は、表示制御情報として、データユニットＩＤを挿入する場合の構造を示している。すなわち、この図２３は、字幕データグループに含まれる拡張表示制御のデータユニット（data_unit）内の「Advanced_Rendering_Control」の構造を示している。

「start_code」の８ビットフィールドは、「Advanced_Rendering_Control」の始まりを示す。「data_unit_id」の１６ビットフィールドは、データユニットＩＤを示す。「data_length」の１６ビットフィールドは、このアドバンスレンダリングコントロールのフィールドにおいて、後続のデータバイト数を示す。「Advanced_rendering_type」の８ビットフィールドは、表示制御情報の種類を指定するアドバンスレンダリングタイプである。ここでは、データユニットパラメータは、例えば“0x00”であり、表示制御情報が「データユニットＩＤ」であることが示される。

なお、図２６、図２７は、上述の「Advanced_Rendering_Control」の構造における、さらには、後述の図２４、図２５に示す「disparity_information」の構造における主要なデータ規定内容を示している。

図２４、図２５は、字幕管理データグループに含まれる拡張表示制御のデータユニット（data_unit）内の「Advanced_Rendering_Control」における「disparity_information」の構造（Syntax）を示している。「sync_byte」の８ビットフィールドは、「disparity_information」の識別情報であり、この「disparity_information」の始まりを示す。「interval_PTS[32..0]」は、視差情報（disparity）の更新フレーム間隔におけるフレーム周期（１フレームの間隔）を９０ＫＨｚ単位で指定する。つまり、「interval_PTS[32..0]」は、フレーム周期を９０ＫＨｚのクロックで計測した値を３３ビット長で表す。

ディスパリティインフォメーションにおいて、「interval_PTS[32..0]」によりフレーム周期を指定することで、送信側で意図する視差情報の更新フレーム間隔を、受信側に正しく伝えることが可能となる。この情報が付加されていない場合、受信側においては、例えば、ビデオのフレーム周期が参照される。

「rendering_level」は、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す。“００”は、視差情報を用いた字幕の３次元表示は任意（optional）であることを示す。“０１”は、字幕表示期間内で共通に使用される視差情報（default_disparity）による字幕の３次元表示が必須であることを示す。“１０”は、字幕表示期間内で順次更新される視差情報（disparity_update）による字幕の３次元表示が必須であることを示す。

「temporal_extension_flag」は、字幕表示期間内で順次更新される視差情報（disparity_update）の存在の有無を示す１ビットのフラグ情報である。この場合、“１”は存在することを示し、“０”は存在しないことを示す。「default_disparity」の８ビットフィールドは、デフォルトの視差情報を示す。この視差情報は、更新をしない場合の視差情報、つまり字幕表示期間内において共通に使用される視差情報である。

「temporal_extension_flag」が“１”である場合、ディスパリティインフォメーションは、「disparity_temporal_extension（）」を有する。ここには、基本的に、ベースセグメント期間（ＢＳＰ：Base Segment Period）毎に更新すべき視差情報が格納される。図２８は、ベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示している。ここで、ベースセグメント期間は、更新フレーム間隔を意味する。この図からも明らかなように、字幕表示期間内で順次更新される視差情報は、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間（更新フレーム間隔）毎のフレームの視差情報とからなっている。

「temporal_division_size」の２ビットフィールドは、ベースセグメント期間（更新フレーム間隔）に含まれるフレーム数を示す。“００”は、１６フレームであることを示す。“０１”は、２５フレームであることを示す。“１０”は、３０フレームであることを示す。さらに、“１１”は、３２フレームであることを示す。

「temporal_division_count」は、字幕表示期間に含まれるベースセグメントの個数を示す。「disparity_curve_no_update_flag」は、視差情報の更新の有無を示す１ビットのフラグ情報である。“１”は対応するベースセグメントのエッジで視差情報の更新を行わない、つまりスキップすることを示し、“０”は対応するベースセグメントのエッジで視差情報の更新を行うことを示す。

図２９は、ベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示している。図において、「skip」が付されたベースセグメントのエッジでは視差情報の更新は行われない。このフラグ情報が存在することで、視差情報のフレーム方向の変化が同様となる期間が長く続く場合、視差情報の更新を行わないようにして、その期間内の視差情報の伝送を省略でき、視差情報のデータ量を抑制することが可能となる。

「disparity_curve_no_update_flag」が“０”で視差情報の更新を行う場合、ディスパリティインフォメーションは、対応するベースセグメントの「shifting_interval_counts」を含む。また、「disparity_curve_no_update_flag」が“０”で視差情報の更新を行う場合、ディスパリティインフォメーションは、「disparity_update」を含む。「shifting_interval_counts」の６ビットフィールドは、ベースセグメント期間(更新フレーム間隔)を調整するドローファクタ（Draw factor）、つまり差し引きフレーム数を示す。

図２９のベースセグメント期間（ＢＳＰ）毎の視差情報の更新例において、時点Ｃ〜Ｆの視差情報の更新タイミングに関しては、ドローファクタ（Draw factor）により、ベースセグメント期間が調整されている。この調整情報が存在することで、ベースセグメント期間(更新フレーム間隔)を調整することが可能となり、受信側に、視差情報の時間方向（フレーム方向）の変化をより的確に伝えることが可能となる。

なお、ベースセグメント期間(更新フレーム間隔)の調整としては、上述した差し引きフレーム数で短くする方向に調整する他に、加算フレーム数で長くする方向に調整することも考えられる。例えば、「shifting_interval_counts」の６ビットフィールドを符号付き整数とすることで、双方向の調整が可能となる。

「disparity_update」の８ビットフィールドは、対応するベースセグメントの視差情報を示す。なお、ｋ＝０における「disparity_update」は、字幕表示期間内において更新フレーム間隔で順次更新される視差情報の初期値、つまり、字幕表示期間における最初のフレームの視差情報である。

なお、上述の図２４に示す「disparity_information」の構造（Syntax）においては「interval_PTS[32..0]」が付加されている。しかし「interval_PTS[32..0]」が付加されていない「disparity_information」の構造（Syntax）も考えられる。その場合、「disparity_information」の構造は、図３０に示すようになる。

図２に戻って、ビデオエンコーダ１１３は、データ取り出し部１３０から供給される立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオエレメンタリストリームを生成する。オーディオエンコーダ１１７は、データ取り出し部１３０から供給される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオエレメンタリストリームを生成する。

マルチプレクサ１２２は、ビデオエンコーダ１１３、オーディオエンコーダ１１７および字幕エンコーダ１３３から出力される各エレメンタリストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データ（多重化データストリーム）としてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１３０から出力される立体画像データは、ビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成される。このビデオエレメンタリストリームはマルチプレクサ１２２に供給される。

また、字幕発生部１３２では、ＡＲＩＢ方式の字幕データが発生される。この字幕データは、字幕エンコーダ１３３に供給される。この字幕エンコーダ１３３では、字幕発生部１３２で発生された字幕データを含む字幕エレメンタリストリーム（字幕データストリーム）が生成される。この字幕エレメンタリストリームはマルチプレクサ１２２に供給される。

また、データ取り出し部１３０から出力されるピクセル（画素）毎の視差ベクトルは、視差情報作成部１３１に供給される。この視差情報作成部１３１では、ダウンサイジング処理により、同一の画面に表示される所定数のキャプション・ユニット（字幕）に対応した視差ベクトル（水平方向視差ベクトル）が作成される。この場合、視差情報作成部１３１では、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは全てのキャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が作成される。

視差情報作成部１３１で作成された視差ベクトルは、字幕エンコーダ１３３に供給される。字幕エンコーダ１３３では、視差ベクトルが、字幕データストリームに含められる（図１１〜図１２参照）。この場合、字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、同一画面に表示される各キャプション・ユニットの字幕データが挿入される。また、字幕データストリームには、字幕管理データグループの字幕管理データ（制御符号）として、視差ベクトル（視差情報）が挿入される。この場合、視差ベクトルは、新たに定義された表示制御情報を送出する拡張表示制御のデータユニットに挿入される（図２１、図２３〜図２５、図３０参照）。

また、データ取り出し部１３０から出力される音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１２２に供給される。

マルチプレクサ１２２には、上述したように、ビデオエンコーダ１１３、オーディオエンコーダ１１７および字幕エンコーダ１３３からのエレメンタリストリームが供給される。そして、このマルチプレクサ１２２では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。

上述したように、図２に示す送信データ生成部１１０においては、マルチプレクサ１２２から出力されるビットストリームデータＢＳＤは、ビデオデータストリームと字幕データストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、字幕データストリームには、ＡＲＩＢ方式の字幕（キャプション・ユニット）のデータおよび視差ベクトル（視差情報）が含まれている。

また、字幕データストリームに、字幕データの管理情報として視差ベクトル（視差情報）が挿入され、字幕データと視差ベクトルとが対応付けられている。そのため、受信側（セットトップボックス２００）においては、左眼画像および右眼画像に重畳されるキャプション・ユニット（字幕）に、対応する視差ベクトル（視差情報）を用いて適切な視差を付与できる。したがって、キャプション・ユニット（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、図２に示す送信データ生成部１１０においては、上述の字幕データストリームは、表示制御情報を送出する新たに定義された拡張表示制御のデータユニットを有するものとされている。そして、視差ベクトル（視差情報）は、その拡張表示制御のデータユニットに挿入されている。そのため、ＡＲＩＢ方式において、既存の８単位符号の符号体系に影響を与えずに、視差情報の安定した伝送が可能となる。つまり、後方互換性を保証できる。

すなわち、視差情報（視差ベクトル）を８単位符号の符号表の中で拡張定義することは可能である。しかし、時間方向のアップデートを含む複雑な制御を実現しようとすると、８単位符号表の中での構成が複雑になる他、実装機器のレガシー問題で、既存の符号体系の安定な運用に悪影響を及ぼすおそれがある。

一方、視差情報を字幕データストリームとは独立したメタデータストリームとして送ることも可能である。しかし、字幕データストリームの中の対象となる字幕データと外部のデータストリームの中の視差情報との結びつけに加え、その同期関係を管理するメカニズムが複雑になりかねない。

上述の８単位符号と外部のデータストリームで送る場合の中間に位置づけられるのが、字幕データストリームの内側であり、字幕管理データの中に存在するが、８単位符号の外側の位置に位置づけられるデータユニットである。そこで、この発明では、字幕管理データのパラメータタイプを新規拡張して、表示制御情報を送出する拡張表示制御のデータユニットを新たに定義し、このデータユニットにより視差情報を伝送するようにした。

この場合、後方互換性が確保され、字幕データその視差展開が字幕管理データとして結び付けられ、それらの空間的時間的な同期が保証でき、かつ既存の８単位符号の符号体系に影響を及ぼさない。また、その新たに定義されたデータユニット（伝送領域）においては、視差情報などの新規メタ情報を、自由度をもって伝送することが可能となる。なお、各情報の区別は、上述したように、「Advanced_rendering_type」の８ビットフィールドで行われる（図２０参照）。

また、図２に示す送信データ生成部１１０においては、新たに定義された拡張表示制御のデータユニットに、字幕表示期間内で共通に使用される視差情報（図２４の「default_disparity」参照）が挿入される。また、このデータユニットに、字幕表示期間内で順次更新される視差情報（図２５の「disparity_update」参照）の挿入が可能とされている。そして、この拡張表示制御のデータユニットには、字幕表示期間内で順次更新される視差情報の存在を示すフラグ情報が挿入される（図２４の（「temporal_extension_flag」参照）。

そのため、字幕表示期間内で共通に使用される視差情報のみを送信するか、さらに、字幕表示期間内で順次更新される視差情報を送信するかを選択することが可能となる。字幕表示期間内で順次更新される視差情報を送信することで、受信側（セットトップボックス２００）において、重畳情報に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、図２に示す送信データ生成部１１０においては、拡張表示制御のデータユニットに挿入される字幕表示期間内で順次更新される視差情報は、基本的には、ベースセグメント期間（ＢＳＰ）毎の視差情報とされる（図２８参照）。つまり、この視差情報は、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間毎のフレームの視差情報とからなっている。そして、ベースセグメント期間（更新フレーム間隔）は、任意に設定可能とされている（図２５の「temporal_division_size」参照」。

そのため、例えば、視差情報の時間方向（フレーム方向）の変化が激しい場合には、更新フレーム間隔を短くすることで、受信側（セットトップボックス２００）に、視差情報の時間方向の変化をより正しく伝えることが可能となる。また、例えば、視差情報の時間方向の変化が緩やかな場合には、更新フレーム間隔を長くするとで、視差情報のデータ量を抑制することが可能となる。

また、図２に示す送信データ生成部１１０においては、拡張表示制御のデータユニットに字幕表示期間内で順次更新される視差情報が挿入される場合、以下のフラグ情報が付加される。このフラグ情報は、視差情報の更新の有無を示すフラグ情報である（図２５の「disparity_curve_no_update_flag」参照）。このフラグ情報は、ベースセグメント期間（更新フレーム間隔）毎のフレームのそれぞれについて付加される。この場合、視差情報の時間方向の変化が同様となる期間が続く場合には、このフラグ情報を用いてその期間内の視差情報の伝送を省略でき（図２９の「skip」が付されたベースセグメントのエッジ参照）、視差情報のデータ量を抑制することが可能となる。

また、図２に示す送信データ生成部１１０においては、拡張表示制御のデータユニットに字幕表示期間内で順次更新される視差情報が挿入される場合、以下の調整情報が付加される。この調整情報は、ベースセグメント期間（更新フレーム間隔）を調整する調整情報である（図２５の「shifting_interval_counts」参照）。この場合、この調整情報に基づいて、ベースセグメント期間を短くする方向あるいは長くする方向に任意に調整することが可能となる。これにより、受信側（セットトップボックス２００）に、視差情報の時間方向（フレーム方向）の変化をより的確に伝えることが可能となる（図２９の“Draw factor”による調整参照）。

また、図２に示す送信データ生成部１１０においては、拡張表示制御のデータユニットに、フレーム周期を指定する情報が挿入されている（図２４の「interval_PTS[32..0]」参照）。これにより、送信側（放送局１００）で意図する視差情報のベースセグメント期間（更新フレーム間隔）を、受信側（セットトップボックス２００）に正しく伝えることが可能となる。この情報が付加されていない場合、受信側においては、例えば、ビデオのフレーム周期が参照される。

また、図２に示す送信データ生成部１１０において、拡張表示制御のデータユニットに、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す情報が含まれている（図２４の「rendering_level」参照）。この場合、この情報により、受信側における視差情報に対する対応を制御することが可能となる。

また、図２に示す送信データ生成部１１０において、字幕管理データのレイヤに、字幕の拡張表示に対応しているか否かを示す１ビットのフラグ情報が挿入されている（図１７の「advanced_rendering_version」参照）。受信側においては、このように管理情報のレイヤに配置されるフラグ情報に基づいて、字幕の拡張表示に対応しているか否かを容易に把握可能となる。

［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、ビットストリームデータＢＳＤには、キャプション・ユニットの字幕データ、さらには、このキャプション・ユニットに視差を付与するための視差ベクトル（視差情報）が含まれている。

セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータＢＳＤから、立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データ、キャプション・ユニットの字幕データ等を用いて、字幕が重畳された左眼画像および右眼画像のデータを生成する。

この場合、視差ベクトルおよびキャプション・ユニットの字幕データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼字幕、右眼字幕のデータが生成される。ここで、左眼字幕および右眼字幕は同一の字幕である。しかし、画像内の重畳位置が、例えば、左眼字幕と右眼字幕とは、視差ベクトルだけ、水平方向にずれるようにされる。これにより、左眼字幕と右眼字幕との間に視差が付与され、字幕の認識位置が画像の手前とされる。

図３１（ａ）は、画像上におけるキャプション・ユニット（字幕）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図３１（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。

図３２（ａ）は、図３１（ａ）と同じ、画像上におけるキャプション・ユニット（字幕）の表示例を示している。図３２（ｂ）は、左眼画像に重畳される左眼字幕ＬＧＩと、右眼画像に重畳される右眼字幕ＲＧＩを示している。図３２（ｃ）は、字幕が最も手前に認識されるために、左眼字幕ＬＧＩと右眼字幕ＲＧＩとの間に視差が与えられることを示している。

［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図３３は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。

アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

ビットストリーム処理部２０１は、上述したように、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データに対して、左眼字幕、右眼字幕のデータを合成し、表示用立体画像データを生成して出力する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。

映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。

ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。

ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。

リモコン受信部２１５は、リモコン送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。

セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、左眼字幕、右眼字幕のデータが合成され、表示用立体画像データが生成される。その際、ビットストリーム処理部２０１では、視差ベクトルに基づいて、左眼字幕と右眼字幕との間に視差が付与される。

ビットストリーム処理部２０１で生成された表示用立体画像データは、映像信号処理回路２０５に供給される。この映像信号処理回路２０５では、表示用立体画像データに対して、必要に応じて画質調整処理等が行われる。この映像信号処理回路２０５から出力される処理後の表示用立体画像データは、ＨＤＭＩ送信部２０６に供給される。

また、ビットストリーム処理部２０１で得られた音声データは、音声信号処理回路２０７に供給される。この音声信号処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。

［ビットストリーム処理部の構成例］
図３４は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応した構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２１と、ビデオデコーダ２２２と、字幕デコーダ２２３を有している。さらに、このビットストリーム処理部２０１は、立体画像用字幕発生部２２４と、視差情報取り出し部２２５と、ビデオ重畳部２２６と、オーディオデコーダ２２７と、視差情報処理部２２８を有している。

デマルチプレクサ２２１は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、字幕のパケットを抽出し、各デコーダに送る。ビデオデコーダ２２２は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオのエレメンタリストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４参照）。

字幕デコーダ２２３は、上述の送信データ生成部１１０の字幕エンコーダ１３３とは逆の処理を行う。すなわち、この字幕デコーダ２２３は、デマルチプレクサ２２１で抽出された字幕のパケットから字幕エレメンタリストリーム（字幕データストリーム）を再構成し、復号化処理を行って、各キャプション・ユニットの字幕データ（ＡＲＩＢ方式の字幕データ）を得る。

視差情報取り出し部２２５は、字幕デコーダ２２３を通じて得られる字幕のストリームから、各キャプション・ユニットに対応した視差ベクトル（視差情報）を取り出す。この場合、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が得られる（図１１〜図１２参照）。

上述したように、字幕データストリームには、ＡＲＩＢ方式の字幕（キャプション・ユニット）のデータおよび視差情報（視差ベクトル）が含まれている。そして、視差情報は、字幕データの管理情報として挿入されている。そのため、視差情報取り出し部２２５は、各キャプション・ユニットの字幕データと対応付けて、視差ベクトルを取り出すことができる。

視差情報取り出し部２２５では、字幕表示期間内で共通に使用される視差情報（図２４の「default_disparity」参照）が取得される。また、この視差情報取り出し部２２５では、さらに、字幕表示期間内で順次更新される視差情報（図２５の「disparity_update」参照）が取得されることもある。視差情報取り出し部２２５で取り出された視差情報（視差ベクトル）は、視差情報処理部２２８を通じて、立体画像用字幕発生部２２４に送られる。この字幕表示期間内で順次更新される視差情報は、上述したように、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間（更新フレーム間隔）毎のフレームの視差情報とからなっている。

視差情報処理部２２８は、字幕表示期間内で共通に使用される視差情報に関しては、そのまま立体画像用字幕発生部２２４に送る。一方、視差情報処理部２２８は、字幕表示期間内で順次更新される視差情報に関しては、補間処理を施して、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して、立体画像用字幕発生部２２４に送る。

視差情報処理部２２８は、この補間処理として、線形補間処理ではなく、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理を行って、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）を変化がなだらかにしている。図３５は、視差情報処理部２２８における上述のＬＰＦ処理を伴った補間処理の一例を示している。この例では、上述の図２９の視差情報の更新例に対応している。

立体画像用字幕発生部２２４は、左眼画像および右眼画像にそれぞれ重畳する左眼字幕および右眼字幕のデータを生成する。この生成処理は、字幕デコーダ２２３で得られた各キャプション・ユニットの字幕データと、視差情報処理部２２８を通じて供給される視差情報（視差ベクトル）に基づいて行われる。そして、この立体画像用字幕発生部２２４は、左眼字幕および左眼字幕のデータ（ビットマップデータ）を出力する。

この場合、左眼および左眼の字幕（キャプション・ユニット）は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼の字幕と右眼の字幕とは、視差ベクトル分だけ、水平方向にずれるようにされる。これにより、左眼画像および右眼画像に重畳される同一の字幕として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、この字幕の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。

ここで、立体画像用字幕発生部２２４は、視差情報処理部２２８から字幕表示期間内で共通に使用される視差情報（視差ベクトル）のみが送られてくる場合、その視差情報を使用する。また、立体画像用字幕発生部２２４は、視差情報処理部２２８から、さらに字幕表示期間内で順次更新される視差情報も送られてくる場合には、いずれかを使用する。いずれを使用するかは、例えば、上述したように、拡張表示制御のデータユニットに含まれている、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す情報（図２４の「rendering_level」参照）に拘束される。その場合、例えば、“００”であるときは、ユーザ設定による。字幕表示期間内で順次更新される視差情報を用いることで、左眼および右眼に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

ビデオ重畳部２２６は、ビデオデコーダ２２２で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、立体画像用字幕発生部２２４で発生された左眼および左眼の字幕のデータ（ビットマップデータ）を重畳し、表示用立体画像データＶoutを得る。そして、このビデオ重畳部２２６は、表示用立体画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。

また、オーディオデコーダ２２７は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２７は、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。そして、このオーディオデコーダ２２７は、音声データＡoutを、ビットストリーム処理部２０１の外部に出力する。

図３４に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図３３参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、ビットストリームデータＢＳＤから、ビデオ、オーディオおよび字幕のパケットが抽出され、各デコーダに供給される。

ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオのエレメンタリストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２６に供給される。

また、字幕デコーダ２２３では、デマルチプレクサ２２１で抽出された字幕のパケットから字幕エレメンタリストリームが再構成され、さらに復号化処理が行われて、各キャプション・ユニットの字幕データ（ＡＲＩＢ方式の字幕データ）が得られる。この各キャプション・ユニットの字幕データは、立体画像用字幕発生部２２４に供給される。

また、視差情報取り出し部２２５では、字幕デコーダ２２３を通じて得られる字幕のストリームから、各キャプション・ユニットに対応した視差ベクトル（視差情報）が取り出される。この場合、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が得られる。

また、視差情報取り出し部２２５では、字幕表示期間内で共通に使用される視差情報、または、これと共に字幕表示期間内で順次更新される視差情報が取得される。視差情報取り出し部２２５で取り出された視差情報（視差ベクトル）は、視差情報処理部２２８を通じて、立体画像用字幕発生部２２４に送られる。視差情報処理部２２８では、字幕表示期間内で順次更新される視差情報に関して、以下の処理が行われる。すなわち、視差情報処理部２２８では、時間方向（フレーム方向）のＬＰＦ処理を伴った補間処理が施されて、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成されて、立体画像用字幕発生部２２４に送られる。

立体画像用字幕発生部２２４では、各キャプション・ユニットの字幕データと、各キャプション・ユニットに対応した視差ベクトルに基づいて、左眼画像および右眼画像にそれぞれ重畳する左眼字幕および右眼字幕のデータ（ビットマップデータ）が生成される。この場合、画像内の重畳位置が、例えば、左眼の字幕に対して、右眼の字幕は、視差ベクトル分だけ、水平方向にずれるようにされる。この左眼字幕および左眼字幕のデータはビデオ重畳部２２６に供給される。

ビデオ重畳部２２６では、ビデオデコーダ２２２で得られた立体画像データに対し、立体画像用字幕発生部２２４で発生された左眼字幕および右眼字幕のデータ（ビットマップデータ）が重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。

また、オーディオデコーダ２２７では、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が行われて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１の外部に出力される。

上述したように、図３３に示すセットトップボックス２００において、受信される字幕データストリームに、字幕データの管理情報として視差ベクトル（視差情報）が挿入され、字幕データと視差ベクトルとが対応付けられている。そのため、ビットストリーム処理部２０１では、左眼画像および右眼画像に重畳されるキャプション・ユニット（字幕）に、対応する視差ベクトル（視差情報）を用いて適切な視差を付与できる。したがって、キャプション・ユニット（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、図３３に示すセットトップボックス２００において、ビットストリーム処理部２０１の視差情報取り出し部２２５では、字幕表示期間内で共通に使用される視差情報、または、これと共に字幕表示期間内で順次更新される視差情報が取得される。立体画像用字幕発生部２２４では、字幕表示期間内で順次更新される視差情報が使用されることで、左眼および右眼の字幕に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。

また、図３３に示すセットトップボックス２００において、ビットストリーム処理部２０１の視差情報処理部２２８では、字幕表示期間内で順次更新される視差情報に対して補間処理が施されて字幕表示期間内における任意のフレーム間隔の視差情報が生成される。この場合、送信側（放送局１００）から１６フレーム等のベースセグメント期間（更新フレーム間隔）毎に視差情報が送信される場合であっても、左眼および右眼の字幕に付与される視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。

また、図３３に示すセットトップボックス２００において、ビットストリーム処理部２０１の視差情報処理部２２８では、時間方向（フレーム方向）のローパスフィルタ処理を伴った補間処理が行われる。そのため、送信側（放送局１００）からベースセグメント期間（更新フレーム間隔）毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向（フレーム方向）の変化をなだらかにできる（図３５参照）。したがって、左眼および右眼の字幕に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。

［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。

［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図３６は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。

また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。

アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

ビットストリーム処理部３０６は、図３３に示すセットトップボックス２００内のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等を抽出する。また、このビットストリーム処理部３０６は、立体画像データに対して、左眼字幕、右眼字幕のデータを合成し、表示用立体画像データを生成して出力する。また、ビットストリーム処理部３０６は、音声データを出力する。

ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４ａとされており、立体画像データの取り扱いが可能な状態にある。

３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送方式（図４参照）に対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、ＴＭＤＳ伝送データ構造に対応したデコード処理を行う。

映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。

音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。

ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。

リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。

図３６に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。

アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

デジタルチューナ３０５から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対して、左眼字幕、右眼字幕のデータが合成され、表示用立体画像データが生成される。

ビットストリーム処理部３０６で生成された表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。

３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、重畳情報データの合成処理も行われる。

この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。

また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。

＜２．変形例＞
なお、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図３６に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図３７に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。

また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。

また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を同様に適用できる。

また、上述実施の形態においては、重畳情報としてキャプション・ユニット（字幕）を取り扱うものを示した。しかし、この発明は、その他のグラフィクス情報、テキスト情報などの重畳情報を扱うものにも同様に適用できる。

この発明は、画像に重ねて字幕などの重畳情報の表示を行う立体画像システムに適用できる。

１０，１０Ａ・・・立体画像表示システム
１００・・・放送局
１１０・・・送信データ生成部
１１３・・・ビデオエンコーダ
１１７・・・オーディオエンコーダ
１２２・・・マルチプレクサ
１３０・・・データ取り出し部
１３０ａ・・・データ記録媒体
１３１・・・視差情報作成部
１３２・・・字幕発生部
１３３・・・字幕エンコーダ
２００・・・セットトップボックス（ＳＴＢ）
２０１・・・ビットストリーム処理部
２０２・・・ＨＤＭＩ端子
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・映像信号処理回路
２０６・・・ＨＤＭＩ送信部
２０７・・・音声信号処理回路
２１１・・・ＣＰＵ
２１５・・・リモコン受信部
２１６・・・リモコン送信機
２２１・・・デマルチプレクサ
２２２・・・ビデオデコーダ
２２３・・・字幕デコーダ
２２４・・・立体画像用字幕発生部
２２５・・・視差情報取り出し部
２２６・・・ビデオ重畳部
２２７・・・オーディオデコーダ
２２８・・・視差情報処理部
３００・・・テレビ受信機（ＴＶ）
３０１・・・３Ｄ信号処理部
３０２・・・ＨＤＭＩ端子
３０３・・・ＨＤＭＩ受信部
３０４・・・アンテナ端子
３０５・・・デジタルチューナ
３０６・・・ビットストリーム処理部
３０７・・・映像・グラフィック処理回路
３０８・・・パネル駆動回路
３０９・・・表示パネル
３１０・・・音声信号処理回路
３１１・・・音声増幅回路
３１２・・・スピーカ
３２１・・・ＣＰＵ
３２５・・・リモコン受信部
３２６・・・リモコン送信機
４００・・・ＨＤＭＩケーブル

Claims (16)

1. 左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力部と、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
   上記画像データ出力部から出力される立体画像データ含む第１のデータストリームと、上記重畳情報出力部から出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
   上記第２のデータストリームは、上記重畳情報の管理情報としての表示制御情報を送出するデータユニットを有し、
   上記視差情報は、上記データユニットに挿入されている
   立体画像データ送信装置。
2. 上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内で共通に使用される第１の視差情報、または該第１の視差情報および上記所定数のフレーム期間内で順次更新される第２の視差情報であり、
   上記データユニットには、上記第２の視差情報の存在を示すフラグ情報が挿入されている
   請求項１に記載の立体画像データ送信装置。
3. 上記第２の視差情報は、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
   請求項２に記載の立体画像データ送信装置。
4. 上記第２の視差情報には、上記更新フレーム間隔毎のフレームのそれぞれについて、上記視差情報の更新の有無を示すフラグ情報が付加されている
   請求項３に記載の立体画像データ送信装置。
5. 上記第２の視差情報には、上記更新フレーム期間毎のフレームのそれぞれについて、上記更新フレーム間隔を調整する情報が付加されている
   請求項３に記載の立体画像データ送信装置。
6. 上記データユニットには、フレーム周期を指定する情報が挿入されている
   請求項３に記載の立体画像データ送信装置。
7. 上記データユニットに挿入されている視差情報は、同一画面に表示される特定の重畳情報に対応した視差情報、または同一画面に表示される複数の重畳情報に対応した視差情報である
   請求項１に記載の立体画像データ送信装置。
8. 上記データユニットには、上記重畳情報の表示の際に必須の、上記視差情報に対する対応レベルを示す情報が挿入されている
   請求項２に記載の立体画像データ送信装置。
9. 上記第２のデータストリームには、上記管理情報のレイヤに、上記重畳情報の拡張表示に対応しているか否かを示すフラグ情報が含まれている
   請求項１に記載の立体画像データ送信装置。
10. 上記重畳情報のデータは、ＡＲＩＢ方式の字幕分データであり、
    上記第２のデータストリームにおいて、上記視差情報は、字幕管理データに含まれる上記表示制御情報のデータユニットに挿入される
    請求項１に記載の立体画像データ送信装置。
11. 左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力ステップと、
    上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
    上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
    上記画像データ出力ステップで出力される立体画像データ含む第１のデータストリームと、上記重畳情報出力ステップで出力される重畳情報のデータおよび上記視差情報出力ステップで出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信ステップとを備え、
    上記第２のデータストリームは、上記重畳情報の管理情報としての表示制御情報を送出するデータユニットを有し、
    上記視差情報は、上記データユニットに挿入されている
    立体画像データ送信方法。
12. 第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信部を備え、
    上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
    上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
    上記第２のデータストリームは、上記重畳情報の管理情報としての表示制御情報を送出するデータユニットを有し、上記視差情報は該データユニットに挿入されており、
    上記データ受信部で受信された多重化データストリームに含まれる上記第１のデータストリームから上記立体画像データを取得する画像データ取得部と、
    上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから上記重畳情報のデータを取得する重畳情報データ取得部と、
    上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから上記視差情報を取得する視差情報取得部と、
    上記画像データ取得部で取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得部で取得された上記視差情報と、上記重畳情報データ取得部で取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
    立体画像データ受信装置。
13. 上記データユニットに挿入されている視差情報は、上記重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
    請求項１２に記載の立体画像データ受信装置。
14. 上記画像データ処理部は、上記所定数のフレーム期間内で順次更新される視差情報を構成する複数フレームの視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する
    請求項１３に記載の立体画像データ受信装置。
15. 上記補間処理は、時間方向のローパスフィルタ処理を伴う
    請求項１４に記載の立体画像データ受信装置。
16. 第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信ステップを備え、
    上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
    上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
    上記第２のデータストリームは、上記重畳情報の管理情報としての表示制御情報を送出するデータユニットを有し、上記視差情報は該データユニットに挿入されており、
    上記データ受信ステップで受信された多重化データストリームに含まれる上記第１のデータストリームから上記立体画像データを取得する画像データ取得ステップと、
    上記データ受信ステップで受信された多重化データストリームに含まれる上記第２のデータストリームから上記重畳情報のデータを取得する重畳情報データ取得ステップと、
    上記データ受信ステップで受信された多重化データストリームに含まれる上記第２のデータストリームから上記視差情報を取得する視差情報取得ステップと、
    上記画像データ取得ステップで取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得ステップで取得された上記視差情報と、上記重畳情報データ取得ステップで取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理ステップとをさらに備える
    立体画像データ受信方法。