WO2012032997A1

WO2012032997A1 - 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置

Info

Publication number: WO2012032997A1
Application number: PCT/JP2011/069887
Authority: WO
Inventors: 塚越　郁夫
Original assignee: ソニー株式会社
Priority date: 2010-09-06
Filing date: 2011-09-01
Publication date: 2012-03-15
Also published as: RU2012118689A; EP2485492A1; KR20130098132A; CA2779687A1; AU2011300020A1; EP2485492A4; MX2012005359A; JP5633259B2; US20120262546A1; JP2012060267A; AU2011300020B2; CN102714746A; BR112012010777A2

Abstract

【課題】立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性の維持を容易に図る。【解決手段】視差情報セット作成部１２２は、ディスパリティ・マップに基づいて、所定の画素位置の視差情報セットを作成する。例えば、視差情報値が最大となる画素位置、つまり最も手前に認識するピクセル（画素）位置などである。視差情報セットは、画像全体に対する相対位置を示す位置データと、その位置の視差データとを含む。視差情報セットは、立体画像データに対して空間的に同期したものとなる。この視差情報セットは、立体画像の解像度とは独立で、モニタの表示解像度やモニタサイズにも独立したものとなる。視差情報セット作成部１２２は、所定番組の番組期間等を階層的に等分割した各期間で視差情報セットを作成する。視差情報セットは、立体画像データに対して時間的に同期したものとなる。

Description

立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置

　この発明は、立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置に関し、特に、受信側において、ＯＳＤ等のグラフィクス情報の表示を良好に行い得る立体画像データ送信装置等に関する。

　例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。

　図６８は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。

　また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。

特開２００５－６１１４号公報

　上述したように、立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えばＯＳＤ（On Screen Display）等のグラフィクス情報に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。

　例えば、立体画像にＯＳＤ等のグラフィクス情報を重畳表示（オーバーレイ表示）する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。つまり、画像にＯＳＤ等のグラフィクス情報を重畳表示する場合、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。

　この発明の目的は、立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。

　この発明の概念は、
　左眼画像データおよび右眼画像データを有する所定番組の立体画像データを出力する画像データ出力部と、
　上記画像データ出力部から出力される上記所定番組の立体画像データに対応した所定の画素位置の視差情報セットを出力する視差情報セット出力部と、
　上記画像データ出力部から出力される立体画像データおよび上記視差情報セット出力部から出力される視差情報セットを送信する送信部とを備え、
　上記視差情報セットは、上記所定の画素位置の画像全体に対する相対位置を示す位置データと、上記所定の画素位置の視差データとを含む
　立体画像データ送信装置にある。

　この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを有する所定番組の立体画像データが出力される。また、視差情報セット出力部により、所定番組の立体画像データに対応した所定の画素位置の視差情報セットが出力される。そして、送信部により、立体画像データおよび視差情報セットが送信される。

　視差情報セットは、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差データとを含むものとされる。これにより、視差情報セットは、立体画像データに対して空間的に同期したものとなっている。また、この視差情報セットは、立体画像の解像度とは独立で、しかもモニタの表示解像度やモニタサイズにも独立したものとなっている。

　この発明において、例えば、位置データは、所定の画素位置の原点からの方向を示す方向データと、所定の画素位置の原点からの距離を示す距離データとからなる、ものとされる。この場合、例えば、視差データは、所定の画素位置の視差情報の値の、原点からの距離に対する割合を示すデータ、あるいは、所定の画素位置の、特定の表示解像度、例えばフルＨＤにおける視差情報の値とされてもよい。

　この発明において、例えば、位置データは、所定の画素位置の原点からの水平距離を示す水平距離データと、所定の画素位置の原点からの垂直距離を示す垂直距離データとからなる、ものとされる。この場合、例えば、所定の画素位置の視差情報の値の、特定の表示解像度に対する割合を示すデータ、あるいは、所定の画素位置の、特定の表示解像度における視差情報の値とされてもよい。

　この発明において、例えば、所定の画素位置は、１個に限定されるものではなく、複数個であってもよい。例えば、所定の画素位置は、視差情報値が最大となる第１の画素位置と、視差情報値が最小となる第２の画素位置とされる。この場合、受信側では、視差情報値の最大最小の幅を知ることができ、立体画像の深さ（depth）調整を行うことが可能となる。

　この発明において、例えば、視差情報セット出力部は、所定番組の期間を階層的に等分割して得られた各分割期間の視差情報セットを出力する、ものとされる。これにより、視差情報セットは、立体画像データに対して時間的に同期したものとなる。

　この発明において、例えば、送信部は、画像データ送信部から出力される所定番組の立体画像データを含むトランスポートストリームを送信し、このトランスポートストリームに挿入されるＰＳＩ情報またはＳＩ情報の所定位置に、視差情報セット出力部から出力される視差情報セットを含むデスクリプタを挿入する、ようにされる。これにより、受信側においては、画像データのデコーダとは関係なく、視差情報セットを取得することが可能となる。

　この発明において、例えば、送信部は、視差情報セットを、所定の情報を送信するためのエレメンタリーストリームに含めて送信する、ようにされる。この場合、例えば、他の情報は立体画像データであり、視差情報セットは、エレメンタリーストリームのヘッダ部のユーザデータ領域に挿入されてもよい。また、この場合、例えば、所定の情報はサブタイトルデータあるいは独立データであり、エレメンタリーストリームは、視差情報セットが挿入されたセグメントあるいはパケットを有するようにされてもよい。

　このように、この発明においては、左眼画像データおよび右眼画像データを有する所定番組の立体画像データと共に、所定番組の立体画像データに対応した所定の画素位置の視差情報セットが送信される。そのため、受信側において、視差情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。

　また、この発明においては、視差情報セットは、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差データとを含むものとされる。そのため、視差情報セットは、立体画像の解像度とは独立で、しかもモニタの表示解像度やモニタサイズにも独立したものとなっている。したがって、受信側において、モニタの表示解像度やモニタサイズによらずに、この視差情報セットを用いて容易に視差調整を行うことが可能となる。

　また、この発明の他の概念は、
　左眼画像データおよび右眼画像データを有する所定番組の立体画像データと該所定番組の立体画像データに対応した所定の画素位置の視差情報セットを受信する受信部と、
　上記受信部で受信された立体画像データに含まれる左眼画像データに対応した左眼重畳情報のデータおよび上記受信部で受信された立体画像データに含まれる右眼画像データに対応した右眼重畳情報のデータを出力する重畳情報データ出力部と、
　上記受信部で受信された立体画像データに含まれる左眼画像データおよび右眼画像データに、上記重畳情報データ出力部から出力される上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを重畳するデータ重畳部とを備え、
　上記視差情報セットは、上記所定の画素位置の画像全体に対する相対位置を示す位置データと、上記所定の画素位置の視差データとを含み、
　上記重畳情報データ出力部は、
　上記受信部で受信された上記視差情報セットに基づいて、上記左眼重畳情報と上記右眼重畳情報との間に視差を付与する
　立体画像データ受信装置にある。
　この概念は、トランスポートストリーム以外の一般的なファイルフォーマットでの実現が可能であり、また、ストリームの内部においても挿入し得るものである。

　この発明において、受信部により、左眼画像データおよび右眼画像データを有する所定番組の立体画像データと、この所定番組の立体画像データに対応した所定の画素位置の視差情報セットが受信される。ここで、視差情報セットは、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差データとを含むものとされる。これにより、視差情報セットは、立体画像データに対して空間的に同期したものとなっている。また、この視差情報セットは、立体画像の解像度とは独立で、しかもモニタの表示解像度やモニタサイズにも独立したものとなっている。

　重畳情報データ出力部により、受信部で受信された立体画像データに含まれる左眼画像データに対応した左眼重畳情報のデータおよび受信部で受信された立体画像データに含まれる右眼画像データに対応した右眼重畳情報のデータが出力される。そして、データ重畳部により、受信部で受信された立体画像データに含まれる左眼画像データおよび右眼画像データに、重畳情報データ出力部から出力される左眼重畳情報のデータおよび右眼重畳情報のデータが重畳される。これにより、立体画像にＯＳＤ等のグラフィクス情報を重畳表示できる。

　重畳情報データ出力部では、受信部で受信された視差情報セットに基づいて、左眼重畳情報と右眼重畳情報との間に視差が付与される。そのため、この発明においては、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。

　また、この発明においては、視差情報セットは、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差情報とを含んでいる。そのため、視差情報セットは、立体画像の解像度とは独立で、しかもモニタの表示解像度やモニタサイズにも独立したものとなっている。したがって、モニタの表示解像度やモニタサイズによらずに、この視差情報セットを用いて容易に視差調整を行うことが可能となる。

　この発明のさらに他の概念は、
　左眼画像データおよび右眼画像データを有する所定番組の立体画像データおよび上記所定番組の立体画像データに対応した所定の画素位置の視差情報セットを受信する受信部と、
　上記受信部で受信された、上記左眼画像データおよび上記右眼画像データと、上記視差情報セットとを、伝送路を介して、外部機器に送信する送信部とを備え、
　上記視差情報セットは、上記所定の画素位置の画像全体に対する相対位置を示す位置データと、上記所定の画素位置の視差データとを含む
　立体画像データ受信装置にある。

　この発明においては、受信部により、左眼画像データおよび右眼画像データを有する所定番組の立体画像データと共に、この所定番組の立体画像データに対応した所定の画素位置の視差情報セットが受信される。ここで、視差情報セットは、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差データとを含むものとされる。これにより、視差情報セットは、立体画像データに対して空間的に同期したものとなっている。また、この視差情報セットは、立体画像の解像度とは独立で、しかもモニタの表示解像度やモニタサイズにも独立したものとなっている。

　そして、送信部により、この受信された左眼画像データおよび右眼画像データと、視差情報セットとが、伝送路を介して、外部機器に送信される。この発明において、例えば、送信部は、画像データを、複数チャネルで、差動信号により、伝送路を介して、外部機器に送信し、画像データのブランキング期間に視差情報セットを挿入することで、この視差情報を外部機器に送信する、ようにされる。

　また、この発明において、例えば、送信部は、垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成する伝送データ生成部と、伝送データ生成部で生成された伝送データを、複数チャネルで、差動信号により、伝送路を介して、外部機器に送信する伝送データ送信部とを有し、アクティブビデオ区間は、主映像領域および補助映像領域を有し、伝送データ生成部は、主映像領域に画像データを配し、補助映像領域に、主映像領域に配される画像データに関連した上記視差情報セットを配する、ようにされる。

　このように、この発明においては、左眼画像データおよび右眼画像データと共に、この所定番組の立体画像データに対応した所定の画素位置の視差情報セットが、伝送路を介して、外部機器に送信される。そのため、外部機器、例えばテレビ受信機等の画像表示装置において、視差情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。

　また、この発明においては、視差情報セットは、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差データとを含んでいる。そのため、視差情報セットは、立体画像の解像度とは独立で、しかもモニタの表示解像度やモニタサイズにも独立したものとなっている。したがって、外部機器、例えばテレビ受信機等の画像表示装置において、モニタの表示解像度やモニタサイズによらずに、この視差情報セットを用いて容易に視差調整を行うことが可能となる。

　また、この発明の他の概念は、
　左眼画像データおよび右眼画像データを有する所定番組の立体画像データを出力する画像データ出力部と、
　上記画像データ出力部から出力される上記所定番組の立体画像データに対応した視差情報を出力する視差情報出力部と、
　上記画像データ出力部から出力される立体画像データおよび上記視差情報出力部から出力される視差情報を送信する送信部とを備え、
　上記送信部は、所定の情報を送信するためのエレメンタリーストリームに、上記視差情報を含むセグメントあるいはパケットを挿入し
　上記セグメントあるいはパケットは、上記視差情報の使用タイミングを示すタイミング情報をさらに含む
　立体画像データ送信装置にある。

　この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを有する所定番組の立体画像データが出力される。また、視差情報出力部により、所定番組の立体画像データに対応した視差情報が出力される。この視差情報は、例えば、位置あるいは領域を示す位置データと、その位置あるいは領域の視差データとからなる。この場合、位置データは、画像全体に対する相対位置を示す場合、あるいは画像内の絶対位置を示す場合などがある。

　送信部により、画像データ出力部から出力される立体画像データおよび視差情報出力部から出力される視差情報が送信される。この場合、送信部では、所定の情報、例えばサブタイトル、独立データ等を送信するためのエレメンタリーストリームに、視差情報を含むセグメントあるいはパケットが挿入される。このセグメントあるいはパケットには、視差情報の使用タイミングを示すタイミング情報がさらに含まれている。

　このように、この発明においては、左眼画像データおよび右眼画像データを有する所定番組の立体画像データと共に、所定番組の立体画像データに対応した視差情報、その視差情報の使用タイミング情報と共に送信される。そのため、受信側において、視差情報を用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。

　また、この発明において、例えば、セグメントあるいはパケットは、このセグメントあるいはパケットが連続して存在するか否かを示すフラグ情報をさらに含む、ようにしてもよい。これにより、受信側においては、フラグ情報に基づいて、視差情報が含まれるセグメントあるいはパケットが連続して存在するか否かを知ることができ、視差情報の更新の可能性などを事前に知ることができる。

　この発明によれば、立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性の維持を容易に図ることができる。

この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。放送局における送信データ生成部の構成例を示すブロック図である。１９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。立体画像データ（３Ｄ画像データ）の伝送方式である「Top &Bottom」方式、「Side By Side」方式、「FrameSequential」方式を説明するための図である。左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。視差ベクトルをブロックマッチング方式で求めることを説明するための図である。番組期間を階層的に等分割して得られた各分割期間で視差情報セットを作成することを説明するための図である。トランスポートストリームの構成例（ＥＩＴの配下に視差情報セットを含むデスクリプタ挿入）を示す図である。トランスポートストリームの構成例（ＰＭＴ中のプログラム・デスクリプタに視差情報セットを含むデスクリプタを挿入）を示す図である。トランスポートストリームの構成例（ビデオ・エレメンタリ・ループのデスクリプタ部分に視差情報セットを含むデスクリプタを配置）を示す図である。「ケース１」で作成される視差情報セットを説明するための図である。「ケース１」で作成される視差情報セットを説明するための図である。「ケース１」における視差情報セット作成の処理手順を示すフローチャートである。「ケース３」で作成される視差情報セットに含まれる方向データを説明するための図である。「ケース３」で作成される視差情報セットを説明するための図である。「ケース３」で作成される視差情報セットを説明するための図である。「ケース３」における視差情報セット作成の処理手順を示すフローチャートである。「ケース５」で作成される視差情報セット（座標モード０）を説明するための図である。「ケース５」で作成される視差情報セット（座標モード１）を説明するための図である。「ケース５」における視差情報セット作成の処理手順を示すフローチャートである。「ケース６」で作成される視差情報セットに含まれる視差データ（Relative_Disparity_ratio）を説明するための図である。「ケース１」で作成される視差情報セットの内容例を示す図である。「ケース２」で作成される視差情報セットの内容例を示す図である。「ケース３」で作成される視差情報セットの内容例を示す図である。「ケース４」で作成される視差情報セットの内容例を示す図である。視差情報セットの内容例における主要なデータ規定内容（semantics）を示す図である。「ケース５」で作成される視差情報セットの内容例を示す図である。「ケース６」で作成される視差情報セットの内容例を示す図である。視差情報セットの内容例における主要なデータ規定内容（semantics）を示す図である。「ケース１」において作成された視差情報セットを含むデスクリプタ（z-OSDDescriptor）の一例を示す図である。「ケース２」において作成された視差情報セットを含むデスクリプタ（z-OSDDescriptor）の一例を示す図である。「ケース３」において作成された視差情報セットを含むデスクリプタ（z-OSDDescriptor）の一例を示す図である。「ケース４」において作成された視差情報セットを含むデスクリプタ（z-OSDDescriptor）の一例を示す図である。「ケース５」において作成された視差情報セットを含むデスクリプタ（z-OSDDescriptor）の一例を示す図である。「ケース６」において作成された視差情報セットを含むデスクリプタ（z-OSDDescriptor）の一例を示す図である。セットトップボックスの構成例を示すブロック図である。テレビ受信機の構成例を示すブロック図である。「ケース１」で作成された視差情報セットに対する受信側の再現処理の手順を示すフローチャートである。「ケース１」で作成された視差情報セットに対する受信側の再現処理を説明するための図である。「ケース１」で作成された視差情報セットに対する受信側の再現処理を説明するための図である。「ケース６」で作成された視差情報セットに対する受信側の再現処理の手順を示すフローチャートである。モニタサイズの違いによる視差情報とその位置との関係について説明するための図である。解像度の違いによる視差情報とその位置との関係について説明するための図である。水平方向に１／２画素（ピクセル）分のシフトをする場合の補間処理例を概略的に示す図である。ＨＤＭＩ送信部（ＨＤＭＩソース）とＨＤＭＩ受信部（ＨＤＭＩシンク）の構成例を示すブロック図である。ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。Ｅ－ＥＤＩＤのデータ構造例を示す図である。 Vender Specific領域（HDMI Vendor Specific Data Block）のデータ構造例を示す図である。立体画像データのＴＭＤＳ伝送データ構造の一つであるフレームパッキング方式の３Ｄビデオフォーマットを示す図である。視差情報セットの送信にＨＤＭＩ Vendor SpecificInfoFrame を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例を示す図である。視差情報セットの送信にアクティブスペース領域を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例を示す図である。アクティブスペース領域に配置される視差情報セットの構造を示す図である。視差情報セット構造の各情報の内容を示す図である。立体画像表示システムの他の構成例を示す図である。視差情報セットをビデオエレメンタリーストリーム（ビデオデータストリーム）に挿入して送信する場合におけるトランスポートストリームの構成例を示す図である。ビデオエレメンタリーストリーム（Video ElementaryStream）の構造例を概略的に示す図である。ピクチャヘッダ部のユーザデータ領域に埋め込まれるユーザデータの構成例を示す図である。視差情報セットを含むユーザデータの構造（Syntax）の一例を示す図である。差情報セットを含むユーザデータの構造（Syntax）等の各種構造例の主要なデータ規定内容（Semantics）を示す図である。視差情報セットをサブタイトルエレメンタリーストリーム（サブタイトルデータストリーム）に挿入して送信する場合におけるトランスポートストリームの構成例を示す図である。サブタイトルエレメンタリーストリームに含まれる各種セグメントのセグメントタイプを示す図である。ｚＯＳＤ（z-OSD segment）の構造例（syntax）を示す図である。サブタイトルデータストリームのＰＥＳヘッダおよびＰＥＳペイロードデータの構成を説明するための図である。視差情報セットを独立したメタデータ（Metadata）ストリームで送信する場合におけるトランスポートストリームの構成例を示す図である。視差情報セットを含むメタデータ（z-OSD metadata）が挿入されているメタデータエレメンタリーストリームの構造例（syntax）を示す図である。「z-OSD_Metadata_set()」の詳細構造の一例を示す図である。両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。

　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例

　＜１．実施の形態＞
　［立体画像表示システムの構成例］
　図１は、実施の形態としての立体画像表示システム１０の構成例を示している。この立体画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。

　セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ（HighDefinition Multimedia Interface）ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。

　［放送局の説明］
　放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、立体画像データ、音声データ、視差情報セットなどが含まれる。ここで、立体画像データは、左眼画像データおよび右眼画像データを有する所定番組の立体画像データである。音声データは、この立体画像データに対応した音声データである。視差情報セットは、立体画像データに対応した所定の画素位置の視差情報セットである。

　「送信データ生成部の構成例」
　図２は、放送局１００において送信データを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ディスパリティ・マップ生成部１１３と、マイクロホン１１４と、データ取り出し部１１５と、切換スイッチ１１６～１１８を有している。また、この送信データ生成部１１０は、ビデオエンコーダ１１９と、オーディオエンコーダ１２０と、視差情報セット作成部１２２と、マルチプレクサ１２６を有している。

　カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られた左眼画像データおよびカメラ１１１Ｒで得られた右眼画像データを、伝送フォーマットに応じた立体画像データ（３Ｄ画像データ）に加工処理する。このビデオフレーミング部１１２は、画像データ出力部を構成している。

　立体画像データの伝送フォーマット例を説明する。ここでは、以下の第１～第３の伝送フォーマットを挙げるが、これら以外の伝送フォーマットであってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０のピクセルフォーマットの画像データである場合を例にとって説明する。

　第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。

　第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。

　第３の伝送方式は、フレーム・シーケンシャル（FrameSequential）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム（Full Frame）方式、あるいはバックワード・コンパチブル（BackwardCompatible）方式と称される場合もある。

　図２に戻って、ディスパリティ・マップ生成部１１３は、左眼画像データおよび右眼画像データに基づき、例えば、画像を構成するピクセル毎の視差ベクトル（視差情報）を検出して、ディスパリティ・マップを作成する。例えば、手前に位置するピクセル（画素）ほど、その視差情報の値は大きくなる。

　視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。

　（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。

　この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８、あるいは１６×１６の比較ブロックが順次設定されていく。

　画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)－Ｒ(x,y)｜で表される。

　右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１～Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′－xi，yi′－yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。

　マイクロホン１１４は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。

　データ取り出し部１１５は、データ記録媒体１１５ａを着脱自在に装着した状態で使用される。このデータ記録媒体１１５ａは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体１１５ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、ディスパリティ・マップが対応付けて記録されている。データ取り出し部１１５は、データ記録媒体１１５ａから、立体画像データ、音声データおよびディスパリティ・マップを取り出して出力する。このデータ取り出し部１１５は、画像データ出力部を構成している。

　ここで、データ記録媒体１１５ａに記録されている立体画像データは、ビデオフレーミング部１１２で得られる立体画像データに相当するものである。また、データ記録媒体１１５ａに記録されている音声データは、マイクロホン１１４で得られる音声データに相当するものである。また、データ記録媒体１１５ａに記録されているディスパリティ・マップは、ディスパリティ・マップ生成部１１３で生成される視差ベクトルに相当するものである。

　切り換えスイッチ１１６は、ビデオフレーミング部１１２で得られた立体画像データまたはデータ取り出し部１１５から出力された立体画像データを選択的に取り出す。この場合、切り換えスイッチ１１６は、ライブモードでは、ａ側に接続され、ビデオフレーミング部１１２で得られた立体画像データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された立体画像データを取り出す。

　切り換えスイッチ１１７は、ディスパリティ・マップ生成部１１３で生成されたディスパリティ・マップまたはデータ取り出し部１１５から出力されたディスパリティ・マップを選択的に取り出す。この場合、切り換えスイッチ１１７は、ライブモードでは、ａ側に接続され、ディスパリティ・マップ生成部１１３で生成されたディスパリティ・マップを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力されたディスパリティ・マップを取り出す。

　切り換えスイッチ１１８は、マイクロホン１１４で得られた音声データまたはデータ取り出し部１１５から出力された音声データを選択的に取り出す。この場合、切り換えスイッチ１１８は、ライブモードでは、ａ側に接続され、マイクロホン１１４で得られた音声データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された音声データを取り出す。

　ビデオエンコーダ１１９は、切り換えスイッチ１１６で取り出された立体画像データに対して、ＭＰＥＧ４－ＡＶＣ、ＭＰＥＧ２、ＶＣ－１等の符号化を施し、ビデオデータストリーム（ビデオエレメンタリーストリーム）を生成する。オーディオエンコーダ１２０は、切り換えスイッチ１１８で取り出された音声データに対して、ＡＣ３、ＡＡＣ等の符号化を施し、オーディオデータストリーム（オーディオエレメンタリーストリーム）を生成する。　

　視差情報セット作成部１２２は、切り換えスイッチ１１７で取り出されたディスパリティ・マップに基づいて、切り換えスイッチ１１６から出力される所定番組の立体画像データに対応した所定の画素位置の視差情報セットを作成する。所定の画素位置は、例えば、視差情報値が最大となる画素位置、つまり最も手前に認識するピクセル（画素）位置などである。

　この視差情報セットは、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差データとを含んでいる。これにより、視差情報セットは、立体画像データに対して空間的に同期したものとなっている。また、この視差情報セットは、立体画像の解像度とは独立で、しかもモニタの表示解像度やモニタサイズにも独立したものとなっている。

　視差情報セット作成部１２２は、所定番組の番組期間（Program period）等を階層的に等分割して得られた各分割期間の視差情報セットを作成する。これにより、視差情報セットは、立体画像データに対して時間的に同期したものとなっている。図７（１）は、番組期間が、ａ、ｂ、ｃの３つの期間に等分割された状態を示している。また、図７（２）は、ｂの期間がさらに４つの期間に等分割された状態を示している。なお、等分割の階層は２階層に限定されるものではない。視差情報セット作成部１２２における視差情報セット作成の詳細については、後述する。

　マルチプレクサ１２６は、ビデオエンコーダ１１９およびオーディオエンコーダ１２０からの各データストリームを多重化し、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームを得る。また、マルチプレクサ１２６は、このビットストリームデータＢＳＤに、視差情報セット作成部１２２で作成された視差情報セットを挿入する。具体的には、マルチプレクサ１２６は、ビットストリームデータＢＳＤに挿入されるＰＳＩ情報またはＳＩ情報の所定位置に、視差情報セットを含むデスクリプタ（ｚ－OSD descriptor）を挿入する。このデスクリプタの詳細については、後述する。

　図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送フォーマットに応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）～（ｃ）参照）。

　ビデオフレーミング部１１２で得られた立体画像データは、切り換えスイッチ１１６のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた立体画像データは、切り換えスイッチ１１６のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１６はａ側に接続され、この切り換えスイッチ１１６からはビデオフレーミング部１１２で得られた立体画像データが取り出される。再生モードでは、切り換えスイッチ１１６はｂ側に接続され、この切り換えスイッチ１１６からはデータ取り出し部１１５から出力された立体画像データが取り出される。

　切り換えスイッチ１１６で取り出された立体画像データは、ビデオエンコーダ１１９に供給される。このビデオエンコーダ１１９では、その立体画像データに対してＭＰＥＧ４－ＡＶＣ、ＭＰＥＧ２、ＶＣ－１等の符号化が施され、符号化ビデオデータを含むビデオデータストリームが生成される。このビデオデータストリームはマルチプレクサ１２６に供給される。

　マイクロホン１１４で得られた音声データは、切り換えスイッチ１１８のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた音声データは、切り換えスイッチ１１８のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１８はａ側に接続され、この切り換えスイッチ１１８からはマイクロホン１１４で得られた音声データが取り出される。再生モードでは、切り換えスイッチ１１８はｂ側に接続され、この切り換えスイッチ１１８からはデータ取り出し部１１５から出力された音声データが取り出される。

　切り換えスイッチ１１８で取り出された音声データはオーディオエンコーダ１２０に供給される。このオーディオエンコーダ１２０では、音声データに対して、ＭＰＥＧ－２ＡｕｄｉｏＡＡＣ、あるいは、ＭＰＥＧ－４　ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオデータストリームが生成される。このオーディオデータストリームはマルチプレクサ１２６に供給される。

　カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、ディスパリティ・マップ生成部１１３に供給される。このディスパリティ・マップ生成部１１３では、左眼画像データおよび右眼画像データに基づき、ピクセル（画素）毎の視差ベクトルが検出され、ディスパリティ・マップが生成される。このディスパリティ・マップは、切換スイッチ１１７のａ側の固定端子に供給される。また、データ取り出し部１１５から出力されたディスパリティ・マップは、切り換えスイッチ１１７のｂ側の固定端子に供給される。

　ライブモードでは、切り換えスイッチ１１７はａ側に接続され、この切り換えスイッチ１１７からはディスパリティ・マップ生成部１１３で生成されたディスパリティ・マップが取り出される。再生モードでは、切り換えスイッチ１１７はｂ側に接続され、この切り換えスイッチ１１７からはデータ取り出し部１１５から出力されたディスパリティ・マップが取り出される。

　切り換えスイッチ１１７で取り出されたディスパリティ・マップは、視差情報セット作成部１２２に供給される。この視差情報セット作成部１２２では、ディスパリティ・マップに基づいて、切り換えスイッチ１１６から出力される所定番組の立体画像データに対応した所定の画素位置の視差情報セットが、階層的に分割された各分割期間に対応して作成される。この視差情報セットには、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差情報とが含まれている。この視差情報セットは、マルチプレクサ１２６に供給される。

　マルチプレクサ１２６では、ビデオエンコーダ１１９およびオーディオエンコーダ１２０からの各データストリームが多重化され、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームが得られる。

　また、このマルチプレクサ１２６では、このビットストリームデータＢＳＤに、視差情報セット作成部１２２で作成された視差情報セットが挿入される。すなわち、このマルチプレクサ１２６では、ビットストリームデータＢＳＤに挿入されるＰＳＩ情報またはＳＩ情報の所定位置に、視差情報セットを含むデスクリプタ（ｚ－OSD descriptor）が挿入される。

　図８～図１０は、トランスポートストリーム（ビットストリームデータ）の構成例を示している。このトランスポートストリームには、各エレメンタリーストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオエレメンタリーストリームのＰＥＳパケット「Video PES」、オーディオエレメンタリーストリームのＰＥＳパケット「AudioPES」が含まれている。

　また、トランスポートストリームには、ＰＳＩ（Program SpecificInformation）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリーストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ（EventInformation Table）が含まれている。このＥＩＴには、番組単位のメタデータが記載される。

　ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（ProgramDescriptor）が存在する。また、このＰＭＴには、各エレメンタリーストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、図示していないが、そのエレメンタリーストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。

　図８に示すトランスポートストリームの構成例では、ＥＩＴの配下に、視差情報セットを含むデスクリプタ（ｚ－OSD descriptor）が挿入されている。また、図９に示すトランスポートストリームの構成例では、ＰＭＴ中のプログラム・デスクリプタ（Program Descriptor）に、視差情報セットを含むデスクリプタ（ｚ－OSDdescriptor）が挿入されている。さらに、図１０に示すトランスポートストリームの構成例では、ビデオ・エレメンタリ・ループ（Video ES loop）のデスクリプタ（descriptor）部分に、配置されている。

　［視差情報セット作成部］
　視差情報セット作成部１２２（図２参照）における視差情報セット作成の詳細について説明する。視差情報セット作成部１２２は、例えば、以下のケース１～ケース６により、視差情報セットを作成する。

　「ケース１」
　視差情報セット作成部１２２は、上述したように、所定番組の立体画像データに対応した所定の画素位置の視差情報セットを作成する。この視差情報セットには、所定の画素位置の位置データと、その所定の画素位置の視差データが含まれる。所定の画素位置は、ユーザの設定操作で任意に設定され、あるいは自動的に設定され、その個数に制限はない。ここで、所定の画素位置（ｘ，ｙ）は、画像中心Ｏを原点（０，０）とした座標で表される。なお「ケース１」において、原点（０，０）は所定の画素位置の定義域から除かれる。

　この「ケース１」において、位置データは、原点（０，０）からの所定の画素位置の方向を示す方向データと、この原点（０，０）から所定の画素位置までの距離を示す距離データとからなる。そして、画素位置（ｘ，ｙ）の方向データは、正接データ（tanθ＝ｙ／ｘ）と、その画素位置（ｘ，ｙ）が存在する象限を識別する２ビットのゾーン識別子(Zone_id)により構成される。例えば、“Zone_id=00”は第１象限を示し、“Zone_id=01”は第２象限を示し、“Zone_id=10”は第３象限を示し、“Zone_id=11”は第４象限を示すものとされる。

　また、画素位置（ｘ，ｙ）の距離データ（Line Scale）は、原点（０，０）からの画素位置（ｘ，ｙ）を通過して画像領域の端に至る線分の長さに対する割合を示すものとされる。この場合、原点（０，０）からの画素位置（ｘ，ｙ）までの距離をＬとし、原点から画素位置（ｘ，ｙ）を通過して画像領域の端に至る線分の長さをLineFullとするとき、Line Scale＝Ｌ／LineFullとなる。

　この「ケース１」において、画素位置（ｘ，ｙ）の視差データは、画素位置（ｘ，ｙ）の視差情報（視差ベクトル）の値の、原点（０，０）からの画素位置（ｘ，ｙ）までの距離に対する割合を示すデータとされる。すなわち、視差データ（Disparity Gradient：tanφ）は、原点（０，０）からの画素位置（ｘ，ｙ）までの距離をＬとし、画素位置（ｘ，ｙ）の視差情報（視差ベクトル）の値をＤとするとき、tanφ＝Ｄ／Ｌとなる。

　以下では、所定の画素位置として、視差情報の値が最大（Max）となる第１の画素位置と、視差情報の値が最小（Min）となる画素位置（第２の画素位置）が設定された場合について説明する。視差情報の値が最大となる画素位置とは、画像が最も近くに認識される位置を意味する。また、視差情報の値が最小となる画素位置とは、画像が最も遠くに認識される位置を意味する。この場合、受信側では、視差情報値の最大最小の幅を知ることができ、立体画像の深さ（depth）調整を行うことが可能となる。

　図１１、図１２は、画像全体における第１の画素位置（ｘβ,ｙβ）と第２の画素位置（ｘα,ｙα）の二次元位置（2D Direction）の一例を示している。座標（ｘβ,ｙβ）および座標（ｘα,ｙα）は、画像中心を原点（０，０）としたときの、各画素位置の座標を示している。

　第１の画素位置（ｘβ,ｙβ）の視差情報セットについて説明する。位置データは、方向データと、距離データ（Line Scale_β）とからなっている。また、方向データは、正接データ（tanθβ）と、ゾーン識別子（Zone_id_β）により構成されている。視差情報セット作成部１２２は、図１１に示すように、正接データ（tanθβ）を、「tanθβ＝ｙβ／ｘβ」のように、求める。また、視差情報セット作成部１２２は、図１１に示すように、（ｘβ,ｙβ）が第４象限にあるので、ゾーン識別子（Zone_id_β）を、「Zone_id_β=11」とする。

　また、視差情報セット作成部１２２は、距離データ（Line Scale_β）を、図１１に示すように、「Line Scale_β＝Ｌβ／LineFull_β」のように、求める。ここで、Ｌβ＝√（ｘβ^２＋ｙβ^２）であり、LineFull_β＝√（（Ｅ_ｈ）^２＋（ＰＶ／２）^２）である。

　また、視差情報セット作成部１２２は、図１２に示すように、視差データ（DisparityGradient：tanφβ）を、「tanφβ＝Ｄβ／Ｌβ」のように、求める。ここで、Ｄβは、画素位置（ｘβ,ｙβ）の視差情報（視差ベクトル）の値であり、Ｌβ＝√（ｘβ^２＋ｙβ^２）である。

　次に、第２の画素位置（ｘα,ｙα）の視差情報セットについて説明する。位置データは、方向データと、距離データ（Line Scale_α）とからなっている。また、方向データは、正接データ（tanθα）と、ゾーン識別子（Zone_id_α）により構成されている。視差情報セット作成部１２２は、図１１に示すように、正接データ（tanθα）を、「tanθα＝ｙα／ｘα」のように、求める。また、視差情報セット作成部１２２は、図１１に示すように、（ｘα,ｙα）が第１象限にあるので、ゾーン識別子（Zone_id_α）を、「Zone_id_α=00」とする。

　また、視差情報セット作成部１２２は、距離データ（Line Scale_α）を、図１１に示すように、「Line Scale_α＝Ｌα／LineFull_α」のように、求める。ここで、Ｌα＝√（ｘα^２＋ｙα^２）であり、LineFull_α＝√（（ＰＨ／２）^２＋（Ｅ_ｖ）^２）である。

　また、視差情報セット作成部１２２は、図１２に示すように、視差データ（DisparityGradient：tanφα）を、「tanφα＝Ｄα／Ｌα」のように、求める。ここで、Ｄαは、画素位置（ｘα,ｙα）の視差情報（視差ベクトル）の値であり、Ｌα＝√（ｘα^２＋ｙα^２）である。

　図１３のフローチャートは、視差情報セット作成部１２２における「ケース１」における視差情報セット作成の処理手順を示している。視差情報セット作成部１２２は、ステップＳＴ１において、ソース画像の、縦サイズ（ＰＶ＝SourcePictureVerticalSize）、横サイズ（ＰＨ＝SourcePictureHorizontalSize）、およびアスペクト比（PictureAspectRatio）を調べる。

　次に、視差情報セット作成部１２２は、ステップＳＴ２において、ディスパリティ・マップをスキャンして、所定の視差情報（視差ベクトル）の値と、その座標（ｘ１，ｙ１）をマークする。なお、この座標（ｘ１，ｙ１）は、画像のトップ－レフト（top-left）を原点（０，０）としたものである。

　次に、視差情報セット作成部１２２は、ステップＳＴ３において、座標（ｘ１，ｙ１）を、画像中心Ｏを原点（０，０）とする座標（ｘ，ｙ）に変換する。この場合の変換式は、ｘ＝ｘ１－ＰＨ／２、ｙ＝ｙ１－ＰＶ／２である。

　次に、視差情報セット作成部１２２は、ステップＳＴ４において、画素位置（ｘ，ｙ）の方向データを構成する、正接データ（tanθ＝ｙ／ｘ）と、その画素位置（ｘ，ｙ）が存在する象限を識別する２ビットのゾーン識別子（Zone_id）を求める。また、視差情報セット作成部１２２は、ステップＳＴ４において、画素位置（ｘ，ｙ）の距離データ（Line Scale＝Ｌ／LineFull）を求める。

　ここで、「LineFull」は、アスペクト比との関係から、以下のように求められる。ここでは、アスペクト比が９／１６の場合を示すが、アスペクト比が他の場合であっても同様である。｜tanθ｜＜９／１６の場合、「LineFull＝√（（Ｅ_ｖ）^２＋（ＰＨ／２）^２）」とされる。一方、｜tanθ｜≧９／１６の場合、「LineFull＝√（（Ｅ_ｈ）^２＋（ＰＶ／２）^２）」とされる。

　また、「Ｌ」は、アスペクト比との関係から、以下のように求められる。｜tanθ｜＜９／１６の場合、「Ｌ＝LineFull＊（ｘ／（ＰＨ／２））とされる。一方、｜tanθ｜≧９／１６の場合、「Ｌ＝LineFull＊（ｙ／（ＰＶ／２））とされる。

　次に、視差情報セット作成部１２２は、ステップＳＴ５において、画素位置（ｘ，ｙ）の視差データ（Disparity Gradient：tanφ＝Ｄ／Ｌ）を求める。

　「ケース２」
　視差情報セット作成部１２２は、上述したように、所定番組の立体画像データに対応した所定の画素位置の視差情報セットを作成する。この視差情報セットには、所定の画素位置の位置データと、その所定の画素位置の視差データが含まれる。所定の画素位置は、ユーザの設定操作で任意に設定され、あるいは自動的に設定され、その個数に制限はない。ここで、所定の画素位置（ｘ，ｙ）は、画像中心Ｏを原点（０，０）と座標で表される。なお「ケース２」において、原点（０，０）は所定の画素位置の定義域から除かれる。

　この「ケース２」において、位置データは、上述の「ケース１」と同様に、原点（０，０）からの所定の画素位置の方向を示す方向データと、この原点（０，０）から所定の画素位置までの距離を示す距離データとからなる。そして、画素位置（ｘ，ｙ）の方向データは、正接データ（tanθ＝ｙ／ｘ）と、その画素位置（ｘ，ｙ）が存在する象限を識別する２ビットのゾーン識別子（Zone_id）により構成される。

　また、画素位置（ｘ，ｙ）の距離データ（Line Scale）は、原点（０，０）からの画素位置（ｘ，ｙ）を通過して画像領域の端に至る線分の長さに対する割合を示すものとされる。この場合、原点（０，０）からの画素位置（ｘ，ｙ）までの距離をＬαとし、原点から画素位置（ｘ，ｙ）を通過して画像領域の端に至る線分の長さをLineFullとするとき、Line Scale＝Ｌα／LineFullとなる。

　また、この「ケース２」において、画素位置（ｘ，ｙ）の視差データは、その画素位置（ｘ，ｙ）の特定の表示解像度における視差情報（視差ベクトル）の値とされる。

　このように、この「ケース２」において、視差情報セット作成部１２２は、所定の画素位置の位置データとして、上述の「ケース１」と同様の位置データ（方向データ、距離データ）を作成する。また、この「ケース２」において、視差情報セット作成部１２２は、所定の画素位置の視差データとして、その画素位置（ｘ，ｙ）の特定の表示解像度における視差情報（視差ベクトル）を作成する。特定の表示解像度は、例えば、１９２０×１０８０のフルＨＤの解像度である。

　そのため、視差情報セット作成部１２２における「ケース２」における視差情報セット作成の処理手順は、ステップＳＴ５の視差データを求める処理を除き、上述の図１３のフローチャートで示す処理手順と同様に行われる。すなわち、「ケース２」における視差情報セット作成の処理手順において、座標（ｘ，ｙ）の視差データとして、その座標（ｘ，ｙ）の特定の表示解像度における視差情報（視差ベクトル）を求める。

　「ケース３」
　視差情報セット作成部１２２は、上述したように、所定番組の立体画像データに対応した所定の画素位置の視差情報セットを作成する。この視差情報セットには、所定の画素位置の位置データと、その所定の画素位置の視差データが含まれる。所定の画素位置は、ユーザの設定操作で任意に設定され、あるいは自動的に設定され、その個数に制限はない。ここで、所定の画素位置（ｘ，ｙ）は、画像中心Ｏを原点（０，０）と座標で表される。なお「ケース３」において、原点（０，０）は所定の画素位置の定義域から除かれる。

　この「ケース３」において、位置データは、原点（０，０）からの所定の画素位置の方向を示す方向データと、この原点（０，０）から所定の画素位置までの距離を示す距離データとからなる。画素位置（ｘ，ｙ）の方向は、予め設定されている上下左右およびそれらの間の８方向、さらにはそれらの間を含めた１６方向等から選択される。つまり、画素位置（ｘ，ｙ）の方向データは、直接方向を示すデータとされる。

　例えば、方向データが３ビットデータで構成される場合、この３ビットデータにより、図１４に示すように、上下左右およびそれらの間の８方向のうち、いずれかの方向を選択的に指定できる。

　また、画素位置（ｘ，ｙ）の距離データ（Line Scale）は、上述の「ケース１」の場合と同様に、原点（０，０）からの画素位置（ｘ，ｙ）を通過して画像領域の端に至る線分の長さに対する割合を示すものとされる。この場合、原点（０，０）からの画素位置（ｘ，ｙ）までの距離をＬとし、原点から画素位置（ｘ，ｙ）を通過して画像領域の端に至る線分の長さをLineFullとするとき、Line Scale＝Ｌ／LineFullとなる。

　この「ケース３」において、画素位置（ｘ，ｙ）の視差データは、画素位置（ｘ，ｙ）の視差情報（視差ベクトル）の値の、原点（０，０）からの画素位置（ｘ，ｙ）までの距離に対する割合を示すデータとされる。すなわち、視差データ（Disparity Gradient：tanφ）は、原点（０，０）からの画素位置（ｘ，ｙ）までの距離をＬとし、画素位置（ｘ，ｙ）の視差情報（視差ベクトル）の値をＤとするとき、tanφ＝Ｄ／Ｌとなる。

　以下では、所定の画素位置として、上方向と右方向との間の方向にある画素位置が設定された場合について説明する。例えば、この画素位置は、視差情報（視差ベクトル）の値が最大（Max）となる画素位置である。視差情報の値が最大となる画素位置とは、画像が最も近くに認識される位置を意味する。

　図１５、図１６は、画像全体における画素位置（ｘa,ｙa）の二次元位置（2D Direction）の一例を示している。（ｘa,ｙa）は、画像中心を原点（０，０）としたときの、画素位置の座標を示している。

　画素位置（ｘa,ｙa）の視差情報セットについて説明する。位置データは、方向データ（Direction_a）と、距離データ（Line Scale_a）とからなっている。視差情報セット作成部１２２は、図１５に示すように、方向データ（Direction_a）を、「Direction_a=001」とする。

　また、視差情報セット作成部１２２は、距離データ（Line Scale_β）を、図１５に示すように、「Line Scale_a＝Ｌa／LineFull_a」のように、求める。ここで、Ｌa＝√（ｘa^２＋ｙa^２）であり、LineFull_a＝√（（ＰＨ／２）^２＋（ＰＶ／２）^２）である。

　また、視差情報セット作成部１２２は、図１６に示すように、視差データ（DisparityGradient：tanφa）を、「tanφa＝Ｄa／Ｌa」のように、求める。ここで、Ｄaは、画素位置（ｘa,ｙa）の視差情報（視差ベクトル）の値であり、Ｌa＝√（ｘa^２＋ｙa^２）である。

　図１７のフローチャートは、視差情報セット作成部１２２における「ケース３」における視差情報セット作成の処理手順を示している。視差情報セット作成部１２２は、ステップＳＴ１１において、ソース画像の、縦サイズ（ＰＶ＝SourcePictureVerticalSize）、横サイズ（ＰＨ＝SourcePictureHorizontalSize）、およびアスペクト比（PictureAspectRatio）を調べる。

　次に、視差情報セット作成部１２２は、ステップＳＴ１２において、ディスパリティ・マップをスキャンして、所定の視差情報（視差ベクトル）の値と、その座標（ｘ１，ｙ１）をマークする。なお、この座標（ｘ１，ｙ１）は、画像のトップ－レフト（top-left）を原点（０，０）としたものである。

　次に、視差情報セット作成部１２２は、ステップＳＴ１３において、座標（ｘ１，ｙ１）を、画像中心Ｏを原点（０，０）とする座標（ｘ，ｙ）に変換する。この場合の変換式は、ｘ＝ｘ１－ＰＨ／２、ｙ＝ｙ１－ＰＶ／２である。ここで、変換後の座標（ｘ，ｙ）は、原点（０，０）から予め設定されている８方向、あるいは１６方向などのいずれかのライン上にある場合と、そのライン上にない場合とがある。ライン上にない場合には、例えば、変換後の座標（ｘ，ｙ）の代わりに、最も近いライン上の座標を、新たな座標（ｘ，ｙ）とする。

　次に、視差情報セット作成部１２２は、ステップＳＴ１４において、画素位置（ｘ，ｙ）の方向データ（Direction）と、画素位置（ｘ，ｙ）の距離データ（Line Scale＝Ｌ／LineFull）を求める。

　ここで、「LineFull」は、アスペクト比との関係から、以下のように求められる。ここでは、アスペクト比が９／１６の場合を示すが、アスペクト比が他の場合であっても同様である。｜tanθ｜＜９／１６の場合、「LineFull＝√（（Ｅ_ｖ）^２＋（ＰＨ／２）^２）」とされる。一方、｜tanθ｜≧９／１６の場合、「LineFull＝√（（Ｅ_ｈ）^２＋（ＰＶ／２）^２）」とされる。なお、Ｅ_vは０≦Ｅ_v≦ＰＨ／２を満たし、Ｅ_ｈは０≦Ｅ_ｈ≦ＰＶ／２を満たす（図１２参照）。

　次に、視差情報セット作成部１２２は、ステップＳＴ１５において、画素位置（ｘ，ｙ）の視差データ（Disparity Gradient：tanφ＝Ｄ／Ｌ）を求める。

　「ケース４」
　視差情報セット作成部１２２は、上述したように、所定番組の立体画像データに対応した所定の画素位置の視差情報セットを作成する。この視差情報セットには、所定の画素位置の位置データと、その所定の画素位置の視差データが含まれる。所定の画素位置は、ユーザの設定操作で任意に設定され、あるいは自動的に設定され、その個数に制限はない。ここで、所定の画素位置（ｘ，ｙ）は、画像中心Ｏを原点（０，０）と座標で表される。なお「ケース４」において、原点（０，０）は所定の画素位置の定義域から除かれる。

　この「ケース４」において、位置データは、原点（０，０）からの所定の画素位置の方向を示す方向データと、この原点（０，０）から所定の画素位置までの距離を示す距離データとからなる。画素位置（ｘ，ｙ）の方向は、予め設定されている上下左右およびそれらの間の８方向、さらにはそれらの間を含めた１６方向等から選択される。つまり、画素位置（ｘ，ｙ）の方向データは、直接方向を示すデータとされる。

　また、この「ケース４」において、画素位置（ｘ，ｙ）の視差データは、その画素位置（ｘ，ｙ）の特定の表示解像度における視差情報（視差ベクトル）の値とされる。

　このように、この「ケース４」において、視差情報セット作成部１２２は、所定の画素位置の位置データとして、上述の「ケース３」と同様の位置データ（方向データ、距離データ）を作成する。また、この「ケース４」において、視差情報セット作成部１２２は、所定の画素位置の視差データとして、その画素位置（ｘ，ｙ）の特定の表示解像度における視差情報（視差ベクトル）を作成する。特定の表示解像度は、例えば、１９２０×１０８０のフルＨＤの解像度である。

　そのため、視差情報セット作成部１２２における「ケース４」における視差情報セット作成の処理手順は、ステップＳＴ１５の視差データを求める処理を除き、上述の図１７のフローチャートで示す処理手順と同様に行われる。すなわち、「ケース４」における視差情報セット作成の処理手順において、座標（ｘ，ｙ）の視差データとして、その座標（ｘ，ｙ）の特定の表示解像度における視差情報（視差ベクトル）を求める。

　［ケース５］
　視差情報セット作成部１２２は、上述したように、所定番組の立体画像データに対応した所定の画素位置の視差情報セットを作成する。この視差情報セットには、所定の画素位置の位置データと、その所定の画素位置の視差データが含まれる。所定の画素位置は、ユーザの設定操作で任意に設定され、あるいは自動的に設定され、その個数に制限はない。

　ここで、所定の画素位置（ｘ，ｙ）は、座標モード０のときは、画像中心Ｏを原点（０，０）とした座標で表される。また、所定の画素位置（ｘ，ｙ）は、座標モード１のときは、画像のトップ－レフト（top-left）を原点（０，０）とした座標で表される。

　この「ケース５」において、位置データは、原点（０，０）からの水平距離を示す水平距離データ（Ｒxa）、原点（０，０）からの垂直距離を示す垂直距離データ（Ｒya）とからなる。水平距離データＲxaは、画像の水平方向サイズに対する割合で示される。座標モード０のときは、「Ｒxa＝ｘ／（ＰＨ／２）＊１００」となる。また、座標モード１のときは、「Ｒxa＝ｘ／（ＰＨ）＊１００」となる。ここで、ＰＨは、画像の水平方向サイズを表している。また、垂直距離データＲyaは、画像の垂直方向サイズに対する割合で示される。座標モード０のときは、「Ｒya＝ｙ／（ＰＶ／２）＊１００」となる。また、座標モード１のときは、「Ｒya＝ｙ／（ＰＶ）＊１００」となる。ここで、ＰＶは、画像の垂直方向サイズを表している。

　この「ケース５」において、画素位置（ｘ，ｙ）の視差データは、その画素位置（ｘ，ｙ）の特定の表示解像度における視差情報（視差ベクトル）の値とされる。特定の表示解像度は、例えば、１９２０×１０８０のフルＨＤの解像度とされる。

　図１８は、座標モード０における、画像画像全体における第１の画素位置（ｘβ,ｙβ）と第２の画素位置（ｘα,ｙα）の二次元位置（2D Direction）の一例を示している。この場合、座標（ｘβ,ｙβ）および座標（ｘα,ｙα）は、画像中心Ｏを原点（０，０）としたときの、各画素位置の座標を示している。また、図１９は、座標モード１における、画像画像全体における第１の画素位置（ｘβ,ｙβ）と第２の画素位置（ｘα,ｙα）の二次元位置（2D Direction）の一例を示している。この場合、座標（ｘβ,ｙβ）および座標（ｘα,ｙα）は、トップ－レフト（top-left）を原点（０，０）としたときの、各画素位置の座標を示している。

　第１の画素位置（ｘβ,ｙβ）の視差情報セットについて説明する。位置データは、上述したように、水平距離データ（Ｒxa）と、垂直距離データ（Ｒya）とからなって。視差情報セット作成部１２２は、座標モード０においては、図１８に示すように、水平距離データ（Ｒxa）を「Ｒxa＝ｘβ／（ＰＨ／２）＊１００」のように求め、垂直距離データ（Ｒya）を「Ｒya＝ｙβ／（ＰＶ／２）＊１００」のように求める。また、視差情報セット作成部１２２は、座標モード１においては、図１９に示すように、水平距離データ（Ｒxa）を「Ｒxa＝ｘβ／（ＰＨ）＊１００」のように求め、垂直距離データ（Ｒya）を「Ｒya＝ｙβ／（ＰＶ）＊１００」のように求める。

　また、視差情報セット作成部１２２は、第１の画素位置（ｘβ,ｙβ）の視差データ（Disparity）として、その第１の画素位置（ｘβ,ｙβ）の特定の表示解像度における視差情報（視差ベクトル）を求める。

　次に、第２の画素位置（ｘα,ｙα）の視差情報セットについて説明する。位置データは、上述したように、水平距離データ（Ｒxa）と、垂直距離データ（Ｒya）とからなって。視差情報セット作成部１２２は、座標モード０においては、図１８に示すように、水平距離データ（Ｒxa）を「Ｒxa＝ｘα／（ＰＨ／２）＊１００」のように求め、垂直距離データ（Ｒya）を「Ｒya＝ｙα／（ＰＶ／２）＊１００」のように求める。また、視差情報セット作成部１２２は、座標モード１においては、図１９に示すように、水平距離データ（Ｒxa）を「Ｒxa＝ｘα／（ＰＨ）＊１００」のように求め、垂直距離データ（Ｒya）を「Ｒya＝ｙα／（ＰＶ）＊１００」のように求める。

　また、視差情報セット作成部１２２は、第２の画素位置（ｘα,ｙα）の視差データ（Disparity）として、その第２の画素位置（ｘα,ｙα）の特定の表示解像度における視差情報（視差ベクトル）を求める。

　図２０のフローチャートは、視差情報セット作成部１２２における「ケース５」における視差情報セット作成の処理手順を示している。視差情報セット作成部１２２は、ステップＳＴ２１において、ソース画像の、縦サイズ（ＰＶ＝SourcePictureVerticalSize）、横サイズ（ＰＨ＝SourcePictureHorizontalSize）、およびアスペクト比（PictureAspectRatio）を調べる。

　次に、視差情報セット作成部１２２は、ステップＳＴ２２において、ディスパリティ・マップをスキャンして、所定の視差情報（視差ベクトル）の値と、その座標（ｘ１，ｙ１）をマークする。なお、この座標（ｘ１，ｙ１）は、画像のトップ－レフト（top-left）を原点（０，０）としたものである。

　次に、視差情報セット作成部１２２は、座標モード０であるとき、ステップＳＴ２３の処理に進む。このステップＳＴ２３において、視差情報セット作成部１２２は、座標（ｘ１，ｙ１）を、画像中心Ｏを原点（０，０）とする座標（ｘ，ｙ）に変換する。この場合の変換式は、ｘ＝ｘ１－ＰＨ／２、ｙ＝ｙ１－ＰＶ／２である。

　次に、視差情報セット作成部１２２は、ステップＳＴ２４において、画素位置（ｘ，ｙ）の水平距離データ（Ｒxa）と、垂直距離データ（Ｒya）とを求める。この場合、「Ｒxa＝ｘα／（ＰＨ／２）＊１００」とされ、「Ｒya＝ｙα／（ＰＶ／２）＊１００」とされる。また、視差情報セット作成部１２２は、ステップＳＴ２５において、視差データ（Disparity）を求める。この場合、視差データ（Disparity）として、座標（ｘ、ｙ）の特定の表示解像度における視差情報（視差ベクトル）を求める。

　また、視差情報セット作成部１２２は、ステップＳＴ２２の処理の後、座標モード１であるとき、ステップＳＴ２６の処理に進む。この場合、座標（ｘ１，ｙ１）を、そのまま、座標（ｘ，ｙ）として用いる。ステップＳＴ２６において、視差情報セット作成部１２２は、画素位置（ｘ，ｙ）の水平距離データ（Ｒxa）と、垂直距離データ（Ｒya）とを求める。この場合、「Ｒxa＝ｘα／（ＰＨ）＊１００」とされ、「Ｒya＝ｙα／（ＰＶ）＊１００」とされる。また、視差情報セット作成部１２２は、ステップＳＴ２７において、視差データ（Disparity）を求める。この場合、視差データ（Disparity）として、座標（ｘ、ｙ）の特定の表示解像度における視差情報（視差ベクトル）を求める。

　［ケース６］
　視差情報セット作成部１２２は、上述したように、所定番組の立体画像データに対応した所定の画素位置の視差情報セットを作成する。この視差情報セットには、所定の画素位置の位置データと、その所定の画素位置の視差データが含まれる。所定の画素位置は、ユーザの設定操作で任意に設定され、あるいは自動的に設定され、その個数に制限はない。

　この「ケース６」において、位置データは、原点（０，０）からの水平距離を示す水平距離データ（Ｒxa）、原点（０，０）からの垂直距離を示す垂直距離データ（Ｒya）とからなる。水平距離データＲxaは、画像の水平方向サイズに対する割合で示される。座標モード０のときは、「Ｒxa＝ｘ／（ＰＨ／２）＊１００」となる。また、座標モード１のときは、「Ｒxa＝ｘ／（ＰＨ）＊１００」となる。ここで、ＰＨは、画像の水平方向サイズを表している。また、垂直距離データＲyaは、画像の垂直方向サイズに対する割合で示される。座標モード０のときは、「Ｒya＝ｙ／（ＰＶ／２）＊１００」となる。また、座標モード１のときは、「Ｒya＝ｙ／（ＰＶ）＊１００」となる。ここで、ＰＶは、画像の垂直方向サイズを表している。

　この「ケース６」において、画素位置（ｘ，ｙ）の視差データ（Relative_Disparity_ratio）は、その画素位置（ｘ，ｙ）の特定の解像度における視差情報（視差ベクトル）の値そのものではなく、水平解像度ＰＨに対する割合を示すデータとする。例えば、図２１に示すように、１９２０×１０８０のフルＨＤの解像度の場合、視差データ（Relative_Disparity_ratio）は、「Relative_Disparity_ratio＝視差情報値／１９２０＊Factor」のように、求められる。例えば、視差情報値が＋６０ピクセルの場合、「Relative_Disparity_ratio＝６０／１９２０＊Factor」となる。

　このように、この「ケース６」において、視差情報セット作成部１２２は、所定の画素位置の位置データとして、上述の「ケース５」と同様の位置データ（水平距離データ、垂直距離データ）を作成する。また、この「ケース６」において、視差情報セット作成部１２２は、所定の画素位置の視差データとして、その画素位置（ｘ，ｙ）の視差情報値の水平表示解像度ＰＨに対する割合を示すデータ（Relative_Disparity_ratio）を作成する。

　そのため、視差情報セット作成部１２２における「ケース６」における視差情報セット作成の処理手順は、ステップＳＴ２５およびステップＳＴ２７で求める視差データの内容が異なることを除き、上述の図２０のフローチャートで示す処理手順と同様に行われる。

　［視差情報セットの構造］
　次に、視差情報セット作成部１２２で作成される視差情報セットの内容例を説明する。図２２～図２５、図２７～図２８は、視差情報セットの内容例を示している。図２６、図２９は、その内容例における主要なデータ規定内容（semantics）を示している。

　図２２は、上述の「ケース１」で作成される視差情報セットの内容例を示している。「ＴＳ(Timesegment)」は、イベント、プログラム、シーン等の期間の等分割数を示す８ビットのデータである。「TS=1」は、分割されていないことを示す。「subdivision」は、各タイム・セグメントの期間の等分割数を示す８ビットのデータである。「subdivision=1」は、分割されていないことを示す。

　「Number Of Direction Line」は、視差情報セットの総数を示す。例えば、視差情報の値が最大（Max）となる第１の画素位置と、視差情報の値が最小（Min）となる画素位置（第２の画素位置）の２つの視差情報セットがある場合、「Number Of Direction Line=1」とされる。「Zone_id」は、画素位置（ｘ，ｙ）の方向データを構成する２ビットのゾーン識別子である。上述したように、“Zone_id=00”は第１象限を示し、“Zone_id=01”は第２象限を示し、“Zone_id=10”は第３象限を示し、“Zone_id=11”は第４象限を示す。

　「2D_direction_theta」は、画素位置（ｘ，ｙ）の方向データを構成する正接データ（tanθ＝ｙ／ｘ）を示す１０ビットのデータである。「Line Scale」は、原点（０，０）から画素位置（ｘ，ｙ）までの相対距離（Line Scale＝Ｌ／LineFull）を示す１０ビットデータである。「Disparity_gradient_phai」は、画素位置（ｘ，ｙ）の視差情報（視差ベクトル）の値の、原点（０，０）からの画素位置（ｘ，ｙ）までの距離に対する割合（tanφ＝Ｄ／Ｌ）を示す１２ビットデータである。

　図２３は、上述の「ケース２」で作成される視差情報セットの内容例を示している。この図２３の視差情報セットの内容例は、上述した図２２の視差情報セットの内容例と、「Disparity_gradient_phai」が「Disparity」に置き換わっていることを除き、同じある。
「Disparity」は、視差情報（視差ベクトル）の値を示す１２ビットデータである。

　図２４は、上述の「ケース３」で作成される視差情報セットの内容例を示している。この図２４の視差情報セットの内容例は、上述した図２２の視差情報セットの内容例と、「Zone_idD」、「2D_direction_theta」が「Direction」に置き換わっていることを除き、同じある。「Direction」は、原点（０，０）からの画素位置（ｘ，ｙ）の方向を示す８ビットデータである。

　図２５は、上述の「ケース４」で作成される視差情報セットの内容例を示している。この図２５の視差情報セットの内容例は、上述した図２４の視差情報セットの内容例と、「Disparity_gradient_phai」が「Disparity」に置き換わっていることを除き、同じある。
「Disparity」は、画素位置（ｘ，ｙ）の視差情報（視差ベクトル）の値を示す１２ビットデータである。

　図２７は、上述の「ケース５」で作成される視差情報セットの内容例を示している。「ＴＳ(Timesegment)」は、イベント、プログラム、シーン等の等分割数を示す８ビットのデータである。「TS=1」は、分割されていないことを示す。「subdivision」は、各タイム・セグメントの等分割数を示す８ビットのデータである。「subdivision=1」は、分割されていないことを示す。

　「Number Of Disparity Point」は、視差情報セットの総数を示す。例えば、視差情報の値が最大（Max）となる第１の画素位置と、視差情報の値が最小（Min）となる画素位置（第２の画素位置）の２つの視差情報セットがある場合、「Number Of Disparity Point =1」とされる。「relative_plain_mode」は、相対プレーンのタイプを示す１ビットデータである。「relative_plain_mode=1」は、座標モード０であって、画像中心Ｏを原点（０，０）とした座標のプレーンであることを示す。「relative_plain_mode=0」は、座標モード１であって、画像のトップ－レフト（top-left）を原点（０，０）とした座標のプレーンであることを示す。

　「Relative_x」は、原点（０，０）から画素位置（ｘ、ｙ）までの水平距離（Ｒxa）を示す１１ビットデータである。この水平距離（Ｒxa）は、画像の水平方向サイズに対する割合で示される。「Relative_y」は、原点（０，０）から画素位置（ｘ、ｙ）までの垂直距離（Ｒya）を示す１１ビットデータである。この垂直距離（Ｒya）は、画像の垂直方向サイズに対する割合で示される。「Disparity」は、画素位置（ｘ、ｙ）の視差情報（視差ベクトル）の値を示す１２ビットデータである。

　図２８は、上述の「ケース６」で作成される視差情報セットの内容例を示している。この図２８の視差情報セットの内容例は、上述した図２７の視差情報セットの内容例と、「Disparity」が「Relative_Disparity_ratio」に置き換わっていることを除き、同じある。「Relative_Disparity_ratio」は、画素位置（ｘ，ｙ）の視差情報（視差ベクトル）の値の水平解像度ＰＨに対する割合を示す１２ビットデータである。

　図３０～図３５は、上述した「ケース１」～「ケース６」において視差情報セット作成部１２２で作成された視差情報セットを含むデスクリプタ（z-OSD Descriptor）の一例を示している。「descriptor_tag」」は、デスクリプタのタイプを示す８ビットのデータである。ここでは、視差情報セットを含むデスクリプタ（z-OSD Descriptor）であることが示される。「descriptor_length」は、この情報の長さ（サイズ）を示す８ビットのデータである。このデスクリプタの情報として、上述した視差情報セットが挿入される。図３０～図３５は、それぞれ、上述の「ケース１」～「ケース６」で作成される視差情報セットが含まれたデスクリプタ（z-OSD Descriptor）を示している。

　図２に示す送信データ生成部１１０において、マルチプレクサ１２６から出力されるビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを有する所定番組の立体画像データと共に、所定番組の立体画像データに対応した所定の画素位置の視差情報セットが含まれている。そのため、受信側において、視差情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。

　また、図２に示す送信データ生成部１１０において、マルチプレクサ１２２から出力されるビットストリームデータＢＳＤに含まれている視差情報セットは、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差データとを含むものとされる。そのため、視差情報セットは、立体画像の解像度とは独立で、しかもモニタの表示解像度やモニタサイズにも独立したものとなっている。したがって、受信側において、モニタの表示解像度やモニタサイズによらずに、この視差情報セットを用いて容易に視差調整を行うことが可能となる。

　［セットトップボックスの説明］
　図１に戻って、セットトップボックス２００は、放送局１００から放送波にのせて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、視差情報セットが含まれる。

　セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータから、立体画像データ、音声データ、視差情報セット等を抽出する。このビットストリーム処理部２０１は、適宜、ＯＳＤ等のグラフィクス情報が重畳された左眼画像および右眼画像のデータを生成する。この場合、視差情報セットに基づいて、左眼画像に重畳する左眼グラフィクス情報と右眼画像に重畳する右眼グラフィクス情報との間には視差が付与される。このように左眼グラフィクス情報と右眼グラフィクス情報右眼サブタイトルとの間に視差が付与されることで、ユーザは、立体画像に重畳されるグラフィクス情報を、例えば、画像の手前に認識可能となる。

　［セットトップボックスの構成例］
　セットトップボックス２００の構成例を説明する。図３６は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像処理回路２０５と、ＨＤＭＩ送信部２０６と、音声処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。

　アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

　ビットストリーム処理部２０１は、上述したように、ビットストリームデータＢＳＤから立体画像データ、音声データ等を抽出して出力する。このビットストリーム処理部２０１は、立体画像データに対して、適宜、ＯＳＤ等のグラフィクス情報の表示データを合成する。その際、ビットストリーム処理部２０１は、視差情報セットに基づいて、左眼画像に重畳する左眼グラフィクス情報と右眼画像に重畳する右眼グラフィクス情報との間に視差を付与する。

　映像処理回路２０５は、ビットストリーム処理部２０１から出力される立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。

　ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよび音声データはパッキングされ、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。

　ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。

　リモコン受信部２１５は、リモコン送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。

　ビットストリーム処理部２０１について説明する。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、オーディオデコーダ２２４と、ＯＳＤ表示データ発生部２２６と、ビデオ重畳部２２８を有している。デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオのパケットを抽出し、各デコーダに送る。また、デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、視差情報セットを抽出し、ＯＳＤ表示データ発生部２２６と、上述したＨＤＭＩ送信部２０６に送る。

　ビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。オーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得て、ビットストリーム処理部２０１の外部に出力する。

　ＯＳＤ表示データ発生部２２６は、立体画像データに含まれる左眼画像データに対応した左眼グラフィクス情報のデータおよび立体画像データに含まれる右眼画像データに対応した右眼グラフィクス情報のデータを発生する。この場合、ＯＳＤ表示データ発生部２２６は、デマルチプレクサ２２０で抽出された視差情報セットに基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に視差を付与する。

　ここで、ＯＳＤ表示データ発生部２２６は、視差情報セットに含まれる位置データおよび視差データに基づいて、送信側での処理とは逆の処理により、視差情報セットが対応する画像領域内の位置を求め、さらに、その位置の視差情報値を再現する。

　ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、ＯＳＤ表示データ発生部２２６で発生された左眼および左眼のグラフィクス情報のデータを重畳し、表示用立体画像データを得る。そして、このビデオ重畳部２２８は、表示用立体画像データを、ビットストリーム処理部２０１Ｄの外部に出力する。

　セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

　デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ、音声データ、視差情報セット等が抽出される。ビットストリーム処理部２０１では、立体画像データに対して、適宜、ＯＳＤ等のグラフィクス情報の表示データが合成される。

　その際、ビットストリーム処理部２０１では、視差情報セットに基づいて、左眼画像に重畳する左眼グラフィクス情報と右眼画像に重畳する右眼グラフィクス情報との間に視差が付与される。これにより、立体画像に重畳表示されるグラフィクス情報に関して、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。

　ビットストリーム処理部２０１で得られた表示用立体画像データは、映像処理回路２０５に供給される。この映像処理回路２０５では、表示用立体画像データに対して、必要に応じて画質調整処理等が行われる。この映像処理回路２０５から出力される処理後の表示用立体画像データは、ＨＤＭＩ送信部２０６に供給される。

　また、ビットストリーム処理部２０１で得られた音声データは、音声処理回路２０７に供給される。この音声処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。

　［テレビ受信機の説明］
　図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。この３Ｄ信号処理部３０１は、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。

　［テレビ受信機の構成例］
　テレビ受信機３００の構成例を説明する。図３７は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。

　また、このテレビ受信機３００は、ＯＳＤ表示データ発生部３１３と、ビデオ重畳部３１４と、映像処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。

　アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。

　ビットストリーム処理部３０６は、図３６に示すセットトップボックス２００のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、視差情報セット等を抽出する。

　ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４とされており、立体画像データの取り扱いが可能な状態にある。このＨＤＭＩ受信部３０３の詳細は後述する。

　３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送方フォーマットに対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、後述するＴＭＤＳ伝送データ構造に対応したデコード処理を行う。

　ＯＳＤ表示データ発生部３１３は、立体画像データに含まれる左眼画像データに対応した左眼グラフィクス情報のデータおよび立体画像データに含まれる右眼画像データに対応した右眼グラフィクス情報のデータを発生する。このグラフィクス情報は、メニュー、番組表などのＯＳＤ表示のための重畳情報である。この場合、ＯＳＤ表示データ発生部３１３は、ビットストリーム処理部３０６で得られた、あるいはＨＤＭＩ受信部３０３で受信された視差情報セットに基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に視差を付与する。

　ここで、ＯＳＤ表示データ発生部３１３は、視差情報セットに含まれる位置データおよび視差データに基づいて、送信側での処理とは逆の処理により、視差情報セットが対応する画像領域内の位置を求め、さらに、その位置の視差情報の値を求める。

　ビデオ重畳部３１４は、３Ｄ信号処理部３０１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、ＯＳＤ表示データ発生部３１３で発生された左眼および左眼のグラフィクス情報のデータを重畳し、表示用立体画像データを得る。

　映像処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。パネル駆動回路３０８は、映像処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma DisplayPanel）等で構成されている。

　音声処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。

　ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。

　リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。

　図３７に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声処理回路３１０に供給される。

　アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。

　デジタルチューナ３０５から出力されるビットストリームデータは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、視差情報セット等が抽出される。ビットストリーム処理部３０６で得られた立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られた音声データは、音声処理回路３１０に供給される。

　３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、ビデオ重畳部３１４に供給される。

　ＯＳＤ表示データ発生部３１３では、立体画像データに含まれる左眼画像データに対応した左眼グラフィクス情報のデータおよび立体画像データに含まれる右眼画像データに対応した右眼グラフィクス情報のデータが発生される。この場合、ＯＳＤ表示データ発生部３１３では、ビットストリーム処理部３０６で得られた、あるいはＨＤＭＩ受信部３０３で受信された視差情報セットに基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に視差が付与される。

　ビデオ重畳部３１４では、３Ｄ信号処理部３０１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、ＯＳＤ表示データ発生部３１３で発生された左眼および左眼のグラフィクス情報のデータが重畳し、表示用立体画像データが得られる。この表示用立体画像データは、映像処理回路３０７に供給される。この映像処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理も行われる。

　映像処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。

　また、音声処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。

　ここで、ＯＳＤ表示データ発生部３１３（セットトップボックス２００のＯＳＤ表示データ発生部２２６も含む）における、視差情報セットの処理について説明する。例えば、視差情報セットが上述の「ケース１」で作成された場合について説明する。この場合、図３８に示すように、視差情報セットには、方向データを構成する正接データ（tanθ）およびゾーン識別子(Zone_id)が含まれている。また、視差情報セットには、距離データ（Line Scale）および視差データ（Disparity Gradient：tanφ）が含まれている。

　ＯＳＤ表示データ発生部３１３は、ステップＳＴ４１において、表示画像の構成（縦横の解像度、画素間距離）を決めると共に、画像中心Ｏと、この画像中心Ｏから端までの距離を画素数換算で調査する。

　次に、ＯＳＤ表示データ発生部３１３は、ステップＳＴ４２において、ゾーン識別子（Zone_id）で位置が何象限にあるかを確認し、図３９に示すように、正接データ（tanθ）で画像中心Ｏから延びる直線「direction line」の傾きを求める。また、ＯＳＤ表示データ発生部３１３は、距離データ（Line Scale）と直線「direction line」の表示の端点までの長さとから、図３９に示すように、距離Ｌα（ＯＡ），Ｌβ（ＯＢ）を求める。これにより、ＯＳＤ表示データ発生部３１３は、視差情報値が最大の位置（ｘβ，ｙβ）と、視差情報値が最小の位置（ｘα，ｙα）を認識する。

　次に、ＯＳＤ表示データ発生部３１３は、ステップＳＴ４３において、視差データ（tanφα，tanφβ）と、距離Ｌα（ＯＡ），Ｌβ（ＯＢ）とを用いて、図４０に示すように、視差情報値Ｄα，Ｄβを再現する。

　また、例えば、視差情報セットが上述の「ケース６」で作成された場合について説明する。この場合、図４１に示すように、視差情報セットには、座標モードデータと、水平距離データＲxaと、垂直距離データＲyaと、視差データ（Relative_Disparity_ratio）が含まれている。

　ＯＳＤ表示データ発生部３１３は、ステップＳＴ５１において、表示画像の構成（縦横の解像度、画素間距離）を決める。そして、ＯＳＤ表示データ発生部３１３は、座標モード１であれば、左上端からの相対位置を２次元平面に計算する（図１９参照）。一方、ＯＳＤ表示データ発生部３１３は、座標モード０であれば、画像中心Ｏから端までの距離を画素数換算で計算し、装置位置を特定する（図１８参照）。

　次に、ＯＳＤ表示データ発生部３１３は、ステップＳＴ５２において、距離データＲxa，Ｒyaと、視差データ（Relative_Disparity_ratio）とから、視差ずらし位置を求めると共に、視差量を再現し、表示平面に割り当てる。

　ここで、モニタサイズの違いによる視差情報とその位置との関係について説明する。例えば、図４２に示すように、小サイズモニタと、大サイズモニタとを考える。これらのモニタの解像度が同じであるとすると、小サイズモニタのピクセル（画素）間隔は狭く、大サイズモニタのピクセル（画素）間隔は広くなる。視差情報位置が表示モニタ上で適切に求められる。そして、受信視差情報値は、表示モニタ上の立体画像の奥行きに合った適切な視差情報値に変換される。

　また、解像度の違いによる視差情報とその位置との関係について説明する。例えば、図４３に示すように、高解像度モニタと、低解像度モニタとを考える。これらのモニタのサイズが同じであるとすると、高解像度モニタのピクセル（画素）間隔は狭く、低解像度モニタのピクセル（画素）間隔は広くなる。視差情報位置が、表示モニタ上で適切に求められる。そして、受信視差情報値から、表示モニタ上の立体画像の奥行きに合った適切な視差情報値に変換される。

　計算された視差情報位置あるいは視差情報値が小数になることがある。この場合、ＯＳＤ表示データ発生部２２６は、左眼画像に重畳する左眼グラフィクス情報と右眼画像に重畳する右眼グラフィクス情報との間に視差情報に基づいた視差を付与するためのシフト調整において、補間処理を用いる。これにより、サブピクセルの精度でのシフト調整を行うことができる。図４４は、水平方向に１／２画素（ピクセル）分のシフトをする場合の補間処理例を概略的に示している。図４４（ａ）の黒丸は、受信データを示している。図４４（ｂ）の白丸は、受信データを単純に、水平方向に１／２画素分だけシフトした状態を示している。しかし、この白丸で示すデータは、画素（ピクセル）位置のデータはない。そこで、シフト調整部２２５は、白丸で示すデータに対して補間処理を施して、図４４（ｂ）のハッチング付きの丸で示す画素位置のデータを生成し、シフト調整後のデータとする。

　［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
　図４５は、図１の立体画像表示システム１０における、セットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０６と、テレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３０３の構成例を示している。

　ＨＤＭＩ送信部２０６は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０６は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。

　ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０６からＨＤＭＩ受信部３０３に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。

　ＨＤＭＩ送信部２０６は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。

　また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。

　さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。

　ＨＤＭＩ受信部３０３は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３０３は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。

　すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０６からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。

　ＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。ＤＤＣ８３は、ＨＤＭＩ送信部２０６が、ＨＤＭＩ受信部３０３から、Ｅ－ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。

　すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ－ＥＤＩＤを記憶している、ＥＤＩＤ　ＲＯＭ（Read Only Memory）８５を有している。ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図３６参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、Ｅ－ＥＤＩＤを、ＤＤＣ８３を介して読み出す。

　ＨＤＭＩ送信部２０６は、読み出したＥ－ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ－ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。ＣＰＵ２１１は、Ｅ－ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定を認識できる。例えば、ＣＰＵ２１１は、ＨＤＭＩ受信部３０３を有するテレビ受信機３００が立体画像データの取り扱いが可能か否か、可能である場合はさらにいかなるＴＭＤＳ伝送データ構造に対応可能であるか等を認識する。

　ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。

　また、ＨＤＭＩケーブル４００には、ＨＰＤ（Hot Plug Detect）と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。なお、このＨＰＤライン８６は双方向通信路を構成するＨＥＡＣ－ラインとしても使用される。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン（電源ライン）８７が含まれている。さらに、ＨＤＭＩケーブル４００には、ユーティリティライン８８が含まれている。このユーティリティライン８８は双方向通信路を構成するＨＥＡＣ＋ラインとしても使用される。

　図４６は、ＴＭＤＳ伝送データの構造例を示している。この図４６は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。

　ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Islandperiod）、およびコントロール区間（Control period）である。

　ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（activeedge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である

　ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。

　データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。

　コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。

　図４７は、ＨＤＭＩ端子のピン配列の一例を示している。図４７に示すピン配列はタイプＡ（type-A）と呼ばれている。ＴＭＤＳチャネル＃ｉの差動信号であるＴＭＤＳ　Ｄａｔａ＃ｉ＋とＴＭＤＳ　Ｄａｔａ＃ｉ－は差動線である２本のラインにより伝送される。この２本のラインは、ＴＭＤＳ　Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ　Ｄａｔａ＃ｉ－が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。

　また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続される。また、Ｅ－ＥＤＩＤ等のＳＤＡ（Serial Data）信号が伝送されるラインは、ピン番号が１６であるピンに接続される。ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ（Serial Clock）信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。

　また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン（ＨＥＡＣ－ライン）８６は、ピン番号が１９であるピンに接続される。また、ユーティリティライン（ＨＥＡＣ＋ライン）８８は、ピン番号が１４であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。

　［Ｅ－ＥＤＩＤ構造］
　上述したように、ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図３６参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、Ｅ－ＥＤＩＤを、ＤＤＣ８３を介して読み出す。そして、ＣＰＵ２１１は、このＥ－ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定、例えば立体画像データの取り扱いが可能か否か等を認識する。

　図４８は、Ｅ－ＥＤＩＤのデータ構造例を示している。このＥ－ＥＤＩＤは、基本ブロックと拡張ブロックとからなっている。基本ブロックには、先頭に、“E-EDID1.3 Basic Structure”で表されるＥ－ＥＤＩＤ１．３の規格で定められたデータが配置されている。基本ブロックには、続いて“Preferred timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。また、基本ブロックには、続いて、“2nd timing”で表される従来のＥＤＩＤとの互換性を保つための、“Preferredtiming”とは異なるタイミング情報が配置されている。

　また、基本ブロックには、“2nd timing”に続いて、“Monitor NAME”で表される表示装置の名前を示す情報が配置されている。基本ブロックには、続いて、“Monitor Range Limits”で表される、アスペクト比が４：３および１６：９である場合についての表示可能な画素数を示す情報が配置されている。

　拡張ブロックの先頭には、“Short Video Descriptor”が配置されている。これは、表示可能な画像サイズ（解像度）、フレームレート、インターレースであるかプログレッシブであるかを示す情報である。続いて、“Short Audio Descriptor”が配置されている。これは、再生可能な音声コーデック方式、サンプリング周波数、カットオフ帯域、コーデックビット数などの情報である。続いて、“Speaker Allocation”で表される左右のスピーカに関する情報が配置されている。

　また、拡張ブロックには、“Speaker Allocation”に続いて、“Vender Specific”で表されるメーカごとに固有に定義されたデータが配置されている。拡張ブロックには、続いて、“3rd timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。拡張ブロックには、さらに続いて、“4th timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。

　図４９は、Vender Specific領域（HDMI Vendor Specific Data Block）のデータ構造例を示している。このVender Specific領域には、１バイトのブロックである第０ブロック乃至第Ｎブロックが設けられている。

　第０ブロックには、“Vendor-Specific tag code(=3)”で表されるデータ“Vender Specific”のデータ領域を示すヘッダが配置される。また、この第０ブロックには、“Length(=N)”で表されるデータ“Vender Specific”の長さを示す情報が配置される。また、第１ブロック乃至第３ブロックには、“24bit IEEE Registration Identifier(0x000C03)LSB first”で表されるＨＤＭＩ（Ｒ）用として登録された番号“0x000C03“を示す情報が配置される。さらに、第４ブロックおよび第５ブロックには、”Ａ“、”Ｂ“、”Ｃ“、および”Ｄ“のそれぞれにより表される、２４ｂｉｔのシンク機器の物理アドレスを示す情報が配置される。

　第６ブロックには、“Supports-AI”で表される、シンク機器が対応している機能を示すフラグが配置されている。また、この第６ブロックには、“DC-48bit”、“DC-36bit”、および“DC-30bit”のそれぞれで表される、１ピクセル当たりのビット数を指定する情報のそれぞれが配置されている。また、この第６ブロックには、“DC-Y444”で表される、シンク機器がＹＣｂＣｒ４：４：４の画像の伝送に対応しているかを示すフラグが配置されている。さらに、この第６ブロックには、“DVI-Dual”で表される、シンク機器がデュアルＤＶＩ（Digital VisualInterface）に対応しているかを示すフラグが配置されている。

　また、第７ブロックには、“Max-TMDS-Clock”で表されるＴＭＤＳのピクセルクロックの最大の周波数を示す情報が配置される。また、第８ブロックの第６ビット、第７ビットには、“Latency”で表される映像と音声の遅延情報の有無を示すフラグが配置されている。また、第８ブロックの第５ビットには、“HDMI_Video_present”で表される追加のＨＤＭＩビデオフォーマット（３Ｄ、４ｋ×２ｋ）の取り扱いが可能か否かを示すフラグが配置されている。

　また、第９ブロックには、“Video Latency”で表される、プログレッシブの映像の遅延時間データが配置され、第１０ブロックには、“Audio Latency”で表される、プログレッシブの映像に付随する音声の遅延時間データが配置される。また、第１１ブロックには、“Interlaced Video Latency”で表されるインターレースの映像の遅延時間データが配置されている。さらに、第１２ブロックには、“Interlaced Audio Latency”で表される、インターレースの映像に付随する音声の遅延時間データが配置されている。

　また、第１３ブロックの第７ビットには、“3D_present”で表される３Ｄ画像データの取り扱いが可能か否かを示すフラグが配置されている。また、第１４ブロックの第７ビットから第５ビットには、“HDMI_VIC_LEN”で表される、図示しない第１５ブロック以降に配置される必須（mandatory）な３Ｄデータ構造の他に取り扱い可能なデータ構造を示すブロックのサイズ情報が配置されている。また、第１４ブロックの第４ビットから第０ビットには、“HDMI_3D_LEN”で表される、図示しない第１５ブロック以降に配置される取り扱い可能な４ｋ×２ｋのビデオフォーマットを示すブロックのサイズ情報が配置されている。

　［立体画像データのＴＭＤＳ伝送データ構造］
　図５０は、立体画像データのＴＭＤＳ伝送データ構造の一つであるフレームパッキング（Framepacking）方式の３Ｄビデオフォーマット（3D Video Format）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。

　この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐ、１０８０×７２０ｐのピクセルフォーマットの画像データの伝送が行われる。なお、図５０には、左眼（Ｌ）画像データおよび右眼（Ｒ）画像データが、それぞれ、１９２０ライン×１０８０ピクセルである例を示している。

　この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（Hblank）、垂直ブランキング期間（Vblank）およびアクティブビデオ区間（Hactive×Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間は、２つのアクティブビデオ領域（Active video）と、それらの間に１つのアクティブスペース領域（Activespace）を有している。第１のアクティブビデオ領域に左眼（Ｌ）画像データが配され、第２のアクティブビデオ領域に右眼（Ｒ）画像データが配される。

　なお、詳細説明は省略するが、ＨＤＭＩ１．４では、上述の図５０に示す３Ｄビデオフォーマットの他にも、立体画像データのＴＭＤＳ伝送データ構造としての３Ｄビデオフォーマットが定義されている。例えば、ラインオルタネイティブ（Line alternative）方式、サイド・バイ・サイド（side-bay-side）（Ｆｕｌｌ）方式、フレームパッキング（Frame packing for interlaced format）方式等である。

　図３６に示すセットトップボックス２００においては、ＨＤＭＩインタフェースにより、ベースバンドの立体画像データおよび音声データをテレビ受信機３００に送信する構成となっている。そして、セットトップボックス２００からテレビ受信機３００に、ビットストリーム処理部２０１で使用されている視差情報セットの全部または一部が、ＨＤＭＩインタフェースにより送信されて使用される。

　図３６に示すセットトップボックス２００においては、ビットストリーム処理部２０１より視差情報セットがＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６により、立体画像データおよび音声データと共に、この視差情報セットが、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。また、図３７に示すテレビ受信機３００においては、ＨＤＭＩ受信部３０３で受信された視差情報セットが、上述したように、ＯＳＤ表示データ発生部３１３に供給されて利用される。

　［ＨＤＭＩでの視差情報セットの送信方法］
　視差情報セットをＨＤＭＩインタフェースで送信する方法として、例えば、以下の（１）、（２）の方法が考えられる。
（１）ＨＤＭＩ Vendor Specific InfoFrame を利用する方法
（２）フレームパッキング方式等の３Ｄビデオフォーマット（3D Video Format）のアクティブスペース（Active Space）を利用する方法

　最初に、（１）のＨＤＭＩ Vendor Specific InfoFrame を利用する方法について説明する。この方法では、ＨＤＭＩ Vendor Specific InfoFrame paketにおいて、HDMI_Video_Format＝“０１０”かつ3D_Meta_present＝１とされて、Vendor SpecificInfoFrame extensionが指定される。その場合、3D_Metadata_typeは、未使用の、例えば、“０１０”と定義され、視差情報セット（Disparrity Set）の情報が指定される。

　図５１は、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造を示している。このＨＤＭＩ Vendor Specific InfoFrameについては、CEA-861-Dに定義されているので、詳細説明は省略する。

　第４バイト（ＰＢ４）の第７ビットから第５ビットに、画像データの種類を示す３ビットの情報「HDMI_Video_Format」が配置されている。画像データが３Ｄ画像データである場合、この３ビットの情報は「０１０」とされる。また、このように画像データが３Ｄ画像データである場合、第５バイト（ＰＢ５）の第７ビットから第４ビットに、ＴＭＤＳ伝送データ構造を示す４ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式（図５０参照）の場合、この４ビットの情報は、「００００」とされる。

　また、第５バイト（ＰＢ５）の第３ビットに、「3D_Meta_present」が配置され、Vendor Specific InfoFrame extensionを指定する場合、この１ビットは「１」とされる。また、第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。視差情報セット（DisparritySet）の情報を指定する場合、この３ビットの情報は、未使用の、例えば、“０１０”とされる。

　また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報により、以降に配置される3D_Metadata領域の長さが示される。例えば、「3D_Metadata_length=27(0x1B)」とされ、直後のバイト位置から２７バイトのサイズをもって、視差情報セットが送信される。例えば、「ケース１」による視差情報セット（図２２参照）の５画素位置分が、図示のパターンで配置される。

　次に、（２）のアクティブスペース（Active Space）を利用する方法について説明する。この方法では、図５２にＨＤＭＩ Vendor Specific InfoFrame のパケット構造を示すように、現状ではReserved bitとなっている第５バイト（ＰＢ５）の第２ビットに、「ActiveSpaceEnable」が定義され、この１ビットの情報が“１”とされる。その上で、現状ではReservedとされているアクティブスペース領域を用いて、新たに情報エリアが定義され、そこに視差情報セットが配置される。

　アクティブスペース領域は、左眼画像データおよび右眼画像データが配置されるアクティブビデオ領域と共に、アクティブビデオ区間を構成している。ここで、アクティブビデオ領域は主映像領域を構成し、アクティブスペース領域は補助映像領域を構成している。アクティブスペース領域は、ビデオの画サイズにより変動するが、１９２０×１０８０の画サイズの場合には、１フレームあたり４５ライン分（８６４００バイト）の容量を持つ。

　例えば、「ケース１」による視差情報セット（図２２参照）の最大データサイズは、１＋５＊２５６＝１２８１バイトであり、アクティブスペース領域に収まる。図５３は、アクティブスペース領域への視差情報セットの配置例を示している。第０バイトに、３ビットの「Active_space_info_Type」と、３ビットの「Block_Size」と、２ビットの「Connect_Info」の情報が配置される。第１バイトおよび第２バイトに、以降の視差情報セットが配置される領域の長さを示す１６ビットの「Data_Length」の上位８ビットおよび下位８ビットが配置される。

　上述したように、図１に示す画像送受信システム１０において、放送局１００（送信データ生成部２０１）からセットトップボックス２００やテレビ受信機３００に、左眼画像データおよび右眼画像データを有する所定番組の立体画像データと共に、所定番組の立体画像データに対応した所定の画素位置の視差情報セットが送信される。そのため、受信側において、この視差情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。

　また、図１に示す画像送受信システム１０において、放送局１００（送信データ生成部２０１）からセットトップボックス２００やテレビ受信機３００に送信される視差情報セットは、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差データとを含むものとされる。そのため、視差情報セットは、立体画像の解像度とは独立で、しかもモニタの表示解像度やモニタサイズにも独立したものとなっている。したがって、受信側において、モニタの表示解像度やモニタサイズによらずに、この視差情報セットを用いて容易に視差調整を行うことが可能となる。

　また、図１に示す画像送受信システム１０において、セットトップボックス２００からテレビ受信機３００に、所定番組の立体画像データと共に、それに対応した所定の画素位置の視差情報セットが、ＨＤＭＩケーブル４００を介して送信される。そのため、テレビ受信機３００に画像表示装置において、視差情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
　＜２．変形例＞

　なお、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図３７に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図５５に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。

　なお、上記実施の形態においては、視差情報セットを含むデスクリプタが、トランスポートストリーム（ビットストリームデータ）のＰＳＩ情報またはＳＩ情報の所定位置に挿入される例を示した。しかし、この視差情報セットを、立体画像データを含むビデオエレメンタリーストリーム、サブタイトルデータを含むサブタイトルエレメンタリーストリーム等に挿入して送信することも考えられる。なお、以下では、「ケース５」で視差情報セットが作成される場合で説明する。詳細説明は省略するが、他のケースで視差情報セットが作成される場合にも同様に適用できる。

　最初に、視差情報セットを、立体画像データを含むビデオエレメンタリーストリーム（ビデオデータストリーム）に挿入して送信する場合について説明する。図５６は、その場合におけるトランスポートストリーム（ビットストリームデータ）の構成例を示している。この構成例に示すように、視差情報セットを含むメタデータ（z-OSD metadata）が、ビデオエレメンタリーストリームに挿入される。ここで、メタデータはユーザデータとして埋め込まれる。

　図５７は、ビデオエレメンタリーストリーム（Video ElementaryStream）の構造例を概略的に示している。ビデオエレメンタリーストリームには、先頭に、シーケンス単位のパラメータを含むシーケンスヘッダ部が配置されている。このシーケンスヘッダ部に続いて、ピクチャ単位のパラメータおよびユーザデータを含むピクチャヘッダが配置されている。このピクチャヘッダ部に続いてピクチャーデータを含むペイロード部が配置される。以下、ピクチャヘッダ部およびペイロード部が繰り返し配置されている。

　上述した視差情報セットは、例えば、ピクチャヘッダ部のユーザデータ領域に埋め込まれる。図５８は、ユーザデータの構成例を示している。図５８（ａ）は、符号化方式がＭＰＥＧ２である場合のユーザデータの構成を示している。図５８（ｂ）は、符号化方式がＨ．２６４　ＡＶＣ（ＭＰＥＧ４－ＡＶＣ）である場合のユーザデータの構成を示している。さらに、図５８（ｃ）は、符号化方式がＶＣ－１である場合のユーザデータの構成を示している。

　詳細説明は省略するが、各方式のユーザデータの構成はほぼ同様の構成となっている。すなわち、最初に、ユーザデータの開始を示すコードが配置され、その後に、データの種類を示す識別子「user_identifier」が配置され、さらにその後に、データ本体「user_structure」が配置される。

　図５９は、視差情報セットを含むユーザデータの構造（Syntax）の一例を示している。この構造には、図３４に示すデスクリプタ（z-OSD Descriptor）と同様に、上述した「ケース５」で作成される視差情報セットが含まれている。この構造例の主要なデータ規定内容（Semantics）が、図６０に示されている。

　「Number Of Disparity Points」は、視差情報セットの総数を示す。例えば、視差情報の値が最大（Max）となる第１の画素位置と、視差情報の値が最小（Min）となる画素位置（第２の画素位置）の２つの視差情報セットがある場合、「Number Of Disparity Points=1」とされる。「relative_plain_mode」は、相対プレーンのタイプを示す１ビットデータである。「relative_plain_mode=1」は、座標モード０であって、画像中心Ｏを原点（０，０）とした座標のプレーンであることを示す。「relative_plain_mode=0」は、座標モード1であって、画像のトップ－レフト（top-left）を原点（０，０）とした座標のプレーンであることを示す。

　次に、視差情報セットを、サブタイトルデータを含むサブタイトルエレメンタリーストリーム（サブタイトルデータストリーム）に挿入して送信する場合について説明する。図６１は、その場合におけるトランスポートストリーム（ビットストリームデータ）の構成例を示している。この構成例に示すように、新たに定義される視差情報セットを含むセグメント（ｚＯＳＤ：z-OSD segment）が、サブタイトルエレメンタリーストリームに挿入される。

　すなわち、サブタイトルエレメンタリーストリームには、ＤＤＳ（displaydefinition segment）、ＰＣＳ（page composition segment）、ＲＣＳ（region composition segment）、ＯＤＳ（object datasegment）などの周知のセグメントが含まれる。さらに、このサブタイトルエレメンタリーストリームには、視差情報セットが含まれるセグメント（ｚＯＳＤ）が含まれる。例えば、図６２に示すように、ｚＯＳＤのセグメントタイプは「0x50」とされる。

　図６３は、ｚＯＳＤ（z-OSD segment）の構造例（syntax）を示している。このｚＯＳＤの主要なデータ規定内容（semantics）が、図６０に示されている。「segment_continued_flag」は、このｚＯＳＤのセグメントが、現在のセグメントの後に存在するか否かを示す１ビットのフラグ情報である。「segment_continued_flag=1」は、存在することを示す。「segment_continued_flag=0」は、存在しないことを示す。受信側においては、このフラグ情報に基づいて、視差情報セットが含まれるセグメントあるいはパケットが連続して存在するか否かを知ることができ、視差情報の更新の可能性などを事前に知ることができる。

　「delta_PTS[32..0]は、サブタイトルの表示タイミングを特定する、ヘッダ部に含まれるＰＴＳ（時間情報）に対する差分（変化分）を示す３２ビットのデータである。「Disparity_position_id」は、視差情報セットが対応する画素位置を示す１６ビットのデータである。なお、この３２ビットのデータは、３分割されて配置されている。

　「relative_plain_mode」は、相対プレーンのタイプを示す１ビットデータである。座標モード０であって、画像中心Ｏを原点（０，０）とした座標のプレーンであることを示す。「relative_plain_mode=0」は、座標モード1であって、画像のトップ－レフト（top-left）を原点（０，０）とした座標のプレーンであることを示す。

　図６４（ａ）は、従来のサブタイトルデータストリームの構成例を示している。ＰＥＳヘッダには、時間情報（ＰＴＳ）が含まれている。また、ＰＥＳペイロードデータとして、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳ、ＥＯＳの各セグメントが含まれている。図６４（ｂ）は、上述したｚＯＳＤが含まれるサブタイトルデータストリームの構成例を示している。ＰＥＳヘッダには、時間情報（ＰＴＳ）が含まれている。また、ＰＥＳペイロードデータとして、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳ、ｚＯＳＤ、ＥＯＳの各セグメントが含まれている。

　そして、図６４（ｂ）の構成例においては、ＰＥＳペイロードデータとして、最初に、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳ、ｚＯＳＤの各セグメントが送信される。その後に、時間差分値（delta_PTS）および視差情報セットの内容が更新された所定個数のｚＯＳＤのセグメントを送信できる。最後には、ｚＯＳＤのセグメントにＥＯＳのセグメントも送信される。この図６４（ｂ）の構成例においては、サブタイトルデータストリームの全体を送信することなくｚＯＳＤのセグメントを順次送信して、順次更新された視差情報セットを送信できる。なお、この場合、最後のｚＯＳＤでは「segment_continued_flag=0」であるが、それ以前のｚＯＳＤでは「segment_continued_flag=1」とされる。

　次に、視差情報セットを、独立したメタデータ（Metadata）ストリームで送信する場合について説明する。図６５は、その場合におけるトランスポートストリーム（ビットストリームデータ）の構成例を示している。この構成例に示すように、視差情報セットを含むメタデータ（z-OSD metadata）が挿入されているメタデータエレメンタリーストリームが存在する。

　図６６は視差情報セットを含むメタデータ（z-OSD metadata）が挿入されているメタデータエレメンタリーストリームの構造例（syntax）を示している。この構造例の主要なデータ規定内容（Semantics）が、図６０に示されている。「z-OSD_Metadata_stream_id」は、メタデータ（z-OSDmetadata）が挿入されているメタデータエレメンタリーストリームであることを示す。「z-OSD_Metadata_set()」は、視差情報セットを含むメタデータを示している。

　図６７は、「z-OSD_Metadata_set()」の詳細構造の一例を示している。「segment_continued_flag」は、このｚＯＳＤのセグメントが、現在のセグメントの後に存在するか否かを示す１ビットのフラグ情報である。「segment_continued_flag=1」は、存在することを示す。「segment_continued_flag=0」は、存在しないことを示す。受信側においては、このフラグ情報に基づいて、視差情報セットが含まれるセグメントあるいはパケットが連続して存在するか否かを知ることができ、視差情報の更新の可能性などを事前に知ることができる。

「relative_plain_mode」は、相対プレーンのタイプを示す１ビットデータである。座標モード０であって、画像中心Ｏを原点（０，０）とした座標のプレーンであることを示す。「relative_plain_mode=0」は、座標モード１であって、画像のトップ－レフト（top-left）を原点（０，０）とした座標のプレーンであることを示す。

　上述したように、サブタイトルエレメンタリーストリームあるいは独立したメタデータストリームに、視差情報セットを含むセグメントあるいはパケットを挿入することで、この視差情報セットを送信することができる。ここで、視差情報セットは、所定の画素位置の画像全体に対する相対位置を示す位置データと、この所定の画素位置の視差データとを含むものであった。

　しかし、この視差情報セットに限定されることなく、その他の形式の視差情報に関しても、同様にして送信できることは勿論である。すなわち、送信すべき視差情報は、例えば、位置あるいは領域を示す位置データと、その位置あるいは領域の視差データとからなるものであればよく、位置データは、画像全体に対する相対位置を示す場合に限らず、画像内の絶対位置を示す場合などであってもよい。

　また、上述実施の形態においては、セットトップボックス２００からテレビ受信機３００Ａに視差情報セットを送信する方法として、ＨＤＭＩ Vendor Specific InfoFrame を利用する方法、アクティブスペース（Active Space）を利用する方法を説明した。その他に、ＨＰＤライン８６（ＨＥＡＣ－ライン）およびユーティリティライン８８（ＨＥＡＣ＋ライン）で構成される双方向通信路を通じて送信することも考えられる。

　また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を適用できることは勿論である。

　また、上述実施の形態においては、セットトップボックス２００からテレビ受信機３００に、ビットストリーム処理部２０１で使用されている視差情報セットの全部または一部を、ＨＤＭＩインタフェースにより送信する例を示した。しかし、このようにＨＤＭＩインタフェースを通じて視差情報セットを送信する技術に関しては、その他のソース機器およびシンク機器の組み合わせにも応用できることは勿論である。例えば、ソース機器としてはＢＤやＤＶＤ等のディスクプレーヤ、さらにはゲーム機なども考えられ、シンク機器としてはモニタ装置、プロジェクタ装置なども考えられる。

　この発明は、立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示を良好に行うことができ、立体画像表示システム等に適用できる。

　１０，１０Ａ・・・立体画像表示システム　１００・・・放送局
　１１０・・・送信データ生成部
　１１１Ｌ，１１１Ｒ・・・カメラ
　１１２・・・ビデオフレーミング部
　１１３・・・ディスパリティ・マップ作成部
　１１４・・・マイクロホン
　１１５・・・データ取り出し部
　１１５ａ・・・データ記録媒体
　１１６～１１８・・・切り換えスイッチ
　１１９・・・ビデオエンコーダ
　１２０・・・オーディオエンコーダ
　１２２・・・視差情報セット作成部
　１２６・・・マルチプレクサ
　２００・・・セットトップボックス（ＳＴＢ）
　２０１・・・ビットストリーム処理部
　２０２・・・ＨＤＭＩ端子
　２０３・・・アンテナ端子
　２０４・・・デジタルチューナ
　２０５・・・映像処理回路
　２０６・・・ＨＤＭＩ送信部
　２０７・・・音声処理回路
　２１１・・・ＣＰＵ
　２１５・・・リモコン受信部
　２１６・・・リモコン送信機
　２２０・・・デマルチプレクサ
　２２１・・・ビデオデコーダ
　２２４・・・オーディオデコーダ
　２２６・・・ＯＳＤ表示データ発生部
　２２８・・・ビデオ重畳部
　３００・・・テレビ受信機（ＴＶ）
　３０１・・・３Ｄ信号処理部
　３０２・・・ＨＤＭＩ端子
　３０３・・・ＨＤＭＩ受信部
　３０４・・・アンテナ端子
　３０５・・・デジタルチューナ
　３０６・・・ビットストリーム処理部
　３０７・・・映像処理回路
　３０８・・・パネル駆動回路
　３０９・・・表示パネル
　３１０・・・音声処理回路
　３１１・・・音声増幅回路
　３１２・・・スピーカ
　３１３・・・ＯＳＤ表示データ発生部
　３１４・・・ビデオ重畳部
　３２１・・・ＣＰＵ
　３２５・・・リモコン受信部
　３２６・・・リモコン送信機
　４００・・・ＨＤＭＩケーブル

Claims

　左眼画像データおよび右眼画像データを有する所定番組の立体画像データを出力する画像データ出力部と、
　上記画像データ出力部から出力される上記所定番組の立体画像データに対応した所定の画素位置の視差情報セットを出力する視差情報セット出力部と、
　上記画像データ出力部から出力される立体画像データおよび上記視差情報セット出力部から出力される視差情報セットを送信する送信部とを備え、
　上記視差情報セットは、上記所定の画素位置の画像全体に対する相対位置を示す位置データと、上記所定の画素位置の視差データとを含む
　立体画像データ送信装置。
　上記位置データは、画像中心を原点とし、該原点からの上記所定の画素位置の方向を示す方向データと、上記原点から上記所定の画素位置までの距離を示す距離データとからなる
　請求項１に記載の立体画像データ送信装置。
　上記視差データは、上記所定の画素位置の視差情報の値の、上記原点からの距離に対する割合を示すデータとされる
　請求項２に記載の立体画像データ送信装置。
　上記視差データは、上記所定の画素位置の、特定の表示解像度における視差情報の値とされる
　請求項２に記載の立体画像データ送信装置。
　上記位置データは、上記所定の画素位置の原点からの水平距離を示す水平距離データと、上記所定の画素位置の上記原点からの垂直距離を示す垂直距離データとからなる
　請求項１に記載の立体画像データ送信装置。
　上記視差データは、上記所定の画素位置の視差情報の値の、特定の表示解像度に対する割合を示すデータとされる
　請求項５に記載の立体画像データ送信装置。
　上記視差データは、上記所定の画素位置の、特定の表示解像度における視差情報の値とされる
　請求項５に記載の立体画像データ送信装置。
　上記所定の画素位置は、視差情報の値が最大となる第１の画素位置と、視差情報の値が最小となる第２の画素位置である
　請求項１に記載の立体画像データ送信装置。
　上記視差情報セット出力部は、上記所定番組の期間を階層的に等分割して得られた各分割期間の視差情報セットを出力する
　請求項１に記載の立体画像データ送信装置。
　上記送信部は、
　上記画像データ送信部から出力される所定番組の立体画像データを含むトランスポートストリームを送信し、該トランスポートストリームに挿入されるＰＳＩ情報またはＳＩ情報の所定位置に、上記視差情報セット出力部から出力される視差情報セットを含むデスクリプタを挿入する
　請求項１に記載の立体画像データ送信装置。
　上記送信部は、上記視差情報セットを、所定の情報を送信するためのエレメンタリーストリームに含めて送信する
　請求項１に記載の立体画像データ送信装置。
　上記他の情報は上記立体画像データであり、
　上記視差情報セットは、上記エレメンタリーストリームのヘッダ部のユーザデータ領域に挿入される
　請求項１１に記載の立体画像データ送信装置。
　上記所定の情報はサブタイトルデータあるいは独立データであり、
　上記エレメンタリーストリームは、上記視差情報セットが挿入されたセグメントあるいはパケットを有する
　請求項１１に記載の立体画像データ送信装置。
　左眼画像データおよび右眼画像データを有する所定番組の立体画像データを出力する画像データ出力ステップと、
　上記画像データ出力ステップで出力される上記所定番組の立体画像データに対応した所定の画素位置の視差情報セットを出力する視差情報セット出力ステップと、
　上記画像データ出力ステップで出力される立体画像データおよび上記視差情報セット出力ステップで出力される視差情報セットを送信する送信ステップとを備え、
　上記視差情報セットは、上記所定の画素位置の画像全体に対する相対位置を示す位置データと、上記所定の画素位置の視差データとを含む
　立体画像データ送信方法。
　左眼画像データおよび右眼画像データを有する所定番組の立体画像データと該所定番組の立体画像データに対応した所定の画素位置の視差情報セットを受信する受信部と、
　上記受信部で受信された立体画像データに含まれる左眼画像データに対応した左眼重畳情報のデータおよび上記受信部で受信された立体画像データに含まれる右眼画像データに対応した右眼重畳情報のデータを出力する重畳情報データ出力部と、
　上記受信部で受信された立体画像データに含まれる左眼画像データおよび右眼画像データに、上記重畳情報データ出力部から出力される上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを重畳するデータ重畳部とを備え、
　上記視差情報セットは、上記所定の画素位置の画像全体に対する相対位置を示す位置データと、上記所定の画素位置の視差データとを含み、
　上記重畳情報データ出力部は、
　上記受信部で受信された上記視差情報セットに基づいて、上記左眼重畳情報と上記右眼重畳情報との間に視差を付与する
　立体画像データ受信装置。
　左眼画像データおよび右眼画像データを有する所定番組の立体画像データおよび上記所定番組の立体画像データに対応した所定の画素位置の視差情報セットを受信する受信部と、
　上記受信部で受信された、上記左眼画像データおよび上記右眼画像データと、上記視差情報セットとを、伝送路を介して、外部機器に送信する送信部とを備え、
　上記視差情報セットは、上記所定の画素位置の画像全体に対する相対位置を示す位置データと、上記所定の画素位置の視差データとを含む
　立体画像データ受信装置。
　上記送信部は、
　上記画像データを、複数チャネルで、差動信号により、上記伝送路を介して、上記外部機器に送信し、
　上記画像データのブランキング期間に上記視差情報セットを挿入することで、該視差情報セットを上記外部機器に送信する
　請求項１６に記載の立体画像データ受信装置。
　上記送信部は、
　垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成する伝送データ生成部と、
　上記伝送データ生成部で生成された伝送データを、複数チャネルで、差動信号により、上記伝送路を介して、上記外部機器に送信する伝送データ送信部とを有し、
　上記アクティブビデオ区間は、主映像領域および補助映像領域を有し、
　上記伝送データ生成部は、上記主映像領域に画像データを配し、上記補助映像領域に、上記主映像領域に配される画像データに関連した上記視差情報セットを配する
　請求項１６に記載の立体画像データ受信装置。
　左眼画像データおよび右眼画像データを有する所定番組の立体画像データを出力する画像データ出力部と、
　上記画像データ出力部から出力される上記所定番組の立体画像データに対応した視差情報を出力する視差情報出力部と、
　上記画像データ出力部から出力される立体画像データおよび上記視差情報出力部から出力される視差情報を送信する送信部とを備え、
　上記送信部は、所定の情報を送信するためのエレメンタリーストリームに、上記視差情報を含むセグメントあるいはパケットを挿入し
　上記セグメントあるいはパケットは、上記視差情報の使用タイミングを示すタイミング情報をさらに含む
　立体画像データ送信装置。
　上記セグメントあるいはパケットは、該セグメントあるいはパケットが連続して存在するか否かを示すフラグ情報をさらに含む
　請求項１９に記載の立体画像データ送信装置。