WO2010013382A1

WO2010013382A1 - 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム

Info

Publication number: WO2010013382A1
Application number: PCT/JP2009/002614
Authority: WO
Inventors: 中根和彦
Original assignee: 三菱電機株式会社
Priority date: 2008-07-31
Filing date: 2009-06-10
Publication date: 2010-02-04
Also published as: KR101340102B1; JP5449162B2; EP2306729A1; EP2306729A4; US20110069153A1; EP2306729B1; JPWO2010013382A1; US9357231B2; CN102113324A; KR20110045029A; CN102113324B

Abstract

　左右両眼用に各々別の映像を表示して立体映像を視覚化する方式において、サブピクチャデータ（ＧＲＤ）は左眼用に作成し、左眼用サブピクチャとして、そのまま左眼用映像（ＶＤＤ）に重畳して表示する。右眼用映像に重畳して表示する右眼用サブピクチャ（１０６）は、左眼用に作成したサブピクチャデータを表示する水平位置を所定幅だけシフトして表示するようにした。例えば、サブピクチャは複数のオブジェクト（ＧＲＤ－１、ＧＲＤ－２、…ＧＲＤ－Ｎ）を含んで構成可能とし、オブジェクト左右両端の表示画面上の水平位置に対して、右眼用に表示するときのシフト幅（１０８、１１０）を各々設定してサブピクチャデータ（ＧＲＤ）の中に保持させる。立体映像に重畳するサブピクチャを奥行き方向の表現が可能になり、かつそのサブピクチャのデータ量と表示のための演算量を削減することができる。

Description

映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム

　本発明は、立体映像を表示する映像再生装置及び方法、並びに立体映像を作成する映像符号化装置と符号化方法に関し、さらに、映像符号化データを保持する映像記録媒体及び映像データストリームに関する。

　立体映像（三次元映像）を表示する映像再生装置にはいくつかの方式が実用化されている。最も普及している方式は、左右両眼用に各々別の映像を表示してそれぞれの眼で見るようにし、それら左右両眼用の映像に対して、人間が実際の立体を見るときと同等の視差を与えておくことによって立体映像を視覚化する方式である。
　実写映像を立体表示するには、撮影時に２台のカメラを用い、両眼の間隔に相当する距離だけ水平方向に離して配置したカメラで同時に撮影する。そして再生するとき、左眼には左眼用のカメラで撮影した映像のみを、右眼には右眼用のカメラで撮影した映像のみを、それぞれ見えるように表示し、両眼で視差を感知できるようにして、立体映像として認識させるものである。これまでに、片眼ずつにそれぞれ専用の映像を見せるための方式、その映像の解像度を高く見せる方式、その映像を表現するデータ量を削減する方式等について様々な技術が開示されている。

　ＤＶＤやＢＤに代表される映像コンテンツ提供用のメディアに立体映像を収録する需要が高まってきた。これらのメディアでは、コンテンツの主要部となる映画等の映像の他に、字幕を表示するサブピクチャや、ユーザの機器操作に応じて選択肢やサンプル、案内等を表示するグラフィックスを重畳して表示できる。これら付加的な映像情報も、主要部となる映像を引き立ててコンテンツの価値を高める重要な構成要素になっている。従来、映像が平面映像（二次元映像）であるため、これに重畳するサブピクチャやグラフィックス等の付加的な映像情報も平面映像であり、重畳表示にあたり、透過度を適宜設定して配置の前後関係を表わしたり、視覚的に印象深い表現ができるようになっていた。

　映像コンテンツが立体映像になった場合、付加的な映像情報が平面映像のままでは表現効果が限られるので、サブピクチャやグラフィックス等の付加的な映像情報も、奥行き方向の表現が可能なものにすることが求められる。

　従来、立体映像に平面の字幕を重畳したとき、視差を含む立体映像は遠近感を生じるように表示されるが字幕は無限遠にあるように表示されてしまう、或いは字幕が常に画像の手前に表示される平面表示と異なり、遠景に表示されるのでユーザが違和感を持つという問題があった。これに対して、字幕のデータに奥行き方向の表示位置を表すパラメータを持たせ、立体映像に重畳するとき字幕を変形処理して合成することにより、字幕を適切な位置に表示する技術が開示されている（例えば、特許文献１参照）。

特開２００４－２７４１２５号公報

　従来技術では、字幕の表示位置を映像の手前の適切な位置に設定可能ではあるが、一点に限られる。また、字幕そのものを手前から奥に渡って傾けて配置可能とするような奥行き方向の表示位置を設定する技術は開示されておらず、立体映像の表現法として自由度が乏しいものであった。

　本発明は、このような現状に鑑み、左右両眼用に各々別の映像を表示して立体映像を視覚化する方式において、立体映像に重畳するサブピクチャやグラフィックス等の付加的な映像情報に対して、奥行き方向の表現も可能とし、立体視可能なものとすることを目的とする。
　また、このときのサブピクチャやグラフィックス等の付加的な映像情報を立体視可能な表現とするためのデータ量を削減することを目的とする。
　さらに、映像再生装置において、サブピクチャやグラフィックス等の映像情報の立体的な表現を実現するときの演算処理を簡略化することを目的とする。同時に、映像再生装置に求められる演算処理性能を節約することによってコストを低減すること、及び、所与の演算処理性能の下で立体表示される映像情報の更新速度を向上することも目的とする。

　本発明の映像符号化装置は、
　左右両眼用に各々別の映像を表示させることにより立体映像を視覚化する映像再生装置によって再生する映像データを生成する映像符号化装置であって、
　水平方向に、両眼間隔に相当する間隔をあけて配置された、第１及び第２の視点で撮像を行なうカメラが出力する映像信号を符号化して、立体映像を構成する表示映像を表す映像符号化データストリームを生成する映像符号化手段と、
　前記立体映像を構成する第１及び第２の視点の表示映像にそれぞれ重畳して表示する第１及び第２の視点の表示副映像のデータを符号化して副映像符号化データストリームを生成する副映像符号化手段と、
　前記映像符号化手段により生成された映像符号化データストリームと、副映像符号化手段により生成された副映像符号化データストリームとを多重化するストリーム多重化手段とを備え、
　前記副映像符号化手段において、前記第１の視点の表示副映像に含まれる１つ以上のオブジェクトのデータを独立して復号可能とするように符号化すると共に、
　前記第２の視点の表示副映像に含まれる前記１つ以上のオブジェクトを、前記第１の視点の表示副映像として表示される各々対応するオブジェクトに対して、水平方向の移動及び伸縮の少なくとも一方を行なって、表示することにより奥行を表現するようにし、
　前記第２の視点の表示副映像のデータとして、前記オブジェクトの各々に対して左端の移動幅と右端の移動幅を示すデータを生成する
　ことを特徴とする。

　また、本発明の映像再生装置は、
　符号化された副映像を含む立体映像のデータを復号し、左右両眼用に各々別の映像を表示させることにより立体映像を視覚化する映像再生装置であって、
　立体映像を構成する前記第１及び第２の視点の表示映像を復号する映像復号手段と、
　立体映像を構成する前記第１及び第２の視点の表示映像にそれぞれ重畳して表示する複数の視点の表示副映像のデータを復号する副映像復号手段とを備え、
　前記副映像復号手段において、前記第１の視点の表示副映像に含まれる１つ以上のオブジェクトのデータを独立して復号すると共に、
　前記第２の視点の表示副映像のデータとして生成された、前記オブジェクトの各々に対する左端の移動幅と右端の移動幅を読み取り、
　前記第２の視点の表示副映像に含まれる１つ以上のオブジェクトを、前記第１の視点の表示副映像として表示される各々対応するオブジェクトに対して水平方向の移動及び伸縮の少なくとも一方を行なって表示する
　ことを特徴とする。

　本発明によれば、左右両眼用に各々別の映像を表示して立体映像を視覚化する方式において、立体映像に重畳するサブピクチャやグラフィックス等の副映像情報に対して、奥行き方向の表現が可能となり、立体映像の表現法としての自由度が高まった。

　また、本発明によれば、このときの副映像情報（サブピクチャ、グラフィックス等）を立体視可能な表現とするためのデータ量を削減することが可能となった。

　さらに、本発明によれば、映像再生装置において、副映像情報（サブピクチャ、グラフィックス等）を立体的に表現するときの演算処理を簡略化することが可能となった。
　また、本発明によれば、映像再生装置に求められる演算処理性能を節約することが可能になり、そのコストを低減することが可能となった。
　また、本発明によれば、その所与の演算処理性能の下で、立体表示される映像情報の表示の更新速度を向上することも可能となり、映像情報を立体表示したまま早送り再生することが可能になった。

本発明の実施の形態１の映像符号化装置を示すブロック図である。本発明の実施の形態１の映像再生装置を示すブロック図である。（ａ）及び（ｂ）は、本発明の原理を説明するための、視差と奥行の関係を示す図である。（ａ）及び（ｂ）は、本発明の原理を説明するための、両眼用の画像を示す図である。（ａ）及び（ｂ）は、本発明の原理を説明するための、視差と距離の定量的関係を示す図である。（ａ）及び（ｂ）は、本発明の実施の形態１で用いられる字幕配置の一例を示す図である。（ａ）及び（ｂ）は、図６（ａ）及び（ｂ）に示される字幕の両眼用の画像の構成を示す図である。図６（ａ）及び（ｂ）の例における符号化した映像データ構造を示す図である。（ａ）及び（ｂ）は、本発明の実施の形態２で用いられる字幕配置の一例を示す図である。（ａ）及び（ｂ）は、図９（ａ）及び（ｂ）に示される字幕の両眼用の画像の構成を示す図である。図９（ａ）及び（ｂ）の例における符号化した映像データ構造を示す図である。（ａ）及び（ｂ）は、本発明の実施の形態３で用いられる字幕の描画方法の一例を示す図である。（ａ）及び（ｂ）は、本発明の原理を説明するための、視差と高さの関係を示す図である。

　以下に、本発明の実施の形態について図面を使用しながら説明する。
実施の形態１．
　図１に、本発明の実施の形態１の映像符号化装置を含むシステムの構成を示す。この装置は、撮影した立体映像（以下、主映像と呼ぶ）をデジタル符号化すると共に、再生時にこの立体映像に重畳して表示する副映像、すなわち、字幕用のサブピクチャやユーザの機器操作に応じて選択肢やサンプル、案内等を表示するグラフィックス等の映像を生成してデジタル符号化し、主映像をデジタル符号化したデータに多重化した映像データストリームを生成するものである。ここで主映像は立体表現可能な映像であり、これに重畳表示する副映像も奥行方向の表現が可能で立体視されるものとなるように生成して符号化するものであり、左眼用ビデオカメラ１１及び右眼用ビデオカメラ１２に接続されたビデオエンコーダ（映像符号化手段）２１と、グラフィクスジェネレータ２２と、グラフィクスデータエンコーダ（副映像符号化手段）２３と、データストリーム・マルチプレクサ（ストリーム多重化手段）２５とを有する。データストリーム伝送／蓄積手段３０のうち、送信／記録手段３１も、映像符号化装置の一部をなす。

　主映像の撮影には、両眼の間隔に相当する距離だけ水平方向に離間して配置した２台のカメラ、左眼用ビデオカメラ１１と右眼用ビデオカメラ１２を用い、この２つのカメラで同時に撮影する。撮影した各カメラの映像信号は、ビデオデータエンコーダ２１に入力し、ここでデジタル符号化して主映像符号化データストリームとする。立体映像のデジタル符号化には複数の方式が知られているが、本発明では特定の方式に限定しない。

　副映像は、コンテンツ制作者の仕様にしたがってグラフィックスジェネレータ２２によって作成され、デジタル化された副映像データとして出力される。この副映像データには、副映像として表示されるサブピクチャやグラフィックス等の画像データのほか、その副映像に含まれるオブジェクトについて、各オブジェクトが表示されるべき奥行方向の位置情報を含めるようにする。

　ここで、グラフィックスジェネレータ２２によって作成される副映像データは、視聴者の視点から見える形状で作成すればよい。例えば表示するオブジェクトが正方形のとき、そのオブジェクトが視点から等距離になく奥行方向に傾いて配置された場合には、そのオブジェクトは台形や不等辺四角形に見えるが、そうして見える形状で副映像データを作成する。それに奥行方向にどう配置するかの位置情報を付ける。

　次に、副映像データはグラフィックスデータエンコーダ２３に入力され、左眼用の副映像と右眼用の副映像として符号化される。左眼と右眼の視点を一般化して、第１の視点と第２の視点と考え、基準とする第１の視点として例えば左眼を割り当てたとき、左眼用の副映像に含まれるオブジェクトのデータは、独立して復号でき表示可能となるように符号化する。

　第２の視点の副映像は、基準とする第１の視点の副映像から生成する。この場合、第２の視点は右眼となる。両眼の視差により、右眼用の副映像に含まれるオブジェクトは、左眼用の副映像として表示されるオブジェクトに対して、水平方向に伸縮し移動して表示するだけで奥行感を表現することができる。したがって、右眼用の副映像を表現するには、各オブジェクトに対して、その左端と右端の表示位置を左眼用に表示するときの水平位置からどれだけシフトさせればよいかを示す移動幅をデータとして生成し、関連付けて、或いは付随させておくだけでよい。例えばデータストリームの一部として保持させておく。
　この原理は、後で詳細に説明する。

　このようにしてグラフィックスデータエンコーダ２３において生成された副映像符号化データは、ビデオデータエンコーダ２１において生成された主映像符号化データとともに、データストリーム・マルチプレクサ２５に入力される。データストリーム・マルチプレクサ２５は、２つの符号化データを多重化し、多重化符号化データストリームとする。ここでは、同時刻にひとつの画面に重畳して表示されるように時刻指定された主映像と副映像が、データのアンダーランなどの破綻なく表示できるような多重化符号化データストリームとなるよう合成する。

　多重化符号化データストリームは、データストリーム伝送／蓄積手段３０に入力される。データストリーム伝送／蓄積手段３０は、送信／記録手段３１と表した機能ブロックのうちの送信機能を有する場合には、多重化符号化データストリームを伝送用に変調して、離れた場所にある受信／再生手段３３と表した機能ブロックのうちの受信機能に伝送する。また、送信／記録手段３１と表した機能ブロックのうちの記録機能を有する場合には、多重化符号化データストリームを蓄積用に変調して、記録媒体３２に記録し蓄積する。送信機能か記録機能のいずれか必要な機能があればよい。

　図２に、本発明の実施の形態１の映像再生装置を含むシステムの構成を示す。この装置は、図１における説明にしたがって映像符号化装置によって符号化され、データストリーム伝送／蓄積手段３０に入力された多重化符号化データストリームを、立体映像である主映像と奥行方向の表現が可能で立体視される副映像に復調して、それらの重畳された映像として再生するものであり、データストリーム・デマルチプレクサ４５と、ビデオデータデコーダ（映像復号手段）４１と、グラフィクスデータデコーダ（副映像復号手段）４３と、右眼用ビデオ・グラフィクス表示合成手段５２と、左眼用ビデオ・グラフィクス表示合成手段５１と、立体表示ディスプレイ６０とを有する。データストリーム伝送／蓄積手段３０のうち、受信／再生手段３３も、映像再生装置の一部をなす。

　データストリーム伝送／蓄積手段３０において、受信／再生手段３３と表した機能ブロックのうちの受信機能を有する場合には、送信機能によって伝送された多重化符号化データストリームを受信機能で受信して復調し、データストリーム・デマルチプレクサ４５に入力する。また、受信／再生手段３３と表した機能ブロックのうちの再生機能を有する場合には、記録媒体３２に蓄積された多重化符号化データストリームを再生機能で読出して復調し、データストリーム・デマルチプレクサ４５に入力する。受信機能か再生機能のいずれか必要な機能があればよい。

　データストリーム・デマルチプレクサ４５では、多重化符号化データストリームから、ストリームに付加されている属性情報を参照して、主映像符号化データストリームと副映像符号化データストリームを分離して振り分ける。主映像符号化データストリームはビデオデータデコーダ４１に、副映像符号化データストリームはグラフィックスデータデコーダ４３に、それぞれ入力される。

　ビデオデータデコーダ４１は、主映像符号化データを復号して、左眼用と右眼用の各主映像データとして再生する。こうして復号された両眼用の映像データは、左眼用ビデオ・グラフィックス表示合成手段５１と、右眼用ビデオ・グラフィックス表示合成手段５２にそれぞれ送られる。ビデオデータデコーダ４１における復号は、本発明では特定のビデオ符号化方式に限定しておらず、ビデオデータエンコーダ２１によって符号化された方式に対応するものであればよい。

　グラフィックスデータデコーダ４３は、副映像符号化データストリームを復号して、左眼用と右眼用の各副映像データとして再生する。グラフィックスデータデコーダ４３における復号は、グラフィックスデータエンコーダ２３によって符号化したときの方式に対応する復号方式とする。
　既述のように、基準とする第１の視点に左眼を割り当てたとき、左眼用の副映像に含まれるオブジェクトのデータは、独立して復号できるので、左眼用副映像データとしてそのまま出力される。

　また、第２の視点となる右眼用の副映像に含まれるオブジェクトは、左眼用の副映像として表示されるオブジェクトに対して、水平方向に移動し伸縮して表示することにより、奥行感を表現できるようにする。ここで各オブジェクトの左端と右端のそれぞれの表示位置に関して、左眼用に表示するときの水平位置からどれだけシフトさせればよいかを示す移動幅をデータとして持っているので、その移動幅を読出して表示位置を算出する。こうして、両眼の視差によって生じる立体感を再現することができる。

　映像信号は、水平方向の走査線を画面の上から下へと順次走査させて表現する仕組みになっているので、オブジェクトを表現する各走査線上で表示内容を水平方向に移動することは極めて容易である。また、水平方向の伸縮についても１つの走査線上の各点に関して移動幅を位置によって変えるだけであり、簡単な演算処理により容易に実現できる。

　こうして復号された両眼用の副映像データがそれぞれ、左眼用ビデオ・グラフィックス表示合成手段５１と右眼用ビデオ・グラフィックス表示合成手段５２に送られる。左眼用ビデオ・グラフィックス表示合成手段５１と右眼用ビデオ・グラフィックス表示合成手段５２では、それぞれ復元した主映像と副映像を所定の仕様にしたがって重畳し、立体表示ディスプレイ６０に映像表示信号として送る。視聴者は、立体表示ディスプレイ６０を介して立体的な映像として認識する。

　主映像の立体表示による奥行感と副映像の立体表示による奥行感は、コンテンツ制作者がオーサリング時に調整する。基本的に奥行方向の位置で前後関係を表すほか、副映像を色情報と透過度の情報で表現するようにしておき、透過度を遠方ほど大きくして主映像と混合するような設定によって背景となる主映像との前後関係を表現することも可能とする。

　以下に、両眼の視差により、左眼用の副映像のオブジェクトに対して、対応する右眼用の副映像のオブジェクトを水平方向に移動し伸縮して表示するだけで奥行感を表現することができる原理と、奥行方向の位置と水平方向の移動幅の関係について、詳細に説明する。

　図３（ａ）及び（ｂ）は、本発明の原理となる視差と奥行の関係を示す図である。図３（ａ）にカメラ、すなわち、視聴者の視点を含めて、映像の対象となる空間全体の平面図を、図３（ｂ）にその側面図を示す。図３（ａ）に示すように、ｘ軸を水平方向（右が正）、ｚ軸を奥行方向（奥が正）とし、図３（ｂ）に示すように、ｙ軸を垂直方向（下が正）とする。左眼と右眼の視点、すなわち左眼と右眼のカメラは、それぞれ、ｚ＝０の距離で、ｘ軸上に示すＬとＲの位置にある。左眼Ｌと右眼Ｒの視線の中心はともに、図中に矢印（実線と破線）で示すように、同じ方向の先にある無限遠点に向けられている。また図３（ａ）にあるように、左眼Ｌの水平方向の視野の範囲を奥行方向に広がる扇形（実線）で、右眼Ｒの水平方向の視野の範囲を奥行方向に広がる扇形（破線）で示した。

　以下では、奥行方向の視点からの距離のことを単に距離と称する。左眼Ｌの視線中心線上の距離ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、ｄ７の位置に、それぞれオブジェクトＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７がある。また、右眼Ｒの視線中心線上の距離ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、ｄ７の位置に、それぞれオブジェクトＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７がある。オブジェクトＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７は白い棒で垂直方向中央から上に伸びており、遠方にあるものほど長い。オブジェクトＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７は黒い棒で垂直方向中央から下に伸びており、遠方にあるものほど長い。これらのオブジェクトを、左眼Ｌと右眼Ｒの視点から見たときのそれぞれの見え方を考える。

　図４（ａ）及び（ｂ）は、本発明の原理となる両眼用の画像の一例を示す図である。図４（ａ）に左眼Ｌに見える、すなわち、再生して表示するとき左眼用に表示する画像を、図４（ｂ）に右眼Ｒに見える、すなわち、再生して表示するとき右眼用に表示する画像を示す。視点から等距離にある２つのオブジェクトＬ１とＲ１、Ｌ２とＲ２などは、同じ間隔で置かれているが、視点における画像上では遠近法にしたがい、近い距離にあるものほど間隔が広く表示される。

　図４（ａ）に示すように、左眼Ｌでは、オブジェクトＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７は全て水平方向の中央に見える。オブジェクトＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７は水平方向の中央からそれぞれ、ΔＲ１、ΔＲ２、ΔＲ３、ΔＲ４、ΔＲ５、ΔＲ６、ΔＲ７だけ右側へ寄った位置に見える。ここで、この左眼Ｌの画像を用いて、図４（ｂ）に示す右眼Ｒの画像を生成することを考える。

　左眼Ｌで水平方向の中央に見えたオブジェクトＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７は、右眼Ｒでは、左眼Ｌの画像における水平方向の位置に比較して、ΔＬ１、ΔＬ２、ΔＬ３、ΔＬ４、ΔＬ５、ΔＬ６、ΔＬ７だけ、それぞれ左へ移動した位置に見える。
　また、左眼Ｌで水平方向の右側に寄って見えていたオブジェクトＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７は、右眼Ｒでは全て水平方向の中央に重なって見える。すなわち、左眼Ｌの画像における水平方向の位置に比較して、ΔＲ１、ΔＲ２、ΔＲ３、ΔＲ４、ΔＲ５、ΔＲ６、ΔＲ７だけ、それぞれ左側へ移動した位置に見える。

　以上のことから、左眼Ｌの画像を用いて右眼Ｒの画像を生成するとき、オブジェクトの水平方向の位置の移動幅は、距離の近いものほど大きく、距離が遠くなるほど小さくなり、無限遠点では動かずに同じ位置に止まることがわかる。これらの各オブジェクトに対して、それぞれの位置に対応した水平方向の位置の移動幅を指定しておけば、左眼Ｌの画像から右眼Ｒの画像を作り出して両眼の視差を表現し、奥行方向の距離感を再現することが可能になる。つまり、立体視できる画像を生成することができる。

　図５（ａ）及び（ｂ）は、本発明の原理を説明するための、視差と距離の定量的関係を示す図である。図５（ａ）は、図３（ａ）と同じく、視聴者の視点を含めて映像の対象となる空間全体の平面図を示す。ｘ軸、ｚ軸の定義、左眼と右眼の視点、視線、視野の範囲の示し方も同じである。図５（ｂ）は、左眼用の画像を示す。図５（ａ）及び（ｂ）において、２θはカメラの水平画角、ｄはカメラからの距離、ａは両眼間隔、Ｘ０は水平方向の視野幅、Δｘは両眼視差、Ｐｘは水平方向の画素数、ΔＰｘは両眼視差Δｘに相当する画面水平方向の画素数である。

　水平画角２θの両眼用の各カメラから奥行方向の距離ｄの垂直面における水平方向の視野幅Ｘ０に対して、両眼間隔ａの相対的な長さ（両眼視差と呼ぶ）Δｘを求めると以下のようになる。

　次に、両眼間隔ａに起因する両眼視差Δｘを、カメラ、あるいは、表示ディスプレイの画面上の水平方向の画素数ΔＰｘに換算する。水平方向の画面のサイズ（画素数）をＰｘとし、Ｐｘが１９２０画素の場合、ΔＰｘは以下となる。

　逆に、（２）式より、奥行方向の距離ｄは、カメラの水平画角２θと両眼間隔ａ、及び両眼視差Δｘに相当する表示画面上の水平方向の画素数ΔＰｘから、以下のように算出される。

　以上に示した各パラメータ間の関係式を用いると、立体画像を制作するときに、左眼Ｌの画像を用いて右眼Ｒの画像を生成することが可能となる。カメラの視野角と距離、及び画面のサイズ（画素数）を指定することにより、左眼Ｌの画像を用いて右眼Ｒの画像を生成するときの、そのオブジェクトの位置に対する水平方向の移動幅を定量的に計算でき、画素数単位で指定できるようになる。
　上記のようにして、各オブジェクト、あるいは各オブジェクトの所定の箇所に対して、算出した移動幅ΔＰｘを指定しておくことにより、再生時に奥行方向の距離感を表現する画像を作り出すことが可能になる。

　ある映像シーンの中ではａとθは固定パラメータと考えられるので、（３）式において求まる奥行方向の距離ｄは、オブジェクト各部分のΔＰｘの値のみに対応して変化する。
　したがって、たとえば、２つのオブジェクトが重なるように配置された場合、表示するときに重なった部分ではどちらを前に出すかを、ΔＰｘの大小で判断することができる。不透明なオブジェクトでは後ろになるものが隠されるが、重なった部分では、ΔＰｘの大きいところが手前に表示され、ΔＰｘの小さいところが隠される。

　本発明の映像符号化装置においてこの処理を実施するとき、グラフィックスジェネレータ２２で左眼Ｌの画像データを作成すると共に、画像の所定箇所に関する奥行方向の距離、およびカメラの視野角と画面のサイズを付加してグラフィックスデータエンコーダ２３に出力する。グラフィックスデータエンコーダ２３において、距離が指定された画像の所定箇所に関して上記のように（２）式を用いてΔＰｘを算出し、右眼Ｒの画像を生成し、符号化する。

　次に、以上の原理に基づいて、実際に副映像を表現する具体例を説明する。
　図６（ａ）及び（ｂ）に、本実施の形態１で用いられる字幕配置の一例を示す。図３（ａ）及び（ｂ）と同じく、視聴者の視点を含めて映像の対象となる空間全体の平面図及び側面図を示す。ｘ軸、ｙ軸、ｚ軸の定義、左眼と右眼の視点、視線、視野の範囲の示し方も同じである。いま、距離ｄ５の位置に視点から見て垂直に長方形の字幕［Ａ］を配置し、また、距離ｄ５からｄ７にかかる位置に視点から見て右辺を奥に傾けて長方形の字幕［Ｂ］を配置する。側面図からわかるように、字幕［Ａ］は中央より上の部分に、字幕［Ｂ］は中央より下の部分に配置した。図３（ａ）及び（ｂ）を参照しながら、この２つの字幕が両眼の視点からどう見えるか、すなわち、表示画面上にどう表示されるべきかを考える。

　図７（ａ）及び（ｂ）に、図６（ａ）及び（ｂ）に示される字幕の両眼用の画像の構成を示す。図７（ａ）に示すように左眼Ｌでは、垂直に置いた長方形の字幕［Ａ］は長方形のまま見え、奥に傾けた長方形の字幕［Ｂ］は台形に見える。２つの字幕の水平方向の位置は、左辺は同じｘ１にある。右辺は実物では同じであるが、画像では、距離ｄ５にある字幕［Ａ］がｘ２に、距離ｄ７にある字幕［Ｂ］がｘ３になる。
　図７（ｂ）に示すように右眼Ｒでは、垂直に置いた長方形の字幕［Ａ］は長方形のまま見え、奥に傾けた長方形の字幕［Ｂ］は台形に見える。２つの字幕の水平方向の位置は、左辺は同じ（ｘ１－Δｘ１）にある。右辺は実物では同じであるが、画像では、距離ｄ５にある字幕［Ａ］が（ｘ２－Δｘ１）に、距離ｄ７にある字幕［Ｂ］が（ｘ３－Δｘ３）になる。

　左眼用の画像を基準として右眼用の画像を作成するには、字幕［Ａ］に関して、全体にΔｘ１だけ左側に移動させればよい。また、字幕［Ｂ］に関して、左辺をΔｘ１だけ左側に移動させ、右辺をΔｘ３だけ左側に移動させればよい。この例では、Δｘ１＞Δｘ３であり、右辺が奥にあって距離が大きいほど、その移動幅Δｘ３は小さくなる。
　結果として、字幕［Ａ］の幅は、左眼Ｌでも右眼Ｒでも（ｘ２－ｘ１）となり変わらないが、字幕［Ｂ］の幅は、左眼Ｌでは（ｘ３－ｘ１）、右眼Ｒでは（ｘ３－ｘ１）－（Δｘ３－Δｘ１）と、両眼視差の影響により右眼Ｒから見たときの方が長く見える。

　表示するオブジェクトの左右の部分で奥行方向の距離が異なる場合、グラフィックスデータエンコーダ２３において符号化するとき、オブジェクト左端の位置と右端の位置を移動させるそれぞれの移動幅Δｘ１とΔｘ３を算出して副映像符号化データの中に保持しておけば、左眼用の画像を基準として右眼用の画像を表現することができる。この副映像符号化データを使えば、グラフィックスデータデコーダ４３において復号するとき、左眼用の画像データと移動幅Δｘ１とΔｘ３から、右眼用の画像に表示されるオブジェクトを簡単に再現することができる。

　図８に、図６（ａ）及び（ｂ）の例における符号化した映像のデータ構造を示す。主映像と副映像を含む映像を符号化した映像データストリームの全体構造である。この映像データストリーム全体を「立体映像ビデオデータ・グラフィックスデータ・ストリーム」ＶＧＳと呼ぶ。立体映像ビデオデータ・グラフィックスデータ・ストリームＶＧＳは、所定の「符号化単位」ＵＯＣごとに区分してデジタル化され、符号化される。１つの符号化単位ＵＯＣの中に、主映像符号化データから成る「ビデオデータ」ＶＤＤと副映像符号化データから成る「グラフィックスデータ」ＧＲＤが含まれるように、データストリーム・マルチプレクサ２５において多重化される。
　１つの符号化単位ＵＯＣのデータを再生して表示している最中に、次の符号化単位ＵＯＣのデータを読出しておくことにより、１つの符号化単位ＵＯＣの表示を終えた後、途切れずに次の符号化単位ＵＯＣの表示が続くようにすることができる。但し、図８に示したデータ配置は一例であり、例えば、グラフィックスデータＧＲＤ用に大きなバッファメモリが用意されている場合は、グラフィックスデータＧＲＤは必ずしも全ての符号化単位ＵＯＣになくてもよい。

　グラフィックスデータＧＲＤには、副映像として表示する全てのオブジェクトのデータを格納する。図中にその構造を示す。「オブジェクト数」ＮＯＢは、そのグラフィックスデータＧＲＤの符号化単位ＵＯＣに含むオブジェクトの個数を示す。オブジェクト数ＮＯＢがＮのとき、オブジェクト＃１からオブジェクト＃Ｎのグラフィックスデータが、「オブジェクト＃１グラフィックスデータ」ＧＲＤ－１から「オブジェクト＃Ｎグラフィックスデータ」ＧＲＤ－Ｎに格納される。

　各オブジェクトのグラフィックスデータＧＲＤ－ｎ（ｎ＝１、２、…Ｎ）の構造は、先頭にそのオブジェクトを識別するための「ＩＤ」１０２を持ち、以下に、左眼用の副映像の符号化データを表現する「左眼表示グラフィックスデータ」１０４と、左眼用の副映像を基準に右眼用の画像を表現するための「右眼表示グラフィックスデータ」１０６を持つ。「右眼表示グラフィックスデータ」１０６は、「左端シフト幅」１０８と「右端シフト幅」１１０から成る。いずれも、左眼用の画像に表示されるオブジェクトから右眼用の画像に表示されるオブジェクトを、以上に説明したようにして再現するために必要な移動幅のデータであり、図７（ａ）及び（ｂ）の例ではΔｘ１とΔｘ３に相当する。

　なお、上記の説明は、オブジェクトの右端と左端が奥行方向に異なる位置に配置された場合に対応して、そのオブジェクトの配置を表現するために「右眼表示グラフィックスデータ」１０６に設定する「左端シフト幅」１０８と「右端シフト幅」１１０を異なる値とした場合であった。オブジェクト全体が、奥行方向に同じ位置に配置されることが予め分かっている場合は、「左端シフト幅」１０８と「右端シフト幅」１１０を同じ値にすればよいことは言うまでもない。このとき、「右眼表示グラフィックスデータ」１０６として、ひとつの「シフト幅」を規定することになる。

実施の形態２．
　図９（ａ）及び（ｂ）に、本実施の形態２で用いられる字幕配置の一例の字幕配置を示す。図６（ａ）及び（ｂ）と同じように視聴者の視点を含めて映像の対象となる空間全体の平面図及び側面図を示す。字幕［Ａ］の配置は図６（ａ）及び（ｂ）に示した例と同じである。長方形の字幕［Ｃ］を、距離ｄ５からｄ７にかかる位置に視点から見て上辺を奥に傾けて配置する。側面図からわかるように、字幕［Ａ］は中央より上の部分に、字幕［Ｃ］は中央より下の部分に配置した。図６（ａ）及び（ｂ）の場合と同様にして、この２つの字幕が両眼の視点からどう見えるか、すなわち、表示画面上にどう表示されるべきかを考える。

　図１０（ａ）及び（ｂ）に、図９（ａ）及び（ｂ）に示される字幕の両眼用の画像の構成を示す。図１０（ａ）に示すように左眼Ｌでは、垂直に置いた長方形の字幕［Ａ］は長方形のまま見え、奥に傾けた長方形の字幕［Ｃ］は台形に見える。２つの字幕の水平方向の位置は、距離ｄ５にあるそれぞれの下辺の左右両端は同じ位置ｘ１とｘ２にある。上辺について、字幕［Ａ］は距離ｄ５にあり下辺と同じｘ１とｘ２にあるが、距離ｄ７にある字幕［Ｃ］では、上左端の位置はｘ４、上右端の位置はｘ３になる。
　図１０（ｂ）に示すように右眼Ｒでは、垂直に置いた長方形の字幕［Ａ］は長方形のまま見え、奥に傾けた長方形の字幕［Ｃ］は台形に見える。２つの字幕の水平方向の位置は、左下端と右下端は同じ（ｘ１－Δｘ１）と（ｘ２－Δｘ１）にある。上辺について、距離ｄ５にある字幕［Ａ］は下辺と同じく、上左端が（ｘ１－Δｘ１）、上右端が（ｘ２－Δｘ１）にあるが、距離ｄ７にある字幕［Ｃ］は上左端が（ｘ４－Δｘ３）、上右端が（ｘ３－Δｘ３）となる。

　左眼用の画像を基準として右眼用の画像を作成するには、字幕［Ａ］に関して、全体にΔｘ１だけ左側に移動させればよい。また、字幕［Ｃ］に関して、下左端、下右端ともにΔｘ１だけ左側に、上左端、上右端ともにΔｘ３だけ左側に移動させればよい。この例では、Δｘ１＞Δｘ３であり、上辺が奥にあって距離が大きいほど、その移動幅Δｘ３は小さくなる。
　結果として、字幕［Ａ］の幅は、左眼Ｌでも右眼Ｒでも（ｘ２－ｘ１）となり変わらない。また、字幕［Ｃ］の形は両眼視差の影響により左右眼用で変形するが、幅は左眼Ｌでも右眼Ｒでも下辺が（ｘ２－ｘ１）、上辺が（ｘ３－ｘ４）となり、同距離の部分については変わらない。

　表示するオブジェクトの上下の部分で奥行方向の距離が異なるとき、グラフィックスデータエンコーダ２３において符号化するとき、オブジェクト下端の位置と上端の位置を移動させるそれぞれの移動幅Δｘ１とΔｘ３を算出して副映像符号化データの中に保持しておけば、左眼用の画像を基準として右眼用の画像を表現することができる。この副映像符号化データを使えば、グラフィックスデータデコーダ４３において復号するとき、左眼用の画像データと移動幅Δｘ１とΔｘ３から、右眼用の画像に表示されるオブジェクトを簡単に再現することができる。

　さらに、図６（ａ）及び（ｂ）の例において、表示するオブジェクトの左右の部分で奥行方向の距離が異なるときに対して示した例と合わせると、次のようにまとめることができる。
　表示するオブジェクトの上下左右の部分で奥行方向の距離が異なるとき、グラフィックスデータエンコーダ２３において符号化するとき、オブジェクト左上下端の位置と右上下端の位置を移動させるそれぞれの移動幅を算出して副映像符号化データの中に保持しておけば、左眼用の画像を基準として右眼用の画像を表現することができる。この副映像符号化データを使えば、グラフィックスデータデコーダ４３において復号するとき、左眼用の画像データとその各左右上下端の位置の移動幅から、右眼用の画像に表示されるオブジェクトを簡単に再現することができる。

　図１１に、図９（ａ）及び（ｂ）の例における符号化した映像のデータ構造を示す。図の大部分は図８と同じであり、異なる部分について説明する。
　図８では、「右眼表示グラフィックスデータ」１０６を、単に「左端シフト幅」１０８と「右端シフト幅」１１０の２つのフィールドから成るとした。図１１では、上記の図９（ａ）及び（ｂ）の例に合わせるため、さらに詳細に、「左端シフト幅」１０８を「左上端シフト幅」１１２と「左下端シフト幅」１１４の２つのフィールドから構成し、「右端シフト幅」１１０を「右上端シフト幅」１１６と「右下端シフト幅」１１８の２つのフィールドから構成するようにした。

　いずれも、左眼用の画像に表示されるオブジェクトから右眼用の画像に表示されるオブジェクトを、以上に説明したようにして再現するために必要な移動幅のデータであり、図７（ａ）及び（ｂ）の例に適用するには、「左上端シフト幅」と「左下端シフト幅」に同じ値を、「右上端シフト幅」と「右下端シフト幅」に同じ値を、それぞれ入れればよい。
　また、図１０（ａ）及び（ｂ）の例に適用するには、「左上端シフト幅」と「右上端シフト幅」に同じ値を、「左下端シフト幅」と「右下端シフト幅」に同じ値を、それぞれ入れればよい。さらに一般的には、オブジェクトの傾き方に応じて４つのフィールドそれぞれに適切な値を、グラフィックスデータエンコーダ２３において算出して各フィールドに設定する。

実施の形態３．
　図１２（ａ）及び（ｂ）は、本発明の実施の形態３で用いられる字幕の描画方法の一例を示す図である。ここでは、図１０（ａ）及び（ｂ）に示した字幕の描画方法とは異なる表現方法を示す。前記の図１０では、奥行方向に傾斜して配置される図形について、字幕［Ｃ］を例にして左眼用の画像から右眼用の画像を生成する方法を示した。この例では、左眼用の画像は台形であり、各頂点の水平方向の位置であるｘ座標の値が、ｘ１、ｘ２、ｘ３、ｘ４、であった。左眼用の画像を基準とする右眼用の画像の位置表現を簡略化するには、長方形の描画領域を確保しておいて、その中に台形となる字幕［Ｃ］を描画し、右眼用の画像ではこの長方形の描画領域全体を変形することによって、その描画領域上の画像を変形させる方が簡単である。

　図１２（ａ）に示すように、左眼Ｌ用の画像では台形の字幕［Ｃ］を、図中に一点鎖線で囲んで示すｘ座標がｘ１からｘ２の間にある長方形の描画領域の上に描画する。この長方形の下辺は字幕［Ｃ］の下辺に合わせている。ここで、図１２（ｂ）に示すように、左眼Ｌ用の画像を基準として右眼Ｒ用の画像を作成するとき、一点鎖線で囲んだ長方形Ｑａの描画領域を移動して適切な平行四辺形Ｑｂになるように変形すると、この領域上に描画された台形の字幕［Ｃ］は、図１０（ｂ）に示した形に一致する。

　右眼Ｒ用の画像では、左眼Ｌ用の画像で長方形であった描画領域の水平方向の位置は、左下端が（ｘ１－Δｘ１）、右下端が（ｘ２－Δｘ２）になる。また、左上端は（ｘ１－Δｘ１１）、右上端は（ｘ２－Δｘ１２）となる。ここでは、Δｘ１とΔｘ２は等しく、Δｘ１１とΔｘ１２も等しい。右眼用の画像を生成するときには、水平方向の走査線毎に描画領域の左右端のシフト幅を算出して、描画位置を決定する。このように長方形の描画領域をひとつのオブジェクトとして定義し、各頂点の水平方向のシフト幅を指定することによって左眼用の画像から右眼用の画像を生成するようにすると、対象となるオブジェクトの存在する場所が簡単に表現できるので、画像の生成が容易になる。

　たとえば描画の手法として、各水平走査線のうち長方形の描画領域に含まれる部分において、水平方向の長さ要素に対して係数を乗算してスケーリングすることが考えられる。長方形の描画領域の幅が、変型後の台形の描画領域の上辺と下辺でそれぞれ何倍になるか求めておき、各走査線ではスケーリングのために乗算する係数をその描画領域の高さ方向の位置によって比例配分によって算出すれば、右眼用の画像を生成する演算が簡略化される。

　各頂点のシフト幅を表現するデータの構造は、既に説明した図１１に示すものが適用でき、上記の図１２の例では、「左上端シフト幅」がΔｘ１１、「左下端シフト幅」がΔｘ１、「右上端シフト幅」がΔｘ１２、「右下端シフト幅」がΔｘ２となる。この４点の値を適切に設定することにより、任意の向きに傾斜し、奥行方向の任意の位置に配置された平面オブジェクトの立体感を表現することが可能になる。

　なお、本発明の要旨は、奥行方向の異なる深さに位置するオブジェクトを表示するに際して、左眼用のオブジェクトの左右上下端の４頂点の位置から右眼用のオブジェクトの同４頂点の位置を算出するようにする点にある。そのとき、右眼用のオブジェクトの左右上下端の４頂点の位置を算出しやすくするために、それぞれのシフト幅を設定するフィールドを設けて表現する例を説明したが、この４頂点の位置の表現法は、「シフト幅」には限らない。他の表現方法として、右眼用のオブジェクトの「左上端」、「左下端」の位置は既述のように「シフト幅」で表現し、「右上端」、「右下端」の位置はオブジェクトの上端・下端それぞれの水平方向の長さの比率で表わす方法もある。たとえば長さの比率が「１．０」なら、そのオブジェクトの右端のシフト幅は左端のシフト幅と同一になることと定義し、長さの比率が「１．０」より大きいときはオブジェクトの左端から右端までの長さがその比率で伸び、長さの比率が「１．０」より小さいときはオブジェクトの左端から右端までの長さがその比率で縮むものとする。そして、これらのオブジェクトの上端・下端それぞれの水平方向の長さの比率を、「右上端」、「右下端」の「シフト幅」の代わりに設定するフィールドを設けて表現するようにしても良い。

　さて、以上の説明において、左眼用の画像を基準として右眼用の画像を作成するとき、左眼用の画像を水平方向にシフトするだけで右眼用の画像が生成できると述べてきた。ここでその根拠を確認しておく。
　図１３（ａ）及び（ｂ）は、本発明の原理となる視差と高さの関係を示す図である。図１３（ａ）及び（ｂ）は図３に示した本発明の原理となる視差と奥行の関係を示す図と同様に、映像の対象となる空間全体の平面図（ａ）と側面図を（ｂ）を示す図であるが、配置されたオブジェクトが異なる。奥行方向の距離ｄ６の位置に、一般的な場合を想定して視線の中心から外れた位置に縦棒状のオブジェクトＥを置いている。撮像時に左眼と右眼のカメラから撮影された画像を、再生時には、例えば図中に「表示スクリーン」と示した距離ｄ０の位置においた画面に表示する。視聴者の視点からこの画面を見たとき、左眼Ｌには左眼のカメラで撮影した画像が、右眼Ｒには右眼のカメラで撮影した画像が、それぞれ見えるように表示する。

　こうして表示されたオブジェクトＥの両端を左眼Ｌと右眼Ｒから見込むときの視線を、平面図（ａ）と側面図（ｂ）にそれぞれ示した。左眼用の画像と右眼用の各画像において、オブジェクトＥは、視線が距離ｄ０の位置にある表示スクリーンと交差する平面上に表示される。オブジェクトＥの上端を見る両眼の視線の方向が、平面図（ａ）上では水平方向に視差のためにずれていること、しかし、側面図（ｂ）上では垂直方向には一致していること、が分かる。換言すると、左眼用と右眼用に表示するオブジェクトＥは両画像において同じ高さでよい、ということが分かる。

　以上のように、本発明の映像符号化装置及び方法では、サブピクチャは複数のモジュールを含んで構成可能とし、各モジュールにモジュール左右両端の画面上の水平表示位置に対して、右眼用に表示するときのシフト幅を各々設定してサブピクチャデータ中に保持するようにしている。
　また、本発明の映像再生装置及び方法では、サブピクチャデータは左眼用サブピクチャとしてそのまま左眼用映像に重畳して表示し、右眼用サブピクチャにはサブピクチャデータの水平表示位置を所定幅だけシフトし、右眼用映像に重畳して表示するようにしている。
　さらに、本発明の映像記録媒体及び映像データストリームでは、上記のようにして符号化したサブピクチャデータを含む立体映像のデータを、それぞれの中に保持するようにしている。

　また、上記の各「シフト幅」はデータストリーム上では固定値として保持されるが、再生装置では、読出したデータストリームの「シフト幅」を再生装置に付加した調整機能によって変化させ、対応するオブジェクトが表示される奥行方向の距離を変化させることもできる。ユーザの所望の距離にオブジェクトを表示することが可能になる。

　本発明に関する以上の説明において、立体映像である主映像に対して重畳して表示する副映像の符号化と再生を行う装置と方法を記述した。しかしながら本発明は、主映像がなくて副映像のみの場合にも適用可能である。
　すなわち、グラフィックスを奥行方向の表現が可能で立体視できるようにし、かつそのデータ量を削減したり、立体的に表現するときの演算処理を簡略化したり、あるいは映像再生装置に求められる演算処理性能を節約してコストを低減したり、所与の演算処理性能の下で立体映像表示の更新速度を向上したりするための一般的な符号化と再生を行う装置と方法として適用することが可能である。

　映像がグラフィックスだけとなるこの場合、図１に示した映像符号化装置の構成のうち、左眼用ビデオカメラ１１、右眼用ビデオカメラ１２、ビデオデータエンコーダ２１、データストリーム・マルチプレクサ２５は不要になる。また、図２に示した映像再生装置の構成のうち、ビデオデータデコーダ４１、データストリーム・デマルチプレクサ４５、左眼用ビデオ・グラフィックス表示合成手段５１、右眼用ビデオ・グラフィックス表示合成手段５２は不要になる。

　１１　左眼用ビデオカメラ、　１２　右眼用ビデオカメラ、　２１　ビデオデータエンコーダ、　２２　グラフィックスジェネレータ、　２３　グラフィックスデータエンコーダ、　２５　データストリーム・マルチプレクサ、　３０　データストリーム伝送／蓄積手段、　３１　送信／記録手段、　３２　記録媒体、　３３　受信／再生手段、　４１　ビデオデータデコーダ、　４３　グラフィックスデータデコーダ、　４５　データストリーム・デマルチプレクサ、　５１　左眼用ビデオ・グラフィックス表示合成手段、　５２　右眼用ビデオ・グラフィックス表示合成手段、　６０　立体表示ディスプレイ。

Claims

　左右両眼用に各々別の映像を表示させることにより立体映像を視覚化する映像データを生成する映像符号化装置であって、
　水平方向に、両眼間隔に相当する間隔をあけて配置された、第１及び第２の視点の映像信号を符号化して、立体映像を構成する表示映像を表す映像符号化データストリームを生成する映像符号化手段と、
　前記立体映像を構成する第１及び第２の視点の表示映像にそれぞれ重畳して表示する第１及び第２の視点の表示副映像のデータを符号化して副映像符号化データストリームを生成する副映像符号化手段と、
　前記映像符号化手段により生成された映像符号化データストリームと、副映像符号化手段により生成された副映像符号化データストリームとを多重化するストリーム多重化手段とを備え、
　前記副映像符号化手段において、前記第１の視点の表示副映像に含まれる１つ以上のオブジェクトのデータを独立して復号可能とするように符号化すると共に、
　前記第２の視点の表示副映像に含まれる前記１つ以上のオブジェクトを、前記第１の視点の表示副映像として表示される各々対応するオブジェクトに対して、水平方向の移動及び伸縮の少なくとも一方を行なって、表示することにより奥行を表現するようにし、
　前記第２の視点の表示副映像のデータとして、前記オブジェクトの各々に対して、各視点からオブジェクトまでの距離に対応した、表示面上の水平方向における左端の移動幅と右端の移動幅を示すデータを生成する
　ことを特徴とする映像符号化装置。
　前記オブジェクトの各々に対する左端の移動幅と右端の移動幅として、
　該左端の移動幅は左上端と左下端のそれぞれの移動幅、
　該右端の移動幅は右上端と右下端のそれぞれの移動幅を示すデータを独立に生成する
　ことを特徴とする請求項１に記載の映像符号化装置。
　左右両眼用に各々別の映像を表示させることにより立体映像を視覚化する映像データを生成する映像符号化方法であって、
　水平方向に、両眼間隔に相当する間隔をあけて配置された、第１及び第２の視点の映像信号を符号化して、立体映像を構成する表示映像を表す映像符号化データストリームを生成する映像符号化ステップと、
　前記立体映像を構成する第１及び第２の視点の表示映像にそれぞれ重畳して表示する第１及び第２の視点の表示副映像のデータを符号化して副映像符号化データストリームを生成する副映像符号化ステップと、
　前記映像符号化ステップにより生成された映像符号化データストリームと、副映像符号化手段により生成された副映像符号化データストリームとを多重化するストリーム多重化ステップとを備え、
　前記副映像符号化ステップにおいて、前記第１の視点の表示副映像に含まれる１つ以上のオブジェクトのデータを独立して復号可能とするように符号化すると共に、
　前記第２の視点の表示副映像に含まれる前記１つ以上のオブジェクトを、前記第１の視点の表示副映像として表示される各々対応するオブジェクトに対して、水平方向の移動及び伸縮の少なくとも一方を行なって、表示することにより奥行を表現するようにし、
　前記第２の視点の表示副映像のデータとして、前記オブジェクトの各々に対して、各視点からオブジェクトまでの距離に対応した、表示面上の水平方向における左端の移動幅と右端の移動幅を示すデータを生成する
　ことを特徴とする映像符号化方法。
　前記オブジェクトの各々に対する左端の移動幅と右端の移動幅として、
　該左端の移動幅は左上端と左下端のそれぞれの移動幅、
　該右端の移動幅は右上端と右下端のそれぞれの移動幅を示すデータを独立に生成する
　ことを特徴とする請求項３に記載の映像符号化方法。
　請求項１又は請求項２に記載の映像符号化装置、あるいは、請求項３又は請求項４に記載の映像符号化方法によって符号化された
副映像を含む立体映像のデータを復号し、左右両眼用に各々別の映像を表示させることにより立体映像を視覚化する映像再生装置であって、
　立体映像を構成する前記第１及び第２の視点の表示映像を復号する映像復号手段と、
　立体映像を構成する前記第１及び第２の視点の表示映像にそれぞれ重畳して表示する複数の視点の表示副映像のデータを復号する副映像復号手段とを備え、
　前記副映像復号手段において、前記第１の視点の表示副映像に含まれる１つ以上のオブジェクトのデータを独立して復号すると共に、
　前記第２の視点の表示副映像のデータとして生成された、前記オブジェクトの各々に対する左端の移動幅と右端の移動幅を読み取り、
　前記第２の視点の表示副映像に含まれる１つ以上のオブジェクトを、前記第１の視点の表示副映像として表示される各々対応するオブジェクトに対して、各視点からオブジェクトまでの距離に対応した、表示面上の水平方向の移動及び伸縮の少なくとも一方を行なって表示する
　ことを特徴とする映像再生装置。
　請求項１又は請求項２に記載の映像符号化装置、あるいは、請求項３又は請求項４に記載の映像符号化方法によって符号化された
副映像を含む立体映像のデータを復号し、左右両眼用に各々別の映像を表示させることにより立体映像を視覚化する映像再生方法であって、
　立体映像を構成する前記第１及び第２の視点の表示映像を復号する映像復号ステップと、
　立体映像を構成する前記第１及び第２の視点の表示映像にそれぞれ重畳して表示する複数の視点の表示副映像のデータを復号する副映像復号ステップとを備え、
　前記副映像復号ステップにおいて、前記第１の視点の表示副映像に含まれる１つ以上のオブジェクトのデータを独立して復号すると共に、
　前記第２の視点の表示副映像のデータとして生成された、前記オブジェクトの各々に対する左端の移動幅と右端の移動幅を読み取り、
　前記第２の視点の表示副映像に含まれる１つ以上のオブジェクトを、前記第１の視点の表示副映像として表示される各々対応するオブジェクトに対して、各視点からオブジェクトまでの距離に対応した、表示面上の水平方向の移動及び伸縮の少なくとも一方を行なって表示する
　ことを特徴とする映像再生方法。
　請求項１又は請求項２に記載の映像符号化装置、或いは請求項３又は請求項４に記載の映像符号化方法によって符号化された
　副映像を含む立体映像のデータを格納した映像記録媒体。
　請求項１又は請求項２に記載の映像符号化装置、或いは請求項３又は請求項４に記載の映像符号化方法によって符号化された
　副映像を含む立体映像のデータを伝送する映像データストリーム。