WO2011062015A1

WO2011062015A1 - 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム

Info

Publication number: WO2011062015A1
Application number: PCT/JP2010/068243
Authority: WO
Inventors: 秀敏永野
Original assignee: ソニー株式会社
Priority date: 2009-11-17
Filing date: 2010-10-18
Publication date: 2011-05-26
Also published as: BRPI1006169A2; PE20120606A1; CN102273212A; RU2011128307A; JP2011109397A; CN102273211A; US20110268194A1; KR20120092497A; ZA201105049B; TW201143444A; EP2362664A1; US20120019629A1; KR20120092495A; AU2010320118A1; EP2381690A1; WO2011062195A1; BRPI1006063A2; NZ593699A

Abstract

　本発明に係る画像送信装置は、通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を符号化する動画像圧縮部（１０２）と、通常視聴用画像の領域を示す領域情報を符号化する通常視聴用動画像領域符号部（１０４）と、付加情報動画像が存在することを示す存在情報を符号化する付加情報動画像存在情報符号化部（１０６）と、符号化された統合画像、領域情報及び存在情報を送信する送信部と、を備える。

Description

画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム

　本発明は、画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システムに関する。

　従来、例えば下記の特許文献に記載されているように、視差を有する左目用画像及び右目用画像を所定周期で交互にディスプレイに供給し、この画像を所定周期に同期して駆動される液晶シャッターを備える眼鏡で観察する方法が知られている。

　また、現行のデジタル放送では、電子番組表やデータ放送などのサービスが運用されており、ユーザ希望に応じて通常の映像と音声の番組以外のサービスを受けられるようになってきている。

特開平９－１３８３８４号公報特開２０００－３６９６９号公報特開２００３－４５３４３号公報

　こうした状況において、通常番組においても、映像と音声に新たな付加価値をつけることで更なるサービスの充実を図ることが要望されている。映像として付加価値をつけるためには、通常の映像（以降、通常視聴用動画像と呼ぶ）とは別に付加価値を持つような映像（以降、付加情報動画像と呼ぶ）を送信し、受信側では、通常視聴用動画像と付加情報動画像を用いた、高付加価値をもつ動画像提示を行うことが考えられる。

　通常視聴を目的として制作された通常視聴用動画像とともに、コンテンツの付加価値向上のために付加情報動画像を送信するためには、通常視聴用動画像と付加情報動画像とを別々に符号化して伝送し、それぞれを別々に復号化して、動画像提示を行う方法もあるが、この場合には、受信装置側で２つのデコードを行わなければならず、２つのデコーダを搭載するとなると受信装置自体の価格が上がってしまう。

　一方、通常視聴用動画像と付加情報動画像を単一画面内に収めれば、通常視聴用動画像と付加情報動画像は一緒に符号化されるため、単一のエンコーダで符号化が可能であるとともに、単一のデコーダにて通常視聴用動画像と付加情報動画像を復号化することが可能となる。しかし、受信装置の出力としては、通常視聴用動画像と付加情報動画像が常に表示されるため、送信側が本来意図する通常視聴用動画像とは異なる表示となってしまう。

　例えば、通常の映像に対して高付加価値をもつ映像として、二眼立体視動画像を伝送する場合を考える。この場合、片眼画像を通常視聴用動画像として考え、付加情報動画像としてもう一方の片眼動画像を送信すると考えればよい。

　この結果、二眼立体視が不可能な従来型の受信装置では、図２８、図２９のように通常視聴用動画像と付加情報動画像が同一画面上に縦方向あるいは横方向に縮められた上で同時に並んで表示される。二眼立体視における左右の動画像では内容的な差分は少ないので、二眼立体視が不可能な受信装置では、図２８、図２９よりも図３０のように片眼動画像（通常視聴用動画像）のみを正しい縦横比で視聴できる方が望ましい。

　　そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画像伝送において、現行の送信・受信装置の変更を最小限に抑えて通常視聴用の動画像とともに付加情報動画像を伝送することが可能な、新規かつ改良された画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システムを提供することにある。

　上記課題を解決するために、本発明のある観点によれば、通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を圧縮するステップと、通常視聴用画像の領域を示す領域情報を符号化するステップと、付加情報動画像が存在することを示す存在情報を符号化するステップと、前記統合画像、前記領域情報及び前記存在情報を送信するステップと、を備える、画像送信方法が提供される。

　また、前記存在情報は、付加情報動画像の種類を指定する情報を含むものであってもよい。

　また、前記付加情報動画像の種類として、複数眼立体視用に使用する動画像であるか否かを指定する情報を含むものであってもよい。

　また、前記存在情報は、前記付加情報動画像の領域を示す領域情報、又は前記付加情報動画像のアスペクト・レシオを含むものであってもよい。

　また、前記存在情報は、前記付加情報動画像使用時における前記通常視聴用動画像の画像領域を指定する情報を含むものであってもよい。

　また、上記課題を解決するために、本発明の別の観点によれば、送信側から送られた、通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を伸長するステップと、前記統合画像とともに送信側から送られた前記通常視聴用動画像の領域を示す領域情報を復号化するステップと、前記統合画像とともに送信側から送られた前記付加情報動画像が存在することを示す存在情報を復号化するステップと、前記領域情報に基づいて前記通常視聴用動画像の領域を指定して表示するステップと、前記存在情報に基づいて前記付加情報動画像の存在を認識して前記付加情報動画像を表示するステップと、を備える、画像受信方法が提供される。

　また、上記課題を解決するために、本発明の別の観点によれば、通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を圧縮する圧縮部と、通常視聴用画像の領域を示す領域情報を符号化する領域情報符号化部と、付加情報動画像が存在することを示す存在情報を符号化する存在情報符号化部と、符号化された統合画像、領域情報及び存在情報を送信する送信部と、を備える、画像送信装置が提供される。

　また、上記課題を解決するために、本発明の別の観点によれば、送信側から送られた、通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を伸長する伸長部と、前記統合画像とともに送信側から送られた前記通常視聴用動画像の領域を示す領域情報を復号化する領域情報復号化部と、前記統合画像とともに送信側から送られた前記付加情報動画像が存在することを示す存在情報を復号化する存在情報復号化部と、前記領域情報に基づいて前記通常視聴用動画像の領域を指定して出力するとともに、前記存在情報に基づいて前記付加情報動画像の存在を認識して前記付加情報動画像を出力する画像出力部と、を備える、画像受信装置が提供される。

　また、上記課題を解決するために、本発明の別の観点によれば、通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を圧縮する圧縮部と、通常視聴用画像の領域を示す領域情報を符号化する領域情報符号化部と、付加情報動画像が存在することを示す存在情報を符号化する存在情報符号化部と、符号化された統合画像、領域情報及び存在情報を送信する送信部と、を有する画像送信装置と、送信側から送られた、通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を伸長する伸長部と、前記統合画像とともに送信側から送られた前記通常視聴用動画像の領域を示す領域情報を復号化する領域情報復号化部と、前記統合画像とともに送信側から送られた前記付加情報動画像が存在することを示す存在情報を復号化する存在情報復号化部と、前記領域情報に基づいて前記通常視聴用動画像の領域を指定して出力するとともに、前記存在情報に基づいて前記付加情報動画像の存在を認識して前記付加情報動画像を出力する画像出力部と、を有する、画像受信装置と、を備える画像伝送システムが提供される。

　本発明によれば、動画像伝送において、現行の送信・受信装置の変更を最小限に抑えて通常視聴用の動画像とともに付加情報動画像を伝送することが可能となる。

通常視聴用動画像と付加情報動画像とが１画面に表示された状態を示す模式図である。図１の配置情報を表にした状態を示す模式図である。ｃｒｏｐパラメータと切り出される領域の矩形領域に係るパラメータを示す模式図である。Ｄｏｌｂｙ社のＡＣ－３オーディオのストリーム情報を示す模式図である。ＰＭＴのストリーム情報に付加情報動画像ｄｅｓｃｒｉｐｔｏｒを追加した場合を示す模式図である。付加情報動画像ｄｅｓｃｒｉｐｔｏｒの内容例を示す図である。付加情報動画像ＳＥＩの階層を示す図である。付加情報動画像存在情報を、新規のｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎとして伝送する場合を示す図である。付加情報動画像の切り出し位置を通常視聴用動画像の直後に配置した場合を示す模式図である。付加情報動画像の切り出し位置を通常視聴用動画像の直後に配置した場合の取り決め内容を示す模式図である。左眼動画像に対して間隔をあけて右眼動画像を配置した場合を示す模式図である。図１１の場合の取り決め内容を示す模式図である。横方向に複数眼立体視の動画像を並べることを取り決めた場合の統合画像の配置状況を示す模式図である。横方向に入るだけ並べた後、さらに動画像がある場合には縦方向に並べて配置する取り決めで並べた場合の統合画像の配置状況を示す模式図である。上段にメインの立体視動画像を配置し、下段には補足用の立体視動画像を配置した統合動画像例を示す模式図である。Ｈ．２６４に付加情報動画像ＳＥＩを新規追加する場合の内容を示す模式図である。付加情報動画像の種類ごとにＳＥＩを新設した場合に、ｓｅｉ＿ｍｅｓｓａｇｅ内の情報での必須項目はなくなった状態を示す模式図である。ＰＭＴに付加情報動画像ｄｅｓｃｒｉｐｔｏｒを新規追加する場合の内容を示す模式図である。付加情報動画像の種類ごとにｄｅｓｃｒｉｐｔｏｒを用意した場合に、ｄｅｓｃｒｉｐｔｏｒ内の情報を示す模式図である。ＭＰＥＧ２－ＴＳのｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎに付加情報動画像存在情報を伝送するものを追加した場合のｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅの内容を示す模式図である。Ｈ．２６４に付加情報動画像ＳＥＩを新規追加する場合の内容を示す模式図である。本実施形態に係る送信装置を示すブロック図である。既存の送信装置を示す模式図である。本実施形態に係る受信装置を示す模式図である。既存の受信装置を示す模式図である。ＰＭＴのｄｅｓｃｒｉｐｔｏｒに付加情報動画像ｄｅｓｃｒｉｐｔｏｒを新規追加する場合の内容を示す図である。ＭＰＥＧ２－ＴＳのｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎに付加情報動画像存在情報を伝送するものを追加した場合のｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅの内容を示す図である。通常視聴用動画像と付加情報動画像が同一画面上に縦方向あるいは横方向に縮められた上で同時に並んで表示された状態を示す模式図である。通常視聴用動画像と付加情報動画像が同一画面上に縦方向あるいは横方向に縮められた上で同時に並んで表示された状態を示す模式図である。片眼動画像（通常視聴用動画像）のみを正しい縦横比で表示した状態を示す模式図である。通常視聴用動画像を左眼動画像1440x1080、付加情報動画像を右眼動画像480x1080として統合画像内に配置した場合を示す模式図である。通常視聴用動画像を中央動画像1920x810、付加情報動画像を960x270の２画像（左動画像、右動画像）として配置した場合を示す模式図である。Ｈ．２６４をエンコーダとして用い、付加情報動画像ＳＥＩを用いる場合の送信装置の処理フローチャートを示す模式図である。Ｈ．２６４をエンコーダとして用い、付加情報動画像ｄｅｓｃｒｉｐｔｏｒを用いる場合の送信装置の処理フローチャートを示す模式図である。Ｈ．２６４をエンコーダとして用い、付加情報動画像ｓｅｃｔｉｏｎを用いる場合の送信装置のフローチャートを示す模式図である。Ｈ．２６４に追加する付加情報動画像ＳＥＩを用いた場合の受信装置のフローチャートである。ＰＭＴのｄｅｓｃｒｉｐｔｏｒに追加する付加情報動画像ｄｅｓｃｒｉｐｔｏｒを用いた場合の受信装置のフローチャートである。ＭＰＥＧ２－ＴＳに追加する付加情報動画像ｓｅｃｔｉｏｎを用いた場合の受信装置のフローチャートである。Ｈ．２６４に追加する付加情報動画像ＳＥＩを用いた場合の受信装置のフローチャートである。ＰＭＴのｄｅｓｃｒｉｐｔｏｒに追加する付加情報動画像ｄｅｓｃｒｉｐｔｏｒを用いた場合の受信装置のフローチャートである。ＭＰＥＧ２－ＴＳに追加する付加情報動画像ｓｅｃｔｉｏｎを用いた場合の受信装置のフローチャートである。Ｈ．２６４に追加する付加情報動画像ＳＥＩを用いた場合の受信装置のフローチャートである。ＰＭＴのｄｅｓｃｒｉｐｔｏｒに追加する付加情報動画像ｄｅｓｃｒｉｐｔｏｒを用いた場合の受信装置のフローチャートである。ＭＰＥＧ２－ＴＳに追加する付加情報動画像ｓｅｃｔｉｏｎを用いた場合の受信装置のフローチャートである。

　以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態（複数の任意の画像を伝送する例）
　２．第２の実施形態（立体視画像への適用）

　［１．第１の実施形態］
　先ず、本実施形態に係るシステムの概念について、図面に基づいて説明する。ここではゴルフ中継のコンテンツを例に、付加情報動画像として二眼立体視には使用しない動画像を伝送する場合について説明する。尚、ゴルフ中継のコンテンツは単なる例示であり、本発明の適用範囲はゴルフ中継に限られるものではない。

　図１は、通常視聴用動画像と付加情報動画像とが１画面に表示された状態を示しており、図中の数字は画素数を示している。ここでは、一例として、グリーン周りでの状況に対して、本実施形態の手法を用いた場合について説明する。通常視聴用動画像は、通常のゴルフ中継で行われる動画像であり、現行の番組内容（本編）に対応する動画像である。一方、付加情報動画像は通常視聴用動画像とは別個の動画像であり、通常視聴用動画像とは異なる観点で作成された動画像を提供することで、番組内容の充実を図るものである。

　例えば、図１に示すように、通常視聴用動画像でグリーン上の映像が映っていたとすれば、付加情報動画像にはそのグリーンの傾斜や芝目などがわかるような動画像や既にホールアウトした別プレーヤーがモニタに見入る表情の動画像などを用い、ユーザが映像の場面を多角的に捉えることができるようにする。また、通常視聴用動画像が、プレーヤーがフェアウェイを歩く映像であれば、付加情報動画像としては直前のドライバーショットの再現画像や、ギャラリーを映した動画像を用いるといった構成が考えられる。

＜統合動画像＞
　本実施形態では、現行の動画像圧縮伸長手段からの変更を少なくするために、通常視聴用動画像と付加情報動画像を１フレーム（またはフィールド）上に配置して、１つの動画像（以後、統合動画像と記述する）として圧縮伸長処理を行う。

　図１には、グリーン上に乗ったボールを映す通常視聴用の動画像と、ホール全体を上方から映した動画像、及びグリーン傾斜を解説するための動画像が１フレーム上に配置された場合の統合動画像の１フレームを示す。尚、フレームをフィールドとしても本実施形態の有効性は変わらない。

　図２には、図１の配置情報を表にしたものを示す。図２は、統合動画像の大きさを１９２０ｘ１０８０ピクセルとして、統合画像の左上の座標を（０，０）とした場合の、それぞれの動画像の配置情報である。通常視聴用動画像は、左上から貼り付けられているので、左上端点は（０，０）である。また、通常視聴用動画像自体は幅方向（水平方向）に半分に縮小した画像であり、幅×高さは９６０ｘ１０８０ピクセルである。縮小したことにより、サンプル・アスペクト・レシオは２：１となる。一方、付加情報動画像は７２０ｘ４８０ピクセルの画像サイズであり、１６：９の画面を想定して作成された動画像をともに想定しているので、サンプル・アスペクト・レシオは４０：３３となる。ここで、２つの付加情報動画像の領域・アスペクトレシオは特に一致する必要はなく、付加情報動画像は２つに限定されるものでもない。

＜現行放送＞
　現行のデジタル放送システムで上記の統合動画像を伝送する場合を説明する。現行のデジタル放送システムでは、ＭＰＥＧ２－ＴＳ（ｔｒａｎｓｐｏｒｔ　ｓｔｒｅａｍ）と呼ばれるパケット多重化方式により、動画像も音声も符号化されて伝送される。動画像のコーデックとしてはＭＰＥＧ２
ＶＩＤＥＯ、Ｈ．２６４（ＡＶＣ）が主流を占めており、動画像はこれらのコーデックによって圧縮されて伝送される。

＜送信装置の構成＞
　図２２は、本実施形態に係る送信装置１００を示すブロック図である。図２２に示すように、送信装置１００は、動画像圧縮部１０２、通常視聴用動画像領域符号化部１０４、付加情報動画像存在情報符号化部１０６を備える。図２２の送信装置１００への入力は、通常視聴用動画像と付加情報動画像を統合した統合動画像、通常視聴用動画像の統合動画像内での領域とアスペクト・レシオ、付加情報動画像の種類と（送信受信間であらかじめ取り決めがない場合の）領域、付加情報動画像使用時の通常視聴用動画像の統合動画像内での領域（送信受信間であらかじめ取り決めがない場合）であり、出力はこれらが符号化されたストリームである。なお、図２３は、既存の送信装置を示しており、既存の送信装置は、符号化情報動画像存在情報符号化部１０６を備えていない点で図２２の送信装置１００と相違する。図２２及び図２３に示す構成は、回路などのハードウェア、又は中央仙山処理装置（ＣＰＵ）とこれを機能させるためのプログラム（ソフトウェア）によって構成することができる。後述する受信装置についても同様である。

＜統合動画像の圧縮と通常視聴用動画像の領域符号化＞
　本実施形態では、図１のように配置された統合動画像を動画像圧縮部１０２にて既存のコーデックにて動画圧縮する。さらに、図２の配置情報のうち、通常視聴用動画像のサンプル・アスペクト・レシオならび領域を示す情報（左上端点、幅高さ）は、通常視聴用動画像領域符号化部１０４にて既存のコーデックの符号化方法を用いて符号化する。

　まず、通常視聴用動画像のサンプル・アスペクト・レシオについては、たとえば、動画像のコーデックがＨ．２６４であれば、ＳＰＳ内のＶＵＩ（Ｖｉｄｅｏ　ｕｓａｂｉｌｉｔｙ　ｉｎｆｏｒｍａｔｉｏｎ）内にある、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ，ｓａｒ＿ｗｉｄｔｈ，ｓａｒ＿ｈｅｉｇｈｔを用いて指定する。

　図２では、複数のサンプル・アスペクト・レシオが存在するが、通常視聴用動画像が正しい縦横比で表示されるように、通常視聴用動画像のサンプル・アスペクト・レシオを使用する。図２の場合、通常視聴用動画像のサンプル・アスペクト・レシオは２：１であるので、上述のｓａｒ＿ｗｉｄｔｈ，ｓａｒ＿ｈｅｉｇｈｔの設定は不要で、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ＝１６を指定すればよい。

　また、通常視聴用動画像の領域の情報は、統合動画像における通常視聴用動画像の切り出し領域として符号化する。例えば、動画像のコーデックがＨ．２６４であれば、ＳＰＳ（シーケンス・パラメータ・セット）内にある、ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ，ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ，ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ，ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔを用いて、統合動画像内から通常視聴用動画像を切り出すｃｒｏｐパラメータとして設定する。

　ｃｒｏｐパラメータと切り出される領域の矩形領域は次の関係を持っている。図３に示すＳｕｂＷｉｄｔｈＣ、ＳｕｂＨｅｉｇｈｔＣを用いて、
左上端点の座標（ｘｓ，ｙｓ）は、
　ｘｓ＝ＳｕｂＷｉｄｔｈＣ　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ
　ｙｓ＝ＳｕｂＨｅｉｇｈｔＣ　＊　（２－ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇ）　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ
で示される。

　右下端点の座標（ｘｅ，ｙｅ）は、
　ｘｅ＝ＰｉｃＷｉｄｔｈＩｎＳａｍｌｅｓ
　　　－　（ＳｕｂＷｉｄｔｈＣ　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ　＋　１）
　ｙｅ＝１６　＊　ＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ
　　　－　（ＳｕｂＨｅｉｇｈｔＣ　＊　（２－ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇ）　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ　＋　１）
で示される。

　ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ、ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇは、ともにＨ．２６４のＳＰＳ内にあるパラメータである。

　現行放送では、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは１なので、ＳｕｂＷｉｄｔｈＣ＝２、ＳｕｂＨｅｉｇｈｔＣ＝２である。ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇは、動画像圧縮をフレーム単位で行うか、フィールド単位で行うかを示すフラグである。

　図１は、フレーム内での配置を図示したものなので、フレーム単位で圧縮するものとして、ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇ＝１として説明を続ける。フィールド単位で圧縮する場合は、ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇ＝０として計算すれば良く、本実施形態はフィールド単位で圧縮する場合でも有効である。

　以上から、ｘｓ，ｘｅ，ｙｓ，ｙｅは、
　ｘｓ＝２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ
　ｙｓ＝２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ
　ｘｅ＝ＰｉｃＷｉｄｔｈＩｎＳａｍｌｅｓ
　　　－　（２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ　＋　１）
　ｙｅ＝１６　＊　ＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ
　　　－　（２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ　＋　１）
となる。これによって、切り出される画像の幅ｗ、高さｈは、
　ｗ＝ＰｉｃＷｉｄｔｈＩｎＳａｍｌｅｓ　－　２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ　　－　２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ
　ｈ＝１６　＊　ＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ　　－　２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ　　－　２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ
となる。

　図１の通常視聴用動画像を切り出すパラメータは、統合動画像の幅より、ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓ＝１９２０、統合動画像の高さは１０８０であり、１６の倍数ではないため、１６　＊　ＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ＝１０８８となる。

　さらに、通常視聴用動画像のｘｓ＝０、ｙｓ＝０、ｗ＝９６０、ｈ＝１０８０より、
　　ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ＝０
　　ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ＝０
　　ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ＝４８０
　　ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ＝８
として設定すればよい。

　以上のようにして、通常視聴用動画像のサンプル・アスペクト・レシオならび配置情報を指定して、Ｈ．２６４における符号化処理を行えば、符号化されたストリームをそのまま復号すると、通常視聴用動画像が統合動画像から切り出されて、正しい縦横比で表示される。

　上記はＨ．２６４における、通常視聴用動画像のサンプル・アスペクト・レシオならび配置情報の符号化であるが、ＭＰＥＧ２　ＶＩＤＥＯにおいても同様に符号化可能である。サンプル・アスペクト・レシオに関しては、シーケンスヘッダ内に、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏｒｍａｔｉｏｎがあり、サンプル・アスペクト・レシオもしくはディスプレイ・アスペクト・レシオによって、パラメータ設定が可能となっている。

　サンプル・アスペクト・レシオは、伸長直後の画素の縦横比を示しており、ディスプレイ・アスペクト・レシオは、表示での縦横比を示す。

　図２の通常視聴用動画像のサンプル・アスペクト・レシオは２：１であり、画素の幅が高さの２倍であることを示す。したがって、正しく表示するためには、９６０ｘ１０８０の画像を横方向に２倍に引き延ばして１９２０ｘ１０８０で表示する。ディスプレイ・アスペクト・レシオは表示の１９２０ｘ１０８０の縦横比であるので、１９２０：１０８０＝１６：９となる。この１６：９は、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏｒｍａｔｉｏｎ＝３とすることで指定することができる。

　一方の領域切り出しに関しては、シーケンス・ディスプレイ・エクステンションヘッダ内の、ｄｉｓｐｌａｙ＿ｖｅｒｔｉｃａｌ＿ｓｉｚｅ，　ｄｉｓｐｌａｙ＿ｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅにて切り出す幅高さを指定可能である。ピクチャ・ディスプレイ・エクステンションヘッダ内の、ｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ，　ｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔによって切り出し部分の中心と元の画像の中心のオフセットを指定可能である。これらのパラメータにて、通常視聴用動画像のサンプル・アスペクト・レシオならび配置情報を符号化可能である。ただし、ＩＴＵ－Ｔ．Ｒｅｃ．Ｈ．２６２の記述で、これらのパラメータがパンスキャンと並んで記述されており、放送規格によっては自由にパラメータ設定できない場合もある。Ｈ．２６４については、ｃｒｏｐのパラメータはパンスキャンとは別個に設定可能であり、パンスキャンに絡んだパラメータ制限はない。

　他のコーデックであっても、動画像の伸長後に切り出しを行うパラメータを持っていれば、それを本発明の通常視聴用動画像のサンプル・アスペクト・レシオならび配置情報の指定として用いることができる。

　次に、図２２に示す送信装置１００の付加情報動画像存在情報符号化部１０６で符号化する、付加情報動画像存在情報について説明する。

＜付加情報動画像存在情報＞
　図１の例では、通常視聴用動画像のほかに、付加情報動画像１，２の２つの付加情報動画像を伝送している。これらの付加情報動画像は、番組上の補足動画像として有効な動画像であるが、常に表示されるというよりは、ユーザの好みに応じて表示される動画像と考えてよい。

　図１の例では、メイン画面のグリーンに対して、同じ視点からその起伏を示した動画像と、ホール全体を上空から見渡した動画像を補足動画像として統合動画像に配置して伝送している。

　付加情報動画像存在情報は、「これらの補足動画像が存在するかどうか」、「存在するならば、幅高さ・位置、サンプル・アスペクト・レシオは何か」、「更に、これらの補足動画像を使用する際には、通常視聴用動画像の切り出し領域をどのようにするか」を示す情報である。

　図１及び図２の例では、付加情報動画像の幅、高さ、サンプル・アスペクト・レシオは、通常視聴用動画像のものとは異なっている。

　ここでは、付加情報動画像の幅高さ、サンプル・アスペクト・レシオ、付加情報動画像使用時の通常視聴用動画像の切り出し領域が、あらかじめ送信者と受信者との間で取り決められていなかった場合を想定する。

＜Ｈ．２６４規格のＳＥＩとして付加情報動画像存在情報を伝送する場合＞
　Ｈ．２６４規格には、Ｓｕｐｐｌｅｍｅｎｔａｌ　ｅｎｈａｎｃｅｍｅｎｔ　ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）という、補助情報の記述方法がある。ＳＥＩではデコードの際の入出力バッファ内のデータの保持時間やランダムアクセス時にデコードを行うポイントの提示などの情報を記述する。

　本実施形態では、新規に付加情報動画像ＳＥＩを追加することで、本実施形態の付加情報動画像存在情報を伝送可能にする例を説明する。

　図７は、付加情報動画像ＳＥＩの階層を示しており、ＳＥＩのｓｅｉ＿ｍｅｓｓａｇｅとして、付加情報動画像使用時の通常視聴用動画像の切り出し開始位置、幅、高さと、付加情報動画像の種類、付加情報動画像数、各々の付加情報動画像の切り出し開始位置、幅高さ、サンプル・アスペクト・レシオを指定している。

　本実施形態において新規に追加されたＳＥＩは、文法的にはＨ．２６４の文法規則に則って作成される。このため、既存の受信装置では解読できないものの、読み飛ばすことで次の処理を実行できる。図３３は、Ｈ．２６４をエンコーダとして用い、付加情報動画像ＳＥＩを用いる場合の送信装置１００の処理フローチャートを示す。まず、統合動画像上の通常視聴用動画像の位置と幅、高さから、算出したＨ．２６４のｃｒｏｐ　ｐａｒａｍｅｔｅｒと、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ（必要であればｓａｒ＿ｗｉｄｔｈ，ｓａｒ＿ｈｅｉｇｈｔも用いる）をエンコーダに設定する（ステップＳ１００）。

　次に、付加情報動画像使用時の通常視聴用動画像の切り出し開始位置、幅、高さ、付加情報動画像の種類、サンプル・アスペクト・レシオ、左上端点、幅高さから求めた付加情報動画像の切り出し開始位置、幅高さを付加情報動画像ＳＥＩとしてエンコーダに設定する（ステップＳ１０２）。更に統合動画像を統合動画像の画像サイズなどのエンコーダ設定を行った上で統合動画像をエンコードする（ステップＳ１０４）。デジタル放送システムで伝送する場合には、ＭＰＥＧ２－ＴＳにて多重化を行うことで、伝送用のストリームを得ることができる（ステップＳ１０６）。

　尚、図７の指定では、通常視聴用動画像および付加情報動画像の配置を、切り出し開始位置ならびに幅、高さによって指定しているが、配置をＨ．２６４のｃｒｏｐ領域の指定方法など、別の方法を用いて配置を指定してもかまわない。

　ＳＥＩはＨ．２６４規格での伝送記述であり、たとえば、ＭＰＥＧ２　ｖｉｄｅｏであればＵＳＥＲ＿ＤＡＴＡを用いるなど、動画像圧縮伸長処理に対する補助情報を送る手段をもつコーデックであれば、新たに補助情報を伝送する記述を追加することで対応できる。

　既存の受信装置（既に市場で販売中あるいは販売済の装置）では、この新規に追加された付加情報動画像ＳＥＩは解読できないものの、読み飛ばすことで処理を続行可能である。ここでは、既存の受信装置で付加情報動画像ＳＥＩが読み飛ばされて受信処理が行われた場合を想定する。

　図２５は既存の受信装置４００を示す模式図である。本実施形態における、通常視聴用動画像と付加情報動画像を合わせた統合動画像の符号化、ならびに通常視聴用動画像の領域の符号化は既存の送信装置と同じ処理を行っている。このため、図２５に示すように、既存の受信装置４００でも統合動画像は復号化され、既に説明したｃｒｏｐ情報によって通常視聴用動画像が期待通りに切り出されて動画像出力部２０６に表示されることになる。

　一方、図２４は、本実施形態に係る受信装置２００を示す模式図である。本実施形態に係る受信装置２００は、動画像圧縮部２０２、通常視聴用動画像領域符号化部２０４、付加情報動画像存在情報符号化部２０８、動画像出力部（表示パネル）２０６を備える。本実施形態に係る受信装置２００では、付加情報動画像存在情報符号化部２０６により、付加情報動画像ＳＥＩを解読することが可能である。このため、受信装置２００は、通常視聴用動画像の領域外に付加情報動画像が存在すること認識するとともに、付加情報動画像使用時の通常視聴用動画像の切り出し開始位置、幅高さ、付加情報動画像数やそれぞれの付加情報動画像の切り出し開始位置、幅高さ、ｓａｍｐｌｅ　ａｓｐｅｃｔ　ｒａｔｉｏを得ることができる。

＜ＰＭＴのｄｅｓｃｒｉｐｔｏｒとして付加情報動画像存在情報を伝送する場合＞
　ＭＰＥＧ２－ＴＳでは、伝送する番組プログラムの、ストリーム情報を記述するＰＳＩ（Ｐｒｏｇｒａｍ　Ｓｙｓｔｅｍ　Ｉｎｆｏｒｍａｔｉｏｎ）として、ＰＭＴ（Ｐｒｏｇｒａｍ　ｍａｐ　ｔａｂｌｅ）がある。

　ＰＭＴのストリーム情報には、オーディオやビデオなどのパケットを選択するためのＰＩＤ（Ｐａｃｋｅｔ　ＩＤ）、ｓｔｒｅａｍ＿ｔｙｐｅやｄｅｓｃｒｉｐｔｏｒなどが含まれ、ビデオのコーデックやオーディオのコーデックが何を用いて符号化されているかを知ることができる。

　図４は、Ｄｏｌｂｙ社のＡＣ－３オーディオのストリーム情報について示す。ＡＣ－３に対してのｓｔｒｅａｍ＿ｔｙｐｅはＩＴＵ－Ｔ　ＲＥＣ．Ｈ．２２２．０では規定されておらず、欧州ではＰＥＳ　ｐｒｉｖａｔｅ　ｄａｔａのｓｔｒｅａｍ＿ｔｙｐｅが用いられており、米州ではＵｓｅｒ　ｐｒｉｖａｔｅのｓｔｒｅａｍ＿ｔｙｐｅが用いられている。

　したがって、図４のｓｔｒｅａｍ＿ｔｙｐｅのみでは、ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤで指定されるＰＩＤのパケットがオーディオストリームであるかどうかも特定できない。このため、ＡＣ－３ではＰＭＴのｄｅｓｃｒｉｐｔｏｒとして、ＡＣ－３　ｄｅｓｃｒｉｐｔｏｒを用意しており、このｄｅｓｃｒｉｐｔｏｒの検出によりＡＣ－３のストリームであることを判別できるようになっている。このように、ＰＭＴでは番組プログラムのコーデックに関する情報をｄｅｓｃｒｉｐｔｏｒを通して設定する使用方法がある。

　この使用方法に基づき、本実施形態においてもＰＭＴにｄｅｓｃｒｉｐｔｏｒを追加して付加情報動画像存在情報を伝送する例を説明する。図５は、ＰＭＴのストリーム情報に付加情報動画像ｄｅｓｃｒｉｐｔｏｒを追加した場合を示す。この付加情報動画像ｄｅｓｃｒｉｐｔｏｒは、ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤで指定されたＰＩＤをもつパケットでは、統合動画像が動画像圧縮されており、付加情報動画像が存在することを通知するともに、付加情報動画像を使用するためのパラメータを通知する。

　統合動画像の圧縮がＨ．２６４にて行われていれば、ｓｔｒｅａｍ＿ｔｙｐｅを０ｘ１Ｂとして設定し、ＭＰＥＧ２にて行われていれば、ｓｔｒｅａｍ＿ｔｙｐｅは０ｘ２と設定する。付加情報動画像ｄｅｓｃｒｉｐｔｏｒ自体はコーデックには非依存であるので、ＭＰＥＧ２でもＨ．２６４でも同じものを使用可能である。もちろん、既存の受信装置４００では付加情報動画像ｄｅｓｃｒｉｐｔｏｒを解釈することはできず、通常は無視して動作することになる。

　しかし、既存の受信装置４００においても、統合動画像ならびに通常視聴用動画像の領域設定やサンプル・アスペクト・レシオが本実施形態に即して設定されていれば、統合動画像の復号は可能であり、そこから通常視聴用動画像が切り出されるため、通常視聴用動画像を正しく表示することができる。

　一方、本実施形態に即した受信装置２００では、付加情報動画像存在情報復号化部２０８により付加情報動画像ｄｅｓｃｒｉｐｔｏｒを復号して解釈することが可能である。このため、通常視聴用動画像の領域外に付加情報動画像が存在することを認識することができる。

　本実施形態では、付加情報動画像使用時の通常視聴用動画像の切り出し領域および、付加情報動画像の幅高さ、サンプル・アスペクト・レシオについては、あらかじめ、送信者と受信者との間で取り決められていなかった場合を想定しているので、この付加情報動画像ｄｅｓｃｒｉｐｔｏｒにこれらのパラメータを格納して伝送する。

　図６に付加情報動画像ｄｅｓｃｒｉｐｔｏｒの内容例を示す。また、図３４は、Ｈ．２６４をエンコーダとして用い、付加情報動画像ｄｅｓｃｒｉｐｔｏｒを用いる場合の送信装置の処理フローチャートを示す。先ず、統合動画像上の通常視聴用動画像の位置と幅高さから、算出したＨ．２６４のｃｒｏｐ　ｐａｒａｍｅｔｅｒと、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ（必要であればｓａｒ＿ｗｉｄｔｈ，ｓａｒ＿ｈｅｉｇｈｔも用いる）をエンコーダに設定する（ステップＳ２００）。次に、付加情報動画像使用時の通常視聴用動画像の切り出し開始位置、幅高さ、付加情報動画像の種類、サンプル・アスペクト・レシオ、左上端点、幅高さから求めた付加情報動画像の切り出し開始位置、幅、高さを図６の付加情報動画像ｄｅｓｃｒｉｐｔｏｒとして用意する（ステップＳ２０２）。更に統合動画像を統合動画像の画像サイズなどのエンコーダ設定を行った上で統合動画像をエンコードする（ステップＳ２０４）。デジタル放送システムでの伝送に必要なＭＰＥＧ２－ＴＳ多重化の際に、用意した付加情報動画像ｄｅｓｃｒｉｐｔｏｒをＰＭＴに設定することで、伝送用のストリームを得ることができる（ステップＳ２０６）。

　図２の例では、通常視聴用動画像のほかに存在する２個の付加情報動画像はともに非立体視用付加情報動画像であるので、付加情報動画像種類は非立体視用とし、付加情報動画像使用時の通常視聴用動画像の切り出し開始位置、幅、高さの後に、付加情報動画像の種類、付加情報動画像数、各々の付加情報動画像の切り出し開始位置、幅高さ、サンプル・アスペクト・レシオを順に指定する。

　ここで、通常視聴用動画像、付加情報動画像の領域指定に、開始位置と幅高さを用いているが、目的は統合動画像内での配置の指定であるため、Ｈ．２６４のｃｒｏｐ指定方法と同様な指定にしてもよいし、別の方法による規定であってもかまわない。

　図６の付加情報動画像ｄｅｓｃｒｉｐｔｏｒの形式以外にも、非立体視用付加情報動画像ｄｅｓｃｒｉｐｔｏｒとして付加情報動画像の種類ごとにｄｅｓｃｒｉｐｔｏｒを用意して、ｄｅｓｃｒｉｐｔｏｒ内の付加情報動画像種類のフィールドを省略することも可能である。また、付加情報動画像１、付加情報動画像２それぞれにｄｅｓｃｒｉｐｔｏｒを用意し、ＰＭＴのストリーム情報に複数の付加情報動画像ｄｅｓｃｒｉｐｔｏｒを記述する形式として、付加情報動画像数のフィールドを省略することも可能である。

　ＭＰＥＧ２－ＰＳに関しても本発明は有効であり、Ｐｒｏｇｒａｍ　ｓｔｒｅａｍ　ｍａｐ（ＰＳＭ）内に、付加情報動画像存在情報を格納するｄｅｓｃｒｉｐｔｏｒを新規に追加することにより、ＭＰＥＧ２－ＴＳのＰＭＴに付加情報動画像ｄｅｓｃｒｉｐｔｏｒを新規追加した場合と同様、有効に作用する。

　また、ＭＰＥＧ２以外のコンテナであっても、各々ビデオデータに対する補助情報を記述することが可能で、補助情報を追加可能な形式であれば上記のｄｅｓｃｒｉｐｔｏｒ追加と同様に適用することが可能である。

＜ｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎとして付加情報動画像存在情報を伝送する場合＞
　ＭＰＥＧ２－ＴＳでは、ＰＭＴの階層と同じ階層に、ｓｅｃｔｉｏｎデータを伝送することができる。このｓｅｃｔｉｏｎに新規追加する場合を想定して、ｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎが考えられており、本実施形態の付加情報動画像存在情報を、新規のｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎとして伝送することも考えられる。図８は、付加情報動画像存在情報を、新規のｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎとして伝送する場合を示している。

　この新規ｓｅｃｔｉｏｎは、既存の受信装置４００では解読できないため、ＰＭＴのｄｅｓｃｒｉｐｔｏｒと同様に、既存の受信装置４００では読み飛ばされる。

　図８では、図２の統合動画像のパケットを判別するためのＰＩＤ，付加情報動画像使用時の通常視聴用動画像の切り出し開始位置、幅高さの後に、付加情報動画像の種類、付加情報動画像の切り出し開始位置、幅高さ、サンプル・アスペクト・レシオを順に指定した場合を示している。

　図３５にＨ．２６４をエンコーダとして用い、付加情報動画像ｓｅｃｔｉｏｎを用いる場合の送信装置のフローチャートを示す。先ず、統合動画像上の通常視聴用動画像の位置と幅高さから、算出したＨ．２６４のｃｒｏｐ　ｐａｒａｍｅｔｅｒと、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ（必要であればｓａｒ＿ｗｉｄｔｈ，ｓａｒ＿ｈｅｉｇｈｔも用いる）をエンコーダに設定する（ステップＳ３００）。次に、パケット判別のためのＰＩＤ，付加情報動画像使用時の通常視聴用動画像の切り出し開始位置、幅高さ、付加情報動画像の種類、サンプル・アスペクト・レシオ、左上端点、幅高さから求めた付加情報動画像の切り出し開始位置、幅高さを図６の付加情報動画像ｓｅｃｔｉｏｎとして用意する（ステップＳ３０２）。更に統合動画像を統合動画像の画像サイズなどのエンコーダ設定を行った上で統合動画像をエンコードする（ステップＳ３０４）。デジタル放送システムでの伝送に必要なＭＰＥＧ２－ＴＳ多重化の際に、用意した付加情報動画像ｓｅｃｔｉｏｎも併せて多重化することで、伝送用のストリームを得ることができる（ステップＳ３０６）。

　なお、通常視聴用動画像、付加情報動画像の領域指定は、統合動画像内における配置を特定するためのものであるため、Ｈ．２６４のｃｒｏｐ領域の指定方法など、別の方法を用いて配置を指定してもかまわない。

　また、付加情報動画像の種類ごとにｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎを新規追加すれば、付加情報動画像の種類を省略することも可能である。

　上記３種類の付加情報動画像存在情報の格納方法のいずれかを用いることで、本実施形態の送信装置１００の付加情報動画像存在情報符号化部１０６にて、付加情報動画像存在情報は符号化される。

　以上から、統合動画像、通常視聴用動画像領域と付加情報動画像使用時の通常視聴用動画像の切り出し領域、サンプル・アスペクト・レシオ、ならびに付加情報動画像存在情報を符号化したストリームを得ることができる。

　ビデオコーデックをＨ．２６４として、このストリームを得た場合には、そのストリームを、Ｈ．２６４（ＩＴＵ－Ｔ　Ｒｅｃ．Ｈ．２６４）規格を満たす既存の受信装置４００を以て復号化した場合、付加情報動画像存在情報は無視されて、通常視聴用動画像が表示される。なお、ビデオコーデックがＭＰＥＧ２
ＶＩＤＥＯ（ＩＴＵ－Ｔ　Ｒｅｃ．Ｈ．２６２）であっても同様である。

　その一方で、本実施形態を適用した受信装置２００であれば、付加情報動画像存在情報も正しく復号化され、ユーザは既存の受信装置４００以上のサービスを得られる。

　このように本実施形態では、既存のＴＶセットとの互換性を保ちながら、新しい機能を追加していくことが可能であり、買い替えなければ視聴できなくなったり、違和感のある動画像になったりする場合に比べると、ユーザメリットは大きい。

　＜受信装置におけるユーザのインタラクション＞
　本実施形態の受信装置２００では、付加情報動画像有りの番組プログラムを受信した場合には、ユーザから受信装置２００への設定・指示によって、少なくとも以下の３通りの表示を選択することができる。
１）通常視聴用動画像を通常通りに表示すること
２）通常視聴用動画像と付加情報動画像を同時に画面表示すること、
３）付加情報動画像のみを画面表示すること

　通常視聴用動画像と付加情報動画像を同時に画面表示する場合には、付加情報動画像の表示数や、それらの画面上での配置やサイズなどもユーザの要求に応じて変更するようにしても良い。

　ここで、受信装置２００への設定は、リモコンなどの操作によって、あらかじめ付加情報動画像有りの番組プログラムをどのように表示するかを設定しておくことである。受信装置２００への指示は、ユーザの指示により即座に付加情報動画像有りの番組プログラムの表示方法を変更することである。

　図３６、図３７、図３８は、それぞれ、Ｈ．２６４に追加する付加情報動画像ＳＥＩ、ＰＭＴのｄｅｓｃｒｉｐｔｏｒに追加する付加情報動画像ｄｅｓｃｒｉｐｔｏｒ、ＭＰＥＧ２－ＴＳに追加する付加情報動画像ｓｅｃｔｉｏｎを用いた場合の受信装置２００のフローチャートである。これらのフローチャートでは、ＳＥＩ、ｄｅｓｃｒｉｐｔｏｒ、ｓｅｃｔｉｏｎの情報を解読して、付加情報動画像があるかどうか、ある場合には付加情報動画像を使用する場合の通常視聴用動画像や付加情報動画像のパラメータを取得する。図３６、図３７、図３８で異なるのはＭＰＥＧ２－ＴＳのｄｅｍｕｘ時に、ＰＳＩ／ＳＩを解読してパラメータを得る（図３７、図３８）か、Ｈ．２６４のデコードの結果、パラメータを得る（図３６）かである。パラメータ取得後は、ユーザの受信装置への設定を読みだして、通常表示を行うか、付加情報動画像を用いた表示を行うか、両方を表示するかによって、動画像出力を変更する。ここで、ユーザ設定が通常表示であれば、通常視聴用動画像を出力する（ステップＳ４１０，Ｓ５１０，Ｓ６１０）。また、ユーザ設定が通常視聴用動画像及び付加情報動画像を出力するものであれば、通常視聴用動画像及び付加情報動画像を出力する（ステップＳ４１４，Ｓ５１４，Ｓ６１４）。また、ユーザ設定が通常視聴用動画像及び付加情報動画像を出力するものでなければ、付加情報動画像を出力する（ステップＳ４１６，Ｓ５１６，Ｓ６１６）。

　なお、本実施形態では、付加情報動画像が通常視聴用動画像の内容と比較的関連する動画像を例示したが、特に関連しなくとも本実施形態は有効に作用する。

　［２．第２の実施形態］
　ここでは山の景色の複数眼立体視コンテンツを例に、付加情報動画像として複数眼立体視に使用する動画像を伝送する場合について、送信・受信間で、以下の情報についての取り決めを行った場合について説明する。尚、取り決めを行わない場合については「第１の実施の形態」と同様にこれらの情報を伝送すればよい。
・付加情報動画像使用時の通常視聴用動画像の切り出し領域、
・付加情報動画像の位置
・付加情報動画像の幅高さ
・付加情報動画像のサンプル・アスペクト・レシオ

１．二眼立体視動画像
ここでは複数眼立体視のうちの二眼立体視動画像に対して、左眼動画像を通常視聴用動画像、右眼動画像を付加情報動画像として伝送する場合を考える。

　まず、統合動画像の動画像圧縮、通常視聴用動画像領域とサンプル・アスペクト・レシオの符号化に関しては、第１の実施形態で記述した方法と全く同じ方法で符号化が可能である。

　付加情報動画像存在情報に関して、まず、送信側と受信側で行う取り決めについて考える。通常視聴用動画像と付加情報動画像は二眼立体視動画像の対であるから動画像としては同じ性質を持つと考えて、通常視聴用動画像のパラメータを付加情報動画像のパラメータに流用することは自然な取り決めである。

　すなわち、ここでは以下の取り決めをするものとする。
（１）通常視聴用動画像と付加情報動画像の画像サイズは同じ幅高さである。
（２）通常視聴用動画像と付加情報動画像のサンプル・アスペクト・レシオは同じである。

　また、この実施形態では二眼立体視を行わない場合には左眼動画像が表示される。この表示される領域と二眼立体視の左眼動画像として使用される領域は同じと取り決めたとする。すなわち、
（３）付加情報動画像使用時の通常視聴用動画像の切り出し領域は付加情報動画像非使用時の通常視聴用動画像の切り出し領域と同じであること、
を取り決めることとする。

　次に通常視聴用動画像と付加情報動画像は１フレームの中に配置されるが、送信・受信間で、付加情報動画像は通常視聴用動画像の下方に配置されるとし、二眼立体視動画像の画像サイズから、付加情報動画像の切り出し開始位置を特定することを考える。

　付加情報動画像の切り出し位置を通常視聴用動画像の直後に配置した場合、図９に示すような配置となり、図１０に示すような取り決め内容となる。

　また、左眼動画像の下端と右眼動画像の上端が同一マクロブロックで符号化されることを避けると、図１１のように左眼動画像に対して間隔をあけて右眼動画像を配置することになる場合があり、図１２に示すような取り決め内容となる。

　図１０、図１２には一部の画像サイズのみ記述したが、伝送される可能性があるすべての画像サイズについて図１０、図１２のように取り決めを行うか、通常視聴用動画像のｃｒｏｐパラメータから、次に示す算出式のように取り決めを行うことになる。

　図９の付加情報動画像の切り出し開始位置（ｘａ、ｙａ）は、通常視聴用動画像の最下端ラインの直下から始まるので
　ｘａ＝ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ
　ｙａ＝１６　＊　ＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ
　　　－　２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ
となり、付加情報動画像の画像サイズ（ｗ、ｈ）は、通常視聴用動画像と同じで
　ｗ＝ＰｉｃＷｉｄｔｈＩｎＳａｍｌｅｓ
　　－　２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ
　　－　２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ
　ｈ＝１６　＊　ＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ
　　－　２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ
　　－　２　＊　ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ
となる。

　一方、図１０の付加情報動画像の切り出し開始位置（ｘｂ、ｙｂ）は、上記図９の切り出し開始位置（ｘａ，ｙａ）を用いると、
　ｘｂ＝ｘａ
　ｙｂ＝ｙａ＋（１６　－　ｙａ％１６）
となる。（ｙａ％１６はｙａを１６で除算した余りを示す。）

　これらの条件を元に、
（４）付加情報動画像の統合動画像における切り出し開始位置の特定方法を、たとえば、図１２のテーブルに基づき、テーブルに無い画像サイズの場合はその高さ以上で最も近い高さを持つものを使用するとする。
を取り決めることとする。

　以上の（１）から（４）の取り決めによって、以下の情報が送信・受信間で取り決められるものとする。
・付加情報動画像使用時の通常視聴用動画像の切り出し領域、
・付加情報動画像の位置
・付加情報動画像の幅高さ
・付加情報動画像のサンプル・アスペクト・レシオ

　これらの取り決めに関しては、通常視聴用動画像のｃｒｏｐパラメータから、付加情報動画像の切り出し開始位置や画像サイズを特定する機能ならびに、通常視聴用動画像のサンプル・アスペクト・レシオを付加情報動画像のサンプル・アスペクト・レシオとして出力する機能を受信装置２００内の付加情報動画像存在情報の復号化部２０８に持たせることで対応することができる。

　今回の取り決めでは、パラメータとして渡すものすべてに関して取り決めが行われているため、付加情報動画像存在情報として送信装置側から受信装置側に伝送する内容として必須となるのは、付加情報動画像が存在するかどうかと、通常視聴用動画像と付加情報動画像は二眼立体視動画像の対であるということである。

　このため、付加情報動画像の種類を規定できる符号を送信し、受信側でこの符号を検知した場合に（１）から（４）によって、付加情報動画像を得て使用すればよい。従って、旧来からある伝送情報であったとしても、付加情報動画像存在情報として使用できる場合がある。

　以下では、既に第１の実施形態で記述した、
・Ｈ．２６４のＳＥＩ
（ＭＰＥＧ２　ｖｉｄｅｏであればＵＳＥＲ＿ＤＡＴＡ）
・ＭＰＥＧ２－ＴＳのＰＭＴのｄｅｓｃｒｉｐｔｏｒ
（ＭＰＥＧ２－ＰＳであればＰＳＭのｄｅｓｃｒｉｐｔｏｒ）
・ＭＰＥＧ２－ＴＳのｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎ
といった情報について、本実施形態を適用した場合を説明する。

　図１６は、Ｈ．２６４に付加情報動画像ＳＥＩを新規追加する場合の内容を示したものである。付加情報動画像使用時の通常視聴用動画像の切り出し領域、統合動画像内での付加情報動画像の領域やサンプル・アスペクト・レシオはあらかじめ送信・受信間で取り決めを行っているので、ｓｅｉ＿ｍｅｅｓａｇｅとして最低限必要な情報は、付加情報動画像の種類が取り決め済み縦配列二眼立体視用ということのみである。これを既定縦配列二眼立体視用として図１６には示している。なお、既定二眼立体視用とても良いが、ここでは上下に並べるもののほか、左右に並べるものもあるため、上下に並べるという意味で縦配列を名前に含めている。

　本実施形態に関するＳＥＩをＨ．２６４に１個新設する場合には図１６のようになるが、付加情報動画像の種類ごとにＳＥＩを新設した場合には、たとえば既定縦配列二眼立体視用付加情報動画像ＳＥＩ自体が存在することで、統合画像が縦配列二眼立体視用の付加情報動画像をもっていることが判定できるため、図１７に示すようにｓｅｉ＿ｍｅｓｓａｇｅ内の情報での必須項目はなくなる。（もちろん、その他の情報を含めることも可能である。）

　次に、図１８は、ＰＭＴに付加情報動画像ｄｅｓｃｒｉｐｔｏｒを新規追加する場合の内容を示したものである。

　付加情報動画像使用時の通常視聴用動画像の切り出し領域、統合動画像内での付加情報動画像の領域やサンプル・アスペクト・レシオはあらかじめ送信・受信間で取り決めを行っているので、ｄｅｓｃｒｉｐｔｏｒとして最低限必要な情報は、付加情報動画像の種類が既定縦配列二眼立体視用ということのみである。

　このｄｅｓｃｒｉｐｔｏｒに関しても、付加情報動画像の種類ごとにｄｅｓｃｒｉｐｔｏｒを用意することにすれば、図１９のようにｄｅｓｃｒｉｐｔｏｒ内に本実施形態の適用上必要な情報はなくなる。

　図２０は、ＭＰＥＧ２－ＴＳのｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎに付加情報動画像存在情報を伝送するものを追加した場合のｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅの内容である。ＰＭＴのｄｅｓｃｒｉｐｔｏｒと同様に、付加情報動画像の種類を指定する必要があるのと同時に、付加情報動画像有りのストリームのＰＩＤを指定する必要がある。

　ｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎについても、付加情報動画像の種類ごとにｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎを新規追加する方法をとれば、付加情報動画像の種類を省略することも可能である。

　以上から、第１の実施形態と同様に、統合動画像、通常視聴用動画像領域と付加情報動画像使用時の通常視聴用動画像の切り出し領域、サンプル・アスペクト・レシオ、ならびに付加情報動画像存在情報を符号化したストリームを得ることができる。

　ビデオコーデックをＨ．２６４として、このストリームを得た場合には、そのストリームを、Ｈ．２６４（ＩＴＵ－Ｔ　Ｒｅｃ．Ｈ．２６４）規格を満たす既存の受信装置４００を以て復号化した場合、付加情報動画像存在情報は無視されて、通常視聴用動画像が表示される。ビデオコーデックがＭＰＥＧ２
ＶＩＤＥＯ（ＩＴＵ－Ｔ　Ｒｅｃ．Ｈ．２６２）であっても同様である。

　その一方で本実施形態を適用した受信装置２００であれば、付加情報動画像存在情報符号化部２０８により付加情報動画像存在情報も正しく復号化され、次に示すようにユーザは既存の受信装置４００以上のサービスを得られる。

　つぎに、図９、図１１に示す画像を本実施形態に即した受信装置２００で表示する場合について説明する。受信装置が二眼立体視を提示できない場合、統合動画像からの通常視聴用動画像の切り出しはＨ．２６４規格内のｃｒｏｐパラメータを用いているので、基本的には通常視聴用動画像がユーザに提示される。

　本実施形態を用いた受信装置２００であれば、付加情報動画像の存在や配置・サンプル・アスペクト・レシオを特定できるため、ユーザから通常視聴用動画像の左眼動画像の代わりに付加情報動画像の右眼動画像の表示を指示する機能を設けることで、左眼と右眼もしくは両方を切り替えて表示することが可能である。

　図４２、図４３、図４４は、それぞれ、Ｈ．２６４に追加する付加情報動画像ＳＥＩ、ＰＭＴのｄｅｓｃｒｉｐｔｏｒに追加する付加情報動画像ｄｅｓｃｒｉｐｔｏｒ、ＭＰＥＧ２－ＴＳに追加する付加情報動画像ｓｅｃｔｉｏｎを用いた場合の受信装置２００のフローチャートである。これらのフローチャートでは、付加情報動画像存在情報符号化部２０８にて、ＳＥＩ、ｄｅｓｃｒｉｐｔｏｒ、ｓｅｃｔｉｏｎの情報を解読して、付加情報動画像があるかどうか、ある場合には付加情報動画像を使用する場合の通常視聴用動画像や付加情報動画像のパラメータを取得する。図４２、図４３、図４４で異なるのはＭＰＥＧ２－ＴＳのｄｅｍｕｘ時に、ＰＳＩ／ＳＩを解読してパラメータを得る（図４３、図４４）か、Ｈ．２６４のデコードの結果、パラメータを得る（図４２）かである。パラメータ取得後は、ユーザの受信装置への設定を読みだして、通常表示を行うか、付加情報動画像を用いた表示を行うかが判断される。

　この実施形態では、付加情報動画像の種類は立体視であるため、立体視ができない受信装置では、通常視聴用動画像・付加情報動画像を用いた立体視は不可能である。しかし、ユーザが通常視聴を選択しない場合には通常視聴用動画像・付加情報動画像の中からユーザが表示したい動画像を選択することが可能であり、その選択状況に応じて、デコードされた統合動画像から、通常視聴用動画像や付加情報動画像を切り出してきて、ユーザ指示・設定に応じて動画像出力を行う。上述のように左眼と右眼もしくは両方を切り替えて表示することが可能である。

　また、受信装置が二眼立体視を提示できる場合には、通常視聴用動画像と付加情報動画像を用いて二眼立体視を提示可能である。ユーザが常に二眼立体視を望むとは限らないため、ユーザの指示や設定にしたがって、二眼立体視ではなく、通常視聴用動画像のみ、あるいは付加情報動画像のみを表示することも可能である。

　図３９、図４０、図４１は、それぞれ、Ｈ．２６４に追加する付加情報動画像ＳＥＩ、ＰＭＴのｄｅｓｃｒｉｐｔｏｒに追加する付加情報動画像ｄｅｓｃｒｉｐｔｏｒ、ＭＰＥＧ２－ＴＳに追加する付加情報動画像ｓｅｃｔｉｏｎを用いた場合の受信装置のフローチャートである。これらのフローチャートでは、ＳＥＩ、ｄｅｓｃｒｉｐｔｏｒ、ｓｅｃｔｉｏｎの情報を解読して、付加情報動画像があるかどうか、ある場合には付加情報動画像を使用する場合の通常視聴用動画像や付加情報動画像のパラメータを取得する。図３９、図４０、図４１で異なるのはＭＰＥＧ２－ＴＳのｄｅｍｕｘ時に、ＰＳＩ／ＳＩを解読してパラメータを得る（図４０、図４１）か、Ｈ．２６４のデコードの結果、パラメータを得る（図３９）かである。パラメータ取得後は、ユーザの受信装置への設定を読みだして、通常表示を行うか、付加情報動画像を用いた表示を行うかが判断される。

　付加情報動画像を使用する場合には、付加情報に立体視同画像が含まれている場合には、立体視を行うかどうかをユーザの指示・設定から判定し（ステップＳ９２０）、立体視を行わない場合には、通常視聴用動画像・付加情報動画像の中から選択した動画像を出力する（ステップＳ７２２，Ｓ７２４）。立体視を行う場合には各視点に応じた動画像出力を行って立体視提示を行う（ステップＳ７３０，Ｓ８３０，Ｓ９３０）。付加情報動画像の種類が立体視でない場合には（ステップＳ７１２，Ｓ８１２，Ｓ９１２でＮＯの場合）、図３６、図３７、図３８のフローチャートで示した処理と同様に、通常視聴用動画像・付加情報動画像から選択された動画像出力（一動画像だけでなく複数を組み合わせたものであっても良い）を行う。もちろん、立体視が可能な受信装置であることから、選択された動画像出力に対して左右へのシフトを行って右眼動画像と左眼動画像を作成すれば、出力動画像の提示面を前後に移動可能である。

　この例では、通常視聴用動画像を左眼動画像として説明したが、右眼動画像であってもかまわない。また、通常視聴用動画像と付加情報動画像の上下関係を変えても、それぞれの動画像に対するパラメータを変更することで対応することができる。

　この例と同様に、通常視聴用動画像の横に付加情報動画像を配置する場合においても本発明は有効である。

　２．複数眼立体視動画像
　レンチキュラー方式やパララックスバリア方式では、複数眼立体視の動画像を扱うことが可能である。この場合、例えば第１及び第２の画像を左目用及び右眼用の画像として第１の方向から立体視が可能となり、第３及び第４の画像を左目用及び右眼用の画像として第１の方向と異なる第２の方向から立体視が可能となる。本実施形態は、動画像出力手段にこれらの方式の画像提示方法を持っている場合にも有効であり、通常視聴用動画像として、複数眼立体視のうちの１画像を用い、残りの画像については、付加情報動画像として扱えば良い。

　付加情報動画像の配置に関して、送信・受信間での取り決めを行う方法としては、たとえば、横方向に複数眼立体視の動画像を並べることを取り決め、横に並ぶ個数としては、統合動画像の幅と通常視聴用動画像の幅から算出することにする。

　この取り決めで並べた場合の統合画像の配置状況を図１３に示す。また、別の取り決めとしては、複数眼立体視の動画像数と並べる方向（たとえば横方向）を取り決めておき、横方向に入るだけ並べた後、さらに動画像がある場合には縦方向に並べて配置する。
この取り決めで並べた場合の統合画像の配置状況を図１４に示す。図１３、図１４についても画像間に間隔をあけるかどうかも含めて取り決めを行う必要がある。もちろん、付加情報動画像の種類として、画像間隔あり横方向方向配置三眼立体視、画像間隔なし横方向三眼立体視の２種類を用意しておき、付加情報動画像存在情報として伝送すればコンテンツごとに、どちらの統合動画像の形式かを選択することができる。

３．複数眼立体視と別観点立体視動画像
さらに、番組プログラムとしては、第１の実施形態で記述したように、別の観点からの映像を伝送することも考えられる。メイン映像が立体視動画像であるので、別の観点からの映像も立体視動画像とした方が視聴上好ましいので、立体視動画像であるとして説明する。なお、特に別観点映像が立体視動画像でなくとも、本実施形態は有効である。

　図１５は、上段にメインの立体視動画像を配置し、下段には補足用の立体視動画像を配置した統合動画像例である。番組プログラム上、通常視聴用動画像はメインの立体視動画像のうちの１個の動画像になることが予想される。その通常視聴用動画像を除く動画像はすべて付加情報動画像である。なお、通常視聴用動画像は特に左上の配置に限られるものではない。

　メインの立体視動画像に関しては、図１３と同様に送信・受信間での取り決めを行ったとし、補足用の立体視動画像に関しては、取り決めなしの場合を考える。図２１は、Ｈ．２６４に付加情報動画像ＳＥＩを新規追加する場合の内容を示したものである。ＳＥＩの内容としては、メインの立体視動画像である、既定横配列三眼視用の付加情報動画像と、
補足用の立体視動画像である、補足横配列三眼視用の付加情報動画像となる。補足横配列三眼視用は、横配列三眼視用で、かつ、通常視聴用動画像を含まないことを意味しており、単なる横配列三眼視用とは異なることを意味するものとする。

　実装という観点では、以下の情報をビットフィールドにもつＩＤを用いて、付加情報動画像の種類を指定することも考えられる。
・通常視聴用動画像を用いるかどうかのビット
・送信側と受信側で付加情報動画像使用時の通常視聴用動画像の切り出し領域を取り決めたかどうかのビット、
・送信側と受信側で付加情報動画像の位置を取り決めたかどうかのビット、
・送信側と受信側で付加情報動画像の幅高さを取り決めたかどうかのビット、
・送信側と受信側で付加情報動画像のサンプル・アスペクト・レシオを取り決めたかどうかのビット、
・立体視かどうかのビット
・立体視の場合に横並びかどうかを示すビット
・立体視の場合の視点数

　図２１のｓｅｉ＿ｍｅｅｓａｇｅでは、既定横配列三眼視用の付加情報動画像を指定することで、以下の情報を特定することができる。
・メインの付加情報動画像使用時の通常視聴用動画像の切り出し領域、
・メインの付加情報動画像の位置
・メインの付加情報動画像の幅高さ
・メインの付加情報動画像のサンプル・アスペクト・レシオ

　次に、補足横配列三眼視用の付加情報動画像を指定し、三眼分の付加情報動画像の、位置・幅高さ・サンプル・アスペクト・レシオを指定する。三眼視の場合、それぞれの視点用の動画像は、幅高さ、サンプル・アスペクト・レシオが同じと考えられるので、図２１では、幅高さ、サンプル・アスペクト・レシオは共通として１度の設定とし、切り出し開始位置のみを三眼分指定する形とした。

　図２６は、ＰＭＴのｄｅｓｃｒｉｐｔｏｒに付加情報動画像ｄｅｓｃｒｉｐｔｏｒを新規追加する場合の内容を示したものである。図２１のＳＥＩと同様に、既定横配列三眼視用の付加情報動画像を指定することで、
・メインの付加情報動画像使用時の通常視聴用動画像の切り出し領域、
・メインの付加情報動画像の位置
・メインの付加情報動画像の幅高さ
・メインの付加情報動画像のサンプル・アスペクト・レシオ
を特定し、次に、補足横配列三眼視用の付加情報動画像を指定することで、三眼分の付加情報動画像の、位置・幅高さ・サンプル・アスペクト・レシオを特定することができる。

　図２７は、ＭＰＥＧ２－ＴＳのｐｒｉｖａｔｅ　ｓｅｃｔｉｏｎに付加情報動画像存在情報を伝送するものを追加した場合のｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅの内容である。付加情報動画像が存在するストリームのＰＩＤを指定する以外は、付加情報動画像ＳＥＩの指定内容と同じである。

　図２１のＳＥＩと同様に、
既定横配列三眼視用の付加情報動画像を指定することで、以下の情報を特定する。
・メインの付加情報動画像使用時の通常視聴用動画像の切り出し領域、
・メインの付加情報動画像の位置
・メインの付加情報動画像の幅高さ
・メインの付加情報動画像のサンプル・アスペクト・レシオ

　次に、補足横配列三眼視用の付加情報動画像を指定することで、三眼分の付加情報動画像の、位置・幅高さ・サンプル・アスペクト・レシオを特定することができる。

　以上から、メイン映像が立体視動画像であるとともに、その補足として追加された、別の観点からの立体視動画像を、本実施形態に即して伝送することが可能であることを示した。このメイン・補足の立体視動画像のストリームであっても、本実施形態に即したストリームになっていれば、既存の受信装置４００でメインの一眼を通常視聴用動画像として視聴することができる。更に、本実施形態を適用した受信装置２００であれば、メイン・補足の立体視動画像の中から、好みの一眼動画像を視聴することや、メインあるいは補足の立体視動画を視聴することが可能である。

４．通常視聴用動画像と画像サイズの異なる付加情報動画像を使用した二眼立体視
図３１は、通常視聴用動画像を左眼動画像1440x1080、付加情報動画像を右眼動画像480x1080として統合画像内に配置した場合であり、図３２は、通常視聴用動画像を中央動画像1920x810、付加情報動画像を960x270の２画像（左動画像、右動画像）として配置した場合である。

　本実施形態においては、多眼立体視動画像を扱う場合において、すべての視点を同画像サイズで扱う必要はなく、図３１、図３２のように通常視聴用動画像の情報量を多くし、付加情報動画像の情報量を少なくして伝送（蓄積）することも可能である。こうすることで、通常視聴用動画像の劣化を抑えながら、多眼立体視動画像を伝送することができる。

　実際に多眼視を行う場合には、たとえば図３９の通常＋付加情報による立体視出力では、通常視聴用動画像の拡大率と付加情報動画像の拡大率は異なっており、左右眼への提示サイズが同じになるように調整される。もちろん、付加情報動画像は情報量を減じた分、再生画像の劣化が起きることが心配される。

　しかし、人間の両眼立体視における補正機能は優れており、情報量の多い片眼画像情報によって、他方の画像情報が補われるという現象が起きる。例えば左右の視力が異なる人であっても立体視は可能である。実際に片眼画像を多少ぼかした状態でも立体視を行うことが可能であることは確認されており、図３９のアンバランスな左右動画像であっても立体視は可能である。

　図３２は、三眼立体視用の動画像であるが、情報量の多い通常視聴用動画像を中央の動画像とした統合動画像としているので、情報量の多い動画像を右眼動画像とすることにも、左眼動画像とすることにも対応可能である。

　右眼動画像に情報量の多い動画像を用いる場合には、通常視聴用動画像である中央動画像を右眼用とし、付加情報動画像の左動画像を左眼用として用いる。また、左眼動画像に情報量の多い動画像を用いる場合には、通常視聴用動画像である中央動画像を左眼用とし、付加情報動画像の右動画像を右眼用として用いる。これは、ユーザによっては、左右の視力や左右の眼の疲れなど、ユーザの好みによってどちらの目で情報量の多い通常視聴用動画像を見るかを選択可能にすることに配慮したものである。

　尚、図３１、図３２の統合動画像内での通常視聴用動画像と付加情報動画像の配置・画像サイズは例であり、本発明に制限を与えるものではない。

　以上説明したように上述した実施形態によれば、既存の受信装置でも通常視聴用動画像を視聴することができる。また、本実施形態を用いて作成されたストリームでは、コーデックの切り出しパラメータを正しく処理できれば、既存の受信装置でも、統合動画像内から通常視聴用動画像を切り出して提示することができる。

　また、本実施形態によれば、既存受信装置との互換性を保ちながら、新しい機能を追加することが可能であり、買い替えなければ視聴できなくなったり、違和感のある動画像になったりすることがなく、ユーザは所望の切り替え時期に新しいサービスを受けることが可能となる。これにより、既存の受信装置と付加情報動画像を受けることのできる受信装置との混在状況において、既存受信装置側での支障なく、付加情報動画像つき動画像の送信装置へ変更が可能となる。また、既存の送信装置・受信装置からの変更量が少なくて済むため、開発コストを抑えることが可能であり、本実施形態を用いた送信装置・受信装置の価格を抑えることができる。

　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

　１００　　送信装置
　１０２　　動画像圧縮部
　１０４　　通常視聴用動画像領域符号化部
　１０６　　付加情報動画像存在情報符号化部
　２００　　受信装置
　２０２　　動画像伸長部
　２０４　　通常視聴用動画像領域復号化部
　２０６　　動画像出力部
　２０８　　付加情報動画像存在情報復号化部

Claims

　通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を圧縮するステップと、
　通常視聴用画像の領域を示す領域情報を符号化するステップと、
　付加情報動画像が存在することを示す存在情報を符号化するステップと、
　前記統合画像、前記領域情報及び前記存在情報を送信するステップと、
　を備える、画像送信方法。
　前記存在情報は、付加情報動画像の種類を指定する情報を含む、請求項１に記載の画像送信方法。
　前記付加情報動画像の種類として、複数眼立体視用に使用する動画像であるか否かを指定する情報を含む、請求項２に記載の画像送信方法。
　前記存在情報は、前記付加情報動画像の領域を示す領域情報、又は前記付加情報動画像のアスペクト・レシオを含む、請求項１に記載の画像送信方法。
　前記存在情報は、前記付加情報動画像使用時における前記通常視聴用動画像の画像領域を指定する情報を含む、請求項１に記載の画像送信方法。
　送信側から送られた、通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を伸長するステップと、
　前記統合画像とともに送信側から送られた前記通常視聴用動画像の領域を示す領域情報を復号化するステップと、
　前記統合画像とともに送信側から送られた前記付加情報動画像が存在することを示す存在情報を復号化するステップと、
　前記領域情報に基づいて前記通常視聴用動画像の領域を指定して表示するステップと、
　前記存在情報に基づいて前記付加情報動画像の存在を認識して前記付加情報動画像を表示するステップと、
　を備える、画像受信方法。
　通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を圧縮する圧縮部と、
　通常視聴用画像の領域を示す領域情報を符号化する領域情報符号化部と、
　付加情報動画像が存在することを示す存在情報を符号化する存在情報符号化部と、
　符号化された統合画像、領域情報及び存在情報を送信する送信部と、
　を備える、画像送信装置。
　送信側から送られた、通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を伸長する伸長部と、
　前記統合画像とともに送信側から送られた前記通常視聴用動画像の領域を示す領域情報を復号化する領域情報復号化部と、
　前記統合画像とともに送信側から送られた前記付加情報動画像が存在することを示す存在情報を復号化する存在情報復号化部と、
　前記領域情報に基づいて前記通常視聴用動画像の領域を指定して出力するとともに、前記存在情報に基づいて前記付加情報動画像の存在を認識して前記付加情報動画像を出力する画像出力部と、
　を備える、画像受信装置。
　通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を圧縮する圧縮部と、通常視聴用画像の領域を示す領域情報を符号化する領域情報符号化部と、付加情報動画像が存在することを示す存在情報を符号化する存在情報符号化部と、符号化された統合画像、領域情報及び存在情報を送信する送信部と、を有する画像送信装置と、
　送信側から送られた、通常視聴用動画像と付加情報動画像とが１フレーム上に配置された統合画像を伸長する伸長部と、前記統合画像とともに送信側から送られた前記通常視聴用動画像の領域を示す領域情報を復号化する領域情報復号化部と、前記統合画像とともに送信側から送られた前記付加情報動画像が存在することを示す存在情報を復号化する存在情報復号化部と、前記領域情報に基づいて前記通常視聴用動画像の領域を指定して出力するとともに、前記存在情報に基づいて前記付加情報動画像の存在を認識して前記付加情報動画像を出力する画像出力部と、を有する、画像受信装置と、
　を備える画像伝送システム。