JP2016092837A - 映像圧縮装置、映像再生装置および映像配信システム - Google Patents

Abstract

【課題】複数の異なるコーデックを用いてスケーラブル圧縮された複数のビットストリームにおけるランダムアクセス性を改善する。
【解決手段】映像圧縮装置２００は、制御部を含む。制御部は、第１のビットストリームに含まれる第１のランダムアクセスポイントに基づいて、第２の映像の圧縮データに相当する第２のビットストリームに含まれる第２のランダムアクセスポイントを制御する。第２のビットストリームは、複数のピクチャグループによって形成される。複数のピクチャグループの各々は、１つ以上のサブピクチャグループを包含する。制御部は、第２のビットストリームから、第１のランダムアクセスポイント以降で表示順の最も早いサブピクチャグループを選択し、選択したサブピクチャグループのうち圧縮順で最初のピクチャを第２のランダムアクセスポイントに設定する。
【選択図】図２

Description

実施形態は、映像圧縮および映像再生に関する。

近年、動画像圧縮規格の１つとして、ＩＴＵ−Ｔ ＲＥＣ． Ｈ．２６５およびＩＳＯ／ＩＥＣ ２３００８−２（以下、「ＨＥＶＣ」という）が勧告されている。ＨＥＶＣは、ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６２およびＩＳＯ／ＩＥＣ １３８１８−２（以下、「ＭＰＥＧ−２」という）に比べて約４倍の圧縮効率を達成し、ＩＴＵ−Ｔ ＲＥＣ． Ｈ．２６４及びＩＳＯ／ＩＥＣ １４４９６−１０（以下、「Ｈ．２６４」という。）に比べて約２倍の圧縮効率を達成する。

Ｈ．２６４では、Ｈ．２６４ Ｓｃａｌａｂｌｅ Ｅｘｔｅｎｓｉｏｎと呼ばれるスケーラブル圧縮機能（以下、「ＳＶＣ」という）が導入されている。ＳＶＣを利用して映像が階層的に圧縮されていれば、映像再生装置は再生するビットストリームを変更することで再生映像の画質、解像度またはフレームレートを変更できる。さらに、ＩＴＵ−ＴおよびＩＳＯ／ＩＥＣでは、前述のＨＥＶＣにもＳＶＣと同様のスケーラブル圧縮機能（以下、「ＳＨＶＣ」という）を導入するための検討が行われている。

ＳＶＣおよびＳＨＶＣに代表されるスケーラブル圧縮機能では、映像は基本レイヤおよび１以上の拡張レイヤへと階層化され、拡張レイヤの映像は基本レイヤの映像に基づいて予測されるので、拡張レイヤの冗長性を抑制しつつ多数の階層の映像を圧縮することが可能となる。スケーラブル圧縮機能は、例えば、映像監視、テレビ会議、テレビ電話、放送、映像ストリーミング配信などの映像配信技術に有用である。映像配信にネットワークを利用した場合、チャネルの帯域幅は時々刻々変動するかもしれない。係るネットワーク利用時に、スケーラブル圧縮を用い、ビットレートの低い基本レイヤ映像を常に伝送し、帯域幅に余裕がある場合には拡張レイヤ映像を伝送することで、上記帯域幅の時間変化に関わらず効率的な映像配信が可能となる。或いは、係るネットワーク利用時に、スケーラブル圧縮の代わりに、複数のビットレートを持つ圧縮映像を並列に作成し（以下サイマル圧縮と述べる）、帯域幅に応じて選択的に伝送を行うこともできる。

ＳＶＣでは、基本レイヤおよび拡張レイヤのいずれにもＨ．２６４コーデックを用いる必要がある。他方、ＳＨＶＣでは、基本レイヤに任意のコーデックを用いることのできるハイブリッドスケーラブル圧縮を実現する。ハイブリッドスケーラブル圧縮によれば、既存の映像機器との互換性を確保することができる。例えば、基本レイヤにＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２を用い、拡張レイヤにＳＨＶＣを用いることにより、ＭＰＥＧ−２を利用する映像機器に対して互換性を確保することができる。

しかしながら、基本レイヤと拡張レイヤとで異なるコーデックを用いる場合に、予測構造（例えば、圧縮順、ランダムアクセスポイントなど）は両コーデック間で必ずしも一致しない。基本レイヤと拡張レイヤとの間でランダムアクセスポイントが一致しなければ拡張レイヤのランダムアクセス性が損なわれるし、基本レイヤと拡張レイヤとの間でピクチャの圧縮順が一致しなければ再生遅延が増加する。他方、拡張レイヤの予測構造を基本レイヤの予測構造に一致させようとすれば、基本レイヤの予測構造の解析処理とその解析結果に応じた拡張レイヤの予測構造の変更処理が必要となるので、これらの処理を行うための追加的なハードウェアまたはソフトウェアにより機器コストが増加するうえ拡張レイヤの再生遅延はこれらの処理時間に応じて大きくなる。加えて、利用可能な予測構造が制限されるので拡張レイヤの圧縮効率は低下する。

米国特許出願公開第２０１４／００１６６９４号明細書 特開２０００−１３７９０号公報

実施形態は、複数の異なるコーデックを用いてスケーラブル圧縮された複数のビットストリームにおけるランダムアクセス性を改善することを目的とする。

実施形態によれば、映像圧縮装置は、第１の圧縮部と、制御部と、第２の圧縮部とを含む。第１の圧縮部は、階層化された第１の映像および第２の映像のうち当該第１の映像を第１のコーデックを用いて圧縮することによって第１のビットストリームを生成する。制御部は、第１のビットストリームに含まれる第１のランダムアクセスポイントに基づいて、第２の映像の圧縮データに相当する第２のビットストリームに含まれる第２のランダムアクセスポイントを制御する。第２の圧縮部は、第２の映像を第１のコーデックとは異なる第２のコーデックを用いて第１の映像に対応する第１の復号映像に基づいて圧縮することによって第２のビットストリームを生成する。第２のビットストリームは、複数のピクチャグループによって形成される。複数のピクチャグループの各々は、１つ以上のサブピクチャグループを包含する。なお、制御部は、第２のビットストリームから、第１のランダムアクセスポイント以降で表示順の最も早いサブピクチャグループを選択し、選択したサブピクチャグループのうち圧縮順で最初のピクチャを第２のランダムアクセスポイントに設定する。

実施形態によれば、映像再生装置は、第１の復号部と、第２の復号部とを含む。第１の復号部は、階層化された第１の映像および第２の映像のうち当該第１の映像の圧縮データに相当する第１のビットストリームを第１のコーデックを用いて復号することによって第１の復号映像を生成する。第２の復号部は、第２の映像の圧縮データに相当する第２のビットストリームを第１のコーデックとは異なる第２のコーデックを用いて第１の復号映像に基づいて復号することによって第２の復号映像を生成する。第２のビットストリームは、複数のピクチャグループによって形成される。複数のピクチャグループの各々は、１つ以上のサブピクチャグループを包含する。第１のビットストリームは、第１のアクセスポイントを含む。第２のビットストリームは、第２のアクセスポイントを含む。第２のランダムアクセスポイントは、特定のピクチャサブグループのうち圧縮順で最初のピクチャに設定されている。特定のピクチャサブグループは、第１のランダムアクセスポイント以降で表示順の最も早いサブピクチャグループである。

実施形態によれば、映像配信システムは、映像記録装置と、映像圧縮装置と、映像送信装置と、映像受信装置と、映像再生装置と、表示装置とを含む。映像記録装置は、ベースバンド映像を記録および再生する。映像圧縮装置は、ベースバンド映像が階層化された第１の映像および第２の映像をスケーラブル圧縮することによって第１のビットストリームおよび第２のビットストリームを生成する。映像送信装置は、少なくとも１つのチャネルを介して第１のビットストリームおよび第２のビットストリームを送信する。映像受信装置は、少なくとも１つのチャネルを介して第１のビットストリームおよび第２のビットストリームを受信する。映像再生装置は、第１のビットストリームおよび第２のビットストリームをスケーラブル復号することによって第１の復号映像および第２の復号映像を生成する。表示装置は、第１の復号映像および第２の復号映像に基づく映像を表示する。なお、映像圧縮装置は、第１の圧縮部と、制御部と、第２の圧縮部とを含む。第１の圧縮部は、第１の映像を第１のコーデックを用いて圧縮することによって第１のビットストリームを生成する。制御部は、第１のビットストリームに含まれる第１のランダムアクセスポイントに基づいて、第２のビットストリームに含まれる第２のランダムアクセスポイントを制御する。第２の圧縮部は、第２の映像を第１のコーデックとは異なる第２のコーデックを用いて第１の映像に対応する第１の復号映像に基づいて圧縮することによって第２のビットストリームを生成する。第２のビットストリームは、複数のピクチャグループによって形成される。複数のピクチャグループの各々は、１つ以上のサブピクチャグループを包含する。なお、制御部は、第２のビットストリームから、第１のランダムアクセスポイント以降で表示順の最も早いサブピクチャグループを選択し、選択したサブピクチャグループのうち圧縮順で最初のピクチャを第２のランダムアクセスポイントに設定する。

第１の実施形態に係る映像配信システムを例示するブロック図。 図１の映像圧縮装置を例示するブロック図。 図２の映像変換部を例示するブロック図。 図２の逆映像変換部を例示するブロック図。 第１のビットストリームの予測構造を例示する図。 第１のビットストリームの予測構造を例示する図。 第１のビットストリームおよび第２のビットストリームの予測構造が同一である場合の説明図。 第１のビットストリームおよび第２のビットストリームの予測構造が同一である場合の説明図。 第１のビットストリームおよび第２のビットストリームの予測構造が異なる場合の説明図。 第１のビットストリームおよび第２のビットストリームの予測構造が異なる場合の説明図。 第１のビットストリームおよび第２のビットストリームの予測構造が異なる場合の説明図。 図２の予測構造制御部によって行われる予測構造制御処理の説明図。 図１２の変形例の説明図。 図２の予測構造制御部によって用いられる第１の予測構造情報を例示する図。 図２の予測構造制御部によって生成される第２の予測構造情報を例示する図。 図２のデータ多重化部を例示するブロック図。 図１６のデータ多重化部によって生成される多重化ビットストリームを形成するＰＥＳパケットのデータフォーマットを例示する図。 図３の映像変換部の動作を例示するフローチャート。 図４の逆映像変換部の動作を例示するフローチャート。 図２の復号部の動作を例示するフローチャート。 図２の予測構造制御部の動作を例示するフローチャート。 図２の第２の映像圧縮器に含まれる圧縮部の動作を例示するフローチャート。 第２の実施形態に係る映像配信システムを例示するブロック図。 図２３の映像圧縮装置を例示するブロック図。 図１の映像再生装置を例示するブロック図。 図２５のデータ逆多重化部を例示するブロック図。 図２３の映像再生装置を例示するブロック図。 図２の第２の映像圧縮器に内蔵される圧縮部を例示するブロック図。 図２８の時空間相関制御部を例示するブロック図。 図２８の予測画像生成部を例示するブロック図。 図２３の第２の映像復号器に内蔵される復号部を例示するブロック図。

以下、図面を参照しながら実施形態の説明が述べられる。
なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。また、「映像」という用語は、「画像」、「画素」、「画像信号」、「絵」、「動画像」、「画像データ」などという用語として適宜読み替えられてよい。さらに、「圧縮」という用語は、「符号化」という用語として適宜読み替えられてもよい。「コーデック」という用語は、「動画像圧縮規格」という用語として適宜読み替えられてもよい。

（第１の実施形態）
図１に例示されるように、第１の実施形態に係る映像配信システム１００は、映像記録装置１１０と、映像圧縮装置２００と、映像送信装置１２０と、チャネル１３０と、映像受信装置１４０と、映像再生装置３００と、表示装置１５０とを含む。なお、映像配信システムとは、映像を放送するシステム、映像を記録媒体（例えば、光磁気ディスク、磁気テープなど）に記録再生するシステムなどを包含する。

映像記録装置１１０は、メモリ１１１と、ストレージ１１２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１３と、出力インターフェース（Ｉ／Ｆ）１１４と、通信部１１５とを含む。映像記録装置１１０は、カメラなどによって撮影されたベースバンド映像を記録および（リアルタイム）再生する。例えば、映像記録装置１１０は、ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）用の磁気テープに記録された映像を再生してもよいし、ストレージ１１２に記録された映像を再生してもよいし、通信部１１５が図示されないネットワークを介して受信した映像を再生してもよい。映像記録装置１１０は、映像の編集に用いられてもよい。

ベースバンド映像は、例えばカメラによって撮影された生の映像（例えば、ＲＡＷフォーマット、ベイヤーフォーマットなど）をモニタに表示できるように現像した映像であってもよいし、コンピュータグラフィクス（ＣＧ）を用いて制作されレンダリング処理によって表示可能な形式に変換された映像であってもよい。ベースバンド映像は、配信が行われる前の映像に相当する。ベースバンド映像は、配信に先立って、グレーディング処理、映像編集、シーン選定、テロップ挿入などの種々の加工を適用されてもよい。さらに、ベースバンド映像は、配信に先立って圧縮されていてもよい。例えば、フルハイビジョン（ＨＤＴＶ）のベースバンド映像（１９２０×１０８０画素、６０ｆｐｓ、ＹＵＶ４：４：４形式）は、約３Ｇビット／秒という高いデータレートを持つので、配信に先だって映像の品質を損なわない程度の圧縮を適用される可能性がある。

メモリ１１１には、ＣＰＵ１１３によって実行されるプログラム、通信部１１５によってやり取りされるデータなどが一時的に保存される。ストレージ１１２は、例えばハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブなどのデータ（典型的には、映像データ）を記録可能なデバイスである。

ＣＰＵ１１３は、プログラムを実行することによって、種々の機能部として動作する。具体的には、ＣＰＵ１１３は、ストレージ１１２に保存されたベースバンド映像をアップコンバートまたはダウンコンバートしたり、当該ベースバンド映像のフォーマットを変換したりする。

出力Ｉ／Ｆ１１４は、例えば映像圧縮装置２００などの外部装置へとベースバンド映像を出力する。通信部１１５は、外部装置とデータをやり取りする。なお、図１に示される映像記録装置１１０の各要素は適宜削除することが可能であるし、図示されない要素を適宜付加することも可能である。例えば、通信部１１５がベースバンド映像を映像圧縮装置２００へと送信するのであれば、出力Ｉ／Ｆ１１４を削除してもよい。他方、図示されないカメラによって撮影された映像が映像記録装置１１０に直接入力されてもよく、この場合には入力Ｉ／Ｆが追加されるであろう。

映像圧縮装置２００は、映像記録装置１１０からベースバンド映像を受け取り、スケーラブル圧縮機能を利用して当該ベースバンド映像を（スケーラブル）圧縮することによって複数階層の圧縮映像データが多重化された多重化ビットストリームを生成する。映像圧縮装置２００は、多重化ビットストリームを映像送信装置１２０へと出力する。

なお、スケーラブル圧縮は、基本レイヤに対する拡張レイヤの冗長性が少ないので、サイマル圧縮に比べて複数のビットストリームを生成した場合の合計の符号量を抑制することができる。例えば、サイマル圧縮によって１Ｍｂｐｓ、５Ｍｂｐｓおよび１０Ｍｂｐｓの３つのビットストリームを生成すれば、これら３つのビットストリームの合計の符号量は１６Ｍｂｐｓとなる。他方、スケーラブル圧縮によれば、拡張レイヤに含まれる情報は基本レイヤ映像（これは、拡張レイヤでは省略される）を高画質化するための情報に限定されるため、基本レイヤ映像に１Ｍｂｐｓを割り当て、第１の拡張レイヤ映像に４Ｍｂｐｓを割り当て、第２の拡張レイヤ映像に５Ｍｂｐｓを割り当てることにより、合計１０Ｍｂｐｓでサイマル圧縮の例と同等の画質の映像を提供することができる。

以降の説明において、圧縮映像データはビットストリームの形式で取り扱われ、「ビットストリーム」の用語は基本的には圧縮映像データを指す。なお、圧縮音声データ、映像に関する情報、再生タイミングに関する情報、チャネルに関する情報、多重化方式に関する情報などがビットストリームの形式で取り扱われてもよい。

ビットストリームは、マルチメディアコンテナに格納されてもよい。マルチメディアコンテナとは、映像、音声などの圧縮データ（すなわち、ビットストリーム）を伝送および格納するためのフォーマットである。マルチメディアコンテナは、例えばＭＰＥＧ−２ Ｓｙｓｔｅｍ、ＭＰ４（ＭＰＥＧ−４ Ｐａｒｔ １４）、ＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）、ＭＭＴ（ＭＰＥＧ Ｍｕｌｔｉｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）、ＡＳＦ（Ａｄｖａｎｃｅｄ Ｓｙｓｔｅｍｓ Ｆｏｒｍａｔ）などにおいて規定されているものでよい。また、圧縮データは複数のビットストリームまたはセグメントを含むが、セグメント毎に１つのファイルを作成してもよいし、複数のセグメント毎に１つのファイルを作成してもよい。

映像送信装置１２０は、映像圧縮装置２００から多重化ビットストリームを受け取り、当該多重化ビットストリームをチャネル１３０を介して映像受信装置１４０へと送信する。例えば、チャネル１３０が地上デジタル放送の伝送帯域に相当する場合には、映像送信装置１２０はＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）送信装置であってもよい。また、チャネル１３０がネットワーク回線に相当する場合には、映像送信装置１２０はＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）通信装置であってもよい。

チャネル１３０は、映像送信装置１２０および映像受信装置１４０の間を接続する通信手段である。チャネル１３０は、有線チャネルであってもよいし、無線チャネルであってもよいし、両者の混合チャネルであってもよい。チャネル１３０は、例えば、インターネット網、地上放送網、衛星放送網、ケーブル伝送網などであってよい。また、チャネル１３０は、例えば、電波通信、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、３Ｇ（３^ｒｄ Ｇｅｎｅｒａｔｉｏｎ ｍｏｂｉｌｅ ｓｔａｎｄａｒｄｓ）、４Ｇ（４^ｔｈ Ｇｅｎｅｒａｔｉｏｎ ｍｏｂｉｌｅ ｓｔａｎｄａｒｄｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ミリ波通信、レーダ通信などの種々の通信向けのチャネルであってもよい。

映像受信装置１４０は、多重化ビットストリームをチャネル１３０を介して映像送信装置１２０から受信する。映像受信装置１４０は、受信した多重化ビットストリームを映像再生装置３００へと出力する。例えば、チャネル１３０が地上デジタル放送の伝送帯域に相当する場合には、映像受信装置１４０はＲＦ受信装置（地上デジタル放送を受信するためのアンテナを含む）であってもよい。また、チャネル１３０がネットワーク回線に相当する場合には、映像受信装置１４０はＩＰ通信装置（ＩＰネットワークと接続するためのルータなどに相当する機能を含む）であってもよい。

映像再生装置３００は、映像受信装置１４０から多重化ビットストリームを受け取り、スケーラブル圧縮機能を利用して当該多重化ビットストリームを（スケーラブル）復号することによって復号映像を生成する。映像再生装置３００は、復号映像を表示装置１５０へと出力する。映像再生装置３００は、テレビジョン受信機本体に組み込まれてもよいし、当該テレビジョン受信機とは別体のＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）として実装されてもよい。

表示装置１５０は、映像再生装置３００から復号映像を受け取り、当該復号映像を表示する。表示装置１５０は、典型的には、ディスプレイ（ＰＣ用のディスプレイを含む）、テレビジョン受信機またはビデオモニタに相当する。なお、表示装置１５０は、映像表示機能に加えて入力Ｉ／Ｆ機能を持つ、タッチパネルなどであってもよい。

図１に示されるように、表示装置１５０は、メモリ１５１と、ディスプレイ１５２と、ＣＰＵ１５３と、入力Ｉ／Ｆ１５４と、通信部１５５とを含む。

メモリ１５１には、ＣＰＵ１５３によって実行されるプログラム、通信部１５５によってやり取りされるデータなどが一時的に保存される。ディスプレイ１５２は映像を表示する。

ＣＰＵ１５３は、プログラムを実行することによって、種々の機能部として動作する。具体的には、ＣＰＵ１５３は、表示装置１５０から受け取った復号映像をアップコンバートまたはダウンコンバートする。

入力Ｉ／Ｆ１５４は、ユーザがユーザ要求を入力するためのインターフェースである。表示装置１５０がテレビジョン受信機である場合には、入力Ｉ／Ｆ１５４は典型的にはリモートコントローラである。ユーザは、入力Ｉ／Ｆ１５４を操作することで、チャンネルを切り替えたり、映像の表示モードを変更したりすることができる。なお、入力Ｉ／Ｆ１５４は、リモートコントローラに限られず、例えば、マウス、タッチパッド、タッチパネル、タッチペンなどであってよい。通信部１５５は、外部装置とデータをやり取りする。

なお、図１に示される表示装置１５０の各要素は適宜削除することが可能であるし、図示されない要素を適宜付加することも可能である。例えば、復号映像を表示装置１５０の内部に記録／蓄積する必要がある場合には、ＨＤＤまたはＳＳＤなどのストレージを付加してもよい。

図２に例示されるように、映像圧縮装置２００は、映像変換部２１０と、第１の映像圧縮器２２０と、第２の映像圧縮器２３０と、データ多重化部２６０とを含む。映像圧縮装置２００は、映像記録装置１１０からベースバンド映像１０および映像同期信号１１を受け取り、スケーラブル圧縮機能を利用して当該ベースバンド映像１０を圧縮することによって複数階層（図２の例では２階層）のビットストリームを生成する。映像圧縮装置２００は、映像同期信号１１に基づいて生成した種々の制御情報と複数階層のビットストリームとを多重化することによって多重化ビットストリーム１２を生成し、当該多重化ビットストリーム１２を映像送信装置１２０へと出力する。

映像変換部２１０は、映像記録装置１１０からベースバンド映像１０を受け取り、当該ベースバンド映像１０に映像変換を適用することによって第１の映像１３および第２の映像１４を生成する（すなわち、ベースバンド映像１０を第１の映像１３および第２の映像１４へと階層化する）。ここで、階層化とはスケーラビリティを実現するために複数の映像を用意する処理を意味する。第１の映像１３は基本レイヤ映像に相当し、第２の映像１４は拡張レイヤ映像に相当する。映像変換部２１０は、第１の映像１３を第１の映像圧縮器２２０へと出力し、第２の映像１４を第２の映像圧縮器２３０へと出力する。

映像変換部２１０によって適用される映像変換は、（１）パススルー（無変換）、（２）解像度のアップスケーリングまたはダウンスケーリング、（３）プログレッシブ映像からインターレース映像を生成するためのｐ（Ｐｒｏｇｒｅｓｓｉｖｅ）／ｉ（Ｉｎｔｅｒｌａｃｅ）変換またはその逆変換に相当するｉ／ｐ変換、（４）フレームレートの増加または削減、（５）ビット深度（画素ビット長と呼ぶこともできる）の拡大または縮小、（６）色空間フォーマットの変更、ならびに、（７）ダイナミックレンジの拡大または縮小、のうち少なくとも１つに相当してもよい。

映像変換部２１０によって適用される映像変換は、階層化によって実現されるスケーラビリティの種別に応じて選択されてもよい。例えば、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）スケーラビリティ、ビットレートスケーラビリティなどの画質スケーラビリティが実現される場合には、第１の映像１３および第２の映像１４の映像フォーマットは同一であってよく、映像変換部２１０はパススルーを選択してもよい。

具体的には、映像変換部２１０は、図３に例示されるように、スイッチと、パススルー部２１１と、解像度変換部２１２と、ｐ／ｉ変換部２１３と、フレームレート変換部２１４と、ビット深度変換部２１５と、色空間変換部２１６と、ダイナミックレンジ変換部２１７とを含む。映像変換部２１０は、階層化によって実現されるスケーラビリティの種別に応じてスイッチの出力端を制御し、ベースバンド映像１０を、パススルー部２１１、解像度変換部２１２、ｐ／ｉ変換部２１３、フレームレート変換部２１４、ビット深度変換部２１５、色空間変換部２１６およびダイナミックレンジ変換部２１７のいずれかへと導く。他方、映像変換部２１０は、ベースバンド映像１０をそのまま第２の映像１４として出力する。

図３の映像変換部２１０は、図１８に例示されるように動作する。映像変換部２１０がベースバンド映像１０を受け取ると、図１８の映像変換処理は開始する。映像変換部２１０は、階層化によって実現されるスケーラビリティを設定する（ステップＳ１１）。映像変換部２１０は、例えば、画質スケーラビリティ、解像度スケーラビリティ、時間スケーラビリティ、映像フォーマットスケーラビリティ、ビット深度スケーラビリティ、色空間スケーラビリティ、ダイナミックレンジスケーラビリティなどを設定する。

映像変換部２１０は、ステップＳ１１において設定したスケーラビリティの種別に応じてスイッチの出力端の接続先を設定する（ステップＳ１２）。どのスケーラビリティが設定された場合にスイッチの出力端がどこに接続されるかは後述する。

映像変換部２１０は、ベースバンド映像１０をステップＳ１２において設定した接続先へと導き、映像変換を適用することで第１の映像１３を生成する（ステップＳ１３）。ステップＳ１３の後に図１８の映像変換処理は終了する。なお、ベースバンド映像１０は動画像であるから、図１８の映像変換処理はベースバンド映像１０に含まれる１ピクチャ毎に行われる。

映像変換部２１０は、画質スケーラビリティを実現するために、スイッチの出力端をパススルー部２１１に接続してもよい。パススルー部２１１は、ベースバンド映像１０をそのまま第１の映像１３として出力する。

映像変換部２１０は、解像度スケーラビリティを実現するために、スイッチの出力端を解像度変換部２１２に接続してもよい。解像度変換部２１２は、ベースバンド映像１０の解像度を変更することによって第１の映像１３を生成する。例えば、解像度変換部２１２は、ベースバンド映像１０の解像度を１９２０×１０８０画素から１４４０×１０８０画素へとダウンコンバートしたり、ベースバンド映像１０のアスペクト比を１６：９から４：３へと変換したりしてもよい。ダウンコンバートは、例えば線形フィルタ処理を用いて実現されてよい。

映像変換部２１０は、時間スケーラビリティまたは映像フォーマットスケーラビリティを実現するために、スイッチの出力端をｐ／ｉ変換部２１３に接続してもよい。ｐ／ｉ変換部２１３は、ベースバンド映像１０の映像フォーマットをプログレッシブ映像からインターレース映像へと変更することにより第１の映像１３を生成する。ｐ／ｉ変換は、例えば線形フィルタ処理を用いて実現されてよい。具体的には、ｐ／ｉ変換部２１３は、ベースバンド映像１０の偶数フレームをトップフィールドとしてダウンコンバートし、ベースバンド映像１０の奇数フレームをボトムフィールドとしてダウンコンバートしてもよい。

映像変換部２１０は、時間スケーラビリティを実現するために、スイッチの出力端をフレームレート変換部２１４に接続してもよい。フレームレート変換部２１４は、ベースバンド映像１０のフレームレートを変更することによって第１の映像１３を生成する。例えば、フレームレート変換部２１４は、ベースバンド映像１０のフレームレートを６０ｆｐｓから３０ｆｐｓに間引いてもよい。

映像変換部２１０は、ビット深度スケーラビリティを実現するために、スイッチの出力端をビット深度変換部２１５に接続してもよい。ビット深度変換部２１５は、ベースバンド映像１０のビット深度を変更することによって第１の映像１３を生成する。例えば、ビット深度変換部２１５は、ベースバンド映像１０のビット深度を１０ビットから８ビットへと縮小してもよい。具体的には、ビット深度変換部２１５は、切り捨ておよび切り上げを考慮したビットシフトを行ってもよいし、Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ（ＬＵＴ）を用いて画素値のマッピングを行ってもよい。

映像変換部２１０は、色空間スケーラビリティを実現するために、スイッチの出力端を色空間変換部２１６に接続してもよい。色空間変換部２１６は、ベースバンド映像１０の色空間フォーマットを変更することによって第１の映像１３を生成する。例えば、色空間変換部２１６は、ベースバンド映像１０の色空間フォーマットをＩＴＵ−Ｒ Ｒｅｃ．ＢＴ．２０２０で勧告されている色空間フォーマットからＩＴＵ−Ｒ Ｒｅｃ．ＢＴ．７０９で勧告されている色空間フォーマットまたはＩＴＵ−Ｒ Ｒｅｃ．ＢＴ．６０９で勧告されている色空間フォーマットに変更してもよい。なお、ここで例示された色空間フォーマットの変更を実現するための変換式は上記勧告に記載されている。また、他の色空間フォーマットの変更についても所定の変換式などを用いて容易に実現可能である。

映像変換部２１０は、ダイナミックレンジスケーラビリティを実現するために、スイッチの出力端をダイナミックレンジ変換部２１７に接続してもよい。なお、ダイナミックレンジスケーラビリティは、前述のビット深度スケーラビリティと類似の意味で用いられることもあるが、ここではビット深度を固定したままダイナミックレンジを可変とすることを意味する。ダイナミックレンジ変換部２１７は、ベースバンド映像１０のダイナミックレンジを変更することによって第１の映像１３を生成する。例えば、ダイナミックレンジ変換部２１７は、ベースバンド映像１０のダイナミックレンジを狭くしてもよい。具体的には、ダイナミックレンジ変換部２１７は、テレビパネルが表現できるダイナミックレンジに応じたガンマ変換をベースバンド映像１０に適用することでダイナミックレンジの変更を実現できる。

なお、映像変換部２１０は図３に例示される構成に限定されない。故に、図３に例示される種々の機能部の少なくとも１つが必要に応じて削除されてもよい。また、図３の例では複数の映像変換が択一的に選択されているが、複数の映像変換が併用されてもよい。例えば、解像度スケーラビリティおよび映像フォーマットスケーラビリティの両方を実現するために、映像変換部２１０はベースバンド映像１０に解像度変換およびｐ／ｉ変換を逐次適用してもよい。

さらに、目的とする複数のスケーラビリティの組み合わせが予め定められている場合には、当該複数のスケーラビリティを実現するための複数の映像変換を予め共通化しておくことで計算コストを抑制できることがある。例えば、ダウンコンバートおよびｐ／ｉ変換はいずれも線形フィルタ処理を用いて実現可能であるから、これらを一括して実行すれば２つの線形フィルタ処理を逐次実行する場合に比べて演算誤差および丸め誤差を低減させることができる。

或いは、複数の拡張レイヤ映像を圧縮するために、１つの映像変換が複数の段階に分割されてもよい。例えば、映像変換部２１０は、ベースバンド映像１０の解像度を３８４０×２１６０画素から１９２０×１０８０画素にダウンコンバートすることにより第２の映像１４を生成し、さらに第２の映像１４の解像度を１９２０×１０８０画素から１４４０×１０８０画素にダウンコンバートすることにより第１の映像１３を生成してもよい。この場合に、３８４０×２１６０画素のベースバンド映像１０は、第２の映像１４よりもさらに高解像度の拡張レイヤ映像に相当する第３の映像（図示されない）として利用可能である。

第１の映像圧縮器２２０は、映像変換部２１０から第１の映像１３を受け取り、当該第１の映像１３を圧縮することによって第１のビットストリーム１５を生成する。第１の映像圧縮器２２０が用いるコーデックは例えばＭＰＥＧ−２であってよい。第１の映像圧縮器２２０は、第１のビットストリーム１５をデータ多重化部２６０および第２の映像圧縮器２３０へと出力する。なお、第１の映像圧縮器２２０は、第１の映像１３の局所復号画像を生成できる場合には、当該局所復号画像を第１のビットストリーム１５と共に第２の映像圧縮器２３０へと出力してもよい。この場合には、後述される復号部２３２を第１のビットストリーム１５の予測構造を解析するためのパーサに置換してもよい。第１の映像圧縮器２２０は圧縮部２２１を含み、当該圧縮部２２１は上述の第１の映像圧縮器２２０の動作の一部または全部を行う。

第２の映像圧縮器２３０は、映像変換部２１０から第２の映像１４を受け取り、第１の映像圧縮器２２０から第１のビットストリーム１５を受け取る。第２の映像圧縮器２３０は、第２の映像１４を圧縮することによって第２のビットストリーム２０を生成する。第２の映像圧縮器２３０は、第２のビットストリーム２０をデータ多重化部２６０へと出力する。後述されるように、第２の映像圧縮器２３０は、第１のビットストリーム１５の予測構造を解析し、解析された予測構造に基づいて第２のビットストリーム２０の予測構造を制御することにより、当該第２のビットストリーム２０のランダムアクセス性を向上させる。

第２の映像圧縮器２３０は、遅延回路２３１と、復号部２３２と、逆映像変換部２４０と、圧縮部２５０とを含む。

遅延回路２３１は、映像変換部２１０から第２の映像１４を受け取って一時的に保持してから圧縮部２５０へと転送する。遅延回路２３１は、第２の映像１４が後述される逆変換された第１の復号映像１９と同期して圧縮部２５０に入力されるように、第２の映像１４の出力タイミングを制御する。換言すれば、遅延回路２３１は、第１の映像圧縮器２２０、復号部２３２および逆映像変換部２４０による処理遅延を吸収するバッファとして機能する。なお、遅延回路２３１に相当するバッファは、第２の映像圧縮器２３０の代わりに例えば映像変換部２１０に内蔵されてもよい。

復号部２３２は、第１の映像圧縮器２２０から第１の映像１３の圧縮データに相当する第１のビットストリーム１５を受け取る。復号部２３２は、第１のビットストリーム１５を復号することによって第１の復号映像１７を生成する。復号部２３２は、第１の映像圧縮器２２０（圧縮部２２１）と同一のコーデック（例えばＭＰＥＧ−２）を用いる。復号部２３２は、第１の復号映像１７を逆映像変換部２４０へと出力する。

さらに、復号部２３２は、第１のビットストリーム１５の予測構造を解析し、解析結果に基づいて第１の予測構造情報１６を生成する。第１の予測構造情報１６は、第１のビットストリーム１５に含まれるランダムアクセスポイントの位置を示す。なお、第１のビットストリーム１５のコーデックがＭＰＥＧ−２であれば、復号部２３２は、予測タイプ＝Ｉのピクチャをランダムアクセスポイントとして特定できる。復号部２３２は、第１の予測構造情報１６を予測構造制御部２３３へと出力する。

復号部２３２は、図２０に例示されるように動作する。なお、復号部２３２が用いるコーデックがＭＰＥＧ−２である場合には復号部２３２は既存のＭＰＥＧ−２デコーダと同一または類似の動作を行ってよい。但し、図８を用いて後述されるように、第１のビットストリーム１５および第２のビットストリーム２０の予測構造が同一であって、かつ、ピクチャリオーダリングが必要な場合には、復号部２３２は好ましくは復号ピクチャを表示順に従って並べ替えずに復号順のまま第１の復号映像１７として出力する。

復号部２３２が第１のビットストリーム１５を受け取ると、図２０の映像復号処理およびシンタクスパース処理（解析処理）は開始する。復号部２３２は、第１のビットストリーム１５に対してシンタクスパース処理を行い、ステップＳ３２における映像復号処理に必要な情報を生成する（ステップＳ３１）。

復号部２３２は、ステップＳ３１において生成した情報から各ピクチャの予測タイプに関する情報を抽出し、第１の予測構造情報１６を生成する（ステップＳ３２）。復号部２３２は、ステップＳ３１において生成した情報を用いて第１のビットストリーム１５を復号することにより第１の復号映像１７を生成する（ステップＳ３３）。ステップＳ３３の後に図２０の映像復号処理およびシンタクスパース処理は終了する。なお、第１のビットストリーム１５は動画像の圧縮データであるから、図２０の映像復号処理およびシンタクスパース処理は第１のビットストリーム１５に含まれる１ピクチャ毎に行われる。

なお、第１の映像圧縮器２２０が局所復号映像（これは、第１の復号映像１７に相当する）および第１の予測構造情報１６を出力できる場合には、復号部２３２は削除されてよい。また、第１の映像圧縮器２２０が第１の予測構造情報１６を出力できないものの局所復号映像を出力できる場合には、復号部２３２は図示されないパーサに置き換えられてもよい。パーサは、第１のビットストリーム１５に対してシンタクスパース処理を行い、当該シンタクスパース処理の結果に基づいて第１の予測構造情報１６を生成する。パーサは、複雑な映像復号処理を行う復号部２３２に比べて実装に必要なハードウェアおよびソフトウェアの規模が小さいので、コスト削減効果を期待できる。或いは、復号部２３２が第１のビットストリーム１５の予測構造を解析する機能を備えていない場合（例えば、一般的なデコーダを用いて復号部２３２を実装する場合）にもパーサが追加されてよい。

このように、第１の映像圧縮器２２０または復号部２３２の構成に応じて第２の映像圧縮器２３０の構成を適宜変形（ハードウェアの追加、必要な機能のアドオンなど）すれば、既に製品化またはサービスインされているエンコーダまたはデコーダを利用して図２の映像圧縮装置を実装することができる。

予測構造制御部２３３は、復号部２３２から第１の予測構造情報１６を受け取る。予測構造制御部２３３は、第２のビットストリーム２０の予測構造を制御する第２の予測構造情報１８を第１の予測構造情報１６に基づいて生成する。予測構造制御部２３３は、第２の予測構造情報１８を圧縮部２５０へと出力する。

圧縮映像データ（ビットストリーム）は、複数のピクチャグループ（ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）と呼ばれる）によって形成される。ＧＯＰは、あるランダムアクセスポイントに相当するピクチャから次のランダムアクセスポイントに相当するピクチャまでのピクチャ系列を包含する。さらに、ＧＯＰは、所定の参照関係のいずれかを持つピクチャ系列に相当するサブピクチャグループを１つ以上包含する。すなわち、ＧＯＰが持つ参照関係は、この基本的な参照関係の組み合わせで表すことができる。このサブグループは、ＳＯＰ（Ｓｕｂ−ｇｒｏｕｐ Ｏｆ ＰｉｃｔｕｒｅまたはＳｔｒｕｃｔｕｒｅ Ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれる。ＳＯＰサイズ（Ｍとしても表現される）は、ＳＯＰに含まれるピクチャの総数に等しい。また、後述されるＧＯＰサイズはＧＯＰに含まれるピクチャの総数に等しい。

具体的には、ＭＰＥＧ−２では、Ｉ（Ｉｎｔｒａ）ピクチャ、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャおよびＢ（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ）ピクチャとよばれる３種類の予測タイプが利用可能である。なお、ＭＰＥＧ−２ではＢピクチャは非参照ピクチャとして扱われる。圧縮効率および圧縮遅延の観点から、圧縮順および表示順がともにＩＰＰＰという予測構造（Ｍ＝１）、ならびに、圧縮順がＩＰＢＢであって表示順がＩＢＢＰである予測構造（Ｍ＝３）が典型的に利用される。

第１の映像圧縮器２２０が用いるコーデックがＭＰＥＧ−２であるとすれば、第１のビットストリーム１５は典型的には図５または図６に例示される予測構造を持つ。図５はＳＯＰサイズ＝１かつＧＯＰサイズ＝９の予測構造を示しており、図６はＳＯＰサイズ＝３かつＧＯＰサイズ＝９の予測構造を示している。

図５および以降の図面では、それぞれの箱が１つのピクチャを表しており、ピクチャは表示順に従って並べられている。さらに、それぞれの箱の中に記載されたアルファベットがその箱に対応するピクチャの予測タイプを表し、それぞれの箱の下に記載された数字はその箱に対応するピクチャの圧縮順（復号順）を表す。図５の予測構造ではピクチャの表示順および圧縮順が同一であるからピクチャリオーダリングは必要でない。また、図５および図６の予測構造ではＧＯＰサイズ＝９であるから、表示順の最も遅い（即ち、右端に描かれた）Ｉピクチャは他のピクチャとは異なるＧＯＰに属する。前述のように、ＭＰＥＧ−２ではＢピクチャは非参照ピクチャとして扱われるので、Ｈ．２４６およびＨＥＶＣに比べてＳＯＰサイズの小さい予測構造が選択されやすい。

なお、図５および以降の図面に示される予測構造は例示的なものであり、第１のビットストリーム１５および第２のビットストリーム２０は、コーデックによって許容される範囲内で様々なＧＯＰサイズ、ＳＯＰサイズおよび参照関係を持つ可能性がある。さらに、第１のビットストリーム１５および第２のビットストリーム２０の予測構造は固定である必要はなく、例えば、映像の特性、ユーザ制御、チャネルの帯域幅などの様々な要素に依存して動的に変更されてもよい。例えば、シーンチェンジ直後にＩピクチャを挿入し、ＧＯＰサイズおよびＳＯＰサイズを切り替えることは既存の一般的な映像圧縮装置においても行われている。また、映像の時間的相関の高低に応じて映像のＳＯＰサイズの大小が切り替えられてもよい。

他方、Ｈ．２６４およびＨＥＶＣでは、スライス単位で予測タイプが設定され、Ｉスライス、ＰスライスおよびＢスライスが利用可能である。以降の説明では、便宜的にＢスライスを含むピクチャをＢピクチャと称し、Ｂスライスを含まずＰスライスを含むピクチャをＰピクチャと称し、ＢスライスおよびＰスライスを含まずＩスライスを含むピクチャをＩピクチャと称することとする。また、Ｈ．２６４およびＨＥＶＣでは、Ｂピクチャも参照ピクチャに指定できるので、圧縮効率を高めることができる。Ｈ．２６４およびＨＥＶＣでは、圧縮順がＩＰｂＢＢであって表示順がＩＢｂＢＰとなるＭ＝４の予測構造、ならびに、Ｍ＝８の予測構造が典型的に利用される。なお、ここでは、非参照ＢピクチャをＢで表し、参照Ｂピクチャをｂピクチャで表している。これらの予測構造は階層Ｂ構造も呼ばれ、階層Ｂ構造のＭは２のべき乗で表すことができる。

第２のビットストリーム２０の予測構造を図５に示される予測構造に一致させるとすると、第１のビットストリーム１５および第２のビットストリーム２０の予測構造は図７に示される関係を持つ。同様に、第２のビットストリーム２０の予測構造を図６に示される予測構造に一致させるとすると、第１のビットストリーム１５および第２のビットストリーム２０の予測構造は図８に示される関係を持つ。

後述される層間予測によれば、第２のビットストリーム２０に含まれる各ピクチャは、第１のビットストリーム１５に含まれる同一時刻のピクチャの復号ピクチャを参照可能である。さらに、図７および図８の例では、第２のビットストリーム２０のＧＯＰサイズは第１のビットストリーム１５のＧＯＰサイズと一致するので、第１のビットストリーム１５に含まれる各ランダムアクセスポイント（Ｉピクチャ）に対応する復号ピクチャから第２のビットストリーム２０を復号および再生することが可能である。

図７の例では、第１のビットストリーム１５および第２のビットストリーム２０の予測構造はピクチャリオーダリングを必要としない。故に、第２の映像圧縮器２３０は、第１のビットストリーム１５の任意の時刻のピクチャの復号が完了すれば、第２のビットストリーム２０の同一時刻のピクチャを即座に圧縮できる。すなわち、圧縮遅延は非常に小さい。

図８の例では、第１のビットストリーム１５および第２のビットストリーム２０の予測構造はピクチャリオーダリングを必要とする。前述の通り、第２のビットストリーム２０に含まれる各ピクチャは、第１のビットストリーム１５に含まれる同一時刻のピクチャの復号ピクチャを参照可能である。しかしながら、ピクチャリオーダリングを行い表示順に従って復号映像を出力する一般的なデコーダを用いて復号部２３２が実装されている場合には、第１の復号映像１７が生成されてから出力されるまでに遅延が生じることがある。

具体的には、図８に示される第１のビットストリーム１５に含まれる復号順＝１のＰピクチャは、復号順＝２または３のＢピクチャよりも表示順は遅い。故に、これらのＢピクチャの復号および出力が完了するまで当該Ｐピクチャの復号ピクチャの出力は遅延し、第２のビットストリーム２０において当該Ｐピクチャと同一時刻のＰピクチャの圧縮も遅延する。係る圧縮遅延を解消するためには、復号部２３２が復号ピクチャを表示順に従って並べ替えずに復号順のまま第１の復号映像１７として出力することが好ましい。復号部２３２がこのように動作すれば、第２の映像圧縮器２３０は、図７の例と同様に第１のビットストリーム１５の任意の時刻のピクチャの復号完了後に、第２のビットストリーム２０の同一時刻のピクチャを即座に圧縮できる。

図７および図８に示されるように第２のビットストリーム２０の予測構造が第１のビットストリーム１５の予測構造に一致していることはランダムアクセス性および圧縮遅延の観点では好ましい。他方、圧縮効率の観点では、第２のビットストリーム２０の予測構造が第１のビットストリーム１５の予測構造によって制限され、前述の階層Ｂ構造のような高度な予測構造を利用できないことは好ましくない。

第２のビットストリーム２０の予測構造を第１のビットストリームの予測構造とは独立に決定するとすれば、両者の予測構造は必ずしも一致しない。例えば、第１のビットストリーム１５および第２のビットストリーム２０の予測構造は図９、図１０または図１１に例示される関係を持つかもしれない。

図９の例では、第１のビットストリーム１５はＳＯＰサイズ＝１かつＧＯＰサイズ＝８の予測構造を持ち、第２のビットストリーム２０はＳＯＰサイズ＝４かつＧＯＰサイズ＝８の予測構造を持つ。第２のビットストリーム２０の予測構造は、前述の階層Ｂ構造に相当するので、高い圧縮効率を達成できる。しかしながら、図９の例では第２のビットストリーム２０の圧縮遅延は図７および図８の例に比べて増大する。例えば、第２のビットストリーム２０に含まれる復号順＝１のピクチャは、第１のビットストリーム１５に含まれる復号順＝４のピクチャの復号映像を参照しているから、第１のビットストリーム１５に含まれる復号順＝１〜４のピクチャの復号が完了するまで圧縮することができない。

図１０の例では、第１のビットストリーム１５はＳＯＰサイズ＝３かつＧＯＰサイズ＝９の予測構造を持ち、第２のビットストリーム２０はＳＯＰサイズ＝４かつＧＯＰサイズ＝８の予測構造を持つ。第２のビットストリーム２０の予測構造は、前述の階層Ｂ構造に相当するので、高い圧縮効率を達成できる。しかしながら、図９の例と同様に、図１０の例では第２のビットストリーム２０の圧縮遅延は図７および図８の例に比べて増大する。さらに、第１のビットストリーム１５および第２のビットストリーム２０のＧＯＰサイズが異なるので、両者のランダムアクセスポイントも不一致となることがある。例えば、第１のビットストリーム１５に含まれる圧縮順＝７のＩピクチャから再生を開始したとすると、第２のビットストリーム２０において最初に正しく復号および再生できるピクチャは表示順で９番目のピクチャ以降で圧縮順の最も早いランダムアクセスポイントに相当するピクチャ（典型的にはＰピクチャ）となる。このように第１のビットストリーム１５および第２のビットストリーム２０のＧＯＰサイズが異なる場合には、最大で第２のビットストリーム２０のＧＯＰサイズ相当の再生遅延が生じることになる。

図１１の例では、第１のビットストリーム１５はＳＯＰサイズ＝３かつＧＯＰサイズ＝９の予測構造を持ち、第２のビットストリーム２０はＳＯＰサイズ＝４かつＧＯＰサイズ＝１２の予測構造を持つ。図１１において、第１のビットストリーム１５は４つのＧＯＰ（ＧＯＰ＃１、ＧＯＰ＃２、ＧＯＰ＃３およびＧＯＰ＃４）を含み、各ＧＯＰは３つのＳＯＰ（ＳＯＰ＃１、ＳＯＰ＃２およびＳＯＰ＃３）を含む。他方、第２のビットストリーム２０は３つのＧＯＰ（ＧＯＰ＃１、ＧＯＰ＃２およびＧＯＰ＃３）を含み、各ＧＯＰは３つのＳＯＰ（ＳＯＰ＃１、ＳＯＰ＃２およびＳＯＰ＃３）を含む。図１１の例でも図１０と同様の問題が生じる。例えば、第１のビットストリーム１５のＧＯＰ＃２の先頭ピクチャから再生が開始したとすれば、第２のビットストリーム２０において最初に正しく復号および再生できるピクチャはＧＯＰ＃２の先頭ピクチャとなる。同様に、第１のビットストリーム１５のＧＯＰ＃３の先頭ピクチャから再生が開始したとすれば、第２のビットストリーム２０において最初に正しく復号および再生できるピクチャはＧＯＰ＃３の先頭ピクチャとなる。

概括すれば、第２のビットストリーム２０の予測構造を第１のビットストリーム１５に一致させれば第２のビットストリーム２０の圧縮効率が低下し、第２のビットストリーム２０の予測構造を全く変更しなければ第２のビットストリーム２０のランダムアクセス性が損なわれると共に圧縮遅延が増加するおそれがある。なお、第１の映像圧縮器２２０と同じコーデックを用いる既存の映像再生装置との互換性を確保するためには、第１のビットストリーム１５の予測構造を変更できないこともある。そこで、予測構造制御部２３３は、第２のビットストリーム２０のＳＯＰサイズを変更せずにランダムアクセスポイントを制御することで、第２のビットストリーム２０の圧縮効率の低下ならびに圧縮遅延および機器コストの増加を回避しながらランダムアクセス性を改善する。

具体的には、予測構造制御部２３３は、第１のビットストリーム１５に含まれるランダムアクセスポイントに基づいて第２のビットストリーム２０にランダムアクセスポイントを設定する。第１のビットストリーム１５に含まれるランダムアクセスポイントは第１の予測構造情報１６に基づいて特定することができる。

例えば、予測構造制御部２３３は、第１のビットストリーム１５に含まれるランダムアクセスポイント（例えばＩピクチャ）を第１の予測構造情報１６に基づいて検出すると、第２のビットストリーム２０から、当該ランダムアクセスポイント以降で表示順の最も早いＳＯＰを選択する。そして、予測構造制御部２３３は、選択したＳＯＰのうち圧縮順で最初のピクチャを第２のビットストリーム２０向けのランダムアクセスポイントに設定する。すなわち、第１のビットストリーム１５および第２のビットストリーム２０が図１１に例示される予測構造をデフォルトで持っていたとすると、予測構造制御部２３３は第２のビットストリーム２０の予測構造を図１２に例示されるように制御する。

図１１および図１２を比較すると、第２のビットストリーム２０に含まれるＧＯＰの総数は３つから４つに増加している。図１２の例では、第１のビットストリーム１５のＧＯＰ＃２の先頭ピクチャから再生が開始したとすれば、第２のビットストリーム２０において最初に正しく復号および再生できるピクチャはＧＯＰ＃２の先頭ピクチャとなる。この場合の再生遅延は図１１の例と同じである。しかしながら、第１のビットストリーム１５のＧＯＰ＃３の先頭ピクチャから再生が開始したとすれば、第２のビットストリーム２０において最初に正しく復号および再生できるピクチャはＧＯＰ＃３の先頭ピクチャとなる。この場合の再生遅延は図１１に比べて４ピクチャ相当分改善されている。概括すれば、予測構造制御２３３が第２のビットストリーム２０におけるランダムアクセスポイントを前述のように制御すれば、再生遅延の上限は第２のビットストリーム２０のＧＯＰサイズではなくＳＯＰサイズによって決まるので、第２のビットストリーム２０の予測構造を全く変更しない場合に比べてランダムアクセス性が向上する。

予測構造制御部２３３は、図２１に例示されるように動作する。予測構造制御部２３３が第１の予測構造情報１６を受け取ると、図２１の予測構造制御処理は開始する。予測構造制御部２３３は、圧縮部２５０によって用いられる（デフォルトの）ＧＯＰサイズおよびＳＯＰサイズをそれぞれ設定する（ステップＳ４１およびステップＳ４２）。

予測構造制御部２３３は、第１の予測構造情報１６とステップＳ４１およびステップＳ４２において設定したＧＯＰサイズおよびＳＯＰサイズとに基づいて、第２のビットストリーム２０におけるランダムアクセスポイントを設定する（ステップＳ４３）。

具体的には、予測構造制御部２３３は、第１の予測構造情報１６から第１のビットストリーム１５におけるランダムアクセスポイントを検出しない限りは、ステップＳ４１において設定したデフォルトのＧＯＰサイズに従って各ＧＯＰの先頭ピクチャをランダムアクセスポイントに設定する。他方、予測構造制御部２３３は、第１の予測構造情報１６から第１のビットストリーム１５におけるランダムアクセスポイントを検出すると、第２のビットストリーム２０から、当該ランダムアクセスポイント以降で表示順の最も早いＳＯＰを選択する。そして、予測構造制御部２３３は、選択したＳＯＰのうち圧縮順で最初のピクチャを第２のビットストリーム２０向けのランダムアクセスポイントに設定する。この場合に、ランダムアクセスポイントの直前のＧＯＰのＧＯＰサイズは、ステップＳ４１において設定されたＧＯＰサイズに比べて短縮されるかもしれない。

予測構造制御部２３３は、ステップＳ４１、ステップＳ４２およびステップＳ４３においてそれぞれ設定したＧＯＰサイズ、ＳＯＰサイズおよびランダムアクセスポイントを示す第２の予測構造情報１８を生成する（ステップＳ４４）。ステップＳ４４の後に図２１の予測構造制御処理は終了する。なお、第１の予測構造情報１６は動画像の圧縮データ（第１のビットストリーム１５）に関する情報であるから、図２１の予測構造制御処理は第１のビットストリーム１５に含まれる１ピクチャ毎に行われる。

予測構造制御部２３３は、図１４に例示される第１の予測構造情報１６に基づいて図１５に例示される第２の予測構造情報１８を生成してもよい。
図１４に示される第１の予測構造情報１６は、第１のビットストリーム１５に含まれるピクチャ毎に、当該ピクチャの表示順および圧縮順ならびに当該ピクチャがランダムアクセスポイント（ＲＡＰ）に相当するか否かを示す情報（フラグ）ＲＡＰ＃１を含む。ＲＡＰ＃１は、対応ピクチャがランダムアクセスポイントに相当するならば「１」に設定され、当該対応ピクチャがランダムアクセスポイントに相当しないならば「０」に設定される。図１４の例では、予測タイプ＝Ｉのピクチャに対応するＲＡＰ＃１は「１」に設定され、予測タイプ＝ＰまたはＢのピクチャに対応するＲＡＰ＃１は「０」に設定されている。

図１５に示される第２の予測構造情報１８は、第２のビットストリーム２０に含まれるピクチャ毎に、当該ピクチャの表示順および圧縮順ならびに当該ピクチャがランダムアクセスポイントに相当するかを示す情報（フラグ）ＲＡＰ＃２を含む。ＲＡＰ＃２は、対応ピクチャがランダムアクセスポイントに相当するならば「１」に設定され、当該対応ピクチャがランダムアクセスポイントに相当しないならば「０」に設定される。

予測構造制御部２３３は、図１４のＲＡＰ＃１を参照し、当該ＲＡＰ＃１に「１」を設定されているピクチャを第１のビットストリーム１５におけるランダムアクセスポイントとして検出する。図１４の例では、第１のビットストリーム１５における表示順＝０，９のピクチャが検出されることになる。それから、予測構造制御部２３３は、第２のビットストリーム２０において当該ランダムアクセスポイント以降で表示順の最も早いＳＯＰの先頭ピクチャをランダムアクセスポイントに設定し、設定したランダムアクセスポイントの位置を示す第２の予測構造情報１８（ＲＡＰ＃２）を生成する。

図１５に例示されるように、第２のビットストリーム２０のデフォルトの予測構造がＭ＝４の階層Ｂ構造であるとすれば、表示順＝０，４，８，１２，１６，・・・のピクチャが各ＳＯＰの先頭を占めることになる。すなわち、第１のビットストリーム１５における表示順＝０のピクチャの検出に応じて、予測構造制御部２３３は第２のビットストリーム２０における表示順＝０（≧０）のピクチャをランダムアクセスポイントに設定する。さらに、第１のビットストリーム１５における表示順＝９のピクチャの検出に応じて、予測構造制御部２３３は第２のビットストリーム２０における表示順＝１２（≧９）のピクチャをランダムアクセスポイントに設定する。

なお、後述される圧縮部２５０は、第２のビットストリーム２０におけるランダムアクセスポイントに相当するピクチャを様々な手段により映像再生装置３００に伝達できる。

具体的には、圧縮部２５０は、ＨＥＶＣおよびＳＨＶＣのフォーマット（シンタクス情報など）に従って、ランダムアクセスポイントに設定されたピクチャがランダムアクセス可能であることを明示的に示す情報を第２のビットストリーム２０に記述してもよい。圧縮部２５０は、例えば、ランダムアクセスポイントに相当するピクチャをＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャ若しくはＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャ、または、ＨＥＶＣにおいて規定されるＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）アクセスユニット若しくはＩＲＡＰピクチャに指定してもよい。なお、アクセスユニットとは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットの１セットを意味する用語である。映像再生装置３００は、これらのピクチャ（またはアクセスユニット）がランダムアクセス可能であることを知ることができる。

圧縮部２５０は、ランダムアクセスポイントに設定されたピクチャがランダムアクセス可能であることを明示的に示す情報を、復号に必須の情報ではなく補助情報として、第２のビットストリーム２０に記述することもできる。例えば、圧縮部２５０は、Ｈ．２６４、ＨＥＶＣおよびＳＨＶＣにおいて規定される、Ｒｅｃｏｖｅｒｙ ｐｏｉｎｔ ＳＥＩ （Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ） ｍｅｓｓａｇｅを利用できる。

或いは、圧縮部２５０は、ランダムアクセスポイントに設定されたピクチャがランダムアクセス可能であることを明示的に示す情報を第２のビットストリーム２０に記述しなくてもよい。具体的には、圧縮部２５０は、ピクチャの予測モードを制限することによって、当該ピクチャを即時に復号できるようにしてもよい。予測モードの制限とは、利用可能な様々な予測モードからフレーム間予測（例えば、後述されるマージモードまたは動き補償予測）を除外することであってもよい。この場合に、圧縮部２５０は、圧縮対象ピクチャと時間的位置において異なる参照画像に基づかない予測モード（例えば、後述される画面内予測または層間予測）を利用する。

予測モードの制限されたピクチャの圧縮効率は低下するおそれがあるものの、当該ピクチャは第１のビットストリーム１５における同一時刻のピクチャが復号されれば即時に復号することができる。圧縮部２５０は、図１３に例示されるように、第２のビットストリーム２０において、第１のビットストリーム１５におけるランダムアクセスポイントと同一時刻のピクチャから当該ピクチャが属するＧＯＰの最終ピクチャまで（これらのピクチャは図１３において太い矢印で示されている）の１枚以上のピクチャの予測モードを制限する。

この例によれば、映像再生装置３００は第１のビットストリーム１５におけるランダムアクセスポイントと同一時刻のピクチャを即時に復号できるので、第２のビットストリーム２０の復号遅延は非常に小さい（すなわち、ランダムアクセス性が高い）。なお、ここで説明される復号遅延は、ビットストリームの受信、ピクチャリオーダリングの実行などに伴う遅延を無視したものである。なお、第２のビットストリーム２０において所与のピクチャがランダムアクセス可能であることは、例えば前述のＳＥＩメッセージを用いて映像再生装置３００に伝達されてもよい。或いは、映像再生装置３００が第１のビットストリーム１５に基づいて第２のビットストリーム２０において所与のピクチャがランダムアクセス可能であるか否かを判定する、という規定が予め設けられてもよい。

逆映像変換部２４０は、復号部２３２から第１の復号映像１７を受け取る。逆映像変換部２４０は、第１の復号映像１７に逆映像変換を適用することによって、逆変換された第１の復号映像１９を生成する。逆映像変換部２４０は、逆変換された第１の復号映像１９を圧縮部２５０へと出力する。逆変換された第１の復号映像１９の映像フォーマットは第２の映像１４の映像フォーマットに一致する。すなわち、ベースバンド映像１０と第２の映像１４の映像フォーマットが同一であるならば、逆映像変換部２４０は映像変換部２１０の逆変換を行うことになる。なお、第１の復号映像１７（即ち、第１の映像１３）の映像フォーマットが第２の映像１４の映像フォーマットと同一であるならば、逆映像変換部２４０はパススルーを選択してもよい。

具体的には、逆映像変換部２４０は、図４に例示されるように、スイッチと、パススルー部２４１と、逆解像度変換部２４２と、ｉ／ｐ変換部２４３と、逆フレームレート変換部２４４と、逆ビット深度変換部２４５と、逆色空間変換部２４６と、逆ダイナミックレンジ変換部２４７とを含む。逆映像変換部２４０は、階層化によって実現されるスケーラビリティの種別（換言すれば、映像変換部２１０によって適用された映像変換）に応じてスイッチの出力端を制御し、第１の復号映像１７を、パススルー部２４１、逆解像度変換部２４２、ｉ／ｐ変換部２４３、逆フレームレート変換部２４４、逆ビット深度変換部２４５、逆色空間変換部２４６および逆ダイナミックレンジ変換部２４７のいずれかへと導く。図４のスイッチは図３のスイッチと連動して制御される。

図４の逆映像変換部２４０は、図１９に例示されるように動作する。逆映像変換部２４０が第１の復号映像１７を受け取ると、図１９の逆映像変換処理は開始する。逆映像変換部２４０は、階層化によって実現されるスケーラビリティを設定する（ステップＳ２１）。逆映像変換部２４０は、例えば、画質スケーラビリティ、解像度スケーラビリティ、時間スケーラビリティ、映像フォーマットスケーラビリティ、ビット深度スケーラビリティ、色空間スケーラビリティ、ダイナミックレンジスケーラビリティなどを設定する。

逆映像変換部２４０は、ステップＳ２１において設定したスケーラビリティの種別に応じてスイッチの出力端の接続先を設定する（ステップＳ２２）。どのスケーラビリティが設定された場合にスイッチの出力端がどこに接続されるかは後述される。

逆映像変換部２４０は、第１の復号映像１７をステップＳ２２において設定した接続先へと導き、逆映像変換を適用することで逆変換された第１の復号映像１９を生成する（ステップＳ２３）。ステップＳ２３の後に図１９の逆映像変換処理は終了する。なお、第１の復号映像１７は動画像であるから、図１９の逆映像変換処理は第１の復号映像１７に含まれる１ピクチャ毎に行われる。

逆映像変換部２４０は、画質スケーラビリティを実現するために、スイッチの出力端をパススルー部２４１に接続してもよい。パススルー部２４１は、第１の復号映像１７をそのまま逆変換された第１の復号映像１９として出力する。

逆映像変換部２４０は、解像度スケーラビリティを実現するために、スイッチの出力端を逆解像度変換部２４２に接続してもよい。逆解像度変換部２４２は、第１の復号映像１７の解像度を変更することによって、逆変換された第１の復号映像１９を生成する。例えば、逆映像変換部２４０は、第１の復号映像１７の解像度を１４４０×１０８０画素から１９２０×１０８０画素へとアップコンバートしたり、第１の復号映像１７のアスペクト比を４：３から１６：９へと変換したりしてもよい。アップコンバートは、例えば線形フィルタ処理、超解像処理などを用いて実現されてよい。

逆映像変換部２４０は、時間スケーラビリティまたは映像フォーマットスケーラビリティを実現するために、スイッチの出力端をｉ／ｐ変換部２４３に接続してもよい。ｉ／ｐ変換部２４３は、第１の復号映像１７の映像フォーマットをインターレース映像からプログレッシブ映像へと変更することにより、逆変換された第１の復号映像１９を生成する。ｉ／ｐ変換は、例えば線形フィルタ処理を用いて実現されてよい。

逆映像変換部２４０は、時間スケーラビリティを実現するために、スイッチの出力端を逆フレームレート変換部２４４に接続してもよい。逆フレームレート変換部２４４は、第１の復号映像１７のフレームレートを変更することによって、逆変換された第１の復号映像１９を生成する。例えば、逆フレームレート変換部２４４は、第１の復号映像１７に対して補間処理を行うことでフレームレートを３０ｆｐｓから６０ｆｐｓへと増加させてもよい。補間処理は、例えば生成されるフレームの前後にある複数枚のフレームに対する動き探索を利用してもよい。

逆映像変換部２４０は、ビット深度スケーラビリティを実現するために、スイッチの出力端を逆ビット深度変換部２４５に接続してもよい。逆ビット深度変換部２４５は、第１の復号映像１７のビット深度を変更することによって、逆変換された第１の復号映像１９を生成する。例えば、逆ビット深度変換部２４５は、第１の復号映像１７のビット深度を８ビットから１０ビットに拡張してもよい。ビット深度の拡張は、左ビットシフトを用いて実現されてもよいし、ＬＵＴを用いた画素値のマッピングによって実現されてもよい。

逆映像変換部２４０は、色空間スケーラビリティを実現するために、スイッチの出力端を逆色空間変換部２４６に接続してもよい。逆色空間変換部２４６は、第１の復号映像１７の色空間フォーマットを変更することによって、逆変換された第１の復号映像１９を生成する。例えば、逆色空間変換部２４６は、第１の復号映像１７の色空間をＩＴＵ−Ｒ Ｒｅｃ．ＢＴ．７０９で勧告されている色空間フォーマットからＩＴＵ−Ｒ Ｒｅｃ．ＢＴ．２０２０で勧告されている色空間フォーマットに変更してもよい。なお、ここで例示された色空間フォーマットの変更を実現するための変換式は上記勧告に記載されている。また、他の色空間フォーマットの変更についても所定の変換式などを用いて容易に実現可能である。

逆映像変換部２４０は、ダイナミックレンジスケーラビリティを実現するために、スイッチの出力端を逆ダイナミックレンジ変換部２４７に接続してもよい。逆ダイナミックレンジ変換部２４７は、第１の復号映像１７のダイナミックレンジを変更することにより、逆変換された第１の復号映像１９を生成する。例えば、逆ダイナミックレンジ変換部２４７は、第１の復号映像１７のダイナミックレンジを広くしてもよい。具体的には、逆ダイナミックレンジ変換部２４７は、テレビパネルが表現できるダイナミックレンジに応じたガンマ変換を第１の復号映像１７に適用することでダイナミックレンジの変更を実現できる。

なお、逆映像変換部２４０は図４に例示される構成に限定されない。故に、図４に例示される種々の機能部の一部または全部が必要に応じて削除されてもよい。また、図４の例では複数の逆映像変換が択一的に選択されているが、複数の逆映像変換が併用されてもよい。例えば、解像度スケーラビリティおよび映像フォーマットスケーラビリティの両方を実現するために、逆映像変換部２４０は第１の復号映像１７に解像度変換およびｉ／ｐ変換を逐次適用してもよい。

さらに、目的とする複数のスケーラビリティの組み合わせが予め定められている場合には、当該複数のスケーラビリティを実現するための複数の逆映像変換を予め共通化しておくことで計算コストを抑制できることがある。例えば、アップコンバートおよびｉ／ｐ変換はいずれも線形フィルタ処理を用いて実現可能であるから、これらを一括して実行すれば２つの線形フィルタ処理を逐次実行する場合に比べて演算誤差および丸め誤差を低減させることができる。

或いは、複数の拡張レイヤ映像を圧縮するために、１つの逆映像変換が複数の段階に分割されてもよい。例えば、逆映像変換部２４０は、第１の復号映像１７の解像度を１４４０×１０８０画素から１９２０×１０８０画素にアップコンバートすることにより逆変換された第１の復号映像１９を生成し、さらに逆変換された第１の復号映像１９の解像度を１９２０×１０８０画素から３８４０×２１６０画素にアップコンバートしてもよい。この３８４０×２１６０画素の映像は、第２の映像１４よりもさらに高解像度の拡張レイヤ映像に相当する第３の映像（図示されない）を圧縮するために利用可能である。

なお、第１の映像１３の映像フォーマットに関する情報は第１のビットストリーム１５に明示的に埋め込まれている。同様に、第２の映像１４の映像フォーマットに関する情報は第２のビットストリーム２０に明示的に埋め込まれている。なお、第１の映像１３の映像フォーマットに関する情報は、第１のビットストリーム１５に加えて第２のビットストリーム２０に明示的に埋め込まれていてもよい。

映像フォーマットに関する情報は、例えば、映像がプログレッシブ映像またはインターレース映像であることを示す情報、インターレース映像の位相を示す情報、映像のフレームレートを示す情報、映像の解像度を示す情報、映像のビット深度を示す情報、映像の色空間フォーマットを示す情報、映像のコーデックを示す情報などである。

圧縮部２５０は、遅延回路２３１から第２の映像１４を受け取り、予測構造制御部２３３から第２の予測構造情報１８を受け取り、逆映像変換部２４０から逆変換された第１の復号映像１９を受け取る。圧縮部２５０は、逆変換された第１の復号映像１９に基づいて第２の映像１４を圧縮することによって第２のビットストリーム２０を生成する。なお、圧縮部２５０は、第２の予測構造情報１８の示す予測構造（ＧＯＰサイズ、ＳＯＰサイズおよびランダムアクセスポイントの位置）に従って第２の映像１４を圧縮する。圧縮部２５０は、第１の映像圧縮器２２０（圧縮部２２１）とは異なるコーデック（例えばＳＨＶＣ）を用いる。圧縮部２５０は、第２のビットストリーム２０をデータ多重化部２６０へと出力する。

圧縮部２５０は、図２２に例示されるように動作する。圧縮部２５０が第２の映像１４と第２の予測構造情報１８と逆変換された第１の復号映像１９とを受け取ると、図２２の映像圧縮処理は開始する。

圧縮部２５０は、第２の予測構造情報１８に従って、ＧＯＰサイズおよびＳＯＰサイズをそれぞれ設定する（ステップＳ５１およびステップＳ５２）。さらに、圧縮部２５０は、圧縮対象ピクチャが第２の予測構造情報１８において定められるランダムアクセスポイントに該当するならば、当該圧縮対象ピクチャをランダムアクセスポイントとして設定する（ステップＳ５３）。

圧縮部２５０は、逆変換された第１の復号映像１９に基づいて第２の映像１４を圧縮することによって第２のビットストリーム２０を生成する（ステップＳ５４）。ステップＳ５４の後に図２２の映像圧縮処理は終了する。なお、第２の映像１４は動画像であるから、図２１の映像圧縮処理は第２の映像１４に含まれる１ピクチャ毎に行われる。

具体的には、圧縮部２５０は、図２８に例示されるように、時空間相関制御部７０１と、減算器７０２と、変換／量子化部７０３と、エントロピー符号化部７０４と、逆量子化／逆変換部７０５と、加算器７０６と、ループフィルタ部７０７と、画像バッファ部７０８と、予測画像生成部７０９と、モード判定部７１０とを含むことができる。図２８の圧縮部２５０は、図２には示されない符号化制御部７１１によって制御される。

時空間相関制御部７０１は、第２の映像１４を遅延回路２３１から受け取り、逆変換された第１の復号映像１９を逆映像変換部２４０から受け取る。時空間相関制御部７０１は、逆変換された第１の復号映像１９と第２の映像１４との間の時空間相関を高めるためのフィルタ処理を当該第２の映像１４に適用することによってフィルタ画像４２を生成する。時空間相関制御部７０１は、フィルタ画像４２を減算器７０２およびモード判定部７１０へと出力する。

具体的には、時空間相関制御部７０１は、図２９に例示されるように、時間フィルタ７２１と、空間フィルタ７２２と、フィルタ制御部７２３とを含む。

時間フィルタ７２１は、第２の映像１４を受け取り、当該第２の映像１４に対して動き補償を用いた時間方向のフィルタ処理を適用する。この時間方向のフィルタ処理によって第２の映像１４に含まれる時間方向の相関の低いノイズが低減される。例えば、時間フィルタ７２１は、フィルタ対象の画像ブロックの前後２ないし３フレームに対してブロックマッチングを行い、ブロック誤差（差分絶対値和）が閾値以下であった画像ブロックを用いてフィルタ処理を行ってよい。フィルタ処理は、エッジを考慮したεフィルタ処理であってもよいし、通常のローパスフィルタ処理であってもよい。時間方向のローパスフィルタを適用することで時間方向の相関が高まるので、圧縮性能を向上させることができる。

特に、第２の映像１４が高精細映像である場合には、イメージセンサの画素サイズが小さくなることに起因して様々なタイプのノイズが増加する。また、第２の映像１４に対して現像処理（画像変換）、カラーコレクション処理などのポストプロダクション処理（グレーディング処理）を適用した場合には、リンギングアーチファクト（先鋭なエッジに沿ったノイズ）が強調される。これらのノイズを放置したまま第２の映像１４を圧縮すると、当該ノイズを忠実に再現するために相当量の符号が割り当てられるので主観画質は劣化する。時間フィルタ７２１によってこれらのノイズを低減させることで、圧縮映像データのサイズを維持したまま主観画質を向上させることができる。

時間フィルタ７２１はバイパスすることも可能である。時間フィルタ７２１の有効化／無効化はフィルタ制御部７２３によって制御されてよい。具体的には、フィルタ制御部７２３は、フィルタ対象の画像ブロック周辺の時間方向の相関が低い（例えば、時間方向の相関係数が閾値以下である）場合、または、シーンチェンジが生じる場合には、時間フィルタ７２１を無効化としてもよい。

空間フィルタ７２２は、第２の映像１４（または、時間フィルタ７２１によってフィルタ処理されたフィルタ画像）を受け取り、当該第２の映像１４に含まれる各画像の画面内の空間相関を制御するフィルタ処理を行う。具体的には、空間フィルタ７２２は、逆変換された第１の復号映像１９と第２の映像１４との間の空間周波数特性の乖離を抑制するように、第２の映像１４を逆変換された第１の復号映像１９へと近づけるフィルタ処理を行う。空間フィルタ７２２は、ローパスフィルタ処理または他のより複雑な処理（例えば、バイラテラルフィルタ、画素適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、ウィーナーフィルタなど）を用いて実現可能である。

後述されるように、圧縮部２５０は層間予測および動き補償予測を利用可能であるが、これらの予測によって生成された予測画像の傾向が大きく異なる可能性がある。第２のビットストリーム２０によって使用可能なデータ量（目標ビットレート）が第２の映像１４のデータ量に比して十分である場合には、層間予測および動き補償予測によって生成された予測画像の傾向が大きく異なっていたとしても変換／量子化部７０３によって行われる量子化処理によって削減されるデータ量は相対的に小さいので、主観画質への影響は限定的である。他方、第２のビットストリーム２０によって使用可能なデータ量が第２の映像１４のデータ量に比して十分でない場合には、層間予測に基づいて生成された復号画像と動き補償予測に基づいて生成された復号画像との傾向が大きく異なり、主観画質は劣化するかもしれない。空間フィルタ７２２によって第２の映像１４の空間特性を逆変換された第１の復号映像１９の空間特性に近づけることで、係る主観画質の劣化を抑制することができる。

空間フィルタ７２２のフィルタ強度は固定である必要はなく、フィルタ制御部７２３によって動的に制御されてよい。空間フィルタ７２２のフィルタ強度は、例えば、第２のビットストリーム２０の目標ビットレート、第２の映像１４の圧縮困難性および逆変換された第１の復号映像１９の画質の３つの指標に基づいて制御されてよい。具体的には、第２のビットストリーム２０の目標ビットレートが低いほど空間フィルタ７２２のフィルタ強度は強くなるように制御され、第２の映像１４の圧縮困難性が高いほど空間フィルタ７２２のフィルタ強度は強くなるように制御され、逆変換された第１の復号映像１９の画質が低いほど空間フィルタ７２２のフィルタ強度は強くなるように制御されてよい。

なお、空間フィルタ７２２はバイパスすることも可能である。空間フィルタ７２２の有効化／無効化はフィルタ制御部７２３によって制御されてよい。具体的には、フィルタ制御部７２３は、フィルタ対象画像の空間解像度が高くない場合、または、上記３つの指標に基づいて導出されたフィルタ強度が最低である場合には、空間フィルタ７２２を無効化してもよい。

なお、第２のビットストリーム２０によって使用可能なデータ量が第２の映像１４のデータ量に比して十分であるか否かの基準量は、例えば、第２の映像１４の映像フォーマットが１９２０×１０８０画素、ＹＵＶ４：２：０、８ビット深度および６０ｆｐｓ（１．９Ｇｂｐｓ相当）であってコーデックがＨＥＶＣであるならば、１０Ｍｂｐｓ（圧縮比＝１９０：１）程度である。この例において、第２の映像１４の解像度が３８４０×２１６０画素に拡大するとすれば、基準量は４０Ｍｂｐｓ程度である。

フィルタ制御部７２３は、時間フィルタ７２１の有効化／無効化を制御したり、空間フィルタ７２２の有効化／無効化および強度を制御したりする。

減算器７０２は、時空間相関制御部７０１からフィルタ画像４２を受け取り、モード判定部７１０から予測画像４３を受け取る。減算器７０２は、フィルタ画像４２から予測画像４３を減算することによって予測誤差４４を生成する。減算器７０２は、予測誤差４４を変換／量子化部７０３へと出力する。

変換／量子化部７０３は、予測誤差４４に対して例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの直交変換を適用することによって変換係数を得る。さらに、変換／量子化部７０３は、変換係数を量子化することにより量子化変換係数４５を得る。量子化は、例えば変換係数を量子化幅に対応する整数で除算する処理で実現されてもよい。変換／量子化部７０３は、量子化変換係数４５をエントロピー符号化部７０４および逆量子化／逆変換部７０５へと出力する。

エントロピー符号化部７０４は、変換／量子化部７０３から量子化変換係数４５を受け取る。エントロピー符号化部７０４は、量子化変換係数４５に加えて復号に必要なパラメータ（量子化情報、予測モード情報など）を２値化および可変長符号化することにより、第２のビットストリーム２０を生成する。第２のビットストリーム２０の構造は、圧縮部２５０が用いるコーデック（例えばＳＨＶＣ）の仕様に準拠する。

逆量子化／逆変換部７０５は、変換／量子化部７０３から量子化変換係数４５を受け取る。逆量子化／逆変換部７０５は、量子化変換係数４５を逆量子化することによって復元変換係数を得る。さらに、逆量子化／逆変換部７０５は、復元変換係数に対して例えばＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）などの逆直交変換を適用することによって復元予測誤差４６を得る。逆量子化は、例えば復元変換係数に量子化幅に対応する整数を乗算する処理で実現されてもよい。逆量子化／逆変換部７０５は、復元予測誤差４６を加算器７０６へと出力する。

加算器７０６は、モード判定部７１０から予測画像４３を受け取り、逆量子化／逆変換部７０５から復元予測誤差４６を受け取る。加算器７０６は、予測画像４３および復元予測誤差４６を加算することによって局所復号画像４７を生成する。加算器７０６は、局所復号画像４７をループフィルタ部７０７へと出力する。

ループフィルタ部７０７は、加算器７０６から局所復号画像４７を受け取る。ループフィルタ部７０７は、局所復号画像４７に対してフィルタ処理を行うことによってフィルタ画像を生成する。フィルタ処理は、例えば、デブロッキングフィルタ処理、画素適応オフセット処理などであってもよい。ループフィルタ部７０７は、フィルタ画像を画像バッファ部７０８へと出力する。

画像バッファ部７０８は、逆映像変換部２４０から逆変換された第１の復号映像１９を受け取り、ループフィルタ部７０７からフィルタ画像を受け取る。画像バッファ部７０８は、逆変換された第１の復号映像１９およびフィルタ画像を参照画像として保存する。画像バッファ部７０８に保存された参照画像は必要に応じて予測画像生成部７０９へと出力される。

予測画像生成部７０９は、画像バッファ部７０８から参照画像を受け取る。予測画像生成部７０９は、例えば後述される画面内予測、動き補償予測、層間予測、マージモードなどの様々な予測モードを利用可能である。予測画像生成部７０９は、１以上の予測モードの各々について、参照画像に基づいてブロック単位で予測画像を生成する。予測画像生成部７０９は、生成した１つ以上の予測画像をモード判定部７１０へと出力する。

具体的には、予測画像生成部７０９は、図３０に例示されるように、マージモード処理部７３１と、動き補償予測処理部７３２と、層間予測処理部７３３と、画面内予測処理部７３４とを含んでいてもよい。

マージモード処理部７３１は、ＨＥＶＣにおいて規定されるマージモードに従って予測を行う。マージモードは、動き補償予測の一種であるが、圧縮対象ブロックの動き情報（例えば、動きベクトル情報、参照画像のインデックスなど）として当該圧縮対象ブロックと時空間方向で近接する圧縮済みブロックの動き情報がコピーされる。マージモードによれば、圧縮対象ブロックの動き情報そのものは符号化されないので、通常の動き補償予測に比べてオーバーヘッドが抑制される。他方、例えば、ズームイン、ズームアウト、加速度的なカメラモーションなどを含む映像では、圧縮対象ブロックの動き情報が近隣の圧縮済みブロックの動き情報と類似しにくくなる。故に、このような映像に対してマージモード処理を選択すると、特に十分なビットレートが確保できない場合に主観画質が低下することになる。

動き補償予測処理部７３２は、圧縮対象ブロックとは時間的位置（すなわち、表示順）の異なる局所復号画像（参照画像）を参照して圧縮対象ブロックの動き探索を行い、探索された動き情報に基づいて予測画像を生成する。動き補償予測によれば、予測画像は圧縮対象ブロックとは時間的位置の異なる参照画像から生成されるので、例えば、圧縮対象ブロックの表す移動体が時間と共に変形する場合、画面内の平均輝度が時間と共に変動する場合などには、高い予測精度を達成することが困難となって主観画質が低下することがある。

層間予測処理部７３３は、逆変換された第１の復号映像１９（参照画像）を参照して圧縮対象ブロックに対応する参照画像ブロック（すなわち、圧縮対象ブロックと時間的位置および空間的位置が同一の参照画像内のブロック）をコピーすることにより予測画像を生成する。逆変換された第１の復号映像１９の画質が安定していれば、層間予測を選択した場合の主観画質も安定する。

画面内予測処理部７３４は、圧縮対象ブロックと同じ画面内で当該圧縮対象ブロックに隣接する圧縮済み画素ライン（参照画像）を参照して予測画像を生成する。

モード判定部７１０は、時空間相関制御部７０１からフィルタ画像４２を受け取り、予測画像生成部７０９から１つ以上の予測画像を受け取る。モード判定部７１０は、予測画像生成部７０９が利用した１つ以上の予測モードの各々の符号化コストを少なくともフィルタ画像４２を用いて算出し、符号化コストが最低となる予測モードを選択する。モード判定部７１０は、選択した予測モードに対応する予測画像を予測画像４３として減算器７０２および加算器７０６へと出力する。

例えば、モード判定部７１０は下記数式（１）に従って符号化コストＫを算出してもよい。

数式（１）において、ＳＡＤはフィルタ画像４２と予測画像４３との間の差分絶対値和（すなわち、予測誤差４４の絶対値和）を表す。λは量子化パラメータに基づいて定められるラグランジュ未定乗数である。ＯＨは、対象の予測モードを選択した場合の予測情報（例えば、動きベクトル、予測ブロックサイズなど）の符号量を表す。

なお、数式（１）は、種々の変形が可能である。例えば、モード判定部７１０は、Ｋ＝ＳＡＤまたはＫ＝ＯＨとしてもよいし、ＳＡＤにアダマール変換を適用することによって得られる値またはその近似値を利用してもよい。

或いは、モード判定部７１０は下記数式（２）に従って符号化コストＪを算出してもよい。

数式（２）において、Ｄは対象の予測モードに対応する局所復号画像とフィルタ画像４２との間の二乗誤差和（すなわち符号化歪）を表す。Ｒは対象の予測モードに対応する予測誤差を仮符号化した場合の発生符号量を表す。

符号化コストＪを算出するためには、予測モード毎に仮符号化処理および局所復号処理を行う必要があるので、回路規模または演算量が増大する。反面、符号化コストＪによれば、符号化コストＫに比べて符号化コストを適切に評価することが可能であるので、高い符号化効率を安定的に達成できる。

なお、数式（２）は、種々の変形が可能である。例えば、モード判定部７１０は、Ｊ＝ＤまたはＪ＝Ｒとしてもよいし、ＤまたはＲの近似値を利用してもよい。

層間予測および動き補償予測を比較すると、両者の符号化コストが同程度であるならば層間予測を選択した方が主観画質は安定しやすい傾向にある。故に、モード判定部７１０は、例えば下記数式（３）に従って、層間予測が他の予測（特に、動き補償予測）に比べて優先的に選択されるように符号化コストを重み付けしてもよい。

数式（３）において、ｗは重み係数を表しており１より大きな値（例えば１．５）に設定される。すなわち、層間予測の符号化コストが他の予測モードの重み付け前の符号化コストと同程度であるならば、モード判定部７１０は層間予測を選択することになる。

なお、数式（３）に示される重み付けは、例えば動き補償予測または層間予測の符号化コストＪが閾値以上である場合に限って行われてもよい。動き補償予測の符号化コストが（相当に）高い場合には、対象ブロックに動き補償予測が妥当しないかもしれず、動きのずれやアーチファクトを引き起こすかもしれない。他方、層間予測は、時間的位置が同一の参照画像ブロックを利用するので、これらの（動き関連の）アーチファクトは本質的に生ない。故に、動き補償予測が妥当しない圧縮対象ブロックには層間予測を選択することで、主観画質の劣化（特に、時間方向の画質劣化）が抑制されやすい。このように条件付きで数式（３）に示される重み付けを行うことで、動き補償予測が妥当する圧縮対象ブロックに対しては各予測モードを公平に評価し、動き補償予測が妥当しない圧縮対象ブロックに対しては層間予測モードが優先的に選択されるように各予測モードを評価することが可能である。

符号化制御部７１１は、前述のように圧縮部２５０を制御する。具体的には、符号化制御部７１１は、変換／量子化部７０３によって行われる量子化例えば、量子化パラメータの大きさ）を制御してもよい。係る制御は、量子化処理によって削減されるデータ量の調整に相当し、レート制御に寄与する。また、符号化制御部７１１は、第２のビットストリーム２０の出力タイミングを制御（すなわち、ＣＰＢ（Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）を制御）したり、画像バッファ部７０８における占有量を制御したりしてもよい。さらに、符号化制御部７１１は、第２の予測構造情報１８に従って、第２のビットストリーム２０の予測構造を制御してもよい。

データ多重化部２６０は、映像記録装置１１０から映像同期信号１１を受け取り、第１の映像圧縮器２２０から第１のビットストリーム１５を受け取り、第２の映像圧縮器２３０から第２のビットストリーム２０を受け取る。映像同期信号１１は、ベースバンド映像１０に含まれる各フレームの再生タイミングを示す。データ多重化部２６０は、映像同期信号１１に基づいて後述される参照情報２２および同期情報２３を生成する。

参照情報２２は、映像再生装置３００に内蔵されるシステムクロックを映像圧縮装置２００に内蔵されるシステムクロックと同期させるための基準クロック値を示す。換言すれば、参照情報２２を介して、映像圧縮装置２００と映像再生装置３００との間のシステムクロックの同期が実現される。

同期情報２３は、第１のビットストリーム１５および第２のビットストリーム２０の上記システムクロックを基準とした再生時刻または復号時刻を示す情報である。故に、映像圧縮装置２００と映像再生装置３００との間のシステムクロックとの間でシステムクロックが同期していなければ、映像再生装置３００は映像圧縮装置２００によって設定されたタイミングとは異なるタイミングで映像を復号および再生することになる。

さらに、データ多重化部２６０は、第１のビットストリーム１５、第２のビットストリーム２０、参照情報２２および同期情報２３を多重化することによって多重化ビットストリーム１２を生成する。データ多重化部２６０は、多重化ビットストリーム１２を映像送信装置１２０へと出力する。

多重化ビットストリーム１２は、例えばＭＰＥＧ−２システムにおいて定義されるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットと呼ばれる可変長パケットを多重化することによって生成されてもよい。ＰＥＳパケットは、図１７に例示されるデータフォーマットを持つ。図１７のフラグおよび拡張データのフィールドには、例えばＰＥＳパケットの優先度を示すＰＥＳプライオリティ、映像または音声の再生（表示）時刻または復号時刻の指定があるか否かの情報、誤り検出符号を使用するか否かの情報などが記述される。

具体的には、データ多重化部２６０は、図１６に例示されるように、ＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）生成部２６１と、同期情報生成部２６２と、参照情報生成部２６３と、メディア多重化部２６４とを含むことができる。なお、図１６のデータ多重化部２６０は、ＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を多重化フォーマットとして利用している。しかしながら、ＭＰＥＧ−２ ＴＳの代わりにＭＰ４、ＭＰＥＧ−ＤＡＳＨ、ＭＭＴ、ＡＳＦなどで規定される既存のマルチメディアコンテナが利用されてよい。

ＳＴＣ生成部２６１は、映像記録装置１１０から映像同期信号１１を受け取り、当該映像同期信号１１に応じてＳＴＣ信号２１を生成する。ＳＴＣ信号２１はＳＴＣのカウント値を示しており、ＳＴＣの動作周波数はＭＰＥＧ−２ ＴＳでは２７ＭＨｚに定められている。ＳＴＣ生成部２６１は、ＳＴＣ信号２１を同期情報生成部２６２および参照情報生成部２６３へと出力する。

同期情報生成部２６２は、映像記録装置１１０から映像同期信号１１を受け取り、ＳＴＣ信号２１をＳＴＣ生成部２６１から受け取る。同期情報生成部２６２は、映像または音声の再生時刻または復号時刻に対応するＳＴＣ信号２１に基づいて同期情報２３を生成する。同期情報生成部２６２は、同期情報２３をメディア多重化部２６４へと出力する。同期情報２３は、例えばＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）またはＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）に相当する。映像再生装置３００は、その内部で再生したＳＴＣ信号がＤＴＳに一致すると対応するユニットを復号し、当該ＳＴＣ信号がＰＴＳに一致すると対応する復号済みユニットを再生（表示）する。

参照情報生成部２６３は、ＳＴＣ生成部２６１からＳＴＣ信号２１を受け取る。参照情報生成部２６３は、ＳＴＣ信号２１に基づいて参照情報２２を間欠的に生成し、メディア多重化部２６４へと出力する。参照情報２２は、例えばＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）に相当する。参照情報２２の送信間隔は、映像圧縮装置２００と映像再生装置３００との間のシステムクロックの同期精度に関わる。

メディア多重化部２６４は、第１の映像圧縮器２２０から第１のビットストリーム１５を受け取り、第２の映像圧縮器２３０から第２のビットストリーム２０を受け取り、同期情報生成部２６２から同期情報２３を受け取り、参照情報生成部２６３から参照情報２２を受け取る。メディア多重化部２６４は、第１のビットストリーム１５、第２のビットストリーム２０、参照情報２２および同期情報２３を所定のフォーマットに従い多重化し、多重化ビットストリーム１２を生成する。メディア多重化部２６４は、多重化ビットストリーム１２を映像送信装置１２０へと出力する。なお、メディア多重化部２６４は、図示されない音声圧縮器によって圧縮された音声データに相当する音声のビットストリーム２４を多重化ビットストリーム１２に埋め込んでもよい。

図２５に例示されるように、映像再生装置３００は、データ逆多重化部３１０と、第１の映像復号器３２０と、第２の映像復号器３３０とを含む。映像再生装置３００は、映像受信装置１４０から多重化ビットストリーム２７を受け取り、当該多重化ビットストリーム２７を逆多重化して複数階層（図２５の例では２階層）のビットストリームを得る。映像再生装置３００は、複数階層のビットストリームを復号することによって第１の復号映像３２および第２の復号映像３４を再生する。映像再生装置３００は、第１の復号映像３２および第２の復号映像３４を表示装置１５０へと出力する。

データ逆多重化部３１０は、映像受信装置１４０から多重化ビットストリーム２７を受け取り、当該多重化ビットストリーム２７を逆多重化することによって第１のビットストリーム３０および第２のビットストリーム３１と種々の制御情報とを抽出する。多重化ビットストリーム２７、第１のビットストリーム３０および第２のビットストリーム３１は、前述の多重化ビットストリーム１２、第１のビットストリーム１５および第２のビットストリーム２０にそれぞれ相当する。

さらに、データ逆多重化部３１０は、多重化ビットストリーム２７から抽出された制御情報に基づいて第１の復号映像３２および第２の復号映像３４に含まれる各フレームの再生タイミングを示す映像同期信号２９を生成する。データ逆多重化部３１０は、映像同期信号２９および第１のビットストリーム３０を第１の映像復号器３２０へと出力し、映像同期信号２９および第２のビットストリーム３１を第２の映像復号器３３０へと出力する。

具体的には、データ逆多重化部３１０は、図２６に例示されるように、逆メディア多重化部３１１と、ＳＴＣ再生部３１２と、同期情報再生部３１３と、映像同期信号生成部３１４とを含むことができる。データ逆多重化部３１０は、図１６のデータ多重化部２６０の逆処理を行う。

逆メディア多重化部３１１は、映像受信装置１４０から多重化ビットストリーム２７を受け取る。逆メディア多重化部３１１は、多重化ビットストリーム２７を所定のフォーマットに従って逆多重化することによって、第１のビットストリーム３０、第２のビットストリーム３１、参照情報３５および同期情報３６を抽出する。参照情報３５および同期情報３６は、前述の参照情報２２および同期情報２３にそれぞれ相当する。逆メディア多重化部３１１は、第１のビットストリーム３０を第１の映像復号器３２０へと出力し、第２のビットストリーム３１を第２の映像復号器３３０へと出力し、参照情報３５をＳＴＣ再生部３１２へと出力し、同期情報３６を同期情報再生部３１３へと出力する。なお、逆メディア多重化部３１１は、音声のビットストリーム５２を多重化ビットストリーム２７から抽出し、図示されない音声復号器へと出力してもよい。

ＳＴＣ再生部３１２は、参照情報３５を逆メディア多重化部３１１から受け取り、当該参照情報３５を基準クロック値として用いて、映像圧縮装置２００と同期したＳＴＣ信号３７を再生する。ＳＴＣ再生部３１２は、ＳＴＣ信号３７を同期情報再生部３１３および映像同期信号生成部３１４へと出力する。

同期情報再生部３１３は、逆メディア多重化部３１１から同期情報３６を受け取る。同期情報再生部３１３は、同期情報３６に基づいて、映像の復号時刻または再生時刻を導出する。同期情報再生部３１３は、導出した復号時刻または再生時刻を映像同期信号生成部３１４に通知する。

映像同期信号生成部３１４は、ＳＴＣ再生部３１２からＳＴＣ信号３７を受け取り、同期情報再生部３１３から映像の復号時刻または再生時刻を通知される。映像同期信号生成部３１４は、ＳＴＣ信号３７と通知された復号時刻または再生時刻とに基づいて映像同期信号２９を生成する。映像同期信号生成部３１４は、映像同期信号２９を第１のビットストリーム３０および第２のビットストリーム３１に付加して第１の映像復号器３２０および第２の映像復号器３３０へとそれぞれ出力する。

第１の映像復号器３２０は、データ逆多重化部３１０から映像同期信号２９および第１のビットストリーム３０を受け取る。第１の映像復号器３２０は、映像同期信号２９の示すタイミングに従って、第１のビットストリーム３０を復号（伸長）することによって第１の復号映像３２を生成する。第１の映像復号器３２０が用いるコーデックは、第１のビットストリーム３０を生成するために用いられたものと同じであり、例えばＭＰＥＧ−２であってよい。第１の映像復号器３２０は、第１の復号映像３２を表示装置１５０および逆映像変換部３３１へと出力する。第１の映像復号器３２０は復号部３２１を含み、当該復号部３２１は第１の映像復号器３２０の動作の一部または全部を行う。

なお、第１のビットストリーム３０および第２のビットストリーム３１の予測構造が同一であって、かつ、ピクチャリオーダリングが必要な場合には、第１の映像復号器３２０は好ましくは復号ピクチャを表示順に従って並べ替えずに復号順のまま第１の復号映像３２として逆映像変換部３３１へと出力する。第１の復号映像３２をこのように出力することで、第２の映像復号器３３０は、第１のビットストリーム３０の任意の時刻のピクチャの復号完了後に第２のビットストリーム３１の同一時刻のピクチャを即座に復号できる。但し、第１の復号映像３２が表示装置１５０によって表示される場合にはピクチャリオーダリングを行う必要がある。故に、例えば、表示装置１５０によって第１の復号映像３２が表示されるか否かに連動してピクチャリオーダリングの有効化／無効化が切り替えられてもよい。

第２の映像復号器３３０は、データ逆多重化部３１０から映像同期信号２９および第２のビットストリーム３１を受け取り、第１の映像復号器３２０から第１の復号映像３２を受け取る。第２の映像復号器３３０は、映像同期信号２９の示すタイミングに従って、第２のビットストリーム３１を復号することによって第２の復号映像３４を生成する。第２の映像復号器３３０は、第２の復号映像３４を表示装置１５０へと出力する。

第２の映像復号器３３０は、逆映像変換部３３１と、遅延回路３３２と、復号部３３３とを含む。

逆映像変換部３３１は、第１の映像復号器３２０から第１の復号映像３２を受け取る。逆映像変換部３３１は、第１の復号映像３２に逆映像変換を適用することによって、逆変換された第１の復号映像３３を生成する。逆映像変換部３３１は、逆変換された第１の復号映像３３を復号部３３３へと出力する。逆変換された第１の復号映像３３の映像フォーマットは第２の復号映像３４の映像フォーマットに一致する。すなわち、ベースバンド映像１０と第２の復号映像３４の映像フォーマットが同一であるならば、逆映像変換部３３１は図２の映像変換部２１０の逆変換を行うことになる。なお、第１の復号映像３２（即ち、第１の映像１３）の映像フォーマットが第２の復号映像３４の映像フォーマットと同一であるならば、逆映像変換部３３１はパススルーを選択してもよい。逆映像変換部３３１は、図２の逆映像変換部２４０と同一または類似の処理を行ってよい。

遅延回路３３２は、データ逆多重化部３１０から映像同期信号２９および第２のビットストリーム３１を受け取って一時的に保持してから復号部３３３へと転送する。遅延回路３３２は、映像同期信号２９および第２のビットストリーム３１が後述される逆変換された第１の復号映像３３と同期して復号部３３３に入力されるように、映像同期信号２９および第２のビットストリーム３１の出力タイミングを映像同期信号２９に基づいて制御する。換言すれば、遅延回路３３２は、第１の映像復号器３２０および逆映像変換部３３１による処理遅延を吸収するバッファとして機能する。なお、遅延回路３３２に相当するバッファは、第２の映像復号器３３０の代わりに例えばデータ逆多重化部３１０に内蔵されてもよい。

復号部３３３は、遅延回路３３２から映像同期信号２９および第２のビットストリーム３１を受け取り、逆映像変換部３３１から逆変換された第１の復号映像３３を受け取る。復号部３３３は、映像同期信号２９の示すタイミングに従って、逆変換された第１の復号映像３３に基づいて第２のビットストリーム３１を復号することによって第２の復号映像３４を再生する。復号部３３３が用いるコーデックは、第２のビットストリーム３１を生成するために用いられたものと同じであり、例えばＳＨＶＣであってよい。復号部３３３は、第２の復号映像３４を表示装置１５０へと出力する。

具体的には、復号部３３３は、図３１に例示されるように、エントロピー復号部８０１と、逆量子化／逆変換部８０２と、加算器８０３と、ループフィルタ部８０４と、画像バッファ部８０５と、予測画像生成部８０６とを含むことができる。図３１の復号部３３３は、図２５には示されない復号化制御部８０７によって制御される。

エントロピー復号部８０１は、第２のビットストリーム３１を受け取る。エントロピー復号部８０１は、第２のビットストリーム３１としての２値データ列をエントロピー復号することによって、ＳＨＶＣのデータフォーマットに準拠した種々の情報（例えば量子化変換係数４８、予測モード情報５０など）を抽出する。エントロピー復号部８０１は、量子化変換係数４８を逆量子化／逆変換部８０２へと出力し、予測モード情報５０を予測画像生成部８０６へと出力する。

逆量子化／逆変換部８０２は、エントロピー復号部８０１から量子化変換係数４８を受け取る。逆量子化／逆変換部８０２は、量子化変換係数４８を逆量子化することによって復元変換係数を得る。さらに、逆量子化／逆変換部８０２は、復元変換係数に対して例えばＩＤＣＴなどの逆直交変換を適用することによって復元予測誤差４９を得る。逆量子化／逆変換部８０２は、復元予測誤差４９を加算器８０３へと出力する。

加算器８０３は、逆量子化／逆変換部８０２から復元予測誤差４９を受け取り、予測画像生成部８０６から予測画像５１を受け取る。加算器８０３は、復元予測誤差４９および予測画像５１を加算することによって復号画像を生成する。加算器８０３は、復号画像をループフィルタ部８０４へと出力する。

ループフィルタ部８０４は、加算器８０３から復号画像を受け取る。ループフィルタ部８０４は、復号画像に対してフィルタ処理を行うことによってフィルタ画像を生成する。フィルタ処理は、例えば、デブロッキングフィルタ処理、画素適応オフセット処理などであってもよい。ループフィルタ部８０４は、フィルタ画像を画像バッファ部８０５へと出力する。

画像バッファ部８０５は、逆映像変換部３３１から逆変換された第１の復号映像３３を受け取り、ループフィルタ部７０７からフィルタ画像を受け取る。画像バッファ部８０５は、逆変換された第１の復号映像３３およびフィルタ画像を参照画像として保存する。画像バッファ部８０５に保存された参照画像は必要に応じて予測画像生成部８０６へと出力される。さらに、画像バッファ部８０５に保存されたフィルタ画像は、映像同期信号２９の示すタイミングに従って、第２の復号映像３４として表示装置１５０へと出力される。

予測画像生成部８０６は、エントロピー復号部８０１から予測モード情報５０を受け取り、画像バッファ部８０５から参照画像を受け取る。予測画像生成部８０６は、例えば前述の画面内予測、動き補償予測、層間予測、マージモードなどの様々な予測モードを利用可能である。予測画像生成部８０６は、予測モード情報５０の示す予測モードに従い、参照画像に基づいて予測画像５１をブロック単位で生成する。予測画像生成部８０６は、予測画像５１を加算器８０３へと出力する。

復号化制御部８０７は、前述のように復号部３３３を制御する。具体的には、復号化制御部８０７は、第２のビットストリーム２０の入力タイミングを制御（すなわち、ＣＰＢを制御）したり、画像バッファ部８０５における占有量を制御したりしてもよい。

ユーザが例えば表示装置１５０に対して何らかの操作を行うと、操作内容に応じたユーザ要求２８がデータ逆多重化部３１０または映像受信装置１４０に入力される。例えば、表示装置１５０がテレビジョン受信機であれば、ユーザは入力Ｉ／Ｆ１５４としてのリモートコントローラを操作してチャンネルを切り替えることができる。ユーザ要求２８は、通信部１５５によって送信されてもよいし、入力Ｉ／Ｆ１５４から独自の操作情報として直接出力されてもよい。

チャンネルの切り替えが生じると、データ逆多重化部３１０は新たな多重化ビットストリームを受け取り、第１の映像復号器３２０および第２の映像復号器３３０はランダムアクセスを行う。一般的に、第１の映像復号器３２０および第２の映像復号器３３０は、チャンネル切り替え後の最初のランダムアクセスポイント以降のピクチャを正しく復号できるものの、チャンネル切り替え直後のピクチャを必ずしも正しく復号できない。そして、第２のビットストリーム３１は、第１のビットストリーム３０が正しく復号されるまで正しく復号することができない。故に、第１のビットストリーム３０におけるチャンネル切り替え後の最初のランダムアクセスポイントと、第２のビットストリーム３１における当該ランダムアクセスポイント以降の最初のランダムアクセスポイントとが一致しない場合には、両者の差分だけ第２のビットストリーム３１の復号は遅延する。図１２および図１３を用いて説明したように、映像圧縮装置２００は、第２のビットストリーム２０の予測構造（ランダムアクセスポイント）を制御することで第２のビットストリーム３１の復号遅延の上限を当該第２のビットストリーム３１のＳＯＰサイズ相当量に制限する。故に、表示装置１５０は、例えばチャンネル切り替えによってランダムアクセスが生じた場合であっても、高品質な拡張レイヤ映像に相当する第２の復号映像３４の表示を早期に開始できる。

以上説明したように、第１の実施形態に係る映像配信システムに含まれる映像圧縮装置は、基本レイヤ映像に相当する第１のビットストリームの予測構造に基づいて拡張レイヤ映像に相当する第２のビットストリームの予測構造を制御する。具体的には、この映像圧縮装置は、第２のビットストリームから、第１のビットストリームにおけるランダムアクセスポイント以降で表示順の最も早いＳＯＰを選択する。そして、この映像圧縮装置は、選択したＳＯＰのうち圧縮順で最初のピクチャを第２のビットストリーム向けのランダムアクセスポイントに設定する。従って、この映像圧縮装置によれば、圧縮効率の低下ならびに圧縮遅延および機器コストの増加を回避しつつ、映像再生装置がランダムアクセスを行った場合における第２のビットストリームの復号遅延を抑制することができる。

また、映像圧縮装置および映像再生装置は、階層化された複数の映像を個別のコーデックを用いて圧縮／復号することで、既存の映像再生装置との互換性を確保することができる。例えば、基本レイヤ映像に相当する第１のビットストリームに対してＭＰＥＧ−２を用いれば、ＭＰＥＧ−２をサポートする既存の映像再生装置は当該第１のビットストリームを復号および再生できる。さらに、拡張レイヤ映像に相当する第２のビットストリームに対してＳＨＶＣ（すなわち、スケーラブル圧縮）を用いれば、当該第２のビットストリームに対してサイマル圧縮を用いた場合に比べて圧縮効率を大幅に改善することができる。

（第２の実施形態）
図２３に例示されるように、第２の実施形態に係る映像配信システム４００は、映像記録装置１１０と、映像圧縮装置５００と、第１の映像送信装置４２１および第２の映像送信装置４２２と、第１のチャネル４３１および第２のチャネル４３２と、第１の映像受信装置４４１および第２の映像受信装置４４２と、映像再生装置６００と、表示装置１５０とを含む。

映像圧縮装置５００は、映像記録装置１１０からベースバンド映像を受け取り、スケーラブル圧縮機能を利用して当該ベースバンド映像を圧縮することによって複数の階層の圧縮映像データが個別に多重化された複数の多重化ビットストリームを生成する。映像圧縮装置５００は、第１の多重化ビットストリームを第１の映像送信装置４２１へと出力し、第２の多重化ビットストリームを第２の映像送信装置４２２へと出力する。

第１の映像送信装置４２１は、映像圧縮装置５００から第１の多重化ビットストリームを受け取り、当該第１の多重化ビットストリームを第１のチャネル４３１を介して第１の映像受信装置４４１へと送信する。例えば、第１のチャネル４３１が地上デジタル放送の伝送帯域に相当する場合に、第１の映像送信装置４２１はＲＦ送信装置であってもよい。また、第１のチャネル４３１がネットワーク回線に相当する場合には、第１の映像送信装置４２１はＩＰ通信装置であってもよい。

第２の映像送信装置４２２は、映像圧縮装置５００から第２の多重化ビットストリームを受け取り、当該第２の多重化ビットストリームを第２のチャネル４３２を介して第２の映像受信装置４４２へと送信する。例えば、第２のチャネル４３２が地上デジタル放送の伝送帯域に相当する場合に、第２の映像送信装置４２２はＲＦ送信装置であってもよい。また、第２のチャネル４３２がネットワーク回線に相当する場合には、第２の映像送信装置４２２はＩＰ通信装置であってもよい。

第１のチャネル４３１は、第１の映像送信装置４２１および第１の映像受信装置４４１の間を接続するネットワークである。第１のチャネル４３１は、情報伝送に利用可能な様々な通信資源を意味する。第１のチャネル４３１は、有線チャネルであってもよいし、無線チャネルであってもよいし、両者の混合チャネルであってもよい。第１のチャネル４３１は、例えば、インターネット網、地上放送網、衛星放送網、ケーブル伝送網などであってよい。また、第１のチャネル４３１は、例えば、電波通信、ＰＨＳ、３Ｇ、４Ｇ、ＬＴＥ、ミリ波通信、レーダ通信などの種々の通信向けのチャネルであってもよい。

第２のチャネル４３２は、第２の映像送信装置４２２および第２の映像受信装置４４２の間を接続するネットワークである。第２のチャネル４３２は、情報伝送に利用可能な様々な通信資源を意味する。第２のチャネル４３２は、有線チャネルであってもよいし、無線チャネルであってもよいし、両者の混合チャネルであってもよい。第２のチャネル４３２は、例えば、インターネット網、地上放送網、衛星放送網、ケーブル伝送網などであってよい。また、第２のチャネル４３２は、例えば、電波通信、ＰＨＳ、３Ｇ、ＬＴＥ、ミリ波通信、レーダ通信などの種々の通信向けのチャネルであってもよい。

第１の映像受信装置４４１は、第１の多重化ビットストリームを第１のチャネル４３１を介して第１の映像送信装置４２１から受信する。第１の映像受信装置４４１は、受信した第１の多重化ビットストリームを映像再生装置６００へと出力する。例えば、第１のチャネル４３１が地上デジタル放送の伝送帯域に相当する場合には、第１の映像受信装置４４１はＲＦ受信装置（地上デジタル放送を受信するためのアンテナを含む）であってもよい。また、第１のチャネル４３１がネットワーク回線に相当する場合には、第１の映像受信装置４４１はＩＰ通信装置（ＩＰネットワークと接続するためのルータなどに相当する機能を含む）であってもよい。

第２の映像受信装置４４２は、第２の多重化ビットストリームを第２のチャネル４３２を介して第２の映像送信装置４２２から受信する。第２の映像受信装置４４２は、受信した第２の多重化ビットストリームを映像再生装置６００へと出力する。例えば、第２のチャネル４３２が地上デジタル放送の伝送帯域に相当する場合には、第２の映像受信装置４４２はＲＦ受信装置（地上デジタル放送を受信するためのアンテナを含む）であってもよい。また、第２のチャネル４３２がネットワーク回線に相当する場合には、第２の映像受信装置４４２はＩＰ通信装置（ＩＰネットワークと接続するためのルータなどに相当する機能を含む）であってもよい。

映像再生装置６００は、第１の映像受信装置４４１から第１の多重化ビットストリームを受け取り、第２の映像受信装置４４２から第２の多重化ビットストリームを受け取り、スケーラブル圧縮機能を利用して当該第１の多重化ビットストリームおよび第２の多重化ビットストリームを復号することによって復号映像を生成する。映像再生装置６００は、復号映像を表示装置１５０へと出力する。映像再生装置６００は、テレビジョン受信機本体に組み込まれてもよいし、当該テレビジョン受信機とは別体のＳＴＢとして実装されてもよい。

図２４に例示されるように、映像圧縮装置５００は、映像変換部２１０と、第１の映像圧縮器２２０と、第２の映像圧縮器２３０と、第１のデータ多重化部５６１と、第２のデータ多重化部５６２とを含む。映像圧縮装置５００は、映像記録装置１１０からベースバンド映像１０および映像同期信号１１を受け取り、スケーラブル圧縮機能を利用して当該ベースバンド映像１０を圧縮することによって複数階層（図２４の例では２階層）のビットストリームを生成する。映像圧縮装置５００は、映像同期信号１１に基づいて生成した種々の制御情報と複数階層のビットストリームとを個別に多重化することによって第１の多重化ビットストリーム２５および第２の多重化ビットストリーム２６を生成する。映像圧縮装置５００は、第１の多重化ビットストリーム２５を第１の映像送信装置４２１へと出力し、第２の多重化ビットストリーム２６を第２の映像送信装置４２２へと出力する。

図２４の第１の映像圧縮器２２０は、データ多重化部２６０の代わりに第１のデータ多重化部５６１へと第１のビットストリーム１５を出力する点で図２の第１の映像圧縮器２２０とは異なる。図２４の第２の映像圧縮器２３０は、データ多重化部２６０の代わりに第２のデータ多重化部５６２へと第２のビットストリーム２０を出力する点で図２の第２の映像圧縮器２３０とは異なる。

第１のデータ多重化部５６１は、映像記録装置１１０から映像同期信号１１を受け取り、第１の映像圧縮器２２０から第１のビットストリーム１５を受け取る。第１のデータ多重化部５６１は、映像同期信号１１に基づいて参照情報２２および同期情報２３を生成する。第１のデータ多重化部５６１は、参照情報２２および同期情報２３を第２のデータ多重化部５６２へと出力する。さらに、第１のデータ多重化部５６１は、第１のビットストリーム１５、参照情報２２および同期情報２３を多重化することによって第１の多重化ビットストリーム２５を生成する。第１のデータ多重化部５６１は、第１の多重化ビットストリーム２５を第１の映像送信装置４２１へと出力する。

第２のデータ多重化部５６２は、第２の映像圧縮器２３０から第２のビットストリーム２０を受け取り、第１のデータ多重化部５６１から参照情報２２および同期情報２３を受け取る。第２のデータ多重化部５６２は、第２のビットストリーム２０、参照情報２２および同期情報２３を多重化することによって第２の多重化ビットストリーム２６を生成する。第２のデータ多重化部５６２は、第２の多重化ビットストリーム２６を第２の映像送信装置４２２へと出力する。

第１のデータ多重化部５６１および第２のデータ多重化部５６２は、データ多重化部２６０と類似の処理を行ってよい。

第１の多重化ビットストリーム２５は第１のチャネル４３１を介して伝送され、第２の多重化ビットストリーム２６は第２のチャネル４３２を介して伝送される。第１のチャネル４３１における伝送遅延は、第２のチャネル４３２における伝送遅延とは異なるかもしれない。しかしながら、第１の多重化ビットストリーム２５および第２の多重化ビットストリーム２６には共通の参照情報２２および同期情報２３が埋め込まれる。故に、第１の実施形態と同様に、映像圧縮装置５００と映像再生装置６００との間のシステムクロックの同期が得られ、映像再生装置６００は映像圧縮装置５００によって設定されたタイミングで映像を復号および再生できる。

図２７に例示されるように、映像再生装置６００は、第１のデータ逆多重化部６１１と、第２のデータ逆多重化部６１２と、第１の映像復号器３２０と、第２の映像復号器３３０とを含む。映像再生装置６００は、第１の映像受信装置４４１から第１の多重化ビットストリーム３８を受け取り、第２の映像受信装置４４２から第２の多重化ビットストリーム３９を受け取り、当該第１の多重化ビットストリーム３８および第２の多重化ビットストリーム３９を個別に逆多重化して複数階層（図２７の例では２階層）のビットストリームを得る。第１の多重化ビットストリーム３８および第２の多重化ビットストリームは、１の多重化ビットストリーム２５および第２の多重化ビットストリーム２６にそれぞれ相当する。映像再生装置６００は、複数階層のビットストリームを復号することによって第１の復号映像３２および第２の復号映像３４を再生する。映像再生装置６００は、第１の復号映像３２および第２の復号映像３４を表示装置１５０へと出力する。

第１のデータ逆多重化部６１１は、第１の映像受信装置４４１から第１の多重化ビットストリーム３８を受け取り、当該第１の多重化ビットストリーム３８を逆多重化することによって第１のビットストリーム３０と種々の制御情報とを抽出する。さらに、第１のデータ逆多重化部６１１は、第１の多重化ビットストリーム３８から抽出された制御情報に基づいて第１の復号映像３２に含まれる各フレームの再生タイミングを示す第１の映像同期信号４０を生成する。第１のデータ逆多重化部６１１は、第１のビットストリーム３０および第１の映像同期信号４０を第１の映像復号器３２０へと出力し、第１の映像同期信号４０を第２の映像復号器３３０へと出力する。

第２のデータ逆多重化部６１２は、第２の映像受信装置４４２から第２の多重化ビットストリーム３９を受け取り、当該第２の多重化ビットストリーム３９を逆多重化することによって第２のビットストリーム３１と種々の制御情報とを抽出する。さらに、第２のデータ逆多重化部６１２は、第２の多重化ビットストリーム３９から抽出された制御情報に基づいて第２の復号映像３４に含まれる各フレームの再生タイミングを示す第２の映像同期信号４１を生成する。第２のデータ逆多重化部６１２は、第２のビットストリーム３１および第２の映像同期信号４１を第２の映像復号器３３０へと出力する。

第１のデータ逆多重化部６１１および第２のデータ逆多重化部６１２は、データ逆多重化部３１０と類似の処理を行ってよい。

図２７の第１の映像復号器３２０は、第１のデータ逆多重化部６１１から第１の映像同期信号４０および第１のビットストリーム３０を受け取る点で図２５の第１の映像復号器３２０とは異なる。

図２７の第２の映像復号器３３０は、第１のデータ逆多重化部６１１から第１の映像同期信号４０を受け取り、第２のデータ逆多重化部６１２から第２の映像同期信号４１および第２のビットストリーム３１を受け取る点で図２５の第２の映像復号器３３０とは異なる。

図２７の遅延回路３３２は、第１のデータ逆多重化部６１１から第１の映像同期信号４０を受け取り、第２のデータ逆多重化部６１２から第２のビットストリーム３１および第２の映像同期信号４１を受け取る。遅延回路３３２は、第２のビットストリーム３１および第２の映像同期信号４１を一時的に保持してから復号部３３３へと転送する。遅延回路３３２は、第２のビットストリーム３１および第２の映像同期信号４１が逆変換された第１の復号映像３３と同期して復号部３３３に入力されるように、第２のビットストリーム３１および第２の映像同期信号４１の出力タイミングを第１の映像同期信号４０および第２の映像同期信号４１に基づいて制御する。換言すれば、遅延回路３３２は、第１の映像復号器３２０および逆映像変換部３３１による処理遅延を吸収するバッファとして機能する。なお、遅延回路３３２に相当するバッファは、第２の映像復号器３３０の代わりに例えば第２のデータ逆多重化部６１２に内蔵されてもよい。

第１の多重化ビットストリーム３８は第１のチャネル４３１を介して伝送され、第２の多重化ビットストリーム３９は第２のチャネル４３２を介して伝送される。第１のチャネル４３１における伝送遅延は、第２のチャネル４３２における伝送遅延とは異なるかもしれない。しかしながら、第１の多重化ビットストリーム３８および第２の多重化ビットストリーム３９には共通の参照情報および同期情報が埋め込まれる。故に、第１の実施形態と同様に、映像圧縮装置５００と映像再生装置６００との間のシステムクロックの同期が得られ、映像再生装置６００は映像圧縮装置５００によって設定されたタイミングで映像を復号および再生できる。

なお、第２のチャネル４３２において例えばパケットロスなどによって一時的に大きな伝送遅延が生じた場合には、表示装置１５０は第２の復号映像３４の代わりに第１の復号映像３２を表示することで表示映像の途切れを回避してもよい。

例えば、第１のチャネル４３１が帯域保証のあるＲＦチャネルであって、第２のチャネル４３２が帯域保証のないＩＰチャネルである場合には、第２のチャネル４３２においてパケットロスが生じるかもしれない。第１の映像受信装置４４１が第１の多重化ビットストリーム３８を映像配信システム４００における予定時刻に受信したものの、当該予定時刻からの遅延時間がＴに達しても第２の映像受信装置４４２が第２の多重化ビットストリーム３９を受信せず第２の復号映像３４が再生時刻に間に合わない場合には、第２の映像受信装置４４２は、映像再生装置６００を介して表示装置１５０にビットストリーム遅延情報を出力する。Ｔは、第１の多重化ビットストリーム３８に対する第２の多重化ビットストリーム３９の最大受信遅延時間長を表す。表示装置１５０は、ビットストリーム遅延情報を受け取ると、ディスプレイ１５２に表示される映像を第２の復号映像３４から第１の復号映像３２へと切り替える。

最大受信遅延時間長Ｔは、例えば、表示装置１５０に内蔵される映像バッファの最大容量、第１のビットストリーム３０および第２のビットストリーム３１の復号に必要とされる時間、各装置間の伝送遅延時間などの様々な要素に基づいて設計されてよい。また、最大受信遅延時間長Ｔは、固定である必要はなく、動的に変更されてもよい。なお、表示装置１５０に内蔵される映像バッファは、例えばメモリ１５１を用いて実現されてもよい。表示装置１５０は、映像バッファがオーバーフローに近づいても拡張レイヤ映像に相当する第２の復号映像３４が用意できない場合には、ディスプレイ１５２に第２の復号映像３４の代わりに第１の復号映像３２を表示させることで表示映像の途切れを回避する。他方、第１の多重化ビットストリーム３８に対する第２の多重化ビットストリーム３９の受信遅延が映像バッファがオーバーフローするほど大きくなければ、表示装置１５０は高品質な拡張レイヤ映像に相当する第２の復号映像３４をディスプレイ１５２に表示させることができる。なお、表示装置１５０は、チャンネル切り替え時にもＴを用いて表示映像を制御することで、第１の復号映像３２または第２の復号映像３４をディスプレイ１５２に途切れなく表示させることができる。

以上説明したように、第２の実施形態に係る映像配信システムは、複数のチャネルを経由して複数の多重化ビットストリームを伝送する。例えば、既存の第１のコーデックを用いて生成された第１の多重化ビットストリームを既存の第１のチャネルを介して伝送することで、既存の映像再生装置は基本レイヤ映像を復号および再生できる。他方、第１のコーデックとは異なる第２のコーデックを用いて生成された第２の多重化ビットストリームを第１のチャネルとは異なる第２のチャネルを介して伝送することで、第１のコーデックおよび第２のコーデックの両方をサポートする映像再生装置（例えば、映像再生装置６００）は、高品質（例えば、高画質、高解像度、高フレームレートなど）な拡張レイヤ映像を復号および再生できる。さらに、映像圧縮装置が第１の実施形態において説明されたように第２のビットストリームの予測構造を制御するので、第１の実施形態と同様に高いランダムアクセス性を達成することができる。

前述の第１の実施形態に係る映像配信システム１００または第２の実施形態に係る映像配信システム４００は、アダプティブストリーミング技術を利用してもよい。アダプティブストリーミング技術では、チャネルの帯域幅の変動が予測され、予測結果に基づいて当該チャネルを介して伝送されるビットストリームが切り替えられる。アダプティブストリーミング技術によれば、例えばＷｅｂページに配信する映像の品質を帯域幅に応じて切り替えることで当該映像を途切れなく再生することができる。スケーラブル圧縮によれば、サイマル圧縮に比べて、複数のビットストリームを生成した場合の合計の符号量を抑制することができるうえ、多様なビットストリームを高い圧縮効率で生成することができる。故に、スケーラブル圧縮は、サイマル圧縮に比べて、特にチャネルの帯域幅の変動が激しい場合にアダプティブストリーミング技術との相性が良い。

具体的には、映像圧縮装置２００は、スケーラブル圧縮を用いて複数の多重化ビットストリーム２７を生成し、映像送信装置１２０へと出力してもよい。そして、映像送信装置１２０が、チャネル１３０の現在の帯域幅を予測し、予測結果に応じた多重化ビットストリーム２７を選択して送信してもよい。映像送信装置１２０がこのように動作することで、１対１の映像配信に好適なダイナミック型のアダプティブストリーミング技術が実現可能である。或いは、映像受信装置１４０が、チャネル１３０の現在の帯域幅を予測し、予測結果に応じた多重化ビットストリーム２７の送信を映像送信装置１２０に要求してもよい。映像受信装置１４０がこのように動作することで、１対多の映像配信に好適なスタティック型のアダプティブストリーミング技術が実現可能である。さらに、ダイナミック型のアダプティブストリーミング技術およびスタティック型のアダプティブストリーミング技術が組み合わせて利用されてもよい。

同様に、映像圧縮装置５００は、スケーラブル圧縮を用いて複数の第２の多重化ビットストリーム２６（または、複数の第１の多重化ビットストリーム２５）を生成し、第２の映像送信装置４２２（または、第１の映像送信装置４２１）へと出力してもよい。第２の映像送信装置４２２が、第２のチャネル４３２（または、第１のチャネル４３１）の現在の帯域幅を予測し、予測結果に応じた第２の多重化ビットストリーム２６（または、第１の多重化ビットストリーム２５）を選択して送信してもよい。第２の映像送信装置４２２がこのように動作することで、ダイナミック型のアダプティブストリーミング技術が実現可能である。或いは、第２の映像受信装置４４２（または、第１の映像受信装置４４１）が、第２のチャネル４３２の現在の帯域幅を予測し、予測結果に応じた第２の多重化ビットストリーム２６の送信を第２の映像送信装置４２２に要求してもよい。第２の映像受信装置４４２がこのように動作することで、スタティック型のアダプティブストリーミング技術が実現可能である。さらに、ダイナミック型のアダプティブストリーミング技術およびスタティック型のアダプティブストリーミング技術が組み合わせて利用されてもよい。

前述の第１の実施形態に係る映像配信システム１００は、同一時刻のピクチャに対応する第１のビットストリーム１５および第２のビットストリーム２０が略同時に映像送信装置１２０から送信されるようにタイミング制御を行ってもよい。前述のように、第２のビットストリーム２０に含まれる各ピクチャは、第１のビットストリーム１５に含まれる対応ピクチャの圧縮および復号後に圧縮されるので、第２のビットストリーム２０の生成タイミングは第１のビットストリーム１５に比べて遅延する。そこで、データ多重化部２６０は、第１のビットストリーム１５に第１の所定時間の遅延を与えることで、同一時刻のピクチャに対応する第１のビットストリーム１５および第２のビットストリーム２０を多重化できる。

具体的には、第１のビットストリーム１５を一時的に保持してから後続の処理部に転送するストリームバッファが映像圧縮装置２００（データ多重化部２６０）に追加されてよい。上記第１の所定時間は、所与のピクチャに対応する第１のビットストリーム１５の生成時刻と当該所与のピクチャと同一時刻のピクチャに対応する第２のビットストリーム２０の生成時刻との間の差分によって決まる。係るタイミング制御によれば、第１のビットストリーム１５の送信タイミングは上記第１の所定時間だけ遅延するが、映像再生装置３００において必要とされるバッファを削減することができる。第２の実施形態に係る映像配信システム４００も同様のタイミング制御を行ってもよい。

同様に、第１の実施形態に係る映像配信システム１００または第２の実施形態に係る映像配信システム４００は、第１の復号映像３２および第２の復号映像３４が表示装置１５０に表示されるタイミングを制御してもよい。前述のように、第２のビットストリーム３１に含まれる各ピクチャは、第１のビットストリーム３０に含まれる対応ピクチャの復号後に復号されるので、第２の復号映像３４の生成タイミングは第１の復号映像３２に比べて遅延する。そこで、第１の復号映像３２に第２の所定時間の遅延が例えば表示装置１５０に用意された映像バッファによって与えられてもよい。この第２の所定時間は、所与のピクチャに対応する第１の復号映像３２の生成時刻と当該所与のピクチャと同一時刻のピクチャに対応する第２の復号映像３４の生成時刻との間の差分によって決まる。

ここで説明された２種類のタイミング制御は、処理遅延、伝送遅延、表示遅延などを吸収して高品質な映像を途切れなく再生するために有用であるが、これらの遅延が非常に小さい場合には省略されてもよい。一般的に、ビットストリームをリアルタイムに伝送する映像配信システムでは、当該ビットストリームを正しく復号するためのストリームバッファ、復号された映像と正しく再生するための映像バッファ、当該ビットストリームの送信および受信のためのバッファ、表示装置の内部バッファなどの種々のバッファが用意される。前述の遅延回路２３１、遅延回路３３２ならびに上記第１の所定時間および第２の所定時間の遅延を与える遅延回路は、これらのバッファを利用して実装されてもよいし、これらのバッファとは独立に用意されてもよい。

なお、前述の第１の実施形態乃至第２の実施形態の説明では、２種類のビットストリームが生成されているが、３種類以上のビットストリームが生成されてもよい。さらに、３種類以上のビットストリームが生成される場合には様々な階層構造を採用することができる。例えば、基本レイヤと、第１の拡張レイヤと、当該第１の拡張レイヤよりも上位の第２の拡張レイヤとを含む３階層構造が採用されてもよいし、基本レイヤと、第１の拡張レイヤと、当該第１の拡張レイヤと同位の第２の拡張レイヤとを含む２つの２階層構造が採用されてもよい。異なる階層の複数の拡張レイヤを生成することで、例えばアダプティブストリーミング技術の利用時に帯域幅の変動により柔軟に適応することができる。他方、同一階層の複数の拡張レイヤを生成することは、例えば画面内の特定の領域に多くの符号量を割り当てるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）圧縮に好適である。具体的には、複数の拡張レイヤにそれぞれ異なるＲＯＩを設定することで、ユーザの要求に応じたＲＯＩの画質を他の領域に比べて優先的に高めることができる。或いは、複数の拡張レイヤが異なるスケーラビリティを果たしてもよい。例えば、第１の拡張レイヤはＰＳＮＲスケーラビリティを実現し、第２の拡張レイヤは解像度スケーラビリティを実現してもよい。拡張レイヤの層数が増加するほど、機器コストも増加するが、伝送されるビットストリームをより柔軟に選択できるので伝送帯域をより有効に活用することができる。

上記各実施形態において説明された映像圧縮装置および映像再生装置は、ＣＰＵ、ＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのハードウェアを用いて実現可能である。また、映像圧縮装置および映像再生装置は例えばＣＰＵなどのプロセッサにプログラムを実行させることによって（すなわち、ソフトウェアによって）実現可能である。

上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ ベースバンド映像
１１，２９ 映像同期信号
１２，２７ 多重化ビットストリーム
１３ 第１の映像
１４ 第２の映像
１５，３０ 第１のビットストリーム
１６ 第１の予測構造情報
１７，３２ 第１の復号映像
１８ 第２の予測構造情報
１９，３３ 逆変換された第１の復号映像
２０，３１ 第２のビットストリーム
２１，３７ ＳＴＣ信号
２２，３５ 参照情報
２３，３６ 同期情報
２４，５２ 音声のビットストリーム
２５，３８ 第１の多重化ビットストリーム
２６，３９ 第２の多重化ビットストリーム
２８ ユーザ要求
３４ 第２の復号映像
４０ 第１の映像同期信号
４１ 第２の映像同期信号
４２ フィルタ画像
４３，５１ 予測画像
４４ 予測誤差
４５，４８ 量子化変換係数
４６，４９ 復元予測誤差
４７ 局所復号画像
５０ 予測モード情報
１００，４００ 映像配信システム
１１０ 映像記録装置
１１１，１５１ メモリ
１１２ ストレージ
１１３，１５３ ＣＰＵ
１１４ 出力Ｉ／Ｆ
１１５，１５５ 通信部
１２０ 映像送信装置
１３０ チャネル
１４０ 映像受信装置
１５０ 表示装置
１５２ ディスプレイ
１５４ 入力Ｉ／Ｆ
２００，５００ 映像圧縮装置
２１０ 映像変換部
２１１，２４１ パススルー部
２１２ 解像度変換部
２１３ ｐ／ｉ変換部
２１４ フレームレート変換部
２１５ ビット深度変換部
２１６ 色空間変換部
２１７ ダイナミックレンジ変換部
２２０ 第１の映像圧縮器
２２１，２５０ 圧縮部
２３０ 第２の映像圧縮器
２３１，３３２ 遅延回路
２３２，３２１，３３３ 復号部
２３３ 予測構造制御部
２４０，３３１ 逆映像変換部
２４２ 逆解像度変換部
２４３ ｉ／ｐ変換部
２４４ 逆フレームレート変換部
２４５ 逆ビット深度変換部
２４６ 逆色空間変換部
２４７ 逆ダイナミックレンジ変換部
２６０ データ多重化部
２６１ ＳＴＣ生成部
２６２ 同期情報生成部
２６３ 参照情報生成部
２６４ メディア多重化部
３００，６００ 映像再生装置
３１０ データ逆多重化部
３１１ 逆メディア多重化部
３１２ ＳＴＣ再生部
３１３ 同期情報再生部
３１４ 映像同期信号生成部
３２０ 第１の映像復号器
３３０ 第２の映像復号器
４２１ 第１の映像送信装置
４２２ 第２の映像送信装置
４３１ 第１のチャネル
４３２ 第２のチャネル
４４１ 第１の映像受信装置
４４２ 第２の映像受信装置
５６１ 第１のデータ多重化部
５６２ 第２のデータ多重化部
６１１ 第１のデータ逆多重化部
６１２ 第２のデータ逆多重化部
７０１ 時空間相関制御部
７０２ 減算器
７０３ 変換／量子化部
７０４ エントロピー符号化部
７０５，８０２ 逆量子化／逆変換部
７０６，８０３ 加算器
７０７，８０４ ループフィルタ部
７０８，８０５ 画像バッファ部
７０９，８０６ 予測画像生成部
７１０ モード判定部
７１１ 符号化制御部
７２１ 時間フィルタ
７２２ 空間フィルタ
７２３ フィルタ制御部
７３１ マージモード処理部
７３２ 動き補償予測処理部
７３３ 層間予測処理部
７３４ 画面内予測処理部
８０１ エントロピー復号部

Claims (20)

1. 階層化された第１の映像および第２の映像のうち当該第１の映像を第１のコーデックを用いて圧縮することによって第１のビットストリームを生成する第１の圧縮部と、
   前記第１のビットストリームに含まれる第１のランダムアクセスポイントに基づいて、前記第２の映像の圧縮データに相当する第２のビットストリームに含まれる第２のランダムアクセスポイントを制御する制御部と、
   前記第２の映像を前記第１のコーデックとは異なる第２のコーデックを用いて前記第１の映像に対応する第１の復号映像に基づいて圧縮することによって前記第２のビットストリームを生成する第２の圧縮部と
   を具備し、
   前記第２のビットストリームは、複数のピクチャグループによって形成され、
   前記複数のピクチャグループの各々は、１つ以上のサブピクチャグループを包含し、
   前記制御部は、前記第２のビットストリームから、前記第１のランダムアクセスポイント以降で表示順の最も早いサブピクチャグループを選択し、選択したサブピクチャグループのうち圧縮順で最初のピクチャを前記第２のランダムアクセスポイントに設定する、
   映像圧縮装置。
2. 前記サブピクチャグループは、第１の参照関係を持つピクチャ系列に相当し、
   前記ピクチャグループは、第２の参照関係を持つピクチャ系列に相当し、
   前記第２の参照関係は、前記ピクチャグループに包含される１つ以上のサブピクチャグループが持つ１つ以上の第１の参照関係の組み合わせで表される、
   請求項１記載の映像圧縮装置。
3. 前記第１の復号映像に映像変換を適用することによって、当該第１の復号映像の映像フォーマットを前記第２の映像の映像フォーマットと一致させる変換部をさらに具備する、請求項１記載の映像圧縮装置。
4. 前記変換部は、（ａ）前記第１の復号映像の解像度を変更する処理、（ｂ）前記第１の復号映像をインターレース映像またはプログレッシブ映像へと変換する処理、（ｃ）前記第１の復号映像のフレームレートを変更する処理、（ｄ）前記第１の復号映像のビット深度を変更する処理、（ｅ）前記第１の復号映像の色空間フォーマットを変更する処理、（ｆ）前記第１の復号映像のダイナミックレンジを変更する処理、ならびに、（ｇ）前記第１の復号映像のアスペクト比を変更する処理のうち少なくとも１つを前記第１の復号映像に適用する、請求項３記載の映像圧縮装置。
5. 前記第１の映像は、インターレース映像であって、
   前記第１のビットストリームは、前記第１の映像の位相を示す情報を含み、
   前記第２の映像は、プログレッシブ映像であって、
   前記変換部は、前記第１の映像の位相を示す情報に基づいて、前記第１の復号映像をプログレッシブ映像へと変換する処理を行う、
   請求項４記載の映像圧縮装置。
6. 前記第１のビットストリームおよび前記第２のビットストリームを多重化することによって多重化ビットストリームを生成する多重化部をさらに具備し、
   前記多重化ビットストリームは、チャネルを介して伝送される、
   請求項１記載の映像圧縮装置。
7. 前記多重化部は、前記第１の映像および前記第２の映像に対応するベースバンド映像の再生タイミングを示す映像同期信号に基づいて、映像再生装置に内蔵される第１のシステムクロックを前記映像圧縮装置に内蔵される第２のシステムクロックと同期させるための基準クロック値を示す参照情報と前記第１のビットストリームおよび前記第２のビットストリームの前記第２のシステムクロックを基準とした再生時刻または復号時刻を示す同期情報とを生成し、前記第１のビットストリーム、前記第２のビットストリーム、前記参照情報および前記同期情報を多重化することによって前記多重化ビットストリームを生成する、請求項６記載の映像圧縮装置。
8. 前記多重化部は、前記第１のビットストリームを一時的に保持してから当該第１のビットストリームおよび前記第２のビットストリームを多重化する、請求項６記載の映像圧縮装置。
9. 前記第１のビットストリームを多重化することによって第１の多重化ビットストリームを生成する第１の多重化部と、
   前記第２のビットストリームを多重化することによって第２の多重化ビットストリームを生成する第２の多重化部と
   をさらに具備し、
   前記第１の多重化ビットストリームは、第１のチャネルを介して伝送され、
   前記第２の多重化ビットストリームは、前記第１のチャネルとは異なる第２のチャネルを介して伝送される、
   請求項１記載の映像圧縮装置。
10. 前記第１のチャネルは、帯域保証のあるチャネルであって、
    前記第２のチャネルは、帯域保証のないチャネルである、
    請求項９記載の映像圧縮装置。
11. 前記第１のコーデックは、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのうちいずれかであって、
    前記第２のコーデックは、ＨＥＶＣのスケーラブル拡張である、
    請求項１記載の映像圧縮装置。
12. 前記第１のビットストリームは、前記第１の映像がプログレッシブ映像またはインターレース映像であることを示す情報、インターレース映像としての前記第１の映像の位相を示す情報、前記第１の映像のフレームレートを示す情報、前記第１の映像の解像度を示す情報、前記第１の映像のビット深度を示す情報、前記第１の映像の色空間フォーマットを示す情報、ならびに、前記第１のコーデックを示す情報のうち少なくとも１つを含み、
    前記第２のビットストリームは、前記第２の映像がプログレッシブ映像またはインターレース映像であることを示す情報、インターレース映像としての前記第２の映像の位相を示す情報、前記第２の映像のフレームレートを示す情報、前記第２の映像の解像度を示す情報、前記第２の映像のビット深度を示す情報、前記第２の映像の色空間フォーマットを示す情報、ならびに、前記第２のコーデックを示す情報のうち少なくとも１つを含む、
    請求項１記載の映像圧縮装置。
13. 前記第１のビットストリームを前記第１のコーデックを用いて復号することによって前記第１の復号映像を生成する復号部をさらに具備し、
    前記復号部は、前記第１の復号映像に含まれる復号ピクチャの復号順と表示順とが一致しない場合には、当該復号ピクチャを復号順に従って出力する、
    請求項１記載の映像圧縮装置。
14. 前記第２の圧縮部は、前記第２のランダムアクセスポイントに相当するピクチャがランダムアクセス可能であることを示す情報を前記第２のビットストリームに記述する、請求項１記載の映像圧縮装置。
15. 前記第２の圧縮部は、前記第２のランダムアクセスポイントに相当するピクチャをフレーム間予測以外の予測モードを利用して圧縮する、請求項１記載の映像圧縮装置。
16. 階層化された第１の映像および第２の映像のうち当該第１の映像の圧縮データに相当する第１のビットストリームを第１のコーデックを用いて復号することによって第１の復号映像を生成する第１の復号部と、
    前記第２の映像の圧縮データに相当する第２のビットストリームを第１のコーデックとは異なる第２のコーデックを用いて前記第１の復号映像に基づいて復号することによって第２の復号映像を生成する第２の復号部と
    を具備し、
    前記第２のビットストリームは、複数のピクチャグループによって形成され、
    前記複数のピクチャグループの各々は、１つ以上のサブピクチャグループを包含し、
    前記第１のビットストリームは、第１のアクセスポイントを含み、
    前記第２のビットストリームは、第２のアクセスポイントを含み、
    前記第２のランダムアクセスポイントは、特定のピクチャサブグループのうち圧縮順で最初のピクチャに設定されており、
    前記特定のピクチャサブグループは、前記第１のランダムアクセスポイント以降で表示順の最も早いサブピクチャグループである、
    映像再生装置。
17. 前記第１のビットストリームは、第１のチャネルを介して伝送され、
    前記第２のビットストリームは、前記第１のチャネルとは異なる第２のチャネルを介して伝送され、
    前記第１のビットストリームの第１の受信時刻に対する前記第２のビットストリームの第２の受信時刻の遅延時間が所定時間長に達する場合には、前記第２の復号映像の代わりに前記第１の復号映像が表示映像として出力される、
    請求項１６記載の映像再生装置。
18. 前記第１の復号部は、前記第１の復号映像に含まれる復号ピクチャの復号順と表示順とが一致しない場合には、当該復号ピクチャを復号順に従って出力する、
    請求項１６記載の映像再生装置。
19. 多重化ビットストリームを逆多重化することによって前記第１のビットストリームおよび前記第２のビットストリームを生成する逆多重化部と、
    前記第２のビットストリームを一時的に保持してから前記第２の復号部へと転送する遅延回路と
    をさらに具備する、請求項１６記載の映像再生装置。
20. ベースバンド映像を記録および再生する映像記録装置と、
    前記ベースバンド映像が階層化された第１の映像および第２の映像をスケーラブル圧縮することによって第１のビットストリームおよび第２のビットストリームを生成する映像圧縮装置と、
    少なくとも１つのチャネルを介して前記第１のビットストリームおよび前記第２のビットストリームを送信する映像送信装置と、
    前記少なくとも１つのチャネルを介して前記第１のビットストリームおよび前記第２のビットストリームを受信する映像受信装置と、
    前記第１のビットストリームおよび前記第２のビットストリームをスケーラブル復号することによって第１の復号映像および第２の復号映像を生成する映像再生装置と、
    前記第１の復号映像および前記第２の復号映像に基づく映像を表示する表示装置と
    を具備し、
    前記映像圧縮装置は、
    前記第１の映像を第１のコーデックを用いて圧縮することによって第１のビットストリームを生成する第１の圧縮部と、
    前記第１のビットストリームに含まれる第１のランダムアクセスポイントに基づいて、前記第２のビットストリームに含まれる第２のランダムアクセスポイントを制御する制御部と、
    前記第２の映像を前記第１のコーデックとは異なる第２のコーデックを用いて前記第１の映像に対応する第１の復号映像に基づいて圧縮することによって前記第２のビットストリームを生成する第２の圧縮部と、
    を具備し、
    前記第２のビットストリームは、複数のピクチャグループによって形成され、
    前記複数のピクチャグループの各々は、１つ以上のサブピクチャグループを包含し、
    前記制御部は、前記第２のビットストリームから、前記第１のランダムアクセスポイント以降で表示順の最も早いサブピクチャグループを選択し、選択したサブピクチャグループのうち圧縮順で最初のピクチャを前記第２のランダムアクセスポイントに設定する、
    映像配信システム。