JP2013187905A - 映像を符号化および復号する方法および装置 - Google Patents

Abstract

【課題】最適な参照ピクチャ構成と正しい出力順序を満足しつつ復号ピクチャバッファ（ＤＰＢ）サイズを最小にする。
【解決手段】適切なインスタンスに、および／または所定の優先順位にしたがって、非参照として設定／マーキングされるように連続する参照ピクチャセットが構成された参照ピクチャセット（ＲＰＳ）を用いる復号ピクチャバッファ（ＤＰＢ）管理のための新たな方法および装置を導入する。最適な参照ピクチャ構成および正しい出力順序の並び替えの両方をサポートしつつ、ＤＰＢサイズを最小に保つことができる。符号化効率を改善できることおよび／またはＤＰＢのためのメモリ容量を削減できる。
【選択図】図４

Description

本発明は、あらゆるマルチメディアデータ符号化に用いることができ、特に、ピクチャ間予測を用いて画像および映像コンテンツの符号化に用いることができる。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）や、ＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の最新の映像符号化方式では、時間的に連続するピクチャにおける情報の冗長性を利用するために、既に符号化／復号された参照ピクチャからのピクチャ間予測を用いて、画像／映像コンテンツを符号化／復号する。

最新の映像符号化方式は、符号化ピクチャが符号化順序とは異なる順序／並びで出力される場合の、ピクチャの出力順序の並べ替えをサポートしている。出力順序（表示順序としても知られる）は、復号ピクチャが出力あるいは表示される順序を表す。出力順序は、通常、映像の撮影／生成中における非圧縮ピクチャの元の順序に対応する。一方、符号化順序は、ピクチャが符号化映像ビットストリームから復号される順序を表す。ある程度の出力遅延が許容されるアプリケーションにおいて、出力順序の並べ替えにより符号化効率が改善される。

映像符号化中に、入力ピクチャはＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）に分けられる。例えば、図１に示されるように、１つのＧＯＰは、出力順序が連続する８つのピクチャからなる。図１において、“Ｉ”はイントラピクチャを示し、“Ｂ”は双予測インターピクチャを示し、大文字（例えば“Ｂ”）は参照ピクチャを示し、小文字（例えば“ｂ”）は非参照ピクチャを示す。通常、所定の符号化順序がいくつかのＧＯＰに対して繰り返し用いられる。図１に示されるように、出力順序と異なる順序でピクチャを符号化すると、ピクチャｂ１、Ｂ２、ｂ３、Ｂ４、ｂ５、Ｂ６およびｂ７は、復号ピクチャバッファ（ＤＰＢ）に格納された符号化／復号済み参照ピクチャからの予測であって前方および後方の双方向予測を利用できるようになり、符号化効率が改善される。図１において、インター予測の主要な参照構成が、参照ピクチャから対象ピクチャを指す矢印で示される。図１に示される符号化構造は、階層構造として周知である。複数のピクチャが異なる階層レベルに配置され、高いレベルのピクチャは、低いレベルのピクチャからインター予測され、映像圧縮の量／強度は、低レベル（圧縮度が低いので忠実度が高い）から高レベル（圧縮度が高いので品質が低い）に向かって増加する。

出力の並び替えがある（つまり符号化順序と出力順序とが異なる）場合、非参照ピクチャを含むいくつかのピクチャは、出力時刻になるまでＤＰＢに格納／バッファされる必要がある。ピクチャを規則正しい間隔で確実に出力するためには、そのような出力の遅延が必要である。図１の例において、非参照ピクチャｂ３、ｂ５、およびｂ７はそれぞれ１、１、および２ピクチャ区間の間ＤＰＢに格納されている。しかしながら、そのようにＤＰＢに非参照ピクチャを格納して出力を待機すると、効率的な符号化に必要な参照ピクチャを格納するためのＤＰＢ内の利用可能なスペースが減少する。

ＨＥＶＣ映像符号化方式は、参照ピクチャセット（バッファ記述としても知られている）を用いてＤＰＢの管理を行う。参照ピクチャセット（ＲＰＳ）は、複数の参照ピクチャの中で非参照ピクチャとして設定されるピクチャを定義する代わりに、ＤＰＢ内に参照ピクチャとして保持される／含まれるピクチャを定義するために用いられる。ＲＰＳは、基本的に、ＤＰＢ内の全ての参照ピクチャを含むリストである。ＲＰＳは対象ピクチャの符号化／復号処理を開始する時点で有効化／適用される。有効なＲＰＳに含まれていないＤＰＢ内のピクチャは、非参照ピクチャとして設定される（つまり“参照に使用されない”とマーキングされる）。非参照ピクチャは有効なＲＰＳに記述されていないが、上述の通り、出力タイムインスタンスまでＤＰＢ内に残っている。

ＨＥＶＣにおけるＲＰＳを用いたＤＰＢ管理は、ＡＶＣ映像符号化方式のＤＰＢ管理と異なる。ＡＶＣにおいて、ＭＭＣＯ（メモリ管理制御操作）コマンドは、“参照に使用されない”と参照ピクチャにマーキングするために、参照ピクチャのスライスヘッダで送信される（よって当該ピクチャが非参照ピクチャとして設定される）。マーキング操作は、ＭＭＣＯコマンドが送信された参照ピクチャの復号処理の最後に実行される。ＭＭＣＯコマンドを非参照ピクチャのスライスヘッダで送信することは許されない。

ＡＶＣにおける従来のＤＰＢ管理方式の問題点は、ＭＭＣＯコマンドが参照ピクチャのスライスヘッダでしか送信できないことである。その結果、出力順序の並べ替えのために格納される必要のある１以上の非参照ピクチャがある場合に、その非参照ピクチャに先行する参照ピクチャが、ＤＰＢの利用可能なスペースを確保する必要がある。参照ピクチャの復号直後には、空のＤＰＢスペースはまだ必要とされない可能性があるが、参照ピクチャを非参照ピクチャとしてマーキングするためのＭＭＣＯコマンドは、当該参照ピクチャにおいて送信されてもよい。結果として、符号化順序において当該参照ピクチャに後続する１以上の非参照ピクチャは、参照ピクチャの選択肢が減るため、符号化効率が最適ではない可能性がある。

従来のＤＰＢ管理方式の実装形態における別の問題点は、最適な符号化効率と正しい出力順序の並べ替えとの両方を達成するために、参照ピクチャと出力待機中の非参照ピクチャとの両方を含む大きなサイズのＤＰＢを使用することである。大きなサイズのＤＰＢは、より大きなメモリ容量と実装コストを必要とする。さらに、標準的には、ＤＰＢのサイズは、ＨＥＶＣのプロファイルとレベルとの特定の各組み合わせに対する最大値に制限される。

上記課題を解決するため、本発明は、適切なインスタンスに、および／または所定の優先順位にしたがって、非参照として設定／マーキングされるように連続する参照ピクチャセットが構成された参照ピクチャセット（ＲＰＳ）を用いるＤＰＢ管理のための新たな方法および装置を導入する。本発明を用いることで、最適な参照ピクチャ構成および正しい出力順序の並び替えの両方をサポートしつつ、ＤＰＢサイズを最小に保つことができる。本発明の利点は、符号化効率を改善できることおよび／またはＤＰＢのためのメモリ容量を削減できることである。

本発明の効果は、ＤＰＢのためのメモリサイズを小さく保ちながら、インター予測ピクチャの符号化効率を改善することである。本発明により、ＤＰＢからピクチャをタイムリーに削除することができるので、最大ＤＰＢサイズの制限を超えることなく、参照ピクチャがインター予測の参照に利用可能である状態をできる限り長く保つことができる。

図１は、４階層レベルを有する階層符号化構造を示す図である。 図２は、本発明に係る映像／画像符号化装置の構成を示すブロック図である。 図３は、本発明に係る映像／画像復号装置の構成を示す。 図４は、本発明に係る複数のピクチャに対する符号化処理の実施の形態１を示すフローチャートである。 図５は、本発明に係る複数のピクチャに対する復号処理の実施の形態１を示すフローチャートである。 図６は、本発明に係る複数のピクチャに対する符号化処理の実施の形態２を示すフローチャートである。 図７は、本発明に係る複数のピクチャに対する符号化処理の実施の形態３を示すフローチャートである。 図８は、本発明に係る複数のピクチャに対する復号処理の実施の形態２を示すフローチャートである。 図９は、５階層レベルを有する階層符号化構造を示す図である。 図１０は、３階層レベルを有する階層符号化構造を示す図である。 図１１は、２階層レベルを有する第１の階層符号化構造を示す図である。 図１２は、２階層レベルを有する第２の階層符号化構造を示す図である。 図１３は、最大ＤＰＢサイズおよび参照ピクチャセットを指定するパラメータの位置を示すシンタックス図である。 図１４は、最大ＤＰＢサイズおよび参照ピクチャセットを指定するパラメータの位置を示すシンタックス図である。 図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１６は、デジタル放送用システムの全体構成図である。 図１７は、テレビの構成例を示すブロック図である。 図１８は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図１９は、光ディスクである記録メディアの構造例を示す図である。 図２０Ａは、携帯電話の一例を示す図である。 図２０Ｂは、携帯電話の構成例を示すブロック図である。 図２１は、多重化データの構成を示す図である。 図２２は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図２３は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図２４は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図２５は、ＰＭＴのデータ構成を示す図である。 図２６は、多重化データ情報の内部構成を示す図である。 図２７は、ストリーム属性情報の内部構成を示す図である。 図２８は、映像データを識別するステップを示す図である。 図２９は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図３０は、駆動周波数を切り替える構成を示す図である。 図３１は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図３２は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図３３Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図３３Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

以下、本発明について、図面を参照しながら説明する。

［符号化装置］
図２は、本発明に係る映像／画像符号化装置２００の構成を示すブロック図である。

映像／画像符号化装置２００は、ブロック単位で入力映像／画像ビットストリームを符号化し、符号化出力ビットストリームを生成する装置であり、図２に示されるように、変換部２０１、量子化部２０２、逆量子化部２０３、逆変換部２０４、ブロックメモリ２０５、ピクチャメモリ２０６、イントラ予測部２０７、インター予測部２０８、エントロピー符号化部２０９、およびピクチャメモリ制御部２１０を備える。

入力映像が加算器に入力され、加算値が変換部２０１に出力される。変換部２０１は、加算値を周波数係数に変換し、得られた周波数係数を量子化部２０２に出力する。量子化部２０２は入力された周波数係数を量子化し、得られた量子化値を逆量子化部２０３およびエントロピー符号化部２０９に出力する。エントロピー符号化部２０９は、量子化部２０２から出力された量子化値を符号化し、ビットストリームを出力する。

逆量子化部２０３は量子化部２０２から出力されたサンプル値を逆量子化し、周波数係数を逆変換部２０４に出力する。逆変換部２０４は、周波数係数を逆周波数変換して周波数係数をビットストリームのサンプル値に変換し、得られたサンプル値を加算器に出力する。加算器は、逆変換部２０４から出力されたビットストリームのサンプル値を、イントラ／インター予測部２０７、２０８から出力された予測映像／画像値に加算し、得られた加算値を、（ピクチャメモリ制御部２１０を介して）ブロックメモリ２０５またはピクチャメモリ２０６に、さらなる予測のため出力する。イントラ／インター予測部２０７、２０８は、ブロックメモリ２０５またはピクチャメモリ２０６に格納されている再構成映像／画像内を検索し、予測のため、例えば入力映像／画像に最も類似した映像／画像領域を推定する。

ピクチャメモリ制御部２１０は、ピクチャメモリ２０６に格納されている再構成ピクチャを管理する。ピクチャメモリ制御部２１０が行うメモリ管理処理は、再構成ピクチャが保持されるか、ピクチャメモリ２０６から削除されるかを決定することと、インター予測部２０８によって用いられる参照ピクチャセットを構築することと、エントロピー符号化部２０９によって出力ビットストリームに書き込まれる参照ピクチャセットを制御する制御パラメータを決定することとを含む。

［符号化処理］
次に、上述の映像／画像符号化装置２００の動作について説明する。

図４は、本発明に係る映像／画像符号化装置２００が実行する、複数のピクチャに対する実施の形態１の符号化処理Ｓ４００を示すフローチャートである。

ステップＳ４０１において、符号化映像ビットストリームのヘッダにピクチャバッファの最大サイズを書き込む。（例えばバイト単位の）最大サイズは、ピクチャバッファ内に許容される（つまり格納できる）ピクチャの最大数を決定する。最大サイズからピクチャの最大数を導出する方法として、例えば、（バイトで表される）最大サイズを、（バイトで表される）１つの再構成／復号ピクチャのサイズで除算する。そして、ステップＳ４０２において、所定の符号化順序にしたがって符号化され、出力順序が連続している複数のピクチャを選択する。このとき、符号化順序と出力順序は異なる。符号化順序に応じて、複数のピクチャのうちの１以上の非参照ピクチャが、少なくとも１ピクチャ区間の間、ピクチャバッファ内に格納される必要があり、その結果、複数のピクチャを、その出力順序にしたがって正しく出力できる。

次に、ステップＳ４０３において、第１の参照ピクチャセットを記述するパラメータを、符号化映像ビットストリームに書き込む。このとき、第１の参照ピクチャセット内の参照ピクチャの数は、ピクチャバッファ内に許容されるピクチャの最大数よりも１つ少ない。そしてステップＳ４０４において、第１の参照ピクチャセットを用いて、複数のピクチャのうちの第１の非参照ピクチャを符号化し、符号化映像ビットストリームに含める。

次に、ステップＳ４０５において、第２の参照ピクチャセットを記述するパラメータを、符号化映像ビットストリームに書き込む。このとき、第２の参照ピクチャセット内の参照ピクチャの数は、第１の参照ピクチャセット内の参照ピクチャの数よりも１つ少ない。第２の参照ピクチャセットは、第１の参照ピクチャセットに既に含まれる所定の参照ピクチャを含まないので、当該所定の参照ピクチャを非参照ピクチャとして設定する（つまり“参照に使用されない”とマーキングされる）。新たな／入力されるピクチャがＤＰＢに格納される必要がある場合、出力タイムインスタンスを越えている非参照ピクチャを、その新たなピクチャで上書きすることができる。そしてステップＳ４０６において、第２の参照ピクチャセットを用いて、複数のピクチャのうちの第２の非参照ピクチャを符号化し、符号化映像ビットストリームに含める。

図６は、本発明に係る映像／画像符号化装置２００が実行する、複数のピクチャに対する実施の形態２の符号化処理Ｓ６００を示すフローチャートである。

ステップＳ６０１において、符号化映像ビットストリームのヘッダにピクチャバッファの最大サイズを書き込む。最大サイズは、ピクチャバッファ内に許容される（つまり格納できる）ピクチャの最大数を決定する。そして、ステップＳ６０２において、所定の符号化順序にしたがって符号化され、出力順序が連続している複数のピクチャを選択する。このとき、符号化順序と出力順序は異なる。符号化順序に応じて、複数のピクチャのうちの１以上の非参照ピクチャが、少なくとも１ピクチャ区間の間、ピクチャバッファ内に格納される必要があり、その結果、複数のピクチャが、その出力順序にしたがって正しく出力できる。

次に、ステップＳ６０３において、符号化順序にしたがって複数のピクチャを符号化する。ステップＳ６０３において、符号化順序内で所定のピクチャに対応付けられた参照ピクチャセットは、符号化順序において所定のピクチャの直前にあるピクチャに対応付けられた参照ピクチャセットに既に含まれる先行参照ピクチャを含まない。所定のピクチャに対応付けられた参照ピクチャセット内のピクチャの最大数は、ピクチャバッファ内に許容されるピクチャの最大数よりも２つ少ない。

本発明の一実施の形態において、所定のピクチャ（つまり、先行ピクチャに対応付けられた参照ピクチャセットに既に含まれる参照ピクチャを含まない参照ピクチャセットを有するピクチャ）は、符号化順序内で連続する２ピクチャ毎に（つまり１ピクチャおきに）発生する。

図１の例示的な符号化構造に戻り、本発明の符号化処理における処理のシーケンスをテーブル１に列挙する。図１およびテーブル１は、８ピクチャ毎に周期的に繰り返す４レベルを有する階層符号化構造を示す。テーブル１において、ＩＤＲ（瞬時復号更新）ピクチャが一般的なＩピクチャの代わりに用いられる。ＩＤＲピクチャは、ＤＰＢ全体をフラッシュ／空にする特殊な型のＩピクチャである。ＤＰＢサイズは、ＤＰＢ内に許容されるピクチャの最大数が５になるように設定される。テーブル１の各行は、対象ピクチャに対する符号化／復号処理の開始から終了までのピクチャ区間を示し、所定の符号化順序にしたがって上から下まで配置されている。Ｃ１０３列は、対象ピクチャに対する符号化／復号処理の最後に出力されるピクチャを示す。Ｃ１０４列は、対象ピクチャに対する符号化／復号処理の開始時のＤＰＢの内容／ステータスを示す。ワーキングバッファ（ＷＢ）は、対象ピクチャの再構成サンプルが格納されるＤＰＢ内のピクチャバッファである。Ｃ１０５列は、対象ピクチャに対応付けられた参照ピクチャセット（ＲＰＳ）から除外／削除される参照ピクチャを示す。Ｃ１０５列が空欄の場合、ＲＰＳは上の列にある先行ＲＰＳと同じ参照ピクチャを含む。Ｃ１０６列は、ＤＰＢ処理およびＲＰＳ参照ピクチャの除外／削除に関する注記を示す。

テーブル１の例示的な実施の形態において、複数の参照ピクチャのうちのＲＰＳから除外／削除する１つの参照ピクチャを選択する決定処理／理由は、以下の通りである。

・出力された（つまり、出力タイムインスタンスが過ぎている）参照ピクチャが２つ以上あり、これらのピクチャの階層レベルが異なる場合、最も高い階層レベルの参照ピクチャがＲＰＳから除外／削除される対象として選択される。

・一方、出力された参照ピクチャが２つ以上あり、これらのピクチャの階層レベルが同じ場合、時間的距離（つまり出力順序の距離）が最も大きい参照ピクチャがＲＰＳから除外／削除される対象として選択される。

テーブル１に示されるように、ｂ５のインター予測に４つの参照ピクチャ、つまりＩＤＲ０、Ｂ８、Ｂ４、Ｂ６が利用できる。ｂ５の出力遅延は１であるので、ｂ５は１ピクチャ区間の間、ＤＰＢに格納される必要がある。ＤＰＢ内のスペースの制限により、ｂ５の符号化／復号の最後に、上記４つのうちの一つの参照ピクチャがｂ５のためのスペースを空けるためにＤＰＢから削除される必要がある。従来技術のＡＶＣ映像符号化方式によると、ｂ７のような非参照ピクチャは参照ピクチャを“参照に使用されない”としてマーキングできないので、Ｂ４はＢ６によって早期に削除されなければならない（ＡＶＣにおいて、参照ピクチャのマーキングは削除コマンド／パラメータを有するピクチャ、つまりＢ６の符号化／復号の最後に実行される）。その結果、ｂ５のインター予測に利用できる参照ピクチャの数が減少する。一方、本発明では、複数のピクチャに対する実施の形態１の符号化処理Ｓ４００で上述したように、ｂ７の符号化／復号の開始時にのみＢ４が削除できる。したがって、本発明の利点は、Ｂ４をタイムリーに削除できるので、ｂ５が４つの参照ピクチャ全てを完全に利用できることである。結果として、ｂ５の符号化効率が最適化される。

テーブル１に示されるように、ＤＰＢはＩＤＲ０からＢ２まで徐々に満たされ、ｂ１の符号化／復号の開始時には完全に占有されている。Ｂ６を符号化／復号するためには、１つの参照ピクチャがＢ６の符号化／復号開始時にＤＰＢから削除される必要がある。例示的な決定処理によると、（図１に示されるように）ＩＤＲ０が階層レベル０に位置しているのに対し、Ｂ２は階層レベル２に属しているため、除外／削除される。同様の決定および除外／削除処理が複数のピクチャの符号化を通して続けられる。このとき、ＲＰＳから除外／削除される参照ピクチャは符号化映像ビットストリームに書き込まれた各ＲＰＳパラメータに示される。そのような除外／削除処理は、上述の通り、複数のピクチャに対する実施の形態２の符号化処理Ｓ６００にしたがって実行される。テーブル１のＣ１０５列に示されるように、ＲＰＳからの参照ピクチャの除外／削除は、１ピクチャおきに実行される（つまり、符号化順序が連続する２ピクチャ毎に実行される）。

図１およびテーブル１の例示的な符号化構造は、リーディングピクチャを含まない。リーディングピクチャとは、符号化順序においてイントラピクチャに後続するが、出力順序においてイントラピクチャに先行するピクチャである。テーブル２は、リーディングピクチャを含むＩＤＲピクチャから始まる４レベルの階層構造に対する処理のシーケンスを示す。リーディングピクチャは、ＩＤＲ０に対する負の出力順序で示される。例えば、Ｂ−２は、出力順序においてＩＤＲ０から２ピクチャ区間だけ先行するＢピクチャを指す。テーブル２のＣ２０５列に示されるように、参照ピクチャは、ＤＰＢが占有されている場合にＲＰＳから１ピクチャおきに除外／削除される。

ＩＤＲピクチャの他に、ＨＥＶＣ映像符号化方式はＣＲＡ（Ｃｌｅａｎ Ｒａｍｄｏｍ Ａｃｃｅｓｓ）ピクチャをサポートしている。ＣＲＡピクチャの要求により、符号化順序および表示順序の両方においてＣＲＡに後続するいかなるピクチャも、符号化順序または出力順序の何れかにおいてＣＲＡピクチャに先行するあらゆるピクチャからのインター予測を用いてはならず、符号化順序においてＣＲＡピクチャに先行するあらゆるピクチャは、出力順序においてもＣＲＡピクチャに先行する必要がある。テーブル３は、リーディングピクチャを含むＣＲＡピクチャから始まる４レベルの階層構造に対する処理のシーケンスを示す。テーブル３のＣ３０５列に示されるように、参照ピクチャは、ＤＰＢが占有されている場合にＲＰＳから１ピクチャおきに除外／削除される。

テーブル１、２、および３に示されるように、通常の所定の、ＲＰＳからの参照ピクチャの除外／削除は、ＤＰＢが完全に占有されたときに開始される。次に、ＤＰＢが占有されている場合を考慮した本発明の代替的な実施の形態を示す。

図７は、本発明に係る映像／画像符号化装置２００が実行する、複数のピクチャに対する実施の形態３の符号化処理Ｓ７００を示すフローチャートである。

ステップＳ７０１において、符号化映像ビットストリームのヘッダにピクチャバッファの最大サイズを書き込む。最大サイズは、ピクチャバッファ内に許容される（つまり格納できる）ピクチャの最大数を決定する。そして、ステップＳ７０２において、所定の符号化順序にしたがって符号化され、出力順序が連続している複数のピクチャを選択する。このとき、符号化順序と出力順序は異なる。符号化順序に応じて、複数のピクチャのうちの１以上の非参照ピクチャが、少なくとも１ピクチャ区間の間、ピクチャバッファ内に格納される必要があり、その結果、複数のピクチャを、それらの出力順序にしたがって正しく出力できる。

次に、ステップＳ７０３において、符号化順序にしたがって複数のピクチャのうちの一部のピクチャ（サブセット）を符号化する。このとき、一部のピクチャのうちの参照ピクチャは、ピクチャバッファに許容される参照ピクチャの最大数に達するまで、当該ピクチャバッファに格納される。

次に、ステップＳ７０４において、符号化順序にしたがって複数のピクチャのうちの残りのピクチャを符号化する。ステップＳ６０３において、符号化順序内で所定のピクチャに対応付けられた参照ピクチャセットは、符号化順序において所定のピクチャの直前にあるピクチャに対応付けられた参照ピクチャセットに既に含まれる先行参照ピクチャを含まない。所定のピクチャに対応付けられた参照ピクチャ内のピクチャの最大数は、ピクチャバッファ内に許容されるピクチャの最大数よりも２つ少ない。

図１、テーブル１、２、および３に示される４レベルの階層符号化構造以外に、他の符号化構造も映像／画像の符号化によく用いられている。

図９およびテーブル４は、１６ピクチャ毎に周期的に繰り返す、５レベルの階層符号化構造を示す。テーブル４において、テーブル１と同様に、ＩＤＲ（瞬時復号更新）ピクチャが一般的なＩピクチャの代わりに用いられる。ＤＰＢサイズは、ＤＰＢ内に許容されるピクチャの最大数が６になるように設定される。

テーブル４に示されるように、ｂ５のインター予測に５つの参照ピクチャ、つまりＩＤＲ０、Ｂ１６、Ｂ８、Ｂ４、Ｂ６が利用できる。ｂ５の出力遅延は１であるので、ｂ５は１ピクチャ区間の間、ＤＰＢに格納される必要がある。ＤＰＢ内のスペースの制限により、ｂ５の符号化／復号の最後に、上記５つの参照ピクチャのうちの１つが、ｂ５のためのスペースを空けるためにＤＰＢから削除される必要がある。先行技術のＡＶＣ映像符号化方式によると、ｂ７はＢ４を“参照に用いられない”とマーキングすることができないので、Ｂ４はＢ６によって早期に削除されなければならない。その結果、ｂ５のインター予測に利用できる参照ピクチャの数が減少する。一方、本発明では、複数のピクチャに対する実施の形態１の符号化処理Ｓ４００で上述したように、ｂ７の符号化／復号の開始時にのみＢ４が削除できる。したがって、本発明の利点は、Ｂ４をタイムリーに削除できるので、ｂ５が４つの参照ピクチャ全てを完全に利用できることである。結果として、ｂ５の符号化効率が最適化される。

上記と同様に、参照ピクチャをタイムリーに削除できるという本発明の利点は、ｂ９およびｂ１１の符号化／復号に関しても得ることができる。

テーブル４に示されるように、ＤＰＢはＩＤＲ０からＢ２まで徐々に満たされ、ｂ１の符号化／復号の開始時には完全に占有されている。Ｂ６を符号化／復号するためには、１つの参照ピクチャがＢ６の符号化／復号開始時にＤＰＢから削除される必要がある。上記テーブル１に関して説明した例示的な決定処理によると、（図９に示されるように）ＩＤＲ０が階層レベル０に位置しているのに対し、Ｂ２は階層レベル２に属しているため、除外／削除される。同様の決定および除外／削除処理が複数のピクチャの符号化を通して続けられる。このとき、ＲＰＳから除外／削除される参照ピクチャは符号化映像ビットストリームに書き込まれた各ＲＰＳパラメータに示される。そのような除外／削除処理は、上述の通り、複数のピクチャに対する実施の形態２の符号化処理Ｓ６００、または複数のピクチャに対する実施の形態３の符号化処理Ｓ７００にしたがって実行される。テーブル４のＣ４０５列に示されるように、ＲＰＳからの参照ピクチャの除外／削除は、１ピクチャおきに実行される（つまり、符号化順序が連続する２ピクチャ毎に実行される）。

リーディングピクチャを含む、または含まないＩＤＲまたはＣＲＡから開始する、代替的な５レベルの階層符号化構造が、本発明に係る符号化処理の、同じ実施の形態を用いて達成できる。

図１０およびテーブル５は、４ピクチャ毎に周期的に繰り返す、３レベルの階層符号化構造を示す。テーブル５において、テーブル１と同様に、ＩＤＲ（Ｉｎｓｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャが一般的なＩピクチャの代わりに用いられる。ＤＰＢサイズは、ＤＰＢ内に許容されるピクチャの最大数が４になるように設定される。

テーブル５に示されるように、ＤＰＢはＩＤＲ０からＢ２まで徐々に満たされ、ｂ１の符号化／復号の開始時には完全に占有されている。Ｂ８を符号化／復号するためには、１つの参照ピクチャがＢ８の符号化／復号開始時にＤＰＢから削除される必要がある。上記テーブル１に関して説明した例示的な決定処理によると、ＩＤＲ０は、Ｂ４と比べて対象ピクチャＢ８からの時間的距離（つまり出力順序の距離）が長いため、除外／削除される。同様の決定および除外／削除処理が複数のピクチャの符号化を通して続けられる。このとき、ＲＰＳから除外／削除される参照ピクチャは符号化映像ビットストリームに書き込まれた各ＲＰＳパラメータに示される。そのような除外／削除処理は、上述の通り、複数のピクチャに対する実施の形態２の符号化処理Ｓ６００、または複数のピクチャに対する実施の形態３の符号化処理Ｓ７００にしたがって実行される。テーブル５のＣ５０５列に示されるように、ＲＰＳからの参照ピクチャの除外／削除は、１ピクチャおきに実行される（つまり、符号化順序が連続する２ピクチャ毎に実行される）。

リーディングピクチャを含む、または含まないＩＤＲまたはＣＲＡから開始する、代替的な３レベルの階層符号化構造が、本発明に係る符号化処理の、同じ実施の形態を用いて達成できる。

図１１およびテーブル６は、３ピクチャ毎に周期的に繰り返す２つのレベルを有し、２つの連続するピクチャがレベル１に含まれる第１の階層符号化構造を示す。１番目のレベル１ピクチャは参照ピクチャであり、２番目のレベル１ピクチャは非参照ピクチャである。テーブル６において、テーブル１と同様に、ＩＤＲ（瞬時復号更新）ピクチャが一般的なＩピクチャの代わりに用いられる。ＤＰＢサイズは、ＤＰＢ内に許容されるピクチャの最大数が３になるように設定される。

テーブル６に示されるように、ＤＰＢはＩＤＲ０からＢ３まで徐々に満たされ、Ｂ１の符号化／復号の開始時には完全に占有されている。ｂ２を符号化／復号するためには、１つの参照ピクチャがｂ２の符号化／復号開始時にＤＰＢから削除される必要がある。ＩＤＲ０は、ＤＰＢ内で出力インスタンス／時間を過ぎている唯一の参照ピクチャであるため削除される。同様に、Ｂ４を符号化／復号するためには、１つの参照ピクチャがＢ４の符号化／復号開始時にＤＰＢから削除される必要がある。上記テーブル１に関して説明した例示的な決定処理によると、（図１１に示されるように）Ｂ３が階層レベル０に位置しているのに対し、Ｂ１は、階層レベル１に属しているため除外／削除される。そのような除外／削除処理は、上述の通り、複数のピクチャに対する実施の形態２の符号化処理Ｓ６００、または複数のピクチャに対する実施の形態３の符号化処理Ｓ７００にしたがって実行される。テーブル６のＣ６０５列に示されるように、ＲＰＳからの参照ピクチャの除外／削除は、３ピクチャの階層的区間の各々において、２番目と３番目のピクチャでそれぞれ実行される。

リーディングピクチャを含む、または含まないＩＤＲまたはＣＲＡから開始する、代替的な２レベルの階層符号化構造が、本発明に係る符号化処理の、同じ実施の形態を用いて達成できる。

図１２およびテーブル７は、３ピクチャ毎に周期的に繰り返す２つのレベルを有し、２つの連続するピクチャがレベル１に含まれる第２の階層符号化構造を示す。レベル１ピクチャは両方とも非参照ピクチャである。テーブル７において、テーブル１と同様に、ＩＤＲ（瞬時復号更新）ピクチャが一般的なＩピクチャの代わりに用いられる。ＤＰＢサイズは、ＤＰＢ内に許容されるピクチャの最大数が３になるように設定される。

テーブル７に示されるように、ＤＰＢはＩＤＲ０からＢ３まで徐々に満たされ、ｂ１の符号化／復号の開始時には完全に占有されている。ｂ４を符号化／復号するためには、１つの参照ピクチャがｂ４の符号化／復号開始時にＤＰＢから削除される必要がある。そうすれば、Ｂ６を出力インスタンス／時間まで格納できる。上記テーブル１に関して説明した例示的な決定処理によると、ＩＤＲ０はＢ３と比べて、対象ピクチャｂ４からの時間的距離（つまり出力順序の距離）が長いため、ＩＤＲ０が除外／削除される。そのような除外／削除処理は、上述の通り、複数のピクチャに対する実施の形態２の符号化処理Ｓ６００、または複数のピクチャに対する実施の形態３の符号化処理Ｓ７００にしたがって実行される。テーブル７のＣ７０５列に示されるように、ＲＰＳからの参照ピクチャの除外／削除は、３ピクチャの階層的区間の各々において２番目と３番目のピクチャでそれぞれ実行される。

リーディングピクチャを含む、または含まないＩＤＲまたはＣＲＡから開始する、代替的な２レベルの階層符号化構造は、本発明に係る符号化処理の、同じ実施の形態を用いて達成できる。

［シンタックス］
図１３は、最大ＤＰＢサイズおよび参照ピクチャセットを指定するパラメータの位置を示すシンタックス図である。

図１３に示されるように、最大ＤＰＢサイズを示すパラメータは、符号化映像ビットストリームの第１ヘッダに位置する。第１ヘッダの一例は、シーケンスパラメータセットである。本発明の代替的な実施の形態において、最大ＤＰＢサイズは、所定のマッピングテーブルにしたがって、第１ヘッダ内のプロファイルおよびレベルを示すパラメータから導出される。符号化映像ビットストリームの第２ヘッダは、複数の予め定義された参照ピクチャセットを指定するパラメータを含む。スライスヘッダにおいて、複数の予め定義された参照ピクチャセットのうちの１つが選択され、当該スライスの符号化／復号に用いられる有効参照ピクチャセットとして用いるために修正される可能性がある。有効参照ピクチャセットは、参照ピクチャのリストを定義する。ＤＰＢ内の参照ピクチャが当該リストから除外される場合、その参照ピクチャは“参照に使用されない”とマーキングされる（つまり、非参照ピクチャとして設定される）。第２ヘッダの一例は、ピクチャパラメータセットである。第２ヘッダの他の例は、適応パラメータセットである。本発明の他の実施の形態において、最大ＤＰＢサイズと予め定義された参照ピクチャセットとは両方とも、第１ヘッダ内に位置する。本発明に想定される実施の形態において、スライスの他に、タイル、エントロピースライス、および波面分割ユニット等の他のサブピクチャユニットを用いてもよい。そのような実施の形態において、参照ピクチャセットを選択および修正するパラメータは、サブピクチャユニットのヘッダに位置してもよい。

図１４は、最大ＤＰＢサイズおよび参照ピクチャセットを指定するパラメータの位置を示すシンタックス図である。

図１４に示されるように、最大ＤＰＢサイズを示すパラメータは、符号化映像ビットストリームの第１ヘッダに位置する。第１ヘッダの一例は、シーケンスパラメータセットである。本発明の代替的な実施の形態において、最大ＤＰＢサイズは、所定のマッピングテーブルにしたがって、第１ヘッダ内のプロファイルおよびレベルを示すパラメータから導出される。サブピクチャユニットのスライスヘッダまたはヘッダは、スライスまたはサブピクチャユニットの符号化／復号に用いられる有効参照ピクチャセットを指定するパラメータを有する。有効参照ピクチャセットは、参照ピクチャのリストを定義する。ＤＰＢ内の参照ピクチャが当該リストから除外される場合、その参照ピクチャは“参照に使用されない”とマーキングされる（つまり、非参照ピクチャとして設定される）。

［符号化に関する発明の効果］
本発明の効果は、ＤＰＢのメモリサイズを小さく保ちながら、インター予測ピクチャの符号化効率を改善することである。本発明により、ＤＰＢからピクチャをタイムリーに削除することができるので、最大ＤＰＢサイズの制限を超えることなく、参照ピクチャがインター予測の参照に利用可能である状態をできる限り長く保つことができる。

［復号装置］
図３は、本発明に係る映像／画像復号装置３００の構成を示すブロック図である。

映像／画像復号装置３００は、ブロック単位で入力符号化ビットストリームを復号し、映像／画像を出力する装置であり、図３に示されるように、エントロピー復号部３０１、逆量子化部３０２、逆変換部３０３、ブロックメモリ３０４、ピクチャメモリ３０５、イントラ予測部３０６、インター予測部３０７、ピクチャメモリ制御部３０８を備える。

入力された符号化ビットストリームは、エントロピー復号部３０１に入力される。入力された符号化ビットストリームがエントロピー復号部３０１に入力された後、エントロピー復号部３０１は入力された符号化ビットストリームを復号し、逆量子化部３０２に復号値を出力する。逆量子化部３０２は復号値を逆量子化し、周波数係数を逆変換部３０３に出力する。逆変換部３０３は、周波数係数を逆周波数変換してサンプル値に変換し、得られた画素値を加算器に出力する。加算器は、得られた画素値を、イントラ／インター予測部３０６、３０７から出力された予測映像／画像値に加算し、得られた値を表示するために出力し、かつさらなる予測のため、（ピクチャメモリ制御部３０８を介して）ブロックメモリ３０４またはピクチャメモリ３０５に出力する。また、イントラ／インター予測部３０６、３０７は、ブロックメモリ３０４またはピクチャメモリ３０５に格納されている映像／画像内を検索し、予測のため、例えば復号映像／画像に最も類似した映像／画像領域を推定する。

ピクチャメモリ制御部３０８は、ピクチャメモリ３０５に格納されている再構成ピクチャを管理する。ピクチャメモリ制御部３０８は、エントロピー復号部３０１から制御パラメータを読み出し、それにしたがってメモリ管理処理を実行する。ピクチャメモリ制御部３０８が行うメモリ管理処理は、再構成ピクチャが保持されるか、ピクチャメモリ３０５から削除されるかを解析されたパラメータに基づいて決定することと、インター予測部３０７によって用いられる参照ピクチャセットを構築することとを含む。

［復号処理］
次に、上述の映像／画像復号装置３００の動作について説明する。

図５は、本発明に係る映像／画像符号化装置３００が実行する、複数のピクチャに対する実施の形態１の復号処理Ｓ５００を示すフローチャートである。

ステップＳ５０１において、符号化映像ビットストリームのヘッダからピクチャバッファの最大サイズを解析する。最大サイズは、ピクチャバッファ内に許容される（つまり格納できる）ピクチャの最大数を決定する。次に、ステップＳ５０２において、第１の参照ピクチャセットを、符号化映像ビットストリームから解析する。このとき、第１の参照ピクチャセット内の参照ピクチャの数は、ピクチャバッファ内に許容されるピクチャの最大数よりも１つ少ない。そしてステップＳ５０３において、第１の参照ピクチャセットを用いて、第１の非参照ピクチャを符号化映像ビットストリームから復号する。ステップＳ５０４において、当該第１の非参照ピクチャをピクチャバッファに格納する。

次に、ステップＳ５０５において、第２の参照ピクチャセットを、符号化映像ビットストリームから解析する。このとき、第２の参照ピクチャセット内の参照ピクチャの数は、第１の参照ピクチャセット内の参照ピクチャの数よりも１つ少ない。そしてステップＳ５０６において、第２の参照ピクチャセットを用いて、第２の非参照ピクチャを符号化映像ビットストリームから復号する。最後に、ステップＳ５０７において、第２の非参照ピクチャの復号が完了するタイムインスタンスまたはそれよりも後に、第１の非参照ピクチャを出力する。

図８は、本発明に係る映像／画像復号装置３００が実行する、複数のピクチャに対する実施の形態２の復号処理Ｓ８００を示すフローチャートである。

ステップＳ８０１において、符号化映像ビットストリームのヘッダからピクチャバッファの最大サイズを解析する。最大サイズは、ピクチャバッファ内に許容される（つまり格納できる）ピクチャの最大数を決定する。次に、ステップＳ８０２において、符号化映像ビットストリームから参照ピクチャセットを解析する。そしてステップＳ８０３において、参照ピクチャセットを用いて、非参照ピクチャを符号化映像ビットストリームから復号する。ステップＳ８０４において、当該非参照ピクチャをピクチャバッファに格納する。最後に、ステップＳ８０５において、符号化順序において非参照ピクチャの直後に続くピクチャが完全に復号されるタイムインスタンスまたはそれよりも後に、当該非参照ピクチャを出力する。

［復号に関する発明の効果］
本開示の効果は、ＤＰＢのメモリサイズを小さく保ちながらインター予測ピクチャの符号化効率を改善して符号化された、符号化映像ビットストリームを復号できることである。

［実施の形態の応用例］
上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

［実施の形態Ａ］
図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０６からｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図１５のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６からｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本開示の一態様に係る画像符号化装置として機能する）、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本開示の一態様に係る画像復号装置として機能する）。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図１６に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本開示の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する（即ち、本開示の一態様に係る画像復号装置として機能する）。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した多重化データを読み取り復号化する、または記録メディアｅｘ２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、多重化データが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図１７は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナｅｘ３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ｅｘ３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ｅｘ３０６で符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５（本開示の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した多重化データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から多重化データを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図１８に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１、ｅｘ４０２、ｅｘ４０３、ｅｘ４０４、ｅｘ４０５、ｅｘ４０６、ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図１９に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１７に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。

図２０Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ３５０、映像、静止画を撮ることが可能なカメラ部ｅｘ３６５、カメラ部ｅｘ３６５で撮像した映像、アンテナｅｘ３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ３５８を備える。携帯電話ｅｘ１１４は、さらに、操作キー部ｅｘ３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ｅｘ３５７、音声を入力するためのマイク等である音声入力部ｅｘ３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ｅｘ３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ｅｘ３６４を備える。

さらに、携帯電話ｅｘ１１４の構成例について、図２０Ｂを用いて説明する。携帯電話ｅｘ１１４は、表示部ｅｘ３５８及び操作キー部ｅｘ３６６を備えた本体部の各部を統括的に制御する主制御部ｅｘ３６０に対して、電源回路部ｅｘ３６１、操作入力制御部ｅｘ３６２、映像信号処理部ｅｘ３５５、カメラインタフェース部ｅｘ３６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３５９、変調／復調部ｅｘ３５２、多重／分離部ｅｘ３５３、音声信号処理部ｅｘ３５４、スロット部ｅｘ３６４、メモリ部ｅｘ３６７がバスｅｘ３７０を介して互いに接続されている。

電源回路部ｅｘ３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ３６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ３５６で収音した音声信号を音声信号処理部ｅｘ３５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ３５２でスペクトラム拡散処理し、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ３５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ３５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ｅｘ３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３６２を介して主制御部ｅｘ３６０に送出される。主制御部ｅｘ３６０は、テキストデータを変調／復調部ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ３５０を介して基地局ｅｘ１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ３５５は、カメラ部ｅｘ３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本開示の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ｅｘ３５３に送出する。また、音声信号処理部ｅｘ３５４は、映像、静止画等をカメラ部ｅｘ３６５で撮像中に音声入力部ｅｘ３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ３５３に送出する。

多重／分離部ｅｘ３５３は、映像信号処理部ｅｘ３５５から供給された符号化された映像データと音声信号処理部ｅｘ３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ３５２でスペクトラム拡散処理をし、送信／受信部ｅｘ３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ３５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３７０を介して符号化された映像データを映像信号処理部ｅｘ３５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ３５４に供給する。映像信号処理部ｅｘ３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本開示の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ｅｘ３５９を介して表示部ｅｘ３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ３５４は、音声信号を復号し、音声出力部ｅｘ３５７から音声が出力される。

また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本開示の上記各実施の形態では、種々の変形または修正が可能である。

［実施の形態Ｂ］
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図２１は、多重化データの構成を示す図である。図２１に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図２２は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームｅｘ２３５、複数のオーディオフレームからなるオーディオストリームｅｘ２３８を、それぞれＰＥＳパケット列ｅｘ２３６およびｅｘ２３９に変換し、ＴＳパケットｅｘ２３７およびｅｘ２４０に変換する。同じくプレゼンテーショングラフィックスストリームｅｘ２４１およびインタラクティブグラフィックスｅｘ２４４のデータをそれぞれＰＥＳパケット列ｅｘ２４２およびｅｘ２４５に変換し、さらにＴＳパケットｅｘ２４３およびｅｘ２４６に変換する。多重化データｅｘ２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図２３は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２３における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２３の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図２４は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図２４下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図２５はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図２６に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図２６に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図２７に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図２８に示す。ステップｅｘＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップｅｘＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップｅｘＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップｅｘＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

［実施の形態Ｃ］
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２９に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１、ｅｘ５０２、ｅｘ５０３、ｅｘ５０４、ｅｘ５０５、ｅｘ５０６、ｅｘ５０７、ｅｘ５０８、ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力された多重化データは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ｅｘ５０１が、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４、駆動周波数制御部ｅｘ５１２等を有するとしているが、制御部ｅｘ５０１の構成は、この構成に限らない。例えば、信号処理部ｅｘ５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ｅｘ５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵｅｘ５０２が信号処理部ｅｘ５０７、または信号処理部ｅｘ５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ｅｘ５０１は、信号処理部ｅｘ５０７、またはその一部を有するＣＰＵｅｘ５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

そのようなプログラムすることが可能な論理デバイスは、通常、ソフトウェアまたはファームウェアに含まれる１以上のプログラムをメモリ等から読み込むことによって、上記実施の形態の何れかに係る動画像符号化方法および／または動画像復号方法を実行することができる。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

［実施の形態Ｄ］
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩｅｘ５００において、従来の規格に準拠する映像データを復号する際のＣＰＵｅｘ５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビｅｘ３００、ＬＳＩｅｘ５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図３０は、本実施の形態における構成ｅｘ８００を示している。駆動周波数切替え部ｅｘ８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ｅｘ８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ｅｘ８０３は、図２９のＣＰＵｅｘ５０２と駆動周波数制御部ｅｘ５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ｅｘ８０１、および、従来の規格に準拠する復号処理部ｅｘ８０２は、図２９の信号処理部ｅｘ５０７に該当する。ＣＰＵｅｘ５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵｅｘ５０２からの信号に基づいて、駆動周波数制御部ｅｘ５１２は、駆動周波数を設定する。また、ＣＰＵｅｘ５０２からの信号に基づいて、信号処理部ｅｘ５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態Ｂで記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態Ｂで記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵｅｘ５０２における駆動周波数の選択は、例えば、図１２７のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファｅｘ５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵｅｘ５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図３１は、本実施の形態の方法を実施するステップを示している。まず、ステップｅｘＳ２００では、信号処理部ｅｘ５０７において、多重化データから識別情報を取得する。次に、ステップｅｘＳ２０１では、ＣＰＵｅｘ５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップｅｘＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップｅｘＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵｅｘ５０２が駆動周波数制御部ｅｘ５１２に送る。そして、駆動周波数制御部ｅｘ５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵｅｘ５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵｅｘ５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩｅｘ５００またはＬＳＩｅｘ５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

［実施の形態Ｅ］
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩｅｘ５００の信号処理部ｅｘ５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ｅｘ５０７を個別に用いると、ＬＳＩｅｘ５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図１２８Ａのｅｘ９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ｅｘ９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本開示の一態様に特有の他の処理内容については、専用の復号処理部ｅｘ９０１を用いるという構成が考えられる。特に、本開示の一態様は、動き補償に特徴を有していることから、例えば、動き補償については専用の復号処理部ｅｘ９０１を用い、それ以外のエントロピー復号、デブロッキング・フィルタ、逆量子化のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図１２８Ｂのｅｘ１０００に示す。この例では、本開示の一態様に特有の処理内容に対応した専用の復号処理部ｅｘ１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ｅｘ１００２と、本開示の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ｅｘ１００３とを用いる構成としている。ここで、専用の復号処理部ｅｘ１００１、ｅｘ１００２は、必ずしも本開示の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩｅｘ５００で実装することも可能である。

このように、本開示の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

Claims (14)

1. 映像符号化方法であって、
   符号化映像ビットストリームのヘッダにピクチャバッファの最大サイズを書き込み、ここで、前記ピクチャバッファ内に許容されるピクチャの最大数は、前記ピクチャバッファの最大サイズから導出され、
   所定の符号化順序にしたがって符号化される、出力順序が連続している複数のピクチャを選択し、ここで、（ｉ）前記符号化順序は前記出力順序とは異なり、（ｉｉ）前記符号化順序では、前記出力順序にしたがって前記複数のピクチャを出力するために前記複数のピクチャのうち１以上の非参照ピクチャを前記ピクチャバッファに格納する必要があり、
   第１の参照ピクチャセットを記述するパラメータを、前記符号化映像ビットストリームに書き込み、ここで、前記第１の参照ピクチャセット内の参照ピクチャの数は、前記ピクチャバッファ内に許容されるピクチャの最大数よりも１つ少なく、
   前記第１の参照ピクチャセットを用いて、前記複数のピクチャのうちの第１の非参照ピクチャを符号化して前記符号化映像ビットストリームに含め、
   第２の参照ピクチャセットを記述するパラメータを、前記符号化映像ビットストリームに書き込み、ここで、前記第２の参照ピクチャセット内の参照ピクチャの数は、前記第１の参照ピクチャセット内の参照ピクチャの数よりも１つ少なく、
   前記第２の参照ピクチャセットを用いて、前記複数のピクチャのうちの第２の非参照ピクチャを符号化して前記符号化映像ビットストリームに含める
   映像符号化方法。
2. さらに、前記符号化順序にしたがって前記複数のピクチャを符号化し、ここで、（ｉ）前記符号化順序内で所定のピクチャに対応付けられた参照ピクチャセットは、前記符号化順序において前記所定のピクチャの直前にあるピクチャに対応付けられた参照ピクチャセットに既に含まれる先行参照ピクチャを含まず、かつ、（ｉｉ）前記所定のピクチャに対応付けられた前記参照ピクチャセット内のピクチャの最大数は、前記ピクチャバッファ内に許容されるピクチャの最大数よりも２つ少ない
   請求項１記載の映像符号化方法。
3. さらに、前記複数のピクチャのうちの一部のピクチャを前記符号化順序にしたがって符号化し、ここで、前記一部のピクチャのうちの参照ピクチャは、前記ピクチャバッファに許容される参照ピクチャの最大数に達するまで、前記ピクチャバッファに格納され、
   前記複数のピクチャのうちの残りのピクチャを前記符号化順序にしたがって符号化し、ここで、（ｉ）前記符号化順序内で所定のピクチャに対応付けられた参照ピクチャセットは、前記符号化順序において前記所定のピクチャの直前にあるピクチャに対応付けられた参照ピクチャセットに既に含まれる先行参照ピクチャを含まず、かつ、（ｉｉ）前記所定のピクチャに対応付けられた前記参照ピクチャセット内のピクチャの最大数は、前記ピクチャバッファ内に許容されるピクチャの最大数よりも２つ少ない
   請求項１記載の映像符号化方法。
4. 前記先行参照ピクチャを含まない前記参照ピクチャセットに対応付けられた前記所定のピクチャは、前記符号化順序において連続する２ピクチャ毎に発生する
   請求項２記載の映像符号化方法。
5. 前記符号化順序は、参照ピクチャとして符号化されるピクチャと、非参照ピクチャとして符号化されるピクチャとを含む
   請求項１記載の映像符号化方法。
6. 前記符号化順序では、階層構造でピクチャが配列され、前記階層構造では、階層レベルが高いピクチャが、階層レベルが低いピクチャから双方向インター予測される
   請求項１記載の映像符号化方法。
7. 所定のピクチャに対応付けられた参照ピクチャセットから除外される先行参照ピクチャは、参照ピクチャの階層レベルと、参照ピクチャから前記所定のピクチャの間の出力順序の距離とのうちの少なくとも１つに基づいて選択される
   請求項６記載の映像符号化方法。
8. 映像復号方法であって、
   符号化映像ビットストリームのヘッダからピクチャバッファの最大サイズを解析し、ここで、前記ピクチャバッファ内に許容されるピクチャの最大数は、前記ピクチャバッファの最大サイズから導出され、
   第１の参照ピクチャセットを前記符号化映像ビットストリームから解析し、ここで、前記第１の参照ピクチャセット内の参照ピクチャの数は、前記ピクチャバッファ内に許容されるピクチャの最大数よりも１つ少なく、
   前記第１の参照ピクチャセットを用いて、第１の非参照ピクチャを符号化映像ビットストリームから復号し、
   前記第１の非参照ピクチャを前記ピクチャバッファに格納し、
   第２の参照ピクチャセットを、前記符号化映像ビットストリームから解析し、ここで、前記第２の参照ピクチャセット内の参照ピクチャの数は、前記第１の参照ピクチャセット内の参照ピクチャの数よりも１つ少なく、
   前記第２の参照ピクチャセットを用いて、第２の非参照ピクチャを前記符号化映像ビットストリームから復号し、
   前記第２の非参照ピクチャの復号が完了するタイムインスタンスまたはそれよりも後に、前記第１の非参照ピクチャを出力する
   映像復号方法。
9. （ｉ）所定のピクチャに対応付けられた参照ピクチャセットは、前記所定のピクチャの直前にあるピクチャに対応付けられた参照ピクチャセットに既に含まれる先行参照ピクチャを含まず、かつ、（ｉｉ）前記所定のピクチャに対応付けられた前記参照ピクチャセットのピクチャの最大数は、前記ピクチャバッファ内に許容されるピクチャの最大数よりも２つ少なく、
   前記映像復号方法は、さらに、
   前記所定のピクチャに対応付けられた参照ピクチャセットを前記符号化映像ビットストリームから解析し、前記所定のピクチャの直前にあるピクチャに対応付けられた参照ピクチャセットを前記符号化映像ビットストリームから解析し、
   （ｉ）前記符号化映像ビットストリームから解析された、前記所定のピクチャに対応付けられた前記参照ピクチャセットと、（ｉｉ）前記符号化映像ビットストリームから解析された、前記所定のピクチャの直前にあるピクチャに対応付けられた前記参照ピクチャセットとを用いて、複数のピクチャを前記符号化映像ビットストリームから復号し、
   前記ピクチャバッファに前記複数のピクチャを格納する
   請求項８記載の映像復号方法。
10. （ｉ）所定のピクチャに対応付けられた参照ピクチャセットは、前記所定のピクチャの直前にあるピクチャに対応付けられた参照ピクチャセットに既に含まれる先行参照ピクチャを含まず、かつ、（ｉｉ）前記所定のピクチャに対応付けられた前記参照ピクチャセットのピクチャの最大数は、前記ピクチャバッファ内に許容されるピクチャの最大数よりも２つ少なく、
    前記映像復号方法は、さらに、
    前記所定のピクチャに対応付けられた参照ピクチャセットを前記符号化映像ビットストリームから解析し、前記所定のピクチャの直前にあるピクチャに対応付けられた参照ピクチャセットを前記符号化映像ビットストリームから解析し、
    （ｉ）前記符号化映像ビットストリームから解析された、前記所定のピクチャに対応付けられた前記参照ピクチャセットと、（ｉｉ）前記符号化映像ビットストリームから解析された、前記所定のピクチャの直前にあるピクチャに対応付けられた前記参照ピクチャセットとを用いて、複数のピクチャのうちの一部のピクチャを前記符号化映像ビットストリームから復号して、前記ピクチャバッファ内に許容される参照ピクチャの最大数に達するまで前記ピクチャバッファに格納し、
    （ｉ）前記符号化映像ビットストリームから解析された、前記所定のピクチャに対応付けられた前記参照ピクチャセットと、（ｉｉ）前記符号化映像ビットストリームから解析された、前記所定のピクチャの直前にあるピクチャに対応付けられた前記参照ピクチャセットとを用いて、前記複数のピクチャのうちの残りのピクチャを前記符号化映像ビットストリームから復号して前記ピクチャバッファに格納する
    請求項８記載の映像復号方法。
11. 前記先行参照ピクチャを含まない前記参照ピクチャセットに対応付けられた前記所定のピクチャは、前記符号化映像ビットストリーム内で連続する２ピクチャ毎に発生する
    請求項９記載の映像復号方法。
12. 前記符号化映像ビットストリームは、参照ピクチャとして符号化されるピクチャと、非参照ピクチャとして符号化されるピクチャとを含む
    請求項８記載の映像復号方法。
13. 前記符号化映像ビットストリームでは、階層構造でピクチャが配列され、前記階層構造では、階層レベルが高いピクチャが、階層レベルが低いピクチャから双方向インター予測される
    請求項８記載の映像復号方法。
14. 所定のピクチャに対応付けられた参照ピクチャセットから除外される先行参照ピクチャは、参照ピクチャの階層レベルと、参照ピクチャから前記所定のピクチャの間の出力順序の距離とのうちの少なくとも１つに基づいて前記符号化映像の符号化中に選択される
    請求項１３記載の映像復号方法。

Images