JP5179484B2 - マルチレイヤ・ビットストリームデータを情報伝達するための方法およびシステム - Google Patents

Description

本発明の実施形態は、マルチレイヤ・ビットストリームデータを情報伝達するための方法およびシステムを含んでいる。

エンコーダ出力のビットレートを下げるために、スケーラブルなビットストリームは、レイヤ間予測の一形態を含みうる。典型的なシステムは、ＡＶＣ｜Ｈ。２６４ビデオ符号化標準のためのスケーラブルなビデオ拡張におけるレイヤ間予測を含んでいる。上記拡張はＳＶＣとして一般に知られており、ＳＶＣシステムはT.Wiegand、G.Sullivan、J.Reichel、H.Schwarz and M.Wien、"Joint Draft 9 of SVC amendment (revision 2)"、JVT-V201、Marrakech、Morocco、January 13-19、2007（本文献は、参照によって本明細書に組み込まれるものとする）に記載されている。上記ＳＶＣシステムにおいて、レイヤ間予測は、列挙された(enumerated)下位レイヤから列挙された上位レイヤへ動きおよびモードの情報を投影する(project)ことによって実現される。それに加えて、予測残差が、列挙された下位レイヤから列挙された上位レイヤへ投影される。したがって、上記の上位レイヤのビットストリームは、復号された出力の質を改善するために追加の残差を含むことができる。

本発明の第１の態様によれば、拡張されたマルチレイヤビットストリームを作成するための方法であって、ａ）ビデオシーケンスのスケーラブルなマルチレイヤ表現を受信するステップ；ｂ）上記ビデオシーケンスのレイヤの非スケーラブルな単一レイヤ表現に関連する、上記ビデオシーケンスの上記レイヤの第１のビットレート特性を決定するステップ；およびｃ）ビットレート特性データを上記スケーラブルなマルチレイヤ表現に添付(attach)して、拡張されたスケーラブルな表現を形成するステップを含む方法が提供される。

本発明の第１の態様によれば、拡張されたマルチレイヤビットストリームを作成するためのシステムであって、ビデオシーケンスのスケーラブルなマルチレイヤ表現を受信する受信機；上記ビデオシーケンスのレイヤの非スケーラブルな単一レイヤ表現に関する、上記ビデオシーケンスの上記レイヤの第１のビットレート特性を決定する決定器；および拡張されたスケーラブルな表現を形成するために、ビットレート特性データを上記スケーラブルなマルチレイヤ表現に添付する添付器を含むシステムがさらに提供される。

上記スケーラブルなマルチレイヤ表現はＳＶＣ表現であってよく、上記非スケーラブルな単一レイヤ表現はＡＶＣ表現であってよい。

ビットレート特性データを添付する上記ステップは、ＳＶＣビットストリーム中にＳＥＩメッセージを追加するステップを含みうる。

上記第１のビットレート特性は最大ビットレートであってもよく、上記第１のビットレート特性は平均ビットレートであってもよい。

上記第１のビットレート特性は、第１のエントロピー・エンコーダ専用であり、上記方法は、上記レイヤの上記非スケーラブルな単一レイヤ表現のための第２のエントロピー・エンコーダ専用の、第２のビットレート特性を決定するステップをさらに含み、添付される上記ビットレート特性データは、上記第１のビットレート特性および上記第２のビットレート特性に関するデータを含んでいてもよい。

上記方法は、上記スケーラブルなマルチレイヤ表現中の別のレイヤが、上記レイヤおよび上記別のレイヤ中の係数を逆変換することなく上記レイヤと統合可能であるかを判定し、上記レイヤと上記別のレイヤとがそのように統合可能である場合には、統合データを上記スケーラブルなマルチレイヤ表現に添付するステップをさらに含みうる。

本発明の第２の態様によれば、拡張されたマルチレイヤビットストリームを作成するための方法であって、ａ）ビデオシーケンスのＳＶＣ表現を受信するステップ；ｂ）上記レイヤのＡＶＣ表現に関する、上記ビデオシーケンスのレイヤの第１の平均ＡＶＣビットレート特性および第１の最大ＡＶＣビットレート特性とを決定するステップ；およびｃ）第１のビットレート特性データを上記スケーラブルなマルチレイヤ表現に添付して、拡張されたＳＶＣ表現を形成するステップを含む方法が提供される。

ビットレート特性データを添付する上記ステップは、上記ＳＶＣ表現中にＳＥＩメッセージを追加するステップを含みうる。

上記レイヤの上記第１の特性は、第１のエントロピー・エンコーダ専用であり、上記方法は、上記レイヤの上記ＡＶＣ表現のための第２のエントロピー・エンコーダ専用の、第２の平均ＡＶＣビットレート特性および第２の最大ＡＶＣビットレート特性を決定するステップ、および、第２のビットレート特性データを、上記拡張されたＳＶＣビットストリームに添付するステップをさらに含んでいてもよい。

上記方法は、上記ＳＶＣ表現中の別のレイヤが、上記レイヤおよび上記別のレイヤ中の係数を逆変換することなく上記レイヤと統合可能であるかを判定し、上記レイヤと上記別のレイヤとがそのように統合可能である場合には、統合データを上記ＳＶＣ表現に添付するステップをさらに含みうる。

本発明の第３の態様によれば、拡張されたマルチレイヤビットストリームを作成するための方法であって、ａ）ビデオシーケンスのＳＶＣ表現を受信するステップ；ｂ）コンテキスト適応的な可変長符号コーデックによって符号化されたレイヤのＡＶＣ表現に関する、上記ビデオシーケンスの上記レイヤの平均ＡＶＣ／ＶＬＣビットレート特性および最大ＡＶＣ／ＶＬＣビットレート特性を決定するステップ；ｃ）コンテキスト適応的な算術符号コーデックによって符号化された上記レイヤのＡＶＣ表現に関する、上記ビデオシーケンスの上記レイヤの平均ＡＶＣ／ＡＣビットレート特性および最大ＡＶＣ／ＡＣビットレート特性を決定するステップ；およびｄ）上記ＡＶＣ／ＶＬＣ特性および上記ＡＶＣ／ＡＣ特性を含むＳＥＩメッセージを上記ＳＶＣ表現に関連付けて、拡張されたＳＶＣ表現を形成するステップを含む方法が提供される。

上記方法は、上記ＳＶＣ表現中の別のレイヤが、上記レイヤおよび上記別のレイヤ中の係数を逆変換することなく上記レイヤと統合可能であるかを判定し、上記レイヤと上記別のレイヤとがそのように統合可能である場合には、レイヤ統合ＳＥＩメッセージを上記ＳＶＣ表現に関連付けるステップをさらに含みうる。

本発明の第４の態様によれば、スケーラブルなマルチレイヤビットストリーム表現を単一レイヤビットストリーム表現に変換(translate)するための方法であって、ａ）ビットレート特性データを含むビデオシーケンスのスケーラブルなマルチレイヤ表現を受信するステップであって、当該ビットレート特性データは、上記マルチレイヤ表現中の複数のレイヤが単一レイヤビットストリーム表現として表現されるときの、当該複数のレイヤのためのレイヤ専用且つエントロピー・エンコーダ専用のビットレート特性を含むステップ；ｂ）目標(target)ビットレートパラメータを決定するステップ；ｃ）上記目標ビットレートパラメータと上記レイヤ専用且つエントロピー・エンコーダ専用のビットレート特性との間の関係に基づいて、上記レイヤのうちの１つ以上のレイヤを変換のために選択するステップ；およびｄ）選択された上記１つ以上のレイヤを上記単一レイヤビットストリーム表現に変換するステップを含む方法が提供される。

本発明の第４の態様によれば、スケーラブルなマルチレイヤビットストリーム表現を単一レイヤビットストリーム表現に変換するためのシステムであって、ビットレート特性データを含むビデオシーケンスのスケーラブルなマルチレイヤ表現を受信する受信機であって、上記ビットレート特性データは、上記マルチレイヤ表現中の複数のレイヤが単一レイヤビットストリーム表現として表現されるときの、当該複数のレイヤのためのレイヤ専用且つエントロピー・エンコーダ専用のビットレート特性を含む、受信機；目標ビットレートパラメータを決定するための決定器；上記目標ビットレートパラメータと上記レイヤ専用且つエントロピー・エンコーダ専用のビットレート特性との間の関係に基づいて、上記レイヤのうちの１つ以上のレイヤを変換のために選択するための選択器；および選択された上記１つ以上のレイヤを上記単一レイヤビットストリーム表現に変換するための変換器を含むシステムも提供される。

上記スケーラブルなマルチレイヤ表現は、レイヤ統合データをさらに含み、上記レイヤのうちの１つ以上のレイヤを変換のために選択する上記ステップは、上記レイヤ統合データの分析も含みうる。

上記方法は、選択された上記レイヤのうちの２つ以上のレイヤを、係数を逆変換することなく統合可能であることを上記レイヤ統合データが示している場合に、当該統合を行うステップをさらに含みうる。

本発明の第５の態様によれば、ＳＶＣビットストリーム表現をＡＶＣビットストリーム表現に変換するための方法であって、ａ）第１レイヤおよび第２レイヤを含むＳＶＣビデオシーケンスを受信するステップであって、上記ＳＶＣビデオシーケンスはビットレート特性データをさらに含み、当該ビットレート特性データは、ｉ）上記第１レイヤがＡＶＣビットストリームとして表現されてＶＬＣエンコーダによって符号化されるときの、上記第１レイヤのための最大ビットレート特性および平均ビットレート特性；ｉｉ）上記第１レイヤがＡＶＣビットストリームとして表現されて算術エンコーダによって符号化されるときの、上記第１レイヤのための最大ビットレート特性および平均ビットレート特性；ｉｉｉ）上記第２レイヤがＡＶＣビットストリームとして表現されてＶＬＣエンコーダによって符号化されるときの、上記第２レイヤのための最大ビットレート特性および平均ビットレート特性；およびｉｖ）上記第２レイヤがＡＶＣビットストリームとして表現されて算術エンコーダによって符号化されるときの、上記第２レイヤのための最大ビットレート特性および平均ビットレート特性を含ステップ、ｃ）目標ビットレートパラメータを決定するステップ；ｄ）上記目標ビットレートパラメータと、上記第１レイヤおよび第２レイヤのための上記最大ビットレート特性または上記平均ビットレート特性のうちの１つとの関係に基づいて、上記第１レイヤおよび第２レイヤのうちの１つ以上のレイヤを変換のために選択するステップ；およびｅ）選択された上記１つ以上のレイヤを上記ＡＶＣビットストリーム表現に変換するステップを含む方法が提供される。

上記方法は、上記ビットレート特性に基づいて上記ＶＬＣエンコーダおよび上記算術エンコーダのうちの１つを選択するステップをさらに含みうる。

上記ＳＶＣビデオシーケンスは、レイヤ統合データをさらに含み、上記レイヤのうちの１つ以上のレイヤを変換のために選択する上記ステップは、上記レイヤ統合データの分析も含んでいてもよい。

上記レイヤ統合データが上記統合が可能であることを示している場合に、上記変換が係数の逆変換なしに行われてもよい。

本発明の一部の実施形態は、マルチレイヤビットストリームデータを情報伝達するための方法およびシステムを含む。一部の実施形態では、マルチレイヤビットストリームの様々なレイヤに関連するビットレートはエンコーダにおいて測定され、ビットストリーム中においてデコーダへ情報伝達される。一部の実施形態では、ビットレートは特定のエントロピー・エンコーダ専用でありうる。一部の実施形態では、画像ビットストリームおよび関連付けられたビットレートデータは、デコーダ、変換器、トランスコーダ、または他のデバイスにおいて受信される。上記ビットレートデータは、画像レイヤ、エントロピー・コーデックを選択するため、および他の決定を行うために用いることができる。

本発明の前述および他の目的、特徴、および利点は、本発明に関する以下の詳細な説明を添付図面と併せて参酌すれば、より容易に理解されるだろう。

変換領域係数のスケーリングを含む本発明の実施形態を示す図である。 量子化された変換係数の累算、および量子化された変換領域係数のスケーリングを含む本発明の実施形態を示す図である。 変換領域係数のスケーリング、および再構成なしのビットストリーム書き換え(rewriting)を含む本発明の実施形態を示す図である。 量子化された変換係数または変換インデックスの累算、および再構成なしのビットストリーム書き換えを含む本発明の実施形態を示す図である。 変換サイズの選択を含む本発明の実施形態を示す図である。 条件付きの変換サイズの指示(indication)および選択を含む本発明の実施形態を示す図である。 量子化パラメータに基づく係数スケーリングを含む本発明の実施形態を示す図である。 隣接マクロブロック・データに基づくエントロピー・エンコーダ制御値の計算を含む本発明の実施形態を示す図である。 隣接マクロブロックの条件の組み合わせに基づくエントロピー・エンコーダ制御値の決定を含む本発明の実施形態を示す図である。 隣接マクロブロック・データに基づく、推定された予測モードの決定および予測モードの情報伝達(signaling)を含む本発明の実施形態を示す図である。 統合されたレイヤの符号化ブロック・パターンの計算を含む本発明の実施形態を示す図である。 レイヤの空間解像度に基づく選択的な変換累算を含む本発明の実施形態を示す図である。 代替表現ビットレートデータを原表現（original representation）に添付する処理を示す図である。 画像を代替表現に変換してビットレート特性を測定する処理を示す図である。 複数のエントロピー・エンコーダ用のビットレート特性を決定する処理を示す図である。 複数のレイヤ用のビットレート特性を決定する処理を示す図である。 ＶＬＣエンコーダ用およびＡＣエンコーダ用のビットレートデータを決定および添付する処理を示す図である。 目標ビットレートパラメータの決定を示す図である。 目標ビットレート制約に基づくエントロピー・エンコーダの選択を示す図である。 逆変換なしに複数のレイヤを統合できるかに関する判定を示す図である。 変換サイズの選択を含む本発明の実施形態を示すブロック図である。 量子化パラメータに基づく係数スケーリングを含む本発明の実施形態を示すブロック図である。 隣接マクロブロック・データに基づくエントロピー・エンコーダ制御値の計算を含む本発明の実施形態を示す図である。 統合されたレイヤの符号化ブロック・パターンの計算を含む本発明の実施形態を示す図である。 レイヤの空間解像度に基づく選択的な変換累算を含む本発明の実施形態を示すブロック図である。 代替表現ビットレートデータを原表現に添付する処理を示すブロック図である。 複数のエントロピー・エンコーダ用のビットレート特性を決定する処理を示すブロック図である。 ＶＬＣエンコーダ用およびＡＣエンコーダ用のビットレートデータを決定および添付する処理を示すブロック図である。 目標ビットレートパラメータの決定を示すブロック図である。

本発明の実施形態は、図面を参照することによって最も良く理解できるであろう。全ての図面を通して、同様の部分を同様の数字で示している。上に挙げた各図は、この詳細な説明の一部として明示的に組み込まれるものとする。

本発明の構成要素は、ここで概略的に説明し図面中に概略的に示したように、多種多様な異なる構成に構成および設計できることが容易に理解できるであろう。したがって、本発明の方法およびシステムの実施形態についての以下のより詳細な説明は、本発明の範囲を制限することを意図したものではなく、本発明の現在の好ましい実施形態の代表例にすぎない。

本発明の実施形態の構成要素は、ハードウェア、ファームウェア、および／またはソフトウェアで実現できる。ここで開示した典型的な実施形態は、これら形態の１つについて記述したものにすぎず、当業者であれば、本発明の範囲内にある限りこれらの形態の何れにおいてもこれら構成要素を実施できることが理解できるであろう。

本発明の一部の実施形態は、スケーラブルなビデオ符号化のための残差の累算のための方法およびシステムを含んでいる。一部の実施形態は、スケーラブルなビットストリームを復号するための方法およびシステムを含んでいる。上記ビットストリームを、エンコーダによって生成し、続いてデコーダに格納および／または伝送することができる。上記デコーダは、上記ビットストリームを解析し、解析されたシンボルを復号された画像のシーケンスに変換することができる。

スケーラブルなビットストリームは、異なる複数の表現の原画像シーケンスを含みうる。１つの具体例では、上記ビットストリーム中の第１レイヤは、上記画像シーケンスの低品質バージョンを含んでおり、上記ビットストリーム中の第２レイヤは、上記画像シーケンスのより高品質のバージョンか、あるいはより高品質のバージョンを生成するための追加データを含んでいる。第２の具体例では、上記ビットストリーム中の第１レイヤは、上記画像シーケンスの低解像度バージョンを含んでおり、上記ビットストリーム中の第２レイヤは、上記画像シーケンスのより高い解像度バージョンを含んでいる。より複雑な例は当業者に容易に理解できるであろう。より複雑な例は、異なる複数の品質および異なる複数の解像度の組み合わせを含む、複数の表現の画像シーケンスおよび／またはストリームを含みうる。

エンコーダ出力のビットレートを下げるために、スケーラブルなビットストリームは、レイヤ間予測の一形態を含みうる。典型的な実施形態は、ＡＶＣ｜Ｈ．２６４ビデオ符号化標準のためのスケーラブルなビデオ拡張におけるレイヤ間予測を含みうる。上記拡張はＳＶＣとして一般に知られており、ＳＶＣシステムはT. Wiegand, G. Sullivan, J. Reichel, H. Schwarz and M. Wien, "Joint Draft 9 of SVC amendment (revision 2)", JVT-V201, Marrakech, Morroco, January 13-19, 2007に記載されている。上記文献は、参照によって本明細書に組み込まれるものとする。上記ＳＶＣシステムにおいて、レイヤ間予測は、列挙された下位レイヤから列挙された上位レイヤまで動きおよびモードの情報を投影することによって実現される。それに加えて、予測残差が、列挙された下位レイヤから列挙された上位レイヤへ投影される。したがって、上記の上位レイヤのビットストリームは、復号された出力の質を改善するために追加の残差を含むことができる。

ISO/IEC JTC1/SC29/WG11 Informationn Technology - Coding of Audio-Visual Objects - Part 10: Advanced Video Coding, ISO/IEC 14496-10, 2005も、参照によって本明細書に組み込まれるものとする。

ITU-T Recommendation H.264: "Advanced video coding for generic audio visual services", March 2003も、参照によって本明細書に組み込まれるものとする。

〔ＳＶＣからＡＶＣへのビットストリームの書き換え〕
現在のＳＶＣシステムは、基本レイヤに加えてどんなレイヤでもＡＶＣデバイスをサポートできるトランスコーディングを必要としている。これは、ＳＶＣの応用範囲を制限する。本発明の実施形態は、ＳＶＣビットストリームをＡＶＣ準拠のビットストリームへ高速で書き換えることを可能にするために、ＣＧＳ(coarse grain scalable)レイヤのシンタックス(syntax)およびセマンティックス(semantics)への変更を含んでいる。一部の実施形態では、ネットワークデバイスは、誤差(drift)なしに、かつ、シーケンスを再構成する必要なしに、ＳＶＣデータをＡＶＣビットストリームへ書き換えることができる。これは、一部の実施形態では、多数の粗粒度スケーラブルなレイヤをまとめる(merge)ことにより実現できる。

本発明の一部の実施形態は、ＳＶＣからＡＶＣへのビットストリームの書き換えを含んでいる。このプロセスは、ＳＶＣビットストリームを入力として取り込むステップ、およびＡＶＣビットストリームを出力として生成するステップを含みうる。これは概念的にトランスコーディングに類似している。しかしながら、一部の実施形態は、ＳＶＣの単一ループ構造を利用し、ＳＶＣビットストリームをＡＶＣシンタックス要素上に直接マッピングすることを可能にする。一部の実施形態は、誤差をもたらすことなしに、かつビデオシーケンスの再構成なしに、この機能を実行することができる。

ＳＶＣからＡＶＣへのビットストリームへの高速書き換えを可能にする実施形態は、ＳＶＣの端々(SVC end-to-end)によってもたらされる追加の費用を負担する必要をなくす。したがって、それは、スケーラブルな機能性がもはや必要でない場合には廃棄(discard)できる。これらの実施形態は、ＳＶＣの応用範囲を大きく拡張することができる。典型的な実施形態の限定されない例として、最終の伝送リンクが制約された速度の伝送リンクであるようなシナリオを考える。これは、携帯機器への無線リンクであってもよく、それに代えて高解像度ディスプレイへの無線リンクであってもよい。いずれの場合も、我々は、ＳＶＣのスケーラビリティ特徴を用いて送信機での速度を知的に適応させることができる。しかしながら、ビットストリームからＳＶＣ成分を取り除くことは、受信デバイスがＳＶＣ機能を必要としないので、有利である。これは、より少数のビットが付加ビット(overhead)に割り当てられ、より多くのビットが画像データに利用可能であるので、伝送されるビデオの視覚的な品質を改善する。

ビットストリーム書き換えの第２の限定されない例として、多数の異種のデバイスをサポートするシステムを考える。低速の伝送リンクで接続されているデバイスは、ＳＶＣビットストリームの一部であるＡＶＣ基本レイヤを受け取り、より高速の伝送リンクで接続されているデバイスはＡＶＣ基本レイヤに加えて付加的なＳＶＣ拡張を受け取る。この拡張データを見るために、これらの受信機は、ＳＶＣシーケンスを復号および再構成することができなければならない。これは、これらデバイスを多数用いる用途については、ＳＶＣを配備するための多額の出費を招く。セットトップ・ボックス（または他の復号ハードウェア）は、各受信機に配備しなければならない。より費用効率が高い解決策として、ネットワーク内でＳＶＣからＡＶＣへビットストリームを書き換えるプロセスを使用して、全てのデバイスにＡＶＣデータを送出することができる。これは、ＳＶＣの配備コストを低減する。

ビットストリーム書き換えの第３の限定されない例として、クライアントデバイスへの最終的な送出のためにメディア・サーバ上にコンテンツを格納するためにＳＶＣを利用する適用を考える。ＳＶＣフォーマットは、多数のＡＶＣビットストリームをサーバに保存するのと比較して、必要とする格納スペースが少ないので、非常に魅力的である。しかしながら、それは、さらに、サーバ内のトランスコーディング演算がＡＶＣクライアントをサポートするか、あるいはクライアント上のＳＶＣ能力をサポートすることを必要とする。ＳＶＣからＡＶＣへのビットストリームの書き換えを可能にすることは、ネットワーク全体にわたってトランスコーディングおよび／またはＳＶＣの能力を計算上要求することを必要とせずに、メディア・サーバがＳＶＣを利用して効率を符号化することを可能にする。

ビットストリーム書き換えの第４の限定されない例として、ＳＶＣからＡＶＣへビットストリームを書き換えるプロセスは、ＳＶＣデコーダのハードウェアの設計を簡素化する。現在、ＳＶＣデコーダは、ＡＶＣの復号および再構成のロジック全体にわたって修正を必要とする。ＳＶＣからＡＶＣビットストリームへの書き換えを可能にすることで、ＡＶＣとＳＶＣとの間の差は、エントロピー・デコーダおよび係数スケーリング演算に集約される。これは、最終の再構成ループがＡＶＣ再構成プロセスと同一であるので、ＳＶＣ復号プロセスの設計を簡素化する。さらに、ＳＶＣ再構成ステップは、１つのブロック当たりただ１つの予測演算とただ１つの逆変換演算とを含むことが保証される。これは、現在のＳＶＣ演算と異なるものであり、多数の逆変換演算とイントラ予測のための可変の参照データとを必要とする。

本発明の一部の実施形態は、ＳＶＣビットストリームからＡＶＣビットストリームへの直接マッピングを可能にするために、ＳＶＣ粗粒度スケーラビリティ・レイヤに対する変更を含んでいる。これらの変更は、修正されたIntraBLモードと、インター符号化（画面間符号化）された拡張レイヤ中のBLSkipブロックの変換についての制限とを含む。一部の実施形態では、これらの変更は、シーケンス基準で、場合によってはシーケンス基準およびスライス基準の両方で、送られたフラグによって実施できる。

〔インター符号化ブロック〕
一部の実施形態は、インター符号化ブロックのための変更を含んでいる。これらの変更は、以下のものを含んでいる。基本レイヤ・ブロックから推定(infer)されるブロックは、基本レイヤ・ブロックと同じ変換を用いなければならない。例えば、粗粒度スケーラブルなレイヤ中のブロックが１に等しいbase_mode_flagを有しており、かつ同じ場所にある基本レイヤ・ブロックが４×４変換を用いる場合、拡張レイヤ・ブロックも４×４変換を用いなければならない。

基本レイヤ・ブロックから推定され、かつ残差予測を用いるブロックの再構成は、変換領域に生じなければならない。ここで、基本レイヤ・ブロックが空間領域中で再構成され、次いで、残差が拡張レイヤ中で伝送されるであろう。これらの実施形態では、基本レイヤ・ブロックの変換係数は、デコーダでスケーリングされ、拡張レイヤ中の情報によって微調整(refine)され、次いで逆変換される。

avc_rewriteフラグが１である場合、smoothed_reference_flagは０であるものとする。

〔イントラ符号化ブロック〕
イントラ符号化（画面内符号化）ブロックは、ＳＶＣからＡＶＣへの書き換えの問題に、追加の障害を生じさせる。上記ＣＧＳシステム内では、拡張レイヤ中のブロックをIntraBLモードで符号化してもよい。このモードは、基本レイヤ中のイントラ符号化ブロックが復号され予測に使用されるべきであることを情報伝達する。その後、追加の残差を、拡張レイヤ中で情報伝達することができる。ＳＶＣからＡＶＣへの書き換えを行うシステム内では、これは障害を作成する。なぜなら、再構成されたイントラ符号化ブロックを、その近傍の空間的予測と情報伝達された残差との和として記述することができないからである。したがって、イントラ符号化ブロックは、ＳＶＣからＡＶＣへトランスコードされなければならない。これは、追加の計算上の複雑さを必要とする。さらに、それは、動き補償を介して伝播(propagate)しうる符号化誤差をもたらす。

本発明の一部の実施形態について図１Ａを参照して説明する。これらの実施形態に係る、デコーダまたはリライタ（システム）は、第１の逆量子化器５、スケーラ６、第２の逆量子化器１１、第１の加算器（係数統合器）７、イントラ予測器８、逆変換器１０、および第２の加算器（第２の統合器）９を含んでいる。これらの実施形態では、基本レイヤの残差（基本レイヤの量子化された変換係数）１、予測モードデータ２、および拡張レイヤの残差（拡張レイヤの量子化された変換係数）３を、デコーダまたはリライタで受け取る。近隣ブロック・データ４も、デコーダ／リライタで既知である。第１の逆量子化器５が、基本レイヤの残差データ１を逆量子化し、それによって基本レイヤの変換係数を作成することができ、また、スケーラ６が、変換係数を拡張レイヤの特性と整合する（match）ようにスケーリングし、それによって基本レイヤのスケーリングされた変換係数を作成することができる。一部の実施形態では、整合される特性は、量子化パラメータ特性を含みうる。さらにまた、拡張レイヤの残差３が、第２の逆量子化器１１によって逆量子化され、第１の加算器７によって、基本レイヤのスケーリングされた残差の係数（基本レイヤのスケーリングされた変換係数）に加算され、それによって統合された係数を形成することができる。その後、逆変換器１０が、統合された係数を逆変換して空間領域の拡張値を生成する。一部の実施形態では、拡張レイヤ情報を、必要としない場合には無視することができる。予測モードデータ２および近隣ブロック・データ４は、イントラ予測器８による予測ブロックの決定に使用される。その後、第２の加算器９が、基本レイヤおよび拡張レイヤからの空間領域の拡張値に対して予測ブロックを加算して、復号されたブロック１２を生成する。

本発明の一部の実施形態について図１Ｂを参照して説明する。これらの実施形態では、基本レイヤの残差１、予測モードデータ２、および拡張レイヤの残差３を、デコーダまたはリライタで受け取る。近隣ブロック・データ１３５も、デコーダ／リライタで既知であり、予測（１３４）に使用できる。これらの実施形態では、基本レイヤの量子化された変換係数１を拡張レイヤの特性と整合するようにスケーリングし（１３０）、それによって基本レイヤのスケーリングされた変換係数を作成することができる。一部の実施形態では、整合される特性は、量子化パラメータ特性を含みうる。拡張レイヤの量子化された変換係数を基本レイヤの量子化されスケーリングされた変換係数３に加算して（１３１）、量子化され統合された係数を作成することができる。その後、量子化され統合された係数を逆量子化して（１３２）、統合され非量子化された係数を生成することができる。その後、統合され非量子化された係数を逆変換して（１３３）、統合された空間領域値を生成することができる。その後、これらの空間領域値を予測データと統合して（１３６）、再構成された画像１３７を形成することができる。

本発明の一部の実施形態について図２Ａを参照して説明する。これらの実施形態では、ビットストリームが、画像の完全な再構成なしに再符号化される。これらの実施形態では、基本レイヤ（ＢＬ）の残差データ１を、デコーダ、トランスコーダ、エンコーダのデコーダ部分、もしくは他のデバイスまたはモジュールで受け取ることができる。拡張レイヤ（ＥＬ）の残差データ３も、上記のデバイスまたはモジュールで受け取ることができる。これらの実施形態では、第１の逆量子化器５が、ＢＬの残差１を逆量子化してＢＬの変換係数を生成することができる。その後、スケーラ６が、これらのＢＬの変換係数を拡張レイヤの特性と整合するようにスケーリングし、それによってＢＬの変換係数を作成することができる。一部の実施形態では、この拡張レイヤの特性は、量子化パラメータであってもよく、解像度パラメータであってもよく、基本レイヤを拡張レイヤに関連付ける何らかの他のパラメータであってもよい。さらにまた、第２の逆量子化器１１が、拡張レイヤデータ３を逆量子化して拡張レイヤの係数１８を生成することができる。その後、係数統合器１９が、スケーリングされたＢＬ係数１６を、拡張レイヤの係数１８と統合して、統合された係数１７を生成することができる。その後、ビットストリーム・エンコーダ（ビットストリーム生成器）１３が、統合された係数を縮小レイヤ(reduced-layer)または単一レイヤのビットストリームに書き換えることができる。ビットストリーム・エンコーダ１３は、さらに予測データ２をビットストリーム中に書き込むことができる。ビットストリーム・エンコーダ１３の機能は、量子化機能、エントロピー符号化機能、および他の機能をさらに含んでいてもよい。

本発明の一部の実施形態について図２Ｂを参照して説明する。これらの実施形態では、ビットストリームは、画像の完全な再構成なしに、かつ逆量子化なしに、再符号化される。これらの実施形態では、基本レイヤ（ＢＬ）の残差データ３６を、デコーダ、トランスコーダ、エンコーダのデコーダ部分、もしくは他のデバイスまたはモジュールで受け取ることができる。拡張レイヤ（ＥＬ）データ３７も、上記デバイスまたはモジュールで受け取ることができる。これらの実施形態では、ＢＬの信号３６および拡張レイヤの信号３７をエントロピー復号して、量子化された係数またはインデックス２１および２３を生成することができる。その後、ＢＬの量子化インデックス２１を拡張レイヤの特性と整合するようにスケーリングし（２０）、それによってＢＬのスケーリングされたインデックスを作成することができる。一部の実施形態では、この拡張レイヤの特性は、量子化パラメータであってもよく、解像度パラメータであってもよく、基本レイヤを拡張レイヤに関連付ける何らかの他のパラメータであってもよい。その後、スケーリングされたＢＬインデックス２６をＥＬのインデックス２３と統合して（２４）、統合されたインデックス２７を生成することができる。その後、ビットストリーム・エンコーダ２５が、統合された係数を縮小レイヤまたは単一レイヤのビットストリーム２８に書き換えることができる。ビットストリーム・エンコーダ２５は、さらに予測データ３５をビットストリーム中に書き込むことができる。ビットストリーム・エンコーダ２５の機能は、量子化機能、エントロピー符号化機能、および他の機能も含みうる。

これらの実施形態では、基本レイヤ・ブロックを完全に再構成する必要はない。それに代えて、イントラ予測モードおよび残差データが両方とも、拡張レイヤにマッピングされる。その後、拡張レイヤから追加の残差データが加算される。最後に、上記ブロックが再構成される。このアプローチの利点は、損失なしに、かつ基本レイヤを完全に復号する必要なしに、拡張ブロックを単一レイヤのビットストリーム中に書くことができるということである。

本発明の一部の実施形態は、残差予測フラグの使用なしに、ＣＧＳシステム中の複数のレイヤ間で動きデータを伝播することを含んでいる。これらの実施形態は、基本レイヤから拡張レイヤへイントラ予測モードを伝播させる、改良されたIntraBL方法を含んでいる。その後、イントラ予測が拡張レイヤで行われる。

これらの実施形態では、IntraBLブロックの変換タイプは、同じ場所にある基本レイヤ・ブロックと同じでなければならない。例えば、基本レイヤ・ブロックが８×８変換を用いる場合、拡張レイヤ・ブロックも８×８変換を用いなければならない。

一部の実施形態では、ビットストリームの独立した処理を可能にするために、８×８変換フラグも拡張レイヤ中で伝送することができる。

一部の典型的な実施形態では、基本レイヤ中の１６×１６変換によって符号化されたブロックも、拡張レイヤ中の１６×１６変換によって符号化される。しかしながら、拡張レイヤ・ブロックは４×４走査のパターンおよび方法で伝送される。すなわち一部の実施形態では、１６×１６ブロックのＤＣ係数およびＡＣ係数が別々に送られない。

本発明の一部の実施形態について図３および図１９を参照して説明する。これらの実施形態に係るシステムは、サイズ決定器３０１、決定器３０２、第１の選択器３０３、および第２の選択器３０４を含んでいる。マルチレイヤ画像を含むこれらの実施形態では、１つのレイヤから別のレイヤへイントラ予測モードおよび変換データを推定することができる。一部の実施形態では、サイズ決定器３０１が第１レイヤの変換サイズを決定することができる（３０）。第１レイヤは、基本レイヤであってもよく、別のレイヤを予測する基となるレイヤであってもよい。これらの実施形態では、予め定められた変換サイズが確立される。その後、第１レイヤの変換サイズが、予め定められた（予め規定された）変換サイズと比較される。すなわち、決定器３０２は、下位レイヤの変換サイズが予め定められた変換サイズと同じである（実質的に類似している）かを判定する。第１レイヤの変換サイズが予め定められた変換サイズと同じである場合（３１）、第１の選択器３０３が予め定められた変換サイズを逆変換演算に選択する（３３）。第１レイヤの変換サイズが予め定められた変換サイズと同じでない場合（３１）、第２の選択器３０４がデフォルト変換サイズを逆変換演算に選択する（３２）。一部の実施形態では、予め定められた変換サイズを８×８とすることができ、また、デフォルト変換サイズを４×４とすることができる。

一部の実施形態では、予め定められた変換サイズも、特別の走査のパターンおよび方法に関連付けることができる。これらの実施形態では、第１レイヤの変換サイズと予め定められた変換サイズとの関係も、特別な符号化の方法およびパターンをトリガーすることができる。例えば、一部の実施形態では、予め定められた変換サイズを１６×１６とすることができ、予め定められた１６×１６のサイズと実際の下位レイヤのサイズとの一致は、「１６×１６が使用されることになっているが、ＡＣ係数およびＤＣ係数が一緒に伝送される４×４の走査パターンおよび走査方法でデータが符号化されている」ことを示しうる。

本発明の一部の実施形態について図４を参照して説明する。これらの実施形態では、マルチレイヤ・ビットストリームを解析（４０）および処理して、基本レイヤの変換サイズを決定すると共に、ＢＬの係数値を生成する。ビットストリームの拡張レイヤも解析して変換サイズおよび係数値を決定し（４１）、変換指標が存在するかを判定する。拡張レイヤの変換指標がビットストリーム中に存在する場合（４２）、指し示された変換サイズをＥＬの係数の逆変換に用いることができる（４３）。拡張レイヤの変換指標がビットストリーム中に存在しない場合（４２）、基本レイヤの変換サイズが８×８であるかを判定する（４４）。基本レイヤの変換サイズが８×８である場合、８×８変換サイズを用いて拡張レイヤを逆変換する（４６）。基本レイヤの変換サイズが８×８でない場合、４×４などのようなデフォルト変換サイズを用いて拡張レイヤを逆変換することができる（４５）。

本発明の一部の実施形態では、イントラ予測モードは、IntraBLブロック中の基本レイヤからイントラ予測モードを推定することによって、基本レイヤから直接コピーすることができる。一部の代替の実施形態では、それは、基本レイヤのモードと異なり符号化することができる。一部の実施形態では、ＡＶＣ中でイントラ予測モードを情報伝達するための現行の方法を用いることができる。しかしながら、これらの実施形態では、予測されるモード（または最も可能性の高いモード）は、基本レイヤのモードと等しくなるよう設定される。

一部の実施形態では、８×８変換フラグを拡張レイヤのビットストリームから省略してもよく、また、変換を基本レイヤモードから推定してもよい。

一部の実施形態では、１６×１６変換係数を、基本レイヤ中および拡張レイヤ中の両方において同じ方法で情報伝達することができる。１６×１６変換の存在は、拡張レイヤ中の追加のフラグで情報伝達してもよく、基本レイヤのビットストリームから推定してもよい。

本発明の一部の実施形態は、IntraBLブロックのための残差予測フラグを含んでいる。これらの実施形態は、基本レイヤの残差を適応的に使用して拡張レイヤのイントラ予測されたブロックを改良することを可能にする。

本発明の一部の実施形態では、ＡＶＣビットストリームに直接マッピングすることができない、ＳＶＣビットストリーム中のモードを全て、エンコーダが無効にすることができる。これらの実施形態のための情報伝達は、ＳＶＣビットストリーム中で行うことができる。一部の典型的な実施形態では、この情報伝達は、シーケンス・ヘッダー中、シーケンス・パラメータ・セット中、ピクチャ・パラメータ・セット中、スライス・ヘッダ中、または他の所で、起こりうる。一部の実施形態で、この情報伝達は、ＳＥＩメッセージ中で起こりうる。典型的な実施形態では、この情報伝達は、空間スケーラビリティＳＥＩメッセージ中で起こりうる。一部の実施形態では、この情報伝達は他の帯域外方法によって起こり得るし、一部の場合には、ＳＶＣ復号演算に対して標準の変更を加えることを必要としないであろう。

一部の実施形態では、エンコーダがこの動作モードを情報伝達すると、デコーダは、ＡＶＣに変換できるビットストリームをエンコーダが生成しているとみなすことができる。一部の典型的な実施形態では、エンコーダは、このモードで動作しているとき、IntraBLブロックモードまたは平滑化参照ツールを用いなくてもよい。さらに、これらの実施形態では、エンコーダは、基本レイヤの変換係数をスケーリングし、次いで伝送された残差を加算することによって、残差データを組み込む(incorporate)ことができることを保証できる。これらの実施形態は、エンコーダが基本レイヤ中および拡張レイヤ中で同じ変換方法を用いることを必要とする可能性がある。

〔ＣＧＳのためのＳＶＣからＡＶＣへのビットストリーム書き換え：シンタックス〕
F.7.3.2 シーケンス・パラメータ・セットＳＶＣ拡張のシンタックス

F.7.3.4 スケーラブルな拡張におけるスライス・ヘッダ

F.7.3.6.3 スケーラブルな拡張における残差のシンタックス

F.7.3.2 シーケンス・パラメータ・セットＳＶＣ拡張のセマンティックス
０に等しいnal_unit_extension_flagは、（dependency_id，temporal_level，quality_level）へのsimple_priority_idのマッピングを指定するパラメータがシーケンス・パラメータ・セット中で次に続くことを示す。１に等しいnal_unit_extension_flagは、（dependency_id，temporal_level，quality_level）へのsimple_priority_idのマッピングを指定するパラメータが存在しないことを示す。nal_unit_extension_flagが存在しない場合、nal_unit_extension_flagが１に等しいと推定されるものとする。現(current)シーケンス・パラメータ・セットを参照する、２０および２１に等しいnal_unit_typeを持つ、全てのＮＡＬユニットのＮＡＬユニットシンタックス要素extension_flagは、nal_unit_extension_flagに等しいものとする。

注：profile_idcが８３に等しくない場合、現シーケンス・パラメータ・セットを参照する、２０および２１に等しいnal_unit_typeを持つ、全てのＮＡＬユニットのシンタックス要素extension_flagは、１に等しいものとする。

number_of_simple_priority_id_values_minus1に１を加えた値は、（dependency_id，temporal_level，quality_level）へのマッピングがシーケンス・パラメータ・セット中で次に続くパラメータによって指定される、simple_priority_idの値の個数を指定する。number_of_simple_priority_id_values_minus1の値は、０〜６３の範囲内にあるものとする。

priority_id、dependency_id_list[priority_id]、temporal_level_list[priority_id]、quality_level_list[priority_id]は、従属節F.7.4.1で示すシンタックス要素dependency_id、temporal_level、およびquality_levelを推定するプロセスを指定する。priority_idの全ての値についてdependency_list[priority_id]、temporal_level_list[priority_id]、およびquality_level_list[priority_id]が存在しない場合、dependency_list[priority_id]、temporal_level_list[priority_id]、およびquality_level_list[priority_id]が０に等しいと推定されるものとする。

extended_spatial_scalabilityは、基本レイヤのアップサンプリングのための幾何学的パラメータに関連付けられたシンタックス要素の存在を示す。extended_spatial_scalabilityが０に等しい場合、幾何学的パラメータがビットストリーム中にない。extended_spatial_scalabilityが１に等しい場合、幾何学的パラメータがシーケンス・パラメータ・セット中にある。extended_spatial_scalabilityが２に等しい場合、幾何学的パラメータがslice_data_in_scalable_extension中にある。３の値は、extended_spatial_scalabilityには未使用である。extended_spatial_scalabilityが存在しない場合、extended_spatial_scalabilityが０に等しいと推定されるものとする。

scaled_base_left_offsetは、アップサンプリングされた基本レイヤのピクチャの左上の画素と現レイヤのピクチャの左上の画素との間の水平オフセットを２つの輝度サンプルの単位で指定する。scaled_base_left_offsetが存在しない場合、scaled_base_left_offsetが０に等しいと推定されるものとする。

変数ScaledBaseLeftOffsetは、次のように規定される:
ScaledBaseLeftOffset＝２＊scaled_base_left_offset （Ｆ−４０）
変数ScaledBaseLeftOffsetCは、次のように規定される：
ScaledBaseLeftOffsetC＝ScaledBaseLeftOffset／SubWidthC （Ｆ−４１）
scaled_base_top_offsetは、アップサンプリングされた基本レイヤのピクチャの左上の画素と現レイヤのピクチャの左上の画素との間の垂直オフセットを２つの輝度サンプルの単位で指定する。scaled_base_top_offsetが存在しない場合、scaled_base_top_offsetが０に等しいと推定されるものとする。

変数ScaledBaseTopOffsetは、次のように規定される。

ScaledBaseTopOffset＝２＊scaled_base_top_offset （Ｆ−４２）
変数ScaledBaseTopOffsetCは、次のように規定される。

ScaledBaseTopOffsetC＝ScaledBaseTopOffset／SubHeightC （Ｆ−４３）
scaled_base_right_offsetは、アップサンプリングされた基本レイヤのピクチャの右下画素と現レイヤのピクチャの右下画素との間の水平オフセットを２つの輝度サンプルの単位で指定する。scaled_base_right_offsetが存在しない場合、scaled_base_right_offsetが０に等しいと推定されるものとする。

変数ScaledBaseRightOffsetは、次のように規定される。

ScaledBaseRightOffset＝２＊scaled_base_right_offset （Ｆ−４４）
変数ScaledBaseWidthは、次のように規定される：
ScaledBaseWidth
＝PicWidthInMbs*16-ScaledBaseLeftOffset-ScaledBaseRightOffset (Ｆ-４５)
変数ScaledBaseWidthCは、次のように規定される：
ScaledBaseWidthC＝ScaledBaseWidth／SubWidthC （Ｆ−４６）
scaled_base_bottom_offsetは、アップサンプリングされた基本レイヤのピクチャの右下画素と現レイヤのピクチャの右下画素との間の垂直オフセットを２つの輝度サンプルの単位で指定する。scaled_base_bottom_offsetが存在しない場合、scaled_base_bottom_offsetが０に等しいと推定されるものとする。

変数ScaledBaseBottomOffsetは、次のように規定される。

ScaledBaseBottomOffset＝２＊scaled_base_bottom_offset （Ｆ−４７）
変数ScaledBaseHeightは、次のように規定される。

ScaledBaseHeight
＝PicHeightInMbs*16-ScaledBaseTopOffset-ScaledBaseBottomOffset (Ｆ-48)
変数ScaledBaseHeightCは、次のように規定される。

ScaledBaseHeightC＝ScaledBaseHeight／SubHeightC （Ｆ−４９）
chroma_phase_x_plus1は、現レイヤのピクチャの水平方向のサンプリング・スペースの４分の１の単位で色差成分の水平方向位相シフトを指定する。chroma_phase_x_plus1が存在しない場合、chroma_phase_x_plus1が０に等しいと推定されるものとする。chroma_phase_x_plus1は、０〜１の範囲内にある、２および３の値は未使用である。

chroma_phase_y_plus1は、現レイヤのピクチャの垂直方向のサンプリング・スペースの４分の１の単位で色差成分の垂直方向位相シフトを指定する。chroma_phase_y_plus1が存在しない場合、chroma_phase_y_plus1が１に等しいと推定されるものとする。chroma_phase_y_plus1は、０〜２の範囲内にあり、３の値は未使用である。注：vui_parameters中で指定された色種類(chroma type)は、同じsequence_parameter_set中の色相(chroma phase)パラメータchroma_phase_x_plus1およびchroma_phase_y_plus1と一致していなければならない。

avc_rewrite_flagは、エントロピー符号の復号および符号化と変換係数のスケーリングとだけによって、伝送されたシーケンスを劣化なしにＡＶＣビットストリームとして書き換えることができることを示す。IntraBLブロックには代替の方法が使用され、エンコーダによる変換サイズの選択に制限がかけられる。

avc_adaptive_rewrite_flagは、avc_rewrite_flagがスライス・ヘッダ中で送られることを示す。

本発明の一部の実施形態は、量子化された変換係数を「非量子化された」バージョンまたは代替の量子化領域のいずれかにマッピングするスケーリング・プロセスを含んでいる。一部の実施形態では、avc_rewrite_flagが上述したようにこれらのプロセスが無効にされていることを情報伝達する場合、現行のＨ．２６４／ＡＶＣビデオ符号化規格で規定されたプロセスに従って、全てのレイヤ中の復号された変換係数を「非量子化する」ことができる。しかしながら、これらの実施形態が有効にされていることをavc_rewrite_flagが情報伝達する場合、所望の拡張レイヤに先行する複数のレイヤ中において、量子化され復号された変換係数またはインデックスが「非量子化され」ない。それに代えて、量子化された係数またはインデックスが、下位レイヤ（特に、所望の拡張レイヤに依存する(depend on)レイヤ）から次に上位のレイヤ（特に、前述した下位レイヤに明示的に依存するレイヤであって、依存の順序において、所望の拡張レイヤにより近いレイヤ）へマッピングされる。

本発明の一部の実施形態について図５および図２０を参照して説明する。これらの実施形態に係るシステムは、第１のパラメータ決定器３１１、第２のパラメータ決定器３１２、およびスケーラ３１３を含む。これらの実施形態では、マッピング・プロセスは以下のように動作しうる。初めに、第１のパラメータ決定器３１１が、下位レイヤのビットストリーム中における量子化パラメータ、すなわちＱｐ値を決定する（５０）。次いで、第２のパラメータ決定器３１２が、上位レイヤ中における量子化パラメータ、すなわちＱｐ値を決定する（５１）。次に、スケーラ３１３で、下位レイヤの係数（第１レイヤの変換係数）を、量子化パラメータに基づいた率だけスケーリングすることができる（５２）。

一部の実施形態では、下位レイヤのＱｐ値と上位レイヤのＱｐ値との差を計算することができる。一部の実施形態では、変換係数を次のプロセスでスケーリングすることができる。

（ここで、THigherLayerおよびTLowerLayerはそれぞれ上位レイヤおよび下位レイヤにおける変換係数を示し、ｎは整数であり、Qp_LowerLayerおよびQp_HigherLayerはそれぞれ下位レイヤおよび上位レイヤのための量子化パラメータである）
マッピング・プロセスの計算は、多くの計算を単純化する方法で実施することができる。例えば、次のシステムが同等である。

（ここで、／／が整数除算を示し、％はモジュロ演算を示し、ＭおよびScaleMatrixは予め定められた定数である）
これらの予め定められた値の一具体例は、次の通りである。

ScaleMatrix＝[512 573 642 719 806 902]
Ｍ＝５１２
しかしながら、ＭおよびScaleMatrixについて他の値を用いてもよいことが容易に理解できるはずである。

単純化された上記の例は、Qp_Diffの値が常に０より大きいとみなす。従って、一部の実施形態では、アプリケーションが、スケーリング演算を行う前にQp_Diffの値をチェックすることができる。Qp_Diffの値が０より小さい場合、さらなる処理に先立って０の値をそれに再割り当てすることができる。一部の実施形態では、Qp_LowerLayerがQp_HigherLayer以上であるとみなすことができる。

一部の代替の実施形態では、次のシステムを実施することができる。

典型的な実施形態では、予め定められた値を次のように選択することができる。

ScaleMatrix＝[291 325 364 408 457 512 573 642 719 806 902]
Ｍ＝５１２
一部の実施形態では、変換係数を下位レイヤから上位レイヤにマッピングした後、上述のプロセスを利用する一部の場合において、係数を微調整していてもよい。微調整の後、第２のスケーリング演算を使用することができる。このスケーリング演算は、変換係数を「非量子化する(de-quantize)」ものとすることができる。

上述した一部の実施形態は１つの下位レイヤおよび１つの上位レイヤについてしか記述していなかったが、一部の実施形態は２つより多くのレイヤを含んでいてもよい。例えば、典型的な３つのレイヤの場合は、次のように機能することができる。最初に、最下位レイヤを復号することができる。その後、上述の方法によって変換係数を第２レイヤにマッピングすることができる。その後、マッピングされた変換係数を微調整することができる。次に、上述の方法を用いてこれらの変換係数を第３レイヤにマッピングすることができる。その後、これらの変換係数を微調整することができ、その結果として得られる係数を、ＡＶＣ／Ｈ．２６４ビデオ符号化標準によって規定されたスケーリング演算などのようなスケーリング演算によって「非量子化する」ことができる。

本発明の一部の実施形態について図６および図２１を参照して説明する。これらの実施形態に係るシステムは、第１の識別器３２１、第２の識別器３２２、第１の指標決定器３２３、第２の指標決定器３２４、および値決定器３２５を含んでいる。これらの実施形態では、隣接するマクロブロックに関連付けられた情報を用いて、対象ブロックまたはマクロブロックのための符号化演算または復号演算を通知することができる。一部の実施形態では、第１の隣接マクロブロックが第１の識別器３２１によって識別され（６０）、第２の隣接マクロブロックが第２の識別器３２２によって識別される（６１）。その後、第１の指標決定器３２３が第１の隣接マクロブロック指標を決定し（６２）、第２の指標決定器３２４が第２の隣接マクロブロック指標を決定する（６３）。その後、値決定器３２５が、これらの隣接マクロブロック指標に基づいてエントロピー・エンコーダ制御値を決定することができる（６４）。

本発明の一部の実施形態について図７を参照して説明する。これらの実施形態では、第１の隣接マクロブロックを識別し（７１）、第２の隣接マクロブロックを識別する（７２）。その後、第１の隣接マクロブロックの属性を調べて、第１のマクロブロックが予め規定された条件を満たすかを判定することができる（７３）。さらにまた、第２の隣接マクロブロックを条件も調べて、予め規定された条件が満たされているかを判定することができる（７４）。一部の実施形態では、これらの条件は、「マクロブロックが利用可能であるか」、「マクロブロックがレイヤ間予測モードで符号化されているか」、「マクロブロックが空間領域において符号化されているか」、「マクロブロックがＤＣ予測でイントラ予測されているか」、および「マクロブロックが別の時間的に一致するレイヤを参照して符号化されているか」という条件を含みうる。第１のマクロブロック７５について上記条件の何れかが満たされている場合、第１のマクロブロック・フラグが、準拠を示すようにセットされる（８０）。何れの条件も満たされていない場合、上記フラグは、不準拠を示すようにセットされる（７６）。一部の実施形態では、何れかの条件が満たされた場合（８０）、フラグを「０」にセットし、何れの条件も満たされていない場合（７６）、フラグを「１」にセットすることができる。第２の隣接マクロブロックについて同じプロセス７４、７９を続けることができる。そのプロセスでは、条件が満たされていない場合（７８）、フラグを１つの値にセットし、条件が満たされている（８１）場合、フラグを別の値にセットすることができる。両方の隣接マクロブロックが調べられ、かつ関連付けられた２つのフラグがセットされている場合、これらのフラグを加算することができる（８２）。その後、加算結果の値をエントロピー・エンコーダ制御値として使用することができる。

本発明の一部の実施形態について図８を参照して説明する。これらの実施形態では、第１の隣接マクロブロックは識別され（９０）、第２の隣接マクロブロックが識別される（９１）。その後、第１の隣接マクロブロックおよび第２の隣接マクロブロックの属性を調べて、マクロブロックが予め規定された条件を満たしているかを判定する（９２）。一部の実施形態では、これらの条件は、「マクロブロックは利用可能であるか」、「マクロブロックがレイヤ間予測モードで符号化されているか」、および「マクロブロックが別のレイヤを参照して符号化されているか」という条件を含みうる。何れかのマクロブロックについて上記条件の何れかが満たされている場合（９４）、推定された予測モードを、予め定められたモードにセットする。一部の実施形態では、予め定められたモードをＤＣ予測モードとすることができる。

これらの実施形態では、さらに、実際の予測モードを特定することもできる。実際の予測モードは、画像の内容に基づくものとすることができる。最小のエラーまたは低減されたエラーを生じる方法を用いて、予測モードを決定することができる。実際の予測モードが推定された予測モードと同じである場合（９４）、推定された予測モードの使用を示すようにビットストリームを符号化することができる。デコーダ側で、同じプロセスを続けて、ビットストリームを復号する時に、推定されたモードを選択することができる。実際の予測モードが推定された予測モードと同じでない場合（９４）、実際のモードおよびその選択を示すようにメッセージを送ることができる（９５）。推定された予測モードおよび実際の予測モードの情報伝達に関する詳細は、ＪＶＴ ＡＶＣ規格書で知ることができる。ＪＶＴ ＡＶＣ規格書は参照によって本明細書に組み込まれるものとする。

本発明の一部の実施形態は、イントラ符号化されたブロック中の輝度情報および色情報のための、イントラ予測モードの符号化を含んでいてもよい。伝統的に、これらのモードを、コンテキスト適応的な方法で情報伝達し、空間的隣接部の予測モードに依存する方法で符号化する。本発明の一部の実施形態では、条件付きのプロセスを用いてもよい。これらの実施形態では、隣接部がレイヤ間予測を利用しない場合、隣接部から予測モードを予測することができる。レイヤ間予測を利用するブロックは、次の方法の１つで処理することができる。一部の典型的な実施形態では、ブロックを、それが最も可能性の高い予測モードを有するかのように処理することができる。Ｈ．２６４／ＡＶＣ関連の実施形態では、これは、輝度予測の場合についてＤＣ予測モード（モード２）とすることができる。

一部の代替の実施形態では、ブロックを、それがインター符号化されたブロックであり、かつ予測領域のOUTSIDE（「外部」）であるかのように、処理してもよい。これらの実施形態では、OUTSIDEは、ＪＶＴ ＳＶＣプロジェクト・グループの中でテストするのに利用されたソフトウェアを含む特定のコンテキストを有している。このソフトウェアは、ＪＳＶＭとして一般に知られている。

一部の環境では、符号化されたモードを情報伝達するための、予測モードの符号化およびコンテキストの選択は、別々のプロセスとしてもよい。これら２つのプロセスに異なる予測方法を用いてもよい。例えば、レイヤ間予測を使用するブロックを含む、全てのイントラ符号化されたブロックについて、実際の予測モードを用いて予測モードを符号化してもよい。しかしながら、これらの同じブロックは、上述した規則の１つなどのような別の規則を利用して、符号化値を符号化するためのコンテキストを取得してもよい。例えば、上記コンテキストは、レイヤ間予測を利用するイントラ・ブロックが、最も可能性の高い予測モードを有しているものと仮定することができる。これらの実施形態の一部は、異なる複数のレイヤに対応する複数のビットストリームを独立して処理することを可能にする。

本発明の一部の実施形態は、ＪＶＴ ＳＶＣ標準（これは参照によって本明細書に含まれるものとする）の中で規定されている、「符号化ブロック・パターン」情報、すなわちＣｂｐの保守を含んでいる。この情報は、画像（またはマクロブロック）内における、残差情報を含むサブ領域を規定する。一部の場合には、ビットストリーム・デコーダは、最初にＣｂｐを復号し、次に情報を利用してビットストリームの残りを解析するので、その情報がビットストリームを復号するために必要となりうる。（例えば、Ｃｂｐは、存在しうる変換係数リストの数を規定することができる。）多くのデコーダでは、Ｃｂｐは、復号されたフレームを再構成するためにも利用される。例えば、Ｃｂｐが残差情報を示す場合、デコーダは、逆変換を計算することだけが必要である。一部の実施形態では、ビットストリーム中で伝送されたＣｂｐは、解析プロセスが変換係数を抽出するために利用することができる。しかしながら、それは再構成プロセスにはもはや有用ではないかもしれない。なぜならサブ領域が前のレイヤからの残差情報を含みうるからである。

従って、本発明の実施形態のデコーダは、（１）再構成プロセス内のＣｂｐ情報を利用しないものであってもよく、（２）ビットストリームを解析した後にＣｂｐを再計算しないものであってもよい。再計算プロセスの例は、残差情報を含むサブ領域を識別するために全ての係数リストを走査すること、あるいは、それに代えて、伝送されたＣｂｐとＣｂｐ（これらは下位レイヤデータを再構成するために利用される）との間の２進論理和演算の計算によって新しいＣｂｐを生成することを含んでいる。この場合、「下位レイヤデータ」は、レイヤ間予測プロセス中に利用されるレイヤを意味する。

本発明の一部の実施形態について図９および図２２を参照して説明する。これらの実施形態に係るシステムは、受信機３３１、デコーダ３３２、解析器３３３、スケーラ３３４、加算器３３５、および計算器３３６を含んでいる。これらの実施形態では、受信機３３１が、Ｃｂｐ情報および符号化画像データを含むビットストリームを受け取る（１００）。デコーダ３３２がＣｂｐ情報を復号し（１０１）、Ｃｂｐ情報を用いてビットストリームのどの部分が変換係数データを含むかを判定することができる。その後、解析器３３３が、Ｃｂｐ情報を用いてビットストリームを解析して、基本レイヤおよび全ての拡張レイヤ中における、量子化されたインデックスまたは非量子化された変換係数を識別することができる（１０２）。その後、スケーラ３３４が、基本レイヤまたは下位レイヤのインデックスまたは係数を拡張レイヤと整合するようにスケーリングすることができる（１０３）。その後、加算器３３５が、スケーリングされたインデックスまたは係数を拡張レイヤに加算する（すなわち拡張レイヤと統合する）して、統合されたレイヤを形成することができる（１０４）。その後、計算器３３６が、元の基本レイヤまたは下位レイヤと新しい統合されたレイヤとの間での係数位置の変化を反映するように、Ｃｂｐ情報を再計算または更新することができる（１０５）。その後、新しい統合したＣｂｐ情報は、その後に続く、統合したレイヤ、あるいは結果として得られた再構成された画像を処理することに使用できる。一部の実施形態では、統合されたＣｂｐ情報を、ＡＶＣ規格書で規定されたループ・フィルタ演算に利用できる。

本発明の一部の実施形態は、８×８変換を有効にするフラグを処理するための方法およびシステムを含んでいる。これらの実施形態は、ＪＶＴ ＳＶＣ標準に関連しうる。これらの実施形態では、ブロックが、レイヤ間予測でイントラ符号化されており、かつ残差データを含んでいない場合、このフラグを伝送する必要がない。一部の実施形態では、フレーム間予測が指定サイズ（例えば８×８など）より小さなブロックを利用している場合、フラグを伝送する必要がない。これらの実施形態は、１つまたは複数の下位レイヤの中で伝送された変換フラグをコピーし、このフラグを再構成プロセス中に使用することができる。

本発明の一部の実施形態は、８×８変換を有効にするフラグを処理するための代替の方法およびシステムを含んでいる。これらの実施形態では、ブロックが残差データを含んでいない場合、このフラグを伝送する必要がない。この場合がレイヤ間予測に利用される下位レイヤに生じたのであれば、上位レイヤは、残差データを送る時に８×８変換を有効にすることを選択することができる。これは、伝送されないが８×８変換を無効にするような、フラグのデフォルト値であってもよい。一部の実施形態では、この特別な場合において、デコーダは、下位レイヤおよび上位レイヤが異なる変換を使用できるようにすることができる。

本発明の一部の実施形態は、量子化行列を処理するための方法およびシステムを含んでいる。量子化行列は、当該技術分野の専門家には、重み行列またはスケーリング行列としても知られている。これらの行列は、「非量子化」プロセスを変化させ、エンコーダおよびデコーダが周波数依存の（または変換係数依存の）量子化を適用することを可能にしうる。これらの実施形態では、スケーリング行列の存在は、上述のマッピング・プロセスで記述されたスケーリング・プロセスを変更する。一部の実施形態では、マッピング手順は、次のように記述できる。

（ここで、THigherLayerおよびTLowerLayerはそれぞれ上位レイヤおよび下位レイヤにおける変換係数を示し、ｎは整数であり、Qp_LowerLayerおよびQp_HigherLayerはそれぞれ下位レイヤと上位レイヤのための量子化パラメータであり、Ｓ＿ＬおよびＳ＿Ｈはそれぞれ下位レイヤおよび上位レイヤのためのスケーリング率である）
重み行列を調整するために、一部の実施形態は、前記マッピング・プロセス中で示したアルゴリズムの修正版を利用できる。このアルゴリズムの修正版は、上記の説明を参照して以下のように規定できる。

（ここで、Ｓ＿Ｌ［ｎ］およびＳ＿Ｈ［ｎ］は、明示的に存在してもよく、それに代えてビットストリームから取得されてもよい）
重み行列を調整する代替の実施形態では、追加の重み行列をビットストリーム中で送ることができる。この追加の重み行列は、下位レイヤからレイヤを予測するのに必要な周波数の重みを明示的に規定することができる。例えば、重み行列は次のように使用できる。

（ここで、Ｗ１およびＷ２は、ビットストリームに含まれる重み行列である）
一部の実施形態では、Ｗ１またはＷ２の何れかが伝送されなくてもよい。これらの実施形態では、伝送されない行列は０に等しい要素を有するものとみなすことができる。

本発明の実施形態は、スケーラブルなビデオコーデックを、変更、作成および／または適用するための方法およびシステムを含んでいる。一部の実施形態は、より少数のレイヤを有するビットストリームへの、マルチレイヤ・ビットストリームの高速変換を可能にする。一部の実施形態は、マルチレイヤのビットストリームから単一レイヤのビットストリームへの変換を含んでいる。一部の典型的な実施形態は、ＡＶＣビットストリームからＳＶＣビットストリームへの変換を含んでいる。

本発明の実施形態は、残差予測に関する。これらの実施形態は、変換領域内および空間領域内の両方で演算を行う残差予測プロセスを含むことができる。典型的な実施形態では、ビットストリーム中の上位レイヤがビットストリーム中の下位レイヤを参照し、かつ両レイヤが同じ空間解像度を含む場合、残差予測プロセスは、残差の変換係数を下位レイヤから上位レイヤへマッピングするステップを含むことができる。このマッピング・プロセスは、スケーリングされた変換係数または（スケーリングされていない）変換係数のレベルに有効である。一部の実施形態では、スケーリングされた変換係数の残差予測のプロセスは、次段落のように定めることができる。

A.8.11.4.1 スケーリングされた変換係数のための残差累算プロセス
このプロセスへの入力は、
マクロブロックがフィールドまたはフレームのマクロブロックであるかを示す変数fieldMb
輝度変換のタイプを示す変数lumaTrafo
２５６＋２＊MbWidthC＊MbHeightCの要素を持つスケーリングされた変換係数値のリストsTCoeff
であり、
このプロセスの出力は、スケーリングされた変換係数値sTCoeffの修正版を含んでいる。

サブ節G.8.11.3（これは、本明細書に含まれるものとするＳＶＣ規格で規定されている）に記載されたスケーリングされた変換係数のための進歩的な微調整プロセスは、fieldMb、lumaTrafo、およびsTCoeffを入力とし、sTCoeffの修正版を出力として、起動させることができる。

反対に、一部の実施形態では、拡張レイヤが、異なる空間解像度を含む下位レイヤをレイヤ間予測に利用する場合に、空間領域内で残差予測プロセスを行ってもよい。これらの実施形態では、参照されたレイヤからの残差は、強度領域内で再構成され、拡張レイヤの解像度に補間される。代替シナリオにおいて、参照レイヤからの残差は、空間領域内で参照レイヤから導かれた予測に加算される。その後、この加算の結果が拡張レイヤに補間される。

本発明の一部の実施形態について図１０および図２３を参照して説明する。これらの実施形態に係るシステムは、解像度決定器３４１、比較器３４２、コントローラ３４３、係数スケーラ３４４、係数統合器３４５、逆変換器３４６、および空間領域統合器３４７を含んでいる。これらの実施形態では、現レイヤを調べて、現レイヤが残差予測を使用しているかを判定することができる（１１０）。残差予測が使用されていない場合、累算は必要ではない（１１１）。残差予測が使用されている場合（１１０）、解像度決定器３４１が現レイヤおよび参照レイヤの空間解像度を決定する（１１２、１１３）。その後、比較器３４２が、現レイヤの空間解像度を参照レイヤの空間解像度と比較する（１１４）。コントローラ３４３は、これら空間解像度が同じである場合に、係数スケーラ３４４および係数統合器３４５がステップ１１６および１１７を行うことを選択的に許容する。すなわち、これらの空間解像度が同じである場合（１１４）、参照レイヤ（これから現レイヤが予測される）の係数またはインデックスを、係数スケーラ３４４がスケーリングし（１１６）、係数統合器３４５が現レイヤのインデックスまたは係数と統合する（１１７）ことができる。コントローラ３４３は、これらの空間解像度が同じでない場合に、逆変換器３４６および空間領域統合器３４７がステップ１１５、１１８、および１２０を行うことを選択的に許容する。すなわち、空間解像度が同じでない場合（１１４）、現レイヤおよび参照レイヤのインデックスを非量子化し、結果として得られた係数を逆変換することができる（１１５，１１８）。その後、空間領域統合器３４７が、現レイヤおよび参照レイヤ中の得られた空間領域値を統合して、再構成された画像を形成することができる（１２０）。

上記の説明から容易に分かるように、残差予測の方法は、予測のために参照された、列挙された上位レイヤおよび列挙された下位レイヤの解像度に依存する。不運にも、空間領域内における残差情報の累算は、変換領域内における残差の累算およびそれに続く空間領域への変換とは等しくないかもしれないので、これは問題である。標準化された復号プロセスの場合、これは、エンコーダおよびデコーダとの間での誤差、および符号化効率の減少をもたらしうる。

現行のＳＶＣシステムは、空間領域内でのみ残差予測を行うことで、この問題を解決しようとしている。しかしながら、本発明の一部の実施形態は、両方の領域内で残差予測を行う復号プロセスを含んでいる。より詳細には、残差予測が有効にされ、かつ拡張レイヤとレイヤ間予測のために参照されたレイヤとが同じ解像度である場合、変換領域内で残差が累算される。しかしながら、残差予測が有効にされ、かつ拡張レイヤとレイヤ間予測のために参照されたレイヤとが異なる解像度である場合、空間領域内で残差が累算される。

典型的な復号プロセスは、次のように記述される。

上記の擬似コードには明示的に記述されていないが、他の典型的な実施形態は、規定された復号プロセスに対する他の拡張を含んでいる。一部の実施形態では、イントラ・レイヤ予測を、スケーラブルなビットストリーム中の複数のレイヤで行ってもよい。これがビデオ符号化規格の中で許容される場合、全ての処理に先立って関数GenerateIntraLayerPredictionを呼び出してもよい。この関数の出力は、アレイｒＹＣＣに加算することができる。さらに、一部の実施形態では、関数GenerateIntraLayerPredictionを上記の擬似コード中で呼び出さない。代わりに、outYCC=GeneateIntraLayerPrediction(layerID)+rYCCの行がoutYCC=rYCCに置き換えられるであろう。

本発明の一部の実施形態では、残差の累算プロセスを、スケーリングされていない変換係数について行ってもよい。この場合、スケーリングされた変換係数を構成する前にレイヤ間予測プロセスを行うことができる。一部の実施形態の態様は、「画像スケーラビリティのための方法およびシステム」("Methods and Systems for Image Scalability")というタイトルが付けられ、２００６年７月１０日に出願され、Ｃ．アンドリュー・セガル(C. Andrew Segall)によって発明された米国仮特許出願第６０／８０６，９３０号に記載されている。一部の実施形態の態様は、「粗粒度スケーラビリティのためにビットストリームを書き換えるためのシステムおよび方法」("Systems and Methods for Bit-Stream Rewriting for Coarse Grain Scalability")というタイトルがつけられ、２００６年１０月６日に出願され、Ｃ．アンドリュー・セガルによって発明された米国仮特許出願第６０／８２８，６１８号に記載されている。

典型的な手順のための擬似コードは、以下の通りである。

本発明の一部の実施形態は、スケーラブルなビットストリームを入力として取り込み、再構成された画像シーケンスを生成するデコーダを含んでいる。上記のスケーラブルなビットストリームは、ビットストリームの列挙された下位レイヤからビットストリームの列挙された上位レイヤへ情報を投影するためにレイヤ間予測プロセスを用いる。

本発明の一部の実施形態は、変換領域内および空間領域内の両方で残差情報を累算するような復号プロセスを含んでいる。ビットストリーム中の列挙されたレイヤが同じ解像度を持つ画像シーケンスを記述している場合、ビットストリーム中の列挙されたレイヤ間で変換領域内の累算が行われる。

本発明の一部の実施形態は、レイヤ間予測に利用されるレイヤとは異なる空間解像度を持つ現レイヤを処理する場合だけ、累算された変換係数を空間領域に変換するような復号プロセスを含んでいる。変換係数は、空間領域に変換され、続いてアップサンプリング（すなわち補間）される。その後、変換係数リストは、０に等しくなるようセットされる。

本発明の一部の実施形態は、現在の復号レイヤとレイヤ間予測のために利用されるレイヤとの間で解像度が異なるようになるまで、変換領域内で残差を累算するような復号プロセスを含んでいる。その後、変換係数リストを０にセットし、続く同じ空間解像度を持つレイヤを参照するレイヤの処理では、変換領域内で累算を行う。

本発明の一部の実施形態は、イントラ・レイヤ予測を行うこと、スケーリングされた変換係数に基づいて逆変換の計算を行うこと、０でない可能性がある残差の信号に対して逆変換演算の出力を加算すること、およびこの前の加算の結果をイントラ・レイヤ予測プロセスの出力と加算することによって、出力ビットストリームを生成するような、復号プロセスを含んでいる。

本発明の一部の実施形態は、スケーリングされていない変換係数または変換係数レベルに基づいてレイヤ間予測を行うことをさらに可能にする復号プロセスを含む。

本発明の一部の実施形態は、出力のために再構成されないビットストリームのレイヤ内でイントラ・レイヤ予測を行うことをさらに可能にする復号プロセスを含む。このイントラ・レイヤ予測の結果は、累算された空間残差に加算される。

本発明の一部の実施形態は、残差予測プロセス中にクリッピングを行うような復号プロセスを含んでいる。

〔情報伝達の実施形態〕
画像表現は、多くの方法によって代替表現に変換することができる。この変換が行われるトランスコーディング演算は、原画像表現を完全に復号し、当該画像表現を別のフォーマットで再符号化することによって、代替の画像表現を生成するステップを含みうる。代替の画像表現は、原画像表現を完全に復号する代わりに原画像表現を係数の逆変換なしに改変する、前述の方法によっても生成しうる。これらの実施形態では、係数をスケーリングし、他のレイヤの係数と統合して、単一レイヤ表現を形成することができる。場合によっては、これを誤差なしに行うことができる。画像表現を代替表現に変換するために他の方法を用いることもできる。

一部の実施形態では、変換データを画像データに添付することができる。一部の実施形態では、誤差および完全な再構成なしにスケーラブルな現レイヤの表現を非スケーラブルな（例えばＡＶＣ）ビットストリームに変換しうることを示す変換データを、画像表現に付加(append)することができる。スケーラブルなレイヤがＳＶＣレイヤであり、代替表現がＡＶＣビットストリームである場合、この追加情報は"avc_layer_conversion flag"と称される。

本発明の一部の実施形態は、特定の複数の画像レイヤに関するビットレート特性を決定し、これらの特性を画像ファイルまたはビットストリームに追加する、コーデックを含みうる。一部の実施形態では、これらの特性はメタデータとして示されうる。一部の実施形態では、レイヤの代替表現に関してビットレート特性を決定することができる。例えば、代替表現はＳＶＣレイヤのＡＶＣ準拠の変換を含みうる。一部の実施形態では、画像シーケンスまたはフレームのマルチレイヤＳＶＣ表現を、単一レイヤのＡＶＣ準拠の表現に変換することができる。ＡＶＣ準拠の表現に関するビットレート特性は、原ＳＶＣレイヤ表現を用いて決定および符号化することができる。一部の実施形態では、ビットレート特性は、最大ビットレート、平均ビットレート、もしくは他のビットレート情報を含みうる。

一部の実施形態では、ビットレート特性は、画像表現の符号化に用いられるエントロピー・エンコーダに関して決定されうる。一部の実施形態では、ビットレート特性は、可変長符号（ＶＬＣ）によって符号化された画像表現のために決定されうる。一部の実施形態では、ビットレート特性は、算術符号（ＡＣ）処理によって符号化された画像表現のために決定されうる。一部の実施形態では、ビットレート特性は、別のフォーマット（例えばＡＶＣ）に変換されて特定のエントロピー・エンコーダによって符号化されたときの画像表現のために決定され、その結果として当該画像表現に関するものとなりうる。典型的な実施形態では、ＳＶＣレイヤのためのビットレート特性は、ＶＬＣエンコーダによって符号化された当該レイヤのＡＶＣ変換のためのビットレートデータを含みうる。ＡＣエンコーダによってＡＶＣ表現に変換された場合の上記と同一のレイヤのために、別のビットレート特性が決定されうる。そして、両ビットレート特性は、ＳＶＣレイヤに付加されるか、あるいはＳＶＣレイヤに関連付けられる。

本発明の一部の実施形態では、スケーラブルなマルチレイヤ画像表現の複数のレイヤを、当該表現を完全に復号することなく統合できるかを、エンコーダが決定しうる。一部の実施形態では、この決定は、スケーラブルな表現の中にavc_rewrite flagが存在するか否かに基づいて行われうる。これは、（ａ）IntraBLマクロブロックがスケーラブルな表現中で使用されていないことを判定すること、（ｂ）平滑化参照予測が使用されたことを判定すること、および／または、（ｃ）下位レイヤ内の復号された変換係数が拡張レイヤ内の復号された変換係数にマッピングされていることを判定すること、にも基づきうる。原表現を完全に復号することなく複数のレイヤを統合できる場合、この情報を示すメッセージを原表現に添付することができる。一部の実施形態では、このメッセージは、スケーラビリティＳＥＩメッセージの一部でありうる。

本発明の一部の実施形態について図１１および図２４を参照して説明する。これらの実施形態に係るエンコーダは、決定器（受信機）４０１および添付器４０２を含む。これらの実施形態では、決定器４０１および添付器４０２が、原表現として伝達される画像を受信する（１３０）。原表現は、スケーラブルな画像形式などの特定の画像形式であってもよい。原表現は、ビデオシーケンスのスケーラブルなマルチレイヤ表現であってもよい。典型的な一実施形態では、原表現は、複数のレイヤを含むＳＶＣビデオ表現であってもよい。次いで、決定器４０１が、画像を代替表現に変換するときの、受信した画像のための１つ以上のビットレート特性（ビデオシーケンスの１つのレイヤの１つ以上のビットレート特性）を決定しうる（１３１）。一部の実施形態では、上記代替表現は、単一レイヤのみを含む非スケーラブルなビデオ表現であってもよい。すなわち、ビットレート特性は非スケーラブルな単一レイヤ表現に関するものであってもよい。一部の実施形態では、上記ビットレート特性は、最大ビットレートおよび／または平均ビットレートであってもよい。一部の実施形態では、上記代替表現はＡＶＣビデオ表現であってもよい。ビットレート特性が決定されると、添付器４０２（決定されたビットレート特性のデータ）は、ビットレート特性データを原画像表現に添付、付加、あるいは関連付けして（１３２）、拡張された表現を形成する。一部の実施形態では、ビットレート特性データは、ビデオビットストリーム内のメタデータとして関連付けされていてもよい。一部の実施形態では、上記の拡張された表現は、ＳＶＣ等のスケーラブルな表現であってもよい。一部の実施形態では、上記添付は、ＳＶＣビットストリーム中にＳＥＩメッセージを追加するステップを含みうる。添付器４０２は、ビデオビットストリームおよびビットストリーム内の関連付けられたビットレート特性データを後段のデバイス（デコーダ、変換器、トランスコーダ、または他のデバイス）に情報伝達しうる。一部の実施形態では、ビデオビットストリームおよび関連付けられたビットレート特性データは、ビットレート特性データが画像レイヤおよびエントロピー・コーデックの選択並びに他の決定の実行に用いられうる、後段のデバイスによって受信されうる。

本発明の一部の実施形態について図１２を参照して説明する。これらの実施形態では、画像が原画像表現として受信される（１４０）。次に、この原表現が、部分的に復号される（１４１）。一部の実施形態では、この部分的な復号は、逆変換なしのエントロピー復号を含みうる。次に、当該画像の原表現が代替表現に変換(convertまたはtranslate)されうる（１４２）。一部の実施形態では、上記変換は、下位レイヤの変換係数を、上位レイヤおよびこれらのレイヤからの変換係数の組み合わせと整合するようにスケーリングするステップを含みうる。上記変換は、統合された係数をエントロピー復号して、統合された単一レイヤ表現を形成するステップもさらに含みうる。一部の実施形態では、上記原表現はＳＶＣビットストリームであり、上記代替表現はＡＶＣビットストリームである。上記代替表現のための１つ以上のビットレート特性が測定（１４３）または計算されうる。次いで、これらの特性に基づくビットレートデータが、画像の原表現に添付または関連付けられうる（１４４）。

本発明の一部の実施形態について図１３および図２５を参照して説明する。これらの実施形態に係るエンコーダは、第１の決定器（受信機）４１１、第２の決定器（受信機）４１２、および添付器４１３を含んでいる。これらの実施形態では、第１の決定器４１１、第２の決定器４１２、および添付器４１３が、画像を原画像表現として受信する（１５０）。上記原画像表現は、ビデオシーケンスのスケーラブルなマルチレイヤ表現であってもよい。典型的な一実施形態では、上記原画像表現は、複数のレイヤを有するＳＶＣビデオ表現であってもよい。次いで、第１の決定器４１１が、第１のエントロピー・エンコーダで符号化された画像の代替表現のための、１つ以上のビットレート特性の第１のセットを決定しうる（１５１）。上記第１のセットは、第１のエントロピー・エンコーダ専用であってもよい。上記第１のセットは、非スケーラブルな単一レイヤ表現に関するものであってもよい。一部の実施形態では、上記第１のセットは、ビデオシーケンスのレイヤの第１の平均ＡＶＣビットレート特性および第１の最大ＡＶＣビットレート特性を含みうる。一部の実施形態では、上記代替表現はＡＶＣビデオ表現であってもよい。第２の決定器４１２もまた、画像の代替表現が第２のエントロピー・エンコーダによって符号化されるときの、当該画像の代替表現のための１つ以上のビットレート特性の第２のセットを決定しうる（１５２）。当該第２のセットは、上記レイヤの非スケーラブルな単一レイヤ表現のための第２のエントロピー・エンコーダ専用であってもよい。一部の実施形態では、上記第２のセットは、第２の平均ＡＶＣビットレート特性および第２の最大ＡＶＣビットレート特性を含みうる。次いで、添付器４１３が、ビットレート特性のこれらのセットを画像の原表現に添付または関連付けうる（１５３）。関連付けられたこれらのビットレート特性は、後の処理によって原表現を代替表現に変換することに関する決定が行われる際に用いられうる。これらの処理は、添付されたビットレート特性データを有する原表現を受信する後段のデバイス（デコーダ、変換器、トランスコーダ、または他のデバイス）内において生じうる。

本発明の一部の実施形態について図１４を参照して説明する。これらの実施形態では、第１レイヤ表現および第２レイヤ表現を含む画像データが受信される（１６０）。次に、第１レイヤが非スケーラブルな代替表現で表現されたときの、第１レイヤのための１つ以上のビットレート特性が決定される（１６１）。第２レイヤが非スケーラブルな代替表現で表現されたときの、第２レイヤのための１つ以上のビットレート特性も決定されうる（１６２）。次に、代替表現の第１レイヤのビットレートデータが第１レイヤ表現に関連付けられうる（１６３）。また、代替表現の第２レイヤのビットレートデータが第２レイヤ表現に関連付けられうる（１６４）。次いで、第１および第２のレイヤ表現が、それに関連付けられた代替表現ビットレート特性データと共に送信され、任意の受信デバイスが、当該関連付けられたデータを用いて代替表現の変換の決定を行うことができる。

本発明の一部の実施形態について図１５および図２６を参照して説明する。これらの実施形態に係るエンコーダは、第１の決定器（受信機）４２１、第２の決定器（受信機）４２２、および関連付け器（associator）４２３を含んでいる。これらの実施形態では、エンコーダの第１の決定器４２１、第２の決定器４２２、および関連付け器４２３が、画像の第１レイヤに対する画像データを受信する（１７０）。当該画像データは、復号されていない未加工画像データであってもよい。これらの実施形態では、第１の決定器４２１が第１の可変長符号（ＶＬＣ）ビットレート特性を決定する（１７１）。当該第１の可変長符号（ＶＬＣ）ビットレート特性では、第１のＶＬＣ特性が、ＶＬＣエンコーダ（コンテキスト適応的な可変長符号コーデック）によって符号化された非スケーラブルなレイヤとして表現されたときの画像の第１レイヤのビットレートに関連する。第１のＶＬＣビットレート特性は、第１レイヤの平均ＡＶＣ／ＶＬＣビットレート特性および最大ＡＶＣ／ＶＬＣビットレート特性を含みうる。また、第２の算術符号（ＡＣ）ビットレート特性が第２の決定器４２２によって決定されうる（１７２）。当該第２の算術符号（ＡＣ）ビットレートでは、第２のＡＣビットレート特性が、ＡＣエンコーダ（コンテキスト適応的な算術符号コーデック）によって符号化された非スケーラブルなレイヤとして表現されたときの画像の第１レイヤのビットレートに関連する。第２のＡＣビットレート特性は、第１レイヤの平均ＡＶＣ／ＡＣビットレート特性および最大ＡＶＣ／ＡＣビットレート特性を含みうる。次に、関連付け器４２３は、第１のＶＬＣビットレート特性データおよび第２のＡＣビットレートデータを、画像の第１レイヤのスケーラブルな表現に関連付ける（１７３）か、または添付しうる。次に、関連付けられたビットレート特性データは、スケーラブルなレイヤを非スケーラブルなレイヤに変換するために変換処理において用いられうる。

本発明の一部の実施形態は、関連付けられたビットレート特性データを含む画像ファイルまたはビットストリームを受信し、当該ビットレート特性データを用いてビットストリームまたはファイル変換処理を制御するための、方法およびシステムを含んでいる。一部の実施形態では、上記ビットストリーム特性データを用いて、マルチレイヤのスケーラブルなビットストリームのうち何れのレイヤが単一レイヤビットストリームに変換されるべきであるのかを判定することができる。一部の実施形態では、上記ビットストリーム特性データを用いて、変換処理のためのエントロピー・エンコーダの選択を制御することができる。典型的な一実施形態では、上記ビットストリーム特性データを用いて、ＳＶＣビットストリームからＡＶＣビットストリームへの変換に関する処理を制御すると共に、変換処理のためのＶＬＣまたはＡＣエンコーダの選択を制御することができる。

本発明の一部の実施形態について図１６および図２７を参照して説明する。これらの実施形態に係る後段のデバイス（デコーダ、変換器、トランスコーダ、もしくは他のデバイス）は、決定器（受信機）４３１、選択器４３２、および変換器４３３を含む。これらの実施形態では、決定器４３１、選択器４３２、および変換器４３３は、代替表現ビットレートデータを有するスケーラブルなマルチレイヤビットストリームをエンコーダから受信する（１８０）。決定器４３１は、ビットレート特性データを含むビデオシーケンスのスケーラブルなマルチレイヤ表現を受信しうる。当該ビットレート特性データは、マルチレイヤ表現中の複数のレイヤが単一レイヤビットストリーム表現として表現されるときの、マルチレイヤ表現中の上記複数のレイヤのためのレイヤ専用且つエントロピー・エンコーダ専用のビットレート特性を含んでいる。決定器４３１は、目標ビットレートパラメータも決定する（１８１）。上記目標ビットレートパラメータは、意図された受信デバイスの処理能力、伝送チャネル特性、または他の基準に基づいて決定されうる。選択器４３２は、代替表現ビットレートデータを用いて、上記目標ビットレートパラメータが満たされるようにマルチレイヤビットストリームから複数のレイヤを選択しうる（１８２）。この選択は、目標ビットレートパラメータと、レイヤ専用且つエントロピー・エンコーダ専用のビットレート特性との関係に基づいて行うことができる。一部の実施形態では、上記目標ビットレートパラメータは最大ビットレートを含みうる。その場合、最大ビットレートパラメータを超過しないビットストリームを生成するためにマルチレイヤビットストリーム中の一部のレイヤを廃棄する必要がある。変換器４３３は、選択された複数のレイヤを代替表現に変換し（１８３）、送信先に送信しうる。上記代替表現は、単一レイヤビットストリーム表現であってもよい。

本発明の一部の実施形態について図１７を参照して説明する。これらの実施形態では、代替表現のビットレートデータを含むスケーラブルなマルチレイヤビットストリームが受信される（１９０）。また、目標ビットレートパラメータが決定される（１９１）。上記目標ビットレートパラメータは、意図された受信デバイスの処理能力、伝送チャネル特性、もしくは他の基準に基づいて決定されうる。一部の実施形態では、代替のエントロピー・エンコーダが利用可能である場合、エントロピー・エンコーダが選択されうる（１９２）。一部の実施形態では、ＶＬＣエンコーダまたはＡＣエンコーダが選択されうる。ＳＶＣビットストリーム上で動作する一部の実施形態は、コンテキスト適応的なＶＬＣ（ＣＡＶＬＣ）符号とコンテキスト適応的なＡＣ符号（ＣＡＢＡＬ）との間で選択を行いうる。

代替表現のビットレートデータを用いて、上記目標ビットレートパラメータが満たされるようにマルチレイヤビットストリームから複数のレイヤが選択されうる（１９３）。一部の実施形態では、上記目標ビットレートパラメータは最大ビットレートを含みうる。その場合、最大ビットレートパラメータを超過しないビットストリームを生成するために、マルチレイヤビットストリーム中の一部のレイヤを破棄する必要がある。選択された複数のレイヤは、選択されたエントロピー符号を用いて代替の非スケーラブルな表現に変換されうる（１９３）。

本発明の一部の実施形態について図１８を参照して説明する。これらの実施形態では、代替表現ビットレートデータおよびレイヤ互換性データ（layer compatibility data）を含む、スケーラブルなマルチレイヤビットストリームが受信される（２００）。当該レイヤ互換性データに基づいて、ビットストリームを完全に復号することなく複数のスケーラブルなレイヤを統合することができるかが判定されうる（２０１）。一部の実施形態では、係数の逆変換なしに複数のレイヤを統合することができるかに関する判定が行われる。

復号および再符号化なしに複数のレイヤを統合できる場合、目標ビットレートパラメータ（２０２）も決定されうる。上記目標ビットレートパラメータは、意図された受信デバイスの処理能力、伝送チャネル特性、または他の基準に基づいて決定されうる。代替表現のビットレートデータを用いて、上記目標ビットレートパラメータが満たされるようにマルチレイヤビットストリームから複数のレイヤが選択されうる（２０３）。一部の実施形態では、上記目標ビットレートパラメータは最大ビットレートを含みうる。その場合、最大ビットレートパラメータを超過しないビットストリームを生成するために、マルチレイヤビットストリーム中の一部のレイヤを廃棄する必要がある。選択された複数のレイヤを、完全に復号することなく係数のスケーリングによって統合し、その結果として代替表現を得ることができる（２０４）。

復号および再符号化なしに複数のレイヤを統合することができない場合、目標ビットレートパラメータ（２０５）が再び決定されうる。しかしながら、完全な復号なしに複数のレイヤを統合することができないため、上記複数のレイヤは、復号されて代替表現に再符号化される。この処理では、再符号化された複数のレイヤのビットレート特性が決定されうる。これらのビットレート特性は、目標ビットレートと比較されて、何れのレイヤが復号、再符号化、および／または再送信のために選択されるべきであるのかが判定されうる。代替表現のビットレートデータを用いて、再符号化されたビットストリームから複数のレイヤが、上記目標ビットレートパラメータが満たされるように選択されうる（２０６）。選択された複数のレイヤは、再符号化によって（２０７）代替表現に統合することができる（２０４）。

本発明の一部の実施形態では、以下のスケーラビリティＳＥＩメッセージのシンタックスが用いられうる。

〔シンタックス〕
F.10.1.1 スケーラビリティ情報ＳＥＩメッセージのシンタックス

一部の典型的な実施形態では、以下のＳＥＩメッセージのセマンティックスを用いることができる。
F.10.2 ＳＥＩペイロードのセマンティックス
F.10.2.1 スケーラビリティ情報ＳＥＩメッセージのセマンティックス
このＳＥＩメッセージは、存在する場合であれば、ＩＤＲアクセスユニット内に表れるものとする。当該メッセージのセマンティックスは、同タイプの次のＳＥＩメッセージまで有効である。

num_layers_minus１に１を加算した値は、ビットストリームによってサポートされるスケーラブルなレイヤまたは提示ポイント（presentation point）の数を示す。num_layers_minus1の値は、０〜２５５の範囲内にある。

layer_id[i]は、スケーラブルなレイヤの識別子を示す。

スケーラブルなレイヤの各々は、レイヤ識別子に関連付けられている。レイヤ識別子は次のように割り当てられる。レイヤ識別子のより大きい値はより上位のレイヤを示す。値０は最下位レイヤを示す。レイヤの復号および提示は、いかなるより上位のレイヤにも依存しないが、より下位のレイヤに依存しうる。従って、最下位レイヤは独立して復号および提示することができ、レイヤ１の復号および提示はレイヤ０に依存し、レイヤ２の復号および提示はレイヤ０および１に依存し、以後同様に復号および提示しうる。スケーラブルなレイヤの表現は、スケーラブルなレイヤ自体の存在と、当該スケーラブルなレイヤが直接的または間接的に依存する全てのより下位のレイヤの存在とを必要とする。以下では、スケーラブルなレイヤおよび当該スケーラブルなレイヤが直接的または間接的に依存する全ての下位レイヤを、スケーラブルなレイヤ表現と総称する。

１に等しいfgs_layer_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤが、細粒度のスケーラブルな（ＦＧＳ）レイヤであることを示す。値０は、スケーラブルなレイヤがＦＧＳレイヤではないことを示す。ＦＧＳレイヤの符号化されたスライスＮＡＬユニットは、バイトの位置に合った（byte-aligned）任意の位置で切り捨てることができる。

１に等しいsub_pic_layer_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤが複数のサブピクチャから成っており、各サブピクチャはアクセスユニットの符号化された複数のスライスのサブセットから成っていることを示す。値０は、スケーラブルなレイヤがアクセスユニット全体から成っていることを示す。

注：符号化されたピクチャの各サブピクチャのスケーラブルなレイヤへのマッピングは、サブピクチャのスケーラブルなレイヤの情報ＳＥＩメッセージによって情報伝達される。

１に等しいsub_region_layer_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのための部分領域情報がＳＥＩメッセージ中に存在することを示す。値０は、スケーラブルなレイヤのための部分領域情報がＳＥＩメッセージ中に存在しないことを示す。

１に等しいprofile_level_info_present_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのためのプロファイルおよびレベル情報がＳＥＩメッセージ中に存在することを示す。値０は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのためのプロファイルおよびレベル情報がＳＥＩメッセージ中に存在しないことを示す。

１に等しいdecoding_dependency_info_present_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのための復号依存性情報がＳＥＩメッセージ中に存在することを示す。値０は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのための復号依存性情報がＳＥＩメッセージ中に存在しないことを示す。

１に等しいbitrate_info_present_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのためのビットレート情報がＳＥＩメッセージ中に存在することを示す。値０は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのためのビットレート情報がＳＥＩメッセージ中に存在しないことを示す。

１に等しいfrm_rate_info_present_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのためのフレームレート情報がＳＥＩメッセージ中に存在することを示す。値０は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのためのフレームレート情報がＳＥＩメッセージ中に存在しないことを示す。

１に等しいfrm_size_info_present_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのためのフレームサイズ情報がＳＥＩメッセージ中に存在することを示す。値０は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのためのフレームサイズ情報がＳＥＩメッセージ中に存在しないことを示す。

１に等しいlayer_dependency_info_present_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのためのレイヤ依存性情報がＳＥＩメッセージ中に存在することを示す。値０は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのためのレイヤ依存性情報がＳＥＩメッセージ中に存在しないことを示す。

１に等しいinit_parameter_sets_info_present_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのための初期パラメータ・セット情報がＳＥＩメッセージ中に存在することを示す。値０は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤのための初期パラメータ・セット情報がＳＥＩメッセージ中に存在しないことを示す。

注：初期パラメータ・セットとは、ビットストリームの最初に配置することのできるパラメータ・セット、あるいはセッションの最初に送信することのできるパラメータ・セットを意味する。

layer_profile_idc[i]、layer_constraint_set0_flag[i]、layer_constraint_set1_flag[i]、layer_constraint_set2_flag[i]、layer_constraint_set3_flag[i]、およびlayer_level_idc[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現のビットストリームの特性およびレベル準拠性を示す。layer_profile_idc[i]、layer_constraint_set0_flag[i]、layer_constraint_set1_flag[i]、layer_constraint_set2_flag[i]、layer_constraint_set3_flag[i]、およびlayer_level_idc[i]のセマンティックスは、ここで対象(target)ビットストリームがスケーラブルなレイヤ表現のビットストリームではない限りは、profile_idc、constraint_set0_flag、constraint_set1_flag、constraint_set2_flag、constraint_set3_flag、およびlevel_idcのセマンティックスとそれぞれ同一である。

１に等しいavc_layer_conversion_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現が、誤差なしに、かつスケーラブルなレイヤの完全な再構成なしにＡＶＣビットストリームへ変換可能であることを示す。値０は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現が、誤差なしに、かつスケーラブルなレイヤの完全な再構成なしにＡＶＣビットストリームへ変換できないことを示す。

temporal_level[i]、dependency_id[i]、およびquality_level[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤ中のＮＡＬユニットのtemporal_level、dependency_id、およびquality_levelとそれぞれ等しい。

avg_bitrate[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現のビットストリームの平均ビットレートを１０００ビット／秒単位で示す。avg_bitrate[i]のセマンティックスは、accurate_statistics_flagが１と等しい場合、ここで対象ビットストリームがスケーラブルなレイヤの表現のビットストリームであることを除いては、サブシーケンスレイヤ特性ＳＥＩメッセージ中のaverage_bit_rateのセマンティックスと同一である。

max_bitrate[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現のビットストリームの最大ビットレートを、１０００ビット／秒単位で、ＡｎｎｅｘＣで規定されたアクセスユニット除去時間の任意の１秒時間窓で示す。

avc_avg_bitrate_cabac[i]は、ＣＡＢＡＣエントロピー・エンコーダを用いたＡＶＣビットストリームへの変換後における、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現のビットストリームの平均ビットレートを１０００ビット／秒単位で示す。avg_bitrate[i]のセマンティックスは、accurate_statistics_flagが１と等しい場合、対象ビットストリームがスケーラブルなレイヤの表現のビットストリームである場合を除いて、サブシーケンスレイヤ特性ＳＥＩメッセージ中のaverage_bit_rateのセマンティックスと同一である。

avc_max_bitrate_cabac[i]は、ＣＡＢＡＣエントロピー・エンコーダを用いたＡＶＣビットストリームへの変換後における、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現のビットストリームの最大ビットレートを、１０００ビット／秒単位で、ＡｎｎｅｘＣで規定されたアクセスユニット除去時間の任意の１秒を時間窓として示す。

avc_avg_bitrate_cavlc[i]は、ＣＡＶＬＣエントロピー・エンコーダを用いたＡＶＣビットストリームへの変換後における、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現のビットストリームの平均ビットレートを１０００ビット／秒単位で示す。avg_bitrate[i]のセマンティックスは、accurate_statistics_flagが１と等しい場合、対象ビットストリームがスケーラブルなレイヤ表現のビットストリームである場合を除いて、サブシーケンスレイヤ特性ＳＥＩメッセージ中のaverage_bit_rateのセマンティックスと同一である。

avc_max_bitrate_cavlc[i]は、ＣＡＶＬＣエントロピー・エンコーダを用いたＡＶＣビットストリームへの変換後における、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現のビットストリームの最大ビットレートを、１０００ビット／秒単位で、ＡｎｎｅｘＣで規定されたアクセスユニット除去時間の任意の１秒を時間窓として示す。

constant_frm_rate_idc[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現のフレームレートが一定であるかを示す。スケーラブルなレイヤ表現の何れの部分期間(temporal section)が計算用に用いられたとしても、以下に定義するavg_frm_rateの値が一定である場合はフレームレートは一定であり、そうでない場合はフレームレートは一定ではない。値０は一定ではないフレームレートを示し、値１は一定のフレームレートを示し、値２は、フレームレートが一定であるかが不明であることを示す。ConstantFrameRateの値は、０〜２の範囲内にある。

avg_frm_rate[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現のビットストリームの平均フレームレートをフレーム／秒単位で示す。avg_frm_rate[i]のセマンティックスは、accurate_statistics_flagが１と等しい場合、対象ビットストリームがスケーラブルなレイヤ表現のビットストリームである場合を除いては、サブシーケンスのレイヤ特性のＳＥＩメッセージ中のaverage_frame_rateのセマンティックスと同一である。

frm_width_in_mbs_minus１[i]に１を加えた値は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現中の符号化されたフレームの、マクロブロック内の最大幅を示す。

frm_height_in_mbs_minus１[i]に１を加えた値は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現中の符号化されたフレームの、マクロブロック内の最大高さを示す。

base_region_layer_id[i]に１を加えた値は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤによって表現される領域の微分（derivation）のための基本領域として、表現される領域が用いられる、スケーラブルなレイヤのレイヤ識別子の値を示す。

１と等しいdynamic_rect_flag[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤによって表現される領域が、基本領域の動的に変更された矩形部分であることを示す。dynamic_rect_flag[i]が１と等しくない場合、スケーラブルな現レイヤによって表現される領域は、基本領域の一定の矩形部分である。

horizontal_offset[i]およびvertical_offset[i]は、それぞれ、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現によって表現される矩形領域の左上の画素の水平オフセットおよび垂直オフセットを、それぞれ、基本領域の輝度サンプル中における基本領域の左上の画素に対する相対値として与える。

region_width[i]およびregion_height[i]は、基本領域の輝度サンプル中における、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現によって表現される矩形領域の幅および高さを、それぞれ与える。

roi_id[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤによって表現される領域の、注目領域の識別子（region-of-interest identifier）を示す。

num_directly_dependent_layers[i]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤが直接的に依存するスケーラブルなレイヤの数を示す。レイヤＡがレイヤＢに直接的に依存するとは、レイヤＢからのレイヤ間予測を有している符号化されたピクチャが、レイヤＡ内に少なくとも１つあることを意味している。num_directly_dependent_layersの値は０〜２５５の範囲内にある。

directly_dependent_layer_id_delta[i][j]は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤが直接的に依存するｊ番目のスケーラブルなレイヤのレイヤ識別子とｉとの差を示す。直接的に依存するスケーラブルなレイヤのレイヤ識別子は、（directly_dependent_layer_id_delta+i）と等しい。

num_init_seq_parameter_set_minus１[i]に１を加えた値は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現を復号するための初期シーケンス・パラメータ・セットの数を示す。

init_seq_parameter_set_id_delta[i][j]は、ｊが０と等しい場合、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現を復号するためのｊ番目の初期シーケンス・パラメータ・セットの値を示す。init_seq_parameter_set_id_delta[i][j]は、ｊが０より大きい場合、ｊ番目の初期シーケンス・パラメータ・セットのseq_parameter_set_idの値と、（ｊ−１）番目の初期シーケンス・パラメータ・セットのseq_parameter_set_idの値との差を示す。初期シーケンス・パラメータ・セットは、seq_parameter_set_idの値の昇順で論理的に順序付けられている。

num_init_pic_parameter_set_minus１[i]に１を加えた値は、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現を復号するための初期ピクチャ・パラメータ・セットの数を示す。

init_pic_parameter_set_id_delta[i][j]は、ｊが０と等しい場合、ｉと等しいレイヤ識別子を有するスケーラブルなレイヤの表現を復号するためのｊ番目の初期ピクチャ・パラメータ・セットのpic_parameter_set_idの値を示す。init_pic_parameter_set_id_delta[i][j]は、ｊが０より大きい場合、ｊ番目の初期ピクチャ・パラメータ・セットのpic_parameter_set_idの値と、（ｊ−１）番目の初期ピクチャ・パラメータ・セットのpic_parameter_set_idの値との差を示す。初期ピクチャ・パラメータ・セットは、pic_parameter_set_idの値の昇順で論理的に順序付けられている。

以上の明細書中で使用した用語および表現は、ここでは制限の用語としてではなく説明の用語として使用したものであり、そのような用語および表現の使用には図示および説明した特徴およびその一部の均等物を除外しようとする意図はなく、本発明の範囲は次に記載する請求項によってのみ規定され制限されるものと認識されるべきである。

本発明の実施形態のシステムの各要素は、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、上記システムは、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit；中央処理装置）、プログラムを記録したＲＯＭ（Read Only Memory；読み取り専用メモリ）、プログラムがその上で実行されるＲＡＭ（Random Access Memory；ランダムアクセスメモリ）、上記プログラムおよび各種のデータを格納するメモリ等の記憶装置（記録媒体）などの構成要素を含むことができる。本発明の目的は、上記各機能を実現するためのソフトウェアである上記システムの制御プログラムのプログラムコード（例えば、実行可能コードプログラム、中間コードプログラム、ソースプログラムなど）をコンピュータで読み取り可能な形で記録媒体上に記録し、この記録媒体を上記システムに供給し、そのコンピュータ（もしくはＣＰＵまたはＭＰＵ）が上記記録媒体から上記プログラムコードを読み出して上記プログラムを実行する形でも、達成可能である。

そのような記録媒体の例は、磁気テープおよびカセットテープ等のテープ；フレキシブルディスクおよびハードディスク等の磁気ディスク；ＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク；ＩＣカード（メモリカードを含む）等のカード；マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory；および、消去可能プログラマブルＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory；電気的消去可能プログラマブルＲＯＭ）、またはフラッシュＲＯＭ等の半導体メモリを含んでいる。

それに代えて、上記システムを通信網に接続して、プログラムコードを通信ネットワーク経由で供給可能としてもよい。通信ネットワークの制限されない例は、インターネット、イントラネット、エクストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ網、仮想専用網（virtual private network）、電話回線網、移動体通信網、および衛星通信網を含んでいる。通信ネットワークを構成する伝送媒体の制限されない例は、ＩＥＥＥ１３９４、ＵＳＢ、電力線通信、ケーブルテレビ回線、電話回線、およびＡＤＳＬ回線等のような有線媒体；ＩｒＤＡおよびリモートコントローラ等の赤外線；Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、ＨＤＲ、携帯電話網、衛星回線および地上波デジタル放送網等の電波からなる。なお、本発明は、プログラムコードの電子的な伝送によって具現化された、搬送波によって、あるいはデータ信号列として、実現され得る。

Claims (15)

1. 拡張されたマルチレイヤビットストリームを作成するための方法であって、
   ａ）ビデオシーケンスのスケーラブルなマルチレイヤ表現を受信するステップ；
   ｂ）上記ビデオシーケンスのレイヤの非スケーラブルな単一レイヤ表現に関する、スケーラブルな表現を非スケーラブルな表現に、誤差無く、かつ完全な再構成を行わずに変換可能なことを示すフラグ、
   プロファイルおよびレベル準拠性を示すフラグ、および、
   上記ビデオシーケンスの上記レイヤが、ｉ）ＶＬＣ符号化されるときの最大ビットレート特性および平均ビットレート特性と、ｉｉ）算術符号化されるときの最大ビットレート特性および平均ビットレート特性を上記スケーラブルなマルチレイヤ表現に添付して、拡張されたスケーラブルな表現を形成するステップを含む方法。
2. 上記スケーラブルなマルチレイヤ表現は、ＳＶＣ表現であり、
   上記非スケーラブルな単一レイヤ表現は、ＡＶＣ表現である、請求項１に記載の方法。
3. 上記ビットレート特性を添付する上記ステップは、ＳＶＣビットストリーム中にＳＥＩメッセージを追加するステップを含む、請求項２に記載の方法。
4. 上記スケーラブルなマルチレイヤ表現中のレイヤが、このレイヤと異なるレイヤに対し、係数を逆変換することなく統合可能であるかを判定し、統合可能である場合は、上記スケーラブルな表現を非スケーラブルな表現に、誤差無く、かつ完全な再構成を行わずに変換可能なことを示すフラグを上記スケーラブルなマルチレイヤ表現に添付するステップをさらに含む、請求項１ないし３の何れか１項に記載の方法。
5. ＳＶＣビットストリーム表現をＡＶＣビットストリーム表現に変換するための方法であって、
   ａ）第１レイヤおよび第２レイヤを含むＳＶＣビデオシーケンスを受信するステップであって、上記ＳＶＣビデオシーケンスはビットレート特性データをさらに含み、当該ビットレート特性データは、
   ｉ）上記第１レイヤがＡＶＣビットストリームとして表現されてＶＬＣエンコーダによって符号化されるときの、上記第１レイヤのための最大ビットレート特性および平均ビットレート特性；
   ｉｉ）上記第２レイヤがＡＶＣビットストリームとして表現されてＶＬＣエンコーダによって符号化されるときの、上記第２レイヤのための最大ビットレート特性および平均ビットレート特性を含むステップ；
   ｃ）目標ビットレートパラメータを決定するステップ；
   ｄ）上記目標ビットレートパラメータと、上記第１レイヤおよび第２レイヤのための上記最大ビットレート特性または上記平均ビットレート特性のうちの１つとの関係に基づいて、上記第１レイヤおよび第２レイヤのうちの１つ以上のレイヤを変換のために選択するステップ；および
   ｅ）選択された上記１つ以上のレイヤを上記ＡＶＣビットストリーム表現に変換するステップを含む方法。
6. ＳＶＣビットストリーム表現をＡＶＣビットストリーム表現に変換するための方法であって、
   ａ）第１レイヤおよび第２レイヤを含むＳＶＣビデオシーケンスを受信するステップであって、上記ＳＶＣビデオシーケンスはビットレート特性データをさらに含み、当該ビットレート特性データは、
   ｉ）上記第１レイヤがＡＶＣビットストリームとして表現されて算術エンコーダによって符号化されるときの、上記第１レイヤのための最大ビットレート特性および平均ビットレート特性；
   ｉｉ）上記第２レイヤがＡＶＣビットストリームとして表現されて算術エンコーダによって符号化されるときの、上記第２レイヤのための最大ビットレート特性および平均ビットレート特性を含むステップ；
   ｃ）目標ビットレートパラメータを決定するステップ；
   ｄ）上記目標ビットレートパラメータと、上記第１レイヤおよび第２レイヤのための上記最大ビットレート特性または上記平均ビットレート特性のうちの１つとの関係に基づいて、上記第１レイヤおよび第２レイヤのうちの１つ以上のレイヤを変換のために選択するステップ；および
   ｅ）選択された上記１つ以上のレイヤを上記ＡＶＣビットストリーム表現に変換するステップを含む方法。
7. ＳＶＣビットストリーム表現をＡＶＣビットストリーム表現に変換するための方法であって、
   ａ）第１レイヤおよび第２レイヤを含むＳＶＣビデオシーケンスを受信するステップであって、上記ＳＶＣビデオシーケンスはビットレート特性データをさらに含み、当該ビットレート特性データは、
   ｉ）上記第１レイヤがＡＶＣビットストリームとして表現されてＶＬＣエンコーダによって符号化されるときの、上記第１レイヤのための最大ビットレート特性および平均ビットレート特性；
   ｉｉ）上記第１レイヤがＡＶＣビットストリームとして表現されて算術エンコーダによって符号化されるときの、上記第１レイヤのための最大ビットレート特性および平均ビットレート特性；
   ｉｉｉ）上記第２レイヤがＡＶＣビットストリームとして表現されてＶＬＣエンコーダによって符号化されるときの、上記第２レイヤのための最大ビットレート特性および平均ビットレート特性；および
   ｉｖ）上記第２レイヤがＡＶＣビットストリームとして表現されて算術エンコーダによって符号化されるときの、上記第２レイヤのための最大ビットレート特性および平均ビットレート特性を含むステップ；
   ｃ）目標ビットレートパラメータを決定するステップ；
   ｄ）上記目標ビットレートパラメータと、上記第１レイヤおよび第２レイヤのための上記最大ビットレート特性または上記平均ビットレート特性のうちの１つとの関係に基づいて、上記第１レイヤおよび第２レイヤのうちの１つ以上のレイヤを変換のために選択するステップ；および
   ｅ）選択された上記１つ以上のレイヤを上記ＡＶＣビットストリーム表現に変換するステップを含む方法。
8. 上記ビットレート特性に基づいて上記ＶＬＣエンコーダおよび上記算術エンコーダのうちの１つを選択するステップをさらに含む、請求項７に記載の方法。
9. 上記ＳＶＣビデオシーケンスは、変換データをさらに含み、
   上記レイヤのうちの１つ以上のレイヤを変換のために選択する上記ステップは、上記変換データの有無の分析も含み、
   上記変換データは、誤差および完全な再構成なしにスケーラブルな現レイヤの表現を非スケーラブルなＡＶＣビットストリームに変換しうることを示すものである、請求項５ないし７の何れか１項に記載の方法。
10. 上記変換データが上記変換が可能であることを示している場合に、上記変換が係数の逆変換なしに行われる、請求項９に記載の方法。
11. 拡張されたマルチレイヤビットストリームを作成するためのシステムであって、
    ビデオシーケンスのスケーラブルなマルチレイヤ表現を受信するための受信機；
    上記ビデオシーケンスのレイヤの非スケーラブルな単一レイヤ表現に関する、スケーラブルな表現を非スケーラブルな表現に、誤差無く、かつ完全な再構成を行わずに変換可能なことを示すフラグ、プロファイルおよびレベル準拠性を示すフラグ、および、上記ビデオシーケンスの上記レイヤのｉ）ＶＬＣ符号化されるときの最大ビットレート特性および平均ビットレート特性と、ｉｉ）算術符号化されるときの最大ビットレート特性および平均ビットレート特性を決定するための決定器；および
    上記変換可能なことを示すフラグ、上記プロファイルおよびレベル準拠性を示すフラグおよび上記ビットレート特性を上記スケーラブルなマルチレイヤ表現に添付して、拡張されたスケーラブルな表現を形成するための添付器を含むシステム。
12. 請求項１〜４の何れか１項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
13. 請求項５〜１０の何れか１項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
14. 請求項１２に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
15. 請求項１３に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。

Images