JP4874343B2

JP4874343B2 - スケーラブルビデオ符号化における、下位互換性のあるピクチャの集約

Info

Publication number: JP4874343B2
Application number: JP2008549947A
Authority: JP
Inventors: ミスカハンヌクセラ; イェクイワン
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2006-01-11
Filing date: 2007-01-11
Publication date: 2012-02-15
Anticipated expiration: 2027-01-11
Also published as: KR20080092420A; BRPI0707457A2; EP1977604A4; EP1977604B1; US20070201549A1; CN101390399B; WO2007080502A3; TWI432035B; EP1977604A2; CN101390399A; JP2009537078A; US8767818B2; RU2409910C2; MY148628A; WO2007080502A2; HK1127205A1; AU2007204168B2; AU2007204168A1; KR101029854B1; ZA200806042B

Description

発明の分野
本発明は一般に、ビデオ符号化に関する。より詳細には、本発明は、スケーラブルビデオの符号化、記憶、そして移送に関する。

発明の背景
本節は、請求の範囲において列挙される本発明に対しての背景又は前後関係を与えることを意図されている。ここにおける説明は、追求可能であった概念を含んでもよいのではあるが、しかしながら、必ずしも以前に着想された、又は追及された概念とは限らない。従って、ここにおいて別段の指示がされない限り、本節において説明される内容は本出願における明細書と請求の範囲に対しての先行技術ではなく、そして、本節に含まれることをもって先行技術であると認められるものでもない。

スケーラブルビデオ符号化（ＳＶＣ：ＳｃａｌａｂｌｅＶｉｄｅｏＣｏｄｉｎｇ）は、スケーラブルなビデオビットストリームを与える。スケーラブルビデオビットストリームは、スケーラブルでないベース層と、１以上のエンハンスメント層とを含む。エンハンスメント層は、時間分解能（すなわち、フレームレート）、空間分解能、又は、下位層又はその一部によって表示されるビデオコンテンツの質を強化してよい。スケーラブル層は、単一のリアルタイム転送プロトコル（ＲＴＰ：ｒｅａｌ−ｔｉｍｅｔｒａｎｓｐｏｒｔｐｒｏｔｏｃｏｌ）のストリームに集約されるか、又は独立して移送されることが可能である。

ビデオ符号化層（ＶＣＬ：ｖｉｄｅｏｃｏｄｉｎｇｌａｙｅｒ）とネットワーク抽象化層（ＮＡＬ：ｎｅｔｗｏｒｋａｂｓｔｒａｃｔｉｏｎｌａｙｅｒ）との概念は、ＡＶＣ（ａｄｖａｎｃｅｄｖｉｄｅｏｃｏｄｉｎｇ）から継承される。ＶＣＬは、コーデックの信号処理機能性（例えば、変換、量子化、動き補償予測、ループ・フィルタ、フレーム間予測、等の様なメカニズム）を含む。ベース又はエンハンスメント層についての符号化されたピクチャは、１以上のスライスから成る。ＮＡＬは、ＶＣＬによって生成された各々のスライスを、１以上のＮＡＬユニットにカプセル化する。

各々のＳＶＣ層は、その層の符号化されたビデオビットを表すＮＡＬユニットによって形成される。１つだけの層を運ぶＲＴＰストリームは、その層に所属するＮＡＬユニットだけを運ぶであろう。完全にスケーラブルなビデオビットストリームを運ぶＲＴＰストリームは、ベース層と１以上のエンハンスメント層についてのＮＡＬユニットを運ぶであろう。ＳＶＣは、これらＮＡＬユニットの復号の順序を指定する。

エンハンスメント層の全部を移送し、復号するということはせずに、ビジュアルコンテンツの質をスケーリングする概念は、粗粒のスケーラビリティ（ＣＧＳ：ｃｏａｒｓｅ−ｇｒａｉｎｅｄｓｃａｌａｂｉｌｉｔｙ）として示される。

ある場合には、所定のエンハンスメント層のビットレートを、個々のＮＡＬユニットからのビットを切り捨てることにより低減させることが可能である。切り捨ては、再生されたエンハンスメント層のビデオの質の素直な劣化をもたらす。この概念は、きめの細かいスケーラビリティ（ＦＧＳ：ｆｉｎｅ−ｇｒａｉｎｅｄ（ｇｒａｎｕｌａｒｉｔｙ）ｓｃａｌａｂｉｌｉｔｙ）として知られている。

Ｈ．２６４／ＡＶＣビデオ符号化標準によれば、アクセスユニットは１つのプライマリ符号化されたピクチャを含む。あるシステムにおいては、アクセスユニットデリミタＮＡＬユニットをビットストリームに挿入することにより、アクセスユニット境界の検出を単純化することが可能である。ＳＶＣにおいては、アクセスユニットは複数のプライマリ符号化されたピクチャを含んでよいのであるが、しかしながら、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、そしてｑｕａｌｉｔｙ＿ｌｅｖｅｌのユニークな組み合わせの各々に対しては高々１ピクチャである。

スケーラブルビデオ符号化は、質を最大限のレベルまで向上させるエンハンスメント情報の符号化、及び、ある最低限の質を有する「ベース層」の符号化を伴う。ＳＶＣストリームのベース層は典型的に、ＡＶＣ準拠である。言い換えれば、ＡＶＣデコーダは、ＳＶＣストリームのベース層を復号してＳＶＣ固有のデータを無視することが可能である。この特徴は、ＳＶＣに固有である、符号化されたスライスＮＡＬユニットのタイプを特定することによって実現されたのであり、それらはＡＶＣにおいて将来使用するためにと保存されたのであり、そしてＡＶＣ仕様に従ってスキップされるに違いない。

ＳＶＣアクセスユニット内におけるピクチャとそれらのスケーラビリティ特性の識別は、少なくとも２つの目的のために重要である。第１に、サーバ又はゲートウェイ内で圧縮領域ストリームを薄くするために、この識別は重要である。大量のデータを処理する必要があるため、これらの要素は、除去可能なピクチャを可能な限り迅速に識別しなければならない。第２に、所望の質と複雑度を有するストリームのプレイバックのために、この識別は重要である。受信機や再生機は、スケーラブルストリーム中における、復号が不可能であるか又は復号したくないそれらピクチャを識別できるべきである。

ｍｅｄｉａ−ａｗａｒｅゲートウェイ又はＲＴＰミキサ（例えば、マルチポイント会議制御ユニット、回線交換、パケット交換ビデオ電話通信の間でのゲートウェイ、ＰｏＣ（ｐｕｓｈ−ｔｏ−ｔａｌｋｏｖｅｒｃｅｌｌｕｌａｒ）サーバ、ＤＶＢ−Ｈ（ｄｉｇｉｔａｌｖｉｄｅｏｂｒｏａｄｃａｓｔｉｎｇ−ｈａｎｄｈｅｌｄ）システムにおけるＩＰエンカプスレータ、又は放送の送信を無線ホームネットワークへローカルに転送するセットトップボックス、であってよい）の１つの機能は、下りリンクの現行のネットワーク条件に従って転送されるストリームのビットレートを制御することである。入力データを大規模に処理することなしに、例えば、単にパケット又は容易に識別されるパケットの一部をドロップすることで、転送されるデータのレートを制御することが望ましい。層構造の符号化のためには、ゲートウェイは、転送されるストリームの復号に影響を与えない、ピクチャ又はピクチャシーケンスの全体をドロップすべきである。Ｈ．２６４／ＡＶＣＲＴＰペイロード仕様でのインターリーブされたパケット化モードは、事実上任意のアクセスユニットにおける任意のＮＡＬユニットの同一ＲＴＰペイロード（集約パケットと称される）へのカプセル化を可能とする。特に、符号化されたピクチャ全体を１つのＲＴＰペイロードにおいてカプセル化することは要求されないのであり、むしろ符号化されたピクチャについてのＮＡＬユニットは複数のＲＴＰパケットに分割されてよい。

このようなパケット集約の自由は多くのアプリケーションにとって歓迎すべきものである一方、それによって、ゲートウェイ操作における数多くの面倒な事態が引き起こされる。第１に、ある集約パケットを与えたとき、その集約パケット内に含まれる各々のＮＡＬユニットヘッダを解析する前においては、そのＮＡＬユニットがどのピクチャに所属するのか、ということが分からない。従って、インターリーブされたパケット化モードをＳＶＣに対して適用する場合、パケット内のＮＡＬユニット各々のヘッダを解析する前においては、含まれるＮＡＬユニットの属する層が分からない。結果的にゲートウェイは、幾らかでも、全てを、又は多少なりとも、そのパケットのＮＡＬユニットを転送するかどうかを決定する前に、ＮＡＬユニット各々のヘッダを解析しなければならない。第２に、付加拡張情報（ＳＥＩ：ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）とパラメータセットのＮＡＬユニット等のような、あるＮＡＬユニットに対しては、同一のアクセスユニットについてのビデオ符号化層（ＶＣＬ）ＮＡＬユニットを受信する前に、それらの所属するアクセスユニットを識別することは不可能である。従ってゲートウェイは、ＶＣＬでないＮＡＬユニットの、関連するピクチャへのマッピングを解決するために、バッファと幾らかの状態情報を保持する必要があるかもしれない。

従来のビデオ符号化標準においては、ピクチャヘッダは符号化されたピクチャを分離するために用いられる。しかしながら、Ｈ．２６４／ＡＶＣ標準において、そしてＳＶＣにおいては、シンタックス中にピクチャヘッダが含まれない。加えて、パーサはストリーム中におけるＮＡＬユニット各々に対するスケーラビリティ情報を解析する能力を持っているかもしれないのではあるが、これには少々大規模な処理能力が要求されるのであり、あるパーサはこの能力を有しないかもしれない。

上記に加え、以前には、ＳＶＣファイル形式検証モデル２（ＳＶＣｆｉｌｅｆｏｒｍａｔｖｅｒｉｆｉｃａｔｉｏｎｍｏｄｅｌ２）内においてアグリゲータＮＡＬユニットが提案されている（ＭＰＥＧ文書のＭ７５８６）。このシステムにおいて、そのアグリゲータＮＡＬユニットは、そのペイロード中の関連するＮＡＬユニットを備えたコンテナである。アグリゲータＮＡＬユニットは、Ｈ．２６４／ＡＶＣとＳＶＣ仕様において特定されていないタイプを有するのであり、Ｈ．２６４／ＡＶＣとＳＶＣのデコーダにおいては無視されるに違いない。しかしながら、Ｈ．２６４／ＡＶＣ標準に従ったベース層ピクチャがアグリゲータＮＡＬユニット内に入れられる場合、それはもはやＨ．２６４／ＡＶＣデコーダを用いては復号できないのであり、Ｈ．２６４／ＡＶＣＲＴＰのデペイローダイザ（ｄｅｐａｙｌｏａｄｉｚｅｒ）又はＡＶＣファイル形式のパーサを用いて解析することもできない。

発明の概要
本発明は、ＳＶＣファイル形式とＲＴＰペイロード形式のための間接的アグリゲータＮＡＬユニットを提供する。本発明の間接的アグリゲータＮＡＬユニットは、ビットストリーム内のスケーラビリティ依存性を容易に識別することを可能とするのであり、それによって、高速で効率的なストリーム操作が可能となる。更に、本発明におけるその間接的アグリゲータＮＡＬユニットは、Ｈ．２６４／ＡＶＣデコーダ、ＡＶＣファイル形式パーサ、そしてＨ．２６４／ＡＶＣＲＴＰペイロードパーサを用いてのストリームにおけるベース層の処理が依然として可能であることを保証する。

本発明におけるこれらの、そしてその他の利点と特徴とは、その編成や運用方法と共に、この後に続く詳細な説明から、添付図面と併用した時に明らかとなるであろう。そこにおいて同様の要素は、以下に説明される複数の図面に渡って同様の数字を有する。

好ましい実施例の詳細な説明
本発明は、スケーラブルビデオ符号化において使用するために、間接的アグリゲータＮＡＬユニット（より総称的にはスケーラビリティ情報基本データユニット）を提供する。間接的アグリゲータＮＡＬユニットは、他のＮＡＬユニットを含まない。代わりに、本発明における間接的アグリゲータＮＡＬユニットは、それ自身を他の一緒のＮＡＬユニットに関連付けるためのメカニズムを含む。これらのメカニズムは後続のバイトの数、後続のＮＡＬユニットの数、そしてより高いレベルのフレーミング内に残っているＮＡＬユニットの数を含むが、それらに制限されるわけではない。例えば、より高いレベルのフレーミング内に残っているＮＡＬユニットは、間接的アグリゲータＮＡＬユニットも併せて存在するような同一のＲＴＰペイロード内にある。

本発明における間接的ＮＡＬユニットのための構造は、全ての関連するＮＡＬユニットに対して共通である、属性または特性情報を更に含む。その共通の属性又は特性情報は、スケーラビリティ情報と、関連するＮＡＬユニットが、そこにおいて異なったスケーラブル層をもって現在の層に切り替えることが可能であるようなスケーラブル層切り替えポイントを形成するかどうか、とを含むが、それらに制限されるわけではない。スケーラビリティ情報は、ｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｙ＿ｉｄ、ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、そしてｑｕａｌｉｔｙ＿ｌｅｖｅｌというシンタックス要素を含む、少なくとも１つの「拡張された」、ＳＶＣ仕様中で特定されるＮＡＬユニットヘッダを、含んでよい。

本発明の間接的アグリゲータＮＡＬユニットは、Ｈ．２６４／ＡＶＣベース層のみのための処理ユニットによって無視されるべきタイプとして特定されるような、ＮＡＬユニットタイプから、選択される。言い換えれば、Ｈ．２６４／ＡＶＣデコーダ、ＡＶＣファイル形式パーサ、そしてＨ．２６４／ＡＶＣＲＴＰのデペイローダイザは、本発明の間接的アグリゲータＮＡＬユニットを無視すべきである。更に間接的アグリゲータＮＡＬユニットは、復号過程において標準的効果の原因とはならないので、ＳＶＣデコーダに無視されてよい。間接的アグリゲータＮＡＬユニットについてのシンタックスとセマンティックスの、ＳＶＣファイル形式に対する例と、そしてＳＶＣＲＴＰペイロード形式に対する別の例が、以下に与えられる。本発明は、カプセル化と符号化の形式についてのこれら特別の例に制限されるのではないということに注意すべきである。

ＳＶＣファイル形式に関しては、アグリゲータＮＡＬユニットによって、ＮＡＬＵ−ｍａｐ−ｇｒｏｕｐエントリを矛盾なく反復的にすることが可能となる。アグリゲータＮＡＬユニットは、同一のサンプルに所属し、同一のスケーラビリティ情報を持っているＳＶＣＮＡＬユニットをグループ化するために用いられる。アグリゲータＮＡＬユニットは、スケーラブルな拡張ＮＡＬユニット（ＳＶＣＮＡＬユニット）と同一のヘッダを使用するのであるが、しかしながら新しいＮＡＬユニットのタイプである。アグリゲータＮＡＬユニットは、エクストラクタＮＡＬユニットを含んでよい。エクストラクタＮＡＬユニットは、アグリゲータＮＡＬユニットを参照してよい。

ストリームを読み取る時、もしアグリゲータＮＡＬＵが必要でない（即ち、それが望ましくない層に所属している）ならば、そのユニットとそのコンテンツとは容易に廃棄される（ｌｅｎｇｔｈフィールドを用いて）。そのアグリゲータＮＡＬＵが必要ならば、そのヘッダは容易に廃棄され、そのコンテンツは保有される。

アグリゲータＮＡＬユニットは、２以上のＳＶＣＮＡＬユニットを新しい１つのＮＡＬユニットにカプセル化する。そのアグリゲータＮＡＬユニットは、ＳＶＣＮＡＬユニットと同一のシンタックス（ＳＶＣ仕様において特定されている通りの）を用いたＮＡＬユニットヘッダを使う。アグリゲータＮＡＬユニットは、他の任意のＮＡＬユニットと同じようにサンプル内に記憶される。

全てのＮＡＬユニットは、アグリゲータＮＡＬユニット内での復号順序を保って留まる。同一のｑｕａｌｉｔｙ＿ｌｅｖｅｌに所属するＮＡＬユニットがグループ化される場合、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ＞０を有するＮＡＬユニットの順序は変化するかもしれない。アグリゲータＮＡＬユニットに対するシンタックスは以下の通りである。

class aligned(8) AggregatorNALUnit(AggregatorNALUnitSize) {
unsigned int i = 2;
/* NALUnitHeader as specified in the SVC spec */
bit(l) forbidden_zero_bit;
bit(2) NAL_ref_idc;
bit(5) NAL_unit_type = AggregatorNALUnitType = const(30);
bit(6) simple_dependency_ID;
bit(l) discardable_flag;
bit(l) extension_flag;
if (extension_flag) {
quality_level = simple_dependency_ID;
bit (3) temporal_level;
bit (3) dependency_ID;
bit (2) quality_ID;
i++;
}
/* end of NAL unit header */
do {
unsigned int((lengthSizeMinusOne+l)*8)
NALUnitLength;
bit(NALUnitLength * 8) SVCNALUnit;
i += (lengthSizeMinusOne+l)+NALUnitLength;
} while (i<AggregatorNALUnitSize);
}

アグリゲータＮＡＬユニットに対するセマンティックスは以下の通りである。
ＮＡＬＵｎｉｔＨｅａｄｅｒ：（８又は１６ビット）ＳＶＣ仕様において特定されている通り：
ＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅが、アグリゲータＮＡＬユニットタイプ（タイプ３０）にセットされる。
スケーラビリティ情報（ＮＡＬ＿ｒｅｆ＿ｉｄｃ、ｓｉｍｐｌｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ＩＤ、ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇ、拡張されたスケーラビリティ情報）は、あらゆる集約されたＮＡＬユニットのヘッダ内におけるものと同一の値を持つものとする。
ＮＡＬＵｎｉｔＬｅｎｇｔｈ：後に続くＮＡＬユニットのサイズを特定する。このフィールドのサイズは、ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅエントリを用いて特定される。
ＳＶＣＮＡＬＵｎｉｔ：ＳＶＣ仕様において特定されている通りのＳＶＣＮＡＬユニットであり、ＳＶＣＮＡＬユニットヘッダを含む。ＳＶＣＮＡＬユニットのサイズは、ＮＡＬＵｎｉｔＬｅｎｇｔｈによって特定される。

アグリゲータＮＡＬユニットは、同一のスケーラビリティ層のＳＶＣＮＡＬユニットを収集すると仮定する。同様にむしろ、異なった層のＳＶＣＮＡＬユニットをグループ化してもよい（例えば、全てのｑｕａｌｉｔｙｌｅｖｅｌ（ＦＧＳフラグメント）のグループ化や、同一のｄｅｐｅｎｄｅｎｃｙ＿ＩＤを有する全てのＮＡＬユニットのグループ化など）。今回の場合において、ａｇｇｒｅｇａｔｉｏｎＮＡＬユニットヘッダは、ｄｅｐｅｎｄｅｎｃｙ＿ＩＤ及び／又はｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｑｕａｌｉｔｙ＿ＩＤの最も低いＳＶＣＮＡＬユニットのスケーラビリティ情報を信号で合図するであろう。

ＮＡＬユニットヘッダによって合図されないかもしれないスケーラビリティのレベルに所属するＳＶＣＮＡＬユニット（例えば、興味ある領域に所属するＳＶＣＮＡＬユニット）をグループ化するために、アグリゲータＮＡＬユニットを用いることができる。そのようなアグリゲータＮＡＬユニットの説明は、その層の説明と、そのＮＡＬユニットのマップグループを用いてなされてよい。この場合において、同一のスケーラビリティ情報を有する２以上のアグリゲータＮＡＬユニットが、１サンプル中に存在してよい。

アグリゲータＮＡＬユニットによって、あらゆるＡＵにおける各々の層に対するＮＡＬユニットの数を一定にすることができる。一定パターンを保証するため、以下のことが起こりうる。ＡＶＣベース層のＮＡＬＵｓがアグリゲータＮＡＬユニットにグループ化されうる（ＳＶＣストリーム内で用いられる場合）。この場合において、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ＩＤ、そしてｑｕａｌｉｔｙ＿ＩＤは全て０に設定される。ＡＶＣベース層のＮＡＬＵｓは、ｅｘｔｒａｃｔｏｒＮＡＬによって参照されうる。何らかの理由により、このＡＵ内に、特定の層についてのＮＡＬＵが存在しない場合には、この位置には空のアグリゲータＮＡＬユニットが存在してよい。

ＳＶＣビデオに対するＲＴＰペイロード方式に関しては、ペイロードコンテンツスケーラビリティ情報ＮＡＬユニットは、一般的に以下の通りである。ＳＶＣＮＡＬユニットは、１、２、又は３バイトのヘッダと、ペイロードバイトストリングとを備える。ヘッダは、ＮＡＬユニットのタイプ、（潜在的な）ビットエラーの存在又はＮＡＬユニットペイロード内のシンタックス違反、復号過程に対してのＮＡＬユニットの相対的な重要性に関する情報、そして（ヘッダが３バイトである場合のオプションである）スケーラブル層の復号の依存性情報、を指示する。

ＮＡＬユニットヘッダは、今回のＲＴＰペイロード形式のペイロードヘッダとしても、また役に立つ。ＮＡＬユニットペイロードが、すぐ次に続く。ＮＡＬユニットヘッダのシンタックスとセマンティックスとは［ＳＶＣ］において特定されているのではあるが、ＮＡＬユニットヘッダの本質的な性質を以下に要約する。

ＮＡＬユニットヘッダの最初のバイトは、以下の形式をとる。

+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|F|NRI| Type |
+---------------+

ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔ（Ｆ）：１ビット。Ｈ．２６４仕様においては、１の値をシンタックス違反として宣言している。

ｎａｌ＿ｒｅｆ＿ｉｄｃ（ＮＲＩ）：２ビット。００の値は、ピクチャ間予測のための参照ピクチャを再構築するために、そのＮＡＬユニットのコンテンツが使用されないことを指示する。そのようなＮＡＬユニットは、同一の層における参照ピクチャのインテグリティを危険に晒すことなく廃棄可能である。００よりも大きい値は、ＮＡＬユニットの復号において参照ピクチャのインテグリティを保持する必要があるということを指示する。あるスライス又はスライスデータパーティショニングＮＡＬユニットに対して、ＮＲＩ値が１１であるということは、そのＮＡＬユニットが［ＳＶＣ］において特定されるキーピクチャのデータを含むということを指示する。

情報メモ：キーピクチャの概念はＳＶＣにおいて導入されたのであり、Ｈ．２６４の２００３、２００５バージョンに準拠したビットストリーム中の任意のピクチャがこのルールに従うと仮定すべきではない。

ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ（Ｔｙｐｅ）：５ビット。この構成要素は、ＮＡＬユニットペイロードタイプを特定する。以前、（数ある中での）２０と２１のＮＡＬユニットタイプが、将来の拡張のために予約された。ＳＶＣはこれら２つのＮＡＬユニットタイプを用いている。それらは、移送の観点から助けとなるもう１つのバイトの存在を指示する。

+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
| PRID |D|E|
+---------------+

ｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｙ＿ｉｄ（ＰＲＩＤ）：６ビット。この構成要素は、ＮＡＬユニットに対する優先度識別子を特定する。ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが０に等しいとき、ｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｙ＿ｉｄはｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、そしてｑｕａｌｉｔｙ＿ｌｅｖｅｌの値を推測するために用いられる。ｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｙ＿ｉｄが存在しないとき、それは０に等しいことが暗示されている。

ｄｉｓｃａｒｄａｂｌｅ＿ｆｉａｇ（Ｄ）：１ビット。値１は、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＞ｃｕｒｒＤｅｐｅｎｄｅｎｃｙｌｄであるＮＡＬユニットの復号過程において、ＮＡＬユニット（ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝ｃｕｒｒＤｅｐｅｎｄｅｎｃｙｌｄ）のコンテンツが使用されないということを指示する。そのようなＮＡＬユニットは、より大きい値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを有する、より高いスケーラブル層のインテグリティを危険に晒すことなく廃棄可能である。ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇが０に等しいならば、ＮＡＬユニットの復号において、より大きい値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを有する、より高いスケーラブル層のインテグリティを保持する必要があるということを指示する。

ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ（Ｅ）：１ビット。値１は、ＮＡＬユニットヘッダの３番目のバイトが存在するということを指示する。２番目のバイトのＥビットが１であるとき、ＮＡＬユニットヘッダは３番目のバイトにまで及ぶ。

+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
| TL | DID | QL|
+---------------+

ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ（ＴＬ）：３ビット。この構成要素は、時間スケーラビリティ又はフレームレートを指示するために用いられる。より小さなｔｅｍｐｏｒａｌ＿ｌｅｖｅｌの値のピクチャから成る層は、より低いフレームレートを有する。

ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ（ＤＩＤ）：３ビット。この構成要素は、層間での符号化の依存性の階層構造を指示するために用いられる。任意の時間位置において、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値のより大きいピクチャを符号化するための層間予測のために、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値のより小さいピクチャを用いてよい。

Ｑｕａｌｉｔｙ＿ｌｅｖｅｌ（ＱＬ）：２ビット。この構成要素は、ＦＧＳ層の階層構造を指示するために用いられる。任意の時間位置において、そして同一のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値を用いて、ＱＬに等しいｑｕａｌｉｔｙ＿ｌｅｖｅｌ値を有するＦＧＳピクチャは、そのＦＧＳピクチャか、又は、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ値がＱＬ−１に等しいベースクオリティピクチャ（ＱＬ−１＝０であるときの、ＦＧＳでないピクチャ）を、層間予測のために用いる。ＱＬが０より大きいとき、そのＮＡＬユニットはＦＧＳスライス、又はその一部を有する。

本実施形態において、ペイロードコンテンツスケーラビリティ情報（ＰＡＣＳＩ：ｐａｙｌｏａｄｃｏｎｔｅｎｔｓｃａｌａｂｉｌｉｔｙｉｎｆｏｒｍａｔｉｏｎ）ＮＡＬユニットと称される、新たなＮＡＬユニットタイプが特定される。ＰＡＣＳＩＮＡＬユニットは、もし存在するならば、集約パケットにおける第１のＮＡＬユニットでなければならず、そして他のタイプのパケット内に存在してはならない。ＰＡＣＳＩＮＡＬユニットは、ペイロード内の残り全てのＮＡＬユニットに対して共通であるスケーラビリティ特性を指示するのであり、従ってＭＡＮＥｓがそのパケットを転送するか又は廃棄するか決定することを、より容易とする。送信器は、ＰＡＣＳＩＮＡＬユニットを作成してよいし、受信器はそれらを無視することが可能である。

ＰＡＣＳＩＮＡＬユニットのための、そのＮＡＬユニットタイプは、Ｈ．２６４／ＡＶＣ仕様とＲＦＣ３９８４とにおいて特定されていない値の中から選択される。それ故に、Ｈ．２６４／ＡＶＣベース層を有しＰＡＣＳＩＮＡＬユニットを含むＳＶＣストリームを、ＲＦＣ３９８４の受信器とＨ．２６４／ＡＶＣのデコーダを用いて処理することが可能である。

集約パケットにおける第１の集約ユニットがＰＡＣＳＩＮＡＬユニットを含む場合、同一のパケット内には少なくとも１つの追加的集約ユニットが存在しなければならない。ＲＴＰヘッダフィールドは、その集約パケット内の残りのＮＡＬユニットに従って設定される。

ＰＡＣＳＩＮＡＬユニットがマルチ時間集約パケット内に含まれるとき、そのＰＡＣＳＩＮＡＬユニットに対する復号順序番号は、そのＰＡＣＳＩＮＡＬユニットが、その集約パケット内のＮＡＬユニット間の復号順序における第１のＮＡＬユニットであることを指示するよう設定しなければならないか、又は、そのＰＡＣＳＩＮＡＬユニットは、その集約パケット内の残りのＮＡＬユニット間での復号順序における第１のＮＡＬユニットと同一の復号順序番号を有する。

ＰＡＣＳＩＮＡＬユニットの構造は、次のように特定される。

0 1 2
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|F|NRI| Type | PRID |D|E| TL | DID | QL|
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

ＰＡＣＳＩＮＡＬユニット内のフィールドの値は、次の通りに設定されなければならない。
−Ｆビットは、ペイロード内の残りのＮＡＬユニットのいずれかにおけるＦビットが１に等しいならば、１に設定されなければならない。それ以外の場合、Ｆビットは０に設定されなければならない。
−ＮＲＩフィールドは、ペイロード内の残りのＮＡＬユニット間での最も高いＮＲＩフィールド値に設定されなければならない。
−Ｔｙｐｅフィールドは３０に設定されなければならない。
−ＰＲＩＤフィールドは、ペイロード内の残りのＮＡＬユニット間での最も低いＰＲＩＤフィールド値に設定されなければならない。ペイロード内の残りのＮＡＬユニットのうちの１つにおいてＰＲＩＤフィールドが存在しない場合は、ＰＡＣＳＩＮＡＬユニットにおけるＰＲＩＤフィールドは０に設定されなければならない。
−Ｄビットは、ペイロード内の残りのＮＡＬユニットのいずれかにおけるＤビットが０に等しいならば、０に設定されなければならない。それ以外の場合、Ｄビットは１に設定されなければならない。
−Ｅビットは１に設定されなければならない。
−ＴＬフィールドは、ペイロード内の残りのＮＡＬユニット間での最も低いＴＬフィールド値に設定されなければならない。
−ＤＩＤフィールドは、ペイロード内の残りのＮＡＬユニット間での最も低いＤＩＤフィールド値に設定されなければならない。
−ＱＬフィールドは、ペイロード内の残りのＮＡＬユニット間での最も低いＱＬフィールド値に設定されなければならない。

本発明の間接的アグリゲータＮＡＬユニットは、ビットストリーム内のスケーラビリティ依存性を容易に識別することを可能とするのであり、それによって、高速で効率的なストリーム操作が可能となる。その間接的アグリゲータＮＡＬユニットは、Ｈ．２６４／ＡＶＣデコーダ、ＡＶＣファイル形式パーサ、そしてＨ．２６４／ＡＶＣＲＴＰペイロードパーサを用いてのストリームにおけるベース層の処理が依然として可能であることを保証する。

復号の場合において、復号されるべきビットストリームは、事実上如何なるタイプのネットワーク内に配置されたリモートデバイスからでも受信される可能性がある、ということに注意すべきである。更には、ビットストリームはローカルなハードウェア又はソフトウェアから受信される可能性がある。また当然のことながら、ここに含まれる文章と例とは具体的に１つの符号化過程を説明しているのではあるが、同一の概念と原理とを対応する符号化過程にも適用できるし、逆もまた同様であるということは、当業者ならば即座に理解できる。

図１は、その内部において、符号化の側と復号の側との両方について本発明を実施可能であるような、１つの代表的電子デバイス１２を示す。しかしながら、本発明が電子デバイス１２の特定の１タイプに制限されることを意図されたものではないというのは当然である。図１の電子デバイス１２は、ディスプレイ３２、キーパッド３４、マイクロフォン３６、イヤーピース３８、赤外線ポート４２、アンテナ４４、本発明の１つの実施形態に従ってＵＩＣＣ形式であるスマートカード４６、カードリーダ４８、無線インターフェース回路５２、コーデック回路５４、コントローラ５６、そしてメモリ５８を備える。個々の回路と要素とは、全て当該技術分野で周知であるようなタイプであって、例えば携帯電話のＮｏｋｉａｒａｎｇｅ内のものである。

図２は、本発明と共に用いるための一般的マルチメディア通信システムを示す。データソース１００は、アナログ、非圧縮デジタル、又は圧縮されたデジタル形式、又はこれら形式の任意の組み合わせで、ソース信号を提供する。エンコーダ１１０は、ソース信号を符号化されたメディアビットストリームへと符号化する。エンコーダ１１０は、音声と映像のように２以上のメディアタイプを符号化する能力を有していてよいし、又は２以上のエンコーダ１１０が、ソース信号における異なったメディアタイプを符号化するために要求されてもよい。エンコーダ１１０はまた、画像とテキストのように合成して作られた入力を得てもよいし、又は、合成メディアについての符号化されたビットストリームを作り出す能力を有するかもしれない。以下においては、説明を単純なものとするために、１つのメディアタイプについての１つの符号化されたメディアビットストリームの処理のみを考える。しかしながら、典型的なリアルタイム放送サービスは複数のストリーム（典型的には、少なくとも１つの音声、ビデオ、そしてサブタイトルテキストのストリーム）を含むということに注意すべきである。また、システムには多くのエンコーダが備えられてよいということ、しかしながら以下においては一般性を失うことなく説明を単純化するために１つのエンコーダ１１０だけを考えるということにも注意すべきである。

符号化されたメディアビットストリームは、ストレージ１２０へと送信される。ストレージ１２０は、符号化されたメディアビットストリームを記憶するための如何なるタイプの大容量記憶装置を含んでもよい。ストレージ１２０内での符号化されたメディアビットストリームの形式は、基本的な自己完結型のビットストリーム形式であってよいし、又は、１以上の符号化されたメディアビットストリームが、格納ファイル内へとカプセル化されてもよい。あるシステムは、「ライブで」動作する。すなわち、ストレージを省略して、符号化されたメディアビットストリームをエンコーダ１１０から直接送信器１３０へと送信する。符号化されたメディアビットストリームはそれから必要に応じて、送信器１３０（サーバとも呼ばれる）へと送信される。送信において用いられる形式は、基本的な自己完結型のビットストリーム形式であってよいし、パケットストリーム形式であってよいし、又は、１以上の符号化されたメディアビットストリームが、格納ファイル内へとカプセル化されてもよい。エンコーダ１１０、ストレージ１２０、そしてサーバ１３０は、同一の物理デバイス内に常駐しても、又は別個のデバイス内に備えられていてもよい。エンコーダ１１０とサーバ１３０は、ライブのリアルタイムコンテンツをもって動作してもよい。その場合において、符号化されたメディアビットストリームは恒久的に記憶されるのではなく、むしろ、処理の遅延、送信の遅延、そして符号化されたメディアのビットレートの差異をならすために、コンテンツエンコーダ１１０及び／又はサーバ１３０内で短い時間の間バッファされるのが典型的である。

サーバ１３０は、符号化されたメディアビットストリームを、通信プロトコルスタックを用いて送信する。スタックにはリアルタイプ転送プロトコル（ＲＴＰ）、ユーザデータグラムプロトコル（ＵＤＰ：ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）、そしてインターネットプロトコル（ＩＰ）が含まれてよいが、これらに制限されるわけではない。通信プロトコルスタックがパケット指向である場合には、サーバ１３０は、符号化されたメディアビットストリームをパケットへとカプセル化する。例えば、ＲＴＰが使われている場合には、サーバ１３０は、ＲＴＰペイロード形式に従い、符号化されたメディアビットストリームをＲＴＰパケットへとカプセル化する。典型的に、各々のメディアタイプは専用のＲＴＰペイロード形式を有している。システムには２以上のサーバ１３０が含まれてもよいのであるが、単純化のために、以下の説明では１つのサーバ１３０のみを考えるということに再び注意すべきである。

サーバ１３０は、通信ネットワークを介してゲートウェイ１４０に接続されているかもしれないし、又は接続されていないかもしれない。ゲートウェイ１４０は、ある通信プロトコルスタックに従ったパケットストリームの別の通信プロトコルスタックへの変換や、データストリームのマージ及びフォーキングや、例えば下りリンクの現行のネットワーク条件に応じて転送ストリームのビットレートを制御するといったような下りリンク及び／又は受信器の能力に応じたデータストリームの操作等、異なったタイプの機能を実行してよい。ゲートウェイ１４０の例としては、マルチポイント会議制御ユニット（ＭＣＵｓ）、回線交換、パケット交換ビデオ電話通信の間でのゲートウェイ、ＰｏＣ（Ｐｕｓｈ−ｔｏ−ｔａｌｋｏｖｅｒＣｅｌｌｕｌａｒ）サーバ、ＤＶＢ−Ｈ（ｄｉｇｉｔａｌｖｉｄｅｏｂｒｏａｄｃａｓｔｉｎｇ−ｈａｎｄｈｅｌｄ）システムにおけるＩＰエンカプスレータ、又は放送の送信を無線ホームネットワークへローカルに転送するセットトップボックス、が含まれる。ＲＴＰが使われている場合、ゲートウェイ１４０はＲＴＰミキサと呼ばれ、ＲＴＰ接続のエンドポイントとしての役目を果たす。

システムには１以上の受信器１５０が備えられ、それは典型的に、送信された信号を受信し、復調し、そして符号化されたメディアビットストリームへと脱カプセル化する能力を有する。その符号化されたメディアビットストリームは典型的に、デコーダ１６０によって更に処理されるのであり、デコーダ１６０は１以上の非圧縮メディアストリームを出力する。最終的にはレンダラ１７０が、例えばラウドスピーカーやディスプレイを用いてその非圧縮メディアストリームを再生してよい。受信器１５０、デコーダ１６０、そしてレンダラ１７０は、同一の物理デバイス内に常駐しても、又は別個のデバイス中に備えられていてもよい。

ビットレート、復号の複雑性、そしてピクチャサイズに関するスケーラビリティは、異機種間環境やエラーの多い環境にとっては魅力ある性質である。この性質は、受信するデバイスにおいてのビットレート制約、ディスプレイ解像度、ネットワーク回線容量、そしてコンピュータ能力といった制限に対抗するために、魅力的である。

スケーラビリティは、層構造の符号化と移送優先順位付けとを組み合わせるような移送システム内において、誤り耐性を改善するために用いることができる。「移送優先順位付け」という用語は、異なったエラー／損失率を有する異なったチャンネルを提供するための、不均一誤り保護を含め、移送において異なった質のサービスを提供するための、様々なメカニズムを指している。それらの性質に依存して、データは別々に割り当てられる。例えば、ベース層は誤り保護の程度が高いチャンネルを介して運ばれるかもしれないし、エンハンスメント層はよりエラーの多いチャンネルを介して送信されるかもしれない。

マルチポイントでのマルチメディア放送アプリケーションにおいては、ネットワーク回線容量の制約を、符号化の時点では予測できないかもしれない。従って、スケーラブルなビットストリームを用いるべきである。図３は、各々のルータがその能力に応じてビットストリームをはぎ落とすことができる、ＩＰマルチキャスティング配列を示す。図３には、幾つものクライアントＣ１−Ｃ３に対してビットストリームを提供するサーバＳが示されている。ビットストリームは、ルータＲ１−Ｒ３によってクライアントへとルーティングされる。この例において、サーバは、１２０ｋｂｉｔ／ｓ、６０ｋｂｉｔ／ｓ、そして２８ｋｂｉｔ／ｓという、少なくとも３つのビットレートへとスケーリングすることが可能なクリップを提供している。

クライアントとサーバとが通常のユニキャスト接続を通じて接続されている場合、サーバは、送信されるマルチメディアクリップのビットレートを一時的チャンネル回線容量に従って調節しようと試みるかもしれない。１つの解決法は、層構造のビットストリームを用いて、送信されるエンハンスメント層の数を変えることにより帯域幅の変化に適応するということである。

本発明は方法ステップ一般に関連して説明されているのであり、それは、ネットワーク化された環境中のコンピュータによって実行される、例えばプログラムコードのようなコンピュータ実行可能な命令を含むプログラム製品による実施形態において実行可能である。一般的に、プログラムモジュールには、特定のタスクを実行するか、又は特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等が含まれる。データ構造に関連してコンピュータ実行可能な命令、そしてプログラムモジュールは、ここにおいて開示される方法のステップを実行するためのプログラムコードについての例を表す。一連の、そのような実行可能な命令又は関連するデータ構造の特定のものは、そのようなステップにおいて説明される機能を実装するための対応する動作の例を表す。

規則に基づいたロジックと、さまざまなデータベース検索ステップ、相関ステップ、比較ステップ、決定ステップ、を遂行するための他のロジックと、を用いての標準的プログラミング技法を使って、本発明のソフトウェア、ＷＥＢでの実行を成すことが可能である。ここにおいて、そして請求の範囲において用いられる、「コンポーネント（構成要素）」、「モジュール」という単語は、１行以上のソフトウェアコード、及び／又はハードウェア装置、及び／又はマニュアル入力を受信するための機器、を用いての実装をその範囲に含むことを意図されたものであることに、併せて注意すべきである。

本発明における実施形態の上記の説明は、描写と説明の目的で与えられてきた。その説明によって全てを網羅することを意図したものでも、また本発明を、その開示された通りの正確な形式へと制限することを意図したものでもないのであって、上述の教示に照らして修正や変更を考えることは可能であるし、又は本発明を実行することで、その修正、変更がもたらされるかもしれない。実施形態は、本発明の原理を説明するために、そして、本発明をさまざまな実施形態において、そして意図された特定の用途に適するようにとさまざまな修正をした上で、利用することを当業者にとって可能とするための実用的な応用を説明するためにと、選択され、そして説明されたものである。

図１は、本発明の機能性を実装するためのエンコーダ又はデコーダとして役に立つことができる電子デバイスに含まれる回路の図解的な表現である。図２は、本発明と共に用いるための一般的マルチメディア通信システムを示す。図３は、各々のルータがその能力に応じてビットストリームをはぎ落とすことができる、ＩＰマルチキャスティング配列を示す。

Claims

第１のアルゴリズムに従って復号可能な符合化されたピクチャのベース層と、該符合化されたピクチャの少なくとも１つのエンハンスメント層と、を含むスケーラブル符号化されたビデオ信号を、第１の集約データユニットを含む集約データユニットのシーケンスへとカプセル化するための方法であって、
前記第１の集約データユニットへとカプセル化されるべき、前記符合化されたピクチャのネットワーク抽象化層上の少なくとも１つの基本データユニットを選択し、
前記少なくとも１つの基本データユニットと関連するスケーラビリティ情報基本データユニットを生成し、
前記スケーラビリティ情報基本データユニット、及び前記少なくとも１つの基本データユニットを前記第１の集約データユニットへとカプセル化する
ことを含む、方法。
前記スケーラビリティ情報基本データユニットは、
−前記少なくとも１つの基本データユニットと、
−前記スケーラビリティ情報基本データユニットの後に続く複数の基本データユニットと
のうちの一方に関連づけられる、請求項１に記載の方法。
前記スケーラビリティ情報基本データユニットが該スケーラビリティ情報基本データユニットの後に続く複数の基本データユニットに関連付けられることに応答して、
−前記スケーラビリティ情報基本データユニットの後に続く、前記複数の基本データユニットを含むバイトの数と、
−前記スケーラビリティ情報基本データユニットの後に続く基本データユニットの数と
のうちの一方である指標を生成することを更に含む、請求項２に記載の方法。
前記スケーラビリティ情報基本データユニットは、脱カプセル化の間は無視されるよう構成される、請求項２に記載の方法。
前記スケーラビリティ情報は、基本データユニットに対する優先度識別子と、時間的レベルと、依存性順序指標と、質的レベルと、より高い依存性順序指標に関連する基本データユニットが、復号のために関連する基本データユニットの少なくとも一部を必要とするかどうかについての指標と、該関連する基本データユニットが、異なった層が現在の層へと切り替えることが可能であるような層切り替えポイントに属するかどうかについての指標と、及びそれらの組み合わせと、から成るグループから選択される、請求項３に記載の方法。
前記スケーラビリティ情報基本データユニットは、Ｈ．２６４／ＡＶＣデコーダ、ＡＶＣファイルパーサ、Ｈ．２６４／ＡＶＣＲＴＰデペイローダイザ、ＳＶＣデコーダ、のうちの少なくとも１つによって無視されるよう構成される、請求項１に記載の方法。
前記スケーラブル符合化されたビデオ信号は、パケットのシーケンスへとカプセル化され、集約データユニットはパケットペイロードである、請求項２に記載の方法。
前記第１の集約データユニット内に存在する２以上の基本データユニットの指標を生成及びカプセル化し、
前記第１の集約データユニット内の前記指標に前記スケーラビリティ情報基本データユニットが従い、該第１の集約データユニット内の該スケーラビリティ情報基本データユニットに前記少なくとも１つの基本データユニットが従うよう、順序付けを行う
ことを更に含む、請求項７に記載の方法。
前記パケットのシーケンスがＲＴＰストリームを含む、請求項７に記載の方法。
前記スケーラブル符合化されたビデオ信号が、少なくとも１つのファイルへと、該少なくとも１つのファイルの形式に従ってカプセル化され、集約データユニットは、該少なくとも１つのファイルの形式に従うサンプルである、請求項２又は３に記載の方法。
前記少なくとも１つの基本データユニットの第１のサブセットであって、前記符合化されたピクチャの前記ベース層の基本データユニットを含む第１のサブセット、に関連付けられた前記スケーラビリティ情報基本データユニットを生成し、
前記少なくとも１つの基本データユニットの、第２のサブセットを、集約基本データユニットへとカプセル化する
ことを更に含む、請求項１０に記載の方法。
前記集約基本データユニットは、第１のアルゴリズム又は第２のアルゴリズムに従って基本データユニットのシーケンスへと脱カプセル化されるよう構成され、
前記第１のアルゴリズムに従って、前記基本データユニットのシーケンスは前記少なくとも１つの基本データユニット前記第２のサブセットを含み、
前記第２のアルゴリズムに従って、前記基本データユニットのシーケンスは、前記少なくとも１つの基本データユニットの前記第２のサブセットの基本データユニットを含まない、
請求項１１に記載の方法。
符合化されたピクチャのベース層と、該符合化されたピクチャの少なくとも１つのエンハンスメント層と、を含むスケーラブル符号化されたビデオ信号を、第１の集約データユニットを含む集約データユニットのシーケンスへと、コンピュータにカプセル化させるためのプログラムを含む、コンピュータ読み取り可能な媒体であって、
前記第１の集約データユニットへとカプセル化されるべき、前記符合化されたピクチャのネットワーク抽象化層上の少なくとも１つの基本データユニットをコンピュータに選択させて、
前記少なくとも１つの基本データユニットと関連するスケーラビリティ情報基本データユニットをコンピュータに生成させて、
前記スケーラビリティ情報基本データユニット、及び前記少なくとも１つの基本データユニットを前記第１の集約データユニットへと、コンピュータにカプセル化させる
ためのコンピュータコードを含む、媒体。
前記プログラムは、コンピュータに、前記スケーラビリティ情報基本データユニットの、
−前記少なくとも１つの基本データユニットと、
−前記スケーラビリティ情報基本データユニットの後に続く複数の基本データユニットと、
のうちの一方への関連づけを行わせるためのコンピュータコードを含む、請求項１３に記載のコンピュータ読み取り可能な媒体。
前記プログラムは、前記スケーラビリティ情報基本データユニットが該スケーラビリティ情報基本データユニットの後に続く複数の基本データユニットに関連付けられることに応答して、
−前記スケーラビリティ情報基本データユニットの後に続く、前記複数の基本データユニットを含むバイトの数と、
−前記スケーラビリティ情報基本データユニットの後に続く基本データユニットの数と
のうちの一方である指標をコンピュータに生成させるためのコンピュータコードを含む、請求項１４に記載のコンピュータ読み取り可能な媒体。
プロセッサと、
前記プロセッサに通信接続されたメモリユニットであって、コンピュータに、符合化されたピクチャのベース層と、該符合化されたピクチャの少なくとも１つのエンハンスメント層と、を含むスケーラブル符号化されたビデオ信号を、第１の集約データユニットを含む集約データユニットのシーケンスへとカプセル化させるためのプログラムを含む、メモリユニットと、
を含む電子デバイスであって、前記プログラムが、
前記第１の集約データユニットへとカプセル化されるべき、前記符合化されたピクチャのネットワーク抽象化層上の少なくとも１つの基本データユニットをコンピュータに選択させるためのコンピュータコードと、
前記少なくとも１つの基本データユニットと関連するスケーラビリティ情報基本データユニットをコンピュータに生成させるためのコンピュータコードと、
前記スケーラビリティ情報基本データユニット、及び前記少なくとも１つの基本データユニットを前記第１の集約データユニットへと、コンピュータにカプセル化させるためのコンピュータコードと
を含む、電子デバイス。
第１の集約データユニットを含む集約データユニットのシーケンスを、ネットワーク抽象層上の基本データユニットのシーケンスへと、脱カプセル化するための方法であって、該基本データユニットのシーケンスが、符合化されたピクチャのベース層と、該符合化されたピクチャの少なくとも１つのエンハンスメント層と、を含む、カプセル化された、スケーラブル符号化されたビデオ信号を表し、
前記方法が、
前記第１の集約データユニットから第１のスケーラビリティ情報基本データユニットを検出し、
前記基本データユニットのシーケンスから前記第１のスケーラビリティ情報基本データユニットを除外し、
前記第１の集約データユニットから、前記符合化されたピクチャの少なくとも１つの基本データユニットを検出し、
前記符合化されたピクチャの少なくとも１つの基本データユニットを、前記基本データユニットのシーケンスに含める
ことを含む、方法。
前記第１のスケーラビリティ情報基本データユニットを、
−前記少なくとも１つの基本データユニットと、
−前記第１のスケーラビリティ情報基本データユニットの後に続く複数の基本データユニットと
のうちの一方に関連づけることを更に含む、請求項１７に記載の方法。
前記スケーラビリティ情報基本データユニットが該スケーラビリティ情報基本データユニットの後に続く複数の基本データユニットに関連付けられることに応答して、
−前記第１のスケーラビリティ情報基本データユニットの後に続く、前記複数の基本データユニットを含むバイトの数と、
−前記第１のスケーラビリティ情報基本データユニットの後に続く基本データユニットの数と
のうちの一方である指標を読み取ることを更に含む、請求項１８に記載の方法。
前記基本データユニットのシーケンスから第１のエンハンスメント層を除外することを決めて、
前記集約データユニットのシーケンスから集約データユニットを受信し、
前記集約データユニット内に、スケーラビリティ情報基本データユニットが存在するかどうかを検出し、
前記スケーラビリティ情報基本データユニットが前記集約データユニット内に存在することへの応答として、該スケーラビリティ情報基本データユニットを読み取り、
前記第１のエンハンスメント層を参照するための前記スケーラビリティ情報基本データユニットを読み取ったことへの応答として、
前記スケーラビリティ情報基本データユニットに関連する基本データユニットのセットを決定し、
前記スケーラビリティ情報基本データユニットに基づき、前記基本データユニットのシーケンスから、前記基本データユニットのセットを除外し、
前記基本データユニットのシーケンスから、前記スケーラビリティ情報基本データユニットを除外し、
前記スケーラビリティ情報基本データユニットに関連付けられていない前記集約データユニットの基本データユニットを、前記基本データユニットのシーケンスに含める
ことを更に含む、請求項１７に記載の方法。