JP2009512306A

JP2009512306A - スケーラブルビデオコーディングのためのデコードされたピクチャーの効率的なバッファマネージメント

Info

Publication number: JP2009512306A
Application number: JP2008535116A
Authority: JP
Inventors: イクイワン; ミスカハンヌクセラ; ステファンヴェンガー
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2005-10-11
Filing date: 2006-10-11
Publication date: 2009-03-19
Also published as: CN101317459A; EP1949701A1; US20070086521A1; KR20080066784A; WO2007042914A1

Abstract

【課題】デコードされたピクチャーが予想参照及び将来の出力にもはや必要でなくなるや否やデコードされたピクチャーのバッファからのデコードされたピクチャーの除去を可能にする。
【解決手段】ピクチャーがレイヤ間予想参照に使用されるかどうかの指示がビットストリームに導入され、デコードされたピクチャーのバッファの管理方法は、この指示を使用する。ピクチャーをレイヤ間参照について使用又はレイヤ間参照について未使用とマークするためのプロセスと、デコードされたピクチャーをデコードされたピクチャーのバッファに記憶するプロセスと、参照ピクチャーをマークするプロセスと、デコードされたピクチャーのバッファからデコードされたピクチャーを出力及び除去するプロセスとを含む。
【選択図】図１２

Description

本発明は、ビデオコーディングの分野に係る。より詳細には、本発明は、スケーラブルビデオコーディングに係る。

ビデオコーディング規格は、ＩＴＵ−ＴＨ．２６１、ＩＳＯ／ＩＥＣＭＰＥＧ−１ビジュアル、ＩＴＵ−ＴＨ．２６２又はＩＳＯ／ＩＥＣＭＰＥＧ−２ビジュアル、ＩＴＵ−ＴＨ．２６３、ＩＳＯ／ＩＥＣＭＰＥＧ−４ビジュアル及びＩＴＵ−ＴＨ．２６４（ＩＳＯ／ＩＥＣＭＰＥＧ−４ＡＶＣとしても知られている）を含む。更に、新たなビデオコーディング規格の開発に関して、現在、努力が払われている。開発中の１つのこのような規格は、スケーラブルビデオコーディング（ＳＶＣ）規格であり、これは、Ｈ．２６４／ＡＶＣへのスケーラブル拡張となる。更に、中国ビデオコーディング規格の開発にも、努力が払われている。

スケーラブルビデオコーディングは、スケーラブルビデオビットストリームを与えることができる。スケーラブルビデオビットストリームの一部分を、低い再生ビジュアルクオリティで抽出しデコードすることができる。今日の概念では、スケーラブルビデオビットストリームは、非スケーラブルベースレイヤ及び１つ以上のエンハンスメントレイヤを含む。エンハンスメントレイヤは、時間的解像度（即ち、フレームレート）、空間的解像度、或いは単に下位レイヤ又はその一部分により表わされるビデオコンテンツのクオリティを向上させる。ある場合に、エンハンスメントレイヤのデータは、ある場所の後に、任意の位置で、裁断することができ、各裁断位置は、次第に向上されたビジュアルクオリティを表わす何らかの付加的なデータを含むことができる。このようなスケーラビリティは、微粒状（粒度）スケーラビリティ（ＦＧＳ）と称される。このＦＧＳとは対照的に、微粒状スケーラビリティを与えないクオリティエンハンスメントレイヤによって与えられるスケーラビリティは、粗粒状スケーラビリティ（ＣＧＳ）と称される。ベースレイヤも、ＦＧＳスケーラブルに設計できるが、現在、この概念を具現化するビデオ圧縮方法も、規格草案もない。

現在草案のＳＶＣ規格におけるスケーラブルレイヤ構造は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、及びｑｕａｌｉｔｙ＿ｌｅｖｅｌと称される３つの変数により特徴付けられ、これらは、ビットストリームにおいてシグナリングされるか、又は仕様書に基づいて導出することができる。ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌは、時間的スケーラビリティ又はフレームレートを指示するのに使用される。小さなｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ値のピクチャーを含むレイヤは、大きなｔｅｍｐｏｒａｌ＿ｌｅｖｅｌのピクチャーを含むレイヤよりもフレームレートが低い。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは、レイヤ間コーディング依存のハイアラーキーを指示するのに使用される。いかなる時間的位置においても、小さなｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値のピクチャーは、大きなｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値をもつピクチャーをコード化するためのレイヤ間予想に使用することができる。ｑｕａｌｉｔｙ＿ｌｅｖｅｌは、ＦＧＳレイヤハイアラーキーを指示するのに使用される。任意の時間的位置において、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値が同じ場合には、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ値がＱＬに等しいＦＧＳピクチャーは、レイヤ間予想のためにｑｕａｌｉｔｙ＿ｌｅｖｅｌ値がＱＬ−１に等しいＦＧＳピクチャー又はベースクオリティピクチャー（即ちＱＬ−１＝０のときに非ＦＧＳピクチャー）を使用する。

図１は、上述した３つの変数の表示値をもつ例示的スケーラブルビデオストリームの時間的セグメントを示す。時間値は相対的なものであり、即ち、時間＝０は、ビットストリームにおいて表示順序で第１のピクチャーの時間を必ずしも意味しないことに注意されたい。この例の典型的な予想参照関係が、図２に示され、ここで、実線の矢印は、水平方向における相互予想参照関係を示し、そして破線ブロックの矢印は、レイヤ間予想参照関係を示す。指されたインスタンスは、予想参照のための他の方向におけるインスタンスである。

ここに述べるように、同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを各々有するピクチャーのセットとしてレイヤが定義される。エンハンスメントレイヤをデコードして再生するために、通常、ベースレイヤを含む下位レイヤも入手できねばならない。というのは、エンハンスメントレイヤのデコーディングにおいてレイヤ間予想のために下位レイヤが直接的又は間接的に使用されるからである。例えば、図１及び２では、（ｔ、Ｔ、Ｄ、Ｑ）が（０、０、０、０）及び（８、０、０、０）に等しいピクチャーは、エンハンスメントレイヤとは独立してデコードできるベースレイヤに属する。（ｔ、Ｔ、Ｄ、Ｑ）が（４、１、０、０）に等しいピクチャーは、ベースレイヤのフレームレートを２倍にするエンハンスメントレイヤに属し、このレイヤをデコードするには、ベースレイヤピクチャーの存在が必要である。（ｔ、Ｔ、Ｄ、Ｑ）が（０、０、０、１）及び（８、０、０、１）に等しいピクチャーは、ベースレイヤのクオリティ及びビットレートをＦＧＳのように向上させるエンハンスメントレイヤに属し、このレイヤをデコードするにも、ベースレイヤピクチャーの存在が必要である。

現在草案のＳＶＣ規格では、空間的又はＣＧＳエンハンスメントレイヤにおけるコード化ピクチャーは、レイヤ間予想参照の指示（即ち、スライスヘッダにおけるｂａｓｅ＿ｉｄ＿ｐｌｕｓｌシンタックスエレメント）を有する。レイヤ間予想は、コード化モード、モーション情報、及びサンプル残留予想を含む。レイヤ間予想の使用は、エンハンスメントレイヤのコード化効率を著しく改善できる。レイヤ間予想は、常に、予想のための参照として下位レイヤを使用する。換言すれば、上位レイヤは、下位レイヤのデコードに決して必要とされない。

スケーラブルなビデオビットストリームでは、エンハンスメントレイヤピクチャーは、レイヤ間予想のためにどの下位レイヤを使用すべきか自由に選択することができる。例えば、３つのレイヤｂａｓｅ＿ｌａｙｅｒ＿０、ＣＧＳ＿ｌａｙｅｒ＿１、及びｓｐａｔｉａｌ＿ｌａｙｅｒ＿２があり、それらが同じフレームレートを有する場合には、エンハンスメントレイヤピクチャーは、レイヤ間予想にこれらレイヤのいずれを選択してもよい。

典型的なレイヤ間予想依存性ハイアラーキーが図３に示されている。図３を参照すれば、レイヤ間予想は、依存性の方向を指す矢印で表わされる。指示先(pointed-to)オブジェクトは、レイヤ間予想のために指示元(pointed-from)オブジェクトを必要とする。更に、図３を参照すれば、各レイヤの右側の値の対は、現在草案のＳＶＣ規格に規定されたｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの値を表わす。しかしながら、ｓｐａｔｉａｌ＿ｌａｙｅｒ＿２のピクチャーは、図４に示すように、レイヤ間予想のためにｂａｓｅ＿ｌａｙｅｒ＿０を使用するように選択してもよい。更に、ｓｐａｔｉａｌ＿ｌａｙｅｒ＿２のピクチャーがレイヤ間予想のためにｂａｓｅ＿ｌａｙｅｒ＿０を選択する一方、同じ時間的位置において、ＣＧＳ＿ｌａｙｅｒ＿１のピクチャーが、図５に示すように、レイヤ間予想を全く行なわないよう決定することも考えられる。

ＦＧＳレイヤが含まれるときには、コード化モード及びモーション情報に対するレイヤ間予想は、サンプル残留に対するレイヤ間予想以外、ベースレイヤから得られてもよい。例えば、図６に示すように、ｓｐａｔｉａｌ＿ｌａｙｅｒ＿２ピクチャーに対して、コード化モード及びモーション情報のためのレイヤ間予想は、ＣＧＳ＿ｌａｙｅｒ＿１ピクチャーから生じ、一方、サンプル残留に対するレイヤ間予想は、ＦＧＳ＿ｌａｙｅｒ＿１＿１ピクチャーから得られる。別の例では、図７に示すように、ｓｐａｔｉａｌ＿ｌａｙｅｒ＿２ピクチャーの場合、コード化モード及びモーションのためのレイヤ間予想は、依然、ＣＧＳ＿ｌａｙｅｒ＿１ピクチャーから得られ、一方、サンプル残留のレイヤ間予想は、ＦＧＳ＿ｌａｙｅｒ＿１＿０ピクチャーから生じる。前記の関係は、コード化モード、モーション情報及びサンプル残留に対するレイヤ間予想が、全て、図８及び９に各々示された同じＦＧＳレイヤから得られるように、より抽象的に表現することができる。

ビデオコード化規格では、ビットストリームは、仮説の参照デコーダーによりデコードできるときに適合として定義され、仮説の参照デコーダーは、エンコーダーの出力に概念的に接続され、少なくとも、前デコーダーバッファ、デコーダー、及び出力／ディスプレイユニットを備えている。この仮想デコーダーは、Ｈ．２６３、Ｈ．２６４、及びＭＰＥＧＰＳＳＡｎｎｅｘＧのビデオバッファベリファイア（ＶＢＶ）では、仮説の参照デコーダー（ＨＲＤ）として知られている。３ＧＰＰパケット交換ストリーミングサービス規格（３ＧＰＰＴＳ２６．２３４）のＡｎｎｅｘＧは、ＨＲＤとみなし得るサーバーバッファベリファイアを規定しており、相違点は、それがストリーミングサーバーの出力に概念的に接続されることである。仮想デコーダー及びバッファベリファイアのような技術は、ここでは、総体的に仮説的参照デコーダー（ＨＲＤ）と称される。ストリームは、バッファのオーバーフローもアンダーフローもなしに、ＨＲＤによりデコードできる場合に適合である。バッファのオーバーフローは、バッファが既にいっぱいであるときにバッファに更にビットが入れられる場合に生じる。バッファのアンダーフローは、デコーディング／再生のためにバッファからビットをフェッチすべきときにバッファが空である場合に生じる。

ＨＲＤパラメータは、エンコードされるピクチャーのサイズに制約を課すと共に、必要なバッファサイズ及び始動遅延を判断する上で助けとなるように使用できる。

ＰＳＳＡｎｎｅｘＧ及びＨ．２６４以前の初期のＨＲＤ仕様では、前デコードバッファのオペレーションしか規定されていない。このバッファは、通常、Ｈ．２６４では、コード化ピクチャーバッファＣＰＢと称される。ＰＳＳＡｎｎｅｘＧのＨＲＤ及びＨ．２６４のＨＲＤは、後デコーダーバッファ（Ｈ．２６４では、デコードされたピクチャーのバッファＤＰＢとも称される）のオペレーションも規定している。更に、初期のＨＲＤ仕様では、１つのＨＲＤオペレーションポイントしか可能でなく、一方、ＰＳＳＡｎｎｅｘＧのＨＲＤ及びＨ．２６４のＨＲＤは、多数のＨＲＤオペレーションポイントを許す。各ＨＲＤオペレーションポイントは、ＨＲＤパラメータ値のセットに対応する。

草案のＳＶＣ規格によれば、その後のコード化ピクチャーの予想及び将来の出力に使用されるデコードされたピクチャーは、デコードされたピクチャーのバッファ（ＤＰＢ）に入れられる。バッファメモリを効率的に利用するために、デコードされたピクチャーをＤＰＢに記憶するプロセス、参照ピクチャーをマーキングするプロセス、デコードされたピクチャーをＤＰＢから出力し及び除去するプロセスを含むＤＰＢマネージメントプロセスが指定される。

現在草案のＳＶＣ規格に規定されたＤＰＢマネージメントプロセスは、特に、デコードされたピクチャーが非参照ピクチャーであるときに、レイヤ間予想のためにバッファする必要のあるそれらピクチャーのマネージメントを効率的に取り扱うことができない。これは、ＤＰＢマネージメントプロセスが、せいぜい時間的スケーラビリティをサポートする慣習的な単一レイヤコーディングに意図されたものに過ぎないためである。

Ｈ．２６４／ＡＶＣのような慣習的な単一レイヤコーディングでは、相互予想参照又は将来の出力のためにバッファされねばならないデコードされたピクチャーは、それらが相互予想参照及び将来の出力のためにもはや必要でないときには、バッファから除去することができる。参照ピクチャーを、相互予想参照及び将来の出力のためにもはや必要でなくなったときに直ちに除去できるようにするために、参照ピクチャーマーキングプロセスは、参照ピクチャーが相互予想参照にもはや必要でなくなったときに直ちにそれが分るようにされる。しかしながら、レイヤ間予想干渉のためのピクチャーについては、レイヤ間予想干渉にもはや必要でなくなったピクチャーの情報をできるだけ早く得る上でデコーダーの助けとなるメカニズムは、現在、入手できない。１つのこのような方法は、次の全ての条件を満足するＤＰＢ内の全てのピクチャーを、希望のスケーラブルレイヤにおける各ピクチャーをデコードした後にＤＰＢから除去することを含む。１）ピクチャーが非参照ピクチャーである；２）ピクチャーが、ちょうどデコードされたピクチャーと同じアクセスユニットにある；そして３）ピクチャーが希望のスケーラブルレイヤより下位のレイヤにある。従って、レイヤ間予想参照のためのピクチャーが不必要にＤＰＢにバッファされて、バッファメモリの使用効率を低下させることがある。例えば、必要とされるＤＰＢが、技術的に必要なものより大きくなる。

更に、スケーラブルビデオコーディングでは、再生に望まれるスケーラブルレイヤより下位のスケーラブルレイヤのデコードされたピクチャーは、決して出力されない。このようなピクチャーをＤＰＢに記憶することは、相互予想又はレイヤ間予想のためにそれらが必要でないときには、バッファメモリを単に浪費することになる。

それ故、予想（相互予想又はレイヤ間予想）参照及び将来の出力にもはや必要でなくなるや否やデコードされたピクチャーをＤＰＢから除去するためのシステム及び方法を提供することが望まれる。

本発明は、相互予想参照、レイヤ間予想参照及び将来の出力のためにもはや必要でなくなるや否やＤＰＢからデコードされたピクチャーを除去することのできるシステム及び方法を提供する。本発明のシステム及び方法は、レイヤ間予想参照のためにピクチャーが使用されるかどうかの指示をビットストリームに導入することと、その指示を使用するＤＰＢマネージメントメソッドとを含む。ＤＰＢマネージメントメソッドは、レイヤ間参照に使用するか又はレイヤ間参照に未使用としてピクチャーをマーキングするプロセスと、デコードされたピクチャーをＤＰＢへ記憶するプロセスと、参照ピクチャーをマーキングするプロセスと、デコードされたピクチャーをＤＰＢから出力し及び除去するプロセスとを含む。ピクチャーがレイヤ間予想参照にもはや必要でなくなるや否やデコーダーがそれを知り得るように、レイヤ間参照に未使用としてピクチャーをマーキングできるようにするため、新規なメモリマネージメント制御オペレーション（ＭＭＣＯ）が定義され、そしてビットストリームでの対応シグナリングが規定される。

本発明は、スケーラブルビデオビットストリームをデコードするのに必要なメモリを節約できるデコードされたピクチャーのバッファのマネージメントプロセスを提供することができる。本発明は、Ｈ．２６４／ＡＶＣビデオコーディング規格のスケーラブル拡張、並びに他のスケーラブルビデオコーディングメソッドの状況において使用することができる。

本発明のこれら及び他の効果並びに特徴は、そのオペレーションの編成及び仕方と共に、多数の図面にわたり同じ要素が同じ参照番号で示された添付図面を参照した以下の詳細な説明から明らかとなろう。

図１５を参照し、本発明の手順を適用するための１つのシステムである典型的なマルチメディアストリーミングシステムについて述べる。

マルチメディアデータストリーミングシステムは、典型的に、１つ以上のマルティメディアソース１００、例えば、ビデオカメラ及びマイクロホン、或いはメモリキャリアに記憶されたビデオイメージ又はコンピュータグラフィックファイルを備えている。異なるマルティメディアソース１００から得られた生のデータは、編集ユニットとも称されるエンコーダー１０２において、マルチメディアファイルへと結合される。１つ以上のマルティメディアソース１００から到来する生のデータは、最初に、エンコーダー１０２に含まれた捕獲手段１０４を使用して捕獲され、この捕獲手段は、典型的に、異なるインターフェイスカード、ドライバソフトウェア、又はカードの機能を制御するアプリケーションソフトウェアとして実施することができる。例えば、ビデオデータは、ビデオ捕獲カード及びそれに関連したソフトウェアを使用して捕獲することができる。捕獲手段１０４の出力は、典型的に、非圧縮又は若干圧縮されたデータフロー、例えば、ビデオ捕獲カードに関するときにはＹＵＶ４：２：０フォーマット又はモーションＪＰＥＧイメージフォーマットの非圧縮ビデオフォーマットである。

エディタ１０６は、必要に応じて同時に再生されるべきビデオ及びオーディオフローを同期させるために異なるメディアフローを一緒にリンクする。又、エディタ１０６は、例えば、フレームレートを半分にするか又は空間的解像度を減少することによりビデオフローのような各メディアフローを編集することができる。同期しているが個別のメディアフローは、コンプレッサー１０８において圧縮され、ここで、各メディアフローは、そのメディアフローに適したコンプレッサーを使用して別々に圧縮される。例えば、ＹＵＶ４：２：０フォーマットのビデオフレームは、ＩＴＵ−Ｔ推奨勧告Ｈ．２６３又はＨ．２６４を使用して圧縮することができる。個別の、同期されそして圧縮されたメディアフローは、典型的に、マルチプレクサ１１０においてインターリーブされ、エンコーダー１０２から得られる出力は、複数のメディアフローのデータを含む、マルチメディアファイルと称される単一の均一ビットフローである。マルチメディアファイルの形成は、必ずしも複数のメディアフローを単一ファイルへマルチプレクシングすることを必要とせず、ストリーミングサーバーが、メディアフローを送信の直前にインターリーブしてもよいことに注意されたい。

マルチメディアファイルは、ストリーミングサーバー１１２へ転送され、従って、このストリーミングサーバーは、ストリーミングをリアルタイムストリーミングとして或いは前進的ダウンロードの形態で実施することができる。前進的ダウンロードでは、マルチメディアファイルは、最初に、サーバー１１２のメモリに記憶され、そこから、必要に応じて送信のために検索される。リアルタイムストリーミングでは、エディタ１０２がマルチメディアファイルの連続的メディアフローをストリーミングサーバー１１２へ送信し、そしてサーバー１１２は、フローをクライアント１１４へ直接的に転送する。又、更なるオプションとして、リアルタイムストリーミングは、マルチメディアファイルがサーバー１１２からアクセスできる記憶装置に記憶されて、そこから、リアルタイムストリーミングを駆動できると共に、マルチメディアファイルの連続的なメディアフローが必要に応じてスタートされるように、実施されてもよい。このような場合に、エディタ１０２は、必ずしも任意の手段によりストリーミングを制御しない。ストリーミングサーバー１１２は、利用可能な帯域巾、又はクライアント１１４の最大デコーディング及び再生レートに関するマルチメディアデータのトラフィックシェーピングを実行し、ストリーミングサーバーは、例えば、送信からＢフレームを除外するか、又はスケーラビリティレイヤの数を調整することによりメディアフローのビットレートを調整することができる。更に、ストリーミングサーバー１１２は、マルチプレクスされるメディアフローのヘッダーフィールドを変更して、それらのサイズを減少すると共に、使用するテレコミュニケーションネットワークで送信するのに適したデータパケットへマルチメディアデータをカプセル化することができる。クライアント１１４は、典型的に、適当な制御プロトコルを使用することにより、サーバー１１２のオペレーションを少なくともある程度は調整することができる。クライアント１１４は、少なくとも、クライアントへ送信するための希望のマルチメディアファイルを選択できるように、サーバー１１２を制御することができ、これに加えて、クライアントは、典型的に、マルチメディアファイルの送信を停止し、中断することができる。

以下、ＳＶＣ規格の仕様テキストの形態で本発明の１つの特定の実施形態を説明する。この実施形態では、デコードされた参照ピクチャーのマーキングシンタックスは、次の通りである。

デコードされた参照ピクチャーのマーキングシンタックス

スケーラブル拡張シンタックスにおけるスライスヘッダは、次の通りである。

スケーラブル拡張シンタックスにおけるスライスヘッダ

デコードされた参照ピクチャーのマーキングセマンティックスについて、“ｎｕｍ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｍｍｃｏ”は、ＤＰＢにおけるデコードされたピクチャーを「レイヤ間予想について未使用」とマークするためのｍｅｍｏｒｙ＿ｍａｎｅｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌオペレーションの数を指示する。“ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［ｉ］”は、「レイヤ間予想について未使用」とマークされるべきピクチャーのｄｅｐｅｎｄｅｎｃｙ＿ｉｄを指示する。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［ｉ］は、現在ピクチャーのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ以下である。“ｑｕａｌｉｔｙ＿ｌｅｖｅｌ［ｉ］”は、「レイヤ間予想について未使用」とマークされるべきピクチャーのｑｕａｌｉｔｙ＿ｌｅｖｅｌを指示する。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［ｉ］がｄｅｐｅｎｄｅｎｃｙ＿ｉｄに等しいときには、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ［ｉ］がｑｕａｌｉｔｙ＿ｌｅｖｅｌより小さい。現在ピクチャーと同じアクセスユニットにあって、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄがｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［ｉ］に等しく且つｑｕａｌｉｔｙ＿ｌｅｖｅｌがｑｕａｌｉｔｙ＿ｌｅｖｅｌ［ｉ］に等しいデコードされたピクチャーは、１に等しいｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇを有する。

スケーラブル拡張シンタックスエレメントｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、ｆｒａｍｅ＿ｎｕｍ、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇ、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇ、ｉｄｒ＿ｐｉｃ＿ｉｄ、ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ、ｄｅｌｔａ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｂｏｔｔｏｍ、ｄｅｌｔａ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ［０］、ｄｅｌｔａ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ［１］、及びｓｌｉｃｅ＿ｇｒｏｕｐ＿ｃｈａｎｇｅ＿ｃｙｃｌｅにおけるスライスヘッダの値は、それが存在するときには、デコードされたピクチャーの全てのスライスヘッダにおいて同じである。“ｆｒａｍｅ＿ｎｕｍ”は、現在草案のＳＶＣ規格のサブクローズＳ．７．４．３におけるｆｒａｍｅ＿ｎｕｍと同じセマンティックスを有する。０に等しい“ｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇ”値は、現在ピクチャーのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値より大きな値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを伴うピクチャーをデコードするためのレイヤ間予想参照について現在ピクチャーが使用されないことを指示する。１に等しい“ｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇ”値は、現在ピクチャーより大きな値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを伴うピクチャーをデコードするためのレイヤ間予想参照について現在ピクチャーが使用されることを指示する。“ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ”は、現在草案のＳＶＣ規格のサブクローズＳ．７．４．３におけるｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇと同じセマンティックスを有する。

デコードされたピクチャーのマーキングプロセスのオペレーションシーケンスに対して、“ｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇ”の値が１に等しい場合には、現在ピクチャーが「レイヤ間予想について使用」とマークされる。

ピクチャーを「レイヤ間予想について未使用」とマークするためのプロセスについて、このプロセスは、“ｎｕｍ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｍｍｃｏ”の値が０に等しくないときに呼び出される。次の全ての条件が満足されるＤＰＢ内の全ピクチャーは、「レイヤ間参照について未使用」とマークされる。（１）ピクチャーが現在ピクチャーと同じアクセスユニットに属し；（２）ピクチャーが、１に等しい“ｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇ”値を有し、そして「レイヤ間参照について使用」とマークされ；（３）ピクチャーが、現在ピクチャーのｄｅｃ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ（）のシンタックスにおいてシグナリングされた一対のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［ｉ］及びｑｕａｌｉｔｙ＿ｌｅｖｅｌ［ｉ］に等しいｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの値を有し；そして（４）ピクチャーが非参照ピクチャーである。

デコードされたピクチャーのバッファのオペレーションについては、デコードされたピクチャーのバッファは、フレームバッファを含む。フレームバッファの各々は、デコードされたフレーム、デコードされた相補的なフィールド対、或いは単一の（対でない）デコードされたフィールドであって、「参照について使用」（参照ピクチャー）とマークされるか、「レイヤ間参照について使用」とマークされるか、又は将来の出力（再順序付け又は遅延されたピクチャー）として保持されるフィールドを含む。初期化の前に、ＤＰＢは空である（ＤＰＢの充満度がゼロにセットされる）。このサブクローズの次のステップは、全て、ｔ_r（ｎ）に、リストされた順序で、瞬時に行なわれる。

ｆｒａｍｅ＿ｎｕｍのギャップをデコードし、「非存在」フレームを記憶する場合に、もし適用できれば、ｆｒａｍｅ＿ｎｕｍのギャップは、デコーディングプロセスによって検出され、そして発生されたフレームは、次に規定されたように、マークされてＤＰＢへ挿入される。ｆｒａｍｅ＿ｎｕｍのギャップは、デコーディングプロセスにより検出され、そして発生されたフレームは、現在草案のＳＶＣ規格のサブクローズ８．２．５．２に規定されたように、マークされる。各発生されたフレームのマーキングの後に、「スライディングウインドウ」プロセスにより「参照について未使用」とマークされた各ピクチャーｍは、それが「非存在」ともマークされるか、又はそのＤＰＢ出力時間が現在ピクチャーｎのコード化ピクチャーバッファ（ＣＰＢ）除去時間以下であり、即ちｔ_o、dpb（ｍ）≦ｔ_r（ｎ）であるときに、ＤＰＢから除去される。フレーム、又はフレームバッファの最後のフィールドがＤＰＢから除去されるときには、ＤＰＢ充満度が１だけ減少される。「非存在」発生フレームはＤＰＢへ挿入され、そしてＤＰＢ充満度が１だけ増加される。

ピクチャーのデコーディング及び出力については、ピクチャーｎがデコードされ、一時的に記憶される（ＤＰＢ内ではない）。ピクチャーｎが希望のスケーラブルレイヤにない場合には、次のテキストが適用される。ピクチャーｎのＤＰＢ出力時間ｔ_o、dpb（ｎ）は、ｔ_o、dpb（ｎ）＝ｔ_r（ｎ）＋ｔ_c＊ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ（ｎ）によって導出される。現在ピクチャーの出力は、次のように規定される。ｔ_o、dpb（ｎ）＝ｔ_r（ｎ）である場合には、現在ピクチャーが出力される。現在ピクチャーが参照ピクチャーであるときには、それがＤＰＢに記憶されることに注意されたい。ｔ_o、dpb（ｎ）≠ｔ_r（ｎ）であり、次いで、ｔ_o、dpb（ｎ）＞ｔ_r（ｎ）である場合には、現在ピクチャーが後で出力されて、ＤＰＢに記憶され（現在草案のＳＶＣ規格のサブクローズＣ．２．４に規定されたように）、そして指示のない限り、時間ｔ_o、dpb（ｎ）に出力され、ｔ_o、dpb（ｎ）に先行する時間に１に等しいｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿Ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇのデコーディング又は推測によって出力されることはない。出力されるピクチャーは、そのシーケンスに対するシーケンスパラメータセットで指定された切断長方形を使用して切断される。

ピクチャーｎが、出力されるピクチャーであり、出力されるビットストリームの最後のピクチャーではないときには、Δｔ_o、dpb（ｎ）の値は、Δｔ_o、dpb（ｎ）＝ｔ_o、dpb（ｎ_n）−ｔ_o、dpb（ｎ）として定義され、ここで、ｎ_nは、出力順序においてピクチャーｎの後に続くピクチャーを指示する。

現在ピクチャーの考えられる挿入の前にＤＰＢからピクチャーを除去することは、リストされたシーケンスで次のように行なわれる。デコードされたピクチャーがＩＤＲピクチャーである場合には、次のことが適用される。ＤＰＢ内にあって、現在ピクチャーと各々同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する全ての参照ピクチャーは、現在草案のＳＶＣ規格のサブクローズ８．２．５．１に規定されたように、「参照について未使用」とマークされる。ＩＤＲピクチャーが、デコードされた第１のＩＤＲピクチャーではなく、そしてアクティブシーケンスパラメータセットから導出されたＰｉｃＷｉｄｔｈＩｎＭｂｓ又はＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ又はｍａｘ＿ｄｅｃ＿ｆｒａｍｅ＿ｂｕｆｆｅｒｉｎｇの値が、現在コード化ビデオシーケンスと各々同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する手前のシーケンスについてアクティブであったシーケンスパラメータセットから導出されたＰｉｃＷｉｄｔｈＩｎＭｂｓ又はＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓ又はｍａｘ＿ｄｅｃ＿ｆｒａｍｅ＿ｂｕｆｆｅｒｉｎｇの値とは異なるときには、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿Ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの実際の値に関らず、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿Ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、ＨＲＤにより１に等しいことが推測される。デコーダーの実施は、ＰｉｃＷｉｄｔｈＩｎＭｂｓ又はＦｒａｍｅＨｅｉｇｈｔＩｎＭｂｓの変化に関してＨＲＤより優美にフレーム又はＤＰＢサイズの変化を取り扱うように試みなければならないことに注意されたい。

ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿Ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが１に等しいか又は１に等しいと推測されるときには、現在ピクチャーと各々同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有するデコードされたピクチャーを含むＤＰＢ内の全てのフレームバッファが、それらが含むピクチャーを出力せずに、空にされ、そしてＤＰＢの充満度が、空にされたフレームバッファの数だけ減少される。さもなければ（即ち、デコードされたピクチャーがＩＤＲピクチャーでない場合には）、次のことが適用される。現在ピクチャーのスライスヘッダが、５に等しいｍｅｍｏｒｙ＿ｍａｎａｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌ＿ｏｐｅｒａｔｉｏｎを含む場合には、現在ピクチャーと各々同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有するＤＰＢ内の全ての参照ピクチャーが「参照について未使用」とマークされる。さもなければ（即ち、現在ピクチャーのスライスヘッダが、５に等しいｍｅｍｏｒｙ＿ｍａｎａｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌ＿ｏｐｅｒａｔｉｏｎを含まない場合には）、現在草案のＳＶＣ規格のサブクローズ８．２．５に規定されたデコードされた参照ピクチャーのマーキングプロセスが呼び出される。現在草案のＳＶＣ規格のサブクローズ８．２．５．５に規定されたように、「レイヤ間参照について未使用」としてピクチャーをマーキングするプロセスが呼び出される。

現在ピクチャーが希望のスケーラブルレイヤ内にある場合には、次の全ての条件を満足するＤＰＢ内の全てのデコードされたピクチャーが「レイヤ間参照について未使用」とマークされる。（１）ピクチャーが現在ピクチャーと同じアクセスユニットに属し、（２）ピクチャーが、１に等しいｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇ値を有し、そして「レイヤ間参照について使用」とマークされ、そして（３）ピクチャーが、現在ピクチャーより小さな値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ又は同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを有するが、現在ピクチャーより小さな値のｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する。

次の全ての条件が満足されるところのＤＰＢ内の全ピクチャーが、ＤＰＢから除去される。（１）ピクチャーｍは、「参照について未使用」とマークされるか、又はピクチャーｍは、非参照ピクチャーである。ピクチャーは、それが参照フレームであるときには、そのフィールドの両方が「参照について未使用」とマークされたときだけ、「参照について未使用」とマークされると考えられる。（２）ピクチャーｍは、「レイヤ間参照について未使用」とマークされるか、又はピクチャーｍは、０に等しいｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇを有する。（３）ピクチャーｍは、「非存在」とマークされるか、希望のスケーラブルレイヤにないか、又はそのＤＰＢ出力時間が現在ピクチャーｎのＣＰＢ除去時間以下であり、即ちｔ_o、dpb（ｍ）≦ｔ_r（ｎ）である。フレーム又はフレームバッファの最後のフィールドがＤＰＢから除去されるときには、ＤＰＢの充満度が１だけ減少される。

デコードされた現在ピクチャーをマーキングし記憶することについて以下に述べる。デコードされた参照ピクチャーをマーキングしてＤＰＢへ記憶する場合に、現在ピクチャーが参照ピクチャーであるときには、それが次のようにＤＰＢに記憶される。デコードされた現在ピクチャーが、相補的な参照フィールド対の第２フィールド（デコーディング順序で）であり、そしてその対の第１フィールドが依然ＤＰＢにある場合には、デコードされた現在ピクチャーが、その対の第１フィールドと同じフレームバッファに記憶される。さもなければ、デコードされた現在ピクチャーは、空のフレームバッファに記憶され、そしてＤＰＢ充満度が１だけ増加される。

非参照ピクチャーをＤＰＢへ記憶することについて、現在ピクチャーが非参照ピクチャーであるときには、次のことが適用される。現在ピクチャーが希望のスケーラブルレイヤにないか、又は現在ピクチャーが希望のスケーラブルレイヤにあり且つｔ_o、dpb（ｎ）＞ｔ_r（ｎ）である場合には、それが次のようにＤＰＢに記憶される。デコードされた現在ピクチャーが相補的な非参照フィールド対の第２フィールドであり（デコーディング順序で）、そしてその対の第１フィールドが依然ＤＰＢにある場合には、デコードされた現在ピクチャーが、その対の第１フィールドと同じフレームバッファに記憶される。さもなければ、デコードされた現在ピクチャーは、空のフレームバッファに記憶され、そしてＤＰＢの充満度が１だけ増加される。

上述した実施形態において、ピクチャーがレイヤ間予想参照について使用されるかどうか示す指示は、スライスヘッダにおいてシグナリングされる。これは、シンタックスエレメントｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇとしてシグナリングされる。この指示をシグナリングする多数の別々の方法がある。例えば、指示は、ＮＡＬユニットヘッダにおいてシグナリングすることもできるし又は他の仕方でシグナリングすることもできる。

メモリマネージメントオペレーションコマンド（ＭＭＣＯ）のシグナリングも、レイヤ間参照について未使用とマークされるべきピクチャーを識別できる限り、別の仕方で遂行することができる。例えば、シンタックスエレメントｄｅｐｅｎｄｅｎｃｙ＿ｉｄ［ｉ］は、スライスヘッダが属する現在ピクチャーのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値に対してデルタとしてコード化することができる。

上述した実施形態と、オリジナルのＤＰＢマネージメントプロセスとの間の主たる相違は、次の通りである。（１）上述した実施形態では、デコードされたピクチャーは、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇが１に等しいときにレイヤ間参照について使用とマークされる。（２）上述した実施形態におけるデコードされたピクチャーの出力プロセスは、ピクチャーが希望のスケーラブルレイヤにあるときだけ指定される。（３）上述した実施形態において「レイヤ間参照について未使用」とピクチャーをマーキングするためのプロセスは、現在ピクチャーの考えられる挿入の前にＤＰＢからピクチャーを除去する前に呼び出される。（４）上述した実施形態において現在ピクチャーの考えられる挿入の前にＤＰＢからピクチャーを除去すべき条件は、ピクチャーが「レイヤ間参照について未使用」とマークされるか、又は０に等しいｉｎｔｅｒ＿ｌａｙｅｒ＿ｒｅｆ＿ｆｌａｇを有するか、及びピクチャーが希望のスケーラブルレイヤにあるかどうか、を考慮するように、変更される。（５）ピクチャーをＤＰＢへ記憶すべき条件は、上述した実施形態において、ピクチャーが希望のスケーラブルレイヤにあるかどうかを考慮するように、変更される。

図１０は、従来の既知のシステムによりアクセスユニットにおける多数のコード化ピクチャーのための状態進化プロセスの例を示し、そして図１１は、本発明による同じ例を示す。図１０に示された従来システムのためのＤＰＢ状態進化プロセスは、次の通りである（レイヤ４がデコーディング及び再生のための希望のスケーラブルレイヤであると仮定する）。又、早期にデコードされたアクセスユニットからのピクチャーも、ＤＰＢに記憶されてもよいが、これらピクチャーは、簡単化のためにカウントされない。レイヤ０ピクチャーのデコーディング及びそれに対応するＤＰＢマネージメントプロセスの後に、ＤＰＢは、レイヤ０からのピクチャーしか含まない。レイヤ１ピクチャーのデコーディング及びそれに対応するＤＰＢマネージメントプロセスの後に、ＤＰＢは、レイヤ０及び１の各々から２つのピクチャーを含む。レイヤ２ピクチャーのデコーディング及びそれに対応するＤＰＢマネージメントプロセスの後に、ＤＰＢは、レイヤ０−２の各々から３つのピクチャーを含む。レイヤ３ピクチャーのデコーディング及びそれに対応するＤＰＢマネージメントプロセスの後に、ＤＰＢは、レイヤ０−３の各々から４つのピクチャーを含む。レイヤ４ピクチャーのデコーディング及びそれに対応するＤＰＢマネージメントプロセスの後に、ＤＰＢは、レイヤ０及び４の各々から２つのピクチャーを含む。

図１１に示されたＤＰＢ状態進化プロセスは、次の通りである（レイヤ４がデコーディング及び再生のための希望のスケーラブルレイヤであると仮定する）。又、早期にデコードされたアクセスユニットからのピクチャーも、ＤＰＢに記憶されてもよいが、これらピクチャーは、簡単化のためにカウントされない。レイヤ０ピクチャーのデコーディング及びそれに対応するＤＰＢマネージメントプロセスの後に、ＤＰＢは、レイヤ０からのピクチャーしか含まない。レイヤ１ピクチャーのデコーディング及びそれに対応するＤＰＢマネージメントプロセスの後に、ＤＰＢは、レイヤ０及び１の各々から２つのピクチャーを含む。レイヤ２ピクチャーのデコーディング及びそれに対応するＤＰＢマネージメントプロセスの後に、ＤＰＢは、レイヤ０及び２の各々から２つのピクチャーを含む。レイヤ３ピクチャーのデコーディング及びそれに対応するＤＰＢマネージメントプロセスの後に、ＤＰＢは、レイヤ０及び３の各々から２つのピクチャーを含む。レイヤ４ピクチャーのデコーディング及びそれに対応するＤＰＢマネージメントプロセスの後に、ＤＰＢは、レイヤ０及び４の各々から２つのピクチャーを含む。

図１１において明らかなように、本発明は、バッファメモリの要件を緩和することができる。図１１に示す例では、２つのデコードされたピクチャーのためのバッファメモリを節約することができる。

図１２は、ネットワークを通して通信できる多数の通信装置を備えた、本発明を利用できるシステム１０を示す。このシステム１０は、移動電話ネットワーク、ワイヤレスローカルエリアネットワーク（ＬＡＮ）、ブルーツースパーソナルエリアネットワーク、イーサネット（登録商標）ＬＡＮ、トークンリングＬＡＮ、ワイドエリアネットワーク、インターネット、等を含む（これらに限定されないが）ワイヤード又はワイヤレスネットワークの組み合せで構成することができる。システム１０は、ワイヤード及びワイヤレスの両通信装置を含んでもよい。

例示のために、図１２に示されたシステム１０は、移動電話ネットワーク１１及びインターネット２８を備えている。インターネット２８への接続は、長距離ワイヤレス接続、短距離ワイヤレス接続、及び種々のワイヤード接続を含み（これらに限定されないが）、このワイヤード接続は、電話線、ケーブルライン、電力ライン、等を含む（これらに限定されないが）。

システム１０の例示的通信装置は、移動電話１２、ＰＤＡ及び移動電話の組合せ１４、ＰＤＡ１６、一体化メッセージング装置（ＩＭＤ）１８、デスクトップコンピュータ２０、及びノートブックコンピュータ２２を含む（これらに限定されないが）。通信装置は、固定でもよいし、又は移動中の個人により携帯されるときには移動でもよい。又、通信装置は、自動車、トラック、タクシー、バス、ボート、航空機、自転車、オートバイ、等を含む（これらに限定されないが）輸送のモードに配置されてもよい。通信装置の幾つか又は全部がコール及びメッセージを送受信でき、そしてベースステーション２４へのワイヤレス接続２５を経てサービスプロバイダーと通信してもよい。ベースステーション２４は、移動電話ネットワーク１１とインターネット２８との間の通信を許すネットワークサーバー２６に接続することができる。システム１０は、付加的な通信装置、及び異なる形式の通信装置を含んでもよい。

通信装置は、コード分割多重アクセス（ＣＤＭＡ）、移動通信用のグローバルシステム（ＧＳＭ）、ユニバーサル移動テレコミュニケーションシステム（ＵＭＴＳ）、時分割多重アクセス（ＴＤＭＡ）、周波数分割多重アクセス（ＦＤＭＡ）、送信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、ｅメール、インスタントメッセージングサービス（ＩＭＳ）、ブルーツース、ＩＥＥＥ８０２．１１、等を含む（これらに限定されないが）種々の送信技術を使用して通信することができる。又、通信装置は、無線、赤外線、レーザー、ケーブル接続、等を含む（これらに限定されないが）種々のメディアを使用して通信することができる。

図１３及び１４は、本発明を実施できる１つの代表的な移動電話１２を示す。しかしながら、本発明は、１つの特定形式の移動電話１２又は他の電子装置に限定されないことを理解されたい。図１３及び１４の移動電話１２は、ハウジング３０、液晶ディスプレイの形態のディスプレイ３２、キーパッド３４、マイクロホン３６、イヤホン３８、バッテリ４０、赤外線ポート４２、アンテナ４４、本発明の一実施形態によるＵＩＣＣの形態のスマートカード４６、カードリーダー４８、無線インターフェイス回路５２、コーデック回路５４、コントローラ５６、及びメモリ５８を含む。個々の回路及びエレメントは、全て、例えば、ノキアの範囲の移動電話においてこの技術で良く知られた形式のものである。

本発明は、ネットワーク環境内でコンピュータにより実行されるプログラムコードのようなコンピュータ実行可能なインストラクションを含むプログラム製品により一実施形態で具現化される方法ステップの一般的状況において説明された。

一般に、プログラムモジュールは、特定のタスクを実行するか又は特定のアブストラクトデータ形式を具現化するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を含む。コンピュータ実行可能なインストラクション、関連データ構造、及びプログラムモジュールは、ここに開示する方法のステップを実行するためのプログラムコードの例を表わす。このような実行可能なインストラクション又は関連データ構造の特定シーケンスは、このようなステップにおいて説明されるファンクションを具現化するための対応するアクションの例を示す。

本発明のソフトウェア及びウェブの具現化は、種々のデータベースサーチステップ、相関ステップ、比較ステップ、及び判断ステップを実行するためのルールベースのロジック及び他のロジックを伴う標準的なプログラミング技術で達成することができる。又、この説明及び特許請求の範囲で使用する「コンポーネント」及び「モジュール」という語は、１行以上のソフトウェアコードを使用する具現化、及び／又はハードウェア具現化、及び／又は手動入力を受け取るための装置を包含することに注意されたい。

本発明の実施形態の以上の説明は、例示及び説明のためのものである。これは、本発明を余すところなく説明するものでもないし、又、ここに開示した正確な形態に制限するものでもなく、前記教示に鑑み又は本発明を実施することから、種々の変更や修正が可能であろう。前記実施形態は、本発明の原理及びその実際の応用を説明するために選択され、記述されたもので、当業者であれば、種々の実施形態において本発明を利用し、且つ意図された特定の用途に適するように種々の変更をなすことができるであろう。

３つの変数ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの表示値と共にスケーラブルビデオストリームの時間的セグメントを示す図である。図１に示された時間的セグメントに対する典型的な予想参照関係を示す図である。レイヤ間予想参照のために指示先オブジェクトが指示元オブジェクトを使用することを矢印で示した典型的なレイヤ間予想依存性ハイアラーキーを示す図である。レイヤ間予想のためにｓｐａｔｉａｌ＿ｌａｙｅｒ＿２のピクチャーがどのようにｂａｓｅ＿ｌａｙｅｒ＿０を使用すべく選択するかを示すフローチャートである。レイヤ間予想のためにｓｐａｔｉａｌ＿ｌａｙｅｒ＿２のピクチャーがｂａｓｅ＿ｌａｙｅｒ＿０を選択する一方、同じ時間的位置において、ＣＧＳ＿ｌａｙｅｒ＿１のピクチャーがレイヤ間予想を行なわないことを決定する実施例を示す図である。コード化モード及びモーション情報のためのレイヤ間予想がどのようにサンプル残留に対してレイヤ間予想以外のベースレイヤから到来するか例示する図である。ｓｐａｔｉａｌ＿ｌａｙｅｒ＿２のピクチャーに対して、コード化モード及びモーションのためのレイヤ間予想がどのようにＣＧＳ＿ｌａｙｅｒ＿１ピクチャーから到来し、一方、サンプル残留のためのレイヤ間予想がＦＧＳ＿ｌａｙｅｒ＿１＿０から到来するか例示する図である。コード化モード、モーション情報及びサンプル残留のためのレイヤ間予想が、全て、ＦＧＳ＿ｌａｙｅｒ＿１＿１ピクチャーから到来し、コード化モード及びモーション情報がベースクオリティレイヤから継承される実施例を示す図である。コード化モード、モーション情報及びサンプル残留のためのレイヤ間予想が、全て、ＦＧＳ＿ｌａｙｅｒ＿１＿０ピクチャーから到来し、コード化モード及びモーション情報がベースクオリティレイヤから継承される実施例を示す図である。従来の既知のシステムによりアクセスユニットにおける多数のコード化ピクチャーのための状態進化プロセスを例示する図である。本発明のシステム及び方法によりアクセスユニットにおける多数のコード化ピクチャーのための状態進化プロセスを例示する図である。本発明を実施できるシステムの概略図である。本発明の原理を組み込むことのできる電子装置の斜視図である。図１３の電子装置の回路図である。本発明のスケーラブルなコーディングハイアラーキーを適用できる共通のマルチメディアデータストリーミングシステムを示す図である。

Claims

スケーラブルビデオコーディングのためのデコードされたピクチャーのバッファを管理する方法において、
前記デコードされたピクチャーのバッファへのビットストリームにおける第１レイヤに属する第１のデコードされたピクチャーを受け取るステップと、
第２レイヤに属する第２のデコードされたピクチャーを受け取るステップと、
前記第２のデコードされたピクチャーの受け取りに鑑みレイヤ間予想参照に前記第１のデコードされたピクチャーが必要とされるかどうか決定するステップと、
レイヤ間予想参照、相互予想参照及び将来の出力に前記第１のデコードされたピクチャーがもはや必要とされない場合には、前記デコードされたピクチャーのバッファから前記第１のデコードされたピクチャーを除去するステップと、
を備えた方法。
前記ビットストリームにおいてシグナリングされるデコーディング順序での後続ピクチャーの考えられるレイヤ間予想参照の指示に関係した情報を搬送するステップを更に備えた、請求項１に記載の方法。
前記考えられるレイヤ間予想参照の指示は、スライスヘッダにおいてシグナリングされる、請求項２に記載の方法。
前記考えられるレイヤ間予想参照の指示は、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダにおいてシグナリングされる、請求項２に記載の方法。
レイヤ間予想参照に前記第１のデコードされたピクチャーが必要とされるかどうか決定する前記ステップは、前記第１のデコードされたピクチャーを「レイヤ間参照について未使用」と選択的にマークすることを含む、請求項２に記載の方法。
前記第１のデコードされたピクチャーは、前記第１のピクチャーが前記第２のピクチャーと同じアクセスユニットに属する場合に「レイヤ間参照について未使用」とマークされる、請求項５に記載の方法。
前記第１のデコードされたピクチャーが「レイヤ間参照について未使用」とマークされるかどうかの決定は、前記ビットストリームにおけるシグナリングに基づいて行なわれる、請求項６に記載の方法。
前記第１のデコードされたピクチャーは、考えられるレイヤ間予想参照が肯定であるという指示を前記第１のピクチャーが有しそして「レイヤ間参照について使用」とマークされる場合に、「レイヤ間参照について未使用」とマークされる、請求項５に記載の方法。
前記第１のデコードされたピクチャーが「レイヤ間参照について未使用」とマークされるかどうかの決定は、前記ビットストリームにおけるシグナリングに基づいて行なわれる、請求項８に記載の方法。
前記第１のデコードされたピクチャーは、前記第１のピクチャーが、前記第２のピクチャーより小さな値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ又は同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを有するが、第２のピクチャーより小さな値のｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する場合に、「レイヤ間参照について未使用」とマークされる、請求項５に記載の方法。
前記第１のデコードされたピクチャーが「レイヤ間参照について未使用」とマークされるかどうかの決定は、前記ビットストリームにおけるシグナリングに基づいて行なわれる、請求項１０に記載の方法。
前記第１のデコードされたピクチャーは、前記第１のピクチャーが「参照について未使用」とマークされるか又は非参照ピクチャーである場合、前記第１のピクチャーが「レイヤ間参照について未使用」とマークされるか又は考えられるレイヤ間予想参照が否定であるという指示を有する場合、及び前記第１のピクチャーが「非存在」とマークされ希望のスケーラブルレイヤにないか、又はそのデコードされたピクチャーのバッファの出力時間が前記第２のピクチャーのコード化ピクチャーバッファ除去時間以下である場合に、レイヤ間予想参照についてもはや必要ないと決定される、請求項２に記載の方法。
前記第１のデコードされたピクチャーが参照フレームである場合には、前記第１のデコードされたピクチャーは、その第１のデコードされたピクチャーの両フィールドが「参照について未使用」とマークされたときだけ、「参照について未使用」とマークされるとみなされる、請求項１２に記載の方法。
前記第１のデコードされたピクチャーは、その第１のデコードされたピクチャーが再生について希望のスケーラブルレイヤにない場合に、将来の出力について必要とされない、請求項１に記載の方法。
前記ビットストリームは、第１のサブビットストリーム及び第２のサブビットストリームを含み、第１のサブビットストリームは、前記第１レイヤに属するコード化ピクチャーを含み、そして第２のサブビットストリームは、前記第２レイヤのピクチャーを含む、請求項１に記載の方法。
複数のピクチャーのエンコードされたストリームをデコードするためのデコーダーにおいて、前記複数のピクチャーは、参照ピクチャー又は非参照ピクチャーとして定義され、ピクチャーのデコーディング順序及び出力順序に関する情報が、ピクチャーストリームのピクチャーに対して定義され、前記デコーダーは、請求項１に記載の方法を遂行するように構成される、デコーダー。
スケーラブルビデオコーディングのためのデコードされたピクチャーのバッファを管理するコンピュータプログラム製品において、
前記デコードされたピクチャーのバッファへのビットストリームにおける第１レイヤに属する第１のデコードされたピクチャーを受け取るためのコンピュータコードと、
第２レイヤに属する第２のデコードされたピクチャーを受け取るためのコンピュータコードと、
前記第２のデコードされたピクチャーの受け取りに鑑み、レイヤ間予想参照に前記第１のデコードされたピクチャーが必要とされるかどうか決定するためのコンピュータコードと、
レイヤ間予想参照、相互予想参照及び将来の出力に前記第１のデコードされたピクチャーがもはや必要とされない場合には、前記デコードされたピクチャーのバッファから前記第１のデコードされたピクチャーを除去するためのコンピュータコードと、
を備えたコンピュータプログラム製品。
前記ビットストリームにおいてシグナリングされるデコーディング順序での後続ピクチャーの考えられるレイヤ間予想参照の指示に関係した情報を搬送するためのコンピュータコードを更に備えた、請求項１７に記載のコンピュータプログラム製品。
前記考えられるレイヤ間予想参照の指示は、スライスヘッダにおいてシグナリングされる、請求項１８に記載のコンピュータプログラム製品。
前記考えられるレイヤ間予想参照の指示は、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダにおいてシグナリングされる、請求項１８に記載のコンピュータプログラム製品。
レイヤ間予想参照に前記第１のデコードされたピクチャーが必要とされるかどうかの前記決定は、前記第１のデコードされたピクチャーを「レイヤ間参照について未使用」と選択的にマークすることを含む、請求項１８に記載のコンピュータプログラム製品。
前記第１のデコードされたピクチャーは、前記第１のピクチャーが前記第２のピクチャーと同じアクセスユニットに属する場合に「レイヤ間参照について未使用」とマークされる、請求項２１に記載のコンピュータプログラム製品。
前記第１のデコードされたピクチャーが「レイヤ間参照について未使用」とマークされるかどうかの決定は、前記ビットストリームにおけるシグナリングに基づいて行なわれる、請求項２２に記載のコンピュータプログラム製品。
前記第１のデコードされたピクチャーは、考えられるレイヤ間予想参照が肯定であるという指示を前記第１のピクチャーが有しそして「レイヤ間参照について使用」とマークされる場合に、「レイヤ間参照について未使用」とマークされる、請求項２１に記載のコンピュータプログラム製品。
前記第１のデコードされたピクチャーが「レイヤ間参照について未使用」とマークされるかどうかの決定は、前記ビットストリームにおけるシグナリングに基づいて行なわれる、請求項２４に記載のコンピュータプログラム製品。
前記第１のデコードされたピクチャーは、前記第１のピクチャーが、前記第２のピクチャーより小さな値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ又は同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを有するが、第２のピクチャーより小さな値のｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する場合に、「レイヤ間参照について未使用」とマークされる、請求項２１に記載のコンピュータプログラム製品。
前記第１のデコードされたピクチャーが「レイヤ間参照について未使用」とマークされるかどうかの決定は、前記ビットストリームにおけるシグナリングに基づいて行なわれる、請求項２６に記載のコンピュータプログラム製品。
前記第１のデコードされたピクチャーは、前記第１のピクチャーが「参照について未使用」とマークされるか又は非参照ピクチャーである場合、前記第１のピクチャーが「レイヤ間参照について未使用」とマークされるか又は考えられるレイヤ間予想参照が否定であるという指示を有する場合、及び前記第１のピクチャーが「非存在」とマークされ希望のスケーラブルレイヤにないか、又はそのデコードされたピクチャーのバッファの出力時間が前記第２のピクチャーのコード化ピクチャーバッファ除去時間以下である場合に、レイヤ間予想参照についてもはや必要ないと決定される、請求項１７に記載のコンピュータプログラム製品。
前記第１のデコードされたピクチャーが参照フレームである場合には、前記第１のデコードされたピクチャーは、その第１のデコードされたピクチャーの両フィールドが「参照について未使用」とマークされたときだけ、「参照について未使用」とマークされるとみなされる、請求項２８に記載のコンピュータプログラム製品。
前記第１のデコードされたピクチャーは、その第１のデコードされたピクチャーが再生について希望のスケーラブルレイヤにない場合に、将来の出力について必要とされない、請求項１６に記載のコンピュータプログラム製品。
前記ビットストリームは、第１のサブビットストリーム及び第２のサブビットストリームを含み、第１のサブビットストリームは、前記第１レイヤに属するコード化ピクチャーを含み、そして第２のサブビットストリームは、前記第２レイヤのピクチャーを含む、請求項１６に記載のコンピュータプログラム製品。
プロセッサと、
前記プロセッサに作動的に接続され、スケーラブルビデオコーディングのためのデコードされたピクチャーのバッファを管理するコンピュータプログラム製品を含むメモリと、
を備え、前記コンピュータプログラム製品は、
前記デコードされたピクチャーのバッファへのビットストリームにおける第１レイヤに属する第１のデコードされたピクチャーを受け取るためのコンピュータコードと、
第２レイヤに属する第２のデコードされたピクチャーを受け取るためのコンピュータコードと、
前記第２のデコードされたピクチャーの受け取りに鑑み、レイヤ間予想参照に前記第１のデコードされたピクチャーが必要とされるかどうか決定するためのコンピュータコードと、
レイヤ間予想参照、相互予想参照及び将来の出力に前記第１のデコードされたピクチャーがもはや必要とされない場合には、前記デコードされたピクチャーのバッファから前記第１のデコードされたピクチャーを除去するためのコンピュータコードと、
を含むものである、電子装置。
前記メモリユニットは、前記ビットストリームにおいてシグナリングされるデコーディング順序での後続ピクチャーの考えられるレイヤ間予想参照の指示に関係した情報を搬送するためのコンピュータコードを更に備えた、請求項３２に記載の電子装置。
前記考えられるレイヤ間予想参照の指示は、スライスヘッダにおいてシグナリングされる、請求項３３に記載の電子装置。
前記考えられるレイヤ間予想参照の指示は、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダにおいてシグナリングされる、請求項３３に記載の電子装置。
レイヤ間予想参照に前記第１のデコードされたピクチャーが必要とされるかどうかの前記決定は、前記第１のデコードされたピクチャーを「レイヤ間参照について未使用」と選択的にマークすることを含む、請求項３３に記載の電子装置。
前記第１のデコードされたピクチャーは、前記第１のピクチャーが前記第２のピクチャーと同じアクセスユニットに属する場合に「レイヤ間参照について未使用」とマークされる、請求項３６に記載の電子装置。
前記第１のデコードされたピクチャーが「レイヤ間参照について未使用」とマークされるかどうかの決定は、前記ビットストリームにおけるシグナリングに基づいて行なわれる、請求項３７に記載の電子装置。
前記第１のデコードされたピクチャーは、考えられるレイヤ間予想参照が肯定であるという指示を前記第１のピクチャーが有しそして「レイヤ間参照について使用」とマークされる場合に、「レイヤ間参照について未使用」とマークされる、請求項３６に記載の電子装置。
前記第１のデコードされたピクチャーが「レイヤ間参照について未使用」とマークされるかどうかの決定は、前記ビットストリームにおけるシグナリングに基づいて行なわれる、請求項３９に記載の電子装置。
前記第１のデコードされたピクチャーは、前記第１のピクチャーが、前記第２のピクチャーより小さな値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ又は同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを有するが、第２のピクチャーより小さな値のｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する場合に、「レイヤ間参照について未使用」とマークされる、請求項３６に記載の電子装置。
前記第１のデコードされたピクチャーが「レイヤ間参照について未使用」とマークされるかどうかの決定は、前記ビットストリームにおけるシグナリングに基づいて行なわれる、請求項４１に記載の電子装置。
前記第１のデコードされたピクチャーは、前記第１のピクチャーが「参照について未使用」とマークされるか又は非参照ピクチャーである場合、前記第１のピクチャーが「レイヤ間参照について未使用」とマークされるか又は考えられるレイヤ間予想参照が否定であるという指示を有する場合、及び前記第１のピクチャーが「非存在」とマークされ希望のスケーラブルレイヤにないか、又はそのデコードされたピクチャーのバッファの出力時間が前記第２のピクチャーのコード化ピクチャーバッファ除去時間以下である場合に、レイヤ間予想参照についてもはや必要ないと決定される、請求項３６に記載の電子装置。
前記第１のデコードされたピクチャーが参照フレームである場合には、前記第１のデコードされたピクチャーは、その第１のデコードされたピクチャーの両フィールドが「参照について未使用」とマークされたときだけ、「参照について未使用」とマークされるとみなされる、請求項４３に記載の電子装置。
前記第１のデコードされたピクチャーは、その第１のデコードされたピクチャーが再生について希望のスケーラブルレイヤにない場合に、将来の出力について必要とされない、請求項３２に記載の電子装置。
前記ビットストリームは、第１のサブビットストリーム及び第２のサブビットストリームを含み、第１のサブビットストリームは、前記第１レイヤに属するコード化ピクチャーを含み、そして第２のサブビットストリームは、前記第２レイヤのピクチャーを含む、請求項３２に記載の電子装置。
前記電子装置は、考えられる参照及びメモリ管理制御オペレーションを指示するためのシンタックスエレメントをビットストリームから読み取るように構成されたデコーダーを備えた、請求項３２に記載の電子装置。
ピクチャーのエンコードされたストリームを形成するためのエンコーダーにおいて、ピクチャーは、参照ピクチャー又は非参照ピクチャーとして定義され、ピクチャーのデコーディング順序及び出力順序に関する情報がストリームにおけるピクチャーについて定義され、前記エンコーダーは、考えられる参照及びメモリ管理制御オペレーションを指示するためのシンタックスエレメントをビットストリームに入れ、そのシンタックスエレメントは、請求項３２に記載の電子装置により発生される、エンコーダー。
第２レイヤの第２のデコードされたピクチャーに鑑み前記デコードされたピクチャーのバッファから第１レイヤの第１のデコードされたピクチャーを選択的に除去するための指示を与えるシンタックスエレメントを備えた、ビットストリーム。
請求項４８に記載のビットストリームを発生するエンコーダーを実施するコンピュータ装置。
第２レイヤの第２のデコードされたピクチャーに鑑み前記デコードされたピクチャーのバッファから第１レイヤの第１のデコードされたピクチャーを選択的に除去するための指示を与えるシンタックスエレメントを備え、このシンタックスエレメントが請求項１に記載の方法によりセットされる、ビットストリーム。
スケーラブルビデオコーディングのためのデコードされたピクチャーのバッファを管理する方法において、
前記デコードされたピクチャーのバッファへのビットストリームにおける第１レイヤに属する第１のデコードされたピクチャーを受け取るステップと、
第２レイヤに属する第２のデコードされたピクチャーを受け取るステップと、
前記第２のデコードされたピクチャーの受け取りに鑑み、レイヤ間予想参照、相互予想参照及び将来の出力に前記第１のデコードされたピクチャーが必要とされるかどうか決定するステップと、
レイヤ間予想参照、相互予想参照及び将来の出力に前記第１のデコードされたピクチャーがもはや必要とされない場合には、前記デコードされたピクチャーのバッファから前記第１のデコードされたピクチャーを除去するステップと、
を備えた方法。