JP2014531853A - 参照ピクチャリストの取り扱い - Google Patents

Abstract

【課題】参照ピクチャ取り扱いの効率的な解決法を提供する。【解決手段】第１の態様に係るエンコーダによって実行される方法では、現在ピクチャのためのバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグがシグナル通知される。１−ビットフラグは、参照ピクチャが参照ピクチャのリストに組み込まれるべきであるか、または、参照ピクチャのリストに組み込まれるべきではないことをデコーダに明示的に指示するためにセットされる。参照ピクチャのリストは、現在ピクチャを復号化するためどちらのピクチャが使用できるかを指示する。【選択図】図２

Description

本実施形態は、概して、映像符号化および復号化、詳しくは、このような映像符号化および復号化における参照ピクチャの取り扱いに関する。

高効率映像符号化（ＨＥＶＣ）は、共同研究部会−映像符号化（ＪＣＴ−ＶＣ）において現在開発中の新しい映像符号化標準である。ＪＣＴ−ＶＣは、動画像専門家グループ（ＭＰＥＧ）と国際電気通信連合−電位通信標準化部門（ＩＴＵ−Ｔ）との間の共同プロジェクトである。現在のところ、ある程度の数の新しいツールを含み、Ｈ．２６４／最新映像符号化（ＡＶＣ）よりかなり効率的であるＨＥＶＣモデル（ＨＭ）が規定されている。

ＨＥＶＣにおけるピクチャは、１つ以上のスライスに区分化され、各スライスは、独立に復号化可能なピクチャのセグメントである。すなわち、スライスが欠けている場合、たとえば、伝送中に失われた場合、このピクチャの他のスライスは、それにもかかわらず、正確に復号化される可能性がある。スライスを独立にするために、スライスは、互いに依存しない。同じピクチャの別のスライスのビットストリーム要素は、ある特殊なスライスのいかなる要素を復号化するためにも必要とされることがない。

各スライスは、スライスが独立に復号化可能であるため必要な全てのデータを独立に提供するスライスヘッダを含んでいる。スライスヘッダに存在するデータ要素の一例は、デコーダがこのスライスの空間的位置を知るために使用されるスライスアドレスである。別の例は、スライスの開始のため使用すべき量子化パラメータが何であるかを知るためにデコーダによって使用されるスライス量子化デルタである。スライスヘッダには、より一層多くのデータ要素が存在する。

ＨＥＶＣは、現在ピクチャの復号化のため使用される予め復号化されたピクチャである参照ピクチャを取り扱う仕組みを有している。ＨＥＶＣにおける参照ピクチャは、「参照用」としてマーク付けされることにより参照のため利用可能である復号化ピクチャバッファ（ＤＰＢ）内のピクチャである。参照ピクチャとして使用されるピクチャは、参照ピクチャリストに組み込まれ、ＨＥＶＣのための参照ピクチャリストは、Ｈ．２６４における参照ピクチャリストに類似する。参照ピクチャリストは、その後、現在ピクチャ内の現在スライスの復号化プロセスで使用される。

ＨＥＶＣは、各ピクチャに対して、ピクチャが属している時間レイヤに対応するｔｅｍｐｏｒａｌ＿ｉｄも規定する。時間レイヤは、順序付けされ、上位時間レイヤが下位時間レイヤの復号化に影響を与えることなく除去される可能性がある時間的スケーラビリティのため使用される。すなわち、時間レイヤＡが時間レイヤＢより上位である場合、時間レイヤＡに属しているピクチャは、予測のため時間レイヤＢからのピクチャを使用する可能性があるが、時間レイヤＢに属しているピクチャは、予測のため時間レイヤＡからのピクチャを使用する可能性がない。ＨＥＶＣでは、以前の規格、たとえば、Ｈ．２６４の場合のように相対的な方式で参照ピクチャ修正をシグナル通知する代わりに、参照ピクチャの絶対シグナリングを使用することが提案される。絶対シグナリングは、ピクチャ毎に明示的にどんな参照ピクチャを維持すべきかをバッファ記述でデコーダにシグナル通知することにより、または、シーケンス・パラメータ・セット（ＳＰＳ）への参照を通じてこれらをシグナル通知することにより実現される。バッファ記述は、参照ピクチャセット（ＲＰＳ）と呼ばれることもある。

ピクチャ順序カウント（ＰＯＣ）は、ピクチャの表示順序を規定し、そして、参照ピクチャを識別するためにもＨＥＶＣにおいて使用される。ＨＥＶＣの最初の草案では、ＰＯＣだけではなく、ｔｅｍｐｏｒａｌ＿ｉｄもまたバッファ記述で各参照ピクチャに対してシグナル通知された。バッファ記述中のＰＯＣおよびｔｅｍｐｏｒａｌ＿ｉｄの値は、これが参照している参照ピクチャのスライスヘッダでシグナル通知されたＰＯＣおよびｔｅｍｐｏｒａｌ＿ｉｄの値と同一でなければならない。ｔｅｍｐｏｒａｌ＿ｉｄは、バッファ記述に含まれている参照ピクチャに対するバッファ記述復号化プロセス中に使用されるが、利用できないか、または、復号化ピクチャバッファ内に存在するピクチャが意図せずに失われたか、または、正しく削除されたことが推定された場合に復号化ピクチャバッファ（復号化ピクチャを格納している）で利用できない。バッファ記述中の参照ピクチャが現在ピクチャのｔｅｍｐｏｒａｌ＿ｉｄより上位であるｔｅｍｐｏｒａｌ＿ｉｄを有する場合、このピクチャは、正しく削除されたと判断され、復号化プロセスが継続する可能性があり、そうでなければ、このピクチャは、意図的ではなく失われたと判断され、現在ピクチャは、正確に復号化できない可能性がある。

欠けているピクチャが意図せずに失われたか、または、正しく削除されたかを推定するプロセスは、実際のバッファ記述復号化プロセスとは無関係であり、バッファ記述復号化プロセスの前後にかかわらず実行され得ることに注意するべきである。

ｔｅｍｐｏｒａｌ＿ｉｄは、参照ピクチャリスト構築プロセスでも使用される。現在フレームの時間レイヤより上位の時間レイヤに属している参照ピクチャは、現在ピクチャの参照ピクチャリストに組み込まれない。
ＨＥＶＣにおいて提案されるような上位レベルでの復号化プロセスの概略図は、図１に見られる。

本発明の実施形態は、参照ピクチャ取り扱いの効率的な解決法を提供する。

前述のとおり、ＨＥＶＣの以前の草案では、ｔｅｍｐｏｒａｌ＿ｉｄは、時間レイヤの数に依存して、最大で３ビットまでを使用して各バッファ記述でピクチャ毎にシグナル通知された。ＤＰＢ（復号化ピクチャバッファ）内で利用できないピクチャに対して、バッファ記述からのｔｅｍｐｏｒａｌ＿ｉｄは、ピクチャが正しく削除されたか、または、意図せずに失われたかを推定するために使用された。

ｔｅｍｐｏｒａｌ＿ｉｄが２ビット以上を用いてシグナル通知されたとき、冗長性が存在する。たとえば、レイヤ０のピクチャを復号化するとき、ある特定の参照ピクチャが時間レイヤ１または２に属しているか否かは、ピクチャが正しく削除されたか、または、意図せずに失われたかを推定するために問題とならない。唯一の重要な情報は、このピクチャが上位レイヤにあるか否かであり、なぜならば、これがまさにピクチャが正しく削除されたか、または、意図せずに失われたかを推定するために必要な情報であるからである。

本発明の実施形態によれば、参照ピクチャが参照ピクチャのリストに組み込まれるべきであるか否かをデコーダに明示的に指示するためにセットされた１−ビットフラグが提供される。

従って、本発明の実施形態の第１の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化する方法が提供される。この方法では、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグが符号化され、ここで、１−ビットフラグは、参照ピクチャが参照ピクチャのリストに組み込まれるべきか否かをデコーダに明示的に指示するためにセットされる。参照ピクチャのリストは、現在ピクチャを復号化するときにどちらのピクチャが参照のため使用される可能性があるかを示している。

本発明の実施形態の第２の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化する方法が提供される。この方法では、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグが復号化される。１−ビットフラグは、現在ピクチャを復号化するときにどちらのピクチャが参照のため使用される可能性があるかを指示する参照ピクチャのリストに参照ピクチャが組み込まれるべきか否かをデコーダに明示的に指示する。

本発明の実施形態の第３の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化するエンコーダが提供される。エンコーダは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグを符号化するように構成され、エンコーダは、参照ピクチャが参照ピクチャのリストに組み込まれるべきか否かをデコーダに明示的に指示するために１−ビットフラグをセットするように構成されているプロセッサを備える。参照ピクチャのリストは、現在ピクチャを復号化するときにどちらのピクチャが参照のため使用される可能性があるかを指示している。

本発明の実施形態の第４の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダが提供される。デコーダは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグを復号化するように構成されている。１−ビットフラグは、参照ピクチャが参照ピクチャのリストに組み込まれるべきか否かをデコーダに明示的に指示し、ここで、参照ピクチャのリストは、現在ピクチャを復号化するときにどちらのピクチャが参照のため使用される可能性があるかを指示する。さらに、デコーダは、参照ピクチャが参照ピクチャのリストに組み込まれるべきか否かを決定するために１−ビットフラグを使用するように構成されているプロセッサを備える。

第５の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化するエンコーダが提供される。エンコーダは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグを符号化するように構成されている。エンコーダは、フラグがこの参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報と同じまたは下位である場合に参照ピクチャは参照ピクチャリストに組み込まれるべきであることを指示するように、かつ、フラグがこの参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合に参照ピクチャは参照ピクチャリストから除外されることを指示するように、各参照ピクチャのレイヤ識別情報と現在ピクチャのレイヤ識別情報との間の比較に従って１−ビットフラグをセットするように構成されているプロセッサを備える。

第６の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダが提供される。デコーダは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグを復号化するように構成されている。デコーダは、復号化ピクチャバッファ内の対応する参照ピクチャが欠けているバッファ記述中の各参照ピクチャに対する１−ビットフラグをチェックするように構成されているプロセッサを備え、１−ビットフラグが参照ピクチャは参照ピクチャリストに組み込まれていることを指示している場合、プロセッサは、ピクチャが意図せずに失われているという結論を出すように構成されている。

本発明の実施形態の利点は、バッファ記述中のピクチャ毎に３ビットが費やされ、かつ、１ビットまで削減される可能性があると仮定すると、バッファ記述の明示的なシグナリングが使用された場合、Ｎがバッファ記述に記述された参照ピクチャの個数であるとして、１スライス当たりに２＊Ｎビットのビット節約が実現される可能性があることである。それ故に、本発明の実施形態は、バッファ記述中のピクチャがＤＰＢ内に厳密に存在すべきか否かをシグナル通知するための冗長性が削除される解決法を提供する。すなわち、参照ピクチャが正しく削除されたか、または、意図せずに失われたかに関する情報が最大３ビットではなく、高々１ビットによって指示される。

実施形態の利点は、エンコーダがフラグの値に零をセットすることにより参照ピクチャリストから同一または下位時間レイヤに属しているある特定のピクチャを除外することを選ぶ可能性があり、このことは、参照ピクチャリスト修正をシグナル通知する必要性を削除する可能性もあり、従って、参照ピクチャインデックスをシグナル通知するため必要なビットレートを削減し、および／または、ビット数を削減することである。

従来技術によるＨＥＶＣにおいて提案されるような上位レベルでの復号化プロセスの概略図である。 本発明の実施形態に係るエンコーダおよびデコーダにおける方法を示すフローチャートである。 本発明の実施形態に係るエンコーダを示す図である。 本発明の実施形態に係るデコーダを示す図である。

実施形態は、どちらのピクチャが現在ピクチャを復号化するため使用されるかについて記載する参照ピクチャリスト（参照ピクチャのリストとも呼ばれる）の取り扱いに関係する。実施形態では、エンコーダは、１−ビットフラグ（２つの可能な値を有している）を使用することにより参照ピクチャが参照ピクチャリストに組み込まれるべきか否かをデコーダに明示的に指示し、ここで、参照ピクチャリストは、現在ピクチャを復号化するときにどちらのピクチャが参照のため使用される可能性があるかを指示する。

その結果、参照ピクチャリストは、現在ピクチャを復号化するときに参照のため使用される可能性があるピクチャのリストであり、参照ピクチャリストは、デコーダで記憶される。ピクチャは、ＰＯＣによって定義される。しかし、リストに組み込まれたピクチャは、参照のため使用されることを要求されないが、リストに組み込まれていないピクチャは、現在ピクチャを復号化するときに参照のため使用されることが許可されない。

参照ピクチャセット（ＲＰＳ）とも呼ばれるバッファ記述は、ビットストリームでエンコーダからデコーダにシグナル通知され、バッファ記述は、参照ピクチャと各参照ピクチャに対する１−ビットフラグとを備える。１−ビットフラグは、バッファ記述中の参照ピクチャ毎にこれが参照ピクチャリストに組み込まれるべきか否かを明示的に指示する。

第１の態様に係るエンコーダによって実行される方法では、１−ビットフラグがシグナル通知され、ここで、１−ビットフラグは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている。これは、図２に示され、ここで、参照ピクチャが参照ピクチャのリストに組み込まれるべきか否かをデコーダに明示的に指示するために１−ビットフラグ２２０がセットされる（２００）。

一実施形態によれば、１−ビットフラグは、現在ピクチャのレイヤより上位レイヤからの参照ピクチャがリストに組み込まれないようにセットされる（２０１ａ）。従って、エンコーダのプロセッサは、参照ピクチャのレイヤ識別情報が現在ピクチャより上位である場合、参照ピクチャが参照ピクチャリストに組み込まれるべきでないことを明示的に指示するために１−ビットフラグをいつでもセットするように構成されている。本実施形態では、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位であると決定され（２００）、１−ビットフラグは、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合、参照ピクチャが参照ピクチャリストに組み込まれるべきでないことを明示的に指示するようにセットされる（２０１ａ）。

さらなる実施形態によれば、１−ビットフラグは、少なくとも参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位である場合、参照ピクチャが参照ピクチャリストに組み込まれるべきであることを明示的に指示するようにセットされる（２０１ｂ）。

これは、少なくとも参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位である場合、１つの参照ピクチャが参照ピクチャリストに組み込まれるべきであることを明示的に指示するために１−ビットフラグに「１」をセットし（２０１ｂ）、少なくとも参照ピクチャのレイヤ識別情報が現在ピクチャより上位である場合、１つの参照ピクチャが参照ピクチャリストに組み込まれるべきでないことを明示的に指示するために１−ビットフラグに「０」をセットすることにより（２０１ａ）行われる可能性がある。

さらなる実施形態によれば、１−ビットフラグは、参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位であり、かつ、別の条件が満たされた場合、参照ピクチャが参照ピクチャリストに組み込まれるべきであることを明示的に指示するようにセットされる（２０１ｃ）。これは、レイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合、参照ピクチャが組み込まれることが決して許可されるべきでないが、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報と同じまたは下位である場合、エンコーダは、別の条件に従って、参照ピクチャが組み込まれるべきであるか否かを選び、それに応じてフラグをセットする可能性があることを意味する。この別の条件の実施例は、特定値より大きい（ベース）量子化パラメータを持つピクチャを除外することである。

現在ピクチャに対するバッファ記述２１０中の参照ピクチャに関連付けられている１−ビットフラグ２２０は、符号化され（２０２）、デコーダに送信される。１−ビットフラグ２２０は、スライスヘッダ、または、シーケンス・パラメータ・セットもしくはピクチャ・パラメータ・セットのようなパラメータ・セットにおいて符号化される可能性がある。シーケンス・パラメータ・セットは、２つ以上のピクチャに対する情報を格納する。

図２にさらに関連して、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化する方法が提供される。現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグがエンコーダから受信され、その後、復号化される（２０３）。デコーダは、スライスヘッダにおいて、または、シーケンス・パラメータ・セットのようなパラメータ・セットにおいて１−ビットフラグを復号化するように構成されることがある。

１−ビットフラグは、現在ピクチャを復号化するときにどちらのピクチャが参照のため使用される可能性があるかを指示する参照ピクチャのリストに参照ピクチャが組み込まれるべきか否かをデコーダに明示的に指示する。１−ビットフラグは、参照ピクチャが参照ピクチャのリストに組み込まれるべきであるか否かを決定するために使用される（２０４）。

実施形態によれば、１−ビットフラグの一方の値は、参照ピクチャのレイヤ識別情報が現在ピクチャより上位であるとき、参照ピクチャが参照ピクチャリストに組み込まれるべきでないことを明示的に指示する。別の実施形態では、１−ビットフラグの一方の値は、参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位である場合、１つの参照ピクチャが参照ピクチャリストに組み込まれるべきであることを明示的に指示する。

これらの実施形態は、「１」にセットされた１−ビットフラグが１つの参照ピクチャが参照ピクチャリストに組み込まれるべきことを明示的に指示し、「０」にセットされた１−ビットフラグが１つの参照ピクチャが参照ピクチャリストに組み込まれるべきでないことを明示的に指示することによって実証される可能性がある。

実施形態の別の態様に係るエンコーダ３００は、図３に示されるように、バッファ記述中の各参照ピクチャに対する１−ビットフラグ２２０にエンコーダ３００によって決定されたとおりの値がセットされるバッファ記述を作成し、シグナル通知するように構成されている。すなわち、エンコーダは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグ２２０を符号化するように構成され、ここで、１−ビットフラグは、参照リストがどちらのピクチャが現在ピクチャを復号化するため使用される可能性があるかを指示する参照ピクチャのリストに組み込まれるべきか否かをデコーダに明示的に指示するためにセットされる。エンコーダ３００は、バッファ記述を作成し、参照ピクチャが参照ピクチャのリストに組み込まれるべきか否かを明示的に指示するような１−ビットフラグ２２０をセットするように構成されているプロセッサ３０２を備える。エンコーダ３００は、参照ピクチャに関連がある情報のようなピクチャ関連情報およびレイヤ情報を記憶するメモリ３０１をさらに備えることがある。さらに、エンコーダ３００は、スライスヘッダにおいて、または、シーケンス・パラメータ・セットのようなパラメータ・セットにおいて１−ビットフラグ２２０を符号化するように構成されることがある。

一実施形態によれば、１−ビットフラグ２２０は、現在ピクチャと比べて上位レイヤからの参照ピクチャがリストに組み込まれないようにセットされる。従って、エンコーダは、現在ピクチャのレイヤと比べて上位時間レイヤからの参照ピクチャが参照ピクチャリストに組み込まれないように１−ビットフラグの値をいつでもセットするように制限される。このことは、プロセッサ３０２が参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位であるか否かを決定し、本実施形態によれば、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合、参照ピクチャが参照ピクチャリストに組み込まれるべきでないことを明示的に指示するように１−ビットフラグをセットするようにさらに構成されていることを意味する。

プロセッサ３０２は、少なくとも参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位である場合、参照ピクチャが参照ピクチャリストに組み込まれるべきであることを明示的に指示するように１−ビットフラグをセットするようにさらに構成されている。

さらなる実施形態によれば、プロセッサ３０２は、１つの参照ピクチャが参照ピクチャリストに組み込まれるべきであることを明示的に指示するために１−ビットフラグに「１」をセットし、１つの参照ピクチャが参照ピクチャリストに組み込まれるべきでないことを明示的に指示するために１−ビットフラグに「０」をセットするように構成されている。

上述のとおり、参照ピクチャは、レイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合、組み込まれることが決して許可されるべきでない。参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報と同じまたは下位である場合、エンコーダは、それに応じてフラグをセットすることにより参照ピクチャが組み込まれるべきであるか否かを選ぶ可能性がある。この場合、プロセッサ３０２は、参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位であり、かつ、別の条件が満たされる場合、参照ピクチャが参照ピクチャリストに組み込まれるべきであることを明示的に指示するように１−ビットフラグをセットするようにさらに構成されている。

デコーダは、参照ピクチャリスト２３０を作成するために１−ビットフラグ２２０によって提供された情報を使用する。それ故に、上述の実施形態に従って実行するデコーダは、スライスヘッダを復号化するように構成されている。バッファ記述中の各参照ピクチャに対する１−ビットフラグ２２０を含むバッファ記述は、スライスヘッダ中の構文要素から、および／または、ことによるとアクティブ状態のシーケンス・パラメータ・セットから復号化される。ピクチャマーキングは、その後、バッファ記述を使用して実行される。

さらなる態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダが図４に示されるように提供される。デコーダ４００は、現在ピクチャに対するバッファ記述中の１つずつの関連付けられている参照ピクチャのための１−ビットフラグ２２０を受信するように構成され、デコーダ４００は、参照ピクチャが参照ピクチャのリスト２３０に組み込まれるべきか否かをデコーダに明示的に指示する１−ビットフラグ２２０を復号化するように構成されているプロセッサ４０２を備える。さらに、プロセッサ４０２は、参照ピクチャが参照ピクチャのリストに組み込まれるべきか否かを決定するために１−ビットフラグを使用するように構成されている。

図４に示されるように、参照ピクチャセットとも呼ばれるバッファ記述２１０は、参照ピクチャｒｅｆ ｐｉｃ １、ｒｅｆ ｐｉｃ ２などを格納し、各参照ピクチャに対して、参照ピクチャが参照ピクチャリスト２３０に組み込まれるべきか否かを指示するそれぞれの１−ビットフラグｆｌａｇ １、ｆｌａｇ ２などが存在する。

さらに、一実施形態によれば、デコーダは、１−ビットフラグの一方の値が１つの参照ピクチャは参照ピクチャリストに組み込まれるべきでないことを明示的に指示するものと解釈するように構成されているプロセッサ４０２を備える。プロセッサ４０２は、１−ビットフラグの一方の値が１つの参照ピクチャは参照ピクチャリストに組み込まれるべきであることを明示的に指示するものと解釈するようにさらに構成されることがある。

各ピクチャがレイヤ識別情報によって識別されたレイヤに属している別の実施形態によれば、プロセッサ４０２は、「１」がセットされた１−ビットフラグが１つの参照ピクチャは参照ピクチャリストに組み込まれるべきであることを明示的に指示し、「０」がセットされた１−ビットフラグが１つの参照ピクチャは参照ピクチャリストに組み込まれるべきでないことを明示的に指示するものと解釈するように構成されている。

さらなる実施形態によれば、プロセッサ４０２は、スライスヘッダにおいて、または、パラメータ・セットにおいて１−ビットフラグを復号化するように構成されている。

上述の実施形態において記載されているように、現在ピクチャのレイヤ識別情報より上位であるレイヤ識別情報を有している参照ピクチャは、参照ピクチャのリストに決して組み込まれるべきでない。このことは、欠けているピクチャに対して、１−ビットフラグは、ピクチャが意図せずに失われたか否かを決定するためにデコーダによってさらに使用される可能性があることを意味する。

フラグが意図せずに失われたピクチャが存在しないことを検証するためにバッファ記述中の各ピクチャに対して使用されるときのデコーダにおける手続きが以下に記載される。従って、参照ピクチャが参照ピクチャリストに組み込まれるべきか否かについて結論を出すために１−ビットフラグの値をチェックするステップを含めて、参照ピクチャリストが作成される。欠けているピクチャに対して、１−ビットフラグは、ピクチャが意図せずに失われたか否かを決定するためにさらに使用される可能性がある。１−ビットフラグの一方の値は、参照ピクチャが現在ピクチャと同じであるか、または、より下位のレイヤ識別情報を有していることを指示し、このことは、欠けている参照ピクチャが意図せずに失われたことを指示する。１−ビットフラグの別の値は、ピクチャが正しく削除されている可能性があること、すなわち、欠けている参照ピクチャが現在ピクチャより上位のレイヤ識別情報を有しているときを示す。参照ピクチャリスト構築を含む残りの復号化プロセスは、影響を受けない。

図４にさらに関連して、本発明の実施形態の第５の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダ４００が提供される。デコーダ４００は、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグ２２０を復号化するように構成されている。デコーダ４００は、復号化ピクチャバッファ内の対応する参照ピクチャが欠けているバッファ記述中の各参照ピクチャに対する１−ビットフラグの値をチェックするように構成されているプロセッサを備え、１−ビットフラグの値が参照ピクチャは参照ピクチャリストに組み込まれるべきであることを指示している場合、プロセッサは、参照ピクチャが意図せずに失われたという結論を出すように構成されている。

それ故に、デコーダは、実施形態に係るピクチャを復号化するために以下のステップを実行するように構成されることがある。

●スライスヘッダが復号化される。
●バッファ記述中の各参照ピクチャに対するフラグを含むバッファ記述は、スライスヘッダにおける構文要素から、および、おそらくピクチャ・パラメータ・セットまたはシーケンス・パラメータ・セットのようなアクティブ状態のパラメータ・セットから復号化される。
●ピクチャマーキングは、バッファ記述を使用して実行される。
●バッファ記述中の各ピクチャに対して、フラグは、本実施形態では、意図せずに失われたピクチャが存在しないことを検証するために使用される。
●参照ピクチャが参照ピクチャリストに組み込まれるべきであるか否かについて結論を出すために参照ピクチャのｔｅｍｐｏｒａｌ＿ｉｄを現在ピクチャのｔｅｍｐｏｒａｌ＿ｉｄと比較するステップを含めて、参照ピクチャリストが作成される。その結果、フラグは、どちらの参照ピクチャが参照ピクチャリストに組み込まれるべきであるかをフラグの値に基づいて決定することにより参照ピクチャリストを作成するために使用される。
●ピクチャが復号化される。

さらなる代替案によれば、参照ピクチャリスト構築プロセスは、ピクチャが参照ピクチャリスト（群）に組み込まれているか否かを決定するために、ｔｅｍｐｏｒａｌ＿ｉｄによって実証された参照ピクチャのレイヤ識別情報が現在ピクチャのｔｅｍｐｏｒａｌ＿ｉｄともはやこれ以上比較されないように変更される。現在ピクチャのｔｅｍｐｏｒａｌ＿ｉｄより上位のｔｅｍｐｏｒａｌ＿ｉｄを有する参照ピクチャが参照ピクチャリストに組み込まれることが決して許可されないことに注意すべきである。その代わりに、上記１−ビットフラグは、ピクチャが意図せずに失われたか、または、ピクチャが正しく除去されたかを指示し、参照ピクチャが現在ピクチャと同じ時間レイヤまたはより下位に属していることを表現する値がフラグの値にセットされた場合に限り、参照ピクチャが組み込まれるように使用される。

図３にさらに関連して、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化するエンコーダ３００が提供される。エンコーダは、現在ピクチャに対するバッファ記述２１０中の参照ピクチャに関連付けられている１−ビットフラグ２２０を符号化するために構成されている。エンコーダは、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報と同じまたは下位である場合にフラグが参照ピクチャは参照ピクチャリストに含まれるべきであることを指示し、かつ、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合にフラグが参照ピクチャは参照ピクチャリストから除外されることを指示するように、各参照ピクチャのレイヤ識別情報と現在ピクチャのレイヤ識別情報との間の比較に従って１−ビットフラグをセットするように構成されているプロセッサ３０２を備える。

それ故に、エンコーダは、実施形態に係るピクチャを符号化するために以下のステップを実行するように構成されてもよい。

●バッファ記述は、現在ピクチャのレイヤ識別情報とバッファ記述中の参照ピクチャとの比較の評価に従ってバッファ記述中の各ピクチャに対するフラグの値をセットして作成される。現在ピクチャより上位のレイヤ識別情報を持つピクチャに対して、１つずつの対応するフラグは、ピクチャが参照ピクチャリストに含まれないことになることを指示するためにセットされる。現在ピクチャと同じまたは下位のレイヤ識別情報を持つピクチャに対して、１つずつの対応するフラグは、ピクチャが参照ピクチャリストに含まれることになることを指示するためにセットされる。
●バッファ記述が符号化される。
●ピクチャが符号化される。

エンコーダ３００は、高効率映像符号化（ＨＥＶＣ）エンコーダでもよく、たとえば、モバイル端末で実施されてもよい。さらに、デコーダ４００は、高効率映像符号化（ＨＥＶＣ）デコーダでもよく、たとえば、モバイル端末で実施されてもよい。しかし、実施形態がＨＥＶＣに限定されないことに注意すべきである。

プロセッサ３０２、４０２は、たとえば、メモリ３０１、４０１の形で、コンピュータ・プログラム・プロダクトに記憶されたコンピュータプログラムに格納されているソフトウェア命令を実行することが可能である。それぞれのコンピュータ・プログラム・プロダクトは、読み出し書き込みメモリ（ＲＡＭ）と読み出し専用メモリ（ＲＯＭ）との何らかの組み合わせであるメモリである可能性がある。それぞれのメモリは、たとえば、磁気メモリ、光メモリ、固体メモリ、または、さらに遠隔搭載メモリのうちのいずれか１つまたは組み合わせである可能性がある固定記憶域を備える。

Claims (32)

1. 参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化する方法であって、
   前記現在ピクチャに対するバッファ記述（２１０）中の参照ピクチャに関連付けられている１−ビットフラグ（２２０）であって、前記参照ピクチャが前記現在ピクチャを復号化するときにどちらのピクチャが参照のため使用される可能性があるかを指示している参照ピクチャのリスト（２３０）に組み込まれるべきか否かをデコーダに明示的に指示するためにセットされる（２００）前記１−ビットフラグ（２２０）を符号化すること（２０２）を含む、方法。
2. 各ピクチャがレイヤ識別情報によって識別されたレイヤに属し、前記方法は、
   前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャの前記レイヤ識別情報より上位であるか否かを決定すること（２００）と、
   前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャの前記レイヤ識別情報より上位である場合に前記参照ピクチャが前記参照ピクチャのリストに組み込まれるべきでないことを明示的に指示するように前記１−ビットフラグをセットすること（２０１ａ）と
   をさらに含む、請求項１に記載の方法。
3. 少なくとも前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャと同じまたは下位である場合に前記ピクチャが前記参照ピクチャリストに組み込まれるべきであることを指示するように前記１−ビットフラグをセットすること（２０１ｂ）をさらに含む、請求項２に記載の方法。
4. １つの参照ピクチャが前記参照ピクチャリストに組み込まれるべきことを明示的に指示するために前記１−ビットフラグに「１」をセットすること（２０１ｂ）と、
   １つの参照ピクチャが前記参照ピクチャリストに組み込まれるべきでないことを明示的に指示するために前記１−ビットフラグに「０」をセットすること（２０１ａ）とをさらに含む、請求項１から３のいずれか一項に記載の方法。
5. 前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャと同じまたは下位であり、かつ、別の条件が満たされる場合に、前記参照ピクチャが前記参照ピクチャリストに組み込まれるべきであることを明示的に指示するように前記１−ビットフラグをセットすること（２０１ｃ）をさらに含む、請求項２に記載の方法。
6. 前記１−ビットフラグは、スライスヘッダにおいて符号化される、請求項１から５のいずれか一項に記載の方法。
7. 前記１−ビットフラグは、パラメータ・セットにおいて符号化される、請求項１から５のいずれか一項に記載の方法。
8. 前記レイヤ識別情報は、時間レイヤ識別情報である、請求項１から７のいずれか一項に記載の方法。
9. 参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化する方法であって、
   前記現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグであって、前記現在ピクチャを復号化するときにどちらのピクチャが参照のため使用される可能性があるかを指示する参照ピクチャのリストに前記参照ピクチャが組み込まれるべきか否かをデコーダに明示的に指示する前記１−ビットフラグを復号化すること（２０３）と、
   前記参照ピクチャが前記参照ピクチャのリストに組み込まれるべきであるか否かを決定するために前記１−ビットフラグを使用すること（２０４）とを含む、方法。
10. 前記１−ビットフラグの一方の値は、前記参照ピクチャが前記参照ピクチャリストに組み込まれるべきでないことを明示的に指示する、請求項９に記載の方法。
11. 前記１−ビットフラグの一方の値は、１つの参照ピクチャが前記参照ピクチャリストに組み込まれるべきであることを明示的に指示する、請求項１０に記載の方法。
12. 「１」がセットされた前記１−ビットフラグは、１つの参照ピクチャが前記参照ピクチャリストに組み込まれるべきことを明示的に指示し、
    「０」にセットされた前記１−ビットフラグは、１つの参照ピクチャが前記参照ピクチャリストに組み込まれるべきでないことを明示的に指示する、請求項９から１１のいずれか一項に記載の方法。
13. 前記１−ビットフラグは、スライスヘッダにおいて符号化される、請求項９から１２のいずれか一項に記載の方法。
14. 前記１−ビットフラグは、パラメータ・セットにおいて符号化される、請求項９から１２のいずれか一項に記載の方法。
15. 参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化するエンコーダ（３００）であって、
    前記エンコーダは、前記現在ピクチャに対するバッファ記述（２１０）中の参照ピクチャに関連付けられている１−ビットフラグ（２２０）を符号化するように構成され、
    前記エンコーダは、参照ピクチャが前記現在ピクチャを復号化するときにどちらのピクチャが参照のため使用される可能性があるかを指示している参照ピクチャ（２３０）のリストに組み込まれるべきか否かをデコーダに明示的に指示するために前記１−ビットフラグ（２２０）をセットするように構成されているプロセッサ（３０２）を備える、エンコーダ（３００）。
16. 各ピクチャがレイヤ識別情報によって識別されたレイヤに属し、前記プロセッサ（３０２）は、前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャの前記レイヤ識別情報より上位であるか否かを決定し（２００）、前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャの前記レイヤ識別情報より上位である場合に前記参照ピクチャが前記参照ピクチャのリストに組み込まれるべきでないことを明示的に指示するように前記１−ビットフラグ（２２０）をセットするようにさらに構成されている、請求項１５に記載のエンコーダ（３００）。
17. 前記プロセッサ（３０２）は、少なくとも前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャと同じまたは下位である場合に前記参照ピクチャが前記参照ピクチャリストに組み込まれるべきであることを明示的に指示するように前記１−ビットフラグ（２２０）をセットするようにさらに構成されている、請求項１６に記載のエンコーダ（３００）。
18. 前記プロセッサ（３０２）は、１つの参照ピクチャが前記参照ピクチャリストに組み込まれるべきことを明示的に指示するために前記１−ビットフラグに「１」をセットし、１つの参照ピクチャが前記参照ピクチャリストに組み込まれるべきでないことを明示的に指示するために前記１−ビットフラグに「０」をセットするようにさらに構成されている、請求項１５から１７のいずれか一項に記載のエンコーダ（３００）。
19. 前記プロセッサ（３０２）は、前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャと同じまたは下位であり、かつ、別の条件が満たされる場合に、前記参照ピクチャが前記参照ピクチャリストに組み込まれるべきであることを明示的に指示するように前記１−ビットフラグをセットするようにさらに構成されている、請求項１６に記載のエンコーダ（３００）。
20. 前記プロセッサ（３０２）は、スライスヘッダにおいて前記１−ビットフラグを符号化するように構成されている、請求項１５から１９のいずれか一項に記載のエンコーダ（３００）。
21. 前記プロセッサ（３０２）は、パラメータ・セットにおいて前記１−ビットフラグを符号化するように構成されている、請求項１５から１９のいずれか一項に記載のエンコーダ（３００）。
22. 前記レイヤ識別情報は、時間レイヤ識別情報である、請求項１５から２１のいずれか一項に記載のエンコーダ（３００）。
23. 高効率映像符号化ＨＥＶＣエンコーダである、請求項１５から２２のいずれか一項に記載のエンコーダ（３００）。
24. 参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダ（４００）であって、
    前記デコーダ（４００）は、前記現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグ（２２０）を復号化するように構成され、
    前記１−ビットフラグ（２２０）は、前記参照ピクチャが前記現在ピクチャを復号化するときにどちらのピクチャが参照のため使用される可能性があるかを指示する参照ピクチャのリスト（２３０）に組み込まれるべきか否かを前記デコーダに明示的に指示し、
    前記デコーダ（４００）は、前記参照ピクチャが前記参照ピクチャのリスト（２３０）に組み込まれるべきか否かを決定するために前記１−ビットフラグ（２２０）を使用するように構成されているプロセッサ（４０２）を備える、デコーダ（４００）。
25. 前記デコーダは、前記１−ビットフラグの一方の値が１つの参照ピクチャは前記参照ピクチャリストに組み込まれるべきでないことを明示的に指示するものと解釈するように構成されているプロセッサ（４０２）を備える、請求項２４に記載のデコーダ（４００）。
26. 前記プロセッサ（４０２）は、前記１−ビットフラグの一方の値が１つの参照ピクチャは前記参照ピクチャリストに組み込まれるべきであることを明示的に指示するものと解釈するようにさらに構成されている、請求項２５に記載のデコーダ（４００）。
27. 前記プロセッサ（４０２）は、「１」がセットされた前記１−ビットフラグが１つの参照ピクチャは前記参照ピクチャリストに組み込まれるべきであることを明示的に指示し、「０」がセットされた前記１−ビットフラグが１つの参照ピクチャは前記参照ピクチャリストに組み込まれるべきでないことを明示的に指示するものと解釈するようにさらに構成されている、請求項２４から２６のいずれか一項に記載のデコーダ（４００）。
28. 前記プロセッサ（４０２）は、スライスヘッダにおいて前記１−ビットフラグを復号化するように構成されている、請求項２４から２７のいずれか一項に記載のデコーダ（４００）。
29. 前記プロセッサ（４０２）は、パラメータ・セットにおいて前記１−ビットフラグを復号化するようにさらに構成されている、請求項２４から２７のいずれか一項に記載のデコーダ（４００）。
30. 高効率映像符号化ＨＥＶＣデコーダである、請求項２４から２９のいずれか一項に記載のデコーダ（３００）。
31. 参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化するエンコーダ（３００）であって、
    前記エンコーダは、前記現在ピクチャに対するバッファ記述（２１０）中の参照ピクチャに関連付けられている１−ビットフラグ（２２０）を符号化するように構成され、
    前記エンコーダは、前記フラグが前記参照ピクチャのレイヤ識別情報が前記現在ピクチャのレイヤ識別情報と同じまたは下位である場合に前記参照ピクチャが参照ピクチャリストに組み込まれるべきであることを指示するように、かつ、前記フラグが前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャの前記レイヤ識別情報より上位である場合に前記参照ピクチャが前記参照ピクチャリストから除外されることを指示するように、各参照ピクチャの前記レイヤ識別情報と前記現在ピクチャの前記レイヤ識別情報との間の比較に従って前記１−ビットフラグをセットするように構成されているプロセッサ（３０２）を備える、エンコーダ（３００）。
32. 参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダ（４００）であって、
    前記デコーダ（４００）は、前記現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグ（２２０）を復号化するように構成され、
    前記デコーダ（４００）は、復号化ピクチャバッファ内の対応する参照ピクチャが欠けている前記バッファ記述中の各参照ピクチャに対する前記１−ビットフラグをチェックするように構成されているプロセッサを備え、
    前記１−ビットフラグが、前記参照ピクチャが参照ピクチャリストに組み込まれていることを指示している場合、前記プロセッサは、前記ピクチャが意図せずに失われているという結論を出すように構成されている、デコーダ（４００）。

Images