JP5993453B2 - クリーンランダムアクセス画像に最下レイヤ識別情報を割り当てるための符号器およびその方法 - Google Patents

Description

Ｈ．２６４は、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４（ＭＰＥＧ−４）Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ）とも称される動画像符号化方式である。時間的予測および空間的予測を利用するブロックベースのハイブリッド動画符号化方式からなる。

高効率動画符号化（ＨＥＶＣ）は、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ−Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）で現在開発されている新しい動画符号化規格である。ＪＣＴ−ＶＣは、ＭＰＥＧと国際電気通信連合電気通信標準化セクタ（ＩＴＵ−Ｔ）との共同プロジェクトである。現在、作業原案（ＷＤ）が、大きなマクロブロック（最大符号化単位（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）をＬＣＵと略す）と多数の他の新しいツールとを備えるように定義され、Ｈ．２６４／ＡＶＣよりも有効である。

動画伝送では、受信器の復号器は、画像を表すビットストリーム、すなわち、圧縮データの動画データパケットを受信する。圧縮データは、ペイロードおよび制御情報を備える。制御情報は、例えば、どの参照画像を参照画像バッファ内に格納すべきかについての情報を備える。この情報は、以前に受信した画像に対する相対参照（ｒｅｌａｔｉｖｅ ｒｅｆｅｒｅｎｃｅ）である。さらに、復号器は、受信したビットストリームを復号化し、復号化した画像を表示する。さらに、復号化した画像は、制御情報に従い、参照画像バッファに格納される。これらの格納された参照画像は、後続の画像を復号化する場合に、復号器によって使用される。

Ｈ．２６４／ＡＶＣで設計されるような受信器で実行される方式の簡易フローチャートを図１に示す。画像が実際に復号化される前に、スライスヘッダ内のｆｒａｍｅ＿ｎｕｍが１００でパースされ、シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）構文要素ｇａｐｓ＿ｉｎ＿ｆｒａｍｅ＿ｎｕｍ＿ｖａｌｕｅ＿ａｌｌｏｗｅｄ＿ｆｌａｇが１である場合、１１０でｆｒａｍｅ＿ｎｕｍにおいて起こり得るギャップを検出する。ｆｒａｍｅ＿ｎｕｍは、復号化順序を示す。ｆｒａｍｅ＿ｎｕｍにおけるギャップが検出された場合、「存在しない」フレームが１２０および１３０で作り出され、復号画像バッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）とも称される参照画像バッファに挿入される。その場合、スライディングウィンドウ処理およびバンピング処理が適用される。

ｆｒａｍｅ＿ｎｕｍ内にギャップがあろうとなかろうと、次のステップは、現在の画像を１６０で実際に復号化することである。１７０で、画像のスライスヘッダが、メモリ管理制御操作（ＭＭＣＯ：Ｍｅｍｏｒｙ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌ Ｏｐｅｒａｔｉｏｎ）コマンドを含む場合、参照画像バッファに格納される画像に対する相対参照を取得するために画像を復号化した後、適応メモリ管理制御処理（ａｄａｐｔｉｖｅ ｍｅｍｏｒｙ ｃｏｎｔｒｏｌ ｐｒｏｃｅｓｓ）が１８０で適用され、そうでない場合、参照画像バッファに格納される画像に対する相対参照を取得するために、スライディングウィンドウ処理が１９０で適用される。最終ステップとして、「バンピング」処理が２００で適用され、正しい順序で画像を送出する。

ＨＥＶＣはまた、画像が属する時間レイヤに対応する、各画像に対するｔｅｍｐｏｒａｌ＿ｉｄを定義する。ｔｅｍｐｏｒａｌ＿ｉｄ ｔＩｄＡを有する画像Ａは、ｔｅｍｐｏｒａｌ＿ｉｄ ｔＩｄＢがｔＩｄＡよりも高い場合の参照として、ｔＩｄＢを有する画像Ｂを使用することができない。

さらに、ＨＥＶＣは、時間レイヤ交換点の概念を備える。時間レイヤ交換点は、交換点より前のより高い時間レイヤからの画像が復号化されなかった場合でさえも、より高い時間レイヤからの画像の復号化を開始することが可能である、符号化されたビットストリーム内の画像である。このことは、時間レイヤ交換点が復号化された場合、「予測には不使用」としてより高い時間レイヤ内のすべての画像をマーキングすることによって、ＨＥＶＣで実現される。したがって、時間レイヤ交換点とは、符号器が制御情報を送信して、予測には不使用としてより高い画像をマーキングすることを符号器から復号器に対して保証する。時間レイヤ交換点に関連する復号器の動作はない。

ＨＥＶＣ作業原案は、クリーンランダムアクセス（ＣＲＡ：ｃｌｅａｎ ｒａｎｄｏｍ ａｃｃｅｓｓ）アクセスユニットを含む。クリーンランダムアクセス（ＣＲＡ）アクセスユニットとは、符号化画像がＣＲＡ画像であるアクセスユニットである。ＣＲＡ画像はまた、クリーン復号リフレッシュ（ＣＤＲ：Ｃｌｅａｎ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）画像または遅延復号リフレッシュ（ＤＤＲ：Ｄｅｆｅｒｒｅｄ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）画像と称される可能性もあることに留意されたい。さらに、クリーンランダムアクセス（ＣＲＡ）画像は、すべてのブロックに対してイントラ予測を使用する自己完結型符号化画像であり、それにより、ＣＲＡ画像は、参照画像に依存することなく復号化されるのに十分な情報を備える。ＣＲＡ画像は、対応するネットワークアダプションレイヤ（ＮＡＬ：Ｎｅｔｗｏｒｋ Ａｄａｐｔａｔｉｏｎ Ｌａｙｅｒ）ユニット種類を有するＨＥＶＣに導入される新しい画像種類である。ＣＲＡ画像は、復号器が正確にＣＲＡ画像、および復号化順序と表示順序の両方でＣＲＡ画像に続くすべての画像の復号化を開始することを可能にする、ビットストリーム内のポイントを示すために使用される、ランダムアクセスポイントである。

画像がＣＲＡ画像として符号化された場合、標準の復号器動作を、ＣＲＡ画像である画像の検出に対して実行しないことが提案される。前述のように、時間レイヤ交換点とは、符号器が制御情報を送信して、予測には不使用としてより高い画像をマーキングすることを符号器から復号器に対して保証する。

各ＣＲＡは、独自のＮＡＬユニット種類を有し、各ＮＡＬユニットは、時間識別子などのレイヤ識別子と関連づけられる。レイヤ識別情報Ａを有するＮＡＬユニットは、Ａ＜Ｂである場合、レイヤ識別情報Ｂを有するＮＡＬユニットを参照のために使用しない可能性がある。

本文では、表示順序は、表示順序に関連した値を扱う可変画像順序カウント（ＰＯＣ：Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）によって示され、復号化順序は、可変復号化順序によって示されることに留意されたい。ＣＲＡ画像Ａが、ｆｒａｍｅ＿ｎｕｍ ｆＡ、ＰＯＣ ｐＡおよびｔｅｍｐｏｒａｌ＿ｉｄ ｔＩｄＡを有する符号器で符号化される場合、復号器は、ｆｒａｍｅ＿ｎｕｍ ｆＢ＞ｆＡおよびＰＯＣ ｐＢ＞ｐＡである第１の画像Ｂを復号化する前に、Ａ以外のすべての参照画像を「参照には不使用」としてマーキングする。ｔｅｍｐｏｒａｌ＿ｉｄ ｔＩｄＣ＜ｔＩｄＡ、ｆｒａｍｅ＿ｎｕｍ ｆＣ＞ｆＡおよびＰＯＣ ｐＣ＞ｐＡを満たす第１の画像Ｃが復号化される場合、参照に使用可能な参照画像は存在しない。これは、Ｃより高いｔｅｍｐｏｒａｌ＿ｉｄを有しており、さらにｔＩｄＣ以下のｔｅｍｐｏｒａｌ＿ｉｄを有する他のすべての画像が、Ｂが復号化される前に、「予測には不使用」のマーキングをされているため、Ａを使用することができないためである。この例におけるＢは、Ｃと同じ画像であるか、または、ｔＩｄＡ以上のｔｅｍｐｏｒａｌ＿ｉｄを有する他の画像である可能性がある。

Ｃが予測のために使用可能な画像を有しないため、イントラ予測のみを使用して符号化しなければならず、したがって、非常にコストがかかる。

したがって、上記の問題を解決することが望まれる。

上記の問題は、ＣＲＡ画像、またはランダムアクセスポイントとして識別可能な対応する自己完結型画像が最下レイヤに属さなければならない、という要件をビットストリームに課すことによって解決される。自己完結型画像は、本明細書では、参照画像を使用することなく復号化可能である画像を意味する。しかしながら、自己完結型画像は、復号化するための情報をすべて備える必要はない。自己完結型画像はまた、イントラ画像とも称される可能性がある。

時間レイヤ構造に対し、このことは、ＣＤＲ ＮＡＬに設定されたＮＡＬユニット種類を有するどんなＮＡＬユニットも、ｔｅｍｐｏｒａｌ＿ｉｄ＝０となる可能性があることを意味する。

したがって、本発明の実施形態の第１の態様によれば、動画ストリームの画像を符号化する方法が提供される。前記方法では、レイヤ識別子は、自己完結型であり、一種のランダムアクセスポイント画像として識別可能である画像に割り当てられ、復号化順序ならびに出力順序の両方でその種類のランダムアクセスポイント画像に続くすべての符号化画像は、出力順序で前記種類のランダムアクセスポイント画像に先行するどんな画像に基づくインター予測も使用することができない。ここでは、レイヤ識別子は、最下レイヤ識別情報に設定される。

したがって、本発明の実施形態の第２の態様によれば、動画ストリームの画像を符号化する符号器が提供される。前記符号器は、自己完結型であり、さらに一種のランダムアクセスポイント画像として識別可能である画像にレイヤ識別子を割り当てるためのプロセッサを備え、ランダムアクセスポイント画像に対し、復号化順序および出力順序の両方でその種類のランダムアクセスポイント画像に続くすべての符号化画像が、出力順序で前記種類のランダムアクセスポイント画像に先行する任意の画像に基づくインター予測を使用することができず、プロセッサは、最下レイヤ識別情報に設定されるレイヤ識別子を設定するよう構成される。

本発明の実施形態を用いる利点は、ＣＤＲ画像の使用をよりクリアにするという要件をビットストリームに課すことである。実施形態はまた、予測のために利用可能な参照画像が存在するので、ＣＤＲ画像に続く他の画像をイントラ予測のみを使用して符号化する必要がなくなるため、動画シーケンスを符号化するために必要なビットレートを減らすことができる。

先行技術によるＨ．２６４／ＡＶＣ参照バッファ方式の簡易フローチャートである。 先行技術による２つの時間レイヤを有する符号化構造の一例である。 一実施形態による符号器によって実行される方法のフローチャートである。 一実施形態による画像の符号化表現である。 本発明の実施形態による符号器の模式図である。

図面全体を通して、同じ参照番号は、同様または対応する要素に対して使用される。

本実施形態は、一般に、動画ストリームの、本技術ではフレームとも称される画像の符号化に関し、さらに、特に、実施形態は、ＣＲＡ画像とも称されるＩスライスのみを含む自己完結型画像の管理に関する。ＣＲＡ画像は、一種のランダムアクセスポイント画像として識別可能であり、復号化順序ならびに出力順序の両方でその種類のランダムアクセスポイント画像に続くすべての符号化画像は、出力順序でその種類のランダムアクセスポイント画像に先行するどんな画像に基づくインター予測も使用することができない。

Ｈ．２６４／ＭＰＥＧ−４ＡＶＣおよびＨＥＶＣによって表されるような動画符号化は、予測または基準として参照画像を使用して、現在の画像のピクセルデータを符号化および復号化する。このことは、一般に、インター符号化と称され、画像は、そのような参照画像を基準として符号化および復号化される。それにより、符号化画像を復号化することを可能にするために、復号器は、どの参照画像を現在の符号化画像に対して使用するかを認識する必要があり、これらの参照画像にアクセスする必要がある。

動画符号化および復号化は、スケーラブルまたはレイヤ状に行うことができる。例えば、時間スケーラビリティは、サブシーケンスの定義、ＳＶＣにおけるｔｅｍｐｏｒａｌ＿ｉｄの使用、および「存在しない」フレームの挿入を通じてＨ．２６４／ＭＰＥＧ−４ＡＶＣおよびスケーラブル映像符号化（ＳＶＣ：Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）でサポートされる。しかしながら、時間スケーラビリティをサポートするために、より高い時間レイヤ内の画像は、メモリ管理制御操作（ＭＭＣＯ）を使用する場合に制限される。符号器は、１つの時間レイヤ内のＭＭＣＯが、時間レイヤが欠落し、「存在しない」画像が挿入され、スライディングウィンドウ処理が適用された場合に比較されるさまざまなより下の時間レイヤの画像に影響しないことを確実にする役割を担う。

このことは、符号化構造の選択および参照画像の使用時に符号器に制限を課す。例えば、図２の例を考える。参照画像バッファ内の参照フレームの最大数（ｍａｘ＿ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓ）は、各画像がインター予測のために２つの参照画像のみを使用するにもかかわらず、３であるとする。これは、各画像が、次の画像によるインター予測のために使用される他の時間レイヤから１つの余分な画像を保持しなければならないからである。

画像ＰＯＣ＝４を復号化する場合に利用可能な画像ＰＯＣ＝０および画像ＰＯＣ＝２を有するために、画像ＰＯＣ＝３は、利用不可能なものとしてコマンドマーキング画像１をマーキングする明確な参照画像を有する必要があるc。

しかしながら、時間レイヤ１が、（例えば、ネットワークノードによって）除去された場合、すべての奇数番号のｆｒａｍｅ＿ｎｕｍにギャップが生じる。「存在しない」画像がこれらの画像に対して作られ、スライディングウィンドウ処理が適用されるであろう。それにより、利用不可能なものとして画像ＰＯＣ＝０をマーキングする「存在しない」画像ＰＯＣ＝３を有することになる。したがって、画像ＰＯＣ＝４を復号化する場合、予測のために利用することができない。符号器は、この２つの場合に対して復号化処理を同じにすることができないため、すべての画像が復号化される場合、および最下レイヤのみが復号化される場合、図２の符号化構造例は、先行技術による時間スケーラビリティに対して使用することができない。

複数のレイヤにグループ化された画像を有するスケーラブル動画ストリームの場合では、画像識別子および時間レイヤ情報により、参照画像が属する複数のレイヤの１レイヤを識別することが提供される。バッファ記述情報とも称される参照画像セットは、その場合、参照画像の少なくとも１つの画像識別子および時間レイヤ情報に基づいて生成される。このことは、参照画像セットが、参照画像の少なくとも１つの画像識別子および時間レイヤ情報を定義することを意味する。

例えば、ｔｅｍｐｏｒａｌ＿ｉｄなどの時間レイヤ情報は、参照画像セットを含むバッファ記述内の各画像に対して含まれ、ｔｅｍｐｏｒａｌ＿ｉｄの通知を行うために上限（ｌｏｇ２（ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１））ビットを使用して通知される。時間スケーラビリティは、本実施形態を適用可能なマルチレイヤ動画の単なる一例である。他の種類にはマルチビュー動画があり、各画像が画像識別子およびビュー識別子を有する。

さらに、上記のように、ＣＲＡ画像の現在の定義は、ｔｅｍｐｏｒａｌ＿ｉｄに対する制限または規則を含まない。

ＣＲＡ画像Ａが、ｆｒａｍｅ＿ｎｕｍ ｆＡ、ＰＯＣ ｐＡおよびｔｅｍｐｏｒａｌ＿ｉｄ ｔＩｄＡを有する符号器で符号化される場合、符号器は復号器に対し、復号器が、ｆｒａｍｅ＿ｎｕｍ ｆＢ＞ｆＡおよびＰＯＣ ｐＢ＞ｐＡである第１の画像Ｂを復号化する前に、Ａ以外のすべての参照画像を「参照には不使用」としてマーキングするよう通知する。ｔｅｍｐｏｒａｌ＿ｉｄ ｔＩｄＣ＜ｔＩｄＡ、ｆｒａｍｅ＿ｎｕｍ ｆＣ＞ｆＡおよびＰＯＣ ｐＣ＞ｐＡを満たす第１の画像Ｃが復号化される場合、参照に使用可能な参照画像は存在しない。これは、Ｃより高いｔｅｍｐｏｒａｌ＿ｉｄを有しており、さらにｔＩｄＣ以下のｔｅｍｐｏｒａｌ＿ｉｄを有する他のすべての画像が、Ｂが復号化される前に、「予測には不使用」のマーキングをされているため、Ａを使用することができないためである。（この例におけるＢは、Ｃと同じ画像であるか、または、ｔＩｄＡ以上のｔｅｍｐｏｒａｌ＿ｉｄを有する他の画像である可能性がある）。

Ｃが予測のために使用可能な画像を有しないため、イントラ予測のみを使用して符号化しなければならず、したがって、非常にコストがかかる。

上記の問題は、ビットストリームに、ＣＲＡ画像が最下レイヤに属さなければならないという要件を課すことによって解決される。

したがって、符号器によって実行される方法は、図３のフローチャートに描かれるように提供される。本方法では、動画ストリームの画像は符号化される。画像が、自己完結型であり、一種のランダムアクセスポイント画像（ＲＡＰ）として識別可能であり、復号化順序ならびに出力順序の両方でその種類のランダムアクセスポイント画像に続くすべての符号化画像が３００で出力順序で前記種類のランダムアクセスポイント画像に先行するどんな画像に基づくインター予測も使用することができない場合、レイヤ識別子は、画像に３０１で割り当てられ、ここでは、レイヤ識別子は、最下レイヤ識別情報、例えば、０に設定される。他の画像には、３０２で、レイヤが除去され、画像を復号化することをそれでも可能とする他の規則に従って、レイヤ識別子を割り当てることができる。これらの他の規則は、本発明の実施形態の範囲内ではない。

画像がＣＲＡ画像として符号化されたかどうかを示す情報は、図４で示すようにＮＡＬユニットヘッダで搬送することができ、レイヤ識別子情報もまた、ＮＡＬユニットヘッダで搬送することができる。ＮＡＬユニットヘッダは、符号器から復号器へ送信される制御情報の一種である。したがって、図４は、画像の符号化表現６０の一例を示す。符号化表現６０は、スライス内のピクセルブロックの符号化ピクセルデータを表す動画ペイロードデータを備える。符号化表現６０はまた、制御情報を搬送するスライスヘッダ６５を備える。スライスヘッダ６５は、動画ペイロード、およびネットワーク抽出レイヤ（ＮＡＬ：Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ヘッダ６４と共に符号器から出力される要素であるＮＡＬユニットを形成する。これに対し、リアルタイムトランスポートプロトコル（ＲＴＰ：Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）ヘッダ６３、ユーザデータグラムプロトコル（ＵＤＰ：Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）ヘッダ６２およびインターネットプロトコル（ＩＰ：Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ヘッダ６１といったＮＡＬユニット追加ヘッダを、符号器から復号器に送信することができるデータパケットを形成するために追加することができる。

Ｉスライスのみを含む自己完結型画像であるＣＲＡ画像は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝４であるＣＲＡ画像のスライスのＮＡＬユニットを符号化することによってＣＲＡ画像として識別することができる。したがって、復号化順序および出力順序の両方でＣＲＡ画像に続くすべての符号化画像は、復号化順序または出力順序のいずれかでＣＲＡ画像に先行するどんな画像に基づくインター予測も使用するべきではなく、復号化順序でＣＲＡ画像に先行するどんな画像も、出力順序でＣＲＡ画像に先行する。

ＣＲＡアクセスユニットは、符号化画像がＣＲＡ画像であるアクセスユニットとして定義することができる。（アクセスユニットは、画像を含み、さらに、ＳＥＩまたはパラメータセットＮＡＬユニットなどの非画像ＮＡＬユニットを含むこともできる）。したがって、ＣＲＡ画像は、すべてのブロックに対してイントラ予測を使用する符号化画像であり、ランダムアクセスポイントとして識別可能であり、各スライスがｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝４を有することができる。復号化順序および出力順序の両方でＣＲＡ画像に続くすべての符号化画像は、復号化順序または出力順序のいずれかでＣＲＡ画像に先行するどんな画像に基づくインター予測も使用するべきではなく、復号化順序でＣＲＡ画像に先行するどんな画像も、出力順序でＣＲＡ画像に先行する。

以下の表は、ＮＡＬユニット種類コードおよびＮＡＬユニット種類クラスを示す。

これに応じて、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝４で示された画像は、本明細書において、ＣＲＡ画像と称される。特定の画像のスライスを含むＮＡＬユニットに対して、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値が４である場合、その特定の画像のＶＣＬ ＮＡＬユニットのすべては、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝４を有する。

一実施形態によれば、ｔｅｍｐｏｒａｌ＿ｉｄまたはｌａｙｅｒ＿ｉｄと称されるパラメータは、ＮＡＬユニットのレイヤ識別情報を示し、ｔｅｍｐｏｒａｌ＿ｉｄは、ＮＡＬユニットに対する時間識別子を特定する。ｔｅｍｐｏｒａｌ＿ｉｄの値は、アクセスユニットの全ＮＡＬユニットに対して同じにしなければならない。アクセスユニットが、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝４を有する任意のＮＡＬユニットを含む場合、アクセスユニットの全ＮＡＬユニットに対するｔｅｍｐｏｒａｌ＿ｉｄは、０に等しくしなければならない。さらに、ＩＤＲ画像として識別される５のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する任意のＮＡＬユニットを含むアクセスユニットは、ｔｅｍｐｏｒａｌ＿ｉｄ＝０であるべきである。しかしながら、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝５を有するアクセスユニットは、復号器を「リセットする」ＩＤＲ画像を含む。ＩＤＲ画像、および復号化順序でそれに続くすべては、復号化順序でＩＤＲ画像に先行するデータ無しに正確に復号化することができる（すなわち、参照のための画像を使用しない）。したがって、ＩＤＲ画像とＣＲＡ画像との差は、異なるＮＡＬユニット種類であり、参照画像バッファが空であることをＩＤＲ画像が受け取り、したがって、ＩＤＲ画像には参照画像セットがない場合、ＩＤＲ画像はＰＯＣ＝０である。さらに、復号化順序および出力順序でＩＤＲ画像に続く画像は、復号化順序でＩＤＲ画像に続く参照画像である可能性があるが、出力順序で進む。それは、ＣＲＡ画像に対しては不可能である。上記の表によれば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが３に等しい場合、時間レイヤアクセス（ＴＬＡ：Ｔｅｍｐｏｒａｌ Ｌａｙｅｒ Ａｃｃｅｓｓ）画像であることを意味し、ｔｅｍｐｏｒａｌ＿ｉｄが０であってはならない。

前述のように、符号器は、ＣＲＡ画像として符号化されたすべての画像が、ｌａｙｅｒ＿ｉｄ＝０とされ、ビットストリーム要件を確実に満たすように構成される。

「予測には不使用」という画像のマーキングは、復号化順序および表示順序でＣＲＡ画像に続く第１の画像を復号化する前には実行されない可能性がある。代わりに、「予測には不使用」という画像のマーキングは、復号化順序および表示順序でＣＲＡ画像に続く第１の画像を復号化した後に復号器によって実行され、復号化順序および表示順序でＣＲＡ画像に続く第１の画像は、参照のためにＣＲＡ画像のみを使用するという追加の規則がある。このマーキングは、符号器および復号器の両方によって実行され、これは、符号器が内部復号器を有し、符号器が送信したビットストリームについて復号器が行ったことを追跡するためであることに留意されたい。

ＣＲＡ画像に対して現在使用されているＮＡＬユニット種類の解釈は変更することができ、その結果、そのＮＡＬのｌａｙｅｒ＿ｉｄがゼロになった場合にＣＲＡ画像のみを示すことにも留意されたい。ＣＲＡ画像に対して現在使用されているＮＡＬユニット種類の解釈が変更され、その結果、ｌａｙｅｒ＿ｉｄがゼロになった場合にＣＲＡ画像のみを示した場合、ＣＲＡを定義するために現在使用されているＮＡＬユニット種類は、ｌａｙｅｒ＿ｉｄがゼロより大きい場合に、レイヤ交換点を示すことができる。この場合、復号器は、これらの構文要素の両方をパースし、画像がＣＲＡ画像であるかどうかを推定しなければならず、さらに復号器は、これらの要素両方をパースし、画像がレイヤ交換点を構成するかどうかを推定しなければならない。ｌａｙｅｒ＿ｉｄがＣＲＡ画像に対して０ではないことを復号器が検出した場合、復号器は、ビットストリームが有効ではないことを検出する。その場合、復号器は、ビットストリームが無効であることを隠す、または報告することができる。あるいは、復号器は、その画像を非ＣＲＡ画像として扱い、復号化を続けることができる。

代替として、ＣＲＡ指示、すなわち、画像がＣＲＡ画像であるとＮＡＬユニット種類が示すことは、復号器について規範的効果を有しない。代わりに、ＣＲＡ指示は符号器によって使用されて、復号器またはネットワークノードに対し、復号化順序および表示順序でＣＲＡ画像に続く画像は、符号化順序または表示順序でＣＲＡ画像に先行する基準のための参照画像を使用しないことを示す。

さらに、符号器および復号器は、ＨＥＶＣ符号器および各ＨＥＶＣ復号器とすることができるが、本実施形態は、ＨＥＶＣコーデックおよび／またはＮＡＬユニットに限定されないことに留意されたい。通知は、ＮＡＬユニットヘッダを介して行われることに限定されないが、スライスヘッダ、スライスパラメータセット、画像ヘッダ、または画像パラメータセットを含むがこれらに限定されない、任意の適切なデータ構造で行うことができる。

本発明の代替実施形態において、動画コーデックは、時間レイヤ動画コーデックであり、上記ｌａｙｅｒ＿ｉｄは、ｔｅｍｐｏｒａｌ＿ｉｄによって置き換えられ、レイヤ交換点は時間レイヤ交換点である。

本発明のさらなる代替実施形態では、動画コーデックは、マルチビューコーデックであり、ｖｉｅｗ＿ｉｄは、上記において、ｌａｙｅｒ＿ｉｄと置き換わる。それに対応して、レイヤは、ビューによって置き換えられる。

同様に、本実施形態は、任意のレイヤ化された動画符号化スキーム、例えば、これらに限定されないが、空間スケーラビリティ、ＳＮＲスケーラビリティ、ビット深度スケーラビリティ、およびクロマフォーマットスケーラビリティに適用することができる。ここでの画像は、バッファ記述における構文要素を通じてレイヤと関連づけられ、レイヤは並べられ、レイヤがより高いレイヤに属する画像を認識しないという特性を有する。レイヤの組合せは、上記のｌａｙｅｒ＿ｉｄが、すべてのレイヤ化されたＩＤ（例えば、ｔｅｍｐｏｒａｌ＿ｉｄおよびｖｉｅｗ＿ｉｄ）が画像に対するレイヤの種類に対して最下レイヤを示す場合に、ゼロに設定された変数によって置き換えられることを意味する。

図５は、例えば、上記の機能を実行するよう構成されたビデオカメラの符号器５００を示す。

図５の符号器５００は、符号化対象のビットストリーム５０６を受け取るよう構成された入力部５０１を備える。符号器のプロセッサ５０２は、３００で、自己完結型であり、さらに一種のランダムアクセスポイント画像（例えば、ＮＡＬユニット種類＝４）として識別可能である画像にレイヤ識別子を割り当てるよう構成され、ランダムアクセスポイント画像に対し、復号化順序および出力順序の両方でその種類のランダムアクセスポイント画像に続くすべての符号化画像が、出力順序で前記種類のランダムアクセスポイント画像に先行する任意の画像に基づくインター予測を使用することができず、３０１で、レイヤ識別子が画像に割り当てられ、プロセッサは、最下レイヤ識別情報にレイヤ識別子を設定するよう構成される。さらに、符号器５００は、符号化ビットストリーム５０５を出力するよう構成された出力部５０３を備える。符号器はまた、参照画像セットの情報などの符号化処理で使用される情報を格納するメモリ５０４を備えることもできる。さらに、例えば、ビデオカメラ内の復号器はまた、符号器と関連づけることができ、符号器は、符号器が送信したビットストリームについて復号器が行ったことを追跡することができる。

一実施形態によれば、プロセッサは、すべてのブロックに対してイントラ予測で符号化された、すなわち、自己完結型、およびＣＲＡ画像としてランダムアクセスポイントとして識別可能な画像を符号化するよう構成することができる。

符号器は、スライスヘッダ、ＮＡＬユニットヘッダ、および動画ペイロードを含むＮＡＬユニットと、画像がＣＲＡ画像であるかどうかを示す情報とを出力し、ＮＡＬユニットヘッダにレイヤ識別子挿入するよう構成することができ、

一実施形態によれば、符号器は、ＦＩＥＶＣ符号器であり、レイヤ識別子は、時間識別子である。代替実施形態によれば、符号器は、マルチビュー符号器であり、レイヤ識別子は、ビュー識別子である。

図６の復号器は、復号対象の符号化ビットストリームを受け取るよう構成された入力部を備える。復号器のプロセッサは、復号化機能を実行するよう構成され、出力部は、表示対象の復号化ビットストリームを出力する。復号器はまた、復号化プロセスで使用される情報、例えば、参照画像を格納するメモリも備えることができる。

Claims (14)

1. 動画ストリームの画像を符号化する方法であって、
   クリーンランダムアクセス（ＣＲＡ）画像として符号化される画像にレイヤ識別子を割り当てるステップ（３０１）を含み、ＣＲＡ画像が自己完結型であり参照画像に依存せずに復号化され、復号化順序および出力順序の両方で一つのＣＲＡ画像に後続するすべての符号化画像が、前記ＣＲＡ画像に先行する任意の画像に基づくインター予測を使用することができず、前記レイヤ識別子は最下レイヤ識別情報に設定される、方法。
2. 画像のレイヤ識別子が最下レイヤ識別情報であるときは、前記画像はＣＲＡ画像である、請求項１に記載の方法。
3. 符号器が、スライスヘッダ、ＮＡＬユニットヘッダ、および動画ペイロードを含むネットワーク抽出レイヤ（ＮＡＬ）ユニットを出力し、前記画像がＣＲＡ画像であるかどうかを示す情報と、レイヤ識別子情報とが、前記ＮＡＬユニットヘッダ中に含まれて送信される、請求項１または２に記載の方法。
4. 前記符号器がＨＥＶＣ符号器である、請求項３に記載の方法。
5. 前記レイヤ識別子が時間識別子である、請求項１から４のいずれか一項に記載の方法。
6. 前記符号器がマルチビュー符号器である、請求項３に記載の方法。
7. 前記レイヤ識別子がビュー識別子である、請求項６に記載の方法。
8. 動画ストリームの画像を符号化するための符号器（５００）であって、クリーンランダムアクセス（ＣＲＡ）画像として符号化される画像にレイヤ識別子を割り当てるプロセッサ（５０１）を備え、ＣＲＡ画像が自己完結型であり参照画像に依存せずに復号化され、復号化順序および出力順序の両方で一つのＣＲＡ画像に後続するすべての符号化画像は、出力順序で前記ＣＲＡ画像に先行する任意の画像に基づくインター予測を使用することができず、前記プロセッサ（５０１）は前記レイヤ識別子を最下レイヤ識別情報に設定するよう構成される、符号器。
9. 画像のレイヤ識別子が最下レイヤ識別情報であるときは、前記画像はＣＲＡ画像である、請求項８に記載の符号器。
10. 前記符号器は、スライスヘッダ、ＮＡＬユニットヘッダ、および動画ペイロードを含むネットワーク抽出レイヤ（ＮＡＬ）ユニットを出力するように構成され、前記画像がＣＲＡ画像であるかどうかを示す情報と、レイヤ識別子情報とが、前記ＮＡＬユニットヘッダ中に含まれて送信される、請求項８または９に記載の符号器。
11. 前記符号器がＨＥＶＣ符号器である、請求項８から１０のいずれか一項に記載の符号器。
12. 前記レイヤ識別子が時間識別子である、請求項８から１１のいずれか一項に記載の符号器。
13. 前記符号器がマルチビュー符号器である、請求項８から１０のいずれか一項に記載の符号器。
14. 前記レイヤ識別子がビュー識別子である、請求項１３に記載の符号器。

Images