JP7257535B2 - 変換スキップモードとブロック差分パルスコード変調の改善された残差コーディング - Google Patents

Description

参照による援用
本出願は、２０１９年２月２４日に出願された米国仮出願第６２ ／ ８０９，６７７号「Ｉｍｐｒｏｖｅｄ Ｒｅｓｉｄｕａｌ Ｃｏｄｉｎｇ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ Ｍｏｄｅ ａｎｄ Ｂｌｏｃｋ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ－Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ（変換スキップモード及びブロック差分パルスコード変調の残差コーディングの改善）」に基づく優先権の利益を主張する、２０２０年２月２４日に出願された米国特許出願第１６／７９９，３５８号「ＩＭＰＲＯＶＥＤ ＲＥＳＩＤＵＡＬ ＣＯＤＩＮＧ ＦＯＲ ＴＲＡＮＳＦＯＲＭ ＳＫＩＰ ＭＯＤＥ ＡＮＤ ＢＬＯＣＫ ＤＩＦＦＥＲＥＮＴＩＡＬ ＰＵＬＳＥ－ＣＯＤＥ ＭＯＤＵＬＡＴＩＯＮ（変換スキップモード及びブロック差分パルスコード変調のための改善された残差コーディング）」に基づく優先権の利益を主張し、
その全体を本明細書に参照援用する。

技術分野
本開示は、概して、ビデオコーディングに関連する実施形態を記載する。

本明細書で提供される背景説明は、本開示のコンテキストを全般的に提示するためのものである。現在挙げられている発明者の研究は、その研究がこの背景部分に記載されている範囲において、また、出願時に他の点では先行技術として適格でないかもしれない説明の側面において、本開示に対する先行技術として明示的にも黙示的にも認められていない。

ビデオコーディングとデコーディングは、動き補正を伴うインター画像予測（ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）を用いて行うことができる。非圧縮ディジタルビデオは、一連の画像を含むことができ、各画像は、例えば、１９２０×１０８０の輝度サンプル及び関連する色サンプルの空間寸法を有する。一連の画像は、固定又は可変の画像レート（例えば、６０画像／秒又は６０Ｈｚ）を有することができる。非圧縮ビデオは、大きいビットレートを必要とする。例えば、サンプル当たり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０ｘ１０８０の輝度サンプル解像度）は、１．５Ｇビット／秒に近い帯域幅を必要とする。このようなビデオの１時間は、６００Ｇバイトを超えるストレージ領域を必要とする。

ビデオコーディング及びデコーディングの１つの目的は、圧縮による入力ビデオ信号の冗長性の低減である。圧縮は、場合によっては、２桁以上前述の帯域幅又はストレージスペースの要件を低減するのに役立つ。可逆圧縮及び非可逆圧縮の両方、並びにそれらの組み合わせを用いることができる。可逆圧縮とは、元の信号の正確なコピーを圧縮された元の信号から再構成できる技術をいう。非可逆圧縮を使用する場合、再構成された信号は、元の信号と同一ではないかもしれないが、元の信号と再構成された信号との間の歪みは十分小さく、再構成された信号を意図された用途に役立てられる。ビデオの場合、非可逆圧縮が広く用いられている。許容される歪みの量は、用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも高い歪みを容認し得る。達成可能な圧縮比は、より高い許容可能／容認可能歪みは、より高い圧縮比をもたらすことができることを反映できる。

ビデオエンコーダ及びデコーダは、例えば、動き補償、変換、量子化、及びエントロピーコーディングを含むいくつかの広範なカテゴリからの技術を利用できる。

ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照画像からのサンプル又は他のデータを参照することなく表現される。いくつかのビデオコーデックでは、画像は空間的にサンプルのブロックに分割される。サンプルのすべてのブロックがイントラモードでコーディングされている場合、その画像はイントラ画像とすることができる。イントラ画像と、独立デコーダリフレッシュ画像等のそれらの派生物は、デコーダ状態をリセットするために用いられることができ、したがって、コーディングされたビデオビットストリーム及びビデオセッションにおける第１画像として、又は静止画像として用いられることが可能である。イントラブロックのサンプルは変換にさらされることができ、変換係数はエントロピーコーディングの前に量子化されることができる。イントラ予測は、変換前ドメインにおけるサンプル値を最小化する技術であり得る。場合によっては、変換後のＤＣ値がより小さく、ＡＣ係数がより小さいほど、エントロピーコーディング後にブロックを表すための所与の量子化ステップサイズで必要なビットが少なくなる。

例えばＭＰＥＧ－２世代のコーディング技術から知られるような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に近接するデータのエンコード／デコード中に得られる周囲の、デコード順において、先行するサンプルデータ及び／又はメタデータから、データのブロックを試行する技術を含む。このような技術は、以後「イントラ予測」技術と称される。少なくともいくつかの場合では、イントラ予測は再構成中の現在画像からの参照データのみを使用し、参照画像からの参照データは使用しないことに留意されたい。

さまざまな形式のイントラ予測があり得る。かかり技術のうちの１つ以上が、所与のビデオコーディング技術において、用いられることが可能である場合、使用中の技術は、イントラ予測モードでコーディングされることができる。特定の場合には、モードは、サブモード及び／又はパラメータを有することができ、それらは、個別にコーディングされることができ、又はモードコード名（ｍｏｄｅ ｃｏｄｅｗｏｒｄ）に含まれることができる。所与のモード／サブモード／パラメータの組み合わせに用いられるコード名は、イントラ予測を通してコーディング効率ゲイン（ｃｏｄｉｎｇ ｅｆｆｉｃｉｅｎｃｙ ｇａｉｎ）に影響を与える可能性があり、同様に、コード名をビットストリームに変換するために使用されるエントロピーコーディング技術も同様に影響を与える可能性がある。

特定のイントラ予測モードがＨ．２６４で導入され、Ｈ．２６５で改良され、共同探索モデル（ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ）、汎用ビデオコーディング（ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）、及びベンチマークセット（ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ）等のより新しいコーディング技術でさらに改良された。予測子ブロックは、既に利用可能なサンプルに属する近接するサンプル値を使用して形成されることができる。隣接するサンプルのサンプル値は、方向にしたがって予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリームでコーディングされることができ、又はそれ自体が予測されることがある。

動き補償は、非可逆圧縮技術であることができ、かつ、先行して再構成された画像又はその一部（参照画像）からのサンプルデータのブロックが、動きベクトル（以下、ＭＶとも称する。）により示される方向に空間的にシフトされた後に、新たな再構成画像又はその一部の予測のために使用される技術に関連付けることができる。場合によっては、参照画像は現在再構成中の画像と同一であることもできる。ＭＶは、Ｘ及びＹの２次元、又は３次元を有することができ、第３次元は、使用中の参照画像の表示である（後者は、間接的に、時間次元でありえる）。

いくつかのビデオ圧縮技術では、サンプルデータの、あるエリアに適用可能なＭＶは、他のＭＶから、例えば、再構成中のエリアに空間的に隣接し、デコードの順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）でそのＭＶに先行するサンプルデータの別のエリアに関連するＭＶから予測できる。このようにして、ＭＶのコーディングに必要なデータ量を大幅に削減することができ、それによって、冗長性を除去し、圧縮を増大させることができる。ＭＶ予測は効率的に作用できる。なぜならば、例えば、（ナチュラルビデオとして既知の）カメラから導出された入力ビデオ信号をコーディングする場合、単一のＭＶが適用可能であるエリアよりも大きなエリアは、類似の方向に移動するという統計的可能性があり、したがって、場合によっては、隣接するエリアのＭＶから導出された類似の動きベクトルを用いて予測できるからである。その結果、所与のエリアについて見出されたＭＶは、周囲のＭＶから予測されるＭＶと類似又は同一になり、それは、エントロピーコーディングの後、ＭＶを直接コーディングする場合に使用されるであろうものよりも、より少ない数のビットで表され得る。場合によっては、ＭＶ予測は、元の信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であり得る。他の場合には、ＭＶ予測それ自体は、例えば、いくつかの周囲ＭＶから予測子を計算する際の丸め誤差のために、非可逆的であり得る。

様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５，Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，Ｄｅｃｅｍｂｅｒ ２０１６）に、記述されている。

図１を参照すると、現在ブロック（１０１）は、空間的にシフトされた同じサイズの以前のブロックから予測可能であることが、モーションサーチプロセス中にエンコーダにより見出されたサンプルを含む。そのＭＶを直接コーディングする代わりに、１つ以上の参照画像に関連付けられたメタデータから、例えば、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ１０２から１０６）と示される５つの周囲のサンプルのいずれかに関連付けられたＭＶを使用して、（デコード順において、）最新の参照画像から、ＭＶを導出することができる。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照画像からの予測子を使用できる。

本開示の態様は、デコーダにおけるビデオコーディングのための方法及び装置を提供する。いくつかの実施形態では、構文要素のビンを含むビットストリームを受信する。構文要素は、コード化された画像内の変換スキップブロックの領域の係数に対応する。構文要素は、係数のうちの１つの絶対係数レベルが第１閾値よりも大きいかどうかを示す第１フラグと、絶対係数レベルのパリティを示す第２フラグと、を含む。第２フラグはパスでデコードされる（ｄｅｃｏｄｅｄ ｉｎ ａ ｐａｓｓ）。パスは、以下のうちの少なくとも１つを満たす：
（１）他の構文要素がそのパスで（ｉｎ ｔｈｅ ｐａｓｓ）デコードされず、
（２）絶対係数レベルが第２閾値よりも大きいかどうかを示す第３フラグは、そのパスでデコードされ、及び
（３）係数のうちの１つの係数レベルのサイン情報（ｓｉｇｎ ｉｎｆｏｒｍａｔｉｏｎ）を示す第４フラグは、そのパスでデコードされる。第２閾値は第１閾値より大きい。

一実施形態において、第１閾値は１であり、第２閾位置は３である。

一実施形態において、変換スキップブロックに対応する現在ブロックは、ブロック差分パルスコード変調（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｔｉａｌ ｐｕｌｓｅ－ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎａＦａＤＰＣＭ）モードでコーディングされる。

一実施形態において、 先行するパスで、第１フラグと、絶対係数レベルが３より大きいかどうかを示す第５フラグと、をデコードした後に、他の構文要素をデコードすることなく、第２フラグをパスでデコードする。

一実施形態において、先行するパスで記第３フラグをデコードした後に、他の構文要素をデコードすることなく、第２フラグをパスでデコードする。

一実施形態において、第３フラグをと同じパスで（ｉｎ ｔｈｅ ｓａｍｅ ｐａｓｓ ｗｉｔｈ ｔｈｅ ｔｈｉｒｄ ｆｌａｇ）第２フラグをデコードする。

一実施形態において、第４フラグと同じパスで第２フラグをデコードする。

いくつかの実施例では、構文要素のビンを含むビットストリームが受信される。構文要素は、コード化された画像内の変換スキップブロック（ａ ｔｒａｎｓｆｏｒｍ ｓｋｉｐｐｅｄ ｂｌｏｃｋ）の領域の係数に対応する。構文要素は、係数のうちの１つの絶対係数レベルが第１閾値よりも大きいかどうかを示す第１フラグと、係数のうちの１つの絶対係数レベルが第２閾値よりも大きいかどうかを示す第２フラグと、を含む。第２閾値は第１閾値より大きい。コンテキストコード化された第２フラグのビンの数を係数のコード化された情報に基づいて決定する。コンテキストモデリングを実行して、第２フラグのビンの数ごとに（ｆｏｒ ｅａｃｈ ｏｆ ｔｈｅ ｎｕｍｂｅｒ ｏｆ）コンテキストモデルを決定する。第２フラグのビンの数を、決定されたコンテキストモデルに基づいてデコードする。

一実施形態において、第１閾値は１であり、第２閾位置は３である。

一実施形態において、 係数のコード化された情報（ｔｈｅ ｃｏｄｅｄ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｃｏｅｆｆｉｃｉｅｎｔｓ）は、
前記係数を含む現在係数グループ（ＣＧ）内の前記第１フラグの数（ａ ｎｕｍｂｅｒ ｏｆ ｔｈｅ ｆｉｒｓｔ ｆｌａｇ）、
先行するＣＧ内の第１フラグの数（ａ ｎｕｍｂｅｒ ｏｆ ｔｈｅ ｆｉｒｓｔ ｆｌａｇ）、
変換スキップブロックに対応する現在ブロックがイントラコーディングされているか、又は、インターコーディングされているかどうか、
変換スキップブロックのサイズ、
変換スキップブロックの幅、
変換スキップブロックの高さ、又は
変換スキップブロックのアスペクト比
を含む。

一実施形態において、現在ブロックがイントラコーディングされている場合の第２フラグのビンの数は、現在ブロックがインターコーディングされている場合の第２フラグのビンの数より多い。

いくつかの実施形態では、構文要素のビンを含むビットストリームを受信する。構文要素は、コード化された画像内の変換スキップブロックの係数グループ（ＣＧ）に含まれる係数に対応する。ＣＧのコンテキストコード化ビンの最大数又は前記ＣＧのコンテキストコード化ビンの最大平均数を、係数のコード化された情報に基づいて決定する。コンテキストモデリングを実行して、ＣＧの構文要素のビンの数ごとに（ｆｏｒ ｅａｃｈ ｏｆ ａ ｎｕｍｂｅｒ ｏｆ ｔｈｅ ｂｉｎｓ）コンテキストモデルを決定する。コンテキストコード化されている（ｂｅｉｎｇ ｃｏｎｔｅｘｔ ｃｏｄｅｄ）ＣＧの構文要素のビンの数は、ＣＧのコンテキストコード化ビンの最大数又はＣＧのコンテキストコード化ビンの最大平均数を超えない。構文要素のビンの数を、決定された前記コンテキストモデルに基づいてデコードする。

一実施形態において、係数のコード化された情報は、
係数を含む現在係数グループ（ＣＧ）内の第１フラグの数、
先行するＣＧ内の第１フラグの数、
変換スキップブロックに対応する現在ブロックがイントラコーディングされているか、又は、インターコーディングされているかどうか、
変換スキップブロックのサイズ、
変換スキップブロックの幅、
変換スキップブロックの高さ、又は
変換スキップブロックのアスペクト比
を含む。

また、本開示の態様は、コンピュータにより実行されたときに、コンピュータに上記方法のいずれかを実行させる命令を格納する、非一時的なコンピュータ読取可能媒体記憶を提供する。

開示された主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。
図１は、一実施例における現在ブロック及びその周囲の空間マージ候補を模式的に示す図である。 図２は、一実施形態による通信システムの簡略ブロック図を模式的に示す図である。 図３は、一実施形態による通信システムの簡略ブロック図を模式的に示す図である。 図４は、一実施形態によるデコーダの簡略ブロック図を模式的に示す図である。 図５は、一実施形態によるエンコーダの簡略ブロック図を模式的に示す図である。 図６は、別の実施形態によるエンコーダのブロック図である。 図７は、別の実施形態によるデコーダのブロック図である。 図８Ａは、一実施形態による、ブロック差分パルスコード変調コード化ブロックの例を示す図である。 図８Ｂは、一実施形態による、ＢＤＰＣＭコード化ブロックの例を示す図である。 図９Ａは、一実施形態による、例示的なコンテキストベースの適応バイナリ算術コーディング（ＣＡＢＡＣ）ベースのエントロピーエンコーダを示す図である。 図９Ｂは、一実施形態による、例示的なＣＡＢＡＣベースのエントロピーデコーダを示す図である。 図１０は、一実施形態による、サブブロックスキャン順序の一例を示す図である。 図１１は、一実施形態による、変換係数の異なるタイプの構文要素が生成されるサブブロックスキャンプロセスの一例を示す図である。 図１２は、一実施形態による、現在の係数に対するコンテキスト選択に使用されるローカルテンプレートの一例を示す図である。 図１３Ａは、一実施形態による、現在の係数のサイン情報をコーディングするために使用されるコンテキストの例を示す図である。 図１３Ｂは、一実施形態による、電流係数のサイン情報をコーディングするために使用されるコンテキストの一例を示す図である。 図１４は、一実施形態による係数デコーディングプロセスを概説するフローチャートを示す図である。 図１５は、一実施形態による係数デコーディングプロセスを概説するフローチャートを示す図である。 図１６は、一実施形態による係数デコーディングプロセスを概説するフローチャートを示す図である。 図１７は、一実施形態によるコンピュータシステムを模式的に示す図である。

Ｉ．ビデオコーディングエンコーダ及びデコーダ

図２は、本開示の一実施形態による通信システム（２００）の簡略化されたブロック図を示す。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信できる複数の端末デバイスを含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１対の端末デバイス（２１０）及び（２２０）を含む。図２の例では、第１対の端末デバイス（２１０）及び（２２０）は、データの一方向送信を行う。例えば、端末デバイス（２１０）は、ネットワーク（２５０）を介して他の端末デバイス（２２０）に伝送するために、ビデオデータ（例えば、端末デバイス（２１０）により捕捉されるビデオ画像のストリーム）をコーディングすることができる。エンコードされた画像データは、１つ以上のコーディングされたビデオビットストリームの形態で送信されることができる。端末デバイス（２２０）は、ネットワーク（２５０）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコードして、ビデオ画像を復元し、復元されたビデオデータにしたがってビデオ画像を表示できる。一方向性データ伝送は、メディア提供アプリケーション等において、一般的であり得る。

別の例では、通信システム（２００）は、第２対の端末デバイス（２３０）及び（２４０）を含み、例えばビデオ会議中に、発生し得るコーディングされたビデオデータの双方向伝送を行う。データの双方向伝送のために、例えば、端末デバイス（２３０）及び（２４０）の各端末デバイスは、ネットワーク（２５０）を介して端末デバイス（２３０）及び（２４０）の他方の端末デバイスに伝送するために、ビデオデータ（例えば、端末デバイスにより捕捉されるビデオ画像のストリーム）をコーディングすることができる。端末デバイス（２３０）及び（２４０）の各端末デバイスは、端末デバイス（２３０）及び（２４０）の他方の端末デバイスにより送信されたコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコードして、ビデオ画像を復元し、復元されたビデオデータにしたがって、アクセス可能な表示デバイスにビデオ画像を表示できる。

図２の例では、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして示され得るが、本発明の原理はこれらに限定されない。本発明の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のビデオ会議機器への適用を見出す。ネットワーク（２５０）は、例えばワイヤライン（有線）及び／又は無線通信ネットワークを含む、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）の間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（２５０）は、回線交換及び／又はパケット交換チャネル内のデータを交換できる。代表的なネットワークには、テレコミュニケーションネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットが含まれる。 本説明のためには、以下に説明しない限り、ネットワーク（２５０）のアーキテクチャ及びトポロジーは本発明の動作には重要ではない。

図３は、開示された主題の適用例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶや、ＣＤ、ＤＶＤ、メモリースティック等を含むデジタルメディアへの圧縮ビデオの保存等を含む、他のビデオ対応アプリケーションに等しく適用できる。

ストリーミングシステムは、例えば、非圧縮のビデオ画像（３０２）のストリームを生成するビデオソース（３０１）、例えばデジタルカメラを含むことができるキャプチャサブシステム（３１３）を含み得る。一実施形態では、ビデオ画像のストリーム（３０２）は、デジタルカメラにより撮影されるサンプルを含む。エンコードされたビデオデータ（３０４）（又はコーディングされたビデオビットストリーム）と比較した場合に、高データ量を強調するために太線として描かれたビデオ画像のストリーム（３０２）は、ビデオソース（３０１）に結合されたビデオエンコーダ（３０３）を含む電子デバイス（３２０）により処理されることができる。ビデオエンコーダ（３０３）は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができ、以下により詳細に説明されるように、開示された主題の態様を可能にし又は実施する。エンコードされたビデオデータ（３０４）（又はエンコードされたビデオビットストリーム（３０４））は、ビデオ画像（３０２）のストリームと比較した場合に、より低いデータ量を強調するために細線として示され、将来の使用のためにストリーミングサーバ（３０５）に記憶され得る。図３のクライアントサブシステム（３０６）及び（３０８）等の１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（３０５）にアクセスすることができ、エンコードされたビデオデータ（３０４）のコピー（３０７）及び（３０９）を読み出すことができる。クライアントサブシステム（３０６）は、例えば電子デバイス（３３０）内のビデオデコーダ（３１０）を含むことができる。ビデオデコーダ（３１０）は、エンコードされたビデオデータの入力コピー（３０７）をデコードし、ディスプレイ（３１２）（例えばディスプレイスクリーン）又は他のレンダリングデバイス（図示せず）上にレンダリングすることができるビデオ画像の出力ストリーム（３１１）を生成する。いくつかのストリーミングシステムでは、エンコードされたビデオデータ（３０４）、（３０７）及び（３０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮標準にしたがってコーディングされることができる。これらの標準の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。例えば、開発中のビデオコーディング規格は、汎用ビデオコーディング（ＶＶＣ）として非公式に知られている。開示された主題は、ＶＶＣのコンテキストで使用され得る。

電子デバイス（３２０）及び（３３０）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（３２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（３３０）は、ビデオエンコーダ（図示せず）も含むことができる。

図４は、本開示の一実施形態によるビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は、電子デバイス（４３０）に含まれることができる。電子デバイス（４３０）は、受信器（４３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（４１０）は、図３の例のビデオデコーダ（３１０）の代わりに使用されることができる。

受信器（４３１）は、ビデオデコーダ（４１０）によって、デコードされるべき１つ以上のコーディングされたビデオシーケンスを受信することができ、同一又は別の実施形態では、一度に１つのコーディングされたビデオシーケンスを受信することができ、その際、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（４０１）から受信することができ、このチャネルは、エンコードされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る。受信器（４３１）は、エンコードされたビデオデータを、他のデータ、例えばコーディングされたオーディオデータ及び／又は付随的なデータストリームと共に受信することができ、これらのデータは、それぞれのエンティティ（図示せず）を使用して転送され得る。受信器（４３１）は、コーディングされたビデオシーケンスを他のデータから分離できる。ネットワークジッタに対抗するために、バッファメモリ（４１５）が、受信器（４３１）とエントロピーデコーダ／パーサ（４２０）（以後「パーサ（４２０）」）との間に結合され得る。特定の用途では、バッファメモリ（４１５）はビデオデコーダ（４１０）の一部である。他の場合には、ビデオデコーダ（４１０）の外側にあることができる（図示せず）。さらに別の場合には、例えばネットワークジッタに対抗するために、ビデオデコーダ（４１０）の外側にバッファメモリ（図示せず）が存在することができ、さらに、例えば再生タイミングを処理するために、ビデオデコーダ（４１０）の内側に別のバッファメモリ（４１５）が存在することもできる。受信器（４３１）が、十分な帯域幅及び制御可能性の記憶／転送デバイスから、又は、アイソクロナスネットワークから、データを受信している場合、バッファメモリ（４１５）は不要であるか、又は小さくてもよい。インターネット等のベストエフォート型パケットネットワークでの使用のために、バッファメモリ（４１５）は、必要とされ、比較的大きく、有利に適応サイズであり得、ビデオデコーダ（４１０）の外側のオペレーティングシステム又は類似の要素（図示せず）に少なくとも部分的に実装され得る。

ビデオデコーダ（４１０）は、コーディングされたビデオシーケンスからシンボル（４２１）を再構成するためのパーサ（４２０）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（４１０）の動作を管理するために使用される情報、及び、図４に示されているように、電子デバイス（４３０）の不可欠な部分ではないが、電子デバイス（４３０）に結合され得るレンダリングデバイス（４１２）（例えば、表示スクリーン）等のレンダリングデバイスを制御する潜在的な情報を含む。（複数の）レンダリングデバイスの制御情報は、付加拡張情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形態であり得る。パーサ（４２０）は、受信されるコーディングされたビデオシーケンスをパーシングし／エントロピーデコードすることができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は標準に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト感度を伴う又は伴わない算術コーディングなどを含む種々の原理に従うことができる。パーサ（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つに対するサブグループパラメータのセットを、コーディングされたビデオシーケンスから抽出し得る。サブグループは、画像グループ（ＧＯＰ）、画像、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）等を含み得る。パーサ（４２０）はまた、変換係数、量子化パラメータ値、モーションベクター等の情報を、コーディングされたビデオシーケンスから抽出し得る。

パーサ（４２０）は、シンボル（４２１）を生成するように、バッファメモリ（４１５）から受信したビデオシーケンスに、エントロピーデコーディング／パーシング動作を実行し得る。

シンボル（４２１）の再構成は、コーディングされたビデオ画像又はその部分のタイプ（例えば、画像間及び画像内、ブロック間及びブロック内）及び他の要因に応じて、複数の異なるユニットを含むことができる。どのユニットが、どのように含まれているかは、パーサ（４２０）によって、コーディングされたビデオシーケンスからパーシングされたサブグループ制御情報により制御されることができる。パーサ（４２０）と以下の複数ユニットとの間のかかるサブグループ制御情報のフローは、明確さのために図示されていない。

すでに述べた機能ブロックの他に、ビデオデコーダ（４１０）は、概念的に、以下に説明するように、いくつかの機能ユニットに分割されることができる。商業的制約の下で動作する実用的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることができる。しかしながら、開示された主題を説明するの目的で、以下の機能単位に概念的に細分化することが適切である。

第１ユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、量子化された変換係数、並びに、パーサ（４２０）から（複数の）シンボルとして、使用されるべき変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を受信する。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力されることができるサンプル値を含むブロックを出力できる。

いくつかの場合には、スケーラ／逆変換ユニット（４５１）の出力サンプルは、イントラコード化されたブロックに関係できる、すなわち、先行して再構成された画像からの予測情報を使用していないが、現在画像の、先行して再構成された部分からの予測情報を使用できるブロック。 かかる予測情報は、画像内部予測ユニット（４５２）により提供されることができる。場合によっては、画像内部予測ユニット（４５２）は、現在の画像バッファ（４５８）からフェッチされた周囲の既に再構成された情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在の画像バッファ（４５８）は、例えば、部分的に再構成された現在の画像及び／又は完全に再構成された現在の画像をバッファする。アグリゲータ（４５５）は、場合によっては、サンプル毎に、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）により提供される出力サンプル情報に加算する。

他の場合には、スケーラ／逆変換ユニット（４５１）の出力サンプルは、相互コーディングに関係し、潜在的にモーション補償ブロックに関係できる。かかる場合、モーション補償予測ユニット４５３は、予測に使用されるサンプルをフェッチするために参照画像メモリ４５７にアクセスすることができる。ブロックに関連するシンボル（４２１）にしたがって、フェッチされたサンプルをモーション補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（４５５）によって、スケーラ／逆変換ユニット（４５１）の出力（この場合、残差サンプル又は残差信号と称される）に加算されることができる。モーション補償予測ユニット（４５３）が予測サンプルをフェッチする参照画像メモリ（４５７）内のアドレスは、モーションベクターによって、制御することができ、例えばＸ、Ｙ、及び参照画像コンポーネントを有することができるシンボル（４２１）の形態でモーション補償予測ユニット（４５３）に利用可能である。モーション補償はまた、サブサンプルの正確なモーションベクターが使用されている場合に参照画像メモリ（４５７）からフェッチされるようにサンプル値を補間すること、モーションベクター予測機構、等を含むことができる。

アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）内の種々のループフィルタリング技術を受けることができる。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができ、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも称される）に含まれるパラメータにより制御され、パーサ（４２０）からシンボル（４２１）としてループフィルタユニット（４５６）に利用可能にされるが、コーディングされた画像又はコーディングされたビデオシーケンスの（デコード順において、）前の部分のデコードの間に得られるメタ情報に応答できると共に、以前に再構成されループフィルタリングされたサンプル値に応答できる、ループ内フィルタ技術を含むことができる。

ループフィルタユニット（４５６）の出力は、レンダリングデバイス（４１２）に出力されることができ、また将来の画像内部予測に使用するために参照画像メモリ（４５７）に記憶されることができるサンプルストリームでありえる。

コーディングされた画像は、一旦完全に再構成されると、将来の予測のための参照画像として使用されることができる。例えば、一旦現在の画像に対応するコーディング画像が完全に再構成され、（例えば、パーサ（４２０）によって、）コーディングされた画像が参照画像として識別されると、現在の画像バッファ（４５８）は参照画像メモリ（４５７）の一部となることができ、新たな現在画像バッファは、後続のコーディング画像の再構成を開始する前に再割当てされ得る。

ビデオデコーダ（４１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５．等の標準の所定のビデオ圧縮技術にしたがってデコーディング動作を実行し得る。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスが、ビデオ圧縮技術若しくは標準の構文、及び、ビデオ圧縮技術若しくは標準に文書化されているプロファイルの両方に準拠するという意味で、使用されているビデオ圧縮技術又は標準により特定された構文に適合し得る。具体的には、プロファイルは、特定のツールを、そのプロファイルの下で使用できる唯一のツールとして、ビデオ圧縮技術又は標準で使用可能なすべてのツールから選択できる。また、コンプライアンスのために必要なことは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルにより定義される範囲内にあることであり得る。場合によっては、レベルは、最大画像サイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照画像サイズなどを制限する。レベルにより設定された制限は、場合によっては、仮想参照デコーダ（ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）の仕様と、コーディングされたビデオシーケンスでシグナリングされるＨＲＤバッファ管理のメタデータによって、さらに制限され得る。

一実施形態では、受信器（４３１）は、エンコードされたビデオと共に追加の（冗長な）データを受信できる。追加データは、コーディングされた（複数の）ビデオシーケンスの部分として含まれ得る。追加のデータは、データを適切にデコードするため、及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（４１０）により使用され得る。追加のデータは、例えば、時間的、空間的、又は信号雑音比（ＳＮＲ）拡張層、冗長スライス、冗長画像、前方エラー補正コードなどの形態であり得る。

図５は、本開示の一実施形態によるビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子デバイス（５２０）に含まれる。電子デバイス（５２０）は、送信器（５４０）（例えば、送信回路）を含む。図３の例のビデオエンコーダ（３０３）の代わりに、ビデオエンコーダ（５０３）を用いることができる。

ビデオエンコーダ（５０３）は、ビデオエンコーダ（５０３）によって、コーディングされる（複数の）ビデオ映像を捕捉できるビデオソース（５０１）（図５の例では電子デバイス（５２０）の一部ではない）からビデオサンプルを受信し得る。別の例では、ビデオソース（５０１）は、電子デバイス（５２０）の一部である。

ビデオソース（５０１）は、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、．．．）、及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）でありえるデジタルビデオサンプルストリームの形態で、ビデオエンコーダ（５０３）によって、コーディングされるべきソースビデオシーケンスを提供し得る。メディア配信システムにおいて、ビデオソース（５０１）は、予め準備されたビデオを記憶する記憶デバイスであり得る。ビデオ会議システムでは、ビデオソース（５０１）は、局所映像情報をビデオシーケンスとして捕捉するカメラであり得る。ビデオデータは、シーケンスで見たときに動きをもたらす複数の個々の画像として提供され得る。画像自体は、ピクセルの空間アレイとして組織化されることができ、各ピクセルは、使用中のサンプリング構造、色空間等に応じて、１つ以上のサンプルを含むことができる。当業者は、ピクセルとサンプルの関係を容易に理解できる。以下の説明は、サンプルに焦点を当てている。

一実施例によれば、ビデオエンコーダ（５０３）は、リアルタイムで、又はアプリケーションによって、必要とされる他の任意の時間制約の下で、ソースビデオシーケンスの画像をコード化し、コード化されたビデオシーケンス（５４３）に圧縮できる。 適切なコーディングレートを実現することは、コントローラ（５５０）の一つの機能である。いくつかの実施形態において、コントローラ（５５０）は、以下に記載されるように、他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。継手は、明確にするため表されない。コントローラ（５５０）により設定されるパラメータは、レート制御関連パラメータ（画像スキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、画像サイズ、画像グループレイアウト、最大動きベクトルサーチレンジ等を含むことができる。コントローラ（５５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（５０３）に関連する他の適切な機能を有するように構成されることができる。

いくつかの実施形態では、ビデオエンコーダ（５０３）は、コーディングループで動作するように構成される。

過剰に単純化された説明として、一例において、コーディングループは、（例えば、コーディングされるべき入力画像及び参照画像に基づいて、シンボルストリーム等のシンボルを生成する責任を担う）ソースコーダ（５３０）と、ビデオエンコーダ（５０３）に埋め込まれた（ローカル）デコーダ（５３３）とを含むことができる。デコーダ（５３３）は、（シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮が、開示された主題において、考慮されたビデオ圧縮技術において、可逆的であるように）、（リモート）デコーダも作成するのと同様の方法で、シンボルを再構成してサンプルデータを作成する。再構成されたサンプルストリーム（サンプルデータ）は、参照画像メモリ（５３４）に入力される。シンボルストリームのデコーディングは、デコーダロケーション（ローカル又はリモート）に依存しないビットイクザクトな結果（ｂｉｔ－ｅｘａｃｔ ｒｅｓｕｌｔｓ）をもたらすので、参照画像メモリ（５３４）中の内容もまた、ローカルエンコーダとリモートエンコーダとの間でビットイクザクトである。換言すれば、エンコーダの予測部分は、デコーダがデコード中に予測を使用するときに「見る」のとまったく同じサンプル値を参照画像サンプルとして「見る」。参照画像同期性のこの基本原理（及び、例えばチャンネルエラーのために、同期性が維持できない場合の結果として生じるドリフト）は、いくつかの関連技術においても同様に使用される。

「ローカル」デコーダ（５３３）の動作は、ビデオデコーダ（４１０）等の「リモート」デコーダと同じであることができ、これは、図４と関連して詳細に既に上述したとおりである。しかしながら、図４も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（５４５）及びパーサ（４２０）によるコーディングビデオシーケンスへのシンボルのコーディング／デコーディングが可逆的でありえるので、バッファメモリ（４１５）を含むビデオデコーダ（４１０）のエントロピーデコーディング部分及びパーサ（４２０）は、ローカルデコーダ（５３３）に完全には実装されない場合がある。

この点で行うことができる観察は、デコーダ内に存在するパーシング／エントロピーデコーディングを除く任意のデコーダ技術もまた、対応するエンコーダ内に実質的に同一の機能的形態で存在する必要があることである。このために、開示された主題は、デコーダ動作に集中する。それらが包括的に記載されているデコーダ技術の逆であるにつれて、エンコーダ技術の説明を、略記できる。特定の領域だけで、より多くの詳細説明が、必要とされて、下でなされる。

動作中に、いくつかの例において、ソースコーダ（５３０）は、「参照画像」として指定されたビデオシーケンスからの１つ以上の、先行してコーディングされた画像を参照して入力画像を予測的にコーディングする、モーション補償予測コーディングを実行し得る。このようにして、コーディングエンジン（５３２）は、入力画像のピクセルブロックと、入力画像に対する（複数の）予測参照として選択され得る（複数の）参照画像のピクセルブロックとの間の差をコーディングする。

ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）により生成されたシンボルに基づいて、参照画像として指定され得る画像のコーディングされたビデオデータをデコードし得る。コーディングエンジン（５３２）の動作は、有利には、非可逆プロセスであり得る。コーディングされたビデオデータがビデオ・デコーダ（図５には示されていない）でデコードされ得る場合、再構成されたビデオシーケンスは、典型的には、いくつかのエラーを伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（５３３）は、参照画像上でビデオデコーダにより実行され、参照画像キャッシュ（５３４）に記憶されるべき再構成された参照画像を生じさせ得るデコーディング処理を繰り返す。このようにして、ビデオエンコーダ（５０３）は、遠位端ビデオデコーダによって、得られるであろう再構成された参照画像として、共通のコンテンツを有する再構成された参照画像のコピーをローカルに記憶できる。

予測器（５３５）は、コーディングエンジン（５３２）について予測サーチを実行し得る。すなわち、コーディングされるべき新しい画像について、予測器（５３５）は、新しい画像についての適切な予測参照として役立ち得る、参照画像動きベクトル、ブロック形状等の特定のメタデータ、又は、サンプルデータ（参照ピクセルブロックの候補として）、について参照画像メモリ（５３４）をサーチし得る。予測器（５３５）は、適切な予測参照を見出すために、サンプルブロック毎に動作し得る。場合によっては、予測器（５３５）によって、得られたサーチ結果により決定されるように、入力画像は、参照画像メモリ（５３４）に記憶された複数の参照画像から引き出された予測参照を有し得る。

コントローラ（５５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（５３０）のコーディング動作を管理し得る。

上述した機能ユニットの全ての出力は、エントロピーコーダ（５４５）におけるエントロピーコーディングを受け得る。エントロピーコーダ（５４５）は、ハフマンコーディング、可変長コーディング、算術コーディング等の技術にしたがって、シンボルを可逆的に圧縮することによって、種々の機能ユニットにより生成されたシンボルをコーディングされたビデオシーケンスに変換する。

送信器（５４０）は、エントロピーコーダー（５４５）により作成されたコード化ビデオシーケンスをバッファリングして、エンコードされたビデオデータを格納し得る記憶デバイスへのハードウェア／ソフトウェアリンクあり得る通信チャネル（５６０）を介した送信に備えることができる。 送信器（５４０）は、ビデオ・コーダ（５０３）からのコーディングされたビデオデータを、例えばコーディングされたオーディオデータ及び／又は補助的なデータ・ストリーム（図示せず）等の、送信されるべき他のデータとともにマージし得る。

コントローラ（５５０）は、ビデオエンコーダ（５０３）の動作を管理し得る。コーディングの間、コントローラ（５５０）は、各コーディングされた画像に、特定のコーディングされた画像タイプを割り当てることができ、これは、各画像に適用され得るコーディング技術に影響を及ぼし得る。例えば、画像は、しばしば、次の画像タイプの１つとして割り当てられる：

イントラ画像（Ｉ画像）は、予測ソースとしてシーケンス内の他の画像を使用することなく、コーディングされ、デコードされ得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」：Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）画像を含む、異なるタイプのイントラ画像を許容する。当業者は、Ｉ画像のこれらの変形例、並びにそれらのそれぞれの用途及び特徴を認識している。

予測画像（Ｐ画像）は、各ブロックのサンプル値を予測するために、最大で１つの運動ベクトルと参照インデックスを用いるインター予測又はイントラ予測を使用して、コーディングされ、デコードされ得るものであり得る。

双方向（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌｌｙ）予測画像（Ｂ画像）は、各ブロックのサンプル値を予測するために、最大で２つの動きベクトルと参照インデックスを用いるインター予測又はイントラ予測を使用して、コーディングされ、デコードされ得るものであり得る。同様に、複数の予測画像は、１つのブロックの再構成のために、２つ以上の参照画像及び関連するメタデータを使用できる。

ソース画像は、通常、空間的に複数のサンプルブロック（例えば、４×４、８×８、４×８、又は１６×１６の各サンプルのブロック）に分割され、ブロック毎にコーディングされる。ブロックは、ブロックのそれぞれの画像に適用されるコーディング割り当てにより決定された、他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉ画像のブロックは、非予測的にコーディングされるか、又は、それらは、同じ画像の既にコーディングされたブロック（空間予測又はインター予測）を参照して予測的にコーディングされ得る。Ｐ画像の画素ブロックは、先行してコーディングされた一つの参照画像を参照して、空間的予測又は時間的予測を介して予測的にコーディングされ得る。Ｂ画像のブロックは、１つ又は２つの、先行してコーディングされた参照画像を参照して、空間的予測を介して、又は時間的予測を介して予測的にコーディングされ得る。

ビデオエンコーダ（５０３）は、所定のビデオコーディング技術又はＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５．などの標準にしたがってコーディング動作を実行し得る。 その動作において、ビデオエンコーダ（５０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を活用する予測コーディング動作を含む種々の圧縮動作を実行し得る。したがって、コード化されたビデオデータは、使用されているビデオコード化技術又は標準により指定された構文に準拠し得る。

一実施例において、送信器（５４０）は、エンコードされたビデオとともに付加的なデータを送信できる。ソースコーダ（５３０）は、コード化されたビデオシーケンスの一部としてかかるデータを含むことができる。追加のデータは、時間的／空間的／ＳＮＲ強調レイヤーや、他の形式の冗長データ、例えば冗長画像及びスライス、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント等を含み得る。

ビデオは、時間シーケンスにおいて、複数のソース画像（ビデオ画像）として捕捉され得る。画像内予測（Ｉｎｔｒａ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）（しばしば、イントラ予測と略される）は、所与の画像における空間的相関を使用し、画像間予測又はインター予測（ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）は、画像間の（時間的又は他の）相関を使用する。一例では、現在画像と称されるコーディング／デコーディング中の特定の画像は、ブロックに分割される。現在画像内のブロックが、ビデオ内の、先行してコーディングされ、まだバッファされている参照画像内の参照ブロックに類似する場合、現在の画像内ブロックは、動きベクトルと称されるベクトルによって、コーディングされ得る。動きベクトルは、参照画像内の参照ブロックを指し、複数の参照画像が使用されている場合には、参照画像を識別する第３次元を有することができる。

いくつかの実施形態において、双方向予測技術（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）は、画像間予測において、使用され得る。双方向予測技術によれば、ビデオ内の現在画像に対してデコード順では両方とも先行する（ただし、表示順では、それぞれ過去及び未来であり得る）第１参照画像及び第２参照画像等の２つの参照画像が使用される。現在画像内のブロックは、第１参照画像内の第１参照ブロックを指す第１動きベクトルと、第２参照画像内の第２参照ブロックを指す第２の動きベクトルとによって、コーディングされることができる。ブロックは、第１参照ブロックと第２参照ブロックとの組み合わせにより予測されることができる。

さらに、コーディング効率を改善するために、インター画像予測にマージモード技術を使用できる。

本開示のいくつかの実施形態によれば、インター画像予測及びイントラ画像予測等の予測は、ブロックの単位で実行される。例えば、ＨＥＶＣ標準によれば、ビデオ画像シーケンス中の画像は、圧縮のためにコーディングトリーユニット（ＣＴＵ）に仕切られ、画像中のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセル等の、同じサイズを有する。一般に、ＣＴＵは、１つのルマＣＴＢ（ｏｎｅ ｌｕｍａ ＣＴＢ）と２つのクロマＣＴＢ（ｔｗｏ ｃｈｒｏｍａ ＣＴＢｓ）である３つのコーディングトリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数のコーディング単位（ＣＵ）に再帰的に４分木分割できる。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１ＣＵ、３２×３２ピクセルの４ＣＵ、又は１６×１６ピクセルの１６ＣＵに分割できる。例では、各ＣＵは、インター予測タイプ又はイントラ予測タイプ等の、ＣＵの予測タイプを決定するために分析される。ＣＵは時間的及び／又は空間的予測可能性に依存して１つ以上の予測単位（ＰＵ）に分割される。一般に、各ＰＵはルマ予測ブロック（ＰＢ）と２つのクロマＰＢを含む。一実施形態では、コーディング（エンコード／デコード）における予測動作は、予測ブロックのユニットにおいて、実行される。予測ブロックの一例としてルマ予測ブロックを用いると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル等、ピクセルに対する値（例えば、ルマ値）の行列を含む。

図６は、本開示の別の実施形態によるビデオエンコーダ（６０３）の図を示す。ビデオ・エンコーダ（６０３）は、ビデオ画像シーケンス内の現在ビデオ画像内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされた画像にエンコードするように構成されている。一実施例では、ビデオエンコーダ（６０３）は、図３の例のビデオエンコーダ（３０３）の代わりに使用される。

ＨＥＶＣの例では、ビデオエンコーダ（６０３）は、８×８サンプルの予測ブロック等の処理ブロックに対するサンプル値のマトリックスを受信する。ビデオエンコーダ（６０３）は、処理ブロックが、例えばレート歪み最適化を使用して、イントラモード、インターモード、又は双方向予測モードを使用して、最良にコーディングされるかどうかを決定する。処理ブロックがイントラモードでコード化されるべき場合は、ビデオエンコーダ（６０３）はイントラ予測時術を使用して処理ブロックをコード化された画像にエンコードすることができ：処理ブロックがインターモード又は双予測モードでコード化されるべき場合は、ビデオエンコーダ（６０３）はインター予測又は双予測技術を使用して、それぞれ、処理ブロックをコード化された画像にエンコードすることができる。特定のビデオコーディング技術では、マージモードは、予測器外部のコード化された動きベクトル成分の利益なしに、動きベクトルが１つ以上の動きベクトル予測器から導出されるインター画像予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一実施形態では、ビデオエンコーダ（６０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）等の他の構成要素を含む。

図６の例では、ビデオエンコーダ（６０３）は、図６に示すように一緒に結合されたエントロピーエンコーダ（６２５）と、インターエンコーダ（６３０）と、イントラエンコーダ（６２２）と、残差計算器（６２３）と、スイッチ（６２６）と、残差エンコーダ（６２４）と、汎用コントローラ（６２１）と、を含む。

インターエンコーダ（６３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照画像内の１つ以上の参照ブロックと比較し（例えば、先行する画像内及び後の画像内のブロック）、インター予測情報（例えば、インターエンコーディング技術による冗長情報の記述、動きベクトル、マージモード情報）を生成し、任意の適切な技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。若干の実施例において、基準ピクチャは、コード化されたビデオ情報に基づいて復号化される復号化基準ピクチャである。

イントラエンコーダ（６２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、ブロックを、同じ画像内で既にコーディングされたブロックと比較し、変換後に量子化された係数を生成し、場合によっては、イントラ予測情報（例えば、１つ以上のイントラコーディング技術に従ったイントラ予測方向情報）も生成するように構成されている。一実施例では、イントラエンコーダ（６２２）はまた、同じ画像内のイントラ予測情報及び参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。

汎用コントローラ（６２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（６０３）の他の構成要素を制御するように構成される。一実施形態では、汎用コントローラ（６２１）は、ブロックのモードを決定し、そのモードに基づいてスイッチ（６２６）に制御信号を供給する。例えば、モードがイントラモードである場合、汎用コントローラ（６２１）は、スイッチ（６２６）を制御して、残差計算器（６２３）が使用するイントラモード結果を選択し、エントロピーエンコーダ（６２５）を制御して、
ビットストリームにイントラ予測情報を含め、モードがインターモードの場合、汎用コントローラ（６２１）は、スイッチ（６２６）を制御して残差計算器（６２３）で使用するインター予測結果を選択し、エントロピーエンコーダ（６２５）を制御してインター予測情報を選択し、ビットストリームにインター予測情報を含める。

残差計算器（６２３）は、受信されたブロックと、イントラエンコーダ（６２２）又はインターエンコーダ（６３０）から選択された予測結果との差（残差データ）を計算するように構成される。残差エンコーダ（６２４）は、残差データに基づいて動作し、残差データをエンコードして変換係数を生成するように構成される。一実施例では、残差エンコーダ（６２４）は、残差データを空間ドメインから周波数ドメインにコンバートし、変換係数を生成するように構成される。それから、変換係数は量子化処理に従属して、量子化変換係数を得る。様々な実施形態では、ビデオエンコーダ（６０３）は、残差デコーダ（６２８）も含む。残差デコーダ（６２８）は、逆変換を実行し、デコードされた残差データを生成するように構成される。デコードされた残差データは、イントラエンコーダ（６２２）及びインターエンコーダ（６３０）によって、適切に使用されることができる。例えば、インターエンコーダ（６３０）は、デコードされた残差データ及びインター予測情報に基づいてデコードされたブロックを生成することができ、イントラエンコーダ（６２２）は、デコードされた残差データ及びイントラ予測情報に基づいてデコードされたブロックを生成できる。デコードされたブロックは、いくつかの実施例では、デコードされた画像を生成するために適切に処理され、デコードされた画像は、メモリ回路（図示せず）内でバッファされ、参照画像として使用され得る。

エントロピーエンコーダ（６２５）は、エンコードされたブロックを含むようにビットストリームをフォーマットするように構成されている。エントロピーエンコーダ（６２５）は、ＨＥＶＣ標準のような適切な標準に従った種々の情報を含むように構成される。一実施例では、エントロピーエンコーダ（６２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及びビットストリーム内の他の適切な情報を含むように構成される。開示された主題にしたがってインターモード又は双方向予測モードのいずれかのマージサブモードにおけるブロックをコーディングする場合、残差情報は存在しないことに留意されたい。

図７は、本開示の別の実施形態によるビデオデコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、コーディングされたビデオシーケンスの一部であるコーディングされた画像を受信し、コーディングされた画像をデコードして再構成画像を生成するように構成されている。一実施形態では、ビデオデコーダ（７１０）は、図３の実施形態のビデオデコーダ（３１０）の代わりに使用される。

図７実施例において、ビデオデコーダ（７１０）は、図７に示すように一緒に結合されているエントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構成モジュール（７７４）およびイントラデコーダ（７７２）を含む。

エントロピーデコーダ（７７１）は、コーディングされた画像から、そのコーディング画像を作成する（ｏｆ ｗｈｉｃｈ ｔｈｅ ｃｏｄｅｄ ｐｉｃｔｕｒｅ ｉｓ ｍａｄｅ ｕｐ）構文要素を表す特定のシンボルを再構成するように構成できる。かかるシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双方向予測モード、マージサブモード又は別のサブモードにおけるインターモード、双方向予測モード等）、予測情報（例えば、イントラ予測情報又はインター予測情報）を含むことができ、それらは、イントラデコーダ（７２２）又はインターデコーダ（７８０）によって、それぞれ使用される特定のサンプル又はメタデータ、例えば量子化された変換係数の形態の残差情報等、を識別できる。実施例において、予測モードがインターであるか双予測されたモードであるときに、インター予測情報はインター・デコーダ（７８０）に提供される。そして、予測タイプが先行復号化タイプであるときに、先行復号化情報はイントラ・デコーダ（７７２）に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ（７７３）に提供される。

インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（７７３）は、逆量子化変換係数（ｄｅ－ｑｕａｎｔｉｚｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を抽出するために逆量子化を実行し、逆量子化変換係数を処理して残差を周波数領域から空間領域にコンバートするように構成される。残差デコーダ（７７３）は、量子化器パラメータ（ＱＰ）を含む特定の制御情報も必要とすることがあり、その情報は、エントロピーデコーダ（７７１）により提供され得る（データパスは、低ボリューム制御情報のみであり得るため、図示されていない）。

再構成モジュール（７７４）は、空間領域において、残差デコーダ（７７３）により出力される残差と（場合によっては、インター又はイントラ予測モジュールにより出力される）予測結果を組み合わせて、再構成されたブロックを形成し、これは、再構成された画像の一部であり得、したがって、再構成されたビデオの一部であり得る。デブロッキング等の他の適切な動作を行って、視覚品質を改善できることに留意されたい。

なお、ビデオエンコーダ（３０３）、（５０３）及び（６０３）と、ビデオデコーダ（３１０）、（４１０）、及び（７１０）とは、任意の適切な技術を用いて実現できる。一実施形態では、ビデオエンコーダ（３０３）、（５０３）及び（６０３）と、ビデオデコーダ（３１０）、（４１０）及び（７１０）とは、１つ以上の集積回路を使用して実装され得る。別の実施形態では、ビデオエンコーダ（３０３）、（５０３）及び（５０３）と、ビデオデコーダ（３１０）、（４１０）、及び（７１０）とは、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実現できる。

ＩＩ．変換スキップモード

本開示の一実施形態では、変換スキップ（ＴＳ）モードを、イントラ及びインター予測残差の両方をコーディングするために適用できる。１６サンプル以下のルマ又はクロマコーディングブロックに対して、ＴＳモードが現在ブロックに適用されているかどうかを示すフラグがシグナリングされ得る。

ＴＳモードが適用される場合、予測プロセスは通常の変換モードの予測プロセスと同じである。いくつかの例では、イントラ又はインター予測が適用され得る。変換スキップＴＵの場合、スケーリングプロセスを使用して、変換スキップ係数が他の変換係数と同様の大きさになるようにすることができる。一実施形態では、スケールダウンプロセスを実行することができ、スケーリングファクタは、同じサイズの他の変換（ノルム１の標準浮動小数点変換に対して）に関連するスケーリングと同じであり得る。さらに、ＴＳモードが適用される場合、非量子化及びスケーリングは、通常の変換モードでの非量子化及びスケーリングと同じである。ＴＳモードが適用されている場合、デブロッキング、サンプルアダプティブオフセット（ＳＡＯ）、及びアダプティブループフィルタリング（ＡＬＦ）も同じであるが、変換がバイパスされているかどうかを示すフラグがシグナリングされ得る。さらに、ＴＳモードが有効か否かを示すフラグがＳＰＳでシグナリングされ得る。

一実施例において、ＶＶＣドラフトのＴＳモードに関連する仕様テキストを以下の表１に示す：

表１で、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］は、関連付けられた変換ブロックに変換を適用するかどうかを指定する。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］が１に等しい場合、現在の変換ブロックに変換が適用されないことを指定する。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］が０に等しい場合、変換が現在の変換ブロックに適用されるかどうかが他の構文要素に依存することを指定する。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］が存在しない場合、０に等しいと推測される。

配列インデックスｘ０、ｙ０は、画像の左上の輝度サンプルに対する変換ブロックの左上のルマサンプルの位置（ｘ０、ｙ０）を指定する。配列インデックスｃＩｄｘは、カラーコンポーネントのインジケーターを指定する。配列インデックスｃＩｄｘが０に等しい場合、色成分はルマである。配列インデックスｃＩｄｘが１に等しい場合、色成分はＣｂである。配列インデックスｃＩｄｘが２に等しい場合、色成分はＣｒである。

次に、スケーリング及び変換プロセスの実施例は、後述する。

プロセスへの入力は：
（ａ）現在の画像の左上のルマサンプルに対する、現在のルマ変換ブロックの左上のサンプルを指定するルマ位置（ｘＴｂＹ、ｙＴｂＹ）、
（ｂ）現在ブロックの色成分を指定する変数ｃＩｄｘ、
（ｃ）変換ブロック幅を指定する変数ｎＴｂＷ、及び（ｄ）変換ブロックの高さを指定する変数ｎＴｂＨ、である。

このプロセスの出力は、ｘ＝０．．．ｎＴｂＷ－１，ｙ＝０．．．ｎＴｂＨ－１を有する残差サンプル［ｘ］［ｙ］の配列７であり得る。

スケーリングプロセスにおいて、変数ｂｉｔＤｅｐｔｈは、現在の色成分のビット深度であり、変数ｂｄＳｈｉｆｔは、スケーリングシフトファクターであり、変数ｔｓＦｉｆｔは、変換スキップシフトである。変数ｂｉｔＤｅｐｔｈ、ｂｄＳｈｉｆｔ、及びｔｓＳｈｉｆｔは、次のように導出できる：
ｂｉｔＤｅｐｔｈ＝（ｃＩｄｘ＝＝０）？ＢｉｔＤｅｐｔｈＹ：ＢｉｔＤｅｐｔｈＣ （式１）
ｂｄＳｈｉｆｔ＝Ｍａｘ（２２？ｂｉｔＤｅｐｔｈ，０） （式２）
ｔｓＳｈｉｆｔ＝５＋（（Ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））／２） （式３）

変換係数に対するスケーリングプロセスは、入力として、変換ブロック位置（ｘＴｂＹ，ｙＴｂＹ）、変換幅ｎＴｂＷ及び変換高さｎＴｂＨ、色成分変数ｃＩｄｘ及び現在の色成分のビット深度ｂｉｔＤｅｐｔｈ、さらに、出力として、スケーリングされた変換係数の配列で呼び出され得る。

残差サンプルｒの（ｎＴｂＷ）ｘ（ｎＴｂＨ）配列は、量子化された係数であり、以下のように導出され得る。

ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］が１に等しい場合、ｘ＝０…ｎＴｂＷ－１，ｙ＝０…ｎＴｂＨ－１ｘを有する残差サンプル配列値ｒ［ｘ］［ｙ］は次のように導き出され得る：
ｒ［ｘ］［ｙ］＝ｄ［ｘ］［ｙ］＜＜ｔｓＳｈｉｆｔ （式４）

ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］が０に等しい場合、スケール化された変換係数に対する変換プロセスは、入力として、変換ブロック位置（ｘＴｂＹ、ｙＴｂＹ）、変換幅ｎＴｂＷ及び変換高さｎＴｂＨ、色成分変数ｃＩｄｘ及びスケール化された変換係数ｄの（ｎＴｂＷ）ｘ（ｎＴｂＨ）配列、出力として、残差サンプルｒの（ｎＴｂＷ）ｘ（ｎＴｂＨ）配列で呼び出され得る。

ｘ＝０．．．ｎＴｂＷ－１，ｙ＝０．．．ｎＴｂＨ－１を有する残差サンプル［ｘ］［ｙ］は次のように導き出されることができる：
ｒｅｓＳａｍｐｌｅｓ［ｘ］［ｙ］＝（ｒ［ｘ］［ｙ］＋（１＜＜（ｂｄＳｈｉｆｔ？１）））＞＞ｂｄＳｈｉｆｔ （式 ５）

ＩＩＩ．ブロック差分パルスコード変調

ブロック差分パルスコード変調（ＢＤＰＣＭ）は、ブロックレベルで差分パルスコード変調（ＤＰＣＭ）アプローチを使用するイントラコーディングツールである。ＣＵが、各次元が３２以下のルーマイントラコード化ＣＵである場合は常に、ｂｄｐｃｍ＿ｆｌａｇはＣＵレベルで送信され得る。このフラグは、通常のイントラコーディング又はＤＰＣＭが使用され、単一のコンテキストベースの適応バイナリ算術コーディング（ＣＡＢＡＣ）を使用してエンコードされているかどうかを示す。

ＢＤＰＣＭは、ＬＯＣＯ－Ｉの中央値エッジ検出器（Ｍｅｄｉａｎ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ）を使用できる（例えば、ＪＰＥＧ－ＬＳで使用される）。具体的には、ピクセルＡを左隣、ピクセルＢを上隣（ｔｏｐ ｎｅｉｇｈｂｏｒ）、Ｃを左上隣として有する現在のピクセルＸに対して、現在のピクセルＸ Ｐ（Ｘ）の予測は次の式で決定される：
Ｃ≧ｍａｘ（Ａ，Ｂ）Ｐの場合、Ｐ（Ｘ）＝ ｍｉｎ（Ａ，Ｂ）
Ｃ≦ｍｉｎ（Ａ，Ｂ）の場合、ｍａｘ（Ａ，Ｂ）
その他の場合、Ａ＋Ｂ－Ｃ 式（６）

ピクセル予測子は、ＣＵの最上行（ｔｏｐ ｒｏｗ）及び左列から予測するときに、フィルタリングされていない参照ピクセルを使用する。次に、予測子は、ＣＵの残りの部分に対して再構築されたピクセルを使用します。ピクセルは、ＣＵ内でラスタースキャンの順序で処理されます。予測エラーは、再スケーリング後に、変換スキップ量子化器と同じ方法で空間ドメインにおいて、量子化し得る。各ピクセルは、逆量子化された（ｄｅｑｕａｎｔｉｚｅｄ）予測エラーを予測に付加することによって、再構築されることができる。したがって、再構築されたピクセルを使用して、ラスタースキャン順序で次のピクセルを予測できる。量子化された予測エラーの振幅とサインは別個にエンコードされる。ｃｂｆ＿ｂｄｐｃｍ＿ｆｌａｇはコーディングされる。ｃｂｆ＿ｂｄｐｃｍ＿ｆｌａｇが０に等しい場合、ブロックのすべての振幅はゼロとしてデコードされる。ｃｂｆ＿ｂｄｐｃｍ＿ｆｌａｇが１に等しい場合、ブロックのすべての振幅はラスタースキャン順序で個別にエンコードされる。 複雑さを低く保ために、振幅を（包括的に）最大３１に制限できる。振幅は、第１ビンに（ｆｏｒ ｔｈｅ ｆｉｒｓｔ ｂｉｎ）３つのコンテキストで（ｗｉｔｈ ｔｈｒｅｅ ｃｏｎｔｅｘｔｓ）、第１２ビンまでは追加のビンごとに１つのコンテキストで、残りのすべてのビンに１つのコンテキストで、単項バイナリ化を使用してエンコードできる。サインは、ゼロ残差ごとにバイパスモデルでエンコードされ得る。

通常のイントラモード予測のコヒーレンスを維持するために、イントラモード予測の最も可能性の高いモード（ＭＰＭ）リストの第１モードは、ＢＤＰＣＭ ＣＵに関連付けられ（送信されずに）、後続のブロックのＭＰＭを生成するために利用可能である。

デブロックフィルタは、２つのＢＤＰＣＭコード化ブロック間の輪郭（ｂｏｒｄｅｒ）／境界（ｂｏｕｎｄａｒｙ）で非アクティブ化され得る。なぜなら、ＢＤＰＣＭコード化ブロックのどちらも、通常、アーティファクトのブロッキングに関与する変換を実行しないからである。さらに、ＢＤＰＣＭは、ここで説明されているもの以外のステップを使用しない場合がある。特に、ＢＤＰＣＭは、上記のように残差コーディングで変換を実行しない場合がある。

ＢＤＰＣＭに関するスループットの改善及び他の画面コンテンツコーディング（ＳＣＣ）ツールとの相互作用を調査するために、ＢＤＰＣＭに関するいくつかのテストが実施されている。

図８Ａは、一実施形態によるＢＤＰＣＭコード化ブロックの例を示す。図８Ａに示す例は、テスト１に関連している。図８Ａでは、スループットを向上させるために、より小さなブロック（例えば、４ｘ４、４ｘ８及び８ｘ４のサイズを有する）は、ブロックを２つの半体に効果的に分割する対角線を使用して、２つの、独立してデコード可能なエリアに分割され得る（例えば、階段状成形パーテション（ｓｔａｉｒ－ｃａｓｅ ｓｈａｐｅｄ ｐａｒｔｉｔｉｏｎ）。

一実施形態では、第１の半分のある領域からのピクセルは、予測を計算するために第２の半分の別の領域からのピクセルを使用することを許されない場合がある。ある領域のピクセルが別の領域のピクセルを使用して予測を計算する必要がある場合は、代わりに参照ピクセルが使用される。例えば、他の領域からのピクセルは、最も近い参照ピクセルにより置き換えられ得る。たとえば、左隣を同じ行の左側の参照ピクセルに置き換え、
上隣を同じ列の左側の参照ピクセルに置き換え、
左上隣を最も近い参照ピクセルに置き換えることができる。したがって、２つの領域を並行して処理できる。

図８Ａはまた、異なるサイズを有する各ブロックの例示的なスループットを提供する。たとえば、２つの、独立してデコード可能な領域を有する４×４ブロックの場合、スループットは１サイクルあたり４ピクセルになり得る。２つの、独立してデコード可能な領域を有する４×８又は８×４ブロックの場合、スループットは１サイクルあたり５．３３ピクセルになり得る。独立してデコード可能な領域がない８ｘ８ブロックの場合、スループットは１サイクルあたり４．２６ピクセルになり得る。独立してデコード可能な領域がない８ｘ８ブロックの場合、スループットは１サイクルあたり４．２６ピクセルになり得る。独立してデコード可能な領域がない１６ｘ１６ブロックの場合、スループットは１サイクルあたり８．２５ピクセルになり得る。

図８Ｂは、一実施形態によるＢＤＰＣＭコード化ブロックの例を示す。図８Ｂに示す例は、テスト２に関連する。図８Ｂに示されるように、ブロックは、ＪＰＥＧ－ＬＳ予測子を置き換えるために、垂直又は水平予測子を使用して分割され得る。垂直又は水平の予測子を選択して、ブロックレベルでシグナリングし得る。独立してデコード可能な領域の形状は、予測子のジオメトリを反映する。現在ピクセルの予測に左側又は上側の（ｌｅｆｔ ｏｒ ａ ｔｏｐ）ピクセルを使用する水平又は垂直の予測子の形状により、ブロックを処理する最もスループット効率の高い方法は、１つの列又は行のすべてのピクセルを並列に処理し、かつ、これらの列又は行を順番に処理することであり得る。たとえば、スループットを向上させるために、幅４のブロックは、このブロックで選択された予測子が垂直の場合、水平境界で２つの半分に分割され、高さ４のブロックは、このブロックで選択された予測子が水平の場合、垂直境界で２つの半分に分割される。２つの、独立してデコード可能な領域を持つ４×４ブロック、８×４、又は４×８ブロックの場合、スループットは１サイクルあたり８ピクセルになり得る。独立してデコード可能な領域がない４×８ブロック、８ｘ４ブロック、又は８ｘ８ブロックの場合、スループットは１サイクルあたり８ピクセルになり得る。独立してデコード可能な領域がない１６ｘ１６ブロックの場合、スループットは１サイクルあたり１６ピクセルになり得る。

テスト３において、本開示の実施形態によれば、ＢＤＰＣＭ残差振幅は２８に制限され、振幅は、第一の１２個のビンに対して切り捨て単項バイナリ化でエンコードされ、剰余に対して２次指数ゴロム等確率ビン（ｏｒｄｅｒ－２ Ｅｘｐ－Ｇｏｌｏｍｂ ｅｑｕａｌ ｐｒｏｂａｂｉｌｉｔｙ ｂｉｎｓ）が続く（たとえば、ｅｎｃｏｄｅＲｅｍＡｂｓＥＰ（）関数を使用）。

ＩＶ．変換係数コーディング

エントロピーコーディングは、ビデオ信号が一連の構文要素に減少された（ｒｅｄｕｃｅｄ）後、ビデオコーディングの最終段階（又はビデオデコーディングの第１段階）で実行されることができる。エントロピーコーディングは、データを表すために使用されるビット数がデータの確率に対数的に比例するように、統計プロパティを使用してデータを圧縮する可逆圧縮方式でありえる。たとえば、構文要素のセットに対してエントロピーコーディングを実行することにより、構文要素を表すビット（ビンと称される）をビットストリーム内のより少ないビット（コード化ビットと称される）に変換できる。ＣＡＢＡＣは、エントロピーコーディングの１つの形式である。ＣＡＢＡＣでは、確率推定を提供するコンテキストモデルを、それぞれのビンに関連付けられたコンテキストに基づいて、ビンのシーケンス内の各ビンに対して決定できる。続いて、確率推定を使用してバイナリ算術コーディングプロセスを実行し、ビンのシーケンスをビットストリーム内のコード化されたビットにエンコードすることができる。さらに、コンテキストモデルは、コード化されたビンに基づく新たな確率推定で更新される。

図９Ａは、一実施形態による例示的なＣＡＢＡＣベースのエントロピーエンコーダ（９００Ａ）を示す。例えば、エントロピーエンコーダ（９００Ａ）は、図５の例のエントロピーコーダ（５４５）又は図６の例のエントロピーエンコーダ（６２５）に実装できる。エントロピーエンコーダ（９００Ａ）は、コンテキストモデラ（９１０）及びバイナリ算術エンコーダ（９２０）を含むことができる。一実施例では、様々なタイプの構文要素が、エントロピーエンコーダ（９００Ａ）への入力として提供される。 例えば、バイナリ値の構文要素のビンは、コンテキストモデラ（９１０）に直接入力されることができ、一方、非バイナリ値の構文要素は、ビン文字列のビンがコンテキストモデラ（９１０）に入力される前に、ビン文字列にバイナリ化されることができる。

一実施例では、コンテキストモデラ（９１０）は、構文要素のビンを受信し、コンテキストモデリングプロセスを実行して、受信した各ビンに対するコンテキストモデルを選択する。たとえば、変換ブロック内の変換係数のバイナリ構文要素のビンが受信される。現在ブロックが予測のためにＢＤＰＣＭでコード化されている場合、変換ブロックは変換スキップブロックであり得る。したがって、例えば、構文要素のタイプ、変換コンポーネントの色コンポーネントタイプ、変換係数の位置、及び、先行して処理された隣接する変換係数などに基づいて、このビンのコンテキストモデルを決定できる。コンテキストモデルは、このビンに対する確率推定を提供できる。

一実施例では、コンテキストモデルのセットは、１つ以上のタイプの構文要素に対して構成できる。これらのコンテキストモデルは、図９Ａに示すように、メモリ（９０１）に格納されるコンテキストモデルリスト（９０２）に配置されることができる。コンテキストモデルリスト（９０２）の各エントリは、コンテキストモデルを表すことができる。リスト内の各コンテキストモデルは、コンテキストモデルインデックスと称されるインデックス、又はコンテキストインデックスに割り当てられることが可能である。さらに、各コンテキストモデルは、確率推定値（ｐｒｏｂａｂｉｌｉｔｙ ｅｓｔｉｍａｔｅ）又は確率推定値を示すパラメータを含むことができる。確率推定値は、ビンが０又は１である可能性を示すことができる。例えば、コンテキストモデリング中に、コンテキストモデラ（９１０）は、ビンに対するコンテキストインデックスを計算することができ、したがって、コンテキストモデルは、コンテキストモデルリスト（９０２）からのコンテキストインデックスに従って選択されることができ、ビンに割り当てられることが可能である。

さらに、コンテキストモデルリスト内の確率推定値は、エントロピーエンコーダ（９００Ａ）の動作の開始時に初期化できる。コンテキストモデルリスト（９０２）内のコンテキストモデルがビンに割り当てられ、ビンをエンコードするために使用された後、コンテキストモデルは、更新された確率推定値を有するビンの値に従ってその後更新されることができる。

一実施例では、バイナリ算術エンコーダ（９２０）は、ビン及びビンに割り当てられたコンテキストモデル（例えば、確率推定値）を受信し、したがって、バイナリ算術コーディングプロセスを実行する。その結果、コード化されたビットが生成され、ビットストリームで送信される。

図９Ｂは、一実施形態による、例示的なＣＡＢＡＣベースのエントロピーデコーダ（９００Ｂ）を示す。例えば、エントロピーデコーダ（９００Ｂ）は、図４のパーサ（４２０）又は図７のエントロピーデコーダ（７７１）に実装されることができる。エントロピーデコーダ（９００Ｂ）は、バイナリ算術デコーダ（９３０）及びコンテキストモデラ（９４０）を含むことができる。バイナリ算術デコーダ（９３０）は、ビットストリームからのコード化されたビットを受信し、バイナリ算術デコーディングプロセスを実行して、コード化されたビットからビンを回復する。コンテキストモデラ（９４０）は、コンテキストモデラ（９１０）と同様に動作できる。例えば、コンテキストモデラ（９４０）は、メモリ（９０３）に格納されたコンテキストモデルリスト（９０４）内のコンテキストモデルを選択し、選択されたコンテキストモデルをバイナリ算術デコーダ（９３０）に提供できる。コンテキストモデラ（９４０）は、バイナリ算術デコーダ（９３０）から復元されたビンに基づいてコンテキストモデルを決定できる。例えば、復元されたビンに基づいて、コンテキストモデラ（９４０）は、次にデコードされるビンの構文要素のタイプ、及び先行してデコードされた構文要素の値を知ることができる。その情報は、次にデコードされるべきビンのコンテキストモデルを決定するために使用される。

Ｖ．変換係数に対するエントロピーコーディング

１． 変換係数の構文要素

一実施形態では、変換ブロックの残差信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌｓ）は、まず空間ドメインから周波数ドメインに変換され、変換係数のブロックをもたらす。その後、量子化が実行されて、変換係数のブロックが変換係数レベルのブロックに量子化される。様々な実施形態では、残差信号を変換係数レベルに変換するために異なる技術が使用され得る。変換係数レベルのブロックはさらに処理されて、エントロピーエンコーダに提供され、ビットストリームのビットにエンコードされることができる構文要素が生成される。一実施形態では、変換係数レベルから構文要素を生成するプロセスは、以下の方法で実行できる。

変換係数レベルのブロックは、最初に、例えば、４ｘ４位置サイズを有するサブブロックに分割されることができる。これらのサブブロックは、所定のスキャン順序に従って処理されることができる。図１０は、逆対角スキャン順序と称される、サブブロックスキャン順序の例を示している。図示のように、ブロック（１０１０）は、１６のサブブロック（１００１）に分割されている。各サブブロック（１００１）は、係数グループ（ＣＧ）であり得る。サブブロック（１００１）内の位置が処理又はスキャンされる前に、フラグはシグナリングされることができ、ＣＧが少なくとも１つの非ゼロ変換係数レベルを含むかどうかを示すことができる。フラグがＣＧに非ゼロ変換係数レベルが少なくとも１つ含まれていることを示す場合、右下隅のサブブロックが最初に処理され、左上隅のサブブロックが最後に処理されます。変換係数レベルが全てゼロであるサブブロックの場合、一実施例では、サブブロックは処理されずにスキップされることができる。 ＴＳモードでは、スキャン順序は逆対角スキャン順序の反対になり得る。つまり、左上隅のサブブロックを最初に処理し、右下隅のサブブロックを最後に処理できる。

それぞれが少なくとも１つの非ゼロ変換係数レベルを有するサブブロックの場合、４つのスキャンパスを各サブブロックで実行できる。各パス中に、それぞれのサブブロック内の１６の位置が、逆対角スキャン順序でスキャンされることができる。図１１は、変換係数の異なるタイプの構文要素を生成できるサブブロックスキャンプロセス（１１００）の例を示す。

サブブロック内の１６個の係数位置（１１１０）が、図１１の下部に一次元で示されている。位置（１１１０）には、それぞれのスキャン順序を反映して０から１５までの番号が付されている。第一のパス中に、スキャン位置（１１１０）がスキャンされ、各スキャン位置（１１１０）において、以下の３種類の構文要素（１１０１－１１０３）が生成される：
（ｉ） それぞれの変換係数の絶対変換係数レベル（以下「ａｂｓＬｅｖｅｌ」と称される）がゼロ以上であるかどうか、を示す第１タイプのバイナリ構文要素（１１０１）（重要度フラグ（ｓｉｇｎｉｆｉｃａｎｃｅ ｆｌａｇｓ）と称され、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇで示される）。絶対変換係数レベルは、通常、変換係数値の大きさ（ｔｈｅ ｍａｇｎｉｔｕｄｅ）を指す。サイン値（正又は負）と組み合わせた絶対変換係数レベルは、変換係数を表すことができる。
（ｉｉ）それぞれの変換係数の絶対変換係数レベルのパリティを示す第２タイプのバイナリ構文要素（１１０２）（パリティフラグと称され、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇで示される）。パリティフラグは、それぞれの変換係数の絶対変換係数レベルがゼロ以外の場合にのみ生成される。
（ｉｉｉ）（ａｂｓＬｅｖｅｌ－１）＞＞１がそれぞれの変換係数に対して０より大きいかどうかを示す、第３タイプのバイナリ構文要素（１１０３）（１超過フラグと称され、ｒｅｍ＿ａｂｓ＿ｇｔ１＿ｆｌａｇで示される）。１超過フラグは、それぞれの変換係数の絶対変換係数レベルがゼロ以外の場合にのみ生成される。

第２パスの間に、第４タイプのバイナリ構文要素（１１０４）が生成され得る。第４タイプの構文要素（１１０４）は、２超過フラグと称され、ｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇで示される。第４タイプの構文要素（１１０４）は、それぞれの変換係数の絶対変換係数レベルが４より大きいかどうかを示す。２超過フラグは、（ａｂｓＬｅｖｅｌ－１）＞＞１が、それぞれの変換係数に対して、０より大きい場合にのみ生成される。

第３パスの間に、第５タイプの非バイナリ構文要素（１１０５）がおそらく生成され得る。剰余は通常、絶対変換係数レベルａｂｓＬｅｖｅｌの剰余値を指す（例：ａｂｓ＿ｒｅｍａｉｎｄｅｒ）。係数コーディングでは、係数レベルが所定の値Ｘより大きいかどうかを示すために、少なくとも第１信号が生成される。続いて、絶対変換係数レベルの剰余値に対応する第２信号が生成される（例えば、ａｂｓＬｅｖｅｌ－Ｘ）。例えば、ここで、第５タイプの構文要素（１１０５）は、ａｂｓ＿ｒｅｍａｎｄｅｒにより示されることができ、４より大きいそれぞれの変換係数の絶対変換係数レベルの剰余値を示す。第５タイプの構文要素（１１０５）は、それぞれの変換係数の絶対変換係数レベルが４より大きい場合にのみ生成される。

第４パスの間に、第６タイプの構文要素（１１０６）が、それぞれの変換係数レベルのサイン（ｓｉｇｎ）を示す非ゼロの係数レベルで、各スキャン位置（１１１０）において、生成され得る。

ＴＳモードでは、第１パスは、重要度フラグ、パリティフラグ、１超過フラグ、及び２超過フラグを含み得る。さらに、ｘ超過フラグなど、追加のタイプの構文要素が別のパスで生成され得る。ｘ超過フラグは、ｒｅｍ＿ａｂｓ＿ｇｔｘ＿ｆｌａｇで示され、それぞれの変換係数の絶対変換係数レベルがｘより大きいかどうかを示す。いくつかの例では、ｘは２、４、６、又は８でありえる。

上記の様々なタイプの構文要素は、パス順序及び各パスのスキャン順序に従って、エントロピーエンコーダに提供されることができる。異なるタイプの構文要素をエンコードするために、異なるエントロピーエンコーディングスキームを使用できる。例えば、一実施形態では、重要度フラグ、パリティフラグ、１超過フラグ、及び２超過フラグは、図９Ａに記載されているように、ＣＡＢＡＣベースのエントロピーエンコーダでエンコードされることができる。対照的に、第３及び第４パスの間に生成された構文要素は、ＣＡＢＡＣバイパスエントロピーエンコーダ（たとえば、入力ビンに対する、固定確率推定のバイナリ算術エンコーダ）でエンコードされることができる。

２．変換係数構文要素のビンのコンテキストモデリング

コンテキストモデリングを実行して、いくつかのタイプの変換係数構文要素のビンのコンテキストモデルを決定できる。一実施形態では、変換係数間の相関を利用するために、コンテキストモデルは、ローカルテンプレート及び各現在係数（例えば、現在処理中の係数）の対角位置に従って、おそらく他の要因と組み合わせて、決定されることができる。

図１２は、現在の係数のコンテキスト選択に使用されるローカルテンプレート（１２３０）の例を示す。ローカルテンプレート（１２３０）は、係数ブロック（１２１０）内の現在係数（１２２０）の隣接する位置又は係数のセットをカバーすることができる。係数ブロック（１２１０）は、８ｘ８の位置のサイズを有することができ、６４位置における係数レベルを含むことができる。係数ブロック（１２１０）は、それぞれ４ｘ４位置のサイズを有する４つのサブブロックに分割されます。各サブブロックは、４ｘ４係数位置を含むことができるＣＧで有り得る。ＣＧ（１２３０）は、現在係数（１２１０）を含む。ＣＧ（１２３０）がゼロ係数レベルのみを含むかどうかを示すためにフラグがシグナリングされ得る。図１２の例では、ローカルテンプレート（１２３０）は、現在の係数（１２２０）の右下において、５つの係数レベルをカバーする５位置テンプレートであると画定されている。逆対角スキャン順序が係数ブロック（１２１０）内のスキャン位置の複数のパスに使用される場合、ローカルテンプレート（１２３０）内の隣接する位置は、現在の係数（１２２０）に先行して処理される。ＴＳモードでは、スキャン順序は逆対角スキャン順序の反対であり得、ローカルテンプレートは、現在係数の左上における５つの係数レベルをカバーする５位置テンプレートであり得る。

コンテキストモデリング中に、ローカルテンプレート（１２３０）内の係数レベルの情報を使用して、コンテキストモデルを決定できる。このために、いくつかの実施形態では、テンプレートの大きさ（ｔｅｍｐｌａｔｅ ｍａｇｎｉｔｕｄｅ）と称される尺度が、ローカルテンプレート（１２３０）内の変換係数又は変換係数レベルの大きさを測定又は示すために画定される。テンプレートの大きさは、コンテキストモデルを選択するための基礎として用いられることが可能である。

一実施例では、テンプレートの大きさは、ローカルテンプレート（１２３０）内の部分的に再構築された絶対変換係数レベルの、ｓｕｍＡｂｓ１により示される合計であると画定される。部分的に再構築された絶対変換係数レベルは、それぞれの変換係数の構文要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ、及びｒｅｍ＿ａｂｓ＿ｇｔ１＿ｆｌａｇのビンに従って決定されることができる。これらの３つのタイプの構文要素は、エントロピーエンコーダ又はエントロピーデコーダで実行されるサブブロックのスキャン位置を最初に通過した後に（ａｆｔｅｒ ａ ｆｉｒｓｔ ｐａｓｓ ｏｖｅｒ ｓｃａｎ ｐｏｓｉｔｉｏｎｓ）取得できる。一実施形態では、ｎｕｍＳｉｇは、ローカルテンプレート（１２３０）内の非ゼロ係数の数である。さらに、スキャン位置（ｘ、ｙ）ｄの対角位置は：ｄ＝ｘ＋ｙに従って定義され、ここで、ｘとｙはそれぞれの位置の座標である。コンテキストモデルインデックスは、以下に説明するように、ｓｕｍＡｂｓ１と対角位置ｄに基づいて選択できる。

３．ローカルテンプレート及び対角位置に基づくコンテキストインデックスの決定

一実施形態では、エントロピーエンコーダ又はデコーダにおけるコンテキストモデリングプロセス中に、コンテキストインデックスは、以下に説明するように、現在係数（１２２０）のコンテキストコード化されたバイナリ構文要素について、決定されることができる。 決定は、ローカルテンプレート（１２３０）及び現在係数の対角位置（１２２０）に基づくことができる。

（１）ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ

現在係数（１２２０）のｓｉｇ＿ｃｏｅｆ＿ｆｌａｇをコーディングする場合、コンテキストインデックスは、ｓｕｍＡｂｓ１及び現在係数（１２２０）の対角位置ｄに応じて選択されることができる。たとえば、ルマコンポーネントに対して、コンテキストインデックスは次のように決定される：
ｃｔｘＳｉｇ＝１８＊ｍａｘ（０，ｓｔａｔｅ－１）＋ｍｉｎ（ｓｕｍＡｂｓ１，５）＋（ｄ＜２？１２：（ｄ＜５？６：０）） （式７）
ここで、ｃｔｘＳｉｇは 重要度フラグ構文要素であり、「ｓｔａｔｅ」は、状態が０、１、２又は３の値を取ることができる従属量子化スキームのスケーラ量子化器の状態を表す。

式７は、以下の式と等価である：
ｃｔｘＩｄＢａｓｅ＝１８＊ｍａｘ（０，ｓｔａｔｅ－１）＋（ｄ＜２？１２：（ｄ＜５？６：０）） （式８）
ｃｔｘＳｉｇ＝ｃｔｘＩｄＳｉｇＴａｂｌｅ［ｍｉｎ（ｓｕｍＡｂｓ１，５）］＋ｃｔｘＩｄＢａｓｅ （式９）

式８及び式９において、ｃｔｘＩｄＢａｓｅはコンテキストインデックスベースを表す。 コンテキストインデックスベースは、状態と対角位置ｄに基づいて決定されることができる。 たとえば、状態は値０、１、２、又は３をとることができ、したがって、ｍａｘ（０，ｓｔａｔｅ－１）は、値０、１、又は２の、３つの可能な値のうちの１つをとることができる。たとえば、ｄ ＜ ２？１２：、ｄ ＜５？６：０は、ｄのさまざまな範囲：ｄ ＜２、２ ＜＝ ｄ ＜５又は５ ＜＝ ｄに対応して１２、６、又は０の値を取ることができる。

式８及び式９において、ｃｔｘＩｄＳｉｇＴａｂｌｅ［］は、配列データ構造を表すことができ、ｃｔｘＩｄＢａｓｅに関する重要度フラグのコンテキストインデックスオフセットを格納できる。たとえば、異なるｓｕｍＡｂｓ１値に対して、ｍｉｎ（ｓｕｍＡｂｓ１、５）はｓｕｍＡｂｓ１値を５以下にクリップする。その後、クリップされた値はコンテキストインデックスオフセットにマップされます。たとえば、ｃｔｘＩｄＳｉｇＴａｂｌｅ［０～５］＝｛０、１、２、３、４、５｝の定義の下で、クリップされた値０、１、２、３、４又は５は０、１、２、３、４、又は５にそれぞれマップされる。

クロマ成分に対して、コンテキストインデックスは、式１０に従って画定されることができる：
ｃｔｘＳｉｇ＝１２＊ｍａｘ（０，ｓｔａｔｅ－１）＋ｍｉｎ（ｓｕｍＡｂｓ１，５）＋（ｄ＜２？６：０） （式１０）
ここで、式１０は以下の式に等価である：
ｃｔｘＩｄＢａｓｅ＝１２＊ｍａｘ（０，ｓｔａｔｅ－１）＋（ｄ＜２？６：０） （式１１）
ｃｔｘＳｉｇ＝ｃｔｘＩｄＳｉｇＴａｂｌｅ［ｍｉｎ（ｓｕｍＡｂｓ１，５）］＋ｃｔｘＩｄＢａｓｅ （式１２）

（２）ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ

現在の係数（１２２０）のｐａｒ＿ｌｅｂｅｒ＿ｆｌａｇをコーディングする場合、コンテキストインデックスは、ｓｕｍＡｂｓ１、ｎｕｍＳｉｇ、及び対角位置ｄに応じて選択されることができる。たとえば、ルマコンポーネントに対して、現在係数がデコード順序の第一の非ゼロ係数である場合、コンテキストインデックスｃｔｘＰａｒは０に割り当てられ、それ以外の場合、コンテキストインデックスは次のように決定されることができる：
ｃｔｘＰａｒ＝１＋ｍｉｎ（ｓｕｍＡｂｓ１－ｎｕｍＳｉｇ，４）＋（ｄ＝＝０？１５：（ｄ＜３？１０：（ｄ＜１０？５：０））） （式１３）
ここで、式１３は以下の式に等価である：
ｃｔｘＩｄＢａｓｅ＝（ｄ＝＝０？１５：（ｄ＜３？１０：（ｄ＜１０？５：０））） （式１４）
ｃｔｘＰａｒ＝１＋ｃｔｘＩｄＴａｂｌｅ［ｍｉｎ（ｓｕｍＡｂｓ１－ｎｕｍＳｉｇ，４）］＋ｃｔｘＩｄＢａｓｅ （式１５）
ここで、ｃｔｘＰａｒはパリティフラグのコンテキストインデックスを表し、ｃｔｘＩｄＴａｂｌｅ［］は別の配列データ構造を表し、それぞれのｃｔｘＩｄＢａｓｅに関するコンテキストインデックスオフセットを格納する。たとえば、ｃｔｘＩｄＴａｂｌｅ［０？４］＝｛０、１、２、３、４｝である。

クロマに対しては、現在係数がデコード順序の第一の非ゼロ係数である場合、コンテキストインデックスｃｔｘＰａｒは０に割り当てられ、 それ以外の場合、コンテキストインデックスは次のように決定されることができる。
ｃｔｘＰａｒ＝１＋ｍｉｎ（ｓｕｍＡｂｓ１－ｎｕｍＳｉｇ，４）＋（ｄ＝＝０？５：０） （式１６）
ここで、式１６は以下の式に等価である：
ｃｔｘＩｄＢａｓｅ＝（ｄ＝＝０？５：０） （式１７）
ｃｔｘＰａｒ＝１＋ｃｔｘＩｄＴａｂｌｅ［ｍｉｎ（ｓｕｍＡｂｓ１－ｎｕｍＳｉｇ，４）］＋ｃｔｘＩｄＢａｓｅ （式１８）

（３）ｒｅｍ＿ａｂｓ＿ｇｔ１＿ｆｌａｇ及びｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇ

現在係数（１２２０）のｒｅｍ＿ａｂｓ＿ｇｔ１＿ｆｌａｇ及びｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇをコーディングする場合、コンテキストモデルインデックスは、ｐａｒ＿ｌｅｖｅｒ＿ｆｌａｇと同じ方法で決定されることができる：
ｃｔｘＧｔ１ ＝ ｃｔｘＰａｒ
ｃｔｘＧｔ２ ＝ ｃｔｘＰａｒ
ここで、ｃｔｘＧｔ１及びｃｔｘＧｔ２は、それぞれ１超過フラグと２超過フラグのコンテキストインデックスを表す。

異なるタイプの構文要素、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ、ｒｅｍ＿ａｂｓ＿ｇｔ１＿ｆｌａｇ及びｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇに対して、異なるコンテキストモデルのセットが使用されることに留意されたい。たとえば、ｒｅｍ＿ａｂｓ＿ｇｔ１＿ｆｌａｇに使用されるコンテキストモデルは、ｃｔｘＧｔ１の値がｃｔｘＧｔ２の値と等しい場合でも、ｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇのコンテキストモデルとは異なる。

ＶＩ．ＴＳモード及びＢＤＰＣＭモードに対する改善された残差コーディング

ＴＳモード及びＢＤＰＣＭモードの両方の残差コーディングは、変換なしで、空間領域で処理される。 したがって、ＴＳモード及びＢＤＰＣＭモードの間の共有モジュールは、係数コーディングのよりよりシンプルなデザインのために用いられることが可能である。

さらに、ＴＳモード及びＢＤＰＣＭモードの係数は、変換及び量子化に関連する通常の変換係数とは異なる特性を示す。したがって、異なる係数コーディングスキームは、より良いコーディングパフォーマンスを示し得る。

一実施形態では、ＴＳモード及び／又はＢＤＰＣＭモードの係数コーディングに対して、絶対変換係数レベル（例えば、ａｂｓＬｅｖｅ）のパリティを示すパリティビットフラグ（例えば、ｐａｒ＿ｌｅｖｅｒ＿ｆｌａｇｈ）は、算術コーディングにおけるコンテキストモデリングを用いることなくバイパスしてコーディングされ得る。一実施例では、パリティビットフラグは別のパスでコーディングされることができる。別の例では、パリティビットフラグはａｂｓ＿ｒｅｍａｉｎｄｅｒと一緒に同じパスでコーディングされることができる。

一実施形態では、ＴＳモード及び／又はＢＤＰＣＭモードの係数コーディングのために、絶対変換係数レベル（例えば、ａｂｓＬｅｖｅ）のパリティを示すパリティビットフラグ（例えば、ｐａｒ＿ｌｅｖｅｒ＿ｆｌａｇｈ）は、特定の順序又は組合せで、他の構文要素と一緒に１つのパスで、又は、別個のパスでコーディングされ得る。一実施例では、パリティビットフラグは、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇとｒｅｍ＿ａｂｓ＿ｇｔ１＿ｆｌａｇをコーディングするコーディングパスの後に別個のパスでコーディングされることができる。別の例では、パリティビットフラグは、ｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇ又はｘ超過フラグ（たとえば、ｒｅｍ＿ａｂｓ＿ｇｔｘ＿ｆｌａｇ）をコーディングするパスをコーディングした後、別個のパスでコーディングされることができ、ここで、ｘは２、４、６又は８である。一実施例では、パリティビットフラグは、同じコーディングパスでｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇ又はｘ超過フラグと一緒にコーディングされることができる。一例では、パリティビットフラグは、同じコーディングパスでサイン情報と一緒にコーディングされることができる。

一実施形態では、ＴＳモード及び／又はＢＤＰＣＭモードの係数コーディングに対して、構文要素ｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇをコーディングする場合、ｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇをコーディングするための係数あたりのコンテキストコード化ビンの数は、コード化情報に依存し得る。コード化情報は、
非ゼロ係数の数（たとえば、現在ＣＧのコード化されたｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの数）、
先行してコード化されたＣＧの非ゼロ係数の数（たとえば、コード化されたｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの数）、
現在ブロックがインター予測又はイントラ予測によって、コード化されたかどうか（ｗｈｅｔｈｅｒ）、
現在の係数ブロックサイズ、
係数ブロック幅、
係数ブロック高さ、及び
係数ブロックアスペクト比を
を含み得る。いくつかの例では、現在ＣＧに係数が含まれる。

一例では、現在ブロックがイントラコーディングされている場合、ｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇをコーディングするための係数あたりのコンテキストコード化ビンの数は、現在ブロックがインターコーディング及び／又はＩＢＣコード化されている場合のｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇをコーディングするための係数あたりのコンテキストコード化ビンの数よりも多くなり得る。現在ブロックがインターコーディングされている場合のｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇをコーディングするための係数あたりのコンテキストコード化されたビンの数の例示的な値は、３、４、５、及び６を含む。 現在ブロックがイントラコーディングされている場合のｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇをコーディングするための係数あたりのコンテキストコード化されたビンの数の例示的な値は、５、６、７、８及び９を含む。

一実施形態では、ＴＳモード及び／又はＢＤＰＣＭモードの係数コーディングについて、ＣＧあたりの構文要素のコンテキストコード化ビンの最大数又はＣＧあたりの構文要素のコンテキストコード化ビンの最大平均数は、コード化情報に依存する。コード化情報は、
非ゼロ係数の数（たとえば、現在ＣＧのコード化されたｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの数）、
先行してコード化されたＣＧの非ゼロ係数の数（たとえば、コード化されたｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの数）、
現在ブロックがインター予測又はイントラ予測によって、コード化されたかどうか、
現在の係数ブロックサイズ、
係数ブロック幅、
係数ブロック高さ、及び
係数ブロックアスペクト比を
含む。コンテキストコード化ビンの最大数を設定することは、コーディング速度を加速するだけでなく、必要なメモリサイズとコンテキストモデルの維持にかかるコストも削減する。

一実施形態では、ＴＳモード及び／又はＢＤＰＣＭモードの係数コード化のために、ａｂｓＬｅｖｅのパリティを示すパリティビットフラグ（例えば、ｐａｒ＿ｌｅｖｅｒ＿ｆｒａｇｙ）はコード化されないことがある。代わりに、構文要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｇｔ１＿ｆｌａｇ、ａｂｓ＿ｇｔ２＿ｆｌａｇ、サイン情報、及びａｂｓ＿ｒｅｍａｉｎｄｅｒがコーディングされる。

一実施例では、構文要素ｓｉｇ＿ｃｏｅｆ＿ｆｌａｇ及びａｂｓ＿ｇｔ１＿ｆｌａｇは、第１パスでコード化され得る。構文要素ａｂｓ＿ｇｔ２＿ｆｌａｇは、第２パスでコード化され得る。構文要素ａｂｓ＿ｒｅｍａｉｎｄｅｒは、第３パスでコード化され得る。必要に応じて、サイン情報は、第４パスでコード化され得る。

別の実施例では、構文要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｇｔ１＿ｆｌａｇ及びサイン情報は、第１パスでコード化され得る。構文要素ａｂｓ＿ｇｔ２＿ｆｌａｇは、第２パスでコード化され得る。構文要素ａｂｓ＿ｒｅｍａｉｎｄｅｒは、第４パスでコード化され得る。

一実施形態では、ＴＳモード及び／又はＢＤＰＣＭモードの係数コーディングのために、構文要素ｒｅｍ＿ａｂｓ＿ｇｔ１＿ｆｌａｇ（例えば、ａｂｓＬｅｖｅｒが１より大きいことを示す）、及びｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇ（例えば、ａｂｓＬｅｖｅが３より大きいことを示す）に加えて、追加の構文要素ｒｅｍ＿ａｂｓ＿ｇｔ３＿ｆｌａｇ（たとえば、ａｂｓＬｅｖｅｌが５より大きいことを示す）及び／又はｒｅｍ＿ａｂｓ＿ｇｔ４＿ｆｌａｇ（たとえば、ａｂｓＬｅｖｅｌが７より大きいことを示す）もシグナリングされ得る。 構文要素ｒｅｍ＿ａｂｓ＿ｇｔ３＿ｆｌａｇ及び／又はｒｅｍ＿ａｂｓ＿ｇｔ４＿ｆｌａｇは、エントロピーコーディングのために別個のコンテキストを使用し得る。

一実施形態では、ＴＳモード及び／又はＢＤＰＣＭモードの係数コーディングについて、各非ゼロ係数に対するサイン情報をコーディングする場合、コンテキストは、先行してコード化されたサインビット値に依存し得る。

一実施例では、図１３Ａは、サイン情報をコーディングするために使用されるコンテキストが、現在係数（Ｘとしてマークされている）の上側ブロック（１３０１）及び左側ブロック（１３０２）を含むことを示している。一実施例では、図１は、図１３Ｂは、サイン情報をコーディングするために使用されるコンテキストが、現在係数（Ｘとしてマークされている）の複数の上側及び左側ブロック（１３０３、１３０４、１３０５、１３０６、及び１３０７）を含むことを示す。

一実施形態では、サイン情報をコーディングするために使用されるコンテキストが、先行してコード化されたＮのサインビットに依存する。 Ｎの例示的な値には、１、２、３、及び４が含まれる。

一実施形態では、サイン情報をコーディングする代わりに、サイン残差がコード化され、サイン残差ビットは、現在サインビットが予測サインビット値に等しいかどうかを示す。一実施例では、予測サインビットは、先行してスキャンされたＮ個のサインビットを使用して導出される。 Ｎの例示的な値には、１、２、３、及び４が含まれる。別の例では、予測サインビットは、左側及び／又は上側の隣接するサインビット値を使用して導出される。

一実施形態では、ＴＳモード及び／又はＢＤＰＣＭモードの係数コーディングに対して、係数の大きさをコーディングする場合、１つ以上の一次レベル値が最初にシグナリングされ、
その後、これらの一次レベル値のうち各非ゼロ係数マイナス１の残差がシグナリングされる。一実施形態では、一次レベル値は、所与の閾値に制限される。一実施形態では、一次レベル値の数は、１、２、３、又は４などの所与の閾値に制限される。

一実施形態では、複数の一次レベル値がシグナリングされると、一次レベル値は昇順で配置され、
その後、各係数に対して、最小の一次レベル値から開始し、
現在係数が、現在一次レベル値よりも大きいレベル値を有するかどうかを示すフラグがシグナリングされる。一実施例では、現在係数が現在一次レベル値よりも大きくないレベル値を有する場合、現在のレベル値と先行する一次レベル値との間の差がシグナリングされる。

ＶＩＩ．例示的なデコーディングプロセス

図１４は、本開示のいくつかの実施形態による、プロセス（１４００）を概説するフローチャートを示す。方法（１４００）が、いくつかのタイプの係数構文要素のエントロピーデコーディングにおいて、用いられることが可能である。様々な実施形態では、プロセス（１４００）は、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）における処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路などの処理回路により実行されることができる。いくつかの実施形態では、プロセス（１４００）は、ソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス（１４００）を実行する。プロセスは（Ｓ１４０１）から始まり、（Ｓ１４１０）に進む。

（Ｓ１４１０）において、構文要素のビンのコード化されたビットを含むビットストリームが受信される。構文要素は、コード化された画像内の変換スキップブロックの領域の係数に対応し、第１フラグ及び第２フラグを含む。第１フラグは、係数のうちの１つの絶対係数レベルが第１閾値（例えば１）よりも大きいかどうかを示し、第２フラグは、絶対係数レベルのパリティを示す。たとえば、第１フラグは、現在係数の絶対値（たとえば、ａｂｓＬｅｖｅｌ）が第１閾値よりも大きいことを示す、重要度構文要素（たとえば、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ）であり得る。第２フラグは、ａｂｓＬｅｖｅｌのパリティを示すパリティ構文要素（ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇなど）であり得る。変換スキップブロックは、変換が変換ブロックで実行されなかったことを示し得る。たとえば、現在ブロックがＢＤＰＣＭでコード化されている場合、変換は変換ブロックで実行されない。

（Ｓ１４２０）において、第２のフラグは、別個のパスでデコードされる。パスは、
（１）他の構文要素がそのパスでデコードされず、
（２）絶対係数レベルが第２閾値よりも大きいかどうかを示す第３フラグが、そのパスでデコードされ、及び
（３）係数のうちの１つの係数レベルのサイン情報（ｓｉｇｎ ｉｎｆｏｒｍａｔｉｏｎ）を示す第４フラグは、そのパスでデコードされる、
のうちの少なくとも１つを満たす。いくつかの実施形態において、第２閾値は前記第１閾値より大きい。一実施例では、パリティ構文要素である第２フラグは、第１のフラグ及び第５フラグがデコードされた後、別個のパスでデコードされ得る。 第５フラグは、絶対係数レベルが第３閾値（例えば３）より大きいかどうかを示す。一実施例では、第３フラグが先行するパスでデコードされた後、第２フラグが別個のパスでデコードされる。一実施例では、第２フラグは、第３フラグ又は第４フラグと同じパスでデコードされる。プロセス（１４００）は（Ｓ１４９９）に進み、（Ｓ１４９９）において、終了する。

図１５は、本開示のいくつかの実施形態による、プロセス（１５００）を概説するフローチャートを示す。方法（１５００）が、幾つかのタイプの係数構文要素のエントロピーデコーディングに用いられることが可能である。様々な実施形態では、プロセス（１５００）は、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）における処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路などの処理回路により実行されることができる。いくつかの実施形態では、プロセス（１５００）は、ソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス（１５００）を実行する。プロセスは（Ｓ１５０１）から始まり、（Ｓ１５１０）に進む。

（Ｓ１５１０）において、構文要素のビンのコード化されたビットを含むビットストリームが受信される。構文要素は、コード化された画像内の変換スキップブロックの領域の係数に対応し、第１フラグ及び第２フラグを含む。第１フラグは、係数のうちの１つの絶対係数レベルが第１閾値（例えば１）よりも大きいかどうかを示し、第２フラグは、係数のうちの１つの絶対係数レベルが第２閾値（例えば３）よりも大きいかどうかを示す。いくつかの実施形態において、第２閾値は第１閾値より大きい。たとえば、第１フラグは、現在係数の絶対値（たとえば、ａｂｓＬｅｖｅｌ）が第１閾値よりも大きいことを示す、重要度構文要素（たとえば、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ）であり得る。第２フラグは、それぞれの変換係数の絶対変換係数レベルが第２閾値より大きいかどうかを示す、２超過構文要素（例えば、ｒｅｍ＿ａｂｓ＿ｇｔ２＿ｆｌａｇ）であり得る。変換スキップブロックは、変換が変換ブロックで実行されなかったことを示し得る。たとえば、現在ブロックがＢＤＰＣＭでコード化されている場合、変換は変換ブロックで実行されない。

（Ｓ１５２０）において、コード化されたコンテキストである第２フラグのビンの数は、係数のコード化情報に基づいて決定される。係数のコード化情報は、
係数を含む現在係数グループ（ＣＧ）内の第１フラグの数、
先行するＣＧ内の第１フラグの数、
変換スキップブロックに対応する現在ブロックがイントラコーディングされているか、又は、インターコーディングされているかどうか、
変換スキップブロックのサイズ、
変換スキップブロックの幅、
変換スキップブロックの高さ、又は
変換スキップブロックのアスペクト比
を含む。先行するＣＧは、スキャンされた隣接するＣＧであり得る。一実施例において、
現在ブロックがイントラコーディングされている場合の第２フラグのビンの数は、現在ブロックがインターコーディングされている第２フラグのビンの数より多い。

（Ｓ１５３０）において、コンテキストモデリングは実行され、第２フラグのビンの数ごとにコンテキストモデルを決定する。コンテキストコード化された、第２フラグのビンの数は、Ｓ１５２０で決定された数を超えないことができる。

（Ｓ１５４０）において、第２フラグのビンの数のコード化されたビットは、決定されたコンテキストモデルに基づいてデコードされる。変換スキップブロックの領域に対する第２フラグのビンの残りの総数のコード化されたビットは、ＥＰモデル（すなわち、バイパスモデル）に基づいてデコードされ得る。復元されたビンに基づいて、係数の係数レベルを、再構成できる。プロセス（１５００）は（Ｓ１５９９）に進み、（Ｓ１５９９）において、終了する。

図１６は、本開示のいくつかの実施形態による、プロセス（１６００）を概説するフローチャートを示す。方法（１６００）が、いくつかのタイプの係数構文要素のエントロピーデコーディングに用いられることが可能である。様々な実施形態では、プロセス（１６００）は、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）における処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路などの処理回路により実行されることができる。いくつかの実施形態では、プロセス（１６００）は、ソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス（１１００）を実行する。プロセスは（Ｓ１６０１）から始まり、（Ｓ１６１０）に進む。

（Ｓ１６１０）において、構文要素のビンのコード化されたビットを含むビットストリームが受信される。構文要素は、コード化された画像内の変換スキップブロックの係数グループ（ＣＧ）に含まれる係数に対応する。ＣＧは、変換スキップブロック／係数ブロックにより分割され得、４ｘ４の係数位置を含み得る。変換スキップブロックは、変換が変換ブロックで実行されなかったことを示し得る。たとえば、現在ブロックがＢＤＰＣＭでコード化されている場合、変換は変換ブロックで実行されない。

（Ｓ１６２０）において、ＣＧのコンテキストコード化ビンの最大数又はＣＧのコンテキストコード化ビンの最大平均数が、係数のコード化情報に基づいて決定される。係数のコード化情報は、
係数を含む現在係数グループ（ＣＧ）内の第１フラグの数、
先行するＣＧの第１フラグの数、
変換スキップブロックに対応する現在ブロックがイントラコーディングされているか、又は、インターコーディングされているかどうか、
変換スキップブロックのサイズ、
変換スキップブロックの幅、
変換スキップブロックの高さ、又は
変換スキップブロックのアスペクト比
を含む。先行するＣＧは、スキャンされた隣接するＣＧであり得る。

（Ｓ１６３０）において、コンテキストモデリングを実行して、ＣＧの構文要素のビンの数ごとにコンテキストモデルを決定する。コンテキストコード化されているＣＧの構文要素のビンの数は、Ｓ１６２０において、決定されたＣＧのコンテキストコード化ビンの最大数又はＣＧのコンテキストコード化ビンの最大平均数を超えない。

（Ｓ１６４０）において、構文要素のビンの数のコード化されたビットは、決定されたコンテキストモデルに基づいてデコードされる。ＣＧ内の構文要素のビンの残りの総数のコード化されたビットは、ＥＰモデル（すなわち、バイパスモデル）に基づいてデコードされ得る。 復元されたビンに基づいて、係数の係数レベルを、再構成できる。 プロセス（１６００）は（Ｓ１６９９）に進み、（Ｓ１６９９）において、終了する。

ＶＩＩＩ．コンピュータシステム

上記の技術は、コンピュータ可読命令を用いたコンピュータソフトウェアとして行うことができて、物理的に一つ以上のコンピュータ可読媒体に格納されることができる。例えば、図１７は、開示された主題の特定の実施例を実施するのに適しているコンピュータシステム（１７００）を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は類似のメカニズムの対象となり得る任意の適切な機械コード若しくはコンピュータ言語を使用してコーディングされることができ、直接実行されることができるか、又は、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）等による、実施、マイクロコード実行等を介して実行されることができる命令を含むコードを作成する。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、物品のインターネット等を含む種々のタイプのコンピュータ又はその構成要素上で実行されることができる。

コンピュータシステム（１７００）のための図１７に示されるコンポーネントは、例示的な性質のものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲又は機能性に関する制限を示唆することを意図するものではない。また、コンポーネントの構成は、コンピュータシステム（１７００）の例示的な実施形態に示されるコンポーネントのいずれか１つ又は組み合わせに関連する依存性又は要件を有すると解釈されるべきではない

コンピュータシステム（１７００）は、特定のヒューマンインタフェース入力デバイスを含み得る。このようなヒューマンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スイッピング、データグローブの動き）、音声入力（例えば、音声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介して、一人又は複数の人間ユーザによる入力に応答し得る。また、ヒューマンインタフェースデバイスは、オーディオ（例えば、音声、音楽、周囲の音声）、画像（例えば、走査画像、静止画像カメラから得られる写真画像）、ビデオ（例えば、２次元ビデオ、立体画像を含む３次元ビデオ）等の、人間による意識的入力に必ずしも直接関係しない特定の媒体を捕捉するために用いられ得る。

入力ヒューマンインタフェースデバイスは、キーボード（１７０１）、マウス（１７０２）、トラックパッド（１７０３）、タッチスクリーン（１７１０）、データグローブ（図示せず）、ジョイスティック（１７０５）、マイクロホン（１７０６）、スキャナ（１７０７）、カメラ（１７０８）の１つ以上を含み得る。

コンピュータ・システム（１７００）はまた、特定のヒューマンインタフェース出力デバイスを含み得る。かかるヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚／味覚を通して、１人又は複数の人間ユーザの感覚を刺激し得る。かかるヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１７１０）、データグローブ（図示せず）、又はジョイスティック（１７０５）による触覚フィードバック）、入力デバイスとして働かない触覚フィードバックデバイスであることもでき）と、オーディオ出力デバイス（例えば、スピーカー（１７０９）、ヘッドフォン（図示せず）と、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１７１０）であり、各々が触覚フィードバック能力を有するか又は有さず、各々が触覚フィードバック能力を有するか又は有さず、そのうちのいくつかは、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）等の立体出力のような手段を介して２次元視出力又は３次元以上の出力を可能にし得るもの）と、プリンタ（図示せず）と、を含み得る。

コンピュータシステム（１７００）はまた、人間がアクセス可能な記憶デバイスと、それらのアクセス可能な媒体とを含むことができ、媒体は、例えば、ＣＤ／ＤＶＤ等の媒体（１７２１）によるＣＤ／ＤＶＤ ＲＯＭ／ＲＷを含む光学媒体ドライブ（１７２０）、ＵＳＢメモリ（１７２２）、着脱可能ヘッドドライブ又はソリッドステートドライブ（１７２３）、テープ、フロッピーディスク（図示せず）等の従来の磁気媒体、セキュリティドングル等の特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス等である。

当業者はまた、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号を包含しないことを理解されたい。

コンピュータシステム（１７００）はまた、１つ以上の通信ネットワークへのインタフェースを含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークは、さらに、ローカル、広域、大都市、車両及び工業、リアルタイム、遅延耐性等であり得る。ネットワークの例としては、イーサネット、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ等を含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶ、ＣＡＮＢｕｓを含む産業用及び車両用を含む。特定のネットワークは、特定の汎用データポート又はペリフェラルバス（１７４９）（たとえば、コンピュータシステムのＵＳＢポート（１７００）に接続された外部ネットワークインターフェイスアダプタを必要とする、他には、一般に、以下に説明するようにシステムバス（たとえば、ＰＣコンピュータシステムへのイーサネットインターフェイス又はスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）に接続することによって、コンピュータシステム（１７００）のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム（１７００）は、他のエンティティと通信できる。かかる通信は、単指向性通信、受信のみ（例えば、放送テレビ）通信、単指向性送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）通信、又は、例えばローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの、双方向通信でありえる。特定のプロトコル及びプロトコルスタックは、上述のように、それらのネットワーク及びネットワークインタフェースの各々で使用されることができる。

前述のヒューマンインタフェースデバイス、人間がアクセス可能な記憶デバイス、及びネットワークインタフェースは、コンピュータシステム（１７００）のコア（１７４０）に接続されることができる。

コア（１７４０）は、１つ以上の中央処理デバイス（ＣＰＵ）（１７４１）、グラフィックス処理デバイス（ＧＰＵ）（１７４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１７４３）の形態の特殊なプログラマブル処理デバイス、特定のタスクのためのハードウェアアクセラレータ（１７４４）等を含むことができる。これらのデバイスは、読出し専用メモリ（ＲＯＭ） （１７４５）、ランダムアクセスメモリ（１７４６）、内部大容量記憶デバイス、例えば内部非ユーザアクセス可能ハードドライブ、ＳＳＤ等（１７４７）と共に、システムバス（１７４８）を介して接続され得る。いくつかのコンピュータシステムでは、システムバス（１７４８）は、追加のＣＰＵ、ＧＰＵ等による拡張を可能にするために、１つ又は複数の物理プラグの形態でアクセス可能である。周辺デバイスは、コアのシステムバス（１７４８）に直接接続するか、又は周辺バス（１７４９）を介して接続できる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢ等を含む。

ＣＰＵ（１７４１）、ＧＰＵ（１７４２）、ＦＰＧＡ（１７４３）、及びアクセラレータ（１７４４）は、組み合わされて、上述のコンピュータコードを構成できる特定の命令を実行できる。そのコンピュータコードは、ＲＯＭ（１７４５）又はＲＡＭ（１７４６）に格納されることができる。移行データは、ＲＡＭ（１７４６）に格納されることもできるが、永久データは例えば内部大容量記憶デバイス（１７４７）に格納されことができる。１つ以上のＣＰＵ（１７４１）、ＧＰＵ（１７４２）、大容量記憶デバイス（１７４７）、ＲＯＭ（１７４５）、ＲＡＭ（１７４６）等と密接に関連付けることができるキャッシュメモリを使用することによって、メモリデバイスのいずれかへの高速記憶及び検索を可能にすることができる。

コンピュータ可読媒体は、各種のコンピュータ実施動作（ｃｏｍｐｕｔｅｒ－ｉｍｐｌｅｍｅｎｔｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行するためにその上のコンピュータコードを有することができる。メディアおよびコンピュータコードは特別に設計されたそれらであることができて、本開示のために作成されることができる、または、それらはよく公知で、コンピュータソフトウェア技術の技術を有するそれらが利用できる種類でありえる。

一例として、限定するものではなく、アーキテクチャ（１７００）、具体的にはコア（１７４０）を有するコンピュータシステムは、１つ以上の有形のコンピュータ可読媒体に具現化されたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ等を含む）の結果として機能性を提供できる。かかるコンピュータ可読媒体は、コア－内部大容量記憶デバイス（１７４７）又はＲＯＭ（１７４５）等の一時的でない性質のコア（１７４０）の特定の記憶デバイスと同様に、上述のようにユーザがアクセス可能な大容量記憶デバイスに関連する媒体であってもよい。本開示の様々な実施形態を実装するソフトウェアは、かかるデバイスに記憶され、コア（１７４０）により実行され得る。コンピュータ読取可能媒体は、特定のニーズに応じて、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（１７４０）及びその中の具体的にプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を含む）に、ＲＡＭ（１７４６）に記憶されたデータ構造を定義し、ソフトウェアにより定義されたプロセスにしたがって、かかるデータ構造を変更することを含む、本明細書に記載された特定のプロセス又は特定の部分を実行させることができる。付加的に又は代替的に、コンピュータシステムは、回路（例えば、アクセラレータ（１７４４）内に配線された、又は他の方法で具現化されたロジックの結果として、機能性を提供することができ、これは、本明細書に記載される特定のプロセス又は特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、又はソフトウェアと共に動作できる。ソフトウェアへの言及は、論理を含み、また、必要に応じて、その逆も可能である。コンピュータ読取り可能媒体への参照は、実行のためのソフトウェアを記憶する（集積回路（ＩＣ）等の）回路、実行のためのロジックを具体化する回路、又は適切な場合にはその両方を含むことができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを包含する。

付録Ａ：略称
ＪＥＭ：ジョイント探索モデル
ＶＶＣ：広用途ビデオコーディング
ＢＭＳ：ベンチマークセット
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオコーディング
ＳＥＩ：付加強化情報
ＶＵＩ：ビデオユーザビリティ情報
ＧＯＰ：画像グループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：コーディングトリーユニット
ＣＴＢ：コーディングトリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮想参照デコーダ
ＳＮＲ：信号雑音比
ＣＰＵ：中央処理装置
ＧＰＵ：グラフィックスプロセッシングユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクト・ディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：リードオンリーメモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：グローバスシステムフォーモバイルコミュニケーション
ＬＴＥ：ロングタームエヴォリューションコントローラ・エリア・ネットワーク・バス
ＵＳＢ：ユニバーサルシリアル・バス
ＰＣＩ：ペリフェラルコンポーネントインターコネクト
ＦＰＧＡ：フィールドプログラマブルゲートエリア
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：コーディングユニット
ＤＰＣＭ：差分パルスコード変調
ＢＤＰＣＭ：ブロック差分パルスコード変調
ＳＣＣ：スクリーンコンテンツコーディング
Ｂｓ：境界強度

本開示はいくつかの例示的な実施形態を説明しているが、本発明の範囲内に入る、変更、置換、及び様々な均等物が存在する。したがって、当業者は、本明細書に明示的に示されていないか又は記載されていないが、本発明の原理を実施し、したがってその概念及び範囲内にある多数のシステム及び方法を創造できることが理解されよう。

Claims (15)

1. ビデオデコーダが実行するビデオデコーディングの方法であって、
   構文要素のビンを含むビットストリームを受信するステップであって、前記構文要素は、コード化された画像内の変換スキップブロックの領域の係数に対応し、前記構文要素は、前記係数のうちの１つの絶対係数レベルが第１閾値よりも大きいかどうかを示す第１フラグと、前記絶対係数レベルのパリティを示す第２フラグと、を含む、ステップと、
   前記絶対係数レベルが３より大きいかどうかを示す第５フラグを先行するパスでデコードするステップの後に、他の構文要素をデコードすることなく、
   パスで前記第２フラグをデコードするステップであって、
   前記パスは、
   （１）前記絶対係数レベルが第２閾値よりも大きいかどうかを示す第３フラグが、前記パスでデコードされ、前記先行するパスと前記パスは異なり、及び
   （２）前記係数のうちの１つの前記絶対係数レベルのサイン情報を示す第４フラグが、前記パスでデコードされ、前記第２閾値は前記第１閾値よりも大きい、
   のうちの少なくとも１つを満たす、ステップと、
   を含む方法。
2. 前記第１閾値は１であり、
   請求項１記載の方法。
3. 前記変換スキップブロックに対応する現在ブロックは、ブロック差分パルスコード変調モードでコード化される、
   請求項１又は２記載の方法。
4. 前記デコードするステップは、
   前記第３フラグを先行するパスでデコードするステップの後に、他の構文要素をデコードすることなく、前記パスで前記第２フラグをデコードするステップを含む、
   請求項１乃至３いずれか１項記載の方法。
5. 前記デコードするステップは、
   前記第３フラグと同じパスで前記第２フラグをデコードするステップを含む、
   請求項１乃至３いずれか１項記載の方法。
6. 前記デコードするステップは、
   前記第４フラグと同じパスで前記第２フラグをデコードするステップを含む、
   請求項１乃至３いずれか１項記載の方法。
7. ビデオデコーダが実行するビデオデコーディングの方法であって、
   構文要素のビンを含むビットストリームを受信するステップであって、前記構文要素は、コード化された画像内の変換スキップブロックの領域の係数に対応し、前記構文要素は、前記係数のうちの１つの絶対係数レベルが第１閾値よりも大きいかどうかを示す第１フラグと、前記係数のうちの１つの前記絶対係数レベルが第２閾値よりも大きいかどうかを示す第２フラグとを含み、前記第２閾値は前記第１閾値より大きい、ステップと、
   前記係数のコード化された情報に基づいてコンテキストコード化された前記第２フラグのビンの数を決定するステップと、
   コンテキストモデリングを実行して、前記第２フラグのビンの数ごとにコンテキストモデルを決定する、ステップと、
   決定された前記コンテキストモデルに基づいて、前記第２フラグのビンの数をデコードするステップと、
   を含み、
   前記係数の前記コード化された情報は、
   前記係数を含む現在係数グループ（ＣＧ）内の前記第１フラグの数、
   先行するＣＧの前記第１フラグの数、
   変換スキップブロックに対応する現在ブロックがイントラコーディングされているか、又は、インターコーディングされているかどうか、
   前記変換スキップブロックのサイズ、
   前記変換スキップブロックの幅、
   前記変換スキップブロックの高さ、又は
   前記変換スキップブロックのアスペクト比
   を含む方法。
8. 前記第１閾値は１であり、前記第２閾値は３である、
   請求項７記載の方法。
9. 前記現在ブロックがイントラコーディングされている場合、前記第２フラグのビンの数は、前記現在ブロックがインターコーディングされている場合の前記第２フラグの前記ビンの数より多い、
   請求項７記載の方法。
10. ビデオデコーダで実行されるビデオデコーディングの方法であって、
    構文要素のビンを含むビットストリームを受信するステップであって、前記構文要素は、コード化された画像内の変換スキップブロックの係数グループ（ＣＧ）に含まれる係数に対応するステップと、
    前記係数に基づいて、前記ＣＧのコンテキストコード化されたビンの最大平均数又は前記ＣＧのコンテキストコード化ビンの最大数を決定するステップと、
    コンテキストモデリングを実行して、前記ＣＧの構文要素の複数の前記ビンごとにコンテキストモデルを決定する、ステップであって、コンテキストコード化されている前記ＣＧの構文要素の前記ビンの数は、前記ＣＧのコンテキストコード化ビンの最大数又は前記ＣＧのコンテキストコード化ビンの最大平均数を超えない、ステップと、
    決定された前記コンテキストモデルに基づいて、構文要素の前記ビンの数をデコードするステップと、
    を含む方法。
11. 前記係数の前記コード化された情報は、
    前記係数を含む現在係数グループ（ＣＧ）内の第１フラグの数、
    先行するＣＧ内の前記第１フラグの数、
    変換スキップブロックに対応する現在ブロックがイントラコーディングされているか、又は、インターコーディングされているかどうか、
    変換スキップブロックのサイズ、
    変換スキップブロックの幅、
    変換スキップブロックの高さ、又は
    変換スキップブロックのアスペクト比
    を含む、請求項１０記載の方法。
12. ビデオデコーディングの装置であって、
    処理回路を備え、前記処理回路は、請求項１乃至１１いずれか１項記載の方法を実行するように構成されている、
    装置。
13. ビデオエンコーダが実行するビデオエンコーディングの方法であって、
    構文要素のビンを含むビットストリームを送信するステップであって、前記構文要素は、コード化された画像内の変換スキップブロックの領域の係数に対応し、前記構文要素は、前記係数のうちの１つの絶対係数レベルが第１閾値よりも大きいかどうかを示す第１フラグと、前記絶対係数レベルのパリティを示す第２フラグと、を含む、ステップと、
    前記絶対係数レベルが３より大きいかどうかを示す第５フラグを先行するパスでデコードするステップの後に、他の構文要素をデコードすることなく、
    パスで前記第２フラグをデコードするステップであって、
    前記パスは、
    （１）前記絶対係数レベルが第２閾値よりも大きいかどうかを示す第３フラグが、前記パスでデコードされ、前記先行するパスと前記パスは異なり、及び
    （２）前記係数のうちの１つの前記絶対係数レベルのサイン情報を示す第４フラグが、前記パスでデコードされ、前記第２閾値は前記第１閾値よりも大きい、
    のうちの少なくとも１つを満たす、ステップと、
    を含む方法。
14. ビデオエンコーダが実行するビデオエンコーディングの方法であって、
    構文要素のビンを含むビットストリームを送信するステップであって、前記構文要素は、コード化された画像内の変換スキップブロックの領域の係数に対応し、前記構文要素は、前記係数のうちの１つの絶対係数レベルが第１閾値よりも大きいかどうかを示す第１フラグと、前記係数のうちの１つの前記絶対係数レベルが第２閾値よりも大きいかどうかを示す第２フラグとを含み、前記第２閾値は前記第１閾値より大きい、ステップと、
    前記係数のコード化された情報に基づいてコンテキストコード化された前記第２フラグのビンの数を決定するステップと、
    コンテキストモデリングを実行して、前記第２フラグのビンの数ごとにコンテキストモデルを決定する、ステップと、
    を含み、
    前記係数の前記コード化された情報は、
    前記係数を含む現在係数グループ（ＣＧ）内の前記第１フラグの数、
    先行するＣＧの前記第１フラグの数、
    変換スキップブロックに対応する現在ブロックがイントラコーディングされているか、又は、インターコーディングされているかどうか、
    前記変換スキップブロックのサイズ、
    前記変換スキップブロックの幅、
    前記変換スキップブロックの高さ、又は
    前記変換スキップブロックのアスペクト比
    を含む方法。
15. ビデオエンコーダで実行されるビデオエンコーディングの方法であって、
    構文要素のビンを含むビットストリームを送信するステップであって、前記構文要素は、コード化された画像内の変換スキップブロックの係数グループ（ＣＧ）に含まれる係数に対応するステップと、
    前記係数に基づいて、前記ＣＧのコンテキストコード化されたビンの最大平均数又は前記ＣＧのコンテキストコード化ビンの最大数を決定するステップと、
    コンテキストモデリングを実行して、前記ＣＧの構文要素の複数の前記ビンごとにコンテキストモデルを決定する、ステップであって、コンテキストコード化されている前記ＣＧの構文要素の前記ビンの数は、前記ＣＧのコンテキストコード化ビンの最大数又は前記ＣＧのコンテキストコード化ビンの最大平均数を超えない、ステップと、
    を含む方法。

Images