JP6231109B2 - コンテキスト適応型、マルチレベル有意性コーディングに関するコンテキスト導出 - Google Patents

コンテキスト適応型、マルチレベル有意性コーディングに関するコンテキスト導出 Download PDF

Info

Publication number
JP6231109B2
JP6231109B2 JP2015533314A JP2015533314A JP6231109B2 JP 6231109 B2 JP6231109 B2 JP 6231109B2 JP 2015533314 A JP2015533314 A JP 2015533314A JP 2015533314 A JP2015533314 A JP 2015533314A JP 6231109 B2 JP6231109 B2 JP 6231109B2
Authority
JP
Japan
Prior art keywords
block
sub
significance information
video
significance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015533314A
Other languages
English (en)
Other versions
JP2015533061A5 (ja
JP2015533061A (ja
Inventor
カークゼウィックズ、マルタ
ソル・ロジャルス、ジョエル
グオ、リウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015533061A publication Critical patent/JP2015533061A/ja
Publication of JP2015533061A5 publication Critical patent/JP2015533061A5/ja
Application granted granted Critical
Publication of JP6231109B2 publication Critical patent/JP6231109B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Description

[0001]本出願は、米国仮特許出願第61/706,035号(出願日:2012年9月26日)の利益を主張するものであり、その内容全体が、引用によってここに組み入れられている。
[0002]本開示は、概して、映像コーディングに関するものである。本開示は、特に、変換係数のコーディングに関するものである。
[0003]デジタル映像能力を広範なデバイス内に組み入れることができ、デジタルテレビと、デジタル直接放送システムと、無線放送システムと、パーソナルデジタルアシスタント(PDA)と、ラップトップ又はデスクトップコンピュータと、タブレットコンピュータと、電子書籍リーダーと、デジタルカメラと、デジタル記録デバイスと、デジタルメディアプレーヤーと、ビデオゲームプレイ装置と、ビデオゲームコンソールと、セルラー又は衛星無線電話と、いわゆる“スマートフォン”と、ビデオ会議装置と、映像ストリーミングデバイスと、等、を含む。デジタル映像デバイスは、映像圧縮技法、例えば、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part10、アドバンストビデオコーディング(Advanced Video Coding(AVC))、現在策定中の高効率映像コーディング(High Efficiency Video Coding(HEVC)規格によって定義される規格、及び該規格の拡張版において説明されるそれらを実装する。映像デバイスは、該映像圧縮技法を実装することによってデジタル映像情報をより効率的に送信、受信、符号化、復号、及び/又は格納することができる。
[0004]映像圧縮技法は、映像シーケンスに固有の冗長性を低減又は除去するために空間的(イントラピクチャ)予測及び/又は時間的(インターピクチャ)予測を行う。ブロックに基づく映像コーディングでは、映像スライス(すなわち、映像フレーム又は映像フレームの一部分)を映像ブロックに分割することができ、それらは、ツリーブロック、コーディングユニット(CU)及び/又はコーディングノードと呼ぶこともできる。ピクチャのイントラコーディングされた(I)スライス内の映像ブロックは、同じピクチャ内の近隣ブロック内の基準サンプルに関して空間的予測を用いて符号化される。ピクチャのインターコーディングされた(P又はB)スライス内の映像ブロックは、同じピクチャ内の近隣ブロック内の基準サンプルに関しては空間的予測、その他の基準ピクチャ内の基準サンプルに関しては時間的予測を使用することができる。ピクチャは、フレームと呼ぶことができ、基準ピクチャは、基準フレームと呼ぶことができる。
空間又は時間的予測の結果、コーディングされるべきブロックに関する予測ブロックが得られる。残差データは、コーディングされるべきオリジナルのブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する基準サンプルのブロックを指し示す動きベクトル、及びコーディングされたブロックと予測ブロックとの間の差分を示す残差データにより符号化される。イントラコーディングされたブロックは、イントラコーディングモード及び残差データにより符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換することができ、その結果残差変換係数が得られ、それらは量子化することができる。量子化された変換係数は、当初は二次元配列で配置され、変換係数の一次元ベクトルを生成するために走査することができ、及び、さらなる圧縮を達成させるためにエントロピーコーディングを適用することができる。
[0006]映像コーディングプロセスでは、イントラ又はインター予測コーディングの結果、変換領域において変換係数によって表すことができる残差データが得られる。変換係数は、変換ブロックにおいて提示することができる。本開示は、変換ブロックの変換係数のシグナリングレベルに関する技法、より具体的には、変換係数のコンテキスト適応型、マルチレベル有意性(significance)コーディングに関するコンテキスト導出に関する技法について説明する。導出されたコンテキストは、例えば、算術的コーディングプロセス、例えば、コンテキスト適応型算術コーディング(CABAC)、に関するプロセスとして使用することができる。
[0007]一例では、映像データをコーディングするための方法は、残差データに関連する変換係数に関する第1の有意性情報をコーディングすることであって、第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、第1のサブブロックは、変換ブロック全体のサブブロックであることと、第2の有意性情報をコーディングすることであって、第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、第2のサブブロックは、第1のサブブロックのサブブロックであり、第2の有意性情報をコーディングすることは、第2の有意性情報に関して算術的コーディング動作を行うことを備え、算術的コーディング動作のためのコンテキストは、第1のサブブロックと同じサイズの1つ以上の近隣のサブブロックに基づいて決定されることと、を含む。
[0008]他の例では、残差データに関連する変換係数に関する第1の有意性情報をコーディングするように構成され、ここにおいて、第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、第1のサブブロックは、変換ブロック全体のサブブロックであり、及び、第2の有意性情報をコーディングするように構成され、ここにおいて、第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、第2のサブブロックは、第1のサブブロックのサブブロックであり、第2の有意性情報をコーディングすることは、第2の有意性情報に関して算術的コーディング動作を行うことを備え、算術的コーディング動作のためのコンテキストは、第1のサブブロックと同じサイズの1つ以上の近隣のサブブロックに基づいて決定される、映像コーダを含む、映像データをコーディングするためのデバイス。
[0009]他の例では、1つ以上のプロセッサによって実行されたときに、残差データに関連する変換係数に関する第1の有意性情報をコーディングすることを1つ以上のプロセッサに行わせる命令を格納し、ここにおいて、第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、第1のサブブロックは、変換ブロック全体のサブブロックであり、及び第2の有意性情報をコーディングすることを1つ以上のプロセッサに行わせる命令を格納し、ここにおいて、第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、第2のサブブロックは、第1のサブブロックのサブブロックであり、第2の有意性情報をコーディングすることは、第2の有意性情報に関して算術的コーディング動作を行うことを備え、算術的コーディング動作のためのコンテキストは、第1のサブブロックと同じサイズの1つ以上の近隣のサブブロックに基づいて決定される、コンピュータによって読み取り可能な記憶媒体。
[0010]他の例では、映像データをコーディングするための装置は、残差データに関連する変換係数に関する第1の有意性情報をコーディングするための手段であって、第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、第1のサブブロックは、変換ブロック全体のサブブロックである手段と、第2の有意性情報をコーディングするための手段であって、第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、第2のサブブロックは、第1のサブブロックのサブブロックであり、第2の有意性情報をコーディングすることは、第2の有意性情報に関して算術的コーディング動作を行うことを備え、算術的コーディング動作のためのコンテキストは、第1のサブブロックと同じサイズの1つ以上の近隣のサブブロックに基づいて決定される手段と、を含む。
[0011]1つ以上の例の詳細が、添付図面及び以下の説明において示される。それらの説明及び図面から、及び請求項からその他の特徴、目的、及び利点が明らかになるであろう。
[0012]本開示において説明される技法を利用することができる映像符号化及び復号システム例を示したブロック図である。 [0013]変換係数の4×4係数グループの逆対角線走査例を示した概念図である。 [0014]最下部及び右係数グループフラグに依存する4×4サブブロックにおける係数に関するコンテキスト割り当てパターンを示した図である。 [0014]最下部及び右係数グループフラグに依存する4×4サブブロックにおける係数に関するコンテキスト割り当てパターンを示した図である。 [0014]最下部及び右係数グループフラグに依存する4×4サブブロックにおける係数に関するコンテキスト割り当てパターンを示した図である。 [0014]最下部及び右係数グループフラグに依存する4×4サブブロックにおける係数に関するコンテキスト割り当てパターンを示した図である。 [0015]本開示において説明される技法を実装することができる映像符号器例を示したブロック図である。 [0016]本開示において説明される技法を実装することができる映像復号器例を示したブロック図である。 [0017]映像ブロックにおける変換係数及び映像ブロックに関連する有意性マップの間の関係を示した概念図である。 [0018]ジグザグ走査順序、水平走査順序、垂直走査順序、及び対角線走査順序を用いて走査される映像データのブロックの例を示した概念図である。 [0018]ジグザグ走査順序、水平走査順序、垂直走査順序、及び対角走査順序を用いて走査される映像データのブロックの例を示した概念図である線。 [0018]ジグザグ走査順序、水平走査順序、垂直走査順序、及び対角線走査順序を用いて走査される映像データのブロックの例を示した概念図である。 [0018]ジグザグ走査順序、水平走査順序、垂直走査順序、及び対角線走査順序を用いて走査される映像データのブロックの例を示した概念図である。 [0019]変換係数コーディングのためにサブブロックに分割された典型的な映像ブロックを示した概念図である。 [0020]逆対角線走査順序を用いた走査された映像ブロックにおける係数の有意性マップに関するコンテキストモデルを定義するために用いられる典型的な5ポイントサポートを示した概念図である。 [0021]5ポイントサポート内におけるコンテキスト依存性を示した概念図である。 [0021]5ポイントサポート内におけるコンテキスト依存性を示した概念図である。 [0022]映像ブロックの各領域に関する近隣又は位置に基づくコンテキストの典型的な割り当てを示した概念図である。 [0023]本開示の技法による映像符号化方法例を示したフローチャートである。 [0024]本開示の技法による映像復号方法例を示したフローチャートである。
[0025]映像コーディングプロセスでは、映像復号器は、映像データの既に復号されているブロックに基づいて映像データの現在のブロックに関するイントラ又はインター予測を行う。再構築された映像ブロックがオリジナルの映像ブロックにより密接にマッチするようにするために、映像復号器は、概して予測された映像データとオリジナル映像データとの間の差分に対応する残差データも映像符号器から受信する。従って、復号されるときには、予測された映像データプラス残差映像データは、予測された映像データ単独よりも優れたオリジナル映像データの近似値を提供することができる。以下においてさらに詳細に説明されるように、残差データをコーディングするために必要なビット数を減少させるために、映像符号器は、残差データを変換及び量子化する。量子化及び変換された時点で、残差データは、変換領域における変換係数によって表される。変換係数は、変換ブロックで提示することができる。
[0026]本開示は、変換ブロックの変換係数のレベルをシグナリングすることに関連する技法について説明する。さらに、本開示は、変換係数のコンテキスト適応型、マルチレベル有意性コーディングに関するコンテキスト導出に関する技法について説明する。導出されたコンテキストは、例えば、算術的コーディングプロセス、例えば、コンテキスト適応型算術コーディング(CABAC)、に関するコンテキストとして使用することができる。用語レベルは、本開示では2つの異なる方法で使用されることが注目されるべきである。用語レベルは、幾つかの例では、係数の値又は絶対値を意味するために使用することができる。しかしながら、用語レベルは、階層構造内の異なる位置を意味するためにも使用することができる。例えば、変換ブロック全体をサブブロックの第1の組に分割することができ、サブブロックの第1の組の各サブブロックは、サブブロックレベルの第2の組にさらに分割することができ、第2のサブブロックの各々は、個々の係数を含むことができる。変換ブロック階層のこれらの異なる段階は、例えば、変換ブロックレベル全体、第1のサブブロックレベル、第2のサブブロックレベル、及び個々の係数レベルと呼ぶことができる。
[0027]有意性コーディング(significance coding)は、概して、変換係数又は変換係数グループがゼロ以外の値を有する少なくとも1つの変換係数を含むかどうかを示す情報をコーディングすることを意味する。変換係数は、ゼロ以外の値(レベルとも呼ばれる)を有する場合に有意である(significant)であるとみなされる。変換係数のブロックは、それが少なくとも1つの有意な係数を含む場合に有意であるとみなされる。
[0028]コーディング中の映像データの特徴に応じて、映像符号器は、様々なサイズ、例えば、32×32、16×16、及び8×8、の変換ブロックをコーディングすることができる。将来の映像コーディング規格又は現在の映像コーディング規格の将来の拡張版は、さらに大きい変換サイズ、例えば、64×64又は128×128、を組み入れることができることも企図される。変換ブロックの情報をより効率的にコーディングするために、変換ブロックは、変換ブロック全体よりも小さいサブブロックに分割することができる。例えば、16×16変換ブロックは、4×4サブブロック及び/又は2×2サブブロックに分割することができる。本開示は、マルチレベル有意性コーディングを導入する。従って、本開示の技法により、第1のレベル(例えば、変換ブロック全体レベル)において、変換係数をコーディングするときには、映像符号器は、変換ブロックが少なくとも1つの有意な係数(すなわち、少なくとも1つのゼロ以外の係数)を含むかどうかを示すために第1の有意性情報(例えば、コーディングされたブロックフラグ)をコーディングすることができる。変換ブロック全体に少なくとも1つの有意な係数が入っている場合は、第2のレベル(例えば、第1のサブブロックレベル)に関して、映像符号器は、各サブブロックが有意な係数を含むかどうかを示すサブブロックに関して第2の有意性情報をコーディングすることができる。有意な係数を含む各サブブロックに関して、映像コーダは、サブブロックのサブブロックが有意な係数を含むかどうかを示す第3のレベル(すなわち、第2のサブブロックレベル)の有意性情報をコーディングすることができる。このマルチレベル有意性コーディングは、最低レベル(例えば、個々の係数レベル)まで続けることができる。
[0029]本開示の技法により、より低いレベルに関して用いられるサブブロックのサイズは、変換ブロックのサイズから独立していることができる。一例として、第2のレベルに関するサブブロックサイズは、第1のレベルの変換ブロックが32×32以上であるかどうかにかかわらず16×16であることができる。他の例として、第1のサブブロックレベルに関するサブブロックサイズは、変換ブロック全体が16×16又は32×32であるかどうかにかかわらず常に8×8であることができる。本開示では、用語サブブロックは、概して、より大きいブロックの一部分であるより小さいブロックを指すことが意味される。例えば、32×32ブロックは、4つの16×16サブブロック、16の8×8サブブロックに分割することができ、又は何らかのその他のサイズのブロックに分割することができる。サブブロックは、さらに小さいサブブロックにさらに分割することができる。一例として、32×32ブロックは、4つの16×16サブブロックに分割することができ、16×16サブブロックの各々は、4つの8×8ブロック又は16の4×4サブブロックにさらに分割することができる。
[0030]各サブブロックレベルに関して、映像コーダは、コンテキストに基づいて有意性情報を算術的にコーディングすることができる。本開示の技法により、特定のレベルの有意性情報に関するコンテキストは、同じレベルの既にコーディングされたサブブロック及びより高いレベルの既にコーディングされたブロック又はサブブロックの両方に基づくことができる。
[0031]図1は、本開示において説明される変換ブロックコーディング技法を利用することができる映像符号化及び復号システム例10を示したブロック図である。図1において示されるように、システム10は、行先デバイス14によってのちに復号されるべき符号化された映像データを生成するソースデバイス12を含む。ソースデバイス12及び行先デバイス14は、広範なデバイスを備えることができ、デスクトップコンピュータ、ノートブック(例えば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、例えば、いわゆる“スマート”フォン、いわゆる“スマート”パッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームプレイコンソール、車内コンピュータ、等を含む。幾つかの場合は、ソースデバイス12及び行先デバイス14は、無線通信のために装備することができる。
[0032]行先デバイス14は、リンク16を介して復号されるべき符号化された映像データを受信することができる。リンク16は、符号化された映像データをソースデバイス12から行先デバイス14に移動させることが可能なあらゆるタイプの媒体又はデバイスを備えることができる。一例では、リンク16は、ソースデバイス12が符号化された映像データをリアルタイムで直接行先デバイス14に送信するのを可能にする通信媒体を備えることができる。符号化された映像データは、通信規格、例えば、無線通信プロトコル、により符号化された映像データを変調することができ、及び、変調された映像データを行先デバイス14に送信することができる。通信媒体は、無線又は有線の通信媒体、例えば、無線周波数(RF)スペクトル又は1つ以上の物理的送信ライン、を備えることができる。通信媒体は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク(例えば、インターネット)の一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイス12から行先デバイス14への通信を容易にするのに役立つことができるその他の装置を含むことができる。
[0033]代替として、符号化されたデータは、出力インタフェース22から記憶デバイス32に出力することができる。同様に、符号化されたデータは、入力インタフェースによって記憶デバイス32からアクセスすることができる。記憶デバイス32は、様々な分散された又はローカルでアクセスされるデータ記憶媒体、例えば、ハードドライブ、Blue−rayディスク、DVD、CD−ROM、フラッシュメモリ、揮発性又は非揮発性メモリ、又は符号化された映像データを格納するためのその他の適切なデジタル記憶媒体を含むことができる。さらなる例では、記憶デバイス32は、ソースデバイス12によって生成された符号化された映像を保持することができるファイルサーバ又は他の中間的な記憶デバイスを含むことができる。行先デバイス14は、ストリーミング又はダウンロードを介して記憶デバイス32から格納された映像データにアクセスすることができる。ファイルサーバは、符号化された映像データを格納すること及び符号化された映像データを行先デバイス14に送信することが可能なタイプのサーバであることができる。ファイルサーバ例は、(例えば、ウェブサイトのための)ウェブサーバと、FTPサーバと、ネットワーク接続記憶(NAS)デバイスと、ローカルディスクドライブと、を含む。行先デバイス14は、インターネット接続を含む標準的なデータ接続を通じて符号化された映像データにアクセスすることができる。これは、ファイルサーバに格納された符号化された映像データにアクセスするのに適する無線チャネル(例えば、Wi−Fi接続)、有線接続(例えば、DSL、ケーブルモデム、等)、又は両方の組み合わせを含むことができる。格納デバイス32からの符号化された映像データの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合わせであることができる。
[0034]本開示の技法は、無線の用途またはセッティングには限定されない。それらの技法は、映像コーディングに適用することができ、様々なマルチメディア用途、例えば、オーバー・ザ・エアテレビ放送、ケーブルテレビ送信、衛星テレビ送信、例えば、インターネットを介してのストリーミング映像送信、データ記憶媒体への格納のためのデジタル映像の符号化、データ記憶媒体に格納されたデジタル映像の復号、又はその他の用途をサポートする。幾つかの例では、システム10は、映像ストリーミング、映像再生、映像放送、及び/又は映像テレフォニー、等の用途をサポートするために1方向又は2方向の映像送信をサポートするように構成することができる。
[0035]図1の例では、ソースデバイス12は、映像ソース18と、映像符号器20と、出力インタフェース22と、を含む。幾つかの場合は、出力インタフェース22は、変調器/復調器(モデム)及び/又は送信機を含むことができる。ソースデバイス12において、映像ソース18は、映像キャプチャデバイス、例えば、ビデオカメラ、以前にキャプチャされた映像データが入った映像アーカイブ、映像コンテンツプロバイダからの映像を受信するための映像フィードインタフェース、及び/又は、映像データを生成するためのコンピュータグラフィックスシステム、又は該映像データソースの組み合わせ、を含むことができる。一例として、映像ソース18がビデオカメラである場合は、ソースデバイス12及び行先デバイス14は、いわゆるカメラフォン又はビデオフォンを形成することができる。しかしながら、本開示において説明される技法は、映像コーディング全般に対して適用可能であり、及び、無線及び/又は有線の用途に適用することができる。
[0036]キャプチャされた、予めキャプチャされた、又はコンピュータによって生成された映像は、映像符号器20によって符号化することができる。符号化された映像データは、ソースデバイス12の出力インタフェース22を介して行先デバイス14に直接送信することができる。符号化された映像データは、復号及び/又は再生のための行先デバイス14又はその他のデバイスによるのちのアクセスのために格納デバイス32に格納することもできる(又は、代替として格納することができる)。
[0037]行先デバイス14は、入力インタフェース28と、映像復号器30と、表示装置32と、を含む。幾つかの例では、入力インタフェース28は、受信機及び/又はモデムを含むことができる。行先デバイス14の入力インタフェース28は、リンク16を通じて符号化された映像データを受信する。リンク16を通じて通信された、又は記憶デバイス32において提供された符号化された映像データは、映像データを復号する際に、映像復号器、例えば、映像復号器30、によって使用するために映像符号器20によって生成される様々な構文要素を含むことができる。該構文要素は、通信媒体で送信される符号化された映像データとともに含めること、記憶媒体に格納すること、又はファイルサーバに格納することができる。
[0038]表示装置32は、行先デバイス14と一体化することができ又は外部に存在することができる。幾つかの例では、行先デバイス14は、一体化された表示装置を含むこと及び外部の表示装置とインタフェースするように構成することもできる。その他の例では、行先デバイス14は、表示装置であることができる。概して、表示装置32は、復号された映像データをユーザに表示し、及び、様々な表示装置、例えば、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は他のタイプの表示装置、を備えることができる。
[0039]映像符号器20及び映像復号器30は、映像圧縮規格、例えば、現在策定中の高効率映像コーディング(HEVC)規格、に従って動作することができ、及びHEVCテストモデル(HM)に準拠することができる。HEVC規格の最近のドラフトは、“HEVCワーキングドラフト8”又は“WD8”と呼ばれ、7月11〜20日にスウェーデンのストックホルムで開催された第10回会議においてITU−T SG16 WP3及びISO/IEC JTC1/SC29/WG11の映像コーディングに関する共同作業チーム(JCT−VC)によって提出された文書 JCTVC−J1003、Bross et al.,“High efficiency video coding(HEVC) text specification draft8”において記述されている。WD8は、ここにおける引用によってそれ全体がここに組み入れられている。HEVC規格の他の最近のドラフトは、“HEVCワーキングドラフト10”又は“WD10”と呼ばれ、2013年1月14日〜23日にスイスのジュネーブで開催された第12回会議においてITU−T SG16 WP3及びISO/IEC JTC1/SC29/WG11の映像コーディングに関する共同作業チーム(JCT−VC)によって提出された文書 JCTVC−L1003v34、Bross et al.,“High efficiency video coding(HEVC) text specification draft10”(FDIS&Last Call)において記述されている。WD10は、ここにおける引用によってそれ全体がここに組み入れられている。
[0040]代替として又はさらに加えて、映像符号器20及び映像復号器30は、その他の独占規格又は工業規格、例えば、ITU−T H.264規格、代替でMPEG−4、Part10、Advanced Video Coding(AVC)と呼ばれる、又は該規格の拡張版、により動作することができる。しかしながら、本開示の技法は、特定のコーディング規格には限定されない。映像圧縮規格のその他の例は、MPEG−2と、ITU−T H.263と、を含む。
[0041]図1には示されていないが、幾つかの態様では、映像符号器20及び映像復号器30は、各々、音声符号器及び復号器と一体化することができ、及び、共通のデータストリーム又は別々のデータストリーム内の音声及び映像の両方の符号化を取り扱うための該当するMUX−DEMUXユニット、又はその他のハードウェア及びソフトウェアを含むことができる。該当する場合は、幾つかの例では、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又はその他のプロトコル、例えば、ユーザデータグラムプロトコル(UDP)に準拠することができる。
[0042]映像符号器20及び映像復号器30は、各々、様々な適切な符号器回路、例えば、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらのあらゆる組み合わせのうちのいずれかとして実装することができる。技法がソフトウェア内において部分的に実装されるときには、デバイスは、ソフトウェアに関する命令を適切な、非一時的なコンピュータによって読み取り可能な媒体に格納することができ及び本開示の技法を実行するために1つ以上のプロセッサを用いてハードウェア内で命令を実行することができる。映像符号器20及び映像復号器30の各々は、1つ以上の符号器又は復号器に含めることができ、それらのいずれも、各々のデバイスにおいて結合された符号器/復号器(CODEC)の一部として一体化することができる。
[0043]概して、HMのワーキングモデルでは、映像フレーム又はピクチャは、ツリーブロックのシーケンス又はルマサンプル及びクロマサンプルの両方を含む最大のコーディングユニット(LCU)に分割することができると記述している。ツリーブロックは、H.264規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序の幾つかの連続するツリーブロックを含む。映像フレーム又はピクチャは、1つ以上のスライスに分割することができる。各ツリーブロックは、四分木によりコーディングユニット(CU)に分割することができる。例えば、ツリーブロックは、四分木の根ノードとして、4つの小ノードに分割することができ、各子ノードは、親ノード及び他の4つの子ノードに分割することができる。最終的な、分割されない子ノードは、四分木の葉ノードとして、コーディングノード、すなわち、コーディングされた映像ブロック、を備える。コーディングされたビットストリームに関連する構文データは、ツリーブロックを分割することができる最大回数を定義することができ、コーディングノードの最小サイズを定義することもできる。
[0044]CUは、コーディングノードと、そのコーディングノードに関連する予測ユニット(PU)及び変換ユニット(U)を含む。CUのサイズは、コーディングノードのサイズに対応し、形状は正方形でなければならない。CUのサイズは、8×8ピクセルからツリーブロックのサイズまでの範囲であることができ、最大サイズは64×64ピクセル以上である。各CUには、1つ以上のPU及び1つ以上のTUが入ることができる。CUに関連する構文データは、例えば、1つ以上のPUへのCUの分割を記述することができる。分割モードは、CUがスキップ又は直接モード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なることができる。PUは、形状が非正方形に分割することができる。CUに関連する構文データは、例えば、四分木による1つ以上のTUへのCUの分割も記述することができる。TUの形状は、正方形であっても非正方形であってもよい。
[0045]HEVC規格は、TUによる変換を考慮しており、異なるCUごとに異なることができる。TUは、典型的には、分割されたLCUに関して定義される所定のCU内のPUのサイズに基づいてサイズが設定されるが、常にそうであるわけではない。TUは、典型的には、PUと同じサイズであるか又はそれよりも小さい。幾つかの例では、CUに対応する残差サンプルは、“残差四分木(RQT)”と呼ばれる四分木構造を用いてより小さいユニットに細分割することができる。RQTの葉ノードは、変換ユニット(TU)と呼ぶことができる。TUに関連するピクセル差分値は、変換係数を生成するために変換することができ、それらは量子化することができる。
[0046]概して、PUは、予測プロセスに関連するデータを含む。例えば、PUがイントラモード符号化されるときには、PUは、、PUに関するイントラ予測モードを記述するデータを含むことができる。他の例として、PUがインターモード符号化されるときには、PUは、PUに関する1つ以上の動きベクトルを定義するデータを含むことができる。PUに関する動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに関する解像度(例えば、1/4ピクセル精度又は1/8ピクセル精度)、動きベクトルが指し示す基準ピクチャ、及び/又は動きベクトルに関する基準ピクチャリスト(例えば、リスト0、リスト1、又はリストC)を記述することができる。
[0047]概して、TUは、変換及び量子化プロセスのために使用される。1つ以上のPUを有する所定のCUは、1つ以上のTUを含むこともできる。予測に引き続き、映像符号器20は、PUに対応する残差値を計算することができる。残差値は、エントロピーコーディングのためのシリアライズされた変換係数を生成するためにTUを用いて変換係数に変換し、量子化し、及び走査することができるピクセル差分値を備える。上において紹介されるように、本開示は、TUをコーディングして映像符号器20から映像復号器30にシグナリングするための技法について説明する。本開示は、CU、LCU、PU、TU、又はその他のタイプの映像ブロックを一般的に意味するために用語“映像ブロック”を使用する。
[0048]映像シーケンスは、典型的には、一連の映像フレーム又はピクチャを含む。ピクチャのグループ(GOP)は、概して、映像ピクチャのうちの一連の1つ以上を備える。GOPは、GOP内に含まれるピクチャ数を記述する構文データをGOPのヘッダ、1つ以上のピクチャのヘッダ、又はその他の場所において含むことができる。ピクチャの各スライスは、各々のスライスに関する符号化モードを記述するスライス構文データを含むことができる。映像符号器20は、典型的には、映像データを符号化するために個々の映像スライス内の映像ブロックに対して動作する。映像ブロックは、CU内のコーディングノードに対応することができる。映像ブロックは、固定された又は可変のサイズを有することができ、及び、指定されたコーディング規格によりサイズが異なることができる。
[0049]一例として、HMは、様々なPUサイズの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2N又はN×NのPUサイズでのイントラ予測、及び2N×2N、2N×N、N×2N、又はN×Nの対称的PUサイズでのインター予測をサポートする。HMは、2N×nU、2N×nD、nL×2N、及びnR×2NのPUサイズでのインター予測に関する非対称的な分割もサポートする。非対称的な分割では、CUの1方の方向が分割されず、他方の方向が25%及び75%に分割される。25%の分割に対応するCUの部分は、“n”によって示され、“上(Up)”、“下(Down)”、“左(Left)”、又は“右(Right)”の表示文字によって後続される。従って、例えば、“2N×nU”は、水平に分割され、最上部が2N×0.5N PU、最下部が2N×1.5N PUである2N×2N CUを意味する。
[0050]本開示においては、“N×N”及び“N by N”は、垂直及び水平の寸法に関する映像ブロックのピクチャ寸法を意味するために互換可能な形で使用することができ、例えば、16×16ピクセル又は16 by 16ピクセル。概して、16×16ブロックは、垂直方向に16ピクセル(y=16)及び水平方向に16ピクセル(x=16)を有することになる。同様に、N×Nブロックは、概して、垂直方向にNのピクセル及び水平方向にNのピクセルを有し、ここで、Nは、負でない整数値を表す。ブロック内のピクセルは、行及び列で配列することができる。さらに、ブロックは、水平方向と垂直方向で必ずしも同じピクセル数を有する必要がない。例えば、ブロックは、N×Mピクセルを備えることができ、ここで、Mは必ずしもNと等しくない。
[0051]CUのPUを用いたイントラ予測又はインター予測コーディングに引き続き、映像符号器20は、CUのTUに関する残差データを計算することができる。PUは、空間領域(ピクセル領域とも呼ばれる)において予測ピクセルデータを備えることができ、及び、TUは、変換、例えば、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、又は概念的に類似する変換を残差映像データに適用後に変換領域において係数を備えることができる。残差データは、符号化されないピクチャのピクセルとPUに対応する予測値との間のピクセル差分に対応することができる。映像符号器20は、CUに関する残差データを含むTUを形成することができ、次に、CUに関する変換係数を生成するためにTUを変換することができる。
[0052]変換係数を生成するための変換に引き続き、映像符号器20は、それらの変換係数の量子化を行うことができる。量子化は、概して、係数を表すために使用されるデータ量を低減させ、さらなる圧縮を提供するために変換係数が量子化されるプロセスを意味する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減させることができる。例えば、量子化中にnビット値が切り捨てられてmビット値になり、ここで、nはmよりも大きい。
[0053]上において紹介されように及び以下においてより詳細に説明されるように、映像符号器20は、本開示において説明されるコンテキスト適応型、マルチレベル有意性コーディングを用いて映像復号器30にTUをシグナリングすることができる。幾つかの例では、映像符号器20は、エントロピー符号化することができるシリアライズされたベクトルを生成するために量子化された変換係数を走査するために予め定義された走査順序を利用することができる。その他の例では、映像符号器20は、適応型走査を行うことができる。一次元ベクトルを形成するために量子化された変換係数を走査後は、映像符号器20は、例えば、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔パーティショニングエントロピー(PIPE)コーディング又は他のエントロピー符号化法により一次元ベクトルをエントロピー符号化することができる。映像符号器20は、映像データを復号する際に映像復号器30によって使用するための符号化された映像データに関連する構文要素もエントロピー符号化することができる。
[0054]概して、CABACを用いてデータシンボルをエントロピーコーディングすることは、次のステップのうちの1つ以上を含む。すなわち、
(1)バイナリ化:コーディングされるべきシンボルが非バイナリ値である場合は、いわゆる“ビン”のシーケンスにマッピングされる。各ビンは、“0”又は“1”の値を有することができる。
(2)コンテキスト割り当て:(正規モードの)各ビンは、コンテキストに割り当てられる。コンテキストモデルは、所定のビンに関するコンテキストが、ビンに関して入手可能な情報、例えば、以前に符号化されたシンボル又はビン番号の値、に基づいてどのように計算されるかを決定する。
(3)ビン符号化:ビンは、算術的符号器によって符号化される。ビンを符号化するために、算術的符号器は、ビンの値の確率、すなわち、ビンの値が“0”に等しい確率、及びビンの値が“1”に等しい確率、を入力として要求する。各コンテキストの(推定された)確率は、“コンテキスト状態”と呼ばれる整数値によって表される。各コンテキストは、1つの範囲の状態を有し、従って、状態(すなわち、推定される確率)の範囲は、1つのコンテキストに割り当てられたビンに関しては同じであり、コンテキストの間で異なる。
(4)状態更新:選択されたコンテキストに関する確率(状態)が、ビンの実際のコーディングされた値に基づいて更新される(例えば、ビン値が“1”であった場合は、“1”の確率が増大する)。
[0055]PIPEは、算術的コーディングの原理と同様のそれらを使用し、従って、本開示の技法を利用することもできることが注目されるべきである。
[0056]CABACを実行するために、映像符号器20は、コンテキストモデル内のコンテキストを送信されるべきシンボルに割り当てることができる。
コンテキストは、例えば、シンボルの近隣値がゼロでないかどうかに関連することができる。
[0057]HEVC WD8では、8×8、16×16、及び32×32変換ブロックに関して、映像符号器20は、4×4サブブロック走査を使用する。サブブロックは、最上部−右から最下部−左走査を用いて(例えば、高周波数から低周波数へ)逆方向に走査される。サブブロック内では、変換係数も、最上部−右から最下部−左走査を用いて逆方向に走査される。各4×4サブブロックは、5つのコーディングパス(coding pass)でコーディングされる、すなわち、有意性、1より大きいレベル、2より大きいレベル、符号、及び2よりも大きい係数レベルはそのまま。
[0058]HEVC規格に関する幾つかの提案では、映像符号器20は、係数グループ(CG)ともときどき呼ばれる塊又は部分組に係数を分類する。映像符号器20は、各部分組に関する変換係数の有意性マップ(significance map)及びレベル情報(絶対値及び符号)をコーディングする。一例では、より大きい変換ブロック内の変換係数の4×4サブブロック(又は部分組)は、部分組として取り扱われる。次のシンボルは、部分組内の係数レベル情報を表すためにコーディングされて映像符号器20から映像復号器30にシグナリングされる。一例では、映像符号器20は、すべてのシンボルを逆走査順序で符号化する。次のシンボルは、“フラグ”と呼ぶことができる。本開示において論じられるいずれの“フラグ”もバイナリシンボルに限定する必要はなく、複数のビットの構文要素として実装することもできることが注目されるべきである。
[0059]significant_coeff_flag(略語sigMapFlag):このフラグは、CG内の各係数の有意性を示す。1以上の絶対値を有する係数は、有意であるとみなされる。一例として、0のsigMapFlag値は、係数が有意でないことを示し、1の値は、係数が有意であることを示す。このフラグは、概して、有意性フラグと呼ぶことができる。
[0060]coeff_abs_level_greater1_flag(略語gr1Flag):このフラグは、係数の絶対値があらゆるゼロでない係数(すなわち、1であるsigMapFlagを有する係数)に関して1よりも大きいかどうかを示す。一例として、0のgr1Flag値は、係数が1よりも大きい絶対値を有さないことを示し、sigMapFlagが1の値は、係数が1よりも大きい絶対値を有することを示す。このフラグは、概して、1よりも大きいフラグと呼ぶことができる。
[0061]coeff_abs_level_greater2_flag(略語gr2Flag):このフラグは、係数の絶対値が1(すなわち、1であるsigMapFlagを有する係数)よりも大きい絶対値を有するあらゆる係数に関して2よりも大きいかどうかを示す。一例として、0のgr2Flag値は、係数が2よりも大きい絶対値を有さないことを示し、gr2Flagが1の値は、係数が2よりも大きい絶対値を有することを示す。このフラグは、概して、2よりも大きいフラグと呼ぶことができる。
[0062]coeff_sign_flag(略語signFlag):このフラグは、ゼロでない係数(すなわち、1であるsigMapFlagを有する係数)に関する符号情報を示す。例えば、このフラグに関してゼロは、正の符号を示し、1は、負の符号を示す。
[0063]coeff_abs_level_remaining(略語levelRem):この構文要素は、残りの係数の絶対値を示す。例えば、このフラグに関して、係数の絶対値マイナス3が、2よりも大きい絶対値を有する各係数(すなわち、gr2Flagが1である係数)に関してコーディングされる(abs(level)−3)。
[0064]図2は、4×4ブロック100内の量子化された係数の例を示す。ブロック100は、4×4変換ブロックであることができ又は8×8、16×16又は32×32変換ブロックにおける4×4サブブロック(部分組)であることができる。図2に示される係数に関する符号化されたシンボルは、逆走査順序で走査され、表1において要約される。表1において、scan_posは、図2に示される逆対角線走査に沿った係数の位置を意味する。scan_pos15は、走査される最初の係数であり、ブロック100の右下隅に位置する。scan_pos15における量子化された係数は、0の絶対値を有する。scan_pos0は、走査される最後の係数であり、ブロック100の左上隅に位置する。scan_pos0における量子化された係数は、10の絶対値を有する。4×4変換ブロック又はより大きい変換ブロックにおける最後の4×4サブブロックの場合は、最後のゼロでない係数は既知であるため、最初の4つのsigMapFlagはコーディングする必要がない。すなわち、sigMapFlagのコーディングは、最後のゼロでない係数において開始することができる(この例では、scan_pos11における係数)。幾つかの例では、最初のゼロでない係数の位置も知ることができ、このため、scan_pos11に関するsigMapFlagは、追加でシグナリングすることができない。
[0065]これらのシンボルのうちで、sigMapFlag、gr1Flag及びgr2Flagのビンは、アダプティブコンテキストモデルを用いて符号化される。signFlag及びlevelRemのバイナリ化されたビンは、固定された等しい確率モデル(例えば、指数Golombコード)を用いてバイパスモードを通じて符号化される。
[0066]ブロック又はサブブロックの有意性のコーディングは、2つの部分を含むことができる。第1に、コーディングされたサブブロックフラグ(CSBF)は、ゼロでない係数がサブブロック内に存在するかどうかを示すために各係数グループに関してコーディングされる(又は推論される)。CSBFが1である場合は、係数グループ内の各変換係数に関する有意な係数フラグがコーディングされる。WD8では、有意なフラグコンテキストは、4×4サブブロック内の係数の位置、サブブロックにDC係数が入っているかどうか、及び右(CSBF)及び下方(CSBF)のサブブロックに関するCSBFに依存する。
[0067]図3A乃至3Dは、CSBF及びCSBFに依存する4×4サブブロックの4つの異なるコンテキスト割り当てパターンを示す。4×4サブブロック内の係数は、図3A−3Dに示されるように、CSBF及びCSBFに依存して、映像符号器20及び映像復号器30によってコンテキストが割り当てられる。図3A−3Dのブロック内の数字(0、1、及び2)は、異なるコンテキストに対応する。図3A−3Dの例では、2のコンテキストは、係数が有意であることについての高い尤度(例えば、50/50よりも大きい)を示すことができ、0のコンテキストは、係数が有意であることについての低い尤度(例えば、50/50よりも小さい)を示すことができる。1のコンテキストは、係数が有意であることについて約50/50の尤度を示すことができる。図3A−3Dは、コンテキストパターンの一例であるにすぎず、本開示の技法は、異なるコンテキストパターンとともに使用することができることが企図され、より多い又はより少ないコンテキストを有するパターンを含む。
[0068]4×4サブブロック内にDC係数が入っていない場合は、3のコンテキストオフセットが適用される。一例として、4×4サブブロック内にDC係数が入っておらず、さらに、図3A−3Dからのコンテキスト割り当てが2である場合は、使用される実際のコンテキストは、5になる。換言すると、コンテキスト導出プロセスは、両方の場合ともまったく同じであるが、DC及び非DCサブブロックに関して異なるコンテキストの組が使用される(それらは、同じコンテキストを共有していない)。このプロセス例は、ルマ変換係数に関するものである。クロマ変換係数に関しては、4×4サブブロック内にDC係数が入っているかどうかに基づくコンテキストオフセットは適用されず、コンテキストは、すべてのサブブロックに関して共有される。従って、クロマに関しては3つのコンテキストのみが使用される。DC係数は常に別個のコンテキストを使用し、それは、すべてのTUサイズに関して共有される。
[0069]図3Aは、ゼロでない係数を有さない下方の近隣サブブロック(すなわち、CSBF=0)及びゼロでない係数を有さない右の近隣サブブロック(すなわち、CSBF=0)を有するサブブロック内の係数に関するコンテキストの例を示す。図3Bは、ゼロでない係数を有さない下方の近隣サブブロック(すなわち、CSBF=0)及び少なくとも1つのゼロでない係数を有する右の近隣サブブロック(すなわち、CSBF=1)を有するサブブロック内の係数に関するコンテキストの例を示す。図3Cは、少なくとも1つのゼロでない係数を有する下方の近隣サブブロック(すなわち、CSBF=1)及びゼロでない係数を有さない右の近隣サブブロック(すなわち、CSBF=0)を有するサブブロック内の係数に関するコンテキストの例を示す。図3Dは、少なくとも1つのゼロでない係数を有する下方の近隣サブブロック(すなわち、CSBF=1)及び少なくとも1つのゼロでない係数を有する右の近隣サブブロック(すなわち、CSBF=1)を有するサブブロック内の係数に関するコンテキストの例を示す。
[0070]図3A−3Dは、HEVCで使用される実際のコンテキストオフセットの代わりに0から始まるコンテキスト番号付与を示す。HEVCコンテキストは、インデキシングされる。例えば、sig_coeff_flagに関しては、ブロックサイズ及びルマであるか又はクロマであるかに依存してインデキシングされる。単純化するため、図3A−3Dでは、コンテキストには0から番号が付与されており、ブロックサイズ及び色成分に起因して関わる異なるオフセットを無視している。オフセットは、本開示の技法の理解又は実装にとって不可欠でない、HEVCにおけるコンベンション(convention)である。
[0071]HEVCでは、上で紹介されるように、有意情報は、複数のレベルでコーディングされる。コーディングされたブロックフラグ(CBF)は、変換ブロック全体の有意性をシグナリングする。すなわち、CBFは、変換ブロック全体に有意な(すなわち、ゼロでない)係数が入っているかどうかを示す。変換ブロック内において、レベルは、(CSBFを用いる)サブブロックの有意性に対応し、他のレベルは、個々の係数の有意性に対応する。このレベルでは、個々のレベルの有意性は、上述される構文要素significant_coeff_flagを用いてシグナリングされる。
[0072]この例において説明されるように、HEVCには3つのレベルの有意性シグナリングが存在する。本開示の例により、CSBF(4×4サブブロックレベル)とsignificant_coeff_flag(個々の係数レベル)との間には、他の有意性情報シグナリングレベル、例えば、2×2サブブロックレベル、が存在することができる。より一般的には、本開示の技法により、有意性シグナリングは、ブロック全体レベル、個々の係数レベル、及び2つ以上のサブブロックレベルで生じることができる。これらの2つ以上のサブブロックレベルは、例えば、2×2サブブロックレベル及び4×4サブブロックレベルであることができるが、その他のサブブロックレベルも同様に使用することができる。
[0073]2×2サブブロック有意性は、それ自体のフラグ及びコンテキスト導出及びパターンを利用することができる。本開示は、2×2有意性(又はその他の中間サイズ)をシグナリングする方法及び変換係数をシグナリングするときのより良い性能のためにサブブロックレベルで有意性シグナリングを利用する方法について説明する。従って、その他のサブブロックレベルは、コーディング中の現在のサブブロックレベルに関して有意性情報をシグナリングするために使用されるコンテキスト情報を提供することができる。その他のサブブロックレベルの有意性情報は、エントロピー符号器が現在のレベルにおいて有意性情報の確率をより良くモード化し、それによりコーディング効率を向上させるのを可能にすることができる。本開示の技法は、説明上の目的で2×2サブブロックレベルを使用することができるが、ここにおいて説明される技法は、2×2サブブロックレベルには限定されず、その他のサブブロックレベルに対して適用可能であることが理解されるべきである。
[0074]本開示の技法により、追加のサブブロックの有意性をシグナリングするために構文要素(例えば、フラグ)を使用することができる。このフラグは、概して、例えば、coded_additional_sub_block_flag(CASBF)と呼ぶことができる。一例では、追加のサブブロックは、2×2サブブロックであることができ、その場合は、フラグは、例えば、coded_2x2_sub_block_flag(C2SBF)と呼ぶことができる。C2SBFは、2×2サブブロック内の少なくとも1つの係数が有意である場合は1に設定することができる。そうでない場合は、C2SBFは、0に設定することができる。
[0075]CASBF及びC2SBFのコーディングを向上させることができるようにするために、フラグをコンテキストコーディングすることができる。特定のサブブロックに関して使用されるコンテキストの選択は、性能に影響を与える可能性がある。本開示の技法により、C2SBFコンテキストは、既にコーディングされている近隣の2×2サブブロックのCV2SBF、及び/又は、近隣の4×4サブブロックのCSBF、及び/又は、サブブロックの近隣係数のsignificant_coeff_flagに依存することができる。コンテキスト導出のために使用される近隣係数/サブブロックは、現在のサブブロックの因果関係近隣(causal neighborhood)を備えることができる。この点に関して、“因果関係”近隣物は、コーディングされている近隣物であり、従って、それらの情報は、現在の有意性情報をコーディングするときに映像符号器20及び映像復号器30の両方にとってアクセス可能である。この例では、現在の有意性情報は、C2SBFフラグを含むことができる。一例では、近隣は、右の係数/サブブロック、下方のそれ、及び斜め右下のそれを含むことができる。
[0076]今度は、中間のサブブロック/CGサイズに関するコンテキスト割り当てについて説明される。本開示の一例では、2×2サブブロックに関するコンテキスト割り当てのパターンは、前にコーディングされたC2SBF及び/又は前にコーディングされたCSBFに依存することができる。一例では、パターンは、現在のサブブロックの右及び下方のサブブロックに依存する。他の例では、パターンは、4×4サブブロック内及び/又は変換ブロック内の2×2サブブロックの位置にも依存する。
[0077]本開示の他の例では、コンテキスト割り当ても、4×4サブブロック内及び/又は変換ブロック内の2×2サブブロックの位置にも依存することができる。すなわち、2つの2×2サブブロックは、近隣サブブロックにおいて同じ有意性マップを有することができる。2×2サブブロックには同じパターンを割り当てることができるが、変換ブロック内の位置に依存して異なるコンテキストセットを有することができる。
[0078]図4は、本開示において説明される技法を実装することができる映像符号器例20を示したブロック図である。映像符号器20は、映像スライス内の映像ブロックのイントラ及びインターコーディングを行うことができる。イントラコーディングは、所定の映像フレーム又はピクチャ内の映像の空間的冗長性を低減させる又は除去するために空間的予測に依存する。インターコーディングは、映像シーケンスの隣接するフレーム又はピクチャ内の映像の空間的冗長性を低減させる又は除去するために時間的予測に依存する。イントラモード(I モード)は、幾つかの空間に基づくコーディングモードのうちのいずれかを意味することができる。インターモード、例えば、単一方向性予測(Pモード)又は2予測(Bモード)、は、幾つかの時間に基づくコーディングモードのうちのいずれかを意味することができる。
[0079]図4の例において、映像符号器20は、分割ユニット35と、予測処理ユニット41と、フィルタユニット63と、復号ピクチャバッファ64と、加算器50と、逆変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56と、を含む。予測処理ユニット41は、動き推定ユニット42と、動き補償ユニット44と、イントラ予測処理ユニット46と、を含む。映像ブロック再構築に関しては、映像符号器20は、逆量子化ユニット58と、逆変換処理ユニット60と、加算器62と、も含む。フィルタユニット63は、1つ以上のループフィルタ、例えば、デブロッキングフィルタ、アダプティブループフィルタ(ALF)、及びサンプルアダプティブオフセット(SAO)フィルタを代表することが意図される。図4では、フィルタユニット63はインループフィルタとして示されているが、フィルタユニット63は、ポストループフィルタとして実装することができる。
[0080]図4において示されるように、映像符号器20は、映像データを受信し、分割ユニット35は、データを映像ブロックに分割する。この分割は、スライス、タイル、又はその他のより大きいユニットへの分割、及び、例えば、LCU及びCUの四分木構造に従った映像ブロック分割を含むこともできる。映像符号器20は、概して、符号化されるべき映像スライス内の映像ブロックを符号化するコンポーネントを例示する。スライスは、複数の映像ブロック(及び可能なことに、タイルと呼ばれる映像ブロックの組)に分割することができる。予測処理ユニット41は、誤り結果(例えば、コーディングレート及び歪みレベル)に基づいて現在の映像ブロックに関して複数のイントラコーディングモードのうちの1つ又は複数のインターコーディングモードのうちの1つを選択することができる。予測処理ユニット41は、結果的に得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成するために加算器50に、及び、基準ピクチャとしての使用のために符号化されたブロックを再構築するために加算器62に提供することができる。
[0081]予測処理ユニット41内のイントラ予測処理ユニット46は、空間的圧縮を提供するためにコーディングされるべき現在のブロックと同じフレーム又はスライス内の1つ以上の近隣ブロックに関して現在の映像ブロックのイントラ予測コーディングを行うことができる。予測処理ユニット41内の動き推定ユニット42及び動き補償ユニット44は、時間的圧縮を提供するために1つ以上の基準ピクチャ内の1つ以上の予測ブロックに関して現在の映像ブロックのインター予測コーディングを行う。
[0082]動き推定ユニット42は、映像シーケンスに関する予め決定されたパターンに従って映像スライスに関するインター予測モードを決定するように構成することができる。予め決定されたパターンは、シーケンス内の映像スライスをPスライス、Bスライス又はGPBスライスとして指定することができる。動き推定ユニット42及び動き補償ユニット44は、高度に一体化することができるが、概念上の目的のために別々に示されている。動き推定は、動き推定ユニット42によって行われ、映像ブロックに関する動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、基準フレーム内の予測ブロックに対する現在の映像フレーム又はピクチャ内の映像ブロックのPUの変位を示すことができる。
[0083]予測ブロックは、ピクセル差分の点でコーディングされるべき映像ブロックのPUに密接にマッチングすることが判明しているブロックであり、差分絶対値和(SAD)、差分二乗和(SSD)、又はその他の差分メトリックによって決定することができる。幾つかの例では、映像符号器20は、復号ピクチャバッファ64に格納された基準ピクチャの整数未満のピクセル位置に関する値を計算することができる。例えば、映像符号器20は、基準ピクチャの1/4ピクセル位置、1/8ピクセル位置、又はその他の分数のピクセル位置の値を内挿することができる。従って、動き推定ユニット42は、完全ピクセル位置及び分数ピクセル位置に関する動き探索を行い、分数のピクセル精度を有する動きベクトルを出力することができる。
[0084]動き推定ユニット42は、インターコーディングされたスライス内の映像ブロックのPUの位置を基準ピクチャの予測ブロックの位置と比較することによってそのPUに関する動きベクトルを計算する。基準ピクチャは、第1の基準ピクチャリスト(リスト0)又は第2の基準ピクチャリスト(リスト1)から選択することができ、それらの各々は、復号ピクチャバッファ64に格納された1つ以上の基準ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56及び動き補償ユニット44に送信する。
[0085]動き補償は、動き補償ユニット44によって行われ、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを含むことができ、サブピクセル精度での内挿を行うことができる。現在の映像ブロックのPUに関する動きベクトルを受信した時点で、動き補償ユニット44は、基準ピクチャリストのうちの1つにおいて動きベクトルが指し示す予測ブロックの位置を突き止めることができる。映像符号器20は、コーディング中の現在の映像ブロックのピクセル値から予測ブロックのピクセル値を減じることによって残差映像ブロックを形成し、ピクセル差分値を形成する。ピクセル差分値は、ブロックに関する残差データを形成し、ルマ差分コンポーネント及びクロマ差分コンポーネントの両方を含むことができる。加算器50は、この減算動作を行うコンポーネント又はコンポーネント(複数)を代表する。動き補償ユニット44は、映像スライスの映像ブロックを復号する際に映像復号器30によって使用するために映像ブロック及び映像スライスに関連する構文要素を生成することもできる。
[0086]イントラ予測ユニット46は、上述されるように、動き推定ユニット42及び動き補償ユニット44によって行われるインター予測の代替として、現在のブロックをイントラ予測することができる。特に、イントラ予測ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定することができる。幾つかの例では、イントラ予測ユニット46は、例えば、別々の符号化パス中に、様々なイントラ予測モードを用いて現在のブロックを符号化することができ、イントラ予測ユニット46(又は、幾つかの例では、モード選択ユニット40)は、試験されたモードから使用すべき該当するイントラ予測モードを選択することができる。例えば、イントラ予測ユニット46は、様々な試験されたイントラ予測モードに関してレート−歪み解析を用いてレート−歪み値を計算し、試験されたモードのうちで最良のレート−歪み特性を有するイントラ予測モードを選択することができる。レート−歪み解析は、概して、符号化されたブロックを生成するために符号化されたブロックとオリジナルの符号化されないブロックとの間の歪み(又は誤り)の量、及び符号化されたブロックを生成するために使用されるビットレート(すなわち、ビット数)を決定する。イントラ予測モジュール46は、いずれのイントラ予測モードがブロックに関する最良のレート−歪み値を呈するかを決定するために様々な符号化されたブロックに関する歪み及びレートから比率を計算することができる。
[0087]いずれの場合も、ブロックに関するイントラ予測モードを選択後は、イントラ予測ユニット46は、ブロックに関する選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット56に提供することができる。エントロピーコーディングユニット56は、本開示の技法により選択されたイントラ予測モードを示す情報を符号化することができる。映像符号器20は、送信されたビットストリーム内に構成データを含めることができ、それらは、複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)、様々なブロックに関するコンテキクストを符号化する定義、最も可能性の高いイントラ予測モードのインディケーション、イントラ予測モードインデックステーブル、及び各コンテキストに関して使用すべき修正されたイントラ予測モードインデックステーブルを含むことができる。
[0088]予測処理ユニット41がインター予測又はイントラ予測のいずれかを介して現在の映像ブロックに関する予測ブロックを生成後は、映像符号器20は、現在の映像ブロックから予測ブロックを減じることによって残差映像ブロックを形成する。残差ブロック内の残差映像データは、1つ以上のTU内に含め、逆変換処理ユニット52に適用することができる。逆変換処理ユニット52は、変換、例えば、離散コサイン変換(DCT)又は概念的に類似の変換、を用いて残差映像データを残差変換係数に変換する。逆変換処理ユニット52は、残差情報をピクセル領域から変換領域、例えば、周波数領域、に変換することができる。
[0089]逆変換処理ユニット52は、その結果得られた変換係数を量子化ユニット54に送信することができる。量子化ユニット54は、ビットレートをさらに低減させるために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減させることができる。量子化度は、量子化パラメータを調整することによって変更することができる。幾つかの例では、量子化ユニット54は、量子化された変換係数を含む行列の走査を行うことができる。代替として、エントロピー符号化ユニット56は、走査を行うことができる。量子化に引き続き、エントロピー符号化ユニット56は、量子化された変換係数をエントロピー符号化する。エントロピー符号化ユニット56は、例えば、上述されるsignificant_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、及びcoeff_abs_level_remainingの各構文要素、及び、上述されるCSBFR、CSBFB、CASBF、及びC2SBFフラグを生成することができる。
[0090]例えば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔分割エントロピー(PIPE)コーディング、又はその他のエントロピー符号化技法を実行することができる。エントロピー符号化ユニット56によるエントロピー符号化に引き続き、符号化されたビットストリームは、映像復号器30に送信すること、又は、映像復号器30によるのちの送信又は取り出しのためにアーカイブに保存することができる。エントロピー符号化ユニット56は、コーディング中の現在の映像スライスに関して動きベクトル及びその他の構文要素をエントロピーコーディングすることもできる。
[0091]逆量子化ユニット58及び逆変換処理ユニット60は、基準ピクチャの基準ブロックとしてののちの使用のためにピクセル領域において残差ブロックを再構築するために逆量子化及び逆変換をそれぞれ適用する。動き補償ユニット44は、基準ピクチャリストのうちの1つ内の基準ピクチャのうちの1つの予測ブロックに残差ブロックを加えることによって基準ブロックを計算することができる。動き補償ユニット44は、動き推定における使用のために整数未満のピクセル値を計算するために1つ以上の内挿フィルタを再構築された残差ブロックに適用することもできる。加算器62は、復号ピクチャバッファ64での格納のための基準ブロックを生成するために動き補償ユニット44によって生成された動き補償された予測ブロックに再構築された残差ブロックを加える。基準ブロックは、後続する映像フレーム又はピクチャ内のブロックをインター予測するための基準ブロックとして動き推定ユニット42及び動き補償ユニット44によって使用することができる。
[0092]このように、図4の映像符号器20は、残差データに関連する変換係数に関する第1の有意性情報をコーディングし、第2の有意性情報をコーディングし、及び第2の有意性情報に関する算術的コーディング動作を行うように構成された映像符号器の例であり、第1の有意性情報は、第1のサブブロックの有意性に対応し、第1のサブブロックは、変換ブロック全体のサブブロックであり、第2の有意性情報は、第2のサブブロックの有意性に対応し、第2のサブブロックは、第1のサブブロックのサブブロックである。算術的コーディング動作のためのコンテキストは、第1のサブブロックと同じサイズの1つ以上の近隣のサブブロックに基づいて決定することができる。一例では、第1のサブブロックは、4×4ブロックであり、第2のサブブロックは、2×2サブブロックである。第2の有意性情報は、第2のサブブロックの少なくとも1つの係数がゼロでない係数であるかどうかを示すことができる。コンテキストは、第2のサブブロックと同じサイズの1つ以上の近隣のサブブロックの有意性情報に基づくこと、1つ以上の近隣の個々の係数の有意性情報に基づくこと、又は、第1のサブブロック内の第2のサブブロックの位置に基づくことができる。コンテキスト割り当てパターンは、第1のサブブロック内の第2のサブブロックの位置に基づくことができる
[0093]図5は、本開示において説明される技法を実装することができる映像復号器例30を示したブロック図である。図5の例において、映像復号器30は、エントロピー復号ユニット80と、予測ユニット81と、逆量子化ユニット86と、逆変換ユニット88と、加算器90と、フィルタユニット91と、復号ピクチャバッファ92と、を含む。予測ユニット81は、動き補償ユニット82と、イントラ予測処理ユニット84と、を含む。映像復号器30は、幾つかの例では、図4からの映像符号器20に関して説明された符号化パスと概して相互的な復号パスを行うことができる。
[0094]復号プロセス中に、映像復号30は、符号化された映像スライスの映像ブロック及び関連する構文要素を表現する符号化された映像ビットストリームを映像符号器20から受信する。映像復号器30のエントロピー復号ユニット80は、量子化された係数、動きベクトル、及びその他の構文要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット80は、例えば、上述されるsignificant_coeff_flag、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_sign_flag、及びcoeff_abs_level_remainingの各構文要素、及び、上述されるCSBFR、CSBFB、CASBF、及びC2SBFフラグを受信及び構文解析することによって、量子化された係数を生成することができる。エントロピー復号ユニット80は、動きベクトル及びその他の構文要素を予測ユニット81に転送する。映像復号器30は、映像スライスレベル及び/又は映像ブロックレベルで構文要素を受信することができる。
[0095]映像スライスがイントラコーディングされた(I)スライスとしてコーディングされるときには、イントラ予測ユニット84は、シグナリングされたイントラ予測モード及び現在のフレーム又はピクチャの以前に復号されたブロックからのデータに基づいて現在の映像スライスの映像ブロックに関する予測データを生成することができる。映像フレームがインターコーディングされた(すなわち、B、P又はGPB)スライスとしてコーディングされるときには、予測ユニット81の動き補償ユニット82は、動きベクトル及びエントロピー復号ユニット80から受信されたその他の構文要素に基づいて現在の映像スライスの映像ブロックに関する予測ブロックを生成する。予測ブロックは、基準ピクチャリストのうちの1つ内の基準ピクチャのうちの1つから生成することができる。映像復号器30は、復号ピクチャバッファ92に格納された基準ピクチャに基づいてデフォルトの構築技法を用いて、基準フレームリスト、リスト0及びリスト1、を構築することができる。
[0096]動き補償ユニット82は、動きベクトル及びその他の構文要素を構文解析することによって現在の映像スライスの映像ブロックに関する予測情報を決定し、復号中の現在の映像ブロックに関する予測ブロックを生成するために予測情報を使用する。例えば、動き補償ユニット82は、映像スライス、インター予測スライスタイプ(例えば、Bスライス、Pスライス、又はGPBスライス)、スライスに関する基準ピクチャリストのうちの1つ以上に関する構築情報、スライスの各インター符号化された映像ブロックに関する動きベクトル、スライスの各インターコーディングされた映像ブロックに関する動きベクトル、スライスの各インター符号化された映像ブロックに関するインター予測状態、及び現在の映像スライス内の映像ブロックを復号するためのその他の情報、の映像ブロックをコーディングするために使用される予測モード(例えば、イントラ又はインター予測)を決定するために受信された構文要素の一部を使用する。
[0097]動き補償ユニット82は、内挿フィルタに基づいて内挿を行うこともできる。動き補償ユニット82は、基準ブロックの整数未満のピクセルに関する内挿値を計算するために映像ブロックの符号化中に映像符号器20によって使用される内挿フィルタを使用することができる。この場合は、動き補償ユニット82は、受信された構文要素から映像符号器20によって使用される内挿フィルタを決定すること及び予測ブロックを生成するために内挿フィルタを使用することができる。
[0098]逆量子化ユニット86は、ビットストリーム内で提供され、エントロピー復号ユニット80によって復号された量子化された変換係数を逆量子化する、すなわち、量子化解除する。逆量子化プロセスは、量子化度、そして同様に、適用されるべき逆量子化度、を決定するために映像スライス内の各映像ブロックに関して映像符号器20によって計算された量子化パラメータを使用することを含むことができる。逆変換処理ユニット88は、ピクセル領域において残差ブロックを生成するために逆変換、例えば、逆DCT、逆整数変換、又は概念的に類似する逆変換プロセスを変換係数に適用する。
[0099]動き補償ユニット82が動きベクトル及びその他の構文要素に基づいて現在の映像ブロックに関する予測ブロックを生成した後は、映像復号器30は、逆変換ユニット88からの残差ブロックを、動き補償ユニット82によって生成された対応する予測ブロックと加算することによって復号された映像ブロックを形成する。加算器90は、この加算動作を行うコンポーネント又はコンポーネント(複数)を表す。希望される場合は、ピクセル遷移を平滑化するか、又は映像品質を向上するために(コーディングループ内又はコーディングループ後の)ループフィルタを使用することもできる。フィルタユニット91は、1つ以上のループフィルタ、例えば、デブロッキングフィルタ、アダプティブループフィルタ(ALF)、及びサンプルアダプティブオフセット(SAO)フィルタを代表することが意図される。図5では、フィルタユニット91はインループフィルタとして示されているが、その他の構成では、フィルタユニット91は、ポストループフィルタとして実装することができる。所定のフレーム又はピクチャ内の復号された映像ブロックは、復号ピクチャバッファ92に格納され、それは、後続する動き補償のために使用される基準ピクチャを格納する。復号ピクチャバッファ92は、表示装置、例えば、図1の表示装置32、でののちの提示のために復号された映像も格納する。
[0100]このように、図5の映像復号器30は、残差データに関連する変換係数に関する第1の有意性情報をコーディングし、第2の有意性情報をコーディングし、及び第2の有意性情報に関する算術的コーディング動作を行うように構成された映像復号器の例であり、第1の有意性情報は、第1のサブブロックの有意性に対応し、第1のサブブロックは、変換ブロック全体のサブブロックであり、第2の有意性情報は、第2のサブブロックの有意性に対応し、第2のサブブロックは、第1のサブブロックのサブブロックであり、第2の有意性情報に関する算術的コーディング動作を行う。算術的コーディング動作のためのコンテキストは、第1のサブブロックと同じサイズの1つ以上の近隣のサブブロックに基づいて決定することができる。一例では、第1のサブブロックは、4×4ブロックであり、第2のサブブロックは、2×2サブブロックである。第2の有意性情報は、第2のサブブロックの少なくとも1つの係数がゼロでない係数であるかどうかを示すことができる。コンテキストは、第2のサブブロックと同じサイズの1つ以上の近隣のサブブロックの有意性情報に基づくこと、1つ以上の近隣の個々の係数の有意性情報に基づくこと、又は、第1のサブブロック内の第2のサブブロックの位置に基づくことができる。コンテキスト割り当てパターンは、第1のサブブロック内の第2のサブブロックの位置に基づくことができる
[0101]今度は、有意性マップの追加の態様が説明される。図6は、映像ブロック内の変換係数と映像ブロックに関連する有意性マップとの間の関係を示す概念図である。図6において示されるように、有意性マップは、映像ブロック内における有意な係数値、すなわち、ゼロよりも大きい値、の各インスタンス(instance)を示すために“1”を含む。有意性マップは、復号されるべき映像ブロック内における有意な、すなわち、ゼロよりも大きい、係数の位置を決定するために映像復号器、例えば、映像復号器30、によって復号可能であるビットストリームにおいてシグナリングすることができる。より具体的には、映像ブロック内の最後のゼロでない係数の位置をビットストリームにおいてシグナリングすることができる。映像ブロックにおける最後のゼロでない係数の位置は、映像ブロックに関して使用される走査順序に依存する。知られている又は知ることができる走査順序に従い最後のゼロでない係数に関するその他の有意な係数を示すために追加の構文要素をシグナリングすることができる。
[0102]図7A−7Dは、ジグザグ走査順序、水平走査順序、垂直走査順序、及び対角走査順序をそれぞれ用いて走査された映像データのブロックの例を示した概念図である。図7A−7Dにおいて示されるように、映像データの8×8ブロック、例えば、CUのTU、は、円で表される対応するブロック位置における64の残差係数を含むことができる。例えば、ブロック101、102、103及び104は、各々、8×8のサイズを有することができ、従って、前述される予測技法を用いて生成された64の残差係数を含むことができる。
[0103]本開示において説明される技法により、ブロック101、102、103及び104の各々における64の残差係数は、2D変換、水平1D変換、及び垂直1D変換のうちの1つを用いて変換することができ、又は、残差係数は、まったく変換することができない。変換されるかどうかにかかわらず、ブロック101、102、103及び104の各々における係数は、ジグザグ走査順序、水平走査順序、及び垂直走査順序のうちの1つを用いてエントロピーコーディング準備のために走査される。
[0104]図7Aにおいて示されるように、ブロック101に関連する走査順序は、ジグザグ走査順序である。ジグザグ走査順序は、図7Aにおいて矢印で示されるように対角線にブロック101の量子化された変換係数を走査する。同様に、図7Dにおいて、対角線走査順序は、図7Dにおいて矢印で示されるように対角線にブロック104の量子化された変換係数を走査する。図7B及び7Cにおいて示されるように、ブロック102及び103に関連する走査順序は、それぞれ、水平走査順序及び垂直走査順序である。水平走査順序は、ブロック102の量子化された変換係数を、水平に1行ずつ、すなわち、“ラスター”方式で、走査し、垂直走査順序は、ブロック103の量子化された変換係数を、同じく図7B及び7Cにおいて矢印で示されるように、垂直に1行ずつ、すなわち、“回転ラスター”方式で、走査する。
[0105]その他の例では、上述されるように、ブロックは、ブロック101、102、103及び104のサイズよりも小さい又は大きいサイズを有することができ、及び、より多い又はより少ない量子化された変換係数及び対応するブロック位置を含むことができる。これらの例では、特定のブロックに関連する走査順序は、図7A−7Dの8×8ブロックの例において示されるのと実質的に同様の方法でブロックの量子化された変換係数を走査することができ、例えば、以前に説明された走査順序のうちのいずれかに従って4×4ブロック、又は16×16ブロックを走査することができる。
[0106]図8は、変換係数コーディングのためにサブブロックに分割された典型的な映像ブロック110を示した概念図である。現在のHMでは、サブブロック概念が変換係数コーディングに関して使用される。映像コーダは、決定されたサブブロックサイズよりも大きい変換ユニット(TU)はサブブロックに細分することができる。例えば、映像ブロック110は、4つの4×4サブブロックに分割される。
[0107]図8の示される例では、映像コーダは、映像ブロック110を4×4サブブロックに分割する。その他の例では、映像コーダは、映像ブロックをその他のサイズ、例えば、8×8、16×16、等、のサブブロックに分割することができる。映像コーダがフレーム又はスライスのすべてのTUに関して同じサブブロックサイズを使用する場合は、サブブロックサイズに関して達成される均一性に起因してハードウェア実装において利得を達成することができる。例えば、すべての処理は、TUサイズにかかわらずサブサブブロックに分割することができる。しかしながら、本開示の技法を実行する上では均一なサブブロックサイズは必要ない。
[0108]係数コーディングに関して、映像ブロック110の各4×4サブブロックは、図8において示されるように、対角線走査順序を用いて走査することができる。幾つかの例では、映像コーダは、各サブブロックの変換係数を走査するために統一された走査を使用することができる。この場合は、有意性情報、すなわち、有意性マップ、係数レベル、符号、等に関して同じ走査順序が使用される。第1の例では、図8において示されるように、映像コーダは、対角線走査を用いて変換係数を走査することができる。他の例では、映像コーダは、図8において示される順序と反対のそれで、例えば、右下隅から始まって左上隅に進む逆対角線走査で、変換係数を走査することができる。その他の例では、映像コーダは、ジグザグ、水平、又は垂直走査を用いて変換係数を走査することができる。その他の走査方向/方位も可能である。
[0109]説明を簡単にすることを目的として、本開示は、映像ブロックのサブブロックを4×4サブブロックとして説明している。しかしながら、本開示の技法は、異なるサイズ、例えば、2×2、8×8、16×16、等のサブブロックに関しても適用することができる。すべての4×4ブロックに関して、significant_coeffgroup_flagがコーディングされ、サブブロック内に少なくとも1つのゼロでない係数が存在する場合は、このフラグは1に設定される。そうでない場合は、それはゼロに設定される。significant_coeffgroup_flagが所定のサブブロックに関してゼロでない場合は、4×4サブブロックは、後方対角線順序(backward diagonal order)で走査され、係数の有意性を示すためにサブブロックのすべての係数に関してsignificant_coeffgroup_flagがコーディングされる。係数の絶対値もコーディングされる、すなわち、係数レベル。これらのフラグのグループは、映像ブロックに関する有意性マップと呼ぶことができる。幾つかの例では、有意性マップを明示でシグナリングする代わりに、又は、4×4サブブロックに最後の係数又はDC係数が入っているときには、significant_coeffgroup_flagは、近隣の4×4サブブロックフラグを用いて暗黙に導き出すことができる。
[0110]図9は、逆対角線走査順序を用いて走査される映像ブロック112において係数の有意性マップに関するコンテキストモデルを定義するために使用される典型的な5ポイントサポートを示す概念図である。コンテキスト適応型コーディングに関して、変換係数は、変換係数が0の値又は1の値を有する確率を記述するコンテキストモデルに基づいてコーディングすることができる。有意性マップコーディングに関しては、コンテキストモデルは、特定の変換係数が有意である、すなわち、ゼロでない、かどうかの確率を記述する。
[0111]有意性マップコーディングに関して、5ポイントサポートSは、映像ブロック112の変換係数の有意性マップをコーディングするためにコンテキストモデルを定義するために使用することができる。5ポイントサポートは、“コンテキストサポート近隣”(context support neighborhood)、又は単に“サポート近隣”、と呼ぶことができる。すなわち、映像コーダは、現在の位置の有意性の確率が1又はゼロである確率を決定するためにサポートを調べることができる。コンテキストサポート近隣は、現在の係数をコーディングするためのコンテキストとして使用することができる(例えば、有意性情報を含むことができる)近隣係数を定義する。本開示の幾つかの例により、コンテキストサポート近隣は、ブロック又はサブブロック内での異なる係数位置に関して異なることができる。
[0112]図9に示される例において、5ポイントサポートSは、現在の又は“ターゲット”位置が円によって囲まれるポイントによって表されるのに対して、正方形によって囲まれるポイントによって表される。コンテキストモデルCtx(以下の方程式(1))は、サポートのすべてのポイントにおける有意なフラグの和であると定義することができ、有意性フラグは、対応する変換係数がゼロでない場合は“1”に設定することができ、そうでない場合は“0”に設定することができる。
従って、有意性フラグカウントは、サポート濃度(cardinality)以下であることができる。
[0113]しかしながら、図9において示されるサポートSは、2つ以上の変換係数に関するコンテキスト(例えば、変換係数に関連する有意性情報)を並行して計算するときに(“並行有意性コンテキスト計算”又は単に“並行コンテキスト計算”と呼ばれる)適切でないことがある。例えば、図9において示されるサポートSを使用することは、映像コーダが有意性情報に関するコンテキストを並行して計算する能力を阻害することがあり、その理由は、コンテキストの並行な計算を可能にするためにはサポートS内のすべてのデータが入手可能でなければならない(例えば、既にコーディングされていなければならない)ためである。幾つかの例では、図10Aに関して後述されるように、コーダは、サポートS内の他のサポート要素に関するコンテキストを決定する前にサポートS内のサポート要素がコーディングを終了するのを待つことを強制されるおそれがある。この遅延は、映像コーダが有意性情報を効率的に処理する能力を低下させる。
[0114]図10A及び10Bは、5ポイントサポート内でのコンテキスト依存性を示した概念図である。例えば、円で囲まれた位置に関する有意性コンテキストを計算するために、(図10Aで示される)ダイヤモンドで描かれるサポートS内の位置の有意性フラグを構文解析することが必要になる。該構文解析は、2つの係数の有意性コンテキストを並行して計算する必要がある場合に遅延をもたらすおそれがあり、その理由は、ダイヤモンド内の要素は、走査順序で円で囲まれた要素の直前に位置しているためである。すなわち、ダイヤモンド内の位置に依存するため、円で囲まれた位置のコンテキストは、ダイヤモンドで表示された位置と同時に計算することはできず、従って、ダイヤモンド内の位置は、円で囲まれた位置に関するコンテキストを決定する前にコーディングしなければならない。
[0115]この依存性を解決するために、幾つかの要素をサポートSから取り除き、いわゆる“孔”(図10Bに示される、埋められていないドット(三角形))を有するサポートにすることができる。例えば、孔内の有意性フラグはスキップされてコンテキスト計算に関しては考慮されない(すなわち、ゼロであると仮定される)。従って、孔位置内の有意性フラグを構文解析する必要がない。5ポイントサポート形状は、より良い並列処理を考慮して位置に依存する。
[0116]図11は、映像ブロックの各領域に関する近隣又は位置に基づくコンテキストの典型的な割り当てを示した概念図である。図11において示されるように、ハイブリッドタイプのコンテキストも同様に使用することができ、例えば、幾つかの領域に関しては、コンテキストは、近隣に基づくことができ、同じ映像ブロックの幾つかの領域に関しては、固定すること又は位置に基づくことができる。位置に基づくアプローチ法の1つの利点は、係数ごとにコンテキストを計算する必要がなく、1つの領域に関して1回行うことができる。
[0117](x,y)座標を有する係数に関しては、係数位置に従って領域を定義することができる。例えば、条件(x+y≧スレショルド)が真である場合は、この係数は、領域R2に割り当てられ、そうでない場合は、領域R1内にある。同様に、座標は、4×4サブブロックに基づいて領域に割り当てることができる。(X,Y)座標を有するサブブロックの場合は、領域は、4×4サブブロック位置に従って定義することができる。例えば、条件(X+Y≧スレショルド)が真である場合は、この係数は、領域R2に割り当てられ、そうでない場合は、領域R1内にある。スレショルドは、何らかの予め定義された値、例えば、4、5、6、7又は8に等しい整数、に固定することができ、又は、映像ブロック、例えば、TU、サイズ、に依存することができる。
[0118]図12は、本開示の技法による映像復号法例を示したフローチャートである。図12の技法は、映像符号器20の1つ以上のハードウェアユニットによって実行することができる。一例では、エントロピー符号化ユニット56は、サインデータハイディング(sign data hiding)(符号データ隠蔽)に関する技法のうちの幾つかを実行することができる。
[0119]映像符号器20は、第1のサブブロックの有意性に対応する残差データに関連する変換係数に関する第1の有意性情報を符号化することができる(170)。第1のサブブロックは、変換ブロック全体のサブブロックであることができる。映像符号器20は、第2の有意性情報に関して算術的コーディング動作を行うことによって第2のサブブロックの有意性に対応する第2の有意性情報を符号化し、第1のサブブロックと同じサイズの1つ以上の近隣サブブロックに基づいて算術的コーディング動作のためのコンテキストを決定することができる(172)。
[0120]図13は、本開示の技法による映像復号方法例を示したフローチャートである。図13の技法は、映像復号器30の1つ以上のハードウェアユニットによって実行することができる。一例では、エントロピー復号ユニット70は、サインデータハイディングに関する技法のうちの幾つかを実行することができる。
[0121]映像復号器30は、第1のサブブロックの有意性に対応する残差データに関連する変換係数に関する第1の有意性情報を復号することができる(180)。第1のサブブロックは、変換ブロック全体のサブブロックであることができる。映像復号器30は、第2の有意性情報に関して算術的コーディング動作を行うことによって第2のサブブロックの有意性に対応する第2の有意性情報を復号し、第1のサブブロックと同じサイズの1つ以上の近隣サブブロックに基づいて算術的コーディング動作のためのコンテキストを決定することができる(182)。
[0122]1つ以上の例において、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、それらの機能は、コンピュータによって読み取り可能な媒体において1つ以上の命令又はコードとして格納又は送信すること及びハードウェアに基づく処理ユニットによって実行することができる。コンピュータによって読み取り可能な媒体は、コンピュータによって読み取り可能な記憶媒体を含むことができ、それは、有形な媒体、例えば、データ記憶媒体、又は、例えば、通信プロトコルにより、1つの場所から他へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む通信媒体、に対応する。このように、コンピュータによって読み取り可能な媒体は、概して、(1)非一時的である有形なコンピュータによって読み取り可能な記憶媒体又は(2)通信媒体、例えば、信号又は搬送波、に対応することができる。データ記憶媒体は、本開示において説明される技法の実装のために命令、コード及び/又はデータ構造を取り出すために1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセスすることができるあらゆる利用可能な媒体であることができる。コンピュータプログラム製品は、コンピュータによって読み取り可能な媒体を含むことができる。
[0123]一例により、及び制限することなしに、該コンピュータによって読み取り可能な記憶媒体は、希望されるプログラムコードを命令又はデータ構造の形態で格納するために使用することができ及びコンピュータによってアクセス可能であるRAM、ROM、EEPROM、CD−ROM又はその他の光学ディスク記憶装置、磁気ディスク記憶装置、又はその他の磁気記憶デバイス、フラッシュメモリ、又はその他のいずれかの媒体を備えることができる。さらに、どのような接続も、コンピュータによって読み取り可能な媒体であると適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者ライン(DSL)、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、DSL、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。しかしながら、コンピュータによって読み取り可能な記憶媒体およびデータ記憶媒体は、コネクション、搬送波、信号、又はその他の遷移媒体は含まず、代わりに、非一時的な、有形の記憶媒体を対象とすることが理解されるべきである。ここにおいて用いられるときのディスク(disk及びdisc)は、コンパクトディスク(CD)(disc)と、レーザーディスク(登録商標)(disc)と、光ディスク(disc)と、デジタルバーサタイルディスク(DVD)(disc)と、フロッピー(登録商標)ディスク(disk)と、ブルーレイディスク(登録商標)(disc)と、を含み、ここで、diskは、通常は磁気的にデータを複製し、discは、レーザを用いて光学的にデータを複製する。上記の組み合わせも、コンピュータによって読み取り可能な媒体の適用範囲内に含められるべきである。
[0124]命令は、1つ以上のプロセッサ、例えば、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、又はその他の同等の集積又はディスクリート論理回路によって実行することができる。従って、ここにおいて用いられる場合の用語“プロセッサ”は、上記の構造又はここにおいて説明される技法の実装に適するあらゆるその他の構造のうちのいずれかを意味することができる。さらに、幾つかの態様では、ここにおいて説明される機能は、符号化および復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内において提供されること、又は組み合わされたコーデック内に組み入れることができる。さらに、技法は、1つ以上の回路又は論理素子内に完全に実装することが可能である。
[0125]本開示の技法は、無線ハンドセット、集積回路(IC)又は一組のIC(例えば、チップセット)を含む非常に様々なデバイス又は装置内に実装することができる。本開示では、開示される技法を実施するように構成されたデバイスの機能上の態様を強調するために様々なコンポーネント、モジュール、又はユニットが説明されるが、異なるハードウェアユニットによる実現は必ずしも要求しない。むしろ、上述されるように、様々なユニットは、適切なソフトウェア及び/又はファームウェアと関係させて、コーデックハードウェアユニット内において結合させること又は上述されるように1つ以上のプロセッサを含む相互運用的なハードウェアユニットの集合によって提供することができる。
[0126]様々な例が説明されている。これらの及びその他の例は、以下の請求項の範囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
映像データをコーディングするための方法であって、
残差データに関連する変換係数に関する第1の有意性情報をコーディングすることであって、前記第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第1のサブブロックは、変換ブロック全体のサブブロックであることと、
第2の有意性情報をコーディングすることであって、前記第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第2のサブブロックは、前記第1のサブブロックのサブブロックであり、前記第2の有意性情報をコーディングすることは、前記第2の有意性情報に関して算術的コーディング動作を行い、前記算術的コーディング動作のためのコンテキストは、前記第1のサブブロックと同じサイズの1つ以上の近隣のサブブロックに基づいて決定されることと、を備える、方法。
[C2]
前記第1のサブブロックは、4×4ブロックであり、前記第2のサブブロックは、2×2サブブロックであるC1に記載の方法。
[C3]
前記コンテキストは、前記第2のサブブロックと同じサイズの1つ以上の近隣のサブブロックの有意性情報に基づくC1に記載の方法。
[C4]
前記コンテキストは、1つ以上の近隣の個々の係数の有意性情報に基づくC1に記載の方法。
[C5]
前記コンテキストは、前記第1のサブブロック内の前記第2のサブブロックの位置に基づくC1に記載の方法。
[C6]
コンテキスト割り当てパターンは、前記第1のサブブロック内の前記第2のサブブロックの位置に基づくC1に記載の方法。
[C7]
前記第2の有意性情報をコーディングすることは、前記第2の有意性情報を復号することを備え、前記方法は、
前記第2の有意性情報に基づいて、変換係数のブロックを再構築することをさらに備えるC1に記載の方法。
[C8]
前記第2の有意性情報をコーディングすることは、前記第2の有意性情報を符号化することを備えるC1に記載の方法。
[C9]
映像データをコーディングするためのデバイスであって、
残差データに関連する変換係数に関する第1の有意性情報をコーディングするように構成され、ここにおいて、前記第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第1のサブブロックは、変換ブロック全体のサブブロックであり、及び第2の有意性情報をコーディングするように構成され、ここにおいて、前記第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第2のサブブロックは、前記第1のサブブロックのサブブロックであり、前記第2の有意性情報をコーディングすることは、前記第2の有意性情報に関して算術的コーディング動作を行い、前記算術的コーディング動作のためのコンテキストは、前記第1のサブブロックと同じサイズの1つ以上の近隣のサブブロックに基づいて決定される、映像コーダを備える、デバイス。
[C10]
前記第1のサブブロックは、4×4ブロックであり、前記第2のサブブロックは、2×2サブブロックであるC9に記載のデバイス。
[C11]
前記コンテキストは、前記第2のサブブロックと同じサイズの1つ以上の近隣のサブブロックの有意性情報に基づくC9に記載のデバイス。
[C12]
前記コンテキストは、1つ以上の近隣の個々の係数の有意性情報に基づくC9に記載のデバイス。
[C13]
前記コンテキストは、前記第1のサブブロック内の前記第2のサブブロックの位置に基づくC9に記載のデバイス。
[C14]
コンテキスト割り当てパターンは、前記第1のサブブロック内の前記第2のサブブロックの位置に基づくC9に記載のデバイス。
[C15]
前記映像コーダは、前記第2の有意性情報に基づいて変換係数のブロックを再構築するように構成される映像復号器を備えるC9に記載のデバイス。
[C16]
前記映像コーダは、映像符号器を備えるC9に記載のデバイス。
[C17]
前記デバイスは、
集積回路、
マイクロプロセッサ、及び
前記映像コーダを含む無線通信デバイスのうちの少なくとも1つを備えるC9に記載のデバイス。
[C18]
コンピュータによって読み取り可能な記憶媒体であって、1つ以上のプロセッサによって実行されたときに、
残差データに関連する変換係数に関する第1の有意性情報をコーディングすることを前記1つ以上のプロセッサに行わせる命令を格納し、前記第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第1のサブブロックは、変換ブロック全体のサブブロックであり、
第2の有意性情報をコーディングすることを前記1つ以上のプロセッサに行わせる命令を格納し、前記第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第2のサブブロックは、前記第1のサブブロックのサブブロックであり、前記第2の有意性情報をコーディングすることは、前記第2の有意性情報に関して算術的コーディング動作を行い、前記算術的コーディング動作のためのコンテキストは、前記第1のサブブロックと同じサイズの1つ以上の近隣のサブブロックに基づいて決定される、コンピュータによって読み取り可能な記憶媒体。
[C19]
前記第1のサブブロックは、4×4ブロックであり、前記第2のサブブロックは、2×2サブブロックであるC18に記載のコンピュータによって読み取り可能な記憶媒体。
[C20]
前記コンテキストは、前記第2のサブブロックと同じサイズの1つ以上の近隣のサブブロックの有意性情報に基づくC18に記載のコンピュータによって読み取り可能な記憶媒体。
[C21]
前記コンテキストは、1つ以上の近隣の個々の係数の有意性情報に基づくC18に記載のコンピュータによって読み取り可能な記憶媒体。
[C22]
前記コンテキストは、前記第1のサブブロック内の前記第2のサブブロックの位置に基づくC18に記載のコンピュータによって読み取り可能な記憶媒体。
[C23]
コンテキスト割り当てパターンは、前記第1のサブブロック内の前記第2のサブブロックの位置に基づくC18に記載のコンピュータによって読み取り可能な記憶媒体。
[C24]
実行されたときに、
前記第2の有意性情報を復号し、及び
前記第2の有意性情報に基づいて、変換係数のブロックを再構築することを前記1つ以上のプロセッサに行わせるさらなる命令を格納するC18に記載のコンピュータによって読み取り可能な記憶媒体。
[C25]
実行されたときに、
前記第2の有意性情報を符号化することを前記1つ以上のプロセッサに行わせるさらなる命令を格納するC18に記載のコンピュータによって読み取り可能な記憶媒体。
[C26]
映像データをコーディングするための装置であって、
残差データに関連する変換係数に関する第1の有意性情報をコーディングするための手段であって、前記第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第1のサブブロックは、変換ブロック全体のサブブロックである手段と、
第2の有意性情報をコーディングするための手段であって、前記第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第2のサブブロックは、前記第1のサブブロックのサブブロックであり、前記第2の有意性情報をコーディングすることは、前記第2の有意性情報に関して算術的コーディング動作を行い、前記算術的コーディング動作のためのコンテキストは、前記第1のサブブロックと同じサイズの1つ以上の近隣のサブブロックに基づいて決定される手段と、を備える、装置。
[C27]
前記コンテキストは、前記第2のサブブロックと同じサイズの1つ以上の近隣のサブブロックの有意性情報に基づくC26に記載の装置。
[C28]
前記コンテキストは、1つ以上の近隣の個々の係数の有意性情報に基づくC26に記載の装置。
[C29]
前記コンテキストは、前記第1のサブブロック内の前記第2のサブブロックの位置に基づくC26に記載の装置。
[C30]
コンテキスト割り当てパターンは、前記第1のサブブロック内の前記第2のサブブロックの位置に基づくC26に記載の装置。

Claims (14)

  1. 映像データを復号するための方法であって、
    1つ以上のプロセッサを備えるデバイスによって、残差データに関連する変換係数に関する第1の有意性情報を復号することと、ここにおいて、前記第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第1のサブブロックは、変換ブロック全体のサブブロックであり、前記第1の有意性情報を復号することは、前記第1の有意性情報に対して第1の算術的復号動作を行うことと、前記第1のサブブロックと同じサイズの右の近隣サブブロックおよび前記第1のサブブロックと同じサイズの下方の近隣サブブロックの有意性情報に基づいて、前記第1の算術的復号動作のためのコンテキストを決定することと、を備える、
    1つ以上のプロセッサを備える前記デバイスによって、第2の有意性情報を復号することと、ここにおいて、前記第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第2のサブブロックは、前記第1のサブブロックのサブブロックであり、前記第2の有意性情報を復号することは、前記第1の算術的復号動作のために決定された前記コンテキストを使用して前記第2の有意性情報に対して第2の算術的復号動作を行うことを備え、前記第1のサブブロックは、前記第2のサブブロックよりも大きい、
    1つ以上のプロセッサを備える前記デバイスによって、第3の有意性情報を復号することと、ここにおいて、前記第3の有意性情報は、前記第2のサブブロックの個々の係数がゼロでない係数を備えるかどうかを示す、
    前記第1の有意性情報、前記第2の有意性情報、および前記第3の有意性情報に基づいて、残差ブロックを生成することと、
    映像データの再構築されたブロックを形成するために、予測ブロックに前記残差ブロックを加算することと、
    映像データの前記再構築されたブロックを出力することと、
    を備える、方法。
  2. 前記第1のサブブロックは、4×4ブロックであり、前記第2のサブブロックは、2×2サブブロックである請求項1に記載の方法。
  3. 映像データを復号するためのデバイスであって、
    前記映像データに関連する残差データを格納するように構成されたメモリと、
    前記メモリに結合され、1つ以上のプロセッサを備える映像復号器と、
    を備え、前記映像復号器は、
    前記残差データに関連する変換係数に関する第1の有意性情報を復号することと、ここにおいて、前記第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第1のサブブロックは、変換ブロック全体のサブブロックであり、前記第1の有意性情報を復号するために、前記映像復号器は、前記第1の有意性情報に対して第1の算術的復号動作を行い、前記第1のサブブロックと同じサイズの右の近隣サブブロックおよび前記第1のサブブロックと同じサイズの下方の近隣サブブロックの有意性情報に基づいて、前記第1の算術的復号動作のためのコンテキストを決定する、
    第2の有意性情報を復号することと、ここにおいて、前記第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第2のサブブロックは、前記第1のサブブロックのサブブロックであり、前記第2の有意性情報を復号するために、前記映像復号器は、前記第1の算術的復号動作のために決定された前記コンテキストを使用して前記第2の有意性情報に対して第2の算術的復号動作を行い、前記第1のサブブロックは、前記第2のサブブロックよりも大きい、
    第3の有意性情報を復号することと、ここにおいて、前記第3の有意性情報は、前記第2のサブブロックの個々の係数がゼロでない係数を備えるかどうかを示す、
    前記第1の有意性情報、前記第2の有意性情報、および前記第3の有意性情報に基づいて、残差ブロックを生成することと、
    映像データの再構築されたブロックを形成するために、予測ブロックに前記残差ブロックを加算することと、
    映像データの前記再構築されたブロックを出力することと、
    を行うように構成される、
    デバイス。
  4. 前記第1のサブブロックは、4×4ブロックであり、前記第2のサブブロックは、2×2サブブロックである請求項3に記載のデバイス。
  5. 前記デバイスは、
    集積回路、
    マイクロプロセッサ、または
    前記映像復号器を含む無線通信デバイス、
    のうちの少なくとも1つを備える請求項3に記載のデバイス。
  6. 非一時的なコンピュータによって読み取り可能な記憶媒体であって、1つ以上のプロセッサによって実行されたときに、前記1つ以上のプロセッサに、
    残差データに関連する変換係数に関する第1の有意性情報を復号させる命令と、ここにおいて、前記第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第1のサブブロックは、変換ブロック全体のサブブロックであり、前記第1の有意性情報を復号するために、前記命令は、前記1つ以上のプロセッサに、前記第1の有意性情報に対して第1の算術的復号動作を行わせ、前記第1のサブブロックと同じサイズの右の近隣サブブロックおよび前記第1のサブブロックと同じサイズの下方の近隣サブブロックの有意性情報に基づいて、前記第1の算術的復号動作のためのコンテキストを決定させる、
    第2の有意性情報を復号させる命令と、ここにおいて、前記第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第2のサブブロックは、前記第1のサブブロックのサブブロックであり、前記第2の有意性情報を復号するために、前記命令は、前記1つ以上のプロセッサに、前記第1の算術的復号動作のために決定された前記コンテキストを使用して前記第2の有意性情報に対して第2の算術的復号動作を行わせ、前記第1のサブブロックは、前記第2のサブブロックよりも大きい、
    第3の有意性情報を復号させる命令と、ここにおいて、前記第3の有意性情報は、前記第2のサブブロックの個々の係数がゼロでない係数を備えるかどうかを示す、
    前記第1の有意性情報、前記第2の有意性情報、および前記第3の有意性情報に基づいて、残差ブロックを生成させる命令と、
    映像データの再構築されたブロックを形成するために、予測ブロックに前記残差ブロックを加算させる命令と、
    映像データの前記再構築されたブロックを出力させる命令と、
    を格納する、非一時的なコンピュータによって読み取り可能な記憶媒体。
  7. 前記第1のサブブロックは、4×4ブロックであり、前記第2のサブブロックは、2×2サブブロックである請求項6に記載の非一時的なコンピュータによって読み取り可能な記憶媒体。
  8. コンテキスト割り当てパターンは、前記第1のサブブロック内の前記第2のサブブロックの位置に基づく請求項6に記載の非一時的なコンピュータによって読み取り可能な記憶媒体。
  9. 映像データを復号するための装置であって、
    残差データに関連する変換係数に関する第1の有意性情報を復号するための手段と、ここにおいて、前記第1の有意性情報は、第1のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第1のサブブロックは、変換ブロック全体のサブブロックであり、前記第1の有意性情報を復号するための前記手段は、前記第1の有意性情報に対して第1の算術的復号動作を行うための手段と、前記第1のサブブロックと同じサイズの右の近隣サブブロックおよび前記第1のサブブロックと同じサイズの下方の近隣サブブロックの有意性情報に基づいて、前記第1の算術的復号動作のためのコンテキストを決定するための手段と、を備える、
    第2の有意性情報を復号するための手段と、ここにおいて、前記第2の有意性情報は、第2のサブブロックが少なくとも1つのゼロでない係数を備えるかどうかを示し、前記第2のサブブロックは、前記第1のサブブロックのサブブロックであり、前記第2の有意性情報を復号するための前記手段は、前記第1の算術的復号動作のために決定された前記コンテキストを使用して前記第2の有意性情報に対して算術的復号動作を行うための手段を備え、前記第1のサブブロックは、前記第2のサブブロックよりも大きい、
    第3の有意性情報を復号するための手段と、ここにおいて、前記第3の有意性情報は、前記第2のサブブロックの個々の係数がゼロでない係数を備えるかどうかを示す、
    前記第1の有意性情報、前記第2の有意性情報、および前記第3の有意性情報に基づいて、残差ブロックを生成するための手段と、
    映像データの再構築されたブロックを形成するために、予測ブロックに前記残差ブロックを加算するための手段と、
    映像データの前記再構築されたブロックを出力するための手段と、
    を備える、装置。
  10. コンテキスト割り当てパターンは、前記第1のサブブロック内の前記第2のサブブロックの位置に基づく請求項9に記載の装置。
  11. 無線通信デバイスの受信機において前記映像データを受信することと、
    前記無線通信デバイスのメモリに前記映像データを格納することと、
    前記無線通信デバイスの1つ以上のプロセッサ上で前記映像データを処理することと、
    をさらに備える請求項1に記載の方法。
  12. 前記無線通信デバイスは電話ハンドセットを備え、前記無線通信デバイスの前記受信機において前記映像データを受信することは、前記映像データを備える信号を、無線通信規格にしたがって復調することを備える請求項11に記載の方法。
  13. 前記デバイスは、無線通信デバイスを備え、前記デバイスは、前記映像データを受信するように構成された受信機をさらに備える請求項3に記載のデバイス。
  14. 前記無線通信デバイスは電話ハンドセットを備え、前記受信機は、前記映像データを備える信号を、無線通信規格にしたがって復調するように構成される請求項13に記載のデバイス。
JP2015533314A 2012-09-26 2013-09-26 コンテキスト適応型、マルチレベル有意性コーディングに関するコンテキスト導出 Expired - Fee Related JP6231109B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261706035P 2012-09-26 2012-09-26
US61/706,035 2012-09-26
US14/037,159 US9538175B2 (en) 2012-09-26 2013-09-25 Context derivation for context-adaptive, multi-level significance coding
US14/037,159 2013-09-25
PCT/US2013/061890 WO2014052567A1 (en) 2012-09-26 2013-09-26 Context derivation for context-adaptive, multi-level significance coding

Publications (3)

Publication Number Publication Date
JP2015533061A JP2015533061A (ja) 2015-11-16
JP2015533061A5 JP2015533061A5 (ja) 2017-03-23
JP6231109B2 true JP6231109B2 (ja) 2017-11-15

Family

ID=50338838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015533314A Expired - Fee Related JP6231109B2 (ja) 2012-09-26 2013-09-26 コンテキスト適応型、マルチレベル有意性コーディングに関するコンテキスト導出

Country Status (6)

Country Link
US (1) US9538175B2 (ja)
EP (1) EP2901682A1 (ja)
JP (1) JP6231109B2 (ja)
KR (1) KR101825793B1 (ja)
CN (1) CN105027561B (ja)
WO (1) WO2014052567A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9497472B2 (en) 2010-11-16 2016-11-15 Qualcomm Incorporated Parallel context calculation in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US9350998B2 (en) * 2012-06-29 2016-05-24 Qualcomm Incorporated Coding of significance flags
US9648350B2 (en) 2013-07-22 2017-05-09 Texas Instruments Incorporated Method and apparatus for decoding a progressive JPEG image
US10674146B2 (en) * 2015-09-30 2020-06-02 Lg Electronics Inc. Method and device for coding residual signal in video coding system
WO2017088093A1 (en) * 2015-11-23 2017-06-01 Mediatek Singapore Pte. Ltd. On the smallest allowed block size in video coding
WO2017088810A1 (en) * 2015-11-27 2017-06-01 Mediatek Inc. Method and apparatus of entropy coding and context modelling for video and image coding
US10542267B2 (en) 2016-01-21 2020-01-21 Samsung Display Co., Ltd. Classification preserving image transform compression
CN106209118B (zh) * 2016-06-29 2019-09-20 深圳忆联信息***有限公司 一种信息处理方法及电子设备
KR20180089290A (ko) * 2017-01-31 2018-08-08 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
CN115460403A (zh) * 2017-07-31 2022-12-09 韩国电子通信研究院 对图像编码和解码的方法及存储比特流的计算机可读介质
US10484695B2 (en) 2017-10-23 2019-11-19 Google Llc Refined entropy coding for level maps
US10764590B2 (en) * 2017-11-15 2020-09-01 Google Llc Entropy coding primary and secondary coefficients of video data
US10869060B2 (en) * 2018-01-30 2020-12-15 Google Llc Efficient context model computation design in transform coefficient coding
US10645381B2 (en) 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video
CN115379216A (zh) * 2018-06-03 2022-11-22 Lg电子株式会社 视频信号的解码、编码和发送设备及存储视频信号的介质
AU2018233042B2 (en) 2018-09-21 2024-06-13 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
US11102513B2 (en) 2018-12-06 2021-08-24 Tencent America LLC One-level transform split and adaptive sub-block transform
US10757568B2 (en) * 2018-12-18 2020-08-25 Naffa Innovations Private Limited System and method for communicating digital data using media content
US11202100B2 (en) * 2019-03-11 2021-12-14 Qualcomm Incorporated Coefficient coding for transform skip mode
AU2019201649A1 (en) 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
US11032572B2 (en) 2019-05-17 2021-06-08 Qualcomm Incorporated Low-frequency non-separable transform signaling based on zero-out patterns for video coding
US11695960B2 (en) 2019-06-14 2023-07-04 Qualcomm Incorporated Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding
CN116918327A (zh) * 2021-03-09 2023-10-20 创峰科技 视频编码中基于状态的依赖量化和残差编码

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680974B1 (en) * 1999-12-02 2004-01-20 Lucent Technologies Inc. Methods and apparatus for context selection of block transform coefficients
US7599435B2 (en) 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US20060078049A1 (en) * 2004-10-13 2006-04-13 Nokia Corporation Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability
CN100403801C (zh) * 2005-09-23 2008-07-16 联合信源数字音视频技术(北京)有限公司 一种基于上下文的自适应熵编/解码方法
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
KR101356733B1 (ko) * 2007-03-07 2014-02-05 삼성전자주식회사 컨텍스트 기반 적응적 이진 산술 부호화, 복호화 방법 및장치
US8619853B2 (en) * 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
TWI339074B (en) * 2007-09-05 2011-03-11 Via Tech Inc Operating method and device of coded block flag parameter
RS56512B1 (sr) 2010-04-13 2018-02-28 Ge Video Compression Llc Kodiranje mapa značaja i blokova koeficijenata transformacije
US20110310976A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
US20120082235A1 (en) * 2010-10-05 2012-04-05 General Instrument Corporation Coding and decoding utilizing context model selection with adaptive scan pattern
CN102088603B (zh) * 2010-12-31 2013-12-04 北京大学深圳研究生院 用于视频编码器的熵编码器及其实现方法
US10397577B2 (en) * 2011-03-08 2019-08-27 Velos Media, Llc Inverse scan order for significance map coding of transform coefficients in video coding
US8891630B2 (en) 2011-10-24 2014-11-18 Blackberry Limited Significance map encoding and decoding using partition set based context assignment
EP3499892B1 (en) 2011-11-01 2020-08-12 Velos Media International Limited Multi-level significance maps for encoding and decoding
CA2773990C (en) 2011-11-19 2015-06-30 Research In Motion Limited Multi-level significance map scanning
CN108769691B (zh) * 2011-12-28 2022-05-31 夏普株式会社 图像解码装置、图像解码方法以及图像编码装置
US9860527B2 (en) 2012-01-19 2018-01-02 Huawei Technologies Co., Ltd. High throughput residual coding for a transform skipped block for CABAC in HEVC
US20130188698A1 (en) 2012-01-19 2013-07-25 Qualcomm Incorporated Coefficient level coding
US9584812B2 (en) * 2012-01-20 2017-02-28 Blackberry Limited Methods and devices for context set selection
US9172962B2 (en) * 2012-01-20 2015-10-27 Blackberry Limited Methods and systems for pipelining within binary arithmetic coding and decoding
EP4236318A3 (en) 2012-01-20 2023-11-08 Google Technology Holdings LLC Devices and methods for context reduction in last significant coefficient position coding
US9479780B2 (en) * 2012-02-01 2016-10-25 Google Technology Holdings LLC Simplification of significance map coding

Also Published As

Publication number Publication date
WO2014052567A1 (en) 2014-04-03
CN105027561A (zh) 2015-11-04
KR101825793B1 (ko) 2018-02-05
CN105027561B (zh) 2018-08-28
EP2901682A1 (en) 2015-08-05
JP2015533061A (ja) 2015-11-16
US20140086307A1 (en) 2014-03-27
KR20150064116A (ko) 2015-06-10
US9538175B2 (en) 2017-01-03

Similar Documents

Publication Publication Date Title
JP6231109B2 (ja) コンテキスト適応型、マルチレベル有意性コーディングに関するコンテキスト導出
JP6542400B2 (ja) 係数走査のための係数グループおよび係数コーディング
US9832485B2 (en) Context adaptive entropy coding for non-square blocks in video coding
JP6046164B2 (ja) ビデオコード化において変換係数データをコード化するためのコンテキストの決定
EP3158750B1 (en) Intra block copy block vector signaling for video coding
US9503715B2 (en) Constrained intra prediction in video coding
JP6162150B2 (ja) ビデオコーディング用の残差4分木(rqt)コーディング
RU2584498C2 (ru) Видеокодирование интра-режима
US9338451B2 (en) Common spatial candidate blocks for parallel motion estimation
JP5766874B2 (ja) 方向性パーティションを用いたイントラ予測モードコーディング
JP2018530246A (ja) ビデオコーディングのために位置依存の予測組合せを使用する改善されたビデオイントラ予測
US20140198855A1 (en) Square block prediction
TW201342920A (zh) 在視訊寫碼中用於色度分量之變換單位分割
JP2017523685A (ja) イントラブロックコピーイングのためのブロックベクトルコーディング
JP2015516770A (ja) ビデオコーディングにおける量子化行列のための均一粒度
US20130195189A1 (en) Implicit derivation of parallel motion estimation range size
CN113170141A (zh) 帧间预测方法和相关装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170220

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170411

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171018

R150 Certificate of patent or registration of utility model

Ref document number: 6231109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees