JP7315509B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

画像復号装置、画像復号方法及びプログラム Download PDF

Info

Publication number
JP7315509B2
JP7315509B2 JP2020061226A JP2020061226A JP7315509B2 JP 7315509 B2 JP7315509 B2 JP 7315509B2 JP 2020061226 A JP2020061226 A JP 2020061226A JP 2020061226 A JP2020061226 A JP 2020061226A JP 7315509 B2 JP7315509 B2 JP 7315509B2
Authority
JP
Japan
Prior art keywords
block
bdpcm
maximum size
transform
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020061226A
Other languages
English (en)
Other versions
JP2021164003A (ja
Inventor
恭平 海野
圭 河村
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2020061226A priority Critical patent/JP7315509B2/ja
Priority to PCT/JP2021/006371 priority patent/WO2021199780A1/ja
Publication of JP2021164003A publication Critical patent/JP2021164003A/ja
Application granted granted Critical
Publication of JP7315509B2 publication Critical patent/JP7315509B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。
非特許文献1には、BDPCM(Block-wise Differential Pulse-Code Modulation)の適用条件の1つとして、符号化ブロックのサイズが変換スキップモードの最大サイズ以下であるかという判定を備えることが規定されている。
Versatile Video Coding (Draft 8)、JVET-Q2001
しかしながら、本願の発明者は、非特許文献1では、変換スキップモードの最大サイズは、変換ブロックの最大サイズとは無関係に決定されるため、BDPCMの適用条件の判定に用いられる変換スキップモードの最大サイズと、実際の変換スキップ処理が実行される変換ブロックサイズが不一致になる場合があるという問題点を発見した。
そこで、本発明は、上述の課題に鑑みてなされたものであり、BDPCMの適用条件として変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いることで、実際に変換スキップ処理が行われる変換ブロックサイズを考慮したBDPCMの適用条件の判定を実現することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
本発明の第1の特徴は、画像復号装置であって、符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いるように構成されているイントラ予測モード復号部を備えることを要旨とする。
本発明の第2の特徴は、符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を有することを要旨とする。
本発明の第3の特徴は、画像復号装置で用いるプログラムであって、コンピュータに、符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を実行させることを要旨とする。
本発明によれば、BDPCMの適用条件として変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いることで、実際に変換スキップ処理が行われる変換ブロックサイズを考慮したBDPCMの適用条件の判定を実現することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
一実施形態に係る画像処理システム10の構成の一例を示す図である。 一実施形態に係る画像復号装置200の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置200のイントラ予測部242の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置200のイントラ予測部242のイントラ予測モード復号部242Bによる輝度信号のイントラ予測モードの復号処理のフローの一例を示すフローチャートである。 一実施形態に係る画像復号装置200のイントラ予測部242のイントラ予測モード復号部242Bによる色差信号のイントラ予測モードの復号処理のフローの一例を示すフローチャートである。 MaxTbSizeY=32の場合の輝度CU及び色差CUがそれぞれ4つのTUに分割される様子を示す図である。 一実施形態に係る画像符号化装置100の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置100のイントラ予測部112の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置200のイントラ予測部242のイントラ予測モード復号部242Bによる輝度信号のイントラ予測モードの復号処理のフローの一例を示すフローチャートである。 一実施形態に係る画像復号装置200のイントラ予測部242のイントラ予測モード復号部242Bによる色差信号のイントラ予測モードの復号処理のフローの一例を示すフローチャートである。 変換ブロックの最大サイズとMaxTsSizeとBDPCM適用可否との対応の一例を示す表である。 カラーフォーマットと変換ブロックの最大サイズとMaxTsSizeとの対応の一例を示す表である。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
(第1実施形態)
以下、図1~図8を参照して、本発明の第1実施形態に係る画像処理システム10について説明する。図1は、本実施形態に係る実施形態に係る画像処理システム10を示す図である。
図1に示すように、画像処理システム10は、画像符号化装置100及び画像復号装置200を有する。
画像符号化装置100は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置200は、符号化データを復号することによって出力画像信号を生成するように構成されている。
ここで、かかる符号化データは、画像符号化装置100から画像復号装置200に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置100から画像復号装置200に提供されてもよい。
(画像復号装置200)
以下、図2を参照して、本実施形態に係る画像復号装置200について説明する。図2は、本実施形態に係る画像復号装置200の機能ブロックの一例について示す図である。
図2に示すように、画像復号装置200は、復号部210と、逆変換・逆量子化部220と、加算器230と、インター予測部241と、イントラ予測部242と、インループフィルタ処理部250と、フレームバッファ260とを有する。
復号部210は、画像符号化装置100によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。
ここで、例えば、復号は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化されたデータの復号である。
復号部210は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。
ここで、制御データは、符号化ブロック(CU:Coding Unit)サイズや、予測ブロック(PU:Prediction Unit)サイズや、変換ブロック(TU:Transform Unit)サイズ等のサイズデータを含んでもよい。
逆変換・逆量子化部220は、復号部210から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部220は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
加算器230は、逆変換・逆量子化部220から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部242及びインループフィルタ処理部250に出力するように構成されている。
ここで、フィルタ処理前復号信号は、イントラ予測部242で用いる参照ブロックを構成する。
インター予測部241は、インター予測(フレーム間予測)によって予測信号を生成するように構成されている。
具体的には、インター予測部241は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号に基づいて予測信号を予測ブロック毎に生成するように構成されている。インター予測部241は、予測信号を加算器230に出力するように構成されている。
イントラ予測部242は、イントラ予測(フレーム内予測)によって予測信号を生成するように構成されている。
具体的には、イントラ予測部242は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部242は、予測信号を加算器230に出力するように構成されている。
インループフィルタ処理部250は、加算器230から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ260に出力するように構成されている。
ここで、インループフィルタ処理は、複数のフィルタ処理から構成されていてもよい。例えば、フィルタ処理は、ブロック(符号化ブロック、予測ブロック、変換ブロック或いはそれらを分割したサブブロック)の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や、画像符号化装置100から伝送されるフィルタ係数やフィルタ選択情報や画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。
フレームバッファ260は、インター予測部241で用いる参照フレームを蓄積するように構成されている。
ここで、フィルタ処理後復号信号は、インター予測部241で用いる参照フレームを構成する。
(イントラ予測部242)
以下、図3を参照して、本実施形態に係るイントラ予測部242について説明する。図3は、本実施形態に係る画像復号装置200のイントラ予測部242の機能ブロックの一例について示す図である。
図3に示すように、イントラ予測部242は、イントラ予測モード復号部242Bと、予測信号生成部242Cとを有する。
イントラ予測部242は、イントラ予測(フレーム内予測)によって予測信号を生成するように構成されている予測部の一例である。
イントラ予測モード復号部242Bは、ブロックごとにイントラ予測を行うために必要な情報を復号するように構成されている。
図4は、イントラ予測モード復号部242Bによる輝度信号のイントラ予測モードの復号処理のフローの一例を示すフローチャートである。以下、図4を用いて、イントラ予測モード復号部242Bによる輝度信号のイントラ予測モードの復号処理のフローの一例を説明する。
ステップS401において、イントラ予測モード復号部242Bは、所定条件1が満たされているか否かについて判定する。
かかる所定条件1には、対象CUの幅がTransform Skipを適用する際の最大サイズ(例えば、非特許文献1のMaxTsSize)以下であることという条件が含まれていてもよい。
また、かかる所定条件1には、対象CUの高さがTransform Skipを適用する際の最大サイズ(例えば、非特許文献1のMaxTsSize)以下であることという条件が含まれていてもよい。
ここで、CUの幅や高さは、輝度信号のCUサイズ(幅/高さ)としてもよい。
なお、MaxTsSizeの具体的な値は、画像符号化装置100で決定され、復号部210で復号される制御データ内に含まれていてもよい。MaxTsSizeの設定可能な値は、例えば、4、8、16、32としてもよい。
同様に、輝度信号の変換ブロック(TU)の最大サイズ(例えば、非特許文献1のMaxTbSizeY)の具体的な値も、画像符号化装置100で決定され、復号部210で復号される制御データ内に含まれていてもよい。MaxTbSizeYとして設定可能な値は、32、64としてもよい。
例えば、MaxTbSizeYを32と設定した場合、幅又は高さが32より大きなCUにおいては、逆変換処理に際して、幅及び高さがいずれも32画素以下になるように複数のTUに分割された後、逆変換処理が行われることとなる。例えば、図6に示すように、64×64画素サイズの輝度(Y信号)CUは、32×32画素の4つのTUに分割される。
以上のような2つの条件を所定条件1に含めた場合、MaxTsSizeを取り得る最大値(32)にしたとしても、上述の所定条件1を満たすCUは、必ず32×32画素サイズ以下である。
一方で、MaxTbSizeYの最小値は、32であるため、上述の2つの条件を含む所定条件1を満たすCUのサイズは、必ずMaxTbSizeY以下となるため、かかるCUは、複数のTUに分割されず、CUサイズ=TUサイズとなる。
図12に、MaxTsSize=32として、復号画像のカラーフォーマット(4:2:0、4:2:2又は4:4:4)とMaxTbSizeYを変更した場合の変換ブロックの最大サイズとTransform Skipを適用する際の最大サイズとの関係を示す。
以上で説明した通り、MaxTbSizeY=32の時(図12のNo.4~6)、輝度信号の最大変換ブロックサイズ及び輝度信号の最大Transform Skipサイズの両方が32×32画素となっていることが分かる。
さらに、所定条件1には、SPS(Sequence Parameter Set)において、BDPCM(Block DPCM)が有効になっていること(例えば、sps_bdcpm_enabled_flagの値が「0」より大きいこと)という条件が含まれていてもよい。
所定条件1が全て満たされる場合には、本処理は、ステップS402へ進み、どれか1つでも満たされない場合には、本処理は、ステップS403へ進む。
ステップS402において、イントラ予測モード復号部242Bは、intra_bdpcm_luma_flagを復号する。
intra_bdpcm_luma_flagの値が「1」の場合は、当該輝度CUでBDPCMを適用することを意味し、intra_bdpcm_luma_flagの値が「0」の場合は、当該輝度CUでBDPCMを適用しないことを意味する。
ステップS403において、イントラ予測モード復号部242Bは、intra_bdpcm_luma_flagの値が「0」より大きいかどうかを判定する。
intra_bdpcm_luma_flagの値が「0」より大きい場合には、本処理は、ステップS408へ進み、そうでない場合には、本処理は、ステップS404へ進む。
なお、上述の所定条件1が満たされずに、ステップS402の処理が、スキップされた場合には、イントラ予測モード復号部242Bは、intra_bdpcm_luma_flagの値を「0」とみなす。
ステップS408において、イントラ予測モード復号部242Bは、intra_bdpcm_luma_dir_flagを復号する。intra_bdpcm_luma_dir_flagは、当該輝度CUにBDPCMを適用する場合に、垂直方向から予測を行うか或いは水平方向から予測を行うかのどちらなのかということを示す。
ステップS408の処理が終了した後、本処理は、ステップS410へ進み終了する。
ステップS404において、イントラ予測モード復号部242Bは、所定条件2を満足するかどうかを判定する。
ここで、所定条件2には、当該輝度CUでMIP(行列ベースイントラ予測)が使用可能であるという条件が含まれていてもよい。
所定条件2が満たされる場合は、本処理は、ステップS405へ進み、そうでない場合は、本処理は、ステップS406へ進む。
ステップS405において、イントラ予測モード復号部242Bは、intra_mip_flagを復号する。
intra_mip_flagの値が「1」の場合、当該輝度CUでMIPを適用することを意味し、intra_mip_flagの値が「0」の場合、当該輝度CUでMIPを適用しないことを意味する。
ステップS406において、イントラ予測モード復号部242Bは、intra_mip_flagの値が「0」より大きいかどうかを判定する。
intra_mip_flagの値が「0」より大きい場合には、本処理は、ステップS409へ進み、そうでない場合には、本処理は、ステップS407へ進む。
なお、上述の所定条件2が満たされずに、ステップS405の処理がスキップされた場合には、イントラ予測モード復号部242Bは、intra_mip_flagの値を「0」とみなす。
ステップS409において、イントラ予測モード復号部242Bは、MIP処理に必要なシンタックスを復号する。
ステップS409の処理が終了した後、本処理は、ステップS410へ進み終了する。
ステップS407では、イントラ予測モード復号部242Bは、通常のイントラ予測のモード及びイントラサブ分割の適用有無等のシンタックスを復号する。
ステップS407の処理が終了した後、本処理は、ステップS410へ進み終了する。
以上のように、輝度BDPCMの適用可否の判定に、輝度CUのサイズ(幅又は高さ)がMaxTsSize以下であることという条件を含めることで、上述の通り、MaxTbSizeYの設定値に関わらず、輝度BDPCMが適用可能なCUは、複数のTUに分割されることがなく、必ずCUサイズ=TUサイズとなることが担保される。
図5は、イントラ予測モード復号部242Bによる色差信号のイントラ予測モードの復号処理フローの一例を示すフローチャートである。以下、図5を用いてイントラ予測モード復号部242Bによる色差信号のイントラ予測モードの復号処理フローの一例を説明する。
ステップS501において、イントラ予測モード復号部242Bは、所定条件3を満たしているかどうかを判定する。
上述の所定条件3には、当該CUの幅が、後述する方法で算出されるMaxBdpcmWidthC以下であることという条件が含まれていてもよい。
また、所定条件3には、当該CUの高さが、後述する方法で算出されるMaxBdpcmHeightC以下であることという条件が含まれていてもよい。
ここで、CUの幅や高さは、当該色差信号のサンプリング比に応じた色差信号の実際のCUサイズ(幅/高さ)である。例えば、YUV4:2:0サンプリングの場合、色差信号のCUサイズ(幅/高さ)は、輝度信号の場合と比較して半分になる。
MaxBdpcmWidthC及びMaxBdpcmHightCは、以下の通り、算出され得る。なお、Min()は引数の中で最小値を返す関数である。
MaxBdpcmWidthC=Min(maxTbWidth,MaxTsSize)
MaxBdpcmHeightC=Min(maxTbHeight,MaxTsSize)
ここで、maxTbWidth及びmaxTbHeightは、輝度信号の最大TUサイズ(MaxTbSizeY)及びとカラーフォーマット(4:2:0、4:2:2又は4:4:4)に応じて決定される色差信号の最大TUサイズであり、具体的には、以下のように算出される。
maxTbWidth=MaxTbSizeY/SubWidthC
maxTbHeight=MaxTbSizeY/SubHeightC
ここで、SubWidthCは、4:2:0及び4:2:2フォーマットの場合は「2」であり、それ以外の場合は「1」である。SubHeightCは、4:2:0フォーマットの場合は「2」であり、それ以外の場合は「1」である。
例えば、4:2:0フォーマットで、且つ、MaxTbSizeYの値が32(取り得る最小値)であった場合、maxTbWidth及びmaxTbHeightは、共に16となる。一方、MaxTbSizeの値が32(取り得る最大値)であった場合、MaxBdpcmWidthC及びMaxBdpcmHeightCは、それぞれ16及び32の小さい方の値が代入されるため、いずれも16となる。
上述の例は、図12のNo.4に対応している。この場合、例えば、32×32画素サイズの色差CUは、図6に示すように、4つの16×16画素サイズのTUに分割される。
すなわち、イントラ予測モード復号部242Bは、色差CU(符号化ブロック)に対して色差BDPCMを適用可能かどうかについて判定する所定条件3として、MaxTsSize(変換スキップモードの最大サイズ)及びMaxTbSizeY(変換ブロックの最大サイズ)の両方を用いるように構成されている。
上述のように、所定条件3に、当該色差CUの幅がMaxBdpcmWidthCであり且つ当該色差CUの高さがMaxBdpcmHeightC以下であるという条件を含めることで、所定条件3を満たすCUサイズは、常に、maxTbWidth及びmaxTbHeight以下であることが担保される。よって、当該CUは、複数のTUには分割されず、必ずCUサイズ=TUサイズとなることが担保される。
所定条件3には、SPS(Sequence Parameter Set)においてBDPCM(Block-wise DPCM)が有効になっていること(例えば、sps_bdpcm_chroma_enabled_flagの値が「0」より大きいこと)という条件が含まれていてもよい。
所定条件3が全て満たされる場合には、本処理は、ステップS502へ進み、どれか1つでも満たされない場合には、本処理は、ステップS503へ進む。
ステップS502において、イントラ予測モード復号部242Bは、intra_bdpcm_chroma_flagを復号する。
intra_bdpcm_chroma_flagの値が「1」の場合、当該色差CUでBDPCMを適用することを意味し、intra_bdpcm_chroma_flagの値が「0」の場合は、BDPCMを適用しないことを意味する。
ステップS503において、イントラ予測モード復号部242Bは、intra_bdpcm_chroma_flagの値が「0」より大きいかどうかを判定する。
intra_bdpcm_chroma_flagの値が「0」より大きい場合には、本処理は、ステップS508へ進み、そうでない場合には、本処理は、ステップS504へ進む。
なお、所定条件3が満たされずに、ステップS502の処理がスキップされた場合には、イントラ予測モード復号部242Bは、intra_bdpcm_chroma_flagの値を「0」とみなす。
ステップS508において、イントラ予測モード復号部242Bは、intra_bdpcm_chroma_dir_flagを復号する。
intra_bdpcm_chroma_dir_flagは、当該色差CUにBDPCMを適用する場合に、垂直方向から予測を行うか或いは水平方向から予測を行うかのどちらなのかということを示す。
ステップS508の処理が終了した後、本処理は、ステップS510へ進み終了する。
ステップS504において、イントラ予測モード復号部242Bは、所定条件4を満足するかどうかを判定する。
ここで、所定条件4には、当該色差CUでCCLM(色差線形予測)が使用可能であるという条件が含まれていてもよい。
所定条件4が満たされる場合は、本処理は、ステップS505へ進み、そうでない場合は、本処理は、ステップS506へ進む。
ステップS505において、イントラ予測モード復号部242Bは、cclm_mode_flagを復号する。
cclm_mode_flagの値が「1」の場合は、当該色差CUでCCLMを適用することを意味し、cclm_mode_flagの値が「0」の場合は、当該色差CUでCCLMを適用しないことを意味する。
ステップS506において、イントラ予測モード復号部242Bは、cclm_mode_flagの値が「0」より大きいかどうかを判定する。
cclm_mode_flagの値が「0」より大きい場合には、本処理は、ステップS509へ進み、そうでない場合には、本処理は、ステップS507へ進む。
なお、上述の所定条件4が満たされずに、ステップS505の処理がスキップされた場合には、イントラ予測モード復号部242Bは、cclm_mode_flagの値を「0」とみなす。
ステップS509において、イントラ予測モード復号部242Bは、cclm_mode_idxを復号する。
ステップS509の処理が終了した後、本処理は、ステップS510へ進み終了する。
ステップS507では、イントラ予測モード復号部242Bは、通常のイントラ予測のモード(intra_chroma_pred_mode)を復号する。
ステップS507の処理が終了した後、本処理は、ステップS510へ進み終了する。
以上のように、色差BDPCMの適用可否の判定に、色差CUの幅がMaxTsSize及びmaxTbWidthの小さい方の値以下であり、かつ、色差CUの高さがMaxTsSize及びmaxTbHeightの小さい方の値以下であるという条件を含めることで、上述の通り、MaxTbSizeYの設定値に関わらず、色差BDPCMが適用可能なCUは、複数のTUに分割されることがなく、必ずCUサイズ=TUサイズとなることが担保される。
さらに、上述のように、輝度BDPCMが適用可能なCUについても必ずCUサイズ=TUサイズとなることが担保されるため、上述のような構成とすることで、BDPCMが適用可能なCUについては、輝度及び色差を問わず、必ずCUサイズ=TUサイズとなることが担保される。
上述の具体例を図11に示す。図11は、カラーフォーマットが4:2:0、MaxTsSize=32(取り得る最大値)、MaxTbSizeY=32(取り得る最小値)の場合の、輝度(Luma)CUサイズに対応する輝度TUサイズ、色差(Chroma)CUサイズ、色差TUサイズ及びBDPCM適用可否をまとめた表である。
なお、CUサイズLumaの値は、あくまで一例であり、CUサイズのバリエーションを表に記載の種類のみに限定するものではない。
例えば、非特許文献1では、64×16、64×8といったサイズのブロックも使用可能である。非特許文献1では、色差BDPCMの適用判定においても、輝度BDPCMと同様に、当該色差CUのサイズ(高さ及び幅)がMaxTsSize以下であることを条件としている。
よって、図11のNo.4~6のケースにおいて、輝度CUでは、幅又は高さが32より大きいので、BDPCMが適用不可だが、色差CUでは。幅及び高さの両方が32以下になるため、BDPCMが適用可能である。
一方、No.4~6のケースでは、輝度CU及び色差CUのいずれも複数のTUに分割される。これに対して、第1実施形態では、以上のような構成とすることで、輝度信号及び色差信号の両方について、CUサイズ=TUサイズとなる場合(No.7~10のケースに対応)にのみBDPCMを適用可能としている。
これにより、予測モード(BDPCM)とCUサイズとTU分割の有無に関する組み合わせ数を削減することができ、画像復号装置200の設計及び検証が容易になる。
図3に示す予測信号生成部242Cは、イントラ予測モード復号部242Bで復号された処理対象ブロックの予測モードに基づいて、予測信号を生成するように構成されている。ここで、予測信号の生成方法は、例えば、非特許文献1に記載の公知の方法を用いることができる。
(画像符号化装置100)
以下、図7を参照して、本実施形態に係る画像符号化装置100について説明する。図7は、本実施形態に係る画像符号化装置100の機能ブロックの一例について示す図である。
図7に示すように、画像符号化装置100は、インター予測部111と、イントラ予測部112と、減算器121と、加算器122と、変換・量子化部131と、逆変換・逆量子化部132と、符号化部140と、インループフィルタ処理部150と、フレームバッファ160とを有する。
インター予測部111は、インター予測部241と同様に、インター予測(フレーム間予測)によって予測信号を生成するように構成されている。
具体的には、インター予測部111は、符号化対象のフレーム(以下、対象フレーム)とフレームバッファ160に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定するように構成されている。
また、インター予測部111は、参照ブロック及び動きベクトルに基づいて予測ブロックに含まれる予測信号を予測ブロック毎に生成するように構成されている。インター予測部111は、予測信号を減算器121及び加算器122に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。
イントラ予測部112は、イントラ予測部242と同様に、イントラ予測(フレーム内予測)によって予測信号を生成するように構成されている。
具体的には、イントラ予測部112は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。また、イントラ予測部112は、予測信号を減算器121及び加算器122に出力するように構成されている。
ここで、参照ブロックは、予測対象のブロック(以下、対象ブロック)について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
減算器121は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部131に出力するように構成されている。ここで、減算器121は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。
加算器122は、逆変換・逆量子化部132から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部112及びインループフィルタ処理部150に出力するように構成されている。
ここで、フィルタ処理前復号信号は、イントラ予測部112で用いる参照ブロックを構成する。
変換・量子化部131は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部131は、係数レベル値の量子化を行うように構成されていてもよい。
ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換(DCT;Discrete Cosine Transform)に対応する基底パターン(変換行列)が用いられてもよく、離散サイン変換(DST;Discrete Sine Transform)に対応する基底パターン(変換行列)が用いられてもよい。
逆変換・逆量子化部132は、逆変換・逆量子化部220と同様に、変換・量子化部131から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部132は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
ここで、逆変換処理及び逆量子化は、変換・量子化部131で行われる変換処理及び量子化とは逆の手順で行われる。
符号化部140は、変換・量子化部131から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。
ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
また、符号化部140は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。
なお、上述したように、制御データは、符号化ブロックサイズや予測ブロックサイズや変換ブロックサイズ等のサイズデータを含んでもよい。
インループフィルタ処理部150は、インループフィルタ処理部250と同様に、加算器122から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ160に出力するように構成されている。
フレームバッファ160は、インター予測部111で用いる参照フレームを蓄積するように構成されている。
ここで、フィルタ処理後復号信号は、インター予測部111で用いる参照フレームを構成する。
(イントラ予測部112)
以下、図8を参照して、本実施形態に係るイントラ予測部112について説明する。図8は、本実施形態に係る画像符号化装置112のイントラ予測部112の機能ブロックの一例について示す図である。
図8に示すように、イントラ予測部112は、イントラ予測モード決定部112Aと、イントラ予測モード符号化部112Bと、予測信号生成部112Cとを有する。
イントラ予測部112は、イントラ予測(フレーム内予測)によって予測信号を生成するように構成されている予測部の一例である。
イントラ予測モード決定部112Aは、当該ブロックのイントラ予測モードやBDPCMの適用有無等、後段のイントラ予測モード符号化部112Bで符号化する情報を決定するように構成されている。決定の方法は、公知の方法を用いることが可能であるため詳細は省略する。
イントラ予測モード符号化部112Bは、対象ブロックの予測モードを符号化するように構成されている。処理内容は、イントラ予測モード復号部242Bと同様の処理となる。具体的には、例えば、図4及び図5に示すイントラ予測モード復号部242Bの処理フローチャートのうち「復号」の部分を「符号化」に変更した処理となる。
予測信号生成部112Cは、イントラ予測モード112Bで符号化した予測モードにしたがって、当該ブロックの予測信号を生成するように構成されている。予測信号の生成方法は、予測信号生成部242Cと同一である。
(第2実施形態)
以下、図9~図10を参照して、本発明の第2実施形態について説明する。なお、以降では第1実施形態との差分のみを説明することとし、第1実施形態と同一の処理の箇所については説明を省略する。
図9は、イントラ予測モード復号部242Bによる輝度信号のイントラ予測モードの復号処理フローの一例を示すフローチャートである。図9は、図4のステップS401がステップS901に置き換わっている以外は、図4を用いて説明した第1実施形態の処理と同一である。
ステップS901において、イントラ予測モード復号部242Bは、所定条件5を満足するかどうかを判定する。
所定条件5には、当該CUの幅が、後述する方法で算出されるMaxBdpcmSizeY以下であることという条件が含まれていてもよい。
また、所定条件5には、当該CUの高さが、後述する方法で算出されるMaxBdpcmSizeY以下であることという条件が含まれていてもよい。
MaxBdpcmSizeYは、以下の通り、算出され得る。
MaxBdpcmSizeY=(MaxTbSizeY>MaxTsSize)? MazTsSize:CtbSizeY
ここで、a ? b : cは、条件aが真のときはbの値を返し、条件aが偽の時はcの値を返す関数である。
よって、例えば、MaxTbSizeYが64であり、MaxTsSizeが32である場合は、MaxBdpcmSizeYの値は、MaxTsSize(=32)となる。
同様に、例えば、MaxTbSizeYが32であり、MaxTsSizeが32の場合、MaxBdpcmSizeYの値は、CtbSizeYとなる。CtbSizeYは、CUの最大サイズであり、例えば、非特許文献1では、32、64、128の値をとることができる。この場合、すなわち、MaxTbSizeY≦MaxTsSizeであり、MaxBdpcmSizeY=CtbSizeYとなる場合、所定条件5は、当該CUの幅及び高さがCUの最大サイズ以下であることという意味になるため、全てのCUについて所定条件5が満たされるようになる。
また、非特許文献1では、BDPCMを適用するCUに対応するTUには、必ずTransform Skip(TS)を適用する必要があるが、上述のように、MaxTbSizeY(TUの最大サイズ)がMaxTsSize(TSが適用可能なTUの最大サイズ)以下の場合、全てのTUに対してTSが適用可能となる。
すなわち、イントラ予測モード復号部242Bは、輝度CU(符号化ブロック)に対して輝度BDPCMを適用可能かどうかについて判定する所定条件5として、MaxTSize(変換スキップモードの最大サイズ)及びMaxTbSizeY(変換ブロックの最大サイズ)の両方を用いるように構成されている。
よって、上述のように、全てのCUサイズに対してBDPCMを適用可能としても、非特許文献1の制約(BDPCMを適用するCUに対応するTUには、必ずTSを適用する)を担保しつつ、第1実施形態と比較して、BDPCMを適用可能なCUサイズのパターンを増やすことができる。
さらに、所定条件5には、SPS(Sequence Parameter Set)においてBDPCM(Block-wise DPCM)が有効になっていること(例えば、sps_bdpcm_enabled_flagの値が「0」より大きいこと)という条件が含まれていてもよい。
所定条件5が全て満たされる場合には、本処理は、ステップS402へ進み、どれか1つでも満たされない場合には、本処理は、ステップS403へ進む。
以上のように、maxTbWidth及びmaxTbHeightが、MaxTsSize以下の場合、上述のように、全てのCUでBDPCMを適用可能とすることで、非特許文献1の制約(BDPCMを適用するCUに対応するTUには、必ずTSを適用する)を担保しつつ、第1実施形態と比較して、BDPCMを適用可能なCUサイズのパターンを増やすことができる。これにより、符号化効率の向上が見込まれる(図11参照)。
図10は、イントラ予測モード復号部242Bによる色差信号のイントラ予測モードの復号処理フローの一例を示すフローチャートである。図10は、図5のステップS501がステップS1001に置き換わっている以外は、図5を用いて説明した第1実施形態の処理と同一である。
ステップS1001において、イントラ予測モード復号部242Bは、所定条件6を満足するかどうかを判定する。
所定条件6には、当該CUの幅が、後述する方法で算出されるMaxBdpcmWidthC以下であることという条件が含まれていてもよい。
また、所定条件6には、当該CUの高さが、後述する方法で算出されるMaxBdpcmHeightC以下であることという条件が含まれていてもよい。
ここで、CUの幅や高さは、当該色差信号のサンプリング比に応じた色差信号の実際のCUサイズ(幅/高さ)である。例えば、YUV4:2:0サンプリングの場合、色差信号のCUサイズ(幅/高さ)は、輝度信号の場合と比較して半分になる。
MaxBdpcmWidthC及びMaxBdpcmHeightCは、以下の通り、算出され得る。
MaxBdpcmWidthC=(maxTbWidth>MaxTsSize)? MaxTsSize:CtbSizeY/SubWidthC
MaxBdpcmHeightC=(maxTbHeight>MaxTsSize)? MaxTsSize:CtbSizeY/SubHeightC
すなわち、イントラ予測モード復号部242Bは、色差CU(符号化ブロック)に対して色差BDPCMを適用可能かどうかについて判定する所定条件1として、MaxTSize(変換スキップモードの最大サイズ)及びMaxTbSizeY(変換ブロックの最大サイズ)の両方を用いるように構成されている。
図9を用いて説明した輝度CUの場合と同様に、例えば、maxTbWidthがMaxTsSize以下で且つmaxTbHeightがMaxTsSize以下の場合、MaxBdpcmWidthCは、CtbSizeY/SubWidthC(色差CUの幅の最大値)となり、MaxBdpcmHeightCは、CtbSizeY/SubHeightC(色差CUの高さの最大値)となる。よって、この場合、全ての色差CUについて所定条件6が満たされるようになる。
また、輝度CUの場合と同様に、全てのCUサイズに対してBDPCMを適用可能としても、非特許文献1の制約(BDPCMを適用するCUに対応するTUには必ずTSを適用する)を担保しつつ、第1実施形態と比較してBDPCMを適用可能な色差CUサイズのパターンを増やすことができる。
さらに、所定条件6には、SPS(Sequence Parameter Set)においてBDPCM(Block-wise DPCM)が有効になっていること(例えば、sps_bdcpm_enabled_flagの値が「0」より大きいこと)という条件が含まれていてもよい。
所定条件6が全て満たされる場合には、本処理は、ステップS502へ進み、どれか1つでも満たされない場合には、本処理は、ステップS503へ進む。
以上のように、maxTbWidth及びmaxTbHeightが、MaxTsSize以下の場合、上記のように、全ての色差CUでBDPCMを適用可能とすることで、非特許文献1の制約(BDPCMを適用するCUに対応するTUには必ずTSを適用する)を担保しつつ、第1実施形態と比較してBDPCMを適用可能なCUサイズのパターンを増やすことができる。これにより、符号化効率の向上が見込まれる。
また、上述の画像符号化装置100及び画像復号装置200は、コンピュータに各機能(各工程)を実行させるプログラムであって実現されていてもよい。
なお、上記の各実施形態では、本発明を画像符号化装置100及び画像復号装置200への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、画像符号化装置100及び画像復号装置200の各機能を備えた画像符号化/復号システムにも同様に適用できる。
10…画像処理システム
100…画像符号化装置
111、241…インター予測部
112、242…イントラ予測部
112A…イントラ予測モード決定部
112B…イントラ予測モード符号化部
112C、242C…予測信号生成部
121…減算器
122、230…加算器
131…変換・量子化部
132、220…逆変換・逆量子化部
140…符号化部
150、250…インループフィルタ処理部
160、260…フレームバッファ
200…画像復号装置
210…復号部
242B…イントラ予測モード復号部

Claims (8)

  1. 画像復号装置であって、
    符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いるように構成されているイントラ予測モード復号部を備え
    前記イントラ予測モード復号部は、前記符号化ブロックのサイズが前記変換スキップモードの最大サイズ及び前記変換ブロックの最大サイズのうち小さい方の値以下の場合に、前記符号化ブロックに対してBDPCMを適用可能と判定するように構成されていることを特徴とする画像復号装置。
  2. 前記イントラ予測モード復号部は、前記符号化ブロックの幅が前記変換スキップモードの最大サイズ及び前記変換ブロックの幅の最大値のうち小さい方の値以下であり、且つ、前記符号化ブロックの高さが前記変換スキップモードの最大サイズ及び前記変換ブロックの高さの最大値のうち小さい方の値以下である場合に、前記符号化ブロックに対してBDPCMを適用可能と判定するように構成されていることを特徴とする請求項に記載の画像復号装置。
  3. 画像復号装置であって、
    符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いるように構成されているイントラ予測モード復号部を備え、
    前記イントラ予測モード復号部は、前記変換ブロックの最大サイズが前記変換スキップモードの最大サイズ以下の場合に、全てのサイズの前記符号化ブロックに対してBDPCMを適用可能と判定するように構成されていることを特徴とする画像復号装置。
  4. 前記イントラ予測モード復号部は、前記変換ブロックの幅の最大値が前記変換スキップモードの最大サイズ以下であり、且つ、前記変換ブロックの高さの最大値が前記変換スキップモードの最大サイズ以下である場合に、全てのサイズの前記符号化ブロックに対してBDPCMを適用可能と判定するように構成されていることを特徴とする請求項に記載の画像復号装置。
  5. 符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を有し、
    前記工程において、前記符号化ブロックのサイズが前記変換スキップモードの最大サイズ及び前記変換ブロックの最大サイズのうち小さい方の値以下の場合に、前記符号化ブロックに対してBDPCMを適用可能と判定することを特徴とする画像復号方法。
  6. 画像復号装置で用いるプログラムであって、コンピュータに、符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を実行させ
    前記工程において、前記符号化ブロックのサイズが前記変換スキップモードの最大サイズ及び前記変換ブロックの最大サイズのうち小さい方の値以下の場合に、前記符号化ブロックに対してBDPCMを適用可能と判定することを特徴とするプログラム。
  7. 符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を有し、
    前記工程において、前記変換ブロックの最大サイズが前記変換スキップモードの最大サイズ以下の場合に、全てのサイズの前記符号化ブロックに対してBDPCMを適用可能と判定することを特徴とする画像復号方法。
  8. 画像復号装置で用いるプログラムであって、コンピュータに、符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を実行させ、
    前記工程において、前記変換ブロックの最大サイズが前記変換スキップモードの最大サイズ以下の場合に、全てのサイズの前記符号化ブロックに対してBDPCMを適用可能と判定することを特徴とするプログラム。
JP2020061226A 2020-03-30 2020-03-30 画像復号装置、画像復号方法及びプログラム Active JP7315509B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020061226A JP7315509B2 (ja) 2020-03-30 2020-03-30 画像復号装置、画像復号方法及びプログラム
PCT/JP2021/006371 WO2021199780A1 (ja) 2020-03-30 2021-02-19 画像復号装置、画像復号方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020061226A JP7315509B2 (ja) 2020-03-30 2020-03-30 画像復号装置、画像復号方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021164003A JP2021164003A (ja) 2021-10-11
JP7315509B2 true JP7315509B2 (ja) 2023-07-26

Family

ID=77927069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020061226A Active JP7315509B2 (ja) 2020-03-30 2020-03-30 画像復号装置、画像復号方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7315509B2 (ja)
WO (1) WO2021199780A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021015524A1 (ko) 2019-07-19 2021-01-28 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021015524A1 (ko) 2019-07-19 2021-01-28 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
WO2021199780A1 (ja) 2021-10-07
JP2021164003A (ja) 2021-10-11

Similar Documents

Publication Publication Date Title
KR102006236B1 (ko) 쿼드 트리를 이용한 블록 정보 부/복호화 방법 및 이러한 방법을 사용하는 장치
CN110679149B (zh) 基于自适应像素分类基准的环路滤波方法
US10306263B2 (en) Method and apparatus for decoding video signal
JP2023126408A (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
JP7422913B2 (ja) 変換に基づく映像コーディング方法及びその装置
KR101538837B1 (ko) 변환 유닛 내의 다수 부호 비트 은폐
CN113812155B (zh) 多种帧间编解码方法之间的交互
CN113287311B (zh) 两步交叉分量预测模式的指示
JP2022533190A (ja) アップサンプリングを使用した行列ベースのイントラ予測
CN113812150A (zh) 使用滤波的基于矩阵的帧内预测
CN113728647A (zh) 基于矩阵的帧内预测的上下文编码
US20220210430A1 (en) Method and device for coding/decoding image using differential coding of residual coefficient, and method for transmitting bitstream
CN117579818A (zh) 视频编解码中变换系数的编解码
KR20240013896A (ko) 영상을 인코딩 및 디코딩하기 위한 방법, 인코딩 및 디코딩 장치, 및 해당 컴퓨터 프로그램
JP7315509B2 (ja) 画像復号装置、画像復号方法及びプログラム
KR20240049294A (ko) 다용도 비디오 코딩을 위한 조작 범위 확장
JP6590412B2 (ja) 映像符号化装置、方法及びプログラム、並びに映像復号装置、方法及びプログラム
WO2020059341A1 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
CA3155622A1 (en) Efficient implementation of matrix-based intra-prediction
JP7189854B2 (ja) 画像復号装置、画像復号方法及びプログラム
CN113261291B (zh) 基于多个参数的两步交叉分量预测模式
JP2024523793A (ja) コーデック方法、コードストリーム、符号化装置、復号化装置及びコンピュータ記憶媒体
CN114830643A (zh) 图像编码方法和图像解码方法
CN114830641A (zh) 图像编码方法和图像解码方法
WO2011096071A1 (ja) 動画像符号化装置及び動画像復号化装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230713

R150 Certificate of patent or registration of utility model

Ref document number: 7315509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150