JP2021077946A - 画像復号装置及び画像符号化装置 - Google Patents
画像復号装置及び画像符号化装置 Download PDFInfo
- Publication number
- JP2021077946A JP2021077946A JP2019201150A JP2019201150A JP2021077946A JP 2021077946 A JP2021077946 A JP 2021077946A JP 2019201150 A JP2019201150 A JP 2019201150A JP 2019201150 A JP2019201150 A JP 2019201150A JP 2021077946 A JP2021077946 A JP 2021077946A
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- unit
- scaling
- prediction
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013139 quantization Methods 0.000 claims abstract description 87
- 239000011159 matrix material Substances 0.000 claims abstract description 46
- 238000006243 chemical reaction Methods 0.000 claims description 339
- 230000009466 transformation Effects 0.000 claims description 49
- 238000000926 separation method Methods 0.000 description 64
- 238000000034 method Methods 0.000 description 48
- 238000012545 processing Methods 0.000 description 35
- 230000015654 memory Effects 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 25
- 238000009795 derivation Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 8
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920000069 polyphenylene sulfide Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101100332287 Dictyostelium discoideum dst2 gene Proteins 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 101100264226 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) XRN1 gene Proteins 0.000 description 1
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 1
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000005284 basis set Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000002490 spark plasma sintering Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
Coding)方式等が挙げられる。
れる符号化単位(符号化ユニット(Coding Unit:CU)と呼ばれることもある)、及び、
符号化単位を分割することより得られる変換ユニット(TU:Transform Unit)からなる階層構造により管理され、CU毎に符号化/復号される。
グ部は、scaling_matrix_for_lfnst_disabled_flag==1、かつ、lfnst_idx!=0、かつ変換
ブロックのサイズが所定のサイズ以上の場合には量子化マトリックスを用いた変換係数の位置に応じたスケーリングではなく、変換係数の位置によらないスケーリングである一様量子化を行うことを特徴とする。
部と、前記スケーリング部もしくは前記第2の変換部による変換後の変換係数に対してコア変換を適用する第1の変換部を備える画像復号装置であって、上記第1の変換部は、lfnst_idx==0、または変換ブロックのサイズが所定のサイズ以上の場合には、複数の変換行列から1つの変換行列を暗黙的に選択して変換を行うことを特徴とする。
以下、図面を参照しながら本発明の実施形態について説明する。
の組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であってもよい。また、ネットワーク21は、DVD(Digital Versatile Disc:登録商標)、BD(Blue-ray Disc:登録商標)等の符号化ストリームTeを記録した記憶媒体で代替されてもよい。
場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
本明細書で用いる演算子を以下に記載する。
、|=はOR代入演算子であり、||は論理和を示す。
本実施形態に係る動画像符号化装置11及び動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
ームTeは、例示的に、シーケンス、及びシーケンスを構成する複数のピクチャを含む。図4には、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定す
る符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号
装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4の符号化ビデオシーケンスに示すように、ビデオパラメータセット(Video Parameter Set)、シーケン
スパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
の画像に共通する符号化パラメータの集合及び画像に含まれる複数のレイヤ及び個々のレイヤに関連する符号化パラメータの集合が規定されている。
置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れか
を選択する。
動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値(pic_init_qp_minus26)や重み付き予測の適用
を示すフラグ(weighted_pred_flag)及びスケーリングリスト(量子化マトリックス)が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャ
から複数のPPSの何れかを選択する。
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4の符号化ピクチャに示すよ
うに、スライス0〜スライスNS-1を含む(NSはピクチャPICTに含まれるスライスの総数)
。
添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照
するデータの集合が規定されている。スライスは、図4の符号化スライスに示すように、
スライスヘッダ、及び、スライスデータを含んでいる。
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図4の符号化スライ
スヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ(例えば64x64)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
図4の符号化ツリーユニットには、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な4分木分割(QT(Quad Tree)
分割)、2分木分割(BT(Binary Tree)分割)あるいは3分木分割(TT(Ternary Tree)
分割)により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割(MT(Multi Tree)分割)と呼ぶ。再帰的な4分木分
割により得られる木構造のノードのことを符号化ノード(Coding Node)と称する。4分木、2分木、及び3分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノ
ードとして規定される。
分割の有無を示すMT分割フラグ(split_mt_flag)、MT分割の分割方向を示すMT分割方向
(split_mt_dir)、MT分割の分割タイプを示すMT分割タイプ(split_mt_type)を含む。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type は符号化ノード毎に伝送
される。
上分割されない。CUは、符号化処理の基本的な単位となる。
(図5のBT(水平分割))、split_mt_dirが0の場合に符号化ノードは2つの符号化ノードに垂直分割される(図5のBT(垂直分割))。また、split_mt_typeが1の時、split_mt_dirが1の場合に符号化ノードは3つの符号化ノードに水平分割され(図5のTT(水平分割))、split_mt_dirが0の場合に符号化ノードは3つの符号化ノードに垂直分割される(図5のTT(
垂直分割))。これらを図5のCT情報に示す。
画素、8x64画素、32x8画素、8x32画素、16x8画素、8x16画素、8x8画素、64x4画素、4x64
画素、32x4画素、4x32画素、16x4画素、4x16画素、8x4画素、4x8画素、及び、4x4画素の
何れかをとり得る。
図4の符号化ユニットに示すように、処理対象の符号化ユニットを復号するために動画
像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは
予測モード等が規定される。
のサイズよりも大きい場合、CUは、サブCUに分割される。例えばCUが8x8、サブCUが4x4の場合、CUは水平2分割、垂直2分割からなる、4つのサブCUに分割される。
を備えても良い。イントラ予測、イントラブロツクコピー予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間(例えば、表示時刻間、レイヤ画像間)で行われる予測処理を指す。
でエントロピー符号化してもよい。
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
、イントラ予測モードの種類(モード番号)を示す概略図である。図6に示すように、イ
ントラ予測モードは、例えば67種類(0〜66)存在する。例えば、プレーナ予測(0)、DC予測(1)、Angular予測(2〜66)である。さらに、色差ではLMモード(67〜72)を追加
してもよい。
intra_luma_mpm_flagは、対象ブロックのIntraPredModeYとMPM(Most Probable Mode)とが一致するか否かを示すフラグである。MPMは、MPM候補リストmpmCandList[]に含まれ
る予測モードである。MPM候補リストは、隣接ブロックのイントラ予測モード及び所定の
イントラ予測モードから、対象ブロックに適用される確率が高いと推定される候補を格納したリストである。intra_luma_mpm_flagが1の場合、MPM候補リストとインデックスintra_luma_mpm_idxを用いて、対象ブロックのIntraPredModeYを導出する。
(REM)
intra_luma_mpm_flagが0の場合、イントラ予測モード全体からMPM候補リストに含まれるイントラ予測モードを除いた残りのモードRemIntraPredModeからイントラ予測モードを選択する。RemIntraPredModeとして選択可能なイントラ予測モードは、「非MPM」又は「REM」と呼ばれる。RemIntraPredModeはintra_luma_mpm_remainderを用いて導出される。
本実施形態に係る動画像復号装置31(図7)の構成について説明する。
)302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部(予測画像生成装置)308、逆量子化・逆変換部311、及び加算部312を含んで構
成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。
部3022(予測モード復号部)を備えており、CU復号部3022はTU復号部3024を備えている。これらを総称して復号モジュールと呼んでもよい。ヘッダ復号部3020は、符号化データからVPS、SPS、PPS等のパラメータセット情報、スライスヘッダ(スライス情報)を復号す
る。CT情報復号部3021は、符号化データからCTを復号する。CU復号部3022は符号化データからCUを復号する。TU復号部3024は、TUに予測誤差が含まれている場合に、符号化データからQP更新情報(量子化補正値)と量子化予測誤差(residual_coding)を復号する。
、IntraSubPartitionsSplitTypeにISP_NO_SPLIT(=0)を設定し、ISPを用いない。intra_subpartitions_mode_flagが0以外の場合、さらにintra_subpartitions_split_flagを復号し、以下のように設定する。
また、以下のように導出しても良い
IntraSubPartitionsSplitType = intra_subpartitions_split_flag + 1
TU復号部3024は、符号化データから非分離変換の利用の有無、及び、変換基底を示すパラメータlfnst_idxを復号する。具体的には、TU復号部3024は、CUの幅と高さが4以上で
あり、且つ、予測モードがイントラモードである場合に、lfnst_idxを復号する。なお、lfnst_idxは0の場合、非分離変換の非適用を示し、1の場合、非分離変換基底のセット(ペ
ア)のうち一方の変換を示し、2の場合、上記ペアのうち他方の変換を示す。
また、TU復号部3024はサブブロック変換フラグcu_sbt_flagを復号してもよい。cu_sbt_flagが1の場合には、CUを複数のサブブロックに分割し、特定の1つのサブブロックのみ残差を復号する。さらにTU復号部3024は、サブブロックの数が4であるか2であるかを示すフラグcu_sbt_quad_flag、分割方向を示すcu_sbt_horizontal_flag、非ゼロの変換係数が含まれるサブブロックを示すcu_sbt_pos_flagを復号してもよい。
測、Angular予測(方向予測)、MIP予測(Matrix-based Intra Prediction)を行っても良
い。MIP予測は、intra_mip_flagが1の場合に行われ、隣接画像と予め定められたマトリックスの積から、一時的予測画像tempPredを導出し、一時的予測画像tempPredをそのままもしくは対象ブロックのサイズに拡大して、予測画像を導出する。
、サブCU単位で処理をしてもよい。あるいはCTU、CUをブロック、サブCUをサブブロック
と読み替え、ブロックあるいはサブブロック単位の処理としてもよい。
ピー復号を行って、個々の符号(シンタックス要素)を分離し復号する。エントロピー符号化には、シンタックス要素の種類や周囲の状況に応じて適応的に選択したコンテキスト(確率モデル)を用いてシンタックス要素を可変長符号化する方式と、予め定められた表、あるいは計算式を用いてシンタックス要素を可変長符号化する方式がある。前者のCABAC(Context Adaptive Binary Arithmetic Coding)は、符号化あるいは復号したピクチャ(スライス)毎に更新した確率モデルをメモリに格納する。そして、Pピクチャ、あるい
はBピクチャのコンテキストの初期状態として、メモリに格納された確率モデルの中から
、同じスライスタイプ、同じスライスレベルの量子化パラメータを使用したピクチャの確率モデルを設定する。この初期状態を符号化、復号処理に使用する。分離された符号には、予測画像を生成するための予測情報及び、差分画像を生成するための予測誤差等がある。
図8、動画像復号装置31の概略的動作を説明するフローチャートである。
(スライス情報)を復号する。
の処理を繰り返すことにより各CTUの復号画像を導出する。
号する。
フラグsplit_transform_flag、CU残差フラグcbf_cb、cbf_cr、cbf_luma等を復号する。
データからQP更新情報(量子化補正値)と量子化予測誤差(residual_coding)を復号す
る。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値である。
、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの
復号画像を生成する。
スケーリングリストは、変換係数の位置ごとに異なる量子化・逆量子化を行う方法、及び、量子化に用いるマトリックスを意味する。量子化・逆量子化はスケーリングとも呼ばれ、スケーリングリストは、スケーリングファクタとも呼ばれる。スケーリングリストを用いることで、高周波数成分をより小さく(0になりやすく)して、主観画質の低下を抑えながら符号化レートを削減することができる。また、高周波数成分と低周波数成分の比率や、水平成分、垂直成分、斜め成分の比率を調整して画質を調整することができる。
換係数配列d[x][y]用のScalingMatrixRec[8][x][y]、x=0..7、y=0..7の例を示す。
は、aps_params_typeで、APSにおいて符号化される情報の種別を示し、1つのAPSデータ
はaps_params_typeで指定された情報のみを含む。例えば、aps_params_typeとして、ALF
データのALF_APS、LMCSデータのLMCS_APS、スケーリングリストデータのSCALING_APSがあってもよい。
示す場合(SCALING_APS)、上記、分離変換用の第1のスケーリングリストscaling_list_data()を復号する。
ケーリングリスト情報を復号し、スケーリングリストを導出する。また、スケーリングリスト復号部3026は、符号化データから復号しない、予め定められたマトリックス(デフォルトマトリックス)を用いてもよい。
測のCb(cIdx==1)、イントラ予測のCr(cIdx==2)、インター予測またはイントラブロックコピーの輝度(cIdx==0)、インター予測またはイントラブロックコピーのCb(cIdx==1)、インター予測またはイントラブロックコピーのCr(cIdx==2)に対応し、max(nTbW,nTbH)は2,4,8,16,32,64に対応する。
合にはスケーリングリストを適用しない。
スケーリングリストと同じであるかを示すフラグである。参照スケーリングリストはscaling_list_pred_id_deltaによって決定される。
scaling_list_pred_mode_flagは、対象ブロックで使用するスケーリングリストが参照ス
ケーリングリストから予測できるかを示すフラグである。scaling_list_pred_mode_flag=0の場合、参照するスケーリングリストから予測できないことを示し、スケーリングリス
ト復号部3026はスケーリングリストを明示的に復号する。scaling_list_pred_mode_flag
が通知されない場合、0に設定する。
図15のスケーリングリストのシンタックス構成を参照しながら、スケーリングリストの
処理について説明する。
リストを用いない場合、復号済みのスケーリングリスト(参照スケーリングリスト)から予測するか否かを示すフラグscaling_list_pred_mode_flag[id]を復号する。同じスケー
リングリストを用いるか、あるいは、スケーリングリストを予測する場合(scaling_list_copy_mode_flag[id]==1またはscaling_list_pred_mode_flag[id]==1の場合)、参照スケーリングリストを表すscaling_list_pred_id_delta[id]を復号する。そして、スケーリングリスト復号部3026は、以下の処理を行う。
からスケーリングリストのサイズを導出する。
matrixSize = (id<2) ? 2 : ( (id<8) ? 4 : 8 )
次に、refIdで参照される既存のスケーリングリストを参照して、以下のそれぞれの場
合について、(matrixSize)x(matrixSize)の2次元配列ScalingMatrixPred[x][y](x=0..matrixSize-1, y=0..matrixSize-1)、および、導出するスケーリングリストの最低周波成分(DC成分)の値ScalingMatrixDCPredを導出する。
scaling_list_copy_mode_flag[id]とscaling_list_pred_mode_flag[id]が共に0の場合、ScalingMatrixPred[x][y]を8、ScalingMatrixDCPredを8にセットする。
それ以外で、scaling_list_pred_id_delta[id]が0の場合、ScalingMatrixPred[x][y]を16、ScalingMatrixDCPredを16にセットする。
それ以外(scaling_list_copy_mode_flag[id]とscaling_list_pred_mode_flag[id]のいずれかが1で、scaling_list_pred_id_delta[id]が1以上)の場合、ScalingMatrixPred[x][y]をScalingMatrixRec[refId][x][y]にセットし、ScalingMatrixDCPredは以下の式で設定
する。
ScalingMatrixDCPred = refId>13 ? ScalingMatrixRec[refId-14][0][0] : ScalingMatrixPred[0][0]
続いてスケーリングリスト復号部3026は、参照スケーリングリストと同じスケーリングリストを用いない(scaling_list_copy_mode_flag[id]が0)場合に、 対象ブロックに適
用するスケーリングリストScalingMatrixRec[id]を導出する。
マトリックス識別子idが13より大きい場合に、scaling_list_dc_coef[id-14]を復号する
。scaling_list_dc_coefが通知されない場合、値を0にセットする。scaling_list_dc_coefを用いて、スケーリングリストScalingMatrixRecのDC成分の値ScalingMatrixDCRecを導
出する。
256 ) % 256 )
そしてスケーリングリスト復号部3026は、変換係数の配列d[][]中のDiagonalScan上の
位置kごとに、スケーリングリストの導出したい係数と一つ前の係数との差分を示すscaling_list_delta_coef[id][i]を復号する。参照スケーリングリストと同じスケーリングリ
ストを用いる(scaling_list_copy_mode_flag[id]が1)場合、scaling_list_delta_coef
は通知されず、0に設定される。対象ブロックに適用する(matrixSize)x(matrixSize)の2
次元配列ScalingMatrixRec[id][x][y]を、scaling_list_delta_coefを用いて導出する。
ここで、kは0からmatrixSize * matrixSize-1の値をとり、x,yはDiagonalScan上の位置kで表される2次元配列上の位置を示し、以下の式で表される。
y = DiagScanOrder[Log2(matrixSize)][Log2(matrixSize)][k][1]
(スケーリング部31111)
スケーリング部31111は、エントロピー復号部301から入力された量子化変換係数qd[ ][
]に対して係数単位の重みを用いてスケーリングする。
か高さのいずれかが4より小さい)場合、非分離変換の有無でスケーリングを行うか否か
を決定してもよい。変換係数は空間周波数に対応するのに対し、非分離変換を行う(lfnst_idx!=0かつTUブロックの幅と高さが共に4以上の)場合、変換係数は空間周波数には対
応しないからである。以下、スケーリングリスト復号部3026で復号した分離変換スケーリングリストと、非分離変換の場合にスケーリングリストを適用するかどうかを示すフラグscaling_matrix_for_lfnst_disabled_flagを用いて、非分離変換の有無に応じてスケーリングする例を説明する。
本実施形態におけるスケーリング部31111は、非分離変換が適用される場合に用いるス
ケーリングリストと、非分離変換が適用されない場合に用いるスケーリングリストを切り替え、量子化変換係数をスケーリングする。具体的には、スケーリング部31111はスケー
リングリスト復号部3026から入力されたスケーリングリストとscaling_matrix_for_lfnst_disabled_flagを用いて量子化マトリックスを切り替える。つまり、非分離変換が適用される場合にはスケーリングしない選択が可能となる。結果として、非分離変換を好適に適用することができる。
図10は、本実施形態の逆量子化・逆変換部311の構成を示すブロック図である。逆量子
化・逆変換部311は、スケーリング部31111、逆非分離変換部31121、逆分離変換部31123から構成される。
合、逆非分離変換部31121により変換を行う。さらに変換された変換係数について逆DCT、逆DST等の逆周波数変換を行い、予測誤差を算出する。また、lfnst_idx==0の場合、逆セ
カンダリ変換部31121を行わず、スケーリング部31111によりスケーリングされた変換係数について逆DCT、逆DST等の逆周波数変換を行い、予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。
い。例えば、逆非分離変換を非分離変換と呼ぶ場合、非分離変換は順非分離変換と呼んでもよい。また、分離変換を単に変換と呼ぶ。
本実施形態におけるスケーリング部31111で、逆非分離変換が適用される場合のスケー
リングリストについて詳細に説明する。
qP = qPCb (cIdx == 1 && tu_joint_cbcr_flag == 0)
qP = qPCr (cIdx == 2 && tu_joint_cbcr_flag == 0)
qP = qPCbCr (tu_joint_cbcr_flag != 0)
スケーリング部31111は、対象TUのサイズ(nTbW,nTbH)から形状に関わる値rectNonTsFlagを導出する。
rectNonTsFlagは正方形以外、かつ、変換スキップ以外の場合に1となる。
トリックスScalingMatrixRec[][][]を用いて次の処理のように変換係数の位置(x,y)に依
存する変換係数のスケーリングを行ってもよい。
m[x][y]=16 (式ScaleVal-1)
に設定し、変換係数の位置によらない固定値によるスケーリング(一様量子化)を行う。
・pic_scaling_list_present_flagが0
・変換スキップが有効の場合(transform_skip_flag==1)
・1)scaling_matrix_for_lfnst_disabled_flagが1、かつ、2)lfnst_idx!=0の場合、最
後の条件の内、2)の条件は、非分離変換が対象変換ブロック(例えば、変換ブロックサイズ、輝度or色差)に応じて適用される条件としてもよい。つまり、lfnst_idx!=0、かつ、変換ブロックの幅(nTbW)と高さ(nTbH)が共に所定のサイズ以上(nTbW>=4 && nTBH>=4)としてもよい。また、lfnst_idxが0以外、かつ、変換ブロックが所定のサイズ以上であることを示す下記の変数
LfnstEnabledFlag = lfnst_idx && nTbW >= 4 && nTbH >= 4 ? 1 : 0
を導出して、2)の条件をLfnstEnabledFlagが1の場合としてもよい。
このように、m[][]の導出に、scaling_matrix_for_lfnst_disabled_flagと非分離変換
が適用されるか否かの条件を用いる。これにより、変換ブロックサイズに応じて非分離変換が適用される逆変換部において、非分離変換が適用される場合には、量子化マトリックスを用いた変換係数のスケーリングを行わない選択が可能となる効果を奏する。
いる。このとき、予測モード(predMode)、色コンポーネント(cIdx)、TUブロックの幅(nTbH)および高さ(nTBH)から図11を参照してマトリックス識別子idを導出し、スケーリングリストのサイズlog2MatrixSizeを導出する。log2MatrixSizeはスケーリングリストのサイズの2の対数である。
スケーリング部31111はm[][]を下記のように導出する。
ここでi = (x<<log2MatrixSize) >> Log2(nTbW)、j = (y<<log2MatrixSize) >> Log2(nTbH)。
また、量子化マトリックスのサイズ(量子化マトリックスを適用する変換ブロックのサイズ)が所定のサイズよりも大きい場合、例えば、マトリックス識別子idが所定の値(ここでは13)より大きい場合、スケーリングリストのDC成分m[0][0]をさらに導出する。
図16に変換係数の位置によらない固定値によるスケーリング(一様量子化)を行う場合の最後の条件の量子化処理のフローチャートを示す。スケーリング部31111は、1)scaling_matrix_for_lfnst_disabled_flagが1、かつ、2)lfnst_idx!=0、かつ、3)変換ブロックの幅(nTbW)と高さ(nTbH)が共に所定のサイズ以上のすべてを満たす(S1001でYES)場合、(
式ScaleVal-1)に示したようにスケーリングリストm[x][y]に固定値(例えば16)を導出する(S1002)。
上記条件を満たさない(S1001でNO)場合、(式ScaleVal-2)に示したようにスケーリン
グリストm[x][y]として変換係数の位置(x, y)による値ScalingMatrixRec[id][i][j]を導
出する(S1003)。スケーリング部31111は、最後に、導出したスケーリングリストを用いてスケーリング処理を行う(S1004)。
(S1101でYES)、(式ScaleVal-1)に示したようにスケーリングリストm[x][y]に固定値(
例えば16)を導出する(S1102)。上記条件を満たさない(S1101でNO)場合、(式ScaleVal-2)に示したようにスケーリングリストm[x][y]に変換係数の位置(x, y)による値ScalingMatrixRec[id][i][j]を導出する(S1103)。スケーリング部31111は、最後に、導出した
スケーリングリストを用いてスケーリング処理を行う(S1104)。
スケーリング部31111は、m[][]と量子化パラメータqPから実スケーリングリストls[x][y]を導出する。例えば、qPにより配列levelScaleを参照して得られる補正値を乗算し、qPに依存する値をシフトする。
あるいは、ls[x][y]を以下の式で導出してもよい。
ここでlevelScale[][] = {{ 40, 45, 51, 57, 64, 72 }, { 57, 64, 72, 80, 90, 102 }
}である。
最後に、スケーリング部31111は、逆量子化された変換係数をクリップしd[x][y]を導出する。
d[x][y]は、逆分離変換部31123もしくは逆非分離変換部31121に伝送される。非分離変
換部(第2の変換部)31121は、逆量子化の後、分離変換の前に、変換係数d[ ][ ]に対し
て非分離変換を適用する。
しくは全てに対して、変換行列を用いた変換を適用することにより、修正変換係数(非分離変換部による変換後の変換係数)d[ ][ ]を復元する。逆非分離変換部31121は、変換ユニットTU毎に所定の単位の変換係数d[ ][ ]に対して逆非分離変換を適用する。非分離変
換は、イントラCUにおいてのみ適用され、変換基底はイントラ予測モードIntraPredMode
を参照して決定される。変換基底の選択については後述する。逆非分離変換部31121は、
復元された修正変換係数d[ ][ ]を逆分離変換部31123に出力する。
修正変換係数d[ ][ ]を取得して、変換を行い予測誤差r[][]を導出する。そして、r[][]
に対し、ビットデプス(bitDepth)に応じたスケーリングを行い、予測画像生成部308で導
出される予測画像と同じ精度の誤差resSamples[][]を導出する。例えば、スケーリングは以下で表現される。
bdShift = Max(20 - bitDepth, 0)
この演算では、20bitの精度のr[][]から、シフト演算により、bitDepth精度のresSamples[][]を得る。なお、精度を示す値は20に限定されず、8から24の間の他の値を用いてもよ
い(以下同様)。bitDepthに応じたスケーリングは、ビットデプススケール部(図示せず)を設けて実施してもよい。導出された誤差は加算部312に出力される。
を用いて、第2の色コンポーネント(例えばcIdx=cIdx1)の予測誤差resSamples[][]を導出する。色コンポーネントはcIdxで識別でき、例えば、cIdx=0は輝度、cIdx=1は色差Cb、cIdx=2は色差Crを示す。なお、ジョイント誤差導出部3113では、輝度の処理は行わないので、cIdx0およびcIdx1は1あるいは2である(以降でも同様)。cIdx==1のresSamples[][]は
、resSamplesCb[][]やresCb[][]と記す。cIdx==2のresSamples[][]は、resSamplesCr[][]やresCr[][]と記す。また、ジョイント誤差導出部3113は、2つの色コンポーネント(cIdx=cIdx0、cIdx=cIdx1)の予測誤差r[][]の加算、差分を用いて、2つの色コンポーネント(cIdx=cIdx0、cIdx=cIdx1)のresSamples[][]を導出してもよい。また、ジョイント誤差導出部3113は、後述するように画像のbitDepthに依存したシフト演算により、第1の色コンポーネント(cIdx=cIdx0)の予測誤差r[][]を用いて、第2の色コンポーネント(例えばcIdx=c
Idx1)のresSamples[][]を導出してもよい。なお、特定の色コンポーネントを示す変数cIdx0, cIdx1は1, 2(CbからCrを導出)であってもよいし、2, 1(CrからCbを導出)であっ
てもよい。またcIdx0=1の場合にcIdx1=2、cIdx0=2の場合にcIdx1=1の関係を満たす。つまり、cIdx1=3-cIdx0の関係を満たす。
非分離変換(第2の変換)は、動画像符号化装置11において、TUの分離変換(DCT2及びDST7等)後の一部又は全領域の変換係数に対して適用される。非分離変換では、変換係数に残る相関を除去しエネルギーを一部の変換係数に集中させる。逆非分離変換は、動画像復号装置31において、TUの一部又は全領域の変換係数に対して適用される。逆非分離変換が適用された後、逆非分離変換後の変換係数に対して、逆分離変換(DCT2及びDST7等)が適用される。また、TUを4x4のサブブロックに分割した場合において、左上の所定のサブ
ブロックのみに非分離変換及び逆非分離変換が適用される。TUの幅W、高さHのうち、一方が4であるTUのサイズは、例えば、4×4、8×4、4×8、L×4及び4×L(Lは16以上の自然数)が挙げられる。
イズ(1<<log2StSize x 1<<log2StSize)以下である場合、LFNSTとなる。
逆非分離変換では、TUのサイズ(幅W, 高さH)に応じて、逆非分離変換のサイズ(4x4又
は8x8)、出力の変換係数の数(nStOutSize)、適用する変換係数(入力の変換係数)の
数nonZeroSize及び逆非分離変換を適用するサブブロックの数(numStX, numStY)を導出
する。4x4、8x8の逆非分離変換のサイズをnStSize=4、8で示す。また、4x4、8x8の逆非分離変換のサイズは、各々RST4x4、RST8x8と呼んでもよい。
上記以外の場合、log2StSize = 2、nStOutSize=16
nStSize = 1<<log2StSize
W及びHが両方とも4の場合、又は8x8の場合、nonZeroSize = 8
上記以外の場合、nonZeroSize = 16
なお、LFNSTの入力nonZeroSizeは8と16に限定されない。例えば12などでもよい。出力nStOutSizeも16と48に限定されず、32や36、64などでもよい。
numStY = (nTbW == 4 && nTbH > 8) ? 2 : 1
なお複数のサブブロックに非分離変換を行わず常にnumStX= numStYとしてもよい。
逆非分離変換部31121は、TUの一部の変換係数d[][]を一度、1次元配列u[]に並び替え
て処理する。具体的には、逆非分離変換部31121は、領域RUによって示される対象TUの2
次元の変換係数d[][]から、x = 0.. nonZeroSize-1の変換係数を参照して、u[]を導出す
る。xC, yCはTU上の位置であり、スキャン順を示す配列DiagScanOrderとサブブロック中
の変換係数の位置xから導出する。
yC = (ySbIdx<<log2StSize) + DiagScanOrder[log2StSize][log2StSize][x][1]
u[x] = d[ xC ][ yC ]
なお、1次元配列にコピーされる範囲を領域RUと呼ぶ。
逆非分離変換部31121は、長さがnonZeroSizeのu[]に対して、変換行列secTransMatrix[][]を用いた変換を行い、出力として長さがnStOutSizeの一次元配列の係数v'[]を導出す
る。
変換基底を示すlfnst_idxと、非分離変換サイズnStSize(nTrS)から、対応する変換マトリックスsecTranMatrix[][]を導出する。さらに、逆非分離変換部31121は、以下の式に示すように、変換マトリックスと一次元変数u[]との積和演算を行う。
v[i] = Clip3( CoeffMin, CoeffMax,Σ(secTransMatrix[i][j]*u[j]+64)>>7)
ここで、Σはj=0..nonZeroSize-1までの和である。また、iは0..nStSize-1に対して処
理を行う。CoeffMin、CoeffMaxは変換係数の値の範囲を示す。
逆非分離変換部31121は、変換された一次元配列の係数v'[]を再度TU内の所定の位置に
配置する。配置方法は、PredModeIntraに応じて、変更してもよい。
(y<4) ? v[x+(y<<log2StSize)] : ((x<4) ? v[32+x+((y-4)<<2)] : d[x][y])
それ以外の場合、以下の式を適用する。
(x<4) ? v[y+(x<<log2StSize)] : ((y<4) ? v[32+y+((x-4) << 2)] : d[x][y])
また、上記、分岐の判定は、”PredModeIntra <= 34 or INTRA_LT_CCLM, INTRA_T_CCLM, or INTRA_L_CCLM””などでもよい。
逆分離変換部31123は、逆非分離変換部31121による変換後の係数(変換係数)に対して逆分離変換を適用する。逆分離変換部31123は、逆非分離変換部31121によって変換された変換係数が、スケーリング部31111によるスケーリング後の係数(変換係数)に対して、
逆分離変換を適用してもよい。逆分離変換部31123は、垂直方向、水平方向の2回の1次
元変換を行う手段であり、通例は変換部と呼ばれる。なお、逆分離変換部31123は、垂直
方向、水平方向の一方又は両方をスキップし、変換係数の大きさ変換(スケーリング)のみをする場合を備えていてもよい。
し決定する。変換行列を複数の候補から決定する場合には、明示的MTSと暗黙的MTSがある。明示的MTSの場合、符号化データからmts_idxを復号し、変換行列を切り替える。暗黙的MTSの場合は、イントラ予測モードやブロックサイズに応じてmts_idxを導出し、変換行列を切り替える。
トラサブブロック分割がオン、もしくは、サブブロック変換フラグがオン、もしくは、明示的MTSがオフであるイントラ符号化で非分離変換がオフかつMIP予測がオフ)の場合に、暗黙的MTSフラグ(implicitMtsEnabled)を1に設定する。
・サブブロック変換フラグがオン、かつ、TUが所定のサイズ未満の場合(cu_sbt_flag == 1かつMax( nTbW, nTbH ) <= 32)
・1)明示的MTSフラグsps_explicit_mts_intra_enabled_flagが0、かつ、2)CuPredMode
がイントラ予測モードを示す、かつ、3)lfnst_idxが0、かつ、4)intra_mip_flagが0
最後の条件の3)は、非分離変換が適用されない(lfnst_idx==0)、または変換ブロックの幅(nTbW)か高さ(nTbH)のいずれかが所定のサイズ(例えば4)より小さい(nTbW<4 || nTBH<4)としてもよい。また、lfnst_idxが0以外かつ変換ブロックが所定のサイズ以上であ
ることを示す下記の変数
LfnstEnabledFlag = lfnst_idx && nTbW >= 4 && nTbH >= 4 ? 1 : 0
を導出して、3)の条件をLfnstEnabledFlagが0の場合としてもよい。
このように、lfnst_idxに加えて、非分離変換を切り替える所定サイズ以上であること
(nTbW >= 4 && nTbH >= 4)を用いてimplicitMtsEnabled=1を導出する。これにより、非分離変換がオフの場合にのみ、DCT2とDST2以外(例えばDST7)を切り替える暗黙的MTSを利
用できる。暗黙的MTSは、非分離変換がオフの場合に効率的に変換が行われることから、
符号化効率が向上する効果を奏する。
とTUサイズに応じて変換タイプtyTypeHor, tyTypeVerを決定する。
ISP_NO_SPLIT and LfnstEnabledFlag != 0)の場合、trTypeHor=trTypeVer=0(=DCT2)を
設定する。
える所定サイズ以上であること(nTbW >= 4 && nTbH >= 4)を用いて、変換マトリックス
を導出することで、非分離変換がオンの場合に常に、DCT2を利用できる。非分離変換がオンの場合にDCT2を限定的に利用するため効率的に変換が行われることから、符号化効率が向上する効果を奏する。
trTypeVer = ( nTbH >= 4 && nTbH <= 16 && nTbH <= nTbW ) ? 1 : 0
なお、所定の範囲は上記に限定されない。例えば以下でもよい。
trTypeVer = ( nTbH >= 4 && nTbH <= 8 && nTbH <= nTbW ) ? 1 : 0
逆分離変換部31123は、垂直方向1次元変換により、修正変換係数d[ ][ ](例えば逆セカンダリ変換後の変換係数)を中間値e[ ][ ]に変換し、中間値e[ ][ ]をクリップする。逆分離変換部31123は、水平方向1次元変換により、中間値g[ ][ ]を予測残差r[ ][ ]に
変換し、予測残差r[ ][ ]は加算部312に送られる。
ここで、transMatrix[ ][ ](=transMatrixV [ ][ ])は、trTypeVerを用いて導出したnTbS × nTbSの行列で表された変換基底である。nTbSはTUの高さnTbHである。trType==0
のDCT2の4x4変換(nTbS=4)の場合には、例えばtransMatrix ={{29, 55, 74, 84}{74, 74, 0, -74}{84, -29, -74, 55}{55, -84, 74, -29}}を用いる。Σの記号は、 j = 0.. nTbS-1までの添え字jについて、行列transMatrix[y][j]と変換係数d[x][j]の積を加算する処理を意味する。つまり、e[x][y]は、d[x][y]の各列(column)であるd[x][j](j = 0..nTbS-1)からなるベクトルx[j] (j = 0..nTbS-1)と行列の要素transMatrix[y][j] の積から得られる列を並べて得られる。
上式の64、7は変換基底のビット深度から決まる数値で、上式では変換基底を7bitと仮
定している。またcoeffMin、coeffMaxはクリッピングの最小値と最大値である。
上記記号Σは、 j = 0..nTbS-1までの添え字jについて、行列transMatrix[x][j]とg[j][y]の積を加算する処理を意味する。つまり、r[x][y]は、g[x][y]の各行(row)であるg[j][y](j = 0..nTbS-1)と行列transMatrixの積から得られる行を並べて得られる。
加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図12は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104を含んで構成される。
に出力する。
量子化変換係数をエントロピー符号化部104及び逆量子化・逆変換部105に出力する。
い処理を行う。
u[i] = Clip3( CoeffMin, CoeffMax,Σ(secTransMatrix[j][i]*v[j]+64)>>7)
ここでは非分離変換では、逆非分離変換で用いる行列secTransMatrix[][]を転置した行
列を用いる。上記では添え字[i][j]を[j][i]とすることで同じ行列を用いながら転置を処理している。
えて、変換係数d[][]を導出する。
yC = (ySbIdx<<log2StSize) + DiagScanOrder[log2StSize][log2StSize][x][1]
d[xC][yC] = u[x]
逆量子化・逆変換部105は、動画像復号装置31における逆量子化・逆変換部311(図10)と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
、予測モードを示すpredModeである。predModeはイントラ予測を示すMODE_INTRA、インター予測を示すMODE_INTERのいずれでもよいし、MODE_INTRA、MODE_INTER、画面内のブロックをコピーして予測画像とするイントラブロックコピー予測を示すMODE_IBCであってもよい。
ロピー符号化して符号化ストリームTeを生成し、出力する。
符号化部1112(予測モード符号化部)、及びインター予測パラメータ符号化部112とイン
トラ予測パラメータ符号化部113を備えている。CU符号化部1112はさらにTU符号化部1114
を備えている。
割情報、予測情報、量子化変換係数等のパラメータの符号化処理を行う。
子化変換係数等のシンタックス要素をエントロピー符号化部104に供給する。
イントラ予測パラメータ符号化部113は、符号化パラメータ決定部110から入力されたIntraPredModeから、符号化するための形式(例えばintra_luma_mpm_idx、intra_luma_mpm_remainder等)を導出する。イントラ予測パラメータ符号化部113は、イントラ予測パラメータ復号部304がイントラ予測パラメータを導出する構成と、一部同一の構成を含む。
度イントラ予測パラメータ導出部1132、色差イントラ予測パラメータ導出部1133とを含ん
で構成される。
びIntraPredModeCが入力される。パラメータ符号化制御部1131はMPM候補リスト導出部30421のmpmCandList[]を参照して、intra_luma_mpm_flagを決定する。そして、intra_luma_mpm_flagとIntraPredModeYを、輝度イントラ予測パラメータ導出部1132に出力する。また
、IntraPredModeCを色差イントラ予測パラメータ導出部1133に出力する。
イントラ予測モードを参照して、mpmCandList[]を導出する。MPMパラメータ導出部11322
は、intra_luma_mpm_flagが1の場合に、IntraPredModeYとmpmCandList[]からintra_luma_mpm_idxを導出し、エントロピー符号化部104に出力する。非MPMパラメータ導出部11323は、intra_luma_mpm_flagが0の場合に、IntraPredModeYとmpmCandList[]からRemIntraPredModeを導出し、intra_luma_mpm_remainderをエントロピー符号化部104に出力する。
部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
くてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
誤差を示すRDコスト値を算出する。符号化パラメータ決定部110は、算出したコスト値が
最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして出力する。符号化
パラメータ決定部110は決定した符号化パラメータを予測パラメータメモリ108に記憶する
。
部308、逆量子化・逆変換部311、加算部312、予測画像生成部101、減算部102、変換・量
子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、動画像符号化装置11、動画像復号装置31の何れかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM
、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよい。
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CG及びGUIを含む)であってもよい。
示されている。図に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_A1として利用される。
するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成又は加工する画像処理部A7を更に備えていてもよ
い。図においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
し、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(
不図示)を介在させるとよい。
図が示されている。図に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置31は、この復号部PROD_B3として利用される。
るディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図においては、これら全て
を受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
もよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から
取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
を復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
ック図が示されている。図に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置11
は、この符号化部PROD_C1として利用される。
接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc:登録商標)やBD(Blu-ray Disc:登録商標)等のように、記録装置PROD_Cに内蔵されたドライブ
装置(不図示)に装填されるものであってもよい。
を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成又は加工する画像処理部PROD_C6を更に備えていてもよい。図においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の
主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5又は画像処理
部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3又は受
信部PROD_C5が動画像の主な供給源となる)等も、このような記録装置PROD_Cの一例であ
る。
ブロック図が示されている。図に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動
画像復号装置31は、この復号部PROD_D2として利用される。
、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBD等のよう
に、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよ
い。
表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図においては、これら全てを
再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3
が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4又は送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型又はタブレット型PC(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3又は
送信部PROD_D5が動画像の主な供給先となる)等も、このような再生装置PROD_Dの一例で
ある。
また、上述した動画像復号装置31及び動画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random
Access Memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)等を備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(又はCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
Disc:登録商標)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)
/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasable and Programmable Read-Only Memory:登録商標)
/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類等を用いることができる。
エキストラネット、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna television/Cable Television)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成又は種類のものに限定されない。例えば、IEEE(Institute of Electrical and Electronic Engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDA(Infrared Data Association)やリモコンのような赤外線、BlueTooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance:登録商標)、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
301 エントロピー復号部
302 パラメータ復号部
3020 ヘッダ復号部
3026 スケ―リングリスト復号部
308 予測画像生成部
311 逆量子化・逆変換部
31111 スケーリング部
312 加算部
11 動画像符号化装置
101 予測画像生成部
102 減算部
103 変換・量子化部
104 エントロピー符号化部
105 逆量子化・逆変換部
107 ループフィルタ
110 符号化パラメータ決定部
111 パラメータ符号化部
1110 ヘッダ符号化部
1111 CT情報符号化部
1112 CU符号化部(予測モード符号化部)
1114 TU符号化部
3111 逆量子化部
3112 逆変換部
31121 逆非分離変換部(逆非分離変換部)
31122 スケーリング部
31123 逆分離変換部(逆分離変換部)
3113 ジョイント誤差導出部
Claims (4)
- 変換ユニット毎に変換係数を復号し、
非分離変換時に量子化マトリックスを適用するか否かを示すフラグscaling_matrix_for_lfnst_disabled_flagを復号するスケーリングリスト復号部と、
スケーリングリストを利用して変換係数のスケーリングを行うスケーリング部と、
非分離変換インデックスlfnst_idxに応じて非分離変換を行う逆変換部を備える画像復
号装置であって、
上記スケーリング部は、scaling_matrix_for_lfnst_disabled_flag==1、かつ、lfnst_idx!=0、かつ変換ブロックのサイズが所定のサイズ以上の場合には量子化マトリックスを
用いた変換係数の位置に応じたスケーリングではなく、変換係数の位置によらないスケーリングである一様量子化を行うことを特徴とする画像復号装置。 - 上記所定のサイズは、変換ブロックの幅(nTbW)と高さ(nTbH)が共に4以上(nTbW>=4 && nTBH>=4)であることを特徴とする請求項1に記載の画像復号装置。
- 変換ユニット毎に変換係数を復号し、
復号した変換係数に対してスケーリングするスケーリング部と、
非分離変換インデックスlfnst_idxに応じて非分離変換を行う第2の変換部と、
前記スケーリング部もしくは前記第2の変換部による変換後の変換係数に対してコア変換を適用する第1の変換部を備える画像復号装置であって、
上記第1の変換部は、lfnst_idx==0、または変換ブロックのサイズが所定のサイズ以上の場合には、複数の変換行列から1つの変換行列を暗黙的に選択して変換を行うことを特徴とする画像復号装置。 - 上記所定のサイズは、変換ブロックの幅(nTbW)と高さ(nTbH)のいずれかが4より小さい(nTbW<4 || nTBH<4)ことを特徴とする請求項3に記載の画像復号装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019201150A JP7402016B2 (ja) | 2019-11-06 | 2019-11-06 | 画像復号装置及び画像符号化装置 |
US17/087,654 US11128891B2 (en) | 2019-11-06 | 2020-11-03 | Image decoding apparatus and image coding apparatus |
US17/402,952 US11770559B2 (en) | 2019-11-06 | 2021-08-16 | Image decoding apparatus and image coding apparatus for scaling transform coefficient |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019201150A JP7402016B2 (ja) | 2019-11-06 | 2019-11-06 | 画像復号装置及び画像符号化装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021077946A true JP2021077946A (ja) | 2021-05-20 |
JP2021077946A5 JP2021077946A5 (ja) | 2022-11-08 |
JP7402016B2 JP7402016B2 (ja) | 2023-12-20 |
Family
ID=75689169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019201150A Active JP7402016B2 (ja) | 2019-11-06 | 2019-11-06 | 画像復号装置及び画像符号化装置 |
Country Status (2)
Country | Link |
---|---|
US (2) | US11128891B2 (ja) |
JP (1) | JP7402016B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113302942B (zh) * | 2019-02-01 | 2024-02-13 | Lg电子株式会社 | 基于二次变换的图像编码方法及其设备 |
BR112022003668A2 (pt) * | 2019-09-06 | 2022-05-24 | Sony Group Corp | Dispositivo e método de processamento de imagem |
US20220368912A1 (en) * | 2019-10-02 | 2022-11-17 | Interdigital Vc Holdings France, Sas | Derivation of quantization matrices for joint cb-br coding |
EP4094437A4 (en) | 2020-02-24 | 2023-03-29 | ByteDance Inc. | INTERACTION BETWEEN SUBPICTURE AND TILE ROW SIGNALING |
WO2021178501A1 (en) * | 2020-03-03 | 2021-09-10 | Bytedance Inc. | Controlling a scaling process using slice header signaling |
CN115336265A (zh) | 2020-03-11 | 2022-11-11 | 抖音视界有限公司 | 量化参数的高级别比特流语法 |
JP7514330B2 (ja) | 2020-05-31 | 2024-07-10 | 北京字節跳動網絡技術有限公司 | ローカルデュアルツリーモードタイプ定義を伴うパレットモード |
WO2022119301A1 (ko) * | 2020-12-01 | 2022-06-09 | 현대자동차주식회사 | 인트라 예측을 이용하는 비디오 코딩 방법 및 장치 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050213851A1 (en) * | 2004-03-25 | 2005-09-29 | Wen-Kuo Lin | Scaling device and method for scaling a digital picture |
AU2006338425B2 (en) * | 2006-02-13 | 2010-12-09 | Kabushiki Kaisha Toshiba | Moving image encoding/decoding method and device and program |
US20080107176A1 (en) * | 2006-11-02 | 2008-05-08 | General Instrument Corporation | Method and Apparatus for Detecting All Zero Coefficients |
US8588295B2 (en) * | 2009-03-09 | 2013-11-19 | Mediatek Inc. | Methods and electronic devices for quantization and de-quantization |
US20150043637A1 (en) * | 2012-04-13 | 2015-02-12 | Sony Corporation | Image processing device and method |
WO2013187060A1 (ja) * | 2012-06-12 | 2013-12-19 | パナソニック株式会社 | 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置 |
US9253483B2 (en) * | 2012-09-25 | 2016-02-02 | Google Technology Holdings LLC | Signaling of scaling list |
US10491922B2 (en) * | 2015-09-29 | 2019-11-26 | Qualcomm Incorporated | Non-separable secondary transform for video coding |
US10708164B2 (en) * | 2016-05-03 | 2020-07-07 | Qualcomm Incorporated | Binarizing secondary transform index |
US10638126B2 (en) * | 2017-05-05 | 2020-04-28 | Qualcomm Incorporated | Intra reference filter for video coding |
US11134272B2 (en) * | 2017-06-29 | 2021-09-28 | Qualcomm Incorporated | Memory reduction for non-separable transforms |
TWI762889B (zh) * | 2019-03-21 | 2022-05-01 | 聯發科技股份有限公司 | 用於視頻編解碼的量化矩陣計算和表示的方法和裝置 |
-
2019
- 2019-11-06 JP JP2019201150A patent/JP7402016B2/ja active Active
-
2020
- 2020-11-03 US US17/087,654 patent/US11128891B2/en active Active
-
2021
- 2021-08-16 US US17/402,952 patent/US11770559B2/en active Active
Non-Patent Citations (1)
Title |
---|
ADARSH K. RAMASUBRAMONIAN, ET AL.: "AHG15: Scaling matrices for LFNST-coded blocks", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-P0365-v2, JPN6023032620, October 2019 (2019-10-01), pages 1 - 4, ISSN: 0005123712 * |
Also Published As
Publication number | Publication date |
---|---|
US20210136415A1 (en) | 2021-05-06 |
US20210385492A1 (en) | 2021-12-09 |
US11770559B2 (en) | 2023-09-26 |
JP7402016B2 (ja) | 2023-12-20 |
US11128891B2 (en) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7402016B2 (ja) | 画像復号装置及び画像符号化装置 | |
JP2021136460A (ja) | 画像復号装置及び画像符号化装置 | |
WO2020116376A1 (ja) | 動画像復号装置および動画像符号化装置 | |
WO2020241858A1 (ja) | 画像復号装置 | |
JP2021034980A (ja) | 画像符号化装置、および、画像復号装置 | |
JP2020150516A (ja) | 画像復号装置及び画像符号化装置 | |
JPWO2020241858A5 (ja) | ||
WO2020184366A1 (ja) | 画像復号装置 | |
WO2020067440A1 (ja) | 動画像符号化装置および動画像復号装置 | |
JP2021150703A (ja) | 画像復号装置及び画像符号化装置 | |
WO2021246284A1 (ja) | 動画像復号装置及び動画像符号化装置 | |
JP2020141285A (ja) | 画像復号装置 | |
JP2021034887A (ja) | 画像復号装置及び画像符号化装置 | |
JP2020202417A (ja) | 画像復号装置及び画像符号化装置 | |
JP2021034848A (ja) | 画像復号装置 | |
JP7425568B2 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 | |
JP7444570B2 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 | |
JP7397586B2 (ja) | 画像復号装置及び画像符号化装置 | |
JP2021048556A (ja) | 画像復号装置及び画像符号化装置 | |
JP2021016058A (ja) | 画像復号装置及び画像符号化装置 | |
JP2021061470A (ja) | 画像復号装置及び画像符号化装置 | |
JP2020195012A (ja) | 画像復号装置及び画像符号化装置 | |
JP2021197557A (ja) | 画像復号装置及び画像符号化装置 | |
JP2020205483A (ja) | 画像復号装置および画像符号化装置 | |
JP2021013110A (ja) | 画像復号装置および画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7402016 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |