JP7461347B2 - 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 - Google Patents
画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 Download PDFInfo
- Publication number
- JP7461347B2 JP7461347B2 JP2021521890A JP2021521890A JP7461347B2 JP 7461347 B2 JP7461347 B2 JP 7461347B2 JP 2021521890 A JP2021521890 A JP 2021521890A JP 2021521890 A JP2021521890 A JP 2021521890A JP 7461347 B2 JP7461347 B2 JP 7461347B2
- Authority
- JP
- Japan
- Prior art keywords
- transform
- unit
- conversion
- transformation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 230000009466 transformation Effects 0.000 claims description 163
- 238000006243 chemical reaction Methods 0.000 claims description 119
- 239000011159 matrix material Substances 0.000 claims description 49
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013139 quantization Methods 0.000 description 59
- 230000015654 memory Effects 0.000 description 33
- 238000012545 processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 31
- 230000005540 biological transmission Effects 0.000 description 22
- 238000009795 derivation Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 14
- 230000006854 communication Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000003702 image correction Methods 0.000 description 10
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 8
- 241000023320 Luma <angiosperm> Species 0.000 description 7
- 102100021867 Natural resistance-associated macrophage protein 2 Human genes 0.000 description 5
- 108091006618 SLC11A2 Proteins 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 229920000069 polyphenylene sulfide Polymers 0.000 description 3
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 2
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 2
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 101150090341 dst1 gene Proteins 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000002490 spark plasma sintering Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 101150089388 dct-5 gene Proteins 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
以下、図面を参照しながら本発明の実施形態について説明する。
本明細書で用いる演算子を以下に記載する。
本実施形態に係る動画像符号化装置11及び動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4の符号化ビデオシーケンスに示すように、ビデオパラメータセット(Video Parameter Set)、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4の符号化ピクチャに示すように、スライス0~スライスNS-1を含む(NSはピクチャPICTに含まれるスライスの総数)。
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスは、図4の符号化スライスに示すように、スライスヘッダ、及び、スライスデータを含んでいる。
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図4の符号化スライスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ(例えば64x64)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
図4の符号化ツリーユニットには、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な4分木分割(QT(Quad Tree)分割)、2分木分割(BT(Binary Tree)分割)あるいは3分木分割(TT(Ternary Tree)分割)により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割(MT(Multi Tree)分割)と呼ぶ。再帰的な4分木分割により得られる木構造のノードのことを符号化ノード(Coding Node)と称する。4分木、2分木、及び3分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
図4の符号化ユニットに示すように、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
intra_luma_mpm_flagは、対象ブロックのIntraPredModeYとMPM(Most Probable Mode)とが一致するか否かを示すフラグである。MPMは、MPM候補リストmpmCandList[]に含まれる予測モードである。MPM候補リストは、隣接ブロックのイントラ予測モード及び所定のイントラ予測モードから、対象ブロックに適用される確率が高いと推定される候補を格納したリストである。intra_luma_mpm_flagが1の場合、MPM候補リストとインデックスintra_luma_mpm_idxを用いて、対象ブロックのIntraPredModeYを導出する。
(REM)
intra_luma_mpm_flagが0の場合、イントラ予測モード全体からMPM候補リストに含まれるイントラ予測モードを除いた残りのモードRemIntraPredModeからイントラ予測モードを選択する。RemIntraPredModeとして選択可能なイントラ予測モードは、「非MPM」又は「REM」と呼ばれる。RemIntraPredModeはintra_luma_mpm_remainderを用いて導出される。
本実施形態に係る動画像復号装置31(図7)の構成について説明する。
図8、動画像復号装置31の概略的動作を説明するフローチャートである。
イントラ予測パラメータ復号部304は、エントロピー復号部301から入力された符号に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してイントラ予測パラメータ、例えば、イントラ予測モードIntraPredModeを復号する。イントラ予測パラメータ復号部304は、復号したイントラ予測パラメータを予測画像生成部308に出力し、また予測パラメータメモリ307に記憶する。イントラ予測パラメータ復号部304は、輝度と色差で異なるイントラ予測モードを導出してもよい。
サブブロックの幅nWと高さnHと、水平方向、垂直方向の分割数numPartsX, numPartYは以下で導出する。
nH = (IntraSubPartSplitType == ISP_HOR_SPLIT?) nTbH / NumIntraSubPart : nTbH
numPartsX = (IntraSubPartSplitType == ISP_VER_SPLIT?) NumIntraSubPart : 1
numPartsY = (IntraSubPartSplitType == ISP_HOR_SPLIT?) NumIntraSubPart : 1
ここでnTbW, nTbHはCU(あるいはTU)の幅と高さである。
predModeがイントラ予測モードを示す場合、イントラ予測画像生成部310は、イントラ予測パラメータ復号部304から入力されたイントラ予測パラメータと参照ピクチャメモリ306から読み出した参照画素を用いてイントラ予測を行う。
次に、図11を用いてイントラ予測画像生成部310の構成の詳細を説明する。イントラ予測画像生成部310は、予測対象ブロック設定部3101、未フィルタ参照画像設定部3102(第1の参照画像設定部)、フィルタ済参照画像設定部3103(第2の参照画像設定部)、イントラ予測部3104、及び、予測画像補正部3105(予測画像補正部、フィルタ切替部、重み係数変更部)を備える。
予測対象ブロック設定部3101は、対象CUを予測対象ブロックに設定し、予測対象ブロックに関する情報(予測対象ブロック情報)を出力する。予測対象ブロック情報には、予測対象ブロックのサイズ、位置、輝度か色差かを示すインデックスが少なくとも含まれる。
未フィルタ参照画像設定部3102は、予測対象ブロックのサイズと位置に基づいて、予測対象ブロックの隣接周辺領域を参照領域Rとして設定する。続いて、参照領域R内の各画素値(未フィルタ参照画像、境界画素)に、参照ピクチャメモリ306上で対応する位置の各復号画素値をセットする。図10の参照領域の例1に示す予測対象ブロック上辺に隣接する復号画素のラインr[x][-1]、及び、予測対象ブロック左辺に隣接する復号画素の列r[-1][y]が未フィルタ参照画像である。
フィルタ済参照画像設定部3103は、イントラ予測モードに応じて、未フィルタ参照画像に参照画素フィルタ(第1のフィルタ)を適用して、参照領域R上の各位置(x,y)のフィルタ済参照画像s[x][y]を導出する。具体的には、位置(x,y)とその周辺の未フィルタ参照画像にローパスフィルタを適用し、フィルタ済参照画像(図10の参照領域の例2)を導出する。なお、必ずしも全イントラ予測モードにローパスフィルタを適用する必要はなく、一部のイントラ予測モードに対してローパスフィルタを適用してもよい。なお、フィルタ済参照画像設定部3103において参照領域R上の未フィルタ参照画像に適用するフィルタを「参照画素フィルタ(第1のフィルタ)」と呼称するのに対し、後述の予測画像補正部3105において仮予測画像を補正するフィルタを「バウンダリフィルタ(第2のフィルタ)」と呼称する。
イントラ予測部3104は、イントラ予測モードと、未フィルタ参照画像、フィルタ済参照画素値に基づいて予測対象ブロックの仮予測画像(仮予測画素値、補正前予測画像)を生成し、予測画像補正部3105に出力する。イントラ予測部3104は、内部にPlanar予測部31041、DC予測部31042、Angular予測部31043、及びLM予測部31044を備えている。イントラ予測部3104は、イントラ予測モードに応じて特定の予測部を選択して、未フィルタ参照画像、フィルタ済参照画像を入力する。イントラ予測モードと対応する予測部との関係は次の通りである。
・Planar予測 ・・・Planar予測部31041
・DC予測 ・・・DC予測部31042
・Angular予測 ・・・Angular予測部31043
・LM予測 ・・・LM予測部31044
(Planar予測)
Planar予測部31041は、予測対象画素位置と参照画素位置との距離に応じて、複数のフィルタ済参照画像を線形加算して仮予測画像を生成し、予測画像補正部3105に出力する。
DC予測部31042は、フィルタ済参照画像s[x][y]の平均値に相当するDC予測値を導出し、DC予測値を画素値とする仮予測画像q[x][y]を出力する。
Angular予測部31043は、イントラ予測モードの示す予測方向(参照方向)のフィルタ済参照画像s[x][y]を用いて仮予測画像q[x][y]を生成し、予測画像補正部3105に出力する。
LM予測部31044は、輝度の画素値に基づいて色差の画素値を予測する。具体的には、復号した輝度画像をもとに、線形モデルを用いて、色差画像(Cb、Cr)の予測画像を生成する方式である。LM予測の1つであるCCLM(Cross-Component Linear Model prediction)予測は、1つのブロックに対し、輝度から色差を予測するための線形モデルを使用する予測方式である。
予測画像補正部3105は、イントラ予測モードに応じて、イントラ予測部3104から出力された仮予測画像を修正する。具体的には、予測画像補正部3105は、仮予測画像の各画素に対し、参照領域Rと対象予測画素との距離に応じて、未フィルタ参照画像と仮予測画像を重み付け加算(加重平均)することで、仮予測画像を修正した予測画像(補正済予測画像)Predを導出する。なお、一部のイントラ予測モードでは、予測画像補正部3105で仮予測画像を補正せず、イントラ予測部3104の出力をそのまま予測画像としてもよい。
逆量子化・逆変換部311は、エントロピー復号部301から入力された量子化変換係数qd[ ][ ]を逆量子化して変換係数d[ ][ ]を求める。この量子化変換係数qd[ ][ ]は、符号化処理において、予測誤差に対してDCT(Discrete Cosine Transform、離散コサイン変換)、DST(Discrete Sine Transform、離散サイン変換)等の周波数変換を行い量子化して得られる係数である。逆量子化・逆変換部311は、求めた変換係数について逆DCT、逆DST等の逆周波数変換を行い、予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。
スケーリング部31112は、TU復号部が復号した変換係数に対して係数単位の重みを用いてスケーリングする。
ここでtsShift = 5 + ( (log2(nTbW) + log2(nTbH))/2 )である。
もしくは以下の式で導出してもよい。
ここでlevelScale[] = { 40, 45, 51, 57, 64, 72 }である。
最後に、スケーリング部31112は、逆量子化された変換係数をクリップしd[x][y]を導出する。
d[x][y]は、コア変換部31123もしくはセカンダリ変換部31121に伝送される。セカンダリ変換部(第2の変換部)31121は、逆量子化の後、コア変換の前に、変換係数d[ ][ ]に対してセカンダリ変換を適用する。
セカンダリ変換部31121は、逆量子化部3111から受信した変換係数d[ ][ ]の一部もしくは全てに対して、変換行列を用いた変換を適用することにより、修正変換係数(第2の変換部による変換後の変換係数)d[ ][ ]を復元する。セカンダリ変換部31121は、変換ユニットTU毎に所定の単位の変換係数d[ ][ ]に対して セカンダリ変換を適用する。セカンダリ変換は、イントラCUにおいてのみ適用され、変換基底はイントラ予測モードIntraPredModeを参照して決定される。変換基底の選択については後述する。セカンダリ変換部31121は、復元された修正変換係数d[ ][ ]をコア変換部31123に出力する。
動画像符号化装置11では、差分画像のコア変換(DCT2及びDST7等)後の変換係数に対してさらに変換(順セカンダリ変換)を適用し、変換係数に残る相関を除去しエネルギーを一部の変換係数に集中させる。動画像符号化装置11の変換・量子化部103に含まれる順変換部1032と、逆変換・逆量子化部105に含まれる逆変換部152を図19に示す。動画像復号装置3では、逆に、復号したTUの一部又は全領域の変換係数に対してセカンダリ変換を適用し、セカンダリ変換後の変換係数に対して、コア変換(DCT2及びDST7等)を適用する。
セカンダリ変換部31121は、TUのサイズ(幅nTbW, 高さnTbH)に応じて、セカンダリ変換のサイズ(4x4又は8x8)、出力の変換係数の数(nStOutSize)、適用する変換係数(入力の変換係数)の数nonZeroSize及びセカンダリ変換を適用するサブブロックの数(numStX,numStY)を導出する。4x4、8x8のセカンダリ変換のサイズをnStSize=4、8で示す。また、4x4、8x8のセカンダリ変換のサイズは、各々RST4x4、RST8x8と呼んでもよい。
上記以外の場合、log2StSize = 2、nStOutSize=16
nStSize = 1<<log2StSize
nTbW及びnTbHが両方とも4の場合、又は8x8の場合、nonZeroSize = 8
上記以外の場合、nonZeroSize = 16
numStX = (nTbH == 4 && nTbW > 8) ? 2 : 1
numStY = (nTbW == 4 && nTbH > 8) ? 2 : 1
(S2:1次元信号に並び替え)
セカンダリ変換部31121は、TUの一部の変換係数d[][]を一度、1次元配列u[]に並び替えて処理する。具体的には、セカンダリ変換では、対象TUの2次元の変換係数d[][]から、x = 0..nonZeroSize-1の変換係数を参照して、u[]を導出する。xC, yCはTU上の位置であり、スキャン順を示す配列DiagScanOrderとサブブロック中の変換係数の位置xから導出される。
xC = (xSbIdx<<log2StSize) + DiagScanOrder[log2StSize][log2StSize][x][0]
yC = (ySbIdx<<log2StSize) + DiagScanOrder[log2StSize][log2StSize][x][1]
u[x] = d[ xC ][ yC ]
}
(S3:変換処理の適用)
セカンダリ変換部31121は、長さがnonZeroSizeのu[](ベクトルF')に対して、第1種の変換基底(行列)Tを用いた変換を行い、出力として長さがnStOutSizeの一次元配列v'[](ベクトルV')を導出する。
ここで、変換サイズが4x4の場合(RST4x4)の変換基底を第1種の変換基底T1と呼ぶ。変換サイズが8x8の場合(RST8x8)の変換基底を第2種の変換基底T2と呼ぶ。T1は16×16(16行16列)行列であって、変換は16x16行列Tと、16x1(16行1列)ベクトルF'との積として16×1(16行1列)ベクトルV'、すなわち、長さ16の一次元配列v'[]を導出する。T2は、48×16(48行16列)行列であって、変換は48x16行列Tと、16x1ベクトルF'との積として48×1(48行1列、長さ48)ベクトルV'、すなわち、長さ48の一次元配列v'[]を導出する。
v'[i] = Clip3( CoeffMin, CoeffMax,ΣsecTransMatrix[j][i]*u[j])
ここで、Σはj=0..nonZeroSize-1までの和である。また、iは0..nStSize-1に対して処理を行う。CoeffMin、CoeffMaxは変換係数の値の範囲を示す。
セカンダリ変換部31121は、変換された一次元配列の係数v'[]を再度TU内の所定の位置に配置する。
(y < 4) ? v[x+(y<<log2StSize)] : ((x < 4) ? v[32 + x + ((y - 4) << 2)] :
d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y])
それ以外の場合、セカンダリ変換部31121は、以下の式を適用する。
d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y] =
(y < 4) ? v[y+(x<<log2StSize)] : ((x < 4) ? v[32 + (y - 4) + (x << 2)] : d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y])
(コア変換部31123)
<コア変換>
適応的に変換の方法を切り替えることができ、明示的なフラグやインデックスおよび予測モード等により切り替えられる変換を変換(第1の変換、コア変換)と呼ぶ。コア変換で用いられる変換(コア換)は垂直変換と水平変換から構成される分離型変換である。また、2次元信号を水平方向と垂直方向に分離する変換を第1の変換と定義してもよい。また、画像復号装置において、第2の変換(セカンダリ変換)の後に適用される変換を第1の変換と定義してもよい。コア変換の変換基底(変換行列)はDCT2、DST7、DCT8である。コア変換では、垂直変換および水平変換それぞれ独立に変換基底を切り替える。なお、選択可能な変換は、上記に限定されず、別の変換(変換基底)を用いることも可能である。なお、DCT2、DST7、DCT8、DST1、およびDCT5を、それぞれDCT-II、DST-VII、DCT-VIII、DST-I、およびDCT-Vとして表すことがある。またコア変換を明示的にスキップするモードとして変換スキップがあってもよい。
MTS設定部152111は、MTSフラグが有効(sps_mts_enabled_flag==1)、かつ、明示的MTSフラグが有効を示さない場合(explicitMtsEnabled==0)に、暗黙的MTSフラグ(implicitMtsEnabled)を1に設定する。より具体的には、MTS設定部152111は、以下の条件のいずれかを満足する場合に、implicitMtsEnabled=1とし、それ以外の場合にはimplicitMtsEnabled=0とする。
・CUサブ変換がオン、かつ、TUが所定のサイズ未満の場合(cu_sbt_flag == 1かつMax(nTbW, nTbH ) < 32)
・明示的MTSがオフの場合(sps_explicit_mts_intra_enabled_flag とsps_explicit_mts_inter_enabled_flag が両方とも0)かつPredModeがMODE_INTRAの場合
MTS設定部152111は、上記以外の場合、mts_idx = 0に設定する。
TU復号部3024は、明示的MTSが有効を示す場合(sps_explicit_mts_flagが1の場合)には、mts_idxを符号化データから復号する。
TU復号部3024は、セカンダリ変換が有効か否かに応じて、変換部で選択される変換行列の範囲(種別)を制限してもよい。例えば、TU復号部3024は、明示的MTSが有効、かつ、セカンダリ変換が有効の場合(stIdx!=0)の場合には、最大値cMaxSt1のmts_idxを復号する。それ以外でセカンダリ変換が有効ではない場合(stIdx==0)の場合には、最大値cMaxSt0のmts_idxを復号する。ここでcMaxSt0 > cMaxSt1であるとする。
TU復号部3024は、明示的MTSが有効、かつ、セカンダリ変換が有効(stIdx!=0)の場合、mts_idx=0 (trTypeHor=trTypeVer=0=DCT2)を設定する。このときmts_idxの最大値cMax = 0。それ以外の場合には、mts_idx=0, 1, 2, 3, 4の何れかを復号する。このときmts_idxの最大値cMax = 4。なお、後述のように、mts_idx = 1, 2, 3, 4は、各々trTypeHor、trTypeVerとして、DST7とDCT8の組み合わせ、DCT8とDST7の組み合わせ、もしくは、DCT8とDCT8の組み合わせであってもよい。なお、DST7の代わりに、DST1やDCT4、また前後処理とDCT2を組み合わせた変換を行ってもよい。
TU復号部3024は、明示的MTSが有効、かつ、セカンダリ変換が有効(stIdx!=0)の場合、mts_idxを復号する。mtx_idxは0(trTypeHor=trTypeVer=0=DCT2)、または、1(trTypeHor=trTypeVer=1=DST7)である。このときmts_idxの最大値cMax = 1。それ以外の場合には、mts_idxとして0, 1, 2, 3, 4の何れかを復号する。このときmts_idxの最大値cMax = 4。なお、後述のように、mts_idx = 2, 3, 4は、各々trTypeHor、trTypeVerとして、DST7とDCT8の組み合わせ、もしくは、DCT8とDST7の組み合わせ、DCT8とDCT8の組み合わせであってもよい。
TU復号部3024は、明示的MTSが有効、かつ、セカンダリ変換がオンの場合(stIdx!=0)の場合には、mts_idxとして0, 1, 2のいずれかを復号する。このときmts_idxの最大値cMax = 2。それ以外の場合には、mts_idxとして0, 1, 2, 3, 4の何れかを復号する。このときmts_idxの最大値cMax = 4。
TU毎に変換係数を変換する変換部を備える画像復号装置であって、変換部は、セカンダリ変換が有効である場合に、入力された変換係数に変換行列を用いた変換を適用する第2の変換部と、変換係数に対して、2つ以上の変換行列からmtx_idxで示される1つの変換行列を選択して変換を適用する第1の変換部を含み、mts_idxを復号するTU復号部は、セカンダリ変換が有効の場合(stIdx!=0)には、mts_idxとして第1の範囲の値を復号し、セカンダリ変換が有効ではない場合(stIdx==0)には、第2の範囲の値を復号し、第2の範囲は第1の範囲を含む。また、TU復号部はmts_idxを復号する。ここでmts_idxは、セカンダリ変換が有効な(stIdx!=0)場合、最大値はcMaxSt1であり、セカンダリ変換が有効でない(stIdx==0)場合、最大値はcMaxSt0であり、cMaxSt1 < cMaxSt0である構成を有する。
暗黙的MTS設定部152112は、暗黙的MTSの場合に、以下の処理を行う。
trTypeVer = ( nTbH >= 4 && nTbH <= 16 && nTbH <= nTbW ) ? 1 : 0
なお、所定の範囲は上記に限定されない。例えば以下でもよい。
trTypeVer = ( nTbH >= 4 && nTbH <= 8 && nTbH <= nTbW ) ? 1 : 0
上記のデフォルト暗黙的MTSが、最も一般的な暗黙的MTSのモードである。
MTS設定部15211は、セカンダリ変換がオン(stIdx!=0)の場合、暗黙的MTSを行わず、implicitMtsEnabledを0とする。具体的には、図20に示すように、上述の(implicitMTSフラグ設定)において、MTS設定部152111は、以下の条件のいずれかを満足し、かつ、セカンダリ変換がオンではない(stIdx != 0以外)の場合(S1500)に、implicitMtsEnabled=1とし(S1504)、それ以外の場合にはimplicitMtsEnabled=0とする(S1505)。
・(S1502)CUサブ変換がオン、かつ、TUが所定のサイズ未満の場合(cu_sbt_flag == 1 かつ Max( nTbW, nTbH ) < 32)
・(S1503)明示的MTSがオフ(sps_explicit_mts_intra_enabled_flag とsps_explicit_mts_inter_enabled_flag が両方とも0)、かつ、PredModeがMODE_INTRA
なお、図の点線で示すボックスで示すS1501~S1503の判定は、異なるものであってもよい。例えば、イントラサブ分割の判定を行わない場合や、サブブロック変換を行わない場合、また、別の予測や変換の判定を追加してもよい。
MTS設定部152112は、MTSフラグが有効(sps_mts_enabled_flag==1)、かつ、明示的MTSフラグが有効を示さない場合(explicitMtsEnabled==0)には、trTypHor = trTypeVer = 0を導出してもよい。例えば、上記のSM001の前にSM000を行ってもよい。
暗黙的MTS設定部152112は、セカンダリ変換がオン(stIdx!=0)、かつ、イントラサブ分割モードによるMTS(SM001、IntraSubPartSplitType != ISP_NO_SPLIT)もサブブロック変換によるMTS(SM002、cu_sbt_flag == 1)も利用しない場合、暗黙的MTSを利用しなくてもよい(例えばimplicitMtsEnabledを0とする)。
trTypeVer = (stIdx == 0 && nTbH >= 4 && nTbH <= 16 && nTbH <= nTbW) ? 1 : 0
上記構成によれば、暗黙的MTSが有効、かつ、セカンダリ変換が有効な場合に、デフォルトMTSとしてDCT2を用いることによって、符号化効率を向上させる効果を奏する。
mts_idx == 1の場合、 trTypeHor = 1 trTypeVer = 1
mts_idx == 2の場合、 trTypeHor = 2 trTypeVer = 1
mts_idx == 3の場合、 trTypeHor = 1 trTypeVer = 2
mts_idx == 4の場合、 trTypeHor = 2 trTypeVer = 2
なお、tyType (trTypeHor or trTypeVer)が0, 1, 2の場合に対応する変換基底がDCT2、DST7、DCT8であってもよい。
ここで、transMatrix[ ][ ](=transMatrixV[ ][ ])は、trTypeVerを用いて導出したnTbS × nTbSの行列で表される変換基底である。nTbSはTUの高さnTbHである。trType==0のDCT2の4×4変換(nTbS=4)の場合、例えばtransMatrix={{29, 55, 74, 84}{74, 74, 0,-74}{84, -29, -74, 55}{55, -84, 74, -29}}を用いる。Σの記号は、j = 0..nTbS-1までの添え字jについて、行列transMatrix[ y ][ j ]と変換係数d[ x ][ j ]の積を加算する処理を意味する。つまり、e[ x ][ y ]は、d[ x ][ y ]の各列(column)であるd[ x ][ j ](j = 0..nTbS-1)からなるベクトルx[ j ] (j = 0..nTbS-1)と行列の要素transMatrix[ y ][ j ]の積から得られた列を並べたものである。
上式の64、7は変換基底のビット深度から決まる数値で、上式では変換基底を7bitと仮定している。またcoeffMin、coeffMaxはクリッピングの最小値と最大値である。
上記記号Σは、j = 0..nTbS-1までの添え字jについて、行列transMatrix[ x ][j]とg[j][ y ]の積を加算する処理を意味する。つまり、r[ x ][ y ]は、g[ x ][ y ]の各行(row)であるg[ j ][ y ](j = 0..nTbS-1)と行列transMatrixの積から得られた行を並べたものである。
<セカンダリ変換>
TU復号部3024は、セカンダリ変換stIdxを復号する場合に、mts_idxの値が有効か否かに応じて、復号するstIdxの値の範囲を制限してもよい。
TU復号部3024は、mts_idxが0の場合には、復号するstIdxの最大値cMax = 1に設定しstIdx=0~2を復号する。それ以外の場合、つまり、mts_idx=1, 2, 3, 4の場合には、stIdxを符号化データから復号せずにstIdx=0を導出する。
TU復号部3024は、mts_idxが0..1の場合には、復号するstIdxの最大値cMax = 1に設定し、stIdx=0~2を復号する。それ以外の場合、つまり、mts_idx=2, 3, 4の場合には、stIdxを符号化データから復号せずにstIdx=0を導出する。
TU復号部3024は、mts_idxが0,1,2の場合には、復号するstIdxの最大値cMax = 1に設定し、stIdx=0~2を復号する。それ以外の場合、つまり、mts_idx=3, 4の場合には、stIdxを符号化データから復号せずにstIdx=0を導出する。
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図16は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104を含んで構成される。
ここで、trans(T)はTの転置行列である。セカンダリ変換部は、以下の式によって、一次元配列u[](ベクトルF)を導出してもよい。
ここで、TinvはTの逆行列である。Tは第1種の変換基底T1及び第2種の変換基底T2から構成される。なお、セカンダリ変換部は、Tに対し、直交行列を用いることにより、Tのtrans(T)をTinvとしてもよい。
xC = (xSbIdx<<log2StSize) + DiagScanOrder[log2StSize][log2StSize][x][0]
yC = (ySbIdx<<log2StSize) + DiagScanOrder[log2StSize][log2StSize][x][1]
d[xC][yC] = u[x]
}
逆量子化・逆変換部105は、動画像復号装置31における逆量子化・逆変換部311(図15)と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
イントラ予測パラメータ符号化部113は、符号化パラメータ決定部110から入力されたIntraPredModeから、符号化するための形式(例えばintra_luma_mpm_idx、intra_luma_mpm_remainder等)を導出する。イントラ予測パラメータ符号化部113は、イントラ予測パラメータ復号部304がイントラ予測パラメータを導出する構成と、一部同一の構成を含む。
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CG及びGUIを含む)であってもよい。
また、上述した動画像復号装置31及び動画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
本出願は、2019年5月30日に出願された日本国特許出願:特願2019-101179に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
301 エントロピー復号部
302 パラメータ復号部
3020 ヘッダ復号部
303 インター予測パラメータ復号部
304 イントラ予測パラメータ復号部
308 予測画像生成部
309 インター予測画像生成部
310 イントラ予測画像生成部
311 逆量子化・逆変換部
312 加算部
11 動画像符号化装置
101 予測画像生成部
102 減算部
103 変換・量子化部
104 エントロピー符号化部
105 逆量子化・逆変換部
107 ループフィルタ
110 符号化パラメータ決定部
111 パラメータ符号化部
112 インター予測パラメータ符号化部
113 イントラ予測パラメータ符号化部
1110 ヘッダ符号化部
1111 CT情報符号化部
1112 CU符号化部(予測モード符号化部)
1114 TU符号化部
3111 逆量子化部
3112 逆変換部
31121 セカンダリ変換部
31112 スケーリング部
31123 コア変換部
10322 順セカンダリ変換部
10323 順コア変換部
Claims (6)
- 変換ユニット毎に変換係数を変換する画像復号装置であって、
セカンダリ変換が有効である場合に、上記変換係数に変換行列を用いた変換を適用して修正変換係数を復元する第2の変換部と、
上記変換係数または上記修正変換係数に対して、垂直変換と水平変換とから構成される分離型変換を適用する第1の変換部と、
上記セカンダリ変換が有効であり、イントラサブ分割モードが利用されず、かつ、サブブロック変換が利用されない場合、暗黙的変換をオフとし、上記暗黙的変換がオンの場合には、変換ユニットの幅に応じて水平変換タイプを導出し、上記変換ユニットの高さに応じて垂直変換タイプを導出する暗黙的変換設定部と、を含み、
上記第1の変換部は、上記垂直変換タイプに応じた変換と、上記水平変換タイプに応じた変換とを行うことを特徴とする画像復号装置。 - 上記暗黙的変換設定部は、上記変換ユニットの幅が所定の値の範囲であり、かつ、上記セカンダリ変換が有効ではない場合には、上記水平変換タイプを示す変数trTypeHorを1に設定し、それ以外の場合には、上記変数trTypeHorに0を設定し、上記変換ユニットの高さが所定の値の範囲であり、かつ、上記セカンダリ変換が有効ではない場合には、上記垂直変換タイプを示す変数trTypeVerを1に設定し、それ以外の場合には、上記変数trTypeVerに0を設定することを特徴とする請求項1に記載の画像復号装置。
- 上記暗黙的変換設定部は、上記セカンダリ変換が有効ではなく、明示的変換がオフであり、かつ、予測モードがイントラモードの場合、暗黙的変換をオンとすることを特徴とする請求項1に記載の画像復号装置。
- 変換ユニット毎に変換係数を変換する画像符号化装置であって、
セカンダリ変換が有効である場合に、上記変換係数に変換行列を用いた変換を適用して、修正変換係数を復元する第2の変換部と、
上記変換係数または上記修正変換係数に対して、垂直変換と水平変換とから構成される分離型変換を適用する第1の変換部と、
上記セカンダリ変換が有効であり、イントラサブ分割モードが利用されず、かつ、サブブロック変換が利用されない場合、暗黙的変換をオフとし、
上記暗黙的変換がオンの場合には、変換ユニットの幅に応じて水平変換タイプを導出し、上記変換ユニットの高さに応じて垂直変換タイプを導出する暗黙的変換設定部と、を含み、
上記第1の変換部は、上記垂直変換タイプに応じた変換と、上記水平変換タイプに応じた変換とを行うことを特徴とする画像符号化装置。 - 変換ユニット毎に変換係数を変換する画像復号方法であって、
セカンダリ変換が有効である場合に、上記変換係数に変換行列を用いた変換を適用して、修正変換係数を復元し、
上記セカンダリ変換が有効であり、イントラサブ分割モードが利用されず、かつ、サブブロック変換が利用されない場合、暗黙的変換をオフとし、
上記暗黙的変換がオンの場合には、変換ユニットの幅に応じて水平変換タイプを導出し、上記変換ユニットの高さに応じて垂直変換タイプを導出し、
上記変換係数または上記修正変換係数に対して、上記垂直変換タイプに応じた変換と上記水平変換タイプに応じた変換とから構成される分離型変換を適用することを特徴とする画像復号方法。 - 変換ユニット毎に変換係数を変換する画像符号化方法であって、
セカンダリ変換が有効である場合に、上記変換係数に変換行列を用いた変換を適用して、修正変換係数を復元し、
上記セカンダリ変換が有効であり、イントラサブ分割モードが利用されず、かつ、サブブロック変換が利用されない場合、暗黙的変換をオフとし、
上記暗黙的変換がオンの場合には、変換ユニットの幅に応じて水平変換タイプを導出し、上記変換ユニットの高さに応じて垂直変換タイプを導出し、
上記変換係数または上記修正変換係数に対して、上記垂直変換タイプに応じた変換と上記水平変換タイプに応じた変換とから構成される分離型変換を適用することを特徴とする画像符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024046769A JP2024079766A (ja) | 2019-05-30 | 2024-03-22 | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019101179 | 2019-05-30 | ||
JP2019101179 | 2019-05-30 | ||
PCT/JP2020/021432 WO2020241858A1 (ja) | 2019-05-30 | 2020-05-29 | 画像復号装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024046769A Division JP2024079766A (ja) | 2019-05-30 | 2024-03-22 | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2020241858A1 JPWO2020241858A1 (ja) | 2020-12-03 |
JPWO2020241858A5 JPWO2020241858A5 (ja) | 2023-05-26 |
JP7461347B2 true JP7461347B2 (ja) | 2024-04-03 |
Family
ID=73552590
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021521890A Active JP7461347B2 (ja) | 2019-05-30 | 2020-05-29 | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 |
JP2024046769A Pending JP2024079766A (ja) | 2019-05-30 | 2024-03-22 | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024046769A Pending JP2024079766A (ja) | 2019-05-30 | 2024-03-22 | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220232255A1 (ja) |
EP (1) | EP3979642A4 (ja) |
JP (2) | JP7461347B2 (ja) |
CN (1) | CN113892265A (ja) |
WO (1) | WO2020241858A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112601083A (zh) * | 2017-06-28 | 2021-04-02 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
US11252410B2 (en) * | 2019-06-11 | 2022-02-15 | Tencent America LLC | Method and apparatus for video coding |
WO2023100970A1 (ja) * | 2021-12-03 | 2023-06-08 | シャープ株式会社 | 動画像復号装置および動画像符号化装置 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05308622A (ja) * | 1992-04-28 | 1993-11-19 | Mitsubishi Electric Corp | 画像符号化・復号化装置 |
US6266370B1 (en) * | 1996-09-03 | 2001-07-24 | Nippon Telegraph And Telephone Corporation | Brightness-variation compensation method and coding/decoding apparatus for moving pictures |
KR100281099B1 (ko) * | 1997-07-30 | 2001-04-02 | 구자홍 | 동영상의부호화에따른블록화현상제거방법 |
US7239755B1 (en) * | 1997-07-30 | 2007-07-03 | Lg Electronics Inc. | Method of reducing a blocking artifact when coding moving picture |
US6295320B1 (en) * | 1997-12-31 | 2001-09-25 | Lg Electronics Inc. | Inverse discrete cosine transforming system for digital television receiver |
US6263021B1 (en) * | 1998-09-18 | 2001-07-17 | Sarnoff Corporation | Treating non-zero quantized transform coefficients as zeros during video compression processing |
AUPQ668500A0 (en) * | 2000-04-04 | 2000-05-04 | Canon Kabushiki Kaisha | Accessing items of information |
KR100561398B1 (ko) * | 2003-06-10 | 2006-03-16 | 삼성전자주식회사 | 동화상 내 구획별로 휘도 변화를 검출하고 보상하는 장치 및 방법 |
KR100565308B1 (ko) * | 2003-11-24 | 2006-03-30 | 엘지전자 주식회사 | 에스엔알 스케일러빌리티를 위한 동영상 부호화 및 복호화 장치 |
US20050281332A1 (en) * | 2004-06-22 | 2005-12-22 | Wai-Ming Lai | Transform coefficient decoding |
CN101057293B (zh) * | 2004-11-08 | 2010-05-26 | 皇家飞利浦电子股份有限公司 | 从记录载体进行比特检测的方法和数据检测设备 |
US7720299B2 (en) * | 2005-05-10 | 2010-05-18 | The Aerospace Corporation | Compressed data multiple description transmission and resolution conversion system |
JP4856954B2 (ja) * | 2005-06-08 | 2012-01-18 | パナソニック株式会社 | 画像符号化装置 |
KR20080101872A (ko) * | 2006-01-18 | 2008-11-21 | 연세대학교 산학협력단 | 부호화/복호화 장치 및 방법 |
US20080071846A1 (en) * | 2006-09-14 | 2008-03-20 | Texas Instruments Incorporated | Processor Architecture for Programmable Digital Filters in a Multi-Standard Integrated Circuit |
WO2008120279A1 (ja) * | 2007-03-29 | 2008-10-09 | Fujitsu Limited | 画像圧縮装置、画像圧縮方法、画像復元装置、及びプログラム |
WO2008147125A1 (en) * | 2007-05-29 | 2008-12-04 | Lg Electronics Inc. | A method and an apparatus for processing a video signal |
KR102037328B1 (ko) * | 2007-10-16 | 2019-10-28 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
US20110116539A1 (en) * | 2009-11-13 | 2011-05-19 | Freescale Semiconductor, Inc. | Method and apparatus for video decoding with reduced complexity inverse transform |
US9172968B2 (en) * | 2010-07-09 | 2015-10-27 | Qualcomm Incorporated | Video coding using directional transforms |
WO2012070866A2 (ko) * | 2010-11-24 | 2012-05-31 | 엘지전자 주식회사 | 스피치 시그널 부호화 방법 및 복호화 방법 |
JP5552092B2 (ja) * | 2011-06-13 | 2014-07-16 | 日本電信電話株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
US9496886B2 (en) * | 2011-06-16 | 2016-11-15 | Spatial Digital Systems, Inc. | System for processing data streams |
AU2013206815A1 (en) * | 2013-07-11 | 2015-03-05 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
WO2016081939A1 (en) * | 2014-11-21 | 2016-05-26 | Vid Scale, Inc. | One-dimensional transform modes and coefficient scan order |
US10520916B1 (en) * | 2015-06-01 | 2019-12-31 | Richard A Gros & Associates, Inc. | Control systems |
US10681379B2 (en) * | 2015-09-29 | 2020-06-09 | Qualcomm Incorporated | Non-separable secondary transform for video coding with reorganizing |
US9721582B1 (en) * | 2016-02-03 | 2017-08-01 | Google Inc. | Globally optimized least-squares post-filtering for speech enhancement |
US9998746B2 (en) * | 2016-02-10 | 2018-06-12 | Amazon Technologies, Inc. | Video decoder memory optimization |
CN109076223B (zh) * | 2016-05-13 | 2021-07-09 | 夏普株式会社 | 图像解码装置以及图像编码装置 |
WO2018119609A1 (zh) * | 2016-12-26 | 2018-07-05 | 华为技术有限公司 | 一种基于模板匹配的编解码方法及装置 |
US10812797B2 (en) * | 2018-02-05 | 2020-10-20 | Tencent America LLC | Method, apparatus and medium for decoding or encoding using a low-complexity transform |
KR102030384B1 (ko) * | 2018-06-19 | 2019-11-08 | 광운대학교 산학협력단 | 잔차 계수 부호화/복호화 방법 및 장치 |
US11025907B2 (en) * | 2019-02-28 | 2021-06-01 | Google Llc | Receptive-field-conforming convolution models for video coding |
-
2020
- 2020-05-29 CN CN202080039017.1A patent/CN113892265A/zh active Pending
- 2020-05-29 EP EP20813248.0A patent/EP3979642A4/en active Pending
- 2020-05-29 WO PCT/JP2020/021432 patent/WO2020241858A1/ja unknown
- 2020-05-29 JP JP2021521890A patent/JP7461347B2/ja active Active
- 2020-05-29 US US17/614,649 patent/US20220232255A1/en active Pending
-
2024
- 2024-03-22 JP JP2024046769A patent/JP2024079766A/ja active Pending
Non-Patent Citations (5)
Title |
---|
Benjamin Bross, Jianle Chen and Shan Liu,Versatile Video Coding (Draft 5),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N1001 (version 5),14th Meeting: Geneva, CH,2019年05月14日,pp.32-34, 70-78, 236-243 |
Jani Lainema,CE6: Shape adaptive transform selection (Test 3.1),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0303,13th Meeting: Marrakech, MA,2019年01月,pp.1-5 |
Man-Shu Chiang et al.,CE6-related: Unified implicit MTS between ISP mode and regular intra mode,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0089-v2,14th Meeting: Geneva, CH,2019年03月,pp.1-7 |
Tomohiro Ikai,Non CE6: Harmonization of implicit MTS and LFNST,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0214,15th Meeting: Gothenburg, SE,2019年06月,pp.1-3 |
Xin Zhao, Xiang Li and Shan Liu,Non-CE6: Harmonization of LFNST, MIP and implicit MTS,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0540,15th Meeting: Gothenburg, SE,2019年06月,pp.1-4 |
Also Published As
Publication number | Publication date |
---|---|
EP3979642A4 (en) | 2023-04-05 |
CN113892265A (zh) | 2022-01-04 |
US20220232255A1 (en) | 2022-07-21 |
JPWO2020241858A1 (ja) | 2020-12-03 |
EP3979642A1 (en) | 2022-04-06 |
JP2024079766A (ja) | 2024-06-11 |
WO2020241858A1 (ja) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7402016B2 (ja) | 画像復号装置及び画像符号化装置 | |
JP7469904B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 | |
JP7461347B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 | |
JP7139144B2 (ja) | 画像フィルタ装置 | |
JP7368145B2 (ja) | 画像符号化装置、および、画像復号装置 | |
WO2020116376A1 (ja) | 動画像復号装置および動画像符号化装置 | |
JPWO2020241858A5 (ja) | ||
CN112532976A (zh) | 运动图像解码装置以及运动图像编码装置 | |
WO2020184366A1 (ja) | 画像復号装置 | |
WO2020067440A1 (ja) | 動画像符号化装置および動画像復号装置 | |
JP2020141285A (ja) | 画像復号装置 | |
WO2021246284A1 (ja) | 動画像復号装置及び動画像符号化装置 | |
JP2021034887A (ja) | 画像復号装置及び画像符号化装置 | |
JP2021034848A (ja) | 画像復号装置 | |
JP2020202417A (ja) | 画像復号装置及び画像符号化装置 | |
JP7425568B2 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 | |
JP7444570B2 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 | |
JP7397586B2 (ja) | 画像復号装置及び画像符号化装置 | |
JP2021153213A (ja) | 動画像符号化装置および動画像復号装置 | |
WO2024009962A1 (ja) | Cclm予測部、動画像復号装置、および動画像符号化装置 | |
WO2020045275A1 (ja) | 画像復号装置および画像符号化装置 | |
JP2020195042A (ja) | 動画像復号装置 | |
JP2021048556A (ja) | 画像復号装置及び画像符号化装置 | |
JP2020195013A (ja) | 画像復号装置および画像符号化装置 | |
JP2020195012A (ja) | 画像復号装置及び画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230518 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7461347 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |