JP2017028726A - 動画像符号化装置および動画像復号装置 - Google Patents
動画像符号化装置および動画像復号装置 Download PDFInfo
- Publication number
- JP2017028726A JP2017028726A JP2016183397A JP2016183397A JP2017028726A JP 2017028726 A JP2017028726 A JP 2017028726A JP 2016183397 A JP2016183397 A JP 2016183397A JP 2016183397 A JP2016183397 A JP 2016183397A JP 2017028726 A JP2017028726 A JP 2017028726A
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- partition
- candidate list
- unit
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 788
- 238000005192 partition Methods 0.000 claims abstract description 366
- 238000000034 method Methods 0.000 claims description 252
- 238000009795 derivation Methods 0.000 claims description 85
- 230000009466 transformation Effects 0.000 claims description 43
- 239000013598 vector Substances 0.000 description 29
- 239000002131 composite material Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 7
- 150000001875 compounds Chemical class 0.000 description 6
- 210000000707 wrist Anatomy 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
ブロックベースの動画像符号化方式においては、符号化対象である入力動画像が、マクロブロック(以下、MB)と呼ばれる所定の処理単位に分割され、MB毎に符号化処理が行われて、符号化データが生成される。動画像の再生時には、復号対象である符号化データをMB単位で処理して復号することで、復号画像が生成される。
/AVCでは、MB単位に分割された入力動画像を推定する予測画像が生成されて、入力動画像と予測画像の差分である予測残差が計算される。得られた予測残差には、離散コサイン変換(DCT)に代表される周波数変換が適用されて、変換係数が導出される。導出された変換係数は、CABAC(Context-based Adaptive Binary Arithmetic Coding)
やCAVLC(Context-based Adaptive Variable Length Coding)と呼ばれる方法で可
変長符号化される。なお、予測画像は、動画像の空間的な相関を利用するイントラ予測や、動画像の時間的な相関を利用するインター予測(動き補償予測)により生成される。
インター予測では、符号化対象MBの入力動画像を近似する画像が、パーティションと呼ばれる単位で生成される。各パーティションには、1個または2個の動きベクトルが対応付けられる。前記動きベクトルに基づいて、フレームメモリに記録されている局所復号画像上において符号化対象MBに対応する領域を参照することで、予測画像が生成される。なお、その際に参照される局所復号画像は参照画像と呼ばれる。H.264/AVCでは、画素単位で、16×16、16×8、8×16、8×8、8×4、4×8、4×4のパーティションサイズが利用できる。小さいパーティションサイズを利用すれば、細かい単位で動きベクトルを指定して予測画像を生成できるため、動きの空間的な相関が小さい場合であっても、入力動画像に近い予測画像を生成できる。一方、大きいパーティションサイズを利用すれば、動きの空間的な相関が大きい場合に、動きベクトルの符号化に要する符号量を低減できる。
予測画像を用いて生成された予測残差では、入力動画像の画素値の空間的または時間的冗長性が削減されている。さらに、予測残差に対してDCTを適用することで、変換係数の低周波成分にエネルギーを集中させられる。従って、そのエネルギーの偏りを利用して可変長符号化を実行することで、予測画像やDCTを利用しない場合に較べて、符号化データの符号量を削減できる。
なお、H.264/AVCでは、パーティションの面積が8×8画素以上の場合に8×8DCTと4×4DCTを選択できる。また、パーティションの面積が8×8画素未満の場合に4×4DCTを選択できる。
近年、HD(1920画素×1080画素)以上の解像度を有する高精細動画像が増加している。高精細動画像では従来の低解像度の動画像の場合に較べて、動画像内の局所領域において動画像上の画素値の空間相関や動きベクトルの空間相関の取り得る範囲が広い。とりわけ、画素値と動きベクトルの双方に関して、局所領域における空間相関が高い場合が多いという性質を高精細動画像は有している。
以下、本発明による動画像符号化装置および動画像復号装置の一実施形態である動画像符号化装置10および動画像復号装置20について図1〜図11を参照しながら説明する。なお、図面の説明においては、同一要素には同一符号を付与して説明を省略する。
図2は動画像符号化装置10の構成を示すブロック図である。動画像符号化装置10は、フレームメモリ101、予測パラメータ決定部102、予測画像生成部103、変換制約導出部104、周波数変換決定部105、予測残差生成部106、変換係数生成部107、可変長符号化部108、予測残差再構築部109、局所復号画像生成部110より構成される。
フレームメモリ101には、局所復号画像を記録する。ここで、局所復号画像とは、変換係数に対して逆周波数変換を適用することで再構築された予測残差に対し、予測画像を足し合わせることで生成される画像である。入力動画像の特定フレームの特定拡張MBを処理する時点では、処理対象フレームより先に符号化されたフレームに対する局所復号画像、および、処理対象拡張MBより先に符号化された拡張MBに対応する局所復号画像がフレームメモリ101に記録されている。なお、フレームメモリ101に記録された局所復号画像は、装置内の各構成要素によって適宜読み出すことが可能とする。
予測パラメータ決定部102は、入力動画像の局所的性質に基づいて、予測パラメータを決定して出力する。ここで、予測パラメータには、少なくとも、拡張MB内各部で適用するパーティションの構造を表すパーティション構造と、インター予測のための動き情報(動きベクトルおよび参照する局所復号画像のインデックス(参照画像インデックス))が含まれる。また、イントラ予測の際の予測画像生成方法を示すイントラ予測モードを含んでもよい。
(手順S11)階層L1における分割方法が一分割、水平二分割、垂直二分割のいずれかであれば、その分割方法で表現される領域を、階層L1における処理単位のパーティションとする。分割方法が四分割の場合には、各分割領域に対し手順S12によりパーティションを決定する。
(手順S13)階層L3における分割方法で表現される領域を、階層L3における処理単位のパーティションとする。
(手順S20)パーティションpのサイズが、特定の階層Lyの一分割または水平二分割または垂直二分割により生成されるパーティションのサイズと等しい場合、Lxの値をLyに設定する。
(手順S21)上記以外の場合、Lxの値をL3に設定する(Lxを最下位階層に設定する)。
パーティション構造に属する各パーティションを特徴付ける情報、すなわち、パーティションサイズ、もしくは、パーティションサイズの特徴を示す情報、もしくは、パーティション構造における階層を、パーティション形状情報と呼ぶ。例えば、32×32などのパーティションサイズそのもの、所定のパーティションサイズよりも大きいかどうかを示す情報、パーティションの縦の長さと横の長さの比、パーティションの縦の長さと横の長さの大小関係、パーティションの縦の長さと横の長さの最小値や最大値、パーティションが属する階層などは、全てパーティション形状情報である。
なお、特定の予測パラメータに対してレート歪コストを計算する際に処理対象拡張MBに対して適用する周波数変換が一意に定まっていない可能性がある。その場合には、特定の周波数変換を適用して得られるレート歪コストとして利用することもできるし、複数の周波数変換全てを適用した場合に得られる最小のレート歪コストを利用することもできる。
予測画像生成部103は、入力される予測パラメータに基づいて処理対象拡張MBの予測画像を生成して出力する。予測画像生成は次の手順で実行される。
(手順S30)予測パラメータに含まれるパーティション構造に基づいて、拡張MBをパーティションに分割して、各パーティションにおける予測画像を手順S31により生成する。
(手順S31)処理対象のパーティションに対応する動き情報、すなわち、動きベクトルと参照画像インデックスを予測パラメータより読み出す。参照画像インデックスの示す局所復号画像上で、動きベクトルが示す領域の画素値に基づいて動き補償予測によって予測画像を生成する。
予測残差生成部106は、入力される入力動画像と予測画像に基づいて、拡張MBの予測残差を生成して出力する。予測残差は拡張MBと同サイズの2次元データであり、各要素は、入力動画像と予測画像の対応する画素間の差分値となる。
変換係数生成部107は、入力される予測残差と変換選択フラグに基づいて、予測残差を周波数変換することで変換係数を生成して出力する。変換選択フラグは拡張MBの各パーティションに対して適用する周波数変換を示し、変換係数生成部107は拡張MB内の各パーティションに変換選択フラグの示す周波数変換を選択して、選択した周波数変換を予測残差に適用する。変換選択フラグによって示される周波数変換は、変換係数生成部107で適用され得る全ての周波数変換の集合(変換プリセット)の含む周波数変換のいずれかである。
for(i=0,i<M,i+=W){
領域R(i,j,W,H)に周波数変換を適用
}
}
変換制約導出部104は、入力される予測パラメータに基づいて、拡張MB内の各パーティションにおいて選択可能な周波数変換に関する制約を変換制約として導出して出力する。すなわち、予測パラメータにより決定される各パーティションのパーティション形状情報に基づいて、そのパーティションの変換制約を導出する。
また、変換集合情報の意味は、階層、パーティション、ブロックの組などの単位で変更しても構わない。すなわち、同じ変換集合情報の値0が、階層L0では16x16DCT、階層L1では8x8DCT、階層L2では4x4DCTを意味しても良い。変換集合情報の値の意味を変更することにより、少ない値の範囲で禁止変換リスト及び変換候補リストの表現が可能になる。
従って、本発明における、変換制約、変換候補リストは、リストという言葉に捉われることなく、変換制約、変換候補を示す変換集合情報と同値と考えることとする。
(手順S41)M×N画素より大きい変換サイズの周波数変換をLpに追加する。
(手順S42)Min(M,N)の値に応じて決定した周波数変換をLpに追加する。
(手順S43)M÷Nの値に応じて決定した周波数変換をLpに追加する。
(手順S44)階層Lxの値に応じて決定した周波数変換をLpに追加する。
なお、M×N画素より大きいかどうかを示す情報、Min(M,N)の値、M÷Nの値、階層Lxの値はパーティション形状情報である。
上記手順S42のさらに詳細な手順を図4のフロー図を参照して説明する。
(手順S50)Min(M,N)が所定の閾値Th1(例えばTh1=16画素)以上であれば手順S51へ進み、それ以外であれば手順S52へ進む。
(手順S51)周波数変換リスト内で類似関係の変換サイズを有する周波数変換が2個以上存在する場合、それぞれの類似関係の変換サイズを有する周波数変換の組の中で変換サイズが最小である周波数変換(4×4DCT、8×1DCT、1×8DCT)をLpに追加して手順S52へ進む。ここでの類似関係には相似関係が含まれる。例えば、本実施形態の変換プリセットにおける16×16と8×8と4×4の変換サイズが類似関係となる。また、類似関係には近似的な相似関係も含まれる。たとえば、本実施形態の変換プリセットにおける16×1と8×1の変換サイズや、1×16と1×8の変換サイズが類似関係となる。なお、以下の説明においては適用しないが、周波数変換をそのサイズに基づいて正方形、縦長矩形、横長矩形の3カテゴリに分類し、各カテゴリに属する周波数変換を類似関係と見なすこともできる。
(手順S53)変換プリセット内で類似関係の変換サイズを有する周波数変換が3個以上存在する場合、それぞれの類似関係の変換サイズを有する周波数変換の組の中で2番目に小さい変換サイズの周波数変換(8×8DCT)をLpに追加して処理を終了する。ただし、Th2>Th1とする。
次に、上記手順S43のさらに詳細な手順を図5のフロー図を参照して説明する。
(手順S60)M÷Nの値が2以上(パーティションpの横の長さが縦の長さの2倍以上)ならば手順S61へ進み、それ以外であれば手順S63へ進む。
(手順S61)全ての正方形の変換サイズを持つ周波数変換(4×4DCT、8×8DCT、16×16DCT)をLpに追加して手順S62へ進む。
(手順S62)変換サイズの縦の長さが横の長さより長い周波数変換(8×16DCT、1×16DCT)をLpに追加して処理を終了する。
(手順S64)全ての正方形の変換サイズを持つ周波数変換(4×4DCT、8×8DCT、16×16DCT)をLpに追加して手順S65へ進む。
(手順S65)変換サイズの横の長さが縦の長さより長い周波数変換(16×8DCT、16×1DCT)をLpに追加して処理を終了する。
(手順S67)変換サイズの横の長さと縦の長さが異なる周波数変換(16×8DCT、16×1DCT、8×16DCT、1×16DCT)をLpに追加する。
次に、上記手順S44のさらに詳細な手順を図8のフロー図を参照して説明する。
(手順S70)階層Lxが最上位階層ならば手順S71へ進み、それ以外であれば手順S72へ進む。
(手順S71)相似形状の変換サイズを有する複数の周波数変換候補(16×16DCT、8×8DCT、4×4DCT)のうち、最大の変換サイズを有する周波数変換以外の周波数変換(8×8DCT、4×4DCT)をLpに追加して処理を終了する。
(手順S72)階層Lxが最下位階層ならば手順S73へ進み、それ以外であれば処理を終了する。
(手順S73)相似形状の変換サイズを有する複数の周波数変換候補(16×16DCT、8×8DCT、4×4DCT)のうち、最小の変換サイズを有する周波数変換以外の周波数変換(16×16DCT、8×8DCT)をLpに追加して処理を終了する。
上で説明した、変換制約導出部104において、特定のパーティション構造に対して変換制約、すなわちパーティション毎の禁止変換リストを生成する手順の具体例について図9を参照して紹介しておく。図9に示したように、拡張MBは、階層L0で四分割された後、左上部は階層L1で一分割(パーティションa)、右上部は階層L1で水平二分割(パーティションb、c)、左下部は階層L1で垂直二分割(パーティションd、e)、右下部は階層L1で四分割されている。
なお、上記説明では、禁止変換リスト生成手順において、手順S42、手順S43、手順S44の全てを実行するものとしたが、それらの一部のみを用いても良い。また、手順S42の詳細手順では、手順S50の判定と手順S51の判定のいずれか一方のみを実行しても良い。また、手順S43の詳細手順では、判定に関して、手順S60、手順63、手順66の各判定の一部のみを実行しても良いし、判定後の処理に関して、手順S61と手順S62のいずれか一方、手順S64と手順S65のいずれか一方のみを実行しても良い。また、手順S44の詳細手順では、手順S70と手順72の判定のいずれか一方のみを実行しても良い。そのような手順省力を行った場合、禁止変換リスト生成に要する計算処理が軽減できる。
周波数変換決定部105は、入力される変換制約を利用して、拡張MB内の各パーティションにおいて適用する周波数変換を決定し、その情報を変換選択フラグとして出力する。特定のパーティションpにおいて適用する周波数変換を決定する手順は次の通りである。
(手順S120)パーティションpに対応する禁止変換リストLpを変換制約から抽出する。
(手順S121)変換プリセットと、禁止変換リストLpの差集合をとって、変換候補リストCpとする。
(手順S123)変換候補リストCpに含まれる各周波数変換を適用した場合のレート歪コストを計算して、レート歪コストを最小とする周波数変換を、パーティションpにおいて適用する周波数変換とする。
可変長符号化部108は、入力される変換係数と予測パラメータと変換制約と変換選択フラグに基づいて、拡張MBにおける変換係数と予測パラメータと変換選択フラグに対応する符号化データを生成して出力する。
変換係数と予測パラメータは従来通りの方法で可変長符号化されて出力される。変換選択フラグは変換制約を利用して可変長符号化されて出力される。以下、変換選択フラグの可変長符号化手順について図10のフロー図を参照して説明する。
(手順S81)階層L0の処理単位(64×64画素)内の各パーティションに適用する周波数変換を示す情報を可変長符号化して、処理を終了する。
(手順S82)階層L0の処理単位を四分割して得られる階層L1の各処理単位(32×32画素)それぞれに対して、以下の手順S83〜手順S92の処理を実行する。
(手順S84)現在の処理単位(32×32画素)内の各パーティションに適用する周波数変換を示す情報を可変長符号化して、手順S92に進む。
(手順S85)階層L1の処理単位(32×32画素)を四分割して得られる階層L2の各処理単位(16×16画素)それぞれに対して、以下の手順S86〜手順S91の処理を適用する。
(手順S87)現在の処理単位(16×16画素)内の各パーティションに適用する周波数変換を示す情報を可変長符号化して、手順S91に進む。
(手順S88)階層L2の処理単位を四分割して得られる階層L3の各処理単位(8×8画素)それぞれに対して、以下の手順S89〜手順S90の処理を実行する。
(手順S89)現在の処理単位(8×8画素)内の各パーティションに適用する周波数変換を示す情報を可変長符号化して、手順S90に進む。
(手順S91)全ての処理単位(16×16画素)の処理が終了していれば手順S92に進む。そうでなければ、次の処理単位(16×16画素)を設定して、手順S86に進む(手順S92)全ての処理単位(32×32画素)の処理が終了していれば処理を終了する。そうでなければ次の処理単位(32×32画素)を設定して、手順S83に進む
(手順S130)パーティションpに対応する禁止変換リストLpを変換制約から抽出する。
(手順S131)変換プリセットと、禁止変換リストLpの差集合をとって、変換候補リストCpとする。
(手順S133)変換候補リストCpに含まれる周波数変換の数が1個のみの場合は、可変長符号化処理を終了する。この場合、パーティションpに適用する周波数変換を示す情報を符号化データに含まなくても、データの復号時にはいずれの周波数変換を適用すべきかが一意に特定できるため、問題は生じない。
(手順S134)変換候補リストCpに含まれる周波数変換を所定の順序で並べ換えて0から始まり1ずつ増加するインデックスを対応付ける。
予測残差再構築部109は、入力される変換係数と変換選択フラグに基づいて、変換係数を逆周波数変換することで予測残差を再構築して出力する。なお、変換係数が量子化されている場合には、周波数変換の適用に先立って逆量子化を適用する。
局所復号画像生成部110は、入力される予測画像と予測残差に基づいて局所復号画像を生成して出力する。局所復号画像の各画素値は、予測画像と予測残差の対応する画素間の画素値の和となる。なお、局所復号画像に対して、ブロック境界に発生するブロック歪低減や、量子化誤差低減を目的としてフィルタを適用してもよい。
続いて、動画像符号化装置10の動作について説明する。
(手順S100)外部から動画像符号化装置10に入力された入力動画像は、拡張MBを単位として予測パラメータ決定部102および予測残差生成部106に順次入力されて、各拡張MBについて、以降のS101〜S109の処理が順に実行される。
(手順S101)予測パラメータ決定部102では、処理対象拡張MBについて、入力された入力動画像に基づいて予測パラメータが決定されて、予測画像生成部103および可変長符号化部108に出力される。
(手順S104)変換制約導出部104では、入力された予測パラメータに基づいて、処理対象拡張MBの各パーティションにおける周波数変換に関する制約が変換制約として導出されて、周波数変換決定部105および可変長符号化部108に出力される。
(手順S106)変換係数生成部107では、入力された変換選択フラグにより規定される周波数変換が、入力された予測残差に適用されて、処理対象拡張MBに対応する変換係数が生成されて、可変長符号化部108および予測残差再構築部109に出力される。
上記の手順により、動画像符号化装置10では、入力された入力動画像を符号化して符号化データを生成し、外部に出力できる。
次に、動画像符号化装置10で符号化された符号化データを復号して復号動画像を生成する動画像復号装置20について説明する。
図11は画像復号装置20の構成を表すブロック図である。動画像復号装置20はフレームメモリ101、予測画像生成部103、変換制約導出部104、予測残差再構築部109、局所復号画像生成部110および可変長符号復号部201より構成される。
可変長符号復号部201は、入力される符号化データと変換制約に基づいて、予測パラメータおよび変換選択フラグおよび変換係数を復号して出力する。具体的には、まず、符号化データから予測パラメータを復号して出力する。次に、変換制約を利用して、符号化データから変換選択フラグを復号して出力する。最後に、変換選択フラグを利用して、符号化データから変換係数を復号して出力する。
続いて、動画像復号装置20の動作について説明する。
(手順S110)外部から動画像復号装置20に入力された符号化データは、拡張MBを単位として可変長符号復号部201に順次入力されて、各拡張MBに対応する符号化データに対して、以降のS111〜S117の処理が順に実行される。
(手順S111)可変長符号復号部201では、入力された符号化データから、処理対象拡張MBに対応する予測パラメータが復号されて、予測画像生成部103および変換制約導出部104へ出力される。
(手順S113)可変長符号復号部201では、入力された符号化データと変換制約に基づいて、処理対象MBに対応する変換選択フラグが復号されて、予測残差再構築部109へ出力される。
(手順S115)予測画像生成部103では、入力された予測パラメータおよびフレームメモリ101に記録されている局所復号画像に基づいて、処理対象拡張MBに対応する予測画像が生成されて局所復号画像生成部110に出力される。
なお、上記動画像符号化装置10や動画像復号装置20の説明において、拡張MB内のパーティション毎の禁止変換リストは、パーティションサイズやパーティションの属する階層にのみ基づいて生成されるものとして説明を行ったが、符号化データに含まれた情報に基づいて復号時に再現可能な別の情報を用いても良い。例えば、予測パラメータに含まれる動きベクトルや参照画像インデックスを禁止変換リストの導出に用いることもできる。
(手順S141)周波数変換リスト内で類似関係の変換サイズを有する周波数変換が2個以上存在する場合、それぞれの類似関係の変換サイズを有する周波数変換の組の中で変換サイズが最小である周波数変換をLpに追加して処理を終了する.
なお、上記動画像符号化装置10や動画像復号装置20の説明において、変換制約導出部104は拡張MBのパーティション毎に随時禁止変換リストの生成処理を実行するものと説明したが、禁止変換リストへの周波数変換の追加がパーティションサイズやパーティションの属する階層のみに基づいて実行される場合には、所定のタイミングで事前に禁止周波数変換リストを生成しておいても良い。その場合、パーティションの種類毎に事前に生成された禁止変換リストを変換制約導出部104において拡張MB内の各パーティションに関連付ける必要がある。前記所定のタイミングとは、入力動画像の符号化開始または符号化データの復号開始直後であっても良いし、シーケンス、フレーム、スライス等の所定の符号化単位の符号化または復号処理の開始直後であっても良い。禁止変換リストの生成処理の実行回数を減らせるため、符号化および復号処理の処理量を低減できる。
次に、本発明による動画像符号化装置および動画像復号装置の別の一実施形態である動画像符号化装置11および動画像復号装置21について図12〜図14を参照しながら説明する。なお、図面の説明においては、同一要素には同一符号を付与して説明を省略する。
本実施形態における動画像符号化装置11および動画像復号装置21では、動画像符号化装置10や動画像復号装置20における変換制約導出部104を変換候補導出部111により置き換えることで、禁止変換リストを生成せずに、変換候補リストを直接導出することを特徴としている。
変換候補リストは、拡張MB内の各パーティションにそれぞれ対応付けられており、変換プリセットに含まれる周波数変換の中で、各パーティションで選択可能な周波数変換の集合を規定する。
(手順S150)MとNの大小関係に応じて決定した周波数変換をCpに追加する。
(手順S151)Cpが空である場合に全てのパーティションサイズよりも小さい変換サイズを持つ周波数変換の中で、最も大きい変換サイズの周波数変換をCpに追加する。
(手順S160)所定の値Th3(例えば以下ではTh3=16)を用いて、M1にMin(M、Th3)の値、N1にMin(N,Th3)の値を設定する。なお、Th3の値は、変換プリセットに含まれる最大の正方形の変換サイズの周波数変換における変換サイズの一辺の長さに設定することが好ましい。変換サイズM1×N1の変換サイズを持つ周波数変換が変換プリセットに存在すれば、その周波数変換を変換候補リストCpに追加して、手順S161へ進む。
(手順S162)変換サイズM1×1の変換サイズを持つ周波数変換が変換プリセットに存在すれば、その周波数変換を変換候補リストCpに追加して処理を終了する。
(手順S163)MがNより小さい場合(パーティションpが縦長矩形の場合)手順S164へ進み、それ以外であれば手順S165へ進む。
(手順S165)M2にM1÷2の値、N2にN1÷2の値を設定する。変換サイズM2×N2の変換サイズを持つ周波数変換が変換プリセットに存在すれば、その周波数変換を変換候補リストCpに追加して処理を終了する。なお、この手順はMとNが等しい場合(パーティションpが正方形の場合)に実行される。
上記、MとNの大小関係、パーティションサイズMxNはパーティション形状情報である。
(手順S170)外部から動画像符号化装置11に入力された入力動画像は、拡張MBを単位として予測パラメータ決定部102および予測残差生成部106に順次入力されて、各拡張MBについて、以降のS171〜S179の処理が順に実行される。
(手順S171)予測パラメータ決定部102では、処理対象拡張MBについて、入力された入力動画像に基づいて予測パラメータが決定されて、予測画像生成部103および可変長符号化部113に出力される。
(手順S173)予測残差生成部106では、入力された入力動画像と予測画像に基づいて、処理対象拡張MBに対応する予測残差が生成されて、周波数変換決定部112および変換係数生成部107に出力される。
(手順S175)周波数変換決定部112では、入力された変換制約と予測残差に基づいて、処理対象拡張MBの各パーティションに適用する周波数変換が決定されて、変換選択フラグとして変換係数生成部107および可変長符号化部113および予測残差再構築部109に出力される。
(手順S177)予測残差再構築部109では、入力された変換選択フラグにより規定される周波数変換に対応する逆周波数変換が、入力された変換係数に適用されて、処理対象拡張MBに対応する予測残差が再構築されて、局所復号画像生成部110に出力される。
(手順S179)可変長符号化部113では、入力された変換制約を利用して、入力された変換係数および予測パラメータおよび変換選択フラグが可変長符号化されて、符号化データとして外部に出力される。
上記の手順により、動画像符号化装置11では、入力された入力動画像を符号化して符号化データを生成し、外部に出力できる。
なお、上記の変換候補導出部111に関する説明で、変換候補リスト生成方法の一例を示したが、別の方法で変換候補リストを生成してもよい。例えば、変換プリセットに相似関係にある2個の周波数変換DCTa、DCTb(ただしDCTaの変換サイズはDCTbの変換サイズより大きい)が含まれる場合に、上位階層に含まれるパーティションに対する変換候補リストにはDCTaを追加してDCTbを追加せず、下位階層に含まれるパーティションに対する変換候補リストにはDCTbを追加する、という変換候補リスト生成方法も有効である。より具体的には、変換プリセットに16×16DCTと8×8DCTが含まれる場合に、64×64画素を処理単位とする階層L0に含まれるパーティションに対する変換候補リストには少なくとも16×16DCTを追加して8×8DCTは追加せず、32×32画素を処理単位とする階層L1に含まれるパーティションに対する変換候補リストには少なくとも8×8DCTを追加する。
次に、動画像符号化装置11で符号化された符号化データを復号して復号動画像を生成する動画像復号装置21について説明する。
図14は画像復号装置21の構成を表すブロック図である。動画像復号装置20はフレームメモリ101、予測画像生成部103、予測残差再構築部109、局所復号画像生成部110、変換候補導出部111および可変長符号復号部202より構成される。
続いて、動画像復号装置21の動作について説明する。
(手順S180)外部から動画像復号装置20に入力された符号化データは、拡張MBを単位として可変長符号復号部201に順次入力されて、各拡張MBに対応する符号化データに対して、以降のS181〜S187の処理が順に実行される。
(手順S181)可変長符号復号部202では、入力された符号化データから、処理対象拡張MBに対応する予測パラメータが復号されて、予測画像生成部103および変換候補導出部111へ出力される。
(手順S183)可変長符号復号部202では、入力された符号化データと変換制約に基づいて、処理対象MBに対応する変換選択フラグが復号されて、予測残差再構築部109へ出力される。
(手順S185)予測画像生成部103では、入力された予測パラメータおよびフレームメモリ101に記録されている局所復号画像に基づいて、処理対象拡張MBに対応する予測画像が生成されて局所復号画像生成部110に出力される。
以上説明したように、動画像復号装置21によれば、動画像符号化装置11で生成された符号化データから復号動画像を生成することができる。
次に、本発明による動画像符号化装置および動画像復号装置の別の一実施形態である動画像符号化装置30および動画像復号装置40について図15〜図16を参照しながら説明する。なお、図面の説明においては、同一要素には同一符号を付与して説明を省略する。また、動画像符号化装置30および動画像復号装置40において利用可能なパーティション構造や変換プリセットは、動画像符号化装置11および動画像復号装置21で用いたものと同じとする。
本実施形態における動画像符号化装置30や動画像復号装置40では、動画像のシーン、フレーム、スライスといったMBより大きい所定の単位で変換候補導出部による変換候補リストの導出方法を動画像の性質に合わせて適応的に変更する機能を備える点が、動画像符号化装置11や動画像復号装置21と異なる。
変換候補リスト導出ルールは、以下に示す基礎ルールの組み合わせとして定義する。
・基礎ルール1:所定のパーティションAに対して変換プリセット内の所定の周波数変換Bを変換候補リストへ追加することを規定する。なお、以下では基礎ルール1を、[許可、パーティションA、周波数変換B]という形式で記載する。例えば、[許可、64×64、T16×16]は、64×64のパーティションに対してT16×16の周波数変換を変換候補リストへ追加することを示す。
なお、変換候補リスト導出ルールにおいて、基礎ルールに加えて、もしくは、基礎ルールの代替として、基礎ルールの組み合わせにより表現される複合ルールを含めてもよい。以下、いくつかの複合ルールの例を挙げる。
R1={[禁止、P、T]:(PはL0階層に属するパーティション)∧(TはT8×8以下の周波数変換)}
また、所定の階層より上位の階層で類似関係にある周波数変換の中でサイズの小さい周波数変換を禁止するというルール、より具体的には、階層L1よりも上位の階層で類似関係にあるT16×16、T8×8、T4×4の各変換のうち、T8×8およびT4×4を禁止するというルール、もこの複合ルール1に相当する。
R2={[置換、P、T、T4×4]:(P∈正方形のパーティション)∧(T∈長方形の周波数変換)}
また、横長矩形のパーティションでは正方形の周波数変換を横長矩形の周波数変換に置き換えるというルールもこの複合ルール2に相当する。
まず、基礎ルールおよび複合ルールを構成要素とするルール候補を符号化処理開始前にあらかじめ規定しておき、変換候補リスト導出ルールを空に設定する。次に、入力される各フレームに対し、ルール候補に含まれる各基礎ルールまたは複合ルールをそれぞれ適用して符号化処理を行った場合のレート歪コストを計算する。また、全てのルール候補を適用しない場合のレート歪コストC1も計算しておく。続いて、各基礎ルールまたは複合ルールを適用した場合のレート歪コストC2とコストC1を比較して、コストC2がコストC1より小さければ、当該基礎ルールまたは複合ルールを適用することを決定して、変換候補リスト導出ルールに含める。
上記の手順により、所定のルール候補のうち、フレームの符号化時に適用することでレート歪コストが低減され得る基礎ルールまたは複合ルールのみが、変換候補リスト導出ルールに追加される。
(手順S201)変換候補リストに含まれる全ての基礎ルール1に属する基礎ルールに対して、手順S202の処理を実行する。
(手順S202)処理対象の基礎ルール1を[許可、P1、T1]と表わす。パーティションpの形状とP1が一致する場合、変換候補リストに周波数変換T1を追加する。
(手順S203)変換候補リストに含まれる全ての基礎ルール2に属する基礎ルールに対して、手順S204の処理を実行する。
(手順S205)変換候補リストに含まれる全ての基礎ルール3に属する基礎ルールに対して、手順S206の処理を実行する。
(手順S206)処理対象の基礎ルール2を[置換、P3、T3、T4]と表わす。パーティションpの形状とP3が一致し、かつ変換候補リストに周波数変換T3が存在している場合、周波数変換T3を周波数変換T4に置き換える。
以上の手順により、変換候補導出部302において、入力される変換候補リスト導出ルールに従って変換候補リストを導出できる。
変換候補リスト導出ルールに対応する符号化データの生成処理の詳細を説明する。符号化データは、変換候補リスト導出ルールに含まれる各基礎ルールまたは複合ルールを可変長符号化することで生成される。基礎ルールの可変長符号化では、まず対象の基礎ルールが基礎ルール1〜3のいずれに分類されるかを示す情報を符号化し、次に基礎ルールの適応対象であるパーティションを示す情報符号化する。最後に、基礎ルール1の場合は許可する周波数変換、基礎ルール2の場合は禁止する周波数変換、基礎ルール3の場合は置換前後の各周波数変換の種類を示す情報が符号化される。なお、どのような基礎ルールが変換候補リスト導出リストに含まれ得るかがあらかじめ決めっている場合には、上記の方法で基礎ルールを可変長符号化する代わりに、基礎ルールを適用するか否かの情報を符号化データとすることで符号量を削減できる。なお、特定の基礎ルールを常に適用することがあらかじめ決められている場合には、その基礎ルールを可変長符号化する必要はない。
(手順S210)外部から動画像符号化装置30に入力された入力動画像はフレームを単位として変換候補リスト導出ルール決定部301に入力されると共に、拡張MBを単位として予測パラメータ決定部102および予測残差生成部106に順次入力される。各フレームに対して手順S211〜S212の処理、各拡張MBに対して手順S213〜S221の処理が実行される。
(手順S211)変換候補リスト導出ルール決定部301では、入力フレームに基づいて、変換候補リスト導出ルールが生成されて、変換候補導出部302および可変長符号化部303に出力される。
(手順S213)予測パラメータ決定部102では、処理対象拡張MBについて、入力された入力動画像に基づいて予測パラメータが決定されて、予測画像生成部103、変換候補導出部302、および可変長符号化部303に出力される。
(手順S214)予測画像生成部103では、入力された予測パラメータおよびフレームメモリ101に記録されている局所復号画像に基づいて、入力動画像における処理対象拡張MBの領域を近似する予測画像が生成されて予測残差生成部106および局所復号画像生成部110に出力される。
(手順S216)変換候補導出部302では、入力された予測パラメータおよび変換候補リスト導出ルールに基づいて、処理対象拡張MBの各パーティションにおける周波数変換に関する制約が導出されて、周波数変換決定部112および可変長符号化部303に出力される。
(手順S218)変換係数生成部107では、入力された変換選択フラグにより規定される周波数変換が、入力された予測残差に適用されて、処理対象拡張MBに対応する変換係数が生成されて、可変長符号化部108および予測残差再構築部109に出力される。
(手順S219)予測残差再構築部109では、入力された変換選択フラグにより規定される周波数変換に対応する逆周波数変換が、入力された変換係数に適用されて、処理対象拡張MBに対応する予測残差が再構築されて、局所復号画像生成部110に出力される。
(手順S221)可変長符号化部303では、入力された変換制約を利用して、入力された変換係数および予測パラメータおよび変換選択フラグが可変長符号化されて、符号化データとして外部に出力される。
上記の手順により、動画像符号化装置30では、入力された入力動画像を符号化して符号化データを生成し、外部に出力できる。
次に、動画像符号化装置30で符号化された符号化データを復号して復号動画像を生成する動画像復号装置40について説明する。
図16は画像復号装置40の構成を表すブロック図である。動画像復号装置40はフレームメモリ101、予測画像生成部103、予測残差再構築部109、局所復号画像生成部110、変換候補導出部302および可変長符号復号部401より構成される。
続いて、動画像復号装置40の動作について説明する。
(手順S230)外部から動画像復号装置40に入力された符号化データは、フレームを単位として可変長符号復号部401に順次入力されて、各フレームに対応する符号化データに対して、以降のS231〜S239の処理が順に実行される。
(手順S231)可変長符号復号部401では、入力された符号化データから、処理対象フレームに対応する変換候補リスト導出ルールが復号されて、変換候補導出部302へ出力される。
(手順S233)可変長符号復号部401では、処理対象である拡張MB単位の符号化データから予測パラメータが復号されて、変換候補導出部302へ出力される。
(手順S234)変換候補導出部302では、入力された変換候補リスト導出ルールおよび予測パラメータに基づいて、処理対象拡張MBの各パーティションにおける変換候補リストが導出されて、可変長符号復号部401に出力される。
(手順S236)可変長符号復号部202では、入力された符号化データと(手順S235)で導出した変換選択フラグに基づいて、処理対象拡張MBに対応する変換係数が復号されて、予測残差再構築部109へ出力される。
(手順S237)予測画像生成部103では、入力された予測パラメータおよびフレームメモリ101に記録されている局所復号画像に基づいて、処理対象拡張MBに対応する予測画像が生成されて局所復号画像生成部110に出力される。
Claims (6)
- 入力符号化データをブロック単位に復号処理を行う動画像復号装置において、
前記入力符号化データから、処理対象のブロックのパーティション構造を復号する可変長符号復号部と、
前記パーティション構造で規定されるパーティションを単位として予測画像を生成する予測画像生成部と、
少なくともパーティション構造におけるレイヤに関して各パーティションを特徴づけるパーティション形状情報のうちの前記パーティション構造におけるレイヤに基づいて、所定の変換プリセットに含まれる変換から、適用可能な変換のリストである変換候補リストを決定する変換候補導出部とを有していて、
前記可変長符号復号部は、変換選択フラグを復号するとともに、前記変換選択フラグに基づいて前記処理対象のブロックの変換係数を復号し、
さらに、前記変換候補リストに含まれる変換であって、前記変換選択フラグにより規定される変換に対応する逆変換を前記変換係数に適用して予測残差を再構築する予測残差再構築部と、
前記予測画像と前記予測残差とに基づいて前記処理対象のブロックに対応する復号画像データを出力する局所復号画像生成部と、を備え
前記所定の変換プリセットは、第一の変換と、前記第一の変換と相似関係にありかつ前記第一の変換よりも変換サイズが小さい第二の変換を含み、
前記変換候補導出部は、パーティションが最下位ではない所定の階層に属する場合には前記第一の変換を変換候補リストに含めるとともに前記第二の変換は変換候補リストに含めず、パーティションが前記最下位ではない前記所定の階層よりも下位の階層に属する場合には前記第二の変換を変換候補リストに含めることを特徴とする動画像復号装置。 - 入力動画像を所定の大きさのブロックに分割して、ブロック単位に符号化処理を行う動画像符号化装置において、
ブロックのパーティション構造を決定する予測パラメータ決定部と、
前記パーティション構造で規定されるパーティションを単位として予測画像を生成する予測画像生成部と、
前記予測画像と入力動画像の差分である予測残差に対して所定の変換プリセットに含まれる変換のいずれかを適用する変換係数生成部と、
少なくともパーティション構造におけるレイヤに関して各パーティションを特徴づけるパーティション形状情報のうちの前記パーティション構造におけるレイヤに基づいて適用可能な前記所定の変換プリセットに含まれる変換のリストである変換候補リストを決定する変換候補導出部と、
前記各ブロックに関して、前記変換候補リストに含まれる変換の中から前記ブロックにおける前記予測残差に適用するための変換を示す変換選択フラグを決定する周波数変換決定部と、
前記変換候補リストに基づく前記変換選択フラグを可変長符号化する可変長符号化部と、を備え、
前記所定の変換プリセットは、第一の変換と、前記第一の変換と相似関係にありかつ前記第一の変換よりも変換サイズが小さい第二の変換を含み、
前記変換候補導出部は、パーティションが最下位ではない所定の階層に属する場合には前記第一の変換を変換候補リストに含めるとともに前記第二の変換は変換候補リストに含めず、パーティションが前記最下位ではない前記所定の階層よりも下位の階層に属する場合には前記第二の変換を変換候補リストに含めることを特徴とする動画像符号化装置。 - 入力符号化データをブロック単位に復号処理を行う動画像復号方法において、
前記入力符号化データから、処理対象のブロックのパーティション構造を復号する可変長符号復号ステップと、
前記パーティション構造で規定されるパーティションを単位として予測画像を生成する予測画像生成ステップと、
少なくともパーティション構造におけるレイヤに関して各パーティションを特徴づけるパーティション形状情報のうちの前記パーティション構造におけるレイヤに基づいて、所定の変換プリセットに含まれる変換から、適用可能な変換のリストである変換候補リストを決定する変換候補導出ステップとを有していて、
前記可変長符号復号ステップは、変換選択フラグを復号するとともに、前記変換選択フラグに基づいて前記処理対象のブロックの変換係数を復号し、
さらに、前記変換候補リストに含まれる変換であって、前記変換選択フラグにより規定される変換に対応する逆変換を前記変換係数に適用して予測残差を再構築する予測残差再構築ステップと、
前記予測画像と前記予測残差とに基づいて前記処理対象のブロックに対応する復号画像データを出力する局所復号画像生成ステップと、を備え
前記所定の変換プリセットは、第一の変換と、前記第一の変換と相似関係にありかつ前記第一の変換よりも変換サイズが小さい第二の変換を含み、
前記変換候補導出ステップは、パーティションが最下位ではない所定の階層に属する場合には前記第一の変換を変換候補リストに含めるとともに前記第二の変換は変換候補リストに含めず、パーティションが前記最下位ではない前記所定の階層よりも下位の階層に属する場合には前記第二の変換を変換候補リストに含めることを特徴とする動画像復号方法。 - 入力動画像を所定の大きさのブロックに分割して、ブロック単位に符号化処理を行う動画像符号化方法において、
ブロックのパーティション構造を決定する予測パラメータ決定ステップと、
前記パーティション構造で規定されるパーティションを単位として予測画像を生成する予測画像生成ステップと、
前記予測画像と入力動画像の差分である予測残差に対して所定の変換プリセットに含まれる変換のいずれかを適用する変換係数生成ステップと、
少なくともパーティション構造におけるレイヤに関して各パーティションを特徴づけるパーティション形状情報のうちの前記パーティション構造におけるレイヤに基づいて適用可能な前記所定の変換プリセットに含まれる変換のリストである変換候補リストを決定する変換候補導出ステップと、
前記各ブロックに関して、前記変換候補リストに含まれる変換の中から前記ブロックにおける前記予測残差に適用するための変換を示す変換選択フラグを決定する周波数変換決定ステップと、
前記変換候補リストに基づく前記変換選択フラグを可変長符号化する可変長符号化ステップを備え、
前記所定の変換プリセットは、第一の変換と、前記第一の変換と相似関係にありかつ前記第一の変換よりも変換サイズが小さい第二の変換を含み、
前記変換候補導出ステップは、パーティションが最下位ではない所定の階層に属する場合には前記第一の変換を変換候補リストに含めるとともに前記第二の変換は変換候補リストに含めず、パーティションが前記最下位ではない前記所定の階層よりも下位の階層に属する場合には前記第二の変換を変換候補リストに含めることを特徴とする動画像符号化方法。 - 入力符号化データをブロック単位に復号処理を行う動画像復号装置としてコンピュータを機能させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、上記コンピュータを、
前記入力符号化データから、処理対象のブロックのパーティション構造を復号する可変長符号復号部と、
前記パーティション構造で規定されるパーティションを単位として予測画像を生成する予測画像生成部と、
少なくともパーティション構造におけるレイヤに関して各パーティションを特徴づけるパーティション形状情報のうちの前記パーティション構造におけるレイヤに基づいて、所定の変換プリセットに含まれる変換から、適用可能な変換のリストである変換候補リストを決定する変換候補導出部と、として機能させ、
前記可変長符号復号部に、変換選択フラグを復号するとともに、前記変換選択フラグに基づいて前記処理対象のブロックの変換係数を復号する処理を実行させ、
さらに、前記変換候補リストに含まれる変換であって、前記変換選択フラグにより規定される変換に対応する逆変換を前記変換係数に適用して予測残差を再構築する予測残差再構築部と、
前記予測画像と前記予測残差とに基づいて前記処理対象のブロックに対応する復号画像データを出力する局所復号画像生成部と、として機能させ、
前記所定の変換プリセットは、第一の変換と、前記第一の変換と相似関係にありかつ前記第一の変換よりも変換サイズが小さい第二の変換を含み、
前記変換候補導出部に、パーティションが最下位ではない所定の階層に属する場合には前記第一の変換を変換候補リストに含めるとともに前記第二の変換は変換候補リストに含めず、パーティションが前記最下位ではない前記所定の階層よりも下位の階層に属する場合には前記第二の変換を変換候補リストに含める処理を実行させる制御プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 入力動画像を所定の大きさのブロックに分割して、ブロック単位に符号化処理を行う動画像符号化装置としてコンピュータを機能させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、上記コンピュータを、
ブロックのパーティション構造を決定する予測パラメータ決定部と、
前記パーティション構造で規定されるパーティションを単位として予測画像を生成する予測画像生成部と、
前記予測画像と入力動画像の差分である予測残差に対して所定の変換プリセットに含まれる変換のいずれかを適用する変換係数生成部と、
少なくともパーティション構造におけるレイヤに関して各パーティションを特徴づけるパーティション形状情報のうちの前記パーティション構造におけるレイヤに基づいて適用可能な前記所定の変換プリセットに含まれる変換のリストである変換候補リストを決定する変換候補導出部と、
前記各ブロックに関して、前記変換候補リストに含まれる変換の中から前記ブロックにおける前記予測残差に適用するための変換を示す変換選択フラグを決定する周波数変換決定部と、
前記変換候補リストに基づく前記変換選択フラグを可変長符号化する可変長符号化部と、として機能させ、
前記所定の変換プリセットは、第一の変換と、前記第一の変換と相似関係にありかつ前記第一の変換よりも変換サイズが小さい第二の変換を含み、
前記変換候補導出部に、パーティションが最下位ではない所定の階層に属する場合には前記第一の変換を変換候補リストに含めるとともに前記第二の変換は変換候補リストに含めず、パーティションが前記最下位ではない前記所定の階層よりも下位の階層に属する場合には前記第二の変換を変換候補リストに含める処理を実行させる制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009093606 | 2009-04-08 | ||
JP2009093606 | 2009-04-08 | ||
JP2009146509 | 2009-06-19 | ||
JP2009146509 | 2009-06-19 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015113547A Division JP6012816B2 (ja) | 2009-04-08 | 2015-06-04 | 動画像符号化装置および動画像復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017028726A true JP2017028726A (ja) | 2017-02-02 |
JP6239713B2 JP6239713B2 (ja) | 2017-11-29 |
Family
ID=42936156
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011508308A Pending JPWO2010116869A1 (ja) | 2009-04-08 | 2010-03-17 | 動画像符号化装置および動画像復号装置 |
JP2015113547A Expired - Fee Related JP6012816B2 (ja) | 2009-04-08 | 2015-06-04 | 動画像符号化装置および動画像復号装置 |
JP2016183397A Active JP6239713B2 (ja) | 2009-04-08 | 2016-09-20 | 動画像符号化装置および動画像復号装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011508308A Pending JPWO2010116869A1 (ja) | 2009-04-08 | 2010-03-17 | 動画像符号化装置および動画像復号装置 |
JP2015113547A Expired - Fee Related JP6012816B2 (ja) | 2009-04-08 | 2015-06-04 | 動画像符号化装置および動画像復号装置 |
Country Status (10)
Country | Link |
---|---|
US (1) | US8855203B2 (ja) |
EP (1) | EP2418855B1 (ja) |
JP (3) | JPWO2010116869A1 (ja) |
CN (5) | CN102388614B (ja) |
BR (1) | BRPI1014257B1 (ja) |
EA (5) | EA024522B1 (ja) |
HK (4) | HK1211399A1 (ja) |
MX (1) | MX2011010550A (ja) |
MY (1) | MY157572A (ja) |
WO (1) | WO2010116869A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019151268A1 (ja) * | 2018-01-30 | 2019-08-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法および復号方法 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101479129B1 (ko) * | 2009-10-01 | 2015-01-06 | 에스케이텔레콤 주식회사 | 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치 |
CN107046644B (zh) | 2010-04-09 | 2020-03-24 | 三菱电机株式会社 | 运动图像编码装置以及运动图像解码装置 |
SG10202101292WA (en) * | 2010-12-17 | 2021-03-30 | Mitsubishi Electric Corp | Image coding device, image decoding device, image coding method, and image decoding method |
CN102685487B (zh) * | 2011-03-16 | 2015-07-08 | 华为技术有限公司 | 图像编解码方法、图像编解码设备及网络*** |
US8494290B2 (en) * | 2011-05-05 | 2013-07-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for coding pictures using hierarchical transform units |
CN102857755B (zh) | 2011-07-01 | 2016-12-14 | 华为技术有限公司 | 确定变换块尺寸的方法和设备 |
WO2013016298A1 (en) * | 2011-07-22 | 2013-01-31 | General Instrument Corporation | Device and methods for scanning rectangular-shaped transforms in video coding |
US9787982B2 (en) | 2011-09-12 | 2017-10-10 | Qualcomm Incorporated | Non-square transform units and prediction units in video coding |
JP2013085096A (ja) * | 2011-10-07 | 2013-05-09 | Sony Corp | 画像処理装置および方法 |
US9247254B2 (en) | 2011-10-27 | 2016-01-26 | Qualcomm Incorporated | Non-square transforms in intra-prediction video coding |
CN103096053B (zh) | 2011-11-04 | 2015-10-07 | 华为技术有限公司 | 一种变换模式的编解码方法和装置 |
BR112014014120A2 (pt) | 2011-12-20 | 2017-06-13 | Motorola Mobility Llc | método e aparelho para codificação de unidade de transformação eficiente |
CN102761742B (zh) * | 2012-07-03 | 2017-06-06 | 华为技术有限公司 | 变换块划分方法,变换块划分参数的编码方法及解码方法 |
RU2628133C2 (ru) * | 2013-01-07 | 2017-08-15 | Телефонактиеболагет Л М Эрикссон (Пабл) | Кодирование и декодирование слайсов в изображениях видеопотока |
JP6337380B2 (ja) * | 2013-07-31 | 2018-06-06 | サン パテント トラスト | 画像符号化方法および画像符号化装置 |
JP6187826B2 (ja) | 2014-02-04 | 2017-08-30 | パナソニックIpマネジメント株式会社 | 動画像符号化装置及び動画像符号化方法 |
US9591313B2 (en) * | 2014-03-04 | 2017-03-07 | Vixs Systems, Inc. | Video encoder with transform size preprocessing and methods for use therewith |
CN108307192A (zh) | 2014-10-11 | 2018-07-20 | 华为技术有限公司 | 预测块的划分方法、编码设备和解码设备 |
CN113613009B (zh) * | 2015-02-27 | 2024-06-25 | 索尼公司 | 发送装置、发送方法、接收装置和接收方法 |
FR3038196A1 (fr) * | 2015-06-29 | 2016-12-30 | B<>Com | Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes |
US10200719B2 (en) * | 2015-11-25 | 2019-02-05 | Qualcomm Incorporated | Modification of transform coefficients for non-square transform units in video coding |
TWI793532B (zh) | 2016-02-09 | 2023-02-21 | 弗勞恩霍夫爾協會 | 用於圖像/視訊資料串流而允許有效可縮減性或有效隨機存取之技術 |
US10390048B2 (en) * | 2016-02-15 | 2019-08-20 | Qualcomm Incorporated | Efficient transform coding using optimized compact multi-pass transforms |
WO2017171370A1 (ko) | 2016-03-28 | 2017-10-05 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
FR3057131A1 (fr) | 2016-10-04 | 2018-04-06 | B<>Com | Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal et programmes d'ordinateurs associes |
FR3064870A1 (fr) * | 2017-03-31 | 2018-10-05 | B<>Com | Procede de decodage d'au moins une image numerique, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes |
CN112601085A (zh) * | 2017-06-28 | 2021-04-02 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
FR3068556A1 (fr) | 2017-06-29 | 2019-01-04 | B<>Com | Procede de decodage d'une image, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes |
CN112567745A (zh) * | 2018-03-29 | 2021-03-26 | 弗劳恩霍夫应用研究促进协会 | 用于视频编码的候选变换集合的确定 |
TWI783390B (zh) * | 2021-02-26 | 2022-11-11 | 圓展科技股份有限公司 | 影像處理系統及產生動態影像分割畫面的方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5241395A (en) * | 1989-08-07 | 1993-08-31 | Bell Communications Research, Inc. | Adaptive transform coding using variable block size |
CN100423583C (zh) * | 1996-12-18 | 2008-10-01 | 汤姆森消费电子有限公司 | 将数据压缩成固定长度数据块及解压的方法 |
US6529634B1 (en) * | 1999-11-08 | 2003-03-04 | Qualcomm, Inc. | Contrast sensitive variance based adaptive block size DCT image compression |
US6633244B2 (en) * | 2000-01-03 | 2003-10-14 | Efeckta Technologies Corporation | Efficient and lossless conversion for transmission or storage of data |
DE10022331A1 (de) * | 2000-05-10 | 2001-11-15 | Bosch Gmbh Robert | Verfahren zur Transformationscodierung von Bewegtbildsequenzen |
JP3679083B2 (ja) * | 2002-10-08 | 2005-08-03 | 株式会社エヌ・ティ・ティ・ドコモ | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム |
CA2513537C (en) * | 2003-02-21 | 2013-03-26 | Matsushita Electric Industrial Co. Ltd. | Picture coding method and picture decoding method |
CN100401780C (zh) * | 2004-05-07 | 2008-07-09 | 美国博通公司 | 在视频解码器中动态选择变换尺寸的方法和*** |
US8116374B2 (en) * | 2004-05-07 | 2012-02-14 | Broadcom Corporation | Method and system for generating a transform size syntax element for video decoding |
CN1589023A (zh) * | 2004-08-06 | 2005-03-02 | 联合信源数字音视频技术(北京)有限公司 | 一种基于上下文的多码表变长编解码方法及编解码装置 |
KR100703770B1 (ko) * | 2005-03-25 | 2007-04-06 | 삼성전자주식회사 | 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치 |
JP4889231B2 (ja) | 2005-03-31 | 2012-03-07 | 三洋電機株式会社 | 画像符号化方法および装置、画像復号方法 |
JP2008219205A (ja) | 2007-02-28 | 2008-09-18 | Sony Corp | 画像情報符号化装置及び画像情報符号化方法 |
JP4922101B2 (ja) * | 2007-08-21 | 2012-04-25 | 株式会社東芝 | 情報処理装置およびインター予測モード判定方法 |
JP4937224B2 (ja) * | 2008-09-30 | 2012-05-23 | 株式会社東芝 | 画像符号化装置 |
KR101247923B1 (ko) * | 2008-10-03 | 2013-03-26 | 퀄컴 인코포레이티드 | 4×4 및 8×8 보다 큰 변환을 이용한 비디오 코딩 |
-
2010
- 2010-03-17 BR BRPI1014257-6A patent/BRPI1014257B1/pt active IP Right Grant
- 2010-03-17 CN CN201080015255.5A patent/CN102388614B/zh not_active Expired - Fee Related
- 2010-03-17 EA EA201101473A patent/EA024522B1/ru not_active IP Right Cessation
- 2010-03-17 MX MX2011010550A patent/MX2011010550A/es active IP Right Grant
- 2010-03-17 US US13/263,380 patent/US8855203B2/en active Active
- 2010-03-17 CN CN201510140388.XA patent/CN104717503B/zh not_active Expired - Fee Related
- 2010-03-17 MY MYPI2011004745A patent/MY157572A/en unknown
- 2010-03-17 EA EA201690324A patent/EA029414B1/ru not_active IP Right Cessation
- 2010-03-17 CN CN201510140189.9A patent/CN104717502B/zh not_active Expired - Fee Related
- 2010-03-17 WO PCT/JP2010/054485 patent/WO2010116869A1/ja active Application Filing
- 2010-03-17 EA EA201690320A patent/EA201690320A3/ru unknown
- 2010-03-17 EA EA201690329A patent/EA029773B1/ru not_active IP Right Cessation
- 2010-03-17 EA EA201690326A patent/EA029351B1/ru not_active IP Right Cessation
- 2010-03-17 CN CN201510142234.4A patent/CN104717505B/zh not_active Expired - Fee Related
- 2010-03-17 CN CN201510140802.7A patent/CN104717504B/zh not_active Expired - Fee Related
- 2010-03-17 JP JP2011508308A patent/JPWO2010116869A1/ja active Pending
- 2010-03-17 EP EP10761570.0A patent/EP2418855B1/en active Active
-
2015
- 2015-06-04 JP JP2015113547A patent/JP6012816B2/ja not_active Expired - Fee Related
- 2015-12-04 HK HK15111995.5A patent/HK1211399A1/xx not_active IP Right Cessation
- 2015-12-04 HK HK15111997.3A patent/HK1211401A1/xx not_active IP Right Cessation
- 2015-12-04 HK HK15111994.6A patent/HK1211398A1/xx not_active IP Right Cessation
- 2015-12-04 HK HK15111996.4A patent/HK1211400A1/xx not_active IP Right Cessation
-
2016
- 2016-09-20 JP JP2016183397A patent/JP6239713B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019151268A1 (ja) * | 2018-01-30 | 2019-08-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法および復号方法 |
US11438588B2 (en) | 2018-01-30 | 2022-09-06 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6239713B2 (ja) | 動画像符号化装置および動画像復号装置 | |
CN110024392B (zh) | 用于视频译码的低复杂度符号预测 | |
US10645410B2 (en) | Video decoding apparatus | |
TWI556632B (zh) | 視訊之算術編碼方法及其裝置、以及視訊之算術解碼方法及其裝置 | |
TW201440502A (zh) | 用於基於高效率視訊寫碼之可擴縮寫碼視訊資訊之裝置及方法 | |
CN105721878A (zh) | Hevc视频编解码中执行帧内预测的图像处理装置及方法 | |
TW201414314A (zh) | 熵編碼視訊的方法與裝置、以及熵解碼視訊的方法與裝置 | |
KR20190090867A (ko) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 | |
TWI533705B (zh) | 用於內容脈絡集選擇之方法及裝置 | |
JP2004350072A (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170929 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6239713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |