JP6768017B2 - 動画像復号装置及び動画像符号化装置 - Google Patents
動画像復号装置及び動画像符号化装置 Download PDFInfo
- Publication number
- JP6768017B2 JP6768017B2 JP2018017247A JP2018017247A JP6768017B2 JP 6768017 B2 JP6768017 B2 JP 6768017B2 JP 2018017247 A JP2018017247 A JP 2018017247A JP 2018017247 A JP2018017247 A JP 2018017247A JP 6768017 B2 JP6768017 B2 JP 6768017B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- unit
- motion vector
- coding
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 901
- 230000033001 locomotion Effects 0.000 claims description 538
- 238000000034 method Methods 0.000 claims description 153
- 238000012545 processing Methods 0.000 claims description 137
- 230000008569 process Effects 0.000 claims description 96
- 230000002123 temporal effect Effects 0.000 claims description 46
- 238000005192 partition Methods 0.000 description 86
- 238000011156 evaluation Methods 0.000 description 61
- 238000006243 chemical reaction Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 47
- 238000013139 quantization Methods 0.000 description 45
- 230000008859 change Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 19
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
動画像符号化装置及び動画像復号装置における動き補償処理では、前方または後方のピクチャを参照して、マクロブロック単位で動きベクトルの検出や予測画像の生成を行う。
このとき、1枚のピクチャのみを参照して、画面間予測符号化を行うものをPピクチャと称し、同時に2枚のピクチャを参照して、画面間予測符号化を行うものをBピクチャと称する。
即ち、符号化対象のマクロブロックには、動きベクトルの符号化データを持たず、符号化済みの他のピクチャのマクロブロックの動きベクトルや、周囲のマクロブロックの動きベクトルを用いる所定の演算処理で、符号化対象のマクロブロックの動きベクトルを生成する符号化モードを選択することができる。
時間ダイレクトモードでは、符号化済みの他ピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象のピクチャとの時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックの動きベクトルを生成する。
空間ダイレクトモードでは、符号化対象のマクロブロックの周囲に位置している少なくとも1つ以上の符号化済みマクロブロックの動きベクトルを参照し、それらの動きベクトルから符号化対象のマクロブロックの動きベクトルを生成する。
このダイレクトモードでは、スライスヘッダに設けられたフラグである“direct_spatial_mv_pred_flag”を用いることにより、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方を選択することが可能である。
ただし、ダイレクトモードの中で、変換係数を符号化しないモードをスキップモードと称する。以下、ダイレクトモードと記載するときは、スキップモードも含まれるものとする。
図11において、「P」はPピクチャを表し、「B」はBピクチャを表している。
また、数字0−3はピクチャの表示順を示し、時間T0,T1,T2,T3の表示画像であることを表している。
ピクチャの符号化処理は、P0,P3,B1,B2の順番で行われているものとする。
この場合、ピクチャB2の時間軸上後方にある符号化済みピクチャのうち、ピクチャB2に一番近いピクチャP3の動きベクトルであって、マクロブロックMB1と空間的に同じ位置にあるマクロブロックMB2の動きベクトルMVを用いる。
この動きベクトルMVはピクチャP0を参照しており、マクロブロックMB1を符号化する際に用いる動きベクトルMVL0,MVL1は、以下の式(1)で求められる。
図12において、currentMBは、符号化対象のマクロブロックを表している。
このとき、符号化対象のマクロブロックの左横の符号化済マクロブロックAの動きベクトルをMVa、符号化対象のマクロブロックの上の符号化済マクロブロックBの動きベクトルをMVb、符号化対象のマクロブロックの右上の符号化済マクロブロックCの動きベクトルをMVcとすると、下記の式(2)に示すように、これらの動きベクトルMVa,MVb,MVcのメディアン(中央値)を求めることにより、符号化対象のマクロブロックの動きベクトルMVを算出することができる。
MV=median(MVa、MVb、MVc) (2)
空間ダイレクトモードでは、前方及び後方のそれぞれについて動きベクトルを求めるが、どちらも上記の方法を用いて求めることが可能である。
参照画像リストに対して時間的に近いものから順番に格納され、通常はリスト0が前方向の参照画像を示し、リスト1が後方向の参照画像を示している。ただし、リスト1が前方向の参照画像を示し、リスト0は後方向の参照画像を示していてもよいし、リスト0とリスト1の双方が、前方向と後方向の参照画像を示していてもよい。また、並び順も時間的に近いものから並べる必要はない。
例えば、以下の非特許文献1には、参照画像リストがスライス毎に並び替えることが可能であることが記載されている。
実施の形態1.
この実施の形態1では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態1の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。
各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
図1において、符号化制御部1は動き補償予測処理(フレーム間予測処理)又はイントラ予測処理(フレーム内予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部1は利用可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード(ダイレクトモードのインター符号化モードを含む))の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部1は符号化制御手段を構成している。
イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、符号化制御部1から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ3及びイントラ予測部4からイントラ予測手段が構成されている。
また、動き補償予測部5はブロック分割部2により分割された符号化ブロックに適する符号化モードとして、符号化制御部1によりダイレクトモード以外のインター符号化モードが選択された場合、当該符号化ブロックと動き補償予測フレームメモリ12に格納されている参照画像から動きベクトルを探索し、その動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ3及び動き補償予測部5から動き補償予測手段が構成されている。
変換・量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部7は画像圧縮手段を構成している。
イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。
動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。
図2において、切替スイッチ21は符号化制御部1により選択された符号化モードがダイレクトモード以外のインターモードである場合、ブロック分割部2により分割された符号化ブロックを動きベクトル探索部22に出力する一方、その符号化モードがダイレクトモードのインターモードである場合、ブロック分割部2により分割された符号化ブロックをダイレクトベクトル生成部23に出力する処理を実施する。
なお、ダイレクトベクトル生成部23では、ダイレクトベクトルを生成する際に、ブロック分割部2により分割された符号化ブロックを用いないので、その符号化ブロックをダイレクトベクトル生成部23に出力しないようにしてもよい。
ダイレクトベクトル生成部23は当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択する処理を実施する。
なお、動き補償処理部24は、動き補償予測処理を実施する際に用いたインター予測パラメータを可変長符号化部13に出力する。符号化制御部1により選択された符号化モードがダイレクトモード以外のインターモードである場合、動きベクトル探索部22により探索された動きベクトルを当該インター予測パラメータに含めて可変長符号化部13に出力する。
図3において、空間ダイレクトベクトル生成部31は符号化済みのブロックの動きベクトル(符号化済みのブロックの動きベクトルは、図示せぬ動きベクトルメモリ、あるいは、動き補償予測部5の内部メモリに格納されている)の中から、符号化ブロックの周囲に位置している符号化済みのブロックの動きベクトルを読み出し、その動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成する処理を実施する。
時間ダイレクトベクトル生成部32は符号化済みのブロックの動きベクトルの中から、符号化ブロックが参照可能な符号化済みピクチャの動きベクトルであって、符号化ブロックと空間的に同じ位置にあるブロックの動きベクトルを読み出し、その動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成する処理を実施する。
図4において、動き補償部41は空間ダイレクトベクトル生成部31により生成された空間ダイレクトベクトルを用いて、空間ダイレクトモードのリスト0予測画像(例えば、空間ダイレクトモードの前方予測画像)と空間ダイレクトモードのリスト1予測画像(例えば、空間ダイレクトモードの後方予測画像)を生成するとともに、時間ダイレクトベクトル生成部32により生成された時間ダイレクトベクトルを用いて、時間ダイレクトモードのリスト0予測画像(例えば、時間ダイレクトモードの前方予測画像)と時間ダイレクトモードのリスト1予測画像(例えば、時間ダイレクトモードの後方予測画像)を生成する処理を実施する。
ダイレクトベクトル選択部43は類似度算出部42により算出された空間ダイレクトモードにおけるリスト0予測画像(前方予測画像)とリスト1予測画像(後方予測画像)の類似度と、時間ダイレクトモードにおけるリスト0予測画像(前方予測画像)とリスト1予測画像(後方予測画像)の類似度とを比較し、空間ダイレクトベクトル又は時間ダイレクトベクトルのうち、リスト0予測画像(前方予測画像)とリスト1予測画像(後方予測画像)の類似度が高い方のダイレクトモードのダイレクトベクトルを選択する処理を実施する。
図5において、可変長復号部51はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部55に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ52に出力する処理を実施する。なお、可変長復号部51は可変長復号手段を構成している。
イントラ予測部53は切替スイッチ52から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ52及びイントラ予測部53からイントラ予測手段が構成されている。
また、動き補償予測部54は可変長復号部51から出力された符号化ブロックに係る符号化モードがダイレクトモード以外のインター符号化モードである場合、可変長復号部51から出力されたインター予測パラメータに含まれている動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ52及び動き補償予測部54から動き補償予測手段が構成されている。
イントラ予測用メモリ57はイントラ予測部53により次回のイントラ予測処理で用いられる画像として、加算部56により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。
動き補償予測フレームメモリ59は動き補償予測部54により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部58によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。
図6において、切替スイッチ61は可変長復号部51から出力された符号化ブロックに係る符号化モードがダイレクトモード以外のインターモードである場合、可変長復号部51から出力されたインター予測パラメータ(動きベクトルを含む)を動き補償処理部63に出力し、その符号化モードがダイレクトモードのインターモードである場合、可変長復号部51から出力されたインター予測パラメータをダイレクトベクトル生成部62に出力する処理を実施する。
また、ダイレクトベクトル生成部62は切替スイッチ61から出力されたインター予測パラメータを動き補償処理部63に出力する処理を実施する。
なお、ダイレクトベクトル生成部62の内部構成は、図2のダイレクトベクトル生成部23と同じである。
図7はこの発明の実施の形態1による動画像符号化装置の処理内容を示すフローチャートである。
図8はこの発明の実施の形態1による動画像復号装置の処理内容を示すフローチャートである。
最初に、図1の動画像符号化装置の処理内容を説明する。
まず、符号化制御部1は、動き補償予測処理(フレーム間予測処理)又はイントラ予測処理(フレーム内予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する(図7のステップST1)。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
符号化制御部1による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
ここで、図9は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図9の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分で(L0,M0)のサイズを有している。
また、図9の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。
ただし、LnとMnは同じであってもよいし異なっていてもよいが、図9の例ではLn=Mnのケースを示している。
以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズ(Ln,Mn)と定義する。
ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは(Ln/2,Mn/2)である。
以降、第n階層の符号化ブロックBnで選択しうる符号化モードをm(Bn)と記する。
符号化モードm(Bn)には、1つないし複数のイントラ符号化モード(総称して「INTRA」)、1つないし複数のインター符号化モード(総称して「INTER」)があり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。
以降、符号化ブロックBnに属するパーティションをPi n(i: 第n階層におけるパーティション番号)と表記する。
符号化ブロックBnに属するパーティションPi nの分割がどのようになされているかは符号化モードm(Bn)の中に情報として含まれる。
パーティションPi nは、すべて符号化モードm(Bn)に従って予測処理が行われるが、パーティションPi n毎に、個別の予測パラメータを選択することができる。
図10(a)の網がけ部分は分割後のパーティションの分布を示し、また、図10(b)は階層分割後のパーティションに符号化モードm(Bn)が割り当てられる状況を4分木グラフで示している。
図10(b)において、□で囲まれているノードが、符号化モードm(Bn)が割り当てられたノード(符号化ブロックBn)を示している。
一方、その符号化モードm(Bn)がインター符号化モードであれば(ステップST3)、ブロック分割部2により分割された符号化ブロックBnのパーティションPi nを動き補償予測部5に出力する。
イントラ予測部4は、イントラ予測画像Pi nを生成すると、そのイントラ予測画像Pi nを減算部6及び加算部9に出力するが、図5の動画像復号装置でも同じイントラ予測画像Pi nを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部13に出力する。この実施の形態1におけるイントラ予測処理は、AVC/H.264規格(ISO/IEC 14496−10)に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、動画像符号化装置側と動画像復号装置側でまったく同じイントラ予測画像を生成するために必要な情報を含む必要がある。
そして、動き補償予測部5は、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトル及び符号化モードm(Bn)に対応するインター予測パラメータを用いて、符号化ブロックBnのパーティションPi nに対する動き補償予測処理を実施して、インター予測画像Pi nを生成する(ステップST5)。
動き補償予測部5は、インター予測画像Pi nを生成すると、そのインター予測画像Pi nを減算部6及び加算部9に出力するが、図5の動画像復号装置でも同じインター予測画像Pi nを生成できるようにするため、そのインター予測パラメータを可変長符号化部13に出力する。インター予測画像の生成に用いられたインター予測パラメータには、
・ 符号化ブロックBn内のパーティション分割を記述するモード情報
・ 各パーティションの動きベクトル
・ 動き補償予測フレームメモリ12内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測を行うかを示す参照画像指示インデックス情報
・ 複数の動きベクトル予測値候補がある場合にいずれの動きベクトル予測値を選択して使用するかを示すインデックス情報
・ 複数の動き補償内挿フィルタがある場合にいずれのフィルタを選択して使用するかを示すインデックス情報
・ 当該パーティションの動きベクトルが複数の画素精度(半画素、1/4画素、1/8画素など)を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
などの情報を含み、動画像復号装置側でまったく同じインター予測画像を生成するために、可変長符号化部13によってビットストリームに多重化される。
動き補償予測部5の処理内容の概略は上記の通りであるが、詳細な処理内容は後述する。
加算部9は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ10に格納するとともに、その局所復号画像信号をループフィルタ部11に出力する。
可変長符号化部13は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データを多重化してビットストリームを生成する(ステップST12)。
ループフィルタ部11 によるフィルタリング処理は、加算器9から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が出力された後に1画面分まとめて行ってもよい。
動き補償予測部5の切替スイッチ21は、符号化制御部1により選択された符号化モードm(Bn)がダイレクトモード以外のインターモードである場合、ブロック分割部2により分割された符号化ブロックBnのパーティションPi nを動きベクトル探索部22に出力する。
一方、符号化モードm(Bn)がダイレクトモードのインターモードである場合、ブロック分割部2により分割された符号化ブロックBnのパーティションPi nをダイレクトベクトル生成部23に出力する。
ただし、ダイレクトベクトル生成部23では、ダイレクトベクトルの生成に符号化ブロックBnのパーティションPi nを用いないので、当該符号化モードm(Bn)がダイレクトモードのインターモードであっても、符号化ブロックBnのパーティションPi nをダイレクトベクトル生成部23に出力しないようにしてもよい。
インターモードで最適な動きベクトルを探索する処理自体は公知の技術であるため詳細な説明を省略する。
なお、符号化ブロックBnに属するパーティションPi nの分割状態を示す情報は、上述したように、符号化モードm(Bn)の中に含まれているので、ダイレクトベクトル生成部23は、符号化モードm(Bn)を参照することで、符号化ブロックBnのパーティションPi nを特定することができる。
また、ダイレクトベクトル生成部23の時間ダイレクトベクトル生成部32は、符号化済みブロックの動きベクトルの中から、符号化ブロックBnが参照可能な符号化済みピクチャの動きベクトルであって、符号化ブロックBnのパーティションPi nと空間的に同じ位置にあるブロックの動きベクトルを読み出し、その動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成する。
例えば、ピクチャB2の中のブロックMB1が符号化対象のパーティションPi nであり、ブロックMB1を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャB2の時間軸上後方にある符号化済みピクチャのうち、ピクチャB2に一番近いピクチャP3の動きベクトルであって、ブロックMB1と空間的に同じ位置にあるブロックMB2の動きベクトルMVを用いる。
この動きベクトルMVはピクチャP0を参照しており、ブロックMB1を符号化する際に用いる動きベクトルMVL0,MVL1は、以下の式(3)で求められる。
時間ダイレクトベクトル生成部32は、動きベクトルMVL0,MVL1を算出すると、その動きベクトルMVL0,MVL1を時間ダイレクトモードの時間ダイレクトベクトルとしてダイレクトベクトル判定部33に出力する。
ただし、時間ダイレクトベクトル生成部32における時間ダイレクトベクトルの生成方法は、図11に示すようなH.264方式を用いてもよいが、これに限るものではなく、他の方法を用いてもよい。
図12において、currentMBは、符号化対象のブロックであるパーティションPi nを表している。
このとき、符号化対象のブロックの左横の符号化済ブロックAの動きベクトルをMVa、符号化対象のブロックの上の符号化済ブロックBの動きベクトルをMVb、符号化対象のブロックの右上の符号化済ブロックCの動きベクトルをMVcとすると、下記の式(4)に示すように、これらの動きベクトルMVa,MVb,MVcのメディアン(中央値)を求めることにより、符号化対象のブロックの動きベクトルMVを算出することができる。
MV=median(MVa、MVb、MVc) (4)
空間ダイレクトベクトル生成部31は、上記のようにして、リスト0及びリスト1の動きベクトルMVを算出すると、リスト0及びリスト1の動きベクトルMVを空間ダイレクトモードの空間ダイレクトベクトルとしてダイレクトベクトル判定部33に出力する。
ただし、空間ダイレクトベクトル生成部31における空間ダイレクトベクトルの生成方法は、図12に示すようなH.264方式を用いてもよいが、これに限るものではなく、他の方法を用いてもよい。
また、空間ダイレクトベクトルの生成に用いるMV候補が違うref_Idxの場合は、図14に示すように、時間方向の距離に応じてスケーリングを行うようにしてもよい。
ただし、scaled_MVはスケーリング後のベクトル、MVはスケーリング前の動きベクトル、d(x)はxまでの時間的な距離を示している。
また、Xrは符号化対象のブロックが示す参照画像、Yrはスケーリングの対象となるブロック位置A−Dが示す参照画像を示している。
また、ダイレクトベクトル判定部33は、時間ダイレクトベクトル生成部32が時間ダイレクトベクトルを生成すると、その時間ダイレクトベクトルを用いて、時間ダイレクトモードの評価値を算出する。
ダイレクトベクトル判定部33は、その空間ダイレクトモードの評価値と時間ダイレクトモードの評価値を比較し、その空間ダイレクトベクトル又は時間ダイレクトベクトルのうち、以下に記載するような判定手段によってダイレクトモードのダイレクトベクトルを選択して動き補償処理部24に出力する。
ダイレクトベクトル判定部33の動き補償部41は、空間ダイレクトベクトル生成部31が空間ダイレクトベクトルMVL0,MVL1を生成すると、その空間ダイレクトベクトルMVL0を用いて、空間ダイレクトモードのリスト0予測画像を生成し、その空間ダイレクトベクトルMVL1を用いて、空間ダイレクトモードのリスト1予測画像を生成する。
ここで、図15は前方予測画像と後方予測画像の類似度による評価値の算出例を示す説明図であるが、図15の例では、空間ダイレクトモードのリスト0予測画像として、前方予測画像fspatialを生成し、空間ダイレクトモードのリスト1予測画像として、後方予測画像gspatialを生成している。
図15の例では、時間ダイレクトモードのリスト0予測画像として、時間ダイレクトモードの前方予測画像ftemporalを生成し、時間ダイレクトモードのリスト1予測画像として、後方予測画像gtemporalを生成している。
また、前方向の参照画像を示す参照画像リスト0と、更に前方向の参照画像を示す参照画像リスト1を用いて、リスト0予測画像及びリスト1予測画像として、前方予測画像を生成するようにしてもよい(詳細は後述する)。
式(6)では、説明の便宜上、空間ダイレクトモードのリスト0予測画像が前方予測画像fspatial、空間ダイレクトモードのリスト1予測画像が後方予測画像gspatialとしている。
SADspatial=|fspatial−gspatial| (6)
式(7)では、説明の便宜上、時間ダイレクトモードのリスト0予測画像が前方予測画像ftemporal、時間ダイレクトモードのリスト1予測画像が後方予測画像gtemporalとしている。
SADtemporal=|ftemporal−gtemporal|(7)
また、ダイレクトベクトルで予測する画像は、符号化対象のブロックに似ている画像を予測するはずである。2つのベクトルを用いて予測画像を生成する場合、それぞれのベクトルが予測する画像は符号化対象のブロックに似ているはずであり、これは2つの参照画像の相関が高いことを示している。
したがって、評価値SADが小さい方のダイレクトベクトルを選択することで、参照画像間の相関が高いモードを選ぶことができ、ダイレクトモードの精度を高めることができる。
一方、時間ダイレクトモードにおける前方予測画像ftemporalと後方予測画像gtemporalの類似度が、空間ダイレクトモードにおける前方予測画像fspatialと後方予測画像gspatialの類似度より高い場合(SADspatial>SADtemporal)、時間ダイレクトベクトル生成部32により生成された時間ダイレクトベクトルを選択し、その時間ダイレクトベクトルを動きベクトルとして動き補償処理部24に出力する。
一方、符号化モードm(Bn)がダイレクトモードであるとき、ダイレクトベクトル生成部23から動きベクトル(ダイレクトベクトル選択部43により選択されたダイレクトベクトル)を受けると、その動きベクトルと動き補償予測フレームメモリ12に格納されている1フレームの参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する。
なお、動き補償処理部24の動き補償予測処理は公知の技術であるため詳細な説明を省略する。
可変長復号部51は、図1の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する(図8のステップST21)。
可変長復号部51は、図1の符号化制御部1と同様の手順で、動き補償予測処理(フレーム間予測処理)又はイントラ予測処理(フレーム内予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する(ステップST22)。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
可変長復号部51は、各々の符号化ブロックBnを特定すると、その符号化ブロックBnの符号化モードm(Bn)を復号し、その符号化モードm(Bn)に属しているパーティションPi nの情報に基づいて、符号化ブロックBnに属しているパーティションPi nを特定する。
可変長復号部51は、符号化ブロックBnに属しているパーティションPi nを特定すると、パーティションPi n毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを復号する(ステップST24)。
一方、パーティションPi nの符号化モードm(Bn)がインター符号化モードである場合(ステップST25)、可変長復号部51から出力されたインター予測パラメータを動き補償予測部54に出力する。
イントラ予測部53は、切替スイッチ52からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、その符号化ブロックBnのパーティションPi nに対するイントラ予測処理を実施して、イントラ予測画像Pi nを生成する(ステップST26)。
動き補償予測部54は、空間ダイレクトモードの空間ダイレクトベクトルと時間ダイレクトモードの時間ダイレクトベクトルを生成すると、図1の動き補償予測部5と同様に、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトル及びインター予測パラメータを用いて、符号化ブロックBnのパーティションPi nに対する動き補償予測処理を実施して、インター予測画像Pi nを生成する(ステップST27)。
ループフィルタ部58は、加算器56から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ59に格納する(ステップST31)。
ループフィルタ部58によるフィルタリング処理は、加算器56から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が出力された後に1画面分まとめて行ってもよい。
上記実施の形態1では、動き補償予測部5,54(具体的には、類似度算出部42)が、空間ダイレクトモードの評価値SADspatialとして、空間ダイレクトモードの前方予測画像fspatialと後方予測画像gspatialの類似度を算出する一方、時間ダイレクトモードの評価値SADtemporalとして、時間ダイレクトモードの前方予測画像ftemporalと後方予測画像gtemporalの類似度を算出するものについて示したが、空間ダイレクトモードの評価値として、符号化ブロックBnの周囲に位置している符号化済みブロック(復号済みブロック)の動きベクトルの分散値σ(spatial)を算出する一方、時間ダイレクトモードの評価値として、符号化ブロックBnが参照可能な符号化済みピクチャ(復号済みピクチャ)において、符号化ブロックBnと空間的に同じ位置にあるブロックの周囲に位置している符号化済みブロック(復号済みブロック)の動きベクトルの分散値σ(temporal)を算出するようにしてもよく、上記実施の形態1と同様の効果を奏することができる。
また、類似度算出部42が、時間ダイレクトモードの評価値SADtemporalとして、時間ダイレクトモードの前方予測画像ftemporalと後方予測画像gtemporalの類似度を算出する代わりに、図16(b)に示すように、符号化ブロックBnが参照可能な符号化済みピクチャ(復号済みピクチャ)において、符号化ブロックBnと空間的に同じ位置にあるブロックの周囲に位置している符号化済みブロック(復号済みブロック)の動きベクトルの分散値σ(temporal)を算出する(下記の式(8)を参照)。
一方、動きベクトルの分散値σ(temporal)が動きベクトルの分散値σ(spatial)より大きい場合、時間ダイレクトモードの動きベクトル(時間ダイレクトベクトル)の信頼性が低いと判断して、空間ダイレクトモードの動きベクトル(空間ダイレクトベクトル)を選択する。
例えば、図17のような空間ベクトルMV_A,MV_B,MV_Cや、時間ベクトルMV_1〜MV_8を候補ベクトルに加えて、これらの空間ベクトルや時間ベクトルからダイレクトベクトルを選択するようにしてもよい。
また、図18に示すように、複数の符号化済ベクトルから1つのベクトルを生成し、そのベクトルを候補ベクトルに加えるようにしてもよい。
このように、候補ベクトルを増やすことで処理量は増加するが、ダイレクトベクトルの確度が向上して、符号化効率を向上させることができる。
どのベクトルを候補とするかを示す情報はスライスヘッダに多重する。
例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする一方、カメラが固定な映像では空間ベクトルの効果が大きいため候補に加えるなどの方法が考えられる。
候補となるベクトルの切り替えは、例えば、ベクトル毎にオン/オフのフラグを設け、そのフラグがオンのベクトルのみを候補とする方法が考えられる。
選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えてもよい。また、選択候補となるセットを一つ以上用意して、その候補セットのインデックスを符号化するようにしてもよい。
また、選択候補はパーティションブロックサイズ毎に一意に決定しておいてもよい。一般的にブロックサイズが小さくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。そのため、例えば、メディアン予測で決定される動きベクトルを候補から外すことで、符号化効率を落とさずに処理量を減らすことができる。
ゼロベクトルとする場合は、候補が増えるため、符号化効率を向上させることができるが、処理量が増える。ダイレクトベクトルの候補から外す場合は処理量を減らすことができる。
ダイレクトベクトルを予測ベクトルとして使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。
この場合、時間ベクトルは、下記の式(9)(10)で表される。
また、dは時間的な距離を示し、d0はリスト0の参照画像の時間的距離を示し、d1はリスト0の参照画像の時間的距離を示すものとする。
さらに、vcolとdcolは参照画像中で空間的に同じ位置にあるブロックのベクトルと、そのベクトルが示す参照画像の時間的な距離を示すものとする。
この場合、2つの参照画像リストに同じ参照画像がセットされていれば、時間ベクトルは使用せずに、空間ベクトルのみで判断することが考えられる。違う参照画像がセットされている場合は前述の方式で対応可能である。
この場合、例えば、複数のベクトル候補のうち、閾値Th以下の評価値SADになる候補の全てを使用して予測画像を生成する方法が考えられる。また、参照画像リストもそのベクトル分保持している。
また、閾値Th以下の候補の全てを使用するのではなく、スライスヘッダなどに、予め使用する最大ベクトル数を定めておき、評価値の小さい候補から最大ベクトル数分用いて予測画像を生成するようにしてもよい。
一般的に、予測画像に用いる参照画像が多い程、性能が向上することが知られている。そのため、処理量は増えるが、符号化効率の向上に寄与する。
この場合は、図20に示すようなL字型の画像を用いて行うことが考えられる。
また、空間的に隣接する画像を用いる場合、パイプライン処理の都合で符号化済みの画像が間に合わない可能性もある。この場合、代わりに予測画像を用いることが考えられる。
例えば、図21に示すように、符号化ブロックBnのサイズがLn=kMnとなる場合が考えられる。
次の分割では、(Ln+1,Mn+1)=(Ln,Mn)となり、以降の分割は、図9と同様の分割を行ってもよいし、(Ln+1,Mn+1)=(Ln/2,Mn/2)のように分割を行ってもよい(図22を参照)。
また、図23に示すように、図21と図22の分割のどちらかを選択できるようにしてもよい。選択できるようにした場合は、どちらの分割を選択したかを示すフラグを符号化する。このケースは、例えば、非特許文献1のH.264のような16×16を1つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持することができる。
上記では、符号化ブロックBnのサイズがLn=kMnとなる場合を示したが、kLn=Mnのように縦に連結したものであっても、同様の考えで分割が可能であることは言うまでもない。
上記分割は、パーティション単位で行ってもよいし、符号化ブロック単位で行ってもよい。
上記変換は、正方形での変換を仮定しているが、長方形など、他の矩形での変換であってもよい。
上記実施の形態1では、動き補償予測部5,54のダイレクトベクトル生成部23,62が、空間ダイレクトベクトルと時間ダイレクトベクトルを生成するものを示したが、その空間ダイレクトベクトルと時間ダイレクトベクトルを生成する際、初期探索点を決定し、その初期探索点の周囲を探索することで、ダイレクトベクトルを決定するようにしてもよい。
ダイレクトベクトル生成部25は空間ダイレクトベクトルと時間ダイレクトベクトルを生成する処理を実施する。
図26において、初期ベクトル生成部34は符号化済みのブロックの動きベクトルから初期ベクトルを生成する処理を実施する。
動きベクトル探索部35は初期ベクトル生成部34により生成された初期ベクトルが示す初期探索点の周囲を探索することで、ダイレクトベクトルを決定する処理を実施する。
図27において、空間ベクトル生成部71は例えば図3の空間ダイレクトベクトル生成部31と同様の方法で、符号化済みのブロックの動きベクトルから空間ベクトルを生成する処理を実施する。
時間ベクトル生成部72は例えば図3の時間ダイレクトベクトル生成部32と同様の方法で、符号化済みのブロックの動きベクトルから時間ベクトルを生成する処理を実施する。
初期ベクトル判定部73は空間ベクトル生成部71により生成された空間ベクトル又は時間ベクトル生成部72により生成された時間ベクトルのいずれか一方を初期ベクトルとして選択する処理を実施する。
図28において、動き補償部81は図4の動き補償部41と同様の方法で、空間ダイレクトモードのリスト0予測画像、空間ダイレクトモードのリスト1予測画像、時間ダイレクトモードのリスト0予測画像及び時間ダイレクトモードのリスト1予測画像を生成する処理を実施する。
初期ベクトル決定部83は類似度算出部82により算出された空間評価値と時間評価値を比較し、その比較結果にしたがって、空間ベクトル又は時間ベクトルを選択する処理を実施する。
ダイレクトベクトル生成部64は空間ダイレクトベクトルと時間ダイレクトベクトルを生成する処理を実施する。
なお、ダイレクトベクトル生成部64の内部構成は、図25のダイレクトベクトル生成部25と同じである。
上記実施の形態1と比較して、動き補償予測部5,54のダイレクトベクトル生成部23,62が、ダイレクトベクトル生成部25,64に代えられている点以外は同じであるため、ダイレクトベクトル生成部25,64の処理内容のみを説明する。
ただし、ダイレクトベクトル生成部25,64の処理内容は同じであるため、ダイレクトベクトル生成部25の処理内容を説明する。
即ち、初期ベクトル生成部34の空間ベクトル生成部71は、例えば、図3の空間ダイレクトベクトル生成部31と同様の方法で、符号化済みのブロックの動きベクトルから空間ベクトルを生成する。ただし、他の方法で空間ベクトルを生成するようにしてもよい。
初期ベクトル生成部34の時間ベクトル生成部72は、例えば、図3の時間ダイレクトベクトル生成部32と同様の方法で、符号化済みのブロックの動きベクトルから時間ベクトルを生成する。ただし、他の方法で時間ベクトルを生成するようにしてもよい。
即ち、初期ベクトル判定部73の動き補償部81は、図4の動き補償部41と同様の方法で、空間ダイレクトモードのリスト0予測画像、空間ダイレクトモードのリスト1予測画像、時間ダイレクトモードのリスト0予測画像及び時間ダイレクトモードのリスト1予測画像を生成する。
初期ベクトル判定部73の初期ベクトル決定部83は、類似度算出部82により算出された空間評価値と時間評価値の比較結果を参照することで、空間ベクトル又は時間ベクトルのうち、予測画像間の類似度が高い方のベクトルを選択する。
探索の際の評価は、例えば、図28の類似度算出部82と同等の処理を行うようにしてもよい。この場合、初期ベクトルが示す位置をvとすると、下記の式(11)のように、探索の評価値SADを算出する。
ただし、探索範囲nは固定でもよいし、スライスヘッダなど上位ヘッダで決定してもよい。また、探索点の分布範囲(探索範囲)を正方形と仮定しているが、矩形でもよいし、ひし形などでもよい。
例えば、図17のような空間ベクトルMV_A,MV_B,MV_Cや、時間ベクトルMV_1〜MV_8を候補ベクトルに加えて、これらの空間ベクトルや時間ベクトルから初期ベクトルを選択するようにしてもよい。
また、図18に示すように、複数の符号化済ベクトルから1つのベクトルを生成し、そのベクトルを候補ベクトルに加えるようにしてもよい。
このように、候補ベクトルを増やすことで処理量は増加するが、初期ベクトルの確度が向上して、符号化効率を向上させることができる。
どのベクトルを候補とするか示す情報はスライスヘッダに多重する。
例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする一方、カメラが固定な映像では時間ベクトルの効果が大きいため候補に加えるなどの方法が考えられる。
候補となるベクトルの切り替えは、例えば、ベクトル毎にオン/オフのフラグを設け、そのフラグがオンのベクトルのみを候補とする方法が考えられる。
選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えてもよい。また、選択候補となるセットを一つ以上用意して、その候補セットのインデックスを符号化するようにしてもよい。
また、選択候補はパーティションブロックサイズ毎に一意に決定しておいてもよい。一般的にブロックサイズが小さくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。そのため、例えば、メディアン予測で決定される動きベクトルを候補から外すことで、符号化効率を落とさずに処理量を減らすことができる。
ゼロベクトルとする場合は、候補が増えるため、符号化効率を向上させることができるが処理量が増える。ダイレクトベクトルの候補から外す場合は処理量を減らすことができる。
ダイレクトベクトルを予測ベクトルとして使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。
この場合、時間ベクトルは、下記の式(12)(13)で表される。
また、dは時間的な距離を示し、d0はリスト0の参照画像の時間的距離を示し、d1はリスト0の参照画像の時間的距離を示すものとする。
さらに、vcolとdcolは参照画像中で空間的に同じ位置にあるブロックのベクトルと、そのベクトルが示す参照画像の時間的な距離を示すものとする。
この場合、2つの参照画像リストに同じ参照画像がセットされていれば、時間ベクトルは使用せずに、空間ベクトルのみで判断することが考えられる。違う参照画像がセットされている場合は前述の方式で対応可能である。
この場合、例えば、複数のベクトル候補のうち、閾値Th以下の評価値SADになる候補の全てを使用して予測画像を生成する方法が考えられる。
また、閾値Th以下の候補の全てを使用するのではなく、スライスヘッダなどに、予め使用する最大ベクトル数を定めておき、評価値の小さい候補から最大ベクトル数分用いて予測画像を生成するようにしてもよい。
この場合は、図20に示すようなL字型の画像を用いて行うことが考えられる。
また、空間的に隣接する画像を用いる場合、パイプライン処理の都合で符号化済みの画像が間に合わない可能性もある。この場合、代わりに予測画像を用いることが考えられる。
この場合、符号化効率が落ちるが、処理量を大きく削減することができる効果がある。
ただし、フラグはスライス単位でもよいし、シーケンスやピクチャなどの上位レイヤで決定してもよい。フラグがオフであって、動き探索を行わない場合は、上記実施の形態1と同等の動作を行う。
所定のサイズ以下に制限するか否かを示すフラグや、どのブロックサイズ以下にするかを示す情報は、スライスなど上位ヘッダに多重してもよいし、最大CUサイズに応じて変化させてもよい。
ブロックサイズが小さくなると、参照画像間の相関が低くなり、誤差が大きくなる傾向にある。そのため、どちらのベクトルを選択しても、あまり性能に影響がでないケースも多く、大きなブロックサイズでの処理をオフにすることで、符号化性能を落とすことなく処理量を減らす効果がある。
上記実施の形態1では、動き補償予測部5,54が、符号化ブロックの周囲に位置している符号化済みブロック(復号済みブロック)の動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャ(復号済みピクチャ)の動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択するものについて示したが、動画像符号化装置の動き補償予測部5では、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を可変長符号化部13に出力するようにしてもよい。
一方、動画像復号装置の動き補償予測部54では、ビットストリームに多重化されているインデックス情報が示す動きベクトルを用いて、符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するようにしてもよい。
ダイレクトベクトル生成部26は選択可能な動きベクトルと、その動きベクトルを示すインデックス情報とが記述されているダイレクトベクトル候補インデックスを参照して、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルをダイレクトベクトルとして動き補償処理部24に出力するとともに、その動きベクトルを示すインデックス情報を可変長符号化部13に出力する処理を実施する。
なお、可変長符号化部13は圧縮データや符号化モード等を可変長符号化する際、そのインデックス情報をインター予測パラメータに含めて可変長符号化する。
ダイレクトベクトル生成部65は選択可能な動きベクトルと、その動きベクトルを示すインデックス情報とが記述されているダイレクトベクトル候補インデックスを入力し、そのダイレクトベクトル候補インデックスから、インター予測パラメータに含まれているインデックス情報が示す動きベクトルを読み出し、その動きベクトルをダイレクトベクトルとして動き補償処理部63に出力する処理を実施する。
上記実施の形態1と比較して、動き補償予測部5,54のダイレクトベクトル生成部23,62が、ダイレクトベクトル生成部26,65に代えられている点以外は同じであるため、ダイレクトベクトル生成部26,65の処理内容のみを説明する。
即ち、ダイレクトベクトル生成部26は、図33に示すようなダイレクトベクトル候補インデックスを参照して、選択可能な1以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択する。
図33の例では、5個の動きベクトルが選択可能な動きベクトルとして列挙されているが、空間予測では、「median」が一番多く選ばれるため、「median」にインデックス0が割り当てられている。
例えば、コストRが最小の動きベクトルとして「median」を選択していれば、インデックス0を可変長符号化部13に出力し、「MV_A」を選択していれば、インデックス1を可変長符号化部13に出力する。
可変長符号化部13は、ダイレクトベクトル生成部26からインデックス情報を受けると、圧縮データや符号化モード等を可変長符号化する際、そのインデックス情報をインター予測パラメータに含めて可変長符号化する。
即ち、ダイレクトベクトル生成部65は、図31のダイレクトベクトル生成部26と同じダイレクトベクトル候補インデックスを入力しており(例えば、図33のダイレクトベクトル候補インデックス)、切替スイッチ61からインデックス情報を含むインター予測パラメータを受けると、そのダイレクトベクトル候補インデックスから、そのインデックス情報が示す動きベクトルを読み出し、その動きベクトルをダイレクトベクトルとして動き補償処理部63に出力する。
例えば、インデックス情報がインデックス0であれば、ダイレクトベクトルとして「median」を出力し、インデックス情報がインデックス1であれば、ダイレクトベクトルとして「MV_A」を出力する。
ゼロベクトルとする場合は、候補が増えるため、符号化効率を向上させることができるが、処理量が増える。ダイレクトベクトルの候補から外す場合は処理量を減らすことができる。
予測ベクトルとして使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。
どのベクトルを候補とするか示す情報はスライスヘッダに多重する。
例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする一方、カメラが固定な映像では時間ベクトルの効果が大きいため候補に加えるなどの方法が考えられる。
候補となるベクトルの切り替えは、例えば、ベクトル毎にオン/オフのフラグを設け、そのフラグがオンのベクトルのみを候補とする方法が考えられる。
選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えてもよい。また、選択候補となるセットを一つ以上用意して、その候補セットのインデックスを符号化するようにしてもよい。
また、マクロブロックや符号化ブロック毎に切り替えてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率の改善が図られる。
切り替え情報の符号化は、個々のベクトルに対して、それぞれ順序を符号化してもよいし、複数のインデックスセットを用意し、どのインデックスセットを用いるかを示す情報を符号化するようにしてもよい。
また、デフォルト設定のみを決めておき、デフォルト設定と違う設定を使用するか否かを示すフラグを用意し、そのフラグがオンである場合に限り、インデックスセットを更新して設定を切り替える方法も考えられる。
また、パーティションブロックや符号化ブロック毎に切り替えてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率の改善が図られる。
例えば、図17に示すように、時間ベクトルの近傍のベクトルや、図18に示すように、周囲のベクトルの重み付け加算が行われたベクトルを候補ベクトルとして加えてもよい。
あるいは、図34に示すように、1本のベクトルのインデックス情報だけを符号化し、そのベクトルが示す参照画像に近い画像を用いる方法が考えられる。
ただし、findexはインデックス情報を符号化しているベクトルが示す参照画像、gkはベクトルMV_kが示す参照画像を表している。
また、スライス単位ではなく、符号化ブロックやパーティションなどより細かい単位で設定するようにしてもよい。この場合、画像の局所性に応じて処理量と符号化効率のバランスを図ることができる。
図35の初期ベクトル生成部36は、図26の初期ベクトル生成部34に相当する。
この実施の形態5の動き補償予測部5,54は、上記実施の形態1(または、実施の形態2,3)の機能と、上記実施の形態4の機能とを有し、上記実施の形態1(または、実施の形態2,3)の機能と上記実施の形態4の機能をスライス単位で切り替えることが可能であり、いずれかの機能を使用して、予測画像を生成することができる。
ダイレクトベクトル生成部27はダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図2のダイレクトベクトル生成部23(または、図25のダイレクトベクトル生成部25)と同様の方法で、ダイレクトベクトルを生成する一方、ダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図31のダイレクトベクトル生成部26と同様の方法で、ダイレクトベクトルを生成するとともに、そのダイレクトベクトルを示すインデックス情報を可変長符号化部13に出力する処理を実施する。
また、ダイレクトベクトル生成部27はダイレクトモード切替フラグを可変長符号化部13に出力する処理を実施する。
図37において、切替スイッチ91はダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、符号化ブロックBnのパーティションPi nを図2のダイレクトベクトル生成部23(または、図25のダイレクトベクトル生成部25)に相当する部分に出力し、インデックス情報を送信する旨を示す場合、符号化ブロックBnのパーティションPi nを図31のダイレクトベクトル生成部26に相当する部分に出力する処理を実施する。
ダイレクトベクトル生成部66はインター予測パラメータに含まれているダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図6のダイレクトベクトル生成部62(または、図29のダイレクトベクトル生成部64)と同様の方法で、ダイレクトベクトルを生成する一方、ダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図32のダイレクトベクトル生成部65と同様の方法で、ダイレクトベクトルを生成する処理を実施する。
動き補償予測部5のダイレクトベクトル生成部27は、図2のダイレクトベクトル生成部23(または、図25のダイレクトベクトル生成部25)の機能と、図31のダイレクトベクトル生成部26の機能とを有しており、外部から入力されたダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図2のダイレクトベクトル生成部23(または、図25のダイレクトベクトル生成部25)と同様の方法で、ダイレクトベクトルを生成し、そのダイレクトベクトルを動き補償処理部24に出力する。
また、ダイレクトベクトル生成部27は、そのダイレクトモード切替フラグを可変長符号化部13に出力する。
また、ダイレクトベクトル生成部27は、そのダイレクトモード切替フラグとインデックス情報を可変長符号化部13に出力する。
また、可変長符号化部13は、ダイレクトベクトル生成部27からダイレクトモード切替フラグとインデックス情報を受けると、圧縮データや符号化モード等を可変長符号化する際、そのダイレクトモード切替フラグとインデックス情報をインター予測パラメータに含めて可変長符号化する。
一方、ダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図32のダイレクトベクトル生成部65と同様の方法で、ダイレクトベクトルを生成する。
一方、高レートの場合など全符号量の中で付加情報の割合が小さい場合には、インデックス情報を付加して最適なダイレクトベクトルを使用する方が、符号化効率の向上が見込まれる。
一般的にパーティションサイズが大きくなると、動きベクトルなどの付加情報の割合が相対的に小さくなる。そのため、ある一定以上の大きさの場合は、インデックス情報を送信するモードを選択し、それより小さい場合は、インデックス情報を送信しないモードを選択するなどの構成が考えられる。
上記のように、パーティションによって決定する場合、符号化ブロックサイズ毎に、どちらを使用するかを示すフラグをスライスヘッダなど上位ヘッダに多重するようにしてもよい。
また、上記実施の形態1の機能と上記実施の形態2の機能を切り替えるようにしてもよいし、上記実施の形態1の機能と上記実施の形態3の機能を切り替えるようにしてもよいし、上記実施の形態2の機能と上記実施の形態3の機能を切り替えるようにしてもよい。
また、上記実施の形態1〜4の機能の中から、任意の機能を選択するようにしてもよい。
図39の初期ベクトル生成部37は、図26の初期ベクトル生成部34に相当する。
上記実施の形態4では、動画像符号化装置における動き補償予測部5のダイレクトベクトル生成部26が、図33に示すようなダイレクトベクトル候補インデックスを参照して、選択可能な1以上の動きベクトルを把握するものを示したが、符号化制御部1が、符号化ブロックのブロックサイズに応じて、選択可能な1以上の動きベクトルリストを生成し、選択可能な1以上の動きベクトルを示すダイレクトベクトル候補リストとダイレクトベクトル候補インデックスを参照することで、ダイレクトモードベクトルを決定してもよい。
具体的には、以下の通りである。
したがって、パーティションのブロックサイズが小さい程、選択可能な動きベクトルの候補数を減らすことができる。
図41から明らかなように、パーティションのブロックサイズが小さい程、選択可能な動きベクトルの候補数を減らしており、例えば、ブロックサイズが「64」のパーティションでは、選択可能な動きベクトルの個数が「4」であるが、ブロックサイズが「8」のパーティションでは、選択可能な動きベクトルの個数が「2」である。
図42における「median」、「MV_A」、「MV_B」、「MV_C」、「temporal」は、図33における「median」、「MV_A」、「MV_B」、「MV_C」、「temporal」と対応している。
例えば、パーティションのブロックサイズが「64」である場合、選択可能な1以上の動きベクトルとして、「MV_A」、「MV_B」、「MV_C」、「temporal」を決定する。
また、パーティションのブロックサイズが「8」である場合、選択可能な1以上の動きベクトルとして、「median」、「temporal」を決定する。
動画像復号装置の可変長復号部51は、符号化モードm(Bn)がダイレクトモードである場合、符号化ブロックBnのパーティションPi n毎に、そのパーティションのブロックサイズを動き補償予測部54に出力するとともに、ビットストリームから可変長復号したインデックス情報(動画像符号化装置の動き補償予測部5で使用された動きベクトルを示す情報)を動き補償予測部54に出力する。
即ち、ダイレクトベクトル生成部65は、予め、パーティションのブロックサイズ毎に、選択可能な1以上の動きベクトルをリスト化しており(図41を参照)、選択可能な1以上の動きベクトルを決定する際、図41のリストとダイレクトベクトルインデックスを参照して、今回復号を行うパーティションのブロックサイズに対応する1以上の動きベクトルを出力する。
図42は、最大のブロックサイズが「128」であるリストの一例を示している。
図42の例では、符号化制御部1及び動き補償予測部54により保持されるリストは、最大のブロックサイズが「128」であるが、実際のパーティションのブロックサイズの最大が例えば「32」であるような場合には、上記リストの中の「32」以下の部分を参照すればよい。
図43は符号化ブロックの分割パターン毎に、選択可能な1以上の動きベクトルを示すリストの説明図である。
例えば、符号化ブロックであるパーティションが、2partH1である場合、選択可能な1以上の動きベクトルとして、「MV_A」、「MV_B」、「MV_C」、「temporal」を定めているが、符号化ブロックであるパーティションが、2partH2である場合、左のブロックである2partH1とは動きが異なる可能性が高い。
そのため、2partH2が選択可能な1以上の動きベクトルの中から、左のブロックの動きベクトルである「MV_A」を削除して、「MV_B」、「MV_C」、「temporal」を定めている。
ただし、scaled_MVはスケーリング後のベクトル、MVはスケーリング前の動きベクトル、d(x)はxまでの時間的な距離を示している。
また、Xrは符号化対象のブロックが示す参照画像、Yrはスケーリングの対象となるブロック位置A−Dが示す参照画像を示している。
上記実施の形態6では、動画像符号化装置の符号化制御部1及び動画像復号装置の動き補償予測部54が、予め、選択可能な動きベクトルを示すリストを保持しているものを示したが、動画像符号化装置の可変長符号化部13が、そのリストを示すリスト情報を可変長符号化し、そのリスト情報の符号化データを、例えば、スライスヘッダに多重して、動画像復号装置側に伝送するようにしてもよい。
この場合、動画像復号装置の可変長復号部51は、スライスヘッダに多重されている符号化データからリスト情報を可変長復号して、そのリスト情報が示すリストを動き補償予測部54のダイレクトベクトル生成部65に出力することになる。
以下、具体的に処理内容を説明する。
図44は動画像符号化装置におけるリスト情報の送信処理を示すフローチャートであり、図45は動画像復号装置におけるリスト情報の受信処理を示すフローチャートである。
可変長符号化部13は、符号化制御部1が変更フラグを“オフ”に設定すると、“オフ”の変更フラグを符号化して、その符号化データを動画像復号装置側に伝送する(ステップST43)。
可変長符号化部13は、符号化制御部1が変更フラグを“オン”に設定すると、“オン”の変更フラグと変更後のリストを示すリスト情報を符号化して、その符号化データを動画像復号装置側に伝送する(ステップST45)。
図46はリスト内の「temporal」が選択可から選択不可に変更されているために、“オン”の変更フラグと変更後のリストを示すリスト情報を符号化している例を示している。
動き補償予測部54は、可変長復号部51から“オフ”の変更フラグを受けると、前回とリストが同じであると認識し、現在保持しているリストを参照対象に設定する(ステップST53)。
したがって、動き補償予測部54は、現在保持しているリストを参照して、今回復号を行うパーティションのブロックサイズに対応する1以上の動きベクトルを決定する。
動き補償予測部54は、可変長復号部51から“オン”の変更フラグとリスト情報を受けると、前回とリストが異なると認識し、そのリスト情報にしたがって現在保持しているリストを変更して、変更後のリストを参照対象に設定する(ステップST55)。
したがって、動き補償予測部54は、変更後のリストを参照して、今回復号を行うパーティションのブロックサイズに対応する1以上の動きベクトルを決定する。
図47は変更フラグが“オン”であるため、現在保持しているリストを変更している例を示している。
図48の例では、ブロックサイズが「64」と「8」における動きベクトルは変更されていないため、変更フラグは“オフ”であり、当該ブロックサイズに係るリスト情報は符号化されない。
一方、ブロックサイズが「32」と「16」における動きベクトルは変更されているため、変更フラグは“オン”であり、当該ブロックサイズに係るリスト情報は符号化されている。
なお、いずれかのブロックサイズの変更フラグが“オン”である場合に限り、ブロックサイズ単位の変更フラグを符号化するようにして、いずれのブロックサイズの変更フラグも“オフ”である場合には、リスト単位の変更フラグ(“オフ”の変更フラグ)だけを符号化するようにしてもよい。
また、リスト単位の変更フラグを用いずに、ブロックサイズ単位の変更フラグだけを符号化するようにしてもよい。
Claims (2)
- 最大ブロックサイズと階層数の上限値により入力画像を階層的に分割することで得られる符号化ブロックに係わる圧縮データ、符号化ブロックに係わる符号化モード及び動きベクトルを指定するための符号化ブロックに係わるインデックス情報、および当該インデックス情報に基づき選択される動きベクトル候補の数を変更するための制御情報が含まれるビットストリームに多重化されている符号化データに可変長復号処理を行う可変長復号部と、
上記インデックス情報に基づいて、1以上の動きベクトル候補の中から動きベクトルを選択し、選択された動きベクトルを用いて上記符号化ブロックに対し、動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、を備え、
上記動き補償予測部は、上記インデックス情報に基づいて、上記符号化ブロックの周囲に位置する複数の復号済みブロックの動きベクトル候補から得られる空間動きベクトル、または上記符号化ブロックが参照可能な復号済みピクチャの動きベクトルから得られる時間動きベクトルを選択し、
上記動き補償予測部は、上記制御情報に基づいて、上記符号化ブロックの周囲に位置する複数の復号済みブロックから得られる空間動きベクトル、および上記符号化ブロックが参照可能な復号化済みピクチャの動きベクトルから得られる時間動きベクトルの少なくともいずれかを含む上記動きベクトル候補のリストを用意し、
上記動きベクトル候補は所定の順番でリスト化され、
上記動きベクトル候補の数はスライス単位で変更可能であり、
上記インデックス情報は、上記リスト内の動きベクトル候補の位置を示す
ことを特徴とする動画像復号装置。 - 符号化ブロックの周囲に位置する複数の符号化済みブロックから得られる空間動きベクトル、および上記符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから得られる時間動きベクトルから動きベクトル候補を用意し、上記動きベクトル候補の中から選択された動きベクトルを用いて上記符号化ブロックに対し、動き補償予測処理を実施して予測画像を生成する動き補償予測部と、
最大ブロックサイズと階層数の上限値により入力画像を階層的に分割することで得られる符号化ブロックに係わる圧縮データと、選択された動きベクトル候補を示すインデックス情報と、上記動きベクトル候補の数を変更するための制御情報とを含むビットストリームを生成する可変長符号化部と、を備え、
上記動き補償予測部は、上記空間動きベクトルまたは上記時間動きベクトルから上記動きベクトル候補のリストを用意し、上記動きベクトル候補は所定の順番でリスト化され、
上記動きベクトル候補の数はスライス毎に変更可能であり、
上記インデックス情報は、上記リスト内の動きベクトル候補の位置を示す
ことを特徴とする動画像符号化装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010221460 | 2010-09-30 | ||
JP2010221460 | 2010-09-30 | ||
JP2011050214 | 2011-03-08 | ||
JP2011050214 | 2011-03-08 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016252746A Division JP6312787B2 (ja) | 2010-09-30 | 2016-12-27 | 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法、動画像符号化データ及び記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019082932A Division JP6768110B2 (ja) | 2010-09-30 | 2019-04-24 | 動画像復号装置及び動画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018067974A JP2018067974A (ja) | 2018-04-26 |
JP6768017B2 true JP6768017B2 (ja) | 2020-10-14 |
Family
ID=45892217
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012536149A Active JP5486091B2 (ja) | 2010-09-30 | 2011-07-21 | 動画像復号装置及び動画像復号方法 |
JP2014030566A Active JP6071922B2 (ja) | 2010-09-30 | 2014-02-20 | 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及び動画像符号化データ |
JP2016252746A Active JP6312787B2 (ja) | 2010-09-30 | 2016-12-27 | 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法、動画像符号化データ及び記録媒体 |
JP2018017247A Active JP6768017B2 (ja) | 2010-09-30 | 2018-02-02 | 動画像復号装置及び動画像符号化装置 |
JP2019082932A Active JP6768110B2 (ja) | 2010-09-30 | 2019-04-24 | 動画像復号装置及び動画像符号化装置 |
JP2020157643A Pending JP2020202590A (ja) | 2010-09-30 | 2020-09-18 | 動画像復号装置、動画像符号化装置、動画像復号方法及び動画像符号化方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012536149A Active JP5486091B2 (ja) | 2010-09-30 | 2011-07-21 | 動画像復号装置及び動画像復号方法 |
JP2014030566A Active JP6071922B2 (ja) | 2010-09-30 | 2014-02-20 | 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及び動画像符号化データ |
JP2016252746A Active JP6312787B2 (ja) | 2010-09-30 | 2016-12-27 | 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法、動画像符号化データ及び記録媒体 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019082932A Active JP6768110B2 (ja) | 2010-09-30 | 2019-04-24 | 動画像復号装置及び動画像符号化装置 |
JP2020157643A Pending JP2020202590A (ja) | 2010-09-30 | 2020-09-18 | 動画像復号装置、動画像符号化装置、動画像復号方法及び動画像符号化方法 |
Country Status (12)
Country | Link |
---|---|
US (5) | US9369730B2 (ja) |
EP (1) | EP2624562A4 (ja) |
JP (6) | JP5486091B2 (ja) |
KR (5) | KR101914018B1 (ja) |
CN (5) | CN106454379B (ja) |
BR (1) | BR112013006499B1 (ja) |
CA (3) | CA2813232C (ja) |
MX (1) | MX2013003694A (ja) |
RU (5) | RU2597499C2 (ja) |
SG (5) | SG10201802064VA (ja) |
TW (2) | TWI581622B (ja) |
WO (1) | WO2012042719A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2773774T3 (es) * | 2010-10-06 | 2020-07-14 | Ntt Docomo Inc | Dispositivo, método y programa de codificación bipredictiva de imágenes, y dispositivo, método y programa de decodificación bipredictiva de imágenes |
JP5682582B2 (ja) * | 2011-03-08 | 2015-03-11 | 株式会社Jvcケンウッド | 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム |
JP5807588B2 (ja) * | 2011-03-08 | 2015-11-10 | 株式会社Jvcケンウッド | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム |
US9487562B2 (en) | 2011-06-17 | 2016-11-08 | President And Fellows Of Harvard College | Stabilized polypeptides as regulators of RAB GTPase function |
EP2805511B1 (en) | 2012-01-20 | 2019-03-06 | Sun Patent Trust | Methods and apparatus for encoding and decoding video using temporal motion vector prediction |
PL2811743T3 (pl) | 2012-02-03 | 2021-09-13 | Sun Patent Trust | Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów i urządzenie do kodowania/dekodowania obrazów |
EP2824920A4 (en) | 2012-03-06 | 2016-02-17 | Panasonic Ip Corp America | VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO COORDING DEVICE, VIDEO CODING DEVICE AND VIDEO CODING / DECODING DEVICE |
US10469851B2 (en) * | 2012-04-16 | 2019-11-05 | New Cinema, LLC | Advanced video coding method, system, apparatus, and storage medium |
JP5590269B1 (ja) * | 2012-11-06 | 2014-09-17 | 日本電気株式会社 | 映像符号化方法、映像符号化装置および映像符号化プログラム |
KR102088383B1 (ko) * | 2013-03-15 | 2020-03-12 | 삼성전자주식회사 | 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치 |
US9442637B1 (en) * | 2013-06-17 | 2016-09-13 | Xdroid Kft | Hierarchical navigation and visualization system |
US9693076B2 (en) * | 2014-01-07 | 2017-06-27 | Samsung Electronics Co., Ltd. | Video encoding and decoding methods based on scale and angle variation information, and video encoding and decoding apparatuses for performing the methods |
JP6187286B2 (ja) * | 2014-01-28 | 2017-08-30 | 富士通株式会社 | 動画像符号化装置 |
GB201405649D0 (en) * | 2014-03-28 | 2014-05-14 | Sony Corp | Data encoding and decoding |
WO2015163167A1 (ja) * | 2014-04-23 | 2015-10-29 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US10283091B2 (en) * | 2014-10-13 | 2019-05-07 | Microsoft Technology Licensing, Llc | Buffer optimization |
KR102288949B1 (ko) | 2015-01-22 | 2021-08-12 | 현대모비스 주식회사 | 자동차의 브레이크 시스템 |
CN115134593B (zh) * | 2015-06-05 | 2024-07-23 | 杜比实验室特许公司 | 用于执行帧间预测的图像编解码方法、比特流存储方法 |
US10291931B2 (en) * | 2016-10-13 | 2019-05-14 | Ati Technologies Ulc | Determining variance of a block of an image based on a motion vector for the block |
US10694202B2 (en) * | 2016-12-01 | 2020-06-23 | Qualcomm Incorporated | Indication of bilateral filter usage in video coding |
US20180242024A1 (en) * | 2017-02-21 | 2018-08-23 | Mediatek Inc. | Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks |
EP3611925A4 (en) * | 2017-04-13 | 2020-03-25 | Panasonic Intellectual Property Corporation of America | ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD, AND DECODING METHOD |
WO2018225594A1 (ja) * | 2017-06-05 | 2018-12-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
WO2019049912A1 (ja) * | 2017-09-08 | 2019-03-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
KR102218647B1 (ko) | 2017-11-09 | 2021-02-22 | 삼성전자주식회사 | 움직임 벡터 해상도에 기초하여 영상을 부호화하는 장치 및 방법, 및 복호화 장치 및 방법 |
WO2020005002A1 (ko) * | 2018-06-28 | 2020-01-02 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인터 예측에 따른 템플릿 영역 도출 방법 및 장치 |
CN117354508A (zh) * | 2018-06-29 | 2024-01-05 | 英迪股份有限公司 | 对图像解码和编码的方法及非暂态计算机可读存储介质 |
WO2020008330A1 (en) * | 2018-07-01 | 2020-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Priority-based non-adjacent merge design |
US10735763B2 (en) * | 2018-07-27 | 2020-08-04 | Tencent America LLC | Method and apparatus for motion vector prediction using spatial and temporal combination |
CN111294601A (zh) | 2018-12-07 | 2020-06-16 | 华为技术有限公司 | 视频图像解码、编码方法及装置 |
CN112511829B (zh) * | 2019-03-11 | 2022-07-01 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
JP6835337B2 (ja) * | 2019-06-20 | 2021-02-24 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
JP7267885B2 (ja) * | 2019-09-20 | 2023-05-02 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
KR20220119675A (ko) | 2020-01-09 | 2022-08-30 | 텔레폰악티에볼라겟엘엠에릭슨(펍) | 화상 헤더 존재 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3351645B2 (ja) * | 1995-01-31 | 2002-12-03 | 松下電器産業株式会社 | 動画像信号の符号化方法 |
JP3628810B2 (ja) * | 1996-06-28 | 2005-03-16 | 三菱電機株式会社 | 画像符号化装置 |
FR2756399B1 (fr) * | 1996-11-28 | 1999-06-25 | Thomson Multimedia Sa | Procede et dispositif de compression video pour images de synthese |
JP3907705B2 (ja) * | 1996-12-18 | 2007-04-18 | トムソン コンシューマ エレクトロニクス インコーポレイテッド | 多重フォーマットビデオ信号処理装置 |
JP4114859B2 (ja) * | 2002-01-09 | 2008-07-09 | 松下電器産業株式会社 | 動きベクトル符号化方法および動きベクトル復号化方法 |
JP2004088722A (ja) * | 2002-03-04 | 2004-03-18 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号化方法 |
WO2004030369A1 (en) * | 2002-09-27 | 2004-04-08 | Videosoft, Inc. | Real-time video coding/decoding |
KR100506864B1 (ko) * | 2002-10-04 | 2005-08-05 | 엘지전자 주식회사 | 모션벡터 결정방법 |
EP1562385B1 (en) * | 2002-11-01 | 2014-07-02 | Panasonic Corporation | Motion picture encoding method and motion picture decoding method |
JP2005005844A (ja) * | 2003-06-10 | 2005-01-06 | Hitachi Ltd | 計算装置及び符号化処理プログラム |
US7688894B2 (en) * | 2003-09-07 | 2010-03-30 | Microsoft Corporation | Scan patterns for interlaced video content |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7567617B2 (en) * | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
KR100946790B1 (ko) * | 2005-01-07 | 2010-03-11 | 니폰덴신뎅와 가부시키가이샤 | 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들 프로그램을 기록한 기록 매체 |
JP2007221202A (ja) | 2006-02-14 | 2007-08-30 | Victor Co Of Japan Ltd | 動画像符号化装置及び動画像符号化プログラム |
CN101998120B (zh) * | 2006-05-24 | 2014-07-30 | 松下电器产业株式会社 | 图像编码装置、图像编码方法及图像编码集成电路 |
WO2008027192A2 (en) * | 2006-08-25 | 2008-03-06 | Thomson Licensing | Methods and apparatus for reduced resolution partitioning |
JP5025286B2 (ja) * | 2007-02-28 | 2012-09-12 | シャープ株式会社 | 符号化装置及び復号装置 |
WO2008123217A1 (ja) * | 2007-03-29 | 2008-10-16 | Sharp Kabushiki Kaisha | 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置 |
WO2008127597A2 (en) | 2007-04-12 | 2008-10-23 | Thomson Licensing | Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding |
JP2008283490A (ja) | 2007-05-10 | 2008-11-20 | Ntt Docomo Inc | 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム |
JP2008311781A (ja) | 2007-06-12 | 2008-12-25 | Ntt Docomo Inc | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム |
WO2009041215A1 (ja) * | 2007-09-25 | 2009-04-02 | Sharp Kabushiki Kaisha | 動画像符号化装置及び動画像復号装置 |
KR101566564B1 (ko) * | 2007-10-16 | 2015-11-05 | 톰슨 라이센싱 | 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치 |
EP2210421A4 (en) * | 2007-10-16 | 2013-12-04 | Lg Electronics Inc | METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL |
JP2009147807A (ja) * | 2007-12-17 | 2009-07-02 | Fujifilm Corp | 画像処理装置 |
KR101505195B1 (ko) | 2008-02-20 | 2015-03-24 | 삼성전자주식회사 | 직접 모드 부호화 및 복호화 방법 |
WO2009115901A2 (en) * | 2008-03-19 | 2009-09-24 | Nokia Corporation | Combined motion vector and reference index prediction for video coding |
WO2009128208A1 (ja) * | 2008-04-16 | 2009-10-22 | 株式会社日立製作所 | 動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法 |
JP4937224B2 (ja) * | 2008-09-30 | 2012-05-23 | 株式会社東芝 | 画像符号化装置 |
US8619856B2 (en) * | 2008-10-03 | 2013-12-31 | Qualcomm Incorporated | Video coding with large macroblocks |
US8483285B2 (en) * | 2008-10-03 | 2013-07-09 | Qualcomm Incorporated | Video coding using transforms bigger than 4×4 and 8×8 |
US20100166073A1 (en) * | 2008-12-31 | 2010-07-01 | Advanced Micro Devices, Inc. | Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors |
TWI405469B (zh) * | 2009-02-20 | 2013-08-11 | Sony Corp | Image processing apparatus and method |
EP2224738A1 (en) * | 2009-02-27 | 2010-09-01 | Nxp B.V. | Identifying occlusions |
US8391365B2 (en) * | 2009-03-20 | 2013-03-05 | National Cheng Kung University | Motion estimator and a motion estimation method |
US9060176B2 (en) * | 2009-10-01 | 2015-06-16 | Ntt Docomo, Inc. | Motion vector prediction in video coding |
WO2011099242A1 (ja) * | 2010-02-12 | 2011-08-18 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
-
2011
- 2011-07-21 JP JP2012536149A patent/JP5486091B2/ja active Active
- 2011-07-21 SG SG10201802064VA patent/SG10201802064VA/en unknown
- 2011-07-21 KR KR1020187003506A patent/KR101914018B1/ko active IP Right Grant
- 2011-07-21 RU RU2015108787/08A patent/RU2597499C2/ru active
- 2011-07-21 KR KR1020187030738A patent/KR102013093B1/ko active IP Right Grant
- 2011-07-21 KR KR1020177007981A patent/KR101829594B1/ko active IP Right Grant
- 2011-07-21 KR KR1020147034567A patent/KR101723282B1/ko active IP Right Grant
- 2011-07-21 WO PCT/JP2011/004121 patent/WO2012042719A1/ja active Application Filing
- 2011-07-21 CN CN201611156267.5A patent/CN106454379B/zh active Active
- 2011-07-21 CN CN201611156241.0A patent/CN106713930B/zh active Active
- 2011-07-21 BR BR112013006499-4A patent/BR112013006499B1/pt active IP Right Grant
- 2011-07-21 CA CA2813232A patent/CA2813232C/en active Active
- 2011-07-21 RU RU2013119920/08A patent/RU2549512C2/ru active
- 2011-07-21 CN CN201611156268.XA patent/CN106713931B/zh active Active
- 2011-07-21 SG SG10201506682SA patent/SG10201506682SA/en unknown
- 2011-07-21 KR KR1020137010987A patent/KR101554792B1/ko active IP Right Grant
- 2011-07-21 CN CN201611156242.5A patent/CN106488249B/zh active Active
- 2011-07-21 CN CN201180047148.5A patent/CN103222265B/zh active Active
- 2011-07-21 CA CA2991166A patent/CA2991166C/en active Active
- 2011-07-21 SG SG2013022579A patent/SG189114A1/en unknown
- 2011-07-21 SG SG10201701439WA patent/SG10201701439WA/en unknown
- 2011-07-21 US US13/824,279 patent/US9369730B2/en active Active
- 2011-07-21 MX MX2013003694A patent/MX2013003694A/es active IP Right Grant
- 2011-07-21 SG SG10201707379SA patent/SG10201707379SA/en unknown
- 2011-07-21 EP EP11828288.8A patent/EP2624562A4/en active Pending
- 2011-07-21 CA CA3033984A patent/CA3033984C/en active Active
- 2011-08-31 TW TW105124959A patent/TWI581622B/zh active
- 2011-08-31 TW TW100131230A patent/TWI571108B/zh active
-
2014
- 2014-02-20 JP JP2014030566A patent/JP6071922B2/ja active Active
-
2015
- 2015-02-04 US US14/614,135 patent/US9894376B2/en active Active
- 2015-02-04 US US14/614,131 patent/US9900611B2/en active Active
- 2015-02-04 US US14/614,161 patent/US9900612B2/en active Active
- 2015-02-04 US US14/614,122 patent/US9894375B2/en active Active
-
2016
- 2016-08-09 RU RU2016132603A patent/RU2654136C2/ru active
- 2016-12-27 JP JP2016252746A patent/JP6312787B2/ja active Active
-
2018
- 2018-02-02 JP JP2018017247A patent/JP6768017B2/ja active Active
- 2018-04-23 RU RU2018114893A patent/RU2680199C1/ru active
-
2019
- 2019-02-06 RU RU2019103261A patent/RU2706179C1/ru active
- 2019-04-24 JP JP2019082932A patent/JP6768110B2/ja active Active
-
2020
- 2020-09-18 JP JP2020157643A patent/JP2020202590A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6768110B2 (ja) | 動画像復号装置及び動画像符号化装置 | |
JP7012809B2 (ja) | 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体 | |
JP2018186569A (ja) | 画像復号装置 | |
US20150271502A1 (en) | Video encoding device, video decoding device, video encoding method, and video decoding method | |
JP2013009165A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2012186762A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2013098711A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2013009164A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2012080210A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190118 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190205 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20190424 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200303 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200708 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200708 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200804 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20200811 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20200915 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6768017 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |