JP7457924B2 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、及びデータ構造 - Google Patents
動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、及びデータ構造 Download PDFInfo
- Publication number
- JP7457924B2 JP7457924B2 JP2022046098A JP2022046098A JP7457924B2 JP 7457924 B2 JP7457924 B2 JP 7457924B2 JP 2022046098 A JP2022046098 A JP 2022046098A JP 2022046098 A JP2022046098 A JP 2022046098A JP 7457924 B2 JP7457924 B2 JP 7457924B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- candidate list
- motion information
- candidate
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 250
- 230000033001 locomotion Effects 0.000 claims description 1007
- 239000013598 vector Substances 0.000 claims description 707
- 238000009795 derivation Methods 0.000 claims description 108
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000009469 supplementation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 149
- 238000012545 processing Methods 0.000 description 133
- 238000010586 diagram Methods 0.000 description 43
- 238000012217 deletion Methods 0.000 description 33
- 230000037430 deletion Effects 0.000 description 33
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 29
- 238000013139 quantization Methods 0.000 description 19
- 230000002441 reversible effect Effects 0.000 description 19
- 230000002123 temporal effect Effects 0.000 description 19
- 230000009466 transformation Effects 0.000 description 18
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000012790 confirmation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 239000000872 buffer Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
実施の形態では、所定の大きさで符号化・復号処理対象画像を均等分割する。この単位をツリーブロックと定義する。図4では、ツリーブロックのサイズを128x128画素としているが、ツリーブロックのサイズはこれに限定されるものではなく、任意のサイズを設定してよい。処理対象(符号化処理においては符号化対象、復号処理においては復号対象に対応する。)のツリーブロックは、ラスタスキャン順、すなわち左から右、上から下の順序で切り替わる。各ツリーブロックの内部は、さらに再帰的な分割が可能である。ツリーブロックを再帰的に分割した後の、符号化・復号の対象となるブロックを符号化ブロックと定義する。また、ツリーブロック、符号化ブロックを総称してブロックと定義する。適切なブロック分割を行うことにより効率的な符号化が可能となる。ツリーブロックのサイズは、符号化装置と復号装置で予め取り決めた固定値とすることもできるし、符号化装置が決定したツリーブロックのサイズを復号装置に伝送するような構成をとることもできる。ここでは、ツリーブロックの最大サイズを128x128画素、ツリーブロックの最小サイズを16x16画素とする。また、符号化ブロックの最大サイズを64x64画素、符号化ブロックの最小サイズを4x4画素とする。
処理対象符号化ブロック単位で、処理対象画像の処理済み画像信号から予測を行うイントラ予測(MODE_INTRA)、及び処理済み画像の画像信号から予測を行うインター予測(MODE_INTER)を切り替える。
処理済み画像は、符号化処理においては符号化が完了した信号を復号した画像、画像信号、ツリーブロック、ブロック、符号化ブロック等に用いられ、復号処理においては復号が完了した画像、画像信号、ツリーブロック、ブロック、符号化ブロック等に用いられる。
このイントラ予測(MODE_INTRA)とインター予測(MODE_INTER)を識別するモードを予測モード(PredMode)と定義する。予測モード(PredMode)はイントラ予測(MODE_INTRA)、またはインター予測(MODE_INTER)を値として持つ。
処理済み画像の画像信号から予測を行うインター予測では、複数の処理済み画像を参照ピクチャとして用いることができる。複数の参照ピクチャを管理するため、L0(参照リスト0)とL1(参照リスト1)の2種類の参照リストを定義し、それぞれ参照インデックスを用いて参照ピクチャを特定する。PスライスではL0予測(Pred_L0)が利用可能である。BスライスではL0予測(Pred_L0)、L1予測(Pred_L1)、双予測(Pred_BI)が利用可能である。L0予測(Pred_L0)はL0で管理されている参照ピクチャを参照するインター予測であり、L1予測(Pred_L1)はL1で管理されている参照ピクチャを参照するインター予測である。双予測(Pred_BI)はL0予測とL1予測が共に行われ、L0とL1のそれぞれで管理されている1つずつの参照ピクチャを参照するインター予測である。L0予測、L1予測、双予測を特定する情報を、インター予測モードと定義する。以降の処理において出力に添え字LXが付いている定数、変数に関しては、L0、L1ごとに処理が行われることを前提とする。
予測動きベクトルモードは、予測動きベクトルを特定するためのインデックス、差分動きベクトル、インター予測モード、参照インデックスを伝送し、処理対象ブロックのインター予測情報を決定するモードである。予測動きベクトルは、処理対象ブロックに隣接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックから導出した予測動きベクトル候補と、予測動きベクトルを特定するためのインデックスから導出する。
マージモードは、差分動きベクトル、参照インデックスを伝送せずに、処理対象ブロックに隣接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックのインター予測情報から、処理対象ブロックのインター予測情報を導出するモードである。
図11は、予測動きベクトルモード、マージモードで、インター予測情報を導出するために参照する参照ブロックを説明する図である。A0,A1,A2,B0,B1,B2,B3は、処理対象ブロックに隣接する処理済みブロックである。T0は、処理済み画像に属するブロックで、処理対象画像における処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックである。
アフィン変換動き補償は、符号化ブロックを所定単位のサブブロックに分割し、分割された各サブブロックに対して個別に動きベクトルを決定して動き補償を行うものである。各サブブロックの動きベクトルは、処理対象ブロックに隣接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックのインター予測情報から導出する1つ以上の制御点に基づき導出する。本実施の形態では、サブブロックのサイズを4x4画素とするが、サブブロックのサイズはこれに限定されるものではないし、画素単位で動きベクトルを導出してもよい。
図15に、制御点が3つの場合のアフィン変換動き補償の例を示す。この場合、3つの制御点が水平方向成分、垂直方向成分の2つのパラメータを有する。このため、制御点が3つの場合のアフィン変換を、6パラメータアフィン変換と呼称する。図15のCP1、CP2、CP3が制御点である。
図12、図13を用いて、インター予測に関するシンタックスを説明する。
図12のmerge_flagは、処理対象符号化ブロックをマージモードとするか、予測動きベクトルモードとするかを示すフラグである。merge_affine_flagは、マージモードの処理対象符号化ブロックでサブブロックマージモードを適用するか否かを示すフラグである。inter_affine_flagは、予測動きベクトルモードの処理対象符号化ブロックでサブブロック予測動きベクトルモードを適用するか否かを示すフラグである。cu_affine_type_flagは、サブブロック予測動きベクトルモードにおいて、制御点の数を決定するためのフラグである。
図13に各シンタックスエレメントの値と、それに対応する予測方法を示す。merge_flag=1,merge_affine_flag=0 は、通常マージモードに対応する。通常マージモードは、サブブロックマージでないマージモードである。merge_flag=1,merge_affine_flag=1は、サブブロックマージモードに対応する。merge_flag=0,inter_affine_flag=0は、通常予測動きベクトルモードに対応する。通常予測動きベクトルモードは、サブブロック予測動きベクトルモードでない予測動きベクトルマージである。merge_flag=0,inter_affine_flag=1は、サブブロック予測動きベクトルモードに対応する。merge_flag=0,inter_affine_flag=1の場合は、さらにcu_affine_type_flagを伝送し、制御点の数を決定する。
POC(Picture Order Count)は符号化されるピクチャに関連付けられる変数であり、ピクチャの出力順序に応じた1ずつ増加する値が設定される。POCの値によって、同じピクチャであるかを判別したり、出力順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、2つのピクチャのPOCが同じ値を持つ場合、同一のピクチャであると判断できる。2つのピクチャのPOCが違う値を持つ場合、POCの値が小さいピクチャのほうが、先に出力されるピクチャであると判断でき、2つのピクチャのPOCの差が時間軸方向でのピクチャ間距離を示す。
本発明の第1の実施の形態に係る画像符号化装置100及び画像復号装置200について説明する。
図10A及び図10Bにイントラ予測の例を示す。図10Aは、イントラ予測の予測方向とイントラ予測モード番号の対応を示したものである。例えば、イントラ予測モード50は、垂直方向に参照画素をコピーすることによりイントラ予測画像を生成する。イントラ予測モード1は、DCモードであり、処理対象ブロックのすべての画素値を参照画素の平均値とするモードである。イントラ予測モード0は、Planarモードであり、垂直方向・水平方向の参照画素から2次元的なイントラ予測画像を作成するモードである。図10Bは、イントラ予測モード40の場合のイントラ予測画像を生成する例である。イントラ予測部103は、処理対象ブロックの各画素に対し、イントラ予測モードの示す方向の参照画素の値をコピーする。イントラ予測部103は、イントラ予測モードの参照画素が整数位置でない場合には、周辺の整数位置の参照画素値から補間により参照画素値を決定する。
実施の形態に係るインター予測方法は、図1の画像符号化装置のインター予測部102および図2の画像復号装置のインター予測部203において実施される。
図16は図1の画像符号化装置のインター予測部102の詳細な構成を示す図である。通常予測動きベクトルモード導出部301は、複数の通常予測動きベクトル候補を導出して予測動きベクトルを選択し、選択した予測動きベクトルと、検出された動きベクトルとの差分動きベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、算出された差分動きベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がインター予測モード判定部305に供給される。通常予測動きベクトルモード導出部301の詳細な構成と処理については後述する。
図22は図2の画像復号装置のインター予測部203の詳細な構成を示す図である。
図17の通常予測動きベクトルモード導出部301は、空間予測動きベクトル候補導出部321、時間予測動きベクトル候補導出部322、履歴予測動きベクトル候補導出部323、予測動きベクトル候補補充部325、通常動きベクトル検出部326、予測動きベクトル候補選択部327、動きベクトル減算部328を含む。
図19を参照して符号化側の通常予測動きベクトルモード導出処理手順を説明する。図19の処理手順の説明において、図19に示した通常という言葉を省略することがある。
mvdLX = mvLX - mvpLX
としてLXの差分動きベクトルmvdLXを算出する(図19のステップS105)。
次に、図25を参照して復号側の通常予測動きベクトルモード処理手順を説明する。復号側では、空間予測動きベクトル候補導出部421、時間予測動きベクトル候補導出部422、履歴予測動きベクトル候補導出部423、予測動きベクトル候補補充部425で、通常予測動きベクトルモードのインター予測で用いる動きベクトルをL0,L1毎にそれぞれ算出する(図25のステップS201~S206)。具体的には処理対象ブロックの予測モードPredModeがインター予測(MODE_INTER)で、処理対象ブロックのインター予測モードがL0予測(Pred_L0)の場合、L0の予測動きベクトル候補リストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0を算出する。処理対象ブロックのインター予測モードがL1予測(Pred_L1)の場合、L1の予測動きベクトル候補リストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、L1の動きベクトルmvL1を算出する。処理対象ブロックのインター予測モードが双予測(Pred_BI)の場合、L0予測とL1予測が共に行われ、L0の予測動きベクトル候補リストmvpListL0を算出して、L0の予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0を算出するとともに、L1の予測動きベクトル候補リストmvpListL1を算出して、L1の予測動きベクトルmvpL1を算出し、L1の動きベクトルmvL1をそれぞれ算出する。
mvLX = mvpLX + mvdLX
としてLXの動きベクトルmvLXを算出する(図25のステップS205)。
図20は本発明の実施の形態に係る画像符号化装置の通常予測動きベクトルモード導出部301及び画像復号装置の通常予測動きベクトルモード導出部401とで共通する機能を有する通常予測動きベクトルモード導出処理の処理手順を表すフローチャートである。
図18の通常マージモード導出部302は、空間マージ候補導出部341、時間マージ候補導出部342、平均マージ候補導出部344、履歴マージ候補導出部345、マージ候補補充部346、マージ候補選択部347を含む。
なお、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが、最大マージ候補数MaxNumMergeCandより小さい場合、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが最大マージ候補数MaxNumMergeCandを上限として履歴マージ候補は導出されて、マージ候補リストmergeCandListに登録される。
なお、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが、最大マージ候補数MaxNumMergeCandより小さい場合、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが最大マージ候補数MaxNumMergeCandを上限として平均マージ候補は導出されて、マージ候補リストmergeCandListに登録される。
ここで、平均マージ候補は、マージ候補リストmergeCandListに登録されている第1のマージ候補と第2のマージ候補の有する動きベクトルをL0予測及びL1予測毎に平均して得られる動きベクトルを有する新たなマージ候補である。
次に、符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHmvpCandListの初期化方法および更新方法について詳細に説明する。図26は履歴予測動きベクトル候補リスト初期化・更新処理手順を説明するフローチャートである。
次に、符号化側の通常予測動きベクトルモード導出部301の履歴予測動きベクトル候補導出部323、復号側の通常予測動きベクトルモード導出部401の履歴予測動きベクトル候補導出部423で共通の処理である図20のステップS304の処理手順である履歴予測動きベクトル候補リストHmvpCandListからの履歴予測動きベクトル候補の導出方法について詳細に説明する。図29は履歴予測動きベクトル候補導出処理手順を説明するフローチャートである。
次に、符号化側の通常マージモード導出部302の履歴マージ候補導出部345、復号側の通常マージモード導出部402の履歴マージ候補導出部445で共通の処理である図21のステップS404の処理手順である履歴マージ候補リストHmvpCandListからの履歴マージ候補の導出方法について詳細に説明する。図30は履歴マージ候補導出処理手順を説明するフローチャートである。
動き補償予測部306は、符号化において現在予測処理の対象となっているブロックの位置およびサイズを取得する。また、動き補償予測部306は、インター予測情報をインター予測モード判定部305から取得する。取得したインター予測情報から参照インデックスおよび動きベクトルを導出し、復号画像メモリ104内の参照インデックスで特定される参照ピクチャを、動きベクトルの分だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得した後に予測信号を生成する。
単一の参照ピクチャからの予測を行う処理を単予測と定義し、単予測の場合はL0予測またはL1予測という、参照リストL0、L1に登録された2つの参照ピクチャのいずれか一方を利用した予測を行う。
本発明の実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照ピクチャの中から最適な参照ピクチャを選択することを可能とする。そのため、動き補償予測で利用した参照ピクチャを参照インデックスとして利用するとともに、参照インデックスを差分動きベクトルとともにビットストリーム中に符号化する。
動き補償予測部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、通常予測動きベクトルモード導出部301によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
動き補償予測部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、通常マージモード導出部302によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
動き補償予測部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、サブブロック予測動きベクトルモード導出部303によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
動き補償予測部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、サブブロックマージモード導出部304によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
通常予測動きベクトルモード、および通常マージモードでは、以下のフラグに基づいてアフィンモデルによる動き補償が利用できる。以下のフラグは、符号化処理においてインター予測モード判定部305により決定されるインター予測の条件に基づいて以下のフラグに反映され、ビットストリーム中に符号化される。復号処理においては、ビットストリーム中の以下のフラグに基づいてアフィンモデルによる動き補償を行うか否かを特定する。
ここでは、履歴予測動きベクトル候補リストの構成と動作について説明する。
第1の実施の形態の変形例として、以下に示すような履歴予測動きベクトル候補リストに対する処理を行うように構成する。
<履歴予測動きベクトル候補リストの同一候補探索>
図45に示すような参照順で履歴予測動きベクトル候補リストHmvpCandListを利用する場合に、履歴予測動きベクトル候補リストHmvpCandListに登録されているインター予測情報の中に、登録すべきインター予測情報候補hMvpCandと同じ値のインター予測が存在する場合は、履歴予測動きベクトル候補リストHmvpCandListからその要素(インター予測情報)を削除している。このような同一候補の削除処理を以後、同一候補削除処理と呼ぶ。履歴予測動きベクトル候補リストHmvpCandListに要素を追加する際に、同一候補削除処理を行わないように構成する。また、図46に示すような履歴予測動きベクトル候補リストの末尾に新たな要素を追加していく格納順とは逆の順序で参照しながら履歴予測動きベクトル候補リストHmvpCandListを利用する場合には、同一候補削除処理を行わないように構成する。
図38は、末尾側から追加していく格納順とは逆の順序で参照していき、履歴予測動きベクトル候補リストHmvpCandListに格納された履歴予測動きベクトル候補である動き情報を、古い動き情報から、新しく追加された動き情報へ順番に参照しながら利用し、同一候補削除処理を行わないように構成した場合の、履歴予測動きベクトル候補導出処理手順を説明するフローチャートである。
通常予測ベクトルモードまたは通常マージモードでインター予測を行う際に用いたインター予測情報を登録すべきインター予測情報候補hMvpCandとし、符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHmvpCandListに登録されているインター予測情報の中に、登録すべきインター予測情報候補hMvpCandと同じ値のインター予測が存在するか否かに関わらず、先頭側に最も近い空いている位置から順番に、登録すべきインター予測情報候補hMvpCandを追加する。HmvpCandListが最大要素数まで埋まっている場合には、履歴予測動きベクトル候補リストHmvpCandListの先頭の要素(インター予測情報)を削除し、履歴予測動きベクトル候補リストHmvpCandListの最後に、登録すべきインター予測情報候補hMvpCandを追加する。本実施の形態の符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHmvpCandListの要素の数は6とする。まず、スライス単位での初期設定を行う。スライスの先頭で履歴予測動きベクトル候補リストHmvpCandListが初期化され、履歴予測動きベクトル候補リストHmvpCandListに登録されている履歴予測動きベクトル候補の数NumHmvpCandの値は0に設定する(図38のステップS2401)。
続いて、スライス内の符号化ブロック毎に以下の履歴予測動きベクトル候補リストHmvpCandListの更新処理を繰り返し行う(図38のステップS2402~S2407)。履歴予測動きベクトル候補リストHmvpCandListに登録対象のインター予測情報候補hMvpCandが存在するか否かを判定する(図38のステップS2404)。符号化側の予測方法決定部105で通常予測動きベクトルモードまたは通常マージモードと判定された場合、または復号側のビット列復号部で通常予測動きベクトルモードまたは通常マージモードとして復号された場合、そのインター予測モードをhMvpCandとする。符号化側の予測方法決定部105でイントラ予測モード、サブブロック予測動きベクトルモードまたはサブブロックマージモードと判定された場合、または復号側のビット列復号部でイントラ予測モード、サブブロック予測動きベクトルモードまたはサブブロックマージモードとして復号された場合、履歴予測動きベクトル候補リストHmvpCandListの更新処理を行わず、登録対象のインター予測情報候補hMvpCandは存在しない。登録対象のインター予測情報候補hMvpCandが存在しない場合はステップS2406をスキップする(図38のステップS2404:NO)。登録対象のインター予測情報候補hMvpCandが存在する場合はステップS2406以下の処理を行う(図38のステップS2404:YES)。
次に、履歴予測動きベクトル候補リストHmvpCandListの要素のシフト及び追加処理を行う(図38のステップS2406)。
図38で示されるような処理を行うことにより、同一候補のチェックおよび削除処理およびその処理を実行するための変数の設定や比較処理を省略でき、処理量を軽減することが可能になる。
また、履歴予測動きベクトル候補リストHmvpCandListに要素を追加する際に、履歴予測動きベクトル候補リストに対して同一候補削除処理を行わないようにした場合でも、古い動き情報から、新しく追加された動き情報へ順番に参照できるようにすることで、予測動きベクトル候補リストに同一候補が追加される可能性を低減することが可能になる。
第1の実施の形態の変形例として、図38のステップS2406の履歴予測動きベクトル候補リストHmvpCandListの要素シフト/追加処理手順を以下のように構成する。
図39は、図38のステップS2406の履歴予測動きベクトル候補リストHmvpCandListの要素シフト/追加処理手順のフローチャートである。
まず、履歴予測動きベクトル候補リストHmvpCandListに格納されている先頭要素を除いてから新たな要素を追加するか、要素を除かずに新たな要素追加するかを判定する。具体的にはNumHmvpCandが6かどうかを比較する(図39のステップS2541)。NumHmvpCandが6である場合(図39のステップS2541:YES)、履歴予測動きベクトル候補リストHmvpCandListに格納されている先頭要素を除いてから新たな要素を追加する。インデックスiの初期値を1の値に設定する。この初期値からNumHmvpCandまで、ステップS2543の要素シフト処理を繰り返す。(図39のステップS2542~S2544)。HmvpCandList [ i - 1 ]にHmvpCandList [ i ]の要素をコピーすることで要素を前方にシフトし(図39のステップS2543)、iを1インクリメントする(図39のステップS2542、S2544)。続いて、履歴予測動きベクトル候補リストの最後に相当する0から数えて(NumHmvpCand-1)番目 HmvpCandList [NumHmvpCand-1]にインター予測情報候補hMvpCandを追加し(図39のステップS2545)、本履歴予測動きベクトル候補リストHmvpCandListの要素シフト・追加処理を終了する。一方、NumHmvpCandが6でない場合(図39のステップS2541:NO)、履歴予測動きベクトル候補リストHmvpCandListに格納されている要素を除かずに新たな要素を追加する。履歴予測動きベクトル候補リストの最後に相当する0から数えて(NumHmvpCand-1)番目 HmvpCandList [NumHmvpCand]にインター予測情報候補hMvpCandを追加し、NumHmvpCandを1インクリメントして(図39のステップS2546)、本履歴予測動きベクトル候補リストHmvpCandListの要素シフト・追加処理を終了する。
図39で示されるような処理を行うことにより、同一候補のチェックおよび削除処理およびその処理を実行するための変数の設定や比較処理を省略でき、処理量を軽減することが可能になる。
本実施の形態では、末尾側から新しい動き情報を追加する格納順とは逆の順序で参照しながら履歴予測動きベクトル候補リストHmvpCandListを利用し、HmvpCandListに格納された履歴予測動きベクトル候補である動き情報を、古い動き情報から、新しく追加された動き情報へ順番に参照しながら利用しつつ、同一候補削除処理を行わないように構成した場合について説明している。
第1の実施の形態の変形例では、参照順が末尾から追加する格納順と同じ方向で、新しく追加された動き情報から、古い動き情報を参照していく正順モードと、参照順が末尾側から新しい動き情報を追加する格納順と逆の方向で、古い動き情報から、新しく追加された動き情報を参照していく逆順モードを用意し、履歴予測動きベクトル候補リストHmvpCandListの参照順を切り替えるための履歴参照フラグ情報を利用して、正順モードと逆順モードを切り替えられるように構成する。この履歴参照フラグを、符号化ビットストリームのシンタックス要素に含めて復号側に伝達し、復号側ではこの履歴参照フラグをシンタックス要素に持つ符号化ビットストリームを取得し、復号できるようにする。
第2の実施の形態として、予測動きベクトル候補リストmvpListLXを導出する際に、以下のように構成する。特に、予測動きベクトル候補リストmvpListLXを導出する際に、末尾から新たに追加する格納順とは逆の順序で先頭から参照しながら履歴予測動きベクトル候補リストHmvpCandListを利用し、履歴予測動きベクトル候補リストから予測動きベクトル候補リストに予測動きベクトル候補を追加する過程において、予測動きベクトル候補リストに同じ予測動きベクトルが含まれるか否かを判定する処理を、行わないように構成する。
ここでは、同一候補削除処理を伴わない履歴予測動きベクトル候補導出処理について説明する。
以上のような履歴予測動きベクトル候補導出処理を行うことにより、履歴予測動きベクトル候補リストから予測動きベクトル候補リストに追加する過程において、同一候補削除処理を伴わないようにすることで、同一候補のチェックおよび削除処理およびその処理を実行するための変数の設定や比較処理を省略でき、処理量を軽減することが可能になる。
また、HmvpCandListに格納された履歴予測動きベクトル候補である動き情報を、古い動き情報から、新しく追加された動き情報へ順番に参照できるようにすることで、多様な動き情報を予測動きベクトル候補リストに追加することが可能になる。
更に、履歴予測動きベクトル候補リストから予測動きベクトル候補リストに追加する過程において、履歴予測動きベクトル候補リストに対して同一候補削除処理を行わないようにした場合でも、古い動き情報から、新しく追加された動き情報へ順番に参照できるようにすることで、予測動きベクトル候補リストに同一候補が追加される可能性を低減することが可能になる。
第2の実施の形態では、予測動きベクトル候補リストmvpListLXを導出する際に、末尾から新たに追加する格納順とは逆の順序で先頭から参照しながら履歴予測動きベクトル候補リストHmvpCandListを利用し、同一候補削除処理を行わないように構成した場合について説明している。
第2の実施の形態の変形例では、以下に示すように、履歴予測動きベクトル候補リストHmvpCandListの参照順のみ、末尾から新たに追加する格納順とは逆の順序で先頭から参照することで、古い動き情報から、新しく追加された動き情報を参照していくようにし、同一候補削除処理はそのまま行うように構成する。
以上のような履歴予測動きベクトル候補導出処理を行うことにより、同一候補削除処理はそのまま行うように構成し、HmvpCandListに格納された履歴予測動きベクトル候補である動き情報を、古い動き情報から、新しく追加された動き情報へ順番に参照できるようにすることで、更に多様な動き情報を予測動きベクトル候補リストに追加することが可能になる。
第2の実施の形態における変形例として、予測動きベクトル候補リストmvpListLXを導出する際に、図38のステップS2406の履歴予測動きベクトル候補リストHmvpCandListの要素シフト/追加処理手順を図39で示されるように構成する。図39の説明は、上述と同様であるため省略する。
図39で示されるような処理を行うことにより、同一候補のチェックおよび削除処理およびその処理を実行するための変数の設定や比較処理を省略でき、処理量を軽減することが可能になる。
第2の実施の形態では、予測動きベクトル候補リストmvpListLXを導出する際に、末尾側から新しい動き情報を追加する格納順とは逆の順序で参照しながら履歴予測動きベクトル候補リストHmvpCandListを利用し、HmvpCandListに格納された履歴予測動きベクトル候補である動き情報を、古い動き情報から、新しく追加された動き情報へ順番に参照しながら利用しつつ、同一候補削除処理を行わないように構成した場合について説明している。第2の実施の形態の変形例では、参照順が末尾から追加する格納順と同じ方向で、新しく追加された動き情報から、古い動き情報を参照していく正順モードと、参照順が末尾側から新しい動き情報を追加する格納順と逆の方向で、古い動き情報から、新しく追加された動き情報を参照していく逆順モードを用意し、履歴予測動きベクトル候補リストHmvpCandListの参照順を切り替えるための履歴参照フラグ情報を利用して、正順モードと逆順モードを切り替えられるように構成する。この履歴参照フラグを、符号化ビットストリームのシンタックス要素に含めて復号側に伝達し、復号側ではこの履歴参照フラグをシンタックス要素に持つ符号化ビットストリームを取得し、復号できるようにする。
第3の実施の形態として、マージ候補リストを導出する際に、以下のように構成する。特に、履歴予測動きベクトル候補リストを利用する際の参照順を、古い動き情報から、新しく追加された動き情報へ順番に参照しながら利用するように変更する。また、マージ候補リストに新たな要素を追加する際に、履歴予測動きベクトル候補リストから同一の情報を持つ要素を探索し、削除する処理を、行わないように変更する。更に、通常マージモードにおいて、履歴予測動きベクトル候補リストHmvpCandListを利用して通常マージ候補を導出する際に、履歴予測動きベクトル候補リストから同一の情報を持つ要素を探索し、同一の情報を持つ要素を通常マージ候補としない処理を、行わないように変更する。
<同一候補削除処理を伴わない履歴マージ候補導出処理>
ここでは、同一候補削除処理を伴わない履歴マージ候補導出処理について説明する。
図40は、古い動き情報から、新しく追加された動き情報へ順番に参照しながら履歴予測動きベクトル候補リストHmvpCandListを利用し、同一候補削除処理を行わないように構成した場合の、履歴マージ候補導出処理手順を説明するフローチャートである。
まず、初期化処理を行う(図40のステップS2701)。変数numOrigMergeCandに現在のマージ候補リストに登録されている要素の数numCurrMergeCandを設定する。
インデックスhMvpIdxの初期値を0に設定し、この初期値からNumHmvpCand-1まで、図40のステップS2703からステップS2710までの追加処理を繰り返す(図40のステップS2702~S2711)。現在のマージ候補リストに登録されている要素の数numCurrMergeCandが(最大マージ候補数MaxNumMergeCand-1)以下でなければ、マージ候補リストのすべての要素にマージ候補が追加されたので、本履歴マージ候補導出処理を終了する(図40のステップS2703:NO)。現在のマージ候補リストに登録されている要素の数numCurrMergeCandが(最大マージ候補数MaxNumMergeCand-1)以下の場合、ステップS2710以降の処理を行う。(図40のステップS2703:YES)。マージ候補リストのnumCurrMergeCand番目のmergeCandList[numCurrMergeCand]に履歴予測動きベクトル候補リストのhMvpIdx番目の要素HmvpCandList[hMvpIdx]を追加し、numCurrMergeCandを1インクリメントする(図40のステップS2710)。インデックスhMvpIdxを1インクリメントし(図40のステップS2702)、図40のステップS2702~S2711の繰り返し処理を行う。
履歴予測動きベクトル候補リストのすべての要素の確認が完了するか、マージ候補リストのすべての要素にマージ候補が追加されたら、本履歴マージ候補の導出処理を完了する。
以上のような履歴マージ候補導出処理を行うことにより、履歴予測動きベクトル候補リストからマージ候補リストに追加する過程において、同一候補削除処理を伴わないようにすることで、同一候補のチェックおよび削除処理およびその処理を実行するための変数の設定や比較処理を省略でき、処理量を軽減することが可能になる。
また、HmvpCandListに格納された履歴予測動きベクトル候補である動き情報を、古い動き情報から、新しく追加された動き情報へ順番に参照できるようにすることで、多様な動き情報をマージ候補リストに追加することが可能になる。
更に、履歴予測動きベクトル候補リストからマージ候補リストに追加する過程において、履歴予測動きベクトル候補リストに対して同一候補削除処理を行わないようにした場合でも、古い動き情報から、新しく追加された動き情報へ順番に参照できるようにすることで、マージ候補リストに同一候補が追加される可能性を低減することが可能になる。
第3の実施の形態における変形例として、マージ候補リストを導出する際に、図38で示されるような履歴予測動きベクトル候補リストHmvpCandListに要素を追加する際に、同一候補削除処理を行わないように構成する。図38の説明は、上述同様であるため省略する。
図38で示されるような処理を行うことにより、同一候補のチェックおよび削除処理およびその処理を実行するための変数の設定や比較処理を省略でき、処理量を軽減すること
が可能になる。
また、履歴予測動きベクトル候補リストHmvpCandListに要素を追加する際に、履歴予測動きベクトル候補リストに対して同一候補削除処理を行わないようにした場合でも、古い動き情報から、新しく追加された動き情報へ順番に参照できるようにすることで、マージ候補リストに同一候補が追加される可能性を低減することが可能になる。
第3の実施の形態における変形例として、マージ候補リストを導出する際に、図38のステップS2406の履歴予測動きベクトル候補リストHmvpCandListの要素シフト/追加処理手順を図39で示されるように構成する。図39の説明は、上述同様であるため省略する。
図39で示されるような処理を行うことにより、同一候補のチェックおよび削除処理およびその処理を実行するための変数の設定や比較処理を省略でき、処理量を軽減することが可能になる。
第3の実施の形態では、マージ候補リストを導出する際に、HmvpCandListに格納された履歴予測動きベクトル候補である動き情報を、古い動き情報から、新しく追加された動き情報へ順番に参照しながら利用し、同一候補削除処理を行わないように構成した場合について説明している。
第3の実施の形態の変形例では、参照順が新しく追加された動き情報から、古い動き情報を参照する正順モードと、参照順が古い動き情報から、新しく追加された動き情報を参照する逆順モードを用意し、履歴予測動きベクトル候補リストHmvpCandListの参照順を切り替えるための履歴参照フラグ情報を利用して、正順モードと逆順モードを切り替えられるように構成する。この履歴参照フラグを、符号化ビットストリームのシンタックス要素に含めて復号側に伝達し、復号側ではこの履歴参照フラグをシンタックス要素に持つ符号化ビットストリームを取得し、復号できるようにする。
Claims (8)
- 符号化済ブロックの動き情報を履歴予測動きベクトル候補リストの末尾に追加する履歴予測候補リスト更新部と、
符号化対象ブロックに空間的に近接するブロックの動き情報から空間動き情報候補を導出し、予測動きベクトル候補リストに登録する空間動き情報候補導出部と、
前記履歴予測動きベクトル候補リストから履歴動き情報候補を導出し、前記予測動きベクトル候補リストに登録する履歴動き情報候補導出部と、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定の数になるまで、所定の値の予測動きベクトル候補を追加する予測動きベクトル候補補充部と、
を備え、
前記履歴動き情報候補導出部は、前記予測動きベクトル候補リストとの動き情報の比較を行わず、前記履歴予測動きベクトル候補リストの先頭から順に参照して前記履歴動き情報候補を導出する、
ことを特徴とする動画像符号化装置。 - 符号化済ブロックの動き情報を履歴予測動きベクトル候補リストの末尾に追加する履歴予測候補リスト更新ステップと、
符号化対象ブロックに空間的に近接するブロックの動き情報から空間動き情報候補を導出し、予測動きベクトル候補リストに登録する空間動き情報候補導出ステップと、
前記履歴予測動きベクトル候補リストから履歴動き情報候補を導出し、前記予測動きベクトル候補リストに登録する履歴動き情報候補導出ステップと、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定の数になるまで、所定の値の予測動きベクトル候補を追加する予測動きベクトル候補補充ステップと、
を備え、
前記履歴動き情報候補導出ステップは、前記予測動きベクトル候補リストとの動き情報の比較を行わず、前記履歴予測動きベクトル候補リストの先頭から順に参照して前記履歴動き情報候補を導出する、
ことを特徴とする動画像符号化方法。 - コンピュータを、
符号化済ブロックの動き情報を履歴予測動きベクトル候補リストの末尾に追加する履歴予測候補リスト更新部と、
符号化対象ブロックに空間的に近接するブロックの動き情報から空間動き情報候補を導出し、予測動きベクトル候補リストに登録する空間動き情報候補導出部と、
前記履歴予測動きベクトル候補リストから履歴動き情報候補を導出し、前記予測動きベクトル候補リストに登録する履歴動き情報候補導出部と、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定の数になるまで、所定の値の予測動きベクトル候補を追加する予測動きベクトル候補補充部と、
をとして動作させる動画像符号化プログラムであって、
前記履歴動き情報候補導出部は、前記予測動きベクトル候補リストとの動き情報の比較を行わず、前記履歴予測動きベクトル候補リストの先頭から順に参照して前記履歴動き情報候補を導出する、
ことを特徴とする動画像符号化プログラム。 - 復号済ブロックの動き情報を履歴予測動きベクトル候補リストの末尾に追加する履歴予測候補リスト更新部と、
復号対象ブロックに空間的に近接するブロックの動き情報から空間動き情報候補を導出し、予測動きベクトル候補リストに登録する空間動き情報候補導出部と、
前記履歴予測動きベクトル候補リストから履歴動き情報候補を導出し、前記予測動きベクトル候補リストに登録する履歴動き情報候補導出部と、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定の数になるまで、所定の値の予測動きベクトル候補を追加する予測動きベクトル候補補充部と、
を備え、
前記履歴動き情報候補導出部は、前記予測動きベクトル候補リストとの動き情報の比較を行わず、前記履歴予測動きベクトル候補リストの先頭から順に参照して前記履歴動き情報候補を導出する、
ことを特徴とする動画像復号装置。 - 復号済ブロックの動き情報を履歴予測動きベクトル候補リストの末尾に追加する履歴予測候補リスト更新ステップと、
復号対象ブロックに空間的に近接するブロックの動き情報から空間動き情報候補を導出し、予測動きベクトル候補リストに登録する空間動き情報候補導出ステップと、
前記履歴予測動きベクトル候補リストから履歴動き情報候補を導出し、前記予測動きベクトル候補リストに登録する履歴動き情報候補導出ステップと、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定の数になるまで、所定の値の予測動きベクトル候補を追加する予測動きベクトル候補補充ステップと、
を備え、
前記履歴動き情報候補導出ステップは、前記予測動きベクトル候補リストとの動き情報の比較を行わず、前記履歴予測動きベクトル候補リストの先頭から順に参照して前記履歴動き情報候補を導出する、
ことを特徴とする動画像復号方法。 - コンピュータを、
復号済ブロックの動き情報を履歴予測動きベクトル候補リストの末尾に追加する履歴予測候補リスト更新部と、
復号対象ブロックに空間的に近接するブロックの動き情報から空間動き情報候補を導出し、予測動きベクトル候補リストに登録する空間動き情報候補導出部と、
前記履歴予測動きベクトル候補リストから履歴動き情報候補を導出し、前記予測動きベクトル候補リストに登録する履歴動き情報候補導出部と、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定の数になるまで、所定の値の予測動きベクトル候補を追加する予測動きベクトル候補補充ステップと、
をとして動作させる動画像復号プログラムであって、
前記履歴動き情報候補導出部は、前記予測動きベクトル候補リストとの動き情報の比較を行わず、前記履歴予測動きベクトル候補リストの先頭から順に参照して前記履歴動き情報候補を導出する、
ことを特徴とする動画像復号プログラム。 - 符号化したビットストリームを記録媒体に格納する格納方法であって、
符号化済ブロックの動き情報を履歴予測動きベクトル候補リストの末尾に追加する履歴予測候補リスト更新ステップと、
符号化対象ブロックに空間的に近接するブロックの動き情報から空間動き情報候補を導出し、予測動きベクトル候補リストに登録する空間動き情報候補導出ステップと、
前記履歴予測動きベクトル候補リストから履歴動き情報候補を導出し、前記予測動きベクトル候補リストに登録する履歴動き情報候補導出ステップと、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定の数になるまで、所定の値の予測動きベクトル候補を追加する予測動きベクトル候補補充ステップと、
ブロックの予測モードを示す情報を符号化してビットストリームを生成する符号化ステップと、
前記ビットストリームを記録媒体に格納する格納ステップと、
を備え、
前記履歴動き情報候補導出ステップは、前記予測動きベクトル候補リストとの動き情報の比較を行わず、前記履歴予測動きベクトル候補リストの先頭から順に参照して前記履歴動き情報候補を導出する、
格納方法。 - 符号化したビットストリームを伝送する伝送方法であって、
符号化済ブロックの動き情報を履歴予測動きベクトル候補リストの末尾に追加する履歴予測候補リスト更新ステップと、
符号化対象ブロックに空間的に近接するブロックの動き情報から空間動き情報候補を導出し、予測動きベクトル候補リストに登録する空間動き情報候補導出ステップと、
前記履歴予測動きベクトル候補リストから履歴動き情報候補を導出し、前記予測動きベクトル候補リストに登録する履歴動き情報候補導出ステップと、
前記予測動きベクトル候補リストに登録された予測動きベクトル候補の数が所定の数になるまで、所定の値の予測動きベクトル候補を追加する予測動きベクトル候補補充ステップと、
ブロックの予測モードを示す情報を符号化してビットストリームを生成する符号化ステップと、
前記ビットストリームを伝送する伝送ステップと、
を備え、
前記履歴動き情報候補導出ステップは、前記予測動きベクトル候補リストとの動き情報の比較を行わず、前記履歴予測動きベクトル候補リストの先頭から順に参照して前記履歴動き情報候補を導出する、
伝送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023211012A JP2024023670A (ja) | 2018-12-28 | 2023-12-14 | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、格納方法、及び伝送方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018247405 | 2018-12-28 | ||
JP2018247405 | 2018-12-28 | ||
JP2019082763 | 2019-04-24 | ||
JP2019082763 | 2019-04-24 | ||
JP2020151408A JP2020205623A (ja) | 2018-12-28 | 2020-09-09 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020151408A Division JP2020205623A (ja) | 2018-12-28 | 2020-09-09 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023211012A Division JP2024023670A (ja) | 2018-12-28 | 2023-12-14 | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、格納方法、及び伝送方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022082617A JP2022082617A (ja) | 2022-06-02 |
JP7457924B2 true JP7457924B2 (ja) | 2024-03-29 |
Family
ID=71127628
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019239371A Active JP6763468B1 (ja) | 2018-12-28 | 2019-12-27 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
JP2020151408A Pending JP2020205623A (ja) | 2018-12-28 | 2020-09-09 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
JP2022046098A Active JP7457924B2 (ja) | 2018-12-28 | 2022-03-22 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、及びデータ構造 |
JP2023211012A Pending JP2024023670A (ja) | 2018-12-28 | 2023-12-14 | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、格納方法、及び伝送方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019239371A Active JP6763468B1 (ja) | 2018-12-28 | 2019-12-27 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
JP2020151408A Pending JP2020205623A (ja) | 2018-12-28 | 2020-09-09 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023211012A Pending JP2024023670A (ja) | 2018-12-28 | 2023-12-14 | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、格納方法、及び伝送方法 |
Country Status (10)
Country | Link |
---|---|
US (2) | US11558606B2 (ja) |
EP (1) | EP3905690A4 (ja) |
JP (4) | JP6763468B1 (ja) |
KR (2) | KR102617199B1 (ja) |
CN (6) | CN118018757A (ja) |
BR (1) | BR112021012426A8 (ja) |
MX (1) | MX2021007755A (ja) |
RU (1) | RU2768971C1 (ja) |
WO (1) | WO2020137848A1 (ja) |
ZA (1) | ZA202104079B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102443965B1 (ko) * | 2019-01-01 | 2022-09-19 | 엘지전자 주식회사 | 히스토리 기반 모션 벡터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
US20220116588A1 (en) * | 2019-01-04 | 2022-04-14 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for image encoding/decoding |
US11627328B2 (en) * | 2020-10-16 | 2023-04-11 | Tencent America LLC | Method and apparatus for video coding |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020003284A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and amvp |
WO2020071793A1 (ko) | 2018-10-02 | 2020-04-09 | 엘지전자 주식회사 | Hmvp를 기반으로 예측 후보를 구성하는 방법 및 장치 |
US20200195959A1 (en) | 2018-06-29 | 2020-06-18 | Beijing Bytedance Network Technology Co., Ltd. | Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3277111B2 (ja) | 1995-10-18 | 2002-04-22 | シャープ株式会社 | 動画像符号化装置および動画像復号化装置 |
ES2721514T3 (es) | 2001-11-06 | 2019-08-01 | Panasonic Ip Corp America | Procedimiento de codificación de imágenes en movimiento y procedimiento de decodificación de imágenes en movimiento |
JP4003128B2 (ja) * | 2002-12-24 | 2007-11-07 | ソニー株式会社 | 画像データ処理装置および方法、記録媒体、並びにプログラム |
GB2469679B (en) * | 2009-04-23 | 2012-05-02 | Imagination Tech Ltd | Object tracking using momentum and acceleration vectors in a motion estimation system |
US8917769B2 (en) | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
US9313494B2 (en) * | 2011-06-20 | 2016-04-12 | Qualcomm Incorporated | Parallelization friendly merge candidates for video coding |
TWI628950B (zh) * | 2011-06-27 | 2018-07-01 | 三星電子股份有限公司 | 影像解碼裝置 |
KR102014332B1 (ko) | 2011-10-21 | 2019-08-26 | 노키아 테크놀로지스 오와이 | 비디오 코딩 방법 및 장치 |
US9571833B2 (en) * | 2011-11-04 | 2017-02-14 | Nokia Technologies Oy | Method for coding and an apparatus |
EP2842333A4 (en) | 2012-07-02 | 2016-01-06 | Mediatek Inc | METHOD AND DEVICE FOR DERIVING INTERCONNECTION CANDIDATES IN 3D VIDEO CODING |
JP5834253B2 (ja) * | 2013-03-27 | 2015-12-16 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US9300906B2 (en) * | 2013-03-29 | 2016-03-29 | Google Inc. | Pull frame interpolation |
WO2014165555A1 (en) * | 2013-04-02 | 2014-10-09 | Vid Scale, Inc. | Enhanced temporal motion vector prediction for scalable video coding |
JP6340567B2 (ja) | 2014-05-30 | 2018-06-13 | 株式会社アクセル | 動画再生方法及び動画再生システム |
EP3155812B1 (en) | 2014-06-16 | 2023-04-05 | QUALCOMM Incorporated | Simplified shifting merge candidate and merge list derivation in 3d-hevc |
CN105939475A (zh) | 2016-06-06 | 2016-09-14 | 中国矿业大学 | 一种高质量边信息生成方法 |
CN110662054B (zh) * | 2018-06-29 | 2023-01-06 | 北京字节跳动网络技术有限公司 | 用于视频处理的方法、装置、计算机可读存储介质 |
US10958934B2 (en) * | 2018-07-27 | 2021-03-23 | Tencent America LLC | History-based affine merge and motion vector prediction |
BR122021011303B1 (pt) * | 2018-10-04 | 2022-06-14 | Lg Electronics Inc | Método e aparelho de decodificação de imagem, método e aparelho de codificação de imagem e mídias de armazenamento não transitória legíveis por computador |
US11310515B2 (en) * | 2018-11-14 | 2022-04-19 | Tencent America LLC | Methods and apparatus for improvement for intra-inter prediction mode |
US11470340B2 (en) * | 2018-12-10 | 2022-10-11 | Tencent America LLC | Simplified merge list construction for small coding blocks |
EP3716626A4 (en) * | 2018-12-12 | 2021-05-19 | LG Electronics Inc. | METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BASED ON A TRANSFORM OF HISTORY-BASED MOTION VECTORS |
-
2019
- 2019-12-20 BR BR112021012426A patent/BR112021012426A8/pt unknown
- 2019-12-20 CN CN202410240805.7A patent/CN118018757A/zh active Pending
- 2019-12-20 MX MX2021007755A patent/MX2021007755A/es unknown
- 2019-12-20 CN CN202110118037.4A patent/CN112954317B/zh active Active
- 2019-12-20 KR KR1020207037255A patent/KR102617199B1/ko active IP Right Grant
- 2019-12-20 RU RU2021118523A patent/RU2768971C1/ru active
- 2019-12-20 US US17/269,942 patent/US11558606B2/en active Active
- 2019-12-20 CN CN201980044824.XA patent/CN112425170B/zh active Active
- 2019-12-20 CN CN202410241385.4A patent/CN118018759A/zh active Pending
- 2019-12-20 KR KR1020237043766A patent/KR20240000647A/ko not_active Application Discontinuation
- 2019-12-20 CN CN202410241316.3A patent/CN118018758A/zh active Pending
- 2019-12-20 WO PCT/JP2019/050004 patent/WO2020137848A1/ja unknown
- 2019-12-20 CN CN202410240711.XA patent/CN118018756A/zh active Pending
- 2019-12-20 EP EP19904995.8A patent/EP3905690A4/en active Pending
- 2019-12-27 JP JP2019239371A patent/JP6763468B1/ja active Active
-
2020
- 2020-09-09 JP JP2020151408A patent/JP2020205623A/ja active Pending
-
2021
- 2021-06-14 ZA ZA2021/04079A patent/ZA202104079B/en unknown
-
2022
- 2022-03-22 JP JP2022046098A patent/JP7457924B2/ja active Active
- 2022-11-22 US US17/992,739 patent/US20230091579A1/en active Pending
-
2023
- 2023-12-14 JP JP2023211012A patent/JP2024023670A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020003284A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and amvp |
US20200195959A1 (en) | 2018-06-29 | 2020-06-18 | Beijing Bytedance Network Technology Co., Ltd. | Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks |
JP2021530940A (ja) | 2018-06-29 | 2021-11-11 | 北京字節跳動網絡技術有限公司Beijing Bytedance Network Technology Co., Ltd. | Lutとamvpの間の相互作用 |
WO2020071793A1 (ko) | 2018-10-02 | 2020-04-09 | 엘지전자 주식회사 | Hmvp를 기반으로 예측 후보를 구성하는 방법 및 장치 |
JP2022502964A (ja) | 2018-10-02 | 2022-01-11 | エルジー エレクトロニクス インコーポレイティドLg Electronics Inc. | Hmvpに基づいて予測候補を構成する方法及び装置 |
Non-Patent Citations (1)
Title |
---|
Li Zhang et al.,CE4-related: History-based Motion Vector Prediction [online],JVET-K0104-v5,インターネット <URL: https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0104-v5.zip>,2018年07月18日 |
Also Published As
Publication number | Publication date |
---|---|
JP2020205623A (ja) | 2020-12-24 |
BR112021012426A2 (pt) | 2021-09-08 |
JP2022082617A (ja) | 2022-06-02 |
WO2020137848A1 (ja) | 2020-07-02 |
EP3905690A4 (en) | 2022-11-02 |
JP2020182207A (ja) | 2020-11-05 |
KR20210013199A (ko) | 2021-02-03 |
BR112021012426A8 (pt) | 2022-08-02 |
KR102617199B1 (ko) | 2023-12-27 |
US20210185311A1 (en) | 2021-06-17 |
CN118018757A (zh) | 2024-05-10 |
US20230091579A1 (en) | 2023-03-23 |
CN118018756A (zh) | 2024-05-10 |
CN112954317B (zh) | 2022-02-11 |
CN112425170A (zh) | 2021-02-26 |
MX2021007755A (es) | 2021-08-05 |
CN118018758A (zh) | 2024-05-10 |
ZA202104079B (en) | 2022-10-26 |
EP3905690A1 (en) | 2021-11-03 |
KR20240000647A (ko) | 2024-01-02 |
CN112954317A (zh) | 2021-06-11 |
RU2022106510A (ru) | 2022-03-21 |
JP2024023670A (ja) | 2024-02-21 |
US11558606B2 (en) | 2023-01-17 |
CN112425170B (zh) | 2024-03-22 |
CN118018759A (zh) | 2024-05-10 |
RU2768971C1 (ru) | 2022-03-28 |
JP6763468B1 (ja) | 2020-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7445936B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム | |
JP7457924B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、及びデータ構造 | |
JP7409365B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム | |
KR102606883B1 (ko) | 동화상 복호 장치, 동화상 복호 방법, 동화상 복호 프로그램, 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램 | |
JP7251579B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム | |
JP7318700B2 (ja) | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230706 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231214 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7457924 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |