本実施の形態において使用する技術、及び技術用語を定義する。
<ツリーブロック>
実施の形態では、所定の大きさで符号化・復号処理対象画像を均等分割する。この単位をツリーブロックと定義する。図4では、ツリーブロックのサイズを128x128画素としているが、ツリーブロックのサイズはこれに限定されるものではなく、任意のサイズを設定してよい。処理対象(符号化処理においては符号化対象、復号処理においては復号対象に対応する。)のツリーブロックは、ラスタスキャン順、すなわち左から右、上から下の順序で切り替わる。各ツリーブロックの内部は、さらに再帰的な分割が可能である。ツリーブロックを再帰的に分割した後の、符号化・復号の対象となるブロックを符号化ブロックと定義する。また、ツリーブロック、符号化ブロックを総称してブロックと定義する。適切なブロック分割を行うことにより効率的な符号化が可能となる。ツリーブロックのサイズは、符号化装置と復号装置で予め取り決めた固定値とすることもできるし、符号化装置が決定したツリーブロックのサイズを復号装置に伝送するような構成をとることもできる。ここでは、ツリーブロックの最大サイズを128x128画素、ツリーブロックの最小サイズを16x16画素とする。また、符号化ブロックの最大サイズを64x64画素、符号化ブロックの最小サイズを4x4画素とする。
<予測モード>
処理対象符号化ブロック単位で、処理対象画像の処理済み画像信号から予測を行うイントラ予測(MODE_INTRA)、及び処理済み画像の画像信号から予測を行うインター予測(MODE_INTER)を切り替える。
処理済み画像は、符号化処理においては符号化が完了した信号を復号した画像、画像信号、ツリーブロック、ブロック、符号化ブロック等に用いられ、復号処理においては復号が完了した画像、画像信号、ツリーブロック、ブロック、符号化ブロック等に用いられる。
このイントラ予測(MODE_INTRA)とインター予測(MODE_INTER)を識別するモードを予測モード(PredMode)と定義する。予測モード(PredMode)はイントラ予測(MODE_INTRA)、またはインター予測(MODE_INTER)を値として持つ。
<インター予測>
処理済み画像の画像信号から予測を行うインター予測では、複数の処理済み画像を参照ピクチャとして用いることができる。複数の参照ピクチャを管理するため、L0(参照リスト0)とL1(参照リスト1)の2種類の参照リストを定義し、それぞれ参照インデックスを用いて参照ピクチャを特定する。PスライスではL0予測(Pred_L0)が利用可能である。BスライスではL0予測(Pred_L0)、L1予測(Pred_L1)、双予測(Pred_BI)が利用可能である。L0予測(Pred_L0)はL0で管理されている参照ピクチャを参照するインター予測であり、L1予測(Pred_L1)はL1で管理されている参照ピクチャを参照するインター予測である。双予測(Pred_BI)はL0予測とL1予測が共に行われ、L0とL1のそれぞれで管理されている1つずつの参照ピクチャを参照するインター予測である。L0予測、L1予測、双予測を特定する情報を、インター予測モードと定義する。以降の処理において出力に添え字LXが付いている定数、変数に関しては、L0、L1ごとに処理が行われることを前提とする。
<予測動きベクトルモード>
予測動きベクトルモードは、予測動きベクトルを特定するためのインデックス、差分動きベクトル、インター予測モード、参照インデックスを伝送し、処理対象ブロックのインター予測情報を決定するモードである。予測動きベクトルは、処理対象ブロックに隣接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックから導出した予測動きベクトル候補と、予測動きベクトルを特定するためのインデックスから導出する。
<マージモード>
マージモードは、差分動きベクトル、参照インデックスを伝送せずに、処理対象ブロックに隣接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックのインター予測情報から、処理対象ブロックのインター予測情報を導出するモードである。
処理対象ブロックに隣接する処理済みブロック、およびその処理済みブロックのインター予測情報を空間マージ候補と定義する。処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロック、およびそのブロックのインター予測情報から導出されるインター予測情報を時間マージ候補と定義する。各マージ候補はマージ候補リストに登録され、マージインデックスにより、処理対象ブロックの予測で使用するマージ候補を特定する。
<隣接ブロック>
図11は、予測動きベクトルモード、マージモードで、インター予測情報を導出するために参照する参照ブロックを説明する図である。A0,A1,A2,B0,B1,B2,B3は、処理対象ブロックに隣接する処理済みブロックである。T0は、処理済み画像に属するブロックで、処理対象画像における処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックである。
A1,A2は、処理対象符号化ブロックの左側に位置し、処理対象符号化ブロックに隣接するブロックである。B1,B3は、処理対象符号化ブロックの上側に位置し、処理対象符号化ブロックに隣接するブロックである。A0,B0,B2はそれぞれ、処理対象符号化ブロックの左下、右上、左上に位置するブロックである。
予測動きベクトルモード、マージモードにおいて隣接ブロックをどのように扱うかの詳細については後述する。
<アフィン変換動き補償>
アフィン変換動き補償は、符号化ブロックを所定単位のサブブロックに分割し、分割された各サブブロックに対して個別に動きベクトルを決定して動き補償を行うものである。各サブブロックの動きベクトルは、処理対象ブロックに隣接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックのインター予測情報から導出する1つ以上の制御点に基づき導出する。本実施の形態では、サブブロックのサイズを4x4画素とするが、サブブロックのサイズはこれに限定されるものではないし、画素単位で動きベクトルを導出してもよい。
図14に、制御点が2つの場合のアフィン変換動き補償の例を示す。この場合、2つの制御点が水平方向成分、垂直方向成分の2つのパラメータを有する。このため、制御点が2つの場合のアフィン変換を、4パラメータアフィン変換と呼称する。図14のCP1、CP2が制御点である。
図15に、制御点が3つの場合のアフィン変換動き補償の例を示す。この場合、3つの制御点が水平方向成分、垂直方向成分の2つのパラメータを有する。このため、制御点が3つの場合のアフィン変換を、6パラメータアフィン変換と呼称する。図15のCP1、CP2、CP3が制御点である。
アフィン変換動き補償は、予測動きベクトルモードおよびマージモードのいずれのモードにおいても利用可能である。予測動きベクトルモードでアフィン変換動き補償を適用するモードをサブブロック予測動きベクトルモードと定義し、マージモードでアフィン変換動き補償を適用するモードをサブブロックマージモードと定義する。
<インター予測のシンタックス>
図12、図13を用いて、インター予測に関するシンタックスを説明する。
図12のmerge_flagは、処理対象符号化ブロックをマージモードとするか、予測動きベクトルモードとするかを示すフラグである。merge_affine_flagは、マージモードの処理対象符号化ブロックでサブブロックマージモードを適用するか否かを示すフラグである。inter_affine_flagは、予測動きベクトルモードの処理対象符号化ブロックでサブブロック予測動きベクトルモードを適用するか否かを示すフラグである。cu_affine_type_flagは、サブブロック予測動きベクトルモードにおいて、制御点の数を決定するためのフラグである。
図13に各シンタックスエレメントの値と、それに対応する予測方法を示す。merge_flag=1,merge_affine_flag=0 は、通常マージモードに対応する。通常マージモードは、サブブロックマージでないマージモードである。merge_flag=1,merge_affine_flag=1は、サブブロックマージモードに対応する。merge_flag=0,inter_affine_flag=0は、通常予測動きベクトルモードに対応する。通常予測動きベクトルモードは、サブブロック予測動きベクトルモードでない予測動きベクトルマージである。merge_flag=0,inter_affine_flag=1は、サブブロック予測動きベクトルモードに対応する。merge_flag=0,inter_affine_flag=1の場合は、さらにcu_affine_type_flagを伝送し、制御点の数を決定する。
<POC>
POC(Picture Order Count)は符号化されるピクチャに関連付けられる変数であり、ピクチャの出力順序に応じた1ずつ増加する値が設定される。POCの値によって、同じピクチャであるかを判別したり、出力順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、2つのピクチャのPOCが同じ値を持つ場合、同一のピクチャであると判断できる。2つのピクチャのPOCが違う値を持つ場合、POCの値が小さいピクチャのほうが、先に出力されるピクチャであると判断でき、2つのピクチャのPOCの差が時間軸方向でのピクチャ間距離を示す。
(第1の実施の形態)
本発明の第1の実施の形態に係る画像符号化装置100及び画像復号装置200について説明する。
図1は、第1の実施の形態に係る画像符号化装置100のブロック図である。実施の形態の画像符号化装置100は、ブロック分割部101、インター予測部102、イントラ予測部103、復号画像メモリ104、予測方法決定部105、残差生成部106、直交変換・量子化部107、ビット列符号化部108、逆量子化・逆直交変換部109、復号画像信号重畳部110、および符号化情報格納メモリ111を備える。
ブロック分割部101は、入力された画像を再帰的に分割して、符号化ブロックを生成する。ブロック分割部101は、分割対象となるブロックを水平方向と垂直方向にそれぞれ分割する4分割部と、分割対象となるブロックを水平方向または垂直方向のいずれかに分割する2−3分割部とを含む。ブロック分割部101は、生成した符号化ブロックを処理対象符号化ブロックとし、その処理対象符号化ブロックの画像信号を、インター予測部102、イントラ予測部103および残差生成部106に供給する。また、ブロック分割部101は、決定した再帰分割構造を示す情報をビット列符号化部108に供給する。ブロック分割部101の詳細な動作は後述する。
インター予測部102は、処理対象符号化ブロックのインター予測を行う。インター予測部102は、符号化情報格納メモリ111に格納されているインター予測情報と、復号画像メモリ104に格納されている復号済みの画像信号とから、複数のインター予測情報の候補を導出し、導出した複数の候補の中から適したインター予測モードを選択し、選択されたインター予測モード、及び選択されたインター予測モードに応じた予測画像信号を予測方法決定部105に供給する。インター予測部102の詳細な構成と動作は後述する。
イントラ予測部103は、処理対象符号化ブロックのイントラ予測を行う。イントラ予測部103は、復号画像メモリ104に格納されている復号済みの画像信号を参照画素として参照し、符号化情報格納メモリ111に格納されているイントラ予測モード等の符号化情報に基づくイントラ予測により予測画像信号を生成する。イントラ予測では、イントラ予測部103は、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号を予測方法決定部105に供給する。
図10A及び図10Bにイントラ予測の例を示す。図10Aは、イントラ予測の予測方向とイントラ予測モード番号の対応を示したものである。例えば、イントラ予測モード50は、垂直方向に参照画素をコピーすることによりイントラ予測画像を生成する。イントラ予測モード1は、DCモードであり、処理対象ブロックのすべての画素値を参照画素の平均値とするモードである。イントラ予測モード0は、Planarモードであり、垂直方向・水平方向の参照画素から2次元的なイントラ予測画像を作成するモードである。図10Bは、イントラ予測モード40の場合のイントラ予測画像を生成する例である。イントラ予測部103は、処理対象ブロックの各画素に対し、イントラ予測モードの示す方向の参照画素の値をコピーする。イントラ予測部103は、イントラ予測モードの参照画素が整数位置でない場合には、周辺の整数位置の参照画素値から補間により参照画素値を決定する。
復号画像メモリ104は、復号画像信号重畳部110で生成した復号画像を格納する。復号画像メモリ104は、格納している復号画像を、インター予測部102、イントラ予測部103に供給する。
予測方法決定部105は、イントラ予測とインター予測のそれぞれに対して、符号化情報及び残差の符号量、予測画像信号と処理対象画像信号との間の歪量等を用いて評価することにより、最適な予測モードを決定する。イントラ予測の場合は、予測方法決定部105は、イントラ予測モード等のイントラ予測情報を符号化情報としてビット列符号化部108に供給する。インター予測のマージモードの場合は、予測方法決定部105は、マージインデックス、サブブロックマージモードか否かを示す情報(サブブロックマージフラグ)等のインター予測情報を符号化情報としてビット列符号化部108に供給する。インター予測の予測動きベクトルモードの場合は、予測方法決定部105は、インター予測モード、予測動きベクトルインデックス、L0、L1の参照インデックス、差分動きベクトル、サブブロック予測動きベクトルモードか否かを示す情報(サブブロック予測動きベクトルフラグ)等のインター予測情報を符号化情報としてビット列符号化部108に供給する。さらに、予測方法決定部105は、決定した符号化情報を符号化情報格納メモリ111に供給する。予測方法決定部105は、残差生成部106及び予測画像信号を復号画像信号重畳部110に供給する。
残差生成部106は、処理対象の画像信号から予測画像信号を減ずることにより残差を生成し、直交変換・量子化部107に供給する。
直交変換・量子化部107は、残差に対して量子化パラメータに応じて直交変換及び量子化を行い直交変換・量子化された残差を生成し、生成した残差をビット列符号化部108と逆量子化・逆直交変換部109とに供給する。
ビット列符号化部108は、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報に加えて、符号化ブロック毎に予測方法決定部105によって決定された予測方法に応じた符号化情報を符号化する。具体的には、ビット列符号化部108は、符号化ブロック毎の予測モードPredModeを符号化する。予測モードがインター予測(MODE_INTER)の場合、ビット列符号化部108は、マージモードか否かを判別するフラグ、サブブロックマージフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトルに関する情報、サブブロック予測動きベクトルフラグ等の符号化情報(インター予測情報)を規定のシンタックス(ビット列の構文規則)に従って符号化し、第1のビット列を生成する。予測モードがイントラ予測(MODE_INTRA)の場合、イントラ予測モード等の符号化情報(イントラ予測情報)を規定のシンタックス(ビット列の構文規則)に従って符号化し、第1のビット列を生成する。また、ビット列符号化部108は、直交変換及び量子化された残差を規定のシンタックスに従ってエントロピー符号化して第2のビット列を生成する。ビット列符号化部108は、第1のビット列と第2のビット列を規定のシンタックスに従って多重化し、ビットストリームを出力する。
逆量子化・逆直交変換部109は、直交変換・量子化部107から供給された直交変換・量子化された残差を逆量子化及び逆直交変換して残差を算出し、算出した残差を復号画像信号重畳部110に供給する。
復号画像信号重畳部110は、予測方法決定部105による決定に応じた予測画像信号と逆量子化・逆直交変換部109で逆量子化及び逆直交変換された残差を重畳して復号画像を生成し、復号画像メモリ104に格納する。なお、復号画像信号重畳部110は、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施した後、復号画像メモリ104に格納してもよい。
符号化情報格納メモリ111は、予測方法決定部105で決定した、予測モード(インター予測またはイントラ予測)等の符号化情報を格納する。インター予測の場合は、符号化情報格納メモリ111が格納する符号化情報には、決定した動きベクトル、参照リストL0、L1の参照インデックス、履歴予測動きベクトル候補リスト等のインター予測情報が含まれる。またインター予測のマージモードの場合は、符号化情報格納メモリ111が格納する符号化情報には、上述の各情報に加え、マージインデックス、サブブロックマージモードか否かを示す情報(サブブロックマージフラグ)のインター予測情報が含まれる。またインター予測の予測動きベクトルモードの場合は、符号化情報格納メモリ111が格納する符号化情報には、上述の各情報に加え、インター予測モード、予測動きベクトルインデックス、差分動きベクトル、サブブロック予測動きベクトルモードか否かを示す情報(サブブロック予測動きベクトルフラグ)等のインター予測情報が含まれる。イントラ予測の場合は、符号化情報格納メモリ111が格納する符号化情報には、決定したイントラ予測モード等のイントラ予測情報が含まれる。
図2は、図1の画像符号化装置に対応した本発明の実施の形態に係る画像復号装置の構成を示すブロックである。実施の形態の画像復号装置は、ビット列復号部201、ブロック分割部202、インター予測部203、イントラ予測部204、符号化情報格納メモリ205、逆量子化・逆直交変換部206、復号画像信号重畳部207、および復号画像メモリ208を備える。
図2の画像復号装置の復号処理は、図1の画像符号化装置の内部に設けられている復号処理に対応するものであるから、図2の符号化情報格納メモリ205、逆量子化・逆直交変換部206、復号画像信号重畳部207、および復号画像メモリ208の各構成は、図1の画像符号化装置の符号化情報格納メモリ111、逆量子化・逆直交変換部109、復号画像信号重畳部110、および復号画像メモリ104の各構成とそれぞれ対応する機能を有する。
ビット列復号部201に供給されるビットストリームは、規定のシンタックスの規則に従って分離される。ビット列復号部201は、分離された第1のビット列を復号し、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報、及び、符号化ブロック単位の符号化情報を得る。具体的には、ビット列復号部201は、符号化ブロック単位でインター予測(MODE_INTER)かイントラ予測(MODE_INTRA)かを判別する予測モードPredModeを復号する。予測モードがインター予測(MODE_INTER)の場合、ビット列復号部201は、マージモードか否かを判別するフラグ、マージモードの場合はマージインデックス、サブブロックマージフラグ、予測動きベクトルモードである場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトル、サブブロック予測動きベクトルフラグ等に関する符号化情報(インター予測情報)を規定のシンタックスに従って復号し、符号化情報(インター予測情報)をインター予測部203、およびブロック分割部202を介して符号化情報格納メモリ205に供給する。予測モードがイントラ予測(MODE_INTRA)の場合、イントラ予測モード等の符号化情報(イントラ予測情報)を規定のシンタックスに従って復号し、符号化情報(イントラ予測情報)をインター予測部203またはイントラ予測部204、およびブロック分割部202を介して符号化情報格納メモリ205に供給する。ビット列復号部201は、分離した第2のビット列を復号して直交変換・量子化された残差を算出し、直交変換・量子化された残差を逆量子化・逆直交変換部206に供給する。
インター予測部203は、処理対象の符号化ブロックの予測モードPredModeがインター予測(MODE_INTER)で予測動きベクトルモードである時に、符号化情報格納メモリ205に記憶されている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を導出して、導出した複数の予測動きベクトルの候補を、後述する予測動きベクトル候補リストに登録する。インター予測部203は、予測動きベクトル候補リストに登録された複数の予測動きベクトルの候補の中から、ビット列復号部201で復号され供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、ビット列復号部201で復号された差分動きベクトルと選択された予測動きベクトルから動きベクトルを算出し、算出した動きベクトルを他の符号化情報とともに符号化情報格納メモリ205に格納する。ここで供給・格納する符号化ブロックの符号化情報は、予測モードPredMode、L0予測、及びL1予測を利用するか否かを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での符号化ブロックの左上の画素の位置を示すインデックスである。予測モードPredModeがインター予測(MODE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、L0予測を利用するか否かを示すフラグpredFlagL0は1、L1予測を利用するか否かを示すフラグpredFlagL1は0である。インター予測モードがL1予測(Pred_L1)の場合、L0予測を利用するか否かを示すフラグpredFlagL0は0、L1予測を利用するか否かを示すフラグpredFlagL1は1である。インター予測モードが双予測(Pred_BI)の場合、L0予測を利用するか否かを示すフラグpredFlagL0、L1予測を利用するか否かを示すフラグpredFlagL1は共に1である。さらに、処理対象の符号化ブロックの予測モードPredModeがインター予測(MODE_INTER)でマージモードの時に、マージ候補を導出する。符号化情報格納メモリ205に記憶されている既に復号された符号化ブロックの符号化情報を用いて、複数のマージの候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中からビット列復号部201で復号され供給されるマージインデックスに対応したマージ候補を選択し、選択されたマージ候補のL0予測、及びL1予測を利用するか否かを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を符号化情報格納メモリ205に格納する。ここで、xP、yPはピクチャ内での符号化ブロックの左上の画素の位置を示すインデックスである。インター予測部203の詳細な構成と動作は後述する。
イントラ予測部204は、処理対象の符号化ブロックの予測モードPredModeがイントラ予測(MODE_INTRA)の時に、イントラ予測を行う。ビット列復号部201で復号された符号化情報にはイントラ予測モードが含まれている。イントラ予測部204は、ビット列復号部201で復号された符号化情報に含まれるイントラ予測モードに応じて、復号画像メモリ208に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、生成した予測画像信号を復号画像信号重畳部207に供給する。イントラ予測部204は、画像符号化装置100のイントラ予測部103に対応するものであるから、イントラ予測部103と同様の処理を行う。
逆量子化・逆直交変換部206は、ビット列復号部201で復号された直交変換・量子化された残差に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差を得る。
復号画像信号重畳部207は、インター予測部203でインター予測された予測画像信号、またはイントラ予測部204でイントラ予測された予測画像信号と、逆量子化・逆直交変換部206により逆直交変換・逆量子化された残差とを重畳することにより、復号画像信号を復号し、復号した復号画像信号を復号画像メモリ208に格納する。復号画像メモリ208に格納する際には、復号画像信号重畳部207は、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施した後、復号画像メモリ208に格納してもよい。
次に、画像符号化装置100におけるブロック分割部101の動作について説明する。図3は、画像をツリーブロックに分割し、各ツリーブロックをさらに分割する動作を示すフローチャートである。まず、入力された画像を、所定サイズのツリーブロックに分割する(ステップS1001)。各ツリーブロックについては、所定の順序、すなわちラスタスキャン順に走査し(ステップS1002)、処理対象のツリーブロックの内部を分割する(ステップS1003)。
図7は、ステップS1003の分割処理の詳細動作を示すフローチャートである。まず、処理対象のブロックを4分割するか否かを判断する(ステップS1101)。
処理対象ブロックを4分割すると判断した場合は、処理対象ブロックを4分割する(ステップS1102)。処理対象ブロックを分割した各ブロックについて、Zスキャン順、すなわち左上、右上、左下、右下の順に走査する(ステップS1103)。図5は、Zスキャン順の例であり、図6Aの601は、処理対象ブロックを4分割した例である。図6Aの601の番号0〜3は処理の順番を示したものである。そしてステップS1101で分割した各ブロックについて、図7の分割処理を再帰的に実行する(ステップS1104)。
処理対象ブロックを4分割しないと判断した場合は、2−3分割を行う(ステップS1105)。
図8は、ステップS1105の2−3分割処理の詳細動作を示すフローチャートである。まず、処理対象のブロックを2−3分割するか否か、すなわち2分割または3分割の何れかを行うか否かを判断する(ステップS1201)。
処理対象ブロックを2−3分割すると判断しない場合、すなわち分割しないと判断した場合は、分割を終了する(ステップS1211)。つまり、再帰的な分割処理により分割されたブロックに対して、さらなる再帰的な分割処理はしない。
処理対象のブロックを2−3分割すると判断した場合は、さらに処理対象ブロックを2分割するか否か(ステップS1202)を判断する。
処理対象ブロックを2分割すると判断した場合は、処理対象ブロックを上下(垂直方向)に分割するか否かを判断し(ステップS1203)、その結果に基づき、処理対象ブロックを上下(垂直方向)に2分割する(ステップS1204)か、処理対象ブロックを左右(水平方向)に2分割する(ステップS1205)。ステップS1204の結果、処理対象ブロックは、図6Bの602に示す通り、上下(垂直方向)2分割に分割され、ステップS1205の結果、処理対象ブロックは、図6Dの604に示す通り、左右(水平方向)2分割に分割される。
ステップS1202において、処理対象のブロックを2分割すると判断しなかった場合、すなわち3分割すると判断した場合は、処理対象ブロックを上中下(垂直方向)に分割するか否かを判断し(ステップS1206)、その結果に基づき、処理対象ブロックを上中下(垂直方向)に3分割する(ステップS1207)か、処理対象ブロックを左中右(水平方向)に3分割する(ステップS1208)。ステップS1207の結果、処理対象ブロックは、図6Cの603に示す通り、上中下(垂直方向)3分割に分割され、ステップS1208の結果、処理対象ブロックは、図6Eの605に示す通り、左中右(水平方向)3分割に分割される。
ステップS1204、ステップS1205、ステップS1207、ステップS1208のいずれかを実行後、処理対象ブロックを分割した各ブロックについて、左から右、上から下の順に走査する(ステップS1209)。図6B〜Eの602から605の番号0〜2は処理の順番を示したものである。分割した各ブロックについて、図8の2−3分割処理を再帰的に実行する(ステップS1210)。
ここで説明した再帰的なブロック分割は、分割する回数、または、処理対象のブロックのサイズ等により、分割要否を制限してもよい。分割要否を制限する情報は、符号化装置と復号化装置の間で予め取り決めを行うことで、情報の伝達を行わない構成で実現してもよいし、符号化装置が分割要否を制限する情報を決定し、ビット列に記録することにより、復号化装置に伝達する構成で実現してもよい。
あるブロックを分割したとき、分割前のブロックを親ブロックと呼び、分割後の各ブロックを子ブロックと呼ぶ。
次に、画像復号装置200におけるブロック分割部202の動作について説明する。ブロック分割部202は、画像符号化装置100のブロック分割部101と同様の処理手順でツリーブロックを分割するものである。ただし、画像符号化装置100のブロック分割部101では、画像認識による最適形状の推定や歪レート最適化等最適化手法を適用し、最適なブロック分割の形状を決定するのに対し、画像復号装置200におけるブロック分割部202は、ビット列に記録されたブロック分割情報を復号することにより、ブロック分割形状を決定する点が異なる。
第1の実施の形態のブロック分割に関するシンタックス(ビット列の構文規則)を図9に示す。coding_quadtree()はブロックの4分割処理にかかるシンタックスを表す。multi_type_tree()はブロックの2分割または3分割処理にかかるシンタックスを表す。qt_splitはブロックを4分割するか否かを示すフラグである。ブロックを4分割する場合は、qt_split=1とし、4分割しない場合は、qt_split=0とする。4分割する場合(qt_split=1)、4分割した各ブロックについて、再帰的に4分割処理をする(coding_quadtree(0), coding_quadtree(1), coding_quadtree(2), coding_quadtree(3)、引数の0〜3は図6Aの601の番号に対応する。)。4分割しない場合(qt_split=0)は、multi_type_tree()に従い、後続の分割を決定する。mtt_splitは、さらに分割をするか否かを示すフラグである。さらに分割をする場合(mtt_split=1)、垂直方向に分割するか水平方向に分割するかを示すフラグであるmtt_split_verticalと、2分割するか3分割するかを決定するフラグであるmtt_split_binaryを伝送する。mtt_split_vertical=1は、垂直方向に分割することを示し、mtt_split_vertical=0は、水平方向に分割することを示す。mtt_split_binary=1は、2分割することを示し、mtt_split_binary=0は3分割することを示す。2分割する場合(mtt_split_binary=1)、2分割した各ブロックについて、再帰的に分割処理をする(multi_type_tree(0), multi_type_tree(1)、引数の0〜1は図6B〜Dの602または604の番号に対応する。)。3分割する場合(mtt_split_binary=0)、3分割した各ブロックについて、再帰的に分割処理をする(multi_type_tree(0), multi_type_tree(1), multi_type_tree(2)、0〜2は図6Bの603または図6Eの605の番号に対応する。)。mtt_split=0となるまで、再帰的にmulti_type_treeを呼び出すことにより、階層的なブロック分割を行う。
<インター予測>
実施の形態に係るインター予測方法は、図1の画像符号化装置のインター予測部102および図2の画像復号装置のインター予測部203において実施される。
実施の形態によるインター予測方法について、図面を用いて説明する。インター予測方法は符号化ブロック単位で符号化及び復号の処理の何れでも実施される。
<符号化側のインター予測部102の説明>
図16は図1の画像符号化装置のインター予測部102の詳細な構成を示す図である。通常予測動きベクトルモード導出部301は、複数の通常予測動きベクトル候補を導出して予測動きベクトルを選択し、選択した予測動きベクトルと、検出された動きベクトルとの差分動きベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、算出された差分動きベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がインター予測モード判定部305に供給される。通常予測動きベクトルモード導出部301の詳細な構成と処理については後述する。
通常マージモード導出部302では複数の通常マージ候補を導出して通常マージ候補を選択し、通常マージモードのインター予測情報を得る。このインター予測情報がインター予測モード判定部305に供給される。通常マージモード導出部302の詳細な構成と処理については後述する。
サブブロック予測動きベクトルモード導出部303では複数のサブブロック予測動きベクトル候補を導出してサブブロック予測動きベクトルを選択し、選択したサブブロック予測動きベクトルと、検出した動きベクトルとの差分動きベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、算出された差分動きベクトルがサブブロック予測動きベクトルモードのインター予測情報となる。このインター予測情報がインター予測モード判定部305に供給される。
サブブロックマージモード導出部304では複数のサブブロックマージ候補を導出してサブブロックマージ候補を選択し、サブブロックマージモードのインター予測情報を得る。このインター予測情報がインター予測モード判定部305に供給される。
インター予測モード判定部305では通常予測動きベクトルモード導出部301、通常マージモード導出部302、サブブロック予測動きベクトルモード導出部303、サブブロックマージモード導出部304から供給されるインター予測情報に基づいて、インター予測情報を判定する。インター予測モード判定部305から判定結果に応じたインター予測情報が動き補償予測部306に供給される。
動き補償予測部306では判定されたインター予測情報に基づいて、復号画像メモリ104に格納されている参照画像信号に対してインター予測を行う。動き補償予測部306の詳細な構成と処理については後述する。
<復号側のインター予測部203の説明>
図22は図2の画像復号装置のインター予測部203の詳細な構成を示す図である。
通常予測動きベクトルモード導出部401は複数の通常予測動きベクトル候補を導出して予測動きベクトルを選択し、選択した予測動きベクトルと、復号した差分動きベクトルとの加算値を算出して動きベクトルとする。復号されたインター予測モード、参照インデックス、動きベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。通常予測動きベクトルモード導出部401の詳細な構成と処理については後述する。
通常マージモード導出部402では複数の通常マージ候補を導出して通常マージ候補を選択し、通常マージモードのインター予測情報を得る。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。通常マージモード導出部402の詳細な構成と処理については後述する。
サブブロック予測動きベクトルモード導出部403では複数のサブブロック予測動きベクトル候補を導出してサブブロック予測動きベクトルを選択し、選択したサブブロック予測動きベクトルと、復号した差分動きベクトルとの加算値を算出して動きベクトルとする。復号されたインター予測モード、参照インデックス、動きベクトルがサブブロック予測動きベクトルモードのインター予測情報となる。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。
サブブロックマージモード導出部404では複数のサブブロックマージ候補を導出してサブブロックマージ候補を選択し、サブブロックマージモードのインター予測情報を得る。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。
動き補償予測部406では判定されたインター予測情報に基づいて、復号画像メモリ208に格納されている参照画像信号に対してインター予測を行う。動き補償予測部406の詳細な構成と処理については符号化側の動き補償予測部306と同様である。
<通常予測動きベクトルモード導出部(通常AMVP)>
図17の通常予測動きベクトルモード導出部301は、空間予測動きベクトル候補導出部321、時間予測動きベクトル候補導出部322、履歴予測動きベクトル候補導出部323、予測動きベクトル候補補充部325、通常動きベクトル検出部326、予測動きベクトル候補選択部327、動きベクトル減算部328を含む。
図23の通常予測動きベクトルモード導出部401は、空間予測動きベクトル候補導出部421、時間予測動きベクトル候補導出部422、履歴予測動きベクトル候補導出部423、予測動きベクトル候補補充部425、予測動きベクトル候補選択部426、動きベクトル加算部427を含む。
符号化側の通常予測動きベクトルモード導出部301および復号側の通常予測動きベクトルモード導出部401の処理手順について、それぞれ図19、図25のフローチャートを用いて説明する。図19は符号化側の通常動きベクトルモード導出部301による通常予測動きベクトルモード導出処理手順を示すフローチャートであり、図25は復号側の通常動きベクトルモード導出部401による通常予測動きベクトルモード導出処理手順を示すフローチャートである。
<通常予測動きベクトルモード導出部(通常AMVP):符号化側の説明>
図19を参照して符号化側の通常予測動きベクトルモード導出処理手順を説明する。図19の処理手順の説明において、図19に示した通常という言葉を省略することがある。
まず、通常動きベクトル検出部326でインター予測モードおよび参照インデックス毎に通常動きベクトルを検出する(図19のステップS100)。
続いて、空間予測動きベクトル候補導出部321、時間予測動きベクトル候補導出部322、履歴予測動きベクトル候補導出部323、予測動きベクトル候補補充部325、予測動きベクトル候補選択部327、動きベクトル減算部328で、通常予測動きベクトルモードのインター予測で用いる動きベクトルの差分動きベクトルをL0、L1毎にそれぞれ算出する(図19のステップS101〜S106)。具体的には処理対象ブロックの予測モードPredModeがインター予測(MODE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、L0の予測動きベクトル候補リストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0の差分動きベクトルmvdL0を算出する。処理対象ブロックのインター予測モードがL1予測(Pred_L1)の場合、L1の予測動きベクトル候補リストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、L1の動きベクトルmvL1の差分動きベクトルmvdL1を算出する。処理対象ブロックのインター予測モードが双予測(Pred_BI)の場合、L0予測とL1予測が共に行われ、L0の予測動きベクトル候補リストmvpListL0を算出して、L0の予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0の差分動きベクトルmvdL0を算出するとともに、L1の予測動きベクトル候補リストmvpListL1を算出して、L1の予測動きベクトルmvpL1を算出し、L1の動きベクトルmvL1の差分動きベクトルmvdL1をそれぞれ算出する。
L0、L1それぞれについて、差分動きベクトル算出処理を行うが、L0、L1ともに共通の処理となる。したがって、以下の説明においてはL0、L1を共通のLXとして表す。L0の差分動きベクトルを算出する処理ではLXのXが0であり、L1の差分動きベクトルを算出する処理ではLXのXが1である。また、LXの差分動きベクトルを算出する処理中に、LXではなく、もう一方のリストの情報を参照する場合、もう一方のリストをLYとして表す。
LXの動きベクトルmvLXを使用する場合(図19のステップS102:YES)、LXの予測動きベクトルの候補を算出してLXの予測動きベクトル候補リストmvpListLXを構築する(図19のステップS103)。通常予測動きベクトルモード導出部301の中の空間予測動きベクトル候補導出部321、時間予測動きベクトル候補導出部322、履歴予測動きベクトル候補導出部323、予測動きベクトル候補補充部325で複数の予測動きベクトルの候補を導出して予測動きベクトル候補リストmvpListLXを構築する。図19のステップS103の詳細な処理手順については図20のフローチャートを用いて後述する。
続いて、予測動きベクトル候補選択部327により、LXの予測動きベクトル候補リストmvpListLXからLXの予測動きベクトルmvpLXを選択する(図19のステップS104)。ここで、予測動きベクトル候補リストmvpListLXの中で、ある1つの要素(0から数えてi番目の要素)をmvpListLX[i]として表す。動きベクトルmvLXと予測動きベクトル候補リストmvpListLXの中に格納された各予測動きベクトルの候補mvpListLX[i]との差分であるそれぞれの差分動きベクトルを算出する。それら差分動きベクトルを符号化したときの符号量を予測動きベクトル候補リストmvpListLXの要素(予測動きベクトル候補)ごとに算出する。そして、予測動きベクトル候補リストmvpListLXに登録された各要素の中で、予測動きベクトルの候補毎の符号量が最小となる予測動きベクトルの候補mvpListLX[i]を予測動きベクトルmvpLXとして選択し、そのインデックスiを取得する。予測動きベクトル候補リストmvpListLXの中で最小の発生符号量となる予測動きベクトルの候補が複数存在する場合には、予測動きベクトル候補リストmvpListLXの中のインデックスiが小さい番号で表される予測動きベクトルの候補mvpListLX[i]を最適な予測動きベクトルmvpLXとして選択し、そのインデックスiを取得する。
続いて、動きベクトル減算部328で、LXの動きベクトルmvLXから選択されたLXの予測動きベクトルmvpLXを減算し、
mvdLX = mvLX - mvpLX
としてLXの差分動きベクトルmvdLXを算出する(図19のステップS105)。
<通常予測動きベクトルモード導出部(通常AMVP):復号側の説明>
次に、図25を参照して復号側の通常予測動きベクトルモード処理手順を説明する。復号側では、空間予測動きベクトル候補導出部421、時間予測動きベクトル候補導出部422、履歴予測動きベクトル候補導出部423、予測動きベクトル候補補充部425で、通常予測動きベクトルモードのインター予測で用いる動きベクトルをL0,L1毎にそれぞれ算出する(図25のステップS201〜S206)。具体的には処理対象ブロックの予測モードPredModeがインター予測(MODE_INTER)で、処理対象ブロックのインター予測モードがL0予測(Pred_L0)の場合、L0の予測動きベクトル候補リストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0を算出する。処理対象ブロックのインター予測モードがL1予測(Pred_L1)の場合、L1の予測動きベクトル候補リストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、L1の動きベクトルmvL1を算出する。処理対象ブロックのインター予測モードが双予測(Pred_BI)の場合、L0予測とL1予測が共に行われ、L0の予測動きベクトル候補リストmvpListL0を算出して、L0の予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0を算出するとともに、L1の予測動きベクトル候補リストmvpListL1を算出して、L1の予測動きベクトルmvpL1を算出し、L1の動きベクトルmvL1をそれぞれ算出する。
符号化側と同様に、復号側でもL0、L1それぞれについて、動きベクトル算出処理を行うが、L0、L1ともに共通の処理となる。したがって、以下の説明においてはL0、L1を共通のLXとして表す。LXは処理対象の符号化ブロックのインター予測に用いるインター予測モードを表す。L0の動きベクトルを算出する処理ではXが0であり、L1の動きベクトルを算出する処理ではXが1である。また、LXの動きベクトルを算出する処理中に、算出対象のLXと同じ参照リストではなく、もう一方の参照リストの情報を参照する場合、もう一方の参照リストをLYとして表す。
LXの動きベクトルmvLXを使用する場合(図25のステップS202:YES)、LXの予測動きベクトルの候補を算出してLXの予測動きベクトル候補リストmvpListLXを構築する(図25のステップS203)。通常予測動きベクトルモード導出部401の中の空間予測動きベクトル候補導出部421、時間予測動きベクトル候補導出部422、履歴予測動きベクトル候補導出部423、予測動きベクトル候補補充部425で複数の予測動きベクトルの候補を算出し、予測動きベクトル候補リストmvpListLXを構築する。図25のステップS203の詳細な処理手順については図20のフローチャートを用いて後述する。
続いて、予測動きベクトル候補選択部426で予測動きベクトル候補リストmvpListLXからビット列復号部201にて復号されて供給される予測動きベクトルのインデックスmvpIdxLXに対応する予測動きベクトルの候補mvpListLX[mvpIdxLX]を選択された予測動きベクトルmvpLXとして取り出す(図25のステップS204)。
続いて、動きベクトル加算部427でビット列復号部201にて復号されて供給されるLXの差分動きベクトルmvdLXとLXの予測動きベクトルmvpLXを加算し、
mvLX = mvpLX + mvdLX
としてLXの動きベクトルmvLXを算出する(図25のステップS205)。
<通常予測動きベクトルモード導出部(通常AMVP):動きベクトルの予測方法>
図20は本発明の実施の形態に係る画像符号化装置の通常予測動きベクトルモード導出部301及び画像復号装置の通常予測動きベクトルモード導出部401とで共通する機能を有する通常予測動きベクトルモード導出処理の処理手順を表すフローチャートである。
通常予測動きベクトルモード導出部301及び通常予測動きベクトルモード導出部401では、予測動きベクトル候補リストmvpListLXを備えている。予測動きベクトル候補リストmvpListLXはリスト構造を成し、予測動きベクトル候補リスト内部の所在を示す予測動きベクトルインデックスと、インデックスに対応する予測動きベクトル候補とを要素として格納する記憶領域が設けられている。予測動きベクトルインデックスの数字は0から開始され、予測動きベクトル候補リストmvpListLXの記憶領域に、予測動きベクトル候補が格納される。本実施の形態においては、予測動きベクトル候補リストmvpListLXは少なくとも2個の予測動きベクトル候補(インター予測情報)を登録することができるものとする。さらに、予測動きベクトル候補リストmvpListLXに登録されている予測動きベクトル候補数を示す変数numCurrMvpCandに0を設定する。
空間予測動きベクトル候補導出部321及び421は、左側に隣接するブロックからの予測動きベクトルの候補を導出する。この処理では、左側に隣接するブロック(図11のA0またはA1)のインター予測情報、すなわち予測動きベクトル候補が利用できるか否かを示すフラグ、及び動きベクトル、参照インデックス等を参照して予測動きベクトルmvLXA導出し、導出したmvLXAを予測動きベクトル候補リストmvpListLXに追加する(図20のステップS301)。なお、L0予測のときXは0、L1予測のときXは1とする(以下同様)。続いて、空間予測動きベクトル候補導出部321及び421は、上側に隣接するブロックからの予測動きベクトルの候補を導出する。この処理では、上側に隣接するブロック(図11のB0,B1,またはB2)のインター予測情報、すなわち予測動きベクトル候補が利用できるか否かを示すフラグ、及び動きベクトル、参照インデックス等を参照して予測動きベクトルmvLXBを導出し、それぞれ導出したmvLXAとmvLXBとが等しくなければ、mvLXBを予測動きベクトル候補リストmvpListLXに追加する(図20のステップS302)。図20のステップS301とS302の処理は参照する隣接ブロックの位置と数が異なる点以外は共通であり、符号化ブロックの予測動きベクトル候補が利用できるか否かを示すフラグavailableFlagLXN、及び動きベクトルmvLXN、参照インデックスrefIdxN(NはAまたはBを示す、以下同様)を導出する。
続いて、時間予測動きベクトル候補導出部322及び422は、現在の処理対象ピクチャとは時間が異なるピクチャにおけるブロックからの予測動きベクトルの候補を導出する。この処理では、異なる時間のピクチャの符号化ブロックの予測動きベクトル候補が利用できるか否かを示すフラグavailableFlagLXCol、及び動きベクトルmvLXCol、参照インデックスrefIdxCol、参照リストlistColを導出し、mvLXColを予測動きベクトル候補リストmvpListLXに追加する(図20のステップS303)。
なお、シーケンス(SPS)、ピクチャ(PPS)、またはスライスの単位で時間予測動きベクトル候補導出部322及び422の処理を省略することができるものとする。
続いて、履歴予測動きベクトル候補導出部323及び423は履歴予測動きベクトル候補リストHmvpCandListに登録されている履歴予測動きベクトル候補を予測動きベクトル候補リストmvpListLXに追加する。(図20のステップS304)。このステップS304の登録処理手順の詳細については図29のフローチャートを用いて後述する。
続いて予測動きベクトル候補補充部325及び425は予測動きベクトル候補リストmvpListLXを満たすまで、(0,0)等の、所定の値の予測動きベクトル候補を追加する(図20のS305)。
<通常マージモード導出部(通常マージ)>
図18の通常マージモード導出部302は、空間マージ候補導出部341、時間マージ候補導出部342、平均マージ候補導出部344、履歴マージ候補導出部345、マージ候補補充部346、マージ候補選択部347を含む。
図24の通常マージモード導出部402は、空間マージ候補導出部441、時間マージ候補導出部442、平均マージ候補導出部444、履歴マージ候補導出部445、マージ候補補充部446、マージ候補選択部447を含む。
図21は本発明の実施の形態に係る画像符号化装置の通常マージモード導出部302及び画像復号装置の通常マージモード導出部402とで共通する機能を有する通常マージモード導出処理の手順を説明するフローチャートである。
以下、諸過程を順を追って説明する。なお、以下の説明においては特に断りのない限りスライスタイプslice_typeがBスライスの場合について説明するが、Pスライスの場合にも適用できる。ただし、スライスタイプslice_typeがPスライスの場合、インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
通常マージモード導出部302及び通常マージモード導出部402では、マージ候補リストmergeCandListを備えている。マージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を示すマージインデックスと、インデックスに対応するマージ候補を要素として格納する記憶領域が設けられている。マージインデックスの数字は0から開始され、マージ候補リストmergeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補リストmergeCandListに登録されたマージインデックスiのマージ候補は、mergeCandList[i]で表すこととする。本実施の形態においては、マージ候補リストmergeCandListは少なくとも6個のマージ候補(インター予測情報)を登録することができるものとする。さらに、マージ候補リストmergeCandListに登録されているマージ候補数を示す変数numCurrMergeCandに0を設定する。
空間マージ候補導出部341及び空間マージ候補導出部441では、画像符号化装置の符号化情報格納メモリ111または画像復号装置の符号化情報格納メモリ205に格納されている符号化情報から、処理対象ブロックに隣接するそれぞれのブロック(図11のB1、A1、B0、A0、B2)からの空間マージ候補をB1、A1、B0、A0、B2の順に導出して、導出された空間マージ候補をマージ候補リストmergeCandListに登録する(図21のステップS401)。ここで、B1、A1、B0、A0、B2または時間マージ候補Colのいずれかを示すNを定義する。ブロックNのインター予測情報が空間マージ候補として利用できるか否かを示すフラグavailableFlagN、空間マージ候補NのL0の参照インデックスrefIdxL0N及びL1の参照インデックスrefIdxL1N、L0予測が行われるか否かを示すL0予測フラグpredFlagL0NおよびL1予測が行われるか否かを示すL1予測フラグpredFlagL1N、L0の動きベクトルmvL0N、L1の動きベクトルmvL1Nを導出する。ただし、本実施の形態においては処理対象となる符号化ブロックに含まれるブロックのインター予測情報を参照せずに、マージ候補を導出するので、処理対象の符号化ブロックに含まれるブロックのインター予測情報を用いる空間マージ候補は導出しない。
続いて、時間マージ候補導出部342及び時間マージ候補導出部442では、異なる時間のピクチャからの時間マージ候補を導出して、導出された時間マージ候補をマージ候補リストmergeCandListに登録する(図21のステップS402)。時間マージ候補が利用できるか否かを示すフラグavailableFlagCol、時間マージ候補のL0予測が行われるか否かを示すL0予測フラグpredFlagL0ColおよびL1予測が行われるか否かを示すL1予測フラグpredFlagL1Col、及びL0の動きベクトルmvL0Col、L1の動きベクトルmvL1Colを導出する。
なお、シーケンス(SPS)、ピクチャ(PPS)、またはスライスの単位で時間マージ候補導出部342及び時間マージ候補導出部442の処理を省略することができるものとする。
続いて、履歴マージ候補導出部345及び履歴マージ候補導出部445では、履歴予測動きベクトル候補リストHmvpCandListに登録されている履歴予測動きベクトル候補をマージ候補リストmergeCandListに登録する(図21のステップS403)。
なお、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが、最大マージ候補数MaxNumMergeCandより小さい場合、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが最大マージ候補数MaxNumMergeCandを上限として履歴マージ候補は導出されて、マージ候補リストmergeCandListに登録される。
続いて、平均マージ候補導出部344及び平均マージ候補導出部444では、マージ候補リストmergeCandListから平均マージ候補を導出して、導出された平均マージ候補をマージ候補リストmergeCandListに追加する(図21のステップS404)。
なお、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが、最大マージ候補数MaxNumMergeCandより小さい場合、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが最大マージ候補数MaxNumMergeCandを上限として平均マージ候補は導出されて、マージ候補リストmergeCandListに登録される。
ここで、平均マージ候補は、マージ候補リストmergeCandListに登録されている第1のマージ候補と第2のマージ候補の有する動きベクトルをL0予測及びL1予測毎に平均して得られる動きベクトルを有する新たなマージ候補である。
続いて、マージ候補補充部346及びマージ候補補充部446では、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが、最大マージ候補数MaxNumMergeCandより小さい場合、マージ候補リストmergeCandList内に登録されているマージ候補数numCurrMergeCandが最大マージ候補数MaxNumMergeCandを上限として追加マージ候補を導出して、マージ候補リストmergeCandListに登録する(図21のステップS405)。最大マージ候補数MaxNumMergeCandを上限として、Pスライスでは、動きベクトルが(0,0)の値を持つ予測モードがL0予測(Pred_L0)のマージ候補を追加する。Bスライスでは、動きベクトルが(0,0)の値を持つ予測モードが双予測(Pred_BI)のマージ候補を追加する。マージ候補を追加する際の参照インデックスは、すでに追加した参照インデックスと異なる。
続いて、マージ候補選択部347及びマージ候補選択部447では、マージ候補リストmergeCandList内に登録されているマージ候補からマージ候補を選択する。符号化側のマージ候補選択部347では、符号量とひずみ量を算出することによりマージ候補を選択し、選択されたマージ候補を示すマージインデックス、マージ候補のインター予測情報を、インター予測モード判定部305を介して動き補償予測部306に供給する。一方、復号側のマージ候補選択部447では、復号されたマージインデックスに基づいて、マージ候補を選択し、選択されたマージ候補を動き補償予測部406に供給する。
<時間予測動きベクトル>
時間予測動きベクトルの説明に先行して、ピクチャの時間的な前後関係について説明する。図38Aは、処理対象符号化ブロックと、処理対象ピクチャとが時間的に異なる場合のピクチャの間の関係を示す。処理対象ピクチャに対する、時間予測動きベクトルの処理において参照する、特定の処理済みピクチャをColPicと定義する。ColPicはシンタックスにより特定される。また、図38Bは、ColPicにおいて、処理対象符号化ブロックと同一位置、およびその近傍に存在する処理済み符号化ブロックを示す。
次に、図17の通常予測動きベクトルモード導出部301における時間予測動きベクトル候補導出部322の動作について、図39を参照して説明する。
まず、ColPicを導出する(ステップS4201)。次に、符号化ブロックcolCbを導出し、符号化情報を取得する(ステップS4202)。colCbは、ColPic内で処理対象符号化ブロックと同一位置の右下に存在する符号化ブロックとする。この符号化ブロックは、図38Bの符号化ブロックT0に相当する。ただし、このcolCbの予測モードPredModeが利用できないか、またはイントラ予測(MODE_INTRA)である場合、ColPic内で処理対象符号化ブロックと同一位置の中央右下に存在する符号化ブロックをcolCbとする。この符号化ブロックは、図38Bの符号化ブロックT1に相当する。
次に、参照リストごとに、インター予測情報を導出する(S4203、S4204)。ここでは、符号化ブロックcolCbについて、参照リストごとの動きベクトルmvLXColと、符号化情報が有効か否かを示すフラグavailableFlagLXColを導出する。LXは参照リストを示し、参照リスト0の導出ではLXはL0となり、参照リスト1の導出ではLXはL1となる。インター予測情報が利用できない場合は、availableFlagLXCol=0、mvLXCol=(0,0)となる。一方、インター予測情報が利用できる場合は、availableFlagLXCol=1である。また、符号化ブロックcolCbの予測モードなどに応じてcolCbのL0またはL1の動きベクトルを選択し、その動きベクトルをスケーリングしたものがmvLXColとなる。スケーリングは、処理対象ピクチャと参照ピクチャとのPOCの比、およびColPicと選択した動きベクトルが参照する参照ピクチャとのPOCの比を元に算出される。
そして、availableFlagLXCol=1であれば、mvLXColを前述の通常予測動きベクトルモード導出部301における予測動きベクトル候補リストmvpListLXに候補として追加する(S4205)。以上により、時間予測動きベクトル候補導出部322の処理を終了する。
図23の通常予測動きベクトルモード導出部401における時間予測動きベクトル候補導出部422の動作は、前述の時間予測動きベクトル候補導出部322と同じであるため、説明を省略する。
図18の通常マージモード導出部302における時間マージ候補導出部342の動作は、前述した時間予測動きベクトル候補導出部322の動作とほぼ同じである。ただし、図39のS4205において、以下の動作をする点のみが異なる。フラグavailableFlagL0Col、またはフラグavailableFlagL1Colが1の場合に、mvL0ColおよびmvL1Colを、前述の通常マージモード導出部におけるマージ候補リストmergeCandListに候補として追加する(S4205)。
図24の通常マージモード導出部402における時間マージ候補導出部442の動作は、前述の時間マージ候補導出部342と同じであるため、説明を省略する。
<履歴予測動きベクトル候補リストの更新>
次に、符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHmvpCandListの初期化方法および更新方法について詳細に説明する。図26は履歴予測動きベクトル候補リスト初期化・更新処理手順を説明するフローチャートである。
本実施の形態では、履歴予測動きベクトル候補リストHmvpCandListの更新は、符号化情報格納メモリ111及び符号化情報格納メモリ205で実施されるものとする。インター予測部102及びインター予測部203の中に履歴予測動きベクトル候補リスト更新部を設置して履歴予測動きベクトル候補リストHmvpCandListの更新を実施させてもよい。
スライスの先頭で履歴予測動きベクトル候補リストHmvpCandListの初期設定を行い、符号化側では予測方法決定部105で通常予測動きベクトルモードまたは通常マージモードが選択された場合に履歴予測動きベクトル候補リストHmvpCandListを更新し、復号側では、ビット列復号部201で復号された予測情報が通常予測動きベクトルモードまたは通常マージモードの場合に履歴予測動きベクトル候補リストHmvpCandListを更新する。
通常予測動きベクトルモードまたは通常マージモードでインター予測を行う際に用いるインター予測情報を、インター予測情報候補hMvpCandとして履歴予測動きベクトル候補リストHmvpCandListに登録する。インター予測情報候補hMvpCandには、L0の参照インデックスrefIdxL0およびL1の参照インデックスrefIdxL1、L0予測が行われるか否かを示すL0予測フラグpredFlagL0およびL1予測が行われるか否かを示すL1予測フラグpredFlagL1、L0の動きベクトルmvL0、L1の動きベクトルmvL1が含まれる。
符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHmvpCandListに登録されている要素(すなわち、インター予測情報)の中に、インター予測情報候補hMvpCandと同じ値のインター予測情報が存在する場合は、履歴予測動きベクトル候補リストHmvpCandListからその要素を削除する。一方、インター予測情報候補hMvpCandと同じ値のインター予測情報が存在しない場合は、履歴予測動きベクトル候補リストHmvpCandListの先頭の要素を削除し、履歴予測動きベクトル候補リストHmvpCandListの最後に、インター予測情報候補hMvpCandを追加する。
本発明の符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHmvpCandListの要素の数は6とする。
まず、スライス単位での履歴予測動きベクトル候補リストHmvpCandListの初期化を行う。スライスの先頭で履歴予測動きベクトル候補リストHmvpCandListのすべての要素に履歴予測動きベクトル候補を追加し、履歴予測動きベクトル候補リストHmvpCandListに登録されている履歴予測動きベクトル候補の数NumHmvpCandの値は6に設定する(図26のステップS2101)。なお、このような数値は一例である。実際の、例えばコンピュータシステムの上での実装においては、必要に応じて数値が変更されてもよい。他の数値についても同様である。
なお、履歴予測動きベクトル候補リストHmvpCandListの初期化をスライス単位(スライスの最初の符号化ブロック)で実施するとしたが、ピクチャ単位、タイル単位やツリーブロック行単位で実施しても良い。
図40は履歴予測動きベクトル候補リストHmvpCandListの初期化によって追加される履歴予測動きベクトル候補の一例を示す表である。スライスタイプがBスライスで、参照ピクチャの枚数が4の場合の例を示す。履歴予測動きベクトルインデックスが(履歴予測動きベクトル候補の数NumHmvpCand-1)から0まで、スライスタイプに応じて動きベクトルの値が(0, 0)のインター予測情報を履歴予測動きベクトル候補として、履歴予測動きベクトル候補リストHmvpCandListに追加して、履歴予測動きベクトル候補リストを履歴候補で充填する。このとき、履歴予測動きベクトルインデックスを(履歴予測動きベクトル候補の数NumHmvpCand-1)から開始し、参照インデックスrefIdxLX(Xは0または1)には0から(参照ピクチャの数numRefIdx-1)まで1ずつインクリメントした値を設定する。その後は、履歴予測動きベクトル候補同士の重複を許可して、refIdxLXには0の値を設定する。履歴予測動きベクトル候補の数NumHmvpCandのすべてに値を設定し、履歴予測動きベクトル候補の数NumHmvpCandの値を固定値にすることで、無効な履歴予測動きベクトル候補を無くす。このように、予測動きベクトル候補リストやマージ候補リストに追加される確率の高い履歴予測動きベクトルインデックスが大きい値の候補から、一般的に選択率の高い参照インデックスの小さい値を割り当てることで、符号化効率を向上させることができる。
また、スライス単位で履歴予測動きベクトル候補リストを履歴予測動きベクトル候補で充填しておくことで、履歴予測動きベクトル候補の数を固定値として扱うことができるため、例えば履歴予測動きベクトル候補導出処理や履歴マージ候補導出処理を簡易化することができる。
ここでは、動きベクトルの値を一般的に選択確率の高い(0, 0)としたが、所定の値であればよい。例えば、(4,4)、(0,32)、(-128,0)などの値にして差分動きベクトルの符号化効率を改善しても良いし、所定の値を複数設定して差分動きベクトルの符号化効率を改善しても良い。
また、履歴予測動きベクトルインデックスを(履歴予測動きベクトル候補の数NumHmvpCand-1)から開始し、参照インデックスrefIdxLX(Xは0または1)には0から(参照ピクチャの数numRefIdx-1)まで1ずつインクリメントした値を設定するとしたが、履歴予測動きベクトルインデックスを0から開始してもよい。
図41は履歴予測動きベクトル候補リストHmvpCandListの初期化によって追加される履歴予測動きベクトル候補の別の一例を示す表である。スライスタイプがBスライスで、参照ピクチャの枚数が2の場合の例を示す。この例では履歴予測動きベクトル候補リストHmvpCandListの各要素に履歴予測動きベクトル候補同士の重複がないように、参照インデックスまたは動きベクトルの値のいずれかが異なるインター予測情報を履歴予測動きベクトル候補として追加して、履歴予測動きベクトル候補リストを充填する。このとき、履歴予測動きベクトルインデックスを(履歴予測動きベクトル候補の数NumHmvpCand-1)から開始し、参照インデックスrefIdxLX(Xは0または1)には0から(参照ピクチャの数numRefIdx-1)まで1ずつインクリメントした値を設定する。その後は、refIdxLXには0で異なる値の動きベクトルを履歴予測動きベクトル候補として追加する。履歴予測動きベクトル候補の数NumHmvpCandにすべての値を設定し、履歴予測動きベクトル候補の数NumHmvpCandの値を固定値にすることで、無効な履歴予測動きベクトル候補を無くす。
このように、スライス単位で履歴予測動きベクトル候補リストを重複しない履歴予測動きベクトル候補で充填しておくことで、さらに、符号化ブロック単位で実施する後述の通常マージモード導出部302における履歴マージ候補導出部345より後のマージ候補補充部346の処理を省略することができ、処理量を削減することができる。
ここでは、動きベクトルの値を(0, 0)や(1,0)など小さい値としたが、履歴予測動きベクトル候補同士の重複が生じなければ、動きベクトルの値を大きくしてもよい。
また、履歴予測動きベクトルインデックスを(履歴予測動きベクトル候補の数NumHmvpCand-1)から開始し、参照インデックスrefIdxLX(Xは0または1)には0から(参照ピクチャの数numRefIdx-1)まで1ずつインクリメントした値を設定するとしたが、履歴予測動きベクトルインデックスを0から開始してもよい。
図42は履歴予測動きベクトル候補リストHmvpCandListの初期化によって追加される履歴予測動きベクトル候補の別の一例を示す表である。
スライスタイプがBスライスの場合の例を示す。この例では履歴予測動きベクトル候補リストHmvpCandListの各要素に履歴予測動きベクトル候補同士の重複がないように、参照インデックスが0で、動きベクトルの値が異なるインター予測情報を履歴予測動きベクトル候補として追加して、履歴予測動きベクトル候補リストを充填する。このとき、履歴予測動きベクトルインデックスを(履歴予測動きベクトル候補の数NumHmvpCand-1)から開始し、参照インデックスrefIdxLX(Xは0または1)は0を設定する。履歴予測動きベクトル候補の数NumHmvpCandにすべての値を設定し、履歴予測動きベクトル候補の数NumHmvpCandの値を固定値にすることで、無効な履歴予測動きベクトル候補を無くす。
このように、参照インデックスを0とすることで、さらに、参照ピクチャの数を考慮することなく初期化することができるため処理を簡易化することができる。
ここでは、動きベクトルの値を2の倍数としたが、参照インデックスが0で履歴予測動きベクトル候補同士の重複が生じなければ、その他の値でもよい。
また、履歴予測動きベクトルインデックスを(履歴予測動きベクトル候補の数NumHmvpCand-1)から開始し、参照インデックスrefIdxLX(Xは0または1)には0から(参照ピクチャの数numRefIdx-1)まで1ずつインクリメントした値を設定するとしたが、履歴予測動きベクトルインデックスを0から開始してもよい。
続いて、スライス内の符号化ブロック毎に以下の履歴予測動きベクトル候補リストHmvpCandListの更新処理を繰り返し行なう(図26のステップS2102〜S2107)。
まず、符号化ブロック単位での初期設定を行う。同一候補が存在するか否かを示すフラグidenticalCandExistにFALSE(偽)の値を設定し、削除対象の候補を示す削除対象インデックスremoveIdxに0を設定する(図26のステップS2103)。
登録対象のインター予測情報候補hMvpCandが存在するか否かを判定する(図26のステップS2104)。符号化側の予測方法決定部105で通常予測動きベクトルモードまたは通常マージモードと判定された場合、または復号側のビット列復号部201で通常予測動きベクトルモードまたは通常マージモードとして復号された場合、そのインター予測情報を登録対象のインター予測情報候補hMvpCandとする。符号化側の予測方法決定部105でイントラ予測モード、サブブロック予測動きベクトルモードまたはサブブロックマージモードと判定された場合、または復号側のビット列復号部201でイントラ予測モード、サブブロック予測動きベクトルモードまたはサブブロックマージモードとして復号された場合、履歴予測動きベクトル候補リストHmvpCandListの更新処理を行わず、登録対象のインター予測情報候補hMvpCandは存在しない。登録対象のインター予測情報候補hMvpCandが存在しない場合はステップS2105〜S2106をスキップする(図26のステップS2104:NO)。登録対象のインター予測情報候補hMvpCandが存在する場合はステップS2105以下の処理を行う(図26のステップS2104:YES)。
ここで、本実施の形態では、通常予測動きベクトルモードとして符号化・復号された場合は、そのインター予測モードをhMvpCandとし履歴予測動きベクトル候補リストHmvpCandListの更新処理し、通常マージモードとして符号化・復号された場合には、履歴予測動きベクトル候補リストHmvpCandListの更新処理を行わないように構成する。図26のステップS2104は、図43のフローチャートのステップS2404およびステップS2405のように判定処理を分離しても構わない。ステップS2404において、通常マージモードでは無い場合にはステップS2405に進み、通常マージモードである場合にはステップS2408に進む。
図43のステップS2405では、符号化側の予測方法決定部105で通常予測動きベクトルモードと判定された場合、または復号側のビット列復号部で通常予測動きベクトルモードとして復号された場合、そのインター予測モードをhMvpCandとする。符号化側の予測方法決定部105でイントラ予測モード、サブブロック予測動きベクトルモードまたはサブブロックマージモードと判定された場合、または復号側のビット列復号部でイントラ予測モード、サブブロック予測動きベクトルモードまたはサブブロックマージモードとして復号された場合、履歴予測動きベクトル候補リストHmvpCandListの更新処理を行わず、登録対象のインター予測情報候補hMvpCandは存在しない。登録対象のインター予測情報候補hMvpCandが存在しない場合はステップS2408に進む。登録対象のインター予測情報候補hMvpCandが存在する場合はステップS2406以下の処理を行う。図26のステップS2101からステップS2103までと、図43のステップS2401からステップS2403までは、同様の処理を行えばよいため説明を省略する。図26のステップS2105からステップS2107までと、図43のステップS2406からステップS2408までは、同様の処理を行えばよいため説明を省略する。
このように、通常予測動きベクトルモードとして符号化・復号された場合にのみ履歴予測動きベクトル候補リストを更新処理することで、履歴予測動きベクトル候補リスト内の既存の候補との動き情報の比較を行う必要がなく、処理負荷が削減される。通常予測動きベクトルモードは、差分動きベクトルを加算して周辺ブロックにはない新たな動き情報を生成しているため、動き情報の比較を行わなくても既存の履歴予測動きベクトル候補と動き情報が重複する可能性は低い。
図26のステップS2104以降の説明に戻る。
続いて、履歴予測動きベクトル候補リストHmvpCandListの各要素の中に登録対象のインター予測情報候補hMvpCandと同じ値の要素(インター予測情報)、すなわち同一の要素が存在するか否かを判定する(図26のステップS2105)。図27はこの同一要素確認処理手順のフローチャートである。履歴予測動きベクトル候補の数NumHmvpCandの値が0の場合(図27のステップS2121:NO)、履歴予測動きベクトル候補リストHmvpCandListは空で、同一候補は存在しないので図27のステップS2122〜S2125をスキップし、本同一要素確認処理手順を終了する。履歴予測動きベクトル候補の数NumHmvpCandの値が0より大きい場合(図27のステップS2121のYES)、履歴予測動きベクトルインデックスhMvpIdxが0からNumHmvpCand-1まで、ステップS2123の処理を繰り返す(図27のステップS2122〜S2125)。まず、履歴予測動きベクトル候補リストの0から数えてhMvpIdx番目の要素HmvpCandList[hMvpIdx]がインター予測情報候補hMvpCandと同一か否かを比較する(図27のステップS2123)。同一の場合(図27のステップS2123:YES)、同一候補が存在するか否かを示すフラグidenticalCandExistにTRUE(真)の値を設定し、削除対象の要素の位置を示す削除対象インデックスremoveIdxに現在の履歴予測動きベクトルインデックスhMvpIdxの値を設定し、本同一要素確認処理を終了する。同一でない場合(図27のステップS2123:NO)、hMvpIdxを1インクリメントし、履歴予測動きベクトルインデックスhMvpIdxがNumHmvpCand-1以下であれば、ステップS2123以降の処理を行う。
ここで、履歴予測動きベクトル候補リストを履歴予測動きベクトル候補で充填しておくことで、図27のステップS2121は省略することができる。
再び図26のフローチャートに戻り、履歴予測動きベクトル候補リストHmvpCandListの要素のシフト及び追加処理を行う(図26のステップS2106)。図28は図26のステップS2106の履歴予測動きベクトル候補リストHmvpCandListの要素シフト/追加処理手順のフローチャートである。まず、履歴予測動きベクトル候補リストHmvpCandListに格納されている要素を除いてから新たな要素を追加するか、要素を除かずに新たな要素追加するかを判定する。具体的には同一候補が存在するか否かを示すフラグidenticalCandExistにTRUE(真)またはNumHmvpCandが6か否かを比較する(図28のステップS2141)。同一候補が存在するか否かを示すフラグidenticalCandExistにTRUE(真)または現在の候補数NumHmvpCandが6のいずれかの条件を満たす場合(図28のステップS2141:YES)、履歴予測動きベクトル候補リストHmvpCandListに格納されている要素を除いてから新たな要素を追加する。インデックスiの初期値をremoveIdx + 1の値に設定する。この初期値からNumHmvpCandまで、ステップS2143の要素シフト処理を繰り返す。(図28のステップS2142〜S2144)。HmvpCandList[ i - 1 ]にHmvpCandList[ i ]の要素をコピーすることで要素を前方にシフトし(図28のステップS2143)、iを1インクリメントする(図28のステップS2142〜S2144)。続いて、履歴予測動きベクトル候補リストの最後に相当する0から数えて(NumHmvpCand-1)番目HmvpCandList[NumHmvpCand-1]にインター予測情報候補hMvpCandを追加し(図28のステップS2145)、本履歴予測動きベクトル候補リストHmvpCandListの要素シフト・追加処理を終了する。一方、同一候補が存在するか否かを示すフラグidenticalCandExistにTRUE(真)およびNumHmvpCandが6のいずれの条件も満たさない場合(図28のステップS2141:NO)、履歴予測動きベクトル候補リストHmvpCandListに格納されている要素を除かずに、履歴予測動きベクトル候補リストの最後にインター予測情報候補hMvpCandを追加する(図28のステップS2146)。ここで、履歴予測動きベクトル候補リストの最後とは、0から数えてNumHmvpCand番目のHmvpCandList[NumHmvpCand]である。また、NumHmvpCandを1インクリメントして、本履歴予測動きベクトル候補リストHmvpCandListの要素シフトおよび追加処理を終了する。
ここでは、履歴予測動きベクトル候補リストは予測動きベクトルモードとマージモードの両方に適用するものとするが、いずれか一方だけに適用してもよい。
図31は履歴予測動きベクトル候補リストの更新処理の一例を説明する図である。6つの要素(インター予測情報)を登録済みの履歴予測動きベクトル候補リストHmvpCandListに新たな要素を追加する場合、履歴予測動きベクトル候補リストHmvpCandListの前方の要素から順に新たなインター予測情報と比較して(図31A)、新たな要素が履歴予測動きベクトル候補リストHmvpCandListの先頭から3番目の要素HMVP2と同じ値であれば、履歴予測動きベクトル候補リストHmvpCandListから要素HMVP2を削除して後方の要素HMVP3〜HMVP5を前方に1つずつシフト(コピー)し、履歴予測動きベクトル候補リストHmvpCandListの最後に新たな要素を追加して(図31B)、履歴予測動きベクトル候補リストHmvpCandListの更新を完了する(図31C)。
<履歴予測動きベクトル候補導出処理>
次に、符号化側の通常予測動きベクトルモード導出部301の履歴予測動きベクトル候補導出部323、復号側の通常予測動きベクトルモード導出部401の履歴予測動きベクトル候補導出部423で共通の処理である図20のステップS304の処理手順である履歴予測動きベクトル候補リストHmvpCandListからの履歴予測動きベクトル候補の導出方法について詳細に説明する。図29は履歴予測動きベクトル候補導出処理手順を説明するフローチャートである。
現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数(ここでは2とする)以上または履歴予測動きベクトル候補の数がNumHmvpCandの値が0の場合(図29のステップS2201のNO)、図29のステップS2202からS2209の処理を省略し、履歴予測動きベクトル候補導出処理手順を終了する。現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数である2より小さい場合、かつ履歴予測動きベクトル候補の数NumHmvpCandの値が0より大きい場合(図29のステップS2201のYES)、図29のステップS2202からS2209の処理を行う。
続いて、インデックスiが1から、4と履歴予測動きベクトル候補の数numCheckedHMVPCandのいずれか小さい値まで、図29のステップS2203からS2208の処理を繰り返す(図29のステップS2202〜S2209)。現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数である2以上の場合(図29のステップS2203:NO)、図29のステップS2204からS2209の処理を省略し、本履歴予測動きベクトル候補導出処理手順を終了する。現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数である2より小さい場合(図29のステップS2203:YES)、図29のステップS2204以降の処理を行う。
続いて、ステップS2205からS2207までの処理をYが0と1(L0とL1)についてそれぞれ行う(図29のステップS2204〜S2208)。現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数である2以上の場合(図29のステップS2205:NO)、図29のステップS2206からS2209の処理を省略し、本履歴予測動きベクトル候補導出処理手順を終了する。現在の予測動きベクトル候補の数numCurrMvpCandが予測動きベクトル候補リストmvpListLXの最大要素数である2より小さい場合(図29のステップS2205:YES)、図29のステップS2206以降の処理を行う。
続いて、履歴予測動きベクトル候補リストHmvpCandListの中に、符号化/復号対象動きベクトルの参照インデックスrefIdxLXと同じ参照インデックスの要素であり、予測動きベクトルリストmvpListLXのどの要素とも異なる要素の場合(図29のステップS2206:YES)、予測動きベクトル候補リストの0から数えてnumCurrMvpCand番目の要素mvpListLX[numCurrMvpCand]に履歴予測動きベクトル候補HmvpCandList[NumHmvpCand - i]のLYの動きベクトルを追加し(図29のステップS2207)、現在の予測動きベクトル候補の数numCurrMvpCandを1インクリメントする。履歴予測動きベクトル候補リストHmvpCandListの中に、符号化/復号対象動きベクトルの参照インデックスrefIdxLXと同じ参照インデックスの要素であり、予測動きベクトルリストmvpListLXのどの要素とも異なる要素がない場合(図29のステップS2206:NO)、ステップS2207の追加処理をスキップする。
ここで、通常予測動きベクトルモードでは履歴予測動きベクトル候補リストHmvpCandListの更新処理を行い、通常マージモードでは履歴予測動きベクトル候補リストHmvpCandListの更新処理を行わないように構成した場合、図44で示すように、図29のステップS2206の処理である、同一候補の判定処理を行わない構成としても良い。これは、通常マージモードでの履歴予測動きベクトル候補リストHmvpCandListの更新処理を行わないようにしたため、同一もしくは相関性の高い候補が含まれにくくなることによる。
このような構成により、同一候補の判定処理を行わずに済むため、処理量を抑制できるようになる。
以上の図29のステップS2205からS2207の処理をL0とL1で双方ともに行う(図29のステップS2204〜S2208)。インデックスiを1インクリメントし、インデックスiが4と履歴予測動きベクトル候補の数NumHmvpCandのいずれか小さい値以下の場合、再びステップS2203以降の処理を行う(図29のステップS2202〜S2209)。
<履歴マージ候補導出処理>
次に、符号化側の通常マージモード導出部302の履歴マージ候補導出部345、復号側の通常マージモード導出部402の履歴マージ候補導出部445で共通の処理である図21のステップS404の処理手順である履歴マージ候補リストHmvpCandListからの履歴マージ候補の導出方法について詳細に説明する。図30は履歴マージ候補導出処理手順を説明するフローチャートである。
まず、初期化処理を行う(図30のステップS2301)。isPruned[i]の0から(numCurrMergeCand -1)番目のそれぞれの要素にFALSEの値を設定し、変数numOrigMergeCandに現在のマージ候補リストに登録されている要素の数numCurrMergeCandを設定する。
続いて、インデックスhMvpIdxの初期値を1に設定し、この初期値からNumHmvpCandまで、図30のステップS2303からステップS2310までの追加処理を繰り返す(図30のステップS2302〜S2311)。現在のマージ候補リストに登録されている要素の数numCurrMergeCandが(最大マージ候補数MaxNumMergeCand-1)以下でなければ、マージ候補リストのすべての要素にマージ候補が追加されたので、本履歴マージ候補導出処理を終了する(図30のステップS2303のNO)。現在のマージ候補リストに登録されている要素の数numCurrMergeCandが(最大マージ候補数MaxNumMergeCand-1)以下の場合、ステップS2304以降の処理を行う。sameMotionにFALSE(偽)の値を設定する(図30のステップS2304)。続いて、インデックスiの初期値を0に設定し、この初期値からnumOrigMergeCand-1まで図30のステップS2306、S2307の処理を行う(図30のS2305〜S2308)。履歴動きベクトル予測候補リストの0から数えて(NumHmvpCand - hMvpIdx)番目の要素HmvpCandList[NumHmvpCand- hMvpIdx]がマージ候補リストの0から数えてi番目の要素mergeCandList[i]と同じ値か否かを比較する(図30のステップS2306)。
マージ候補の同じ値とはマージ候補が持つすべての構成要素(インター予測モード、参照インデックス、動きベクトル)の値が同じ場合にマージ候補が同じ値とする。マージ候補が同じ値、かつisPruned[i]がFALSEの場合(図30のステップS2306のYES)、sameMotionおよびisPruned[i]共にTRUE(真)を設定する(図30のステップS2307)。同じ値でない場合(図30のステップS2306のNO)、ステップS2307の処理をスキップする。図30のステップS2305からステップS2308までの繰り返し処理が完了したらsameMotionがFALSE(偽)か否かを比較し(図30のステップS2309)、sameMotionが FALSE(偽)の場合(図30のステップS2309のYES)、すなわち履歴予測動きベクトル候補リストの0から数えて(NumHmvpCand - hMvpIdx)番目の要素HmvpCandList[NumHmvpCand - hMvpIdx]はmergeCandListに存在しないので、マージ候補リストのnumCurrMergeCand番目のmergeCandList[numCurrMergeCand]に履歴予測動きベクトル候補リストの0から数えて(NumHmvpCand - hMvpIdx)番目の要素HmvpCandList[NumHmvpCand - hMvpIdx]を追加し、numCurrMergeCandを1インクリメントする(図30のステップS2310)。インデックスhMvpIdxを1インクリメントし(図30のステップS2302)、図30のステップS2302〜S2311の繰り返し処理を行う。
履歴予測動きベクトル候補リストのすべての要素の確認が完了するか、マージ候補リストのすべての要素にマージ候補が追加されたら、本履歴マージ候補の導出処理を完了する。
<動き補償予測処理>
動き補償予測部306は、符号化において現在予測処理の対象となっているブロックの位置およびサイズを取得する。また、動き補償予測部306は、インター予測情報をインター予測モード判定部305から取得する。取得したインター予測情報から参照インデックスおよび動きベクトルを導出し、復号画像メモリ104内の参照インデックスで特定される参照ピクチャを、動きベクトルの分だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得した後に予測信号を生成する。
インター予測におけるインター予測モードがL0予測やL1予測のような、単一の参照ピクチャからの予測の場合には、1つの参照ピクチャから取得した予測信号を動き補償予測信号とし、インター予測モードがBI予測のような、予測モードが2つの参照ピクチャからの予測の場合には、2つの参照ピクチャから取得した予測信号を重みづけ平均したものを動き補償予測信号とし、動き補償予測信号を予測方法決定部105に供給する。ここでは双予測の重みづけ平均の比率を1:1とするが、他の比率を用いて重みづけ平均を行っても良い。例えば、予測対象となっているピクチャと参照ピクチャとのピクチャ間隔が近いものほど重みづけの比率が大きくなるようにしてもよい。また、重みづけ比率の算出をピクチャ間隔の組み合わせと重みづけ比率との対応表を用いて行うようにしても良い。
動き補償予測部406は、符号化側の動き補償予測部306と同様の機能をもつ。動き補償予測部406は、インター予測情報を、通常予測動きベクトルモード導出部401、通常マージモード導出部402、サブブロック予測動きベクトルモード導出部403、サブブロックマージモード導出部404から、スイッチ408を介して取得する。動き補償予測部406は、得られた動き補償予測信号を、復号画像信号重畳部207に供給する。
<インター予測モードについて>
単一の参照ピクチャからの予測を行う処理を単予測と定義し、単予測の場合はL0予測またはL1予測という、参照リストL0、L1に登録された2つの参照ピクチャのいずれか一方を利用した予測を行う。
図32は単予測であってL0の参照ピクチャ(RefL0Pic)が処理対象ピクチャ(CurPic)より前の時刻にある場合を示している。図33は単予測であってL0予測の参照ピクチャが処理対象ピクチャより後の時刻にある場合を示している。同様に、図32および図33のL0予測の参照ピクチャをL1予測の参照ピクチャ(RefL1Pic)に置き換えて単予測を行うこともできる。
2つの参照ピクチャからの予測を行う処理を双予測と定義し、双予測の場合はL0予測とL1予測の双方を利用してBI予測と表現する。図34は双予測であってL0予測の参照ピクチャが処理対象ピクチャより前の時刻にあって、L1予測の参照ピクチャが処理対象ピクチャより後の時刻にある場合を示している。図35は双予測であってL0予測の参照ピクチャとL1予測の参照ピクチャが処理対象ピクチャより前の時刻にある場合を示している。図36は双予測であってL0予測の参照ピクチャとL1予測の参照ピクチャが処理対象ピクチャより後の時刻にある場合を示している。
このように、L0/L1の予測種別と時間の関係は、L0が過去方向、L1が未来方向とは限定されずに用いることが可能である。また双予測の場合に、同一の参照ピクチャを用いてL0予測及びL1予測のそれぞれを行ってもよい。なお、動き補償予測を単予測で行うか双予測で行うかの判断は、例えばL0予測を利用するか否か及びL1予測を利用するか否かを示す情報(例えば、フラグ)に基づき判断される。
<参照インデックスについて>
本発明の実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照ピクチャの中から最適な参照ピクチャを選択することを可能とする。そのため、動き補償予測で利用した参照ピクチャを参照インデックスとして利用するとともに、参照インデックスを差分動きベクトルとともにビットストリーム中に符号化する。
<通常予測動きベクトルモードに基づく動き補償処理>
動き補償予測部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、通常予測動きベクトルモード導出部301によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
同様に、動き補償予測部406は、図22の復号側におけるインター予測部203でも示されるように、復号の過程でスイッチ408が通常予測動きベクトルモード導出部401に接続された場合には、通常予測動きベクトルモード導出部401によるインター予測情報を取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、復号画像信号重畳部207に供給される。
<通常マージモードに基づく動き補償処理>
動き補償予測部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、通常マージモード導出部302によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
同様に、動き補償予測部406は、図22の復号側におけるインター予測部203でも示されるように、復号の過程でスイッチ408が通常マージモード導出部402に接続された場合には、通常マージモード導出部402によるインター予測情報を取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、復号画像信号重畳部207に供給される。
<サブブロック予測動きベクトルモードに基づく動き補償処理>
動き補償予測部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、サブブロック予測動きベクトルモード導出部303によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
同様に、動き補償予測部406は、図22の復号側におけるインター予測部203でも示されるように、復号の過程でスイッチ408がサブブロック予測動きベクトルモード導出部403に接続された場合には、サブブロック予測動きベクトルモード導出部403によるインター予測情報を取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、復号画像信号重畳部207に供給される。
<サブブロックマージモードに基づく動き補償処理>
動き補償予測部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、サブブロックマージモード導出部304によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
同様に、動き補償予測部406は、図22の復号側におけるインター予測部203でも示されるように、復号の過程でスイッチ408がサブブロックマージモード導出部404に接続された場合には、サブブロックマージモード導出部404によるインター予測情報を取得し、現在処理対象となっているブロックのインター予測モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、復号画像信号重畳部207に供給される。
<アフィン変換予測に基づく動き補償処理>
通常予測動きベクトルモード、および通常マージモードでは、以下のフラグに基づいてアフィンモデルによる動き補償が利用できる。以下のフラグは、符号化処理においてインター予測モード判定部305により決定されるインター予測の条件に基づいて以下のフラグに反映され、ビットストリーム中に符号化される。復号処理においては、ビットストリーム中の以下のフラグに基づいてアフィンモデルによる動き補償を行うか否かを特定する。
sps_affine_enabled_flagは、インター予測において、アフィンモデルによる動き補償が利用できるか否かを表す。sps_affine_enabled_flagが0であれば、シーケンス単位でアフィンモデルによる動き補償ではないように抑制される。また、inter_affine_flag とcu_affine_type_flag は、符号化ビデオシーケンスのCU(符号化ブロック)シンタックスにおいて伝送されない。sps_affine_enabled_flagが1であれば、符号化ビデオシーケンスにおいてアフィンモデルによる動き補償を利用できる。
sps_affine_type_flagは、インター予測において、6パラメータアフィンモデルによる動き補償が利用できるか否かを表す。sps_affine_type_flagが0であれば、6パラメータアフィンモデルによる動き補償ではないように抑制される。また、cu_affine_type_flagは、符号化ビデオシーケンスのCUシンタックスにおいて伝送されない。sps_affine_type_flagが1であれば、符号化ビデオシーケンスにおいて6パラメータアフィンモデルによる動き補償を利用できる。sps_affine_type_flagが存在しない場合には、0であるものとする。
PまたはBスライスを復号している場合、現在処理対象となっているCUにおいて、inter_affine_flagが1であれば、現在処理対象となっているCUの動き補償予測信号を生成するために、アフィンモデルによる動き補償が用いられる。inter_affine_flagが0であれば、現在処理対象となっているCUにアフィンモデルは用いられない。inter_affine_flagが存在しない場合には、0であるものとする。
PまたはBスライスを復号している場合、現在処理対象となっているCUにおいて、cu_affine_type_flagが1であれば、現在処理対象となっているCUの動き補償予測信号を生成するために、6パラメータアフィンモデルによる動き補償が用いられる。cu_affine_type_flagが0であれば、現在処理対象となっているCUの動き補償予測信号を生成するために、4パラメータアフィンモデルによる動き補償が用いられる。
アフィンモデルによる動き補償では、サブブロック単位で参照インデックスや動きベクトルが導出されることから、サブブロック単位で処理対象となっている参照インデックスや動きベクトルを用いて動き補償予測信号を生成する。
4パラメータアフィンモデルは2つの制御点のそれぞれの動きベクトルの水平成分及び垂直成分の4つのパラメータからサブブロックの動きベクトルを導出し、サブブロック単位で動き補償を行うモードである。
以上に述べた第1の実施の形態によれば、履歴予測動きベクトル候補導出処理において、通常予測動きベクトルモードの場合と通常マージモードの場合で処理を分岐させて、通常マージモードの場合には履歴予測動きベクトル候補リストHmvpCandListの更新処理を行わないようにすることで、更新処理にかかる処理量を軽減できるようになる。更に、通常マージモードの場合に履歴予測動きベクトル候補リストHmvpCandListの更新処理を行わないことで、履歴予測動きベクトル候補リストHmvpCandListに同一もしくは相関性の高い候補の追加を抑制でき、履歴予測動きベクトル候補導出処理において、同一候補の判定処理を行わずに済むため、更に処理量を抑制できるようになる。
以上に述べた全ての実施の形態は、複数を組み合わせても良い。
以上に述べた全ての実施の形態において、画像符号化装置が出力するビットストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有している。また、この画像符号化装置に対応する画像復号装置は、この特定のデータフォーマットのビットストリームを復号することができる。
画像符号化装置と画像復号装置の間でビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、通信路の伝送形態に適したデータ形式にビットストリームを変換して伝送してもよい。その場合、画像符号化装置が出力するビットストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信してビットストリームに復元して画像復号装置に供給する受信装置とが設けられる。送信装置は、画像符号化装置が出力するビットストリームをバッファするメモリと、ビットストリームをパケット化するパケット処理部と、ネットワークを介してパケット化された符号化データを送信する送信部とを含む。受信装置は、ネットワークを介してパケット化された符号化データを受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理してビットストリームを生成し、画像復号装置に提供するパケット処理部とを含む。
また、画像復号装置で復号された画像を表示する表示部を構成に追加することで、表示装置としても良い。その場合、表示部は、復号画像信号重畳部207により生成され、復号画像メモリ208に格納された復号画像信号を読み出して画面に表示する。
また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置としても良い。その場合、撮像部は、撮像した画像信号をブロック分割部101に入力する。
図37に、本実施の形態の符号化復号装置のハードウェア構成の一例を示す。符号化復号装置は、本発明の実施の形態に係る画像符号化装置、および画像復号装置の構成を包含する。係る符号化復号装置9000は、CPU9001、コーデックIC9002、I/Oインターフェース9003、メモリ9004、光学ディスクドライブ9005、ネットワークインターフェース9006、ビデオインターフェース9009を有し、各部はバス9010により接続される。
画像符号化部9007と画像復号部9008は、典型的にはコーデックIC9002として実装される。本発明の実施の形態に係る画像符号化装置の画像符号化処理は、画像符号化部9007により実行され、本発明の実施の形態に係る画像復号装置における画像復号処理は、画像復号部9008により実行される。I/Oインターフェース9003は、例えばUSBインターフェースにより実現され、外部のキーボード9104、マウス9105等と接続する。CPU9001は、I/Oインターフェース9003を介して入力したユーザー操作に基づき、ユーザーの所望する動作を実行するように符号化復号装置9000を制御する。キーボード9104、マウス9105等によるユーザーの操作としては、符号化、復号のどちらの機能を実行するかの選択、符号化品質の設定、ビットストリームの入出力先、画像の入出力先等がある。
ユーザーがディスク記録媒体9100に記録された画像を再生する操作を所望する場合、光学ディスクドライブ9005は、挿入されたディスク記録媒体9100からビットストリームを読出し、読み出したビットストリームを、バス9010を介してコーデックIC9002の画像復号部9008に送る。画像復号部9008は入力したビットストリームに対して本発明の実施の形態に係る画像復号装置における画像復号処理を実行し、復号画像を、ビデオインターフェース9009を介して外部のモニタ9103へ送る。また、符号化復号装置9000は、ネットワークインターフェース9006を有し、ネットワーク9101を介して、外部の配信サーバ9106や、携帯端末9107と接続可能である。ユーザーがディスク記録媒体9100に記録された画像に変えて、配信サーバ9106や携帯端末9107に記録された画像を再生することを所望する場合は、ネットワークインターフェース9006は、入力されたディスク記録媒体9100からビットストリームを読出すことに変えて、ネットワーク9101よりビットストリームを取得する。また、ユーザーがメモリ9004に記録された画像を再生することを所望する場合は、メモリ9004に記録されたビットストリームに対して、本発明の実施の形態に係る画像復号装置における画像復号処理を実行する。
ユーザーが外部のカメラ9102で撮像した画像を符号化しメモリ9004に記録する操作を所望する場合、ビデオインターフェース9009は、カメラ9102から画像を入力し、バス9010を介し、コーデックIC9002の画像符号化部9007に送る。画像符号化部9007は、ビデオインターフェース9009を介して入力した画像に対して本発明の実施の形態に係る画像符号化装置における画像符号化処理を実行し、ビットストリームを作成する。そしてビットストリームを、バス9010を介し、メモリ9004へ送る。ユーザーがメモリ9004に変えて、ディスク記録媒体9100にビットストリームを記録することを所望する場合は、光学ディスクドライブ9005は、挿入されたディスク記録媒体9100に対しビットストリームの書き出しを行う。
画像符号化装置を有し画像復号装置を有さないハードウェア構成や、画像復号装置を有し画像符号化装置を有さないハードウェア構成を実現することも可能である。そのようなハードウェア構成は、例えばコーデックIC9002が、画像符号化部9007、または画像復号部9008にそれぞれ置き換わることにより実現される。
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現しても良いのは勿論のこと、ROM(リード・オンリー・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによって実現しても良い。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供しても良いし、有線あるいは無線のネットワークを通してサーバから提供しても良いし、地上波あるいは衛星ディジタル放送のデータ放送として提供しても良い。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。