JP2020529781A

JP2020529781A - インター予測モードベースの画像処理方法及びそのための装置

Info

Publication number: JP2020529781A
Application number: JP2020505816A
Authority: JP
Inventors: チェホイ
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2017-08-03
Filing date: 2018-07-03
Publication date: 2020-10-08
Also published as: CN111052739A; WO2019027145A1; KR20200023481A; EP3664454A1; US20200244989A1; EP3664454A4

Abstract

本発明においては、インター予測モードベースの画像処理方法及びそのための装置が開示される。具体的に、インター予測（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ）をベースに画像を処理する方法において、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認するステップと、ここで、前記アフィンモードは、制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを利用して画素単位又はサブブロック単位で動きベクトルを誘導するモードを示し、前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記アフィン符号化ブロックの動き情報に基づいて前記現在ブロックの制御点の第１動きベクトル候補（ｍｏｔｉｏｎｖｅｃｔｏｒｃａｎｄｉｄａｔｅ）を誘導するステップとを含む。【選択図】図１７

Description

本発明は、静止画又は動画の処理方法に関し、より詳細には、インター予測モード（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎｍｏｄｅ）ベースに静止画又は動画をエンコード／デコードする方法及びそれをサポートする装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を介して送信するか、格納媒体に適した形態で格納するための一連の信号処理技術を意味する。画像、イメージ、音声などのメディアが圧縮符号化の対象になることができ、特に、画像を対象として圧縮符号化を行う技術をビデオ画像圧縮と称する。

次世代ビデオコンテンツは、高解像度（ｈｉｇｈｓｐａｔｉａｌｒｅｓｏｌｕｔｉｏｎ）、高フレーム率（ｈｉｇｈｆｒａｍｅｒａｔｅ）、及び画像表現の高次元化（ｈｉｇｈｄｉｍｅｎｓｉｏｎａｌｉｔｙｏｆｓｃｅｎｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ）という特徴を有するようになるであろう。そのようなコンテンツを処理するためには、メモリ格納（ｍｅｍｏｒｙｓｔｏｒａｇｅ）、メモリアクセス率（ｍｅｍｏｒｙａｃｃｅｓｓｒａｔｅ）、及び処理電力（ｐｒｏｃｅｓｓｉｎｇｐｏｗｅｒ）の多大な増加をもたらすだろう。

従って、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。

従来の静止画又は動画の圧縮技術においては、画面間の予測時の動き予測（ｍｏｔｉｏｎｐｒｅｄｉｃｔｉｏｎ）は予測ブロック単位で行われる。ただし、現在ブロックのために最適の予測ブロックを見つけるために、様々なサイズの予測ブロックをサポートしても平行移動されたブロックベースの予測方法のみが適用されることにより、予測正確度が低下する問題が発生する。

従って、本発明は、画面間予測（すなわち、インター予測）の性能を向上させるために平行移動されたブロックベースの予測方法だけでなく、様々な画像の動きを反映したインター予測ベースの画像処理方法を提案する。

また、本発明の目的は、ブロック内のサブブロックや画素単位の動き情報を反映できるインター予測ベースの画像を処理する方法を提案する。

また、本発明の目的は、サブブロック又は画素単位の動きの情報を反映するようにして予測の正確度を高め、圧縮性能を向上させる方法を提案する。

また、本発明の目的は、アフィン動きモデル（ａｆｆｉｎｅｍｏｔｉｏｎｍｏｄｅｌ）を用いて符号化／復号化を行うアフィン動き予測方法について提案する。

また、本発明の目的は、アフィンモード（ａｆｆｉｎｅｍｏｄｅ）で符号化された周辺ブロックのアフィン動きモデル（又は、動き情報）を用いてアフィン動き予測を行う方法を提案する。

本発明において達成しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及していない他の技術的課題は、以下の記載から本発明の属する技術分野において通常の知識を有する者に明確に理解されるであろう。

本発明の一態様は、インター予測（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ）をベースに画像を処理する方法において、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認するステップと、ここで、前記アフィンモードは、制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを利用して画素単位又はサブブロック単位で動きベクトルを誘導するモードを示し、前記確認の結果、前記の周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記アフィン符号化ブロックの動き情報に基づいて前記現在ブロックの制御点の第１動きベクトル予測値（ｍｏｔｉｏｎｖｅｃｔｏｒｐｒｅｄｉｃｔｏｒ）を誘導するステップとを含む。

好ましくは、前記アフィン符号化ブロックが存在するか否かを確認するステップは、前記現在ブロックの左下端のブロック、上右端のブロック、前記上右端のブロックの右側に隣接するブロック、前記左下端のブロックの下側に隣接するブロック及び左上端のブロックの順序でアフィン符号化ブロックであるか否かを確認する。

好ましくは、前記第１動きベクトル予測値を誘導するステップは、前記順序上、１番目のアフィン符号化ブロックの動き情報を利用して前記第１動きベクトル予測値を誘導する。

好ましくは、前記第１動きベクトル予測値は、前記アフィン符号化ブロックの幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）、前記アフィン符号化ブロックの制御点の動きベクトル及び前記現在ブロックの制御点の位置を利用して計算される。

好ましくは、前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在しない場合、前記現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル予測値を生成するステップと、前記組み合わせ動きベクトル予測値のうち動きベクトルの発散程度が小さい順に、予め定められた個数の組み合わせ動きベクトル予測値を候補リストに追加するステップとをさらに含んでもよい。

好ましくは、前記現在ブロックに対してアフィンモードが適用されるか否かを示すアフィンフラグを抽出するステップと、前記現在ブロックに前記周辺ブロックのうちアフィンモードで符号化されたブロックが存在しない場合、前記候補リストのうち特定の動きベクトル予測値を示すインデックスを抽出するステップとをさらに含んでもよい。

好ましくは、前記現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル予測値を生成するステップと、前記組み合わせ動きベクトル予測値のうち動きベクトルの発散程度が小さい順序上、１番目の第２動きベクトル予測値及び２番目の第３動きベクトル予測値を候補リストに追加するステップとをさらに含んでもよい。

好ましくは、前記第１動きベクトル予測値を前記候補リストに追加するステップをさらに含んでもよい。

好ましくは、前記候補リストの第３動きベクトル予測値を前記第１動きベクトル予測値に代替し、前記候補リスト内で前記第１動きベクトル予測値に前記第２動きベクトル予測値より高い優先順位を割り当てるステップをさらに含んでもよい。

好ましくは、前記第１動きベクトル予測値を誘導するステップは、周辺ブロック間の予め設定された順序上、１番目のアフィン符号化ブロックの動き情報を利用して前記第１動きベクトル予測値を誘導するステップと、前記順序上、２番目のアフィン符号化ブロックの動き情報を利用して第４動きベクトル予測値を誘導するステップとを含んでもよい。

好ましくは、前記第１動きベクトル予測値を誘導するステップは、前記周辺ブロックのうちアフィン符号化ブロック間に重複される動き情報を除去するステップをさらに含んでもよい。

本発明の他の一態様は、インター予測（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ）をベースに画像を処理する装置において、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認する周辺ブロック確認部と、ここで、前記アフィンモードは制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを利用して画素単位又はサブブロック単位で動きベクトルを誘導するモードを示し、前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記アフィン符号化ブロックの動き情報に基づいて前記現在ブロックの制御点の第１動きベクトル予測値（ｍｏｔｉｏｎｖｅｃｔｏｒｐｒｅｄｉｃｔｏｒ）を誘導する制御点動きベクトル候補決定部とを含む。

本発明の実施形態によると、アフィン（Ａｆｆｉｎｅ）変換を用いてインター予測ベースの画像を処理することにより、画像の歪みを反映して予測の正確度を向上させることができる。

また、本発明の実施形態によると、予測ブロックを生成するにおいてサブブロック単位で予測ブロックを生成することにより、予測の正確度を高めるとともに、追加的な演算量やメモリアクセスを減少させることができる。

また、本発明の実施形態によると、周辺ブロックのアフィン動きモデルを使用することにより、動きベクトル予測値候補のうち特定の候補を示すためのインデックスシグナリングビットを節約することができ、符号化効率が向上できる。

本発明で得ることができる効果は、以上で言及した効果に制限されず、言及しない更に他の効果は以下の記載から本発明が属する技術分野で通常の知識を有する者に明確に理解できるはずである。

本発明に関する理解を助けるために詳細な説明の一部として含まれる添付図面は、本発明に対する実施形態を提供し、詳細な説明と共に本発明の技術的特徴を説明する。

本発明が適用される実施形態として、静止画又は動画信号のエンコードが行われるエンコーダの概略的なブロック図を示す。本発明が適用される実施形態として、静止画又は動画信号のデコードが行われるデコーダの概略的なブロック図を示す。本発明に適用できるコーディングユニットの分割構造を説明するための図である。本発明に適用できる予測ユニットを説明するための図である。は、本発明が適用できる実施形態として、インター予測の方向を例示する図である。本発明が適用できる実施形態として、１／４サンプル補間のための整数及び分数サンプル位置を例示する。本発明が適用できる実施形態として、空間的候補の位置を例示する。本発明が適用される実施形態として、インター予測方法を例示する図である。本発明が適用できる実施形態として、動き補償過程を例示する図である。本発明が適用できる実施形態として、アフィン動きモデル（ａｆｆｉｎｅｍｏｔｉｏｎｍｏｄｅｌ）を説明するための図である。本発明が適用できる実施形態として、制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを利用したアフィン動き予測方法を説明するための図である。本発明が適用できる実施形態として、制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを利用したアフィン動き予測方法を説明するための図である。本発明が適用できる実施形態として、制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを利用したアフィン動き予測方法を説明するための図である。本発明が適用される実施形態として、インター予測モードをベースにして画像を符号化する方法を例示するフローチャートである。本発明が適用される実施形態として、インター予測モードをベースにして画像を復号化する方法を例示するフローチャートである。本発明が適用される実施形態として、制御点の動きベクトル予測値候補を決定する方法を説明するための図である。本発明が適用される実施形態として、制御点の動きベクトル予測値候補を決定する方法を説明するための図である。本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を説明するための図である。本発明が適用できる実施形態として、周辺ブロックのアフィン動きモデルを利用して動きベクトル予測値を決定する方法を説明するための図である。本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。本発明の一実施形態によるインター予測ベース画像処理方法を例示する図である。本発明の一実施形態によるインター予測部を例示する図である。本発明が適用される実施形態として、コンテンツストリーミングシステム構造図を示す。

以下、本発明に係る好ましい実施形態を添付された図面を参照して詳細に説明する。添付された図面とともに以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとするものであり、本発明が実施できる唯一の実施形態を表そうとするものではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかしながら、当業者は、本発明がこのような具体的な細部事項がなくとも実施できることが分かる。

幾つかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図形式で図示できる。

合わせて、本発明で使用される用語は、なるべく現在広く使用される一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には、当該部分の詳細説明でその意味を明確に記載するので、本発明の説明で使用された用語の名称だけで単純解釈されてはならず、その当該用語の意味まで把握して解釈されなければならないことを明かしておく。

以下の説明で使用される特定用語は、本発明の理解を助けるために提供されたものであって、このような特定用語の使用は、本発明の技術的思想を逸脱しない範囲で他の形態に変更できる。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適宜代替されて解釈され得るであろう。

以下、本明細書において「処理ユニット」は、予測、変換、及び／又は量子化などのエンコード／デコードの処理過程が行われる単位を意味する。以下、説明の便宜のために、処理ユニットは「処理ブロック」又は「ブロック」と呼ばれることもできる。

処理ユニットは、輝度（ｌｕｍａ）成分に対する単位と色差（ｃｈｒｏｍａ）成分に対する単位とを含む意味として解釈することができる。例えば、処理ユニットは、コーディングツリーユニット（ＣＴＵ：ＣｏｄｉｎｇＴｒｅｅＵｎｉｔ）、コーディングユニット（ＣＵ：ＣｏｄｉｎｇＵｎｉｔ）、予測ユニット（ＰＵ：ＰｒｅｄｉｃｔｉｏｎＵｎｉｔ）、又は変換ユニット（ＴＵ：ＴｒａｎｓｆｏｒｍＵｎｉｔ）に該当する。

また、処理ユニットは、輝度（ｌｕｍａ）成分に対する単位又は色差（ｃｈｒｏｍａ）成分に対する単位として解釈されることができる。例えば、処理ユニットは、輝度成分に対するコーディングツリーブロック（ＣＴＢ：ＣｏｄｉｎｇＴｒｅｅＢｌｏｃｋ）、コーディングブロック（ＣＢ：ＣｏｄｉｎｇＢｌｏｃｋ）、予測ブロック（ＰＵ：ＰｒｅｄｉｃｔｉｏｎＢｌｏｃｋ）、又は変換ブロック（ＴＢ：ＴｒａｎｓｆｏｒｍＢｌｏｃｋ）に該当する。または、色差成分に対するコーディングツリーブロック（ＣＴＢ）、コーディングブロック（ＣＢ）、予測ブロック（ＰＵ）、又は変換ブロック（ＴＢ）に該当する。また、これに限定されるものではなく、処理ユニットは、輝度成分に対する単位と色差成分に対する単位を含む意味として解釈されることもできる。

さらに、処理ユニットは、必ず正方形のブロックに限定されるものではなく、３つ以上の頂点を有する多角形状で構成されることもできる。

図１は、本発明が適用される実施形態として、静止画又は動画信号のエンコードが行われるエンコーダの概略的なブロック図を示す。

図１に示すように、エンコーダ１００は、画像分割部１１０、減算器１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャバッファ（ＤＰＢ：ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ）１７０、インター予測部１８０、イントラ予測部１８５及びエントロピーエンコード部１９０を含んで構成される。そして、予測部１８０は、インター予測部１８１、イントラ予測部１８２を含む。

画像分割部１１０は、エンコーダ１００に入力された入力画像信号（Ｉｎｐｕｔｖｉｄｅｏｓｉｇｎａｌ）（又は、ピクチャ、フレーム）を１つ以上の処理ユニットに分割する。

減算器１１５は、入力画像信号から、予測部１８０（すなわち、インター予測部１８１又はイントラ予測部１８２）から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎｓｉｇｎａｌ）（又は、予測ブロック）を減算して差分信号（ｒｅｓｉｄｕａｌｓｉｇｎａｌ）（又は、差分ブロック）を生成する。生成された差分信号（又は、差分ブロック）は変換部１２０に送信される。

変換部１２０は、差分信号（又は、差分ブロック）に変換技法（例えば、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）、ＤＳＴ（ＤｉｓｃｒｅｔｅＳｉｎｅＴｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ−ＢａｓｅｄＴｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−ＬｏｅｖｅＴｒａｎｓｆｏｒｍ）など）を適用して変換係数（ｔｒａｎｓｆｏｒｍｃｏｅｆｆｉｃｉｅｎｔ）を生成する。ここで、変換部１２０は、差分ブロックに適用された予測モードと差分ブロックのサイズに応じて決定された変換技法を利用して変換を行うことにより、変換係数を生成することができる。

量子化部１３０は、変換係数を量子化してエントロピーエンコード部１９０に送信し、エントロピーエンコード部１９０は、量子化された信号（ｑｕａｎｔｉｚｅｄｓｉｇｎａｌ）をエントロピーコーディングしてビットストリームに出力する。

一方、量子化部１３０から出力された量子化された信号（ｑｕａｎｔｉｚｅｄｓｉｇｎａｌ）は予測信号を生成するために利用できる。例えば、量子化された信号（ｑｕａｎｔｉｚｅｄｓｉｇｎａｌ）は、ループ内の逆量子化部１４０及び逆変換部１５０により逆量子化及び逆変換を適用することにより差分信号を復元することができる。復元された差分信号をインター予測部１８１又はイントラ予測部１８２から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎｓｉｇｎａｌ）に足すことにより復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄｓｉｇｎａｌ）が生成される。

一方、前述したような圧縮過程で隣接したブロックが相異なる量子化パラメータにより量子化されることにより、ブロック境界が見える劣化が発生し得る。このような現象をブロッキング劣化（ｂｌｏｃｋｉｎｇａｒｔｉｆａｃｔｓ）といい、これは、画質を評価する重要な要素の１つである。このような劣化を減らすためにフィルタリング過程を行う。このようなフィルタリング過程によりブロッキング劣化を除去するとともに、現在ピクチャに対する誤差を減らすことにより、画質を向上させることができる。

フィルタリング部１６０は、復元信号にフィルタリングを適用して、これを再生装置に出力するか、復号ピクチャバッファ１７０に送信する。復号ピクチャバッファ１７０に送信されたフィルタリングされた信号は、インター予測部１８１において参照ピクチャとして使用される。このように、フィルタリングされたピクチャを画面間予測モードにおいて参照ピクチャとして用いることにより、画質だけでなく、符号化効率も向上させることができる。

復号ピクチャバッファ１７０は、フィルタリングされたピクチャをインター予測部１８１での参照ピクチャとして使用するために格納する。

インター予測部１８１は、復元ピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄｐｉｃｔｕｒｅ）を参照して時間的重複性及び／又は空間的重複性を除去するために、時間的予測及び／又は空間的予測を行う。

ここで、予測を行うために用いられる参照ピクチャは、以前の時間に符号化／復号化の時にブロック単位で量子化と逆量子化を経て変換された信号であるので、ブロッキングアーティファクト（ｂｌｏｃｋｉｎｇａｒｔｉｆａｃｔ）やリンギングアーティファクト（ｒｉｎｇｉｎｇａｒｔｉｆａｃｔ）が存在し得る。

従って、インター予測部１８１は、このような信号の不連続や量子化による性能低下を解決するために、ローパスフィルタ（ｌｏｗｐａｓｓｆｉｌｔｅｒ）を適用することによりピクセル間の信号をサブピクセル単位に補間することができる。ここで、サブピクセルは、補間フィルタを適用して生成された仮想の画素を意味し、整数ピクセルは、復元されたピクチャに存在する実際画素を意味する。補間方法としては、線形補間、双線形補間（ｂｉ−ｌｉｎｅａｒｉｎｔｅｒｐｏｌａｔｉｏｎ）、ウィーナフィルタ（ｗｉｅｎｅｒｆｉｌｔｅｒ）などが適用されてもよい。

補間フィルタは、復元ピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄｐｉｃｔｕｒｅ）に適用されて予測の精密度を向上させることができる。例えば、インター予測部１８１は、整数ピクセルに補間フィルタを適用して補間ピクセル（ｉｎｔｅｒｐｏｌａｔｅｄｐｉｘｅｌｓ）を生成し、補間ピクセルで構成された補間ブロック（ｉｎｔｅｒｐｏｌａｔｅｄｂｌｏｃｋ）を予測ブロック（ｐｒｅｄｉｃｔｉｏｎｂｌｏｃｋ）として用いて予測を行う。

イントラ予測部１８２は、現在符号化を行おうとするブロックの周辺にあるサンプルを参照して現在ブロックを予測する。イントラ予測部１８２は、イントラ予測を行うために次のような過程を行う。まず、予測信号を生成するために必要な参照サンプルを用意する。そして、用意した参照サンプルを用いて予測信号を生成する。その後、予測モードを符号化する。ここで、参照サンプルは、参照サンプルパディング及び／又は参照サンプルフィルタリングにより用意される。参照サンプルは、予測及び復元過程を経たので、量子化エラーが存在する可能性がある。従って、このようなエラーを減らすために、イントラ予測に用いられる各予測モードに対して参照サンプルフィルタリング過程が行われる。

インター予測部１８１又はイントラ予測部１８２により生成された予測信号（ｐｒｅｄｉｃｔｉｏｎｓｉｇｎａｌ）（又は、予測ブロック）は、復元信号（又は、復元ブロック）を生成するために利用されるか、差分信号（又は、差分ブロック）を生成するために利用される。

図２は、本発明が適用される実施形態として、静止画又は動画信号のデコードが行われるデコーダの概略的なブロック図を示す。

図２に示すように、デコーダ２００は、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算器２３５、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ：ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒＵｎｉｔ）２５０、予測部２６０を含んで構成される。そして、予測部２６０は、インター予測部２６１及びイントラ予測部２６２を含む。

そして、デコーダ２００を介して出力された復元画像信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄｖｉｄｅｏｓｉｇｎａｌ）は、再生装置により再生される。

デコーダ２００は、図１のエンコーダ１００から出力された信号（すなわち、ビットストリーム）を受信し、受信された信号は、エントロピーデコード部２１０によりエントロピーデコーディングされる。

逆量子化部２２０は、量子化ステップサイズ情報を利用してエントロピーデコーディングされた信号から変換係数（ｔｒａｎｓｆｏｒｍｃｏｅｆｆｉｃｉｅｎｔ）を取得する。

逆変換部２３０は、逆変換技法を適用して変換係数を逆変換して差分信号（ｒｅｓｉｄｕａｌｓｉｇｎａｌ）（又は、差分ブロック）を取得する。

加算器２３５は、取得された差分信号（又は、差分ブロック）を予測部２６０（すなわち、インター予測部２６１又はイントラ予測部２６２）から出力された予測信号（ｐｒｅｄｉｃｔｅｄｓｉｇｎａｌ）（又は、予測ブロック）に足すことにより復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄｓｉｇｎａｌ）（又は、復元ブロック）が生成される。

フィルタリング部２４０は、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄｓｉｇｎａｌ）（又は、復元ブロック）にフィルタリングを適用して、これを再生装置に出力するか、復号ピクチャバッファ部２５０に送信する。復号ピクチャバッファ部２５０に送信されたフィルタリングされた信号は、インター予測部２６１において参照ピクチャとして使用される。

本明細書において、エンコーダ１００のフィルタリング部１６０、インター予測部１８１及びイントラ予測部１８２において説明された実施形態は、それぞれデコーダのフィルタリング部２４０、インター予測部２６１及びイントラ予測部２６２にも同様に適用される。

処理ユニット分割構造

一般に、静止画又は動画圧縮技術（例えば、ＨＥＶＣ）においては、ブロックベースの画像圧縮方法を利用する。ブロックベースの画像圧縮方法は、画像を特定ブロック単位に分けて処理する方法であって、メモリ使用と演算量を減少させることができる。

図３は、本発明に適用できるコーディングユニットの分割構造を説明するための図である。

エンコーダは、１つの画像（又は、ピクチャ）を四角形の形態のコーディングツリーユニット（ＣＴＵ：ＣｏｄｉｎｇＴｒｅｅＵｎｉｔ）単位に分割する。そして、ラスタースキャン順序（ｒａｓｔｅｒｓｃａｎｏｒｄｅｒ）に従って１つのＣＴＵずつ順次エンコードする。

ＨＥＶＣにおいてＣＴＵのサイズは、６４×６４、３２×３２、１６×１６のいずれか１つに決められる。エンコーダは、入力された画像の解像度又は入力された画像の特性などによってＣＴＵのサイズを選択して使用することができる。ＣＴＵは、輝度（ｌｕｍａ）成分に対するコーディングツリーブロック（ＣＴＢ：ＣｏｄｉｎｇＴｒｅｅＢｌｏｃｋ）と、これに対応する２つの色差（cｈｒｏｍａ）成分に対するＣＴＢとを含む。

１つのＣＴＵは、クアッドツリー（Ｑｕａｄ−ｔｒｅｅ）構造に分割されることができる。すなわち、１つのＣＴＵは、正方形の形態を有しながら半分の水平サイズ（ｈａｌｆｈｏｒｉｚｏｎｔａｌｓｉｚｅ）及び半分の垂直サイズ（ｈａｌｆｖｅｒｔｉｃａｌｓｉｚｅ）を有する４個のユニットに分割されて、コーディングユニット（ＣＵ：ＣｏｄｉｎｇＵｎｉｔ）が生成される。このようなクアッドツリー構造の分割は、再帰的に行われることができる。すなわち、ＣＵは、１つのＣＴＵからクアッドツリー構造で階層的に分割される。

ＣＵは、入力画像の処理過程、例えば、イントラ（ｉｎｔｒａ）／インター（ｉｎｔｅｒ）予測が行われるコーディングの基本単位を意味する。ＣＵは、輝度（ｌｕｍａ）成分に対するコーディングブロック（ＣＢ：ＣｏｄｉｎｇＢｌｏｃｋ）と、これに対応する２つの色差（ｃｈｒｏｍａ）成分に対するＣＢとを含む。ＨＥＶＣにおいてＣＵのサイズは、６４×６４、３２×３２、１６×１６、８×８のいずれか１つに決められる。

図３に示すように、クアッドツリーのルートノード（ｒｏｏｔｎｏｄｅ）はＣＴＵと関連する。クアッドツリーはリーフノード（ｌｅａｆｎｏｄｅ）に到達するまで分割され、リーフノードはＣＵに該当する。

より具体的に説明すると、ＣＴＵは、ルートノード（ｒｏｏｔｎｏｄｅ）に該当し、最も小さい深さ（ｄｅｐｔｈ）（すなわち、ｄｅｐｔｈ＝０）値を有する。入力画像の特性に応じてＣＴＵが分割されないこともあり、この場合、ＣＴＵはＣＵに該当する。

ＣＴＵは、クアッドツリー形態に分割されることができ、その結果、深さ１（ｄｅｐｔｈ＝１）である下位ノードが生成される。そして、１の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードａ、ｂ及びｊに対応するＣＵ（ａ）、ＣＵ（ｂ）、ＣＵ（ｊ）は、ＣＴＵにおいて１回分割され、１の深さを有する。

１の深さを有するノードの少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ2（すなわち、ｄｅｐｔｈ＝２）である下位ノードが生成される。そして、２の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｃ、ｈ、及びｉに対応するＣＵ（ｃ）、ＣＵ（ｈ）、ＣＵ（ｉ）は、ＣＴＵにおいて２回分割され、２の深さを有する。

また、２の深さを有するノードの少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ３（すなわち、ｄｅｐｔｈ＝３）である下位ノードが生成される。そして、３の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｄ、ｅ、ｆ、ｇに対応するＣＵ（ｄ）、ＣＵ（ｅ）、ＣＵ（ｆ）、ＣＵ（ｇ）は、ＣＴＵにおいて３回分割され、３の深さを有する。

エンコーダにおいては、ビデオ画像の特性（例えば、解像度）に応じて、あるいは符号化の効率を考慮してＣＵの最大サイズ又は最小サイズを決定できる。そして、これに関する情報又はこれを誘導できる情報がビットストリームに含まれることができる。最大サイズを有するＣＵを最大コーディングユニット（ＬＣＵ：ＬａｒｇｅｓｔＣｏｄｉｎｇＵｎｉｔ）といい、最小サイズを有するＣＵを最小コーディングユニット（ＳＣＵ：ＳｍａｌｌｅｓｔＣｏｄｉｎｇＵｎｉｔ）ということができる。

また、ツリー構造を有するＣＵは、予め決められた最大深さ情報（又は、最大レベル情報）を有して階層的に分割されることができる。そして、それぞれの分割されたＣＵは、深さ情報を有することができる。深さ情報は、ＣＵの分割された回数及び／又は程度を示すので、ＣＵのサイズに関する情報を含むこともできる。

ＬＣＵがクアッドツリー形態に分割されるので、ＬＣＵのサイズ及び最大深さ情報を利用すると、ＳＣＵのサイズを求めることができる。または逆に、ＳＣＵのサイズ及びツリーの最大深さ情報を利用すると、ＬＣＵのサイズを求めることができる。

１つのＣＵに対して、当該ＣＵが分割されるか否かを示す情報（例えば、分割ＣＵフラグ（Ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ））がデコーダに伝達される。この分割モードは、ＳＣＵを除いた全てのＣＵに含まれている。例えば、分割可否を示すフラグの値が「１」であると、当該ＣＵはさらに４個のＣＵに分けられ、分割可否を示すフラグの値が「０」であると、当該ＣＵはそれ以上分けられずに当該ＣＵに対する処理過程が行われる。

前述したように、ＣＵは、イントラ予測又はインター予測が行われるコーディングの基本単位である。ＨＥＶＣは、入力画像をより効果的にコーディングするために、ＣＵを予測ユニット（ＰＵ：ＰｒｅｄｉｃｔｉｏｎＵｎｉｔ）単位に分割する。

ＰＵは、予測ブロックを生成する基本単位として、１つのＣＵ内においてもＰＵ単位で相異なるように予測ブロックを生成できる。ただし、１つのＣＵ内に属するＰＵは、イントラ予測とインター予測とが混合されて使用されず、１つのＣＵ内に属するＰＵは、同一の予測方法（すなわち、イントラ予測又はインター予測）によりコーディングされる。

ＰＵは、クアッドツリー構造に分割されず、１つのＣＵにおいて予め決められた形態で１回分割される。これについて、下記の図面を参照して説明する。

図４は、本発明に適用できる予測ユニットを説明するための図である。

ＰＵは、ＰＵが属するＣＵのコーディングモードとしてイントラ予測モードが使用されるか、インター予測モードが使用されるかによって相異なるように分割される。

図４（ａ）は、イントラ予測モードが使用される場合のＰＵを例示し、図４（ｂ）は、インター予測モードが使用される場合のＰＵを例示する。

図４（ａ）に示すように、１つのＣＵのサイズが２Ｎ×２Ｎ（Ｎ＝４、８、１６、３２）である場合を仮定すると、１つのＣＵは、２つのタイプ（すなわち、２Ｎ×２Ｎ又はＮ×Ｎ）に分割されることができる。

ここで、２Ｎ×２Ｎ形態のＰＵに分割される場合、１つのＣＵ内に１つのＰＵのみが存在することを意味する。

それに対して、Ｎ×Ｎ形態のＰＵに分割される場合、１つのＣＵは、４個のＰＵに分割され、各ＰＵ単位別に相異なる予測ブロックが生成される。ただし、このようなＰＵの分割は、ＣＵの輝度成分に対するＣＢのサイズが最小サイズである場合（すなわち、ＣＵがＳＣＵである場合）にのみ行われることができる。

図４（ｂ）に示すように、１つのＣＵのサイズが２Ｎ×２Ｎ（Ｎ＝４、８、１６、３２）である場合を仮定すると、１つのＣＵは、８つのＰＵタイプ（すなわち、２Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ）に分割されることができる。

イントラ予測と類似して、Ｎ×Ｎ形態のＰＵ分割は、ＣＵの輝度成分に対するＣＢのサイズが最小サイズである場合（すなわち、ＣＵがＳＣＵである場合）にのみ行われることができる。

インター予測においては、横方向に分割される２Ｎ×Ｎ形態及び縦方向に分割されるＮ×２Ｎ形態のＰＵ分割をサポートする。

また、非対称動き分割（ＡＭＰ：ＡｓｙｍｍｅｔｒｉｃＭｏｔｉｏｎＰａｒｔｉｔｉｏｎ）形態であるｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ形態のＰＵ分割をサポートする。ここで、「ｎ」は、２Ｎの１／４の値を意味する。ただし、ＡＭＰは、ＰＵが属するＣＵが最小サイズのＣＵである場合、使用されることができない。

１つのＣＴＵ内の入力画像を効率的に符号化するために、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）の最適の分割構造は、下記のような実行過程を経て最小レート歪み（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）値に基づいて決定されることができる。例えば、６４×６４ＣＴＵ内の最適のＣＵ分割過程を説明すると、６４×６４サイズのＣＵから８×８サイズのＣＵまでの分割過程を経ながら、レート歪みコストを計算できる。具体的な過程は、次のようである。

１）６４×６４サイズのＣＵに対してインター／イントラ予測、変換／量子化、逆量子化／逆変換、及びエントロピーエンコーディング実行により最小のレート歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。

２）６４×６４のＣＵを３２×３２サイズのＣＵ４個に分割し、各３２×３２ＣＵに対して最小のレート歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。

３）３２×３２のＣＵを１６×１６サイズのＣＵ４個に再度分割し、各１６×１６ＣＵに対して最小のレート歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。

４）１６×１６のＣＵを８×８サイズのＣＵ４個に再度分割し、各８×８ＣＵに対して最小のレート歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。

５）前記の３）の過程で算出した１６×１６のＣＵのレート歪み値と、前記の４）の過程で算出した４個の８×８のＣＵのレート歪み値との合計を比較して、１６×１６ブロック内において最適のＣＵの分割構造を決定する。この過程を残りの３個の１６×１６のＣＵに対しても同様に行う。

６）前記の２）の過程で計算された３２×３２ＣＵのレート歪み値と、前記の５）の過程で取得した４個の１６×１６ＣＵのレート歪み値との合計を比較して、３２×３２ブロック内において最適のＣＵの分割構造を決定する。この過程を残りの３個の３２×３２ＣＵなどに対しても同様に行う。

７）最後に、前記の１）の過程で計算された６４×６４ＣＵのレート歪み値と、前記の６）の過程で取得した４個の３２×３２ＣＵのレート歪み値との合計を比較して、６４×６４ブロック内において最適のＣＵの分割構造を決定する。

イントラ予測モードにおいて、ＰＵ単位で予測モードが選択され、選択された予測モードに対して実際ＴＵ単位で予測と再構成が行われる。

ＴＵは、実際予測と再構成が行われる基本単位を意味する。ＴＵは、輝度（ｌｕｍａ）成分に対する変換ブロック（ＴＢ：ＴｒａｎｓｆｏｒｍＢｌｏｃｋ）と、これに対応する２つの色差（ｃｈｒｏｍａ）成分に対するＴＢを含む。

前述した図３の例示において１つのＣＴＵがクアッドツリー構造に分割されてＣＵが生成されることのように、ＴＵは、コーディングしようとする１つのＣＵからクアッドツリー構造に階層的に分割される。

ＴＵは、クアッドツリー構造に分割されるので、ＣＵから分割されたＴＵはより小さい下位ＴＵに再度分割されることができる。ＨＥＶＣにおいては、ＴＵのサイズは、３２×３２、１６×１６、８×８、４×４のいずれか１つに決められる。

再び図３を参照すると、クアッドツリーのルートノード（ｒｏｏｔｎｏｄｅ）は、ＣＵと関連すると仮定する。クアッドツリーは、リーフノード（ｌｅａｆｎｏｄｅ）に到達するまで分割され、リーフノードは、ＴＵに該当する。

より具体的に説明すると、ＣＵはルートノード（ｒｏｏｔｎｏｄｅ）に該当し、最も小さい深さ（ｄｅｐｔｈ）（すなわち、ｄｅｐｔｈ＝０）値を有する。入力画像の特性に応じてＣＵが分割されないこともあり、この場合、ＣＵはＴＵに該当する。

ＣＵは、クアッドツリー形態に分割されることができ、その結果、深さ１（ｄｅｐｔｈ＝１）である下位ノードが生成される。そして、１の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＴＵに該当する。例えば、図３（ｂ）においてノードａ、ｂ、及びｊに対応するＴＵ（ａ）、ＴＵ（ｂ）、ＴＵ（ｊ）は、ＣＵにおいて１回分割され、１の深さを有する。

１の深さを有するノードの少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ2（すなわち、ｄｅｐｔｈ＝２）である下位ノードが生成される。そして、２の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＴＵに該当する。例えば、図３（ｂ）においてノードｃ、ｈ、及びｉに対応するＴＵ（ｃ）、ＴＵ（ｈ）、ＴＵ（ｉ）は、ＣＵにおいて２回分割され、２の深さを有する。

また、２の深さを有するノードの少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ３（すなわち、ｄｅｐｔｈ＝３）である下位ノードが生成される。そして、３の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｄ、ｅ、ｆ、ｇに対応するＴＵ（ｄ）、ＴＵ（ｅ）、ＴＵ（ｆ）、ＴＵ（ｇ）は、ＣＵにおいて３回分割され、３の深さを有する。

ツリー構造を有するＴＵは、予め決められた最大深さ情報（又は、最大レベル情報）を有して階層的に分割されることができる。そして、それぞれの分割されたＴＵは、深さ情報を有することができる。深さ情報は、ＴＵの分割された回数及び／又は程度を示すので、ＴＵのサイズに関する情報を含むこともできる。

１つのＴＵに対して、当該ＴＵが分割されるか否かを示す情報（例えば、分割ＴＵフラグ（Ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ））がデコーダに伝達される。この分割情報は、最小サイズのＴＵを除いた全てのＴＵに含まれている。例えば、分割可否を示すフラグの値が「１」であると、当該ＴＵは、さらに４個のＴＵに分けられ、分割可否を示すフラグの値が「０」であると、当該ＴＵは、それ以上分けられない。

予測（ｐｒｅｄｉｃｔｉｏｎ）

デコードが行われる現在処理ユニットを復元するために現在処理ユニットが含まれた現在ピクチャ又は他のピクチャのデコードされた部分を用いることができる。

復元に現在ピクチャのみを用いる、すなわち、画面内予測のみを行うピクチャ（スライス）をイントラピクチャ又はＩピクチャ（スライス）、各ブロックを予測するために最大１つの動きベクトル及びレファレンスインデックスを用いるピクチャ（スライス）を予測ピクチャ（ｐｒｅｄｉｃｔｉｖｅｐｉｃｔｕｒｅ）又はＰピクチャ（スライス）、最大２つの動きベクトル及びレファレンスインデックスを用いるピクチャ（スライス）を双予測ピクチャ（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅｐｉｃｔｕｒｅ）又はＢピクチャ（スライス）と呼ぶことができる。

イントラ予測は、同一のデコードされたピクチャ（又は、スライス）のデータ要素（例えば、サンプル値など）から現在処理ブロックを導出する予測方法を意味する。すなわち、現在ピクチャ内の復元された領域を参照して現在処理ブロックのピクセル値を予測する方法を意味する。

以下、インター予測についてより詳細に説明する。

インター予測（Ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ）（又は、画面間予測）

インター予測は、現在ピクチャ以外のピクチャのデータ要素（例えば、サンプル値又は動きベクトルなど）に基づいて現在処理ブロックを導出する予測方法を意味する。すなわち、現在ピクチャ以外の復元された他のピクチャ内の復元された領域を参照して現在処理ブロックのピクセル値を予測する方法を意味する。

インター予測（又は、ピクチャ間予測）は、ピクチャ間に存在する重複性を除去する技術であって、大部分は動き推定（ｍｏｔｉｏｎｅｓｔｉｍａｔｉｏｎ）及び動き補償（ｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｉｏｎ）により行われる。

図５は、本発明が適用できる実施形態として、インター予測の方向を例示する図である。

図５に示すように、インター予測は、１つのブロックに対して時間軸上で過去のピクチャ又は未来のピクチャ１つのみを参照ピクチャとして用いる単方向予測（Ｕｎｉ−ｄｉｒｅｃｔｉｏｎａｌｐｒｅｄｉｃｔｉｏｎ）と、過去及び未来ピクチャを同時に参照する双方向予測（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌｐｒｅｄｉｃｔｉｏｎ）とに分けられる。

また、単方向予測（Ｕｎｉ−ｄｉｒｅｃｔｉｏｎａｌｐｒｅｄｉｃｔｉｏｎ）は、時間的に現在ピクチャ以前に表示（又は、出力）される１個の参照ピクチャを用いる順方向予測（ｆｏｒｗａｒｄｄｉｒｅｃｔｉｏｎｐｒｅｄｉｃｔｉｏｎ）と、時間的に現在ピクチャ以後に表示（又は、出力）される１個の参照ピクチャを用いる逆方向予測（ｂａｃｋｗａｒｄｄｉｒｅｃｔｉｏｎｐｒｅｄｉｃｔｉｏｎ）とに区分されることができる。

インター予測過程（すなわち、単方向又は双方向予測）において現在ブロックを予測するのにどの参照領域（又は、参照ブロック）が用いられるかを特定するために使用される動きパラメータ（又は、情報）は、インター予測モード（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎｍｏｄｅ）（ここで、インター予測モードは、参照方向（すなわち、単方向又は双方向）と参照リスト（すなわち、Ｌ０、Ｌ１又は双方向）を指示できる）、参照インデックス（ｒｅｆｅｒｅｎｃｅｉｎｄｅｘ）（又は、参照ピクチャインデックス又は参照リストインデックス）、動きベクトル（ｍｏｔｉｏｎｖｅｃｔｏｒ）情報を含む。前記動きベクトル情報は、動きベクトル、動きベクトル予測子（ＭＶＰ：ｍｏｔｉｏｎｖｅｃｔｏｒｐｒｅｄｉｃｔｏｒ）又は動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎｖｅｃｔｏｒｄｉｆｆｅｒｅｎｃｅ）を含むことができる。動きベクトル差分値は、前記動きベクトルと動きベクトル予測子との間の差分値を意味する。

単方向予測は、一方向に対する動きパラメータが使用される。すなわち、参照領域（又は、参照ブロック）を特定するために、１個の動きパラメータが必要であり得る。

双方向予測は、両方向に対する動きパラメータが使用される。双方向予測方式においては、最大２個の参照領域を用いることができるが、この２個の参照領域は、同一の参照ピクチャに存在してもよく、相異なるピクチャに各々存在してもよい。すなわち、双方向予測方式においては、最大２個の動きパラメータが用いられ得るが、２個の動きベクトルが同一の参照ピクチャインデックスを有してもよく、相異なる参照ピクチャインデックスを有してもよい。ここで、参照ピクチャは、時間的に現在ピクチャ以前に全て表示（又は、出力）されるか、以後に全て表示（又は、出力）されることができる。

エンコーダは、インター予測過程において現在処理ブロックと最も類似した参照領域を参照ピクチャから探す動き推定（ＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ）を行う。また、エンコーダは、参照領域に対する動きパラメータをデコーダに提供する。

エンコーダ／デコーダは、動きパラメータを用いて現在処理ブロックの参照領域を取得する。前記参照領域は、前記参照インデックスを有する参照ピクチャ内に存在する。また、前記動きベクトルにより特定された参照領域のピクセル値又は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）された値が前記現在処理ブロックの予測値（ｐｒｅｄｉｃｔｏｒ）として用いられることができる。すなわち、動き情報を用いて、以前にデコードされたピクチャから現在処理ブロックの画像を予測する動き補償（ｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｉｏｎ）が行われる。

動きベクトル情報に関連した送信量を減らすために、以前にコードされたブロックの動き情報を用いて動きベクトル予測値（ｍｖｐ）を取得し、これに対する差分値（ｍｖｄ）のみを送信する方法を用いることができる。すなわち、デコーダは、デコードされた他のブロックの動き情報を用いて現在処理ブロックの動きベクトル予測値を求め、エンコーダから送信された差分値を用いて現在処理ブロックに対する動きベクトル値を取得する。動きベクトル予測値を取得するにおいて、デコーダは、既にデコードされた他のブロックの動き情報を用いて多様な動きベクトル候補値を取得し、そのうち１つを動きベクトル予測値として取得する。

−参照ピクチャセット及び参照ピクチャリスト

多重の参照ピクチャを管理するために、以前にデコードされたピクチャのセットが、残ったピクチャのデコードのために復号ピクチャバッファ（ＤＰＢ）内に格納される。

ＤＰＢに格納された復元されたピクチャのうちインター予測に用いられる復元されたピクチャを参照ピクチャ（ｒｅｆｅｒｅｎｃｅｐｉｃｔｕｒｅ）という。言い換えると、参照ピクチャ（ｒｅｆｅｒｅｎｃｅｐｉｃｔｕｒｅ）は、デコード順序上、次のピクチャのデコードプロセスにおいてインター予測のために使用されるサンプルを含むピクチャを意味する。

参照ピクチャセット（ＲＰＳ：ｒｅｆｅｒｅｎｃｅｐｉｃｔｕｒｅｓｅｔ）は、ピクチャと関連した参照ピクチャのセットを意味し、デコード順序上、以前に関連した全てのピクチャで構成される。参照ピクチャセットは、関連したピクチャ又はデコード順序上、関連したピクチャに後続するピクチャのインター予測に用いられる。すなわち、復号ピクチャバッファ（ＤＰＢ）に維持される参照ピクチャは、参照ピクチャセットと呼ばれることができる。エンコーダは、シーケンスパラメータセット（ＳＰＳ：ｓｅｑｕｅｎｃｅｐａｒａｍｅｔｅｒｓｅｔ）（すなわち、シンタックス要素で構成されるシンタックス構造）又は各スライスヘッダにおいて参照ピクチャセット情報をデコーダに提供することができる。

参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅｐｉｃｔｕｒｅｌｉｓｔ）は、Ｐピクチャ（又は、スライス）又はＢピクチャ（又は、スライス）のインター予測のために用いられる参照ピクチャのリストを意味する。ここで、参照ピクチャリストは、２個の参照ピクチャリストに区分されることができ、各々参照ピクチャリスト０（又は、Ｌ０）及び参照ピクチャリスト１（又は、Ｌ１）と呼ぶことができる。また、参照ピクチャリスト０に属する参照ピクチャを参照ピクチャ０（又は、Ｌ０参照ピクチャ）といい、参照ピクチャリスト１に属する参照ピクチャを参照ピクチャ１（又は、Ｌ１参照ピクチャ）ということができる。

Ｐピクチャ（又は、スライス）のデコードプロセスにおいて、１個の参照ピクチャリスト（すなわち、参照ピクチャリスト０）が用いられ、Ｂピクチャ（又は、スライス）のデコードプロセスにおいて、２個の参照ピクチャリスト（すなわち、参照ピクチャリスト０及び参照ピクチャリスト１）が用いられる。このような、各参照ピクチャ別に参照ピクチャリストを区分するための情報は、参照ピクチャセット情報を介してデコーダに提供されることができる。デコーダは、参照ピクチャセット（ｒｅｆｅｒｅｎｃｅｐｉｃｔｕｒｅｓｅｔ）情報に基づいて参照ピクチャを参照ピクチャリスト０又は参照ピクチャリスト１に追加する。

参照ピクチャリスト内のいずれか１つの特定参照ピクチャを識別するために、参照ピクチャインデックス（ｒｅｆｅｒｅｎｃｅｐｉｃｔｕｒｅｉｎｄｅｘ）（又は、参照インデックス）が用いられる。

−分数サンプル補間（ｆｒａｃｔｉｏｎａｌｓａｍｐｌｅｉｎｔｅｒｐｏｌａｔｉｏｎ）

インター予測された現在ブロックに対する予測ブロックのサンプルは、参照ピクチャインデックス（ｒｅｆｅｒｅｎｃｅｐｉｃｔｕｒｅｉｎｄｅｘ）により識別される参照ピクチャ内の当該参照領域のサンプル値から取得される。ここで、参照ピクチャ内の当該参照領域は、動きベクトルの水平要素（ｈｏｒｉｚｏｎｔａｌｃｏｍｐｏｎｅｎｔ）及び垂直要素（ｖｅｒｔｉｃａｌｃｏｍｐｏｎｅｎｔ）により指示される位置の領域を示す。動きベクトルが整数値を有する場合を除いて、非整数（ｎｏｎｉｎｔｅｇｅｒ）サンプル座標のための予測サンプルを生成するために分数サンプル補間（ｆｒａｃｔｉｏｎａｌｓａｍｐｌｅｉｎｔｅｒｐｏｌａｔｉｏｎ）が使用される。例えば、サンプル間の距離の１／４単位の動きベクトルがサポートされることができる。

ＨＥＶＣの場合、輝度成分の分数サンプル補間（ｆｒａｃｔｉｏｎａｌｓａｍｐｌｅｉｎｔｅｒｐｏｌａｔｉｏｎ）は、８タップフィルタを横方向及び縦方向にそれぞれ適用する。そして、色差成分の分数サンプル補間（ｆｒａｃｔｉｏｎａｌｓａｍｐｌｅｉｎｔｅｒｐｏｌａｔｉｏｎ）は、４タップフィルタを横方向及び縦方向にそれぞれ適用する。

図６は、本発明が適用できる実施形態として、１／４サンプル補間のための整数及び分数サンプル位置を例示する。

図６に示すように、大文字（ｕｐｐｅｒ−ｃａｓｅｌｅｔｔｅｒ）（Ａ＿ｉ、ｊ）が記載された陰影ブロックは、整数サンプル位置を示し、小文字（ｌｏｗｅｒ−ｃａｓｅｌｅｔｔｅｒ）（ｘ＿ｉ、ｊ）が記載された陰影のないブロックは、分数サンプル位置を示す。

分数サンプルは、水平方向及び垂直方向にそれぞれ整数サンプル値に補間フィルタが適用されて生成される。例えば、水平方向の場合、生成しようとする分数サンプルを基準にして左側の４個の整数サンプル値と右側の４個の整数サンプル値とに８タップフィルタが適用されることができる。

−インター予測モード

ＨＥＶＣにおいては、動き情報の量を減らすために、マージ（Ｍｅｒｇｅ）モード、ＡＭＶＰ（ＡｄｖａｎｃｅｄＭｏｔｉｏｎＶｅｃｔｏｒＰｒｅｄｉｃｔｉｏｎ）が用いられる。

１）マージ（Ｍｅｒｇｅ）モード

マージ（Ｍｅｒｇｅ）モードは、空間的（Ｓｐａｔｉａｌｌｙ）又は時間的（ｔｅｍｐｏｒａｌｌｙ）に隣り合うブロックから動きパラメータ（又は、情報）を導出する方法を意味する。

マージモードにおいて利用可能な候補のセットは、空間的に隣り合う候補（Ｓｐａｔｉａｌｎｅｉｇｈｂｏｒｃａｎｄｉｄａｔｅｓ）、時間的候補（ｔｅｍｐｏｒａｌｃａｎｄｉｄａｔｅｓ）及び生成された候補（ｇｅｎｅｒａｔｅｄｃａｎｄｉｄａｔｅｓ）で構成される。

図７は、本発明が適用できる実施形態として、空間的候補の位置を例示する。

図７（ａ）に示すように、｛Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２｝の順序に従って各空間的候補ブロックが利用可能であるか否かが判断される。ここで、候補ブロックがイントラ予測モードでエンコードされて動き情報が存在しない場合、又は候補ブロックが現在ピクチャ（又は、スライス）の外に位置する場合は、当該候補ブロックを利用できない。

空間的候補の有効性の判断後、現在ブロックの候補ブロックから不要な候補ブロックを除くことにより、空間的マージ候補が構成され得る。例えば、現在予測ブロックの候補ブロックが同一コーディングブロック内の１番目の予測ブロックである場合、当該候補ブロックを除き、また同一の動き情報を有する候補ブロックを除くことができる。

空間的マージ候補構成が完了すると、｛Ｔ０、Ｔ１｝の順序に従って時間的マージ候補構成過程が進まれる。

時間的候補構成において、参照ピクチャの同一位置の（ｃｏｌｌｏｃａｔｅｄ）ブロックの右下端（ｒｉｇｈｔｂｏｔｔｏｍ）ブロックＴ０が利用可能である場合、当該ブロックを時間的マージ候補として構成する。同一位置の（ｃｏｌｌｏｃａｔｅｄ）ブロックは、選択された参照ピクチャにおいて現在ブロックに対応する位置に存在するブロックを意味する。それに対して、そうでない場合、同一位置の（ｃｏｌｌｏｃａｔｅｄ）ブロックの中央（ｃｅｎｔｅｒ）に位置するブロックＴ１を時間的マージ候補として構成する。

マージ候補の最大個数は、スライスヘッダにおいて特定されることができる。マージ候補の個数が最大個数より大きい場合、最大個数より小さい個数の空間的候補と時間的候補が維持される。そうでない場合、マージ候補の個数は、候補個数が最大個数になるまで現在まで追加された候補を組み合わせて追加的なマージ候補（すなわち、組み合わせられた双予測マージ候補（ｃｏｍｂｉｎｅｄｂｉ−ｐｒｅｄｉｃｔｉｖｅｍｅｒｇｉｎｇｃａｎｄｉｄａｔｅｓ））が生成される。

エンコーダにおいては、前述したような方法によりマージ候補リストを構成し、動き推定（ＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ）を行うことにより、マージ候補リストにおいて選択された候補ブロック情報をマージインデックス（ｍｅｒｇｅｉｎｄｅｘ）（例えば、ｍｅｒｇｅ＿ｉｄｘ［ｘ０］［ｙ０］’）としてデコーダにシグナリングする。図７（ｂ）においては、マージ候補リストにおいてＢ１ブロックが選択された場合を例示しており、この場合、マージインデックス（ｍｅｒｇｅｉｎｄｅｘ）として「インデックス１（Ｉｎｄｅｘ１）」がデコーダにシグナリングされることができる。

デコーダにおいては、エンコーダと同様にマージ候補リストを構成し、マージ候補リストにおいてエンコーダから受信したマージインデックス（ｍｅｒｇｅｉｎｄｅｘ）に該当する候補ブロックの動き情報から現在ブロックに関する動き情報を導出する。そして、デコーダは、導出した動き情報に基づいて現在ブロックに対する予測ブロックを生成する（すなわち、動き補償）。

２）ＡＭＶＰ（ＡｄｖａｎｃｅｄＭｏｔｉｏｎＶｅｃｔｏｒＰｒｅｄｉｃｔｉｏｎ）モード

ＡＭＶＰモードは、周辺ブロックから動きベクトル予測値を誘導する方法を意味する。従って、水平及び垂直動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎｖｅｃｔｏｒｄｉｆｆｅｒｅｎｃｅ）、参照インデックス及びインター予測モードがデコーダにシグナリングされる。水平及び垂直動きベクトル値は、誘導された動きベクトル予測値とエンコーダから提供された動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎｖｅｃｔｏｒｄｉｆｆｅｒｅｎｃｅ）とを用いて計算される。

すなわち、エンコーダは、動きベクトル予測値候補リストを構成し、動き推定（ＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ）を行うことにより動きベクトル予測値候補リストにおいて選択された動き参照フラグ（すなわち、候補ブロック情報）（例えば、ｍｖｐ＿ｌＸ＿ｆｌａｇ［ｘ０］［ｙ０］’）をデコーダにシグナリングする。デコーダは、エンコーダと同様に動きベクトル予測値候補リストを構成し、動きベクトル予測値候補リストにおいてエンコーダから受信した動き参照フラグで示された候補ブロックの動き情報を用いて現在処理ブロックの動きベクトル予測値を導出する。また、デコーダは、導出された動きベクトル予測値とエンコーダから送信された動きベクトル差分値とを用いて現在処理ブロックに対する動きベクトル値を取得する。さらに、デコーダは、導出した動き情報に基づいて現在処理ブロックに対する予測ブロックを生成する（すなわち、動き補償）。

ＡＭＶＰモードの場合、前述した図７において５個の利用可能な候補のうち２個の空間的動き候補が選択される。１番目の空間的動き候補は、左側に位置した｛Ａ０、Ａ１｝セットから選択され、２番目の空間的動き候補は、上位に位置した｛Ｂ０、Ｂ１、Ｂ２｝セットから選択される。ここで、隣り合う候補ブロックの参照インデックスが現在予測ブロックと同一でない場合、動きベクトルがスケーリングされる。

空間的動き候補の探索結果、選択された候補個数が２個であると、候補構成を終了するが、２個未満である場合、時間的動き候補が追加される。

図８は、本発明が適用される実施形態として、インター予測方法を例示する図である。

図８に示すように、デコーダ（特に、図２におけるデコーダのインター予測部２６１）は、処理ブロック（例えば、予測ユニット）に対する動きパラメータを復号化する（Ｓ８０１）。

例えば、処理ブロックにマージモードが適用された場合、デコーダは、エンコーダからシグナリングされたマージインデックスを復号化することができる。そして、マージインデックスで示された候補ブロックの動きパラメータから現在処理ブロックの動きパラメータを導出することができる。

さらに、処理ブロックにＡＭＶＰモードが適用された場合、デコーダは、エンコーダからシグナリングされた水平及び垂直動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎｖｅｃｔｏｒｄｉｆｆｅｒｅｎｃｅ）、参照インデックス、及びインター予測モードを復号化することができる。そして、動き参照フラグから示された候補ブロックの動きパラメータから動きベクトル予測値を導出し、動きベクトル予測値と受信した動きベクトル差分値とを用いて現在処理ブロックの動きベクトル値を導出することができる。

デコーダは、復号化した動きパラメータ（又は、情報）を用いて予測ユニットに対する動き補償を行う（Ｓ８０２）。

すなわち、エンコーダ／デコーダは、復号化された動きパラメータを用いて、以前にデコードされたピクチャから現在ユニットの画像を予測する動き補償（ｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｉｏｎ）を行う。

図９は、本発明が適用できる実施形態として、動き補償過程を例示する図である。

図９においては、現在ピクチャ（ｃｕｒｒｅｎｔｐｉｃｔｕｒｅ）において符号化しようとする現在ブロック（ｃｕｒｒｅｎｔｂｌｏｃｋ）のための動きパラメータは、単方向予測、ＬＩＳＴ０、ＬＩＳＴ０内の２番目のピクチャ（ｐｉｃｔｕｒｅ）、動きベクトル（−ａ，ｂ）である場合を例示する。

この場合、図９に示すように、現在ブロックは、ＬＩＳＴ０の２番目のピクチャにおいて現在ブロックと（−ａ，ｂ）の分だけ離れている位置の値（すなわち、参照ブロック(ｒｅｆｅｒｅｎｃｅｂｌｏｃｋ)のサンプル値）を用いて予測される。

双方向予測の場合は、また他の参照リスト（例えば、ＬＩＳＴ１）と参照インデックス、動きベクトル差分値が送信されて、デコーダは、２個の参照ブロックを導出し、これに基づいて現在ブロック値を予測する。

実施形態１

ＨＥＶＣを含む一般的な画像符号化技術は、符号化ブロックの動きを表現するために並進動きモデル（ｔｒａｎｓｌａｔｉｏｎｍｏｔｉｏｎｍｏｄｅｌ）を使用する。ここで、並進動きモデルは、平行移動されたブロックベースの予測方法を示す。すなわち、符号化ブロックの動き情報は、１個の動きベクトルを用いて表現される。しかしながら、実際の符号化ブロック内において各画素別の最適の動きベクトルは相異なる可能性がある。もし、少ない情報のみで画素別又はサブブロック単位別の最適の動きベクトルを決定できると、符号化効率を向上させることができる。

従って、本発明は、画面間予測（すなわち、インター予測）の性能を向上させるために、平行移動されたブロックベースの予測方法だけでなく、画像の多様な動きを反映したインター予測ベースの画像処理方法を提案する。

また、本発明は、サブブロック又は画素単位の動きの情報を反映するようにして、予測の正確度を高め、圧縮性能を向上させる方法を提案する。

また、本発明は、アフィン動きモデル（ａｆｆｉｎｅｍｏｔｉｏｎｍｏｄｅｌ）を用いて符号化／復号化を行うアフィン動き予測方法について提案する。アフィン動きモデルは、制御点の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導する予測方法を示す。以下の図面を参照して説明する。

図１０は、本発明が適用できる実施形態として、アフィン動きモデル（ａｆｆｉｎｅｍｏｔｉｏｎｍｏｄｅｌ）を説明するための図である。

図１０に示すように、画像の歪みを動き情報として表現するために様々な方法が使用され、特に、アフィン動きモデルは、図１０に示す４個の動きを表現することができる。

すなわち、アフィン動きモデルは、画像の拡大／縮小、画像の回転、画像のせん断（Ｓｈｅａｒ）だけでなく、誘発される任意の画像歪みをモデリングする方法である。

アフィン動きモデルは、様々な方法で表現できるが、そのうち、本発明では、ブロックの特定基準点（又は、基準画素／サンプル）での動き情報を活用して歪みを表示（又は、識別）し、これを利用して画面間予測（すなわち、インター予測）を行う方法を提案する。ここで、基準点は、制御点（ＣＰ：ＣｏｎｔｒｏｌＰｏｉｎｔ）（又は、制御画素／サンプル）と呼ばれてもよく、このような基準点での動きベクトルは、制御点動きベクトル（ＣＰＭＶ：ＣｏｎｔｒｏｌＰｏｉｎｔＭｏｔｉｏｎＶｅｃｔｏｒ）と呼ばれてもよい。このような制御点の個数に応じて表現される歪みの程度が変わることがある。

アフィン動きモデルは、次の数式１のように６個のパラメータ（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）を利用して表現することができる。

数式１において、（ｘ、ｙ）は、符号化ブロックの左上端の位置を基準とする画素の位置を示す。そして、ｖ_ｘ及びｖ_ｙは（ｘ、ｙ）での動きベクトルを示す。本発明において、前記数式１のように６個のパラメータを利用するアフィン動きモデルは、ＡＦ６と呼ばれることができる。

図１１は、本発明が適用できる実施形態として、制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを利用したアフィン動き予測方法を説明するための図である。

図１１を参照すると、現在ブロック１１０１の左上端の制御点１１０２（以下、第１制御点と呼んでもよい）、右上端の制御点１１０３（以下、第２制御点と呼んでもよい）及び左下端の制御点１１０４（以下、第３制御点と呼んでもよい）は、それぞれ独立的な動き情報を有することができる。例えば、左上端の制御点１１０２は現在ブロックに含まれた画素に該当し、左上端の制御点１１０２、右上端の制御点１１０３及び左下端の制御点１１０４は現在ブロックに含まれていないが、現在ブロックに隣接した画素に該当し得る。

前記制御点のうち１つ以上の制御点の動き情報を利用して、現在ブロック１１０１の画素別又はサブブロック別の動き情報が誘導されることができる。

例えば、現在ブロック１１０１の左上端の制御点１１０２、右上端の制御点１１０３及び左下端の制御点１１０４の動きベクトルを利用したアフィン動きモデルは、次の数式２のように定義されることができる。

V₀を左上端の制御点１１０２の動きベクトル、V₁を右上端の制御点１１０３の動きベクトル、V₂を左下端の制御点１１０４の動きベクトルとするとき、V₀={v_0x,v_0y},V₁={v_1x,v_1y},V₂={v_2x,v_2y}と定義されることができる。そして、数式２においてｗは現在ブロック１１０１の幅（ｗｉｄｔｈ）、ｈは現在ブロック１１０１の高さ（ｈｅｉｇｈｔ）を示す。そして、 V={v_x,v_y} は｛ｘ、ｙ｝位置の動きベクトルを示す。

また、演算複雑度を低減し、シグナリングビットを最適化するための類似（又は、簡素化）アフィンな動きモデル（Ｓｉｍｉｌａｒｉｔｙ（ｏｒｓｉｍｐｌｉｆｉｅｄ）ａｆｆｉｎｅｍｏｔｉｏｎｍｏｄｅｌ）が定義されることができる。前記類似アフィン動きモデルは、前記図１０で説明した動きのうち、並進、スケール、回転（ｔｒａｎｓｌａｔｉｏｎ、ｓｃａｌｅ、ｒｏｔａｔｅ）の３つの動きを表現することができる。

前記類似アフィン動きモデルは、次の数式３のように４つのパラメータ（ａ、ｂ、ｃ、ｄ）を利用して表現することができる。

前記数式３のように４つのパラメータを利用するアフィン動きモデルは、ＡＦ４と呼ばれることができる。以下、本発明においては説明の便宜のためにＡＦ４を基準として説明しているが、本発明はこれに限定されず、ＡＦ６の場合にも同様に適用されることができる。下記の図面を参照してＡＦ４のアフィン動きモデルを説明する。

図１２及び図１３は、本発明が適用できる実施形態として、制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを利用したアフィン動き予測方法を説明するための図である。

図１２に示すように、V₁を現在ブロック１２０１の左上端の制御点１２０２の動きベクトル、
を右上端の制御点１２０３の動きベクトルとするとき、V₀={v_0x,v_0y}, V₁={v_1x,v_1y} と定義されることができる。ここで、ＡＦ４のアフィン動きモデルを次の数式４のように定義することができる。

数式４において、ｗは現在ブロック１２０１の幅（ｗｉｄｔｈ）、ｈは現在ブロック１２０１の高さ（ｈｅｉｇｈｔ）を示す。そして、V={v_x,v_y}は｛ｘ、ｙ｝位置の動きベクトルを示す。

エンコーダ／デコーダは、ＣＰＭＶ（すなわち、左上端の制御点１２０２及び右上端の制御点１２０３の動きベクトル）を利用して各画素位置の動きベクトルを決定（又は、誘導）する。以下、本発明において、アフィン動きベクトルフィールドをアフィン動き予測により決定される動きベクトルの集合と定義する。このようなアフィンの動きベクトルフィールドは、前述した数式１ないし４を利用して決定されることができる。

符号化／復号化の過程において、アフィン動き予測による動きベクトルは、画素単位又は予め定義された（又は、予め設定された）ブロック（又は、サブブロック）単位で決定される。画素単位で決定される場合は、処理ブロック内の各画素を基準に動きベクトルが誘導され、サブブロック単位で決定される場合は、現在処理ブロック内の各サブブロック単位を基準に動きベクトルが誘導される。また、サブブロック単位で決定される場合、動きベクトルは、左上側画素又は中央画素を基準に当該サブブロックの動きベクトルが誘導される。

以下、本発明の説明において、説明の便宜のために、アフィン動き予測による動きベクトルが４×４サイズのブロック単位で決定される場合を中心に説明するが、本発明は、これに限定されるものではなく、本発明は、画素単位又は他のサイズのサブブロック単位で適用されることもできる。

図１３に示すように、現在ブロック１３０１のサイズが１６×１６である場合を仮定する。エンコーダ／デコーダは、現在ブロック１３０１の左上端の制御点１３０２及び右上端の制御点１３０３の動きベクトルを利用して４×４サイズのサブブロック単位で動きベクトルを決定する。そして、各サブブロックの中央画素値を基準に当該サブブロックの動きベクトルが決定される。

アフィン動き予測は、アフィンマージモード（以下、「ＡＦマージ」と呼んでもよい）とアフィンインターモード（以下、「ＡＦインター」と呼んでもよい）に区分されることができる。アフィンマージモードは、一般的に既存の画像符号化技術において使用されるスキップモード又はマージモードと類似して動きベクトル差分値を符号化せずに、２つの制御点動きベクトルを誘導して符号化／復号化する方法である。アフィンインターモードは、制御点動きベクトル予測値と制御点動きベクトルを決定した後、差分値に該当する制御点動きベクトル差分値をエンコーダからデコーダにシグナリングする符号化／復号化方法である。この場合、ＡＦ４の場合は２つの制御点の動きベクトル差分値の送信が要求され、ＡＦ６の場合は３つの制御点の動きベクトル差分値の送信が要求される。

図１４は、本発明が適用される実施形態として、インター予測モードに基づいて画像を符号化する方法を例示するフローチャートである。

図１４に示すように、エンコーダは、現在処理ブロックに対してスキップモード、マージモード、インターモードを実行（又は、適用）する（Ｓ１４０１）。そして、エンコーダは、現在処理ブロック対してＡＦマージモードを実行する（Ｓ１４０２）、ＡＦインターモードを実行する（Ｓ１４０３）。ここで、前記Ｓ１４０１ないしＳ１４０３ステップの実行順序を変更してもよい。

エンコーダは、前記Ｓ１４０１ないしＳ１４０３ステップで実行されたモードのうち、現在処理ブロックに適用される最適のモードを選択する（Ｓ１４０４）。この場合、エンコーダは、最小のレート歪み（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）値に基づいて最適のモードを決定することができる。

図１５は、本発明が適用される実施形態として、インター予測モードに基づいて画像を復号化する方法を例示するフローチャートである。

デコーダは、現在処理ブロックにＡＦマージモードが適用されるか否かを判断する（Ｓ１５０１）。Ｓ１５０１ステップで判断した結果、現在処理ブロックにＡＦマージモードが適用される場合、ＡＦマージモードに基づいて復号化を行う（Ｓ１５０２）。ＡＦマージモードが適用される場合、デコーダは、制御点動きベクトル予測値候補を生成し、エンコーダから受信されたインデックス（又は、フラグ）値に基づいて決定される候補を制御点動きベクトルとして決定する。

Ｓ１５０１ステップで判断した結果、現在処理ブロックにＡＦマージモードが適用されない場合、デコーダは、ＡＦインターモードが適用されるか否かを判断する（Ｓ１５０３）。Ｓ１５０３ステップで判断した結果、現在処理ブロックにＡＦインターモードが適用される場合、デコーダは、ＡＦインターモードに基づいて復号化を行う（Ｓ１５０４）。ＡＦインターモードが適用される場合、デコーダは、制御点動きベクトル予測値候補を生成し、エンコーダから受信されたインデックス（又は、フラグ）値を利用して候補を決定した後、エンコーダから受信された動きベクトル予測値の差分値を合算して制御点動きベクトルを決定する。

Ｓ１５０３ステップで判断した結果、現在処理ブロックにＡＦインターモードが適用されない場合、デコーダは、ＡＦマージ／ＡＦインターモード以外のモードに基づいて復号化を行う（Ｓ１５０５）。

本発明の一実施形態においては、ＡＦインターモードで制御点動きベクトル予測値を誘導する方法を提案する。制御点動きベクトル予測値は、第１制御点及び第２制御点の２つの動きベクトル対で構成されることができ、２つの制御点動きベクトル予測値候補が構成されることができる。そして、エンコーダは、デコーダに２つの候補のうち最適の制御点動きベクトル予測値インデックスをシグナリングすることができる。下記の図面を参照して２つの制御点動きベクトル予測値候補を決定する方法を具体的に説明する。

図１６及び図１７は、本発明が適用される実施形態として、制御点動きベクトル予測値候補を決定する方法を説明するための図である。

図１６に示すように、エンコーダ／デコーダは、第１制御点、第２制御点及び第３制御点の動きベクトル予測値を組み合わせた組み合わせ動きベクトル予測値を生成する（Ｓ１６０１）。例えば、エンコーダ／デコーダは、制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて最大１２個の組み合わせ動きベクトル予測値を生成する。

図１７に示すように、エンコーダ／デコーダは、第１制御点１７０１の左上側の隣接ブロックＡ、上側の隣接ブロックＢ、左側の隣接ブロックＣの動きベクトルを第１制御点１７０１の動きベクトル組み合わせ候補として利用することができる。そして、エンコーダ／デコーダは、第２制御点１７０２の上側の隣接ブロックＤ、右上側の隣接ブロックＥを第２制御点１７０２の動きベクトル組み合わせ候補として利用することができる。そして、エンコーダ／デコーダは、第３制御点１７０３の左側の隣接ブロックＦ、左下側の隣接ブロックＧを第３制御点１７０３の動きベクトル組み合わせ候補として利用することができる。ここで、各制御点の隣接ブロックは、４×４サイズのブロックであり得る。制御点にそれぞれ隣接する周辺ブロックの動きベクトル組み合わせは、下記の数式５のように表現することができる。

再び図１６を参照すると、エンコーダ／デコーダは、Ｓ１６０１ステップで生成された組み合わせ動きベクトル予測値を制御点の動きベクトルの発散程度が小さい順に並べ替え（又は、配置）する（Ｓ１６０２）。動きベクトルの発散程度が小さい値を有するほど、制御点の動きベクトルが同一又は類似の方向を示すことができる。ここで、動きベクトルの発散程度は、次の数式６を利用して決定されることができる。

エンコーダ／デコーダは、Ｓ１６０２ステップで並べ替えた組み合わせ動きベクトル予測値のうち上位２つを動きベクトル予測値候補リスト（以下、「候補リスト」と呼んでもよい）として決定（又は、追加）する（Ｓ１６０３）。

もし、候補リストに追加された候補が２つより小さい場合、エンコーダ／デコーダは、ＡＭＶＰ候補リストの候補を候補リストに追加する（Ｓ１６０４）。具体的に、Ｓ１６０３ステップで追加された候補が０個である場合、エンコーダ／デコーダは、ＡＭＶＰ候補リストの上位２つの候補を候補リストに追加する。Ｓ１６０３ステップで追加された候補が１つである場合、エンコーダ／デコーダは、ＡＭＶＰ候補リストの１番目の候補を候補リストに追加する。そして、前記ＡＭＶＰ候補リストは、前記図７ないし図９で説明した方法を適用して生成することができる。

次の表１は、本実施形態で提案する方法によるシンタックス（Ｓｙｎｔａｘ）を例示する。

表１において、ｍｅｒｇｅ＿ｆｌａｇは、現在処理ブロックにマージモードが適用されるか否かを示す。そして、ａｆｆｉｎｅ＿ｆｌａｇは、現在処理ブロックにアフィンモードが適用されるか否かを示す。もし、現在処理ブロックにマージモードが適用される場合、エンコーダ／デコーダは、ａｆｆｉｎｅ＿ｆｌａｇをパーシングして現在処理ブロックにＡＦマージモードが適用されるか否かを確認する。

もし、現在処理ブロックにマージモードが適用されない場合、エンコーダ／デコーダは、ａｆｆｉｎｅ＿ｆｌａｇをパーシングして現在処理ブロックにＡＦインターモードが適用されるか否かを確認する。そして、現在処理ブロックにＡＦインターモードが適用される場合、２つの候補のうちどの候補を制御点動きベクトル予測値として使用するかを示すａａｍｖｐ＿ｉｄｘをパーシングする。

実施形態２

本発明の一実施形態において、エンコーダ／デコーダは、アフィンモードで符号化された周辺ブロックのアフィン動きモデル（又は、動き情報）を用いてアフィン動き予測を行うことができる。すなわち、エンコーダ／デコーダは、周辺ブロックのうちアフィンモードで符号化されたブロックが存在するか否かを確認し、確認結果に応じて、アフィンモードで符号化されたブロックのアフィン動きモデル（又は、動き情報）を用いて制御点の動きベクトル予測値を誘導することができる。

図１８は、本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を説明するための図である。

図１８に示すように、エンコーダ／デコーダは、左下端のブロックＡ、上右端のブロックＢ、前記上右端ブロックの右側に隣接するブロックＣ、前記左下端のブロックの下側に隣接するブロックＤ及び左上端のブロックＥのうちアフィンモードで符号化されたブロックが存在するか否かを確認する。

隣り合うアフィン符号化ブロックが存在しない場合、エンコーダ／デコーダは、前述した実施形態１における方法を適用することができる。

それに対して、隣り合うアフィン符号化ブロックが存在する場合、エンコーダ／デコーダは、左下端のブロックＡ、上右端のブロックＢ、前記上右端のブロックの右側に隣接するブロックＣ、前記左下端のブロックの下側に隣接するブロックＤ及び左上端のブロックＥの順序上、１番目の隣り合うアフィン符号化ブロックのアフィン動きモデルによって現在ブロックの制御点動きベクトル予測値を決定することができる。

前述したように、隣り合うアフィン符号化ブロックが存在しない場合、エンコーダ／デコーダは、２つの制御点動きベクトル予測値候補を構成することができる。この場合、２つの制御点動きベクトル予測値候補のうち特定候補を示すインデックス送信が要求される。それに対して、隣り合うアフィン符号化ブロックが存在する場合、隣り合うアフィン符号化ブロックのアフィン動きモデルにより１つの制御点動きベクトル予測値候補のみを決定するため、インデックス送信が要求されない。

従って、本発明の実施形態によると、周辺ブロックのアフィン動きモデルを使用することにより、動きベクトル予測値候補のうち特定候補を示すためのインデックスシグナリングビットを節約することができ、符号化効率が向上する。

隣り合うアフィン符号化ブロックのアフィン動きモデルに基づいて動きベクトル予測値を誘導する方法を下記の図面を参照して説明する。

図１９は、本発明が適用できる実施形態として、周辺ブロックのアフィン動きモデルを利用して動きベクトル予測値を決定する方法を説明するための図である。

図１９に示すように、隣り合うアフィン符号化ブロックは、第１制御点１９０１、第２制御点１９０２、第３制御点１９０３の動きベクトルが決定されており、前述した数式２又は数式４によるアフィン動きモデルが決定されている可能性もある。

該当数学の式において隣り合うアフィン符号化ブロックの第１制御点１９０１の座標が（０，０）であるので、前記第１制御点１９０１を基準とする現在処理ブロックの第１制御点１９０４及び第２制御点１９０５の座標値を適用して、現在処理ブロックの第１制御点１９０４及び第２制御点１９０５の動きベクトル予測値を誘導（又は、取得）することができる。

図２０は、本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。

図２０に示すように、エンコーダ／デコーダは、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン符号化ブロックが存在するか否かを確認する（Ｓ２００１）。ここで、アフィンモードは、制御点の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導するモードを示す。

Ｓ２００１のステップで確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在する場合、エンコーダ／デコーダは、予め定められたスキャン順序上、１番目のアフィン符号化ブロックのアフィン動きモデルを利用して制御点動きベクトル予測値を誘導する（Ｓ２００２）。例えば、前記予め定められた順序は、前述した図１８の左下端のブロックＡ、上右端のブロックＢ、前記上右端のブロックの右側に隣接するブロックＣ、前記左下端のブロックの下側に隣接するブロックＤ、左上端のブロックＥ位置のブロック順序であり得る。そして、前述したように、前記数式２又は４を利用して、現在処理ブロックの制御点の動きベクトル予測値を誘導することができる。

Ｓ２００１のステップで確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、エンコーダ／デコーダは、実施形態１において前述した方法を適用して動きベクトル予測値候補リストを生成することができる。具体的に、Ｓ２００３ないしＳ２００６のステップは、前述した図１６のＳ１６０１ないしＳ１６０４ステップと同様一に行われることができる。

次の表２は、本実施形態で提案する方法によるシンタックス（Ｓｙｎｔａｘ）を例示する。

表２において、ｍｅｒｇｅ＿ｆｌａｇは、現在処理ブロックにマージモードが適用されるか否かを示す。そして、ａｆｆｉｎｅ＿ｆｌａｇは、現在処理ブロックにアフィンモードが適用されるか否かを示す。そして、ａａｍｖｐ＿ｆｌａｇは、２つの制御点動きベクトル予測値候補リストのうちどの候補を利用するかを示す。

現在処理ブロックにマージモードが適用されない場合、エンコーダ／デコーダは、ａｆｆｉｎｅ＿ｆｌａｇをパーシングして現在処理ブロックにＡＦインターモードが適用されるか否かを確認する。そして、エンコーダ／デコーダは、現在ブロックの周辺ブロックのうちアフィン符号化ブロックが存在するか否かを確認して、存在する場合は、前記ａａｍｖｐ＿ｆｌａｇをパーシングせずに周辺アフィン符号化ブロックのアフィン動きモデルを用いて現在処理ブロックの制御点の動きベクトル予測値を決定し、存在しない場合は、前記ａａｍｖｐ＿ｆｌａｇをパーシングして生成された候補リスト内で現在の処理ブロックに適用される候補を決定する。

実施形態３

本発明の一実施形態において、エンコーダ／デコーダは、アフィンモードで符号化された周辺ブロックのアフィン動きモデル（又は、動き情報）を用いて候補リストを構成することができる。周辺アフィン符号化ブロックが存在する場合、前述した実施形態２の場合は１つのアフィン符号化ブロックのアフィン動きモデルを利用して制御点の動きベクトル予測値を生成したのに対して、本実施形態では周辺アフィン符号化ブロックが存在する場合にも２つの制御点動きベクトル予測値候補を含む候補リストを生成することができる。

図２１は、本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。

図２１に示すように、エンコーダ／デコーダは、前記実施形態１において説明した方法を適用して２つの制御点動きベクトル予測値候補を決定する（Ｓ２１０１）。

エンコーダ／デコーダは、現在処理ブロックの周辺ブロックのうちアフィンモードで符号化されたブロックが存在するか否かを確認する（Ｓ２１０２）。

Ｓ２１０１のステップで確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在する場合、エンコーダ／デコーダは、予め定められたスキャン順序上、１番目のアフィン符号化ブロックのアフィン動きモデルを利用して制御点動きベクトル予測値を決定（又は、誘導）し、決定された制御点動きベクトル予測値を候補リストの１番目の候補として決定する（Ｓ２１０３）。例えば、前記予め定められた順序は、前述した図１８の左下端のブロックＡ、上右端のブロックＢ、前記上右端のブロックの右側に隣接するブロックＣ、前記左下端のブロックの下側に隣接するブロックＤ、左上端のブロックＥ位置のブロック順序であり得る。そして、前述したように、前述した数式２又は４を利用して、現在処理ブロックの制御点の動きベクトル予測値を誘導することができる。

エンコーダ／デコーダは、Ｓ２１０１ステップで決定された１番目の候補を候補リストの２番目の候補として決定する（Ｓ２１０４）。

Ｓ２１０２のステップで確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、エンコーダ／デコーダは、Ｓ２１０１ステップで決定された２つの動きベクトル予測値候補を候補リストに追加して候補リストを生成する（Ｓ２１０５）。ここで、前述した図１６のＳ１６０１ないしＳ１６０４ステップが適用されることができる。

本実施形態においては、隣り合うアフィンモード符号化ブロックの有無に関係なく２つの動きベクトル予測値候補を利用して候補リストが生成されることができる。従って、隣り合うアフィンモード符号化ブロックが存在する場合にも、候補リスト内で現在処理ブロックに適用される候補を示すインデックスがエンコーダからデコーダにシグナリングされることができる。従って、本実施形態で提案する方法によるシンタックスは、前述した表１と同一に決定されることができる。

実施形態４

本発明の一実施形態において、エンコーダ／デコーダは、アフィンモードで符号化された周辺ブロックのアフィン動きモデル（又は、動き情報）を用いて候補リストを構成することができる。周辺アフィン符号化ブロックが存在する場合、スキャン順序上、１番目のアフィン符号化ブロックを利用して制御点動きベクトル予測値の候補を決定する実施形態２及び実施形態３とは異なり、本実施形態では、全ての周辺アフィン符号化ブロックを考慮して２つの制御点動きベクトル予測値候補を決定することができる。

図２２は、本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。

図２２に示すように、エンコーダ／デコーダは、現在処理ブロックの周辺ブロックのうちアフィンモードで符号化されたブロックが存在するか否かを確認する（Ｓ２２０１）。ここで、エンコーダ／デコーダは、周辺アフィン符号化ブロックの個数Ｎを決定することができる。

エンコーダ／デコーダは、Ｎ個の制御点動きベクトル予測値候補を決定する（Ｓ２２０２）。例えば、エンコーダ／デコーダは、前述した図１８の左下端のブロックＡ、上右端のブロックＢ、前記上右端のブロックの右側に隣接するブロックＣ、前記左下端のブロックの下側に隣接するブロックＤ、左上ブロックＥ位置のスキャン順序上、ｉ番目の周辺アフィン符号化ブロックを利用してｉ番目の候補を決定することができる。この場合、エンコーダ／デコーダは、プルーニングチェック（ｐｒｕｎｉｎｇｃｈｅｃｋ）により重複する動きベクトル（又は、候補）を除去する（Ｓ２２０３）。

エンコーダ／デコーダは、存在する候補の個数が２つ以上であるか否かを判断する（Ｓ２２０４）。

もし、２つ以上である場合、エンコーダ／デコーダは、スキャン順序上、上位２つの候補を最終制御点動きベクトル予測値候補として決定する（Ｓ２２０５）。２つの未満である場合、エンコーダ／デコーダは、前記実施形態１で説明した方法を適用して２つの制御点動きベクトル予測値候補を決定する（Ｓ２２０６）。

図２３は、本発明の一実施形態によるインター予測ベースの画像処理方法を例示する図である。

図２３に示すように、デコーダは、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認する（Ｓ２３０１）。ここで、アフィンモードは、制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導するモードを示す。

前述したように、デコーダは、現在ブロックの左下端のブロック、上右端のブロック、前記上右端のブロックの右側に隣接するブロック、前記左下端のブロックの下側に隣接するブロック及び左上端のブロックの順にアフィン符号化ブロックであるか否かを確認できる。

デコーダは、前記Ｓ２３０１のステップで確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在する場合、アフィン符号化ブロックの動き情報に基づいて現在ブロックの制御点の第１動きベクトル候補（ｍｏｔｉｏｎｖｅｃｔｏｒｃａｎｄｉｄａｔｅ）を誘導する（Ｓ２３０２）。

前述したように、デコーダは、スキャン順序上、１番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して前記第１動きベクトル候補を誘導することができる。ここで、第１動きベクトル候補は、制御点の動きベクトル予測値を含む。そして、第１動きベクトル候補は、周辺アフィン符号化ブロックのアフィン動きモデルを利用して計算されることができる。例えば、第１動きベクトル候補は、前述した数式２又は数式４を利用して計算されることができる。すなわち、第１動きベクトル候補を計算するにおいて、周辺アフィン符号化ブロックの幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）、前記アフィン符号化ブロックの制御点の動きベクトル及び前記現在ブロックの制御点の位置が利用できる。

前述したように、デコーダは、前記確認の結果、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、前述した実施形態１の方法を適用して制御点動きベクトル予測値候補を決定することができる。すなわち、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、デコーダは、現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成し、生成された組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順に、予め決められた個数の組み合わせ動きベクトル候補を候補リストに追加する。

また、前記実施形態２で説明したように、デコーダは、現在ブロックに対してアフィンモードが適用されるか否かを示すアフィンフラグを抽出することができる。そして、前記現在ブロックに前記周辺ブロックのうちアフィンモードで符号化されたブロックが存在しない場合、デコーダは、２つ以上の候補を含む候補リストを生成することができる。デコーダは、候補リストのうち特定の動きベクトル候補を示すインデックスを抽出することができる。

また、前記実施形態３で説明したように、デコーダは、前述した実施形態1の方法を適用して制御点動きベクトル予測値候補を決定することができる。すなわち、デコーダは、現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成し、生成された組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順序上、１番目の第２動きベクトル候補及び２番目の第３動きベクトル候補を候補リストに追加できる。以後、デコーダは、周辺アフィン符号化ブロックの動きモデルを利用して生成された第１動きベクトル候補を候補リストに追加できる。この場合、候補リスト上の１番目の候補として第１動きベクトル候補が決定され、２番目の候補として第２動きベクトル候補が決定されることができる。そして、第３動きベクトル候補は候補リストから除去される。すなわち、デコーダは、周辺ブロックのうちアフィン符号化ブロックが存在する場合、第１動きベクトル候補及び第２動きベクトル候補を利用して候補リストを構成することができる。

一方、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、デコーダは、第２動きベクトル候補及び第３動きベクトル候補を利用して候補リストを構成することができる。

また、前記実施形態４で説明したように、デコーダは、１つ以上の周辺アフィン符号化ブロックのアフィン動きモデルを利用して動きベクトル予測値候補を構成することができる。もし、周辺ブロックのうち２つ以上の周辺アフィン符号化ブロックが存在する場合、デコーダは、スキャン順序上、１番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して第１動きベクトル候補を決定し、スキャン順序上、２番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して第４動きベクトル候補を決定することができる。そして、デコーダは、候補リストから第１動きベクトル候補を一番目の候補として決定し、第４動きベクトル候補を２番目の候補として最終決定することができる。また、前述したように、デコーダは、周辺ブロックのうちアフィン符号化ブロック間の重複する動き情報を除去することができる。

図２４は、本発明の一実施形態によるインター予測部を例示する図である。

図２４においては、説明の便宜のために、インター予測部（図１の１８１及び図２の２６１）を１つのブロックとして示したが、インター予測部１８１、２６１は、エンコーダ及び／又はデコーダに含まれる構成として実現されてもよい。

図２４に示すように、インター予測部１８１、２６１は、前記図５ないし図２０で提案された機能、過程及び／又は方法を実現する。具体的に、インター予測部１８１、２６１は、周辺ブロック確認部２４０１、制御点動きベクトル候補決定部２４０２を含んで構成される。

周辺ブロック確認部２４０１は、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認する。ここで、アフィンモードは、制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導するモードを示す。

前述したように、周辺ブロック確認部２４０１は、現在ブロックの左下端のブロック、上右端のブロック、前記上右端のブロックの右側に隣接するブロック、前記左下端のブロックの下側に隣接するブロック及び左上端のブロックの順にアフィン符号化ブロックであるか否かを確認する。

周辺ブロック確認部２４０１で確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在する場合、制御点動きベクトル候補決定部２４０２は、アフィン符号化ブロックの動き情報に基づいて現在ブロックの制御点の第１動きベクトル候補（ｍｏｔｉｏｎｖｅｃｔｏｒｃａｎｄｉｄａｔｅ）を誘導する。

前述したように、制御点動きベクトル候補決定部２４０２は、スキャン順序上、１番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して前記第１動きベクトル候補を誘導することができる。ここで、第１動きベクトル候補は、制御点の動きベクトル予測値を含むことができる。そして、第１動きベクトル候補は、周辺アフィン符号化ブロックのアフィン動きモデルを利用して計算されることができる。例えば、第１動きベクトル候補は、前述した数式２又は数式４を利用して計算される。すなわち、第１動きベクトル予測値を計算するのにおいて、周辺アフィン符号化ブロックの幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）、前記アフィン符号化ブロックの制御点の動きベクトル及び前記現在ブロックの制御点の位置が利用できる。

前述したように、制御点動きベクトル候補決定部２４０２は、前記確認の結果、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、前述した実施形態１の方法を適用して制御点動きベクトル予測値候補を決定する。すなわち、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、制御点動きベクトル候補決定部２４０２は、現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成し、生成された組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順に予め定められた数の組み合わせ動きベクトル候補を候補リストに追加する。

また、前記実施形態２で説明したように、制御点動きベクトル候補決定部２４０２は、現在ブロックに対してアフィンモードが適用されるか否かを示すアフィンフラグを抽出する。そして、前記現在ブロックに前記周辺ブロックのうちアフィンモードで符号化されたブロックが存在しない場合、制御点動きベクトル候補決定部２４０２は、２つ以上の候補を含む候補リストを生成することができる。制御点動きベクトル候補決定部２４０２は、候補リストのうち特定動きベクトル候補を示すインデックスを抽出する。

また、前記実施形態３で説明したように、制御点動きベクトル候補決定部２４０２は、前述した実施形態１の方法を適用して制御点動きベクトル予測値候補を決定する。すなわち、制御点動きベクトル候補決定部２４０２は、現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成し、生成された組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順序上、１番目の第２動きベクトル候補及び２番目の第３動きベクトル候補を候補リストに追加する。その後、制御点動きベクトル候補決定部２４０２は、周辺アフィン符号化ブロックの動きモデルを利用して生成された第１動きベクトル候補を候補リストに追加する。この場合、候補リスト上の１番目の候補として第１動きベクトル候補が決定され、２番目の候補として第２動きベクトル候補が決定されることができる。そして、第３動きベクトル候補は候補リストから削除されてもよい。言い換えると、デコーダは、周辺ブロックのうちアフィン符号化ブロックが存在する場合、第１動きベクトル候補及び第２動きベクトル候補を利用して候補リストを構成する。

また、前記実施形態４で説明したように、制御点動きベクトル候補決定部２４０２は、１つ以上の周辺アフィン符号化ブロックのアフィン動きモデルを利用して動きベクトル予測値候補を構成することができる。もし、周辺ブロックのうち２つ以上の周辺アフィン符号化ブロックが存在する場合、制御点動きベクトル候補決定部２４０２は、スキャン順序上、１番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して第１動きベクトル候補を決定し、スキャン順序上、２番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して第４動きベクトル候補を決定することができる。そして、制御点動きベクトル候補決定部２４０２は、候補リストにおいて第１動きベクトル候補を１番目の候補として決定し、第４動きベクトル候補を２番目の候補として最終決定する。また、前述したように、制御点動きベクトル候補決定部２４０２は、周辺ブロックのうちアフィン符号化ブロック間の重複される動き情報を除去することができる。

図２５は、本発明が適用される実施形態として、コンテンツのストリーミングシステム構造図を示す。

図２５に示すように、本発明が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置及びマルチメディア入力装置を含むことができる。

前記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割を果たす。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略されることができる。

前記ビットストリームは、本発明が適用されるエンコード方法又はビットストリーム生成方法によって生成されることができ、前記ストリームサーバは前記ビットストリームを送信又は受信する過程で一時的に前記ビットストリームを格納することができる。

前記ストリーミングサーバは、ウェブサーバを介するユーザリクエストに基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介としての役割を果たす。ユーザが前記ウェブサーバに希望するサービスを要求すると、前記ウェブサーバはこれをストリーミングサーバに伝達し、前記ストリーミングサーバはユーザにマルチメディアデータを送信する。ここで、前記コンテンツストリーミングシステムは、別途の制御サーバを含んでもよく、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たす。

前記ストリーミングサーバは、メディア格納所及び／又はエンコードサーバからコンテンツを受信する。例えば、前記エンコードサーバからコンテンツを受信する場合、前記コンテンツをリアルタイムに受信できる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは前記ビットストリームを一定時間格納することができる。

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅｍｕｌｔｉｍｅｄｉａｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅＰＣ）、タブレットＰＣ（ｔａｂｌｅｔＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅｄｅｖｉｃｅ、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔｇｌａｓｓ）、ＨＭＤ（ｈｅａｄｍｏｕｎｔｅｄｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどを有することができる。

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営でき、この場合、各サーバで受信するデータは分散処理されることができる。

前述したように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われることができる。例えば、各図面に示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われることができる。

また、本発明が適用されるデコーダ及びエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒｔｈｅｔｏｐｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号及びデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒｔｈｅｔｏｐｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（ＤｉｇｉｔａｌＶｉｄｅｏＲｅｃｏｄｅｒ）などが含まれる。

また、本発明が適用される処理方法は、コンピュータにより実行されるプログラムの形態で生産されることができ、コンピュータにより読み取りできる記録媒体に格納できる。本発明によるデータ構造を有するマルチメディアデータもまたコンピュータにより読み取りできる記録媒体に格納できる。前記コンピュータにより読み取りできる記録媒体は、コンピュータにより読み取りできるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータにより読み取りできる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスク、及び光学データ格納装置を含むことができる。また、前記コンピュータにより読み取りできる記録媒体は、搬送波（例えば、インターネットを介する送信）の形態で実現されたメディアを含む。また、エンコード方法により生成されたビットストリームがコンピュータにより読み取りできる記録媒体に格納されるか、有無線通信ネットワークを介して送信できる。

また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現され、前記プログラムコードは、本発明の実施形態によりコンピュータにおいて行われる。前記プログラムコードは、コンピュータにより読み取りできるキャリア上に格納されることができる。

以上で説明された実施形態は、本発明の構成要素と特徴が所定の形態に結合されたものである。各構成要素又は特徴は、別途の明示的な言及がない限り、選択的なものとして考慮されなければならない。各構成要素又は特徴は、他の構成要素や特徴と結合されない形態に実施できる。また、一部の構成要素及び／又は、特徴を結合して本発明の実施形態を構成することも可能である。本発明の実施形態で説明される動作の順序は変更できる。ある実施形態の一部の構成や特徴は他の実施形態に含まれることができ、または他の実施形態の対応する構成または特徴と取替できる。特許請求範囲で明示的な引用関係がない請求項を結合して実施形態を構成するか、または出願後の補正により新たな請求項に含めることができることは自明である。

本発明による実施形態は、多様な手段、例えば、ハードウェア、ファームウエア（ｆｉｒｍｗａｒｅ）、ソフトウェア、またはそれらの結合などにより実現できる。ハードウェアによる実現の場合、本発明の一実施形態は１つまたはその以上のＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより実現できる。

ファームウエアやソフトウェアによる実現の場合、本発明の一実施形態は以上で説明された機能または動作を行うモジュール、手続、関数などの形態に実現できる。ソフトウェアコードはメモリに格納されてプロセッサにより駆動できる。前記メモリは前記プロセッサの内部または外部に位置し、既に公知された多様な手段により前記プロセッサとデータをやり取りすることができる。

本発明は本発明の必須的な特徴を逸脱しない範囲で他の特定の形態に具体化できることは通常の技術者に自明である。従って、前述した詳細な説明は全ての面で制限的に解析されてはならず、例示的なものとして考慮されなければならない。本発明の範囲は添付した請求項の合理的な解析により決定されなければならず、本発明の等価的な範囲内での全ての変更は本発明の範囲に含まれる。

以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであり、当業者であれば、以下に添付された特許請求範囲に開示された本発明の技術的思想とその技術的範囲内において、様々な他の実施形態を改良、変更、代替又は付加などが可能であろう。

Claims

インター予測（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ）をベースに画像を処理する方法において、
現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認するステップと、ここで、前記アフィンモードは、制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導するモードを示し、
前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記アフィン符号化ブロックの動き情報に基づいて前記現在ブロックの制御点の第１動きベクトル候補（ｍｏｔｉｏｎｖｅｃｔｏｒｃａｎｄｉｄａｔｅ）を誘導するステップとを含む、インター予測モードベースの画像処理方法。
前記アフィン符号化ブロックが存在するか否かを確認するステップは、
前記現在ブロックの左下端のブロック、上右端のブロック、前記上右端のブロックの右側に隣接するブロック、前記左下端のブロックの下側に隣接するブロック及び左上端のブロックの順にアフィン符号化ブロックであるか否かを確認する、請求項１に記載のインター予測モードベースの画像処理方法。
前記第１動きベクトル候補を誘導するステップは、
前記順序上、１番目のアフィン符号化ブロックの動きモデル（ｍｏｔｉｏｎｍｏｄｅｌ）を利用して前記第１動きベクトル候補を誘導する、請求項２に記載のインター予測モードベース画像処理方法。
前記第１動きベクトル候補は、前記アフィン符号化ブロックの幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）、前記アフィン符号化ブロックの制御点の動きベクトル及び前記現在ブロックの制御点の位置を利用して計算される、請求項１に記載のインター予測モードベースの画像処理方法。
前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在しない場合、前記現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成するステップと、
前記組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順に、予め決められた個数の組み合わせ動きベクトル候補を候補リストに追加するステップをさらに含む、請求項１に記載のインター予測モードベースの画像処理方法。
前記現在のブロックに対してアフィンモードが適用されるか否かを示すアフィンフラグを抽出するステップと、
前記現在ブロックに前記周辺ブロックのうちアフィンモードで符号化されたブロックが存在しない場合、前記候補リストのうち特定動きベクトル候補を示すインデックスを抽出するステップとをさらに含む、請求項５に記載のインター予測モードベースの画像処理方法。
前記現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成するステップと、
前記組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順序上、１番目の第２動きベクトル候補及び２番目の第３動きベクトル候補を誘導するステップとをさらに含む、請求項１に記載のインター予測モードベースの画像処理方法。
前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記第１動きベクトル候補及び前記第２動きベクトル候補を利用して候補リストを生成するステップをさらに含む、請求項７に記載のインター予測モードベースの画像処理方法。
前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在しない場合、前記第２動きベクトル候補及び前記第３動きベクトル候補を利用して候補リストを生成するステップをさらに含む、請求項７に記載のインター予測モードベースの画像処理方法。
前記第１動きベクトル候補を誘導するステップは、
周辺ブロック間に予め設定された順序上、１番目のアフィン符号化ブロックの動き情報を利用して前記第１動きベクトル候補を誘導するステップと、
前記順序上、２番目のアフィン符号化ブロックの動き情報を利用して第４動きベクトル候補を誘導するステップとを含む、請求項１に記載のインター予測モードベースの画像処理方法。
前記第１動きベクトル候補を誘導するステップは、
前記周辺ブロックのうちアフィン符号化ブロック間に重複する動き情報を除去するステップをさらに含む、請求項１０に記載のインター予測モードベースの画像処理方法。
インター予測（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ）をベースに画像を処理する装置において、
現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認する周辺ブロック確認部と、ここで、前記アフィンモードは制御点（ｃｏｎｔｒｏｌｐｏｉｎｔ）の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導するモードを示し、
前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記アフィン符号化ブロックの動き情報に基づいて前記現在ブロックの制御点の第１動きベクトル候補（ｍｏｔｉｏｎｖｅｃｔｏｒｃａｎｄｉｄａｔｅ）を誘導する制御点の動きベクトル候補決定部とを含む、インター予測モードベースの画像処理装置。