JP6574976B2 - 動画像符号化装置および動画像符号化方法 - Google Patents

Description

本開示は、動画像符号化装置および動画像符号化方法に関するものである。

ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれる次世代動画像符号化方式の標準化活動が進んでいる。例えば、ＨＥＶＣ規格書（ドラフト） （Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０ （ｆｏｒ ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌ））に開示されている。

従来のＨ．２６４の動画像符号化規格では、縦横が１６画素×１６画素のサイズのマクロブロックを単位として符号化が行われていた。一方、ＨＥＶＣでは、縦横が１６画素×１６画素のサイズのみならず、図１に示すように、６４画素×６４画素、３２画素×３２画素、１６画素×１６画素、８画素×８画素の４種類のサイズのいずれかであるＣＵ（Ｃｏｒｄｉｎｇ Ｕｎｉｔ）を単位として符号化が行なわれる。また、図１に示すように、ＣＵ内での画面間予測に用いられるＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）のサイズは、色々なサイズが選択可能となっている。

また、Ｈ．２６４の動画像符号化規格では、動きベクトルの符号化について、ダイレクトモード（Ｄｉｒｅｃｔ Ｍｏｄｅ）が採用されていた。Ｈ．２６４のダイレクトモードでは、カレントのマクロブロックの動きベクトルを、空間や時間の近傍のマクロブロックからひとつ決定する。一方、ＨＥＶＣにおいては、ダイレクトモードよりも符号化効率を高めるため、マージモード（Ｍｅｒｇｅ Ｍｏｄｅ）が導入されている。ＨＥＶＣのマージモードでは、カレントのＰＵの空間や時間の近傍のＰＵから、最大５つの動きベクトルの候補をインデックス情報として有する動きベクトル候補リスト（以下、「マージ候補リスト」と称する）を作成する。マージ候補リスト中から動きベクトルを選択して、選択した動きベクトルのマージ候補リスト上のインデックス（以下、「マージ候補インデックス」と称する）をＰＵ毎に符号化することにより、符号化効率の向上を実現している。（例えば、非特許文献１を参照）

ＨＥＶＣ規格書（ドラフト） （Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０ （ｆｏｒ ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌ））

マージモードでは、ひとつのＣＵサイズにつき、８種類のＰＵサイズを選択することができる。この場合、８種類の各ＰＵについて、最大５つの動きベクトルの候補をインデックス情報として有するマージ候補リストを生成することになる。これら全てのＰＵサイズについて生成された全てのマージ候補リストに記載される動きベクトルの候補を評価する場合、処理量が大きくなってしまう。そして、実時間での符号化処理を実現しようとすると、回路規模の増大を招くことになる。しかしながら、マージモードを実施する際に処理量を減らすために、実際に評価するＰＵサイズまたは動きベクトルの候補を単純に制限すると符号化効率が低下する。

そこで、本開示は、回路規模の増大を抑えつつ、符号化効率低下を抑制できる動画像符号化装置を提供する。

本開示における動画像符号化装置は、符号化の対象である原画像を取得する取得部と、取得した原画像を所定の領域毎に少なくとも画面間予測し、候補となる動きベクトルのインデックスが複数個記載された候補リストから、少なくとも一つのインデックスを参照して、領域の予測画像を生成する予測画像生成部と、領域毎に生成した予測画像それぞれと、原画像における画像であって予測画像に対応する画像とを差分演算し、原画像に対する残差成分を生成する差分演算部と、残差成分を符号化処理することにより、出力用の画像ストリームを生成する符号化部と、を備える。

ここで、予測画像生成部は、原画像を分割した画面間予測用のブロックにおいて、動画像符号化規格に規定される複数のブロックのうち、少なくとも３つ以上のブロックそれぞれについて、画面間予測のときに参照するために、候補となる動きベクトルのインデックスが複数個記載された候補リストを生成し、生成した候補リストに記載されたインデックスを利用して、候補リストを生成したブロックそれぞれについて、インデックスを利用した際の符号化効率を示す評価値を算出し、算出した評価値に基づいて前記予測画像を生成する。そして、少なくとも３つ以上のブロックそれぞれの候補リストに共通して候補とされた動きベクトルが含まれる場合、共通の動きベクトルを少なくとも１つ含むように、前記生成した候補リストから前記評価値の算出に利用するインデックスを設定し、前記候補リストを生成する場合、１つのブロック内に他の２つのブロックが含まれる関係にある３つのブロックについて候補リストを生成する。

本開示における動画像符号化装置は、２つのＰＵブロックにおいて生成されるマージ候補リストに記載される動きベクトル候補のコスト評価処理を用いて、この２つのＰＵブロックとは異なる他のＰＵブロックのコスト処理を実施する。このように、２つのＰＵブロックで得られるコスト評価値を流用するため、実際にコスト評価値を算出したＰＵブロック以外のＰＵブロックにおける評価値算出のための処理量を増加させずにマージモードで処理することができる。これにより、回路規模の増大を抑えつつ、符号化効率低下の抑制を実現できる。

ＨＥＶＣの選択可能なブロックのサイズを説明するための図である。 本実施形態１に係る動画像符号化装置を示す模式図である。 ＨＥＶＣのＰＵサイズを説明するための図である。 ＨＥＶＣのマージ候補を説明するための図である。 ＨＥＶＣのマージ候補を説明するための図である。 ＨＥＶＣのマージ候補を説明するための図である。 本実施形態１でのマージモードのコスト評価処理を説明するための図である。 本実施形態１でのマージモードのコスト評価処理の評価値を表す式である。 本実施形態１でのマージモードのコスト評価処理の評価値を表す式である。 本実施形態１での２つ評価ＰＵと包含ＰＵのマージ候補リストの動きベクトルの例を表す図である。 本実施形態１での選択された評価対象のマージ候補を説明する図である。 ２つの評価ＰＵの予測残差と包含ＰＵの予測残差の関係を表す図である。 包含ＰＵの予測残差を求める式である。 包含ＰＵの予測残差を求める式である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
実施の形態１にかかる動画像符号化装置１００は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、携帯情報端末及びパーソナルコンピュータなどに搭載されたマイクロプロセッサにより実現される。動画像符号化装置１００は、動画規格であるＨＥＶＣに従って、動画像データの符号化処理を実施する。

動画像符号化装置１００は、マージモードを評価するＰＵ（評価ＰＵ）のブロックサイズを制限し、評価対象のマージ候補の数を制限する。評価ＰＵがＣＵを分割するブロックサイズの場合、評価ＰＵを包含するブロックサイズを持つＰＵ（包含ＰＵ）のマージ候補リストと、複数の評価ＰＵのそれぞれのマージ候補リストに共通のマージ候補を、評価ＰＵのマージ候補リストから評価対象のマージ候補として少なくとも１つ選択する。評価ＰＵのコスト評価処理を行う際に、計算した予測残差を用いて包含ＰＵのコスト評価処理を同時に実施する。これにより、回路規模の増大を抑えつつ、符号化効率低下の抑制を実現できる。

以下、実施の形態１にかかる動画像符号化装置１００の構成及び動作について図面を参照しながら説明する。

〔１−１．動画像符号化装置の構成〕
動画像符号化装置１００の構成について説明する。図２は、実施の形態１に係る動画像符号化装置１００の構成を示すブロック図である。

図２に示すように、動画像符号化装置１００は、ピクチャメモリ１０１と、ブロック分割部１０２と、直交変換ブロックサイズ決定部１０３と、残差係数符号化部１０４と、残差係数復号化部１０５と、ピクチャバッファ１０６と、画面間予測処理部１０７と、画面内予測処理部１０８と、切替部１０９と、符号列生成部１１０と、加算演算部１１１と、差分演算部１１２を備えている。この構成により、動画像符号化装置１００は、ピクチャ単位で入力された画像を制御ブロックに分割する。そして、動画像符号化装置１００は、この制御ブロック単位で符号化処理し、符号列を生成する。

以下、動画像符号化装置１００の各構成を順に説明する。

ピクチャメモリ１０１は、表示装置に表示される順番に沿って、ピクチャ単位で画像信号を入力する。ピクチャメモリ１０１は、入力した画像信号を、符号化する順番にピクチャ単位で並び替えて格納する。ピクチャメモリ１０１は、ブロック分割部１０２からの読出し命令を受け付けると、読出し命令にかかる入力画像信号であるピクチャをブロック分割部１０２および画面内予測処理部１０８に出力する。

ブロック分割部１０２は、ピクチャメモリ１０１から順次入力されるピクチャを、符号化処理の基本単位であるＣＵに分割する。このとき、ブロック分割部１０２は、ＣＵのサイズを、ＨＥＶＣに規定されたブロックサイズの中から選択する。図１に示すように、ブロック分割部１０２は、ＣＵサイズとして、６４画素×６４画素、３２画素×３２画素、１６画素×１６画素、８×８画素の４種類のブロックサイズの中から選択できる。一般的に、ブロック分割部１０２は、入力されたピクチャの画素構成や対象物の動きが複雑な領域では小さなブロックサイズを選択する。一方、入力されたピクチャの画素構成や対象物の動きが単純な領域では大きなブロックサイズを選択する。ブロック分割部１０２は、ＣＵに分割したピクチャを、画面間予測処理部１０７、画面内予測処理部１０８、差分演算部１１２に出力する。なお、ブロック分割部１０２が出力するブロックは、一つのＣＵであってもよいし、複数のＣＵをまとめたＣＴＵ（Ｃｏｒｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）であってもよい。本実施形態では、このＣＵまたはＣＴＵが制御ブロックに対応する。後段の処理は、ブロック分割部１０２が出力するＣＵブロック単位又は複数のＣＵをまとめたＣＴＵブロック単位で処理が行われる。説明の便宜上、以下の説明においてはＣＵを処理する構成について説明する。

画面間予測処理部１０７は、ＣＵに属する画素に対して、ＣＵサイズ以下のブロックサイズを有する予測処理用のブロックを設定し、この予測処理用のブロック毎に予測画像を生成する。より具体的には、画面間予測処理部１０７は、ブロック分割部１０２から入力されるＣＵに基づいて、ピクチャバッファ１０６に格納されている既に符号化済みの過去のピクチャの再構成画像を用いて画面間予測処理する。画面間予測処理では、符号化対象とするブロックの画素構成と最も類似度の高い画素構成を持った領域を、既に符号化済みの別のピクチャの再構成画像の中から探索する（以下、「動き探索」と称する）。そして、画面間予測処理部１０７は、いずれのピクチャの再構成画像を参照するか、及び、参照先のピクチャにおいて、符号化対象とするブロックに対応する位置からどの程度ずれた位置の再構成画像を参照するかを決定することで、予測画像を生成する（以下、「動き補償」と称する）。

このとき、画面間予測処理部１０７は、ＣＵ単位のブロックをさらに分割したＰＵのブロック単位で動き補償を行う。図１に示すように、ＨＥＶＣでは、例えばＣＵが３２画素×３２画素のブロックサイズの場合、３２画素×３２画素、３２画素×１６画素、１６画素×３２画素、１６画素×１６画素、３２画素×８画素、３２画素×２４画素、８画素×３２画素、２４画素×３２画素の８種類のブロックサイズの中から、ＰＵのブロックサイズを選択できる。より具体的には、ＣＵは、図３に示すようにＰＵのブロックサイズに分割される。ブロック３０１は、２Ｎ画素×２Ｎ画素（例えば、３２画素×３２画素）のブロックサイズの１つのＰＵからなるブロックである。ブロック３０２は、Ｎ画素×２Ｎ画素（例えば、１６画素×３２画素）のブロックサイズの２つのＰＵからなるブロックである。ブロック３０３は、２Ｎ画素×Ｎ画素（例えば、３６画素×１６画素）のブロックサイズの２つのＰＵからなるブロックである。ブロック３０４は、Ｎ画素×Ｎ画素（例えば、１６画素×１６画素）のブロックサイズの４つのＰＵからなるブロックである。ブロック３０５は、２Ｎ画素×ｎＵ画素（例えば、上部に３２画素×８画素及び、下部に３２画素×２４画素）のブロックサイズの２つのＰＵからなるブロックである。ブロック３０６は、２Ｎ画素×ｎＤ（例えば、上部に３２画素×２４画素及び、下部に３２画素×８画素）のブロックサイズの２つのＰＵからなるブロックである。ブロック３０７は、ｎＬ画素×２Ｎ画素（例えば、左部に８画素×３２画素及び、右部に２４画素×３２画素）のブロックサイズの２つのＰＵからなるブロックである。ブロック３０８は、ｎＲ画素×２Ｎ画素（例えば、左部に２４画素×３２画素及び、右部に８画素×３２画素）のブロックサイズの２つのＰＵからなるブロックである。
一般的に、画面間予測処理部１０７は、入力されたＣＵの画素構成が複雑なときは小さなサイズのＰＵを選択する一方、入力されたＣＵの画素構成が単純なときは大きなサイズのＰＵを選択する。

画面内予測処理部１０８は、ブロック分割部１０２が出力するＣＵ毎に、当該ＣＵの近傍画素であって既に符号化済みの画素を、ピクチャバッファ１０６より取得する。そして画面内予測処理部１０８は、この取得した画素を用いて画面内予測画像を生成する。なお、画面内予測処理での予測処理用のブロックは、原則、ＣＵと同じサイズのブロックが用いられる。例外として、ＣＵサイズが最小の場合にのみ、水平２分割、垂直２分割した予測処理用のブロックを用いることが許される。

切替部１０９は、画面間予測処理部１０７と画面内予測処理部１０８との、それぞれが生成する予測画像のうち、より符号化効率が良い方の予測画像を選択して、差分演算部１１２へと出力する。切替部１０９は、例えば、予測残差の符号化に要する情報量と、動きベクトル等のサイド情報量とを、最小とするように、画面内もしくは画面間のいずれかの予測方法を選択する。

差分演算部１１２は、ブロック分割部１０２から入力されるＣＵ単位の入力画像と、切替部１０９から入力されるＣＵ単位の予測画像との差分値である差分画像を生成する。差分演算部１１２は、生成した差分画像を直交変換ブロックサイズ決定部１０３に出力する。

直交変換ブロックサイズ決定部１０３は、図１に記載されたＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズにより、符号化効率の観点で最適なブロックサイズを決定する。例えば、入力された差分画像を、それぞれのＴＵサイズでアダマール変換して得られる情報量を比較してＴＵサイズを決定するようにしても良い。

残差係数符号化部１０４は、設定したＴＵのブロック毎に、直交変換および量子化処理し、残差係数を生成する。そして、残差係数符号化部１０４は生成した残差係数を符号列生成部１１０に出力する。より具体的には、残差係数符号化部１０４は、直交変換ブロックサイズ決定部１０３において決定されたブロックサイズのＴＵを処理単位として、差分演算部１１２において生成された差分画像に対して直交変換処理する。さらに残差係数符号化部１０４は、得られた各周波数成分の直交変換係数に対し量子化処理を行うことで残差係数信号を生成する。

残差係数復号化部１０５は、直交変換ブロックサイズ決定部１０３において決定されたブロックサイズのＴＵを処理単位として、残差係数符号化部１０４から入力される残差係数信号に対して逆量子化処理する。さらに残差係数復号化部１０５は、逆直交変換処理を行うことで再構成差分画像を生成する。

加算演算部１１１は、残差係数復号化部１０５から入力される再構成差分画像と、切替部１０９から入力される予測画像とをＣＵ単位で加算することにより再構成画像を生成する。

ピクチャバッファ１０６は、加算演算部１１１から入力される再構成画像を格納する。ピクチャバッファ１０６に格納された再構成画像は、現在の符号化対象ピクチャより時間的に後に符号化するピクチャの画面間予測処理で参照される。或いは、符号化順でより後に符号化するＣＵの画面内予測処理で参照される。

符号列生成部１１０は、残差係数符号化部１０４から入力される残差係数信号、およびその他の復号化処理時に必要となる符号化情報信号に対して、可変長符号化および算術符号化を行うことで符号列を生成する。

〔１−２．マージモードで画面間予測処理する際の動作の詳細〕
上述のとおり、画面間予測処理部１０７は、符号化対象とするブロックについて、動き探索し、探索された再構成画像内の領域を予測画像として生成して動き補償する。動き探索において、画面間予測処理部１０７は、通常の画面間予測による評価と、マージモードによる評価とを行う。画面間予測処理部１０７は、これらの評価結果に基づいて、最適なＰＵサイズと動きベクトルを求める。

通常の画面間予測では、ＰＵごとに、予測方向情報、参照ピクチャインデックス、動きベクトル（符号化されるのは予測ベクトルとの差分値）等を含む動き関連情報を符号化する必要がある。予測方向情報は、カレントのピクチャに対して、時間的に前方向か後方向かを示す情報である。参照ピクチャインデックスは、カレントのピクチャの前方向に参照される前方向参照ピクチャリストにおけるインデックス、或いは、後方向に参照される後方向参照ピクチャリストにおけるインデックスである。

一方、マージモードは、通常の画面間予測では必要であった動き関連情報を用いず、規格上規定される動きベクトルの候補（以下、マージ候補と称す）が複数個記載されるマージ候補リストを生成することにより符号化効率を向上させる。より具体的には、マージモードでは、符号化対象であるＰＵに対して空間的または時間的に近傍（近接近傍）のＰＵにおける動き情報をマージ候補としてリスト化したマージ候補リストを生成する。マージ候補リストにおいて、マージ候補は、空間的または時間的に近傍のＰＵにおける動き情報を示すインデックス情報として規定される。すなわち、マージ候補リストに規定されるインデックス情報は、予測方向情報、参照ピクチャインデックス、動きベクトルのすべてを包含した情報となる。

そして、画面間予測処理部１０７は、マージモードにおいて、マージ候補リストに記載されるマージ候補のうち好適なマージ候補を選択し、その選択したマージ候補が示す動きベクトルにより実際の予測画像を生成する。

マージ候補リストに追加される最大候補数は、規格上は最大５個となっており、スライスヘッダに記述されるパラメータによって決定される。マージ候補リストに追加されるマージ候補には、空間候補、時間候補、結合双方向候補、ゼロベクトル候補がある。マージ候補リストには、空間候補、時間候補、結合双方向候補、ゼロベクトル候補の順に候補が追加される。

図４Ａ〜図４Ｃを用いて、ＰＵのマージ候補リストの作成方法を説明する。

図４Ａは、カレントのＰＵ４０１について、空間候補の位置を示す図である。画面間予測処理部１０７は、空間候補として、ＰＵ４０１の周囲に存在するＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２の画素の順番で評価する。画面間予測処理部１０７は、これらの画素の位置の動き情報が有効な場合のみマージ候補リストに追加する。また、動き情報が重複する候補がある場合、画面間予測処理部１０７はマージ候補リストへの追加を行わない等の規則に従う。画面間予測処理部１０７は、最大４個の空間候補をマージ候補リストに追加する。

図４Ｂは、時間候補の位置を示す図である。画面間予測処理部１０７は、時間候補として、時間近傍の参照ピクチャ上で、カレントのＰＵ４０２の近傍にあるＣ０、Ｃ１の画素の順番で、動き情報が有効かの評価を行う。そして、画面間予測処理部１０７は、最大１個の時間候補をマージ候補リストに追加する。画面間予測処理部１０７は、時間近傍の参照ピクチャをスライスヘッダに記述されるパラメータで決定する。

空間候補及び時間候補では、マージ候補リストの候補数が最大候補数（５個）に満たない場合、画面間予測処理部１０７は、結合双方向候補をマージ候補リストに追加する。結合双方向予測では、画面間予測処理部１０７は既にマージ候補リストに追加された候補（空間候補或いは時間候補）を使って、双方向予測のマージ候補を作成する。図４Ｃは、結合双方向予測のＬｉｓｔ０側とＬｉｓｔ１側のマージ候補インデックスの組み合わせを示す表である。ｌ０ＣａｎｄＩｄｘは、Ｌｉｓｔ０側の組み合わせ候補となるマージ候補インデックスを示す。また、ｌ１ＣｎａｄＩｄｘは、Ｌｉｓｔ１側の組み合わせ候補となるマージ候補インデックスを示す。空間候補、時間候補を追加した後に現在のマージ候補リストの候補数が２個の場合、組み合わせ数は２となる。そこで、画面間予測処理部１０７は、ＣｏｍｂＩｄｘが０から１までの２つの組み合わせを評価してマージ候補リストへ追加する。また、現在のマージ候補リストの候補数が３個の場合、組み合わせ数は６となる。そこで、画面間予測処理部１０７は、ＣｏｍｂＩｄｘが０から５までの６つの組み合わせを評価してマージ候補リストへ追加する。さらに、現在のマージ候補リストの候補数が４候補の場合、組み合わせ数は１２となる。そこで、画面間予測処理部１０７はＣｏｍｂＩｄｘが０から１１までの１２の組み合わせを評価して、マージ候補リストへ追加する。なお、現在のマージ候補リストの候補数が１個の場合、画面間予測処理部１０７は結合双方向候補の追加を行わない。

結合双方向候補を追加した後、それでもマージ候補リストの候補数が最大候補数（５個）に満たない場合、画面間予測処理部１０７は、ゼロベクトル候補をマージ候補リストに追加する。すなわち、画面間予測処理部１０７は、動きベクトル値を（０，０）とし、参照画像をＬｉｓｔ０側とＬｉｓｔ１側を共に０からインクリメントしてゼロベクトル候補を作成する。そして、画面間予測処理部１０７は、作成したゼロベクトル候補をマージ候補リストに追加する。

以上の手順により、画面間予測処理部１０７は、ＰＵ毎にマージ候補リストを作成する。

続いて、マージ候補リストに記載される候補の中から、コスト評価処理のときに利用する候補を選択する動作について説明する。

マージモードのコスト評価処理は、ＣＵ毎に最適なＰＵサイズおよびマージ候補を選択する処理である。例えば、画面間予測処理部１０７は、予測残差の符号化に要する情報量と、動きベクトル等のサイド情報量とを評価値とし、これらの評価値を最小とするようにマージ候補リストからマージ候補を選択する。この場合、画面間予測処理部１０７は、評価値として予測残差を利用する。画面間予測処理部１０７は、生成される予測画像と、符号化対象の画像との差分から、予測残差を算出する。ここで、画面間予測処理部１０７は、ピクチャバッファ１０６に保存された再構成画像のうち、マージ候補リストに記載される候補が示す動きベクトルによって特定される画素から予測画像を生成する。通常は、この動きベクトルは非連続な位置を指し示すため、ピクチャバッファ１０６のランダム位置へのアクセスとなる。そのため、連続位置の画素を読み出す場合に比べ、転送時間が必要である。また、ほとんどの予測画像は、再構成画像に水平と垂直方向に８タップのフィルタ処理で導出するため、ＣＵ内の画素とその周辺の４画素の読み出しが必要である。フィルタ処理は、ＣＵ内の全画素に実施するため、計算量の多い処理である。

マージモードを含む画面間予測では、図３に示すように、ひとつのＣＵサイズにつき、ブロック３０１〜３０８の８種類のＰＵサイズが選択可能である。また、マージモードでは、各ＰＵが最大５候補の動き情報をリスト化したマージ候補リストを個々に持つ。そのため、これら全てのＰＵサイズと全てのマージ候補の評価は、実時間での符号化処理の実現しようとした場合に、回路規模の増大を招く。

そこで、画面間予測処理部１０７は、評価値の算出のために予測画像を生成するＰＵ（以下、評価ＰＵと称す）のブロック数を制限しかつ、マージ候補リストに記載されるマージ候補のうち実際に評価対象とするマージ候補の数を制限する。

さらに、評価ＰＵが１つのＣＵを分割するブロックサイズの場合（例えば、図３におけるブロック３０２〜３０８）、評価ＰＵを包含するＰＵ（例えば、図３におけるブロック３０１。以下、包含ＰＵと称す）のマージ候補リストと、包含ＰＵに内包された関係にある複数の評価ＰＵのそれぞれのマージ候補リストに共通のマージ候補を、実際に評価するマージ候補として少なくとも１つ選択して、評価ＰＵの予測画像を生成する。

例えば、動画像符号化の規格上、図３に示す８種類のブロックを任意に選択できる場合であっても、画面間予測処理部１０７は、評価ＰＵを、ブロック３０２におけるＰＵ０およびＰＵ１に制限する。そして、画面間予測処理部１０７は、ブロック３０２におけるＰＵ０およびＰＵ１について実際に予測画像を生成し、マージモードにおける評価値を算出する。このとき、画面間予測処理部１０７は、評価ＰＵではないブロック３０１（評価ＰＵであるＰＵ０及びＰＵ１を包含する包含ＰＵ）におけるＰＵについてもマージ候補リストを生成する。しかし、この包含ＰＵは評価ＰＵではないため、画面間予測処理部１０７は、実処理としては予測画像を生成しない。

このとき、画面間予測処理部１０７は、各ＰＵにおいて生成されるマージ候補リストに記載される最大５個のマージ候補のうち、実際に評価対象となるマージ候補を、例えば３個に制限する。

具体的には、評価ＰＵがブロック３０２におけるＰＵ０およびＰＵ１である場合、画面間予測処理部１０７は、ブロック３０１のＰＵ、ブロック３０２におけるＰＵ０およびＰＵ１の３個のＰＵそれぞれについて生成されたマージ候補リストに記載されるマージ候補のうち、３個のＰＵ全てに共通のマージ候補から少なくとも１つを実際に評価対象となるマージ候補として選択する。これにより、画面間予測処理部１０７は、ブロック３０２におけるＰＵ０およびＰＵ１で生成した予測画像を、ブロック３０１におけるＰＵにおいて流用することができる。すなわち、画面間予測処理部１０７は、ブロック３０１のＰＵにおいて実処理として予測画像を生成する処理を省略しながら、このブロック３０１のＰＵについても評価値を算出することができる。

以上から、画面間予測処理部１０７は、予測残差計算の処理量を増加させずに、評価対象のＰＵと包含関係にあるＰＵのマージモードのコスト評価処理が可能となる。その結果、回路規模を増やさずに処理時間の縮小や符号化効率の向上を実現できる。

続いて、画面間予測処理部１０７におけるマージモードのコスト評価処理動作について、フローチャートを用いて説明する。図５は、画面間予測処理部１０７におけるマージモードのコスト評価処理動作の流れを示すフローチャートである。

まず、画面間予測処理部１０７は、評価ＰＵのブロックサイズを決定する（Ｓ５０１）。例えば、画面間予測処理部１０７は、ブロック３０１におけるＰＵのブロックサイズ、ブロック３０２におけるＰＵ０のブロックサイズ、ブロック３０２におけるＰＵ１のブロックサイズのいずれを評価ＰＵとするか決定する。この場合、画面間予測処理部１０７は、ＣＵにおける原画像の特徴量から決定する。一般的に、入力されたＣＵの画素構成が複雑なときは小さなサイズのＰＵを選択する一方、入力されたＣＵの画素構成が単純なときは大きなサイズのＰＵを選択する。或いは、ブロックマッチングを利用した画面間予測の動き探索の結果から得られたＰＵサイズを評価ＰＵのブロックサイズとして決定してもよい。

次に、画面間予測処理部１０７は、評価ＰＵがＣＵを分割しないブロックサイズ（ブロック３０１のＰＡＲＴ＿２Ｎｘ２Ｎ）か否かを判断する（Ｓ５０２）。画面間予測処理部１０７は、評価ＰＵがＣＵを分割しないブロックサイズである場合（Ｓ５０２におけるＹｅｓ）、Ｓ５０３に移行する。一方、画面間予測処理部１０７は、評価ＰＵがＣＵを分割するブロックサイズである場合（Ｓ５０２におけるＮｏ）、Ｓ５０６に移行する。

次に、評価ＰＵがＣＵの分割をしない場合、画面間予測処理部１０７は、評価ＰＵのマージ候補リストを作成し、コスト評価処理を行うＮ個（最大候補数未満、例えば３個）の評価対象のマージ候補を選択する（Ｓ５０３）。このとき、画面間予測処理部１０７は、評価対象のマージ候補を、マージ候補リストの先頭からＮ個選択してもよいし、時間候補などの特定の候補が含まれるようにＮ個を選択してもよい。

次に、画面間予測処理部１０７は、選択したＮ個の評価対象のマージ候補についてコスト評価処理を行う（Ｓ５０４）。そして、最適なマージ候補を一つ決定する（Ｓ５０５）。このマージ候補についてのコスト評価処理において、画面間予測処理部１０７は、予測残差の符号化に要する情報量と、ヘッダ等のサイド情報量を見積もる評価値とを計算し、これらの和の値を最小とするマージ候補を決定する。

図６Ａ，図６Ｂは、マージ候補のコスト評価処理における評価値の式を示している。図６Ａは、予測残差の符号化に要する情報量を予測残差の絶対値和（ＳＡＤ）としている。また、サイド情報量をマージインデックスのパラメータ等の換算値（Ｃｏｓｔ＿Ｈｅａｄｅｒ）としている。そして、ＳＡＤとＣｏｓｔ＿Ｈｅａｄｅｒとの和（Ｃｏｓｔ＿ＰＵ）を評価値とする。

一方、図６Ｂは、予測残差の符号化に要する情報量を自乗和（ＳＳＤ）としている。サイド情報量をマージインデックスのパラメータ等の換算値（Ｃｏｓｔ＿Ｈｅａｄｅｒ）としている。そして、ＳＳＤとＣｏｓｔ＿Ｈｅａｄｅｒとの和（Ｃｏｓｔ＿ＰＵ）を評価値とする。

サイド情報量の計算式には、動きベクトルと予測ベクトルとの差分値と、量子化値の演算が含まれる。一般的に、予測残差のＳＡＤやＳＳＤの計算処理は、例えば、１６画素ｘ１６画素のブロック内の画素毎の差分演算と絶対値演算や自乗演算であり、演算量が多い。一方、サイド情報の計算値は、１つまたは２つの動きベクトルの差分値計算と乗算計算であり、演算量が少ない。

以下、評価ＰＵがＣＵを分割するブロックサイズ（ＰＡＲＴ＿２Ｎｘ２Ｎ以外のブロックサイズ）の場合（Ｓ５０２におけるＮｏ）を説明する。ここでは、例として、評価ＰＵを、ブロック３０２（ＰＡＲＴ＿Ｎｘ２Ｎ）のＰＵ０、ＰＵ１の２つとする。

画面間予測処理部１０７は、ＣＵを分割した２つの評価ＰＵ（ブロック３０２のＰＵ０，ＰＵ１）とそのＰＵを包含するＰＵ（ブロック３０１のＰＡＲＴ＿２Ｎｘ２Ｎ）の３つのＰＵで、共通のマージ候補を少なくとも１つ含むように、２つの評価ＰＵ（ＰＵ０，ＰＵ１）のそれぞれのマージ候補リストから、それぞれＮ個の評価対象のマージ候補を選択する（Ｓ５０６）。

具体的な、マージ候補の選択方法について、図面を用いて説明する。まず、図７は、２つ評価ＰＵ（ＰＵ０、ＰＵ１）と、包含ＰＵ（ＰＡＲＴ＿２Ｎｘ２Ｎ）のマージ候補リストの動きベクトルの例を表す図である。ここでは、説明を簡単にするために、全てのマージ候補の参照画像は同じものとし、異なるのは導出された動きベクトルのみとする。まず、画面間予測処理部１０７は、３つのマージ候補リストの中からすべてに共通のマージ候補を選択する。ここでは、動きベクトル ＭＶ＿ｃ、ＭＶ＿ｅが３つのマージ候補リストに共通である。具体的には、ＰＡＲＴ＿２Ｎｘ２Ｎのマージインデックス２（ＭｒｇＩｄｘ＝２）、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ０のマージインデクス３（ＭｒｇＩｄｘ＝３）、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ１のマージインデクス０（ＭｒｇＩｄｘ＝０）が、動きベクトルＭＶ＿ｃをもつ。また、ＰＡＲＴ＿２Ｎｘ２Ｎのマージインデックス４（ＭｒｇＩｄｘ＝４）、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ０のマージインデクス４（ＭｒｇＩｄｘ＝４）、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ１のマージインデクス１（ＭｒｇＩｄｘ＝１）が、動きベクトルＭＶ＿ｅをもつ。このように、３つのマージ候補リストに共通なマージ候補が複数ある場合、画面間予測処理部１０７は、包含ＰＵ（ＰＡＲＴ＿２Ｎｘ２ＮのＰＵ）のマージ候補リストの先頭に近い順で選択する。先頭の近いマージ候補の方が、符号量の小さく符号化効率がよいためである。また、選択するマージ候補数は１つが望ましい。複数の共通なマージ候補を選択すると、評価対象のマージ候補数（Ｎ個）が少ない場合、評価ＰＵのマージ候補リストの先頭に近いマージ候補や、時間候補等の特定のマージ候補を評価対象とすることができなくなり、符号化効率が落ちるためである。ここでは、画面間予測処理部１０７は、３つのマージ候補リストに共通のマージ候補であり、包含ＰＵのマージ候補リストの先頭に近いインデックスを示す動きベクトルＭＶ＿ｃをもつマージ候補を含むよう、各ＰＵで評価対象とするマージ候補をＮ個選択する。

図８は、マージ候補リストの中から選択された評価対象のマージ候補を説明する図である。ここでは、評価対象のマージ候補を２個とする（Ｎ＝２）。この場合、画面間予測処理部１０７は、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ０のマージ候補リストで、ＭＶ＿ｃの動きベクトルをもつマージインデックス３（ＭｒｇＩｄｘ＝３）のマージ候補を評価対象とする。同様に、画面間予測処理部１０７は、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ１のマージ候補リストで、ＭＶ＿ｃの動きベクトルをもつマージインデックス０（ＭｒｇＩｄｘ＝０）のマージ候補を評価対象とする。

画面間予測処理部１０７は、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ０、ＰＵ１の両者について、共通なマージ候補に対するもう一つの評価対象のマージ候補を、マージ評価リストの中から任意に選択する。ここでは例として、画面間予測処理部１０７は、マージ候補リストの先頭から順に選択する。すなわち、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ０については、マージインデックス０（ＭｒｇＩｄｘ＝０）に示される動きベクトルＭＶ＿ａのマージ候補を評価対象とする。同様に、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ１については、マージインデックス１（ＭｒｇＩｄｘ＝１）に示される動きベクトルＭＶ＿ｅのマージ候補を評価対象とする。これにより、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ０が評価対象とするマージ候補の動きベクトルは、｛ＭＶ＿ｃ、ＭＶ＿ａ｝となる。一方、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ１が評価対象とするマージ候補の動きベクトルは、｛ＭＶ＿ｃ、ＭＶ＿ｅ｝となる。

もし、３つのマージ候補リストに共通なマージ候補がひとつもない場合、画面間予測処理部１０７は、評価ＰＵ毎に独自に評価ＰＵをＮ個選択する。マージ候補リストの先頭からＮ個選択してもよいし、時間候補などの特定の候補が含まれるようにＮ個を選択してもよい。

なお、ピクチャバッファ１０６へのランダム位置へのアクセス回数増加などが原因で、評価ＰＵのマージ評価処理が、包含ＰＵのマージ評価処理よりも処理時間を費やす場合、画面間予測処理部１０７は、３つのマージ候補に共通なマージ候補をできるだけ多く選択して、処理時間を短縮させてもよい。

次に、画面間予測処理部１０７は、ＰＡＲＴ＿Ｎｘ２Ｎの各ＰＵ（ＰＵ０、ＰＵ１）に対して、評価対象のマージ候補について第１のコスト評価処理を行う（Ｓ５０７）。そして、最小の評価値をもつマージ候補を、最適なマージ候補として選択する（Ｓ５０８）。

さらに、画面間予測処理部１０７は、既に計算したＰＡＲＴ＿Ｎｘ２Ｎの各ＰＵの予測残差の計算値（ＳＡＤまたは、ＳＳＤ）を使って、ＰＡＲＴ＿２Ｎｘ２ＮのＰＵに対して、評価対象のマージ候補について第２のコスト評価処理を行う（Ｓ５０９）。具体的に、画面間予測処理部１０７は、評価ＰＵと共通する動きベクトルＭＶ＿ｃをもつマージインデックス２のマージ候補の評価値を計算する。そして、ＰＡＲＴ＿Ｎｘ２Ｎの２つのＰＵ（ＰＵ０，ＰＵ１）の最小の評価値の和と、ＰＡＲＴ＿２Ｎｘ２ＮのＰＵの評価値とを比較し、小さな値を持つ方を最適なＰＵサイズ及び最適なマージ候補として選択する。（Ｓ５１０）。

図９Ａは、２つの評価ＰＵの予測残差と包含ＰＵの予測残差の関係を表す図である。２つの評価ＰＵの予測残差の和が包含ＰＵの予測残差となる。図９Ｂは、予測残差の計算値を絶対値和（ＳＡＤ）とした場合、図９Ｃは、自乗和（ＳＳＤ）とした場合の包括ＰＵの予測残差を求める計算式である。２つの評価ＰＵ（ＰＵ０、ＰＵ１）の予測残差の計算値の和を、包含ＰＵの予測残差の計算値とする。つまり、包含ＰＵの予測残差の計算値は、既に計算した２つの評価ＰＵで求めることが可能であり、演算量が多い予測残差を新たに計算する必要がない。そのため、処理量を増加させずに、複数のＰＵサイズのマージのコスト評価処理が可能となる。その結果、符号化効率の向上を実現する。

〔１−３．まとめ〕
上記のように本実施形態における動画像符号化装置１００は、符号化の対象である原画像を取得するピクチャメモリ１０１と、取得した原画像を所定の領域毎に少なくとも画面間予測し、候補となる動きベクトルのインデックスが複数個記載された候補リストから、少なくとも一つのインデックスを参照して、領域の予測画像を生成する画面間予測処理部１０７と、領域毎に生成した予測画像それぞれと、原画像における画像であって予測画像に対応する画像とを差分演算し、原画像に対する残差成分を生成する差分演算部１１２と、残差成分を符号化処理することにより、出力用の画像ストリームを生成する残差係数符号化部１０４および符号列生成部１１０と、を備える。

ここで、画面間予測処理部１０７は、原画像に対して適用する画面間予測用のブロックであって、ＨＥＶＣに規定される複数のブロックのうち、少なくとも３つ以上のブロックそれぞれについて、画面間予測のときに参照するために、候補となる動きベクトルのインデックスが複数個記載された候補リストを生成し、生成した候補リストに記載されたインデックスを利用して、候補リストを生成したブロックそれぞれについて、インデックスを利用した際の符号化効率を示す評価値を算出し、算出した評価値に基づいて予測画像を生成する。そして、少なくとも３つ以上のブロックそれぞれの候補リストに共通して候補とされた動きベクトルが含まれる場合、共通の動きベクトルを少なくとも１つ含むように、生成した候補リストから評価値の算出に利用するインデックスを設定する。

すなわち、動画像符号化装置１００は、２つのＰＵブロック（例えば、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ０、ＰＵ１）において生成されるマージ候補リストに記載される動きベクトル候補のコスト評価処理を用いて、この２つのＰＵブロックとは異なる他のＰＵブロック（他例えば、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ０、ＰＵ１を包含するＰＡＲＴ＿２Ｎｘ２ＮのＰＵ）のコスト処理を実施する。このように、２つのＰＵブロックで得られるコスト評価値を流用するため、実際にコスト評価値を算出したＰＵブロック以外のＰＵブロックにおける評価値算出のための処理量を増加させずにマージモードで処理することができる。これにより、回路規模の増大を抑えつつ、符号化効率低下の抑制を実現できる。

また、好ましくは、画面間予測処理部１０７は、生成した候補リストに記載されたインデックスのうち一部のインデックスのみを利用して、候補リストを生成したブロックそれぞれについて一部のインデックスを利用した際の符号化効率を示す評価値それぞれを算出する。これにより、より符号化効率低下の抑制を実現できる。

また好ましくは、画面間予測処理部１０７は、複数のマージ候補リストに共通のマージ候補（動きベクトル）が複数個含まれる場合、複数の共通のマージ候補（動きベクトル）のうち１つのマージ候補（動きベクトル）を含むように、生成したマージ候補リストから評価値の算出に利用する一部のマージ候補（インデックス）を設定する。

また、好ましくは、画面間予測処理部１０７は、複数のマージ候補リストに共通のマージ候補（動きベクトル）が複数個含まれる場合、数の共通のマージ候補（動きベクトル）のうち、マージ候補リストの先頭により近い位置に記載されるマージ候補（動きベクトル）を１つ含むように、生成したマージ候補リストから評価値の算出に利用する一部のマージ候補（インデックス）を設定する。

また、好ましくは、画面間予測処理部１０７は、マージ候補リストを生成する場合、１つのブロック内に他の２つのブロックが含まれる関係にある３つのブロックについてマージ候補リストを生成する。例えば、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ０、ＰＵ１、ＰＡＲＴ＿Ｎｘ２ＮのＰＵ０、ＰＵ１を包含するＰＡＲＴ＿２Ｎｘ２ＮのＰＵの３つのブロックについてマージ候補リストを生成する。

また、好ましくは、画面間予測処理部１０７は、３つのブロックで生成したマージ候補リストそれぞれについて共通のマージ候補（動きベクトル）が含まれる場合にのみ、３つのブロックにおいて評価値の算出に利用する一部のマージ候補（インデックス）に共通のマージ候補（動きベクトル）が含まれるように設定する。

また、好ましくは、画面間予測処理部１０７は、３つのブロックのうち他の２つのブロックにおいて共通のマージ候補（動きベクトル）を用いて評価値を算出した際に生成された中間データを利用し、他の２つのブロックを含む最も大きなブロックにおける評価値を算出する。

本発明に係る動画像符号化装置は、映像信号を符号化して生成した符号化ストリームを蓄積、伝送する際に使用される放送業務用機器、民生用録画機、デジタルビデオカメラ、パーソナルコンピュータ、携帯電話機等に適用できる。

１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ ブロック分割部
１０３ 直交変換ブロックサイズ決定部
１０４ 残差係数符号化部
１０５ 残差係数復号化部
１０６ ピクチャバッファ
１０７ 画面間予測処理部
１０８ 画面内予測処理部
１０９ 切替部
１１０ 符号列生成部
１１１ 加算演算部
１１２ 差分演算部
３０１、３０２、３０３、３０４、３０５、３０７、３０８ ブロック
４０１、４０２ ＰＵ

Claims (7)

1. 符号化の対象である原画像を取得する取得部と、
   前記取得した原画像を所定の領域毎に少なくとも画面間予測し、候補となる動きベクトルのインデックスが複数個記載された候補リストから、少なくとも一つのインデックスを参照して、前記領域の予測画像を生成する予測画像生成部と、
   前記領域毎に生成した予測画像それぞれと、前記原画像における画像であって予測画像に対応する画像とを差分演算し、前記原画像に対する残差成分を生成する差分演算部と、
   前記残差成分を符号化処理することにより、出力用の画像ストリームを生成する符号化部と、を備え、
   前記予測画像生成部は、
   前記原画像を分割した画面間予測用のブロックにおいて、動画像符号化規格に規定される複数のブロックのうち、少なくとも３つ以上のブロックそれぞれについて、前記画面間予測のときに参照するために、候補となる動きベクトルのインデックスが複数個記載された前記候補リストを生成し、
   前記生成した候補リストに記載されたインデックスを利用して、前記候補リストを生成したブロックそれぞれについて、当該インデックスを利用した際の符号化効率を示す評価値を算出し、当該算出した評価値に基づいて前記予測画像を生成し、
   前記少なくとも３つ以上のブロックそれぞれの候補リストに共通して候補とされた動きベクトルが含まれる場合、前記共通の動きベクトルを少なくとも１つ含むように、前記生成した候補リストから前記評価値の算出に利用するインデックスを設定し、
   前記候補リストを生成する場合、１つのブロック内に他の２つのブロックが含まれる関係にある３つのブロックについて候補リストを生成する、
   動画像符号化装置。
2. 前記予測画像生成部は、生成した候補リストに記載されたインデックスのうち一部のインデックスのみを利用して、前記候補リストを生成したブロックそれぞれについて前記一部のインデックスを利用した際の符号化効率を示す評価値それぞれを算出する、請求項１に記載の動画像符号化装置。
3. 前記予測画像生成部は、前記複数の候補リストに共通の動きベクトルが複数個含まれる場合、前記複数の共通の動きベクトルのうち１つの動きベクトルを含むように、前記生成した候補リストから前記評価値の算出に利用する一部のインデックスを設定する、請求項１に記載の動画像符号化装置。
4. 前記予測画像生成部は、前記複数の候補リストに共通の動きベクトルが複数個含まれる場合、前記複数の共通の動きベクトルのうち、前記候補リストの先頭により近い位置に記載される動きベクトルを１つ含むように、前記生成した候補リストから前記評価値の算出に利用する一部のインデックスを設定する請求項３に記載の動画像符号化装置。
5. 前記予測画像生成部は、前記３つのブロックで生成した候補リストそれぞれについて共通の動きベクトルが含まれる場合にのみ、前記３つのブロックにおいて前記評価値の算出に利用する一部のインデックスに前記共通の動きベクトルが含まれるように設定する請求項１に記載の動画像符号化装置。
6. 符号化の対象である原画像を取得する取得部と、
   前記取得した原画像を所定の領域毎に少なくとも画面間予測し、候補となる動きベクトルのインデックスが複数個記載された候補リストから、少なくとも一つのインデックスを参照して、前記領域の予測画像を生成する予測画像生成部と、
   前記領域毎に生成した予測画像それぞれと、前記原画像における画像であって予測画像に対応する画像とを差分演算し、前記原画像に対する残差成分を生成する差分演算部と、
   前記残差成分を符号化処理することにより、出力用の画像ストリームを生成する符号化部と、を備え、
   前記予測画像生成部は、
   前記原画像に対して適用する画面間予測用のブロックであって、動画像符号化規格に規定される複数のブロックのうち、少なくとも３つ以上のブロックそれぞれについて、前記画面間予測のときに参照するために、候補となる動きベクトルのインデックスが複数個記載された前記候補リストを生成し、
   前記生成した候補リストに記載されたインデックスを利用して、前記候補リストを生成したブロックそれぞれについて、当該インデックスを利用した際の符号化効率を示す評価値を算出し、当該算出した評価値に基づいて前記予測画像を生成し、
   前記少なくとも３つ以上のブロックそれぞれの候補リストに共通して候補とされた動きベクトルが含まれる場合、前記共通の動きベクトルを少なくとも１つ含むように、前記生成した候補リストから前記評価値の算出に利用するインデックスを設定し、
   前記候補リストを生成する場合、１つのブロック内に他の２つのブロックが含まれる関係にある３つのブロックについて候補リストを生成し、
   前記３つのブロックのうち前記他の２つのブロックにおいて前記共通の動きベクトルを用いて評価値を算出した際に生成された中間データを利用し、前記他の２つのブロックを含む最も大きなブロックにおける評価値を算出する、
   動画像符号化装置。
7. 符号化の対象である原画像を取得し、
   前記取得した原画像を所定の領域毎に少なくとも画面間予測し、候補となる動きベクトルのインデックスが複数個記載された候補リストから、少なくとも一つのインデックスを参照して、前記領域の予測画像を生成し、
   前記領域毎に生成した予測画像それぞれと、前記原画像における画像であって予測画像に対応する画像とを差分演算し、前記原画像に対する残差成分を生成し、
   前記残差成分を符号化処理することにより、出力用の画像ストリームを生成し、
   前記予測画像を生成する場合、
   前記原画像を分割した画面間予測用のブロックにおいて、動画像符号化規格に規定される複数のブロックのうち、少なくとも３つ以上のブロックそれぞれについて、前記画面間予測のときに参照するために、候補となる動きベクトルのインデックスが複数個記載された前記候補リストを生成し、
   前記生成した候補リストに記載されたインデックスを利用して、前記候補リストを生成したブロックそれぞれについて、当該インデックスを利用した際の符号化効率を示す評価値を算出し、当該算出した評価値に基づいて前記予測画像を生成し、
   前記少なくとも３つ以上のブロックそれぞれの候補リストに共通して候補とされた動きベクトルが含まれる場合、前記共通の動きベクトルを少なくとも１つ含むように、前記生成した候補リストから前記評価値の算出に利用するインデックスを設定し、
   前記候補リストを生成する場合、１つのブロック内に他の２つのブロックが含まれる関係にある３つのブロックについて候補リストを生成する、
   動画像符号化方法。

Images